“Jak dodać specjalny token do tokenizatora Berta” Kod odpowiedzi

Jak dodać specjalny token do tokenizatora Berta

special_tokens_dict = {'additional_special_tokens': ['[C1]','[C2]','[C3]','[C4]']}
num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
model.resize_token_embeddings(len(tokenizer))