Czy możemy skorzystać z transferu nauki podczas szkolenia modeli word2vec?

Chcę znaleźć wstępnie wyważone ciężary już wyszkolonych modeli, takich jak dane Google News itp. Trudno mi było wyszkolić nowy model z wystarczającą ilością danych (10 GB itp.) Dla siebie. Chcę więc skorzystać z nauki transferu, w której mógłbym uzyskać wstępnie wyszkolone wagi warstw i ponownie wyćwiczyć te ciężary na słowach specyficznych dla mojej domeny. Zdecydowanie zajmie to mniej czasu na treningu. Każda pomoc będzie mile widziana. Z góry dziękuję :)

Tak, możesz skorzystać ze wstępnie wyszkolonych modeli. Najbardziej znanym jest model przeszkolony w GoogleNewsData, który można znaleźć tutaj.

Wstępnie przeszkolone wektory słów i fraz https://drive.google.com/file/d/0B7XkCwpI5KDYNlNUTTlSS21pQmM/edit?usp=sharing

Następnie możesz załadować wektory w formacie binarnym do swojego modelu za pomocą gensim, jak pokazano poniżej.

>>> model = Word2Vec.load_word2vec_format('/tmp/vectors.txt', binary=False)  # C text format
>>> model = Word2Vec.load_word2vec_format('/tmp/vectors.bin', binary=True)  # C binary format

Oto inny gotowy model dla angielskiej Wikipedii:

https://github.com/idio/wiki2vec/raw/master/torrents/enwiki-gensim-word2vec-1000-nostem-10cbow.torrent

Źródło: https://github.com/idio/wiki2vec/

Korzystanie z gotowego modelu

Get python 2.7
Install gensim: pip install gensim
uncompress downloaded model: tar -xvf model.tar.gz
Load model in gensim:
from gensim.models import Word2Vec
model = Word2Vec.load("path/to/word2vec/en.model")
model.similarity('woman', 'man')

Możesz także użyć rękawicy Stanford NLP

• http://nlp.stanford.edu/projects/glove/
• https://github.com/stanfordnlp/GloVe

Oto świetna kompilacja wstępnie wyszkolonych modeli word2vec.

• https://github.com/3Top/word2vec-api#where-to-get-a-pretrained-models

Niektóre dodatkowe wstępnie przeszkolone modele:

• http://www.zuccon.net/ntlm.html
• https://code.google.com/archive/p/word2vec/

Więcej informacji na temat gensim i kodu tutaj: https://radimrehurek.com/gensim/models/word2vec.html

Forum Quora z podobnymi pytaniami

• https://www.quora.com/Where-can-I-find-pre-trained-models-of-word2vec-and-sentence2vec-trained-on-Wikipedia-or-other-large-text-corpus
• https://www.quora.com/Where-can-I-find-some-pre-trained-word-vectors-for-natural-language-processing-understanding

Rozproszone reprezentacje (rękawiczki) oparte na szkoleniu na dużym korpusie są bezpośrednio dostępne z grupy Stanford NLP. Możesz użyć tych osadzeń słów bezpośrednio w swojej aplikacji (zamiast używać 1 wektorów zakodowanych na gorąco, a następnie szkolić sieć, aby uzyskać osadzanie). Jeśli Twoje zadanie nie jest zbyt wyspecjalizowane, rozpoczęcie od tego zestawu osadzeń będzie działać dobrze w praktyce.

Będzie to zaoszczędzić od szkolenia dodatkowego liczbę parametrów$m \times V$ , gdzie jest słownictwo wielkość i jest wymiarem przestrzeni osadzającego chcesz do projektu.$V$$m$

Spójrz na ten artykuł [PDF] . Główny nacisk kładziony jest na zadanie NER, ale pomysł jest ten sam - weź wstępnie przeszkolone wektory word2vec i dostosuj je do konkretnej aplikacji.

Wiele popularnych aplikacji NLP opartych na sieci neuronowej często zaczyna się od wstępnie przeszkolonych wektorów. Na przykład właśnie najnowszy artykuł [PDF] (zadania znakowania NER i POS) właśnie to robi.

from gensim.models import Word2Vec 
# Word2Vec is full model which is trainable but takes larger memory

from gensim.models import KeyedVectors  
# KeyedVectors is reduced vector model which is NOT trainable but takes less memory

model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True) #load pretrained google w2v 

sen1 = 'w1 w2 w3'    
sen2 = 'word1 word2 word3'    
sentences = [[word for word in sen1.split()],[word for word in sen2.split()]]    
total_examples = model_2.corpus_count    

model_2 = Word2Vec(size=300, min_count=1) #initiate a full model    
model_2.build_vocab(sentences) #add words in training dataset

#load words from pretrained google dataset    
model_2.build_vocab([list(model.vocab.keys())], update=True)    
model_2.intersect_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True, lockf=1.0)

#retrain pretrained w2v from new dataset    
model_2.train(sentences, total_examples=total_examples, epochs=model_2.iter)