Jakie są najnowsze metody szkolenia bota czatu?

Chciałbym wytrenować bota, który korzysta z wprowadzania tekstu, zapamiętuje kilka kategorii i odpowiednio odpowiada na pytania. Ponadto jako wersja 2.0 chcę, aby bot również odpowiadał na polecenia głosowe. Jakie są najnowsze algorytmy uczenia maszynowego / AI dla tego samego? Proszę daj mi znać.

Twoje pytanie jest niewiarygodnie szerokie - dlatego w odpowiedzi zachęcam do zapoznania się z dwoma szerokimi ramami:

1. Najnowocześniejsze rozmowy chatbotowe http://rasa.ai to platforma typu open source, która jest bardziej elastyczna niż tradycyjne systemy oparte na regułach
2. Aby poznać rozpoznawanie mowy, sprawdź https://discourse.mozilla.org/c/deep-speech, który jest również oprogramowaniem typu open source.

Jeśli twój bot „zapamiętuje” kilka kategorii, a następnie odpowiada na pytania, w obecnym scenariuszu jest to zupełnie bezużyteczne. ponieważ w takim przypadku działa bardzo słabo na innym zestawie danych (zestawie testowym). w terminologii statystycznej nazywa się to „nadmiernym dopasowaniem”. i przechodząc do odpowiedzi na pytania, nie ma ogólnej zasady definiowania algorytmów „najnowocześniejszych”. chociaż możesz sprawdzić kilka modeli, które ładnie działały na babi lub podobnych zestawach danych, takich jak dynamiczne sieci pamięci lub modele seQ2seQ. aby uzyskać podstawową wiedzę na temat tej dziedziny, radzę nauczyć się podstawowego języka maszynowego do nauki języka, a następnie przejść do kursu zaawansowanego przetwarzania języka naturalnego (stanford oferuje cs224n).

AbuShawar i Atwell stwierdzają:

Chatbot to agent konwersacyjny, który wchodzi w interakcję z użytkownikami kolejno przy użyciu języka naturalnego. Różne chatboty lub systemy dialogu człowiek-komputer zostały opracowane za pomocą komunikacji mówionej lub tekstowej i zostały zastosowane w różnych dziedzinach, takich jak: badania językowe, edukacja językowa, obsługa klienta, pomoc na stronie internetowej i dla zabawy.

Ich i inne artykuły przedstawiają niektóre z wielu współczesnych podejść do szkolenia chatbotów od tego czasu.

Automatyczna ekstrakcja danych treningowych Chatbot z Natural Dialogue Corpora , Bayan AbuShawar, Eric Atwell, 2016

Jednak większość chatbotów ogranicza się do wiedzy, która jest ręcznie w ich plikach, oraz do określonego języka naturalnego, który jest pisany lub mówiony. Niniejszy artykuł przedstawia opracowany przez nas program do konwersji tekstu do odczytu maszynowego (korpusu) na określony format chatbota, który jest następnie wykorzystywany do przekwalifikowania chatbota i wygenerowania rozmowy zbliżonej do ludzkiego języka. Użyto różnych korpusów: korpusów dialogowych, takich jak British National Corpus of English (BNC); święta księga islamu Koran, który jest monologiem, w którym zwrotka następuje po wersecie; oraz FAQ, gdzie pytania i odpowiedzi są parą tur. Głównym celem tego procesu automatyzacji jest możliwość generowania różnych prototypów chatbotów, które mówiły różnymi językami w oparciu o korpus.

Kontekst-niepewność-świadomy wybór akcji Chatbot poprzez sparametryzowane uczenie się przez zbrojenie pomocnicze , Chuandong Yin, Rui Zhang, Jianzhong Qi, Yu Sun i Tenglun Tan, 2018

Proponujemy chatbota uwzględniającego niepewność kontekstu i model uczenia wzmacniającego (RL) do szkolenia chatbota. Proponowany model nosi nazwę Sparametryzowana pomocnicza asynchroniczna korzyść - aktor krytyczny (PA4C). Używamy symulatora użytkownika, aby zasymulować niepewność co do pewności wypowiedzi użytkowników w kontekście rozmowy. W porównaniu z naiwnymi podejściami opartymi na regułach, nasz chatbot przeszkolony za pomocą modelu PA4C unika ręcznego wyboru akcji i jest bardziej odporny na wariancję wypowiedzi użytkownika. Model PA4C optymalizuje konwencjonalne modele RL z parametryzacją akcji i zadaniami pomocniczymi do szkolenia chatbota, które rozwiązują problemy dużej przestrzeni akcji i stanów zerowej nagrody. Oceniamy model PA4C podczas szkolenia chatbota do zadań związanych z tworzeniem wydarzeń w kalendarzu.

Szkolenie z zakresu nadzorowanego systemu szkoleniowego z wykorzystaniem interakcji Chatbot, publikacja zgłoszenia patentowego Stanów Zjednoczonych 0034828 A1, International Business Machines Corporation, Armonk, NY, USA, 2019

Wdrożony przez komputer sposób obejmujący odbieranie i analizę punktu danych w celu ustalenia parametrów punktu danych, generowanie biletu ostrzegawczego na podstawie analizy punktu danych, komunikowanie za pośrednictwem chatbota przynajmniej niektórych informacji zawartych w zgłoszeniu alarmowym do jednego lub więcej użytkowników i kategoryzowanie za pośrednictwem chatbota punktu danych, który spowodował zgłoszenie alertu na podstawie zachowania urządzenia, które wygenerowało punkt danych. Jonathan A. Cagadas, Alexander D. Lewitt, Simon D. Mikulcik, Karan Shukla, Leigh A. Williamson

Dwustopniowe szkolenie i mieszane kodowanie-dekodowanie do implementacji generatywnego chatbota z małym ciałem dialogowym , Jintae Kim, Hyeon-Gu Lee, Harksoo Kim, Yeonsoo Lee, Young-Gil Kim, 2016

Generatywne modele chatbotów oparte na sieciach sekwencyjno-sekwencyjnych mogą generować naturalne interakcje konwersacyjne, jeśli jako dane treningowe zostanie użyty ogromny korpus dialogowy. Jednak z wyjątkiem kilku języków, takich jak angielski i chiński, trudno jest zebrać duży korpus dialogu. Aby rozwiązać ten problem, proponujemy model chatbota wykorzystujący mieszaninę słów i sylab jako jednostki kodowania-dekodowania. Ponadto proponujemy dwuetapową metodę szkolenia, obejmującą szkolenie wstępne przy użyciu dużego korpusu bez dialogu i ponowne szkolenie przy użyciu małego korpusu dialogu. W naszych eksperymentach wykazano, że jednostki mieszania pomagają zmniejszyć problemy związane ze słownictwem (OOV). Co więcej, dwustopniowa metoda szkolenia skutecznie zmniejszała błędy gramatyczne i semantyczne w odpowiedziach, gdy chatbot był szkolony przy użyciu małego korpusu dialogowego (533,

Wybór danych inspirowanych submodularnością dla ukierunkowanego na cel treningu Chatbot na podstawie osadzania zdań , Mladen Dimovski, Claudiu Musat, Vladimir Ilievski, Andreea Hossmann, Michael Baeriswyl, 2018

Systemy rozumienia języka mówionego (SLU), takie jak zorientowane na cel chatboty lub asystenci, polegają na początkowym module rozumienia języka naturalnego (NLU) w celu ustalenia zamiaru i wydobycia odpowiednich informacji z zapytań użytkowników, które biorą jako dane wejściowe. Systemy SLU zwykle pomagają użytkownikom rozwiązywać problemy w stosunkowo wąskich domenach i wymagają dużej ilości danych szkoleniowych wewnątrz domeny. Prowadzi to do znacznych problemów z dostępnością danych, które hamują rozwój udanych systemów. Aby złagodzić ten problem, proponujemy technikę selekcji danych w reżimie niskiej ilości danych, która pozwala nam trenować z mniejszą liczbą oznaczonych zdań, a tym samym niższymi kosztami etykietowania. Proponujemy funkcję rankingu danych inspirowaną submodularnością, zysk krańcowy stosunek kary do kary, do wybierania punktów danych do etykietowania na podstawie informacji wyodrębnionych z tekstowej przestrzeni osadzania. Pokazujemy, że odległości w przestrzeni osadzania są realnym źródłem informacji, które można wykorzystać do selekcji danych. Nasza metoda przewyższa dwie znane techniki aktywnego uczenia się i umożliwia opłacalne szkolenie jednostki NLU. Co więcej, nasza proponowana technika selekcji nie wymaga ponownego szkolenia modelu między etapami selekcji, dzięki czemu jest również wydajna czasowo.

Możesz pracować z rekurencyjnymi sieciami neuronowymi za pomocą LSTM lub GRU jako komórek pamięci i osadzania słów, takich jak Word2vec. Modele wyszukiwania wiązki i uwagi mogą być również używane z RNN dla większej niezawodności i mniejszego obciążenia. Ale wyniki tych działań są w pewnym stopniu znaczące tylko wtedy, gdy badania w tej dziedzinie są wciąż gorące i należy je rozwikłać.