Czy są dostępne bezpłatne usługi chmurowe do szkolenia modeli uczenia maszynowego?

27

Chcę trenować głęboki model z dużą ilością danych treningowych, ale mój komputer nie ma takiej mocy, aby trenować tak głęboki model z tymi obfitymi danymi.

Chciałbym wiedzieć, czy istnieją jakieś bezpłatne usługi w chmurze, które można wykorzystać do szkolenia uczenia maszynowego i modeli głębokiego uczenia?

Chciałbym również wiedzieć, czy istnieje usługa w chmurze, w której byłbym w stanie śledzić wyniki szkolenia, a szkolenie byłoby kontynuowane, nawet jeśli nie jestem podłączony do chmury.

Głoska bezdźwięczna
źródło

Odpowiedzi:

19

Nie ma nieograniczonej liczby bezpłatnych usług *, ale niektóre mają początkowe kredyty lub bezpłatne oferty przy pierwszej rejestracji. Oto kilka sugerowanych do tej pory:

  • AWS: Jeśli chodzi szczególnie o głębokie uczenie się na dużym zbiorze danych, prawdopodobnie AWS jest na zewnątrz - ich bezpłatna oferta nie obejmuje maszyn o wystarczającej mocy obliczeniowej do obsługi projektów głębokiego uczenia.

  • Google Cloud może zrobić, początkowa oferta kredytu jest wystarczająco dobra, aby przeprowadzić trochę głęboką naukę (może przez kilka tygodni), chociaż mają one ograniczenia rejestracji i podatków.

  • Azure ma darmową warstwę z ograniczonymi opcjami przetwarzania i przechowywania.

Większość darmowych ofert wydaje się być zgodna z modelem „Freemium” - oferuje ograniczoną liczbę usług, z których możesz nauczyć się korzystać i być może podobają się. Jednak niewystarczające, aby intensywnie korzystać (np. Szkolenie od podstaw rozpoznawania obrazów lub modelu NLP), chyba że jesteś skłonny zapłacić.

Najlepszą radą jest rozejrzeć się za najlepszą ofertą początkową i najlepszą ceną. Przegląd usług nie jest tu odpowiedni, ponieważ szybko się zestarzeje i nie będzie dobrego wykorzystania Stack Exchange. Ale możesz znaleźć podobne pytania na temat Quory i innych witryn - najlepiej postawić w Internecie wyszukiwanie „usług w chmurze do głębokiego uczenia się” lub podobnych i spodziewać się, że poświęcisz trochę czasu na porównywanie notatek. Ostatnio pojawiło się kilka specjalistycznych usług głębokiego uczenia, takich jak Nimbix lub FloydHub , a także duzi gracze, tacy jak Azure, AWS, Google Cloud.

Nie znajdziesz niczego całkowicie darmowego i nieobciążonego, a jeśli chcesz to robić rutynowo i mieć czas na budowę i konserwację sprzętu, taniej jest kupić własny sprzęt na dłuższą metę - przynajmniej na poziomie osobistym.

Aby zdecydować, czy zapłacić za chmurę, czy zbudować własną, rozważ typową cenę za maszynę w chmurze odpowiednią do głębokiego uczenia się za około 1 USD za godzinę (choć ceny bardzo się różnią i warto robić zakupy, jeśli tylko znajdź specyfikację pasującą do Twojego problemu). Mogą obowiązywać dodatkowe opłaty za przechowywanie i przesyłanie danych. Porównaj to z gotowymi maszynami do głębokiego uczenia się, które kosztują od 2000 USD , lub buduj własne za 1000 USD - takie maszyny mogą nie być w 100% porównywalne, ale jeśli pracujesz sam, wówczas punkt zwrotu będzie po kilku miesiące użytkowania. Chociaż nie zapominaj o kosztach energii elektrycznej - mocna maszyna może pobierać 0,5 kW, gdy jest intensywnie używana, więc daje to więcej niż można się spodziewać.

Zalety przetwarzania w chmurze polegają na tym, że ktoś wykonuje prace konserwacyjne i bierze na siebie ryzyko awarii sprzętu. Są to cenne usługi i odpowiednio wycenione.


* Ale zobacz odpowiedź Jaya Speidalla na temat usługi Google Colab, która wydaje się być bezpłatna, ale może mieć pewne ograniczenia dotyczące T&C, które mogą mieć na ciebie wpływ (na przykład wątpię, czy będą zadowoleni z prowadzenia produkcji zawartości Deep Dream lub Style Transfer na tym)

Neil Slater
źródło
„Nie ma żadnych bezpłatnych usług” <- to nie jest prawda
Gajusz
2
@ Gaius Dodałem korektę dla Colaba - widzę, że twoja odpowiedź dodaje platformę Azure (ze ścisłymi ograniczeniami). IMO, „1 godzina na eksperyment” jest w porządku do samodzielnego uczenia się podstaw głębokiego uczenia się. Nie ma większego zastosowania w poważnych badaniach. Nie można go użyć w większości zawodów Kaggle. Nadal polecałbym płatną usługę lub samodzielną kompilację przy użyciu platformy Azure bezpłatnie. Oczywiście Microsoft ma nadzieję, że będziesz trenować w ich systemie, a następnie uaktualnisz, aby wykonać prawdziwą pracę.
Neil Slater,
Pozdrawiam :-) Zapraszamy na resztę święta!
Gajusz
@Gaius: Dzięki! W rzeczywistości stworzyłem tę odpowiedź jako wiki społeczności, aby, mam nadzieję, przestać być nieaktualna.
Neil Slater,
2
@ Media: Mogę zachować przedstawiciela do tej pory. Utworzenie wiki społeczności pozwala innym osobom aktualizować je o więcej informacji - spodziewam się dodania usług nazwisk i mniej więcej tego, jak wygląda ich warstwa bezpłatnych usług. Dziesiątki odpowiedzi „aktualizacja” z najnowszymi zmianami w środowisku głębokiego uczenia się SaaS / IaaS może utrudnić czytanie strony.
Neil Slater,
18

Chcę dodać jeszcze jeden zasób, Google Colaboratory . Jest to darmowy notatnik iPython w chmurze, który zapewnia bezpłatne korzystanie z GPU. Nie jestem jeszcze pewien dokładnych ograniczeń, ale wydaje się, że dostajesz 12 godzin GPU na instancję i możesz to zrobić wiele razy w miesiącu.

Wygląda to na świetne źródło informacji dla studentów i innych nieprofesjonalistów, zwłaszcza w przypadku mniejszych prac, które można wykonać w ciągu pół dnia. Pozwala to zasadniczo zaoszczędzić do 10 USD na sesję szkoleniową, co moim zdaniem jest dość znaczącym zasobem do badań nad uczeniem maszynowym. Mam poważną nadzieję, że nie zostanie wykorzystany.

Jay Speidell
źródło
3
Wygląda na to, że będzie darmowy na czas nieokreślony.
Jay Speidell
1
Ostatnio dodano procesory graficzne NVIDIA Tesla T4 ...
Benj
11

Tak, z ograniczeniami. Google Cloud Compute zapewnia 300 dolarów bezpłatnej rejestracji kredytu, a Microsoft Azure daje 200 dolarów (ale ich czas GPU jest nieco tańszy, więc prawie taki sam).

Dzięki temu zyskujesz dużo czasu na GPU i zaczynasz od ważenia opcji.

Jay Speidell
źródło
1
Pojawiły się pewne sugestie dotyczące edycji i zamieszanie wokół tego. Google Cloud faktycznie oferuje wystąpienia GPU, a nawet instancji TPU, a kredyt jest do tego uprawniony. Tak naprawdę używam go, gdy rozmawiamy z hostami wspieranymi przez GPU zeszyty Jupyter.
Jay Speidell,
czy przesyłanie ma jakieś ograniczenia dotyczące bezpłatnych godzin? czy wiesz, że jest silniejszy niż ich system Colab? I wreszcie, czy wiesz, ile godzin jest za darmo?
Media
W przypadku prób „darmowego kredytu”, które oferują różne usługi, masz pełny dostęp do wszystkich usług bez ograniczeń. Kredyt zostanie zastosowany do rachunku. Colab jest ograniczony do 12 GB pamięci RAM, więc skonfigurowanie Jupytera w instancji silnika obliczeniowego dałoby o wiele więcej opcji zasobów.
Jay Speidell,
1

Azure Machine Learning Studio firmy Microsoft ma warstwę „zawsze bezpłatną”, z zastrzeżeniem pewnych ograniczeń , w tym

  • 100 modułów na eksperyment („moduł” w Azure-speak to dowolna dyskretna operacja, taka jak „ładowanie danych” lub „model pociągu”, więc możesz zrobić całkiem sporo ze 100 z nich)
  • 10 GB pamięci
  • 1 godzina na eksperyment
  • Brak równoległego wykonywania na wielu węzłach

Trening będzie kontynuowany, dopóki nie będziesz połączony, aby odpowiedzieć na drugie pytanie. Możesz skonfigurować swoje eksperymenty za pośrednictwem interfejsu internetowego lub wiersza poleceń .

Gajusz
źródło
1

Ciało pytania pyta o głębokie uczenie się, ale jest to pierwsze pytanie, które pojawia się podczas wyszukiwania „bezpłatnej usługi online do uczenia maszynowego”.

Chciałem dodać, że są też inne darmowe usługi ML online.

Jestem założycielem jednej z takich usług z darmową warstwą ( fml.ai ), która działa na AWS / Google Cloud. Nasz interfejs użytkownika został zaprojektowany w taki sposób, aby był intuicyjny, zrozumiały i wykorzystywał wyselekcjonowaną wewnętrzną i otwartą technologię. Oczywiście istnieją ograniczenia dotyczące bezpłatnej warstwy i obecnie dozwolone są tylko zestawy danych do 100 MB. Mimo to użytkownicy mogą tworzyć modele i wizualizować wyniki za darmo.

Wierzę, że są też inni ...

Abhimanyu Aditya
źródło
0

Wygląda na to, że Intelpozwala użytkownikom korzystać z AI DevCloudza darmo przez trzydzieści dni. Oto instrukcje.

Głoska bezdźwięczna
źródło