Wybór autonomicznego serwera wyszukiwania pełnotekstowego: Sphinx czy SOLR? [Zamknięte]

Szukam autonomicznego serwera wyszukiwania pełnotekstowego o następujących właściwościach:

• Musi działać jako samodzielny serwer, który może obsługiwać żądania wyszukiwania od wielu klientów
• Musi być w stanie wykonać „indeksowanie zbiorcze” poprzez indeksowanie wyniku zapytania SQL: powiedz „WYBIERZ identyfikator, text_to_index Z dokumentów;”
• Musi być wolnym oprogramowaniem i musi działać w systemie Linux z MySQL jako bazą danych
• Musi być szybki (wyklucza wewnętrzne wyszukiwanie pełnotekstowe MySQL)

Znalazłem alternatywy, które mają te właściwości:

• Solr (na podstawie Lucene)
• ElasticSearch (również oparty na Lucene)
• Sfinks

Moje pytania:

• Jak oni się porównują?
• Czy przegapiłem jakieś alternatywy?
• Wiem, że każdy przypadek użycia jest inny, ale czy są pewne przypadki, w których zdecydowanie nie chciałbym używać określonego pakietu?

Używam Solr z powodzeniem od prawie 2 lat i nigdy nie użyłem Sfinksa, więc jestem oczywiście stronniczy. Jednak postaram się zachować obiektywizm, cytując dokumenty lub inne osoby. Zrobię też łatki do mojej odpowiedzi :-)

Podobieństwa:

• Zarówno Solr, jak i Sfinks spełniają wszystkie Twoje wymagania. Są szybkie i mają na celu efektywne indeksowanie i wyszukiwanie dużych zbiorów danych.
• Oba mają długą listę witryn o dużym natężeniu ruchu, które ich używają ( Solr , Sfinks )
• Oba oferują wsparcie komercyjne. ( Solr , Sfinks )
• Oba oferują wiązania API klienta dla kilku platform / języków ( Sphinx , Solr )
• Oba mogą być dystrybuowane w celu zwiększenia prędkości i pojemności ( Sfinks , Solr )

Oto kilka różnic:

• Solr, będący projektem Apache, ma oczywiście licencję Apache2. Sfinks to GPLv2 . Oznacza to, że jeśli kiedykolwiek będziesz musiał osadzić lub rozszerzyć (nie tylko „używać”) Sfinksa w aplikacji komercyjnej, musisz kupić licencję komercyjną ( uzasadnienie )
• Solr można łatwo osadzić w aplikacjach Java.
• Solr jest zbudowany na bazie Lucene, która jest sprawdzoną technologią od ponad 8 lat i ma ogromną bazę użytkowników (to tylko niewielka część). Za każdym razem, gdy Lucene dostaje nową funkcję lub przyspieszenie, Solr też ją otrzymuje. Wielu deweloperów zobowiązujących się do Solr jest również zleceniodawcami Lucene.
• Sphinx ściślej integruje się z RDBMS, zwłaszcza MySQL.
• Solr można zintegrować z Hadoop w celu tworzenia aplikacji rozproszonych
• Solr można zintegrować z Nutch, aby szybko zbudować pełnoprawną wyszukiwarkę internetową z robotem indeksującym .
• Solr może indeksować zastrzeżone formaty, takie jak Microsoft Word, PDF itp . Sfinks nie może .
• Solr jest wyposażony w moduł sprawdzania pisowni po wyjęciu z pudełka .
• Solr jest dostarczany z obsługą aspektów po wyjęciu z pudełka . Faceting w Sfinksie wymaga więcej pracy .
• Sfinks nie zezwala na częściowe aktualizacje indeksu danych w terenie .
• W Sphinx wszystkie identyfikatory dokumentów muszą być unikatowymi liczbami całkowitymi bez znaku . Solr nie wymaga nawet unikalnego klucza dla wielu operacji , a unikatowymi kluczami mogą być liczby całkowite lub ciągi znaków.
• Solr obsługuje zwijanie pól (obecnie tylko jako dodatkowa łatka), aby uniknąć powielania podobnych wyników. Wygląda na to, że Sphinx nie zapewnia takiej funkcji.
• Podczas gdy Sphinx służy wyłącznie do pobierania identyfikatorów dokumentów , w Solr możesz bezpośrednio uzyskać całe dokumenty z praktycznie dowolnego rodzaju danymi, czyniąc je bardziej niezależnymi od zewnętrznych magazynów danych i oszczędza to dodatkowej podróży.
• Solr, z wyjątkiem sytuacji, gdy jest używany osadzony, działa w kontenerze Java, takim jak Tomcat lub Jetty, które wymagają dodatkowej specyficznej konfiguracji i strojenia (lub można użyć dołączonego Jetty i po prostu uruchomić go java -jar start.jar). Sfinks nie ma dodatkowej konfiguracji.

Powiązane pytania:

• Wyszukiwanie pełnotekstowe za pomocą szyn
• Porównanie wyszukiwarki pełnotekstowej - Lucene, Sphinx, Postgresql, MySQL?

Jeśli nie musisz rozszerzać funkcji wyszukiwania w jakikolwiek zastrzeżony sposób, Sphinx jest najlepszym wyborem.

Zalety Sfinksa:

1. Programowanie i konfiguracja jest szybsza
2. Znacznie lepsza (i szybsza) agregacja. To była dla nas funkcja zabójcy.
3. Nie XML. To właśnie ostatecznie wykluczyło dla nas Solr. Musieliśmy zwrócić raczej duże zestawy wyników (pomyślmy o setkach wyników), a następnie sami je zagregowaliśmy, ponieważ brakowało agregacji Solr. Ilość czasu na serializację do i z XML po prostu absolutnie zabiła wydajność. Jednak dla małych zestawów wyników było idealnie.
4. Najlepsza dokumentacja, jaką widziałem w aplikacji typu open source

Zalety Solr:

1. Można przedłużyć.
2. Może trafić bezpośrednio z aplikacji internetowej, tzn. Możesz wyszukiwać podobne do autouzupełniania bezpośrednio na serwerze Solr za pośrednictwem AJAX.

Uwaga: jest wielu użytkowników, którzy myślą o tym samym pytaniu.

Aby odpowiedzieć na pytanie:

Które i dlaczego

• Użyj Solr, jeśli zamierzasz używać go w swojej aplikacji internetowej (wyszukiwarka w przykładowej witrynie). Z pewnością okaże się świetny dzięki API. Zdecydowanie będziesz potrzebować tej mocy do aplikacji internetowej.

• Użyj Sphinx, jeśli chcesz naprawdę szybko przeszukiwać mnóstwo dokumentów / plików. Indeksuje też bardzo szybko. Odradzam używanie go w aplikacji, która wymaga JSON lub parsowania XML, aby uzyskać wyniki wyszukiwania. Użyj go do bezpośredniego wyszukiwania dB. Działa świetnie na MySQL.

Alternatywy

Chociaż są to olbrzymy, jest ich o wiele więcej. Są też tacy, którzy używają ich do zasilania swoich niestandardowych ram. Powiedziałbym więc, że naprawdę niczego nie przegapiłeś. Chociaż istnieje jedno elastyczne wyszukiwanie, które ma dobrą bazę użytkowników.

Używam Sfinksa od prawie roku i to było niesamowite. Mogę zindeksować 1,5 miliona dokumentów w ciągu około minuty na moim MacBooku, a jeszcze szybciej na serwerze. Używam również Sfinksa, aby ograniczyć wyszukiwanie do miejsc w określonych szerokościach i długościach geograficznych, i to jest bardzo szybkie. Również sposób rankingu wyników jest bardzo drobiazgowy. Łatwy w instalacji i konfiguracji, jeśli czytasz samouczek lub dwa. Prawie 1.0 status, ale ich kandydaci do wydania byli niesamowicie solidni.

Lucene / Solr wydaje się być bardziej promowany i ma więcej lat w biznesie oraz znacznie silniejszą społeczność użytkowników. imho, jeśli uda ci się obejść problemy z początkową konfiguracją, ponieważ niektórzy wydają się mieć do czynienia (nie my), powiedziałbym, że Lucene / Solr jest najlepszym wyborem.