Jakie są opcje kompresji do przechowywania dużych ilości tekstu w Postgresie?

Muszę przechowywać duże ilości tekstu w Postgresie, głównie dzienniki poleceń i dane wyjściowe długo działających poleceń, i muszę wiedzieć, czy istnieją pewne ustawienia, które mogłyby pomóc w transparentnym kompresowaniu danych za pomocą narzędzia takiego jak zlib lub innych rodzimych metod oszczędzania miejsca .

Dane to przede wszystkim dane tylko do odczytu, więc zapis nie stanowi problemu.

postgresql compression vfclists
źródło

z instrukcji : „ Długie łańcuchy są automatycznie kompresowane przez system ”, a oto bardziej szczegółowy opis: postgresql.org/docs/current/static/storage-toast.html

a_horse_with_no_name

Używamy jednak algorytmu kompresji o dość niskim współczynniku, ponieważ musi on mieć niski koszt procesora. Dlatego nadal warto wykonywać inną formę kompresji i ustawiać EXTERNALpamięć w kolumnie.

Craig Ringer

@CraigRinger Kiedy mówisz o innej formie kompresji, masz na myśli ustawienie dodatkowych opcji Postgres lub skompilowanie dodatkowego modułu, czy to gotowej biblioteki, czy własnej?

vfclists

Odpowiedzi:

Domyślnie Postgres automatycznie kompresuje wszystko TEKST. Wykorzystuje prosty algorytm lzcompress:

https://www.postgresql.org/docs/9.3/storage-toast.html

Istnieje wtyczka, która prawdopodobnie rozwinie się w obsługę kompresji LZ4 dla TEXT:

https://github.com/zilder/pg_lz4

Istnieje FDW, który obsługuje również kompresję:

https://www.citusdata.com/blog/2014/04/03/columnar-store-for-analytics/

kworr
źródło