Ile bajtów zajmuje jeden znak Unicode?

Jestem trochę zdezorientowany co do kodowania. O ile wiem, stare znaki ASCII zajmowały jeden bajt na znak. Ile bajtów wymaga znak Unicode?

Zakładam, że jeden znak Unicode może zawierać każdy możliwy znak z dowolnego języka - czy mam rację? Ile bajtów potrzebuje na znak?

A co oznaczają UTF-7, UTF-6, UTF-16 itd.? Czy są to różne wersje Unicode?

Czytałem artykuł w Wikipedii o Unicode, ale jest to dla mnie dość trudne. Nie mogę się doczekać prostej odpowiedzi.

Nie zobaczysz prostej odpowiedzi, ponieważ nie ma takiej.

Po pierwsze, Unicode nie zawiera „wszystkich znaków z każdego języka”, chociaż na pewno próbuje.

Sam Unicode jest odwzorowaniem, definiuje punkty kodowe, a punkt kodowy jest liczbą związaną zwykle ze znakiem. Mówię zwykle, ponieważ istnieją pojęcia takie jak łączenie postaci. Możesz być zaznajomiony z akcentami lub umlautami. Można ich użyć z innym znakiem, takim jak a alub a, uaby utworzyć nowy znak logiczny. Postać może zatem składać się z 1 lub więcej współrzędnych kodowych.

Aby być użytecznym w systemach komputerowych, musimy wybrać reprezentację dla tych informacji. Są to różne kodowania Unicode, takie jak utf-8, utf-16le, utf-32 itd. Różnią się one w dużej mierze rozmiarem ich jednostek kodowych. UTF-32 jest najprostszym kodowaniem, ma 32-bitową jednostkę kodową, co oznacza, że ​​pojedynczy punkt kodowy wygodnie pasuje do jednostki kodowej. Inne kodowania będą miały sytuacje, w których punkt kodowy będzie wymagał wielu jednostek kodowych lub ten konkretny punkt kodowy nie będzie w ogóle reprezentowany w kodowaniu (jest to na przykład problem z UCS-2).

Ze względu na elastyczność łączenia znaków, nawet w ramach danego kodowania, liczba bajtów na znak może się różnić w zależności od znaku i formy normalizacji. Jest to protokół postępowania ze znakami, które mają więcej niż jedną reprezentację (możesz powiedzieć, "an 'a' with an accent"które są 2 kodowymi punktami, z których jeden jest znakiem łączącym lub "accented 'a'"który jest jednym kodowym).

O dziwo, nikt nie wskazał, jak obliczyć, ile bajtów zajmuje jeden znak Unicode. Oto reguła dla łańcuchów kodowanych w UTF-8:

Binary    Hex          Comments
0xxxxxxx  0x00..0x7F   Only byte of a 1-byte character encoding
10xxxxxx  0x80..0xBF   Continuation byte: one of 1-3 bytes following the first
110xxxxx  0xC0..0xDF   First byte of a 2-byte character encoding
1110xxxx  0xE0..0xEF   First byte of a 3-byte character encoding
11110xxx  0xF0..0xF7   First byte of a 4-byte character encoding

Szybka odpowiedź brzmi: zajmuje 1 do 4 bajtów, w zależności od pierwszego, który wskaże, ile bajtów zajmie.

Wiem, że to pytanie jest stare i ma już zaakceptowaną odpowiedź, ale chcę podać kilka przykładów (mam nadzieję, że będzie komuś przydatny).

O ile wiem, stare znaki ASCII zajmowały jeden bajt na znak.

Dobrze. W rzeczywistości, ponieważ ASCII jest kodowaniem 7-bitowym, obsługuje 128 kodów (z których 95 można wydrukować), więc wykorzystuje tylko pół bajtu (jeśli to ma sens).

Ile bajtów wymaga znak Unicode?

Unicode po prostu mapuje znaki na punkty kodowe. Nie określa, jak je zakodować. Plik tekstowy nie zawiera znaków Unicode, ale bajty / oktety, które mogą reprezentować znaki Unicode.

Zakładam, że jeden znak Unicode może zawierać każdy możliwy znak z dowolnego języka - czy mam rację?

Nie. Ale prawie. W zasadzie tak. Ale nadal nie.

Ile bajtów potrzebuje na znak?

To samo co twoje drugie pytanie.

A co oznaczają UTF-7, UTF-6, UTF-16 itp.? Czy są to jakieś wersje Unicode?

Nie, to są kodowania. Określają, w jaki sposób bajty / oktety powinny reprezentować znaki Unicode.

Kilka przykładów. Jeśli niektórych z nich nie można wyświetlić w przeglądarce (prawdopodobnie dlatego, że czcionka ich nie obsługuje), przejdź do http://codepoints.net/U+1F6AA(zamień 1F6AAna współrzędną kodową w hex), aby zobaczyć obraz.

1. • U + 0061 ŁACIŃSKI MAŁY LIST A: a
     • Nº: 97
     • UTF-8: 61
     • UTF-16: 00 61
2. • U + 00A9 ZNAK PRAWA AUTORSKIEGO: ©
     • Nº: 169
     • UTF-8: C2 A9
     • UTF-16: 00 A9
   • U + 00AE ZAREJESTROWANY ZNAK: ®
     • Nº: 174
     • UTF-8: C2 AE
     • UTF-16: 00 AE
3. • U + 1337 ETIOPTYCZNY SYGNAŁ PHWA: ጷ
     • Nº: 4919
     • UTF-8: E1 8C B7
     • UTF-16: 13 37
   • U + 2014 EM DASH: —
     • Nº: 8212
     • UTF-8: E2 80 94
     • UTF-16: 20 14
   • U + 2030 NA MILLE SIGN: ‰
     • Nº: 8240
     • UTF-8: E2 80 B0
     • UTF-16: 20 30
   • U + 20AC ZNAK EURO: €
     • Nº: 8364
     • UTF-8: E2 82 AC
     • UTF-16: 20 AC
   • U + 2122 ZNAK ZNAKU TOWAROWEGO: ™
     • Nº: 8482
     • UTF-8: E2 84 A2
     • UTF-16: 21 22
   • U + 2603 SNOWMAN: ☃
     • Nº: 9731
     • UTF-8: E2 98 83
     • UTF-16: 26 03
   • U + 260E CZARNY TELEFON: ☎
     • Nº: 9742
     • UTF-8: E2 98 8E
     • UTF-16: 26 0E
   • U + 2614 PARASOL Z KROPLI DESZCZU: ☔
     • Nº: 9748
     • UTF-8: E2 98 94
     • UTF-16: 26 14
   • U + 263A BIAŁA TWARZ UŚMIECHNIĘTY: ☺
     • Nº: 9786
     • UTF-8: E2 98 BA
     • UTF-16: 26 3A
   • U + 2691 BLACK FLAG: ⚑
     • Nº: 9873
     • UTF-8: E2 9A 91
     • UTF-16: 26 91
   • U + 269B SYMBOL ATOMOWY: ⚛
     • Nº: 9883
     • UTF-8: E2 9A 9B
     • UTF-16: 26 9B
   • U + 2708 SAMOLOT: ✈
     • Nº: 9992
     • UTF-8: E2 9C 88
     • UTF-16: 27 08
   • U + 271E CIENIANY BIAŁY KRZYŻ ŁACIŃSKI: ✞
     • Nº: 10014
     • UTF-8: E2 9C 9E
     • UTF-16: 27 1E
   • U + 3020 POSTAL MARK TWARZ: 〠
     • Nº: 12320
     • UTF-8: E3 80 A0
     • UTF-16: 30 20
   • U + 8089 CJK UNIFIED IDEOGRAPH-8089: 肉
     • Nº: 32905
     • UTF-8: E8 82 89
     • UTF-16: 80 89
4. • U + 1F4A9 PILE OF POO: 💩
     • Nº: 128169
     • UTF-8: F0 9F 92 A9
     • UTF-16: D8 3D DC A9
   • ROCKET U + 1F680: 🚀
     • Nº: 128640
     • UTF-8: F0 9F 9A 80
     • UTF-16: D8 3D DE 80

Dobra, daję się ponieść ...

Zabawne fakty:

• Jeśli szukasz konkretnej postaci, możesz ją skopiować i wkleić na stronie http://codepoints.net/ .
• Zmarnowałem dużo czasu na tej bezużytecznej liście (ale jest posortowana!).
• MySQL ma zestaw znaków o nazwie „utf8”, który w rzeczywistości nie obsługuje znaków dłuższych niż 3 bajty. Więc nie możesz wstawić kupy kupy , pole zostanie po cichu obcięte. Zamiast tego użyj „utf8mb4”.
• Jest strona testowa bałwana (unicodesnowmanforyou.com) .

Mówiąc wprost, Unicodejest standardem, który przypisuje jeden numer (zwany punktem kodowym) wszystkim postaciom świata (wciąż trwa).

Teraz musisz reprezentować ten kod za pomocą bajtów, tak zwanych character encoding. UTF-8, UTF-16, UTF-6to sposoby reprezentowania tych postaci.

UTF-8to wielobajtowe kodowanie znaków. Znaki mogą mieć od 1 do 6 bajtów (niektóre z nich mogą być w tej chwili niepotrzebne).

UTF-32 każdy znak ma 4 bajty na znak.

UTF-16używa 16 bitów na każdy znak i reprezentuje tylko część znaków Unicode o nazwie BMP (dla wszystkich praktycznych celów wystarczy). Java używa tego kodowania w swoich ciągach.

W UTF-8:

1 byte:       0 -     7F     (ASCII)
2 bytes:     80 -    7FF     (all European plus some Middle Eastern)
3 bytes:    800 -   FFFF     (multilingual plane incl. the top 1792 and private-use)
4 bytes:  10000 - 10FFFF

W UTF-16:

2 bytes:      0 -   D7FF     (multilingual plane except the top 1792 and private-use )
4 bytes:   D800 - 10FFFF

W UTF-32:

4 bytes:      0 - 10FFFF

10FFFF jest ostatnim kodem Unicode z definicji i jest zdefiniowany w ten sposób, ponieważ jest to limit techniczny UTF-16.

Jest to również największy punkt kodowy UTF-8, który może kodować w 4 bajtach, ale idea kodowania UTF-8 działa również w przypadku kodowania 5 i 6 bajtów, aby pokryć punkty kodowe do 7FFFFFFF, tj. połowa tego, co potrafi UTF-32.

W Unicode odpowiedź nie jest łatwa. Problem, jak już wskazałeś, polega na kodowaniu.

Biorąc pod uwagę dowolne zdanie w języku angielskim bez znaków diakrytycznych, odpowiedź dla UTF-8 będzie miała tyle bajtów, ile znaków, a dla UTF-16 będzie to liczba znaków dwa razy.

Jedynym kodowaniem, w którym (na razie) możemy wypowiedzieć się na temat rozmiaru, jest UTF-32. Tam zawsze jest 32 bity na znak, chociaż wyobrażam sobie, że punkty kodowe są przygotowane na przyszły UTF-64 :)

To, co czyni to tak trudnym, to co najmniej dwie rzeczy:

1. skomponowane znaki, w których zamiast używać encji znakowej, która jest już akcentowana / diakrytyczna (À), użytkownik postanowił połączyć akcent i znak podstawowy (`A).
2. punkty kodowe. Punkty kodowe to metoda, za pomocą której kodowanie UTF pozwala zakodować więcej niż liczba bitów, które nadaje im ich nazwa. Np. UTF-8 oznacza pewne bajty, które same w sobie są nieprawidłowe, ale po których następuje poprawny bajt kontynuacyjny pozwoli opisać znak poza 8-bitowym zakresem 0..255. Zobacz przykłady i długie kodowanie poniżej w artykule Wikipedii na temat UTF-8.
   • Podany tam doskonały przykład jest taki, że znak € (punkt kodowy U+20ACmoże być reprezentowany jako sekwencja trzy bajtowaE2 82 AC lub sekwencja czterobajtowaF0 82 82 AC .
   • Oba są poprawne, co pokazuje, jak skomplikowana jest odpowiedź, gdy mówimy o „Unicode”, a nie o konkretnym kodowaniu Unicode, takim jak UTF-8 lub UTF-16.

Istnieje świetne narzędzie do obliczania bajtów dowolnego ciągu w UTF-8: http://mothereff.in/byte-counter

Aktualizacja: @mathias podał kod do wiadomości publicznej: https://github.com/mathiasbynens/mothereff.in/blob/master/byte-counter/eff.js

Cóż, właśnie podciągnąłem na nim stronę Wikipedii, aw części wstępnej zobaczyłem, że „Unicode może być implementowany za pomocą różnych kodowań znaków. Najczęściej stosowanymi kodowaniami są UTF-8 (który używa jednego bajtu dla dowolnych znaków ASCII, które mają te same wartości kodu zarówno w kodowaniu UTF-8, jak i ASCII oraz do czterech bajtów dla innych znaków, obecnie nieaktualny UCS-2 (który używa dwóch bajtów dla każdego znaku, ale nie może zakodować wszystkich znaków w bieżącym standardzie Unicode) ”

Jak pokazuje ten cytat, twoim problemem jest to, że zakładasz, że Unicode jest jednym ze sposobów kodowania znaków. W rzeczywistości istnieje wiele form Unicode, i znowu w tym cytacie, jeden z nich ma nawet 1 bajt na znak, tak jak przywykłeś.

Tak więc twoją prostą odpowiedzią jest to, że jest różna.

W przypadku UTF-16 znak potrzebuje czterech bajtów (dwóch jednostek kodu), jeśli zaczyna się od 0xD800 lub większej; taka postać nazywa się „parą zastępczą”. Mówiąc dokładniej, para zastępcza ma postać:

[0xD800 - 0xDBFF]  [0xDC00 - 0xDFF]

gdzie [...] oznacza dwubajtową jednostkę kodu o podanym zakresie. Wszystko <= 0xD7FF to jedna jednostka kodu (dwa bajty). Wszystko> = 0xE000 jest nieprawidłowe (z wyjątkiem znaczników BOM, prawdopodobnie).

Zobacz http://unicodebook.readthedocs.io/unicode_encodings.html , sekcja 7.5.

Sprawdź ten konwerter kodu Unicode . Na przykład wpisz 0x2009, gdzie 2009 to numer Unicode dla cienkiej przestrzeni , w polu „0x ... notacja” i kliknij Konwertuj. Liczba szesnastkowa E2 80 89(3 bajty) pojawia się w polu „Jednostki kodu UTF-8”.

Z Wiki:

UTF-8, 8-bitowe kodowanie o zmiennej szerokości, które maksymalizuje kompatybilność z ASCII;

UTF-16, 16-bitowe kodowanie o zmiennej szerokości;

UTF-32, 32-bitowe kodowanie o stałej szerokości.

Są to trzy najpopularniejsze różne kodowania.

• W UTF-8 każdy znak jest zakodowany w 1 do 4 bajtów (kodowanie dominujące)
• W UTF16 każdy znak jest zakodowany w 1 do dwóch 16-bitowych słowach i
• w UTF-32 każdy znak jest zakodowany jako pojedyncze 32-bitowe słowo.

Unicodeto standard, który zapewnia unikalny numer dla każdej postaci. Te unikalne numery są nazywanecode point s (co jest po prostu unikalnym kodem) dla wszystkich znaków istniejących na świecie (niektóre z nich są jeszcze do dodania).

Do różnych celów może być konieczne przedstawienie tego code pointsw bajtach (większość języków programowania to robi), a oto gdzie Character Encodingzaczyna.

UTF-8, UTF-16, UTF-32I tak dalej, to wszystko Character Encodings, a punkty kodowe Unicode są reprezentowane w tych kodowań, na różne sposoby.

UTF-8 kodowanie ma zmienną szerokość, a zakodowane w nim znaki mogą zajmować od 1 do 4 bajtów włącznie;

UTF-16ma zmienną długość, a zakodowane w nim znaki mogą zająć 1 lub 2 bajty (czyli 8 lub 16 bitów). Reprezentuje to tylko część wszystkich znaków Unicode o nazwie BMP (Basic Multilingual Plane) i wystarcza na prawie wszystkie przypadki. Java używa UTF-16kodowania dla swoich ciągów znaków i znaków;

UTF-32 ma ustaloną długość, a każdy znak zajmuje dokładnie 4 bajty (32 bity).