Unicode ma być uniwersalnym zestawem znaków do opisu wszystkich znaków wymaganych w tekście pisanym, obejmującym wszystkie systemy pisma, symbole techniczne i znaki interpunkcyjne.
Zadam pytanie, które jest prawdopodobnie dość kontrowersyjnym pytaniem: „Czy jedno z najpopularniejszych kodowań, UTF-16, należy uznać za szkodliwe?” Dlaczego zadaję to pytanie? Ilu programistów jest świadomych faktu, że UTF-16 jest tak naprawdę kodowaniem o zmiennej długości? Rozumiem przez to,...
W przypadku inwazji obcych i zmuszeni jesteśmy wspierać ich języki we wszystkich naszych istniejących systemach komputerowych, czy UTF-8 został zaprojektowany w taki sposób, aby uwzględnić ich możliwie dużą liczbę postaci? (Oczywiście nie wiemy, czy kosmici rzeczywiście mają języki, czy i jak się...
Niedawno próbowałem zaimplementować algorytm rankingu, AllegSkill, w Pythonie 3. Oto jak wygląda matematyka: Nie naprawdę. Oto co napisałem: t = (µw-µl)/c # those are used in e = ε/c # multiple places. σw_new = (σw**2 * (1 - (σw**2)/(c**2)*Wwin(t, e)) + γ**2)**.5 Właściwie uważałem, że...
Myślałem, że Unicode został zaprojektowany, aby obejść cały problem posiadania wielu różnych kodowań z powodu małej przestrzeni adresowej (8 bitów) w większości wcześniejszych prób (ASCII itp.). Dlaczego więc jest tyle kodowań Unicode? Nawet wiele wersji (zasadniczo) tej samej, takich jak UTF-8,...
Nasze oprogramowanie biznesowe pozwala użytkownikowi zapisywać pewne dane jako CSV . Ponieważ na wolności jest wiele różnych formatów (wszystkie nazywane „CSV”), staramy się zdecydować, jak powinien wyglądać „format domyślny”. Jeśli chodzi o separatory linii / pól i ucieczki, istnieje standard,...
Warunki korzystania z Unicode stanowią, że każde oprogramowanie korzystające z ich plików danych (lub ich modyfikacji) powinno zawierać odniesienia do licencji Unicode. Wydaje mi się, że większość bibliotek Unicode ma funkcje sprawdzania, czy znak jest cyfrą, literą, symbolem itp., A zatem będzie...
Uczę się T-SQL. Z przykładów, które widziałem, aby wstawić tekst do varchar()komórki, mogę napisać tylko ciąg do wstawienia, ale w przypadku nvarchar()komórek każdy przykład poprzedza ciąg literą N. Próbowałem następujące zapytanie w tabeli, która ma nvarchar()wiersze, i działa dobrze, więc...
Mój wkurzony zwierzak patrzy na tak wiele projektów oprogramowania, które mają góry kodu do obsługi zestawu znaków. Nie zrozum mnie źle, jestem za zgodą i cieszę się, że edytory tekstu pozwalają otwierać i zapisywać pliki w wielu zestawach znaków. Denerwuje mnie to, jak rozprzestrzenianie się nie...
Wyobrażam sobie, że powodem był szybki, podobny do tablicy dostęp do znaku w indeksie, ale niektóre znaki nie mieszczą się w 16 bitach, więc nie działałoby ... Jeśli więc i tak musisz poradzić sobie ze specjalnymi przypadkami, dlaczego nie skorzystać z
W pracy natrafiam na wiele japońskich plików tekstowych w Shift-JIS i innych kodowaniach. Powoduje wiele problemów mojibake (nieczytelnych znaków) dla wszystkich użytkowników komputerów. Unicode miał na celu rozwiązanie tego rodzaju problemu poprzez zdefiniowanie jednego zestawu znaków dla...
Unicode ma może 50 spacji \ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u1680 \ u180E \ u2000- \ u200A \ u2028 \ u2029 \ u202F \ u205F \ u3000] [\ u0009 \ u000A- \ u000D \ u0020 \ u0085 \ u00A0 \ u1685 u180E \ u2000- \ u200A \ u2029 \ u202F \ u205F \ u3000 i 6 podziałów linii nie tylko...
Wszyscy wiedzą, że PHP ma problemy z Unicode. Wersja 6 została skutecznie porzucona z powodu trudności z implementacją Unicode. Ale zastanawiam się, czy ktoś wie, jakie są dokładne powody? Problemy z architekturą / projektowaniem, problemy z wydajnością, problemy społeczności (założę się, że nie),...
Właśnie oglądałem prezentację Jona Skeeta (z Tony the Pony) z Dev-Days. Chociaż „napisz funkcję odwrotną do łańcucha” to kodowanie wywiadu 101 - nie jestem pewien, czy tak naprawdę można napisać ogólną funkcję odwrotną do ciągu, z pewnością nie taką, która działa we wszystkich lokalizacjach i...
Czy UTF-16 ma stałą szerokość czy zmienną szerokość? Otrzymałem różne wyniki z różnych źródeł: From http://www.tbray.org/ongoing/When/200x/2003/04/26/UTF : UTF-16 przechowuje znaki Unicode w szesnastobitowych porcjach. From http://en.wikipedia.org/wiki/UTF-16/UCS-2 : UTF-16 (16-bitowy...
Osobiście uważam, że czytanie kodu pełnego identyfikatorów Unicode jest mylące. Moim zdaniem zapobiega to również łatwemu utrzymywaniu kodu. Nie wspominając już o wysiłku włożonym przez autorów różnych tłumaczy w wdrożenie takiego wsparcia. Ciągle zauważam również brak (lub obecność) obsługi...
Wybieram format pliku i chcę to zrobić poprawnie. Ponieważ jest to format binarny, pierwszy bajt (lub bajty) pliku nie powinien tworzyć prawidłowych znaków tekstowych (tak jak w nagłówku 1 pliku PNG ). Dzięki temu narzędzia, które nie rozpoznają formatu, mogą zobaczyć, że nie jest to plik tekstowy,...
Szukałem wydajnej implementacji String trie. Przeważnie znalazłem taki kod: Referencyjna implementacja w Javie (na wikipedię) Nie podobają mi się te wdrożenia z dwóch powodów: Obsługują tylko 256 znaków ASCII. Muszę obejmować takie rzeczy jak cyrylica. Są wyjątkowo nieefektywne pod względem...
Coś, co od dawna mnie myliło, to fakt, że tak wiele programów używa terminów „charset” i „kodowanie” jako synonimów. Kiedy ludzie odnoszą się do „kodowania” unicode, zawsze mają na myśli zestaw reguł do reprezentowania znaków unicode jako ciąg bajtów - jak ASCII lub UTF-8. Wydaje się to rozsądne i...