Czym jest UTF-8: definicja, działanie, błędy i zastosowania

Informatec Digital » Computing » Czym jest UTF-8: definicja, działanie, błędy i zastosowania

Jeśli czytasz ten artykuł dzisiaj i nie widzisz żadnych dziwnych symboli, to dzięki kodowaniu UTF-8 . To kodowanie pozwala na wyświetlanie liter, akcentów, symboli technicznych, a nawet emoji w ten sam sposób w każdej nowoczesnej przeglądarce, systemie operacyjnym czy kliencie poczty e-mail. To najbardziej rozpowszechniony standard w sieci i podstawa komunikacji cyfrowej, jaką znamy.

Kiedy urządzenie wyświetla tekst, w rzeczywistości przetwarza liczby . Liczby te są punktami kodowymi zdefiniowanymi przez standard Unicode . Aby przekonwertować je na bajty przesyłane przez sieć lub zapisywane w pliku, wykonujemy transformację: UTF-8 . W poniższych wierszach dowiesz się, czym jest UTF-8, jak działa, dlaczego stał się standardem, jakie ma zalety i ograniczenia oraz jak unikać typowych błędów.

Co to jest UTF-8?

UTF-8 (8-bit Unicode Transformation Format) to sposób przekształcania punktów kodowych Unicode w sekwencje bajtów . Jego główną cechą jest zmienna długość : niektóre znaki zajmują 1 bajt, podczas gdy inne wymagają 2, 3 lub 4 bajtów. Pozwala to na tworzenie zwartych tekstów z prostymi znakami łacińskimi , ale może również reprezentować dowolny znak z repertuaru Unicode.

Jest w pełni kompatybilny z kodem ASCII : pierwsze 128 znaków (od U+0000 do U+007F) jest kodowanych jednym bajtem, identycznym z 7-bitowym kodem ASCII. Ułatwiło to przejście ze starszych systemów i w dużej mierze wyjaśnia jego sukces w internecie, poczcie elektronicznej i protokołach IETF.

UTF-8 wyróżnia się solidnością : zawiera bity synchronizacji, które umożliwiają niezawodną identyfikację początku każdego symbolu. Ta właściwość samosynchronizacji ułatwia wykrycie, czy sekwencja „wygląda” jak UTF-8 , co jest bardzo przydatne w narzędziach i parserach.

Unicode: podstawa wszystkiego

Unicode to uniwersalny standard, który przypisuje każdemu znakowi unikalny numer , niezależnie od języka, platformy czy aplikacji. Numer ten nazywany jest punktem kodowym i jest zazwyczaj zapisywany w systemie szesnastkowym w formacie U+XXXX (lub w razie potrzeby z większą liczbą cyfr).

Np. Wielka litera „A” to U+0041W HTML możemy się do tego również odwoływać jako A. Twój komputer nie „myśli” o A jako o literze, lecz jako o liczbie 65, a następnie kodowanie (np. UTF-8) decyduje, jak przedstawić tę liczbę w bajtach.

Jeśli chcesz zobaczyć, jak Unicode przekłada się na znaki na komputerze , w systemie Windows możesz przytrzymać klawisz Alt i wpisać kod dziesiętny na klawiaturze numerycznej: na przykład Alt+65 zwraca „A” (zobacz pełną listę kodów Alt ). To klasyczny skrót, który pokazuje, jak kody odpowiadają wyświetlanym znakom.

Trochę historii: jak powstał UTF-8

UTF-8 został opracowany przez Kena Thompsona pod kierownictwem Roba Pike'a 2 września 1992 roku. Zaimplementowali go w systemie operacyjnym Plan 9 firmy Bell Labs i oficjalnie zaprezentowali na targach USENIX (San Diego, styczeń 1993) . Podczas standaryzacji, sponsorowanej przez X/Open Joint Internationalization Group (XOJIG) , kod UTF-8 był znany pod nazwami takimi jak FSS/UTF i UTF-2, zanim został ujednolicony jako UTF-8.

Projekt rozwiązał praktyczne problemy , które nękały poprzednie próby uniwersalnego kodowania: zgodność ASCII, samosynchronizację, brak nakładających się bajtów i łatwość wykrywania błędów. Ta równowaga uczyniła go de facto standardem w sieci.

Jak działa UTF-8 pod maską

UTF-8 grupuje znaki według bajtów potrzebnych do ich zakodowania . Liczba bajtów zależy wyłącznie od punktu kodowego Unicode i jest zgodna ze wzorcami bitowymi, które wskazują długość sekwencji.

• 1 bajt (od U+0000 do U+007F):Znaki ASCII. Format: 0xxxxxxx. Najważniejszym bitem jest 0, który gwarantuje bezpośrednią zgodność z ASCII.
• 2 bajty (od U+0080 do U+07FF): Sformatuj 110yyyyy 10xxxxxx. Używa się go w większości alfabetów europejskich zawierających znaki diakrytyczne, a także w takich alfabetach jak grecki, cyrylica, hebrajski i arabski..
• 3 bajty (od U+0800 do U+FFFF): Sformatuj 1110zzzz 10yyyyyy 10xxxxxx. Obejmuje podstawowy plan wielojęzyczny (BMP) z CJK (chiński, japoński, koreański), symbole techniczne i najczęściej używane znaki.
• 4 bajty (od U+10000 do U+10FFFF): Sformatuj 11110uuu 10uuzzzz 10yyyyyy 10xxxxxx. Reprezentuje płaszczyzny uzupełniające:zaawansowane symbole matematyczne, pisma historyczne, mniej powszechne symbole ideograficzne itp.

Kluczem do samosynchronizacji są bity nagłówka : 0 dla ASCII; 110 dla dwóch bajtów; 1110 dla trzech; 11110 dla czterech. Bajty kontynuacji zawsze zaczynają się od 10. Dzięki temu bajt kontynuacji nigdy nie pojawi się jako bajt początkowy , a prawidłowa sekwencja nigdy nie będzie podciągiem dłuższej sekwencji (zasada braku nakładania się).

Równoważność z UTF-16 i parami zastępczymi

UTF-16 reprezentuje punkty kodowe BMP z jednostką 16 bitów i punkty powyżej U+FFFF z pary zastępcze w zasięgu D800–DFFF. Zamiast, UTF-8 zawsze koduje rzeczywiste punkty kodowe, a nie jednostki UTF-16, co pozwala uniknąć pomyłki z zamiennikami.

Historycznie, niektóre projekty dopuszczały 5 lub 6 bajtów w UTF-8, aby objąć szerszy zakres, ale Unicode i RFC 3629 ograniczają UTF-8 do maksymalnie 4 bajtów . ISO/IEC rozważały szersze opcje, ale nie są one częścią obecnego standardu.

Przykład praktyczny: ñ

Znak „ñ” ma punkt kodowy U+00F1, który mieści się w zakresie dwóch bajtów. Zgodnie ze wzorem jest on kodowany jako 110xxxxx 10xxxxxx. Jego reprezentacja UTF-8 to 0xC3 0xB1Dekodowanie to proces odwrotny: odczytanie użytecznych bitów i rekonstrukcja oryginalnego punktu kodowego.

Zalety i ograniczenia UTF-8

Główne zalety :

• Obsługa ASCII:Teksty ASCII są poprawne w UTF-8 bez zmian.
• uniwersalny: może reprezentować dowolny znak Unicode, w tym symbole techniczne i emoji.
• Efektywność w tekstach łacińskich:podczas używania 1 bajtu dla ASCII, oszczędza miejsce w porównaniu do UTF-16 w wielu językach zachodnich.
• Samosynchronizacja i wykrywanie:wzory bitowe pozwalają wykryj początki postaci i z łatwością weryfikuj sekwencje.

Ograniczenia i kompromisy :

• Teksty CJK zajmują więcej miejsca niż teksty UTF-16, gdzie wiele z tych znaków mieści się w 2 stałych bajtach.
• Koszt obliczeń: mając zmienną długość, niektóre operacje (np. „przejdź do znaku n”) wymagają przejścia od początku, a niektóre zadania mogą być szybsze w UTF-16/UTF-32.

BOM (Znacznik kolejności bajtów) w UTF-8

UTF-8 nie wymaga BOM Ponieważ kolejność bajtów nie zmienia znaczenia wartości (najmniejszą jednostką jest bajt). Mimo to, Istnieje opcjonalny BOM, znak U+FEFF zakodowany jako EF BB BF na początku pliku lub strumienia, co może być użyte do wskazania „to jest Unicode/UTF-8”.

Najlepsze praktyki : Jeśli pojawia się na początku, niektóre systemy akceptują go, a inne traktują go dosłownie. W konkatenacjach zaleca się usunięcie pośrednich zestawień materiałowych (BOM) . Dołączenie go nie jest obowiązkowe, a jego użyteczność w UTF-8 jest ograniczona w porównaniu z UTF-16/UTF-32, gdzie oznacza on kolejność bajtów.

Typowe błędy kodowania i jak sobie z nimi radzić

Solidny dekoder UTF-8 musi albo odrzucić nieprawidłowe sekwencje , albo zastąpić je znakami U+FFFD (ZNAK ZAMIENNY), ​​albo zgłosić błąd. Najczęstsze błędy to:

• Ucięte sekwencje: wielobajtowy bajt wiodący bez wystarczającej kontynuacji.
• Luźne bajty kontynuacji: pojawić się 10xxxxxx bez prawidłowego bajtu wiodącego.
• Nadwyżki długości: kodowanie z większą liczbą bajtów niż to konieczne; na przykład próba zakodowania kodu ASCII przy użyciu 2 bajtów (0xC0 y 0xC1 są nieważne).
• Zabronione długości: zaczyna sugerować 5 lub 6 bajtów (0xF8-0xFD nie są ważne w standardzie UTF-8).
• Wartości poza zakresem Unicode: nieobsługiwane powyżej U+10FFFF; pewne wartości (0xF5-0xF7 jako początki) są nieważne.
• Pary zastępcze UTF-16: D800–DFFF nie są prawidłowymi punktami kodowymi w formacie Unicode; nie powinny być wyświetlane w formacie UTF-8.

Jeśli widzisz na ekranie znak „�” , najprawdopodobniej jest to spowodowane niezgodnością kodowania lub plikiem zapisanym w innej stronie kodowej. Rozwiązaniem jest wymuszenie kodowania UTF-8 od początku do końca (plik, serwer, baza danych, nagłówki HTTP).

UTF-8 w sieci i poczcie elektronicznej

Strona HTML wymaga zadeklarowania tylko jednego kodowania . Zalecane kodowanie, ze względu na kompatybilność i zakres, to UTF-8. Jak najszybciej dodaj następujący metatag do nagłówka:

<meta charset="UTF-8">

Umieść go na początku znacznika `<head>` , aby przeglądarka odczytała go przed przetworzeniem dokumentu. Zapobiega to niespójnościom i „uszkodzonym” znakom. Popularność UTF-8 w internecie jest ogromna ; jest on używany przez zdecydowaną większość obecnych stron internetowych.

W poczcie elektronicznej kodowanie UTF-8 jest szeroko wspierane i rekomendowane przez organizacje takie jak Internet Mail Consortium. Skonfigurowanie klientów poczty elektronicznej do obsługi UTF-8 zmniejsza problemy podczas wymiany wiadomości z osobami posługującymi się innymi językami.

UTF-8, UTF-16 i UTF-32: jaka jest różnica?

UTF-8 : Kodowanie o zmiennej długości w jednostkach 8-bitowych; idealne dla sieci WWW , bardzo wydajne z ASCII i językami zachodnimi. Doskonała kompatybilność i wykrywanie błędów.

UTF-16 : zmienna długość w jednostkach 16-bitowych; używa par zastępczych dla U+10000 i wyższych. Często jest to korzystne, gdy dominują znaki spoza ASCII , i jest używane w wielu interfejsach API i na wielu platformach (na przykład system Windows działa natywnie w UTF-16 ).

UTF-32 : stała długość 32 bitów na znak; bardzo łatwy do indeksowania , ale wymagający dużej ilości miejsca. Jest zarezerwowany dla przypadków, w których rozmiar ma drugorzędne znaczenie w stosunku do prostoty przetwarzania.

Niezgodne warianty: CESU-8 i „Modified UTF-8”

CESU-8 koduje jednostki UTF-16 bezpośrednio (w tym pary zastępcze) zamiast kodowania punktów kodowych, różniąc się tym samym od standardowego UTF-8 dla znaków powyżej U+FFFF. Niektóre historyczne platformy go używały: Oracle 8 oferował go pod nazwą UTF-8, a począwszy od Oracle 9, dodał standardowy UTF-8 pod inną nazwą. Java i Tcl używały CESU-8 w pewnych kontekstach.

Zmodyfikowany kod UTF-8 (na przykład w środowiskach Java) reprezentuje znak NUL (U+0000) jako 0xC0 0x80 zamiast 0x00. Pozwala to uniknąć bajtu null w ciągach znaków języka C , ale nie jest zgodny ze standardem UTF-8. Wiele implementacji tej „zmodyfikowanej” wersji jest również zgodnych ze standardem CESU-8.

UTF-8 w systemie Windows i interfejsach API: strony kodowe i konwersja

System Windows wewnętrznie pracuje w standardzie UTF-16 (WCHAR)ale od wersji 10 systemu Windows 1903 możesz wymuś UTF-8 jako stronę kodową procesu poprzez manifest aplikacji (właściwość activeCodePage). Dzięki temu starszy kod wykorzystujący interfejsy API „-A” łatwiej działa w formacie UTF-8.

Interfejsy API -A vs -W: the -A zależą od strony kodowej ANSI skonfigurowany (może być CP_UTF8), podczas gdy -W oni używają UTF-16. Aby współdziałać, MultiByteToWideChar y WideCharToMultiByte umożliwia konwersję pomiędzy UTF-8 i UTF-16; USA CP_UTF8 i, jeśli ma to zastosowanie, MB_ERR_INVALID_CHARS w celu wykrycia błędów wejściowych.

Rzeczywista kompatybilność: przeglądarki i systemy

Kodowanie UTF-8 jest kompatybilne z nowoczesnymi przeglądarkami (Chrome, Firefox, Safari, Edge, Opera i najnowszymi wersjami Internet Explorera) i większością systemów operacyjnych (Windows, Linux, macOS, Android, iOS). O ile nie masz bardzo starego oprogramowania, nie powinieneś mieć żadnych problemów.

Jak konwertować pliki do UTF-8

W systemie Windows (Notatnik) : otwórz plik, przejdź do „Plik > Zapisz jako…” i w sekcji „Kodowanie” wybierz UTF-8 . Zapisz pod nową nazwą, jeśli chcesz zachować oryginał.

W systemie macOS (TextEdit) : W „TextEdit > Preferencje > Otwórz i zapisz” wybierz opcję Unicode (UTF-8) podczas zapisywania. Następnie wyeksportuj plik z włączoną tą opcją.

W systemie Linux:za pomocą terminala możesz używać iconv, Por ejemplo: iconv -f <codificación_origen> -t UTF-8 <entrada> -o <salida>. Sprawdź później że aplikacja, która je wykorzystuje, również oczekuje UTF-8.

Jak sprawdzić, czy plik jest zakodowany w UTF-8? Wiele nowoczesnych edytorów wyświetla to na pasku stanu. Jeśli widzisz dziwne znaki, takie jak „�”, zniekształcone akcenty lub nieprawidłowo wyświetlane „ñ/ç”, sprawdź kodowanie pliku oraz ustawienia edytora/serwera/bazy danych.

Dobre praktyki, aby uniknąć niespodzianek

Deklaruj UTF-8 jak najwcześniej w nagłówkach HTML i HTTP. Dostosuj kodowanie w całym stosie (pliki źródłowe, szablony, baza danych i połączenie). Unikaj mieszania kodowań na tej samej stronie lub w tym samym przepływie i korzystaj z narzędzi, które weryfikują/normalizują dane wejściowe.

Do integracji i interfejsów API, zawsze określaj kodowanie w nagłówkach (Content-Type: application/json; charset=UTF-8, na przykład). Test z danymi wielojęzycznymi (akcenty, CJK, emoji) w celu wykrycia słabych punktów przed produkcją.

UTF-8 zwyciężył, ponieważ zapewnia równowagę między kompatybilnością, wydajnością i zasięgiem . Jest to najbardziej praktyczny sposób zapewnienia, że ​​tekst będzie przesyłany w nienaruszonym stanie między kulturami, systemami i aplikacjami, niezależnie od tego, czy zawiera akcenty, symbole techniczne, czy alfabety inne niż łacińskie.