Jak przekonwertować ciągi na i z tablic bajtów UTF8 w Javie

239

W Javie mam ciąg znaków i chcę go zakodować jako tablicę bajtów (w UTF8 lub innym kodowaniu). Alternatywnie mam tablicę bajtów (w znanym kodowaniu) i chcę przekonwertować ją na ciąg Java. Jak wykonać te konwersje?

mcherm
źródło

Odpowiedzi:

355

Konwertuj z ciągu na bajt []:

String s = "some text here";
byte[] b = s.getBytes(StandardCharsets.UTF_8);

Konwertuj z bajtu [] na ciąg znaków:

byte[] b = {(byte) 99, (byte)97, (byte)116};
String s = new String(b, StandardCharsets.US_ASCII);

Oczywiście powinieneś użyć poprawnej nazwy kodowania. W moich przykładach wykorzystałem US-ASCII i UTF-8, dwa najczęściej stosowane kodowania.

mcherm
źródło
30
US-ASCII nie jest obecnie bardzo popularnym kodowaniem. Windows-1252 i ISO-8859-1 (które są nadzbiorami ASCII) są znacznie bardziej rozpowszechnione.
Michael Borgwardt,
11
Właściwie uważam to za dość powszechne w mojej pracy. Często czytam strumienie bajtów, które mogły zostać zapisane jako Windows-1252 lub ISO-8859-1 lub nawet jako „dane wyjściowe tego starszego programu, który mieliśmy przez ostatnie 10 lat”, ale które zawierają bajty, które mają gwarancję ważności Znaki US-ASCII. Często też mam wymaganie WYTWARZANIA takich plików (do wykorzystania przez kod, który może lub nie może być w stanie obsłużyć znaków spoza ASCII. Zasadniczo US-ASCII jest „największym wspólnym mianownikiem” wielu programów.
mcherm
1
Ta metoda jednak nie zgłosi żadnych problemów z konwersją. To może być to, czego chcesz. Jeśli nie, zaleca się użycie CharsetEncoder.
Michael Piefel,
7
@Pacerier, ponieważ dokumenty dla zestawu znaków zawierają „UTF-8” jako jeden ze standardowych zestawów znaków. Wierzę, że twoja pisownia jest również akceptowana, ale poszedłem z tym, co powiedzieli doktorzy.
mcherm
20
Od wersji JDK7 możesz używać StandardCharsets.UTF_8 docs.oracle.com/javase/7/docs/api/java/nio/charset/...
Rafael Membrives
95

Oto rozwiązanie, które pozwala uniknąć wyszukiwania Charset dla każdej konwersji:

import java.nio.charset.Charset;

private final Charset UTF8_CHARSET = Charset.forName("UTF-8");

String decodeUTF8(byte[] bytes) {
    return new String(bytes, UTF8_CHARSET);
}

byte[] encodeUTF8(String string) {
    return string.getBytes(UTF8_CHARSET);
}
Mike Leonhard
źródło
4
@mcherm: Nawet jeśli różnica w wydajności jest niewielka, wolę używać obiektów (Charset, URL itp.) niż ich ciąg znaków, jeśli to możliwe.
Bart van Heukelom,
7
Uwaga: publiczny ciąg znaków „Since 1.6” (bajty [] bajty, zestaw znaków Charset)
Leo
1
Jeśli chodzi o „unika się wyszukiwania Charset dla każdej konwersji” ... proszę podać źródło. Czy java.nio.charset.Charset nie jest zbudowany na String.getBytes i dlatego ma większy narzut niż String.getBytes?
Pacerier
2
Dokumenty zawierają następujące stwierdzenie: „Zachowanie tej metody, gdy ten ciąg nie może być zakodowany w danym zestawie znaków, jest nieokreślone. Należy użyć klasy CharsetEncoder, gdy wymagana jest większa kontrola nad procesem kodowania”.
paiego,
24
Uwaga: od wersji Java 1.7 można korzystać StandardCharsets.UTF_8ze stałego sposobu uzyskiwania dostępu do zestawu znaków UTF-8.
Kat
17
String original = "hello world";
byte[] utf8Bytes = original.getBytes("UTF-8");
Jorge Ferreira
źródło
Dzięki! Napisałem to jeszcze raz, dodając inny kierunek nawrócenia.
mcherm
1
@smink Myślnik nie jest opcjonalny. To powinno użyć „UTF-8”
Mel Nicholson,
14

Możesz konwertować bezpośrednio za pomocą konstruktora String (bajt [], String) i metody getBytes (String). Java udostępnia dostępne zestawy znaków za pośrednictwem klasy Charset . Dokumentacja JDK zawiera listę obsługiwanych kodowań .

W 90% przypadków takie konwersje są przeprowadzane w strumieniach, więc korzystasz z klas Reader / Writer . Nie będziesz dekodował przyrostowo przy użyciu metod String w dowolnych strumieniach bajtów - wystawiłbyś się na błędy dotyczące znaków wielobajtowych.

McDowell
źródło
Czy możesz rozwinąć? Jeśli moja aplikacja koduje i dekoduje ciągi UTF-8, jakie są obawy dotyczące znaków wielobajtowych?
raffian
@raffian Problemy mogą wystąpić, jeśli nie przekształcisz wszystkich danych postaci za jednym razem. Zobacz tutaj przykład.
McDowell,
12

Moja implementacja tomcat7 akceptuje ciągi jako ISO-8859-1; pomimo typu treści żądania HTTP. Poniższe rozwiązanie działało dla mnie, gdy próbowałem poprawnie interpretować znaki takie jak „é”.

byte[] b1 = szP1.getBytes("ISO-8859-1");
System.out.println(b1.toString());

String szUT8 = new String(b1, "UTF-8");
System.out.println(szUT8);

Podczas próby interpretacji ciągu jako US-ASCII informacje o bajcie nie zostały poprawnie zinterpretowane.

b1 = szP1.getBytes("US-ASCII");
System.out.println(b1.toString());
paiego
źródło
8
Do Twojej wiadomości, od wersji Java 7 możesz używać stałych dla tych nazw zestawów znaków, takich jak StandardCharSets.UTF_8i StandardCharSets.ISO_8859_1.
Basil Bourque,
Uratowałem mój dzień, pracując absolutnie dobrze dla pierwszego rozwiązania wspomnianego powyżej.
Hassan Jamil
7

Alternatywnie można użyć StringUtils z Apache Commons.

 byte[] bytes = {(byte) 1};
 String convertedString = StringUtils.newStringUtf8(bytes);

lub

 String myString = "example";
 byte[] convertedBytes = StringUtils.getBytesUtf8(myString);

Jeśli masz niestandardowy zestaw znaków, możesz odpowiednio użyć getBytesUnchecked () lub newString () .

vtor
źródło
4
Zauważ, że ten StringUtils z Commons Codec , a nie Commons Lang.
Arend przeciwko Reinersdorff
Tak, trochę gotcha! Dla użytkowników Gradle, Maven: „commons-codec: commons-codec: 1.10” (w momencie pisania). Jest to również dołączone jako zależność na przykład od Apache POI. Poza tym Apache Commons na ratunek, jak zawsze!
Mike gryzoń
2

Aby zdekodować serię bajtów do normalnej wiadomości łańcuchowej, w końcu udało mi się to pracować z kodowaniem UTF-8 za pomocą tego kodu:

/* Convert a list of UTF-8 numbers to a normal String
 * Usefull for decoding a jms message that is delivered as a sequence of bytes instead of plain text
 */
public String convertUtf8NumbersToString(String[] numbers){
    int length = numbers.length;
    byte[] data = new byte[length];

    for(int i = 0; i< length; i++){
        data[i] = Byte.parseByte(numbers[i]);
    }
    return new String(data, Charset.forName("UTF-8"));
}
Bouke Woudstra
źródło
1

Jeśli używasz 7-bitowego ASCII lub ISO-8859-1 (niezwykle popularny format), nie musisz wcale tworzyć nowego java.lang.String . Znacznie bardziej wydajne jest po prostu rzutowanie bajtu na char:

Pełny przykład działania:

for (byte b : new byte[] { 43, 45, (byte) 215, (byte) 247 }) {
    char c = (char) b;
    System.out.print(c);
}

Jeśli nie używasz znaków rozszerzonych, takich jak Ę, Æ, Å, Ç, Ï, Ê i możesz być pewien, że jedynymi przesyłanymi wartościami są pierwsze 128 znaków Unicode, ten kod będzie również działał dla UTF-8 i rozszerzonego ASCII (jak CP-1252).

Pacerier
źródło
1

Nie mogę komentować, ale nie chcę zaczynać nowego wątku. Ale to nie działa. Prosta podróż w obie strony:

byte[] b = new byte[]{ 0, 0, 0, -127 };  // 0x00000081
String s = new String(b,StandardCharsets.UTF_8); // UTF8 = 0x0000, 0x0000,  0x0000, 0xfffd
b = s.getBytes(StandardCharsets.UTF_8); // [0, 0, 0, -17, -65, -67] 0x000000efbfbd != 0x00000081

Potrzebuję b [] tej samej tablicy przed i po kodowaniu, która nie jest (to odsyłacze do pierwszej odpowiedzi).

jschober
źródło
0
//query is your json   

 DefaultHttpClient httpClient = new DefaultHttpClient();
 HttpPost postRequest = new HttpPost("http://my.site/test/v1/product/search?qy=");

 StringEntity input = new StringEntity(query, "UTF-8");
 input.setContentType("application/json");
 postRequest.setEntity(input);   
 HttpResponse response=response = httpClient.execute(postRequest);
Ran Adler
źródło
Czy String Entity konwertuje „zapytanie” na utf-8, czy po prostu pamięta przy dołączaniu bytu?
SyntaxRules
0
Charset UTF8_CHARSET = Charset.forName("UTF-8");
String strISO = "{\"name\":\"א\"}";
System.out.println(strISO);
byte[] b = strISO.getBytes();
for (byte c: b) {
    System.out.print("[" + c + "]");
}
String str = new String(b, UTF8_CHARSET);
System.out.println(str);
Nitish Raj Srivastava
źródło
0
Reader reader = new BufferedReader(
    new InputStreamReader(
        new ByteArrayInputStream(
            string.getBytes(StandardCharsets.UTF_8)), StandardCharsets.UTF_8));
Макс Даниленко
źródło
-9

strasznie późno, ale właśnie napotkałem ten problem i oto moja poprawka:

private static String removeNonUtf8CompliantCharacters( final String inString ) {
    if (null == inString ) return null;
    byte[] byteArr = inString.getBytes();
    for ( int i=0; i < byteArr.length; i++ ) {
        byte ch= byteArr[i]; 
        // remove any characters outside the valid UTF-8 range as well as all control characters
        // except tabs and new lines
        if ( !( (ch > 31 && ch < 253 ) || ch == '\t' || ch == '\n' || ch == '\r') ) {
            byteArr[i]=' ';
        }
    }
    return new String( byteArr );
}
Savio
źródło
2
Po pierwsze, nie jest to konwersja: polega na usunięciu bajtów, które nie mogą zostać wydrukowane. Po drugie, zakłada, że ​​domyślne kodowanie podstawowego systemu operacyjnego jest w rzeczywistości oparte na ASCII dla znaków drukowalnych (na przykład nie będzie działać na komputerach mainframe IBM korzystających z EBCDIC).
Izaak,