Jak znaleźć wszystkie pliki w katalogu zawierające BOM UTF-8 (znak kolejności bajtów)?

8

W systemie Windows muszę znaleźć wszystkie pliki w katalogu zawierającym UTF-8 BOM (znak kolejności bajtów). Które narzędzie może to zrobić i jak?

Może to być skrypt PowerShell, zaawansowana funkcja wyszukiwania w edytorze tekstów lub cokolwiek innego.

windows search utf-8 Borek Bernard
źródło

Odpowiedzi:

15

Oto przykład skryptu PowerShell. Wyszukuje C:ścieżkę do plików, w których znajdują się pierwsze 3 bajty 0xEF, 0xBB, 0xBF.

Function ContainsBOM
{   
    return $input | where {
        $contents = [System.IO.File]::ReadAllBytes($_.FullName)
        $_.Length -gt 2 -and $contents[0] -eq 0xEF -and $contents[1] -eq 0xBB -and $contents[2] -eq 0xBF }
}

get-childitem "C:\*.*" | where {!$_.PsIsContainer } | ContainsBOM

Czy konieczne jest „ReadAllBytes”? Może odczytanie zaledwie kilku pierwszych bajtów działałoby lepiej?

Uczciwy punkt. Oto zaktualizowana wersja, która odczytuje tylko pierwsze 3 bajty.

Function ContainsBOM
{   
    return $input | where {
        $contents = new-object byte[] 3
        $stream = [System.IO.File]::OpenRead($_.FullName)
        $stream.Read($contents, 0, 3) | Out-Null
        $stream.Close()
        $contents[0] -eq 0xEF -and $contents[1] -eq 0xBB -and $contents[2] -eq 0xBF }
}

get-childitem "C:\*.*" | where {!$_.PsIsContainer -and $_.Length -gt 2 } | ContainsBOM
vcsjones
źródło
1
Fajne. Zanim zaznaczę jako odpowiedź, czy konieczne jest „ReadAllBytes”? Może odczytanie zaledwie kilku pierwszych bajtów działałoby lepiej?
Borek Bernard
@Borek Zobacz edycję.
vcsjones
2
To uratowało mi dzień! Dowiedziałem się również, że get-childitem -recurseobsługuje również podkatalogi.
diynevala,
Zastanawiałem się, czy istnieje sposób na usunięcie LM przy użyciu powyższego skryptu?
tom_mai78101
2

Na marginesie, oto skrypt PowerShell, którego używam do usuwania znaków BOM UTF-8 z moich plików źródłowych:

$files=get-childitem -Path . -Include @("*.h","*.cpp") -Recurse
foreach ($f in $files)
{
(Get-Content $f.PSPath) | 
Foreach-Object {$_ -replace "\xEF\xBB\xBF", ""} | 
Set-Content $f.PSPath
}
Scott Smith
źródło
Właśnie dostałem mnóstwo plików, które różniły się tylko tym, że niektóre miały BOM, a niektóre nie. Twoja odpowiedź była dokładnie tym, czego potrzebowałem, aby to wszystko posprzątać. Dziękuję Ci!
Tevya,
1

Jeśli korzystasz z komputera korporacyjnego (takiego jak ja) z ograniczonymi uprawnieniami i nie możesz uruchamiać skryptu PowerShell, możesz użyć przenośnego Notepad ++ z wtyczką PythonScript do wykonania tego zadania, używając następującego skryptu:

import os;
import sys;
filePathSrc="C:\\Temp\\UTF8"
for root, dirs, files in os.walk(filePathSrc):
    for fn in files:
      if fn[-4:] != '.jar' and fn[-5:] != '.ear' and fn[-4:] != '.gif' and fn[-4:] != '.jpg' and fn[-5:] != '.jpeg' and fn[-4:] != '.xls' and fn[-4:] != '.GIF' and fn[-4:] != '.JPG' and fn[-5:] != '.JPEG' and fn[-4:] != '.XLS' and fn[-4:] != '.PNG' and fn[-4:] != '.png' and fn[-4:] != '.cab' and fn[-4:] != '.CAB' and fn[-4:] != '.ico':
        notepad.open(root + "\\" + fn)
        console.write(root + "\\" + fn + "\r\n")
        notepad.runMenuCommand("Encoding", "Convert to UTF-8 without BOM")
        notepad.save()
        notepad.close()

Kredyt trafia do https://pw999.wordpress.com/2013/08/19/mass-convert-a-project-to-utf-8-using-notepad/

Hoàng Long
źródło