Jak przypisać Git SHA1 do pliku bez Gita?

Jak rozumiem, kiedy Git przypisuje skrót SHA1 do pliku, ten SHA1 jest unikalny dla pliku na podstawie jego zawartości.

W rezultacie, jeśli plik jest przenoszony z jednego repozytorium do drugiego, SHA1 dla pliku pozostaje taka sama, ponieważ jego zawartość nie uległa zmianie.

Jak Git oblicza skrót SHA1? Czy robi to na pełnej nieskompresowanej zawartości pliku?

Chciałbym emulować przypisywanie SHA1 poza Git.

Oto jak Git oblicza SHA1 dla pliku (lub, mówiąc językiem Gita, „bloba”):

sha1("blob " + filesize + "\0" + data)

Możesz więc łatwo obliczyć to samodzielnie bez instalowania Git. Zauważ, że „\ 0” jest bajtem zerowym, a nie dwuznakowym ciągiem.

Na przykład hash pustego pliku:

sha1("blob 0\0") = "e69de29bb2d1d6434b8b29ae775ad8c2e48c5391"

$ touch empty
$ git hash-object empty
e69de29bb2d1d6434b8b29ae775ad8c2e48c5391

Inny przykład:

sha1("blob 7\0foobar\n") = "323fae03f4606ea9991df8befbb2fca795e648fa"

$ echo "foobar" > foo.txt
$ git hash-object foo.txt 
323fae03f4606ea9991df8befbb2fca795e648fa

Oto implementacja Pythona:

from hashlib import sha1
def githash(data):
    s = sha1()
    s.update("blob %u\0" % len(data))
    s.update(data)
    return s.hexdigest()

Trochę goodie: w skorupce

echo -en "blob ${#CONTENTS}\0$CONTENTS" | sha1sum

Jeśli nie masz zainstalowanego gita, możesz utworzyć funkcję powłoki bash, aby ją łatwo obliczyć.

git_id () { printf 'blob %s\0' "$(ls -l "$1" | awk '{print $5;}')" | cat - "$1" | sha1sum | awk '{print $1}'; }

Spójrz na stronę podręcznika systemowego dla git-hash-object . Możesz go użyć do obliczenia skrótu git dowolnego konkretnego pliku. Myślę , że git przekazuje do algorytmu haszującego coś więcej niż tylko zawartość pliku, ale nie wiem na pewno, a jeśli dostarcza dodatkowe dane, nie wiem, co to jest.

/// Calculates the SHA1 for a given string
let calcSHA1 (text:string) =
    text 
      |> System.Text.Encoding.ASCII.GetBytes
      |> (new System.Security.Cryptography.SHA1CryptoServiceProvider()).ComputeHash
      |> Array.fold (fun acc e -> 
           let t = System.Convert.ToString(e, 16)
           if t.Length = 1 then acc + "0" + t else acc + t) 
           ""
/// Calculates the SHA1 like git
let calcGitSHA1 (text:string) =
    let s = text.Replace("\r\n","\n")
    sprintf "blob %d%c%s" (s.Length) (char 0) s
      |> calcSHA1

To jest rozwiązanie w języku F #.

Pełna implementacja Python3:

import os
from hashlib import sha1

def hashfile(filepath):
    filesize_bytes = os.path.getsize(filepath)

    s = sha1()
    s.update(b"blob %u\0" % filesize_bytes)

    with open(filepath, 'rb') as f:
        s.update(f.read())

    return s.hexdigest() 

W Perlu:

#!/usr/bin/env perl
use Digest::SHA1;

my $content = do { local $/ = undef; <> };
print Digest::SHA1->new->add('blob '.length($content)."\0".$content)->hexdigest(), "\n";

Jako polecenie powłoki:

perl -MDigest::SHA1 -E '$/=undef;$_=<>;say Digest::SHA1->new->add("blob ".length()."\0".$_)->hexdigest' < file

Oraz w Perlu (zobacz także Git :: PurePerl na http://search.cpan.org/dist/Git-PurePerl/ )

use strict;
use warnings;
use Digest::SHA1;

my @input = <>;

my $content = join("", @input);

my $git_blob = 'blob' . ' ' . length($content) . "\0" . $content;

my $sha1 = Digest::SHA1->new();

$sha1->add($git_blob);

print $sha1->hexdigest();

Używając Rubiego, możesz zrobić coś takiego:

require 'digest/sha1'

def git_hash(file)
  data = File.read(file)
  size = data.bytesize.to_s
  Digest::SHA1.hexdigest('blob ' + size + "\0" + data)
end

Mały skrypt Bash, który powinien dawać identyczne dane wyjściowe do git hash-object:

#!/bin/sh
( 
    echo -en 'blob '"$(stat -c%s "$1")"'\0';
    cat "$1" 
) | sha1sum | cut -d\  -f 1

W JavaScript

const crypto = require('crypto')
const bytes = require('utf8-bytes')

function sha1(data) {
    const shasum = crypto.createHash('sha1')
    shasum.update(data)
    return shasum.digest('hex')
}

function shaGit(data) {
    const total_bytes = bytes(data).length
    return sha1(`blob ${total_bytes}\0${data}`)
}

Warto zauważyć, że oczywiście Git dodaje znak nowej linii na końcu danych, zanim zostaną one zaszyfrowane. Plik zawierający tylko „Hello World!” pobiera skrót obiektu blob o wartości 980a0d5 ..., który jest taki sam jak ten:

$ php -r 'echo sha1("blob 13" . chr(0) . "Hello World!\n") , PHP_EOL;'