Wyłącz pamięć podręczną dla określonych poleceń RUN

Question 1

Mam kilka RUNpoleceń w moim pliku Dockerfile, które chciałbym uruchamiać za -no-cachekażdym razem, gdy buduję obraz Dockera.

Rozumiem, że docker build --no-cachewyłączy buforowanie dla całego pliku Dockerfile.

Czy można wyłączyć pamięć podręczną dla określonego polecenia RUN?

Question 2

Zawsze istnieje opcja wstawienia bezsensownego i taniego do uruchomienia polecenia przed regionem, dla którego chcesz wyłączyć pamięć podręczną.

Zgodnie z propozycją w tym komentarzu do problemu można dodać blok argumentu budowania (nazwa może być dowolna):

ARG CACHEBUST=1

przed takim regionem i modyfikuj jego wartość przy każdym uruchomieniu, dodając --build-arg CACHEBUST=$(date +%s)jako docker buildargument (wartość może być również dowolna, w tym przypadku jest to bieżąca data i godzina, aby zapewnić jej niepowtarzalność między przebiegami).

Spowoduje to oczywiście wyłączenie pamięci podręcznej również dla wszystkich kolejnych bloków, ponieważ suma hash obrazu pośredniego będzie inna, co sprawia, że naprawdę selektywna pamięć podręczna wyłącza nietrywialny problem, biorąc pod uwagę, jak obecnie działa docker.

Question 3

Posługiwać się

ADD "https://www.random.org/cgi-bin/randbyte?nbytes=10&format=h" skipcache

przed linią RUN, którą chcesz zawsze uruchamiać. Działa to, ponieważ ADD zawsze pobierze plik / adres URL, a powyższy adres URL generuje losowe dane przy każdym żądaniu, Docker następnie porównuje wynik, aby sprawdzić, czy może użyć pamięci podręcznej.

Przetestowałem również to i działa ładnie, ponieważ nie wymaga żadnych dodatkowych argumentów wiersza poleceń Dockera, a także działa z pliku Docker-compose.yaml :)

Question 4

Nie bezpośrednio, ale możesz podzielić swój plik Dockerfile na kilka części, zbudować obraz, a następnie Z tego obrazu na początku następnego pliku Dockerfile i zbudować obraz z buforowaniem lub bez

Question 5

Od lutego 2016 nie jest to możliwe.

Ta funkcja została zażądana w GitHub

Question 6

funkcja dodana tydzień temu.

ARG FOO=bar

FROM something
RUN echo "this won't be affected if the value of FOO changes"
ARG FOO
RUN echo "this step will be executed again if the value of FOO changes"

FROM something-else
RUN echo "this won't be affected because this stage doesn't use the FOO build-arg"

https://github.com/moby/moby/issues/1996#issuecomment-550020843

Question 7

Uważam, że jest to niewielka poprawa w porównaniu z odpowiedzią @ steve powyżej:

RUN git clone https://sdk.ghwl;erjnv;wekrv;[email protected]/your_name/your_repository.git

WORKDIR your_repository

# Calls for a random number to break the cahing of the git clone
# (/programming/35134713/disable-cache-for-specific-run-commands/58801213#58801213)
ADD "https://www.random.org/cgi-bin/randbyte?nbytes=10&format=h" skipcache
RUN git pull

Używa to pamięci podręcznej Docker klonu git, ale następnie uruchamia niebuforowaną aktualizację repozytorium.

Wydaje się, że działa i jest szybszy - ale wielkie podziękowania dla @steve za zapewnienie podstawowych zasad.

Question 8

Kolejnym szybkim hackem jest zapisanie losowych bajtów przed poleceniem

RUN head -c 5 /dev/random > random_bytes && <run your command>

wypisuje 5 losowych bajtów, które wymuszą brak pamięci podręcznej

Answer 1

103

Mam kilka RUNpoleceń w moim pliku Dockerfile, które chciałbym uruchamiać za -no-cachekażdym razem, gdy buduję obraz Dockera.

Rozumiem, że docker build --no-cachewyłączy buforowanie dla całego pliku Dockerfile.

Czy można wyłączyć pamięć podręczną dla określonego polecenia RUN?

docker Vingtoft
źródło

1

Po wyłączeniu pamięci podręcznej dla pojedynczego polecenia, jeśli wynik nie pasuje do poprzedniego przebiegu w pamięci podręcznej, musisz odbudować wszystkie pozostałe kroki. Czy to twój cel, czy też masz nadzieję odbudować tylko jedną warstwę i w jakiś sposób wstrzyknąć ją do miejsca, w którym były przechowywane wcześniejsze dane w pamięci podręcznej?

BMitch

3

Miałem nadzieję odbudować określone warstwy, na przykład polecenie „git pull”. W tej chwili polecenie „git pull” będzie buforowane, mimo że repozytorium jest aktualizowane.

Vingtoft

2

Łatwo jest wymusić pociągnięcie, przekazując niewykorzystany argument. Ale wynikiem odbudowy tego wpisu w pamięci podręcznej jest to, że wszystkie kolejne warstwy będą wymagały przebudowy. Zobacz moją odpowiedź tutaj jako przykład.

BMitch

Jeśli chcesz unieważnić pamięć podręczną, gdy pilot git się zmienił, spójrz na: Jak zapobiec klonowaniu git w pamięci podręcznej Dockerfile . Wszystkie zasługi dla @anq za połączoną odpowiedź.

hpgmiskin

Answer 2

1

Po wyłączeniu pamięci podręcznej dla pojedynczego polecenia, jeśli wynik nie pasuje do poprzedniego przebiegu w pamięci podręcznej, musisz odbudować wszystkie pozostałe kroki. Czy to twój cel, czy też masz nadzieję odbudować tylko jedną warstwę i w jakiś sposób wstrzyknąć ją do miejsca, w którym były przechowywane wcześniejsze dane w pamięci podręcznej?

BMitch

Answer 3

3

Miałem nadzieję odbudować określone warstwy, na przykład polecenie „git pull”. W tej chwili polecenie „git pull” będzie buforowane, mimo że repozytorium jest aktualizowane.

Vingtoft

Answer 4

2

Łatwo jest wymusić pociągnięcie, przekazując niewykorzystany argument. Ale wynikiem odbudowy tego wpisu w pamięci podręcznej jest to, że wszystkie kolejne warstwy będą wymagały przebudowy. Zobacz moją odpowiedź tutaj jako przykład.

BMitch

Answer 5

Jeśli chcesz unieważnić pamięć podręczną, gdy pilot git się zmienił, spójrz na: Jak zapobiec klonowaniu git w pamięci podręcznej Dockerfile . Wszystkie zasługi dla @anq za połączoną odpowiedź.

hpgmiskin

Answer 6

84

Zawsze istnieje opcja wstawienia bezsensownego i taniego do uruchomienia polecenia przed regionem, dla którego chcesz wyłączyć pamięć podręczną.

Zgodnie z propozycją w tym komentarzu do problemu można dodać blok argumentu budowania (nazwa może być dowolna):

ARG CACHEBUST=1

przed takim regionem i modyfikuj jego wartość przy każdym uruchomieniu, dodając --build-arg CACHEBUST=$(date +%s)jako docker buildargument (wartość może być również dowolna, w tym przypadku jest to bieżąca data i godzina, aby zapewnić jej niepowtarzalność między przebiegami).

Spowoduje to oczywiście wyłączenie pamięci podręcznej również dla wszystkich kolejnych bloków, ponieważ suma hash obrazu pośredniego będzie inna, co sprawia, że naprawdę selektywna pamięć podręczna wyłącza nietrywialny problem, biorąc pod uwagę, jak obecnie działa docker.

Vladislav
źródło

1

---> Using cacheWygląda na to, że już nie działa, po prostu dostałem się pod moją linią `` ARG CACHEBUST = 1` ... (i tak zrobiłem --build-arg CACHEBUST=$(date +%s)w moim poleceniu

docker

U mnie też nie działa, może zależy to od platformy. Spodziewałbym się, że jakakolwiek zmiana ARG unieważni pamięć podręczną.

Oliver

6

Musisz dodać, RUN echo "$CACHEBUST"ponieważ samo użycie ARGnie spowoduje unieważnienia pamięci podręcznej

Sidharth V

Ta odpowiedź rozwiązała mój problem tutaj: stackoverflow.com/questions/63709147/ ...

shapiro yaacov

Answer 7

1

---> Using cacheWygląda na to, że już nie działa, po prostu dostałem się pod moją linią `` ARG CACHEBUST = 1` ... (i tak zrobiłem --build-arg CACHEBUST=$(date +%s)w moim poleceniu

docker

Answer 8

U mnie też nie działa, może zależy to od platformy. Spodziewałbym się, że jakakolwiek zmiana ARG unieważni pamięć podręczną.

Oliver

Answer 9

6

Musisz dodać, RUN echo "$CACHEBUST"ponieważ samo użycie ARGnie spowoduje unieważnienia pamięci podręcznej

Sidharth V

Answer 10

Ta odpowiedź rozwiązała mój problem tutaj: stackoverflow.com/questions/63709147/ ...

shapiro yaacov

Answer 11

28

Posługiwać się

ADD "https://www.random.org/cgi-bin/randbyte?nbytes=10&format=h" skipcache

przed linią RUN, którą chcesz zawsze uruchamiać. Działa to, ponieważ ADD zawsze pobierze plik / adres URL, a powyższy adres URL generuje losowe dane przy każdym żądaniu, Docker następnie porównuje wynik, aby sprawdzić, czy może użyć pamięci podręcznej.

Przetestowałem również to i działa ładnie, ponieważ nie wymaga żadnych dodatkowych argumentów wiersza poleceń Dockera, a także działa z pliku Docker-compose.yaml :)

steve
źródło

3

co się stanie, jeśli random.org zdecyduje się zmienić ten punkt końcowy? jak byś kontrolował to zachowanie?

Andres Leon Rangel

@AndresLeonRangel Trzeba przyznać, że nie jest to funkcja Dockera, ale rodzaj hackowania przy użyciu składni Dockera i dobrze znanej usługi internetowej, która istnieje już od ponad 20 lat, jednak masz rację, mówiąc, że mogą wycofać ten punkt końcowy, w rzeczywistości patrząc na ich dokumenty teraz Nie mogę nawet znaleźć punktu końcowego „randbyte”, a obecnie mają nowy interfejs API w wersji beta. Możesz albo 1) kontynuować korzystanie z tego punktu końcowego, dopóki się nie powiedzie, 2) użyć jego nowego punktu końcowego (dopóki się nie powiedzie) lub 3) napisać własny losowy punkt końcowy, w którym to przypadku masz pełną kontrolę :)

steve

3

Czasami się to nie udawało ... kiedy strona nie działa !!! Myślę, że to nie jest idealne rozwiązanie. DODAWANIE nie powiodło się: nie udało się pobrać random.org/cgi-bin/randbyte?nbytes=10&format=h ze statusem 503 Usługa niedostępna: <! DOCTYPE HTML>

Kathi

1

random.org dodał ochronę DDOS, która teraz psuje to rozwiązanie

Brad Root

To nie działa i podany adres zwraca 503. Jeśli nie chcesz blokować swoich potoków, nie używaj tego rozwiązania

OlegI

Answer 12

3

co się stanie, jeśli random.org zdecyduje się zmienić ten punkt końcowy? jak byś kontrolował to zachowanie?

Andres Leon Rangel

Answer 13

@AndresLeonRangel Trzeba przyznać, że nie jest to funkcja Dockera, ale rodzaj hackowania przy użyciu składni Dockera i dobrze znanej usługi internetowej, która istnieje już od ponad 20 lat, jednak masz rację, mówiąc, że mogą wycofać ten punkt końcowy, w rzeczywistości patrząc na ich dokumenty teraz Nie mogę nawet znaleźć punktu końcowego „randbyte”, a obecnie mają nowy interfejs API w wersji beta. Możesz albo 1) kontynuować korzystanie z tego punktu końcowego, dopóki się nie powiedzie, 2) użyć jego nowego punktu końcowego (dopóki się nie powiedzie) lub 3) napisać własny losowy punkt końcowy, w którym to przypadku masz pełną kontrolę :)

steve

Answer 14

3

Czasami się to nie udawało ... kiedy strona nie działa !!! Myślę, że to nie jest idealne rozwiązanie. DODAWANIE nie powiodło się: nie udało się pobrać random.org/cgi-bin/randbyte?nbytes=10&format=h ze statusem 503 Usługa niedostępna: <! DOCTYPE HTML>

Kathi

Answer 15

1

random.org dodał ochronę DDOS, która teraz psuje to rozwiązanie

Brad Root

Answer 16

To nie działa i podany adres zwraca 503. Jeśli nie chcesz blokować swoich potoków, nie używaj tego rozwiązania

OlegI

Answer 17

9

Nie bezpośrednio, ale możesz podzielić swój plik Dockerfile na kilka części, zbudować obraz, a następnie Z tego obrazu na początku następnego pliku Dockerfile i zbudować obraz z buforowaniem lub bez

user2915097
źródło

1

Czy to umożliwi aktualizację zatwierdzonych warstw w podstawowym obrazie dockera?

user_mda

Answer 18

1

Czy to umożliwi aktualizację zatwierdzonych warstw w podstawowym obrazie dockera?

user_mda

Answer 19

7

Od lutego 2016 nie jest to możliwe.

Ta funkcja została zażądana w GitHub

Vingtoft
źródło

Answer 20

funkcja dodana tydzień temu.

ARG FOO=bar

FROM something
RUN echo "this won't be affected if the value of FOO changes"
ARG FOO
RUN echo "this step will be executed again if the value of FOO changes"

FROM something-else
RUN echo "this won't be affected because this stage doesn't use the FOO build-arg"

https://github.com/moby/moby/issues/1996#issuecomment-550020843

Answer 21

Uważam, że jest to niewielka poprawa w porównaniu z odpowiedzią @ steve powyżej:

RUN git clone https://sdk.ghwl;erjnv;wekrv;[email protected]/your_name/your_repository.git

WORKDIR your_repository

# Calls for a random number to break the cahing of the git clone
# (/programming/35134713/disable-cache-for-specific-run-commands/58801213#58801213)
ADD "https://www.random.org/cgi-bin/randbyte?nbytes=10&format=h" skipcache
RUN git pull

Używa to pamięci podręcznej Docker klonu git, ale następnie uruchamia niebuforowaną aktualizację repozytorium.

Wydaje się, że działa i jest szybszy - ale wielkie podziękowania dla @steve za zapewnienie podstawowych zasad.

Answer 22

-2

Kolejnym szybkim hackem jest zapisanie losowych bajtów przed poleceniem

RUN head -c 5 /dev/random > random_bytes && <run your command>

wypisuje 5 losowych bajtów, które wymuszą brak pamięci podręcznej

znak
źródło

10

Wynik zapisywania tych losowych bajtów również zostanie zapisany w pamięci podręcznej, więc jeśli żaden plik nie zmienił się przed tym poleceniem, nie uruchomi polecenia ponownie. To niczego nie rozwiązuje.

Icy Defiance

Answer 23

10

Wynik zapisywania tych losowych bajtów również zostanie zapisany w pamięci podręcznej, więc jeśli żaden plik nie zmienił się przed tym poleceniem, nie uruchomi polecenia ponownie. To niczego nie rozwiązuje.

Icy Defiance

Wyłącz pamięć podręczną dla określonych poleceń RUN

Odpowiedzi: