Jak uzyskać dostęp do interfejsu API Kubernetes z poziomu kontenera pod?

Kiedyś potrafiłem się zwijać

https://$KUBERNETES_SERVICE_HOST:$KUBERNETES_PORT_443_TCP_PORT/api/v1beta3/namespaces/default/

jako mój podstawowy adres URL, ale w kubernetes 0.18.0 daje mi to „nieautoryzowane”. Dziwne jest to, że jeśli użyłem zewnętrznego adresu IP maszyny API ( http://172.17.8.101:8080/api/v1beta3/namespaces/default/), to działa dobrze.

W oficjalnej dokumentacji znalazłem to:

https://kubernetes.io/docs/tasks/access-application-cluster/access-cluster/#accessing-the-api-from-a-pod

Najwyraźniej brakowało mi tokena bezpieczeństwa, którego nie potrzebowałem w poprzedniej wersji Kubernetes. Na tej podstawie wymyśliłem coś, co moim zdaniem jest prostsze niż uruchomienie serwera proxy lub zainstalowanie golanga na moim kontenerze. Zobacz ten przykład, który pobiera informacje z interfejsu API dla bieżącego kontenera:

KUBE_TOKEN=$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)
curl -sSk -H "Authorization: Bearer $KUBE_TOKEN" \
      https://$KUBERNETES_SERVICE_HOST:$KUBERNETES_PORT_443_TCP_PORT/api/v1/namespaces/default/pods/$HOSTNAME

Używam również prostego pliku binarnego jq ( http://stedolan.github.io/jq/download/ ), aby przeanalizować plik json do użycia w skryptach bash.

Każda kapsuła ma automatycznie stosowane konto usługi, które umożliwia jej dostęp do serwera apis. Konto usługi zapewnia zarówno poświadczenia klienta w postaci tokena okaziciela, jak i certyfikat urzędu certyfikacji, który został użyty do podpisania certyfikatu przedstawionego przez serwer apis. Dzięki tym dwóm informacjom możesz utworzyć bezpieczne, uwierzytelnione połączenie z apisever bez użycia curl -k(aka curl --insecure):

curl -v --cacert /var/run/secrets/kubernetes.io/serviceaccount/ca.crt -H "Authorization: Bearer $(cat /var/run/secrets/kubernetes.io/serviceaccount/token)" https://kubernetes.default.svc/

Korzystanie z klienta Python kubernetes.

from kubernetes import client, config

config.load_incluster_config()
v1_core = client.CoreV1Api()

wersja wget:

KUBE_TOKEN=$(</var/run/secrets/kubernetes.io/serviceaccount/token)    
wget -vO- --ca-certificate /var/run/secrets/kubernetes.io/serviceaccount/ca.crt  --header "Authorization: Bearer $KUBE_TOKEN" https://$KUBERNETES_SERVICE_HOST:$KUBERNETES_PORT_443_TCP_PORT/api/v1/namespaces/default/pods/$HOSTNAME

Najważniejszym dodatkiem do szczegółów już wspomnianych powyżej jest to, że pod, z którego próbujesz uzyskać dostęp do serwera API, powinien mieć uprawnienia RBAC, aby to zrobić.

Każdy podmiot w systemie k8s jest identyfikowany przez konto usługi (jak konto użytkownika używane dla użytkowników). W oparciu o możliwości RBAC token konta usługi (/var/run/secrets/kubernetes.io/serviceaccount/token) jest wypełniany. Wiązania kube-api (np. Pykube) mogą przyjąć ten token jako dane wejściowe podczas tworzenia połączenia z serwerami kube-api. Jeśli moduł ma odpowiednie możliwości RBAC, będzie mógł nawiązać połączenie z serwerem kube-api.

Napotkałem ten problem, próbując uzyskać dostęp do API z wnętrza poda za pomocą Go Code. Poniżej przedstawiam, co wdrożyłem, aby to działało, gdyby ktoś napotkał to pytanie, chcąc również użyć Go.

W przykładzie użyto zasobu pod, dla którego należy używać client-gobiblioteki, jeśli pracujesz z natywnymi obiektami Kubernetes. Kod jest bardziej przydatny dla osób pracujących z CustomResourceDefintions.

serviceHost := os.GetEnv("KUBERNETES_SERVICE_HOST")
servicePort := os.GetEnv("KUBERNETES_SERVICE_PORT")
apiVersion := "v1" // For example
namespace := default // For example
resource := "pod" // For example
httpMethod := http.MethodGet // For Example

url := fmt.Sprintf("https://%s:%s/apis/%s/namespaces/%s/%s", serviceHost, servicePort, apiVersion, namespace, resource)

u, err := url.Parse(url)
if err != nil {
  panic(err)
}
req, err := http.NewRequest(httpMethod, u.String(), bytes.NewBuffer(payload))
if err != nil {
    return err
}

caToken, err := ioutil.ReadFile("/var/run/secrets/kubernetes.io/serviceaccount/token")
if err != nil {
    panic(err) // cannot find token file
}

req.Header.Set("Content-Type", "application/json")
req.Header.Set("Authorization", fmt.Sprintf("Bearer %s", string(caToken)))

caCertPool := x509.NewCertPool()
caCert, err := ioutil.ReadFile("/var/run/secrets/kubernetes.io/serviceaccount/ca.crt")
if err != nil {
    return panic(err) // Can't find cert file
}
caCertPool.AppendCertsFromPEM(caCert)

client := &http.Client{
  Transport: &http.Transport{
    TLSClientConfig: &tls.Config{
        RootCAs: caCertPool,
    },
  },
}

resp, err := client.Do(req)
if err != nil {
    log.Printf("sending helm deploy payload failed: %s", err.Error())
    return err
}
defer resp.Body.Close()

// Check resp.StatusCode
// Check resp.Status

Dostęp do serwera API kubernetes można uzyskać bezpośrednio pod adresem „ https: //kubernetes.default ”. Domyślnie używa „domyślnego konta usługi” do uzyskiwania dostępu do serwera API.

Dlatego też musimy przekazać „ca cert” i „domyślny token konta usługi” w celu uwierzytelnienia na serwerze API.

Plik certyfikatu jest przechowywany w następującej lokalizacji w pod: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt

i domyślny token konta usługi pod adresem: /var/run/secrets/kubernetes.io/serviceaccount/token

Możesz użyć klienta GoDaddy nodejs kubbernetes .

let getRequestInfo = () => {
    return {
        url: "https://kubernetes.default",
        ca:   fs.readFileSync('/var/run/secrets/kubernetes.io/serviceaccount/ca.crt').toString(),
        auth: {
            bearer: fs.readFileSync('/var/run/secrets/kubernetes.io/serviceaccount/token').toString(),
        },
        timeout: 1500
    };
}

let initK8objs = () =>{
    k8obj = getRequestInfo();
    k8score = new Api.Core(k8obj),
    k8s = new Api.Api(k8obj);
}

Miałem podobny problem z uwierzytelnianiem w GKE, gdzie skrypty Pythona nagle rzucały wyjątki. Rozwiązaniem, które zadziałało dla mnie, było udzielenie zgody na pody poprzez rolę

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: fabric8-rbac
subjects:
  - kind: ServiceAccount
  # Reference to upper's `metadata.name`
  name: default
  # Reference to upper's `metadata.namespace`
  namespace: default
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io

aby uzyskać więcej informacji, wprowadź opis linku tutaj

Dla każdego, kto używa Google Container Engine (opartego na Kubernetes):

Proste wywołanie https://kubernetesz poziomu klastra przy użyciu tego klienta kubernetes dla języka Java .

Po włączeniu RBAC domyślne konto usługi nie ma żadnych uprawnień.

Lepiej utwórz oddzielne konto usługi dla swoich potrzeb i użyj go do utworzenia kapsuły.

spec:
  serviceAccountName: secret-access-sa
  containers:
    ...

Dobrze wyjaśniono tutaj https://developer.ibm.com/recipes/tutorials/service-accounts-and-auditing-in-kubernetes/

curl -v -cacert <path to>/ca.crt --cert <path to>/kubernetes-node.crt --key <path to>/kubernetes-node.key https://<ip:port>

Moja wersja k8s to 1.2.0, aw innych wersjach też ma działać ^ ^

This is from the Kubernetes w akcji book.

Musisz zadbać o uwierzytelnianie . Sam serwer API mówi, że nie masz do niego dostępu, ponieważ nie wie, kim jesteś .

Do uwierzytelnienia potrzebny jest token uwierzytelniania. Na szczęście token jest dostarczany za pośrednictwem wspomnianego wcześniej Secret tokena domyślnego i jest przechowywany w pliku tokenu w tajnym woluminie.

Zamierzasz użyć tokena, aby uzyskać dostęp do serwera API . Najpierw załaduj token do zmiennej środowiskowej:

root@myhome:/# TOKEN=$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)

Token jest teraz przechowywany w zmiennej środowiskowej TOKEN . Możesz go używać podczas wysyłania zapytań do serwera API:

root@curl:/# curl -H "Authorization: Bearer $TOKEN"  https://$KUBERNETES_SERVICE_HOST:$KUBERNETES_PORT_443_TCP_PORT/api/v1/namespaces/default/pods/$HOSTNAME
   {  "paths": 
      [    
        "/api",    
        "/api/v1",   
        "/apis",    
        "/apis/apps",    
        "/apis/apps/v1beta1",    
        "/apis/authorization.k8s.io",        
         ...    
        "/ui/",    
        "/version"  
      ]
  }