Najdroższy czasowo moment pierwszego wdrożenia, więc zapisany wprost. FAKT: eksport poprawiony (mapall_user), usługa NFS zrestartowana, pod zrestartowany przez `rollout restart` — a zapis z poda nadal odbijał się o Permission denied. Jednocześnie ręczne zamontowanie TEGO SAMEGO eksportu z TEGO SAMEGO węzła pozwalało pisać. HIPOTEZA (niepotwierdzona u źródła): jądro współdzieli strukturę montowania NFS między montowania tego samego eksportu na węźle, razem z cache odpowiedzi ACCESS. `rollout restart` zostawia stary i nowy pod na chwilę współistniejące — widać to w jego własnym logu jako „1 old replicas are pending termination" — więc montowanie ani na moment nie zostaje bez użytkownika i nowy pod dziedziczy odpowiedź sprzed zmiany. ROZWIĄZANIE (zweryfikowane): zejść do zera replik, poczekać na zniknięcie podów, wrócić do jednej. W ArgoCD ten sam skutek daje force delete poda. Dopisany też test rozdzielający winę serwera od winy klienta: ręczny montaż z węzła z pominięciem Kubernetesa. SERWER-OK przy jednoczesnej odmowie w podzie znaczy, że na NAS-ie nie ma czego poprawiać — i oszczędza rundy zmian w konfiguracji udziału, które niczego nie dają. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
9.8 KiB
Udział na stan prezentacji — astrololo-state
Potrzebny do kont zakładanych z ekranu „Konta" (PRE-27). Bez niego pod
presentation nie wstanie.
Dlaczego osobny udział, a nie podkatalog
Pierwsza wersja montowała /mnt/Tank1/astrololo z subPath: presentation-state
i pod stanął w CreateContainerConfigError:
failed to create subPath directory for volumeMount "state" of container "presentation"
Przyczyna była podwójna i za każdym razem ta sama: udział z bazami jest
wyeksportowany ro: true z root_squash (patrz runbook DAN-25 w repo
aplikacji). Zatem:
- kubelet nie mógł utworzyć podkatalogu — bo udział jest tylko do odczytu,
- a gdyby nawet mógł, aplikacja i tak nie zapisałaby tam pliku kont.
Osobny udział rozwiązuje to bez ruszania DAN-25. Udział z bazami zostaje tylko
do odczytu; konta dostają własne, małe miejsce. Przy okazji znika subPath, czyli
znika potrzeba, żeby kubelet cokolwiek zakładał — katalog istnieje, bo jest
korzeniem udziału.
Krok 1 — dataset i udział na TrueNAS
Po SSH na NAS (192.168.1.34). Konwencja jak w DAN-25: nie edytujemy
/etc/exports ręcznie, tylko przez midclt.
# dataset
sudo zfs create Tank1/astrololo-state
Jeśli Tank1 nie jest pulą ZFS albo wolisz zwykły katalog:
sudo mkdir -p /mnt/Tank1/astrololo-state
Właściciel i prawa — TU JEST NAJCZĘSTSZY BŁĄD
Kontenery aplikacji działają jako root (uid=0), a NFS domyślnie stosuje
root_squash: root z klienta NIE jest rootem na udziale — ląduje jako
nobody. Świeży dataset ma prawa drwxrwx--- root root, czyli nic dla
„innych" — i dlatego zapis odbija się o Permission denied, mimo że ls
w podzie pokazuje root root.
To myli, bo ls pokazuje właściciela KATALOGU, a nie to, kim jest dla serwera
proces, który próbuje pisać.
Do wyboru dwa rozwiązania. Oba trzeba ustawić przy eksporcie (niżej), tu tylko przygotowujemy katalog.
A. Prościej — bez zakładania użytkownika. Katalog zostaje root:root 770,
a przy eksporcie ustawiamy mapall_user: "root". To wyłącza squash dla tego
jednego udziału. Zasięg jest wąski: eksportowany jest wyłącznie ten katalog,
montują go tylko trzy węzły k8s, leży w nim jeden plik. Nic nie trzeba robić —
świeży dataset ma już właściwe prawa.
B. Czyściej — dedykowany użytkownik. Zakładasz w UI TrueNAS
nieuprzywilejowanego użytkownika (np. astrololo), a potem:
sudo chown -R astrololo:astrololo /mnt/Tank1/astrololo-state
sudo chmod 770 /mnt/Tank1/astrololo-state
i przy eksporcie podstawiasz go w mapall_user. Efekt ten sam, bez oddawania
roota — kosztem jednego użytkownika więcej do pamiętania.
Istniejących użytkowników sprawdzisz przez:
midclt call user.query | python3 -c "import sys,json;[print(u['uid'], u['username']) for u in json.load(sys.stdin)]"
Czego NIE robić:
chmod 777. Zadziała, ale uczyni katalog zapisywalnym dla każdego lokalnego użytkownika NAS-a — a leżą tam hashe haseł, więc jest to plik wrażliwszy niż same bazy Excela.
Eksport NFS
Najpierw sprawdź, czy udziału już nie ma.
sharing.nfs.createodmawia z komunikatemExport conflict, jeśli ten sam katalog jest już eksportowany — wtedy trzeba go zaktualizować, nie tworzyć.
midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-state"]]' \
| python3 -m json.tool
Pusta lista [] — udziału nie ma, twórz:
midclt call sharing.nfs.create '{
"path": "/mnt/Tank1/astrololo-state",
"comment": "astrololo — stan prezentacji (konta PRE-27)",
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
"enabled": true,
"ro": false,
"mapall_user": "root",
"mapall_group": "root"
}'
Coś zwróciło — weź id z wyniku i zaktualizuj (podstaw <ID>):
midclt call sharing.nfs.update <ID> '{
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
"enabled": true,
"ro": false,
"mapall_user": "root",
"mapall_group": "root"
}'
Wybrałeś wariant B? Podstaw swojego użytkownika zamiast
rootw obu polach.
| ustawienie | po co |
|---|---|
hosts zawężone |
te same trzy węzły k8s co w DAN-25 — nikt inny nie zamontuje |
ro: false |
musi być zapisywalny, inaczej konta się nie zapiszą |
mapall_user |
cały ruch z tych hostów pisze jako JEDEN użytkownik, niezależnie od UID w kontenerze — bez tego root_squash zamienia roota z poda na nobody, który nie ma praw do katalogu |
Podstaw swoje adresy węzłów, jeśli się zmieniły. Aktualne:
kubectl get nodes -o wide
Sprawdź, co serwer FAKTYCZNIE eksportuje
Konfiguracja udziału i stan eksportu to dwie różne rzeczy: zapisana konfiguracja nie znaczy, że usługa ją przeładowała. To jest prawda:
sudo exportfs -v | grep -A1 astrololo
Muszą być dwa wpisy: /mnt/Tank1/astrololo (z ro) oraz
/mnt/Tank1/astrololo-state (z rw), oba z listą trzech węzłów.
Jeśli astrololo-state nie ma na liście, mimo że sharing.nfs.query go
pokazuje — usługa nie przeładowała eksportów:
midclt call service.restart nfs
sudo exportfs -v | grep astrololo-state
Krok 2 — sprawdź z węzła, ZANIM wdrożysz
To jest ten test, którego zabrakło za pierwszym razem:
ssh 192.168.1.73 'sudo mount -t nfs 192.168.1.34:/mnt/Tank1/astrololo-state /mnt/test \
&& sudo touch /mnt/test/proba && echo "ZAPIS DZIAŁA" \
&& sudo rm /mnt/test/proba; sudo umount /mnt/test'
Musi wypisać ZAPIS DZIAŁA.
| co widzisz | co to znaczy |
|---|---|
Permission denied przy touch |
montowanie działa, brakuje praw — wróć do właściciela katalogu i mapall_user |
access denied by server while mounting |
serwer nie wpuszcza w ogóle: sprawdź exportfs -v (czy eksport istnieje i przeładowany), enabled: true w udziale oraz czy adres węzła jest na liście hosts |
No such file or directory |
katalog /mnt/Tank1/astrololo-state nie istnieje na NAS-ie |
montuje się tylko z -o vers=3 |
negocjacja wersji: dopisz mountOptions w manifeście albo włącz NFSv4 w midclt call nfs.config |
Adresy węzłów sprawdzisz przez kubectl get nodes -o wide — jeśli któryś się
zmienił od czasu DAN-25, lista hosts jest nieaktualna i to wystarczy, żeby
serwer odmówił.
Krok 3 — wdróż i sprawdź
kubectl apply -k astrololo
kubectl -n astrololo rollout status deploy/presentation
Sprawdź, że aplikacja faktycznie umie tam zapisać — załóż konto testowe na ekranie „Konta", a potem:
kubectl -n astrololo exec deploy/presentation -- ls -l /app/state/
Oczekiwane: plik accounts.json.
Jeśli mimo wszystko Permission denied
Trzy komendy, w tej kolejności:
kubectl -n astrololo exec deploy/presentation -- sh -c 'id; ls -ld /app/state; touch /app/state/proba && echo ZAPIS-OK || echo ZAPIS-NIE'
midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-state"]]' \
| python3 -c "import sys,json;[print('ro:', s['ro'], '| mapall:', s.get('mapall_user'), '| hosts:', s['hosts']) for s in json.load(sys.stdin)]"
sudo ls -ld /mnt/Tank1/astrololo-state
Zestaw, który DZIAŁA: kontener jako uid=0(root), udział z ro: false
i mapall: root, katalog drwxrwx--- root root.
⚠️ Po zmianie eksportu rollout restart NIE WYSTARCZA
To kosztowało najwięcej czasu przy pierwszym wdrożeniu, więc zapisane wprost.
Objaw: eksport poprawiony, service.restart nfs wykonany, pod zrestartowany —
a zapis z poda nadal odbija się o Permission denied. Przy czym ręczne
zamontowanie tego samego eksportu z tego samego węzła działa i pozwala pisać.
Co z tym zrobić: doprowadzić do stanu, w którym ŻADEN pod nie trzyma tego montowania.
kubectl -n astrololo scale deploy/presentation --replicas=0
kubectl -n astrololo wait --for=delete pod -l app=presentation --timeout=90s
kubectl -n astrololo scale deploy/presentation --replicas=1
kubectl -n astrololo rollout status deploy/presentation
rollout restart tego nie osiąga, bo stary i nowy pod na chwilę WSPÓŁISTNIEJĄ —
w logu widać 1 old replicas are pending termination. Montowanie ani na moment
nie zostaje bez użytkownika. (W ArgoCD ten sam skutek daje force delete poda.)
Dlaczego (hipoteza, nie potwierdzona u źródła): jądro współdzieli strukturę montowania NFS między montowania tego samego eksportu na węźle, razem z cache odpowiedzi ACCESS. Nowy pod podpina się do żywego montowania i dziedziczy odpowiedź sprzed zmiany eksportu.
Test, który rozstrzyga, czy winny jest serwer czy klient — montaż ręczny z węzła, z pominięciem Kubernetesa:
ssh <węzeł> 'sudo mkdir -p /mnt/t && sudo mount -t nfs 192.168.1.34:/mnt/Tank1/astrololo-state /mnt/t \
&& sudo touch /mnt/t/proba && echo SERWER-OK || echo SERWER-NIE; sudo umount /mnt/t'
SERWER-OK przy jednoczesnym Permission denied w podzie znaczy, że konfiguracja
NAS-a jest dobra i nie ma czego na nim poprawiać — problem jest po stronie
klienta.
Osobno pamiętaj: sama zmiana konfiguracji udziału nie przeładowuje eksportów.
Po każdej zmianie midclt call service.restart nfs.
Odkręcenie
# ID udziału
midclt call sharing.nfs.query | python3 -c "import sys,json;[print(s['id'], s.get('path')) for s in json.load(sys.stdin)]"
midclt call sharing.nfs.delete <ID>
Uwaga na przyszłość: DAN-27 uderzy w tę samą ścianę
Zarządzanie plikami baz (wgrywanie, archiwizacja, kasowanie) wymaga zapisu do
udziału z bazami — a ten jest ro: true. Ten runbook tego nie rozwiązuje
i celowo nie rusza DAN-25: to osobna decyzja, bo oznacza rezygnację z gwarancji,
że baz nie da się zmienić przez NFS. Patrz PR feat/pliki-zapis.