Runbook kazał robić `chown apps:apps` na użytkownika, którego na tym NAS-ie nie ma, i nie tłumaczył, DLACZEGO zapis się nie udaje. A przyczyna jest myląca: kontener działa jako root, NFS domyślnie stosuje root_squash, więc root z klienta ląduje jako `nobody` — czyli w kategorii „inni", dla której świeży dataset (drwxrwx--- root root) nie daje żadnych praw. `ls` w podzie pokazuje przy tym „root root", co sugeruje, że wszystko jest w porządku. Teraz są dwa jawne warianty: prostszy (mapall_user: root, katalog bez zmian — squash wyłączony dla TEGO JEDNEGO udziału, w którym leży jeden plik) i czystszy (dedykowany użytkownik + chown). Dopisane, czego nie robić: chmod 777 zadziała, ale uczyni katalog zapisywalnym dla każdego lokalnego użytkownika NAS-a, a leżą tam hashe haseł. Dołożona sekcja rozstrzygająca „jeśli mimo wszystko Permission denied": trzy komendy pokazujące jednocześnie stronę kontenera, stronę eksportu i stronę katalogu, plus opis zestawu, który działa. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
8.1 KiB
Udział na stan prezentacji — astrololo-state
Potrzebny do kont zakładanych z ekranu „Konta" (PRE-27). Bez niego pod
presentation nie wstanie.
Dlaczego osobny udział, a nie podkatalog
Pierwsza wersja montowała /mnt/Tank1/astrololo z subPath: presentation-state
i pod stanął w CreateContainerConfigError:
failed to create subPath directory for volumeMount "state" of container "presentation"
Przyczyna była podwójna i za każdym razem ta sama: udział z bazami jest
wyeksportowany ro: true z root_squash (patrz runbook DAN-25 w repo
aplikacji). Zatem:
- kubelet nie mógł utworzyć podkatalogu — bo udział jest tylko do odczytu,
- a gdyby nawet mógł, aplikacja i tak nie zapisałaby tam pliku kont.
Osobny udział rozwiązuje to bez ruszania DAN-25. Udział z bazami zostaje tylko
do odczytu; konta dostają własne, małe miejsce. Przy okazji znika subPath, czyli
znika potrzeba, żeby kubelet cokolwiek zakładał — katalog istnieje, bo jest
korzeniem udziału.
Krok 1 — dataset i udział na TrueNAS
Po SSH na NAS (192.168.1.34). Konwencja jak w DAN-25: nie edytujemy
/etc/exports ręcznie, tylko przez midclt.
# dataset
sudo zfs create Tank1/astrololo-state
Jeśli Tank1 nie jest pulą ZFS albo wolisz zwykły katalog:
sudo mkdir -p /mnt/Tank1/astrololo-state
Właściciel i prawa — TU JEST NAJCZĘSTSZY BŁĄD
Kontenery aplikacji działają jako root (uid=0), a NFS domyślnie stosuje
root_squash: root z klienta NIE jest rootem na udziale — ląduje jako
nobody. Świeży dataset ma prawa drwxrwx--- root root, czyli nic dla
„innych" — i dlatego zapis odbija się o Permission denied, mimo że ls
w podzie pokazuje root root.
To myli, bo ls pokazuje właściciela KATALOGU, a nie to, kim jest dla serwera
proces, który próbuje pisać.
Do wyboru dwa rozwiązania. Oba trzeba ustawić przy eksporcie (niżej), tu tylko przygotowujemy katalog.
A. Prościej — bez zakładania użytkownika. Katalog zostaje root:root 770,
a przy eksporcie ustawiamy mapall_user: "root". To wyłącza squash dla tego
jednego udziału. Zasięg jest wąski: eksportowany jest wyłącznie ten katalog,
montują go tylko trzy węzły k8s, leży w nim jeden plik. Nic nie trzeba robić —
świeży dataset ma już właściwe prawa.
B. Czyściej — dedykowany użytkownik. Zakładasz w UI TrueNAS
nieuprzywilejowanego użytkownika (np. astrololo), a potem:
sudo chown -R astrololo:astrololo /mnt/Tank1/astrololo-state
sudo chmod 770 /mnt/Tank1/astrololo-state
i przy eksporcie podstawiasz go w mapall_user. Efekt ten sam, bez oddawania
roota — kosztem jednego użytkownika więcej do pamiętania.
Istniejących użytkowników sprawdzisz przez:
midclt call user.query | python3 -c "import sys,json;[print(u['uid'], u['username']) for u in json.load(sys.stdin)]"
Czego NIE robić:
chmod 777. Zadziała, ale uczyni katalog zapisywalnym dla każdego lokalnego użytkownika NAS-a — a leżą tam hashe haseł, więc jest to plik wrażliwszy niż same bazy Excela.
Eksport NFS
Najpierw sprawdź, czy udziału już nie ma.
sharing.nfs.createodmawia z komunikatemExport conflict, jeśli ten sam katalog jest już eksportowany — wtedy trzeba go zaktualizować, nie tworzyć.
midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-state"]]' \
| python3 -m json.tool
Pusta lista [] — udziału nie ma, twórz:
midclt call sharing.nfs.create '{
"path": "/mnt/Tank1/astrololo-state",
"comment": "astrololo — stan prezentacji (konta PRE-27)",
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
"enabled": true,
"ro": false,
"mapall_user": "root",
"mapall_group": "root"
}'
Coś zwróciło — weź id z wyniku i zaktualizuj (podstaw <ID>):
midclt call sharing.nfs.update <ID> '{
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
"enabled": true,
"ro": false,
"mapall_user": "root",
"mapall_group": "root"
}'
Wybrałeś wariant B? Podstaw swojego użytkownika zamiast
rootw obu polach.
| ustawienie | po co |
|---|---|
hosts zawężone |
te same trzy węzły k8s co w DAN-25 — nikt inny nie zamontuje |
ro: false |
musi być zapisywalny, inaczej konta się nie zapiszą |
mapall_user |
cały ruch z tych hostów pisze jako JEDEN użytkownik, niezależnie od UID w kontenerze — bez tego root_squash zamienia roota z poda na nobody, który nie ma praw do katalogu |
Podstaw swoje adresy węzłów, jeśli się zmieniły. Aktualne:
kubectl get nodes -o wide
Sprawdź, co serwer FAKTYCZNIE eksportuje
Konfiguracja udziału i stan eksportu to dwie różne rzeczy: zapisana konfiguracja nie znaczy, że usługa ją przeładowała. To jest prawda:
sudo exportfs -v | grep -A1 astrololo
Muszą być dwa wpisy: /mnt/Tank1/astrololo (z ro) oraz
/mnt/Tank1/astrololo-state (z rw), oba z listą trzech węzłów.
Jeśli astrololo-state nie ma na liście, mimo że sharing.nfs.query go
pokazuje — usługa nie przeładowała eksportów:
midclt call service.restart nfs
sudo exportfs -v | grep astrololo-state
Krok 2 — sprawdź z węzła, ZANIM wdrożysz
To jest ten test, którego zabrakło za pierwszym razem:
ssh 192.168.1.73 'sudo mount -t nfs 192.168.1.34:/mnt/Tank1/astrololo-state /mnt/test \
&& sudo touch /mnt/test/proba && echo "ZAPIS DZIAŁA" \
&& sudo rm /mnt/test/proba; sudo umount /mnt/test'
Musi wypisać ZAPIS DZIAŁA.
| co widzisz | co to znaczy |
|---|---|
Permission denied przy touch |
montowanie działa, brakuje praw — wróć do właściciela katalogu i mapall_user |
access denied by server while mounting |
serwer nie wpuszcza w ogóle: sprawdź exportfs -v (czy eksport istnieje i przeładowany), enabled: true w udziale oraz czy adres węzła jest na liście hosts |
No such file or directory |
katalog /mnt/Tank1/astrololo-state nie istnieje na NAS-ie |
montuje się tylko z -o vers=3 |
negocjacja wersji: dopisz mountOptions w manifeście albo włącz NFSv4 w midclt call nfs.config |
Adresy węzłów sprawdzisz przez kubectl get nodes -o wide — jeśli któryś się
zmienił od czasu DAN-25, lista hosts jest nieaktualna i to wystarczy, żeby
serwer odmówił.
Krok 3 — wdróż i sprawdź
kubectl apply -k astrololo
kubectl -n astrololo rollout status deploy/presentation
Sprawdź, że aplikacja faktycznie umie tam zapisać — załóż konto testowe na ekranie „Konta", a potem:
kubectl -n astrololo exec deploy/presentation -- ls -l /app/state/
Oczekiwane: plik accounts.json.
Jeśli mimo wszystko Permission denied
Trzy komendy, w tej kolejności:
kubectl -n astrololo exec deploy/presentation -- sh -c 'id; ls -ld /app/state; touch /app/state/proba && echo ZAPIS-OK || echo ZAPIS-NIE'
midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-state"]]' \
| python3 -c "import sys,json;[print('ro:', s['ro'], '| mapall:', s.get('mapall_user'), '| hosts:', s['hosts']) for s in json.load(sys.stdin)]"
sudo ls -ld /mnt/Tank1/astrololo-state
Zestaw, który DZIAŁA: kontener jako uid=0(root), udział z ro: false
i mapall: root, katalog drwxrwx--- root root.
Po każdej zmianie eksportu: midclt call service.restart nfs, a potem
kubectl -n astrololo rollout restart deploy/presentation. Sama zmiana
konfiguracji nie przeładowuje eksportów.
Odkręcenie
# ID udziału
midclt call sharing.nfs.query | python3 -c "import sys,json;[print(s['id'], s.get('path')) for s in json.load(sys.stdin)]"
midclt call sharing.nfs.delete <ID>
Uwaga na przyszłość: DAN-27 uderzy w tę samą ścianę
Zarządzanie plikami baz (wgrywanie, archiwizacja, kasowanie) wymaga zapisu do
udziału z bazami — a ten jest ro: true. Ten runbook tego nie rozwiązuje
i celowo nie rusza DAN-25: to osobna decyzja, bo oznacza rezygnację z gwarancji,
że baz nie da się zmienić przez NFS. Patrz PR feat/pliki-zapis.