Compare commits

..

5 Commits

Author SHA1 Message Date
gitea 34947f8871 docs(nfs): po zmianie eksportu rollout restart nie wystarcza
Najdroższy czasowo moment pierwszego wdrożenia, więc zapisany wprost.

FAKT: eksport poprawiony (mapall_user), usługa NFS zrestartowana, pod
zrestartowany przez `rollout restart` — a zapis z poda nadal odbijał się
o Permission denied. Jednocześnie ręczne zamontowanie TEGO SAMEGO eksportu
z TEGO SAMEGO węzła pozwalało pisać.

HIPOTEZA (niepotwierdzona u źródła): jądro współdzieli strukturę montowania NFS
między montowania tego samego eksportu na węźle, razem z cache odpowiedzi ACCESS.
`rollout restart` zostawia stary i nowy pod na chwilę współistniejące — widać to
w jego własnym logu jako „1 old replicas are pending termination" — więc
montowanie ani na moment nie zostaje bez użytkownika i nowy pod dziedziczy
odpowiedź sprzed zmiany.

ROZWIĄZANIE (zweryfikowane): zejść do zera replik, poczekać na zniknięcie podów,
wrócić do jednej. W ArgoCD ten sam skutek daje force delete poda.

Dopisany też test rozdzielający winę serwera od winy klienta: ręczny montaż
z węzła z pominięciem Kubernetesa. SERWER-OK przy jednoczesnej odmowie w podzie
znaczy, że na NAS-ie nie ma czego poprawiać — i oszczędza rundy zmian
w konfiguracji udziału, które niczego nie dają.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-09 11:53:14 +02:00
gitea 4ae06364d6 docs(nfs): prawa do udziału opisane zgodnie z tym, co jest naprawdę
Runbook kazał robić `chown apps:apps` na użytkownika, którego na tym NAS-ie nie
ma, i nie tłumaczył, DLACZEGO zapis się nie udaje. A przyczyna jest myląca:
kontener działa jako root, NFS domyślnie stosuje root_squash, więc root z klienta
ląduje jako `nobody` — czyli w kategorii „inni", dla której świeży dataset
(drwxrwx--- root root) nie daje żadnych praw. `ls` w podzie pokazuje przy tym
„root root", co sugeruje, że wszystko jest w porządku.

Teraz są dwa jawne warianty: prostszy (mapall_user: root, katalog bez zmian —
squash wyłączony dla TEGO JEDNEGO udziału, w którym leży jeden plik) i czystszy
(dedykowany użytkownik + chown). Dopisane, czego nie robić: chmod 777 zadziała,
ale uczyni katalog zapisywalnym dla każdego lokalnego użytkownika NAS-a, a leżą
tam hashe haseł.

Dołożona sekcja rozstrzygająca „jeśli mimo wszystko Permission denied": trzy
komendy pokazujące jednocześnie stronę kontenera, stronę eksportu i stronę
katalogu, plus opis zestawu, który działa.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-09 11:43:54 +02:00
gitea ddec1ee5a7 docs(nfs): runbook radzi sobie z udziałem, który już istnieje
Instrukcja kazała wołać sharing.nfs.create, co przy istniejącym udziale odbija się
komunikatem „Export conflict" — i zostawia człowieka bez następnego kroku.
Teraz najpierw query, potem create ALBO update, zależnie od wyniku.

Dołożony sprawdzian `exportfs -v`: zapisana konfiguracja udziału i stan eksportu
to dwie różne rzeczy, a „access denied by server" przy poprawnej liście hostów
najczęściej znaczy właśnie, że usługa nie przeładowała eksportów.

Tabela objawów rozróżnia cztery przypadki, które łatwo pomylić: brak praw, brak
wpuszczenia przez serwer, brak katalogu i negocjację wersji NFS.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-07 18:48:44 +02:00
gitea aff4de4e49 fix(prezentacja): osobny udział na stan zamiast subPath na udziale z bazami
Pod presentation nie wstawał: CreateContainerConfigError, „failed to create
subPath directory for volumeMount state".

MÓJ BŁĄD, NIE ZAGADKA. Udział z bazami jest wyeksportowany `ro: true`
z `root_squash` — ustawiłem to runbookiem DAN-25 i sam tam napisałem ostrzeżenie,
że po tej zmianie nikt nic nie wgra. Dokładając wolumen na konta zmieniłem
`readOnly` przy MONTOWANIU w podzie i uznałem sprawę za załatwioną, nie sprawdzając
eksportu po stronie serwera.

Przyczyna była zresztą podwójna i za każdym razem ta sama:
  1. kubelet nie mógł utworzyć podkatalogu, bo udział jest tylko do odczytu,
  2. a gdyby nawet mógł — kontenery działają jako root, a root_squash mapuje
     roota na nobody, więc aplikacja i tak nie zapisałaby tam pliku kont.

ROZWIĄZANIE BEZ RUSZANIA DAN-25: osobny, mały udział /mnt/Tank1/astrololo-state,
zapisywalny, zawężony do tych samych trzech węzłów, z mapall_user na
nieuprzywilejowanego użytkownika (bezpieczniejsze niż no_root_squash, bo nie
oddaje roota). Udział z bazami ZOSTAJE tylko do odczytu.

Przy okazji znika subPath, czyli znika potrzeba, żeby kubelet cokolwiek zakładał —
katalog istnieje, bo jest korzeniem udziału.

Runbook README-stan-prezentacji.md zawiera test zapisu Z WĘZŁA do wykonania PRZED
wdrożeniem — dokładnie ten, którego zabrakło za pierwszym razem.

UWAGA: DAN-27 (zarządzanie plikami baz) uderzy w tę samą ścianę, bo wymaga zapisu
do udziału z BAZAMI. Ten commit tego nie rozwiązuje i celowo nie rusza DAN-25 —
to osobna decyzja, opisana na końcu runbooka.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-07 17:46:12 +02:00
argocd-image-updater ef837146af build: automatic update of astrololo
updates image gitea/astrololo-presentation tag 'baf4e0e3' to 'a8339659'
2026-08-07 13:55:15 +00:00
7 changed files with 302 additions and 457 deletions
-284
View File
@@ -1,284 +0,0 @@
# Postgres — lustro baz w SQL (DAN-28)
Runbook krok po kroku. Zakłada, że nie pamiętasz nic z rozmowy, w której to
powstało.
---
## Co to jest — i czego to NIE jest
Postgres trzyma **lustro** plików Excela, żeby wyszukiwanie było szybsze i mądrzejsze.
> **ŹRÓDŁEM PRAWDY SĄ PLIKI EXCELA NA NFS.** Utrata tej bazy **nie jest utratą
> danych** — odbudowuje się z plików. Dlatego kopie zapasowe Postgresa są tu
> **opcjonalne**, a wolumen stoi na `local-path` zamiast na NFS.
Po co w ogóle Postgres, skoro danych jest mało (~54 tys. wierszy)? Nie dla skali —
przy takim rozmiarze SQLite bywa szybszy. Dla **wyszukiwania w polskim,
nieznormalizowanym tekście**: `pg_trgm` (dopasowanie mimo literówek) i `unaccent`
(ogonki) nie mają w SQLite taniego zamiennika.
---
## Część 1 — co zrobiłem za Ciebie (w repo)
Nic z tego nie wymaga Twojej ręki, ale wiedz, co jest gdzie:
| plik | co w nim jest |
|---|---|
| `astrololo/postgres.yaml` | PVC (5 Gi, `local-path`), ConfigMap z SQL-em inicjalizującym, Deployment (`Recreate`), Service `ClusterIP` |
| `astrololo/kustomization.yaml` | `postgres.yaml` dopisany **przed** `data.yaml` |
| `astrololo/data.yaml` | `SQL_URL` z sekretu; `DATA_PROVIDER` **zostaje `excel`** |
| repo aplikacji: `services/data/requirements.txt` | sterownik `psycopg[binary]` |
Decyzje, które w tych plikach zapadły — żeby nie trzeba było ich odtwarzać z głowy:
* **`local-path`, nie NFS.** Postgres zakłada semantykę blokad i `fsync`, której NFS
nie gwarantuje — to klasyczne źródło uszkodzenia bazy przy nagłym restarcie.
Ceną jest przywiązanie do węzła; przy luście odtwarzalnym z Excela to nie boli.
* **`strategy: Recreate`.** Wolumen jest `ReadWriteOnce`, a dwa procesy Postgresa
na jednym katalogu danych to uszkodzona baza. Rolling próbowałby wstać z nowym
podem, zanim stary zejdzie.
* **`PGDATA` w podkatalogu** (`…/data/pgdata`). Katalog główny wolumenu potrafi
zawierać wpisy systemu plików, a `initdb` odmawia pracy w niepustym katalogu.
* **Wersja przypięta (`postgres:17`) i POZA image-updaterem.** Podbicie majora
wymaga migracji katalogu danych — nie może się zdarzyć samo, w nocy, przy okazji
builda aplikacji.
* **`DATA_PROVIDER` zostaje na `excel`.** Postgres można wdrożyć i obejrzeć **bez
żadnego ryzyka** dla działającego wyszukiwania. Przełączenie na `sql` to osobna,
późniejsza decyzja — po wdrożeniu lustra.
---
## Część 2 — co musisz zrobić Ty
### Krok 0. Sprawdź, że klaster ma `local-path`
```bash
kubectl get storageclass
```
Oczekiwany wynik: linia z `local-path` i dopiskiem `(default)`. W k3s jest
domyślnie. **Jeśli jej nie ma — zatrzymaj się tutaj** i daj znać; bez niej PVC
zawiśnie w `Pending`.
### Krok 1. Utwórz sekret `astrololo-postgres`
Ta sama konwencja co `astrololo-auth`: **sekretu nie ma w repo**, bo to repo
GitOps i cokolwiek by tu wpadło, zostałoby w historii gita na zawsze.
```bash
PGPASS="$(openssl rand -base64 24 | tr -d '/+=' | head -c 32)"
kubectl -n astrololo create secret generic astrololo-postgres \
--from-literal=POSTGRES_PASSWORD="$PGPASS" \
--from-literal=SQL_URL="postgresql+psycopg://astrololo:${PGPASS}@postgres:5432/astrololo"
unset PGPASS
```
Hasła **nie musisz nigdzie zapisywać ani nigdy oglądać** — używają go tylko usługi
między sobą. Gdybyś kiedyś go potrzebował:
```bash
kubectl -n astrololo get secret astrololo-postgres \
-o jsonpath='{.data.POSTGRES_PASSWORD}' | base64 -d; echo
```
> **Dlaczego dwa klucze, skoro hasło jest w obu?** `POSTGRES_PASSWORD` czyta sam
> Postgres przy inicjalizacji, `SQL_URL` czyta warstwa danych. Rozdzielone, bo to
> dwa różne formaty i dwóch różnych odbiorców — sklejanie DSN-a w manifeście
> wymagałoby wstawienia tam hasła.
### Krok 2. Wdróż
Jeśli ArgoCD pilnuje katalogu `astrololo`, wystarczy **zmergować PR** — reszta
zrobi się sama. Ręcznie:
```bash
kubectl apply -k astrololo
```
### Krok 3. Sprawdź, że wstało
```bash
kubectl -n astrololo rollout status deploy/postgres
kubectl -n astrololo get pvc postgres-data
```
Oczekiwane: `deployment "postgres" successfully rolled out` i PVC w stanie `Bound`.
### Krok 4. Sprawdź, że rozszerzenia się założyły
To jest **najważniejszy sprawdzian tego wdrożenia** — bez tych rozszerzeń cały
sens stawiania Postgresa znika.
```bash
kubectl -n astrololo exec deploy/postgres -- \
psql -U astrololo -d astrololo -c "\dx"
```
Na liście muszą być **`pg_trgm`** i **`unaccent`**. Sprawdź też, że działają:
```bash
kubectl -n astrololo exec deploy/postgres -- psql -U astrololo -d astrololo -c \
"SELECT unaccent('różdżka') AS bez_ogonkow,
similarity(unaccent('różdżka'), 'rozdzka') AS po_zdjeciu_ogonkow,
similarity('kowalski', 'kowlaski') > 0.3 AS literowka_lapana;"
```
Oczekiwane **dokładnie**:
```
bez_ogonkow | po_zdjeciu_ogonkow | literowka_lapana
-------------+--------------------+------------------
rozdzka | 1 | t
```
Pierwsza kolumna pokazuje, że `unaccent` zna polskie znaki; druga, że po zdjęciu
ogonków słowa są **identyczne** (stąd równo `1`); trzecia, że `pg_trgm` łapie
przestawione litery. Jeśli druga kolumna nie jest równa `1`, rozszerzenia są, ale
reguły `unaccent` nie obsługują polskich znaków — daj znać, bo to zmienia sposób
budowania indeksów.
### Krok 5. Sprawdź, że warstwa danych ma połączenie
```bash
kubectl -n astrololo rollout restart deploy/data
kubectl -n astrololo rollout status deploy/data
kubectl -n astrololo logs deploy/data --tail=30 | grep -i -E "sql|postgres|error" || echo "brak wzmianek — OK"
```
Na tym etapie warstwa danych **nadal czyta Excela** (`DATA_PROVIDER=excel`).
Postgres tylko stoi i czeka. Aplikacja ma działać dokładnie jak przedtem —
i to jest oczekiwany wynik tego wdrożenia.
---
## Część 3 — obsługa na co dzień
### Zajrzeć do bazy
```bash
kubectl -n astrololo exec -it deploy/postgres -- psql -U astrololo -d astrololo
```
Przydatne w środku: `\dt mirror.*` (tabele lustra), `\dx` (rozszerzenia),
`\l` (bazy), `\q` (wyjście).
### Podłączyć narzędzie graficzne z laptopa
Baza **celowo nie jest wystawiona poza klaster**. Na czas jednej sesji:
```bash
kubectl -n astrololo port-forward deploy/postgres 5432:5432
```
i łączysz się na `localhost:5432`, użytkownik `astrololo`, baza `astrololo`,
hasło jak w kroku 1. Po zamknięciu terminala tunel znika.
### Dodanie rozszerzenia do ISTNIEJĄCEJ bazy
> ⚠️ **Pułapka.** Skrypty z `/docker-entrypoint-initdb.d/` uruchamiają się
> **wyłącznie przy pierwszej inicjalizacji**, na pustym katalogu danych. Dopisanie
> rozszerzenia do ConfigMapy **nie zrobi nic**, jeśli baza już istnieje.
```bash
kubectl -n astrololo exec deploy/postgres -- \
psql -U astrololo -d astrololo -c "CREATE EXTENSION IF NOT EXISTS nazwa;"
```
### Kopia zapasowa (opcjonalna — patrz nagłówek)
```bash
kubectl -n astrololo exec deploy/postgres -- \
pg_dump -U astrololo -d astrololo -Fc > astrololo-$(date +%F).dump
```
Odtworzenie:
```bash
kubectl -n astrololo exec -i deploy/postgres -- \
pg_restore -U astrololo -d astrololo --clean --if-exists < astrololo-2026-08-06.dump
```
### Wyczyścić lustro i wczytać od nowa
```bash
kubectl -n astrololo exec deploy/postgres -- psql -U astrololo -d astrololo -c \
"DROP SCHEMA mirror CASCADE; CREATE SCHEMA mirror;"
```
Po tym warstwa danych odbuduje lustro z plików Excela (gdy lustro będzie już
zaimplementowane — dziś ta komenda tylko czyści pusty schemat).
### Podbicie wersji Postgresa
**Nie robi się tego przez zmianę tagu w manifeście.** Major wymaga migracji
katalogu danych. Ponieważ to lustro:
1. `kubectl -n astrololo scale deploy/data --replicas=0`
2. skasuj Deployment i **PVC** (`kubectl -n astrololo delete deploy/postgres pvc/postgres-data`)
3. zmień tag obrazu w `postgres.yaml`, wdróż ponownie
4. `kubectl -n astrololo scale deploy/data --replicas=1` — lustro odbuduje się z Excela
To jest właśnie ta sytuacja, w której „lustro, nie źródło prawdy" oszczędza dzień
pracy.
---
## Co zostało sprawdzone przed oddaniem, a co nie
**Sprawdzone:** `kubectl kustomize astrololo` składa komplet 21 zasobów bez błędu;
YAML wszystkich manifestów parsuje się poprawnie; audyt odwołań do sekretów
potwierdza, że jedyne brakujące to `astrololo-postgres` (oba klucze); DSN
`postgresql+psycopg://…` jest poprawnie rozpoznawany przez SQLAlchemy 2.0
z zainstalowanym `psycopg` 3.
**NIE sprawdzone, bo nie było na czym:** skrypt inicjalizujący nie został
uruchomiony przeciwko prawdziwemu Postgresowi (na maszynie, na której to
powstawało, nie ma Dockera). Składnia jest prosta i przejrzana, ale **krok 4 jest
tu prawdziwym testem** — jeśli coś ma nie zadziałać, to właśnie tam.
---
## Część 4 — typowe problemy
| objaw | przyczyna | co zrobić |
|---|---|---|
| PVC wisi w `Pending` | brak `local-path` albo brak miejsca na węźle | `kubectl get storageclass`, `kubectl describe pvc postgres-data` |
| pod w `CrashLoopBackOff`, w logach `directory not empty` | `PGDATA` wskazuje katalog główny wolumenu | sprawdź, czy `PGDATA` to `…/data/pgdata` (jest w manifeście) |
| pod nie startuje, `secret not found` | nie wykonany krok 1 | utwórz sekret i `kubectl -n astrololo rollout restart deploy/postgres` |
| `\dx` nie pokazuje `pg_trgm` | baza założona przed dodaniem ConfigMapy | patrz „Dodanie rozszerzenia do istniejącej bazy" |
| warstwa danych: `ModuleNotFoundError: psycopg` | obraz zbudowany przed dodaniem sterownika | poczekaj na build z CI albo `kubectl -n astrololo rollout restart deploy/data` po nowym obrazie |
| `password authentication failed` | `SQL_URL` w sekrecie nie zgadza się z `POSTGRES_PASSWORD` | odtwórz sekret krokiem 1 (oba klucze naraz) i zrestartuj **oba** deploymenty |
Gdy nic nie pasuje — pierwsze dwie komendy do wklejenia:
```bash
kubectl -n astrololo describe pod -l app=postgres | tail -30
kubectl -n astrololo logs deploy/postgres --tail=50
```
---
## Część 5 — pełne odtworzenie ręczne, bez ArgoCD i bez repo
Gdyby trzeba było postawić to od zera na czystym klastrze:
```bash
kubectl create namespace astrololo
PGPASS="$(openssl rand -base64 24 | tr -d '/+=' | head -c 32)"
kubectl -n astrololo create secret generic astrololo-postgres \
--from-literal=POSTGRES_PASSWORD="$PGPASS" \
--from-literal=SQL_URL="postgresql+psycopg://astrololo:${PGPASS}@postgres:5432/astrololo"
unset PGPASS
kubectl apply -f astrololo/postgres.yaml
kubectl -n astrololo rollout status deploy/postgres
kubectl -n astrololo exec deploy/postgres -- psql -U astrololo -d astrololo -c "\dx"
```
Reszta aplikacji wymaga jeszcze sekretów `astrololo-auth` i `astrololo-link`
patrz [README.md](README.md).
+279
View File
@@ -0,0 +1,279 @@
# Udział na stan prezentacji — `astrololo-state`
Potrzebny do kont zakładanych z ekranu „Konta" (PRE-27). **Bez niego pod
`presentation` nie wstanie.**
---
## Dlaczego osobny udział, a nie podkatalog
Pierwsza wersja montowała `/mnt/Tank1/astrololo` z `subPath: presentation-state`
i pod stanął w `CreateContainerConfigError`:
```
failed to create subPath directory for volumeMount "state" of container "presentation"
```
Przyczyna była podwójna i za każdym razem ta sama: udział z bazami jest
wyeksportowany **`ro: true` z `root_squash`** (patrz runbook DAN-25 w repo
aplikacji). Zatem:
1. kubelet nie mógł utworzyć podkatalogu — bo udział jest tylko do odczytu,
2. a gdyby nawet mógł, aplikacja i tak nie zapisałaby tam pliku kont.
**Osobny udział rozwiązuje to bez ruszania DAN-25.** Udział z bazami zostaje tylko
do odczytu; konta dostają własne, małe miejsce. Przy okazji znika `subPath`, czyli
znika potrzeba, żeby kubelet cokolwiek zakładał — katalog istnieje, bo jest
korzeniem udziału.
---
## Krok 1 — dataset i udział na TrueNAS
Po SSH na NAS (192.168.1.34). Konwencja jak w DAN-25: **nie edytujemy
`/etc/exports` ręcznie**, tylko przez `midclt`.
```bash
# dataset
sudo zfs create Tank1/astrololo-state
```
Jeśli `Tank1` nie jest pulą ZFS albo wolisz zwykły katalog:
```bash
sudo mkdir -p /mnt/Tank1/astrololo-state
```
### Właściciel i prawa — TU JEST NAJCZĘSTSZY BŁĄD
Kontenery aplikacji działają **jako root** (`uid=0`), a NFS domyślnie stosuje
**`root_squash`**: root z klienta NIE jest rootem na udziale — ląduje jako
`nobody`. Świeży dataset ma prawa `drwxrwx--- root root`, czyli **nic dla
„innych"** — i dlatego zapis odbija się o `Permission denied`, mimo że `ls`
w podzie pokazuje `root root`.
To myli, bo `ls` pokazuje właściciela KATALOGU, a nie to, kim jest dla serwera
proces, który próbuje pisać.
Do wyboru dwa rozwiązania. Oba trzeba ustawić **przy eksporcie** (niżej), tu
tylko przygotowujemy katalog.
**A. Prościej — bez zakładania użytkownika.** Katalog zostaje `root:root 770`,
a przy eksporcie ustawiamy `mapall_user: "root"`. To wyłącza squash **dla tego
jednego udziału**. Zasięg jest wąski: eksportowany jest wyłącznie ten katalog,
montują go tylko trzy węzły k8s, leży w nim jeden plik. Nic nie trzeba robić —
świeży dataset ma już właściwe prawa.
**B. Czyściej — dedykowany użytkownik.** Zakładasz w UI TrueNAS
nieuprzywilejowanego użytkownika (np. `astrololo`), a potem:
```bash
sudo chown -R astrololo:astrololo /mnt/Tank1/astrololo-state
sudo chmod 770 /mnt/Tank1/astrololo-state
```
i przy eksporcie podstawiasz go w `mapall_user`. Efekt ten sam, bez oddawania
roota — kosztem jednego użytkownika więcej do pamiętania.
> Istniejących użytkowników sprawdzisz przez:
> `midclt call user.query | python3 -c "import sys,json;[print(u['uid'], u['username']) for u in json.load(sys.stdin)]"`
> **Czego NIE robić:** `chmod 777`. Zadziała, ale uczyni katalog zapisywalnym dla
> każdego lokalnego użytkownika NAS-a — a leżą tam hashe haseł, więc jest to plik
> wrażliwszy niż same bazy Excela.
### Eksport NFS
> **Najpierw sprawdź, czy udziału już nie ma.** `sharing.nfs.create` odmawia
> z komunikatem `Export conflict`, jeśli ten sam katalog jest już eksportowany —
> wtedy trzeba go **zaktualizować**, nie tworzyć.
```bash
midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-state"]]' \
| python3 -m json.tool
```
**Pusta lista `[]`** — udziału nie ma, twórz:
```bash
midclt call sharing.nfs.create '{
"path": "/mnt/Tank1/astrololo-state",
"comment": "astrololo — stan prezentacji (konta PRE-27)",
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
"enabled": true,
"ro": false,
"mapall_user": "root",
"mapall_group": "root"
}'
```
**Coś zwróciło** — weź `id` z wyniku i zaktualizuj (podstaw `<ID>`):
```bash
midclt call sharing.nfs.update <ID> '{
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
"enabled": true,
"ro": false,
"mapall_user": "root",
"mapall_group": "root"
}'
```
> Wybrałeś wariant B? Podstaw swojego użytkownika zamiast `root` w obu polach.
| ustawienie | po co |
|---|---|
| `hosts` zawężone | te same trzy węzły k8s co w DAN-25 — nikt inny nie zamontuje |
| `ro: false` | **musi być zapisywalny**, inaczej konta się nie zapiszą |
| `mapall_user` | cały ruch z tych hostów pisze jako JEDEN użytkownik, niezależnie od UID w kontenerze — bez tego `root_squash` zamienia roota z poda na `nobody`, który nie ma praw do katalogu |
> Podstaw swoje adresy węzłów, jeśli się zmieniły. Aktualne:
> `kubectl get nodes -o wide`
---
### Sprawdź, co serwer FAKTYCZNIE eksportuje
Konfiguracja udziału i stan eksportu to **dwie różne rzeczy**: zapisana
konfiguracja nie znaczy, że usługa ją przeładowała. To jest prawda:
```bash
sudo exportfs -v | grep -A1 astrololo
```
Muszą być **dwa** wpisy: `/mnt/Tank1/astrololo` (z `ro`) oraz
`/mnt/Tank1/astrololo-state` (z `rw`), oba z listą trzech węzłów.
Jeśli `astrololo-state` **nie ma na liście**, mimo że `sharing.nfs.query` go
pokazuje — usługa nie przeładowała eksportów:
```bash
midclt call service.restart nfs
sudo exportfs -v | grep astrololo-state
```
---
## Krok 2 — sprawdź z węzła, ZANIM wdrożysz
To jest ten test, którego zabrakło za pierwszym razem:
```bash
ssh 192.168.1.73 'sudo mount -t nfs 192.168.1.34:/mnt/Tank1/astrololo-state /mnt/test \
&& sudo touch /mnt/test/proba && echo "ZAPIS DZIAŁA" \
&& sudo rm /mnt/test/proba; sudo umount /mnt/test'
```
Musi wypisać **`ZAPIS DZIAŁA`**.
| co widzisz | co to znaczy |
|---|---|
| `Permission denied` przy `touch` | montowanie działa, brakuje praw — wróć do właściciela katalogu i `mapall_user` |
| `access denied by server while mounting` | serwer nie wpuszcza w ogóle: sprawdź `exportfs -v` (czy eksport istnieje i przeładowany), `enabled: true` w udziale oraz czy adres węzła jest na liście `hosts` |
| `No such file or directory` | katalog `/mnt/Tank1/astrololo-state` nie istnieje na NAS-ie |
| montuje się tylko z `-o vers=3` | negocjacja wersji: dopisz `mountOptions` w manifeście albo włącz NFSv4 w `midclt call nfs.config` |
Adresy węzłów sprawdzisz przez `kubectl get nodes -o wide` — jeśli któryś się
zmienił od czasu DAN-25, lista `hosts` jest nieaktualna i to wystarczy, żeby
serwer odmówił.
---
## Krok 3 — wdróż i sprawdź
```bash
kubectl apply -k astrololo
kubectl -n astrololo rollout status deploy/presentation
```
Sprawdź, że aplikacja faktycznie umie tam zapisać — załóż konto testowe
na ekranie „Konta", a potem:
```bash
kubectl -n astrololo exec deploy/presentation -- ls -l /app/state/
```
Oczekiwane: plik `accounts.json`.
---
## Jeśli mimo wszystko `Permission denied`
Trzy komendy, w tej kolejności:
```bash
kubectl -n astrololo exec deploy/presentation -- sh -c 'id; ls -ld /app/state; touch /app/state/proba && echo ZAPIS-OK || echo ZAPIS-NIE'
```
```bash
midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-state"]]' \
| python3 -c "import sys,json;[print('ro:', s['ro'], '| mapall:', s.get('mapall_user'), '| hosts:', s['hosts']) for s in json.load(sys.stdin)]"
```
```bash
sudo ls -ld /mnt/Tank1/astrololo-state
```
Zestaw, który DZIAŁA: kontener jako `uid=0(root)`, udział z `ro: false`
i `mapall: root`, katalog `drwxrwx--- root root`.
### ⚠️ Po zmianie eksportu `rollout restart` NIE WYSTARCZA
To kosztowało najwięcej czasu przy pierwszym wdrożeniu, więc zapisane wprost.
**Objaw:** eksport poprawiony, `service.restart nfs` wykonany, pod zrestartowany —
a zapis z poda nadal odbija się o `Permission denied`. Przy czym **ręczne
zamontowanie tego samego eksportu z tego samego węzła działa** i pozwala pisać.
**Co z tym zrobić:** doprowadzić do stanu, w którym ŻADEN pod nie trzyma tego
montowania.
```bash
kubectl -n astrololo scale deploy/presentation --replicas=0
kubectl -n astrololo wait --for=delete pod -l app=presentation --timeout=90s
kubectl -n astrololo scale deploy/presentation --replicas=1
kubectl -n astrololo rollout status deploy/presentation
```
`rollout restart` tego nie osiąga, bo stary i nowy pod na chwilę WSPÓŁISTNIEJĄ —
w logu widać `1 old replicas are pending termination`. Montowanie ani na moment
nie zostaje bez użytkownika. (W ArgoCD ten sam skutek daje `force delete` poda.)
**Dlaczego (hipoteza, nie potwierdzona u źródła):** jądro współdzieli strukturę
montowania NFS między montowania tego samego eksportu na węźle, razem z cache
odpowiedzi ACCESS. Nowy pod podpina się do żywego montowania i dziedziczy
odpowiedź sprzed zmiany eksportu.
**Test, który rozstrzyga, czy winny jest serwer czy klient** — montaż ręczny
z węzła, z pominięciem Kubernetesa:
```bash
ssh <węzeł> 'sudo mkdir -p /mnt/t && sudo mount -t nfs 192.168.1.34:/mnt/Tank1/astrololo-state /mnt/t \
&& sudo touch /mnt/t/proba && echo SERWER-OK || echo SERWER-NIE; sudo umount /mnt/t'
```
`SERWER-OK` przy jednoczesnym `Permission denied` w podzie znaczy, że konfiguracja
NAS-a jest dobra i **nie ma czego na nim poprawiać** — problem jest po stronie
klienta.
Osobno pamiętaj: sama zmiana konfiguracji udziału nie przeładowuje eksportów.
Po każdej zmianie `midclt call service.restart nfs`.
---
## Odkręcenie
```bash
# ID udziału
midclt call sharing.nfs.query | python3 -c "import sys,json;[print(s['id'], s.get('path')) for s in json.load(sys.stdin)]"
midclt call sharing.nfs.delete <ID>
```
---
## Uwaga na przyszłość: DAN-27 uderzy w tę samą ścianę
Zarządzanie plikami baz (wgrywanie, archiwizacja, kasowanie) wymaga zapisu do
**udziału z bazami** — a ten jest `ro: true`. Ten runbook tego **nie rozwiązuje**
i celowo nie rusza DAN-25: to osobna decyzja, bo oznacza rezygnację z gwarancji,
że baz nie da się zmienić przez NFS. Patrz PR `feat/pliki-zapis`.
+7 -6
View File
@@ -23,14 +23,15 @@ Ten plik **celowo nie jest w `kustomization.yaml`**: resource stoi w ns `argocd`
(poza namespace docelowym aplikacji), a to konfiguracja kontrolera, który wdraża tę
aplikację — nakładamy go ręcznie, w repo trzymamy dla odtwarzalności i historii.
## Postgres — lustro baz w SQL (DAN-28)
## ⚠️ Udział `astrololo-state` — wymagany przez konta (PRE-27)
Osobny runbook: **[README-postgres.md](README-postgres.md)** — co zrobiono w repo,
co musisz zrobić ręcznie (sekret `astrololo-postgres`), jak sprawdzić rozszerzenia
`pg_trgm`/`unaccent` i jak odtworzyć całość bez ArgoCD.
Pod `presentation` **nie wstanie bez niego** (`CreateContainerConfigError:
failed to create subPath directory`). Osobny runbook:
**[README-stan-prezentacji.md](README-stan-prezentacji.md)**.
Postgres trzyma LUSTRO plików Excela, nie źródło prawdy — jego utrata nie jest
utratą danych, więc kopie zapasowe są opcjonalne.
Krótko: udział z bazami jest wyeksportowany `ro` (DAN-25), więc konta nie mogą tam
mieszkać — dostają własny, mały udział `/mnt/Tank1/astrololo-state`, zapisywalny,
zawężony do tych samych węzłów.
## ⚠️ Sekret `astrololo-auth` — utwórz PRZED wdrożeniem
-10
View File
@@ -44,16 +44,6 @@ spec:
# zdążyłby wypuścić zapytanie jawnym tekstem, zanim dostanie odmowę.
- name: LINK_ENCRYPTION_REQUIRED
value: "true"
# Lustro baz w SQL (DAN-28). DSN w SEKRECIE, bo niesie hasło —
# w manifeście zostałoby w historii gita na zawsze.
#
# Sam adres nie przełącza jeszcze warstwy na SQL: o tym decyduje
# DATA_PROVIDER, które celowo zostaje na `excel`, dopóki lustro nie
# jest zaimplementowane i sprawdzone. Dzięki temu Postgres można
# wdrożyć i obejrzeć BEZ ryzyka dla działającego wyszukiwania.
- name: SQL_URL
valueFrom:
secretKeyRef: { name: astrololo-postgres, key: SQL_URL }
volumeMounts:
- name: cache
mountPath: /app/.cache
+1 -2
View File
@@ -2,7 +2,6 @@ apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- namespace.yaml
- postgres.yaml # lustro baz Excela w SQL (DAN-28) — sekret astrololo-postgres POZA repo
- data.yaml
- logic.yaml
- presentation.yaml
@@ -17,4 +16,4 @@ images:
- name: gitea.czernobog.pl/gitea/astrololo-render
newTag: aec3f843
- name: gitea.czernobog.pl/gitea/astrololo-presentation
newTag: baf4e0e3
newTag: a8339659
-150
View File
@@ -1,150 +0,0 @@
# Postgres — lustro baz Excela w SQL (DAN-28).
#
# DLACZEGO POSTGRES, A NIE SQLITE. Nie ze względu na skalę: dzisiejszy zbiór to
# ~54 tys. wierszy, przy których SQLite bywa szybszy. Powodem jest WYSZUKIWANIE
# w nieznormalizowanym, polskim tekście — `pg_trgm` (dopasowanie rozmyte, literówki)
# i `unaccent` (ogonki) nie mają w SQLite taniego zamiennika, a to jest główna
# funkcja programu, nie dodatek. Drugi powód: `pg_advisory_lock` sprawia, że model
# sesji z atomowym commitem przestaje zakładać „jedna replika na zawsze".
#
# TO LUSTRO, NIE ŹRÓDŁO PRAWDY. Źródłem są pliki Excela na NFS. Utrata tej bazy
# NIE JEST utratą danych — odbudowuje się z plików. Dlatego kopie zapasowe są tu
# OPCJONALNE, a wolumen może stać na local-path.
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: postgres-data
namespace: astrololo
spec:
accessModes: [ReadWriteOnce]
# local-path (domyślny provisioner k3s), NIE NFS. Postgres zakłada semantykę
# blokad i fsync, której NFS nie gwarantuje — to klasyczne źródło uszkodzenia
# bazy przy nagłym restarcie. Ceną jest przywiązanie do węzła; przy luście
# odtwarzalnym z Excela to akceptowalne.
storageClassName: local-path
resources:
requests:
storage: 5Gi
---
apiVersion: v1
kind: ConfigMap
metadata:
name: postgres-init
namespace: astrololo
data:
# UWAGA: skrypty z /docker-entrypoint-initdb.d/ uruchamiają się WYŁĄCZNIE przy
# pierwszej inicjalizacji, na pustym katalogu danych. Dopisanie tu rozszerzenia
# PO utworzeniu bazy nic nie zrobi — trzeba je wtedy założyć ręcznie (patrz
# README-postgres.md, sekcja „Dodanie rozszerzenia do istniejącej bazy").
01-extensions.sql: |
-- Dopasowanie rozmyte: similarity(), operator %, indeksy GIN po trigramach.
-- To jest powód, dla którego stoi tu Postgres, a nie SQLite.
CREATE EXTENSION IF NOT EXISTS pg_trgm;
-- Zdejmowanie ogonków: „różdżka" ma się znaleźć na „rozdzka".
CREATE EXTENSION IF NOT EXISTS unaccent;
-- Schemat na lustro. Osobny, żeby purge i odbudowa nie musiały ruszać
-- niczego w `public` i żeby `DROP SCHEMA mirror CASCADE` był bezpiecznym
-- „wyczyść wszystko i wczytaj od nowa".
CREATE SCHEMA IF NOT EXISTS mirror;
-- Rejestr luster: co, z jakiego pliku, o jakim skrócie i kiedy wczytane.
-- Zgodność pliku z tabelą poznajemy po sha256 — nazwa pliku nie wystarcza,
-- bo treść potrafi się zmienić bez zmiany nazwy.
CREATE TABLE IF NOT EXISTS mirror.registry (
table_name text PRIMARY KEY,
source_path text NOT NULL UNIQUE,
sha256 text NOT NULL,
row_count integer NOT NULL DEFAULT 0,
loaded_at timestamptz NOT NULL DEFAULT now(),
active boolean NOT NULL DEFAULT false
);
CREATE INDEX IF NOT EXISTS registry_active_idx ON mirror.registry (active);
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: postgres
namespace: astrololo
spec:
replicas: 1
# Recreate, NIE RollingUpdate: wolumen jest ReadWriteOnce, a dwa procesy
# Postgresa na jednym katalogu danych to uszkodzona baza. Rolling próbowałby
# wstać z nowym podem, zanim stary zejdzie.
strategy:
type: Recreate
selector:
matchLabels: { app: postgres }
template:
metadata:
labels: { app: postgres }
spec:
containers:
- name: postgres
# Wersja PRZYPIĘTA i celowo poza image-updaterem: podbicie majora
# Postgresa wymaga migracji katalogu danych, więc nie może się zdarzyć
# samo, w nocy, przy okazji builda aplikacji.
image: postgres:17
ports: [{ containerPort: 5432, name: postgres }]
env:
- name: POSTGRES_DB
value: astrololo
- name: POSTGRES_USER
value: astrololo
- name: POSTGRES_PASSWORD
valueFrom:
secretKeyRef: { name: astrololo-postgres, key: POSTGRES_PASSWORD }
# PGDATA w PODKATALOGU montowanego wolumenu. Katalog główny wolumenu
# potrafi zawierać wpisy systemu plików (np. lost+found), a initdb
# odmawia inicjalizacji w niepustym katalogu.
- name: PGDATA
value: /var/lib/postgresql/data/pgdata
# C.UTF-8 zamiast pl_PL.UTF-8: dopasowanie tekstu robimy przez
# unaccent i pg_trgm, nie przez collation, a locale pl_PL wymagałoby
# obrazu z wygenerowanymi lokalizacjami. Gdyby kiedyś potrzebne było
# polskie SORTOWANIE, dokłada się collation ICU na konkretnej kolumnie.
- name: POSTGRES_INITDB_ARGS
value: "--encoding=UTF8 --locale=C.UTF-8"
volumeMounts:
- name: data
mountPath: /var/lib/postgresql/data
- name: init
mountPath: /docker-entrypoint-initdb.d
readOnly: true
# pg_isready, nie zwykły TCP: gniazdo słucha, zanim baza przyjmuje
# zapytania, więc sonda po porcie przepuściłaby ruch za wcześnie.
readinessProbe:
exec:
command: ["pg_isready", "-U", "astrololo", "-d", "astrololo", "-q"]
initialDelaySeconds: 5
periodSeconds: 5
livenessProbe:
exec:
command: ["pg_isready", "-U", "astrololo", "-d", "astrololo", "-q"]
initialDelaySeconds: 30
periodSeconds: 20
failureThreshold: 6
resources:
requests: { cpu: "100m", memory: "256Mi" }
limits: { cpu: "1000m", memory: "1Gi" }
volumes:
- name: data
persistentVolumeClaim:
claimName: postgres-data
- name: init
configMap:
name: postgres-init
---
apiVersion: v1
kind: Service
metadata:
name: postgres
namespace: astrololo
spec:
# ClusterIP i tylko ClusterIP. Baza nie ma żadnego powodu być widoczna poza
# klastrem; dostęp z zewnątrz robi się przez `kubectl port-forward` na czas
# jednej sesji (patrz README-postgres.md).
type: ClusterIP
selector: { app: postgres }
ports: [{ port: 5432, targetPort: 5432 }]
+15 -5
View File
@@ -66,12 +66,20 @@ spec:
- name: ACCOUNTS_FILE
value: "/app/state/accounts.json"
volumeMounts:
# subPath, NIE cały udział: prezentacja dostaje wyłącznie własny
# podkatalog i nie widzi baz interpretacyjnych. Zamontowanie tu całego
# /mnt/Tank1/astrololo obeszłoby bokiem zamknięcie dostępu z DAN-25.
# OSOBNY UDZIAŁ, nie podkatalog udziału z bazami. Pierwsza wersja
# montowała /mnt/Tank1/astrololo z subPath — i nie wstała:
# „failed to create subPath directory”. Powód był podwójny i oba razy
# ten sam brak: udział z bazami jest wyeksportowany `ro: true`
# z `root_squash` (DAN-25), więc (1) kubelet nie mógł utworzyć
# podkatalogu, a (2) gdyby nawet mógł, aplikacja i tak nie zapisałaby
# tam pliku kont.
#
# Osobny udział rozwiązuje to bez naruszania DAN-25: udział z bazami
# ZOSTAJE tylko do odczytu, a konta mają własne, małe miejsce.
# Przy okazji znika subPath, czyli znika potrzeba, żeby kubelet
# cokolwiek zakładał — katalog istnieje, bo jest korzeniem udziału.
- name: state
mountPath: /app/state
subPath: presentation-state
resources:
requests: { cpu: "100m", memory: "128Mi" }
limits: { cpu: "300m", memory: "256Mi" }
@@ -79,7 +87,9 @@ spec:
- name: state
nfs:
server: 192.168.1.34
path: /mnt/Tank1/astrololo
# Udział WYŁĄCZNIE na stan prezentacji (konta z PRE-27). Wymaga
# utworzenia na TrueNAS — patrz README-stan-prezentacji.md.
path: /mnt/Tank1/astrololo-state
---
apiVersion: v1
kind: Service