Compare commits

..

32 Commits

Author SHA1 Message Date
gitea e6050a14c4 feat(astrololo): Postgres jako lustro baz w SQL + runbook (DAN-28)
Manifest, wpięcie w kustomization i runbook krok po kroku.

DECYZJE ZAPISANE W MANIFEŚCIE, ŻEBY NIE TRZEBA ICH BYŁO ODTWARZAĆ Z GŁOWY:

local-path, NIE NFS. Postgres zakłada semantykę blokad i fsync, której NFS nie
gwarantuje — to klasyczne źródło uszkodzenia bazy przy nagłym restarcie. Ceną
jest przywiązanie do węzła; przy luście odtwarzalnym z Excela to akceptowalne.

strategy: Recreate. Wolumen jest ReadWriteOnce, a dwa procesy Postgresa na jednym
katalogu danych to uszkodzona baza — rolling próbowałby wstać z nowym podem,
zanim stary zejdzie.

PGDATA w PODKATALOGU wolumenu: katalog główny potrafi zawierać wpisy systemu
plików, a initdb odmawia pracy w niepustym katalogu.

Wersja PRZYPIĘTA i poza image-updaterem: podbicie majora wymaga migracji katalogu
danych, więc nie może się zdarzyć samo, w nocy, przy okazji builda aplikacji.

C.UTF-8 zamiast pl_PL.UTF-8: dopasowanie tekstu robimy przez unaccent i pg_trgm,
nie przez collation, a pl_PL wymagałby obrazu z wygenerowanymi lokalizacjami.

DATA_PROVIDER zostaje na `excel`. Postgres można wdrożyć i obejrzeć BEZ ryzyka
dla działającego wyszukiwania; przełączenie to osobna, późniejsza decyzja.

SPRAWDZONE PRZED ODDANIEM: `kubectl kustomize astrololo` składa komplet 21
zasobów bez błędu, YAML parsuje się poprawnie, audyt odwołań potwierdza, że
jedynym brakującym sekretem jest astrololo-postgres (oba klucze), a DSN
postgresql+psycopg:// jest rozpoznawany przez SQLAlchemy z psycopg 3.

NIE SPRAWDZONE: skrypt inicjalizujący nie biegł przeciwko prawdziwemu Postgresowi
— na maszynie, na której to powstawało, nie ma Dockera. Zapisane wprost
w runbooku; krok 4 jest tam prawdziwym testem.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-09 12:03:53 +02:00
argocd-image-updater ef837146af build: automatic update of astrololo
updates image gitea/astrololo-presentation tag 'baf4e0e3' to 'a8339659'
2026-08-07 13:55:15 +00:00
gitea 2e0fe2a9be feat(prezentacja): wolumen na konta zakładane z aplikacji (PRE-27)
Ekran „Konta" zapisuje konta do pliku, więc prezentacja potrzebuje trwałego
miejsca — inaczej wszystkie konta znikałyby przy restarcie poda.

subPath, NIE cały udział: prezentacja dostaje wyłącznie własny podkatalog
`presentation-state` i nie widzi baz interpretacyjnych. Zamontowanie tu całego
/mnt/Tank1/astrololo dałoby jej wgląd w bazy i obeszłoby bokiem zamknięcie
dostępu z DAN-25.

Konto administracyjne zostaje w APP_USER/APP_PASSWORD z sekretu — celowo poza
plikiem, żeby nie dało się go skasować ani ograniczyć z aplikacji.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-07 12:17:39 +00:00
argocd-image-updater 2ea4b70d27 build: automatic update of astrololo
updates image gitea/astrololo-data tag 'aec3f843' to 'baf4e0e3'
updates image gitea/astrololo-logic tag '8b6ecc72' to 'baf4e0e3'
updates image gitea/astrololo-presentation tag '8b6ecc72' to 'baf4e0e3'
2026-08-06 20:46:03 +00:00
argocd-image-updater de1293416f build: automatic update of astrololo
updates image gitea/astrololo-logic tag '21a00b00' to '8b6ecc72'
updates image gitea/astrololo-presentation tag '4d1daab3' to '8b6ecc72'
2026-08-06 14:24:09 +00:00
argocd-image-updater 48936ad289 build: automatic update of astrololo
updates image gitea/astrololo-logic tag '4d1daab3' to '21a00b00'
2026-08-06 11:43:28 +00:00
argocd-image-updater e5d5f2cab1 build: automatic update of astrololo
updates image gitea/astrololo-logic tag 'aec3f843' to '4d1daab3'
updates image gitea/astrololo-presentation tag 'aec3f843' to '4d1daab3'
2026-08-06 10:11:05 +00:00
argocd-image-updater ad0abb90e9 build: automatic update of astrololo
updates image gitea/astrololo-data tag '40f5e459' to 'aec3f843'
updates image gitea/astrololo-logic tag '1be57a47' to 'aec3f843'
updates image gitea/astrololo-presentation tag '40f5e459' to 'aec3f843'
updates image gitea/astrololo-render tag 'latest' to 'aec3f843'
2026-08-05 23:01:57 +00:00
argocd-image-updater 38c3cd3c4b build: automatic update of astrololo
updates image gitea/astrololo-data tag '40f5e459' to 'aec3f843'
updates image gitea/astrololo-render tag 'latest' to 'aec3f843'
2026-08-05 22:59:48 +00:00
argocd-image-updater 51f71a1292 build: automatic update of astrololo
updates image gitea/astrololo-logic tag '40f5e459' to '1be57a47'
2026-08-05 17:51:11 +00:00
argocd-image-updater 0ecd3de119 build: automatic update of astrololo
updates image gitea/astrololo-data tag 'e3114f3e' to '40f5e459'
updates image gitea/astrololo-logic tag '86a0f16f' to '40f5e459'
updates image gitea/astrololo-presentation tag 'e3114f3e' to '40f5e459'
2026-08-05 10:13:25 +00:00
argocd-image-updater aaff9d6b3a build: automatic update of astrololo
updates image gitea/astrololo-data tag 'e3114f3e' to '40f5e459'
2026-08-05 10:11:22 +00:00
argocd-image-updater cb5315e4e5 build: automatic update of astrololo
updates image gitea/astrololo-logic tag 'e3114f3e' to '86a0f16f'
2026-08-04 20:30:28 +00:00
argocd-image-updater ef37a3f628 build: automatic update of astrololo
updates image gitea/astrololo-data tag 'bc80745a' to 'e3114f3e'
updates image gitea/astrololo-logic tag 'bc80745a' to 'e3114f3e'
updates image gitea/astrololo-presentation tag 'bc80745a' to 'e3114f3e'
2026-08-04 17:55:48 +00:00
argocd-image-updater 8222129d71 build: automatic update of astrololo
updates image gitea/astrololo-data tag '70c83cfc' to 'bc80745a'
updates image gitea/astrololo-logic tag '70c83cfc' to 'bc80745a'
updates image gitea/astrololo-presentation tag '70c83cfc' to 'bc80745a'
2026-08-04 16:25:17 +00:00
gitea abc0f98034 sec(astrololo): pody bez tokenu konta serwisowego (LOG-33)
Wszystkie cztery usługi biegły na koncie `default` z AUTOMATYCZNIE montowanym
tokenem API Kubernetesa. Żadna z nich nie rozmawia z API klastra — sekrety dostają
przez `secretKeyRef`, który wstrzykuje kubelet, nie pod. Token był więc zbędny,
a leżał w każdym kontenerze jako gotowy punkt wyjścia do klastra dla kogoś, kto
przejmie proces (np. przez lukę w zależności).

`automountServiceAccountToken: false` w szablonie poda data/logic/presentation/
render. Zweryfikowane `kubectl kustomize` — pole trafia do `.spec.template.spec`,
nie do specu Deploymentu (tam byłoby ciche i bez efektu).

Zero wpływu na działanie: nic w kodzie nie woła API Kubernetesa.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-08-04 17:08:39 +02:00
argocd-image-updater 71b9fe0842 build: automatic update of conjurer
updates image gitea/conjurer-librarian tag '9f22dbf9' to 'ae1bd677'
2026-08-04 13:18:01 +00:00
argocd-image-updater 261b41240d build: automatic update of conjurer
updates image gitea/conjurer-librarian tag 'fbd1ec9f' to '9f22dbf9'
2026-08-04 11:43:36 +00:00
argocd-image-updater de4d41808a build: automatic update of astrololo
updates image gitea/astrololo-data tag '4c1e7f88' to '70c83cfc'
updates image gitea/astrololo-logic tag '4c1e7f88' to '70c83cfc'
updates image gitea/astrololo-presentation tag '4c1e7f88' to '70c83cfc'
2026-08-04 10:59:11 +00:00
argocd-image-updater b9289c4f8c build: automatic update of astrololo
updates image gitea/astrololo-data tag 'dd32f7e8' to '4c1e7f88'
updates image gitea/astrololo-logic tag 'dd32f7e8' to '4c1e7f88'
updates image gitea/astrololo-presentation tag 'd3d9b365' to '4c1e7f88'
2026-08-04 10:29:00 +00:00
argocd-image-updater 536b2bbbbb build: automatic update of astrololo
updates image gitea/astrololo-presentation tag 'dd32f7e8' to 'd3d9b365'
2026-08-03 23:04:28 +00:00
argocd-image-updater e2af5e331e build: automatic update of astrololo
updates image gitea/astrololo-data tag '78af6d47' to 'dd32f7e8'
updates image gitea/astrololo-logic tag '7b435d42' to 'dd32f7e8'
updates image gitea/astrololo-presentation tag '7b435d42' to 'dd32f7e8'
2026-08-03 22:34:20 +00:00
argocd-image-updater 1a02704422 build: automatic update of astrololo
updates image gitea/astrololo-data tag 'b36b3bee' to '78af6d47'
2026-08-03 20:33:52 +00:00
argocd-image-updater 91890b701e build: automatic update of astrololo
updates image gitea/astrololo-logic tag 'b36b3bee' to '7b435d42'
updates image gitea/astrololo-presentation tag 'a9f2a038' to '7b435d42'
2026-08-03 19:38:53 +00:00
gitea 597cbd40f8 conjurer: deploy bot on its own [deploy]-gated image channel
The production bot now tracks conjurer-bot-deploy instead of conjurer-bot,
so it updates only when the conjurer CI promotes a build (commit message
contains [deploy]). Adds the image-updater 'deploy-bot' alias and the
kustomization images entry for it; DEPLOY-BOT.md documents the channel and
the one-time bootstrap. Test bot + librarian keep tracking every build.

Pairs with conjurer#20 (the CI promotion step).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-08-03 21:11:36 +02:00
argocd-image-updater 6983814a5c build: automatic update of conjurer
updates image gitea/conjurer-librarian tag 'f4dea535' to 'fbd1ec9f'
updates image gitea/conjurer-bot tag 'f4dea535' to 'fbd1ec9f'
2026-08-03 18:46:40 +00:00
argocd-image-updater cc3c2b512d build: automatic update of conjurer
updates image gitea/conjurer-librarian tag 'd4c6d78c' to 'f4dea535'
updates image gitea/conjurer-bot tag 'd4c6d78c' to 'f4dea535'
2026-08-03 18:38:32 +00:00
argocd-image-updater 4d8ca6f4fd build: automatic update of conjurer
updates image gitea/conjurer-bot tag 'ac16b77f' to 'd4c6d78c'
2026-08-03 17:50:23 +00:00
argocd-image-updater 311d5ae071 build: automatic update of conjurer
updates image gitea/conjurer-librarian tag 'ac16b77f' to 'd4c6d78c'
2026-08-03 17:48:20 +00:00
gitea 5b6040c60d conjurer: add CONJURER_SELF_CALLBACK to both bots (per-origin librarian answers)
Pairs with conjurer#18: each bot advertises its own callback so the shared
librarian answers results/pongs back to the bot that asked - test bot
http://192.168.1.73:32442, deploy bot :32443. No CONJURER_MAIN_BOT
repointing needed for the librarian anymore; DEPLOY-BOT.md updated (only
the musician stays single-target).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-08-03 17:47:32 +00:00
gitea 358356a1b1 conjurer: add production ('deploy') bot + data seeding/backup
A second Conjurer bot alongside the test one, sharing librarian/musician/
radio and the API key, differing only in:
 * Discord token from the deploy-conjurer-netrc secret,
 * distinct names/labels (deploy-bot) and NodePort 32443,
 * /data on an NFS export (RWX) instead of a block PVC - so config/state
   can be uploaded while it runs (copy onto the share) and backed up
   concurrently.

deploy-bot-backup: a daily CronJob that mirrors /data and keeps 30 days of
dated snapshots of the critical small state (both memories, settings,
accident log, transcripts) on NFS. Production only - the test bot's
amnesia is fine. DEPLOY-BOT.md documents seeding, backup/restore, and the
librarian/musician callback routing (they push to one bot; repoint
CONJURER_MAIN_BOT to :32443 to feed this one).

kubectl kustomize builds cleanly (10 objects).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-08-03 17:47:32 +00:00
argocd-image-updater 71133be104 build: automatic update of astrololo
updates image gitea/astrololo-presentation tag 'b36b3bee' to 'a9f2a038'
2026-08-03 16:52:05 +00:00
10 changed files with 508 additions and 16 deletions
+284
View File
@@ -0,0 +1,284 @@
# Postgres — lustro baz w SQL (DAN-28)
Runbook krok po kroku. Zakłada, że nie pamiętasz nic z rozmowy, w której to
powstało.
---
## Co to jest — i czego to NIE jest
Postgres trzyma **lustro** plików Excela, żeby wyszukiwanie było szybsze i mądrzejsze.
> **ŹRÓDŁEM PRAWDY SĄ PLIKI EXCELA NA NFS.** Utrata tej bazy **nie jest utratą
> danych** — odbudowuje się z plików. Dlatego kopie zapasowe Postgresa są tu
> **opcjonalne**, a wolumen stoi na `local-path` zamiast na NFS.
Po co w ogóle Postgres, skoro danych jest mało (~54 tys. wierszy)? Nie dla skali —
przy takim rozmiarze SQLite bywa szybszy. Dla **wyszukiwania w polskim,
nieznormalizowanym tekście**: `pg_trgm` (dopasowanie mimo literówek) i `unaccent`
(ogonki) nie mają w SQLite taniego zamiennika.
---
## Część 1 — co zrobiłem za Ciebie (w repo)
Nic z tego nie wymaga Twojej ręki, ale wiedz, co jest gdzie:
| plik | co w nim jest |
|---|---|
| `astrololo/postgres.yaml` | PVC (5 Gi, `local-path`), ConfigMap z SQL-em inicjalizującym, Deployment (`Recreate`), Service `ClusterIP` |
| `astrololo/kustomization.yaml` | `postgres.yaml` dopisany **przed** `data.yaml` |
| `astrololo/data.yaml` | `SQL_URL` z sekretu; `DATA_PROVIDER` **zostaje `excel`** |
| repo aplikacji: `services/data/requirements.txt` | sterownik `psycopg[binary]` |
Decyzje, które w tych plikach zapadły — żeby nie trzeba było ich odtwarzać z głowy:
* **`local-path`, nie NFS.** Postgres zakłada semantykę blokad i `fsync`, której NFS
nie gwarantuje — to klasyczne źródło uszkodzenia bazy przy nagłym restarcie.
Ceną jest przywiązanie do węzła; przy luście odtwarzalnym z Excela to nie boli.
* **`strategy: Recreate`.** Wolumen jest `ReadWriteOnce`, a dwa procesy Postgresa
na jednym katalogu danych to uszkodzona baza. Rolling próbowałby wstać z nowym
podem, zanim stary zejdzie.
* **`PGDATA` w podkatalogu** (`…/data/pgdata`). Katalog główny wolumenu potrafi
zawierać wpisy systemu plików, a `initdb` odmawia pracy w niepustym katalogu.
* **Wersja przypięta (`postgres:17`) i POZA image-updaterem.** Podbicie majora
wymaga migracji katalogu danych — nie może się zdarzyć samo, w nocy, przy okazji
builda aplikacji.
* **`DATA_PROVIDER` zostaje na `excel`.** Postgres można wdrożyć i obejrzeć **bez
żadnego ryzyka** dla działającego wyszukiwania. Przełączenie na `sql` to osobna,
późniejsza decyzja — po wdrożeniu lustra.
---
## Część 2 — co musisz zrobić Ty
### Krok 0. Sprawdź, że klaster ma `local-path`
```bash
kubectl get storageclass
```
Oczekiwany wynik: linia z `local-path` i dopiskiem `(default)`. W k3s jest
domyślnie. **Jeśli jej nie ma — zatrzymaj się tutaj** i daj znać; bez niej PVC
zawiśnie w `Pending`.
### Krok 1. Utwórz sekret `astrololo-postgres`
Ta sama konwencja co `astrololo-auth`: **sekretu nie ma w repo**, bo to repo
GitOps i cokolwiek by tu wpadło, zostałoby w historii gita na zawsze.
```bash
PGPASS="$(openssl rand -base64 24 | tr -d '/+=' | head -c 32)"
kubectl -n astrololo create secret generic astrololo-postgres \
--from-literal=POSTGRES_PASSWORD="$PGPASS" \
--from-literal=SQL_URL="postgresql+psycopg://astrololo:${PGPASS}@postgres:5432/astrololo"
unset PGPASS
```
Hasła **nie musisz nigdzie zapisywać ani nigdy oglądać** — używają go tylko usługi
między sobą. Gdybyś kiedyś go potrzebował:
```bash
kubectl -n astrololo get secret astrololo-postgres \
-o jsonpath='{.data.POSTGRES_PASSWORD}' | base64 -d; echo
```
> **Dlaczego dwa klucze, skoro hasło jest w obu?** `POSTGRES_PASSWORD` czyta sam
> Postgres przy inicjalizacji, `SQL_URL` czyta warstwa danych. Rozdzielone, bo to
> dwa różne formaty i dwóch różnych odbiorców — sklejanie DSN-a w manifeście
> wymagałoby wstawienia tam hasła.
### Krok 2. Wdróż
Jeśli ArgoCD pilnuje katalogu `astrololo`, wystarczy **zmergować PR** — reszta
zrobi się sama. Ręcznie:
```bash
kubectl apply -k astrololo
```
### Krok 3. Sprawdź, że wstało
```bash
kubectl -n astrololo rollout status deploy/postgres
kubectl -n astrololo get pvc postgres-data
```
Oczekiwane: `deployment "postgres" successfully rolled out` i PVC w stanie `Bound`.
### Krok 4. Sprawdź, że rozszerzenia się założyły
To jest **najważniejszy sprawdzian tego wdrożenia** — bez tych rozszerzeń cały
sens stawiania Postgresa znika.
```bash
kubectl -n astrololo exec deploy/postgres -- \
psql -U astrololo -d astrololo -c "\dx"
```
Na liście muszą być **`pg_trgm`** i **`unaccent`**. Sprawdź też, że działają:
```bash
kubectl -n astrololo exec deploy/postgres -- psql -U astrololo -d astrololo -c \
"SELECT unaccent('różdżka') AS bez_ogonkow,
similarity(unaccent('różdżka'), 'rozdzka') AS po_zdjeciu_ogonkow,
similarity('kowalski', 'kowlaski') > 0.3 AS literowka_lapana;"
```
Oczekiwane **dokładnie**:
```
bez_ogonkow | po_zdjeciu_ogonkow | literowka_lapana
-------------+--------------------+------------------
rozdzka | 1 | t
```
Pierwsza kolumna pokazuje, że `unaccent` zna polskie znaki; druga, że po zdjęciu
ogonków słowa są **identyczne** (stąd równo `1`); trzecia, że `pg_trgm` łapie
przestawione litery. Jeśli druga kolumna nie jest równa `1`, rozszerzenia są, ale
reguły `unaccent` nie obsługują polskich znaków — daj znać, bo to zmienia sposób
budowania indeksów.
### Krok 5. Sprawdź, że warstwa danych ma połączenie
```bash
kubectl -n astrololo rollout restart deploy/data
kubectl -n astrololo rollout status deploy/data
kubectl -n astrololo logs deploy/data --tail=30 | grep -i -E "sql|postgres|error" || echo "brak wzmianek — OK"
```
Na tym etapie warstwa danych **nadal czyta Excela** (`DATA_PROVIDER=excel`).
Postgres tylko stoi i czeka. Aplikacja ma działać dokładnie jak przedtem —
i to jest oczekiwany wynik tego wdrożenia.
---
## Część 3 — obsługa na co dzień
### Zajrzeć do bazy
```bash
kubectl -n astrololo exec -it deploy/postgres -- psql -U astrololo -d astrololo
```
Przydatne w środku: `\dt mirror.*` (tabele lustra), `\dx` (rozszerzenia),
`\l` (bazy), `\q` (wyjście).
### Podłączyć narzędzie graficzne z laptopa
Baza **celowo nie jest wystawiona poza klaster**. Na czas jednej sesji:
```bash
kubectl -n astrololo port-forward deploy/postgres 5432:5432
```
i łączysz się na `localhost:5432`, użytkownik `astrololo`, baza `astrololo`,
hasło jak w kroku 1. Po zamknięciu terminala tunel znika.
### Dodanie rozszerzenia do ISTNIEJĄCEJ bazy
> ⚠️ **Pułapka.** Skrypty z `/docker-entrypoint-initdb.d/` uruchamiają się
> **wyłącznie przy pierwszej inicjalizacji**, na pustym katalogu danych. Dopisanie
> rozszerzenia do ConfigMapy **nie zrobi nic**, jeśli baza już istnieje.
```bash
kubectl -n astrololo exec deploy/postgres -- \
psql -U astrololo -d astrololo -c "CREATE EXTENSION IF NOT EXISTS nazwa;"
```
### Kopia zapasowa (opcjonalna — patrz nagłówek)
```bash
kubectl -n astrololo exec deploy/postgres -- \
pg_dump -U astrololo -d astrololo -Fc > astrololo-$(date +%F).dump
```
Odtworzenie:
```bash
kubectl -n astrololo exec -i deploy/postgres -- \
pg_restore -U astrololo -d astrololo --clean --if-exists < astrololo-2026-08-06.dump
```
### Wyczyścić lustro i wczytać od nowa
```bash
kubectl -n astrololo exec deploy/postgres -- psql -U astrololo -d astrololo -c \
"DROP SCHEMA mirror CASCADE; CREATE SCHEMA mirror;"
```
Po tym warstwa danych odbuduje lustro z plików Excela (gdy lustro będzie już
zaimplementowane — dziś ta komenda tylko czyści pusty schemat).
### Podbicie wersji Postgresa
**Nie robi się tego przez zmianę tagu w manifeście.** Major wymaga migracji
katalogu danych. Ponieważ to lustro:
1. `kubectl -n astrololo scale deploy/data --replicas=0`
2. skasuj Deployment i **PVC** (`kubectl -n astrololo delete deploy/postgres pvc/postgres-data`)
3. zmień tag obrazu w `postgres.yaml`, wdróż ponownie
4. `kubectl -n astrololo scale deploy/data --replicas=1` — lustro odbuduje się z Excela
To jest właśnie ta sytuacja, w której „lustro, nie źródło prawdy" oszczędza dzień
pracy.
---
## Co zostało sprawdzone przed oddaniem, a co nie
**Sprawdzone:** `kubectl kustomize astrololo` składa komplet 21 zasobów bez błędu;
YAML wszystkich manifestów parsuje się poprawnie; audyt odwołań do sekretów
potwierdza, że jedyne brakujące to `astrololo-postgres` (oba klucze); DSN
`postgresql+psycopg://…` jest poprawnie rozpoznawany przez SQLAlchemy 2.0
z zainstalowanym `psycopg` 3.
**NIE sprawdzone, bo nie było na czym:** skrypt inicjalizujący nie został
uruchomiony przeciwko prawdziwemu Postgresowi (na maszynie, na której to
powstawało, nie ma Dockera). Składnia jest prosta i przejrzana, ale **krok 4 jest
tu prawdziwym testem** — jeśli coś ma nie zadziałać, to właśnie tam.
---
## Część 4 — typowe problemy
| objaw | przyczyna | co zrobić |
|---|---|---|
| PVC wisi w `Pending` | brak `local-path` albo brak miejsca na węźle | `kubectl get storageclass`, `kubectl describe pvc postgres-data` |
| pod w `CrashLoopBackOff`, w logach `directory not empty` | `PGDATA` wskazuje katalog główny wolumenu | sprawdź, czy `PGDATA` to `…/data/pgdata` (jest w manifeście) |
| pod nie startuje, `secret not found` | nie wykonany krok 1 | utwórz sekret i `kubectl -n astrololo rollout restart deploy/postgres` |
| `\dx` nie pokazuje `pg_trgm` | baza założona przed dodaniem ConfigMapy | patrz „Dodanie rozszerzenia do istniejącej bazy" |
| warstwa danych: `ModuleNotFoundError: psycopg` | obraz zbudowany przed dodaniem sterownika | poczekaj na build z CI albo `kubectl -n astrololo rollout restart deploy/data` po nowym obrazie |
| `password authentication failed` | `SQL_URL` w sekrecie nie zgadza się z `POSTGRES_PASSWORD` | odtwórz sekret krokiem 1 (oba klucze naraz) i zrestartuj **oba** deploymenty |
Gdy nic nie pasuje — pierwsze dwie komendy do wklejenia:
```bash
kubectl -n astrololo describe pod -l app=postgres | tail -30
kubectl -n astrololo logs deploy/postgres --tail=50
```
---
## Część 5 — pełne odtworzenie ręczne, bez ArgoCD i bez repo
Gdyby trzeba było postawić to od zera na czystym klastrze:
```bash
kubectl create namespace astrololo
PGPASS="$(openssl rand -base64 24 | tr -d '/+=' | head -c 32)"
kubectl -n astrololo create secret generic astrololo-postgres \
--from-literal=POSTGRES_PASSWORD="$PGPASS" \
--from-literal=SQL_URL="postgresql+psycopg://astrololo:${PGPASS}@postgres:5432/astrololo"
unset PGPASS
kubectl apply -f astrololo/postgres.yaml
kubectl -n astrololo rollout status deploy/postgres
kubectl -n astrololo exec deploy/postgres -- psql -U astrololo -d astrololo -c "\dx"
```
Reszta aplikacji wymaga jeszcze sekretów `astrololo-auth` i `astrololo-link`
patrz [README.md](README.md).
+9
View File
@@ -23,6 +23,15 @@ Ten plik **celowo nie jest w `kustomization.yaml`**: resource stoi w ns `argocd`
(poza namespace docelowym aplikacji), a to konfiguracja kontrolera, który wdraża tę (poza namespace docelowym aplikacji), a to konfiguracja kontrolera, który wdraża tę
aplikację — nakładamy go ręcznie, w repo trzymamy dla odtwarzalności i historii. aplikację — nakładamy go ręcznie, w repo trzymamy dla odtwarzalności i historii.
## Postgres — lustro baz w SQL (DAN-28)
Osobny runbook: **[README-postgres.md](README-postgres.md)** — co zrobiono w repo,
co musisz zrobić ręcznie (sekret `astrololo-postgres`), jak sprawdzić rozszerzenia
`pg_trgm`/`unaccent` i jak odtworzyć całość bez ArgoCD.
Postgres trzyma LUSTRO plików Excela, nie źródło prawdy — jego utrata nie jest
utratą danych, więc kopie zapasowe są opcjonalne.
## ⚠️ Sekret `astrololo-auth` — utwórz PRZED wdrożeniem ## ⚠️ Sekret `astrololo-auth` — utwórz PRZED wdrożeniem
Aplikacja wystawia treść **oryginalnych baz interpretacyjnych**, dlatego wymaga Aplikacja wystawia treść **oryginalnych baz interpretacyjnych**, dlatego wymaga
+14
View File
@@ -9,6 +9,10 @@ spec:
template: template:
metadata: { labels: { app: data } } metadata: { labels: { app: data } }
spec: spec:
# LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
# serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
# punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
automountServiceAccountToken: false
imagePullSecrets: [{ name: gitea-registry }] imagePullSecrets: [{ name: gitea-registry }]
containers: containers:
- name: data - name: data
@@ -40,6 +44,16 @@ spec:
# zdążyłby wypuścić zapytanie jawnym tekstem, zanim dostanie odmowę. # zdążyłby wypuścić zapytanie jawnym tekstem, zanim dostanie odmowę.
- name: LINK_ENCRYPTION_REQUIRED - name: LINK_ENCRYPTION_REQUIRED
value: "true" value: "true"
# Lustro baz w SQL (DAN-28). DSN w SEKRECIE, bo niesie hasło —
# w manifeście zostałoby w historii gita na zawsze.
#
# Sam adres nie przełącza jeszcze warstwy na SQL: o tym decyduje
# DATA_PROVIDER, które celowo zostaje na `excel`, dopóki lustro nie
# jest zaimplementowane i sprawdzone. Dzięki temu Postgres można
# wdrożyć i obejrzeć BEZ ryzyka dla działającego wyszukiwania.
- name: SQL_URL
valueFrom:
secretKeyRef: { name: astrololo-postgres, key: SQL_URL }
volumeMounts: volumeMounts:
- name: cache - name: cache
mountPath: /app/.cache mountPath: /app/.cache
+5 -4
View File
@@ -2,6 +2,7 @@ apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization kind: Kustomization
resources: resources:
- namespace.yaml - namespace.yaml
- postgres.yaml # lustro baz Excela w SQL (DAN-28) — sekret astrololo-postgres POZA repo
- data.yaml - data.yaml
- logic.yaml - logic.yaml
- presentation.yaml - presentation.yaml
@@ -10,10 +11,10 @@ resources:
- ingress.yaml # wejście po https + przekierowanie z http - ingress.yaml # wejście po https + przekierowanie z http
images: images:
- name: gitea.czernobog.pl/gitea/astrololo-data - name: gitea.czernobog.pl/gitea/astrololo-data
newTag: b36b3bee newTag: baf4e0e3
- name: gitea.czernobog.pl/gitea/astrololo-logic - name: gitea.czernobog.pl/gitea/astrololo-logic
newTag: b36b3bee newTag: baf4e0e3
- name: gitea.czernobog.pl/gitea/astrololo-render - name: gitea.czernobog.pl/gitea/astrololo-render
newTag: latest newTag: aec3f843
- name: gitea.czernobog.pl/gitea/astrololo-presentation - name: gitea.czernobog.pl/gitea/astrololo-presentation
newTag: b36b3bee newTag: a8339659
+4
View File
@@ -9,6 +9,10 @@ spec:
template: template:
metadata: { labels: { app: logic } } metadata: { labels: { app: logic } }
spec: spec:
# LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
# serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
# punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
automountServiceAccountToken: false
imagePullSecrets: [{ name: gitea-registry }] imagePullSecrets: [{ name: gitea-registry }]
containers: containers:
- name: logic - name: logic
+150
View File
@@ -0,0 +1,150 @@
# Postgres — lustro baz Excela w SQL (DAN-28).
#
# DLACZEGO POSTGRES, A NIE SQLITE. Nie ze względu na skalę: dzisiejszy zbiór to
# ~54 tys. wierszy, przy których SQLite bywa szybszy. Powodem jest WYSZUKIWANIE
# w nieznormalizowanym, polskim tekście — `pg_trgm` (dopasowanie rozmyte, literówki)
# i `unaccent` (ogonki) nie mają w SQLite taniego zamiennika, a to jest główna
# funkcja programu, nie dodatek. Drugi powód: `pg_advisory_lock` sprawia, że model
# sesji z atomowym commitem przestaje zakładać „jedna replika na zawsze".
#
# TO LUSTRO, NIE ŹRÓDŁO PRAWDY. Źródłem są pliki Excela na NFS. Utrata tej bazy
# NIE JEST utratą danych — odbudowuje się z plików. Dlatego kopie zapasowe są tu
# OPCJONALNE, a wolumen może stać na local-path.
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: postgres-data
namespace: astrololo
spec:
accessModes: [ReadWriteOnce]
# local-path (domyślny provisioner k3s), NIE NFS. Postgres zakłada semantykę
# blokad i fsync, której NFS nie gwarantuje — to klasyczne źródło uszkodzenia
# bazy przy nagłym restarcie. Ceną jest przywiązanie do węzła; przy luście
# odtwarzalnym z Excela to akceptowalne.
storageClassName: local-path
resources:
requests:
storage: 5Gi
---
apiVersion: v1
kind: ConfigMap
metadata:
name: postgres-init
namespace: astrololo
data:
# UWAGA: skrypty z /docker-entrypoint-initdb.d/ uruchamiają się WYŁĄCZNIE przy
# pierwszej inicjalizacji, na pustym katalogu danych. Dopisanie tu rozszerzenia
# PO utworzeniu bazy nic nie zrobi — trzeba je wtedy założyć ręcznie (patrz
# README-postgres.md, sekcja „Dodanie rozszerzenia do istniejącej bazy").
01-extensions.sql: |
-- Dopasowanie rozmyte: similarity(), operator %, indeksy GIN po trigramach.
-- To jest powód, dla którego stoi tu Postgres, a nie SQLite.
CREATE EXTENSION IF NOT EXISTS pg_trgm;
-- Zdejmowanie ogonków: „różdżka" ma się znaleźć na „rozdzka".
CREATE EXTENSION IF NOT EXISTS unaccent;
-- Schemat na lustro. Osobny, żeby purge i odbudowa nie musiały ruszać
-- niczego w `public` i żeby `DROP SCHEMA mirror CASCADE` był bezpiecznym
-- „wyczyść wszystko i wczytaj od nowa".
CREATE SCHEMA IF NOT EXISTS mirror;
-- Rejestr luster: co, z jakiego pliku, o jakim skrócie i kiedy wczytane.
-- Zgodność pliku z tabelą poznajemy po sha256 — nazwa pliku nie wystarcza,
-- bo treść potrafi się zmienić bez zmiany nazwy.
CREATE TABLE IF NOT EXISTS mirror.registry (
table_name text PRIMARY KEY,
source_path text NOT NULL UNIQUE,
sha256 text NOT NULL,
row_count integer NOT NULL DEFAULT 0,
loaded_at timestamptz NOT NULL DEFAULT now(),
active boolean NOT NULL DEFAULT false
);
CREATE INDEX IF NOT EXISTS registry_active_idx ON mirror.registry (active);
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: postgres
namespace: astrololo
spec:
replicas: 1
# Recreate, NIE RollingUpdate: wolumen jest ReadWriteOnce, a dwa procesy
# Postgresa na jednym katalogu danych to uszkodzona baza. Rolling próbowałby
# wstać z nowym podem, zanim stary zejdzie.
strategy:
type: Recreate
selector:
matchLabels: { app: postgres }
template:
metadata:
labels: { app: postgres }
spec:
containers:
- name: postgres
# Wersja PRZYPIĘTA i celowo poza image-updaterem: podbicie majora
# Postgresa wymaga migracji katalogu danych, więc nie może się zdarzyć
# samo, w nocy, przy okazji builda aplikacji.
image: postgres:17
ports: [{ containerPort: 5432, name: postgres }]
env:
- name: POSTGRES_DB
value: astrololo
- name: POSTGRES_USER
value: astrololo
- name: POSTGRES_PASSWORD
valueFrom:
secretKeyRef: { name: astrololo-postgres, key: POSTGRES_PASSWORD }
# PGDATA w PODKATALOGU montowanego wolumenu. Katalog główny wolumenu
# potrafi zawierać wpisy systemu plików (np. lost+found), a initdb
# odmawia inicjalizacji w niepustym katalogu.
- name: PGDATA
value: /var/lib/postgresql/data/pgdata
# C.UTF-8 zamiast pl_PL.UTF-8: dopasowanie tekstu robimy przez
# unaccent i pg_trgm, nie przez collation, a locale pl_PL wymagałoby
# obrazu z wygenerowanymi lokalizacjami. Gdyby kiedyś potrzebne było
# polskie SORTOWANIE, dokłada się collation ICU na konkretnej kolumnie.
- name: POSTGRES_INITDB_ARGS
value: "--encoding=UTF8 --locale=C.UTF-8"
volumeMounts:
- name: data
mountPath: /var/lib/postgresql/data
- name: init
mountPath: /docker-entrypoint-initdb.d
readOnly: true
# pg_isready, nie zwykły TCP: gniazdo słucha, zanim baza przyjmuje
# zapytania, więc sonda po porcie przepuściłaby ruch za wcześnie.
readinessProbe:
exec:
command: ["pg_isready", "-U", "astrololo", "-d", "astrololo", "-q"]
initialDelaySeconds: 5
periodSeconds: 5
livenessProbe:
exec:
command: ["pg_isready", "-U", "astrololo", "-d", "astrololo", "-q"]
initialDelaySeconds: 30
periodSeconds: 20
failureThreshold: 6
resources:
requests: { cpu: "100m", memory: "256Mi" }
limits: { cpu: "1000m", memory: "1Gi" }
volumes:
- name: data
persistentVolumeClaim:
claimName: postgres-data
- name: init
configMap:
name: postgres-init
---
apiVersion: v1
kind: Service
metadata:
name: postgres
namespace: astrololo
spec:
# ClusterIP i tylko ClusterIP. Baza nie ma żadnego powodu być widoczna poza
# klastrem; dostęp z zewnątrz robi się przez `kubectl port-forward` na czas
# jednej sesji (patrz README-postgres.md).
type: ClusterIP
selector: { app: postgres }
ports: [{ port: 5432, targetPort: 5432 }]
+21
View File
@@ -9,6 +9,10 @@ spec:
template: template:
metadata: { labels: { app: presentation } } metadata: { labels: { app: presentation } }
spec: spec:
# LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
# serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
# punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
automountServiceAccountToken: false
imagePullSecrets: [{ name: gitea-registry }] imagePullSecrets: [{ name: gitea-registry }]
containers: containers:
- name: presentation - name: presentation
@@ -56,9 +60,26 @@ spec:
secretKeyRef: { name: astrololo-link, key: LINK_KEY_PRESENTATION_RENDER } secretKeyRef: { name: astrololo-link, key: LINK_KEY_PRESENTATION_RENDER }
- name: LINK_ENCRYPTION_REQUIRED - name: LINK_ENCRYPTION_REQUIRED
value: "true" value: "true"
# Konta zakładane z ekranu „Konta" (PRE-26). Konto administracyjne
# zostaje w APP_USER/APP_PASSWORD powyżej — celowo, bo dzięki temu
# NIE DA SIĘ go skasować ani ograniczyć z aplikacji.
- name: ACCOUNTS_FILE
value: "/app/state/accounts.json"
volumeMounts:
# subPath, NIE cały udział: prezentacja dostaje wyłącznie własny
# podkatalog i nie widzi baz interpretacyjnych. Zamontowanie tu całego
# /mnt/Tank1/astrololo obeszłoby bokiem zamknięcie dostępu z DAN-25.
- name: state
mountPath: /app/state
subPath: presentation-state
resources: resources:
requests: { cpu: "100m", memory: "128Mi" } requests: { cpu: "100m", memory: "128Mi" }
limits: { cpu: "300m", memory: "256Mi" } limits: { cpu: "300m", memory: "256Mi" }
volumes:
- name: state
nfs:
server: 192.168.1.34
path: /mnt/Tank1/astrololo
--- ---
apiVersion: v1 apiVersion: v1
kind: Service kind: Service
+4
View File
@@ -19,6 +19,10 @@ spec:
template: template:
metadata: { labels: { app: render } } metadata: { labels: { app: render } }
spec: spec:
# LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
# serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
# punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
automountServiceAccountToken: false
imagePullSecrets: [{ name: gitea-registry }] imagePullSecrets: [{ name: gitea-registry }]
containers: containers:
- name: render - name: render
+11 -9
View File
@@ -23,17 +23,19 @@ bytes). The image-updater's `deploy-bot` alias then bumps this bot's tag.
So: normal commits update the test bot + librarian; a commit with `[deploy]` in So: normal commits update the test bot + librarian; a commit with `[deploy]` in
its message is the one that also rolls the production bot. its message is the one that also rolls the production bot.
**Bootstrap (first run):** `conjurer-bot-deploy` doesn't exist until the first **Already bootstrapped:** the channel was seeded by the first `[deploy]` commit
`[deploy]` build. Either land one commit with `[deploy]` in the message, or seed (the merge of conjurer#20), which promoted `conjurer-bot-deploy:fbd1ec9f` the
it once by hand: tag pinned in `kustomization.yaml`. From here the image-updater keeps it current
on each future `[deploy]` commit. Note the librarian is shared and still tracks
latest, so mind large bot⇄librarian version skews.
If you ever need to seed a tag by hand:
```bash ```bash
docker pull gitea.czernobog.pl/gitea/conjurer-bot:ac16b77f docker pull gitea.czernobog.pl/gitea/conjurer-bot:<sha>
docker tag gitea.czernobog.pl/gitea/conjurer-bot:ac16b77f \ docker tag gitea.czernobog.pl/gitea/conjurer-bot:<sha> \
gitea.czernobog.pl/gitea/conjurer-bot-deploy:ac16b77f gitea.czernobog.pl/gitea/conjurer-bot-deploy:<sha>
docker push gitea.czernobog.pl/gitea/conjurer-bot-deploy:ac16b77f docker push gitea.czernobog.pl/gitea/conjurer-bot-deploy:<sha>
``` ```
(match the tag in `kustomization.yaml`). Note the librarian is shared, so it
still tracks latest — mind large bot⇄librarian version skews.
## One-time setup ## One-time setup
+6 -3
View File
@@ -8,9 +8,12 @@ resources:
- deploy-bot-backup.yaml - deploy-bot-backup.yaml
images: images:
- name: gitea.czernobog.pl/gitea/conjurer-librarian - name: gitea.czernobog.pl/gitea/conjurer-librarian
newTag: ac16b77f newTag: ae1bd677
- name: gitea.czernobog.pl/gitea/conjurer-bot - name: gitea.czernobog.pl/gitea/conjurer-bot
newTag: ac16b77f newTag: fbd1ec9f
# Production bot channel - only bumped when a [deploy]-tagged build appears. # Production bot channel - only bumped when a [deploy]-tagged build appears.
# Bootstrapped to fbd1ec9f: that's the image the first [deploy] build (merge
# of conjurer#20) promoted to conjurer-bot-deploy. From here the image-updater
# keeps it current across future [deploy] commits.
- name: gitea.czernobog.pl/gitea/conjurer-bot-deploy - name: gitea.czernobog.pl/gitea/conjurer-bot-deploy
newTag: ac16b77f newTag: fbd1ec9f