docs(nfs): po zmianie eksportu rollout restart nie wystarcza

Najdroższy czasowo moment pierwszego wdrożenia, więc zapisany wprost.

FAKT: eksport poprawiony (mapall_user), usługa NFS zrestartowana, pod
zrestartowany przez `rollout restart` — a zapis z poda nadal odbijał się
o Permission denied. Jednocześnie ręczne zamontowanie TEGO SAMEGO eksportu
z TEGO SAMEGO węzła pozwalało pisać.

HIPOTEZA (niepotwierdzona u źródła): jądro współdzieli strukturę montowania NFS
między montowania tego samego eksportu na węźle, razem z cache odpowiedzi ACCESS.
`rollout restart` zostawia stary i nowy pod na chwilę współistniejące — widać to
w jego własnym logu jako „1 old replicas are pending termination" — więc
montowanie ani na moment nie zostaje bez użytkownika i nowy pod dziedziczy
odpowiedź sprzed zmiany.

ROZWIĄZANIE (zweryfikowane): zejść do zera replik, poczekać na zniknięcie podów,
wrócić do jednej. W ArgoCD ten sam skutek daje force delete poda.

Dopisany też test rozdzielający winę serwera od winy klienta: ręczny montaż
z węzła z pominięciem Kubernetesa. SERWER-OK przy jednoczesnej odmowie w podzie
znaczy, że na NAS-ie nie ma czego poprawiać — i oszczędza rundy zmian
w konfiguracji udziału, które niczego nie dają.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

astrololo/README-stan-prezentacji.md

@@ -0,0 +1,279 @@
+# Udział na stan prezentacji — `astrololo-state`
+
+Potrzebny do kont zakładanych z ekranu „Konta" (PRE-27). **Bez niego pod
+`presentation` nie wstanie.**
+
+---
+
+## Dlaczego osobny udział, a nie podkatalog
+
+Pierwsza wersja montowała `/mnt/Tank1/astrololo` z `subPath: presentation-state`
+i pod stanął w `CreateContainerConfigError`:
+
+```
+failed to create subPath directory for volumeMount "state" of container "presentation"
+```
+
+Przyczyna była podwójna i za każdym razem ta sama: udział z bazami jest
+wyeksportowany **`ro: true` z `root_squash`** (patrz runbook DAN-25 w repo
+aplikacji). Zatem:
+
+1. kubelet nie mógł utworzyć podkatalogu — bo udział jest tylko do odczytu,
+2. a gdyby nawet mógł, aplikacja i tak nie zapisałaby tam pliku kont.
+
+**Osobny udział rozwiązuje to bez ruszania DAN-25.** Udział z bazami zostaje tylko
+do odczytu; konta dostają własne, małe miejsce. Przy okazji znika `subPath`, czyli
+znika potrzeba, żeby kubelet cokolwiek zakładał — katalog istnieje, bo jest
+korzeniem udziału.
+
+---
+
+## Krok 1 — dataset i udział na TrueNAS
+
+Po SSH na NAS (192.168.1.34). Konwencja jak w DAN-25: **nie edytujemy
+`/etc/exports` ręcznie**, tylko przez `midclt`.
+
+```bash
+# dataset
+sudo zfs create Tank1/astrololo-state
+```
+
+Jeśli `Tank1` nie jest pulą ZFS albo wolisz zwykły katalog:
+
+```bash
+sudo mkdir -p /mnt/Tank1/astrololo-state
+```
+
+### Właściciel i prawa — TU JEST NAJCZĘSTSZY BŁĄD
+
+Kontenery aplikacji działają **jako root** (`uid=0`), a NFS domyślnie stosuje
+**`root_squash`**: root z klienta NIE jest rootem na udziale — ląduje jako
+`nobody`. Świeży dataset ma prawa `drwxrwx--- root root`, czyli **nic dla
+„innych"** — i dlatego zapis odbija się o `Permission denied`, mimo że `ls`
+w podzie pokazuje `root root`.
+
+To myli, bo `ls` pokazuje właściciela KATALOGU, a nie to, kim jest dla serwera
+proces, który próbuje pisać.
+
+Do wyboru dwa rozwiązania. Oba trzeba ustawić **przy eksporcie** (niżej), tu
+tylko przygotowujemy katalog.
+
+**A. Prościej — bez zakładania użytkownika.** Katalog zostaje `root:root 770`,
+a przy eksporcie ustawiamy `mapall_user: "root"`. To wyłącza squash **dla tego
+jednego udziału**. Zasięg jest wąski: eksportowany jest wyłącznie ten katalog,
+montują go tylko trzy węzły k8s, leży w nim jeden plik. Nic nie trzeba robić —
+świeży dataset ma już właściwe prawa.
+
+**B. Czyściej — dedykowany użytkownik.** Zakładasz w UI TrueNAS
+nieuprzywilejowanego użytkownika (np. `astrololo`), a potem:
+
+```bash
+sudo chown -R astrololo:astrololo /mnt/Tank1/astrololo-state
+sudo chmod 770 /mnt/Tank1/astrololo-state
+```
+
+i przy eksporcie podstawiasz go w `mapall_user`. Efekt ten sam, bez oddawania
+roota — kosztem jednego użytkownika więcej do pamiętania.
+
+> Istniejących użytkowników sprawdzisz przez:
+> `midclt call user.query | python3 -c "import sys,json;[print(u['uid'], u['username']) for u in json.load(sys.stdin)]"`
+
+> **Czego NIE robić:** `chmod 777`. Zadziała, ale uczyni katalog zapisywalnym dla
+> każdego lokalnego użytkownika NAS-a — a leżą tam hashe haseł, więc jest to plik
+> wrażliwszy niż same bazy Excela.
+
+### Eksport NFS
+
+> **Najpierw sprawdź, czy udziału już nie ma.** `sharing.nfs.create` odmawia
+> z komunikatem `Export conflict`, jeśli ten sam katalog jest już eksportowany —
+> wtedy trzeba go **zaktualizować**, nie tworzyć.
+
+```bash
+midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-state"]]' \
+  | python3 -m json.tool
+```
+
+**Pusta lista `[]`** — udziału nie ma, twórz:
+
+```bash
+midclt call sharing.nfs.create '{
+  "path": "/mnt/Tank1/astrololo-state",
+  "comment": "astrololo — stan prezentacji (konta PRE-27)",
+  "hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
+  "enabled": true,
+  "ro": false,
+  "mapall_user": "root",
+  "mapall_group": "root"
+}'
+```
+
+**Coś zwróciło** — weź `id` z wyniku i zaktualizuj (podstaw `<ID>`):
+
+```bash
+midclt call sharing.nfs.update <ID> '{
+  "hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
+  "enabled": true,
+  "ro": false,
+  "mapall_user": "root",
+  "mapall_group": "root"
+}'
+```
+
+> Wybrałeś wariant B? Podstaw swojego użytkownika zamiast `root` w obu polach.
+
+| ustawienie | po co |
+|---|---|
+| `hosts` zawężone | te same trzy węzły k8s co w DAN-25 — nikt inny nie zamontuje |
+| `ro: false` | **musi być zapisywalny**, inaczej konta się nie zapiszą |
+| `mapall_user` | cały ruch z tych hostów pisze jako JEDEN użytkownik, niezależnie od UID w kontenerze — bez tego `root_squash` zamienia roota z poda na `nobody`, który nie ma praw do katalogu |
+
+> Podstaw swoje adresy węzłów, jeśli się zmieniły. Aktualne:
+> `kubectl get nodes -o wide`
+
+---
+
+### Sprawdź, co serwer FAKTYCZNIE eksportuje
+
+Konfiguracja udziału i stan eksportu to **dwie różne rzeczy**: zapisana
+konfiguracja nie znaczy, że usługa ją przeładowała. To jest prawda:
+
+```bash
+sudo exportfs -v | grep -A1 astrololo
+```
+
+Muszą być **dwa** wpisy: `/mnt/Tank1/astrololo` (z `ro`) oraz
+`/mnt/Tank1/astrololo-state` (z `rw`), oba z listą trzech węzłów.
+
+Jeśli `astrololo-state` **nie ma na liście**, mimo że `sharing.nfs.query` go
+pokazuje — usługa nie przeładowała eksportów:
+
+```bash
+midclt call service.restart nfs
+sudo exportfs -v | grep astrololo-state
+```
+
+---
+
+## Krok 2 — sprawdź z węzła, ZANIM wdrożysz
+
+To jest ten test, którego zabrakło za pierwszym razem:
+
+```bash
+ssh 192.168.1.73 'sudo mount -t nfs 192.168.1.34:/mnt/Tank1/astrololo-state /mnt/test \
+  && sudo touch /mnt/test/proba && echo "ZAPIS DZIAŁA" \
+  && sudo rm /mnt/test/proba; sudo umount /mnt/test'
+```
+
+Musi wypisać **`ZAPIS DZIAŁA`**.
+
+| co widzisz | co to znaczy |
+|---|---|
+| `Permission denied` przy `touch` | montowanie działa, brakuje praw — wróć do właściciela katalogu i `mapall_user` |
+| `access denied by server while mounting` | serwer nie wpuszcza w ogóle: sprawdź `exportfs -v` (czy eksport istnieje i przeładowany), `enabled: true` w udziale oraz czy adres węzła jest na liście `hosts` |
+| `No such file or directory` | katalog `/mnt/Tank1/astrololo-state` nie istnieje na NAS-ie |
+| montuje się tylko z `-o vers=3` | negocjacja wersji: dopisz `mountOptions` w manifeście albo włącz NFSv4 w `midclt call nfs.config` |
+
+Adresy węzłów sprawdzisz przez `kubectl get nodes -o wide` — jeśli któryś się
+zmienił od czasu DAN-25, lista `hosts` jest nieaktualna i to wystarczy, żeby
+serwer odmówił.
+
+---
+
+## Krok 3 — wdróż i sprawdź
+
+```bash
+kubectl apply -k astrololo
+kubectl -n astrololo rollout status deploy/presentation
+```
+
+Sprawdź, że aplikacja faktycznie umie tam zapisać — załóż konto testowe
+na ekranie „Konta", a potem:
+
+```bash
+kubectl -n astrololo exec deploy/presentation -- ls -l /app/state/
+```
+
+Oczekiwane: plik `accounts.json`.
+
+---
+
+## Jeśli mimo wszystko `Permission denied`
+
+Trzy komendy, w tej kolejności:
+
+```bash
+kubectl -n astrololo exec deploy/presentation -- sh -c 'id; ls -ld /app/state; touch /app/state/proba && echo ZAPIS-OK || echo ZAPIS-NIE'
+```
+
+```bash
+midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-state"]]' \
+  | python3 -c "import sys,json;[print('ro:', s['ro'], '| mapall:', s.get('mapall_user'), '| hosts:', s['hosts']) for s in json.load(sys.stdin)]"
+```
+
+```bash
+sudo ls -ld /mnt/Tank1/astrololo-state
+```
+
+Zestaw, który DZIAŁA: kontener jako `uid=0(root)`, udział z `ro: false`
+i `mapall: root`, katalog `drwxrwx--- root root`.
+
+### ⚠️ Po zmianie eksportu `rollout restart` NIE WYSTARCZA
+
+To kosztowało najwięcej czasu przy pierwszym wdrożeniu, więc zapisane wprost.
+
+**Objaw:** eksport poprawiony, `service.restart nfs` wykonany, pod zrestartowany —
+a zapis z poda nadal odbija się o `Permission denied`. Przy czym **ręczne
+zamontowanie tego samego eksportu z tego samego węzła działa** i pozwala pisać.
+
+**Co z tym zrobić:** doprowadzić do stanu, w którym ŻADEN pod nie trzyma tego
+montowania.
+
+```bash
+kubectl -n astrololo scale deploy/presentation --replicas=0
+kubectl -n astrololo wait --for=delete pod -l app=presentation --timeout=90s
+kubectl -n astrololo scale deploy/presentation --replicas=1
+kubectl -n astrololo rollout status deploy/presentation
+```
+
+`rollout restart` tego nie osiąga, bo stary i nowy pod na chwilę WSPÓŁISTNIEJĄ —
+w logu widać `1 old replicas are pending termination`. Montowanie ani na moment
+nie zostaje bez użytkownika. (W ArgoCD ten sam skutek daje `force delete` poda.)
+
+**Dlaczego (hipoteza, nie potwierdzona u źródła):** jądro współdzieli strukturę
+montowania NFS między montowania tego samego eksportu na węźle, razem z cache
+odpowiedzi ACCESS. Nowy pod podpina się do żywego montowania i dziedziczy
+odpowiedź sprzed zmiany eksportu.
+
+**Test, który rozstrzyga, czy winny jest serwer czy klient** — montaż ręczny
+z węzła, z pominięciem Kubernetesa:
+
+```bash
+ssh <węzeł> 'sudo mkdir -p /mnt/t && sudo mount -t nfs 192.168.1.34:/mnt/Tank1/astrololo-state /mnt/t \
+  && sudo touch /mnt/t/proba && echo SERWER-OK || echo SERWER-NIE; sudo umount /mnt/t'
+```
+
+`SERWER-OK` przy jednoczesnym `Permission denied` w podzie znaczy, że konfiguracja
+NAS-a jest dobra i **nie ma czego na nim poprawiać** — problem jest po stronie
+klienta.
+
+Osobno pamiętaj: sama zmiana konfiguracji udziału nie przeładowuje eksportów.
+Po każdej zmianie `midclt call service.restart nfs`.
+
+---
+
+## Odkręcenie
+
+```bash
+# ID udziału
+midclt call sharing.nfs.query | python3 -c "import sys,json;[print(s['id'], s.get('path')) for s in json.load(sys.stdin)]"
+midclt call sharing.nfs.delete <ID>
+```
+
+---
+
+## Uwaga na przyszłość: DAN-27 uderzy w tę samą ścianę
+
+Zarządzanie plikami baz (wgrywanie, archiwizacja, kasowanie) wymaga zapisu do
+**udziału z bazami** — a ten jest `ro: true`. Ten runbook tego **nie rozwiązuje**
+i celowo nie rusza DAN-25: to osobna decyzja, bo oznacza rezygnację z gwarancji,
+że baz nie da się zmienić przez NFS. Patrz PR `feat/pliki-zapis`.

astrololo/README.md

@@ -23,6 +23,16 @@ Ten plik **celowo nie jest w `kustomization.yaml`**: resource stoi w ns `argocd`
 (poza namespace docelowym aplikacji), a to konfiguracja kontrolera, który wdraża tę
 aplikację — nakładamy go ręcznie, w repo trzymamy dla odtwarzalności i historii.
 
+## ⚠️ Udział `astrololo-state` — wymagany przez konta (PRE-27)
+
+Pod `presentation` **nie wstanie bez niego** (`CreateContainerConfigError:
+failed to create subPath directory`). Osobny runbook:
+**[README-stan-prezentacji.md](README-stan-prezentacji.md)**.
+
+Krótko: udział z bazami jest wyeksportowany `ro` (DAN-25), więc konta nie mogą tam
+mieszkać — dostają własny, mały udział `/mnt/Tank1/astrololo-state`, zapisywalny,
+zawężony do tych samych węzłów.
+
 ## ⚠️ Sekret `astrololo-auth` — utwórz PRZED wdrożeniem
 
 Aplikacja wystawia treść **oryginalnych baz interpretacyjnych**, dlatego wymaga

astrololo/data.yaml

@@ -9,6 +9,10 @@ spec:
   template:
     metadata: { labels: { app: data } }
     spec:
+      # LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
+      # serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
+      # punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
+      automountServiceAccountToken: false
       imagePullSecrets: [{ name: gitea-registry }]
       containers:
         - name: data

astrololo/kustomization.yaml

@@ -10,10 +10,10 @@ resources:
   - ingress.yaml # wejście po https + przekierowanie z http
 images:
   - name: gitea.czernobog.pl/gitea/astrololo-data
-    newTag: 8ebce816
+    newTag: baf4e0e3
   - name: gitea.czernobog.pl/gitea/astrololo-logic
-    newTag: 8ebce816
+    newTag: baf4e0e3
   - name: gitea.czernobog.pl/gitea/astrololo-render
-    newTag: latest
+    newTag: aec3f843
   - name: gitea.czernobog.pl/gitea/astrololo-presentation
-    newTag: 8ebce816
+    newTag: a8339659

astrololo/logic.yaml

@@ -9,6 +9,10 @@ spec:
   template:
     metadata: { labels: { app: logic } }
     spec:
+      # LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
+      # serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
+      # punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
+      automountServiceAccountToken: false
       imagePullSecrets: [{ name: gitea-registry }]
       containers:
         - name: logic

astrololo/presentation.yaml

@@ -9,6 +9,10 @@ spec:
   template:
     metadata: { labels: { app: presentation } }
     spec:
+      # LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
+      # serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
+      # punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
+      automountServiceAccountToken: false
       imagePullSecrets: [{ name: gitea-registry }]
       containers:
         - name: presentation
@@ -56,9 +60,36 @@ spec:
                 secretKeyRef: { name: astrololo-link, key: LINK_KEY_PRESENTATION_RENDER }
             - name: LINK_ENCRYPTION_REQUIRED
               value: "true"
+            # Konta zakładane z ekranu „Konta" (PRE-26). Konto administracyjne
+            # zostaje w APP_USER/APP_PASSWORD powyżej — celowo, bo dzięki temu
+            # NIE DA SIĘ go skasować ani ograniczyć z aplikacji.
+            - name: ACCOUNTS_FILE
+              value: "/app/state/accounts.json"
+          volumeMounts:
+            # OSOBNY UDZIAŁ, nie podkatalog udziału z bazami. Pierwsza wersja
+            # montowała /mnt/Tank1/astrololo z subPath — i nie wstała:
+            # „failed to create subPath directory”. Powód był podwójny i oba razy
+            # ten sam brak: udział z bazami jest wyeksportowany `ro: true`
+            # z `root_squash` (DAN-25), więc (1) kubelet nie mógł utworzyć
+            # podkatalogu, a (2) gdyby nawet mógł, aplikacja i tak nie zapisałaby
+            # tam pliku kont.
+            #
+            # Osobny udział rozwiązuje to bez naruszania DAN-25: udział z bazami
+            # ZOSTAJE tylko do odczytu, a konta mają własne, małe miejsce.
+            # Przy okazji znika subPath, czyli znika potrzeba, żeby kubelet
+            # cokolwiek zakładał — katalog istnieje, bo jest korzeniem udziału.
+            - name: state
+              mountPath: /app/state
           resources:
             requests: { cpu: "100m", memory: "128Mi" }
             limits:   { cpu: "300m", memory: "256Mi" }
+      volumes:
+        - name: state
+          nfs:
+            server: 192.168.1.34
+            # Udział WYŁĄCZNIE na stan prezentacji (konta z PRE-27). Wymaga
+            # utworzenia na TrueNAS — patrz README-stan-prezentacji.md.
+            path: /mnt/Tank1/astrololo-state
 ---
 apiVersion: v1
 kind: Service

astrololo/render.yaml

@@ -19,6 +19,10 @@ spec:
   template:
     metadata: { labels: { app: render } }
     spec:
+      # LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
+      # serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
+      # punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
+      automountServiceAccountToken: false
       imagePullSecrets: [{ name: gitea-registry }]
       containers:
         - name: render

conjurer/DEPLOY-BOT.md

@@ -0,0 +1,106 @@
+# Production ("deploy") Conjurer bot
+
+A second Conjurer bot that runs **alongside** the test `bot` in the `conjurer`
+namespace, sharing the same librarian / musician / radio and the shared
+`CONJURER_API_KEY`. It differs from the test bot only in:
+
+- its Discord token: the **`deploy-conjurer-netrc`** secret (already created),
+- distinct names/labels (`deploy-bot`) and NodePort **32443**,
+- **`/data` on NFS (RWX)** instead of a block PVC — so you can seed/upload files
+  while it runs and back it up concurrently.
+
+Files: `deploy-bot.yaml` (Deployment + Service), `deploy-bot-backup.yaml`
+(daily backup CronJob). Both are wired into `kustomization.yaml`.
+
+## Update channel — only on `[deploy]`
+
+Unlike the test bot (which tracks every build), the production bot updates **only
+when you promote a version**. It runs a **separate image**,
+`conjurer-bot-deploy`, which the conjurer CI tags **only when the commit message
+contains `[deploy]`** (it re-tags the already-built `conjurer-bot:<sha>` — same
+bytes). The image-updater's `deploy-bot` alias then bumps this bot's tag.
+
+So: normal commits update the test bot + librarian; a commit with `[deploy]` in
+its message is the one that also rolls the production bot.
+
+**Already bootstrapped:** the channel was seeded by the first `[deploy]` commit
+(the merge of conjurer#20), which promoted `conjurer-bot-deploy:fbd1ec9f` — the
+tag pinned in `kustomization.yaml`. From here the image-updater keeps it current
+on each future `[deploy]` commit. Note the librarian is shared and still tracks
+latest, so mind large bot⇄librarian version skews.
+
+If you ever need to seed a tag by hand:
+```bash
+docker pull gitea.czernobog.pl/gitea/conjurer-bot:<sha>
+docker tag  gitea.czernobog.pl/gitea/conjurer-bot:<sha> \
+            gitea.czernobog.pl/gitea/conjurer-bot-deploy:<sha>
+docker push gitea.czernobog.pl/gitea/conjurer-bot-deploy:<sha>
+```
+
+## One-time setup
+
+1. **Secret** — already exists as `deploy-conjurer-netrc` (a netrc carrying the
+   deploy Discord token, key `.netrc`). Nothing to do; the Deployment mounts it
+   at `/secrets/.netrc`.
+
+2. **NFS export** — create the data + backup dirs on the NFS server
+   (`192.168.1.34`, adjust to your real export):
+   ```
+   /mnt/Tank1/conjurer_swap/deploy-bot/data
+   /mnt/Tank1/conjurer_swap/deploy-bot/backups
+   ```
+
+## Seeding / uploading config & state into /data
+
+Because `/data` is a plain NFS export, you upload files by copying them onto the
+share — **no `kubectl cp`, no scaling the bot down**. From the PVE box that holds
+`/srv/data` (mount the same export there, or rsync over it):
+
+```bash
+# on a host that can see the NFS export:
+rsync -a /srv/data/ 192.168.1.34:/mnt/Tank1/conjurer_swap/deploy-bot/data/
+```
+
+The bot roots everything under `CONJURER_DATA_DIR=/data`, so these land where it
+expects them:
+
+```
+accident_log.json  Conjurer_graphics/  music/  pamiec.json
+pamiec_muzyki.json  settings.json  system_gpt_settings.json  transcripts/
+```
+
+Upload as much or as little as you like — the bot seeds any missing JSON on
+first run. Live-editing `pamiec.json` while the bot writes to it can race; prefer
+seeding before first start or during a brief `kubectl -n conjurer scale
+deploy/deploy-bot --replicas=0` window.
+
+## Backups (production only)
+
+`deploy-bot-backup` runs daily (04:17) and writes to the `backups` export:
+
+- `current/` — a full rsync mirror of `/data` (incl. music/graphics), always
+  the latest state,
+- `snapshots/deploy-state-<date>.tgz` — dated archives of the critical small
+  state (both memories, settings, accident log, transcripts), kept
+  `RETENTION_DAYS` (30) days.
+
+The test bot is deliberately **not** backed up (amnesia there is fine).
+
+Restore example:
+```bash
+tar xzf snapshots/deploy-state-2026-08-03-0417.tgz -C /mnt/.../deploy-bot/data/
+```
+
+## Routing librarian / musician callbacks
+
+**Librarian — handled automatically.** Each bot advertises its own
+`CONJURER_SELF_CALLBACK` (test `…:32442`, this bot `…:32443`) on every query and
+ping, and the librarian answers each result/pong back to the bot that asked. One
+librarian serves both bots — no `CONJURER_MAIN_BOT` repointing needed. (The
+librarian keeps `CONJURER_MAIN_BOT: http://bot:5000` only as a fallback for a bot
+that doesn't send a callback.)
+
+**Musician — still single-target.** The musician pushes "now playing" events to
+its one `CONJURER_MAIN_BOT` (currently the test bot, `192.168.1.73:32442`). Only
+one bot gets radio events; repoint the musician's `CONJURER_MAIN_BOT` to
+`192.168.1.73:32443` if the production bot should show them instead.

conjurer/bot.yaml

@@ -28,6 +28,9 @@ spec:
             - { name: CONJURER_FILE_SERVICE,     value: "http://192.168.1.89:5000" }
 
             - { name: CONJURER_RADIO_HARBOR,      value: "http://192.168.1.79:54321" }
+            # Where the librarian sends THIS bot's results/pongs back to (its own
+            # NodePort). Lets one librarian serve both bots - see deploy-bot.yaml.
+            - { name: CONJURER_SELF_CALLBACK,     value: "http://192.168.1.73:32442" }
           volumeMounts:
             - { name: data,  mountPath: /data }
             - { name: netrc, mountPath: /secrets, readOnly: true }

conjurer/conjurer-imageupdater.yaml

@@ -15,5 +15,8 @@ spec:
   applicationRefs:
     - namePattern: "conjurer"
       images:
-        - { alias: "librarian", imageName: "gitea.czernobog.pl/gitea/conjurer-librarian" }
-        - { alias: "bot",       imageName: "gitea.czernobog.pl/gitea/conjurer-bot" }
+        - { alias: "librarian",  imageName: "gitea.czernobog.pl/gitea/conjurer-librarian" }
+        - { alias: "bot",        imageName: "gitea.czernobog.pl/gitea/conjurer-bot" }
+        # Production bot tracks its own image, which only gets new tags on
+        # [deploy] commits (conjurer CI) - so it updates only on promoted builds.
+        - { alias: "deploy-bot", imageName: "gitea.czernobog.pl/gitea/conjurer-bot-deploy" }

conjurer/deploy-bot-backup.yaml

@@ -0,0 +1,65 @@
+# Daily backup of the PRODUCTION ("deploy") bot's /data.
+#
+# Only production is backed up - the test bot's amnesia is fine, this bot's is
+# not (pamiec.json / pamiec_muzyki.json are the conversation & music memory).
+# Both volumes are NFS (RWX), so this runs while the bot is live - no RWO clash.
+#
+# Two-part backup:
+#   * a full, space-efficient MIRROR (rsync --delete) of everything, incl. music
+#     and graphics - always the current state,
+#   * dated SNAPSHOTS of just the small critical state (the memories, settings,
+#     accident log, transcripts) so you can roll back to a point in time.
+# Snapshots older than RETENTION_DAYS are pruned.
+apiVersion: batch/v1
+kind: CronJob
+metadata:
+  name: deploy-bot-backup
+  namespace: conjurer
+spec:
+  schedule: "17 4 * * *"          # every day at 04:17
+  concurrencyPolicy: Forbid
+  successfulJobsHistoryLimit: 3
+  failedJobsHistoryLimit: 3
+  jobTemplate:
+    spec:
+      backoffLimit: 2
+      template:
+        spec:
+          restartPolicy: Never
+          containers:
+            - name: backup
+              image: alpine:3.20
+              command: ["/bin/sh", "-c"]
+              args:
+                - |
+                  set -eu
+                  apk add --no-cache rsync >/dev/null
+                  STAMP="$(date +%F-%H%M)"
+                  mkdir -p /backup/current /backup/snapshots
+                  echo "[$STAMP] mirroring /data -> /backup/current"
+                  rsync -a --delete /data/ /backup/current/
+                  echo "[$STAMP] snapshotting critical state"
+                  tar czf "/backup/snapshots/deploy-state-$STAMP.tgz" -C /data \
+                      accident_log.json pamiec.json pamiec_muzyki.json \
+                      settings.json system_gpt_settings.json transcripts \
+                      2>/dev/null || echo "  (some files absent - skipped)"
+                  echo "[$STAMP] pruning snapshots older than ${RETENTION_DAYS}d"
+                  find /backup/snapshots -name 'deploy-state-*.tgz' -type f \
+                      -mtime +"${RETENTION_DAYS}" -delete
+                  echo "[$STAMP] backup done"
+              env:
+                - { name: RETENTION_DAYS, value: "30" }
+              volumeMounts:
+                - { name: data,   mountPath: /data,   readOnly: true }
+                - { name: backup, mountPath: /backup }
+          volumes:
+            # Same export the bot mounts (read-only here).
+            - name: data
+              nfs:
+                server: 192.168.1.34
+                path: /mnt/Tank1/conjurer_swap/deploy-bot/data
+            # Backup target - ADJUST to your export.
+            - name: backup
+              nfs:
+                server: 192.168.1.34
+                path: /mnt/Tank1/conjurer_swap/deploy-bot/backups

conjurer/deploy-bot.yaml

@@ -0,0 +1,80 @@
+# Production ("deploy") Conjurer bot.
+#
+# Same infrastructure as the test `bot` (shares librarian / musician / radio and
+# the CONJURER_API_KEY), with three deliberate differences:
+#   1. its Discord token comes from the `deploy-conjurer-netrc` secret,
+#   2. distinct names/labels so it coexists with the test bot in this namespace,
+#   3. /data is an NFS volume (RWX) instead of a block PVC - so config/state can
+#      be uploaded while the bot runs (just copy onto the share) and backed up
+#      concurrently (see deploy-bot-backup.yaml). The test bot keeps its RWO PVC.
+#
+# ┌─ IMPORTANT: librarian & musician call ONE bot back ─────────────────────────┐
+# │ The librarian (CONJURER_MAIN_BOT) and musician push search results and      │
+# │ "now playing" events to a SINGLE bot address - currently the test bot's     │
+# │ NodePort 192.168.1.73:32442. Only one bot can receive them. To make the     │
+# │ PRODUCTION bot the one that gets librarian results / radio events, repoint   │
+# │ those services' CONJURER_MAIN_BOT to this bot's NodePort (…:32443 below).    │
+# └─────────────────────────────────────────────────────────────────────────────┘
+apiVersion: apps/v1
+kind: Deployment
+metadata:
+  name: deploy-bot
+  namespace: conjurer
+spec:
+  replicas: 1                     # NIGDY więcej — jedna sesja gateway na token
+  strategy: { type: Recreate }    # NIE RollingUpdate — dwa pody = wojna o sesję Discord
+  selector: { matchLabels: { app: deploy-bot } }
+  template:
+    metadata: { labels: { app: deploy-bot } }
+    spec:
+      imagePullSecrets: [{ name: gitea-registry }]
+      containers:
+        - name: bot
+          # SEPARATE image from the test bot: conjurer-bot-deploy only gets a new
+          # tag when a commit message contains [deploy] (see the conjurer CI), so
+          # this bot updates only on versions you explicitly promote. Tag is
+          # managed by the image-updater (kustomization images:).
+          image: gitea.czernobog.pl/gitea/conjurer-bot-deploy:c8aae106
+          ports: [{ containerPort: 5000 }]
+          env:
+            - { name: CONJURER_DATA_DIR,      value: "/data" }
+            - { name: CONJURER_DISCORD_HOST,  value: "0.0.0.0" }
+            - { name: CONJURER_DISCORD_PORT,  value: "5000" }
+            - { name: CONJURER_API_KEY,  value: "d97008b3-7a5a-11f1-acd1-000b0e0f00ed" }
+            - { name: CONJURER_NETRC_FILE, value: "/secrets/.netrc" }
+            - { name: CONJURER_LIBRARIAN_SERVICE, value: "http://librarian:5001" }
+            - { name: CONJURER_MUSICIAN_SERVICE,  value: "http://192.168.1.89:5000" }
+            - { name: CONJURER_RADIO_SERVICE,     value: "http://192.168.1.79:5005" }
+            - { name: CONJURER_FILE_SERVICE,      value: "http://192.168.1.89:5000" }
+            - { name: CONJURER_RADIO_HARBOR,      value: "http://192.168.1.79:54321" }
+            # This bot's own callback (its NodePort). The librarian records it per
+            # query and answers results/pongs HERE - so it serves this bot AND the
+            # test bot from one instance, no CONJURER_MAIN_BOT repointing needed.
+            - { name: CONJURER_SELF_CALLBACK,     value: "http://192.168.1.73:32443" }
+          volumeMounts:
+            - { name: data,  mountPath: /data }
+            - { name: netrc, mountPath: /secrets, readOnly: true }
+          resources:
+            requests: { cpu: "200m", memory: "256Mi" }
+            limits:   { cpu: "2",    memory: "1Gi" }
+      volumes:
+        # /data on NFS (RWX): lets you seed/upload files while the bot runs (copy
+        # straight onto the export from the PVE box that holds /srv/data) and lets
+        # the backup CronJob read it concurrently. ADJUST server/path to your
+        # actual export - mirrors the librarian's 192.168.1.34 Tank1 layout.
+        - name: data
+          nfs:
+            server: 192.168.1.34
+            path: /mnt/Tank1/conjurer_swap/deploy-bot/data
+        - name: netrc
+          secret: { secretName: deploy-conjurer-netrc }
+---
+apiVersion: v1
+kind: Service
+metadata: { name: deploy-bot, namespace: conjurer }
+spec:
+  type: NodePort                  # so librarian/musician COULD reach it if repointed
+  selector: { app: deploy-bot }
+  # Distinct pinned nodePort (test bot owns 32442). Point librarian/musician
+  # CONJURER_MAIN_BOT at 192.168.1.73:32443 to route their callbacks here.
+  ports: [{ port: 5000, targetPort: 5000, nodePort: 32443 }]

conjurer/kustomization.yaml

@@ -4,8 +4,16 @@ resources:
   - namespace.yaml
   - librarian.yaml
   - bot.yaml
+  - deploy-bot.yaml
+  - deploy-bot-backup.yaml
 images:
   - name: gitea.czernobog.pl/gitea/conjurer-librarian
-    newTag: 8e18071b
+    newTag: ae1bd677
   - name: gitea.czernobog.pl/gitea/conjurer-bot
-    newTag: 8e18071b
+    newTag: fbd1ec9f
+  # Production bot channel - only bumped when a [deploy]-tagged build appears.
+  # Bootstrapped to fbd1ec9f: that's the image the first [deploy] build (merge
+  # of conjurer#20) promoted to conjurer-bot-deploy. From here the image-updater
+  # keeps it current across future [deploy] commits.
+  - name: gitea.czernobog.pl/gitea/conjurer-bot-deploy
+    newTag: fbd1ec9f

conjurer/librarian.yaml

@@ -10,6 +10,11 @@ spec:
     metadata: { labels: { app: librarian } }
     spec:
       imagePullSecrets: [{ name: gitea-registry }]
+      # On SIGTERM the librarian checkpoints the running search and exits within
+      # CONJURER_LIBRARIAN_GRACEFUL_TIMEOUT (default 45s). Give k8s enough grace
+      # to let that finish before it SIGKILLs - otherwise a long scan's checkpoint
+      # is cut short and the search restarts from scratch instead of resuming.
+      terminationGracePeriodSeconds: 60
       containers:
         - name: librarian
           image: gitea.czernobog.pl/gitea/conjurer-librarian:e243777e