Compare commits
3 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| eff9d206ac | |||
| a097be4f0b | |||
| cc75d6c5f4 |
@@ -47,7 +47,7 @@ midclt call sharing.nfs.query '[["path","=","/mnt/Tank1/astrololo-demo"]]' \
|
||||
midclt call sharing.nfs.create '{
|
||||
"path": "/mnt/Tank1/astrololo-demo",
|
||||
"comment": "astrololo — pule kont wersji demo (PRE-29)",
|
||||
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
|
||||
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81", "192.168.1.82"],
|
||||
"enabled": true,
|
||||
"ro": false,
|
||||
"mapall_user": "root",
|
||||
|
||||
@@ -66,7 +66,7 @@ sudo chmod 770 /mnt/Tank1/astrololo-state
|
||||
midclt call sharing.nfs.create '{
|
||||
"path": "/mnt/Tank1/astrololo-state",
|
||||
"comment": "astrololo — stan prezentacji (konta PRE-27)",
|
||||
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81"],
|
||||
"hosts": ["192.168.1.73", "192.168.1.80", "192.168.1.81", "192.168.1.82"],
|
||||
"ro": false,
|
||||
"mapall_user": "apps",
|
||||
"mapall_group": "apps"
|
||||
|
||||
+80
-1
@@ -60,7 +60,7 @@ w ogóle nie został zapytany. Jądro nie znalazło programu pomocniczego
|
||||
### Sprawdzenie
|
||||
|
||||
```bash
|
||||
for N in 192.168.1.73 192.168.1.80 192.168.1.81; do
|
||||
for N in 192.168.1.73 192.168.1.80 192.168.1.81 192.168.1.82; do
|
||||
printf "%-15s " "$N"
|
||||
ssh hammer@$N 'test -x /sbin/mount.nfs && echo MA-KLIENTA || echo BRAK-KLIENTA'
|
||||
done
|
||||
@@ -86,6 +86,85 @@ ssh hammer@<węzeł> 'sudo apt-get update && sudo apt-get install -y nfs-common'
|
||||
| `access denied by server while mounting` | serwer odmawia: eksport nieprzeładowany, węzła nie ma na liście `hosts`, albo udział wyłączony |
|
||||
| `Permission denied` przy zapisie | montowanie działa, brakuje praw — patrz `mapall_user` i właściciel katalogu |
|
||||
|
||||
## ⚠️ Wymóg węzłów: rozszerzenia procesora (x86-64-v2)
|
||||
|
||||
Warstwa danych używa pandas, a przez nią NumPy. Koła NumPy z PyPI są budowane
|
||||
z bazą **x86-64-v2**, więc na węźle bez tych rozszerzeń kontener nie wstaje:
|
||||
|
||||
```
|
||||
RuntimeError: NumPy was built with baseline optimizations:
|
||||
(X86_V2) but your machine doesn't support: (X86_V2).
|
||||
```
|
||||
|
||||
Komunikat mówi o „optymalizacjach", czyli o niczym, po czym dałoby się poznać,
|
||||
że chodzi o **węzeł**, a nie o obraz. Pod wpada w pętlę restartów i wygląda to
|
||||
na zepsuty build.
|
||||
|
||||
### To NIE jest ograniczenie sprzętu
|
||||
|
||||
Węzły k3s są maszynami wirtualnymi. Proxmox z domyślnym modelem CPU (`kvm64`,
|
||||
„Common KVM processor") **maskuje flagi procesora** — gość nie widzi SSE4.2 ani
|
||||
POPCNT, mimo że fizyczny i7-3770 obsługuje nawet x86-64-**v3**. Stąd bierze się
|
||||
złudzenie, że „węzły mają różne procesory": mają ten sam sprzęt i różne maski.
|
||||
|
||||
### Sprawdzenie: które węzły to udźwigną
|
||||
|
||||
```bash
|
||||
for N in $(kubectl get nodes -o jsonpath='{.items[*].metadata.name}'); do
|
||||
kubectl run cpucheck-$N --image=busybox --restart=Never --rm -i --quiet \
|
||||
--overrides="{\"spec\":{\"nodeName\":\"$N\",\"tolerations\":[{\"operator\":\"Exists\"}]}}" \
|
||||
--command -- sh -c '
|
||||
F=$(grep -m1 ^flags /proc/cpuinfo); BRAK=""
|
||||
for f in cx16 lahf_lm popcnt pni ssse3 sse4_1 sse4_2; do
|
||||
echo "$F" | grep -qw "$f" || BRAK="$BRAK $f"
|
||||
done
|
||||
echo "$(grep -m1 "model name" /proc/cpuinfo | cut -d: -f2-)"
|
||||
[ -z "$BRAK" ] && echo " x86-64-v2: TAK" || echo " x86-64-v2: NIE —$BRAK"
|
||||
' 2>/dev/null | sed "s/^/$N /"
|
||||
done
|
||||
```
|
||||
|
||||
**Pułapka przy czytaniu flag:** Linux raportuje SSE3 jako **`pni`** (Prescott New
|
||||
Instructions), nie `sse3`. Szukanie `sse3` daje fałszywy alarm na maszynie, która
|
||||
SSE3 ma — pierwsza wersja tej kontroli wskazała w ten sposób trzy zdrowe węzły
|
||||
jako niesprawne.
|
||||
|
||||
### Naprawa u źródła (Proxmox)
|
||||
|
||||
Na węźle Proxmox, dla każdej maszyny k3s:
|
||||
|
||||
```bash
|
||||
qm set <VMID> --cpu host
|
||||
qm stop <VMID> && qm start <VMID>
|
||||
```
|
||||
|
||||
**Sam restart z wnętrza gościa nie wystarczy** — zmiana modelu CPU wchodzi
|
||||
dopiero przy pełnym wyłączeniu i włączeniu maszyny.
|
||||
|
||||
`--cpu host` przekazuje pełny zestaw rozszerzeń i daje przy okazji realnie
|
||||
szybszą arytmetykę. Ma jeden koszt: **blokuje migrację na żywo** między hostami
|
||||
o różnych procesorach. Jeśli kiedyś zaczniemy migrować maszyny między pve2
|
||||
a NUC-iem, właściwym wyborem będzie wspólny mianownik `x86-64-v2-AES` zamiast
|
||||
`host`.
|
||||
|
||||
### Zabezpieczenie: etykieta zamiast wykluczania po nazwie
|
||||
|
||||
`data` i `data-demo` wymagają etykiety `astrololo.czernobog.pl/cpu-x86-64-v2`.
|
||||
Nowy węzeł jest domyślnie **nieoznaczony**, więc nie dostanie tych podów, dopóki
|
||||
ktoś go nie sprawdzi i nie oznaczy świadomie:
|
||||
|
||||
```bash
|
||||
kubectl label node <węzeł> astrololo.czernobog.pl/cpu-x86-64-v2=true
|
||||
```
|
||||
|
||||
Wykluczanie konkretnego węzła po nazwie znaczyłoby, że każdy KOLEJNY źle
|
||||
postawiony węzeł znów zbierze się przez awarię. Tak wyszedł agent3: dołożony
|
||||
14 dni po pozostałych, bez kroku `--cpu host`, i nikt tego nie zauważył, dopóki
|
||||
scheduler nie postawił tam akurat warstwy danych.
|
||||
|
||||
**KOLEJNOŚĆ MA ZNACZENIE.** Oznacz węzły ZANIM to wdrożysz — bez etykiet `data`
|
||||
nie ma się gdzie uruchomić i pójdzie w Pending.
|
||||
|
||||
## ⚠️ Sekret `astrololo-auth` — utwórz PRZED wdrożeniem
|
||||
|
||||
Aplikacja wystawia treść **oryginalnych baz interpretacyjnych**, dlatego wymaga
|
||||
|
||||
@@ -21,6 +21,26 @@ spec:
|
||||
metadata:
|
||||
labels: { app: data-demo }
|
||||
spec:
|
||||
# Ta usługa liczy na pandas, a przez nią na NumPy. Koła NumPy z PyPI są
|
||||
# budowane z bazą x86-64-v2, więc na węźle bez tych rozszerzeń kontener
|
||||
# NIE WSTAJE: `import numpy` kończy się RuntimeError, pod wpada w pętlę
|
||||
# restartów, a komunikat mówi o „baseline optimizations" — czyli o niczym,
|
||||
# po czym dałoby się poznać, że chodzi o węzeł.
|
||||
#
|
||||
# Wymagana ETYKIETA, a nie wykluczony konkretny węzeł. Nowy węzeł jest
|
||||
# domyślnie NIEOZNACZONY, więc nie dostanie tu poda, dopóki ktoś go nie
|
||||
# sprawdzi (skrypt w README) i nie oznaczy świadomie. Pending z czytelnym
|
||||
# powodem jest lepszy niż pętla restartów z komunikatem o optymalizacjach —
|
||||
# a wykluczanie węzłów po nazwie znaczyłoby, że każdy KOLEJNY źle
|
||||
# postawiony węzeł znów zbiera się przez awarię.
|
||||
affinity:
|
||||
nodeAffinity:
|
||||
requiredDuringSchedulingIgnoredDuringExecution:
|
||||
nodeSelectorTerms:
|
||||
- matchExpressions:
|
||||
- key: astrololo.czernobog.pl/cpu-x86-64-v2
|
||||
operator: In
|
||||
values: ["true"]
|
||||
containers:
|
||||
- name: data
|
||||
# TEN SAM obraz co produkcja — różni się wyłącznie udziałem, na którym
|
||||
|
||||
@@ -12,6 +12,26 @@ spec:
|
||||
# LOG-33: pody nie rozmawiają z API Kubernetesa, więc token konta
|
||||
# serwisowego jest im niepotrzebny — a zamontowany byłby gotowym
|
||||
# punktem wyjścia do klastra dla kogoś, kto przejmie kontener.
|
||||
# Ta usługa liczy na pandas, a przez nią na NumPy. Koła NumPy z PyPI są
|
||||
# budowane z bazą x86-64-v2, więc na węźle bez tych rozszerzeń kontener
|
||||
# NIE WSTAJE: `import numpy` kończy się RuntimeError, pod wpada w pętlę
|
||||
# restartów, a komunikat mówi o „baseline optimizations" — czyli o niczym,
|
||||
# po czym dałoby się poznać, że chodzi o węzeł.
|
||||
#
|
||||
# Wymagana ETYKIETA, a nie wykluczony konkretny węzeł. Nowy węzeł jest
|
||||
# domyślnie NIEOZNACZONY, więc nie dostanie tu poda, dopóki ktoś go nie
|
||||
# sprawdzi (skrypt w README) i nie oznaczy świadomie. Pending z czytelnym
|
||||
# powodem jest lepszy niż pętla restartów z komunikatem o optymalizacjach —
|
||||
# a wykluczanie węzłów po nazwie znaczyłoby, że każdy KOLEJNY źle
|
||||
# postawiony węzeł znów zbiera się przez awarię.
|
||||
affinity:
|
||||
nodeAffinity:
|
||||
requiredDuringSchedulingIgnoredDuringExecution:
|
||||
nodeSelectorTerms:
|
||||
- matchExpressions:
|
||||
- key: astrololo.czernobog.pl/cpu-x86-64-v2
|
||||
operator: In
|
||||
values: ["true"]
|
||||
automountServiceAccountToken: false
|
||||
imagePullSecrets: [{ name: gitea-registry }]
|
||||
containers:
|
||||
|
||||
@@ -13,12 +13,12 @@ resources:
|
||||
- ingress.yaml # wejście po https + przekierowanie z http
|
||||
images:
|
||||
- name: gitea.czernobog.pl/gitea/astrololo-data
|
||||
newTag: 10ade555
|
||||
newTag: fd79513c
|
||||
- name: gitea.czernobog.pl/gitea/astrololo-logic
|
||||
newTag: 10ade555
|
||||
newTag: fd79513c
|
||||
- name: gitea.czernobog.pl/gitea/astrololo-render
|
||||
newTag: latest
|
||||
newTag: cf24c4d4
|
||||
- name: gitea.czernobog.pl/gitea/astrololo-presentation
|
||||
newTag: 10ade555
|
||||
newTag: fd79513c
|
||||
- name: gitea.czernobog.pl/gitea/astrololo-astrodemo
|
||||
newTag: fd79513c
|
||||
|
||||
Reference in New Issue
Block a user