data: wymagaj węzła z x86-64-v2; runbook maskowania CPU i lista czterech węzłów
data-demo wpadał w pętlę restartów na k3s-agent3: RuntimeError: NumPy was built with baseline optimizations: (X86_V2) but your machine doesn't support: (X86_V2). DIAGNOZA — to NIE jest różnica sprzętu. Wszystkie cztery węzły to maszyny wirtualne. Trzy widzą procesor jako „QEMU Virtual CPU 2.5+" i mają komplet rozszerzeń x86-64-v2; agent3 widzi „Common KVM processor" (kvm64) i nie ma popcnt, ssse3, sse4_1 ani sse4_2. Fizyczny i7-3770 pod spodem obsługuje nawet x86-64-v3 — te flagi są MASKOWANE przez domyślny model CPU w Proxmoksie. agent3 ma 14 dni, pozostałe 52. Został dołożony później i pominięto przy nim krok `--cpu host`, odnotowany w pamięci projektu 2 sierpnia. Nikt tego nie zauważył, dopóki scheduler nie postawił tam akurat warstwy danych — jedynej, która ciągnie pandas, a przez nią NumPy. ZABEZPIECZENIE: data i data-demo wymagają etykiety `astrololo.czernobog.pl/cpu-x86-64-v2`. Świadomie ETYKIETA, a nie wykluczenie agent3 po nazwie: wykluczanie po nazwie znaczyłoby, że każdy KOLEJNY źle postawiony węzeł znów zbiera się przez awarię. Nowy węzeł jest domyślnie nieoznaczony, więc nie dostanie tych podów, dopóki ktoś go nie sprawdzi i nie oznaczy. Pending z czytelnym powodem bije pętlę restartów z komunikatem o „baseline optimizations". KOLEJNOŚĆ: węzły trzeba oznaczyć PRZED wdrożeniem tej zmiany. Dziś etykietę ma zero węzłów, więc samo zmergowanie posłałoby data w Pending. RUNBOOK: skrypt sprawdzający węzły, naprawa u źródła (`qm set --cpu host` plus pełne wyłączenie i włączenie maszyny — sam restart z gościa nie wystarcza), oraz zastrzeżenie, że `--cpu host` blokuje migrację na żywo między hostami o różnych procesorach. PUŁAPKA PRZY CZYTANIU FLAG, udokumentowana bo kosztowała fałszywą diagnozę: Linux raportuje SSE3 jako „pni", nie „sse3". Pierwsza wersja kontroli wskazała przez to trzy zdrowe węzły jako niesprawne. Przy okazji: lista węzłów w eksportach NFS obejmuje wszystkie cztery. Runbooki wymieniały trzy, a klaster ma cztery — ten sam mechanizm, ta sama przyczyna. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit was merged in pull request #25.
This commit is contained in:
+80
-1
@@ -60,7 +60,7 @@ w ogóle nie został zapytany. Jądro nie znalazło programu pomocniczego
|
||||
### Sprawdzenie
|
||||
|
||||
```bash
|
||||
for N in 192.168.1.73 192.168.1.80 192.168.1.81; do
|
||||
for N in 192.168.1.73 192.168.1.80 192.168.1.81 192.168.1.82; do
|
||||
printf "%-15s " "$N"
|
||||
ssh hammer@$N 'test -x /sbin/mount.nfs && echo MA-KLIENTA || echo BRAK-KLIENTA'
|
||||
done
|
||||
@@ -86,6 +86,85 @@ ssh hammer@<węzeł> 'sudo apt-get update && sudo apt-get install -y nfs-common'
|
||||
| `access denied by server while mounting` | serwer odmawia: eksport nieprzeładowany, węzła nie ma na liście `hosts`, albo udział wyłączony |
|
||||
| `Permission denied` przy zapisie | montowanie działa, brakuje praw — patrz `mapall_user` i właściciel katalogu |
|
||||
|
||||
## ⚠️ Wymóg węzłów: rozszerzenia procesora (x86-64-v2)
|
||||
|
||||
Warstwa danych używa pandas, a przez nią NumPy. Koła NumPy z PyPI są budowane
|
||||
z bazą **x86-64-v2**, więc na węźle bez tych rozszerzeń kontener nie wstaje:
|
||||
|
||||
```
|
||||
RuntimeError: NumPy was built with baseline optimizations:
|
||||
(X86_V2) but your machine doesn't support: (X86_V2).
|
||||
```
|
||||
|
||||
Komunikat mówi o „optymalizacjach", czyli o niczym, po czym dałoby się poznać,
|
||||
że chodzi o **węzeł**, a nie o obraz. Pod wpada w pętlę restartów i wygląda to
|
||||
na zepsuty build.
|
||||
|
||||
### To NIE jest ograniczenie sprzętu
|
||||
|
||||
Węzły k3s są maszynami wirtualnymi. Proxmox z domyślnym modelem CPU (`kvm64`,
|
||||
„Common KVM processor") **maskuje flagi procesora** — gość nie widzi SSE4.2 ani
|
||||
POPCNT, mimo że fizyczny i7-3770 obsługuje nawet x86-64-**v3**. Stąd bierze się
|
||||
złudzenie, że „węzły mają różne procesory": mają ten sam sprzęt i różne maski.
|
||||
|
||||
### Sprawdzenie: które węzły to udźwigną
|
||||
|
||||
```bash
|
||||
for N in $(kubectl get nodes -o jsonpath='{.items[*].metadata.name}'); do
|
||||
kubectl run cpucheck-$N --image=busybox --restart=Never --rm -i --quiet \
|
||||
--overrides="{\"spec\":{\"nodeName\":\"$N\",\"tolerations\":[{\"operator\":\"Exists\"}]}}" \
|
||||
--command -- sh -c '
|
||||
F=$(grep -m1 ^flags /proc/cpuinfo); BRAK=""
|
||||
for f in cx16 lahf_lm popcnt pni ssse3 sse4_1 sse4_2; do
|
||||
echo "$F" | grep -qw "$f" || BRAK="$BRAK $f"
|
||||
done
|
||||
echo "$(grep -m1 "model name" /proc/cpuinfo | cut -d: -f2-)"
|
||||
[ -z "$BRAK" ] && echo " x86-64-v2: TAK" || echo " x86-64-v2: NIE —$BRAK"
|
||||
' 2>/dev/null | sed "s/^/$N /"
|
||||
done
|
||||
```
|
||||
|
||||
**Pułapka przy czytaniu flag:** Linux raportuje SSE3 jako **`pni`** (Prescott New
|
||||
Instructions), nie `sse3`. Szukanie `sse3` daje fałszywy alarm na maszynie, która
|
||||
SSE3 ma — pierwsza wersja tej kontroli wskazała w ten sposób trzy zdrowe węzły
|
||||
jako niesprawne.
|
||||
|
||||
### Naprawa u źródła (Proxmox)
|
||||
|
||||
Na węźle Proxmox, dla każdej maszyny k3s:
|
||||
|
||||
```bash
|
||||
qm set <VMID> --cpu host
|
||||
qm stop <VMID> && qm start <VMID>
|
||||
```
|
||||
|
||||
**Sam restart z wnętrza gościa nie wystarczy** — zmiana modelu CPU wchodzi
|
||||
dopiero przy pełnym wyłączeniu i włączeniu maszyny.
|
||||
|
||||
`--cpu host` przekazuje pełny zestaw rozszerzeń i daje przy okazji realnie
|
||||
szybszą arytmetykę. Ma jeden koszt: **blokuje migrację na żywo** między hostami
|
||||
o różnych procesorach. Jeśli kiedyś zaczniemy migrować maszyny między pve2
|
||||
a NUC-iem, właściwym wyborem będzie wspólny mianownik `x86-64-v2-AES` zamiast
|
||||
`host`.
|
||||
|
||||
### Zabezpieczenie: etykieta zamiast wykluczania po nazwie
|
||||
|
||||
`data` i `data-demo` wymagają etykiety `astrololo.czernobog.pl/cpu-x86-64-v2`.
|
||||
Nowy węzeł jest domyślnie **nieoznaczony**, więc nie dostanie tych podów, dopóki
|
||||
ktoś go nie sprawdzi i nie oznaczy świadomie:
|
||||
|
||||
```bash
|
||||
kubectl label node <węzeł> astrololo.czernobog.pl/cpu-x86-64-v2=true
|
||||
```
|
||||
|
||||
Wykluczanie konkretnego węzła po nazwie znaczyłoby, że każdy KOLEJNY źle
|
||||
postawiony węzeł znów zbierze się przez awarię. Tak wyszedł agent3: dołożony
|
||||
14 dni po pozostałych, bez kroku `--cpu host`, i nikt tego nie zauważył, dopóki
|
||||
scheduler nie postawił tam akurat warstwy danych.
|
||||
|
||||
**KOLEJNOŚĆ MA ZNACZENIE.** Oznacz węzły ZANIM to wdrożysz — bez etykiet `data`
|
||||
nie ma się gdzie uruchomić i pójdzie w Pending.
|
||||
|
||||
## ⚠️ Sekret `astrololo-auth` — utwórz PRZED wdrożeniem
|
||||
|
||||
Aplikacja wystawia treść **oryginalnych baz interpretacyjnych**, dlatego wymaga
|
||||
|
||||
Reference in New Issue
Block a user