feat(astrololo): klucze do modeli w chmurze + konfiguracja modelu lokalnego #3
Reference in New Issue
Block a user
Delete Branch "feat/llm-keys"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Odpowiedz na pytanie gdzie dac tokeny API do LLM-ow. Wymaga zmergowania
astrololo #15 — bez niego konfiguracja
per dostawca nie istnieje i klucze i tak by nie zadzialaly.
Co dochodzi do
logicJawnie (nie sa tajne):
LLM_PROVIDER=local,LOCAL_BASE_URL,LOCAL_MODEL,LLM_TIMEOUT=180,LLM_MAX_TOKENS=2000.Z sekretu
astrololo-llm:OPENAI_API_KEY,ANTHROPIC_API_KEY.Dlaczego OSOBNY sekret i dlaczego OPCJONALNY
astrololo-llm, nie doklejony doastrololo-auth) — zeby klucze LLM dalo siewymieniac bez dotykania hasla do aplikacji i tokenu miedzywarstwowego.
optional: true— swiadomie inaczej niz przy auth. Auth to zabezpieczenie i mazatrzymac pody, gdy go brak. Klucze do chmury to funkcja: ich brak nie moze wywracac
wdrozenia. Bez sekretu pody startuja normalnie, dziala model lokalny, a chmura jest
po prostu niedostepna.
Utworzenie sekretu
Restart jest konieczny — zmienne wstrzykuja sie przy starcie poda, nie w locie.
Do dopasowania u siebie
LOCAL_BASE_URLwskazuje dzishttp://ollama.ollama.svc.cluster.local:11434/v1— zmien naadres, pod ktorym naprawde stoi Twoja Ollama/vLLM. Jesli modelu lokalnego jeszcze nie ma,
ustaw
LLM_PROVIDERnaopenai/anthropicalbo wybieraj dostawce w UI.Wartosci kluczy nie trafiaja do repo — w wyniku
kubectl kustomizenadal nie ma zadnegokind: Secret. Instrukcja podmiany pojedynczego klucza wastrololo/README.md.View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.