mirror of
https://github.com/migatu/astrololo.git
synced 2026-07-14 21:38:37 +00:00
gitea
16d35c16dc
Trzy niezależne usługi FastAPI komunikujące się przez HTTP/JSON, każda zna tylko adres warstwy bezpośrednio pod nią: - presentation (:8000) — strona WWW + formularz - logic (:8001) — reguły biznesowe, pośrednik - data (:8002) — wyszukiwanie danych za interfejsem DataProvider Warstwa danych: czytanie setek plików .xlsx z wykrywaniem nagłówka i mapowaniem układu kolumn na schemat kanoniczny, z 4-poziomowym cache (schemat L1, Parquet L2, wyniki zapytań L3, odwrócony indeks L4) i unieważnianiem po odcisku pliku. Gotowa ścieżka migracji do SQL (ingest/to_sql.py + SqlDataProvider, przełączane przez DATA_PROVIDER). Zawiera docker-compose, Makefile, generator danych przykładowych. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
26 lines
791 B
Python
26 lines
791 B
Python
"""Wstępne zbudowanie cache + odwróconego indeksu dla wszystkich plików Excela.
|
|
|
|
Uruchom raz po wgraniu/aktualizacji plików (albo zostaw warmup przy starcie usługi):
|
|
|
|
python -m app.ingest.build_index
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
from app.config import settings
|
|
from app.providers.excel_provider import ExcelDataProvider
|
|
|
|
|
|
def main() -> None:
|
|
provider = ExcelDataProvider(settings)
|
|
files = provider._excel_files()
|
|
print(f"Indeksuję {len(files)} plików z {settings.excel_dir} ...")
|
|
for i, path in enumerate(files, 1):
|
|
provider._ensure_indexed(path)
|
|
if i % 25 == 0 or i == len(files):
|
|
print(f" {i}/{len(files)}")
|
|
print(f"Gotowe. Zaindeksowane pliki: {provider.index.count_files()}")
|
|
|
|
|
|
if __name__ == "__main__":
|
|
main()
|