Szkielet aplikacji trójwarstwowej (prezentacja / logika / dane)

Trzy niezależne usługi FastAPI komunikujące się przez HTTP/JSON, każda
zna tylko adres warstwy bezpośrednio pod nią:

- presentation (:8000) — strona WWW + formularz
- logic (:8001) — reguły biznesowe, pośrednik
- data (:8002) — wyszukiwanie danych za interfejsem DataProvider

Warstwa danych: czytanie setek plików .xlsx z wykrywaniem nagłówka i
mapowaniem układu kolumn na schemat kanoniczny, z 4-poziomowym cache
(schemat L1, Parquet L2, wyniki zapytań L3, odwrócony indeks L4) i
unieważnianiem po odcisku pliku. Gotowa ścieżka migracji do SQL
(ingest/to_sql.py + SqlDataProvider, przełączane przez DATA_PROVIDER).

Zawiera docker-compose, Makefile, generator danych przykładowych.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
2026-06-26 17:35:09 +02:00
parent a43d1ff955
commit 16d35c16dc
52 changed files with 1491 additions and 1 deletions
+25
View File
@@ -0,0 +1,25 @@
"""Wstępne zbudowanie cache + odwróconego indeksu dla wszystkich plików Excela.
Uruchom raz po wgraniu/aktualizacji plików (albo zostaw warmup przy starcie usługi):
python -m app.ingest.build_index
"""
from __future__ import annotations
from app.config import settings
from app.providers.excel_provider import ExcelDataProvider
def main() -> None:
provider = ExcelDataProvider(settings)
files = provider._excel_files()
print(f"Indeksuję {len(files)} plików z {settings.excel_dir} ...")
for i, path in enumerate(files, 1):
provider._ensure_indexed(path)
if i % 25 == 0 or i == len(files):
print(f" {i}/{len(files)}")
print(f"Gotowe. Zaindeksowane pliki: {provider.index.count_files()}")
if __name__ == "__main__":
main()