From b0fe3b93a9050a7446b49f4fd5cf5aa172042456 Mon Sep 17 00:00:00 2001 From: Migatu Date: Sat, 6 Apr 2024 22:44:36 +0200 Subject: [PATCH] Update librarian --- bot.py | 2 +- conjurer_librarian/conjurer_librarian.py | 8 +++++++- 2 files changed, 8 insertions(+), 2 deletions(-) diff --git a/bot.py b/bot.py index 7c73573..c5bed69 100644 --- a/bot.py +++ b/bot.py @@ -73,7 +73,7 @@ FILE_SERVICE_ADDRESS = "http://192.168.1.15:5000" GET_MP3 = "/mp3" SEND_MP3 = "/update_mp3" GET_PLAYLIST = "/get_music" -LIBRARIAN_SERVICE_ADDRESS = "http://192.168.1.191:5001" +LIBRARIAN_SERVICE_ADDRESS = "http://192.168.1.192:5001" SEND_QUERY = "/query" TIME_BETWEEN_CALLS = 100000 LAST_SPONTANEOUS_CALL = datetime.now() diff --git a/conjurer_librarian/conjurer_librarian.py b/conjurer_librarian/conjurer_librarian.py index e0c326c..b4f317b 100644 --- a/conjurer_librarian/conjurer_librarian.py +++ b/conjurer_librarian/conjurer_librarian.py @@ -62,7 +62,13 @@ class Librarian(object): # convert back to json. json.dump(file_data, data_file, indent=4) return result - +#TODO: check if exists odpala wątki dla kolejnych plików, z każdego wątku dostaje zwrotki - trafienia na bieżąco oraz sygnał że plik się skończył i pora na następny +#TODO: paczki danych są upychane po 10 w tablicy, POSTy ze strony klienta mówią tylko nazwę tablicy (poprzez UUID) oraz którą stronę tejże +#TODO: jeśli UUID nie istnieje to budujemy całość dla nowego uuid +#TODO: kiedy wszystkie wątki pilokowe się zakończą - zamykamy merger i dajemy znać do procedury obsługi odpowiadania na posty że dla tego uuid już nic więcej nie znajdziemy +#TODO: po 60 minutach storeujemy wyniki zapytania pod query w sql i kasujemy UUID +#TODO: Później robimy tak że query jest najpierw sprawdzane w sql - i dawane jako "zapisana lokalna kopia" +#TODO: Paginacja - najpierw hity z pliku, potem na końcu to co nie zwróciło żadnych hitów - i to dopiero można crawlerem sprawdzić def check_if_exists(self,page_url): #TODO: Spowolnic