mirror of
https://github.com/migatu/conjurer.git
synced 2026-07-14 21:38:38 +00:00
Update librarian
This commit is contained in:
@@ -73,7 +73,7 @@ FILE_SERVICE_ADDRESS = "http://192.168.1.15:5000"
|
||||
GET_MP3 = "/mp3"
|
||||
SEND_MP3 = "/update_mp3"
|
||||
GET_PLAYLIST = "/get_music"
|
||||
LIBRARIAN_SERVICE_ADDRESS = "http://192.168.1.191:5001"
|
||||
LIBRARIAN_SERVICE_ADDRESS = "http://192.168.1.192:5001"
|
||||
SEND_QUERY = "/query"
|
||||
TIME_BETWEEN_CALLS = 100000
|
||||
LAST_SPONTANEOUS_CALL = datetime.now()
|
||||
|
||||
@@ -62,7 +62,13 @@ class Librarian(object):
|
||||
# convert back to json.
|
||||
json.dump(file_data, data_file, indent=4)
|
||||
return result
|
||||
|
||||
#TODO: check if exists odpala wątki dla kolejnych plików, z każdego wątku dostaje zwrotki - trafienia na bieżąco oraz sygnał że plik się skończył i pora na następny
|
||||
#TODO: paczki danych są upychane po 10 w tablicy, POSTy ze strony klienta mówią tylko nazwę tablicy (poprzez UUID) oraz którą stronę tejże
|
||||
#TODO: jeśli UUID nie istnieje to budujemy całość dla nowego uuid
|
||||
#TODO: kiedy wszystkie wątki pilokowe się zakończą - zamykamy merger i dajemy znać do procedury obsługi odpowiadania na posty że dla tego uuid już nic więcej nie znajdziemy
|
||||
#TODO: po 60 minutach storeujemy wyniki zapytania pod query w sql i kasujemy UUID
|
||||
#TODO: Później robimy tak że query jest najpierw sprawdzane w sql - i dawane jako "zapisana lokalna kopia"
|
||||
#TODO: Paginacja - najpierw hity z pliku, potem na końcu to co nie zwróciło żadnych hitów - i to dopiero można crawlerem sprawdzić
|
||||
|
||||
def check_if_exists(self,page_url):
|
||||
#TODO: Spowolnic
|
||||
|
||||
Reference in New Issue
Block a user