Wymagania

1. Wymagana jest usługa Elasticsearch w wersji 7 lub 8  (uruchamiana w poniższej sekcji Konfiguracja i punkcie 3).

Instalacja

Szkolenie z instalacji i konfiguracji ElasticSearch-20231121_100214-Nagrywanie spotkania.mp4

Obsługa Dockera

1. Usuwanie kontenerów - Będąc w lokalizacji pliku docker-compose.yml należy wywołać:

   docker compose down

   Jeżeli chcemy również usunąć wolumen ze wszystkimi danymi wywołujemy z opcją -v
   

   docker compose down -v

2. Jeżeli chcemy utworzyć kontenery bez wyświetlania logów, dodajemy komendę -d
   

   docker compose up -d

3. Aby wyświetlić status kontenerów należy wykonać:

   docker stats

Konfiguracja

1. Wymagana jest instalacja Dockera wraz z Docker Compose. 
2. W repozytorium kodu (lub docker-compose.yml, docker-compose8.yml - dla wersji 8) plusworkflow/plusworkflow-core znajduje się docker-compose.yml do uruchomienia elastica i Kibany lokalnie (docker-compose8.yml dla wersji 8).
3. W celu zmiany nazwy użytkownika i hasła do usługi należy zmodyfikować parametry ELASTIC_USERNAME i ELASTIC_PASSWORD w sekcji elasticsearch w pliku docker-compose.yml. 
   Należy też zmienić parametry ELASTICSEARCH_USERNAME i ELASTICSEARCH_PASSWORD sekcji kibana powyższego pliku (połączenie Kibany z usługą Elastica).
   
   Dla wersji 8 parametr ELASTIC_USERNAME  nie jest używany.
   Od wersji 8 kibany nazwa użytkownika "elastic" jest zastrzeżona, dlatego trzeba w pliku zmienić na inną nazwę.
   
   Warte uwagi są jeszcze następujące parametry:
   
   
   • ES_SETTING_SEARCH_MAX__OPEN__SCROLL__CONTEXT - domyślna wartość w Elasticu to 500, zwiększamy w przypadku wystąpienia błędu - Trying to create too many scroll contexts (występuje najczęściej przy usuwaniu procesów)
   • ES_SETTING_CLUSTER_MAX__SHARDS__PER__NODE - domyślna wartość to 1000, zwiększamy przy wystąpieniu błędu - this action would add [2] shards, but this cluster currently has [1000]/[1000] maximum normal shards open (może wystąpić podczas indeksowania zadaniem zaplanowanym)

4. Będąc w lokalizacji powyższego pliku docker-compose.yml należy wywołać:

   docker compose up

5. Trzeba ustawić flagę w experimental.properties:

   elasticProcessSearch=true

6. Dodać plik w katalogu domowym w configu: elastic.properties o zawartości:

   elastic.hostname=localhost elastic.port=9200 elastic.username=elastic elastic.password=elastic #Opcjonalne elastic.environment= elastic.protocol=

7. Opcjonalnie można podać parametr elastic.environment, który jest przydatny w przypadku jednej usługi Elasticsearch dla kilku instancji systemu. Podajemy w nim unikalną nazwę dla każdej z tych instancji. 
   Nazwa nie może zawierać następujących znaków: spacja, ", *, \, <, |, ,, >, /, ?

8. Opcjonalnie można podać parametr elastic.protocol, który określa, czy komunikacja z usługą Elasticsearch powinna odbywać się po HTTPS, czy HTTP (W zależności od ustawień serwera). Podajemy w nim wartość https lub http. W przypadku braku parametru, komunikacja odbywa się domyślnie po HTTP.

   Jeżeli komunikacja z Elasticsearch odbywa się po HTTPS, to należy uzupełnić parametr elastic.protocol wartością https. Aby komunikacja z usługą działała poprawnie, należy wgrać ważny certyfikat do systemu. Można skorzystać z systemowej zakładki Certyfikaty.

9. Włączyć parametr systemowy ElasticEnabled (jeśli istnieje)

10. Dodać zadanie zaplanowane o nazwie: Indeksowanie procesów i zadań. Po jego uruchomieniu zastaną zaindeksowane wszystkie procesy i zadania.

    Zadanie powinno być uruchamiane na żądanie, nie powinno być ustawione jako cykliczne. Najczęściej uruchamiamy je przy nowej instancji Elastica dla istniejącego systemu (w celu przesłania danych do Elastica), nowe dane są przesyłane na bieżąco. W przypadku wystąpienia rozbieżności w danych w Elasticu pomocne jest uruchomienie zadania. W przypadku dużych baz danych można jednak uruchamiać zadanie jako cykliczne (jest to opisane w opisie zadania).

    Szczegółowy opis w sekcji Zadania zaplanowane

    
    

11.  Dodać zadanie zaplanowane o nazwie: Indeksowanie brakujących procesów i zadań.

    Szczegółowy opis w sekcji Zadania zaplanowane

    
    

12. [Opcjonalnie] Dodać zadanie zaplanowane o nazwie: Usuwanie indeksów procesów i zadań. 

    Szczegółowy opis w sekcji Zadania zaplanowane

    
    

13. [Opcjonalnie] Dodać zadanie zaplanowane o nazwie: Indeksowanie wskazanych procesów i ich zadań.

    Szczegółowy opis w sekcji Zadania zaplanowane

    
    

Zadania zaplanowane

1. Indeksowanie procesów i zadań
   

   Zadanie posiada parametr "Rozmiar części", który odpowiada za dzielenie indeksowanych danych. Manipulując nim można mieć wpływ na szybkość wykonywania zadania.
   
   Zadanie po przetworzeniu każdej z części zapisuje w parametrze zadania "ID ostatniego zaindeksowanego zadania" ID ostatniego zaindeksowanego zadania z paczki. W przypadku wystąpienia błędu podczas wykonywania zadania i po jego ponownym uruchomieniu zadanie wznowi indeksowanie od ID procesu zapisanego w parametrze. W celu zresetowania zadania, należy jako wartość parametru podać 0. Po pomyślnym wykonaniu zadania wartość parametru jest ustawiana na 0.
   
   Zadanie posiada mechanizm powtarzania indeksowania danych w Elasticu (w przypadku np. wystąpienia problemów z połączeniem). Parametr "Ilość ponownych prób" określa ile razy będzia powtarzana próba wysłania danych do Elastica, a "Czas oczekiwania na ponowną próbę"  określa czas między kolejnymi próbami.

   Parametr Maksymalny czas indeksowania pozwala określić jak długo maksymalnie ma wykonywać się zadanie (w godzinach). Domyślna wartość to 96 godzin.

   Parametr Usuwaj indeksy decyduje, czy przed rozpoczęciem indeksowania usunąć wszystkie indeksy (przy pierwszym uruchomieniu zadania).

   Parametr Dezaktywuj po sukcesie jest pomocny w przypadku uruchamiania zadania w interwałach. Po zakończeniu indeksowania zadanie jest dezaktywowane.

   
   

2. Usuwanie indeksów procesów i zadań
   
   Zadanie zaleca się uruchamiać przy każdej potrzebie przeindeksowania procesów i zadań (przed uruchomieniem powyżej opisanego zadania). Zadanie usuwa wszystkie indeksu w Elasticsearch i nie powinno być uruchamiane jako cykliczne.
   
   
3. Indeksowanie brakujących procesów i zadań
   

   Zadanie indeksuje procesy/zadania, niezaindeksowane w Elasticsearch np. z powodu problemów z połączeniem z Elasticiem. Zadanie powinno być ustawione jako cykliczne.

   Zadanie sprawdza czy w tabeli pm_elastic_missing_docs są jakiekolwiek wpisy, jeśli tak to następuje próba ich ponownego zaindeksowania w Elasticsearch. Pożądanym stanem jest pusta wcześniej wspomniana tabela.

   
   
4. Indeksowanie wskazanych procesów i ich zadań
   

   Zadanie indeksuje tylko wskazane procesy wraz z ich zadaniami poprzez podanie listy definicji procesów.

   Parametr Lista definicji procesów pozwala określić listę definicji procesów do indeksowania w formacie: id_pakietu.id_definicja_zadania.

   Pozostałe parametry zadania są analogiczne jak w zadaniu Indeksowanie procesów i zadań.

5. Zmiana loginu w Elasticsearch
   Zadanie może zostać użyte w przypadku niepowodzenia zmiany loginu użytkownika w Elasticsearch, przy użyciu mechanizmu uruchamianego podczas edycji użytkownika w systemie (np. login został zmieniony w bazie danych, a w Elasticu nie).
   Jako parametry podajemy stary i nowy login użytkownika.

Parametry systemowe

1. ElasticEnabled - ma wpływ na wykorzystanie Elastica przy wyszukiwaniu procesów i zadań (procesy i zadania są indeksowane).
2. ElasticCompletedActivitiesCacheExpTime - określa przez jaki czas (w sekundach) zadania znajdują się w cache po akceptacji. Cache jest przydatny w przypadku dłuższego oczekiwania na zaindeksowanie akceptacji w Elasticu (jeśli zadanie się w nim znajduje, to jest ukrywane na widoku jako zadanie do akceptacji).
3. ElasticMaxInnerResultWindow - określa ilość możliwych do zaindeksowania/wyświetlenia wierszy tabel dla Elastic'a.
4. ElasticMaxResultWindow - określa wielkość okna wyszukiwania w Elastic'u, czyli maksymalną ilość wyników wyszukiwania. Wartość parametru jest przesyłana do Elastic'a w trakcie zadania zaplanowanego indeksowania dokumentów.
5. ElasticRequestTimeout - określa maksymalny czas połączenia i zapytania w Elasticsearch (w sekundach).
   
   

Rekomendacje sprzętowe

1. Zalecane jest stosowanie dysków SSD na maszynie, gdzie znajduje się usługa Elastic.
2. Ilość pamięci RAM to minimum 8GB. Zaleca się, by pamięć RAM wynosiła 16-64GB. Należy zwrócić uwagę jaką pamięcią dysponuje kontener Elastica.

3. Jeśli usługa Elastica znajduje się w innej lokalizacji niż system Plusworkflow należy umożliwić połączenie o jak największej przepustowości pomiędzy nimi.

   W przypadku używania ElasticSearch na środowisku produkcyjnym zaleca się ustawić vm.max_map_count na co najmniej 262144 Linux: grep vm.max_map_count /etc/sysctl.conf sysctl -w vm.max_map_count=262144