Wymagania

1. Wymagana jest usługa Elasticsearch w wersji 7  (uruchamiana w poniższej sekcji Konfiguracja i punkcie 3).

Instalacja

Szkolenie z instalacji i konfiguracji ElasticSearch-20231121_100214-Nagrywanie spotkania.mp4

Konfiguracja

1. Wymagana jest instalacja Dockera wraz z Docker Compose. 
2. W repozytorium kodu (lub docker-compose.yml) plusworkflow/plusworkflow-core znajduje się docker-compose.yml do uruchomienia elastica i Kibany lokalnie.
3. W celu zmiany nazwy użytkownika i hasła do usługi należy zmodyfikować parametry ELASTIC_USERNAME i ELASTIC_PASSWORD w sekcji elasticsearch w pliku docker-compose.yml. 
   Należy też zmienić parametry ELASTICSEARCH_USERNAME i ELASTICSEARCH_PASSWORD sekcji kibana powyższego pliku (połączenie Kibany z usługą Elastica).
   Warte uwagi są jeszcze następujące parametry:

• ES_SETTING_SEARCH_MAX__OPEN__SCROLL__CONTEXT - domyślna wartość w Elasticu to 500, zwiększamy w przypadku wystąpienia błędu - Trying to create too many scroll contexts (występuje najczęściej przy usuwaniu procesów)
• ES_SETTING_CLUSTER_MAX__SHARDS__PER__NODE - domyślna wartość to 1000, zwiększamy przy wystąpieniu błędu - this action would add [2] shards, but this cluster currently has [1000]/[1000] maximum normal shards open (może wystąpić podczas indeksowania zadaniem zaplanowanym)

...

Będąc w lokalizacji powyższego pliku docker-compose.yml należy wywołać:

docker compose up

...

Trzeba ustawić flagę w experimental.properties:

elasticProcessSearch=true

...

Dodać plik w katalogu domowym w configu: elastic.properties o zawartości:

elastic.hostname=localhost
elastic.port=9200
elastic.username=elastic
elastic.password=elastic
#Opcjonalne
elastic.environment=
elastic.protocol=

...

Opcjonalnie można podać parametr elastic.protocol, który określa, czy komunikacja z usługą Elasticsearch powinna odbywać się po HTTPS, czy HTTP (W zależności od ustawień serwera). Podajemy w nim wartość https lub http. W przypadku braku parametru, komunikacja odbywa się domyślnie po HTTP.

...

Dodać zadanie zaplanowane o nazwie: Indeksowanie procesów i zadań. Po jego uruchomieniu zastaną zaindeksowane wszystkie procesy i zadania.

...

Parametr Maksymalny czas indeksowania pozwala określić jak długo maksymalnie ma wykonywać się zadanie (w godzinach). Domyślna wartość to 96 godzin.

Parametr Usuwaj indeksy decyduje, czy przed rozpoczęciem indeksowania usunąć wszystkie indeksy (przy pierwszym uruchomieniu zadania).

Parametr Dezaktywuj po sukcesie jest pomocny w przypadku uruchamiania zadania w interwałach. Po zakończeniu indeksowania zadanie jest dezaktywowane.

...

Dodać zadanie zaplanowane o nazwie: Usuwanie indeksów procesów i zadań, które zaleca się uruchamiać przy każdej potrzebie przeindeksowania procesów i zadań (przed uruchomieniem powyżej opisanego zadania). Zadanie usuwa wszystkie indeksu w Elasticsearch i nie powinno być uruchamiane jako cykliczne.

...

Dodać zadanie zaplanowane o nazwie: Indeksowanie brakujących procesów i zadań, które indeksuje procesy/zadania, niezaindeksowane w Elasticsearch np. z powodu problemów z połączeniem z elasticiem. Zadanie powinno być ustawione jako cykliczne.

Zadanie sprawdza czy w tabeli pm_elastic_missing_docs są jakiekolwiek wpisy, jeśli tak to następuje próba ich ponownego zaindeksowania w Elasticsearch. Pożądanym stanem jest pusta wcześniej wspomniana tabela.

...

Dodać zadanie zaplanowane o nazwie: Indeksowanie wskazanych procesów i ich zadań, które indeksuje tylko wskazane procesy wraz z ich zadaniami poprzez podanie listy definicji procesów. 

Parametr Lista definicji procesów pozwala określić listę definicji procesów do indeksowania w formacie: id_pakietu.id_definicja_zadania.

Pozostałe parametry zadania są analogiczne jak w zadaniu Indeksowanie procesów i zadań.

Parametry systemowe

1. ElasticEnabled - ma wpływ na wykorzystanie Elastica przy wyszukiwaniu procesów i zadań (procesy i zadania są indeksowane).

Rekomendacje sprzętowe

...

Jeśli usługa Elastica znajduje się w innej lokalizacji niż system Plusworkflow należy umożliwić połączenie o jak największej przepustowości pomiędzy nimi.

...

...

sysctl -w vm.max_map_count=262144

Problemy z wydajnością indeksowania oraz pamięcią

1. Zwiększyć wartość -Xmx parametru ES_JAVA_OPTS sekcji elasticsearch w pliku docker-compose.yml na odpowiednio wyższą wartość. 

   Kontener elastica należy zaktualizować przy użyciu polecenia:

   Code Block
   docker compose up

2. W przypadku, gdy usługa Elastica znajduje się na serwerze w innej lokalizacji można zmniejszać wartość parametru "Rozmiar części" zadania zaplanowanego do indeksowania. Spowoduje to zmniejszenie requesta przesyłanego do Elastica.

3. Spróbować zwiększyć limit przepustowości w Kibanie z poziomu zakładki Management -> Dev Tools wywołując (domyślnie jest to 20mb):

   Code Block
   PUT /_cluster/settings { "persistent" : { "indices.store.throttle.max_bytes_per_sec" : "100mb" } }

   Na czas indeksowania można też dokonać następującej zmiany:

   Code Block
   PUT /_cluster/settings { "transient" : { "indices.store.throttle.type" : "none" } }

   Po skończonym indeksowaniu należy ustawić wartość "merge" tym samym poleceniem.

4. Wyłączenie swapping dla większej stabilności node'a https://www.elastic.co/guide/en/elasticsearch/reference/7.17/setup-configuration-memory.html

Obsługa Kibany

...

Przy pierwszym uruchomieniu Kibany trzeba ustawić patterny dla indeksów (process* dla procesów i activity* dla zadań).

...

Management -> Stack Management -> IndexManagement

...

W przypadku wystąpienia błędu:

Validation Failed: 1: this action would add [2] shards, but this cluster currently has [1000]/[1000] maximum normal shards open;

...

PUT /_cluster/settings
{
  "persistent" : {
      "cluster.max_shards_per_node": "2000"
  }
}

Zadanie zaplanowane automatycznie dostosowuje wartość powyższego parametru (na podstawie liczby definicji procesów/zadań), jednak może być potrzeba ręcznej jego zmiany (np. w przypadku kilku instancji systemu na jednym elasticu).

W przypadku wystąpienia błędu (może wystąpić podczas usuwania procesów):

Trying to create too many scroll contexts. Must be less than or equal to: [500]

...

PUT /_cluster/settings
{
  "persistent" : {
      "search.max_open_scroll_context": 10000
  }
}

Usuwanie wiele indeksów na raz

Domyślnie opcja usuwania wielu niejednoznacznych indeksów jest wyłączona.
Image Removed
Aby móc korzystać z takiej opcji należy wywołać:

PUT /_cluster/settings
{
  "transient": {
      "action.destructive_requires_name":false
  }
}

Przykłady:

Usuwanie indeksów z prefixem activity:

DELETE /activity*

Usuwanie wszystkich indeksów (ukryte indeksy nie zostaną usunięte):

DELETE _all

Obsługa Dockera

1. Usuwanie kontenerów - Będąc w lokalizacji pliku docker-compose.yml należy wywołać:

   Code Block
   docker compose down

   Jeżeli chcemy również usunąć wolumen ze wszystkimi danymi wywołujemy z opcją -v
   

   Code Block
   docker compose down -v

2. Jeżeli chcemy utworzyć kontenery bez wyświetlania logów, dodajemy komendę -d
   

   Code Block
   docker compose up -d

3. Aby wyświetlić status kontenerów należy wykonać:

   Code Block
   docker stats

Uwagi

1. Po usunięciu/anulowaniu procesu lub zawieszeniu/anulowaniu/przywróceniu zadania z poziomu widoku wyników wyszukiwania daną mogą nie być spójne, należy ponowne wyszukać.
2. Wyszukiwanie zadań z użyciem pól związanych z terminami ostatecznymi nie wyszukuje tylko zadań z terminami ostatecznymi.
3. Zmienne tabelaryczne są wyświetlane wyłącznie w ramach jednego wiersza.

4. Jeśli wystąpi poniższy błąd podczas eksportu wyników wyszukiwania do pliku:

   Code Block
   java.io.IOException: entity content is too long [356732089] for the configured buffer limit [104857600]

   to należy zmniejszyć wartość parametru systemowego PackSizeInAdvanceSearchExport. 

   Błąd ten oznacza, że request przesyłany do Elastica jest za duży (domyślnie jest to 100 MB). Istnieje możliwość zwiększenia tego limitu po stronie Elastica (bez zmniejszania parametru systemowego), jednak jest to niezalecane. 

   Limit można zwiększyć w pliku docker-compose.yml w sekcji elasticsearch -> environment, dodając linijkę:

   Code Block
   "http.max_content_length": "200mb"

   z odpowiednią wartością rozmiaru request'a. Kontener elastica należy zaktualizować przy użyciu polecenia:

   Code Block
   docker compose up

Przydatne linki:

1. Jak działa elastic - https://www.elastic.co/blog/found-elasticsearch-top-down
2. Multi-nodes docker - https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html#docker-cli-run-dev-mode
3. Wydajność - https://www.elastic.co/guide/en/elasticsearch/reference/8.6/tune-for-indexing-speed.html
   https://www.elastic.co/guide/en/elasticsearch/guide/master/indexing-performance.html
4. Optymalizacja wyszukiwania - https://www.elastic.co/blog/found-optimizing-elasticsearch-searches/
5. Wymagania sprzętowe - https://www.elastic.co/guide/en/elasticsearch/guide/master/hardware.html
6. Optymalizacja pamięci - https://www.elastic.co/guide/en/elasticsearch/reference/7.17/setup-configuration-memory.html