So installieren und konfigurieren Sie Elasticsearch unter Ubuntu 20.04

Einführung

Elasticsearch ist eine Plattform für verteilte Suche und Analyse von Daten in Echtzeit. Aufgrund hoher Benutzerfreundlichkeit, leistungsfähiger Funktionen und Skalierbarkeit ist sie eine beliebte Wahl.

In diesem Artikel installieren Sie Elasticsearch, konfigurieren es für Ihren Anwendungsfall, sichern Ihre Installation und unternehmen die ersten Schritte mit Ihrem Elasticsearch-Server.

Voraussetzungen

Bevor Sie dieses Tutorial absolvieren, benötigen Sie Folgendes:

• Einen Ubuntu 20.04-Server mit 4 GB RAM und 2 CPUs, eingerichtet mit einem non-root sudo user. Sie können hierzu auch der Ersteinrichtung eines Servers unter Ubuntu 20.04 folgen

• Installiertes OpenJDK 11

In diesem Tutorial arbeiten wir mit der Mindestmenge von CPUs und RAM, die zur Ausführung von Elasticsearch benötigt werden. Beachten Sie, dass die Menge von CPUs, RAM und Speicher, die Ihr Elasticsearch-Server benötigt, von der Menge der Protokolle abhängt, die Sie erwarten.

Schritt 1 — Installieren und Konfigurieren von Elasticsearch

Die Elasticsearch-Komponenten sind in Standard-Paket-Repositorys von Ubuntu nicht verfügbar. Sie können jedoch mit APT installiert werden, nachdem Sie die Paketquellliste von Elastic hinzugefügt haben.

Alle Pakete werden mit dem Signierschlüssel von Elasticsearch signiert, um das System vor Paket-Spoofing zu schützen. Pakete, die mit dem Schlüssel authentifiziert wurden, werden von Ihrem Paketmanager als vertrauenswürdig eingestuft. In diesem Schritt importieren Sie den öffentlichen GPG-Schlüssel von Elasticsearch und fügen die Paketquellliste von Elasticsearch hinzu, um Elasticsearch zu installieren.

Verwenden Sie zunächst cURL, das Befehlszeilentool zur Übertragung von Daten mit URLs, um den öffentlichen GPG-Schlüssel von Elasticsearch in APT zu importieren. Beachten Sie, dass wir die Argumente -fsSL nutzen, um alle Fortschritte und möglichen Fehler stumm zu schalten (ausgenommen Serverfehler) und um zuzulassen, dass cURL bei einer Umleitung eine Anfrage an einem neuen Ort stellt. Leiten Sie die Ausgabe des cURL-Befehls in das APT-Schlüsselprogramm weiter, das den öffentlichen GPG-Schlüssel zu APT hinzufügt.

curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Fügen Sie als Nächstes die Elastic-Quellliste in das Verzeichnis sources.list.d ein, in dem APT nach neuen Quellen sucht:

echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

Aktualisieren Sie als Nächstes Ihre Paketlisten, damit APT die neue Elastic-Quelle liest:

sudo apt update

Installieren Sie dann Elasticsearch mit diesem Befehl:

sudo apt install elasticsearch

Elasticsearch ist nun installiert und bereit für die Konfiguration.

Schritt 2 — Konfigurieren von Elasticsearch

Um Elasticsearch zu konfigurieren, bearbeiten wir die Hauptkonfigurationsdatei elasticsearch.yml, in der die meisten Konfigurationsoptionen gespeichert sind. Diese Datei befindet sich im Verzeichnis /etc/elasticsearch.

Verwenden Sie zur Bearbeitung der Konfigurationsdatei von Elasticsearch Ihren bevorzugten Texteditor. Wir verwenden hier nano:

sudo nano /etc/elasticsearch/elasticsearch.yml

Die Datei elasticsearch.yml bietet Konfigurationsoptionen für Cluster, Knoten, Pfade, Arbeitsspeicher, Netzwerk, Suche und Gateway. Die meisten dieser Optionen sind in der Datei vorkonfiguriert, aber Sie können sie je nach Ihren Bedürfnissen ändern. Im Sinne unserer Demonstration einer Konfiguration mit nur einem Server werden wir nur die Einstellungen für den Netzwerkhost anpassen.

Elasticsearch lauscht an Port 9200 auf Verkehr von überall. Sie werden externen Zugriff auf Ihre Elasticsearch-Instanz einschränken wollen, um zu verhindern, dass externe Personen Ihre Daten lesen oder Ihren Elasticsearch-Cluster mit der [REST-API] (https://de.wikipedia.org/wiki/Representational_State_Transfer) herunterfahren. Um Zugriff zu beschränken und damit die Sicherheit zu erhöhen, suchen Sie nach der Zeile, die network.host angibt, heben Sie die Kommentierung auf und ersetzen den Wert durch localhost, sodass die Zeile wie folgt aussieht:

. . .
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: localhost
. . .

Wir haben localhost angegeben, damit Elasticsearch an allen Schnittstellen und gebundenen IPs lauscht. Wenn Sie möchten, dass nur an einer bestimmten Schnittstelle gelauscht werden soll, können Sie deren IP-Adresse an Stelle von localhost angeben. Speichern und schließen Sie elasticsearch.yml. Wenn Sie nano verwenden, können Sie dazu STRG+X drücken, gefolgt von Y und dann ENTER.

Das sind die Mindesteinstellungen, mit denen Sie beginnen können, um Elasticsearch zu verwenden. Sie können Elasticsearch jetzt zum ersten Mal starten.

Starten Sie den Elasticsearch-Dienst mit systemctl. Geben Sie Elasticsearch einige Momente zum Starten. Andernfalls erhalten Sie möglicherweise Fehlermeldungen, dass Sie keine Verbindung herstellen können.

sudo systemctl start elasticsearch

Führen Sie als Nächstes den folgenden Befehl aus, damit Elasticsearch bei jedem Server-Boot gestartet wird:

sudo systemctl enable elasticsearch

Nachdem Elasticsearch beim Starten nun aktiviert ist, fahren wir mit dem nächsten Schritt fort und besprechen das Thema Sicherheit.

Schritt 3 — Sichern von Elasticsearch

Standardmäßig kann Elasticsearch von jedem kontrolliert werden, der auf die HTTP-API zugreifen kann. Das ist nicht immer ein Sicherheitsproblem, da Elasticsearch nur an der Loopback-Schnittstelle lauscht (d. h. 127.0.0.1), auf die nur lokal zugegriffen werden kann. So ist kein öffentlicher Zugriff möglich und solange alle Serverbenutzer vertrauenswürdig sind, ist Sicherheit möglicherweise kein großes Problem.

Wenn Sie Remotezugriff auf die HTTP-API zulassen müssen, können Sie das Gefahrenpotenzial im Netzwerk mit der Standard-Firewall von Ubuntu (UFW) reduzieren. Diese Firewall sollte bereits aktiviert sein, wenn Sie die Schritte im Tutorial Ersteinrichtung eines Servers unter Ubuntu 20.04 ausgeführt haben.

Wir konfigurieren nun die Firewall, um Zugriff auf den standardmäßigen HTTP-API-Port (TCP 9200) für den vertrauenswürdigen Remote-Host zuzulassen. Das ist in der Regel der Server, den Sie in einer Einrichtung mit einem einzelnen Server verwenden, wie zum Beispiel 198.51.100.0. Geben Sie, um Zugriff zuzulassen, den folgenden Befehl ein:

sudo ufw allow from 198.51.100.0 to any port 9200

Danach können Sie UFW mit folgendem Befehl aktivieren:

sudo ufw enable

Überprüfen Sie abschließend mit folgendem Befehl den Status von UFW:

sudo ufw status

Wenn Sie die Regeln richtig angegeben haben, sollten Sie eine Ausgabe wie diese erhalten:

Output
Status: active

To                         Action      From
--                         ------      ----
9200                       ALLOW      198.51.100.0
22                         ALLOW       Anywhere
22 (v6)                    ALLOW       Anywhere (v6)

Die UFW sollte jetzt aktiviert und zum Schutz von Elasticsearch Port 9200 eingerichtet ein.

Wenn Sie in zusätzlichen Schutz investieren möchten, bietet Elasticsearch das kommerzielle Shield-Plugin zum Kauf an.

Schritt 4 — Testen von Elasticsearch

Jetzt sollte Elasticsearch an Port 9200 ausgeführt werden. Sie können das mit cURL und einer GET-Anfrage testen.

curl -X GET 'http://localhost:9200'

Sie sollten die folgende Antwort erhalten:

Output
{
  "name" : "elasticsearch-ubuntu20-04",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "qqhFHPigQ9e2lk-a7AvLNQ",
  "version" : {
    "number" : "7.6.2",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
    "build_date" : "2020-03-26T06:34:37.794943Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

Wenn Sie eine Antwort sehen, die der obigen ähnelt, funktioniert Elasticsearch richtig. Wenn nicht, stellen Sie sicher, dass Sie die Installationsanweisungen richtig befolgt und Elasticsearch Zeit zum vollständigen Starten gegeben haben.

Um eine gründlichere Prüfung von Elasticsearch vorzunehmen, führen Sie den folgenden Befehl aus:

curl -XGET 'http://localhost:9200/_nodes?pretty'

In der Ausgabe des obigen Befehls können Sie alle aktuellen Einstellungen für Knoten, Cluster, Anwendungspfade, Module und mehr überprüfen.

Schritt 5 — Verwenden von Elasticsearch

Um mit der Verwendung von Elasticsearch zu beginnen, fügen wir zuerst Daten hinzu. Elasticsearch nutzt eine RESTful-API, die auf die üblichen CRUD-Befehle reagiert: create, read, update und delete. Dazu verwenden wir erneut den Befehl cURL.

Sie können Ihren ersten Eintrag wie folgt hinzufügen:

curl -XPOST -H "Content-Type: application/json" 'http://localhost:9200/tutorial/helloworld/1' -d '{ "message": "Hello World!" }'

Sie sollten die folgende Antwort erhalten:

Output
{"_index":"tutorial","_type":"helloworld","_id":"1","_version":2,"result":"updated","_shards":{"total":2,"successful":1,"failed":0},"_seq_no":1,"_primary_term":1}

Mit cURL haben wir eine HTTP-POST-Anfrage an den Elasticsearch-Server gesendet. Der URI der Anfrage war /tutorial/helloworld/1 mit mehreren Parametern:

• tutorial ist der Index der Daten in Elasticsearch.
• helloworld ist der Typ.
• 1 ist die ID unseres Eintrags unter dem obigen Index und Typ.

Sie können diesen ersten Eintrag mit einer HTTP-GET-Anfrage abrufen.

curl -X GET -H "Content-Type: application/json" 'http://localhost:9200/tutorial/helloworld/1' -d '{ "message": "Hello World!" }'

Die Ausgabe sollte wie folgt aussehen:

Output
{"_index":"tutorial","_type":"helloworld","_id":"1","_version":1,"found":true,"_source":{ "message": "Hello, World!" }}

Um einen bestehenden Eintrag zu ändern, können Sie eine HTTP-PUT-Anfrage verwenden.

curl -X PUT -H "Content-Type: application/json"  'localhost:9200/tutorial/helloworld/1?pretty' -d '
{
  "message": "Hello, People!"
}'

Elasticsearch sollte die erfolgreiche Änderung wie folgt bestätigen:

Output
{
  "_index" : "tutorial",
  "_type" : "helloworld",
  "_id" : "1",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

Im obigen Beispiel haben wir die message des ersten Eintrags in “Hello, People!” geändert. Damit wurde die Versionsnummer automatisch auf 2 erhöht.

Vielleicht haben Sie in der obigen Anfrage das zusätzliche Argument pretty bemerkt. Das ermöglicht ein visuell lesbares Format, sodass Sie jedes Datenfeld in eine neue Zeile schreiben können. Sie können Ihre Ergebnisse beim Abruf von Daten auch „verschönern“, um eine besser lesbare Ausgabe zu erhalten, indem Sie den folgenden Befehl eingeben:

curl -X GET -H "Content-Type: application/json" 'http://localhost:9200/tutorial/helloworld/1?pretty'

Nun wird die Antwort so formatiert, dass sie visuell analysiert werden kann:

Output
{
  "_index" : "tutorial",
  "_type" : "helloworld",
  "_id" : "1",
  "_version" : 2,
  "_seq_no" : 1,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "message" : "Hello, People!"
  }
}

}

Wir haben jetzt Daten in Elasticsearch hinzugefügt und abgefragt. Um mehr über die anderen Operationen zu erfahren, konsultieren Sie bitte die API-Dokumentation.

Zusammenfassung

Sie haben Elasticsearch jetzt installiert, konfiguriert und erstmals verwendet. Um die Funktionalität von Elasticsearch weiter zu erkunden, lesen Sie bitte die offizielle Elasticsearch-Dokumentation.