Jak zaimportować plik CSV w kibanie

„Wartości rozdzielone przez przecinki (CSV) są jednym z najbardziej wszechstronnych i łatwych w użyciu formatów danych. Jest to lekki format danych, który pozwala programistom i aplikacjom przesyłać i analizować dane z jednego źródła do drugiego.

Dane CSV przechowują dane w formacie tabelarycznym, w którym każda kolumna jest oddzielona przecinkiem, a nowy rekord jest przydzielany do nowej linii. To sprawia, że ​​jest to bardzo dobry wybór do eksportowania baz danych, takich jak bazy danych SQL, dane Cassandra i inne.

Nic więc dziwnego, że napotkasz scenariusz, w którym musisz zaimportować plik CSV do bazy danych.

Celem tego samouczka jest pokazanie szybkiej i prostej metody importowania pliku CSV do klastra ElasticSearch za pomocą pulpitu nawigacyjnego Kibana."

Wskakujmy.

Wymagania

Przed nurkowaniem upewnij się, że masz następujące wymagania:

1. Klaster ElasticSearch z zielonym stanem zdrowia.
2. Serwer Kibana podłączony do klastra ElasticSearch.
3. Wystarczające uprawnienia do zarządzania indeksami w klastrze.

Przykładowy plik CSV

Jak zwykle pierwszym wymogiem jest Twój źródło pliku CSV. Dobrze jest upewnić się, że dane w pliku CSV są dobrze formatowane i że nie zawiera błędów.

Do celów ilustracyjnych użyjemy bezpłatnego zestawu danych zawierającego filmy i programy telewizyjne z Amazon Prime.

Otwórz przeglądarkę i przejdź do zasobu poniżej:

https: // www.Kaggle.COM/Zestawy danych/Shivamb/Amazon-Prime-Movies and-TV-shows

Postępuj zgodnie z procedurą, aby pobrać zestaw danych na komputer lokalny. Możesz wyodrębnić pobrane archiwum za pomocą polecenia:

$ Unzip A ~/Downloads/RChive.zamek błyskawiczny

Zaimportuj plik CSV

Po przygotowaniu pliku źródłowego możemy kontynuować i omówić, jak go zaimportować.

Zacznij od udania się do pulpitu domowego Kibana i wybrania opcji „Prześlij plik”.

Znajdź docelowy plik CSV, który chcesz zaimportować w oknie Launchera.

Wybierz plik źródłowy i kliknij Prześlij.

Pozwól na analizę przesłanego pliku ElasticSearch i Kibana. Spowoduje to przeanalizowanie pliku CSV i określa format danych, pola, typy danych itp.

Uwaga: w zależności od konfiguracji klastra i rozmiaru danych proces ten może potrwać. Upewnij się, że węzeł główny reaguje, aby uniknąć limitu czasu.

Po zakończeniu procesu należy uzyskać próbkę zawartości pliku i statystyki plików, jak analizowano elastyczną.

Możesz na przykład dostosować wiele parametrów, na przykład ograniczenie, wiersze nagłówka itp. Na przykład możemy dostosować powyższe dane wyjściowe, aby poinformować Elastic, że nasz plik CSV zawiera pliki nagłówka.

Następnie możemy kliknąć Zastosuj i ponownie analizować dane. Powinno to sformatować dane we właściwym formacie, w tym pola.

Następnie możemy kliknąć import, aby przejść do importowanego pulpitu nawigacyjnego.

Tutaj musimy utworzyć indeks, w którym przechowywane są dane CSV. Możesz przydzielić dowolną obsługiwaną nazwę do swojego indeksu.

Jeśli chcesz dostosować swoje właściwości indeksu, takie jak liczba odłamków, replik, mapowania itp. Wybierz opcję zaawansowaną i poprawiaj swoje ustawienia w miarę pragnienia serca.

Na koniec kliknij Importuj i obserwuj, jak Kibana robi swoją „magię”. Po zakończeniu możesz uzyskać dostęp do indeksu albo za pośrednictwem API ElasticSearch lub użyć pulpitu nawigacyjnego Kibana.

I skończyłeś!!

Wniosek

W tym poście omówiliśmy proces pobierania i importowania zestawu danych CSV do klastra ElasticSearch za pomocą pulpitu nawigacyjnego Kibana.

Dziękujemy za przeczytanie i szczęśliwe kodowanie!!