Rozpoczęcie pracy z AWS EMR

Amazon Cloud Provider oferuje usługę EMR, za pomocą której klastry można uruchomić w ciągu kilku minut, nie martwiąc się o zarządzanie klastrami i udostępnianie węzłów. Umożliwia niezależne rosnące usługi magazynowe i obliczeniowe Amazon, co prowadzi do lepszego wykorzystania zasobów. Pozwala użytkownikowi przechowywać dane w wiadrze Amazon S3 i uruchamiać je za pomocą usług obliczeniowych platformy.

Zacznijmy od usługi Amazon EMR.

Rozpoczęcie pracy z AWS EMR

Amazon EMR to usługa zarządzania danymi, która wykorzystuje różne ramy do analizy dużych zbiorów danych poprzez tworzenie klastrów za pomocą instancji Amazon EC2, a jej przepływ pracy został wyjaśniony poniżej:

Planuj i skonfiguruj: Aby utworzyć klaster EMR, użytkownik musi zaplanować pamięć wymaganą do zarządzania dużymi zbiorami danych, a następnie wybrać frameworks do analizy dużych zbiorów danych.

Zarządzać: Zarządzanie klastrem można wykonać, łącząc się z nim, a następnie przesyłając dane w klastrze, aby sprawdzić wyniki przed zakończeniem klastra:

Posprzątać: Ten krok dotyczy zakończenia klastra i jego zasobów i jest ważny, ponieważ bezczynne klastry mogą bardzo kosztować użytkownika:

Węzeł w EMR

Klaster EMR jest kombinacją instancji EC2, a każda instancja nazywa się węzłem, a jego typy są wyjaśnione poniżej:

Węzeł główny: Jest to główny węzeł lub węzeł lidera, który jest odpowiedzialny za zarządzanie wszystkimi zasobami klastra.

Węzeł podstawowy: Hostuje dane Hadoop rozproszonego systemu plików (HDFS) i uruchamia zadania węzła pierwotnego, a węzeł podstawowy zarządza zadaniami dla węzła podstawowego.

Węzeł zadań: Te węzły nie hostują danych, ale wykonują zadania dla poprzednich węzłów i jest to węzeł pomocniczy, co oznacza, że ​​nie jest obowiązkowe do tworzenia podczas uruchamiania klastra EMR:

Utwórz klaster EMR

Aby utworzyć klaster w usłudze EMR AWS, przejdź do pulpitu EMR, przeszukując usługę z konsoli Amazon:

Na tej stronie wybierz „Klastry”Z lewego panelu i kliknij„Utwórz klaster" przycisk:

Na stronie tworzenia klastra kliknij „Przejdź do opcji Advance”Link:

Konfiguracja oprogramowania: Na stronie ustawień zaliczki użytkownik może wybrać różne frameworki przetwarzania danych typu open source, a usługa oferuje również tworzenie wielu węzłów w instancji EC2:

Konfiguracja sprzętu: Na tej stronie użytkownik może skonfigurować zasoby wymagane dla klastra EMR, który jest dostępny w chmurze:

Węzły klastra i instancje: Ta sekcja oferuje użytkownikowi konfigurowanie typów węzłów, które utworzą instancje EC2 z konfiguracją zasobów:

Bezpieczeństwo: Na ostatniej stronie wybierz plik pary klucza prywatnego EC2, który można utworzyć na stronie pary kluczy ze pulpitu pulpitu EC2, aby połączyć się z węzłami:

Klaster EMR zostanie wyświetlony na jego stronie:

Z powodzeniem stworzyłeś klaster EMR na AWS.

Wniosek

Usługa AWS EMR służy do tworzenia klastrów do planowania pamięci masowej do użycia za pomocą rozproszonego systemu plików. Każda klaster jest tworzona za pomocą wielu węzłów (instancji EC2), które mogą tworzyć i łączyć z pustą maszyną wirtualną na chmurze. Klastry te mogą być używane do zarządzania dużymi zbiorami danych w chmurze bez żadnych zasobów używanych z systemu.