Jak stworzyć klaster Hadoop z Amazon EMR

Użytkownik potrzebuje narzędzi takich jak Hadoop do przechowywania, zarządzania i analizowania dużych danych na skalę i trudno jest sobie z tym poradzić. Przechowywanie i zarządzanie tak dużą ilością danych można wykonać, dystrybuując je na wielu komputerach. Amazon zapewnia usługę EMR do zarządzania tymi klastrami w chmurze, nie martwiąc się o problemy z wdrożeniem, wydatkami i czasem.

Zacznijmy od stworzenia klastra Hadoop z Amazon EMR.

Utwórz klaster Hadoop z Amazon EMR

Aby utworzyć klaster Hadoop z Amazon EMR, przejdź do pulpitu pulpitu EMR i kliknij „Utwórz klaster" przycisk:

Wpisz nazwę nazwy klastra i wybierz aplikacje dla klastra EMR:

Skonfiguruj ustawienia sprzętu i zabezpieczeń, przewijając stronę, a następnie klikając „Utwórz klaster”Przycisk Aby zakończyć proces:

Następnie udaj się do pulpitu pulpitu EC2 z platformy AWS, aby potwierdzić instancje utworzone przez klaster EMR:

Kliknij na "Grupy bezpieczeństwa”Strona z lewego panelu i rozwinąć„działania”Tab, aby kliknąć„Edytuj zasady przychodzące”Przycisk po wybraniu Master Security Group EMR:

Dodaj regułę przychodzącą, aby wybrać port SSH, który może być dostępny z dowolnego miejsca w Internecie, a następnie kliknij „Zapisz zasady" przycisk:

Ponownie powtórz poprzedni krok z grupą bezpieczeństwa Slave EMR, edytując zasady przychodzące:

Wybierz port SSH, który będzie dostępny z dowolnego miejsca, a następnie kliknij „Zapisz zasady" przycisk:

Po utworzeniu klastra EMR po prostu kliknij „Włącz połączenie SSH”Link:

Następnie zacznij „Kit”I postępuj zgodnie z instrukcjami dostarczonymi przez platformę:

Po zakończeniu wszystkich kroków kliknij po prostu „otwarty" przycisk:

Użytkownik jest podłączony do klastra Hadoop z Amazon EMR:

Udało Ci się utworzyć i połączyć się z klastrem Hadoop za pomocą EMR.

Wniosek

Aby utworzyć klaster Amazon EMR, przejdź do pulpitu pulpitu EMR i kliknij „Utwórz klaster" przycisk. Skonfiguruj ustawienia klastra EMR, wpisując nazwę i wybierając aplikację Hadoop dla klastra. Następnie edytuj reguły przychodzące grup bezpieczeństwa utworzone przez klaster EMR, a następnie użyj Putty do połączenia się z klastrem.