Zainstaluj Apache Spark w Windows Top 10

Pracując z danymi programowania, twórcy stron internetowych są dość trudne do przetworzenia tak dużej ilości danych. Oprócz tego czasami pracujesz jednocześnie nad różnymi językami programowania, aby zaprojektować system. W takich sytuacjach być może będziesz musiał przejść przez ogromną ilość kodu i przetworzyć. Dlatego potrzebujemy systemu do przetworzenia naszego obciążenia bez przeglądania całego procesu całego systemu. Apache Spark daje nam możliwość pracy z wieloma językami naraz, takimi jak Java, R, Python i Scala. Ukrywa również złożone przetwarzanie i pozwala nam pracować z mniejszą liczbą kodów. Ten przewodnik pomoże ci w zainstalowaniu rekina Apache w systemie Windows 11.

Zainstaluj Java:

Począwszy od uruchomienia najczęściej używanej przeglądarki, pobierz i zainstaluj najnowszą wersję Java. W tym celu wyszukaj oficjalną witrynę „Java” i przejść do jej strony pobierania. Na poniższej stronie pobierz najnowszą wersję Java zgodnie ze specyfikacjami systemu.

Uruchom pobrany plik „JRE” za pomocą opcji „Uruchom jako administrator”. Po uruchomieniu tego pobranego pliku „JRE” otrzymasz nowe okno pokazane poniżej. Musisz zgodzić się na umowę licencyjną Java, aby ją zainstalować. Więc dotknij przycisku „Zainstaluj”, aby kontynuować.

Konfiguracja instalacji Java rozpocznie instalowanie go w naszym systemie operacyjnym Windows 11.

Po zakończeniu instalacji Java naciśnij przycisk „Zamknij”, aby zamknąć okno.

Po sprawdzeniu wersji Java w wierszu polecenia zobaczysz wersję Java zainstalowaną w naszym systemie w pierwszym wierszu wyjścia polecenia „-version”.

Zainstaluj Python:

Czas zainstalować najnowszą wersję Python w naszym systemie operacyjnym Windows 11. Bez Pythona nasza iskra Apache może nie działać. Dlatego przejdź do oficjalnej strony Python za pomocą przeglądarki i przejdź do strony pobierania. Zostaniesz pokazany najnowszą wersją Pythona. Dotknij zalecanego linku, aby pobrać go w swoim systemie, i.e, Windows 11.

Uruchom pobrany plik exe „Python” i poczekaj, aż rozpocznie się progresja instalacji.

Pojawi się okno instalacyjne Pythona, pokazujące nam informacje dotyczące jego instalacji. Musisz użyć opcji „Instaluj teraz” z dostępnych opcji. Nie oznacz „Dodaj Python 3.20 na ścieżkę ”. Instalacja zostanie rozpoczęta później.

Po chwili Python zostanie pomyślnie zainstalowany i możesz zamknąć okno instalacji pokazane poniżej za pomocą przycisku „Zamknij” na prawym dole.

Korzystając z polecenia wersji dla Pythona w wierszu polecenia, zobaczysz zainstalowaną wersję Pythona, i.mi., Python 3.10.6.

Pobierz Spark:

Po udanych instalacjach Java i Pythona, nasz system jest teraz gotowy do zainstalowania Spark. W tym celu najpierw pobierz go z oficjalnej strony internetowej. Pamiętaj, aby wybrać najnowszą wersję i opcję „wstępnie zbudowane dla Apache Hadoop 3.3 i alter ”z listy rozwijanej i pojedynczy kliknij plik„ TGZ ”przed trzecim wierszem, i.mi., „Pobierz Spark”.

Zostaniesz przekierowany na inną stronę, na której możesz wybrać plik lustrzany dla Spark zgodnie z wyborem. Zalecamy użycie pierwszego linku podanego na poniższym obrazku.

Teraz, gdy pobrano plik iskier „TGZ”, nadszedł czas, aby użyć go do instalacji.

Sprawdź plik Spark:

Aby sprawdzić niezawodność pobranego oprogramowania, musisz skorzystać. Zapewni integralność pliku za pomocą jego suma kontrolnego z opcji „SUSSKESSKI” na linii 4 strony pobierania. Musisz podać ścieżkę pliku w tym poleceniu z opcją „-HashFile”. Wyjście wyświetla swoją kontrolę kontrolną wraz z pomyślnym komunikatem ukończenia tego polecenia. Możesz to potwierdzić, odwiedzając stronę pobierania.

Zainstaluj Apache Spark:

Następnie musisz utworzyć nowy folder dla iskry w folderze głównym, w którym masz tendencję do instalowania systemu operacyjnego i innych, ja.mi., Napęd „C”. Użyj więc instrukcji „MKDIR”, aby utworzyć w nim folder „iskier”.

Teraz otwórz dysk C i przejdź do folderu „Spark”. Musisz wyodrębnić pobrany plik zip „Spark”, jak pokazano na obrazie.

Dodaj Winutils.plik EXE:

Otwórz stronę Github za pomocą „ścieżki” na poniższym obrazku i dotknij „Winutils.exe ”. Pojawiłby się kolejny ekran i musisz uderzyć przycisk „Pobierz”, aby go zdobyć.

Musisz utworzyć folder „Hadoop” na napędzie „C” i utworzyć w nim folder „bin” za pośrednictwem zapytania MKDIR.

Umieść pobrane „Winutils.plik exe ”w nowo utworzonym folderze„ Hadoop \ bin ”.

Skonfiguruj zmienne środowiskowe dla Spark:

Czas dodać Spark, Hadoop i Java do naszych zmiennych środowiskowych. Więc wyszukaj słowo kluczowe „środowisko” na pasku wyszukiwania i dotknij narzędzia „Edytuj zmienne środowiska systemu”, które właśnie pojawiło się na ekranie.

Okno o nazwie „Właściwości systemowe” otworzy się na ekranie. Z jego poniżej sekcji naciśnij przycisk „Zmienne środowiskowe…”, aby kontynuować.

Możesz zobaczyć wszystkie wymienione tam zmienne systemowe. Stuknij przycisk „Nowy”, aby najpierw wygenerować świeże środowisko do „iskier”.

Okno dialogowe z „Edytuj zmienną użytkownika” pojawi się za chwilę i musisz wymienić zmienną „Spark_home” ze ścieżką folderu Spark jako wartości zmiennej, i.mi., „C: \ Spark \ Spark-3.3.0-bin-hadoop3 ”. Kliknięcie przycisku „OK” ustawę nową zmienną środowiskową w systemie.

W sekcji zmienne użytkownika zobaczysz zmienną o nazwie „Spark_home”. Stuknij zmienną o nazwie „Ścieżka” i rozbij przycisk „Edytuj”.

Ekran „Edytuj zmienną środowiskową” zostanie otwarta. Naciśnij przycisk „Nowy”, aby dodać ścieżkę zmiennej. Rozważ użycie nazwy zmiennej %Spark_Home %”z folderem„ \ bin ”.

Podobnie utwórz nową zmienną dla „Hadoop”.

Następnie utwórz także nową zmienną dla „Java” i dotknij „OK”.

W ten sam sposób dotknij zmiennej „ścieżka” i dodaj ścieżkę dla zmiennych „Java” i „Hadoop”, które właśnie stworzyliśmy.mi. używając nazwy „%hadoop_home” i „%java_home” z folderem „\ bin”, jak wyświetlono na ekranie poniżej.

Teraz uruchom aplikację „CMD” jako „administrator” za pomocą wyboru „Uruchom jako administrator”. Dodaj poniższą ścieżkę poleceń w swoim obszarze zapytania z „Sparkshell”, aby zobaczyć, czy iskra jest pomyślnie skonfigurowana, czy nie. Nowe okno przepływu informacji zostanie otwarte i musisz użyć przycisku „Zezwól”, aby zapewnić dostęp. Jeśli wiersz polecenia pokazuje logo projektowe „Spark” wraz z zainstalowaną wersją, wówczas Spark jest w pełni skonfigurowany i gotowy do użycia.

C: \ Spark \ Spark-3.3.0-bin-hadoop3 \ bin \ sparkshell

Otwórz swoją preferowaną przeglądarkę i wprowadź do niej ścieżkę „LocalHost: 4040/Jobs/”. Pojawi się interfejs użytkownika internetowego Apache Spark, wyświetlając podsumowanie zdarzeń systemowych.

Wniosek:

Po przejściu przez ten przewodnik będziesz mógł użyć Apache Spark w systemie operacyjnym Windows 11, ponieważ zaimplementowaliśmy każdą niezbędną konfigurację, aby skonfigurować Apache Spark. Aby upewnić się, że Twoja Apache Spark działa dobrze na końcu, nie powinieneś pozostawić jednego kroku wspomnianego powyżej w przewodniku, zaczynając od instalacji Java, Python, Spark, dodanie Winutils.plik exe i najważniejsza część ustawiania zmiennych środowiskowych.