Jak utworzyć zadanie operacji wsadowej S3

Operacja wsadowa jest zadaniem lub zadaniem wykonywanym przez system automatycznie z minimalnym interfejsem człowieka. Operację można zaplanować, co oznacza, że ​​zawsze będzie działać w ten sam rutynowy sposób lub wywoływany przez połączenie funkcyjne. Ponadto operacja wsadowa pozwala nam wykonywać to samo zadanie na dużej liczbie obiektów zamiast robić to na każdym obiekcie jeden po drugim. To sprawia, że ​​dla serwera jest bardzo opłacalny i oszczędny czas.

AWS pozwala nam tworzyć operacje wsadowe dla naszych wiader S3 w celu przetwarzania danych na dużą skalę. Zarządza także i śledzi zadania operacyjne partii i utrzymuje raporty o szczegółach dotyczących wykonywania zadania. Rzeczy są o wiele łatwiejsze do zarządzania, ponieważ jest to usługa bez serwera przez AWS. Przyjrzyjmy się, jak utworzyć zadanie operacji wsadowej dla naszego wiadra S3.

Tworzenie operacji partii S3 za pomocą konsoli

Teraz zobaczymy, jak utworzyć zadanie operacji wsadowej S3. Zaloguj się więc na swoje konto AWS i utwórz wiadro S3.

Aby utworzyć zadanie operacji wsadowej, potrzebujemy manifestu danych, których musimy zarządzać za pomocą tego zadania. Aby wygenerować manifest, przejdź do sekcji zarządzania w swoim wiadrze S3 za pomocą górnego paska menu.

W sekcji zarządzania przeciągnij do konfiguracji zapasów i kliknij Utwórz konfiguracje zapasów.

W sekcji Utwórz musisz podać nazwę konfiguracji zapasów.

Następnie musisz wybrać ścieżkę docelową, w której chcesz przechowywać raporty zapasów. Musisz także dołączyć zasadę, aby udzielić pozwolenia na umieszczenie danych w wiadrze S3.

Możesz także zmienić format pliku manifestu, jeśli chcesz. Tutaj idziemy z CSV, ponieważ chcemy to wykorzystać w operacji wsadowej.

Użytkownik może określić, jakie informacje chce w swoim manifestie i o jakich obiektach. AWS zapewnia wiele opcji, takich jak typ obiektu, klasa pamięci, integralność danych i blokada obiektów.

Teraz po prostu kliknij przycisk Utwórz w prawym przycisku, a otrzymasz konfigurację ekwipunku dla S3 Bucket. Manifest raport zostanie wygenerowany za 48 godzin i przechowywany w docelowym wiadrze.

Następnie stworzymy pracę wsadową S3. Po prostu kliknij operacje wsadowe w prawym panelu menu w sekcji S3, aby otworzyć konsolę operacyjną wsadową.

Tutaj musimy utworzyć określone zadanie dla konkretnego zadania, które chcemy wykonać na naszych obiektach w wiadrze S3. Kliknij więc Utwórz zadanie, aby rozpocząć budowanie pierwszego zadania operacyjnego S3.

Do tworzenia miejsc pracy najpierw potrzebujemy manifestu, który zawiera szczegóły dotyczące obiektów przechowywanych w wiadrze. Możesz utworzyć manifest w JSON lub CSV z sekcji Zarządzania w swoim wiadrze S3, ale to zajmie trochę czasu na wygenerowanie raportu. Klikamy więc Utwórz manifest za pomocą konfiguracji replikacji S3.

Wybierz wiadro źródłowe, dla którego zamierzasz stworzyć tę pracę. Wiadro może również należeć do innego konta AWS.

Możesz także zapisać manifest, który zostanie ostatecznie utworzony dla tej operacji partii. Musisz zapewnić miejsce docelowe, w którym zostanie zapisane.

Teraz możemy wybrać operację, którą chcemy, aby nasza operacja była wykonana. AWS zapewnia wiele operacji, takich jak kopiowanie obiektów, wywołuje funkcje Lambda, usuwanie znaczników i wiele innych. Jednak manifest utworzony za pomocą konfiguracji replikacji S3 umożliwia tylko operację replikacji.

Następnie możesz podać opis operacji partii i zdefiniować poziom priorytetu na podstawie liczb; Wysoka wartość oznacza wyższy priorytet.

Jeśli chcesz uzyskać raport o zakończeniu pracy, sprawdź opcję Generuj raport ukończenia i podaj lokalizację, w której będzie przechowywana.

W przypadku uprawnień musisz odgrywać rolę IAM z zasadą operacyjną S3, którą można łatwo stworzyć dla operacji wsadowych w sekcji IAM.

Wreszcie przejrzyj wszystkie ustawienia i kliknij Zadanie Utwórz zadanie, aby ukończyć proces.

Po utworzeniu pojawi się w sekcji Jobs. Przygotowanie może zająć trochę czasu na wybrane operacje do pracy. Następnie możesz to uruchomić, jak chcesz.

Tak więc pomyślnie utworzyliśmy zadanie operacyjne S3 za pomocą konsoli AWS.

Tworzenie operacji partii S3 za pomocą CLI

Teraz zobaczmy, jak skonfigurować zadanie operacji wsadowej S3 za pomocą interfejsu wiersza polecenia AWS. W tym celu skonfiguruj poświadczenia AWS CLI na swoim komputerze. Odwiedź następujący blog, aby skonfigurować poświadczenia AWS CLI.

https: // linuxhint.com/configure-AWS-CLI-CREDENTYS/

Po skonfigurowaniu poświadczeń AWS CLI utwórz wiadro S3 za pomocą następującego polecenia w terminalu:

$: AWS S3API Create-Bucket-Bucket --region

Następnie musisz utworzyć operację partii, którą chcesz wykonać na swoich obiektach. Utwórz więc dokument JSON, zdefiniuj żądaną operację i podaj wymagane atrybuty wspomnianej operacji. Poniżej znajduje się przykład operacji oznaczania obiektów S3:

Następnie, jeśli chcesz wygenerować raport ukończenia swojego zadania wsadowego, musisz podać cel do przechowywania tego pliku raportu. Domyślny format JSON dla tego jest następujący:

"Wiaderko": "",
„Format”: „Report_CSV_20180820”,
„Włączone”: True | FAŁSZ,
"Prefiks": "",
„Reportscope”: „AllTasks | nieudanyisksonly”

Następnie musisz podać plik manifestowy zawierający metadane wszystkich obiektów przechowywanych w twoim wiadrze S3, na którym chcesz wykonać operację partii. Musisz utworzyć kolejny plik JSON z następującymi atrybutami:

„Spec”:
„Format”: „S3Batchoperations_CSV_20180820”
„Fields”: [„Bucket”, „Key”]
,
"Lokalizacja":
„Objectarn”: „”,
„ObjectVersionID”: „”,
„ETAG”: „”

Na koniec możemy utworzyć naszą operację partii za pomocą następującego polecenia:

$: AWS S3Control Create-Job
--ID konta
--Wymagane Potwierdzenie
--Plik operacyjny:
--plik raportu://
--Plik manifestu: //--Rola-arn

Tak więc pomyślnie utworzyliśmy zadanie operacyjne partii za pomocą AWS CLI.

Wniosek:

Działanie partii S3 jest bardzo pomocnym narzędziem do użycia, gdy chcesz zarządzać dużą liczbą obiektów. Zadania wsadowe mogą być często trudne i złożone do skonfigurowania. Ale mogą łatwo zmniejszyć Twój wysiłek, koszty i czas. Służą do uruchamiania złożonych algorytmów, powtarzających się zadań, połączeń tabeli w bazach danych SQL, wywołują funkcję lambda i wywołują interfejs API REST. Musisz tylko podać listę obiektów w swoim segmencie S3, na których chcesz wykonać zadanie, a proces będzie wykonywany za każdym razem, gdy operacja partii zostanie uruchomiona. Wspólne przykłady operacji wsadowych obejmują oznaczenie obiektów S3, pobieranie określonych danych z lodowca S3, przesyłanie danych z jednego wiadra S3 do drugiego, generujące instrukcje bankowe, przetwarzanie raportów i prognoz analityczny. Mamy nadzieję, że ten artykuł jest pomocny. Sprawdź inne artykuły z Linux, aby uzyskać więcej wskazówek i samouczków.