Jak utworzyć konfigurację zapasów w S3 Bucket
Zapasy Amazon S3 można skonfigurować do generowania raportów dla określonych obiektów S3 poprzez określenie prefiks. Zapasy można następnie wysłać do wiadra docelowego na tym samym koncie lub na innym koncie. Wiele zapasów S3 można również skonfigurować dla tego samego wiadra S3 z różnymi prefiksami obiektów S3, wiaderami docelowymi i typami plików wyjściowych. Możesz także określić, czy plik zapasowy zostanie zaszyfrowany, czy nie.
Ten blog zobaczy, w jaki sposób zapasy można skonfigurować w wiadrze S3 za pomocą konsoli zarządzania AWS.
Tworzenie konfiguracji zapasów
Najpierw zaloguj się do konsoli zarządzania AWS i przejdź do usługi S3.
Z konsoli S3 przejdź do wiadra, dla którego chcesz skonfigurować zapasy.
Wewnątrz wiadra, idź do kierownictwo patka.
Przewiń w dół i idź do Konfiguracja zapasów Sekcja. Kliknij na Utwórz konfigurację zapasów przycisk Aby utworzyć konfigurację zapasów.
Otworzy stronę konfiguracji, aby skonfigurować zapasy. Najpierw dodaj nazwę konfiguracji zapasów, która musi być unikalna w wiadrze S3. Następnie podaj prefiks obiektu S3, jeśli chcesz ograniczyć ekwipunek do określonych obiektów S3. Aby pokryć wszystkie obiekty w wiadrze S3, zostaw prefiks pole puste.
W przypadku tego demo ograniczymy zakres zapasów do obiektu z prefiksem Logs serwerów.
Ponadto konfiguracja zapasów może być ograniczona do bieżącej wersji lub poprzednie może być również objęte zapasami. W przypadku tego demo ograniczymy zakres zapasów tylko do bieżącej wersji.
Po określeniu zakresu zapasów będzie teraz poprosiła o szczegóły raportu. Raport może być zapisany w docelowym wiadrze S3 w obrębie konta lub w różnych. Najpierw wybierz, czy chcesz zapisać raporty zapasów na wiadrze S3 na tym samym lub innym koncie. Następnie wprowadź nazwę docelowego wiadra lub przeglądaj wiadra S3 z konsoli.
Polityka wiadra jest automatycznie dodawana do docelowego wiadra, co pozwala wiaderowi źródłowi zapisywać dane w kadrze docelowym. Poniższe zasady życzenia zostaną dodane do docelowego wiadra S3 dla tego demo.
Po określaniu docelowego wiadra S3 dla raportu zapasów, teraz podaj okres, po którym zostanie wygenerowany raport zapasów. Bucket AWS S3 można skonfigurować do generowania codziennych lub cotygodniowych raportów zapasów. W przypadku tej wersji demo wybierzemy opcję generowania dziennego raportu.
Opcja formacji wyjściowej określa, w której format zostanie wygenerowany. AWS S3 obsługuje następujące trzy formaty wyjściowe dla zapasów.
- CSV
- Apache Orc
- Apache Parquet
W przypadku tego demo wybierzemy format wyjściowy CSV. Status Opcje ustalają status konfiguracji zapasów. Jeśli chcesz włączyć konfigurację zapasów S3 zaraz po jej utworzeniu, ustaw tę opcję na Włączać.
Wygenerowane raporty zapasów można szyfrować po stronie serwera, włączając Szyfrowanie po stronie serwera opcja. Musisz wybrać klucz KMS lub klucz zarządzany przez klienta, jeśli jest włączony. W przypadku tego demo nie włączymy szyfrowania po stronie serwera.
Możesz także dostosować wygenerowany raport zapasów, dodając dodatkowe pola do raportu. Zapasy AWS S3 zapewnia konfigurację do dodania dodatkowych metadanych do raportów zapasów. Pod Dodatkowe pola Sekcja, wybierz pola, które chcesz dodać do raportu zapasów. W przypadku tego demo nie wybierzemy żadnych dodatkowych pól.
Teraz kliknij tworzyć przycisk u dołu strony konfiguracji, aby utworzyć konfigurację zapasów dla wiadra S3. Utworzy konfigurację zapasów i doda zasadę wiadra do docelowego wiadra. Przejdź do docelowego wiadra, klikając docelową adres URL kasetowego.
W docelowym wiadrze S3 idź do uprawnienia patka.
Przewiń w dół do Polityka kubełka Sekcja, a będzie zasady S3 Bucket, które pozwala źródłowi S3 Bucket przekazywanie raportów zapasów do docelowego segmentu S3.
Teraz przejdź do źródła S3 Bucket i utwórz Logs serwerów informator. Prześlij plik do katalogu za pomocą konsoli AWS S3.
Po przesłaniu pliku do wiadra źródłowego S3, wygenerowanie pierwszego raportu z zapasów może potrwać do 48 godzin. Po początkowym raporcie następny raport zostanie wygenerowany przez okres określony przez Ciebie w konfiguracji zapasów.
Czytanie zapasów z docelowego wiadra S3
Po 48 godzinach konfiguracji zapasów dla wiadra S3, przejdź do docelowego wiadra S3, a raport zapasów zostanie wygenerowany dla wiadra S3.
Raporty dotyczące zapasów są generowane w określonej strukturze katalogu w wiadrze S3. Aby zobaczyć strukturę katalogu, pobierz katalog raportu i uruchom drzewo polecenie wewnątrz katalogu raportu.
Ubuntu@ubuntu: ~ $ cd Linuxhint-Demo-Bucket
Ubuntu@ubuntu: ~ $ Tree .
Demo-inventory-config katalog (nazwany po nazwie konfiguracji zapasów) wewnątrz Linuxhint-Demo-Bucket (Nazwana po źródła S3 Nazwa wiadra) zawiera wszystkie dane związane z raportem zapasów.
dane Katalog zawiera pliki CSV skompresowane w formacie GZIP. Rozpakuj plik i kot w terminalu.
Ubuntu@ubuntu: ~ $ gunzip
Ubuntu@ubuntu: ~ $ cat
Katalogi wewnątrz katalogu demo-inventory-config, nazwane po dacie, w której są tworzone, zawierają metadane raportów zapasów. Użyj kot polecenie czytania manifestu.plik JSON.
Ubuntu@ubuntu: ~ $ cat 2022-02-17t00-00z/manifest.JSON
Podobnie ul Katalog zawiera pliki wskazujące raport zapasów określonej daty. Użyj kot polecenie przeczytania dowolnego symboli.pliki txt.
Ubuntu@ubuntu: ~ $ cat hive/dt \ = 2022-02-17-00-00/SymLink.tekst
Wniosek
AWS S3 zapewnia konfigurację zapasów do zarządzania pamięcią i generowanie raportów z audytu. Inwentarz S3 można skonfigurować dla określonych obiektów S3 określonych przez prefiks obiektu S3. Dla pojedynczego wiadra S3 można utworzyć wiele konfiguracji zapasów. Ten blog opisuje szczegółową procedurę tworzenia konfiguracji zapasów S3 i odczytania raportów zapasów z S3 Destination Bucket.