Jak używać AWS CLI do zarządzania wiadrami AWS S3
Na tym blogu omówimy niektóre podstawowe polecenia używane do zarządzania wiadrami S3 za pomocą interfejsu wiersza poleceń. W tym artykule omówimy następujące operacje, które można wykonać na S3.
- Tworzenie wiadra S3
- Wstawienie danych do wiadra S3
- Usuwanie danych z wiadra S3
- Usuwanie wiadra S3
- Wersja wiadra
- Domyślne szyfrowanie
- Polityka S3 Bucket
- Rejestrowanie dostępu do serwera
- Powiadomienie o zdarzeniu
- Reguły cyklu życia
- Zasady replikacji
Przed uruchomieniem tego bloga najpierw musisz skonfigurować poświadczenia AWS, aby użyć interfejsu wiersza poleceń w systemie. Odwiedź następujący blog, aby dowiedzieć się więcej o konfigurowaniu poświadczeń wiersza poleceń AWS w swoim systemie.
https: // linuxhint.com/configure-AWS-CLI-CREDENTYS/
Tworzenie wiadra S3
Pierwszym krokiem do zarządzania operacjami S3 Bucket za pomocą interfejsu wiersza poleceń AWS jest utworzenie wiadra S3. Możesz użyć MB Metoda S3 polecenie utworzenia wiadra S3 na AWS. Poniżej znajduje się składnia do użycia MB metoda S3 Aby utworzyć wiadro S3 za pomocą AWS CLI.
Ubuntu@ubuntu: ~ $ AWS S3 MBNazwa wiadra jest powszechnie unikalna, więc przed utworzeniem wiadra S3, upewnij się, że nie jest już zajęty przez żadne inne konto AWS. Następujące polecenie utworzy wiader S3 o nazwie Linuxhint-Demo-S3-Bucket.
Ubuntu@ubuntu: ~ $ AWS S3 MB \S3: // Linuxhint-Demo-S3-Bucket \
--Region US-West-2
Powyższe polecenie utworzy wiadro S3 w regionie US-West-2.
Po utworzeniu wiadra S3 użyj teraz LS Metoda S3 Aby upewnić się, czy wiadro jest utworzone, czy nie.
Ubuntu@ubuntu: ~ $ AWS S3 LSOtrzymasz następujący błąd na terminalu, jeśli spróbujesz użyć nazwy wiadra, która już istnieje.
Wstawienie danych do wiadra S3
Po utworzeniu wiadra S3, teraz nadszedł czas, aby umieścić kilka danych do wiadra S3. Aby przenieść dane do wiadra S3, dostępne są następujące polecenia.
- CP
- mv
- synchronizacja
CP Polecenie służy do kopiowania danych z systemu lokalnego do wiadra S3 i odwrotnie za pomocą AWS CLI. Można go również użyć do kopiowania danych z jednego wiadra S3 źródłowego do innego docelowego wiadra S3. Składnia do kopiowania danych do i z wiadra S3 jest jak poniżej.
Ubuntu@ubuntu: ~ $ AWS S3 CP \(Kopiuj od lokalnego do S3) Ubuntu@ubuntu: ~ $ AWS S3 CP \
(Kopiuj od S3 do lokalnego) Ubuntu@ubuntu: ~ $ AWS S3 CP \
(Kopiuj z jednego S3 do drugiego)
mv Metoda S3 służy do przenoszenia danych z systemu lokalnego do wiadra S3 lub odwrotnie za pomocą AWS CLI. Tak jak CP polecenie, możemy użyć mv polecenie przenoszenia danych z jednego wiadra S3 do innego wiadra S3. Poniżej znajduje się składnia do użycia mv polecenie z AWS CLI.
Ubuntu@ubuntu: ~ $ AWS S3 MV \(Przejdź z lokalnego do S3) Ubuntu@ubuntu: ~ $ AWS S3 MV \
(Przejdź z S3 do lokalnego) Ubuntu@ubuntu: ~ $ AWS S3 MV \
(Przejdź z jednego S3 do drugiego S3)
synchronizacja Polecenie w interfejsie wiersza polecenia AWS S3 służy do synchronizacji lokalnego katalogu i wiadra S3 lub dwóch wiader S3. synchronizacja Polecenie najpierw sprawdza miejsce docelowe, a następnie kopiuje tylko pliki, które nie istnieją w miejscu docelowym. w przeciwieństwie do synchronizacja polecenie CP I mv Polecenia przesuwają dane ze źródła do miejsca docelowego, nawet jeśli plik o tej samej nazwie już istnieje w miejscu docelowym.
Ubuntu@ubuntu: ~ $ AWS S3 Sync \(Synchronizacja lokalnego katalogu z S3)
Powyższe polecenie zsynchronizuje wszystkie dane z katalogu lokalnego do wiadra S3 i skopiuje tylko pliki, które nie są obecne w docelowym segmencie S3.
Teraz zsynchronizujemy wiadro S3 z lokalnym katalogiem za pomocą synchronizacja Polecenie z interfejsem wiersza poleceń AWS.
Ubuntu@ubuntu: ~ $ AWS S3 Sync \(Synchronizacja S3 z lokalnym katalogiem)
Powyższe polecenie zsynchronizuje wszystkie dane z wiadra S3 do katalogu lokalnego i skopiuje tylko pliki, które nie istnieją w miejscu docelowym, ponieważ już zsynchronizowaliśmy wiadro S3 i katalog lokalny, więc tym razem nie skopiowano żadnych danych.
Usuwanie danych z wiadra S3
W poprzedniej sekcji omówiliśmy różne metody wstawienia danych do wiadra AWS S3 za pomocą CP, mv, I synchronizacja polecenia. Teraz w tej sekcji omówimy różne metody i parametry, aby usunąć dane z wiadra S3 za pomocą AWS CLI.
Aby usunąć plik z wiadra S3, Rm Polecenie jest używane. Poniżej znajduje się składnia do użycia Rm polecenie do usunięcia obiektu S3 (plik) za pomocą interfejsu wiersza polecenia AWS.
Ubuntu@ubuntu: ~ $ AWS S3 RM \S3: // Linuxhint-Demo-S3-Bucket/Data-Copy.tekst
Uruchomienie powyższego polecenia usunie tylko jeden plik w wiadrze S3. Aby usunąć pełny folder zawierający wiele plików, -rekurencyjny Opcja jest używana z tym poleceniem.
W celu usunięcia nazwanego folderu akta który zawiera wiele plików w środku, można użyć następującego polecenia.
Ubuntu@ubuntu: ~ $ AWS S3 RM \S3: // Linuxhint-Demo-S3-Bucket/Files \
--rekurencyjny
Powyższe polecenie najpierw usunie wszystkie pliki ze wszystkich folderów w wiadrze S3, a następnie usunie foldery. Podobnie możemy użyć -rekurencyjny opcja wraz z S3 Rm Metoda opróżnienia całego wiadra S3.
Ubuntu@ubuntu: ~ $ AWS S3 RM \S3: // Linuxhint-Demo-S3-Bucket \
--rekurencyjny
Usuwanie wiadra S3
W tej sekcji artykułu omówimy, w jaki sposób możemy usunąć wiadro S3 na AWS za pomocą interfejsu wiersza poleceń. RB Funkcja służy do usunięcia wiadra S3, która akceptuje nazwę S3 Bucket jako parametr. Przed usunięciem wiadra S3 należy najpierw opróżnić wiadro S3, usuwając wszystkie dane za pomocą Rm metoda. Po usunięciu wiadra S3, nazwa wiadra jest dostępna do użycia dla innych.
Przed usunięciem wiadra opróżnij wiadro S3, usuwając wszystkie dane za pomocą Rm Metoda S3.
Ubuntu@ubuntu: ~ $ AWS S3 RM \\
--rekurencyjny
Po opróżnieniu wiadra S3 możesz użyć RB Metoda S3 polecenie usuwania wiadra S3.
Ubuntu@ubuntu: ~ $ AWS S3 RB \Wersja wiadra
Aby zachować wiele wariantów obiektu S3 w S3, można włączyć wersję S3. Po włączeniu wersji backet możesz śledzić zmiany wprowadzone w obiekcie S3 Bucket. W tej sekcji użyjemy AWS CLI do skonfigurowania wersji S3 Bucket.
Najpierw sprawdź status wersji wadą S3 za pomocą następującego polecenia.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-IVERSIGING \--wiaderko
Ponieważ wersja kubełka nie jest włączona, powyższe polecenie nie wygenerowało żadnego wyjścia.
Po sprawdzeniu statusu wersji S3 Bucket, teraz włącz wersję wiadra za pomocą następującego polecenia w terminalu. Przed włączeniem wersji, pamiętaj, że wersji nie można wyłączyć po jej włączeniu, ale możesz ją zawiesić.
Ubuntu@ubuntu: ~ $ AWS S3API PUT-BUCKET-IVERSIGING \--wiaderko \
--Status wersji-konfiguracji = włączony
To polecenie nie wygeneruje żadnego wyjścia i z powodzeniem włączy wersję S3 Bucket.
Teraz ponownie sprawdź status wersji S3 Bucket w swoim wiadrze S3 za pomocą następującego polecenia.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-IVERSIGING \--wiaderko
Jeśli włączona jest wersja kubełka, można go zawiesić za pomocą następującego polecenia w terminalu.
Ubuntu@ubuntu: ~ $ AWS S3API PUT-BUCKET-IVERSIGING \--wiaderko \
--Status konfiguracji w wersji = zawieszony
Po zawieszeniu wersji S3 Bucket można użyć następującego polecenia, aby ponownie sprawdzić status wersji kubełkowej.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-IVERSIGING \--wiaderko
Domyślne szyfrowanie
Aby upewnić się, że każdy obiekt w wiadrze S3 jest szyfrowany, domyślne szyfrowanie można włączyć w S3. Po włączeniu domyślnego szyfrowania, za każdym razem, gdy umieścisz obiekt do wiadra, zostanie ono automatycznie zaszyfrowane. W tej sekcji blogu użyjemy AWS CLI do skonfigurowania domyślnego szyfrowania w wiadrze S3.
Najpierw sprawdź status domyślnego szyfrowania twojego wiadra S3 za pomocą Get-Bucket-Incryption Metoda S3API. Jeśli domyślne szyfrowanie nie zostanie włączone, rzuci ServersideEncryptionConfigurationNotFoundError wyjątek.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-ENCRYPIND \--wiaderko
Teraz, aby włączyć domyślne szyfrowanie, Put-Bucket-Incryption Metoda zostanie zastosowana.
Ubuntu@ubuntu: ~ $ AWS s3api put-bucket-encryption \--wiaderko \
-Serwer-po stronie-orryption-configuration '„reguły”: [„appserversideincryptionByDefault”: „sseAlGorithm”: „AES256”]'
Powyższe polecenie włączy domyślne szyfrowanie, a każdy obiekt zostanie zaszyfrowany za pomocą szyfrowania po stronie serwera AES-256 po umieszczeniu w wiadrze S3.
Po włączeniu domyślnego szyfrowania, teraz ponownie sprawdź status domyślnego szyfrowania za pomocą następującego polecenia.
Jeśli domyślne szyfrowanie jest włączone, możesz wyłączyć domyślne szyfrowanie za pomocą następującego polecenia w terminalu.
Ubuntu@ubuntu: ~ $ AWS S3API Delete-Bucket-Encryption \--wiaderko
Teraz, jeśli ponownie sprawdzisz domyślny status szyfrowania ServersideEncryptionConfigurationNotFoundError wyjątek.
Polityka S3 Bucket
Polityka S3 Bucket jest wykorzystywana do umożliwienia innym usług AWS w ramach kont lub w różnych kontach dostępu do wiadra S3. Służy do zarządzania pozwoleniem na wiadro S3. W tej sekcji blogu użyjemy AWS CLI do skonfigurowania uprawnień S3 Bucket, stosując zasadę S3 Bucket.
Najpierw sprawdź zasadę S3 Bucket, aby sprawdzić, czy istnieje, czy nie na żadnym konkretnym wiadrze S3 za pomocą następującego polecenia w terminalu.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-Policy \--wiaderko
Jeśli wiadro S3 nie ma żadnej zasady wiadra powiązanego z wiadrem, wyrzuci powyższy błąd na terminalu.
Teraz skonfigurujemy zasadę S3 Bucket w istniejącym wiadrze S3. W tym momencie musimy utworzyć plik zawierający zasadę w formacie JSON. Utwórz plik o nazwie polityka.JSON i wklej tam następujące treści. Zmień zasadę i umieść nazwę S3 Bucket przed jej użyciem.
"Oświadczenie": [
„Efekt”: „Odmowa”,
"Główny": "*",
„Action”: „S3: getObject”,
„Zasób”: „ARN: AWS: S3 ::: Mys3bucket/*”
]
Teraz wykonaj następujące polecenie w terminalu, aby zastosować niniejszą zasadę do wiadra S3.
Ubuntu@ubuntu: ~ $ AWS S3API PUT-BUCKET-Policy \--wiaderko \
--Plik zasad: // zasady.JSON
Po zastosowaniu zasad, sprawdź teraz status zasady blacha, wykonując następujące polecenie w terminalu.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-Policy \--wiaderko
W celu usunięcia zasady S3 Bucket dołączonej do wiadra S3, następujące polecenie można wykonać w terminalu.
Ubuntu@ubuntu: ~ $ AWS S3API Delete-Bucket-Policy \--wiaderko
Rejestrowanie dostępu do serwera
Aby zalogować wszystkie żądania złożone do wiadra S3 do innego wiadra S3, rejestrowanie dostępu serwera musi być włączone dla wiadra S3. W tej sekcji bloga omówimy, w jaki sposób możemy skonfigurować rejestrowanie dostępu do serwera i S3 Bucket za pomocą interfejsu wiersza poleceń AWS.
Najpierw uzyskaj bieżący status rejestrowania dostępu do serwera dla wiadra S3 za pomocą następującego polecenia w terminalu.
Ubuntu@ubuntu: ~ $ AWS s3api get-bucket-logging \--wiaderko
Gdy rejestrowanie dostępu do serwera nie jest włączone, powyższe polecenie nie wyrzuci żadnego wyjścia w terminalu.
Po sprawdzeniu statusu rejestrowania staramy się teraz włączyć rejestrowanie wiadra S3, aby umieścić dzienniki w innym docelowym wiadrze S3. Przed włączeniem rejestrowania upewnij się, że docelowe wiadro ma załączone zasady, które umożliwia wkładanie danych w nim danych źródłowych.
Najpierw utwórz plik o nazwie Logowanie.JSON i wklej tam następującą zawartość i zastąp docelowego Bucket nazwą docelowego wiadra S3.
„LoggingEnabled”:
„TargetBucket”: „mybucket”,
„TargetPrefix”: „Logs/”
Teraz użyj następującego polecenia, aby włączyć rejestrowanie wiadra S3.
Ubuntu@ubuntu: ~ $ AWS s3api put-bucket-logging \--wiaderko \
--plik-logging-status plik: // logowanie.JSON
Po włączeniu rejestrowania dostępu do serwera w wiadrze S3 możesz ponownie sprawdzić status rejestrowania S3 za pomocą następującego polecenia.
Ubuntu@ubuntu: ~ $ AWS s3api get-bucket-logging \--wiaderko
Powiadomienie o zdarzeniu
AWS S3 zapewnia nam właściwość do wywołania powiadomienia, gdy konkretne zdarzenie nastąpi w S3. Możemy użyć powiadomień o zdarzeniach S3 do wyzwalania tematów SNS, funkcji Lambda lub kolejki SQS. W tej sekcji zobaczymy, w jaki sposób możemy skonfigurować powiadomienia o zdarzeniach S3 za pomocą interfejsu wiersza poleceń AWS.
Po pierwsze, użyj Configuracja get-Bucket-Notification Metoda S3API Aby uzyskać status powiadomienia zdarzenia w określonym wiadrze.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-Notification-Configuration \--wiaderko
Jeśli wiadro S3 nie ma skonfigurowanego powiadomienia o zdarzeniu, nie wygeneruje żadnego wyjścia na terminalu.
Aby umożliwić powiadomienie o zdarzeniu, aby uruchomić temat SNS, najpierw musisz dołączyć zasadę do tematu SNS, który pozwala wiaderowi S3. Następnie musisz utworzyć plik o nazwie powiadomienie.JSON, który zawiera szczegóły tematu SNS i wydarzenia S3. Utwórz plik powiadomienie.JSON i wklej tam następujące treści.
„Konfiguracje tematyczne”: [
„Topicarn”: „ARN: AWS: SNS: US-West-2: 123456789012: S3-Notification-Topic”,
„Wydarzenia”: [
„S3: Obiekt Created:*”
]
]
Zgodnie z powyższą konfiguracją, za każdym razem, gdy umieścisz nowy obiekt do wiadra S3, uruchomi on temat SNS zdefiniowany w pliku.
Po utworzeniu pliku utwórz teraz powiadomienie o zdarzeniu S3 w swoim konkretnym wiadrze S3 za pomocą następującego polecenia.
Ubuntu@ubuntu: ~ $ AWS S3API PUT-BUCKET-NOTIFICACJA CONFIGURUCJA \--wiaderko \
--Plik powiadomień-konfiguracyjny: // powiadomienie.JSON
Powyższe polecenie utworzy powiadomienie o zdarzeniu S3 z dostarczonymi konfiguracją w powiadomienie.JSON plik.
Po utworzeniu powiadomienia o zdarzeniu S3, teraz ponownie wymień wszystkie powiadomienia o zdarzeniach za pomocą następujące polecenie AWS CLI.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-Notification-Configuration \--wiaderko
To polecenie zawiera listę powiadomienia o zdarzeniu powyżej w wyjściu konsoli. Podobnie możesz dodać wiele powiadomień o zdarzeniach do jednego wiadra S3.
Reguły cyklu życia
S3 wiadro zapewnia reguły cyklu życia do zarządzania cyklem życia obiektów przechowywanych w wiadrze S3. Tę funkcję można użyć do określenia cyklu życia różnych wersji obiektów S3. Obiekty S3 można przenosić do różnych klas pamięci lub można je usunąć po określonym czasie. W tej sekcji bloga zobaczymy, w jaki sposób możemy skonfigurować reguły cyklu życia za pomocą interfejsu wiersza poleceń.
Po pierwsze, uzyskaj wszystkie reguły cyklu życia S3 skonfigurowane w wiadrze za pomocą następującego polecenia.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-LifeCycle \--wiaderko
Jeśli reguły cyklu życia nie są skonfigurowane z wiadrem S3, otrzymasz NosuchLifeCyCreconfiguration wyjątek w odpowiedzi.
Teraz utwórzmy konfigurację reguł cyklu życia za pomocą wiersza poleceń. Put-Bucket-Lifecycle Metodę można zastosować do utworzenia reguły konfiguracji cyklu życia.
Po pierwsze, stwórz zasady.JSON plik, który obejmuje reguły cyklu życia w formacie JSON.
"Zasady": [
„ID”: „Przejdź do lodowca po 1 miesiącach”,
„Prefiks”: „Data/”,
„Status”: „włączony”,
"Przemiana":
„Days”: 30,
„Storageclass”: „Glacier”
,
„Wygaśnięcie”:
„Data”: „2025-01-01T00: 00: 00.000Z "
,
„ID”: „Usuń dane w 2025.",
„Prefiks”: „Old-Data/”,
„Status”: „włączony”
]
Po utworzeniu pliku z regułami w formacie JSON, teraz utwórz regułę konfiguracji cyklu życia za pomocą następującego polecenia.
Ubuntu@ubuntu: ~ $ AWS s3api put-bucket-lifecycle \--wiaderko \
--Lifecycle-configuration plik: // reguły.JSON
Powyższe polecenie z powodzeniem utworzy konfigurację cyklu życia i możesz uzyskać konfigurację cyklu życia za pomocą Get-Bucket-Lifecycle metoda.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-LifeCycle \--wiaderko
Powyższe polecenie wyświetli wszystkie reguły konfiguracji utworzone dla cyklu życia. Podobnie możesz usunąć regułę konfiguracji cyklu życia za pomocą Usuń-Bucket-Lifecycle metoda.
Ubuntu@ubuntu: ~ $ AWS s3api delete-bucket-lifecycle \--wiaderko
Powyższe polecenie pomyślnie usunie konfiguracje cyklu życia S3.
Zasady replikacji
Reguły replikacji w wiadrach S3 są używane do kopiowania określonych obiektów z wiadra źródłowego S3 do miejsca docelowego S3 na tym samym lub innym koncie. Możesz również określić docelową klasę pamięci i opcję szyfrowania w konfiguracji reguły replikacji. W tej sekcji zastosujemy regułę replikacji w wiadrze S3 za pomocą interfejsu wiersza poleceń.
Najpierw uzyskaj wszystkie reguły replikacji skonfigurowane w wiadrze S3 za pomocą Replikacja Get-Bucket metoda.
Ubuntu@ubuntu: ~ $ AWS S3API GET-BUCKET-Replication \--wiaderko
Jeśli nie ma reguły replikacji skonfigurowaną z wiadrem S3, polecenie rzuci ReplikacjaConfigurationNotFoundError wyjątek.
Aby utworzyć nową regułę replikacji za pomocą interfejsu wiersza poleceń, najpierw musisz włączyć wersję zarówno w wiadrze S3 źródłowym, jak i docelowym. Włączenie wersji zostało omówione wcześniej na tym blogu.
Po włączeniu wersji S3 Bucket zarówno w wiadrze źródłowym, jak i docelowym, teraz utwórz Replikacja.JSON plik. Ten plik zawiera konfigurację reguł replikacji w formacie JSON. Zastąp IAM_ROLE_ARN I Destination_Bucket_ARN W poniższej konfiguracji przed utworzeniem reguły replikacji.
„Rola”: „IAM_ROLE_ARN”,
"Zasady": [
„Status”: „włączony”,
„Priorytet”: 100,
„DeletEmarkerreplikacja”: „Status”: „Włączone”,
„Filter”: „prefiks”: „Data”,
"Miejsce docelowe":
„Bucket”: „Destination_Bucket_ARN”
]
Po utworzeniu Replikacja.JSON plik, teraz utwórz regułę replikacji za pomocą następującego polecenia.
Ubuntu@ubuntu: ~ $ AWS s3api put-bucket-replication \--wiaderko \
--Plik konfiguracyjny replikacji: // replikacja.JSON
Po wykonaniu powyższego polecenia utworzy regułę replikacji w Źródło S3, która automatycznie skopiuje dane do docelowego wiadra S3 określonego w Replikacja.JSON plik.
Podobnie możesz usunąć regułę replikacji s3 za pomocą Replikacja usunięcia Metoda w interfejsie wiersza poleceń.
Ubuntu@ubuntu: ~ $ AWS s3api delete-bucket-powtórzenie \--wiaderko
Wniosek
Ten blog opisuje, w jaki sposób możemy użyć interfejsu wiersza poleceń AWS do wykonywania podstawowych do zaawansowanych operacji, takich jak tworzenie i usuwanie wiadra S3, wstawienie i usuwanie danych z S3 Bucket, umożliwiając domyślne szyfrowanie, wersja, rejestrowanie dostępu do serwera, powiadomienie o zdarzeniu, reguły replikacji, reguły replikacji i konfiguracje cyklu życia. Operacje te można zautomatyzować za pomocą poleceń interfejsu wiersza poleceń AWS w skryptach, a tym samym pomocy w automatyzacji systemu.