Co to jest klej AWS
Podczas korzystania z zadań ETL użytkownicy mogą również budować i monitorować rurociągi danych, za pomocą których przesyłane są wyodrębnione dane. AWS Glue integruje się z usługami takimi jak Amazon S3, Amazon DynamoDB, Amazon Redshift i Amazon RDS w celu wyodrębnienia i przenoszenia danych.
W tym artykule opisano następujące aspekty kleju AWS:
- Jakie są elementy kleju AWS?
- Jakie jest znaczenie kleju AWS?
- Jak używać kleju AWS?
Jakie są elementy kleju AWS?
Poniżej znajdują się niektóre elementy kleju AWS, które działają w koordynacji w celu wykonywania różnych zadań:
Konsola kleju AWS: Konsola kleju AWS definiuje przepływ pracy ETL i wywołuje operacje API w innych komponentach kleju AWS, aby wykonywać różne zadania, takie jak uruchamianie i planowanie robotników, tworzenie tabel, konfigurowanie połączeń itp.
Katalog: Katalog danych kleju AWS to sklep metadanych chmury AWS. Na każdym koncie AWS w każdym regionie AWS ma już utworzony katalog danych kleju. W katalogach danych tabele zawierające dane z różnych usług, takich jak AWS RDS, są przechowywane w zorganizowanej formie.
Frawlery i klasyfikatory: Crawlers mogą skanować dane ze wszystkich rodzajów repozytoriów na AWS. Za pośrednictwem Crawlers użytkownicy mogą tworzyć bazy danych, aby uporządkować tabele danych wyodrębnionych danych w klepie AWS, aby dane wyglądały na czyste i zorganizowane.
Operacje ETL: Użytkownik może „wyodrębnić” dane z usługi i „przekształcić” dane (na przykład wyodrębnienie surowych danych i przekształcenie ich w czysty formularz, kategoryzując je na różne zestawy danych) dostępne dla usług, które w kolejce i analizują dane.
ETL Jobs: AWS Glue ETL zadania zarządzaj przepływem pracy ETL poprzez niektóre konfiguracje. Użytkownicy mogą zaplanować zadania ETL w zakresie przepływu danych i uruchomić zadanie w określonych zdarzeniach, na przykład w przypadku przenoszenia nowych danych, usunięto tabelę danych itp.
Jakie jest znaczenie kleju AWS?
AWS klej jest popularny z różnych powodów, w tym: następujące:
- Klej AWS jest łatwy w użyciu i opłacalny w porównaniu z innymi platformami zapewniającymi tę samą funkcjonalność.
- Użytkownicy mogą łączyć się z ponad siedemdziesięcioma różnymi źródłami danych za pomocą kleju AWS.
- Zapewnia scentralizowany katalog danych do zarządzania procesem ETL w celu wyodrębnienia, zarządzania i przenoszenia do jezior danych.
- AWS Glue to usługa bez serwera, więc nie ma potrzeby konfigurowania, zarządzania i utrzymywania serwerów.
Jak używać kleju AWS?
Zastosowanie kleju AWS jest bardzo proste. Otwórz usługę „AWS Glue” po zalogowaniu się do konsoli AWS. W lewym menu konsoli kleju AWS będzie lista opcji, które sprawiają, że funkcjonalność usługi kleju AWS jest bardziej zrozumiała. Użytkownik może wykonywać dowolne zadanie ETL (ekstrakt, transformacja i ładowanie) w kleju AWS:
Na przykład wybieramy opcję „bazy danych”, aby utworzyć bazę danych w klepie AWS lub uzyskuje dostęp do bazy danych utworzonej w dowolnej innej usłudze AWS:
Podobnie użytkownicy mogą tworzyć pełzanie w AWS:
Jeśli otworzymy szczegóły któregokolwiek z utworzonych robaków, wyświetla źródło danych. Tutaj jasne jest, że dane są dostępne z wiadra utworzonego w usłudze AWS S3:
Wyjaśnione powyżej dotyczyło kleju AWS, jego komponentów, znaczenia i użycia.
Wniosek
AWS Glue to usługa integracji danych AWS, która przenosi dane między usługami AWS, aplikacjami i komponentami oprogramowania. Dane są najpierw wyodrębnione, a następnie przesyłane po modyfikacji do innej usługi efektywnie za pomocą zasobów chmurowych AWS. Ta niezawodna i skalowalna usługa AWS jest również łatwa w użyciu i jest preferowana na innych platformach o tych samych funkcjonalnościach ze względu na jej ogromne i użyteczne funkcje oraz opłacalność.