Funkcja okna PYSPARK GENSE_RANK
Ranga rozpoczyna się od 1, a jeśli jakieś wartości są takie same w dwóch lub więcej rzędach, wówczas ta sama ranga zostanie przypisana.
Tutaj wartości pochodzą z kolumny, w której określiliśmy kolumnę wewnątrz Orderby (). Tak więc, w oparciu o wartości w tej kolumnie, Gense_Rank () sprawdza wartości i przypisuje numer rang.
Najważniejsze jest to, że Gense_Rank () nie jest dostępny bezpośrednio. Musimy to zaimportować z Pyspark.SQL.Funkcje moduł.
W PYSPARK można podzielić wiersze w ramce danych za pomocą funkcji okna. Jest dostępny w Pyspark.SQL.okno moduł.
Zaletą partycji jest osiągnięcie spójności danych i grupowanie. Po wykonaniu partycji możemy ustawić rangi na rzędach w każdej partycji za pomocą funkcji Gense_Rank ().
Możliwe jest podział wierszy w ramce danych na podstawie wartości w określonej kolumnie. Tak więc wszystkie podobne wartości są ustawione na każdą partycję.
Musimy wykonać następujące kroki do podziału i zastosować Gense_Rank na partycjonowanych danych:
Kroki:
- Utwórz Pyspark DataFrame z podobnymi wartościami w co najmniej jednej kolumnie.
- Partycja danych za pomocą metody paritionby () dostępnej w funkcji okna i zamów je na podstawie kolumny za pomocą funkcji orderby ().
Składnia:
parition = okno.paritionby („kolumna”).Orderby („kolumna”)
Możemy zamówić partycjonowane dane z partycjonowaną kolumną lub dowolną inną kolumną. - Teraz możesz użyć funkcji Gense_Rank () w ramach partycjonowanych za pomocą funkcji over ().
Więc dodamy kolumnę do przechowywania numeru wiersza za pomocą funkcji withColumn ().
Składnia:
DataFrame_Obj.withcolumn („Nazwa”, gense_rank ().Over (partycja))
Tutaj nazwa określa nazwę wiersza, a DataFrame_Obj to nasza Pyspark DataFrame.Zaimplementujmy kod.
Przykład 1
Tutaj utworzymy Pyspark DataFrame, który ma 5 kolumn: [„tematy_id”, „name”, „wiek”, „technologia Technologia 1 Korzystanie z funkcji okna.
Wreszcie, damy szeregi do wierszy we wszystkich partycjach, dodając nową kolumnę o nazwie „Gęsta ranga".
Import Pysparkod Pyspark.SQL Import *
Spark_App = Sparksession.budowniczy.Nazwa aplikacji('_').getorCreate ()
studenci = [(4, „Sravan”, 23, „Php”, „Testowanie”),
(4, „Sravan”, 23, „php”, „testowanie”),
(46, „Mounika”, 22, '.Net ', „html”),
(4, „Deepika”, 21, „Oracle”, „html”),
(46, „Mounika”, 22, „Oracle”, „Testing”),
(12, „Chandrika”, 22, „Hadoop”, „C#”),
(12, „Chandrika”, 22, „Oracle”, „Testing”),
(4, „Sravan”, 23, „Oracle”, „C#”),
(4, „Deepika”, 21, „php”, „c#”),
(46, „Mounika”, 22, '.Net ', „testowanie”)
]
DataFrame_Obj = Spark_App.CreatedATAframe (studenci, [„Temat_id”, „nazwa”, „wiek”, „technologia1”, „technologia 2”])
Drukuj („---------- Rzeczywista ramka danych ----------”)
DataFrame_Obj.pokazywać()
# Zaimportuj funkcję okna
od Pyspark.SQL.okno importowe
#Wprowadź gęste_rank od Pyspark.SQL.Funkcje
od Pyspark.SQL.Funkcje importują gense_rank
#Partiction Scrame na podstawie wartości w kolumnie technologii1 i
#Order rzędów w każdej partycji na podstawie kolumny tematu_d
parition = okno.Partitionby („Technology1”).OrderBy („tematy_id”)
Drukuj („---------- PARTITIONED DATEFRAME ----------”)
#Now Wspomnienie gęste_rank dla każdego wiersza w gęstej kolumnie rangowej
DataFrame_Obj.z kolumny („Gęsta ranga”, gense_rank ().Over (partycja)).pokazywać()
Wyjście:
Wyjaśnienie
Pierwsze wyjście reprezentuje rzeczywiste dane obecne w ramce danych.
W drugim wyjściu partycja jest wykonywana na podstawie Technologia 1 kolumna.
Łączne partycje: - 4
Partycja 1:
.Net wystąpiła dwa razy w pierwszej partycji. Wartości w kolumnie tematycznej są takie same. Stąd funkcja gense_rank () zwraca tę samą ranga 1 dla obu .Wartości netto.
Partict 2:
Hadoop miał miejsce raz w drugim partycji. Tak więc ranga to 1.
Partycja 3:
Oracle wystąpiła cztery razy w trzeciej partycji.
W przypadku dwóch pierwszych wyroczni wartości Temat_id są takie same, więc dla obu rangi 1 jest przypisywane.
Dla trzeciego wyroczni ranga to 2.
Dla ostatniego wyroczni ranga to 3.
Partycja 4:
PHP wystąpił trzykrotnie w czwartej partycji, a wartości w kolumnie tematycznej są takie same dla wszystkich. Stąd ranga to 1 dla wszystkich php.
Przykład 2
Tutaj, korzystając z funkcji okna, podzielimy wiersze na podstawie Technologia2.
Wreszcie, uszeregujemy wiersze na podstawie kolumny tematu_id we wszystkich partycjach, dodając nową kolumnę o nazwie „Gęsta ranga".
(Jeśli nie utworzyłeś Pyspark DataFrame, utwórz go za pomocą pierwszego przykładu.)
# Zaimportuj funkcję oknaod Pyspark.SQL.okno importowe
#Wprowadź gęste_rank od Pyspark.SQL.Funkcje
od Pyspark.SQL.Funkcje importują gense_rank
#Partiction Scrame na podstawie wartości w kolumnie technologii2 i
#Order rzędów w każdej partycji na podstawie kolumny tematu_d
parition = okno.Partitionby („Technology2”).OrderBy („tematy_id”)
Drukuj („---------- PARTITIONED DATEFRAME ----------”)
#Now Wspomnienie gęste_rank dla każdego wiersza w gęstej kolumnie rangowej
DataFrame_Obj.z kolumny („Gęsta ranga”, gense_rank ().Over (partycja)).pokazywać()
Wyjście:
Wyjaśnienie
Dane wyjściowe reprezentuje rzeczywiste dane obecne w ramce danych.
W drugim wyjściu partycja jest wykonywana na podstawie Technologia2 kolumna i uporządkowane na podstawie kolumny tematycznej.
Łączne partycje: - 3
Partycja 1:
C# wystąpił trzy razy w pierwszej partycji. Ponadto dwie pierwsze wartości w kolumnie tematycznej są takie same. Stąd funkcja Gense_Rank () zwraca tę samą ranga-1 dla pierwszych dwóch c#, a dla trzeciego c#ranga to 2.
Partict 2:
HTML wystąpił dwukrotnie w drugim partycji, a wartości podmiotu są różne dla tych dwóch. Tak więc ranga 1 jest przypisywana do pierwszego HTML, a ranga-2 jest przypisywana na drugi.
Partycja 3:
Testy miały miejsce pięć razy w partycji trzeciej.
W przypadku dwóch pierwszych testów wartości TETS_ID są takie same, więc dla obu rangi 1 jest przypisywane.
Do trzeciego testu ranga to 2.
Do ostatnich testów ranga wynosiła 3.
Przykład 3
Tutaj, korzystając z funkcji okna, podzielimy wiersze na podstawie Technologia2.
Wreszcie, uszeregujemy wiersze na podstawie kolumny wiekowej we wszystkich partycjach, dodając nową kolumnę o nazwie „Gęsta ranga".
(Jeśli nie utworzyłeś Pyspark DataFrame, utwórz go za pomocą pierwszego przykładu.)
# Zaimportuj funkcję oknaod Pyspark.SQL.okno importowe
#Wprowadź gęste_rank od Pyspark.SQL.Funkcje
od Pyspark.SQL.Funkcje importują gense_rank
#Partiction Scrame na podstawie wartości w kolumnie technologii2 i
#Order rzędy w każdej partycji na podstawie kolumny wiekowej
parition = okno.Partitionby („Technology2”).Orderby („wiek”)
Drukuj („---------- PARTITIONED DATEFRAME ----------”)
#Now Wspomnienie gęste_rank dla każdego wiersza w gęstej kolumnie rangowej
DataFrame_Obj.z kolumny („Gęsta ranga”, gense_rank ().Over (partycja)).pokazywać()
Wyjście:
Wyjaśnienie
Wyjście reprezentuje rzeczywiste dane obecne w ramce danych.
W drugim wyjściu partycja jest wykonywana na podstawie kolumny technologii2 i uporządkowana na podstawie kolumny wiekowej.
Łączne partycje: - 3
Partycja 1:
C# wystąpił trzy razy w pierwszej partycji. Wszystkie wartości w kolumnie wiekowej są różne. Stąd funkcja Gense_Rank () zwraca rangi 1,2 i 3 dla trzech wartości C#.
Partict 2:
HTML wystąpił dwa razy w pierwszej partycji. Wszystkie wartości w kolumnie wiekowej są różne. Stąd funkcja gense_rank () zwraca rangi 1 i 2 dla dwóch wartości HTML.
Partycja 3:
Testy miały miejsce pięć razy w partycji trzeciej.
Dla pierwszych trzech wartości testowych wartości wieku są takie same. Tak więc dla trzech, ranga 1 jest przypisywana.
Wartości wieku dla czwartego i piątego testowania są takie same, więc ranga 2 jest podawana obu.
Wniosek
Omówiliśmy partycjonowanie wierszy w Pyspark DataFrame i ustawienie rangi w każdej partycji za pomocą funkcji okna Gense_Rank (). Dense_Rank w Pyspark to funkcja okienna, która ustawia szeregi na rzędach w każdej partycji. Ranga rozpoczyna się od 1, a jeśli jakieś wartości są takie same w dwóch lub więcej rzędach, wówczas ta sama ranga zostanie przypisana.