PYSPARK - ASC & DESC
W Python PYSPARK to moduł Spark używany do zapewnienia podobnego rodzaju przetwarzania, takiego jak Spark za pomocą DataFrame. Utwórzmy Pyspark DataFrame.
Przykład:
W tym przykładzie utworzymy Pyspark DataFrame z 5 wierszy i 6 kolumnami i wyświetlacz za pomocą metody show ().
#Wportu na moduł PYSPARKImport Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17,
„Adres”: „Patna”,
„Rollno”: „004”, „Nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 3.69, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 37, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci)
#Display DataFrame
df.pokazywać()
Wyjście:
PYSPARK - ASC ()
W PYSPARK ASC () służy do układania wierszy w kolejności rosnącej w ramce danych.
Zwróci nową ramkę danych, układając wiersze w istniejącej ramce danych. Jest używany z funkcjami sort () lub orderby ().
Metoda - 1: Za pomocą ASC () z funkcją Col
Tutaj używamy funkcji OrderBy () lub sort () do sortowania Pyspark DataFrame na podstawie kolumn w kolejności rosnącej. Musimy określić nazwy kolumn/s wewnątrz funkcji orderby ()/sort () za pośrednictwem funkcji col. Musimy zaimportować tę funkcję z Pyspark.SQL.Moduł funkcji. Służy to do odczytu kolumny z Pyspark DataFrame.
Składnia:
ramka danych.Orderby (col („kolumna_nazwa”).ASC (),…, col („kolumn_name”).ASC ())ramka danych.sort (col („kolumn_nazwa”).ASC (),…, col („kolumn_name”).ASC ())
Tutaj,
- DataFrame to wejście PYSPARK DATAFRAME.
- Kolumna_nazwa to kolumna, w której sortowanie jest stosowane za pośrednictwem funkcji col.
Przykład:
W tym przykładzie sortujemy ramkę danych w kolejności rosnącej w oparciu o kolumny adresowe i wiekowe za pomocą funkcji OrderBy () i sort () i wyświetlić posortowaną ramkę danych za pomocą metody kolekcji ().
#Wportu na moduł PYSPARKImport Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Wportu na funkcję col
od Pyspark.SQL.Funkcje importuj col
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17,
„Adres”: „Patna”,
„Rollno”: „004”, „Nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 3.69, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 37, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci)
# Sortuj ramkę danych na podstawie kolumn adresowych i wiekowych
# i wyświetl posortowaną ramkę danych
Wydrukuj (DF.Orderby (col („Adres”).ASC (), col („wiek”).ASC ()).zbierać())
wydrukować()
Wydrukuj (DF.sort (col („Adres”).ASC (), col („wiek”).ASC ()).zbierać())
Wyjście:
[Wiersz (adres = „guntur”, wiek = 23, wysokość = 5.79, name = „Sravan”, Rollno = „001”, waga = 67),Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, name = „Gnanesh Chowdary”, Rollno = „003”, waga = 17)]
[Wiersz (adres = „guntur”, wiek = 23, wysokość = 5.79, name = „Sravan”, Rollno = „001”, waga = 67),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, name = „Gnanesh Chowdary”, Rollno = „003”, waga = 17)]
Metoda - 2: Za pomocą ASC () z etykietą DataFrame
Tutaj używamy funkcji OrderBy () lub sort () do sortowania Pyspark DataFrame na podstawie kolumn w kolejności rosnącej. Musimy określić nazwy kolumn/etykiety wewnątrz funkcji OrderBy ()/sort () za pośrednictwem nazwy/etykiety kolumny DataFrame.
Składnia:
ramka danych.Orderby (DataFrame.Nazwa kolumny.ASC (),…, DataFrame.Nazwa kolumny.ASC ())ramka danych.SORT (DataFrame.Nazwa kolumny.ASC (),…, DataFrame.Nazwa kolumny.ASC ())
Tutaj,
- DataFrame to wejście PYSPARK DATAFRAME.
- Kolumna_nazwa to kolumna, w której zastosowano sortowanie.
Przykład:
W tym przykładzie sortujemy ramkę danych w kolejności rosnącej w oparciu o kolumny adresowe i wiekowe za pomocą funkcji OrderBy () i sort () i wyświetlić posortowaną ramkę danych przy użyciu metody kolekcji ().
#Wportu na moduł PYSPARKImport Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17,
„Adres”: „Patna”,
„Rollno”: „004”, „Nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 3.69, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 37, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci)
# Sortuj ramkę danych na podstawie kolumn adresowych i wiekowych
# i wyświetl posortowaną ramkę danych
Wydrukuj (DF.Orderby (DF.adres.ASC (), df.wiek.ASC ()).zbierać())
wydrukować()
Wydrukuj (DF.Sort (DF.adres.ASC (), df.wiek.ASC ()).zbierać())
Wyjście:
[Wiersz (adres = „guntur”, wiek = 23, wysokość = 5.79, name = „Sravan”, Rollno = „001”, waga = 67),Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, name = „Gnanesh Chowdary”, Rollno = „003”, waga = 17)]
[Wiersz (adres = „guntur”, wiek = 23, wysokość = 5.79, name = „Sravan”, Rollno = „001”, waga = 67),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, name = „Gnanesh Chowdary”, Rollno = „003”, waga = 17)]
Metoda - 3: Korzystanie z ASC () z indeksem DataFrame
Tutaj używamy funkcji OrderBy () lub sort () do sortowania Pyspark DataFrame na podstawie kolumn w kolejności rosnącej. Musimy określić indeks/indeksy kolumny wewnątrz funkcji orderby ()/sort () za pośrednictwem indeksu/pozycji kolumny DataFrame. W DataFrame indeksowanie zaczyna się od „0”.
Składnia:
ramka danych.Orderby (dataFrame [kolumn_index].ASC (),…, DataFrame [kolumn_index].ASC ())ramka danych.sort (dataFrame [kolumn_index].ASC (),…, DataFrame [kolumn_index].ASC ())
Tutaj,
- DataFrame to wejście PYSPARK DATAFRAME.
- kolumn_index to pozycja kolumny, w której zastosowano sortowanie.
Przykład:
W tym przykładzie sortujemy ramkę danych w kolejności rosnącej w oparciu o kolumny adresowe i wiekowe za pomocą funkcji OrderBy () i sort () i wyświetlić posortowaną ramkę danych przy użyciu metody kolekcji ().
#Wportu na moduł PYSPARKImport Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17,
„Adres”: „Patna”,
„Rollno”: „004”, „Nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 3.69, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 37, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci)
# Sortuj ramkę danych na podstawie kolumn adresowych i wiekowych
# i wyświetl posortowaną ramkę danych
Wydrukuj (DF.Orderby (df [0].ASC (), df [1].ASC ()).zbierać())
wydrukować()
Wydrukuj (DF.sort (df [0].ASC (), df [1].ASC ()).zbierać())
Wyjście:
[Wiersz (adres = „guntur”, wiek = 23, wysokość = 5.79, name = „Sravan”, Rollno = „001”, waga = 67),Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, name = „Gnanesh Chowdary”, Rollno = „003”, waga = 17)]
[Wiersz (adres = „guntur”, wiek = 23, wysokość = 5.79, name = „Sravan”, Rollno = „001”, waga = 67),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, name = „Gnanesh Chowdary”, Rollno = „003”, waga = 17)]
PYSPARK - DESC ()
W PYSPARK DESC () służy do układania wierszy w kolejności malejącej w ramce danych.
Zwróci nową ramkę danych, układając wiersze w istniejącej ramce danych. Jest używany z funkcjami sort () lub orderby ().
Metoda - 1: Za pomocą desc () z funkcją col
Tutaj używamy funkcji OrderBy () lub sort () do sortowania PYSPARK DATAFRAME na podstawie kolumn w celu sortowania PYSpark DataFrame w kolejności malejącej. Musimy określić nazwy kolumn/s wewnątrz funkcji orderby ()/sort () za pośrednictwem funkcji col. Musimy zaimportować tę funkcję z Pyspark.SQL.Moduł funkcji. Służy to do odczytu kolumny z Pyspark DataFrame.
Składnia:
ramka danych.Orderby (col („kolumna_nazwa”).desc (),…, col („kolumna_nazwa”).dec ())ramka danych.sort (col („kolumn_nazwa”).desc (),…, col („kolumna_nazwa”).dec ())
Tutaj,
- DataFrame to wejście PYSPARK DATAFRAME.
- Kolumna_nazwa to kolumna, w której sortowanie jest stosowane za pośrednictwem funkcji col.
Przykład:
W tym przykładzie uporządkujemy ramkę danych w kolejności malejącej w oparciu o kolumny adresowe i wiekowe za pomocą funkcji orderby () i sort () i wyświetlić sortowaną ramkę danych przy użyciu metody kolekcji ().
#Wportu na moduł PYSPARKImport Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Wportu na funkcję col
od Pyspark.SQL.Funkcje importuj col
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17,
„Adres”: „Patna”,
„Rollno”: „004”, „Nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 3.69, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 37, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci)
# Sortuj ramkę danych na podstawie kolumn adresowych i wiekowych
# i wyświetl posortowaną ramkę danych
Wydrukuj (DF.Orderby (col („Adres”).dec (), col („wiek”).dec ()).zbierać())
wydrukować()
Wydrukuj (DF.sort (col („Adres”).dec (), col („wiek”).dec ()).zbierać())
Wyjście:
[Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, nazwa = „Gnanesh Chowdary”, Rollno = „003”, waga = 17),Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Row (Adres = „Guntur”, wiek = 23, wysokość = 5.79, name = 'sravan', rolno = '001', waga = 67)]
[Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, nazwa = „Gnanesh Chowdary”, Rollno = „003”, waga = 17),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Row (Adres = „Guntur”, wiek = 23, wysokość = 5.79, name = 'sravan', rolno = '001', waga = 67)]
Metoda - 2: Za pomocą DESC () z etykietą DataFrame
Tutaj używamy funkcji OrderBy () lub sort () do sortowania PYSPARK DATAFRAME na podstawie kolumn w celu sortowania PYSpark DataFrame w kolejności malejącej. Musimy określić nazwy kolumn/etykiety wewnątrz funkcji OrderBy ()/sort () za pośrednictwem nazwy/etykiety kolumny DataFrame.
Składnia:
ramka danych.Orderby (DataFrame.Nazwa kolumny.desc (),…, DataFrame.Nazwa kolumny.dec ())ramka danych.SORT (DataFrame.Nazwa kolumny.desc (),…, DataFrame.Nazwa kolumny.dec ())
Tutaj,
- DataFrame to wejście PYSPARK DATAFRAME.
- Kolumna_nazwa to kolumna, w której zastosowano sortowanie.
Przykład:
W tym przykładzie sortujemy ramkę danych w kolejności malejącej na podstawie kolumn adresowych i wiekowych za pomocą funkcji orderby () i sort () i wyświetlić sortowaną ramkę danych przy użyciu metody colet ().
#Wportu na moduł PYSPARKImport Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17,
„Adres”: „Patna”,
„Rollno”: „004”, „Nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 3.69, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 37, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci)
# Sortuj ramkę danych na podstawie kolumn adresowych i wiekowych
# i wyświetl posortowaną ramkę danych
Wydrukuj (DF.Orderby (DF.adres.dec (), df.wiek.dec ()).zbierać())
wydrukować()
Wydrukuj (DF.Sort (DF.adres.dec (), df.wiek.dec ()).zbierać())
Wyjście:
[Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, nazwa = „Gnanesh Chowdary”, Rollno = „003”, waga = 17),Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Row (Adres = „Guntur”, wiek = 23, wysokość = 5.79, name = 'sravan', rolno = '001', waga = 67)]
[Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, nazwa = „Gnanesh Chowdary”, Rollno = „003”, waga = 17),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Row (Adres = „Guntur”, wiek = 23, wysokość = 5.79, name = 'sravan', rolno = '001', waga = 67)]
Metoda - 3: Korzystanie z ASC () z indeksem DataFrame
Tutaj używamy funkcji OrderBy () lub sort () do sortowania Pyspark DataFrame na podstawie kolumn w kolejności malejącej. Musimy określić indeks/indeksy kolumny wewnątrz funkcji orderby ()/sort () za pośrednictwem indeksu/pozycji kolumny DataFrame. W DataFrame indeksowanie zaczyna się od „0”.
Składnia:
ramka danych.Orderby (dataFrame [kolumn_index].desc (),…, DataFrame [kolumn_index].dec ())ramka danych.sort (dataFrame [kolumn_index].desc (),…, DataFrame [kolumn_index].dec ())
Tutaj,
- DataFrame to wejście PYSPARK DATAFRAME.
- kolumn_index to pozycja kolumny, w której zastosowano sortowanie.
Przykład:
W tym przykładzie sortujemy ramkę danych w kolejności malejącej na podstawie kolumn adresowych i wiekowych za pomocą funkcji orderby () i sort () i wyświetlić sortowaną ramkę danych przy użyciu metody colet ().
#Wportu na moduł PYSPARKImport Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17,
„Adres”: „Patna”,
„Rollno”: „004”, „Nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 3.69, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 37, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci)
# Sortuj ramkę danych na podstawie kolumn adresowych i wiekowych
# i wyświetl posortowaną ramkę danych
Wydrukuj (DF.Orderby (df [0].ASC (), df [1].ASC ()).zbierać())
wydrukować()
Wydrukuj (DF.sort (df [0].ASC (), df [1].ASC ()).zbierać())
Wyjście:
[Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, nazwa = „Gnanesh Chowdary”, Rollno = „003”, waga = 17),Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Row (Adres = „Guntur”, wiek = 23, wysokość = 5.79, name = 'sravan', rolno = '001', waga = 67)]
[Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, nazwa = „Gnanesh Chowdary”, Rollno = „003”, waga = 17),
Wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54),
Wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = '002', waga = 34),
Wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „rohith”, Rollno = „004”, waga = 28),
Row (Adres = „Guntur”, wiek = 23, wysokość = 5.79, name = 'sravan', rolno = '001', waga = 67)]
Różnorodny
Możemy również używać obu funkcji w różnych kolumnach w Pyspark DataFrame.
Przykład:
#Wportu na moduł PYSPARKImport Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Wportu na funkcję col
od Pyspark.SQL.Funkcje importuj col
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17,
„Adres”: „Patna”,
„Rollno”: „004”, „Nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 3.69, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 37, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci)
# Sortuj ramkę danych na podstawie kolumn adresowych i wiekowych
# i wyświetl posortowaną ramkę danych
Wydrukuj (DF.Orderby (col („Adres”).dec (), col („wiek”).ASC ()).zbierać())
wydrukować()
Wydrukuj (DF.sort (col („Adres”).ASC (), col („wiek”).dec ()).zbierać())
Wyjście:
[Wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, nazwa = „Gnanesh Chowdary”, Rollno = „003”, waga = 17), wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „Rohith”, Rollno = „004”, waga = 28), wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = „002”, waga = 34), wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54), wiersz (adres = „guntur”, wiek = 23, wysokość = 5.79, name = 'sravan', rolno = '001', waga = 67)][Wiersz (adres = „guntur”, wiek = 23, wysokość = 5.79, name = „Sravan”, Rollno = „001”, waga = 67), wiersz (adres = „hyd”, wiek = 37, wysokość = 5.59, name = „sridevi”, rollno = '005', waga = 54), wiersz (adres = „hyd”, wiek = 16, wysokość = 3.79, nazwa = „Ojaswi”, Rollno = „002”, waga = 34), wiersz (adres = „hyd”, wiek = 9, wysokość = 3.69, nazwa = „Rohith”, Rollno = „004”, waga = 28), wiersz (adres = „patna”, wiek = 7, wysokość = 2.79, name = „Gnanesh Chowdary”, Rollno = „003”, waga = 17)]
Wniosek
W tym artykule omawiamy, jak korzystać z funkcji ASC () przy użyciu trzech scenariuszy z funkcjami sort () i orderby () w Pyspark Dataframe w Python. Na koniec doszliśmy do punktu, w którym możemy sortować dane w kolejności rosnącej za pomocą ASC () i kolejności malejącej za pomocą DESC () w PYSPARK DATAFRAME W oparciu o kolumny obecne w ramce danych.