PYSPARK - Funkcje matematyczne

W Python PYSPARK to moduł Spark używany do zapewnienia podobnego rodzaju przetwarzania, takiego jak Spark za pomocą DataFrame.

Omówimy funkcje matematyczne w Pyspark. Najpierw utwórzmy ramkę danych

Przykład:
Tutaj utworzymy PYSPARK DATAFRAME z 5 wierszy i 6 kolumnami.

#Wportu na moduł PYSPARK
Import Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci1 = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17, „Adres”: „Patna”,
„Rollno”: „004”, „nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 2.79, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 9, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci1)
# Wyświetl ramkę danych
df.pokazywać()

Wyjście:

PYSPARK - FLOOR ()

Floor () to funkcja matematyczna dostępna w Pyspark.SQL.Moduł funkcji, który służy do zwrócenia wartości podłogi (poniżej) wartości podanej podwójnej wartości.

Możemy użyć tego z metodą Select () do wyświetlania wartości podłogi dla kolumny.

Składnia:
ramka danych.Wybierz („Floor („ kolumna ”))

Gdzie:

1. DataFrame to wejście PYSPARK DATAFRAME
2. Kolumna to nazwa kolumny, w której stosuje się Floor ()

Przykład :
W tym przykładzie zbieramy wartości podłogowe z kolumny wysokości za pomocą metody wybierania () i wyświetlamy metodą kolekcjonowania ().

#Wportu na moduł PYSPARK
Import Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Import Funkcja podłogi
od Pyspark.SQL.Funkcje importują podłogę
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci1 = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17, „Adres”: „Patna”,
„Rollno”: „004”, „nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 2.79, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 9, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci1)
# Zastosuj podłogę na kolumnie wysokości
df.Wybierz (podłogę („wysokość”)).zbierać()

Wyjście:

[Row (podłoga (wysokość) = 5),
Row (podłoga (wysokość) = 3),
Row (podłoga (wysokość) = 2),
Row (podłoga (wysokość) = 2),
Row (podłoga (wysokość) = 5)]

PYSPARK - CEIL ()

Ceil () to funkcja matematyczna dostępna w Pyspark.SQL.Moduł funkcji używany do zwrócenia wartości CEIL (górnej) danej podwójnej wartości.

Możemy użyć tego z metodą Select () do wyświetlania wartości CEIL dla kolumny.

Składnia:
ramka danych.Wybierz („Ceil („ kolumna ”))

Gdzie:

1. DataFrame to wejście PYSPARK DATAFRAME
2. Kolumna to nazwa kolumny, w której stosuje się Ceil ()

Przykład :
W tym przykładzie zbieramy wartości CEIL z kolumny wysokości za pomocą metody select () i wyświetlamy metodą kolekcjonowania ()

#Wportu na moduł PYSPARK
Import Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Import Funkcja podłogi
od Pyspark.SQL.Funkcje importują podłogę
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci1 = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17, „Adres”: „Patna”,
„Rollno”: „004”, „nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 2.79, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 9, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci1)
# Zastosuj CEIL na kolumnie wysokości
df.Wybierz (Ceil („wysokość”)).zbierać()

Wyjście:

[Row (CEIL (wysokość) = 6),
Row (CEIL (wysokość) = 4),
Row (CEIL (wysokość) = 3),
Row (CEIL (wysokość) = 3),
Row (CEIL (wysokość) = 6)]

Pyspark - Round ()

Round () to funkcja matematyczna dostępna w Pyspark.SQL.Moduł funkcji używany do zwrócenia zaokrąglonej wartości, która jest bliżej danej podwójnej wartości.

Możemy użyć tego z metodą Select (), aby wyświetlić okrągłe wartości dla kolumny.

Składnia:
ramka danych.Wybierz („Round („ kolumna ”))

Gdzie:

1. DataFrame to wejście PYSPARK DATAFRAME
2. Kolumna to nazwa kolumny, w której stosuje się Round ()

Przykład :
W tym przykładzie zbieramy zaokrąglone wartości z kolumny wysokości za pomocą metody select () i wyświetlamy metodą kolekcjonowania ().

#Wportu na moduł PYSPARK
Import Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Import Funkcja podłogi
od Pyspark.SQL.Funkcje importują podłogę
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci1 = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17, „Adres”: „Patna”,
„Rollno”: „004”, „nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 2.79, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 9, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci1)
# Zastosuj kolumnę na wysokości
df.Wybierz (Round („Wysokość”)).zbierać()

Wyjście:

[Row (okrągły (wysokość, 0) = 6.0),
Row (okrągły (wysokość, 0) = 4.0),
Row (okrągły (wysokość, 0) = 3.0),
Row (okrągły (wysokość, 0) = 3.0),
Row (okrągły (wysokość, 0) = 6.0)]

PYSPARK - Funkcje sinusoidalne

Sinus jest funkcją trygonometryczną używaną do zwracania wartości sinusoidalnych z podanej kolumny Pyspark DataFrame. Istnieją trzy odmiany sinus. Są sin (), asin () i sinh ().

Gdzie:

sin () służy do uzyskania wartości sinusoidalnych.

Asin () służy do uzyskania odwrotnych wartości sinusoidalnych.

sinh () służy do uzyskania hiperbolicznych wartości sinusoidalnych.

Możemy użyć tego z metodą Select (), aby wyświetlić wynikowe wartości dla kolumny.

Zauważ, że musisz zaimportować te funkcje z PYSPARK.SQL.Funkcje.

Składnia:

ramka danych.Wybierz („sin („ kolumna ”))
ramka danych.Wybierz („asin („ kolumna ”))
ramka danych.Wybierz („sinh („ kolumna ”))

Gdzie:

1. DataFrame to wejście PYSPARK DATAFRAME
2. Kolumna to nazwa kolumny, w której stosowane są funkcje sinusoidalne

Przykład:
W tym przykładzie stosujemy funkcje sinusoidalne na kolumnie wysokości za pomocą metody wybierają.

#Wportu na moduł PYSPARK
Import Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Import Funkcje sinusoidalne
od Pyspark.SQL.funkcje importują grzech, asin, sinh
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci1 = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17, „Adres”: „Patna”,
„Rollno”: „004”, „nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 2.79, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 9, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci1)
# Zastosuj funkcje sinusoidalne na kolumnie wysokości
df.Wybierz (sin („wysokość”), asin („wysokość”), sinh („wysokość”)).zbierać()

Wyjście:

[Row (sin (wysokość) =-0.47343399708193507, asin (wysokość) = nan, sinh (wysokość) = 163.5049831968973),
Row (sin (wysokość) =-0.6039177530112606, asin (wysokość) = nan, sinh (wysokość) = 22.116902337066122),
Row (sin (wysokość) = 0.34439346725839, asin (wysokość) = nan, sinh (wysokość) = 8.109799293936714),
Row (sin (wysokość) = 0.34439346725839, asin (wysokość) = nan, sinh (wysokość) = 8.109799293936714),
Row (sin (wysokość) =-0.6389906043282237, asin (wysokość) = nan, sinh (wysokość) = 133.86594234289123)]

PYSPARK - funkcje cosinus

Cosinus jest funkcją trygonometryczną używaną do zwrócenia wartości cosinus z podanej kolumny Pyspark DataFrame. Istnieją trzy odmiany cosinus. Są to cos (), acos () i cosh ().

Gdzie:
cos () służy do uzyskania wartości cosinus.

ACOS () służy do uzyskania odwrotnych wartości cosinus.

COSH () służy do uzyskania hiperbolicznych wartości cosinus.

Możemy użyć tego z metodą Select (), aby wyświetlić wynikowe wartości dla kolumny.

Zauważ, że musisz zaimportować te funkcje z PYSPARK.SQL.Funkcje

Składnia:
ramka danych.Wybierz („cos („ kolumna ”))
ramka danych.Wybierz („ACOS („ kolumna ”))
ramka danych.Wybierz („cosh („ kolumna ”))

Gdzie:

1. DataFrame to wejście PYSPARK DATAFRAME
2. Kolumna to nazwa kolumny, w której stosowane są funkcje cosinusowe

Przykład :
W tym przykładzie stosujemy funkcje cosinus na kolumnie wysokości za pomocą metody wybierają.

#Wportu na moduł PYSPARK
Import Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Import Funkcje cosinus
od Pyspark.SQL.Funkcje importowe cos, acos, cosh
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci1 = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17, „Adres”: „Patna”,
„Rollno”: „004”, „nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 2.79, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 9, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci1)
# Zastosuj funkcje cosinus na kolumnie wysokości
df.Wybierz (cos („wysokość”), ACOS („wysokość”), cosh („wysokość”)).zbierać()

Wyjście:

[Row (cos (wysokość) = 0.880829296973609, ACOS (wysokość) = nan, cosh (wysokość) = 163.50804117907373),
Row (cos (wysokość) =-0.7970466407920117, ACOS (wysokość) = nan, cosh (wysokość) = 22.139497938917245),
Row (cos (wysokość) =-0.9388254042737362, ACOS (wysokość) = nan, cosh (wysokość) = 8.171220507851714),
Row (cos (wysokość) =-0.9388254042737362, ACOS (wysokość) = nan, cosh (wysokość) = 8.171220507851714),
Row (cos (wysokość) = 0.7692145393713327, ACOS (wysokość) = nan, cosh (wysokość) = 133.86967737075594)]

PYSPARK - Funkcje styczne

Tangent to funkcja trygonometryczna używana do zwrócenia wartości stycznej z podanej kolumny Pyspark DataFrame. Istnieją trzy odmiany styczne. Są tan (), atan () i tanh ().

Gdzie:
tan () służy do uzyskania wartości stycznych.

Atan () służy do uzyskania odwrotnych wartości stycznych.

Tanh () służy do uzyskania wartości hiperbolicznych.

Możemy użyć tego z metodą Select (), aby wyświetlić wynikowe wartości dla kolumny.

Zauważ, że możesz zaimportować te funkcje z PYSPARK.SQL.Funkcje

Składnia:
ramka danych.Wybierz („tan („ kolumna ”))
ramka danych.Wybierz („Atan („ kolumna ”))
ramka danych.Wybierz („Tanh („ kolumna ”))

Gdzie:

1. DataFrame to wejście PYSPARK DATAFRAME
2. Kolumna to nazwa kolumny, w której stosowane są funkcje styczne

Przykład :
W tym przykładzie stosujemy funkcje styczne na kolumnie wysokości za pomocą metody wybierają.

#Wportu na moduł PYSPARK
Import Pyspark
#Import Sparksession do tworzenia sesji
od Pyspark.SQL Import Sparksession
#Import Funkcje styczne
od Pyspark.SQL.Funkcje importu Tan, Atan, Tanh
#Utworz aplikację o nazwie Linuxhint
Spark_App = Sparksession.budowniczy.AppName („Linuxhint”).getorCreate ()
# Utwórz dane ucznia z 5 wierszy i 6 atrybutów
studenci1 = [„Rollno”: „001”, „nazwa”: „Sravan”, „wiek”: 23, „wysokość”: 5.79, „waga”: 67, „Adres”: „Guntur”,
„Rollno”: „002”, „nazwa”: „Ojaswi”, „wiek”: 16, „wysokość”: 3.79, „waga”: 34, „Adres”: „Hyd”,
„Rollno”: „003”, „nazwa”: „Gnanesh Chowdary”, „wiek”: 7, „wysokość”: 2.79, „waga”: 17, „Adres”: „Patna”,
„Rollno”: „004”, „nazwa”: „Rohith”, „wiek”: 9, „wysokość”: 2.79, „waga”: 28, „Adres”: „hyd”,
„Rollno”: „005”, „nazwa”: „Sridevi”, „wiek”: 9, „wysokość”: 5.59, „waga”: 54, „Adres”: „Hyd”]
# Utwórz ramkę danych
df = Spark_App.CreatedataFrame (studenci1)
# Zastosuj funkcje styczne na kolumnie wysokości
df.Wybierz (tan („wysokość”), atan („wysokość”), tanh („high”)).zbierać()

Wyjście:

[Row (tan (wysokość) =-0.5374866602514016, Atan (wysokość) = 1.3997719475525305, Tanh (wysokość) = 0.9999812976649076),
Row (tan (wysokość) = 0.7576943708227135, Atan (wysokość) = 1.312823345585992, Tanh (wysokość) = 0.9989793986334531),
Row (tan (wysokość) =-0.36683441424852425, Atan (wysokość) = 1.2266375707015524, Tanh (wysokość) = 0.9924832264829984),
Row (tan (wysokość) =-0.36683441424852425, Atan (wysokość) = 1.2266375707015524, Tanh (wysokość) = 0.9924832264829984),
Row (tan (wysokość) =-0.8307053125262831, Atan (wysokość) = 1.393779115470312, Tanh (wysokość) = 0.9999720995229238)]

Wniosek

W tym artykule omówiliśmy sześć funkcji matematycznych. Spośród sześciu trzech ma funkcje trygonometryczne: sinus, cosinus i styczna. W każdym z nich omówiliśmy wszystkie warianty z przykładami. Pozostałe trzy to funkcje: Ceil (), floor () i okrągłe (). Wreszcie upewnimy się, że musimy zaimportować te funkcje z Pyspark.SQL.Funkcje moduł w zamówieniu tych sześciu funkcji.