PySpark SelectExpr()

Pyspark.sql.DataFrame.selectExpr()

Hàm selectexpr() lấy các cột/tập hợp các biểu thức và trả về DataFrame dựa trên các biểu thức/cột đã chỉ định. Nhiều biểu thức có thể được chỉ định trong hàm này, được phân tách bằng dấu phẩy. Để hiển thị DataFrame, chúng ta có thể sử dụng các hàm show()/collect().

Cú pháp:

Ở đây, pyspark_DataFrame_object là Khung dữ liệu PySpark đầu vào.

Tình huống 1: Chọn các Cột

Trong trường hợp này, chúng ta sẽ xem cách chọn các cột cụ thể từ Khung dữ liệu PySpark bằng cách sử dụng hàm selectExpr().

Biểu thức được sử dụng là “current_column as new_name”. Ở đây, current_column là tên cột có trong DataFrame và nó được hiển thị dưới dạng new_name (Bí danh).

Ví dụ:

Tạo một Khung dữ liệu PySpark có tên là “agri_df” với 5 hàng và cột. Lấy cột “Soil_status” và “Soil_Type” làm “STATUS” và “TYPE”.

Đầu ra:

Tình huống 2: Chỉ định Biểu thức điều kiện

Trong trường hợp này, chúng ta sẽ xem cách đánh giá các điều kiện trong hàm selectExpr().

Biểu thức được sử dụng là 'giá trị toán tử có_cột_hiện có'. Ở đây, có_cột là tên cột có trong DataFrame và chúng tôi so sánh từng giá trị trong cột này với chuỗi/giá trị.

Ví dụ 1:

Kiểm tra xem quốc gia có phải là “USA” hay không. Toán tử bằng (=) được sử dụng ở đây.

Đầu ra:

Ví dụ 2:

Kiểm tra xem Soil_Type có phải là NULL hay không. Từ khóa NULL kiểm tra xem giá trị có phải là NULL hay không. Nếu nó là null, true được trả về. Nếu không, sai được trả lại. Biểu thức cuối cùng là “Soil_Type IS NULL”

Đầu ra:

Tình huống 3: Đánh giá các biểu thức

Trong kịch bản này, chúng ta sẽ xem cách chỉ định các biểu thức toán học. Biểu thức được sử dụng là “biểu_thức_toán_cột_hiện_tại”.

Ví dụ:

1. Hiển thị cột 'Mẫu đất' thực tế.
2. Thêm 100 vào cột 'Mẫu đất'.
3. Trừ 100 từ cột 'Mẫu đất'.
4. Nhân 100 với cột 'Mẫu đất'.
5. Chia cột 'Mẫu đất' cho 100.

Đầu ra:

Tình huống 4: Áp dụng các hàm tổng hợp

TỔNG (tên_cột) – Nó đánh giá tổng giá trị trong cột được chỉ định.

NGHĨA LÀ(tên_cột) – Nó đánh giá giá trị trung bình trong cột được chỉ định.

TỐI THIỂU(tên_cột) – Nó trả về phần tử nhỏ nhất trong số tất cả các phần tử trong cột đã chỉ định.

TỐI ĐA(tên_cột) – Nó trả về phần tử lớn nhất trong số tất cả các phần tử trong cột đã chỉ định.

Ví dụ:

1. Tìm các phần tử tổng, trung bình, đếm, tối thiểu và tối đa của “Mẫu đất”.
2. Tìm các yếu tố tối thiểu và tối đa trong cột “Soil_status”.

Đầu ra:

Phần kết luận

Chúng ta đã thảo luận về hàm selectExpr() lấy các cột/bộ biểu thức và trả về DataFrame dựa trên các biểu thức/cột đã chỉ định. Là một phần của điều này, chúng tôi đã tìm hiểu bốn tình huống chính trong đó selectExpr() được áp dụng. Nhiều biểu thức có thể được chỉ định trong hàm này, được phân tách bằng dấu phẩy. Không cần tạo CHẾ ĐỘ XEM TẠM THỜI để sử dụng hàm selectExpr().