溫馨提示×

spark limg怎樣進行數據格式轉換

小樊
118
2024-12-13 04:11:09
欄目: 大數據

在Spark中,可以使用selectExpr方法結合SQL函數來進行數據格式轉換。以下是一個示例:

假設我們有一個名為data的DataFrame,其中包含兩列:idvalue。我們想要將value列的數據類型從字符串轉換為整數??梢允褂靡韵麓a:

from pyspark.sql import SparkSession

# 創建Spark會話
spark = SparkSession.builder \
    .appName("Data Format Conversion") \
    .getOrCreate()

# 創建示例DataFrame
data = [(1, "100"), (2, "200"), (3, "300")]
columns = ["id", "value"]
data_frame = spark.createDataFrame(data, columns)

# 使用selectExpr進行數據格式轉換
converted_data_frame = data_frame.selectExpr("id", "CAST(value AS INT)")

# 顯示轉換后的DataFrame
converted_data_frame.show()

在這個示例中,我們使用selectExpr方法,將value列的數據類型從字符串轉換為整數。CAST函數用于執行類型轉換。最后,我們使用show方法顯示轉換后的DataFrame。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女