udf函数自定义
from pyspark.sql import SparkSession
from pyspark.sql.types import *
创建连接
ss = SparkSession.builder.getOrCreate()
读取hdfs的数据,格式为csv 读取的是hdfs我还以为会调整一下
8020是namenode的默认端口
df_csv = ss.read.csv(‘hdfs://node1:8020/user/hive/warehouse/data/stu.csv’,
schema=‘name string,age int,gender string,phone string,email string,city string,address string’)
df_csv.show()
对邮箱数据进行处理
def func(email):
username = email.split(‘@’)[0]
email_name = email.split(‘@’)[1].split(‘.’)[0]
# todo 新知识：返回多个数据如何做到？
return [username, email_name]
将定义的函数注册到spark中进行使用
todo 我说之前怎么自定义后用不了，原来是没有注册
第一个函数 指定一个注册的函数名称
第二个函数 指定一个自定义函数名称
returnType 指定返回的数据类型
注意这里的func不能带括号,返回的数据类型是需要导入另一个包
好好，这里又用一个坑，它不自己跳出来returnType=ArrayType(StringType())
todo returnType=ArrayType(StringType) 里面的这个括号它自己不跳出来
email_func = ss.udf.register(‘email_func’, func, returnType=ArrayType(StringType()))
SQL使用
df_csv.createTempView(‘stu’)
df_csv_show = ss.sql(‘select neme,age,general email_func(email)[1] from stu’)
df_csv_show.show()
DSL
我以为是怎么用的，df_csv.email
df_csv_SQL= df_csv.select(‘name’,‘age’,‘gender’,email_func(‘email’).alias(‘email_data’)[0])
df_csv_SQL.show()
原文地址:https://blog.csdn.net/weixin_58026490/article/details/135652871
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_59570.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
