怎么创建DataFrame

 时间:2025-01-05 18:28:09

1、创建在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口,创建DataFrame有三种方式:通过Spark的数据源进行创建;从一个存在的RDD进行转换;还可以从Hive Table进行查询返回。1)从Spark数据源进行创建(1)查看Spark数据源进行创建的文件格式

怎么创建DataFrame

2、(2)读取json文件创建DataFrame

怎么创建DataFrame

3、(3)展示结果

怎么创建DataFrame

4、2)从RDD进行转换

5、3)从Hive Table进行查询返回

6、 SQL风格语法(主要)1)创建一个DataFrame

怎么创建DataFrame

7、2)对DataFrame创建一个临时表

怎么创建DataFrame

8、3)通过SQL语句实现查询全表

怎么创建DataFrame

9、4)结果展示

怎么创建DataFrame

10、注意:普通临时表是Session范围内的,如果想应用范围内有效,可以使用全局临时表。使用全局临时表时需要全路径访问,如:global_temp.people

11、5)对于DataFrame创建一个全局表

怎么创建DataFrame

12、6)通过SQL语句实现查询全表

怎么创建DataFrame

13、 DSL风格语法(次要)1)创建一个DataFrame

怎么创建DataFrame

14、2)查看DataFrame的Schema信息

怎么创建DataFrame

15、3)只查看”name”列数据

怎么创建DataFrame

16、4)查看”name”列数据以及”age+1”数据

怎么创建DataFrame

17、5)查看”age”大于”21”的数据

怎么创建DataFrame

18、6)按照”age”分组,查看数据条数

怎么创建DataFrame
  • 1.2倍行距怎么设置
  • 艺术字的文字效果在哪里设置
  • word怎么设置标题1样式
  • 标题1样式怎么设置
  • word项目符号在哪里设置
  • 热门搜索
    韩非子五蠹怎么读 阴囊潮湿是怎么回事 黄痰是怎么回事 我的世界怎么飞 杨贵妃怎么死的 投影仪怎么用 宝宝口腔溃疡怎么办 金鱼怎么养 文件格式怎么转换 干竹笋怎么做好吃