flink如何集成CDH版HDFS

 时间:2024-10-20 21:33:44

1、最近在找一些写入到flink写入到hdfs的方法,然后在官网找到了这个(https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/connectors/filesystem_sink.html),然后就尝试着去使用这个,虽然能把数据写到hdfs上面去,但是是分片的,结果图如下:

flink如何集成CDH版HDFS

3、默认情况下,当元素到达时,当前的系统时间将会降级,并使用日期时间模式“yyyy-MM-dd - HH”命名这些存储区。

flink如何集成CDH版HDFS

5、例如,如果您有一个包含分钟的模式作为最细粒度,您将每分钟获得一个新的桶。每个桶本身就是一个包含几个零件文件的目录:

flink如何集成CDH版HDFS

7、当桶变得不活动时,打开的零件文件将被刷新并关闭。一个桶在最近没有被写入时被视为非活动的。默认情况下,接收器每分钟检查非活动的桶,并关闭一分钟内尚未写入的任何桶。

flink如何集成CDH版HDFS

9、以上就是小编带给大家的flink如何集成CDH版HDFS的关键所在,希望大家可以喜欢,如果喜欢的话可以点赞哦,也可以发表自己的看法

  • 如何进行汽车保养
  • 我的把妹心得
  • 最好的避暑选择在这里 宜春周边旅游避暑攻略
  • 高血压人群饮食上有哪些方面需要注意?
  • 热门搜索
    鲜香菇怎么做好吃 痔疮治疗方法 入党志愿书怎么写 车标大全 花朵图片大全 想家怎么办 运动减肥方法 脖子落枕最快治愈方法 说明方法 凉面怎么做好吃