实时读取本地文件到HDFS

 时间:2026-02-15 13:48:20

1、1.Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包

将commons-configuration-1.6.jar、

hadoop-auth-2.7.2.jar、

hadoop-common-2.7.2.jar、

hadoop-hdfs-2.7.2.jar、

commons-io-2.4.jar、

htrace-core-3.1.0-incubating.jar

拷贝到/opt/module/flume/lib文件夹下。

2、2.创建flume-file-hdfs.conf文件

创建文件

实时读取本地文件到HDFS

3、注:要想读取Linux系统中的文件,就得按照Linux命令的规则执行命令。由于Hive日志在Linux系统中所以读取文件的类型选择:exec即execute执行的意思。表示执行Linux命令来读取文件。

实时读取本地文件到HDFS

4、添加如下内容

实时读取本地文件到HDFS

实时读取本地文件到HDFS

实时读取本地文件到HDFS

5、3.执行监控配置

实时读取本地文件到HDFS

6、4.开启Hadoop和Hive并操作Hive产生日志

实时读取本地文件到HDFS

7、5.在HDFS上查看文件。

实时读取本地文件到HDFS

  • 如何将linux 系统根目录只读
  • 在MongoDB数据库中如何进行不等于查询
  • 备份或导出数据库命令mysqldump怎么使用?
  • linux命令行之文本操作
  • sql占位符怎么用
  • 热门搜索
    做空是什么意思 初级会计考什么 鼠标dpi是什么意思 眼睛浮肿是什么原因 阳历是什么意思 创业板是什么意思 一什么灯光 fps是什么 佝偻病是什么病 错车道是什么意思