实时读取本地文件到HDFS

 时间:2025-01-20 18:53:48

1、1.Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包将commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、hadoop-hdfs-2.7.2.jar、commons-io-2.4.jar、htrace-core-3.1.0-incubating.jar拷贝到/opt/module/flume/lib文件夹下。

2、2.创建flume-file-hdfs.conf文件创建文件

实时读取本地文件到HDFS

4、添加如下内容

实时读取本地文件到HDFS实时读取本地文件到HDFS

6、4.开启Hadoop和Hive并操作Hive产生日志

实时读取本地文件到HDFS
  • 如何将linux 系统根目录只读
  • 在MongoDB数据库中如何进行不等于查询
  • 备份或导出数据库命令mysqldump怎么使用?
  • linux命令行之文本操作
  • sql占位符怎么用
  • 热门搜索
    皮肤晒伤了怎么办 电脑打不出字怎么办 全身发冷是怎么回事 怎么去黄褐斑 嘉媚乐护肤品怎么样 qq怎么好友恢复 现代对联怎么贴左右 教育费附加怎么算 大括号怎么打两行字 早泄了怎么办