用nifi把hdfs数据导到hive

 2023-09-16 阅读 25 评论 0

摘要:全景图: 1. ListHDFS & FetchHDFS: ListHDFS: FetchHDFS: 2. EvaluateJsonPath: {"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}} 如果json里有数组,需要先用SplitJson分

全景图:

NewImage 

 

1. ListHDFS & FetchHDFS:

ListHDFS:

NewImage

 

FetchHDFS:

NewImage

 

2. EvaluateJsonPath:

{"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}}

NewImage

如果json里有数组,需要先用SplitJson分隔:

NewImage

 

 

3. RouteOnContent:

NewImage

 

4. ReplaceText:

先在hive里创建一个表:

create table tb_test(
register string,
register_url string
);

1
  
NewImage
1
insert into yongli.tb_test(register, register_url)values('${register}','${register_url}')
1
  
1
  

下面介绍一种效率更高的方式:

1
还是用ReplaceText:

NewImage

1
  
1
再用MergeContent:

NewImage

1
insert into yongli.tb_dtu(dtuid, addr, value, time)values

 

5. PutHiveQL:

创建一个HiveConnectionPool

NewImage

 

设置Database Connection URL, User, Password:

NewImage

 

 

 

本文转自疯吻IT博客园博客,原文链接:http://www.cnblogs.com/fengwenit/p/5823177.html,如需转载请自行联系原作者


版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/1/69002.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息