当前位置: 代码迷 >> 数据仓库 >> hadoop处理文本类型的数据的有关问题
  详细解决方案

hadoop处理文本类型的数据的有关问题

热度:97   发布时间:2016-05-05 15:43:46.0
hadoop处理文本类型的数据的问题
我们管理1K多个服务器,需要从这些服务器中每天定时拿取想要的数据,保存在TXT文本文件里,
格式一般为   1,1,1,中,1\n2,2,2,中,2\n1,1,1,中,1\n即每行由\n隔开,每个字段用,隔开。
我们初步采用hadoop的这个开源的东西,但不知道如何将TXT中的内容导入到hadoop这个系统里,
请问各位有经验分享一下吗?谢谢了!
------解决方案--------------------
将采集到的日志数据,汇总后put到HDFS中即可。
1、可以通过命令行的方式处理:hadoop fs -put 本地文件路径 hdfs文件路径
2、通过程序将本地文件上传到HDFS中

------解决方案--------------------
正解,用hadoop提供hdfs分布式存储数据,用hive高效查询和处理数据
引用:
引用:

将采集到的日志数据,汇总后put到HDFS中即可。
1、可以通过命令行的方式处理:hadoop fs -put 本地文件路径 hdfs文件路径
2、通过程序将本地文件上传到HDFS中


那请问,如何方便做统计呢,你的意思是用hdfs做metastore,然后整合hive做QL么?