我们管理1K多个服务器,需要从这些服务器中每天定时拿取想要的数据,保存在TXT文本文件里,
格式一般为 1,1,1,中,1\n2,2,2,中,2\n1,1,1,中,1\n即每行由\n隔开,每个字段用,隔开。
我们初步采用hadoop的这个开源的东西,但不知道如何将TXT中的内容导入到hadoop这个系统里,
请问各位有经验分享一下吗?谢谢了!
------解决方案--------------------
将采集到的日志数据,汇总后put到HDFS中即可。
1、可以通过命令行的方式处理:hadoop fs -put 本地文件路径 hdfs文件路径
2、通过程序将本地文件上传到HDFS中
------解决方案--------------------
正解,用hadoop提供hdfs分布式存储数据,用hive高效查询和处理数据