当前位置: 代码迷 >> 高性能计算 >> 日志 分析程序,该如何解决
  详细解决方案

日志 分析程序,该如何解决

热度:4346   发布时间:2013-02-26 00:00:00.0
日志 分析程序
做一个日志分析程序,日志文件很大,切有很多个,而且在不断更新中,现在要求通过关键字查找 日志信息,大家帮提供个思路。

------解决方案--------------------------------------------------------
大文件的日志,搜索起来效率肯定很低,用lucene建索引肯定成本很高

建议: 写个server,读取实时的滚动日志,按照你自己的关键字来分析,比如:按照日期,按照号码等等,将新增的日志,重新写到另外目录,另外的文件

通过按照规则分多级目录,多个文件,最后形成一些小文件。这样,搜索的时候,按照目录,找到最后的小文件,再搜索起来效率会比较高。。
  相关解决方案