上T级别的日志，如何快速搜索

lzhd24 · 发表于 2018-9-25 16:58:42

日志是文本文件，其实是压缩文件，非数据库。

用一些命令find,findstr,grep无法建立索引的情况下，每次搜索耗时特别大。

目前知道有一个百度硬盘本地搜索的小工具可以建立索引。

有没有其他的方案呢？

成都第七帅 · 发表于 2018-9-25 17:01:07

搜索的算法就那些，不建立索引的情况下，上T的日志都会很慢

hxuf · 发表于 2018-9-25 17:01:41

解压到本地硬盘，然后用记事本打开…然后你电脑就死机了

lzhd24 · 发表于 2018-9-25 17:02:57

"

噢噢，谢谢，因为对这一块没有太多研究，所以来问问有没有相关神器

adminii · 发表于 2018-9-25 17:01:00

一个文件上T，还是多个日志文件总和上T？

lzhd24 · 发表于 2018-9-25 17:03:43

"

哈哈，解压出来一个文件就上G，不敢点

callmefeifei · 发表于 2018-9-25 17:04:35

hadoop

lzhd24 · 发表于 2018-9-25 17:01:00

"

平均每个压缩包800M左右，解压出来每个文件上G，总和上T

lzhd24 · 发表于 2018-9-25 17:05:07

"

好的，谢谢回头研究下

骚猪 · 发表于 2018-9-25 17:05:59

		自动登录	找回密码
密码			立即注册