我们来聊聊中文搜索引擎

hehekotete

本帖最后由 hehekotete 于 2020-4-12 14:44 编辑

由于有人来讨论搜索引擎的问题，个人不算大佬，但是用框架写过一些站内搜索引擎（whoosh，Lucene)。基本上懂搜索引擎怎么运作的。


个人认为搜索引擎最重要的就是

1. 数据搜集（爬虫）
2. 倒排档索引
3.  precision, recall, rank
4. others: NLP, recommendation system, etc.

爬虫部分主要的问题就是 机器多不多，爬虫工程化能力，网络能力，机器人协议等等，至于反爬虫，验证码之类的等等一系列问题就不提了。
其实还有个问题一直没人关注，那就是搜狗本来有知乎和公众号的平台，按道理来说他的内容是最丰富的，但是现实是很狗屎。。。

索引核心问题是分布式存储，源远流长的问题。由于场景需要，mapreduce引流了大数据的潮流。
这部分古狗比较领先。

搜索引擎排序的核心几个问题是precision， recall， rank。
recall一般对于会用搜索引擎的来人来说最重要，这一点百度很垃圾。

precision和rank来看，古狗由于不懂中文，水平不行，我个人使用来看全是csdn。然后古狗其实也在偷偷进行一些审查和过滤。
比如你搜索一些sq的东西，如在google.com.hk上搜某图书馆，会提示 找不到和您查询的相符的内容或信息。

但是百度由于太懂中文，用竞价排名，也不行，基本上我每次搜索都需要变 xxxx 为 "xxxx"， 否则他总是会切词，然后带你去广告。。。

其他的东西都是ai相关，这点百度虽然起步早，但是不知道这么回事真的菜啊，paddle是真的不行，我记得当年（2017年）我还想支持一下国产，然后python还在2.7。py3都跑不起来，最后tf完事了，基本上我觉得这块百度落后很多。

不是踩谁，只是你一个大帽子古狗中文不行，你得想想为啥人家英文能”行“。 中文搜索现在基本上全部都在退步，主要的问题还是源头的问题。
www是互联为基础的，你微信公众号是反互联的。。。

有朋友说什么用户好不好什么的，就不在这个帖子讨论了，本帖主要讨论相关技术。

Antony

我感觉和爬虫爬取的能力有很大关系

h20

私以为搜索引擎最重要的【分词】你却没有写出来

kittyy487

说的有道理  百度一心只想着赚钱   没有梦想

hehekotete

对于我们日常使用来说，我个人的建议包括但是不局限于：

1. 必要的ad插件
2. site: *.io， 引号搜索等技巧的应用
3. 学习英文

hehekotete

h20 发表于 2020-4-12 14:33

私以为搜索引擎最重要的【分词】你却没有写出来
分词并不难，主流都能有不错的效果，你用个jieba都有85的准确率，不是核心能力。

现在bert横空出世，以字为基本单元，对于NLU,分词我觉得都不需要了。

nbarock

谈这么多没用，大多数人都是以自己的主观体验为准，每次搜同一个东西，这个就很容易搜到，那个就像屎一样，你看用户怎么评价？

G奶

h20 发表于 2020-4-12 14:33

私以为搜索引擎最重要的【分词】你却没有写出来
大佬，chrome不能用flash了，你是怎么换头像的啊？

h20

G奶 发表于 2020-4-12 14:39

大佬，chrome不能用flash了，你是怎么换头像的啊？
不告诉你，免得你又换头像

我是IE党，表示没有压力

hehekotete

你们居然没有人关注到古狗其实也在做过滤这个问题吗？

"