aso优化的词贷模型?现代搜索引擎,都是以“词”为基础单位进行设计的。词是最小的有意义的语言成分。英语等字母语言,其单词天然按照空格隔开,但中文等东亚语种,其词之间并没有明显的分隔符,因此就产生了“分词”的需求。“分词”就是把一个汉语字符串分成一个个词的过程。
搜索的基础:词袋模型
“词袋模型”是搜索引擎中的一种简单假设,其不考虑词的“顺序”,认为一个文本就是是一堆词的“集合”。也就是如两个文本“腾讯新闻”、“新闻腾讯”,对搜索引擎而言,是完全一样的。这种假设也是我们能够进行组词的基础。
图1 “腾讯新闻”和“新闻腾讯”,及其组词“腾讯网易新闻”的词袋模型
由于“词袋”模型是一个“集合”模型,可以不考虑重复元素,因此上面袋子中的两个“新闻”可以视为一个。从上图中可以看到,“腾讯新闻”+“新闻腾讯”,和“腾讯网易新闻”的词袋模型是完全等价的,也就是说对搜索引擎而言,他们是完全一样的。然后,我们还可以利用上述模型,简单描述用户搜索的过程。搜索的时候,搜索系统首先会在对用户输入的搜索词进行分词,然后在关键词的“袋子”里面依次查找搜索词的分词。
因为搜索系统是以“词”为基础单位进行检索的,因此,首先需要对关键词进行“分词”。然后就是具体的“组词”过程了。“组词”就是一个分组的过程,我们利用的是机器学习中的“在线聚类”技术,其实就是把字符串中有相同子串的词组合在一起,然后不断循环,直到没有重合的词出现。组词过程中,我们考虑到苹果的规则,一个“词”不能过长,否则可能会被认为是关键词堆砌,因此,我们限制了组词的最大个数,就是最多组合5个词。