solr索引创建流程

 2023-09-13 阅读 15 评论 0

摘要:solr索引创建流程:   分词组件Tokenizer     分词组件(Tokenizer)会做以下几件事情(这个过程称为:Tokenize),处理得到的结果是词汇单元(Token)。       1、将文档分成一个一个单独的单词。       2、去除标点符号。  

 

solr索引创建流程:

 

  分词组件Tokenizer

    分词组件(Tokenizer)会做以下几件事情(这个过程称为:Tokenize),处理得到的结果是词汇单元(Token)。

      1、将文档分成一个一个单独的单词。

      2、去除标点符号。

      3、去除停词(stop word)。

数据库创建索引? 

 

 

 

索引怎么建立, 

 

 

  语言处理组件

    语言处理组件(linguistic processor)主要是对得到的词元(Token)做一些语言相关的处理。对于英语,语言处理组件(Linguistic Processor)一般做以下几点:  

      1、变为小写(Lowercase)

      2、将单词缩减为词根形式

      3、将单词转换为词根形式

 

 

 

 

数据库怎么创建索引。 

  索引组件(Indexer)

    1、利用得到的词(Term)创建一个字典

    2、对字段进行排序

    3、合并相同的词和词出现的文档

 

 

 

版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/3/51368.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息