solr多字段搜索,排序打分规则

  • 内容
  • 评论
  • 相关

相信使用solr的很多同学安装结束之后就很少去探讨solr的一些实现机制了,例如打分机制、Solr DisjunctionMax多域搜索,例如多域联合搜索与直接多域boots求和结果是完全不同的,使用较复杂。
今天我们只是简单的讲一下多字段搜索和简单的打分机制,后续继续探讨一些solr的使用以及实现机制的问题。
首先我们讲一下solr的多字段搜索,举例来说,如果你使用solr来搜索,我们截取一小段参数来解释:

http://www.gaoxueping.com:8080/solr/core_2/select?indent=on&version=2.2&q=products_name%3Ahello

%3A是UTF8编码,其中看到q参数,这个参数是query input,我们这里的搜索条件是products_name:hello,这里如果这样搜索会怎样呢:

http://www.gaoxueping.com:8080/solr/core_2/select?indent=on&version=2.2&q=hello

其中这里没有指定具体字段,这里就会用到schema.xml中的defaultSearchField,这个是配置默认搜索字段的,我们这里例如设置:

<defaultSearchField>name</defaultSearchField>

那么如果你没指定搜索字段,他会自动搜索这个name字段。
在使用多个条件进行查询时,Solr 可能返回满足所有条件的结构或者满足部分条件的结果。operator控制这一行为,operator 包含 AND 和 OR,AND 将返回满足所有条件的结果,OR将返回满足任一条件的结果。
在 schema.xml,使用solrQueryParser元素来控制使用 AND 还是 OR。默认 operator 的设置只在 lucene 查询时生效,对于 DisMax 和扩展的 DisMax 无效,DisMax 和扩展 DisMax 内部采用硬编码的方式使用了 OR 操作。
不过我们大部分时间使用AND

 <solrQueryParser defaultOperator="AND"/>

solr的index schema中,除了支持基本数值类型的field,还支持一些特别的field,比如较常用的CopyField。以下面的schema配置片断为例:我们这里就使用此字段来设置多字段搜索,okay,例如我们需要同时搜索name,first_name和address这三个字段,那么我们需要先在shema.xml中定义:

  <copyField source="products_name" dest="text"/>
  <copyField source="products_description" dest="text"/>
  <copyField source="categories_name" dest="text"/>

其中source就是我们已定义字段的值,这里我们还要为这个字段定义一下:

<field name="text_rev" type="text_general_rev" indexed="true" stored="false" multiValued="true"/>

其中这个字段不需要可以不需要存储。
当然你可以将默认搜索字段设置为这个字段:

<defaultSearchField>text</defaultSearchField>

okay,一切看起来是不是很美好了,但是这样做虽然解决了多字段搜索问题,但是权重问题无法达成。

使用Solr搭建搜索引擎很容易,但是如何制定合理的打分规则(boost)做排序却是一个很头痛的事情。Solr本身的排序打分规则是继承自Lucene的文本相关度的打分即boost,这一套算法对于通用的提供全文检索的服务来讲,已经够用了,但是对于一些专门领域的搜索来讲,文本相关度的打分是不合适的。
如何来定制适合自身业务的排序打分规则(boost)呢?经过这段时间的思考与实践,想到了如下三个方法:
1、定制Lucene的boost算法,加入自己希望的业务规则;
2、使用Solr的edismax实现的方法,通过bf查询配置来影响boost打分。
3、在建索引的schema时设置一个字段做排序字段,通过它来影响文档的总体boost打分。
上面每一种方法都有其优劣,下面分析一下各自的优劣。
第一种方法技术难度要求较高,需要读懂Lucene的boost打分算法,在代码层做定制.
第二种方式就简单不少,不过因为受限于edismax提供的方法,所以有些局限性。
第三种排序可完全消除文本相关性打分的影响,文本检索匹配逻辑只负责找到匹配的项,排序由自定义字段处理。
着重介绍一下通过使用Solr的DisMaxQParserPlugin通过配置来制定结果文档打分规则。
DisMaxQParserPlugin提供在针对文本boost打分上,支持搜索多个schema索引字段,并针对每一个字段设置不同的boost权限。
pf查询 与 qf查询
pf: 可提供对一条记录的多个字段做匹配的功能
qf: 针对查询的每个字段设置不同的boost权重打分,其设置的字段必须为在pf中配置的项。
可在solrconfig.xml中的browse中配置做如下配置:

<requestHandler name="/browse" class="solr.SearchHandler">
<lst name="defaults">
<str name="defType">edismax</str>
<str name="pf">
name info title
</str>
<str name="qf">
name^1 info^0.8 title^0.6
</str>
</lst>
</requestHandler>

上面一段的意思是,查询name,info,title三个字段,每个字段的文本相关度打分权重分别为1,0.8,0.6。计算查询出的每一条结果的权重方法如下:分别计算各字段的文本打分然后乘于配置的权重,最后三者相加即为该结果的boost得分。
bf查询
除去pf查询,qf查询之外,仍然希望索引记录的其它字段能够计入打分中,这时可以使用bf查询。bf查询支持一些数据函数,这些函数可作用在索引记录的字段上,多为时间,数值等字段。同样bf也支持添加权重。下面是一个使用bf查询配置的例子:

<requestHandler name="/browse" class="solr.SearchHandler">
<lst name="defaults">
<str name="defType">edismax</str>
<str name="bf">
sum(recip(ms(NOW,created_time),3.16e-11,1,1),sqrt(log(max(sales,1))),sqrt(log(count)))^10
</str>
<str name="pf">
name info title
</str>
<str name="qf">
name^1 info^0.8 title^0.6
</str>
</lst>
</requestHandler>

其中sum,recip,ms,sqrt,log,max这些都是Solr提供的数学方法,支持的所有数学方法可在这里查找到:http://wiki.apache.org/solr/FunctionQuery
edismax相关资源:http://wiki.apache.org/solr/DisMaxQParserPlugin

评论

1条评论
  1. Gravatar 头像

    kun 回复

    排序的方法二和方法三,有什么区别?感觉方法三 只是在配置文件里写好,方法二可以不需要先破诶之,而是在客户端写程序,是这样吗?
    求博主解惑

发表评论

电子邮件地址不会被公开。 必填项已用*标注