发布于 2015-06-14 06:10:19 | 88 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的精品教程,程序狗速度看过来!

Coreseek 中文全文检索引擎

Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景,用户可以免费下载使用


一,coreseek 简介

官方http://www.coreseek.cn/

Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论 坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景。商业使用(例如, 嵌入到其他程序中)需要获得商业授权。

Coreseek是一个支持中文的全文搜索引擎,意图为其他应用提供高速、低空间占用、高相关度结果的中文全文搜索能力。CoreSeek可以非常容易的与SQL数据库和脚本语言集成。

在 Sphinx发行版本中提供的原生搜索API支持PHP、Python、Perl、Rudy和Java。搜索API非常轻量化,可以在几个小时之内移植到 新的语言上。第三方API接口和插件提供了对Perl、C#、Haskell、Ruby-on-Rails支持,以及对其他可能的语言或者框架的支持。

二,安装Coreseek

注:本文是以centos+mysql做为数据源支持为基础的coreseek安装教程.mysql安装略过.

1,下载coreseek 3.2稳定版,下载其他版本请去官网自行下载

cd /usr/local/src/

wget http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz

tar xzvf coreseek-3.2.14.tar.gz

cd coreseek-3.2.14

安 装coreseek之前需要先安装需要预装的软件:yum install make gcc g++ gcc-c++ libtool autoconf automake imake mysql-devel libxml2-devel expat-devel  (注:这是centos 64位

其他系统请参考http://www.coreseek.cn/product_install/install_on_bsd_linux/#deps

2,安装mmseg

$ cd mmseg-3.2.14

$ ./bootstrap    #输出的warning信息可以忽略,如果出现error则需要解决

$ ./configure --prefix=/usr/local/mmseg3

$ make && make install

$ cd ..

##如果提示libtool: unrecognized option `--tag=CC‘ ,请查看libtool问题解决方案

##安装完成后,mmseg使用的词典和配置文件,将自动安装到/usr/local/mmseg3/etc中

##中文分词测试,如果显示不正常,请检查当前环境下的locale和utf-8中文字符显示设置

$  /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc src/t1.txt

    中文/x 分/x 词/x 测试/x

    中国人/x 上海市/x

Word Splite took: 1 ms.

3,安装coreseek

$ cd csft-3.2.14

##执行configure,进行编译配置:

$ sh buildconf.sh

$ ./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql

如查提示找不到mysql includes file则使用下面的编译命令

./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql-includes=/alidata/server/mysql/include/ --with-mysql-libs=/alidata/server/mysql/bin/

make && make install

4,测式coreseek

cd ../testpack

$  /usr/local/coreseek/bin/indexer -c etc/csft.conf

##以下为正常情况下的提示信息:

    Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

    Copyright (c) 2007-2010,

    Beijing Choice Software Technologies Inc (http://www.coreseek.com)

     using config file ‘etc/csft.conf‘...

    total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg

    total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg

##

##csft-4.0版显示:ERROR: nothing to do.

##

$  /usr/local/coreseek/bin/indexer -c etc/csft.conf --all

##以下为正常索引全部数据时的提示信息:(csft-4.0版类似)

    Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

    Copyright (c) 2007-2010,

    Beijing Choice Software Technologies Inc (http://www.coreseek.com)

     using config file ‘etc/csft.conf‘...

    indexing index ‘xml‘...

    collected 3 docs, 0.0 MB

    sorted 0.0 Mhits, 100.0% done

    total 3 docs, 7585 bytes

    total 0.075 sec, 101043 bytes/sec, 39.96 docs/sec

    total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg

    total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg

$  /usr/local/coreseek/bin/indexer -c etc/csft.conf xml

##以下为正常索引指定数据时的提示信息:(csft-4.0版类似)

    Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

    Copyright (c) 2007-2010,

    Beijing Choice Software Technologies Inc (http://www.coreseek.com)

     using config file ‘etc/csft.conf‘...

    indexing index ‘xml‘...

    collected 3 docs, 0.0 MB

    sorted 0.0 Mhits, 100.0% done

    total 3 docs, 7585 bytes

    total 0.069 sec, 109614 bytes/sec, 43.35 docs/sec

    total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg

    total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg

$  /usr/local/coreseek/bin/search -c etc/csft.conf

##以下为正常测试搜索时的提示信息:(csft-4.0版类似)

    Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

    Copyright (c) 2007-2010,

    Beijing Choice Software Technologies Inc (http://www.coreseek.com)

     using config file ‘etc/csft.conf‘...

    index ‘xml‘: query ‘‘: returned 3 matches of 3 total in 0.093 sec

    displaying matches:

    1. document=1, weight=1, published=Thu Apr  1 22:20:07 2010, author_id=1

    2. document=2, weight=1, published=Thu Apr  1 23:25:48 2010, author_id=1

    3. document=3, weight=1, published=Thu Apr  1 12:01:00 2010, author_id=2

    words:

$  /usr/local/coreseek/bin/search -c etc/csft.conf -a Twittter和Opera都提供了搜索服务

##以下为正常测试搜索关键词时的提示信息:(csft-4.0版类似)

    Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

    Copyright (c) 2007-2010,

    Beijing Choice Software Technologies Inc (http://www.coreseek.com)

     using config file ‘etc/csft.conf‘...

    index ‘xml‘: query ‘Twittter和Opera都提供了搜索服务 ‘: returned 3 matches of 3 total in 0.038 sec

    displaying matches:

    1. document=3, weight=24, published=Thu Apr  1 12:01:00 2010, author_id=2

    2. document=1, weight=4, published=Thu Apr  1 22:20:07 2010, author_id=1

    3. document=2, weight=3, published=Thu Apr  1 23:25:48 2010, author_id=1

    words:

    1. ‘twittter‘: 1 documents, 3 hits

    2. ‘和‘: 3 documents, 15 hits

    3. ‘opera‘: 1 documents, 25 hits

    4. ‘都‘: 2 documents, 4 hits

    5. ‘提供‘: 0 documents, 0 hits

    6. ‘了‘: 3 documents, 18 hits

    7. ‘搜索‘: 2 documents, 5 hits

    8. ‘服务‘: 1 documents, 1 hits

$  /usr/local/coreseek/bin/searchd -c etc/csft.conf

##以下为正常开启搜索服务时的提示信息:(csft-4.0版类似)

    Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

    Copyright (c) 2007-2010,

    Beijing Choice Software Technologies Inc (http://www.coreseek.com)

    using config file ‘etc/csft.conf‘...

    listening on all interfaces, port=9312

三,配置coreseek支持mysql数据源

1,配置csft_mysql.conf文件

复制mysql配置文件到coreseek安装目录etc/下(比如/usr/local/coreseek/etc/)

cp /usr/local/src/coreseek-3.2.14/testpack/etc/csft_mysql.conf /usr/local/coreseek/etc/

cd /usr/local/coreseek/etc/

vi csft_mysql.conf

下面加红部分是需要你自己配置的

官方参考文档:数据源配置:mysql数据源 http://www.coreseek.cn/products-install/datasource/

其他数据源请参考官方

==============================================================

#源定义

source phperz

{

    type                    = mysql

    sql_host                = localhost

    sql_user                = root

    sql_pass                = xxxx

    sql_db                    = phperz

    sql_port                = 3306

    sql_query_pre            = SET NAMES utf8

    sql_query                = SELECT id,title,descs,status from article

                                                              #sql_query第一列id需为整数

                                                              #title、content作为字符串/文本字段,被全文索引

    sql_attr_uint            = status           #从SQL读取到的值必须为整数

    #sql_attr_timestamp        = date_added #从SQL读取到的值必须为整数,作为胜博發属性

    sql_query_info_pre      = SET NAMES utf8                                        #命令行查询时,设置正确的字符集

    sql_query_info            = SELECT * FROM article WHERE id=$id #命令行查询时,从数据库读取原始数据信息

}

#index定义

index phperz

{

    source            = phperz             #对应的source名称

    path            =  /usr/local/coreseek/var/data/phperz #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...

    docinfo            = extern

    mlock            = 0

    morphology        = none

    min_word_len        = 1

    html_strip                = 0

    #中文分词配置,详情请查看:http://www.coreseek.cn/products-install/coreseek_mmseg/

    charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置,/符号结尾

    #charset_dictpath = etc/                             #Windows环境下设置,/符号结尾,最好给出绝对路径,例如:C:/usr/local/coreseek/etc/...

    charset_type        = zh_cn.utf-8

}

#全局index定义

indexer

{

    mem_limit            = 128M

}

#searchd服务定义

searchd

{

    listen                  =   9312

    read_timeout        = 5

    max_children        = 30

    max_matches            = 1000

    seamless_rotate        = 0

    preopen_indexes        = 0

    unlink_old            = 1

    pid_file = /usr/local/coreseek/var/log/searchd_mysql.pid  #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...

    log = /usr/local/coreseek/var/log/searchd_mysql.log        #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...

    query_log = /usr/local/coreseek/var/log/query_mysql.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...

}

==============================================================

2,建立索引

路经部分需要改成你自己的地址

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all

可能出现的错误

ERROR: index ‘phperz‘: sql_connect: Can‘t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock‘ (2) (DSN=mysql://root:***@localhost :3306/phperz).

这是因为mysql的sock文件路经不正确导致的.

确认一下你的mysql.sock路经,建立一个软连接,比如

ln -s /tmp/mysql.sock /var/lib/mysql/mysql.sock

3,索引建立完毕以后就可以行测试了!

/usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf 我是小小苹果

测试结果(如下):

Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]

Copyright (c) 2007-2011,

Beijing Choice Software Technologies Inc (http://www.coreseek.com)

 using config file ‘/usr/local/coreseek/etc/csft.conf‘...

index ‘mysql‘: query ‘我是小小苹果 ‘: returned 1 matches of 1 total in 0.003 sec

displaying matches:

1. document=291, weight=4, prize=1

        id=291

        winner_name=赵小丽

        subject_name=我是小小苹果

        school_name=北京市海淀区第一幼儿园

        sub_url=http://www.xxxxx.com

        prize=1

words:

1. ‘我‘: 35 documents, 35 hits

2. ‘是‘: 14 documents, 14 hits

3. ‘小小‘: 5 documents, 5 hits

4. ‘苹果‘: 2 documents, 2 hits

------------------以上是测试结果------------------------------

四 为php安装sphinx扩展(用PHP语言来使用coreseek) 

cd /web/src/coreseek-3.2.14/csft-3.2.14/api/libsphinxclient

./configure --prefix=/usr/local/sphinxclient 

make && make install

cd cd /web/src/sphinx-1.3.0

/usr/local/php/bin/phpize

./configure --with-php-config=/usr/local/php/bin/php-config --with-sphinx=/usr/local/sphinxclient   

make

make install

修改vi /usr/local/php/etc/php.ini  #添加下面两行

[sphinx]

extension=sphinx.so

到此sphinx扩展安装完成,重启apache进行测试!

测试代码如下:

<?php
     $cl = new SphinxClient();
     //设置sphinx服务器地址与端口,如果是本机则可以为localhost
     $cl->SetServer( "192.168.1.23", 9312);//与searchd端口对应
     //以下设置用于返回数组形式的结果
     $cl->SetArrayResult ( true );
     $cl->setMatchMode ( SPH_MATCH_BOOLEAN );
     $result = $cl->Query( ‘我是小小苹果‘,‘mysql‘ );  //参数 关键字  索引名
     if ( $result === false ) {
         echo "Query failed: " . $cl->GetLastError() . ".n";
     }
     else {
          if ( $cl->GetLastWarning() ) {
                  echo "WARNING: " . $cl->GetLastWarning() . "";
             }
          print_r( $result );
    }
?>

 

五,coreseek日常维护

启动

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf

停止

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop

建立索引

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all

重建索引

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

你需要把启动命令加到开机自启动里

把重建索引命令加到计划任务里每天执行



相关阅读 :
centos 安装 coreseek 以及php的扩展
在yum安装lamp的环境下安装coreseek以及php的sphinx扩展
Linux下CoreSeek及PHP扩展模块的安装
centos下coreseek安装及使用教程
centos下Coreseek 安装配置教程
coreseek(sphinx+mmseg3),php下sphinx扩展安装和php示例
sphinx+coreseek+php扩展--用php程序实现中文拆词
Coreseek Windows下安装调试
Ubuntu15.10安装Coreseek4.1
最新网友评论  共有(0)条评论 发布评论 返回顶部
月排行榜

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  服务