這是一套基於詞頻詞典的機械中文分詞引擎,它能將一整段的漢字基本正確的切分成詞。詞是漢語的基本語素單位,而書寫的時候不像英語會在詞之間用空格分開,所以如何准確而又快速的分詞一直是中文分詞的攻關難點。
SCWS 在概念上並無創新成分,采用的是自行采集的詞頻詞典,並輔以一定程度上的專有名稱、人名、地名、數字年代等規則集,經小范圍測試大概准確率在 90% ~ 95% 之間,已能基本滿足一些中小型搜索引擎、關鍵字提取等場合運用。 SCWS 采用純 C 代碼開發,以 Unix-Like OS 為主要平台環境,提供共享函數庫,方便植入各種現有軟件系統。此外它支持 GBK,UTF-8,BIG5 等漢字編碼,切詞效率高。
下載地址:
wget http://www.ftphp.com/scws/down/scws-1.1.3.tar.bz2 //源碼包
wget http://www.ftphp.com/scws/down/scws-dict-chs-utf8.tar.bz2 //utf8詞典,
wget http://www.ftphp.com/scws/down/scws-dict-chs-gbk.tar.bz2
[root@localhost src]# tar xjvf scws-1.1.3.tar.bz2
[root@localhost src]# cd scws-1.1.3
編譯scws:
[root@localhost scws-1.1.3]# ./configure --prefix=/usr/local/scws
[root@localhost scws-1.1.3]# make
[root@localhost scws-1.1.3]# make install
[root@localhost scws-1.1.3]# ls -al /usr/local/scws/lib/libscws.la //看看有沒有這個文件,如果有就說明安裝成功了。
[root@localhost scws-1.1.3]# /usr/local/scws/bin/scws -h //這個也是看看安裝成功了沒有,如果看到下面輸出,也說明安裝成功。
scws (scws-cli/1.1.3)
Simple Chinese Word Segmentation - Command line usage.
Copyright (C)2007 by hightman.
安裝中文分詞的php擴展:
安裝此擴展要求您的 php 和系統環境安裝了相應的 autoconf automake 工具及 phpize 。
[root@localhost src]# tar xjvf scws-dict-chs-utf8.tar.bz2 -C /usr/local/scws/etc //把utf8詞典安裝到scws指定的目錄下。
1).進入源碼目錄的 phpext/ 目錄
[root@localhostcd ~]# cd /usr/local/src/scws-1.1.3/phpext/
2).執行 phpize (在PHP安裝目錄的bin/目錄下)
[root@localhost phpext]# /usr/local/php/bin/phpize
#Configuring for:
#PHP Api Version: 20090626
#Zend Module Api No: 20090626
#Zend Extension Api No: 220090626
3).進行編譯
[root@localhost phpext]# ./configure --with-scws=/usr/local/scws --with-php-config=/usr/local/php/bin/php-config
[root@localhost phpext]# make
[root@localhost phpext]# make install
4). 找到php.ini的位置,並修改和加入內容
[root@localhost phpext]# vi /usr/local/php/etc/php.ini
找到extension_dir = "./"
修改成extension_dir = ""
在文件的最後面加上
[scws]
extension = scws.so
extension_dir = /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/
scws.default.charset = utf8
scws.default.fpath = /usr/local/scws/etc
[root@localhost phpext]# /usr/local/php/bin/php -m //執行 php -m 就能看到 scws 了或者在 phpinfo() 中 scws 的相關部分
重啟Apache
OK! 查看phpinfo 看看是否有scws ,如果有這個擴展就ok了。