更新時(shí)間：2014-04-07百度自稱是全球最大中文搜索引擎,最了解國內(nèi)網(wǎng)民的搜索習(xí)慣,做為中國搜索引擎的老大,很多草根站長(zhǎng)一直在研究的它的搜索技術(shù)和排名算法,還有不少站長(zhǎng)兄弟姐姐還要靠它的流量吃飯,為此草根網(wǎng)站的站長(zhǎng)們對(duì)它是又愛又恨,百度能帶來很大的流量,又會(huì)無情的K站或降權(quán)。
百度一直自稱是全球最大中文搜索引擎，但分詞技術(shù)也并無特殊，也許就是因?yàn)榘俣葥碛幸粋�(gè)超大的專用詞典，這個(gè)專用詞典登錄了人名(比如壓濾機(jī))，廠家名稱(比如壓濾機(jī)生產(chǎn)廠)，部分地名(比如阜城等)，網(wǎng)址(http://www.fxylj.com/),并且這個(gè)詞典在不斷的擴(kuò)充一些新詞,一些新詞不斷的被收錄,這就比google強(qiáng)大的一個(gè)方面,google在于分詞來說,及詞庫明顯比不上百度,這正是google本身要加強(qiáng)的地方.
好的,那咱們說說百度的分詞技術(shù),可能小弟有說的不對(duì)地方,請(qǐng)大家拍磚頭，希望大家共同進(jìn)步。沒有研究百度分詞前不明白百度為什么比google強(qiáng)大.其實(shí)分詞也就是切詞，百度是否拿來一句中文字符串拿來隨便切一下呢，當(dāng)然不會(huì)。那么怎么才滿足被切割的條件呢?通過下面的實(shí)驗(yàn)就會(huì)發(fā)現(xiàn)如果字符串只包含小于等于3個(gè)中文字符的話，那就保留不動(dòng)，比如："牽引器"這個(gè)詞,前提是一個(gè)完整的詞，百度是不會(huì)切分的,當(dāng)字符串長(zhǎng)度大于4個(gè)中文字符的時(shí)候，百度的分詞程序就會(huì)啟動(dòng)了。例如"牽引器價(jià)格",看看返回結(jié)果中標(biāo)為紅字的地方，不難看出來，查詢已經(jīng)被切割成“牽引器”，“價(jià)格”兩個(gè)單詞了,再試著換一個(gè)詞。例如:我們來看"衡水牽引器"，百度里提交查詢一下,發(fā)現(xiàn)標(biāo)紅的關(guān)鍵字都是每一個(gè)是"牽引器","衡水",連續(xù)出現(xiàn)的情況，可以看到將"牽引器"與"衡水"切分成兩個(gè)詞,如果我們搜"衡水助康醫(yī)療器械"呢，發(fā)現(xiàn)標(biāo)題是沒有,網(wǎng)頁內(nèi)容比較完整是"衡水助康醫(yī)療器械
那現(xiàn)我們?cè)趤硌芯恳幌掳俣仁欠衷~算法，通過幾年的發(fā)展,百度的分詞算法已經(jīng)算是相當(dāng)成熟了,這其中也少不了SEOER 的功勞，有一位SEOER的前輩說過:"百度的算法有簡(jiǎn)單的有復(fù)雜的，有正向最大匹配，反向最大匹配，雙向最大匹配，語言模型方法，最短路徑算法等等，有興趣的可以用GOOGLE去搜索一下以增加理解�！白屛覀兛偨Y(jié)一下吧，這里面也有我個(gè)人的猜測(cè), 百度擁有一個(gè)強(qiáng)大的詞匯數(shù)據(jù)庫,里面有我們通用所用的各種詞語比如"人名,地名,產(chǎn)品的名稱",舉個(gè)例子"王元哲","衡水","牽引器",這些都是詞庫中有的,在切詞時(shí)將專有名稱切出,如"助康"這個(gè)詞,詞庫中沒有,下面的采用雙向最大匹配分詞算法,假如正向和反向匹配分詞結(jié)果一致當(dāng)然最好，就可直接輸出即可;如果兩者不一致，正向匹配一種結(jié)果，反向匹配一種結(jié)果.
