聲明:本文來(lái)自于微信公眾號(hào) 流量販子SEO（ID:kaopuseo1），作者:GoGo闖，授權(quán)轉(zhuǎn)載發(fā)布。
01
搜索引擎基本概念:爬取、索引、召回、粗排、精排、重排
爬取 & 索引
搜索引擎爬取全網(wǎng)海量頁(yè)面 → 進(jìn)行基本的質(zhì)量評(píng)分 → 過(guò)濾出小部分質(zhì)量較佳的網(wǎng)頁(yè) → 創(chuàng)建倒排索引（能夠通過(guò)關(guān)鍵詞查詢文檔）
召回
用戶發(fā)起搜索請(qǐng)求 → 搜索引擎先對(duì)關(guān)鍵詞進(jìn)行糾錯(cuò)處理 → 拆成多個(gè)詞項(xiàng) → 去索引中查找能夠命中這些詞項(xiàng)的文檔，可能就是這個(gè)數(shù)
粗排
但是文檔的實(shí)在數(shù)量太多了，一股腦的都推給用戶顯然很二逼，用戶不可能都看完，只會(huì)看其中極小的一部分，另外也沒(méi)法保證質(zhì)量。
所以要從海量召回的文檔中，刪除其中內(nèi)容高度重復(fù)的文檔，并篩選與搜索詞最相關(guān)的760個(gè)文檔，展現(xiàn)給用戶。
這個(gè)環(huán)節(jié)屬于海選，需要大量計(jì)算，為了不讓用戶等待過(guò)長(zhǎng)，一般用快捷優(yōu)先且相對(duì)簡(jiǎn)單的處理方式，比如BM25、TF-IDF、LDA，具體還有啥咱也不知道。
精排
之后就是對(duì)760篇文檔排序的過(guò)程，最終的目的是讓排序結(jié)果最大概率符合用戶預(yù)期的結(jié)果，這樣用戶才更有可能點(diǎn)進(jìn)去了解詳情，從而提升搜索的業(yè)務(wù)價(jià)值。
這部分比海選要復(fù)雜的多，涉及一大堆數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、用戶行為分析、用戶意圖識(shí)別等算法，大概包括:
通過(guò)用戶搜索詞和前N次搜索詞，結(jié)合歷史日志中其他搜索該詞的用戶瀏覽行為，來(lái)揣測(cè)用戶可能的搜索意圖
文檔的更新時(shí)間
文檔的歷史點(diǎn)擊率
文檔瀏覽后終結(jié)搜索的比例
用戶的網(wǎng)絡(luò)維度特征（IP、網(wǎng)絡(luò)類型、地域....）
與搜索詞文本匹配度最高的TopN條文檔
與搜索詞潛在意圖覆蓋率最高的TopN條文檔
....太多了咱也不知道
上述過(guò)程，對(duì)應(yīng)著搜索引擎中，爬取、索引、召回、粗排、精排的幾個(gè)階段，屬于搜索引擎系統(tǒng)入門(mén)級(jí)的常識(shí)。
重排
現(xiàn)在精排后面，還有重排，根據(jù)用戶的搜索場(chǎng)景（網(wǎng)絡(luò)、設(shè)備、近期點(diǎn)擊行為等）和媒體熱點(diǎn)，實(shí)時(shí)調(diào)整排序，比如:
你用wifi跟手機(jī)網(wǎng)絡(luò)，搜索結(jié)果可能有所不同
今天上午點(diǎn)擊的某個(gè)結(jié)果，下午再次搜索時(shí)排名就上去了
上午媒體爆料一個(gè)叫GoGo闖神秘人和迪麗熱巴約會(huì)了，然后下午GoGo闖的搜索結(jié)果，就跟上午完全不同了
02
如何研究排名（一家之言）
研究收錄 vs 研究排名
在16年以前，本渣覺(jué)得研究「排名」是最難的，后來(lái)搞了一堆單頁(yè)站群、泛站群、資訊站群和少數(shù)幾個(gè)單站，大概前后10萬(wàn)域名出頭，發(fā)現(xiàn)「搞定收錄」其實(shí)比「搞定排名」麻煩的多，甚至應(yīng)付廣告主沒(méi)事總tm扣量、跑路不結(jié)算、域名被停止解析....，我覺(jué)得都比研究排名麻煩。
因?yàn)樵?6年以前，本渣接觸的都是大站，日UV百萬(wàn)級(jí)的，所以收錄的問(wèn)題不大，一般就是某個(gè)目錄收錄率低，但不存在完全不收錄，或收錄極其緩慢的問(wèn)題。
畢竟，大站參與760名排序的概率很大的，But一堆海量小站，參與召回的機(jī)會(huì)都沒(méi)有。
研究大站 vs 研究小站
所以，本渣覺(jué)得，大站與小站，研究排名，是兩種路線:
大站研究的是，做的詞怎樣上首頁(yè)。
小站研究的是，做哪些詞能上首頁(yè)。
研究的方法有兩種:正推 和 逆推
03
正推
正推就是假設(shè)一堆條件，挨個(gè)去測(cè)試，能否達(dá)到自己預(yù)期的結(jié)果。比如快排的開(kāi)發(fā)，大部分都是正推的，需要大量測(cè)試
逆推就是通過(guò)分析已有的結(jié)果，找出其中共同的規(guī)律，需要大量觀察
僅研究百度SEO排名規(guī)律上，正推的門(mén)檻極高。
比如，很久以前，本渣抓了1000個(gè)詞（同一個(gè)詞根）的搜索結(jié)果，把每個(gè)詞的760個(gè)結(jié)果對(duì)應(yīng)的網(wǎng)頁(yè)全弄下來(lái)，最后我記得就不到40萬(wàn)篇，接近50%的搜索結(jié)果都是重復(fù)的。
然后我把這批網(wǎng)頁(yè)導(dǎo)入到xunsearch（一個(gè)開(kāi)源的搜索引擎，并不是說(shuō)這個(gè)好，而是本渣當(dāng)時(shí)只會(huì)這個(gè)，還不知道有elasticsearch這個(gè)東西）并建立倒排索引。
同時(shí)我還把默認(rèn)詞庫(kù)整理了下，讓這部分行業(yè)詞分詞更準(zhǔn)確。
我的想法是:
第一步:在xunsearch和baidu，同時(shí)搜索一個(gè)詞，通過(guò)調(diào)整xunsearch搜索參數(shù)，調(diào)整出跟百度很接近的結(jié)果，比如top10文檔大部分一樣，只是順序略有差別。
第二步:我就修改自己網(wǎng)頁(yè)的內(nèi)容，推到xunsearch更新下索引，再次xunsearch搜索下，如果top10能出來(lái)，線上網(wǎng)頁(yè)就按本次修改的上線。如果沒(méi)出來(lái)，就修改其他地方，直到能在Top10出現(xiàn)。
理想豐滿，現(xiàn)實(shí)骨感。
反正第一步始終沒(méi)出來(lái)，畢竟商業(yè)搜索引擎，和開(kāi)源搜索引擎，很多地方是不同的。
但是這只能代表百度，因?yàn)槠渌阉魅肟?，如研究微信搜一搜、知乎、小紅書(shū)的排名規(guī)律就容易的多，首先這些平臺(tái)不存在收錄的問(wèn)題，內(nèi)容不違規(guī)即是收錄，二是影響排序的因子比百度少很多。
anyway，正推我是放棄了
04
逆推
下面說(shuō)說(shuō)當(dāng)時(shí)做的逆推的思路，相對(duì)來(lái)講，逆推比正推省事很多。
長(zhǎng)尾關(guān)鍵詞
long long time ago，在做站群的時(shí)候，當(dāng)時(shí)開(kāi)發(fā)的還不是泛解析程序，能承載無(wú)限個(gè)關(guān)鍵詞的。是庫(kù)里有多少詞，這個(gè)程序就生成多少對(duì)應(yīng)數(shù)量的頁(yè)面，或二級(jí)域名。
這意味著，如果庫(kù)里面塞了一堆根本不可能排在首頁(yè)的關(guān)鍵詞，這是浪費(fèi)系統(tǒng)資源的，畢竟新域名收錄有限，自然希望收錄的頁(yè)面，都是大概率能上排名的頁(yè)面。
一個(gè)流量詞呢，在搜索結(jié)果表現(xiàn)，有4種特征:
Top10結(jié)果愛(ài)站權(quán)重很高（平均權(quán)重>7）
Top10結(jié)果愛(ài)站權(quán)重很低（平均權(quán)重<2）
搜索結(jié)果數(shù)很低（搜索結(jié)果數(shù)<1000）
有高有低（平均權(quán)重2-4）
第一種可能這個(gè)詞競(jìng)爭(zhēng)度很大，或者本身是比較敏感的詞，比如醫(yī)療養(yǎng)生類的，所以百度特意分流給了一些信任度高的大站
第二種可能這個(gè)詞是違禁的，但百度有沒(méi)來(lái)得發(fā)現(xiàn)，也可能這個(gè)詞還沒(méi)被很多人發(fā)現(xiàn)。這個(gè)可以根據(jù)搜索結(jié)果的標(biāo)題，是否完全命中關(guān)鍵詞來(lái)判斷，能命中是前者，不能命中是后者
第三種是這個(gè)詞是違禁的，且已經(jīng)被百度發(fā)現(xiàn)刪除
第四種是正常的詞，比如不算熱門(mén)的小說(shuō)、漫畫(huà)名啥的
已排名優(yōu)先的清洗關(guān)鍵詞措施，是找出第1種和第3種詞，然后刪除掉。
所以當(dāng)時(shí)找詞，比如從愛(ài)站導(dǎo)出來(lái)的競(jìng)品網(wǎng)站關(guān)鍵詞，會(huì)先按如上方法洗詞，洗完之后在上線。同等域名數(shù)量的情況下，能多出25%的流量。
以上是研究長(zhǎng)尾詞能夠大概率上首頁(yè)的問(wèn)題，下面來(lái)聊聊核心詞的排名。
獨(dú)立核心詞排名
以前有一種刷詞方法，比如核心詞是「SEO」，會(huì)去同時(shí)刷創(chuàng)造出來(lái)的新詞，比如「SEO流量販子」，同時(shí)title也改成這個(gè)詞。
經(jīng)過(guò) “恰如其分的刷量比例 & 時(shí)間拉長(zhǎng)”，「SEO」與「SEO流量販子」會(huì)產(chǎn)生關(guān)聯(lián)，「SEO流量販子」是「SEO」搜索意圖中的一種
這樣「SEO流量販子」排名到首頁(yè)后，在加大「SEO」的點(diǎn)擊，這樣核心詞「SEO」上首頁(yè)的概率，比直接硬點(diǎn)概率要大一些。
所以之前，SEO這個(gè)詞，在百度指數(shù)的下拉，或百度搜索框的下來(lái)，總有一些爛七八糟的詞
判斷網(wǎng)頁(yè)與核心詞的真實(shí)相關(guān)性（排除點(diǎn)擊加權(quán)）
當(dāng)然，這個(gè)不是絕對(duì)，同時(shí)也跟百度認(rèn)為網(wǎng)頁(yè)本身與核心詞有多大相關(guān)性有關(guān)。
比如很多刷快排的站，網(wǎng)頁(yè)做的亂七八糟，可以說(shuō)不符合SEO友好性，存在排名很大程度是點(diǎn)擊加權(quán)，而非相關(guān)性，這樣快排有點(diǎn)波動(dòng)就容易被干。
識(shí)別這種情況，可以在搜索詞后加個(gè)無(wú)關(guān)緊要的符號(hào)，比如「華為工資 ?！?/p>
搜索引擎對(duì)用戶的Query，會(huì)先糾錯(cuò)在分詞召回，糾錯(cuò)過(guò)程就包含去除爛七八糟的符號(hào)，之后再排序。
but，「華為工資 ?！惯@個(gè)詞的排序沒(méi)有點(diǎn)擊加權(quán)因素在里面，因?yàn)闆](méi)人點(diǎn)擊這個(gè)詞，同時(shí)這個(gè)符號(hào)對(duì)核心詞“華為工資”相關(guān)性排序的影響很低，因?yàn)槊科臋n都有一大堆句號(hào)。
所以你看「華為工資 ?！古c「華為工資」的排序，幾乎一樣的。但對(duì)比「seo ?！古c「seo」的搜索結(jié)果，就非常奇妙了。
或者，也可以把主詞拆開(kāi)來(lái)搜索，比如「華為工資 華為 工資」，或者輸入兩次「華為工資 華為工資」
海量核心詞排名
但如果有很多核心詞怎么辦?
比如某類詞根，如:
關(guān)于XXX的作文
{城市}公司
{古詩(shī)名稱}
....
long long time ago，本渣的做法是:
1）把這批詞，全部扔到百度搜索框，依次提取下拉框的詞
2）計(jì)算每個(gè)后綴的出現(xiàn)頻次
3）選擇頻次最高&標(biāo)題完全命中關(guān)鍵詞搜索結(jié)果少的詞綴，作為網(wǎng)頁(yè)title的補(bǔ)充
舉個(gè)例子，比如{城市}公司，標(biāo)題只寫(xiě)「{XX}公司」，有些浪費(fèi)，因?yàn)檫@個(gè)詞后面有人搜:
{XX}公司大全
{XX}公司名錄
{XX}公司黃頁(yè)
{XX}公司排行
{XX}公司排名
{XX}公司代辦
......
但是又不能所有后綴都加上，所以疑問(wèn)是:添加哪個(gè)后綴，能大概率讓「{XX}公司」和「{XX}公司{后綴}」都有排名?
全國(guó)300多個(gè)縣級(jí)市，60%+城市，其下拉框都會(huì)出現(xiàn)“排名”，其實(shí)“名錄”、“黃頁(yè)”的出現(xiàn)頻次也不少，跟“排名”差不多，但是這兩個(gè)詞綴做的人太多了，也就是搜索結(jié)果標(biāo)題完全命中的數(shù)量比較多，所以最后用了“排名”，即title為:“北京公司排名”
結(jié)果是，二三線城市差不多都上去了。
一線城市沒(méi)上去是因?yàn)椋阉餍枨筇S富，比如:代辦、搖號(hào)、轉(zhuǎn)讓...
