所有的全文搜索引擎都表示自己的Spider對(duì)網(wǎng)站的抓取行為和網(wǎng)站用戶的訪問(wèn)行為沒(méi)有太大區(qū)別，站在網(wǎng)站用戶的角度這句話的確沒(méi)有問(wèn)題，但是站在站長(zhǎng)和SEO的角度這句話就不太對(duì)了。網(wǎng)頁(yè)上有很多東西網(wǎng)站用戶看不到也分辨不清，但是Spider可以；網(wǎng)頁(yè)上也有很多東西網(wǎng)站用戶可以看到并分辨清楚，但是Spider不可以�？梢哉f(shuō)Spider是一個(gè)既聰明又弱智的網(wǎng)站用戶，Spider有著網(wǎng)站用戶訪問(wèn)行為的大部分特性，但是也有不少差異。
1、Spider可以分辨出網(wǎng)頁(yè)中是否有隱藏內(nèi)容，是否被掛了黑鏈等，但是不能完全了解網(wǎng)頁(yè)中圖片的內(nèi)容，更不能讀取JavaScript、Iframe、Ajax和Flash中的內(nèi)容，網(wǎng)站用戶卻是恰恰相反；
2、Spider沒(méi)有Referer，對(duì)網(wǎng)站的抓取全部都是直接訪問(wèn)，而網(wǎng)站用戶中除了直接訪問(wèn)的用戶外一般都是有Referer的；
3、Spider對(duì)網(wǎng)站的訪問(wèn)沒(méi)有Cookie,但是網(wǎng)站用戶是有的；
4、Spider不會(huì)主動(dòng)注冊(cè)登入網(wǎng)站，但是網(wǎng)站用戶是可以的；原則上Spider不會(huì)抓取和分析網(wǎng)站robots中已經(jīng)屏蔽的內(nèi)容，但是網(wǎng)站用戶是可以正常訪問(wèn)的；
5、Spider對(duì)于有多個(gè)動(dòng)態(tài)參數(shù)網(wǎng)站的抓取，可能會(huì)陷入死循環(huán)，但是網(wǎng)站用戶是不會(huì)的；
6、Spider對(duì)于列表中前幾頁(yè)的新內(nèi)容抓取可能不好，但是感興趣的網(wǎng)站用戶會(huì)依次瀏覽；
7、Spider暫時(shí)還不能真正判斷文章是不是原創(chuàng)，但是網(wǎng)站用戶可以通過(guò)多種方式來(lái)確定文章是原創(chuàng)還是采集轉(zhuǎn)載等。
Spider畢竟是人為技術(shù)驅(qū)動(dòng)的程序，與網(wǎng)站用戶還是有著非常大的區(qū)別的，因此給了站長(zhǎng)和SEO人員很大的操作空間。站長(zhǎng)和SEO人員在充分了解到Spider和網(wǎng)站用戶的區(qū)別后，可以更方便地優(yōu)化網(wǎng)站，使得網(wǎng)站內(nèi)容被充分抓取，網(wǎng)站整體在搜索引擎中有個(gè)良好的表現(xiàn)；同時(shí)也可以利用兩者的區(qū)別，使得在不影響搜索引擎抓取和排名的情況下，給網(wǎng)站用戶更友好的用戶體驗(yàn)，比如，判斷用戶Referer給用戶推薦內(nèi)容等；當(dāng)然，不排除有些站長(zhǎng)和SEO人員會(huì)利用這些區(qū)別，采用很多極端的技術(shù)作弊手法，在網(wǎng)站用戶感覺不到的地方，誤導(dǎo)Spider對(duì)網(wǎng)站內(nèi)容的判斷，而惡意搶奪很多本不應(yīng)該得到的搜索流量，這是不可取的。無(wú)論如何，都有必要深入了解兩者的差異。
|
