搜索引擎蜘蛛原理深入剖析
搜索引擎好比總司令，蜘蛛就是他的手下。蜘蛛也分等級，我們就簡單分成3個等級，初級蜘蛛(普通士兵)，中級蜘蛛(普通軍官)，高級蜘蛛(高級軍官)。
我們一直認為搜索引擎蜘蛛很神秘，其實很簡單，其原理是。它就相當一個我們有經(jīng)常用到的采集器，能抓取到你網(wǎng)站的頁面，將你網(wǎng)站頁面的內(nèi)容放入自己的數(shù)據(jù)庫，將采集到的結(jié)果與數(shù)據(jù)庫原有的信息一一進行匹配，從而判斷你文章的原創(chuàng)度。這個過程相當復(fù)雜，龐大，需要有非常強大的服務(wù)器。我們把文章分成5個等級，人氣高度的原創(chuàng)文章等級為5，一般原創(chuàng)文章等級為4，高度偽原創(chuàng)等級為3，依次類推。搜索引擎就將對應(yīng)的文章放入對應(yīng)的位置，人氣高度的原創(chuàng)文章給予的權(quán)重是最高的，從而會給你這個文章的頁面帶來排名(當然還要經(jīng)過一些簡單的優(yōu)化，比如做四處一詞等)。
搜索引擎整個工作原理就這么簡單，那么蜘蛛如果才能來到你的頁面呢。前面提到過，蜘蛛分成3個等級，權(quán)重高的網(wǎng)站，由高級蜘蛛去負責(zé)，這些網(wǎng)站高級蜘蛛來的最勤快，所以給與這些網(wǎng)站的帖子和簽名權(quán)重高于一般的普通論壇，高級蜘蛛有秒收的權(quán)利，所以這就是為什么這些論壇的高質(zhì)量帖子都能秒收。中級蜘蛛，中級蜘蛛通過你的外鏈或友情鏈接等來到你的網(wǎng)站，抓取你網(wǎng)站的內(nèi)容，然后按照上訴的文章的等級進行劃分，放入相對應(yīng)的數(shù)據(jù)庫，從而在決定收不收錄，這個需要一定時間，所以為什么有的站長網(wǎng)站收錄和快照有多有少，有快有慢。初級蜘蛛，這類型的蜘蛛基本上都是打醬油的，主要任務(wù)是負責(zé)新站，負責(zé)新站文章的采集，所以這就是為什么新站收錄需要時間，因為它對你有個觀察期。它得逐級的向上匯報，直到總司令搜索引擎點頭同意，在收錄你網(wǎng)站。
TAG:
|
評論加載中...
|
