客服電話:4001-543-345

當前位置:首頁 > 網絡營銷知識 >

搜索引擎爬行和抓取的過程

作者:Seo168    來源:未知    時間:2014-12-08 21:35
摘要:搜索引擎的工作原理是很復雜的過程,對于SEO人員來說可能我們沒必要知道的非常透徹,但是基本的情況還是要了解一下的,畢竟我們是要和搜索引擎打交道,知己知彼才能百戰百勝。
      搜索引擎的工作原理是很復雜的過程,對于SEO人員來說可能我們沒必要知道的非常透徹,但是基本的情況還是要了解一下的,畢竟我們是要和搜索引擎打交道,知己知彼才能百戰百勝。搜索引擎的工作過程大體分為三個階段:爬行和抓取、預處理、排名。今天先來說說個,爬行和抓取。
      這是搜索引擎工作的步。搜索引擎先派出它的機器人,也就是蜘蛛,訪問網站時發出頁面訪問請求,然后服務器返回代碼,蜘蛛再把這些代碼存入數據庫。一般蜘蛛在訪問網站前都會先去根目錄下的robots.txt文件查看是否被禁止訪問,如果你禁止某個蜘蛛訪問,它就會直接離開網站。蜘蛛來到你的網站后會順著頁面間的鏈接爬行,這時蜘蛛會有兩種爬行策略,深度優先和廣度優先。深度優先是指蜘蛛沿著鏈接一直向前爬行,一直到前面沒有鏈接再回到個頁面沿著另一個鏈接開始爬行;廣度優先是指蜘蛛在一個頁面上把所有層鏈接爬一遍,然后在沿著第二層頁面上的鏈接爬向第三層。
      但實際上蜘蛛是不能爬行和抓取所有頁面的,所以SEO人員就要想辦法來讓他抓取,尤其是那些重要頁面。一般認為質量高的網站蜘蛛會爬行的更深,收錄的頁面也會更多。頁面經常更新內容也會吸引蜘蛛經常來訪問,高質量的導入鏈接會增加讓蜘蛛訪問的幾率,頁面與首頁的點擊距離也是重要的因素,離首頁的點擊距離越近,被爬行的機會也越大。后蜘蛛抓取的頁面會放被到搜索引擎建立的地址庫中。
莱特币矿池哪个好 福州麻将手机版下载 安徽安徽福彩快三开结果 天九牌单机下载 生肖特马走势 北京快乐8任选一技巧 客户端下 广东36选7走势图 重庆时时免费计划 四川福彩快乐12今天开奖结果 时时彩走势图网易 捕鱼游戏下载 吉林快3开奖结果查询 快乐时时计划表 快乐十分能追号吗 快乐十分计划在线 天津时时后三走势