當(dāng)我們成都網(wǎng)站建設(shè)的網(wǎng)站剛上線后，都希望網(wǎng)站被盡快收錄，于是會去吸引蜘蛛的到來，蜘蛛到來的頻率過高有時候會導(dǎo)致iis資源耗盡，網(wǎng)站中時常數(shù)出現(xiàn)service unavoidable的提示，這個詞的出現(xiàn)可以直接表現(xiàn)為訪問量很小。

是蜘蛛的到來引起我們網(wǎng)站資源的缺乏，是蜘蛛耗盡服務(wù)器資源的，所以我們的解決辦法就針對蜘蛛進(jìn)行。利用robots.txt中的disallow屏蔽部分沒有實際意義的內(nèi)容。

格式如下：

user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/

說明：

user-agent:*：  *代表允許所有的搜索引擎來抓取數(shù)據(jù)。
disallow:/search.html：不允許收錄/search.html這個文件的數(shù)據(jù)。
disallow:/index.php?：不允許收錄以/index.php?為前綴的鏈接。
disallow:/tempweb/：不允許收錄/tempweb/里所有的文件，但可以收錄如：/tempwebtaim.html的鏈接。