從品牌網(wǎng)站建設(shè)到網(wǎng)絡(luò)營銷策劃,從策略到執(zhí)行的一站式服務(wù)
來源:東莞seo優(yōu)化 | 2018-7-12 瀏覽:2491
robot是搜索引擎在爬取整個(gè)網(wǎng)站的時(shí)候第一個(gè)訪問的文件,當(dāng)蜘蛛在抓取網(wǎng)站時(shí),會(huì)先看網(wǎng)站是否有robot文件,如果該站點(diǎn)存在robot,那么蜘蛛會(huì)根據(jù)robot的書寫來訪問網(wǎng)站的內(nèi)容,如果沒有robot,那么蜘蛛將會(huì)訪問網(wǎng)站上所有的頁面,那么robot如何來進(jìn)行書寫呢?下面介紹幾個(gè)常用的robot書寫方法
允許搜索引擎抓取所有網(wǎng)站robot為空
禁止所有搜索引擎抓。
User-agent: *
Disallow: /
禁止百度蜘蛛抓。
User-agent: baiduspider
Disallow: /
允許百度抓取,禁止谷歌抓取:
User-agent: *
Allow: /
User-agent: baiduspider
Allow: /
User-agent: Googlebot
Disallow: /