Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）
- A"User-agent：*Disallow：/A"
- B"User-agent：Allow：/A"
- C"User-agent：Disallow：/"
- D"User-agent：*Allow：/"
问题
Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Ro
参考解析：
分类：百度SEM中级认证考试题库,通信电子计算机技能考试题库
相关推荐
-
robots.txt文件放在哪里（）A网站根目录下B网站子栏目下C网站内容页面D网站图片文件
-
2、某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）
某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）A{User-agent：BaiduspiderDisallow：}B{User-agent：BaiduspiderAllow：*}C{User-agent：BaiduspiderAllow：/}D{User-agent：BaiduspiderDisallow：/}
-
以下哪种网站体系问题不利于搜索引擎蜘蛛抓取网站（）A缺乏robots.txt文件B使用框架结构C动态URL（超过两个变量）D购买链接E要求填写提交表单的页面
-
4、下列选项中，关于robots.txt文件的说法正确的是（）
下列选项中，关于robots.txt文件的说法正确的是（）Arobots.txt文件存放于空间根目录下Brobots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件C如果robots.txt不存在，搜索...
-
5、网站内部链接是网站搜索引擎优化的重要部分，好的内链有利于搜索引擎抓取更多的网
网站内部链接是网站搜索引擎优化的重要部分，好的内链有利于搜索引擎抓取更多的网页。下列关于频道页面的内部链接描述错误的是（）A频道页面应该链接到本频道下的栏目页面B频道...
-
robots.txt的作用是（）。A禁止搜索引擎蜘蛛抓取特定URLB给搜索引擎蜘蛛提供网站地图文件C以上都对