robots文件的规范写法
以下是应届毕业生网为大家整理好的`有关SEO网站优化的知识，希望对大家有所帮助！
一、概念
1、网站和搜索引擎之间的协议文件
2、蜘蛛爬行网站的第一个要访问的文件
3、屏蔽内容：不想被抓取的隐私内容,后台、数据库文件、模板、插件文件...或者做了伪静态就屏蔽动态路径
二、robots语法
1、User-agent 定义搜索引擎类型
2、Disallow 定义禁止抓取收录地址
3、Allow 定义允许抓取收录地址
4、* 匹配0或多个任意字符
5、$ 结束符
6、% 代表中文路径
7、? 代表动态路径
8、Sitemap 网站地图
三、robots写法举例
User-agent: *
Disallow: /plus
Disallow: /include
Disallow: /templets
Disallow: /data
Disallow: /dedemao
Disallow: /install
【robots文件的规范写法】相关文章：
证券部门规章及规范性文件07-14
用Excel指定打开的文件夹的文件10-26
监理文件资料的类型-监理文件资料分类05-05
会议方案的写法10-06
flash源文件中fla文件和swf文件有什么区别12-02
监理管理文件的作用05-05
HTML文件的增强标记10-04
将PPT文件变为EXE可执行文件的流程11-11
ai文件怎么导出保存为ps文件10-11