网络服务器与DNS服务器安全指南
机器人访问控制与内容发布准则
在网站安全方面，对机器人访问的管理是重要一环。机器人默认可以访问所有未明确禁止的内容，以下是不同需求下的配置方法：
| 需求 | 配置示例 |
| — | — |
| 禁止所有机器人访问整个服务器 |User-agent: *<br>Disallow: /|
| 允许所有机器人完全访问 |User-agent: *<br>Disallow:或者直接删除robots.txt文件 |
| 禁止名为 WebCrawler 的机器人访问 |User-agent: WebCrawler<br>Disallow: /|
| 允许名为 WebCrawler 的机器人访问，禁止其他机器人 |User-agent: WebCrawler<br>Disallow:<br>User-agent: *<br>Disallow: /|
| 禁止机器人索引单个文件/daily/changes_to_often.html|User-agent: *<br>Disallow: /daily/changes_to_often.html|
除了控制机器人访问，内容发布也有相应的安全准则：
1.文件存储：内容发布者存储文件（如 HTML、
