检测到目标网站robots文件网站结构信息泄露

详细描述

robots文件位于网站根目录下，用于标识网站的某些资源是否允许爬虫工具访问。用Allow表示爬虫工具可访问的资源，用Disallow表示爬虫工具不应该访问的资源。
但同时该文件说明了目标网站存在的链接资源。
 
通过该文件，攻击者可以更容易的清楚目标网站目录结构，为展开其他攻击提供便利。

解决办法

使用部分文件名代替完整文件名或者目录名。
如：

使用Disallow: /inst*

代替Disallow: /install/