通过网站日志，我们可以知道网站的那些页面非常受蜘蛛的欢迎，哪些页面不被蜘蛛接触。同时，我们也可以发现有些蜘蛛对我们的服务器资源过于爬行是一种巨大的损失，我们需要屏蔽工作。...