蜘蛛每次爬行时都会存储页面数据。第二次蜘蛛页面更新是没有必要的，如果没有必要掌握首次页面更新。如果页面内容更新频繁，蜘蛛会更频繁地访问页面，而页面上的新连接自然会被蜘蛛更快地跟踪以抓取新页面。...