教程 用Nginx限制谷歌蜘蛛抓取频率
前言:站长对蜘蛛的感情,就像少女第一次约会的心情 - 怕他不来,又怕他乱来。谷歌蜘蛛频繁抓取导致服务器负载很高,可用Nginx的ngx_http_limit_req_module模块限制了谷歌蜘蛛的抓取频率,配置如下: #全局配置 limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m; #server中 limit_req zone=anti_spider burst=5 nodelay; if ($http_user_agent ~* "Googlebot|Goog- 阅读剩余部分 -