通过NGINX屏蔽恶意爬虫较全方法

访问文件被下载/不支持指定目录
以宝塔为例，直接进入宝塔面板，然后选择网站-对应网站设置- 复制到 配置文件 当中，然后重启nginx即可生效。
如果是脚本版，找nginx.conf配置文件添加也可以。

屏蔽非常见蜘蛛（爬虫）代码在1楼
如果经常分析网站日志你会发现，一些奇怪的UA总是频繁的来访问网站，而这些UA对网站收录毫无意义，反而增加服务器压力，可以直接将其屏蔽。

防止文件被下载 代码在2楼
比如将网站数据库导出到站点根目录进行备份，很有可能也会被别人下载，从而导致数据丢失的风险。以下规则可以防止一些常规的文件被下载，可根据实际情况增减。

禁止某个目录执行脚本 代码在3楼
比如网站上传目录，通常存放的都是静态文件，如果因程序验证不严谨被上传木马程序，导致网站被黑。以下规则请根据自身情况改为您自己的目录，需要禁止的脚本后缀也可以自行添加。