其实Nginx可以非常容易地根据User-Agent过滤请求，我们只需要在需要URL入口位置通过一个简单的正则表达式就可以过滤不符合要求的爬虫请求：

    ...

    location / {

        if ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") {

            return 503;

        }

        # 正常处理

        ...

    }