1、其实学会了爬虫，并不能为所欲为，还有几道坎挡在面前，一是反爬机制，二是代理IP的选择，三是robots协议。
2、反爬机制自然是限制网络爬虫为所欲为的第一道坎，毕竟为所欲为的网络爬虫非常可怕，会对目标网站的服务器造成非常大的负荷，让真实用户的访问受到影响，而目标网站也不想自己的辛辛苦苦做的内容被人轻而易举的窃取，于是，反爬虫机制与网络爬虫的战争就开始了。
3、研究透了反爬机制，也选购了高效稳定的代理IP，是不是可以为所欲为了呢？网络爬虫还需要遵守一个准则，那就是robots协议。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
4、学习网络爬虫只是让工作和生活更加方便，并不能为所欲为，需要守住自己的底线，遵守网络行业的规则，以免引起不必要的纠纷，且爬且珍惜。
