1、其实学会了爬虫，并不能为所欲为，还有几道坎挡在面前，一是反爬机制，二是代理IP的选择，三是robots协议。
3、代理IP是网络爬虫用来对抗反爬虫机制的得力武器，有了代理IP就能事半功倍，如虎添翼。但适合自己项目的优质代理IP也不是那么好找的，市场上代理IP服务商犹如过江之鲫，多不可数，但质量良莠不齐，需要擦亮火眼金睛，选购到高效稳定同时性价比高的代理IP，这样才能更快更高效的完成任务，618爬虫的短效优质代理IP和一手私密代理IP，高效稳定高性价比。
5、学习网络爬虫只是让工作和生活更加方便，并不能为所欲为，需要守住自己的底线，遵守网络行业的规则，以免引起不必要的纠纷，且爬且珍惜
