我们在开展网络爬虫工作时，经常遇到一些问题，不是返回一些杂乱无章的状态码，就是限制我们的ip地址，乃至封ip，或者什么内容都不返回，让我们自己来猜测。因此 ，网络爬虫工作这么的艰难，使用爬虫代理ip可以快速完成工作吗？
一、解析目标网站数据信息模块
在我们确定要抓取的网站时，一定不是马上去敲代码，应当先解析目标网站的数据信息模块，以电子商务类网站举例，包含商品、价位、评论、销售量、促销活动等信息；再有信息综合类网站，有体育新闻、科技新闻、娱乐新闻等，而且每一个版块下面很有可能再有二级分类，三级分类。
二、解析网站结构
先模拟http请求目标网页，看下网站响应的数据内容大致的形式，正常的浏览的时候是能获取目录数据信息和进入目录的具体链接，然后依据链接抓取获得每一个模块的具体数据包。
三、解析目标网站反网络爬虫策略
正常的发出去的http请求到目标网站，返回的200状态，说明请求合法被接受，而且可以看到返回的数据信息。如果触发了目标网站的反爬策略，那么就会把当前ip列入到异常黑名单，从此不能正常的浏览了。因此 怎样解析目标网站的反网络爬虫策略呢，只有不断的去尝试，例如一个ip访问多少次会触发，短时间访问多少次会触发，再有一些其他方面的限制，例如验证码、cookies等等。通过不断尝试，慢慢了然于心。
四、数据分析，代理ip池要求
我们通过需要获取多少数据信息，可以大致了解需要访问多少网页；通过目标网站的反爬策略，能大致知道需要多少代理ip，需要多大的代理ip池。更便于我们的选择使用代理ip是什么样的。
五、数据存储，设计数据库
爬虫抓取的数据很大的话，数据库的设计也很关键，有效的设计，存取和管理的效率也会提升很多，这里就不多说了。
