用requests+xpaa和抓包大法的确可以解决很多网站的信息爬取问题，但对于较多的信息或需要分模块爬取的网站来说，就显得很麻烦了。

  之后，应用到强大的Scrapy框架中，不仅方便了Reque的构建，而且强大的Selsense也方便了Response的解析，但最令人惊讶的是，它超强的性能使爬虫成为工程和模块化的。

  学习Scrapy，亲自尝试构建简单的爬虫框架，在进行大规模数据爬取时，能够结构化、工程化地思考大规模爬取问题，这让我能够从爬虫工程的角度来思考问题。

  以后逐渐接触到分布式爬虫，这东西听起来很吓人，但其实是利用多线程的原理让多个爬虫同时工作，可以达到更高的效率。

  请列出我在学习python爬虫程序时遇到的一些麻烦。

  1、缺乏合理的学习路径，上架Python,HTML各种学习方法，极易放弃；

  2、网上的资料非常散乱，而且对小白不友好，很多看起来云里雾里，如果有条件，建议去python培训课程注册；

  3、没有专业知识的人，会走上很多弯路，自己也不知道去哪学习。

  因此许多爬虫工程师，都会和我有同样的体会：爬虫这个玩意不需要多多少少的代码技巧，也不需要深奥的数据库知识，只要有合理的学习路线和实操项目，就可以学好。

  问题在于，在具体问题中，如何找到具体需要的那一部分学习资源，如何筛选和鉴别，遇到困难如何有效地解决，是许多初学者都面临的大问题。