python爬虫需要框架吗

大多数学习python的小伙伴,可能都是被爬虫的魅力所吸引,而且也都是把爬虫作为学习python的入门项目,那么学习爬虫,到底要不要学框架呢?下面我们来说一下这个问题。

一般来讲,爬取一些静态的网站,是不需要爬虫框架的,如爬取简书、糗百、小说等网站,只需要编写几个函数,就可以完成;

如果是爬取大型的商业网站,如京东,淘宝,各大app等,这时候框架的作用就显现出来了,用框架能让我们的爬虫更强大、更高效,还要使用高匿的极光动态IP,避免Python爬虫被封等。

爬虫的框架这里推荐Scrapy

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 

Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。

来源:PY学习网:原文地址:https://www.py.cn/article.html