爬虫用java还是python

python流行起来,从某程序员聚集的网站来看 python爬虫教程满天飞。著名的scrapy便是python开发的。

python开发爬虫非常灵活,最适合一次性采集数据,写几行代码就可以把初步结构化的数据库入库。urllib、requests、beautifulsoup等模块可以轻松构建一个基本的采集程序。

使用python时会遇到中文乱码问题,window开发 Linux 部署乱码问题会让你感觉更棘手,最好统一开发部署环境,有钱公司用macbookpro,没钱装个ubuntu。

python遇到复杂的js是表现和java差不多,你都会想自己实现一个浏览器,phantomjs 不够稳定,中介再加上一层selenium 写写demo还可以

也有人用node.js 开发爬虫,自带V8 引擎,乍一看可以推平所有带js 的页面,node本身是为了js 实现后台来设计的,对于信息采集,node和python 和java 没有本质区别,js 引擎和浏览器引擎并不是一个东西,倒是有牛人用开源浏览器实现了一套浏览器采集程序,不过这牛人有时间折腾,一般公司招不到这种人,也没时间给你折腾,即便你折腾出来了,后续也没人接。

chrome的无头浏览器出来了,遇到复杂的js 页面可以少折腾。

最终使用哪种语言开发企业级采集应用,需要考虑多种因素。

主流的还是java和python,java 比python繁琐,python比java招人难。node适合做过前端的高手。更多学习内容,请点击Python学习网。

来源:PY学习网:原文地址:https://www.py.cn/article.html