Python获取【长津湖】豆瓣电影影评数据信息

Python获取【长津湖】豆瓣电影影评数据信息

长津湖堪称今年票房最猛的电影了叭!截止21号票房已经突破50亿!长津湖YYDS!
当然现在涨势已经慢慢下来了,距离上次45亿过去了一周才涨了五个亿,上次咱们爬的是猫眼评论,那么我们就用Python来爬取豆瓣的电影评论,看看大家在豆瓣怎么说!
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
#兄弟们学习python,有时候不知道怎么学,从哪里开始学。
#掌握了基本的一些语法或者做了两个案例后,不知道下一步怎么走,不知道如何去学习更加高深的知识。
#那么对于这些大兄弟们,我准备了大量的免费视频教程,PDF电子书籍,以及视频源的源代码!
#还会有大佬解答!
#都在这个群里了  872937351
#欢迎加入,一起讨论 一起学习!

 

基本开发环境
  • Python 3.8
  • Pycharm
相关模块的使用
  • import csv
  • import requests
安装Python并添加到环境变量,pip安装需要的相关模块即可。
豆瓣的网站数据,没有什么反爬,同样也静态网页数据,所以很是简单~
 
 
代码展示
 
import requests
import parsel
import csv

f = open("长津湖短评.csv", mode="a", encoding="utf-8-sig", newline="")
csv_writer = csv.DictWriter(f, fieldnames=[
    "用户名",
    "是否看过",
    "推荐",
    "日期",
    "点赞",
    "内容",
])
csv_writer.writeheader()

url = "https://movie.douban.com/subject/25845392/comments?start=40&limit=20&status=P&sort=new_score"
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
}
response = requests.get(url=url, headers=headers)
selector = parsel.Selector(response.text)
divs = selector.css("#comments div.comment-item")
for div in divs:
    name = div.css(".comment-info a::text").get()  # 用户名
    span = div.css(".comment-info span:nth-child(2)::text").get()  # 是否看过
    feel = div.css(".comment-info span:nth-child(3)::attr(title)").get()  # 推荐
    date = div.css(".comment-info span:nth-child(4)::text").get().strip()  # 日期
    content = div.css(".comment-content .short::text").get()  # 内容
    vote = div.css(".comment-vote span::text").get()  # 点赞
    dit = {
        "用户名": name,
        "是否看过": span,
        "推荐": feel,
        "日期": date,
        "点赞": vote,
        "内容": content,
    }
    csv_writer.writerow(dit)
    print(dit)

 

 
 
 
.