一、爬虫-爬取豆瓣电影案例

本文介绍: 你需要一个pycharm和requests 第三方库，在安装完成之后即可继续浏览。

1、环境 配置

你需要一个pycharm和requests 第三方库，在安装完成之后即可继续浏览。

2、操作 流程

（2）可以看到鼠标每次下移，都会出现新的电影，所以该页面属于局部刷新，返回数据为json 格式数据，得到url，并且得到type 参数

“”如何查看此处不演示，主要是不敢””

import json
import requests
if __name__ == "__main__":
    get_url = "https://movie.douban.com/j/chart/top_list"
    get_param = {
        "type": "24",
        "interval_id": "100:90",
        "action": "",
        # start代表从豆瓣电影库中第120部电影获取
        "start": "1",
        # 每次请求去除的数量是limit
        "limit": "20",
    }
    get_headers = {
        'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Mobile Safari/537.36"
    }
    # 响应
    response = requests.get(url=get_url, params=get_param, headers=get_headers)
    # 获取响应数据
    list_data = response.json()
    # 持久化存储
    fp = open('./html/douban.json', 'w', encoding='UTF-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)
    print("over")