哔哩哔哩分区视频详细信息爬取（三连、播放量、标签）等

admin 管理员组

文章数量: 888526

哔哩哔哩分区视频详细信息爬取（三连、播放量、标签）等

因为上手练习一个自己的数据分析项目，因此需要爬取数据。经历过两个版本的更新后，终于写出了第三版。期间也学会了selenium库的运用，API接口的调用，IP池等。

确定目标

因为想要一个量大的数据集，因此没有考虑热榜排名，因为所有区加起来也才一千左右。全部视频信息的话技术不行，然后就盯上了分区榜。

从这个榜单可以选择时间段，可以根据每个月的视频热度排名等信息，来分析月度热点，哪些视频更加容易火，以及各种因素对视频播放量的影响。虽然只是一个小分区月度热度排名，并不包含全部视频，但是数据量也是极大的。下图可以看到接近有23万条数据。

网站分析

这里存在一个难点，就是虽然浏览器上是可以查看网页源码，并且包含了视频的相关信息，但是用requests请求之后的网页源码却并没有相关的信息。因此前两个版本，我采用了selenium库的方法来获取信息，但是这个方法有一个缺点，速度慢（因为要跟浏览器一样加载整个页面信息）、信息少（只有标题、作者、视频简介、以及视频页和个人主页网址），很麻烦。于是这次我换成了API调用的方法。

我们选择一个具体的数字来查找，可以发现搜索出来一个search的接口。

点进去之后，可以发现里面的result共有20条数据，刚好对应着每页20个视频。

可以看到里面包含了作者、标题、标签、播放等一系列数据。

接口为=main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=138&page=1&pagesize=20&jsonp=jsonp&time_from=20200801&time_to=20200831 ,view_type为排行类型，page为页面数，pagesize为页面最大的视频数，上限好像是100。最后面就是时间了。

但是我还需要三连数据以及UP主的粉丝量。同理分析

得到三连的API接口：=371876135

其中aid由BV转换。

粉丝数为=32172331

mid可以在第一个接口处获取。

IP池

这时候虽然已经可以开始爬取了，但是如果数据量稍微有一点大，访问稍微有点频繁，就会导致IP被屏蔽。

这时候我们就需要用到代理IP，免费的代理IP虽然也有，而且GITHUB上也有专门的项目来建立代理IP池。但是免费的终究很麻烦，于是我选择了日租独享的IP。/

代码

# coding: utf-8
# Author：南岛鹋 
# Blog: www.ndmiao
# Date ：2020/8/25 10:29
# Tool ：PyCharmimport requests
import csv
import json
import random
import timeclass video_data:def __init__(self):self.url = '=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=138&page={}&pagesize=20&jsonp=jsonp&time_from=20200801&time_to=20200831'self.page = 11507self.alphabet = 'fZodR9XQDSUm21yCkr6zBqiveYah8bt4xsWpHnJE7jL5VG3guMTKNPAwcF'def dec(self, x):  # BV号转换成AV号r = 0for i, v in enumerate([11, 10, 3, 8, 4, 6]):r += self.alphabet.find(x[v]) * 58 ** ireturn (r - 0x2_0840_07c0) ^ 0x0a93_b324def random_headers(self, path): # 随机读取一个头信息with open(path, 'r') as f:data = f.readlines()f.close()reg = []for i in data:k = eval(i)  # 将字符串转化为字典形式reg.append(k)header = random.choice(reg)return headerdef get_ip(self): # 代理IP获取print('切换IP中.......')url = '代理IP的地址'ip = requests.get(url).textif ip in ['{"ERRORCODE":"10055","RESULT":"提取太频繁,请按规定频率提取!"}', '{"ERRORCODE":"10098","RESULT":"可用机器数量不足"}']: # 出现频繁或者机器不足，睡眠14秒time.sleep(14)ip = requests.get(url).textprint(ip)else:print(ip)proxies = {'https': 'http://' + ip,'http': 'http://' + ip} # 设置https和http可以按需选择return proxiesdef get_requests(self, url, proxy): # 请求的函数headers = self.random_headers('headers.txt')# 将头信息和IP写入，用try来减少意外对程序的影响try: response = requests.get(url, timeout=3, headers=headers, proxies=proxy)except requests.exceptions.RequestException as e:print(e)proxy = self.get_ip()try:response = requests.get(url, timeout=3, headers=headers, proxies=proxy)except requests.exceptions.RequestException as e:print(e)print('原始IP')response = requests.get(url, timeout=3, headers=headers)return response, proxydef get_follower(self, mid, proxy): # 获取粉丝数url = '=' + str(mid)r, proxy = self.get_requests(url, proxy)result = json.loads(r.text) # 用json来解析文本# 按照需求获取需要的数据，因为粉丝数是必定存在的，所以失败了需要多次尝试获取。try:follower = result['data']['follower']except:follower,proxy = self.get_follower(mid, proxy)return follower, proxydef get_view(self, BV, proxy): # 获取三连和播放aid = self.dec(BV)url = '=' + str(aid)r, proxy = self.get_requests(url, proxy)result = json.loads(r.text)view = {}# 因为视频虽然在排行榜，但是很可能已经删除，所以没有数据为Nonetry:view['view'] = result['data']['view']view['danmu'] = result['data']['danmaku']view['reply'] = result['data']['reply']view['like'] = result['data']['like']view['coin'] = result['data']['coin']view['favorite'] = result['data']['favorite']view['share'] = result['data']['share']view['rank'] = result['data']['his_rank']except:view['view'] = 'None'view['danmu'] = 'None'view['reply'] = 'None'view['like'] = 'None'view['coin'] = 'None'view['favorite'] = 'None'view['share'] = 'None'view['rank'] = 'None'return view, proxydef get_parse(self, result, proxy): # 整合数据content = []items = result['result']for item in items:pubdate = item['pubdate']title = item['title']author = item['author']bvid = item['bvid']mid = item['mid']follower, proxy = self.get_follower(mid, proxy)video_view, proxy = self.get_view(bvid, proxy)view = video_view['view']danmu = video_view['danmu']reply = video_view['reply']like = video_view['like']coin = video_view['coin']favorite = video_view['favorite']share = video_view['share']rank = video_view['rank']tag = item['tag']con = [pubdate, title, author, bvid, mid, follower,view,danmu,reply,like,coin,favorite,share,rank, tag]content.append(con)print(con)print(content)self.save(content)return proxydef write_header(self):header = ['日期', '标题', '作者', 'BV', 'mid', '粉丝', '播放', '弹幕', '评论', '点赞','硬币','收藏','转发','排名','标签']with open('fun_video.csv', 'a', encoding='gb18030', newline='')as f:write = csv.writer(f)write.writerow(header)def save(self,content):# 存入csvwith open('fun_video.csv', 'a', encoding='gb18030', newline='')as file:write = csv.writer(file)write.writerows(content)def run(self):#self.write_header()proxy = self.get_ip()for i in range(168, self.page):url = self.url.format(i)response, proxy = self.get_requests(url, proxy)result = json.loads(response.text)proxy = self.get_parse(result, proxy)print('第{}页爬取完毕'.format(i))if __name__ == '__main__':video = video_data()video.run()

我的博客：

本文标签： 哔哩哔哩分区视频详细信息爬取（三连播放量标签）等