【超详细】QQ空间说说爬取教程(看看你的女神在想什么~
【超详细】QQ空间说说爬取教程
文章目录 【超详细】QQ空间说说爬取教程环境selenium模拟登录说说内容获取破解g_tk 说说的评论获取说说的点赞人获取url参数构成 好友列表获取数据库的存储如何加速ps
暑假闲来无事,研究了一下QQ空间的爬取,以下是一些记录
环境 系统: win10语言: python3.7浏览器: Chrome数据库: mysql 8.0 selenium模拟登录
QQ空间的反爬做的相对较好,而且由于好友权限的原因,我们要先登录后再进行说说等信息的获取
selenium是获取登录cookies的一大利器,非常方便
在空间的登陆界面可以观察到,登录的窗口与背景窗口是分开的,所以我们需要先切换frame
切换窗口后定位到账号密码登录元素的位置后点击
使用send_keys函数把账号和密码写入对应位置后定位登录元素后点击,这里使用自带的get_cookies函数获取到cookies,但是这个cookies需要过滤一下,具体操作看以下代码
代码为类的部分节选,完整代码在最后,未声明的变量皆为类的成员变量
def login_func(self,z): browser = webdriver.Chrome() browser.maximize_window() browser.get(self.login_url) time.sleep(1.2) browser.switch_to.frame(‘login_frame’) browser.find_element_by_id(‘switcher_plogin’).click() time.sleep(1) browser.find_element_by_id(‘u’).send_keys(self.number) browser.find_element_by_id(‘p’).send_keys(self.password) time.sleep(1) browser.find_element_by_id(‘login_button’).click() time.sleep(1) cookies_list = browser.get_cookies() for cookie in cookies_list: if ‘name’ in cookie and ‘value’ in cookie: self.cookies[cookie[‘name’]] = cookie[‘value’] # print(self.cookies) with open(‘cookie_dict_{}.txt’.format(z),’w’) as f: # 这里是为了一次性多刷几次cookies建立一个cookies池,便于加快爬虫速度,后面再提 json.dump(self.cookies,f) # browser.close() 说说内容获取
在打开开发者工具后,在众多XHR对象中发现emotion_cgi……里面的msglist即是说说的内容
这里的msglist是个列表,里面有0-20条不等的说说,可能跟空间发的说说的形式问题相关,至多不超过20条
稍微猜测一下这里的参数的含义,一眼明了的我就不说了,我不清楚的也没有肆意揣度
cmtnum 转发数
commentlist 评论列表,里面是每条说说的评论内容
conlist 内容的一个列表,里面有两个参数,一个是内容一个不知道有啥作用,取内容的话直接取下面的content也是一样的
created_time 说说发表的时间戳
isEditable 是否编辑过
lbs 位置信息
name 你给的备注,没备注就是昵称
pic 如果发的说说有图片则在这个键下面,但是如果没有图片则没有这个键
pictotal 图片数量,没有图片则没有这个键
rt_sum 猜测是转发数量
source_appid 说说来自的app标识
source_name 说说来自的设备名称
source_url 说说来自的网址
tid 这个是每个说说独一无二的标识,可能是根据某些变量使用特定的算法得出的,直接使用即可
uin 该说说的作者QQ
当然如果是转发的说说,这里还会多别的一些键值,我这里未对转发说说进行处理,只是单纯地取出该QQ转发时发送的内容,有兴趣的朋友可以加以改进
下面我们看一下这个内容的获取网址构成
在Headers选项中可以看网址的构成参数
经过尝试发现,uin后面对应目标QQ号,sort可能对应排序方式,我采取的默认值0,pos这是个关键参数,其改变决定了返回数据的范围,num是返回的说说数量,我选用的是默认值,不知道增大会有什么变化,读者可以尝试
最后一个关键参数是g_tk,这是个加密参数,有了这个才能正确登录
破解g_tk
经过网上的搜索发现是js,破解的方法见下图
随意点开一个人的空间,进行如下操作
搜索g_tk=后面的关键词
找到对应的函数,这里的函数读一下之后将其转成对应的python语言即可
def get_g_tk(self): p_skey = self.cookies[‘p_skey’] t = 5381 for i in p_skey: t += (t