Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $YECBGYFECGEAFWHA as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2

Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $BBWFDDBHHYHDXXAB as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2
教你用Python爬去QQ音乐评论_创想鸟
原创投稿
  1. 创想鸟首页
  2. 用户投稿

教你用Python爬去QQ音乐评论

程序猿 • • 用户投稿

有态度地学习

去年夏天，好像于我而言，重要的事就是毕业来临，从此踏上了搬砖之路，从学校到职场，之间身份的转变，让我又多了一份责任。当然还有一段感情经历，现在回头去看，只能说且行且珍惜，或许以后未必能再遇见！

本次爬取的是QQ音乐的评论信息，作为一名基本不看评论的人，真的羞愧难当。不过音乐嘛，听听就不错啦，哪有闲情雅致去看，又或是去评，毕竟文化水平有限，想想就脑瓜疼。

通过这次爬取，学习了数据库MySQL，因为之前都是在windows上操作，而这回需要在Mac上操作，所以就在Mac上安装了MySQL以及MySQL的管理工具Sequel Pro，最后也是安装成功，数据库连接也没有问题。

教你用Python爬去QQ音乐评论
教你用Python爬去QQ音乐评论

接下来创建数据库，表格及主键信息。

代码语言：javascript代码运行次数：0运行复制

import pymysql# 创建数据库db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306)cursor = db.cursor()cursor.execute("CREATE DATABASE QQ_Music DEFAULT CHARACTER SET utf8mb4")db.close()


代码语言：javascript代码运行次数：0运行复制


import pymysql# 创建表格, 设置主键db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music')cursor = db.cursor()sql = 'CREATE TABLE IF NOT EXISTS comments (nike VARCHAR(255) NOT NULL, comment VARCHAR(255) NOT NULL, praisenum INT NOT NULL, comment_id VARCHAR(255) NOT NULL, time VARCHAR(255) NOT NULL, PRIMARY KEY (comment))'cursor.execute(sql)db.close()


针对QQ音乐中去年夏天的网页进行分析，查看了所有评论的尾页，发现时间缩水了，因为热评中有一条评论的时间7月12号，而所有评论最后一页的时间却是7月16号。很明显，所有评论并不是货真价实的所有评论，不知这算不算QQ音乐的BUG。


立即学习“Python免费学习笔记（深入）”；


教你用Python爬去QQ音乐评论


教你用Python爬去QQ音乐评论


还有一个就是直接点击最后一页的时候，并不能直接返回真正的信息，需要从最后一页往前翻，到了真正的信息页时，然后再往后翻，才能得到最后一页的真正信息。


教你用Python爬去QQ音乐评论


教你用Python爬去QQ音乐评论


同样是Ajax请求，确认网址后，分析一下请求头，发现主要是三个参数发生变化：jsoncallback


                                                                        海螺音乐                                                                            海螺音乐                            


海螺AI推出的AI音乐生成工具，可以生成个性化的音乐作品。


                                                            海螺音乐                                31                                                                                                        查看详情                            海螺音乐                                                            


pagenum


lasthotcommentid


pagenum不难理解，就是页数。jsoncallback经过实验后，发现并不会影响请求，所以设置时无需改动，lasthotcommentid的值对应的是上一页最后一个评论者的ID，所以需要随时改动。


即改变pagenum，lasthotcommentid的值，就可成功实现请求。


教你用Python爬去QQ音乐评论


教你用Python爬去QQ音乐评论


教你用Python爬去QQ音乐评论


爬取代码如下：


代码语言：javascript代码运行次数：0运行复制


import reimport jsonimport timeimport pymysqlimport requestsURL = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?'HEADERS = {    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}PARAMS = {    'g_tk': '5381',    'jsonpCallback': 'jsoncallback4823183319594757',    'loginUin': '0',    'hostUin': '0',    'format': 'jsonp',    'inCharset': 'utf8',    'outCharset': 'GB2312',    'notice': '0',    'platform': 'yqq',    'needNewCode': '0',    'cid': '205360772',    'reqtype': '2',    'biztype': '1',    'topid': '213910991',    'cmd': '8',    'needmusiccrit': '0',    'pagenum': '0',    'pagesize': '25',    'lasthotcommentid': '',    'callback': 'jsoncallback4823183319594757',    'domain': 'qq.com',    'ct': '24',    'cv': '101010',}LAST_COMMENT_ID = ''db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306,  db='QQ_Music', charset='utf8mb4')cursor = db.cursor()def get_html(url, headers, params=None, tries=3):    try:        response = requests.get(url=url, headers=headers, params=params)        response.raise_for_status()        response.encoding = 'utf-8'    except requests.HTTPError:        print("connect failed")        if tries > 0:            print("reconnect...")            last_url = url            get_html(last_url, headers, tries-1)        else:            print("3 times failure")            return None    return responsedef paras_html(html):    data = {}    content = json.loads(html[29:-3])    for item in content['comment']['commentlist']:        data["nike"] = item.get("nick")        data["comment"] = re.sub(r"n", " ", item.get("rootcommentcontent"))        data["comment"] = (re.sub(r"", " ", data["comment"]))[0:255]        data["praisenum"] = item.get("praisenum")        data["comment_id"] = item.get("commentid")        data["time"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(item.get("time"))))        yield datadef to_mysql(data):    table = 'comments'    keys = ', '.join(data.keys())    values = ', '.join(['%s'] * len(data))    sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values)    update = ','.join([" {key} = %s".format(key=key) for key in data])    sql += update    try:        if cursor.execute(sql, tuple(data.values())*2):            print('Successful')    except:        print('Failed')        db.rollback()    db.commit()def main():    first_Links = []    three_Links = []    count = 0    global LAST_COMMENT_ID    for page in range(1045):        if page % 5 == 0:            time.sleep(2)        PARAMS['lastcommentid'] = LAST_COMMENT_ID        PARAMS['pagenum'] = page        if first_Links:            if count >= 3:                three_Links.append(first_Links.pop())                continue            count += 1            response = get_html(first_Links.pop(), HEADERS)        else:            count = 0            response = get_html(URL, HEADERS, PARAMS)        if response:            try:                for item in paras_html(response.text):                    to_mysql(item)                    print("Successful", response.url)                    LAST_COMMENT_ID = item['comment_id']            except TypeError:                print(response.url)                first_Links.append(response.url)    cursor.close()    db.close()    print(three_Links)if __name__ == '__main__':    main()


最后成功获取评论信息


教你用Python爬去QQ音乐评论


教你用Python爬去QQ音乐评论


这里有一个问题，因为请求头是一直变化的，所以可能会错过一些评论页，导致评论获取不完全，这里只需多运行几次代码，或者在主程序加个循环即可，注意要设置下延迟，之后基本上能获取大部分的评论。


以上就是教你用Python爬去QQ音乐评论的详细内容，更多请关注创想鸟其它相关文章！


                                                        
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。

如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。

发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/347530.html
赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
抖音用户直播带货能力如何？数据表现与趋势分析
上一篇 2025年11月5日 20:58:46
如何在mysql中使用事务控制复杂业务流程
下一篇 2025年11月5日 20:58:57

相关推荐

发表回复

登录后才能评论
关注微信