前言
2018年11月15日,简书迎来了重大变革,取消了原有的积分制度,转而采用去中心化的简书钻,每天发放一万简书钻。首先,简书详细说明了获取钻石的方式:通过写文和点赞,与过去通过阅读、评论、点赞、关注和写作获取不同数量积分的模式不同,现在的获取方式更为简单和便捷。其次,简书也指出,获取钻石的数量取决于用户的投票(钻石越多,投票权重越大)。简书每天公布前一天的排名,我们将通过编写代码获取2018年11月15日至2018年11月26日的数据,并进行分析。
为了获取简书钻的排行数据,我们采用了异步加载的爬虫技术,通过包获取数据。数据分为文章排名和用户排名,我们分别编写代码和存储。
以下是用于获取文章排名的代码:
import requestsimport jsonimport csvimport timeheaders = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}def get_info(url): res = requests.get(url, headers=headers) json_data = json.loads(res.text) notes = json_data['notes'] for note in notes: title = note['title'] author_nickname = note['author_nickname'] author_fp = note['author_fp'] voter_fp = note['voter_fp'] fp = note['fp'] print(title, author_nickname, author_fp, voter_fp, fp) writer.writerow([title, author_nickname, author_fp, voter_fp, fp])if __name__ == '__main__': fp = open('article.csv', 'w+', encoding='utf-8') writer = csv.writer(fp) writer.writerow(['title', 'author_nickname', 'author_fp', 'voter_fp', 'fp']) urls = ['https://www.jianshu.com/asimov/fp_rankings/voter_notes?date={}'.format(i) for i in range(20181115, 20181127)] for url in urls: get_info(url) time.sleep(1)
以下是用于获取用户排名的代码,这部分代码还包括了对用户是否为简书会员的判断:
立即学习“Python免费学习笔记(深入)”;
import requestsimport jsonimport csvimport timefrom lxml import etreeheaders = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}def get_info(url): path = 'https://www.jianshu.com/u/' res = requests.get(url, headers=headers) json_data = json.loads(res.text) users = json_data['users'] for user in users: slug = user['slug'] author_url = path + slug style = jug_vip(author_url) author_nickname = user['nickname'] author_fp = user['author_fp'] voter_fp = user['voter_fp'] fp = user['fp'] print(author_nickname, author_url, author_fp, voter_fp, fp, style) writer.writerow([author_nickname, author_url, author_fp, voter_fp, fp, style])def jug_vip(url): res = requests.get(url, headers=headers) html = etree.HTML(res.text) infos = html.xpath('//ul[@class="list user-dynamic"]/li') str = '' for info in infos: jug = info.xpath('string(.)').strip() str = str + jug if str.find('简书尊享会员') != -1: return '简书尊享会员' elif str.find('简书会员') != -1: return '简书会员' else: return '非会员'if __name__ == '__main__': fp = open('user.csv', 'w+', encoding='utf-8') writer = csv.writer(fp) writer.writerow(['author_nickname', 'author_url', 'author_fp', 'voter_fp', 'fp', 'style']) urls = ['https://www.jianshu.com/asimov/fp_rankings/voter_users?date={}'.format(i) for i in range(20181115, 20181127)] for url in urls: get_info(url) time.sleep(1)
数据分析文章TOP10首先,我们来看看获取简书钻最多的前10篇文章。
这些文章的内容大多与简书钻的分享有关。由于简书钻是最近才开始运营的,跟随这一热点,文章的曝光率和投票数也会相应增加。
文章词云为了更全面地了解哪些文章容易上榜,我们制作了词云图来分析文章中的关键词。
通过关键词,我们可以将它们分为两类:
与简书钻相关的关键词:比特币、Fountain(简书合作伙伴)、Poc社区等。干货相关文章:笔记导图(长期霸屏用户使用的标题:思维导图实战派_汪志鹏)。
初步分析表明,结合热点和自身行业背景,有助于文章上榜(当然,这并不简单)。
用户TOP10仅仅了解文章标题的规律,对于普通人来说,要上榜仍是困难的。接下来,我们通过分析上榜用户来寻找规律。首先是前10名用户。
这些用户在排行榜上名列前茅,大家可以参考这些用户平时的作品,进行学习。
霸屏用户通过12天的数据爬取,我们发现许多用户在这12天内都上了榜,这些霸屏用户让人羡慕。
'书院的夫子', 'linwood', '那個長江', '達士通人', '我是北崖君', '简书钻首席小管家', '宿醉弥生', '乐健君','思维导图实战派_汪志鹏', 'altcoin', '淡月6688', '临湖风徐徐道来', '小尘2016', '我是四海szw','中本葱老爷爷', 'weiblock', '蒋坤元', '且行且影', '荆白', '苍天鸭', '脸谱大叔', '肆月初陆','币圈Tesla', '无戒', '段维Tina', '紫萤石', '陈天宇123', 'Jianan嘉楠', '春木sky', '梦之蓝色','杀个程序猿祭天', '霖山', '雪球薅羊毛', 'Carykive', '木木大木木', '大琦有钻', '李砍柴', '杰夫1','写手圈', '静夜思007'
简书会员or非会员前文提到过,获取的钻石数量很大程度上取决于你已拥有的简书钻,而简书尊享会员通常拥有更多的简书钻,这导致上榜用户中,简书会员的比例相当高。
总结结合简书钻的热点来上榜,你是否也考虑成为简书尊享会员呢?当然,自身的努力同样重要,坚持写作,分享干货,这就是简书的精神。
以上就是Python玩转简书钻的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/75266.html
微信扫一扫
支付宝扫一扫