168大数据

标题: 爬取简书和数据分析 [打印本页]

作者: 168主编    时间: 2017-11-3 14:15
标题: 爬取简书和数据分析
作者:sexycoder
最近入门了一下scrapy,找了一个网站练手,半天的时间爬取了简书20w用户数据和40w的follow关系。这些存在mysql里面的闲着也是闲着,想做一些有意思的数据统计和社交关系分析。
最受欢迎的作者
我统计了简书上面粉丝数最多和被喜欢次数最多的用户,简书上最受欢迎的作者,如下图所示:

我把最受欢迎的作者的放到一张图上面,横坐标表示粉丝数,纵坐标表示被喜欢的次数,如下图所示。可以很明显的看出来,这些最受欢迎的作者里面,大多数的作者还是聚集在图的左下角,but,还有几个超级受欢迎的,他们分别分布在图的右侧和上侧。他们分别是,刘淼,彭小六,简黛玉。很可惜,截图上不能附上作者的名字。

这是同济最受欢迎的作者的原始数据,我也贴在这里,如下图所示,数据爬取的时间是 2017年10月20日左右。下图的这四列分别是,uid,昵称,粉丝数,被喜欢数。

最能写的作者
统计了发表文章数最多的top20作者,如下图所示:

排名第一的这位孤鸟差鱼 ( http://www.jianshu.com/u/a4bb86f4ba07),写了1799篇文章啊!我的天!但是这里有一个bug,这位作者虽然能写,但是每篇文章被喜欢的次数很低,基本上是个位数。可能是一位孤独but高产的作者。
平均每个字被喜欢次数坐高的作者
从上面的一个统计里面吸取到的一个灵感,虽然上面的作者很能写,但是被喜欢的次数却很低,这一次统计的是平均每个字被喜欢次数坐高的作者。如下图所示:

这个结果就更加意外了,排在前面的这几个大哥,就写了一个字,but 收获了48个喜欢!!!!每个字被喜欢的比例是1:48!!!于是,很好奇这位大哥,这一个字写得是什么,跑去围观。。

用户的粉丝数分布的比例
分析了一下每个用户的粉丝数,绝大多数用户的粉丝数只有10人以下,而粉丝数分布在[10,20]之间的用户明显少了很多,简直是锐减!!!这也基本上符合一个社交网络的结果,绝大多数的人都是围观者,都是内容或者是消息的的接收者。拥有大量粉丝的人,往往很少,这一部分的人是这个社交网络的核心,是信息或者是消息的创造者,拥有更加强大的话语权。








欢迎光临 168大数据 (http://www.bi168.cn/) Powered by Discuz! X3.2