爬取简书和数据分析

作者：sexycoder

最近入门了一下scrapy，找了一个网站练手，半天的时间爬取了简书20w用户数据和40w的follow关系。这些存在mysql里面的闲着也是闲着，想做一些有意思的数据统计和社交关系分析。

最受欢迎的作者

我统计了简书上面粉丝数最多和被喜欢次数最多的用户，简书上最受欢迎的作者，如下图所示：

我把最受欢迎的作者的放到一张图上面，横坐标表示粉丝数，纵坐标表示被喜欢的次数，如下图所示。可以很明显的看出来，这些最受欢迎的作者里面，大多数的作者还是聚集在图的左下角，but，还有几个超级受欢迎的，他们分别分布在图的右侧和上侧。他们分别是，刘淼，彭小六，简黛玉。很可惜，截图上不能附上作者的名字。

这是同济最受欢迎的作者的原始数据，我也贴在这里，如下图所示，数据爬取的时间是 2017年10月20日左右。下图的这四列分别是，uid，昵称，粉丝数，被喜欢数。

最能写的作者

统计了发表文章数最多的top20作者，如下图所示：

排名第一的这位孤鸟差鱼 （ http://www.jianshu.com/u/a4bb86f4ba07），写了1799篇文章啊！我的天！但是这里有一个bug，这位作者虽然能写，但是每篇文章被喜欢的次数很低，基本上是个位数。可能是一位孤独but高产的作者。

平均每个字被喜欢次数坐高的作者

从上面的一个统计里面吸取到的一个灵感，虽然上面的作者很能写，但是被喜欢的次数却很低，这一次统计的是平均每个字被喜欢次数坐高的作者。如下图所示：

这个结果就更加意外了，排在前面的这几个大哥，就写了一个字，but 收获了48个喜欢！！！！每个字被喜欢的比例是1：48！！！于是，很好奇这位大哥，这一个字写得是什么，跑去围观。。

用户的粉丝数分布的比例

分析了一下每个用户的粉丝数，绝大多数用户的粉丝数只有10人以下，而粉丝数分布在[10,20]之间的用户明显少了很多，简直是锐减！！！这也基本上符合一个社交网络的结果，绝大多数的人都是围观者，都是内容或者是消息的的接收者。拥有大量粉丝的人，往往很少，这一部分的人是这个社交网络的核心，是信息或者是消息的创造者，拥有更加强大的话语权。