知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

友情提醒:文末有….

一次完整的python数据分析流程是怎么样的?

使用python从网站抓取数据,并将这些数据保存到SQLite数据库中,然后对数据进行清洗,最后对数据进行数据可视化分析。

可是熟悉的人应该知道,python爬取简单,但是分析起来是很困难的,SQL语句、Pandas和Matplotlib这些十分繁琐,一般人也不会。

于是我想到了用一种更简单的方式进行数据分析,那就是python爬取+BI分析。什么是BI就不用我多做介绍了吧,python强大的数据获取能力,配合敏捷BI简单快捷的数据可视化操作,分析效果那肯定是杠杠的!

那这次我们就来看看“人均985,年薪百万”的知乎背后,到底有什么秘密?话不多说,开爬!

一、我们想要哪些数据?

知乎用户的学校和公司肯定是首当其冲的,我想看看到底这些人是编的还是真的哈哈哈。

知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

每页有20个问题,所以你可以获得到20个问题的链接,之后就是对每个问题的处理:

知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

三、用BI进行数据可视化分析知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

首先在官网下载FineBI,虽说是企业级的数据分析平台,但是它对于个人是永久免费的,文末给大家准备了下载链接~

然后直接通过FineBI提供的数据配置端的功能,添加SQL数据集(或者直接添加表也行),查看和验证刚刚爬取并且入库的数据是否已经真正成功入库到MySQL中了。

知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

1、哪个城市的知乎用户最多?

知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

杭州处在第三名了,果然互联网的发源之地之一不是吹的,阿里网易起到了很大的作用,为什么这么说?等你看到职业就明白了。

2、他们都是哪些学校的?

知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

不过也不奇怪,知乎主打的就是高知识份子的聚集地,而且学生比起上班族,有更多的时间玩手机。

既然分析到学校了,我们肯定要来看看各个高校上玩知乎的男女比例:

知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

别说了,知乎人均985实锤了,我流下了羡慕的泪水,我想请问同学,是怎么做到玩和学习同时兼顾的?你如果教教我,我高考距离清华的录取分数线可能就更近一点了….

3、知乎的职业比例

除去学生之后,我们发现知乎的人都是….

知乎人均985?Python爬50W数据,BI做出可视化后,我有了答案

可以看到,除了一些互联网公司的常见职位外,教师和律师用户在知乎中也占据不小的比重。

我们再用一张热力图来观察知乎主流职业(前四名)在各个地区的分布情况,颜色越深,代表该职业在该地区的人数越多:

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注