闲着无事逛逛招聘网站,无意看到了爬虫岗位的薪资,发现真香,今天决定爬取下来并进行分析 目录 1.开始2.分析目标网站的标签,发现想要的字段(岗位、公司名称、城市、薪资)都在p标签里面,如下图3.开始编写代码
4.存储到csv文件5.分析数据并进行可视化5.1.可视化1:爬虫岗位常用名称5.2.可视化2:爬虫岗位最多的城市5.3.可视化3:薪资分布情况 首先,确定目标网站: https:jobs.51job.compachongkaifa
Windows NT 10.0; WOW64) AppleWebKit537.36 (KHTML, like Gecko) Chrome86.0.4240.75 Safari537.36} 2.分析目标网站的标签
)plt.savefig(爬虫岗位最多的城市.png, dpi600)plt.show() 从图中来看,大城市(北上广深)的爬虫工程师岗位居多 5.3.可视化3:薪资分布情况 dict_x {}
, v in sorted_x: print(k, v) k_list.append(k) v_list.append(v)plt.axes(aspect1)plt.title(u薪资分布情况(李运辰)