0


BS1066-基于大数据爬虫实现互联网研发岗位数据分析平台

本基于大数据爬虫实现互联网研发岗位数据分析平台,系统主要采用java,互联网爬虫技术,动态图表echarts,springboot,mysql,mybatisplus,岗位推荐算法,实现基于互联网招聘岗位实现针对用户的岗位推荐,
系统提供招聘岗位网站前台,系统岗位数据分析可视化平台展示等功能。
系统招聘网站主要包含:用户登录注册,招聘岗位推荐,岗位推荐列表,用户建立,我的投递,用户浏览,招聘岗位分类,个人中心,招聘岗位详情等模块
系统可视化分析展示平台主要包含:岗位竞争力分析,岗位薪资分析,岗位分析报告,岗位技能分析,岗位数量分析,岗位地图分布等等。

原文地址

一、程序设计

本基于大数据爬虫实现互联网研发岗位数据分析平台,主要内容涉及:

主要功能模块:用户登录注册,招聘岗位推荐,岗位推荐列表,用户建立,我的投递,用户浏览,招聘岗位分类,个人中心,招聘岗位详情等模块。
主要包含技术:java,JSOUP,httpClient,数据处理,数据分析,echarts,springboot,mysql,mybatis,javascript,数据分析存储技术,推荐计算算法等

二、效果实现

演示视频

https://www.bilibili.com/video/BV19m4y177Ti/

系统首页

在这里插入图片描述

岗位检索

在这里插入图片描述

采集数据

在这里插入图片描述

数据可视化

其他

程序报告

在这里插入图片描述

三、代码实现

系统招聘岗位管理主要采用前后端分离模式,针对招聘岗位数据查询封装成JSON格式,完成数据下发至系统界面端渲染,系统界面端针对JSON解析后采用javascript完成页面展示。

def wish_data(wages_old):"""
    数据清洗规则:
    分为元/天,千(以上/下)/月,万(以上/下)/月,万(以上/下)/年
    若数据是一个区间的,则求其平均值,最后的值统一单位为元/月
    """if'元/天' in wages_old:if'-' in wages_old.split('元')[0]:
            wages1 = wages_old.split('元')[0].split('-')[0]
            wages2 = wages_old.split('元')[0].split('-')[1]
            wages_new =(float(wages2)+float(wages1))/2*30else:
            wages_new =float(wages_old.split('元')[0])*30return wages_new

    elif '千/月' in wages_old or '千以下/月' in wages_old or '千以上/月' in wages_old:if'-' in wages_old.split('千')[0]:
            wages1 = wages_old.split('千')[0].split('-')[0]
            wages2 = wages_old.split('千')[0].split('-')[1]
            wages_new =(float(wages2)+float(wages1))/2*1000else:
            wages_new =float(wages_old.split('千')[0])*1000return wages_new

    elif '万/月' in wages_old or '万以下/月' in wages_old or '万以上/月' in wages_old:if'-' in wages_old.split('万')[0]:
            wages1 = wages_old.split('万')[0].split('-')[0]
            wages2 = wages_old.split('万')[0].split('-')[1]
            wages_new =(float(wages2)+float(wages1))/2*10000else:
            wages_new =float(wages_old.split('万')[0])*10000return wages_new

    elif '万/年' in wages_old or '万以下/年' in wages_old or '万以上/年' in wages_old:if'-' in wages_old.split('万')[0]:
            wages1 = wages_old.split('万')[0].split('-')[0]
            wages2 = wages_old.split('万')[0].split('-')[1]
            wages_new =(float(wages2)+float(wages1))/2*10000/12else:
            wages_new =float(wages_old.split('万')[0])*10000/12return wages_new

def wages_experience_chart(data):
    # 根据经验分类,求不同经验对应的平均薪资
    wages_experience = data.groupby('经验').mean()

    # 获取经验和薪资的值,将其作为画图的 x 和 y 数据
    w = wages_experience['工资'].index.values
    e = wages_experience['工资'].values

    # 按照经验对数据重新进行排序,薪资转为 int 类型(也可以直接在前面对 DataFrame 按照薪资大小排序)
    wages =[w[6], w[1], w[2], w[3], w[4], w[5], w[0]]
    experience =[int(e[6]),int(e[1]),int(e[2]),int(e[3]),int(e[4]),int(e[5]),int(e[0])]

    # 绘制柱状图
    plt.rcParams['font.sans-serif'] = ['MicrosoftYaHei']
    plt.figure(figsize=(9,6))
    x = wages
    y = experience
    color =['#E41A1C', '#377EB8', '#4DAF4A', '#984EA3', '#FF7F00', '#FFFF33', '#A65628']
    plt.bar(x, y, color=color)for a, b in zip(x, y):
        plt.text(a, b, b, ha='center', va='bottom')
    plt.title('Python 相关职位经验与平均薪资关系', fontsize=13)
    plt.xlabel('经验', fontsize=13)
    plt.ylabel('平均薪资(元 / 月)', fontsize=13)
    plt.savefig('wages_experience_chart.png')
    plt.show()

def wages_education_chart(data):
    # 根据学历分类,求不同学历对应的平均薪资
    wages_education = data.groupby('学历').mean()

    # 获取学历和薪资的值,将其作为画图的 x 和 y 数据
    wages = wages_education['工资'].index.values
    education =[int(i)for i in wages_education['工资'].values]

    # 绘制柱状图
    plt.rcParams['font.sans-serif'] = ['MicrosoftYaHei']
    plt.figure(figsize=(9,6))
    x = wages
    y = education
    color =['#E41A1C', '#377EB8', '#4DAF4A']
    plt.bar(x, y, color=color)for a, b in zip(x, y):
        plt.text(a, b, b, ha='center', va='bottom')
    plt.title('Python 相关职位学历与平均薪资关系', fontsize=13)
    plt.xlabel('学历', fontsize=13)
    plt.ylabel('平均薪资(元 / 月)', fontsize=13)
    plt.savefig('wages_education_chart.png')
    plt.show()

本文转载自: https://blog.csdn.net/qq_21745751/article/details/131660080
版权归原作者 优异的小码龙_tinyfox_z 所有, 如有侵权,请联系我们删除。

“BS1066-基于大数据爬虫实现互联网研发岗位数据分析平台”的评论:

还没有评论