基于Python+Hmtl实现的广西人才网数据可视化分析（源码+数据集+演示视频）

Love The Way You Lie 2023-10-13 08:59 8阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/87974988  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/87974988

数据分析及可视化：

1.  `kline_chart()`: 绘制K线图，展示日期与薪资之间的关系。
2.  `liquid_chart()`: 绘制水球图，展示人数占比或比例的可视化效果。
3.  `calendar_chart()`: 绘制日历图，展示日期和人数之间的关系。
4.  `sunburst_chart()`: 绘制旭日图，展示数据的层级结构和组成关系。
5.  `timeline_chart()`: 绘制时间线轮播图，展示不同时间点的数据变化。
6.  `line_chart()`: 绘制折线图，展示日期与公司人数之间的趋势。
7.  `bar_chart()`: 绘制柱形图，展示职位与公司人数之间的关系。
8.  `bar_ten_chart()`: 绘制筛选出人数前十大的柱形图。
9.  `barh_chart()`: 绘制条形图，展示职位与公司人数之间的关系。
10. `stacked_bar_chart()`: 绘制堆叠图，展示不同学历人数的分布情况。
11. `scatter_chart_people()`: 绘制散点图，展示日期与公司人数之间的关系。
12. `scatter_chart_salaries()`: 绘制散点图，展示工资与公司人数之间的关系。
13. `pie_chart()`: 绘制饼状图，展示职位分布情况。
14. `pie_chart_ten()`: 绘制筛选出人数前十大的饼状图。
15. `wordcloud()`: 读取文本文件并生成词云图，展示文本中词语的频率分布情况。  
    数据的清理：
16. 打开CSV文件并创建一个CSV reader对象。使用`with open('data.csv', 'r', encoding='utf-8') as csvfile`语句打开CSV文件，并通过`csv.reader(csvfile)`创建一个CSV reader对象，用于逐行读取CSV文件中的数据。
17. 跳过第一行包含列标题的行。使用`next(reader)`语句跳过CSV文件中的第一行，即包含列标题的行。
18. 遍历CSV文件的每一行，并将数据添加到列表中。通过`for row in reader`语句，对CSV文件中的每一行进行遍历，并使用`data.append(row)`将每一行的数据添加到名为`data`的列表中。
19. 对工资字段进行清理和转换。在`for salary in salaries1`的循环中，对工资字段进行逐个处理。首先，使用正则表达式提取工资字段中的有效数字部分，即工资值。通过`match = re.search(r'(\d+(?:\.\d+)?)', salary)`使用正则表达式模式匹配工资字段中的数字部分。如果找到匹配项，则提取工资值，并将其转换为浮点数类型。然后，根据工资字段中的后缀（'K’代表千，'M’代表百万），调整工资值的大小。最后，将处理后的工资值添加到名为`salaries`的列表中。

该代码中的数据清理步骤通过对工资字段的处理来实现。它使用正则表达式提取有效数字部分，并根据后缀进行工资值的调整和转换，最终得到一个经过清理和转换的工资数据列表。

数据爬取  
这段代码的实现过程如下：

1.  首先，通过发送 HTTP GET 请求获取网页的内容，使用的是 `requests.get(url,headers={'User-Agent': UserAgent(family='chrome').random()})`。其中，`url` 是要访问的网页的链接，`headers` 参数用于设置请求头，这里使用了随机的 User-Agent。
2.  将获取到的网页内容转换为可解析的 HTML 对象，使用的是 `etree.HTML(resp)`，其中 `resp` 是请求返回的内容。
3.  使用循环遍历的方式，从 HTML 对象中提取出需要的数据。循环从 1 到 20，即提取前 20 个数据。
4.  通过 XPath 表达式提取职位名称，工资，地区，日期，公司，人数，学历，工作经验和公司性质等信息，使用的是 `html.xpath()` 方法。XPath 表达式指定了数据所在的位置。
5.  将提取到的数据进行字符串处理，去除多余的字符，如 `'['` 和 `']'`。
6.  将处理后的数据存储到相应的变量中，如 `job_name`、`wage`、`address` 等。
7.  这段代码的最后一行将一个变量 `cond` 存储为字符串，去除多余的字符。  
    requests 库发送 HTTP 请求获取网页内容，使用了 lxml 库解析 HTML，然后通过 XPath 表达式提取所需数据，并对提取的数据进行字符串处理，最终将数据存储到相应的变量中。

# 读取CSV文件
    data = []
    with open('data.csv', 'r',encoding='gbk') as csvfile:
        reader = csv.reader(csvfile)
        next(reader)  # 跳过第一行包含列标题的行
        for row in reader:
            data.append(row)
    # 处理数据
    #职位,工资,地区,日期,公司,人数,学历,工作经验,公司性质,任职要求
    jobs = [row[0] for row in data]
    salaries1 = [row[1] for row in data]
    regions = [row[2] for row in data]
    dates = [row[3] for row in data]
    companies = [row[4] for row in data]
    people_counts = [row[5] for row in data]
    education = [row[6] for row in data]
    experiences = [row[7] for row in data]
    company_types = [row[8] for row in data]
    salaries = []
    for salary in salaries1:
        # 使用正则表达式提取有效数字部分
        match = re.search(r'(\d+(?:\.\d+)?)', salary)
        if match:
            salary_value = float(match.group(1))
            if 'K' in salary:
                salary_value *= 1000
            elif 'M' in salary:
                salary_value *= 1000000
        else:
            salary_value = 0  # 处理无效值
    
        salaries.append(salary_value)
    
    
    # K线图
    def kline_chart():
        kline = (
            Kline()
            .add_xaxis(dates)
            .add_yaxis(
                "K线图",
                [[idx, val, val, val] for idx, val in enumerate(salaries)],
                itemstyle_opts=opts.ItemStyleOpts(color="#ec0000", color0="#00da3c"),
                markpoint_opts=opts.MarkPointOpts(
                    data=[opts.MarkPointItem(type_="max"), opts.MarkPointItem(type_="min")]
                ),
            )
            .set_global_opts(
                xaxis_opts=opts.AxisOpts(type_="category"),
                yaxis_opts=opts.AxisOpts(
                    type_="value",
                    splitarea_opts=opts.SplitAreaOpts(
                        is_show=True, areastyle_opts=opts.AreaStyleOpts(opacity=1)
                    ),
                ),
                title_opts=opts.TitleOpts(title="K线图"),
                datazoom_opts=[
                    opts.DataZoomOpts(range_start=0, range_end=100),
                    opts.DataZoomOpts(type_="inside", range_start=0, range_end=100),
                ],
                tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross"),
            )
        )
        kline.render(r'D:\pythonProject1\可视化\课设\static\kline.html')
    
    # # 水球图
    def calendar_chart():
        calendar_data = [[dates[i], people_counts[i]] for i in range(len(dates))]
        calendar = (
            Calendar()
            .add("", calendar_data, calendar_opts=opts.CalendarOpts(range_="2023"))
            .set_global_opts(
                title_opts=opts.TitleOpts(title="日历图"),
                visualmap_opts=opts.VisualMapOpts(
                    max_=max(people_counts), min_=min(people_counts), orient="horizontal", pos_top="50px", pos_left="100px"
                ),
            )
        )
        calendar.render(r'D:\pythonProject1\可视化\课设\static\calendar.html')
    
    
    # 时间线轮播图
    def timeline_chart():
        timeline = Timeline(init_opts=opts.InitOpts(width="1000px", height="600px"))
    
        # 添加时间线项
        for date, salary in zip(dates, salaries):
            gauge = (
                Gauge()
                    .add("", [("工资", salary)])
                    .set_global_opts(
                    title_opts=opts.TitleOpts(title=date),
                    tooltip_opts=opts.TooltipOpts(formatter="{a} <br/>{c}K")
                )
            )
            timeline.add(gauge, date)
    
        timeline.render(r'D:\pythonProject1\可视化\课设\static\timeline.html')
    
    
    # 柱形图
    def bar_chart():
        bar = (
            Bar()
            .add_xaxis(jobs)
            .add_yaxis("公司人数", people_counts)
            .set_global_opts(title_opts=opts.TitleOpts(title="柱形图"))
        )
        bar.render(r'D:\pythonProject1\可视化\课设\static\bar.html')
    def bar_ten_chart():
        # 按照 people_counts 进行降序排序
        sorted_data = sorted(zip(jobs, people_counts), key=lambda x: x[1], reverse=True)
    
        # 选择前十大的数据
        top_data = sorted_data[:10]
    
        # 提取筛选后的数据
        top_jobs, top_people_counts = zip(*top_data)
    
        # 创建柱状图
        bar = (
            Bar()
            .add_xaxis(top_jobs)
            .add_yaxis("公司人数", top_people_counts)
            .set_global_opts(title_opts=opts.TitleOpts(title="前十柱形图"))
        )
    
        bar.render(r'D:\pythonProject1\可视化\课设\static\bar_ten.html')

![在这里插入图片描述][0259445b49be440ba9b781533b1f3013.png_pic_center]  
![在这里插入图片描述][55f4c82a2b1444a2a491d96d6b899cf9.png_pic_center]  
![在这里插入图片描述][f230997b849a439a8c514e984d3ebab1.png_pic_center]  
![在这里插入图片描述][4ecf2e98fb8a4d1286caa180b9f42abe.png_pic_center]  
![在这里插入图片描述][f4b6cae9a50b42268abc769850373ec0.png_pic_center]  
![在这里插入图片描述][378fa2fa2266498e878e6d08d59120b8.png_pic_center]  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/87974988  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/87974988

[Link 1]: https://download.csdn.net/download/sheziqiong/87974988
[0259445b49be440ba9b781533b1f3013.png_pic_center]: https://img-blog.csdnimg.cn/0259445b49be440ba9b781533b1f3013.png#pic_center
[55f4c82a2b1444a2a491d96d6b899cf9.png_pic_center]: https://img-blog.csdnimg.cn/55f4c82a2b1444a2a491d96d6b899cf9.png#pic_center
[f230997b849a439a8c514e984d3ebab1.png_pic_center]: https://img-blog.csdnimg.cn/f230997b849a439a8c514e984d3ebab1.png#pic_center
[4ecf2e98fb8a4d1286caa180b9f42abe.png_pic_center]: https://img-blog.csdnimg.cn/4ecf2e98fb8a4d1286caa180b9f42abe.png#pic_center
[f4b6cae9a50b42268abc769850373ec0.png_pic_center]: https://img-blog.csdnimg.cn/f4b6cae9a50b42268abc769850373ec0.png#pic_center
[378fa2fa2266498e878e6d08d59120b8.png_pic_center]: https://img-blog.csdnimg.cn/378fa2fa2266498e878e6d08d59120b8.png#pic_center