0


Datawhale AI 夏令营 Task2笔记

数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。

Task1中,我学习并使用基于经验模型(使用均值作为结果数据)来解决问题。这种预测方式简便,但是结果准确性有待提高。于是我学习了Task2,这次我基于机器学习模型解决本次问题。

使用机器学习方法的三个方面:获取数据&增强特征提取模型

使用机器学习方法的步骤:探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。

1、导入模块:

首先导入了

warnings

模块用于忽略警告,

numpy

用于数值计算,

pandas

用于数据处理,

lightgbm

是LightGBM模型的实现库。

import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')

2、探索性数据分析

读取训练集和测试集

train = pd.read_csv('train.csv’) # 读取训练集
test = pd.read_csv('test.csv') # 读取测试集

数据读取:使用

pd.read_csv

读取了两个CSV文件,分别是训练集

train.csv

和测试集

test.csv

数据含义:

Id:房屋id

Dt:日标识

Type:房屋类型

Target:实际电力消耗

** 可视化分析:**

柱状图:
import matplotlib.pyplot as plt # 引用模块
# 不同type类型对应target的柱状图
type_target_df = train.groupby('type')['target'].mean().reset_index()
plt.figure(figsize=(8, 4))
plt.bar(type_target_df['type'], type_target_df['target'], color=['blue', 'green'])
plt.xlabel('Type')
plt.ylabel('Average Target Value')
plt.title('Bar Chart of Target by Type')
plt.show()

结果:

分析了训练集中不同类型('type'列)的目标值('target'列)的平均值,并通过柱状图展示

折线图:
specific_id_df = train[train['id'] == '00037f39cf']
plt.figure(figsize=(10, 5))
plt.plot(specific_id_df['dt'], specific_id_df['target'], marker='o', linestyle='-')
plt.xlabel('DateTime')
plt.ylabel('Target Value')
plt.title("Line Chart of Target for ID '00037f39cf'")
plt.show()

结果:

选取了特定ID('00037f39cf')的数据,绘制了该ID在时间序列上目标值的折线图

3、特征工程

主要构建了历史平移特征和窗口统计特征

历史平移特征:通过历史平移获取上个阶段的信息;如下图所示,可以将d-1时间的信息给到d时间,d时间信息给到d+1时间,这样就实现了平移一个单位的特征构建。
窗口平移特征:窗口统计可以构建不同的窗口大小,然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息,可以反映最近阶段数据的变化情况。如下图所示,可以将d时刻之前的三个时间单位的信息进行统计构建特征给我d时刻。

# 合并训练数据和测试数据,并进行排序
data = pd.concat([test, train], axis=0, ignore_index=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)
  • 使用pd.concat函数将测试数据test和训练数据train按行(axis=0)合并为一个数据集data,忽略索引(ignore_index=True)重新索引
  • 使用sort_values方法,按照'id'和'dt'列进行降序排序
  • 使用reset_index方法重置索引,丢弃原来的索引,并在原地修改data
# 历史平移
for i in range(10,30):
    data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)
  • 对于每一个从10到29的整数i,创建一个新的列last{i}_target
  • 对数据集data按'id'分组,然后对每个组(每个'id')的'target'列进行历史平移操作,平移量为i,即将每个'id'的目标值向前平移i个时间步长
  • 新创建的列将包含每个'id'对应时间步长为i的目标值
# 窗口统计
data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3
  • 创建一个新的列win3_mean_target,计算了last10_targetlast11_targetlast12_target三列的均值
  • 窗口统计特征可以帮助捕捉目标值在不同时间窗口内的变化趋势
# 进行数据切分
train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)
  • 根据'target'列是否为空值,将数据集data划分为训练集train和测试集test
  • train包含所有目标值不为空的数据行,test包含所有目标值为空的数据行
  • 使用reset_index方法重新设置索引,并丢弃原来的索引
# 确定输入特征
train_cols = [f for f in data.columns if f not in ['id','target']]
  • 创建一个列表train_cols,其中包含所有数据集data中除了'id'和'target'之外的列
  • 这些列将被用作模型训练的输入特征

4、模型训练与测试集预测

使用Lightgbm模型

选择原始给出训练数据集中dt为30之后的数据作为训练数据,之前的数据作为验证数据

保证了数据不存在穿越问题(不使用未来数据预测历史数据)

def time_model(lgb, train_df, test_df, cols):
    # 训练集和验证集切分
    trn_x, trn_y = train_df[train_df.dt>=31][cols], train_df[train_df.dt>=31]['target']
    val_x, val_y = train_df[train_df.dt<=30][cols], train_df[train_df.dt<=30]['target']
    # 构建模型输入数据
    train_matrix = lgb.Dataset(trn_x, label=trn_y)
    valid_matrix = lgb.Dataset(val_x, label=val_y)
    # lightgbm参数
    lgb_params = {
        'boosting_type': 'gbdt',
        'objective': 'regression',
        'metric': 'mse',
        'min_child_weight': 5,
        'num_leaves': 2 ** 5,
        'lambda_l2': 10,
        'feature_fraction': 0.8,
        'bagging_fraction': 0.8,
        'bagging_freq': 4,
        'learning_rate': 0.05,
        'seed': 2024,
        'nthread' : 16,
        'verbose' : -1,
    }
    # 训练模型
    model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], 
                      categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)
    # 验证集和测试集结果预测
    val_pred = model.predict(val_x, num_iteration=model.best_iteration)
    test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
    # 离线分数评估
    score = mean_squared_error(val_pred, val_y)
    print(score)
       
    return val_pred, test_pred
    
lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)

# 保存结果文件到本地
test['target'] = lgb_test
test[['id','dt','target']].to_csv('submit.csv', index=None)

最终结果:

5、优化方向

1.特征工程的进一步优化:更多的历史特征:可以尝试生成更多不同时间窗口的历史特征,而不仅限于当前实现的10到29个时间点。
更复杂的统计特征:除了简单的均值计算,可以尝试其他统计量如最大值、最小值、标准差等,或者使用滑动窗口技术(如rolling函数)计算这些统计量。

2.模型调参:
Grid Search和Random Search:尝试使用网格搜索或随机搜索来调整LightGBM模型的超参数,如学习率、树的深度、叶子节点数等,以进一步提升模型的性能。
集成方法:考虑使用集成学习方法,如XGBoost、CatBoost等,或者使用模型堆叠(stacking)技术,结合多个模型的预测结果来提升准确性。

3.数据处理和准备的优化:
缺失值处理:检查并处理数据中的缺失值,可以尝试使用填充方法或者更复杂的插值技术。
数据归一化或标准化:根据模型的要求,对数据进行归一化或标准化,确保模型训练的稳定性和效果。

4.模型评估和验证的改进:
交叉验证策略:考虑使用更复杂的交叉验证策略,如时间序列交叉验证或者分组交叉验证,以更准确地评估模型的泛化能力。
更多的评估指标:除了均方误差(MSE),可以尝试使用其他评估指标如平均绝对误差(MAE)、平均绝对百分比误差(MAPE)等,综合评估模型的表现。

5.代码结构和效率优化:
代码重构:根据需要,对代码进行重构以提高可读性和维护性。
内存管理:考虑在处理大数据集时优化内存使用,避免不必要的数据复制或加载。

6、调整优化

将原代码作为基准进行调整优化。由于平台上一次只能提交三次,我使用python返回的分数作为基准,进行比较,可能会与平台测试结果有些误差。

1、调整LightGBM参数

可以调整叶节点个数、正则化系数,决策树深度等多方面参数。

学习率调整:0.05→0.01

较小的学习率通常会有更好的性能,但需要更多的迭代次数

效率有提升

但是平台分数反而不行

2、调整训练迭代输出间隔

最大训练迭代次数为50000次

初始为verbose_eval=500, early_stopping_rounds=500

每500轮输出训练信息,如果500轮内验证集的评估指标没有提升,则停止训练。

early_stopping_rounds 500→1000

没有什么太大的影响……

3、特征优化

历史平移特征:通过历史平移获取上个阶段的信息

差分特征:可以帮助获取相邻阶段的增长差异,描述数据的涨减变化情况。在此基础上还可以构建相邻数据比值变化、二阶差分等

窗口统计特征:窗口统计可以构建不同的窗口大小,然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息,可以反映最近阶段数据的变化情况

# 合并训练数据和测试数据
data = pd.concat([train, test], axis=0).reset_index(drop=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)

# 历史平移
for i in range(10,36):
    data[f'target_shift{i}'] = data.groupby('id')['target'].shift(i)

# 历史平移 + 差分特征
for i in range(1,4):
    data[f'target_shift10_diff{i}'] = data.groupby('id')['target_shift10'].diff(i)
    
# 窗口统计
for win in [15,30,50,70]:
    data[f'target_win{win}_mean'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_win{win}_max'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_win{win}_min'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_win{win}_std'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').std().values

# 历史平移 + 窗口统计
for win in [7,14,28,35,50,70]:
    data[f'target_shift10_win{win}_mean'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_shift10_win{win}_max'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_shift10_win{win}_min'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_shift10_win{win}_sum'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').sum().values
    data[f'target_shift710win{win}_std'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').std().values

看上去很不错

比赛平台试一下

太棒了,也是成功提高了……1.3分!

有进步就行

标签: 人工智能 笔记

本文转载自: https://blog.csdn.net/2301_76393325/article/details/140490791
版权归原作者 2301_76393325 所有, 如有侵权,请联系我们删除。

“Datawhale AI 夏令营 Task2笔记”的评论:

还没有评论