训练、验证、测试:开卷、模拟考、高考

老薛的机器学习 · 第七期 · 普及课

上接第六期简单划分——今天讲训练、验证、测试：开卷、模拟考、高考。

大家好，我是老薛。

第六期把数据分成「学」和「试」两半。

今天搬进机器学习的考试规矩：

开卷=训练集 · 模拟考=验证集 · 高考=测试集训练集用来学，验证集用来选，测试集用来考；高考卷只开一次。

01｜为什么需要三份卷子

反复在测试集上试方案，测试集就不再是公正裁判。要学、要选、要考——需要 train / val / test。

02｜开卷、模拟考、高考

训练集：fit 学参数，可反复用；分数高不能单独证明会了。验证集：比方案、调参，可多次但要克制。测试集：封存，最终验收，原则上只评一次。

03｜常见比例

如 70% / 15% / 15% 或 60% / 20% / 20%。同一项目前后一致比背死比例更重要。

04｜全当开卷 vs 三份卷子

100% 训练再同一批验收 = 分数虚高；盯着测试集调参 = 高考变模拟考。

05｜各干什么

训练集学参数 → 验证集选方案 → 测试集最终报成绩。第五期标签泄露 + 本期测试集泄露，都是「作弊」。

06｜代码多切一刀（示意）

 先 train_test_split 留出测试集 再从剩余分出验证集 fit 只用训练集；比方案看验证集；最终 MAE 看测试集一次 

07｜测试集只考一次

探索：故意在测试集上调 5 次参——分数越来越好看说明什么？

08｜升级第六期实验

三分成绩表 → 在验证集比「删期中 vs 删作业」→ 方案定稿后测试集评一次 → 填检查卡。

09｜本期金句

训练集用来学，验证集用来选，测试集用来考。 高考卷只开一次；用测试集调参，不是严谨，是自欺。

三分法检查卡（可截图）

 训练 __%  验证 __%  测试 __% □ 训练仅 fit  □ 验证比方案  □ 测试封存只评一次 是否在测试集反复改方案？□是 □否 

思维操：用第六期成绩表做三分法重跑，留言区说说验证集帮你选了什么。

下期预告

「过拟合：背答案 vs 真会」

我是老薛。学生都懂开卷模拟考高考；懂了就不容易在分数上骗自己。

— 老薛的机器学习 —深入浅出，把机器学习讲成人话