过拟合，模拟考与高考

今天看到了一个过拟合的概念，颇有启发。过拟合是人工智能上一个概念，指的是模型在训练集表现很好，但是面对新数据表现很差。可以用高考来进行类比：我们在模拟题练习题做得很好，但是真正的高考题却做得不好。这个问题发生的原因可以简单描述为模型只是简单记忆知识，而非总结规律，将知识强化为思维模式也可能是形成了一套理论，过度依赖这套理论(经验主义+教条主义)。同时，这倒是和毛选中的教条主义有几分相似，对一个规律只是生搬硬套，不知道对具体情况具体分析。
因此我们的解决策略有以下几点：1. 在学习时进行对抗反驳，举反例或者扩大边界条件。2. 维持规律，遇到新事物时用规律解释，并且用这个样本矫正规律(这一点恰是毛选中的认识论，认识和实践是相互依赖的，认识是螺旋完善的)。3. 主动输出强化，采用费曼学习法。4. 将规律迁移到其他方面，本质上也是用规律去解释新东西，只是新东西更加宽广。例如，我这篇文章就是将人工智能的理论和毛选中的思想迁移到个体学习上。5. 利用艾宾浩斯遗忘曲线进行时间间隔复习。(而间隔复习也恰恰验证了我之前关于记录的观点，记录可以帮助后续的重新检索和更新)
同时，对我们还有的启发是，大模型训练和人类学习其实是有很大共通性的，我们可以选择性学习人工智能里面若干理论。更为广阔的，我们生活中要从事的众多事情上都是有众多基础性的很重要的理论，我们可以对相应理论进行有效学习。#过拟合#高考#大学生#思考