西风 发自 凹非寺
量子位 | 公众号 QbitAI
用GPT-4辅助教学6周=正常学习两年
事情是酱婶儿的。
一支由世界银行教育专家、数据科学家、研究分析师等组成的权威团队，在尼日利亚，针对学生使用GPT-4辅导学习，做了一项随机对照试验。
他们发现，连续6周用AI进行课后辅导，学生所获得的学习成效相当于正常上了两年学。
而且这种方法，超过了发展中国家教育干预措施随机对照试验数据库中，80%的其它教育干预措施。
参与实验的几乎所有学生都有学习进步，而且参加的AI辅助课程越多，进步也就越明显。
这项研究被沃顿商学院教授Ethan Mollick发到X上后，迅速得到大量网友关注。
Greg Brockman也转发了一手。
评论区网友纷纷分享用AI辅助学习的经历。
我13岁的女儿已经用ChatGPT辅导学习超一年了。她已经能够讨论微积分中的导数和积分以及物理中的电磁学热力学等话题。去年学校想让她跳级，但被我们拒绝了。
我正在为我的大学课程引入一种由学生共同设计的LLM辅导工具。不知道有没有人可以提供如何将这个项目作为随机对照试验进行的建议？
将这种辅导服务仅提供给一半的学生似乎有些不公平。
Ethan Mollick还补充认为教师带领学生使用AI非常重要
在某些情况下，独立用AI作辅导可能会损害学习，因为它给人一种学习的错觉。
项目细节
1984年，教育心理学家Benjamin Bloom展示了接受一对一辅导的学生在学习成效上远超仅限于传统课堂设置的学生。尽管一对一辅导的好处已被证实，但成本高昂。
来自世界银行的教育团队认为，生成式AI能够创造新的类人内容，为教育应用开辟了更广泛的可能性。
基于这一潜力，他们在尼日利亚埃多州进行了一场实验。
在2024年6月至7月期间，来自七个试点学校的800名高中一年级学生，每周需要在计算机实验室参加两次课后AI英语辅导。
具体来说，每节课以老师介绍本周主题开始，随后学生与由GPT-4驱动的Microsoft Copilot进行互动，此来完成一些英语语法学习和写作任务。
老师在当中会指导学生如何使用AI，也会给一些prompt建议，另外在每节课要结束时带领学生进行简短的反思练习。
项目进行中，团队初步总结了一些经验教训：
- 参与试点的学生表现出极高的参与度，很多学生表达了想在计算机实验室使用AI工具的强烈愿望。
- 试点结束后，教师对使用AI的初步担忧转变为认识到其潜力，并认识到AI在提升学生学习中的指导作用。
- 项目持续了六周，更长的时间可能更为有效。项目初期，学生主要学习设置电子邮件、创建Microsoft Copilot账户以及如何使用计算机。延长项目，可以将更多时间专注于学生的实际学习需求。
- 雨季期间频繁的电力和网络中断，影响了学生与AI的互动，为教室配置备用电源和网络连接对于保持课程的顺畅进行至关重要。
- 需要为学生和老师提供必要的支持，比如项目组特别开发了工具包来引导课程，还有精心设计的提示词。
- 与任何项目一样，设计与实施之间可能存在显著差距。为此，需要一个小型监控团队密切监督每个试点，收集关键见解并提供反馈，确保项目按计划进行。
- 教师也指出了AI的关键风险，例如过度依赖、产生错误反馈并误导事实，以及滥用问题。对这些风险采取适当的缓解策略对学生探索这种新学习方式至关重要。
六个周后，学生们进行了一场笔试，以此来评估他们在三个关键领域的表现：英语（重点关注）、AI知识和数字技能
结果发现，随机被选中的参加该项目的学生在这三个方面的学习成效，均显著优于未参加该项目的学生。
值得注意的是，参与项目的学生在学校正常的年终考试中表现也更出色，而学校年终考试的内容远超六周干预期间涉及的主题
这说明学会有效利用AI的学生，可能已经运用这些技能独立探索和掌握其它学科。
此外，团队还发现该项目对所有学生均有积极影响，不仅限于对成绩优异的学生有帮助。而且学生参加的AI辅助课程越多，他们的进步也越明显
如前所述，由于雨季洪水等因素，许多学生出勤存在困难，团队专门为该项目专门开发了严格的监控系统来精确跟踪学生出勤情况。
结果发现，学生每增加一天的出勤都会显著提高学习成效。如下图，随着出勤天数的增加，学生的平均评估得分也呈上升趋势：
学生通过AI辅助，学习成效的提升非常显著，约为0.3个标准差，相当于仅仅六周学生的进步为正常学习了两年。
团队将这些结果与发展中国家教育干预措施的随机对照试验数据库进行比较，发现该项目表现超过了80%的其它干预，包括一些如结构化教学和按能力分层教学等成本极高的策略。
然而，这只是起步阶段。团队表示，仍有许多重要问题待解决
这种干预措施的长期影响如何？除了即时的学习收益外，学生还获得了哪些好处？他们如何与大语言模型进行互动？教师又如何支持这种互动？这些好处是否能扩展到其它学科？有没有任何负面的、不希望的效果？
[1]https://x.com/gdb/status/1879655466122579991
[2]https://blogs.worldbank.org/en/education/From-chalkboards-to-chatbots-in-Nigeria
