上下文语言模型:通过自主管理上下文提升性能并降低计算成本

Meta、MIT和华盛顿大学研究人员提出上下文语言模型(CLM),让大模型自主改写、保留或删除上下文,并通过零样本、上下文学习和强化学习优化管理策略。测试显示其可在多项任务中提升准确率、减少计算量,但仍面临信息误删、提示注入和模型决策不可靠等安全风险。

来源:InfoQ