Kimi Chat公司月之暗面，支持200万字长文输入，预计2024年将发布多模态产品！

3月18日，月之暗面宣布其对话式AI助手产品Kimi智能助手现已支持200万字的无损上下文输入。在去年10月发布时，Kimi可支持的无损上下文输入长度为20万字。

与此同时，月之暗面还为Kimi智能助手提供了更多数据源。据月之暗面工程副总裁许欣然介绍，当面对一个问题时，Kimi智能助手会尝试不同的方向搜索并据此做出回答；在回答速度上也有提升，许欣然表示，基于infra层的优化，Kimi智能助手生成速度较去年10月份提升了三倍。

目前，Kimi智能助手已上线了网页版、安卓、iOS、小程序应用。据SimilarWeb数据显示，Kimi智能助手网页版于今年2月的访问量为291.9万，同比上月增长104.99%。

上下文窗口一直是各家大模型公司技术角逐的重点。

在长文档问答、长文本摘要等多种应用场景中，上下文窗口尤为重要。在接受腾讯科技专访时，月之暗面CEO杨植麟曾将大模型形容作计算机，long context（长上下文）形容作计算机的内存。在他看来，这是将新计算范式变成更通用的基础。

提升上下文长度也存在一些技术路线。如基于检索增强的RAG（retrieval augmented generation）方法、滑动窗口方式，但是这些方法在提升上下文长度的同时往往也会带来诸如智能水平下降、成本提升等负面效果。

至于月之暗面的解决办法，杨植麟此前曾表示主要在两方面，一是创新网络结构，二是进行工程优化。许欣然在沟通会现场进一步称，上下文长度的无损提升需要在数据、Infra、模型训练、产品等层面协同合作才能实现，此次团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发。

随着上下文长度提升，Kimi智能助手的使用场景也被扩展。在读论文、分析财报等传统使用场景中，可以更精准地满足用户需求，此外，还扩展出桌上角色扮演游戏（TRPG）主持人等全新使用场景。

值得一提的是，上下文长度提升后也为模型评测带来难题。以往测评某一大模型产品的上下文长度时会采用“大海捞针”的方式，即将一个与文本无关的句子隐藏在大量的文本中，然后通过自然语言提问的方式（Prompt），观察AI能否准确提取出这个隐藏的句子。

但随着业内都按照特定指标进行专项训练之后，大海捞针式的测评方法逐渐失去了原先的参考意义。当大模型上下文长度进一步提升后，评测的维度也会变得更加丰富。许欣然直言，目前在学术界这仍是一个有待探讨的开放式问题。

尽管月之暗面科技有限公司在长文本处理方面取得了进展，但其他AI企业在自然语言理解、多模态交互等技术领域的发展也不容忽视。Sora所展现出的视频生成能力使得Diffusion Transformer架构（DiT）初步成为业内共识，如生数科技、爱诗科技都表态称要在今年内追赶Sora。

对于多模态方面的进展，此次沟通会上月之暗面并未对外披露。月之暗面联合创始人周昕宇表示，在Sora发布之前月之暗面就已经有多模态方面的研发，目前正在按照固有节奏推进，预计在今年将会有相关产品发布。

在成立不到一年的时间里，月之暗面已完成两笔大额融资，今年年初完成超10亿美元融资之后，公司估值更是来到了25亿美元，但其公司规模仍在80人左右。对此周昕宇回应称，人才密度比人数更重要，未来会按照需求进行人员扩张，“招的每一个人都要提高团队平均水平。”