甲骨易成为中国信通院大模型基准测试体系“方升”首批合作伙伴

为满足大模型产业化落地选型测试和能力监测需求，中国信通院于“2024中国信通院ICT深度观察研究成果报告会”上发布大模型评测体系“方升”，旨在建立业界大模型基准测试统一的“度量衡”，规范大模型产业发展。

甲骨易是中国信通院“方升”大模型基准测试首批合作伙伴，携手共建“通用幻觉基准测试集”，获得中国信通院“大模型基准测试体系合作伙伴”证书，共同致力于加快构适产业界适用于中文大模型全面、客观、统一、规范的大模型基准测试体系。

中国信通院称，“方升”能够合理解决模型评测规则混乱、距离应用场景较远等亟待解决的问题，从四个维度对大模型进行全面、客观、统一的评估。“方升”测试体系测试体系搭建动态测试数据库，涵盖测试数据集107个，测试数据条数达到123万。此次中国信通院联合甲骨易等产业界多家机构首次推出面向行业、通用、应用、安全领域的评测数据集6个，使中文大模型能更好地产业智能化落地，加速大模型与产业融合。

随着大模型快速发展，其带来的真假难辨的“幻觉”和虚假信息难以检测等影响大模型落地的问题一直被人们关注。甲骨易在深入布局全球智能语言服务生态的同时，将全球多语言本地化能力平移到数据服务领域，成立甲骨易AI研究院（甲骨易AI Lab），推出中文大模型评测体系LucyEval，在全球业内率先发布基于中文多任务理解能力测试集，后续再次首发中文大模型多学科生成能力评测，开创性地将大模型成熟度评测维度从通识评测转向业务场景评测，通过深化对中文大模型的能力评测，帮助中文大模型提升全球竞争力。