导读
今天(4日)2024世界人工智能大会暨人工智能全球治理高级别会议在上海世博中心启幕。在“AI赋工业,数智启未来”人工智能赋能新型工业...
今天(4日)2024世界人工智能大会暨人工智能全球治理高级别会议在上海世博中心启幕。在“AI赋工业,数智启未来”人工智能赋能新型工业化主题论坛上,《中国AI大模型工业应用指数(2024年)》发布。
指数体系由大模型基础应用能力与行业应用能力构成。大模型基础应用能力包含文生文、图生文等领域的准确性、稳定性能力;大模型的行业应用能力包含民爆、电力、石化、钢铁、医药等重点行业大模型在研发设计、生产制造、运维管理等环节具体场景的应用有效程度。
经过多轮测评与专家研讨,在基础应用能力方面,率先发布中国AI大模型文生文准确性与稳定性指数,其中准确性指数反映了国内外头部AI大模型在工业领域文本生成的精准程度。总体上,国内大模型准确性指数为78,国际大模型准确性指数为76,国内顶级大模型在工业领域文本生成的准确性已具备竞争力;在行业知识层面,我国在多个行业如电力、建材、纺织的知识储备已经具备一定领先优势;细分能力层面,国内模型在语句能力和专业知识掌握上比国外模型更加优秀,在数理能力还有待提升。稳定性指数代表模型在一定外部扰动下持续给出正确回答的能力,反映模型在复杂环境下的鲁棒性。总体上,国内大模型稳定性指数为71分,低于国际的74分;在行业知识层面,电力和采矿等行业知识储备有待提升;在细分能力层面,国内大模型需要在顺序变换和逻辑扰动等领域需进一步加强。(央视新闻)
文章转载自:界面新闻网 非本站原创