上海软件中心“全栈式大模型检测系统”荣获首届上海市检验检测创新大赛三等奖

发布时间:2024-05-11 作者:上海科学院

近日,上海软件中心软件工程研究所(人工智能治理研究所)参赛作品“构建全栈式大模型检测系统,保障生成式人工智能系统质量”在第一届上海市检验检测行业创新大赛216项参赛作品中脱颖而出,经初赛的专家评审、复赛的现场汇报,最终进入决赛展演,并在决赛中获得三等奖。


图片5


本次创新大赛由上海市市场监督管理局主办,闵行区市场监督管理局、上海建科集团股份有限公司、上海市检验检测认证协会共同承办。大赛共有来自第三方检验检测机构、高校科研院所、企业实验室、仪器设备研发制造企业、实验室装备企业等168家单位踊跃参与。作品内容覆盖集成电路、生物医药、人工智能三大先导产业和电子信息、汽车、高端装备等重点产业。赛事历时5个月,经过3轮评选,最终产生一等奖1项、二等奖3项、三等奖6项和优胜奖10项。


图片6


全栈式大模型检测系统针对大模型应用落地中潜在的技术风险,提供大模型语言理解、知识常识、幻觉、合规性等多维度、智能高效的检测方案。首创基于开放问题的大模型自动化、智能化测评方法,构建“指标体系-测评规范-测试数据-智能工具-测评系统”全栈式大模型测评方案。

大模型检测系统不仅可支持基础模型及基于基础模型的各类领域大模型的第三方检测服务,还可赋能大模型研发、测试和运维团队,以低代码方式快速构建大模型测评能力,保障大模型应用的可靠、可信运行。

未来,上海软件中心将推进建设“上海市生成式人工智能质量检验检测中心(筹)”为契机,继续布局生成式人工智能应用、治理与测评技术研究、标准研制、工具研发,为上海乃至国内生成式人工智能行业提供专业的技术服务。