美国2019《国家人工智能研发战略规划》--战略6:通过标准和基准测量和评估人工智能技术

节选于:

《THE NATIONAL ARTIFICIAL INTELLIGENCE RESEARCH AND DEVELOPMENT STRATEGIC PLAN: 2019 UPDATE》Strategy 6: Measure and Evaluate AI Technologies through Standards and Benchmarks

THE Report by the SELECT COMMITTEE ON ARTIFICIAL INTELLIGENCE of the NATIONAL SCIENCE & TECHNOLOGY COUNCIL

 

2019年《维护美国人工智能领导地位》的行政令明确提出“人工智能社区的标准、测试平台与采用对于指导和促进人工智能技术的研发极为重要。”国际标准化组织(ISO)和国际电工委员会(IEC)召集了一个关于人工智能联合技术小组委员会(JTC),其制定人工智能系统标准,开展学术研究。

 

同时,美国国家标准与技术研究院(NIST)参与人工智能分技术委员会(ISO/IEC JTC 1 SC 42)关于人工智能标准计划的工作。SC 42是负责研究制定人工智能国际标准的标准化组织,于2017年10月由ISO/IEC JTC 1全会批复成立,目前包括中国、加拿大、德国、法国、俄罗斯、英国、美国等18个全权成员国,以及澳大利亚、荷兰等5个观察成员国。注册专家336名,分委会下设5个工作组、1个研究组,已发布国际标准1项、技术报告2项、在研国际标准5项、在研技术报告5项。

 

制定广义的人工智能标准

 

如今AI领域正在快速扩张,需要加快对其标准的开发。标准提供可以一致使用的要求、规范、特性,确保人工智能技术满足功能性、互操作性、安全可靠性的关键目标。已经开发的AI相关标准的是由电气和电子工程师协会开发的IEEE 1872-2015 - IEEE Standard Ontologies for Robotics and Automation。该标准提供一个知识表示的系统方法和一组通用的定义与术语,为人工智能技术应用提供基础。

 

需要提出标准解决的方向:

 

  • 软件工程:管理系统的复杂性,维护,安全性以及监控控制紧急行为;

  • 性能:确保准确性、可靠性、鲁棒性、可访问性、可扩展性;

  • 标准度量:量化影响性能和符合标准的因素;

  • 安全性:评估系统的风险管理和危害分析,人机交互、控制系统和法规遵从性;解决信息的机密性、完整性和可用性;可用性:确保界面和空间的有效性、高效性和直观性;

  • 互操作性:通过标准和接口定义可互换的组件、数据和事务模型;

  • 隐私性:保护在处理、运输、存储时的信息;

  • 可追溯性:提供事件的记录(实施、测试与完成)以及数据管理;

  • 域:定义特定域的标准词典及其框架。

 

美国国家标准与技术研究院开发了一套全面的标准测试方法和相关的性能指标,用来评估应急响应机器人的关键功能。通过使用标准测试方法对不同机器人模型做出定量的比较。这些比较可以帮助开发人员了解部署功能。通过ASTM国际安全应用标准委员会标准E54.08.01对机器人操作设备进行标准化测试。另外,通过ARIAC、IEEE与NIST的共同努力,利用人工智能提高机器人的灵活性。

 

让AI社区参与标准测试

 

新兴AI技术主要来源于工业界和学术界,促进协调他们参加标准活动至关重要。分享技术架构,开发新兴标准,以及进行预竞争性测试确保产出高质量和可交互的解决方案,也为开发人员与用户创造大量的机会。

 

文本检索会议(TREC)由NIST于1992年启动,旨在提供大规模评估信息检索方法所需的基础设施。超过250个团队参见了TREC,其中包括大小学术和商业组织。TREC提出精心构建、广泛可用的数据集已被用于信息检索研究。

 

NIST定期基准程序,应用于生物识别技术的机器视觉领域,在面部识别方向尤其突出。该标准提供了面部照片的标准数据集,旨在支持人脸识别算法开发以及评估协议。这项标准已发展为全球人脸识别算法测试。

 

TREC和FRVT都可以作为邮箱的AI相关社区标准活动的例子。

 

翻译仅供参考