什么是可解释AI? | 智能百科
随着人工智能(AI)变得越来越复杂并在社会上得到广泛采用,一组最关键的流程和方法是可解释AI,有时也称为XAI。
可解释AI可以定义为:
- 一组帮助人类用户理解和信任机器学习算法结果的过程和方法。
可猜到,这种可解释性是非常重要的。因为AI算法控制了许多领域,这带来了偏见、错误算法和其他问题的风险。通过可解释性实现透明度,世界可以真正利用人工智能的力量。
可解释AI,顾名思义,有助于描述一个AI模型、其影响和潜在的偏见。其还在描述模型的准确性、公平性、透明度和人工智能驱动决策过程的结果方面发挥着作用。
现今的AI驱动的组织应该始终采用可解释AI流程,以帮助在生产中建立对AI模型的信任和信心。在当今的人工智能环境中,可解释AI也是成为负责任的企业的关键。
由于如今的人工智能系统非常先进,人类通常会执行一个计算过程,以追溯算法是如何得到结果的。这个过程变成了一个“黑匣子”,意味着其是无法被理解的。当这些无法解释的模型直接从数据中开发出来时,没有人能理解其中发生了什么。
通过可解释AI来了解AI系统是如何运行的,开发者可以确保系统能够正常工作。其还可以帮助确保模型符合监管标准,并为模型提供挑战或更改的机会。
AI和XAI之间的差异
一些关键的差异有助于将“常规”AI与可解释AI区分开来,但最重要的是,XAI实现了特定的技术和方法,以帮助确保ML过程中的每个决策都是可跟踪和可解释的。相比之下,常规AI通常使用ML算法得到结果,但不可能完全理解算法是如何得到结果的。在常规AI的情况下,很难检查准确性,导致控制、问责和可审核性的丧失。
可解释AI的好处
任何希望采用可解释AI的组织都有很多好处,例如:
- 更快的结果:可解释AI使组织能够系统地监控和管理模型,以优化业务结果。可以持续地评估和改进模型性能,并微调模型开发。
- 降低风险:通过采用可解释的AI流程,可以确保AI模型是可解释的和透明的。可以管理法规、合规性、风险和其他需求,同时最大限度地减少手动检查的开销。所有这些也有助于减少意外偏见的风险。
- 建立信任:可解释AI有助于在生产AI中建立信任。AI模型可以迅速投入生产,可以保证可解释性,并且可以简化模型评估过程,并使其更加透明。
可解释AI技术
有一些XAI技术是所有组织都应该考虑的,有三种主要方法:预测准确、可追溯性和决策理解。
- 第一种方法是预测的准确性,是在日常操作中成功使用人工智能的关键。可以进行模拟,并将XAI输出与训练数据集中的结果进行比较,这有助于确定预测的准确性。实现这一点的一种比较流行的技术被称为本地可解释模型-无关解释(LIME),这是一种通过机器学习算法解释分类器预测的技术。
- 第二种方法是可追溯性,其通过限制决策的制定方式,以及为机器学习规则和特征建立更狭窄的范围来实现。最常见的可追溯性技术之一是DeepLIFT,即深度学习重要特征。DeepLIFT将每个神经元的激活与其参考神经元进行比较,同时演示每个激活神经元之间的可追溯链接。其还显示了彼此之间的依赖关系。
- 第三种方法是决策理解,与前两种方法不同,其是以人为中心的。决策理解包括教育组织,特别是与AI合作的团队,使他们能够理解AI如何以及为什么做出决策。这种方法对于在系统中建立信任至关重要。
可解释AI原则
为了更好地理解XAI及其原则,隶属于美国商务部的美国国家标准研究院(NIST)提供了可解释AI的四项原则的定义:
- AI系统应该为每个输出提供证据、支持或推理。
- AI系统应该给出用户能够理解的解释。
- 解释应该准确地反映系统用于达到其输出的过程。
- AI系统应该只在其设计的条件下运行,当其对结果缺乏足够的信心时,不应该提供输出。
这些原则可以进一步组织为:
- 有意义:为了实现有意义的原则,用户应该理解所提供的解释。这也意味着,在不同类型的用户使用AI算法的情况下,可能会有多种解释。例如,在自动驾驶汽车的情况下,一种解释可能是这样的……“人工智能把路上的塑料袋归类为石头,因此采取行动避免撞到它。”虽然这个例子适用于驱动程序,但对于希望纠正该问题的AI开发人员来说并不是很有用。在这种情况下,开发人员必须理解为什么会出现错误分类。
- 解释准确度:与输出准确度不同,解释准确度涉及AI算法准确解释其是如何达到输出的。例如,如果贷款批准算法根据申请的收入来解释决定,而实际上其是基于申请人的居住地,那么这个解释将是不准确的。
- 知识限制:AI的知识限制可以通过两种方式达到,其涉及到系统专业知识之外的输入。例如,如果构建一个系统来对鸟类种类进行分类,给予其一张“苹果”图片,其应该能够解释输入不是一只鸟。如果给系统一张模糊的图片,其应该能够报告其无法识别图像中的鸟,或者其识别具有非常低的置信度。
数据在可解释AI中的作用
可解释AI最重要的组成部分之一是数据。
根据Google的说法,关于数据和可解释AI,“一个AI系统最好通过底层的训练数据和训练过程,以及产生的AI模型来理解。”这种理解依赖于将经过训练的AI模型映射到用于训练其精确数据集的能力,以及密切检查数据的能力。
为了增强模型的可解释性,重要的是要注意训练数据。团队应该确定用于训练算法的数据的来源、获取数据的合法性和道德规范、数据中的任何潜在偏见,以及可以采取哪些措施来减轻任何偏见。
数据和XAI的另一个关键方面是,应该排除与系统无关的数据。为了实现这一点,不相关的数据必须不包含在训练集或输入数据中。
Google建议了一套实现可解释性和问责制的做法:
- 计划选择以追求可解释性
- 将可解释性视为用户体验的核心部分
- 设计可解释的模型
- 选择指标以反映最终目标和最终任务
- 了解训练过的模型
- 与模型用户沟通解释
- 进行大量测试,以确保AI系统按照预期工作
通过遵循这些推荐的做法,组织可以确保实现可解释AI。这对于当今环境中任何AI驱动的组织来说都是关键。
----------------------------
近期,由千家网主办的2022年第23届中国国际建筑智能化峰会将正式拉开帷幕,本届峰会主题为“数智赋能,碳索新未来”,届时将携手全球知名建筑智能化品牌及专家,共同分享AI、云计算、大数据、IoT、智慧城市、智能家居、智慧安防等热点话题与最新技术应用,并探讨如何打造“更低碳、更安全、更稳定、更开放”的行业生态,助力“双碳”目标的实现。
欢迎建筑智能化行业同仁报名参会,分享交流!
报名方式
上海站(11月23日):https://www.huodongxing.com/event/3638582473900
北京站(11月25日):https://www.huodongxing.com/event/4638577546900
广州站(12月08日):https://www.huodongxing.com/event/2638587914600
成都站(12月20日):https://www.huodongxing.com/event/5657854318600
西安站(12月22日):https://www.huodongxing.com/event/4638585444400
更多2022年峰会信息,详见峰会官网:http://summit.qianjia.com/
参与评论 (0)