【中国金融案例中心 原文来源:MAS 编译:高雪馨】
金融机构越来越多地使用人工智能和数据分析(Artificial Intelligence and Data Analytics,简称AIDA)来提高运营效率、降低风险,并改善业务流程。然而,伴随着AIDA的广泛使用,可能会产生新的风险或放大原有风险。
新加坡金融监管局(Monetary Authority of Singapore,简称MAS)对所选定金融机构使用人工智能/机器学习(AI/ML)的情况进行了专题审查,并于2022年6月30日发布审查报告。报告重点介绍了相关金融机构为满足FEAT原则中的公平性目标而实施的政策和治理框架,以及这些机构在AI/ML实际使用中对公平性的治理效果。报告列出了MAS的建议、良好做法和从审查中观察到的例证。MAS表示,金融部门的创新应以良好治理和风险管理为基础,并以可持续战略为驱动。
本解读分为(上)、(下)两篇,本文为(上)篇,主要介绍了该次审查的背景、步骤及评估的范围与方法。
FEAT原则
2018年底,MAS与当地金融行业共同制定了公平、道德、问责和透明原则(Principles of Fairness, Ethics, Accountability and Transparency),即FEAT原则,希望能够以负责任的方式推动AIDA的部署与发展。为促进金融机构遵循FEAT原则,MAS与Veritas财团于2019年11月合作创建了一个名为Veritas的框架。Veritas旨在为金融机构提供一种可验证的方式,将FEAT原则融入他们的AIDA解决方案中。
在未来,Veritas财团将应用透明度评估方法对保险承保用例和支付用例进行完整FEAT评估。Veritas Toolkit还将推出公平性和透明度诊断工具的新版本,以及一个增强版的FEAT评估工具,与APIX的集成还将使得金融机构和金融科技公司能够拥有自己的Veritas Toolkit环境。在发展Veritas生态系统的过程中,该财团将研究定义规范和整理相关行业领域可以接受的实践方法,例如拒绝推断方法和公平度量阈值等,以支持金融机构遵守FEAT原则。
审查目标
2021年底,MAS对选定的银行和保险公司进行了专题审查,以了解其AI/ML的使用程度以及治理框架的成熟度,促进金融机构满足FEAT原则中公平性原则。其中,公平性原则包括合理性(F1、F2)以及精度与偏差(F3、F4):
F1:个人或群体不会因为AIDA驱动决策而在金融体系中处于不利地位,除非这些决策是合理的。
F2:使用个人属性作为AIDA驱动决策的输入因素是合理的。
F3:会定期对在AIDA驱动决策中使用的数据和模型进行审查和验证,以确保准确性,并尽量减少偏差。
F4:会定期审查基于AIDA得到的决策,以便模型能够按照设计和预期的方式运行。
这些原则为AIDA模型在设计和评估时如何实现公平性提供了指导,如果不重视这些公平性要求,AIDA模型可能会为社会带来意想不到的损失,并放大弱势群体在社会中的现有的劣势。例如,即使一名女性贷款申请者的信用评分大于或等于男性,但是一个没有考虑公平性的信用模型可能会导致向女性发放的贷款少于男性。此外,这种情况除了会对客户造成伤害,金融中介也有声誉受损的风险。
为了实现这些公平性目标,金融机构可以对AIDA驱动决策的重要性进行评估,然后在其内部治理框架下进行调整。类似于风险驱动模型,金融机构管理其AIDA驱动模型的流程如下:
(1)识别在评估范围内的AIDA驱动模型
(2)评估这些模型的风险和影响,以确定其重要性
(3)通过与模型所含风险相一致的校准方式进行公平性评估
尽管AI/ML具有巨大的潜力,但金融机构使用AI/ML模型进行决策的方式仍处于初级阶段,并且会对消费者产生直接影响。因此,虽然许多金融机构正在试验AI/ML的用例和概念验证,但并没有在实际决策中进行广泛应用。
MAS预计金融机构的风险管理和内部控制将与其风险状况和业务复杂性相适应。在AIDA的背景下,如果在决策过程中广泛使用或计划使用AIDA模型,金融机构应该建立健全的AIDA治理结构,并体现出该框架是否符合FEAT原则。同时,不广泛使用此类模型的金融机构可能也会相应地调整其风险管理流程。在AIDA模型的管理方面,一些金融机构利用现有的治理结构(如风险委员会),另一些则设立专门的委员会(如AI理事会)。无论采取何种方式,相关机构或委员会都应具有管理AIDA模式的专业知识和一定的权威水平。
评估范围
首先,金融机构需要构建框架来确定自身所使用的模型是否在公平性评估范围内,并且需要确保该框架足够全面,能够考虑到所有与AIDA相关的模型。对此,金融机构可以对需要进行评估的模型给出内部定义,该定义通常包括以下方面:
(1)模型是否使用AIDA
(2)模型是否投入实际使用
(3)模型是否影响客户、员工或金融机构
在建立FEAT原则评估框架时,金融机构要么用这些原则覆盖现有的框架,要么为它们建立单独的框架或治理结构。然而,在审查过程中发现对一些金融机构来说,所有监管模型均不在FEAT评估范围之内。但是,在确定模型是否在评估范围内的一个关键考虑因素应该是模型是否使用AIDA,而非模型的类型。由于监管模型也可以使用AIDA,金融机构应考虑这些模型是否应纳入重要性和FEAT评估范围,并将此考虑纳入其治理结构和流程。在AIDA模型使用不广泛的金融机构中,有些机构选择对所有模型进行重要性评估。但是如果机构使用的AIDA模型数量增加到一定程度,这种方法可能无法持续,因此有必要建立合理的范围框架。
评估模型的重要性
对于被纳入FEAT评估范围内的模型,金融机构应综合一系列因素对模型进行重要性评估,可考虑的因素包括且不仅限于AIDA在决策中使用的程度、AIDA模型的复杂性、AIDA驱动决策过程的自动化程度、对不同利益相关者的影响程度和影响概率、对货币和金融体系的影响以及对监管的影响等方面。
各个金融机构在其重要性框架中考虑的因素是不同的,有金融机构只使用两个因素–自动化程度和影响程度。换言之,对于该机构而言,只有高度自动化和具有较大影响力的模型才会受到更高程度的评估和管理。总体来说,金融机构应综合考虑一系列因素,并使用更灵活的标准对模型的重要性进行评估。
除了定性标准之外,一些金融机构还使用了定量参数,如在声誉受影响情况下的负面新闻报道持续时间和产生损失的概率等。虽然在量化这些参数时仍然需要进行估计,但拥有量化标准有助于在执行和验证评估的过程中协调不同利益相关者,从而实现更一致和全面的评估。作为对定性标准的补充,这些定量标准还能够在评估中提供更多视角。