担心您公司的 AI 道德?这些初创公司在这里提供帮助。

越来越多的”负责任的人工智能”企业生态系统有望帮助组织监控和修复其 AI 模型。

2021年1月15日
audit concept盖蒂

 

拉姆曼·乔杜里的工作曾经涉及大量的翻译。作为埃森哲咨询公司的”负责任的人工智能”负责人,她将与客户一起努力了解他们的人工智能模式。他们怎么知道模特们是否在做他们应该做的?这种混乱往往产生于公司的数据科学家、律师和高管似乎在说不同的语言。她的团队将充当”合作者”,以便各方能够在同一页上。至少可以说,这是低效的:审核单个模型可能需要几个月的时间。

 

因此,在2020年晚些时候,乔杜里离开了她的职位,开始自己的事业。它被称为奇偶校验AI,它为客户提供一组工具,试图将过程缩减到几个星期。它首先帮助他们确定他们希望如何审核他们的模型(是偏见还是法律合规),然后提供解决问题的建议。

奇偶校验是越来越多的初创公司之一,它们承诺组织如何开发、监控和修复其 AI 模型。它们提供一系列产品和服务,从偏置缓解工具到可解释性平台。最初,他们的大多数客户来自受到严格监管的行业,如金融和医疗保健。但是,对偏见、隐私和透明度问题的研究和媒体关注的增加已经改变了谈话的焦点。新客户往往只是担心责任心,而其他人则希望”未来证明”自己,以期待监管。

 

乔杜里说:”许多公司都是第一次真正面对这个问题。”他们几乎都在请求一些帮助。

 

从风险到影响

与新客户合作时,乔杜里避免使用”责任”一词。这个词太狡猾和定义不一;它给沟通不畅留下了太多的空间。相反,她开始用更熟悉的公司术语:风险理念。许多公司都有风险和合规部门,并建立了风险缓解流程。

 

AI 风险缓解也不例外。公司应该从考虑它所担心的不同的事情开始。这些可能包括法律风险、违法的可能性;组织风险,失去员工的可能性;或声誉风险,遭受公关灾难的可能性。从那里,它可以向后工作,以决定如何审核其人工智能系统。一家根据美国公平贷款法运营的金融公司,希望检查其贷款模式的偏差,以降低法律风险。一家远程医疗公司,其系统对敏感的医疗数据进行训练,可能会进行隐私审核,以降低声誉风险。

 

奇偶校验有助于组织此过程。该平台首先要求公司建立内部影响评估,实质上是一组关于其业务和 AI 系统如何运行的开放式调查问题。它可以选择编写自定义问题或从奇偶校验库中选择它们,该库包含 1,000 多个提示,这些提示改编自来自全球的 AI 道德准则和相关法规。评估完成后,我们鼓励整个公司的员工根据他们的工作职能和知识填写评估。然后,该平台通过自然语言处理模型运行其自由文本响应,并针对公司的关键领域进行翻译。换句话说,奇偶校验是让数据科学家和律师在同一页上获得新的选择。

 

接下来,平台建议一组相应的风险缓解操作。这些措施可能包括创建一个仪表板来持续监视模型的准确性,或实施新的文档过程,以跟踪模型在开发的每个阶段是如何训练和微调的。它还提供了一系列可能会有所帮助的开源框架和工具,如 IBM 的AI 公平 360用于偏见监控或Google 用于文档的模型卡。

 

乔杜里希望,如果公司能够减少审计模型的时间,他们将变得更加严格,定期和经常这样做。她希望,随着时间的推移,这也可以让他们在风险缓解之外进行思考。”我偷偷摸摸的目标是让更多的公司考虑影响,而不仅仅是风险,”她说。”风险是人们今天理解的语言,它是一种非常有价值的语言,但风险往往是反应和反应迅速的。影响更加主动,这实际上是更好的方法,以框架,它是应该做什么。

 

责任生态系统

虽然奇偶校验专注于风险管理,而另一家初创公司菲德尔则专注于解释性。CEO Krishna Gade 在担任 Facebook 新闻消息团队的工程经理期间,开始考虑在 AI 模型如何决策方面提高透明度。2016 年总统大选后,公司内部大做推动,以更好地了解其算法如何对内容进行排名。Gade的团队开发了一个内部工具,后来成为”为什么我看到这个?

之后不久,Gade 于 2018 年 10 月推出了菲德尔。它帮助数据科学团队跟踪其模型不断变化的绩效,并基于结果为业务主管创建高级报告。如果模型的精度随着时间的推移而下降,或者显示有偏差的行为,Fiddler 会帮助调试为什么会发生这种错误。Gade 将监视模型和改进可解释性视为更有意开发和部署 AI 的第一步。

 

Arthur成立于 2019 年,重量与偏置成立于 2017 年,是另外两家提供监控平台的公司。与菲德尔一样,Arthur强调可解释性和偏差缓解,而重量和偏差则跟踪机器学习实验,以提高研究的可重复性。这三家公司都观察到公司最关心的问题正在逐步转变,从法律合规或模范绩效转向道德和责任。

“我愤世嫉俗的一部分在开始的时候担心,我们会看到客户进来,以为他们可以通过将他们的品牌与负责 AI 的其他人联系起来来选中一个框,”阿瑟负责 AI 的副总裁 Liz O’Sullivan 说,他还担任一个维权组织监控技术监督项目的技术总监。但是,Arthur 的许多客户都寻求思考,而不仅仅是技术修复,以他们的治理结构和包容性设计方法。她说:”看到他们真的投入到做正确的事中,真是令人激动。

 

奥沙利文和乔杜里也都很高兴看到更多像他们这样的初创公司上线。奥沙利文说:”做负责任的人工智能,需要做一种工具或一件事。乔杜里同意:”这将是一个生态系统。

发表评论