Google 设计以用户为中心的机器学习七大技巧

原文：Human-Centered Machine Learning
作者：Josh Lovejoy 是 Google 研究和机器情报部门的 UX 设计师。工作涉及互动设计，机器学习和无意识偏见意识。主导了 Google 的机器学习的设计和策略；Jess Holbrook 是 Google 研究和机器情报部门的 UX 经理和 UX 研究员。他和他的团队工作涉及人工智能和机器学习的多种产品，采取以人为本的方法来处理这些技术。
翻译：聂震坤
审校：屠敏

---

设计面向用户的机器学习时需要注意的7点

如果你刚开始接触机器学习并且感觉有些无所适从，不要惊慌或者怀疑自己，给自己时间适应。此篇文章中指出了七个要点，来帮助设计师们更快的设计出关于机器学习的产品。基于在谷歌 UX 与 AI 部门的经验，这些要点可以帮助你时刻将用户放在第一位，并了解机器学习的独特魅力。

1. 机器学习无法发现需要解决的问题

很多公司和研发机构对于机器学期与人工智能的观点本末倒置–没有仔细思考什么问题才是最需要解决的，取而代之的是直接以机器学习作为一种解决方案开始制定策略。

对于纯粹的开发人员来说这种做法并无大碍。相反，这还能经常激发人们对新产品的思考。然而，如果解决方案不符合需求，开发人员便不得不建立一个非常强大的系统来解决一个非常小或者不存在的问题。

因此，优先了解用户的需求便是此文第一个要点。在开始研发以前，进行深入调查，接近用户，找出真正需要解决的问题与人们没有提出的隐性需求。机器学习无法弄清他需要解决什么问题，所有这一部分仍然需要由开发团队来定义。在 UXers，无论主流技术规范如何变化，我们已经有专业的工具来指导我们的团队。

2. 问问自己机器学习能否出色的解决问题

一旦确定了真正需要解决的问题，研发团队便应该开始思考机器学习能否以一个独特的方式解决问题。事实上，有很多常见的问题并不需要使用机器学习来解决。

现阶段产品研发部门的难点之一便是甄别出什么样的问题需要使用机器学习，什么样的问题使用了机器学习可以获得很大提升，什么样的问题使用了机器学习后并没有正面效果。很多的产品并不需要使用机器学习也可以给人一种智能的感觉。不要陷入只有机器学习才能解决问题的误区。

当有邮件中有附件或类似词组时，Gmail 会检查邮件有没有包含附件。这是启发式研发一个很好的例子，可以用低成本解决很多潜在的错误

我们创建了一系列的练习来帮助各种团队，使他们了解机器学习在他们使用时的定位。这些练习是通过深入了解与机器学习系统进行交互时可能给用户带来什么样的心理模型和期望的细节，以及该系统需要哪些数据。以下是三个例子：

描述理论上人类专家今天可能执行任务的方式。

如果人类专家要执行这个任务，你会如何回应他们，以便下次改进？对混淆矩阵的所有四个阶段进行此操作。

如果一个人普通人要执行这个任务，那么用户希望他们做出什么样的假设？

花费几分钟时间思考如上的每一个问题，揭露出人们将会对对机器学习产品进行的假设。以上方法同样适用于产品团队对用户研究进行讨论。稍后，在介绍定义标签和培训模型时，会再介绍此内容。

在经历过这些联系和额外的测试后，我们将所有团队的想法统计在了一个2X2图中。

在这个2x2图中绘制想法。团队投票表决哪个想法会对用户产生最大的影响，而机器学习解决方案将会最大限度地增强用户的影响力

此图能够将有影响力的想法与不那么有影响力的想法分开，并且看出哪些想法依赖于机器学习而不是或者可能仅仅从中受益。你应该已经在工程项目中进行过类似谈话。如果没有，那么这正是绝佳的时机让他们了解机器学习的现实与人们的想法。无论是最大用户影响力，还是机器学习的独特性（图的右上方）应该时刻成为团队注意的焦点。

3. 用个人示例与向导进行伪装

当前，机器学习的一大难点便是制造出一个原型机。如果您的产品的整体价值在于使用独特的用户数据来定制她的体验，那么您不能只是将其快速原型化，而是可以随时随地使用户获得代入感。另一方面，如果等待机器学习系统完全建立以后再进行测试设计，则有可能已经太晚了。不过有两种用户研究方法可以改善此类状况：使用使用者的个人示例和 Wizard of Oz 研究。

当在早期样机上进行用户研究时，让用户提供一些他们自己的信息。并且务必告诉用户在测试中使用它们数据的目的，并在测试结束后删除。

通过这些示例，可以模拟的正确和错误的系统响应。例如，可以模拟系统向用户返回错误的建议，以查看用户的反应以及对系统返回错误结果的假设。此类模拟可以比虚拟实例更有效地评估花费与收益。

第二种好用的测试尚未完成的机器学习方法是引用 Wizard of Oz 研究。因为不被接受，过去20年此研究一直没有受到重视。然而如今又渐渐回归公众视野。

聊天界面是使用 Wizard of Oz 测试最简单的方法之一。在聊天的另一端只需要一个队友就可以模仿 “AI” 输入“答案”

提示： Wizard of Oz 的参与者认为他们是在与一个自动的系统进行互动，但实际上通常是由另一个人进行控制（比如队友）。

队友模仿与机器学习系统行动，如聊天响应，建议联系人列表，或电影建议等可以模拟的与“智能”系统的交互。这些相互作用对于指导设计是至关重要的，因为当参与者认真地参与到他们认为是人工智能的系统进行互动的时候，他们自然会倾向于形成系统的心理模型，并根据这些模型来调整他们的行为。观察其与系统的适应性和二次相互作用对于启发设计是非常有价值的。

4. 了解好的错误与坏的错误的代价

正常的机器学习系统往往伴随着各种错误。因此，了解这些错误的样子以及对用户体验的影响是尤为重要的。在第二点中提到的混淆矩阵就是一个关键概念，他描述了当机器学习系统正确或错误时应有的样子。

混乱矩阵的四个状态及其对用户可能意味着什么

所有的错误，对于机器学习来说都一样重要，但是对于用户来说就不一样了。比如，在一个机器学习系统中加入一个“防捣乱”系统，然而这个系统错误的认为一个普通用户是来捣乱的。这对于系统来说只是一个普通的错误，它并没有冒犯用户或者用户的文化背景。系统并不知道使用该系统的人可能会被意外的标记为捣乱者，或者一个捣乱者被标记成了人。但这也许就是以人为本的弊端。

在机器学习领域，经常需要在系统的精确度和回收率之间进行有意识的权衡。换句话说，是包含所有的正确答案更重要，即使这意味着会添加进少数错误的答案；还是最大限度的减少错误的答案，但会漏过一些正确的答案更重要。例如，在谷歌中搜索“操场（ playground ）”，可能会出现这样的结果：

上图包含了几张小孩玩耍的图片，但是并不是在操场上。这种情况下，谷歌选择尽可能包含所有的正确答案，忽视少量的错误答案。

5. 与用户共同学习并适应用户

一个好的机器学习系统应当能够随着时间的推移与用户的心理模型一起演变。当人们与这些系统进行互动时，系统会影响和调整他们将来会看到的产出种类。这些调整反过来将改变用户如何与系统进行交互，然后改变系统，如此往复。但是这类系统也容易受到阴谋论的影响。人们给系统形成了错误或不完整的心理模型，并尝试根据这类虚拟规则控制输出信息的类型。

不断预测用户的下一个字是一个良性循环的过程，用户使用的越久，系统能给出的建议越精确

当用现有数据对机器学习进行训练，若遇到了无法预测的输入，系统会进行相应的调整。所以需要适应用户研究和反馈策略。这意味着在产品周期中进行纵向，高度接触以及广泛的研究。同时需要计划足够的时间通过定量测量准确性和错误来评估机器学习系统的性能。与用户一起使用这些系统来了解心理模型是如何随着成功或者失败进行演变的。此外，作为 UXers，我们需要考虑如何在整个产品生命周期中获得用户的反馈，以改进机器学习系统。设计一种可以简单快速获得用户反馈的交互模式是让机器学习系统更进一步的关键。

谷歌每次都会询问用户当先选项卡是否有用，以获得有关建议和反馈意见
人们可以对 Google 搜索自动填充提供反馈，比如此预测不合适6. 使用正确的标签来训练算法

标签是机器学习基础的一部分。有人的工作就是浏览大量的内容并给这些内容打上标签，回答类似于这张图是不是猫的问题。一旦获得了足够多的猫的图片，就可以使用这些数据来让机器识别出含有锚的图片。甚至在没有浏览图片的时候就能预测出这张图中有没有猫。

你可以通过这个测验吗

但是当训练更主观的模型例如建议用户回复重要的邮件时，挑战就来了。模型需要很长时间才能培训完成，并且获得一个完全标记的数据集可能会非常昂贵，更不要说错误的标签可能会对您的产品的可行性产生巨大的影响。
这是模型的工作原理：首先建立一个合理假设，这些假设可能会以这样的形式出现：“_使用者在_状况下，我们假设他想_，不想_”。然后尽可能快地将这些假设转化为最简单的原型，以便开始收集反馈和迭代。

寻找具有预测相关领域专业知识的人员成为机器学习的老师作为团队的后援，通常称这些人为内容专家。

到目前为止，开发人员那些假设使人感觉到真实。但是，在大型数据收集和标签开始投资之前，将需要使用由内容专家实际用户数据进行策划的示例来执行关键的第二轮验证是有必要的。用户应该测试一个高保真的原型，并认为他们正在与一个成熟的 AI 交互。（同第三点）

通过现场验证，让内容专家床创建一个大范围的手写示例来解释 AI 是如何工作的。这些例子可以提供数据收集的线路图，一套强大的标签培养模型，以及大规模设计标签协议的框架。

7. 扩展 UX 系列，机器学习是一个创造性过程

有很多潜在的方法可以应对任何机器学习挑战，因为一个 UXer，规范太快可能导致无意锚定，从而减少您的工程同行的创造力。相信他们自己的直觉，并鼓励他们进行实验。即使在完整的评估框架到位之前，他们可能会犹豫与用户进行测试。

机器学习是一个比我们普遍习惯的更有创造力和表现力的工程过程。培训一个模型可能进展缓慢慢，可视化的工具还不成熟，所以工程师最终在调整算法时需要经常使用他们的想象力（甚至有一种称为“主动学习”的方法，手工“调整”每次迭代后的模型）。但是在每次选择时，切记以用户为中心。

与工程，产品等部门合作，总结出正确的研发经验总结

以上为 Google 团队内部强调的七点。希望能在读者创建机器学习类产品时有所帮助。随着机器学习融入越来越多的产品，谨记开发者的责任，保持以人为中心，为用户寻求独特的价值，使每一次体验都力争完美。