算法黑箱案例
A. 算法管理：组织管理转型、企业高效决策的制胜利器
以下文章来源于蜜蜂学堂
“小李，你本周的表现非常出色。您的销售额增长了70％，从而帮助你的团队在排行榜中取得第一的好成绩。但是你仍然有很多开放的机会，所以请继续努力哦！”
接收绩效反馈有助于员工成长，它鼓励学习并奖励良好的表现。 但是，如果是算法提供反馈而不是人，该怎么办？这就是组织中算法管理的基础。
什么是算法管理？
算法管理是通过算法对员工进行战略跟踪、评估和管理。组织通过算法接管了过去由管理者执行的任务。
这种管理创新在零工经济中尤为常见。 例如，Uber，Deliveroo和UpWork之类的平台使用算法来管理和密切监视其全球员工。
算法给员工分配任务并评估其绩效。他们还提供反馈和有关如何提高绩效的建议。
但是，使用算法管理员工慢慢地不再局限于零工经济。传统组织越来越发现提高效率和以数据为依据的决策的好处。
大数据和自动化已成为大多数业务部门变革的首要方向，而人力资源部门也将其重点放在了数据驱动的决策上。
人力资源中使用的算法可以提高效率，甚至胜过人类的决策制定。 实际上，根据普华永道的研究报告，跨国公司中已有40％的人力资源部门使用基于AI的工具 （相关报告可以私聊我获取）。
例如，算法的使用在员工选拔中变得非常普遍，该算法被用于简历筛选，使求职者与职位匹配之中。
他们正在通过自然语言处理来分析视频面试中的面部表情或申请人的书面申请中所体现的动机。此外，算法还向员工和经理提供关于绩效方面的反馈。
随着算法在组织决策中的影响力越来越大，这样就容易导致一个问题：利用算法的决策是否具备相应的客观性和准确性？
像其它辅助决策的技术一样，算法决策也是一把双刃剑，它会带来一系列的挑战。
• 求职者会如何看待一家通过机器自动完成部分面试和人员选拔过程的公司？
• 员工对自动绩效反馈有何反应（反馈不再来源于直接上级）？员工在多大程度上会接受这类反馈？
• 管理者在多大程度上会依赖算法做出的决策？
事实是：实施算法会改变组织和人际关系的动态。 因此，必须仔细研究算法管理的优势和挑战，并搞清楚组织实现算法管理的最佳做法。
我们将在下面详细讨论在您的组织中实施算法管理的建议。
01
组织实施算法管理的三大优势
1.启动组织绩效
提高生产率和工作效率是算法管理的最重要优势之一。例如，一个小时内，比较算法与一个招聘人员可以扫描的简历数？
结果是：算法基本能把人类招聘者按在地上摩擦，两者之间的差异巨大，这样可以帮助公司在人才竞争中保持领先地位。
将手动的任务转变为自动化，将为管理人员腾出更多的时间和资源，以专注于有更高战略影响力的任务，从而帮助提高组织绩效。 未能将分析和人工智能集成到其战略事务中的公司将面临落后他人的风险。
欧莱雅集团，是一间总部位于法国巴黎的皮肤护理、化妆品公司，在全球拥有80000名员工，每个职位空缺平均会收到130份职位申请。
欧莱雅每年开放约15000个职位，需要处理近百万份申请，因此其开始尝试利用AI技术帮助招聘人员摆脱令人头痛的简历筛选工作。
Mya是一款聊天机器人，它能够处理候选人提出的问题，从而在招聘早期帮助欧莱雅节约大量宝贵的时间。 此外，它还能够检查各项重要细节，例如求职者是否尚未找到工作，以及签证的当前状态等。
接下来，求职者需要面对Seedlink，这款AI软件负责评估他们在开放式面试问题中给出的答案。 这款工具能够找到在简历评审过程中被忽略的求职者。
该公司招聘人员表示，在一次从12000名候选人中选出80名实习生的过程中，该软件帮助他们节约了200个小时的工作时间。AI技术帮助欧莱雅能够更快地招聘10倍的员工，并增加25％的求职者面试机会。
2.改善管理决策和远程管理
近年来，基于证据和数据驱动的决策已变得越来越普遍。算法可以帮助处理管理者每天面对的日益复杂的问题。算法系统的数据处理能力远远超出了人类的能力范围。
他们可以考虑所有相关数据并排除不相关因素。这样就可以进行客观、公正、数据驱动的决策。而且，它可以减少决策过程中的偏见。
例如，认知偏见可能会导致零售商相信需要对其员工进行不稳定的安排。零售中不稳定的安排是指零售商通过工作计划的变化来减少人工成本。
许多零售商认为这种类型的计划是有效的，因为他们看到了直接的短期收益（例如削减工资），却忽略了长期的负面影响（例如对客户服务的影响）。
在这里，可以根据客户流量和其他数据预测人员需求的算法开始发挥作用。 研究表明，“将算法与管理者的直觉相结合可以导致更好的人员配置决策”。
算法对于远程办公也可能是有益的。劳动力将变得越来越分散，在某种程度上，远程和混合办公将成为常态。
这可能给员工带来巨大的好处。但是，管理人员可能很难跟上员工的进度和绩效。 绩效监控算法可能是成功进行远程管理的重要工具。
3.接收个性化的见解和反馈
算法管理不仅为管理人员带来好处，而且为员工带来好处。算法可以提供个性化的绩效反馈。
Deliveroo向其快递员发送个性化的月度绩效报告。 他们获得有关其平均“接受订单时间”，“到餐厅的路程时长”，“到客户处的路程时间”以及算法跟踪的其他指标的信息。
算法可以洞察员工的工作进度、待办事项和开展的项目。它们还用于改善员工的福祉。 这种算法分析员工的需求和目标，并推荐培训和发展计划。
算法还可以跟踪和评估对员工的福祉和动力最重要的因素，在此基础上，他们可以就如何提高员工福利向管理人员提供建议。
02
组织运用算法管理的三个最重要的挑战
1. 关于算法管理的伦理问题
除了算法管理的好处之外，还有几个重要的伦理问题。
算法的主要目标是改进决策，使决策更加客观公正。然而，情况可能恰恰相反，由于算法可以消除或减少决策过程中的人工干预，因此，人们可能认为算法是不公平的。
主要的关注点是算法所依据的数据。在样本数据上训练算法来预测事件并做出决策，因此，数据的质量是一个重要的因素。
例如，一个组织可以训练一种关于历史人才数据的算法，在这些数据中，很少有女性担任管理职位，然后，该算法可能会做出预测：女性在公司管理岗位上取得成功的可能性较低。因此，女性可能被排除在组织的人才管理计划之外。
算法通常是在“黑箱”中操作，它们并不透明，而且算法的工作精度通常也不清楚。这可能会对算法的信任度提出挑战，并为算法的决策提出问责性问题。
美国一些州已经在研究算法和人工智能在招聘中的使用，以及如何确保它们的公平性和透明度。
纽约州正在立法，要求招聘技术供应商进行反偏见审计，并确保遵守就业歧视法。
伊利诺伊州颁布了 《人工智能视频面试法》 (AI Video Interview Act)，对使用人工智能分析应聘者视频面试的公司施加了限制。
利用算法管理不是一个是或否的问题。通常，只有部分决策是自动化的。 因此，公平和责任问题取决于公司在多大程度上依赖算法决策。
真正的问题是：算法的作用是增强还是完全自动化？你是用算法来给你提供建议，还是用它来代替人类决策，这都是有区别的。
2. 算法管理挑战管理者和人力资源的角色
算法管理减少或取代了不同流程中的人工参与和交互。这对管理者和人力资源构成了挑战。当个人和同理心的一面消失后，员工管理会发生怎样的变化?
管理者和人力资源从业者都需要适应算法管理带来的新动态，他们需要新的技能和能力，为负责任地使用算法做准备。
管理者和人力资源管理者也需要采用(潜在的)员工的观点。例如，当候选人不相信算法能看出自己有多独特时，招聘中使用的算法可能会出现问题。
那么，管理者和人力资源部门如何面对算法管理运用后，带来的自动化程度的提高和人际交往的减少呢?
他们如何成功地创造数据驱动文化的变革呢?所有这些都是人力资源和管理人员必须找到答案的问题。
3.算法管理对员工福利的风险
算法管理也可能对员工的福祉构成风险。一些人将实时行为跟踪、反馈和评估与泰勒主义的监视进行了比较，算法管理可以被视为对员工的一种侵入式控制形式。
这似乎也与赋予员工更多自主权、灵活工作和时间表的趋势相冲突。公司必须密切关注员工对引入算法管理的反应。
一些员工可能认为这是对他们心理安全和自主的威胁，这样导致的结果是，由于引入算法管理，员工的幸福感可能会下降。
例如，一家国际连锁酒店使用软件工具来管理客房服务员。他们需要不断更新下一个要打扫的房间，该公司还能跟踪他们打扫一个房间需要多长时间。
然而，工作人员指出，该算法没有考虑到他们工作的细微差别，使工作变得更加困难。 他们变得无法安排自己的一天，工作也变得更吃力，因为算法“指挥着”他们“在酒店各个楼层里拼命的跑来跑去”。
03
实施算法管理的建议
好消息是：在减少算法管理挑战的同时，也有可能获得算法管理的好处。 以下策略可以帮助管理者负责任地在组织中实施算法管理。
1. 战略
首先，确定算法管理的使用程度是至关重要的。Gig平台完全依赖算法管理，但对于更传统的公司来说，这可能不是正确的解决方案。
因此，这不是非此即彼的问题，而是在哪里、在什么程度上的问题。
公司可以找出成本高且相对标准化的流程，并从那里开始。在那里，你可以期待算法管理能获得最大的收益。
在任何情况下，将算法集成到业务和决策过程中都需要一个明确的战略：确定它们是增强还是自动化人类决策。
2. 变革管理
在实施算法管理时，考虑员工的福祉也很重要。在组织中引入算法是一个实质性的转变，变革管理的视角可能会很有帮助，主动的变革管理是引入算法的决定性因素。
你需要确保已经做好变革的准备。通过帮助你的员工和经理理解算法所增加的价值，可以让他们准备好迎接变革。
人们也可能对算法管理的引入感到威胁。这可能是由于缺少关于算法管理的广泛且深入的交流。
同样，员工可能会担心机器正在取代他们，为了克服这一点，在变革过程的早期就把员工和管理者纳入进来是很重要的。建立开放的沟通渠道有助于解决人们所关心的问题。
这包括主动沟通数据的用途以及谁对算法决策负责。它可以防止员工或管理者感到自己被蒙在鼓里。
沟通和变革管理应该与培训齐头并进。培训可以让人们轻松地处理与算法的关系，并移交决策。
如果人们不了解算法是如何工作的，他们可能不想使用它。培训员工和管理人员使用算法所需的技能和能力是至关重要的。
3.不断评估
最后，公司需要采用一种持续评估的文化。跟踪算法的执行情况的必要性。只有当决策是准确的、高质量的，人们才会接受算法带来的附加值。
并不是每一种算法都能提高效率，所以监控其质量是很重要的。 这一变化对员工的影响也需要跟踪，组织可以为员工提供表达关切和提供反馈的机会，特别是那些由算法管理的员工。这为组织调整和改进算法管理提供了有价值的信息。
算法管理的好处以及它如何帮助企业在竞争中保持领先地位是显而易见的。
算法不仅能提高效率，还能增强决策能力。不过，这不应该以牺牲员工福祉为代价。
自动化执行的任务(比如提供反馈)代表了一个巨大的变化，但我们对把这种变化转变成积极和可持续的事情具有主动权，管理者和人力资源需要在创造变革准备方面发挥重要作用。
没有一刀切的方法，每个组织都需要仔细评估算法的引入给他们带来的好处和挑战。
本文提出的策略可以帮助指导组织完成这一转变。算法管理的前景是巨大的。然而，有必要始终关注组织所拥有的最有价值的资产： 我们的员工。
了解更多： 方云数字化创新绩效，数据智能驱动创新型增长
B. 可解释AI，如何打开算法的黑箱
随着以机器学习为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的方向发展，我们的经济和 社会 发展都纷纷迎来了变革性的机遇。但与此同时，AI算法的透明度、可解释性问题也为公众信任、公共安全等诸多领域带来了前所未有的挑战。
1月11日 14日，“腾讯 科技 向善创新周”在线上举办。“透明可解释AI——打开黑箱的理念与实践”专题论坛即聚焦于此。论坛发布了《可解释AI发展报告2022》，随后由专家学者（见文末）共同参与了圆桌讨论。以下为整理文章：
可解释AI的概念共识
姚新：
大家在讨论AI算法的透明性和可解释性的时候，首先应该考虑三个W的问题——Who，What和Why的问题。
首先，到底是对谁讲透明和可解释？因为从科学研究来说，任何一个研究都必须透明，都必须可解释，否则这个论文是发不出来的。所以我猜过去讲透明性和可解释性，可能不是对科学家来说的可解释性或者透明性，因为对科学家的透明性和可解释性，不一定对大众透明和可解释。第二是解释什么？解释模型做出来的结果还是解释这个模型的工作原理。第三，解释总是有一个目的，目的是要追责还是理解这个模型的科学原理。
根据对这三个W不同的答案，会得出非常不一样的透明性和可解释性，相应的解决办法可能也完全不一样。不管怎样，考虑透明性和可解释性的时候，首先大家要有一个概念上的共识，使得我们知道我们是讲同样一件事情，而不是用了同样一个名词，大家在不同的抽象层次讲不同的问题。
吴保元：
可解释是可信AI的重要组成部分，是可信的前提条件之一，但是相比于鲁棒性、公平性等可信特性，我觉得可解释不是独立存在的概念。就是姚老师刚才提到的，我们到底在解释什么？其他的特性都是有自己明确的数学定义，比如鲁棒性、公平性等，但是可解释性是没有的，因为我们单独提到它的时候，背后默认的更可能是对模型准确度的可解释性。或许这也可以解释为什么当前的可解释研究思路这么多，但是好像没有一个明确的框架，我觉得最主要的原因是它的解释对象不一样，没有办法统一到一起。
基于这种理解，我个人有一点小的想法，不应该把它称为可解释性，把它称为可解释力或许更准确。可解释性，大家可能误认为它是一种独立存在的性质；可解释力是一种可解释的能力，就像我们说的理解力、领导力等等，它是一种手段，一种行为，一种操作存在，需要跟别的绑在一起。我觉得以后提到它的时候，应该准确地描述它是针对什么特性的可解释力，而不是笼统地说可解释性如何。
可解释AI的价值何在？
朱菁：
人们对于人工智能系统可解释性、透明性的要求，大致有四个层次：
第一个针对的是直接用户，用户需要了解人工智能产品、服务背后的原理是什么，这是建立可信任AI的重要基础。可解释AI，实际上支撑了可信任AI。
第二个层次，对于政策和监管部门，他们希望通过解释原理来了解人工智能产品的公平性、可问责性，归因的过程是我们进一步问责、追究责任的基础。所以，可解释AI也与负责任的AI、可问责的AI是联系在一起的。
第三个层次就是技术工程与科学层次，我们希望了解为什么某些算法能够成功，它成功背后的奥秘是什么，它的应用范围是什么，它能否在更大的范围内使用这样一些算法或者是一些技术。
第四个是公众理解AI，如果 社会 大众大多数关心的话，他也能够在这方面了解相应的技术、系统大体的工作原理方式是什么。
何凤翔：
在现在的AI系统中，其实很多算法背后运作机制是未知的，是不清楚的，这种未知带来了未知的、难以管理的风险，包括安全性、鲁棒性、隐私保护、公平性等等。
这些点关系到了 社会 运转中非常关键、人命关天的领域，比如医疗、自动驾驶。这会带来很大的应用方面的困难，以及 社会 对AI的不信任。因为当AI算法运作机制是未知的时候，它的风险机制、风险大小、风险尺度就是未知的，我们就难以去管理风险，进而去控制风险。
可解释AI的挑战何在？
姚新：
原来我一个学生跟我做了一点关于公平性的工作，跟其他的文献发现的点非常一致，就是说模型的准确性和公平性之间是相互矛盾的。性能最好的模型从公平性的角度来说，按指标来测量不见得最好，你要把模型做得都是最公平，用指标来衡量的话，它的性能就会受到损失。实际上可解释性非常类似现在有各版的可解释性指标，但是要真正考虑这些指标的话，模型的性能总是会掉下来，要考虑在实际过程中怎么来找一个折中的方案。
吴保元：
针对可解释性本身的不可行、不可取，这也是值得我们思考的问题。比如说我们在研究犯罪率或者说疾病的传播率、发病率等，如果我们就拿现成的统计数据，比如在不同种族、不同地域采集的数据，很有可能会得出来某些种族或者某些地域犯罪率很高，这是因为数据采集的时候就是这样的。这样一来，如果可解释给出的类似结论被公开，可能会造成种族或者地域歧视。但实际上数据背后是我们在采集的时候没有采集其他特性，比如说为什么这个地域的传播率很高呢？很有可能是政府投入不足，或者说其他的因素。
所以这也启发我们可解释性本身它的可信性是什么，它的准确性，它的公平性，它是否忽略了某些特征，或者夸大了某些特征，它的鲁棒性，是不是把样本变化一点，它的可解释性截然相反，这些需要我们进一步思考。
另外，我跟很多研究可解释的专家聊过，他们的困惑在于现在的可解释性方法是不可印证的，甚至是矛盾的，这就引出了可解释性方法本身的可信度的问题。
何凤翔：
在我看来，理解深度学习算法的运作机制，大致有理论和实践两条路径。在理论方面，当前的研究无法完全解释理论上泛化性较差的深度模型为何能在多领域取得如此的成功。这种理论与实践的矛盾，就像曾经物理学中的乌云一样，反映出来了人们对于机器学习理解的缺失，而这是现在在理论上提升算法可解释性的一个难点。
而在实验角度上，很多实验学科中的做法可以作为对于机器学习研究的启发，比如说物理学、化学，以及刚才提到的医疗。比如说药物研发流程中的合格检验，要做双盲实验；在物理学、化学的研究中，对控制变量实验有严格要求。类似的机制是否能在AI研究中严格执行呢？我觉得这可能是另外一条路径。在我看来，现有的很多对于AI算法的解释是启发式的，而在关键领域中我们需要的是证据，这需要在理论和实验两方面做很多工作。
可解释AI如何实现？
朱菁：
前面很多专家都指出对于解释有不同的目标，不同的对象，不同的要求，所以实际上关于人工智能的可解释性问题可能是属于多元性的，就是要允许有多种不同层次不同方式的解释在这里面起作用，针对不同的领域、不同的对象，使用不同解释的方式。
当可解释性有它的局限或者和其他的目标、要求，需要做出权衡取舍的时候，我们想也可以从多个层面来进行替代性的，或者说是补偿性、补充性的策略。比方说针对监管部门，它对于可解释性的要求，和面向公众或者专家层面的，会有所不同，所以这个可以通过若干个层次，比如说监管部门的，行业的，市场的，以及传播普及层面的，对于安全性、鲁棒性要求更高一些，或者在专家层面上有更好的沟通理解，而对于 社会 公众而言，这里面就需要有一些转换，同时有需要一些权威部门，有公信力的部门，向 社会 做一些说明和认定。
姚新：
深度神经网络可以解决特别复杂的问题，我觉得现在大家用深度网络有一个原因，即所针对的问题本身可能就比较复杂。这是一个假设。假如这个假设是对的话，那么相应的可解释性不会特别好理解。因为需要对付这些复杂性，相应的模型就必然是要复杂。
所以我总觉得透明性、可解释性和性能之间是有一个固有的矛盾，如果现在把从技术上讨论的方向，是怎么找一个折中方案，根据不同的场景、可解释的目的，找不同折中方案，这样导致有可能会出来一些比较具体的技术，或者可以促进这些技术往落地的方向走。
吴保元：
我们尝试过一些从技术上可行的方案去量化各种可信特性，但是，要实现统一量化很困难，比如说公平性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单组合到一起的时候很难优化，因为它们的准则是高度不对齐的，差异非常大，这就涉及怎么去对齐这些特性坐标。我认为想要找到一个全局坐标系是非常困难的。我们可以从局部出发，针对某种场景，比如医疗场景，首先把隐私性当做前提，在金融或者自动驾驶，我们把鲁棒性当做前提，然后再去研究其他特性，或许一步一步能够找到这种坐标系。
可解释AI的技术现状？
郑冶枫：
总体来说，因为我们现在还缺乏非常好的理论框架，所以可能针对问题，我们创造性地想一些算法，试图提高本身这个系统的可解释性，给大家举两个例子来说明一下我们天衍实验室在这方面的 探索 。
深度学习可能有千亿、万亿的参数，这对于医生来说太复杂了，他很难理解这个算法的底层原理，算法本身可能缺乏一个全局的可解释性。但是深度学习框架准确率非常高，所以我们不可能不用。而可解释性非常好的模型就是回归模型，这类模型主要的问题就是准确率太低。所以我们做了一个 探索 ，我们希望把这两个模型结合起来，它具有非常高的准确率，还有一定的可解释性，不是完全可解释性。
我们把这个混合模型用于疾病风险预测，就是根据病人历次的就诊记录，我们预测病人在未来6个月之内得某个重大疾病的概率，比如他得卒中的概率。病人每一次的就诊记录包含大量信息，这里面我们需要提取一些跟预测目标相关的重要信息，我们知道生物学习网络最擅长的就是自动特征学习。所以我们利用深度学习网络把一次就诊记录压缩成一个特征的向量，接着我们利用回归模型，把病人多次就诊记录综合起来预测未来6个月之内这个病人得脑卒中的风险。
杨强：
我们在审视各个算法和它对应的可解释性的关联问题上，发现一个有趣的现象，比方说在机器学习里面，深度学习就是属于效率非常高的，但是它却对应的可解释性很差。同样，线性模型没有那么高，但是它的可解释性相对强一些，树状模型也是，因果模型更是这样。所以往往我们确实得做一个取舍，就是我们在可解释这个维度和高效率这个维度，在这个空间里面选择哪一个点，现在并没有在两个维度都高的这样一个算法。
可解释AI的行业实践
郑冶枫：
各行业对可解释性和透明性的要求不同，我结合医疗AI这个场景给大家分享一下我的体会和理解。大家知道医疗在全世界范围内都是被强监管的领域，一款医疗产品要上市必须拿到医疗器械注册证，辅助诊断算法AI产品属于三类医疗医疗，也就是监管最严格的级别，所以我们要披露的信息很多，大致包括数据集和临床算法验证两方面。前者主要强调数据集的公平多样性和广泛覆盖性，后者则重视披露我们的算法真正在临床试验中、真正临床应用的时候它的性能。
此外，我们的测试样本也需要有很好的多样性，覆盖不同医院，不同区域，不同病人群体、厂商、扫描参数等等。临床实验更加严格，首先我们要固化算法的代码，在临床试验期间是不能改代码的，因为你不能一边做实验一边改代码，这就失去了临床试验的意义。
所以医疗AI的监管是非常强的，药监局需要我们披露很多信息，提高医疗AI产品的透明性，它有非常严格甚至苛刻的书面要求。因为我们知道智能学习网络天然不具有很好的解释性，虽然你可以做一些中间增强，可以一定程度上改善这些事情，监管也可以理解这个解释性差一点，正因为解释性差，要求的透明性就越高。
何凤翔：
我觉得提供AI系统的说明书有两个路径：第一个路径从生成AI系统的过程出发。这一点现在有一些实践，比如开源代码，说明使用了什么数据，数据是如何使用的、如何预处理的。这会提升人们对AI的信任和理解，这也像刚才郑老师提到，申请医疗相关的资质的时候，我们需要把生产细节汇报给相关机构。
第二种方式就是从生成的AI系统所做出的预测以及决策的指标来入手做算法的说明书。比方对AI系统做一些测评。对于刚才我们提到的指标，包括可解释性、鲁棒性、准确性、隐私保护、公平性，找到一些比较好的量化指标、找到一些评测算法，把这些指标作为AI系统的使用说明书。
可解释AI的未来发展
杨强：我期待在未来人工智能的治理，在人工智能，人和机器这种和谐共存，共同解决我们要解决问题的前提下，会越来越成熟。我是非常看好这个领域的。
朱菁：我期待这个领域进一步的探讨，不同领域的学者都能够参与进来。比如说像我自己做的主要是哲学， 科技 哲学。在 科技 哲学，实际上对于解释有将近一百年的积累和 探索 ，这里面应该有很多可以发掘借鉴的资源，参与到目前这样一个很有意思很有挑战性的话题里面。
何凤翔：AI本身是一个跨学科领域，它可能会用到很多数学、统计、物理、计算机等各个知识的领域，今天提到的很多点，包括隐私保护、公平性，很多也是来源于人文学科、法律、 社会 学这些方面。所以这就意味着研究可信AI以及可解释性等等方面会需要各个学科领域的人合作起来一起去做的一件事情，会非常需要大家的通力合作，共同推进这个领域的发展。
姚新：对于做研究来说，我希望将来可以有一点聚焦的讨论。我刚才讲的3W，到底我们要解决透明性、可解释性的哪一部分，对谁而言。假如对医疗而言，是对法规的制定者来说还是对医生来说，还是对病人来说，还是对这个系统的开发者来说？我觉得在这里面有非常多可以发挥自己的想象力和能力的地方。
郑冶枫：对算法人员来说，当然我们希望将来科学家们找到非常好的，具有良好可解释性，同时准确性非常高的算法，真正做到鱼和熊掌兼得。
C. 强化超大互联网平台个人信息保护义务，信息化管理如何实现
据媒体报道，2021年4月26日第13届全国人大常委会第28次会议在京开幕，其中提出了草案二审稿，规定将强化超大型互联网平台的个人信息保护义务并加强监督。此消息在社交平台上发酵后，引起了网民们的广泛关注与讨论。
部分网民们认为随着互联网的发展，实际上技术赋权也造就了一种技术特权阶层，应该对他们的特权进行规范；也有部分网民们认为，该如何去规范这些社交平台呢？在当前实现信息化管理是一个棘手的问题，而如何进行信息化管理使得各大平台保持其公序良俗呢，笔者有以下的看法。
一、政府规范平台的算法黑箱
互联网行业中，各大企业虽然是私企，但是因为它们的规模很大，所以它们也必须要承担起社会责任。当前的人们是生活在现实生活之中，当然也是生活在网络之中，而互联网平台作为网络场域的营造者和建构者，它们必须要做到自律，必须要对自身所营造的网络环境进行负责，这也是社会所赋予他们的责任。
四、公民进行监督因为互联网平台对于个人信息的窃取实际上已经侵犯到了公民的隐私权，因此公民们应该对此行为进行监督，在强大的监督之下，会使得互联网平台去规避此类违规行为。
D. 滴滴将公开每笔订单抽成，你知道抽成比例是多少吗
据媒体报道，2021年5月26日，网约车CEO孙枢在写给司机师傅的公开信中称，滴滴目前极端抽成订单比例已由去年的2.7%降低到0.03%，下一步会让这个数字继续下降，甚至完全杜绝。此番言论在社交平台上发酵后，引起了众多网民们的关注与评论。
部分网民认为滴滴目前只在着眼于努力提升优化客户的体验，但是对于自身的网约车来说，滴滴则一直在压榨他们的剩余价值；也有部分网民认为，在当前以算法为基础的平台系统使得包括滴滴司机在内的众多职业被技术所异化，而现在滴滴的每笔订单抽成将会由2.7%降至0.03%。而笔者将针对此讲讲自己的看法。
一、大型企业的运营要以人本逻辑作为底层逻辑
最后笔者认为，针对于目前所存在的算法黑箱，有关部门应该介入，积极去规避算法黑箱，当前大数据技术的崛起已经使得技术阶层被赋予了权力，然而要谨防在发达工业社会中，技术对人所造成的异化。
E. 智能手环的监测“黑箱”：用户心率谁说了算
前言
在2021年，随时掌握自己的心率，并不是一件很困难的事。
6月25日，苹果旗下的Apple Watch终于拿到了拿到国药监局心电图、房颤监测医疗器械上市批准。实际上在2018年，苹果的Apple Watch Series 4就已经有了心电图检测功能。只不过由于心电图属于医疗器械功能，苹果当初没能通过认证，无奈“锁区”中国。
入局国内可穿戴设备 健康 领域的，不光有姗姗来迟的苹果。国外厂商有Fitbit，国内厂商有华为、华米。这些厂家目前的智能手表、手环产品都可以进行心率、血氧等数据的监测，甚至在未来还可能“不扎针测血糖”。
厂商能够如此发力，也是因为相关领域市可观：据市场统计数据显示，到2025年，医疗可穿戴设备市场价值将超过480亿美元。
听起来，“ 健康 手环”的市场红红火火。然而戴上手环监测心率的消费者，可能并没有考虑过一个问题：数据的主导权，到底在谁手里？
01 同样心率，不同的数据
问题的起源，源自一次统计学研究。负责研究的，是哈佛大学公共卫生学院副教授JP Onnela。
在学术领域，他一般不会引入Apple Watch这类消费级产品，而是用实验室设备做研究。不过他最近与一家医院合作研究，使用了Apple Watch收集数据。
他因此对“心率手环”产生了兴趣：不管是厂家还是研究者，大家都知道设备收集的数据有问题。他和团队也想看看，数据问题究竟有多大。
研究团队收集了2018年底到2020年9月的心率数据，并且把数据通过 Apple Watch导出：第一次是2020年9月，第二次是2021年4月。也就是说，既然原始数据没变，Apple Watch处理数据没问题，两次的数据处理结果应该很接近。
然而实验的结果，却让人大跌眼镜：在原始心率不变的前提下，两次数据的重合度并没有那么高。黄色曲线和蓝色曲线“各玩各的”，根本看不出是同一个人的心率。
如果从数据离散程度来看，其中一组数据比较扎堆，还算是“联系紧密”。另一组数据则到处都是，“放飞自我”。两组数据放到一起，几乎没有什么关联性。
根据Onnela自己博客的说法，“两组数据的结果，可能是这类偏差中最明显的代表”。
02 你的心率，算法说了算？
同一组心率，同一个Apple Watch，输出结果为啥差异这么大？答案很简单，算法。
在传统的心率测量中，收集数据很简单：患者贴上电极，设备导出心电图。心电图的结果，就是未经处理的原始数据。没有算法，没有AI。测出什么结果，就是什么结果。
可是到了手环这里，规则就变了：智能手环测量之后，并不会立刻导出，而是进行算法的分析和过滤。研究人员接触的，就是被“优化”的数据，跟实际心率相比，就会产生偏差。
单纯的“优化”，还不是问题全部。分析的算法，也会被“优化”成“一天一个样”：在之前提到的研究中，Onnela就表示，可穿戴设备算法就是“黑匣子”：设备厂商只知道定期更新算法，然而研究人员根本不知道算法怎么统计数据。导致输出结果缺乏可比性。
现有的结果加上可能的担忧，让Onnela在后续研究中，已经放弃用消费级可穿戴设备收集数据。他也很含蓄地表示，算法的“黑匣子”对研究人员来说，是一个“持续的挑战”。
密歇根大学的Olivia Walch说得就比较直接：虽然她也研究可穿戴设备，但她让研究团队直接使用原始数据。因为她研究的是睡眠监测，需要长期跟踪，试验成本也很高。如果靠“智能手环”的算法输出结果，那研究就要因为版本变动重新开始。
从Walch的角度来看，就算自己能接受算法更新，她也没法提前知道变动：企业没什么理由去特意通知研究人员算法有变化，但是因为产品更新，企业往往会主动更新算法。
对于严谨的研究而言，频繁变动规则得到的数据，本身就不值得信任。对于 健康 监测的应用而言，Apple Watch也应该提供持续稳定的医学数据，而它显然没有做到。
03 使用偏差，“手环”不智能
实际上，Apple Watch为代表的“智能 健康 监测”设备，从官方审批中就透露着一股不靠谱。
2018年9月，苹果公司宣布，Apple Watch Series 4的心电图 (EKG) 和心率监测功能获得了美国食品与药品管理局 (FDA) 的许可。
然而FDA的用词却十分值得玩味，因为FDA对新器械的评级分为三个指标：公示、许可和批准。
公示的产品不需要FDA的专业审查，标准最宽松。需要批准的产品有不小的使用风险，需要大量测试评价，也让需要批准的III类产品，仅仅占据器械市场的10%。
如果把“智能手表/手环”放到这个体系中评价，就会发现。这些设备有技术门槛，需要把关，光是公示肯定不够。但是“监测心率”的功能，也没有深入到疾病治疗，使用风险很低，整体来看，还是许可比较合适。
“许可”的定位，也代表了可穿戴监测设备的产品困境：生产不简单，使用不靠谱。
以苹果、华米等厂家对外宣传的心电图和房颤监测功能为例。厂商之所以推广这一特定领域，是因为目前技术条件下，“智能手环”只能做到单导联心电监测。和临床的12导联相比，监测方式比较“粗枝大叶”，无法给出精确的数据。
苹果在Apple Watch相关功能的宣传中，也只能表示“数据仅供参考”。告诉消费者“掌握 健康 ”，实际使用却说“想掌握 健康 请自己找医生”，未尝不是在玩弄消费者的预期。
除此之外，可穿戴设备在使用体验上依旧比较模糊。“数码设备”加上“医疗功能”的双重属性，让消费者对于这类产品的需求，是“既方便又精确”。
然而使用“智能手环”的消费者并不是专业的医生，使用习惯也存在着差异，导致产品体验缺乏合理标准：手环调的太紧，出门剧烈运动，都会导致手环的“ 健康 警告”。“仅供参考”的价值更是无从谈起。
04 智能监测，先要定规矩
不论是“数据筛选”还是“仅供参考”，智能手环为代表的可穿戴医疗设备都面临着同样的问题：在行业依旧处于前期发展阶段、技术条件依旧有限的前提下，如何在专业层面上，为消费者提供真正有说服力的产品。
目前的可穿戴医疗设备行业，不论是传统的医疗器械厂商还是新兴的数码设备企业，都想在行业发展早期野蛮生长，从而占据市场。去年，有14款可穿戴设备产品通过了FDA审批，国内也有18款设备获得药监局认证，相当于之前三年获批产品的总和，可穿戴设备的热度由此可见一斑。华为、歌尔、OPPO纷纷下场，行业热度急剧攀升。
不管可穿戴设备有多么“数码”，实际应用的分类依旧是“医疗器械”。既然涉及到了医疗 健康 ，就要按照医疗 健康 领域的标准对产品进行管理。然而从相关产品的市场来看，不论是数据收集还是实际使用，可穿戴医疗设备的“最终解释权”有太多都跑到了企业手里。
这样的市场，光靠企业自律制定行业标准显然不够，还需要相关部门针对行业现状，推出专门的行业标准。2015年，FDA将可穿戴 健康 设备划入“一般 健康 ”设备的范畴，并制定了相关法规。作为对比，2017年底，药监局对外发布了《移动医疗器械注册技术审查指导原则》，然而这些规则的具体执行，仍然需要进一步的细化和明晰。
使用智能手环的消费者，要的是监测 健康 带来的安心生活，而不是数码行业的高强度竞争。如果企业沉迷更新产品和算法，无视真正的需求，那么他们就需要一场真正的“教育”。因为代表消费者 健康 的数据，只有消费者说了算。
来源|科工力量