优步算法
Ⅰ 人工智能作恶谁之过
“9·11 是犹太人干的，把他们都送进毒气室！种族战争现在开始！”
2016年3月23日，一个人设为19岁女性，昵称为 Tay 的聊天机器人在推特上线。这个微软开发的机器人能够通过抓取和用户互动的数据模仿人类的对话，像人一样用笑话、段子和表情包聊天。但是上线不到一天，Tay 就被“调教”成了一个满口叫嚣着种族清洗的极端分子，微软只好以系统升级为由将其下架。
微软聊天机器人的极端言论。
这样的口号并不是聊天机器人的发明，而在社交网络上大量存在着。美国大选期间，一些所谓的“政治新媒体”账号发出的掺杂阴谋论、种族主义的内容，在Facebook 上进行了病毒式传播。这有赖于人工智能协助下的“精准定位”：谁最容易相信阴谋论，谁对现实最不满？相应的政治广告和假新闻能精准地投放到这群人中，使人对自己的看法更加深信不疑。
因为设计缺陷而 “暴走”的聊天机器人，和精心策划的线上政治行为，看起来仿佛是两回事。但这种我们似乎从未见过的景象，却指向了同一个“兇器”——大数据驱动下的人工智能。
1、人工智能有作恶的能力吗？
人工智能会“作恶”吗？面对智能的崛起，许多人抱有忧虑和不安： 拥有感情和偏见的人会作恶，而仅凭理性计算进行判定的计算机似乎也会“作恶”， 且作起来易如反掌。这让许多人（特别是非技术领域的人）对人工智能的发展持悲观态度。
这种忧虑并不是最近才有的。人工智能这个词诞生于上世纪50年代，指可体现出思维行动的计算机硬件或者软件，而 对机器“拥有思维”之后的伦理探讨，早至阿西莫夫开始就在科幻作品里出现。
14 年前，威尔·史密斯主演的电影《机械公敌》里就有这样一个场景：2035 年的人类社会，超高级的人工智能承担大量工作，并与人类和谐相处。这些原本完全符合阿西莫夫“三定律”的人工智能，在一次关键升级之后对人类发起了进攻。这些机器人拥有了思维进化的能力，在它们的推算下，要达到“不伤害人类”的目的，就必须先消灭“彼此伤害”的人类。
十分高产的科幻作家阿西莫夫（1920-1992）。
剑桥分析CEO亚历山大·尼克斯（Alexander Nix）。
剑桥分析并不是一个孤例。澳洲一个 Facebook 的广告客户透露，Facebook 的人工智能会分析其用户特征和所发的内容，给出诸如“有不安全感的年轻人”“抑郁、压力大”等标签，然后有针对性地投放游戏、瘾品和甚至虚假交友网站的广告，从中获取巨大利益。
即使不存在数据泄露问题，对用户数据的所谓“智能挖掘”也很容易游走在“合规”但“有违公平”的边缘。例如，电商能够根据一个人的消费习惯和消费能力的计算，对某个人进行针对的、精密的价格歧视。购买同样的商品，用 iPhone X 手机的用户很可能会比用安卓“千元机”的用户付更多的价钱，因为他们“倾向于对价格不敏感”。而我们所经常谈论的“大数据杀熟”——比如携程老用户订旅馆的价格会更高——也建立在用户行为数据的基础上。
数据的收集本身也值得商榷。前网络人工智能首席科学家吴恩达（Andrew Ng）就曾公开表示， 大公司的产品常常不是为了收入而做，而是为了用户的数据而做；在某一个产品上收集的数据，会用于在另一个产品上获利。 在智能面前，没有所谓的个人隐私和行踪，也很难确定数据收集的边界在哪里，尤其是个人隐私与公共信息、主动提供与被动提供的边界。
总而言之， 在以商业利益为目标的人工智能眼里，并没有“人”或者“用户”的概念，一切都是可以利用的数据。 剑桥大学互联网与社会研究中心教授朔沙娜·祖博夫将这种人工智能和资本“合体”的现状，称之为 “监控资本主义” （Surveillance Capitalism）——在大数据和人工智能的协助下，通过对每个人的监控和信息的榨取，实现资本的最大化。
业界对此的态度很暧昧。AI 作为当下最热门、来钱最快的行当之一，这些动辄年薪50万美元的工程师很少得闲来思考“形而上”的问题。 一位不愿具名的研究人员在与我的微信私聊中表达了他的“个人看法”：“现在的技术离‘通用人工智能’还很远，对社会伦理方面的影响没有那么大，更多还是从繁琐的重复劳动中解脱出来。”
作者试图找到行业内人士对此评论，谷歌（中国）和网络自动驾驶部门的人工智能相关人员均表示，探讨 AI 的社会问题，牵涉到公司利益和形象，比较敏感，不便评论。
“人工智能作为一个工具，如何使用，目前来看决定权依然在人。”俞扬说道 ，“系统的设计者和商业（应用）的提供人员需要对此负责。”
如何负责？这或许需要我们正视人工智能对整个社会关系的挑战。
4、人工智能作恶之后
2018年3月 19 日，一辆自动驾驶的优步（Uber）在美国亚利桑那州惹上了麻烦。面对路中出现的一个推着自行车的女性，这辆车速 38 mph（约61km/h）的沃尔沃在昏暗的光线条件下并没有减速，径直撞了上去，受害者被送往医院之后不治身亡。这是自动驾驶第一例行人致死的事故。
电视台对自动驾驶优步车祸的报道。
事故发生之后，有不少人将矛头指向了自动驾驶的人工智能是否足够安全上，或者呼吁优步禁止自动驾驶。然而更关键的问题在于，亚利桑那有着全美国几乎最开放的自动驾驶政策，事故发生地坦佩市（Tempe）是实行自动驾驶最火的“试验田”之一；事故所在的街区早已做过路线测试，并被自动驾驶的智能采纳。但是在事故发生之后，对于责任的认定依然遇到了困难。
因为人的疏忽造成的车祸数不胜数，人们早已习惯了如何处理、怎样追责；然而机器出错了之后，人们忽然手足无措。 人工智能会出错吗？当然会。只是我们在这个问题上一直缺乏认知。 就如同上文提到的“隐性歧视”，深度学习的“黑箱”，现有的法律法规很难对这些错误进行追究，因为不要说普通人，就连技术人员也很难找出出错的源头。
当人工智能的决策在人类社会中越来越重要时，我们也不得不考虑，智能为什么会犯错，犯错了怎么办；若要让智能摆脱被商业或者政治目的支使的工具，真正成为人类的“伙伴”， 需要怎么监管、如何教育，才能让人工智能“不作恶”。
人工智能的监管问题亟待解决。
对此，现有的法律框架内很难有清晰的、可操作的实施方案。欧盟率先在数据和算法安全领域做出了立法的尝试，2018年5月即将生效的新法规规定，商业公司有责任公开“影响个人的重大决策”是否由机器自动做出，且做出的决策必须要“可以解释”（explainable）。但法条并没有规定怎么解释，以及细到什么程度的解释是可以接受的。
另外一个重要的问题是， 让机器求真求善，需要人类自己直面决策中的黑暗角落。 在 Atari 游戏智能的测试中，游戏中的人工智能 bot 可以用最快的速度找到漏洞开始作弊，而游戏玩家又何尝不是呢？不管是带有歧视的语义分析，针对少数族裔进行的“智能监视”和跟踪，或者把已婚未育女性的简历扔掉的智能简历筛选，都长期以各种形式存在于人类社会中。
人工智能不是一个可预测的、完美的理性机器，它会拥有人类可能拥有的道德缺陷，受制于人们使用的目标和评估体系。 至少目前，机器依然是人类实然世界的反应，而不是“应然世界”的指导和先驱。 对机器的训练同样少不了对人性和社会本身的审视——谁在使用，为了什么而使用，在我们的世界中扮演着怎样的角色？数据是谁给的，训练的目标是谁定的？我们期望中的机器，会继承我们自己的善恶吗？
谷歌中国人工智能和机器学习首席科学家李飞飞认为， 要让机器“不作恶”，人工智能的开发需要有人本关怀 。“AI 需要反映我们人类智能中更深层的部分，”李飞飞在《纽约时报》的专栏中写道，“要让机器能全面地感知人类思维……知道人类需要什么。”她认为，这已经超越了单纯计算机科学的领域，而需要心理学、认知科学乃至社会学的参与。
未来，人工智能进入更多的领域、发挥更强的功能，是无可争辩的事实。然而，我们的生产关系能否适应人工智能带来的生产力，这句马克思政治经济学的基本原则值得我们认真思考一番。 我们并不想看到未来的“机器暴政”将我们的社会绑在既有的偏见、秩序和资本操纵中。
一个AI
人工智能之所以会作恶，可能就是因为太像人类了吧。
Ⅱ 预警系统应该使用什么算法比较合适
架构以及我理解中架构的本质
在开始谈我对架构本质的理解之前，先谈谈对今天技术沙龙主题的个人见解，千万级规模的网站感觉数量级是非常大的，对这个数量级我们战略上 要重 视 它 ， 战术上又 要 藐 视 它。先举个例子感受一下千万级到底是什么数量级？现在很流行的优步(Uber)，从媒体公布的信息看，它每天接单量平均在百万左右， 假如每天有10个小时的服务时间，平均QPS只有30左右。对于一个后台服务器，单机的平均QPS可以到达800-1000，单独看写的业务量很简单 。为什么我们又不能说轻视它？第一，我们看它的数据存储，每天一百万的话，一年数据量的规模是多少？其次，刚才说的订单量，每一个订单要推送给附近的司机、司机要并
发抢单，后面业务场景的访问量往往是前者的上百倍，轻松就超过上亿级别了。
今天我想从架构的本质谈起之后，希望大家理解在做一些建构设计的时候，它的出发点以及它解决的问题是什么。
架构，刚开始的解释是我从知乎上看到的。什么是架构？有人讲， 说架构并不是一 个很 悬 乎的 东西 ， 实际 上就是一个架子 ， 放一些 业务 和算法，跟我们的生活中的晾衣架很像。更抽象一点，说架构其 实 是 对 我 们 重复性业务 的抽象和我 们 未来 业务 拓展的前瞻，强调过去的经验和你对整个行业的预见。
我们要想做一个架构的话需要哪些能力？我觉得最兆灶敬重要的是架构师一个最重要的能力就是你要有 战 略分解能力。这个怎么来看呢:
第一，你必须要有抽象的能力，抽象的能力最基本就是去重，去重在整个架构中体现在方方面面，从定义一个函数，到定义一个类，到提供的一个服务，以及模板，背后都是要去重提高可复用率。
第二， 分类能力。做软件需要做对象的解耦，要定义对象的属性和方法，做分布式系统的时候要做服务的拆分和模块化，要定义服务的接口和规范。
第三， 算法（性能），它的价值体现在提升系统的性能，所有性能的提升，最终都会落到CPU，内存，IO和网络这4大块上。
这一页PPT举了一些例子来更深入的理解常见技术背后的架构理念。
第一个例子，在分布式系统我们会做 MySQL分 库 分表，我们要从不同的库和表中读取数据，这样的抽象最直观就是使用模板，因为绝大多数SQL语义是相同的，除了路由到哪个库哪个表，如果不使用Proxy中间件，模板就是性价比最高的方法。
第二看一下加速网络的CDN，它是做速度方面的性能提升，刚才我们也提到从CPU、内存、IO、网络四个方面来考虑，CDN本质上一个是做网络智能调度优化，另一个是多级缓存优化。
第三个看一下服务化，刚才已经提到了，各个大网站转型过程中一定会做服务化，其实它就是做抽象和做服务的拆分。第四个看一下消息队列，本质上还是做分类，只不过不是两个边际清晰的类，而是把两个边际不清晰的子系统通过队列解构并且异步化。
新浪微博整体架构是什么样的
接下我们看一下微博整体架构，到一定量级的系统整个架构都会变成三层，客户端包括WEB、安卓和IOS，这里就不说了。
接着还都会有一个接口层， 有三个主要作用：
第一个作用，要做 安全隔离，因为前端节点都是直接和用户交互，需要防范各种恶意攻击；
第二个还充当着一个 流量控制的作用，大家知道，在2014年春节的时候，微信红包，每分钟8亿多次的请求，其实真正到它后台的请求量，只有十万左右的数量级（这里的数据可能不准），剩余的流量在接口层就被挡住了；
第族慎三，我们看对 PC 端和移 动 端的需求不一样的，所以我们可以进行拆分。接口层之后是后台，可以看到微博后台有三大块：
一个是 平台服 务，
第二， 搜索，
第三， 大数据。
到了后台的各种服务其实都是处理的数据。 像平台的业务部门，做的就是 数据辩厅存储和读 取，对搜索来说做的是 数据的 检 索，对大数据来说是做的数据的 挖掘。微博其实和淘宝是很类似
微博其实和淘宝是很类似的。一般来说，第一代架构，基本上能支撑到用户到 百万 级别，到第二代架构基本能支撑到 千万 级别都没什么问题，当业务规模到 亿级别时，需要第三代的架构。
从 LAMP 的架构到面向服 务 的架构，有几个地方是非常难的，首先不可能在第一代基础上通过简单的修修补补满足用户量快速增长的，同时线上业务又不能停， 这是我们常说的 在 飞 机上 换 引擎的 问题。前两天我有一个朋友问我，说他在内部推行服务化的时候，把一个模块服务化做完了，其他部门就是不接。我建议在做服务化的时候，首先更多是偏向业务的梳理，同时要找准一个很好的切入点，既有架构和服务化上的提升，业务方也要有收益，比如提升性能或者降低维护成本同时升级过程要平滑，建议开始从原子化服务切入，比如基础的用户服务， 基础的短消息服务，基础的推送服务。 第二，就是可 以做无状 态 服 务，后面会详细讲，还有数据量大了后需要做数据Sharding，后面会将。 第三代 架构 要解决的 问题，就是用户量和业务趋于稳步增加（相对爆发期的指数级增长），更多考虑技术框架的稳定性， 提升系统整体的性能，降低成本，还有对整个系统监控的完善和升级。
大型网站的系统架构是如何演变的
我们通过通过数据看一下它的挑战，PV是在10亿级别，QPS在百万，数据量在千亿级别。我们可用性，就是SLA要求4个9，接口响应最多不能超过150毫秒，线上所有的故障必须得在5分钟内解决完。如果说5分钟没处理呢？那会影响你年终的绩效考核。2015年微博DAU已经过亿。我们系统有上百个微服务，每周会有两次的常规上线和不限次数的紧急上线。我们的挑战都一样，就是数据量，bigger and bigger，用户体验是faster and faster，业务是more and more。互联网业务更多是产品体验驱动， 技 术 在 产 品 体验上最有效的贡献 ， 就是你的性能 越来越好 。 每次降低加载一个页面的时间，都可以间接的降低这个页面上用户的流失率。
微博的技术挑战和正交分解法解析架构
下面看一下 第三代的 架构 图 以及 我 们 怎么用正交分解法 阐 述。 我们可以看到我们从两个维度，横轴和纵轴可以看到。 一个 维 度 是 水平的 分层 拆分，第二从垂直的维度会做拆分。水平的维度从接口层、到服务层到数据存储层。垂直怎么拆分，会用业务架构、技术架构、监控平台、服务治理等等来处理。我相信到第二代的时候很多架构已
经有了业务架构和技术架构的拆分。我们看一下， 接口层有feed、用户关系、通讯接口；服务层，SOA里有基层服务、原子服务和组合服务，在微博我们只有原子服务和组合服务。原子服务不依赖于任何其他服务，组合服务由几个原子服务和自己的业务逻辑构建而成 ，资源层负责海量数据的存储（后面例子会详细讲）。技 术框架解决 独立于 业务 的海量高并发场景下的技术难题，由众多的技术组件共同构建而成 。在接口层，微博使用JERSY框架，帮助你做参数的解析，参数的验证，序列化和反序列化；资源层，主要是缓存、DB相关的各类组件，比如Cache组件和对象库组件。监 控平台和服 务 治理 ， 完成系统服务的像素级监控，对分布式系统做提前诊断、预警以及治理。包含了SLA规则的制定、服务监控、服务调用链监控、流量监控、错误异常监控、线上灰度发布上线系统、线上扩容缩容调度系统等。
Ⅲ 《优步:算法重新定义工作》pdf下载在线阅读全文，求百度网盘云资源
《优步:算法重新定义工作》网络网盘pdf最新全集下载:
链接：https://pan..com/s/1MUSD3m4rm42jlFRB5PiIKg
简介：在这本书里，作者带我们认识到了新兴数字科技的本质。优步崛起的背景是美国的金融危机和阶层固化。对司机，它推卸责任，强化管理；对乘客，它监控数据，调整费率，而对媒体，它以算法为理由掩盖自己的商业手段。通过算法，优步在潜移默化中实现了操控大众的目的。同时本书探讨了以优步为代表的互联网科技是如何重新定义工作、社会和文化的。对商家，它让数据成为最重要的资源之一；对民众，它让更多人用网络创业代替了固定上班；对社会，它重新定义了雇佣关系，更需要日趋完善的监管体系来制约。