马平：李世石败了，要警惕人工智能吗？
从科幻小说出现那一天起，人工智能威胁人类生存就是最常见的科幻情节。因为无论在任何文明的神话中，“造人”都是神灵的特权。一旦人工智能开始接近人类的智慧水平，很可能意味着人类召唤了自身无法掌握的力量。今天李世石在首轮比赛中惨败于电脑，社交媒体上颇有不少言论对人类的未来表示担忧。这种担心是否有道理呢？
从我最近的经验看，人类对人工智能存在本能的“恐惧”是一个客观事实，人类也的确有摆脱AI“控制”的本能，但原因不在于这东西太强，而是因为它还不够强。
上个月，有朋友赠了我一段时间的尼桑新车测试权，号称有源于NASA的智能安全系统。我拿到手之后，朋友告诉我汽车配备了新技术，随车AI能自动避免追尾和撞人。然后问我打算怎么玩，我回答说：
“我必须知道如何用半秒钟关掉AI”
依据他的介绍，这车能辨认障碍物的距离，能发现行车轨迹上的汽车和人，判断两者之间的相对运动速度，在我快速接近的时候发出提醒，提醒无效的话就紧急制动，拉紧安全带，在障碍物面前停车，至少能避免我以危险速度撞上去。
介绍听起来很美好，我能想象设计者大脑中的画面——半睡半醒的驾驶员，忽然穿越马路的儿童，前车紧急制动的同时响起警报声，在撞击前0.3秒死死刹住了车轮，从而挽救了1个儿童和两辆汽车，赢得一片赞叹。
然而，作为一个交通土建专业的毕业生，作为见过千奇百怪车祸的老司机，我却想到了另外的画面——公路上失控的大卡车横扫而来，我必须迅速转入和公路相交的小路避祸。但小路上已经停放着一辆轿车，我只有撞上去才能幸免，这时“智能”防撞系统发挥了作用，先是尖啸后是刹车，完美地把我拦在大卡车的毁灭路线上……
其实，在很多小概率事件中，汽车并不是被简单地当做交通工具使用的。平时被视为事故的“撞击”，在特定条件下，也可能被当成汽车的主要功能。如果AI每次都在撞击前接管刹车系统，需要破墙而出的司机将会无奈地被困，劫匪只需站在路中间就能拦下每一辆车。我承认动作片夸大了这些小概率事件的概率，但不可否认现实中完全可能会有类似的场景。在这些情况下，我希望还能靠自己的大脑自救一下，而不是在AI安排下“安全”地等死。
所以，刚拿到测试车，我就确定了测试目标——如何在警报响起之后克服AI干扰，坚决地撞上去！当然我不会因此就去高速公路上找人追尾，而是搭建几个能愚弄AI的假目标：
为此我搜罗了全部能找到的纸箱：
纸箱是用来支撑横幅的：
我猜汽车设计师中也有人考虑到了类似情况，所以在方向盘下面设置了一键关闭防撞AI的开关：
因此，我的测试思路非常简单，就是用纸箱配合条幅，搭建一个有立体感的“汽车”，借此触发AI的警告。但在警报声响起之后的瞬间，我将试图关闭AI，或是通过加油门来抵消刹车，坚决地撞上障碍物。如果我能按照我自己的意志撞上条幅，就算测试通过。
事实证明，在练习几次之后，我按关闭键的速度已经被压缩到半秒之内，能够在自动刹车起效之前就重新夺回汽车的控制权。如果我全然不顾警报，只靠加油来抵消制动，虽然撞击效果有所减弱，但也基本能完成“撞上去”的任务。
下一层次的测试更现实一点。即在不得不撞过去的情况下，到最后一刻才选择撞哪一边（比如说便宜的一边）：
事实证明，虽然AI不一定每次都能做到警告并刹车，但至少在警告响起来之后，我还有选择撞哪一辆的权力。这AI看来还算“安全”。
事后我仔细想了一下，我坚持要获得自己操控汽车的权利，不是因为AI太聪明吓到了我，而是因为AI太“笨”，只能通过观察前方路况，临时接管制动系统。对于侧面和后方的威胁，尽管也有雷达监测并警告，却无法纳入统一的风险控制逻辑，不会因为后面有失控卡车就允许我撞车保命。至于拦在车道上的行人是不是手持利刃，眼前的墙是不是阻挡我获得自由，那更是计算机从来不考虑的因素。所以，虽然AI在大多数情况下可能会挽救我的命，甚至会挽救我的钱包，我还是希望它能随时关闭，放着汽车让我自己来。
看一下历史，我的想法并不算特别。每一次有新鲜事物进入人类社会，都会有类似的质疑声浪。火车、电灯等著名的段子就不说了，汽车行业内就有一个非常有可比性的案例——安全带。
安全带现在是所有汽车的标准配置，大多数工业国的警察会强制要求驾驶员使用，多数老司机也并不觉得有什么麻烦。但回溯到几十年前，这个简单的小装置也曾经引起过巨大的反对声浪。而且出发点和我担心智能防撞系统差不多——剥夺了人类选择的自由。
下列截图见福特和克莱斯勒公司总裁艾柯卡自传：
这段争论是不是很眼熟？我其实非常理解反对者的立场。因为安全带从不说话，只会在急减速的时候牢牢绑住乘客，并未给驾驶员以“固定-松开”的选择权。这固然减少了大多数碰撞导致的伤害，但在小概率情况下，也的确阻碍了驾驶员的行动自由（必须解开卡扣才能再行动）。万一出现必须尽快离开汽车的状况，的确不能绝对保证安全带会发挥100%的正面作用。
诚然，艾柯卡的观点很理性，但是，我也在理性上很相信智能防撞系统救命的概率远远大于阻碍我逃命的概率，但作为一个凭借自由意志生存了上百万年的物种，我还是希望能时刻拥有最终决策的权力。所以，在这个问题上讲概率论并不能绝对“服人”，安全设施的推行除了要靠法律强制，更要在心理上给人“选择权”，即随时关闭自动设备的权力。当年美国能够立法强制使用安全带，也是因为在模拟火灾、爆炸环境下做反复实验，证明了安全带可以迅速解开，让乘客摆脱捆绑状态，这才最终说服公众接受安全带。（未必）
实际上，火灾逃生实验本来并无必要，因为即便在火灾条件下，安全带也更有利于乘客逃生。2012年8月26日，包茂高速公路安塞段发生客车与运送甲醇货车追尾碰撞事故，引发甲醇泄漏并导致两车起火，造成36人遇难，3人受伤。事后经验尸发现，由于未使用安全带，大多数乘客因为碰撞而昏迷，在起火之前已经丧失了逃生能力。而在仅有的几名逃生乘客中，恰恰有一位女士因系安全带而保持了行动能力，从而抓住了紧迫的十几秒逃生时间。可见安全带挽救生命，和解开安全带需要的时间关系不大。
然而，公众就是需要这样的实验，我也必须确信能随时切断AI的电源，在踏板上控制刹车，才能从心理上接受自动防撞系统。这就是我们人类毫无理由的自信。不过，即便是感性认识，也是可以用理性去分析的。看到这个问题之后，我开始审视自己的感性判断——我到底恐惧的是什么？是AI太“强大”么？
仔细思考之后我发现，恐惧的来源并非是AI太聪明，并非AI可以和我的大脑相连，而是正好相反——问题的源头在于AI不够聪明，不能和大脑相连。
比如说，本来汽车已经配备了侧向和后方的测距雷达，但只用来点亮告警灯，不能成为AI判断的参数。如果AI能够“考虑”到这些外界条件，在其他方向有明显威胁的时候允许我撞向前方，我就可以允许AI获得更多的汽车控制权。如果AI能直接把警告输入我的大脑，让我在打瞌睡的时候忽然“看到”撞击的可能性，并通过大脑决策来实现刹车，自然也不必为了节约反应时间而直接控制刹车系统，不给人类做选择的机会。总而言之，至少在现阶段，一个更“强”的AI会让人类更放心。阿西莫夫也在短篇科幻小说《理性》（又译为《推理》）中描写过类似的情节。（全文请点击链接）
在这篇小说中，“出生”在空间站的机器人开始思考自己的存在理由，并创立了一套宗教解释自己的工作。人类工作者对此先是表示恐惧，但发现机器人并不会因此影响工作后反而欣然接受：
科幻时代（其实设定时间是90年代末）的宇航员最终接受了一个信教的机器人；现实中的司机最终接受了安全带，这听起来跨度有点大。但完全可以说两者都是广义的“AI”，因为它们都能独立于人类大脑做出逻辑判断。安全带能在人类不干预的情况下发现加速度异常，这本质上也是一种处理信息的方式，也是“思考”。我们人类能制造替代自己大脑的工具，可能是我们智人打败其他人种（尼安德特人、丹尼索瓦人等），最终统治地球的关键因素——注意我提到的是替代大脑的工具，而不是“工具”。
北京周口店遗址博物馆的科普挂图
根据现在的考古发现和生物学观察，无论是尼安德特人、大猩猩还是海獭，都能在一定程度上使用工具乃至制造工具。智人比他们强，不是强在制作长矛、石器这些随身携带的工具上，而是因为智人具有抽象思维能力，能够设计制造出人类不在场的时候也能发挥作用的高级工具：
引自《事物的起源》
通过这些图我们可以发现，在智人成为独立种族的开始，我们就已经在制造“AI”，来延伸我们的大脑，获得木矛石刀无法捕获的猎物，进而称霸地球。实际上，工业革命也是一个类似的过程。瓦特蒸汽机节约的不仅仅是人的肌肉力量，更节约了人类的大脑：
机器人群体能够干人类 98% 的非机械性工作的时代，社会会怎么样？ - 马前卒的回答
自动控制系统是从1776年的瓦特开始的。换句话说，回到工业革命之前的水平，非人力机械只留下马车、牛犁、水车、风车才算完全靠人类工作。那个时代你怀念不？
瓦特蒸汽机，是不是比想象的复杂许多？
蒸汽机离心自动控制器，这才是瓦特做出的最大贡献，他节约了人类的智力而不是体力。
每一个自动控制系统都起码节约了一个人。
当然，上面提到的汽车自动制动装置、安全带、捕兽夹、瓦特调速器，加上挑战李世石的围棋软件都属于“弱AI”，即没有自我意识，只能按照人类设定程序处理信息的AI。他们的强项并不在于真的去“理解”事实，而是用更高的速度处理事务。所以我们才期盼它们越来越强——再强他们也只是工具，可以被一键关机。人类真正担心的是强AI，即同时具备自我意识和高速处理能力的人工智能。前面转载的阿西莫夫小说情节中也透出了类似的看法——自创宗教的机器人可以因为教义而为人类忠实服务，但也存在因为“教义”而损害人类利益的可能。总之，独立的意识既意味着无限的潜力，也意味着无限的风险。
对于类似的观点，我……没啥明确的看法。因为“强”AI的原理和功能都完全超出了我当下的想象。作为一个普通人类，我连自己为什么有“意识”，为什么有智慧都不知道，更不可能想象一台机器如何具备类似的能力。让我评价强AI是福是祸，就像让不会骑马的原始人评价汽车的利弊一样无稽——我不能评价那些我不知道我不知道什么的东西。
然而，我倒是有个笨办法来趋利避害——用弱AI加强人类自身，让我们来变成“强AI！”
我们回顾一下，为什么围棋电脑可以挑战李世石？不是因为电脑真的理解围棋是什么东西，而是因为电脑拥有远超人类的记忆能力和推算速度。如果我们通过植入芯片增强记忆和计算力，通过添加传感器增强自己的信息搜集能力，世界上第一个“强AI”可能就是我们自己！
实际上，类似的事情我们已经在做了。这里可以看看我之前写过的文字：
如何看待百度将血友病吧归还给原吧主？是一次网民的胜利吗？ - 马前卒的回答
一个副部级官员在台上高举自己的智能手机：你们觉得这是什么？
底下众人有答手机的，有答电话的，有答娱乐工具的，都被一一否定。最后这位50后的领导给出了自己的看法：这是有史以来和人类结合最紧密的机器！是人体的新增器官！
虽然手机+互联网+搜索引擎这个“器官”和大脑的结合还非常粗糙，但就我近年招聘经验来看，在媒体工作方面，善于用搜索引擎的人和不会用搜索引擎的人完全就是两个物种，效率差距远大于智人和尼安德特人的差距。如果谷歌眼镜和新一代虚拟现实技术能做到即时从现实中抓取模型进行演算，装备新技术的人类可能会完全甩掉那些前网络时代的同类，创造出他们永远无法理解的技术。更不要说未来通过植入芯片分担大脑职能的人类了。到那时候，我们有意识，有智慧，还有电（光）子计算机的运算速度，还怕什么“强”AI？
至于为人类植入新的传感器，其实我们已经在做了：
我们既然能把摄像头的光信号直接传给大脑（不需要眼睛这个中介），就能在不久的将来为人类装备更多的感官，让整个世界在我们的“眼中”透明化，甚至可以在虚拟空间中“看到”更高的维度。普通人只能通过数学模型来研究的高维空间，对于新一代人来说可能是“不言自明”的事实。“生而平等”的生物学概念到此将彻底结束。
当然，这样的世界和今天的伦理学标准是有一定冲突的。在各国神话中，有第三只眼的人类不是神灵就是怪物，总之不是人类。如果有人能通过手指观察东西，能通过颅内硬盘调阅百科全书，当代人看他的眼神一定不会太“亲切”。然而，原始人看我们穿各种衣服恐怕也是类似的感受，古代人也无法理解为什么拍照是必不可少的饭前仪式，进步本来就不一定会被古人所理解。人类之所以是人类，就是因为我们的祖先通过DNA变异获得了制造工具的能力和抽象思维能力，我们今天修改自己的“外设”来变成超级AI，变异程度未必就比祖先物种变异的幅度更大。
无论我们如何看待AI的风险，有两个事实是确定无疑的——1 维持现有的生活水平离不开AI；2 用弱AI装备自己的人类会获得竞争上的极大优势。这意味着AI和人类的结合必然会越来越更紧密。我们与其被动地接受这个新时代，不如主动地变成超级智能生物，变得更聪明、更善于交流，更长寿、更强大。
这里我再引用一下之前的发言：
机器人群体能够干人类98%的非机械性工作的时代，社会会怎么样？ - 马前卒的回答
除了信息的存储读取，人类还需要提高信息的处理效率。拿算术当例子，原始人和小孩子在作加法的时候都有一个本能的反应——掰手指头，也就是累加计算。3+4，就是先伸出3根手指，再挨个掰出4个，最后回过头把所有手指头点一便数，得出7的结果。手指头不够的话，还可以用木棍、石子来辅助，原理上是一样的。
为了避免每次计算都掰手指头，你我都必须在小学低年级作大量的算术速算练习，直到我们把两位数的加减法变成条件反射而不是累加的结果。从而把更大数字之间的运算分解成一系列条件反射的累加，提高整体运算效率。又比如苏美尔人最早的乘法是连续做加法，一位数的乘法也必须挨个加起来，这和我们小学时学乘法原理的程序是一样的。这个方式足够简单但嫌太慢。后来，学算术的学生就要背乘法表，背会了之后在脑子里建立固定的数字处理程序，只要记住八八六十四这种口诀，就不必再每次计算都作七次加法。这也是信息化，通过建立固定的反射来提高信息的处理效率。
相对论刚提出时，号称全球能完全理解的人不超过十人，现在却成为理工科必修课程，是我们智商提高了吗？ - 马前卒的回答
你要说服自己的大脑，“数学工具”这个词绝不是一个比喻，而是客观、准确的描述。铲子、汽车、充气娃娃等有形物体是工具，思考方式也同样是工具，都是人类改造世界能力、理解世界能力的“放大器”。这一点在理智上接受很容易，在直觉上相信比较难。就像大多数人可以在理智上承认电场、磁场也是物质，但真的思考复杂问题的时候，直觉就只承认椅子、汽车这样的东西是物质了。
什么是工具呢？严格来说，人类制造的任何东西都只是附加了“信息”的某种结构。砍木头做梯子，木头是自然界的物质；炼钢造汽车，铁矿石和煤都是地球本来就有的。我们没法凭空“创造”物质，只能把既有的物质赋予人类设计的结构，才能变成实体工具。至于思考工具，只是把这个“结构”直接用思想表现而已。从这个角度讲，思考工具和日常的实体劳动工具完全是一回事。
所以说，人类现在能一枪撂倒大象，不是因为力量增加；人类能迅速理解几十年、上百年前的物理前沿思想，不是因为智商提高，两个事件都完全是工具水平提高的结果。相对几百万年的人类进化史，最近一万年我们的基因没啥明显改变，进步的是工具。
总结一下这两段引用的文字，我想说的是，信息时代并不是最近十几年才到来的。整个人类文明史，从捕兽夹到乘法表再到蒸汽机、计算机，这都是“信息化”和“AI化”的发展过程。我们这些年的发展速度很快，但也不过是保持了过去200年、20000年、200000年的AI进步趋势。如果你恐惧AI，就应该记住被历代古人（包括毛泽东）反复强调的一个概念：
寇能往 我亦能往。
75年兔子解读：
马督工的这篇文章对我触动很深
我就是一个对AI有恐惧心理，至少是极度不信任的那种人。
拿开车来说，我不信任AT的换挡逻辑，不信任自适应巡航对前车的判断（尤其前面是空载平板拖车时），不信任自动刹车、车道保持、自动泊车这些，更不用说自动驾驶了。甚至开按键式启动的车子，都会因为不能在行驶中瞬间控制熄火，而心里会有一些不安。总之车子任何动作不能直接掌控在我手里，我都会不安。
思考其中原因，就是督工说的：这些东西太笨，不能在极端情况下做出正确应对。看多了各种极端情况下的奇葩事故，我觉得这些东西达不到我自己操作的水平，保证不了我的安全。
然而这种不信任，就是我的最大缺点。
就是这种不信任，导致本应可以分配下去的大量基础设计、构件选型、调试、检验等等工作堆在我的手里，大大降低了工作效率。
其实作为一个研发工程师，我的工作就是创新和推进发展，而且有部分产品达到业内靠前的水平；但同时我还是一个技术进步抵抗者，使用智能手机的时间不超过一年半，至今没用过QQ和微信。多么矛盾
我也应该善用各种现代工具，更快的提升自己，更好的发挥自己的能力。
其实我今天想到的非常多，能够说出来的却很少。从这篇文章看到了我自己的很多不足，改天定当再次拜读此篇，以期有更深的感悟。
督工对事物的认知深度，果然比我高出一个层次以上，深表佩服。
本文系观察者网独家稿件，部分内容曾刊发于知乎。文章内容纯属作者个人观点，不代表平台观点，未经授权，不得转载，否则将追究法律责任。关注观察者网微信guanchacn，每日阅读趣味文章。