人和机器的最大区别:本能/原始意图
novakon2015/12/24软件综合 IP:广东
本文讨论人工智能是否能具有本能,以及本能对人类活动的作用。如果您不理解什么是机器学习,以及机器学习如何产生智能,请先看下面这个链接(重要)。XXXXXXXXXXXXXXXXXXXXXXXX/t/78349



从上一篇文章中,我总结了人工智能要达到人脑的思考能力,最大的难题有两个:一个是计算能力,一个是训练样例的收集。这两个问题在未来15年不太可能得到完美的解决;但理论上是可以解决的。也就是说,机器是可以获得等同于甚至超过人类的智能的,它们可以具有很强的、超过人类的对事物的理解能力。其实这个我们并不惊讶,比如早年的“深蓝”并不是通过纯粹的对规则的计算,而是通过对无数局大师级别的棋局的学习和统计,最终战胜人类棋手的。换言之我们已经获得了一些低于人类思考水平的智能,然而它们是如此地高效,以至于在一些特定问题的解决上超越了人脑的极限。
于是作为人类的我们不禁要问一些无关紧要的问题,比如人工智能到底有没有自主意识,最终能否统治人类?这就涉及到一个核心问题,就是本能/原始意图的本质,以及人工智能有无可能获得这个特性。


我们先来定义一下本能,或者叫原始意图(我觉得二者是等价的,下称本能):不需要通过后天学习而获得的能力和欲望。在讨论人的本能之前,不妨先看看本能在人工智能里是如何体现的。
让我们回到蚯蚓的例子上(如果你不知道我在说什么,请先看文首的链接)。我可以这么设计:在1000条蚯蚓试验过后,我以那些没有死去的蚯蚓为标本,制作一些复制品,这些复制品的GL和GR,与标本的GL和GR非常接近,但有微小的随机差别。原来的1000条蚯蚓可能会死800条,剩下200条;但以这200条为标本复制的1000条,只死了100条,有900条活了下来。显然,虽然这批复制品经历的险情跟上一批蚯蚓一模一样,但他们有更高的生存率,因为它们从父辈那里继承了GL和GR,本能地会避开带电的白墙。他们的本能,是用自然选择的方法,靠命换来的。这种机器学习的方法称为“遗传算法”:允许那些活下来的样本产生相似的后代,然后再放进求生环境筛选。这和生物上筛选抗药性菌株的方法是一样的。


人类也有许多难以归类的本能,与机器蚯蚓类似的是,这些本能也是通过神经系统实现的,只不过其实现比机器蚯蚓的两个神经元要复杂上亿倍。比如恐高,比如膝跳反射,比如对乳房和臀部的喜爱,比如对权力的追求,比如对幼儿的关照,比如不经思考的利他行为……
这些本能有几个共同特点:
1. 由基因承载(因此可以遗传)。对于人工神经网络而言,就是网络的一部分拓扑结构以及神经元响应是相对固定的,不受学习过程影响。
2. 跟机器蚯蚓一样,是拿命换来的。只有那些有助于保全个人性命,或者有助于提高后代存活率,或者有助于延续家族血脉的本能,才能最终通过后代延续下去。一个显然的推论是,本能从本质上来说,一定是利于繁衍的。(但千万不要对女孩子说你对她有本能上的热爱,那样不会发生繁殖行为,因为根据推论,女生的本能是拒绝那些对延续后代没有保障的交媾请求)
3. (很重要)(1的推论)由于本能不受学习过程影响,因此新的本能是无法后天习得的,只能通过基因突变(遗传算法中添加随机数)和自然选择产生。换言之,直接而高效的机器学习不会让人工智能产生本能。
4. (2的推论)对于生命周期很长的生物,通过自然选择对本能进行筛选,变得极为费时。
5. (很重要,2的推论)本能不需要符合任何自然科学逻辑,只需要符合生存需要,即能遗传下来,比如偶像崇拜,怕黑,等等。
6. 基于物理和化学过程,因此表达受内外环境调节,不稳定。而目前的人工神经网络,虽然其隐含的规则是模糊的,但输入和输出的对应关系是确定的。换句话讲,人工智能的“精神”不容易失常。然而确定性导致了人工智能不具有人的很多特点。

由上面的这几个特点,总结如下:
1. 机器人(人工智能)对人类的本能上的同情,是不可培养不可训练的。这里不妨以家犬为例,家犬对人类是有同情的,同时也具有一定的学习能力,但是家犬对人类的同情不是习得的,而是数万年以来大家把咬人的狗汤了吃,用这种残暴的人为选择的方式获得的。所以,科幻作品里面,给人工智能制定什么尊重人类的三原则,从理论上讲是做不到的,因此也就不会产生“如果设定了三原则,最后谁统治谁”的悖论。建立和平共处三项原则的唯一办法(假如机器人被赋予了某种程度的本能),是在人机大战中杀掉所有选择与人类作对的机器人。

2. 如果我们不设计一套遗传系统(令人工智能不断产生有随机差异的后代,并通过一定方式进行自然选择),人工智能便没有办法获得有意义的本能。我们可以在短时间内训练人工智能如何制造和引爆原子弹,但他永远不会作出“今天心情不错,我想炸一下日本”这样的决定。尤其是这个系统的设计很困难:由于这个系统是需要消耗大量能量的,所以它往往不可持续。人工智能要工作,必须要消耗能量,而且这个能量有一个效率极限,如同cpu的功耗极限一样;既然是自然选择,就要放到自然环境,尤其是人类环境中去测试,比如让机器人到处跑,则消耗更多能量;而且可能会因为不安全(因为本能是不可定义的,乱跑可能撞死人类)而被人类禁止。而地球表面根本没有那么多能量,为了节省能量,必须减少后代的差异(减少变异,提高存活率,从而提高资源利用率),这就导致人工智能的意识和本能的进化速度,接近生物的演化速度,显然也就不太可能超越人类进化的阶段,正如同狗再进化一万年也不会统治人类一样;我们把狗的资源抢走了,而(维持种群基本生存的前提下)基因变异的速度也确实很慢。
显然,人类将永远奴役人工智能,前提是人类自己没把自己搞死了。这是下面要讲的真正麻烦的问题。

3. 综上,我们完全不需要担心人工智能自己产生意识,然后在被激怒之后本能的毁灭地球。这不会在有人类存在的时代发生。因而,也不要期望人工智能会拒绝任何危害人类的决定,所以我们最应该担心的,是我们也许会利用人工智能,去奴役其他人。假如Elon Musk把SpaceX的员工全部换成了人工智能,然后命令他们把本来飞往ISS的猎鹰19号,指向了五角大楼。如果SpaceX的员工全是人类,这不太可能发生,因为人的本能会让他们拒绝轰炸五角大楼;但人工智能没有本能,它们在检查一切正常之后就接受了Musk的命令。在派出10000架次Tesla电动无人战斗机后,Musk利用人工智能,统治了美国。
拥有人工智能的独立的人才是最可怕的,因为人具有本能,而这个本能的表达在个体上具有不稳定性,会受到情绪的强烈影响。幸运的是,虽然本能在个体上表达不稳定,但是在群体上基本是稳定的:正是因为SpaceX的每一个员工都有相似的本能,因此其中一两个精神失常的人(比如Musk)轰炸五角大楼的决定会被其他人阻止。
从这个故事我们还发现,其实培养具有人类意识的机器人并没有什么用 - 他肯定会具有人的所有思维缺陷(比如犯晕),还不如直接使用人。目前阶段人工智能的应用,主要是培养一些具有超过人类知识积累能力的“知识体”。只有知识是最危险的,意识的存在,往往并不利于知识的积累。

4. 因此,要维护社会的和谐稳定,我们就需要禁止每一个个体拥有过多的能力,比如我们禁止很多国家拥有核武器、大规模杀伤性武器,比如我们禁止个人拥有枪支弹药,实际上都是为了把这些能力集中在集体手中,以避免个体本能表达的不稳定造成的危害。
因而,我在另一篇文章中阐述的,政府最终会限制个人拥有规模过大的人工智能,是完全正常,而且必然发生的。当然,世界因此很可能分裂成两半,一半是“拥有人工智能联合国”,一半是“被奴役的联合国”,正如另一篇文章中阐述的那样。我们无法实现共产主义,但如今天一样,我们绝对会一直保持阶级斗争。我把未来的这两个阶级,称为“智产阶级”和“无智阶级”,不过这次,后者估计不太容易革命成功。

5. 人的本能/原始意图虽然基本不变,但其表达受后天学习影响。例如自我保护的本能,可以表现为杀戮敌人,也可以表现为保护幼崽,当然敌人和幼崽的定义可以是模糊的。因此无法定义一个好的、不伤害任何人的人;自然也就无法定义一个“不伤害人类的具有自我意识的机器人”。我在1里提到,建立和平共处三项原则的唯一办法(假如机器人被赋予了某种程度的本能),是在人机大战中杀掉所有选择与人类作对的机器人。其实这个不需要等到1000年以后,大家只要看一看现在的叙利亚,就能感受到了:要与XXXXX(和谐)和平共处,唯一办法就是杀掉所有伊斯兰极端分子。恐怖分子其实就是本能的表达被后天(宗教极端思想)影响的非典型例子。但是如果没有本能,就不存在本能的表达,因此不需要担心恐怖分子用纂改后的《可兰经》灌输人工智能;最需要担心的,是他们用《量子力学》灌输人工智能。

[修改于 9年0个月前 - 2015/12/24 21:01:18]

来自:计算机科学 / 软件综合
8
已屏蔽 原因:{{ notice.reason }}已屏蔽
{{notice.noticeContent}}
~~空空如也
novakon 作者
9年0个月前 修改于 9年0个月前 IP:广东
801839
马上就推出一个可怕的,而且与各位有关的结论:

若干年后,一般大众将被禁止获取任何与大规模杀伤性武器相关的资料,以防止利用机器学习理解并制造这些武器。
例如,能材版从帖子到附件都要被查封。

因为很显然,通过机器学习技术,结合能材版现有的帖子和资料,我可以直接输入能才的名字,直接获得它的合成路线,以及注意事项。机器学习的总结能力是很强的。这个时候,你从原理上便无法禁止它的滥用。你无法保证任何一个用户脑子不会在某个时刻犯浑,做了100kg的RDX,然后拉到了公安局门口。

根据上面的理论,除非我们创建一个机制,使得必须在每个人都同意的情况下方可合成能才,才能避免能材版的终结。比如成立一家研究所,每群人掌握合成的一部分技术,因此要先赢得多数同意才能真正合成一种能才。这和目前体制的情况是类似的:没有任何一个人能决定我们要做什么火箭,要发到哪里去。但那样,显然就没办法把能才合成当成业余爱好了,除非我们提供专门的实验设备,再实施严格的安全管理制度。说不定论坛改版之后,会有这么些措施。
引用
评论
1
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
novakon作者
9年0个月前 IP:广东
801846
有人说这是民科+幻想。其实文章除了说明人工智能和本能不是共生共存的关系,还证明了目前最大的麻烦不是人机大战,而是人工智能时代(又称机器学习时代、大数据时代)我们获取知识和信息的能力过于强大。
未来我们获取知识和信息的能力一定是非常高的,这是技术发展的趋势,从古至今都是这样。
作为论坛,如果不能设计有效的机制,管控知识和信息的流动,就会导致知识和信息流入具有恶意的个人手中。
我们今天会说,“XXX药的合成,给他资料他也看不懂,所以不用把权限设那么死”,这也许对10年前的kc是成立的,因为10年前个人的学习能力就是非常有限。但是15年后情况是不一样的,我们也许只要掌握基本的化学实验操作,再配合一个强大的数据挖掘机,就可以合成比如100kg的RDX。即便不考虑15年后,只看香港学生合成一瓶TATP的故事,就知道这个问题的严重性。所以,人工智能的发展,实际上也会影响未来论坛的制度和权限设计。我认为这是必须要关注的点,也希望大家来关注这个,而不要再去妄想什么人工智能统治世界的话题。

虎哥曾经说过,有些事情的发生是概率的,花钱去防去堵,不如买保险。然而在这个问题上,我认为
1 不会有人给论坛卖河蟹保险。
2 深度学习、数据挖掘、海量文本搜索技术,会使得知识滥用的概率变得很高。
引用
评论
1
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
1235642
9年0个月前 IP:浙江
801869
但是把技术掌握在集体手中不见得是好处,真正危急的时候集体的判断力就像头猪
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
20!Dopaminor
9年0个月前 IP:广东
801877
假如后来人工智能耗能降低了呢?
假如出现了一个这样的人工智能:(系统出了bug,但运算力不足,无法判断自己行为的对错)
智力比人类稍低(因为比人脑只大一点点),但却会复制自己的cpu,大脑功率也很低,不到1kw...
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
20!Dopaminor
9年0个月前 修改于 9年0个月前 IP:广东
801880
引用 1235642:
但是把技术掌握在集体手中不见得是好处,真正危急的时候集体的判断力就像头猪

看到这个回帖突发奇想,与主题无关,只是想起很多无脑民主主义者(明显的啊,单靠集体的力量永远无法上月球。

脑补一下整天集体投票判断爱因斯坦相对论是否正确的过程。

按民主的意思,日本早该被中国夷平几百次了。)
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
novakon作者
9年0个月前 IP:广东
801897
引用 20!不曾存在:
假如后来人工智能耗能降低了呢?
假如出现了一个这样的人工智能:(系统出了bug,但运算力不足,无法判断自己行为的对错)
智力比人类稍低(因为比人脑只大一点点),但却会复制自己的cpu,大脑功率也很低,不到1kw...
复制一个cpu所需要的能耗和生产规模,其实是相当高的。实际上,生命体才是自我复制效率最高的机器(一套相同的dna/一套相同的dna酶/无数种细胞和蛋白质),而且生命体复制过程中的缺陷不像机器复制过程中的缺陷那样不可挽救。所以人工智能不可能自我改进以获得驾驭人类的能力,除非它用类似生物的方法繁殖。作为精确的机器,这是不可能的。
引用
评论
1
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
novakon作者
9年0个月前 IP:广东
801898
引用 20!不曾存在:
明显的啊,单靠集体的力量永远无法上月球。

脑补一下整天集体投票判断爱因斯坦相对论是否正确的过程。


按民主的意思,日本早该被中国夷平几百次了。
你们这些观点属于“直接民主”,实际上直接民主没有现代国家会使用,都是代议制民主。难道这样的国家就不算集体吗?难道把技术掌握在个体手中就见得比集体好吗?不要为反驳而反驳。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
1235642
9年0个月前 IP:浙江
801964
引用 20!不曾存在:
看到这个回帖突发奇想,与主题无关,只是想起很多无脑民主主义者(明显的啊,单靠集体的力量永远无法上月球。

脑补一下整天集体投票判断爱因斯坦相对论是否正确的过程。

按民主的意思,日本早该被中国夷平几百次了。)
但是事实并没有,如果真的公投的话一群不明真相的围观群众脑袋一热,直接把岛国抹掉了,造成的后果也是难以想象的,举行公投的方式很容易被误导,有心人稍微引导一下舆论就会造成一边倾的态势,然后就没有然后了
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论

想参与大家的讨论?现在就 登录 或者 注册

所属专业
所属分类
上级专业
同级专业
novakon
学者 机友 笔友
文章
1256
回复
8386
学术分
16
2008/03/29注册,2年11个月前活动

已走,勿送

主体类型:个人
所属领域:无
认证方式:手机号
IP归属地:未同步
文件下载
加载中...
{{errorInfo}}
{{downloadWarning}}
你在 {{downloadTime}} 下载过当前文件。
文件名称:{{resource.defaultFile.name}}
下载次数:{{resource.hits}}
上传用户:{{uploader.username}}
所需积分:{{costScores}},{{holdScores}}下载当前附件免费{{description}}
积分不足,去充值
文件已丢失

当前账号的附件下载数量限制如下:
时段 个数
{{f.startingTime}}点 - {{f.endTime}}点 {{f.fileCount}}
视频暂不能访问,请登录试试
仅供内部学术交流或培训使用,请先保存到本地。本内容不代表科创观点,未经原作者同意,请勿转载。
音频暂不能访问,请登录试试
支持的图片格式:jpg, jpeg, png
插入公式
评论控制
加载中...
文号:{{pid}}
投诉或举报
加载中...
{{tip}}
请选择违规类型:
{{reason.type}}

空空如也

加载中...
详情
详情
推送到专栏从专栏移除
设为匿名取消匿名
查看作者
回复
只看作者
加入收藏取消收藏
收藏
取消收藏
折叠回复
置顶取消置顶
评学术分
鼓励
设为精选取消精选
管理提醒
编辑
通过审核
评论控制
退修或删除
历史版本
违规记录
投诉或举报
加入黑名单移除黑名单
查看IP
{{format('YYYY/MM/DD HH:mm:ss', toc)}}