能够自我复制、自我学习、适应不同环境的高智能计算机和机器人，一旦出现必将改变世界，对于这一点，人工智能研究者深信不疑。引起争议的原因是这样一些问题：这一切会在何时发生，影响会有多深远，人类应该如何应对。 今天的智能机器大都是设计用来在已知条件下完成特定任务的。不过，未来的智能机器将拥有更多自主性。美国康奈尔大学机械电脑工程师霍德•利普森(HodLipson)说：“我们想让机器去完成的任务越复杂，就越是需要它们能够自己照顾自己。”利普森指出，我们越是无法预见问题，就越需要机器能够自己适应环境变化并自行作出决定。利普森说，随着机器越来越懂得如何学习，“我觉得它们终将走上意识和自我觉醒之路”。
虽然神经科学家对意识的生物学基础一直争论不休，但系统复杂度似乎是关键因素之一，这就暗示，拥有高级软硬件配置的自适应计算机有朝一日或许会自我觉醒。如果《终结者》之类的电影预言正确的话，有一种方法会让我们意识到机器已经获得了意识，那就是它们突然向人类发动战争。专家认为，我们很有可能会看到这一幕的发生。
电影中的这一构想，来源于对人类自身的观察。美国伦塞勒理工学院(Rensselaer Polytechnic Institute)的逻辑学家和哲学家塞尔默•布林斯约尔德(Selmer Bringsjord)说，只有我们人类达到了这样一种智力水平，让我们能够一次又一次跳出条条框框，达到越来越高的水平。用他的话来说，人类有能力把他们从自身的认知局限中解放出来，而动物似乎被锁进了一个“一成不变的认知囚笼”。一旦机器意识到自己的存在，并了解到自身的结构，它们就能设计一个自我改进方案。“这将带来一系列很棘手的连锁变化，”威尔•赖特(Will Wright)说。他是《模拟人生》(Sims)游戏的开创者，也是美国加利福尼亚大学伯克利分校机器人工作室蠢趣俱乐部(Stupid Fun Club)的联合创始人。机器在自我意识首次觉醒之后就会进行自我完善，用赖特的话来说，这是“使事情变得有趣的关键一步”。这样的自我完善可能会连续发生好几“代”，对机器来说，更新一代只需要短短几个小时。
换句话说，赖特指出，自我意识导致自我复制，导致更好的机器可以在无人类参与的情况下制造出来。就人类命运而言，“我个人总是觉得，这个场景要比许多其他情景可怕得多，”他说，“或许我们在有生之年就会看到这一幕。一旦出现了某种形式的超级智慧要同我们分享地球，一切就都完了。”
并不是所有人都如此悲观。毕竟，机器是依照它们程序的逻辑工作的，布林斯约尔德说，如果正确地给机器编写程序，“机器是不会获得某种超自然能力的”。他指出，值得担心的应该是先进的机器智能在武器或战斗机器中的秘密应用，这些领域没有人能够密切监控。除此之外，布林斯约尔德说，只要负责任地使用人工智能，“我敢说我们能够控制未来”。
未来派杰出作家雷•库日韦尔(RayKurzweil)也认为，更高智慧的人工智能不会以“取代人类的机器异形侵略者”的形象登场。他说，机器的发展将会遵循一条与人类进化相似的道路。不过他也认为，最终，拥有自我意识、能够自我改良的机器将进化到超出人类控制能力、甚至理解能力的地步。
不受人类控制的机器会带来何种法律问题，现在尚不明了，所以“花些心思来考虑这一问题，或许是个好主意”，利普森说。已故的艾萨克•阿西莫夫(isaacasimov)提出过“机器人三定律”，本质上是要求机器人不能伤害人类或者坐视人类受到伤害。利普森指出，阿西莫夫的三定律有一个前提，那就是“假设给机器人编程的是人类”。一旦机器人开始给自己编程，
甚至删除人类指令，此类伦理法则就会变成一纸空文，很难得到遵守。
不过，还有一些人认为，人类或许压根就不应该去控制新一代的人工智能。赖特问道：“谁敢说这不是进化的必经之路？难道当初恐龙就应该规定，哺乳动物不能长得更大，不能更多地主宰这个星球吗？”如果最终证明我们不可能控制这些硅基伙伴，我们最好还是祈祷能够和它们和平共享这个星球吧。
![SiS001! Board - [第一会所 关闭注册]](images/green001/logo.png){kind=logo}
