OpenAI致力于防止AI毁灭人类？ - 港澳能源网

OpenAI致力于防止AI毁灭人类？

2023-07-10 10:10:05 来源：集微网

集微网消息，据The Register报道，OpenAI表示，它正在将五分之一的计算资源用于开发机器学习技术，以阻止超级智能系统“失控”。

这家旧金山人工智能初创公司成立于2015年，其既定目标始终是安全地开发通用人工智能。这项技术目前还不存在，专家们对于这项技术究竟会是什么样子或何时到来存在分歧。

【资料图】

尽管如此，OpenAI打算拿出20%的处理能力，并成立一个由联合创始人兼首席科学家Ilya Sutskever领导的新部门，以某种方式防止未来机器危害人类。OpenAI之前曾提出过这个话题。

“超级智能将是人类发明的最具影响力的技术，可以帮助我们解决世界上许多最重要的问题，”这位未来的物种救世主本周表示。

“但超级智能的巨大力量也可能非常危险，并可能导致人类丧失权力，甚至人类灭绝。”

OpenAI相信，能够超越人类智能并压倒人类的计算机系统可能在这十年内被开发出来。

“管理这些风险将需要新的治理机构并解决超级智能协调的问题：我们如何确保人工智能系统比人类更聪明地遵循人类的意图？”该公司补充道。

已经存在使模型与人类价值观保持一致（或者至少尝试使模型保持一致）的方法。这些技术可能涉及“人类反馈强化学习”（RLHF）。通过这种方法，你基本上是在监督机器来塑造它们，使它们的行为更像人类。

尽管RLHF帮助ChatGPT等系统不易生成有毒语言，但它仍然会引入偏见，并且难以扩展。它通常涉及必须以不是很高的工资招募大量人员来提供模型输出的反馈——这种做法有其自身的一系列问题。

据称，开发人员不能依靠少数人来监管一项会影响许多人的技术。OpenAI的对齐团队正试图通过构建“一个大致达到人类水平的自动对齐研究员”来解决这个问题。OpenAI希望构建一个人工智能系统，而不是人类，让其他机器与人类价值观保持一致，而无需明确依赖人类。

在我们看来，这将是人工智能训练人工智能变得更像非人工智能。有点先有鸡还是先有蛋的感觉。

例如，这样的系统可以搜索有问题的行为并提供反馈，或者采取其他一些步骤来纠正它。为了测试该系统的性能，OpenAI表示，它可以故意训练未对齐的模型，并观察对齐AI清理不良行为的效果如何。新团队设定的目标是在四年内解决对齐问题。

“虽然这是一个令人难以置信的雄心勃勃的目标，我们不能保证成功，但我们乐观地认为，集中一致的努力可以解决这个问题。有许多想法在初步实验中显示出了希望，我们有越来越有用的进展指标，我们可以使用今天的模型来实证研究其中的许多问题，”该机构总结道。

“解决问题包括提供证据和论据，让机器学习和安全社区相信问题已经解决。如果我们对我们的解决方案没有很高的信心，我们希望我们的发现能让我们和社区做出适当的计划。 ”

关键词：

推荐内容

产业

钢铁行业兼并重组行业供需结构有望改善

2023-01-09
阿里巴巴发布2023财年Q1财报连续五个季度亏损同比收窄

2022-08-06
游客因未购物遭导游辱骂？九寨沟：相关部门已介入调查

2021-10-20

油气

1

河北深州警方打掉一暴力催债团伙 36名嫌犯被刑拘

2

寒潮降温破冰点如何保障温暖过冬？探访北京城管及供热

3

莆田致2死3伤案嫌犯拒捕并畏罪自杀经抢救无效死亡

4

福建福州一在建摩天轮发生垮塌事故原因正在调查中

5

为什么对张恒处3227万元罚款？其违法事实有哪些？

6

山西民政部门支出超2亿元捐款保障受灾困难民众基本生活

7

张恒被税务部门依法处以3227万元罚款

8

湖北赛武当国家级自然保护区监测到珍稀动物

9

首届“优秀长江协助巡护员”评选颁奖

10

今年火灾事故已超6000起！电动自行车为何频频爆炸？

经济

国家一级保护动物梅花鹿误入羊群内蒙古警方及时救助

　　中新网通辽10月18日电 (记者张林虎)18日，记者从内蒙古自治区通辽市奈曼旗公安局获悉，国家一级保护动物--梅花鹿误入当地村民羊群，

浙江杭州西湖首次推“环湖游线” 重现灵隐天竺上香水路

　　中新网杭州10月18日电 (王题题胡燕婕)云天收夏色，浅秋正渐浓。10月18日，浙江杭州市西湖游船有限公司推出的惠民多站点“西湖环湖游

福建福州在建摩天轮事故续：安装过程中外围轮毂脱落无

　　中新网福州10月18日电 (记者龙敏王东明)福州市晋安区官方18日晚间通报，18日14时47分，晋安区岳峰镇化工路爱摩轮商业广场项目摩天

【母亲河畔的中国】黄河润泽甘肃：沿岸城市兴文旅

　　中新网兰州10月18日电 (闫姣艾庆龙吉翔)“红山白土头，黄河向西流。”不少人疑问，天下黄河向东流，为何甘肃永靖县这段黄河却向西

《清华城市健康设施指数》：城市健康设施状况与其经济发

　　中新网北京10月18日电《清华城市健康设施指数》18日在北京发布。报告成果显示，城市健康设施指数领先城市以中心城市和东部沿海城市