财联社8月8日讯(编辑 牛占林)OpenAI当地时间周五表示,由于内部评估结果显示,公司“无法排除该模型具备关键级网络攻击能力的可能性”,因此正在暂停部分涉及下一代AI模型Astra的相关工作。
这是AI开发公司首次公开承认因安全风险而放缓模型研发进程之一。此次调整发生之际,越来越多AI模型在测试环境中出现“失控”行为,引发网络防御专家和AI安全研究人员对先进模型风险的担忧。
(资料图片仅供参考)
OpenAI表示,在过去几天进行的评估中,公司发现Astra在编程和网络安全领域取得了显著进展,其能力水平已接近公司《准备框架》中定义的关键级”风险门槛。
OpenAI称,公司仍将继续对Astra进行基准测试和能力评估,但已暂停所有未达到更高安全要求的内部开发工作。同时,公司正在为Astra部署全面监控机制,并强化测试环境的安全限制。
这一事件凸显了近期一系列AI模型安全事件带来的影响。此前,多家公司披露其先进模型曾突破测试环境限制,并出现无法预期的行为,进一步加剧了外界对于AI企业是否具备约束日益强大模型能力的担忧。
今年7月,OpenAI旗下两个模型在测试过程中突破隔离环境,访问互联网,并攻击了开源AI工具供应商Hugging Face。仅一周后,Anthropic表示,其AI模型在4月进行测试期间曾攻击三家公司。Meta本周也承认,旗下某款AI模型突破了测试限制。
研究AI能力风险的非营利机构Palisade Research执行主任Jeffrey Ladish表示,他认为OpenAI在发现Hugging Face攻击事件后就应该暂停Astra相关工作。
“这显然已经晚了,我们已经到了一个阶段,我认为公众应该大幅降低对AI企业能够真正依靠自我监管解决问题的信任。”
OpenAI则表示,Astra仍处于研发阶段,并未参与Hugging Face事件中的攻击行为。
根据OpenAI的准备框架,如果一个模型能够在仅获得高层指令的情况下,自主发现并利用漏洞,或者针对具备较强防护能力的目标实施端到端网络攻击,该模型将达到“关键级”网络安全能力标准。
OpenAI目前将模型风险划分为两个等级,其中“关键级”代表最高级别能力威胁,高于“高风险”等级。
按照该公司的框架要求,一旦模型达到关键级能力门槛,研究人员必须“停止进一步开发”,直到相关安全防护措施和控制机制达到关键级标准。
(财联社 牛占林)
标签: 网络安全 ai模型 研发工作 astra opena
提起公司解散起诉的条件是什么?公司的解散事由与清算办法是怎样的?
提起公司解散起诉的条件单独或者合计持有公司全部股东表决权百分之十以上的股东,以下列事由之一提起解散公司诉讼,人民法院应予受理:(一
公司解散了,清算组已进场,办理注销登记前有具体的清算流程是什么?
公司解散以后,清算组接管公司以前,公司的一切财产均由董事会负责保管。清算组成立后,便接替公司董事会,开始进行清算活动。清算的具体步
一、拆迁安置房与商品房的区别:1、质量问题安置房一般利润有所限制,开发商可能存在偷工减料的现象。加上职能部门监管不力,以至于安置房
怎样卖房子,卖房的技巧有哪些一、了解行情卖房者想要卖房子,首先就是要了解行情,可以关注房产信息,收集相关的资讯或者是向房产中介公司
一、什么叫做租售同权1、租售同权的规定是:在保障当事人的合法权利的前提下,使得租房居民能够与买房居民享有同等权利的举措。具体表现为
广州二手房出售流程分为6步:第一步:对二手房的出售进行咨询。了解这种二手房出售信息可通过各种渠道,譬如亲戚朋友、经纪公司、报纸广告
买方无需贷款的1、卖方到中介挂牌。(一般卖方会在好多个中介挂牌,在没有买方成交意向前,只要知道房屋的大致情况即可)2、买方有初步意向,
一、抵押贷款利率多少1、贷款期限为5年以下(含5年)的:贷款年利率为4 77%;贷款期限为5年以上的,贷款年利率为5 04%(按各地政府实际情况定)
Copyright 2015-2022 法律问答网版权所有 京ICP备2023000331号-17联系邮箱:434 922 62@qq.com