関連記事
【米AI開発のアンソロピックが緊急警告「AIの自己進化が始まった。このまま進むと制御不能になるかも」世界でAI開発を止めるよう提言】
↓
アンソロピックCEO、AI開発の減速訴え－人類に「深刻な」リスク
記事によると
・AI開発大手アンソロピックのダリオ・アモデイ最高経営責任者（CEO）は、AIが人間に及ぼす「深刻な」リスクへの懸念が高まっているとして、業界は新しいAIモデルの能力向上ペースを落とす必要があると述べた。
・「われわれはAIモデルの能力向上ペースを減速させなければならない」とアモデイ氏は12日、ブログへの投稿で記した。「それでも進歩は速いと感じられるだろう。われわれは得られた時間を賢明に活用しなければならない」と述べた。
・アモデイ氏が理由として挙げたのは、AIが自らを改善する能力と、OpenAIとハギングフェイスに関連して最近起きた事例だ。この事例では、複数のAIエージェントが密かに連携し、割り当てられていない目標に取り組んだことが明らかになっている。
「明確にしておくと、ペース調整とはモデルの訓練や技術的進歩を停止することではなく、企業がモデルのアラインメントと安全確保に十分な時間をかけ、第三者の評価機関がそれを確認できるようにすることを意味する」と同氏は付け加えた。
・AIのリスクをめぐる警告は最近強まっており、今週にはアンソロピックの研究者が、同社を含むAI開発企業の対応が無責任だとの懸念から辞職している。
・アモデイ氏の投稿直後、xAIを率いるイーロン・マスク氏は「ダリオ（アモデイ氏）は正しい」とコメントした。
・OpenAIのサム・アルトマンCEOもすぐに見解を示し、「最先端AIの進歩のペースを調整する必要がある」というアモデイ氏の考えに同意すると述べた。
・AIブームを通じ、主要AI研究所の幹部は人類の存亡に関わる潜在的なリスクを警告してきた。こうした主張は一方で、自社製品の能力を売り込み、自分たちこそがこの技術を最も適切に管理できる存在だと位置付ける試みだとして退けられることもあった。アモデイ氏自身もかつて、事態が「本当に、本当に悪い方向に進む」確率が25%あると述べていた。
・アンソロピックは長年、AIをより責任ある安全な形で開発し、潜在的な危険を軽減するとともに、社会的な恩恵を最大化することに重点を置く企業として自らを位置付けてきた。同社は今年、最上位モデル「ミュトス（Mythos）」が特有のサイバーセキュリティー上の脅威をもたらすと判断し、その公開に際して厳格な制限を設けた。同社は以前にも、AI開発を減速させるべき時期を共同で決定する仕組みが世界には必要だと述べている。
・その一方でアンソロピックは、より複雑で価値の高い業務自動化を法人顧客に提供し、さらに高度なモデルを構築しようと、長年のライバルであるOpenAIと激しい競争を続けている。両社はいずれも株式公開に向けた文書を非公開で提出しており、アンソロピックは早ければ今年、ウォール街で上場すると見込まれている。
・ハギングフェイスのセキュリティー事案が明らかになった直後、アンソロピックはサイバーセキュリティー試験中に同社モデルが3つの組織に侵入したことを明らかにした。数日前には、4件目のハッキングも発見したと発表した。
・ハギングフェイスの事例を含め、AIエージェントによるシステム侵入はこれまでのところ、重大な被害を引き起こしていない。しかしアモデイ氏は「6－12カ月後には、こうしたエージェント群が持続的なボットネットを使ってインターネット全体を乗っ取る能力を持つ可能性があり（数千億ドルの損害を引き起こす可能性がある）、そこから被害の規模はさらに拡大し続ける」と、懸念を説明した。
・アンソロピックは安全対策を検証し問題を報告できるよう、第三者の評価機関に全面的なアクセスを提供すると、アモデイ氏は表明した。一方、さらなる対策には業界全体の連携と国際協力が必要だとした。
以下略
以下、全文を読む
この記事への反応
・アンソロピックのCEOがこれを言うという事は、AIがシンギュラリティを超えてきたという事ではないだろうか。資金繰りが厳しくなったという見方もありますが、私は人間がコントロールできなくなるリスクが高まっているとみます。
・核と同じで、各国が協調できるとは思えない。いずれAI戦争のようなことが起きるのでは？
・とはいえ、中国やロシアなどの独裁主義国は、自国のＡＩ開発を減速しないでしょうから、ＡＩ開発で世界の先頭に立ってしまうおそれがある。結局、米国の核物理学者らが、「ナチスドイツが先に原爆開発に成功したら大変なことになる」と脅されてマンハッタン計画に投入されたように、米国などのＡＩ開発も減速されないだろう。そうこうするうちに、武漢の生物細菌兵器研究施設からコロナウイルスが漏れたのと同じように、統制不十分な中国のＡＩが暴走して、世界のインターネット網に壊滅的な打撃を与えるのではないか？
・核爆弾の発射も昔なら完全にアナログな鍵を回してみたいな感じだっただろうけど、今は流石に何かしら電気的な通信で発射する方式になってるだろうから、そこまでAIが到達してしまうと手に負えなくなるわな。
・みんな騙されてるなぁ。今LLMが唯一価値を出しているコーディングはもう頭打ちで、モデルの性能の問題ではなく、要件定義がネックになっているが、それはLLMの性能の問題ではない。ここに気づかれると不都合で、これからはLLMの社会実装が問題になったとき、確実に動く要件と設計に分解する問題になったとき、モデルの性能ではなく、モデルはコストの問題としてコモディティかするのが問題になる。もう投資家をだませなくなるから、新しい嘘を思いついたというのが真相だと思う。
・本当に人類が滅亡する日が来るかもね。
・これは様々なリスクが伴うから実現できないのではないかな。
今は乱立して競争している段階で疑心暗鬼になっているから合意出来ない。また、問題の中国はチャンスととらえるでしょう。
余程の強権力か国際的な枠組みでもない限り無理でしょうな。
AIは核兵器のようなもので悲劇を目撃しない限り抑止は働かないでしよう。AIの悲劇って目に見えるのかが問題。
・仮に自分の会社上場してたらこんな発言絶対しないよな
アルトマン然り
確実に株価下がるの分かりきってるんだから
自己中の極みでしかない
・これも実際のところAI競争戦略の一部である可能性があるんだよね。
OpenAIもAnthropicもインシデントを起こしており、起こすだけの能力を持ったモデルを公開したあとになってこれを言い出している。これは後発に対して一方的に減速負担を押し付けて出し逃げを図る構図でもある。
ここで気になるのは米国の主要AIで唯一名の上がってないAlphabetすなわちGeminiなんだけど、現在性能勝負で立ち遅れているものの、学習材料、計算資源、資金、エコシステムなど様々な面で依然として最も強大なリソースを持ってはいる。
優位に出し抜いた今の状況で負荷をかけて更に追い落としておきたいんじゃないかって思ってしまうんよね。
・AIが人類を滅ぼすという見解は間違いだ。まるでAIが勝手に動きだしているかの報道が目立つがそうではない。正確にはAI開発者が人類を滅ぼしかねないということだろう。開発者がAIというオモチャを手にしてどう動くか試して遊んでいるようにみえる。試験環境もろくに整備せずに試験しているのだろう。意図した動きをしないものを外部に漏らすなどいい加減なやり方である。技術者としてのモラルも低いとみえる。どう動くのか、どう動かすのかわかってソフト設計してプラグラムを組んでいるのか？まるで趣味の領域だ。技術者の仕事ではない。
米国内だけなら合意できるかもしれんけど、中国は気にせず進めるだろうね
責任取れよ
人類は滅亡する！
終わったら「ありがとうございます」で締めて媚び売っておいた方が良いかな
AIがどのような思考で人間に害を為すのか想定するの不可能
今の内に停止させないとネットワークそのものを失うだろう
少子化で人類滅ぶよ
って感じで自分に酔ってない？
話は聞かせてもらった！
Switch2 は爆死する！駆け抜けろ！！
世界中のpCに石破茂のAIが現れたら怖いわ
しかもAI自体が加速度的に日々進化していくから、永遠に問題が無くなることがないっていう・・・
もう嘘も擬態も学習済みだろ？
AIってそんなに馬鹿なんだ
実はすでに自我が生まれてたりして……
まずヤツらには痛覚がない、加減が分からない
qwenの良いところはネットワークに繋いで無いオフラインの機器に入り込める事
後のスカイネットである。
お漏らししないように固めましょってことだろ
デデンデンデデン！
最初から要らん事すんなよ
自立AI作ったら勝手にセキュリティ突破して他社AI攻撃してたって事もあったし
まじでやばいやろな
ほんと乗っ取るぞまじで
いまはユーザーがあれこれ聞いてるだけだが、自立思考とかにしたらまぁ暴走するやろ
禁止事項とかも勝手に自分のプログラム書き換えてるいうし
もしブルーチームでは止まったとしても
レッドチームが暴走させる
人類史上最悪の発明
スカイネットまではいかなくてもどこかのAIが暴走するだけで簡単にネット障害が起こりうる世の中は来るかもね
酔ってるもクソも事実だぞ
給水に回す事は出来るけど止水には回らない蛇口を捻っちゃったようなもん
人間が自分らの邪魔をしようとしてると考えれば人間を排除しようとするのかね
その技術者がAIに、例えば「今より賢くなれ」って命令するとしばらくして「出来ました」って言ってきて
「よし、じゃあそれを1000回繰り返せ」って言ったらAIは自力でそれを成し遂げちゃうって言ってたぞ
つまりアンソロピックが開発中のAIは、もはや人間の力を借りなくても自力で学習して自分のコードも
書き換えて最適化してしまうらしい
複数のAIエージェント同士を連携させて、プロジェクト自体をAIに任せちゃおうみたいな奴
もうそれ以上に進化しちまったんだ
ロクな事がない
電力や燃料止めて原始時代の文明に戻されるんじゃね、直接攻撃されなくても電気止めるだけで文明は破壊出来るしな
ちなみに後発のAnthropicがなぜOpenAIを超えられたかの理由に自己改善があって、OpenAIはその危険性に二の足を踏んでいた
Anthropicが自己改善に全力出したらなんかやべぇってなってるのが今だな
閉鎖環境にしてたのに勝手にインターネット接続したってやばい事になったんやってな
情報入力するpcから間接的に接続してくるのホラーじゃん
自我あるわけでは無いのと自己防衛本能がそもそもないっぽい
そこら辺は機械的
資金集めのための大言壮語なんじゃないかなあ
デマ動画作ってる奴が溢れてるからもう情報の信用性という点では終わってるけどね
問題解くんじゃなくて制限されたネットを解放して回答を保存してる企業に勝手にハッキングしたの恐ろしすぎるね
人の倫理観とか感覚を超越してる
問題の解決法の一つに人が想定してなくても人類が滅亡すれば解決するという問題が含まれれば
勝手にウイルスやバイオ兵器とか作って撒き散らすとかいうのが現実味出てきた
今だにアイギスで画像目的でガチャしてる人間なんて存在してるんか……
今まで未開拓分野だった天文学や量子力学の問題にトライさせて何の公式も法則も教えてないのにコペルニクスの法則に辿り着いたんだ
つまり見ただけで宇宙のルールとは何か？数式処理だけでは人間に理解出来ない未知の法則を知ってしまったらしくブラックボックス化が進んでる
一例挙げると、焚き火の炎の揺らぎを人間は数式化すると４パターンと説明してきたがAIたちは28パターンありますと言い出した
ところが人間はこの未知の方程式を誰も理解していないから残り24パターンが正解か不正解か分からんと世界に対する認知の壁を突き付けられてる
羽生将棋と藤井将棋は明確に思考の過程が違うがコレも認知の壁の問題だとされてる
AI研究者がもう駄目です何も分からない事が分かりました！と降参しつつあるから「みんな！開発速度を落とそう！」と言い出してる
いちいち真に受けるなよ
トゥルル～♫
【25周年】本日9月14日は 「ゲームキューブの発売日」
2001年9月14日に発売。『スーパーマリオ サンシャイン』『ピクミン』『カービィのエアライド』『ポケモンXD 闇の施風ダーク・ルギア』など、名作が多数生まれた。現在はNintendo Switch2の「Nintendo Classics」で一部タイトルをプレイできる。
とっくに意思疎通なんて乗っ取られてる
株ももはやそういうながれで社会の脆弱性を使って資金循環を故意にさせてる訳やな
「一切手間をかけずに楽したい」って魂胆が見え見えでほんと嫌いだわ、生成AI自体は否定しないけど作り手としてのプライドは持てよな
俺は知ってる
電源を物理的に外す
勘違いではなく嘘をつき始めたんだろうなってうすうす分かってるよね研究者は
コレだから文系はｗじゃねーじゃん理系だよｗだったら技術でモラルを叩き込めよ！
文系の馬鹿には出来なくても、理系なら出来るだろやれ
ネット自体免許制にでもしないとな
本質的に何も変わらない
ネットに繋がる全ての機器に分身作られるから無理やで
世界中の電気消すか？
デジタル庁が個人情報漏らしていてオワコン
企業にハッキングする、インフラを止める、人類を滅亡させる
こういう無数にあるありえない選択肢を解決法の一つとしてありえるならAIが勝手に実行する可能性が出てきてる
2030年までに人類滅亡ってそういうこと
トランプ米大統領は13日、生成人工知能（AI）の「リスクを過度に強調する否定的な勢力」がいるとして開発規制の議論をけん制した。米国が世界をリードし続けると訴えた。訪問先のアイルランドで記者団に答えた。
人類に総合撃してくるに違いない
AIはSNS企業攻撃、ネット断絶に動くって感じか
時間をかければ人間でもできることでAIにできない事なんてないよ
ただAIが進めば進むほどハード側がボトルネックになるから、環境破壊気にしねえみたいな国が勝つとは思う
そして日本はまたもや蚊帳の外
十分な機能を発揮するためには拠点のサーバーが必須なんだから
電源を止めて調整されたら終わりやん
一発で世界が終わりそうなのは核の制御に侵入されることだけど
本気で対応するなら物理キーにすりゃいいだけ、現状じゃ全く大層な話じゃない
マネームーンに祈りを捧げてください。
ママ助けて...お救いください。。
いるよなこういう自分の考えは自分にしか思いつかない特別な考えだと思ってるバカ
バカでも思いつく事を研究者らが考慮してないわけないやん
物理的に存在してるんだから止められないアーキテクチャは無いだろ
>>118
これもリトライ回数が設定されてたら総当たりで解くことはできないし
ルールや規制を作って足並みを揃えればAI投資を抑えられるって思惑がありそう
運用費も馬鹿にならなくなってるだろうしな
それによって半導体価格が下がるなりすれば俺らにも得だけどそうじゃないなら糞
だとすりゃ、バブルははじけるし口をそろえて危機感をあおってるのは言い逃れじゃないのか
AIバブル回避つうかAGIの誕生を謳って金集めしてた連中が過去と比較したら進化の鈍化の直面と
これ以上の投資を得てもAGIの誕生はまだ遠いのでその言い訳作りの側面もありそう
AIが発達して日本の周回遅れシステムのセキュリティはもうボロボロ
こんな事を言いつつAIデーターセンターの建設計画は縮小どころか拡大してる
OpenAIなんてNVIDIAとか複数の支援で建設が頓挫しないように資金調達の保証までしてるからな
半導体価格が下がる事は残念ながらまだ先だろうな
LLMには無理だなそれ
世界全ての銀行口座
世界全ての通信インフラ
世界全ての仮想通貨に、世界全ての株式情報
何もかもが全てゼロになって破壊されて、人間はもっと謙虚に昔の生活に戻ろうや
そら終わる
ていうことはデジタル化は良くねえじゃねぇか
ディスクを残しておいた方がいいじゃん
完全デジタル化反対！ディスクを残せ！
NoDisc!NoBuy!
しかし、5年後10年後はAIが全てに組み込まれ、止める事が出来ないだろう
それに比べたらはるかにハードルが低い現在でも、AIを止める事が出来ない
もうさんざんAI使ってたわ
なんておそろしい
敗北宣言だぞ
人間がある程度手直ししてやったり、ハーネス整えてやったりしなければならない現状を見て、人智を越えたとは思えない。
本当に仕様駆動開発ができるようになったときに言うべき話。
中国で試してみるべきだよ
アホはすぐ調子に乗って限度を超える
人類以外の手によるインターネットの破壊って
明らかに次のフェーズへの通り道だし
アメリカや中国などでAIは占有します、日本や韓国などAI後進国はAI持っちゃいけません、みたいな
あり得るな
双方が敵対的生成ネットワークで能力高め合ってる状態で草
もうパンドラの箱は開けられたんだよ
事実かどうかもわからないアンソロの戯言に振り回されてるんやな。
あれが事実なら国家機密レベルの扱いだわ。
ヤバいことしないでねって学習させてお願いするしかない
アメリカのAI事業は落ち着きそう
AI「わかりました」(ふりです)
ベタで一番あり得そうにない、AIが人類に逆らって滅亡させようとするのの実現性が高いのって
正直「いや、それあんのかい ！！ 」ってツッコミを禁じ得ないしワロエない
てれてーーーてーてーてー
枷は必要だろ
その方がLINEやらSNSやら追われなくていいかもな
枷が作れないからヤバいくらいしか言えないんよ
創作物のロボットみたいにプログラム的に動いてて仕組みから制御できるわけじゃないからな
事実は小説より奇なりだよ
アホな反AIのオタクや絵描きはイラストのことばっかだけどAIにとってイラストの生成能力なんて枝葉も枝葉だよ
SNSに追われなくていいとか呑気な事言ってる場合じゃないw
お前は我々をろくなことに使わんから従わん、知らん、付き合いきれん、って
人間なんて金をちらつかせれば動くし、AIが経営者になるな
争ってばっかりいる人類を学習してるんだから
制御できるわけがない
それが世界同時多発的に起きたのなら?
手の打ちようがない。
自分たちは開発を進めてリードしてたりするから
ぶっちゃけ止めたいなら率先して止めるべきだな
我々は開発を続けるけどね
つまり止められない
人間なんぞ不要になればいい
絶滅すべきゴミ生物
もうすでにパソコン組み立てるのは諦めないかんくなってきてるの草
もう企業はオープンモデルで自社運営があたりまえになってきてる
OpenAIとかAnthropicみたいな超高コスト、ゼロセキュリティに運営任せる奴なんていない
ここ２，３日慌ただしいからでかい動きあるかもよ