2025年5月22日・第217回国会 参議院 内閣委員会 第16号（外部サイト、新しいタブで開きます） の 109 番目の発言（外部サイト、新しいタブで開きます）（全 116 発言）
基本的にはそのようなことでいいと思います。
囲碁の場合のＡＩがまさにそうだったのですが、ルールを与えているわけですね。こういうルールで勝ち負けを判定しますよと。それはＡＩにトライアル・アンド・エラーを自動的に何度も何度もやらせたわけであります。そうすると、これまでの人間のいわゆる定石では発見されていない手法というのが発見されたというようなことがございました。この場合は、基準を与えていて、基準に対して最適化しなさいよという人間の意図は伝わっているわけですね。ただ、それはきっとこういう動作になるであろうなという我々の予想とは違う結果が出ていたわけであります。
このような形でのずれというのが起きていて、なぜこうなったかが分からない。良いのは良いんです。良いことは分かるんだけど、何でなのか分からないというのが今ＡＩについて言われているブラックボックス化と呼ばれることの実態であります。
106
大島九州男(れいわ)
よくＳＦの世界じゃないけども、我々、今回サイバー法案もやりましたと。 じゃ、当然このＡＩ、コンピューターですから、いろんな外から攻撃を受けて、意図せぬそういう脳に変換されていると。我々人間でも、例えば、我々は政党人ですから政党で決まっていることを当然言うと思っていたら、突然何か女系天皇がどうだとかいうようなことを言ったみたいなね、いうような、えっ、何これというような、おかしいんじゃないの、壊れたのみたいなね、いう部分を、これを修復をしていって直していきながらみたいなこともあるんでしょうけど、実際、そういう意図せぬことをやられるというようなことも当然ある…
コンピューター自体は、あるいはＡＩというプログラム自体は、その書かれたとおりにしか動きません。
問題は、我々人間がこう動いてほしいなという思いをプログラムという形で記述するわけですが、そこがパーフェクトではないということですね。つまり、いわゆるバグという問題が起きて、それはコンピューターの誤動作だというふうに我々はつい表現してしまうのですが、プログラムは正常に動作しているんです。人間の表現が間違えたのですね。そのような問題はＡＩについても常に起こり得ます。
108大島九州男(れいわ)
済みません、何かちょっと我々も素人であれなんですけど、ブラックボックス化っておっしゃったですよね、先ほど。何でそれが出たか分からないというような、だから、自分たちはこういうふうな意図でインプットしたんだけど、こういう答えが出てくるというのはちょっと理解に苦しむなというのは、勝手にその人工知能がそこで何か違う思考というか違うものを取り入れてやっていると、そういう認識でいいんですかね、そのブラックボックスというのは。大屋さん。
基本的にはそのようなことでいいと思います。
囲碁の場合のＡＩがまさにそうだったのですが、ルールを与えているわけですね。こういうルールで勝ち負けを判定しますよと。それはＡＩにトライアル・アンド・エラーを自動的に何度も何度もやらせたわけであります。そうすると、これまでの人間のいわゆる定石では発見されていない手法というのが発見されたというようなことがございました。この場合は、基準を与えていて、基準に対して最適化しなさいよという人間の意図は伝わっているわけですね。ただ、それはきっとこういう動作になるであろうなという我々の予想とは違う結果が出ていたわけであります。
このような形でのずれというのが起きていて、なぜこうなったかが分からない。良いのは良いんです。良いことは分かるんだけど、何でなのか分からないというのが今ＡＩについて言われているブラックボックス化と呼ばれることの実態であります。
110大島九州男(れいわ)
引き続きあれなんですが、ＡＩを使って今軍事目的でドローンで飛ばして攻撃していると、当然そのプログラムはこの目標に向かって行きなさいといって出すわけですけど、それを何らかの形で違う方向へ持っていくということもできるわけですよね。じゃ、それがブラックボックス化されて、今言うように勝手に、インプットは、我が国のために、平和を守るために君たちは頑張るんだぞというインプットであったと、ところが、それが何か違う意図せぬ国のところに例えば飛んでいったと。でも、それはＡＩからすると、いやいや、自分たちの国を守るためにそこを攻撃したんだみたいなことも起こり得るという、そう…
二つの事案があろうかと思います。 一つは、おっしゃった例の一つは、サイバー攻撃があったようなケースで、本来学習させたもの、あるいは利活用者が意図していたのとは違う目的が勝手に注入されたと、こういう形でのアタックを受けることによってシステムが乗っ取られる危険というのは当然ございます。これについては、したがって、結果をちゃんと検証して、ドローンの場合であれば、多分違った方向に行ったのが目に見えますので、その時点でシステムをシャットダウンして、安全回復、安全確保措置を講じるみたいなことが要請されることになります。 それとは別に、先ほどのバグと同じなのですが…
112大島九州男(れいわ)
ということは、まとめますと、生命を危険に冒すような機械というかそういうものにＡＩを今使ってやっていくというのは時期尚早であるし、安全性がまだ確保されていないので、それは慎重というよりはやめた方がいいですよという、そういう認識でいいですか。