二つの事案があろうかと思います。
一つは、おっしゃった例の一つは、サイバー攻撃があったようなケースで、本来学習させたもの、あるいは利活用者が意図していたのとは違う目的が勝手に注入されたと、こういう形でのアタックを受けることによってシステムが乗っ取られる危険というのは当然ございます。これについては、したがって、結果をちゃんと検証して、ドローンの場合であれば、多分違った方向に行ったのが目に見えますので、その時点でシステムをシャットダウンして、安全回復、安全確保措置を講じるみたいなことが要請されることになります。
それとは別に、先ほどのバグと同じなのですが、一定の評価基準は伝えましたと。ところが、その評価基準が言葉足らずであった、我々からするとですね、というようなことがよく起きるわけであります。先ほど申し上げたＨＡＬ９０００の例というのは実はそのケースだったはずで、要するに、安全を確保しようとすると、中に乗っている人間を殺すのが一番早いのではないかというふうに人工知能が考えちゃったみたいな事案だったわけですね。
なので、これについては、まず第一に、ＡＩシステムに入力する目的をちゃんと正しく検証するということが必要になってまいりますし、やはり、事後にその効果を検証し、監査の問題ですけれども、間違ってないということをきちんと確認していかないといけない。
あるいは、特に重大で回復不能な損害が生じ得るシステムについては、これは直接に出力をさせるのではなくて、あるいは出力から自動的に何か起こすのではなくて、人間が介在して、本当にこれでいいのかというのを確認した上でないとゴーサインが出ませんよみたいな安全確保措置を講じなければいけないということになろうかと存じます。
108
大島九州男(れいわ)
済みません、何かちょっと我々も素人であれなんですけど、ブラックボックス化っておっしゃったですよね、先ほど。何でそれが出たか分からないというような、だから、自分たちはこういうふうな意図でインプットしたんだけど、こういう答えが出てくるというのはちょっと理解に苦しむなというのは、勝手にその人工知能がそこで何か違う思考というか違うものを取り入れてやっていると、そういう認識でいいんですかね、そのブラックボックスというのは。大屋さん。
この発言のページ
109大大屋雄裕慶應義塾大学法学部法律学科教授
基本的にはそのようなことでいいと思います。
囲碁の場合のＡＩがまさにそうだったのですが、ルールを与えているわけですね。こういうルールで勝ち負けを判定しますよと。それはＡＩにトライアル・アンド・エラーを自動的に何度も何度もやらせたわけであります。そうすると、これまでの人間のいわゆる定石では発見されていない手法というのが発見されたというようなことがございました。この場合は、基準を与えていて、基準に対して最適化しなさいよという人間の意図は伝わっているわけですね。ただ、それはきっとこういう動作になるであろうなという我々の予想とは違う結果が出ていたわけであります…
この発言のページ
110大島九州男(れいわ)
引き続きあれなんですが、ＡＩを使って今軍事目的でドローンで飛ばして攻撃していると、当然そのプログラムはこの目標に向かって行きなさいといって出すわけですけど、それを何らかの形で違う方向へ持っていくということもできるわけですよね。じゃ、それがブラックボックス化されて、今言うように勝手に、インプットは、我が国のために、平和を守るために君たちは頑張るんだぞというインプットであったと、ところが、それが何か違う意図せぬ国のところに例えば飛んでいったと。でも、それはＡＩからすると、いやいや、自分たちの国を守るためにそこを攻撃したんだみたいなことも起こり得るという、そう…
この発言のページ
- （上の発言）
111大大屋雄裕慶應義塾大学法学部法律学科教授
二つの事案があろうかと思います。
一つは、おっしゃった例の一つは、サイバー攻撃があったようなケースで、本来学習させたもの、あるいは利活用者が意図していたのとは違う目的が勝手に注入されたと、こういう形でのアタックを受けることによってシステムが乗っ取られる危険というのは当然ございます。これについては、したがって、結果をちゃんと検証して、ドローンの場合であれば、多分違った方向に行ったのが目に見えますので、その時点でシステムをシャットダウンして、安全回復、安全確保措置を講じるみたいなことが要請されることになります。
それとは別に、先ほどのバグと同じなのですが、一定の評価基準は伝えましたと。ところが、その評価基準が言葉足らずであった、我々からするとですね、というようなことがよく起きるわけであります。先ほど申し上げたＨＡＬ９０００の例というのは実はそのケースだったはずで、要するに、安全を確保しようとすると、中に乗っている人間を殺すのが一番早いのではないかというふうに人工知能が考えちゃったみたいな事案だったわけですね。
なので、これについては、まず第一に、ＡＩシステムに入力する目的をちゃんと正しく検証するということが必要になってまいりますし、やはり、事後にその効果を検証し、監査の問題ですけれども、間違ってないということをきちんと確認していかないといけない。
あるいは、特に重大で回復不能な損害が生じ得るシステムについては、これは直接に出力をさせるのではなくて、あるいは出力から自動的に何か起こすのではなくて、人間が介在して、本当にこれでいいのかというのを確認した上でないとゴーサインが出ませんよみたいな安全確保措置を講じなければいけないということになろうかと存じます。
112大島九州男(れいわ)
ということは、まとめますと、生命を危険に冒すような機械というかそういうものにＡＩを今使ってやっていくというのは時期尚早であるし、安全性がまだ確保されていないので、それは慎重というよりはやめた方がいいですよという、そういう認識でいいですか。
この発言のページ
113大大屋雄裕慶應義塾大学法学部法律学科教授
安全確保措置が十分に講じられていれば大丈夫だし、そうでなければいけないというのがお答えになろうかと思います。
一例として申し上げますと、医療に用いられるＡＩ診断ですね、診断機器にＡＩを組み込んだ場合に、それがちゃんと動作しているし期待どおりだよなということは常に医師が点検して、その上でないと実際の医療行為につながらないようになっております。
このような形で、能力のある人がちゃんと監査した上でということであれば生命のようなものについても利用可能だと思いますし、何かインターネット上でいきなりＡＩ病気診断システムが動き始めるというような事態は避けた方がよろ…
この発言のページ
114大島九州男(れいわ)
どうもありがとうございました。
この発言のページ