特許 7593328 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06N 3/02 20060101AFI20241126BHJP

   G08G 1/16 20060101ALI20241126BHJP

【ＦＩ】

G06N3/02

G08G1/16 C

【請求項の数】 19

(21)【出願番号】P 2021555113

(86)(22)【出願日】2020-11-05

(86)【国際出願番号】 JP2020041428

(87)【国際公開番号】W WO2021090897

(87)【国際公開日】2021-05-14

【審査請求日】2023-10-16

(31)【優先権主張番号】P 2019203462

(32)【優先日】2019-11-08

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】鈴木 健二

(72)【発明者】

【氏名】小林 由幸

【審査官】真木 健彦

(56)【参考文献】

【文献】国際公開第２０１９／０８７５６１（ＷＯ，Ａ１）

【文献】MORI Keisuke, et al.，Visual Explanation by Attention Branch Network for End-to-end Learning-based Self-driving，2019 IEEE Intelligent Vehicles Symposium (IV)，IEEE，2019年06月09日，P.1577-1582

【文献】SELVARAJU Ramprasaath R., et al.，Grad-CAM: Visual explanations from Deep Networks via Gradient-based Localization，2017年，P.618-626，Internet: <URL: https://openaccess.thecvf.com /content_ICCV_2017/papers/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.pdf>

【文献】RIEGER Laura, et al.，Aggregating explainability methods for neural networks stabilizes explanations，arXiv，2019年03月01日，全10頁， Internet: <URL: https://arxiv.org/pdf/1903.00519v1.pdf>

【文献】KIM Jinkyu, et al.，Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention，CVF，2017年，P.2942-2943，Internet: <URL: https://openaccess.thecvf.com/content_ICCV_2017/papers/ Kim_Interpretable_Learning_for_ICCV_2017_paper.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークの構造を有し、自律的に移動可能な移動体の制御に用いられるモデルと、前記モデルに入力される入力情報と、前記移動体の乗車者の生体情報とを取得する取得部と、
前記モデルへの前記入力情報の入力後の前記モデルの状態を示す状態情報に基づいて、前記モデルへの前記入力情報の入力後の前記移動体の制御の根拠を示す根拠情報を生成する生成部と、
を備え、
前記生成部により生成された前記移動体の制御の根拠を示す根拠情報とともに前記移動体の前記乗車者の前記生体情報を前記移動体のアクションの根拠を示す情報として出力する
情報処理装置。

【請求項2】

前記生成部は、
前記モデルの出力を用いた処理の根拠を示す前記根拠情報を生成する
請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、
自律的に行動する装置の制御に用いられる前記モデルを取得し、
前記生成部は、
前記モデルへの前記入力情報の入力後の前記装置の制御の根拠を示す前記根拠情報を生成する
請求項１に記載の情報処理装置。

【請求項4】

前記取得部は、
自動運転により動作する車両である前記移動体の制御に用いられる前記モデルを取得する
請求項１に記載の情報処理装置。

【請求項5】

前記生成部は、
前記移動体の移動方向の根拠を示す前記根拠情報を生成する
請求項１に記載の情報処理装置。

【請求項6】

前記取得部は、
センサ情報の入力に応じて出力を行う前記モデルと、センサにより検知された前記センサ情報である前記入力情報とを取得し、
前記生成部は、
前記センサによる検知に応じて前記入力情報が入力された前記モデルの前記根拠情報を生成する
請求項１に記載の情報処理装置。

【請求項7】

前記取得部は、
画像情報の入力に応じて前記画像情報の認識結果を出力する前記モデルと、前記画像情報である前記入力情報とを取得する
請求項１に記載の情報処理装置。

【請求項8】

前記生成部は、
前記モデルの出力に関する根拠を示す画像情報を前記根拠情報として生成する
請求項１に記載の情報処理装置。

【請求項9】

前記生成部は、
前記モデルの出力に関する根拠を示すヒートマップを前記根拠情報として生成する
請求項８に記載の情報処理装置。

【請求項10】

前記取得部は、
ＣＮＮ（Convolutional Neural Network）を含む前記モデルを取得する
請求項１に記載の情報処理装置。

【請求項11】

前記生成部は、
前記モデルの畳み込み層の状態を含む前記状態情報に基づいて、前記根拠情報を生成する
請求項１０に記載の情報処理装置。

【請求項12】

前記生成部は、
Ｇｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）により前記根拠情報を生成する
請求項１１に記載の情報処理装置。

【請求項13】

前記取得部は、
他のモデルが出力する出力情報の入力に応じて出力を行う前記モデルと、前記他のモデルが出力した前記出力情報である前記入力情報とを取得し、
前記生成部は、
前記他のモデルによる出力に応じて前記入力情報が入力された前記モデルの前記根拠情報を生成する
請求項１に記載の情報処理装置。

【請求項14】

前記生成部は、
前記モデルへの前記入力情報の入力後の前記モデルの出力結果を含む前記状態情報に基づいて、前記根拠情報を生成する
請求項１に記載の情報処理装置。

【請求項15】

前記生成部は、
ＬＩＭＥ（Local Interpretable Model-agnostic Explanations）に関する処理により前記根拠情報を生成する
請求項１４に記載の情報処理装置。

【請求項16】

前記根拠情報を表示する表示部、
を備える
請求項１に記載の情報処理装置。

【請求項17】

ニューラルネットワークの構造を有し、自律的に移動可能な移動体の制御に用いられるモデルと、前記モデルに入力される入力情報と、前記移動体の乗車者の生体情報とを取得し、
前記モデルへの前記入力情報の入力後の前記モデルの状態を示す状態情報に基づいて、前記モデルへの前記入力情報の入力後の前記移動体の制御の根拠を示す根拠情報を生成し、
生成した前記移動体の制御の根拠を示す根拠情報とともに前記移動体の前記乗車者の前記生体情報を前記移動体のアクションの根拠を示す情報として出力する、
処理を実行する情報処理方法。

【請求項18】

ニューラルネットワークの構造を有し、自律的に移動可能な移動体の制御に用いられるモデルと、前記モデルに入力される入力情報と、前記移動体の乗車者の生体情報とを取得し、
前記モデルへの前記入力情報の入力後の前記モデルの状態を示す状態情報に基づいて、前記モデルへの前記入力情報の入力後の前記移動体の制御の根拠を示す根拠情報を生成し、
生成した前記移動体の制御の根拠を示す根拠情報とともに前記移動体の前記乗車者の前記生体情報を前記移動体のアクションの根拠を示す情報として出力する、
処理を実行させる情報処理プログラム。

【請求項19】

機械学習モデルで自律的に移動可能な移動体の制御を行う情報処理装置において、
センサ部と、
前記移動体の制御の根拠情報を生成する複数の根拠生成アルゴリズムを備えた根拠情報生成部と、
を備え、
１つまたは複数の根拠生成アルゴリズムに基づいて生成された前記移動体の制御の根拠を示す根拠情報とともに前記センサ部により検知された前記移動体の乗車者の生体情報を、前記移動体のアクションの根拠を示す情報として出力することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

自動運転等の機械（コンピュータ）が人間の行動を支援したり、コンピュータ自体が判断等を行い動作したりする種々のシステムが提供されている（例えば、特許文献１、２参照）。また、様々な技術分野において、機械学習を利用した情報処理が活用されており、ニューラルネットワーク等のモデルを学習する技術が提供されてきている。例えば、このような学習されたモデルは、上述のような自動運転等のシステムに利用される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１５４１４０号公報

【文献】特開２０１９－１０９６７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術（例えば特許文献１）によれば、非常信号が受信されると運転者により予め登録された非常にとるべき挙動が発動する技術が提案されている。また、従来技術（例えば特許文献２）によれば、自動運転を支援するために運転行動のデータを集約し道路ネットワークに関連付け管理・保存する技術が提案されている。このように、従来技術では、コンピュータが非常に動作を行なったりする技術が提供されているがコンピュータがどのように判断したかについては考慮されていない。

【0005】

一方で、自動運転等のコンピュータ（情報処理装置）が判断を行うシステムがどのように判断を行ったのかの判断根拠を人間にも把握可能にすることが望まれている。特に、ニューラルネットワークの構造を有するモデルについては、その構造の複雑さにより人間が判断根拠を把握することが難しいといった課題がある。この課題は自動運転に限らず、ニューラルネットワークの構造を有するモデルを用いる分野に共通する課題である。また、このようなコンピュータが実行した処理についての根拠を示すことは、ニューラルネットワークの構造を有する場合に限らず、コンピュータにより行われる処理全般に共通する課題である。そのため、情報処理装置による処理に関する根拠を説明可能にすることが望まれている。

【0006】

そこで、本開示では、情報処理装置による処理に関する根拠を説明可能にすることができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ニューラルネットワークの構造を有するモデルと、前記モデルに入力される入力情報とを取得する取得部と、前記モデルへの前記入力情報の入力後の前記モデルの状態を示す状態情報に基づいて、前記モデルへの前記入力情報の入力後の前記モデルの出力に関する根拠を示す根拠情報を生成する生成部と、を備える。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態に係る情報処理の一例を示す図である。

【図2】実施形態に係る情報処理の流れの一例を示す図である。

【図3】実施形態に係る移動体装置の構成例を示す図である。

【図4】本開示の実施形態に係るモデル情報記憶部の一例を示す図である。

【図5】本開示の実施形態に係るログ情報記憶部の一例を示す図である。

【図6】本開示の実施形態に係るモデルの一例を示す図である。

【図7】実施形態に係る情報処理の手順を示すフローチャートである。

【図8】移動体の制御処理の手順を示すフローチャートである。

【図9】実施形態に係る情報処理の他の一例を示す図である。

【図10】車両内システムの構成の概念図の一例を示す図である。

【図11】本開示の変形例に係る情報処理システムの構成例を示す図である。

【図12】本開示の変形例に係る情報処理装置の構成例を示す図である。

【図13】本技術が適用され得る移動体制御システムの概略的な機能の構成例を示すブロック図である。

【図14】移動体装置や情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0010】

以下に示す項目順序に従って本開示を説明する。
１．実施形態
１－１．本開示の実施形態に係る情報処理の概要
１－１－１．自動運転における課題及び効果等
１－１－２．他の可視化例
１－１－２－１．複合アルゴリズムによる可視化解析手法
１－１－３．他の適用例
１－１－４．ＡＩ倫理
１－２．実施形態に係る移動体装置の構成
１－２－１．モデル例
１－３．実施形態に係る情報処理の手順
１－４．他の情報処理例
１－５．車両内システムの構成の概念図
２．その他の実施形態
２－１．その他の構成例
２－２．移動体の構成
２－３．その他
３．本開示に係る効果
４．ハードウェア構成

【0011】

［１．実施形態］
［１－１．本開示の実施形態に係る情報処理の概要］
図１は、本開示の実施形態に係る情報処理の一例を示す図である。本開示の実施形態に係る情報処理は、図１に示す移動体装置１００によって実現される。

【0012】

移動体装置１００は、実施形態に係る情報処理を実行する情報処理装置である。移動体装置１００は、自動運転により走行する移動体である。例えば、移動体装置１００は、自動運転に関する種々の従来技術を適宜用いて自動走行する移動体である。移動体装置１００は、ＳＡＥ（Society of Automotive Engineers）において定義されるレベル０～５のいずれのレベルで自動化がされた車両であってもよい。図１の例では、移動体装置１００は、レベル３で自動化がされた車両である場合を示す。すなわち、図１の例では、移動体装置１００は、移動体装置１００自体が自律的に走行を制御し、必要に応じて移動体装置１００に乗っているユーザが操作することが可能である車両である場合を示す。なお、移動体装置１００は、運転手の乗車が必要ではないレベル４以上の高度な自動化がされた車両であってもよいし、レベル２以下であってもよい。

【0013】

また、図１の例では、自動運転により走行する車両いわゆる、自動車である移動体装置１００を移動体の一例として示すが、移動体は自律的に走行するものであれば、どのような物であってもよい。例えば、移動体は、４輪であるものに限らず、２輪や３輪などの４つ以外の車輪を有する形式の移動体や、車輪を有しない移動体、ドローン、ボット等、種々の形式の移動体であってもよい。また、図１の例では、人が乗る形式の移動体を例に示すが、移動体は人が乗せずに無人で自律的に移動する形式で合ってよいが、この点についての詳細は後述する。

【0014】

以下、図１に示す処理の詳細を、図２を参照しつつ説明する。図２は、実施形態に係る情報処理の流れの一例を示す図である。図１に示す例では、移動体装置１００にはユーザ（以下「ユーザＵ」ともいう）が乗車しており、移動体装置１００は道ＲＤ１１上を走行中である場合を示す。具体的には、図１に示す例では、移動体装置１００から後述する物体ＯＢ１１、ＯＢ１２の方へ向かう方向が移動体装置１００の前方になり、移動体装置１００が前方へ走行中である場合を示す。なお、道ＲＤ１１の側部は壁面等、移動体装置１００が進入できない領域であるものとする。まず、移動体装置１００は、センサ部１４（図３参照）により検知を行う（ステップＳ１１）。移動体装置１００は、画像センサ１４１（図３参照）により画像情報（単に「画像」ともいう）を検知する。図１の例では、移動体装置１００は、画像センサ１４１により画像ＩＭ１を検知（撮像）する。

【0015】

そして、移動体装置１００は、認識処理を行う（ステップＳ１２）。移動体装置１００は、画像センサ１４１により撮像された画像ＩＭ１を基に、認識処理を行う。移動体装置１００は、画像ＩＭ１に含まれる物体等を認識する処理を行う。移動体装置１００は、図２に示すような画像認識用のモデルＭ１を用いて、認識処理を行う。例えば、移動体装置１００は、画像ＩＭ１を入力情報ＩＮＤ１としてモデルＭ１に入力することにより、モデルＭ１に認識結果を出力させる。モデルＭ１は、モデルＭ２の入力に対応する情報を認識結果として出力する。例えば、モデルＭ１は、画像の入力に応じて、その画像に含まれる物体の種別（クラス）を示す情報と、その位置（領域）を示す情報を出力する。なお、上記は一例であり、モデルＭ１は、モデルＭ２の入力に対応する情報であればどのような情報を出力してもよく、例えば「信号は赤」といった撮像された画像の状況を示す情報を出力してもよい。

【0016】

ここで、モデルＭ１は、多層のニューラルネットワークであり、例えば図６に示すような４層以上の深層ニューラルネット、いわゆるディープニューラルネットワーク（ディープラーニング）等の構造を有する。また、モデルＭ１は、ＣＮＮ（Convolutional Neural Network）を含み、画像の入力に応じて、その画像に含まれる物体とその位置を示す情報を出力するモデルである。モデルＭ１は、ニューラルネットワークの構造を有するモデルである。例えば、モデルＭ１は、いわゆる畳み込み層を有するＣＮＮの構造を有するモデルである。

【0017】

図１の例では、移動体装置１００は、画像ＩＭ１をモデルＭ１に入力することにより、モデルＭ１に画像ＩＭ１の左側の位置（領域）に種別「人」である物体ＯＢ１１が存在することを示す情報を出力させる。また、移動体装置１００は、画像ＩＭ１をモデルＭ１に入力することにより、モデルＭ１に画像ＩＭ１の右側の位置（領域）に種別「車両」である物体ＯＢ１２が存在することを示す情報を出力させる。そして、移動体装置１００は、ステップＳ１３～Ｓ１６の処理を行う。なお、図１の例では、説明の便宜上、各処理にステップＳ１３～Ｓ１６を付するが、ステップＳ１４の後にステップＳ１５が行われることを示すものではない。例えば、ステップＳ１３～Ｓ１４の処理と、ステップＳ１５～Ｓ１６の処理は並列して行われる。

【0018】

まず、ステップＳ１３～Ｓ１４の処理を説明する。移動体装置１００は、生成処理を行う（ステップＳ１３）。移動体装置１００は、モデルＭ１への入力情報の入力後のモデルＭ１の状態を示す状態情報に基づいて、モデルへの入力情報の入力後のモデルの出力に関する根拠を示す根拠情報を生成する。移動体装置１００は、モデルＭ１への画像ＩＭ１の入力後のモデルＭ１の状態を示す状態情報に基づいて、モデルＭ１への画像ＩＭ１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。

【0019】

図１の例では、移動体装置１００は、Ｇｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）により、画像ＩＭ１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。例えば、移動体装置１００は、下記の文献に開示されるようなＧｒａｄ－ＣＡＭに関する処理により、画像ＩＭ１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。移動体装置１００は、ＣＮＮが含まれるネットワーク全般に適用可能な可視化手法であるＧｒａｄ－ＣＡＭの技術を用いて、画像ＩＭ１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。例えば、移動体装置１００は、ＣＮＮの最終層から各チャンネルの重みを計算し重みを掛け合わせることで各クラスに影響する部分を可視化することができる。このように、移動体装置１００は、ＣＮＮを含むニューラルネットワークにおいて画像のどの部分に注目して判断がなされたかを可視化することができる。

【0020】

・Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization <https://arxiv.org/abs/1610.02391>

【0021】

なお、Ｇｒａｄ－ＣＡＭの技術についての説明は適宜省略するが、移動体装置１００は、Ｇｒａｄ－ＣＡＭ（上記文献参照）の手法により、根拠情報を生成する。例えば、移動体装置１００は、対象とする種別（クラス）を指定して、指定したクラスに対応する情報（画像）を生成する。例えば、移動体装置１００は、Ｇｒａｄ－ＣＡＭの技術を用いて、逆誤差伝搬（Backpropagation）等の各種処理により、指定したクラスを対象に情報（画像）を生成する。

【0022】

図１の例では、移動体装置１００は、種別「人」のクラスを指定して、種別「人」に対応する根拠情報生成部ＲＳＤ１（図２参照）において根拠情報に関する画像を生成する。根拠情報生成部ＲＳＤ１は、例えば、種別「人」の認識（分類）のために注視している範囲（領域）を、いわゆるヒートマップ（カラーマップ）の形式で示す画像を生成する。図１では、白黒での表現となるため、ハッチングが濃い程、その領域が、種別「人」の認識（分類）のために注視している領域であることを示す。このように、図１の例では、根拠情報生成部ＲＳＤ１は、画像ＩＭ１の人である物体ＯＢ１１の位置が最も注視されており、人である物体ＯＢ１１が認識されていることを示す画像を根拠情報ＲＩＮＦ１として生成する。また、図１の例では、移動体装置１００は、車両である物体ＯＢ１２も適切に認識しているものとする。

【0023】

そして、移動体装置１００は、表示処理を行う（ステップＳ１４）。移動体装置１００は、根拠情報生成部ＲＳＤ１において生成した根拠情報ＲＩＮＦ１を表示部１１（図３参照）に表示する。図２に示すように、移動体装置１００は、根拠情報生成部ＲＳＤ１で生成した根拠情報に関する表示ＤＰにより可視化を実現する。

【0024】

上述のように、移動体装置１００は、ニューラルネットワークの構造を有するモデルの出力に関する根拠を説明可能にすることができる。このように、移動体装置１００は、情報処理装置である移動体装置１００による処理に関する根拠を説明可能にすることができる。これにより、移動体装置１００に乗車するユーザＵは、モデルＭ１乃至Ｍ３に関する根拠情報をリアルタイムに把握することができる。例えば、移動体装置１００に乗車するユーザＵは、実際の状態と根拠情報生成部ＲＳＤ１の根拠情報とに乖離がある場合、自動運転を中止して、ユーザＵ自身が移動体装置１００の操作を行うことが可能となる。図１の例では、根拠情報生成部ＲＳＤ１に示すように適切に人である物体ＯＢ１１が認識されているため、ユーザＵは、移動体装置１００の自動運転状態を維持してもよい。

【0025】

また、移動体装置１００は、根拠情報生成部ＲＳＤ１において生成される根拠情報をその基となる入力情報ＩＮＤ１である画像ＩＭ１に対応付けて記憶部１２（図３参照）に履歴として格納する。例えば、移動体装置１００は、入力情報ＩＮＤ１と根拠情報ＲＩＮＦ１等の根拠情報とを対応付けてログ情報記憶部１２２（図３参照）に格納する。これにより、移動体装置１００がどのような入力に対する判断により、その後の動作を行ったのかを検証可能となる。

【0026】

ここから、ステップＳ１５～Ｓ１６の処理を説明する。なお、ステップＳ１５の処理は、ステップＳ１２の処理が完了し次第行われる。

【0027】

移動体装置１００は、認識処理の認識結果を基に予測処理を行う（ステップＳ１５）。移動体装置１００は、モデルＭ１の出力を基に、予測処理を行う。移動体装置１００は、画像ＩＭ１に含まれる物体の移動等の行動（運動態様）を予測する処理を行う。移動体装置１００は、図２に示すような予測用のモデルＭ２を用いて、予測処理を行う。例えば、移動体装置１００は、モデルＭ１が出力する情報（認識結果情報）をモデルＭ２に入力することにより、モデルＭ２に予測結果を出力させる。例えば、モデルＭ２は、認識結果情報の入力に応じて、その認識結果情報に含まれる物体の移動方向や速度を示す情報を出力する。例えば、モデルＭ２は、多層のニューラルネットワークであり、例えば図６に示すような４層以上の深層ニューラルネット、いわゆるディープニューラルネットワーク（ディープラーニング）等の構造を有する。なお、モデルＭ２は、モデルＭ１が出力する情報に限らず、センサ情報等、種々の情報を入力として、予測処理を行ってもよい。

【0028】

移動体装置１００は、人である物体ＯＢ１１の運動態様を予測する。移動体装置１００は、物体ＯＢ１１の移動方向や速度を予測する。図１の例では、移動体装置１００は、物体ＯＢ１１が移動体装置１００の方に向かって移動していると予測する。また、移動体装置１００は、車両である物体ＯＢ１２の運動態様を予測する。移動体装置１００は、物体ＯＢ１２の移動方向や速度を予測する。図１の例では、移動体装置１００は、物体ＯＢ１２が移動体装置１００の方に向かって移動していると予測する。

【0029】

移動体装置１００は、予測処理の予測結果を基に行動計画を決定する処理を行う（ステップＳ１６）。移動体装置１００は、モデルＭ２の出力を基に、行動計画を示す生成する処理を行う。移動体装置１００は、予測した物体ＯＢ１１や物体ＯＢ１２の運動態様に基づいて、行動計画を決定する。移動体装置１００は、図２に示すような行動計画用のモデルＭ３を用いて、行動計画を決定する処理を行う。例えば、移動体装置１００は、モデルＭ２が出力する情報（予測結果情報）をモデルＭ３に入力することにより、モデルＭ３に行動計画を出力させる。例えば、モデルＭ３は、予測結果情報の入力に応じて、移動体装置１００の行動計画を示す情報を出力する。例えば、モデルＭ３は、多層のニューラルネットワークであり、例えば図６に示すような４層以上の深層ニューラルネット、いわゆるディープニューラルネットワーク（ディープラーニング）等の構造を有する。なお、モデルＭ３は、モデルＭ２が出力する情報に限らず、センサ情報等、種々の情報を入力として、行動計画を生成する処理を行ってもよい。このように、移動体装置１００は、機械学習により学習されたモデル（機械学習モデル）であるモデルＭ１～Ｍ３でアクションを行う情報処理装置である。なお、ここでいうアクションには、情報処理装置が実行する情報処理や、ロボットや移動体等による行動等の種々のアクションが含まれる。

【0030】

図１の例では、移動体装置１００は、物体ＯＢ１１、ＯＢ１２が自身の進行方向に位置し、移動体装置１００に向かってきており、物体ＯＢ１１、ＯＢ１２の両方を避けることができないため、物体ＯＢ１１を避けるように行動計画を決定する。具体的には、移動体装置１００は、進行方向の左側に位置する物体ＯＢ１１への衝突を避けるために進行方向の右側へ進行する経路ＰＰ１１を計画する。移動体装置１００は、経路ＰＰ１１を示す行動計画情報を生成する。そして、移動体装置１００は、経路ＰＰ１１を示す行動計画情報を基に自動運転の制御を行う。例えば、移動体装置１００は、入力情報ＩＮＤ１に、経路ＰＰ１１や経路ＰＰ１１に基づく実際の移動体装置１００の走行情報を対応付けてログ情報記憶部１２２（図３参照）に格納する。これにより、移動体装置１００がどのような入力により移動体装置１００がどのような計画を行ったり、走行したりしたかを検証可能となる。

【0031】

上述のように、図１の例では、移動体装置１００は、画像センサ１４１により検知した画像ＩＭ１により歩行者である物体ＯＢ１１を検出（認識）し、物体ＯＢ１１がハイライトされたヒートマップである根拠情報生成部ＲＳＤ１において生成された根拠情報を表示部１１に表示する。このように、図１の例では、自動運転でのセンサから歩行者を検出し、可視化表示装置（例えば表示部１１等）により歩行者がヒートマップによってハイライト表示される。

【0032】

例えば、図１の例では、移動体装置１００は、歩行者である物体ＯＢ１１を避けるため、車両である物体ＯＢ１２側へ進路を取り物体ＯＢ１２に接近する。このとき、移動体装置１００が歩行者である物体ＯＢ１１がハイライトされたヒートマップである根拠情報をリアルタイムに表示している。これにより、移動体装置１００の乗車者は、移動体装置１００が人を避けるために車両側へ進路を取っていると認識することができる。このように、移動体装置１００の乗車者は、自動運転で走行する移動体装置１００が歩行者を避けようとしていることが分かる。そのため、移動体装置１００の乗車者は、非常時手動運転に切替えて、自動運転を停止し、自身でハンドル部やブレーキ部などの操作を行うことによって、対向車との事故を回避することもできる。

【0033】

また、図１の例において移動体装置１００が物体ＯＢ１１である歩行者を避けるために、右方向へ進行すると自動運転が判断したために、対向車である物体ＯＢ１２と衝突したとする。このような場合であっても、移動体装置１００は、歩行者である物体ＯＢ１１がハイライトされたヒートマップである根拠情報生成部ＲＳＤ１において生成された根拠情報が記憶部１２に格納しているため、物体ＯＢ１２との衝突が歩行者である物体ＯＢ１１を避けるためであるという理由（根拠）を示す情報を提供することができる。さらに、センサ部１４によって記録された様々な情報、例えば、移動体装置１００の速度、加速度、周囲の外気温、路面状況（雨による濡れ、凍結など）、さらに、社内のドライバーの身体状況（意識の有無、血圧、体温、心拍、姿勢等）などのセンサ情報も提供することができる。例えば、移動体装置１００は、センサ部１４により検知された速度、加速度、周囲の外気温、路面状況や社内のドライバーの身体状況などのセンサ情報を、移動体装置１００のアクションの根拠を示す情報として出力してもよい。すなわち、移動体装置１００は、これらの情報を総合的に考慮して、対向車との衝突事故の説明として、歩行者を避けるためであったことをログデータから証明することができる。

【0034】

ここで、図２について詳細に説明する。移動体装置１００は、アクションの根拠情報を生成する複数の根拠生成アルゴリズムを備えた根拠情報生成部ＲＳＤ１を備える。例えば、根拠情報生成部ＲＳＤ１は、図３中の生成部１３６や複数の根拠生成アルゴリズムが記憶された記憶部１２等に対応する。この場合、具体的には、記憶部１２には、複数の根拠生成アルゴリズムの各々が実装された複数のコンピュータプログラム（単に「プログラム」ともいう）が記憶される。このように、アルゴリズムが実装されたプログラムをアルゴリズムと記載する場合がある。また、ここでいう複数の根拠生成アルゴリズムには、Ｇｒａｄ－ＣＡＭや後述するＬＩＭＥ（Local Interpretable Model-agnostic Explanations）、ＴＣＡＶ（Testing with Concept Activation Vectors）等の手法を用いたアルゴリズムが含まれる。例えば、複数の根拠生成アルゴリズムには、Ｇｒａｄ－ＣＡＭの手法に基づくアルゴリズム、ＬＩＭＥの手法に基づくアルゴリズム、ＴＣＡＶの手法に基づくアルゴリズムの３つのアルゴリズムが含まれる。なお、根拠生成アルゴリズムは、Ｇｒａｄ－ＣＡＭ、ＬＩＭＥ、ＴＣＡＶに限らず、種々の手法を用いたアルゴリズムであってもよい。

【0035】

移動体装置１００は、複数の根拠生成アルゴリズムのうち、一の根拠生成アルゴリズムを用いてアクションの根拠情報を生成する。移動体装置１００は、複数の根拠生成アルゴリズムのうち一の根拠生成アルゴリズムを選択し、選択した根拠生成アルゴリズムを用いてアクションの根拠情報を生成する。移動体装置１００は、リアルタイム性を要求される処理の場合、複数の根拠生成アルゴリズムのうち、Ｇｒａｄ－ＣＡＭの手法に基づくアルゴリズムを選択し、選択したＧｒａｄ－ＣＡＭの手法に基づくアルゴリズムを用いてアクションの根拠情報を生成する。また、移動体装置１００は、局所的に近似した根拠を得たい場合は、ＬＩＭＥの手法に基づくアルゴリズムを選択し、選択したＬＩＭＥの手法に基づくアルゴリズムを用いてアクションの根拠情報を生成する。また、移動体装置１００は、概念を有効化させる方向性を加味したい場合は、ＴＣＡＶの手法に基づくアルゴリズムを選択し、選択したＴＣＡＶの手法に基づくアルゴリズムを用いてアクションの根拠情報を生成する。

【0036】

移動体装置１００は、１つまたは複数の根拠生成アルゴリズムに基づいて生成された根拠情報、及び／またはセンサ情報に基づいて、アクションの根拠を示す情報を出力する。移動体装置１００は、Ｇｒａｄ－ＣＡＭの手法に基づくアルゴリズムで生成された第１根拠情報、ＬＩＭＥの手法に基づくアルゴリズムで生成された第２根拠情報、及びＴＣＡＶの手法に基づくアルゴリズムで生成された第３根拠情報をアクションの根拠を示す情報として出力する。移動体装置１００は、一の根拠生成アルゴリズムを選択した場合、選択した根拠生成アルゴリズムを用いて生成されたアクションの根拠情報を出力する。移動体装置１００は、リアルタイム性を要求される処理の場合、Ｇｒａｄ－ＣＡＭの手法に基づくアルゴリズムを選択し、選択したＧｒａｄ－ＣＡＭの手法に基づくアルゴリズムを用いて生成されたアクションの根拠情報を出力する。

【0037】

例えば、移動体装置１００は、停止機能を有する。移動体装置１００は、異常を検知して、自動運転から手動運転へ緊急切替えを実行する。自動運転を行うためのＡＩの停止という概念は非常に重要であり、例えば、移動体装置１００は、ＡＩ自身が異常を検知して、人間（乗車者等）に自動運転から手動運転への切り替えを要請する。そして、移動体装置１００は、何が問題なのかを具体的に可視化することで、注意する部分に人間の関心がいくことで事故を未然に防ぐことができる。このような移動体装置１００は、非常停止ボタンをＡＩがみずからが押し、ＡＩが何が問題であるかを可視化によって説明するシステムに対応する。

【0038】

例えば、国によって交通事情やルールが異なる。そのため、移動体装置１００は、移動体装置１００が使用（運用）される地域のデータを学習データセットとして用いて学習されたモデル（ニューラルネットワーク）を用いる。例えば、日本とアメリカでの状況は異なる。そのため、移動体装置１００を日本で走らせる場合、移動体装置１００には、日本でデータを収集して学習したネットワークを使う。これにより、移動体装置１００は、日本の左側通行や道路も狭い状況に適切に対応する自動運転を実現することができる。例えば、もし異なる地域のデータセットを用いると、右側通行の学習データ、右折や左折の交通ルールが異なるデータなど、好ましくないデータをもとにネットワークが作られてしまう。一方で、移動体装置１００が用いられる地域に応じて、その地域に最適なデータセットを用いて学習されたモデルを用いることでいることが。移動体装置１００の利用状況に対応した適切なモデルを用いることができる。そして、移動体装置１００に用いられるモデルの学習に用いた学習データは、適切な環境に対応するデータであることを説明することができる。

【0039】

上述のように、移動体装置１００は、画像に限らず、音、においなどをもとに判断根拠に加えることで、より安全な運転を実現することができる。例えば、右側からクラクションの音が聞こえたら、人間ならばその音に関心（注意）が向く。そこで、移動体装置１００は、音を感知する音センサと連動し、異音等の音を検知した場合、例えば、撮像（画像センサによる検知）も、音の発生源と同じ方向へ集中し、その方向を撮像することで、特定の方向精度を向上させる。また、においによっても判断は必要である。例えば、車から変なにおいがしていることに気が付けば、車の故障を早期に発見することができる。例えば、移動体装置１００においても、においセンサも自動運転の制御系にフィードバックし、その異常を人間に伝えることは有益である。このように、移動体装置１００においては、ディープラーニングによる異常検知システムを音やにおいによっても判断できるようにする。すなわち、移動体装置１００においては、画像（視覚）のみに限らず、音声（聴覚）、におい（嗅覚）等の種々の感覚に対応するセンサ情報、すなわちマルチモーダルな情報を用いて判断できるようにする。それによって、移動体装置１００は、人間が運転する車に近づき、安心して運転することができる。

【0040】

例えば、リアルタイムにて動作するＧｒａｄ-Ｃａｍは、ディープラーニングの判断根拠を可視化するひとつの手段である。Ｇｒａｄ-ＣａｍはＣＮＮの判断根拠をヒートマップで表すが、可視化の手段はこれに限られない。例えば、他にもディープラーニングを解釈する手段は種々存在し、各手段に応じて異なる見方をするので判断根拠は異なる。例えば、ＬＩＭＥは、あるカテゴリを指定して、テスト画像を大量にフォワード計算をする。Ｇｒａｄ-Ｃａｍは、あるカテゴリを指定して、バックワード計算をするのとは全く逆の方向で演算をする。それぞれにおいての解釈であるが、判定根拠をより深く理解するために、複数の根拠生成アルゴリズムが同時に動いたり、選択的に動いたりするシステムが有効である。これにより、状況に応じて、最適な説明アルゴリズム（根拠生成アルゴリズム）が選択される説明アルゴリズムということになる。ここで、事故を未然に回避するための技術は日夜研究されている。事故が起こってしまったときの原因究明という観点ではまだ途上段階である。事故が起こってしまったときは、複数の根拠生成アルゴリズムによってログから解析するシステムが有用である。そのため、移動体装置１００は、複数の根拠生成アルゴリズムを用いることで、適切に根拠を説明可能にする。例えば、時間がかかる演算であっても、事故発生後における事故の原因究明の場合においては十分な時間を確保できる。

【0041】

［１－１－１．自動運転における課題及び効果等］
ここから、図１に示すような自動運転における課題などについて説明する。人工知能による自動運転が実現されている。しかしながら、人工知能の判断根拠を知ることができず、ブラックボックスによる判断で自動運転がされている現状である。近年、自動運転での事故が発生しており、ＡＩ（Artificial Intelligence）倫理が問題となっている。例えば、なぜ自動運転で走行する車両が突然左へ回避したのかという理由は、乗車者（運転者）は知ることができないという問題がある。一方で、その理由（根拠）が分かれば、人工知能による誤判断なのかどうかが明確になり、事故の発生を事前に回避し、事故を未然に防ぐことができることが期待される。そのため、自動運転においては人工知能の判断の理由（根拠）を乗車者に可視化して提供することが望まれている。上述のＳＡＥにおいては、例えば、自動運転レベル１、２は運転支援、レベル３は緊急時に手動運転ができることと定義されている。これらのレベルにおいて、人工知能の判断根拠がリアルタイムに可視化できれば、運転者へ有益な情報を提供することができる。

【0042】

従来まで、人工知能は高度な性能を持つが、ブラックボックスと言われてきた。例えば、ディープラーニングは、人間のニューロンを模倣した構造を持ち、非常に多くのパラメータを最適化することでモデルが形成されている。その複雑さから、説明することは不可能と言われてきた。近年、説明可能な人工知能の研究が盛んになり、判断根拠を可視化する技術が着目されている。様々なアルゴリズムが提案されているが、学術レベルでの研究に留まり、実用的なシステムへの展開が遅れている。

【0043】

そこで、移動体装置１００は、ディープラーニングを含むニューラルネットワークが判断した根拠を可視化する。これにより、移動体装置１００は、ニューラルネットワークによる判断の根拠をリアルタイムに可視化することで、移動体装置１００の運転者へ有益な情報を提供することができる。図１の例では、移動体装置１００は、画像センサ１４１にて撮影した画像を入力とした場合に、ディープラーニングであるモデルＭ１の判断根拠となった局所的な部分をヒートマップの形式で示す根拠情報生成部ＲＳＤ１において生成された根拠情報を表示することができる。移動体装置１００は、画像の分類問題を解くモデルＭ１に含まれるコンボリューションニューラルネットワーク（ＣＮＮ）における判断を可視化することができ、移動体装置１００の運転者（人間）がその判断根拠を知ることができる。また、上述の可視化は、リアルタイム動作が可能である方法を含む（リアルタイムでない方法も含む）ため、移動体装置１００のような自動運転システムへ適用することができるため、移動体装置１００の運転者はリアルタイムに移動体装置１００の動きの理由（根拠）を知ることができる。このように、車両運転システムへディープラーニングの判断根拠の可視化アルゴリズムを組み入れることによって、運転者はリアルタイムに自動運転車両の動きの理由を知ることができる。

【0044】

上述のような移動体装置１００であれば、自動運転において万一事故が起こってしまって場合であっても、自動運転がどのような判断に基づいたのかをディープラーニングの可視化技術によって説明することができる。また、上述のような移動体装置１００であれば、万一事故が発生してしまった場合であっても、例えばログ情報記憶部１２２等に保存されているログ情報と必要に応じてセンサ部１４のセンサ情報を基に、自動運転車両の動作の根拠を示すことができる。このように、上述のような移動体装置１００であれば、万一事故が発生してしまったときは、ログに保存されている判断根拠の可視化表示とセンサ情報から説明をすることができる。

【0045】

このように、移動体装置１００は、自動運転において、ディープラーニングの判断根拠を可視化する。これにより、移動体装置１００は、運転者支援、事故の回避、事故の原因究明ができる。また、移動体装置１００は、センサで取得した走行画像データの解析において、ディープラーニングが判断した箇所をヒートマップによってリアルタイムで示す。これにより、移動体装置１００は、リアルタイムでのディープラーニングの判断根拠の可視化によって、人間が手動運転へ切替て、事故を回避することができる。なお、根拠判断生成部ＲＳＤ１から得られた根拠情報の結果によってはシステムとして、安全等を確保しつつ、移動体装置１００を停止してもよい。

【0046】

［１－１－２．他の可視化例］
なお、図１の例では、ヒートマップのような画像を根拠情報として生成する場合を示したが、根拠情報は画像に限らず、文字情報、音声情報などの種々の形式の情報であってもよい。

【0047】

また、移動体装置１００は、根拠情報生成部ＲＳＤ１において、根拠情報を生成する方法として、Ｇｒａｄ－ＣＡＭに限らず、種々の技術を適宜用いて、根拠情報を生成してもよい。例えば、移動体装置１００は、ＬＩＭＥの技術を用いて、根拠情報を生成してもよい。例えば、移動体装置１００は、下記の文献に開示されるようなＬＩＭＥに関する処理により、根拠情報を生成してもよい。

【0048】

・"Why Should I Trust You?": Explaining the Predictions of Any Classifier <https://arxiv.org/abs/1602.04938>

【0049】

なお、ＬＩＭＥの技術についての説明は適宜省略するが、移動体装置１００は、ＬＩＭＥ（上記文献参照）の手法により、根拠情報を生成する。例えば、移動体装置１００は、モデルがなぜそのような判断を下したのかを理由（根拠）を示すために局所近似する他のモデル（根拠用モデル）を生成する。移動体装置１００は、入力情報とその入力情報に対応する出力結果との組合せを対象に、局所的に近似する根拠用モデルを生成する。そして、移動体装置１００は、根拠用モデルを用いて、根拠情報を生成する。さらに、移動体装置１００は、下記の文献に開示されるようなＴＣＡＶと呼ばれる”Testing with Concept Activation Vectors”（概念を有効化させる方向性を加味したテスト）などの根拠情報の算出方法（生成方法）を用いてもよい。
・Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV) <https://arxiv.org/pdf/1711.11279.pdf>

【0050】

例えば、移動体装置１００は、画像等の基となる入力情報（対象入力情報）を複製したり、変更を加えたりした複数の入力情報を生成する。そして、移動体装置１００は、根拠情報の生成対象となるモデル（説明対象モデル）に、複数の入力情報の各々を入力し、各入力情報に対応する複数の出力情報を説明対象モデルから出力させる。そして、移動体装置１００は、複数の入力情報の各々と、対応する複数の出力情報の各々との組合せ（ペア）を学習用データとして、根拠用モデルを学習する。このように、移動体装置１００は、対象入力情報を対象として別の解釈可能なモデル（線形モデルとか）で局所近似する根拠用モデルを生成する。

【0051】

このように、移動体装置１００は、ある入力に対するモデルの出力を得た場合に、その出力の根拠（局所的な説明）を示すための根拠用モデルを生成する。

【0052】

例えば、移動体装置１００は、線形モデル等の解釈可能なモデルを根拠用モデルとして生成する。移動体装置１００は、線形モデル等の根拠用モデルの各パラメータなどの情報を基に根拠情報を生成する。例えば、移動体装置１００は、線形モデル等の根拠用モデルの特徴量のうち、重みが大きい特徴量の影響が大きいことを示す根拠情報を生成する。

【0053】

上述のように、移動体装置１００は、モデルの入力情報と出力結果とを用いて学習された根拠用モデルに基づいて、根拠情報を生成する。このように、移動体装置１００は、モデルへの入力情報の入力後のモデルの出力結果を含む状態情報に基づいて、根拠情報を生成してもよい。

【0054】

また、図１の例では、移動体装置１００は、モデルＭ１に限らず、モデルＭ２、Ｍ３を対象に根拠情報を生成してもよい。例えば、移動体装置１００は、モデルＭ２の入力情報と出力結果とを用いて学習された根拠用モデルに基づいて、モデルＭ２の予測の根拠情報を生成してもよい。例えば、移動体装置１００は、モデルＭ３の入力情報と出力結果とを用いて学習された根拠用モデルに基づいて、モデルＭ３の行動計画の根拠情報を生成してもよい。移動体装置１００は、ＬＩＭＥの技術を用いて、モデルＭ２を対象に根拠情報を生成してもよい。移動体装置１００は、ＬＩＭＥの技術を用いて、モデルＭ１の出力を入力とするモデルであるモデルＭ２の予測の根拠を示す根拠情報を生成してもよい。移動体装置１００は、ＬＩＭＥの技術を用いて、モデルＭ３を対象に根拠情報を生成してもよい。移動体装置１００は、ＬＩＭＥの技術を用いて、モデルＭ２の出力を入力とするモデルであるモデルＭ３の行動計画の根拠を示す根拠情報を生成してもよい。

【0055】

［１－１－２－１．複合アルゴリズムによる可視化解析手法］
なお、移動体装置１００は、複数のアルゴリズムを組み合わせて可視化を実現してもよい。このように、複数の可視化アルゴリズムを組み合わせて解析することで、さらに優位性がある。例えば、移動体装置１００は、判断根拠を可視化する第１アルゴリズムと、第１アルゴリズムとは異なる第２アルゴリズムとを組み合わせて、判断根拠を複合的な観点から解析してもよい。

【0056】

例えば、移動体装置１００は、第１アルゴリズムであるＧｒａｄ－Ｃａｍと、第２アルゴリズムであるＬＩＭＥなど複数のアルゴリズムを組み合わせて、その状況や特性に応じて、判断根拠を複合的な観点から解析してもよい。移動体装置１００は、ディープラーニングの特徴量をもとに判断根拠を可視化するＧｒａｄ－Ｃａｍと、大量のサンプルデータを生成し、局所的な分類問題として、マスク画像から判断根拠を可視化するＬＩＭＥを組み合わせてもよい。Ｇｒａｄ－Ｃａｍは、着目点をコンボリューション層（畳み込み層）の特徴量から可視化することができる。また、ＬＩＭＥは、大量のサンプルデータを用いて推論することによって得らえる可視化技術である。このように、移動体装置１００は、異なる可視化技術を組み合わせることによって、解析精度を向上させることができる。例えば、移動体装置１００は、Ｇｒａｄ－Ｃａｍにより生成した第１根拠情報と、ＬＩＭＥにより生成した第２根拠情報とをユーザに提供してもよい。移動体装置１００は、Ｇｒａｄ－Ｃａｍにより生成した第１根拠情報と、ＬＩＭＥにより生成した第２根拠情報とを表示してもよい。

【0057】

［１－１－３．他の適用例］
なお、図１に示す自動運転は一例であり、自動運転に限らず、種々の技術に適用されてもよい。例えば、移動体装置１００は、自動車に限らず、電動自転車、オートバイ、ドローン等の他の形態の移動体であってもよい。移動体装置１００がドローンである場合、画像センサ１４１は、全天球を広く見ている（撮像している）が、ターゲットとなる物体を認識した場合、その部分へクロップして、ズーム撮影を行ってもよい。

【0058】

また、例えば、エンターテインメントロボット、ロボット、料理ロボット、医療ロボット、ヒューマノイドなど、種々の技術に適用されてもよい。すなわち、根拠情報を生成する情報処理装置は、エンターテインメントロボット、ロボット、料理ロボット、医療ロボット、ヒューマノイド等の技術分野で用いられる装置であってもよい。エンターテインメントロボットである場合、根拠情報を生成する情報処理装置は、画像センサによりエンターテインメントロボットがどこを見て（認識して）、行動を行ったのかを示す根拠情報を生成してもよい。また、医療ロボットを対象とする場合、根拠情報を生成する情報処理装置は、画像センサにより医療ロボットが何を認識して、手術に関する行動を行ったのかを示す根拠情報を生成してもよい。この場合、根拠情報を生成する情報処理装置は、医療事故が発生した際に医療ロボットの行動の根拠を示す根拠情報を生成してもよい。これにより、医療ロボットにより生じた医療事故が医療ロボットのミスによるものかを判別することが可能となる。

【0059】

また、根拠情報を生成する情報処理装置は、移動体装置１００のような移動機構を有する形態やロボット等に限らず、図１２に示すような情報処理のみを行う情報処理装置１００Ａであってもよい。根拠情報を生成する情報処理装置は、金融の分野に適用されてもよい。例えば、根拠情報を生成する情報処理装置は、金融に関する指標（金融指標）の予測に適用されてもよい。例えば、根拠情報を生成する情報処理装置は、金融指標の一例である株価予測に適用されてもよい。この場合、根拠情報を生成する情報処理装置は、予測した株価の根拠を示す根拠情報を生成してもよい。例えば、根拠情報を生成する情報処理装置は、気候等の気象情報や政治等の社会情報を入力として、株価の予測情報を出力するモデルに対して、ＬＩＭＥの技術を用いて、予測した株価の根拠を示す根拠情報を生成してもよい。

【0060】

［１－１－４．ＡＩ倫理］
なお、上述した自動運転の処理について、ＡＩ倫理の観点で簡単に説明する。以下では、自動運転の車両（自動運転車両）が同種の物体を検出した場合を例に説明する。

【0061】

例えば、自動運転車両は、進行方向に同種（カテゴリＸ）の４つの物体（物体群Ａ）を検出し、進行方向の右側にカテゴリＸの２つの物体（物体群Ｂ）を検知する。なお、カテゴリＸは、犬や人等の生物や、電柱や車や家等の無生物等、どのようなカテゴリであってもよい。

【0062】

そして、自動運転車両は、自動ブレーキが作動しても緊急停止が間に合わないものとする。この場合、自動運転車両は、物体群Ａまたは物体群Ｂのいずれかへの接触が不可避となる。そのため、自動運転車両は、物体群Ａまたは物体群Ｂのいずれかへの接触を伴う行動を選択（決定）することとなる。

【0063】

このような場合、上述のような判断根拠を示す根拠情報を生成することで、自動運転車両がどのような根拠情報を基にその行動を選択したのかを、人が認識することができる。上記の例では、自動運転車両が物体群Ａ及び物体群Ｂの両方を正しく認識していたのかを可視化技術によって説明することができる。すなわち、上記の例では、自動運転車両が物体群Ａ及び物体群Ｂの両方を正しく認識した上で、行動を選択（決定）したのか、物体群Ａまたは物体群Ｂを正しく認識できていない状況で、行動を選択（決定）したのかを説明可能にすることができる。

【0064】

より一般的には、自動運転車両等のＡＩ（人工知能）が行った行動の根拠を人が認識可能な形式で人に示すことができるため、ＡＩが正しく認識を行った上で、その行動をとったのか、適切な認識ができていない状態で行動を行ったのかを適切に判別することができる。

【0065】

上述したように、移動体装置１００は、外界を適切に認識していたのかを可視化技術によって説明することができる。具体的には、移動体装置１００は、対象物の全てを正しく認識していたのかを可視化技術によって説明することができる。これにより、移動体装置１００は、選択（決定）した行動が判断（意思決定）に原因があるのか、認識が不完全であり、判断ではなくその前の認識（センシング）に原因があるのかを説明可能にすることができる。例えば、移動体装置１００は、移動体装置１００が行った行動が倫理の観点で問題がある場合に、その行動が判断（意思決定）に原因があるのか、認識が不完全であり、判断ではなくその前の認識（センシング）に原因があるのかを説明可能にすることができる。なお、上述した例では、説明を簡単にするために同種（同一カテゴリ）の物体を例として説明したが、上述した点については異種の物体の場合も同様に適用可能である。

【0066】

［１－２．実施形態に係る移動体装置の構成］
次に、実施形態に係る情報処理を実行する情報処理装置の一例である移動体装置１００の構成について説明する。図３は、実施形態に係る移動体装置１００の構成例を示す図である。

【0067】

図３に示すように、移動体装置１００は、表示部１１と、記憶部１２と、制御部１３と、センサ部１４と、駆動部１５とを有する。なお、移動体装置１００は、ユーザＵ等の乗車中のユーザによる運転操作を受け付ける機能を実現する構成を有するが、通常の車両（自動車）が有する構成のため適宜説明を省略する。例えば、移動体装置１００は、図示を省略するが、ユーザによる各種の運転操作を受け付けるハンドル部（操作部）やブレーキ部やアクセル部等を有する。

【0068】

なお、移動体装置１００は、外部の装置との間で情報の送受信を行う場合、通信部を有してもよい。通信部は、例えば、ＮＩＣ（Network Interface Card）や通信回路等によって実現される。通信部は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、他の装置等との間で情報の送受信を行う。

【0069】

表示部１１は、各種情報を表示する。表示部１１は、ディスプレイ等の表示装置（表示部）であり、各種情報を表示する。例えば、表示部１１は、移動体装置１００内部に配置されてもよい。表示部１１は、移動体装置１００内のユーザが視認可能な位置、例えば移動体装置１００内部の前方側に配置されてもよい。表示部１１は、移動体装置１００のフロントガラス等であってもよい。この場合、表示部１１は、ＡＲ（Augmented Reality：拡張現実）やＭＲ（Mixed Reality：複合現実）に関する技術を用いて、各種情報を表示してもよい。フロントガラスである表示部１１は、透過性を有する態様で根拠情報を表示する。例えば、表示部１１は、画像が撮像された範囲に重畳させて、透過性を有する根拠情報を表示する。例えば、表示部１１は、物体ＯＢ１１の位置に、ヒートマップである根拠情報ＲＩＮＦ１中の対応する領域を合せて根拠情報ＲＩＮＦ１を表示する。表示部１１は、認識部１３２により認識された情報を表示する。表示部１１は、予測部１３３により予測された情報を表示する。表示部１１は、生成部１３６により生成された情報を表示する。

【0070】

表示部１１は、根拠情報を表示する。表示部１１は、根拠情報を図として表示する。表示部１１は、画像情報である根拠情報を表示する。表示部１１は、ヒートマップである根拠情報を表示する。表示部１１は、根拠情報を文字として表示する。表示部１１は、根拠情報を数値として表示する。

【0071】

図１の例では、表示部１１は、根拠情報ＲＩＮＦ１を表示する。表示部１１は、根拠情報ＲＩＮＦ１を表示することにより、根拠情報の可視化を実現する。表示部１１は、１つまたは複数の根拠生成アルゴリズムに基づいて生成された根拠情報、及び／またはセンサ情報に基づいて、アクションの根拠を示す情報を表示する。

【0072】

また、移動体装置１００は、表示部１１に限らず、情報を出力する機能構成を有してもよい。なお、移動体装置１００は、情報を音声として出力する機能を有してもよい。例えば、移動体装置１００は、音声を出力するスピーカー等の音声出力部を有してもよい。

【0073】

記憶部１２は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。なお、記憶部１２は、モデル情報記憶部１２１と、ログ情報記憶部１２２とを有する。なお、記憶部１２は、モデル情報記憶部１２１と、ログ情報記憶部１２２に限らず、各種の情報が記憶される。例えば、記憶部１２は、自動車である移動体装置１００が走行する道路や地図に関する各種情報を記憶する。記憶部１２は、地図に関する各種情報を記憶する地図情報記憶部を有する。

【0074】

地図情報記憶部は、地図に関する各種情報を記憶する。地図情報記憶部は、自動運転に必要な地図に関する各種情報を記憶する。

【0075】

実施形態に係るモデル情報記憶部１２１は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２１は、モデル（ネットワーク）の構造を示す情報（モデルデータ）を記憶する。図４は、本開示の実施形態に係るモデル情報記憶部の一例を示す図である。図４に、実施形態に係るモデル情報記憶部１２１の一例を示す。図４に示した例では、モデル情報記憶部１２１は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。

【0076】

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図４では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルに含まれるネットワークに関する情報や関数等、そのモデルを構成する種々の情報が含まれる。

【0077】

図４に示す例では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「画像認識」であることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。例えば、モデルＭ１のモデルデータＭＤＴ１には、ディープニューラルネットワーク等のモデルＭ１のネットワーク構造や重み等のパラメータ等の各種情報が含まれる。

【0078】

また、モデルＩＤ「Ｍ２」により識別されるモデル（モデルＭ２）は、用途が「予測」であることを示す。また、モデルＭ２のモデルデータは、モデルデータＭＤＴ２であることを示す。例えば、モデルＭ２のモデルデータＭＤＴ２には、ディープニューラルネットワーク等のモデルＭ２のネットワーク構造や重み等のパラメータ等の各種情報が含まれる。

【0079】

また、モデルＩＤ「Ｍ３」により識別されるモデル（モデルＭ３）は、用途が「行動計画」であることを示す。また、モデルＭ３のモデルデータは、モデルデータＭＤＴ３であることを示す。例えば、モデルＭ３のモデルデータＭＤＴ３には、ディープニューラルネットワーク等のモデルＭ３のネットワーク構造や重み等のパラメータ等の各種情報が含まれる。

【0080】

なお、モデル情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

【0081】

実施形態に係るログ情報記憶部１２２は、ログ（履歴）に関する情報を記憶する。例えば、ログ情報記憶部１２２は、自動運転における認識や予測や行動計画に関する履歴を示す情報を記憶する。ログ情報記憶部１２２は、自動運転におけるモデルへの入力情報とそのモデルの出力に関する根拠情報とを対応付けた情報を記憶する。図５は、本開示の実施形態に係るログ情報記憶部の一例を示す図である。図５に示した例では、ログ情報記憶部１２２は、「ログＩＤ」、「入力情報」、「根拠情報」といった項目が含まれる。

【0082】

「ログＩＤ」は、ログ（履歴）を識別するための識別情報を示す。「入力情報」は、対応する入力情報を示す。図５では「入力情報」に「ＩＮＤ１」といった概念的な情報が格納される例を示したが、実際には、入力された画像等の各種データ自体、または、その格納場所を示すファイルパス名などが格納される。

【0083】

「根拠情報」は、対応する根拠情報を示す。図５では「根拠情報」に「ＲＩＮＦ１」といった概念的な情報が格納される例を示したが、実際には、根拠情報として生成された画像等の各種データ自体、または、その格納場所を示すファイルパス名などが格納される。

【0084】

図５に示す例では、ログＩＤ「ＬＧ１」により識別されるログ（ログＬＧ１）は、入力情報が「ＩＮＤ１」であり、根拠情報が「ＲＩＮＦ１」であることを示す。このように、図５の例では、入力情報ＩＮＤ１と根拠情報ＲＩＮＦ１とが対応付けられている場合を示す。すなわち、ログＬＧ１は、入力情報ＩＮＤ１に対応する出力に関する根拠を示す根拠情報が根拠情報ＲＩＮＦ１であることを示す。

【0085】

なお、ログ情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。ログ情報記憶部１２２は、入力情報に根拠情報に限らず、種々の情報を対応付けて記憶する。ログ情報記憶部１２２は、入力情報に、その入力情報に対応する認識結果や予測結果や行動計画や移動体の走行情報等を対応付けて記憶する。例えば、ログ情報記憶部１２２は、入力情報ＩＮＤ１に、経路ＰＰ１１や経路ＰＰ１１に基づく実際の移動体装置１００の走行情報を対応付け記憶する。

【0086】

図３に戻り、説明を続ける。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、移動体装置１００内部に記憶されたプログラム（例えば、本開示に係る情報処理プログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１３は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0087】

図３に示すように、制御部１３は、取得部１３１と、認識部１３２と、予測部１３３と、行動計画部１３４と、実行部１３５と、生成部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0088】

取得部１３１は、各種情報を取得する。取得部１３１は、外部の情報処理装置から各種情報を取得する。取得部１３１は、記憶部１２から各種情報を取得する。取得部１３１は、モデル情報記憶部１２１やログ情報記憶部１２２から各種情報を取得する。

【0089】

取得部１３１は、センサ部１４により検知されたセンサ情報を取得する。取得部１３１は、取得した情報を記憶部１２に格納する。取得部１３１は、画像センサ１４１によって検知される画像情報を取得する。取得部１３１は、測距センサによって検知されるセンサ情報を取得する。

【0090】

取得部１３１は、ニューラルネットワークの構造を有するモデルと、モデルに入力される入力情報とを取得する。取得部１３１は、自律的に行動する装置の制御に用いられるモデルを取得する。取得部１３１は、自律的に移動可能な移動体の制御に用いられるモデルを取得する。取得部１３１は、自動運転により動作する車両である移動体の制御に用いられるモデルを取得する。

【0091】

取得部１３１は、センサ情報の入力に応じて出力を行うモデルと、センサにより検知されたセンサ情報である入力情報とを取得する。取得部１３１は、画像情報の入力に応じて画像情報の認識結果を出力するモデルと、画像情報である入力情報とを取得する。取得部１３１は、ＣＮＮを含むモデルを取得する。取得部１３１は、他のモデルが出力する出力情報の入力に応じて出力を行うモデルと、他のモデルが出力した出力情報である入力情報とを取得する。

【0092】

図１の例では、取得部１３１は、モデル情報記憶部１２１からモデルＭ１～Ｍ３等を取得する。取得部１３１は、認識処理に用いるモデルＭ１を取得する。取得部１３１は、予測処理に用いるモデルＭ２を取得する。取得部１３１は、行動計画の処理に用いるモデルＭ３を取得する。取得部１３１は、画像センサ１４１によって検知される画像ＩＭ１を取得する。取得部１３１は、取得部１３１は、画像ＩＭ１をモデルＭ１への入力情報ＩＮＤ１として取得する。

【0093】

認識部１３２は、認識処理を行う。認識部１３２は、各種認識を行う。認識部１３２は、物体の認識を行う。認識部１３２は、種々の情報を用いて物体の認識を行う。認識部１３２は、物体の認識結果に関する各種情報を生成する。認識部１３２は、取得部１３１により取得された情報に基づいて、物体の認識を行う。認識部１３２は、センサ部１４により検知された各種のセンサ情報を用いて、物体の認識を行う。認識部１３２は、画像センサ１４１によって撮像された画像情報（センサ情報）を用いて、物体の認識を行う。認識部１３２は、画像情報に含まれる物体の認識を行う。認識部１３２は、モデル情報記憶部１２１やログ情報記憶部１２２に記憶された情報に基づいて、各種情報を認識する。

【0094】

図１の例では、認識部１３２は、画像センサ１４１により撮像された画像ＩＭ１を基に、認識処理を行う。認識部１３２は、画像ＩＭ１に含まれる物体等を認識する処理を行う。認識部１３２は、モデルＭ１を用いて、認識処理を行う。例えば、認識部１３２は、画像ＩＭ１を入力情報ＩＮＤ１としてモデルＭ１に入力することにより、モデルＭ１に認識結果を出力させる。

【0095】

予測部１３３は、予測処理を行う。予測部１３３は、各種情報を予測する。予測部１３３は、外部の情報処理装置から取得された情報に基づいて、各種情報を予測する。予測部１３３は、記憶部１２に記憶された情報に基づいて、各種情報を予測する。予測部１３３は、モデル情報記憶部１２１やログ情報記憶部１２２に記憶された情報に基づいて、各種情報を予測する。

【0096】

図１の例では、予測部１３３は、モデルＭ１の出力を基に、予測処理を行う。予測部１３３は、画像ＩＭ１に含まれる物体の移動等の行動（運動態様）を予測する処理を行う。予測部１３３は、モデルＭ２を用いて、予測処理を行う。例えば、予測部１３３は、モデルＭ１が出力する情報（認識結果情報）をモデルＭ２に入力することにより、モデルＭ２に予測結果を出力させる。

【0097】

予測部１３３は、人である物体ＯＢ１１の運動態様を予測する。予測部１３３は、物体ＯＢ１１の移動方向や速度を予測する。予測部１３３は、物体ＯＢ１１が予測部１３３の方に向かって移動していると予測する。また、予測部１３３は、車両である物体ＯＢ１２の運動態様を予測する。予測部１３３は、物体ＯＢ１２の移動方向や速度を予測する。予測部１３３は、物体ＯＢ１２が移動体装置１００の方に向かって移動していると予測する。

【0098】

行動計画部１３４は、各種計画を行う。行動計画部１３４は、行動計画を決定する。行動計画部１３４は、行動計画に関する各種情報を生成する。行動計画部１３４は、取得部１３１により取得された情報に基づいて、各種計画を行う。行動計画部１３４は、予測部１３３により予測された情報を用いて、各種計画を行う。行動計画部１３４は、行動計画に関する種々の技術を用いて、行動計画を行う。

【0099】

行動計画部１３４は、予測部１３３により予測された情報に基づいて行動計画を決定する。行動計画部１３４は、予測部１３３により予測された情報に基づいて、障害物地図に含まれる障害物を回避するように移動する行動計画を決定する。

【0100】

図１の例では、行動計画部１３４は、モデルＭ２の出力を基に、行動計画を示す生成する処理を行う。行動計画部１３４は、予測した物体ＯＢ１１や物体ＯＢ１２の運動態様に基づいて、行動計画を決定する。行動計画部１３４は、モデルＭ３を用いて、行動計画を決定する処理を行う。行動計画部１３４は、モデルＭ２が出力する情報（予測結果情報）をモデルＭ３に入力することにより、モデルＭ３に行動計画を出力させる。

【0101】

行動計画部１３４は、物体ＯＢ１１、ＯＢ１２が自身の進行方向に位置し、移動体装置１００に向かってきており、物体ＯＢ１１、ＯＢ１２の両方を避けることができないため、物体ＯＢ１１を避けるように行動計画を決定する。行動計画部１３４は、進行方向の左側に位置する物体ＯＢ１１への衝突を避けるために進行方向の右側へ進行する経路ＰＰ１１を計画する。行動計画部１３４は、経路ＰＰ１１を示す行動計画情報を生成する。

【0102】

実行部１３５は、各種情報を実行する。実行部１３５は、外部の情報処理装置からの情報に基づいて、各種処理を実行する。実行部１３５は、記憶部１２に記憶された情報に基づいて、各種処理を実行する。実行部１３５は、地図情報記憶部に記憶された情報に基づいて、各種情報を実行する。実行部１３５は、取得部１３１により取得された情報に基づいて、各種情報を決定する。

【0103】

実行部１３５は、予測部１３３により予測された情報に基づいて、各種処理を実行する。実行部１３５は、行動計画部１３４により計画された行動計画に基づいて、各種処理を実行する。実行部１３５は、行動計画部１３４により生成された行動計画の情報に基づいて、行動に関する処理を実行する。実行部１３５は、行動計画部１３４により生成された行動計画の情報に基づいて、駆動部１５を制御して行動計画に対応する行動を実行する。実行部１３５は、行動計画の情報に基づく駆動部１５の制御により、行動計画に沿って移動体装置１００の移動処理を実行する。

【0104】

図１の例では、実行部１３５は、経路ＰＰ１１を示す行動計画情報を基に自動運転の制御を行う。実行部１３５は、経路ＰＰ１１を示す行動計画情報を基に人である物体ＯＢ１１を避けるように移動体装置１００の移動を制御する。

【0105】

生成部１３６は、各種生成を行う。生成部１３６は、記憶部１２に記憶された情報に基づいて、各種情報を生成する。生成部１３６は、モデル情報記憶部１２１やログ情報記憶部１２２に記憶された情報に基づいて、各種情報を生成する。生成部１３６は、センサ部１４により検知されたセンサ情報に基づいて、各種情報を生成する。生成部１３６は、画像センサ１４２により検知された画像情報に基づいて、各種情報を生成する。

【0106】

生成部１３６は、取得部１３１により取得された情報に基づいて、各種情報を生成する。生成部１３６は、認識部１３２による認識結果に基づいて、各種情報を生成する。生成部１３６は、予測部１３３による予測結果に基づいて、各種情報を生成する。生成部１３６は、行動計画部１３４による行動計画に基づいて、各種情報を生成する。

【0107】

生成部１３６は、モデルへの入力情報の入力後のモデルの状態を示す状態情報に基づいて、モデルへの入力情報の入力後のモデルの出力に関する根拠を示す根拠情報を生成する。生成部１３６は、モデルの出力を用いた処理の根拠を示す根拠情報を生成する。

【0108】

生成部１３６は、モデルへの入力情報の入力後の装置の制御の根拠を示す根拠情報を生成する。生成部１３６は、モデルへの入力情報の入力後の移動体の制御の根拠を示す根拠情報を生成する。生成部１３６は、移動体の移動方向の根拠を示す根拠情報を生成する。

【0109】

生成部１３６は、センサによる検知に応じて入力情報が入力されたモデルの根拠情報を生成する。生成部１３６は、モデルの出力に関する根拠を示す画像情報を根拠情報として生成する。生成部１３６は、モデルの出力に関する根拠を示すヒートマップを根拠情報として生成する。

【0110】

生成部１３６は、モデルの畳み込み層の状態を含む状態情報に基づいて、根拠情報を生成する。生成部１３６は、ＣＡＭ（Class Activation Mapping）に関する処理により根拠情報を生成する。生成部１３６は、Ｇｒａｄ－ＣＡＭにより根拠情報を生成する。

【0111】

生成部１３６は、他のモデルによる出力に応じて入力情報が入力されたモデルの根拠情報を生成する。生成部１３６は、モデルへの入力情報の入力後のモデルの出力結果を含む状態情報に基づいて、根拠情報を生成する。生成部１３６は、入力情報と出力結果とを用いて学習された根拠用モデルに基づいて、根拠情報を生成する。生成部１３６は、入力情報と出力結果との組合せを対象に局所的に近似する根拠用モデルを用いて、根拠情報を生成する。生成部１３６は、ＬＩＭＥに関する処理により根拠情報を生成する。

【0112】

生成部１３６は、入力情報と根拠情報とを対応付けたログ情報を記憶部に格納する。生成部１３６は、表示部１１に表示する各種情報を生成する。生成部１３６は、表示部１１に表示する文字情報やグラフといった画像情報などの各種情報を生成する。

【0113】

なお、生成部１３６は、図１に示すヒートマップである根拠情報ＲＩＮＦ１等の画面に関する情報（画像）を画像に関連する種々の従来技術を適宜用いて生成してもよい。生成部１３６は、図１に示すグラフＧＲ１１等の画像をＧＵＩに関する種々の従来技術を適宜用いて生成する。例えば、生成部１３６は、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＨＴＭＬ、あるいは、上述した情報表示や操作受付等の情報処理を記述可能な任意の言語によりヒートマップＨＭ１１等の画像を生成してもよい。

【0114】

図１の例では、生成部１３６は、モデルＭ１への入力情報の入力後のモデルＭ１の状態を示す状態情報に基づいて、モデルへの入力情報の入力後のモデルの出力に関する根拠を示す根拠情報を生成する。生成部１３６は、モデルＭ１への画像ＩＭ１の入力後のモデルＭ１の状態を示す状態情報に基づいて、モデルＭ１への画像ＩＭ１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。

【0115】

生成部１３６は、Ｇｒａｄ－ＣＡＭにより、画像ＩＭ１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。生成部１３６は、上述したＧｒａｄ－ＣＡＭに関する処理により、画像ＩＭ１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。

【0116】

生成部１３６は、対象とする種別（クラス）を指定して、指定したクラスに対応する情報（画像）を生成する。例えば、生成部１３６は、Ｇｒａｄ－ＣＡＭの技術を用いて、逆誤差伝搬等の各種処理により、指定したクラスを対象に情報（画像）を生成する。生成部１３６は、種別「人」のクラスを指定して、種別「人」に対応する根拠情報ＲＩＮＦ１である画像を生成する。

【0117】

生成部１３６は、種別「人」の認識（分類）のために注視している範囲（領域）をヒートマップ（カラーマップ）の形式で示す画像である根拠情報ＲＩＮＦ１を生成する。生成部１３６は、画像ＩＭ１の人である物体ＯＢ１１の位置が最も注視されており、人である物体ＯＢ１１が認識されていることを示す根拠情報ＲＩＮＦ１を生成する。生成部１３６は、複数の根拠生成アルゴリズムに基づいてアクションの根拠情報を生成する根拠情報生成部として機能する。生成部１３６は、Ｇｒａｄ－ＣＡＭの手法に基づくアルゴリズム、ＬＩＭＥの手法に基づくアルゴリズム、ＴＣＡＶの手法に基づくアルゴリズム等の複数の根拠生成アルゴリズムに基づいてアクションの根拠情報を生成する。生成部１３６は、複数の根拠生成アルゴリズムのうち、一の根拠生成アルゴリズムを用いてアクションの根拠情報を生成する。生成部１３６は、複数の根拠生成アルゴリズムのうち一の根拠生成アルゴリズムを選択し、選択した根拠生成アルゴリズムを用いてアクションの根拠情報を生成する。生成部１３６は、リアルタイム性を要求される処理の場合、複数の根拠生成アルゴリズムのうち、Ｇｒａｄ－ＣＡＭの手法に基づくアルゴリズムを選択し、選択したＧｒａｄ－ＣＡＭの手法に基づくアルゴリズムを用いてアクションの根拠情報を生成する。

【0118】

センサ部１４は、所定の情報を検知する。センサ部１４は、画像センサ１４１を有する。画像センサ１４１は、画像を撮像する撮像手段として機能する。画像センサ１４１は、画像情報を検知する。

【0119】

なお、センサ部１４は、画像センサ１４１に限らず、種々のセンサを有してもよい。例えば、センサ部１４は、位置センサ、測距センサ、音センサ、加速度センサ、ジャイロセンサ、温度センサ、湿度センサ、照度センサ、圧力センサ、近接センサ、ニオイや汗や心拍や脈拍や脳波等の生体情報を取得のためのセンサ等の種々のセンサを有してもよい。

【0120】

例えば、測距センサは、被測定対象と測距センサとの間の距離を検知する。測距センサは、被測定対象と測距センサとの間の距離情報を検知する。測距センサは、光学センサであってもよい。センサ部１４は、測距センサとして、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）を有する。なお、測距センサは、ＬｉＤＡＲに限らず、ＴｏＦ（Time of Flight）センサやステレオカメラ等の種々のセンサであってもよい。また、測距センサは、ミリ波レーダを使った測距センサであってもよい。なお、測距センサは、ＬｉＤＡＲに限らず、ＴｏＦセンサやステレオカメラ等の種々のセンサであってもよい。

【0121】

また、例えば、位置センサは、移動体装置１００の位置を検知する。位置センサは、ＧＰＳ（Global Positioning System）センサ等の種々のセンサであってもよい。また、センサ部１４における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。

【0122】

駆動部１５は、移動体装置１００における物理的構成を駆動する機能を有する。駆動部１５は、移動体装置１００の位置の移動を行うための機能を有する。駆動部１５は、自動車である移動体装置１００の位置の移動を行うための機能を有する。駆動部１５は、例えばモータ等である。駆動部１５は、自動車である移動体装置１００のタイヤ等を駆動する。なお、駆動部１５は、移動体装置１００が所望の動作を実現可能であれば、どのような構成であってもよい。駆動部１５は、移動体装置１００の位置の移動等を実現可能であれば、どのような構成であってもよい。例えば、駆動部１５は、ユーザによる運転操作や実行部１３５による指示に応じて、移動体装置１００の移動機構を駆動することにより、移動体装置１００を移動させ、移動体装置１００の位置を変更する。

【0123】

［１－２－１．モデル例］
上述したように、移動体装置１００は、種々の形式のモデル（関数）を用いてもよい。例えば、移動体装置１００は、ＳＶＭ（Support Vector Machine）等の回帰モデルやニューラルネットワーク（neural network）等、任意の形式のモデル（関数）を用いてもよい。移動体装置１００は、非線形の回帰モデルや線形の回帰モデル等、種々の回帰モデルを用いてもよい。

【0124】

この点について、図６を用いて、モデルのネットワーク構造の一例を説明する。図６は、本開示の実施形態に係るモデルの一例を示す図である。図６に示すネットワークＮＷ１は、入力層ＩＮＬと出力層ＯＵＴＬとの間に複数（多層）の中間層を含むニューラルネットワークを示す。ネットワークＮＷ１は、４層以上の深層ニューラルネット、いわゆるディープニューラルネットワーク（ディープラーニング）等の構造を有する。

【0125】

図６に示すネットワークＮＷ１は、例えばモデルＭ１のネットワークに対応し、画像認識に用いられるニューラルネットワーク（モデル）を示す概念的な図である。例えば、ネットワークＮＷ１は、入力層ＩＮＬ側から例えば画像が入力された場合に、出力層ＯＵＴＬからその認識結果を出力する。例えば、移動体装置１００は、ネットワークＮＷ１中の入力層ＩＮＬに情報を入力することにより、出力層ＯＵＴＬから入力に対応する認識結果を出力させる。

【0126】

なお、図６では、モデル（ネットワーク）の一例としてネットワークＮＷ１を示すが、ネットワークＮＷ１は、用途等に応じて種々の形式であってもよい。また、モデルＭ１のみに限らず、モデルＭ２、Ｍ３等のついても同様のディープニューラルネットワーク（ディープラーニング）等の構造を有する。

【0127】

［１－３．実施形態に係る情報処理の手順］
次に、図７及び図８を用いて、実施形態に係る情報処理の手順について説明する。まず、図７を用いて、実施形態に係る学習処理の流れについて説明する。図７は、実施形態に係る情報処理の手順を示すフローチャートである。

【0128】

図７に示すように、移動体装置１００は、ニューラルネットワークの構造を有するモデルを取得する（ステップＳ１０１）。例えば、移動体装置１００は、モデル情報記憶部１２１（図３参照）からモデルＭ１を取得する。

【0129】

移動体装置１００は、モデルに入力される入力情報を取得する（ステップＳ１０２）。例えば、移動体装置１００は、モデルＭ１に入力される入力情報ＩＮＤ１として画像ＩＭ１を取得する。

【0130】

そして、移動体装置１００は、モデルへの入力情報の入力後のモデルの状態を示す状態情報に基づいて、モデルへの入力情報の入力後のモデルの出力に関する根拠を示す根拠情報を生成する（ステップＳ１０３）。例えば、移動体装置１００は、モデルＭ１への入力情報ＩＮＤ１の入力後のモデルＭ１の状態を示す状態情報に基づいて、モデルＭ１への入力情報の入力後のモデルＭ１の出力に関する根拠を示す根拠情報ＲＩＮＦ１を生成する。そして、移動体装置１００は、生成した根拠情報ＲＩＮＦ１を表示する。

【0131】

次に、図８を用いて、移動体の制御処理の手順について説明する。図８を用いて、移動体装置１００の移動制御処理の詳細な流れについて説明する。図８は、移動体の制御処理の手順を示すフローチャートである。

【0132】

図８に示すように、移動体装置１００は、センサからの画像を取得する（ステップＳ２０１）。例えば、移動体装置１００は、画像センサ１４１からの画像を取得する。

【0133】

そして、移動体装置１００は、取得した画像をログデータとして記憶する（ステップＳ２０２）。例えば、移動体装置１００は、画像をログデータとしてログ情報記憶部１２２に格納する。

【0134】

そして、移動体装置１００は、歩行者を検出した場合（ステップＳ２０３：Ｙｅｓ）、歩行者にヒートマップ表示する（ステップＳ２０４）。例えば、移動体装置１００は、歩行者を検出した場合、歩行者の位置を注目させる態様のヒートマップである根拠情報を生成し、表示する。

【0135】

そして、移動体装置１００は、生成した根拠情報をログデータとして記憶する（ステップＳ２０２）。例えば、移動体装置１００は、生成した根拠情報を生成基となる画像に対応付けてログ情報記憶部１２２に格納する。

【0136】

そして、移動体装置１００は、歩行者を避けるハンドル操作を実行する（ステップＳ２０５）。例えば、移動体装置１００は、ユーザによるハンドル操作を受け付けて、受け付けたハンドル操作に応じて移動制御を実行する。

【0137】

そして、移動体装置１００は、受け付けたハンドル操作の情報をログデータとして記憶する（ステップＳ２０２）。例えば、移動体装置１００は、受け付けたハンドル操作の情報を対応する画像や根拠情報に対応付けてログ情報記憶部１２２に格納する。

【0138】

一方、移動体装置１００は、歩行者を検出しなかった場合（ステップＳ２０３：Ｎｏ）、ステップＳ２０４、Ｓ２０５の処理を行うことなく、終了する。

【0139】

［１－４．他の情報処理例］
なお、図１の例では、移動体装置１００が歩行者等の物体を適切に認識した場合を示したが、移動体装置１００は物体を適切に認識できる場合に限らず、種々の条件により、移動体装置１００が適切に物体を認識できない場合が生じ得る。このような場合であっても、移動体装置１００が根拠情報を生成することが有用である。この点について、図９を用いて説明する。図９は、実施形態に係る情報処理の他の一例を示す図である。なお、図１と同様の点については適宜説明を省略する。

【0140】

図９に示す例では、移動体装置１００にはユーザ（ユーザＵ）が乗車しており、移動体装置１００は道ＲＤ２１上を走行中である場合を示す。具体的には、図９に示す例では、移動体装置１００から後述する物体ＯＢ２１、ＯＢ２２の方へ向かう方向が移動体装置１００の前方になり、移動体装置１００が前方へ走行中である場合を示す。なお、道ＲＤ２１の側部は壁面等、移動体装置１００が進入できない領域であるものとする。まず、移動体装置１００は、センサ部１４（図３参照）により検知を行う（ステップＳ２１）。図９の例では、移動体装置１００は、画像センサ１４１により画像ＩＭ２１を検知（撮像）する。

【0141】

そして、移動体装置１００は、認識処理を行う（ステップＳ２２）。移動体装置１００は、画像センサ１４１により撮像された画像ＩＭ２１を基に、認識処理を行う。移動体装置１００は、画像ＩＭ２１に含まれる物体等を認識する処理を行う。移動体装置１００は、図１と同様にモデルＭ１を用いて、認識処理を行う。

【0142】

図９の例では、移動体装置１００は、画像ＩＭ２１をモデルＭ１に入力することにより、モデルＭ１に画像ＩＭ２１の左側の位置（領域）に種別「人」である物体ＯＢ２１が存在することを示す情報を出力させる。また、移動体装置１００は、画像ＩＭ２１をモデルＭ１に入力することにより、モデルＭ１に画像ＩＭ２１の右側の位置（領域）に種別「車両」である物体ＯＢ２２が存在することを示す情報を出力させる。そして、移動体装置１００は、ステップＳ２３～Ｓ２６の処理を行う。なお、図９の例では、説明の便宜上、各処理にステップＳ２３～Ｓ２６を付するが、ステップＳ２４の後にステップＳ２５が行われることを示すものではない。例えば、ステップＳ２３～Ｓ２４の処理と、ステップＳ２５～Ｓ２６の処理は並列して行われる。

【0143】

まず、ステップＳ２３～Ｓ２４の処理を説明する。移動体装置１００は、生成処理を行う（ステップＳ２３）。移動体装置１００は、モデルＭ１への入力情報の入力後のモデルＭ１の状態を示す状態情報に基づいて、モデルへの入力情報の入力後のモデルの出力に関する根拠を示す根拠情報を生成する。移動体装置１００は、モデルＭ１への画像ＩＭ２１の入力後のモデルＭ１の状態を示す状態情報に基づいて、モデルＭ１への画像ＩＭ２１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。

【0144】

図９の例では、移動体装置１００は、Ｇｒａｄ－ＣＡＭにより、画像ＩＭ２１の入力後のモデルＭ１の出力に関する根拠を示す根拠情報を生成する。図９の例では、移動体装置１００は、種別「人」のクラスを指定して、種別「人」に対応する根拠情報ＲＩＮＦ２１である画像を生成する。根拠情報ＲＩＮＦ２１は、図１の根拠情報ＲＩＮＦ１と同様に、種別「人」の認識（分類）のために注視している範囲（領域）を、いわゆるヒートマップ（カラーマップ）の形式で示す画像である。図９の例では、根拠情報ＲＩＮＦ２１は、画像ＩＭ２１の人である物体ＯＢ２１の位置が注視されておらず、人である物体ＯＢ２１が適切に認識されていないことを示す。また、図９の例では、移動体装置１００は、車両である物体ＯＢ１２を適切に認識しているものとする。

【0145】

そして、移動体装置１００は、表示処理を行う（ステップＳ２４）。移動体装置１００は、生成した根拠情報ＲＩＮＦ２１を表示部１１（図３参照）に表示する。図９の例では、根拠情報ＲＩＮＦ２１に示すように適切に人である物体ＯＢ２１が認識されていないため、ユーザＵは、移動体装置１００の自動運転状態を手動運転に切り替えて、自身の操作による走行に切り替えてもよい。

【0146】

また、移動体装置１００は、根拠情報ＲＩＮＦ２１をその基となる入力情報（入力情報ＩＮＤ２１）である画像ＩＭ２１に対応付けて記憶部１２（図３参照）に履歴として格納する。例えば、移動体装置１００は、入力情報ＩＮＤ２１と根拠情報ＲＩＮＦ２１とを対応付けてログ情報記憶部１２２（図３参照）に格納する。これにより、移動体装置１００がどのような入力に対する判断により、その後の動作を行ったのかを検証可能となる。

【0147】

ここから、ステップＳ２５～Ｓ２６の処理を説明する。なお、ステップＳ２５の処理は、ステップＳ２２の処理が完了し次第行われる。

【0148】

移動体装置１００は、認識処理の認識結果を基に予測処理を行う（ステップＳ２５）。移動体装置１００は、モデルＭ１の出力を基に、予測処理を行う。移動体装置１００は、画像ＩＭ２１に含まれる物体の移動等の行動（運動態様）を予測する処理を行う。移動体装置１００は、図１と同様に、モデルＭ２を用いて、予測処理を行う。移動体装置１００は、認識した車両である物体ＯＢ２２の運動態様を予測する。移動体装置１００は、物体ＯＢ２２の移動方向や速度を予測する。図９の例では、移動体装置１００は、物体ＯＢ２２が移動体装置１００の方に向かって移動していると予測する。

【0149】

移動体装置１００は、予測処理の予測結果を基に行動計画を決定する処理を行う（ステップＳ２６）。移動体装置１００は、モデルＭ２の出力を基に、行動計画を示す生成する処理を行う。移動体装置１００は、予測した物体ＯＢ２２の運動態様に基づいて、行動計画を決定する。移動体装置１００は、図１と同様に、モデルＭ３を用いて、行動計画を決定する処理を行う。図９の例では、移動体装置１００は、物体ＯＢ２２が自身の進行方向に位置し、移動体装置１００に向かってきているため、物体ＯＢ２２を避けるように行動計画を決定する。具体的には、移動体装置１００は、進行方向の右側に位置する物体ＯＢ２２への衝突を避けるために進行方向の左側へ進行する経路ＰＰ２１を計画する。移動体装置１００は、経路ＰＰ２１を示す行動計画情報を生成する。そして、移動体装置１００は、経路ＰＰ２１を示す行動計画情報を基に自動運転の制御を行う。例えば、移動体装置１００は、入力情報ＩＮＤ２１に、経路ＰＰ２１や経路ＰＰ２１に基づく実際の移動体装置１００の走行情報を対応付けてログ情報記憶部１２２（図３参照）に格納する。これにより、移動体装置１００がどのような入力により移動体装置１００がどのような計画を行ったり、走行したりしたかを検証可能となる。

【0150】

上述のように、図９の例では、移動体装置１００は、画像センサ１４１により検知した画像ＩＭ２１により歩行者である物体ＯＢ２１を検出（認識）できなかったため、物体ＯＢ２１がハイライトされていないヒートマップである根拠情報ＲＩＮＦ２１を表示部１１に表示する。このように、図９の例では、自動運転でのセンサから歩行者を検出できなかったため、可視化表示装置（例えば表示部１１等）により歩行者がヒートマップによってハイライト表示されない。

【0151】

例えば、図９の例では、移動体装置１００は、歩行者である物体ＯＢ２１を適切に認識できていないため、車両である物体ＯＢ２２を避けるため、歩行者である物体ＯＢ２１側へ進路を取り物体ＯＢ２１に接近する。このとき、移動体装置１００が歩行者である物体ＯＢ２１がハイライトされていないヒートマップである根拠情報ＲＩＮＦ２１をリアルタイムに表示している。これにより、移動体装置１００の乗車者は、移動体装置１００が人を認識できていないため、人側へ進路を取っていると認識することができる。このように、移動体装置１００の乗車者は、自動運転で走行する移動体装置１００が人を適切に認識できていないため、対向車を避けるために、人がいる方向へ進路をとろうとしていることが分かる。そのため、移動体装置１００の乗車者は、非常時手動運転に切替えて、自動運転を停止し、自身でハンドル部やブレーキ部などの操作を行うことによって、人と接触する事故を回避することもできる。

【0152】

また、図９の例において移動体装置１００が物体ＯＢ２２である対向車を避けるために、左方向へ進行すると自動運転が判断したために、歩行者である物体ＯＢ２１と接触したとする。このような場合であっても、移動体装置１００は、歩行者である物体ＯＢ２１がハイライトされていないヒートマップである根拠情報ＲＩＮＦ２１が記憶部１２に格納しているため、歩行者である物体ＯＢ２１との接触が物体ＯＢ２１を適切に認識できていなかったためであるという理由（根拠）を示す情報を提供することができる。すなわち、移動体装置１００は、人との接触事故の説明として、自動運転システム（センサシステム）が歩行者を認識できていないことによって生じたことをログデータから証明することができる。

【0153】

［１－５．車両内システムの構成の概念図］
ここで、図１０を用いて、車両内システムにおける各機能やハードウェア構成や処理を概念的に示す。図１０は、車両内システムの構成の概念図の一例を示す図である。図１０に示す車両内システムＦＣＢ１は、自動運転を行うために車両（移動体）に搭載されるシステムである。例えば、移動体装置１００は、図１０に示すような車両内システムＦＣＢ１が搭載された自動車である。

【0154】

図１０に示す車両内システムＦＣＢ１は、センサ部、人工知能、自動運転制御部等が含まれる。また、車両内システムＦＣＢ１は、可視化表示、ログ保存、非常時手動運転といった処理を行う。

【0155】

車両内システムＦＣＢ１のセンサ部は、例えば車両外の情報を検知する。車両内システムＦＣＢ１のセンサ部は、移動体装置１００のセンサ部１４等に対応する。車両内システムＦＣＢ１のセンサ部は、画像を撮像する。

【0156】

車両内システムＦＣＢ１の人工知能は、認知システムと判断システムとを含む。車両内システムＦＣＢ１の認知システムは、外界認識と予測の処理を行う。車両内システムＦＣＢ１の認知システムは、移動体装置１００の認識部１３２や予測部１３３等に対応する。車両内システムＦＣＢ１の認知システムは、車両内システムＦＣＢ１のセンサ部により検知された情報（センサ情報）を基に、外界認識を行う。また、車両内システムＦＣＢ１の認知システムは、外界認識の結果を基に、予測を行う。

【0157】

車両内システムＦＣＢ１の判断システムは、行動計画の処理を行う。車両内システムＦＣＢ１の判断システムは、移動体装置１００の行動計画部１３４等に対応する。車両内システムＦＣＢ１の判断システムは、車両内システムＦＣＢ１の認知システムの予測結果を基に、行動計画を行う。

【0158】

車両内システムＦＣＢ１の自動運転制御部は、自動運転の制御を行う。車両内システムＦＣＢ１の自動運転制御部は、移動体装置１００の実行部１３５や運転を制御する各構成等に対応する。車両内システムＦＣＢ１の自動運転制御部は、両内システムＦＣＢ１の判断システムが生成した行動計画を基に、運転を制御する。

【0159】

車両内システムＦＣＢ１の可視化表示は、各種の情報を表示する処理である。車両内システムＦＣＢ１の可視化表示は、移動体装置１００の表示部１１や生成部１３６等の機能により実現される。車両内システムＦＣＢ１の可視化表示は、センサ部や人工知能の情報を表示する。車両内システムＦＣＢ１の可視化表示は、人工知能の判断根拠を示す根拠情報を表示する。例えば、車両内システムＦＣＢ１の可視化表示は、人工知能の情報を基に、根拠情報を生成し、表示する。

【0160】

車両内システムＦＣＢ１のログ保存は、各種の情報をログとして保存する処理である。車両内システムＦＣＢ１のログ保存は、移動体装置１００の記憶部１２等の機能により実現される。車両内システムＦＣＢ１のログ保存は、車両内システムＦＣＢ１の可視化表示や判断システムの情報をログとして保存する。車両内システムＦＣＢ１のログ保存は、センサ情報と、そのセンサ情報に基づく外界認識、予測、行動計画の情報とを対応付けてログとして保存する。

【0161】

車両内システムＦＣＢ１の非常時手動運転は、車両内システムＦＣＢ１が搭載された車両に乗車するユーザ（乗車者）による手動運転に応じた制御を行う処理である。車両内システムＦＣＢ１の非常時手動運転は、移動体装置１００のバンドル部やアクセル部やブレーキ部等のユーザによる各種の運転操作を受け付ける構成などにより実現される。例えば、車両内システムＦＣＢ１の非常時手動運転による制御が行われる場合、自動運転制御部により制御が停止され、ユーザによる手動運転に応じて、車両内システムＦＣＢ１が搭載された車両の走行等の制御が行われる。

【0162】

上述のような車両内システムＦＣＢ１は、ＡＩによる自動運転において、ブラックボックスと言われるディープラーニングがどのような根拠に基づいて判断をしたのかを可視化する。図１０に示すように、車両内システムＦＣＢ１における人工知能部は、認知システムと判断システムから構成されている。認知システムは、外界認識や予測を行い、判断システムへの根拠となる情報を提供する。認知システムにおいて、その判断根拠となる画像をヒートマップにてハイライトすることで、可視化表示ができる。車両の運転者は、可視化表示を見て、危険な状態を察知した場合、自動運転から非常時手動運転へ切り替えることで、事故を回避することができる。また、万一事故が発生してしまったときは、ログに保存されている判断根拠の可視化表示とセンサ画像から説明をすることができる。

【0163】

上述のような車両内システムＦＣＢ１によって、自動運転における人工知能がどのような判断したのかを可視化することができる。従来までブラックボックスと言われていた人工知能の判断根拠をリアルタイムに運転者が知ることができ、安全な走行への運転支援ができる。例えば、自動運転が急に左に曲がろうとした場合、人を避けるためなのか、障害物を避けるためなのかをディープラーニングの判断根拠の可視化技術によって知ることができる。例えば、急な左への方向転換はその先に人等の物体が存在する可能性もある。もし自動運転によってハンドルを左に切らずに、障害物の方向へ進んでいたならば、物損事故で済み、人身事故が発生することを回避することもできる。また、万一事故が起こってしまったときは、自動運転での判断根拠が記録されているので、自動運転での過失について証明することができる。

【0164】

［２．その他の実施形態］
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態（変形例）にて実施されてよい。例えば、上述した例では、情報処理を行う情報処理装置が移動体装置１００である例を示したが、情報処理装置は、サーバ装置であってもよい。例えば、情報処理装置は、他の装置から受信した情報を用いて根拠情報を生成するサーバ装置であってもよい。すなわち、情報処理装置は、根拠情報を生成する処理を行うために必要な構成のみを有してもよい。根拠情報を生成する情報処理装置が含まれる情報処理システムが構成されてもよい。この場合、情報処理システムは、根拠情報を生成する情報処理装置と、情報処理装置が生成した根拠情報を表示する表示装置とを含む構成であってもよい。すなわち、情報処理システムは、根拠情報を生成する装置と、根拠情報を表示する装置とを含む構成であってもよい。

【0165】

［２－１．その他の構成例］
また、上述した例では、情報処理装置と移動体装置（移動体）とが一体である場合を示したが、情報処理装置と移動体装置（移動体）とは別体であってもよい。この点について、図１１及び図１２を用いて説明する。図１１は、本開示の変形例に係る情報処理システムの構成例を示す図である。図１２は、本開示の変形例に係る情報処理装置の構成例を示す図である。

【0166】

図１１に示すように、情報処理システム１は、移動体装置１０と、情報処理装置１００Ａとが含まれる。移動体装置１０及び情報処理装置１００ＡはネットワークＮを介して、有線又は無線により通信可能に接続される。なお、図１１に示した情報処理システム１には、複数台の移動体装置１０や、複数台の情報処理装置１００Ａが含まれてもよい。この場合、情報処理装置１００Ａは、ネットワークＮを介して移動体装置１０と通信し、移動体装置１０や各種センサが収集した情報を基に、移動体装置１０の制御の指示を行なったりしてもよい。情報処理装置１００Ａは、いずれの場所に配置されてもよい。例えば、情報処理装置１００Ａは、移動体装置１０外に配置されてもよいし、移動体装置１０に搭載されてもよい。

【0167】

移動体装置１０は、自動運転で走行する自動車である。移動体装置１０は、画像センサ等のセンサにより検知したセンサ情報を情報処理装置１００Ａへ送信する。移動体装置１０は、画像センサによって撮像された画像を情報処理装置１００Ａへ送信する。これにより、情報処理装置１００Ａは、画像センサによって撮像された画像を取得する。なお、移動体装置１０は、情報処理装置１００Ａとの間で情報の送受信が可能であれば、どのような装置であってもよく、例えば、自律移動ロボットやドローン等の種々の移動体であってもよい。

【0168】

情報処理装置１００Ａは、移動体装置１０から受信した情報を用いて、各種の情報処理を行う情報処理装置である。情報処理装置１００Ａは、行動計画の情報等、移動体装置１０を制御するための情報を移動体装置１０へ提供する。情報処理装置１００Ａから行動計画の情報を受信した移動体装置１０は、行動計画の情報を基に制御し、移動する。情報処理装置１００Ａは、生成した根拠情報を移動体装置１０へ提供する。情報処理装置１００Ａから根拠情報を受信した移動体装置１０は、根拠情報を表示する。

【0169】

図１２に示すように、情報処理装置１００Ａは、記憶部１２と、制御部１３Ａと、通信部１６とを有する。通信部１６は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、移動体装置１０との間で情報の送受信を行う。記憶部１２は、移動体装置１０の移動を制御するための情報や移動体装置１０から受信した各種情報や移動体装置１０へ送信する各種情報を記憶する。このように、情報処理装置１００Ａは、移動体装置１０等の外部の装置との間で情報を送受信するための構成を有する。

【0170】

図１２に示すように、情報処理装置１００Ａは、センサ部や駆動部等を有さず、移動体装置としての機能を実現するための構成を有しなくてもよい。なお、情報処理装置１００Ａは、情報処理装置１００Ａを管理する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0171】

制御部１３Ａは、取得部１３１と、認識部１３２と、予測部１３３と、行動計画部１３４と、実行部１３５と、生成部１３６と、送信部１３７を有する。

【0172】

送信部１３７は、各種情報を送信する。送信部１３７は、各種情報の提供を行う。送信部１３７は、外部の情報処理装置へ各種情報を提供する。送信部１３７は、外部の情報処理装置へ各種情報を送信する。送信部１３７は、記憶部１２に記憶された情報を送信する。送信部１３７は、生成部１３６により生成された情報を送信する。

【0173】

送信部１３７は、移動体装置１０へ情報を送信する。送信部１３７は、行動計画部１３４により生成された行動計画の情報を移動体装置１０へ情報を送信する。送信部１３７は、行動計画部１３４により生成された行動計画の情報を移動体装置１０へ情報を送信することにより、移動体装置１０の動作を制御する。送信部１３７は、行動計画の情報を移動体装置１０へ情報を送信することにより、移動体装置１０の自動運転を制御する。

【0174】

［２－２．移動体の構成］
また、上述した移動体装置１００や情報処理システム１は、図１３に示すような構成を有してもよい。例えば、移動体装置１００は、図３に示した構成の他に、以下に示す構成を有してもよい。なお、以下に示す各部は、例えば、図３に示した構成に含まれてもよい。

【0175】

すなわち、上述した移動体装置１００や情報処理システム１は、以下に示す移動体制御システムとして構成することも可能である。図１３は、本技術が適用され得る移動体制御システムの概略的な機能の構成例を示すブロック図である。

【0176】

移動体制御システムの一例である車両制御システム２００の自動運転制御部２１２や動作制御部２３５は、移動体装置１００の実行部１３５に対応する。また、自動運転制御部２１２の検出部２３１や自己位置推定部２３２や状況分析部２３３は、移動体装置１００の認識部１３２や予測部１３３に対応する。また、自動運転制御部２１２の計画部２３４は、移動体装置１００の行動計画部１３４に対応する。また、自動運転制御部２１２は、図１３に示すブロックに加えて、制御部１３の各処理部に相当するブロックを有していてもよい。

【0177】

なお、以下、車両制御システム２００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

【0178】

車両制御システム２００は、入力部２０１、データ取得部２０２、通信部２０３、車内機器２０４、出力制御部２０５、出力部２０６、駆動系制御部２０７、駆動系システム２０８、ボディ系制御部２０９、ボディ系システム２１０、記憶部２１１、及び、自動運転制御部２１２を備える。入力部２０１、データ取得部２０２、通信部２０３、出力制御部２０５、駆動系制御部２０７、ボディ系制御部２０９、記憶部２１１、及び、自動運転制御部２１２は、通信ネットワーク２２１を介して、相互に接続されている。通信ネットワーク２２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム２００の各部は、通信ネットワーク２２１を介さずに、直接接続される場合もある。

【0179】

なお、以下、車両制御システム２００の各部が、通信ネットワーク２２１を介して通信を行う場合、通信ネットワーク２２１の記載を省略するものとする。例えば、入力部２０１と自動運転制御部２１２が、通信ネットワーク２２１を介して通信を行う場合、単に入力部２０１と自動運転制御部２１２が通信を行うと記載する。

【0180】

入力部２０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部２０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部２０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム２００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部２０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム２００の各部に供給する。

【0181】

データ取得部２０２は、車両制御システム２００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム２００の各部に供給する。

【0182】

例えば、データ取得部２０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

【0183】

また、例えば、データ取得部２０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部２０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

【0184】

さらに、例えば、データ取得部２０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

【0185】

また、例えば、データ取得部２０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

【0186】

通信部２０３は、車内機器２０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム２００の各部から供給されるデータを送信したり、受信したデータを車両制御システム２００の各部に供給したりする。なお、通信部２０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部２０３が、複数の種類の通信プロトコルをサポートすることも可能である。

【0187】

例えば、通信部２０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器２０４と無線通信を行う。また、例えば、通信部２０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）（登録商標）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器２０４と有線通信を行う。

【0188】

さらに、例えば、通信部２０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部２０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部２０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部２０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

【0189】

車内機器２０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

【0190】

出力制御部２０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部２０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部２０６に供給することにより、出力部２０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部２０５は、データ取得部２０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部２０６に供給する。また、例えば、出力制御部２０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部２０６に供給する。

【0191】

出力部２０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部２０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部２０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

【0192】

駆動系制御部２０７は、各種の制御信号を生成し、駆動系システム２０８に供給することにより、駆動系システム２０８の制御を行う。また、駆動系制御部２０７は、必要に応じて、駆動系システム２０８以外の各部に制御信号を供給し、駆動系システム２０８の制御状態の通知等を行う。

【0193】

駆動系システム２０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム２０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

【0194】

ボディ系制御部２０９は、各種の制御信号を生成し、ボディ系システム２１０に供給することにより、ボディ系システム２１０の制御を行う。また、ボディ系制御部２０９は、必要に応じて、ボディ系システム２１０以外の各部に制御信号を供給し、ボディ系システム２１０の制御状態の通知等を行う。

【0195】

ボディ系システム２１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム２１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

【0196】

記憶部２１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部２１１は、車両制御システム２００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部２１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

【0197】

自動運転制御部２１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部２１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部２１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部２１２は、検出部２３１、自己位置推定部２３２、状況分析部２３３、計画部２３４、及び、動作制御部２３５を備える。

【0198】

検出部２３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部２３１は、車外情報検出部２４１、車内情報検出部２４２、及び、車両状態検出部２４３を備える。

【0199】

車外情報検出部２４１は、車両制御システム２００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部２４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部２４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部２４１は、検出処理の結果を示すデータを自己位置推定部２３２、状況分析部２３３のマップ解析部２５１、交通ルール認識部２５２、及び、状況認識部２５３、並びに、動作制御部２３５の緊急事態回避部２７１等に供給する。

【0200】

車内情報検出部２４２は、車両制御システム２００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部２４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部２４２は、検出処理の結果を示すデータを状況分析部２３３の状況認識部２５３、及び、動作制御部２３５の緊急事態回避部２７１等に供給する。

【0201】

車両状態検出部２４３は、車両制御システム２００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部２４３は、検出処理の結果を示すデータを状況分析部２３３の状況認識部２５３、及び、動作制御部２３５の緊急事態回避部２７１等に供給する。

【0202】

自己位置推定部２３２は、車外情報検出部２４１、及び、状況分析部２３３の状況認識部２５３等の車両制御システム２００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部２３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部２３２は、推定処理の結果を示すデータを状況分析部２３３のマップ解析部２５１、交通ルール認識部２５２、及び、状況認識部２５３等に供給する。また、自己位置推定部２３２は、自己位置推定用マップを記憶部２１１に記憶させる。

【0203】

状況分析部２３３は、自車及び周囲の状況の分析処理を行う。状況分析部２３３は、マップ解析部２５１、交通ルール認識部２５２、状況認識部２５３、及び、状況予測部２５４を備える。

【0204】

マップ解析部２５１は、自己位置推定部２３２及び車外情報検出部２４１等の車両制御システム２００の各部からのデータ又は信号を必要に応じて用いながら、記憶部２１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部２５１は、構築したマップを、交通ルール認識部２５２、状況認識部２５３、状況予測部２５４、並びに、計画部２３４のルート計画部２６１、行動計画部２６２、及び、動作計画部２６３等に供給する。

【0205】

交通ルール認識部２５２は、自己位置推定部２３２、車外情報検出部２４１、及び、マップ解析部２５１等の車両制御システム２００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部２５２は、認識処理の結果を示すデータを状況予測部２５４等に供給する。

【0206】

状況認識部２５３は、自己位置推定部２３２、車外情報検出部２４１、車内情報検出部２４２、車両状態検出部２４３、及び、マップ解析部２５１等の車両制御システム２００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部２５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部２５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

【0207】

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

【0208】

状況認識部２５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部２３２及び状況予測部２５４等に供給する。また、状況認識部２５３は、状況認識用マップを記憶部２１１に記憶させる。

【0209】

状況予測部２５４は、マップ解析部２５１、交通ルール認識部２５２及び状況認識部２５３等の車両制御システム２００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部２５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

【0210】

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

【0211】

状況予測部２５４は、予測処理の結果を示すデータを、交通ルール認識部２５２及び状況認識部２５３からのデータとともに、計画部２３４のルート計画部２６１、行動計画部２６２、及び、動作計画部２６３等に供給する。

【0212】

ルート計画部２６１は、マップ解析部２５１及び状況予測部２５４等の車両制御システム２００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部２６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部２６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部２６１は、計画したルートを示すデータを行動計画部２６２等に供給する。

【0213】

行動計画部２６２は、マップ解析部２５１及び状況予測部２５４等の車両制御システム２００の各部からのデータ又は信号に基づいて、ルート計画部２６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部２６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部２６２は、計画した自車の行動を示すデータを動作計画部２６３等に供給する。

【0214】

動作計画部２６３は、マップ解析部２５１及び状況予測部２５４等の車両制御システム２００の各部からのデータ又は信号に基づいて、行動計画部２６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部２６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部２６３は、計画した自車の動作を示すデータを、動作制御部２３５の加減速制御部２７２及び方向制御部２７３等に供給する。

【0215】

動作制御部２３５は、自車の動作の制御を行う。動作制御部２３５は、緊急事態回避部２７１、加減速制御部２７２、及び、方向制御部２７３を備える。

【0216】

緊急事態回避部２７１は、車外情報検出部２４１、車内情報検出部２４２、及び、車両状態検出部２４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部２７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部２７１は、計画した自車の動作を示すデータを加減速制御部２７２及び方向制御部２７３等に供給する。

【0217】

加減速制御部２７２は、動作計画部２６３又は緊急事態回避部２７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部２７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部２０７に供給する。

【0218】

方向制御部２７３は、動作計画部２６３又は緊急事態回避部２７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部２７３は、動作計画部２６３又は緊急事態回避部２７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部２０７に供給する。

【0219】

［２－３．その他］
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0220】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0221】

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0222】

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

【0223】

なお、本発明は、移動体に限らず、機械学習モデルを用いて、番組推薦などの機能を提供するＴＶ（テレビ）あるいはオートフォーカス、自動シャッター等の機能を提供するカメラ、その他、家電、スマートフォンにも適用することができる。例えば、本開示に係る情報処理を実現する情報処理装置は、移動体装置に限らず、上記のようなテレビやカメラやその他の家電製品、スマートフォンなどのデバイス装置などの種々の装置として適用することができる。

【0224】

［３．本開示に係る効果］
上述のように、本開示に係る情報処理装置（実施形態では移動体装置１００、情報処理装置１００Ａ）は、取得部（実施形態では取得部１３１）と、生成部（実施形態では生成部１３６）を備える。取得部は、ニューラルネットワークの構造を有するモデルと、モデルに入力される入力情報とを取得する。生成部は、モデルへの入力情報の入力後のモデルの状態を示す状態情報に基づいて、モデルへの入力情報の入力後のモデルの出力に関する根拠を示す根拠情報を生成する。

【0225】

これにより、本開示に係る情報処理装置は、ニューラルネットワークの構造を有するモデルへ入力情報が入力された場合のモデルの出力に関する根拠を示すことが可能となり、ニューラルネットワークの構造を有するモデルの出力に関する根拠を説明可能にすることができる。すなわち、情報処理装置は、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0226】

また、生成部は、モデルの出力を用いた処理の根拠を示す根拠情報を生成する。これにより、情報処理装置は、モデルの出力を用いてモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0227】

また、取得部は、自律的に行動する装置の制御に用いられるモデルを取得する。生成部は、モデルへの入力情報の入力後の装置の制御の根拠を示す根拠情報を生成する。これにより、情報処理装置は、自律的に行動する装置の制御におけるモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0228】

また、取得部は、自律的に移動可能な移動体の制御に用いられるモデルを取得する。生成部は、モデルへの入力情報の入力後の移動体の制御の根拠を示す根拠情報を生成する。これにより、情報処理装置は、自律的に移動可能な移動体の制御におけるモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0229】

また、生成部は、自動運転により動作する車両である移動体の制御に用いられるモデルを取得する。れにより、情報処理装置は、自動運転により動作する車両の制御におけるモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0230】

また、生成部は、移動体の移動方向の根拠を示す根拠情報を生成する。これにより、情報処理装置は、移動体の移動方向の根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0231】

また、取得部は、センサ情報の入力に応じて出力を行うモデルと、センサにより検知されたセンサ情報である入力情報とを取得する。生成部は、センサによる検知に応じて入力情報が入力されたモデルの根拠情報を生成する。これにより、情報処理装置は、ニューラルネットワークの構造を有するモデルへセンサ情報が入力された場合のモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0232】

また、取得部は、画像情報の入力に応じて画像情報の認識結果を出力するモデルと、画像情報である入力情報とを取得する。これにより、情報処理装置は、ニューラルネットワークの構造を有するモデルへ画像情報が入力された場合のモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0233】

また、生成部は、モデルの出力に関する根拠を示す画像情報を根拠情報として生成する。これにより、情報処理装置は、モデルの出力に関する根拠を示す画像情報を生成することで、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0234】

また、生成部は、モデルの出力に関する根拠を示すヒートマップを根拠情報として生成する。これにより、情報処理装置は、モデルの出力に関する根拠を示すヒートマップを生成することで、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0235】

また、取得部は、ＣＮＮを含むモデルを取得する。これにより、情報処理装置は、ＣＮＮを含むモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0236】

また、生成部は、モデルの畳み込み層の状態を含む状態情報に基づいて、根拠情報を生成する。これにより、情報処理装置は、モデルの畳み込み層の状態を基にモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0237】

また、生成部は、Ｇｒａｄ－ＣＡＭにより根拠情報を生成する。これにより、情報処理装置は、Ｇｒａｄ－ＣＡＭの技術によりモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0238】

また、取得部は、他のモデルが出力する出力情報の入力に応じて出力を行うモデルと、他のモデルが出力した出力情報である入力情報とを取得する。生成部は、他のモデルによる出力に応じて入力情報が入力されたモデルの根拠情報を生成する。これにより、情報処理装置は、他のモデルの出力を入力とするモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0239】

また、モデルへの入力情報の入力後のモデルの出力結果を含む状態情報に基づいて、根拠情報を生成する。これにより、情報処理装置は、モデルの出力結果を基にモデルの出力を用いてモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0240】

また、生成部は、ＬＩＭＥに関する処理により根拠情報を生成する。これにより、情報処理装置は、ＬＩＭＥの技術によりモデルの出力に関する根拠を示すことが可能となり、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0241】

また、情報処理装置は、表示部（実施形態では表示部１１）を有する。表示部は、根拠情報を表示する。これにより、情報処理装置は、モデルの出力に関する根拠の適切な情報提供を行うことができる。

【0242】

また、生成部は、入力情報と根拠情報とを対応付けたログ情報を記憶部に格納する。これにより、情報処理装置は、入力とその出力に関する根拠とを対応付けて管理可能とすることで、ある入力に対する時点での出力に関する根拠を示す情報を適切に提供することができる。

【0243】

また、情報処理装置は、機械学習モデルでアクションを行う情報処理装置であり、センサ部（実施形態ではセンサ部１４）と、アクションの根拠情報を生成する複数の根拠生成アルゴリズムを備えた根拠情報生成部（実施形態では根拠情報生成部ＲＳＤ１）と、を備え、１つまたは複数の根拠生成アルゴリズムに基づいて生成された根拠情報、及び／またはセンサ情報に基づいて、アクションの根拠を示す情報を出力する。これにより、情報処理装置は、根拠生成アルゴリズムに基づいて生成された根拠情報、及び／またはセンサ情報に基づいて、アクションの根拠を示す情報を出力することで、情報処理装置のアクションの根拠を示すことができる。したがって、情報処理装置は、情報処理装置による処理に関する根拠を説明可能にすることができる。

【0244】

［４．ハードウェア構成］
上述してきた各実施形態に係る移動体装置１００や情報処理装置１００Ａ等の情報機器は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。図１４は、移動体装置１００や情報処理装置１００Ａ等の情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係る移動体装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

【0245】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

【0246】

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0247】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

【0248】

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

【0249】

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0250】

例えば、コンピュータ１０００が実施形態に係る移動体装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

【0251】

なお、本技術は以下のような構成も取ることができる。
（１）
ニューラルネットワークの構造を有するモデルと、前記モデルに入力される入力情報とを取得する取得部と、
前記モデルへの前記入力情報の入力後の前記モデルの状態を示す状態情報に基づいて、前記モデルへの前記入力情報の入力後の前記モデルの出力に関する根拠を示す根拠情報を生成する生成部と、
を備える情報処理装置。
（２）
前記生成部は、
前記モデルの出力を用いた処理の根拠を示す前記根拠情報を生成する
前記（１）に記載の情報処理装置。
（３）
前記取得部は、
自律的に行動する装置の制御に用いられる前記モデルを取得し、
前記生成部は、
前記モデルへの前記入力情報の入力後の前記装置の制御の根拠を示す前記根拠情報を生成する
前記（１）または（２）に記載の情報処理装置。
（４）
前記取得部は、
自律的に移動可能な移動体の制御に用いられる前記モデルを取得し、
前記生成部は、
前記モデルへの前記入力情報の入力後の前記移動体の制御の根拠を示す前記根拠情報を生成する
前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
前記取得部は、
自動運転により動作する車両である前記移動体の制御に用いられる前記モデルを取得する
前記（４）に記載の情報処理装置。
（６）
前記生成部は、
前記移動体の移動方向の根拠を示す前記根拠情報を生成する
前記（４）または（５）に記載の情報処理装置。
（７）
前記取得部は、
センサ情報の入力に応じて出力を行う前記モデルと、センサにより検知された前記センサ情報である前記入力情報とを取得し、
前記生成部は、
前記センサによる検知に応じて前記入力情報が入力された前記モデルの前記根拠情報を生成する
前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
前記取得部は、
画像情報の入力に応じて前記画像情報の認識結果を出力する前記モデルと、前記画像情報である前記入力情報とを取得する
前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
前記生成部は、
前記モデルの出力に関する根拠を示す画像情報を前記根拠情報として生成する
前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
前記生成部は、
前記モデルの出力に関する根拠を示すヒートマップを前記根拠情報として生成する
前記（９）に記載の情報処理装置。
（１１）
前記取得部は、
ＣＮＮ（Convolutional Neural Network）を含む前記モデルを取得する
前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記生成部は、
前記モデルの畳み込み層の状態を含む前記状態情報に基づいて、前記根拠情報を生成する
前記（１１）に記載の情報処理装置。
（１３）
前記生成部は、
ＣＡＭ（Class Activation Mapping）に関する処理により前記根拠情報を生成する
前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記生成部は、
Ｇｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）により前記根拠情報を生成する
前記（１３）に記載の情報処理装置。
（１５）
前記取得部は、
他のモデルが出力する出力情報の入力に応じて出力を行う前記モデルと、前記他のモデルが出力した前記出力情報である前記入力情報とを取得し、
前記生成部は、
前記他のモデルによる出力に応じて前記入力情報が入力された前記モデルの前記根拠情報を生成する
前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記生成部は、
前記モデルへの前記入力情報の入力後の前記モデルの出力結果を含む前記状態情報に基づいて、前記根拠情報を生成する
前記（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記生成部は、
前記入力情報と前記出力結果とを用いて学習された根拠用モデルに基づいて、前記根拠情報を生成する
前記（１６）に記載の情報処理装置。
（１８）
前記生成部は、
前記入力情報と前記出力結果との組合せを対象に局所的に近似する前記根拠用モデルを用いて、前記根拠情報を生成する
前記（１７）に記載の情報処理装置。
（１９）
前記生成部は、
ＬＩＭＥ（Local Interpretable Model-agnostic Explanations）に関する処理により前記根拠情報を生成する
前記（１７）または（１８）に記載の情報処理装置。
（２０）
前記根拠情報を表示する表示部、
を備える
前記（１）～（１９）のいずれか１項に記載の情報処理装置。
（２１）
前記表示部は、
前記根拠情報を図として表示する
前記（２０）に記載の情報処理装置。
（２２）
前記表示部は、
画像情報である前記根拠情報を表示する
前記（２１）に記載の情報処理装置。
（２３）
前記表示部は、
ヒートマップである前記根拠情報を表示する
前記（２２）に記載の情報処理装置。
（２４）
前記表示部は、
前記根拠情報を文字として表示する
前記（２０）～（２３）のいずれか１項に記載の情報処理装置。
（２５）
前記表示部は、
前記根拠情報を数値として表示する
前記（２０）～（２４）のいずれか１項に記載の情報処理装置。
（２６）
前記生成部は、
前記入力情報と前記根拠情報とを対応付けたログ情報を記憶部に格納する
前記（１）～（２５）のいずれか１項に記載の情報処理装置。
（２７）
ニューラルネットワークの構造を有するモデルと、前記モデルに入力される入力情報とを取得し、
前記モデルへの前記入力情報の入力後の前記モデルの状態を示す状態情報に基づいて、前記モデルへの前記入力情報の入力後の前記モデルの出力に関する根拠を示す根拠情報を生成する、
処理を実行する情報処理方法。
（２８）
ニューラルネットワークの構造を有するモデルと、前記モデルに入力される入力情報とを取得し、
前記モデルへの前記入力情報の入力後の前記モデルの状態を示す状態情報に基づいて、前記モデルへの前記入力情報の入力後の前記モデルの出力に関する根拠を示す根拠情報を生成する、
処理を実行させる情報処理プログラム。
（２９）
機械学習モデルでアクションを行う情報処理装置において、
センサ部と、
前記アクションの根拠情報を生成する複数の根拠生成アルゴリズムを備えた根拠情報生成部と、
を備え、
１つまたは複数の根拠生成アルゴリズムに基づいて生成された根拠情報、及び／またはセンサ情報に基づいて、前記アクションの根拠を示す情報を出力することを特徴とする情報処理装置。

【符号の説明】

【0252】

１００ 移動体装置
１００Ａ 情報処理装置
１１ 表示部
１２ 記憶部
１２１ モデル情報記憶部
１２２ ログ情報記憶部
１３、１３Ａ 制御部
１３１ 取得部
１３２ 認識部
１３３ 予測部
１３４ 行動計画部
１３５ 実行部
１３６ 生成部
１３７ 送信部
１４ センサ部
１４１ 画像センサ
１５ 駆動部
１６ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】