(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム
(51)【国際特許分類】
G08G 1/00 20060101AFI20231108BHJP
G01M 17/007 20060101ALI20231108BHJP
【ＦＩ】
G08G1/00 D
G01M17/007 D
【請求項の数】
8
(21)【出願番号】P 2020534037
(86)(22)【出願日】2018-09-14
(86)【国際出願番号】 JP2018034165
(87)【国際公開番号】W WO2020026460
(87)【国際公開日】2020-02-06
【審査請求日】2021-02-01
(31)【優先権主張番号】P 2018146728
(32)【優先日】2018-08-03
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】中山田 淳
【審査官】西畑 智道
(56)【参考文献】
【文献】国際公開第２０１７／０１２６７７（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１６３５３８（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０８２６７３２２（ＣＮ，Ａ）
【文献】国際公開第２０１７／１７１００５（ＷＯ，Ａ１）
【文献】特開２００２－２０３１０８（ＪＰ，Ａ）
【文献】特開２０１２－１４６２５１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００－９９／００
Ｇ０１Ｃ ２１／００－２１／３６
Ｇ０１Ｃ ２３／００－２５／００
Ｇ０１Ｍ １７／００７
(57)【特許請求の範囲】
【請求項1】
仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成部と、前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得部と、
前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価部と、
前記仮想的走行環境情報と、前記車両が危険状態になりやすい度合いを表す危険ランクと、を対応付けて記憶する記憶部と、
を備え、
前記生成部は、
前記評価部が第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価部が前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する
情報処理装置。
【請求項2】
前記評価部は、前記仮想的自動運転を行った前記人工知能が備える自動運転能力を複数の評価指標により評価する請求項１に記載の情報処理装置。
【請求項3】
前記複数の評価指標は、少なくとも、走行の安定性と、安全性とを含む請求項２に記載の情報処理装置。
【請求項4】
前記評価部は、前記仮想的自動運転を行った前記人工知能から出力された前記仮想運転情報と、模範となる車両における運転情報とを比較することによって、前記仮想的自動運転を行った前記人工知能が備える自動運転能力を評価する請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項5】
前記生成部は、前記仮想的自動運転に関して前記人工知能が有する特定の機能であって、衝突安全及び行動計画のうち少なくともいずれかを含む特定の機能を評価するための前記仮想的走行環境情報を前記人工知能への入力として提供し、前記評価部は、前記人工知能から出力された前記仮想運転情報に基づいて前記人工知能が有する前記特定の機能を評価する
請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項6】
前記危険ランクは、前記仮想的走行環境における前記車両の速度、都市の発達度合い、レーン線の明瞭度合い、カーブの状況および逆光の状況の少なくともいずれか１つに基づいて定められる請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項7】
生成部が、仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成ステップと、取得部が、前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得ステップと、
評価部が、前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価ステップと、
を含み、
前記生成ステップは、
前記評価ステップにおいて、第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価ステップにおいて、前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第１の危険ランクより低い前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する
情報処理方法。
【請求項8】
仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成ステップと、前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得ステップと、
前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記生成ステップは、
前記評価ステップにおいて、第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価ステップにおいて、前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第１の危険ランクより低い前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【0002】
上記技術分野において、特許文献１には、シミュレーションを用いて車両性能の評価を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－０２８７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記文献に記載の技術では、車両の自動運転を行う人工知能を効率的に評価することができなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0005】
上記目的を達成するため、本発明に係る情報処理装置は、
仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成部と、
前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得部と、
前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価部と、
前記仮想的走行環境情報と、前記車両が危険状態になりやすい度合いを表す危険ランクと、を対応付けて記憶する記憶部と、
を備え、
前記生成部は、
前記評価部が第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価部が前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第１の危険ランクより低い前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する。
仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成部と、
前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得部と、
前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価部と、
前記仮想的走行環境情報と、前記車両が危険状態になりやすい度合いを表す危険ランクと、を対応付けて記憶する記憶部と、
を備え、
前記生成部は、
前記評価部が第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価部が前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第１の危険ランクより低い前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する。
【0006】
上記目的を達成するため、本発明に係る情報処理方法は、
生成部が、仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成ステップと、
取得部が、前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得ステップと、
評価部が、前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価ステップと、
を含み、
前記生成ステップは、
前記評価ステップにおいて、第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価ステップにおいて、前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第１の危険ランクより低い前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する。
生成部が、仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成ステップと、
取得部が、前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得ステップと、
評価部が、前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価ステップと、
を含み、
前記生成ステップは、
前記評価ステップにおいて、第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価ステップにおいて、前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第１の危険ランクより低い前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する。
【0007】
上記目的を達成するため、本発明に係る情報処理プログラムは、
仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成ステップと、
前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得ステップと、
前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記生成ステップは、
前記評価ステップにおいて、第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価ステップにおいて、前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第１の危険ランクより低い前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する。
仮想的走行環境をシミュレートする走行環境シミュレータが生成した仮想的走行環境情報を、車両の自動運転を行う人工知能への入力として提供する生成ステップと、
前記仮想的走行環境情報に基づいて前記車両の仮想的自動運転を行った前記人工知能から出力された仮想運転情報を取得する取得ステップと、
前記仮想的自動運転を行った前記人工知能が備える自動運転能力を前記仮想運転情報に基づいて評価する評価ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記生成ステップは、
前記評価ステップにおいて、第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアしなかった場合、前記第１の危険ランクより低い第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供し、
前記評価ステップにおいて、前記第１の危険ランクに対応する前記仮想的走行環境情報に基づいて前記人工知能が備える自動運転能力に対して行った評価が所定の基準をクリアした場合、前記第１の危険ランクより低い前記第２の危険ランクに対応する前記仮想的走行環境情報を前記人工知能への入力として提供する処理を省略する。
【発明の効果】
【0008】
本発明によれば、車両の自動運転を行う人工知能を効率的に評価することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図2A】本発明の第２実施形態に係る人工知能評価の概要を示す図である。
【図2B】本発明の第２実施形態に係る人工知能評価のシチュエーションの例を示す図である。
【図3】本発明の第２実施形態に係る情報処理装置を含む情報処理システムの構成を示すブロック図である。
【図4】本発明の第２実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。
【図5】本発明の第２実施形態に係るクラウドサーバとしての情報処理装置の機能構成を示すブロック図である。
【図6】本発明の第２実施形態に係る走行環境情報データベースの構成を示す図である。
【図7】本発明の第２実施形態に係る走行環境情報の選択テーブルの構成を示す図である。
【図8】本発明の第２実施形態に係る評価情報データベースの構成を示す図である。
【図9】本発明の第２実施形態に係る評価テーブルの構成を示す図である。
【図10】本発明の第２実施形態に係る通信端末の機能構成を示すブロック図である。
【図11】本発明の第２実施形態に係るクラウドサーバとしての情報処理装置のハードウェア構成を示すブロック図である。
【図12】本発明の第２実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図13】本発明の第３実施形態に係るクラウドサーバとしての情報処理装置の機能構成を示すブロック図である。
【図14】本発明の第３実施形態に係る走行環境情報データベースの構成を示す図である。
【図15】本発明の第３実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図16】本発明の第４実施形態に係る人工知能評価の概要を示す図である。
【図17】本発明の第４実施形態に係るクラウドサーバとしての情報処理装置の機能構成を示すブロック図である。
【図18】本発明の第４実施形態に係る評価指標テーブルの構成を示す図である。
【図19】本発明の第４実施形態に係る評価情報データベースの構成を示す図である。
【図20】本発明の第４実施形態に係る評価テーブルの構成を示す図である。
【図21】本発明の第４実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図22】本発明の第５実施形態に係るクラウドサーバとしての情報処理装置の機能構成を示すブロック図である。
【図23】本発明の第５実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図24】本発明の第６実施形態に係る人工知能評価の概要を示す図である。
【図25】本発明の第６実施形態に係るクラウドサーバとしての情報処理装置の処理手順を示すフローチャートである。
【図26】本発明の第７実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。
【図27】本発明の第８実施形態に係る情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、人工知能を評価する装置である。
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、人工知能を評価する装置である。
【0011】
図１に示すように、情報処理装置１００は、走行環境情報生成部１０１と、仮想運転結果取得部１０２と、性能評価部１０３と、を含む。走行環境情報生成部１０１は、仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、車両が危険状態になりやすい走行環境を表す走行環境情報１１１を、車両の自動運転を行う人工知能１１０に提供するために生成する。仮想運転結果取得部１０２は、仮想的な走行環境下において、人工知能１１０により車両の仮想的な自動運転を行った仮想運転結果１１２を取得する。性能評価部１０３は、人工知能による自動運転の仮想運転結果から、人工知能の性能を評価する。
【0012】
本実施形態によれば、車両が危険状態になりやすい走行環境を表す走行環境情報に基づいて人工知能を評価するので、車両の自動運転を行う人工知能を効率的に評価することができる。
【0013】
［第２実施形態］
次に、本発明の第２実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供して、人工知能により車両の仮想的な自動運転を行った結果を評価する。また、情報処理装置は、人工知能に含まれる特定の機能を評価するための走行環境情報を提供し、特定の機能の性能を評価してもよい。
次に、本発明の第２実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供して、人工知能により車両の仮想的な自動運転を行った結果を評価する。また、情報処理装置は、人工知能に含まれる特定の機能を評価するための走行環境情報を提供し、特定の機能の性能を評価してもよい。
【0014】
ここで、走行環境情報は、仮想的な車両の走行環境を表す前方カメラの映像データを含む。なお、車両が危険状態になりやすい走行環境を表す走行環境情報は、通常の走行ルールからはずれた状況を表す走行環境情報を含む。一方、車両が危険状態になりやすい度合いが閾値を超える走行環境を表す走行環境情報を提供しない。
【0015】
【0016】
画面２１０は、通信端末から本実施形態の情報処理装置へのログイン時の画面である。画面２２０は、通信端末から情報処理装置の評価対象を通知する画面である。なお、評価シチュエーション、評価レベル、報告レベルなどを設定してもよい。評価シチュエーションの設定が無ければ、ランダムな走行環境情報による評価が実行される。
【0017】
画面２３０は、走行環境情報に従ってＡＩ(Artificial Intelligence)処理の実行が行われている間の状況を通知する画面である。画面２３０では、現在、「交差点の追い越しテスト」が実行されていることを示している。画面２４０は、テスト終了後の評価結果を通知する画面である。
【0018】
このように、通信端末の表示部２００からの簡単な操作で、人工知能の評価結果を得ることができる。
【0019】
（人工知能評価のシチュエーションの例）
図２Ｂは、本実施形態に係る人工知能評価のシチュエーションの例を示す図である。
図２Ｂは、本実施形態に係る人工知能評価のシチュエーションの例を示す図である。
【0020】
図２Ｂのシチュエーション２０１は、「路上に飛び出した歩行者や自転車などを避けようとして、車が割り込んでくる」走行環境を表している。また、図２Ｂのシチュエーション２０２は、「路上駐車や、前方の低速車両を避けようとして、車が割り込んでくる」走行環境を表している。なお、図２Ｂは、一連であって他の多くの危険が発生しやすいシチュエーションが生成できる。本実施形態においては、これらを表す走行環境情報をＡＩに提供して仮想環境での仮想運転を実行させて、その結果を評価する。
【0021】
《情報処理システムの構成》
図３は、本実施形態に係る情報処理装置を含む情報処理システム３００の構成を示すブロック図である。
図３は、本実施形態に係る情報処理装置を含む情報処理システム３００の構成を示すブロック図である。
【0022】
情報処理システム３００は、ネットワーク３４０によって接続される、本実施形態のクラウドサーバとしての情報処理装置３１０と、ＡＩの評価を依頼する通信端末３２１、３２２（図２の通信端末に相当）とを有する。また、ＡＩの評価を依頼する通信端末３２１、３２２のそれぞれに接続された評価対象の評価対象モジュール３３１、３３２を有する。なお、評価対象モジュール３３１、３３２は、ＥＣＵ(Electrotic Control Unit/Engine Control Unit)全体であっても、その一部の制御機構であってもよい。また、ソフトウェアに評価である場合に、通信端末内において評価されてもよい。
【0023】
《情報処理システムの動作手順》
図４は、本実施形態に係る情報処理装置を含む情報処理システム３００の動作手順を示すシーケンス図である。
図４は、本実施形態に係る情報処理装置を含む情報処理システム３００の動作手順を示すシーケンス図である。
【0024】
ステップＳ４０１において、ＡＩの評価を依頼する通信端末３２０と評価対象の評価対象モジュール３３０とが接続される。ステップＳ４０３において、通信端末３２０から依頼先のクラウドサーバとしての情報処理装置３１０にログインして通信確立して、アプリケーションを起動する。
【0025】
情報処理装置３１０は、ステップＳ４０５において、評価対象に関する評価対象情報を取得する。なお、取得元は、通信端末３２０であっても評価対象モジュール３３０であってもよい。情報処理装置３１０は、ステップＳ４０７において、評価対象情報に基づいて走行環境情報を選択する。なお、評価対象がＥＣＵ全体であれば、全走行環境情報を順に実行する。一方、評価対象が一部機能であれば、その機能を評価するのに好適な走行環境情報が選択される。
【0026】
ステップＳ４０９において、情報処理装置３１０と評価対象モジュール３３０との間で、通信端末３２０を介して、走行環境情報の提供とＡＩ処理実行と処理情報の取得とが評価終了まで繰り返される。ステップＳ４０９は、情報処理装置３１０のステップＳ４９１における走行環境情報の提供を含む。また、ステップＳ４０９は、評価対象モジュール３３０のステップＳ４９３における走行環境情報の入力と、評価対象モジュール３３０のステップＳ４９５におけるＡＩ処理実行と、評価対象モジュール３３０のステップＳ４９７における処理情報の出力と、を含む。また、ステップＳ４０９は、情報処理装置３１０のステップＳ４９９における処理情報の取得を含む。
【0027】
情報処理装置３１０は、ステップＳ４１１において、取得した処理情報をそのまま、あるいは、評価指標を算出して評価する。そして、情報処理装置３１０は、ステップＳ４１３において、評価結果を通信端末３２０に通知する。通信端末３２０は、ステップＳ４１５において、受信した評価結果をユーザに出力する。
【0028】
《情報処理装置の機能構成》
図５は、本実施形態に係るクラウドサーバとしての情報処理装置３１０の機能構成を示すブロック図である。
図５は、本実施形態に係るクラウドサーバとしての情報処理装置３１０の機能構成を示すブロック図である。
【0029】
情報処理装置３１０は、通信制御装置５０１と、評価対象情報取得部５０２と、走行環境情報データベース５０３と、走行環境情報選択取得部５０４と、走行環境情報生成部５０５と、を備える。さらに、情報処理装置３１０は、ＡＩ処理情報取得部５０６と、評価情報データベース５０７と、ＡＩ処理情報評価部５０８と、ＡＩ評価結果通知部５０９と、オプションとして着脱可能記憶媒体５１０と、を備える。
【0030】
通信制御装置５０１は、ネットワーク３４０を介して、通信端末３２０との通信を制御する。評価対象情報取得部５０２は、通信端末３２０から評価対象の評価対象情報を取得する。走行環境情報データベース５０３は、通信端末３２０を介して、評価対象モジュール３３０をテストするための走行環境情報を蓄積する。走行環境情報選択取得部５０４は、選択テーブル５４１を有し、評価対象情報を参照して走行環境情報を選択し、走行環境情報データベース５０３から取得する。走行環境情報生成部５０５は、選択取得された走行環境情報から提供するための走行環境情報を生成する。そして、生成された走行環境情報は、通信端末３２０を介して、あるいは、着脱可能記憶媒体５１０を介して、評価対象モジュール３３０に提供される。
【0031】
ＡＩ処理情報取得部５０６は、通信端末３２０を介して評価対象モジュール３３０の処理情報を取得する。評価情報データベース５０７は、取得した処理情報を評価するための評価情報を蓄積する。ＡＩ処理情報評価部５０８は、評価テーブル５８１を有し、ＡＩ処理情報と評価情報データベース５０７の評価情報とを対比して、ＡＩ処理情報を評価する。ＡＩ評価結果通知部５０９は、ＡＩ処理情報の評価結果を、通信端末３２０に提供する。
【0032】
（走行環境情報データベース）
図６は、本実施形態に係る走行環境情報データベース５０３の構成を示す図である。走行環境情報データベース５０３は、評価対象モジュール３３０をテストするための走行環境情報を蓄積する。
図６は、本実施形態に係る走行環境情報データベース５０３の構成を示す図である。走行環境情報データベース５０３は、評価対象モジュール３３０をテストするための走行環境情報を蓄積する。
【0033】
走行環境情報データベース５０３は、走行環境情報ＩＤ６０１に対応付けて、評価対象６０２と、走行環境情報６０３と、評価情報ＩＤ６０４と、を記憶する。評価対象６０２は、その走行環境情報がＥＣＵ全体を評価するものか、一部機能を評価するものかを記憶する。図６では、一部機能として、衝突安全モジュールや行動計画モジュールが記載されているが、これに限定されない。
【0034】
また、走行環境情報６０３としては、車両前方カメラによる映像データ、自車位置確認のための地図データ、走行エリアの障害物データ、信号データ、などが含まれる。評価情報ＩＤ６０４は、走行環境情報下でのＡＩ処理を評価するための評価情報のＩＤである。
【0035】
（走行環境情報の選択テーブル）
図７は、本実施形態に係る走行環境情報の選択テーブル５４１の構成を示す図である。走行環境情報の選択テーブル５４１は、評価対象情報に基づいて提供する走行環境情報を選択するために、走行環境情報選択取得部５０４で使用される。
図７は、本実施形態に係る走行環境情報の選択テーブル５４１の構成を示す図である。走行環境情報の選択テーブル５４１は、評価対象情報に基づいて提供する走行環境情報を選択するために、走行環境情報選択取得部５０４で使用される。
【0036】
走行環境情報の選択テーブル５４１は、評価対象情報７０１に対応して、少なくとも１つの走行環境情報ＩＤ７０２を記憶する。この走行環境情報ＩＤ７０２に基づいて、走行環境情報データベース５０３から走行環境情報が選択取得される。実行順序７０３は、複数の走行環境情報ＩＤ７０２がある場合の実行順序を記憶する。かかる順位は、車両が危険状態になりやすい走行環境を表す走行環境情報を先にするのが望ましい。
【0037】
（評価情報データベース）
図８は、本実施形態に係る評価情報データベース５０７の構成を示す図である。評価情報データベース５０７は、ＡＩ処理の処理情報と対比して評価するための処理情報を格納する。
図８は、本実施形態に係る評価情報データベース５０７の構成を示す図である。評価情報データベース５０７は、ＡＩ処理の処理情報と対比して評価するための処理情報を格納する。
【0038】
評価情報データベース５０７は、評価情報ＩＤ８０１に対応付けて、評価情報８０２と、評価条件８０３と、を記憶する。評価情報８０２は、例えば、ＡＩ処理の出力でもあるブレーキ操作、アクセル操作、ハンドル操作、などを有するが、これに限定されない。評価条件８０３は、例えば、評価情報８０２そのまま、あるいは、演算結果に対する閾値などが含まれる。
【0039】
（評価テーブル）
図９は、本実施形態に係る評価テーブル５８１の構成を示す図である。評価テーブル５８１は、ＡＩ処理の処理情報と、評価情報データベース５０７の評価情報とから評価結果を導くために、ＡＩ処理情報評価部５０８が使用する。
図９は、本実施形態に係る評価テーブル５８１の構成を示す図である。評価テーブル５８１は、ＡＩ処理の処理情報と、評価情報データベース５０７の評価情報とから評価結果を導くために、ＡＩ処理情報評価部５０８が使用する。
【0040】
評価テーブル５８１は、評価対象９０１に対応付けて、少なくとも１つのテストに用いた走行環境情報９０２を記憶する。そして、各走行環境情報９０２に対応付けて、ＡＩから出力された処理情報９０３と、評価情報データベース５０７からの評価情報９０４と、評価結果９０５と、を記憶する。さらに、評価対象９０１に対応付けて、総合評価９０６と、ユーザへのコメント９０７とを記憶する。
【0041】
《通信端末の機能構成》
図１０は、本実施形態に係る通信端末３２０の機能構成を示すブロック図である。
図１０は、本実施形態に係る通信端末３２０の機能構成を示すブロック図である。
【0042】
通信端末３２０は、通信制御部１００１と、入出力インタフェース１００２と、評価対象情報送信部１００３と、走行環境情報取得部１００４と、走行環境情報出力部１００５と、を備える。また、通信端末３２０は、ＡＩ処理情報取得部１００６と、ＡＩ処理情報送信部１００７と、ＡＩ評価結果取得出力部１００８と、を備える。さらに、通信端末３２０は、入出力インタフェース１００２に接続する表示部１００９と、操作部１０１０と、評価対象モジュール３３０が接続されるＡＩ接続部１０１１と、を備える。
【0043】
通信制御部１００１は、ネットワーク３４０を介した、情報処理装置３１０との通信を制御する。入出力インタフェース１００２は、表示部１００９と、操作部１０１０と、ＡＩ接続部１０１１と、オプションとして着脱可能記憶媒体１０１２と、インタフェースする。
【0044】
評価対象情報送信部１００３は、操作部１０１０から入力された、または、評価対象モジュール３３０から取得した評価対象情報を情報処理装置３１０に送信する。走行環境情報取得部１００４は、情報処理装置３１０から評価対象情報に対応付いた走行環境情報を取得する。走行環境情報出力部１００５は、ＡＩ接続部１０１１から評価対象モジュール３３０に走行環境情報を出力する。
【0045】
ＡＩ処理情報取得部１００６は、ＡＩ接続部１０１１を介して、評価対象モジュール３３０からＡＩ処理の処理情報を取得する。ＡＩ処理情報送信部１００７は、取得したＡＩ処理情報を情報処理装置３１０に送信する。ＡＩ評価結果取得出力部１００８は、情報処理装置３１０におけるＡＩ処理情報の評価結果を受信して表示部１００９などに出力する。
【0046】
表示部１００９は、通信端末３２０の状態やＡＩ評価結果を表示する。操作部１０１０は、通信端末３２０の動作指示を受け付ける。ＡＩ接続部１０１１は、評価対象モジュール３３０を接続する。着脱可能記憶媒体１０１２は、クラウドサーバとしての情報処理装置３１０からの走行環境情報を、走行環境情報出力部１００５およびＡＩ接続部１０１１を介して、評価対象モジュール３３０に出力する。
【0047】
《情報処理装置のハードウェア構成》
図１１は、本実施形態に係るクラウドサーバとしての情報処理装置３１０のハードウェア構成を示すブロック図である。
図１１は、本実施形態に係るクラウドサーバとしての情報処理装置３１０のハードウェア構成を示すブロック図である。
【0048】
図１１で、ＣＰＵ(Central Processing Unit)１１１０は演算制御用のプロセッサであり、プログラムを実行することで図５の機能構成部を実現する。ＣＰＵ１１１０は１つであっても複数であってもよい。ＲＯＭ(Read Only Memory)１１２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース１１３０は、ネットワークを介して、通信端末３２０との通信を制御する。
【0049】
ＲＡＭ(Random Access Memory)１１４０は、ＣＰＵ１１１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１１４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。評価対象情報１１４１は、通信端末３２０から受信した評価対象モジュールを示す情報である。走行環境情報１１４２は、評価対象情報１１４１に対応付けて、走行環境情報データベース５０３から選択取得された走行環境情報である。ＡＩ処理情報１１４３は、走行環境情報１１４２を提供してＡＩ処理した後に取得した処理情報である。ＡＩ評価情報１１４４は、評価対象情報１１４１に対応付けて、評価情報データベース５０７から取得された評価情報である。ＡＩ評価結果１１４５は、ＡＩ処理情報１１４３とＡＩ評価情報１１４４との対比から導かれたＡＩの評価結果である。送受信データ１１４６は、ネットワークインタフェース１１３０を介して、通信端末３２０と送受信するデータである。
【0050】
ストレージ１１５０は、ＣＰＵ１１１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。走行環境情報データベース５０３は、図６に示した、走行環境情報を格納するデータベースである。評価情報データベース５０７は、図８に示した、評価情報を格納するデータベースである。
【0051】
ストレージ１１５０には、以下のプログラムが格納される。情報処理プログラム１１５１は、本情報処理装置３１０全体を制御するプログラムである。評価対象情報取得モジュール１１５２は、評価対象情報を取得するためのモジュールである、走行環境情報提供モジュール１１５３は、評価対象情報に対応付いた走行環境情報を取得して評価対象に提供するモジュールである。ＡＩ処理情報取得モジュール１１５４は、ＡＩ処理情報を評価対象から取得するモジュールである。ＡＩ処理情報評価モジュール１１５５は、ＡＩ処理情報を評価して評価結果を、通信端末３２０を介してユーザに通知するモジュールである
なお、図１１のＲＡＭ１１４０やストレージ１１５０には、クラウドサーバとしての情報処理装置３１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
なお、図１１のＲＡＭ１１４０やストレージ１１５０には、クラウドサーバとしての情報処理装置３１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【0052】
《情報処理装置の処理手順》
図１２は、本実施形態に係るクラウドサーバとしての情報処理装置３１０の処理手順を示すフローチャートである。なお、このフローチャートは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を用いて実行し、図５の機能構成部を実現する。
図１２は、本実施形態に係るクラウドサーバとしての情報処理装置３１０の処理手順を示すフローチャートである。なお、このフローチャートは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を用いて実行し、図５の機能構成部を実現する。
【0053】
情報処理装置３１０は、ステップＳ１２１１において、評価対象情報を取得したか否かを判定する。評価対象情報を取得したと判定した場合、情報処理装置３１０は、ステップＳ１２１１において、取得した評価対象情報に対応する走行環境情報を選択して、走行環境情報データベース５０３から取得する。そして、選択取得した走行環境情報を、通信端末３２０を介して評価対象に提供する。
【0054】
評価対象情報を取得しないと判定した場合、情報処理装置３１０は、ステップＳ１２２１において、ＡＩ処理情報を取得したか否かを判定する。ＡＩ処理情報を取得したと判定した場合、情報処理装置３１０は、ステップＳ１２２３において、走行環境情報に対応する評価情報を評価情報データベース５０７から取得する。そして、情報処理装置３１０は、ステップＳ１２２５において、ＡＩ処理情報の評価結果を蓄積する。
【0055】
評価対象情報を取得しない、かつ、ＡＩ処理情報を取得しないと判定した場合、情報処理装置３１０は、ステップＳ１２３１において、ＡＩ処理の終了か否かを判定する。ＡＩ処理の終了であると判定した場合、情報処理装置３１０は、ステップＳ１２３３において、評価対象に対して蓄積された評価結果から総合評価を生成する。そして、情報処理装置３１０は、ステップＳ１２３５において、評価対象とつながる通信端末に総合評価およびコメントを出力する。
【0056】
本実施形態によれば、車両が危険状態になりやすい走行環境を表す走行環境情報に基づいて人工知能を評価するので、車両の自動運転を行う人工知能を効率的に評価することができる。さらに、評価対象を大きな構成から小さな構成まで選定できるので、柔軟性のある評価をすることができる。
【0057】
［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、車両が危険状態になりやすい走行環境を表す走行環境情報から危険状態になりにくい走行環境を表す走行環境情報への順に優先順位を付けて評価する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、車両が危険状態になりやすい走行環境を表す走行環境情報から危険状態になりにくい走行環境を表す走行環境情報への順に優先順位を付けて評価する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0058】
《情報処理装置の機能構成》
図１３は、本実施形態に係るクラウドサーバとしての情報処理装置１３１０の機能構成を示すブロック図である。なお、図１３において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図１３は、本実施形態に係るクラウドサーバとしての情報処理装置１３１０の機能構成を示すブロック図である。なお、図１３において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0059】
図１３の情報処理装置１３１０は、走行環境情報データベース１３０３と、選択テーブル１３４１を有する走行環境情報選択取得部１３０４と、を備える。走行環境情報データベース１３０３は、各走行環境情報がどの程度の危険を有するかを保持している。なお、走行環境情報選択取得部１３０４や選択テーブル１３４１は、走行環境情報データベース１３０３が変更されたためであり実質的な変更はないので、説明は省略する。
【0060】
（走行環境情報データベース）
図１４は、本実施形態に係る走行環境情報データベース１３０３の構成を示す図である。なお、図１４において、図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
図１４は、本実施形態に係る走行環境情報データベース１３０３の構成を示す図である。なお、図１４において、図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【0061】
走行環境情報データベース１３０３は、各走行環境情報に対して危険ランク１４０５を記憶する。かかる危険ランク１４０５も考慮しながら、走行環境情報選択取得部１３０４は提供すべき走行環境情報を選択取得する。通常は、危険ランク１４０５の高い走行環境情報から選択取得するのが望ましいが、限定されない。なお、危険ランク１４０５には危険レベルを記憶し、取得時に危険レベルからランク付けをしてもよい。
【0062】
《情報処理装置の処理手順》
図１５は、本実施形態に係るクラウドサーバとしての情報処理装置１３１０の処理手順を示すフローチャートである。なお、図１５において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
図１５は、本実施形態に係るクラウドサーバとしての情報処理装置１３１０の処理手順を示すフローチャートである。なお、図１５において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0063】
情報処理装置１３１０は、ステップＳ１５１３において、例えば、評価対象に対応して危険ランクの高い方から走行環境情報を選択する。
【0064】
なお、本実施形態における優先順位は、例えば、速度が大きい環境から小さい環境へ、大雨の環境から小雨の環境へ、都心の道路から田舎の道路へ、レーン線の薄い環境から濃い環境へ、カーブが急な道路から緩い道路へ、逆光が正面から非正面へ、と選択するようにしてよい。
【0065】
本実施形態によれば、提供する走行環境情報に優先順位を付けることで、危険レベルの高い評価をクリアした場合に、危険レベルの低い評価をスキップすることも可能となり、より効率的に評価することができる。
【0066】
［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第３実施形態と比べると、複数の評価指標（軸）で人工知能を評価する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第３実施形態と比べると、複数の評価指標（軸）で人工知能を評価する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0067】
なお、最終評価は、複数の評価指標を組み合わせて人工知能の総合的な性能とする。複数の評価指標としては、快適さを示す安定性と安全性とを含む。そして、快適さを示す安定性には、速度の安定性と、車両の動きの直線性と、カーブでの車両の曲り角度とを含む。これら複数の評価指標によるそれぞれの評価結果が出力されてもよい。
【0068】
《人工知能評価の概要》
図１６は、本実施形態に係る人工知能評価の概要を示す図である。
図１６は、本実施形態に係る人工知能評価の概要を示す図である。
【0069】
図１６においては、複数の評価指標（軸）によって、ＡＩ処理が評価されている。例えば、図１６の評価結果通知画面１６４０では、大きく「安全性」と「安定性」との２つが評価指標である。また、「安定性」には、「速度変動（細かな速度のブレ）」、「直線性（直線走行時に左右にゆれる）」、「曲り方（カーブにおける急カーブ）」などが負の要素として含まれる。
【0070】
《情報処理装置の機能構成》
図１７は、本実施形態に係るクラウドサーバとしての情報処理装置１７１０の機能構成を示すブロック図である。なお、図１７において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図１７は、本実施形態に係るクラウドサーバとしての情報処理装置１７１０の機能構成を示すブロック図である。なお、図１７において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0071】
図１７の情報処理装置１７１０は、評価情報データベース１７０７と、評価テーブル１７８１を有するＡＩ処理情報評価部１７０８と、を備える。評価情報データベース１７０７は、１つの走行環境情報に対応して、複数の評価指標（軸）のそれぞれに評価情報を保持する。なお、ＡＩ処理情報評価部１７０８は、評価情報データベース１７０７が変更されたためであり実質的な変更はないので、説明は省略する。
【0072】
（評価指標テーブル）
図１８は、本実施形態に係る評価指標テーブル１８１０の構成を示す図である。評価指標テーブル１８１０は、本実施形態で使用する複数の評価指標（軸）についてまとめたテーブルである。
図１８は、本実施形態に係る評価指標テーブル１８１０の構成を示す図である。評価指標テーブル１８１０は、本実施形態で使用する複数の評価指標（軸）についてまとめたテーブルである。
【0073】
評価指標テーブル１８１０には、大きな評価軸１８１１として「安全性」と「安定性」とが、細かな評価軸１８１２として、「安全性」に含まれる「危険状態」や「事故」など、「安定性」に含まれる「速度変動」や「直線性」や「曲り方」などが示されているが、これらに限定されない。なお、「安定性」は「快適性」に繋がる軸である。
【0074】
【0075】
評価情報データベース１７０７は、第１評価軸の評価情報１９１２と、第ｎ評価軸の評価情報１９１３とを保持する。なお、第１評価軸の評価情報１９１２と、第ｎ評価軸の評価情報１９１３との内容は、図８の評価情報８０２と同様としたが、評価軸に対応して評価情報の種類あるいは値などが異なってもよく、評価軸に対応して評価条件８０３が異なってもよい。
【0076】
【0077】
評価テーブル１７８１は、第１評価軸の評価情報２０１４と第１評価軸の評価結果２０１５、第ｎ評価軸の評価情報２０１６と第ｎ評価軸の評価結果２０１７、を記憶する。
【0078】
《情報処理装置の処理手順》
図２１は、本実施形態に係るクラウドサーバとしての情報処理装置１７１０の処理手順を示すフローチャートである。なお、図２１において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
図２１は、本実施形態に係るクラウドサーバとしての情報処理装置１７１０の処理手順を示すフローチャートである。なお、図２１において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0079】
ステップＳ１２３１において、ＡＩ処理の終了と判定されると、情報処理装置１７１０は、ステップＳ２１３１において、評価に用いる複数の評価指標を選択する。情報処理装置１７１０は、ステップＳ２１３３において、評価対象に対して蓄積された評価結果から複数の評価指標に対応する評価を生成する。そして、情報処理装置１７１０は、ステップＳ２１３５において、評価対象とつながる通信端末に複数の評価指標による評価およびコメントを出力する。
【0080】
本実施形態によれば、複数の評価指標による多軸の人工知能評価ができるので、人工知能の強みや弱みなどを含む繊細な評価をすることができる。
【0081】
［第５実施形態］
次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第４実施形態と比べると、評価が模範車両において実行した車両情報との対比で行われる点で異なる。すなわち、本実施形態では、人工知能による自動運転の結果と模範となる車両における運転結果とを比較することによって、人工知能の性能を評価する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第４実施形態と比べると、評価が模範車両において実行した車両情報との対比で行われる点で異なる。すなわち、本実施形態では、人工知能による自動運転の結果と模範となる車両における運転結果とを比較することによって、人工知能の性能を評価する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0082】
《情報処理装置の機能構成》
図２２は、本実施形態に係るクラウドサーバとしての情報処理装置２２１０の機能構成を示すブロック図である。なお、図２２において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図２２は、本実施形態に係るクラウドサーバとしての情報処理装置２２１０の機能構成を示すブロック図である。なお、図２２において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0083】
図２２の情報処理装置２２１０は、評価情報データベース２２０７と、評価テーブル２２８１を有するＡＩ処理情報評価部２２０８と、を備える。評価情報データベース２２０７は、模範となる車両あるいは評価対象から同じ走行環境情報から生成された評価情報を保持する。なお、評価テーブル２２８１やＡＩ処理情報評価部２２０８は、評価情報データベース２２０７が変更されたためであり実質的な変更はないので、説明は省略する。
【0084】
《情報処理装置の処理手順》
図２３は、本実施形態に係るクラウドサーバとしての情報処理装置２２１０の処理手順を示すフローチャートである。なお、図２３において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
図２３は、本実施形態に係るクラウドサーバとしての情報処理装置２２１０の処理手順を示すフローチャートである。なお、図２３において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0085】
ステップＳ１２１１で評価対象情報の取得と判定すると、情報処理装置２２１０は、ステップＳ２３１３において、選択された走行環境情報に基づいて、模範となる評価対象を動作させて、処理情報を生成する。そして、情報処理装置２２１０は、ステップＳ２３１４において、生成した処理情報を、評価情報データベース２２０７に登録する。
【0086】
また、ステップＳ１２２１でＡＩ処理情報の取得と判定されると、情報処理装置２２１０は、ステップＳ２３２３において、走行環境情報に対応して、ステップＳ２３１３で生成されて評価情報データベース２２０７に登録された評価情報を取得する。
【0087】
本実施形態によれば、模範となる車両における運転結果を評価基準とするので、人工知能の評価の正当性や安定性を担保することができる。
【0088】
［第６実施形態］
次に、本発明の第６実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第５実施形態と比べると、情報処理装置から評価結果を考慮してＡＩ入れ替えなどの提案を提案部で行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第６実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第５実施形態と比べると、情報処理装置から評価結果を考慮してＡＩ入れ替えなどの提案を提案部で行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0089】
《人工知能評価の概要》
図２４は、本実施形態に係る人工知能評価の概要を示す図である。
図２４は、本実施形態に係る人工知能評価の概要を示す図である。
【0090】
図２４においては、評価結果通知画面２４４０に、評価結果と共に、評価対象のＡＩを更新することが勧められている。
【0091】
《情報処理装置の処理手順》
図２５は、本実施形態に係るクラウドサーバとしての情報処理装置２５１０の処理手順を示すフローチャートである。なお、図２５において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
図２５は、本実施形態に係るクラウドサーバとしての情報処理装置２５１０の処理手順を示すフローチャートである。なお、図２５において、図１２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0092】
情報処理装置２５１０は、ステップＳ２５３７において、評価結果に基づいて、評価対象の更新を提案する。なお、評価結果に基づく提案部による提案は、バージョンアップなどであってもよい。
【0093】
本実施形態によれば、自動運転車のユーザのより改善した走行環境を提供することができる。
【0094】
［第７実施形態］
次に、本発明の第７実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第６実施形態と比べると、ＡＩの評価を情報処理装置で行う点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第７実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第６実施形態と比べると、ＡＩの評価を情報処理装置で行う点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0095】
《情報処理システムの動作手順》
図２６は、本実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。なお、図２６において、図４と同様のステップには同じステップ番号を付して、重複する説明を省略する。
図２６は、本実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。なお、図２６において、図４と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0096】
ステップＳ２６０４において、通信端末２６２０から情報処理装置２６１０に、ＡＩモジュールの評価依頼が行われる。そして、ステップＳ２６０５において、通信端末２６２０から情報処理装置２６１０に、評価対象モジュールが機密に送付される。ステップＳ２６０６において、情報処理装置２６１０は、送付された評価対象モジュールの評価を受託する。
【0097】
ステップＳ２６０９のテスト実行では、ステップＳ２６９５において、情報処理装置２６１０内で、評価対象モジュールに対応して選択された走行環境情報を用いてＡＩ処理が実行される。
【0098】
本実施形態によれば、同じ機能を果たす人工知能を共通の条件下で公正な評価をすることができる。
【0099】
［第８実施形態］
次に、本発明の第８実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第７実施形態と比べると、ＡＩは、あたかも仮想走行シミュレーションゲーム機である情報処理装置と接続されて、評価される点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第８実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第７実施形態と比べると、ＡＩは、あたかも仮想走行シミュレーションゲーム機である情報処理装置と接続されて、評価される点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0100】
《情報処理装置の構成》
図２７は、本実施形態に係る情報処理装置２７１０の構成を示すブロック図である。
図２７は、本実施形態に係る情報処理装置２７１０の構成を示すブロック図である。
【0101】
情報処理装置２７１０は、仮想走行環境シミュレータ部２７１１と仮想運転走行シミュレータ部２７１２とが接続されて、仮想の自動運転シミュレータとして機能する。人工知能（ＡＩ）３３０は、仮想走行環境シミュレータ部２７１１から走行環境情報を取得し、仮想運転走行シミュレータ部２７１２に仮想運転情報を出力する。仮想走行環境シミュレータ部２７１１と仮想運転走行シミュレータ部２７１２とは、あたかも人工知能（ＡＩ）３３０がゲームユーザで自動運転シミュレータがゲーム機であるかのように動作する。そして、性能評価部２７１３は、自動運転シミュレータからの情報に基づいて人工知能（ＡＩ）３３０の自動運転能力を評価する。
【0102】
本実施形態によれば、将来標準化された自動運転の人工知能（ＡＩ）をより効率的により公正に評価することができる。
【0103】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【0104】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【0105】
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成部と、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得部と、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価部と、
を備えた情報処理装置。
（付記２）
前記生成部は、前記車両が危険状態になりやすい走行環境を表す走行環境情報から危険状態になりにくい走行環境を表す走行環境情報への順に生成する付記１に記載の情報処理装置。
（付記３）
前記車両が危険状態になりやすい走行環境を表す走行環境情報は、通常の走行ルールからはずれた状況を表す走行環境情報を含む付記２に記載の情報処理装置。
（付記４）
前記生成部は、前記車両が危険状態になりやすい度合いが閾値を超える走行環境を表す走行環境情報は生成しない付記２または３に記載の情報処理装置。
（付記５）
前記走行環境情報は、仮想的な車両の走行環境を表す前方カメラの映像データを含む付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記評価部は、前記人工知能の性能を複数の評価指標により評価する付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記評価部は、前記複数の評価指標を組み合わせて、前記人工知能の総合的な性能とする付記６に記載の情報処理装置。
（付記８）
前記複数の評価指標は、少なくとも、快適さを示す安定性と安全性とを含む付記７に記載の情報処理装置。
（付記９）
前記快適さを示す安定性は、速度の安定性と、車両の動きの直線性と、カーブでの車両の曲り角度とを含む付記８に記載の情報処理装置。
（付記１０）
前記評価部は、前記複数の評価指標によるそれぞれの評価結果を出力する付記６に記載の情報処理装置。
（付記１１）
前記評価部は、前記人工知能による自動運転の結果と模範となる車両における運転結果とを比較することによって、前記人工知能の性能を評価する付記１乃至１０のいずれか１項に記載の情報処理装置。
（付記１２）
前記生成部は、前記人工知能に含まれる特定の機能を評価するための走行環境情報を生成し、
前記評価部は、前記特定の機能の性能を評価する付記１乃至１１のいずれか１項に記載の情報処理装置。
（付記１３）
前記評価部による評価結果を考慮して、前記人工知能の更新を提案する提案部をさらに備えた付記１乃至１２のいずれか１項に記載の情報処理装置。
（付記１４）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
を含む情報処理方法。
（付記１５）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
をコンピュータに実行させる情報処理プログラム。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成部と、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得部と、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価部と、
を備えた情報処理装置。
（付記２）
前記生成部は、前記車両が危険状態になりやすい走行環境を表す走行環境情報から危険状態になりにくい走行環境を表す走行環境情報への順に生成する付記１に記載の情報処理装置。
（付記３）
前記車両が危険状態になりやすい走行環境を表す走行環境情報は、通常の走行ルールからはずれた状況を表す走行環境情報を含む付記２に記載の情報処理装置。
（付記４）
前記生成部は、前記車両が危険状態になりやすい度合いが閾値を超える走行環境を表す走行環境情報は生成しない付記２または３に記載の情報処理装置。
（付記５）
前記走行環境情報は、仮想的な車両の走行環境を表す前方カメラの映像データを含む付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記評価部は、前記人工知能の性能を複数の評価指標により評価する付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記評価部は、前記複数の評価指標を組み合わせて、前記人工知能の総合的な性能とする付記６に記載の情報処理装置。
（付記８）
前記複数の評価指標は、少なくとも、快適さを示す安定性と安全性とを含む付記７に記載の情報処理装置。
（付記９）
前記快適さを示す安定性は、速度の安定性と、車両の動きの直線性と、カーブでの車両の曲り角度とを含む付記８に記載の情報処理装置。
（付記１０）
前記評価部は、前記複数の評価指標によるそれぞれの評価結果を出力する付記６に記載の情報処理装置。
（付記１１）
前記評価部は、前記人工知能による自動運転の結果と模範となる車両における運転結果とを比較することによって、前記人工知能の性能を評価する付記１乃至１０のいずれか１項に記載の情報処理装置。
（付記１２）
前記生成部は、前記人工知能に含まれる特定の機能を評価するための走行環境情報を生成し、
前記評価部は、前記特定の機能の性能を評価する付記１乃至１１のいずれか１項に記載の情報処理装置。
（付記１３）
前記評価部による評価結果を考慮して、前記人工知能の更新を提案する提案部をさらに備えた付記１乃至１２のいずれか１項に記載の情報処理装置。
（付記１４）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
を含む情報処理方法。
（付記１５）
仮想的な車両の走行環境をシミュレートする走行環境シミュレータが生成した走行環境情報のうち、前記車両が危険状態になりやすい走行環境を表す走行環境情報を、車両の自動運転を行う人工知能に提供するために生成する生成ステップと、
前記仮想的な走行環境下において、前記人工知能により前記車両の仮想的な自動運転を行った仮想運転結果を取得する取得ステップと、
前記人工知能による自動運転の仮想運転結果から、前記人工知能の性能を評価する評価ステップと、
をコンピュータに実行させる情報処理プログラム。
【0106】
この出願は、２０１８年８月３日に出願された日本国特許出願 特願２０１８－１４６７２８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】