特許 6548691 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6548691

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190711BHJP

   G08G 1/16 20060101ALI20190711BHJP

   G06T 15/00 20110101ALI20190711BHJP

【ＦＩ】

   G06T19/00 A

   G08G1/16 C

   G06T15/00 501

【請求項の数】28

【全頁数】34

(21)【出願番号】特願2017-92950(P2017-92950)

(22)【出願日】2017年5月9日

(65)【公開番号】特開2018-60512(P2018-60512A)

(43)【公開日】2018年4月12日

【審査請求日】2019年3月13日

(31)【優先権主張番号】特願2016-197999(P2016-197999)

(32)【優先日】2016年10月6日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】501385226

【氏名又は名称】株式会社アドバンスド・データ・コントロールズ

(74)【代理人】

【識別番号】100117514

【弁理士】

【氏名又は名称】佐々木 敦朗

(72)【発明者】

【氏名】福原 隆浩

(72)【発明者】

【氏名】中西 康之

(72)【発明者】

【氏名】河原 隆

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００７−６６０４５（ＪＰ，Ａ）

【文献】 特開２００４−３５５２７２（ＪＰ，Ａ）

【文献】 特開２０１４−２２９３０３（ＪＰ，Ａ）

【文献】 特開２０１５−１４１７２１（ＪＰ，Ａ）

【文献】 松本吉央，外３名，仮想環境を用いた視覚移動ロボットのシミュレーションの提案と画像の記憶に基づく走行手法への適用，日本ロボット学会誌 第２０巻 第５号，日本，社団法人日本ロボット学会，２００２年，第20巻，pp.35-43

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００ − １９／２０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するシステムであって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記シェーディング画像のうちに含まれる所定のコンポーネントをコンポーネント画像として抽出して出力するコンポーネント抽出部と、
前記コンポーネント画像中における各対象物に関する３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部と、
を備えたことを特徴とする画像生成システム。

【請求項2】

前記コンポーネントは、ＲＧＢ画像のうちのＲ成分のコンポーネントであることを特徴とする請求項１に記載の画像生成システム。

【請求項3】

前記コンポーネントをグレイスケール化するグレイスケール化部をさらに備えていることを特徴とする請求項１に記載の画像生成システム。

【請求項4】

センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するシステムであって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記対象物ごとの３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部と、
を備え、
前記シェーディング部は、
前記センサー手段から照射された光線が反射される前記モデルの所定部位のみに対してシェーディングを行う機能と、
前記所定部位の３次元形状のみを出力する機能と
を有し、
前記深度画像生成部は、前記所定部位の３次元形状の情報を基にして、前記対象物ごとの深度画像を生成する
ことを特徴とする画像生成システム。

【請求項5】

前記センサー手段は近赤外線センサーであることを特徴とする請求項１又は４に記載の画像生成システム。

【請求項6】

前記センサー手段は、照射されたレーザー光の反射光を検出するＬｉＤＡＲセンサーであることを特徴とする請求項１又は４に記載の画像生成システム。

【請求項7】

前記シナリオ作成手段は、対象物の３次元形状情報、対象物の動作情報、対象物のマテリアル情報、光源のパラメータ情報、カメラの位置情報、センサーの位置情報を決定する手段を備えていることを特徴とする請求項１又は４に記載の画像生成システム。

【請求項8】

実写に基づく１コンポーネント画像及び深度画像を教師データとして取得し、前記コンポーネント画像、前記深度画像生成部によって生成された前記深度画像と前記教師データとに基づくバックプロパゲーションによって、ニューラルネットのトレーニングを行うディープラーニング認識学習手段をさらに備えたことを特徴とする請求項１に記載の画像生成システム。

【請求項9】

実写に基づく照射画像及び深度画像を教師データとして取得し、前記シェーディング部によるシェーディング結果の画像と、前記深度画像生成部によって生成された前記深度画像と、前記教師データとに基づくバックプロパゲーションによって、ニューラルネットのトレーニングを行うディープラーニング認識学習手段を備えた請求項４に記載の画像生成システム。

【請求項10】

前記深度画像生成部により生成された深度画像から、光線の照射からその反射波を受信するまでにかかった所要時間をＴＯＦ情報として算出するＴＯＦ計算部と、
前記ＴＯＦ計算部によるＴＯＦ情報に基づいて距離画像を生成する距離画像生成部と、
前記距離画像生成部によって生成された距離画像と、前記深度画像生成部により生成された深度画像との合致度を比較する比較評価部と
をさらに備えた請求項１又は４に記載の画像生成システム。

【請求項11】

前記モデリング部は、前記比較評価部による比較結果をフィードバック情報として取得し、取得されたフィードバック情報に基づいて、前記モデリングにおける条件を調整して再度モデリングを行う機能を有することを特徴とする請求項１０に記載の画像生成システム。

【請求項12】

前記モデリング及び前記比較に基づく前記フィードバック情報の取得を繰り返して行い、前記比較評価部による比較結果におけるマッチング誤差が所定の閾値よりも小さくなるまで実行することを特徴とする請求項１１に記載の画像生成システム。

【請求項13】

車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステムであって、
センサー手段による検出結果に基づいて、周囲の対象物に対する相対的な前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
を備え、
前記車両は複数台の車両分だけ設定されるとともに、前記認識機能モジュールは前記車両ごとに動作され、
前記位置情報計算手段は、前記認識手段による認識結果の情報を用いて、各車両の位置情報を複数台の車両分だけ変更・修正し、
前記同期制御手段は、位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とについて前記複数台の車両分の同期制御を実行する
ことを特徴とするシミュレーションシステム。

【請求項14】

車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステムであって、
センサー手段による検出結果に基づいて、周囲の対象物に対する相対的な前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
を備え、
前記シミュレーションシステムは、複数個のセンサーに対応した画像を生成する手段を備え、またそれぞれの生成された画像に対応した認識手段を備え、同該複数個の認識結果を用いて、前記同期制御を行う手段を備えている
ことを特徴とするシミュレーションシステム。

【請求項15】

車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステムであって、
センサー手段による検出結果に基づいて、周囲の対象物に対する相対的な前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
を備え、
請求項１又は請求項４に記載の画像生成システムを前記画像生成手段として備え、
前記画像生成システムの前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力する
ことを特徴とするシミュレーションシステム。

【請求項16】

前記同期制御手段は、
前記位置情報を特定のフォーマットにパケット化して送出する手段と、
パケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送する手段と、
前記パケットデータを受信してデ・パケット化する手段と、
前記デ・パケット化されたデータを入力して画像を生成する手段と
を備えたことを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。

【請求項17】

前記同期制御手段は、各手段間で送受信される信号を、ＵＤＰ（User Datagram Protocol)を用いて送受信することを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。

【請求項18】

前記車両の位置情報には、前記車両の路面絶対位置座標のＸＹＺ座標、タイヤの路面絶対位置座標ＸＹＺ座標、車両のオイラー角度、車輪の回転角に関する情報のいずれかが含まれることを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。

【請求項19】

前記画像生成手段は、前記車両の３次元形状をコンピューターグラフィックスにより合成する手段を備えていることを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。

【請求項20】

上記画像生成手段は、センサー手段ごとに異なる画像を生成する手段を備えていることを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。

【請求項21】

前記センサー手段として、イメージセンサー手段、ＬｉＤＡＲセンサー、ミリ波センサー、赤外線センサーのいずれか、又は全てを備えていることを特徴とする請求項１３乃至１５のいずれかに記載のシミュレーションシステム。

【請求項22】

センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するプログラムであって、コンピューターを、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記シェーディング画像のうちに含まれる所定のコンポーネントをコンポーネント画像として抽出して出力するコンポーネント抽出部と、
前記コンポーネント画像中における各対象物に関する３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部として
機能させることを特徴とする画像生成プログラム。

【請求項23】

センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するプログラムであって、コンピューターを、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記対象物ごとの３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部と、
して機能させ、
前記シェーディング部は、
前記センサー手段から照射された光線が反射される前記モデルの所定部位のみに対してシェーディングを行う機能と、
前記所定部位の３次元形状のみを出力する機能と
を有し、
前記深度画像生成部は、前記所定部位の３次元形状の情報を基にして、前記対象物ごとの深度画像を生成する
ことを特徴とする画像生成プログラム。

【請求項24】

車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションプログラムであって、コンピューターを、
前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段として
機能させ、
前記画像生成システムの前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力する
請求項２２又は請求項２３に記載の画像生成プログラムを前記画像生成手段として備える
ことを特徴とするシミュレーションプログラム。

【請求項25】

センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成する方法であって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオをシナリオ作成部が作成するシナリオ作成ステップと、
前記シナリオに基づいて前記対象物ごとに３Ｄモデリング部がモデリングを行う３Ｄモデリングステップと、
前記３Ｄモデリングステップで生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を３Ｄシェーディング部が生成する３Ｄシェーディングステップと、
前記シェーディング画像のうちに含まれる所定のコンポーネントをコンポーネント画像として抽出してコンポーネント抽出部が出力するコンポーネント抽出ステップと、
前記コンポーネント画像中における各対象物に関する３次元形状の情報を基にして、奥行きが定義された深度画像を深度画像生成部が生成する深度画像生成ステップと
を含むことを特徴とする画像生成方法。

【請求項26】

センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成する方法であって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオをシナリオ作成部が作成するシナリオ作成ステップと、
前記シナリオに基づいて前記対象物ごとに３Ｄモデリング部がモデリングを行う３Ｄモデリングステップと、
前記３Ｄモデリングステップで生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を３Ｄシェーディング部が生成する３Ｄシェーディングステップと、
前記シェーディング画像中における各対象物に関する３次元形状の情報を基にして、奥行きが定義された深度画像を深度画像生成部が生成する深度画像生成ステップと
を含み、
前記シェーディング部は、
前記センサー手段から照射された光線が反射される前記モデルの所定部位のみに対してシェーディングを行う機能と、
前記所定部位の３次元形状のみを出力する機能と
を有し、
前記深度画像生成部は、前記所定部位の３次元形状の情報を基にして、前記対象物ごとの深度画像を生成する
ことを特徴とする画像生成方法。

【請求項27】

請求項２５又は請求項２６に記載の画像生成方法を前記画像生成ステップとして含み、
前記画像生成方法における前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力する
ことを特徴とするシミュレーション方法。

【請求項28】

車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーション方法であって、
位置情報取得手段によって、前記車両の位置情報を取得する位置情報取得ステップと、
前記位置情報取得ステップによって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を、画像生成手段が生成する画像生成ステップと、
前記画像生成ステップによって生成されたシミュレーション用画像の中から特定の対象物を、画像認識手段が前記認識機能モジュールを用いて認識し、検出する画像認識ステップと、
前記画像認識ステップおける認識結果を用いて、位置情報計算手段が、前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算ステップと、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを、同期制御手段が同期制御する同期制御ステップと
を備え、
請求項２５又は請求項２６に記載の画像生成方法を前記画像生成ステップとして含み、
前記画像生成方法における前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力する
ことを特徴とするシミュレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、近赤外線センサーやＬｉＤＡＲのレーザー光センサーの仮想画像を生成し、それらの仮想画像を用いて車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステム、シミュレーションプログラム及びシミュレーション方法に関する。

【背景技術】

【0002】

現在、事故などの可能性を事前に検知し回避するＡＤＡＳ（先進運転システム：advanced driver assistance system）等、自動車の自動運転走行を実現するため、実際に車両に搭載したカメラ映像を、画像認識技術を用いて認識して、他の車両や歩行者、信号機などのオブジェクトを検出し、自動で速度低下、回避などの制御を行うテストが盛んに行われている。上記の実験システムでは、リアルタイム性、高い認識率、全体が同期して制御されていることが特に重要となる。

【0003】

自動運転支援システムに関する従来例としては、例えば、特許文献１に開示された走行制御システムがある。この特許文献１に開示された走行制御システムでは、自車両周辺に存在する道路のレーン・マーカーや停止位置などの路面標示を検知するとともに、自車両周辺に存在する複数の移動体・障害物などの立体物体を検知し、道路上の走行領域を判定して、信号機や標識などの立体物との衝突を回避しながら、予め設定された走行ルートを走行する自動運転システムを実現することを目的としている。

【0004】

ところで、車載センサーで外界周辺状況を認識し制御を行うためには、自車両周辺の複数の障害物や複数の移動体の種別である車両、自転車、歩行者を判定し、その位置や速度などの情報を検出する必要がある。さらに、自車両が走行する上で道路上のレーン・マーカーや停止線などのペイントの意味や標識の意味を判定することが必要である。このような自車両周辺の外界情報を検知する車載センサーとしては、カメラのイメージセンサーを用いた画像認識技術が有効とされてきた。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６−９９６３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

車両の自動運転の実現には、車両自身が周辺環境を認識する必要がある。そのためには、車両自身から周辺の物体までの距離を正確に計測する必要がある。距離計測を行うための技術としては、以下に挙げるようなものが開発され、レーンキープやクルーズコントロール、自動ブレーキなどのドライビングアシスト技術を実現するために、既にそれらのセンサーが搭載されている市販車も多い。

【0007】

・ステレオカメラ：ヒトの目と同様に２つのカメラを用いることで三角測量の原理を利用して距離を算出する
・赤外線デプスセンサー：赤外線パターンを照射し、その反射を赤外線カメラで撮影してパターンのズレ（位相差）から距離を算出する
・超音波センサー：超音波を発信し、その反射波を受信するまでに要した時間から距離を算出する
・ミリ波レーダー：超音波と同様の仕組みで、ミリ波レーダーを発信してその反射波を受信するまでにかかった時間から距離を算出する
・ＬｉＤＡＲ(Light Detection and Ranging)：超音波センサー、ミリ波レーダーと同様の仕組みで、こちらはレーザー光を使用。その反射波を受信するまでにかかった時間（ＴＯＦ：Time of Flight）から距離を算出する
以上のように、複数の方式が存在しているが、それぞれ一長一短がある。ステレオカメラの場合は立体視によって距離を正確に計測しやすいが、２つのカメラの間を最低でも３０ｃｍは離す必要があり小型化に限界がある。

【0008】

赤外線線デプスセンサーや超音波センサーは安価な点が優れているが、距離による減衰が大きい。そのため、対象物までの距離が数１０ｍ以上になると正確な測定が困難、もしくは測定自体が不可能になる。その点、ミリ波レーダーやＬｉＤＡＲは長距離でも減衰しにくいので、長距離に対しても高精度の測定が可能である。しかし、装置が高価で小型化も困難という問題点があるが、今後研究開発の進展で車両への搭載が加速すると考えられる。

【0009】

以上より、近距離から遠距離まで対象物までの距離を正確に測定するためには、異なるセンサーを選択的に使用することが、現時点では現実的な手段と言える。
自動車の自動運転以外の用途としても、自動車内における運転者の居眠り防止のために頭部の動きを検出する技術や、ジェスチャー動作検出、或いは自動走行ロボットの障害物回避などが有望視されている。

【0010】

ところで、上記のような各種センサーで撮影した実写画像を大量に収集して、ディープラーニング認識技術を用いて、画像の認識率を高めることが将来の自動運転に不可欠とされている。

【0011】

しかしながら、実際に車両を無限に走行させてテストデータを採取することは事実上不可能であり、如何にして実際に代用可能なレベルのリアリティ性をもって上記の検証を行うことができるかが重要な課題となる。例えば、カメラ画像の画像認識技術で外部環境を認識する場合、自車両周辺の天候（雨天、霧など）や時間帯（夜間、薄暗、逆光など）等の外部要因によって、認識率が大幅に変わってしまい検出結果に影響を与える。その結果、自車両周辺の移動体、障害物、道路上のペイントの検知に関して、画像認識手段による誤検知や未検知が増加する。このような画像認識手段による誤検知や未検知は、最も認識率の高いディープラーニング（機械学習）の技術を用いれば、学習のサンプル数を増加させることで解決することができる。

【0012】

ところが、実際に道路を走行中に学習のサンプルを抽出することには限界があり、雨天や逆光、霧などの過酷な天候条件が満たされるのを待って車両の走行テストやサンプル収集を行うことは、その条件の再現が困難である上、機会の到来も希有であることから、開発手法として現実的でない。

【0013】

一方、将来的な完全自動運転の実現のためには、上記のカメラ画像の画像認識だけでは不十分と言える。なぜならばカメラ画像は２次元画像であり、車両や歩行者、信号機などは画像認識によって対象物を抽出することは可能であるが、対象物までの画素ごとの距離を検知することはできない。したがって、これらの要求に対応するものとしてＬｉＤＡＲというレーザー光を用いたセンサーや、近赤外線を使ったセンサーも有望視されている。したがって、上記の複数の異なる種類のセンサーを組み合わせることで、自動車の走行時の安全性を大幅に向上させることができる。

【0014】

そこで、本発明は、上記のような問題を解決するものであり、自車両周辺の他車両、路上の障害物、歩行者などの対象物に対する認識率の向上に関し、過酷な天候条件など、その再現が困難な条件下における実写の画像に極めて類似した画像を人工的に生成することによって、車両の走行テストやサンプル収集のリアリティ性を向上させることを目的とする。また、本発明は、複数個の異なる種類のセンサーを仮想環境で構築して、各々の映像をＣＧの技術を用いて生成することを目的とする。さらに、生成されたＣＧ画像を用いた同期制御のシミュレーションシステム、シミュレーションプログラム及びシミュレーション方法を提供することを目的とする。

【課題を解決するための手段】

【0015】

上記課題を解決するために、本発明は、センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するシステム、プログラム及び方法であって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記シェーディング画像のうちに含まれる所定のコンポーネントをコンポーネント画像として抽出して出力するコンポーネント抽出部と、
前記コンポーネント画像中における対象物ごとの３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部と、
を備えたことを特徴とする。

【0016】

上記発明において、前記コンポーネントは、ＲＧＢ画像のうちのＲ成分のコンポーネントであることが好ましい。
また、上記発明において、前記コンポーネントをグレイスケール化するグレイスケール化部をさらに備えていることが好ましい。

【0017】

本発明は、センサー手段に対して入力される仮想画像を、コンピューターグラフィックスとして生成するシステム、プログラム及び方法であって、
前記仮想画像の中に存在する対象物の配置及び挙動に関するシナリオを作成するシナリオ作成部と、
前記シナリオに基づいて前記対象物ごとにモデリングを行う３Ｄモデリング部と、
前記モデリング部により生成されたモデルごとにシェーディングを行い、モデルごとのシェーディング画像を生成する３Ｄシェーディング部と、
前記対象物ごとの３次元形状の情報を基にして、奥行きが定義された深度画像を生成する深度画像生成部と、
を備え、
前記シェーディング部は、
前記センサー手段から照射された光線が反射される前記モデルの所定部位のみに対してシェーディングを行う機能と、
前記所定部位の３次元形状のみを出力する機能と
を有し、
前記深度画像生成部は、前記所定部位の３次元形状の情報を基にして、前記対象物ごとの深度画像を生成する
ことを特徴とする。

【0018】

上記発明において、前記センサー手段は近赤外線センサーであることが好ましい。また、上記発明において前記センサー手段は、照射されたレーザー光の反射光を検出するＬｉＤＡＲセンサーであることが好ましい。

【0019】

上記発明において、前記シナリオ作成手段は、対象物の３次元形状情報、対象物の動作情報、対象物のマテリアル情報、光源のパラメータ情報、カメラの位置情報、センサーの位置情報を決定する手段を備えていることが好ましい。

【0020】

上記発明では、実写に基づく１コンポーネント画像及び深度画像を教師データとして取得し、前記コンポーネント画像、前記深度画像生成部によって生成された前記深度画像と前記教師データとに基づくバックプロパゲーションによって、ニューラルネットのトレーニングを行うディープラーニング認識学習手段をさらに備えたことが好ましい。

【0021】

上記発明では、実写に基づく照射画像及び深度画像を教師データとして取得し、前記シェーディング部によるシェーディング結果の画像と、前記深度画像生成部によって生成された前記深度画像と、前記教師データとに基づくバックプロパゲーションによって、ニューラルネットのトレーニングを行うディープラーニング認識学習手段を備えることが好ましい。

【0022】

上記発明では、前記深度画像生成部により生成された深度画像から、光線の照射からその反射波を受信するまでにかかった所要時間をＴＯＦ情報として算出するＴＯＦ計算部と、
前記ＴＯＦ計算部によるＴＯＦ情報に基づいて距離画像を生成する距離画像生成部と、
前記距離画像生成部によって生成された距離画像と、前記深度画像生成部により生成された深度画像との合致度を比較する比較評価部と
をさらに備えることが好ましい。

【0023】

上記発明において前記モデリング部は、前記比較評価部による比較結果をフィードバック情報として取得し、取得されたフィードバック情報に基づいて、前記モデリングにおける条件を調整して再度モデリングを行う機能を有することが好ましい。

【0024】

上記発明では、前記モデリング及び前記比較に基づく前記フィードバック情報の取得を繰り返して行い、前記比較評価部による比較結果におけるマッチング誤差が所定の閾値よりも小さくなるまで実行することが好ましい。

【0025】

さらに、本発明は、車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステム、プログラム及び方法であって、
センサー手段による検出結果に基づいて、周囲の対象物に対する相対的な前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
を備えたことを特徴とする。

【0026】

上記発明において、前記同期制御手段は、
前記位置情報を特定のフォーマットにパケット化して送出する手段と、
パケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送する手段と、
前記パケットデータを受信してデ・パケット化する手段と、
前記デ・パケット化されたデータを入力して画像を生成する手段と
をさらに備えることが好ましい。

【0027】

上記発明において、前記同期制御手段は、各手段間で送受信される信号を、ＵＤＰ（User Datagram Protocol)を用いて送受信することが好ましい。

【0028】

前記車両の位置情報には、前記車両の路面絶対位置座標のＸＹＺ座標、タイヤの路面絶対位置座標ＸＹＺ座標、車両のオイラー角度、車輪の回転角に関する情報のいずれかが含まれることが好ましい。
上記発明において、前記画像生成手段は、前記車両の３次元形状をコンピューターグラフィックスにより合成する手段を備えていることが好ましい。

【0029】

上記発明では、前記車両が複数台の車両分だけ設定されるとともに、前記認識機能モジュールは前記車両ごとに動作され、
前記位置情報計算手段は、前記認識手段による認識結果の情報を用いて、各車両の位置情報を複数台の車両分だけ変更・修正し、
前記同期制御手段は、位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とについて前記複数台の車両分の同期制御を実行することが好ましい。

【0030】

上記発明において上記画像生成手段は、センサー手段ごとに異なる画像を生成する手段を備えていることが好ましい。
また、上記発明では、前記センサー手段として、イメージセンサー手段、ＬｉＤＡＲセンサー、ミリ波センサー、赤外線センサーのいずれか、又は全てを備えていることが好ましい。

【0031】

上記発明では、前記シミュレーションシステムが、複数個のセンサーに対応した画像を生成する手段を備え、またそれぞれの生成された画像に対応した認識手段を備え、同該複数個の認識結果を用いて、前記同期制御を行う手段を備えていることが好ましい。

【0032】

さらに、シミュレーションシステム、プログラム及び方法に係る発明では、上記画像生成システム、画像生成プログラム及び画像生成方法の発明を前記画像生成手段として備え、
前記画像生成システムの前記深度画像生成部によって生成された深度画像を、前記シミュレーション用画像として、前記画像認識手段に入力することが好ましい。

【発明の効果】

【0033】

以上述べたように、これらの発明によれば、ディープラーニング（機械学習）等の認識機能モジュールの学習に際し、ＣＧなどの実写の画像に極めて類似した画像を人工的に生成することによって学習のサンプル数を増加させることができ、学習の効率を高めて認識率を向上させることができる。

【0034】

詳述すると、本発明では、車両の位置情報変位を、シミュレーションモデルを基にして、実写の画像に極めて類似した、リアリティ性の高いＣＧ映像を生成及び合成する手段を用いており、実際には存在しない環境や光源などを付加した映像を、人工的に無限に生成することができるようになる。この生成したＣＧ画像を認識機能モジュールに対して、従来のカメラ画像と同様に入力し、カメラ画像に対する処理を同様に行わせ、対象とするオブジェクトが認識・抽出できるかをテストすることができるので、これまで取得・撮影が困難・不可能であった種類の映像での学習ができる上、さらに学習効率を高めて認識率を向上させる効果がある。

【0035】

また２次元画像の取得ができるイメージセンサーの他に、物体の立体形状の情報が抽出できるＬｉＤＡＲ（レーザー光）やミリ波などの異なる種類のセンサーを併用し、これらのセンサーの画像を生成することで、さらに広範囲なテストが可能になるのみならず、認識技術のブラッシュアップも同時に実現することが可能になるという、相乗効果が見込める。

【0036】

なお、本発明の応用分野としては、自動車の自動走行運転のための実験装置、シミュレーター、及びそれに関連したソフトウェアモジュール、ハードウェアデバイス（例えば車両搭載のカメラ、イメージセンサー、車両の周囲の３次元形状を測定するためのレーザー）、ディープラーニング等の機械学習ソフトウェア、非常に広範囲に及ぶ。また、本発明によれば、実写画像をリアルに実現するＣＧ技術と同期制御の融合技術を備えているので、自動車の自動走行運転以外の分野でも幅広く応用することができる。例えば外科手術のシミュレーター、軍事シミュレーター、ロボットやドローンなどの安全走行テスト等が利用分野として有望である。

【図面の簡単な説明】

【0037】

【図1】第１実施形態に係る仮想画像を生成する画像生成システムの全体構成を示すブロック図である

【図2】実際の道路を実走行して３次元データを収集する処理を示す説明図である

【図3】テスト車両について３次元形状を収集することを示す説明図である

【図4】近赤外線センサーで取得したグレイスケール画像である。

【図5】近赤外線センサーで取得した距離画像である

【図6】第２実施形態に係る仮想画像を生成する画像生成システムの全体構成を示すブロック図である

【図7】レーザー光のＴＯＦを示した説明図である

【図8】ＬｉＤＡＲの構成と動作原理を示す説明図である

【図9】ＬｉＤＡＲのビーム照射を示す説明図である

【図10】ＬｉＤＡＲのレーザービームが対象物に照射される様子を説明する説明図である。

【図11】第３実施形態に係るニューラルネットワークとバックプロパゲーションを説明するブロック図である

【図12】ニューラルネットワークを説明する説明図である

【図13】第４実施形態に係る深度画像の画質評価システムを説明するブロック図である

【図14】ＴＯＦの概念と、投光パルスと受光パルスの関係を説明する説明図である

【図15】第５実施形態に係る同期シミュレーションシステムを説明するブロック図である

【図16】クライアント側の構成を説明するブロック図である

【図17】シミュレーターサーバー側の構成を説明するブロック図である

【図18】ＵＤＰ同期制御と画像生成、画像認識の各構成を説明するフロー図である。

【図19】本同期制御シミュレーターの動作を示すフローチャート図である。

【図20】第６実施形態に係る複数台の同期シミュレーションシステムを説明するブロック図である。

【図21】複数台のＵＤＰ同期制御システムを説明するブロック図である。

【図22】第７実施形態に係る複数台のディープラーニング認識手段を説明するブロック図である。

【図23】素材撮影手段を備えた複数台のディープラーニング認識手段を説明するブロック図である。

【発明を実施するための形態】

【0038】

［第１実施形態］
（近赤外線仮想画像生成システムの全体構成）
以下に添付図面を参照して、本発明に係る近赤外線仮想画像生成システムの実施形態について詳細に説明する。本実施形態では、自動運転に必須とされる様々なタイプのセンサーから撮像される実写画像を代替すべく、ＣＧ技術を用いて実写画像に極めて類似した画像を生成するシステムを構築する。図１は近赤外線の仮想画像を生成するためのブロック図である。

【0039】

なお、本実施形態に係る近赤外線仮想画像生成システムは、例えばコンピューターにインストールされたソフトウェアを実行することにより、コンピューターに備えられたＣＰＵなどの演算処理装置上に仮想的な各種モジュールが構築されて本システムが実装される。なお、以下の説明において「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

【0040】

図１に示すように、本実施形態に係る近赤外線仮想画像生成システムは、シナリオ作成部１０、３Ｄモデリング部１１、３Ｄシェーディング部１２、Ｒ画像グレイスケール化部１３、深度画像生成部１４を備えている。

【0041】

シナリオ作成部１０は、どのようなＣＧを作成するかのシナリオデータを作成する手段である。このシナリオ作成部１０は、対象物の３次元形状情報、対象物の動作情報、対象物のマテリアル情報、光源のパラメータ情報、カメラの位置情報、センサーの位置情報を決定する手段を備えている。例えば自動運転に使うＣＧであれば、道路、建物、車両、歩行者、自転車、路側帯、信号機などの数多くの対象物が仮想空間内に存在し、シナリオデータには、その仮想空間内でどの対象物がどの位置（座標、標高）に存在してどのような方向に、どのような動きをするかが定義されているとともに、仮想空間内における仮想カメラ（視点）の位置、光源の種類や個数、それぞれの位置や向き等を定義するデータであり、また、仮想空間内における対象物の移動や挙動なども定義される。

【0042】

このシナリオ作成部１０で、先ずどのようなＣＧ画像を生成するかが決められることになる。このシナリオ作成部１０で設定されたシナリオに従って、３Ｄモデリング部１１が３Ｄ画像を生成する。

【0043】

３Ｄモデリング部１１は、仮想空間上における物体の形状を作成するモジュールであり、物体の外形や内部構成の形状を構成する各頂点の座標を設定し、その形状の境界線・面を表現する方程式のパラメータを設定し、３次元的な物の形を構築する。具体的には、この３Ｄモデリング部１１によって、道路の３Ｄ形状や路上を走行する車両の３Ｄ形状、歩行者の３Ｄ形状等の情報がモデリングされる。

【0044】

３Ｄシェーディング部１２は、３Ｄモデリング部１１で生成された各３ＤモデルデータＤ１０１を用いて実際の３ＤＣＧを生成するモジュールであり、シェーディング処理によって、３ＤＣＧで実現される物体の陰影を表現し、光源の位置や光の強さによって立体的でリアルな画像を生成する。

【0045】

Ｒ画像グレイスケール化部１３は、３Ｄシェーディング部１２から送出されたシェーディング画像に含まれる所定のコンポーネントを抽出するコンポーネント抽出部であるとともに、抽出されたコンポーネント画像をグレイスケール化するグレイスケール化部として機能するモジュールである。具体的にこのＲ画像グレイスケール化部１３は、３Ｄシェーディング部１２から送出されたＲＧＢ画像であるシェーディング画像Ｄ１０３のうちのＲ成分のコンポーネントを、コンポーネント画像として抽出し、この抽出されたＲ成分のコンポーネント画像を、図４に示すように、Ｒ成分をグレイスケール化してグレイスケール画像Ｄ１０４（Ｉｍｇ（ｘ，ｙ）、ｘ：水平座標値、ｙ：垂直座標値）を出力する。これにより、シェーディング画像Ｄ１０３中のＲ（赤色）成分だけが抽出され、赤外線の画像に極めて近い画像が生成されることとなる。図４は、室内を近赤外線センサーで撮影した実写画像をグレイスケール化した白黒画像である。

【0046】

深度画像生成部１４は、３Ｄシェーディング部１２から入力された個々の３Ｄ形状モデルのモデリング情報Ｄ１０２に基づいて、画面中の各対象物の３Ｄ形状データを取得し、各対象物までの距離に基づいて深度画像（Ｄｅｐｔｈ−ｍａｐとも呼ばれる）１０５を生成するモジュールである。図５は、上記の深度画像を距離によって色分けした画像である。より前方にある対象物ほど赤の成分が強く、遠方にあるものほど青の成分が強くなっている。中間の位置にあるものは黄色から緑色になっており、画面中における全ての対象物に関する奥行情報が得られることになる。

【0047】

（近赤外線仮想画像生成システムの動作）
以上の構成を有する近赤外線仮想画像生成システムを動作させることによって、本発明の近赤外線仮想画像生成方法を実施することができる。

【0048】

先ず、シナリオ作成部１０では、どのようなＣＧを作成するかのシナリオを作る。例えば自動運転に使うＣＧであれば、道路、建物、車両、歩行者、自転車、路側帯、信号機などの数多くの対象物がどの位置に存在してどのような方向に、どのような動きをするか、さらに、カメラの位置、光源の種類や個数等のシナリオを作成する。

【0049】

このシナリオ作成部１０において、どのようなＣＧ画像を生成するかが決定される。次いで、シナリオ作成部１０で設定されたシナリオに沿って、道路の３Ｄ形状や路上を走行する車両の３Ｄ形状、歩行者の３Ｄ形状等の情報をモデリングする。なお、モデリング手段としては、例えば道路に関しては「高精度地図データベース」を用いれば容易に実現でき、図２（ａ）に示すような車載装置１ｂを装備した車両を多数走行させて、同図（ｂ）に示すように、収集したデータから地図の３Ｄ化を行い、同図（ｃ）に示すように、ベクター化した図面を用いて各道路地物をリンクさせてデータベース化する。

【0050】

次いで、３Ｄモデリング部１１において、シナリオ作成部１０で作成されたシナリオ情報Ｄ１００に基づいて、必要な各対象物の３Ｄ形状モデルを取得、又は生成する。そして、３Ｄモデリング部１１で生成された各３ＤモデルデータＤ１０１を用いて３Ｄシェーディング部１２では、実際の３ＤＣＧを生成する。

【0051】

また、３Ｄシェーディング部１２から送出されたＲ成分のシェーディング画像Ｄ１０３に対して、図４に示すようなＲ画像グレイスケール化してグレイスケール画像Ｄ１０４（Ｉｍｇ（ｘ，ｙ）、ｘ：水平座標値、ｙ：垂直座標値）が出力される。他方、３Ｄシェーディング部１２からは、個々の３Ｄ形状モデルのモデリング情報Ｄ１０２が得られ、これらの情報から画面中の各対象物の３Ｄ形状データが得られ、これを基にして深度画像生成部１４において深度画像Ｄ１０５（α（ｘ，ｙ）、ｘ：水平座標値、ｙ：垂直座標値）が生成される。

【0052】

そして、以上の動作により得られたグレイスケール化してグレイスケール画像Ｄ１０４と深度画像Ｄ１０５とが、本実施形態の出力画像として送出され、これらの２つの画像出力が、画像認識に用いられる。

【0053】

［第２実施形態］
以下に添付図面を参照して、本発明に係るシステムの第２実施形態を詳細に説明する。なお、本実施形態において、上述した第１実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。

【0054】

（ＬｉＤＡＲセンサー仮想画像生成システムの全体構成）
本実施形態では、ＬｉＤＡＲセンサーを用いた場合について述べる。本実施形態に係るシステムは、図６で実現され、シナリオ作成部１０と、３Ｄモデリング部１１と、シェーディング部１５と、深度画像生成部１６とから構成される。

【0055】

本実施形態においてシェーディング部１５は、３Ｄモデリング部１１で生成された各３ＤモデルデータＤ１０１を用いて実際の３ＤＣＧを生成するモジュールであり、シェーディング処理によって、３ＤＣＧで実現される物体の陰影の表現し、光源の位置や光の強さによって立体的でリアルな画像を生成する。特に、本実施形態におけるシェーディング部１５は、レーザー光照射部分抽出部１５ａを有しており、レーザー光照射部分抽出部１５ａによって、そのレーザー光が照射された部位のみの３Ｄ形状を抽出してシェーディングし、そのシェーディング画像Ｄ１０６を出力する。また、レーザー光の反射光はそもそもＲＧＢのような色成分を持たない光線なので、このシェーディング部１５からは、直接グレイスケール化したシェーディング画像Ｄ１０６が出力されることになる。

【0056】

また、深度画像生成部１６は、３Ｄシェーディング部１２から入力された個々の３Ｄ形状モデルのモデリング情報Ｄ１０２に基づいて、画面中の各対象物の３Ｄ形状データを取得し、各対象物までの距離に基づいて深度画像（Ｄｅｐｔｈ−ｍａｐとも呼ばれる）１０５を生成するモジュールである。特に、本実施形態における深度画像生成部１６は、レーザー光照射部分抽出部１６ａによって、レーザー光照射に係る部分だけを抽出した深度画像Ｄ１０８が出力される。

【0057】

（ＬｉＤＡＲセンサー仮想画像生成システムの動作）
次に、上記構成を有するＬｉＤＡＲセンサー仮想画像生成システムの動作について説明する。

【0058】

３Ｄモデリングされた各対象物のうちで、近赤外線の場合には、図５に示すような画像が同時に取得できるのに対して、ＬｉＤＡＲセンサーのレーザー光は指向性が強い光線のため、画面中の一部箇所だけに照射される性質がある。このＬｉＤＡＲとは、パルス状に発行するレーザー照射に対する散乱光を測定して、遠距離にある対象物までの距離を測定するセンサーである。特に自動運転の高精度化には必須なセンサーの１つとして注目されている。以下、ＬｉＤＡＲの基本的な特徴について、以下説明する。

【0059】

ＬｉＤＡＲに用いられるレーザー光はマイクロパルスで近赤外光（例えば９０５ｎｍの波長）を用いる。スキャナと光学計はモータ、ミラー、レンズなどから構成される。一方、受光器、信号処理部では反射光を受光し、信号処理によって距離を算出する。

【0060】

ここでＬｉＤＡＲに採用されている手段としては、ＴＯＦ方式（Time of Flight）と呼ばれているＬｉＤＡＲスキャン装置１１４などがあり、このＬｉＤＡＲスキャン装置１１４は、図７に示すように、レーザードライバー１１４ａによる制御に基づいて発光素子１１４ｂから照射レンズ１１４ｃを通じてレーザー光を照射パルスＰｌｕ１として出力する。この照射パルスＰｌｕ１は測定対象Ｏｂ１によって反射されて反射パルスＰｌｕ２として受光レンズ１１４ｄに入射され、受光素子１１４ｅで検出される。この受光素子１１４ｅによる検出結果は、信号受光回路１１４ｆによって電気信号としてＬｉＤＡＲスキャン装置１１４から出力される。このようなＬｉＤＡＲスキャン装置１１４では、立ち上がり時間が数ｎｓで、光ピークパワーが数１０Ｗの超短パルスを測定物体に向けて照射し、その超短パルスが測定物体で反射して受光素子に戻ってくるまでの時間ｔを測定する。このときの物体までの距離をＬ、光速をｃとすると、
Ｌ＝（ｃ×ｔ）／２
により算出される。

【0061】

このＬｉＤＡＲシステムの基本的な動作としては、図８（ａ）〜（ｃ）に示すように、ＬｉＤＡＲスキャン装置１１４から射出され、変調されたレーザー光が回転するミラー１１４ｇで反射され、レーザー光が左右に振られ、或いは３６０°で回転されることで走査され反射して戻ってきたレーザー光が、再びＬｉＤＡＲスキャン装置１１４の受光素子１１４ｅで捕捉される。補足された反射光は、最終的には、回転角度に応じた信号強度が示された点群データＰｅｌＹ及びＰｅｌＸとして得られる。なお、回転式のＬｉＤＡＲシステムとしては、例えば、図９のように中心部が回転してレーザー光が照射され、３６０度の走査が可能になっている。

【0062】

上述したように、ＬｉＤＡＲセンサーのレーザー光は指向性が強いので、遠方距離まで照射した場合でも画面の一部分にしか照射されない性質を持っている。したがって、図６に示したシェーディング部１５では、レーザー光照射部分抽出部１５ａによって、そのレーザー光が照射された部位のみの３Ｄ形状を抽出してシェーディングし、そのシェーディング画像Ｄ１０６を出力することになる。

【0063】

一方、同じくレーザー光照射部分の３Ｄ形状データＤ１０７を入力した深度画像生成部１６では、レーザー光照射部分抽出部１６ａによって、レーザー光照射に係る部分だけを抽出した深度画像Ｄ１０８を出力することになる。図１０は、レーザー交渉者部分を抽出した例を図示したものであり、画像中央に走行中の車両の上部に取り付けたＬｉＤＡＲから３６０度方向にレーザー光のビームが放射されている。同図に示した例では、画面上部左側に自動車が、ビーム照射を受けてその反射光によって検知されており、画面上部右側には歩行者がビーム照射を受けてその反射光によって検知されている。

【0064】

したがって、シェーディング部１５では、例えば図１０の自動車の３Ｄ形状を、３ＤＣＧ技術を用いてシェーディングした結果の画像を生成すればよい。なお（なお）、上述した第１実施形態（図１）ではＲＧＢ画像を内部で生成してからＲ成分のみを出力する構成としたが、レーザー光の反射光はそもそもＲＧＢのような色成分を持たない光線なので、本実施形態では、直接グレイスケール化したシェーディング画像Ｄ１０６を出力することになる。次に、深度画像生成部１６では、第１実施形態で述べた深度画像が画面全体であったのに対して、レーザー光の反射部分のみを対象とした深度画像Ｄ１０８を生成する。

【0065】

以上の動作により得られたグレイスケール化したシェーディング画像Ｄ１０６と深度画像Ｄ１０８とが、本実施形態の出力画像として送出される。これらの２つの画像出力は画像認識やその認識機能学習に用いることができる。

【0066】

［第３実施形態］
次いで、本発明の第３実施形態に係る仮想画像のディープラーニング認識システムについて説明する。本実施形態では、第１実施形態で述べた近赤外線センサーを用いた仮想画像システム、及び第２実施形態で述べたＬｉＤＡＲセンサーを用いた仮想画像システムを、ディープラーニング認識システムなど、自動運転などで多用されているAI認識技術に適用し、実際に撮影不可能な環境での仮想環境画像を、様々なセンサーに対して供給可能とする。

【0067】

（仮想画像のディープラーニング認識システムの構成）
図１１は、現在最も実績が高いとされているバックプロパゲーション型のニューラルネットワークを用いたディープラーニング認識システムの構成図である。本実施形態に係るディープラーニング認識システムでは、ニューラルネットワーク計算部１７とバックプロパゲーション部１８とから概略構成される。

【0068】

ニューラルネットワーク計算部１７は、図１２に示すような多層から構成されるニューラルネットワークを備え、このニューラルネットワークに対して、図１で示した出力であるグレイスケール画像Ｄ１０４と深度画像Ｄ１０５とが入力される。そしてニューラルネット内で予め設定された係数（６０８、６１０）に基づいて非線形計算が行われて、最終的な出力６１１が得られる。

【0069】

一方、バックプロパゲーション部１８では、ニューラルネットワーク計算部１７における計算結果である計算値Ｄ１１０が入力されて、比較対象になる教師データ（例えば、実写に基づく照射画像や深度画像などのデータを用いることができる。）との間で誤差を計算する。図１１に例示したシステムでは、グレイスケール画像Ｄ１０４に対する教師データとしてグレイスケール画像Ｄ１１１が入力され、深度画像Ｄ１０５に対する教師データとして深度画像Ｄ１１２が入力される。

【0070】

ここで、バックプロパゲーション部１８では、バックプロパゲーション法による演算が実行される。このバックプロパゲーション法は、ニューラルネットの出力と教師データがどの程度誤差があるかを計算し、その結果を逆伝搬することで出力から再度入力方向に計算を行う。本実施形態では、このフィードバックした誤差値Ｄ１０９を受け取ったニューラルネットワーク計算部１７が、再度所定の計算を行い、その結果をバックプロパゲーション部１８に入力する。以上のループ内の動作を、誤差値が予め設定した閾値よりも小さくなるまで実行し、十分に収束したと判断されたときにニューラルネット計算を終了する。

【0071】

以上の動作を完了すると、ニューラルネットワーク計算部１７内のニューラルネットワーク内の係数値（６０８、６１０）が確定することになり、このニューラルネットを用いて、実際の画像に対するディープラーニング認識を行うことができる。

【0072】

なお、本実施形態では、第１実施形態で説明した近赤外線画像の出力画像に対するディープラーニング認識を例示したが、同様の手法を用いることで、第２実施形態のＬｉＤＡＲセンサーの出力画像に対するディープラーニング認識にも、全く同様に対応することができる。その場合には、図１１の左端の入力画像は、図６のシェーディング画像Ｄ１０６及び深度画像Ｄ１０８となる。

【0073】

［第４実施形態］
次いで、本発明の第４実施形態について説明する。上述した第２実施形態で述べたＬｉＤＡＲセンサーを用いた仮想画像システムの出力画像のうち、深度画像生成部１６からは、深度画像Ｄ１０８が出力される。この深度画像が実際にレーザー光を想定した距離画像としてどの程度の精度があるかは、本シミュレーションシステムの評価ポイントとして非常に重要である。本実施形態では、この深度画像を評価する評価システムに本発明を適用した例を説明する。

【0074】

（深度画像評価システムの構成）
図１３に示すように、本実施形態に係る深度画像評価システムは、上述した深度画像生成部１６から出力される深度画像Ｄ１０８の評価手段として構成されたものであり、ＴＯＦ計算部１９と、距離画像生成部２０と、比較評価部２１とから構成される。

【0075】

ＴＯＦ計算部１９は、深度画像生成部１６により生成された深度画像Ｄ１０８について、ＴＯＦ値等を含むＴＯＦ情報を計算するモジュールであり、光源から送出された投光パルスが被写体によって反射されて、この反射されたパルスが受光パルスとしてセンサーによって受光された際の時間差である遅れ時間に相当する。この遅れ時間がＴＯＦ計算部１９からＴＯＦ値Ｄ１１３として出力される。

【0076】

距離画像生成部２０は、ＴＯＦ計算部１９で算出されたＴＯＦ値Ｄ１１３に基づいて、レーザー照射部分の各点のＴＯＦを取得して、その各点における遅れ時間に基づいて各点までの距離Ｌを算出し、各点までの距離Ｌを画像で表現した距離画像Ｄ１１４を生成するモジュールである。

【0077】

比較評価部２１は、距離画像生成部２０で生成された距離画像Ｄ１１４と、深度画像生成部１６から入力された前記深度画像Ｄ１０８との間で比較計算を行い、それらの合致度などを含む比較結果に基づいて評価を行うモジュールである。比較手法としては一般的に用いられている絶対値２乗誤差などを用いることができる。この比較結果の値が大きくなるほど両者の差が大きいことになり、３ＤＣＧモデリングを基にした場合の深度画像が、実際にレーザー光のＴＯＦを想定して生成した距離画像とどの程度近いかを評価することができる。

【0078】

（深度画像評価システムの動作）
次に、上述した構成を有する深度画像評価システムの動作について説明する。
深度画像生成部１６により生成された深度画像Ｄ１０８は、ＴＯＦ計算部１９に入力された後、ＴＯＦの時間が計算される。このＴＯＦは、図７で述べたｔである。詳述すると、このＴＯＦは、図１４（ａ）に示すように、光源からレーザー光が投光パルスとしてパルス状に送出されると、この投光パルスが被写体によって反射されて、この反射されたパルスが受光パルスとしてセンサーによって受光される。その際の時間差を計測する。この時間差は、図１４（ｂ）に示すように、投光パルスと受光パルス間の遅れ時間に相当する。

【0079】

以上より図６のＴＯＦ計算部１９で算出されたＴＯＦ値Ｄ１１３を出力する。このＴＯＦ計算部１９によって、一旦、レーザー照射部分の各点のＴＯＦが分かれば、これを以下の式で逆算することで各点の距離Lが求まる。
Ｌ＝（１／２）×ｃ×ｔ
（ｃ：光速、ｔ：ＴＯＦ）
上記の計算によって照射部画像の各点の距離画像Ｄ１１４が、距離画像生成部２０において生成される。その後、前記深度画像Ｄ１０８と、距離画像Ｄ１１４との間で比較計算が行われる。比較手段としては一般的に用いられている絶対値２乗誤差などで構わない。この値が大きくなるほど両者の差が大きいことになり、３Ｄ ＣＧモデリングを基にした場合の深度画像が、実際にレーザー光のＴＯＦ（こちらの方が正しい）を想定して生成した距離画像とどの程度近いかを評価することができる。

【0080】

比較結果Ｄ１１５は上記のように、絶対値２乗誤差のような数値であっても、或いは閾値処理の後で両者が近似されていないというシグナルでも構わない。もし後者の場合には、例えば図６の３Ｄモデリング部１１に結果がフィードバックされて再度モデリングを実行することも考えられる。この処理動作を繰り返し実行して、所定の近似レベルまで実行することで高精度の３Ｄ ＣＧを基にした深度画像を生成することができる。

【0081】

［第５実施形態］
次いで、本発明の第５実施形態について説明する。上述した第１実施形態〜第４実施形態までは、いずれも近赤外線画像もしくはＬｉＤＡＲセンサーの仮想画像を生成する手段に関するものであったが、本実施形態では、これらの仮想画像を用いて実際に自動運転の走行をリアルタイムで行う場合の制御について説明する。本実施形態では、本発明のシミュレーターシステムを、自動車の自動運転走行システムにおける画像認識機能モジュールの機械学習及びテストに適用した場合を例示する。

【0082】

ここで、自動運転システムとは、事故などの可能性を事前に検知し回避するＡＤＡＳ（先進運転システム：advanced driver assistance system）等のシステムであり、自動車の自動運転走行を実現するため、実際に車両に搭載したカメラ映像を、画像認識技術を用いて認識して、他の車両や歩行者、信号機などのオブジェクトを検出し、自動で速度低下、回避などの制御を行う。

【0083】

（車両同期シミュレーターシステムの全体構成）
図１５は、本実施形態に係るシミュレーターシステムの全体構成を示す概念図である。本実施形態に係るシミュレーターシステムは、単数又は複数のシミュレーション対象について、シミュレーションプログラムを実行するとともに、これらのシミュレータープログラムのテストや機械学習を実行する。このシミュレーターシステムは、図１５に示すように、通信ネットワーク３上にシミュレーターサーバー２が配置され、このシミュレーターサーバー２に対して、通信ネットワーク３を通じて、自車両の位置を生成又は取得する情報処理端末１ａや車載装置１ｂが接続されている。

【0084】

ここで、通信ネットワーク３は、通信プロトコルＴＣＰ／ＩＰを用いたＩＰ網であって、種々の通信回線（電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、ＷＣＤＭＡ（登録商標）及びＣＤＭＡ２０００などの第３世代（３Ｇ）の通信方式、ＬＴＥなどの第４世代（４Ｇ）の通信方式、及び第５世代（５Ｇ）以降の通信方式等の他、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワーク）を相互に接続して構築される分散型の通信ネットワークである。このＩＰ網には、１０ＢＡＳＥ−Ｔや１００ＢＡＳＥ−ＴＸ等によるイントラネット（企業内ネットワーク）や家庭内ネットワークなどのＬＡＮなども含まれる。また、ＰＣ１ａの中にシミュレーターのソフトウェアがインストールされているケースも多々ある。この場合には、ＰＣ単体でのシミュレーションを行うことができる。

【0085】

シミュレーターサーバー２は、単数又は複数のサーバー装置群により構成され、各サーバー装置の機能は、各種情報処理を実行するサーバーコンピューター或いはその機能を持ったソフトウェアで実現される。このシミュレーターサーバー２には、サーバー用のアプリケーションソフトウェアを実行するサーバーコンピューター、もしくはそのようなコンピューター上でのアプリケーションの実行を管理補助するミドルウェアで構成されたアプリケーションサーバーが含まれる。

【0086】

また、シミュレーターサーバー２には、クライアント装置から、ＨＴＴＰのレスポンス要求を処理するウェブサーバーが含まれ、このウェブサーバーは、バックエンドの関係データベース管理システム（ＲＤＢＭＳ）を実行するデータベース中核層への橋渡しを担い、データの加工などの処理を行う。関係データベースサーバーは、データベース管理システム（ＤＢＭＳ）が稼動しているサーバーであり、クライアント装置やアプリケーションサーバー（ＡＰサーバー）に要求されたデータを送信したり、操作要求を受け付けてデータを書き換えたり削除したりする機能を有する。

【0087】

情報処理端末１ａ及び車載装置１ｂは、通信ネットワーク３に接続されたクライアント装置であり、ＣＰＵ等の演算処理装置を備え、専用のクライアントプログラム５を実行することによって種々の機能を提供する。この情報処理端末としては、例えば、パーソナルコンピュータ等の汎用コンピューターや機能を特化させた専用装置により実現することができ、スマートフォンやモバイルコンピューター、ＰＤＡ（Personal Digital Assistance ）、携帯電話機、ウェアラブル端末装置等が含まれる。

【0088】

この情報処理端末１ａ又は車載装置１ｂは、専用のクライアントプログラム５を通じて上記シミュレーターサーバー２にアクセスしてデータの送受信が可能となっている。このクライアントプログラム５は、その一部又は全部が、ドライビングシミュレーションシステムや、車載された自動運転走行システムに組み込まれ、車両に搭載したカメラが撮影した映像や、取り込まれた風景映像（本実施形態ではＣＧ動画が含まれる。）等を、画像認識技術を用いて認識して、映像中の他の車両や歩行者、信号機などのオブジェクトを検出し、その認識結果に基づいて自車両とそのオブジェクトの位置関係を算出し、その算出結果に応じて、自動で速度低下、回避などの制御を行う。なお、本実施形態に係るクライアントプログラム５は、画像認識の機能をシミュレーターサーバー２で行わせ、図１８に示す車両位置情報計算部５１による自動運転の仕組みによって、シミュレーターサーバー２における認識結果に応じて自動車を仮想的に地図上で走行させたり、実際に車両を走行させたりして、自車両の位置情報を変位させるように位置情報を計算し、又は取得する。

【0089】

（各装置の構成）
次いで、各装置の構成について具体的に説明する。図１６は、本実施形態に係るクライアント装置の内部構成を示すブロック図であり、図１７は、本実施形態に係るシミュレーターサーバーの内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

【0090】

（１）クライアント装置の構成
情報処理端末１ａは、パーソナルコンピュータ等の汎用的なコンピューターや専用の装置で実現することができ、一方、車載装置１ｂは、パーソナルコンピュータ等の汎用コンピューターの他、車載される自動運転走行システムなどの専用装置（カーナビゲーションシステムと捉えることもできる）とすることができ、図１６に示すように、具体的には、ＣＰＵ１０２と、メモリ１０３と、入力インターフェース１０４と、ストレージ装置１０１と、出力インターフェース１０５と、通信インターフェース１０６とを備えている。なお、本実施形態では、これらの各デバイスは、ＣＰＵバスを介して接続されており、相互にデータの受渡しが可能となっている。

【0091】

メモリ１０３及びストレージ装置１０１は、データを記録媒体に蓄積するとともに、これら蓄積されたデータを各デバイスの要求に応じて読み出す装置であり、例えば、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリカード等により構成することができる。入力インターフェース１０４は、キーボードやポインティングデバイス、タッチパネルやボタン等の操作デバイスから操作信号を受信するモジュールであり、受信された操作信号はＣＰＵ４０２に伝えられ、ＯＳや各アプリケーションに対する操作を行うことができる。出力インターフェース１０５は、ディスプレイやスピーカー等の出力デバイスから映像や音声を出力するために映像信号や音声信号を送出するモジュールである。

【0092】

特に、クライアント装置が車載装置１ｂである場合、この入力インターフェース１０４には、自動運転システムのための上記ＡＤＡＳ等のシステムが接続され、自動車の自動運転走行を実現するため、車両に搭載したカメラ１０４ａ等のイメージセンサーの他、ＬｉＤＡＲセンサー、ミリ波センサー、赤外線センサー等の各種センサー手段が接続される。

【0093】

通信インターフェース１０６は、他の通信機器とデータの送受信を行うモジュールであり、通信方式としては、例えば、電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、ＷＣＤＭＡ（登録商標）及びＣＤＭＡ２０００などの第３世代（３Ｇ）の通信方式、ＬＴＥなどの第４世代（４Ｇ）の通信方式、及び第５世代（５Ｇ）以降の通信方式等の他、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワークが含まれる。

【0094】

ＣＰＵ１０２は、各部を制御する際に必要な種々の演算処理を行う装置であり、各種プログラムを実行することにより、ＣＰＵ１０２上に仮想的に各種モジュールを構築する。このＣＰＵ１０２上では、ＯＳ（Operating System）が起動・実行されており、このＯＳによって情報処理端末１ａ〜ｃ，４，５の基本的な機能が管理・制御されている。また、このＯＳ上では種々のアプリケーションが実行可能になっており、ＣＰＵ１０２でＯＳプログラムが実行されることによって、情報処理端末の基本的な機能が管理・制御されるとともに、ＣＰＵ１０２でアプリケーションプログラムが実行されることによって、種々の機能モジュールがＣＰＵ上に仮想的に構築される。

【0095】

本実施形態では、ＣＰＵ１０２上でクライアントプログラム５を実行することによって、クライアント側実行部１０２ａが構成され、このクライアント側実行部１０２ａを通じて、仮想地図上又は実際の地図上における自車両の位置情報を生成又は取得し、シミュレーターサーバー２に送信するとともに、シミュレーターサーバー２側における風景映像（本実施形態ではＣＧ動画が含まれる）の認識結果を受信して、受信した認識結果に基づいて自車両とそのオブジェクトの位置関係を算出し、その算出結果に応じて、自動で速度低下、回避などの制御を行う。

【0096】

（２）シミュレーターサーバーの構成
本実施形態に係るシミュレーターサーバー２は、通信ネットワーク３を通じて車両同期シミュレーターサービスを提供するサーバー装置群であり、各サーバー装置の機能は、各種情報処理を実行するサーバーコンピューター或いはその機能を持ったソフトウェアで実現される。具体的にシミュレーターサーバー２は、図１７に示すように、通信インターフェース２０１と、ＵＤＰ同期制御部２０２と、シミュレーション実行部２０５と、ＵＤＰ情報送受信部２０６と、各種データベース２１０〜２１３とを備えている。

【0097】

通信インターフェース２０１は、通信ネットワーク３を通じて、他の機器とデータの送受信を行うモジュールであり、通信方式としては、例えば、電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、ＷＣＤＭＡ（登録商標）及びＣＤＭＡ２０００などの第３世代（３Ｇ）の通信方式、ＬＴＥなどの第４世代（４Ｇ）の通信方式、及び第５世代（５Ｇ）以降の通信方式等の他、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワークが含まれる。

【0098】

図１８では、ＵＤＰ同期制御部２０２は、クライアント装置１側における自車両を変位させる位置情報の計算処理と、シミュレーターサーバー２側における画像生成処理及び画像認識処理とを同期制御するモジュールである。クライアント装置１側の車両位置情報計算部５１は、ＵＤＰ情報送受信部２０６を通じて、画像認識部２０４における認識結果を取得し、取得された認識結果を用いて車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する。

【0099】

ＵＤＰ情報送受信部２０６は、クライアント装置１側のクライアント側実行部１０２ａと協働して、これらの間でデータを送受信するモジュールであり、本実施形態では、クライアント装置１側で計算され又は取得された位置情報を特定のフォーマットにパケット化してシミュレーターサーバー２側に送出するとともに、このパケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送し、シミュレーターサーバー２側で上記パケットデータを受信してデ・パケット化し、上記デ・パケット化されたデータを画像生成部２０３に入力して画像を生成する。また、本実施形態においてＵＤＰ情報送受信部２０６は、ＵＤＰ同期制御部２０２によって各装置間で送受信される信号を、ＵＤＰ（User Datagram Protocol)を用いて送受信する。

【0100】

上記各種データベースとしては、地図データベース２１０と、車両データベース２１１と、描画用データベース２１２とを備えている。なお、これらのデータベースは、関係データベース管理システム（ＲＤＢＭＳ）により、相互に情報の参照が可能となっている。

【0101】

シミュレーション実行部２０５は、クライアント装置１側の位置情報取得手段によって生成又は取得され、シミュレーターサーバー２側へ送信された位置情報に基づいて、位置情報で特定された領域を再現したシミュレーション用画像を生成し、その生成されたシミュレーション用画像の中から特定の対象物を、認識機能モジュールを用いて認識し、検出するモジュールである。具体的には、画像生成部２０３と、画像認識部２０４とを備えている。

【0102】

画像生成部２０３は、クライアント装置１側の位置情報取得手段によって取得され又は計算された位置情報を取得し、この位置情報に基づいて、位置情報で特定された領域（地図上の緯度・経度、方角、視野に基づく風景）をコンピューターグラフィックスで再現したシミュレーション用画像を生成するモジュールである。この画像生成部２０３で生成されたシミュレーション用画像は、画像認識部２０４に送出される。なお、この画像生成部２０３としては、上述した第１実施形態で説明した近赤外線仮想画像生成システム、或いは第２実施形態で説明したＬｉＤＡＲセンサー仮想画像生成システムを採用することができ、これらのシステムでコンピューターグラフィックス技術を用いて生成された各種仮想画像を画像認識部２０４に入力するようにしてもよい。

【0103】

画像認識部２０４は、画像生成部２０３によって生成されたシミュレーション用画像の中から特定の対象物を、テスト対象又は機械学習対象である認識機能モジュール２０４ａを用いて認識し検出するモジュールである。この画像認識部２０４による認識結果情報Ｄ０６は、クライアント装置１側の車両位置情報計算部５１に送信される。画像認識部２０４には、学習部２０４ｂが設けられており、認識機能モジュール２０４ａの機械学習を実行するようになっている。

【0104】

この認識機能モジュール２０４ａは、カメラ装置により撮影された画像又は画像生成部２０３で生成されたＣＧを取得して、その取得された画像中の特徴点を階層的に複数抽出し、抽出された特徴点の階層的な組合せパターンによりオブジェクトを認識するモジュールであり、学習部２０４ｂは、この認識機能モジュール２０４ａに対して、上記カメラ装置による撮影画像又は仮想的なＣＧ画像を入力することにより、実際には撮影が困難であったり、再現が困難である画像の特徴点を抽出させて、抽出パターンの多様化を図り、学習効率を向上させる。

【0105】

なお、ここでの画像認識部の認識機能モジュール２０４ａとしては、第３実施形態で説明した仮想画像のディープラーニング認識システムのニューラルネットワーク計算部１７を適用することができ、また、上記学習部２０４ｂとしては、上述したバックプロパゲーション部１８を適用することができる。

【0106】

（車両同期シミュレーターシステムの方法）
以上の構成を有する車両同期シミュレーターシステムを動作させることによって、本発明の車両同期シミュレーション方法を実施することができる。図４は、本実施形態における画像生成・画像認識に係る構成及び動作を示すブロック図である。図１９は、本実施形態における同期シミュレーターの処理手順を示したフローチャート図である。

【0107】

先ず、車両位置情報計算部５１で自車の車両位置情報Ｄ０２の取得を行う（Ｓ１０１）。具体的にはクライアント装置１側でクライアントプログラム５を実行することによって、地図情報や車両初期データ等の各種データ群Ｄ０１を車両位置情報計算部５１に入力する。次いで、これらの各種データ群Ｄ０１を用いて仮想地図上又は実際の地図上における自車両の位置情報を計算（生成）又は取得し、その結果を車両位置情報Ｄ０２として、ＵＤＰ同期制御部２０２及びＵＤＰ情報送受信部２０６を通じて、シミュレーターサーバー２側のシミュレーション実行部２０５に送信する（Ｓ１０２）。

【0108】

詳述すると、車両位置情報計算部５１では、先ず自車の車両位置情報Ｄ０２を、ＵＤＰ同期制御部２０２からの制御信号Ｄ０３のタイミングに従って、ＵＤＰ同期制御部２０２に対して送出する。車両位置情報計算部５１の初期データで、例えば地図データや地図中の自車の位置情報や車体の車輪の回転角，口径などの情報は、所定のストレージ装置１０１からロードすることができる。ＵＤＰ同期制御部２０２及びＵＤＰ情報送受信部２０６では、クライアント装置１側のクライアント側実行部１０２ａと協働して、これらの間でデータを送受信する。具体的にＵＤＰ同期制御部２０２及びＵＤＰ情報送受信部２０６は、クライアント装置１側で計算され又は取得された車両位置情報Ｄ０２は、車両情報を含む各種データ群を、特定のフォーマットにパケット化されたパケット情報Ｄ０４としてシミュレーターサーバー２側に送出される。

【0109】

このパケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送し、シミュレーターサーバー２側で上記パケットデータを受信してデ・パケット化され（Ｓ１０３）、上記デ・パケット化されたデータＤ０５をシミュレーション実行部２０５の画像生成部２０３に入力してＣＧ画像が生成される。このとき、ＵＤＰ情報送受信部２０６は、ＵＤＰ同期制御部２０２によって各装置間において、車両情報を含む各種データ群をパケット化したパケット情報Ｄ０４はＵＤＰ（User Datagram Protocol)を用いて送受信される。

【0110】

詳述すると、ＵＤＰ同期制御部２０２では、自車の車両位置情報Ｄ０２をＵＤＰパケッタイズすることで種データ群をパケット情報Ｄ０４に変換する。これによってＵＤＰプロトコルを用いた送受信が容易になる。ここでＵＤＰ（User Datagram Protocol）について少し述べる。一般にＴＣＰが高信頼性、コネクション型、ウィンドウ制御、再送制御、輻輳制御を行うのに対して、ＵＤＰはコネクションレス型プロトコルで信頼性を確保する仕組みがない一方で、処理が簡易なため低遅延という大きな利点がある。本実施形態では各構成部の間をデータ伝送する際に低遅延が要求されるので、ＴＣＰではなくＵＤＰを採用している。またさらに現在の音声通信や動画通信において最も普及しているRTP（Realtime Transport Protocol）を用いてもよい。

【0111】

ここで、次に自車の車両位置情報Ｄ０２の具体的な内容としては、例えば
・自車の位置情報（路面絶対位置座標等の３次元座標(X,Y,Z)）
・自車のオイラー角度
・タイヤの位置情報（タイヤの路面絶対位置座標等の３次元座標(X,Y,Z)）
・車輪回転角
・ハンドル、ブレーキの踏みしろ
等の情報が挙げられる。

【0112】

車両位置情報Ｄ０２を受信したＵＤＰ情報送受信部２０６では、車両の情報、例えば車両の位置情報であるＸＹＺ座標、タイヤの位置情報であるＸＹＺ座標、オイラー角度等の各種情報の中から、主に車両のＣＧ画像を生成するのに必要なデータＤ０５を送出する。

【0113】

そして、各種データ群をＵＤＰパケットとしたパケット情報Ｄ０４は、ＵＤＰ情報送受信部２０６でデ・パケッタイズ処理によってパケットヘッダとデータ本体のペイロードに分割される。ここで、ＵＤＰパケットのデータのやり取りは、距離的に離れた場所間のネットワークを用いた送信でもよいし、シミュレーター等の単体装置内部の、伝送バス間の伝送でも可能である。ペイロードに相当するデータＤ０５は、シミュレーション実行部２０５の画像生成部２０３に入力される（Ｓ１０４）。

【0114】

シミュレーション実行部２０５において、画像生成部２０３は、クライアント装置１側の位置情報取得手段によって取得され又は計算された位置情報を、データＤ０５として取得し、この位置情報に基づいて、位置情報で特定された領域（地図上の緯度・経度、方角、視野に基づく風景）をコンピューターグラフィックスで再現したシミュレーション用画像を生成する（Ｓ１０５）。この画像生成部２０３で生成されたシミュレーション用画像Ｄ１３は画像認識部２０４に送出される。

【0115】

画像生成部２０３では、所定の画像生成法として、例えば、最新の物理レンダリング（ＰＢＲ）手法を用いたＣＧ画像生成技術によって、リアリティ豊かな画像を生成する。認識結果情報Ｄ０６は再度車両位置情報計算部５１に入力されて、例えば自車両の次の動作を決定するための車両の位置情報を計算するのに用いられる。

【0116】

画像生成部２０３では、例えばＰＢＲ手法を用いたＣＧ技法によって、車両のみならず周囲画像、例えば路面、建物、信号機、他の車両、歩行者といったオブジェクトを生成することができる。これはＰｌａｙＳｔａｔｉｏｎなどのゲーム機によるタイトルで、上記のようなオブジェクトが非常にリアルに生成されていることからも、最新のＣＧ技術で十分実現可能なことが分かる。自車両以外のオブジェクトの画像については既に初期データとして保持しているものを用いることが多い。特に自動走行運転のシミュレーターでは、数多くの高速道路、一般道などのサンプルデータを大量にデータベース化しており、それらのデータを適宜使えばよい。

【0117】

続いて、画像認識部２０４では、画像生成部２０３によって生成されたシミュレーション用画像の中から特定の対象物をオブジェクトとして、テスト対象又は機械学習対象である認識機能モジュール２０４ａを用いて認識して抽出する（Ｓ１０６）。ここで、認識されたオブジェクトがなければ（ステップＳ１０７における「Ｎ」）、次のタイムフレームに移行して（Ｓ１０９）、タイムフレームがなくなるまで（ステップＳ１０９における「Ｎ」）、上記処理Ｓ１０１〜Ｓ１０７を繰り返す（（ステップＳ１０９における「Ｙ」））。

【0118】

他方、ステップＳ１０７において、認識されたオブジェクトが存在する場合には（ステップＳ１０７における「Ｙ」）、この画像認識部２０４による認識結果は認識結果情報Ｄ０６としてクライアント装置１側の車両位置情報計算部５１に送信される。そして、クライアント装置１側の車両位置情報計算部５１は、ＵＤＰ情報送受信部２０６を通じて、画像認識部２０４における認識結果情報Ｄ０６を取得し、取得された認識結果を用いて車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する（Ｓ１０８）。

【0119】

詳述すると、ここで生成されたＣＧ画像であるシミュレーション用画像Ｄ１３は、画像認識部２０４に入力して既に述べたようにオブジェクトの認識・検出を、例えばディープラーニング等の認識技術を用いて行う。得られた認識結果は他車両や、歩行者、標識、信号機のように画面中の領域情報（例えば抽出された矩形領域のＸＹ２次元座標）で与えられる。

【0120】

自動走行運転のためのシミュレーターを実行する場合、実際の車両走行中の画像中には、他車両、歩行者、建物、路面などの数多くのオブジェクト（対象物）が存在する。自動走行運転の実現のためには、それらのオブジェクトを車両搭載のカメラ映像やミリ波、レーダー波等、各種センサーからのリアルタイムの情報を獲得しながら、例えば自動でハンドルを切る、アクセルを踏む、ブレーキをかける等の動作を行う。

【0121】

したがって、実施形態１の近赤外線画像の場合には画面内に映っている物の中から、例えば他の車両や歩行者、標識、信号機等の自動走行に必要なオブジェクトを、実施形態３で述べたようなディープラーニング等の画像認識技術によって認識・識別を行う。

【0122】

画像認識部２０４は、例えば他車両が自車両の前面に割り込んできた場合には、画像認識技術で接近を検知し、その認識結果の認識結果情報Ｄ０６を車両位置情報計算部５１に対して出力する。車両位置情報計算部５１では、この情報を基にして例えば、ハンドルを切って回避する、ブレーキ動作で減速する等の動作を行い、自車両の位置情報を変更する。或いは、歩行者が急に自車の前に飛び出して来た場合には、ハンドルを切って回避する、急ブレーキを踏む等の動作を行い、同様にその結果として自車両の位置情報を変更する。

【0123】

なお、上記の一連の構成において、車両位置情報計算部５１からＵＤＰ同期制御部２０２，ＵＤＰ情報送受信部２０６を介してシミュレーション実行部２０５までのデータ送信は、例えばＵＤＰプロトコルに従って、２５ｍｓｅｃごとの周期で送出できるものとする（２５ｍｓｅｃは一例である）。

【0124】

ここで、本発明の特徴である「同期モデル」の必要性についてであるが、シミュレーション実行部２０５からの出力結果に基づいて、次のタイムフレームの車両位置情報を決定するため、全体が同期した制御ができないと、実車両の挙動をシミュレートできなくなるからである。また２５ｍｓｅｃごとの周期で送出するとしたが、理想的にはゼロ遅延であるが現実的には不可能であるので、ＵＤＰを用いることで送受信に伴う遅延時間を削減している。

【0125】

一般に自動走行運転のシミュレーターの場合には、非常に多くの動画フレームに対してテストを行う必要がある。本実施形態によれば実走行でカバーし切れない絶対的な量を、ほぼ実写に近いＣＧ映像で代用することを目的としている。したがって長いシーケンスの動画サンプルデータに対しての動作が保証されている必要がある。

【0126】

本実施形態では、学習部２０４ｂが、認識機能モジュール２０４ａに対して、実走行時の車載カメラ装置による撮影画像以外にも、画像生成部２０３が生成した仮想的なＣＧ画像を入力することにより、実際には撮影が困難であったり、再現が困難である画像の特徴点を抽出させて、抽出パターンの多様化を図り、学習効率を向上させる。認識機能モジュール２０４ａは、カメラ装置により撮影された画像やＣＧ画像を取得して、その取得された画像中の特徴点を階層的に複数抽出し、抽出された特徴点の階層的な組合せパターンにより、既に実施形態３で述べたディープラーニング認識技術によって認識を行う。

【0127】

［第６実施形態］
以下に添付図面を参照して、本発明に係るシステムの第６実施形態を詳細に説明する。図２０は、本実施形態に係るシステムの全体構成を示す概念図である。図２１は、本実施形態に係る装置の内部構成を示すブロック図である。上記第５実施形態では、主に自車両の台数が１台の場合に限った実施形態であったが、本実施形態では、多数の車両分の位置情報を同時並列的に処理する場合を例示している。

【0128】

図２０に示すように、本実施形態では、シミュレーターサーバー２に複数のクライアント装置１ｃ〜１ｆが接続されており、図２１に示すように、シミュレーターサーバー２において、ＵＤＰ同期制御部２０２及びＵＤＰ情報送受信部２０６を共通の構成要素とし、シミュレーション対象となる車両の台数に応じて、各クライアント装置１ｃ〜ｆには車両位置情報計算部５１ｃ〜ｆが設けられ、シミュレーターサーバー２側にはシミュレーション実行部２０５ｃ〜ｆが設けられている。

【0129】

車両位置情報計算部５１ｃ〜ｆでは、先ず自車の車両位置情報Ｄ０２ｃ〜ｆを制御信号Ｄ０３ｃ〜ｆのタイミングに従って、ＵＤＰ同期制御部２０２に対して送出する。次にＵＤＰ同期制御部２０２では、自車の車両位置情報Ｄ０２ｃ〜ｆをＵＤＰパケッタイズすることで各種データ群を含むパケット情報Ｄ０４に変換する。これによってＵＤＰプロトコルを用いた送受信が容易になる。パケット情報Ｄ０４は、ＵＤＰ情報送受信部２０６でデ・パケッタイズ処理によってパケットヘッダとデータ本体のペイロードに分割される。ここで、ＵＤＰパケットのデータのやり取りは、距離的に離れた場所間のネットワークを用いた送信でもよいし、シミュレーター等の単体装置内部の、伝送バス間の伝送でも可能である。ペイロードに相当するデータＤ０５ｃ〜ｆは、シミュレーション実行部２０５ｃ〜ｆに入力される。

【0130】

シミュレーション実行部２０５ｃ〜ｆでは、既に第１実施形態で述べたように、所定の画像生成法例えば、最新の物理レンダリング（ＰＢＲ）手法を用いたＣＧ画像生成技術によって、リアリティ豊かな画像を生成する。認識結果情報Ｄ０６ｃ〜ｆは車両位置情報計算部５１ｃ〜ｆにフィードバックされ、各車両の位置が変更される。

【0131】

なお、上記の例では合計４つの車両位置情報計算部５１ｃ〜ｆを備える場合を例示したが、この個数には特段制限はない。しかし、対応すべき車両の台数が増えれば、その結果同期制御も複雑になる上、ある車両で多くの遅延が発生した場合には、遅延時間は各々の合算であるので、トータルでの遅延時間の増大につながるという問題点にもなる。したがってシミュレーターのハードウェア規模や処理量などの条件によって、これらの構成を行えばよい。

【0132】

また、図２０では、ＰＣ端末１ｃ〜１ｆと車両同期シミュレーター・プログラム４とが通信ネットワーク３を介してリモート接続されているが、ＰＣのローカルのＨＤＤ、ＳＳＤなどの記録媒体にプログラムが実装されていて、スタンドアロンで動作させることも可能である。この場合にはさらに低遅延で検証を行うことができる利点がある上、ネットワーク帯域が混雑時に起こる輻輳等の影響も一切受けない利点もある。

【0133】

また、１ｃ〜１ｆをＰＣ端末と限定する必要なく、例えば実際の走行車両上でテストを行う場合には、テスト車両に搭載されたカーナビゲーションシステムであってもよい。この場合には、図１８の画像生成部２０３からのＣＧ画像であるシミュレーション用画像Ｄ１３を画像認識部２０４で認識するのではなく、実写の走行映像をＤ１３の代わりに入力することになるので、画像認識部２０４の性能評価として利用することができる。例えば、実写の走行映像の中の歩行者や車両などは人間が見れば瞬時に正確に認識可能であるが、上記の画像認識部２０４で認識及び抽出された結果が、それらと同じになるかの検証を行うことができるからである。

【0134】

［第７実施形態］
さらに、本発明のシステムの第７実施形態について説明する。本実施形態では、複数個のセンサーを使った別の実施例について図２２を用いて説明する。この図２２では異なるデバイスのセンサーを搭載した例を示しており、同図においてディープラーニング認識部の１つは、例えばカメラのイメージセンサーであり、もう１つは例えば近赤外線センサーであり、又はＬｉＤＡＲ（Light Detection and Ranging）と仮定する。

【0135】

図２２に示すように、１番最初のディープラーニング認識部６１は例えばイメージセンサー部を用いたものであり、３Ｄグラフィックス合成画像は２次元平面の画像である。したがってディープラーニング認識手段は、２次元画像に対する認識手法を具備していることになる。一方、次のディープラーニング認識部６２は、一方、ＬｉＤＡＲセンサーを用いて入力した３Ｄ点群データである。この３Ｄ点群データは、画像生成部２０３において３Ｄグラフィック画像化される。

【0136】

上記の３Ｄグラフィック画像化された３Ｄ点群データについては、図１０で示したように、中央の走行車両の上に設置したＬｉＤＡＲから３６０度全方位にレーザー光を放射して反射光を測定した結果得られた点群データを示している。また色の強弱は反射光の気強さを示している。したがって隙間など空間が存在しない部分は反射光がないので、黒色になっている。

【0137】

実際の点群データから相手車両や歩行者、自転車などの対象オブジェクトを、３次元座標を持ったデータとして取得できるので、これらの対象オブジェクトの３Ｄグラフィック画像を容易に生成することが可能になる。具体的には、点群データを整合させることで複数個のポリゴンデータを生成し、３Ｄグラフィックはこれらのポリゴンデータをレンダリングすることで描画される。

【0138】

上記の手段によって生成された３Ｄ点群データグラフィック画像Ｄ６１は、ディープラーニング認識部６２に入力して、同部において３Ｄ点群データ用に学習された認識手段によって認識が実行される。したがって前記のイメージセンサー用の画像で学習されたディープラーニング認識手段とは異なる手段を用いることになるが、これによる効果は大きい。なぜならば、非常に遠方にある対向車はイメージセンサー−では取得できない可能性が高いが、ＬｉＤＡＲの場合は数百メートル先の対向車の大きさや形状まで取得できるからである。逆にＬｉＤＡＲは反射光を用いているため、反射しない対象物には有効でないという欠点もあるが、イメージセンサーの場合にはこの問題はない。

【0139】

以上により、異なる性質又は異なるデバイスのセンサーを複数装備して、それらの認識結果を学習結果同期部８４で分析して、最終的な認識結果Ｄ６２を出力する。なお（なお）、この同期部は例えばクラウドなどのネットワークの外部で行ってもよい。理由としては１台当たりのセンサーの数が今後急激に増えるだけでなく、ディープラーニング認識処理の計算負荷も大きいため、外部で対応可能な部分については、大規模なコンピューティングパワーのあるクラウドで実行し、その結果をフィードバックする手段が有効だからである。

【0140】

なお（なお）、図２２の実施例は仮想的なＣＧ画像を生成するケースであったが、既に実施形態１で述べたように、実際の車両に本アプリケーションシステムが搭載されて（カーナビゲーションのように）、実写走行を行いながら異なる種類のセンサーからの情報を入力して、ディープラーニング認識を行うこともできる。図２３はそのケースの具体的なブロック図である。

【0141】

素材撮影装置は、車載カメラに備えられたイメージセンサーの他、上記の通りＬｉＤＡＲのセンサーやミリ波のセンサーを想定している。イメージセンサーの場合には実写画像を取り込んで実写画像から抽出した光情報などのパラメータを用いて、実施形態１で述べたＰＢＲの技術によって高品質なＣＧ画像を生成されて、画像生成部２０３から送出される。一方、ＬｉＤＡＲセンサーの場合には実際に車載のＬｉＤＡＲセンサーから放射されたビームのレーザー光の反射光から、３次元の点群データを作成する。そしてこの３次元点群データを３ＤＣＧ化した画像が、上記の画像生成部２０３から出力される。

【0142】

このようにして、複数種類のセンサーに応じたＣＧ画像が、画像生成部２０３から送出され、図２３の各々のディープラーニング認識部において所定の手段で認識処理が行われることになる。また上記の実施例では、ＬｉＤＡＲセンサーを例にとって説明したが、他にも第２実施形態で述べた近赤外線センサーを用いることも有効である。

【符号の説明】

【0143】

Ｄ０１…種データ群
Ｄ０２（Ｄ０２ｃ〜ｆ）…車両位置情報
Ｄ０３（Ｄ０３ｃ〜ｆ）…制御信号
Ｄ０４…パケット情報
Ｄ０５（Ｄ０５ｃ〜ｆ）…データ
Ｄ０６（Ｄ０６ｃ〜ｆ）…認識結果情報
Ｄ１００…シナリオ情報
Ｄ１０１…モデルデータ
Ｄ１０２…モデリング情報
Ｄ１０３，Ｄ１０６…シェーディング画像
Ｄ１０４…グレイスケール画像
Ｄ１０５，Ｄ１０８，Ｄ１１２…深度画像
Ｄ１０７…Ｄ形状データ
Ｄ１０９…誤差値
Ｄ１１０…計算値
Ｄ１１１…グレイスケール画像
Ｄ１１３…ＴＯＦ値
Ｄ１１４…距離画像
Ｄ１１５…比較結果
Ｄ１３…シミュレーション用画像
Ｄ６１…３Ｄ点群データグラフィック画像
Ｄ６２…認識結果
１…クライアント装置
１ａ…情報処理端末
１ｂ…車載装置
１ｃ〜１ｆ…クライアント装置
２…シミュレーターサーバー
３…通信ネットワーク
４…車両同期シミュレーター・プログラム
５…クライアントプログラム
１０…シナリオ作成部
１１４…ＬｉＤＡＲスキャン装置
１１４ａ…レーザードライバー
１１４ｂ…発光素子
１１４ｃ…照射レンズ
１１４ｄ…受光レンズ
１１４ｅ…受光素子
１１４ｆ…信号受光回路
１１４ｇ…ミラー
１１…３Ｄモデリング部
１２…３Ｄシェーディング部
１３…Ｒ画像グレイスケール化部
１４…深度画像生成部
１５…シェーディング部
１５ａ…レーザー光照射部分抽出部
１６…深度画像生成部
１６ａ…レーザー光照射部分抽出部
１７…ニューラルネットワーク計算部
１８…バックプロパゲーション部
１９…ＴＯＦ計算部
２０…距離画像生成部
２１…比較評価部
５１（５１ｃ〜ｆ）…車両位置情報計算部
６１〜６ｎ…ディープラーニング認識部
８４…学習結果同期部
１０１…ストレージ装置
１０２…ＣＰＵ
１０２ａ…クライアント側実行部
１０３…メモリ
１０４…入力インターフェース
１０５…出力インターフェース
１０６，２０１…通信インターフェース
２０２…ＵＤＰ同期制御部
２０３…画像生成部
２０４…画像認識部
２０４ａ…認識機能モジュール
２０４ｂ…学習部
２０５…シミュレーション実行部
２０５ｃ〜ｆ…シミュレーション実行部
２０６…ＵＤＰ情報送受信部
２１０…地図データベース
２１０〜２１３…種データベース
２１１…車両データベース
２１２…描画用データベース
４０２…ＣＰＵ
６１１…出力

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】