(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2021-12-28
(45)【発行日】2022-01-20
(54)【発明の名称】シミュレーション用のデータ生成装置、方法及びコンピュータプログラム
(51)【国際特許分類】
G06N 5/02 20060101AFI20220113BHJP
【FI】
G06N5/02 120
(21)【出願番号】P 2020189074
(22)【出願日】2020-11-13
【審査請求日】2020-11-13
(73)【特許権者】
【識別番号】517146655
【氏名又は名称】株式会社ネクスティエレクトロニクス
(74)【代理人】
【識別番号】100118902
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100147991
【氏名又は名称】鳥居 健一
(74)【代理人】
【識別番号】100201743
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】隈部 正剛
【審査官】川▲崎▼ 博章
(56)【参考文献】
【文献】特開2017-56935(JP,A)
【文献】特表2020-507157(JP,A)
【文献】特開2020-119544(JP,A)
【文献】特開2019-139352(JP,A)
【文献】特表2020-510570(JP,A)
【文献】特開2018-125012(JP,A)
【文献】特表2019-500256(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 5/02
(57)【特許請求の範囲】
【請求項1】
実空間における車両の状態を示すタイムスタンプ付き車両情報が格納されている車両情報格納部と、前記車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報が格納されているオブジェクト情報格納部とを参照してシミュレーション用データを生成するデータ生成装置であって、
少なくとも前記オブジェクト情報及び前記車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行う情報探索部と、
当該探し出された複数の概念要素を複数の概念クラスに分類し、前記複数の概念クラスのうちの各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成する多クラス分類部と、
前記多クラス分類部により前記複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、前記タイムスタンプをもつ構造化データセットを生成する構造化データ生成部と
を備えることを特徴とするデータ生成装置。
【請求項2】
請求項1に記載のデータ生成装置であって、前記情報探索部、前記多クラス分類部及び前記構造化データ生成部は、前記指定時刻が与えられる度に、前記探索処理、前記クラスデータの生成、及び、前記構造化データセットの生成を実行することを特徴とするデータ生成装置。
【請求項3】
請求項1または請求項2に記載のデータ生成装置であって、前記情報探索部は、前記オブジェクト情報の中から、前記指定時刻と対応する時刻のタイムスタンプをもつ概念要素を探し出し、前記車両情報の中から、前記オブジェクト情報の当該探し出された概念要素のタイムスタンプで示される時刻と同一の時刻のタイムスタンプをもつ概念要素を探し出す、ことを特徴とするデータ生成装置。
【請求項4】
請求項3に記載のデータ生成装置であって、
前記情報探索部は、前記車両情報の中から、前記オブジェクト情報の当該探し出された概念要素のタイムスタンプで示される時刻と同一の時刻のタイムスタンプをもつ概念要素を探し出すことに失敗したときに、前記車両情報の中から、当該同一の時刻とは異なる時刻のタイムスタンプをもつ単数または複数の概念要素を取得し、当該取得された単数または複数の概念要素に基づいて新たな概念要素を補間し、
前記多クラス分類部は、当該探し出された概念要素及び前記新たな概念要素を前記複数の概念クラスに分類する、
ことを特徴とするデータ生成装置。
【請求項5】
請求項3または請求項4に記載のデータ生成装置であって、前記車両情報のタイムスタンプの分解能は、前記オブジェクト情報のタイムスタンプの分解能よりも低い、ことを特徴とするデータ生成装置。
【請求項6】
請求項1から請求項5のうちのいずれか1項に記載のデータ生成装置であって、
前記構造化データセットと、当該構造化データセットよりも以前に生成された構造化データセットとを比較して前記構造化データセットを構成する概念要素の属性値と当該以前に生成された構造化データセットを構成する概念要素の属性値との間に所定の閾値以上の差があるかどうかを判定するデータ出力部をさらに備え、
前記データ出力部は、前記所定の閾値以上の差がないと判定したときにのみ前記構造化データセットを出力する、
ことを特徴とするデータ生成装置。
【請求項7】
請求項1から請求項6のうちのいずれか1項に記載のデータ生成装置であって、
前記車両の周辺領域を観測する単数または複数のアクティブセンサを用いて生成されたタイムスタンプ付きセンシングデータが格納されているセンシングデータ格納部を参照し、前記センシングデータに基づいて前記車両の周辺領域における周辺オブジェクトに関するオブジェクト情報の概念要素を推定する情報推定部をさらに備え、
前記多クラス分類部は、当該探し出された複数の概念要素及び当該推定された概念要素を前記複数の概念クラスに分類することを特徴とするデータ生成装置。
【請求項8】
請求項7に記載のデータ生成装置であって、前記単数または複数のアクティブセンサは、レーダ装置、ライダ装置及び超音波センサのうちの少なくとも1つを含むことを特徴とするデータ生成装置。
【請求項9】
請求項1から請求項8のうちのいずれか1項に記載のデータ生成装置であって、前記車両情報は、前記車両の位置状態、挙動状態及び制御状態のうちの少なくとも1つの状態を示す情報を含むことを特徴とするデータ生成装置。
【請求項10】
請求項1から請求項9のうちのいずれか1項に記載のデータ生成装置であって、前記オブジェクト情報格納部に格納されているオブジェクト情報は、画像認識センサを含む単数または複数のセンサのセンシングデータを解析することで認識された、周辺オブジェクトに関する情報であることを特徴とするデータ生成装置。
【請求項11】
実空間における車両の状態を示すタイムスタンプ付き車両情報が格納されている車両情報格納部と、前記車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報が格納されているオブジェクト情報格納部とを参照してシミュレーション用データを生成する方法であって、
少なくとも前記オブジェクト情報及び前記車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行うステップと、
当該探し出された複数の概念要素を複数の概念クラスに分類するステップと、
前記複数の概念クラスのうちの各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成するステップと、
前記複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、前記タイムスタンプをもつ構造化データセットを生成するステップと
を備えることを特徴とする方法。
【請求項12】
請求項11に記載の方法であって、前記探索処理を行う当該ステップと、前記クラスデータを生成する当該ステップと、前記構造化データセットを生成する当該ステップとは、前記指定時刻が与えられる度に実行されることを特徴とする方法。
【請求項13】
請求項11または請求項12に記載の方法であって、
前記探索処理を行う当該ステップは、
前記オブジェクト情報の中から、前記指定時刻と対応する時刻のタイムスタンプをもつ概念要素を探し出すステップと、
前記車両情報の中から、前記オブジェクト情報の当該探し出された概念要素のタイムスタンプで示される時刻と同一の時刻のタイムスタンプをもつ概念要素を探し出すステップと
を含むことを特徴とする方法。
【請求項14】
請求項13に記載の方法であって、
前記車両情報の中から、前記オブジェクト情報の当該探し出された概念要素のタイムスタンプで示される時刻と同一の時刻のタイムスタンプをもつ概念要素を探し出すことに失敗したときに、前記車両情報の中から、当該同一の時刻とは異なる時刻のタイムスタンプをもつ単数または複数の概念要素を取得するステップと、
当該取得された単数または複数の概念要素に基づいて新たな概念要素を補間するステップと、
当該探し出された概念要素及び前記新たな概念要素を前記複数の概念クラスに分類するステップと
をさらに備えることを特徴とする方法。
【請求項15】
請求項11から請求項14のうちのいずれか1項に記載の方法であって、
前記構造化データセットと、当該構造化データセットよりも以前に生成された構造化データセットとを比較して前記構造化データセットを構成する概念要素の属性値と当該以前に生成された構造化データセットを構成する概念要素の属性値との間に所定の閾値以上の差があるかどうかを判定するステップと、
前記所定の閾値以上の差がないと判定したときにのみ前記構造化データセットを出力するステップと
をさらに備えることを特徴とする方法。
【請求項16】
請求項11から請求項15のうちのいずれか1項に記載の方法であって、
前記車両の周辺領域を観測する単数または複数のアクティブセンサを用いて生成されたタイムスタンプ付きセンシングデータが格納されているセンシングデータ格納部を参照し、前記センシングデータに基づいて前記車両の周辺領域における周辺オブジェクトに関するオブジェクト情報の概念要素を推定するステップと、
当該推定された概念要素を前記複数の概念クラスに分類するステップと
をさらに備えることを特徴とする方法。
【請求項17】
不揮発性メモリから読み出されて単数または複数のプロセッサにより実行されるべきコンピュータプログラムであって、請求項11から請求項16のうちのいずれか1項に記載の方法を前記単数または複数のプロセッサに実行させるように構成されていることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動車などの車両の運転支援または自動運転のシミュレーションに使用されるデータを生成する技術に関する。
【背景技術】
【0002】
近年、自動車や鉄道車両などの車両の運転支援技術及び自動運転技術の研究開発が活発に進められている。運転支援用システムは、たとえば運転者の安全及び快適さを実現するために、ブレーキを自動的に作動させたり、ステアリングを自動的に制御したりして対象車両(運転者自らが運転する車両)の挙動を制御するシステムである。たとえば、先進運転支援システム(ADAS:Advanced Driver Assistance System)と呼ばれる運転支援用システムが知られている。
【0003】
一方、一般に自動運転用システムは、各種センサを用いた認知機能、判断機能及び操作機能により実現される。たとえば、認知機能は、対象車両に搭載された各種センサで検出された結果と、対象車両の現在位置及びその周辺領域を示す地図データとを用いて、対象車両の位置の推定、対象車両の周辺領域における他車両や歩行者などの周辺オブジェクトの検出といった認知処理を行う。判断機能は、その認知処理の結果に基づいて、対象車両の運転行動計画の生成及び対象車両の軌道候補の生成を行う。操作機能は、判断機能で生成された運転行動計画及び軌道候補に基づいて対象車両の挙動を制御することができる。近年の運転支援用及び自動運転用システムの中には、人工ニューラルネットワーク(ANN:Artificial Neural Network)などの学習モデルを採用しているものも開発されている。
【0004】
このような運転支援用または自動運転用システムの信頼性及び安全性を検証するためには、当該システムを搭載した車両を実際に走行させる実走行テストが必要である。しかしながら、実走行テストだけでは、システムの製品化までに多大な時間がかかる。そこで、現実の環境を模した仮想的なシミュレーション環境下で運転支援または自動運転を計算機を用いてシミュレーションするテストも行われている。このようなシミュレーションの技術は、たとえば、特許文献1(再表2019/021898号公報)に開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
運転支援用または自動運転用のシステムの信頼性及び安全性を計算機シミュレーションにより十分に検証するためには、多種多様なシミュレーション環境を示す大量のデータが必要となる。このようなデータは、たとえば、実際の車両に搭載されたセンサから取得された映像データを中心とするセンシングデータの解析処理(たとえば他車両などの周辺オブジェクトの検出)を行うことにより生成できる。
【0007】
しかしながら、大量のセンシングデータの解析に要する計算コストは非常に大きいことから、これがシステムの開発コストの上昇あるいは開発期間の長大化を招くという課題がある。
【0008】
上記に鑑みて本開示の目的は、運転支援または自動運転のシミュレーションに要する計算コストの低減を可能とするシミュレーション用データを生成するデータ生成装置、方法及びコンピュータプログラムを提供する点にある。
【課題を解決するための手段】
【0009】
本開示の第1の態様によるデータ生成装置は、実空間における車両の状態を示すタイムスタンプ付き車両情報が格納されている車両情報格納部と、前記車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報が格納されているオブジェクト情報格納部とを参照してシミュレーション用データを生成するデータ生成装置であって、少なくとも前記オブジェクト情報及び前記車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行う情報探索部と、当該探し出された複数の概念要素を複数の概念クラスに分類し、前記複数の概念クラスのうちの各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成する多クラス分類部と、前記多クラス分類部により前記複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、前記タイムスタンプをもつ構造化データセットを生成する構造化データ生成部とを備える。
【0010】
本開示の第2の態様による方法は、実空間における車両の状態を示すタイムスタンプ付き車両情報が格納されている車両情報格納部と、前記車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報が格納されているオブジェクト情報格納部とを参照してシミュレーション用データを生成する方法であって、少なくとも前記オブジェクト情報及び前記車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行うステップと、当該探し出された複数の概念要素を複数の概念クラスに分類するステップと、前記複数の概念クラスのうちの各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成するステップと、前記複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、前記タイムスタンプをもつ構造化データセットを生成するステップとを備える。
【0011】
本開示の第3の態様によるコンピュータプログラムは、不揮発性メモリから読み出されて単数または複数のプロセッサにより実行されるべきコンピュータプログラムであって、第2の態様による方法を前記単数または複数のプロセッサに実行させるように構成されている。
【発明の効果】
【0012】
本開示の第1~第3の態様によれば、タイムスタンプ付き車両情報とタイムスタンプ付きオブジェクト情報とに基づいて、タイムスタンプをもつ構造化データセットを生成することができる。この構造化データセットのデータ量は、センシングデータのそれと比べると非常に小さいので、データ保管コストを低くすることができる。また構造化データセットは、ほとんど前処理を必要とせずに運転支援または自動運転のシミュレーションに利用できるデータ構造を有しているので、当該シミュレーションの計算負荷を低くすることができる。したがって、構造化データセットを用いたシミュレーションを実行することにより運転支援用または自動運転用システムの開発コストの低減あるいは開発期間の短縮を容易に実現することができる。
【図面の簡単な説明】
【0013】
【
図1】本開示の一実施形態に係るデータ生成システムの概略構成を示す図である。
【
図2】一連の画像フレームからなる動画像データと、或る時刻での画像フレームの例とを表す概略図である。
【
図3】1つの概念クラスと、この概念クラスで示される概念を具現化する属性情報(概念要素)との間の関係例を示す図である。
【
図4】「車両」という概念を示す車両クラスと、車両クラスに分類された属性情報との間の関係例を示す図である。
【
図5】高速道路へのランプ上を走行する対象車両とその周辺状況とを概略的に示す図である。
【
図6】
図5に示される状況の場合に生成される構造化データセットの一例を概念的に表す図である。
【
図7】一連の時刻のタイムスタンプをそれぞれもつ構造化データセットを概念的に示す図である。
【
図8】本開示の一実施形態に係るデータ生成方法の一例を概略的に示すフローチャートである。
【
図9】構造化データセット群を用いて運転支援または自動運転のシミュレーションを実行するシミュレータの構成例を概略的に示す図である。
【
図10】シミュレータの動作手順の一例を示すフローチャートである。
【
図11】本開示の他の実施形態に係るデータ生成システムの概略構成を示すブロック図である。
【
図12】本開示の他の実施形態に係るデータ生成方法の一例を概略的に示すフローチャートである。
【
図13】データ生成システムの機能を実現するハードウェア構成例を概略的に示すブロック図である。
【発明を実施するための形態】
【0014】
次に、図面を参照しつつ、種々の実施形態及びその変形例について詳細に説明する。なお、図面全体において同一符号が付された構成要素は、同一構成及び同一機能を有するものとする。
【0015】
図1は、一実施形態に係るデータ生成システム1の概略構成を示すブロック図である。このデータ生成システム1は、運転支援または自動運転の計算機シミュレーションで使用される構造化データセットを生成するものである。
図1に示されるようにデータ生成システム1は、実空間に存在していた車両(以下「対象車両」という。)を用いて実際に収集された情報が格納されているデータ格納部10と、データ格納部10を参照して計算機シミュレーション用の構造化データセットを生成するデータ生成装置20と、構造化データセットを格納する構造化情報データベース(構造化情報DB)30とを備えている。各構造化データセットには、タイムスタンプが付加される。
【0016】
データ格納部10としては、ハードディスクドライブ(Hard Disk Drive,HDD)またはソリッドステートドライブ(Solid State Drive,SSD)などの大容量記憶媒体が使用可能である。
【0017】
データ格納部10は、対象車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報があらかじめ格納されているオブジェクト情報格納部11と、当該対象車両の位置状態,挙動状態及び制御状態を示すタイムスタンプ付き車両情報があらかじめ格納されている車両情報格納部12と、当該対象車両の周辺領域を観測する単数または複数のアクティブセンサを用いて生成されたセンシングデータが格納されているセンシングデータ格納部13とを含んで構成されている。
【0018】
オブジェクト情報格納部11に格納されているオブジェクト情報は、対象車両に搭載された外界センサのセンシングデータを解析することで認識された情報を含む。外界センサとしては、撮像センサ及び赤外線温度センサなどのパッシブセンサ、並びに、ライダ(LiDAR:Laser imaging Detection And Ranging)装置,レーダ(RADAR:RAdio Detection And Ranging)装置及び超音波センサなどのアクティブセンサが挙げられる。レーダ装置は、対象車両の周辺領域にミリ波などの電波を照射し、周辺オブジェクトで反射または散乱された電波を受信し、受信信号を処理することで周辺オブジェクトとの相対距離、周辺オブジェクトの相対速度及び周辺オブジェクトの相対方位を示すセンシングデータを生成することができる。またライダ装置は、対象車両の周辺領域をレーザ光で走査しつつ周辺オブジェクトで反射または散乱された光を受信し、受信信号を処理することで周辺オブジェクトとの相対距離、周辺オブジェクトの相対速度及び周辺オブジェクトの相対方位を示すセンシングデータを生成することができる。
【0019】
対象車両の周辺領域を観測する外界センサのセンシングデータを解析することで、たとえば、周辺オブジェクトのタイプ、サイズ及び各種状態をオブジェクト情報として認識することができる。周辺オブジェクトのタイプとしては、たとえば、対象車両の周辺領域(たとえば、前方領域、側方領域及び後方領域)に存在する周辺車両(たとえば、四輪車両,自動二輪車両及び自転車),歩行者,標識,建物,障害物(たとえば、路上の小石)及び車線領域が挙げられる。
【0020】
具体的には、対象車両には、撮像センサのセンシングデータである動画像データからオブジェクト情報を認識し得る画像認識センサを搭載することができる。画像認識センサは、動画像データを解析することにより、動画像データに現れる周辺オブジェクトを検知しそのオブジェクト情報を認識することができる。
図2は、経過時間tに沿って配列された一連の画像フレームからなる動画像データMdと、或る時刻での画像フレームFdの例とを表す概略図である。画像フレームFdにおいては、撮像センサで取得された前方画像が示されるとともに、画像認識センサによって前方画像に現れる複数台の周辺車両が検知された結果が四角い枠で示されている。
【0021】
また対象車両には、対象車両の周辺領域の高精細な3次元画像を生成し得るライダ装置などのアクティブセンサと、その3次元画像を解析することにより周辺オブジェクトを検知しそのオブジェクトを情報を認識し得る3次元画像認識センサとを搭載することもできる。3次元画像認識センサは、センシングデータを解析することで、対象車両の周辺領域における道路形状や路面状態(たとえば、路面の凹凸、路面の濡れまたは路面の凍結)といったオブジェクト情報を認識することができる。
【0022】
センシングデータ格納部13には、レーダ装置やライダ装置などのアクティブセンサのタイムスタンプ付きセンシングデータを格納することが可能である。
【0023】
車両情報格納部12には、対象車両の位置状態,挙動状態及び制御状態を示すタイムスタンプ付き車両情報が格納されている。たとえば、対象車両の位置状態は、対象車両に搭載されたGNSS(Global Navigation Satellite System)センサと高精度な地図データとを用いて検出可能である。対象車両の挙動状態は、加速度センサ、ヨーレイトセンサ(対象車両が旋回する際に発生する角速度を検出するセンサ)、操舵角センサ、シフトポジションセンサ及びブレーキセンサといった車載センサと、これら車載センサのセンシングデータを解析する電子制御ユニット(ECU:Electronic Control Unit)とを用いて検出可能である。対象車両の制御状態を示す情報としては、たとえば、CAN(Controller Area Network)などの通信プロトコルに準拠した車載通信ネットワークを伝送された車両制御情報が利用可能である。
【0024】
上記したオブジェクト情報,車両情報及びセンシングデータは、対象車両に搭載されたテレマティクス(Telematics)機能をもつ電子制御ユニットにより、移動体通信ネットワークを介して外部サーバ装置に集約され得る。データ生成システム1は、外部サーバ装置に集約されたオブジェクト情報,車両情報及びセンシングデータを利用することができる。
【0025】
次に、データ生成装置20の構成について詳細に説明する。
図1に示されるように、データ生成装置20は、情報探索部23,情報推定部26,多クラス分類部24,構造化データ生成部25及びデータ出力部27を備えて構成されている。
【0026】
情報探索部23は、オブジェクト情報格納部11及び車両情報格納部12を参照して探索処理を実行する。すなわち、情報探索部23は、オブジェクト情報及び車両情報の中から、指定時刻tと許容範囲ΔT内で同一の時刻Tのタイムスタンプをもつ概念要素と称されるデータ要素を複数探し出す。各概念要素にはタイムスタンプが付加されているので、情報探索部23は、データ格納部10を参照して同一の時刻Tのタイムスタンプをもつ複数の概念要素を探し出し、当該探し出された概念要素をデータ格納部10から取得することができる。
【0027】
ここで、本明細書では、「概念要素」とは、対象車両や周辺オブジェクトの概念を具現化するためのデータ要素(たとえば「歩行者」のサイズ及び速度)をいう。
【0028】
一方、情報推定部26は、センシングデータ格納部13を参照して、指定時刻tと同一または近傍の時刻のタイムスタンプをもつセンシングデータを探し出す。さらに情報推定部26は、当該探し出されたセンシングデータに基づいて対象車両の周辺領域における周辺オブジェクトに関するオブジェクト情報の概念要素を推定する。たとえば、対象車両に搭載された撮像センサが指定時刻tに逆光状態にあったとき、あるいは、対象車両が指定時刻tに視界不良環境下にあったときには、画像認識センサは、指定時刻tの動画像データから周辺オブジェクトを高い精度で認識することが難しい。このような場合でも、情報推定部26は、センシングデータ格納部13に格納されているセンシングデータを解析して周辺オブジェクト(たとえば「前方走行車両」)に関する概念要素(たとえば「前方走行車両」のサイズ)を推定することができる。
【0029】
また情報推定部26は、センシングデータ格納部13に格納されているセンシングデータと車両情報格納部12に格納されている車両情報とに基づいて、新たなオブジェクト情報を推定することもできる。たとえば、情報推定部26は、センシングデータから得た周辺車両(たとえば前方走行車両や後方走行車両)の相対速度と、車両情報から得た対象車両の絶対速度とに基づいて、当該周辺車両の絶対速度を推定することができる。
【0030】
多クラス分類部24及び構造化データ生成部25は、情報探索部23により探し出された概念要素と情報推定部26により推定された概念要素とに基づいて、オントロジー(Ontology)と呼ばれる階層的な概念体系を表す構造化データセット(オントロジーデータセット)を生成することができる。本明細書において、「オントロジー」とは、知識やモデルに現れる複数の概念クラスと、これら概念クラス間を関係付ける意味リンクとから構成された概念体系(conceptual system)をいう。
【0031】
具体的には、多クラス分類部24は、情報探索部23により探し出された概念要素及び情報推定部26により推定された概念要素を、あらかじめ定められた複数の概念クラスに分類し、各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成する。構造化データ生成部25は、複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、時刻Tのタイムスタンプをもつ構造化データセットを生成する。データ出力部27は、当該構造化データセットを構造化情報DB30に出力する。
【0032】
図3は、1つの概念クラスと、この概念クラスで示される概念を具現化する属性情報(概念要素)との間の関係例を示す図である。
図3に示される概念要素としての属性情報は、数値情報,状態情報,物性情報及び機能情報を含む。
図4は、「車両」という概念を示す車両クラスと、車両クラスに分類された属性情報との間の関係例を示す図である。
図4に示される属性情報は、数値情報,状態情報,物性情報及び機能情報を含む。
図4に示されるように「数値情報」は、車両速度,加速度,操舵角,方位,車両の全長及び車両の幅をそれぞれ示す属性値を含み、「状態情報」は、ACC(追従型クルーズコントロール(Adaptive Cruise Control))状態,自動運転状態及び通信中状態をそれぞれ示す属性値を含み、「物性情報」は、車体情報及び素材情報をそれぞれ示す属性値を含み、「機能情報」のうちのセンサ情報は、温度センサ,ミリ波レーダ,LiDAR及び画像認識センサをそれぞれ示す属性値を含み、「機能情報」のうちの照明情報は、室外灯及び室内灯をそれぞれ示す属性値を含む。
【0033】
図5は、或る時刻において高速道路HWへのランプHR上を走行する対象車両H1とその周辺状況とを概略的に示す図である。
図5に示されるように対象車両H1は、自動運転状態で、直線形状の高速道路HWと曲線形状のランプHRとの間の合流エリアA1に進行しようとしている。高速道路HWは、第1車線L1と第2車線L1とからなり、第1車線L1では、対象車両H1からみて後方の領域に自動二輪車両H2が手動運転状態で走行している。合流エリアA1には、速度制限情報(たとえば時速100kmの制限速度)を表示する標識Rsが設けられている。さらに合流エリアA1の路面上には小石Stが存在する。対象車両H1内の電子制御ユニットは、対象車両H1に搭載された上記センサ群及び高精度の地図データを用いて、標識Rs,合流エリアA1,小石St,自動二輪車両H2,第1車線L1及び第2車線L2を周辺オブジェクトとして検知し、これら周辺オブジェクトに関する概念要素を属性情報として生成することができる。
【0034】
図6は、
図5に示される状況の場合に生成される、或る時刻のタイムスタンプをもつ構造化データセットの一例を概念的に表す図である。
図6に示される構造化データセットは、各種の概念クラス51~53,61~63,71~72と、これら概念クラス51~53,61~63,71~72間を相互に関係付ける意味リンクC1~C8とで構成されている。具体的には、
図6に示されるように、対象車両クラス50は、「対象車両」という概念を具現化する「四輪車両」,「自動走行」及び「現在位置座標」などの属性情報ととともにクラスデータを構成し、走行車道クラス51は、「走行車道」という概念を具現化する「ランプ」及び「領域座標」などの属性情報ととともにクラスデータを構成し、高速道路クラス52は、「高速道路」という概念を具現化する「領域座標」及び「道路形状」などの属性情報とともにクラスデータを構成し、合流エリアクラス53は、「合流エリア」という概念を具現化する「領域座標」及び「相対距離」などの属性情報とともにクラスデータを構成し、周辺車両クラス61は、「周辺車両」という概念を具現化する「自動二輪車両」,「手動走行」及び「領域座標」などの属性情報とともにクラスデータを構成し、第1車線クラス62は、「第1車線」という概念を具現化する「前方領域座標」,「後方領域座標」及び「車線の形状」などの属性情報とともにクラスデータを構成し、第2車線クラス63は、「第2車線」という概念を具現化する「前方領域座標」,「後方領域座標」及び「車線の形状」などの属性情報とともにクラスデータを構成し、標識クラス71は、「標識」という概念を具現化する「速度制限情報」などの属性情報とともにクラスデータを構成し、障害物クラス72は、「障害物」という概念を具現化する「石」,「相対距離」及び「相対方位」などの属性情報とともにクラスデータを構成している。
【0035】
さらに、
図6に示されるように、意味リンクC1は、対象車両クラス50と走行車道クラス51とを相互に関係付け、意味リンクC2は、対象車両クラス50と合流エリアクラス53とを相互に関係付け、意味リンクC3は、合流エリアクラス53と標識クラス71とを相互に関係付け、意味リンクC4は、合流エリアクラス53と障害物クラス72とを相互に関係付け、意味リンクC5は、対象車両クラス50と高速道路クラス52とを相互に関係付け、意味リンクC6は、高速道路クラス52と第1車線クラス62とを相互に関係付け、意味リンクC7は、高速道路クラス52と第2車線クラス63とを相互に関係付け、意味リンクC8は、周辺車両クラス61と第1車線クラス62とを相互に関係付けている。
【0036】
情報探索部23,情報推定部26,多クラス分類部24及び構造化データ生成部25は、指定時刻が与えられる度に、探索処理,概念要素の推定,クラスデータの生成及びタイムスタンプ付き構造化データセットの生成をそれぞれ実行する。これにより、
図7に示されるように、一連の時刻T
1,T
2,T
3,…のタイムスタンプをそれぞれもつ構造化データセットX(T
1),X(T
2),X(T
3),…を時系列データとして生成することが可能となる。
【0037】
次に、
図8を参照しつつ、データ生成装置20の動作手順について説明する。
図8は、一実施形態に係るデータ生成方法の一例を概略的に示すフローチャートである。以下、車両情報のタイムスタンプの分解能(時刻精度)は、オブジェクト情報のタイムスタンプの分解能(時刻精度)よりも低いと仮定して説明を行う。
【0038】
図8を参照すると、先ず、時刻t(k)が指定される(ステップS10)。kは、指定時刻t(k)を特定する番号である。指定時刻t(k)は、データ生成装置20の外部のコントローラ(図示せず)により与えられてもよいし、データ生成装置20の内部(たとえば情報探索部23)により与えられてもよい。
【0039】
情報探索部23は、オブジェクト情報格納部11に格納されているオブジェクト情報の中から、指定時刻t(k)と対応する時刻T(k)のタイムスタンプをもつ単数または複数の概念要素を探し出すことを試みる(ステップS11)。当該概念要素を探し出すことに成功したときは(ステップS12のYES)、ステップS13に処理が移行し、当該概念要素を探し出すことに失敗したときは(ステップS12のNO)、ステップS32に処理が移行する。
【0040】
ステップS13では、情報探索部23は、車両情報格納部12に格納されている車両情報の中から、ステップS11で探し出された概念要素のタイムスタンプで示される時刻T(k)と許容範囲内で同一の時刻のタイムスタンプをもつ単数または複数の概念要素を探し出すことを試みる。当該概念要素を探し出すことに成功したときは(ステップS14のYES)、ステップS17に処理が移行し、当該概念要素を探し出すことに失敗したときは(ステップS14のNO)、ステップS15に処理が移行する。
【0041】
ステップS15では、情報探索部23は、車両情報格納部12に格納されている車両情報の中から、当該同一の時刻T(k)とは異なる時刻T(m)(m≠k)のタイムスタンプをもつ単数または複数の概念要素を取得する。続けて情報探索部23は、ステップS15で取得された単数または複数の概念要素に基づいて新たな概念要素を補間する(ステップS16)。ここで、異なる時刻T(m)は、時刻T(k)にできるだけ近い時刻であることが望ましい。たとえば、時刻T(k)よりも1単位時間だけ前後する時刻T(k-1),T(k+1)の一方または双方が時刻T(m)として選択されればよい。
【0042】
たとえば、ステップS16において、情報探索部23は、対象車両の現在位置座標(緯度、経度及び高度),速度,操舵角,加速度,ブレーキの指令値,シフトポジションの指令値,及びアクセス開度といった概念要素を補間することができる。
【0043】
ステップS17では、車両情報格納部12から、ステップS13で探し出された単数または複数の概念要素を取得する。
【0044】
次に、情報推定部26は、センシングデータ格納部13に格納されているセンシングデータが利用可能かどうかを判定する(ステップS18)。すなわち、情報推定部26は、センシングデータ格納部13を参照して、指定時刻t(k)と同一または近傍の時刻のタイムスタンプをもつセンシングデータが存在するかどうかを判定する。センシングデータが利用可能ではないとの判定がなされたときは(ステップS18のNO)、ステップS20に処理が移行する。
【0045】
センシングデータが利用可能であると判定したときは(ステップS18のYES)、情報推定部26は、センシングデータ格納部13から利用可能なセンシングデータを取得し、当該センシングデータに基づいてさらに別のオブジェクト情報の概念要素を推定することができる(ステップS19)。この場合、たとえば、情報推定部26は、利用可能なセンシングデータを解析して周辺車両に関する概念要素(たとえば「周辺車両」のサイズ及び動作状態)を新たに推定すればよい。情報推定部26は、当該推定された概念要素を情報探索部23に出力する。
【0046】
ここで、情報推定部26は、利用可能なセンシングデータと車両情報格納部12に格納されている車両情報との双方に基づいて、新たなオブジェクト情報を推定してもよい。たとえば、情報推定部26は、利用可能なセンシングデータから得た周辺車両(たとえば前方走行車両や後方走行車両)の相対速度と、車両情報から得た対象車両の絶対速度とに基づいて当該周辺車両の絶対速度を新たな概念要素として推定することができる。
【0047】
次のステップS20では、情報探索部23は、オブジェクト情報格納部11から、ステップS11で探し出された概念要素を取得する。このとき、情報探索部23は、ステップS16で補間された概念要素,ステップS17で取得された概念要素,ステップS19で推定された概念要素,及びステップS20で取得された概念要素を統合して多クラス分類部24に供給する。
【0048】
その後、多クラス分類部24は、情報探索部23から供給された概念要素を、あらかじめ定められた複数の概念クラスに分類する(ステップS21)。続けて多クラス分類部24は、各概念クラスと、当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成する(ステップS22)。
【0049】
次に、構造化データ生成部25は、複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、時刻T(k)のタイムスタンプをもつ構造化データセットを生成する(ステップS23)。データ出力部27は、ステップS23で生成された構造化データセットを構造化情報DB30に出力する。
【0050】
次に、処理を続行するかどうかの判定がなされる(ステップS32)。処理を続行するとの判定がなされたときは(ステップS32のYES)、情報探索部23は、指定時刻t(k)をインクリメントする(ステップS33)。すなわち、指定時刻t(k)を特定する番号kが1だけインクリメントされる。その後、インクリメントされた指定時刻t(k)について、ステップS11~S32が実行される。ステップS32にて処理を続行しないとの判定がなされたときは(ステップS32のNO)、処理は終了する。
【0051】
以上に説明したとおり、データ生成装置20は、指定時刻が与えられる度に、タイムスタンプ付きオブジェクト情報,タイムスタンプ付き車両情報及びタイムスタンプ付きセンシングデータに基づいて、タイムスタンプをもつ構造化データセットを生成することができる。構造化データセットのデータ量は、センシングデータのそれと比べると非常に小さいので、データ保管コストを下げることができる。また構造化データセットは、ほとんど前処理を必要とせずに運転支援または自動運転のシミュレーションに利用できるデータ構造を有しているので、当該計算機シミュレーションの計算負荷を低くすることができる。したがって、構造化データセットを用いた計算機シミュレーションを実行することにより運転支援用または自動運転用システムの開発コストの低減あるいは開発期間の短縮を容易に実現することができる。
【0052】
図9は、構造化情報DB30に格納された構造化データセット群を用いて運転支援または自動運転のシミュレーションを実行するシミュレータ40の構成例を概略的に示す図である。
図9に示されるようにシミュレータ40は、構造化情報DB30からタイムスタンプ付きの構造化データセットを取得する入力インターフェイス(入力I/F)41と、入力I/F41で取得された構造化データセットに基づく仮想的なシミュレーション環境下での運転支援用または自動運転用の判断処理を実行する判断部42と、判断処理の結果に基づいて仮想車両を操作する操作処理を実行してその結果を出力する操作部43とを備えている。操作部43の出力に基づいて運転支援用または自動運転用システムの信頼性及び安全性を検証することが可能である。
【0053】
図10は、シミュレータ40の動作手順の一例を示すフローチャートである。
図10に示されるように、時刻T(k)が指定されると(ステップS40)、入力I/F41は、指定時刻T(k)のタイムスタンプをもつ構造化データセットを構造化情報DB30から取得することを試みる(ステップS41)。当該構造化データセットの取得に成功したときは(ステップS42のYES)、判断部42は、当該構造化データセットに基づいて判断処理を実行し(ステップS43)、次いで操作部43は、判断処理の結果に基づいて操作処理を実行する(ステップS44)。その後、指定時刻T(k)がインクリメントされると(ステップS45)、ステップS41,S42が実行される。ステップS42で当該構造化データセットの取得に失敗したときは、シミュレーションは終了する。このように指定時刻T(k)ごとに構造化データセットを判断部42に供給することにより、運転支援用または自動運転用システムのロジックの確からしさを検証することが可能となる。たとえば、ヒヤリハット現象について検証することが可能である。
【0054】
次に、
図11及び
図12を参照しつつ、他の実施形態に係るデータ生成システム2について説明する。
【0055】
図11は、他の実施形態に係るデータ生成システム2の概略構成を示すブロック図である。
図11に示されるようにデータ生成システム2は、データ格納部10,データ生成装置20,データ生成装置21及び構造化情報DB30を備える。データ生成装置21は、情報探索部23,情報推定部26,多クラス分類部24,構造化データ生成部25,データ出力部28及びバッファメモリ29を含んで構成される。データ生成システム2の構成は、
図1のデータ出力部27に代えてデータ出力部28及びバッファメモリ29を有する点を除いて、
図1のデータ生成システム2の構成と同じである。
【0056】
本実施の形態のデータ生成装置21では、上記のとおり、構造化データ生成部25は、指定時刻tと対応する時刻Tのタイムスタンプをもつ構造化データセットX(T)を生成する。バッファメモリ29には、当該構造化データセットよりも以前に生成された構造化データセットX(T-α)が格納されている。データ出力部28は、構造化データ生成部25により生成された構造化データセットX(T)と、バッファメモリ29に格納されている、時刻T-αのタイムスタンプをもつ構造化データセットX(T-α)とを比較して、構造化データセットX(T)を構成する概念要素の属性値と構造化データセットX(T-α)を構成する概念要素の属性値との間に所定の閾値以上の差があるかどうかを判定する。所定の閾値以上の差がないと判定したときには、データ出力部28は、構造化データセットX(T)を構造化情報DB30に出力しない。これにより、時刻T-αと時刻Tとの間で環境変化がほとんど無いと評価できるときには、構造化データセットX(T)を構造化情報DB30に格納することを回避することができる。たとえば対象車両が静止状態にある場面について冗長なデータを構造化情報DB30に格納することを回避することができる。
【0057】
次に、
図12を参照しつつ、データ生成装置21の動作手順について説明する。
図12は、他の実施形態に係るデータ生成方法の一例を概略的に示すフローチャートである。
図12のフローチャートは、ステップS24,S25,S31を有する点を除いて、
図8のフローチャートと同じである。
【0058】
図12を参照すると、ステップS23で時刻T(k)のタイムスタンプをもつ構造化データセットが生成されると、データ出力部28は、現在生成されている構造化データセットX(T(k))と、バッファメモリ29から得た、時刻T(k-1)のタイムスタンプをもつ構造化データセットX(T(k-1))とを比較する(ステップS24)。すなわち、構造化データセットX(T(k))を構成する概念要素の属性値と、構造化データセットX(T(k-1))を構成する概念要素の属性値との間に所定の閾値以上の差がないかどうかを判定する。
【0059】
所定の閾値以上の差があるときは(ステップS25のYES)、データ出力部28は、構造化データセットX(T(k))を構造化情報DB30に出力し(ステップS30)、構造化データセットX(T(k))をバッファメモリ29に記憶させる(ステップS31)。一方、所定の閾値以上の差がないときは(ステップS25のNO)、データ出力部28は、構造化データセットX(T(k))を構造化情報DB30に出力せずに、構造化データセットX(T(k))をバッファメモリ29に記憶させる(ステップS31)。その後、ステップS32以後のステップが実行される。
【0060】
上記したデータ生成装置20,21の各々の機能の全部または一部は、不揮発性メモリから読み出されたソフトウェアまたはファームウェアのプログラムコードを実行する、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)などの演算装置を含む単数または複数のプロセッサで実現されてもよい。あるいは、データ生成装置20,21の各々の機能の全部または一部は、DSP(Digital Signal Processor),ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)などの半導体集積回路を有する単数または複数のプロセッサにより実現可能である。あるいは、DSP,ASICまたはFPGAなどの半導体集積回路と、CPUまたはGPUなどの演算装置との組み合わせを含む単数または複数のプロセッサによってデータ生成装置20,21の各々の機能の全部または一部を実現することも可能である。
【0061】
図13は、データ生成システム1,2の各々の機能を実現するハードウェア構成例である情報処理装置90の構成を概略的に示すブロック図である。情報処理装置90は、プロセッサ91,ランダムアクセスメモリ(RAM:Random Access Memory)92,不揮発性メモリ93,大容量メモリ94,入出力インターフェイス95及び信号路96を含んで構成されている。信号路96は、プロセッサ91,RAM92,不揮発性メモリ93,大容量メモリ94及び入出力インターフェイス95を相互に接続するためのバスである。RAM92は、プロセッサ91がディジタル信号処理を実行する際に使用されるデータ記憶領域である。プロセッサ91がCPUなどの演算装置を内蔵する場合には、不揮発性メモリ93は、プロセッサ91により実行されるソフトウェアまたはファームウェアのプログラムコードを記憶するデータ記憶領域を有する。大容量メモリ94には、
図1または
図11のデータ格納部10及び構造化情報DB30を設けることができる。
【0062】
以上、種々の実施形態及びその変形例について説明したが、上記の実施形態及びその変形例は例示に過ぎず、本発明の範囲を限定するものではない。たとえば、上記の対象車両は、乗用車に限定されるものではなく、上記実施の形態及びその変形例は、鉄道車両にも適用可能である。
【0063】
また、本発明の趣旨及び範囲から逸脱することなく、上記実施形態の変更、追加及び改良を適宜行うことができることが理解されるべきである。本発明の範囲は、特許請求の範囲の記載に基づいて解釈されるべきであり、さらにその均等物を含むものと理解されるべきである。
【産業上の利用可能性】
【0064】
本開示に係るシミュレーション用のデータ生成装置、方法及びコンピュータプログラムは、車両の運転支援及び自動運転のシミュレーションに適した構造化データセットの提供を可能とするので、車両の運転支援技術及び自動運転技術の研究開発に利用することができる。
【符号の説明】
【0065】
1:データ生成システム、2:データ生成システム、10:データ格納部、11:オブジェクト情報格納部、12:車両情報格納部、13:センシングデータ格納部、20,21:データ生成装置、23:情報探索部、24:多クラス分類部、25:構造化データ生成部、26:情報推定部、27,28:データ出力部、29:バッファメモリ、30:構造化情報データベース、40:シミュレータ、41:入力インターフェイス(入力I/F)、42:判断部、43:操作部、90:情報処理装置、91:プロセッサ、92:ランダムアクセスメモリ、93:不揮発性メモリ、94:大容量メモリ、95:入出力インターフェイス、96:信号路。
【要約】
【課題】運転支援または自動運転のシミュレーションに要する計算コストの低減を可能とするシミュレーション用データ生成装置を提供する。
【解決手段】データ生成装置は、少なくともオブジェクト情報及び車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行う情報探索部と、当該探し出された複数の概念要素を複数のクラスに分類し、前記複数のクラスのうちの各クラスと当該各クラスに分類された概念要素との間の関係を示すクラスデータを生成する多クラス分類部と、前記多クラス分類部により前記複数のクラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、タイムスタンプをもつ構造化データセットを生成する構造化データ生成部とを備える。
【選択図】
図1