特開 2023-155529 学習用データ生成装置、学習用データ生成方法、記録媒体、物体検出モデル及び物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023155529

(43)【公開日】2023-10-23

(54)【発明の名称】学習用データ生成装置、学習用データ生成方法、記録媒体、物体検出モデル及び物体検出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231016BHJP

   G06N 20/00 20190101ALI20231016BHJP

   G08G 1/00 20060101ALN20231016BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 650B

G06N20/00

G08G1/00 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022064883

(22)【出願日】2022-04-11

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100177839

【弁理士】

【氏名又は名称】大場 玲児

(74)【代理人】

【識別番号】100172340

【弁理士】

【氏名又は名称】高橋 始

(74)【代理人】

【識別番号】100182626

【弁理士】

【氏名又は名称】八島 剛

(72)【発明者】

【氏名】李 明宇

(72)【発明者】

【氏名】アラタス アイヂン

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC12

5H181CC14

5H181FF04

5H181FF05

5H181FF10

5L096BA04

5L096FA67

5L096FA69

5L096HA02

5L096JA03

5L096JA11

5L096KA04

(57)【要約】      （修正有）

【課題】深層学習による物体検出及びセマンティックセグメンテーションに用いる学習用データを効率よく生成可能な学習用データ生成装置を提供する。
【解決手段】学習用データ生成装置は、少なくとも二つの時刻における測定点のデータにそれぞれ含まれる測定点群に対して設定され、想定される移動物体の位置及び向きを表す移動物体領域に基づいて、所定の座標系上での移動物体領域の複数の座標軸方向のそれぞれの時間変化の近似曲線を設定し、複数の座標軸方向の時間変化の近似曲線に基づいて、少なくとも二つの時刻における移動物体領域の向きを合わせた補正近似曲線を設定し、補正近似曲線に基づいて少なくとも二つの時刻以外の時刻における所定の座標系上での位置及び移動方向の情報を含む移動物体補間領域を設定し、移動物体領域及び移動物体補間領域に対して移動物体に関連する情報をラベル付けして、移動物体を検出するための学習用データとして保存する。
【選択図】図６

【特許請求の範囲】

【請求項1】

測距センサ（１１）による測定点のデータに基づいて物体を検出するための物体検出モデルの学習に用いる学習用データを生成する学習用データ生成装置（１００）において、
測定点の時系列サンプルデータのうち、少なくとも二つの時刻における前記測定点のデータにそれぞれ含まれる測定点群に対して設定され、想定される移動物体の位置及び向きを表す移動物体領域（ＭＯ）に基づいて、所定の座標系上での前記移動物体領域（ＭＯ）の複数の座標軸方向のそれぞれの時間変化の軌跡を設定する推定軌跡算出部（１２３）と、
前記複数の座標軸方向の時間変化の軌跡に基づいて、前記少なくとも二つの時刻における前記移動物体領域（ＭＯ）の前記複数の座標軸方向のそれぞれの速度成分を算出するとともに、前記複数の座標軸方向のそれぞれの速度成分に基づいて前記移動物体領域（ＭＯ）の移動速度及び移動方向を算出する物体情報算出部（１２５）と、
前記物体情報算出部（１２５）により算出された前記移動物体領域（ＭＯ）の移動速度を保持しつつ、算出された前記移動方向を、前記時系列サンプルデータに含まれる測定点群に対して設定された前記移動物体領域（ＭＯ）の向きに置き換えたときの、前記複数の座標軸方向のそれぞれの補正速度成分を算出する補正部（１２７）と、
前記少なくとも二つの時刻の前記移動物体領域（ＭＯ）の前記所定の座標系上での位置及び前記補正速度成分に基づいて前記少なくとも二つの時刻以外の時刻における前記所定の座標系上での位置及び向きの情報を含む移動物体補間領域（ＭＯｉ）を設定し、前記移動物体領域（ＭＯ）及び前記移動物体補間領域（ＭＯｉ）に対して前記所定の座標系上での位置、移動速度及び向きに関連付けて移動物体に関連する情報をラベル付けして、前記移動物体を検出するための学習用データとして保存する学習用データ生成部（１２９）と、
を備えた、学習用データ生成装置。

【請求項2】

前記移動物体領域（ＭＯ）は、３Ｄ画面に表示された前記時系列サンプルデータに含まれる前記測定点群に位置合わせして設定されたものである、請求項１に記載の学習用データ生成装置。

【請求項3】

測距センサ（１１）による測定点のデータに基づいて物体を検出するための物体検出モデルの学習に用いる学習用データを生成する学習用データ生成方法において、
測定点の時系列サンプルデータのうち、少なくとも二つの時刻における前記測定点のデータにそれぞれ含まれる測定点群に対して設定され、想定される移動物体の位置及び向きを表す移動物体領域（ＭＯ）に基づいて、所定の座標系上での前記移動物体領域（ＭＯ）の複数の座標軸方向のそれぞれの時間変化の軌跡を設定し、
前記複数の座標軸方向の時間変化の軌跡に基づいて、前記少なくとも二つの時刻における前記移動物体領域（ＭＯ）の前記複数の座標軸方向のそれぞれの速度成分を算出するとともに、前記複数の座標軸方向のそれぞれの速度成分に基づいて前記移動物体領域（ＭＯ）の移動速度及び移動方向を算出し、
算出された前記移動物体領域（ＭＯ）の移動速度を保持しつつ、算出された前記移動方向を、前記時系列サンプルデータに含まれる測定点群に対して設定された前記移動物体領域（ＭＯ）の向きに置き換えたときの、前記複数の座標軸方向のそれぞれの補正速度成分を算出し、
前記少なくとも二つの時刻の前記移動物体領域（ＭＯ）の前記所定の座標系上での位置及び前記補正速度成分に基づいて前記少なくとも二つの時刻以外の時刻における前記所定の座標系上での位置及び向きの情報を含む移動物体補間領域（ＭＯｉ）を設定し、前記移動物体領域（ＭＯ）及び前記移動物体補間領域（ＭＯｉ）に対して前記所定の座標系上での位置、移動速度及び向きに関連付けて移動物体に関連する情報をラベル付けして、前記移動物体を検出するための学習用データとして保存する、
学習用データ生成方法。

【請求項4】

請求項３に記載の学習用データ生成方法にしたがって生成された学習用データを記録した記録媒体。

【請求項5】

請求項３に記載の学習用データ生成方法にしたがって生成された学習用データを機械学習させることにより生成された物体検出モデル。

【請求項6】

測距センサ（１１）による測定点のデータを取得する取得部（５１）と、
請求項３に記載の学習用データ生成方法にしたがって生成された学習用データを機械学習させることにより生成された物体検出モデルに対して前記測定点のデータを入力して得られる出力に基づいて物体を検出する処理を実行する処理部（５３）と、
を備える、物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、測距センサの測定点のデータに基づいて物体を検出するための学習モデルの学習に用いる学習用データを生成する学習用データ生成装置及び学習用データ生成方法並びに学習用データを記録した記録媒体、物体検出モデル及び物体検出装置に関する。

【背景技術】

【0002】

車両に代表される移動体の自動運転のための技術としては、３次元点群のデータを用いた深層学習による物体検出とセマンティックセグメンテーションが知られている。セマンティックセグメンテーションとは、画像内の各ピクセルに対してラベルやカテゴリを関連付ける処理である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－５１４８８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、深層学習による物体検出及びセマンティックセグメンテーションの精度を高めるためには、大量の学習用データが必要とされる。これらの大量の学習用データを生成するために、作業者が３次元点群のデータを準備し、すべての３次元点群のデータに対して手作業でラベルを付与する処理を行うには、多大な時間及びコストを消費することとなる。

【0005】

本発明は、深層学習による物体検出及びセマンティックセグメンテーションに用いる機械学習モデルの学習用データを効率よく生成可能な学習用データ生成装置及び学習用データ生成方法並びに学習用データを記録した記録媒体、物体検出モデル及び物体検出装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある観点によれば、測距センサによる測定点のデータに基づいて物体を検出するための物体検出モデルの学習に用いる学習用データを生成する学習用データ生成装置であって、測定点の時系列サンプルデータのうち、少なくとも二つの時刻における測定点のデータにそれぞれ含まれる測定点群に対して設定され、想定される移動物体の位置及び向きを表す移動物体領域に基づいて、所定の座標系上での移動物体領域の複数の座標軸方向のそれぞれの時間変化の軌跡を設定する推定軌跡算出部と、複数の座標軸方向の時間変化の軌跡に基づいて、少なくとも二つの時刻における移動物体領域の複数の座標軸方向のそれぞれの速度成分を算出するとともに、複数の座標軸方向のそれぞれの速度成分に基づいて移動物体領域の移動速度及び移動方向を算出する物体情報算出部と、物体情報算出部により算出された移動物体領域の移動速度を保持しつつ、算出された移動方向を、時系列サンプルデータに含まれる測定点群に対して設定された移動物体領域の向きに置き換えたときの、複数の座標軸方向のそれぞれの補正速度成分を算出する補正部と、少なくとも二つの時刻の移動物体領域の所定の座標系上での位置及び補正速度成分に基づいて少なくとも二つの時刻以外の時刻における所定の座標系上での位置及び向きの情報を含む移動物体補間領域を設定し、移動物体領域及び移動物体補間領域に対して所定の座標系上での位置、移動速度及び向きに関連付けて移動物体に関連する情報をラベル付けして、移動物体を検出するための学習用データとして保存する学習用データ生成部と、を備えた学習用データ生成装置が提供される。

【0007】

また、上記課題を解決するために、本発明の別の観点によれば、測距センサによる測定点のデータに基づいて物体を検出するための物体検出モデルの学習に用いる学習用データを生成する学習用データ生成方法であって、測定点の時系列サンプルデータのうち、少なくとも二つの時刻における測定点のデータにそれぞれ含まれる測定点群に対して設定され、想定される移動物体の位置及び向きを表す移動物体領域に基づいて、所定の座標系上での移動物体領域の複数の座標軸方向のそれぞれの時間変化の軌跡を設定し、複数の座標軸方向の時間変化の軌跡に基づいて、少なくとも二つの時刻における移動物体領域の複数の座標軸方向のそれぞれの速度成分を算出するとともに、複数の座標軸方向のそれぞれの速度成分に基づいて移動物体領域の移動速度及び移動方向を算出し、物体情報算出部により算出された移動物体領域の移動速度を保持しつつ、算出された移動方向を、時系列サンプルデータに含まれる測定点群に対して設定された移動物体領域の向きに置き換えたときの、複数の座標軸方向のそれぞれの補正速度成分を算出し、少なくとも二つの時刻の移動物体領域の所定の座標系上での位置及び補正速度成分に基づいて少なくとも二つの時刻以外の時刻における所定の座標系上での位置及び向きの情報を含む移動物体補間領域を設定し、移動物体領域及び移動物体補間領域に対して所定の座標系上での位置、移動速度及び向きに関連付けて移動物体に関連する情報をラベル付けして、移動物体を検出するための学習用データとして保存する学習用データ生成方法が提供される。

【0008】

また、上記課題を解決するために、本発明のさらに別の観点によれば、上記の学習用データ生成方法にしたがって生成された学習用データを記録した記録媒体が提供される。

【0009】

また、上記課題を解決するために、本発明のさらに別の観点によれば、上記の学習用データ生成方法にしたがって生成された学習用データを機械学習させることにより生成された物体検出モデルが提供される。

【0010】

また、上記課題を解決するために、本発明のさらに別の観点によれば、測距センサによる測定点のデータを取得する取得部と、上記の学習用データ生成方法にしたがって生成された学習用データを機械学習させることにより生成された物体検出モデルに対して測定点のデータを入力して得られる出力に基づいて物体を検出する処理を実行する処理部と、を備える物体検出装置が提供される。

【発明の効果】

【0011】

以上説明したように本発明によれば、深層学習による物体検出及びセマンティックセグメンテーションに用いる機械学習モデルの学習用データを効率よく生成することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態に係る学習用データ生成装置の構成例を示すブロック図である。

【図2】測距センサを搭載した車両の構成例を示す説明図である。

【図3】同実施形態に係る学習用データ生成装置による学習用データの生成処理動作を示すフローチャートである。

【図4】測定点の時系列データを合成した合成データを示す説明図である。

【図5】合成データ上に移動物体領域を設定した例を示す説明図である。

【図6】ｘ座標及びｙ座標の三次エルミートスプライン曲線の例を示す説明図である。

【図7】移動物体領域のｘ軸方向及びｙ軸方向それぞれの速度成分について説明するための図である。

【図8】移動物体領域の移動速度について説明するための図である。

【図9】計算により求められる移動物体領域の移動方向と移動物体領域の向きとを示す説明図である。

【図10】移動物体領域の移動方向の補正方法を示す説明図である。

【図11】補正後の移動物体領域の移動方向と移動物体領域の向きとを示す説明図である。

【図12】同実施形態に係る物体検出装置の構成例を示す説明図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については同一の符号を付することにより重複説明を省略する。

【0014】

＜１．学習用データ生成装置＞
まず、本実施形態に係る学習用データ生成装置の構成例を説明する。
図１は、学習用データ生成装置１００の構成例を示す説明図である。学習用データ生成装置１００は、測距センサによる物体検出処理のための物体検出モデルの学習に用いる学習用データを生成する装置として構成される。学習用データ生成装置１００は、データ入力部１１０、データ処理部１２０、記憶部１３０及びデータ記録装置１４０を備えている。また、学習用データ生成装置１００には、作業者の操作入力を受け付ける操作入力部１５０及び画像表示部１６０が通信可能に接続されている。

【0015】

データ入力部１１０は、学習用データの生成に用いる測定点の時系列データの入力を受け付けるためのインタフェースである。データ入力部１１０は、例えば測定点の時系列データが記録されたＵＳＢメモリが接続されるＵＳＢコネクタであってもよく、測定点の時系列データが記録された記録媒体を再生する再生装置が接続される任意の通信インタフェースであってもよいが、インタフェースの種類は特に限定されるものではない。また、学習用データ生成装置１００が、車両等の移動体に設けられたＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）等の測距センサの出力を時系列に受信する場合、センサ信号の入力を受け付けるインタフェースがデータ入力部１１０として機能する。

【0016】

また、学習用データ生成装置１００が、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の再生装置を備え、ＣＤ－ＲＯＭやＤＶＤ等の記録媒体に記録された測定点の時系列データを読み込む場合等、当該再生装置がデータ入力部１１０としての機能を有する。

【0017】

学習用データの生成に用いる測定点の時系列のデータは、例えば移動体の走行中に取得された測定点のデータであってもよい。この場合、測定点のデータは、所定の三次元座標系上での測定点の座標位置の情報と、所定の基準位置に対する移動体の相対位置及び移動体の向きを示すオドメトリ情報（自己位置推定情報）とを含む。移動体の向きと測距センサの向き、あるいは移動体の姿勢（前後方向、横方向及び高さ方向）に対する測距センサの姿勢が異なる場合、測定点の時系列データとともに、移動体の向きを測距センサの向きに変換するための情報が入力される。したがって、移動体のオドメトリ情報は、測距センサのオドメトリ情報として用いられる。

【0018】

この他、学習用データの生成に用いる測定点の時系列のデータは、路上や施設等に設置された測距センサにより検出された測定点のデータであってもよい。測定点の時系列データについては、後で詳しく説明する。

【0019】

データ処理部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサにより構成され、コンピュータプログラムの実行により、入力された測定点の時系列データに基づいて学習用データを生成する処理を実行する。本実施形態に係る学習用データ生成装置１００は、少なくとも移動物体を検出するための学習用データをそれぞれ生成可能に構成されている。

【0020】

記憶部１３０は、プロセッサにより実行されるコンピュータプログラムや演算処理に用いられる種々のパラメータ、演算結果のデータ等を記憶する。記憶部１３０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶素子や、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ装置により構成される。記憶部１３０は、学習用データ生成装置１００に内蔵された機器であってもよく、学習用データ生成装置１００に対して外付けされた機器であってもよい。

【0021】

データ記録装置１４０は、データ処理部１２０により生成された学習用データを記録する。データ記録装置１４０には、静止物体及び移動物体それぞれの大量の学習用データが記録される。データ記録装置１４０は、学習用データを記録した記録媒体であり、ＲＡＭ等の記憶素子や、ＨＤＤやＳＳＤ等のストレージ装置により構成される。データ記録装置１４０は、学習用データ生成装置１００に内蔵された機器であってもよく、学習用データ生成装置１００に対して外付けされた機器であってもよい。

【0022】

操作入力部１５０は、キーボードやマウス、タッチパネル等のいずれか一つ又は複数により構成され、作業者による操作入力を受けて、対応する信号をデータ処理部１２０へ送信する。

【0023】

画像表示部１６０は、液晶パネルに代表される光学表示パネルにより構成され、データ処理部１２０から送信される指令信号に基づいて画像表示を行う。作業者は、画像表示部１６０に表示される画像を見ながら、学習用データを生成する作業を実施することができる。

【0024】

図１に示したように、データ処理部１２０は、合成データ生成部１２１、推定軌跡算出部１２３、物体情報算出部１２５、補正部１２７及び学習用データ生成部１２９を備えている。合成データ生成部１２１、推定軌跡算出部１２３、物体情報算出部１２５、補正部１２７及び学習用データ生成部１２９は、一つ又は複数のプロセッサによるコンピュータプログラムの実行により実現される機能である。ただし、合成データ生成部１２１、推定軌跡算出部１２３、物体情報算出部１２５、補正部１２７及び学習用データ生成部１２９の一部が、アナログ回路等のハードウェアにより構成されていてもよい。

【0025】

合成データ生成部１２１は、データ入力部１１０を介して取得された測定点の時系列データを合成し、一つ又は複数の合成データを生成する。具体的に、合成データ生成部１２１は、データ入力部１１０を介して取得される測定点の時系列データをオドメトリ情報に基づいて合成し、共通の三次元座標系上の点群データを生成する。

【0026】

推定軌跡算出部１２３は、測定点の時系列サンプルデータのうち、少なくとも二つの時刻における測定点のデータにそれぞれ含まれる測定点群に対して設定される移動物体領域に基づいて、所定の座標系上での移動物体領域の複数の座標軸方向のそれぞれの時間変化の軌跡を設定する。

【0027】

具体的に、推定軌跡算出部１２３は、合成データ生成部１２１により生成された合成データに基づいて、隣り合う測定点との間の距離が所定の閾値以下となっている測定点の群を特定する。また、推定軌跡算出部１２３は、特定した測定点の群を、静止物体により反射された測定点の群と、移動物体により反射された測定点の群とに判別する。例えば推定軌跡算出部１２３は、合成データにおいて、移動速度がゼロである測定点の群を静止物体により反射された測定点の群として特定し、移動速度がゼロを超える測定点の群を移動物体により反射された測定点の群として特定する。そして、推定軌跡算出部１２３は、移動物体により反射された測定点の群として特定された測定点群について移動物体領域を設定し、三次元座標系上でのｘ軸及びｙ軸それぞれの方向の移動物体領域の時間変化の軌跡（近似曲線）を設定する。

【0028】

ここで、移動物体領域とは、隣接する測定点との距離が所定距離内にある測定点の群を囲むように設定され、想定される移動物体の位置及び向きを表す領域であり、ユーザの操作にしたがって設定される。例えば自転車、自動二輪車、乗用車、小型商用車、大型商用車等に対応する大きさにあらかじめ設定された複数の移動物体領域の中から、測定点の群の大きさ（外角の大きさ）に応じて選択され、一部又は全部の外郭線を測定点群に合わせて設定される。

【0029】

物体情報算出部１２５は、複数の座標軸方向の時間変化の軌跡に基づいて、少なくとも二つの時刻における移動物体領域のｘ軸及びｙ軸それぞれの方向の速度成分を算出するとともに、それぞれの方向の速度成分に基づいて移動物体領域の移動速度及び移動方向を算出する。具体的に、物体情報算出部１２５は、それぞれの時刻における移動物体領域のｘ軸方向の速度成分とｙ軸方向の速度成分とを合成して、それぞれの時刻における移動物体領域の移動速度及び移動方向を算出する。

【0030】

補正部１２７は、物体情報算出部１２５により算出された移動物体領域の移動速度を保持しつつ、算出された移動方向を、設定された移動物体領域の向きに置き換えたときの、ｘ軸方向及びｙ軸方向それぞれの補正速度成分を算出する。

【0031】

学習用データ生成部１２９は、少なくとも二つの時刻の移動物体領域の位置及び補正速度成分に基づいて、ｘ座標及びｙ座標それぞれの時間変化の軌跡（補正後近似曲線）を算出する。また、学習用データ生成部１２９は、近似曲線の算出に用いた少なくとも二つの時刻以外の時刻における所定の座標系上での位置及び向きの情報を含む移動物体補間領域を設定する。そして、学習用データ生成部１２９は、移動物体領域及び移動物体補間領域に対して位置、移動速度及び向きに関連付けて移動物体に関連する情報をラベル付けして、移動物体を検出するための学習用データとして保存する。

【0032】

＜２．測定点の時系列データ＞
続いて、本実施形態に係る学習用データ生成装置による処理動作を説明する前に、学習用データの生成に用いる測定点の時系列データについて説明する。

【0033】

測定点の時系列データは、例えば移動体に搭載された測距センサを用いて収集される。測距センサが搭載される移動体は、四輪自動車や二輪自動車等の車両、船舶、航空機、ロボット等の種々の移動体であってよいが、以下、移動体が四輪自動車である例を説明する。ただし、学習用データの生成に用いる測定点の時系列のデータは、路上や施設等に設置された測距センサにより検出された測定点のデータであってもよい。

【0034】

図２は、測距センサ１１を搭載した車両（四輪自動車）１の構成例を示す模式図である。図２に示した車両１は、車両制御装置４０及び物体検出装置５０を備えている。車両制御装置４０は、車両１の走行を制御する一つ又は複数の電子制御装置により構成される。車両制御装置４０は、物体検出装置５０から送信される信号を取得可能に構成され、駆動力源２０、電動ステアリング装置２５及びブレーキ液圧制御ユニット３０の駆動を制御することにより、車両１の自動運転制御を実行可能に構成されている。なお、自動運転制御には、緊急ブレーキ制御やＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）が含まれる。また、車両制御装置４０は、車両１の手動運転時においては、ドライバの運転操作量の情報を取得し、駆動力源２０、電動ステアリング装置２５及びブレーキ液圧制御ユニット３０の駆動を制御する。

【0035】

車両１は、測距センサ１１、オドメトリセンサ１３及びＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）センサ１５を備えている。図２に示した車両１では、測距センサ１１は車両１のフロント部分の中央に設置され、光学波又は電磁波の照射方向を車両前方に向けて設置されている。測距センサ１１は、例えばレーザ光を照射するＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）であってよいが、このほかにマイクロ波やミリ波、サブミリ波を放射するものであってもよい。測距センサ１１は、三次元の測定点のデータを取得可能に構成される。測距センサ１１は、例えばセンサの上下方向及び左右方向が、それぞれ車高方向及び車幅方向に一致するようにアライメントされた状態で設置される。ただし、測距センサ１１の設置位置及び姿勢はこの例に限定されるものではなく、任意の位置に任意の方向へ向けて設置されてよい。また、車両１に搭載される測距センサ１１の数は一つに限られない。

【0036】

例えば測距センサ（ＬｉＤＡＲ）１１は、照射するレーザ光を所定範囲に対して走査するとともに当該レーザ光の反射波を受信し、照射波及び反射波の情報に基づいて反射点（以下「測定点」という）の位置を算出する。具体的に、測距センサ１１は、所定のフレームレート（ｆｐｓ：ｆｌａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で所定範囲に対してレーザ光を照射するとともに反射波を受信する。測距センサ１１が受信する反射波は、複数の反射波を含み得る。測距センサ１１は、受信したすべての反射波について、反射波を受信した方向、レーザ光を照射してから反射波を受信するまでの時間及び反射波の強度の情報を取得し、従来公知の処理を実行して所定の座標系上での各測定点の位置を算出する。測定点の位置は、例えば測距センサ１１の位置を原点とし、車長方向、車幅方向及び車高方向により定義される直交三軸方向の三次元座標系（以下「センサ座標系」ともいう）上での測定点の座標位置として算出される。測距センサ１１は、所定のフレームレートで取得した測定点のデータを物体検出装置５０へ送信する。

【0037】

オドメトリセンサ１３は、車両１の移動量及び移動方向を計算し車両１の位置を推定するために用いられる一つ又は複数のセンサである。オドメトリセンサ１３は、例えば車長方向、車幅方向及び車高方向の直交三軸方向の並進運動及び回転運動を検出可能な加速度センサ及び角速度センサを含む。また、オドメトリセンサ１３は、車輪の回転数を検出する車輪速センサを含んでいてもよい。オドメトリセンサ１３は、検出した加速度、角速度あるいは車輪の回転数のデータを物体検出装置５０へ送信する。

【0038】

ＧＮＳＳセンサ１５は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の衛星システムから衛星信号を受信し、車両１の存在位置の経度及び緯度の情報を取得する。ＧＮＳＳセンサ１５により取得される車両１の位置情報は、車両１の位置にかかわらず原点及び直交二軸の方向が固定された世界座標系上での車両１の座標位置を示す。ＧＮＳＳセンサ１５は、取得した位置情報を物体検出装置５０へ送信する。

【0039】

物体検出装置５０は、ＣＰＵ等の演算処理装置を含むマイクロコンピュータを備えて構成され、マイクロコンピュータによるコンピュータプログラムの実行により、測距センサ１１から送信される測定点のデータに基づいて物体を検出する処理を実行する。物体検出装置５０は、検出した物体の情報を車両制御装置４０へ送信する。車両制御装置４０は、受信した物体の情報に基づいて車両１の自動運転制御を実行する。

【0040】

また、物体検出装置５０は、測定点の時系列データを収集する装置として機能し、測距センサ１１、オドメトリセンサ１３及びＧＮＳＳセンサ１５から取得したデータを、時刻情報とともに時系列データとして蓄積する。つまり、物体検出装置５０により蓄積される測定点の時系列データは、それぞれの時刻で測距センサ１１により測定点が検出されたときの車両１の位置及び向きのデータとともに蓄積される。

【0041】

なお、本実施形態に係る学習用データ生成装置は、例えば物体検出装置５０による測定点のデータに基づくマッチング処理により移動物体を特定するための物体検出モデルの学習に用いる学習用データを生成する装置として構成される。

【0042】

＜３．学習用データ生成処理＞
続いて、本実施形態に係る学習用データ生成装置による学習用データ生成処理を具体的に説明する。

【0043】

以下の説明においては、ＬｉＤＡＲ１１により検出された三次元の測定点の時系列データを高さ方向から見たｘ－ｙ平面上に投影された測定点群を示しながら説明する。なお、学習用データ生成処理において、各時刻の測定点のデータを合成して合成データを生成する場合、ｘ－ｙ平面上に投影された測定点群のｘ座標及びｙ座標がそれぞれセンサ座標系から世界座標系に変換される一方、ｚ座標については変化しないようになっている。

【0044】

本実施形態に係る学習用データ生成処理では、合成データ生成部１２１により生成された合成データに含まれる測定点のうち、少なくとも二つの時刻に検出された、移動速度がゼロを超え、かつ、隣接する測定点との距離が所定距離内にある特定の測定点の群に対して所定の座標系上での位置及び向きの情報を含む移動物体領域が設定される。また、二つの時刻の移動物体領域に基づいて、二つの時刻の間の時刻における所定の座標系上での位置及び向きの情報を含む移動物体補間領域が設定され、移動物体領域及び移動物体補間領域に対して移動物体をラベル付けされ、移動物体を検出するための学習用データとして保存される。

【0045】

図３は、移動物体判定用学習用データ生成処理のフローチャートを示す。
まず、合成データ生成部１２１は、入力された測定点の時系列データを読み込み、各時刻の測定点のデータを合成した合成データを生成する（ステップＳ１１）。例えば図４に示すように、合成データ生成部１２１は、各時刻ｔ１１から時刻ｔ１４において検出された測定点のデータＣ１１～Ｃ１４を、オドメトリ情報に基づいて合成し、合成データＭを生成する。

【0046】

具体的に、合成データ生成部１２１は、各時刻ｔ１１～ｔ１４の測定点のデータＣ１１～Ｃ１４に対応するオドメトリ情報を特定する。オドメトリ情報に基づいて、各時刻ｔ１１～ｔ１４における車両１の進行方向及び姿勢を求めることができるため、各測定点のデータＣ１１～Ｃ１４のセンサ座標系を世界座標系に変換する座標変換マトリクスを得ることができる。このため、合成データ生成部１２１は、各時刻ｔ１１～ｔ１４の測定点のデータＣ１１～Ｃ１４を世界座標系の測定点のデータに変換して合成することにより、測定点のデータＣ１１～Ｃ１４を一つの地図上に示した合成データＭを生成することができる。

【0047】

次いで、推定軌跡算出部１２３は、合成データに含まれる測定点のうち、少なくとも二つの時刻における測定点群であって、移動速度がゼロを超え、かつ、隣接する測定点との距離が所定距離以内にある測定点の群を囲むように移動物体領域を設定する（ステップＳ１３）。移動物体領域の設定は、作業者の操作入力にしたがって行われる。具体的に、推定軌跡算出部１２３は、合成データＭの画像データを画像表示部１６０に表示させる。作業者は、画像表示部１６０に表示された合成データＭを確認しながら、時間の経過に伴って位置が変化する測定点の群を移動速度がゼロを超える測定点の群として選択する。そして、作業者は、特定した測定点の群のうちの少なくとも二つに対して、移動物体領域ＭＯを設定する。

【0048】

図５に示すように、作業者は、測定点の群の輪郭の一部と移動物体領域ＭＯの外郭線の一部とを一致させるようにして、同じ大きさ及び同じ立体形状の移動物体領域ＭＯを設定する。設定された移動物体領域ＭＯの位置（例えば重心位置）は、世界座標系上の移動物体の位置を示し、移動物体領域ＭＯの向きは、移動物体の向きを示す。移動物体領域ＭＯが設定される少なくとも二つの時刻における測定点の群は、合成データＭ中の最前の時刻ｔ１１の測定点の群及び最後の時刻ｔ１４の測定点の群を含む。その他、途中の任意の時刻の測定点の群に対して移動物体領域ＭＯが設定されてもよい。図５に示した例では、時刻ｔ１１～ｔ１４において計測された測定点の群に対して移動物体領域ＭＯが設定されている。

【0049】

この場合、想定される移動物体が旋回する区間の途中の時刻で検出された測定点の群が選択され、移動物体領域ＭＯが設定されるとよい。つまり、想定される移動物体の向きが変化する度合いが大きい時刻の測定点の群を選択して移動物体領域ＭＯを設定することが望ましい。これにより、次のステップＳ１５で算出される移動物体領域ＭＯを結ぶ近似曲線が、想定される移動物体の軌跡から大きく外れることを防ぐことができる。設定された移動物体領域ＭＯは、世界座標系上での移動物体領域ＭＯの重心の位置（ｘ，ｙ）と、移動物体領域ＭＯの向きαと、移動物体領域ＭＯの移動方向の長さｌと、移動物体領域ＭＯの幅（移動方向に直交する方向の長さ）ｗの情報を含む。

【0050】

次いで、推定軌跡算出部１２３は、設定された複数の移動物体領域ＭＯに基づいて、ｘ軸方向及びｙ軸方向それぞれの移動物体領域ＭＯの時間変化の軌跡を設定する（ステップＳ１５）。例えば推定軌跡算出部１２３は、三次スプライン補間（Ｃｕｂｉｃ Ｓｐｌｉｎｅ）処理を行い、ｘ軸方向及びｙ軸方向それぞれの移動物体領域ＭＯの時間変化の軌跡を示すスプライン曲線（近似曲線）を算出する。ただし、スプライン曲線の算出方法は三次スプライン補間処理を用いる方法に限定されない。

【0051】

三次スプライン補間処理によりスプライン曲線を算出する例を説明する。ステップＳ１３で設定された少なくとも二つの時刻ｔ_ｉ，ｔ_ｉ＋１，…，ｔ_ｉ＋ｎでの移動物体領域ＭＯそれぞれの重心の位置（ｘ，ｙ）をそれぞれ（ｘ_ｉ，ｙ_ｉ），（ｘ_ｉ＋１，ｙ_ｉ＋１），…，（ｘ_ｉ＋ｎ，ｙ_ｉ＋ｎ）とすると、時刻と移動物体領域ＭＯの重心のｘ座標の位置ｘ_ｉとの関係を表すスプライン（区分的多項式）は、下記式（１）で示される。
Ｘ_ｉ（ｘ）＝Ａ_ｉ＋Ｂ_ｉ（ｘ－ｘ_ｉ）＋Ｃ_ｉ（ｘ－ｘ_ｉ）^２＋Ｄ_ｉ（ｘ－ｘ_ｉ）^３，（１≦ｉ≦ｍ） …（１）

【0052】

同様に、時刻と移動物体領域ＭＯの重心のｙ座標の位置ｙ_ｉとの関係を表すスプライン（区分的多項式）は、下記式（２）で示される。
Ｙ_ｉ（ｙ）＝Ｅ_ｉ＋Ｆ_ｉ（ｙ－ｙ_ｉ）＋Ｇ_ｉ（ｙ－ｙ_ｉ）^２＋Ｈ_ｉ（ｙ－ｙ_ｉ）^３，（１≦ｉ≦ｍ） …（２）

【0053】

図６は、図５に示した時刻ｔ_ｉ，ｔ_ｉ＋１，ｔ_ｉ＋２，ｔ_ｉ＋３での移動物体領域ＭＯの重心の位置座標を（ｘ_ｉ，ｙ_ｉ），（ｘ_ｉ＋１，ｙ_ｉ＋１），（ｘ_ｉ＋２，ｙ_ｉ＋２），（ｘ_ｉ＋３，ｙ_ｉ＋３）としたときに、上記式（１）及び（２）により求められるｘ座標及びｙ座標のスプライン曲線の例を示している。

【0054】

次いで、物体情報算出部１２５は、ステップＳ１５で算出したｘ軸方向及びｙ軸方向の時間変化の軌跡を示すスプライン曲線に基づいて、それぞれの時刻の移動物体領域ＭＯのｘ軸方向及びｙ軸方向それぞれの速度成分を算出するとともに、ｘ軸方向及びｙ軸方向それぞれの速度成分に基づいて移動物体領域ＭＯの移動速度及び速度ベクトルを算出する（ステップＳ１７）。

【0055】

図７に示すように、各時刻ｔ_ｉ，ｔ_ｉ＋１，ｔ_ｉ＋２，ｔ_ｉ＋３での移動物体領域ＭＯのｘ軸方向及びｙ軸方向それぞれの速度成分は、ステップＳ１５で算出したｘ座標及びｙ座標のスプライン曲線における、各時刻ｔ_ｉ，ｔ_ｉ＋１，ｔ_ｉ＋２，ｔ_ｉ＋３での接線の傾きとして算出することができる。物体情報算出部１２５は、算出した各時刻ｔ_ｉ，ｔ_ｉ＋１，ｔ_ｉ＋２，ｔ_ｉ＋３での移動物体領域ＭＯのｘ軸方向及びｙ軸方向それぞれの速度成分に基づいて、各時刻ｔ_ｉ，ｔ_ｉ＋１，ｔ_ｉ＋２，ｔ_ｉ＋３での移動物体領域ＭＯの移動速度Ｖ_ｉを算出する。図８に示すように、移動速度Ｖ_ｉは、ｘ軸方向及びｙ軸方向それぞれの速度成分ｘ_ｉ’，ｙ_ｉ’の大きさを二辺とする長方形の対角線の大きさとして算出することができる。
Ｖ_ｉ＝√（ｘ_ｉ’^２＋ｙ_ｉ’^２） …（３）

【0056】

このとき、ｘｙ座標の原点からの対角線のベクトルが、各時刻ｔ_ｉ，ｔ_ｉ＋１，ｔ_ｉ＋２，ｔ_ｉ＋３での移動物体領域ＭＯの速度ベクトルｒ_ｉを表す。速度ベクトルｒｉは、移動物体領域ＭＯの移動方向に相当する。ここでは、ｘ軸に対する、移動物体領域ＭＯの移動速度Ｖｉの傾きを速度ベクトルｒ_ｉとしている。ｘ軸方向及びｙ軸方向それぞれの速度成分ｘ_ｉ’，ｙ_ｉ’は、移動物体領域ＭＯの移動速度Ｖｉ及び速度ベクトルｒ_ｉを用いてそれぞれ下記式（４）及び（５）により表すことができる。
ｘ_ｉ’＝Ｖｉ＊ｃｏｓ（ｒ_ｉ） …（４）
ｙ_ｉ’＝Ｖｉ＊ｓｉｎ（ｒ_ｉ） …（５）

【0057】

移動物体として車両を想定した場合、ステップＳ１７において求められる移動物体領域ＭＯの速度ベクトルｒ_ｉ（移動方向）は、必ずしも移動物体の向きα（車体前後方向の向き）を表すことにはならない。つまり、図９に示すように、移動物体領域ＭＯの速度ベクトルｒｉ（図９中に実線で示した領域の向き）と、ステップＳ１３で設定された移動物体領域ＭＯの向きα（図９中に破線で示した領域の向き）とが一致しない場合がある。

【0058】

そこで、補正部１２７は、ステップＳ１３において設定された移動物体領域ＭＯの向きα（ｘ軸に対する傾き）の情報を用いて、各時刻ｔ_ｉ，ｔ_ｉ＋１，ｔ_ｉ＋２，ｔ_ｉ＋３での移動物体領域ＭＯのｘ軸方向及びｙ軸方向それぞれの補正速度成分を算出する（ステップＳ１９）。具体的に、補正部１２７は、ステップＳ１３で設定された各時刻ｔ_ｉ，ｔ_ｉ＋１，ｔ_ｉ＋２，ｔ_ｉ＋３での移動物体領域ＭＯの向きα_ｉ，α_ｉ＋１，α_ｉ＋２，α_ｉ＋３を上記式（４）及び（５）の速度ベクトルｒｉに代入し、移動物体領域ＭＯのｘ軸方向及びｙ軸方向それぞれの補正速度成分ｘ_ａｉ’，ｙ_ａｉ’を算出する。図１０に示すように、ｘｙ座標の原点からの対角線の大きさ（上記式（３）で示される移動速度Ｖ_ｉ）を維持したまま、ｘｙ座標の原点からの対角線のベクトルがステップＳ１３で設定した移動物体領域ＭＯの向きα_ｉと一致するように、補正速度成分ｘ_ａｉ’，ｙ_ａｉ’がそれぞれ算出される。

【0059】

次いで、学習用データ生成部１２９は、それぞれの時刻ｔ_ｉでの移動物体領域ＭＯそれぞれの重心の位置（ｘ_ｉ，ｙ_ｉ）と、ｘ軸方向及びｙ軸方向それぞれの補正速度成分ｘ_ａｉ’，ｙ_ａｉ’とに基づいて、移動物体領域ＭＯのｘ座標及びｙ座標それぞれの時間変化の軌跡（補正後近似曲線）を算出する（ステップＳ２１）。例えば学習用データ生成部１２９は、三次エルミート補間近似（Ｈｅｒｍｉｔｅ Ｃｕｂｉｃ Ｓｐｌｉｎｅ）処理を行い、ｘ座標及びｙ座標それぞれについての三次エルミートスプライン曲線を算出する。これにより、各時刻ｔ_ｉでの移動物体領域ＭＯの向きｒ_ｉがステップＳ１３の入力データと一致する情報に基づくスプラインを得ることができる。図１１は、ｘ軸方向及びｙ軸方向それぞれの補正速度成分ｘ_ａｉ’，ｙ_ａｉ’を用いた場合の移動物体の軌跡（実線：補正後近似曲線）を、補正前の速度成分ｘ_ｉ’，ｙ_ｉ’を用いた場合の移動物体の軌跡（破線：近似曲線）と比較して示す。したがって、任意の時刻ｔ（ｔ_１≦ｔ≦ｔ_ｉ＋ｎ）における、移動物体領域ＭＯの重心の座標位置（ｘ，ｙ）は、補正後近似曲線を用いて推定することができる。なお、補正後近似曲線の算出方法は三次エルミート補間近似処理を用いる方法に限定されない。

【0060】

次いで、学習用データ生成部１２９は、移動物体領域ＭＯを設定した時刻以外の時刻における移動物体補間領域ＭＯｉを合成データ上に設定する（ステップＳ２３）。上記の例では、学習用データ生成部１２９は、ステップＳ２１で求められたｘ座標及びｙ座標それぞれの時間変化の軌跡を表す三次エルミートスプライン曲線を用いて、取得した測定点の時系列データの各時刻ｔ１１～ｔ１４のうち移動物体領域ＭＯを設定した時刻以外の時刻における移動物体補間領域ＭＯｉの座標位置（ｘ，ｙ）及び向きαを求める。そして、学習用データ生成部１２９は、重心の位置（ｘ，ｙ）及び向きαを合わせて、移動物体領域ＭＯと同じ長さｌ及び幅ｗの移動物体補間領域ＭＯｉを合成データＭ上に設定する。

【0061】

次いで、学習用データ生成部１２９は、それぞれの移動物体領域ＭＯ及び移動物体補間領域ＭＯｉに含まれる測定点に対して、それぞれ共通の対象物を示すものとして移動物体に関する情報をラベル付けする（ステップＳ２５）。ラベルの付与は、演算処理装置により自動的に付与されてもよく、作業者により指定されたラベルの情報にしたがって演算処理装置により行われてもよい。例えば学習用データ生成部１２９は、合成データＭ上に移動物体領域ＭＯ及び移動物体補間領域ＭＯｉを重ね合わせた画像データを画像表示部１６０に表示させる。作業者は、画像表示部１６０に表示された合成データＭを確認しながら、それぞれの移動物体領域ＭＯ及び移動物体補間領域ＭＯｉに付与されるラベル情報を設定する。学習用データ生成部１２９は、それぞれの移動物体領域ＭＯ及び移動物体補間領域ＭＯｉ内の測定点に対して設定されたラベル情報を付与する。ラベル情報は、例えば対象物を区別するための識別番号の情報であってもよく、識別番号と併せて対象物の種類を示す情報及び移動速度の情報が含まれていてもよい。

【0062】

次いで、学習用データ生成部１２９は、合成前の各時刻の測定点のデータ中、合成データにおいてラベル付けされたそれぞれの測定点の群に対して移動物体に関連する情報をラベル付けし、データ記録装置１４０に保存する（ステップＳ２７）。具体的に、各時刻ｔ１１～ｔ１４の測定点のデータＣ１１～Ｃ１４に含まれる測定点のうち、ステップＳ２７においてラベルが付与されたそれぞれの測定点に対して対象物Ｏｂｊ１１～Ｏｂｊ１４のラベルを付与する。対象物Ｏｂｊのラベルが付与された測定点の群のデータは、移動物体を検出するための移動物体検出モデルの学習用データとして保存される。

【0063】

このように、本実施形態に係る学習用データ生成装置１００は、センサ座標系上での測定点の位置データと、測距センサ１１のオドメトリ情報とを含む時系列データを合成した合成データＭを生成し、合成データＭに含まれる測定点のうち、少なくとも二つの時刻に検出された、移動速度がゼロを超え、かつ、隣接する測定点との距離が所定距離内にある測定点の群を囲むように移動物体領域ＭＯを設定する。また、学習用データ生成装置１００は、二つの時刻の移動物体領域ＭＯに基づいて、ｘ軸方向及びｙ軸方向それぞれの移動物体領域ＭＯの時間変化の軌跡（近似曲線）を設定し、それぞれの時刻での移動物体領域ＭＯの移動速度を算出する。さらに、学習用データ生成装置１００は、算出した移動速度と、入力データの移動物体の向きとに基づいて補正したｘ軸方向及びｙ軸方向それぞれの移動物体領域ＭＯの時間変化の軌跡（補正後近似曲線）を算出する。

【0064】

そして、学習用データ生成装置１００は、補正したｘ軸方向及びｙ軸方向それぞれの移動物体領域ＭＯの時間変化の軌跡のデータに基づいて、合成データの移動物体領域ＭＯの軌跡上に、移動物体領域ＭＯを設定していない時刻における移動物体補間領域ＭＯｉを設定する。そして、学習用データ生成装置１００は、移動物体領域ＭＯ及び移動物体補間領域ＭＯｉに含まれる測定点の群に対して移動物体を表す対象物Ｏｂｊに関する情報をラベル付けし、移動物体を検出するための学習用データとして保存する。

【0065】

つまり、本実施形態に係る学習用データ生成装置１００は、合成データＭにおいて移動物体による反射点として推定される測定点の群の軌跡を推定し、当該軌跡上の測定点の群に対して対象物Ｏｂｊに関する情報をラベル付けすることで、各時刻ｔ１１～ｔ１４の測定点のデータＣ１１～Ｃ１４中の測定点の群に対して自動的に対象物Ｏｂｊのラベルを付与することができる。したがって、作業者が、各時刻ｔ１１～ｔ１４の測定点のデータＣ１１～Ｃ１４それぞれに含まれる、移動物体による反射点と推定されるすべての測定点の群を特定し、それぞれの測定点の群に対して対象物のラベルを付与する場合に比べて、少ない時間及びコストで移動物体検出モデルを学習するための学習用データを生成することができる。

【0066】

以上説明したように、本実施形態に係る学習用データ生成装置１００及び学習用データ生成方法によれば、測定点の時系列データを合成した合成データに含まれる所定の測定点の群のうち、少なくとも二つの時刻での移動物体領域を設定するだけで、推定される軌跡上に存在する他の測定点の群に対しても移動物体補間領域が設定されラベル付けされる。したがって、作業者が、各時刻の測定点のデータのすべてに対して移動物体領域を特定する必要がなくなり、測定点の群に対するラベルを付与する処理を大幅に効率化することができる。このため、学習用データの作成に要する多大な時間及びコストの消費を抑制することができる。

【0067】

＜４．物体検出装置＞
続いて、本実施形態に係る学習用データ生成方法にしたがって生成された学習用データを機械学習させることにより生成された物体検出モデルを用いて物体検出処理を実行可能な物体検出装置を説明する。以下、本実施形態に係る物体検出装置を、図２に示した車両１に搭載された物体検出装置５０に適用した例を説明する。

【0068】

図１２は、物体検出装置５０の機能構成を示すブロック図である。物体検出装置５０は、取得部５１、処理部５３及び記憶部５５を備えている。物体検出装置５０は、車両１等の移動体に搭載され、移動体の周囲の物体を検出する処理を実行する。物体検出装置５０には、少なくともＬｉＤＡＲ等の測距センサ１１が接続されている。

【0069】

記憶部５５は、ＲＡＭ及びＲＯＭ等の記憶素子、あるいは、ＨＤＤやＳＳＤ等のストレージ装置の少なくとも一つ又は複数により構成される。記憶部５５は、物体検出装置５０に内蔵された機器であってもよく、物体検出装置５０に対して外付けされた機器であってもよい。記憶部５５には、処理部５３に対して物体検出処理を実行させるためのコンピュータプログラムが記憶される。また、記憶部５５には、物体検出処理を実行するための種々のパラメータや演算結果、取得したデータ等が記憶される。

【0070】

取得部５１は、所定のフレームレートで測距センサ１１から出力される測定点のデータを取得する。取得された測定点のデータは、処理部５３による物体検出処理に用いられる。

【0071】

処理部５３は、少なくとも一つのＣＰＵ等のプロセッサを備え、上述した本実施形態に係る学習用データ生成方法にしたがって生成された学習用データを機械学習させることにより生成された物体検出モデルを用いて物体を検出する処理を実行する。具体的に、処理部５３は、取得部５１により取得された測距センサ１１の測定点のデータを物体検出モデルに入力して得られる出力に基づいて物体を検出する処理を実行する。物体検出モデルを生成する機械学習の例としては、ニューラルネットワーク、サポートベクターマシン、ランダムフォレスト等が挙げられるが、その種類は特に限定されるものではない。物体検出モデルは、学習用データを所定の学習プログラムに入力して学習用データを機械学習させることにより生成される。

【0072】

例えば処理部５３は、所定のサンプリング周期で取得される測定点のデータをそれぞれ物体検出モデルに入力して得られる時系列の出力データに対して、同一の移動物体を示す測定点群を関連付け（マッチング）しながら移動物体の移動方向及び移動速度の情報をラベリングする。また、処理部５３は、検出した移動物体の情報を車両制御装置４０へ出力する。そして、車両制御装置４０は、入力された移動物体の情報に基づいて、自動運転制御や緊急ブレーキ制御等の運転支援処理を実行する。

【0073】

なお、測定点のデータを物体検出モデルに入力して得られる出力に基づいて物体を検出する処理の具体的な内容は、上記の例に限られるものではなく、種々の物体検出処理が適用されてよい。

【0074】

以上説明した物体検出装置５０によれば、少ない数の移動物体領域から生成された多数の学習用データを機械学習することにより生成された物体検出モデルを用いて物体検出処理が実行される。このため、測距センサ１１により取得される測定点のデータに基づいて、様々な方向、角度から視認される移動物体を精度よく検出することができる。

【0075】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが本発明はこのような例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0076】

１：車両、１１：測距センサ、１３：オドメトリセンサ、１５：ＧＮＳＳセンサ、５０：物体検出装置、１００：学習用データ生成装置、１１０：データ入力部、１２０：データ処理部、１２１：合成データ生成部、１２３：推定軌跡算出部、１２５：物体情報算出部、１２７：補正部、１２９：学習用データ生成部、１３０：記憶部、１４０：データ記録装置、１５０：操作入力部、１６０：画像表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】