特許 7383954 学習用データ収集装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-13

(45)【発行日】2023-11-21

(54)【発明の名称】学習用データ収集装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231114BHJP

   G08G 1/16 20060101ALI20231114BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 650Z

G08G1/16 C

【請求項の数】 7

(21)【出願番号】P 2019174028

(22)【出願日】2019-09-25

(65)【公開番号】P2021051542

(43)【公開日】2021-04-01

【審査請求日】2022-07-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(74)【代理人】

【識別番号】100099025

【弁理士】

【氏名又は名称】福田 浩志

(72)【発明者】

【氏名】堀口 賢司

(72)【発明者】

【氏名】山中 正雄

(72)【発明者】

【氏名】大串 俊明

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１９－１５９６５９（ＪＰ，Ａ）

【文献】特開２０１７－１０２８３８（ＪＰ，Ａ）

【文献】特開２０１８－１９４９１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

更新された学習済みモデルを用いて、路上障害物を検出する障害物検出部を含み、
前記更新された学習済みモデルは、車載カメラにより撮影された複数フレームの画像について、予め学習された学習済みモデルを用いた前記画像中の路上障害物の検出及び前記画像中の物体の検出において、前記路上障害物が検出された２つの画像の間の画像のうち、前記路上障害物が存在すると推定されるエリア内に前記路上障害物が検出されず、かつ前記物体が検出された画像を、学習用データとして用いて更新されている、制御装置。

【請求項2】

予め学習された学習済みモデルを用いて画像中の路上障害物を検出すると共に、
前記画像中の物体を検出し、
車載カメラにより撮影された複数フレームの画像について、前記路上障害物が検出された２つの画像の間の画像のうち、前記路上障害物が存在すると推定されるエリア内に前記路上障害物が検出されず、かつ前記物体が検出された画像を、前記学習済みモデルの学習用データとして、前記学習済みモデルを更新する、
処理をコンピュータが実行する学習済みモデルの更新方法。

【請求項3】

予め学習された学習済みモデルを用いて画像中の路上障害物を検出する障害物検出部と、
前記画像中の物体を検出する物体検出部と、
車載カメラにより撮影された複数フレームの画像について、前記路上障害物が検出された２つの画像の間の画像のうち、前記路上障害物が存在すると推定されるエリア内に前記路上障害物が検出されず、かつ前記物体検出部により前記物体が検出された画像を、前記学習済みモデルの学習用データとして出力する出力部と、
を備えた学習用データ収集装置。

【請求項4】

予め学習された学習済みモデルを用いて画像中の路上障害物を検出する障害物検出部と、
前記画像中の物体を検出する物体検出部と、
車載カメラにより撮影された複数フレームの画像について、前記路上障害物が検出された２つの画像の間の画像のうち、前記物体が存在すると推定されるエリア内に前記物体が検出されず、かつ前記路上障害物が検出された画像を、前記学習済みモデルの学習用データとして出力する出力部と、
を備えた学習用データ収集装置。

【請求項5】

前記障害物検出部は、前記画像を分割して得られた局所領域Ｓ_ｎと、前記学習済みモデルから出力された確率Ｐ_ｍとに基づいて、画像のｉ番目の局所領域Ｓ_ｉにおける路上障害物らしさＬ_ｉを算出することにより、前記路上障害物を検出する請求項３又は請求項４に記載の学習用データ収集装置。

【請求項6】

前記車載カメラを搭載した車両の車速が遅いほど、連続する複数フレームの画像を多い枚数を用いて、前記２つの画像の間の画像のうちから、前記学習用データとする画像を得る請求項３～請求項５の何れか１項に記載の学習用データ収集装置。

【請求項7】

車載カメラにより撮影された複数フレームの画像について、路上障害物が検出された２つの画像の間の画像のうち、前記路上障害物が存在すると推定されるエリア内に前記路上障害物が検出されず、かつ物体が検出された画像を、前記路上障害物のデータとして出力する出力部、
を備えた障害物データ収集装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習用データ収集装置に関する。

【背景技術】

【0002】

特許文献１には、機械学習によって得られた学習済みモデルを用いて、車載カメラにより撮影された画像中の路上障害物を検出する路上障害物検出装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１９４９１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されているような学習済みモデルを用いて画像中の路上障害物を検出する技術では、路上障害物の検出精度を向上させるために、学習済みモデルを更新するための学習用データを効率的に収集できることが好ましい。しかしながら、特許文献１では、学習済みモデルの学習用データを効率的に収集することは考慮されていない。

【0005】

本発明は、以上の事実を考慮して成されたもので、画像中の路上障害物の検出精度を向上させるための学習済みモデルの学習用データを効率的に収集することを目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の学習用データ収集装置は、予め学習された学習済みモデルを用いて画像中の路上障害物を検出する障害物検出部と、前記画像中の物体を検出する物体検出部と、車載カメラにより撮影された複数フレームの画像について、前記障害物検出部により路上障害物が検出された２つの画像の間の画像のうち、前記路上障害物が存在すると推定されるエリア内に前記路上障害物が検出されず、かつ前記物体検出部により物体が検出された画像を、前記学習済みモデルの学習用データとして出力する出力部と、を備える。

【0007】

請求項１に記載の学習用データ収集装置によれば、予め学習された学習済みモデルを用いて画像中の路上障害物が検出され、画像中の物体が検出される。そして、車載カメラにより撮影された複数フレームの画像について、路上障害物が検出された２つの画像の間の画像のうち、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体が検出された画像が、学習済みモデルの学習用データとして出力される。従って、画像中の路上障害物の検出精度を向上させるための学習済みモデルの学習用データを効率的に収集することができる。

【発明の効果】

【0008】

本発明によれば、画像中の路上障害物の検出精度を向上させるための学習済みモデルの学習用データを効率的に収集することができる、という効果が得られる。

【図面の簡単な説明】

【0009】

【図1】学習用データ収集システムの構成の一例を示すブロック図である。

【図2】制御装置のハードウェア構成の一例を示すブロック図である。

【図3】学習済みモデルを説明するための図である。

【図4】画像中の物体の位置を推定するための近似式を説明するための図である。

【図5】近似式を算出するための測定データの一例を示す図である。

【図6】制御装置の機能的な構成の一例を示すブロック図である。

【図7】実施形態に係る学習用データの収集処理を説明するための図である。

【図8】学習用データとして収集される画像の一例を示す図である。

【図9】画像保存処理の一例を示すフローチャートである。

【図10】学習用データ収集処理の一例を示すフローチャートである。

【図11】変形例に係る学習用データの収集処理を説明するための図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。

【0011】

まず、図１を参照して、本実施形態に係る学習用データ収集システム１０の構成を説明する。図１に示すように、学習用データ収集システム１０は、情報処理装置１６と、車両１２に搭載された制御装置１４とを含む。制御装置１４及び情報処理装置１６は、それぞれネットワークＮに接続され、ネットワークＮを介して情報の送受信が可能とされる。制御装置１４の例としては、ＥＣＵ（Electronic Control Unit）が挙げられ、情報処理装置１６の例としては、サーバコンピュータが挙げられる。

【0012】

次に、図２を参照して、本実施形態に係る制御装置１４のハードウェア構成を説明する。図２に示すように、制御装置１４は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、制御装置１４は、無線通信によってネットワークＮに接続されるネットワークＩ／Ｆ（InterFace）２３、及び入出力Ｉ／Ｆ２４を含む。入出力Ｉ／Ｆ２４には、車速センサ２６及び車載カメラ２７が接続される。ＣＰＵ２０、メモリ２１、記憶部２２、ネットワークＩ／Ｆ２３、及び入出力Ｉ／Ｆ２４は、バス２５に接続される。制御装置１４が、開示の技術に係る学習用データ収集装置の一例である。

【0013】

記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、学習用データ収集プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から学習用データ収集プログラム３０を読み出してからメモリ２１に展開し、展開した学習用データ収集プログラム３０を実行する。また、記憶部２２には、学習済みモデル３２及び近似式データ３４が記憶される。

【0014】

車速センサ２６は、車両１２の車速を検出し、検出した車速を制御装置１４に出力する。車載カメラ２７は、車両１２の車室内に搭載され、車両１２の前方を撮影して得られた画像を制御装置１４に出力する。

【0015】

学習済みモデル３２は、情報処理装置１６による機械学習によって予め学習されたモデルであり、入力の画像中の路上障害物を検出するために使用される。制御装置１４は、情報処理装置１６から学習済みモデル３２を取得し、取得した学習済みモデル３２を記憶部２２に記憶する。一例として図３に示すように、本実施形態に係る学習済みモデル３２には、車載カメラ２７により撮影された画像が入力される。また、学習済みモデル３２は、入力された画像の画素毎に、Ｍ個の意味的ラベルのそれぞれに属する確率Ｐ_ｍ（ｍは、１からＭまでの整数）を出力する。

【0016】

ここでいう意味的ラベルとは、画像中の物体を表すラベルである。意味的ラベルの例としては、空、道路（例えば、舗装路及び白線等）、車両（例えば、乗用車、トラック、及び自動二輪車等）、自然（例えば、山、森林、及び街路樹等）、人工建築物（例えば、街灯、鉄柱、及びガードレール等）、及び路上障害物等が挙げられる。

【0017】

近似式データ３４は、１フレーム前の画像中の物体の位置を推定するために用いられる近似式を表すデータである。近似式データ３４が表す近似式は、例えば、車両１２を用いた実験によって予め得られる。

【0018】

具体的には、まず、図４に示すように、路上に物体を設置し、一定の車速で車両１２を物体に近づく方向に走行させながら、車載カメラ２７により予め定められたフレームレートで撮影を行い、車載カメラ２７により撮影された画像中の物体の移動量を測定する。以下では、画像の左右方向をｘ軸方向とし、上下方向をｙ軸方向とする。また、以下では、画像中の物体の下端部の位置を画像中の物体の位置とし、物体の位置を画像の予め定められた基準位置（例えば、画像の左上端部の位置）を原点としたｙ座標で表す。なお、画像中の物体の位置は、物体の下端部の位置に限定されず、例えば、物体の重心の位置を用いてもよい。

【0019】

このように測定されたｎ－１フレーム目の画像中の物体の位置、ｎフレーム目の画像中の物体の位置、及び測定時の車速の一例を図５に示す。図５の例では、５０ｋｍ／ｈ及び１００ｋｍ／ｈのそれぞれの車速で車両１２を走行させながら、６フレーム（すなわち、ｎ＝２～６）の画像を１０ｆｐｓ（frames per second）で車載カメラ２７により撮影した際の各画像中の物体の位置を示している。

【0020】

以上の測定結果から、最小二乗法等の近似手法によって、以下の（１）式で表される近似式が算出される。（１）式におけるａ_１及びａ_２は係数であり、ｂは定数である。また、（１）式におけるｘ_１はｎフレーム目の画像中の物体の位置を表す変数であり、ｘ_２は車速を表す変数であり、ｙはｎ－１フレーム目の画像中の物体の位置を表す変数である。
ｙ＝ａ_１×ｘ_１＋ａ_２×ｘ_２＋ｂ・・・（１）

【0021】

図５の測定結果から実際に算出された近似式を、以下の（２）式に示す。
ｙ＝0.555449×ｘ_１－0.0795×ｘ_２＋9.024482・・・（２）

【0022】

近似式データ３４は、以上のように算出された近似式を表すデータである。従って、近似式データ３４が表す近似式を用いて、ｎフレーム目の画像中の物体の位置及び車速から、ｎ－１フレーム目の画像中の物体の位置を推定することができる。なお、本実施形態では、車載カメラ２７のフレームレートを固定値とする例を説明するが、これに限定されない。例えば、車載カメラ２７のフレームレートの設定値をユーザが変更可能な場合は、設定可能なフレームレート毎に近似式を予め算出しておけばよい。

【0023】

次に、図６を参照して、本実施形態に係る制御装置１４の機能的な構成を説明する。図６に示すように、制御装置１４は、取得部４０、障害物検出部４２、物体検出部４４、判定部４６、及び出力部４８を含む。制御装置１４のＣＰＵ２０が記憶部２２に記憶された学習用データ収集プログラム３０を実行することにより、図６に示す取得部４０、障害物検出部４２、物体検出部４４、判定部４６、及び出力部４８として機能する。

【0024】

取得部４０は、車速センサ２６により検出された車速を取得する。また、取得部４０は、車載カメラ２７により撮影された画像を取得する。

【0025】

障害物検出部４２は、学習済みモデル３２を用いて、取得部４０により取得された画像中の路上障害物を検出する。具体的には、障害物検出部４２は、取得部４０により取得された画像を学習済みモデル３２に対して入力する。この入力に対応して、学習済みモデル３２からは、入力された画像の画素毎に、Ｍ個の意味的ラベルのそれぞれに属する確率Ｐ_ｍが出力される。

【0026】

また、障害物検出部４２は、取得部４０により取得された画像をＮ個の局所領域Ｓ_ｎ（ｎは、１からＮまでの整数）に分割する。この分割処理は、スーパーピクセル化処理とも呼ばれる。それぞれの局所領域は連続した領域であり、かつ内部の各点の特徴量が互いに類似する領域である。特徴量としては、色と輝度、エッジ強度、又はテクスチャ等を用いることができる。局所領域は、前景と背景との境界を跨がない領域とも表現できる。

【0027】

障害物検出部４２は、画像を分割して得られた局所領域Ｓ_ｎと、学習済みモデル３２から出力された確率Ｐ_ｍとに基づいて、画像のｉ（ｉは、１からＮまでの整数）番目の局所領域Ｓ_ｉにおける路上障害物らしさＬ_ｉを算出する。そして、障害物検出部４２は、算出した路上障害物Ｌ_ｉらしさに基づいて、取得部４０により取得された画像中の路上障害物を検出する。以上の障害物検出部４２による学習済みモデル３２を用いた路上障害物の検出処理の詳細は、特開２０１８－１９４９１２号公報に開示されているため、これ以上の詳細な説明を省略する。

【0028】

物体検出部４４は、取得部４０により取得された画像に対して公知の物体検出処理を行うことによって、取得部４０により取得された画像中の物体を検出する。この物体検出処理の例としては、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）、ＹＯＬＯ（You Only Look Once）、又はＳＳＤ（Single Shot Multibox Detector）等が挙げられる。すなわち、物体検出部４４は、路上障害物であるか否かを考慮せずに、取得部４０により取得された画像中の物体を検出する。これに対し、前述した障害物検出部４２は、取得部４０により取得された画像中の物体のうち、路上障害物を検出する。

【0029】

判定部４６は、取得部４０により取得された連続する複数フレームの画像について、障害物検出部４２により路上障害物が検出された２つの画像の間の画像において、以下の判定を行う。判定部４６は、上記２つの画像の間の画像において、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体検出部４４により物体が検出された画像が存在するか否かを判定する。

【0030】

図７を参照して、判定部４６による判定処理の詳細を説明する。図７に示すように、ここでは、説明の分かりやすさのために、連続する３フレームの画像を例に挙げ、各フレームの画像を区別するために、各フレームの画像に１～３の番号を付して説明する。

【0031】

また、図７における「ｙ座標」は、フレーム番号が１～３の画像について、障害物検出部４２による路上障害物の検出結果、及び物体検出部４４による物体の検出結果を示している。具体的には、図７の「路上障害物」の「ｙ座標」の数値は、障害物検出部４２により検出された路上障害物の下端部のｙ座標を示す。また、図７の「物体」の「ｙ座標」の数値は、物体検出部４４により検出された物体の下端部のｙ座標を示す。また、図７の「ｙ座標」が「－」の箇所は、そのフレーム番号の画像について、路上障害物又は物体が検出されなかったことを表す。すなわち、図７の例では、フレーム番号が１、３の画像については、障害物検出部４２により路上障害物が検出され、かつ物体検出部４４により物体が検出されたことを表している。また、図７の例では、フレーム番号が２の画像については、障害物検出部４２により路上障害物が検出されず、かつ物体検出部４４により物体が検出されたことを表している。

【0032】

判定部４６は、路上障害物が検出された画像について、路上障害物のｙ座標と、その画像の撮影時に取得部４０により取得された車速と、を用いて、近似式データ３４が表す上記（１）式に従って、１フレーム前の画像中の路上障害物のｙ座標の推定値を算出する。同様に、判定部４６は、物体が検出された画像について、物体のｙ座標と、その画像の撮影時に取得部４０により取得された車速と、を用いて、上記（１）式に従って、１フレーム前の画像中の物体のｙ座標の推定値を算出する。図７の例における「１フレーム前のｙ座標」は、このように算出されたｙ座標の推定値を表している。

【0033】

また、判定部４６は、路上障害物が検出された画像について、「１フレーム前のｙ座標」と、１フレーム前の画像の「ｙ座標」との差の絶対値が、予め定められた閾値ＴＨ１（例えば、「１」）以下である場合に、その画像と１フレーム前の画像との対応が有ると判定する。同様に、判定部４６は、物体が検出された画像について、「１フレーム前のｙ座標」と、１フレーム前の画像の「ｙ座標」との差の絶対値が、閾値ＴＨ１以下である場合に、その画像と１フレーム前の画像との対応が有ると判定する。図７の例における「対応有無」は、このように判定された対応の有無を表している。すなわち、図７の例では、路上障害物については各フレームの画像間で対応が無く、物体についてはフレーム番号が１と２の画像間、及びフレーム番号が２と３の画像間で対応が有ることを表している。図７の例では、判定部４６は、３個の連続するフレームの画像から検出された物体は、同じ物体であると判定する。なお、物体検出部４４が、検出した物体の物体名も検出可能な場合、判定部４６は、物体の「ｙ座標」が対応していることに加えて、更に検出された物体名が同じである場合に、同じ物体であると判定してもよい。

【0034】

また、判定部４６は、各フレームの画像について、路上障害物のｙ座標と物体のｙ座標との差の絶対値が、予め定められた閾値ＴＨ２（例えば、「２」）以下の場合、路上障害物と物体とが対応していると判定する。すなわち、図７の例では、判定部４６は、フレーム番号が１の画像及び３の画像のそれぞれについて、検出された路上障害物と物体とが対応していると判定する。そして、判定部４６は、フレーム番号が２の画像については、検出された物体に対応するエリア、すなわち、路上障害物が存在すると推定されるエリア内に路上障害物が検出されていないと判定する。

【0035】

以上の処理により、判定部４６は、連続する複数フレームの画像について、路上障害物が検出された２つの画像（図７の例では、フレーム番号が１の画像と３の画像）の間の画像（図７の例では、フレーム番号が２の画像）において、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体検出部４４により物体が検出された画像が存在するか否かを判定する。なお、判定部４６は、連続する複数フレームの画像として４つ以上の画像を用いてもよい。また、車両１２の車速が遅いほど、同じ物体が写る画像数は多くなると考えられる。そこで、判定部４６は、車両１２の車速が遅いほど、連続する複数フレームの画像として多い枚数の画像を用いてもよい。

【0036】

出力部４８は、判定部４６により上記２つの画像の間に存在すると判定された画像を、学習済みモデル３２の学習用データとして出力する。本実施形態では、出力部４８は、判定部４６により上記２つの画像の間に存在すると判定された画像を、学習済みモデル３２の学習用データとして、ネットワークＮを介して情報処理装置１６に出力（すなわち、送信）する。

【0037】

判定部４６により、上記２つの画像の間に存在すると判定された画像は、検出された物体が、路上障害物である可能性が比較的高いにもかかわらず、障害物検出部４２により路上障害物として検出されなかった画像である。この画像は、具体的な一例として図８に示すフレームｎの画像である。図８の例では、フレームｎ－１、ｎ＋１の画像では、車線変更を指示する物体（矩形の破線で囲まれた物体）が路上障害物及び物体として検出されている。これに対し、フレームｎの画像では、車線変更を指示する物体が物体としては検出されているが、路上障害物としては検出されていない。従って、このような画像を用いて学習済みモデル３２を更に学習させて更新することによって、学習済みモデル３２を用いた画像中の路上障害物の検出精度が向上する。

【0038】

次に、図９及び図１０を参照して、本実施形態に係る制御装置１４の作用について説明する。なお、図９は、制御装置１４のＣＰＵ２０により実行される画像保存処理の流れの一例を示すフローチャートである。また、図１０は、制御装置１４のＣＰＵ２０により実行される学習用データ収集処理の流れの一例を示すフローチャートである。図９に示す画像保存処理及び図１０に示す学習用データ収集処理は、記憶部２２に記憶された学習用データ収集プログラム３０をＣＰＵ２０が実行することにより実行される。図９に示す画像保存処理は、例えば、車載カメラ２７のフレームレートに応じた撮影の時間間隔毎に実行される。また、図１０に示す学習用データ収集処理は、１時間に１回等の定期的なタイミングに実行される。なお、図１０に示す学習用データ収集処理は、図９に示す画像保存処理により所定数（例えば、１００枚）の画像が記憶部２２に記憶される毎に実行されてもよいし、車載カメラ２７により画像が撮影される毎に実行されてもよい。

【0039】

図９のステップＳ１０で、取得部４０は、車載カメラ２７により撮影された画像を取得する。ステップＳ１２で、取得部４０は、車速センサ２６により検出された車速を取得する。ステップＳ１４で、取得部４０は、ステップＳ１０で取得した画像と、ステップＳ１２で取得した車速とを対応付けて記憶部２２に記憶する。ステップＳ１４の処理が終了すると、画像保存処理が終了する。

【0040】

図１０のステップＳ２０で、障害物検出部４２は、前述したように、学習済みモデル３２を用いて、上記の画像保存処理により記憶部２２に記憶された全ての画像中の路上障害物を検出する。ステップＳ２２で、物体検出部４４は、前述したように、上記の画像保存処理により記憶部２２に記憶された全ての画像に対して公知の物体検出処理を行うことによって、記憶部２２に記憶された全ての画像中の物体を検出する。

【0041】

ステップＳ２４で、判定部４６は、前述したように、上記の画像保存処理により記憶部２２に記憶された全ての画像における連続する複数フレームの画像について、障害物検出部４２により路上障害物が検出された２つの画像の間の画像において、以下の判定を行う。判定部４６は、上記２つの画像の間の画像において、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体検出部４４により物体が検出された画像が存在するか否かを判定する。判定部４６は、上記の画像保存処理により記憶部２２に記憶された全ての画像における連続する複数フレーム（例えば、３フレーム）の全組合せについて上記の判定を行う。この判定が否定判定となった場合は、学習用データ収集処理が終了し、肯定判定となった場合は、処理はステップＳ２６に移行する。

【0042】

ステップＳ２６で、出力部４８は、前述したように、ステップＳ２４の処理により上記２つの画像の間に存在すると判定された画像を、学習済みモデル３２の学習用データとして情報処理装置１６に出力する。ステップＳ２６の処理が終了すると、学習用データ収集処理が終了する。

【0043】

ステップＳ２６の処理により制御装置１４から学習用データとして送信された画像は、情報処理装置１６により受信される。ユーザは、情報処理装置１６が受信した画像における障害物検出部４２により検出されなかった路上障害物に、路上障害物という意味的ラベルを付与する。情報処理装置１６は、自装置の記憶部に記憶された学習済みモデル３２を、ユーザにより意味的ラベルが付与された画像を用いて学習させることによって更新する。情報処理装置１６は、更新した学習済みモデル３２を制御装置１４に送信する。制御装置１４は、情報処理装置１６から送信された新たな学習済みモデル３２によって記憶部２２の学習済みモデル３２を更新する。これにより、学習済みモデル３２を用いた路上障害物の検出精度が向上する。

【0044】

以上説明したように、本実施形態によれば、複数フレームの画像について、路上障害物が検出された２つの画像の間の画像のうち、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体が検出された画像を、学習済みモデル３２の学習用データとして出力する。従って、画像中の路上障害物の検出精度を向上させるための学習済みモデル３２の学習用データを効率的に収集することができる。

【0045】

なお、上記実施形態では、路上障害物が検出された２つの画像の間の画像のうち、路上障害物が存在すると推定されるエリア内に路上障害物が検出されず、かつ物体が検出された画像を、学習済みモデル３２の学習用データとして出力する場合について説明したが、これに限定されない。例えば、図１１に示すように、物体が検出された２つの画像の間の画像のうち、物体が存在すると推定されるエリア内に物体が検出されず、かつ路上障害物が検出された画像を、物体検出部４４が物体の検出に用いる学習済みモデルの学習用データとして出力する形態としてもよい。この場合、図１１におけるフレーム番号が２の画像が学習用データとして収集される。なお、図１１における各項目は図７と同様である。

【0046】

また、上記実施形態において、制御装置１４が障害物検出部４２及び物体検出部４４の何れかを備えてもよい。この場合、制御装置１４が備える何れかの機能部による検出結果が安定しない場合に、物体又は路上障害物が検出されなかった画像を学習用データとして出力する形態が例示される。また、物体検出部４４が、更に物体名を検出してもよい。この場合、物体検出部４４が、連続する複数フレームの画像のそれぞれについて検出した物体が対応する物体ではあるが、物体名が異なる場合に、各フレームの画像を物体検出部４４が物体の検出に用いる学習済みモデルの学習用データとして出力する形態が例示される。

【0047】

また、上記実施形態では、１フレーム前の画像における物体の位置の推定に、ｙ軸方向の物体の移動量を用いた場合について説明したが、これに限定されない。例えば、１フレーム前の画像における物体の位置の推定に、ｘ軸方向の物体の移動量を加えてもよい。この場合のｙ軸方向及びｘ軸方向の物体の移動量は、例えば、ヨーレート及び車速から算出することができる。

【0048】

また、上記実施形態におけるＣＰＵ２０により行われる処理は、プログラムを実行することにより行われるソフトウェア処理として説明したが、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで行われる処理としてもよい。また、ＣＰＵ２０により行われる処理は、ソフトウェア及びハードウェアの双方を組み合わせて行われる処理としてもよい。また、記憶部２２に記憶される学習用データ収集プログラム３０は、各種記憶媒体に記憶して流通させてもよい。

【0049】

また、本発明は、上記の形態例に限定されるものではなく、上記の形態例以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

【符号の説明】

【0050】

１０ 学習用データ収集システム
１２ 車両
１４ 制御装置（学習用データ収集装置）
１６ 情報処理装置
２０ ＣＰＵ（障害物検出部、物体検出部、出力部）
３０ 学習用データ収集プログラム
３２ 学習済みモデル
４０ 取得部
４２ 障害物検出部
４４ 物体検出部
４６ 判定部
４８ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】