特開 2022-154193 学習装置、学習方法、プログラム、および物体検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022154193

(43)【公開日】2022-10-13

(54)【発明の名称】学習装置、学習方法、プログラム、および物体検知装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221005BHJP

   G06T 15/60 20060101ALI20221005BHJP

   G08G 1/16 20060101ALI20221005BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 650Z

G06T15/60

G08G1/16 C

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021057102

(22)【出願日】2021-03-30

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】安井 裕司

(72)【発明者】

【氏名】松永 英樹

【テーマコード（参考）】

5B080

5H181

5L096

【Ｆターム（参考）】

5B080AA00

5B080BA01

5B080CA00

5B080FA08

5B080GA00

5H181AA01

5H181BB20

5H181CC04

5H181FF10

5H181LL01

5H181LL06

5H181LL07

5H181LL08

5H181LL09

5L096BA04

5L096FA67

5L096KA04

(57)【要約】      （修正有）

【課題】路上に存在する物体を判別するための学習済モデルを好適に生成する学習装置、学習方法、プログラム及び物体検知装置を提供する。
【解決手段】学習装置１００は、路上を撮像した撮像画像を取得する撮像画像取得部１１０と、撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加するＣＧ画像追加部１４０と、追加されたコンピュータグラフィック画像の種別を教師データとして、画像が入力されると物体の種別を出力するように学習済モデルのパラメータを学習する学習処理部１５０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

路上を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加するＣＧ画像追加部と、
追加された前記コンピュータグラフィック画像の種別を教師データとして、画像が入力されると前記物体の種別を出力するように学習済モデルのパラメータを学習する学習処理部と、
を備える学習装置。

【請求項2】

前記撮像画像に基づく実写画像に基づいて日射方向を推定する日射方向推定部を更に備え、
前記ＣＧ画像追加部は、前記物体のコンピュータグラフィック画像に、前記日射方向に基づく影を付与する、
請求項１記載の学習装置。

【請求項3】

前記撮像画像は、移動体に搭載されたカメラによって撮像された撮像画像であり、
前記撮像画像に基づいて、撮像時点ごとの前記移動体のピッチング量を推定するピッチング量推定部と、
前記撮像画像に対して前記ピッチング量を打ち消す第１補正を行って前記実写画像を生成する第１補正部と、
を更に備える請求項１または２記載の学習装置。

【請求項4】

前記コンピュータグラフィック画像が追加された前記実写画像に対して、前記第１補正を元に戻す第２補正を行って学習用画像を生成する第２補正部を更に備え、
前記学習処理部は、前記学習用画像を学習データとして前記学習済モデルのパラメータを学習する、
請求項３記載の学習装置。

【請求項5】

前記撮像画像は、移動体に搭載されたカメラによって撮像された撮像画像であり、
前記実写画像は、前記撮像画像であり、
前記撮像画像に基づいて、撮像時点ごとの前記移動体のピッチング量を推定するピッチング量推定部を更に備え、
前記ＣＧ画像追加部は、前記実写画像における前記ピッチング量に応じた位置に前記コンピュータグラフィック画像を追加する、
請求項１または２記載の学習装置。

【請求項6】

前記撮像画像は、移動体に搭載されたカメラによって撮像された撮像画像であり、
前記移動体の移動量を取得する移動量取得部を更に備え、
前記ＣＧ画像追加部は、前記移動体の移動量に基づいて前記コンピュータグラフィック画像の位置およびサイズを決定する、
請求項１から５のうちいずれか１項記載の学習装置。

【請求項7】

コンピュータを用いて実行される学習方法であって、
路上を撮像した撮像画像を取得することと、
前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加することと、
追加された前記コンピュータグラフィック画像の種別を教師データとして、画像が入力されると前記物体の種別を出力するように学習済モデルのパラメータを学習することと、
を備える学習方法。

【請求項8】

コンピュータにより実行されるプログラムであって、前記コンピュータに、
路上を撮像した撮像画像を取得することと、
前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加することと、
追加された前記コンピュータグラフィック画像の種別を教師データとして、画像が入力されると前記物体の種別を出力するように学習済モデルのパラメータを学習することと、
を実行させるプログラム。

【請求項9】

移動体に搭載された物体検知装置であって、
前記移動体に搭載されたカメラによって、前記移動体の進行方向の少なくとも路上を撮像した撮像画像を、請求項１から６のうちいずれか１項記載の学習装置によって学習された前記学習済モデルに入力することで、前記撮像画像に映された路上の物体が、前記移動体が接触を回避すべき物体か否かを判別する、
物体検知装置。

【請求項10】

路上を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加するＣＧ画像追加部と、
追加された前記コンピュータグラフィック画像の位置を教師データとして、画像が入力されると前記物体の位置を出力するように学習済モデルのパラメータを学習する学習処理部と、
を備える学習装置。

【請求項11】

コンピュータを用いて実行される学習方法であって、
路上を撮像した撮像画像を取得することと、
前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加することと、
追加された前記コンピュータグラフィック画像の位置を教師データとして、画像が入力されると前記物体の位置を出力するように学習済モデルのパラメータを学習することと、
を備える学習方法。

【請求項12】

コンピュータにより実行されるプログラムであって、前記コンピュータに、
路上を撮像した撮像画像を取得することと、
前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加することと、
追加された前記コンピュータグラフィック画像の位置を教師データとして、画像が入力されると前記物体の位置を出力するように学習済モデルのパラメータを学習することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習方法、プログラム、および物体検知装置に関する。

【背景技術】

【0002】

従来、レンダリング部が描画した３Ｄグラフィックについて学習用の教師データを作成し、ディープラーニング認識部を学習させる技術が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１７／１７１００５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、移動体に搭載されたカメラの撮像画像において、路上に存在する物体を判別するための学習済モデルを好適に生成できない場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、路上に存在する物体を判別するための学習済モデルを好適に生成することができる学習装置、学習方法、プログラム、および物体検知装置を提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係る学習装置、学習方法、プログラム、および物体検知装置は、以下の構成を採用した。
（１）：この発明の一態様に係る学習装置は、路上を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加するＣＧ画像追加部と、追加された前記コンピュータグラフィック画像の種別を教師データとして、画像が入力されると前記物体の種別を出力するように学習済モデルのパラメータを学習する学習処理部と、を備える。

【0007】

（２）：上記（１）の態様において、前記撮像画像に基づく実写画像に基づいて日射方向を推定する日射方向推定部を更に備え、前記ＣＧ画像追加部は、前記物体のコンピュータグラフィック画像に、前記日射方向に基づく影を付与するものである。

【0008】

（３）：上記（１）または（２）の態様において、前記撮像画像は、移動体に搭載されたカメラによって撮像された撮像画像であり、前記撮像画像に基づいて、撮像時点ごとの前記移動体のピッチング量を推定するピッチング量推定部と、前記撮像画像に対して前記ピッチング量を打ち消す第１補正を行って前記実写画像を生成する第１補正部と、を更に備えるものである。

【0009】

（４）：上記（３）の態様において、前記コンピュータグラフィック画像が追加された前記実写画像に対して、前記第１補正を元に戻す第２補正を行って学習用画像を生成する第２補正部を更に備え、前記学習処理部は、前記学習用画像を学習データとして前記学習済モデルのパラメータを学習するものである。

【0010】

（５）：上記（１）または（２）の態様において、前記撮像画像は、移動体に搭載されたカメラによって撮像された撮像画像であり、前記実写画像は、前記撮像画像であり、前記撮像画像に基づいて、撮像時点ごとの前記移動体のピッチング量を推定するピッチング量推定部を更に備え、前記ＣＧ画像追加部は、前記実写画像における前記ピッチング量に応じた位置に前記コンピュータグラフィック画像を追加するものである。

【0011】

（６）：上記（１）から（５）のいずれかの態様において、前記撮像画像は、移動体に搭載されたカメラによって撮像された撮像画像であり、前記移動体の移動量を取得する移動量取得部を更に備え、前記ＣＧ画像追加部は、前記移動体の移動量に基づいて前記コンピュータグラフィック画像の位置およびサイズを決定するものである。

【0012】

（７）：本発明の他の態様に係る学習方法は、コンピュータを用いて実行される学習方法であって、路上を撮像した撮像画像を取得することと、前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加することと、追加された前記コンピュータグラフィック画像の種別を教師データとして、画像が入力されると前記物体の種別を出力するように学習済モデルのパラメータを学習することと、を備える。

【0013】

（８）：本発明の他の態様に係るプログラムは、コンピュータにより実行されるプログラムであって、前記コンピュータに、路上を撮像した撮像画像を取得することと、前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加することと、追加された前記コンピュータグラフィック画像の種別を教師データとして、画像が入力されると前記物体の種別を出力するように学習済モデルのパラメータを学習することと、を実行させるものである。

【0014】

（９）：本発明の他の態様に係る物体検知装置は、移動体に搭載された物体検知装置であって、前記移動体に搭載されたカメラによって、前記移動体の進行方向の少なくとも路上を撮像した撮像画像を、上記（１）～（６）のいずれかの態様の学習装置によって学習された前記学習済モデルに入力することで、前記撮像画像に映された路上の物体が、前記移動体が接触を回避すべき物体か否かを判別するものである。

【0015】

（１０）：本発明の他の態様に係る学習装置は、路上を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加するＣＧ画像追加部と、追加された前記コンピュータグラフィック画像の位置を教師データとして、画像が入力されると前記物体の位置を出力するように学習済モデルのパラメータを学習する学習処理部と、を備える。

【0016】

（１１）：本発明の他の態様に係る学習方法は、コンピュータを用いて実行される学習方法であって、路上を撮像した撮像画像を取得することと、前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加することと、追加された前記コンピュータグラフィック画像の位置を教師データとして、画像が入力されると前記物体の位置を出力するように学習済モデルのパラメータを学習することと、を備える。

【0017】

（１２）：本発明の他の態様に係るプログラムは、コンピュータにより実行されるプログラムであって、前記コンピュータに、路上を撮像した撮像画像を取得することと、前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加することと、追加された前記コンピュータグラフィック画像の位置を教師データとして、画像が入力されると前記物体の位置を出力するように学習済モデルのパラメータを学習することと、を実行させる。

【発明の効果】

【0018】

上記（１）～（８）、（１０）～（１２）の態様によれば、路上に存在する物体を判別するための学習済モデルを好適に生成することができる。
上記（９）の態様によれば、好適に学習された学習済モデルを用いて路上の物体を適切に判別することができる。

【図面の簡単な説明】

【0019】

【図1】学習装置１００の構成の一例を示す図である。

【図2】学習装置１００の各部による処理の流れを例示した図である。

【図3】補正済画像ＩＭ２における路面の位置が勾配によって変化する様子を示す図である。

【図4】ピッチング量推定部１２０の処理について説明するための図である。

【図5】領域補正の内容について説明するための図である。

【図6】上下シフト処理の内容について説明するための図である。

【図7】ズレ量ｄを求める処理の内容について説明するための図である。

【図8】ピッチング量を推定する処理について説明するための図である。

【図9】ピッチング量を推定する処理について説明するための図である。

【図10】横移動量推定部１３１の処理について説明するための図である。

【図11】左右シフト・画像切り出し処理の内容について説明するための図である。

【図12】速度推定部１３２の処理について説明するための図である。

【図13】拡大／縮小・画像切り出し処理の内容について説明するための図である。

【図14】物体検知装置２００の構成および使用環境の一例を示す図である。

【発明を実施するための形態】

【0020】

以下、図面を参照し、本発明の学習装置、学習方法、プログラム、および物体検知装置の実施形態について説明する。学習装置は、移動体に搭載される物体検知装置が用いる物体判別用の学習済モデルを生成する装置である。移動体とは、例えば、四輪車両や二輪車両、マイクロモビリティ、ロボット等の自ら移動するもの、或いは、自ら移動する移動体に載置され、または人によって運ばれることで移動するスマートフォンなどの可搬型装置である。以下の説明において移動体は四輪車両であるものとし、移動体のことを「車両」と称して説明を行う。

【0021】

［学習装置］
図１は、学習装置１００の構成の一例を示す図である。物体検知装置２００は、例えば、撮像画像取得部１１０と、ピッチング量推定部１２０と、第１補正部１２２と、第２補正部１２４と、日射方向推定部１２６と、移動量取得部１３０と、ＣＧ（コンピュータグラフィック）画像追加部１４０と、学習処理部１５０と、記憶部１７０とを備える。移動量取得部１３０は、例えば、横移動量推定部１３１と、速度推定部１３２とを備える。ＣＧ画像追加部１４０は、例えば、ＣＧ画像生成部１４１と、ＣＧ画像移動量／拡大率算出部１４２と、路面位置推定部１４３と、ＣＧ画像位置特定部１４４と、画像合成部１４５とを備える。記憶部１７０以外の各部は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部１７０には、実走行画像１７１、機械学習モデル定義情報１７２などのデータや情報が格納される。

【0022】

撮像画像取得部１１０は、例えば、車両の進行方向の少なくとも路上を撮像した撮像画像であって、車両が移動している間に（一時的に停止する場合も当然に含まれる）車両に搭載されたカメラによって撮像された撮像画像を取得する。撮像画像は、時系列に画像が連なる動画像である。撮像画像は、定点観測用カメラによって撮像されたものでもよいし、スマートフォンのカメラによって撮像されたものでもよい。例えば、記憶部１７０に格納された実走行画像１７１が、この撮像画像の一例である。撮像画像取得部１１０は、記憶部１７０から実走行画像１７１を読みだして他の機能部に提供する（例えば、ＲＡＭ（Random Access Memory）の共有エリアに展開する）。実走行画像１７１は、進行方向側を撮像するカメラを搭載した車両において、車両の移動と共に撮像されたものである。実走行画像１７１は、車載通信装置によってＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などのネットワークを介して学習装置１００に提供されたものでもよいし、各種可搬型記憶装置によって学習装置１００まで運ばれて記憶部１７０に格納されたものでもよい。

【0023】

以降の機能部の処理について、図２を参照しながら説明する。図２は、学習装置１００の各部による処理の流れを例示した図である。ここでは、実走行画像１７１のことを実走行画像ＩＭ１と称する。

【0024】

ピッチング量推定部１２０は、実走行画像ＩＭ１における、撮像時点ごとの車両のピッチング量を推定する。ピッチング量推定部１２０は、例えば、撮像時刻（以下、単に時刻と称する）ｋの実走行画像ＩＭ１と、時刻ｋ－１の実走行画像ＩＭ１を比較し、時刻ｋと時刻ｋ－１との間の車両のピッチング量を、時刻ｋのピッチング量として推定する。ピッチング量推定部１２０は、係る処理を各時刻について行う。ピッチング量とは、車両の左右方向を軸とした軸まわりの回転量である。ピッチング量が存在すると、時刻ｋと時刻ｋ－１との間で実走行画像ＩＭ１に縦方向の揺れが生じるため、後述するＣＧ画像追加部１４０の処理のためにピッチング量を補正する処理をしておく必要がある。ピッチング量推定部１２０の処理の詳細については後述する。

【0025】

第１補正部１２２は、実走行画像ＩＭ１に対して、ピッチング量推定部１２０によって推定されたピッチング量に応じた画像の上下変動を打ち消すための第１補正を行う。例えば、第１補正部１２２は、ピッチング量に対して画像上の各画素がどれ位上下に変動するかを規定したテーブルやマップを用いて、第１補正の補正量を決定する。第１補正部１２２による第１補正が行われた画像を、補正済画像ＩＭ２と称する。補正済画像ＩＭ２は、「撮像画像に基づく実写画像」の一例である。

【0026】

第２補正部１２４は、補正済画像ＩＭ２に対してＣＧ画像追加部１４０によってＣＧ画像が追加されたＣＧ追加済画像ＩＭ３に対して、第１補正を元に戻す第２補正を行って学習用画像ＩＭ４を生成する。

【0027】

日射方向推定部１２６は、補正済画像ＩＭ２に基づいて、実走行画像ＩＭ１に映された風景における日射方向を推定する。例えば、日射方向推定部１２６は、補正済画像ＩＭ２に含まれる影の部分と、当該影を作り出したことが推定される立体物とを補正済画像ＩＭ２において認識し、認識した両者の位置関係に基づく日射方向を画像平面から実空間に変換することで、実空間における日射方向を導出する。

【0028】

移動量取得部１３０は、車両の移動量を推定する。具体的には、移動量取得部１３０は、以下の二つの移動量を推定する。

【0029】

移動量取得部１３０の横移動量推定部１３１は、例えば、時刻ｋの実走行画像ＩＭ１と、時刻ｋ－１の実走行画像ＩＭ１を比較し、時刻ｋと時刻ｋ－１との間の車両の横移動量（車両中心軸に直交する方向の移動量、或いは道路幅方向の移動量をいう）を推定する。横移動量推定部１３１の処理の詳細については後述する。

【0030】

移動量取得部１３０の速度推定部１３２は、例えば、時刻ｋの実走行画像ＩＭ１と、時刻ｋ－１の実走行画像ＩＭ１を比較し、時刻ｋにおける車両の速度を推定する。速度推定部１３２の処理の詳細については後述する。

【0031】

ＣＧ画像追加部１４０は、補正済画像ＩＭ２に対して、路上に存在する物体のＣＧ画像を追加する。

【0032】

ＣＧ画像追加部１４０のＣＧ画像生成部１４１は、例えば、落下物あるいは放置物として路上に存在し得る幾つかの物体（例えば、タイヤ、段ボール箱、自転車、鉄骨といったもの）であって、車両が接触を回避すべき物体のテンプレート画像を記憶部１７０から読み出し、後述する拡大率に応じたサイズに変換あるいは再レンダリングし、更に、日射方向推定部１２６により推定された日射方向に基づく影を付与して、ＣＧ画像を生成する。また、ＣＧ画像生成部１４１は、路面標示やマンホール、路面材などの車両が回避する必要の無い物体のＣＧ画像を生成する。ＣＧ画像生成部１４１は、撮像画像として収集されなかった路面標示、かすれた路面標示、出現頻度の高い落下物について、色々な角度や状態（つぶれ、割れ、汚れなどが生じた状態）でＣＧ画像を生成する。これによって、撮像画像だけを用いて学習済モデルを生成する場合に比して、学習処理のカバーする範囲を広げることができ、未学習物体として認識される確率を下げることができ、車両において誤回避が生じるのを抑制することができる。

【0033】

ＣＧ画像追加部１４０のＣＧ画像移動量／拡大率算出部１４２は、移動量取得部１３０によって推定された車両の移動量に基づいて、ＣＧ画像の位置およびサイズを決定する。具体的に、ＣＧ画像移動量／拡大率算出部１４２は、時刻ｋ－１におけるＣＧ画像の位置に対して、時刻ｋ－１から時刻ｋまでの間に車両が進行した距離および横移動量に基づく画像上の変位量（上空から見た想定平面上の変位量を画像平面に射影して求められる）を加算して、時刻ｋにおけるＣＧ画像の位置を算出する。ＣＧ画像移動量／拡大率算出部１４２は、時刻ｋにおけるＣＧ画像の計算上の位置をＣＧ画像位置特定部１４４に出力する。また、ＣＧ画像移動量／拡大率算出部１４２は、時刻ｋ－１におけるＣＧ画像を、時刻ｋ－１から時刻ｋまでの間に車両が進行した距離に基づく拡大率を算出する。ＣＧ画像移動量／拡大率算出部１４２は、拡大率をＣＧ画像生成部１４１に出力する。拡大率は、車両が前進している場合は１を超える値となり、車両が後退している場合は１未満の値となる（すなわち縮小される）。

【0034】

ＣＧ画像追加部１４０の路面位置推定部１４３は、補正済画像ＩＭ２に基づいて移動体１の進行方向の実空間における路面の位置を推定し、路面上の各位置と補正済画像ＩＭ２における各位置との対応関係を構築する。図３は、補正済画像ＩＭ２における路面の位置が勾配によって変化する様子を示す図である。図示するように、移動体１の進行方向の実空間における路面が上り坂または下り坂であったり（特に車両の居る位置は平坦であり且つ進行方向側で勾配が発生する場合）、或いは左右にカーブしている場合、補正済画像ＩＭ２における路面の位置が変化するため、ＣＧ画像を追加すべき画像上の位置が変化する。路面位置推定部１４３は、その画像上の位置を認識するために上記の処理を行う。路面位置推定部１４３の処理は、路面が水平でカーブしていない理想状態における画像上の各位置と、現実の状態を示す補正済画像ＩＭ２上の各位置との対応関係を構築するものであってよい。

【0035】

ＣＧ画像追加部１４０のＣＧ画像位置特定部１４４は、ＣＧ画像移動量／拡大率算出部１４２から取得した計算上の位置（前述の理想状態における位置に対応する）と、路面位置推定部１４３によって推定された路面の位置とに基づいて、画像上のＣＧ画像の位置を特定する。

【0036】

ＣＧ画像追加部１４０の画像合成部１４５は、ＣＧ画像生成部１４１によって生成されたＣＧ画像を、ＣＧ画像位置特定部１４４によって特定されたＣＧ画像の位置で補正済画像ＩＭ２に重畳させる（追加する）。これによって、ＣＧ追加済画像ＩＭ３が生成される。ＣＧ画像追加部１４０は、ＣＧ画像の占める位置に関しては路面の画像を消去して上書きしてもよいし、路面の画像を残したままＣＧ画像の画素値を追加してもよい。

【0037】

前述したように、第２補正部１２４は、ＣＧ追加済画像ＩＭ３に対して、第１補正を元に戻す第２補正を行って学習用画像ＩＭ４を生成する。

【0038】

学習処理部１５０は、機械学習モデル定義情報１７２によって定義される機械学習モデルのパラメータを学習する。機械学習モデル定義情報１７２は、機械学習モデルの節点数、接続関係などを定義する情報である。機械学習モデルは、図２に示すように、例えばＤＮＮ（Deep Newrala Network）である。学習処理部１５０は、学習用画像ＩＭ４を学習データ、追加されたＣＧ画像の種別を教師データとして、バックプロパゲーションなどの手法により、画像が入力されると物体（車両が接触を回避すべき物体）の種別を出力するように、機械学習モデルのパラメータを学習する。パラメータを学習し終えた機械学習モデルは、学習済モデルとして車載機において利用される。従って、学習処理部１５０は、学習済モデルのパラメータを学習するとも言える。

【0039】

これに代えて（又は、加えて）、学習処理部１５０は、学習用画像ＩＭ４を学習データ、追加されたＣＧ画像の位置を教師データとして、バックプロパゲーションなどの手法により、画像が入力されると物体（車両が接触を回避すべき物体）の位置を出力するように、機械学習モデルのパラメータを学習してもよい。

【0040】

上記の説明において、ＣＧ画像追加部１４０は、実走行画像ＩＭ１に対して、ピッチング量推定部１２０によって推定されたピッチング量に応じた画像の上下変動を打ち消すための第１補正を行った補正済画像ＩＭ２に対して、路上に存在する物体のＣＧ画像を追加し、ＣＧ画像が追加されたＣＧ追加済画像ＩＭ３も、第１補正を元に戻す第２補正を行って学習用画像ＩＭ４が生成されるものとした。これに代えて、ＣＧ画像追加部１４０は、実走行画像ＩＭ１に対して、ＣＧ画像位置特定部１４４が特定したＣＧ画像の位置を、ピッチング量推定部１２０によって推定されたピッチング量に応じて修正した位置に、ＣＧ画像を追加してもよい。この場合、第２補正は不要となる。

【0041】

上記説明した処理によって、路上に存在する物体を判別するための学習済モデルを好適に生成することができる。

【0042】

以下、ピッチング量推定部１２０、横移動量推定部１３１、速度推定部１３２の処理について、より詳細に説明する。図４は、ピッチング量推定部１２０の処理について説明するための図である。ピッチング量推定部１２０は、時刻ｋ、時刻ｋ－１の実走行画像ＩＭ１をそれぞれグレースケール化する。以下、グレースケール化した画像をグレースケール画像と称する。ピッチング量推定部１２０は、時刻ｋのグレースケール画像について、不要な部分を削除して切り出す画像切り出し処理を行う。

【0043】

ピッチング量推定部１２０は、時刻ｋ－１のグレースケール画像について、車両の速度に基づく領域補正を行う。車両の速度は、後述する速度推定部１３２の処理結果であってもよいし、車両においてカメラによる撮像と共に速度センサから取得されたもの（撮像画像に付随して提供されたもの）であってもよい。図５は、領域補正の内容について説明するための図である。ピッチング量推定部１２０は、時刻ｋ－１から時刻ｋまでの間の車両が移動した距離を、車両の速度から算出し、移動した距離に基づく拡大率（すなわち速度に基づく拡大率）で時刻ｋ－１のグレースケール画像を拡大する。これは、同じ箇所を撮像した部分に関して、車両が前進しているならば時刻ｋの方が時刻ｋ－１よりも距離が近くなっている筈であり、時刻ｋの方がより拡大されて映っているからである。ピッチング量推定部１２０は、領域補正によって、同じ対象物が同じサイズで時刻ｋと時刻ｋ－１のグレースケール画像に現れるようにし、画像間の比較を正確に行えるようにする。ピッチング量推定部１２０は、拡大した画像の上下左右の端部をトリムして、元のサイズに戻す。

【0044】

図４に戻り、ピッチング量推定部１２０は、領域補正を行った時刻ｋ－１のグレースケール画像に対して上下シフト処理を行い、Ｎ個の画像を生成する。図６は、上下シフト処理の内容について説明するための図である。ピッチング量推定部１２０は、領域補正を行った時刻ｋ－１のグレースケール画像について、上方向と下方向にそれぞれ、ズレ量を異ならせた複数の（ここではＮ個の）比較対象画像を生成する。図中、破線は、ズレを生じさせる前のグレースケール画像を示している。そして、時刻ｋのグレースケール画像から決められた位置の領域を切り出したもの（切り出し領域）と、比較対象画像の切り出し領域との間で画素間の差分を画素とした差分画像をＮ個生成する（図３の差分画像生成処理）。図４に戻り、ピッチング量推定部１２０は、差分画像の各画素の画素値を閾値と比較して閾値以上である場合は１、閾値未満である場合はゼロの画素値を割り当てる２値化処理を行う。そして、ピッチング量推定部１２０は、画素値の総和が最も小さい（ゼロである画素の数が最も多い）差分対象画像を選択し、その差分対象画像が生成されるに至ったズレ量を求める。図７は、ズレ量ｄを求める処理の内容について説明するための図である。図示する例では、ズレ量ｄがマイナス２、すなわち下方向に２ピクセルずらした比較対象画像からの差分対象画像が、ピクセル値総和の最も小さいものとして選択される。

【0045】

次に、ピッチング量推定部１２０は、ズレ量ｄに基づいてピッチング量を推定する。図８および図９は、ピッチング量を推定する処理について説明するための図である。ずれ量ｄとピッチング量θとの間には、以下の式で表される関係がある。式中、ｌは画像における消失点ＶＰまでの実空間の距離（例えば１００～２００［ｍ］程度）であり、ｈは画像における下端部から消失点ＶＰまでの高さを２倍した値である。ピッチング量推定部１２０は、この式に基づいてピッチング量θを求める。なお画像のサイズに依存してｈが変わるが、ピッチング量θは実質的に画像上のずれ量に戻して利用されるため、係る点で問題は生じない。

【0046】

ｔａｎ｛（α／２）＋θ｝＝｛ｄ＋（ｈ／２）｝／ｌ

【0047】

図１０は、横移動量推定部１３１の処理について説明するための図である。横移動量推定部１３１は、時刻ｋ、時刻ｋ－１の実走行画像ＩＭ１をそれぞれグレースケール化する（グレースケール化する処理は、ピッチング量推定部１２０と共通化されてもよい。速度推定部１３２についても同様である。）。横移動量推定部１３１は、時刻ｋ－１のグレースケール画像について、不要な部分を削除して切り出す画像切り出し処理を行う。

【0048】

横移動量推定部１３１は、時刻ｋのグレースケール画像について、車両の速度に基づく領域補正を行う。これについてはピッチング量推定部１２０と同様の趣旨であり、拡大／縮小の方向はピッチング量推定部１２０と同じになる。

【0049】

横移動量推定部１３１は、領域補正を行った時刻ｋのグレースケール画像に対して左右シフト・画像切り出し処理を行い、Ｍ個の画像を生成する。図１１は、左右シフト・画像切り出し処理の内容について説明するための図である。横移動量推定部１３１は、領域補正を行った時刻ｋのグレースケール画像について、左方向と右方向にそれぞれ、ズレ量を異ならせた複数の（ここではＭ個の）比較対象画像を生成する。図中、破線は、ズレを生じさせる前のグレースケール画像を示している。そして、時刻ｋ－１のグレースケール画像から決められた位置の領域を切り出したもの（切り出し領域）と、比較対象画像の切り出し領域との間で画素間の差分を画素とした差分画像をＭ個生成する（図１０の差分画像生成処理）。図１０に戻り、横移動量推定部１３１は、差分画像の各画素の画素値を閾値と比較して閾値以上である場合は１、閾値未満である場合はゼロの画素値を割り当てる２値化処理を行う。そして、横移動量推定部１３１は、画素値の総和が最も小さい（ゼロである画素の数が最も多い）差分対象画像を選択し、その差分対象画像が生成されるに至ったシフト量に基づいて、横移動量ΔＹを求める。

【0050】

図１２は、速度推定部１３２の処理について説明するための図である。速度推定部１３２は、時刻ｋ、時刻ｋ－１の実走行画像ＩＭ１をそれぞれグレースケール化する。速度推定部１３２は、時刻ｋ－１のグレースケール画像について、不要な部分を削除して切り出す画像切り出し処理を行う。

【0051】

速度推定部１３２は、時刻ｋのグレースケール画像に対して拡大／縮小・画像切り出し処理を行い、Ｒ個の画像を生成する。図１３は、拡大／縮小・画像切り出し処理の内容について説明するための図である。速度推定部１３２は、時刻ｋのグレースケール画像について、拡大方向と縮小方向にそれぞれ、拡大率（縮小率）を異ならせた複数の（ここではＲ個の）比較対象画像を生成する。図中、破線は、拡大または縮小する前のグレースケール画像を示している。そして、時刻ｋ－１のグレースケール画像から決められた位置の領域を切り出したもの（切り出し領域）と、比較対象画像の切り出し領域との間で画素間の差分を画素とした差分画像をＲ個生成する（図１０の差分画像生成処理）。図１２に戻り、速度推定部１３２は、差分画像の各画素の画素値を閾値と比較して閾値以上である場合は１、閾値未満である場合はゼロの画素値を割り当てる２値化処理を行う。そして、速度推定部１３２は、画素値の総和が最も小さい（ゼロである画素の数が最も多い）差分対象画像を選択し、その差分対象画像が生成されるに至った拡大率（縮小率）に基づいて、速度Ｖを求める。

【0052】

以上説明した学習装置の実施形態によれば、移動体の進行方向の少なくとも路上を撮像した撮像画像であって、移動体が移動している間に移動体に搭載されたカメラによって撮像された撮像画像を取得する撮像画像取得部１１０と、撮像画像に基づく実写画像ＩＭ２に対して、路上に存在する物体のコンピュータグラフィック画像を追加するＣＧ画像追加部１４０と、追加されたコンピュータグラフィック画像の位置を教師データとして、画像が入力されると物体の位置を出力するように学習済モデルのパラメータを学習する学習処理部１５０と、を備えることにより、路上に存在する物体を判別するための学習済モデルを好適に生成することができる。

【0053】

［物体検知装置］
以下、学習装置１００により生成された学習済モデルを利用した物体検知装置の実施形態について説明する。物体検知装置は、例えば、移動体に搭載される。移動体とは、例えば、四輪車両や二輪車両、マイクロモビリティ、ロボット等である。以下の説明において移動体は四輪車両であるものとし、移動体のことを「車両」と称して説明を行う。

【0054】

図１４は、物体検知装置２００の構成および使用環境の一例を示す図である。物体検知装置２００は、カメラ１０、走行制御装置３００、報知装置３１０などと通信する。

【0055】

カメラ１０は、車両のフロントガラスの裏面等に取り付けられ、車両の進行方向の少なくとも路上を撮像し、撮像画像を物体検知装置２００に出力する。なお、カメラ１０と物体検知装置２００の間には、センサフュージョン装置などが介在してもよいが、これについて説明を省略する。

【0056】

走行制御装置３００は、例えば、車両を自律的に走行させる自動運転制御装置、車間距離制御や自動ブレーキ制御、自動車線変更制御などを行う運転支援装置などである。報知装置３１０は、車両の乗員に対して情報を出力するためのスピーカ、バイブレータ、発光装置、表示装置などである。

【0057】

物体検知装置２００は、例えば、取得部２１０と、低解像度処理部２２０と、高解像度処理部２３０と、記憶部２５０とを備える。記憶部２５０には、学習装置１００によって学習された学習済モデル２５２が格納されている。取得部２１０、低解像度処理部２２０、および高解像度処理部２３０のそれぞれは、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0058】

取得部２１０は、カメラ１０から撮像画像を取得する。取得部２１０は、取得した撮像画像（のデータ）をＲＡＭなどのワーキングメモリに格納する。

【0059】

低解像度処理部２２０は、撮像画像に対して間引き処理などを行って、撮像画像よりも画質を低下させた低解像度画像を生成する。低解像度画像は、例えば、撮像画像よりも画素数が少ない画像である。低解像度処理部２２０は、例えば、低解像度画像の中で特徴的な部分を含む領域を抽出し、着目箇所として高解像度処理部２３０に出力する。この領域を抽出する処理の具体例については特段の制約は無く、任意の手法を採用してよい。

【0060】

高解像度処理部２３０は、撮像画像における着目箇所に対応する部分を切り出し、その部分の画像を、学習済モデル２５２に入力する。学習済モデル２５２は、着目箇所に映された画像が路面標示であるか落下物（学習装置１００においてＣＧ画像を用いた学習されたもの）であるか、それとも不明である（未学習の物体である）かを判別する。

【0061】

高解像度処理部２３０の判別結果は、走行制御装置３００および／または報知装置３１０に出力させる。走行制御装置３００は、「落下物」と判別された物体（実際は画像上の領域）、および、不明である（未学習の物体である）物体と車両の接触を回避するために、自動ブレーキ制御、自動操舵制御などを行う。報知装置３１０は、「落下物」と判別された物体（同上）と車両とのＴＴＣ（Time To Collision）が閾値未満となったときに種々の方法で警報を出力する。

【0062】

以上説明した物体検知装置の実施形態によれば、好適に学習された学習済モデル２５２を用いて路上の物体を適切に判別することができる。

【0063】

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
路上を撮像した撮像画像を取得し、
前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加し、
追加された前記コンピュータグラフィック画像の種別を教師データとして、画像が入力されると前記物体の種別を出力するように学習済モデルのパラメータを学習する、
ように構成されている、学習装置。

【0064】

上記説明した実施形態は、以下のように表現することもできる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
路上を撮像した撮像画像を取得し、
前記撮像画像に基づく実写画像に対して、路上に存在する物体のコンピュータグラフィック画像を追加し、
追加された前記コンピュータグラフィック画像の位置を教師データとして、画像が入力されると前記物体の位置を出力するように学習済モデルのパラメータを学習する、
ように構成されている、学習装置。

【0065】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0066】

１０ カメラ
１００ 学習装置
１１０ 撮像画像取得部
１２０ ピッチング量推定部
１２２ 第１補正部
１２４ 第２補正部
１２６ 日射方向推定部
１３０ 移動量推定部
１４０ ＣＧ画像追加部
１５０ 学習処理部
１７０ 記憶部
２００ 物体検知装置
２５２ 学習済モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】