(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143142
(43)【公開日】2024-10-11
(54)【発明の名称】物体検知装置、物体検知方法およびプログラム
(51)【国際特許分類】
G06V 10/30 20220101AFI20241003BHJP
G06T 7/254 20170101ALI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
G06V 20/00 20220101ALI20241003BHJP
G06T 7/70 20170101ALI20241003BHJP
【FI】
G06V10/30
G06T7/254 Z
G06T7/00 350B
G06V20/00
G06T7/70 Z
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023055664
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】廣岡 俊昭
(72)【発明者】
【氏名】和気 一博
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096EA12
5L096EA16
5L096GA41
5L096GA55
5L096HA13
5L096KA04
5L096MA03
(57)【要約】
【課題】検知性能の低下を抑制することができる物体検知装置を提供する。
【解決手段】物体検知装置100は、カメラ110の撮像環境を推定する環境推定部122と、その撮像環境におけるカメラ110による撮像によって得られたカメラ画像Pbを、学習環境と撮像環境との差分に基づいて補正することによって、補正カメラ画像Pcを生成する補正部123と、学習モデル125bに補正カメラ画像Pcを入力することによって、補正カメラ画像Pcに映し出されている物体を検知する検知部124とを備える。学習環境は、学習モデル125cの機械学習に用いられる学習用画像が得られた環境である。補正部123は、カメラ画像Pbの補正では、その学習環境におけるカメラ110による撮像によって得られる画像にカメラ画像Pbが近付くように、カメラ画像Pbを補正する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
カメラが撮像する環境を撮像環境として推定する環境推定部と、
前記撮像環境における前記カメラによる撮像によって得られたカメラ画像を、学習環境と前記撮像環境との差分に基づいて補正することによって、補正カメラ画像を生成する補正部と、
学習済みの学習モデルに前記補正カメラ画像を入力することによって、前記補正カメラ画像に映し出されている物体を検知する検知部とを備え、
前記学習環境は、
前記学習済みの学習モデルを機械学習によって生成するために、学習モデルの入力に用いられる学習用画像が得られた環境であって、
前記機械学習は、
前記学習用画像の前記学習モデルへの入力に対して、前記学習用画像に映し出されている物体の検知結果を示す情報が出力されるように、前記学習モデルに対して行われる学習であって、
前記補正部は、前記カメラ画像の補正では、
前記学習環境における前記カメラによる撮像によって得られる画像に前記カメラ画像が近付くように、前記カメラ画像を補正する、
物体検知装置。
【請求項2】
前記撮像環境は、
前記カメラの設置状態を含み、
前記学習環境は、
前記学習用画像を得るための学習用カメラの設置状態を含む、
請求項1に記載の物体検知装置。
【請求項3】
前記カメラの設置状態は、
設置されている前記カメラの地面からの高さと、設置されている前記カメラの角度と、前記検知部の検知対象以外の物体であるガーニッシュが前記カメラ画像に映り込んでいるガーニッシュ領域の状態と、のうちの少なくとも1つであり、
前記学習用カメラの設置状態は、
設置されている前記学習用カメラの地面からの高さと、設置されている前記学習用カメラの角度と、前記ガーニッシュが前記学習用画像に映り込んでいるガーニッシュ領域の状態と、のうちの少なくとも1つである、
請求項2に記載の物体検知装置。
【請求項4】
前記撮像環境は、
前記カメラ画像の画像特徴量を含み、
前記学習環境は、
前記学習用画像の画像特徴量を含む、
請求項1に記載の物体検知装置。
【請求項5】
前記カメラ画像の画像特徴量は、
前記カメラ画像における輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つであり、
前記学習用画像の画像特徴量は、
前記学習用画像における輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つである、
請求項4に記載の物体検知装置。
【請求項6】
前記学習環境である前記学習用カメラの高さまたは角度と、前記撮像環境である前記カメラの高さまたは角度との間に差分がある場合、
前記補正部は、
前記差分に応じて前記カメラ画像を少なくとも回転することによって前記カメラ画像を補正する、
請求項3に記載の物体検知装置。
【請求項7】
前記学習環境である前記学習用画像の周波数特性値と、前記撮像環境である前記カメラ画像の周波数特性値との間に差分がある場合、
前記補正部は、
前記差分に応じて前記カメラ画像に対してフィルタを適用することによって、前記カメラ画像を補正する、
請求項5に記載の物体検知装置。
【請求項8】
前記学習環境である前記学習用画像のガーニッシュ領域の状態と、前記撮像環境である前記カメラ画像のガーニッシュ領域の状態との間に差分がある場合、
前記補正部は、
前記カメラ画像のガーニッシュ領域のうちの前記差分に応じた部分の画像を、前記機械学習に用いられていない色の画像に置き換えることによって、前記カメラ画像を補正する、
請求項3に記載の物体検知装置。
【請求項9】
コンピュータが行う物体検知方法であって、
カメラが撮像する環境を撮像環境として推定し、
前記撮像環境における前記カメラによる撮像によって得られたカメラ画像を、学習環境と前記撮像環境との差分に基づいて補正することによって、補正カメラ画像を生成し、
学習済みの学習モデルに前記補正カメラ画像を入力することによって、前記補正カメラ画像に映し出されている物体を検知し、
前記学習環境は、
前記学習済みの学習モデルを機械学習によって生成するために、学習モデルの入力に用いられる学習用画像が得られた環境であって、
前記機械学習は、
前記学習用画像の前記学習モデルへの入力に対して、前記学習用画像に映し出されている物体の検知結果を示す情報が出力されるように、前記学習モデルに対して行われる学習であって、
前記カメラ画像の補正では、
前記学習環境における前記カメラによる撮像によって得られる画像に前記カメラ画像が近付くように、前記カメラ画像を補正する、
物体検知方法。
【請求項10】
コンピュータが物体を検知するためのプログラムであって、
カメラが撮像する環境を撮像環境として推定し、
前記撮像環境における前記カメラによる撮像によって得られたカメラ画像を、学習環境と前記撮像環境との差分に基づいて補正することによって、補正カメラ画像を生成し、
学習済みの学習モデルに前記補正カメラ画像を入力することによって、前記補正カメラ画像に映し出されている物体を検知することを、
前記コンピュータに実行させ、
前記学習環境は、
前記学習済みの学習モデルを機械学習によって生成するために、学習モデルの入力に用いられる学習用画像が得られた環境であって、
前記機械学習は、
前記学習用画像の前記学習モデルへの入力に対して、前記学習用画像に映し出されている物体の検知結果を示す情報が出力されるように、前記学習モデルに対して行われる学習であって、
前記カメラ画像の補正では、
前記学習環境における前記カメラによる撮像によって得られる画像に前記カメラ画像が近付くように、前記カメラ画像を補正する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、物体を検知する装置などに関する。
【背景技術】
【0002】
従来、カメラによる撮像によって得られる画像に映し出されている物体を検知する物体検出システムが提案されている(例えば、特許文献1参照)。この物体検出システムでは、学習済みの学習モデルを用いてその物体を検知する。ここで、その学習済みの学習モデルの生成では、カメラによって得れる画像に対して前処理が行われ、その前処理が行われた後の画像が、学習モデルの機械学習に用いられる。前処理では、画像サイズの調整、歪みの調整、輝度変換、回転、水平反転、切り取り、ズームなどが行われる。これにより、効果的な学習を行うことができ、物体の検知精度を高めることができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1の物体検出システムでは、物体の検知性能が低下してしまう場合があるという課題がある。
【0005】
そこで、本開示は、検知性能の低下を抑制することができる物体検知装置などを提供する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る物体検知装置は、カメラが撮像する環境を撮像環境として推定する環境推定部と、前記撮像環境における前記カメラによる撮像によって得られたカメラ画像を、学習環境と前記撮像環境との差分に基づいて補正することによって、補正カメラ画像を生成する補正部と、学習済みの学習モデルに前記補正カメラ画像を入力することによって、前記補正カメラ画像に映し出されている物体を検知する検知部とを備え、前記学習環境は、前記学習済みの学習モデルを機械学習によって生成するために、学習モデルの入力に用いられる学習用画像が得られた環境であって、前記機械学習は、前記学習用画像の前記学習モデルへの入力に対して、前記学習用画像に映し出されている物体の検知結果を示す情報が出力されるように、前記学習モデルに対して行われる学習であって、前記補正部は、前記カメラ画像の補正では、前記学習環境における前記カメラによる撮像によって得られる画像に前記カメラ画像が近付くように、前記カメラ画像を補正する。
【0007】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【発明の効果】
【0008】
本開示の物体検知装置は、検知性能の低下を抑制することができる。
【0009】
なお、本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施の形態並びに明細書および図面に記載された構成によって提供されるが、必ずしも全ての構成が必要とはされない。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施の形態における物体検知装置の概要を説明するための図である。
【
図2】
図2は、実施の形態における物体検知装置に含まれる処理部の機能構成を示すブロック図である。
【
図3】
図3は、実施の形態における処理部による処理動作の一例を示すフローチャートである。
【
図4】
図4は、本実施の形態における、カメラの高さと学習用カメラの高さとが異なる場合に行われる補正の一例を説明するための図である。
【
図5】
図5は、本実施の形態における、カメラ画像のガーニッシュ領域の状態と、学習用画像のガーニッシュ領域の状態とが異なる場合に行われる補正の一例を説明するための図である。
【
図6】
図6は、本実施の形態における、カメラ画像の周波数特性値と学習用画像の周波数特性値とが異なる場合に行われる補正の一例を説明するための図である。
【発明を実施するための形態】
【0011】
(本開示の基礎となった知見)
本発明者は、「背景技術」の欄において記載した特許文献1の物体検出システムに関し、以下の問題が生じることを見いだした。
【0012】
例えば、車両の周囲の物体を検知するために、その車両に上記特許文献1の物体検出システムが搭載される。このとき、その物体検出システムに用いられるカメラが車両に設置される状態によって、物体の検知性能が低下する。つまり、学習モデルの機械学習に用いられる画像が得られるときのカメラの設置状態と、物体を検知するために用いられるカメラの車両への設置状態とが異なる場合に、物体の検知性能が低下する。例えば、学習モデルの機械学習に用いられる画像が得られるときのカメラは、地上から比較的高い位置に設置される。この場合、そのカメラによる撮像によって得られる画像には、人などの物体が下方に映し出されている。このような画像を用いて機械学習が行われる。一方、物体を検知するために用いられるカメラは、車両のうち、地上から比較的低い位置に設置される。この場合、そのカメラによる撮像によって得られる画像には、人のなどの検知対象の物体が上方に映し出される。したがって、機械学習に用いられる画像と、物体を検知するために用いられるカメラによって得られる画像とでは、物体の映し出され方が異なる。
【0013】
そのため、物体の検知性能が低下する。前処理が行われても、物体を検知するためのカメラの車両への設置状態が考慮されていなければ、上述のように、物体の検知性能は低下する。その結果、上記特許文献1の物体検出システムでは、物体の検知性能の低下を抑制するためには、物体を検知するために用いられるカメラの設置状態と同じ設置状態にされた機械学習用のカメラを用いて、学習モデルを改めて再作成する必要がある。つまり、再学習が必要となり、工数または手間がかかってしまう。なお、機械学習に用いられる画像と、物体を検知するために用いられるカメラにより得られる画像とで、輝度などの画像特徴量が異なる場合にも、上述と同様の課題が生じる。
【0014】
このような課題を解決するために、本開示の第1態様に係る物体検知装置は、カメラが撮像する環境を撮像環境として推定する環境推定部と、前記撮像環境における前記カメラによる撮像によって得られたカメラ画像を、学習環境と前記撮像環境との差分に基づいて補正することによって、補正カメラ画像を生成する補正部と、学習済みの学習モデルに前記補正カメラ画像を入力することによって、前記補正カメラ画像に映し出されている物体を検知する検知部とを備え、前記学習環境は、前記学習済みの学習モデルを機械学習によって生成するために、学習モデルの入力に用いられる学習用画像が得られた環境であって、前記機械学習は、前記学習用画像の前記学習モデルへの入力に対して、前記学習用画像に映し出されている物体の検知結果を示す情報が出力されるように、前記学習モデルに対して行われる学習であって、前記補正部は、前記カメラ画像の補正では、前記学習環境における前記カメラによる撮像によって得られる画像に前記カメラ画像が近付くように、前記カメラ画像を補正する。
【0015】
これにより、学習環境と撮像環境との差分に基づく補正がカメラ画像に対して行われることによって補正カメラ画像が生成される。つまり、その学習環境におけるカメラによる撮像によって得られる画像にカメラ画像が近付くように、カメラ画像が補正される。したがって、このような補正によって生成される補正カメラ画像を、機械学習が行われたときの学習環境で得られる画像として扱うことができる。その結果、撮像環境がどのような環境であっても、例えばカメラがどのような状態で車両に設置されても、学習環境と撮像環境との差分を吸収することができる。言い換えれば、補正カメラ画像が得られる環境を学習環境に近付けて一致させることができる。これにより、撮像環境がどのような環境であっても、補正カメラ画像に映し出されている物体の検知を、その学習環境で生成された学習済みの学習モデルを用いて行うことによって、物体の検知性能の低下を抑制することができる。したがって、学習モデルの再作成の手間を省くことができる。
【0016】
また、第1態様に従属する第2態様に係る物体検知装置では、前記撮像環境は、前記カメラの設置状態を含み、前記学習環境は、前記学習用画像を得るための学習用カメラの設置状態を含んでもよい。
【0017】
これにより、カメラの設置状態と学習用カメラの設置状態との差分を吸収することができる。したがって、カメラの設置状態がどのような状態であっても、物体の検知性能の低下を抑制することができる。
【0018】
また、第2態様に従属する第3態様に係る物体検知装置では、前記カメラの設置状態は、設置されている前記カメラの地面からの高さと、設置されている前記カメラの角度と、前記検知部の検知対象以外の物体であるガーニッシュが前記カメラ画像に映り込んでいるガーニッシュ領域の状態と、のうちの少なくとも1つであり、前記学習用カメラの設置状態は、設置されている前記学習用カメラの地面からの高さと、設置されている前記学習用カメラの角度と、前記ガーニッシュが前記学習用画像に映り込んでいるガーニッシュ領域の状態と、のうちの少なくとも1つであってもよい。
【0019】
これにより、カメラの設置状態と学習用カメラの設置状態との間で、高さ、角度、およびガーニッシュ領域の状態のうちの少なくとも1つに差分がある場合でも、その差分を吸収することができる。したがって、カメラの高さ、角度、およびガーニッシュ領域の状態のうちの少なくとも1つがどのような状態であっても、物体の検知性能の低下を抑制することができる。
【0020】
また、第1態様に従属する第4態様に係る物体検知装置では、前記撮像環境は、前記カメラ画像の画像特徴量を含み、前記学習環境は、前記学習用画像の画像特徴量を含んでもよい。
【0021】
これにより、カメラ画像の画像特徴量と学習用画像の画像特徴量との差分を吸収することができる。したがって、カメラ画像の画像特徴量がどのような量であっても、物体の検知性能の低下を抑制することができる。
【0022】
また、第4態様に従属する第5態様に係る物体検知装置では、前記カメラ画像の画像特徴量は、前記カメラ画像における輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つであり、前記学習用画像の画像特徴量は、前記学習用画像における輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つであってもよい。
【0023】
これにより、カメラ画像の画像特徴量と学習用画像の画像特徴量との間で、輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つに差分がある場合でも、その差分を吸収することができる。したがって、カメラ画像における輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つがどのような量または数値であっても、物体の検知性能の低下を抑制することができる。
【0024】
また、第3態様に従属する第6態様に係る物体検知装置では、前記学習環境である前記学習用カメラの高さまたは角度と、前記撮像環境である前記カメラの高さまたは角度との間に差分がある場合、前記補正部は、前記差分に応じて前記カメラ画像を少なくとも回転することによって前記カメラ画像を補正してもよい。なお、カメラ画像の回転は、カメラ画像における垂直方向および水平方向のうちの少なくとも1つの方向に対して行われる。例えば、カメラ画像における垂直方向の一端側の領域が他端側に移動するように、そのカメラ画像が回転される。回転の角度または大きさが大きいほど、その移動される領域の垂直方向の幅が広くなる。
【0025】
これにより、カメラの設置状態と学習用カメラの設置状態との間で、高さまたは角度に差分がある場合でも、その差分を適切に吸収することができる。したがって、カメラの高さまたは角度がどのような状態であっても、物体の検知性能の低下を適切に抑制することができる。
【0026】
また、第5態様に従属する第7態様に係る物体検知装置では、前記学習環境である前記学習用画像の周波数特性値と、前記撮像環境である前記カメラ画像の周波数特性値との間に差分がある場合、前記補正部は、前記差分に応じて前記カメラ画像に対してフィルタを適用することによって、前記カメラ画像を補正してもよい。
【0027】
これにより、カメラ画像の画像特徴量と学習用画像の画像特徴量との間で、周波数特性値に差分がある場合でも、その差分を適切に吸収することができる。したがって、カメラ画像における周波数特性値がどのような数値であっても、物体の検知性能の低下を適切に抑制することができる。
【0028】
また、第3態様に従属する第8態様に係る物体検知装置では、前記学習環境である前記学習用画像のガーニッシュ領域の状態と、前記撮像環境である前記カメラ画像のガーニッシュ領域の状態との間に差分がある場合、前記補正部は、前記カメラ画像のガーニッシュ領域のうちの前記差分に応じた部分の画像を、前記機械学習に用いられていない色の画像に置き換えることによって、前記カメラ画像を補正してもよい。機械学習に用いられていない色は、学習用画像に含まれていない色、あるいは、学習用画像に含まれる色のうち、用いられる頻度が最も少ない色であってもよい。
【0029】
これにより、カメラの設置状態と学習用カメラの設置状態との間で、ガーニッシュ領域の状態に差分がある場合でも、その差分を適切に吸収することができる。したがって、カメラ画像におけるガーニッシュ領域の状態がどのような状態であっても、物体の検知性能の低下を適切に抑制することができる。
【0030】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0031】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【0032】
(実施の形態)
図1は、本実施の形態における物体検知装置の概要を説明するための図である。
【0033】
本実施の形態における物体検知装置100は、車両Vに搭載され、例えばその車両Vの周辺にいる人1などの物体を検知する。このような物体検知装置100は、カメラ110と処理部120とを備える。
【0034】
カメラ110は、例えば単眼カメラであって、人1などの物体を撮像する。具体的には、カメラ110は、レンズおよび受光素子を備える。撮像が行われるときには、受光素子は、カメラ110の外部からレンズを介して光を受け、その光に応じた画像信号を出力する。カメラ110は、その撮像によって得られる画像信号によって表現されるカメラ画像を処理部120に出力する。また、カメラ110は、車両Vの構造物に対して設定されている。カメラ110が設置される地面からの高さ、およびカメラ110が設置される角度は、車両Vの構成、または、車両Vのユーザなどによって決定される。なお、角度は、例えば、カメラ110の光軸と、水平方向または鉛直方向との間の角度である。
【0035】
処理部120は、カメラ110からカメラ画像を取得し、そのカメラ画像に映し出されている物体を検知し、その物体の検知結果を示す検知結果情報を出力するコンピュータである。また、処理部120は、その物体の検知には学習済みの学習モデルを用いる。
【0036】
図2は、本実施の形態における物体検知装置100に含まれる処理部120の機能構成を示すブロック図である。
【0037】
処理部120は、画像変換部121、環境推定部122、補正部123、検知部124、および記憶部125を備える。
【0038】
記憶部125は、学習環境情報125aと、学習モデル125bとを格納している記録媒体である。学習モデル125bは、機械学習によって生成された学習済みの学習モデルである。機械学習は、学習用画像の学習モデルへの入力に対して、その学習用画像に映し出されている物体の検知結果を示す情報が出力されるように、その学習モデルに対して行われる学習である。学習環境情報125aは、学習環境を示す情報である。その学習環境は、学習モデル125bを機械学習によって生成するために、学習モデルの入力に用いられる学習用画像が得られた環境である。つまり、学習環境は、学習用カメラが撮像によって学習用画像を取得する環境である。
【0039】
なお、記憶部125は、例えば、ハードディスクドライブ、RAM(Random Access Memory)、ROM(Read Only Memory)、または半導体メモリなどである。なお、このような記憶部125は、揮発性であっても不揮発性であってもよい。
【0040】
画像変換部121は、カメラ110からカメラ画像Paを取得し、そのカメラ画像Paに対して画像変換処理を実行する。この画像変換処理によって、カメラ画像Paの画像形式が、予め定められた画像形式に変換される。その予め定められた画像形式は、検知部124が物体の検知を行うために必要とされる形式である。例えば、画像変換部121は、カメラ110によって得られたカメラ画像Paの歪を画像変換処理によって除去する。具体的には、そのカメラ画像Paが、正距円筒図法によって表現される画像、または、魚眼レンズを用いた撮像によって得られる画像である場合、画像変換処理では、そのような画像から歪みが除去される。あるいは、画像変換部121は、画像変換処理によって、カメラ110の内部パラメータおよび外部パラメータなどによるカメラ画像Paのずれを補正する。具体的な一例では、画像変換部121は、カメラ画像Paの中心位置のずれを補正する。そして、画像変換部121は、画像変換処理済みのカメラ画像Paをカメラ画像Pbとして出力する。
【0041】
環境推定部122は、カメラ110が撮像する環境を撮像環境として推定する。具体的には、環境推定部122は、カメラ画像Pbを取得し、そのカメラ画像Pbを少なくとも用いて撮像環境を推定する。そして、環境推定部122は、その撮像環境の推定結果を示す撮像環境情報122aを補正部123に出力する。
【0042】
補正部123は、上述の撮像環境におけるカメラ110による撮像によって得られたカメラ画像Pbを、学習環境と撮像環境との差分に基づいて補正することによって、補正カメラ画像Pcを生成する。つまり、補正部123は、画像変換部121からカメラ画像Pbを取得し、そのカメラ画像Pbに対して上述の差分に応じた補正を行う。このとき、補正部123は、記憶部125から学習環境情報125aを取得し、さらに、環境推定部122から撮像環境情報122aを取得する。そして、補正部123は、その学習環境情報125aによって示される学習環境と、その撮像環境情報122aによって示される撮像環境との差分を特定する。補正部123は、カメラ画像Pbを補正するときには、その差分に基づいて、上述の学習環境におけるカメラ110による撮像によって得られる画像にカメラ画像Pbが近付くように、そのカメラ画像Pbを補正する。
【0043】
検知部124は、補正部123から補正カメラ画像Pcを取得し、記憶部125から学習モデル125bを読み出す。そして、検知部124は、画像認識処理を実行する。すなわち、検知部124は、学習モデル125bに補正カメラ画像Pcを入力することによって、その補正カメラ画像Pcに映し出されている物体を検知する。つまり、検知部124は、学習モデル125bから出力される検知結果情報124aを取得する。検知結果情報124aは、その物体の検知結果を示す情報である。具体的には、検知結果情報124aは、補正カメラ画像Pcにおいて検知された物体の位置、物体の種別、検知確率などを示す。物体の種別は、人、犬などであってもよい。検知確率は、上述の位置に物体が存在する確率であってもよく、上述の物体の種別が人、犬などの特定の種別である確率であってもよい。検知部124は、このような検知結果情報124aを物体検知装置100の外部に出力する。
【0044】
なお、画像変換部121、環境推定部122.補正部123、および検知部124は、例えばCPU(Central Processing Unit)などのプロセッサが、記憶部125などの記録媒体に格納されているコンピュータプログラムを読み出して実行することによって実現されてもよい。
【0045】
図3は、処理部120による処理動作の一例を示すフローチャートである。
【0046】
まず、画像変換部121は、カメラ110からカメラ画像Paを取得し(ステップS1)、そのカメラ画像Paに対して画像変換処理を実行することによって、画像変換処理済みのカメラ画像Paであるカメラ画像Pbを生成する(ステップS2)。
【0047】
次に、環境推定部122は、そのカメラ画像Pbを用いて撮像環境を推定し、その撮像環境を示す撮像環境情報122aを出力する(ステップS3)。
【0048】
補正部123は、環境推定部122から撮像環境情報122aを取得し、記憶部125から学習環境情報125aを取得し、撮像環境情報122aによって示される撮像環境と、学習環境情報125aによって示される学習環境との差分を特定する(ステップS4)。そして、補正部123は、ステップS4で特定された差分が無くなるように、すなわち差分が吸収されるように、画像変換部121によって生成されたカメラ画像Pbに対して補正を行うことによって、補正カメラ画像Pcを生成する(ステップS5)。
【0049】
検知部124は、記憶部125の学習モデル125bを用いて、その補正カメラ画像Pcに対して画像認識処理を実行する(ステップS6)。これにより、補正カメラ画像Pcに映し出されている物体が検知され、その検知の結果を示す検知結果情報124aが検知部124から出力される。
【0050】
ここで、撮像環境および学習環境のそれぞれは、カメラの設置状態と、画像特徴量との少なくとも一方を環境として含んでいてもよい。
【0051】
[カメラの設置状態]
撮像環境および学習環境のそれぞれがカメラの設置状態を環境として含む場合、補正部123は、それらの設置状態の差分を特定する。つまり、撮像環境は、カメラ110の設置状態を含み、学習環境は、学習用画像を得るための学習用カメラの設置状態を含む。そして、これらの設置状態の差分が特定される。
【0052】
より具体的には、カメラ110の設置状態は、設置されているカメラ110の地面からの高さであって、学習用カメラの設置状態は、設置されている学習用カメラの地面からの高さである。あるいは、カメラ110の設置状態は、設置されているカメラ110の角度であって、学習用カメラの設置状態は、設置されている学習用カメラの角度である。なお、角度は、カメラ110および学習用カメラのそれぞれの光軸と水平方向または鉛直方向との間の角度であってもよい。あるいは、カメラ110の設置状態は、検知部124の検知対象以外の物体であるガーニッシュがカメラ画像Pbに映り込んでいるガーニッシュ領域の状態であって、学習用カメラの設置状態は、そのガーニッシュが学習用画像に映り込んでいるガーニッシュ領域の状態であってもよい。なお、設置状態は、設置条件と呼ばれてもよい。
【0053】
そして、補正部123は、その差分が無くなる、または、その差分が吸収されるように、カメラ画像Pbを補正する。すなわち、補正部123は、カメラ110の車両Vへの設置状態での撮像によって得られたカメラ画像Pbが、学習用カメラの設置状態での撮像によって得られる画像に近付くように、そのカメラ画像Pbを補正する。言い換えれば、補正部123は、カメラ画像Pbが、学習用カメラの設置状態での撮像によって得られる画像に一致または類似するように、そのカメラ画像Pbを補正する。
【0054】
図4は、カメラ110の高さと学習用カメラの高さとが異なる場合に行われる補正の一例を説明するための図である。
【0055】
例えば、補正部123は、
図4に示すように、人が映し出されているカメラ画像Pbを取得する。そして、補正部123は、撮像環境情報122aによって示されるカメラ110の高さと、学習環境情報125aによって示される学習用カメラの高さとの差分を特定する。具体的な一例では、補正部123は、カメラ110の高さの方が学習用カメラの高さよりもΔhだけ高いと判断する。Δhは差分の一例である。その結果、補正部123は、Δhに応じた量だけカメラ画像Pbを垂直方向に回転させる補正を行うことによって、補正カメラ画像Pc1を生成する。より具体的には、補正部123は、カメラ画像Pbを回転させることによって、そのカメラ画像Pbに対して画像折り返しを行い、そのカメラ画像Pbの下領域d1をカメラ画像Pbの上部に移動させる。なお、回転の角度、大きさ、あるいは下領域d1の垂直方向の幅は、予め定められた数式にΔhを代入することによって算出されてもよい。その数式によって、Δhが大きいほど、回転の大きい角度、大きさ、あるいは下領域d1の垂直方向の幅が算出される。
【0056】
補正部123は、カメラ画像Pbの補正では、さらに、その上部に移動された下領域d1を周辺色で塗り潰すことによって、補正カメラ画像Pc2を生成してもよい。なお、周辺色は、例えば、カメラ画像Pbのうち、上部に移動された下領域d1の下または直下にある領域の色である。
【0057】
なお、
図4では、撮像環境と学習環境とでカメラの高さが異なるときの補正の一例が示されているが、カメラの角度(具体的には仰俯角)が異なるときにも、
図4に示す例のように、カメラ画像Pbが補正される。また、カメラの方位角が異なるときには、カメラ画像Pbは水平方向の回転によって補正される。
【0058】
このように、本実施の形態では、学習環境である学習用カメラの高さまたは角度と、撮像環境であるカメラ110の高さまたは角度との間に差分がある場合、補正部123は、その差分に応じてカメラ画像Pbを少なくとも回転することによってカメラ画像Pbを補正する。
【0059】
これにより、カメラ110の設置状態と学習用カメラの設置状態との間で、高さまたは角度に差分がある場合でも、その差分を適切に吸収することができる。したがって、カメラ110の高さまたは角度がどのような状態であっても、物体の検知性能の低下を適切に抑制することができる。
【0060】
なお、
図4の例では、環境推定部122は、カメラ110の高さを撮像環境として推定し、その撮像環境を示す撮像環境情報122aを出力する。この場合、環境推定部122は、カメラ画像Pbを用いた三角測量などによってカメラ110の高さを推定してもよい。より具体的には、ユーザは、カメラ110によって撮像される被写体を移動させる。カメラ110は、移動前および移動後のそれぞれの被写体を撮像する。これにより、2つのカメラ画像Pbが生成される。移動前および移動後のそれぞれの被写体の位置は既知である。環境推定部122は、それらのカメラ画像Pbに映し出されている被写体の位置を用いた三角測量を行うことによってカメラ110の高さを推定する。環境推定部122がカメラ110の角度を撮像環境として推定する場合にも、上述と同様、三角測量が行われてもよい。
【0061】
図5は、カメラ画像Pbのガーニッシュ領域の状態と、学習用画像のガーニッシュ領域の状態とが異なる場合に行われる補正の一例を説明するための図である。
【0062】
例えば、補正部123は、
図5に示すように、人が映し出されているカメラ画像Pbを取得する。
図5の例では、カメラ画像Pbには、そのカメラ画像Pbの四隅に配置されているガーニッシュ領域d2がある。ガーニッシュ領域d2には、例えば、カメラ110の構造物が映り込んでいる、あるいは、カメラ110の周辺に配置されている壁などが映り込んでいる。
【0063】
補正部123は、撮像環境情報122aによって示されるカメラ画像Pbのガーニッシュ領域d2の状態と、学習環境情報125aによって示される学習用画像のガーニッシュ領域の状態との差分を特定する。例えば、学習用画像にはガーニッシュ領域がない。その結果、補正部123は、カメラ画像Pbのガーニッシュ領域d2の全体を、機械学習に用いられていない色に塗り潰すことによって、そのカメラ画像Pbを補正する。その結果、補正部123は、補正カメラ画像Pcを生成する。なお、学習用画像にガーニッシュ領域がある場合には、補正部123は、カメラ画像Pbのガーニッシュ領域のうち、学習用画像のガーニッシュ領域に含まれていない差分領域に対して、上述の色の塗り潰しによる補正を行ってもよい。
【0064】
このように、本実施の形態では、学習環境である学習用画像のガーニッシュ領域の状態と、撮像環境であるカメラ画像Pbのガーニッシュ領域の状態との間に差分がある場合、補正部123は、カメラ画像Pbのガーニッシュ領域のうちの差分に応じた部分の画像を、機械学習に用いられていない色の画像に置き換えることによって、そのカメラ画像Pbを補正する。
【0065】
これにより、カメラ110の設置状態と学習用カメラの設置状態との間で、ガーニッシュ領域の状態に差分がある場合でも、その差分を適切に吸収することができる。したがって、カメラ画像におけるガーニッシュ領域の状態がどのような状態であっても、物体の検知性能の低下を適切に抑制することができる。
【0066】
なお、
図5の例では、環境推定部122は、カメラ画像Pbのガーニッシュ領域d2の状態を撮像環境として推定し、その撮像環境を示す撮像環境情報122aを出力する。この場合、環境推定部122は、カメラ画像Pbの周縁部において予め定められている色のガーニッシュが映し出されている領域を、ガーニッシュ領域d2として特定する。例えば、ガーニッシュがカメラ110の構造物である場合、その予め定められている色は、黒色であってもよい。そして、環境推定部122は、そのガーニッシュ領域d2の位置、大きさ、範囲などをガーニッシュ領域d2の状態として推定してもよい。
【0067】
このように、本実施の形態では、カメラ110の設置状態は、設置されているカメラ110の地面からの高さと、設置されているカメラ110の角度と、検知部124の検知対象以外の物体であるガーニッシュがカメラ画像Pbに映り込んでいるガーニッシュ領域の状態と、のうちの少なくとも1つである。学習用カメラの設置状態は、設置されている学習用カメラの地面からの高さと、設置されている学習用カメラの角度と、ガーニッシュが学習用画像に映り込んでいるガーニッシュ領域の状態と、のうちの少なくとも1つである。
【0068】
これにより、カメラ110の設置状態と学習用カメラの設置状態との間で、高さ、角度、およびガーニッシュ領域の状態のうちの少なくとも1つに差分がある場合でも、その差分を吸収することができる。したがって、カメラ110の高さ、角度、およびガーニッシュ領域の状態のうちの少なくとも1つがどのような状態であっても、物体の検知性能の低下を抑制することができる。
【0069】
[画像特徴量]
撮像環境および学習環境のそれぞれが画像特徴量を環境として含む場合、補正部123は、それらの画像特徴量の差分を特定する。つまり、撮像環境は、カメラ画像Pbの画像特徴量を含み、学習環境は、学習用画像の画像特徴量を含む。そして、これらの画像特徴量の差分が特定される。
【0070】
より具体的には、カメラ画像Pbの画像特徴量は、そのカメラ画像Pbの輝度であって、学習用画像の画像特徴量は、その学習用画像の輝度である。例えば、輝度は、画像全体の平均輝度であってもよく、最大輝度であってもよい。また、カメラ画像Pbの画像特徴量は、そのカメラ画像Pbの周波数特性値であって、学習用画像の画像特徴量は、その学習用画像の周波数特性値である。例えば、周波数特性値は、画像全体の平均周波数であってもよく、最大周波数であってもよい。また、カメラ画像Pbの画像特徴量は、そのカメラ画像Pbの色情報であって、学習用画像の画像特徴量は、その学習用画像の色情報である。また、カメラ画像Pbの画像特徴量は、そのカメラ画像Pbのノイズ特性値であって、学習用画像の画像特徴量は、その学習用画像のノイズ特性値である。ノイズ特性値は、画像に含まれるノイズの数、SN(Sound-Noise)比、強度などである。また、ノイズは、画像中の白飛びまたは黒潰れの画素であってもよい。
【0071】
そして、補正部123は、その差分が無くなる、または、その差分が吸収されるように、カメラ画像Pbを補正する。すなわち、補正部123は、カメラ画像Pbの画像特徴量が、学習用画像の画像特徴量に近付くように、そのカメラ画像Pbを補正する。言い換えれば、補正部123は、カメラ画像Pbの画像特徴量が、学習用カメラの画像特徴量に一致または類似するように、そのカメラ画像Pbを補正する。
【0072】
図6は、カメラ画像Pbの周波数特性値と学習用画像の周波数特性値とが異なる場合に行われる補正の一例を説明するための図である。
【0073】
例えば、補正部123は、
図6に示すように、人が映し出されているカメラ画像Pbを取得する。そして、補正部123は、撮像環境情報122aによって示されるカメラ画像の周波数特性値と、学習環境情報125aによって示される学習用画像の周波数特性値との差分を特定する。具体的な一例では、補正部123は、カメラ画像Pbの周波数特性値の方が学習用画像の周波数特性値よりもΔfだけ高いと判断する。Δfは差分の一例である。その結果、補正部123は、カメラ画像Pbに対してΔfに応じた強度のローパスフィルタを適用することによって、そのカメラ画像Pbを補正する。これにより、
図6に示すように、補正カメラ画像Pc3が生成される。つまり、補正部123は、カメラ画像Pbに対してスムージングを行う。より具体的には、補正部123は、カメラ画像Pbの周波数特性値が、学習用画像の周波数特性値と一致するような変換式を、ローパスフィルタとして算出する。変換式は、カメラ画像Pbの補正対象画素の画素値と、その補正対象画素の周囲にある1以上の周囲画素のそれぞれの画素値とを、重み付け加算することによって、その補正対象画素の画素値を変換する式であってもよい。
【0074】
このように、本実施の形態では、学習環境である学習用画像の周波数特性値と、撮像環境であるカメラ画像Pbの周波数特性値との間に差分がある場合、補正部123は、その差分に応じてカメラ画像Pbに対してフィルタを適用することによって、カメラ画像Pbを補正する。
【0075】
これにより、カメラ画像Pbの画像特徴量と学習用画像の画像特徴量との間で、周波数特性値に差分がある場合でも、その差分を適切に吸収することができる。したがって、カメラ画像Pbにおける周波数特性値がどのような数値であっても、物体の検知性能の低下を適切に抑制することができる。
【0076】
なお、
図6では、カメラ画像Pbの周波数特性値が学習用画像の周波数特性値よりも高い場合における補正の例が示されているが、逆に、カメラ画像Pbの周波数特性値が学習用画像の周波数特性値よりも低い場合でも、カメラ画像Pbに対するフィルタの適用によって、そのカメラ画像Pbが補正されてもよい。この場合、カメラ画像Pbに対してハイパスフィルタが適当されてもよい。また、補正部123は、周波数領域の画像に対してフィルタを適用してもよい。例えば、補正部123は、カメラ画像Pbに対して例えばフーリエ変換を行うことによって、そのカメラ画像Pbを周波数領域の画像に変換し、その周波数領域の画像に対して周波数フィルタリングを行う。そして、補正部123は、周波数フィルタリングされた画像に対して、逆フーリエ変換を行うことによって、その画像を空間領域の画像に戻す。これにより、学習用画像の周波数特性値に一致または近い周波数特性値を有する補正カメラ画像Pcが生成される。
【0077】
また、補正部123は、カメラ画像Pbの輝度と学習用画像の輝度との差分を特定する場合には、カメラ画像Pbの輝度が学習用画像の輝度に近付くように、その差分だけカメラ画像Pbの輝度を増加または減少させる補正を行う。
【0078】
また、補正部123は、カメラ画像Pbのコントラストと学習用画像のコントラストとの差分を特定する場合には、カメラ画像Pbのコントラストが学習用画像のコントラストに近付くように、その差分だけカメラ画像Pbのコントラストを増加または減少させる補正を行う。
【0079】
また、補正部123は、カメラ画像Pbのノイズ特性値と学習用画像のノイズ特性値との差分を特定する場合には、カメラ画像Pbのノイズ特性値が学習用画像のノイズ特性値に近付くように、その差分だけカメラ画像Pbのノイズ特性値を増加または減少させる補正を行う。例えば、補正部123は、カメラ画像Pbにランダムにノイズを付加することによってノイズ特性値を増加させ、カメラ画像Pbに対してスムージングを行うことによってノイズ特性値を減少させてもよい。
【0080】
このように、本実施の形態では、カメラ画像Pbの画像特徴量は、そのカメラ画像Pbにおける輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つである。また、学習用画像の画像特徴量は、学習用画像における輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つである。
【0081】
これにより、カメラ画像Pbの画像特徴量と学習用画像の画像特徴量との間で、輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つに差分がある場合でも、その差分を吸収することができる。したがって、カメラ画像Pbにおける輝度、コントラスト、周波数特性値、色情報、およびノイズ特性値のうちの少なくとも1つがどのような量または数値であっても、物体の検知性能の低下を抑制することができる。
【0082】
以上、本実施の形態における物体検知装置100では、学習環境と撮像環境との差分に基づく補正がカメラ画像Pbに対して行われることによって補正カメラ画像Pcが生成される。つまり、その学習環境におけるカメラ110による撮像によって得られる画像にカメラ画像Pbが近付くように、カメラ画像Pbが補正される。したがって、このような補正によって生成される補正カメラ画像Pcを、機械学習が行われたときの学習環境で得られる画像として扱うことができる。その結果、撮像環境がどのような環境であっても、例えばカメラ110がどのような状態で車両Vに設置されても、学習環境と撮像環境との差分を吸収することができる。言い換えれば、補正カメラ画像Pcが得られる環境を学習環境に近付けて一致させることができる。これにより、撮像環境がどのような環境であっても、補正カメラ画像Pcに映し出されている物体の検知を、その学習環境で生成された学習済みの学習モデル125bを用いて行うことによって、物体の検知性能の低下を抑制することができる。したがって、検知性能の低下を抑制するために、学習モデルを再作成する必要がなく、その再作成、つまり再学習の手間を省くことができる。
【0083】
また、本実施の形態における物体検知装置100では、カメラ110の設置状態と学習用カメラの設置状態との差分を吸収することができる。したがって、カメラ110の設置状態がどのような状態であっても、物体の検知性能の低下を抑制することができる。
【0084】
また、本実施の形態における物体検知装置100では、カメラ画像Pbの画像特徴量と学習用画像の画像特徴量との差分を吸収することができる。したがって、カメラ画像Pbの画像特徴量がどのような量であっても、物体の検知性能の低下を抑制することができる。
【0085】
以上、本開示の物体検知装置および物体検知方法について、上記実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものも本開示に含まれてもよい。
【0086】
例えば、本実施の形態における物体検知装置100は、車両Vに搭載されるが、車両以外の移動体に搭載されてもよく、施設周辺を監視するためにその施設などに配置されてもよい。
【0087】
また、本実施の形態では、物体検知装置100は、画像変換部121を備えているが、画像変換部121を備えていなくてもよい。この場合には、カメラ画像Paに対して補正が行われる。
【0088】
また、本実施の形態では、記憶部125は、物体検知装置100に備えられているが、例えばインターネットなどの通信回線を介して物体検知装置100に接続されるサーバに備えられていてもよい。この場合、物体検知装置100は、そのサーバから学習環境情報125aおよび学習モデル125bを取得してもよい。
【0089】
また、本実施の形態では、環境推定部122は、カメラ画像Pbを用いて撮像環境を推定するが、カメラ画像Pbだけでなく他の情報も用いて撮像環境を推定してもよく、カメラ画像Pbを用いずに他の情報だけを用いて撮像環境を推定してもよい。例えば、環境推定部122は、カメラ110の状態をセンシングするセンサから、センシング信号を上述の他の情報として取得し、そのセンシング信号を用いて撮像環境を推定してもよい。
【0090】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のモデル生成装置を実現するソフトウェアであるプログラムは、コンピュータに
図3のフローチャートに含まれる各ステップを実行させる。
【0091】
なお、以下のような場合も本開示に含まれる。
【0092】
(1)上記の装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。そのRAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも1つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0093】
(2)上記の装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
【0094】
(3)上記の装置を構成する構成要素の一部または全部は、その装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0095】
(4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0096】
また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD(Compact Disc)-ROM、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【0097】
また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0098】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【0099】
本開示の物体検知装置は、検知性能の低下を抑制することができ、例えば車両の周囲にある物体を検知する装置またはシステムなどに適用することができる。
【符号の説明】
【0100】
1 人
100 物体検知装置
110 カメラ
120 処理部
121 画像変換部
122 環境推定部
122a 撮像環境情報
123 補正部
124 検知部
124a 検知結果情報
125 記憶部
125a 学習環境情報
125b 学習モデル
d1 下領域
d2 ガーニッシュ領域
Pa、Pb カメラ画像
Pc、Pc1、Pc2、Pc3 補正カメラ画像
V 車両