特許 7468207 画像認識装置、画像認識方法、及び画像認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】画像認識装置、画像認識方法、及び画像認識プログラム

(51)【国際特許分類】

   G06T 7/68 20170101AFI20240409BHJP

   G06T 7/50 20170101ALI20240409BHJP

   G06T 7/00 20170101ALI20240409BHJP

   G08G 1/16 20060101ALI20240409BHJP

【ＦＩ】

G06T7/68

G06T7/50

G06T7/00 650B

G08G1/16 C

【請求項の数】 4

(21)【出願番号】P 2020118712

(22)【出願日】2020-07-09

(65)【公開番号】P2022015696

(43)【公開日】2022-01-21

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】鴇田 成俊

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２００８－２８７６９２（ＪＰ，Ａ）

【文献】特開２００７－２９３６２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／６８

Ｇ０６Ｔ ７／５０

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

撮像装置から画像を取得する画像取得部と、
前記画像取得部が取得した画像からオブジェクトとして人物を認識するとともに認識した人物の頭部を特定するオブジェクト認識部と、
前記オブジェクト認識部が認識した人物の範囲と前記人物の頭部との縦方向の比率に基づき、前記人物の範囲の下部において上下対称部位を検出する対称部位検出部と、
前記対称部位検出部が上下対称部位を検出した場合、検出した上下対称部位の対称中心線の位置が、前記人物の範囲の下限位置に対応するよう、前記人物の範囲を修正するオブジェクト範囲修正部と、
前記人物の範囲の位置に基づき、前記撮像装置から前記人物までの距離を推定する距離推定部と、
を備える、画像認識装置。

【請求項2】

前記人物が位置する場所の接地面の状態を推定するための情報を取得する接地面情報取得部をさらに備え、
前記接地面の状態が前記人物の像の鏡面反射が発生しやすい状態である場合、前記対称部位検出部及び前記オブジェクト範囲修正部の機能が有効となる、
請求項１に記載の画像認識装置。

【請求項3】

撮像装置から画像を取得するステップと、
取得した画像からオブジェクトとして人物を認識するとともに認識した人物の頭部を特定するステップと、
認識した人物の範囲と前記人物の頭部との縦方向の比率に基づき、前記人物の範囲の下部において上下対称部位を検出するステップと、
上下対称部位を検出した場合、検出した上下対称部位の対称中心線の位置が、前記人物の範囲の下限位置に対応するよう、前記人物の範囲を修正するステップと、
前記人物の範囲の位置に基づき、前記撮像装置から前記人物までの距離を推定するステップと、
を有する、画像認識方法。

【請求項4】

撮像装置から画像を取得する処理と、
取得した画像からオブジェクトとして人物を認識するとともに認識した人物の頭部を特定する処理と、
認識した人物の範囲と前記人物の頭部との縦方向の比率に基づき、前記人物の範囲の下部において上下対称部位を検出する処理と、
上下対称部位を検出した場合、検出した上下対称部位の対称中心線の位置が、前記人物の範囲の下限位置に対応するよう、前記人物の範囲を修正する処理と、
前記人物の範囲の位置に基づき、前記撮像装置から前記人物までの距離を推定する処理と、
をコンピュータに実行させる、画像認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像された画像内からオブジェクトを認識する画像認識装置、画像認識方法、及び画像認識プログラムに関する。

【背景技術】

【0002】

車両に搭載されたカメラで撮影した画像内から、歩行者等の人物を認識し、運転者に注意喚起する運転支援システムがある。画像内において人物として認識された範囲の下端位置（人物の場合、人物の爪先または踵と、地面との接地位置）をもとに、車両に搭載されたカメラから人物までの距離を推定できる（例えば、特許文献１参照）。屋内に設置された監視カメラの場合も同様に、画像内において人物として認識された範囲の下端位置をもとに、監視カメラから人物までの距離を推定できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０１８２３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したようなシステムにおいて、人物の足元の接地面（例えば、路面や床面）が濡れている場合、人物の下半身が接地面に反射して撮像される。接地面が、光を反射させやすい素材（例えば、大理石）である場合も同様である。それらの場合、画像認識システムは、接地面に映っている足と実際の足を一体のものと認識し、人物の足を実際より長く検出する。即ち、人物の範囲を、本来の範囲より下方向に拡大した範囲で認識してしまう。この場合、認識された人物が実際より近くにいると判断され、不必要な注意喚起が行われてしまうことがあった。人物以外のオブジェクト（例えば、犬などの動物、対向車、その他の障害物）についても同様に、本来の検出範囲より下方向に拡大した範囲で認識してしまうことがあった。

【0005】

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、画像内においてオブジェクトの範囲を高精度に検出する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本実施形態のある態様の画像認識装置は、撮像装置から画像を取得する画像取得部と、前記画像取得部が取得した画像からオブジェクトとして人物を認識するとともに認識した人物の頭部を特定するオブジェクト認識部と、前記オブジェクト認識部が認識した人物の範囲と前記人物の頭部との縦方向の比率に基づき、前記人物の範囲の下部において上下対称部位を検出する対称部位検出部と、前記対称部位検出部が上下対称部位を検出した場合、検出した上下対称部位の対称中心線の位置が、前記人物の範囲の下限位置に対応するよう、前記人物の範囲を修正するオブジェクト範囲修正部と、前記人物の範囲の位置に基づき、前記撮像装置から前記人物までの距離を推定する距離推定部と、を備える。

【0007】

本実施形態の別の態様は、画像認識方法である。この方法は、撮像装置から画像を取得するステップと、取得した画像からオブジェクトとして人物を認識するとともに認識した人物の頭部を特定するステップと、認識した人物の範囲と前記人物の頭部との縦方向の比率に基づき、前記人物の範囲の下部において上下対称部位を検出するステップと、上下対称部位を検出した場合、検出した上下対称部位の対称中心線の位置が、前記人物の範囲の下限位置に対応するよう、前記人物の範囲を修正するステップと、前記人物の範囲の位置に基づき、前記撮像装置から前記人物までの距離を推定するステップと、を有する。

【0008】

なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。

【発明の効果】

【0009】

本実施形態によれば、画像内においてオブジェクトの範囲を高精度に検出することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態に係る画像認識システムの構成を示す図である。

【図2】実施例１に係る、検出枠の修正処理の具体例を説明するための図である（その１）。

【図3】実施例１に係る、検出枠の修正処理の具体例を説明するための図である（その２）

【図4】実施例１に係る、検出枠の修正処理の具体例を説明するための図である（その３）

【図5】実施例１に係る、検出枠の修正処理の具体例を説明するための図である（その４）

【図6】実施例２に係る、検出枠の修正処理の具体例を説明するための図である（その１）

【図7】実施例２に係る、検出枠の修正処理の具体例を説明するための図である（その２）

【図8】実施例２に係る、検出枠の修正処理の具体例を説明するための図である（その３）。

【発明を実施するための形態】

【0011】

図１は、本発明の実施の形態に係る画像認識システム１の構成を示す図である。実施の形態に係る画像認識システム１は、撮像装置１０、画像認識装置２０、表示装置３０及び音声出力装置４０を備える。以下、本実施の形態では、画像認識システム１が車両に搭載される例を想定する。

【0012】

撮像装置１０は、車両の進行方向前方を撮像するものであり、例えば、フロントグリルや車室内のルームミラーの上に取り付けられる。撮像装置１０は固体撮像素子及び信号処理回路を含む。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。固体撮像素子は、入射される光を電気的な画像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、画像認識装置２０に出力する。

【0013】

固体撮像素子は、可視光域を撮像できる素子であってもよいし、赤外線領域を撮像できる素子であってもよいし、その両方の波長域を撮像できる素子であってもよい。即ち、撮像装置１０には、一般的な可視光カメラが用いられてもよいし、可視光域と近赤外線域を両方撮像可能なカメラが用いられてもよいし、遠赤外線（ＦＩＲ）カメラが用いられてもよい。

【0014】

可視光域と近赤外線域を撮像可能なカメラの固体撮像素子には、例えば、通常のベイヤ配列を構成する２つのＧフィルタの一方を、ＩＲフィルタに置き換えたカラーフィルタが使用されてもよい。

【0015】

遠赤外線カメラの固体撮像素子は、熱源となる人物等のオブジェクトが放射する遠赤外線を熱画像に変換する。遠赤外線カメラは、車載用途では、運転者の夜間の視界を補助するためのナイトビジョンシステムに使用される。なお、遠赤外線カメラの代わりに近赤外線カメラが使用される場合、オブジェクトに向けて近赤外線を照射する必要がある。

【0016】

画像認識装置２０は、画像取得部２１、オブジェクト認識部２２、対称部位検出部２３、オブジェクト追従部２４、オブジェクト範囲修正部２５、距離推定部２６、通知制御部２７及び接地面情報取得部２８を含む。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

【0017】

撮像装置１０と画像認識装置２０間はケーブルで接続されている。なお、リアルタイム性及びノイズ耐性の要求を満たしていれば、無線接続も可能である。

【0018】

画像取得部２１は、撮像装置１０から画像を取得する。オブジェクト認識部２２は、画像取得部２１が取得した画像から所定のオブジェクトを認識する。以下、本実施の形態ではオブジェクトとして、人物を想定する。

【0019】

オブジェクト認識部２２は、辞書データとして、人物が写った多数の画像を学習して生成された人物の識別器を有する。オブジェクト認識部２２は、画像取得部２１が取得した入力画像内を、人物の識別器を用いて探索する。人物の検出には例えば、ＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることができる。なお、Haar-like特徴量やＬＢＰ(Local Binary Patterns)特徴量などを用いてもよい。入力画像内に人物が存在する場合、オブジェクト認識部２２は、矩形の検出枠で人物を検出する。

【0020】

人物の足元の床が反射素材（例えば、大理石）である場合や、人物の足元に水溜りがある場合、床や水溜りに、人物の像が鏡面反射する。この場合、撮像装置１０により撮像される画像にも、人物の足元の下に、上下反転した当該人物の像が映る。その場合、オブジェクト認識部２２は、人物の脚部の下端を特定することが難しくなる。フレームごとに抽出される人物の脚部の特徴点の精度に応じて、人物の検出枠の下辺が、フレーム単位で上下に変動する。オブジェクト認識部２２は人物の像が鏡面反射していない場合と比較して、人物の足を長く誤認識することになる。

【0021】

人物の検出枠は、後述する距離推定の基礎となるため、検出枠の上辺は人物の頭部の上端を、検出枠の下辺は人物の脚部の下端を、高精度に捉えていることが望まれる。しかしながら、人物の足元で鏡面反射が発生している場合、人物の検出枠の下辺が人物の脚部の下端と大きくずれるケースが発生する。そこで本実施の形態では、検出枠の下部に、上下対称の領域が存在する場合、検出枠の範囲を修正する仕組みを導入している。

【0022】

まず、実施例１に係る検出枠の修正方法を説明する。対称部位検出部２３は、オブジェクト認識部２２が認識した人物の検出枠の下部において、上下対称部位を検出する。例えば以下のように上下対称部位を検出する。対称部位検出部２３は、上下対称部位の探索領域の上部の一部から画像を切り出す。上下対称部位の探索領域は、例えば、検出枠をＹ軸方向に三等分した場合の最も下の領域に設定されてもよい。

【0023】

対称部位検出部２３は、上下対称部位の探索領域の上部の一部を切り出した画像を上下反転させる。対称部位検出部２３は、上下反転させた画像を、上下対称部位の探索領域において上下にスライドさせながら、当該探索領域内の画像とマッチングさせる。対称部位検出部２３は、マッチング度が最も高くなるマッチング位置を特定する。対称部位検出部２３は、マッチング度が最も高いときのマッチング度が予め設定された閾値以上のとき、上下対称部位が存在すると判定し、当該閾値未満のとき、上下対称部位が存在しないと判定する。

【0024】

上下対称部位が存在すると判定した場合、対称部位検出部２３は、上部の切り出し位置と探索範囲内のマッチング位置との間の中間線を、上部対称部位の対称中心線の位置に設定する。上部対称部位の対称中心線の位置が、人物の接地位置と推定できる。オブジェクト範囲修正部２５は、当該上下対称部位の対称中心線の位置が、人物の検出枠の下限位置に対応するよう、検出枠の範囲を修正する。対称部位検出部２３により上下対称部位が存在しないと判定された場合、オブジェクト範囲修正部２５は、人物の検出枠の範囲を修正しない。

【0025】

距離推定部２６は、検出された人物の検出枠の位置に基づき、車両に設置された撮像装置１０から人物までの距離を推定する。具体的には、距離推定部２６は、撮像された画像内で検出された人物の接地位置（即ち、人物の検出枠の下辺）のｙ座標と、予め導出されたテーブル又は関数をもとに、撮像装置１０（即ち、車両）から人物までの距離を推定する。

【0026】

当該テーブル又は関数は、車両における撮像装置１０の設置位置（路面からの高さ）及び撮像装置１０の画角に応じて決定される、画像内の人物の接地位置のｙ座標と、撮像装置１０から人物までの距離との関係性を記述したものである。

【0027】

通知制御部２７は、距離推定部２６が推定した車両から人物までの距離に応じて、表示装置３０及び音声出力装置４０の少なくとも一方に警告を出力させる。

【0028】

表示装置３０は、車両内に設置されているＨＵＤ（Head-up Display）であってもよい。ＨＵＤは、フロントガラス照射型であってもよいし、コンバイナ型であってもよい。また表示装置３０は、車両内に設置されているカーナビゲーションシステム又はディスプレイオーディオシステムのディスプレイ（例えば、液晶ディスプレイ、有機ＥＬディスプレイ）であってもよい。また表示装置３０は、カーナビゲーションシステム又はディスプレイオーディオシステムと連携した、スマートフォン又はタブレットのディスプレイであってもよい。また表示装置３０は、車両内に設置されているメータパネル内のディスプレイであってもよい。また表示装置３０は、カメラモニタリングシステムを構成している電子ルームミラーであってもよい。また表示装置３０は、車両前方の画像を表示する専用のディスプレイであってもよい。

【0029】

音声出力装置４０は、車両内に設置されているカーナビゲーションシステム又はディスプレイオーディオシステムのスピーカであってもよい。また音声出力装置４０は、カーナビゲーションシステム又はディスプレイオーディオシステムと連携した、スマートフォン又はタブレットのスピーカであってもよい。また音声出力装置４０は、警告音または警告メッセージを出力するための専用のスピーカであってもよい。

【0030】

通知制御部２７は、撮像装置１０により撮像された画像において人物が検出されると、当該人物の検出枠を、表示装置３０に表示される画面上に重畳させる。通知制御部２７は、距離推定部２６が推定した車両から人物までの距離に応じて、検出枠の表示態様を変更する。車両から人物までの距離が予め設定された閾値以上の場合、通知制御部２７は検出枠を相対的に目立たない色（例えば、白色または黄色）で表示させる。車両から人物までの距離が当該閾値未満の場合、通知制御部２７は検出枠を相対的に目立つ色（例えば、黄色または赤色）で表示させる。また、車両から人物までの距離が閾値未満の場合、通知制御部２７は検出枠を点滅させてもよい。また、車両から人物までの距離が当該閾値未満の場合、通知制御部２７は検出枠を太くしてもよい。

【0031】

通知制御部２７は、撮像装置１０により撮像された画像において人物が検出され、車両から人物までの距離が当該閾値未満の場合、音声出力装置４０に警告音または警告メッセージを出力させる。また通知制御部２７は、車両から人物までの距離が当該閾値以上の場合、音声出力装置４０に、相対的に音量が小さい警告音または警告メッセージを出力させ、当該閾値未満の場合、相対的に音量が大きい警告音または警告メッセージを出力させてもよい。

【0032】

なお、表示装置３０による通知と音声出力装置４０による通知の一方を省略することも可能である。また、ステアリングにバイブレータが設置される場合、通知制御部２７は、撮像装置１０により撮像された画像において人物が検出され、車両から人物までの距離が当該閾値未満の場合、当該バイブレータを振動させてもよい。

【0033】

図２－図５は、実施例１に係る、検出枠Ｄ１の修正処理の具体例を説明するための図である。図２は、路面の水溜りＰ１に人物像Ｏ１の反射像Ｒ１が映り込み、フレーム画像Ｆ１内において、検出枠Ｄ１が実際の人物の範囲より下方向に伸びている状態を示している。図３は、検出枠Ｄ１の下部において検出された、上下対称部位を含む領域Ａｓを示している。

【0034】

図４に示すように、対称部位検出部２３は、上部対称部位の対称中心線Ｌｃを検出する。図５に示すように、オブジェクト範囲修正部２５は、検出枠Ｄ１の下辺を、検出された対称中心線Ｌｃの位置まで上方向にシフトさせる。これにより、検出枠Ｄ１が、実際の人物の範囲を反映した状態に修正される。オブジェクト範囲修正部２５は、検出枠の下辺の位置の修正を、検出枠の縦横比を変更することで修正してもよく、検出枠の縦横比を変更せずに検出枠の下辺の位置の修正を行うこととしてもよい。

【0035】

図１に戻る。次に、実施例２に係る検出枠の修正方法を説明する。実施例２では、オブジェクト認識部２２は頭部認識部２２ａを含む。頭部認識部２２ａは、検出された人物の検出枠の中で、当該人物の頭部の範囲を検出する。頭部認識部２２ａは、辞書データとして、人物の頭部が写った多数の画像を学習して生成された頭部の識別器を有する。頭部認識部２２ａは、人物の検出枠で定義された画像領域内を、人物の頭部の識別器を用いて探索する。頭部認識部２２ａは、人物の検出枠内において、当該人物の頭部を矩形の検出枠で検出する。

【0036】

オブジェクト追従部２４は、オブジェクト認識部２２が認識した人物の範囲を、後続するフレーム画像内において追従する。人物の範囲の追従には、例えば、パーティクルフィルタやミーンシフト法を使用することができる。これにより、フレーム画像内に複数の人物が検出された場合でも、人物ごとに追従することができる。

【0037】

実施例２では、対称部位検出部２３は、人物の検出枠の縦方向の長さと、当該人物の頭部の検出枠の縦方向の長さとの比率をもとに当該人物の頭身を算出する。対称部位検出部２３は、オブジェクト追従部２４が追従している同一人物の頭身を時系列で保持する。上述したように、人物の足元で鏡面反射が発生している場合、人物の検出枠の下辺が実際より下方向に伸びる。

【0038】

対称部位検出部２３は算出した頭身が、設定範囲（例えば、成人の場合は７～８頭身、子供の場合は４～７頭身）内である場合、鏡面反射がない状態で撮像された人物と判定する。対称部位検出部２３は、鏡面反射がない状態で撮像された人物の頭身が、当該設定範囲の上限を超えた値に変化したとき、鏡面反射がある状態に変化したと判定する。上述したように、鏡面反射がある状態で撮像された人物の範囲には、上下対称部位が含まれる。対称部位検出部２３は、算出した頭身の推移に基づき、上下対称部位の発生を検出する。

【0039】

上下対称部位が発生した場合、オブジェクト範囲修正部２５は、鏡面反射がない状態で撮像されていたときの当該人物の頭身の値をもとに、鏡面反射がある状態で撮像された当該人物の検出枠を修正する。具体的には、オブジェクト範囲修正部２５は、検出枠の下辺を、当該検出枠内の頭部の位置を基準に、鏡面反射がない状態で撮像されていたときの頭身に応じた足元の位置まで、上方向にシフトさせる。

【0040】

図６－図８は、実施例２に係る、検出枠Ｄ１の修正処理の具体例を説明するための図である。図６は、鏡面反射がない状態で撮像されたフレーム画像Ｆ０内における、人物の検出枠Ｄ１と、当該人物の頭部の検出枠Ｄ２を示している。対称部位検出部２３は、人物の検出枠Ｄ１の縦方向の長さｈ１と、当該人物の頭部の検出枠Ｄ２の縦方向の長さｈ２との比率をもとに当該人物の頭身を算出する。図６に示す例では頭身（ｈ１／ｈ２）が設定範囲に収まっており、対称部位検出部２３は、鏡面反射がない状態で撮像された人物と判定する。

【0041】

図７は、鏡面反射がある状態で撮像されたフレーム画像Ｆ１内における、人物の検出枠Ｄ１と、当該人物の頭部の検出枠Ｄ２を示している。対称部位検出部２３は、人物の検出枠Ｄ１の縦方向の長さｈ１と、当該人物の頭部の検出枠Ｄ２の縦方向の長さｈ２との比率をもとに当該人物の頭身を算出する。図７に示す例では頭身（ｈ１／ｈ２）が設定範囲の上限を超えており、対称部位検出部２３は、鏡面反射がある状態で撮像された人物と判定する。

【0042】

鏡面反射がある状態で撮像された人物と判定された場合、図８に示すように、オブジェクト範囲修正部２５は、鏡面反射がない状態で撮像されていたフレーム画像Ｆ０で算出された頭身になるように、鏡面反射がある状態で撮像されたフレーム画像Ｆ１内の人物の検出枠Ｄ１の下辺を、上方向にシフトさせる。

【0043】

図１に戻る。接地面情報取得部２８は、撮像装置１０により撮像された画像内において検出された人物が位置する場所の接地面の状態を推定するための情報を取得する。接地面情報取得部は、取得した情報をもとに当該接地面の状態が人物の像を反射させやすい状態（即ち、鏡面反射が発生しやすい状態）であるか否か判定する。

【0044】

接地面情報取得部２８は、接地面の状態を推定するための情報として、車両のワイパーの作動情報を取得する。ワイパーの作動情報は、車載ネットワーク（例えば、ＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network））を介して取得することができる。ワイパーが作動している場合、接地面情報取得部２８は、雨が降っていると推定することができ、接地面の状態を鏡面反射が発生しやすい状態と推定する。

【0045】

接地面情報取得部２８は、接地面の状態を推定するための情報として、インターネットを介して、車両の現在位置における天候情報を取得してもよい。この場合、外部サーバにアクセスするための無線通信機能が必要となる。車両の現在位置は、カーナビゲーションシステムに搭載されているＧＰＳ（Global Positioning System）センサから取得することができる。車両の現在位置の天候が雨の場合、接地面情報取得部２８は、接地面の状態を、鏡面反射が発生しやすい状態と推定する。また、接地面情報取得部２８は、雨が降っているときに加えて、雨が降った後の所定期間も、鏡面反射が発生しやすい状態と推定する。

【0046】

接地面の状態が、鏡面反射が発生しやすい状態である場合、対称部位検出部２３及びオブジェクト範囲修正部２５の機能を有効にし、鏡面反射が発生しにくい状態である場合、対称部位検出部２３及びオブジェクト範囲修正部２５の機能を無効にする。例えば、路面が乾いている状態では、人物の像が路面に反射することはなく、対称部位検出部２３及びオブジェクト範囲修正部２５を稼働させる必要性が低い。対称部位検出部２３及びオブジェクト範囲修正部２５を停止させることにより、画像認識装置２０の処理負荷を低下させることができる。

【0047】

なお、接地面の状態を、撮像装置１０により撮像された画像を解析することにより、推定することもできる。なお、接地面の状態に関わらず、対称部位検出部２３及びオブジェクト範囲修正部２５を常時稼働させてもよい。その場合、接地面情報取得部２８は不要である。

【0048】

以上説明したように本実施の形態によれば、人物の像が接地面に鏡面反射して撮像された場合でも、人物の検出枠の下辺位置を上方向に修正することにより、人物の範囲を実際より下方向に長く誤検出することを防止することができる。即ち、画像内において人物の範囲を高精度に検出することができる。これにより、車両から人物までの距離を誤って推定し、不必要な注意喚起が行われることを防止することができる。

【0049】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0050】

上述した実施の形態では、オブジェクトの一例として人物を認識する例を説明した。この点、オブジェクトは人物に限るものではなく、犬や猫などの動物、対向車、先行車、自転車、オートバイなども該当する。オブジェクト認識部２２は、各オブジェクトの識別器をもとに、撮像された画像内で各オブジェクトを検出する。これらのオブジェクトも人物の場合と同様に、接地面に鏡面反射し、上下対称部位が発生する。その場合、オブジェクト範囲修正部２５は、上下対称部位の対称中心線の位置が、オブジェクトの範囲の下限位置に対応するように、オブジェクトの範囲を修正する。

【0051】

上述した実施の形態では、画像認識システム１が車両に搭載される例を想定した。この点、車両以外の移動体に画像認識システム１が搭載されてもよい。例えば、バイク、自転車、鉄道車両、船舶、飛行機、マルチコプタ（ドローン）などに画像認識システム１が搭載されてもよい。また、画像認識システム１が監視カメラに搭載されてもよい。その場合も、監視カメラから侵入者までの距離を誤って推定し、不必要な注意喚起が行われることを防止することができる。

【符号の説明】

【0052】

１ 画像認識システム、 １０ 撮像装置、 ２０ 画像認識装置、 ２１ 画像取得部、 ２２ オブジェクト認識部、 ２２ａ 頭部認識部、 ２３ 対称部位検出部、 ２４ オブジェクト追従部、 ２５ オブジェクト範囲修正部、 ２６ 距離推定部、 ２７ 通知制御部、 ２８ 接地面情報取得部、 ３０ 表示装置、 ４０ 音声出力装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】