特許 7582202 画像認識装置、画像認識方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】画像認識装置、画像認識方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241106BHJP

【ＦＩ】

G06T7/00 660B

【請求項の数】 8

(21)【出願番号】P 2021557052

(86)(22)【出願日】2021-08-20

(86)【国際出願番号】 JP2021030667

(87)【国際公開番号】W WO2022074946

(87)【国際公開日】2022-04-14

【審査請求日】2024-03-29

(31)【優先権主張番号】P 2020169598

(32)【優先日】2020-10-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】川合 信夫

(72)【発明者】

【氏名】恩田 正宏

(72)【発明者】

【氏名】森 俊夫

(72)【発明者】

【氏名】渡辺 剛

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１７－２１５５７（ＪＰ，Ａ）

【文献】特開２０１０－２４４０８９（ＪＰ，Ａ）

【文献】特開２０１９－９２０７６（ＪＰ，Ａ）

【文献】特開２０１１－１１４６７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

撮像画像を取得する画像取得部と、
前記画像取得部が取得した撮像画像に含まれる人物を検出し、前記撮像画像における人物の検出位置および検出サイズを特定する人物検出部と、
前記人物検出部が特定した人物の検出位置に基づいて、前記検出サイズとは異なる枠線のサイズを決定する枠線決定部と、
前記枠線決定部が決定したサイズの枠線を前記撮像画像の前記検出位置に重畳した表示画像を生成する画像生成部と、
前記画像生成部が生成した表示画像を表示装置に表示させる表示制御部と、
を備えることを特徴とする画像認識装置。

【請求項2】

前記枠線決定部は、前記人物検出部が特定した人物の検出サイズが検出位置に応じた規定サイズ未満である場合、前記枠線のサイズを少なくとも縦方向に前記検出サイズより大きいサイズにすることを特徴とする請求項１に記載の画像認識装置。

【請求項3】

前記枠線決定部は、前記人物検出部が特定した人物の検出位置および検出サイズから前記人物の身長を算出し、算出した前記人物の身長に基づいて、前記検出サイズとは異なる枠線のサイズを決定することを特徴とする請求項１に記載の画像認識装置。

【請求項4】

前記枠線決定部は、前記人物検出部が検出した人物の身長が所定値未満である場合、前記枠線のサイズを少なくとも縦方向に前記検出サイズより大きいサイズにすることを特徴とする請求項３に記載の画像認識装置。

【請求項5】

前記人物検出部は、前記撮像画像における人物の接地位置を特定し、
前記画像生成部は、前記枠線決定部が決定したサイズの枠線の下端が前記接地位置に位置するように前記枠線を重畳した表示画像を生成することを特徴とする請求項１から４のいずれか一項に記載の画像認識装置。

【請求項6】

前記人物検出部は、前記撮像画像における人物の接地位置を特定し、
前記画像生成部は、前記枠線決定部が決定したサイズの枠線の下端が前記接地位置よりも下方に位置するように前記枠線を重畳した表示画像を生成することを特徴とする請求項１から４のいずれか一項に記載の画像認識装置。

【請求項7】

撮像画像を取得するステップと、
前記取得した撮像画像に含まれる人物を検出し、前記撮像画像における人物の検出位置および検出サイズを特定するステップと、
前記特定した人物の検出位置に基づいて、前記検出サイズとは異なる枠線のサイズを決定するステップと、
決定されたサイズの枠線を、前記撮像画像の前記検出位置に重畳した表示画像を生成するステップと、
前記生成した表示画像を表示装置に表示させるステップと、
を画像認識装置が実行する画像認識方法。

【請求項8】

撮像画像を取得する機能と、
前記取得した撮像画像に含まれる人物を検出し、前記撮像画像における人物の検出位置および検出サイズを特定する機能と、
前記特定した人物の検出位置に基づいて、前記検出サイズとは異なる枠線のサイズを決定する機能と、
決定されたサイズの枠線を、前記撮像画像の前記検出位置に重畳した表示画像を生成する機能と、
前記生成した表示画像を表示装置に表示させる機能と、
をコンピュータに実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置、画像認識方法およびプログラムに関する。

【背景技術】

【0002】

撮像画像に含まれる人物を検出し、検出された人物に矩形状の枠線を重畳した画像を生成して表示する技術が知られている。撮像画像に重畳して表示される矩形状の枠線のサイズは、検出した人物の範囲を囲うように縦横比を２対１とする場合がある。また、特許文献１のように、検出された人物までの距離に基づいて標準的なサイズ（例えば１７０ｃｍの身長に相当）となるように定められたサイズの枠線を表示する技術も開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２０４３７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

枠線のサイズを人物の大きさによらずに固定値とした場合、人物が大人であるのか子供であるのかなどの属性が適切に把握できない可能性がある。一方で、人物の大きさに対応した枠線のサイズとした場合、子供などの低身長者に重畳される枠線のサイズが小さくなる。枠線のサイズが小さい場合、枠線が重畳された撮像画像の表示を見たときに、実際の位置よりも遠くに人物が存在するような印象を与える可能性があり、近くに存在する低身長者の位置を誤って把握してしまう可能性がある。

【0005】

本発明は、上述の事情に鑑みてなされたものであり、検出された人物の位置を誤って把握する可能性を低減する技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明のある態様の画像認識装置は、撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に含まれる人物を検出し、撮像画像における人物の検出位置および検出サイズを特定する人物検出部と、人物検出部が特定した人物の検出位置に基づいて、検出サイズとは異なる枠線のサイズを決定する枠線決定部と、枠線決定部が決定したサイズの枠線を撮像画像の検出位置に重畳した表示画像を生成する画像生成部と、画像生成部が生成した表示画像を表示装置に表示させる表示制御部と、を備える。

【0007】

本発明の別の態様は、画像認識装置が実行する画像認識方法である。この方法は、撮像画像を取得するステップと、取得した撮像画像に含まれる人物を検出し、撮像画像における人物の検出位置および検出サイズを特定するステップと、特定した人物の検出位置に基づいて、検出サイズとは異なる枠線のサイズを決定するステップと、決定されたサイズの枠線を、撮像画像の検出位置に重畳した表示画像を生成するステップと、生成した表示画像を表示装置に表示させるステップと、を備える。

【0008】

本発明のさらに別の態様は、プログラムである。このプログラムは、撮像画像を取得する機能と、取得した撮像画像に含まれる人物を検出し、撮像画像における人物の検出位置および検出サイズを特定する機能と、特定した人物の検出位置に基づいて、検出サイズとは異なる枠線のサイズを決定する機能と、決定されたサイズの枠線を、撮像画像の検出位置に重畳した表示画像を生成する機能と、生成した表示画像を表示装置に表示させる機能と、をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、検出された人物の位置を誤って把握する可能性を低減できる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る画像認識装置の機能構成を模式的に示すブロック図である。

【図2】撮像画像の一例を示す図である。

【図3】人物の検出位置および検出サイズを模式的に示す図である。

【図4】枠線が重畳された表示画像の一例を示す図である。

【図5】第１実施形態に係る画像認識方法の流れを示すフローチャートである。

【図6】図６（ａ）～（ｄ）は、枠線の他の表示例を示す図である。

【図7】第２実施形態に係る画像認識装置の機能構成を模式的に示すブロック図である。

【図8】第２実施形態に係る画像認識方法の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照しつつ説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、図面において、本発明に直接関係のない要素は図示を省略する。

【0012】

（第１実施形態）
第１実施形態を詳細に説明する前に概要を示す。第１実施形態では、撮像画像に含まれる人物を検出し、検出した人物を囲う枠線を撮像画像に重畳した表示画像を生成して表示する。本実施形態では、検出した人物の検出サイズに対応するサイズの枠線を重畳し、検出した人物の身長が例えば１２０ｃｍ未満などの所定値未満である場合は、人物の検出サイズよりも縦方向に大きなサイズの枠線を重畳した表示画像を生成する。本実施形態によれば、所定値未満の身長の人物に対して、検出サイズよりも大きなサイズの枠線を重畳することで、検出した人物の枠線の縦方向のサイズが小さいことで実際の位置よりも遠くに存在するかのように誤認する可能性を低減し、検出された人物の位置を誤って把握する可能性を低減する。

【0013】

図１は、第１実施形態に係る画像認識装置１０の機能構成を模式的に示すブロック図である。画像認識装置１０は、画像取得部１２と、人物検出部１４と、枠線決定部１６と、画像生成部１８と、表示制御部２０と、記憶部２２を備える。本実施形態では、画像認識装置１０が車両に搭載される場合について例示する。画像認識装置１０は、例えば、車両に搭載されている装置であり、車両に備えられているＣＰＵ（Central Processing Unit）等の制御装置によって構成される。画像認識装置１０は、車両に備えられるナビゲーションシステムなどを用いて構成されていてもよい。また、画像認識装置１０は、ビデオカメラ装置や、スマートフォン等の可搬型の装置で実現されてもよい。画像認識装置１０は、カメラ２６および表示装置２８の少なくとも一方を備えてもよい。

【0014】

本実施形態において示される各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。

【0015】

画像取得部１２は、カメラ２６が撮像した撮像画像を取得する。カメラ２６は、車両に搭載され、車両の周囲の画像を撮像する。カメラ２６は、例えば、車両の前方の画像を撮像する。カメラ２６は、車両の後方を撮像してもよいし、車両の側方を撮像してもよい。カメラ２６は、可視光を撮像するよう構成される。カメラ２６は、赤色、緑色および青色のカラー画像を撮像するよう構成されてもよいし、可視光のモノクロ画像を撮像するよう構成されてもよい。

【0016】

カメラ２６は、赤外線を撮像するよう構成されてもよい。カメラ２６は、いわゆる赤外線サーモグラフィであってもよく、車両の周辺の温度分布を画像化し、車両の周辺に存在する熱源を特定できるようにしてもよい。カメラ２６は、波長２μｍ～５μｍ程度の中赤外線を検出するよう構成されてもよいし、波長８μｍ～１４μｍ程度の遠赤外線を検出するよう構成されてもよい。

【0017】

カメラ２６が撮影し、画像取得部１２が取得する撮像画像は、例えば毎秒３０フレームの画像が連続する動画像である。以下に説明する処理は、動画像に対して随時行われる。

【0018】

図２は、画像取得部１２が取得する撮像画像３０の例を示す。図２の例では、複数の人物３２ａ，３２ｂ，３２ｃ，３２ｄが撮像画像３０に含まれている。第１人物３２ａおよび第２人物３２ｂは、車両からの距離が相対的に近い第１距離Ｌ１に位置する。第３人物３２ｃおよび第４人物３４ｄは、車両からの距離が相対的に遠い第２距離Ｌ２に位置する。第１距離Ｌ１は、例えば、車両から１５ｍ～２０ｍ程度の距離に相当する。第２距離Ｌ２は、例えば、車両から４０ｍ～５０ｍ程度の距離に相当する。

【0019】

第１人物３２ａおよび第３人物３２ｃは、身長が１７０ｃｍ程度の人物であり、第２人物３２ｂおよび第４人物３２ｄは、身長が１００ｃｍ程度の人物であり、いわゆる低身長者である。図示する例では、低身長者である第２人物３２ｂの見た目の大きさと、第３人物３２ｃの見た目の大きさ、つまり撮像画像３０における検出サイズが同程度である。検出サイズとは、撮像画像における画像上のサイズである。

【0020】

人物検出部１４は、画像取得部１２が取得する撮像画像に含まれる人物を検出する。人物検出部１４は、歩行者やサイクリスト（自転車に乗っている人）などを人物認識辞書を用いて検索する。人物検出部１４は、撮像画像に対して、人物認識辞書を用いて人物を検索し、検索した区画に人物が存在する可能性を示す人物スコアを算出する。人物検出部１４は、例えば、検索した区画の人物スコアが所定の閾値以上となる場合に人物として検出する。人物検出部１４が用いる人物認識辞書は、人物が撮影された画像などを入力とし、人物スコアを出力とするモデルを用いた機械学習によって生成される。機械学習に用いるモデルとして、畳み込みニューラルネットワーク（ＣＮＮ）などを用いることができる。図２の例において、人物検出部１４は、画像取得部１２が取得した撮像画像３０に対して人物を検出する処理を行い、複数の人物３２ａ，３２ｂ，３２ｃ，３２ｄを検出している。

【0021】

人物検出部１４が検索に使用する区画の形状は、使用する人物認識辞書に応じて予め定められている。本実施形態に係る人物認識辞書では、検索される区画が長方形であり、区画の縦方向および横方向の画像サイズの比率が約２：１となるように定められている。検索に使用する区画の形状は、例えば、人物認識辞書を生成するための機械学習において使用された学習用画像の縦方向および横方向の画像サイズに対応する。

【0022】

人物検出部１４は、検出した人物の検出位置および検出サイズを特定する。人物検出部１４は、検出した人物にタグ番号を付与し、タグ番号ごとに検出位置および検出サイズを記憶部２２に記憶させる。検出位置は、撮像画像３０において人物が検出される区画の位置座標であり、例えば、区画の下端の中央の位置座標によって定められる。人物が検出される区画の下端は、人物の足下の位置に相当し、人物が地面と接する接地位置とも言える。人物の接地位置は、人物までの距離を推定するために使用できる。検出サイズは、人物が検出される区画の大きさであり、例えば検出される区画の縦方向の画像サイズによって定められる。検出サイズは、人物の身長を推定するために使用できる。

【0023】

図３は、図２に示す撮像画像３０で検出された人物３２ａ～３２ｄの検出位置および検出サイズを模式的に示す図である。図３は、図２の撮像画像３０において人物３２ａ～３２ｄが検出された区画３４ａ，３４ｂ，３４ｃ，３４ｄと、人物３２ａ～３２ｄの接地位置３６ａ，３６ｂ，３６ｃ，３６ｄとを示す。人物検出部１４は、人物３２ａ～３２ｄの検出サイズとして検出された区画３４ａ～３４ｄの少なくとも縦方向の大きさｈａ～ｈｄを記憶部２２に記憶させる。区画３４ａ～３４ｄの縦方向の大きさｈａ～ｈｄは、撮像画像３０における人物３２ａ～３２ｄの縦方向の画像サイズに対応する。区画３４ａ～３４ｄの縦方向の大きさｈａ～ｈｄは、人物３２ａ～３２ｄの足下から頭部までの縦方向の画像サイズで決定される。人物検出部１４は、人物３２ａ～３２ｄの検出位置として、区画３４ａ～３４ｄの下端の中央に位置する接地位置３６ａ～３６ｄの座標を記憶部２２に記憶させる。

【0024】

枠線決定部１６は、人物検出部１４の検出結果に基づいて撮像画像３０に枠線を重畳するか否かを決定し、枠線を重畳する場合には重畳すべき枠線の位置およびサイズを決定する。画像生成部１８は、枠線決定部１６が決定した位置およびサイズの枠線を撮像画像３０に重畳して表示画像を生成する。表示制御部２０は、画像生成部１８が生成した表示画像を表示装置２８に表示させる。表示装置２８は、例えば、車両に搭載されるディスプレイである。

【0025】

枠線決定部１６は、人物検出部１４が検出した人物までの距離を算出し、算出した距離をタグ番号ごとに記憶部２２に記憶させる。枠線決定部１６は、撮像画像における検出した人物の接地位置の縦方向の位置座標に基づいて人物までの距離を算出してもよい。枠線決定部１６は、撮像画像の縦方向の位置座標と距離の相関を示すテーブルや数式を用いて、人物までの距離を算出してもよい。この場合の人物までの距離とは、カメラ２６が搭載された車両から人物までの距離である。

【0026】

枠線決定部１６は、車両から人物までの距離に基づいて枠線を重畳するか否かを決定する。枠線決定部１６は、車両から人物までの距離が閾値（例えば４０ｍ）未満であれば枠線を重畳し、車両から人物までの距離が閾値（例えば４０ｍ）以上であれば枠線を重畳しないと決定する。枠線決定部１６は、車両から人物までの距離に応じて重畳する枠線の色を決定してもよい。例えば、人物までの距離が第１閾値（例えば２０ｍ）未満であれば赤色の枠線とし、人物までの距離が第１閾値（例えば２０ｍ）以上第２閾値（例えば４０ｍ）未満であれば黄色の枠線としてもよい。なお、人物までの距離が第２閾値以上であれば枠線なしとしてもよい。枠線決定部１６は、決定した枠線の要否や枠線の色をタグ番号ごとに記憶部２２に記憶させる。

【0027】

枠線決定部１６は、人物検出部１４が検出した人物の身長を算出し、算出した身長をタグ番号ごとに記憶部２２に記憶させる。枠線決定部１６は、検出した人物の接地位置と縦方向の検出サイズに基づいて人物の身長を算出する。枠線決定部１６は、撮像画像３０の縦方向の位置座標に応じて定められる検出サイズと身長の比率を示すテーブルや数式を用いて、人物の身長を算出してもよい。

【0028】

枠線決定部１６は、距離が閾値未満である人物の身長に基づいて枠線のサイズを決定する。枠線決定部１６は、人物の身長に応じて枠線のサイズを決定する。枠線決定部１６は、人物の身長が、例えば１２０ｃｍ以上などの所定値以上である場合、枠線の縦方向のサイズを人物の検出サイズと同等のサイズとする。枠線決定部１６は、人物の身長が、例えば１２０ｃｍ未満などの所定値未満である場合、つまり、低身長者である場合、枠線の縦方向のサイズを人物の検出サイズより大きいサイズとする。身長が所定値未満である人物の枠線の縦方向のサイズは、例えば、人物の検出位置において身長が１５０ｃｍから１７０ｃｍに該当するような大きなサイズであり、検出した人物の検出サイズよりも大きなサイズを有する。

【0029】

身長が所定値以上である人物に対する枠線の大きさは、人物の検出サイズに応じて変化し、人物の身長および人物までの距離に応じて変化しうる。つまり、身長が所定値以上である人物に対する枠線の大きさは、人物の身長に比例し、人物までの距離に反比例する。人物までの距離が同じであれば、人物の身長に応じて枠線の大きさが変化する。例えば、２０ｍの距離に位置する身長１８０ｃｍの人物に重畳される枠線は、２０ｍの距離に位置する身長１６０ｃｍの人物に重畳される枠線よりも縦方向に大きい。また、人物の身長が同じであれば、人物までの距離に応じて枠線の大きさが変化する。例えば、１０ｍの距離に位置する身長１８０ｃｍの人物に重畳される枠線は、２０ｍの距離に位置する身長１８０ｃｍの人物に重畳される枠線よりも縦方向に大きい。

【0030】

身長が所定値未満である人物に対する枠線の大きさは、人物の検出サイズに必ずしも追従しない。例えば、身長が所定未満の人物に対しては、固定値のサイズの枠線が設定されてもよい。この場合、例えば身長１００ｃｍの人物および身長９０ｃｍの人物が検出された場合に、いずれも身長１８０ｃｍに相当するサイズの枠線が設定される。また、身長が所定値未満の人物に対しては、枠線の縦方向のサイズが、検出された人物の身長に１．５などの係数を乗算した値となるように枠線のサイズが設定されてもよい。この場合、例えば身長１００ｃｍの人物に対しては、身長１５０ｃｍに相当するサイズの枠線が設定され、身長が９０ｃｍの人物に対しては、身長１３５ｃｍに相当するサイズの枠線が設定される。

【0031】

図４は、枠線４２，４４が重畳された表示画像４０の一例を示す図である。図４において、図２の第１人物３２ａの身長は、接地位置３６ａおよび表示画像４０における縦方向の大きさＨａに基づいて所定値以上であると判定されるため、第１人物３２ａの検出サイズの枠線４２が重畳される。つまり、第１人物３２ａの縦方向の検出サイズＨａを縦方向のサイズとして、縦横比２：１の枠線４２が重畳される。第２人物３２ｂの身長は、接地位置３６ａおよび表示画像４０における縦方向の大きさＨｂに基づいて所定値未満であると判定されるため、第２人物３２ｂの検出サイズとは異なるサイズの枠線として、第２人物３２ｂの検出サイズよりも縦方向に大きいサイズの枠線４４が重畳される。図４では、表示画像４０に描画される枠線４２，４４を太線で示している。図４にて破線で示される第１区画３４ａおよび第２区画３４ｂの枠線は、表示画像４０に描画されない。図４では、近距離である第１距離Ｌ１に位置する第１人物３２ａおよび第２人物３２ｂのみに枠線４２，４４が重畳され、遠距離である第２距離Ｌ２に位置する第３人物３２ｃおよび第４人物３２ｄには枠線が重畳されていない。

【0032】

身長が所定値以上である第１人物３２ａに重畳される枠線４２は、第１人物３２ａの検出サイズに対応した大きさを有し、例えば、第１人物３２ａが検出される第１区画３４ａと同じ大きさを有する。枠線４２の大きさは、第１区画３４ａの大きさからわずかに異なってもよく、例えば５％～１０％程度異なっていてもよい。したがって、枠線４２の縦方向の大きさＨａは、第１区画３４ａの縦方向の大きさｈａと同じでもよいし、わずかに小さくてもよいし、わずかに大きくてもよい。枠線４２の縦横比は、第１人物３２ａの検出サイズの縦横比と同じであり、２：１である。枠線４２は、第１人物３２ａの接地位置３６ａを基準として重畳され、枠線４２の下端の中央が接地位置３６ａと一致するように重畳される。

【0033】

身長が所定値未満である第２人物３２ｂに重畳される枠線４４は、第２人物３２ｂの検出サイズよりも大きい。枠線４４の縦方向の大きさＨｂは、第２人物３２ｂが検出される第２区画３４ｂの縦方向の大きさｈｂよりも有意に大きく、例えば１０％以上大きい。図４の例では、枠線４４の縦方向の大きさＨｂは、第２区画３４ｂの縦方向の大きさｈｂの約１．５倍である。枠線４４の縦横比は、第２人物３２ｂの検出サイズの縦横比と同じであり、２：１である。つまり、枠線４４の縦横比は、枠線４２の縦横比と同じである。枠線４４は、第２人物３２ｂの接地位置３６ｂを基準として重畳され、枠線４４の下端の中央が接地位置３６ｂと一致するように重畳される。その結果、第２人物３２ｂの頭部と枠線４４の上端との間には隙間４６が存在する。隙間４６の縦方向の大きさは、例えば、第２区画３４ｂの縦方向の大きさｈｂの１０％以上であり、例えば２０％～５０％程度である。

【0034】

図４の表示画像４０によれば、第２人物３２ｂに対して実際の身長よりも大きな枠線４４が重畳される。これにより、第２人物３２ｂの検出サイズ、つまり、破線で示される第２区画３４ｂに対応するサイズの枠線を重畳する場合に比べて、第２人物３２ｂを大きく見せることができる。また、第２人物３２ｂに重畳される枠線４４の大きさは、第１人物３２ａに重畳される枠線４２の大きさに近いため、第１人物３２ａおよび第２人物３２ｂがほぼ同じ距離に位置することをより分かりやすく提示できる。また、第１人物３２ａおよび第２人物３２ｂの接地位置３６ａ，３６ｂと枠線４２，４４の下端が一致しているため、枠線４２，４４の下端位置によっても第１人物３２ａおよび第２人物３２ｂが同じ距離に位置する位置することをより分かりやすく提示できる。その結果、第２人物３２ｂの見た目が小さいことで、第２人物３２ｂが実際よりも遠くに存在するかのように誤認する可能性を下げることができる。例えば、第２人物３２ｂと見た目の大きさが同等である第３人物３２ｃが位置する第２距離Ｌ２の近傍に第２人物３２ｂが存在するかのように誤認する可能性を低減できる。

【0035】

図５は、第１実施形態に係る画像認識方法の流れを示すフローチャートである。図５の処理の開始および終了は、画像認識装置１０が車両に搭載されている場合は、車両の利用開始および終了、エンジンや電源等の始動および終了などで開始される。また、ユーザの操作などで開始および終了が行われてもよい。

【0036】

まず、処理の開始に伴い、画像取得部１２がカメラ２６から撮像画像３０を取得し（Ｓ１０）、人物検出部１４が取得した撮像画像に含まれる人物の検出を開始する（Ｓ１２）。人物が検出されれば（Ｓ１２のＹ）、人物検出部１４は、人物の検出位置および検出サイズを特定する（Ｓ１４）。枠線決定部１６は、検出した人物までの距離が閾値未満であって（Ｓ１６のＹ）、検出した人物の身長が所定値未満であれば（Ｓ１８のＹ）、人物の検出位置に重畳させる枠線のサイズを、人物の検出サイズとは異なるサイズ、具体的には人物の検出サイズよりも大きいサイズに決定し、画像生成部１８は、決定されたサイズの枠線を重畳した表示画像を生成する（Ｓ２０）。検出した人物の身長が所定値未満でなければ（Ｓ１８のＮ）、人物の検出位置に人物の検出サイズに対応するサイズの枠線を重畳した表示画像を生成する（Ｓ２２）。生成された表示画像は、表示制御部２０によって表示装置２８に表示される（Ｓ２４）。人物までの距離が閾値未満ではない場合（Ｓ１６のＮ）、Ｓ１８～Ｓ２２の処理をスキップし、人物には枠線が重畳されない。人物が検出されない場合（Ｓ１２のＮ）、Ｓ１４～Ｓ２２の処理をスキップし、枠線が重畳されていない撮像画像３０をそのまま表示画像として表示させる（Ｓ２４）。

【0037】

上記フローにおいて、撮像画像３０に複数の人物が検出される場合、Ｓ１２～Ｓ２２の処理によって、検出された複数の人物ごとに枠線の重畳要否および重畳する枠線のサイズが決定される。

【0038】

本実施形態のある態様は、プログラムであってもよい。このプログラムは、撮像画像を取得する機能と、取得した撮像画像に含まれる人物を検出し、撮像画像における人物の検出位置および検出サイズを特定する機能と、検出した人物の検出位置および検出サイズから人物の身長を算出する機能と、算出した人物の身長に基づいて、検出サイズとは異なる枠線のサイズを決定する機能と、決定されたサイズの枠線を、撮像画像の検出位置に重畳した表示画像を生成する機能と、生成した表示画像を表示装置に表示させる機能と、をコンピュータに実現させるよう構成されてもよい。

【0039】

以上、本発明を上述の実施形態を参照して説明したが、本発明は上述の実施形態に限定されるものではなく、実施形態に示す各構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。

【0040】

第１実施形態の変形例では、身長が所定値未満である人物に対する枠線を、図４とは異なる態様で表示してもよい。図６（ａ）～（ｄ）は、図４に示した枠線４４に対応する他の枠線４４ａ～４４ｄの表示例を示す図である。図６に示す人物３２は、いずれも身長が所定値未満の人物である。

【0041】

図６（ａ）に示す枠線４４ａは、人物３２が検出される区画３４のサイズに比べて縦方向の大きさのみを大きくし、横方向の大きさはそのままとしている。したがって、図６（ａ）の枠線４４ａの縦横比は、人物３２の検出サイズの縦横比である約２：１よりも大きい。図６（ａ）の枠線４４ａの縦方向の大きさは、例えば、横方向の大きさの２倍より大きく、２．２倍～３．５倍程度である。

【0042】

図６（ｂ）に示す枠線４４ｂは、人物３２が検出される区画３４のサイズに比べて横方向の大きさのみを大きくし、縦方向の大きさはそのままとしている。したがって、図６（ｂ）の枠線４４ｂの縦横比は、人物３２の検出される区画３４のサイズの縦横比である約２：１よりも小さい。図６（ｂ）の枠線４４ｂの横方向の大きさは、枠線４４ｂの縦方向の大きさよりも小さくてもよく、例えば、縦方向の大きさの０．６倍～１倍程度であってもよい。

【0043】

図６（ｃ）に示す枠線４４ｃは、図４の枠線４４と同じ形状および大きさであるが、枠線４４ｃを重畳する位置が異なっている。図６（ｃ）の枠線４４ｃの下端は、人物３２の接地位置３６よりも下方に位置している。図６（ｃ）の枠線４４ｃの中心位置は、例えば、人物３２が検出される区画３４の中心位置と一致する。枠線４４ｃを下方にずらして重畳することで、人物３２がより近くに存在するような印象を与えることができ、低身長者の存在をより強調することができる。

【0044】

図６（ｄ）に示す枠線４４ｄは、図４の枠線４４と同じ形状および大きさであるが、枠線４４ｄを重畳する位置が異なっており、左右方向に重畳位置をずらしている。図６（ｄ）の枠線４４ｄは、検出した人物３２の移動方向または視線方向３８にずれて重畳されている。図６（ｄ）の例では、人物３２の移動方向または視線方向３８が右方向であり、枠線４４ｄの中心が接地位置３６よりも右側に位置している。枠線４４ｄを人物３２の移動方向または視線方向３８にずらして重畳することで、人物３２の移動方向または視線方向３８を提示でき、低身長者の挙動を示唆できる。なお、人物３２の移動方向または視線方向３８が左右方向ではなく、下方向や斜め方向である場合、下方向や斜め方向に枠線４４ｄの重畳位置をずらしてもよい。

【0045】

人物３２の移動方向は、動画像である撮像画像のフレームごとの人物検出位置の推移や、人物の手足の向きなどに基づいて特定されてもよい。また、人物３２の視線方向３８は、人物３２の顔の向きに基づいて特定されてもよく、人物３２の顔の向きを視線方向３８とみなしてもよい。人物３２の顔の向きは、人物検出部１４による人物の検出結果に基づいて特定される。

【0046】

上述の実施形態では、検出された区画の下端を接地位置とする場合について示した。別の実施形態では、検出された区画の画像内容に基づいて接地位置を検出してもよい。例えば、検出された区画に含まれる人物の足下が隠れて見えなくなっているような場合、検出された区画に含まれる人物の頭部の位置や大きさに基づいて人物の身長を推定し、身長の推定結果に基づいて接地位置を検出してもよい。

【0047】

上述の実施形態では、人物までの距離に応じて枠線の必要性や枠線の色を決定する場合について示した。別の実施形態では、人物の検出位置に基づいて枠線の必要性や枠線の色を決定してもよい。枠線決定部１６は、例えば、上述の閾値となる距離（例えば２０ｍまたは４０ｍ）に対応する撮像画像の縦方向の位置座標を閾値として保持し、位置座標の閾値に基づいて枠線の重畳の要否や枠線の色を決定してもよい。

【0048】

上述の実施形態では、身長が所定値未満である人物に対する枠線の大きさを、例えば縦方向に拡大するなどして人物の検出サイズとは異なるサイズとし、人物の検出サイズとは異なるサイズの枠線を重畳させる場合について示した。別の実施形態では、身長が所定値未満である人物に対し、検出したサイズに対応する第１枠線と、第１枠線よりも縦方向にサイズを拡大した第２枠線とを重畳させてもよい。この場合、検出した人物を囲う枠線は２重の枠線となる。また、縦方向に拡大した枠線の中に存在する身長が所定値未満である人物の外形をなぞるように描画した外形線などを枠線に加えて重畳させてもよい。

【0049】

上述の実施形態では、距離が閾値以上となる人物に枠線を重畳しないこととした。別の実施形態では、距離が閾値以上となる人物に枠線を重畳してもよい。例えば、距離が閾値未満となる人物が検出されない場合、距離が閾値以上となる人物に枠線を重畳してもよい。距離が閾値未満となる人物の検出有無によらず、距離が閾値以上となる人物に枠線を重畳してもよい。

【0050】

上述の実施形態では、身長が所定値未満である人物に対する枠線の大きさを、縦方向に拡大するなどして人物の検出サイズとは異なるサイズとし、人物の検出サイズとは異なるサイズの枠線を重畳させる場合について示した。別の実施形態では、このような処理の要否を、身長が所定値未満である人物と、身長が所定値以上である人物との間の距離に応じて決定してもよい。例えば、身長が所定値未満である人物の近傍、例えば２ｍに相当する範囲に、身長が所定値以上である人物が存在する場合、身長が所定値未満である人物までの距離は、身長が所定値以上である人物の存在によって誤認される可能性が低くなる。このため、身長が所定値未満である人物の近傍、例えば２ｍなどの所定範囲に身長が所定値以上である人物が存在しない場合に、身長が所定値未満である人物に対する枠線の大きさを人物の検出サイズとは異なるサイズにしてもよい。

【0051】

上述の実施形態では、枠線決定部１６が検出した人物までの距離を算出し、検出した人物の身長を算出する場合について示した。別の実施形態では、枠線決定部１６の代わりに、人物検出部１４が検出した人物までの距離を算出し、検出した人物の身長を算出してもよい。この場合、人物検出部１４は、画像取得部１２が取得した撮像画像に含まれる人物を検出し、撮像画像における人物の検出位置および検出サイズを特定し、人物の検出位置および検出サイズから人物の身長を算出してもよい。枠線決定部１６は、人物検出部１４が算出した人物の身長に基づいて、検出サイズとは異なる枠線のサイズを決定してもよい。枠線決定部１６は、人物検出部１４が検出した人物の身長が所定値未満である場合、枠線のサイズを少なくとも縦方向に前記検出サイズより大きいサイズにしてもよい。

【0052】

（第２実施形態）
次に、本発明の第２実施形態について、図面を参照しつつ説明する。第２実施形態では、人物の身長を算出せずに、人物の検出位置に応じた規定サイズに基づいて、検出サイズとは異なる枠線のサイズを決定する。以下、第２実施形態について、第１実施形態との相違点を中心に説明し、第１実施形態との共通点については、図面または説明を適宜省略する。

【0053】

図７は、第２実施形態に係る画像認識装置１０ａの機能構成を模式的に示すブロック図である。画像認識装置１０ａは、画像取得部１２と、人物検出部１４と、枠線決定部１６ａと、画像生成部１８と、表示制御部２０と、記憶部２２を備える。第２実施形態において、画像取得部１２、人物検出部１４、画像生成部１８、表示制御部２０および記憶部２２は、第１実施形態と同様に構成される。

【0054】

枠線決定部１６ａは、人物検出部１４が特定した人物の検出位置に基づいて、検出サイズとは異なる枠線のサイズを決定する。枠線決定部１６ａは、人物の身長に応じて枠線のサイズを決定するのではなく、人物の検出位置と、検出位置に応じた規定サイズとに基づいて枠線のサイズを決定する点で、第１実施形態と相違する。具体的には、人物検出部１４ａが検出した人物の検出サイズが検出位置に応じた規定サイズ未満である場合、枠線のサイズが検出サイズよりも少なくとも縦方向に大きいサイズとなるように、枠線のサイズを決定する。検出位置に応じた規定サイズは、例えば、検出位置に存在する身長１７０ｃｍの人物の検出サイズと同等のサイズである。規定サイズは検出位置に応じて変化してもよく、例えば、撮像画像における検出位置が下方に位置するほど規定サイズを大きくし、撮像画像における検出位置が上方に位置するほど規定サイズを小さくしてもよい。検出位置に応じた規定サイズは、例えば、記憶部２２に予め記憶される。検出位置に応じた規定サイズは、検出位置と規定サイズの相関を示すテーブルや数式等を用いて定めることができる。枠線検出部１６ａは、人物の身長に応じた枠線サイズの決定処理を除いて、第１実施形態に係る枠線決定部１６と同様に構成されてもよい。

【0055】

枠線決定部１６ａの処理について、図３および図４を参照しながら説明する。人物検出部１４は、第１人物３２ａを検出し、第１人物３２ａが検出された区画３４ａの検出サイズと、検出位置（つまり、接地位置３６ａ）とを特定する。枠線決定部１６ａは、第１人物３２ａの検出サイズと、第１人物３２ａの接地位置３６ａに応じた規定サイズとを比較する。規定サイズが身長１７０ｃｍの人物の検出サイズに相当し、第１人物３２ａの身長が１７０ｃｍ以上である場合、第１人物３２ａの検出サイズは、接地位置３６ａに応じた規定サイズ以上となる。この場合、枠線決定部１６ａは、第１人物３２ａが検出された区画３４ａの検出サイズを枠線のサイズとして決定する。その結果、例えば、図４に示されるように、第１人物３２ａの検出サイズと同等サイズの枠線４２が重畳表示される。

【0056】

人物検出部１４は、第２人物３２ｂを検出し、第２人物３２ｂが検出された区画３４ｂの検出サイズと、検出位置（つまり、接地位置３６ｂ）とを特定する。枠線決定部１６ａは、第２人物３２ｂの検出サイズと、第２人物３２ｂの接地位置３６ｂに応じた規定サイズとを比較する。規定サイズが身長１７０ｃｍの人物の検出サイズに相当し、第２人物３２ｂの身長が１００ｃｍ程度である場合、第２人物３２ｂの検出サイズは、接地位置３６ｂに応じた規定サイズ未満となる。この場合、枠線決定部１６ａは、第２人物３２ｂが検出された区画３４ｂの検出サイズよりも少なくとも縦方向に大きなサイズを枠線のサイズとして決定する。枠線決定部１６ａは、第２人物３２ｂの枠線のサイズとして、接地位置３６ｂに応じた規定サイズと同じサイズを決定してもよい。その結果、例えば、図４に示されるように、第２人物３２ｂの検出サイズよりも少なくとも縦方向に大きなサイズの枠線４４が重畳表示される。

【0057】

図８は、第２実施形態に係る画像認識方法の流れを示すフローチャートである。画像取得部１２がカメラ２６から撮像画像３０を取得し（Ｓ５０）、人物検出部１４が取得した撮像画像に含まれる人物を検出する（Ｓ５２）。人物が検出されれば（Ｓ５２のＹ）、人物検出部１４は、人物の検出位置および検出サイズを特定する（Ｓ５４）。枠線決定部１６ａは、検出した人物までの距離が閾値未満であって（Ｓ５６のＹ）、検出した人物の検出サイズが検出位置に応じた規定サイズ未満であれば（Ｓ５８のＹ）、人物の検出位置に重畳させる枠線のサイズを、人物の検出サイズとは異なるサイズ、具体的には人物の検出サイズよりも大きいサイズに決定し、画像生成部１８は、決定されたサイズの枠線を重畳した表示画像を生成する（Ｓ６０）。検出した人物の検出サイズが検出位置に応じた規定サイズ未満でなければ（Ｓ５８のＮ）、人物の検出位置に人物の検出サイズに対応するサイズの枠線を重畳した表示画像を生成する（Ｓ６２）。生成された表示画像は、表示制御部２０によって表示装置２８に表示される（Ｓ６４）。人物までの距離が閾値未満ではない場合（Ｓ５６のＮ）、Ｓ５８～Ｓ６２の処理をスキップし、人物には枠線が重畳されない。人物が検出されない場合（Ｓ５２のＮ）、Ｓ５４～Ｓ６２の処理をスキップし、枠線が重畳されていない撮像画像３０をそのまま表示画像として表示させる（Ｓ６４）。

【0058】

第２実施形態においても、第１実施形態と同様の効果を奏することができる。なお、第２実施形態に対し、第１実施形態の変形例を適用してもよい。

【0059】

上述の各実施形態では、人物までの距離を撮像画像に基づいて算出する場合について示した。別の実施形態では、人物までの距離をカメラ２６とは異なるセンサを用いて計測してもよい。例えば、超音波センサ、レーダセンサ、ＬＩＤＡＲ（Light Detection and Ranging）といった任意の測距センサが用いられてもよい。

【0060】

上述の各実施形態では、画像認識装置１０が車両に搭載される場合について示した。別の実施形態では、画像認識装置１０の設置場所は特に限られず、任意の用途に用いられてもよい。

【産業上の利用可能性】

【0061】

本発明によれば、検出された人物の位置を誤って把握する可能性を低減できる。

【符号の説明】

【0062】

１０…画像認識装置、１２…画像取得部、１４…人物検出部、１６、１６ａ…枠線決定部、１８…画像生成部、２０…表示制御部、２８…表示装置、３０…撮像画像、３２…人物、３４…区画、３６…接地位置、４０…表示画像、４２…枠線、４４…枠線。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】