ホーム > 特許ランキング > 株式会社ＪＶＣケンウッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-22
(45)【発行日】2024-01-30
(54)【発明の名称】画像認識装置、画像認識方法および認識辞書生成方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240123BHJP
【ＦＩ】
G06T7/00 350B
【請求項の数】
4
(21)【出願番号】P 2020120682
(22)【出願日】2020-07-14
(65)【公開番号】P2022017871
(43)【公開日】2022-01-26
【審査請求日】2023-03-31
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社ＪＶＣケンウッド
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】小倉 卓也
【審査官】小太刀 慶明
(56)【参考文献】
【文献】特開２００７－２６５１４９（ＪＰ，Ａ）
【文献】特開２０１９－１５９５７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項4】
撮像画像を取得する機能と、前記撮像画像の一部領域に所定の対象物が含まれる可能性を示す認識スコアを算出する機能であって、
ａ）前記一部領域の画像サイズが閾値未満である場合、所定値未満の画像サイズを有する画像を入力画像とし、前記所定の対象物が入力画像に含まれる可能性を示す認識スコアを出力とする機械学習により生成された第１認識辞書データを用いて、前記一部領域における前記所定の対象物の認識スコアを算出し、
ｂ）前記一部領域の画像サイズが前記閾値以上である場合、前記所定値以上の画像サイズを有する画像を入力画像とし、前記所定の対象物が入力画像に含まれる可能性を示す認識スコアを出力とする機械学習により生成された第２認識辞書データを用いて、前記一部領域における前記所定の対象物の認識スコアを算出する機能と、
前記算出される認識スコアに基づいて、前記撮像画像に前記所定の対象物が含まれるか否かを判定する機能と、をコンピュータに実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識装置、画像認識方法および認識辞書生成方法に関する。
【背景技術】
【0002】
車両の周囲を撮像した画像から歩行者などの対象物をパターンマッチング等の画像認識技術を用いて検出する技術が知られている。例えば、撮像画像から近距離用、中距離用および遠距離用の三つの画像を生成し、三つの画像のそれぞれについて共通の認識辞書を用いたパターンマッチングを行うことにより、検出精度を高める技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－２１１９４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮像画像において対象物が含まれる領域の画像サイズは、主に対象物までの距離に応じて大きく変化しうる。対象物が遠い場合には対象物が含まれる領域の画像サイズは小さくなり、対象物が近い場合には対象物が含まれる領域の画像サイズは大きくなる。画像サイズの異なる対象物を共通の認識辞書を用いて検出しようとすると、検出精度が低下しうる。
【0005】
本発明は、上述の事情に鑑みてなされたものであり、認識辞書に基づく画像認識処理において対象物の検出精度を高める技術を提供することにある。
【課題を解決するための手段】
【0006】
本発明のある態様の画像認識装置は、撮像画像を取得する画像取得部と、撮像画像の一部領域に所定の対象物が含まれる可能性を示す認識スコアを算出する認識処理部と、認識処理部により算出される認識スコアに基づいて、撮像画像に所定の対象物が含まれるか否かを判定する判定処理部と、を備える。認識処理部は、ａ）一部領域の画像サイズが閾値未満である場合、所定値未満の画像サイズを有する画像を入力画像とし、入力画像に所定の対象物が含まれる可能性を示す認識スコアを出力とする機械学習により生成された第１認識辞書データを用いて、一部領域における所定の対象物の認識スコアを算出し、ｂ）一部領域の画像サイズが閾値以上である場合、所定値以上の画像サイズを有する画像を入力画像とし、入力画像に所定の対象物が含まれる可能性を示す認識スコアを出力とする機械学習により生成された第２認識辞書データを用いて、一部領域における所定の対象物の認識スコアを算出する。
【0007】
本発明の別の態様は、画像認識方法である。この方法は、撮像画像を取得するステップと、撮像画像の一部領域に所定の対象物が含まれる可能性を示す認識スコアを算出するステップと、算出される認識スコアに基づいて、撮像画像に所定の対象物が含まれるか否かを判定するステップと、を備える。認識スコアを算出するステップは、ａ）一部領域の画像サイズが閾値未満である場合、所定値未満の画像サイズを有する画像を入力画像とし、入力画像に所定の対象物が含まれる可能性を示す認識スコアを出力とする機械学習により生成された第１認識辞書データを用いて、一部領域における所定の対象物の認識スコアを算出し、ｂ）一部領域の画像サイズが閾値以上である場合、所定値以上の画像サイズを有する画像を入力画像とし、入力画像に所定の対象物が含まれる可能性を示す認識スコアを出力とする機械学習により生成された第２認識辞書データを用いて、一部領域における所定の対象物の認識スコアを算出する。
【0008】
本発明のさらに別の態様は、認識辞書生成方法である。この方法は、所定値未満の画像サイズを有する画像を入力画像とし、入力画像に所定の対象物が含まれる可能性を示す認識スコアを出力とする機械学習によって第１認識辞書データを生成するステップと、所定値以上の画像サイズを有する画像を入力画像とし、入力画像に所定の対象物が含まれる可能性を示す認識スコアを出力とする機械学習によって第２認識辞書データを生成するステップと、を備える。
【発明の効果】
【0009】
本発明によれば、認識辞書に基づく画像認識処理において対象物の検出精度を高めることができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態に係る画像認識装置の機能構成を模式的に示すブロック図である。
【図2】画像取得部が取得する撮像画像の例を示す図である。
【図3】出力部が生成する出力画像の例を示す図である。
【図4】画像変換部が生成する複数の変換画像を模式的に示す図である。
【図5】複数の変換画像の画像サイズの一例を示すテーブルである。
【図6】画像検索部による画像検索処理を模式的に示す図である。
【図8】画像検索処理の検索条件の一例を示すテーブルである。
【図9】実施の形態に係る画像認識方法の流れを示すフローチャートである。
【図11】実施の形態に係る認識辞書生成方法の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、図面において、本発明に直接関係のない要素は図示を省略する。
【0012】
本実施の形態を詳細に説明する前に概要を示す。本実施の形態は、取得した画像に所定の対象物が含まれるか否かを認識辞書データを用いて判定する画像認識装置である。画像認識装置は、例えば車両に搭載され、車両前方を撮像した画像を取得する。画像認識装置は、取得した画像に基づいて、歩行者やサイクリスト（自転車に乗っている人）などの対象物を検出する。認識辞書データは、検出対象となる対象物の種類ごとに用意される。本実施の形態では、同一種類の対象物（例えば、歩行者）について複数の認識辞書データを用意し、複数の認識辞書データを使い分けることで対象物の検出精度を高める。
【0013】
図１は、実施の形態に係る画像認識装置１０の機能構成を模式的に示すブロック図である。画像認識装置１０は、画像取得部１２と、認識処理部１４と、判定処理部１６と、出力部１８と、認識辞書記憶部２０と、を備える。本実施の形態では、画像認識装置１０が車両に搭載される場合について例示する。
【0014】
本実施形態において示される各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【0015】
画像取得部１２は、カメラ２６が撮像した撮像画像を取得する。カメラ２６は、車両に搭載され、車両の周囲の画像を撮像する。カメラ２６は、例えば、車両の前方の画像を撮像する。カメラ２６は、車両の後方を撮像してもよいし、車両の側方を撮像してもよい。画像認識装置１０は、カメラ２６を備えてもよいし、カメラ２６を備えなくてもよい。
【0016】
カメラ２６は、車両の周囲の赤外線を撮像するよう構成される。カメラ２６は、いわゆる赤外線サーモグラフィであり、車両の周辺の温度分布を画像化し、車両の周辺に存在する熱源を特定できるようにする。カメラ２６は、波長２μｍ～５μｍ程度の中赤外線を検出するよう構成されてもよいし、波長８μｍ～１４μｍ程度の遠赤外線を検出するよう構成されてもよい。なお、カメラ２６は、可視光を撮像するよう構成されてもよい。カメラ２６は、赤色、緑色および青色のカラー画像を撮像するよう構成されてもよいし、可視光のモノクロ画像を撮像するよう構成されてもよい。
【0017】
図２は、画像取得部１２が取得する撮像画像３０の例を示す。図２は、交差点で停車中の車両の前方を赤外線カメラで撮像したときの画像を示し、車両の前方の横断歩道を渡っている歩行者３０ａやサイクリスト３０ｂが撮像画像３０に含まれている。
【0018】
認識処理部１４は、画像取得部１２が取得する撮像画像の一部領域に所定の対象物が含まれる可能性を示す認識スコアを算出する。認識処理部１４は、例えば、図２の歩行者３０ａが含まれる領域を特定し、特定した領域に歩行者が含まれる可能性を示す認識スコアを算出する。認識スコアは、例えば０～１の範囲で算出され、一部領域に所定の対象物が含まれる可能性が高いほど大きな数値（つまり、１に近い値）となり、一部領域に所定の対象物が含まれる可能性が低いほど小さな数値（つまり、０に近い値）となる。
【0019】
判定処理部１６は、認識処理部１４が算出する認識スコアに基づいて、撮像画像３０に所定の対象物が含まれるか否かを判定する。判定処理部１６は、例えば、認識処理部１４が算出する認識スコアが所定の基準値以上である場合、基準値以上の認識スコアとなる領域に所定の対象物が存在すると判定する。なお、基準値以上の認識スコアとなる領域がない場合、判定処理部１６は、所定の対象物が存在しないと判定する。
【0020】
出力部１８は、判定処理部１６の判定結果に基づく情報を出力する。出力部１８は、判定処理部１６が所定の対象物が存在すると判定した場合、検出した対象物を強調する枠などを付加した出力画像を生成する。出力部１８が生成する出力画像は、ディスプレイなどの外部装置２８に表示される。出力部１８は、判定処理部１６が所定の対象物が存在すると判定した場合、警告音を生成してもよい。出力部１８が生成する警告音声は、スピーカなどの外部装置２８から出力される。画像認識装置１０は、外部装置２８を備えてもよいし、外部装置２８を備えなくてもよい。
【0021】
図３は、出力部１８が生成する出力画像３８の例を示す図である。出力画像３８は、撮像画像３０に検出枠３８ａ，３８ｂを重畳したものである。出力画像３８の第１検出枠３８ａは、撮像画像３０の歩行者３０ａに対応する位置に重畳される。出力画像３８の第２検出枠３８ｂは、撮像画像３０のサイクリスト３０ｂに対応する位置に重畳される。
【0022】
認識辞書記憶部２０は、認識処理部１４が認識スコアを算出するときに用いる認識辞書データを記憶する。認識辞書記憶部２０は、対象物の種類に応じた複数種類の認識辞書データを記憶する。例えば、歩行者用の認識辞書データ、サイクリスト用の認識辞書データ、動物用の認識辞書データ、および、車両用の認識辞書データなどが認識辞書記憶部２０に記憶される。認識辞書データは、画像を入力とし、認識スコアを出力とするモデルを用いた機械学習によって生成される。機械学習に用いるモデルとして、畳み込みニューラルネットワーク（ＣＮＮ）などを用いることができる。
【0023】
認識処理部１４は、画像変換部２２と、画像検索部２４とを含む。画像変換部２２は、画像取得部１２が取得する撮像画像３０の画像サイズを変換し、画像サイズが異なる複数の変換画像を生成する。画像検索部２４は、画像変換部２２が生成する変換画像の一部領域を切り出し、切り出した領域に所定の対象物が含まれる可能性を示す認識スコアを算出する。画像検索部２４は、切出領域の位置を変えて認識スコアを順次算出することで、認識スコアの高い領域を検索する。画像サイズの異なる複数の変換画像を検索することで、撮像画像３０に含まれる異なる大きさの対象物を検出可能となる。
【0024】
図４は、画像変換部２２が生成する複数の変換画像３２を模式的に示す図である。画像変換部２２は、撮像画像３０から複数であるｎ枚の変換画像３２（３２＿１，・・・，３２＿ｉ，・・・，３２＿ｎ）を生成する。複数の変換画像３２は、元となる撮像画像３０の画像サイズを拡大または縮小することで生成される。複数の変換画像３２は、ピラミッド構造を有するように階層化された「画像ピラミッド」と呼ばれることがある。
【0025】
本書において「画像サイズ」は、画像の縦方向および横方向の画素数で定義できる。例えば、第１変換画像３２＿１は、撮像画像３０を第１変換倍率ｋ１で拡大することで生成される。撮像画像３０の縦方向の画像サイズをｈ０とすると、第１変換画像３２＿１の縦方向の画像サイズｈ１は、ｈ１＝ｋ１・ｈ０である。同様に、撮像画像３０の横方向の画像サイズをｗ０とすると、第１変換画像３２＿１の横方向の画像サイズｗ１は、ｗ１＝ｋ１・ｗ０である。また、第ｎ変換画像３２＿ｎは、撮像画像３０を第ｎ変換倍率ｋｎで縮小することで生成される。第ｎ変換画像３２＿ｎの縦方向および横方向の画像サイズｈｎ，ｗｎは、ｈｎ＝ｋｎ・ｈ０であり、ｗｎ＝ｋｎ・ｗ０である。複数の変換画像３２のそれぞれは、縦方向および横方向の画像サイズｈｉ，ｗｉと、変換倍率ｋｉとが互いに異なる（ｉ＝１～ｎ）。なお、複数の変換画像３２のそれぞれは、縦方向および横方向の画像サイズの比率（アスペクト比）ｈｉ：ｗｉが共通である。
【0026】
図５は、複数の変換画像３２の画像サイズの一例を示すテーブルである。図５では、複数の変換画像３２の枚数ｎ＝１９であり、撮像画像３０の縦方向および横方向の画像サイズが７２０×１２８０（ｈ０＝７２０ピクセル，ｗ０＝１２８０ピクセル）である場合を例示する。変換倍率ｋｉは、等比級数となるように設定されており、公比ｒ＝ｋｉ＋１／ｋｉが約０．９となるように設定されている。図５の例では、ｉ＝１～１０において撮像画像３０が拡大されるように変換倍率ｋｉを１を超える値に設定している。一方、ｉ＝１１～１９では、撮像画像３０が縮小されるように変換倍率ｋｉを１未満の値に設定している。なお、複数の変換画像３２の枚数ｎ、変換倍率ｋｉ、撮像画像３０の画像サイズｈ０，ｗ０の具体的な数値は、図５の例に限られず、適宜任意の値を設定することができる。また、変換倍率ｋｉは、等比級数でなくてもよく、等差級数であってもよい。変換倍率ｋｉは、番号ｉに応じて段階的に値が変化する任意の数列で定義されてもよい。
【0027】
図６は、画像検索部２４による画像検索処理を模式的に示す図である。画像検索部２４は、変換画像３２の一部である切出領域３４を抽出し、切出領域３４に所定の対象物が含まれる可能性を示す認識スコアを算出する。画像検索部２４は、認識辞書データを用いた画像認識処理によって認識スコアを算出する。画像検索部２４は、認識辞書データを読み込んでモデルを生成し、モデルに切出領域３４の画像データを入力し、入力した切出領域３４の認識スコアをモデルに出力させる。画像検索部２４は、矢印Ｓで示されるように切出領域３４の位置をずらしながら切出領域３４の画像データをモデルに順次入力することで、変換画像３２の全領域にわたって認識スコアを算出する。
【0028】
切出領域３４の形状およびサイズは、認識辞書データの種類に応じて定められている。例えば、歩行者用の認識辞書データの場合、切出領域３４が長方形であり、切出領域３４の縦方向および横方向の画像サイズの比率ａ：ｂが約２：１となるように定められている。サイクリスト用や自動車用では、切出領域３４の縦方向および横方向の画像サイズの比率ａ：ｂが歩行者用とは異なる値であってもよい。切出領域３４の縦方向および横方向の画像サイズは、認識辞書データごとに固定値が設定される。切出領域３４の画像サイズは、例えば、認識辞書データを生成するための機械学習において使用された学習用画像の画像サイズに一致する。
【0029】
画像検索部２４は、画像サイズの異なる複数の変換画像３２について、認識辞書データごとに設定される所定サイズａ×ｂの切出領域３４を切り出して画像検索処理を実行する。図７（ａ）は、変換画像３２における切出領域３４の画像サイズａ×ｂを模式的に示す図である。図７（ａ）の例では、図２の歩行者３０ａが含まれる領域を切出領域３４としている。変換画像３２は、元の撮像画像３０を所定の変換倍率ｋｉで拡大または縮小した画像であるため、元の撮像画像３０を基準としたときの検索対象となる領域のサイズは、切出領域３４を変換倍率の逆数１／ｋｉで縮小または拡大したサイズとなる。図７（ｂ）は、撮像画像３０における検索領域３６の画像サイズを模式的に示す図である。図示されるように、撮像画像３０を基準としたときの検索領域３６の画像サイズは（ａ／ｋｉ）×（ｂ／ｋｉ）であり、切出領域３４のサイズａ×ｂを変換倍率ｋｉで割った値となる。その結果、画像サイズの異なる複数の変換画像３２について所定サイズａ×ｂの切出領域３４を画像検索することで、撮像画像３０における検索領域３６の画像サイズを変化させながら画像検索を実行できる。これにより、サイズの異なる対象物を検索できる。
【0030】
本実施の形態では、同一種類の対象物について複数の認識辞書データが用意され、認識辞書データごとに切出領域３４の画像サイズが異なる。例えば、歩行者用の第１認識辞書データでは切出領域３４の画像サイズが相対的に小さく設定され、歩行者用の第２認識辞書データでは切出領域３４の画像サイズが相対的に大きく設定される。例えば、歩行者用の第１認識辞書データの切出領域３４の画像サイズは、８０×４０（ａ＝８０ピクセル、ｂ＝４０ピクセル）であり、歩行者用の第２認識辞書データの切出領域３４の画像サイズは、１６０×８０（ａ＝１６０ピクセル、ｂ＝８０ピクセル）である。第１認識辞書データは、低解像度の対象物画像を認識するために用いられ、主に遠くに位置する対象物を検出するための遠方用データである。一方、第２認識辞書データは、高解像度の対象物画像を認識するために用いられ、主に近くに位置する対象物を検出するための近傍用データである。
【0031】
画像検索部２４は、画像サイズの異なる複数の変換画像３２のそれぞれについて、一以上の認識辞書データを用いて画像検索処理を実行する。画像検索部２４は、複数の変換画像３２のそれぞれについて、第１認識辞書データおよび第２認識辞書データの少なくとも一方を用いて画像検索処理を実行する。画像検索部２４は、撮像画像３０を基準としたときの検索領域３６の画像サイズが所定の閾値以上であるか否かに応じて、第１認識辞書データおよび第２認識辞書データを使い分ける。具体的には、検索領域３６の画像サイズが閾値未満である場合、低解像度用の第１認識辞書データを用いる。一方、検索領域３６の画像サイズが閾値以上である場合、高解像度用の第２認識辞書データを用いる。
【0032】
閾値となる画像サイズは、第１認識辞書データおよび第２認識辞書データの切出領域３４の画像サイズに応じて決めることができる。閾値となる画像サイズは、例えば、第１認識辞書データの切出領域３４の画像サイズ（例えば８０×４０）の４倍以下（３２０×１６０以下）または３倍以下（２４０×１２０以下）とすることができる。閾値となる画像サイズは、例えば、第２認識辞書データの切出領域３４の画像サイズ以上（例えば１６０×８０以上）とすることができる。閾値となる画像サイズの一例は、２００×１００である。
【0033】
図８は、画像検索処理の検索条件の一例を示すテーブルであり、複数の検索条件１～２６について、使用する認識辞書データ、使用する変換画像３２の番号ｉ、変換画像３２の変換倍率ｋｉおよび検索領域３６の縦方向の画像サイズ（検索サイズ）を示している。検索条件１～１９は、低解像度用の第１認識辞書データを用いる。第１認識辞書データの切出領域３４の縦方向の画像サイズは８０ピクセルであるため、検索条件１～１９において撮像画像３０を基準とする検索領域３６の縦方向の画像サイズは８０／ｋｉである。検索条件１の検索サイズは２７ピクセルであり、検索条件１９の検索サイズは１９９ピクセルである。このように、第１認識辞書データを用いる検索条件１～１９では、検索領域３６の検索サイズが閾値（２００ピクセル）未満となる。
【0034】
図８の検索条件２０～２６は、高解像度用の第２認識辞書データを用いる。第２認識辞書データの切出領域３４の縦方向の画像サイズは１６０ピクセルであるため、検索条件２０～２６において撮像画像３０を基準とする検索領域３６の縦方向の画像サイズは１６０／ｋｉである。検索条件２０の検索サイズは２０３ピクセルであり、検索条件２６の検索サイズは３９７ピクセルである。このように、第２認識辞書データを用いる検索条件２０～２６では、検索領域３６の検索サイズが閾値（２００ピクセル）以上となる。
【0035】
図８の検索条件１～２６は、変換画像３２の番号ｉ（または変換倍率ｋｉ）に応じて分類することもできる。変換画像３２の番号ｉ＝１～１２の場合、つまり、変換倍率ｋｉが所定の閾値（例えば０．８）以上である場合、低解像度用の第１認識辞書データのみを用いて画像検索処理が実行される。一方、変換画像３２の番号ｉ＝１３～１９の場合、つまり、変換倍率ｋｉが所定の閾値（例えば０．８）未満である場合、低解像度用の第１認識辞書データと高解像度用の第２認識辞書データの双方を用いて画像検索処理が実行される。
【0036】
画像検索部２４は、検索条件１～２６に示す条件のそれぞれに基づいて、画像検索処理を実行する。撮像画像３０について検索条件１～２６の全てに基づく画像検索処理を実行することで、様々なサイズの対象物を検出することができる。また、切出領域３４のサイズが異なる複数の認識辞書データを組み合わせて用いることで、対象物の検出精度を高めることができる。仮に、第１認識辞書データのみを用いる場合、検索領域３６のサイズを閾値以上とする際に撮像画像３０を過度（例えば１／３未満または１／４未満）に縮小して特徴量が失われた状態で画像検索をしなければならないため、認識精度が低下してしまう。同様に、第２認識辞書データのみを用いる場合、検索領域３６のサイズを閾値未満とする際に撮像画像３０を過度（例えば３倍超または４倍超）に拡大した粗い画像で画像検索をしなければならないため、認識精度が低下してしまう。本実施の形態によれば、複数の認識辞書データを組み合わせることで、撮像画像３０を拡大または縮小する変換倍率ｋｉの範囲を狭くできる。図８の例では、変換倍率ｋｉを１／３倍以上３倍以下の範囲にできる。その結果、撮像画像３０を過度に拡大または縮小することによる認識精度の低下を防止できる。
【0037】
図９は、実施の形態に係る画像認識方法の流れを示すフローチャートである。撮像画像３０を取得すると（Ｓ１０）、検索条件を初期化する（Ｓ１２）。検索条件に定める検索サイズが閾値未満であれば（Ｓ１４のＹ）、第１認識辞書データを用いる画像検索により認識スコアを算出する（Ｓ１６）。一方、検索サイズが閾値以上であれば（Ｓ１４のＮ）、第２認識辞書データを用いる画像検索により認識スコアを算出する（Ｓ１８）。画像検索が終了していなければ（Ｓ２０のＮ）、検索条件を更新し（Ｓ２２）、Ｓ１４～Ｓ１８の処理を繰り返す。画像検索が終了していれば（Ｓ２０のＹ）、算出された認識スコアに基づいて対象物を検出する（Ｓ２４）。
【0038】
つづいて、認識辞書データの生成方法について説明する。本実施の形態では、同一種類の対象物について複数の認識辞書データを生成する。例えば、歩行者用の認識辞書データとして、低解像度用（遠方用）の第１認識辞書データと、高解像度用（近傍用）の第２認識辞書データとを生成する。複数の認識辞書データは、機械学習に用いるモデルに入力する学習用画像の画像サイズを互いに異ならせることで生成できる。例えば、第１認識辞書データを生成する場合、所定値未満の画像サイズを有する学習用画像を入力として用いる。一方、第２認識辞書データを生成する場合、所定値以上の画像サイズを有する学習用画像を入力として用いる。ここで、基準となる「所定値」の画像サイズは、第２認識辞書データの切出領域３４の画像サイズであり、例えば１６０×８０である。
【0039】
機械学習に用いるモデルは、入力画像の画像サイズ（画素数）に対応する入力と、認識スコアを出力する出力と、入力と出力の間を接続する中間層とを含むことができる。中間層は、畳み込み層、プーリング層、全結合層などを含むことができる。中間層は、多層構造であってもよく、いわゆるディープラーニングが実行可能となるよう構成されてもよい。機械学習に用いるモデルは、畳み込みニューラルネットワーク（ＣＮＮ）を用いて構築されてもよい。なお、機械学習に用いるモデルは上記に限られず、任意の機械学習モデルが用いられてもよい。
【0040】
機械学習に用いるモデルは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【0041】
図１０（ａ）～（ｄ）は、学習用画像の例を示す図であり、歩行者用の認識辞書データを生成するために用いる学習用画像の例を示す。図１０（ａ），（ｂ）は、第１認識辞書データを生成するための学習用画像４１～４６を示し、図１０（ｃ），（ｄ）は、第２認識辞書データを生成するための学習用画像５１～５６を示す。図示されるように、第１認識辞書データ用の学習用画像４１～４６は、画像サイズが相対的に小さく、相対的に低解像度である。第１認識辞書データ用の学習用画像４１～４６の画像サイズの一例は、８０×４０である。一方、第２認識辞書データ用の学習用画像５１～５６は、画像サイズが相対的に大きく、相対的に高解像度である。第２認識辞書データ用の学習用画像５１～５６の画像サイズの一例は、１６０×８０である。
【0042】
学習用画像として、図１のカメラ２６と同等のカメラで撮像された画像を用いることができ、撮像画像の一部領域を切り出した画像を用いることができる。学習用画像は、撮像画像の一部領域を切り出した画像自体であってもよいし、撮像画像の一部領域を切り出した元画像の画像サイズを変換した画像であってもよい。学習用画像は、撮像画像の一部領域を切り出した元画像をモデルに合った入力画像サイズに縮小した画像であってもよい。第１認識辞書データを生成するための第１モデルの入力画像サイズは、例えば８０×４０であり、第２認識辞書データを生成するための第２モデルの入力画像サイズは、例えば１６０×８０である。なお、学習用画像として、撮像画像の一部領域を切り出した元画像を拡大した画像を使用しないことが好ましい。つまり、元画像として、モデルの入力画像サイズよりも小さい画像サイズの画像を用いないことが好ましい。元画像の画像サイズがモデルの入力画像サイズに比べて小さい場合、機械学習の精度が低下しうる。
【0043】
認識辞書データを生成する機械学習では、正解画像と不正解画像をモデルに入力する教師あり学習を用いることができる。図１０（ａ）の学習用画像４１，４２，４３は、第１認識辞書データ用の正解画像であり、認識対象となる歩行者が含まれる。正解画像には、前向きの歩行者、横向きの歩行者、後向きの歩行者といった様々な歩行者が含まれる。正解画像をモデルに入力させる場合、モデルから出力される認識スコアが大きくなる（例えば、１に近づく）ように学習が実行される。
【0044】
図１０（ｂ）の学習用画像４４，４５，４６は、第１認識辞書データ用の不正解画像であり、歩行者ではないが、歩行者と誤認しやすい対象物が含まれる。不正解画像には、縦に長い建造物などが含まれ、鉄塔や電柱、街灯などが含まれる。不正解画像をモデルに入力させる場合、モデルから出力される認識スコアが小さくなる（例えば、０に近づく）ように学習が実行される。
【0045】
第２認識辞書データの学習も同様であり、図１０（ｃ）の正解画像５１，５２，５３および図１０（ｄ）の不正解画像５４，５５，５６をモデルに入力する教師あり学習を用いることができる。なお、正解画像のみを用いる機械学習によって認識辞書データを生成してもよいし、教師なし学習によって認識辞書データを生成してもよい。
【0046】
図１１は、実施の形態に係る認識辞書生成方法の流れを示すフローチャートである。学習用画像を取得し（Ｓ３０）、学習用画像の画像サイズが所定値未満であれば（Ｓ３２のＹ）、学習用画像を第１モデルに入力して機械学習させる（Ｓ３４）。学習用画像の画像サイズが所定値以上であれば（Ｓ３２のＮ）、学習用画像を第２モデルに入力して機械学習させる（Ｓ３６）。Ｓ３４，Ｓ３６において、学習用画像の画像サイズが第１モデルまたは第２モデルに入力させる画像サイズと一致しない場合、学習用画像の画像サイズを変換（例えば縮小）してからモデルに入力させてもよい。Ｓ３０～Ｓ３６の処理は、第１モデルおよび第２モデルの機械学習が終了するまでが繰り返される（Ｓ３８のＮ）。機械学習が終了した場合（Ｓ３８のＹ）、第１モデルから第１認識辞書データが生成され（Ｓ４０）、第２モデルから第２認識辞書データが生成される（Ｓ４２）。第１認識辞書データは、例えば、学習済みの第１モデルを構築するための各種パラメータを含む。第２認識辞書データは、例えば、学習済みの第２モデルを構築するための各種パラメータを含む。
【0047】
本実施の形態によれば、学習用画像の画像サイズに応じて複数の認識辞書データを生成できる。具体的には、低解像度の学習用画像を入力として第１認識辞書データを生成し、高解像度の学習用画像を入力として第２認識辞書データを生成できる。その結果、低解像度の画像の認識に特化した第１認識辞書データと、高解像度の画像の認識に特化した第２認識辞書データとを用意することができ、様々な画像サイズの対象物を認識する精度を向上させることができる。
【0048】
以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態に示す各構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。
【0049】
上述の実施の形態では、歩行者用の認識辞書データとして、低解像度用の第１認識辞書データと高解像度用の第２認識辞書データを用いる場合について示した。別の実施の形態では、歩行者とは異なる種類の対象物（サイクリスト、車両、動物など）について、複数の認識辞書データを用いてもよい。その他、第１種類の対象物（例えば歩行者やサイクリスト）について複数の認識辞書データを用いる一方、第２種類の対象物（例えば車両や動物）について単一の認識辞書データのみを用いるようにしてもよい。
【0050】
上述の実施の形態では、撮像画像３０から変換画像３２を生成し、変換画像３２の一部領域である切出領域３４を抽出して画像検索処理を実行する場合について説明した。別の実施の形態では、撮像画像３０の一部領域である検索領域３６を抽出し、検索領域３６の画像サイズを認識辞書データの入力画像サイズに変換して画像検索処理を実行してもよい。この場合、図８の検索条件１～２６にしたがって検索領域３６の画像サイズを変化させることによって様々な画像サイズの対象物が認識されてもよい。認識処理部１４は、撮像画像３０の一部領域を抽出する処理を実行した後に、変換倍率ｋｉにしたがって一部領域の画像サイズを変換してもよい。
【0051】
上述の実施の形態では、同一種類の対象物用の複数の認識辞書データとして、二つの認識辞書データを用いる場合について示した。別の実施の形態では、同一種類の対象物用に三以上の認識辞書データを用いてもよい。例えば、歩行者用の認識辞書データとして、低解像度用、中解像度用、高解像度用の三つの認識辞書データを用いてもよい。この場合、撮像画像３０の検索領域３６の画像サイズが第１範囲となる場合に低解像度用の第１認識辞書データを使用し、撮像画像３０の検索領域３６の画像サイズが第１範囲よりも大きい第２範囲となる場合に中解像度用の第２認識辞書データを使用し、撮像画像３０の検索領域の画像サイズが第２範囲よりも大きい第３範囲となる場合に高解像度用の第３認識辞書データを使用してもよい。
【0052】
別の実施の形態では、同一種類の対象物用の認識辞書データとして、複数の第１認識辞書データと、複数の第２認識辞書データとを組み合わせて用いてもよい。複数の第１認識辞書データのそれぞれは、切出領域３４の画像サイズがわずかに異なるように構成される。例えば、切出領域３４の画像サイズが８０×４０、８４×４２および８８×４４である三つの第１認識辞書データを用いてもよい。複数の第１認識辞書データの切出領域３４の画像サイズの差は約５％であり、第１認識辞書データと第２認識辞書データの切出領域３４の画像サイズの差（１００％）よりも小さい。このように画像サイズがわずかに異なる複数の第１認識辞書データを用いることで、画像認識の精度を高めることができる。同様に、切出領域３４の画像サイズが１６０×８０、１６８×８４および１９６×８８である三つの第２認識辞書データを用いてもよい。この場合、閾値となる画像サイズは、複数の第１認識辞書データの切出領域３４の画像サイズの最小値（例えば８０×４０）の４倍以下（３２０×１６０以下）または３倍以下（２４０×１２０以下）とすることができる。また、閾値となる画像サイズは、複数の第２認識辞書データの切出領域３４の画像サイズの最小値以上（例えば１６０×８０以上）とすることができる。閾値となる画像サイズの一例は、２００×１００である。
【0053】
上述の実施の形態では、複数の変換画像３２の全て（例えばｉ＝１～１９）に対して第１認識辞書データを用いる画像検索処理が実行され、複数の変換画像３２の一部（例えばｉ＝１３～１９）に対して第２認識辞書データを用いる画像検索処理が実行される場合について示した。別の実施の形態では、複数の変換画像３２の一部（例えばｉ＝１～１７）に対して第１認識辞書データを用いる画像検索処理が実行され、複数の変換画像３２の別の一部（例えばｉ＝１１～１９）に対して第２認識辞書データを用いる画像検索処理が実行されてもよい。例えば、上述の閾値となる画像サイズを１６０×８０とする場合である。この場合、第１認識辞書データのみを用いて画像検索される変換画像３２（ｉ＝１～１０）と、第１認識辞書データおよび第２認識辞書データの双方を用いて画像検索される変換画像３２（ｉ＝１１～１７）と、第２認識辞書データのみを用いて画像検索される変換画像３２（ｉ＝１８～１９）とが存在してもよい。
【0054】
上述の実施の形態では、画像認識装置１０が車両に搭載される場合について示した。別の実施の形態では、画像認識装置１０が設置場所は特に限られず、任意の用途に用いられてもよい。
【符号の説明】
【0055】
１０…画像認識装置、１２…画像取得部、１４…認識処理部、１６…判定処理部、１８…出力部、２０…認識辞書記憶部、２２…画像変換部、２４…画像検索部、３０…撮像画像、３２…変換画像、３４…切出領域、３６…検索領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】