知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6398979
(24)【登録日】2018年9月14日
(45)【発行日】2018年10月3日
(54)【発明の名称】映像処理装置、映像処理方法および映像処理プログラム
(51)【国際特許分類】
G06F 17/30 20060101AFI20180920BHJP
G06T 7/00 20170101ALI20180920BHJP
H04N 5/232 20060101ALI20180920BHJP
【ＦＩ】
G06F17/30 210A
G06T7/00 300F
G06F17/30 170D
G06F17/30 350C
H04N5/232
【請求項の数】15
【全頁数】44
(21)【出願番号】特願2015-532795(P2015-532795)
(86)(22)【出願日】2014年8月5日
(86)【国際出願番号】JP2014070547
(87)【国際公開番号】WO2015025704
(87)【国際公開日】20150226
【審査請求日】2017年7月10日
(31)【優先権主張番号】特願2013-173165(P2013-173165)
(32)【優先日】2013年8月23日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】大網 亮磨
【審査官】
山本 俊介
(56)【参考文献】
【文献】
特開２０１２−８７９１（ＪＰ，Ａ）
【文献】
特開２０１３−６５１１９（ＪＰ，Ａ）
【文献】
国際公開第２０１３／０８８７０７（ＷＯ，Ａ１）
【文献】
特開２００９−１１０３４９（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１２／００３０２０８（ＵＳ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｆ １７／３０
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定手段と、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出手段と、
前記検索対象となるオブジェクトの特徴量を格納する特徴量データベースと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定手段が推定した画像劣化の度合いに基づいて制御するマッチング手段と、
を備える映像処理装置。
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出手段と、
前記検索対象となるオブジェクトの特徴量を格納する特徴量データベースと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定手段が推定した画像劣化の度合いに基づいて制御するマッチング手段と、
を備える映像処理装置。
【請求項2】
前記オブジェクトの特徴量は、前記オブジェクトが有する模様の特徴量である請求項１に記載の映像処理装置。
【請求項3】
前記画像劣化推定手段は、前記オブジェクトが有する模様の種類に対応して、異なる度合いの画像劣化を推定する請求項２に記載の映像処理装置。
【請求項4】
前記オブジェクトの特徴量は、前記オブジェクトが有する色の特徴量をさらに含み、
前記マッチング手段は、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する請求項２または３に記載の映像処理装置。
前記マッチング手段は、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する請求項２または３に記載の映像処理装置。
【請求項5】
前記画像領域は、前記検索対象となるオブジェクトの一部である請求項１乃至４のいずれか１項に記載の映像処理装置。
【請求項6】
前記検索対象となるオブジェクトは人物であり、
前記画像劣化推定手段は、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、請求項５に記載の映像処理装置。
前記画像劣化推定手段は、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、請求項５に記載の映像処理装置。
【請求項7】
前記検索対象となるオブジェクトは車両であり、
前記画像劣化推定手段は、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、請求項５に記載の映像処理装置。
前記画像劣化推定手段は、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、請求項５に記載の映像処理装置。
【請求項8】
前記画像領域は、前記映像中の特定領域である請求項１乃至７のいずれか１項に記載の映像処理装置。
【請求項9】
前記画像劣化推定手段は、既知の標識画像のエッジから画像劣化の度合いを推定する請求項８に記載の映像処理装置。
【請求項10】
前記画像劣化推定手段は、既知のフラット画像の画素のばらつきから画像劣化の度合いを推定する請求項８に記載の映像処理装置。
【請求項11】
前記画像劣化推定手段は、前記映像中から画像劣化の要因を認識して、前記要因に基づいて画像劣化の度合いを推定する請求項１乃至１０のいずれか１項に記載の映像処理装置。
【請求項12】
少なくとも、前記画像劣化の度合いと、前記抽出した特徴量と、前記マッチングの結果との組み合わせを前記特徴量データベースにフィードバックする請求項１乃至１１のいずれか１項に記載の映像処理装置。
【請求項13】
前記マッチング手段は、前記画像劣化の度合いと前記抽出した特徴量との、少なくとも２つの組み合わせをマッチングする請求項１乃至１２のいずれか１項に記載の映像処理装置。
【請求項14】
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
を含む映像処理方法。
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
を含む映像処理方法。
【請求項15】
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
をコンピュータに実行させる映像処理プログラム。
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
をコンピュータに実行させる映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像中から対象とするオブジェクトを検索する技術に関する。【背景技術】
【0002】
上記技術分野において、特許文献１には、映像中から、服装クエリーテキストで指定した色あるいは模様の服装をした人物を検索する技術が開示されている。また、特許文献２には、映像中の人物の服装の色あるいは模様の特徴量を、あらかじめ記憶した色あるいは模様の特徴量と比較して、エリアセキュリティーを判定する技術が開示されている。そして、非特許文献１には、映像中から人物位置を頭部により検出し、胴体モデルの上半身の色および模様の特徴量を人物特徴量として抽出する技術が記載されている。【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開ＷＯ２０１１／０４６１２８号公報
【特許文献2】特開２０１０−１９８２０７号公報
【非特許文献】
【0004】
【非特許文献1】高橋祐介、平川康史、大網 亮磨、「プライバシーを考慮した人物特徴量抽出方式の検討」、映像情報メディア学会技術報告、３６（１８）、２３−２６、２０１２−０３−２３
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記文献に記載の技術では、カメラで取得した映像中の画像そのものが、カメラのぶれなどの機器状態、あるいは、天候などの撮像環境により劣化することが考慮されていない。その結果、映像中の劣化した画像から抽出した特徴量に基づく人物の検索精度が低下する、という問題に対処ができなかった。【0006】
本発明の目的は、上述の課題を解決し、映像中の劣化した画像から抽出した特徴量に基づく検索対象であるオブジェクトの検索精度の低下を抑制する技術を提供することにある。【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明に係る映像処理装置は、映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定手段と、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出手段と、
前記検索対象となるオブジェクトの特徴量を格納する特徴量データベースと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定手段が推定した画像劣化の度合いに基づいて制御するマッチング手段と、
を備える。
【0008】
上記目的を達成するため、本発明に係る映像処理方法は、映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
を含む。
【0009】
上記目的を達成するため、本発明に係る映像処理プログラムは、映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
をコンピュータに実行させる。
【発明の効果】
【0010】
本発明によれば、映像中の劣化した画像から抽出した特徴量に基づく検索対象であるオブジェクトの検索精度の低下を抑制することができる。【図面の簡単な説明】
【0011】
【図1】本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。
【図2】本発明の第２実施形態に係る映像処理装置の処理概要を示す図である。
【図3】本発明の第２実施形態に係る映像処理装置を含む映像処理システムの構成を示すブロック図である。
【図4A】本発明の第２実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図4B】本発明の第２実施形態に係る映像処理装置の人物特徴量ＤＢの構成を示す図である。
【図4C】本発明の第２実施形態に係る検索人物マッチング部が使用する人物マッチングテーブルの構成を示す図である。
【図4D】本発明の第２実施形態に係る映像選別部が使用する映像選別テーブルの構成を示す図である。
【図5A】本発明の第２実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図5B】本発明の第２実施形態に係る服マッチング部の服特徴量ＤＢの構成を示す図である。
【図6】本発明の第２実施形態に係る服マッチング部の顔検出部の機能構成を示すブロック図である。
【図7A】本発明の第２実施形態に係る服マッチング部の第１例の顔画像劣化量推定部の機能構成を示すブロック図である。
【図7B】本発明の第２実施形態に係る服マッチング部の第２例の顔画像劣化量推定部の機能構成を示すブロック図である。
【図7C】本発明の第２実施形態に係る顔画像劣化量推定部が使用する顔画像劣化量推定テーブルの構成を示す図である。
【図8A】本発明の第２実施形態に係る服マッチング部の服特徴量マッチング部の機能構成を示すブロック図である。
【図8B】本発明の第２実施形態に係る服特徴量マッチング部が使用する服特徴量マッチングテーブルの構成を示す図である。
【図9】本発明の第２実施形態に係る映像処理装置のハードウェア構成を示すブロック図である。
【図10】本発明の第２実施形態に係る映像処理装置の処理手順を示すフローチャートである。
【図11A】本発明の第２実施形態に係る服マッチング処理の手順を示すフローチャートである。
【図11B】本発明の第２実施形態に係る画像劣化推定処理の手順を示すフローチャートである。
【図11C】本発明の第２実施形態に係る特徴量抽出処理の手順を示すフローチャートである。
【図11D】本発明の第２実施形態に係る特徴量マッチング処理の手順を示すフローチャートである。
【図12】本発明の第３実施形態に係る映像処理装置の処理概要を示す図である。
【図13A】本発明の第３実施形態に係る映像処理装置の機能構成を示すブロック図である。
【図13B】本発明の第３実施形態に係る検索車両マッチング部が使用する車両マッチングテーブルの構成を示す図である。
【図14A】本発明の第３実施形態に係る映像処理装置の車体マッチング部の機能構成を示すブロック図である。
【図14B】本発明の第３実施形態に係る車体マッチング部の車体特徴量ＤＢの構成を示す図である。
【図14C】本発明の第３実施形態に係る車体マッチング部のナンバープレート検出部の機能構成を示すブロック図である。
【図15】本発明の第４実施形態に係る映像処理装置の処理概要を示す図である。
【図16A】本発明の第４実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図16B】本発明の第４実施形態に係る服マッチング部の標識抽出部の機能構成を示すブロック図である。
【図16C】本発明の第４実施形態に係る標識画像劣化量推定部が使用する標識画像劣化量推定テーブルの構成を示す図である。
【図17】本発明の第５実施形態に係る映像処理装置の処理概要を示す図である。
【図18A】本発明の第５実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図18B】本発明の第５実施形態に係るフラット画像劣化量推定部が使用するフラット画像劣化量推定テーブルの構成を示す図である。
【図19】本発明の第６実施形態に係る映像処理装置の処理概要を示す図である。
【図20A】本発明の第６実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図20B】本発明の第６実施形態に係る推定劣化量選択部が使用する推定劣化量選択テーブルの構成を示す図である。
【図21A】本発明の第７実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図21B】本発明の第７実施形態に係る画像劣化量推定部が使用する画像劣化量推定テーブルの構成を示す図である。
【図22】本発明の第８実施形態に係る映像処理装置の処理概要を示す図である。
【図23】本発明の第８実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図24】本発明の第８実施形態に係る制定劣化量算出部が使用する推定劣化量算出テーブルの構成を示す図である。
【図25A】本発明の第９実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図25B】本発明の第９実施形態に係る服マッチング部の服特徴量ＤＢの構成を示す図である。
【図26】本発明の第１０実施形態に係る映像処理装置の服マッチング部の機能構成を示すブロック図である。
【図27A】本発明の第１０実施形態に係る服マッチング部の服特徴量マッチング部の機能構成を示す図である。
【図27B】本発明の第１０実施形態に係る服特徴量マッチング部が使用する服特徴量マッチングテーブルの構成を示す図である。
【発明を実施するための形態】
【0012】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。【0013】
本明細書で使用される「検索対象であるオブジェクト」としては、特徴を有する人物や車両が含まれるが、これに限定されず、映像中から検索したい対象を全て含む概念である。例えば、人物の着る服や人物の携帯物として特定のカバンなどをオブジェクトとしても、車両の取付物や積載する荷物をオブジェクトとしてもよい。すなわち、検索しようとする全ての対象物がオブジェクトとなり得る。【0015】
図１に示すように、映像処理装置１００は、画像劣化推定部１０１と、特徴量抽出部１０２と、特徴量データベース１０３と、マッチング部１０４と、を含む。画像劣化推定部１０１は、映像中から画像劣化の指標となる画像領域の画像を抽出して、画像領域の画像の画像劣化の度合いを推定する。特徴量抽出部１０２は、映像中から検索対象となるオブジェクトの特徴量を抽出する。特徴量データベース１０３は、検索対象となるオブジェクトの特徴量を格納する。マッチング部１０４は、オブジェクトを映像中から検索する際に、抽出された特徴量と格納された特徴量とのマッチングを、画像劣化推定部１０１が推定した画像劣化の度合いに基づいて制御する。【0016】
本実施形態によれば、映像中の劣化した画像から抽出した特徴量に基づく検索対象であるオブジェクトの検索精度の低下を抑制することができる。【0017】
［第２実施形態］次に、本発明の第２実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、映像中からオブジェクトとして人物を検索して、その人物が写った映像を選別する。また、本実施形態においては、人物を検索する特徴量の１つとして人物が有する服の色や模様の特徴量あるいは携帯物の色や模様の特徴量などを使用する。そして、画像劣化の度合いを映像中の検索対象となる人物の一部である顔画像の輪郭または顔領域内に含まれるパターンやエッジなどから推定し、推定画像劣化量に基づいて、例えば服特徴量マッチングを制御する。
【0018】
ここで、画像劣化量とは、検索対象となるオブジェクトの画像の劣化の度合いを表す指標であり、劣化の要因（例えば、ぼけやぶれ、逆光など）ごとに定義されていてもよいし、要因ごとに求めた値から、要因ごとによらない抽象化した値に変換したものであってもよい。例えば、ぼけの場合には、推定される点広がり関数のパラメータの値でぼけの度合いを表現できるが、このパラメータと対応付けて画像劣化量を定義してもよい。あるいは、このパラメータそのものを画像劣化量として定義してもよい。なお、ぼけの度合いの記述方法はこの方式に限定されず、他の方法であってもよい。【0020】
映像処理装置２００は、種々の映像２１１〜２１ｎの映像データから特徴ある人物を検索する。例えば、映像２４０からドクロ模様の服を着た人物２４１を特定して、人物２４１が映った映像を選別する。この人物検索において、人物が着る服の色や模様などの特徴を特徴量として抽出して、あらかじめ格納された服の色や模様などの特徴量２２０と服特徴量マッチング部２３０においてマッチングして人物を特定する。【0021】
この時に、映像２１１〜２１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図２において、映像２１１は画像劣化のない映像、映像２１２は霧による画像劣化がある映像、映像２１ｎはぶれや焦点ずれによる画像劣化がある映像である。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。【0022】
本実施形態においては、服の模様を１つの特徴量として、人物検索の特徴量マッチングを行なう場合に、服の模様の特徴量マッチングの精度が低下しやすい画像劣化の度合いを、顔画像の比較から推定して推定劣化量を生成する。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、服の模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、服の色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。【0023】
このように処理することにより、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。【0025】
映像処理システム３００は、監視用のカメラ３１０と、映像送信部３２０と、ネットワーク３３０と、本実施形態の映像処理装置２００と、を有する。映像送信部３２０は、カメラ３１０が撮像した映像を、ネットワーク３３０を介して、映像処理装置２００に送信する。なお、映像送信部３２０は、カメラ３１０と一体でもよい。本実施形態の映像処理装置２００は、図２で示したように、カメラ３１０からの映像から検索対象であるオブジェクト（本例では、人物）を検索して、オブジェクトを含む映像を選別（例えば類似度が一定以上のものを選別）する。また、選別した映像からさらにオブジェクトを解析するようにしてもよい。なお、本実施形態においては、選別した映像からさらにオブジェクトを解析する処理については、詳説しない。【0027】
映像処理装置２００は、複数のマッチング部４０１〜４０３と、人物特徴量ＤＢ４０４と、検索人物マッチング部４０５と、映像蓄積部４０６とを備える。さらに、映像処理装置２００は、破線で示した映像選別部４０７も備えていてもよい。複数のマッチング部４０１〜４０３は、例えば、検索人物の顔によるマッチングを行なう顔マッチング部４０１と、検索人物の服によるマッチングを行なう服マッチング部４０２と、検索人物の携帯物によるマッチングを行なう携帯物マッチング部４０３と、を含む。人物特徴量ＤＢ４０４は、複数のマッチング部４０１〜４０３に、あらかじめ格納されたマッチングのための人物のそれぞれの特徴量を提供する。映像蓄積部４０６は、カメラ３１０から送信された映像を検索可能に蓄積する。検索人物マッチング部４０５は、複数のマッチング部４０１〜４０３のマッチング結果を組み合わせて、映像中の人物を検索する。映像選別部４０７は、検索人物マッチング部４０５によりマッチングした人物を含む映像を、映像蓄積部４０６から取り出して、解析などの次の処理に送る。なお、選別する映像は、映像単位、時間単位、あるいは検索人物を含む映像であってもよい。【0028】
（人物特徴量ＤＢ）図４Ｂは、本実施形態に係る映像処理装置２００の人物特徴量ＤＢ４０４の構成を示す図である。人物特徴量ＤＢ４０４は、人物検索において種々のマッチングに使用される特徴量を格納する。なお、人物特徴量ＤＢ４０４の構成は、図４Ｂに限定されない。例えば、特徴量は、テキスト形式で数値化されたデータでなくてもよく、バイナリデータとして格納するようになっていてもよい。例えばＭＰＥＧ−７で規格化された特徴量形式のバイナリデータであってもよい。また、顔特徴量は目鼻口などの個々の部分領域ごとに特徴化されていなくてもよく、顔全体として特徴量化されていてもよい。
【0029】
人物特徴量ＤＢ４０４は、検索するマッチングオブジェクトＩＤ（本例では、検索する人物ＩＤ）に対応付けて、使用される特徴量を格納する。例えば、顔マッチングに使用される顔特徴量４１２、服マッチングに使用される服特徴量４１３、携帯物マッチングに使用される携帯物特徴量４１４、姿（体形）マッチングに使用される姿（体形）特徴量４１５などを格納する。【0030】
（人物マッチングテーブル）図４Ｃは、本実施形態に係る検索人物マッチング部４０５が使用する人物マッチングテーブル４０５ａの構成を示す図である。人物マッチングテーブル４０５ａは、種々のマッチング結果からトータルの人物検索を行なうために、検索人物マッチング部４０５が使用するテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、マッチング結果の格納は、必ずしもテーブル形式で行う必要はなく、同等の内容を格納可能な任意の形式（例えば、これらの値を格納するための変数を有する構造体など）でもよい。
【0031】
人物マッチングテーブル４０５ａは、各マッチング特徴量ＩＤ４２１に対応付けて、各マッチング部４０１〜４０３において抽出された抽出特徴量４２２と、それぞれのマッチング結果４２３と、マッチング結果の信頼度４２４と、を記憶する。そして、人物マッチングテーブル４０５ａは、それらを考慮したトータルマッチング結果４２５を記憶する。【0032】
（映像選別テーブル）図４Ｄは、本実施形態に係る映像選別部４０７が使用する映像選別テーブル４０７ａの構成を示す図である。映像選別テーブル４０７ａは、検索人物マッチング部４０５のトータルマッチング結果から検索人物である信頼度が所定閾値より高ければ、その検索人物を含む映像の選別を行なうために、映像選別部４０７が使用するテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、選別結果の格納は、図４Ｃと同様に、必ずしもテーブル形式でなくてもよい。
【0033】
映像選別テーブル４０７ａは、映像ＩＤ４３１に対応付けて、検索する追跡人物ＩＤ４３２と、トータルのマッチング結果４３３と、映像選別結果４３４と、を記憶する。映像選別結果４３４には、選別あるいは非選別を記憶するが、例えば、後続の解析時に使用できるように信頼度を付してもよい。すなわち、後続の解析処理を行う際に、信頼度情報を見て、映像を用いるかどうかをそのときに判断するようにしてもよい。【0034】
《服マッチング部の機能構成》図５Ａは、本実施形態に係る映像処理装置２００の服マッチング部４０２の機能構成を示すブロック図である。以下、本実施形態においては、服マッチング部４０２を主に説明するが、他のマッチング部の構成も同様である。本実施形態においては、服マッチングにおいて画像劣化の影響を受ける服の模様について詳細に説明する。しかしながら、他のマッチング部における画像劣化の影響を受ける特徴量についても、服の模様と同様の処理が可能である。
【0035】
服マッチング部４０２は、顔検出部５０１と、顔画像劣化量推定部５０２と、服特徴量抽出部５０３と、服特徴量ＤＢ５０４と、服特徴量マッチング部２３０と、を備える。顔検出部５０１は、映像から人物の顔を検出する。顔画像劣化量推定部５０２は、顔検出部５０１が検出した顔画像から画像劣化量を推定する。なお、顔検出部５０１と顔画像劣化量推定部５０２とにより、本実施形態の画像劣化推定部を構成する。服特徴量抽出部５０３は、映像蓄積部４０６から読み出された映像に映った人物の服の特徴量を抽出する。服特徴量ＤＢ５０４は、服特徴量抽出部５０３が抽出した特徴量とマッチングするための、検索用の服の特徴量を格納する。なお、服特徴量ＤＢ５０４は、図４Ａの人物特徴量ＤＢ４０４と共用であっても、人物特徴量ＤＢ４０４から取得した服の特徴量を格納してもよい。服特徴量マッチング部２３０は、服特徴量抽出部５０３が抽出した特徴量と服特徴量ＤＢ５０４に格納された特徴量とをマッチングして、マッチした場合は服マッチング結果を、検索人物マッチング部４０５に出力する。【0036】
（服特徴量ＤＢ）図５Ｂは、本実施形態に係る服マッチング部４０２の服特徴量ＤＢ５０４の構成を示す図である。服特徴量ＤＢ５０４は、人物検索のための服マッチング用の服の特徴量を人物特徴量ＤＢ４０４から取得して格納する。なお、服特徴量ＤＢ５０４の構成は、図５Ｂに限定されない。例えば、色はＨＳＶヒストグラムや代表色特徴量、模様はエッジヒストグラムやガボールウェーブレット特徴など、バイナリの特徴量データを格納するようになっていてもよい。
【0037】
服特徴量ＤＢ５０４は、検索人物の服を識別するための特徴量テーブル５１０と、マッチング結果への画像劣化の影響を格納する画像劣化テーブル５２０と、を含む。なお、本実施形態においては、画像劣化テーブル５２０は、服特徴量ＤＢ５０４に格納されて、服特徴量マッチング部２３０がマッチングを制御するために使用するが、服特徴量マッチング部２３０や顔画像劣化量推定部５０２に格納されていてもよい。【0038】
特徴量テーブル５１０は、検索人物の服を識別する検索服ＩＤ５１１に対応付けて、服マッチングに使用される色特徴量５１２と、模様特徴量５１３と、形状特徴量５１４と、を格納する。一方、画像劣化テーブル５２０は、服マッチングの特徴量対象５２１に対応付けて、判定信頼度５２３を格納する。また、特徴量テーブル５１０は、信頼度低下要因５２２と、マッチング時の重み付け５２４も格納してもよい。ここで、信頼度低下要因とは、信頼度が低下した要因が推定可能な場合に、その推定結果を格納するものである。例えば、ぶれが要因と推定される場合には、そのことを示す情報を記述する。なお、画像劣化の影響が大きく人物検索には使用されない場合には、マッチング時の重み付け５２４にゼロが格納されて、かかる特徴量は人物検索には使用しない。また、画像劣化テーブル５２０では、特徴量対象の詳細に対して信頼度を判定するようになっているが、詳細まで分かれていなくてもよく、色、模様、形状といった対象の単位ごとに算出するようになっていてもよい。【0040】
顔検出部５０１は、顔画像特徴点抽出部６０１と、顔検出用ＤＢ６０２と、顔画像抽出部６０３と、を備える。顔画像特徴点抽出部６０１は、映像中から顔の輪郭、顔の色、顔の部位（眉毛、目、鼻、口など）の特徴点を抽出して、顔検出用ＤＢ６０２に格納された特徴点とマッチングして、顔領域であることを判定する。顔検出用ＤＢ６０２は、顔画像であることを示す特徴点を格納する。顔画像抽出部６０３は、顔画像特徴点抽出部６０１で顔領域と判定された領域の画像を顔画像として抽出する。なお、ここで述べた顔検出方法はあくまでも一例であり、これ以外の顔検出方法を用いてもよい。例えば、顔画像の特徴を学習させたニューラルネットワークに画像を直接入力し、個別の特徴点を検出することなく、入力された画像が顔かどうかを判定するようにしてもよい。【0041】
なお、顔検出用ＤＢ６０２には、種々の特徴ある顔画像の輪郭やエッジ、例えば、日本人と外人、男性と女性、大人と子供の顔画像の輪郭やエッジを格納してもよい。また、検出する顔画像は、映像中に存在するどの顔画像でもよいが、複数の顔画像が検出された場合は、顔検出部５０１において、所定サイズの顔画像（カメラからの距離に対応する）を選択したり、他のマッチングにより検索人物候補となった人物の顔画像を選択したりしてもよい。あるいは、複数の顔画像について顔画像劣化量推定部５０２に出力し、顔画像劣化量推定部５０２において複数の顔画像の平均劣化量を算出したり、劣化量の推定に適した顔画像を選択したりしてもよい。【0042】
（顔画像劣化量推定部）図７Ａは、本実施形態に係る服マッチング部４０２の第１例の顔画像劣化量推定部５０２Ａの機能構成を示すブロック図である。顔画像劣化量推定部５０２Ａは、顔検出部５０１が検出した顔画像から画像劣化量を推定する。
【0043】
顔画像劣化量推定部５０２Ａは、顔画像比較部７０１と、顔画像ＤＢ７０２と、劣化量算出部７０３と、を備える。顔画像比較部７０１は、顔検出部５０１が検出した顔画像の輪郭やエッジなどを、顔画像ＤＢ７０２に格納された標準の顔画像の輪郭やエッジなどと比較して、その相違量、例えばシャープさの違いなどを出力する。顔画像ＤＢ７０２は、標準の顔画像の輪郭やエッジなどを格納する。なお、実際には、各カメラが撮像する環境における標準の顔画像と比較するのが望ましいので、あらかじめ各カメラで撮像した顔画像の輪郭やエッジなどを格納しておき、撮像場所に対応づけられた映像ＩＤを用いて標準の顔画像を選択してもよい。また、撮像場所に対応する標準の顔画像、あるいはその顔から抽出した輪郭やエッジなどの特徴量を、映像ＩＤを用いて選択して顔画像ＤＢ７０２にダウンロードしてもよい。劣化量算出部７０３は、顔画像比較部７０１が出力した標準顔画像と映像から検出した顔画像とのシャープさなどの相違から、画像の劣化量を推定算出する。【0044】
図７Ｂは、本実施形態に係る服マッチング部４０２の第２例の顔画像劣化量推定部５０２Ｂの機能構成を示すブロック図である。顔画像劣化量推定部５０２Ｂも、顔検出部５０１が検出した顔画像から画像劣化量を推定する。【0045】
顔画像劣化量推定部５０２Ｂは、顔画像ＤＢ７０２と、画像劣化量識別部７０４と、を備える。画像劣化量識別部７０４では、顔画像の劣化度ごとに学習させた識別器を用いて顔画像劣化量を判定する。例えば、ぼけの程度ごとに学習させたニューラルネットワークに対して顔画像を入力し、ぼけの程度を判定するようにしてもよい。また、用いる識別器はニューラルネットワークに限らない。例えば、ＳＶＭ（サポートベクターマシン）識別器やＧＬＶＱ（一般化学習ベクトル）識別器でもよい。これらの場合には、顔画像の輪郭やエッジなどの特徴量を抽出し、識別器に入力する。このため、ぼけの程度ごとに学習画像を用意し、これらの画像の特徴量を用いて識別器を学習させておき、画像劣化量を判定する。【0046】
図７Ｃは、本実施形態に係る顔画像劣化量推定部５０２Ａが使用する顔画像劣化量推定テーブル５０２ａの構成を示す図である。本テーブルは、画像劣化量が画像劣化要因ごとに、その程度を表すパラメータと対応付けて決められている場合に用いる。顔画像劣化量推定テーブル５０２ａは、顔画像比較部７０１が出力した標準顔画像と映像から検出した顔画像との相違から、その劣化要因などに対応して画像劣化量を推定するため、顔画像劣化量推定部５０２Ａが使用するテーブルである。【0047】
顔画像劣化量推定テーブル５０２ａは、画像劣化指標７１１に対応付けて画像劣化量７１２を記憶する。なお、図７Ｃにおいては、劣化要因などに対応して画像劣化量を推定するようにしたが、顔画像比較部７０１が出力した標準顔画像と映像から検出した顔画像との相違の程度をそのまま数値化してもよい。また、画像劣化要因とそのパラメータを対応づけたもの自体を画像劣化量として定義する場合には、このテーブルは用いずに、推定する画像劣化要因とパラメータを合わせて画像劣化量とする。【0048】
（服特徴量マッチング部）図８Ａは、本実施形態に係る服マッチング部４０２の服特徴量マッチング部２３０の機能構成を示すブロック図である。服特徴量マッチング部２３０は、映像から抽出した特徴量と格納された特徴量とをマッチングして、その特徴量に類似する服が映像中に有るか否かを判定する。
【0049】
服特徴量マッチング部２３０は、特徴量比較部８０１とマッチング信頼度付加部８０２とを備える。特徴量比較部８０１は、服特徴量抽出部５０３が映像から抽出した特徴量と、服特徴量ＤＢ５０４に格納された特徴量とを比較する。マッチング信頼度付加部８０２は、特徴量比較部８０１の比較結果に画像劣化推定部からの画像劣化量を付加して、服マッチング結果として出力する。あるいは、画像劣化量を画像劣化の度合いに応じた特徴量の信頼性を表す信頼度に変換して付加するようにしてもよい。信頼度の値は、例えば、服特徴量によるマッチング結果がどの程度正しいかを各画像劣化量に対してあらかじめ算出し、その割合を信頼度として算出しておけばよい。【0050】
なお、図８Ａにおいては、画像劣化量を特徴量比較部８０１の比較結果に付加したが、画像劣化量に基づいて、特徴量比較部８０１の比較を変更したり、特徴量比較部８０１の比較結果に重み付けをしたりしてもよい。重み付けの場合に、例えば、画像劣化により服の模様のマッチング結果は使用せず、色のマッチング結果を使用する場合には、模様の比較結果の重み付けをゼロにする。【0051】
図８Ｂは、本実施形態に係る服特徴量マッチング部２３０が使用する服特徴量マッチングテーブル２３０ａの構成を示す図である。服特徴量マッチングテーブル２３０ａは、服特徴量マッチングを行なうために、服特徴量マッチング部２３０が使用するテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、マッチング結果の格納は、図４Ｃと同様に、必ずしもテーブル形式でなくてもよい。【0052】
服特徴量マッチングテーブル２３０ａは、識別対象ＩＤ８１１と特徴量対象８１２とに対応付けて、画像劣化推定部からの推定画像劣化量８１３を記憶する。さらに、服特徴量マッチングテーブル２３０ａは、推定画像劣化量８１３に基づく信頼度判定結果８１４と、マッチング時の重み付け８１５と、を記憶してもよい。そして、特徴量対象のマッチング結果を組み合わせた１つの服ＩＤに対応して、マッチング結果８１６を記憶する。【0053】
《映像処理装置のハードウェア構成》図９は、本実施形態に係る映像処理装置２００のハードウェア構成を示すブロック図である。なお、図９には、映像中の人物検索時に使用する１つの特徴量である服の特徴量に関連する構成が図示されており、他の特徴量に関連する構成や複数の特徴量によるトータルマッチングのための構成については省略されている。しかしながら、それらは図９と同様の構成により実現できる。
【0054】
図９で、ＣＰＵ９１０は演算制御用のプロセッサであり、ＣＰＵ９１０がＲＡＭ９４０を使用しながらストレージ９５０に格納されたプログラムおよびモジュールを実行することで、図４Ａに示された映像処理装置２００の各機能構成部の機能が実現される。ＲＯＭ９２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部９３０は、ネットワークを介して外部装置と通信する。なお、ＣＰＵ９１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。【0055】
ＲＡＭ９４０は、ＣＰＵ９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像９４１は、映像蓄積部４０６に蓄積する映像あるいは映像蓄積部４０６からオブジェクト（本例では人物）を検索するための読み出された映像である。抽出顔画像９４２は、映像の画像劣化を推定するために抽出された顔画像である。画像劣化量９４３は、抽出顔画像９４２から推定された画像の劣化量である。抽出服特徴量９４４は、映像中の人物が着ている服から抽出された特徴量である。なお、服領域については、例えば、頭部あるいは顔領域の抽出から胴体部位を推定するなどの既知の方法により抽出が可能である。検索服特徴量９４５は、服特徴量ＤＢ５０４に格納された検索人物の着ている検索服の特徴量である。マッチング結果９４６は、画像劣化量９４３を考慮して、抽出服特徴量９４４と検索服特徴量９４５との比較から得られた、対象服か否かを示す結果情報である。信頼度（重み付け）９４７は、画像劣化量９４３に対応するマッチング結果９４６の信頼の程度である。なお、信頼度（重み付け）９４７は、マッチング結果９４６に添付されても、あるいは、マッチング結果９４６に組み込まれていてもよい。入出力データ９４８は、入出力インタフェース９６０を介して入出力される入出力データを示す。送受信データ９４９は、通信制御部９３０を介して送受信される送受信データを示す。【0056】
ストレージ９５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。映像蓄積部４０６は、各カメラ３１０から収集された映像を蓄積する。人物特徴量ＤＢ４０４は、検索する人物の特徴量を人物ＩＤに対応付けて格納するデータベースである。服特徴量ＤＢ５０４は、検索する人物の服の特徴量を服ＩＤに対応付けて格納するデータベースである。なお、服特徴量ＤＢ５０４は人物特徴量ＤＢ４０４に含まれてもよい。顔検出用ＤＢ６０２は、映像から顔画像を検出ための顔の特徴（輪郭、色、部位など）を格納するデータベースである。顔画像劣化量推定テーブル５０２ａは、顔画像劣化量推定部５０２が画像劣化量の推定のために使用するテーブルである。服特徴量抽出テーブル５０３ａは、服特徴量抽出部５０３が映像から服特徴量を抽出するために使用するテーブルである。服特徴量マッチングテーブル２３０ａは、服特徴量マッチング部２３０が服特徴量のマッチングにために使用するテーブルである。なお、各テーブルはＲＡＭ９４０に確保されてもよい。【0057】
ストレージ９５０には、以下のプログラムが格納される。映像処理装置制御プログラム９５１は、本映像処理装置２００の全体を制御する制御プログラムである。服マッチングモジュール９５２は、映像処理装置制御プログラム９５１における人物検索のため、映像中の服特徴量と服特徴量ＤＢ５０４に格納された服特徴量とをマッチングするモジュールである。画像劣化推定モジュール９５３は、映像から所定領域の画像を抽出して、抽出画像に基づいて映像中の画像劣化を推定するモジュールである。特徴量抽出モジュール９５４は、映像から人物検索のために人物の有する特徴量を抽出するモジュールである。特徴量マッチングモジュール９５５は、検索対象の人物を見付けるため、特徴量抽出モジュール９５４が抽出した特徴量と検索する人物の特徴量とをマッチングするモジュールである。なお、本実施形態において、画像劣化推定モジュール９５３は顔画像から画像劣化を推定し、特徴量抽出モジュール９５４および特徴量抽出モジュール９５４は服特徴量、特に服の模様の特徴量の抽出およびマッチングを行なう。【0058】
入出力インタフェース９６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース９６０には、表示部９６１、キーボード、タッチパネル、ポインティンデバイスなどの操作部９６２が接続される。【0059】
なお、図９のＲＡＭ９４０やストレージ９５０には、映像処理装置２００が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。【0060】
《映像処理装置の処理手順》図１０は、本実施形態に係る映像処理装置２００の処理手順を示すフローチャートである。このフローチャートは、図９のＣＰＵ９１０がＲＡＭ９４０およびストレージ９５０を使用しながら実行し、図４Ａあるいは図５Ａの機能構成部を実現する。
【0061】
映像処理装置２００は、ステップＳ１００１において、映像蓄積部４０６から対象人物を検索するための映像を取得する。次に、映像処理装置２００は、ステップＳ１００３において、取得した映像中から人物画像を検出する。映像処理装置２００は、ステップＳ１００５において、検出した人物について特定の服の服マッチングを実行するか否かを判定する。【0062】
服マッチングを実行する場合、映像処理装置２００は、ステップＳ１００７において、服マッチング処理を実行する（図１１Ａ参照）。服マッチング処理を完了すると、映像処理装置２００は、ステップＳ１００９において、他のマッチング（顔や携帯物など）を実行するか否かを判定する。マッチングがオブジェクトとして特定の服を検索する場合、映像処理装置２００は、ステップＳ１０１１において、服マッチング結果から検索対象オブジェクトを含む映像を選別する。一方、他のマッチングも含めたオブジェクトを検索する場合、映像処理装置２００は、ステップＳ１０１３において、他のマッチング処理を実行し、ステップＳ１０１１においては、複数のマッチング結果を組み合わせて検索対象オブジェクトを含む映像を選別する。【0064】
映像処理装置２００は、ステップＳ１１０１において、映像から顔画像を検出して画像劣化を推定する画像劣化推定処理を実行する。次に、映像処理装置２００は、ステップＳ１１０３において、映像から検出した服の特徴量を抽出する服特徴量抽出処理を実行する。そして、映像処理装置２００は、ステップＳ１１０５において、抽出した服特徴量とあらかじめ準備した検索人物の服特徴量とをマッチングする服特徴量マッチング処理を実行する。【0066】
映像処理装置２００は、ステップＳ１１１１において、映像から顔画像を検出する。次に、映像処理装置２００は、ステップＳ１１１３において、標準顔画像を読み出す。次に、映像処理装置２００は、ステップＳ１１１５において、映像から抽出した顔画像と標準顔画像とのシャープさなどを比較する。そして、映像処理装置２００は、ステップＳ１１１７において、ステップＳ１１１５の顔画像の比較結果から画像劣化量を推定する。なお、画像劣化量は、標準顔画像との比較ではなく、検出した顔画像の輪郭や部位エッジなどのシャープさの数値に対応する画像劣化量を生成してもよい。なお、ここで述べた画像劣化量推定処理はあくまでも一例であり、標準画像を用いない、前述の他の方法でもよい。【0068】
映像処理装置２００は、ステップＳ１１３１において、映像から服領域の画像を抽出する。なお、服領域については、例えば、頭部あるいは顔領域の抽出から胴体部位を推定するなどの既知の方法により抽出が可能である。次に、映像処理装置２００は、ステップＳ１１３３において、服領域中の服画像から特徴量を抽出する。特徴量は、例えば、色特徴量や模様特徴量など、あるいはそれらの組み合わせ特徴量である。【0070】
映像処理装置２００は、ステップＳ１１５１において、画像劣化量推定処理で推定した画像劣化量を取得する。次に、映像処理装置２００は、ステップＳ１１５３において、服特徴量抽出処理で抽出した特徴量を取得する。次に、映像処理装置２００は、ステップＳ１１５５において、検索する人物（あるいは検索する服）の服特徴量を服特徴量ＤＢ５０４から取得する。次に、映像処理装置２００は、ステップＳ１１５７において、ステップＳ１１５１において取得した画像劣化量に基づいて、服マッチングに使用する特徴量を選択する。あるいは、複数の特徴量に対して服マッチングへの寄与率を示す重み付けをする。そして、映像処理装置２００は、ステップＳ１１５９において、画像劣化量を考慮した服特徴量のマッチングを実行する。映像処理装置２００は、ステップＳ１１６１において、服マッチングの結果を出力する。【0071】
本実施形態によれば、映像中の人物の顔画像に基づいて画像劣化を推定し、特に、画像劣化に影響され易い服の模様の特徴量のマッチングを制御することによって、映像中の劣化した画像から抽出した特徴量に基づく人物の検索精度の低下を抑制することができる。【0072】
［第３実施形態］次に、本発明の第３実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態と比べると、検索対象のオブジェクトが車両である点で異なる。特に、本実施形態においては、車両を検索する特徴量の１つとして車両が有する車体の色や模様の特徴量あるいは積載物の色や模様の特徴量などを使用する。本実施形態においては、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定する。そして、この画像劣化の度合いに基づいて、車体または取付物ないし積載物の色や模様の特徴量のマッチングを制御して、車両の検索を行なう。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0073】
《映像処理装置の処理概要》図１２は、本実施形態に係る映像処理装置１２００の処理概要を示す図である。なお、図１２においては、検索対象が図２の人物から車両に変わり、画像劣化を推定する領域が図２の顔からナンバープレートに変わっているが、その処理は同様である。
【0074】
映像処理装置１２００は、種々の映像１２１１〜２１ｎの映像データから特徴ある車両を検索する。例えば、映像１２４０から車両１２４１を特定して、車両１２４１が映った映像を選別する。この車両検索において、車体の色や模様（輪郭線の模様）などの特徴を特徴量として抽出して、あらかじめ格納された検索対象の車体色や車体模様などの特徴量１２２０と車体特徴量マッチング部１２３０においてマッチングして車両を特定する。【0075】
この時に、映像１２１１〜１２１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図１２において、映像１２１１は画像劣化のない映像、映像１２１２は霧による画像劣化がある映像、映像１２１ｎはぶれや焦点ずれによる画像劣化がある映像である。かかる画像劣化の映像から、特に車体模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により車両検索の信頼性が低下することになる。すなわち、車体の模様は線模様なので、画像劣化により線がぼやけたりぶれたりすると、明確に認識されなくなる。
【0076】
本実施形態においては、車体模様を１つの特徴量として、車両検索の特徴量マッチングを行なう場合に、車体模様の特徴量マッチングの精度が低下しやすい画像劣化の度合いを、ナンバープレート画像の比較から推定して推定劣化量を生成する。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、車体模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、車体色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。【0077】
このように処理することにより、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても車両検索の精度を維持する。【0079】
映像処理装置１２００は、複数のマッチング部１３０１〜１３０３と、車両特徴量ＤＢ１３０４と、検索車両マッチング部１３０５と、映像蓄積部１３０６とを備える。さらに、映像処理装置１２００は、破線で示す映像選別部１３０７も備えていてもよい。複数のマッチング部１３０１〜１３０３は、例えば、ナンバープレートマッチング部１３０１と、車体マッチング部１３０２と、取付物マッチング部１３０３と、を含む。ここで、ナンバープレートマッチング部１３０１は、検索車両のナンバープレートによるマッチングを行なう。車体マッチング部１３０２は、検索車両によるマッチングを色と線模様とを含む車体に対して行なう。取付物マッチング部１３０３は、検索車両の取付物によるマッチングを行なう。なお、車両の積載物の色や模様によるマッチングを含んでもよい。車両特徴量ＤＢ１３０４は、複数のマッチング部１３０１〜１３０３に、あらかじめ格納されたマッチングのための車両を検索するためのそれぞれの特徴量を提供する。映像蓄積部１３０６は、カメラ３１０から送信された映像を検索可能に蓄積する。検索車両マッチング部１３０５は、複数のマッチング部１３０１〜１３０３のマッチング結果を組み合わせて、映像中の車両を検索する。映像選別部１３０７は、検索車両マッチング部１３０５によりマッチングした車両を含む映像を、映像蓄積部１３０６から取り出して、解析などの次の処理に送る。なお、選別する映像は、映像単位、時間単位、あるいは検索車両を含む映像であってもよい。【0080】
（車両マッチングテーブル）図１３Ｂは、本実施形態に係る検索車両マッチング部１３０５が使用する車両マッチングテーブル１３０５ａの構成を示す図である。車両マッチングテーブル１３０５ａは、種々のマッチング結果からトータルの車両検索を行なうために、検索車両マッチング部１３０５が使用するテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、マッチング結果の格納は、図４Ｃと同様に、必ずしもテーブル形式でなくてもよい。
【0081】
車両マッチングテーブル１３０５ａは、各マッチング特徴量ＩＤ１３２１に対応付けて、各マッチング部１３０１〜１３０３において抽出された抽出特徴量１３２２と、それぞれのマッチング結果１３２３と、マッチング結果の信頼度１３２４と、を記憶する。そして、車両マッチングテーブル１３０５ａは、それらを考慮したトータルマッチング結果１３２５と、を記憶する。【0082】
《車両マッチング部の機能構成》図１４Ａは、本実施形態に係る映像処理装置１２００の車体マッチング部１３０２の機能構成を示すブロック図である。以下、本実施形態においては、車体マッチング部１３０２を主に説明するが、他のマッチング部の構成も同様である。本実施形態においては、車両マッチングにおいて画像劣化の影響を受ける車体の線模様について詳細に説明する。しかしながら、他のマッチング部における画像劣化の影響を受ける特徴量についても、線模様と同様の処理が可能である。
【0083】
車体マッチング部１３０２は、ナンバープレート検出部１４０１と、プレート画像劣化量推定部１４０２と、車体特徴量抽出部１４０３と、車体特徴量ＤＢ１４０４と、車体特徴量マッチング部１２３０と、を備える。ナンバープレート検出部１４０１は、映像から車両のナンバープレート画像（以下、プレート画像と呼ぶ）を検出する。プレート画像劣化量推定部１４０２は、ナンバープレート検出部１４０１が検出したプレート画像から画像劣化量を推定する。なお、ナンバープレート検出部１４０１とプレート画像劣化量推定部１４０２とにより、本実施形態の画像劣化推定部を構成する。車体特徴量抽出部１４０３は、映像蓄積部１３０６から読み出された映像に映った車両の車体の特徴量（色や輪郭線模様）を抽出する。車体特徴量ＤＢ１４０４は、車体特徴量抽出部１４０３が抽出した特徴量とマッチングするための、検索用の車体特徴量を格納する。なお、車体特徴量ＤＢ１４０４は、図１３Ａの車両特徴量ＤＢ１３０４と共用であっても、車両特徴量ＤＢ１３０４から取得した車体の特徴量を格納してもよい。車体特徴量マッチング部１２３０は、車体特徴量抽出部１４０３が抽出した特徴量と車体特徴量ＤＢ１４０４に格納された特徴量とをマッチングして、マッチした場合は車体マッチング結果を、検索車両マッチング部１３０５に出力する。【0084】
（車両特徴量ＤＢ）図１４Ｂは、本実施形態に係る車体マッチング部１３０２の車体特徴量ＤＢ１４０４の構成を示す図である。車体特徴量ＤＢ１４０４は、車両検索のための車体マッチング用の車体特徴量を車両特徴量ＤＢ１３０４から取得して格納する。なお、車体特徴量ＤＢ１４０４の構成は、図１４Ｂに限定されない。例えば、色はＨＳＶヒストグラムや代表色特徴量、模様はエッジヒストグラムやガボールウェーブレット特徴など、バイナリの特徴量データを格納するようになっていてもよい。
【0085】
車体特徴量ＤＢ１４０４は、検索車両の車体を識別するための特徴量テーブル１４１０と、マッチング結果への画像劣化の影響を格納する画像劣化テーブル１４２０と、を含む。なお、本実施形態においては、画像劣化テーブル１４２０は、車体特徴量ＤＢ１４０４に格納されて、車体特徴量マッチング部１２３０がマッチングを制御するために使用するが、車体特徴量マッチング部１２３０やプレート画像劣化量推定部１４０２に格納されていてもよい。【0086】
特徴量テーブル１４１０は、検索車両の車体を識別する検索車体ＩＤ１４１１に対応付けて、車体マッチングに使用される色特徴量１４１２と、模様特徴量１４１３と、形状特徴量１４１４と、を格納する。一方、画像劣化テーブル１４２０は、車体マッチングの特徴量対象１４２１に対応付けて、判定信頼度１４２３を格納する。また、特徴量テーブル１４１０は、信頼度低下要因１４２２と、マッチング時の重みづけ１４２４も格納してもよい。信頼度低下要因については、画像劣化テーブル５２０の場合と同様である。なお、画像劣化の影響が大きく車両検索には使用されない場合には、マッチング時の重み付け１４２４にゼロが格納されて、かかる特徴量は車両検索には使用しない。また、画像劣化テーブル１４２０では、特徴量対象の詳細に対して信頼度を判定するようになっているが、詳細まで分かれていなくてもよく、色、模様、形状といった対象の単位ごとに算出するようになっていてもよい。【0087】
（ナンバープレート検出部）図１４Ｃは、本実施形態に係る車体マッチング部１３０２のナンバープレート検出部１４０１の機能構成を示すブロック図である。ナンバープレート検出部１４０１は、映像蓄積部１３０６からの映像からナンバープレートを検出する。
【0088】
ナンバープレート検出部１４０１は、プレート画像特徴点抽出部１４３１と、プレート検出用ＤＢ１４３２と、プレート画像抽出部１４３３と、を備える。プレート画像特徴点抽出部１４３１は、映像中からナンバープレートの輪郭、ナンバープレートの色、ナンバープレートの部位の特徴点を抽出して、プレート検出用ＤＢ１４３２に格納された特徴点とマッチングして、ナンバープレート領域であることを判定する。プレート検出用ＤＢ１４３２は、プレート画像であることを示す特徴点を格納する。プレート画像抽出部１４３３は、プレート画像特徴点抽出部１４３１でナンバープレート領域と判定された領域の画像をプレート画像として抽出する。なお、ここで述べたナンバープレート検出方法はあくまでも一例であり、これ以外のナンバープレート検出方法を用いてもよいのは、顔検出部５０１の場合と同様である。【0089】
なお、プレート検出用ＤＢ１４３２には、種々の特徴あるプレート画像の輪郭やエッジ、例えば、乗用車と貨物車、自家用と事業用、軽自動車、二輪車などのプレート画像の輪郭やエッジを格納してもよい。また、検出するプレート画像は、映像中に存在するどのプレート画像でもよいが、複数のプレート画像が検出された場合は、ナンバープレート検出部１４０１において、所定サイズのプレート画像（カメラからの距離に対応する）を選択する。あるいは、他のマッチングにより検索車両候補となった車両のプレート画像を選択してもよい。あるいは、複数のプレート画像についてプレート画像劣化量推定部１４０２に出力し、プレート画像劣化量推定部１４０２において複数のプレート画像の平均劣化量を算出したり、劣化量の推定に適したプレート画像を選択したりしてもよい。【0090】
本実施形態によれば、映像中の車両のプレート画像に基づいて画像劣化を推定し、特に、画像劣化に影響され易い車両の車体の特徴量のマッチングを制御することによって、映像中の劣化した画像から抽出した特徴量に基づく車両の検索精度の低下を抑制することができる。【0091】
［第４実施形態］次に、本発明の第４実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態と比べると、映像劣化の度合い推定を顔画像でなく、固定カメラにおいては映像中の特定領域にある既知の標識画像を使用する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【0093】
映像処理装置１５００は、種々の映像１５１１〜１５１ｎの映像データから特徴ある人物を検索する。例えば、映像１５４０からドクロ模様の服を着た人物２４１を特定して、人物２４１が映った映像を選別する。この人物検索において、人物が着る服の色や模様などの特徴を特徴量として抽出して、あらかじめ格納された服の色や模様などの特徴量２２０と服特徴量マッチング部２３０においてマッチングして人物を特定する。【0094】
この時に、映像１５１１〜１５１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図１５において、映像１５１１は画像劣化のない映像、映像１５１２は霧による画像劣化がある映像、映像１５１ｎはぶれや焦点ずれによる画像劣化がある映像である。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。
【0095】
本実施形態においては、服の模様を１つの特徴量として、人物検索の特徴量マッチングを行なう場合に、服の模様の特徴量マッチングの精度が低下しやすい画像劣化の度合いを、映像内の特定位置に撮像された標識画像の比較から推定して推定劣化量を生成する。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、服の模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、服の色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。【0096】
このように処理することにより、映像内の特定位置に撮像された標識画像から画像劣化を推定して、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。【0097】
《服マッチング部の機能構成》図１６Ａは、本実施形態に係る映像処理装置１５００の服マッチング部１６００の機能構成を示すブロック図である。なお、図１６Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【0098】
服マッチング部１６００は、標識抽出部１６０１と、標識画像劣化量推定部１６０２と、服特徴量抽出部５０３と、服特徴量ＤＢ５０４と、服特徴量マッチング部２３０と、を備える。標識抽出部１６０１は、映像から特定領域に撮像された標識を抽出する。標識画像劣化量推定部１６０２は、標識抽出部１６０１が抽出した標識画像から画像劣化量を推定する。なお、標識抽出部１６０１と標識画像劣化量推定部１６０２とにより、本実施形態の画像劣化推定部を構成する。【0100】
標識抽出部１６０１は、標識画像抽出部１６１１と、映像フレーム・テンプレート１６１２とを備える。標識画像抽出部１６１１は、映像フレーム・テンプレート１６１２に記憶された映像内の特定位置の特定領域から標識画像を抽出する。映像フレーム・テンプレート１６１２は、標識の映像中の特定位置の特定領域を記憶している。なお、本実施形態において、カメラは固定であり、カメラ位置や撮像方向、あるいは標識位置が変更された場合は、映像フレーム・テンプレート１６１２を変更して、常に標識を抽出できるようにする。【0101】
（標識画像劣化量推定テーブル）図１６Ｃは、本実施形態に係る標識画像劣化量推定部１６０２が使用する標識画像劣化量推定テーブル１６０２ａの構成を示す図である。標識画像劣化量推定テーブル１６０２ａは、常態で撮像された標準標識画像と映像から検出した標識画像との相違から、その劣化要因などに対応して画像劣化量を推定するため、標識画像劣化量推定部１６０２が使用するテーブルである。
【0102】
標識画像劣化量推定テーブル１６０２ａは、標識ＩＤ１６２１に対応付けて、標識位置１６２２と、抽出した標識画像１６２３と、輪郭やエッジなどの抽出データ１６２４と、参照する標準標識画像１６２５と、を記憶する。そして、標識画像劣化量推定テーブル１６０２ａは、抽出した標識画像１６２３と参照する標準標識画像１６２５との比較結果から生成された画像劣化量１６２６を記憶する。【0103】
本実施形態によれば、映像中の標識画像に基づいて画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御することによって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。【0104】
［第５実施形態］次に、本発明の第５実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第４実施形態と比べると、映像中の特定領域として表面がフラットな画像を抽出して画素のばらつきから画像劣化を推定する点で異なる。その他の構成および動作は、第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【0106】
映像処理装置１７００は、種々の映像１７１１〜１７１ｎの映像データから特徴ある人物を検索する。例えば、映像１７４０からドクロ模様の服を着た人物２４１を特定して、人物２４１が映った映像を選別する。この人物検索において、人物が着る服の色や模様などの特徴を特徴量として抽出して、あらかじめ格納された服の色や模様などの特徴量２２０と服特徴量マッチング部２３０においてマッチングして人物を特定する。【0107】
この時に、映像１７１１〜１７１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図１７において、映像１７１１は画像劣化のない映像、映像１７１２は霧による画像劣化がある映像、映像１７１ｎはぶれや焦点ずれによる画像劣化がある映像である。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。
【0108】
本実施形態においては、人物検索の特徴量マッチングを行なう場合に、服の模様の特徴量マッチングの精度が低下しやすい画像劣化の度合いを、映像内の特定位置に撮像されたフラット画像の撮像環境による画素ばらつきなどから推定する。なお、フラット画像としては、表面がフラットな標識や看板、あるいは、建物の一部などの経時変化の無い映像内の物が選択される。図１７においては、路側にある大型看板の周囲のフラット面が選択されている。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、服の模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、服の色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。【0109】
このように処理することにより、映像内の特定位置に撮像された標識画像から画像劣化を推定して、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。【0110】
《服マッチング部の機能構成》図１８Ａは、本実施形態に係る映像処理装置１７００の服マッチング部１８００の機能構成を示すブロック図である。なお、図１６Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【0111】
服マッチング部１８００は、フラット領域抽出部１８０１と、フラット画像劣化量推定部１８０２と、服特徴量抽出部５０３と、服特徴量ＤＢ５０４と、服特徴量マッチング部２３０と、を備える。フラット領域抽出部１８０１は、映像から特定領域に撮像されたフラット領域を抽出する。フラット画像劣化量推定部１８０２は、フラット領域抽出部１８０１が抽出したフラット画像の撮像環境による画素ばらつきなどから画像劣化量を推定する。なお、フラット領域抽出部１８０１とフラット画像劣化量推定部１８０２とにより、本実施形態の画像劣化推定部を構成する。【0112】
（フラット画像劣化量推定テーブル）図１８Ｂは、本実施形態に係るフラット画像劣化量推定部１８０２が使用するフラット画像劣化量推定テーブル１８０２ａの構成を示す図である。フラット画像劣化量推定テーブル１８０２ａは、常態で撮像されたフラット画像と映像から検出したフラット画像との相違から、その劣化要因などに対応して画像劣化量を推定するため、フラット画像劣化量推定部１８０２が使用するテーブルである。
【0113】
フラット画像劣化量推定テーブル１８０２ａは、フラット領域ＩＤ１８２１に対応付けて、フラット領域位置１８２２と、抽出したフラット画像１８２３と、画素ばらつきなどの抽出データ１８２４と、参照するフラット画像１８２５と、を記憶する。そして、フラット画像劣化量推定テーブル１８０２ａは、抽出したフラット画像１８２３と参照するフラット画像１８２５との比較結果から生成された画像劣化量１８２６を記憶する。【0114】
本実施形態によれば、映像中のフラット画像の画素ばらつきなどに基づいて画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御する。かかる制御によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。【0115】
［第６実施形態］次に、本発明の第６実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第５実施形態と比べると、複数の領域の画像に基づいて生成した推定画像劣化の度合いからオブジェクトの特徴に基づいて選択して、特徴量のマッチングの制御に使用する点で異なる。その他の構成および動作は、第２実施形態乃至第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【0116】
《映像処理装置の処理概要》図１９は、本実施形態に係る映像処理装置１９００の処理概要を示す図である。なお、図１９には、画像劣化量の生成までを示すが、画像劣化量を使用して映像からオブジェクトを検索する処理は図２と同様であり、図示および説明を省略する。
【0117】
映像処理装置１９００は、種々の映像１９１１〜１９１ｎの映像データから特徴ある人物を検索する。この時に、映像１９１１〜１９１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。図１９において、映像１９１１は霧による画像劣化がある映像、映像１９１２は雨滴による画像劣化がある映像、映像１９１３は逆光による画像劣化がある映像、映像１９１４は夜街燈による画像劣化がある映像、映像２１ｎはぶれや焦点ずれによる画像劣化がある映像である。なお、画像劣化の要因は上記例に限定されない。例えば、朝日などの照り返しやスモッグなども含む。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。【0118】
本実施形態においては、推定劣化量選択部１９０２が、既知画像との比較で画像劣化を推定できる複数の画像領域から得られた複数の画像劣化量から、マッチングする特徴量に影響を与える画像劣化量を選択する。あるいは、複数の画像劣化量を組み合わせて、服特徴量マッチングに使用する画像劣化量を生成する。そして、特徴量マッチングにおいて、推定劣化量に対応してマッチングの信頼度を生成して通知する。あるいは、推定劣化量が所定閾値を超えて信頼度が著しく低下した場合には、例えば、服の模様の特徴量マッチングは行なわずに、特徴量マッチングの信頼度が低下しない、例えば、服の色の特徴量マッチングの結果を採用する。なお、中間の状態では、それぞれの特徴量マッチングに重み付けをしてマッチング結果を生成する。【0119】
複数の画像劣化量を組み合わせて服特徴量マッチングに使用する画像劣化量を算出する方式はいろいろとあるが、例えば、最も画像劣化量が大きいものを選択する方式や、モデル化して算出する方式などがある。モデル化は、経験的な値からヒューリスティックに定めてもよいし、複数の画像を用いて学習させることにより、定めてもよい。【0120】
このように処理することにより、複数の画像劣化量からマッチングする特徴量に対応した画像劣化量を生成して、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。【0121】
《服マッチング部の機能構成》図２０Ａは、本実施形態に係る映像処理装置１９００の服マッチング部２０００の機能構成を示すブロック図である。なお、図２０Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【0122】
服マッチング部２０００は、画像劣化推定部を構成する、顔画像による画像劣化推定部２００１と、標識画像による画像劣化推定部２００２と、フラット画像による画像劣化推定部２００３と、推定劣化量選択部１９０２と、を備える。なお、各画像劣化推定部２００１、２００２および２００３は、図５Ａ、図１６Ａおよび図１８Ａの画像劣化推定部に相当する。推定劣化量選択部１９０２は、複数の画像劣化推定部２００１〜２００３から使用する画像劣化量を選択する。【0123】
（推定劣化量選択テーブル）図２０Ｂは、本実施形態に係る推定劣化量選択部１９０２が使用する推定劣化量選択テーブル１９０２ａの構成を示す図である。推定劣化量選択テーブル１９０２ａは、複数領域の画像に基づいて画像劣化量を推定するため、推定劣化量選択部１９０２が使用するテーブルである。
【0124】
推定劣化量選択テーブル１９０２ａは、劣化量を推定する画像２０１１に対応付けて、推定された推定劣化量２０１２と、特徴量マッチングへの寄与度を決める重み付け２０１３と、選択する場合の優先順位２０１４と、を記憶する。そして、推定劣化量選択テーブル１９０２ａは、推定劣化量選択部１９０２が生成した画像劣化量２０１５を記憶する。【0125】
本実施形態によれば、映像中の複数領域の画像に基づいて、検索対象となるオブジェクトの特徴に対応して適切な画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御する。この制御によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。【0126】
［第７実施形態］次に、本実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第６実施形態と比べると、複数の画像劣化要因に基づいて生成した推定画像劣化の度合いから適切な劣化要因に基づいて選択して、特徴量のマッチングの制御に使用する点で異なる。その他の構成および動作は、第２実施形態乃至第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【0127】
《服マッチング部の機能構成》図２１Ａは、本実施形態に係る映像処理装置の服マッチング部２１００の機能構成を示すブロック図である。なお、図２１Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【0128】
服マッチング部２１００は、画像劣化推定部を構成する、映像から霧が出ていることを検出する霧検出部２１１１と、映像から雨滴があることを検出する雨滴検出部２１１２と、標識抽出部１６０１と、画像劣化量推定部２１０２と、を備える。画像劣化量推定部２１０２は、霧検出部２１１１と、雨滴検出部２１１２と、標識抽出部１６０１とからの情報に基づいて、マッチングする特徴量に影響する画像劣化量を推定する。【0129】
ここで、霧検出部２１１１は、例えば、画面全体が霧によって全体的に見えにくくなる傾向を学習した検出器を用いて霧を検出する。例えば、霧の状態とそうでない状態の両方の学習用画像を準備し、ニューラルネットワークを学習させ、学習させたニューラルネットワークを用いて霧を検出することができる。この際、現場の画像を事前に取得可能な場合には、学習画像に現場の画像を含めることで、より正確な霧検出が可能となる。同様に、雨滴についても、降雨状態の画像とそうでない画像とを入力し、学習させることで、検出器を構築可能である。カメラのレンズに雨滴が付着する場合も、同様に検出可能である。なお、ここで示した霧や雨滴の検出方法はあくまでも一例であり、これ以外の方法を用いてもよい。さらに、単に霧や雨滴を検出するだけでなく、その程度（霧の濃さや雨滴の量など）も同時に検出可能になっていてもよい。これは、霧や雨滴の程度ごとに映像を取得し、学習させることにより実現できる。【0130】
（画像劣化量推定テーブル）図２１Ｂは、本実施形態に係る画像劣化量推定部２１０２が使用する画像劣化量推定テーブル２１０２ａの構成を示す図である。画像劣化量推定テーブル２１０２ａは、複数の劣化要因の画像に基づいて画像劣化量を推定するため、画像劣化量推定部２１０２が使用するテーブルである。
【0131】
画像劣化量推定テーブル２１０２ａは、画像劣化の原因となる劣化要因２１２１に対応付けて、特徴量マッチングへの寄与度を決める重み付け２１２２と、選択する場合の優先順位２１２３と、を記憶する。そして、画像劣化量推定テーブル２１０２ａは、画像劣化量推定部２１０２が生成した画像劣化量２１２４を記憶する。【0132】
本実施形態によれば、映像中からの複数の劣化要因に基づいて推定した画像劣化の度合いから、劣化要因に対応してあるいは組み合わせて適切な画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御する。この制御によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。【0133】
［第８実施形態］次に、本発明の第８実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第７実施形態と比べると、オブジェクトを検索するための特徴量の基となる対象画像の種類に対応して、画像劣化を推定する点で異なる。本実施形態においては、映像中から人物を検索する場合に、服の模様の種類に対応して異なる度合いの画像劣化を推定する例を説明する。その他の構成および動作は、第２実施形態乃至第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【0134】
《映像処理装置の処理概要》図２２は、本実施形態に係る映像処理装置２２００の処理概要を示す図である。なお、図２２には、画像劣化量の生成までを示すが、画像劣化量を使用して映像からオブジェクトを検索する処理は図２と同様であり、図示および説明を省略する。また、図１９と同様の要素には同じ参照番号を付して、説明を省略する。
【0135】
映像処理装置２２００は、種々の映像１９１１〜１９１ｎの映像データから特徴ある人物を検索する。この時に、映像１９１１〜１９１ｎは、カメラの状態（例えば、ぶれや焦点ずれなど）によって画像劣化が発生したり、天候などの撮像環境（例えば、霧や雨滴、あるいは逆光など）によって画像劣化が発生したりする。かかる画像劣化の映像から、人物の服の模様を特徴量としてマッチングを行なうと、特徴量の精度劣化により人物検索の信頼性が低下することになる。例えば、ストライプや水玉あるいは格子模様の服であれば、画像劣化により線や水玉が明確に分離して認識されなくなる。一方、もともとぼやけた模様の服を着ている人物を検索対象と認識してしまうこともあり得る。【0136】
本実施形態においては、推定劣化量算出部２２０２が、既知画像との比較で画像劣化を推定できる複数の画像領域から得られた複数の画像劣化量から、マッチングする特徴として本例では模様種類により特徴量に影響を与える画像劣化量を選択する。あるいは、複数の画像劣化量を組み合わせて、服特徴量マッチングに使用する画像劣化量を算出する。【0137】
このように処理することにより、マッチングする特徴に対応した画像劣化量を算出して、画像劣化の発生による特徴量マッチングの精度低下を防ぎ、画像劣化においても人物検索の精度を維持する。【0138】
《服マッチング部の機能構成》図２３は、本実施形態に係る映像処理装置２２００の服マッチング部２３００の機能構成を示すブロック図である。なお、図２３において、図５Ａおよび図２０Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【0139】
服マッチング部２３００は、画像劣化推定部を構成する、顔画像による画像劣化推定部２００１と、標識画像による画像劣化推定部２００２と、フラット画像による画像劣化推定部２００３と、推定劣化量算出部２２０２と、を備える。推定劣化量算出部２２０２は、複数の画像劣化推定部２００１〜２００３から特徴量マッチングする模様種類に基づいて推定劣化量を算出する。【0140】
（推定劣化量算出テーブル）図２４は、本実施形態に係る推定劣化量算出部２２０２が使用する推定劣化量算出テーブル２２０２ａの構成を示す図である。推定劣化量算出テーブル２２０２ａは、特徴量マッチングする模様種類に基づいて推定劣化量を算出するため、推定劣化量算出部２２０２が使用するテーブルである。
【0141】
推定劣化量算出テーブル２２０２ａは、特徴量マッチングする模様種類２４０１に対応付けて、複数の劣化量推定画像２４０２を記憶する。そして、推定劣化量算出テーブル２２０２ａは、劣化量推定画像２４０２に対応して、劣化量推定画像２４０２から推定された推定劣化量２４０３と、推定劣化量２４０３から模様種類に対応して算出された算出劣化量２４０４と、を記憶する。さらに、推定劣化量算出テーブル２２０２ａは、特徴量マッチングの重み付け２４０５を記憶する。【0142】
ここで、算出劣化量は、推定劣化量を模様の種類に応じて補正した劣化量である。例えば、もともと無地に近い模様であれば、劣化の影響を受けにくいが、細かいエッジが多く出現するストライプのような模様の場合には、劣化の度合いが大きくなるにつれ、急激にマッチングの精度が落ちる。このため、無地に近い模様に対しては、算出劣化量が小さくなるように設定し、ストライプのような模様に対しては算出劣化量が大きくなるように設定する。この度合いは、学習によって算出してもよいし、経験等に基づいて、ヒューリスティックに定めてもよい。なお、ここでは、直接、劣化量推定画像を記憶している場合について述べたが、推定劣化量から算出劣化量を求める変換モデルのみを記憶するようにしてもよい。具体的には、劣化推定量の各値に対して対応する算出劣化量を記憶するようにしておけばよい。あるいは、劣化推定量と算出推定量の関係を近似する回帰モデルを求め、このモデルを記述するパラメータを格納しておき、劣化推定量から算出推定量を算出するようにしてもよい。【0143】
本実施形態によれば、オブジェクトを検索するための特徴量の基となる対象画像の種類に対応して適切な画像劣化を推定し、特に、画像劣化に影響され易い特徴量のマッチングを制御する。この制御によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制することができる。【0144】
［第９実施形態］次に、本実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第８実施形態と比べると、マッチングのための特徴量を格納する特徴量データベースに、画像劣化の推定、特徴量の抽出、特徴量のマッチング結果をフィードバックすることにより、以後の処理のために学習する点で異なる。その他の構成および動作は、第２実施形態乃至第８実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【0145】
《服マッチング部の機能構成》図２５Ａは、本実施形態に係る映像処理装置の服マッチング部２５００の機能構成を示すブロック図である。なお、図２５Ａにおいて、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【0146】
服マッチング部２５００の服特徴量ＤＢ２５０４は、服特徴量抽出部５０３が抽出した特徴量とマッチングするための、検索用の服の特徴量を格納する。さらに、服特徴量ＤＢ２５０４は、フィードバックされた、画像劣化推定部からの画像劣化量と、服特徴量抽出部５０３が抽出した服特徴量と、検索人物マッチング部４０５の人物マッチング結果とを対応付けて、格納する。そして、以降の人物検索のための特徴量マッチングに、画像劣化をより反映させて、かつ、より精度の高い人物検索をするために使用される。【0147】
具体的には、画像劣化量と信頼度の関係を学習し、画像劣化量から信頼度を算出するモデルのパラメータを更新する。例えば、画像劣化がぶれの場合には、フィードバックした結果から、同一人物の服の特徴量が、ぶれていない場合に比べてぶれた場合にどの程度変化したかを求め、画像劣化量として求まるぶれの量と特徴量の変化の度合いを対応づける。これを複数のサンプルに対して行うことで、画像劣化量と信頼度の関係を求め、逐次更新していく。ここで、異なるフレーム間で同一人物の特徴量を対応づけるには、対象人物を追跡する必要があるが、この追跡処理には、既存の様々な方式を利用可能である。あるいは、オペレータが明示的に同一人物か否かを入力し、対応づけるようにしてもよい。同様に、霧や雨滴の場合も、その程度が異なるフレーム間で同一人物の特徴量同士を比較することによって、画像劣化量と信頼度の関係をフィードバックした結果から算出できる。【0148】
（服特徴量ＤＢ）図２５Ｂは、本実施形態に係る服マッチング部２５００の服特徴量ＤＢ２５０４の構成を示す図である。なお、図２５Ｂにおいて、図５Ｂと同様の要素には同じ参照番号を付して、説明を省略する。
【0149】
服特徴量ＤＢ２５０４は、図５Ｂの特徴量テーブル５１０と画像劣化テーブル５２０とに加えて、フィードバックされたマッチング情報２５３０が格納される。マッチング情報２５３０は、検索対象の服ＩＤ２５３１に対応付けて、抽出特徴量２５３２と、推定した画像劣化量と、服マッチング結果２５３４と、人物マッチング結果２５３５と、を格納する。【0150】
本実施形態によれば、画像劣化の推定、特徴量の抽出、特徴量のマッチング結果を特徴量データベースにフィードバックして、以後の処理のために利用する。この学習によって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を、さらに抑制することができる。【0151】
［第１０実施形態］次に、本発明の第３実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第９実施形態と比べると、特徴量データベースの特徴量とのマッチングに加えて、映像中の異なる画像の画像劣化の度合いおよび抽出した特徴量をマッチングする点で異なる。その他の構成および動作は、第２実施形態乃至第９実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、人物検索を例に説明するが、車両検索など他のオブジェクト検索にも適用され、同様の効果を奏する。
【0152】
《服マッチング部の機能構成》図２６は、本実施形態に係る映像処理装置の服マッチング部２６００の機能構成を示すブロック図である。図２６において、図５Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。
【0153】
服マッチング部２６００は、複数組みの、顔検出部５０１と、顔画像劣化量推定部５０２と、服特徴量抽出部５０３と、を備える。あるいは、同じ顔検出部５０１と、顔画像劣化量推定部５０２と、服特徴量抽出部５０３と、を繰り返して使用してもよい。服特徴量マッチング部２６３０は、この複数組みの、画像劣化推定部からの画像劣化量と、服特徴量抽出部５０３からの服特徴量とをマッチングさせて、マッチング結果を生成する。【0154】
（服特徴量マッチング部）図２７Ａは、本実施形態に係る服マッチング部２６００の服特徴量マッチング部２６３０の機能構成を示す図である。なお、図２７Ａにおいては、比較する一方を画像劣化量Ａおよび服特徴量Ａ、他方を画像劣化量Ｂおよび服特徴量Ｂ、とする。
【0155】
服特徴量マッチング部２６３０は、画像劣化量Ａと画像劣化量Ｂとを比較する劣化量比較部２７０１と、服特徴量Ａと服特徴量Ｂとを比較する特徴量比較部２７０２と、を備える。そして、服特徴量マッチング部２６３０は、画像劣化量の比較結果と服特徴量との比較結果から、服のマッチング結果を算出するマッチング結果算出部２７０３を備える。【0156】
（服特徴量マッチングテーブル）図２７Ｂは、本実施形態に係る服特徴量マッチング部２６３０が使用する服特徴量マッチングテーブル２６３０ａの構成を示す図である。服特徴量マッチングテーブル２６３０ａは、複数の画像劣化量および服特徴量から服マッチング結果を生成するために服特徴量マッチング部２６３０により使用されるテーブルである。ここでは、便宜上、テーブル形式で記述した例を示すが、マッチング結果の格納は、図４Ｃと同様に、必ずしもテーブル形式でなくてもよい。
【0157】
服特徴量マッチングテーブル２６３０ａは、検索対象の服ＩＤ２７１１に対応付けて、画像劣化量Ａ２７１２と、画像劣化量Ｂ２７１３と、劣化量比較結果２７１４と、を記憶する。また、服特徴量マッチングテーブル２６３０ａは、検索対象の服ＩＤ２７１１に対応付けて、服特徴量Ａ２７１５と、服特徴量Ｂ２７１６と、服特徴量比較結果２７１７と、を記憶する。そして、服特徴量マッチングテーブル２６３０ａは、劣化量比較結果２７１４と、を記憶する。また、服特徴量マッチングテーブル２６３０ａは、劣化量比較結果２７１４と服特徴量比較結果２７１７とにから服マッチング結果を生成するマッチングアルゴリズム２７１８と、生成された服マッチング結果１７１９と、を記憶する。【0158】
本実施形態によれば、推定した画像劣化の度合いおよび抽出した特徴量の組み合わせでマッチングをする。したがって、映像中の劣化した画像から抽出した特徴量に基づく検索対象となるオブジェクトの検索精度の低下を抑制しながら、同じ環境中の画像から精度よくオブジェクトを検索できる。【0159】
［他の実施形態］以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【0160】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する映像処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。【0161】
［実施形態の他の表現］上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定手段と、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出手段と、
前記検索対象となるオブジェクトの特徴量を格納する特徴量データベースと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定手段が推定した画像劣化の度合いに基づいて制御するマッチング手段と、
を備える映像処理装置。
（付記２）
前記オブジェクトの特徴量は、前記オブジェクトが有する模様の特徴量である付記１に記載の映像処理装置。
（付記３）
前記画像劣化推定手段は、前記オブジェクトが有する模様の種類に対応して、異なる度合いの画像劣化を推定する付記２に記載の映像処理装置。
（付記４）
前記オブジェクトの特徴量は、前記オブジェクトが有する色の特徴量をさらに含み、
前記マッチング手段は、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する付記２または３に記載の映像処理装置。
（付記５）
前記画像領域は、前記検索対象となるオブジェクトの一部である付記１乃至４のいずれか１項に記載の映像処理装置。
（付記６）
前記検索対象となるオブジェクトは人物であり、
前記画像劣化推定手段は、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、付記５に記載の映像処理装置。
（付記７）
前記検索対象となるオブジェクトは車両であり、
前記画像劣化推定手段は、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、付記５に記載の映像処理装置。
（付記８）
前記画像領域は、前記映像中の特定領域である付記１乃至７のいずれか１項に記載の映像処理装置。
（付記９）
前記画像劣化推定手段は、既知の標識画像のエッジから画像劣化の度合いを推定する付記８に記載の映像処理装置。
（付記１０）
前記画像劣化推定手段は、既知のフラット画像の画素のばらつきから画像劣化の度合いを推定する付記８に記載の映像処理装置。
（付記１１）
前記画像劣化推定手段は、前記映像中から画像劣化の要因を認識して、前記要因に基づいて画像劣化の度合いを推定する付記１乃至１０のいずれか１項に記載の映像処理装置。
（付記１２）
少なくとも、前記画像劣化の度合いと、前記抽出した特徴量と、前記マッチングの結果との組み合わせを前記特徴量データベースにフィードバックする付記１乃至１１のいずれか１項に記載の映像処理装置。
（付記１３）
前記マッチング手段は、前記画像劣化の度合いと前記抽出した特徴量との、少なくとも２つの組み合わせをマッチングする付記１乃至１２のいずれか１項に記載の映像処理装置。
（付記１４）
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
を含む映像処理方法。
（付記１５）
前記オブジェクトの特徴量は、前記オブジェクトが有する模様の特徴量である付記１４に記載の映像処理方法。
（付記１６）
前記画像劣化推定ステップにおいては、前記オブジェクトが有する模様の種類に対応して、異なる度合いの画像劣化を推定する付記１５に記載の映像処理方法。
（付記１７）
前記オブジェクトの特徴量は、前記オブジェクトが有する色の特徴量をさらに含み、
前記マッチングステップにおいては、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する付記１５または１６に記載の映像処理方法。
（付記１８）
前記画像領域は、前記検索対象となるオブジェクトの一部である付記１４乃至１７のいずれか１項に記載の映像処理方法。
（付記１９）
前記検索対象となるオブジェクトは人物であり、
前記画像劣化推定ステップにおいては、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、付記１８に記載の映像処理方法。
（付記２０）
前記検索対象となるオブジェクトは車両であり、
前記画像劣化推定手段においては、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、付記１８に記載の映像処理方法。
（付記２１）
前記画像領域は、前記映像中の特定領域である付記１４乃至２０のいずれか１項に記載の映像処理方法。
（付記２２）
前記画像劣化推定ステップにおいては、既知の標識画像のエッジから画像劣化の度合いを推定する付記２１に記載の映像処理方法。
（付記２３）
前記画像劣化推定ステップにおいては、既知のフラット画像の画素のばらつきから画像劣化の度合いを推定する付記２１に記載の映像処理方法。
（付記２４）
前記画像劣化推定ステップにおいては、前記映像中から画像劣化の要因を認識して、前記要因に基づいて画像劣化の度合いを推定する付記１４乃至２３のいずれか１項に記載の映像処理方法。
（付記２５）
少なくとも、前記画像劣化の度合いと、前記抽出した特徴量と、前記マッチングの結果との組み合わせを前記特徴量データベースにフィードバックする付記１４乃至２４のいずれか１項に記載の映像処理方法。
（付記２６）
前記マッチングステップにおいては、前記画像劣化の度合いと前記抽出した特徴量との、少なくとも２つの組み合わせをマッチングする付記１４乃至２５のいずれか１項に記載の映像処理方法。
（付記２７）
映像中から画像劣化の指標となる画像領域の画像を抽出して、前記画像領域の画像の画像劣化の度合いを推定する画像劣化推定ステップと、
前記映像中から検索対象となるオブジェクトの特徴量を抽出する特徴量抽出ステップと、
前記検索対象となるオブジェクトの特徴量を特徴量データベースに格納する格納ステップと、
前記オブジェクトを前記映像中から検索する際に、前記抽出された特徴量と前記格納された特徴量とのマッチングを、前記画像劣化推定ステップにおいて推定した画像劣化の度合いに基づいて制御するマッチングステップと、
をコンピュータに実行させる映像処理プログラム。
（付記２８）
前記オブジェクトの特徴量は、前記オブジェクトが有する模様の特徴量である付記２７に記載の映像処理プログラム。
（付記２９）
前記画像劣化推定ステップにおいては、前記オブジェクトが有する模様の種類に対応して、異なる度合いの画像劣化を推定する付記２８に記載の映像処理プログラム。
（付記３０）
前記オブジェクトの特徴量は、前記オブジェクトが有する色の特徴量をさらに含み、
前記マッチングステップにおいては、前記画像劣化により前記模様の特徴量によるマッチングの信頼度が低下する場合に、前記色の特徴量によるマッチングを行なうように制御する付記２８または２９に記載の映像処理プログラム。
（付記３１）
前記画像領域は、前記検索対象となるオブジェクトの一部である付記２７乃至３０のいずれか１項に記載の映像処理プログラム。
（付記３２）
前記検索対象となるオブジェクトは人物であり、
前記画像劣化推定ステップにおいては、人物画像の一部である顔画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記人物の服または携帯物の特徴量である、付記３１に記載の映像処理プログラム。
（付記３３）
前記検索対象となるオブジェクトは車両であり、
前記画像劣化推定手段においては、車両画像の一部であるナンバープレート画像の輪郭またはエッジから画像劣化の度合いを推定し、
前記特徴量は、前記車両の車体または取付物ないし積載物の特徴量である、付記３１に記載の映像処理プログラム。
（付記３４）
前記画像領域は、前記映像中の特定領域である付記２７乃至３３のいずれか１項に記載の映像処理プログラム。
（付記３５）
前記画像劣化推定ステップにおいては、既知の標識画像のエッジから画像劣化の度合いを推定する付記３４に記載の映像処理プログラム。
（付記３６）
前記画像劣化推定ステップにおいては、既知のフラット画像の画素のばらつきから画像劣化の度合いを推定する付記３４に記載の映像処理プログラム。
（付記３７）
前記画像劣化推定ステップにおいては、前記映像中から画像劣化の要因を認識して、前記要因に基づいて画像劣化の度合いを推定する付記２７乃至３６のいずれか１項に記載の映像処理プログラム。
（付記３８）
少なくとも、前記画像劣化の度合いと、前記抽出した特徴量と、前記マッチングの結果との組み合わせを前記特徴量データベースにフィードバックする付記２７乃至３７のいずれか１項に記載の映像処理プログラム。
（付記３９）
前記マッチングステップにおいては、前記画像劣化の度合いと前記抽出した特徴量との、少なくとも２つの組み合わせをマッチングする付記２７乃至３８のいずれか１項に記載の映像処理プログラム。
【0162】
この出願は、２０１３年８月２３日に出願された日本国特許出願 特願２０１３−１７３１６５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。