特許 6656987 画像認識装置、移動体装置、及び画像認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6656987

(24)【登録日】2020年2月7日

(45)【発行日】2020年3月4日

(54)【発明の名称】画像認識装置、移動体装置、及び画像認識プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20200220BHJP

   G06T 7/269 20170101ALI20200220BHJP

【ＦＩ】

   G06T7/20 300Z

   G06T7/269

【請求項の数】12

【全頁数】23

(21)【出願番号】特願2016-68436(P2016-68436)

(22)【出願日】2016年3月30日

(65)【公開番号】特開2017-182437(P2017-182437A)

(43)【公開日】2017年10月5日

【審査請求日】2018年12月28日

(73)【特許権者】

【識別番号】591261509

【氏名又は名称】株式会社エクォス・リサーチ

(73)【特許権者】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(74)【代理人】

【識別番号】100096655

【弁理士】

【氏名又は名称】川井 隆

(74)【代理人】

【識別番号】100091225

【弁理士】

【氏名又は名称】仲野 均

(72)【発明者】

【氏名】山田 英夫

(72)【発明者】

【氏名】久野 和宏

(72)【発明者】

【氏名】榎田 修一

(72)【発明者】

【氏名】橋本 達哉

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１５−１０６３０７（ＪＰ，Ａ）

【文献】 椎名雄飛，池永剛，特徴領域に基づくパーティクルフィルタを用いた複雑環境下における物体追跡，ＳＳＩＩ２０１２ 第１８回画像センシングシンポジウム 講演論文集 ［ＣＤ−ＲＯＭ］，日本，画像センシング技術研究会，２０１２年 ６月，IS2-15-1〜IS2-15-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０− ７／２９２

(57)【特許請求の範囲】

【請求項1】

画像を取得する画像取得手段と、
前記取得した画像において追跡対象を観測する観測領域を、一時刻前の画像で前記追跡対象の検出に用いた観測領域に基づいて設定する観測領域設定手段と、
前記設定した観測領域から複数種類の画像特徴量を取得する画像特徴量取得手段と、
前記取得した画像特徴量ごとに基準特徴量との特徴相関係数を取得する特徴相関係数取得手段と、
前記取得した画像特徴量ごとの特徴相関係数を組合せる割合を、一時刻前の画像で前記追跡対象の検出に用いた割合に基づいて設定する割合設定手段と、
前記設定した割合で前記特徴相関係数を組合せて前記観測領域に対する領域相関係数を取得する領域相関係数取得手段と、
前記観測領域設定手段が設定する観測領域と、前記割合設定手段が設定する割合を変化させながら、前記領域相関係数取得手段が取得する領域相関係数を用いて前記観測領域で観測している対象の尤度を繰り返し取得する尤度取得手段と、
前記尤度取得手段で得られた複数の尤度のうち、所定の条件を満たす尤度の取得元となった観測領域で前記追跡対象を検出する検出手段と、
を具備したことを特徴とする画像認識装置。

【請求項2】

前記観測領域設定手段は、前記観測領域として、前記追跡対象の全体を観測する全体観測領域と、前記追跡対象の部分を観測する複数の部分観測領域の組を設定し、
前記画像特徴量取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記複数種類の画像特徴量を取得し、
前記特徴相関係数取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記画像特徴量ごとの特徴相関係数を取得し、
前記割合設定手段は、前記全体観測領域、及び前記部分観測領域ごとに前記割合を設定し、
前記領域相関係数取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記領域相関係数を取得し、
前記尤度取得手段は、前記全体観測領域、及び前記部分観測領域ごとの領域相関係数を用いて前記尤度を取得することを特徴とする請求項１に記載の画像認識装置。

【請求項3】

前記全体観測領域、及び前記部分観測領域ごとの領域相関係数に、一時刻前の画像で前記追跡対象の検出に用いた重みに基づいて重みを設定する重み設定手段を具備し、
前記尤度取得手段は、前記重みも変化させながら、前記尤度を繰り返し取得することを特徴とする請求項２に記載の画像認識装置。

【請求項4】

前記尤度取得手段は、前記領域相関係数が所定の閾値を下回る場合は、当該領域相関係数を除外して前記尤度を取得することを特徴とする請求項３に記載の画像認識装置。

【請求項5】

前記重みの総和が小さい前記全体観測領域と前記部分観測領域の組ほど前記尤度を小さく補正する尤度補正手段を具備したことを特徴とする請求項３、又は請求項４に記載の画像認識装置。

【請求項6】

前記割合設定手段が設定する割合が一方に偏るほど前記尤度が小さくなるように補正を行う偏り補正手段を具備したことを特徴とする請求項３、請求項４、又は請求項５に記載の画像認識装置。

【請求項7】

前記割合設定手段と前記重み設定手段は、前記追跡対象の検出に失敗した場合に、それぞれ前記割合と前記重みを一時刻前の画像とは無関係な任意の値に設定することを特徴とする請求項３から請求項６までのうちの何れか１の請求項に記載の画像認識装置。

【請求項8】

前記複数種類の画像特徴量は、前記取得した画像の輝度勾配分布特徴量と、色分布特徴量であることを特徴とする請求項１から請求項７に記載の画像認識装置。

【請求項9】

前記尤度が満たす所定の条件は、尤度の最大値であることを特徴とする請求項１から請求項８までのうちの何れか１の請求項に記載の画像認識装置。

【請求項10】

前記領域相関係数取得手段は、前記設定した割合による線形和によって、前記取得した特徴相関係数を組合せることを特徴とする請求項１から請求項９までのうちの何れか１の請求項に記載の画像認識装置。

【請求項11】

請求項１から請求項１０までのうちの何れか１の請求項に記載の画像認識装置を用いて対象を検出する検出手段と、
前記検出した対象に対して所定の位置に移動する移動手段と、
を具備したことを特徴とする移動体装置。

【請求項12】

画像を取得する画像取得機能と、
前記取得した画像において追跡対象を観測する観測領域を、一時刻前の画像で前記追跡対象の検出に用いた観測領域に基づいて設定する観測領域設定機能と、
前記設定した観測領域から複数種類の画像特徴量を取得する画像特徴量取得機能と、
前記取得した画像特徴量ごとに基準特徴量との特徴相関係数を取得する特徴相関係数取得機能と、
前記取得した画像特徴量ごとの特徴相関係数を組合せる割合を、一時刻前の画像で前記追跡対象の検出に用いた割合に基づいて設定する割合設定機能と、
前記設定した割合で前記特徴相関係数を組合せて前記観測領域に対する領域相関係数を取得する領域相関係数取得機能と、
前記観測領域設定機能が設定する観測領域と、前記割合設定機能が設定する割合を変化させながら、前記領域相関係数取得機能が取得する領域相関係数を用いて前記観測領域で観測している対象の尤度を繰り返し取得する尤度取得機能と、
前記尤度取得機能で得られた複数の尤度のうち、所定の条件を満たす尤度の取得元となった観測領域で前記追跡対象を検出する検出機能と、
をコンピュータで実現する画像認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置、移動体装置、及び画像認識プログラムに関し、例えば、画像に含まれる追跡対象を認識するものに関する。

【背景技術】

【0002】

近年、画像に写った対象を認識し、その移動を追跡する画像認識装置の需要が高まっている。
このような画像認識装置は、例えば、車両やロボットに搭載されて、歩行者や障害物を避けたり、あるいは、監視カメラに搭載されて、不審者を追跡したりするのに用いられる。

【0003】

画像中に対象を認識・追跡する技術は、各種提案されているが、特に優れたものに特許文献１の「物体識別装置、方法及びプログラム」で使用されているＤＰＭ（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ）がある。
この技術は、追跡対象人物の全身を認識するための全体的な領域と、追跡対象人物の特徴的な一部分（頭部、腰部、・・・など）を認識するための複数の部分的な領域を組合せることにより、例え追跡対象人物が姿勢変化して全体的な領域での認識が困難になった場合でも、部分的な領域での認識でこれを補い、画像中の追跡対象人物を特定するものである。

【0004】

ところで、移動体（例えば人物）を追跡する場合、追跡対象が人混みに紛れたり、照明環境が変化したりなど、追跡対象の撮影状態は時間と共に様々に変化する。
一方、追跡対象を画像で認識する方法には、ＨＯＧ特徴量と呼ばれる対象のエッジ検出を用いた方法や対象の色分布特徴量を用いた方法など各種のものがあるが、これらは認識が得意なシーン（場面）と不得意なシーンがあり、これらの方法を単独で用いると、追跡対象の撮影状態の変化に対応できず、追跡が破綻するという問題があった。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５−２３０５５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、頑健性の高い画像認識を行うことを目的とする。

【課題を解決するための手段】

【0007】

（１）本発明は、前記目的を達成するために、請求項１に記載の発明では、画像を取得する画像取得手段と、前記取得した画像において追跡対象を観測する観測領域を、一時刻前の画像で前記追跡対象の検出に用いた観測領域に基づいて設定する観測領域設定手段と、前記設定した観測領域から複数種類の画像特徴量を取得する画像特徴量取得手段と、前記取得した画像特徴量ごとに基準特徴量との特徴相関係数を取得する特徴相関係数取得手段と、前記取得した画像特徴量ごとの特徴相関係数を組合せる割合を、一時刻前の画像で前記追跡対象の検出に用いた割合に基づいて設定する割合設定手段と、前記設定した割合で前記特徴相関係数を組合せて前記観測領域に対する領域相関係数を取得する領域相関係数取得手段と、前記観測領域設定手段が設定する観測領域と、前記割合設定手段が設定する割合を変化させながら、前記領域相関係数取得手段が取得する領域相関係数を用いて前記観測領域で観測している対象の尤度を繰り返し取得する尤度取得手段と、前記尤度取得手段で得られた複数の尤度のうち、所定の条件を満たす尤度の取得元となった観測領域で前記追跡対象を検出する検出手段と、を具備したことを特徴とする画像認識装置を提供する。
（２）請求項２に記載の発明では、前記観測領域設定手段が、前記観測領域として、前記追跡対象の全体を観測する全体観測領域と、前記追跡対象の部分を観測する複数の部分観測領域の組を設定し、前記画像特徴量取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記複数種類の画像特徴量を取得し、前記特徴相関係数取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記画像特徴量ごとの特徴相関係数を取得し、前記割合設定手段は、前記全体観測領域、及び前記部分観測領域ごとに前記割合を設定し、前記領域相関係数取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記領域相関係数を取得し、前記尤度取得手段は、前記全体観測領域、及び前記部分観測領域ごとの領域相関係数を用いて前記尤度を取得することを特徴とする請求項１に記載の画像認識装置を提供する。
（３）請求項３に記載の発明では、前記全体観測領域、及び前記部分観測領域ごとの領域相関係数に、一時刻前の画像で前記追跡対象の検出に用いた重みに基づいて重みを設定する重み設定手段を具備し、前記尤度取得手段は、前記重みも変化させながら、前記尤度を繰り返し取得することを特徴とする請求項２に記載の画像認識装置を提供する。
（４）請求項４に記載の発明では、前記尤度取得手段が、前記領域相関係数が所定の閾値を下回る場合は、当該領域相関係数を除外して前記尤度を取得することを特徴とする請求項３に記載の画像認識装置を提供する。
（５）請求項５に記載の発明では、前記重みの総和が小さい前記全体観測領域と前記部分観測領域の組ほど前記尤度を小さく補正する尤度補正手段を具備したことを特徴とする請求項３、又は請求項４に記載の画像認識装置を提供する。
（６）請求項６に記載の発明では、前記割合設定手段が設定する割合が一方に偏るほど前記尤度が小さくなるように補正を行う偏り補正手段を具備したことを特徴とする請求項３、請求項４、又は請求項５に記載の画像認識装置を提供する。
（７）請求項７に記載の発明では、前記割合設定手段と前記重み設定手段は、前記追跡対象の検出に失敗した場合に、それぞれ前記割合と前記重みを一時刻前の画像とは無関係な任意の値に設定することを特徴とする請求項３から請求項６までのうちの何れか１の請求項に記載の画像認識装置を提供する。
（８）請求項８に記載の発明では、前記複数種類の画像特徴量が、前記取得した画像の輝度勾配分布特徴量と、色分布特徴量であることを特徴とする請求項１から請求項７に記載の画像認識装置を提供する。
（９）請求項９に記載の発明では、前記尤度が満たす所定の条件は、尤度の最大値であることを特徴とする請求項１から請求項８までのうちの何れか１の請求項に記載の画像認識装置を提供する。
（１０）請求項１０に記載の発明では、前記領域相関係数取得手段が、前記設定した割合による線形和によって、前記取得した特徴相関係数を組合せることを特徴とする請求項１から請求項９までのうちの何れか１の請求項に記載の画像認識装置を提供する。
（１１）請求項１１に記載の発明では、請求項１から請求項１０までのうちの何れか１の請求項に記載の画像認識装置を用いて対象を検出する検出手段と、前記検出した対象に対して所定の位置に移動する移動手段と、を具備したことを特徴とする移動体装置を提供する。
（１２）請求項１２に記載の発明では、画像を取得する画像取得機能と、前記取得した画像において追跡対象を観測する観測領域を、一時刻前の画像で前記追跡対象の検出に用いた観測領域に基づいて設定する観測領域設定機能と、前記設定した観測領域から複数種類の画像特徴量を取得する画像特徴量取得機能と、前記取得した画像特徴量ごとに基準特徴量との特徴相関係数を取得する特徴相関係数取得機能と、前記取得した画像特徴量ごとの特徴相関係数を組合せる割合を、一時刻前の画像で前記追跡対象の検出に用いた割合に基づいて設定する割合設定機能と、前記設定した割合で前記特徴相関係数を組合せて前記観測領域に対する領域相関係数を取得する領域相関係数取得機能と、前記観測領域設定機能が設定する観測領域と、前記割合設定機能が設定する割合を変化させながら、前記領域相関係数取得機能が取得する領域相関係数を用いて前記観測領域で観測している対象の尤度を繰り返し取得する尤度取得機能と、前記尤度取得機能で得られた複数の尤度のうち、所定の条件を満たす尤度の取得元となった観測領域で前記追跡対象を検出する検出機能と、をコンピュータで実現する画像認識プログラムを提供する。

【発明の効果】

【0008】

本発明によれば、複数種類の画像特徴量を組合せることにより、頑健性の高い画像認識を行うことができる。

【図面の簡単な説明】

【0009】

【図1】画像認識装置の使用形態や観測領域について説明するための図である。

【図2】ＨＯＧ特徴量の概念を説明するための図である。

【図3】色分布特徴量の概念を説明するための図である。

【図4】実験結果を説明するための図である。

【図5】重みパラメータＷｉについて説明するための図である。

【図6】追跡の破綻とその復帰を説明するための図である。

【図7】画像認識装置のハードウェア構成を説明するための図である。

【図8】画像認識処理の手順を説明するためのフローチャートである。

【図9】尤度計算処理を説明するための図である。

【図10】各実施形態で使用する数式を表した説明図である。

【発明を実施するための形態】

【0010】

（１）実施形態の概要
図１（ｂ）に示したように、画像認識装置２は、対象者３の全身を囲む全体観測領域５と、対象者３の特徴的な部分を囲む部分観測領域６ａ〜６ｇを、画像４で対象者３が写っていると推測される箇所に設定する。
画像認識装置２は、全体観測領域５と部分観測領域６ａ〜６ｇの画像を切り取り、これらと予め学習した画像との類似度をＨＯＧ特徴量と色分布特徴量の２つの画像特徴量を組合せて計算する。これら２つの画像特徴量は、得意・不得意とするシーンが異なるが、これを組合せることにより両者を相補的に作用させることができる。

【0011】

また、画像認識装置２は、ＨＯＧ特徴量と色分布特徴量を組合せる最適な割合（比率）を全体観測領域５と部分観測領域６ａ〜６ｇについて個別に計算する。
この割合の決定は、ＨＯＧ特徴量と色分布特徴量を組合せる重みを設定する重みパラメータαｉを状態ベクトルに含めてパーティクルフィルタ（粒子フィルタ）による全数探索の対象とすることにより行う。
このように、画像認識装置２は、２つの画像特徴量をシーンに適した重み付けで組合せることにより、例えば、明暗の変化や対象者３の周囲の歩行者密度の変化などの撮影環境の変化に対して頑健性を有する画像認識、及び追跡を行うことができる。

【0012】

（２）実施形態の詳細
（第１実施形態）
図１（ａ）は、本実施の形態に係る画像認識装置２の使用形態を説明するための図である。
カメラ１は、例えば、ハンディカムなどで構成された携帯可能な動画撮影カメラである。ユーザは、カメラ１を把持し、追跡対象である対象者３の後について移動しながら、カメラ１で対象者３を動画撮影する。

【0013】

後述するように、画像認識装置２は、例えば、対象者３の人混みとの錯綜や明暗の変化などの状態変化に対して頑健であるため、自らも移動しながらこれらの変化を受けつつ、対象者３を追跡することができる。
そのため、画像認識装置２は、車両やロボットなどの移動体に搭載するのに適している。

【0014】

画像認識装置２は、カメラ１の内部に内蔵されており、撮影された映像の各フレームの画像において対象者３を連続的に検出することにより対象者３を画像上で追跡する。
なお、画像認識装置２をカメラ１の外部に設置し、カメラ１から画像認識装置２に動画を転送してもよい。
以下では、一例として、追跡対象を人物とするが、これは追跡対象を限定するものではなく、任意の移動体を追跡対象とすることができる。

【0015】

図１（ｂ）は、画像４で対象者３を認識する方法を説明するための図である。
画像４は、カメラ１が撮影して画像認識装置２に出力した動画のあるフレームを構成する画像を示している。
このように、画像認識装置２は、画像４を取得する画像取得手段を備えている。
画像認識装置２は、前時刻の画像４（一時刻前の画像、ここでは、１つ前のフレームの画像）で検出された対象者３に基づいて、現時刻の画像４で対象者３が写っていると推測される領域に対象者３の全身を囲む矩形の全体観測領域５と、対象者３の特徴的な部分を囲む矩形の部分観測領域６ａ〜６ｇを設定する。

【0016】

図の例では、対象者３の頭部、左側上肢部、腰部、左側下肢部、下肢部の下側、右側下肢部、右側上肢部に部分観測領域６ａ〜６ｇが設定されている。
以下では、部分観測領域６ａ〜６ｇを特に区別しない場合は、単に部分観測領域６と記し、全体観測領域５と部分観測領域６を特に区別しない場合は、単に観測領域と呼ぶことにする。

【0017】

画像認識装置２は、前時刻の画像４で対象者３を検出した全体観測領域５と部分観測領域６に基づいて、その付近に位置や大きさの異なる全体観測領域５と部分観測領域６をパーティクルフィルタ手法を用いて多数発生させるのであるが、図に示したのは、そのうちの１つの組合せである。
全体観測領域５はルートフィルタ、部分観測領域６はパートフィルタと呼ばれている。

【0018】

このように、画像認識装置２は、取得した画像４において追跡対象を観測する観測領域を、一時刻前の画像で追跡対象の検出に用いた観測領域に基づいて設定する観測領域設定手段を備えている。
そして、当該観測領域設定手段は、観測領域として、追跡対象の全体を観測する全体観測領域５と、追跡対象の部分を観測する複数の部分観測領域６の組を設定している。

【0019】

画像認識装置２は、画像４から、これらの領域で囲まれた部分を切り取り（抽出し）、切り取られた個々の画像が、予め学習した画像とどの程度類似しているかの類似度を表す相関係数（特徴相関係数）を後述の画像特徴量空間における内積によって計算する。
そして、画像認識装置２は、全体観測領域５と部分観測領域６について計算された相関係数を所定の演算により合成（統合）して全体観測領域５、部分観測領域６の組による相関係数（領域相関係数）を計算し、全体観測領域５、部分観測領域６の組による相関係数を用いて尤度を計算する。
尤度は、全体観測領域５と部分観測領域６の組によって観測している対象が、どの程度対象者３であるか、という程度を示す量である。

【0020】

画像認識装置２は、パーティクルフィルタ手法を用いて、大きさや位置などのパラメータが少しずつ異なる全体観測領域５と部分観測領域６ａ〜６ｇを多数発生させ、色々な組合せに対して尤度を計算する。これにより尤度分布が得られる。
画像認識装置２は、最大尤度となる全体観測領域５と部分観測領域６ａ〜６ｇの組によって観測している対象を対象者３とすることにより、画像４から対象者３を検出する。
なお、尤度に閾値を設け、尤度が当該閾値を超えた場合に、そのときの全体観測領域５と部分観測領域６ａ〜６ｇの組によって観測している対象を対象者３とするなど、他の基準を用いてもよい。

【0021】

次に、パーティクルフィルタ手法の概要について説明する。
前時刻の画像４で、全体観測領域５と部分観測領域６ａ〜６ｇが定まっており、これを初期状態とする。
この状態を、一例として、状態ベクトルＸ＝（全体観測領域５の位置、全体観測領域５の大きさ、各部分観測領域６の位置、・・・）で表す。

【0022】

現時刻の画像４での全体観測領域５、部分観測領域６は、前時刻のものとさほど異なっていないと考えられるため、状態ベクトルＸの各状態変数（状態ベクトルの成分）について、前時刻での値の付近にホワイトノイズを発生させ（前時刻での値を平均値とする正規性白色雑音を発生させる）、これを前時刻での値に重畳することにより現時刻の値であると推測する。ホワイトノイズを重畳した各値がパーティクルに相当する。

【0023】

このように画像認識装置２は、対象者３の状態の遷移を、前時刻の値から決まり、それ以前の履歴を引きずらないマルコフ過程と仮定し、上記の状態遷移モデルにより、前時刻の状態ベクトルを遷移させて現時刻の状態ベクトルを推定する。

【0024】

画像認識装置２は、ホワイトノイズによってパーティクルを無数に発生させることにより、前時刻の観測領域とは少しずつ異なる全体観測領域５と部分観測領域６を無数に生成する。
これによって、画像認識装置２は、この中で尤度が最大となる全体観測領域５と部分観測領域６の組合せを手当たり次第に探索（探査）し、探索された全体観測領域５と部分観測領域６の組によって対象者３を検出する。これは、マルコフ性を用いた逐次的なベイズ推定問題となっている。

【0025】

次に、画像認識装置２は、探索した全体観測領域５と部分観測領域６を初期状態としてパーティクルを発生させて、次の画像４で同様の処理を行う。これを逐次的に繰り返すことにより、画像認識装置２は、動画の連続する各画像４において対象者３を認識・追跡する。
このように、画像認識装置２の用いるパーティクルフィルタ手法では、状態遷移（観測領域を多数発生させる）→観測（最大尤度の組合せを探索）→複製（探索された組合せを初期値にする）のサイクルを繰り返しながら対象を追跡する。

【0026】

基本的には、学習画像と類似する画像を画像４の全体から総当たりで探索するのであるが、対象者３が写っている場所の当たりをつけて、その近辺で探索することにより、画像認識処理を効率化することができる。

【0027】

次に、画像認識装置２が画像認識に用いる画像特徴量について説明する。
画像認識装置２は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量と色分布特徴量の組合せを用いる。
これは、ＨＯＧ特徴量は、明暗の変化に対して頑健であるが、周囲の人物との区別が困難であるのに対して、色分布特徴量は、明暗の変化に対して弱いが、周囲の人物との区別が容易であるなど、得意とするシーンが異なるため、これらを組合せることにより相補的な効果が期待できるからである。
このように、画像認識装置２は、画像の輝度勾配分布特徴量と、色分布特徴量から成る複数種類の画像特徴量を用いる。

【0028】

図２は、ＨＯＧ特徴量の概念を説明するための図である。
ＨＯＧ特徴量は、輝度勾配分布を用いた画像特徴量であって、対象のエッジを検出する技術である。例えて言えば、対象をエッジによるシルエットで認識するものである。

【0029】

ＨＯＧ特徴量は、次の手順により画像から抽出される。
図２（ａ）左図に示した画像１０１を全体観測領域５や部分観測領域６などの注目画像領域とする。
まず、画像１０１を矩形のセル１０２ａ、１０２ｂ、・・・に分割する。
次に、図２（ａ）右図に示したように、セル１０２ごとに各画素（ピクセル）の輝度勾配方向（低輝度から高輝度に向かう方向）を例えば８方向に量子化する。

【0030】

次に、図２（ｂ）に示したように、量子化した輝度勾配の方向を階級とし、出現回数を度数とするヒストグラムを生成することにより、セル１０２に含まれる輝度勾配のヒストグラム１０６をセル１０２ごとに作成する。
そして、セル１０２をいくつか集めたブロック単位でヒストグラム１０６の合計度数が１となるように正規化する。

【0031】

図２（ａ）左図の例では、セル１０２ａ、１０２ｂ、１０２ｃ、１０２ｄから１ブロックが形成されている。
このようにして正規化したヒストグラム１０６ａ、１０６ｂ、・・・を図２（ｃ）のように一列に並べたヒストグラム１０７が画像１０１のＨＯＧ特徴量である。

【0032】

ＨＯＧ特徴量を用いた画像の類否程度の判断は、次のようにして行う。
まず、ＨＯＧ特徴量の度数（Ｍ個あるとする）を成分とするベクトルφ（ｘ）を考える。ここで、ｘは、画像１０１を表すベクトルであり、ｘ＝（第１番目の画素の輝度、第２番目の画素の輝度、・・・）である。
なお、ベクトルは太字などで表すが、文字化け防止のため、以下では、通常の文字で表す。

【0033】

図２（ｄ）は、ＨＯＧ特徴量空間を表しており、画像１０１のＨＯＧ特徴量は、Ｍ次元空間のベクトルφ（ｘ）に写像される。
なお、図では簡単化のためＨＯＧ特徴量空間を２次元空間で表してある。
一方、Ｆは、人物画像の学習によって得た重みベクトルであり、多数の人物画像のＨＯＧ特徴量を平均化したベクトルである。

【0034】

画像１０１が学習した画像に類似する場合、φ（ｘ）は、ベクトル１０９のようにＦの周辺に分布し、類似しない場合は、ベクトル１１０、１１１のようにＦとは異なる方向に分布する。
Ｆとφ（ｘ）は、規格化されており、Ｆとφ（ｘ）の内積で定義される相関係数は、画像１０１が学習画像に類似するほど１に近づき、類似程度が低いほど−１に近づく。
このように、類似判断の対象となる画像をＨＯＧ特徴量空間に写像することにより、学習画像に類似している画像と類似していない画像を輝度勾配分布により分離することができる。

【0035】

輝度勾配分布を用いた特徴量抽出技術には、ＨＯＧのほかに、ＨＯＧを改良したＣｏＨＯＧ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ ＨＯＧ）や、これを更に強化したＭＲＣｏＨＯＧ（Ｍｕｌｔｉ Ｒｅｓｏｌｕｔｉｏｎ ＣｏＨＯＧ）などがあり、何れを用いてもよい。

【0036】

図３は、色分布特徴量の概念を説明するための図である。
図３（ａ）に示した注目領域の画像１０１は、色々な色成分（色１、色２、・・・）を有する画素から構成されている。
これら色成分の出現頻度からヒストグラム１２１を作成すると、その度数を成分とするベクトルｑが得られる。
一方、図３（ｂ）に示したように、追跡対象モデルについても同様のヒストグラム１２２を作成し、その度数を成分とするベクトルｐを作成する。

【0037】

これら色成分がＮ個あるとすると、画像１０１と追跡対象モデルの色分布は、図３（ｃ）に示したように、Ｎ次元の色分布特徴量空間ベクトルｐ、ｑに写像される。
画像１０１の画像が追跡対象モデルに類似する場合、ｑは、ベクトル１２３のようにｐの周辺に分布し、類似しない場合は、ベクトル１２４、１２５のようにｐとは異なる方向に分布する。

【0038】

ｑとｐは、規格化されており、ｑとｐの内積で定義される相関係数は、画像１０１が追跡対象モデルに類似するほど１に近づき、類似程度が低いほど−１に近づく。
このように、類似判断の対象となる画像を色分布特徴量空間に写像することにより、追跡対象モデルに類似している画像と類似していない画像を色分布特徴量により分離することができる。

【0039】

次に、これらの要素技術を用いた尤度計算方法について説明する。
図１０は、実施形態で使用する各計算式を表したものである。
画像認識装置２は、ＨＯＧ特徴量を用いた観測と色分布特徴量を用いた観測を観測領域ごとに行い、ＨＯＧ特徴量の相関係数と色分布特徴量の相関係数を動的に組合せて尤度を計算する。具体的には、尤度Ｌ（ｘ）の計算式を図１０の式（１）で定義する。

【0040】

式（１）の右辺第１項目は、ｉ＝０からｎまでＲ（ｘｉ）の総和を取る。
なお、ｎは、部分観測領域６の個数であり、ｉ＝０、１、２、・・・は、全体観測領域５、部分観測領域６ａ、６ｂ、・・・に対応する。
また、文字化け防止のため、下付小文字を全角文字で記すことにする。

【0041】

Ｒ（ｘｉ）は、図１０の式（２）で示したように、ｉ番目の観測領域におけるＨＯＧ特徴量の相関係数（項２ａ）と色分布特徴量の相関係数（項２ｂ）の線形和となっている。
αｉは、当該線形和における重みパラメータであり、０から１までの値を取ることができるが、画像認識装置２では、０．２５から０．７５までの値とし、必ず両者がＲ（ｘｉ）に寄与するように設定している。

【0042】

ここで、項（２ａ）、（２ｂ）のφ（ｘｉ）と、ｑｉは、ｉ番目の観測領域のＨＯＧ特徴量と色分布特徴量であるため、画像認識装置２は、設定した観測領域から複数種類の画像特徴量を取得する画像特徴量取得手段を備えており、当該画像特徴量取得手段は、全体観測領域５、及び部分観測領域６ごとに複数種類の画像特徴量を取得している。
また、項（２ａ）、（２ｂ）のＦｉ、ｐｉは、基準特徴量として機能している。そして、項（２ａ）、（２ｂ）は、それぞれ、ｉ番目の観測領域におけるＨＯＧ特徴量と色分布特徴量の相関係数（類似度）を表しており、特徴相関係数として機能している。
そのため、画像認識装置２は、取得した画像特徴量ごとに基準特徴量との特徴相関係数を取得する特徴相関係数取得手段を備え、当該特徴相関係数取得手段は、全体観測領域５、及び部分観測領域６ごとに画像特徴量ごとの特徴相関係数を取得している。

【0043】

図１０の式（２）によると、αｉが大きいほどＲ（ｘｉ）に対するＨＯＧ特徴量の寄与が大きくなり、αｉが小さくなるほど色分布特徴量の寄与が大きくなる。
そのため、αｉを適当に選択することにより、シーンに適した値を得ることができ、頑健性が向上する。
αｉの値は、基本的には０．２５から０．７５まで全数探索するが、隣接するフレームでＨＯＧ特徴量と色分布特徴量が極端に急変することは考えにくいため、前時刻での値付近を重点的に探索することにより効率化を図る。
より具体的には、後述するように、画像認識装置２は、αｉも状態ベクトルに含め、パーティクルフィルタ手法により動的に推定する。

【0044】

ここで、αｉは、取得した画像特徴量ごとの特徴相関係数を組合せる割合として機能しており、画像認識装置２は、これを前時刻で値に基づいて設定するため、これを一時刻前の画像４で追跡対象の検出に用いた割合に基づいて設定する割合設定手段を備えている。そして、当該割合設定手段は、全体観測領域５、及び部分観測領域６ごとに当該割合を設定している。

【0045】

また、Ｒ（ｘｉ）は、割合設定手段で設定した割合で特徴相関係数を組合せることによりｉ番目の観測領域に対して設定された領域相関係数として機能しており、画像認識装置２は、当該領域相関係数を取得する領域相関係数取得手段を備えている。
そして、当該領域相関係数取得手段は、一例として、設定した割合による線形和によって、特徴相関係数を組合せている。
更に、当該領域相関係数取得手段は、ｉ番目のＲ（ｘｉ）を計算することにより、全体観測領域５、及び部分観測領域６ごとに領域相関係数を取得している。

【0046】

図１０の式（１）の第２項目は、ペナルティと呼ばれ、項（１ｂ）をｊ＝１からｎまで、即ち、全ての部分観測領域６に対して加算する。このように、ペナルティには、全体観測領域５は、含まれていない。
ペナルティは、例えば、歩行している対象者３の頭部が突然腹部の辺りに現れるなど、全体観測領域５に対して部分観測領域６が不自然な態様を取った場合に、そのような全体観測領域５と部分観測領域６の組合せを除去するための量である。ペナルティが大きいほど不自然で排除すべき対象となる。
本実施の形態では、従来技術で利用されているペナルティを用いた。

【0047】

図１０の式（１）に示した項（１ｂ）におけるベクトルｄｊは、変形コストと呼ばれ、式（３）で表される。この量は、部分観測領域６の不自然な態様を学習させたものである。
項（１ｂ）のベクトルφｄは、部分観測領域６の遷移状態を表しており、式（４）で表される。このベクトルφｄの成分（ｄｘ、ｄｙ）は、部分観測領域６の位置に対応し、（ｄｘの自乗、ｄｙの自乗）は、部分観測領域６の移動距離に対応している。即ち、φｄは、部分観測領域６の位置と移動距離を合わせた量である。
このφｄとｄｊとの内積を取ることにより不自然度が計算され、部分観測領域６の位置や移動距離が不自然なほど、尤度Ｌ（ｘ）から大きなペナルティが減算されることになる。

【0048】

次に、本実施の形態で用いた状態ベクトルについて説明する。
画像認識装置２は、全体観測領域５と部分観測領域６の組を多数発生させて、尤度を最大化するものを探索するが、ｓ番目の組の状態ベクトルＸｓは、例えば、Ｘｓ＝（（ｘ、ｙ）、大きさ、（ｄｘｊ、ｄｙｊ）、αｉ）によって表される。

【0049】

ｊ＝１、２、・・・、ｎ、ｉ＝０、１、・・・、ｎとし、ｎは部分観測領域６の個数である。
（ｘ、ｙ）は、全体観測領域５の中心座標、大きさは全体観測領域５の大きさ、（ｄｘｊ、ｄｙｊ）は、部分観測領域６の配置、αｉは、式（２）で用いられる重みパラメータである。

【0050】

画像認識装置２では、前時刻のこれらの値に対して、例えば、正規性白色雑音（ガウスノイズ；正規分布乱数）を重畳したパーティクルを次々に発生させることにより前時刻での値近辺で観測領域の複数の組を次々に作成して状態を遷移させる。
なお、正規性白色雑音は、正規分布（ガウス分布）に従って発生する白色雑音（ホワイトノイズ）である。

【0051】

例えば、ｉ番目の領域の時刻ｔにおけるαをα（ｉ、ｔ）と表すと、α（ｉ、ｔ）＝Ｎ（α（ｉ、（ｔ−１））、σαの自乗）と表される。即ち、遷移後のαの分布は、前時刻のαを平均とし、分散がσαの自乗である正規分布となる。
このように、画像認識装置２は、各状態変数を、前時刻の値を平均とし、状態変数ごとの分散で遷移させる状態遷移モデルを用いている。

【0052】

そして、画像認識装置２は、重みパラメータαｉを状態ベクトルに含め、パーティクルフィルタ手法によりこれも動的に推定する。
即ち、パーティクルフィルタ手法の逐次推定のアルゴリズムの中にαｉを含めてαｉも逐次ベイズ推定で有効な値を推定させるのである。
そして、画像認識装置２は、尤度Ｌ（ｘ）を最大とする全体観測領域５と部分観測領域６の組を特定することにより、即ち、尤度Ｌ（ｘ）を最大にする状態ベクトルを特定することにより対象者３を検出する。

【0053】

このように、画像認識装置２は、観測領域設定手段が設定する観測領域と、割合設定手段が設定する割合を変化させながら、領域相関係数取得手段が取得する領域相関係数を用いて観測領域で観測している対象の尤度を繰り返し取得する尤度取得手段を備えている。
そして、当該尤度取得手段は、全体観測領域５、及び部分観測領域６ごとの領域相関係数を用いて尤度Ｌ（ｘ）を取得している。
更に、画像認識装置２は、最大尤度を与える全体観測領域５と部分観測領域６の組によって対象者３を検出するため、当該尤度取得手段で得られた複数の尤度のうち、所定の条件を満たす尤度の取得元となった観測領域で追跡対象を検出する検出手段を備えており、当該所定の条件は、尤度の最大値となっている。

【0054】

画像認識装置２は、一例として、パーティクルの数に上限を設け、全てのパーティクルについて尤度Ｌ（ｘ）を求めて最大値を探索することにより対象者３を探索するが、他の条件を用いることも可能である。
例えば、尤度Ｌ（ｘ）に所定の閾値を設定し、これを満たした時点で探索を終了したり、あるいは、尤度Ｌ（ｘ）の分布を取得する過程で、極大点が現れてきたら、極大を与える尤度Ｌ（ｘ）を採用して探索を終了する、といったことも可能である。

【0055】

図４（ａ）は、対象者３を追跡する実験でのαの併用状況を記録したグラフを表している。
縦軸は、全体観測領域５の重みパラメータα０を表している。この重みパラメータα０は、色分布特徴量とＨＯＧ特徴量による認識の割合が規定され、両者の認識割合の合計は１である。例えば、重みパラメータα０が０．４である場合、色分布特徴量による認識の割合が０．４、ＨＯＧ特徴量による認識の割合が０．６となる。
このため、重みパラメータα０の値は０から１の範囲とすることが可能であるが、本実施形態では、０．２から０．７５の範囲となっている。
なお、重みパラメータαｉの取り得る範囲は、追跡対象の種類や大きさ特徴的な形状などによって変更するようにしてもよい。

【0056】

横軸は、追跡対象を撮影した動画のフレーム番号を表しており、時間の推移を示している。
実験では、大型建築物の構内で対象者３を歩行させ、その後を追いながら対象者３をカメラ１で撮影した。
対象者３は、周囲から目立つ赤い服を着ており、図４（ｂ）に示した照明の明るい地点３１から、図４（ｃ）に示した影の多い薄暗い地点３２に向けて進んだ。

【0057】

地点３１では、環境が明るく色がよく観察できるため、色分布特徴量による認識が優位と考えられる。
一方、地点３２では、環境が暗く、色による識別が困難なため、明暗の変化に対して強いＨＯＧ特徴量が優位になると考えられる。

【0058】

実験結果は、グラフに示したように、地点３１では、α０が０．４程度で色分布特徴量による認識が優位となっているが、対象者３が暗がりに向かって進むにつれてα０の値が徐々に上昇してＨＯＧ特徴量による認識の割合が増えていき、地点３２では、α０が０．７程度になった。
この実験により、環境に応じたＨＯＧ特徴量と色分布特徴量のシーンに応じた役割分担がねらい通りに機能していることが確認できた。
部分観測領域６ａ、６ｂ、・・・におけるパラメータα１、α２、・・・も同様である。

【0059】

以上に説明した第１実施の形態により、次のような効果を得ることができる。
（１）ＨＯＧ特徴量と色分布特徴量を組合せ、状況に応じてこれらの重み付けを変化させることにより、状況変化に対して頑健（ロバスト）な画像認識を行うことができる。
（２）重みパラメータαｉを状態ベクトルに含めることにより、パーティクルフィルタ手法を用いて最適な値を動的に推定することができる。
（３）状況の変化に対して頑健性を有するため、画像認識装置２をロボットや車両などの移動体に搭載し、移動体周辺の追跡対象を移動しながら追跡したり、あるいは、移動体に接近する対象を避けたりすることが可能となる。

【0060】

（第２実施形態）
本実施の形態では、対象者３の部分隠れに対する頑健性を向上させる。
対象者３の追跡中に、他の歩行者や障害物などの遮蔽物が観測領域に侵入し、これによって尤度が低下して追跡が破綻する場合がある。
そこで、第２実施形態では、図１０の式（５）に示したように、各観測領域の相関係数Ｒ（ｘｉ）を重みパラメータＷｉで重み付けし、隠れが生じている観測領域の寄与度を低く調節する。

【0061】

図１０の式（５）のＷｉは、ｉ番目の観測領域に対する重みパラメータであり、０から１までの値をとる。
具体的には、Ｗ０は、全体観測領域５の重みパラメータである。また、Ｗ１、Ｗ２、・・・は、部分観測領域６ａ、６ｂ、・・・の重みパラメータである。
重みパラメータＷｉの値は、基本的に全数探索で決定するが、対象者３の一部分が隠れる場合、時系列的に徐々に隠れていく。
これにより、重みパラメータＷｉの値は、前時刻の値とそれほど差がないと考えられるので、その付近を中心に探索する。
そこで、重みパラメータＷｉを状態ベクトルにＸｓに含めて、Ｘｓ＝（（ｘ、ｙ）、大きさ、（ｄｘｊ、ｄｙｊ）、αｉ、Ｗｉ）とし、パーティクルフィルタ手法により探索する。

【0062】

このように、画像認識装置２は、全体観測領域５、及び部分観測領域６ごとの領域相関係数Ｒ（ｘｉ）に、一時刻前の画像で追跡対象の検出に用いた重みに基づいて重みを設定する重み設定手段を備えており、尤度取得手段は、当該重みも変化させながら、尤度を繰り返し取得する。

【0063】

重みパラメータＷｉの推定方法の基本は、上記の通りであるが、更なる性能の向上を図るため、画像認識装置２は、Ｒ（ｘｉ）の値が所定の閾値より小さい場合は、その観測領域で隠れが生じていると判断して重みパラメータＷｉ＝０とする。
これは、Ｒ（ｘｉ）は、−１から１までの値を取るが、隠れが生じた場合、Ｒ（ｘｉ）は、−１に近い値となるため、尤度Ｌ（ｘ）から大きく減算されて検出が不安定になるのを抑制するためである。

【0064】

そこで、画像認識装置２は、Ｒ（ｘｉ）が所定の閾値を下回った場合は重みパラメータＷｉを０とする補正を行うことにした。閾値は、実験によって求めればよいが、ここでは、一例として、Ｒ（ｘｉ）が負の場合に重みパラメータＷｉ＝０とする。
これにより、隠れが生じている観測領域を尤度計算から切り離し、対象者３を認識している観測領域によって対象者３を認識することができる。
このように、尤度取得手段は、領域相関係数Ｒ（ｘｉ）が所定の閾値を下回る場合は、当該領域相関係数を除外して尤度を取得する。

【0065】

図５（ａ）は、隠れが生じていない場合の重みパラメータＷｉを示した例である。
対象者３は、歩行者２００と共に歩行しているが、両者は、カメラ１の視界で重なっていない。
この場合、全体観測領域５と部分観測領域６には隠れが生じていないため、Ｗ０〜Ｗ６は、何れも１．０となる。

【0066】

図５（ｂ）は、隠れが生じている場合の重みパラメータＷｉを示した例である。
対象者３の一部が歩行者２００と重なり、隠れが生じている。
部分観測領域６ｂ、６ｃは、隠れが殆どないため、Ｗ２、Ｗ３＝１．０となっている。
部分観測領域６ａ、６ｄは、隠れが軽微なため、Ｗ４＝０．８、Ｗ４＝０．９となっている。

【0067】

全体観測領域５と、部分観測領域６ｅは、半分ほど隠れているため、Ｗ０＝０．７、Ｗ５＝０．６となっている。
部分観測領域６ｆは、殆ど隠れてしまってＲ（ｘ６）が負となるため、Ｗ６＝０．０とし、尤度Ｌ（ｘ）の計算から部分観測領域６ｆを分離する。

【0068】

以上に説明した第２実施形態により、次のような効果を得ることができる。
（１）観測領域の組合せにおいて、尤度計算に寄与する最適な値に重み付けを各観測領域に対して設定することができる。
（２）重みパラメータＷｉを状態ベクトルに含めることにより、パーティクルフィルタ手法を用いて最適な値を動的に推定することができる。
（３）隠れを含むような尤度の低下に繋がる観測領域の重みパラメータＷｉが小さくなり、隠れによるノイズを低減した尤度計算が可能になる。
（４）隠れが大きい観測領域に関しては、これを尤度の計算から切り離すことができ、対象者３を観測している観測領域によって適切な尤度を得ることができる。
（５）対象者３に部分的な隠れが発生しても追跡を継続することができるため、人の往来や交通の激しい場所でも対象者３を追跡することができる。

【0069】

（第３実施形態）
本実施の形態では、重みパラメータＷｉに基づいて尤度の信頼性を評価し、これを尤度に反映させる。
例えば、重みパラメータ（Ｗ０、Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５、Ｗ６）が（１．０、１．０、１．０、１．０、１．０、１．０、１．０）の場合の尤度と、（０．４，１．０、０．３、０．２、０．１、０．０、０．０）の場合の尤度が同じだったとする。

【0070】

この場合、重みパラメータＷｉの値が全体的に大きい前者の方が対象者３を全体的に観察しているため、信頼性が高いと考えられる。
即ち、一部の局所領域に偏った観測では、部分的に類似した特徴を持つ物体を誤って追跡する可能性が高くなるため、より多くの観測結果を反映した尤度の方が信頼できると考えられる。

【0071】

そこで、本実施の形態では、重みパラメータＷｉの総和によって信頼性（信頼度）を評価する信頼性因子を図１０の式（６）の項（６ａ）で定義し、これを尤度Ｌ（ｘ）に乗じることにより、信頼性が低い場合は、尤度が小さく補正されるようにした。

【0072】

項（６ａ）は、重みパラメータＷｉの和をｎ＋１で除して正規化されており、信頼性が低いほど０に近い値をとり、信頼性が高いほど１に近い値をとる。
γ乗するのは、所謂ガンマ補正であり、総和が尤度計算に与える影響力の特性を調節するパラメータである。

【0073】

例えば、γが２の平方根（ルート２）の場合は、０付近での立ち上がりが大きく、１に近づくにつれて緩やかに変化し、γが２の場合は、０付近での立ち上がりが小さく１に近づくにつれて急激に変化する。最適なγは、実験により決定される。

【0074】

図１０の式（６）により、信頼性が低いほど（重みパラメータＷｉの総和が小さいほど）尤度Ｌ（ｘ）は、小さく補正される。
これにより、極端に信頼性の低い観測領域の組を探索対象から除外することができる。
このように、画像認識装置２は、重みパラメータＷｉの総和が小さい全体観測領域５と部分観測領域６の組ほど尤度を小さく補正する尤度補正手段を備えている。

【0075】

第３実施の形態によって、次のような効果を得ることができる。
（１）重みパラメータＷｉの総和に基づいた重みによる信頼性因子によって、尤度の信頼性を尤度計算に反映させることができる。
（２）尤度分布を得る際に、信頼性の低い観測領域の組を淘汰し、信頼性の高い観測領域の組を生き残らせることができる。
（３）観測する領域が一部分に極端に偏った観測領域の組を選択的に無視し、全体的にバランスよく観測している組を優遇することにより、できるだけ多くの全体観測領域５と部分観測領域６による観測結果を尤度計算に反映させることができる。
（４）γ補正によって感度を調節することができる。

【0076】

（第４実施形態）
本実施の形態では、ＨＯＧ特徴量と色分布特徴量の何れかに偏った尤度計算に対して負荷を与え、両者をバランスよく用いたものの尤度を大きくする。
ＨＯＧ特徴量、あるいは色分布特徴量の一方に極端に偏った尤度も信頼性が低いと言えるが、これを是正するために、本実施の形態では、図１０の式（６）に式（７）を乗じる。
先に説明した項（６ａ）は、重みパラメータＷｉの極端な偏りに起因する信頼性の低下を評価する信頼性因子であったが、式（７）は、αｉの極端な偏りに起因する信頼性の低下を評価する信頼性因子である。

【0077】

ｍａｘは、αｉの取りうる最大値であって、ここでは、０．７５に設定されている。ｕ乗、ｖ乗するのは、ガンマ補正であり、αｉの偏りが尤度計算に与える影響力の特性を調節するパラメータである。
図１０の式（７）は、本願発明者によって経験的に得られたものであり、各観測領域のαｉが０．５に近いほど１に近くなり、０．５から離れるほど小さくなる。

【0078】

即ち、ＨＯＧ特徴量と色分布特徴量のバランスが等しいときに１となり、バランスが崩れるほど０に近づく。
そのため、ＨＯＧ特徴量と色分布特徴量のバランスが悪いものほど尤度が低く補正される。
図１０の式（７）は、式（１）や式（５）に乗じることもできる。
このように、画像認識装置２は、割合設定手段が設定する割合αｉが一方に偏るほど尤度が小さくなるように補正を行う偏り補正手段を備えている。

【0079】

第４実施形態により、次のような効果を得ることができる。
（１）ＨＯＧ特徴量と色分布特徴量を同じ程度バランスよく用いている傾向のある観測領域の組ほど組合せの試行で生き残り易い。
（２）何れかの画像特徴量に偏りすぎて誤認識する可能性を低減することができる。
（３）αｉは、前時刻でのαｉの付近で探索するため、αｉの極端な偏りが一度発生すると、それが後続のαｉに影響するが、後続のαｉが不適切なαｉに引きずられるのを抑制することができる。

【0080】

（第５実施形態）
本実施の形態では、追跡が破綻した場合に、状態遷移モデルを切り替えることにより追跡対象を発見して追跡を再開する。
図６（ａ）は、画像認識装置２が対象者３を認識し、全体観測領域５と図示しない部分観測領域６によって対象者３を追跡しているところを示している。
図６（ｂ）は、追跡中に対象者３が歩行者２００の前に回り込んでカメラ１の視界から消えたところを示している。
対象者３がカメラ１の画像から消えると、各観測領域の相関係数が次々に低下し、追跡が破綻する。

【0081】

画像認識装置２は、各観測領域の相関係数Ｒ（ｘｉ）や重みパラメータＷｉの変化から追跡破綻を検出する。
例えば、画像認識装置２は、尤度Ｌ（ｘ）が所定の閾値Ｔｈ１を下回った場合、あるいは、重みパラメータＷｉの合計が所定の閾値Ｔｈ２を下回った場合に、追跡が破綻したと判断する。
前者の条件では、相関係数Ｒ（ｘｉ）が著しく高い観測領域がある場合には、これによって追跡が可能となる。
後者の条件では、大半の観測領域が隠れた場合はノイズが多いため追跡を中断する。
このように追跡が破綻した判断すると、画像認識装置２は、状態遷移モデルを次のように切り替えて探索範囲を広げ、対象者３の発見に努める。
まず、観測領域の座標と観測領域の大きさなどについては、正規性白色雑音の分散値を追跡時よりも大きく設定する。これにより、追跡が破綻している間に状態が大きく変化する対象者３を観測しやすくなる。
なお、分散値を時間の関数とし、対象者３を見失っている時間が長いほど探索範囲を広げるように時間と共に広げてもよい。

【0082】

重みパラメータαｉと重みパラメータＷｉについては、追跡時は、それぞれ、前時刻の値を中心とするガウス分布にて遷移後の値を推測していたが、破綻後は、これらの値がどのような値になるか不明であるため、これらを乱数（ランダム）として前時刻の状態を考慮しない遷移を行う。
対象者３の全体が隠れた状態が解消するときには、どの観測領域から観測可能になるか分からないため、乱数による予測であらゆる状態を考慮するものである。

【0083】

また、追跡時は、状態遷移→観測→複製、のサイクルを繰り返していたが、破綻時は、状態遷移→観測、のサイクルを繰り返す。
画像認識装置２は、図６（ｃ）に示したように、対象者３を発見すると、再び全体観測領域５と図示しない部分観測領域６を設定して追跡を再開する。
このように、割合設定手段と重み設定手段は、追跡対象の検出に失敗した場合に、それぞれ割合と重みを一時刻前の画像とは無関係な任意の値に設定している。

【0084】

第５実施形態により、次のような効果を得ることができる。
（１）対象者３の全身、あるいは大部分が隠れることによって追跡が破綻した場合でも、対象者３が現れ始めた際に、速やかに復帰することができる。
（２）追跡時の状態遷移モデルと、追跡破綻時の状態遷移モデルを用意し、追跡状況に応じて、使用する状態遷移モデルを切り替えることができる。
（３）追跡破綻時の状態遷移モデルでは、位置などに関しては破綻時の位置を基準に探索範囲を広げ、重みパラメータαｉ、重みパラメータＷｉに関してはランダムに変化させるなど、対象者３の発見に適した値を設定することができる。
（４）追跡が破綻した場合でも復帰するためのモードが用意されているため、人や車両の往来が激しい場所でも使用に耐えることができる。

【0085】

図７は、画像認識装置２のハードウェア構成を説明するための図である。この構成は、第１実施形態〜第５実施形態に対して共通である。
画像認識装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３、撮影装置２４、記憶装置２５、入力装置２６、出力装置２７、インターフェース２８などバスラインで接続されて構成されている。

【0086】

ＣＰＵ２１は、記憶装置２５に記憶された画像認識プログラムに従って画像認識処理を行うほか、画像認識装置２の各部の制御などを行う。
より詳細には、ＣＰＵ２１は、撮影装置２４から入力される画像４に対して観測領域を設定して対象者３を認識し、追跡する。

【0087】

ＲＯＭ２２は、ＣＰＵ２１が画像認識装置２を動作させるための基本的なプログラムやパラメータなどを記憶した読み取り専用のメモリである。
ＲＡＭ２３は、ＣＰＵ２１が上記処理を行うためのワーキングメモリを提供する読み書きが可能なメモリである。
撮影装置２４から入力された画像４は、ＲＡＭ２３に展開されてＣＰＵ２１により利用される。

【0088】

撮影装置２４は、被写体を投影する光学系と、投影された投影像を電気信号に変換する撮像面を用いて構成されており、画像４をフレームとする動画データを生成して出力する。
また、撮影装置２４は、マイクロフォンも備えており、これで音声を検出して、音声の含まれた動画データを生成する。

【0089】

記憶装置２５は、例えば、ハードディスクや半導体メモリなどの記憶媒体を用いた記憶装置であり、ＣＰＵ２１に上記の画像認識処理を行わせるための画像認識プログラムなどを記憶している。
また、記憶装置２５は、撮影した動画データを記憶するデータ記憶部も備えている。

【0090】

入力装置２６は、画像認識装置２に各種の情報を入力する装置であり、ユーザが画像認識装置２を操作するための操作ボタンなどの入力デバイスで構成されている。
出力装置２７は、画像認識装置２が各種の情報を出力する装置であり、例えば、操作画面や、撮影中・撮影済みの動画を表示する液晶ディスプレイなどの出力デバイスで構成されている。
インターフェース２８は、画像認識装置２を外部機器に接続するインターフェースであって、例えば、インターフェース２８を介して画像認識装置２をロボットや車両、あるいは、パーソナルコンピュータに接続し、動画データや追跡データを転送するのに用いられる。

【0091】

図８は、第５実施形態の画像認識装置２が画像認識処理を行う手順を説明するためのフローチャートである。
以下の処理は、記憶装置２５に記憶した画像認識プログラムに従ってＣＰＵ２１が行うものである。
まず、画像認識装置２は、撮影装置２４から画像４を取得してＲＡＭ２３に記憶する（ステップ５）。

【0092】

次に、画像認識装置２は、状態ベクトルを構成する各状態変数（全体観測領域５の位置、全体観測領域５の大きさ、各部分観測領域６の位置、各αｉ、各重みパラメータＷｉなど）の前時刻の値に正規性白色雑音を重畳するなどして状態を遷移させる（ステップ１０）。
次に、画像認識装置２は、遷移した状態で定まる観測領域の組に対して尤度計算処理を行う（ステップ１５）。

【0093】

次に、画像認識装置２は、対象者３の探索が終了したか否かを判断する（ステップ２０）。
この判断は、例えば、パーティクルの上限であるＮ個の場合について全て探索したか否かにより判断する。

【0094】

探索が終了していない場合（ステップ２０；Ｎ）、画像認識装置２は、ステップ１０に戻って、更に状態ベクトルを遷移させて尤度計算を続行する。
一方、探索が終了した場合（ステップ２０；Ｙ）、画像認識装置２は、探索した尤度のうち、最大尤度を与える観測領域の組から対象者３を検出する（ステップ２５）。

【0095】

次に、画像認識装置２は、追跡を続行するか否かを判断する（ステップ３０）。
この判断は、例えば、ユーザが追跡終了ボタンを押すなど、所定の追跡終了操作がなされたか否かにより判断する。

【0096】

追跡を続行する場合（ステップ３０；Ｙ）、画像認識装置２は、ステップ５に戻り、動画フレームを構成する次の画像に対して同様の処理を行って対象者３を検出する。
一方、追跡を終了する場合（ステップ３０；Ｎ）、画像認識装置２は、処理を終了する。
以上のようにして、画像認識装置２は、連続する動画のフレーム画像で対象者３を連続的に検出することにより、対象者３を追跡する。

【0097】

図９は、ステップ１５の尤度計算処理を説明するための図である。
画像認識装置２は、観測領域を識別するパラメータｉを０に初期化する（ステップ１０５）。
ここでは、部分観測領域６が６個あるものとする。そのため、ｉ＝０は、全体観測領域５に対応し、ｉ＝１〜６は、部分観測領域６ａ〜６ｆに対応する。

【0098】

次に、画像認識装置２は、ｉ番目の観測領域の画像を取得する（ステップ１１０）。例えば、ｉ＝０の場合は、全体観測領域５の画像を取得する。
そして、画像認識装置２は、ｉ番目の観測領域の画像からＨＯＧ特徴量φ（ｘｉ）を取得し（ステップ１１５）、図１０の式（２）の項（２ａ）によりＨＯＧ特徴量の相関係数を計算する（ステップ１２０）。

【0099】

次に、画像認識装置２は、ｉ番目の観測領域の画像から色分布特徴量ｑｉを取得し（ステップ１２５）、式（２）の項（２ｂ）により色分布特徴量の相関係数を計算する（ステップ１３０）。
次に、画像認識装置２は、両相関係数を重みパラメータαｉに基づく割合で加算し、式（２）のＲ（ｘｉ）を計算する（ステップ１３５）。

【0100】

次に、画像認識装置２は、Ｒ（ｘｉ）に重みパラメータＷｉを乗じてＲ（ｘｉ）の重みを補正する（ステップ１４０）。
次に、画像認識装置２は、ｉを１だけインクリメントし（ステップ１４５）、ｉが６より大きいか否かを判断する（ステップ１５０）。
ｉが６以下の場合は（ステップ１５０；Ｎ）、まだ未処理の部分観測領域６があるため、ステップ１１０に戻って、次の部分観測領域６について処理する。

【0101】

一方、ｉが６より大きい場合は（ステップ１５０；Ｙ）、全体観測領域５と全ての部分観測領域６について相関係数を計算したので、図１０の式（１）の項（１ｂ）によって各部分観測領域６についてのペナルティを計算し、その合計をＲ（ｘ）から減算する（ステップ１５５）。
次に、画像認識装置２は、図１０の式（６）の項（６ａ）によって、重みパラメータＷｉの信頼性に基づいて尤度Ｌ（ｘ）を補正する（ステップ１６０）。

【0102】

更に、画像認識装置２は、図１０の式（７）によってαｉの偏りによる補正項を計算し、これをステップ１６０で計算した式（６）の値に乗じて尤度Ｌ（ｘ）を補正する（ステップ１６５）。
次に、画像認識装置２は、各種の補正を施した尤度Ｌ（ｘ）を出力する（ステップ１７０）。

【0103】

（第６実施形態）
本実施の形態では、画像認識装置２を備えたカメラ１を移動体に搭載する。
カメラ１は、環境変化に対して頑健に対象を追跡できるため、移動体に搭載して様々な環境の中を移動しながら対象を追跡することができる。
例えば、移動体が車両の場合は、カメラ１を車両前方に設置し、車両の前景を撮影する。
これにより、車両は、カメラ１の映像から前方を走行する他車両を追跡することにより、当該他車両に追随して所謂コンボイ走行を行ったり、前方を移動する車両や歩行者の追跡軌跡から衝突の危険を判断した場合には、ブレーキを作動させたり、走行方向を変えて回避動作を行ったりなどする。このように、画像認識装置２は、自動運転技術やその他の技術に応用することができる。

【0104】

また、移動体がロボットの場合は、ロボットの目として利用し、例えば、家庭でサービスを提供したり（例えば、荷物を持って主人の後を追跡する）、動いている対象を追跡しながらロボットアームでこれを把持したり、家畜を追跡しながら誘導したりなど、民生分野、工業分野、農業分野など、産業の各分野で用いることができる。
このように、本実施の形態では、画像認識装置２を用いて対象を検出する検出手段と、検出した対象に対して所定の位置に移動する移動手段と、を備えた移動体装置を提供することができる。

【0105】

以上に説明した実施の形態は、一例であって、各種の変形が可能である。
（１）画像認識装置２は、一例として２つの画像特徴要素（ＨＯＧ特徴量と色分布特徴量）の組合せを用いて画像認識するが、これに限定するものではなく、他の画像特徴要素を用いてもよく、また、３個以上の画像特徴要素を組合せてもよい。
例えば、３種類組合せる場合は、第１の特徴量、第２の特徴量、第３の特徴量をαｉ、βｉ、１−αｉ−βｉの割合で加算する。ただし、０＜αｉ、βｉ＜１、及びαｉ＋βｉ＜１である。全特徴要素を最低でもある割合で必ず含めるために、更にαｉ、βｉの値を制限してもよい。
ＨＯＧ特徴要素、色分布特徴要素の他の画像特徴要素を使用できる。

【0106】

（２）画像認識装置２は、一例として、ＨＯＧ特徴量の相関係数と色分布特徴量の割合αｉによる線形和で相関係数Ｒ（ｘｉ）を計算したが、これは、Ｒ（ｘｉ）の計算方法を限定するものではなく、ＨＯＧ特徴量、色分布特徴量、αｉの組合せから任意の計算方法によって算出するものとしてよい。

【0107】

（３）画像認識装置２は、全体観測領域５と複数の部分観測領域６の組合せによって対象者３を検出するが、本実施の形態の特徴である複数種類の画像特徴データを組合せて対象を認識する技術は、単一の検出窓にて対象を認識するシステムに適用することもできる。

【符号の説明】

【0108】

１ カメラ
２ 画像認識装置
３ 対象者
４ 画像
５ 全体観測領域
６ 部分観測領域
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 撮影装置
２５ 記憶装置
２６ 入力装置
２７ 出力装置
２８ インターフェース
３１、３２ 地点
１０１ 画像
１０２ セル
１０６、１０７ ヒストグラム
１０９、１１０、１１１、１２３、１２４、１２５ ベクトル
１２１、１２２ ヒストグラム
２００ 歩行者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】