知財求人 - 知財ポータルサイト「IP Force」
▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6043293
(24)【登録日】2016年11月18日
(45)【発行日】2016年12月14日
(54)【発明の名称】画像処理装置、撮像装置および画像処理方法
(51)【国際特許分類】
G06T 7/20 20060101AFI20161206BHJP
H04N 5/232 20060101ALI20161206BHJP
【ＦＩ】
G06T7/20 B
H04N5/232 C
【請求項の数】14
【全頁数】26
(21)【出願番号】特願2013-537721(P2013-537721)
(86)(22)【出願日】2013年3月8日
(86)【国際出願番号】JP2013001516
(87)【国際公開番号】WO2013145589
(87)【国際公開日】20131003
【審査請求日】2015年6月30日
(31)【優先権主張番号】特願2012-70318(P2012-70318)
(32)【優先日】2012年3月26日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】石井 育規
【審査官】
村松 貴士
(56)【参考文献】
【文献】
特開２０１２−０４４４２８（ＪＰ，Ａ）
【文献】
国際公開第２０１１／１１３４４４（ＷＯ，Ａ１）
【文献】
特開２００５−３０９７４６（ＪＰ，Ａ）
【文献】
特開２０１１−１３４１１７（ＪＰ，Ａ）
【文献】
特開２０１０−０６７２５２（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／２０
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
第１画像に含まれる対象物体を前記第１画像よりも後に撮影された第３画像において追尾する画像処理装置であって、
画素値の類似性に基づいて、前記第１画像および前記第３画像の各々を複数のセグメントに分割するセグメンテーション部と、
前記第１画像における前記対象物体の位置を指示する指示部と、
指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定部と、
前記基準領域から第１特徴を示す特徴量を対象物体特徴量として抽出する抽出部と、
前記第３画像と異なる時刻に撮影された第２画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第３画像内の特徴点の位置との関係に基づいて、前記第３画像内に対象領域を設定する対象領域設定部と、
前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第３画像において前記対象物体を追尾する追尾部とを備え、
前記第２画像は、前記第１画像、または、前記追尾部において前記対象物体に対応するセグメントを含む領域かつ当該セグメントからなる領域よりも大きな領域を前記特徴領域として設定される画像である
画像処理装置。
画素値の類似性に基づいて、前記第１画像および前記第３画像の各々を複数のセグメントに分割するセグメンテーション部と、
前記第１画像における前記対象物体の位置を指示する指示部と、
指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定部と、
前記基準領域から第１特徴を示す特徴量を対象物体特徴量として抽出する抽出部と、
前記第３画像と異なる時刻に撮影された第２画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第３画像内の特徴点の位置との関係に基づいて、前記第３画像内に対象領域を設定する対象領域設定部と、
前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第３画像において前記対象物体を追尾する追尾部とを備え、
前記第２画像は、前記第１画像、または、前記追尾部において前記対象物体に対応するセグメントを含む領域かつ当該セグメントからなる領域よりも大きな領域を前記特徴領域として設定される画像である
画像処理装置。
【請求項2】
前記対象領域設定部は、前記基準領域を含む領域であってかつ前記基準領域よりも大きな領域を、前記特徴領域として設定する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記対象領域設定部は、前記第１特徴とは異なる第２特徴を示す特徴量に基づいて、前記第２画像内の特徴領域から抽出された特徴点に対応する前記第３画像内の特徴点を検出し、検出された前記第３画像内の特徴点と前記特徴領域から抽出された特徴点とから得られる動きベクトルに前記対象領域の位置が依存するように前記対象領域を設定する
請求項１または２に記載の画像処理装置。
請求項１または２に記載の画像処理装置。
【請求項4】
前記対象領域設定部は、前記第１特徴とは異なる第２特徴を示す特徴量に基づいて、前記特徴領域から抽出された複数の前記特徴点に対応する前記第３画像内の複数の特徴点を検出し、前記第２画像内の特徴領域から抽出された複数の特徴点間の距離に対する、検出された前記第３画像内の複数の特徴点間の距離の変化度に前記対象領域のサイズが依存するように前記対象領域を設定する
請求項１〜３のいずれか１項に記載の画像処理装置。
請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項5】
前記特徴領域は、前記対象物体に対応するセグメントを含む領域であって、かつ、前記対象物体に対応するセグメントからなる領域よりも大きな領域である
請求項１〜４のいずれか１項に記載の画像処理装置。
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項6】
前記セグメンテーション部は、前記第３画像のうちの前記対象領域のみを複数のセグメントに分割する
請求項１〜５のいずれか１項に記載の画像処理装置。
請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項7】
前記抽出部は、前記基準領域に複数のセグメントが含まれる場合、前記複数のセグメントから抽出される複数の特徴量の代表値を前記対象物体特徴量として抽出する
請求項１〜６のいずれか１項に記載の画像処理装置。
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項8】
前記抽出部は、さらに、前記基準領域外の領域から前記第１特徴を示す特徴量を非対象物体特徴量として抽出し、
前記追尾部は、前記対象領域に含まれる各セグメントから抽出される前記第１特徴を示す特徴量が、前記対象物体特徴量および前記非対象物体特徴量のいずれに類似するか判別することにより、前記各セグメントが前記対象物体に対応するセグメントであるか否かを判定する
請求項１〜７のいずれか１項に記載の画像処理装置。
前記追尾部は、前記対象領域に含まれる各セグメントから抽出される前記第１特徴を示す特徴量が、前記対象物体特徴量および前記非対象物体特徴量のいずれに類似するか判別することにより、前記各セグメントが前記対象物体に対応するセグメントであるか否かを判定する
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項9】
前記抽出部は、前記基準領域外の領域に複数のセグメントが含まれる場合、前記複数のセグメントから抽出される複数の特徴量の代表値を前記非対象物体特徴量として抽出する
請求項８に記載の画像処理装置。
請求項８に記載の画像処理装置。
【請求項10】
前記第１画像、前記第２画像および前記第３画像は、動画像に含まれる
請求項１〜９のいずれか１項に記載の画像処理装置。
請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項11】
前記画像処理装置は、集積回路として構成されている
請求項１〜１０のいずれか１項に記載の画像処理装置。
請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項12】
請求項１〜１１のいずれか１項に記載の画像処理装置と、
前記第１画像、前記第２画像および前記第３画像を撮影する撮像部とを備える
撮像装置。
前記第１画像、前記第２画像および前記第３画像を撮影する撮像部とを備える
撮像装置。
【請求項13】
第１画像に含まれる対象物体を前記第１画像よりも後に撮影された第３画像において追尾する画像処理方法であって、
画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割する第１セグメンテーションステップと、
前記第１画像における前記対象物体の位置を指示する指示ステップと、
指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定ステップと、
前記基準領域から第１特徴を示す特徴量を対象物体特徴量として抽出する抽出ステップと、
前記第３画像と異なる時刻に撮影された第２画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第３画像内の特徴点の位置との関係に基づいて、前記第３画像内に対象領域を設定する対象領域設定ステップと、
画素値の類似性に基づいて、前記第３画像を複数のセグメントに分割する第２セグメンテーションステップと、
前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第３画像において前記対象物体を追尾する追尾ステップとを含み、
前記第２画像は、前記第１画像、または、前記追尾ステップにおいて前記対象物体に対応するセグメントを含む領域かつ当該セグメントからなる領域よりも大きな領域を前記特徴領域として設定される画像である
画像処理方法。
画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割する第１セグメンテーションステップと、
前記第１画像における前記対象物体の位置を指示する指示ステップと、
指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定ステップと、
前記基準領域から第１特徴を示す特徴量を対象物体特徴量として抽出する抽出ステップと、
前記第３画像と異なる時刻に撮影された第２画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第３画像内の特徴点の位置との関係に基づいて、前記第３画像内に対象領域を設定する対象領域設定ステップと、
画素値の類似性に基づいて、前記第３画像を複数のセグメントに分割する第２セグメンテーションステップと、
前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第３画像において前記対象物体を追尾する追尾ステップとを含み、
前記第２画像は、前記第１画像、または、前記追尾ステップにおいて前記対象物体に対応するセグメントを含む領域かつ当該セグメントからなる領域よりも大きな領域を前記特徴領域として設定される画像である
画像処理方法。
【請求項14】
請求項１３に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、第１画像に含まれる対象物体を第１画像よりも後に撮影された第３画像において追尾する画像処理装置、撮像装置および画像処理方法に関する。【背景技術】
【0002】
表示部に表示されている画像に含まれる対象物体を自動で追尾する技術が提案されている（例えば、特許文献１を参照）。【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２００９／１２５５９６号
【特許文献2】特開２０１０−１５７９２７号公報
【非特許文献】
【0004】
【非特許文献1】Distinctive Image Features From Scale-Invariant Keypoints, David G.Lowe, International Journal of Computer Vision, 2004, Springer
【非特許文献2】Speeded Up Robust Features, Herbert Bay, Tinne Tuytelaars, ECCV 2006, Springer
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の技術では、さらに高精度に対象物体を追尾することが求められていた。【0006】
そこで、本発明の目的は、高精度に対象物体を追尾することができる画像処理装置、撮像装置および画像処理方法を提供することである。【課題を解決するための手段】
【0007】
本発明の一態様に係る画像処理装置は、第１画像に含まれる対象物体を前記第１画像よりも後に撮影された第３画像において追尾する画像処理装置であって、画素値の類似性に基づいて、前記第１画像および前記第３画像の各々を複数のセグメントに分割するセグメンテーション部と、前記第１画像における前記対象物体の位置を指示する指示部と、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定部と、前記基準領域から第１特徴を示す特徴量を対象物体特徴量として抽出する抽出部と、前記第３画像と異なる時刻に撮影された第２画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第３画像内の特徴点の位置との関係に基づいて、前記第３画像内に対象領域を設定する対象領域設定部と、前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第３画像において前記対象物体を追尾する追尾部とを備え、前記第２画像は、前記第１画像、または、前記追尾部において前記対象物体に対応するセグメントを含む領域かつ当該セグメントからなる領域よりも大きな領域を前記特徴領域として設定される画像である。
【0008】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。【発明の効果】
【0009】
本発明の一態様によれば、高精度に対象物体を追尾することができる。【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
（本発明の基礎となった知見）リアルタイムに画像を表示するタッチスクリーンを備えるカメラ（デジタルスチルカメラまたはデジタルビデオカメラなど）が広く普及している。ユーザは、タッチスクリーンに表示された画像を確認しながら、写真あるいはビデオを撮影することができる。また、ユーザは、タッチスクリーンをタッチすることにより、タッチスクリーンに表示された画像内の注目している物体（対象物体）の位置を指示することができる。
【0012】
注目している物体の位置が指示された場合、カメラは、当該位置の周辺領域から抽出される特徴量を利用して、オートフォーカス（ＡＦ：Ａｕｔｏｆｏｃｕｓ）あるいは自動露出（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）などを実行する。その結果、カメラは、ユーザが注目している物体に適した写真あるいはビデオを撮影することできる。【0013】
ここで、例えばＡＦが実行された後に対象物体あるいはカメラが動いた場合、対象物体に合っていた焦点がずれてしまう。そこで、タッチスクリーンなどに表示されている画像に含まれる対象物体を自動で追尾する方法が提案されている（例えば、特許文献１を参照）。【0014】
このように追尾された対象物体の領域から抽出される特徴量を利用して、再度ＡＦを実行することにより、カメラは、対象物体あるいはカメラが動いた場合であっても、自動で対象物体にピントを合わせることができる。【0015】
しかしながら、特許文献１の方法では、特徴量が抽出される領域が予め定められた形状（矩形あるいは楕円形など）であるため、対象物体の形状が予め定められた形状と異なる場合に、カメラは対象物体の特徴量を適切に抽出することができない。その結果、カメラは、対象物体を正しく追尾することができない。【0016】
また、特許文献２の方法では、対象物体の追尾位置がずれたときに追尾位置を補正する方法が開示されている。しかしながら、特許文献２の方法では、対象物体の形状の変化が大きい場合に追尾位置を補正することが難しい。【0017】
そこで、本発明の一態様に係る画像処理装置は、第１画像に含まれる対象物体を前記第１画像よりも後に撮影された第３画像において追尾する画像処理装置であって、画素値の類似性に基づいて、前記第１画像および前記第３画像の各々を複数のセグメントに分割するセグメンテーション部と、前記第１画像における前記対象物体の位置を指示する指示部と、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定部と、前記基準領域から第１特徴を示す特徴量を対象物体特徴量として抽出する抽出部と、前記第３画像と異なる時刻に撮影された第２画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第３画像内の特徴点の位置との関係に基づいて、前記第３画像内に対象領域を設定する対象領域設定部と、前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第３画像において前記対象物体を追尾する追尾部とを備える。【0018】
この構成によれば、画素値の類似性に基づいて第１画像を分割することにより得られる複数のセグメントを利用して基準領域を設定することができる。したがって、複雑な幾何形状を有する対象物体であっても、その複雑な幾何形状に適した形状の基準領域を設定することが可能となる。その結果、予め定められた形状の領域から特徴量を抽出する場合よりも、適切に対象物体の特徴量を抽出することができる。そして、そのように抽出された対象物体の特徴量を用いることにより、高精度に対象物体を追尾することが可能となる。【0019】
さらに、この構成によれば、対象物体特徴量を用いて、対象領域に含まれる各セグメントが対象物体に対応するセグメントであるか否かを判定することができる。したがって、基準領域内のセグメントと対象領域内のセグメントとを一対一でマッチングする場合よりも、画像内での対象物体の形状の変化に対してロバストに対象物体を追尾することができる。つまり、画像間で対象物体の形状が変化する場合であっても、高精度に対象物体を追尾することができる。また、判定処理の対象を対象領域内のセグメントに限定することができるので、処理負荷の軽減および処理速度の向上を図ることもできる。【0020】
さらに、この構成によれば、第２画像内の特徴領域から抽出された特徴点の位置と、その特徴点に対応する第３画像内の特徴点の位置との関係に基づいて、第３画像内に対象領域を設定することができる。したがって、第２画像および第３画像間で対象物体が移動した場合であっても、第２画像および第３画像間の特徴点の対応を利用して、適切にかつ簡易に対象領域を設定することができる。その結果、対象物体から離れた位置にあるセグメントが対象物体に対応するセグメントであると誤って判定されることを抑制することができる。つまり、画像間で対象物体が動いている場合であっても、高精度に対象物体を追尾することができる。【0021】
例えば、前記対象領域設定部は、前記第１特徴とは異なる第２特徴を示す特徴量に基づいて、前記第２画像内の特徴領域から抽出された特徴点に対応する前記第３画像内の特徴点を検出し、検出された前記第３画像内の特徴点と前記特徴領域から抽出された特徴点とから得られる動きベクトルに前記対象領域の位置が依存するように前記対象領域を設定してもよい。【0022】
この構成によれば、第１特徴とは異なる第２特徴を示す特徴量に基づいて検出された対応点から得られる移動ベクトルに依存する位置に対象領域を設定することができる。つまり、対象物体に対応するセグメントの判定のための特徴量と、対象領域の設定のための特徴量とで異なる特徴量を利用することができる。したがって、対象物体の特徴の変化（特に対象物体の位置の変化）に対するロバスト性を向上させることができる。【0023】
例えば、前記対象領域設定部は、前記第１特徴とは異なる第２特徴を示す特徴量に基づいて、前記特徴領域から抽出された複数の前記特徴点に対応する前記第３画像内の複数の特徴点を検出し、前記第２画像内の特徴領域から抽出された複数の特徴点間の距離に対する、検出された前記第３画像内の複数の特徴点間の距離の変化度に前記対象領域のサイズが依存するように前記対象領域を設定してもよい。【0024】
この構成によれば、第１特徴とは異なる第２特徴を示す特徴量に基づいて検出された特徴点間の画像内の距離の変化度に依存するサイズを有する対象領域を設定することができる。つまり、対象物体に対応するセグメントの判定のための特徴量と、対象領域の設定のための特徴量とで異なる特徴量を利用することができる。したがって、対象物体の特徴の変化（特に対象物体のサイズの変化）に対するロバスト性を向上させることができる。【0025】
例えば、前記特徴領域は、前記対象物体に対応するセグメントを含む領域であって、かつ、前記対象物体に対応するセグメントからなる領域よりも大きな領域であってもよい。【0026】
この構成によれば、特徴点が抽出される特徴領域を、対象物体の領域よりも大きくすることができる。一般的に、物体の境界など画素値の変化が大きい位置で、特徴的な特徴量を有する特徴点が抽出されやすい。したがって、対象物体の境界が含まれるように特徴領域を対象物体の領域より大きくすることで、対応点の検出精度を向上させることができる。【0027】
例えば、前記セグメンテーション部は、前記第３画像のうちの前記対象領域のみを複数のセグメントに分割してもよい。【0028】
この構成によれば、第３画像のうち対象領域のみをセグメンテーションすることができる。したがって、セグメンテーションのための計算量を削減することができ、処理速度を向上させることが可能となる。【0029】
例えば、前記抽出部は、前記基準領域に複数のセグメントが含まれる場合、前記複数のセグメントから抽出される複数の特徴量の代表値を前記対象物体特徴量として抽出してもよい。【0030】
この構成によれば、複数のセグメントから抽出される複数の特徴量の代表値を対象物体特徴量として抽出することができる。したがって、対象物体特徴量を用いて、対象領域に含まれる各セグメントが対象物体に対応するセグメントであるか否かを判定する際に、処理負荷の軽減あるいは処理速度の向上を図ることができる。【0031】
例えば、前記抽出部は、さらに、前記基準領域外の領域から前記第１特徴を示す特徴量を非対象物体特徴量として抽出し、前記追尾部は、前記対象領域に含まれる各セグメントから抽出される前記第１特徴を示す特徴量が、前記対象物体特徴量および前記非対象物体特徴量のいずれに類似するか判別することにより、前記各セグメントが前記対象物体に対応するセグメントであるか否かを判定してもよい。【0032】
この構成によれば、各セグメントから抽出される第１特徴を示す特徴量が、対象物体特徴量および非対象物体特徴量のいずれに類似するか判別することにより、各セグメントが対象物体に対応するセグメントであるか否かを判定することができる。したがって、対象物体特徴量のみを用いて判定が行われる場合よりも、判定精度を向上させることができ、高精度に対象物体を追尾することが可能となる。【0033】
例えば、前記抽出部は、前記基準領域外の領域に複数のセグメントが含まれる場合、前記複数のセグメントから抽出される複数の特徴量の代表値を前記非対象物体特徴量として抽出してもよい。【0034】
この構成によれば、複数のセグメントから抽出される複数の特徴量の代表値を非対象物体特徴量として抽出することができる。したがって、非対象物体特徴量を用いて、対象領域に含まれる各セグメントが対象物体に対応するセグメントであるか否かを判定する際に、処理負荷の軽減あるいは処理速度の向上を図ることができる。【0035】
例えば、前記第１画像、前記第２画像および前記第３画像は、動画像に含まれてもよい。【0036】
この構成によれば、動画像において対象物体を追尾することが可能となる。【0037】
また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記第１画像、前記第２画像および前記第３画像を撮影する撮像部とを備える。【0038】
この構成によれば、上記画像処理装置と同様の効果を奏することができる。【0039】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。【0040】
以下、本発明の一態様に係る画像処理装置および撮像装置について、図面を参照しながら具体的に説明する。【0041】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。【0042】
（実施の形態１）図１は、実施の形態１に係る画像処理装置１０の機能構成を示すブロック図である。画像処理装置１０は、第１画像に含まれる対象物体を当該第１画像よりも後に撮影された第３画像において追尾する。
【0043】
図１に示すように、本実施の形態に係る画像処理装置１０は、セグメンテーション部１１と、指示部１２と、基準領域設定部１３と、抽出部１４と、対象領域設定部１５と、追尾部１６とを備える。【0044】
セグメンテーション部１１は、画素値の類似性に基づいて、第１画像および第３画像の各々を複数のセグメントに分割する。つまり、セグメンテーション部１１は、画素値が互いに類似する画素が１つのセグメントに含まれるように、第１画像および第３画像の各々を複数のセグメントに分割する。【0045】
ここで、セグメントとは、画像内の一部の領域に相当する。また、複数のセグメントに分割する処理を、以下においてセグメンテーションともいう。【0046】
また、画素値とは、画像を構成する画素が有する値である。画素値は、例えば、画素の輝度、色、明度、色相もしくは彩度、またはそれらの組合せを示す値である。【0047】
本実施の形態では、セグメンテーション部１１は、色の類似性に基づいて、画像を複数のセグメントに分割する。例えば、セグメンテーション部１１は、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、画像を複数のセグメントに分割する。【0048】
指示部１２は、第１画像における対象物体の位置を指示する。例えば、指示部１２は、第１画像における対象物体の位置を指示するための入力を入力装置（タッチスクリーンなど）を介してユーザから受け付ける。そして、指示部１２は、受け付けた入力に基づいて、対象物体の位置を指示する。また例えば、指示部１２は、第１画像内の予め定められた位置（例えば中心位置など）を対象物体の位置として指示してもよい。また例えば、指示部１２は、第１画像において自動検出された物体（例えば、人の顔など）の位置を対象物体の位置として指示してもよい。以下において、指示部１２によって指示された位置を指示位置と呼ぶ。【0049】
基準領域設定部１３は、指示セグメントを含むセグメント集合を基準領域として設定する。指示セグメントとは、指示位置に存在するセグメントである。また、セグメント集合とは、少なくとも１つのセグメントを含む集合である。本実施の形態では、基準領域設定部１３は、指示セグメントと、当該指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合であって１つの連続した領域を形成するセグメント集合を基準領域と設定する。【0050】
なお、基準領域設定部１３は、必ずしも指示セグメントと類似セグメントとを含むセグメント集合を基準領域と設定する必要はない。例えば、基準領域設定部１３は、指示セグメントのみを含むセグメント集合を基準領域と設定しても構わない。【0051】
抽出部１４は、基準領域から第１特徴を示す特徴量を対象物体特徴量として抽出する。具体的には、抽出部１４は、基準領域に含まれるセグメントごとに、当該セグメントの特徴量を対象物体特徴量として抽出する。【0052】
ここで、第１特徴とは、画像の特徴を意味する。また、特徴量とは、画像の特徴を定量的に示す値である。【0053】
本実施の形態では、第１特徴として色に関する特徴が利用される。例えば、抽出部１４は、基準領域に含まれる各セグメントの色ヒストグラムを対象物体特徴量として抽出する。色ヒストグラムとは、予め定められた複数の色の種類の各々に対応する度数を表す。複数の色の種類は、例えば、ＨＳＶ色空間におけるＨ（色相）成分値の範囲を用いて予め定められる。【0054】
なお、複数の色の種類は、必ずしもＨＳＶ色空間におけるＨ成分値の範囲を用いて定められる必要はない。例えば、複数の色の種類は、Ｈ成分値と、Ｖ（明度）成分値およびＳ（彩度）成分値の少なくとも一方とから得られる値の範囲を用いて定められてもよい。また、複数の色の種類は、ＨＳＶ色空間における成分値ではなく、他の色空間（例えば、ＲＧＢ色空間、ＹＵＶ色空間、Ｌａｂ色空間など）における成分値を用いて定められてもよい。【0055】
また、第１特徴は、必ずしも色に関する特徴である必要はない。例えば、第１特徴は、輝度もしくは強度、またはそれらと色との組合せに関する特徴であってもよい。【0056】
抽出部１４は、さらに、基準領域外の領域から第１特徴を示す特徴量を非対象物体特徴量として抽出する。具体的には、抽出部１４は、基準領域外の領域に含まれるセグメントごとに、当該セグメントの特徴量を非対象物体特徴量として抽出する。本実施の形態では、抽出部１４は、セグメントごとに色ヒストグラムを非対象物体特徴量として抽出する。【0057】
基準領域外の領域としては、例えば、基準領域から所定距離以上離れた領域が利用される。所定距離は、基準領域の画像の特徴とある程度異なる特徴を有する領域が利用されるように設定されればよい。このように、基準領域から所定距離以上離れた領域から非対象物体特徴量が抽出されることにより、非対象物体特徴量に対象物体の特徴量が含まれることを抑制することができる。【0058】
対象領域設定部１５は、第２画像内の特徴領域から抽出された特徴点の位置と、当該特徴点に対応する第３画像内の特徴点の位置との関係に基づいて、第３画像内に対象領域を設定する。【0059】
具体的には、対象領域設定部１５は、第２特徴を示す特徴量に基づいて、第２画像内の特徴領域から抽出された複数の特徴点に対応する第３画像内の複数の特徴点を検出する。そして、対象領域設定部１５は、第２画像内の特徴領域から抽出された複数の特徴点と、検出された第３画像内の複数の特徴点とから得られる動きベクトルに対象領域の位置が依存するように、かつ、第２画像内の特徴領域から抽出された複数の特徴点間の距離に対する、検出された第３画像内の複数の特徴点間の距離の変化度に対象領域のサイズが依存するように、第３画像内に対象領域を設定する。【0060】
ここで、第２画像とは、第３画像と異なる時刻に撮影された画像である。なお、第２画像は、第１画像と一致する場合もある。例えば、第２画像および第３画像の各々は、連続して撮影された複数の画像のうちの互いに異なる任意の１枚の画像である。また例えば、第２画像および第３画像は、動画像に含まれてもよい。この場合、典型的には、第２画像は、第３画像のフレームよりも時間的に前のフレームの画像である。なお、第２画像は、第３画像の画像よりも時間的に後のフレームの画像であってもよい。【0061】
特徴領域とは、対象物体に対応する領域である。つまり、特徴領域とは、対象物体を含む領域である。具体的には、特徴領域は、例えば、対象物体の領域、または、対象物体の領域を含む領域であって、かつ、対象物体の領域よりも大きい領域である。【0062】
第２特徴とは、第１特徴とは異なる特徴である。本実施の形態では、第２特徴として形状に関する特徴が利用される。なお、第２特徴は、必ずしも形状に関する特徴である必要はない。また、第２特徴は、第１特徴と同じであってもよい。【0063】
距離の変化度とは、距離の変化の大きさを示す値である。具体的には、距離の変化度は、例えば、距離の変化割合、あるいは距離の変化量を示す。【0064】
追尾部１６は、抽出された対象物体特徴量および非対象物体特徴量を用いて、対象領域に含まれる各セグメントが対象物体に対応するセグメントであるか否かを判定することにより、第３画像において対象物体を追尾する。【0065】
ここで、対象物体に対応するセグメントとは、対象物体の画像を構成するセグメントである。以下において、対象物体に対応するセグメントを、単に、対象物体セグメントと呼ぶ。【0066】
例えば、追尾部１６は、対象領域に含まれるセグメントごとに、当該セグメントから抽出された第１特徴を示す特徴量が、対象物体特徴量および非対象物体特徴量のどちらに類似しているかを判定することにより、当該セグメントが対象物体セグメントであるか否かを判定する。【0067】
なお、本実施の形態では、上述したように、第１特徴を示す特徴量として色ヒストグラムが用いられる。追尾部１６は、対象領域に含まれるセグメントごとに、対象物体特徴量として抽出された色ヒストグラム（対象物体色ヒストグラム）および非対象物体特徴量として抽出された色ヒストグラム（非対象物体色ヒストグラム）の中から、当該セグメントから抽出された色ヒストグラムと最も類似度が高い色ヒストグラムを特定する。追尾部１６は、このように特定された色ヒストグラムが対象物体色ヒストグラムの１つである場合に、当該セグメントが対象物体セグメントであると判定する。逆に、追尾部１６は、このように特定された色ヒストグラムが非対象物体色ヒストグラムの１つである場合に、当該セグメントが対象物体セグメントでないと判定する。【0068】
ここで、２つの色ヒストグラムの類似度は、２つの色ヒストグラムの重なり度合いで表される。２つの色ヒストグラムの重なり度合いとは、２つの色ヒストグラムの各色種類において重複している度数の量を示す。【0069】
なお、２つの色ヒストグラムは、度数の和が互いに等しくなるように、それぞれ正規化された色ヒストグラムであることが好ましい。これにより、追尾部１６は、各色種類における２つ度数のうち小さい方の度数をすべての色種類について加算することにより、２つの色ヒストグラムの類似度を示す値を容易に算出することができる。【0070】
次に、以上のように構成された画像処理装置１０の処理動作を説明する。画像処理装置１０の処理動作は、大きく分けて、第１画像から特徴量を抽出するための処理と、第３画像において対象物体を追尾するための処理とに分けられる。そこで、まず、第１画像から特徴量を抽出するための処理について図面を参照しながら説明する。【0071】
図２は、実施の形態１に係る画像処理装置１０における第１画像から特徴量を抽出するための処理を示すフローチャートである。【0072】
まず、セグメンテーション部１１は、画素値の類似性に基づいて、第１画像を複数のセグメントに分割する（Ｓ１０１）。指示部１２は、第１画像における対象物体の位置を指示する（Ｓ１０２）。【0073】
基準領域設定部１３は、少なくとも指示位置に存在するセグメントを含むセグメント集合を基準領域として設定する（Ｓ１０３）。抽出部１４は、基準領域から対象物体特徴量を抽出し、基準領域外の領域から非対象物体特徴量を抽出する（Ｓ１０４）。【0074】
このように画像処理装置１０は、第１画像から対象物体特徴量と非対象物体特徴量とを抽出することができる。【0075】
なお、画像処理装置１０は、必ずしも図２に示すステップの順番で処理を行う必要はない。例えば、画像処理装置１０は、ステップＳ１０２の後にステップＳ１０１を実行しても構わない。また例えば、画像処理装置１０は、ステップＳ１０１とステップＳ１０２とを並行で実行してもよい。【0076】
以下に、このような第１画像から特徴量を抽出するための処理について図面を参照しながらさらに詳細に説明する。まず、セグメンテーション処理（Ｓ１０１）の詳細について図３〜図６を用いて説明する。なお、ここでは、セグメンテーションの一例として、ｋ平均法（ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）に基づくセグメンテーションを説明する。【0077】
図３は、実施の形態１に係るセグメンテーション部１１の処理動作の詳細を示すフローチャートである。図４および図５は、実施の形態１に係るセグメンテーション部１１の処理動作の一例を説明するための図である。図６は、実施の形態１に係るセグメンテーション結果の一例を示す図である。【0078】
図３に示すように、セグメンテーション部１１は、まず、第１画像の色空間を変換する（Ｓ２０１）。具体的には、セグメンテーション部１１は、第１画像を、ＲＧＢ色空間からＬａｂ色空間に変換する。【0079】
このＬａｂ色空間は、知覚的に均等な色空間である。つまり、Ｌａｂ色空間では、色の値が同じだけ変化したとき、人間がそれを見たときに感じられる変化も等しい。したがって、セグメンテーション部１１は、Ｌａｂ色空間において第１画像のセグメンテーションを行うことにより、人間が知覚する対象物体の境界に沿って第１画像を分割することが可能となる。【0080】
次に、セグメンテーション部１１は、ｋ個（ｋ：２以上の整数）の初期クラスタの重心を設定する（Ｓ２０２）。これらのｋ個の初期クラスタの重心は、例えば、第１画像上において均等に配置されるように設定される。ここでは、隣り合う重心間の間隔がＳ（画素）となるように、ｋ個の初期クラスタの重心が設定される。【0081】
続いて、第１画像内の各画素に対してステップＳ２０３、Ｓ２０４の処理が行われる。具体的には、セグメンテーション部１１は、各クラスタの重心に対する距離Ｄｓを算出する（Ｓ２０３）。この距離Ｄｓは、画素値および画素位置を用いて定義された類似性を示す値に相当する。ここでは、距離Ｄｓが小さいほど、クラスタの重心に対する画素の類似性が高いことを示す。【0082】
なお、図４に示すように、セグメンテーション部１１は、距離算出対象範囲内に位置する重心Ｃｋに対してのみ対象画素ｉの距離Ｄｓを算出する。ここでは、水平方向および垂直方向において、対象画素ｉの位置から初期クラスタの重心間隔Ｓ以下となる位置を距離算出対象範囲と設定する。つまり、セグメンテーション部１１は、対象画素ｉについては、重心Ｃ２、Ｃ３、Ｃ６、Ｃ７の各々に対する距離を算出する。このように、距離算出対象範囲が設定されることにより、すべての重心に対して距離を算出する場合よりも、計算負荷を軽減することが可能となる。【0083】
重心Ｃｋ（画素位置（ｘｋ，ｙｋ）、画素値（ｌｋ，ａｋ，ｂｋ））に対する対象画素ｉ（画素位置（ｘｉ，ｙｉ）、画素値（ｌｉ，ａｉ，ｂｉ））の距離Ｄｓは、以下の式１によって算出される。【0084】
【数1】
【0085】
ここで、ｍは、画素値に基づく距離ｄｌａｂと、画素位置に基づく距離ｄｘｙとが距離Ｄｓに及ぼす影響のバランスを図るための係数である。この係数ｍは、実験的あるは経験的に予め定められればよい。【0086】
次に、セグメンテーション部１１は、このように対象画素ｉの各重心に対する距離Ｄｓを用いて、対象画素ｉが所属するクラスタを決定する（Ｓ２０４）。具体的には、セグメンテーション部１１は、距離Ｄｓが最も小さい重心を有するクラスタを対象画素ｉの所属クラスタと決定する。【0087】
このようなステップＳ２０３、Ｓ２０４の処理を第１画像に含まれる画素ごとに繰り返すことにより、各画素の所属クラスタが決定される。【0088】
次に、セグメンテーション部１１は、各クラスタの重心を更新する（Ｓ２０５）。例えば、ステップＳ２０４において各画素の所属クラスタが決定された結果、図５に示すように、矩形状のクラスタが六角形状のクラスタに変化した場合に重心Ｃ６の画素値および画素位置を更新する。【0089】
具体的には、セグメンテーション部１１は、以下の式２に従って、新たな重心の画素値（ｌｋ＿ｎｅｗ，ａｋ＿ｎｅｗ、ｂｋ＿ｎｅｗ）および画素位置（ｘｋ＿ｎｅｗ，ｙｋ＿ｎｅｗ）を算出する。【0090】
【数2】
【0091】
ここで、各クラスタの重心が収束している場合（Ｓ２０６のＹｅｓ）、セグメンテーション部１１は、処理を終了する。つまり、ステップＳ２０５の更新前後において各クラスタの重心に変化がない場合に、セグメンテーション部１１は、セグメンテーションを終了する。一方、各クラスタの重心が収束していない場合（Ｓ２０６のＮｏ）、セグメンテーション部１１は、ステップＳ２０３〜Ｓ２０５の処理を繰り返す。【0092】
このように、セグメンテーション部１１は、画素値および画素位置を用いて定義された類似度に基づくクラスタリング（ここではｋ平均法）により、第１画像を複数のセグメントに分割することができる。したがって、図６に示すように、セグメンテーション部１１は、第１画像に含まれる対象物体の特徴に応じて、第１画像を複数のセグメントに分割することができる。【0093】
つまり、セグメンテーション部１１は、１つのセグメントに複数の物体が含まれないように第１画像を複数のセグメントに分割することが可能となる。その結果、セグメンテーション部１１は、セグメントの境界と物体の境界とが一致するように、第１画像を複数のセグメントに分割することができる。【0094】
なお、ｋ平均法は、比較的簡易なクラスタリングである。したがって、セグメンテーション部１１は、ｋ平均法に基づいてセグメンテーションを行うことにより、セグメンテーションのための処理負荷を軽減することができる。ただし、セグメンテーション部１１は、必ずしもｋ平均法に基づいてセグメンテーションを行う必要はない。つまり、セグメンテーション部１１は、他のクラスタリング手法に基づいてセグメンテーションを行なってもよい。例えば、セグメンテーション部１１は、平均変位法（ｍｅａｎ−ｓｈｉｆｔ ｃｌｕｓｔｅｒｉｎｇ）に基づいてセグメンテーションを行なってもよい。なお、セグメンテーション部１１は、必ずしもクラスタリング手法に基づいてセグメンテーションを行う必要はない。【0095】
次に、指示処理（Ｓ１０２）の詳細について図７を用いて説明する。【0096】
図７は、実施の形態１に係る指示部１２の処理動作の一例を説明するための図である。図７では、指示部１２は、ユーザがタッチしたタッチスクリーン上の位置を、対象物体の位置として指示する。タッチスクリーンは、例えば抵抗膜方式あるいは静電容量方式などにより、ユーザがタッチした位置を検出する。【0097】
このように、指示部１２が、ユーザがタッチしたタッチスクリーン上の位置に基づいて、対象物体の位置を指示することにより、ユーザは、タッチスクリーンをタッチするだけで容易に対象物体の位置を指示することができる。【0098】
なお、指示部１２は、タッチスクリーン上の１点を、対象物体の位置として指示してもよい。また、指示部１２は、タッチスクリーン上の軌跡に基づいて、対象物体の位置を指示してもよい。この場合、指示部１２は、タッチスクリーン上の軌跡上の複数の点を対象物体の位置として指示してもよい。また、指示部１２は、タッチスクリーン上の軌跡によって囲まれた領域を対象物体の位置として指示してもよい。【0099】
また、指示部１２は、必ずしもタッチスクリーンを介してユーザが入力した位置を取得する必要はない。例えば、指示部１２は、ユーザが操作ボタンなどを介して入力したディスプレイ上の位置を対象物体の位置として指示しても構わない。【0102】
図８に示すように、まず、基準領域設定部１３は、指示セグメントを選択する（Ｓ３０１）。続いて、基準領域設定部１３は、指示セグメントと、ステップＳ３０１またはステップＳ３０４で選択されたセグメント（以下、「選択セグメント」という）に隣接するセグメント（以下、「隣接セグメント」という）との画像の類似性を示す値（以下、「類似値」という）を算出する（Ｓ３０２）。具体的には、基準領域設定部１３は、例えば、指示セグメントの色ヒストグラムと隣接セグメントの色ヒストグラムとの重なり度合いを示す値を類似値として算出する。【0103】
類似値が閾値より大きい場合（Ｓ３０３のＹｅｓ）、基準領域設定部１３は、隣接セグメントを類似セグメントとして選択し（Ｓ３０４）、再び、ステップＳ３０２の処理に戻る。一方、類似値が閾値より小さい場合（Ｓ３０３のＮｏ）、基準領域設定部１３は、選択セグメントを含む領域を基準領域と設定する（Ｓ３０５）。つまり、基準領域設定部１３は、ステップＳ３０１およびステップＳ３０４で選択されたセグメントを基準領域と設定する。【0104】
以上のような処理を行うことで、基準領域設定部１３は、指示セグメントと、指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合を基準領域として設定することができる。例えば、図９の（ａ）に示すように対象物体の位置が指示された場合、基準領域設定部１３は、図９の（ｂ）に示すように、第１画像１００内の指示セグメントと類似セグメントとからなる領域を基準領域１０１として設定することができる。【0105】
なお、隣接セグメントが複数ある場合には、基準領域設定部１３は、隣接セグメントごとに、ステップＳ３０２〜ステップＳ３０４の処理を実行すればよい。【0106】
また、類似値は、必ずしも色ヒストグラムの重なり度合いを示す値である必要はない。例えば、類似値は、２つのセグメント間の平均色の差分を示す値であってもよい。また、類似値は、色ではなく、輝度、明度あるいは彩度の類似性を示す値であってもよい。【0107】
また、類似値は、画像の類似性に加えて、位置の類似性も示す値であってもよい。この場合、指示セグメントからの距離が大きいセグメントほど類似値が小さくなる。【0108】
次に、第３画像において対象物体を追尾するための処理について図面を参照しながら説明する。図１０は、実施の形態１に係る画像処理装置１０における対象物体を追尾するための処理を示すフローチャートである。【0109】
まず、対象領域設定部１５は、第３画像内に対象領域を設定する（Ｓ１５１）。続いて、セグメンテーション部１１は、画素値の類似性に基づいて、第３画像を複数のセグメントに分割する（Ｓ１５２）。ここでは、セグメンテーション部１１は、第３画像のうちの対象領域のみを複数のセグメントに分割する。これにより、セグメンテーション部１１は、セグメンテーションのための計算量を削減することができ、処理速度を向上させることが可能となる。なお、セグメンテーションの詳細は、図３に示した第１画像におけるセグメンテーションと同様であるので詳細な説明を省略する。【0110】
最後に、追尾部１６は、対象物体特徴量および非対象物体特徴量を用いて、対象領域に含まれる各セグメントが対象物体セグメントであるか否かを判定することにより、第３画像において対象物体を追尾する（Ｓ１５３）。【0111】
このように画像処理装置１０は、第１画像に含まれる対象物体を第３画像において追尾することができる。なお、画像処理装置１０は、第１画像より後に連続して撮影された複数の画像を時間順に第３画像として取得することにより、それらの複数の画像において対象物体を追尾することができる。【0112】
なお、画像処理装置１０は、必ずしも図１０に示すステップの順番で処理を行う必要はない。例えば、画像処理装置１０は、ステップＳ１５２の後にステップＳ１５１を実行しても構わない。また例えば、画像処理装置１０は、ステップＳ１５１とステップＳ１５２とを並行で実行してもよい。【0113】
以下に、このような第３画像において対象物体を追尾するための処理について図面を参照しながらさらに詳細に説明する。まず、対象領域設定処理（Ｓ１５１）の詳細について図１１〜図１５を用いて説明する。【0115】
図１１に示すように、まず、対象領域設定部１５は、第２画像内に特徴領域を設定する（Ｓ４０１）。ここでは、対象領域設定部１５は、例えば、第２画像において追尾部１６により判定された対象物体セグメントを含む領域であって、かつ、対象物体セグメントからなる領域よりも大きな領域を特徴領域として設定する。また例えば、第１画像と第２画像とが一致する場合には、対象領域設定部１５は、基準領域を含む領域であって、かつ、基準領域よりも大きな領域を特徴領域として設定する。【0116】
一般的に、物体の境界など画素値の変化が大きい位置で、特徴的な特徴量を有する特徴点が抽出されやすい。したがって、対象物体の境界が含まれるように特徴領域を対象物体の領域よりも大きくすることで、対応点の検出精度を向上させることができる。【0117】
なお、特徴領域は、どのような形状を有してもよいが、ここでは、特徴領域が矩形状を有する場合について説明する。例えば図１２では、対象領域設定部１５は、対象物体セグメントに外接する矩形の各辺を所定数倍した矩形で囲まれた領域を特徴領域２０１として設定している。【0118】
その後、対象領域設定部１５は、特徴領域から特徴点を抽出する（Ｓ４０２）。具体的には、対象領域設定部１５は、まず、特徴領域内の画像に対して、第２特徴を示す局所特徴量を算出する。ここでは、局所特徴量は、形状に関する特徴量であり、例えばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）あるいはＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）に従って算出される。ＳＩＦＴおよびＳＵＲＦの詳細については、非特許文献１および非特許文献２に記載されているので説明を省略する。【0119】
なお、局所特徴量は、必ずしもＳＩＦＴあるいはＳＵＲＦに従って算出される必要はないが、ＳＩＦＴあるいはＳＵＲＦのように回転あるいはサイズ変動にロバストな特徴量であることが望ましい。これにより、対象領域の設定において、対象物体の回転あるいはサイズ変動に対するロバスト性を向上させることができる。【0120】
さらに、対象領域設定部１５は、このように求められた局所特徴量に基づいて特徴領域から複数の特徴点を抽出する。つまり、対象領域設定部１５は、特徴的な局所特徴量を有する点を特徴点として抽出する。図１２では、第２画像２００の特徴領域２０１から特徴点２１１、２１２が抽出されている。【0121】
次に、対象領域設定部１５は、局所特徴量に基づいて、複数組の対応点を検出する（Ｓ４０３）。対応点とは、第２画像および第３画像間で対応する特徴点のペアを示す。つまり、対象領域設定部１５は、特徴領域から抽出された複数の特徴点に局所特徴量が類似する第３画像内の特徴点を検出する。例えば、図１２では、特徴点２１１および特徴点２１２に対応する特徴点として特徴点３１１および特徴点３１２がそれぞれ検出されている。【0123】
次に、対象領域設定部１５は、検出された複数組の対応点から動きベクトルを算出する（Ｓ４０４）。例えば、対象領域設定部１５は、複数組の対応点から得られる複数のベクトルの代表ベクトルを動きベクトルとして算出する。代表ベクトルとは、統計的な代表値（平均値、中央値、あるいは最頻値など）から得られるベクトルである。例えば図１２では、対象領域設定部１５は、特徴点２１１および特徴点３１１から得られるベクトルと、特徴点２１１および特徴点３１１から得られるベクトルとの平均ベクトルを動きベクトル（Ｍｘ，Ｍｙ）として算出する。【0124】
図１４Ａおよび図１４Ｂは、対応点の検出結果の一例を示す図である。具体的には、図１４Ａは、対象物体が並進したときの対応点の検出結果の一例を示す。また、図１４Ｂは、対象物体が縮小したときの対応点の検出結果の一例を示す。図１４Ａおよび図１４Ｂに示すように、対象物体が並進する場合でも、対象物体のサイズが変動する場合でも、対応点間をつなぐ直線は、ほぼ同一の方向を向いている。つまり、対応点を結ぶベクトルは、対象物体の動きベクトルとして推定することができる。【0125】
なお、ロバスト性を向上させるための方法として、平均値ではなく、中央値を用いて代表ベクトルが算出されても構わない。要求される処理速度および対象物体の移動速度などに応じて代表ベクトルの算出方法を変えることが望ましい。【0126】
次に、対象領域設定部１５は、特徴領域から抽出された複数の特徴点間の距離に対する、特徴領域から抽出された複数の特徴点に対応する第３画像内の複数の特徴点間の距離の変化度を算出する（Ｓ４０５）。例えば図１２では、対象領域設定部１５は、特徴点２１１および特徴点２１２間の距離（Ｄｘ１，Ｄｙ１）に対する、特徴点３１１および特徴点３１２の距離（Ｄｘ２，Ｄｙ２）の変化度（Ｄｘ２／Ｄｘ１，Ｄｙ２／Ｄｙ１）を算出する。【0127】
図１５は、実施の形態１において特徴点間の距離の変化度を算出する処理の一例を説明するための図である。【0128】
図１５に示すように、対象領域設定部１５は、第２画像内の複数の特徴点から２つの特徴点を選択する。そして、対象領域設定部１５は、選択された２つの特徴点間の水平方向の距離と垂直方向の距離とを算出する。【0129】
さらに、対象領域設定部１５は、第２画像内において選択された２つの特徴点に対応する第３画像内の２つの特徴点を選択する。そして、対象領域設定部１５は、第３画像内で選択された２つの特徴点間の水平方向の距離と垂直方向の距離とを算出する。【0130】
このとき、対象領域設定部１５は、第２画像内において算出された距離に対する第３画像内で算出された距離の比を変化度として水平方向および垂直方向のそれぞれについて算出する。【0131】
対象領域設定部１５は、このように算出された水平方向および垂直方向の変化度を、すべての特徴点の組合せから算出する。そして、対象領域設定部１５は、すべての特徴点の組合せから算出された水平方向および垂直方向の変化度の平均を複数の特徴点間の距離の変化度として算出する。ここで、対象物体の動きが線形であると仮定すると、追尾物体の水平方向および垂直方向のサイズの変化度は、算出された水平方向および垂直方向の距離の変化度とほぼ一致する。【0132】
次に、対象領域設定部１５は、ステップＳ４０４で算出された動きベクトルに依存する位置に、ステップＳ４０５で算出された距離の変化度に依存するサイズの対象領域を設定する（Ｓ４０６）。例えば、図１２において、特徴領域の重心位置が（Ｘｇ，Ｙｇ）であり、特徴領域のサイズが（Ｓｘ，Ｓｙ）であったとする。この場合、対象領域設定部１５は、例えば、重心位置が（Ｘｇ＋Ｍｘ，Ｙｇ＋Ｍｙ）であり、サイズが（Ｓｘ＊Ｄｘ２／Ｄｘ１，Ｓｙ＊Ｄｙ２／Ｄｙ１）である対象領域３０１を第３画像３００内に設定する。【0134】
まず、追尾部１６は、対象領域内の１つのセグメントを選択する（Ｓ５０１）。つまり、追尾部１６は、対象領域内のまだ選択されていないセグメントを選択する。【0135】
次に、追尾部１６は、選択されたセグメントの特徴量と、対象物体特徴量および非対象物体特徴量とを比較する（Ｓ５０２）。具体的には、追尾部１６は、例えば、選択されたセグメントの色ヒストグラムと、対象物体色ヒストグラムおよび非対象物体色ヒストグラムとを比較する。【0136】
追尾部１６は、比較結果に基づいて、選択されたセグメントが対象物体セグメントであるか否かを判定する（Ｓ５０３）。例えば、追尾部１６は、選択されたセグメントの色ヒストグラムと最も類似するヒストグラムが対象物体色ヒストグラムである場合に、選択されたセグメントが対象物体セグメントであると判定する。【0137】
ここで、最後に選択されたセグメントである場合には（Ｓ５０４のＹｅｓ）、処理を終了し、選択されたセグメントが対象領域内で最後に選択されたセグメントでない場合には（Ｓ５０４のＮｏ）、ステップＳ５０１に戻る。【0138】
このように判定された対象物体セグメントによって構成される領域が、対象物体に対応する領域に相当する。つまり、追尾部１６は、対象画像において対象物体を追尾することができる。【0139】
以上のように、本実施の形態に係る画像処理装置１０によれば、画素値の類似性に基づいて第１画像を分割することにより得られる複数のセグメントを利用して基準領域を設定することができる。したがって、画像処理装置１０は、複雑な幾何形状を有する対象物体であっても、その複雑な幾何形状に適した形状の基準領域を設定することが可能となる。その結果、画像処理装置１０は、予め定められた形状の領域から特徴量を抽出する場合よりも、適切に対象物体の特徴量を抽出することができる。そして、そのように抽出された対象物体の特徴量を用いることにより、画像処理装置１０は、高精度に対象物体を追尾することが可能となる。【0140】
さらに、本実施の形態に係る画像処理装置１０によれば、対象物体特徴量を用いて、対象領域に含まれる各セグメントが対象物体に対応するセグメントであるか否かを判定することができる。したがって、画像処理装置１０は、基準領域内のセグメントと対象領域内のセグメントとを一対一でマッチングする場合よりも、画像内での対象物体の形状の変化に対してロバストに対象物体を追尾することができる。つまり、画像処理装置１０は、画像間で対象物体の形状が変化する場合であっても、高精度に対象物体を追尾することができる。また、画像処理装置１０は、判定処理の対象を対象領域内のセグメントに限定することができるので、処理負荷の軽減および処理速度の向上を図ることもできる。【0141】
さらに、本実施の形態に係る画像処理装置１０によれば、第２画像内の特徴領域から抽出された特徴点の位置と、その特徴点に対応する第３画像内の特徴点の位置との関係に基づいて、第３画像内に対象領域を設定することができる。したがって、画像処理装置１０は、第２画像および第３画像間で対象物体が移動した場合であっても、第２画像および第３画像間の特徴点の対応を利用して、適切にかつ簡易に対象領域を設定することができる。その結果、画像処理装置１０は、対象物体から離れた位置にあるセグメントが対象物体に対応するセグメントであると誤って判定されることを抑制することができる。つまり、画像処理装置１０は、画像間で対象物体が動いている場合であっても、高精度に対象物体を追尾することができる。【0142】
特に、本実施の形態に係る画像処理装置によれば、形状に関する特徴量を利用した対象領域の設定処理と、画素値に基づいて分割して得られたセグメントから抽出された色に関する特徴量の類似性に基づく追尾処理との両方が行われる。つまり、前者の対象領域の設定処理によって対象物体の動きに対するロバスト性を向上させることができ、後者の追尾処理によって対象物体の形状変化に対するロバスト性を向上させることができる。その結果、対象物体を長時間、正確に追尾することが可能となる。【0143】
また、本実施の形態に係る画像処理装置によれば、第２画像のうち特徴領域内のみ局所特徴量が算出されるので、第２画像全体で局所特徴量が算出される場合よりも負荷を軽減させることができる。例えば、ＳＩＦＴに従って局所特徴量が算出される場合は、一般的に計算量が大きいので、特徴領域内のみ局所特徴量を算出することは、計算量の低減に大きく貢献することができる。また例えば、ＳＵＲＦに従って局所特徴量が算出される場合は、一般的にメモリの使用量が大きいので、特徴領域内のみ局所特徴量を算出することは、メモリの使用量の低減に大きく貢献することができる。【0144】
（実施の形態２）図１７は、実施の形態２に係る撮像装置２０の機能構成を示すブロック図である。撮像装置２０は、例えば、デジタルスチルカメラもしくはデジタルビデオカメラ、またはそれらのカメラを備える、携帯電話、スマートファンまたはタブレットコンピュータなどである。図１７に示すように、撮像装置２０は、撮像部２１と、上記実施の形態１の画像処理装置１０とを備える。
【0145】
撮像部２１は、例えば、光学系および撮像素子を備える。光学系は、例えば、少なくとも１枚の光学レンズを有する。また、撮像素子は、例えば、ＣＣＤ（）イメージセンサあるいはＣＭＯＳ（）イメージセンサなどの固体撮像素子である。【0146】
撮像部２１は、連続して複数の画像を撮影する。撮像部２１で撮影された複数の画像は、画像処理装置１０に入力され、第１画像、第２画像および第３画像として各種処理に用いられる。【0147】
なお、撮像装置２０は、さらに、表示部および入力部（ともに図示せず）の両方または一方を備えてもよい。表示部および入力部は、例えば、タッチスクリーンとして実装されてもよい。【0148】
入力部は、表示部に表示されている画像（第１画像）に対して、対象物体の位置の入力をユーザから受け付ける。表示部は、撮影された画像を表示するとともに、画像処理装置１０による追尾結果を表示する。【0149】
以上、本発明の１つまたは複数の態様に係る画像処理装置および撮像装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の１つまたは複数の対象の範囲内に含まれてもよい。【0150】
例えば、上記各実施の形態において、抽出部１４は、必ずしも非対象物体特徴量を抽出する必要はない。つまり、抽出部１４は、対象物体特徴量のみを抽出してもよい。この場合、追尾部１６は、非対象物体特徴量を用いずに、第３画像において対象物体を追尾すればよい。具体的には、追尾部１６は、例えば、対象領域に含まれる各セグメントの特徴量と対象物体特徴量と類似性を示す値が閾値を超えるか否かを判定することにより、対象領域に含まれる各セグメントが対象物体セグメントであるか否かを判定すればよい。【0151】
また、上記各実施の形態において、対象物体セグメントを判定するための特徴量と、対象領域を設定するための特徴量とは、互いに異なる特徴を示す特徴量であった。つまり、上記各実施の形態において、第１特徴と第２特徴とは互いに異なる特徴であった。しかしながら、第１特徴と第２特徴とは、必ずしも互いに異なる特徴である必要はなく、同一の特徴であっても構わない。【0152】
また、上記各実施の形態において、抽出部１４は、必ずしもセグメントごとに対象物体特徴量または非対象物体特徴量を抽出する必要はない。つまり、抽出部１４は、特徴領域または特徴領域外の領域から１つの代表的な特徴量を対象物体特徴量または非対象物体特徴量として抽出してもよい。【0153】
例えば、抽出部１４は、基準領域に複数のセグメントが含まれる場合、複数のセグメントから抽出される複数の特徴量の代表値を対象物体特徴量として抽出してもよい。これにより、画像処理装置１０は、対象物体特徴量を用いて対象領域に含まれる各セグメントが対象物体に対応するセグメントであるか否かを判定する際に、処理負荷の軽減および処理速度の向上を図ることができる。【0154】
また例えば、抽出部１４は、基準領域外の領域に複数のセグメントが含まれる場合、複数のセグメントから抽出される複数の特徴量の代表値を非対象物体特徴量として抽出してもよい。これにより、画像処理装置１０は、非対象物体特徴量を用いて対象領域に含まれる各セグメントが対象物体に対応するセグメントであるか否かを判定する際に、処理負荷の軽減および処理速度の向上を図ることができる。【0155】
なお、代表値とは、統計的な代表値である。具体的には、代表値は、例えば、平均値、中央値、あるいは最頻値などである。【0156】
また、上記各実施の形態において、対象領域設定部１５は、動きベクトルと距離の変化度との両方に基づいて対象領域を設定していたが、動きベクトルと距離の変化度とのうちの一方のみに基づいて対象領域を設定してもよい。例えば、対象領域が動きベクトルに基づいて設定される場合、必ずしも特徴領域から複数の特徴点が抽出される必要はなく、１つの特徴点のみが抽出されてもよい。つまり、複数組の対応点ではなく、１組の対応点に基づいて、対象領域が設定されてもよい。【0157】
また、第１画像より後に連続して撮影された複数の画像を時間順に第３画像として取得することにより、それらの複数の画像において対象物体を追尾する場合に、対象領域特徴量および非対象領域特徴量は、更新あるいは追加されてもよい。例えば、対象領域特徴量および非対象領域特徴量の一方または両方は、第２画像から抽出されてもよい。【0158】
また、抽出部１４は、ぼけが小さいセグメントのみから対象物体特徴量を抽出してもよい。つまり、抽出部１４は、ぼけが大きいセグメントから対象物体特徴量を抽出しなくてもよい。この場合、抽出部１４は、例えば、セグメントのぼけ度合いを示す値が閾値より小さい場合に、当該セグメントから対象領域特徴量を抽出する。ぼけ度合いを示す値は、例えば、セグメント内の画像における高周波数成分量あるいはエッジ量に基づいて決定されればよい。【0159】
また、上記各実施の形態において、画像処理装置１０は、第２画像および第３画像における対応点の位置関係に基づいて、第３画像内に対象領域を設定していたが、さらに、複数の画像の特徴点を用いて対象領域を設定してもよい。例えば、対象領域設定部１５は、第２画像および第３画像を含む３枚の画像における対応点の位置関係に基づいて、動きベクトルおよび加速度ベクトルを算出してもよい。そして、対象領域設定部１５は、動きベクトルおよび加速度ベクトルを利用して対象領域の位置を決定してもよい。このように、３枚以上の画像における対応点の位置関係に基づいて対象領域を設定することにより、複雑な動きをする対象物体に対する追尾の精度を向上させることができる。【0160】
また、上記各実施の形態における画像処理装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１０は、セグメンテーション部１１と、指示部１２と、基準領域設定部１３と、抽出部１４と、対象領域設定部１５と、追尾部１６とを有するシステムＬＳＩから構成されてもよい。【0161】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。【0162】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。【0163】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。【0164】
また、本発明の一態様は、このような画像処理装置だけではなく、画像処理装置に含まれる特徴的な構成部をステップとする画像処理方法であってもよい。また、本発明の一態様は、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。【0165】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。【0166】
すなわち、このプログラムは、コンピュータに、画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割する第１セグメンテーションステップと、前記第１画像における前記対象物体の位置を指示する指示ステップと、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を基準領域として設定する基準領域設定ステップと、前記基準領域から第１特徴を示す特徴量を対象物体特徴量として抽出する抽出ステップと、前記第３画像と異なる時刻に撮影された第２画像内の領域であって前記対象物体に対応する領域である特徴領域から抽出された特徴点の位置と、抽出された前記特徴点に対応する前記第３画像内の特徴点の位置との関係に基づいて、前記第３画像内に対象領域を設定する対象領域設定ステップと、画素値の類似性に基づいて、前記第３画像を複数のセグメントに分割する第２セグメンテーションステップと、前記対象物体特徴量を用いて、前記対象領域に含まれる各セグメントが前記対象物体に対応するセグメントであるか否かを判定することにより、前記第３画像において前記対象物体を追尾する追尾ステップとを実行させる。【産業上の利用可能性】
【0167】
本発明の一態様に係る画像処理装置および撮像装置は、第１画像に含まれる対象物体を第１画像よりも後に撮影された第３画像において追尾することができる画像処理装置、およびその画像処理装置を備える、デジタルスチルカメラまたはデジタルビデオカメラなどの撮像装置として有用である。【符号の説明】
【0168】
１０ 画像処理装置１１ セグメンテーション部
１２ 指示部
１３ 基準領域設定部
１４ 抽出部
１５ 対象領域設定部
１６ 追尾部
２０ 撮像装置
２１ 撮像部
１００ 第１画像
１０２ 基準領域
２００ 第２画像
２０１ 特徴領域
２１１、２１２、３１１、３１２ 特徴点
３００ 第３画像
３０１ 対象領域