特許 6044234 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6044234

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/20 20060101AFI20161206BHJP

【ＦＩ】

   G06T7/20 Z

【請求項の数】4

【全頁数】12

(21)【出願番号】特願2012-217219(P2012-217219)

(22)【出願日】2012年9月28日

(65)【公開番号】特開2014-71664(P2014-71664A)

(43)【公開日】2014年4月21日

【審査請求日】2015年5月15日

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100090620

【弁理士】

【氏名又は名称】工藤 宣幸

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(72)【発明者】

【氏名】畠中 貴明

【審査官】 佐藤 実

(56)【参考文献】

【文献】 国際公開第２０１２／１０５１９６（ＷＯ，Ａ１）

【文献】 特開２００６−００５６５０（ＪＰ，Ａ）

【文献】 山田健太郎 外５名，一人称視点における視覚的顕著性マップモデルの性能評価，電子情報通信学会技術研究報告 ＨＩＰ２０１０−７９ − ＨＩＰ２０１０−９５ ヒューマン情報処理，社団法人電子情報通信学会，２０１１年 ２月１４日，第110巻 第422号，第81−86頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

動画像を構成する入力画像における各画素の特徴量に基づいて顕著性値を求める顕著性算出手段と、
上記入力画像の顕著性値と過去の画像の顕著性値とに基づいて、時間的に変化する時間変化顕著性値を求める時間変化顕著性算出手段と、
過去の画像を参照して、上記入力画像を分割した各領域の動きの顕著性を示す動き顕著性値を算出する動き顕著性算出手段と、
上記顕著性算出手段による上記顕著性値と、上記時間変化顕著性値と、上記動き顕著性値とに基づいて、動画像におけるオブジェクトの動きを反映させた統合顕著性値を求める統合顕著性算出手段と
を備え、
上記動き顕著性算出手段が、
上記入力画像を複数の領域に分割し、過去の画像を参照して、上記入力画像における各領域の動き探索を行う動き探索部と、
上記動き探索部による上記各領域の動き探索結果を取得し、上記入力画像における対象領域と１又は複数の周辺領域との動きベクトルの差分量に基づいて、対象領域の動き顕著性値を求める動き顕著性算出部と
を有し、
上記動き顕著性算出部が、上記入力画像における対象領域の動きベクトルと、複数の周辺領域のそれぞれの動きベクトルとの差分量の総和に基づいて上記動き顕著性値を求めるものである
ことを特徴とする画像処理装置。

【請求項2】

上記動き顕著性算出部が、上記入力画像における対象領域と、それぞれの周辺領域との距離に応じた重みを、対象領域の動きベクトルと各周辺領域の動きベクトルとの差分量に付与して上記動き顕著性値を求めるものであることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

上記動き顕著性算出部が、上記入力画像における対象領域と周辺領域との距離が閾値を超える場合、対象領域の動きベクトルと当該周辺領域の動きベクトルとの差分量を削除することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

動画像の顕著性を求める画像処理方法において、
顕著性算出手段が、動画像を構成する入力画像における各画素の特徴量に基づいて顕著性値を求める顕著性算出工程と、
時間変化顕著性算出手段が、上記入力画像の顕著性値と過去の画像の顕著性値とに基づいて、時間的に変化する時間変化顕著性値を求める時間変化顕著性算出工程と、
動き顕著性算出手段が、過去の画像を参照して、上記入力画像を分割した各領域の動きの顕著性を示す動き顕著性値を算出する動き顕著性算出工程と、
統合顕著性算出手段が、上記顕著性算出手段による上記顕著性値と、上記時間変化顕著性値と、上記動き顕著性値とに基づいて、動画像におけるオブジェクトの動きを反映させた統合顕著性値を求める統合顕著性算出工程と
を有し、
上記動き顕著性算出手段が、
上記入力画像を複数の領域に分割し、過去の画像を参照して、上記入力画像における各領域の動き探索を行う動き探索工程と、
上記動き探索部による上記各領域の動き探索結果を取得し、上記入力画像における対象領域と１又は複数の周辺領域との動きベクトルの差分量に基づいて、対象領域の動き顕著性値を求める動き顕著性算出工程と
を有し、
上記動き顕著性算出工程で、上記入力画像における対象領域の動きベクトルと、複数の周辺領域のそれぞれの動きベクトルとの差分量の総和に基づいて上記動き顕著性値を求める
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関し、例えば、時間経過により変化する画像領域の顕著性を求める画像処理装置及び画像処理方法に適用し得るものである。

【背景技術】

【0002】

近年、画像処理分野において、ボトムアップ型注意を、客観指標値として算出する方法が研究されている。ボトムアップ型注意で得られた指標値は、例えば、ロボットが物体への接近を瞬時に検出する技術（特許文献２参照）や、また例えば、視覚コンテンツの評価技術（特許文献３参照）に利用されている。ここで、ボトムアップ型注意とは、人や動物が瞬間的に注目領域を特定する反応をいう。

【0003】

画像中の点や領域に対して、人間が瞬間的に注目する度合い、すなわち顕著性の高さを数値化した顕著性値を算出する方法として、非特許文献１に記載のＩｔｔｉの顕著性モデルが存在する。

【0004】

目の網膜にある網膜神経節細胞の中に、受容野（Receptive Field）と呼ばれる領域があり、この受容野に光による刺激を受けると、その情報が脳に伝達される。受容野は、中央にある円形の部分（center）とその周辺領域（surround）との２つで構成されており、受容野に置ける仕組みを応用し、Ｉｔｔｉらは、centerとSurroundとの刺激により信号が強くなる箇所（注意を引く場所）を数値化するようなモデルを構築して顕著性マップとした。

【0005】

特許文献１の記載技術は、非特許文献１に記載の顕著性値を利用して、入力画像の特徴量に基づいて顕著性マップを算出し、この顕著性マップを用いて入力画像の注目点を推定して主要被写体領域と背景領域とを分離するというものである。

【0006】

Ｉｔｔｉの顕著性モデルは、画像の輝度、色味（色相、明度、彩度等）、方向を考慮しているが、これは、ある時刻における１画像のみから算出しており、時間領域で変化する画像との間での変化を考慮していない。

【0007】

従って、Ｉｔｔｉの顕著性モデルは、一般的に顕著性が高いとされる、広い領域の色が急激に変わるような時間変化に起因する顕著性が反映されないという課題がある。

【0008】

上記課題に対応する技術として非特許文献２に記載の技術がある。非特許文献２において、Ｇｕｏらは画像の時間変化を反映させた顕著性値を算出している。

【0009】

図２は、時間変化を反映させた顕著性値を算出する顕著性値算出方式を説明する説明図である。

【0010】

図２に示すように、従来の顕著性値算出方式は、輝度色味顕著性算出部１０２は、画像入力部１０１からの入力画像の輝度及び色味（色相、明度、彩度）に関する顕著性を算出して、加算部１０５に与える。

【0011】

また、画像入力部１０１からの入力画像は、時間方向顕著性算出部１０３及び蓄積部１０４に蓄積される。また、蓄積部１０４により予め定められた時間だけ蓄積された画像が、時間方向顕著性算出部１０３に与えられる。

【0012】

そして、時間方向顕著性算出部１０３は、画像入力部１０１からの入力画像と、過去の入力画像とに基づいて時間方向顕著性値を算出して加算部１０５に与える。なお、このとき、遅延に応じた過去の入力画像が存在しない場合、時間方向顕著性は全て「０」として扱う。

【0013】

加算部１０５は、輝度色味顕著性算出部１０２からの輝度色味顕著性値と、時間方向法顕著性算出部１０３からの時間方向顕著性値とに対して、予め定められた重みを乗じた上で加算する。これにより、入力画像の輝度色味顕著性値だけでなく、時間方向顕著性値も反映させた統合顕著性値を算出することができる。この統合顕著性値は、後段のデータ処理部１０６に与えられる。

【先行技術文献】

【特許文献】

【0014】

【特許文献1】特開２０１１−３５６３６号公報

【特許文献2】特開２００７−１２０４７号公報

【特許文献3】特開２０１１−３９７７８号公報

【非特許文献】

【0015】

【非特許文献1】Laurent Itti，Christof Koch，Ernst Niebur，“A Model of Saliency-based Visual Attention for Rapid Scene Analysis”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.20.No.11，pp.1254-1259，1998年11月

【非特許文献2】Chenlei Guo，Liming Zhang，“A Novel Multiresolution Spatiotemporal Saliency Detection Model and Its Applications in Image and Video Compression”，IEEE Transactions on Image Processing，Vol.19.No.1，pp185-198，2010年1月

【発明の概要】

【発明が解決しようとする課題】

【0016】

しかしながら、非特許文献２の記載技術は、画像中の点の同一位置の時間的変化を反映させることができるが、類似色を含むオブジェクトが移動するような場合、本来オブジェクトが移動しているにもかかわらず、時間経過後の画像における同一位置に類似色が残ることで、本来移動しているはずの点が移動を伴っていないように顕著性が算出される問題がある。

【0017】

そのため、入力画像の顕著性を算出する際に、時間経過を反映する項に、対象の点又は領域の動きベクトルが、周辺の動きベクトルと異なる度合いを加味した、精度の高い顕著性を算出する画像処理装置及び画像処理方法が求められている。

【課題を解決するための手段】

【0018】

かかる課題を解決するために、第１の本発明は、（１）動画像を構成する入力画像における各画素の特徴量に基づいて顕著性値を求める顕著性算出手段と、（２）入力画像の顕著性値と過去の画像の顕著性値とに基づいて、時間的に変化する時間変化顕著性値を求める時間変化顕著性算出手段と、（３）過去の画像を参照して、入力画像を分割した各領域の動きの顕著性を示す動き顕著性値を算出する動き顕著性算出手段と、（４）顕著性算出手段による顕著性値と、時間変化顕著性値と、動き顕著性値とに基づいて、動画像におけるオブジェクトの動きを反映させた統合顕著性値を求める統合顕著性算出手段とを備え、動き顕著性算出手段が、入力画像を複数の領域に分割し、過去の画像を参照して、入力画像における各領域の動き探索を行う動き探索部と、動き探索部による各領域の動き探索結果を取得し、入力画像における対象領域と１又は複数の周辺領域との動きベクトルの差分量に基づいて、対象領域の動き顕著性値を求める動き顕著性算出部とを有し、動き顕著性算出部が、入力画像における対象領域の動きベクトルと、複数の周辺領域のそれぞれの動きベクトルとの差分量の総和に基づいて上記動き顕著性値を求めるものであることを特徴とする画像処理装置である。

【0019】

第２の本発明は、動画像の顕著性を求める画像処理方法において、（１）顕著性算出手段が、動画像を構成する入力画像における各画素の特徴量に基づいて顕著性値を求める顕著性算出工程と、（２）時間変化顕著性算出手段が、入力画像の顕著性値と過去の画像の顕著性値とに基づいて、時間的に変化する時間変化顕著性値を求める時間変化顕著性算出工程と、（３）動き顕著性算出手段が、過去の画像を参照して、入力画像を分割した各領域の動きの顕著性を示す動き顕著性値を算出する動き顕著性算出工程と、（４）統合顕著性算出手段が、顕著性算出手段による顕著性値と、時間変化顕著性値と、動き顕著性値とに基づいて、動画像におけるオブジェクトの動きを反映させた統合顕著性値を求める統合顕著性算出工程とを有し、動き顕著性算出手段が、入力画像を複数の領域に分割し、過去の画像を参照して、入力画像における各領域の動き探索を行う動き探索工程と、動き探索部による各領域の動き探索結果を取得し、入力画像における対象領域と１又は複数の周辺領域との動きベクトルの差分量に基づいて、対象領域の動き顕著性値を求める動き顕著性算出工程とを有し、動き顕著性算出工程で、入力画像における対象領域の動きベクトルと、複数の周辺領域のそれぞれの動きベクトルとの差分量の総和に基づいて上記動き顕著性値を求めることを特徴とする画像処理方法である。

【発明の効果】

【0020】

本発明によれば、入力画像の顕著性を算出する際に、時間経過を反映する項に、対象の点又は領域の動きベクトルが、周辺の動きベクトルと異なる度合いを加味した、精度の高い顕著性を算出することができる。

【図面の簡単な説明】

【0021】

【図1】実施形態の画像処理装置の構成を示す機能ブロック図である。

【図2】従来の時間変化に応じた顕著性を算出する画像処理装置の構成を示す機能ブロック図である。

【発明を実施するための形態】

【0022】

（Ａ）主たる実施形態
以下、本発明の画像処理装置及び画像処理方法の実施形態を、図面を参照しながら詳細に説明する。

【0023】

（Ａ−１）実施形態の構成
図１は、実施形態に係る画像処理装置２００の機能を示す機能ブロック図である。

【0024】

画像処理装置２００のハードウェア構成は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インタフェース部等を有して構成され、ＣＰＵが、ＲＯＭに格納される画像処理プログラムを実行することで図１の機能ブロックを実現する。また、画像処理プログラムはインストールされるものであっても良く、その場合でも、画像処理装置２００が実現すると図１の処理が実現される。

【0025】

図１において、画像処理装置２００は、画像入力部２０１、輝度色味顕著性算出部２０２、時間方向顕著性算出部２０３、蓄積部２０４、加算部２０５、データ処理部２０６、領域分割部２０７、動き探索部２０８、動き顕著性算出部２０９を有する。なお、領域分割部２０７、動き探索部２０８及び動き顕著性算出部２０９を含む構成を動き顕著性成分生成部２１０ともいう。

【0026】

画像入力部２０１は、入力された入力画像を、輝度色味顕著性算出部２０２、時間方向顕著性算出部２０３、蓄積部２０４及び領域分割部２０７のそれぞれに与えるものである。画像入力部２０１がキャプチャーする画像は、動画像を構成する画像を想定する。

【0027】

輝度色味顕著性算出部２０２は、画像入力部２０１からの入力画像の輝度色味顕著性値を求め、求めた輝度色味顕著性値を加算部２０５に与えるものである。つまり、輝度色味顕著性算出部２０２は、今回入力された入力画像、例えば時刻ｔに入力された入力画像の顕著性マップを算出するものである。

【0028】

輝度色味顕著性算出部２０２による輝度色味顕著性値の算出方法は、様々な方法を広く適用することができるが、例えば非特許文献１に記載のＩｔｔｉらの顕著性マップの算出方法を適用することができる。

【0029】

例えば、輝度色味顕著性算出部２０２は、画像入力部２０１からの入力画像について、原画像から段階的に縮小された複数の画像（スケール画像）を用意する。輝度色味顕著性算出部２０２は、各スケール画像のそれぞれについて、輝度（Intensity）、色相成分（Color Channel）、方向成分（Orientation）を画素（ピクセル）毎に求め、各スケール画像間で、輝度、色相成分、方向成分の差分を取ることで、輝度、色相成分、方向成分のそれぞれの顕著性値を求める。これらの顕著性値を輝度色味顕著性値という。

【0030】

時間方向顕著性算出部２０３は、画像入力部２０１からの入力画像と、蓄積部２０４に所定時間だけ蓄積された過去の画像とに基づいて、時間的に変化した画像中の顕著性値を求めるものである。時間方向顕著性算出部２０３は、入力画像について各画素の顕著性値と、過去の画像の各画素の顕著性値との差分を取ることで、時間的に変化する顕著性を求める。この時間的に変化する顕著性を時間変化顕著値という。

【0031】

時間方向顕著性算出部２０３による時間方向顕著性値は、様々な方法を広く適用することができるが、例えば非特許文献２に記載のＧｕｏらの顕著性算出方法を適用することができる。

【0032】

なお、時間方向顕著性算出部２０３には、蓄積部２０４から所定時間だけ蓄積された画像が入力されるが、遅延時間が経過するまで、すなわち蓄積部２０４から過去の画像が与えられるまでは、時間方向顕著性値は全て「０」とする。

【0033】

蓄積部２０４は、画像入力部２０１からの入力画像を、所定時間だけ蓄積するものである。蓄積部２０４は、所定時間の蓄積後、蓄積順序に従って蓄積された画像を時間方向顕著性算出部２０３に与える。つまり、所定時間だけ蓄積された過去の画像が時間方向顕著性算出部２０３に与えられる。

【0034】

動き顕著性成分生成部２１０は、画像入力部２０１からの入力画像と、蓄積部２０４に蓄積される過去の入力画像とに基づいて、画像中のオブジェクト（対象）の動きの顕著性成分を生成するものである。

【0035】

また、上述したように、動き顕著性成分生成部２１０は、領域分割部２０７、動き探索部２０８、動き顕著性算出部２０９を有する。

【0036】

領域分割部２０７は、画像入力部２０１からの入力画像を所定の領域に分割するものである。領域分割部２０７は、後述する動き探索部２０８による動き探索を行うため、入力画像を複数の領域に分割する。ここで、領域分割部２０７による画像領域の分割方法は、例えば、所定画素数（例えば１６×１６画素）を１領域として入力画像を分割する。勿論、分割する１領域は、１６×１６画素に限定されるものではなく、例えば４×４画素や８×８画素等を１領域としても良い。また例えば、正方形以外の形状（例えば矩形形状等）を１領域として分割しても良い。

【0037】

動き探索部２０８は、領域分割部２０７により分割された領域分割情報と、入力画像とを領域分割部２０７から取得する。また、動き探索部２０８は、今回の入力画像と蓄積部２０４に蓄積される過去の入力画像とに基づいて、動き探索を行い、入力画像の各領域の動きベクトル情報を求めるものである。さらに、動き探索部２０８は、入力画像の領域分割情報と、各領域の動きベクトル情報を動き顕著性算出部２０９に与える。

【0038】

動き顕著性算出部２０９は、動き探索部２０８から入力画像の領域分割情報と各領域の動きベクトル情報とを受け取り、各分割領域の動き顕著性値を求めて、加算部２０５に与えるものである。つまり、動き顕著性算出部２０９は、対象領域とその周辺領域の動きベクトルの差分量を求める。これにより、対象領域の動きベクトルと周辺領域の動きベクトルの差分量の総和を動き顕著性値として出力することができる。

【0039】

加算部２０５は、上記顕著性算出手段による上記顕著性値と、上記時間変化顕著性値と、上記動き顕著性値とに基づいて、動画像におけるオブジェクトの動きを反映させた統合顕著性値を求めるものである。

【0040】

つまり、加算部２０５は、輝度色味顕著性算出部２０２からの輝度色味顕著性値と、時間方向顕著性算出部２０３からの時間方向顕著性値と、動き顕著性算出部２０９からの動き顕著性値とに対して所定の重み係数を付与して、各顕著性値の成分を加算して統合顕著性値を求めるものである。

【0041】

データ処理部２０６は、加算部２０５により求められた統合顕著性値を用いて、所定のデータ処理を行うものである。データ処理部２０６のデータ処理の内容は、動画像の顕著性値を利用した処理であれば特に限定されるものではない。

【0042】

（Ａ−２）実施形態の動作
次に、この実施形態の画像処理装置２００による動画像の顕著性値を算出する処理の動作を説明する。

【0043】

図１において、画像入力部２０１に動画像としての１フレームの画像が入力されると、入力画像は、輝度色味顕著性算出部２０２、時間方向顕著性算出部２０３、蓄積部２０４及び領域分割部２０７に入力される。

【0044】

輝度色味顕著性算出部２０２は、入力画像に基づいて、輝度及び色味に関する顕著性値が算出され、その算出された顕著性値が加算部２０５に与えられる。

【0045】

輝度色味顕著性算出部２０２は、例えば、非特許文献１に記載の技術により輝度及び色味に関する顕著性値を算出する。

【0046】

例えば、輝度色味顕著性算出部２０２は、画像入力部２０１からの入力画像について、原画像から段階的に縮小された複数の画像（スケール画像）を生成する。輝度色味顕著性算出部２０２は、各スケール画像のそれぞれについて、特徴量としての、輝度（Intensity）、色相成分（Color Channel）、方向成分（Orientation）を求め、各スケール画像間で、輝度、色相成分、方向成分の差分を取ることで、輝度、色相成分、方向成分のそれぞれの顕著性値を求める。

【0047】

例えば、σ番目のスケール画像のＲＧＢ成分を、赤成分ｒ（σ）、緑成分ｇ（σ）、青成分ｂ（σ）とすると、輝度色味顕著性算出部２０２は、σ番目のスケール画像に対する各ピクセルの輝度Ｉ（σ）を以下の式（１）のように計算する。

【0048】

Ｉ（σ）＝｛ｒ（σ）＋ｇ（σ）＋ｂ（σ）｝／３ …（１）
そして、輝度色味顕著性算出部２０２は、各スケール画像間の輝度の差分を求める。このとき、各スケール画像の大きさはバラバラなので、輝度色味顕著性算出部２０２は、サイズの小さい側を大きい側に合わせて伸張させた上でピクセル毎に差分を求める。サイズの大きい側は、中心（Center）の画素、サイズの小さい側は中心の画素とその周辺（Surround）の画素を含む平均を表す。輝度色味顕著性算出部２０２は、輝度に対する差異Ｉ（ｃ，ｓ）＝｜Ｉ（ｃ）−Ｉ（ｓ）｜で求めることができる。

【0049】

次に、輝度色味顕著性算出部２０２は、色彩に対する輝度の影響を除外するため、ＲＧＢ各成分を輝度で正規化する。正規化したＲＧＢ成分を使用して、色相成分として、赤Ｒ（σ）、緑Ｇ（σ）、青Ｂ（σ）、黄Ｙ（σ）の各値を求める。

【数1】

【0050】

輝度色味顕著性算出部２０２は、上記式（２）により、色相成分の各値が負数になった場合、その値をゼロとする。

【0051】

輝度色味顕著性算出部２０２は、ある中心部分の色相は周辺部分の色相によって抑制されるので、色相の組み合わせとしては、赤と緑、青と黄がある。従って、輝度色味顕著性算出部２０２は、赤と緑（又は青と黄）の差異について中央部と周辺部の差を求めることで色相成分の顕著性を取得する。

【0052】

ＲＢ（ｃ，ｓ）＝｜｛Ｒ（ｃ）−Ｇ（ｃ）｝−｛Ｇ（ｓ）−Ｒ（ｓ）｝｜…（３）
ＢＹ（ｃ，ｓ）＝｜｛Ｂ（ｃ）−Ｙ（ｃ）｝−｛Ｙ（ｓ）−Ｂ（ｓ）｝｜…（４）
次に、輝度色味顕著性算出部２０２は、例えばガウスフィルタ（例えばカボールフィルタ等）を用いて、回転角θ＝０°、４５°、９０°、１３５°の４方向に対して畳み込み積分を行う。輝度色味顕著性算出部２０２は、方向性のCenter−Surroundスケール間の差分が方向性コントラストＯ（ｃ，ｓ，θ）を求める。

【0053】

なお、輝度色味顕著性算出部２０２による輝度色味顕著性値の算出方法については、非特許文献１の記載技術を参照することができる。

【0054】

時間方向顕著性算出部２０３は、画像入力部２０１からの入力画像と、所定時間だけ蓄積された過去の画像とに基づいて、時間的に変化した画像の顕著性を求める。

【0055】

時間方向顕著性算出部２０３は、例えば、非特許文献２に記載の技術により時間的に変化する時間方向顕著性値を算出する。つまり、時間方向顕著性算出部２０３は、動画像を構成するある画像フレームの顕著性値と、所定時間だけ蓄積された画像フレームの顕著性値とを比較して、時間的に変化する時間方向顕著性値を求める。

【0056】

例えば、時間方向顕著性算出部２０３は、時刻ｔの入力画像のＲＧＢ成分を、赤成分ｒ（ｔ）、緑成分ｇ（ｔ）、青成分ｂ（ｔ）とすると、時刻ｔの入力画像の各ピクセルの輝度Ｉ（ｔ）を以下のように計算する。

【0057】

Ｉ（ｔ）＝｛ｒ（ｔ）＋ｇ（ｔ）＋ｂ（ｔ）｝／３ …（５）
Ｍ（ｔ）＝｜Ｉ（ｔ）−Ｉ（ｔ−τ）｜ …（６）
ここで、τは遅延時間を示す。式（６）は、時刻ｔにキャプチャーした入力画像と、蓄積部２０４に蓄積されている所定時間だけ過去の入力画像との輝度の差分量である。

【0058】

また、時間方向顕著性算出部２０３は、遅延に応じた過去の入力画像が存在しない場合は、時間方向顕著性は全て「０」として扱う。

【0059】

なお、時間方向顕著性算出部２０３による時間変化に応じた時間変化顕著性値の算出方法については、非特許文献２の記載技術を参照することができる。

【0060】

領域分割部２０７は、画像入力部２０１から入力された画像フレームを、予め定められた方法で複数の領域に分割する。領域分割部２０７は、例えば１６×１６ピクセルを１領域とし、画像フレームを複数の領域に分割する。

【0061】

動き探索部２０８は、領域分割部２０７により分割された領域分割情報を取得する。また、動き探索部２０８は、入力画像のフレームと蓄積部２０４に蓄積される所定時間だけの過去の画像フレームとに基づいて、入力画像のフレームの各領域に対して動き探索を行い、各領域の動きベクトルを求める。

【0062】

動き探索部２０８は、入力画像のフレームの各領域の動きベクトルを求めることにある。つまり、動き探索部２０８は、蓄積部２０４に所定時間だけ蓄積された過去の入力画像のフレームを参照フレームとして、今回の入力画像のフレームの各領域の動き探索を行い、各領域の動きベクトルを求める。

【0063】

ここで、動き探索部２０８による動き探索の方法は、種々の方法を広く適用することができる。例えば、画像の検索範囲を順番に全て検索する「全検索方法」、対象の存在確率が高い場所から螺旋状に範囲を広げながら検索する「スパイラル検索方法」、画面における初期検索位置を中心としてコストを評価して、そのコストが最小となるまで検索する「ダイヤモンド検索方法」、ダイヤモンド検索方法での初期検索位置とする候補を補正した「ＭＶＦＡＳＴ方法（Motion Vector Field Adaptive Serch Technique）」、ＭＶＦＡＳＴ方法を拡張した「ＰＭＶＦＡＳＴ」、動きベクトルのビット量に基づいて検索する「ＭＶビット量方法」、レート歪「ＲＤ（Rate Distortion）理論法」等を広く適用することができる。また、動き探索の方法は、上記に挙げたものに限定されるものではなく、上記の方法の拡張方法や組み合わせた方法等も適用できる。

【0064】

動き顕著性算出部２０９は、入力された画像フレームの各領域の動き顕著性値を算出する。

【0065】

例えば、ｉ行ｊ列の領域に対する動き顕著性Ｓｖ（ｊ、ｉ）は、下記式（７）で算出する。

【数2】

【0066】

ここで、｜｜・｜｜は、ベクトルのユークリッドノルムとする。また、Ｖ（ｊ，ｉ）は、ｉ行ｊ列の領域に対する動きベクトルとする。

【0067】

式（７）は、対象領域（ｉ行ｊ列の領域）と、その対象領域の上下左右に隣接する領域を周辺領域として、対象領域の動きベクトルと、各周辺領域の動きベクトルの差分量の総和を動き顕著性値とするものである。

【0068】

つまり、動き顕著性算出部２０９によれば、画像中のオブジェクトの動きの量を考慮した顕著性の成分を求めることができる。これにより、あるオブジェクトが類似色であっても、そのオブジェクトの動きを反映させることができるので、動画像の顕著性値の精度を向上させることができる。

【0069】

なお、ここでは、周辺領域は、対象領域の上下左右に隣接する４個の領域とする場合を例示するが、対象領域の斜め方向に存在する他の４個の領域の全部又は一部を含むようにしてもよい。

【0070】

また、周辺領域は、対象領域に隣接する領域と対象領域に隣接しない領域とを含むものとしてもよいし、又は対象領域に隣接しない領域としてもよい。対象領域に隣接しない領域を含むものを周辺領域とする場合、対象領域の動き顕著性値は、対象領域から離れた領域の動きベクトルとの間の差分量を求めることになるため、例えば画像中において、オブジェクトが占める画像領域が広い場合（すなわちオブジェクト画像が大きい場合）に有効である。

【0071】

さらに、式（７）では、ユークリッドノルムの２乗和で動き顕著性値を求める場合を例示したが、ユークリッドノルムの和であってもよい。

【0072】

また、周辺領域が対象領域に隣接しない領域とする場合、対象領域と周辺領域との間の距離に反比例する重み係数を用いるようにしてもよい。これにより、例えば、対象領域の動きベクトルと、対象領域から比較的離れた領域の動きベクトルとの差分量の寄与度を小さくすることができる。

【0073】

さらに、対象領域と周辺領域との間の距離が、予め定められた閾値より大きい場合、その差分量に乗じる重み係数を「０」とするようにしてもよい。これにより、対象領域の動きベクトルと、対象領域から閾値以上離れた領域の動きベクトルとの差分量を削除することができる。

【0074】

動き顕著性算出部２０９は、入力された画像フレームの各領域について、式（７）に従って動き顕著性値Ｓｖ（ｊ，ｉ）を求めて、加算部２０５に与える。

【0075】

加算部２０５は、輝度色味顕著性算出部２０２からの輝度色味顕著性値と、時間方向顕著性値算出部２０３からの時間方向顕著性値と、動き顕著性算出部２０９からの動き顕著性値とを受け取り、予め定められた重み係数を各顕著性値に乗じて、重み係数を乗じた後の各顕著性値の成分を加算して統合顕著性値を求める。

【0076】

これにより、画像におけるオブジェクトの動きを反映させた顕著性を得ることができる。

【0077】

データ処理部２０６は、加算部２０５からの統合顕著性値を用いて所定のデータ処理を行う。

【0078】

（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、従来の時間的に変化する顕著性値に、さらに、周辺領域と異なる動きをしている領域に対して、その領域の動きの量に応じた顕著性値を上乗せすることにより、顕著性値の精度を向上させることができる。

【0079】

（Ｂ）他の実施形態
上述した実施形態でも、本発明の種々の変形実施形態を説明したが、以下の他の変形実施形態も本発明は適用することができる。

【0080】

上述した実施形態において、輝度及び色味に関する顕著性値の算出方法は、非特許文献１に記載の方法を適用するものとしたが、非特許文献１の記載技術に限定されるものではなく、拡張方式等を広く適用することができる。また、上述した実施形態において、時間変化顕著性値の算出方法は、非特許文献２に記載の方法を適用するものとしたが、これに限定されるものではない。

【0081】

また、上述した実施形態では、色味に関する顕著性成分の一例として色相成分とする場合を例示したが、明度や彩度に関する顕著性を用いるようにしてもよい。

【0082】

上述した実施形態において、加算部は、各顕著性値に対して正規化処理を行うようにしてもよい。例えば、顕著性マップ上の値が所定の範囲に属するように正規化するようにしてもよいし、顕著性マップ上の最大値を検出し、その最大値近い値が周辺に存在する場合には、それらの値を平均化するようにしてもよい。また、顕著性マップ上の全てに値に所定値を掛けて正規化するようにしてもよい。

【0083】

上述した実施形態におけるデータ処理部は、統合顕著値を利用した様々なデータ処理に適用することができる。例えば、画像中におけるオブジェクト領域と、それ以外の領域とを分離する処理や、ナビゲーションシステムにおける画像処理や、ゲーム機における画像処理や、ビデオカメラ等による動画像処理等に広く適用できる。

【符号の説明】

【0084】

２００…画像処理装置、２０１…画像入力部、２０２…輝度色味顕著性算出部、２０３…時間方向顕著性算出部、２０４…蓄積部、２０５…加算部、２０６…データ処理部、２０７…領域分割部、２０８…動き探索部、２０９…動き顕著性算出部、２１０…動き顕著性成分生成部。

【図1】

【図2】