特許 6242104 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6242104

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 13/00 20060101AFI20171127BHJP

【ＦＩ】

   H04N13/00 220

【請求項の数】7

【全頁数】12

(21)【出願番号】特願2013-157915(P2013-157915)

(22)【出願日】2013年7月30日

(65)【公開番号】特開2015-29206(P2015-29206A)

(43)【公開日】2015年2月12日

【審査請求日】2016年7月20日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】伊藤 元久

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００３−０６１１１６（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１５３３７８（ＷＯ，Ａ１）

【文献】 安田稔、磯野春雄，時分割立体表示のための視覚的条件，光学，１９８９年１０月，Vol.18 No.10，pp. 547-548

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

右眼映像及び左眼映像から抽出したオブジェクトの位置情報を判定する判定手段と、
前記右眼映像から抽出された第１オブジェクトの前記右眼映像内における位置と、前記左眼映像から抽出された第２オブジェクトであって前記第１オブジェクトに対応する第２オブジェクトの前記左眼映像内における位置と、の垂直方向における差が、前記第１オブジェクトの前記右眼映像内における位置と前記第２オブジェクトの前記左眼映像内における位置との水平方向における差に基づいて定められる閾値よりも大きい場合、前記垂直方向における差が小さくなるように、前記第１オブジェクト及び前記第２オブジェクトのうち少なくとも何れかの位置を変更する映像処理手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記右眼映像及び前記左眼映像から動きベクトルを算出する算出手段をさらに有し、
前記映像処理手段は、前記算出手段によって算出された動きベクトルに基づいて、前記オブジェクトの前記垂直方向における差を小さくするための移動ベクトルを決定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記判定手段は、前記抽出したオブジェクトに外接する矩形における対角線の交点の座標を前記位置情報として判定することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記映像処理手段は、前記右眼映像から抽出された前記第１オブジェクトが前記右眼映像の上辺及び下辺のうち少なくとも何れかに達している否か、及び前記左眼映像から抽出された前記第２オブジェクトが前記左眼映像の上辺及び下辺のうち少なくとも何れかに達しているか否かの判定結果に応じて、前記第１オブジェクト及び前記第２オブジェクトのうち少なくとも一方の前記垂直方向における差を小さくするための移動量を算出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。

【請求項5】

前記映像処理手段は、前記右眼映像から抽出された前記第１オブジェクトが前記右眼映像の上辺又は下辺に達し、前記左眼映像から抽出された前記第２オブジェクトが前記左眼映像の上辺及び下辺に達していないと判定した場合、前記第１オブジェクト及び前記第２オブジェクトのうち前記第２オブジェクトの位置を前記垂直方向における差を小さくするために変更することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。

【請求項6】

右眼映像及び左眼映像から抽出したオブジェクトの位置情報を判定する判定工程と、
前記右眼映像から抽出された第１オブジェクトの前記右眼映像内における位置と、前記左眼映像から抽出された第２オブジェクトであって前記第１オブジェクトに対応する第２オブジェクトの前記左眼映像内における位置と、の垂直方向における差が、前記第１オブジェクトの前記右眼映像内における位置と前記第２オブジェクトの前記左眼映像内における位置との水平方向における差に基づいて定められる閾値よりも大きい場合、前記垂直方向における差が小さくなるように、前記第１オブジェクト及び前記第２オブジェクトのうち少なくとも何れかの位置を変更する映像処理工程と、
を有することを特徴とする画像処理方法。

【請求項7】

コンピュータを、請求項１〜５の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特に、立体映像を処理するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、デジタル技術の進歩に伴い、立体映像を撮影したり編集したりすることが可能な機器が普及しつつある。例えば、従来は大規模な装置が必要であった立体映像の撮影が、近年では手持ちのカムコーダで可能となっている。このように立体映像を容易に撮影できる機器が普及したことに伴い、立体映像の数も急激に増加している。

【0003】

現在の立体映像の多くは、視差を利用して視聴者に立体感を知覚させる映像である。ここで視差とは、右眼で見た映像と左眼で見た映像との違いである。この原理によれば、右眼用の映像と左眼用の映像とが視差を持つと、脳がそれぞれの映像の違いを処理し、右眼の網膜が視覚した映像と左眼の網膜が視覚した映像とを融合して立体感を知覚する。立体映像を表示する装置は、右眼用の映像は右眼で視覚し、左眼用の映像は左眼で視覚するように、空間的に右眼の映像と左眼の映像とを分離して表示するか、あるいは時間的に右眼の映像と左眼の映像とを分離して表示する。

【0004】

しかし、同一の対象物に対して、右眼で視覚した映像と左眼で視覚した映像との間に垂直方向の位置に差（垂直視差）が存在すると、脳は右眼用の映像と左眼用の映像とを融合することが困難である。したがって、垂直視差が存在する立体映像は、視聴者に違和感や疲労感を与えてしまう。

【0005】

そこで、垂直視差を軽減する技術が提案されている。特許文献１に記載の技術では、まず、左眼用の映像と右眼用の映像とに含まれる主要オブジェクトを特定する。そして、この主要オブジェクトの位置の差を予め定めた値とするように左眼用の映像内あるいは右眼用の映像内の少なくとも一方の主要オブジェクトの位置を変更して垂直視差を軽減している。また、特許文献２に記載の技術では、左右の映像において、対象物の特徴点の垂直方向の差を算出し、この差の分だけ右眼用の映像を垂直方向に平行移動して垂直視差を軽減している。さらに、特許文献３に記載の技術では、左眼用の映像および右眼用の映像に対して、アフィン変換を適用して垂直視差を軽減した後に、トリミングを施すようにしている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−８１６３０号公報

【特許文献2】特許第４７６３８２７号公報

【特許文献3】特許第４２２５７６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の技術では、飛び出し量によらず垂直視差が予め定めた値未満である場合には垂直視差の軽減を実施しない。しかしながら、飛び出し量が大きいと脳内の立体感融合に与える影響も大きく、垂直視差が小さい場合であっても立体感融合に与える影響が大きいため、垂直視差の影響を十分に軽減できない課題が存在する。さらに、垂直視差の許容量を小さくすると処理の対象になるオブジェクトの数が増加し、処理の負荷が増加する課題も存在する。

【0008】

また、特許文献２に記載の技術では、右眼用の映像のみ使用して垂直視差を軽減しているため、右眼用の映像の対象が大きく移動することになり、映像が不自然になって違和感が生じる課題が存在する。さらに、特許文献３に記載の技術では、トリミングを実施するため、画角が変化して違和感が生じる課題が存在する。

【0009】

本発明は前述の問題点に鑑み、処理負荷が大きくならないようにして違和感と疲労感とを軽減した立体映像を生成できるようにすることを目的としている。

【課題を解決するための手段】

【0010】

本発明に係る画像処理装置は、右眼映像及び左眼映像から抽出したオブジェクトの位置情報を判定する判定手段と、前記右眼映像から抽出された第１オブジェクトの前記右眼映像内における位置と、前記左眼映像から抽出された第２オブジェクトであって前記第１オブジェクトに対応する第２オブジェクトの前記左眼映像内における位置と、の垂直方向における差が、前記第１オブジェクトの前記右眼映像内における位置と前記第２オブジェクトの前記左眼映像内における位置との水平方向における差に基づいて定められる閾値よりも大きい場合、前記垂直方向における差が小さくなるように、前記第１オブジェクト及び前記第２オブジェクトのうち少なくとも何れかの位置を変更する映像処理手段と、を有することを特徴とする。

【発明の効果】

【0011】

本発明によれば、処理負荷が大きくならないようにして違和感と疲労感とを軽減した立体映像を生成することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図2】右眼映像及び左眼映像における垂直視差を説明するための図である。

【図3】対象物から位置情報を抽出する手順を説明するための図である。

【図4】１つの対象物における垂直視差の一例を示す図である。

【図5】垂直視差をなくすように対象物を移動させる手順を説明するための図である。

【図6】本発明の第１の実施形態において、垂直視差をなくすように対象物を移動させる処理手順の一例を示すフローチャートである。

【図7】本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図8】本発明の第２の実施形態において、垂直視差をなくすように対象物を移動させる処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、添付の図面に沿って本発明の実施形態を説明する。
（第１の実施形態）
図１は、本実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。
図１において、対象物抽出部１１は、入力された立体映像から対象物を抽出し、その位置情報を映像処理部１２に出力する。映像処理部１２は、抽出された対象物が有する垂直視差を軽減するために、立体映像において対象物の位置を移動させる。

【0014】

ここで、入力される立体映像の様式は、対応する右眼映像と左眼映像とが同時に入力可能な様式ならば何でよい。例えばフレーム・シーケンシャル方式のように、対応する右眼映像と左眼映像とに時間差が存在する様式を使用する場合は、前段にフレームバッファを設置する。そして、このフレームバッファに、対応する右眼映像と左眼映像とを同期させた後に、対象物抽出部１１及び映像処理部１２に立体映像を出力する。

【0015】

次に、図２（ａ）及び図２（ｂ）を参照しながら垂直視差について説明する。図２において、右眼映像２０及び左眼映像２１には、それぞれ２本の樹木２２、２３と人間２４とが存在しており、右眼映像２０及び左眼映像２１では、同一の対象であっても垂直方向の位置が異なっている。例えば、左端の樹木２２は、その幹の下端を右眼映像２０と左眼映像２１とで比較すると差ｄ１の分だけ位置が異なっている。同様に、中央の人間２４は、その腰の位置を右眼映像２０と左眼映像２１とで比較すると、差ｄ２の分だけ位置が異なっている。さらに、右端の樹木２３は、幹の下端の位置が右眼映像２０と左眼映像２１とで差ｄ３の分だけ異なっている。このように、同一の対象における垂直位置の差を垂直視差と称して以下に説明する。

【0016】

映像から対象物を抽出する手法については、公知の手法が複数存在するが、本実施形態では背景差分法を用いるものとする。本実施形態では、対象物の輪郭が判明すればよく、さらに立体映像が有する輝度の範囲が不明であり、輝度の変化に対して耐性を有する手法を適用する必要があることから、背景差分法を適用する。なお、他の方法によって立体映像から対象物を抽出するようにしてもよい。

【0017】

対象物抽出部１１は、位置情報を生成するために、対象物の位置座標を算出する。本実施形態では、対象物の位置座標を、対象物に外接する矩形の対角線の交点座標と定義する。なお、その他の方法により位置座標を定義してもよい。

【0018】

対象物抽出部１１が生成して出力する位置情報には、少なくとも対象物を識別する識別子と、対象物の位置座標とを含むものとする。ここで、識別子は、対象物を一意に識別できればよく、その形式を問わない。本実施形態では、０から始まる正の整数を使用する。

【0019】

続いて、図３を参照しながら対象物抽出部１１の動作について詳しく説明する。まず、右眼映像２０及び左眼映像２１のそれぞれから対象物を抽出し、抽出した対象物に対して一意の識別子を付加する。例えば図３（ｂ）に示すように、対象物抽出部１１は、図３（ａ）に示す右眼映像２０及び左眼映像２１それぞれに存在する２本の樹木と人間とを対象物３１として抽出する。

【0020】

次に、抽出した対象物に外接する矩形を算出する。このとき、抽出した対象物が画面の枠線に接している場合は、外接する矩形を画面の枠外にまで設定するものとする。例えば図３（ｃ）に示すように、対象物抽出部１１は、対象物３１である左端の樹木に接する形で外接する矩形３２を算出する。

【0021】

次に、外接する矩形に対して対角線の交点を算出して位置座標とする。図３（ｄ）に示すように、外接する矩形３２の対角線の交点を求め、その座標を位置座標３３とする。

【0022】

次に、対象物に付加した識別子と位置座標の垂直座標値とから位置情報を生成して映像処理部１２に出力する。図３（ｅ）に示すように、すべての対象物３１に対して位置情報を生成して出力する。

【0023】

次に、対象物抽出部１１で算出した位置座標と垂直視差との関係について図４（ａ）及び図４（ｂ）を参照しながら説明する。本実施形態では、図４（ｂ）に示すように右眼映像２０を基に算出した位置座標３３の垂直方向の座標値と、左眼映像２１を基に算出した位置座標３３の垂直方向の座標値との差分を取り、その絶対値を垂直視差ＤＧ（ｎ）とする。ここで、ｎは対象物３１を識別する識別子であり、垂直視差ＤＧ（ｎ）は、対象物３１毎に算出される。なお、対象物３１の垂直方向の座標値、及び対象物３１を識別する識別子は共に位置情報に存在している。

【0024】

続いて、映像処理部１２が対象物を移動し、対象物が有する垂直視差を軽減する動作について図５を参照しながら説明する。ここで、画面左端に存在する樹木を対象物３１の例として説明する。また、左端の樹木に付加した識別子を'０'とする。

【0025】

図５（ａ）に示すように、左端の樹木の位置座標３３は、右眼映像２０と左眼映像２１とで位置が異なっている。右眼映像２０上の左端の樹木は左眼映像２１に比べて相対的に画面の下方向に位置している。そして、それぞれの位置座標３３の垂直方向の座標値の差分である垂直視差はＤＧ（０）である。

【0026】

映像処理部１２は、この垂直視差ＤＧ（０）を軽減するため、図５（ｂ）に示すように、右眼映像２０上の左端の樹木を上方に移動させ、反対に左眼映像２１上の左端の樹木を下方に移動させる。図５（ｂ）に示す移動方向４３は、それぞれ左端の樹木の移動方向を示している。ここで、右眼映像２０上の左端の樹木及び左眼映像２１上の左端の樹木それぞれの移動量が同じである場合には、図５（ｃ）に示すように、垂直視差ＤＧ（０）の１／２分移動して垂直視差ＤＧ（０）が０になる。

【0027】

図５（ｄ）は、右眼映像２０と左眼映像２１とに存在する２本の樹木及び人間に対して、移動が完了した状態を示している。図５（ｄ）に示すように、２本の樹木及び人間は、位置座標の垂直方向の座標値の差分が０になり、垂直視差がなくなっている。

【0028】

続いて、図６のフローチャートを参照しながら、映像処理部１２の詳細な動作について説明する。
図６は、映像処理部１２による詳細な処理手順の一例を示すフローチャートである。以下、図６の説明において、対象物を識別する識別子をｎとし、対象とする映像のフレームに存在する対象物の個数をｍとする。本実施形態では、対象物を識別する識別子ｎに０から始まる正の整数を使用していることから、識別子ｎの範囲は０≦ｎ≦ｍ−１である。また、識別子ｎの対象物の位置座標のうち垂直方向（ｙ軸）の座標値は以下のように定義する。
右眼映像２０上の垂直方向（ｙ軸）の座標値：Ｇｒｙ（ｎ）
左眼映像２１上の垂直方向（ｙ軸）の座標値：Ｇｌｙ（ｎ）
とする。この座標値Ｇｒｙ（ｎ）、Ｇｌｙ（ｎ）は、対象物抽出部１１が算出し、位置情報に含まれているものとする。

【0029】

まず、図６のステップＳ６０１において、識別子ｎの開始値として０を代入する。そして、識別子ｎが終了値であるｍ−１になるまで、ステップＳ６０２からステップＳ６１０までの各動作を繰り返す。

【0030】

ステップＳ６０２においては、識別子ｎの対象物が有する水平視差Ｐｙ（ｎ）を、右眼映像２０及び左眼映像２１の位置座標から算出する。そして、ステップＳ６０３において、識別子ｎｎの対象物の垂直視差ＤＧ（ｎ）を、以下の式により算出する。
ＤＧ（ｎ）＝｜Ｇｌｙ（ｎ）−Ｇｒｙ（ｎ）｜
ここで、演算子'｜｜'は絶対値を演算する演算子とする。

【0031】

次に、ステップＳ６０４において、垂直視差ＤＧ（ｎ）と、垂直視差の許容量とを比較する。ここで、垂直視差の許容量は、水平視差Ｐｙ（ｎ）に依存する。この比較の結果、垂直視差の許容量を求める函数をｆ（Ｐｙ（ｎ））とした場合に、垂直視差ＤＧ（ｎ）が函数ｆ（Ｐｙ（ｎ））未満である場合は、垂直視差ＤＧ（ｎ）は軽減しないようにする。したがって、垂直視差ＤＧ（ｎ）を軽減する処理を行わず、次の識別子（ｎ＋１）に関してステップＳ６０２から処理を開始する。一方、ステップＳ６０４の比較の結果、垂直視差ＤＧ（ｎ）が許容量以上（函数ｆ（Ｐｙ（ｎ））以上）である場合は、対象物が有する垂直視差ＤＧ（ｎ）を、後述するステップＳ６０５からステップＳ６１０の各処理により軽減する。

【0032】

水平視差に対する垂直視差の許容量は、表示装置、表示装置の設置環境、あるいは表示装置の映像処理方式に依存し、一意ではない。そこで、予め複数の水平視差ごとに垂直視差を変化させ、これ以上垂直視差を大きくなると立体視融合が不可能になる限界の垂直視差を求めておく。そして、この限界の垂直視差に１以下の係数を乗じた値を垂直視差の許容量とする。このように、水平視差と垂直視差の許容量との関係を表す函数ｆを定義する。この函数によれば、水平視差が大きいほど垂直視差の許容量は小さくなる。

【0033】

なお、本実施形態では水平視差に対する垂直視差の許容量を函数で定義したが、定義の手法を函数に限定するものではない。例えば、対応表を使用してステップＳ６０４で比較してもよい。

【0034】

ステップＳ６０５においては、識別子ｎの対象物が画面の上辺あるいは下辺に接しているか否かを判定する。対象物が画面の上辺あるいは下辺に接している場合は、画面の上辺あるいは下辺で形状が途切れていて、右眼映像２０と左眼映像２１とで、対象物の形状が異なることがある。このとき、移動して垂直方向の位置を合わせると、右眼映像２０と左眼映像２１とで対象物の形状が異なるため、立体視融合が困難にあり、脳内混乱を引き起こす。そこで、対象物が画面の上辺あるいは下辺に接しているか否かによって、垂直視差を軽減する動作を変更する。

【0035】

まず、ステップＳ６０５の判定の結果、識別子ｎの対象物に関して右眼映像２０と左眼映像２１とで共に画面の上辺にも下辺にも接していない場合はステップＳ６０６に進む。一方、右眼映像２０上の識別子ｎの対象物は画面の上辺にも下辺にも接していないが、左眼映像２１上の識別子ｎの対象物が画面の上辺あるいは下辺に接している場合はステップＳ６０７に進む。

【0036】

さらに、右眼映像２０上の識別子ｎの対象物は画面の上辺あるいは下辺に接しているが、左眼映像２１上の識別子ｎの対象物は画面の上辺にも下辺にも接していない場合は、ステップＳ６０８に進む。また、識別子ｎの対象物に関して右眼映像２０と左眼映像２１とで共に画面の上辺あるいは下辺に接している場合は、垂直視差ＤＧ（ｎ）を軽減する処理を行わないようにする。したがって、次の識別子（ｎ＋１）に関してステップＳ６０２から処理を開始する。

【0037】

ステップＳ６０６においては、識別子ｎの対象物に関して右眼映像２０と左眼映像２１とで共に画面の上辺にも下辺にも接していない場合の移動ベクトルを算出する。この場合、右眼映像２０及び左眼映像２１双方の対象物を同じ距離だけ移動し、その移動先は垂直方向位置の中間点になる。ステップＳ６０６で算出する右眼映像２０上の対象物の移動ベクトルは、｛０，（Ｇｌｙ（ｎ）−Ｇｒｙ（ｎ））／２｝である。一方、左眼映像２１上の対象物の移動ベクトルも、｛０，（Ｇｒｙ（ｎ）−Ｇｌｙ（ｎ））／２｝である。

【0038】

ステップＳ６０７においては、右眼映像２０上の識別子ｎの対象物は画面の上辺にも下辺にも接していないが、左眼映像２１上の識別子ｎの対象物が画面の上辺あるいは下辺に接している場合の移動ベクトルを算出する。この場合、左眼映像２１上の対象物を移動させず、右眼映像２０上の対象物のみを移動させ、移動先は、左眼映像２１上の対象物の位置である。ステップＳ６０７で算出する右眼映像２０上の対象物の移動ベクトルは、｛０，Ｇｌｙ（ｎ）−Ｇｒｙ（ｎ）｝である。なお、左眼映像２１上の対象物の移動ベクトルは０とする。

【0039】

ステップＳ６０８においては、右眼映像２０上の識別子ｎの対象物は画面の上辺あるいは下辺に接しているが、左眼映像２１上の識別子ｎの対象物は画面の上辺にも下辺にも接していない場合の移動ベクトルを算出する。この場合、右眼映像２０上の対象物を移動させず、左眼映像２１上の対象物のみを移動させ、移動先は、右眼映像２０上の対象物の位置である。ステップＳ６０８で算出する左眼映像２１上の対象物の移動ベクトルは、｛０，Ｇｒｙ（ｎ）−Ｇｌｙ（ｎ）｝である。なお、右眼映像２０上の対象物の移動ベクトルは０とする。

【0040】

ステップＳ６０９においては、識別子ｎの対象物を右眼映像２０または左眼映像２１から切り出し、切り出した対象物を移動させる。このとき、ステップＳ６０６、ステップＳ６０７、またはステップＳ６０８で算出した移動ベクトルを基に対象物を移動させる。本実施形態では、対象物を切り出する方法及び移動させる方法についてはどのような公知の方法を用いてもよい。そして、ステップＳ６１０において、ステップＳ６０９で切り出して移動した対象物の移動元領域を、その周辺領域の映像で充填する。以上のように図６の処理を立体映像のフレームごとに行う。

【0041】

以上のように本実施形態によれば、水平視差と垂直視差の許容量との関係を表す函数ｆを定義し、垂直視差が函数ｆによって与えられた許容量未満である場合には、対象物を移動させないようにした。これにより、飛び出し量の大きい対象物とそうでない対象物とで垂直視差を軽減する基準が異なるため、処理負荷が大きくならないようにして違和感及び疲労感をより軽減させることができる。

【0042】

（第２の実施形態）
以下、本発明に係る第２の実施形態について説明する。
図７は、本実施形態に係る画像処理装置７０の機能構成例を示すブロック図である。本実施形態に係る画像処理装置７０は、対象物抽出部７１、映像処理部７２及び動きベクトル算出部７３を少なくとも有している。なお、対象物抽出部７１は、第１の実施形態に係る対象物抽出部１１と同様であるため、説明は省略する。

【0043】

映像処理部７２は、対象物が有する垂直視差を軽減させるために対象物を移動させる。本実施形態では第１の実施形態とは異なり、位置情報のみならず動きベクトル算出部７３が生成する動きベクトル情報も用いて、対象物が有する垂直視差を軽減する。

【0044】

動きベクトル算出部７３は、入力された立体映像と対象物抽出部７１で得られた位置情報とを基に対象物が有する動きベクトルＭＶ（ｎ）を算出し、動きベクトル情報を映像処理部７２に出力する。ここで、ｎは対象物を識別する識別子である。

【0045】

次に、映像処理部７２の動作について図８のフローチャートを参照しながら詳しく説明する。
図８は、映像処理部７２による詳細な処理手順の一例を示すフローチャートである。なお、各変数の定義は図６と同様であるため、説明は省略する。

【0046】

図８において、ステップＳ６０１からＳ６１０までの処理の内容は、図６と同様であるため、説明は省略する。ステップＳ６０６において移動ベクトルを算出すると、次にステップＳ８０１において、１つ前のフレームと当該フレームとの間に、シーンの切替えが存在したか否かを判定する。この判定の結果、シーンの切替えが存在する場合は、１つ前のフレームと当該フレームとの間に相関関係は存在しないため、ステップＳ６０６で算出した移動ベクトルをそのまま使用することができる。したがってこの場合はステップＳ６０９に進む。一方、ステップＳ８０１の判定の結果、シーンの切替えが存在しない場合は、１つ前のフレームと当該フレームとの間に相関関係が存在するため、ステップＳ６０６で算出した移動ベクトルの妥当性を判定する必要が生じる。そこで、移動ベクトルの妥当性についてステップＳ８０２及びＳ８０３で判定する。

【0047】

まず、ステップＳ８０２において、対象物が移動したものとして仮定し、１つ前のフレームと当該フレームとの間で識別子ｎの対象物が有する動きベクトルＭＶ'（ｎ）の垂直成分ＭＶ'ｙ（ｎ）を算出する。ここで、１つ前のフレームにおける対象物に対して垂直視差を軽減する補正を施した後の位置座標をＧｋ（ｎ）とし、位置座標Ｇｋ（ｎ）の垂直方向の成分をＧｋｙ（ｎ）とする。また、当該フレームにおける移動したと仮定した対象物の位置座標をＧｋ＋１（ｎ）とする。この場合、位置座標Ｇｋ＋１（ｎ）の垂直方向の成分は、｛（Ｇｒｙ（ｎ）＋Ｇｌｙ（ｎ））／２｝である。よって、動きベクトルＭＶ'（ｎ）の垂直成分ＭＶ'ｙ（ｎ）は、以下のように算出される。
ＭＶ'ｙ（ｎ）＝（Ｇｒｙ（ｎ）＋Ｇｌｙ（ｎ））／２−Ｇｋｙ（ｎ）

【0048】

次に、ステップＳ８０３において、ステップＳ８０２で算出した動きベクトルＭＶ'（ｎ）の垂直成分ＭＶ'ｙ（ｎ）の符号と、動きベクトル算出部７３が算出した動きベクトルＭＶ（ｎ）の垂直成分ＭＶｙ（ｎ）の符号とを比較する。ステップＳ８０３では、以下に示す論理式を用いて比較を実施する。
（（ＭＶｙ（ｎ）≧０）＆＆（ＭＶ'ｙ（ｎ）≧０））｜｜
（（ＭＶｙ（ｎ）＜０）＆＆（ＭＶ'ｙ（ｎ）＜０））
ここで、演算子'＆＆'は論理積を実施する演算子とし、演算子'｜｜'は論理和を実施する演算子とする。

【0049】

この比較の結果、上記論理式の条件を満たす場合は、垂直視差を軽減するために対象物を移動しても、動きベクトルと移動方向とが同一であり、視聴者が違和感を覚えることはない。そこで、ステップＳ６０６で算出した移動ベクトルをそのまま用いることができるため、ステップＳ６０９に進む。

【0050】

一方、ステップＳ８０３の比較の結果、上記論理式の条件を満たさない場合は、対象物をそのまま移動させると動きベクトルと干渉し、視聴者が違和感を覚えるおそれがある。そこで、ステップＳ８０４において、移動先の再設定と移動ベクトルの再算出とを実施する。移動先の再設定及び移動ベクトルの再算出は、動きベクトルＭＶ（ｎ）の垂直成分ＭＶｙ（ｎ）の符号を基に、以下に示す規準で実施する。

【0051】

（１）（ＭＶｙ（ｎ）＜０）＆＆（Ｇｌｙ（ｎ）＜Ｇｒｙ（ｎ））である場合は、移動先を左眼映像２１上の対象物の位置とする。すなわち、右眼映像における移動ベクトルを｛０，（Ｇｌｙ（ｎ）−Ｇｒｙ（ｎ））／２｝とし、左眼映像における移動ベクトルを｛０，０｝とする。

【0052】

（２）（ＭＶｙ（ｎ）＜０）＆＆（Ｇｌｙ（ｎ）≧Ｇｒｙ（ｎ））である場合は、移動先を右眼映像２０上の対象物の位置とする。すなわち、右眼映像における移動ベクトルを｛０，０｝とし、左眼映像における移動ベクトルを｛０，（Ｇｒｙ（ｎ）−Ｇｌｙ（ｎ））／２｝とする。

【0053】

（３）（ＭＶｙ（ｎ）≧０）＆＆（Ｇｌｙ（ｎ）＜Ｇｒｙ（ｎ））である場合は、移動先を右眼映像２０上の対象物の位置とする。すなわち、右眼映像における移動ベクトルを｛０，０｝とし、左眼映像における移動ベクトルを｛０，（Ｇｒｙ（ｎ）−Ｇｌｙ（ｎ））／２｝とする。

【0054】

（４）（ＭＶｙ（ｎ）≧０）＆＆（Ｇｌｙ（ｎ）≧Ｇｒｙ（ｎ））である場合は、移動先を左眼映像２１上の対象物の位置とする。すなわち、右眼映像における移動ベクトルを｛０，（Ｇｌｙ（ｎ）−Ｇｒｙ（ｎ））／２｝とし、左眼映像における移動ベクトルを｛０，０｝とする。

【0055】

ステップＳ６０９では、以上のようにステップＳ８０４で再算した移動ベクトルを用いて、識別子ｎの対象物を移動させることとなる。

【0056】

以上のように本実施形態によれば、動きベクトルを反映させて対象物の移動量及び移動方向を決定するようにした。これにより動いている対象物を含む立体映像に対しても違和感や疲労感をより軽減させることができる。

【0057】

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【符号の説明】

【0058】

１１ 対象物抽出部
１２ 映像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】