特許 6085688 立体画像を表示する装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6085688

(24)【登録日】2017年2月3日

(45)【発行日】2017年2月22日

(54)【発明の名称】立体画像を表示する装置および方法

(51)【国際特許分類】

   H04N 13/04 20060101AFI20170213BHJP

   H04N 13/00 20060101ALI20170213BHJP

   G06T 19/00 20110101ALI20170213BHJP

【ＦＩ】

   H04N13/04 560

   H04N13/00 220

   G06T19/00 F

【請求項の数】16

【全頁数】19

(21)【出願番号】特願2015-548145(P2015-548145)

(86)(22)【出願日】2012年12月24日

(65)【公表番号】特表2016-507936(P2016-507936A)

(43)【公表日】2016年3月10日

(86)【国際出願番号】CN2012087346

(87)【国際公開番号】WO2014100959

(87)【国際公開日】20140703

【審査請求日】2015年11月30日

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ソン，ジアンピン

(72)【発明者】

【氏名】ドウ，リン

(72)【発明者】

【氏名】シユイ，イエン

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 国際公開第２０１２／０５５８９２（ＷＯ，Ａ１）

【文献】 特表２０１３−５４５１８４（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１３１２３０（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／１６９３３６（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／０５４２５１（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／００９２４５０（ＵＳ，Ａ１）

【文献】 国際公開第２０１０／０３２３９９（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１０／００７４５９４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／０４

Ｈ０４Ｎ １３／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

第１の画像用の第１の立体画像および第２の画像用の第２の立体画像を取得するように構成された立体画像取得部と、
第２の画像から第１の画像を分離する境界を生成するように構成された境界生成部と、
前記第２の立体画像および前記生成された境界と前記第１の立体画像とを合成し、合成された立体画像を表示するように構成された表示部と、
を含む、立体表示装置であって、
前記境界生成部は、前記境界に隣接するコンテンツを含む境界領域を画定するように構成された境界領域画定部をさらに含み、前記境界領域は、前記境界に隣接する第１の立体画像および第２の立体画像内の所定数の画素を含む、前記立体表示装置。

【請求項2】

前記境界生成部は、前記境界領域内の各々の画素の座標および前記画素の深度範囲に基づいて前記境界領域内の画素の深度を決定することによって、深度情報を有する前記境界領域を生成するように構成された境界深度決定部をさらに含む、請求項１に記載の立体表示装置。

【請求項3】

前記境界深度決定部は、

【数2】

に従って画素の深度を決定し、ここで、ｘｍｉｎおよびｘｍａｘは、それぞれ、前記画素の最小ｘ座標および最大ｘ座標であり、ｄｍｉｎおよびｄｍａｘは、それぞれ、前記深度範囲の最小深度値および最大深度値である、請求項２に記載の立体表示装置。

【請求項4】

前記境界生成部は、前記第２の画像が前記第１の画像の前方または後方に見えるように前記第２の画像内の画素の深度を調節することによって、深度情報を有する境界領域を生成するように構成された境界深度決定部をさらに含む、請求項１に記載の立体表示装置。

【請求項5】

前記境界深度決定部は、前記第１の画像内の前記境界領域の最大深度値および前記第２の画像内の前記境界領域の最小深度値から導出される深度調節量だけ前記第２の画像内の画素の深度を増加させて前記第２の画像を前記第１の画像の前方に置く、請求項４に記載の立体表示装置。

【請求項6】

前記境界深度決定部は、前記第１の画像内の前記境界領域の最小深度値および前記第２の画像内の前記境界領域の最大深度値から導出される深度調節量だけ前記第２の画像内の画素の深度を減少させて前記第２の画像を前記第１の画像の後方に置く、請求項４に記載の立体表示装置。

【請求項7】

前記表示部は、一致するコンテンツの位置関係に基づいて、前記境界領域内のどの画素が前記第１の立体画像または前記第２の立体画像内に表示されるべきかを決定する、請求項１に記載の立体表示装置。

【請求項8】

第１の画像用の第１の立体画像および第２の画像用の第２の立体画像を取得することと、
前記第２の画像から前記第１の画像を分離する境界を生成することと、
前記第２の立体画像および前記生成された境界と前記第１の立体画像と合成することと、
前記合成された立体画像を表示することと、
を含む、立体画像を表示する方法であって、
前記境界を生成することは、前記境界に隣接するコンテンツを含む境界領域を画定することをさらに含み、前記境界領域は、前記境界に隣接する第１の立体画像および第２の立体画像内の所定数の画素を含む、前記立体画像を表示する方法。

【請求項9】

前記境界を生成することは、前記境界領域内の各々の画素の座標および前記画素の深度範囲に基づいて前記境界領域内の画素の深度を決定することによって、深度情報を有する前記境界領域を生成する境界深度を決定することをさらに含む、請求項８に記載の立体画像を表示する方法。

【請求項10】

前記境界深度を決定することは、

【数3】

に従って画素の深度を決定し、ここで、ｘｍｉｎおよびｘｍａｘは、それぞれ、前記画素の最小ｘ座標および最大ｘ座標であり、ｄｍｉｎおよびｄｍａｘは、それぞれ、前記深度範囲の最小深度値および最大深度値である、請求項９に記載の立体画像を表示する方法。

【請求項11】

前記境界を生成することは、前記第２の画像が前記第１の画像の前方または後方に見えるように前記第２の画像内の画素の深度を調節することによって、深度情報を有する境界領域を生成する境界深度を決定することをさらに含む、請求項８に記載の立体画像を表示する方法。

【請求項12】

前記境界深度を決定することは、前記第１の画像内の前記境界領域の最大深度値および前記第２の画像内の前記境界領域の最小深度値から導出される深度調節量だけ前記第２の画像内の画素の深度を増加させ、前記第２の画像を前記第１の画像の前方に置く、請求項１１に記載の立体画像を表示する方法。

【請求項13】

前記境界深度を決定することは、前記第１の画像内の前記境界領域の最小深度値および前記第２の画像内の前記境界領域の最大深度値から導出される深度調節量だけ前記第２の画像内の画素の深度を減少させ、前記第２の画像を前記第１の画像の後方に置く、請求項１１に記載の立体画像を表示する方法。

【請求項14】

前記表示することは、一致するコンテンツの位置関係に基づいて、前記境界領域内のどの画素が前記第１の立体画像または前記第２の立体画像内に表示されるべきかを決定する、請求項８に記載の立体画像を表示する方法。

【請求項15】

請求項８〜１４の少なくとも１項に従った方法を実施するプログラム・コード・インストラクションを含む、通信ネットワークからダウンロード可能な、および／または、コンピュータによって読み取り可能な媒体上に記録された、および／または、プロセッサによって実行可能なコンピュータ・プログラム。

【請求項16】

請求項８〜１４の少なくとも１項に従った方法を実施するプログラム・コード・インストラクションを含む、プロセッサによって実行可能なコンピュータ・プログラムが記憶された非一時的なコンピュータ読み取り可能な媒体。

【発明の詳細な説明】

【技術分野】

【0001】

開示された本発明は、概ね、コンテンツを表示することに関し、より具体的には、ディスプレイ上に複数の３次元画像を同時に表示することが可能なピクチャインピクチャ表示技術に関する。

【背景技術】

【0002】

２次元（２Ｄ）ピクチャインピクチャ（以下、略してＰＩＰと称する）機能を有する従来の表示装置においては、複数のソースからの入力信号は、表示装置の複数の領域にそれぞれ出力されるか、または、ＰＩＰ信号に処理され、その後に、このＰＩＰ信号が表示装置に出力される。これによって、ユーザは、単一の画面上にある複数の画像を同時に視聴することができる。

【0003】

例えば、ユーザが自己の大画面ＴＶ上でバスケットボールの試合を視聴しているとき、このユーザが、同時に、別のフットボールの試合の進行状況を知りたいと望むことがある。そこで、ＴＶシステムは、ＴＶの単一画面上に２つの番組を表示できる。しかしながら、ユーザがより詳細を見ることができるように、バスケットボールの試合のビューが画面の大部分を占めたり、画面全体を占めたりすることさえあり、その一方で、フットボールの試合は、画面の右下隅のより小さなウインドウ内に表示される。このウインドウは、バスケットボールの試合の表示領域のそば、または内部に存在する。ここで、バスケットボールの試合のビューは、主画像であり、フットボールの試合のビューは、副画像である。

【0004】

図１は、２Ｄ ＰＩＰモードにおいてＴＶによって提供される画像を示している。図１において、２Ｄ ＰＩＰモードにおいて、主画像１０２および副画像１０３がＴＶセット１０１上に同時に表示されている。このようなＰＩＰ機能は、単一の画面上で複数の画像を同時に見るというユーザの要求を満たすものでなければならない。

【0005】

よりリアルな視覚的効果を追求するために、（偏光眼鏡が必要な）空間多重偏光（space-multiplexed polarization ）方式の立体表示技術、（ライトバリュー眼鏡が必要な）時分割ライトバリュー（time-multiplexed light value）方式の立体表示技術、立体眼鏡が必要とならないマルチビュー立体表示技術など、近年、様々な立体表示技術が開発されている。上述した立体表示技術は、全て、肉眼による立体視の原理に基づいており、表示ハードウェアおよび画像処理ソフトウェアを改良するための努力がなされ、左眼で見るように意図された視聴者の画像が左眼に入り、右眼で見るように意図された画像が視聴者の右眼に入ることにより、立体ピクチャが視聴者の脳内で生成されるようにしている。

【0006】

３Ｄ立体表示の基本的な考え方は、１９世紀に登場した。我々の頭部上で、２つの眼は、概ね６．５ｃｍ離れている。各眼は、視聴しているシーンを若干異なる視野角で見て、異なる視点を提供する。そこで、我々の脳は、シーン内の奥行きの感覚を我々の眼を通じて観察される２つのビューに基づいて生成することができる。

【0007】

図２は、３Ｄ立体表示を図示する例示的なコンセプトを示している。この図において、Ｚは、知覚される物体の奥行き方向を表し、Ｄは、画面までの距離を表す。４つの物体として、車、円柱、木、および箱が存在する。車は、画面の前方で知覚され、円柱は画面上で知覚され、木は、画面の後方で知覚され、箱は無限の距離で知覚される。大抵の近年の３Ｄディスプレイは、３Ｄ立体コンセプトに基づいて構築されるが、ディスプレイ間の主な違いは、２つのビューをそれぞれ左眼と右眼に分ける方法にある。

【0008】

しかしながら、視聴者が３Ｄディスプレイ上の３Ｄコンテンツを視聴する際に前方または後方に移動する場合には、図３において、３Ｄディスプレイ上の同一の表示される立体ポイントＰＬおよびＰＲに対し、視点位置１および視点位置２に対応する知覚されるポイントＰ１およびＰ２で示されているように、所与のポイントの知覚される深度が小さくなったり大きくなったりする。したがって、より正確に表現するために、多くの技術文献において、深度に置き換わるものとして、視差、すなわち、Ｐ_ＬとＰ_Ｒとの間の距離が使用されている。しかしながら、依然として、理解のしやすさから、多くの場合に深度も使用されている。

【0009】

関連技術としては、Ｍａｒｃｏ ＡｃｃａｍｅおよびＦｒａｎｃｅｓｃｏ Ｄｅ Ｎａｔａｌｅ著“Ｄｉｓｐａｒｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｓｔｅｒｅｏ ｓｅｑｕｅｎｃｅｓ ｂａｓｅｄ ｏｎ ａｄａｐｔｉｖｅ ｓｉｚｅ ｈｉｅｒａｒｃｈｉｃａｌ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ（適応的サイズ階層型ブロック・マッチングに基づく立体シーケンスのための視差推定）”（第８回国際会議議事録、ＩＣＩＡＰ’９５ Ｓａｎ Ｒｅｍｏ、イタリア、１９９５年９月１３日〜１５日）と、Ｈｏｎｇｓｈｉ ＹａｎおよびＪｉａｎ Ｇｕｏ Ｌｉｕ著“Ｒｏｂｕｓｔ Ｐｈａｓｅ Ｃｏｒｒｅｌａｔｉｏｎ Ｂａｓｅｄ Ｓｕｂ−ｐｉｘｅｌ Ｄｉｓｐａｒｉｔy Ｅｓｔｉｍａｔｉｏｎ（ロバストな位相相関ベースのサブピクセル視差推定）”（第４回ＳＥＡＳ ＤＴＣ技術会議−Ｅｄｉｎｂｕｒｇｈ ２００９年）および国際公開第２０１２／０５５８９２号を参照されたい。

【発明の概要】

【0010】

従来の２Ｄ ＰＩＰ技術を立体表示装置に直接適用する場合には、いくつかの問題がある。問題の１つは、視聴者にとって、主画像のコンテンツと副画像のコンテンツとを、特に、２つの画像間の境界に隣接するそれぞれのコンテンツを混同しやすい点である。別の問題は、視聴者が、２つの画像間の境界に隣接するいくつかのコンテンツについては、立体的なビュー（立体視）を見ることができない点である。

【0011】

上述した問題を解決するために、本発明の１つの目的は、２Ｄ ＰＩＰモードにおける立体視を表示するいくつかの技術を提供することにある。

【0012】

開示された発明の一態様は、立体表示装置に関し、この立体表示装置は、第１の画像用の第１の立体画像および第２の画像用の第２の立体画像を取得するように構成された立体画像取得部と、第２の画像から第１の画像を分離する境界を生成するように構成された境界生成部と、第２の立体画像および生成された境界と第１の立体画像とを合成し、合成された立体画像を表示するように構成された表示部と、を含む。

【0013】

開示された発明の別の態様は、立体画像を表示する方法に関し、この方法は、第１の画像用の第１の立体画像および第２の画像用の第２の立体画像を取得するステップと、第２の画像から第１の画像を分離する境界を生成するステップと、第２の立体画像および生成された境界と第１の立体画像とを合成するステップと、合成された立体画像を表示するステップと、を含む。

【図面の簡単な説明】

【0014】

【図1】２Ｄ ＰＩＰモードにおけるＴＶによって提供される画像を示す図である。

【図2】３Ｄ立体ディスプレイの例示的な概念図である。

【図3】種々の距離から視聴した場合の種々の３Ｄ深度値を例示的に描いた図である。

【図4A】主画像および副画像の例示的な構成を示す図である。

【図4B】主画像および副画像の例示的な構成を示す図である。

【図5A】主画像と副画像との間に設けられる例示的な境界を示す図である。

【図5B】主画像と副画像との間に設けられる例示的な境界を示す図である。

【図6】本発明の一実施形態に係る立体表示装置の例示的な構成を示す図である。

【図7】本発明の一実施形態に係る立体画像を表示する例示的な方法を描いたフローチャートである。

【図8】本発明の一実施形態に係る立体画像を表示する例示的な方法を描いたフローチャートである。

【図9】画素の深度と画素の座標との間のリニア・マッピングの例を示した図である。

【図10A】境界の部分が２つの画像を横並びに分離する例示的な場合を示す図である。

【図10B】境界の部分が２つの画像を横並びに分離する例示的な場合を示す図である。

【図11】本発明の一実施形態に係る立体画像を表示する例示的な方法を描いたフローチャートである。

【図12】本発明の一実施形態に係る例示的な立体ビュー（立体視）を示す図である。

【図13A】本発明の一実施形態に係る立体視の左側のビューを示す図である。

【図13B】本発明の一実施形態に係る立体視の右側のビューを示す図である。

【図14A】本発明の一実施形態に係る立体視の左側のビューを示す図である。

【図14B】本発明の一実施形態に係る立体視の右側のビューを示す図である。

【図14C】本発明の一実施形態に係る立体視の左側のビューを示す図である。

【図14D】本発明の一実施形態に係る立体視の右側のビューを示す図である。

【図15】本発明の一実施形態に係る立体画像を表示する例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して本発明の特定の例示的な実施形態をより詳細に説明する。以下の説明は、限定的な意味で解釈されるものではなく、単に、例示的な実施形態の一般的な原理を記載することを目的としている。

【0016】

以下の説明において、複数の異なる図面内であっても同じ要素に対し、同じ参照符号が使用されている。詳細な構成および要素など、本明細書中で規定される主題は、本発明の包括的な理解を助けるために提供されている。したがって、本発明の例示的な実施形態が具体的に規定された主題を有することなく実施可能であることが明らかであろう。さらに、公知の構造、材料、または処理については、本発明の態様が明確でなくなることを回避するために、図示や説明を行わない。

【0017】

明細書全体にわたった「一実施形態」、「実施形態」、または、同様の文言は、実施形態に関連して記載された特定の特徴、構造、特性が本発明の少なくとも一実施形態に含まれることを意味する。明細書全体にわたって存在する記載「一実施形態においては」、「実施形態においては」、および同様の表現は、必ずしも全てが同一の実施形態を参照するものではない。

【0018】

図４に示されているように、従来の２Ｄ ＰＩＰアプリケーションにおいては、複数のピクチャがピクチャインピクチャまたはピクチャバイピクチャとして表示されている。図４Ａにおいて、副画像２０２が主画像２０１の表示領域に表示され、副画像２０３が主画像２０１の表示領域の右下隅に表示されている。図４Ｂにおいて、主画像２１１、副画像２１２、および副画像２１３が横並びに表示されている。

【0019】

このような従来の２Ｄ ＰＩＰ技術を直接立体表示装置に適用する際には、いくつかの問題が存在する。この問題のうちの１つは、視聴者にとって、３Ｄ空間内の主画像と副画像との間でコンテンツを区別すること、特に、２つの画像の境界でコンテンツを区別することが難しい点である。

【0020】

本発明の一実施形態においては、追加境界を追加して２つの画像を分離する。図５Ａに示されているように、主画像３０１と副画像３０２とを分離するために、追加境界３１２が使用される。境界は、視聴者が容易に主画像３０１内のコンテンツと副画像３０２内のコンテンツとを区別できるように十分な幅を有するとよい。境界３１２は、どのような色でもよいし、複数の色を組み合わせてもよいし、またはピクチャのストライプであってもよい。

【0021】

本発明の一実施形態においては、２Ｄ境界を使用することができる。本発明の別の実施形態においては、３Ｄ境界を使用することができる。一実施形態においては、３Ｄ境界の深度は一定である。本発明の一実施形態においては、３Ｄ境界の深度は、境界に隣接するコンテンツの深度に従って動的に変化させてもよい。

【0022】

以下、本発明の実施形態に係る立体表示装置を詳細に説明する。以下の実施形態においては、２つの画像、すなわち、第１の画像および第２の画像を分離するために追加境界が追加され、視聴者が３Ｄ空間内の第１の画像と第２の画像と間でコンテンツを容易に区別できるようにする。ＰＩＰ表示モードにおいて、第１の画像を主画像とし、第２の画像を副画像とすることができる。立体表示装置は、ＴＶセット、パーソナル・コンピュータ、スマート・フォン、タブレット、または、データや情報を表示するための表示装置を含むどのような他の装置であってもよい。

【0023】

図６は、本発明の一実施形態に係る立体表示装置の例示的な構成を示す図である。

【0024】

図６を参照すると、立体表示装置１００は、立体画像取得部１１０と、境界生成部１２０と、表示部１３０と、を含む。

【0025】

立体画像取得部１１０は、内部ソースまたは外部ソース１１５から、第１の画像用の第１の立体画像と第２の画像用の第２の立体画像を取得する。通常は、ＰＩＰモードにおいて、第１の画像および第２の画像を、それぞれ、主画像および副画像とすることができる。３Ｄ表示において、立体画像取得部１１０は、さらに、これらの立体画像のための深度情報または深度マップを一緒に取得する。

【0026】

境界生成部１２０は、第２の画像から第１の画像を分離するための境界を生成する。一実施形態においては、境界生成部１２０は、境界領域決定部１２１および境界深度決定部１２２を含む。

【0027】

境界領域決定部１２１は、境界に隣接するコンテンツを含む境界領域を決定する。境界領域は、境界の周囲の画素の幅を有する。例えば、境界領域は、境界に隣接する第１の立体画像および第２の立体画像内において所定数の画素を含むことがある。換言すれば、境界領域は、第１の立体画像内のいくつかの画素、境界自体、さらに、第２の立体画像内のいくつかの画素から構成される。

【0028】

境界深度決定部１２２は、境界領域内の各画素の座標と画素の深度範囲とに基づいて境界内の画素の深度を決定することによって、深度情報を有する境界領域を生成する。深度情報を有する境界領域を使用して、立体表示装置１００は、例えば、幅および高さを有する壁のような境界を表示することによって、境界を３次元的に表示することができる。

【0029】

表示部１３０は、第２の立体画像および生成された境界を第１の立体画像と合成し、表示装置１３５上に合成された立体画像を表示する。

【0030】

図７は、本発明に一実施形態に係る立体画像を表示する例示的な方法を描いたフローチャートである。

【0031】

図７を参照すると、ステップ１０１において、立体画像取得部１１０は、内部ソースまたは外部ソースから第１の画像用の第１の立体画像を取得する。

【0032】

ステップ１０２において、立体画像取得部１１０は、内部ソースまたは外部ソースから第２の画像用の第２の立体画像を取得する。

【0033】

ステップ１０３において、境界生成部１２０は、ＰＩＰモードで第２の画像から第１の画像を分離する境界を生成する。境界は、境界自体であってもよいし、上述した境界領域から構成されてもよい。

【0034】

ステップ１０４において、表示部１３０は、第１の画像、第２の画像、および境界または境界領域を合成する。例えば、表示部１３０は、第２の画像および境界または境界領域を第１の画像内の所定の位置に重畳させることができる。

【0035】

ステップ１０５において、表示部１３０は、合成された立体画像を表示装置上に表示する。

【0036】

図８〜図１０を参照して本発明の別の実施形態に係る別の実施形態に係る立体表示装置を説明する。本実施形態において、第１の画像および第２の画像中の隣接するコンテンツの深度に基づいて動的に変化する深度を有する３Ｄ境界が使用される。

【0037】

図８は、本発明の一実施形態に係る３Ｄ境界の深度を動的に変更する例示的な方法を示すフローチャートである。

【0038】

ステップ４０１において、主画像および副画像の双方のための立体画像が取得される。画像コンテンツは、左眼用のビューおよび右眼用のビューの画像ペアであってもよい。コンピュータ・グラフィックスについては、３Ｄモデルおよび（カメラ間距離および焦点距離を含む）レンダリング方法が取得される。次に、主画像と副画像との間の境界に隣接するコンテンツが画定される。図５Ｂに示されているように、境界３１２に隣接する主画像３０１内のコンテンツ３１１と副画像３０２内のコンテンツ３１３との間の狭幅または広幅の領域が画定される。例えば、コンテンツ３１１は、境界３１２からの所定数の画素の厚みで境界３１２を外側から囲む主画像３０１内の外側領域として画定することができる。コンテンツ３１３は、境界３１２から所定数の画素の厚みで境界を内側から囲む副画像３０２内の内部領域として画定することができる。この場合、狭幅領域をコンテンツ３１１、境界３１２、およびコンテンツ３１３から構成される領域として決定することができる。さらに、コンテンツ３１１および３１３の厚みを、例えば、画面サイズおよび／またはコンテンツ３１１および３１３の類似度に依存して、動的に決定することができる。さらに、コンテンツ３１１および３１３の厚みをユーザの操作を通じて調節することができる。ユーザが主画像３０１および副画像３０２をうまく区別することができない場合には、コンテンツ３１１および３１３の厚みをより大きく設定することができる。しかしながら、本発明に係る狭幅領域の画定は、これに限定されるものではなく、他のどのような適切な画定方法を適用することもできる。

【0039】

ステップ４０２において、主画像３０１および副画像３０２の双方内に含まれる境界３１２に隣接する、コンテンツ３１１および３１３の深度マップが取得される。深度マップは、適切な従来のいかなる方法で取得してもよい。画像コンテンツについては、各画素の深度は、キャプチャするときに記録することができる。立体画像ペアが深度情報無しにキャプチャされる場合には、ブロック・マッチングおよび位相相関を含め、従来技術において、この深度マップを取得するための幾つかの既存の方法がある。コンピュータ・グラフィックスを使用して生成されたコンテンツについては、３Ｄモデルおよびレンダリング方法の情報が与えられれば、分析的な計算を通じて深度マップを取得することができる。

【0040】

ステップ４０３において、境界に隣接するコンテンツ３１１および３１３の深度範囲が計算される。図９に示されているように、深度範囲は、境界３１２に隣接するコンテンツ３１１および３１３の最小深度ｄ_ｍｉｎおよび最大深度ｄ_ｍａｘを示している。

【0041】

ステップ４０４において、深度範囲に基づいて境界３１２の深度マップが決定される。境界３１２の深度マップを決定するには、多数の方法がある。図９は、画素の深度と画素の座標との間のリニア・マッピングの例を示している。図１０Ａおよび図１０Ｂは、境界６１０の部分が２つの画像を横並びに分離する場合を示している。主画像６０１と副画像６０２とを横並びに分離する境界６１０上の画素６２０について、画素６２０の深度ｄがそのｘ座標ｘによって以下のように計算される。

【数1】

ここで、ｘ_ｍｉｎおよびｘ_ｍａｘは、それぞれ、水平線６３０上の画素の最大および最小のｘ座標であり、ｄ_ｍｉｎおよびｄ_ｍａｘは、それぞれ、ステップ４０３で取得された深度範囲における最大および最小の深度値である。立体表示では、境界６１０の部分は、図１０Ｂに示されているように、２つの画像間の壁のように見え、視聴者が主画像６０１のコンテンツと副画像６０２のコンテンツとを混同しないようにするものである。

【0042】

ステップ４０５において、ステップ４０４で取得された深度マップにより、視聴者に対し、壁のように見える追加境界がレンダリングされ、表示される。

【0043】

図１１〜１２を参照して本発明の別の実施形態に係る立体表示装置を説明する。本実施形態においては、副画像の深度を動的に調節して、副画像の周囲の主画像の全ての画素が常に境界に隣接する副画像の画素の前方または後方にあるようにする。結果として、２つの画像の境界上には明らかな深度の変化があり、視聴者は、一方の画像のコンテンツと他方の画像のコンテンツとを混同することがなくなる。

【0044】

本実施形態において、２つの画像を分離するこのような追加境界を設ける代わりに、本発明のある実施形態においては、副画像６０２の深度を動的に調節して、副画像６０２の周囲の主画像６０１の全ての画素が常に境界６１０に隣接する副画像６０２の画素の前方または後方にあるようにする。結果として、２つの画像の境界６１０上には明らかな深度の変化があり、視聴者は、一方の画像のコンテンツと他方の画像のコンテンツとを混同することがなくなる。

【0045】

図１１は、本発明の別の実施形態に係る３Ｄ境界の深度を動的に変更する例示的な方法のフローチャートである。

【0046】

図１１を参照すると、ステップ７０１において、主画像用の立体画像および副画像用の立体画像がそれぞれ取得される。画像コンテンツは、左眼用のビューおよび右眼用のビューの画像ペアとすることができる。コンピュータ・グラフィックスについては、３Ｄモデルおよび（カメラ間距離および焦点距離を含む）レンダリング方法が取得される。次に、主画像と副画像との間の境界に隣接するそれぞれのコンテンツが画定される。図１２に示されているように、主画像８０１内のコンテンツ８１１および副画像内８０２内のコンテンツ８１３からなる狭幅領域が画定される。

【0047】

ステップ７０２において、２つの画像の境界領域のコンテンツ８１１およびコンテンツ８１３の深度マップがそれぞれ取得される。画像コンテンツについては、各画素の深度は、キャプチャするときに記録することができる。立体画像ペアが深度情報無しにキャプチャされている場合には、ブロック・マッチングおよび位相相関を含む、従来技術において、この深度マップを取得するための幾つかの既存の方法がある。コンピュータ・グラフィックスを使用して生成されたコンテンツについては、３Ｄモデルおよびレンダリング方法の情報が与えられれば、分析的な計算を通じて深度マップを取得することができる。

【0048】

ステップ７０３において、２つの画像の境界領域のコンテンツ８１１およびコンテンツ８１３の深度範囲がそれぞれ計算される。主画像８０１の境界領域の深度範囲が最小深度ｄ_{ｍａｉｎ＿ｍｉｎ}および最大深度ｄ_{ｍａｉｎ＿ｍａｘ}によって規定され、副画像８０２の境界領域の深度範囲が最小深度ｄ_{ｓｕｂ＿ｍｉｎ}および最大深度ｄ_{ｓｕｂ＿ｍａｘ}によって規定される。

【0049】

次に、ステップ７０４において、深度調節量δが深度差の閾値ｄ_{ｔｈｒｅｓｈｏｌｄ}に基づいて決定される。深度差の閾値ｄ_{ｔｈｒｅｓｈｏｌｄ}により、特定の度合いで副画像８０２が主画像８０１の前方または後方にあるようにする。深度差の閾値ｄ_{ｔｈｒｅｓｈｏｌｄ}は、ユーザによって入力することもできるし、システムによって予め規定することもできる。

【0050】

副画像８０２が主画像８０１の前方にあるように設定される場合には、深度調節量δは、以下のように計算される。
δ＝ｄ_{ｍａｉｎ＿ｍａｘ} ＋ ｄ_{ｔｈｒｅｓｈｏｌｄ} − ｄ_{ｓｕｂ＿ｍｉｎ}
（ｄ_{ｍａｉｎ＿ｍａｘ} ＋ ｄ_{ｔｈｒｅｓｈｏｌｄ} ＞ ｄ_{ｓｕｂ＿ｍｉｎ}である場合）
または
δ＝０
（ｄ_{ｍａｉｎ＿ｍａｘ} ＋ ｄ_{ｔｈｒｅｓｈｏｌｄ} ≦ ｄ_{ｓｕｂ＿ｍｉｎ}である場合）

【0051】

副画像８０２が主画像８０１の後方にあるように設定される場合には、深度調節値δは以下のように計算される。
δ＝ｄ_{ｓｕｂ＿ｍａｘ} − ｄ_{ｍａｉｎ＿ｍｉｎ} ＋ ｄ_{ｔｈｒｅｓｈｏｌｄ}
（ｄ_{ｍａｉ＿ｍiｎ} ― ｄ_{ｔｈｒｅｓｈｏｌｄ} ≦ ｄ_{ｓｕｂ＿ｍａｘ}である場合）
または
δ＝０
（ｄ_{ｍａｉｎ＿ｍiｎ} ― ｄ_{ｔｈｒｅｓｈｏｌｄ} ＞ ｄ_{ｓｕｂ＿ｍａｘ}である場合）

【0052】

ステップ７０５において、副画像８０２の深度が調節される。副画像８０２が主画像８０１の前方にあるように設定される場合には、副画像８０２の各画素の深度が深度調節量δだけ増加される。副画像８０２が主画像８０１の後方にあるように設定される場合には、副画像８０２の各画素の深度が深度調節量δだけ減少される。

【0053】

次に、ステップ７０６において、主画像８０１および調節された副画像８０２がレンダリングおよび表示される。

【0054】

図１３〜１５を参照して本発明の別の実施形態に係る立体表示装置を説明する。本実施形態においては、副画像内の幾つかの画素が主画像内の画素によって隠され、視聴者に対し、２つの画像間の境界に隣接するコンテンツのより立体感のあるビューを提供することにより、視覚的な効果を改善する。従来の２Ｄ ＰＩＰ技術を立体表示装置に適用する際の別の主要な問題は、視聴者が２つの画像間の境界に隣接するいくつかのコンテンツに対しては、立体的なビュー（立体視）を見ることができない点である。

【0055】

図１３Ａおよび図１３Ｂは、３Ｄシーンの左眼画像および右眼画像をそれぞれ示している。主画像９０１内の矩形の物体の左側のビュー９１１が左眼画像内に表示されている。しかしながら、右眼画像内においては、主画像９０１内の矩形の物体の右側のビュー９１２は、副画像９０２の表示領域内にある。副画像９０２がなければ、矩形の物体の左側のビュー９１１および右側のビュー９１２は視聴者の左眼および右眼によってそれぞれ視聴される。結果として矩形の物体の立体視が視聴者の脳内で生成され、視聴者は、画面内に沈み込んだ矩形の物体を見る。副画像９０２が表示されると、視聴者は、自己の左眼によって矩形の物体の左側のビューしか見ることができない。したがって、視聴者は、矩形の物体の立体視を見ることはない。視聴者は、画面内に沈み込んだ矩形の物体ではなく、むしろ、単に画面上にある矩形の物体を見るだけである。

【0056】

物体の左側のビューが副画像９０１によって遮蔽されている場合にも同様の問題が発生する。図１３Ａに示されているように、円形の物体の左側のビュー９２１は、副画像９０２の表示領域内にある。副画像９０２がなければ、円形の物体の左側のビュー９２１および右側のビュー９２２が視聴者の左眼および右眼によってそれぞれ視聴される。結果として、円形の物体の立体視が視聴者の脳内に生成され、視聴者は、画面外に円形の物体を見る。副画像が表示されると、視聴者は、自己の右眼によって円形の物体の右側のビューしか見ることができない。したがって、視聴者は、円形の物体の立体視を見ることはない。視聴者は、画面外で円形の物体を見るのではなく、むしろ、単に画面上で円形の物体を見るだけである。

【0057】

よりリアルな視覚的な効果を追求するために、本発明の実施形態においては、境界に隣接する主画像のコンテンツの立体視覚の損失を低減する方法が使用される。この方法は、主画像と副画像との間の境界に隣接するコンテンツを処理し、各画素のどのビューを無視すべきで、表示しないかを決定する。

【0058】

図１４Ｂに示されているように、主画像１００１内の矩形の物体の右側のビュー１０１２は、副画像１００２によって遮蔽され、図１４Ｃにおいて、副画像１００２内の三角形の物体の左側のビュー１０２１は、範囲外であるため、キャプチャの間または後処理の段階で切り取られる。したがって、視聴者は、矩形の物体および三角形の物体の双方の立体視を見ることはない。しかしながら、主画像１００１の矩形の物体の右側のビュー１０１２が、副画像１００２の三角形の物体の右側のビュー１０２２と同じ画面位置に表示されていることをシステムが見つけると、システムは、副画像１００２の三角形の物体の右側のビュー１０２２を無視する一方で、副画像１００２の表示領域内の主画像１００１の矩形の物体の右側のビュー１０１２を表示する。したがって、視聴者は、三角形の物体のビューを見ることはない。しかしながら、視聴者は、矩形の物体の左側のビューと右側のビューの双方を見ることができる。結果として、三角形の物体が隠され、矩形の物体の立体視が視聴者によって視聴される。三角形の物体は、副画像１００２の周縁にあり、通常、副画像１００２の解像度は低い。したがって、三角形の物体が欠落していても、視聴者に与える視覚的な効果には殆ど影響を及ぼさない。しかしながら、矩形の物体は、関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）が通常位置する主画像１００１の中央にあり、通常、主画像１００１の解像度は高い。したがって、矩形の物体の立体視を復元することで、視聴者に与える視覚的な効果が大幅に改善する。

【0059】

図１５は、本発明の一実施形態に係る例示な方法のフローチャートである。

【0060】

図１５を参照すると、ステップ１１０１において、主画像１００１の左側のビューおよび右側のビューの各々について、主画像１００１と副画像１００２との間の境界に隣接する画素ｐ_ｍ１が取得される。

【0061】

ステップ１１０２において、システムは、主画像１００１の第２のビュー内で、画素ｐ_ｍ１と一致する画素ｐ_ｍ２を探す。従来技術において、一致する画素ｐ_ｍ２をサーチする幾つかの既存の方法が存在する。一致する画素ｐ_ｍ２が見つからなかった場合には、システムは、境界に隣接する主画像１００１の他の画素の処理を継続する。見つかった場合には、システムは、２つの画素のうちの一方が副画像１００２の表示領域内にあるが、他方が副画像１００２の表示領域内にないかどうかをチェックする。ステップ１１０３において、システムが、第１のビュー内の画素ｐ_ｍ１が副画像１００２の表示領域内にないが、第２のビュー内の一致する画素ｐ_ｍ２が副画像１００２の表示領域内にあることを把握すると、ステップ１１０４において、副画像１００２の第２のビュー内の画素ｐ_ｍ２と同じ位置にある画素ｐ_ｓ２が取得される。

【0062】

次に、システムは、ステップ１１０５において、副画像１００２の第１のビュー内で、画素ｐ_ｓ２と一致する画素ｐ_ｓ１を探す。ステップ１１０６において、副画像１００２の第１のビュー内に画素ｐ_ｓ２と一致する画素ｐ_ｓ１が存在しなければ、システムは、ｐ_ｓ２を無視する一方で、画素ｐ_ｍ２を表示する。換言すれば、画素ｐ_ｓ２が画素ｐ_ｍ２によって隠される。

【0063】

その一方で、ステップ１１０７において、副画像１００２の表示領域内で第１のビュー内の画素ｐ_ｍ１が副画像１００２の表示領域内にあり、第２のビュー内の一致する画素ｐ_ｍ２が副画像１００２の表示領域内にないことをシステムが把握すると、ステップ１１０８において、副画像１００２の第１のビュー内の画素ｐ_ｍ１と同じ位置にある画素ｐ_ｓ１が取得される。

【0064】

次に、ステップ１１０９において、システムは、副画像１００２の第２のビュー内で、画素ｐ_ｓ１と一致する画素ｐ_ｓ２を探す。ステップ１１１０において、副画像の第２のビュー内に画素ｐ_ｓ１と一致する画素ｐ_ｓ２が存在しない場合には、システムは、画素ｐ_ｓ１を無視して、画素ｐ_ｍ１を表示する。換言すれば、画素ｐ_ｓ１は、画素ｐ_ｍ１によって隠される。

【0065】

特定の実施形態を参照して本発明を説明したが、実施形態は、単に例示的なものであり、当業者の考案によって、改変、変形、変更、および置き換えを施すことができる。上述した説明において、本発明のより良好な理解のために、いくつかの特定の数値が使用されている。しかしながら、特別な記載がない限りこれらの数値は、単に例示的なものに過ぎず、他のどのような適切な値を使用することもできる。実施形態または特徴を区分することは本発明にとって必要不可欠なことではなく、必要に応じて、２つ以上の実施形態または特徴を組み合わせることができる。代替的には、（矛盾が生じなければ）或る特徴を別の特徴に適用することができる。説明を簡便にするために、機能ブロック図を参照して実施形態に係る立体表示装置を説明したが、ハードウェア、ソフトウェア、または、ハードウェアとソフトウェアとを組み合わせて立体表示装置を実施することもできる。ソフトウェアは、ＲＡＭ（ランダム・アクセス・メモリ）、フラッシュ・メモリ、ＲＯＭ（読み出し専用メモリ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク・ドライブ（ＨＤＤ）、着脱可能なディスク、ＣＤ−ＲＯＭ、データベース、およびサーバなど、どのような適切な記憶媒体に記憶してもよい。

【0066】

本発明は上述した実施形態に限定されるものではなく、本発明の精神を逸脱することなく、当業者によって、改変、変形、変更、および置き換えを施すことができる。
ここでいくつかの付記を記載する。
（付記１）
第１の画像用の第１の立体画像および第２の画像用の第２の立体画像を取得するように構成された立体画像取得部と、
第２の画像から第１の画像を分離する境界を生成するように構成された境界生成部と、
前記第２の立体画像および前記生成された境界と前記第１の立体画像とを合成し、合成された立体画像を表示するように構成された表示部と、を含む、立体表示装置。
（付記２）
前記境界生成部は、前記境界に隣接するコンテンツを含む境界領域を画定するように構成された境界領域画定部をさらに含み、前記境界領域は、前記境界に隣接する第１の立体画像および第２の立体画像内の所定数の画素を含む、付記１に記載の立体表示装置。
（付記３）
前記境界生成部は、前記境界領域内の各々の画素の座標および前記画素の深度範囲に基づいて前記境界領域内の画素の深度を決定することによって、深度情報を有する前記境界領域を生成するように構成された境界深度決定部をさらに含む、付記２に記載の立体表示装置。
（付記４）
前記境界深度決定部は、

【数4】

に従って画素の深度を決定し、ここで、ｘｍｉｎおよびｘｍａｘは、それぞれ、前記画素の最小ｘ座標および最大ｘ座標であり、ｄｍｉｎおよびｄｍａｘは、それぞれ、前記深度範囲の最小深度値および最大深度値である、付記３に記載の立体表示装置。
（付記５）
前記境界生成部は、前記第２の画像が前記第１の画像の前方または後方に見えるように前記境界領域内の画素の深度を調節することによって、深度情報を有する境界を生成するように構成された境界深度決定部をさらに含む、付記２に記載の立体表示装置。
（付記６）
前記境界深度決定部は、前記第１の画像内の前記境界領域の前記最大深度および前記第２の画像内の前記境界領域の前記最小深度から導出される深度調節量だけ前記第２の画像内の前記境界領域内の画素の深度を増加させて前記第２の画像を前記第１の画像の前方に置く、付記５に記載の立体表示装置。
（付記７）
前記境界深度決定部は、前記第１の画像内の前記境界領域の前記最小深度および前記第２の画像内の前記境界領域の前記最大深度から導出される深度調節量だけ前記第２の画像内の前記境界領域内の画素の深度を減少させて前記第２の画像を前記第１の画像の後方に置く、付記５に記載の立体表示装置。
（付記８）
前記表示部は、一致するコンテンツの位置関係に基づいて、前記境界領域内のどの画素が前記第１の立体画像または前記第２の立体画像内に表示されるべきかを決定する、付記２に記載の立体表示装置。
（付記９）
第１の画像用の第１の立体画像および第２の画像用の第２の立体画像を取得することと、
前記第２の画像から前記第１の画像を分離する境界を生成することと、
前記第２の立体画像および前記生成された境界と前記第１の立体画像と合成することと、
前記合成された立体画像を表示することと、を含む、立体画像を表示する方法。
（付記１０）
前記境界を生成するステップは、前記境界に隣接するコンテンツを含む境界領域を画定することをさらに含み、前記境界領域は、前記境界に隣接する第１の立体画像および第２の立体画像内の所定数の画素を含む、付記９に記載の立体画像を表示する方法。
（付記１１）
前記境界を生成するステップは、深度情報を有する前記境界領域を、前記境界領域内の各々の画素の座標および前記画素の深度範囲に基づいて前記境界領域内の画素の深度を決定することによって生成することをさらに含む、付記９に記載の立体画像を表示する方法。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13A】

【図13B】

【図14A】

【図14B】

【図14C】

【図14D】

【図15】