特許 5729915 多視点映像表示装置、多視点映像表示方法及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5729915

(24)【登録日】2015年4月17日

(45)【発行日】2015年6月3日

(54)【発明の名称】多視点映像表示装置、多視点映像表示方法及び記憶媒体

(51)【国際特許分類】

   H04N 13/04 20060101AFI20150514BHJP

【ＦＩ】

   H04N13/04 770

   H04N13/04 020

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2010-88637(P2010-88637)

(22)【出願日】2010年4月7日

(65)【公開番号】特開2011-4388(P2011-4388A)

(43)【公開日】2011年1月6日

【審査請求日】2013年3月6日

(31)【優先権主張番号】10-2009-0053417

(32)【優先日】2009年6月16日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(72)【発明者】

【氏名】白 アロン

(72)【発明者】

【氏名】鄭 用 柱

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開平０９−１６０１４４（ＪＰ，Ａ）

【文献】 特開平０３−１１９８８９（ＪＰ，Ａ）

【文献】 特開平０９−２３８３６９（ＪＰ，Ａ）

【文献】 特開２００５−１７５９７３（ＪＰ，Ａ）

【文献】 特開２００８−０８５５０３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／０４

(57)【特許請求の範囲】

【請求項1】

多視点映像表示装置であって、
視聴者の頭部を追跡する位置追跡部と、
前記位置追跡部による追跡結果に基づいて、前記視聴者の頭部の位置に対応する複数の視点である視聴者視点群と、多視点３次元入力映像を形成するように順に並ぶ複数の視点とを整合させ、前記視聴者視点群により前記多視点３次元入力映像を表示する表示部であって、当該多視点映像表示装置により表示可能な視点の数は、前記視聴者視点群に属する視点の数より多い、表示部と、
を備える多視点映像表示装置。

【請求項2】

前記表示部は、前記視聴者視点群と、前記多視点３次元入力映像を形成するように順に並ぶ複数の視点とを整合させる視点整合部を備える、請求項１に記載の多視点映像表示装置。

【請求項3】

前記頭部の位置が変化する場合、前記位置追跡部による追跡結果に基づいて、前記頭部の位置変化量を測定する変化量測定部と、
前記測定された位置変化量と閾値とを比較し、前記測定された位置変化量が前記閾値を超過するか否かを判断する判断部と、
前記測定された位置変化量が前記閾値を超過する場合、前記変化した頭部の位置に関する前記位置追跡部による追跡結果を前記表示部に伝達する伝達部と、
をさらに備える請求項１に記載の多視点映像表示装置。

【請求項4】

前記表示部は、前記変化した頭部の位置に関する追跡結果が前記伝達部から受信された場合に、前記変化した頭部の位置に対応する視聴者視点群により前記多視点３次元入力映像を表示する請求項３に記載の多視点映像表示装置。

【請求項5】

前記位置追跡部は、前記頭部の位置をリアルタイムで追跡する請求項１に記載の多視点映像表示装置。

【請求項6】

多視点映像表示装置の多視点映像表示方法であって、
位置追跡モジュールを用いて視聴者の頭部を追跡するステップと、
前記位置追跡モジュールによる追跡結果に基づいて、前記視聴者の頭部の位置に対応する複数の視点である視聴者視点群と、多視点３次元入力映像を形成するように順に並ぶ複数の視点とを整合させ、前記視聴者視点群により前記多視点３次元入力映像を表示するステップであって、前記多視点映像表示装置により表示可能な視点の数は、前記視聴者視点群に属する視点の数より多い、ステップと、
を含む多視点映像表示方法。

【請求項7】

前記頭部の位置が変化する場合、前記位置追跡モジュールによる追跡結果に基づいて、前記頭部の位置変化量を測定するステップと、
前記測定された位置変化量と閾値とを比較し、前記測定された位置変化量が前記閾値を超過するか否かを判断するステップと、
をさらに含む請求項６に記載の多視点映像表示方法。

【請求項8】

前記表示するステップは、前記測定された位置変化量が前記閾値を超過する場合、前記変化した頭部の位置に関する前記位置追跡モジュールによる追跡結果に基づいて、前記変化した頭部の位置の上に前記多視点３次元入力映像を表示する請求項７に記載の多視点映像表示方法。

【請求項9】

多視点映像表示装置に多視点映像表示方法を実行させるコンピュータプログラムを記憶した記憶媒体であって、前記多視点映像表示方法は、
位置追跡モジュールを用いて視聴者の頭部を追跡するステップと、
前記位置追跡モジュールによる追跡結果に基づいて、前記視聴者の頭部の位置に対応する複数の視点である視聴者視点群と、多視点３次元入力映像を形成するように順に並ぶ複数の視点とを整合させ、前記視聴者視点群により前記多視点３次元入力映像を表示するステップであって、前記多視点映像表示装置により表示可能な視点の数は、前記視聴者視点群に属する視点の数より多い、ステップと、
を含む、記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、多視点（Ｍｕｌｔｉ−Ｖｉｅｗ）映像表示方法及び多視点映像表示装置と関連する技術分野に属する。

【背景技術】

【0002】

多視点映像やステレオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ）映像などは、２台以上のカメラを用いて撮影した映像を幾何学的に校正し、空間的に処理して生成されることができる。

【0003】

このような多視点映像などは、多様な視点映像を視聴者に提供する３次元映像処理技術と関連するものであり、同じ３次元場面を２台以上のカメラで取得してより立体感のある画面を提供する技術である。

【0004】

最近では、多視点映像だけではなく、超多視点（Ｓｕｐｅｒ Ｍｕｌｔｉ−Ｖｉｅｗ：ＳＭＶ）映像や自由視点ＴＶ（Ｆｒｅｅ Ｖｉｅｗｐｏｉｎｔ ＴＶ：ＦＴＶ）などに対する多様な研究が進められている。

【0005】

また、多視点映像などは、単眼（Ｍｏｎｏｃｕｌａｒ）映像などのような所定の入力映像と、この入力映像に対する深さマップ（ｄｅｐｔｈ ｍａｐ）を用いてレンダリング（ｒｅｎｄｅｒｉｎｇ）を実行することによって生成されることができる。

【0006】

このように多視点映像に対する関心が集中するなかで、多視点映像に対する技術水準を一次元高めることができる研究が求められている。

【0007】

図１は、一般的な多視点映像表示装置を概略的に示す概念図である。

【0008】

通常、多視点映像表示装置は、図１に示すように、パネル（ｐａｎｅｌ）１１０およびレンチキュラーシート（ｌｅｎｔｉｃｕｌａｒ ｓｈｅｅｔ）（またはパララックスバリアー（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）１２０を用いて複数の視点を生成することができる。

【0009】

多視点映像表示装置が複数の視点を介して映像を出力するため、視聴者は、多様な位置で多視点映像表示装置が出力する映像を鑑賞することができる。

【0010】

一般的な多視点映像表示装置では、内部に含まれているレンチキュラーシートの光学的な特性により、特定の間隔で視点が繰り返されることができる。

【0011】

図１は、８個の視点間隔で同じ視点が繰り返される多視点映像表示装置の一例を示す図である。図１に示された例では、視点１から視点８が繰り返されている。図１に示された例のように、視点が特定の間隔で繰り返される場合、視点が繰り返される境界に位置した視聴者は、正確な出力映像を視聴できないことがある。

【0012】

例えば、多視点映像表示装置が３次元映像を出力し、視点１から視点８の順序に応じて視点１〜視点８上に左側から右側に偏った映像を出力すると仮定しよう。

【0013】

すなわち、視聴者が視点２と視点３上に位置している場合、視聴者は視点２を介して左視点映像を見るし、視点３を介して右視点映像を見ることによって３次元映像を視聴することができ、視聴者が視点３と視点４上に位置している場合、視聴者は視点３を介して左視点映像を見るし、視点４を介して右視点映像を見ることによって３次元映像を視聴することができると仮定しよう。

【0014】

このとき、視聴者１（１３１）は、パネル１１０とレンチキュラーシート１２０が生成した視点１〜視点８上に位置しているため、多視点映像表示装置が出力する３次元映像を正常に視聴することができる。

【0015】

また、視聴者２（１３２）も、パネル１１０とレンチキュラーシート１２０が生成した視点１〜視点８上に位置しているため、多視点映像表示装置が出力する３次元映像を正常に視聴することができる。

【0016】

しかしながら、視聴者３（１３３）は、視点８と視点１上に位置しているため、正常な３次元映像を視聴できないことがある。

【0017】

これと関連して、視聴者３（１３３）が正常な３次元映像を視聴するためには、視点８から左視点映像が出力されなければならず、視点１から右視点映像が出力されなければならない。

【0018】

しかしながら、上述したように、視点１から視点８の順序によって左側から右側に偏った映像が出力されると仮定したため、実質的には視点８から右視点映像が出力され、視点１から左視点映像が出力される。

【0019】

したがって、視聴者３（１３３）は、正常な３次元映像を視聴できないことがある。

【0020】

すなわち、視点８から視点１に変わる位置１４１、１４２では、視聴者が正常に３次元映像を視聴できないことがある。

【0021】

このように、一般的な多視点映像表示装置は、視聴者が正常に出力映像を視聴することができないデッドゾーン（Ｄｅａｄ Ｚｏｎｅ）１４１、１４２を発生させることがあるため、このようなデッドゾーン１４１、１４２の発生を防ぐために、最近は表現可能な視点数を増加させた多視点映像表示装置が登場した。

【0022】

以下、一般的な多視点映像表示装置に比べて表現可能な視点数が増加した多視点映像表示装置を「ワイド多視点（Ｗｉｄｅ Ｍｕｌｔｉ−Ｖｉｅｗ）映像表示装置」と命名することにする。

【0023】

図２は、ワイド多視点映像表示装置を概略的に示す概念図である。

【0024】

ワイド多視点映像表示装置は、一般的な映像表示装置と同様、パネル２１０とレンチキュラーシート２２０を用いて複数の視点を生成することができる。

【0025】

ただし、ワイド多視点映像表示装置は、一般的な映像表示装置よりも表現可能な視点数がより多く存在する。

【0026】

図２の例では、ワイド多視点映像表示装置が２４個の視点を生成できるものとして示している。

【0027】

ワイド多視点映像表示装置が２４個の視点を生成することができるため、視聴者は、２４個視点のどの位置にいても正常な出力映像を視聴することができる。

【0028】

例えば、ワイド多視点映像表示装置が２４個の視点を介して３次元映像を出力する場合、視聴者１（２３１）は視点３と視点４を介して３次元映像を視聴することができ、視聴者２（２３２）は視点１１と視点１２を介して３次元映像を視聴することができ、視聴者３（２３３）は視点１８と視点１９を介して３次元映像を視聴することができる。

【0029】

しかしながら、このようなワイド多視点映像表示装置は、左右に渡って多数の視点を表示するため、互いに異なる位置に存在する視聴者に同じ映像を提供できないことがある。

【0030】

例えば、ワイド多視点映像表示装置が視点１〜視点２４を介して「自動車」を表示する場合、視聴者１（２３１）は「自動車」の左側部分のみを見ることがあり、視聴者２（２３２）は「自動車」の中間部分のみを見ることがあり、視聴者３（２３３）は「自動車」の右側部分のみを見ることがある可能性が高い。

【0031】

これは、ワイド多視点映像表示装置が一般的な多視点映像表示装置とは異なり、多数の視点映像を左右方向で出力するためである。

【0032】

したがって、映画などのように、視聴者に視聴者の位置とは関係なく同じ映像を提供しなければならない場合には、ワイド多視点映像表示装置の利用が困難になることがある。

【0033】

また、ワイド多視点映像表示装置で利用が可能な映像コンテンツを製作するためには、多視点カメラの台数が一般の多視点映像表示装置の場合よりも多く必要となり、映像コンテンツの大きさも一般的な映像コンテンツの大きさよりも大きいため、広い帯域幅の確保が必要となる。

【0034】

以上、一般的な多視点映像表示装置とワイド多視点映像表示装置について簡略に説明した。一般的な多視点映像表示装置は、視点が特定の間隔で繰り返され、視聴者が正しい出力映像を見ることができないデッドゾーンを発生させることがある。また、ワイド多視点映像表示装置は、デッドゾーンは発生させないが、視聴者の位置によって視聴者に同じ映像を提供できないことがある。

【0035】

したがって、多視点映像表示装置でデッドゾーンを排除すると同時に、視聴者の位置とは関係なく同じ映像を提供することができる方案に対する研究が必要である。

【0036】

これと関連して、本発明の一実施形態に係る多視点映像表示装置および方法は、視聴者の位置を追跡し、追跡された視聴者の位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぐことができると同時に、視聴者の位置とは関係なく同じ映像を提供できるようにする。

【発明の概要】

【発明が解決しようとする課題】

【0037】

本発明の一実施形態によれば、視聴者の位置を追跡（ｔｒａｃｋｉｎｇ）し、追跡された視聴者の位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぐと同時に、視聴者の位置とは関係なく同じ映像を提供することができる多視点映像表示装置および方法を提供する。

【課題を解決するための手段】

【0038】

本発明の一実施形態に係る多視点映像表示装置は、視聴者の位置を追跡する位置追跡部と、前記位置追跡部の位置追跡結果に基づいて、前記追跡された位置上に局部的（ｌｏｃａｌｌｙ）に多視点入力映像を表示する表示部とを備える。

【0039】

また、本発明の一実施形態に係る多視点映像表示装置の多視点映像表示方法は、位置追跡モジュールを用いて視聴者の位置を追跡するステップと、前記位置追跡モジュールの位置追跡結果に基づいて、前記追跡された位置上に局部的に多視点入力映像を表示するステップとを含む。

【発明の効果】

【0040】

本発明の一実施形態に係る多視点映像表示装置および方法は、視聴者の位置を追跡し、追跡された視聴者の位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぐと同時に、視聴者の位置とは関係なく同じ映像を提供することができる。

【図面の簡単な説明】

【0041】

【図1】一般的な多視点映像表示装置を概略的に示す概念図である。

【図2】ワイド多視点映像表示装置を概略的に示す概念図である。

【図3】本発明の一実施形態に係る多視点映像表示装置を概略的に示す概念図である。

【図4】本発明のさらに他の一実施形態に係る多視点映像表示装置を概略的に示す概念図である。

【図5】本発明の一実施形態に係る多視点映像表示装置の構造を示す図である。

【図6】本発明の一実施形態に係る多視点映像表示方法を示すフローチャートである。

【発明を実施するための形態】

【0042】

以下、添付の図面を参照しながら、本発明に係る実施形態を詳細に説明する。しかしながら、本発明が実施形態によって制限または限定されることはない。各図面に提示された同じ参照符号は、同じ部材を示す。

【0043】

以下では、図３〜６を参照しながら、本発明の一実施形態に係る多視点映像表示装置および方法について詳しく説明する。

【0044】

図３は、本発明の一実施形態に係る多視点映像表示装置を概略的に示す概念図である。

【0045】

本発明の一実施形態に係る多視点映像表示装置は、パネル３１０とレンチキュラーシート３２０を用いてワイド多視点映像表示装置のように多数の視点を生成することができる。

【0046】

また、本発明の一実施形態に係る多視点映像表示装置は、視聴者の目を追跡することができる位置追跡モジュール３４０を備える。

【0047】

位置追跡モジュール３４０は、視聴者３３１、３３２の目をリアルタイムで追跡して目の位置を識別する。

【0048】

位置追跡モジュール３４０が位置追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、多視点映像表示装置が生成した多数の視点のうちで視聴者３３１、３３２の目が位置している視点を介して左視点映像および右視点映像を表示する。

【0049】

例えば、図３に示すように、視聴者１（３３１）の左目が視点１〜視点２４のうちで視点６上に位置しており、視聴者１（３３１）の右目が視点１〜視点２４うちで視点７上に位置していると仮定しよう。

【0050】

このとき、位置追跡モジュール３４０が視聴者１（３３１）の左目および右目に対する位置追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、視点６を介して左視点映像を表示し、視点７を介して右視点映像を表示することができる。

【0051】

これにより、視聴者１（３３１）は、正確な３次元映像を視聴することができる。

【0052】

また、視聴者２（３３２）の場合、視聴者２（３３２）の左目は視点１４上に位置しており、視聴者２（３３２）の右目は視点１５上に位置しているため、多視点映像表示装置は、位置追跡モジュール３４０の位置追跡結果に基づいて、視点１４を介して左視点映像を表示し、視点１５を介して右視点映像を表示することができる。

【0053】

これにより、視聴者２（３３２）も、正確な３次元映像を視聴することができる。

【0054】

結局、本発明の一実施形態に係る多視点映像表示装置は、位置追跡モジュール３４０を介して視聴者３３１、３３２の目の位置を追跡し、視聴者３３１、３３２の目が位置している視点を介して左視点映像および右視点映像を表示することにより、視聴者３３１、３３２の位置によるデッドゾーンの発生を防ぎ、視聴者３３１、３３２の位置とは関係なく視聴者３３１、３３２に同じ映像を提供することができる。

【0055】

ただし、本実施形態は、視聴者の目の位置をリアルタイムで追跡しなければならないという点において、精密な位置追跡が必要となる。もし、位置追跡に軽微な誤差が発生する場合には、視聴者に正しい映像を提供できないことがある。

【0056】

また、本実施形態は、視聴者の位置とは関係なく同じ左視点映像および右視点映像を提供することにより、運動視差（Ｍｏｔｉｏｎ Ｐａｒａｌｌａｘ）が反映されずに視聴者に疲労感を与えることがある。すなわち、視聴者に実質的に１視点を有する３次元映像を提供するため、視聴者が位置移動しても、視聴者は同じ方向から眺める映像が自分についてくるような感覚を受けることがある。

【0057】

さらに、本実施形態は、視聴者に実質的に多視点映像を提供するものではないため、多視点映像を提供するときの特徴である自動的な深さスケーリング（ａｕｔｏｍａｔｉｃ ｄｅｐｔｈ ｓｃａｌｉｎｇ）がなされないことがある。

【0058】

したがって、本発明の他の一実施形態に係る多視点映像表示装置は、視聴者の頭を追跡し、追跡された位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぎ、視聴者の位置とは関係なく同じ映像を提供すると同時に位置追跡の誤差を減少させ、運動視差を反映し、自動的な深さスケーリングがなされるようにできる。

【0059】

以下、図４を参照しながら、本発明の他の一実施形態に係る多視点映像表示装置について詳しく説明する。

【0060】

図４は、本発明のさらに他の一実施形態に係る多視点映像表示装置を概略的に示す概念図である。

【0061】

本発明の一実施形態に係る多視点映像表示装置は、パネル４１０とレンチキュラーシート４２０を用いて多数の視点を生成することができる。

【0062】

また、本発明の一実施形態に係る多視点映像表示装置は、視聴者の頭を追跡することができる位置追跡モジュール４４０を備える。

【0063】

位置追跡モジュール４４０は、視聴者４３１、４３２の頭をリアルタイムで追跡して頭の位置を識別する。

【0064】

ここで、位置追跡モジュール４４０は、視聴者４３１、４３２の頭を追跡するため、視聴者４３１、４３２の目を追跡する場合よりも位置追跡の誤差を減少させることができる。

【0065】

位置追跡モジュール４４０が位置追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、多視点映像表示装置が生成した多数の視点のうちで視聴者４３１、４３２の頭の位置に対応する少なくとも１つの視点と、多視点入力映像を構成する少なくとも１つの視点とを整合（ｍａｔｃｈｉｎｇ）する。

【0066】

この後、多視点映像表示装置は、視聴者４３１、４３２の頭の位置に対応する少なくとも１つの視点を介して多視点入力映像を表示する。

【0067】

以上のような過程を例を挙げて説明するために、多視点映像表示装置が６個の視点を有する多視点入力映像を出力する場合を仮定する。

【0068】

視聴者１（４３１）の頭は、視点１〜視点２４のうちで視点４〜視点９上に位置しているため、位置追跡モジュール４４０が視聴者１（４３１）の頭の位置に対する追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、視点４〜視点９と、多視点入力映像を構成する６個の視点とを整合する。

【0069】

すなわち、視点４には多視点入力映像の視点１が整合され、視点５には多視点入力映像の視点２が整合され、視点６には多視点入力映像の視点３が整合され、視点７には多視点入力映像の視点４が整合され、視点８には多視点入力映像の視点５が整合され、視点９には多視点入力映像の視点６が整合されることができる。

【0070】

この後、多視点映像表示装置は、多視点入力映像を視点４〜視点９を介して表示する。

【0071】

これにより、視聴者１（４３１）は、６個の視点を有する多視点入力映像を視聴することができる。

【0072】

また、視聴者２（４３２）の頭は、視点１〜視点２４のうちで視点１２〜視点１７上に位置しているため、位置追跡モジュール４４０が視聴者２（４３２）の頭に対する位置追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、視点１２〜視点１７と、多視点入力映像を構成する６個の視点とを整合する。

【0073】

すなわち、視点１２には多視点入力映像の視点１が整合され、視点１３には多視点入力映像の視点２が整合され、視点１４には多視点入力映像の視点３が整合され、視点１５には多視点入力映像の視点４が整合され、視点１６には多視点入力映像の視点５が整合され、視点１７には多視点入力映像の視点６が整合されることができる。

【0074】

この後、多視点映像表示装置は、多視点入力映像を視点１２〜視点１７を介して表示する。

【0075】

これにより、視聴者２（４３２）も、６個の視点を有する前記多視点入力映像を視聴することができる。

【0076】

結局、本発明の一実施形態に係る多視点映像表示装置は、視聴者４３１、４３２の頭の位置を追跡し、追跡された位置上に局部的に多視点入力映像を表示することにより、視聴者４３１、４３２の位置によるデッドゾーンの発生を防ぎ、視聴者４３１、４３２に視聴者４３１、４３２の位置とは関係なく同じ映像を提供することができる。

【0077】

このとき、多視点映像表示装置が生成することができる視点の個数は、多視点入力映像を構成する視点の個数よりも多くなければならない。

【0078】

本発明の一実施形態によれば、位置追跡モジュール４４０は、視聴者４３１、４３２の頭の位置変化量を測定し、位置変化量が所定の閾値を超過する場合に、視聴者４３１、４３２の頭の位置が変化したものと判断することができる。

【0079】

例えば、閾値が５個の視点の個数だけ視聴者４３１、４３２が移動したときの位置変化量である場合、視聴者１（４３１）が視点４〜視点９上の位置から視点６〜視点１１上の位置に移動すれば、位置追跡モジュール４４０は、視聴者１（４３１）が移動しなかったものと判断することができる。

【0080】

したがって、この場合に、多視点映像表示装置は、視聴者１（４３１）が移動する前に多視点入力映像を表示していた視点４〜視点９を介して、引き続き多視点入力映像を表示することができる。

【0081】

このとき、視聴者１（４３１）が視点４〜視点９上の位置から視点６〜視点１１上の位置に移動しても、多視点映像表示装置が視点４〜視点９を介して多視点入力映像を表示しているため、視聴者１（４３１）は、視点４〜視点９を介して表示される多視点入力映像を正常に視聴することができる。

【0082】

すなわち、視聴者１（４３１）は、視点４〜視点９上の位置で見ることができた多視点入力映像の視点とは異なる視点を介して多視点入力映像を見ることができる。

【0083】

しかしながら、視聴者１（４３１）が視点４〜視点９上の位置から視点１０〜視点１５上の位置に移動する場合、位置追跡モジュール４４０は、視聴者１（４３１）が移動したものと判断し、視聴者１（４３１）の頭の位置を追跡することができる。

【0084】

したがって、この場合に、多視点映像表示装置は、視点１０〜視点１５を介して多視点入力映像を表示することができる。

【0085】

すなわち、視聴者１（４３１）が視点４〜視点９上の位置から視点１０〜視点１５上の位置に移動する場合、視聴者１（４３１）が視点４〜視点９を介して表示される多視点入力映像を見ることができないため、多視点映像表示装置は、視聴者１（４３１）が移動した視点１０〜視点１５を介して多視点入力映像を表示することができる。

【0086】

このように、本発明の一実施形態に係る多視点映像表示装置は、視聴者４３１、４３２の頭の位置変化量が軽微な場合には、視聴者４３１、４３２の動きを無視することにより、運動視差が反映された多視点入力映像を表示することができる。

【0087】

もし、多視点映像表示装置が視聴者４３１、４３２の頭の位置が変化するたびに視聴者４３１、４３２の頭の位置を追跡して新たに多視点入力映像を表示する場合には、図３の実施形態と同様、視聴者４３１、４３２に実質的に多視点映像を提供するものとして見ることができず、視聴者４３１、４３２に疲労感を与えることがある。

【0088】

結局、本発明の一実施形態に係る多視点映像表示装置は、視聴者４３１、４３２の頭の位置を追跡して局部的に多視点入力映像を表示することにより、図３の実施形態とは異なって精密に視聴者４３１、４３２の頭位置を追跡する必要性を減らすことができ、デッドゾーンを防ぐと同時に視聴者４３１、４３２に同じ映像を提供することができ、視聴者４３１、４３２に多視点映像を提供することによって運動視差が反映されるようにして視聴者４３１、４３２の疲労感を減らすことができ、多視点映像を提供するときの特徴である自動的な深さスケーリングがなされるようにできる。

【0089】

図５は、本発明の一実施形態に係る多視点映像表示装置の構造を示す図である。

【0090】

図５を参照すれば、本発明の一実施形態に係る多視点映像表示装置５１０が示されている。

【0091】

多視点映像表示装置５１０は、位置追跡部５１１および表示部５１２を備える。

【0092】

位置追跡部５１１は、視聴者の位置を追跡する。

【0093】

このとき、位置追跡部５１１は、視聴者の頭を識別して頭の位置を追跡することができる。

【0094】

さらに、位置追跡部５１１は、頭の位置をリアルタイムで追跡することができる。

【0095】

表示部５１２は、位置追跡部５１１の位置追跡結果に基づいて、追跡された位置上に局部的に多視点入力映像を表示する。

【0096】

このとき、表示部５１２は、追跡された頭の位置上に多視点入力映像を表示することができる。

【0097】

このとき、多視点映像表示装置５１０が表示可能な複数の視点の個数は、多視点入力映像を構成する少なくとも１つの視点の個数を超過することができる。

【0098】

本発明の一実施形態によれば、表示部５１２は、視点整合部５１３を備えることができる。

【0099】

視点整合部５１３は、多視点映像表示装置５１０が表現可能な複数の視点のうちで追跡された頭の位置に対応する少なくとも１つの視点と、多視点入力映像を構成する少なくとも１つの視点とを整合する。

【0100】

このとき、表示部５１２は、追跡された頭の位置に対応する少なくとも１つの視点を介して多視点入力映像を表示することができる。

【0101】

本発明の一実施形態によれば、多視点映像表示装置５１０は、変化量測定部５１４と、判断部５１５と、伝達部５１６とをさらに備えることができる。

【0102】

変化量測定部５１４は、頭の位置が変化する場合、位置追跡部５１１の位置追跡結果に基づいて頭の位置変化量を測定する。

【0103】

判断部５１５は、測定された位置変化量と閾値とを比べ、測定された位置変化量が閾値を超過するか否かを判断する。

【0104】

伝達部５１６は、測定された位置変化量が閾値を超過する場合、変化した頭の位置に対する位置追跡部５１１の位置追跡結果を表示部５１２に伝達する。

【0105】

このとき、表示部５１２は、伝達部５１６から変化した頭の位置に対する位置追跡結果を受信すれば、変化した頭の位置上に多視点入力映像を表示することができる。

【0106】

以上、図５を参照しながら、本発明の一実施形態に係る多視点映像表示装置５１０の構造について説明した。ここで、多視点映像表示装置５１０に対する具体的な動作は、図３および図４を参照しながら既に詳しく説明したため、これに対するより詳細な説明は省略する。

【0107】

図６は、本発明の一実施形態に係る多視点映像表示方法を示すフローチャートである。

【0108】

ステップＳ６１０では、位置追跡モジュールを用いて視聴者の位置を追跡する。

【0109】

このとき、ステップＳ６１０では、視聴者の頭を識別して頭の位置を追跡することができる。

【0110】

ステップＳ６２０では、位置追跡モジュールの位置追跡結果に基づいて、追跡された位置上に局部的に多視点入力映像を表示する。

【0111】

このとき、ステップＳ６２０では、追跡された頭の位置上に多視点入力映像を表示することができる。

【0112】

本発明の一実施形態によれば、ステップＳ６２０では、多視点映像表示装置が表現可能な複数の視点のうちで追跡された頭の位置に対応する少なくとも１つの視点と、多視点入力映像を構成する少なくとも１つの視点とを整合するステップを含むことができる。

【0113】

この後、ステップＳ６２０では、追跡された頭の位置に対応する少なくとも１つの視点を介して多視点入力映像を表示するステップをさらに含むことができる。

【0114】

本発明の一実施形態に係る多視点映像表示方法は、ステップＳ６１０の後に頭の位置が変化する場合、位置追跡モジュールの位置追跡結果に基づいて、頭の位置変化量を測定するステップをさらに含むことができる。

【0115】

この後、測定された位置変化量と閾値とを比べ、測定された位置変化量が閾値を超過するか否かを判断するステップをさらに含むことができる。

【0116】

このとき、ステップＳ６２０では、測定された位置変化量が閾値を超過する場合、変化した頭の位置に対する位置追跡モジュールの位置追跡結果に基づいて、変化した頭の位置上に多視点入力映像を表示することができる。

【0117】

以上、図６を参照しながら、本発明の一実施形態に係る多視点映像表示方法について説明した。ここで、本発明の一実施形態に係る多視点映像表示方法は、図３〜５を参照しながら説明した多視点映像表示装置の構成と対応することができるため、これに対するより詳細な説明は省略する。

【0118】

結論的に、本発明の一実施形態に係る多視点映像表示装置および方法は、視聴者の位置を追跡し、追跡された視聴者の位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぐと同時に、視聴者の位置とは関係なく同じ映像を提供することができる。

【0119】

なお、本発明に係る実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

【0120】

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

【符号の説明】

【0121】

５１０：多視点映像表示装置
５１１：位置追跡部
５１２：表示部
５１３：視点整合部
５１４：変化量測定部
５１５：判断部
５１６：伝達部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】