特許 6333952 ビデオフレーム間の動きに基づく２次元ビデオの３次元ビデオへの変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6333952

(24)【登録日】2018年5月11日

(45)【発行日】2018年5月30日

(54)【発明の名称】ビデオフレーム間の動きに基づく２次元ビデオの３次元ビデオへの変換

(51)【国際特許分類】

   H04N 13/20 20180101AFI20180521BHJP

   H04N 13/30 20180101ALI20180521BHJP

【ＦＩ】

   H04N13/02 640

   H04N13/04 340

【請求項の数】16

【全頁数】20

(21)【出願番号】特願2016-507524(P2016-507524)

(86)(22)【出願日】2013年4月9日

(65)【公表番号】特表2016-519905(P2016-519905A)

(43)【公表日】2016年7月7日

(86)【国際出願番号】US2013035843

(87)【国際公開番号】WO2014168614

(87)【国際公開日】20141016

【審査請求日】2015年12月8日

(73)【特許権者】

【識別番号】515280403

【氏名又は名称】ビッタニメイト インコーポレイテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】ベールーズ エー マレキ

(72)【発明者】

【氏名】サルヴェナーズ サーコーシュ

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特表２００１−５１５２８７（ＪＰ，Ａ）

【文献】 特開２０００−２８５２５３（ＪＰ，Ａ）

【文献】 特開平０８−１４９５１０（ＪＰ，Ａ）

【文献】 特開平０８−１４９５１７（ＪＰ，Ａ）

【文献】 特開平０７−３０７９６１（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０７８６２１（ＷＯ，Ａ１）

【文献】 特表２０１４−５０６０３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／２０

Ｈ０４Ｎ １３／３０

(57)【特許請求の範囲】

【請求項1】

２次元ビデオの３次元ビデオへの変換方法であって、
ビデオフレームｘの一部とビデオフレームｙの一部との間の動きの、動きの方向及び動きの大きさを計算すること、
前記動きの方向に基づいてビューフレームＬ及びビューフレームＲを求めること、及び、
前記動きの方向及び前記動きの大きさに基づいて前記ビューフレームＲを修正することによって、修正ビューフレームＲ’を作成すること、
を含み、
前記動きの方向に基づいて前記ビューフレームＲを修正することは、前記動きの方向に沿って、前記修正ビューフレームＲ’におけるコンポーネントの間隔を大きくすることを含み、
前記コンポーネントは、前記修正ビューフレームＲ’においてアレイ状に配置されてピクチャを表し、各コンポーネントは前記ピクチャの一部を表し、
前記動きの方向は水平方向であり、
前記コンポーネントの間隔を大きくすることは、前記修正ビューフレームＲ’が前記ビューフレームＲと比べて細長く引き延ばされた歪みを有するように、前記動きの方向に沿って、前記コンポーネント間の水平方向の間隔を大きくすることを含む
方法。

【請求項2】

前記ビデオフレームｘの一部を前記ビデオフレームｙの一部と比較することによって、前記動きを求めることを更に含む、
請求項１の方法。

【請求項3】

前記ビデオフレームｘの一部を前記ビデオフレームｙの一部と比較することは、疑似パターン認識を行うことを含む、
請求項２の方法。

【請求項4】

前記ビデオフレームｘの一部を前記ビデオフレームｙの一部と比較することは、ビデオフレームｘの所定の数のピクセルをビデオフレームｙの対応する所定の数のピクセルと比較することを含む、
請求項２の方法。

【請求項5】

前記ビデオフレームｘの一部を前記ビデオフレームｙの一部と比較することは、ビデオフレームｘのエッジにある少なくとも１つのピクセルをビデオフレームｙのエッジにある対応する少なくとも１つのピクセルと比較することを含む、
請求項２の方法。

【請求項6】

前記ビデオフレームｘの一部を前記ビデオフレームｙの一部と比較することは、ビデオフレームｘの中央領域内の少なくとも１つのピクセルをビデオフレームｙの中央領域内の対応する少なくとも１つのピクセルと比較することを含む、
請求項２の方法。

【請求項7】

前記ビデオフレームｘの一部を前記ビデオフレームｙの一部と比較することは、ビデオフレームｘの２以上のコーナーのそれぞれにある少なくとも１つのピクセルをビデオフレームｙの２以上のコーナーのそれぞれにある対応する少なくとも１つのピクセルと、前記動きを求めるために、比較することを含む、
請求項２の方法。

【請求項8】

前記ビデオフレームｘの一部を前記ビデオフレームｙの一部と比較することは、
（ａ）ビデオフレームｘのエッジにある少なくとも１つのピクセルをビデオフレームｙのエッジにある対応する少なくとも１つのピクセルと比較すること、
（ｂ）（ａ）において動きが見つからない場合に、ビデオフレームｘの中央領域内の少なくとも１つのピクセルをビデオフレームｙの中央領域内の対応する少なくとも１つのピクセルと比較すること、及び、
（ｃ）（ａ）及び（ｂ）において動きが見つからない場合に、ビデオフレームｘの２以上のコーナーのそれぞれにある少なくとも１つのピクセルをビデオフレームｙの２以上のコーナーのそれぞれにある対応する少なくとも１つのピクセルと比較すること、
を含む、請求項２の方法。

【請求項9】

前記動きの方向に基づいてビューフレームＬ及びビューフレームＲを求めることは、
（ａ）動きの方向が右向きである場合には、ビデオフレームｘをビューフレームＬであるとして設定し、ビデオフレームｙをビューフレームＲであるとして設定すること、及び、
（ｂ）動きの方向が左向きである場合には、ビデオフレームｘをビューフレームＲであるとして設定し、ビデオフレームｙをビューフレームＬであるとして設定すること、
を含む、請求項１の方法。

【請求項10】

ビューフレームＬをユーザの左目によって見るために、修正ビューフレームＲ’をユーザの右目によって見るために、表示することを更に含む、
請求項１の方法。

【請求項11】

前記修正ビューフレームＲ’が前記ビューフレームＲと比べて台形の細長く引き延ばされた歪みを有するように、前記動きの方向に対して、前記コンポーネント間の垂直方向の間隔を大きくすることを更に含む
請求項１の方法。

【請求項12】

前記ビューフレームＲのオリジナルのフレームサイズを超えて伸びる前記修正ビューフレームＲ’のエッジを、トリミングすることを更に含む
請求項１の方法。

【請求項13】

前記動きの大きさに基づいて、前記修正ビューフレームＲ’における前記コンポーネント間の間隔の大きさを設定することを更に含む
請求項１の方法。

【請求項14】

ビデオ表示デバイスであって、
処理ユニットと、
実行されたときに、前記処理ユニットに、
ビデオフレームｘの少なくとも一部をビデオフレームｙの対応する少なくとも一部と比較することによって、これらの間の動きを求め、
前記求められた動きに基づいて、動きの方向及び動きの大きさを計算し、前記動きの方向に基づいてビューフレームＬ及びビューフレームＲを求め、
前記動きの方向及び前記動きの大きさに基づいて前記ビューフレームＲを修正することによって、修正ビューフレームＲ’を作成する
ように指示をする、ビデオ表示デバイスで実行可能な命令を有するメモリ構造と、
を有し、
前記動きの方向に基づいて前記ビューフレームＲを修正することは、前記動きの方向に沿って、前記修正ビューフレームＲ’におけるコンポーネントの間隔を大きくすることを含み、
前記コンポーネントは、前記修正ビューフレームＲ’においてアレイ状に配置されてピクチャを表し、各コンポーネントは前記ピクチャの一部を表し、
前記動きの方向は水平方向であり、
前記コンポーネントの間隔を大きくすることは、前記修正ビューフレームＲ’が前記ビューフレームＲと比べて細長く引き延ばされた歪みを有するように、前記動きの方向に沿って、前記コンポーネント間の水平方向の間隔を大きくすることを含む
ビデオ表示デバイス。

【請求項15】

前記コンポーネントの間隔を大きくすることは、前記修正ビューフレームＲ’が前記ビューフレームＲと比べて台形の細長く引き延ばされた歪みを有するように、前記動きの方向に対して、前記コンポーネント間の垂直方向の間隔を大きくすることを更に含む
請求項１４のビデオ表示デバイス。

【請求項16】

実行されたときに、システムに動作を行わせる実行可能な命令を格納する、１以上の非一時的なデバイス読み取り可能な媒体であって、前記動作は、
第１ビデオフレームの一部と第２ビデオフレームの一部との間の動きの、動きの方向及び動きの大きさを計算すること、
前記動きの方向に基づいて第１ビューフレーム及び第２ビューフレームを求めること、及び、
前記第２ビューフレーム、前記動きの方向及び前記動きの大きさに基づいて第３ビューフレームを作成すること、
を含み、
前記第２ビューフレーム及び前記動きの方向に基づいて前記第３ビューフレームを作成することは、前記動きの方向に沿って、前記第３ビューフレームにおけるコンポーネントの間隔を、前記第２ビューフレームにおける対応するコンポーネント間の間隔に比べて大きくすることを含み、
前記コンポーネントは、前記第３ビューフレームにおいてアレイ状に配置されてピクチャを表し、各コンポーネントは前記ピクチャの一部を表し、
前記動きの方向は水平方向であり、
前記コンポーネントの間隔を大きくすることは、前記第３ビューフレームが前記第２ビューフレームと比べて細長く引き延ばされた歪みを有するように、前記動きの方向に沿って、前記コンポーネント間の水平方向の間隔を大きくすることを含む
１以上の非一時的なデバイス読み取り可能な媒体。

【発明の詳細な説明】

【背景技術】

【0001】

本発明は、２次元（平面視）ビデオを３次元（立体視）ビデオへ変換する方法及びシステムに向けられており、より詳細には、２次元ビデオを３次元ビデオへリアルタイムで変換する方法及びシステムに向けられている。

【0002】

人間は、およそ２．５インチ（およそ６．５センチメートル）の間隔をおいて離れている２つの目を用いる両眼視システムを有している。それぞれの目はわずかに異なる視点から世界を見る。脳は、距離を計算又は判定するためにこれらの視点の差を利用する。この両眼視システムは、およそ２０フィート離れたところまでの物体の距離を比較的よい精度で求める能力を担っている。視野における複数の物体の相対距離も求められる。１つの目のみを用いると、この距離を求める精度が大きく低下する。

【0003】

従来の３次元映画又はビデオ（以下では総称して「ビデオ」と称される）は、約３（例えば、人間の目の間隔と同じ距離）から８インチ離れて横に並んで搭載された２つのビデオソース（例えば、カメラ）を用いて作成される。この距離は軸間距離又は眼間距離と呼ばれることが多い。２つのビデオソースは、実際、２つのビデオを作成する。１つは左目用、１つは右目用である。各ビデオは、一連の「フレーム」（「フレーム」又は「ビデオフレーム」と称される）から成る。

【0004】

従来より、３次元ビデオの投影又は表示は、例えば色識別システムや偏光システムを用いて、複数のビデオを投影又は表示することによって行われてきた。これは、それぞれがビデオのうちの１つを表示する複数の投影又は表示デバイス（例えば、プロジェクター）を用いて行われ得る。これは、また、ビデオをオーバーラップ又はインターリーブするやり方で表示する単一の投影又は表示デバイス（例えば、コンピュータのデジタル又はアナログ表示システム、BETAMAX（登録商標）プレーヤー、ビデオカセットレコーダー、ＤＶＤプレーヤー、ブルーレイプレーヤー、テレビジョン）を用いて行われてきた。人間の両眼視システムは、オーバーラップ又はインターリーブする表示のうちの１つのみをそれぞれの目が見るので、これらのオーバーラップする表示を自動的に互いに関連付けることができる。

【0005】

図１は、色を識別のために使用する３次元ビデオ２２を投影又は表示する例示的な従来の色識別（color differentiation）システム２０を示す。第１ビデオソース２４は第１カラーフィルタ（例えば赤）を通して投影し、第２ビデオソース２６は第２カラーフィルタ（例えば青）を通して投影する。この図のビデオ２２は、誇張された二重像で示されている。観察者は、対応する色レンズ３０、３２を有する特殊なメガネ２８を装着する。例えば、第１レンズ３０は、カラーフィルタのうちの１つと同じ色であり（例えば青−−図面ページの下部に平行な水平線として示されている）、第２レンズ３２は、もう１つのカラーフィルタと同じ色であろう（例えば赤−−図面ページの側方に平行な垂直線として示されている）。画面表示は両方の色を有するであろう（画面から投影する矢印として示されている）。第１レンズ３０によって覆われる目は、反対の色を投影又は表示するビデオソース２４によって投影又は表示されるピクチャを見るであろう。ChromaDepth（登録商標）は、同じ基本原理で働くメガネを生み出す（類似の２色技術を用いた微少プリズムを用いて）。

【0006】

図２は、偏光を識別のために使用する３次元ビデオ４２を投影又は表示する例示的な偏光識別（polarization differentiation）システム４０を示す。この図のビデオ４２は、誇張された二重像で示されている。このシステムは、偏光された光が偏光メガネを、両者が同じ方向に偏光されている場合にのみ通るという事実を利用している。したがって、第１ビデオソース４４は第１偏光フィルタ（例えば水平）を通して投影し、第２ビデオソース４６は第２偏光フィルタ（例えば垂直）を通して投影する。観察者は、対応する偏光レンズ５０、５２を有する特殊なメガネ４８を装着する。例えば、第１レンズ５０は、偏光フィルタのうちの１つと偏光を有し（例えば垂直の破線として示されている）、第２レンズ５２は、もう１つの偏光フィルタと同じ偏光を有するであろう（例えば水平の破線として示されている）。この例では、第１レンズ５０によって覆われる目は、水平に偏光されたピクチャを投影するビデオソース４４によって投影又は表示されるピクチャを見るであろうし、第２レンズ５２によって覆われる目は、垂直に偏光されたピクチャを投影するビデオソース４６によって投影又は表示されるピクチャを見るであろう。

【0007】

３次元映画を表示するために用いられるもう一つの技術は、液晶シャッターメガネを使用する。液晶シャッターメガネは、液晶及び偏光フィルタを使用し、電圧が与えられるまでは透明で、電圧が与えられたときに黒くなる。赤外線送信器は、最初に１つの目、次にもう一方の目というように、レンズが透明と黒とを交互に切り換えるように、電圧をトリガーする赤外線信号を送信する。この交互に透明／黒にすることは、交互フレームシーケンス（alternate-frame sequencing）と呼ばれる技術を用いて第１の目のための第１の表示と第２の目のための第２の表示とを交互に表示する、特化した表示画面のリフレッシュレートと同期している。液晶シャッターメガネと特化した表示画面は、ともに用いられると、３次元ピクチャ（又は少なくともピクチャの３次元要素）の錯覚を作り出す。

【0008】

３次元映画は長い間存在してきた。しかし、その１９５０年代の最盛期の後、メディアとしての３次元映画は衰退し、映画プロデューサーたちは関心を他の技術に向けた。しかし、新技術（偏光識別システムを含む）は、このメディアをより魅力的なものにし、新たな映画が３次元映画として作成され、リリースされている。この第１の理由は、３次元映画の質に大きな向上があったということである。３次元映画が人気を得たもう１つの理由は、映画を見る人々がこの特殊な効果に進んで追加料金を払うように見えるということである。

【0009】

たとえ映画プロデューサーが新たな３次元映画を作成するために新技術に投資しようとしても、３次元技術を用いる映画を撮影するのは、２次元技術を用いるのと比べるとかなり多くの費用がかかる。更に、既に作成された何百万もの２次元映画が存在する。このため、２次元映画を３次元映画に変換するシステム及び方法を見つける必要がある。

【0010】

この必要を鑑みて、発明者たちは２次元映画を３次元映画に変換する方法及びシステムを作り出そうとし続けてきた。例えば、２次元映画を３次元視するための方法及びシステムに向けられた多数の特許が存在する。これらの特許の多くは、シーンの１以上の要素又は物体を「識別し」、「切り抜き」、及び／又は「移動する」分析のいくつかのタイプを説明し、その要素又は物体を層状に積み重ねて奥行きの錯覚を作り出す。この部類に属する特許には、Richardsの米国特許第6,477,267号及びNaskeの米国特許第7,321,374号が含まれるが、これらには限定されない。しかし、２次元映画を３次元視（立体視）に変換するこれらの先行技術の方法は、全く機能しない（すなわち、理論上は機能するかもしれないが、現在利用可能なコンピュータ技術はこれらの計算量の大きな方法を実現するのに十分な性能を有していないので、実際にはそれらは機能することができない）、リソースを多く使用する、及び／又は、許容できる結果を生み出さない（例えば、書き割り効果（cardboard cut-out effect））。例えば、先行技術の方法のいくつかは、多くの計算量が大きいので、現在のプロセッサは、各シーンにおいて２、３個より多くの要素又は物体のための計算を扱うのに十分な性能を有していない。

【発明の概要】

【0011】

本発明の好適な一実施形態は、２次元ビデオを３次元ビデオに変換する方法に向けられている。前記方法は、ビデオフレームｘの少なくとも一部をビデオフレームｙの対応する少なくとも一部と比較することによって、これらの間の動きを求めるステップと、前記求められた動きに基づいて、動きの方向及び動きの大きさを計算するステップと、前記動きの方向に基づいてビューフレームＬ及びビューフレームＲを求めるステップと、前記動きの方向及び前記動きの大きさに基づいてビューフレームＲを修正することによって、修正ビューフレームＲ’を作成するステップとを含む。

【0012】

好適な実施形態において、前記比較するステップは、ビデオフレームｘの所定の数のピクセルをビデオフレームｙの対応する所定の数のピクセルと比較することを更に含む。代替の実施形態において、前記比較するステップは、ビデオフレームｘのエッジにある少なくとも１つのピクセルをビデオフレームｙのエッジにある対応する少なくとも１つのピクセルと比較するステップ、ビデオフレームｘの中央部の少なくとも１つのピクセルをビデオフレームｙの中央部の対応する少なくとも１つのピクセルと比較するステップ、及び／又は、ビデオフレームｘの少なくとも２つのコーナーにある少なくとも１つのピクセルをビデオフレームｙの少なくとも２つのコーナーにある対応する少なくとも１つのピクセルと、これらの間の動きを求めるために、比較するステップを、更に含む。

【0013】

好適な実施形態において、前記動きの方向に基づいてビューフレームＬ及びビューフレームＲを求めるステップは、（１）動きの方向が右向きである場合には、ビデオフレームｘをビューフレームＬであるとして設定し、ビデオフレームｙをビューフレームＲであるとして設定するステップ、及び、（２）動きの方向が左向きである場合には、ビデオフレームｘをビューフレームＲであるとして設定し、ビデオフレームｙをビューフレームＬであるとして設定するステップとを、更に含む。

【0014】

好適な実施形態において、ビューフレームＲを修正するステップは、ビューフレームＲをデジタル的に歪ませることによって、修正ビューフレームＲ’を作成するステップを更に含む。デジタル歪みは、ビューフレームＲを引き延ばされた台形にデジタル的に歪ませることによって、修正ビューフレームＲ’を作成することであり得る。デジタル歪みは、ビューフレームＲを、オリジナルのフレームサイズを超えるエッジがトリミングされた引き延ばされた台形に、デジタル的に歪ませることによって、修正ビューフレームＲ’を作成することであり得る。

【0015】

本発明は、２次元ビデオを３次元ビデオへ変換するビデオ表示デバイスにも向けられ得る。

【0016】

本発明は、実行されたときに、２次元ビデオを３次元ビデオへ変換するようにビデオ表示デバイスを構成する実行可能な命令を格納する、１以上のデバイス読み取り可能な媒体にも向けられ得る。

【0017】

本発明の以上の、並びに他の目的、特徴、及び利点は、以下の本発明の詳細な説明を添付の図面と併せて考慮することによってより容易に理解されるであろう。

【図面の簡単な説明】

【0018】

添付の図面は、この明細書に組み込まれ、この明細書の一部を構成し、さまざまな例示的な実施形態を図示する。

【図1】図１は、例示的な従来の色識別システムの簡素化された透視図である。

【図2】図２は、例示的な従来の偏光識別システムの簡素化された透視図である。

【図3】図３は、２次元ビデオの３次元ビデオへの変換方法及びシステムの例示的な好適な実施形態を示すフローチャートである。

【図4】図４は、色識別システムの例示的な好適な実施形態を用いて連続するビデオフレームの一対を組み合わせてビューフレームを作成するシステムの例示的な好適な実施形態の簡素化されたブロック図である。

【図5】図５は、偏光識別システムの例示的な好適な実施形態を用いて連続するビデオフレームの一対を組み合わせてビューフレームを作成するシステムの例示的な好適な実施形態の簡素化されたブロック図である。

【図6】図６は、それぞれがピクセル（Ｐ）のアレイを有する例示的なビデオフレームｘ及びｙのセット、並びに、ビデオフレームｘにおける例示的なエッジ領域、例示的な中央領域、及び２つの例示的なコーナーをビデオフレームｙの対応する例示的なエッジ領域、対応する例示的な中央領域、及び２つの対応する例示的なコーナーとともに示す図示の簡素化された表示である。

【図7】図７は、どのようにさまざまな領域が連続して次々に照合されるかの例示的な好適な実施形態のフローチャートである。

【図8】図８（Ａ）−８（Ｄ）は、動きが右向きであるときの、本発明の例示的な好適な実施形態の一連の図による表現である。

【図9】図９（Ａ）−９（Ｄ）は、動きが左向きであるときの、本発明の例示的な好適な実施形態の一連の図による表現である。

【図10】図１０は、その上にオーバーレイされた２つの連続するフレームからの要素を有するピクセル（Ｐ）のアレイの簡素化された図であり、要素は２つのフレームの間で数ピクセル（Ｐ）分移動する。

【図11】図１１は、その上にオーバーレイされた２つの連続するフレームからの要素を有するピクセル（Ｐ）のアレイの簡素化された図であり、要素は２つのフレームの間で多くのピクセル（Ｐ）分移動する。

【図12】図１２は、オリジナルの形のビューフレームＲの均等に間隔が空けられているコンポーネント（Ｘ）のアレイの簡素化された画面図である。

【図13】図１３は、伸張歪みが与えられた後のビューフレームＲのコンポーネント（Ｘ）のアレイの簡素化された画面図である。

【図14】図１４は、台形歪みが与えられた後のビューフレームＲのコンポーネント（Ｘ）のアレイの簡素化された画面図である。

【発明を実施するための形態】

【0019】

本発明は、２次元（平面視）ビデオを３次元（立体視）ビデオに変換する方法及びシステムに向けられている。この発明は、変換をリアルタイムでなし得るように、最低限の計算リソースを使用する。シーンにおける要素や物体の、多くのリソースを要する分析や同定を使用し、同定された要素や物体を切り抜く、多くのリソースを要する処理を使用し、それらの要素や物体のみ位置を変える（時には空白で埋める必要がある）、多くのリソースを要する処理を使用する従来技術と比べて、本発明はリソースを大いに節約する。これにより、本発明が２次元ビデオを３次元ビデオにリアルタイムで変換することが可能になる。

【0020】

ここに記載された発明、例、及び実施形態は、特に例示された物質、方法、及び／又は構造には限定されない、ということが理解されるべきである。更に、ここに引用された全ての出版物、特許、及び特許出願は、上記のものも下記のものも、それらの全体が参照としてここに組み込まれる。

【0021】

本発明及び図面を説明する前に、いくつかの用語が明確にされるべきである。

【0022】

上述のように、「ビデオ」（video）という用語は、一連の「フレーム」（「フレーム」又は「ビデオフレーム」と称される）で構成される映画（movie）又はビデオを表すために用いられる。明確にするために、連続するビデオフレームは、ビデオフレームｘ及びビデオフレームｙと称される。これらの用語は関係があることが意図されており、したがって、ビデオフレームｙはビデオフレームｘに続くフレームとなる。論じられるように、左目に示されるビデオフレームはビューフレーム（viewing frame）Ｌと称され、右目に示されるビデオフレームはビューフレームＲと称される。しかし、ビューフレームＬ及びビューフレームＲのうちの１つ又は両方は、修正されてもよい、ということに注意すべきである。表示されるものが修正版である場合には、表示されるビューフレームは「修正ビューフレーム（modified viewing frame）」として表される。

【0023】

各ビデオフレーム及び／又はビューフレームは、要素や物体（一般に要素と称される）を含む「ピクチャ」を表示する。例えば、空（そら）の「ピクチャ」において、飛行機の「要素」が画面を横切って飛行し得る。要素は、動く要素又は静止した要素であり得る。デジタルイメージングにおいては、「ピクセル」という用語は、画像内における情報の最小のものを示すために一般に使用される。ピクセルは、通常は２次元グリッドに配置される。「ピクセル」という用語は、本発明においては、主に、ピクチャ又はその中の要素を表示するために使用される表示デバイス上のピクセルの形式で使用される。それは、オリジナルのビデオフレームｘ及びｙのデジタルデータを表現するためにも使用され得る。ピクセル（Ｐ）は、例えば図６，１０，及び１１に関して、表示され、論じられる。この発明の理解のために、ピクチャは、ピクチャの小部分を表しアレイ状に配置されたコンポーネント（Ｘ）のアレイから構成されるとして説明されてもよい。デジタルメディアでは、コンポーネント（Ｘ）は、例えば、電子データ及び／又はピクセルであり得る。アナログメディア（例えばフィルム及びビデオテープ）では、コンポーネント（Ｘ）は、実際のセルロイドであり得る。コンポーネント（Ｘ）は、例えば、図１２−１４に関して、表示され、論じられる。状況によってはこれらは交換可能であるが、本発明のためには、コンポーネント（Ｘ）をピクセル（Ｐ）から区別するのは、コンポーネント（Ｘ）は歪み処理において移動させられ得るということである。これは図１２及び図１４を見ることによってよりよく理解されるかもしれない。図１２において、右上のコーナーのコンポーネント（Ｘ）は右上のコーナーのピクセル（Ｐ）（図示せず）と同じかもしれないが、フレームが図１４に示されているように歪ませられた後では、右上のコーナーのコンポーネント（Ｘ）は、フレームの外にあるであろうし、依然として図１２におけるのと同じ位置にあるであろう右上のコーナーのピクセル（Ｐ）（図示せず）とは同じではないであろう。

【0024】

本発明は、ビデオ表示システム（例えば、ビデオカセットレコーダー、映画プロジェクター、テレビジョン、及び他の投影又は表示デバイス）、コンピュータ（例えば、ワークステーション、ハンドヘルドテクニカルデバイス、又は他のプログラマブル装置）、ビデオを投影又は表示可能な専用又は汎用のデバイス、又は、ビデオを投影又は表示可能な、実質的に全ての現在又は将来の技術手段を含むがこれらには限定されないさまざまなタイプの技術を用いて、実現され得る。これらの全ては、この明細書では「ビデオ表示デバイス」と称される。ビデオ表示デバイスは、１以上の処理ユニットで構成され得る。ビデオ表示デバイスは、本発明のビデオ表示デバイスとしてともに機能する、テレビジョン及び取り付けられた「ボックス」のような、デバイスの組合せであってもよい。また、本発明のビデオ表示デバイスは、例えば、記録段階（例えば、ＣＤ、ＤＶＤ、又はテープを焼く又はこれらに記録する）と再生段階（例えば、ＣＤ、ＤＶＤ、又はテープを再生する）という、２つの時間的及び／又は物理的に別個の段階で実現されてもよい。ビデオ表示デバイスは、特に本発明のために作られてもよく、及び／又は、本発明を用いて使用されるようにプログラムされ又は適合させられていてもよい。

【0025】

本発明の方法は、エンコードされ、及び／又は、ビデオ表示デバイス又はビデオ表示デバイスと連携して働くデバイスによって「読み取り」されることが可能な媒体に格納され得る、ということに注意すべきである。この媒体は、メモリ媒体（例えば、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、又はフラッシュＥＰＲＯＭ）、磁気媒体（例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、又は磁気テープ）、光学媒体（例えば、ＣＤＲＯＭ、及びＤＶＤ）、物理媒体（例えば、パンチカード、又は紙テープ）、又は、現在又は将来の実質的に全てのメモリ及び／又は記憶手段を含むが、これらには限定されず、これらの全てはこの明細書において「メモリ」、「メモリ手段」、及び／又は「デバイス読み取り可能な媒体」と称される。メモリは、揮発性及び／又は非揮発性であり得る。メモリは、ビデオ表示デバイスと一体化、及び／又はビデオ表示デバイスとは別個のものであり得る。例として、ビデオ表示デバイスがコンピュータである場合には、メモリは、実行されたときに、本発明に従って２次元ビデオを３次元ビデオに変換するようにビデオ表示デバイスに指示する、コンピュータ実行可能な命令を有しているコンピュータ読み取り可能な媒体であり得る。

【0026】

本発明は、２次元ビデオを３次元ビデオに変換する方法として実現されてもよい、ということに注意すべきである。本発明は、２次元ビデオを３次元ビデオに変換するシステムとして実現されてもよい、ということに注意すべきである。「システム」は、ビデオ表示デバイス、及び／又は、実行されたときに、２次元ビデオを３次元ビデオに変換するようにビデオ表示デバイスを構成する、実行可能な命令を格納しているデバイス読み取り可能な１以上の媒体であってもよい、ということに注意すべきである。

【0027】

本明細書を通して、用語やフレーズは別の定義及び／又は例を有し得る、ということに注意されたい。特に定義されていない語、フレーズ、及び頭字語には、当該技術における通常の意味が与えられている。典型的な実施形態は図面を参照してよりよく理解され得るが、これらの実施形態は限定する性質のものであるとは意図されていない。同一の参照番号は、この文書において図面及び説明を通して、同一又は類似の部分を参照するために使用される。最後に、この明細書及び添付の特許請求の範囲で使用されているように、内容が明確に異なる規定をしていなければ、単数形は複数の指示対象を含む。

【0028】

図３及び７は、方法及びシステムを図示するフローチャートである。たとえ方法におけるステップに関してのみ説明されていても、これらのフローチャートの各ブロック、及びこれらのフローチャートのブロックの組合せは、ソフトウェア（例えば、プログラム命令、ソフトウェアプログラム、及びサブプログラム）によって、ハードウェア（例えば、プロセッサ及びメモリ）によって、ファームウェアによって、及び／又は、これらの形式の組合せによって実現され得ると理解される。例として、ソフトウェアの場合、ビデオ表示デバイス上で実行される命令がフローチャートのブロックで規定された機能を実現するための構造を作成するように、プログラム命令はビデオ表示デバイス（又はビデオ表示デバイスのメモリ）上にロードされ、装置を生成する。メモリに格納された命令が、フローチャートのブロックで規定された機能を実現する命令構造を含む製品を生成するような、特定の方法で機能するようにビデオ表示デバイスに指示することができるこれらのプログラム命令は、メモリに格納されてもよい。一連の動作ステップがビデオ表示デバイス上で、又はビデオ表示デバイスによって実行されるようにして、ビデオ表示デバイス上で実行される命令が、フローチャートのブロックで規定された機能を実現するステップを提供するようなビデオ表示デバイス実現処理を生成するように、プログラム命令は、ビデオ表示デバイスにロードされてもよい。したがって、フローチャートのブロックは、規定された機能を実行するステップ、構造、及び／又はモジュールの組合せをサポートする。フローチャートの各ブロック、及びフローチャートのブロックの組合せは、本発明の範囲に影響を与えることなく、分割及び／又はフローチャートの他のブロックと結合され得る、ということも理解されるであろう。

【0029】

まず、本発明は単一の２次元ビデオから始まる、ということが強調されるべきである。図１及び２に関連して述べられた従来技術は、２つの２次元ビデオから始まり、それぞれは２つのビデオソースの独立した１つから作られている。

【0030】

図３は、２次元ビデオを３次元ビデオに変換する方法を示すフローチャートであり、これは４つの基本的なステップを含む。第１ステップは、ステップ１００に示されているように、ビデオフレームｘの少なくとも一部をビデオフレームｙの対応する少なくとも一部と比較することによって、これらの間の動きを求めることである。第２ステップは、ステップ１０２に示されているように、求められた動きに基づいて動きの方向及び動きの大きさを計算することである。第３ステップは、ステップ１０４に示されているように、動きの方向に基づいてビューフレームＬ及びビューフレームＲを求めることである。第４ステップは、ステップ１０６に示されているように、動きの方向及び動きの大きさに基づいてビューフレームＲを修正することによって、修正ビューフレームＲ’を作成することである。これらのステップは、ここでより詳細に説明される。これらのステップ（ステップ１００、１０２、１０４、及び１０６）は、複数の連続するフレームのために繰り返され得る。上述のように、この明細書における全てのフローチャートの場合と同様に、この方法はソフトウェアによって実現されるのみではなく、ハードウェア、ファームウェア、及び／又は、ハードウェア、ファームウェア及び／又はソフトウェアの組合せを使用するシステムとしても実現され得る。

【0031】

図４及び５は、本発明の２つの例示的な実施形態を説明するために使用され得る簡素化したブロック図である。図４は、色識別システムを用いる例示的な好適な実施形態において用いられ得、図５は、１秒あたり先行システムより多くのフレームを表示可能な最近のシステムを利用する例示的な偏光識別システムを用いる例示的な好適な実施形態において用いられ得る。例えば、従来システムは１秒に２４フレームしか表示しないが、より最近の（そして将来の）システムは、１秒に６０、１２０、１４４、又はより多くのフレームを表示可能である。これらの図の両方における上のボックス列において、Ｆ１−Ｆ５はビデオにおける連続するフレームを表すために使われている。２つの連続するフレームは、ビデオフレームｘ（第１）及びビデオフレームｙ（第２）と呼ばれるであろう。図４における下のボックス列は、同時に表示されるビューフレームＬ及び修正ビューフレームＲ’を表す。ビューフレームＬ及び修正ビューフレームＲ’の両方は、それぞれの目（例えば、目にはカラーフィルタが用いられ得る）のみによって見ることができるように、修正されてもよく（ビューフレームＬ）、更に修正されてもよい（修正ビューフレームＲ’）、ということに注意すべきである。この修正又は更なる修正は、修正ビューフレームＲ’の歪曲修正（distortion modification）の前又は後で行われ得る、ということに注意すべきである。図５の下のボックス列は、交互に表示されるビューフレームＬ及び修正ビューフレームＲ’を表している。ビューフレームＬ及び修正ビューフレームＲ’の両方は、それぞれの目（例えば、下のボックス列の下の方向を示す矢印で示されているように、フレームは偏光方向を交互に変えて表示され得る）のみによって見ることができるように、修正されてもよく（ビューフレームＬ）、更に修正されてもよい（修正ビューフレームＲ’）、ということに注意すべきである。この修正又は更なる修正は、修正ビューフレームＲ’の歪曲修正の前又は後で行われ得る、ということに注意すべきである。

【0032】

図３のステップ１００は、ビデオフレームｘの少なくとも一部をビデオフレームｙの対応する少なくとも一部と比較することによって、これらの間の動きを求めることである。本発明の好適な実施形態は、ビデオフレームｘの一部をビデオフレームｙの対応する一部と比較するのみであるので、計算資源を節約することができる。第１フレームの全ピクセルを第２フレームの全ピクセルと比較する従来の比較方法と比べると、本発明は、ビデオフレームｘの全てをビデオフレームｙの全てと比較するシステムによって使用される計算資源の１％よりかなり少ない資源しか使用しない。

【0033】

図６は、大きく誇張したピクセル（Ｐ）を有するビデオフレームｘ及びｙの簡略化された組を示す。例示的な画面はピクセル（Ｐ）の１９２０×１０８０のアレイを有し得る。しかし、本発明は、ピクセル（Ｐ）のいかなるサイズのアレイをも処理するであろう。代替の好適な実施形態においては、ステップ１００は、それらの間でのピクセル（Ｐ）の動きを求めるために疑似パターン認識（pseudo-pattern recognition）を用いて行われ得る。ほとんど全てのパターン認識又は疑似パターン認識方法がこの目的のために使用され得るが、例、及び／又は実施可能性を提供するため、この目的のために使用され得る例示的な方法が、Kanekoらの米国特許出願公開第20070217685号、Nystadらの米国特許出願公開第20070146380号、Cavallaroらの米国特許出願公開第20090028425号、Florentの米国特許第5,406,501号、及びLoらの米国特許第5,109,435号に開示されている。これらの参考文献は、参照としてここに組み込まれる。他の代替の好適な実施形態では、ステップ１００は、ビデオフレームｘの所定の数のピクセル（Ｐ）をビデオフレームｙの対応する所定の数のピクセル（Ｐ）と、これらの間の動きを求めるために、比較することによって行われ得る。例として、所定の数のピクセル（Ｐ）は、ピクセル（Ｐ）の１９２０×１０８０のアレイを有する例示的なディスプレイに対しては、５から３０ピクセル（Ｐ）の間であり得る。所定の数のピクセル（Ｐ）は、単純なプリセットされた数、画面の特性（サイズ及び／又はピクセル数）に基づいて求められた数、又は、例えば１秒あたりのフレーム数、画面の大きさ、及び／又は画面上のピクセル数に基づいて計算された数であり得る、ということに注意すべきである。本発明の好適な実施形態において、所定の数のピクセル（Ｐ）は、画面のピクセルの総数の１０％未満であろう、ということに注意すべきである。本発明の代替の好適な実施形態において、所定の数のピクセル（Ｐ）は、画面のピクセルの総数の１％未満であろう、ということに注意すべきである。

【0034】

他の代替の好適な実施形態において、ステップ１００は、ビデオフレームｘのエッジにある少なくとも１つのピクセル（Ｐ）をビデオフレームｙのエッジにある対応する少なくとも１つのピクセル（Ｐ）と、これらの間の動きを求めるために、比較することによって、ビデオフレームｘの中央部にある少なくとも１つのピクセル（Ｐ）をビデオフレームｙの中央部にある対応する少なくとも１つのピクセル（Ｐ）と、これらの間の動きを求めるために、比較することによって、及び／又は、ビデオフレームｘの少なくとも２つのコーナーにある少なくとも１つのピクセル（Ｐ）をビデオフレームｙの少なくとも２つのコーナーにある対応する少なくとも１つのピクセル（Ｐ）と、これらの間の動きを求めるために、比較することによって、行われ得る。図６は、例示的なエッジ領域１２０、例示的な中央領域１２２、及び２つの例示的なコーナー１２４ａ、１２４ｂを有するビデオフレームｘと、対応する例示的なエッジ領域１２０’、対応する例示的な中央領域１２２’、及び２つの対応する例示的なコーナー１２４ａ’、１２４ｂ’を有するビデオフレームｙとを示す。これらの例示的な領域は、本発明の範囲を制限することを意図していない。

【0035】

上述のように、ステップ１００は、ビデオフレームｘのエッジにある少なくとも１つのピクセル（Ｐ）をビデオフレームｙのエッジにある対応する少なくとも１つのピクセル（Ｐ）と、これらの間の動きを求めるために、比較することによって、ビデオフレームｘの中央部にある少なくとも１つのピクセル（Ｐ）をビデオフレームｙの中央部にある対応する少なくとも１つのピクセル（Ｐ）と、これらの間の動きを求めるために、比較することによって、及び／又は、ビデオフレームｘの少なくとも２つのコーナーにある少なくとも１つのピクセル（Ｐ）をビデオフレームｙの少なくとも２つのコーナーにある対応する少なくとも１つのピクセル（Ｐ）と、これらの間の動きを求めるために、比較することによって、行われ得る（最後の比較は、少なくとも１つのコーナーの少なくとも１つのピクセル、及び少なくとも第２のコーナーの少なくとも１つのピクセルを意味している−−２つのコーナーを用いることは、シーンが、ズームイン、すなわちより近づいている、又はズームアウト、すなわちより遠くに離れて行く場合に、特に効果的であろう）。これらの比較はいずれも、個々に、又はいかなる組合せ又は順序でも行われ得る。また、ステップは、異なる大きさ及び／又は範囲を用いて繰り返され得る（例えば、まず所定の領域の５個のピクセル（Ｐ）を比較し、次に同じ所定の領域の１０ピクセル（Ｐ）を比較し、次に同じ所定の領域の２０ピクセル（Ｐ）を比較する）。しかし、ある好適な実施形態においては、順序は変わり得る、ということに注意すべきであるが、さまざまな領域が連続して次々に照合される。図７は、これがどのようにして働き得るかの例を示すフローチャートである。１３０において示されているように、ビデオフレームｘのエッジにある少なくとも１つのピクセル（Ｐ）がビデオフレームｙのエッジにある対応する少なくとも１つのピクセル（Ｐ）と比較されることによって、これらの間の動きが求められる。判断１３２は、１３０において動きが見つかったか否かを尋ねる。見つかった場合には、分析は完了し、次のステップは図３のステップ１０２（求められた動きに基づいて動きの方向及び動きの大きさを計算する）である。一方、動きが見つからなかった場合には、１３４において示されているように、ビデオフレームｘの中央部にある少なくとも１つのピクセル（Ｐ）がビデオフレームｙの中央部にある対応する少なくとも１つのピクセル（Ｐ）と比較されることによって、これらの間の動きが求められる。判断１３６は、１３４において動きが見つかったか否かを尋ねる。見つかった場合には、分析は完了し、次のステップは図３のステップ１０２（求められた動きに基づいて動きの方向及び動きの大きさを計算する）である。一方、動きが見つからなかった場合には、１３８において示されているように、ビデオフレームｘの少なくとも２つのコーナーにある少なくとも１つのピクセル（Ｐ）がビデオフレームｙの少なくとも２つのコーナーにある対応する少なくとも１つのピクセル（Ｐ）と比較されることによって、これらの間の動きが求められる。判断１４０は、１３８において動きが見つかったか否かを尋ねる。見つかった場合には、分析は完了し、次のステップは図３のステップ１０２（求められた動きに基づいて動きの方向及び動きの大きさを計算する）である。一方、動きが見つからなかった場合には、いくつかのシナリオがあり得る。ある好適な例示的な実施形態においては、ビデオフレームｘ及びビデオフレームｙの他の「領域」が比較される。他の好適な例示的な実施形態においては、ビデオフレームｘ及びビデオフレームｙの全てのピクセル（Ｐ）が比較される。更に他の好適な例示的な実施形態においては、分析が終了し、ビデオフレームｘ及びビデオフレームｙが表示される。

【0036】

図７に示されたステップの順序は変化してもよい。例えば、中央領域が常に最初に検討されてもよい。更に、いずれの領域が最初に検討されるかの選択は、「インテリジェント」なものであってもよい。例えば、ステップ１３０（エッジ領域）で動きが見つからないが、ステップ１３４（中央領域）で見つかる場合には、ビデオフレームの次のセットはステップ１３４を最初に用いて比較されてもよい。このオプションは、一連のフレームにおいて動きは類似する可能性が高いという事実を利用する。例えば、映画のシーンに画面の中央で動く人がいる場合には、その一連のフレームは、その領域に動きを有するであろう。

【0037】

上述のように、図４及び５は、一連のビデオフレームの簡略化されたブロック図、及び色識別システム（図４）及び偏光識別システム（図５）を用いてビューフレームを作成するために連続するビデオフレームがどのように組み合わされるかを示す。ビデオのビデオフレームｘ及びｙとビューフレームＬ及びＲとの間のステップ（例えば、図３からのステップ１０２、１０４、及び１０６）における更なる詳細が、図８（Ａ）−８（Ｄ）及び図９（Ａ）−９（Ｄ）に示されている。図８（Ａ）−８（Ｄ）と図９（Ａ）−９（Ｄ）との間の最も重要な違いは、図８（Ａ）−８（Ｄ）が右向き（左から右へ）の動きを示し、図９（Ａ）−９（Ｄ）が左向き（右から左へ）の動きを示す、ということである。それゆえ、類似するものが、修飾子のみが異なる同一の参照番号を用いて説明される（図８（Ａ）−８（Ｄ）には「ａ」、図９（Ａ）−９（Ｄ）には「ｂ」）。修飾子のない参照番号は、図の両方のセットにあてはまる。これらの図において、本発明のいくつかの局面は大いに誇張されている（例えば、「歪み」のサイズは、全画面領域のずっと小さな割合であろう）。他の局面は、他の図においてより明瞭に示されている（例えば、図１４には台形歪みがより明瞭に示されている）。

【0038】

上述のように、本発明の例示的な処理の好適な実施形態の第２ステップ１０２（図３）は、求められた動きに基づいて、動きの方向及び動きの大きさを計算している。このステップは、ステップ１００から得られた情報を用いて実行される（ビデオフレームｘの少なくとも一部をビデオフレームｙの対応する少なくとも一部と比較することによって、これらの間の動きを求める）。図８（Ａ）及び９（Ａ）を見ると、２つの連続したビデオフレーム（ｘ及びｙと名付けられている）は、これらの中央領域（矩形１５０ａ、１５０ｂとして示されている）において動きを有する。ビデオフレームｘ内の矩形１５０ａがフレームの左半分にあり、ビデオフレームｙ内の矩形１５０ａが右に向かいフレームのより中央の位置まで動いた、という点で、図８（Ａ）において、矩形１５０ａの動く方向は右向きである。ビデオフレームｘ内の矩形１５０ｂがフレームの右半分にあり、ビデオフレームｙ内の矩形１５０ｂが左に向かいフレームのより中央の位置まで動いた、という点で、図９（Ａ）において、矩形１５０ｂの動く方向は左向きである。左向き又は右向きは動きの方向であり、いくつかの好適な実施形態においては、他の方向（例えば、上向き及び下向き）は無視され、更に他の方向（例えば、斜め）は、その左向き及び右向きのコンポーネントに「クレジット」が与えられるのみである。

【0039】

動きの大きさは、ビデオフレームｘとビデオフレームｙとの間でどの程度動きがあったかということである。動きの大きさは、ピクセル（Ｐ）単位で測定され得る。遅い動き（例えば、一連の多くのフレームにおいてピクチャを横切って静かに浮いている雲という要素）は、「わずかな」ピクセル（Ｐ）しか動かず、動きの大きさは小さい。速い動き（例えば、一連の多くのフレームにおいてピクチャを横切って疾走しているレーシングカーという要素）は、「多くの」ピクセル（Ｐ）を動き、動きの大きさは大きい。「わずかな」及び「多くの」は、所定の数のピクセル（Ｐ）に基づいて相対的なものである。この所定の数のピクセル（Ｐ）は、「シャドウ」効果を作成するのに必要であろう「理想的な」数のピクセル（Ｐ）であろう。例えば、ピクセル（Ｐ）の１９２０×１０８０のアレイを有する例示的な画面を用いて、理想的な数のピクセル（Ｐ）は、１０から２０ピクセル（Ｐ）であり得る。この発明を論ずるために、所定の数のピクセル（Ｐ）は、１５ピクセル（Ｐ）であるとして論じられる。

【0040】

動きの大きさが小さい例として、図１０は、その上にオーバーレイされた２つの連続するフレームからの要素１５２、１５４を有するピクセル（Ｐ）のアレイ（例示的な画面の小部分に過ぎないであろう）を示す。要素１５２、１５４は、その中にプラス記号を有する円として示されている（要素１５４は想像線で示されている）。プラス記号の中心を用い、上方／下方への動きを無視すると、数ピクセル（Ｐ）（４として示されている）がフレームの要素１５２、１５４の間にあるのみである。要素１５２が第１要素（ビューフレームｘ）であり、要素１５４が第２要素（ビューフレームｙ）であるとすると、動きの方向は左向きであり、動きの大きさは４ピクセル（Ｐ）である。要素１５４が第１要素（ビューフレームｘ）であり、要素１５２が第２要素（ビューフレームｙ）であるとすると、動きの方向は右向きであり、動きの大きさはやはり４ピクセル（Ｐ）である。

【0041】

動きの大きさが大きい例として、図１１は、その上にオーバーレイされた２つの連続するフレームからの要素１５６、１５８を有するピクセル（Ｐ）のアレイ（例示的な画面の小部分に過ぎないであろう）を示す。要素１５６、１５８は、その中にプラス記号を有する円として示されている（要素１５８は想像線で示されている）。プラス記号の中心を用い、上方／下方への動きを無視すると、多くのピクセル（Ｐ）（１１として示されている）がフレームの要素１５６、１５８の間にある。要素１５６が第１要素（ビューフレームｘ）であり、要素１５８が第２要素（ビューフレームｙ）であるとすると、動きの方向は左向きであり、動きの大きさは１１ピクセル（Ｐ）である。要素１５８が第１要素（ビューフレームｘ）であり、要素１５６が第２要素（ビューフレームｙ）であるとすると、動きの方向は右向きであり、動きの大きさはやはり１１ピクセル（Ｐ）である。

【0042】

上述のように、本発明の例示的な処理の好適な実施形態の第３ステップ１０４（図３）は、動きの方向に基づいてビューフレームＬ及びビューフレームＲを求めている。好適な実施形態において、動きの方向が右向きであるとすると、ビデオフレームｘはビューフレームＬであるとして設定され、ビデオフレームｙはビューフレームＲであるとして設定される。これは、図８（Ａ）と図８（Ｂ）との間の遷移として示される。更に、好適な実施形態において、動きの方向が左向きであるとすると、ビデオフレームｘはビューフレームＲであるとして設定され、ビデオフレームｙはビューフレームＬであるとして設定される。これは、図９（Ａ）と図９（Ｂ）との間の遷移として示される。

【0043】

上述のように、本発明の例示的な処理の好適な実施形態の第４ステップ１０６（図３）は、動きの方向及び動きの大きさに基づいてビューフレームＲを修正しており、修正ビューフレームＲ’を作成する。このステップの理解のために、オリジナルの形では、ビューフレームＲに示されたピクチャのコンポーネント（Ｘ）は、図１２において示されているようにアレイにおいて均等に間隔が空けられている。動きの方向は、ビューフレームＲ’を作成するためにビューフレームＲをどの方向に修正するかを決定する。動きの大きさは、ビューフレームＲ’を作成するためにビューフレームＲをどの程度修正するかを決定する。

【0044】

ステップ１０６の好適な実施形態は、ビューフレームＲをデジタル的に「歪ませること」によって、修正ビューフレームＲ’を作成することを含む。動きの方向は、フレームに示されたピクチャの「歪み」の方向を決定する。「歪ませること」という用語は、いかなるタイプの歪みであってもよいが、例においては伸張（図１３）及び台形状の引き延ばし（図１４）（以下で論じられる）として示される。オリジナルピクチャ（図１２）から、伸張歪みを有する修正ビューフレームＲ’のピクチャ（図１３）への変更によって示されているように、動きの方向が右向きであるので、左エッジは同じ場所にあり、右エッジはデジタル的に引っ張られている。図１２において、コンポーネント（Ｘ）はそのオリジナルの形であり、実質的に均等に間隔が空けられている。図１３は、左エッジにより近い、ピクチャのコンポーネント（Ｘ）がより小さく歪ませられ、右側により近い、ピクチャのコンポーネント（Ｘ）がより大きく歪ませられるように、歪ませられた（伸張された）ビューフレームを示す。歪ませられるのは個々の要素（図８（Ｂ）の矩形１５０ａのような）ではなく、歪ませられる「ピクチャ」全体のコンポーネントである（個々の要素はピクチャの残りのコンポーネント（Ｘ）に比例して歪ませられるが）。動きの方向が左向きであったなら、右エッジは同じ場所にあり、左エッジは図９（Ｃ）での示され方と同様にデジタル的に引っ張られた（伸張された）であろう、ということに注意すべきである。ピクチャがどれだけ歪ませられるかは、動きの大きさに依存する。動きの大きさが小さい（例えば、４ピクセル（Ｐ））場合には、より大きな伸張歪みが使用される。例えば、ピクセル（Ｐ）の「理想的な」数が１５である場合には、伸張歪みは１１である（これは、理想的な数より現在の数だけ少ない）。動きの大きさが大きい（例えば、１１ピクセル（Ｐ））場合には、より小さな伸張歪みが使用される。例えば、ピクセル（Ｐ）の「理想的な」数が１５である場合には、伸張歪みは４である（これは、理想的な数より現在の数だけ少ない）。動きの大きさが理想的な数より大きい場合には、好適な実施形態においてビューフレームＲは更なる歪みなしに修正ビューフレームＲ’として表示され得る。オリジナルのフレームサイズ（想像線で示される）を超えるエッジは、好ましくは「トリミング（cropped off）」され、さもなければ修正ビューフレームＲ’の一部としては表示されない。

【0045】

ステップ１０６のもう一つの好適な実施形態は、ビューフレームＲをデジタル的に「歪ませること」によって、図１４に示されているような、台形状に引き延ばされた修正ビューフレームＲ’を作成することを含む。オリジナルのピクチャ（図１２）から、台形状に引き延ばされた歪みを有する修正ビューフレームＲ’のピクチャ（図１４）への変化によって示されているように、動きの方向が右向きであるので、左エッジは同じ場所にあり、右エッジはデジタル的に引っ張られている。図１２において、コンポーネント（Ｘ）はそのオリジナルの形であり、実質的に均等に間隔が空けられている。図１４は、左エッジにより近い、ピクチャのコンポーネント（Ｘ）がより小さく歪ませられ、右側により近い、ピクチャのコンポーネント（Ｘ）がより大きく歪ませられるように、歪ませられた（伸張された）ビューフレームを示す。加えて、フレームの右側では、垂直方向の歪み（上方及び下方の両方）が存在する。好適な実施形態において、垂直方向の歪みは水平方向の歪みと同じ又はほぼ同等（例えば５０％から１５０％）である。例えば、水平方向の歪みが１０ピクセル（Ｐ）（又は１０ピクセル（Ｐ）に相当する長さ）である場合には、１０ピクセル（Ｐ）（又は１０ピクセル（Ｐ）に相当する長さ）の垂直方向の歪みがある（例えば、上に５ピクセル（Ｐ）、下に５ピクセル（Ｐ））。歪ませられるのは個々の要素（図８（Ｂ）の矩形１５０ａのような）ではなく、歪ませられる「ピクチャ」全体のコンポーネントである（個々の要素はピクチャの残りのコンポーネント（Ｘ）に比例して歪ませられるが）。これは、矩形１５０ａが、ピクチャの残りの部分の歪みに実質的に比例する台形１５０ａ’になるように歪ませられている、図８（Ｃ）においてある程度見ることができる。動きの方向が左向きであったなら、右エッジは同じ場所にあり、左エッジは図９（Ｃ）に示されているようにデジタル的に歪ませられたであろう、ということに注意すべきである。ピクチャがどれだけ歪ませられるかは、先の例で論じられたように動きの大きさに依存する。動きの大きさが理想的な数より大きい場合には、好適な実施形態においてビューフレームＲは、更なる歪みなしに又は垂直方向の歪みのみを有して、修正ビューフレームＲ’として表示され得る。オリジナルのフレームサイズ（想像線で示される）を超えるエッジは、「トリミング」されてもよく、さもなければ修正ビューフレームＲ’の一部としては表示されない。

【0046】

図８（Ｄ）及び図９（Ｄ）は修正されていないビューフレームＬ及び修正ビューフレームＲ’のために論じられた主要な修正を示すが、本発明のいくつかの好適な実施形態においては、ビューフレームＬ及び修正ビューフレームＲ’の両方は、ビューフレームを特定の目で見ることができるようにする更なる修正を有してもよい。例えば、フレームＬがユーザの左目で見るために修正され、修正フレームＲ’がユーザの右目で見るために修正されてもよい。この修正は、例えば、第１の色（例えば赤）をビューフレームＬから除去し、第２の色（例えば青又は緑）を修正ビューフレームＲ’から除去することであってもよい。他の例は、この修正が、ビューフレームＬからは第１方向（例えば垂直）に偏光させること、及び修正ビューフレームＲ’からは第２方向（例えば水平）に偏光させることであってもよい、ということである。ビューフレームＬ及び修正ビューフレームＲ’は、既知の又はこれから開発される他の技術（例えば、液晶シャッターメガネを用いる技術）に合わせて修正され得る、ということが理解されるべきである。

【0047】

ビューフレームＬ及び修正ビューフレームＲ’を特定の目で見られるように修正するステップは、本発明の方法におけるいくつかの異なる点において行われ得る、ということに注意すべきである。例えば、好適な実施形態において、この修正は、ステップ１０２（求められた動きに基づいて動きの方向及び動きの大きさを計算する）の前、後、又はステップ１０２と同時に行われ得る。他の好適な実施形態において、この修正は、ステップ１０４（動きの方向に基づいてビューフレームＬ及びビューフレームＲを求める）の前、後、又はステップ１０４と同時に行われ得る。他の好適な実施形態において、この修正は、ステップ１０６（動きの方向及び動きの大きさに基づいてビューフレームＲを修正することによって、修正ビューフレームＲ’を作成する）の前、後、又はステップ１０６と同時に行われ得る。

【0048】

本発明の好適な実施形態は、ビューフレームＬをユーザの左目によって見るために、修正ビューフレームＲ’をユーザの右目によって見るために、表示するステップを、好ましくは含む。この「表示する」ことは、図４に関して論じられたように同時に、又は、図５に関して論じられたようにインターリーブして、行われ得る。代替技術（例えば、液晶シャッターメガネ）は代替の表示方法を有し得る。この表示するステップは、投影又は表示デバイスを用いて達成され得る。

【0049】

本発明の他の好適な実施形態は、ユーザの左目によって見るためのビューフレームＬ、及びユーザの右目によって見るための修正ビューフレームＲ’を、格納するステップを好ましくは含む。これは、２次元ビデオが３次元ビデオに変換され、後の表示のためにメモリ（例えば、メモリ媒体、磁気媒体、光学媒体）に格納され得るということを、効果的に意味するであろう。例えば、新たに作成された３次元ビデオは、後の表示のためにＣＤ、ＤＶＤ、又はテープに保存され得る。

【0050】

ここで論じられた方法の好適な実施形態は、論じられたステップを実現するための少なくとも１つの処理ユニットを含むビデオ表示デバイス上で実現されるように設計されている。処理ユニットは、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）、数値演算コプロセッサ、及び／又は既知の又はこれから開発される特別に適合したプロセッサを含むが、これらには限定されない。複数の処理ユニットが組み合わせて使用され得る。例えば、ＣＰＵは、命令及び幾何データをグラフィックカード上に置かれたＧＰＵに送り得る。好適な実施形態において、ＧＰＵが使用する命令は、コンパイルされたシェーディング言語プログラム（「シェーダー（shader）」）の形である。シェーダーは、コンピュータグラフィックスの分野では、主に、グラフィックハードウェア上でレンダリング効果を計算するために用いられるソフトウェア命令のセットであり、高度な柔軟性を持つ。シェーダーの例示的なタイプは、頂点シェーダー、ピクセルシェーダー、及び幾何シェーダーである。シェーダーは、要素の大きなセットに、例えば、画面の領域の各ピクセル（Ｐ）に、又はモデルの各頂点のために、同時に変形を行うことが可能である。シェーダーは、例えば、台形状に延ばすことや歪ませることのため、及び／又はフィルター（例えば、色及び／又は偏光の）を適用するために使用され得る。

【0051】

特に明記されていない限り、「又は」という用語は非排他的な形で用いられる（例えば、「Ａ又はＢ」はＡ、Ｂ、Ａ及びＢ、又はこれらのいかなる組合せをも含むが、これらの可能性のあるもの全てを含む必要はない）、ということに注意すべきである。特に明記されていない限り、「及び／又は」は同様に用いられる（例えば、「Ａ及び／又はＢ」はＡ、Ｂ、Ａ及びＢ、又はこれらのいかなる組合せをも含むが、これらの可能性のあるもの全てを含む必要はない）、ということに注意すべきである。特に明記されていない限り、「含む」という用語は「構成される」を意味する（例えば、Ａ及びＢを含む又はＡ及びＢで構成されるは、Ａ及びＢを含有するが、オプションとしてＣ、又は、Ａ及びＢ以外の更なる構成要素を含有してもよい）、ということに注意すべきである。特に明記されていない限り、単数形は、特に文脈が明瞭に規定していなければ、１以上のものを表す、ということに注意すべきである。

【0052】

上述の明細書において採用された用語及び表現は、限定のことばではなく説明のことばとして用いられており、提示され説明された特徴の等価物を除外することを意図していない。この出願は、本発明のあらゆる改作物又は変形物を対象として含むことを意図している。同じ目的を達成するように作られたいかなる仕組みも、提示された特定の実施形態の代わりに用いられ得る、ということが当業者によって理解されるであろう。以下の特許請求の範囲は、ここに説明された本発明の包括的な及び特定の特徴の全て、並びに、ことばが原因でそれらの間にあたると言い得る本発明の範囲の全ての陳述を対象として含むことを意図している、ということも理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】