特許 6141767 疑似３Ｄ強化遠近法を用いた方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6141767

(24)【登録日】2017年5月12日

(45)【発行日】2017年6月7日

(54)【発明の名称】疑似３Ｄ強化遠近法を用いた方法及び装置

(51)【国際特許分類】

   H04N 13/02 20060101AFI20170529BHJP

   H04N 13/00 20060101ALI20170529BHJP

【ＦＩ】

   H04N13/02 600

   H04N13/00 180

【請求項の数】35

【全頁数】25

(21)【出願番号】特願2013-543268(P2013-543268)

(86)(22)【出願日】2011年12月6日

(65)【公表番号】特表2014-506039(P2014-506039A)

(43)【公表日】2014年3月6日

(86)【国際出願番号】US2011063520

(87)【国際公開番号】WO2012078621

(87)【国際公開日】20120614

【審査請求日】2014年11月11日

(31)【優先権主張番号】61/420,263

(32)【優先日】2010年12月6日

(33)【優先権主張国】US

(31)【優先権主張番号】13/076,354

(32)【優先日】2011年3月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】513141832

【氏名又は名称】テラネックス システムズ インコーポレイテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】ジェイムズ エフ．カーティス

(72)【発明者】

【氏名】ション ディー．グッドウィン

(72)【発明者】

【氏名】クリストファー エム．リール

(72)【発明者】

【氏名】レイモンド ディー．コンクリング

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 国際公開第９７／０１５１５０（ＷＯ，Ａ１）

【文献】 特開平０９−１１６９３２（ＪＰ，Ａ）

【文献】 特開２００１−１３４７５１（ＪＰ，Ａ）

【文献】 特開２０１０−１５４４２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

(57)【特許請求の範囲】

【請求項1】

変換プロセッサがアクセス可能な非一時的メモリ内に置かれた２Ｄ画像から、疑似３Ｄ画像ペアを生成する方法であって、
変換プロセッサを用いて前記２Ｄ画像を変換して、相補的テーパー関数を適用することによって、左右の強化遠近法画像のペアを生成すること
を含み、
前記左右の強化遠近法画像のペアのそれぞれは、外側端よりも長いか又は短い内側端を有する
方法。

【請求項2】

前記変換は、前記相補的テーパー関数がどのように適用されるかを表す、前記変換プロセッサによって用いられる少なくとも１つの強化遠近法パラメータに応じてなされる
請求項１のいずれか１項に記載の方法。

【請求項3】

前記強化遠近法パラメータは、前記左右の強化遠近法画像についての少なくとも１つの投写平面のｙ軸の周りの回転を表す角度パラメータである
請求項２に記載の方法。

【請求項4】

前記角度パラメータは、−１．０から−３．０度の範囲にある、請求項３に記載の方法。

【請求項5】

前記強化遠近法パラメータは、前記２Ｄ画像が変換された画像になるコーナーの場所を特定するコーナーマッピング座標のセットである
請求項２に記載の方法。

【請求項6】

前記変換は、変換プロセッサによって用いられるオフセットパラメータに応答して、左の画像を左に、右の画像を右にずらすように前記強化遠近法画像ペアをシフトすることをさらに含む
請求項２〜５のいずれか１項に記載の方法。

【請求項7】

前記変換は、変換プロセッサによって用いられるオフセットパラメータに応答して、左の画像を左に、右の画像を右にずらすように前記強化遠近法画像ペアをシフトすることをさらに含む
請求項２に記載の方法。

【請求項8】

前記オフセットパラメータは、前記２Ｄ画像の幅の０．５から１．５パーセントの範囲にある前記左右の強化遠近法画像のオフセットを特定する
請求項６に記載の方法。

【請求項9】

前記オフセットパラメータは、前記２Ｄ画像の幅の０．５から１．５パーセントの範囲にある前記左右の強化遠近法画像のオフセットを特定する
請求項７に記載の方法。

【請求項10】

２Ｄ画像のストリームを受け取り、カット検出プロセッサがアクセス可能である第２メモリの中に格納すること、
前記カット検出プロセッサを用いてストリーム中のカットを検出することであって、連続する２Ｄ画像は異なるシーンを表す、検出すること、
それぞれのシーンについて少なくとも１回、シーンプロセッサを用いて少なくとも前記強化遠近法パラメータを求め、前記シーンに割り当てること、及び
請求項２の方法を繰り返し適用することによって、前記強化遠近法パラメータを用いて、前記２Ｄ画像ストリームから左右の強化遠近法画像ペアを生成すること、
を含む、シーン適応化に適用される請求項２〜５のいずれか１項に記載の方法。

【請求項11】

２Ｄ画像のストリームを受け取り、カット検出プロセッサがアクセス可能である第２メモリの中に格納すること、
前記カット検出プロセッサを用いてストリーム中のカットを検出することであって、連続する２Ｄ画像は異なるシーンを表す、検出すること、
それぞれのシーンについて少なくとも１回、シーンプロセッサを用いて少なくとも前記強化遠近法パラメータを求め、前記シーンに割り当てること、及び
請求項２の方法を繰り返し適用することによって、前記強化遠近法パラメータを用いて、前記２Ｄ画像ストリームから左右の強化遠近法画像ペアを生成すること、
を含む、シーン適応化に適用される請求項２に記載の方法。

【請求項12】

前記シーンプロセッサは、シーン変化においてユーザの介在なしに前記強化遠近法パラメータを自動的に求める
請求項１０に記載の方法。

【請求項13】

前記シーンプロセッサは、シーン変化においてユーザの介在なしに前記強化遠近法パラメータを自動的に求める
請求項１１に記載の方法。

【請求項14】

前記シーンプロセッサは、少なくともいくつかの前記シーンについて、１つ以上の推奨される強化遠近法パラメータを生成し、前記推奨される強化遠近法パラメータを送信し、選択されたパラメータメッセージを受信し、前記選択されたパラメータメッセージに応答して前記強化遠近法パラメータを割り当てる
請求項１０に記載の方法。

【請求項15】

前記シーンプロセッサは、少なくともいくつかの前記シーンについて、１つ以上の推奨される強化遠近法パラメータを生成し、前記推奨される強化遠近法パラメータを送信し、選択されたパラメータメッセージを受信し、前記選択されたパラメータメッセージに応答して前記強化遠近法パラメータを割り当てる
請求項１１に記載の方法。

【請求項16】

２Ｄ画像のストリームを受け取り、カット検出プロセッサがアクセス可能である第２メモリの中に格納すること、
前記カット検出プロセッサを用いてストリーム中のカットを検出することであって、連続する２Ｄ画像は異なるシーンを表す、検出すること、
それぞれのシーンについて少なくとも１回、シーンプロセッサを用いて少なくとも前記強化遠近法パラメータ及び前記オフセットパラメータを求め、前記シーンに割り当てること、及び
請求項６の方法を繰り返し適用することによって、前記強化遠近法パラメータ及び前記オフセットパラメータを用いて、前記２Ｄ画像ストリームから左右の画像ペアを生成すること、
を含む、シーン適応化に適用される請求項７又は８に記載の方法。

【請求項17】

２Ｄ画像のストリームを受け取り、カット検出プロセッサがアクセス可能である第２メモリの中に格納すること、
前記カット検出プロセッサを用いてストリーム中のカットを検出することであって、連続する２Ｄ画像は異なるシーンを表す、検出すること、
それぞれのシーンについて少なくとも１回、シーンプロセッサを用いて少なくとも前記強化遠近法パラメータ及び前記オフセットパラメータを求め、前記シーンに割り当てること、及び
請求項６の方法を繰り返し適用することによって、前記強化遠近法パラメータ及び前記オフセットパラメータを用いて、前記２Ｄ画像ストリームから左右の画像ペアを生成すること、
を含む、シーン適応化に適用される請求項７に記載の方法。

【請求項18】

前記シーンプロセッサは、少なくともいくつかの前記シーンについて、１つ以上の推奨される強化遠近法パラメータ及び１つ以上の推奨されるオフセットパラメータを生成し、前記推奨される強化遠近法パラメータ及びオフセットパラメータを送信し、選択されたパラメータメッセージを受信し、前記選択されたパラメータメッセージに応答して前記強化遠近法パラメータ及び前記オフセットパラメータを割り当てる
請求項１６に記載の方法。

【請求項19】

前記シーンプロセッサは、少なくともいくつかの前記シーンについて、１つ以上の推奨される強化遠近法パラメータ及び１つ以上の推奨されるオフセットパラメータを生成し、前記推奨される強化遠近法パラメータ及びオフセットパラメータを送信し、選択されたパラメータメッセージを受信し、前記選択されたパラメータメッセージに応答して前記強化遠近法パラメータ及び前記オフセットパラメータを割り当てる
請求項１７に記載の方法。

【請求項20】

２Ｄ画像から、疑似３Ｄ画像ペアを生成する装置であって、
メモリ、
前記メモリに結合された変換プロセッサ、及び
前記メモリ中の２Ｄ画像にアクセスし、相補的テーパー関数を前記２Ｄ画像に適用することによって左右の強化遠近法画像ペアを生成する前記変換プロセッサ上で走るロジックを備え、
前記左右の強化遠近法画像ペアは、それぞれ内側端及び前記内側端と反対の外側端を有し、
前記変換プロセッサ上で走る前記ロジックは、前記左右の強化遠近法画像ペアのそれぞれについて、前記内側端が前記外側端よりも長いか又は短くなるように前記相補的テーパー関数を適用する
装置。

【請求項21】

前記変換プロセッサがアクセス可能な強化遠近法パラメータメモリ
をさらに備え、
前記変換プロセッサ上で走る前記ロジックは、前記強化遠近法パラメータメモリ中の値に応答して前記相補的テーパー関数を適用する
請求項２０に記載の装置。

【請求項22】

前記強化遠近法パラメータメモリ中の前記値は、前記左右の強化遠近法画像についての少なくとも１つの投写平面のｙ軸の周りの回転を表す角度パラメータである
請求項２１に記載の装置。

【請求項23】

前記角度パラメータは、−１．０から−３．０度の範囲にある値を有し、右の強化遠近法投写平面に対する左の強化遠近法投写平面のｙ軸の周りの回転を表す
請求項２２に記載の装置。

【請求項24】

前記強化遠近法パラメータメモリ中の前記値は、コーナーマッピング座標値のセットである
請求項２１〜２３のいずれか１項に記載の装置。

【請求項25】

前記強化遠近法パラメータメモリ中の前記値は、コーナーマッピング座標値のセットである
請求項２１に記載の装置。

【請求項26】

前記変換プロセッサがアクセス可能なオフセットパラメータメモリ
をさらに備え、
前記変換プロセッサ上で走る前記ロジックは、前記オフセットパラメータメモリ中の値に応答して、左の画像を左に、右の画像を右にシフトするオフセットを適用する
請求項２０に記載の装置。

【請求項27】

前記オフセットパラメータメモリ中の前記値は、前記２Ｄ画像の幅の０．５から１．５パーセントの範囲にあるオフセットを特定する
請求項２６に記載の装置。

【請求項28】

前記変換プロセッサ上で走る前記ロジックは、前記左右の強化遠近法画像を所定のアスペクト比にクリップする
請求項２０に記載の装置。

【請求項29】

第２メモリ、
２Ｄ画像ストリームを受け取り、前記第２メモリにロードする、前記第２メモリに結合された入力プロセッサ、
カットの反対側の連続する２Ｄ画像が異なるシーンを表す時に、前記２Ｄ画像ストリーム中のカットを検出する、前記第２メモリに結合されたカット検出プロセッサ、
それぞれのシーンについて少なくとも１回、強化遠近法パラメータ値を決定し、かつ、前記第２メモリに前記強化遠近法パラメータ値を設定し又は前記第２メモリ内の前記強化遠近法パラメータ値を変更せずに維持する、前記カット検出プロセッサに結合されたシーンプロセッサ
をさらに備え、
前記変換プロセッサは、前記第２メモリにさらに結合され、
前記変換プロセッサ上で走る前記ロジックは、前記強化遠近法パラメータ値を用いて、前記２Ｄ画像を繰り返し処理する
請求項２０〜２８のいずれか１項に記載の装置。

【請求項30】

前記シーンプロセッサは、シーンカットにおいてユーザの介在なしに前記強化遠近法パラメータ値を自動的に求める
請求項２９に記載の装置。

【請求項31】

前記シーンプロセッサは、シーンカットにおいてユーザの介在なしに前記強化遠近法パラメータ値を自動的に求める
請求項２９に記載の装置。

【請求項32】

前記シーンプロセッサに結合されたユーザと通信するための入力／出力ポート
をさらに備え、
前記シーンプロセッサは、少なくともいくつかの前記シーンについて、１つ以上の推奨される強化遠近法パラメータ値を生成し、送信のために前記推奨される値を前記出力ポートを介して送り、選択されたパラメータメッセージを前記入力ポートを介して受信し、前記選択されたパラメータメッセージに応答して前記選択された強化遠近法パラメータ値を前記第２メモリにロードする
請求項２９に記載の装置。

【請求項33】

第２メモリ、
２Ｄ画像ストリームを受け取り、前記第２メモリにロードする、前記第２メモリに結合された入力プロセッサ、
カットの反対側の連続する２Ｄ画像が異なるシーンを表す時に、前記２Ｄ画像ストリーム中のカットを検出する、前記第２メモリに結合されたカット検出プロセッサ、
それぞれのシーンについて少なくとも１回、強化遠近法パラメータ値及びオフセットパラメータ値を決定し、かつ、前記第２メモリに前記強化遠近法パラメータ値及び前記オフセットパラメータ値を設定し又は前記第２メモリ内の前記強化遠近法パラメータ値及び前記オフセットパラメータ値を変更せずに維持する、前記カット検出プロセッサに結合されたシーンプロセッサ
をさらに備え、
前記変換プロセッサは、前記第２メモリにさらに結合され、
前記変換プロセッサ上で走る前記ロジックは、前記強化遠近法パラメータ値及び前記オフセットパラメータ値を用いて、前記２Ｄ画像を繰り返し処理する
請求項２６に記載の装置。

【請求項34】

前記シーンプロセッサと通信のために結合された入力／出力ポート
をさらに備え、
前記シーンプロセッサは、少なくともいくつかの前記シーンについて、１つ以上の推奨される強化遠近法パラメータ値及び１つ以上の推奨されるオフセットパラメータ値を生成し、前記推奨される値を前記出力ポートに送り、選択されたパラメータメッセージを前記入力ポートを介して受信し、前記選択されたパラメータメッセージに応答して前記選択された強化遠近法パラメータ及びオフセットパラメータの選択された値を前記第２メモリにロードする
請求項３３に記載の装置。

【請求項35】

非一時的メモリに結合された少なくとも１つのプロセッサ上で走らされる時、前記非一時的メモリに格納された２Ｄ画像から、疑似３Ｄ画像ペアを生成する方法を実行する、非一時的メモリ中のプログラム命令を含む、記憶媒体であって、
前記方法は、
前記少なくとも１つのプロセッサを用いて相補的テーパー関数を適用し、左右の強化遠近法画像ペアを生成するよう前記２Ｄ画像を変換すること
を含み、
前記左右の強化遠近法画像のペアのそれぞれは、外側端よりも長いか又は短い内側端を有する
記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、２Ｄメディアの疑似３Ｄ左右画像ペアへの変換に関する。特に本発明は、２Ｄ画像の左右のバージョンに対して、強化遠近法を使うことに関する。画像の歪まされたペアは、表示されると、両目と心によって３Ｄ画像として解釈される。疑似３Ｄ強化遠近法の画像ペアは、シーン中の物体のデプスマッピングなしで、かつ、連続する画像フレーム中の物体の位置を比較することなく、作られ得る。

【背景技術】

【0002】

約一年前、映画「アバター」によって３次元（３Ｄ）映画の人気が爆発的に上昇し、それ以前のチケット売上高の記録を破った。それ以降、さらなる主要上演映画が３Ｄで成功裡に封切られてきた。映画館は３Ｄプロジェクターを追加した。テレビメーカーは、３Ｄ立体画像ＤＶＤを再生する機能、及び、左右眼視を制御するためにアクティブシャッターメガネを用いることによって、２Ｄメディアを３Ｄ視聴のために変換する機能さえも追加してきた。アクセサリーのレンチキュラービューイングスクリーン付きの、２つのレンズと調節可能な視差を備えたポケットサイズの３Ｄカメラが今や入手可能である。換言すれば３Ｄ立体視メディアが得られたことになる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

３Ｄメディアの人気とは反対に、２Ｄメディアを３Ｄ視聴用に変換するには困難が伴い、観察者からシーン内のさまざまな物体への距離を表すデプスマスクを計算することが伴う。３Ｄ立体視画像ペアを創るには、デプスマップに基づいて視差計算をシーンの各部分について行うことが必要である。

【0004】

２Ｄコンテンツを３Ｄ表示のために変換するテレビは、ダイナミックデプスマッピングにおいてミスをし、これは、背景から前景へ物体が飛び出る形の時は画面上で視認される。デプスマップアルゴリズムがその物体への距離を再分類する時に、物体は前に（又は後ろに）飛び出る。例えば、物体が動いて、それ以前にはその物体よりも観察者により近いと分類されていたシーンの一部を覆う時である。デプスマップアルゴリズムは、動く物体を再分類し、それは前に飛び出る。飛び出るアーティファクトは、おもしろいものから不愉快なものまでさまざまである。

【0005】

したがって２Ｄメディアを３Ｄ画像ペアに変換する自動化されコンピュータ支援された方法及びシステムを導入する機会が訪れる。費用及び要求されるユーザ介入の量に依存して、改良されたシステムは、３Ｄメディアを用意するために放送局又は他のサプライヤーによって使用され得、又はＴＶ又は他のコンシューマー製品の中に直接に組み込まれ得る。よりよい３Ｄ再生が得られるかもしれない。

【課題を解決するための手段】

【0006】

本発明は、２Ｄ媒体の疑似３Ｄの左右画像ペアへの変換に関する。特に、本発明は、２Ｄ画像の左右のバージョンに強化遠近法を施すことに関する。画像の歪まされたペアは、表示される時、観察者によって３Ｄ画像として認識される。疑似３Ｄ強化遠近法画像ペアは、シーン中の物体のデプスマッピングなしで、かつ連続する画像フレーム中の物体の位置を比較することなく、作られ得る。本発明の具体的な局面は、特許請求の範囲、明細書、及び図面に記載される。

【図面の簡単な説明】

【0007】

【図1】３Ｄ表示及び変換プロセッサのフォーマットを示す図である。

【図2】２Ｄ画像を強化遠近法疑似３Ｄ画像ペアに変換することを示す図である。

【図3A】強化遠近法と組み合わせられ得る変形例及び変換を示す図である。

【図3B】強化遠近法と組み合わせられ得る変形例及び変換を示す図である。

【図3C】台形投写の代わりに湾曲したテーパーを示す図である。

【図3D】強化遠近法と組み合わせられ得る変形例及び変換を示す図である。

【図3E】強化遠近法と組み合わせられ得る変形例及び変換を示す図である。

【図3F】奥行きの感覚を向上させるために適用され得るさらなるオフセット変換を示す図である。

【図4】ＶＣ１００のブロック図である。

【図5】開示された技術の応用例を示し、疑似３Ｄ強化遠近法画像ペアの基本的な生成を示す図である。

【図6】開示された技術の応用例を示し、歪みパラメータがシーナリーに従って調整されるワークフローの図である。

【図7】開示された技術の応用例を示し、後の送信のために歪みパラメータを計算及び記憶することを示す図である。

【図8】ある距離だけ離れた２つのカメラの遠近法を示す図である。

【図9】画像ストリームを、どのように疑似３Ｄ画像ペアが２Ｄ画像から受信機によって構築されるべきかを機能的に決定する伝送パラメータデータと共に送信することを示す図である。

【図10】ここで開示された装置のいくつかを作るためのさまざまな方法において組み合わせられるプロセッサ及びメモリブロックの高レベルブロック図である。

【図11】画像ストリームをその中に埋め込まれたパラメータと共に送信及び受信する送信機／受信機ペアの高レベルブロック図である。

【図12】製造物品として用いられ得る非一時的メモリのあるタイプを示す図である。

【発明を実施するための形態】

【0008】

２Ｄから３Ｄへの変換の鍵は長い間、良いデプスマップだった。何十年にもわたって、研究者は、デプスマップを構築する新しく改良された方法を提案してきた。特許出願US2010/0165081（2010年7月1日公開）及びUS2010/0118127（2010年5月13日公開）は、デプスマップを準備するために、前景の物体を背景のコンテンツから分離するさまざまな方法を示している。

【0009】

2010年の時点で主要な家電メーカーは、支援なし（unassisted）のオンザフライの２Ｄから３Ｄへの変換のためのデプスマップを自動的に構築するチップセットを備えたテレビを開発し、発売していた。購入者は、アクティブシャッターメガネをかけ、変換された画像を見る。メガネは左右眼の立体画像の間で表示をタイムシェアする。

【0010】

出願人は、デプスマッピングを知っていたが、従来のアプローチで構築することに専念していた研究者は知らなかった。出願人は、完全に異なるアプローチを取り、それは、デプスマップを計算する必要から変換プロセッサを解放させ、その代わりに歪まされた画像のペアからデプス情報を抽出するために人間の視覚及び頭脳に基づくというアプローチである。

【0011】

本願の図８に示されるように、立体画像を生成するためにカメラのペアを使って作業している時に、出願人に天才的なひらめきが訪れた。出願人がカメラを使って人間の視覚を模擬している時に、出願人は、２台のカメラの遠近法と一致するように単一の２Ｄ画像の左目版及び右目版を歪ませることによって、カメラの視覚を模擬し得ることに気付いた。

【0012】

図８は、ある距離だけ離れた２つのカメラの遠近法を示す。立体画像カメラセットアップにおいて、左右レンズ間の距離は、典型的には６５〜７５ｃｍの間であり、これは人間の眼の間隔と似ている。投写の意味では、それぞれレンズ又は眼は、物体の平面的な像を見る。２つの像の間の差異の一部は、その物体の平面像である２つの平面の回転になる。もちろんこの差異の他の部分は、異なる場所から見た時のように、背景に対して前景物体がどのように見えるかを決める。単一の２Ｄ画像の左右の版を歪ませても、見え方（view）による前景物体の違いを模擬することはできない。

【0013】

図８においては、上（左）カメラ８１１及び下（右）カメラ８３１がそれぞれの視覚軸８１２，８３２に沿って物体８２４を見る。これらカメラは、それぞれの視覚軸に直角である視覚平面８１３，８３３上に物体８２４が投写されたと考えることができる画像を記録する。もちろんこれは単純化されている。なぜならこれは、異なる位置から見る時、背景に対して前景の物体がずれる量を無視しているからであり、デプスマップ及び複雑な変換を従来のやり方で適用する理由の一部である。

【0014】

従来の教示にとらわれることなく、出願人は、中心軸８２２に沿って配置されたカメラ８２１によって記録された単一の２Ｄ画像から、左右の歪まされた画像を作ることについて実験した。出願人は、左画像の歪まされたペアを作り、強化遠近法（forced perspective）で疑似３Ｄ立体視を作った。これは疑似３Ｄであるが、その理由は、前景の物体を背景の物体から分離するのにデプスマッピング情報が使われていないからである。あたかも視点が中心から左右にずれたかのように見えるよう長方形の正面からの像が歪まされるという意味において、この方法は、２Ｄ画像に強化遠近法を導入する。

【0015】

出願人がこの歪み方法を洗練させるうちに、満足のいくような強化遠近法の変換角は、視覚平面８１３及び８３３の間の角度差８１４を越えることを出願人は見いだした。例えば、１０フィートにおいて、３インチのカメラの間隔は、２度未満の角度差にしかならない。仮出願が提出された時、６．５から８度の視差８１４に対応すると考えられていた強化遠近法歪みは、さまざまな場面において主観的にはより満足が得られるように思われた。使用されるワーピングハードウェアのさらなる研究の結果、主観的に満足できるとして選ばれた視差８１４は実際には２．９８から４．９８度であった。

【0016】

この導入部を念頭に添付の図を見てみる。

【0017】

図１は、３Ｄディスプレイ、変換プロセッサフォーマットを示す。立体画像のための３つの典型的なディスプレイは、テレビ、投写スクリーン、及びレンチキュラーパネルである。本開示の時点において、３Ｄ表示機能を持つテレビ１１４は、典型的にはアクティブシャッターメガネ１１３を通して見られる。アクティブシャッターメガネは、テレビが左眼用の像及び右眼用の像を表示する時に、これに同期して、交互に左右の眼にテレビ画面の像を見せる。３０又は６０Ｈｚではなく、１２０又は２４０Ｈｚのオーダーの非常に速いリフレッシュレートによって、テレビは左眼及び右眼に別個の画像を表示することができる。

【0018】

投写スクリーン１２４は、映画館で用いられる。２つ以上のプロジェクター１２２は、異なる偏光状態又は異なる色相で、左眼用の画像及び右眼用の画像をスクリーンに同時に投写する。安価なビューイングメガネ１２３は、左眼と右眼とで異なるレンズを有する。レンズペアとしては、水平及び垂直偏光板、時計回り及び反時計回り偏光板、緑及び赤レンズ、又はブルー及びマゼンタレンズがある。

【0019】

レンチキュラースクリーン１３４は、メガネを必要とせずに、左右の眼に別個の画像を通す。レンチキュラースクリーンの機構の説明は本開示の範囲を超えている。

【0020】

これらのタイプの３Ｄディスプレイは、画像ペアを再生する。我々はさまざまなハードウェアプラットフォームを用いて、歪まされた画像ペアを生成することを開示する。Teranex製のVC100のような専用のプロセッサ１１１が用いられ得る。この装置は、さらに図４のブロック図で示されるように、歪まされた画像のペアを並列に作るために単一命令多重データ（ＳＩＭＤ）を採用するプロセッサのペアを用いる。単一のプロセッサであっても左及び右の画像歪みをシリアルで扱えるだけ十分に速いものがあるかもしれない。専用のプロセッサ１１１は、代替としてＦＰＧＡであってもよく、又はＣＰＵ、ＧＰＵ、又はデジタルシグナルプロセッサ（ＤＳＰ）のような大量生産されるプロセッサ上で走るプログラムであってもよい。

【0021】

代替として、グラフィックスカードのようなアドインカードが、歪まされた画像ペアを作るのにふさわしいハードウェアを保持してもよい。グラフィックスカードは、典型的には、グラフィックス処理ユニット（ＧＰＵ）を用いる。より大まかには、アドインカードは、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、又はＤＳＰを用いてもよい。ＣＰＵは、ＡＳＩＣ又はＲＩＳＣ設計であってもよい。プロセッサは代替として、変換プロセッサ中の、表面実装の、又は他のパッケージングのチップ中に作り込まれてもよい。このプロセッサは、個別のチップ又はより大きなチップの中の一ブロックであり得る。この意味においてプロセッサは、開示されている技術を具体的に実現するファームウェア又はソフトウェアを走らせる広い範囲の電子計算デバイスを指す。

【0022】

図２は、２Ｄ画像２０１を、強化遠近法疑似３Ｄ画像ペア２１１，２１３に変換することを示す。左の画像の右側と、右の画像の左側とを「内側」２１２と名付け、これはそれぞれの画像の外側の反対側である。図において、垂直内側端２１２は、そのペアのそれぞれの画像の垂直外側端よりも高い。この図では、画像の上部及び底部におけるテーパーは、対称的である。左右の画像のテーパーは、相補的である。相補的であるとは、内側から外側端へ同様のテーパーが左右の画像に設けられることを意味する。結果として生じる画像は、内側端について対称的であるプロファイルを有する。

【0023】

さらに洗練することで、ある種のシーンについては、負の視差のほうがより満足できるように見える。そのようなシーンにおいては、内側端が外側端より短く、左画像２１１及び右画像２１３のペアが実質的に入れ替えられる。いわゆる負の視差は、画像の一部がスクリーン表面よりも見る人により近い空間にあるように見える効果を作る。逆に正の視差は、画像の一部がスクリーンよりも見る人からより遠くにあるように見えるようにし、これは、スクリーンまでの距離よりも見る人により近いと本物らしくない、大きな波のサーフィンを望遠鏡で見る眺めのような、遠くの画像については満足できるものである。一方の戦闘員の眼を通して見た刀剣を用いた闘いは、時には刃がスクリーンからはみ出て宙を切るように見え、観察者をのけぞらせるほうがより良いだろう。

【0024】

図３Ａ〜図３Ｅは、図２の強化遠近法と組み合わせられ得る改変例及び変換を示す。図３Ａにおいては、垂直テーパーが与えられることによって、高さを強調する強化遠近法が作られる。図３Ｂにおいては、高さを強調する強化遠近法が左の疑似３Ｄ画像に適用される。

【0025】

示される画像２０１を変換する線形代数は、「射影変換」と呼ばれることもある。レプトニカのウェブサイトで見られる、ここで参照によって援用される「アフィン変換（及びその類似）」と題される記事は、射影変換をうまく記述している。より一般的な言葉としては、強化遠近法疑似３Ｄ画像ペアを作るのに有用な歪み又はワーピングは、いわゆる「キーストーン補正」であり、これは投写スクリーンの角に投写された画像をアラインさせるのに用いられる。例えば、参照によって援用される米国特許第6,520,647号を参照されたい。我々の目的のためには、強化遠近法を元の形状に適用させるために、投写を長方形のビューイングスクリーンに合わせるというよりは、キーストーン補正が逆に行われる。

【0026】

マトリクス変換又は線形代数を適用させることなく、画像２０１を疑似３Ｄ画像ペア２１１，２１３に変換するために、一般形歪みマトリクスが用いられ得る。この一般形歪みマトリクスのアプローチは、米国特許第7,384,158号及び第7,126,616号に図示及び記載され、これらは参照によって援用される。

【0027】

画像の中心が遠方に向かって後退し、観察者により近く見えるのではなく、スクリーンよりも観察者からより離れていることを要求する具体的なコンテンツ、具体的なシーナリーが存在し得る。トンネル、パイプ、又は壁の孔は、像の中心が観察者よりも大きく後退していれば、より本物らしく、又は不気味に見えるかもしれない。強化遠近法疑似３Ｄ画像ペアの外側端よりも長い内側端は、孔の端がスクリーンよりも遠ざかって見えるようにするかもしれない。

【0028】

この技法のある実施形態は、疑似３Ｄ画像ペアの外側端よりも高い内側端によって強化遠近法を適用するが、この開示は、外側端よりも短い内側端を有する強化遠近法ペアにも応用され、一般に適切な歪みパラメータを選択することによって、望ましい投写をシーン毎に、又はプログラム毎に一致させる。

【0029】

図３Ｃは、台形の投写２１１，２１３の代わりに、湾曲したテーパー３３１，３３２を示す。図において、これらテーパーは、画像の中心について凹形状である。代替として、これらテーパーは、画像の中心から離れるに従って膨らむ凸形状であってもよい。この曲線は、カテナリー関数、放物線関数、又はより一般には、上で特定された’158特許及び’616特許に記載される多項式によって定義され得る。テーパーが付けられた曲線を利用する一つの方法は、像を作るために用いられるレンズの見かけの焦点距離を変えることであり、これは魚眼レンズで撮られた像の形を整えるのに適用されることもある。

【0030】

図３Ｃでは、図２のように、上部及び底部のテーパーが水平軸について対称的に示されている。視点が像の下にあり、シーン全体がアイレベルより上にある場合のように、上部テーパーが底部テーパーよりも大きい角度でテーパーが付けられる場合があり得る。他の例外的な場合は、観察者が建物の正面又は他の平らな物体の右又は左に居る時である。中心からずれると、非対称なポリゴンが、元の像２０１の角の望ましい投写を記述するかもしれない。米国特許第6,520,647号（見かけの視角）を参照。図８を参考にすると、シーンの下にあるアイレベルは、水平及び垂直のテーパーと、キーストーンとの組み合わせによってよりよく表現され得ることがわかる。

【0031】

図３Ｄ及び図３Ｅは、強化遠近法と組み合わせられ得る他の歪みを示す。図３Ｄは、糸巻き形を示す。糸巻き形の反対は、樽形であり、平行な線が像の中心から離れるように膨らむ。図３Ｅは、アナモルフィック歪みを示し、例えば１６：９の画像を４：３のスクリーン上で表示させるために水平方向に圧縮されている。これらの追加の歪みは、事実上、任意の組み合わせで、２Ｄ画像の強化遠近法変換に加えることができる。

【0032】

図３Ｆは、深さをさらに実感させるために適用され得る変換を示す。この図では、左右の疑似３Ｄ画像ペア２１１，２１３は、オフセット距離３６５だけ離れて配置されている。すなわち、左の像２１１の中心は、右にシフトされ、右の像２１３の中心は、左にシフトされる。実際には、１０８０画素のＨＤ画像の場合、１０から２０ピクセルのシフトが満足できるもののようだった。デフォールトのシフトがないものに加えて、我々は、深さの感覚を向上させるために、左右の画像を画像の幅の１．５パーセントから１パーセントの間で離すように移動させるシフトと、１．５パーセントから２パーセントの間で離すように移動させるシフトとを強化遠近法に組み合わせることを開示する。

【0033】

読者は、最終的に表示される画像は、クロッピング又はオーバースキャンによって、典型的には長方形のフレームに合わされることを理解すべきである。歪まされた画像を
オリジナルの画像に対応するフレームサイズのような、所望のフレームサイズに適切にサイズを調節するために、又はアナモルフィックに歪まされたオリジナルの画像フレームにズーム機能が適用され得る。

【0034】

図４は、VC100のブロック図である。制御パネル４１０は、装置にローカル取り付けられてもよく、又はリモートに結合されてもよい。２つのビデオ処理チャネル４２０，４５０は、２つの歪まされた出力画像を同時に作るよう入力画像を処理できる。この実施形態のビデオ処理チャネルは、入力画像２０１を歪ませることをビデオ処理エンジン４２１，４５１によって行っている。この装置は、オーディオ４４０及びさまざまな変換フォーマットも同時に扱う。標準的にこの装置は、１００を越えるフォーマット変換の選択肢を有する。Teranexのウェブサイト上で確認できるように３００を越えるフォーマットの選択肢が全体として利用可能である。Teranexがそのウェブサイトで公開した2010年11月15日及び2011年1月28日のバージョンのVC100ファミリーユーザマニュアルは、ここで参照によって援用される。

【0035】

図５〜７及び図９は、開示された技術の応用例を示す。図５に示される一連のアクションは、画像（２０１）を受け取ること５１２、及びその画像（２０１Ｌ，２０１Ｒ）を複製すること５２２を含む。２つのプロセッサがオリジナル２Ｄ画像（２０１）を保持する単一のメモリ位置に同時にアクセスすることを許すタイプのメモリも利用可能なので、画像の複製されたコピーを作ることは必要ではない。次のアクションは、強化遠近法による疑似３Ｄ画像ペア（２１１，２１２）を用意すること（５３２）である。オプションとして、変換パラメータは、外部ソースから受け取られてもよい。図７以下は、２Ｄ画像（２０１）と共に受け取られ得る（５１２）パラメータを用意することを示す。上述のように、歪まされた画像のペアは、並行して、又は順次、用意され得る。オプションとして、１つ以上の垂直キーストーン補正、糸巻き形、樽形、アナモルフィック歪み、及びオフセットを含む他の変換が、強化遠近法を施すよう画像（２０１）を歪ませることと組み合わせられ得る。疑似３Ｄ強化遠近法の画像ペアは、さまざまなメディアコンシューマ及び記憶装置に並行して、又は順次、供給され得る。画像ペアは、投写システム５２３、レンチキュラーディスプレイ５３３、又はテレビ（不図示）によって、すぐに用いられ得る。画像ペアは、後の利用のために記憶され得る。現在のシステムにおいては、画像ペアを作ることは、伝送５５３の前のエンコーディング５５２に続いて行われる。この伝送は、地上波を介して、衛星を介して、ケーブルによって、インターネットを介して、又は他のハイブリッドなローカル伝達システムのいずれでもよい。エンコーディングステップは、変換を適用したすぐ後に行われてもよく、又はメディアアーカイブ５４３からの記憶された画像に対して適用されてもよい。エンコードされた画像は、すぐに消費されてもよく、又は後の分配のために記憶されてもよい。流行になりつつあるＩＰＴＶに用いられるＨＴＴＰ適応ストリーミングのフォーマット、インターネット分配、及び異なるスクリーンサイズを有する一般消費者用デバイスと共に利用可能なように、さまざまのサイズのエンコードされた画像群が同時に生成されてもよい。

【0036】

図６は、歪みパラメータがシーナリーに従って調整されるワークフローを示す。このワークフローは、一連の画像（２０１）を受け取ること（６１２）を含む。カット検出器は、入力される画像のセグメント間でのカットを検出する（６２２）よう適用される。例えば、標準的なカット検出器は、ディレクターが部屋全体のショットからある俳優のクローズアップへ画面を変える点を検出する。次のアクションは、カットの間のセグメントについてのパラメータを調整すること（６３２）によって、歪みパラメータが適切になるようにすることである。このパラメータには、強化遠近法の程度が少なくとも含まれる。水平軸についての強化遠近法の程度は、単一のパラメータによって表現され得る。

【0037】

仮出願が出願された時、−４から＋４までのいわゆる強度パラメータが、０から約１４度までの変換角に対応すると考えられていた。このいわゆる変換角測定は、キーストーン変換から生じるテーパーを作る画像平面の相対的な回転角８１４に対応する。好ましくは、変換角（２０１対２１１，２１３）は、約１．７から１２．２度の範囲の中にある。より好ましくは、変換角は約３．４から１０．４度の範囲の中にある。最も好ましくは、変換角は、５．２から８．７度である。しかしプロセッサの角のパラメータについての扱いが明らかには記録に残されていないので、出願人がこれらの値のスケーリングについてさらに調べていることも仮出願は記載している。さらに調べた結果、−４から＋４度の強度パラメータの範囲から生じる変換角が、０から７．９６度に対応するという結論に到達した。したがって好ましい変換角は、約８／１４でリスケールできる。リスケールによって、変換角（２０１対２１１，２１３）は、約１．０から７．０度の範囲内であり得る。より好ましくは、変換角は、１．９から５．９度の範囲内にある。最も好ましくは変換角は３．０から５．０度である。

【0038】

仮出願の出願後の開発において、強度範囲は−４０から＋４０に変更された。ゼロの強度においては、ワーピングはない。−４０において変換角は８度であり、変換された画像ペアの内側端は、外側端よりも短い。＋４０において変換角は８度であるが、内側端は、外側端よりも長い。場合によっては負の変換角がより満足できる。負の変換角又は視差角が用いられる時、正の変換の時よりも小さくなる傾向にある。好ましい負の変換角は、−１．０から−３．０度の範囲内にある。より好ましくは、変換角は、−１．５から−２．５度の範囲内にある。

【0039】

これらの範囲の変換は、多数の観察者による経験及び観察と共にさらに洗練されたものになるだろう。

【0040】

リスケールの後には、最も満足のできる強化遠近法は、回転角８１４の３倍まで、見かけの回転を適度に強調し得るようである。

【0041】

変換のこれらの代替の範囲が望ましいかどうかは主観的であり、数千時間ではなく数十時間の観察の後に、同僚とも相談して発明者によって選択された。これらの範囲は、注意のフォーカスをフレームの中心の近くに、かつ背景よりも観察者により近く置く通常のシーンに対応する。この通常のシーンのシナリオのためには、変換角は、図８の角８１４から測定又は計算されるであろうものよりも大きい。変換角は、さまざまなシーンのタイプによっては他の範囲であってもよい。

【0042】

より一般には、変換パラメータは、元の画像から作られたポリゴンの４つの角として、投写変換（レプトニカ）の８個のパラメータとして、又は２Ｄ画像２０１を強化遠近法画像（２１１，２１３）にマッピングする一般的な変換（米国特許第6,520,647号）の９個のパラメータとして表現され得る。内側端についての画像ペアの対称性のために、相補的な強化遠近法の画像ペアのうちの１つの歪まされた画像（左又は右）を作るのに必要となるパラメータを特定するだけでよい。

【0043】

オプションとして、オフセットパラメータ３６５も発生され得る。オフセットパラメータは、オフセットが適用される時は０．５パーセントから１．５パーセントの範囲であり得て、遠くにある景色のように比較的、３Ｄの知覚が少ない場合にはゼロに設定されてもよい。

【0044】

追加の歪みパラメータがさらに特定され得る。

【0045】

いくつかの実施形態においては、カット検出器は、省略されてもよく、パラメータ群の単一のセットが２Ｄ画像２０１の全体のセットに割り当てられ得る。

【0046】

図６及び図７の間の違いは、パラメータがすぐに処理されるか、又は後の使用のために記憶されるかである。図６においては、オプションである複製及び後続の処理６４２，６５２は、図５に記載された処理５３２，５４２，５５２に対応する。図７においては、後の転送のために、これらパラメータを計算及び記憶できる点で有用性がある。

【0047】

自動フォーマット検出（ＡＦＤ）のための現在のMPEG-2転送ストリームモデルは、メディアストリームのストリーム制御情報内に歪みパラメータを埋め込むためのモデルとして働く。ＡＦＤプロトコルは、ETSI TS 101 154 VI .7.1 (2005-06)のAnnex BのDigital Video Broadcasting (DVB); Implementation guidelines for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Streamと題された文書に記載されている。Annex Bは、「混在したフォーマットを複数種類の受信機群に伝送するネットワークでの使用」のためのコーディングを記載する。このコーディングは、伝送されるコンテンツの性質を記述することによって、受信機がビデオの表示を最適化するのを助ける。このコーディングは、MPEG-2転送ストリームのビデオエレメンタリストリームのユーザデータ内で運ばれる。

【0048】

一般に、３Ｄ変換データは、画像又は音声データと共に転送ストリーム中に含ませることができる。３Ｄ転送データは、強化遠近法データの程度を少なくとも含む。３Ｄ転送データは、オプションとして、画像オフセットデータも含む。これは、変換角パラメータとして、又は、より一般的にはポリゴンからポリゴンへの変換パラメータとしてコーナーからコーナーへの変換マッピング又は線形変換行列係数として含まれ得る。３Ｄ変換データは、画像シーケンス中のカットと共に変化し得る。３Ｄ変換データは、ストリーム制御情報中に、又はキーフレームのもののような画像ヘッダ中に含まれ得る。

【0049】

図９は、どのように疑似３Ｄ画像ペアが受信機によって２Ｄ画像から構成されるかを機能的に決定する変換パラメータデータ７４１と共に、画像ストリーム９２１を伝送することを示す。上に特定された伝送パラメータデータの一部又は全部は、画像ストリームと共に伝送され得る（９２１）。変換パラメータデータは、ペイロード画像データが表示される前に受信機器によってどのように歪まされるかを機能的に決定するので、変換パラメータデータの機能は、メディアストリームの画像又は音声コンテンツとは異なる。ある要素９１１は、画像及びパラメータをバッファするが、このバッファすることは、ネットワークから受信される時にコンテンツのストレージ又は再分配から取り出されることを含み得る。次の要素９２１は、それらを送信する。送信は、上述の伝送メディアのうちの任意のものを介し得る。送信はスケジューリングされてもよく、又はオンデマンドであってもよい。

【0050】

図１０はブロック図において、ここで開示される装置のいくつかを組み立てるさまざまな方法で組み合わせられるプロセッサ及びメモリブロックを示す。入力プロセッサ１０１１又は入力／出力ポート（不図示）は、外部データ及びユーザへのアクセスを提供する。カット検出プロセッサ１０２１は、２Ｄ画像のストリーム中のシーン間のカットの位置を特定する。シーンプロセッサ１０３１は、２Ｄ画像を疑似３Ｄ画像ペアに変換するためのパラメータを自動的に又は半自動的に決定する。変換プロセッサ１０４１及び変換プロセッサ上で走るロジックは、特別にプログラムされたプロセッサを用いて、相補的なテーパーを少なくとも適用し、左右の強化遠近法画像ペアを生成するよう物理的シーン（physical scenes）を表現する２Ｄ画像を変換する。メモリ１０１２は、プロセッサの動作をサポートする。これらプロセッサ及びメモリは、実施形態によっては、単一のチップに統合されてもよく、単一のＦＰＧＡ上で走らされてもよく、又は図で示されるブロックの数よりも少ない個別デバイス上に実現されてもよい。画像ストリーム１０３２は、２Ｄ入力画像（群）及び画像ストリーム中に組み込まれたパラメータを表す。このパラメータは、画像ストリーム制御データとして組み込まれてもよく、又は画像ストリームの少なくともいくつかの画像フレームの画像ヘッダ内に組み込まれてもよい。

【0051】

図１１はブロック図において、組み込まれたパラメータを持つ画像ストリームを送ったり受け取ったりする送信機／受信機のペアを示す。送信機出力プロセッサ１１０１は、画像ストリーム及びパラメータを通信チャネルを介して送信する。チャネルの詳細は、本開示の範囲を超える。典型的には通信は、パケット化され電子的なものである。通信は、有線であっても無線であってもよく、同期でも非同期でもよく、純粋なものでもハイブリッドなものでもよい。受信機入力プロセッサ１１０３は、送信機が送信したものを受信し、それを変換プロセッサ１１０３（１０４１に対応する）に送ることによって、特別にプログラムされたプロセッサを用いて、相補的なテーパーを少なくとも適用し、左右の強化遠近法画像ペアを生成するよう物理的シーンを表現する２Ｄ画像を変換する。

【0052】

図１２は、古典的なタイプではあるが、製造物品（article of manufacture）として用いられ得る非一時的なメモリのあるタイプを示す。製造物品として、よりありがちなのは、ＣＤ、ＤＶＤ、又はソリッドステートメモリだろう。製造物品は、ローカルなコンピュータ上にプログラム命令をダウンロードすることによって作られる、ダイナミックメモリ又は不揮発性（ディスクドライブ又はソリッドステートのメモリ）であってもよい。

【0053】

いくつかの具体的な実施形態
開示された技術は、方法、装置、又は製造物品として実施され得る。開示された技術はコンピュータを用いることによって、２Ｄ画像を解釈し、特定されたパラメータ値を受け入れ、又は変換パラメータを決定し、物理的な物体の絵を表すデジタルデータを変換し、強化遠近法による疑似３Ｄ画像ペアを作り、疑似３Ｄ画像ペアをステレオグラフ的に表示する変換パラメータを含むデジタルデータストリームを送信及び受信する。この意味で、コンピュータという語は、さまざまなコンピューティングプラットフォーム及びプロセッサのスタイルを含むように広く用いている。主要な特徴は、コンピューティングのリソースが開示された特定の目的のためにプログラムされることである。

【0054】

デジタル画像の操作、及びデジタルデータストリームの取り扱いは、機械の使用を必要とする。人間がコンピュータとインタラクションすることを必要とする本開示の一部は、特定のシーンについて推奨される変換パラメータを発生し、ユーザによって観察されるその推奨事項を送信し、代わりにパラメータ選択メッセージを受信する機能を記載する。その他に、広く記載されている変換は、ユーザの介入なしで機械上で動作する。

【0055】

開示されたある方法は、疑似３Ｄ画像ペアを２Ｄ画像から準備することを含む。この変換の間に、２Ｄ画像２０１は、変換プロセッサにアクセス可能な非一時的メモリ内に位置する（５１２）。「非一時的」とは、電線を伝搬中の信号を単に除外するためのものである。２Ｄ画像は、揮発性又は不揮発性メモリ内に存在し得る。揮発性メモリは、オンボード又はオフボードのメモリであり得て、メモリセル、バッファ、又はレジスタであってもよい。２Ｄ画像は、不揮発性メモリの場合は、ＣＤ又はＤＶＤのような読み出し専用媒体、又は読み出し／書き込みメモリの中に存在し得る。読み出し／書き込みメモリは、ディスクドライブ又はソリッドステートであり得る。２Ｄ画像が通信チャネルを通じて受信される時は、それらは処理のためにメモリに格納される（５１２）。

【0056】

この方法は、変換プロセッサを用いて、相補的なテーパー関数を適用することによって左右の強化遠近法画像ペアを発生する（５３２）ことで２Ｄ画像を変換することを含む。

【0057】

この方法と共に用いられ得る変換プロセッサの例には、ＳＩＭＤワープエンジンプロセッサ、グラフィックスカード又はプロセッサ、ペンティアムプロセッサのようなＡＳＩＣ、ＲＩＳＣプロセッサ、又はＦＰＧＡがある。適切なプログラム命令及びプロセッサの機能によって、これらの及び同様のプロセッサでも相補的テーパー関数を適用できるだろう。

【0058】

上述において、ポリゴンテーパー関数の３つの例が挙げられている。すなわちキーストーン補正、マトリクス変換、及び一般歪みマッピングである。出願人は、一般歪みマッピングは、曲線から成るテーパー関数（図３Ｃ）を適用するために用いられ得ることを上で説明した。

【0059】

上述のように、変換プロセッサは、相補的テーパー２１１，２１３と、オプションとして、左右の画像が離れるように間隔を空けるオフセット３６５とを用いて、強化遠近法画像ペアを生成する。

【0060】

出願人は、主観的に満足のいくテーパー関数は、左右の画像の差を強調し得ることを見いだした。例えば、特定のシーンについて、もし左眼によって見られる画像平面が、右眼によって見られる画像平面に対して２．２度だけ回転されている（８１４）なら、回転８１４に対して、強調された３．０〜５．０度に同等の強化遠近法を課せば、主観的に満足がいくかもしれない。

【0061】

この方法が、先行する画像又は後続する画像からの情報なしで、単一の画像について実行され得ることは、言及に値する。２Ｄ画像からの物体の抽出、及び画像のデプスマップの計算は、この方法では必要ない。このデプスマップ処理は必要とされないが、開示された技術は、従来のデプスマッピング生成及び従来の２Ｄから３Ｄへの変換と組み合わせる時に有用となる。

【0062】

左右の強化遠近法画像ペアの生成は、画像ペアが記憶される（５４３）か、又は直ちに使用される（５２３，５３３，５５３）か、及び画像ペアが直接に使用され、又は送信ストリーム５５３内で用いられるようにエンコードされる（５５２）かにかかわらず、それ自身が有用である。疑似３Ｄ強化遠近法画像ペアは、変換プロセッサ５３２による出力として、又は後の送信５５３のために１つ以上のフォーマットにエンコーディングされた後（５５２）に記憶され得る。システムによっては、画像ペアは、画像ペアをいくつかの異なるフォーマットに同時に変換するエンコードプロセッサを通してパイプライン処理され得る。疑似３Ｄ画像ペアがすぐに利用されることについては、いくつかが上で議論されている。

【0063】

この方法のある局面によれば、強化遠近法画像は、外側端よりも高い内側端２１２を有し得る。

【0064】

強化遠近法パラメータ７４１は、変換プロセッサの動作を調整するために、この方法と共に用いられ得る。強化遠近法パラメータは、相補的テーパー関数がどのように適用されるべきかを示す。強化遠近法パラメータの一例は、左又は右の、又は左右両方の強化遠近法画像のための少なくとも１つの投写平面のｙ軸についての回転８１４を表す角度パラメータである。このパラメータの適切な値は上述の通りである。強化遠近法パラメータの他の例は、２Ｄ画像のコーナーが終わる場所を特定する座標のセットである。これはキーストーン補正の典型的な考え方である。すなわち２Ｄ画像のコーナーＡＢＣＤが、ペアのうちの１つの画像のコーナーＡ’Ｂ’Ｃ’Ｄ’にマッピングされ、相補的なマッピングがもう１つの画像に適用される。コーナーマッピングをマトリクスパラメータに変換する線形代数は、参照されている刊行物に記載されている。他の例においては強化遠近法パラメータは、一般的な歪みマップであり得る。強化遠近法パラメータを角度又は４つのコーナーの座標として表現することは、多項式の係数のセットよりもずっとコンパクトである。一般に、「コンパクトな」強化遠近法パラメータは、２Ｄ画像を強化遠近法画像に変換するための９個以下の値を持つ。加えて第２画像を生成する相補的変換のために９個以下の値を供給してもよく、又は値の第２セットは、第１セットから導出されてもよい。

【0065】

図３Ｆに示されるように、記載された方法は、オプションとして、強化遠近法画像ペアをシフトすること（３６９）によって、左の画像を左に、右の画像を右にオフセットさせることでさらに高品質化されてもよい。オフセットパラメータ３６５は、変換プロセッサによって用いられることで、シフトの程度を決定し得る。オフセットパラメータの好ましい範囲は、上述の通りである。

【0066】

疑似３Ｄ強化遠近法画像ペアを作ることで典型的には、長方形の画像は台形（イギリス英語でtrapazium）に変換される。観察者及び電子処理装置は、いずれも長方形のフレームに収まった画像を前提としている。したがって強化遠近法画像ペアを表示、記憶、エンコード、又は送信するために強化遠近法画像ペアの加工をする時は、クリッピングか、ズーミング及びクリッピングかが有用である。

【0067】

上の画像送信方法、そのさまざまな変形及び局面は、図６に示されるように、２Ｄ画像を疑似３Ｄ画像ペアに変換するパラメータを調整する、シーン適応とそのまま組み合わせることができる。テレビ番組、映画、及び他の媒体は、一連のシーンを示す。媒体は、あるシーンからあるシーンへと「切り取られる」と言うことができる。変換と組み合わせられたシーン適応化は、シーン間のカットを検出すること（６２２）、変換パラメータをさまざまなシーンに適切なものとなるよう適応化すること（６３２）、及び適応化されたパラメータを用いてシーンに合った疑似３Ｄ画像ペア６５２を生成することを含む。

【0068】

より詳細に説明すると、シーン適応化は、上述の変換方法と組み合わせられる時、カット検出プロセッサにアクセス可能なメモリ内で２Ｄ画像のストリームを処理すること（６１２）を含む。カット６２２の相対する側にある連続する２Ｄ画像は、異なるシーンの部分である。シーン当たり少なくとも１回は、シーンプロセッサは、シーンに少なくとも１つの強化遠近法パラメータを決定及び割り当てを行う。もちろんシーンプロセッサは、オプションとしてオフセットパラメータを割り当ててもよい。変換プロセッサが特定の２Ｄ画像を変換する時、プロセッサはシーンプロセッサによって割り当てられたパラメータを用いる。

【0069】

シーンプロセッサは、自動的に、又は半自動的に動作し得る。自動処理モードでは、ユーザの介在なしでシーンが変わるたびに、同じプロセッサが強化遠近法パラメータを決定し、オプションとしてオフセットパラメータも決定する。半自動方法では、シーンプロセッサは、１つ以上の推奨されるパラメータを少なくともいくつかのシーンについて生成し、推奨されるパラメータを送信し、選択されたパラメータメッセージを応答して受信し、選択されたパラメータメッセージに基づいてパラメータをシーンに割り当てる。半自動プロセッサは、ほとんどのシーンについては自動的に動作し、マクロクローズアップ、又は逆強化遠近法のような極端な場合についてだけ推奨を行ってもよい。歪み、回転、又はテーパーの通常の範囲を決定するために、所定の閾値が設定され得て、この閾値又は特定のシーンのクラスに該当しないパラメータ値に対する推奨及び応答を限定するために、所定の閾値が設定され得る。一般にシーン適応化は、すぐに表示しなくてもよい２Ｄ画像ストリームについてパラメータを設定するために用いられ得る。

【0070】

シーンプロセッサは、直接にパラメータを割り当ててもよく、又はパラメータの割り当てを延期するやり方でシーンの分類を行ってもよい。例えば、シーンプロセッサは、フレームの中央部のコンテンツ（例えば３分割したフレームの中央部）が前景又は背景であるかによってシーンを分類してもよい。シーンプロセッサは、前景の物体がどのくらい近いかによってシーンを分類してもよい。シーンプロセッサは、シーンを通してフレームの中央を分析し、それによって遠い背景に対して前景に現れる物体が、シーンの分類される方法を変えないようにしてもよい。

【0071】

シーン適応化の代替の使用は、疑似３Ｄ画像ペアを２Ｄ画像ストリームから、後の時点で、又はリモート変換プロセッサによって、生成することを制御するために、１つ以上の変換パラメータを決定する方法である。この方法は、２Ｄ画像のストリーム２０１をカット検出プロセッサにアクセス可能なメモリへ取り込むこと（７１２）を含む。カット検出プロセッサは、上述のようにカットを検出する（７２２）。このシーンプロセッサは、変換プロセッサがどのようにシーン中の２Ｄ画像を変換し、左右の強化遠近法画像ペア、疑似３Ｄ画像を生成するかを特定するパラメータの決定及び２Ｄ画像ストリーム内のシーンへの割り当てを行う（７３２）。割り当てられるパラメータには、少なくとも強化遠近法パラメータが含まれ、オプションとしてオフセットパラメータも含まれ得る。

【0072】

上述のように、シーンプロセッサは、シーン適応化を自動的に又は半自動的に決定し得る。

【0073】

パラメータをシーンに割り当てた（７４２）結果は、テーブルの形で記憶されるか、又は媒体中に埋め込まれ得る。例えば、この方法は、１つ以上のパラメータ（７４１）を、２Ｄ画像ストリームと関連付けられた画像ストリーム制御データ中に埋め込むことを含み得る。ＭＰＥＧ−２トランスポートストリーム中では、ユーザフィールドが適切である。代替としては、このトランスポート標準は、トランスポートストリームによって運ばれる画像のための修正された又は関連する標準であり得、パラメータフィールドを追加するよう変更され得る。この方法では、ストリーム制御データ中のパラメータの代わりに、又はそれらに加えて、２Ｄ画像ストリーム内の個別の画像についての画像ヘッダデータ中にパラメータを埋め込むことを含み得る。キーフレーム及び異なるフレームの両方を含む画像ストリームにおいては、これらパラメータは、好ましくは、キーフレームのうちの少なくともいくつかのヘッダ中に配置される。

【0074】

したがってシーン適応化方法は、パラメータが２Ｄ画像ストリーム中のシーンとどのように相関関係を有するか、シーンにどのように割り当てられるか、又はシーンにどのように埋め込まれるかにかかわらず、有用性を有する。このシーン適応化方法は、変換された疑似３Ｄ画像を実際に表示することを必要とせずに、有用性を有する。この変換（例えば５３６，６５２）は、大幅に遅延され得て、異なるグループによって又は異なる国において実行され得る。

【0075】

後で変換するためのシーン適応化に付随するものとして、２Ｄ画像及び疑似３Ｄ画像ペアで表示するための制御情報を受け取る方法がある。この方法は、少なくとも１つの強化遠近法パラメータを含む２Ｄ画像のストリームを受け取ること（５１２）を含む。一般的に記載すれば、強化遠近法パラメータは、左右の強化遠近法画像ペアを生成するために、相補的テーパー関数が変換プロセッサによってストリーム中の２Ｄ画像にどのように適用されるかべきを特定する。オプションとして、この方法は、変換プロセッサを使用することによって、強化遠近法パラメータに応答して、受信と同時に２Ｄ画像を変換し、左右の強化遠近法画像ペアを生成することをさらに含む。

【0076】

上述のように強化遠近法パラメータ７４１は、２Ｄ画像ストリーム中の少なくともいくつかのシーン変化と共に変化し得る。受信方法は、変化するパラメータに応答して、疑似３Ｄ画像を生成すること（５３２）によって拡張される。

【0077】

この方法は、オフセットパラメータを受信し、それからオフセットパラメータを適用することによってさらに拡張され得る。

【0078】

この方法は、変換パラメータを取り出すために受信されたデータをパースすること（parsing）もさらに含み得る。ある実施形態においては、この方法は、画像ストリーム制御データをパースすることによってパラメータを見いだすことを含む。他の実施形態においては、この方法は、少なくともいくつかの画像データフレームの画像ヘッダをパースすることによってパラメータを見いだすことを含む。

【0079】

どの受信方法についても、送信方法が存在する。ここでは、送信方法は、少なくとも１つの強化遠近法パラメータ７４１を含む２Ｄ画像５５３のストリームを送信すること（９２１）を含み、この強化遠近法パラメータは、どのように１つ以上の相補的テーパー関数が変換プロセッサによって適用されるべきかを特定する。変換プロセッサの挙動は、プロセッサがどのように２Ｄ画像を左右の強化遠近法画像ペアに変換すべきかを指示する強化遠近法パラメータによって決定される。

【0080】

この送信方法は、変化する強化遠近法パラメータを送信することによって拡張され得る。

【0081】

この送信方法は、１つ以上のオフセットパラメータ３６５を、これもまた変化する画像ストリーム中に含ませることによっても拡張され得る。

【0082】

上述のように、この送信方法は、制御情報を、画像ストリーム制御データ又は画像ストリーム内の少なくともいくつかの画像データのヘッダに埋め込み得る。

【0083】

要約すると、具体的な方法の実施形態は、２Ｄ画像から疑似３Ｄ画像ペアを作成する方法に関する方法及び変形例、シーン適応化のために変換パラメータを生成する方法及びその変形例、強化遠近法変換パラメータを２Ｄ画像ストリームと結合する受信及び送信方法を含む。これら方法についてのこれら方法及び変形例のそれぞれについて、付随する装置も存在する。

【0084】

開示されたある装置は、疑似３Ｄ画像ペアを２Ｄ画像から作成する。この装置は、メモリ１０１２、変換プロセッサ１０４１、及び変換プロセッサ上で走るロジックを含む。変換プロセッサは、メモリに結合される。プロセッサは、メモリ内の２Ｄ画像にアクセスし、相補的テーパー関数を２Ｄ画像に適用することによって、左右の強化遠近法画像ペアを生成する。

【0085】

上の方法の文脈で説明されるように、メモリは揮発性又は不揮発性であり得て、変換プロセッサのオンボード又はオフボードであり得て、ディスクドライブ又はソリッドステートであり得る。メモリは、メモリ、バッファ、又はレジスタとしてさまざまに特徴付けられ得る。変換プロセッサの例としては、レアルタ（Realta）グラフィックスプロセッサ、エヌビディア（Nvidia）グラフィックスカード又はプロセッサ、ペンティアムプロセッサのようなＡＳＩＣ、ＲＩＳＣプロセッサ、又はＦＰＧＡがある。適当なプログラム命令及びプロセッサの機能があれば、これらの及び同様のプロセッサが装置の適切な要素となる。

【0086】

変換プロセッサ上で走るロジックによって実現されえるテーパー関数の３つの例としては、キーストーン補正、一般行列変換、及び一般歪みマッピングがある。出願人は、一般歪みマッピングが曲線テーパー関数を適用するために用いられ得ることを改めて説明した。

【0087】

多くの場合において、この装置は、左右の強化遠近法画像２１１，２１３を作り、この画像は、それぞれ内側端２１２及び外側端を有し、外側端よりも高い内側端を持つ。上述のようにいくつかの例外もあり得るが、これは相補的変換関数についての典型的な特徴である。

【0088】

この装置は、オプションとして、変換プロセッサがアクセス可能な強化遠近法（forced perspective, FP）パラメータメモリ１０１２を有し得る。このパラメータメモリが利用可能である時、変換プロセッサ１０４１は、このメモリ中の値に応答して相補的テーパー関数を適用する。

【0089】

強化遠近法パラメータ値として、角度パラメータ、コーナーマッピング座標、又は一般歪みマップを含むいくつかのタイプが用いられ得る。上述のように、角度パラメータは、左及び／又は右の強化遠近法画像の少なくとも１つの投写平面のｙ軸８１４の周りの回転を表現する。角度パラメータの好ましい範囲は、上述のようである。この角度パラメータは、観察者の両目の間の実際の視差を強調し得る。代替として、コーナーマッピング座標のセットが供給され得て、これらは変換行列の８個又は９個の行列パラメータと代数的に等価である。より一般的には、相補的テーパー関数は、参照された特許のいくつかで記載されるように、一般歪みマッピングを用いて表現され得る。好ましくは、２Ｄ画像に対する強化遠近法の適用を記述するための９個又は８個又はより少ない個数のパラメータを持つ、強化遠近法パラメータ値のコンパクトなセットが用いられる。

【0090】

この装置は、変換プロセッサ１０４１がアクセス可能なオフセットパラメータメモリ１０１２をさらに含み得る。この変形例では、変換プロセッサ上で走るロジックは、オフセットパラメータメモリ内の値に応答してオフセットを適用する。オフセットパラメータ値の好ましい範囲は上述されている。

【0091】

この装置は、疑似３Ｄ画像をクリップし、疑似３Ｄ画像をズームし、又は画像をズーム及びクリップする変換プロセッサ１０４１上で走るロジックをさらに含み得る。

【0092】

この３Ｄ画像は、所定のアスペクト比になるようクリップされ得る。

【0093】

この装置は、第２メモリ１０１２、入力プロセッサ１０１１、カット検出器１０２１、及びシーンプロセッサ１０３１で拡張され得る。入力プロセッサは、第２メモリに結合される。入力プロセッサは、２Ｄ画像１０３２のストリームを受信し、それを第２メモリ１０１２にロードする。カット検出プロセッサ１０２１は、第２メモリにも結合され得る。カット検出プロセッサは、シーン間の２Ｄ画像ストリーム中のカットを検出する。シーンプロセッサ１０３１は、カット検出プロセッサに結合される。それぞれのシーンについて少なくとも１回は、シーンプロセッサは、そのストリームに適用可能な強化遠近法パラメータ値を決定する。シーンプロセッサは、状況に依存して、強化遠近法パラメータ値を設定するか、又はそれを変更せずにそのままにしておく。変換装置がシーンプロセッサ１０３１で拡張される時は、変換プロセッサ１０４１は、シーンプロセッサによって指定された強化遠近法パラメータ値１０１２を用いて２Ｄ画像１０３２を繰り返し処理する。

【0094】

シーンプロセッサは、自動的に又は半自動的に動作し得る。半自動シーンプロセッサは、ユーザとの通信のための入力／出力ポートにさらに結合される。この実施形態において、シーンプロセッサは、シーン群のうちの少なくとも一部についての強化遠近法パラメータ値を発生する。シーンプロセッサは、出力ポートを介して送信のための推奨される値を送る。シーンプロセッサは、その推奨値に応答して、選択されたパラメータメッセージを入力ポートを介して受け取る。シーンプロセッサは、選択されたパラメータメッセージに応答して、選択された強化遠近法パラメータ値を第２メモリにロードする。

【0095】

上の方法の文脈で説明したように、半自動モードで動作するシーンプロセッサは、１つ以上のスレッショルドパラメータメモリをさらに含み得る。シーンプロセッサは、スレッショルドパラメータの領域外にある場合について、推奨を行い得る。このスレッショルドは、歪み、回転、又はテーパーの通常の範囲を規定し得て、推奨及び応答プロトコルの使用をこのスレッショルドの範囲外になるシーンに制限し得る。

【0096】

より一般的には、シーンプロセッサは、強化遠近法パラメータ値及びオフセットパラメータ値の両方を決定し得る。両方の値がそれらのそれぞれのパラメータメモリに割り当てられる時、変換プロセッサは、それらを用いて２Ｄ画像を疑似３Ｄ画像ペアに変換する。

【0097】

シーンプロセッサは、強化遠近法パラメータ値に加えてオフセットパラメータ値を生成する時に、自動的に又は半自動的に動作し得る。

【0098】

シーンプロセッサは、ローカルな変換プロセッサと組み合わせられない時でも有用な装置である。我々は、１つ以上の変換パラメータを決定することによって、２Ｄ画像ストリームから疑似３Ｄ画像ペアを生成するリモート変換プロセッサを制御する装置を開示する。この装置は、メモリ１０１２、入力プロセッサ１０２１、カット検出プロセッサ１０２１、及びシーンプロセッサ１０３１を含む。入力プロセッサは、２Ｄ画像１０３２のストリームを受信し、この２Ｄ画像をメモリ１０１２にロードする。カット検出プロセッサ１０２１は、メモリにも結合される。カット検出プロセッサは、シーンが変わる時に２Ｄ画像ストリーム中のカットを検出する。それぞれのシーンについて少なくとも１回、カット検出プロセッサは、シーン中の２Ｄ画像を変換して左右の強化遠近法画像ペアを生成するために、リモートの変換プロセッサが相補的テーパー関数をどのように適用すべきかを特定する強化遠近法パラメータ値１０１２を求める。いずれの場合でも、メモリ中のこの値を設定するか、又はそれを変えないままで残すかを、状況に依存して判断する。

【0099】

上述のように、シーンプロセッサは、自動又は半自動モードで動作し得る。上記記載はここでもまた適用され、繰り返される必要はないことが理解されよう。

【0100】

画像ストリームプロセッサ（不図示）はシーンプロセッサに結合され得て、それにより、少なくともいくつかの画像データフレームについて強化遠近法パラメータ値を画像ストリーム制御データの中に、又は画像ヘッダデータの中に埋め込む。この埋め込みは上述した通りである。

【0101】

強化遠近法パラメータ値を求めること、及びメモリに設定すること又は変更せずにそのままにしておくことに加えて、シーンプロセッサ１０３１は、オフセットパラメータ値を生成し得る。オフセットパラメータ値は、リモート変換プロセッサによって適用されるべき、左画像の左へのシフト及び右画像の右へのシフトを特定する。このパラメータは、自動的又は半自動的に決定され得る。このパラメータは、少なくともいくつかの画像データフレームについて、画像ストリーム制御データの中に、又は画像ヘッダデータの中に埋め込まれ得る（１０３２）。

【0102】

さらなる装置のペアは、受信機及び送信機の装置である。受信機１１０１は、２Ｄ画像、及び疑似３Ｄ画像ペアのレンダリングのための制御情報を受け取る。この装置は、メモリ、入力プロセッサ１１０３、伝送プロセッサ１１０５、及び変換プロセッサ上で走るロジックを含む。入力プロセッサは、２Ｄ画像のストリーム及び１つ以上の強化遠近法パラメータ値を受け取り、これらをメモリにロードする。強化遠近法パラメータ値は、ストリーム中の２Ｄ画像を左右の強化遠近法画像ペアに変換するために、変換プロセッサがどのように相補的テーパー関数を適用するかを特定する。これは、シーン間で変化し得て、又はシーケンス全体について設定し得る。変換プロセッサ上で走るロジックは、メモリ中の２Ｄ画像にアクセスして、強化遠近法パラメータ値に応答して相補的テーパー関数を適用する。ロジックは疑似３Ｄ画像ペアを生成する。

【0103】

受信機装置は、オフセットパラメータ値を受け取り、メモリにロードする入力プロセッサ１１０３によって拡張され得る。この変形例では、変換プロセッサ上で走るロジックは、オフセットパラメータ値に応答して画像シフターを２Ｄ画像にさらに適用する。

【0104】

さらなる局面として、変換パラメータ７４１が画像ストリーム制御情報中で運ばれる時は、入力プロセッサ１１０３は、画像ストリーム制御情報をパースしてパラメータを見つける。代替として、変換パラメータが画像フレームヘッダデータ中で運ばれる時は、変換プロセッサ１１０５又は入力プロセッサ１１０３が画像ヘッダをパースして、変換パラメータ値を見つける。

【0105】

受信機装置と対応する送信機装置は、２Ｄ画像、及びリモート変換プロセッサによって疑似３Ｄ画像ペアをレンダリングするための制御情報を送信する。この装置は、メモリ、及びメモリに結合された出力プロセッサ１１０１を含む。出力プロセッサは、１つ以上の強化遠近法パラメータ値７４１と共に、２Ｄ画像のストリームを送信する。再び、強化遠近法パラメータ値は、ストリーム中の２Ｄ画像を変換し、左右の強化遠近法画像ペアを生成するために、リモート変換プロセッサによってどのように相補的テーパー関数が適用されるべきかを特定する。

【0106】

送信機装置の出力プロセッサ１１０１は、２Ｄ画像ストリームと共に１つ以上のオフセットパラメータ値をさらに送信し得る。

【0107】

送信機装置は、出力プロセッサに結合されたエンコードプロセッサ（不図示）によって拡張され得る。エンコードプロセッサは、強化遠近法パラメータ値を、２Ｄ画像ストリーム中にストリーム制御情報として、又は２Ｄ画像ストリーム中の少なくともいくつかの画像フレーム中に画像ヘッダとして埋め込む。

【0108】

方法及び装置に加えて、開示された技術は、いわゆるボールガード（Beauregard）クレームで、製造物品として実現され得る。ある実施形態においては、製造物品（図１２）は、メモリに結合された１つ以上のプロセッサ上で走らされる時に、この具体的な実施形態のセクション、又はこれに先行する開示で説明されている方法の任意のものを実行する、非一時的なメモリ内のプログラム命令を含む。

【0109】

他の実施形態において、製造物品（図１２）は、メモリ及び１つ以上のプロセッサを有する装置と組み合わせられる時に、この具体的な実施形態のセクション、又はこれに先行する開示で説明されている特別にプログラムされた装置の任意のものを作る、非一時的なメモリ内のプログラム命令を含む。

【0110】

開示された技術は、以下の特許請求の範囲においてさらに記載される。

【0111】

読者は、説明された方法、装置、及び製造物品の特徴及び局面は、さまざまなやり方で組み合わされて、全て開示された発明として、さまざまな組み合わせ及び部分的組み合わせを作り得ることを理解すべきである。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】