特許 6074404 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6074404

(24)【登録日】2017年1月13日

(45)【発行日】2017年2月1日

(54)【発明の名称】立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置

(51)【国際特許分類】

   H04N 13/00 20060101AFI20170123BHJP

   H04N 13/02 20060101ALI20170123BHJP

【ＦＩ】

   H04N13/00 480

   H04N13/02 390

   H04N13/00 590

   H04N13/00 660

【請求項の数】8

【外国語出願】

【全頁数】19

(21)【出願番号】特願2014-252284(P2014-252284)

(22)【出願日】2014年12月12日

(62)【分割の表示】特願2013-500597(P2013-500597)の分割

【原出願日】2010年3月22日

(65)【公開番号】特開2015-92700(P2015-92700A)

(43)【公開日】2015年5月14日

【審査請求日】2014年12月15日

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】エミル チュカレイスキー

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開平０９−０９３６１４（ＪＰ，Ａ）

【文献】 特開平０１−２０２０９３（ＪＰ，Ａ）

【文献】 特表２００１−５０２５０４（ＪＰ，Ａ）

【文献】 特開２０００−３３３１８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／０４

(57)【特許請求の範囲】

【請求項1】

片目画像ライン対を圧縮する方法であって、
第１の片目画像ラインを受け入れるステップと、
第２の片目画像ラインを受け入れるステップと、
前記第１の片目画像ラインと前記第２の片目画像ラインとの間の大凡の画像シフトを判断するステップであって、
前記第１の片目画像ラインと前記第２の片目画像ラインとの間の最初の差分を判断するステップと、
前記最初の差分が１２８バイトの閾値より大きいかを判断するステップと、
前記最初の差分が１２８バイトよりも大きい場合に、以下のプロセスを続けるステップと、
前記第１の片目画像ラインと前記第２の片目画像ラインとのうちの１つをシフトのために選択するステップと、
前記選択された片目画像ラインを第１の数の画素だけシフトする第１のシフトをするステップと、
前記選択された片目画像ラインを第２の数の画素だけシフトする第２のシフトをするステップと、
前記選択された片目画像ラインを第３の数の画素だけシフトする第３のシフトをするステップと、
前記第１のシフトと、前記第２のシフトと、前記第３のシフトとの結果に応じて最小差分を判断するステップと、
前記最小差分を記憶するステップと、
をさらに含む、前記大凡の画像シフトを判断するステップと、
前記選択された片目画像ラインを前記最小差分だけシフトするステップと、
前記大凡の画像シフトに応じて正確な差分を判断するステップであって、
前記シフトされた選択された片目画像ラインを第４の数の画素だけ右にさらにシフトをするステップと、
前記シフトされた選択された片目画像ラインを前記第４の数の画素だけ左にさらにシフトをするステップと、
前記第４の数の画素だけさらに右にシフトされた前記シフトされた選択された片目画像ラインを選択されなかった片目画像ラインから引く第１の引き算するステップと、
前記第４の数の画素だけさらに左にシフトされた前記シフトされた選択された片目画像ラインを前記選択されなかった片目画像ラインから引く第２の引き算するステップと、
前記第１の引き算および前記第２の引き算の結果の小さい方を正確な差分と判断するステップと、
をさらに含む、前記正確な差分を判断するステップと、
前記判断された正確な差分と前記記憶された最小差分とを比較するステップであって、当該比較した結果、前記正確な差分が前記記憶された最小差分より小さい場合に、前記正確な差分が前記記憶された最小差分より大きくなるまで前記比較を繰り返し、前記正確な差分が前記記憶された最小差分より大きい場合に、前記シフトの合計値を正確な画像シフトとして判断する、前記比較するステップと、
前記選択されなかった片目画像ラインを転送するステップであって、前記転送される選択されなかった片目画像には、前記正確な画像シフトに対応するデータを含むメタデータが含まれている、前記転送するステップと、
を含む、前記方法。

【請求項2】

前記大凡の画像シフトを、前のラインからの大凡の画像シフトから引くことにより、第１の値を得るステップと、
前記第１の値が前のラインからの大凡の画像シフトの絶対値の２０％以内にあるかを前記第１の値について判断するステップと、
前記第１の値について判断するステップにおいて、前記第１の値が絶対値の２０％以内でないと判断された場合に、現在のフレームの大凡の画像シフトを、前のフレームの大凡の画像シフトから引くことにより第２の値を得るステップと、
前記第２の値が前のフレームからの大凡の画像シフトの絶対値の２０％以内にあるかを第２の値について判断するステップと、
をさらに含む、請求項１記載の方法。

【請求項3】

前記第１の片目画像ラインが左目画像であり、前記第２の片目画像ラインが右目画像である、請求項１記載の方法。

【請求項4】

前記第１の片目画像ラインが右目画像であり、前記第２の片目画像ラインが左目画像である、請求項１記載の方法。

【請求項5】

片目画像ライン対を圧縮する装置であって、
第１の片目画像ラインを受け入れる手段と、
第２の片目画像ラインを受け入れる手段と、
前記第１の片目画像ラインと前記第２の片目画像ラインとの間の大凡の画像シフトを判断する手段であって、
前記第１の片目画像ラインと前記第２の片目画像ラインとの間の差分に応じて、最初の差分を判断する手段と、
前記最初の差分が１２８バイトの閾値より大きいかを判断する手段と、
前記最初の差分が１２８バイトよりも大きい場合に、以下のプロセスを続ける手段と、
前記第１の片目画像ラインと前記第２の片目画像ラインとのうちの１つをシフトのために選択する手段と、
前記選択された片目画像ラインを第１の数の画素だけシフトする第１の手段と、
前記選択された片目画像ラインを第２の数の画素だけシフトする第２の手段と、
前記選択された片目画像ラインを第３の数の画素だけシフトする第３の手段と、
前記シフトする第１の手段と、前記シフトする第２の手段と、前記シフトする第３の手段との結果に応じて最小差分を判断する手段と、
前記最小差分を記憶する手段と、
をさらに含む、前記大凡の画像シフトを判断する手段と、
前記選択された片目画像ラインを前記最小差分だけシフトする手段と、
前記大凡の画像シフトに応じて正確な差分を判断する手段であって、
前記シフトされた選択された片目画像ラインを第４の数の画素だけ右にさらにシフトをする第４の手段と、
前記シフトされた選択された片目画像ラインを前記第４の数の画素だけ左にさらにシフトをする第５の手段と、
前記第４の数の画素だけさらに右にシフトされた前記シフトされた選択された片目画像ラインを選択されなかった片目画像ラインから引く第１の引き算する手段と、
前記第４の数の画素だけさらに左にシフトされた前記シフトされた選択された片目画像ラインを前記選択されなかった片目画像ラインから引く第２の引き算する手段と、
前記第１の引き算および前記第２の引き算の結果の小さい方を正確な差分と判断する手段と、
をさらに含む、前記正確な差分を判断する手段と、
前記判断された正確な差分と前記記憶された最小差分とを比較する手段であって、当該比較した結果、前記正確な差分が前記記憶された最小差分より小さい場合に、前記正確な差分が前記記憶された最小差分より大きくなるまで前記比較を繰り返し、前記正確な差分が前記記憶された最小差分より大きい場合に、前記シフトの合計値を正確な画像シフトとして判断する、前記比較する手段と、
前記選択されなかった片目画像ラインを転送する手段であって、前記転送される選択されなかった片目画像には、前記正確な画像シフトに対応するデータを含むメタデータが含まれている、前記転送する手段と、
を備える、前記装置。

【請求項6】

前記大凡の画像シフトを、前のラインからの大凡の画像シフトから引くことにより、第１の値を得る手段と、
前記第１の値が前のラインからの大凡の画像シフトの絶対値の２０％以内にあるかを前記第１の値について判断する手段と、
前記第１の値についての判断において、前記第１の値が絶対値の２０％以内でないと判断された場合に、現在のフレームの大凡の画像シフトを、前のフレームの大凡の画像シフトから引くことにより第２の値を得る手段と、
前記第２の値が前のフレームからの大凡の画像シフトの絶対値の２０％以内にあるかを前記第２の値について判断する手段と、
をさらに含む、請求項５記載の装置。

【請求項7】

前記第１の片目画像ラインが左目画像であり、前記第２の片目画像ラインが右目画像である、請求項５記載の装置。

【請求項8】

前記第１の片目画像ラインが右目画像であり、前記第２の片目画像ラインが左目画像である、請求項５記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は三次元（３Ｄ）ビデオ画像の配信に関連し、特に、コンテンツを保持しながら３Ｄビデオ画像の配信に必要な帯域幅を小さくする方法及び装置に関する。

【背景技術】

【0002】

マルチキャスト送信もしくはブロードキャスト送信を行う場合、データはサーバから複数のレシーバ（受信装置）に有線ネットワーク及び／または無線ネットワークを介して送信される。マルチキャストシステムは、サーバが同じデータを複数の受信装置に同時に送信するシステムであり、これら受信装置は幾つかの受信装置（全ての受信装置を含む場合もある）からなるサブセットを形成する。ブロードキャストシステムは、サーバが同じデータを前記受信装置の全てに同時に送信するシステムである。つまり、マルチキャストシステムはその定義によれば、ブロードキャストシステムを含むことができる。

【0003】

左目（ＬＥ：ｌｅｆｔ ｅｙｅ）−右目（ＲＥ：ｒｉｇｈｔ ｅｙｅ）の画像差分を追加層として送る（送信する、展開する）既存の方法は、実質的な立体的圧縮を達成するが、当該追加層の帯域幅は１つのチャネルの３０％から６０％である。この量は依然として大きく、分散（分配）、復号化及び記憶に関して問題を生じさせる。

【発明の概要】

【0004】

本発明の１つの目的は追加層を１つのビデオストリームの帯域幅の１５％−３０％の画像内で送ることができる現実的（実用的）で且つ効率的な方法を見出すことである。

【0005】

本発明の圧縮方法は、左目と右目のビデオ画像対の立体的３Ｄ（Ｓ３Ｄ）構造に良く適しており、２つのピクチャチャネルの本来の関係を利用する。もし元のＳ３Ｄピクチャがパラレルカメラ器具もしくはトーイン（ｔｏｅ−ｉｎ）を使用して捕捉されたなら、または、それがクリエイティブシーン深さ（ｃｒｅａｔｉｖｅ ｓｃｅｎｅ ｄｅｐｔｈ）を適用して捕捉（撮影）されたなら、対になっている当該２つの画像はより深い相関関係を有し、画像のｚ軸（つまり深さ方向の軸）に沿った非線形の回転によって抽出される。本発明はこの相関特性を利用しており、これはＨＶＳ（Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ：人間視覚システム）の特殊性に基づいており、より良いビデオ伝送圧縮を送ることができる。

【0006】

本発明はビデオ画像（ピクチャ、映像）の家庭への高度な（拡張的な）展開を可能にするものであり、当該ビデオ画像は画像深さ再生を目的として捕捉または作成された画像である。左目画像及び右目画像の一方は、その全体が既存の移送路（リンク、チャネル）を通って伝送される。その際、当該リンクがマルチキャスト、ブロードキャスト、ケーブル、衛星（サテライト）、インターネット、地上波その他であるかは関係ない。第２のビデオ画像は、立体的ピクチャ対の体積（容量）的な特徴及び空間的な特殊性を使用して圧縮される。

【0007】

本発明は、２Ｄプラスデルタ技術として知られているＭＰＥＧ４実装技術の一部として位置づけられている手法を拡張するものである。ここに記載された本発明は、３Ｄ回転及び逐次（反復）画像減算（ｉｔｅｒａｔｉｖｅ ｉｍａｇｅ ｓｕｂｔｒａｃｔｉｏｎ：イテラティブイメージサブストラクション）に基づいて、左目画像と右目画像を相関させるという点において、この技術とは異なる。

【0008】

尚、ビデオ画像データが例として用いられるが、データはＳ３Ｄタイプのマルチメディアデータでもよい。また、本発明は、３Ｄビデオ画像がテレビに表示されるシステム、または、３Ｄビデオ画像がディスプレイモニタ、ビデオプロジェクタもしくは３Ｄビデオ画像をレンダリングすることができる任意のその他の装置（例えば、モバイルデバイス、コンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、デュアルモードスマートフォン。尚、これらに限られない。）にレンダリングされるシステムにおいて使用することができる。本明細書においてテレビライン（ＴＶ ｌｉｎｅ）という用語は、前記システムの例示的な実施形態として、３Ｄビデオ画像を送ってレンダリングするという意味で用いられる。上記したデバイス（装置）のいずれも、クライアントサーバアーキテクチャで動作すること、ピアツーピア（Ｐ２Ｐ）アーキテクチャで動作すること、これらアーキテクチャの任意の組み合わせにおいて動作することができると共に、３Ｄビデオ画像を送ってレンダリングするのに使用される他の任意のアーキテクチャでも動作することができる。組み合わされたアーキテクチャとしては、例えば、マルチホップ無線リレーネットワークで使用されるＰ２Ｐアーキテクチャが挙げられる。マルチホップ無線リレーネットワークはクライアントサーバアーキテクチャのサーバに接続されたメッシュルータを有する。

【0009】

本発明は、最初に、ディスプレイフレーム内の第１のアクティブなフレームラインの右目画像を当該第１のアクティブなフレームライン（同じライン）の左目画像から引くことによって、効率的な立体的画像符号化（エンコーディング）を行う。もし差分(difference:単に差ともいう)が大きければ、アルゴリズムは立体的な内容（コンテンツ）があると認識し、それがどこに（実際のシーンの視聴ゾーンから遠いゾーンなのか、中間のゾーンなのか、近いゾーンなのか）集中しているかを探し始める。これは、右目画像ラインを左目画像ラインの方向に３段階でシフトし、３つの左目−右目差分を生成することによって達成される。最小差分は、当該シーンの主画像深さを示している。小さな差分のために、小さな（わずかな）画像ラインシフトが、この位置の回りに決定（判断）される。次のテレビラインについては、前記プロセスが繰り返され、１つのフレームについて垂直ライン相関が追加されると共にフレーム間の時間ライン相関が追加される。従って、このプロセスは左目画像に最も近い右目画像の位置を見つける。非線形（直線的ではない）の右目画像ラインシフトはテレビフレームにおける回転動作を表し、この動作は、最もはっきりしている立体面における左目画像ラインに合わせようとする動作である。左目画像は全部送られるが、右目画像は右目画像を最小の左目−右目差分として符号化することによって送られる。計算は次のとおりである。シフト、引き算（減算）、及び差分における蓄積バイトのカウントである。圧縮方法はライン走査のリアルタイムで実施される。受け取り側（受信側）では、解凍方法がメタデータをラインシフト値とともに受け入れ（受信し）、当該方法は左目−右目差分を前記送信された完全な左目画像から引いて、右目ライン画像を復元し、当該右目ライン画像を元の位置に配置する。

【0010】

本発明の方法は完全プログレッシブ走査（順次走査）またはインターレース走査（一本おきに走査）された左目画像及び右目画像を処理する。即ち、本発明の方法は、画像が本発明の方法及び装置に提示できるように当該画像を処理する。本発明はラスターフォーマットを修正しないし、ゾーン圧縮及びインターリーブ圧縮も採用しない。本発明では、両方の画像に関する情報をパラレルに運び、立体的画像対を圧縮するために左目画像シーケンスも右目画像シーケンスも採用しない。

【0011】

右目画像を左目画像から引くという本明細書に記載された例示的な実施形態は、左右を反転して（逆にして）もよい。その場合、本発明の方法も左右を反転する。本発明の方法は近い領域、中間の領域及び遠い領域以外の領域も使用することができる。例えば、近い領域と中間の領域の間の領域と、中間の領域と遠い領域の間の領域とを使用してもよい。このようにすると５つの領域と５つのシフトと５つの差分ができる。即ち、本発明は３つの領域に限定されず、３つの領域の使用は例示的な実施形態として採用されている。

【0012】

本発明の方法及び装置は、適応性技術を立体的画像対に採用することによって、Ｓ３Ｄデュアルビデオストリームの帯域幅を減少させる。このビデオストリームは家庭もしくは映画館（劇場）もしくはモバイル装置（デバイス）に送信されるものである。最近のＳ３Ｄビデオエンコーダ及び方法には３つのカテゴリがあり、本発明と比較することができる。

【0013】

１）標準２Ｄプラスデルタエンコーディングのための方法。この方法はＭＰＥＧ４のマルチビュービデオコーディングエクステンションのＨ．２６４インプリメンテーションに基づいており、ＩＳＯ／ＩＴＵ／ＩＥＣ／ＭＰＥＧ２／ＭＰＥＧ４／ＭＶＣイニシアチブに記載されている。この技術は右目チャネルもしくは左目チャネルの一方を二次元（２Ｄ）バージョンとして使用し、その際、当該チャネルと第２のチャネルの間の圧縮差分である相違量（デルタ）がビデオストリームのユーザデータに注入されるか、２次的なストリームとして運ばれるか、強化層として運ばれる。デルタデータは空間的な立体的相違量、時間的な予測（推測）または双方向動き補償であり得るが、デルタデータは画像深さデータではない。

【0014】

このカテゴリの方法の利点は、左目立体ビデオビュー（見えるもの）及び右目立体ビデオビューの全情報を再構築することができること、既存の移送路を介して配信できること、従来の（旧式の）２Ｄデコーダによって復号化（デコーディング）できることである。このアプローチの欠点は左目画像と右目画像の自然な相関を使用しないので、圧縮効率が限定的である（高くできない）ことである。

【0015】

２）２Ｄプラス深さエンコーディング（２ＤプラスＺフォーマットとも称される）のための方法。この方法は、各２Ｄ画像フレームに関連して作られるグレースケール深さマップに基づいている。当該マップは、２Ｄ画像の特定の画素がディスプレイ（スクリーン）面の前または当該ディスプレイ面の後で再生成される必要があるかを示す。２５６グレースケールレベルは画像内にスムースな勾配（段階的（階層的）変化）の深さを作ることができる。ディスプレイモニタ（テレビ、ビデオプロジェクタ、モバイル装置、及びＳ３Ｄビデオ画像をレンダリングするのに用いられるその他のディスプレイ装置）における処理は、深さマップを利用し左目ビデオ画像及び右目ビデオ画像を再構築すると共にマルチビュー画像をレンダリングする。

【0016】

このカテゴリの方法の利点は、帯域幅が限定的であることであり、シングルビデオ（Ｓ３Ｄではない）のビデオストリームを配信するために（の）ビデオチャネルの２０％の範囲内でよい。このカテゴリの方法の欠点は、既存の２Ｄディスプレイとの互換性（適合性）がないことであり、ライブ立体フィード（ｌｉｖｅ ｓｔｅｒｅｏｓｃｏｐｉｃ ｆｅｅｄ）から深さマップを正確に生成するのが難しいし、深さマップをレンダリングする際に目に見える乱れ（歪）が生ずる。

【0017】

３）画像のセグメント化及び立体相関の計算のための方法。この方法は、複雑なシーンにおけるエッジ検出及びコンピュータビジョンに応用でき、３Ｄの映像的な表示及び認識において発展及び利点をもたらした。この方法の欠点は、コストが高いこと及び処理が遅いことである。この欠点はライブのブロードキャスト（マルチキャスティング、ストリーミング）において許容されない場合がある。

【0018】

従って、本発明の方法は第２のビデオストリームの全てを送信するのに必要とされていたフルチャネル帯域幅の１５％〜３０％で、当該第２のビデオストリームを表すことができる。その結果得られる圧縮ビデオストリームは、フル解像度で左目立体ビュー及び右目立体ビューを再構築するのに必要な全ての情報を含む。

【0019】

本明細書に記載された方法及び装置は、第１の立体的アイフレームライン(ｅｙｅ ｆｒａｍｅ ｌｉｎｅ)画像を受け入れるステップと、第２の立体的アイフレームライン画像を受け入れるステップと、前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像との間の大凡の画像シフトを判断するステップと、前記大凡の画像シフトに応じて、正確な画像シフトを判断するステップと、前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を送るステップと、前記正確な画像シフトに対応するデータ及び更なる処理のためのメタデータを送るステップとを含む。本明細書には、送信された第１の完全な（フル）立体的アイフレームライン画像を受信するステップと、第１の立体的アイフレームライン画像と第２の立体的画像との間の差分を得る（抽出する）ステップと、当該得られた差分を前記第１の立体的アイフレームライン画像から引くステップと、前記第２の立体的アイフレームライン画像を記憶するステップと、前記第１の完全な立体的アイフレームライン画像に含まれているメタデータからシフトライン値を得る（抽出する）ステップと、前記シフト値に応じて前記第２の立体的アイフレームライン画像をその元の位置にシフトするステップと、を含む方法及び装置も記載されている。

【図面の簡単な説明】

【0020】

本発明は、添付図面を参照して下記の発明を実施するための形態の説明を読むことにより、非常に良く理解される。添付図面は以下において簡単に説明される図面を含む。

【0021】

【図1】人間視覚システム（ＨＶＳ：Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ）に対するシーンオブジェクトの位置を示す図である。

【図2】（ａ）、（ｂ）、（ｃ）及び（ｄ）は、当初の左目ライン画像及び右目ライン画像と、遠いシーンオブジェクト、中間のシーンオブジェクト及び近いシーンオブジェクトについての大凡の差分を判定（決定）するために右目画像を右にシフトした結果を示す図である。

【図3】本発明の圧縮方法において、前記大凡の画像シフトを判断（決定）するための例示的な実施形態のフローチャートである。

【図4】本発明の圧縮方法において、ライン間処理及びフレーム間処理を決める例示的な実施形態のフローチャートである。

【図5】本発明の技術思想に基づくエンコーダの例示的な実施形態のブロック図である。

【図6】本発明の解凍方法の例示的な実施形態のフローチャートである。

【図7】本発明の解凍装置の例示的な実施形態のブロック図である。

【発明を実施するための形態】

【0022】

ブロードキャスト、衛星、ケーブル、インターネット、パッケージ化された媒体、ブルーレイディスク及び最近ではモバイル（機器）を介して配信するために、立体的３Ｄ画像の２つのビデオチャネルをできるだけ１つのビデオチャネルに圧縮する際の課題については、幾つかのアプローチ（課題解決手段）がある。Ｓ３Ｄの復活に伴い、新しい技術が開発されたり、幾つかの既存の基準及び手法・技法が、圧縮を行い及び現在の通信路との互換性（適合性）を取るために大容量のピクチャ（映像）に適用された。課題は、もし高品質の圧縮画像を第１のストリームに組み込むことができなければ、第２のビデオストリームが配信のために独立したチャネルを必要とするという点にある。

【0023】

立体的ビデオ圧縮及びコンテンツ配信についてのＭＰＥＧ技術（主に２Ｄプラスデルタ技術におけるもの）を使用することにより、著しい進歩が達成された。本発明の目的は、次のレベルのコンテンツ維持（保持）圧縮の開発において立体的画像対の相関的特徴を利用することである。当該相関的特徴を利用することにより、当該対の１つのチャネル表示に近くなる。

【0024】

Ｓ３Ｄ画像（画像作成）の１つの特徴は、左目画像と右目画像の回転類似性である。人間の目に最も近いオブジェクト（物）は最も大きな画像不同（画像差分、ディスパリティ）を有する。例えば、空間的な左目画像と右目画像の間の差分が最大となる。これは、位置だけでなく、コンテンツについても言える。遠いオブジェクト（通常、１５０フィート（約４５．７ｍ）よりも離れた所にあるもの）は、左目画像と右目画像についてＨＶＳ（人間視覚システム）では同じような画像を生成する。近いエリアと遠いエリアの間にあるオブジェクトは、中程度に異なる立体的な画像対を形成する。これは、空間的な位置とコンテンツについて中程度に異なる。もし画像回転が左目画像または右目画像の一方に適用され、その回転中心が遠い面であり、且つ、回転方向が他方の画像に向いているなら、空間回転のある角度において画像がオーバーラップする。このとき、立体対の画像同士の間のコンテンツ差分だけが現れる。当該残っている差分はＨＶＳの眼間距離からくるものであり、符号化のための最も価値のある情報を提示する。

【0025】

実際の場合、既に得られている３Ｄ画像に空間回転を行うことは難しい。しかし本発明は対の画像の２つのラインに繰り返し数学的な処理を行うことによって同様の結果を得られる可能性に着目した。よって、幾つかのステップが研究された。

【0026】

−１フレームライン毎に、左目画像と右目画像の間の大凡の回転相関を見つけるステップ。

【0027】

−１フレームライン毎に、左目画像と右目画像の間の回転相関を見つけるステップ。

【0028】

−垂直方向において、１つのＳ３Ｄフレーム内の連続フレームラインを相関させるステップ。

【0029】

−時間方向において、前記連続フレームを相関させるステップ。

【0030】

見る人に対するシーンオブジェクトの位置が、遠いオブジェクト、中間の深さのオブジェクト及び近いオブジェクトについて、図１に示されている。この図は本発明の理解に関する基本であり、右目画像の符号化についてのオブジェクトの主な位置を選んだものである。

【0031】

図２（ａ）の上の２つのラインは、左目画像及び右目画像からのラインオブジェクトの画素を示す例である。水平位置差分は立体カメラ機器（装置）の２つのカメラによって得られる最初の画素差分である。左目画像は右目画像の右に位置している。これはまた、どのように人間が画像を見ているかを表している（その前提として、両方のピクチャ（映像）が１つの同じ水平開始点（両方のピクチャについて画素数がゼロ）から始まると仮定する）。

【0032】

本発明の１つの実施形態では、左目画像ラインが基準とされ、右目画像ラインが左目画像ラインの方向において水平方向に右に移動され（即ち、シフトされ）、最も小さい（最少の）左目−右目差分を見つける。図２の一番下の（最後）のラインは、補正（補償）が開始される前の当初の左目−右目画像差分を示している。この差分は、ビットサイズでみると、２つの立体コンポーネントのいずれよりも小さいが、右目画像が下記のようにシフトした後に生成される当該差分よりも大きい。

【0033】

右目画像シフトは４つのフェーズで実行される。

【0034】

−最初に、右目画像を左目画像から引いて（左目−右目）、その結果を分析する。もし当該結果がゼロバイトと１２８バイトの間ならば、当該２つの画像ラインは異ならないので、このフレームラインには実質的にＳ３Ｄ情報は無い。減算フェーズは、すべての同じ数の画素のビデオ値を１つ１つ順次減算することによって実行され（ＬＥ−ＲＥ：左目−右目）、その後、当該差分が加算される。もし減算（差分）結果が１２８バイトのデジタル値より大きければ、このフレームラインには大きなＳ３Ｄデータがある。減算処理において、１２８番目のバイトが満たされるまで、当該差分結果が次の計算バイトに加算される。差分を正確に計算する必要は無い。連続減算及び加算の後の最後に満たされたバイトの数は立体効果を判断するのに十分な情報をもたらし、当該最後に満たされたバイトは本実施形態において最初の差分であるので「差分（最初）」と記載される。

【0035】

−右目画像の最初の水平方向シフトは小さな画素数でなされ、右目画像ラインを右にシフトする。これが図２（ｂ）に示されている。これは実際のＳ３Ｄシーンにおける深い（つまり遠い）オブジェクトに関連している。右目画像ラインの全画素が１０画素だけ右にシフトされており、本明細書において「シフト（遠）」と記載されている。フレームラインの長さより大きいバッファが、右目画像ラインの最右の画素を収容するためには必要となる。１０画素移動された右目画像ラインを左目画像ラインから引き、その結果を保持（記憶、維持）する。これが計算後の、最後に満たされたバイトの番号である。次に、右目画像ライン位置を元の場所に戻す（リセットする）。図２（ｂ）の一番下（最後）のラインは、図２（ａ）の一番下（最後）のラインと比較して、画像差分のビットサイズが大きく減少していることを示している。

【0036】

−右目画像ラインの第２の水平方向シフトは５０画素だけ右になされる。これが図２（ｃ）に示されており、本明細書において「シフト（中間）」と記載されている。これは実際のＳ３Ｄシーンにおける中間の深さにあるオブジェクトに関連している。全ての右目画像ライン画素が右にシフトされ、当該シフトされたフレームラインを記憶するために他のバッファが採用される。５０画素移動された右目画像ラインを左目画像ラインから引き、その結果を保持（記憶、維持）する。これが計算後の、最後に満たされたバイトの番号である。次に、右目画像ライン位置を元の場所に戻す（リセットする）。図２（ｃ）の一番下（最後）のラインも、図２（ａ）の一番下（最後）のラインと比較して、画像差分のビットサイズが減少していることを示している。

【0037】

−右目画像ラインの第３の水平方向シフトは１５０画素だけ右になされる。これが図２（ｄ）に示されており、本明細書において「シフト（近）」と記載されている。このシフトは実際のＳ３Ｄシーンにおいて視聴者に最も近いオブジェクトに関連している。全ての右目画像ライン画素がシフトされ、当該シフトされたフレームラインを記憶するために他の拡張バッファが用いられる。１５０画素移動された右目画像ラインを左目画像ラインから引き、その結果を保持（記憶、維持）する。これが計算後の、最後に満たされたバイトの番号である。再度、右目画像ライン位置を元の場所に戻す（リセットする）。図２（ｄ）の一番下（最後）のラインも、図２（ａ）の一番下（最後）のラインと比較して、画像差分のビットサイズが減少していることを示している。

【0038】

３つの画像ラインシフト及び減算フェーズが実行されたならば、得られた差分を前記差分（最初）と比較する。最後に満たされたバイトの番号を比較するだけでよい。前記３つのシフト結果の内で、前記差分（最初）と比較して最も小さい、最後に満たされたバイトの数を有するシフト結果が、左目画像ラインに対する最良の右目画像ライン概算（近算）であり、本明細書では右目（大凡）と記載される。これは、シーンのＺ軸に沿った当該フレームラインの主なオブジェクト位置を反映している。その後、右目（大凡）は画素毎に左目画像ラインから引かれ、ビデオ差分（画像差分）は比較の最初の結果となる。これは、最少の冗長性を有する、画像対における第２のビデオチャネルを表し、本明細書において大凡の差分（「差分（大凡）」）と記載されている。

【0039】

図２（ａ）、（ｂ）、（ｃ）及び（ｄ）に示された例の内、図２（ｃ）のシフトが最良の左目−右目画像差分を有し、本発明の圧縮方法の次のステップのために本発明の方法によって選択され、これが２つの画像ラインの間の正確な相関である。メタデータはライン毎に（各ライン）２バイトで右目ラインシフト情報を運ぶ。

【0040】

左目画像ラインと右目画像ラインの間の大凡の回転相関の後、最良の初期マッチングを見つけ、次のレベルの相関探しを開始する。これは、大凡の回転相関のエリア（周囲、近傍）における、より小さな（少ない）左目−右目差分を見つけるためである。このプロセスは、同じような画素シフト、減算、及び最後に満たされたバイトの比較を適用する。

【0041】

正確な回転相関を探す処理を開始するにあたり、右目画像ラインを最良の位置に設定する。最良の位置は、上記した大凡の回転相関で決められたもの（右目（大凡））である。次に、右目画像ラインを少しずつ増加した量だけシフト（移動）する。最初は、右に、例えば、５画素移動する。各シフトされた右目画像ラインを左目画像ラインから引き、最後に満たされたバイトの数と前記差分（大凡）の最後に満たされたバイトの数と比較する。もし新しいバイトの数が前記差分（大凡）より小さければ、アルゴリズムはエンコーダのためのより良い右目画像ライン候補を見つけたことになり、これが本明細書において「右目（正確）」と記載され、正確な差分は本明細書において「差分（正確）」と記載されている。前記差分（正確）が増加し始め（大きくなり始め）て最少の差分（正確）を選択するまで、右目を右へシフトすることを繰り返す。

【0042】

前記差分（正確）が前記差分（大凡）より大きければ、右目画像ラインを左に５画素ずつシフトする（戻す）。もし新しいバイトの数が前記差分（大凡）より小さくなれば、これが符号化のための、より良い候補となる。前記差分（正確）が増加し始め（大きくなり始め）て最少の差分（正確）を選択するまで、右目を左へシフトすることを繰り返す。右目画像ラインデータを移送するためにバッファのメタデータに右目画像ライン画素位置を記憶する。

【0043】

ビデオフレームの１ラインおきのフレームライン（２フレームラインに１フレームライン）には、第１のフレームラインに対して行われた上記した処理が行われなければならない。この際、連続するフレームラインの追加の非線形相関評価を観察する。ビデオ画像化処理の公知の構造及び統計に基づけば、次のフレームラインシフトについての最良の概算は前のラインからの右目（正確）の位置であるので、これは次のフレームラインの大凡の回転相関ポイント（位置）を見つけるための良いスタートポイントである。

【0044】

この考えに従って、次のラインの差分（最初）がテストされる。もしその結果が前のフレームラインからの値と同じようなものであれば、当該フレームライン間の回転相関は残りの計算を不要とする（当該回転相関については残りの計算を行わない）。もし前記差分（最初）が前のラインからの値の｜２０｜％以上異なるなら、オブジェクトは画像の垂直方向において非類似性を示しており、上記した計算が繰り返される（改めて行われる）。

【0045】

画像シーケンスの後続の各フレーム（次に続くフレームの各々）には、上記した処理が行われ、その際、フレーム間の非線形回転相関が加えられる。ビデオフレームは冗長な情報を含んでおり（運んでおり）、オブジェクトサイズ及び位置の重複（情報）も含んでいる。

【0046】

このような考察・検討を考慮して、次のラインの左目−右目（正確）差分がテストされる。もしその結果が前のフレームからの値と同じようなものであれば、当該フレーム間の相関により、詳細な計算は省略できる。もし前記差分（正確）が前のフレームからの値の｜２０｜％以上異なるなら、オブジェクトは画像の時間方向において非類似性を示しており、上記した計算が繰り返される（改めて行われる）。

【0047】

Ｓ３Ｄ圧縮方法は１つのフレームをフレーム時間より短い時間で変換し、これはリアルタイム計算であると考えられる。関連するメタデータは右目画像の画素オフセット（各フレームラインに２バイト）を含む。シフトされた（即ち、回転された）右目チャネルは左目−右目差分として示され、立体対の２つの画像の最良オーバーラップ位置に位置される。回転変換（即ち、連続的な右目画像シフト）はライン毎に行われ、よって、シーン収束（コンバージェンス）は複数のステップで検出される。

【0048】

受信側は少ない計算を行い、送信されてきた左目−右目画像差分を完全な左目画像から引いて右目画像を再構築し、その後、右目画像は元の位置にシフトされる（戻される）。シフト値の情報はメタデータから得られる。

【0049】

本発明の圧縮方法の例示的な実施形態のフローチャートが、その大きさの故に、２つの図に分けて示されている。

【0050】

図３は本発明の１つのフレームラインの圧縮方法の例示的な実施形態を示している。ここで、入力左目画像ライン及び入力右目画像ラインは最初に引かれて差分（最初）を生成する。もしその結果が１２８バイトより大きければ、当該方法は先へ進む。その後、右目画像ラインは右へ１０画素、５０画素及び１５０画素シフトされ、その結果が左目画像ラインから引かれる。３つの差分が比較され、差分（大凡）が当該３つの差分の中の一番小さい差分に割り当てられる。その後、右目画像ラインは、次のモジュールで、右と左へ５画素シフトされる。その値が各ステップにおいて左目画像ラインから引かれ、差分（正確）が生成される。前記差分（大凡）と前記差分（正確）が比較され、プロセスは最小差分が見つかるまで繰り返される。

【0051】

図４は本発明の圧縮方法の例示的な実施形態の第２のパート（部分）を示している。ここでは、この方法のパート１（図３に示されている）からの前記差分（大凡）が入力となる。前のフレームラインからの差分（大凡）と当該前のフレームからの差分（大凡）とが入力され記憶される。現在の差分（大凡）と、前のラインからの差分（大凡）との比較により、当該前のラインのシフト値が使用できるか否かが決められる（判断される）。もし現在のラインの差分（大凡）と前のラインの差分（大凡）との間の差分が｜２０｜％より小さければ（＞｜２０｜％）、フルアルゴリズム（パート１）が実行される。そうでなければ、前のフレームからの差分（大凡）との比較は同じ比較に含まれる（差分＜｜２０｜％の場合）。

【0052】

図５は本発明の圧縮装置の例示的実施形態のブロック図である。左目画像データと右目画像データをそれぞれ記憶するのに使用される左目画像ラインバッファと右目画像ラインバッファは微分器に接続され、その出力は差分（最初）である。左目画像ラインシフタ（大凡）を介して、オフセット右目画像ラインが比較器に供給され、そこで差分（大凡）が計算される。正確な右目画像ラインシフタ及び別の比較器を用いて、差分（正確）が生成される。セレクタは、現在の、その前のフレームラインと前のフレームの間の最小の差分（正確）を選び、その結果が圧縮された第２のビデオストリームとなり、これが、さらなるＭＰＥＧ処理のために送信される。微分器からの差分（最初）出力は、フレームラインバッファに供給される。フレームラインバッファデータはライン間比較器に供給され、現在のラインの差分（正確）と前のラインの差分（正確）との比較により、差分（正確）を決定（判断）する。ライン間比較器の出力は情報を前記セレクタとフレームバッファ比較器に供給し、当該フレームバッファ比較器が現在のラインの差分（正確）と前のフレームの差分（正確）との比較により、前記差分（正確）を決定する。フレームライン比較器の出力はセレクタに供給される。

【0053】

本発明の解凍方法の例示的実施形態が図６に示されている。受信された完全な（圧縮されていない）左目画像は、最初に、当該左目画像から（左目−右目）の画像差分を得る（抽出する）ために使用される。この低帯域画像差分は本発明の圧縮によって圧縮されたものであり、これにより、圧縮された画像差分をメインの左目画像のストリームに含めることができる。その後、左目−（左目−右目）＝右目という引き算の結果が、シフトされた右目（正確）画像ラインを運ぶ。メタデータからの制御情報に基づいて、後者は記憶され、フレームラインの元の位置にシフトされる。このようにして、立体対が復元される。

【0054】

図７は解凍装置の例示的な実施形態のブロック図である。入力された左目画像ビデオ信号は左目−右目画像差分の抽出器（エクストラクタ、計算器）に供給され、当該抽出器はメインストリームの小さな部分を占める。その後、左目−（左目−右目）のための減算器は右目（正確）画像を復元する。メタデータモジュールからの制御情報に基づいて、後者は一時的に記憶され（バッファに入れられ）、フレームライン内の元の位置にシフトされる。当該装置の出力が、左目画像と右目画像の立体対である。

【0055】

図３に再び戻ると、ステップ３０５において、右目画像及び左目画像が入力される。ステップ３１０において、右目画像は右へ１０画素シフトされる。ステップ３２５において、１０画素シフトされた右目画像が、左目画像から引かれる。ステップ３１５において右目画像は右へ５０画素シフトされる。ステップ３３０において、５０画素シフトされた右目画像が、左目画像から引かれる。ステップ３２０において、右目画像は右へ１５０画素シフトされる。ステップ３３５において、１５０画素シフトされた右目画像が、左目画像から引かれる。ステップ３４０において、３つの差分（１０画素、５０画素及び１５０画素）が比較されて、最小差分が判断（決定）される。差分（大凡）が当該最小差分に設定される。ステップ３４５において、右目（大凡）が最小差分（差分（大凡））に設定される。ステップ３５０において、右目（大凡）が左と右に５画素シフトされる。ステップ３３５において、右に５画素シフトされた右目（大凡）が左目から引かれる。ステップ３６０において、左に５画素シフトされた右目（大凡）が左目から引かれる。ステップ３６５において、差分（正確）が前記２つの直前の減算結果（差分）の小さい方に設定される。ステップ３７０において、差分（正確）が差分（大凡）と比較される。ステップ３７５において、前記最小差分（正確）が見つけられたかを判断するテストを行う。もし当該最小差分（正確）が見つかっていれば、この処理は本発明の方法の当該部分について終了し、処理は図４に進む。もし最小差分（正確）が見つかっていなければ、処理はステップ３５０に進む。ステップ３８０において、差分（最初）は左目−右目に設定される。ステップ３９０において、差分（最初）が１２８バイトより大きいかを判断するテストを行う。もし差分（最初）が１２８バイトより大きければ、処理はステップ３４０に進む。もし差分（最初）が１２８バイトより大きければ、この処理は終了する。

【0056】

図４を再び参照すると、この方法のパート１（図３に示されてている）からの差分（大凡）がステップ４０５における入力となっている。ステップ４１０において、前のフレームラインからの差分（大凡）が記憶され、ステップ４２０において、前のフレームからの差分（大凡）が記憶される。ステップ４１５において、このラインからの差分（大凡）が前のラインの差分（大凡）から引かれる。ステップ４３０において、当該差分が｜２０｜％より大きいかを判断するテストを行う。もし当該差分が｜２０｜％以下ならば、ステップ４５５において、前のフレームラインからの差分（大凡）が使用できると考える。ステップ４５０において、これが最後のフレームかどうかを判断するテストを行う。もしこれが最後のフレームなら、処理は終了する。もしこれが最後のフレームでなければ、処理はステップ４０５に進む。もし差分が｜２０｜％より大きければ、処理はステップ４２５に進む。前のフレームからの差分（大凡）が記憶された後、処理はステップ４２５に進む。ステップ４２５において、現在のフレームからの差分（大凡）が前記前のフレームの差分（大凡）から引かれる。即ち、ステップ４３０における肯定的な結果はトリガもしくは制御ラインとして作用し、それがなければ、ステップ４２５の処理及びその後の処理は実行されない。ステップ４３５において、差分が｜２０｜％より大きいかを判断するテストを行う。もし差分が｜２０｜％より大きければ、ステップ４４０において図３の処理に戻り当該処理を実行する。処理はステップ４５０に進む。もし差分が｜２０｜％以下なら、当該前のフレームからの差分（大凡）がステップ４４５において使用できるとみなされる。処理はステップ４５０に進む。

【0057】

図６を再び参照すると、ステップ６０５において、左目画像ラインが入力となる。左目画像ラインは完全な左目画像と左目−右目画像とメタデータを含む。ステップ６１０において左目−右目画像差分を得る（抽出する）。ステップ６１５において左目−右目画像差分が左目画像から引かれる。ステップ６２０において、右目（正確）画像が１つのフレームラインについて記憶される。ステップ６２５において、メタデータを入力左目画像ラインから得る（抽出する）。ステップ６３０において右目（正確）画像が、メタデータを使用して元のライン位置へシフトされる。つまり、右目画像ラインが再構築される。ステップ６３５において、立体画像対（左目、右目）が記憶される。ステップ６４０において、これが最後のフレームラインかを判断するテストが行われる。もしこれが最後のフレームラインであるなら、処理は終了する。もしこれが最後のフレームでなければ、処理はステップ６０５に進む。

【0058】

本発明は種々の形式・形態のハードウエア、ソフトウエア、ファームウエア、専用プロセッサ、またはこれらの組み合わせにおいて実装することができる。好ましくは、本発明はハードウエアとソフトウエアの組み合わせとして実装される。さらに、ソフトウエアは好ましくは、プログラム記憶デバイス（装置）に実体的に（具体的に、タンジブルに）含まれるアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適切なアーキテクチャを含むマシンにアップロードされ当該マシンによって実行される。好ましくは、当該マシンは、１つ以上の中央処理装置（ＣＰＵ）、ＲＡＭ（ランダムアクセスメモリ）及び入力／出力（Ｉ／Ｏ）インターフェース（単数または複数）等のハードウエアを有するコンピュータプラットフォームに実装される。コンピュータプラットフォームはまた、オペレーティングシステムとマイクロインストラクションコードを含む。本明細書に記載された種々のプロセス及び機能は、マイクロインストラクションコードの一部であってもよいし、アプリケーションプログラムの一部であってもよく（または、これらの組み合わせの一部であってもよい）、オペレーティングシステムを介して実行される。加えて、データ記憶装置及び印刷装置等の種々の他の周辺機器（デバイス）がコンピュータプラットフォームに接続されてもよい。

【0059】

添付図面に示されたシステムコンポーネント（装置構成要素）及び方法ステップの幾つかは、好ましくはソフトウエアで実装されるので、システムコンポーネント（またはプロセスステップ）同士の間の実際の接続は、本発明のプログラムされ方に応じて異なることもある。本明細書の教示内容を与えられた当業者であれば、上記した及びこれと似たような本発明の実装もしくは構成を考えつくであろう。
（付記１）
第１の立体的アイフレームライン画像を受け入れるステップと、
第２の立体的アイフレームライン画像を受け入れるステップと、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像との間の大凡の画像シフトを判断するステップと、
前記大凡の画像シフトに応じて正確な画像シフトを判断するステップと、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を送信するステップと、
前記正確な画像シフトに対応するデータと更なる処理のためのメタデータとを送信するステップと、
を含む、前記方法。
（付記２）
前記大凡の画像シフトを判断するステップはさらに、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像との間の差分に応じて、最初の差分を判断するステップと、
前記最初が閾値より大きいかを判断するステップと、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を第１の数の画素だけシフトするステップと、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を第２の数の画素だけシフトするステップと、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を第３の数の画素だけシフトするステップと、
前記第１のシフトするステップ、前記第２のシフトするステップ、前記第３のシフトするステップ及び前記第４の判断するステップの結果に応じて最小差分を判断するステップと、
前記最小差分を記憶するステップと、
を含む、付記１記載の方法。
（付記３）
前記正確な差分を判断するステップはさらに、
前記最小差分を右へ第４の数の画素だけシフトするステップと、
前記最小差分を左へ前記第４の数の画素だけシフトするステップと、
前記第４の数の画素だけ右へシフトされた前記最小差分を、前記第１の立体的アイフレームライン画像から引くステップと、
前記第４の数の画素だけ左へシフトされた前記最小差分を、前記第１の立体的アイフレームライン画像から引くステップと、
前記第１の引き算の結果と前記第２の引き算の結果との間の正確な差分を判断するステップと、
を含む、付記２記載の方法。
（付記４）
前記大凡の画像シフトを、前のラインからの大凡の画像シフトから引くステップと、
前記引き算の結果が絶対値の２０％以内にあるかを判断するステップと、
前記第３の判断するステップに応じて、現在のラインの大凡の画像シフトを、前のフレームの大凡の画像シフトから引くステップと、
前記第２の引き算の結果が絶対値の２０％以内にあるかを判断するステップと、
をさらに含む、付記１記載の方法。
（付記５）
前記第１の立体的アイフレームライン画像が左目画像であり、前記第２の立体的アイフレームライン画像が右目画像である、付記１記載の方法。
（付記６）
前記第１の立体的アイフレームライン画像が右目画像であり、前記第２の立体的アイフレームライン画像が左目画像である、付記１記載の方法。
（付記７）
第１の立体的アイフレームライン画像を受け入れる手段と、
第２の立体的アイフレームライン画像を受け入れる手段と、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像との間の大凡の画像シフトを判断する手段と、
前記大凡の画像シフトに応じて正確な画像シフトを判断する手段と、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を送信する手段と、
前記正確な画像シフトに対応するデータと更なる処理のためのメタデータとを送信する手段と、
を含む、前記装置。
（付記８）
前記大凡の画像シフトを判断する手段はさらに、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像との間の差分に応じて、最初の差分を判断する手段と、
前記最初が閾値より大きいかを判断する手段と、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を第１の数の画素だけシフトする手段と、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を第２の数の画素だけシフトする手段と、
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像の一方を第３の数の画素だけシフトする手段と、
前記第１のシフト、前記第２のシフト、前記第３のシフト及び前記第４の判断の結果に応じて最小差分を判断する手段と、
前記最小差分を記憶する手段と、
含む、付記７記載の装置。
（付記９）
前記正確な差分を判断する手段はさらに、
前記最小差分を右へ第４の数の画素だけシフトする手段と、
前記最小差分を左へ前記第４の数の画素だけシフトする手段と、
前記第４の数の画素だけ右へシフトされた前記最小差分を、前記第１の立体的アイフレームライン画像から引く手段と、
前記第４の数の画素だけ左へシフトされた前記最小差分を、前記第１の立体的アイフレームライン画像から引く手段と、
前記第１の引き算の結果と前記第２の引き算の結果との間の正確な差分を判断する手段と、
を含む、付記８記載の装置。
（付記１０）
前記大凡の画像シフトを、前のラインからの大凡の画像シフトから引く手段と、
前記引き算の結果が絶対値の２０％以内にあるかを判断する手段と、
前記第３の判断に応じて、現在のラインの大凡の画像シフトを、前のフレームの大凡の画像シフトから引く手段と、
前記第２の引き算の結果が絶対値の２０％以内にあるかを判断する手段と、
をさらに含む、付記７記載の装置。
（付記１１）
前記第１の立体的アイフレームライン画像が左目画像であり、前記第２の立体的アイフレームライン画像が右目画像である、付記７記載の装置。
（付記１２）
前記第１の立体的アイフレームライン画像が右目画像であり、前記第２の立体的アイフレームライン画像が左目画像である、付記７記載の装置。
（付記１３）
送信された第１の完全な立体的アイフレームライン画像を受信するステップと、
第１の立体的アイフレームライン画像と第２の立体的画像との間の差分を得るステップと、
前記得られた差分を前記第１の立体的アイフレームライン画像から引くステップと、
前記第２の立体的アイフレームライン画像を記憶するステップと、
前記第１の完全な立体的アイフレームライン画像に含まれているメタデータからシフトライン値を得るステップと、
前記シフト値に応じて、前記第２の立体的アイフレームライン画像を元の位置にシフトするステップと、
を含む、前記方法。
（付記１４）
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像とを記憶するステップをさらに含む、付記１３記載の方法。
（付記１５）
前記第１の立体的アイフレームライン画像が左目画像であり、前記第２の立体的アイフレームライン画像が右目画像である、付記１３記載の方法。
（付記１６）
前記第１の立体的アイフレームライン画像が右目画像であり、前記第２の立体的アイフレームライン画像が左目画像である、付記１３記載の方法。
（付記１７）
送信された第１の完全な立体的アイフレームライン画像を受信する手段と、
第１の立体的アイフレームライン画像と第２の立体的画像との間の差分を得る手段と、
前記得られた差分を前記第１の立体的アイフレームライン画像から引く手段と、
前記第２の立体的アイフレームライン画像を記憶する手段と、
前記第１の完全な立体的アイフレームライン画像に含まれているメタデータからシフトライン値を得る手段と、
前記シフト値に応じて、前記第２の立体的アイフレームライン画像を元の位置にシフトする手段と、
を含む、装置。
（付記１８）
前記第１の立体的アイフレームライン画像と前記第２の立体的アイフレームライン画像とを記憶する手段をさらに含む、付記１７記載の装置。
（付記１９）
前記第１の立体的アイフレームライン画像が左目画像であり、前記第２の立体的アイフレームライン画像が右目画像である、付記１７記載の装置。
（付記２０）
前記第１の立体的アイフレームライン画像が右目画像であり、前記第２の立体的アイフレームライン画像が左目画像である、付記１７記載の装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】