特許第5777033号(P5777033)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー.の特許一覧

特許5777033立体画像を生成、送信、および受信する方法、並びに関連装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5777033
(24)【登録日】2015年7月17日
(45)【発行日】2015年9月9日
(54)【発明の名称】立体画像を生成、送信、および受信する方法、並びに関連装置
(51)【国際特許分類】
   H04N 13/00 20060101AFI20150820BHJP
   H04N 19/597 20140101ALI20150820BHJP
【FI】
   H04N13/00 480
   H04N13/00 290
   H04N19/597
【請求項の数】21
【全頁数】22
(21)【出願番号】特願2012-543989(P2012-543989)
(86)(22)【出願日】2010年12月17日
(65)【公表番号】特表2013-515389(P2013-515389A)
(43)【公表日】2013年5月2日
(86)【国際出願番号】IB2010055918
(87)【国際公開番号】WO2011077343
(87)【国際公開日】20110630
【審査請求日】2013年11月14日
(31)【優先権主張番号】TO2009A001016
(32)【優先日】2009年12月21日
(33)【優先権主張国】IT
(73)【特許権者】
【識別番号】311017326
【氏名又は名称】エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー.
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】セリア、サヴェリオ
(72)【発明者】
【氏名】バロッカ、ジョヴァーニ
(72)【発明者】
【氏名】ディーアマト、パオロ
【審査官】 益戸 宏
(56)【参考文献】
【文献】 特表2007−536825(JP,A)
【文献】 特開2000−308089(JP,A)
【文献】 特許第4134027(JP,B2)
【文献】 特開平04−320178(JP,A)
【文献】 特開2003−111101(JP,A)
【文献】 国際公開第2008/153861(WO,A1)
【文献】 特開平08−070475(JP,A)
【文献】 特開2004−349731(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00−15/00
H04N 19/597
(57)【特許請求の範囲】
【請求項1】
右画像および左画像の情報を含む合成画像を含む立体映像ストリームを生成する方法であって、
前記右画像の画素および前記左画像の画素が選択され、
選択された前記画素が、前記立体映像ストリームの合成画像に組み込まれる方法において、
前記右画像の全画素および前記左画像の全画素は、これら2枚の画像のうち一方の画像を変化させず、他方の画像を、複数の画素を含む長方形の形状を有する3つの領域に分割し、前記3つの領域を、変化されない前記一方の画像により占有されていない前記合成画像の複数の領域に組み込むことにより、前記合成画像に組み込まれ、
前記右画像および前記左画像の水平方向の解像度と垂直方向の解像度との比は、変化されておらず、前記合成画像は、前記右画像および前記左画像の画素の合計より大きい画素数を有する前記立体映像ストリームのフレームであり、
前記3つの領域の境界領域で、画像圧縮によるアーチファクトの発生を減少させるべく、前記3つの領域は、
前記他方の画像を、2つの同一サイズの部分に垂直に分割する段階と、
前記2つの同一サイズの部分の一方を、2つのさらなる同一サイズの部分に水平に分割し、前記2つの同一サイズの部分の他方は、さらに分割されない段階と
により得られる方法。
【請求項2】
さらに分割されていない前記2つの同一サイズの部分の他方は、変化されない前記一方の画像の隣に前記合成画像内に配置され、前記他方の画像の前記2つのさらなる同一サイズの部分は、変化されていない前記一方の画像の下方に前記合成画像内に隣り合って配置される、請求項1に記載の方法。
【請求項3】
前記3つの領域は、並進処理だけによって、前記合成画像に組み込まれる請求項1または請求項2に記載の方法。
【請求項4】
前記3つの領域は、並進処理および回転処理の少なくとも一方によって、前記合成画像に組み込まれる請求項1または請求項2に記載の方法。
【請求項5】
前記合成画像において空いている空間の少なくとも一部は、逆多重化装置の段階で前記右画像および前記左画像を復元するのに必要とされる信号を組み込むべく使用される請求項1からのいずれか1項に記載の方法。
【請求項6】
前記3つの領域のうち1つの領域を前記合成画像に組み込む前に、前記1つの領域の1辺に沿って鏡面反転(specular inversion)処理が実行される請求項1からのいずれか1項に記載の方法。
【請求項7】
前記1つの領域は、同一の空間領域に関する画素が隣り合わせに配置されるように、1辺が別の画像もしくは別の領域の1辺に接した状態で前記合成画像に組み込まれる請求項に記載の方法。
【請求項8】
前記3つの領域は、それぞれ、前記他方の画像の連続する複数のカラムの画素を含む請求項1からのいずれか1項に記載の方法。
【請求項9】
前記3つの領域のうち少なくとも2つの領域は、少なくとも1つの画素群を共有しており、前記画素群は、前記3つの領域のうち前記少なくとも2つの領域の間の境界領域に配置されている請求項1からのいずれか1項に記載の方法。
【請求項10】
前記3つの領域のうち前記合成画像に組み込まれる少なくとも1つの領域は、前記右画像または前記左画像から複写された画素を含む前記合成画像のその他の領域から、離間されている請求項1からのいずれか1項に記載の方法。
【請求項11】
右画像のシーケンスおよび左画像のシーケンスが受信され、
前記右画像のシーケンスおよび前記左画像のシーケンスから開始することにより、合成画像のシーケンスが生成され、
前記合成画像のシーケンスが圧縮される
請求項1から10のいずれか1項に記載の方法。
【請求項12】
請求項1から請求項11のいずれか1項に記載の方法に従った合成画像から開始することにより、1対の画像を復元する方法であって、
前記合成画像の1つの領域から単一群の連続画素を複写することにより、右画像および左画像のうち第1の画像を生成する段階と、
前記合成画像の3つ領域から別の複数群の連続画素を複写することにより、右画像および左画像のうち第2の画像を生成する段階と
を備え
前記第2の画像における、前記3つの領域のうちの1つの領域は、前記第1の画像と垂直方向のサイズが同じであり、前記3つの領域のうちの残りの2つの領域の一方は、他方の上方に、前記残りの2つの領域は、前記1つの領域の隣に配置される、方法。
【請求項13】
前記1対の画像を生成するための情報が、前記合成画像の1つの領域から抽出される請求項12に記載の方法。
【請求項14】
前記情報は、バーコードにしたがって符号化されている請求項13に記載の方法。
【請求項15】
前記第2の画像の生成は、前記3つ領域のうち少なくとも1つの領域の画素群を鏡面反転させる少なくとも1つの段階を有する請求項12または14に記載の方法。
【請求項16】
前記第2の画像の生成は、前記3つ領域のうち少なくとも1つの領域から画素を除去する少なくとも1つの段階を有する請求項12から15のいずれか1項に記載の方法。
【請求項17】
前記少なくとも1つの領域の境界領域から、画素は除去される請求項16に記載の方法。
【請求項18】
前記第2の画像は、画素領域に並進処理だけを施すことにより、生成される請求項12から17のいずれか1項に記載の方法。
【請求項19】
前記第2の画像は、画素領域に回転処理および並進処理の少なくとも一方を施すことにより、生成される請求項12から18のいずれか1項に記載の方法。
【請求項20】
合成画像を生成する装置であって、
右画像および左画像を受信する手段と、
前記右画像および前記左画像の情報を含む合成画像を生成する手段と
を備える装置において、
請求項1から11のいずれか1項に記載の方法を実施する手段を備えることを特徴とする装置。
【請求項21】
合成画像から開始することにより1対の画像を復元する装置において、請求項12から19のいずれか1項に記載の方法を実施することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体映像ストリーム、つまり、表示装置(visualization device)で適切に処理されると、観察者により3次元と認知される画像のシーケンスを生成する映像ストリームの生成、記憶、送信、受信、および再生に関する。
周知のように、一方は観察者の右目用であり、他方は観察者の左目用である2枚の画像を再生することにより、3次元の認知が得られる。
したがって、立体映像ストリームは、オブジェクトもしくは場面の右側からの視点および左側からの視点に対応する2つの画像シーケンスの情報を搬送する。
本発明は、特に、右側からの視点および左側からの視点の2枚の画像(以後、右画像および左画像と呼ぶ)を、立体映像ストリームの1フレーム(以後、コンテナフレームとも呼ぶ)を表す合成画像内に多重化する方法および装置に関する。
さらに、本発明は、合成画像を逆多重化する、つまり、合成画像から多重化装置により組み込まれた右画像および左画像を抽出する方法および装置に関する。
【背景技術】
【0002】
テレビ信号送信ネットワークおよび放送ネットワーク(地上ネットワークであるか衛星ネットワークであるかに拘らず)を過負荷から防止するべく、当該技術分野では、右画像および左画像を立体映像ストリームの単一の合成画像に多重化することが知られている。
【0003】
第一の例としては、いわゆる水平多重化(side−by−side multiplexing)が挙げられ、右画像および左画像を水平にアンダーサンプリングし、立体映像ストリームの同一フレーム内に水平に配置する。
この種類の多重化には、垂直方向解像度が変更されないまま、水平方向解像度が半減するという問題点がある。
【0004】
別の例としては、いわゆる垂直多重化(top−bottom multiplexing)が挙げられ、右画像および左画像を垂直にアンダーサンプリングし、立体映像ストリームの同一フレーム内に上下に配置する。
この種類の多重化には、水平方向解像度が変更されないまま、垂直方向解像度が半減するという問題点がある。
【0005】
その他のより洗練された方法もあり、たとえば、国際公開第03/088682号に開示されている。当該出願は、右画像および左画像を構成する画素数を減らすべく、チェスボードサンプリング(chessboard sampling)を使用することについて記載している。右画像および左画像のフレームに選択される画素は、「幾何学的」に水平フォーマット(side−by−side format)に圧縮される(各画素が除去されることでカラム1に生じた空白がカラム2の画素で埋められる、等)。画像をスクリーンに表示する復号段階において、右画像および左画像のフレームは元のフォーマットに復元され、除去された画素は適切な補完技術を適用することにより復元される。この方法によって水平方向解像度と垂直方向解像度との比を一定にすることが可能になるが、対角線方向の解像度が減少し、かつ本来ならば含まれない高周波空間スペクトル成分が導入されることで画像の画素間の相関が変化する。これによって、その後の圧縮段階(たとえば、MPEG2、MPEG4、またはH.264規格に従う圧縮)の効率が低下し、圧縮された映像ストリームのビットレートが増加する。
【0006】
右画像および左画像を多重化するその他の方法が国際公開第2008/153863号から周知である。
【0007】
これらの方法のうち1つでは、右画像および左画像に70%のスケーリングを実行し、スケーリングした画像を8×8画素のブロックに分割する。
【0008】
スケーリングした各画像のブロックは、合成画像の略半分に等しい領域に圧縮することができる。
【0009】
この方法の問題点は、ブロックを再配置すると、高周波空間スペクトル成分が導入されることで、画像を構成するブロック間の空間相関が変化し、圧縮効率が低下することである。
【0010】
さらに、各画像をスケーリング処理し、より大きい個数のブロックに分割するには、高い計算コストが掛かり、多重化装置および逆多重化装置の複雑性が増す。
【0011】
これらの方法のうちの別の方法では、右画像および左画像にそれぞれ対角スケーリングを適用し、元の画像を平行四辺形に変形する。次に、2つの平行四辺形を三角形領域に分割し、2つの平行四辺形を分割することで得られた三角形領域が再編成かつ再配置された長方形の合成画像を構成する。右画像および左画像の三角形領域は、合成画像の対角線により互いから離間されるように編成する。
【0012】
垂直方向(top−bottom)および水平方向(side−by−side)の方法と同じく、この方法でも、水平方向解像度と垂直方向解像度との比(バランス)が変化する問題点がある。さらに、細分化を行って立体フレームに再配置されるより大きい個数の三角形領域に分割することで、その後の、通信チャネルを介して送信する前の圧縮段階(たとえば、MPEG2、MPEG4、またはH.264規格に従う圧縮)で、三角形領域間の境界領域にアーチファクトが生成される。このアーチファクトは、たとえば、H.264規格に従った圧縮処理で実行される動き推定手順で生成される。
【0013】
この方法の別の問題点は、右画像および左画像のスケーリング処理、およびその後の三角形領域への分割・回転並進処理で要求される計算の複雑性に関っている。
【発明の概要】
【発明が解決しようとする課題】
【0014】
本発明の目的は、従来技術の問題点を克服することができる、右画像および左画像を多重化および逆多重化するための多重化方法および逆多重化方法(並びに関連装置)を提供することである。
【0015】
特に、本発明の目的の一つは、水平方向解像度と垂直方向解像度との間のバランスを維持することができる、右画像および左画像を多重化および逆多重化するための多重化方法および逆多重化方法(並びに関連装置)を提供することである。
【0016】
本発明の別の目的は、歪みおよびアーチファクトの生成を最小限にしつつ、高い圧縮率をその後に適用することが可能な、右画像および左画像を多重化するための多重化方法(および関連装置)を提供することである。
【0017】
本発明のさらなる目的は、計算コストが低下することが特徴である多重化方法および逆多重化方法(並びに関連装置)を提供することである。
【0018】
本発明のこれらの目的およびその他の目的は、本明細書の一部である添付の特許請求の範囲に記載される特徴が組み込まれた、右画像および左画像を多重化および逆多重化するための多重化方法および逆多重化方法(並びに関連装置)により達成される。
【課題を解決するための手段】
【0019】
本発明の根本にある一般的な考え方は、2枚の画像を、多重化されるこれら2枚の画像、つまり右画像および左画像の画素の合計数よりも画素数が大きい、または右画像および左画像の画素の合計数と画素数が等しい合成画像に組み込むことである。
【0020】
第1の画像(たとえば、左画像)の画素は、変更を加えられることなく合成画像に組み込まれ、第2の画像は複数の領域に細分され、これらの領域の画素は、合成画像の空き領域に配置される。
【0021】
この方法では、2枚の画像のうち一方の画像は変更されないので、復元される画像の画質がより良好になる利点がある。
【0022】
第2の画像は可能な最少数の領域に分割されるので、画素間の空間相関が最大化され、圧縮段階においてアーチファクトの生成が減少することも利点である。
【0023】
有利な実施形態では、第2の画像の複数の領域は、並進または回転並進処理だけによって合成画像に組み込まれるので、水平方向解像度と垂直方向解像度との比が変化しない。
【0024】
別の実施形態では、第2の画像を分割して得られた複数の領域のうち少なくとも1つの領域は鏡面反転処理され、つまり1軸(特に、1辺)に関して反転され、1辺が、右および左の2枚の画像の類似した画素間、つまり、2枚の画像の同一のロウおよびカラムに配置された画素間に存在する強い相関により、接する側において、同一もしくは類似の画素を有する他方の画像の1辺に接するように、合成画像内に配置される。
【0025】
この方法によって、境界領域でアーチファクトの生成が減少する利点が得られる。さらなる利点は、第2の画像を細分することにより得られる画像が長方形の形状を有することであり、境界領域が合成画像に対角線方向に交差した状態で配置される三角形領域を用いる方法に比べて、本方法では、特に正方形の画素ブロック(たとえば、H.264規格の16×16のブロック)に基づいて実施される場合には、その後に実行される圧縮により生成されるアーチファクトが減少する。
【0026】
特に有利な実施形態では、合成画像に冗長部を導入することにより、つまり、数個の画素群を何回か複写することにより、アーチファクトの生成がさらに減少するか、完全になくなる。特に、合成画像に組み込まれるべき元の画像を、画素の総数が分割対象の当該画像の画素数より大きくなるような寸法を有する複数の領域に分割することにより、これは可能となる。つまり、少なくとも2つの領域が画像の一部を共有することとなる複数の領域に画像を分割する。共有される画像の一部は、分割対象の画像において、互いに隣接する領域間の境界領域である。この共有される部分の大きさは、合成画像にその後に適用される圧縮の種類によって決めることが好ましく、この部分は、分割された画像を復元するときに、部分的にもしくは完全に除去される緩衝領域として機能してよい。圧縮によってこれらの領域の境界領域にアーチファクトが生成されうるので、緩衝領域もしくは少なくともその最外部を除去することにより、アーチファクトを除去して、元の画像に忠実な画像を復元することが可能になる。
【0027】
本発明のさらなる目的および利点が、非制限的な例として提示される本発明のいくつかの実施形態についての以下の記載からより明らかになるであろう。
【図面の簡単な説明】
【0028】
添付の図面を参照して実施形態を記載する。
図1】右画像および左画像を合成画像に多重化する装置のブロック図を示す。
図2図1の装置により実行される方法のフローチャートである。
図3】合成画像に組み込まれる画像の分割の第1形態を示す。
図4】本発明の一実施形態に係る、合成画像を構成する第1段階を示す。
図5図4の合成画像が完成した状態を示す。
図6】合成画像に組み込まれる画像の分割の第2形態を示す。
図7図6の画像を含む合成画像を示す。
図8】合成画像に組み込まれる画像の分割の第3形態を示す。
図9図8の画像を含む合成画像を示す。
図10】本発明の方法にしたがって生成された合成画像を受信する装置のブロック図を示す。
図11図8の方法にしたがって分割され、図10の受信装置に受信される合成画像に組み込まれた画像を復元するいくつかの段階を示す。
図12図9に示すタイプの合成画像に多重化された右画像および左画像を復元する方法のフローチャートである。
図13】本発明の第4の実施形態に係る合成画像を示す。
図14a-14f】図13の合成画像に組み込むべく実行される複数の処理段階にある右画像および左画像を示す。
【0029】
適切である場合、同様の構造、構成要素、材料、および/または要素は、同様の参照符号により示される。
【発明を実施するための形態】
【0030】
図1は、立体映像ストリーム101を生成する装置100のブロック図を示す。
【0031】
図1において、装置100は、それぞれ左目(L)用および右目(R)用に意図された2つのシーケンスの画像102および103、つまり、2つの映像ストリームを受信する。
【0032】
装置100は、2つのシーケンス102および103の2枚の画像を多重化する方法を実行することができる。
【0033】
右画像および左画像を多重化する方法を実行するべく、装置100は、入力画像(図1の例では、右画像)を、入力画像の1つの領域にそれぞれが対応する複数の副画像に分割するディスアセンブラモジュール(disassembler module)104と、受信した画像の画素を、自身の出力において提供する1枚の合成画像に組み込む(enter)ことができるアセンブラモジュール(assembler module)105とを備える。
装置100により実行される多重化方法の一例を、図2を参照して記載する。
【0034】
方法は、段階200で開始される。次に(段階201)、2枚の入力画像の一方(右または左)が、図3に示されるように、複数の領域に分割される。図3の例では、分割された画像は、映像ストリーム720pのフレームRであり、つまり、解像度1280×720画素および25/30fps(1秒当たりのフレーム数)のプログレッシブ形式である。
【0035】
図3のフレームRは、右目用に意図された画像を搬送する映像ストリーム103から取得され、3つの領域R1、R2、およびR3に分割される。
【0036】
フレームRの分割は、それを同一のサイズの2つの部分に分割し、その後、これらのうち一方を同一のサイズの2つの部分に細分化することにより得られる。
【0037】
領域R1は、640×720画素のサイズを有し、各ロウの先頭から数えて640番目までの全画素を取得することにより得られる。領域R2は、640×360画素のサイズを有し、先頭から数えて360本目までのロウの641から1280番目までの画素を取得することにより得られる。領域R3は、640×360画素のサイズを有し、画像Rの残りの画素、つまり、末尾までの360本のロウの641から1280番目までの画素を取得することにより得られる。
【0038】
図1の例では、画像Rを分割する処理は、入力画像R(本例では、フレームR)を受信して、3つの領域R1、R2、およびR3に対応する3枚の副画像(つまり、3群の画素)を出力するモジュール104により実行される。
【0039】
その後(段階202および203)、入力された右画像および左画像の両方に関する情報を含む合成画像Cが形成されるが、本例では、合成画像Cは、出力される立体映像ストリームの1フレームであり、したがってコンテナフレーム(container frame)とも呼ばれる。
【0040】
まず始めに(段階202)、装置100により受信され、かつ装置105により分割されない入力画像(図1の例では、左画像L)は、入力された両方の画像の全画素を含むようサイズ決めされたコンテナフレームに、無変更のまま組み込まれる。たとえば、入力画像のサイズが1280×720画素である場合、両方を含むのに適したコンテナフレームは、1920×1080画素のフレーム、たとえば、1080p型(1920×1080画素および1秒当たり25/30フレームのプログレッシブ形式)の映像ストリームのフレームである。
【0041】
図4の例では、左画像Lは、コンテナフレームCに組み込まれ、左上方の角に配置される。これは、コンテナフレームCの先頭から数えて720番目までのロウの、先頭から数えて1280番目までの画素から構成される領域C1に、画像Lの1280×720画素を複写することにより得られる。
【0042】
以下の記載において、画像をフレームに組み込むこと、または画素をあるフレームから別のフレームに転写もしくは複写することについて言及される場合、元の画像と同じ画素から構成される新しいフレームを(ハードウェアおよび/またはソフトウェア手段を使用して)生成する手順が実行されることが意味されることを理解されたい。
【0043】
元の画像(もしくは、元の画像のうちの1群の画素)を対象画像に複写する(ソフトウェアおよび/またはハードウェア)技術は、本発明の目的においては重要ではないと考えられ、当業者には本来周知であるので、ここではさらなる記載はしない。
【0044】
次の段階203では、段階201でモジュール104により分割された画像は、コンテナフレームに組み込まれる。これは、分割された画像の画素を、モジュール105により、コンテナフレームCの、画像Lにより占有されていない領域、つまり領域C1以外の領域に複写することにより得られる。
【0045】
可能な最良の圧縮を実現し、映像ストリームを解凍するときにアーチファクトの生成を減らすべく、モジュール104により出力される副画像の画素は、それぞれの空間関係を維持したまま複写される。つまり、領域R1、R2、およびR3は、フレームCの各領域に、並進および/または回転処理だけによって、変形されることなく複写される。
【0046】
モジュール105により出力されるコンテナフレームCの例が図5に示されている。領域R1は、先頭から数えて720本目までのロウの末尾までの640個の画素(領域C2)に複写され、したがって、先に複写された画像Lに隣接する。
【0047】
領域R2およびR3は、領域C1の下に、つまり、末尾までの360本のロウの先頭から数えて640画素までと、それに続く640画素とからそれぞれ構成される領域C3およびC4にそれぞれ複写される。
【0048】
図5に示される方法の好適な代替法として、領域R2およびR3は、コンテナフレームCにおいて画素群により離間された互いに関連のない(つまり、重なり合っても隣接してもいない)領域に複写して、境界領域を減少させてもよい。
【0049】
画像LおよびRをコンテナフレームに組み込む処理によって、水平方向および垂直方向の解像度のバランスが変化することはない。
【0050】
一実施形態では、フレームCの残りの画素には同一のRGB値が割り当てられるが、たとえば、残りの画素は全て黒でもよい。
【0051】
別の実施形態では、合成画像の利用可能な残りの領域は、右画像および左画像を逆多重化装置の段階で復元するのに必要な任意の種類の信号、たとえば合成画像の形成方法を示す信号を組み込むべく使用してよい。
【0052】
本実施形態では、右画像もしくは左画像またはそれらの一部によって占有されていないコンテナフレームの領域は、信号を受信するべく用いられる。この信号領域の画素には、たとえば、2色(たとえば、黒および白)を適用し、信号情報を含む任意の種類のバーコード、たとえば一次元もしくは二次元のバーコードを形成する。
【0053】
両方の入力画像(および、場合によっては信号)をコンテナフレームに転写し終わったら、装置100により実行される方法は終了し、コンテナフレームは、圧縮して、通信チャネル上で転送し、および/または適切な媒体(たとえば、CD、DVD、ブルーレイ(登録商標)、大容量記憶装置等)に記録することができる。
【0054】
上記の多重化処理によっては1つの領域もしくは画像の画素間の空間関係が変化しないので、装置100により出力される映像ストリームは、かなりの程度の圧縮を施しても、顕著なアーチファクトが生成されることなく、送信された画像に非常に忠実な画像が再現される可能性を良好に保つことができる。
【0055】
他の実施形態を記載する前に指摘しておくべきことは、フレームRを3つの領域R1、R2、およびR3に分割することは、合成画像で利用可能な空間と、変更されないままコンテナフレームに組み込まれる左画像により占有される空間とを考慮に入れて、可能な最少数の領域にフレームを分割することと同じであるということである。
【0056】
つまり、この最少数は、左画像により利用されず残っているコンテナフレームCの空間を占有するのに必要な領域の最少数である。
【0057】
したがって、一般的に、画像を分割するべき領域の最少数は、元の画像(右画像および左画像)のフォーマットおよび対象の合成画像(コンテナフレームC)の関数として定義される。
【0058】
好ましくは、フレームに組み込まれる画像は、画像(たとえば、上記の例ではR)を最少数の長方形領域に分割する必要性を考慮に入れて分割される。
【0059】
別の実施形態では、右画像Rは、図6に示すように分割される。
【0060】
領域R1´は図3の領域R1に対応し、したがって、画像の全720本のロウの先頭から数えて640画素までを含む。
【0061】
領域R2´は、領域R1´に隣接する320本のカラム分の画素を含み、領域R3´は、末尾までの320本のカラム分の画素を含む。
【0062】
したがって、コンテナフレームCは、図7に示すように構成することができ、領域R2´およびR3´は、90度回転させて、画像Lおよび領域R1´の下の領域C3´およびC4´に配置する。
【0063】
このように回転された領域R2´およびR3´は、320本のロウの720個の画素を占有し、したがって、領域C3´およびC4´は、画像Lおよび領域R1´から複写された画素を含む領域C1およびC2から離間されている。
【0064】
好ましくは、領域C3´およびC4´は、その他の領域C1およびC2から、少なくとも1本のセーフガードライン分、離間される。特に、領域R2´およびR3´の画素をコンテナフレームCの末尾部のロウに複写することは有利であり、好ましい。
【0065】
本例ではコンテナフレームは1080本のロウから構成されているので、図7の実施形態では、回転された領域R2´およびR3´は、上方の画像Lおよび領域R1´から、40画素分の高さのセーフガードストリップにより離間される。
【0066】
図7の例では、領域R2´およびR3´は互いから離間され、所定の色(たとえば、白または黒)の、右画像および左画像に由来しない画素により取り囲まれる。このようにして、右画像および左画像に由来する画素を含む領域間の境界領域が減少し、かつ画像圧縮により生じるアーチファクトが減少し、圧縮率が最大化される。
【0067】
領域R2´およびR3´を、(図7を参照して記載したように)コンテナフレームCの末尾部のロウに配置する変わりに、好適な実施形態では、R2´およびR3´を、Lの下方縁とR2´およびR3´の上方縁との間にセーフガードストリップが32画素ロウの高さ残るように配置する。これにより、R2´およびR3´の下方縁とCの下方縁との間に、第2のセーフガードストリップが8画素ロウの高さだけ設けられる。コンテナフレームの幅をさらに活用することにより、R2´およびR3´を、右画像にも左画像にも由来しない画素により完全に取り囲まれるように配置することが可能になる。
【0068】
本明細書では図8および図9を参照して記載される別の実施形態では、モジュール104は、画素の合計数が、分割される元の画像の画素数よりも多い3つの副画像R1´´、R2´´、およびR3´´を抽出する。
【0069】
領域R1´´は、図6の領域R1´に対応するが、他方で、R2´´およびR3´´は、領域R2´およびR3´並びに追加的な領域(Ra2およびRa3)を含み、これによって画像圧縮段階でのアーチファクトの生成が最小化される。
【0070】
したがって、領域R1´´は、640×720画素のサイズを有し、分割対象のフレームRの先頭部のカラムを占有する領域である。
【0071】
領域R3´´は、分割対象のフレームRの末尾部のカラムを占有し、中央領域R2´´に隣接する。R3´´は、左側(R2´´に隣接する側)に、領域R2´´と画素を共有するバッファストリップRa3を有する。つまり、R2´´の末尾部のカラムと、R3´´の先頭部のカラム(バッファストリップRa3を構成する)とは、一致する。
【0072】
好ましくは、バッファストリップRa3のサイズは、その後にコンテナフレームCおよびコンテナフレームCを含む映像ストリーム全体に適用される圧縮の種類の関数として選択される。特に、当該ストリップは、圧縮処理で用いられる基本処理単位(elementary processing unit)のサイズの2倍である。たとえば、H.264規格では、それぞれが当該規格の基本処理単位を示す16×16画素の複数のマクロブロックへの画像の分割を規定している。この想定に基づくと、ストリップRa3の幅は、32画素である。したがって、領域R3´´は、352(320+32)×720画素のサイズを有し、画像Rの末尾の352本のカラムの画素を含む。
【0073】
領域R2´´は、分割対象の画像Rの中央部を占有し、左側に、ストリップRa3と同一サイズのバッファストリップRa2を有する。したがって、H.264圧縮規格を想定した例では、ストリップRa2の幅は32画素であり、領域R1´´と画素を共有する。したがって、領域R2´´は、352×720画素のサイズを有し、フレームRの608(R1´´の640から32を引く)番目から978番目のカラムの画素を含む。
【0074】
次に、モジュール104により出力される領域R1´´、R2´´、およびR3´´(図8に図示)に対応する3枚の副画像は、図9に示されるようにコンテナフレームCに組み込まれる。領域R2´´およびR3´´は、90度回転され、それらの画素は、画像LおよびR1´´の画素を含む領域C1およびC2から領域C3´´およびC4´´を離間させる所定数のセーフガード画素を設けて、フレームCの末尾部のロウ(C3´´およびC4´´と指定される領域)に複写される。図9に示す例では、セーフガードストリップは、8画素分の幅である。
【0075】
このようにして得られたフレームCは、その後圧縮され、送信もしくは記憶媒体(たとえば、DVD)に保存される。この目的において、画像もしくは映像信号を圧縮する圧縮手段と、圧縮された画像もしくは映像信号を記録および/または送信する手段とが提供される。
【0076】
図10は、受信したコンテナフレームを解凍し(圧縮されていた場合)、右および左の2枚の画像を復元して表示装置(たとえば、テレビ)で利用可能にし、3Dコンテンツを実現する受信装置1100のブロック図を示す。受信装置1100は、セットトップボックス、またはテレビに内蔵される受信装置であってよい。
【0077】
受信装置1100についての言及は、コンテナフレーム(圧縮されている場合がある)を読み出して処理し、読み出したコンテナフレーム(圧縮されている場合がある)に組み込まれていた右画像および左画像に対応する1対のフレームを取得する読み出し装置(たとえば、DVDリーダ)にも当てはまる。
【0078】
図10に戻ると、受信装置は、圧縮された立体映像ストリーム1101を(ケーブルまたはアンテナを介して)受信し、解凍モジュール1102により解凍し、フレームCに対応するフレームC´のシーケンスを含む映像ストリームを取得する。理想的なチャネルが存在する場合、またはコンテナフレームが大容量記憶装置もしくはデータ媒体(ブルーレイ(登録商標)、CD、DVD)から読み出されている場合、フレームC´は、圧縮処理によりもたらされたアーチファクトを除いて、右画像および左画像の情報を保持するコンテナフレームCに対応する。
【0079】
次に、これらのフレームC´は、図11および図12を参照して以下に記載される画像復元方法を実行する復元モジュール1103に供給される。
【0080】
映像ストリームが圧縮されていない場合、解凍モジュール1102は省略し、映像信号は復元モジュール1103に直接的に供給されてよいことは明らかであろう。
【0081】
復元処理は段階1300で開始され、解凍されたコンテナフレームC´が受信される。復元モジュール1103は、解凍されたフレームの先頭部の720×1280画素を、コンテナフレームより小さい新たなフレーム、たとえば、720pストリームのフレームに複写することにより、左画像Lを抽出する(段階1301)。このようにして復元された画像Lは、受信装置1100に出力される(段階1302)。
【0082】
その後、方法によると、右画像RがコンテナフレームC´から抽出される。
【0083】
右画像を抽出する段階は、フレームC´に含まれるR1´´の一部を複写する(段階1303)により開始される。より詳細には、R1´´の先頭から624(640−16)本までのカラムの画素は、図11に示されるように、復元された画像Routを表す新たなフレームの対応する先頭から624本までのカラムに複写される。実は、これにより、R1´´のうち、H.264圧縮規格により実行される動き推定手順の作用によって最もアーチファクトを生成しやすい16本のカラムが復元段階から除去される。
【0084】
次に、R2´´の所定部分が抽出される(段階1304)。解凍されたフレームC´(上記したように、図9のフレームCに対応する)から、領域C3´´(元の領域R2´´に対応する)の画素が選択され、多重化装置100で実行されたときとは逆方向に90度回転され、元のロウ/カラム状態、つまり、図8に示す状態に戻される。この時点で、R2´´の先頭部および末尾部の16本のカラムが除去され、残る352−32=320本の画素カラムが、直前にR1´´から複写されたカラムに隣接する空きカラムに複写される。
【0085】
領域R2´´の最外部の16本のカラムを除去することにより、アーチファクトが最も生成されやすいカラムが除去される。除去される領域の幅(この場合は、16カラム)は、用いられた圧縮の種類によって決まる。この領域は、圧縮処理で用いられた基本処理単位に等しいことが好ましく、本明細書で記載される例においては、H.264規格は16×16画素のブロックに基づいて動作しているので、16本のカラムが除去される。
【0086】
R3´´については(段階1305)、領域C4´´の画素がフレームC´から抽出され、副画像R3´´は、元のロウ/カラムのフォーマット(図8を参照)に戻される。
【0087】
その後、先頭部の16本の画素カラム(領域Ra3の半分に対応する)が除去され、残る352−16=336本の画素カラムが、復元フレームの左側の末尾部の空きカラムに複写される。R2´´同様、R3´´においても、除去される領域は、圧縮処理で用いられた基本処理単位に等しい。
【0088】
もちろん、領域R2´´およびR3´´の両方について、回転処理は、仮想的な方法で実行してよく、つまり、R2´´であれば領域C3´´の、R3´´であれば領域C4´´の末尾部の、図8に示される除去すべき16本のカラムに対応する16本のロウを除いて、R2´´であれば領域C3´´の、R3´´であれば領域C4´´のロウの画素を、復元フレームにおいて、新たなフレームRoutのカラムに複写することにより、対象画素の抽出という点において同一の結果を取得してよい。
【0089】
この時点で、右画像Rは、完全に復元され、出力することが可能になっている(段階1306)。
【0090】
したがって、コンテナフレームC´に含まれる右画像および左画像を復元する処理は完了する(段階1307)。この処理は、出力がそれぞれ右画像および左画像に対応する2本の映像ストリーム1104および1105から構成されるように、受信装置1100によって受信される映像ストリームのフレーム毎に繰り返される。
【0091】
図10図11、および図12を参照して上記した右画像および左画像の復元処理は、逆多重化装置1100が、コンテナフレームCの形成方法を知っており、したがって右画用および左画像を抽出することができるという想定に基づいている。
【0092】
もちろん、多重化方法が規格化されていれば、これは可能である。
【0093】
コンテナフレームが上記の方法のいずれによっても生成されうるという事実を考慮するべく、または、添付の特許請求の範囲の主題となっている考えを利用した方法のいずれにおいても、逆多重化装置は、合成画像の所定領域に含まれる信号伝達情報(たとえば、上記したように、バーコード)を用いて、合成画像の内容を解凍すべき方法、並びに右画像および左画像を復元する方法を知る。
【0094】
信号を復号した後、逆多重化装置は、無変更の画像(たとえば、上記の例では、左画像)の位置と、他方の画像(たとえば、上記の例では、右画像)を分割して得られた領域の位置および変更(回転、並進等)とを知得する。
【0095】
したがって、この情報により、逆多重化装置は、無変更の画像(たとえば、左画像)を抽出し、分割された画像(たとえば、右画像)を復元することができる。
【0096】
本発明は、いくつかの好適かつ有利な実施形態を参照して例示されてきたが、本発明はこれらの実施形態に限定されず、物体または場面の2つの異なる視点(右および左)に関する2枚の画像を合成画像に組み込むことを望む当業者によって、本発明に多くの変更を加えることが可能であることは明らかである。
【0097】
たとえば、上記の装置、特に、装置100および受信装置1100を提供する電子モジュールは、多様な方法で分割かつ分配されてよく、さらに、ハードウェアモジュールとして提供されてもよく、または、プロセッサ、特に、受信した入力フレームを一時的に記憶するための適切なメモリを備える映像プロセッサによって実行されるソフトウェアアルゴリズムとして提供されてもよい。したがって、これらのモジュールは、本発明にかかる画像多重化方法および画像逆多重化方法の映像処理段階のうち1つ以上を、並列または直列に実行してよい。
【0098】
好適な実施形態は、2本の720p映像ストリームを1本の1080p映像ストリームに多重化する方法について言及しているが、その他のフォーマットを用いてもよい。
【0099】
本発明が特定の種類の合成画像の構成に限定されないのは、合成画像を生成する別の方法には、特有の利点があるためである。
【0100】
たとえば、図1から図12を参照して上記した実施形態は、実行する処理が並進もしくは回転並進だけであるので、要求する計算能力が少ないことが利点である。
【0101】
または、回転および/または並進処理に加えて、鏡面反転(specular inversion)処理を画像に施して、図13に示されるタイプの合成画像を取得することも考えられる。
【0102】
これらの追加的な処理は、類似した画素を含む領域間の境界の周囲長(boundary perimeters)を最大化し、それらの間の強い相関を利用して、後の圧縮でもたらされるアーチファクトを最小化する目的で実行される。図13および図14の例では、明瞭性を期すべく、右および左の2枚の画像は同一であることが想定されているが、一般的には、僅かに異なる。
【0103】
この図では、左画像L(図14aに示される)は、コンテナフレームCの右上方の角に配置され、先頭部の720本のロウの末尾部の1280画素を占有している。したがって、以前に記載した例でのように、画像Lは、変化されないままコンテナフレームCに複写される。
【0104】
かわりに、右画像Rを図3の例にしたがって分割するのであるが、図14bは、3つの領域R1、R2、およびR3に分割された画像Rを示す。
【0105】
その後、いくつかの領域(図14の例では、領域R1およびR3)に鏡面反転処理を施すのであるが、垂直軸(つまり、画像のカラムに平行)または水平軸(つまり、画像のロウに平行)のいずれに関して反転させてもよい。
【0106】
垂直軸に関する反転の場合、カラムN(Nは、1から1080までの整数であり、1080は、画像のカラム数である)の画素は、カラム1080+1−Nに複写される。
【0107】
水平軸に関する反転の場合、ロウM(Mは、1から720までの整数であり、720は、画像のロウ数である)の画素は、ロウ720+1−Mに複写される。
【0108】
図14cおよび14dは、画像Rから抽出された領域R1、およびそれが垂直軸に関して、特に垂直辺に関して反転(R1rot)された領域を示す。
【0109】
反転された領域R1invは、先頭から数えて640本目までの画素ロウの、先頭から数えて640個までの画素に組み込まれる。
【0110】
図13の例から理解されるように、回転されたR1invがコンテナフレームCに組み込まれると、Lに接するR1invの画素は、R1invに接するLの画素と非常に類似している。これらの画素間の空間相関には、アーチファクトの生成を減少させる利点がある。
【0111】
図14eおよび14fは、図14bの画像Rから抽出された領域R3、およびそれが水平軸に関して、特に水平辺に関して反転された領域(R3inv)を示す。
【0112】
領域R3invは、末尾までの360本のロウの末尾までの640個の画素に組み込まれる。これによって、R3invとLとの間の境界領域の画素は、高い空間相関を有する画素となるので、アーチファクトの生成が減少する。この境界領域の画素によって、実際に、画像の類似もしくは同一の部分が再生される。
【0113】
次に、領域R2を組み込むことによりコンテナフレームCは完成される。
【0114】
この例で、R2が反転および/または回転されないのは、いずれの場合においても、R2の境界領域を、Rの別の領域またはLの類似した画素から構成される境界領域に合わせることが可能でないからである。
【0115】
最後に、本発明は、本発明の保護範囲に含まれる上記の多重化処理のいずれか1つを逆方向に実行することにより、合成画像から右画像および左画像を抽出することができる任意の逆多重化方法に関することは明らかである。
【0116】
したがって、本発明は、合成画像から開始して、1対の画像を生成する方法であって、
−合成画像のある領域から単一の連続画素群を複写することにより、右画像および左画像のうち第1の画像(たとえば、左画像)を生成する段階と、
−合成画像の複数の別の領域から複数の別の連続画素群を転写することにより第2の画像(たとえば、右画像)を生成する段階と
を備える方法にも関する。
【0117】
一実施形態によると、第2の画像を生成するための情報は、合成画像のある領域から抽出される。好ましくは、この情報は、バーコードにより符号化されている。
【0118】
右画像および左画像を生成する方法の一実施形態では、合成画像において分割されていた画像の生成には、複数の別の領域のうちの1つに含まれる1つの画素群を鏡面反転させる少なくとも1つの段階が含まれる。
【0119】
右画像および左画像を生成する方法の一実施形態では、合成画像において分割されていた画像の生成には、復元されるべきこの画像の画素を含む合成画像の領域のうち1つの領域から画素を除去する少なくとも1つの段階が含まれる。特に、画素は、この領域の境界領域から除去される。
【0120】
一実施形態では、合成画像の異なる領域に分割されていた画像は、復元されるべき画像の画素を含む画素領域に並進および/または回転処理だけを施すことにより、復元される。
[項目1]
右画像(R)および左画像(L)の情報を含む合成画像(C)を含む立体映像ストリーム(101)を生成する方法であって、
上記右画像(R)の画素および上記左画像(L)の画素が選択され、
選択された上記画素が、上記立体映像ストリームの合成画像(C)に組み込まれる方法において、
上記右画像(R)の全画素および上記左画像(L)の全画素は、これら2枚の画像のうち一方の画像を変化させず、他方の画像を、複数の画素を含む複数の領域(R1、R2、R3)に分割し、上記複数の領域を上記合成画像(C)に組みこむことにより、上記合成画像(C)に組み込まれることを特徴とする方法。
[項目2]
上記他方の画像は、上記合成画像(C)において利用可能な空間と、変化されない上記一方の画像(L)により占有される空間とを考慮に入れて、可能な最少数の領域に分割される項目1に記載の方法。
[項目3]
上記最少数は、変化されない上記一方の画像によって占有されずに空いている空間を占有するのに必要な最少数である項目2に記載の方法。
[項目4]
上記複数の領域は、
上記他方の画像(R)を、同一サイズの2つの部分に分割する段階と、
上記2つの部分の一方を、同一サイズの2つの部分に分割する段階と
により得られる項目1から3のいずれか1項に記載の方法。
[項目5]
上記複数の領域(R1、R2、R3)は、並進処理だけによって、上記合成画像に組み込まれる項目1から4のいずれか1項に記載の方法。
[項目6]
上記複数の領域(R1、R2、R3)は、並進処理および回転処理の少なくとも一方によって、上記合成画像(C)に組み込まれる項目1から4のいずれか1項に記載の方法。
[項目7]
上記合成画像において空いている空間の少なくとも一部は、逆多重化装置の段階で上記右画像および上記左画像を復元するのに必要とされる信号を組み込むべく使用される項目1から6のいずれか1項に記載の方法。
[項目8]
上記複数の領域のうち1つの領域を上記合成画像に組み込む前に、上記1つの領域の1辺に沿って鏡面反転(specular inversion)処理が実行される項目1から7のいずれか1項に記載の方法。
[項目9]
上記1つの領域は、同一の空間領域に関する画素が隣り合わせに配置されるように、1辺が別の画像もしくは別の領域の1辺に接した状態で上記合成画像に組み込まれる項目8に記載の方法。
[項目10]
上記複数の領域は、長方形の形状を有する項目1から9のいずれか1項に記載の方法。
[項目11]
上記複数の領域は、それぞれ、上記他方の画像の連続する複数のカラムの画素を含む項目1から10のいずれか1項に記載の方法。
[項目12]
上記複数の領域のうち少なくとも2つの領域は、少なくとも1つの画素群を共有しており、上記画素群は、上記複数の領域のうち上記少なくとも2つの領域の間の境界領域に配置されている項目1から11のいずれか1項に記載の方法。
[項目13]
上記複数の領域のうち上記合成画像に組み込まれる少なくとも1つの領域は、上記右画像または上記左画像から複写された画素を含む上記合成画像のその他の領域から、離間されている項目1から12のいずれか1項に記載の方法。
[項目14]
右画像のシーケンスおよび左画像のシーケンスが受信され、
上記右画像のシーケンスおよび上記左画像のシーケンスから開始することにより、合成画像のシーケンスが生成され、
上記合成画像のシーケンスが圧縮される
項目1から13のいずれか1項に記載の方法。
[項目15]
合成画像から開始することにより、1対の画像を復元する方法であって、
上記合成画像の1つの領域から単一群の連続画素を複写することにより、右画像(R)および左画像(L)のうち第1の画像を生成する段階と、
上記合成画像の複数の異なる領域(R1、R2、R3)から別の複数群の連続画素を複写することにより、右画像(R)および左画像(L)のうち第2の画像を生成する段階と
を備える方法。
[項目16]
上記1対の画像を生成するための情報が、上記合成画像の1つの領域から抽出される項目15に記載の方法。
[項目17]
上記情報は、バーコードにしたがって符号化されている項目16に記載の方法。
[項目18]
上記第2の画像の生成は、上記複数の異なる領域のうち少なくとも1つの領域の画素群を鏡面反転させる少なくとも1つの段階を有する項目15または17に記載の方法。
[項目19]
上記第2の画像の生成は、上記複数の異なる領域のうち少なくとも1つの領域から画素を除去する少なくとも1つの段階を有する項目15から18のいずれか1項に記載の方法。
[項目20]
上記少なくとも1つの領域の境界領域から、画素は除去される項目19に記載の方法。
[項目21]
上記第2の画像は、画素領域に並進処理だけを施すことにより、生成される項目15から20のいずれか1項に記載の方法。
[項目22]
上記第2の画像は、画素領域に回転処理および並進処理の少なくとも一方を施すことにより、生成される項目15から21のいずれか1項に記載の方法。
[項目23]
合成画像(C)を生成する装置(100)であって、
右画像および左画像を受信する手段(104)と、
上記右画像および上記左画像の情報を含む合成画像(C)を生成する手段(105)と
を備える装置において、
項目1から14のいずれか1項に記載の方法を実施する手段を備えることを特徴とする装置。
[項目24]
合成画像から開始することにより1対の画像を復元する装置(1100)において、項目15から22のいずれか1項に記載の方法を実施することを特徴とする装置。
[項目25]
項目1から14のいずれか1項に記載の方法により生成される少なくとも1枚の合成画像(C)を含むことを特徴とする立体映像ストリーム(1101)。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14a
図14b
図14c-14d】
図14e-14f】