(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-13
(54)【発明の名称】デジタルホログラムを符号化するための方法、デジタルホログラムのグループを符号化するための方法及び関連する符号化装置
(51)【国際特許分類】
H04N 19/85 20140101AFI20230206BHJP
G03H 1/08 20060101ALI20230206BHJP
【FI】
H04N19/85
G03H1/08
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022535850
(86)(22)【出願日】2020-12-03
(85)【翻訳文提出日】2022-08-09
(86)【国際出願番号】 EP2020084547
(87)【国際公開番号】W WO2021115935
(87)【国際公開日】2021-06-17
(32)【優先日】2019-12-13
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521196970
【氏名又は名称】フォンダシオン ベー-コム
【氏名又は名称原語表記】FONDATION B-COM
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100151459
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】アントナン ジル
(72)【発明者】
【氏名】パトリック ジオイア
【テーマコード(参考)】
2K008
5C159
【Fターム(参考)】
2K008FF27
5C159LA00
5C159MA00
5C159MA21
5C159PP00
5C159UA02
(57)【要約】
デジタルホログラムであって、デジタルホログラムを定義する面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラムを符号化するための方法であって、連続ピクセルで構成される領域にそれぞれ関連する行列ブロック(Bi,j)を形成するステップ(E4)であって、各行列ブロック(Bi,j)は、対象の行列ブロック(Bi,j)に関連する領域内のピクセルの値の関数として決定される要素を含む、ステップ(E4)と、対象の行列ブロック(Bi,j)内の異なる二次元空間周波数にそれぞれ対応する係数の組(Ci,j)を行列ブロック(Bi,j)ごとに生成するために、行列ブロック(Bi,j)のそれぞれに空間周波数変換を適用するステップ(E6)と、複数の二次元構造(Sp,q)を構築するステップ(E8)であって、複数の二次元構造(Sp,q)は、複数の係数の組(Ci,j)からの、且つ対象の二次元構造(Sp,q)に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む、ステップ(E8)と、構築されている二次元構造(Sp,q)を符号化するステップと、を含む。デジタルホログラムのグループを符号化するための方法及び符号化装置も記載される。
【特許請求の範囲】
【請求項1】
デジタルホログラム(H
t)であって、前記デジタルホログラム(H
t)の定義面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラム(H
t)を符号化するための方法であって、
連続ピクセルで構成される領域(R
i,j)にそれぞれ関連する行列ブロック(B
i,j)を形成するステップ(E4)であって、各行列ブロック(B
i,j)は、対象の前記行列ブロック(B
i,j)に関連する前記領域(R
i,j)の前記ピクセルの前記値の関数として決定される要素を含む、ステップ(E4)と、
対象の前記行列ブロック(B
i,j)内の異なる二次元空間周波数にそれぞれ対応する係数の組(C
i,j)を行列ブロック(B
i,j)ごとに得るように、前記行列ブロック(B
i,j)のそれぞれに空間周波数変換を適用するステップ(E6)と、
複数の二次元構造(S
p,q)を構築するステップ(E8)であって、前記複数の二次元構造(S
p,q)は、複数の係数の組(C
i,j)からの、且つ対象の前記二次元構造(S
p,q)に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む、ステップ(E8)と、
構築されている前記二次元構造(S
p,q)を符号化するステップ(E12、E14、E16)と、
を含む方法。
【請求項2】
前記二次元構造(S
p,q)は、前記係数の組(C
i,j)からの、且つ対象の前記二次元構造(S
p,q)に関連する二次元空間周波数に対応する前記係数を各二次元構造(S
p,q)内で一緒にグループ化することによって構築される、請求項1に記載の符号化方法。
【請求項3】
前記二次元構造は、前記係数の組からの、且つ対象の前記二次元構造に関連する空間周波数の二次元範囲に対応する前記係数を各二次元構造内で一緒にグループ化することによって構築される、請求項1に記載の符号化方法。
【請求項4】
前記領域(R
i,j)は、前記面の区分化によって得られ、行列ブロック(B
i,j)の前記異なる要素は、それぞれ前記行列ブロック(B
i,j)に関連する前記領域(R
i,j)の前記ピクセルの前記値である、請求項1~3の何れか一項に記載の符号化方法。
【請求項5】
構築されている前記二次元構造(S
p,q)は、少なくとも部分的に画像符号化アルゴリズムによって符号化される、請求項1~4の何れか一項に記載の符号化方法。
【請求項6】
前記ホログラムの前記ピクセルの前記値は、実数である、請求項1~5の何れか一項に記載の符号化方法。
【請求項7】
前記ホログラムの前記ピクセルの前記値は、複素数である、請求項1~5の何れか一項に記載の符号化方法。
【請求項8】
前記二次元構造(S
p,q)内の前記係数は、複素数であり、前記二次元構造を符号化する前記ステップは、画像符号化アルゴリズムによって前記係数の振幅を符号化する第1のプロセス(E14)及び前記係数の位相を符号化する第2のプロセス(E16)を使用する、請求項7に記載の方法。
【請求項9】
デジタルホログラムのグループを符号化するための方法であって、前記グループの各デジタルホログラムは、請求項1~8の何れか一項に記載の符号化方法によって符号化され、前記異なる符号化方法中に実装される二次元構造を符号化する異なるステップは、前記グループの前記異なるデジタルホログラム内において既定のシーケンスで実行される、方法。
【請求項10】
デジタルホログラム(H
t)であって、前記デジタルホログラムの定義面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラム(H
t)を符号化するための装置であって、
連続ピクセルで構成される領域(R
i,j)にそれぞれ関連する行列ブロック(B
i,j)を、各行列ブロック(B
i,j)が、対象の前記行列ブロック(B
i,j)に関連する前記領域(R
i,j)内の前記ピクセルの前記値の関数として決定される要素を含むように形成するためのモジュール(10)と、
対象の前記行列ブロック(B
i,j)内の異なる二次元空間周波数にそれぞれ対応する係数の組(C
i,j)を行列ブロック(B
i,j)ごとに得るように、前記行列ブロック(B
i,j)のそれぞれに空間周波数変換を適用するためのモジュール(12)と、
複数の係数の組(C
i,j)からの、且つ対象の前記二次元構造(S
p,q)に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む複数の二次元構造(S
p,q)を構築するためのモジュール(14)と、
構築されている前記二次元構造(S
p,q)を符号化するためのモジュール(16)と、
を含む装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルホログラフィの技術分野に関する。
【0002】
具体的には、本発明は、デジタルホログラムを符号化するための方法、デジタルホログラムのグループを符号化するための方法及び関連する符号化装置に関する。
【背景技術】
【0003】
Y.-H.Seo,J.-J.Choi及びD.-W.KimによるSignal Processing:Image Communication,vol.22,n°2,pages 144-156,Feb.2007内の論文「3D scanning-based compression technique for digital hologram video」は、各ホログラムをセグメントに区分化するステップと、セグメントのそれぞれに空間周波数変換を適用するステップと、符号化のために異なるセグメントを走査するステップと、を含む、デジタルホログラムのグループを符号化するための方法を記載している。
【0004】
ホログラムによって表されるシーンと、ホログラムの定義面とを隔てる距離に比べてブロックのサイズが小さい場合、この手法は、正しい圧縮を得ることを可能にする。実際に、この場合にのみ、変換されるセグメントが隣接係数間の冗長性を有し、効率的な符号化を可能にする。
【発明の概要】
【課題を解決するための手段】
【0005】
これに関連して、本発明は、デジタルホログラムであって、デジタルホログラムの定義面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラムを符号化するための方法を提案し、
連続ピクセルで構成される領域にそれぞれ関連する行列ブロックを形成するステップであって、各行列ブロックは、対象の行列ブロックに関連する領域内のピクセルの値の関数として決定される要素を含む、ステップと、
対象の行列ブロック内の異なる二次元空間周波数にそれぞれ対応する係数の組を行列ブロックごとに得るために、行列ブロックのそれぞれに空間周波数変換を適用するステップと、
複数の二次元構造を構築するステップであって、複数の二次元構造は、複数の係数の組からの、且つ対象の二次元構造に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む、ステップと、
構築されている二次元構造を符号化するステップと、
を含む。
【0006】
異なる二次元構造内の係数を再編成することは、デジタルホログラム内で類似の意味を有するが、最初に異なる係数の組内に位置する係数を集めることを可能にする。従って、(これらの二次元構造に適用される)符号化は、改善された効率を有する。
【0007】
個別に又は技術的に可能な全ての組み合わせに従って行われる符号化方法の他の非限定的且つ有利な特徴は、以下の通りである。
二次元構造は、係数の組からの、且つ対象の二次元構造に関連する二次元空間周波数に対応する係数を各二次元構造内で一緒にグループ化することによって構築される。
二次元構造は、係数の組からの、且つ対象の二次元構造に関連する二次元空間周波数の二次元範囲に対応する係数を各二次元構造内で一緒にグループ化することによって構築される。
領域は、面の区分化によって得られ、行列ブロックの異なる要素は、それぞれこの行列ブロックに関連する領域のピクセルの値である。
構築されている二次元構造は、少なくとも部分的に画像符号化アルゴリズムによって符号化される。
この画像符号化アルゴリズムは、特定の二次元構造又は特定の二次元構造の係数の振幅若しくは位相で構成される行列を入力画像として受け取る(及び異なる二次元構造について連続的に)。
ホログラムのピクセルの値は、実数である。
ホログラムのピクセルの値は、複素数である。
二次元構造内の係数は、複素数であり、二次元構造を符号化するステップは、画像符号化アルゴリズムによって係数の振幅を符号化する第1のプロセス及び係数の位相を符号化する第2のプロセスを使用する。
【0008】
本発明は、デジタルホログラムのグループを符号化するための方法も提案し、この方法では、グループの各デジタルホログラムは、上記で提案されたような符号化方法によって符号化され、異なる符号化方法中に実装される二次元構造を符号化する異なるステップは、グループの異なるデジタルホログラム内において既定のシーケンスで実行される。
【0009】
本発明は、デジタルホログラムであって、デジタルホログラムの定義面内のピクセルにそれぞれ関連する値によって表されるデジタルホログラムを符号化するための装置を最後に提案し、符号化装置は、
連続ピクセルで構成される領域にそれぞれ関連する行列ブロックを、各行列ブロックが、対象の行列ブロックに関連する領域内のピクセルの値の関数として決定される要素を含むように形成するためのモジュールと、
対象の行列ブロック内の異なる二次元空間周波数にそれぞれ対応する係数の組を行列ブロックごとに得るために、行列ブロックのそれぞれに空間周波数変換を適用するためのモジュールと、
複数の係数の組からの、且つ対象の二次元構造に依存する基準を満たす二次元空間周波数に関連する係数をそれぞれ含む複数の二次元構造を構築するためのモジュールと、
構築されている二次元構造を符号化するためのモジュールと、
を含む。
【0010】
当然ながら、本発明の異なる特徴、代替形態及び実施形態は、互いに矛盾しないか又は排他的でない限り、様々な組み合わせに従って互いに関連し得る。
【0011】
更に、本発明の非限定的な実施形態を示す図面に関して行われる追加の説明から本発明の他の様々な特徴が明らかになる。
【図面の簡単な説明】
【0012】
【
図1】本発明による符号化装置の一例の主な要素を概略的に示す。
【
図2】デジタルホログラム内の行列ブロックの形成に関する可能な例を示す。
【
図3】係数の組から二次元構造を構築することを示す。
【
図4】本発明による例示的な符号化方法のステップを示すフローチャートである。
【
図5】本発明による符号化装置を形成する役割を果たす電子装置の一例の主な要素を示す。
【発明を実施するための形態】
【0013】
図1は、本発明による符号化装置の一例の主な要素を示す。
【0014】
この符号化装置は、以下に記載する異なるモジュール10、12、14、16、18を含む。この符号化装置は、例えば、
図5に関して以下で説明するプロセッサアーキテクチャによって実装される。かかるアーキテクチャでは、例えば符号化装置のメモリ(
図5に示す電子装置2のメモリ6等)内に記憶され、このプロセッサによって実行されると、対象のモジュールの機能を実装するように設計されるコンピュータプログラム命令及びプロセッサの協働により、異なるモジュール10、12、14、16、18がそれぞれ作られ得る。
【0015】
以下では、T個のデジタルホログラムHtのシーケンス(「ホログラフィックビデオのフレーム」とも呼ばれる)で構成されるホログラフィックビデオの(符号化装置による)符号化を説明する。しかし、本発明は、単一のデジタルホログラムH1(T=1の場合)の符号化にも適用される。
【0016】
デジタルホログラムHtは、デジタルホログラムHtのこの定義面の領域(概して矩形)内の2つの次元にわたって分布する、それぞれ位置(x,y)のピクセルに個々に関連する値Ht(x,y)によって1つの面において定義される。
【0017】
所与のデジタルホログラムHtについて、ピクセル(x,y)に関連する値Ht(x,y)は、デジタルホログラムHtの定義面の片側又は場合により両側に位置する三次元シーンからこのピクセル(x,y)において受光される光波を概して表す。
【0018】
本明細書に記載する例では、値Ht(x,y)は、複素数であり、従って実数部及び虚数部又は振幅(ノルム若しくはモジュールと呼ぶこともある)及び位相によって(均等に)表される。
【0019】
代替形態として、値Ht(x,y)は、実数であり得る。
【0020】
シーケンスのデジタルホログラムH
tを表す値H
t(x,y)は、例えば、符号化装置のメモリ(
図5に関して一例として以下に示す電子装置2のメモリ6等)内に記憶される。
【0021】
符号化装置は、所与のデジタルホログラムHtを表す値Ht(x,y)から行列ブロックBi,jを形成するためのモジュール10を含む。
【0022】
このモジュール10は、各行列ブロックBi,jが、対象のブロックBi,jに関連する領域Ri,jのピクセル(x,y)の値Ht(x,y)の関数として決定される要素Bi,j(a,b)を含むように、連続ピクセルで構成される領域Ri,jにそれぞれ関連する行列ブロックBi,jを形成するように設計される。
【0023】
本明細書に記載する例では、各行列ブロックBi,jは、ピクセルの値Ht(x,y)の関数として決定される行ごとのMHの要素及び列ごとのMVの要素を含む(行列ブロックBi,jの行は、ここで、デジタルホログラムHtの定義面内のピクセルのx座標方向に対応し、行列ブロックBi,jの列は、ここで、それらのピクセルのy座標方向に対応する)。
【0024】
実際には、MHの数は、50~500であり得(MHは、例えば、64又は128に等しい)、同様に、MVの数は、50~500であり得る(MVは、例えば、64又は128に等しい)。
【0025】
更に、
図2からも見て取れるように、モジュール10は、ここで、行ごとのK
H行列ブロック及び列ごとのK
V行列ブロックで構成される(即ちK
V行及びK
H列で構成される)K
H.K
V行列ブロックの行列を形成するように設計される。(行列ブロックのこの行列では、行列ブロックB
i,jは、行j+1及び列i+1に位置する)。
【0026】
本明細書に記載する符号化技法は、大量の(典型的には10,000×10,000を上回る)ピクセルによって定義されるデジタルホログラムを処理することに関して特に関心を引く。実際には、KHの数(行ごとの行列ブロックBi,jの数)及びKVの数(列ごとの行列ブロックBi,jの数)のそれぞれは、例えば、500を上回る(又は更に1000を上回る)。
【0027】
モジュール10は、例えば、行列ブロックBi,jの各要素Bi,j(a,b)を以下のように決定する。
Bi,j(a,b)=Ht(a+i.DH,b+j.DV).w(a,b)
ここで、DH及びDVは、それぞれMH及びMV以下の2つの厳密に正の整数であり、wは、サイズMH×MVの実数の行列である。
【0028】
あり得る特定の事例では、
図2に示すように、D
H=M
H、D
V=M
Vの値が取られ、行列wの全ての要素w(a,b)が1に等しく取られ、即ち、モジュール10は、行列ブロックB
i,jの異なる要素B
i,j(a,b)が、それぞれこの行列ブロックB
i,jに関連する領域R
i,jのピクセル(x,y)の値H
t(x,y)であるように、ピクセルが定義された領域を区分化することによって行列ブロックB
i,jを形成する:
B
i,j(a,b)=H
t(a+i.M
H,b+j.M
V)。
【0029】
参照符号P及びP’によって
図2に示すように、例えばデジタルホログラムH
tの寸法が(それぞれ)M
H及びM
V倍数ではないため、一定のブロック要素B
i,jが、デジタルホログラムH
tを定義するピクセルのうちの対応するものを有さない場合、ブロックB
i,jをゼロで完成させること(一般に「パディング」と呼ばれる操作)が可能である。
【0030】
換言すれば、座標(a+i.MH,b+j.MV)がデジタルホログラムHtのピクセルに対応しない場合、モジュール10は、Bi,j(a,b)=0に設定することができる。
【0031】
可能な実施形態によれば、モジュール10は、各行列ブロックBi,j内の要素の数、従って以下に記載する組Ci,jのそれぞれの中の係数の数を増やすために、ピクセル(x,y)の値Ht(x,y)に基づいて決定される要素Bi,j(a,b)に加えて、ゼロ値の要素Bi,j(a’,b’)を形成することができる。この可能な実施形態によれば、MH<M’H、MV<M’V並びにMH+1からM’Hに変化するa’及びMV+1からM’Vに変化するb’について、Bi,j(a’,b’)=0が成立する。
【0032】
モジュール10の出口において、各行列ブロックBi,jは、M’V行及びM’H列を含む(例えば、M’Vは、50~1000であり、及び/又はM’Hは、50~1000である)。(要素の数を増やすために、直前に述べたゼロ値の要素を追加する可能性が使用されない場合、以下の式が成立する:MH=M’H及びMV=M’V。)
【0033】
符号化装置は、空間周波数変換を適用するためのモジュール12も含む。
【0034】
このモジュール12は、対象の行列ブロックBi,j内の異なる二次元空間周波数(k,l)にそれぞれ対応する係数Ci,j(k,l)の組Ci,jを行列ブロックBi,jごとに得るように、行列ブロックBi,jのそれぞれにこの空間周波数変換を適用するように設計される。
【0035】
二次元空間周波数により、幾つかの空間周波数が空間の2つの方向(ここでは、デジタルホログラムHtの定義面のx軸及びy軸にそれぞれ沿う2つの方向)にそれぞれ関連することが理解されるであろう。
【0036】
使用される空間周波数変換は、例えば、二次元フーリエ変換である。
【0037】
この場合、モジュール12は、組C
i,jの係数C
i,j(k,l)を以下のように決定する。
【数1】
ここで、γは、既定の定数である。
【0038】
行列ブロックBi,jのものに基づく行列編成を使用して、係数の各組Ci,jは、M’V行及びM’H列を含む。
【0039】
符号化装置は、複数の二次元構造Sp,qを構築するためのモジュール14を更に含む。
【0040】
構築モジュール14は、構築される各二次元構造Sp,qが、複数の係数の組Ci,jからの、且つ対象の二次元構造Sk,lに依存する基準を満たす二次元空間周波数k,lに関連する係数Ci,j(k,l)を含むように設計される。
【0041】
可能な実施形態によれば、所与の二次元構造Sp,qについて、構築モジュール14は、値(p,q)の、係数の全ての組Ci,jからの、且つ特定の二次元空間周波数に関連する係数Ci,j(k,l)をこの所与の二次元構造Sp,q内で一緒にグループ化する。
【0042】
図3に概略的に示すように、係数の組C
i,jの導出元であるブロックB
i,jのものを(上述のブロック行列B
i,j内で)再現する編成をこの所与の二次元構造S
p,q内でたどることにより、この所与の二次元構造S
p,qの係数S
p,q(n,m)(二次元構造S
p,q内の係数が位置する行n及び列m)は、以下のように定められる:
S
p,q(n,m)=C
n,m(p,q)。
【0043】
この可能な実施形態によれば、このように構築される二次元構造Sp,qの数は、係数の組Ci,jごとの係数Ci,j(k,l)の数に等しい(この係数の組Ci,jごとの係数Ci,j(k,l)の数は、ここで、M’V.M’Hに等しい)。
【0044】
更に、引き続きこの可能な実施形態の枠組み内において、各二次元構造S
p,qは、(上述のブロック行列B
i,j内の及び
図2から明らかな)ブロックB
i,jの数に等しい係数の数、即ちここではK
H.K
Vに等しい数を含む。正確には、各二次元構造S
p,qは、ブロック行列B
i,j内の行の数(K
V)に等しい行の数及びブロック行列B
i,j内の列の数(K
H)に等しい列の数を含む。
【0045】
以下で説明するように、二次元構造Sp,qを構築するための他の可能な実施形態が考えられる。
【0046】
符号化装置は、二次元構造Sp,qを符号化するためのモジュール16も含む。
【0047】
この符号化モジュール16は、データの少なくとも1つのシーケンスDA、DΦを得るために、二次元構造Sp,qを既定の順序で順序付け、且つ順序付けた二次元構造の係数Sp,q(n,m)を符号化するように設計される。
【0048】
符号化モジュール16は、例えば、離散コサイン変換によって得られるセグメントの順序付けに関して既に述べた論文「3D scanning-based compression technique for digital hologram video」内で考察される方法の1つにより、二次元構造Sp,qを順序付ける。
【0049】
二次元構造Sp,q内に含まれる係数Sp,q(n,m)が複素数である本明細書に記載の例では、符号化モジュール16は、係数Sp,q(n,m)の振幅と、係数Sp,q(n,m)の位相とを別々に符号化する。
【0050】
符号化モジュール16は、例えば、MPEG-4 AVC規格又はMPEG-4 HEVC若しくはMV-HEVC規格内に記載されているような画像符号化プロセスにより、係数Sp,q(n,m)の振幅をデータのシーケンスDAに符号化する。
【0051】
符号化モジュール16は、例えば、H.Gu et G.JinによるOpt.Express,vol.26,n°26,pp.33592-33603,December 2018内の論文「Phase-difference-based compression of phase-only holograms for holographic three-dimensional display」内に記載されているような別の符号化プロセスにより、係数Sp,q(n,m)の位相をデータのシーケンスDΦに符号化することができる。
【0052】
二次元構造Sp,q内に含まれる係数Sp,q(n,m)が実数である実施形態では、これらの係数は、(上記で述べたような)画像符号化プロセスによって直接符号化され得る。
【0053】
最後に、この符号化装置は、符号化モジュール16によって生成される符号化済みデータに基づいて伝送されるデータのフロー(又はバイナリフロー)DTを生成するためのモジュール18を含む。一実施形態では、(上記で説明したように、ここではデジタルホログラムのグループごとの)伝送されるデータのフローDTは、データのシーケンスDA及びデータのシーケンスDΦの逐次的な組み合わせによって生成される。換言すれば、フローDTを形成するために、データのシーケンスDA及びDΦは、相次いで且つN個のデジタルホログラムHtのグループごとに連続的に送信される。
【0054】
ここで、
図1の符号化装置によって実装され得る符号化方法の一例を
図4に関して説明する。
【0055】
この符号化方法は、N個のデジタルホログラムのグループに編成されるT個のデジタルホログラムHtのシーケンスに適用される。従って、デジタルホログラムの各グループは、T個のデジタルホログラムのシーケンス内で互いに続くN個のデジタルホログラムHtを含む。
【0056】
既に示したように、デジタルホログラムH
tは、例えば、
図1の符号化装置のメモリ内に記憶される。以下に記載する処理ステップは、各処理ステップ後に得られるデータ(及び中間結果)を記憶するためにこのメモリを使用することもできる。
【0057】
T個のデジタルホログラムHtのシーケンス(又はフレーム)は、ホログラフィックビデオを形成する。
【0058】
図4の方法は、変数t及び変数gを1の値に初期設定するステップE2から始まる。以下の説明から明らかであるように、変数tは、現在のデジタルホログラムH
t(即ち記載するステップ中に実行される処理操作が適用されるデジタルホログラム)を示し、変数gは、現在のホログラムのグループを示す。
【0059】
図4の方法は、ステップE4に続き、このステップ中、符号化装置(とりわけここではモジュール10)は、現在のホログラムH
tの連続ピクセルで形成される領域R
i,jにそれぞれ関連する行列ブロックB
i,jを形成し、そのように形成される各行列ブロックB
i,jは、対象のブロックB
i,jに関連する領域R
i,jのピクセルの値の関数として決定される要素B
i,j(a,b)を含む。
【0060】
図2に示すように、ここで、各領域R
i,jは、水平方向(ピクセルのx座標方向)のM
Hのピクセル及び垂直方向(ピクセルのy座標方向)のM
Vのピクセルを含む。
【0061】
上記で示したように、ピクセル値の関数として決定されるこれらの要素Bi,j(a,b)は、例えば、以下のように(ここではモジュール10によって)得られる:
Bi,j(a,b)=Ht(a+i.DH,b+j.DV).w(a,b)。
【0062】
可能な実施形態によれば、既に示したように行列ブロックBi,jは、現在のホログラムHtを区分化することによって得られる:
Bi,j(a,b)=Ht(a+i.DH,b+j.DV)、ここで、DH=MH及びDV=MVが成立する。
【0063】
上記で示したように、モジュール10は、とりわけ各組Ci,j内の係数Ci,j(k,l)の数を増やすために、行列ブロックBi,j内にゼロ値の要素Bi,j(a’,b’)を潜在的に追加することができる。
【0064】
本明細書に記載する例では、
図2から見て取れるように、ステップE4は、行列ブロックB
i,jのK
V行及び行列ブロックB
i,jのK
H列の行列として編成されるK
H.K
V行列ブロックB
i,jを形成することを可能にし、各行列ブロックB
i,jは、それ自体、M’
V行及びM’
H列を含む。上記で説明したように、例えば以下の値、即ち500を上回る(更に1000を上回る)K
H、及び/又は500を上回る(更に1000を上回る)K
V、及び/又は50~1000のM’
V、及び/又は50~1000のM’
Hが実際に使用される。
【0065】
次いで、
図4の方法は、対象の行列ブロックB
i,j内の異なる二次元空間周波数(k,l)にそれぞれ対応する係数C
i,j(k,l)の組C
i,jを行列ブロックB
i,jごとに得るように、(別々に取られる)行列ブロックB
i,jのそれぞれに空間周波数変換を適用するステップE6を含む。ここで、このステップは、上述のモジュール12によって実装される。
【0066】
既に示したように、行列ブロックBi,jごとに、ここで、ステップE6は、対象の行列ブロックBi,jの要素の組に対してこの空間周波数変換(例えば、二次元フーリエ変換)を適用することを含む。
【0067】
従って、ここで、ステップE6は、(M’Hの水平周波数k及びM’Vの垂直周波数lを走査することによって得られる)M’V.M’Hの二次元空間周波数にそれぞれ対応するM’V.M’Hの係数Ci,j(k,l)をそれぞれ含む、KH.KVの組Ci,jをもたらすことを可能にする。
【0068】
次いで、
図4の方法は、係数の複数の組C
i,jからの、且つ対象の二次元構造S
p,qに依存する基準を満たす二次元空間周波数(k,l)に関連する係数C
i,j(k,l)をそれぞれ含む複数の二次元構造S
p,qを構築するステップE8を含む。ここで、このステップE8は、構築モジュール14によって実装される。
【0069】
第1の可能な実施形態によれば、二次元構造Sp,qは、係数の組Ci,jからの、且つ対象の二次元構造Sp,qに関連する特定の二次元空間周波数(k,l)に対応する係数Ci,j(k,l)を各二次元構造Sp,q内で一緒にグループ化することによってステップE8で構築される。
【0070】
従って、この事例では、所与の二次元構造Sp,qは、同じ二次元空間周波数(k,l)を表す係数Ci,j(k,l)を一緒にグループ化する。
【0071】
上記で説明した事例では、こうして、ステップE8は、KH.KV係数をそれぞれ含むM’H.M’Vの二次元構造Sp,qを構築することを可能にする。
【0072】
図3に示すように、対象の二次元構造S
p,qの係数C
i,j(k,l)を与える組C
i,jの導出元であるブロックB
i,jの行列構造を各二次元構造S
p,q内で使用すること、即ち
S
p,q(n,m)=C
n,m(p,q)
によって各ブロックS
p,qの係数S
p,q(n,m)を定めることを本明細書で更に提案する。
【0073】
そのように形成される各二次元構造Sp,qは、三次元シーンの平行投影によって得られることになる二次元画像に近い特性を(係数の振幅に関して)有する。従って、二次元構造Sp,qは、二次元構造内の隣接係数間で浅い被写界深度及び強い空間的冗長性を有し、それは、以下に記載するステップE14において二次元構造の効率的な符号化を可能にする。
【0074】
第2の可能な実施形態によれば、二次元構造Sp,qは、係数Ci,j(k,l)の異なる組Ci,jからの、且つ対象の二次元構造Sp,qに関連する二次元空間周波数(k,l)の二次元範囲に対応する係数Ci,j(k,l)を各二次元構造Sp,q内で一緒にグループ化することによってステップE8で構築される。
【0075】
従って、この事例では、二次元空間周波数の異なる二次元範囲が定められる(各二次元範囲は係数の各組Ci,j内で表される二次元空間周波数の、以下でα.βとして示す一定数の異なる値を対象として含み、α及びβは、αがM’Hを割り、βがM’Vを割るような2つの整数である)。次いで、所与の二次元構造Sp,qは、全ての組Ci,jからの、且つそれらの二次元範囲のうちの特定の二次元範囲内に含まれる二次元空間周波数(k,l)を表すCi,j(k,l)を一緒にグループ化する。この事例では、二次元構造Sp,qの係数Sp,q(n,m)は、例えば、
Sp,q(n,m)=CE(n/α),E(m/β)(p.α+n[α],q.β+m[β])
によって与えることができ、ここで、E(z)は、zの整数部を示し、n[α]は、n割るαのユークリッド除算の余りであり、m[β]は、m割るβのユークリッド除算の余りである。
【0076】
上記で説明した事例では、ステップE8は、α.β.KH.KV係数をそれぞれ含むM’H.M’V/(α.β)の二次元構造Sp,qの構築を可能にする。この実施形態の利点は、この実施形態がより少ない重要な数の二次元構造Sp,qの生成を可能にすることであり、その係数の振幅は、三次元シーンの平行投影によって得られることになるものに近い特性を常に有する。α及びβの数を増やすことにより、同じ二次元構造内の隣接係数間の空間的冗長性が少なくなる代償を払って、二次元構造Sp,qの数を更に減らすことができる。
【0077】
図4の方法は、ステップE10に続き、ステップE10中、符号化装置(ここではそのプロセッサ)は、t<T及びt<g.Nであるかどうかを判定する。
【0078】
デジタルホログラムのシーケンスの最後のデジタルホログラムHTが処理されていない限り、不等式t<Tは、有効である。
【0079】
処理された最後のデジタルホログラムHtがデジタルホログラムの現在のグループの最後のデジタルホログラムでない限り、不等式t<g.Nは、有効である(上記で述べたように、インデックスgは、現在のグループを示す)。
【0080】
ステップE10における肯定の判定(即ち後者の処理されるデジタルホログラムHtがシーケンスの最後でもグループの最後でもない)の場合、この方法は、現在のデジタルホログラムHtを示す変数tをインクリメントすることによるステップE11、次いで新たな現在のデジタルホログラムHtを処理するための上記のステップE4に続く。
【0081】
ステップE10における否定の判定(即ち後者の処理されるデジタルホログラムHtがシーケンスの最後又はグループの最後である)の場合、符号化装置(とりわけここでは符号化モジュール16)は、現在のグループの異なるデジタルホログラムについて(ステップE8における連続した流れ中に)得られた異なる二次元構造Sp,qを既定の順序(又は既定のシーケンス)で順序付ける(ステップE12)。
【0082】
既に示したように、選択される既定の順序は、例えば、離散コサイン変換によって得られるセグメントの順序付けに関して既に述べた論文「3D scanning-based compression technique for digital hologram video」内で提案されている順序に基づく。
【0083】
ステップE12の実装後、二次元構造Sp,qの順序付けされたシーケンスが得られる(この順序付けされたシーケンスの二次元構造Sp,qは、現在のグループの異なるデジタルホログラムHtを処理することから生じ、従って、二次元構造Sp,qの順序付けされたシーケンスは、少なくともグループの第1のデジタルホログラムを処理することによって得られる第1の二次元構造及びグループの第2のデジタルホログラムを処理することによって得られる第2の二次元構造を含む)。
【0084】
次いで、
図4の方法は、ここで、一方で二次元構造S
p,q内に存在する係数の振幅を符号化すること(ステップE14)及び他方でこれらの係数の位相を符号化すること(ステップE16)により、そのように順序付けされた二次元構造S
p,qを符号化することによって続く。
【0085】
各二次元構造Sp,qは、画像のものと同一の行列形状を有し、従って、各二次元構造Sp,qは、対象の二次元構造をアルゴリズムの入力画像として取る画像処理アルゴリズムによって(振幅の点で及び/又は位相の点で)符号化することができる。
【0086】
この画像処理アルゴリズムは、特定の二次元構造(又は実際にはこの二次元構造の係数のそれぞれの振幅で形成される行列及び/又はこの二次元構造の係数のそれぞれの位相で形成される行列)をアルゴリズムの入力画像として連続的に取ることにより、(ステップE12において得られる)異なる順序付けされた二次元構造に連続的に適用することができる。
【0087】
従って、ステップE14では、符号化モジュール16は、特定の二次元構造Sp,qの係数Sp,q(n,m)の振幅の異なる値でそれぞれ形成される異なる行列に画像符号化アルゴリズムを連続的に適用する(これらの行列は、ステップE12において二次元構造Sp,qに与えられた順序で取られる)。画像符号化アルゴリズムは、例えば、MPEG-4 AVC規格又はMPEG-4 HEVC若しくはMV-HEVC規格内に記載されているような画像符号化プロセスである。
【0088】
従って、ステップE14は、ホログラムの現在のグループを符号化することに関与するデータのシーケンスDAを得ることを可能にする。
【0089】
同等に、ステップE16では、符号化モジュール16は、特定の二次元構造Sp,qの係数Sp,q(n,m)の位相値でそれぞれ形成される異なる行列に符号化アルゴリズムを連続的に適用する(これらの行列は、ステップE12において二次元構造Sp,qに与えられた順序で取られる)。使用される符号化アルゴリズムは、例えば、H.Gu et G.JinによるOpt.Express,vol.26,n°26,pp.33592-33603,December 2018内の論文「Phase-difference-based compression of phase-only holograms for holographic three-dimensional display」内に記載されているものであり、従って、使用される符号化アルゴリズムは、ここで、ステップE14において使用される画像符号化アルゴリズムと異なる。
【0090】
従って、ステップE16は、ホログラムの現在のグループを符号化することに関与するデータのシーケンスDΦを得ることを可能にする。
【0091】
図4の方法は、符号化装置(実際にはそのプロセッサ)がt<Tであるかどうかを判定する(即ちステップE4からE8内の最後の流れにおいて処理されたデジタルホログラムH
tがシーケンスの最後のデジタルホログラムH
Tではないことを確認する)ステップE18に続く。
【0092】
肯定の場合(即ち処理された最後のデジタルホログラムHtがシーケンスの最後のデジタルホログラムHTではなかったと判定される場合)、この方法は、現在のデジタルホログラムHtを示す変数t及びデジタルホログラムの現在のグループを示す変数gをインクリメントするためのステップE20に続く(グループの最後のデジタルホログラムは、ステップE10内の過去の流れの結果から既に処理されている)。
【0093】
次いで、この方法は、デジタルホログラムの新たなグループを再び処理するためにステップE4にループする。
【0094】
ステップE18における否定の場合(即ちシーケンスの最後のデジタルホログラムHTが処理されている場合)、この方法は、処理されたデジタルホログラムの異なるグループに関するステップE14及びE16における過去の流れ中にそれぞれ生成されるデータのシーケンスDA、DΦに基づいて、データのフローDTをモジュール18が生成するステップE22に続く。
【0095】
例えば、データのフローDTは、デジタルホログラムのグループにそれぞれ関係する一連の幾つかのデータのフローDGOHを含み、それぞれのデータのフローDGOHは、デジタルホログラムのこのグループに関して上記で説明したように決定されるデータのシーケンスDA及びデータのシーケンスDΦを連続的に含む。
【0096】
図5は、本発明による符号化装置を形成する役割を果たす電子装置2の一例を示す。
【0097】
この電子装置2は、プロセッサ4(例えば、マイクロプロセッサ)、少なくとも1つのメモリ6及び電気通信回路8を含む。
【0098】
メモリ6は、プロセッサ4によって実行されると、少なくとも
図4の方法のステップのうちの一定のものを実装するように設計されるコンピュータプログラム命令を記憶することができる。
【0099】
既に示したように、メモリ6(又は潜在的に別のメモリ)は、上記で説明したように処理されるデジタルホログラムHtをそれぞれ定義するためのピクセル(x,y)にそれぞれ関連する値Ht(x,y)を更に記憶することができる。メモリ6(又は潜在的に別のメモリ)は、以下に記載する処理操作中に扱われる異なる値、具体的には行列ブロックBi,jの要素Bi,j(a,b)、係数の組Ci,jの係数Ci,j(k,l)、二次元構造Sp,qの係数Sp,q(n,m)及びデータDA、DΦ、DTを記憶することができる。
【0100】
最後に、電気通信回路8は、ステップE22で得られるデータのフローDTを(例えば、プロセッサ4からのコマンド時に)典型的には別の電子装置(不図示)に伝送するように設計される。
【国際調査報告】