特許 7272953 キー情報を画像に埋め込む方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-01

(45)【発行日】2023-05-12

(54)【発明の名称】キー情報を画像に埋め込む方法及び装置

(51)【国際特許分類】

   H04N 19/467 20140101AFI20230502BHJP

   H04N 19/65 20140101ALI20230502BHJP

【ＦＩ】

H04N19/467

H04N19/65

【請求項の数】 10

(21)【出願番号】P 2019531433

(86)(22)【出願日】2017-12-11

(65)【公表番号】

(43)【公表日】2020-01-30

(86)【国際出願番号】 EP2017082166

(87)【国際公開番号】W WO2018114417

(87)【国際公開日】2018-06-28

【審査請求日】2020-12-09

(31)【優先権主張番号】16306764.8

(32)【優先日】2016-12-21

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】フリュールー，ジュリアン

(72)【発明者】

【氏名】ドレ，ルノー

(72)【発明者】

【氏名】タピ，ティエリー

【審査官】清山 昂平

(56)【参考文献】

【文献】特開２００８－００５０８４（ＪＰ，Ａ）

【文献】特開２０１４－１６５６７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１３６３３８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

点群のパラメトリック曲面上に投影した後に得られる距離マップに対応する画像の画素内に値を埋め込む方法であって、前記画像内の値を記憶するのに使用される２^N個の値の所定の第２の範囲内に、値の第１の範囲を予約することを含み、前記第１の範囲は、前記画素が非有用画素であることを示すキー値を記憶するのに使用され、前記値の第１の範囲を除かれた前記値の第２の範囲が、前記画像の前記画素の有用値を記憶するのに使用され、前記第１の範囲の値の数が１よりも大きく２^Nよりも少ない、方法。

【請求項2】

前記画像を符号化することを含み、前記第１の範囲が、前記符号化に適用される動画圧縮のレベルに従って更新される、請求項１に記載の方法。

【請求項3】

前記第１の範囲が、前記画像の少なくとも１つの特性に従って更新される、請求項１に記載の方法。

【請求項4】

前記画像内の少なくとも１つの画素について、
非有用値が前記画素に関連付けられている場合、前記画素内にキー値を記憶することであって、前記キー値が前記第１の範囲に属していることと、
有用値が前記画素に関連付けられている場合、
修正済み量子化を前記有用値に適用して、修正済み有用値を提供することであって、前記修正済み量子化が、前記第１の範囲の値の前記数によって決定されることと、
前記修正済み値を前記画素内に記憶することと、
を含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記キー値が、値Ｖ_k＝０に設定され、
前記修正済み有用値が、Ｖ_u＝Ｕ_DMZ（ｚ）＝ｆｌｏｏｒ（（２^N－ＤＭＺ）Ｚ（ｚ）＋ＤＭＺ）に対応し、ここでｚが距離値であり、

【数1】

であり、ここでＤＭＺが前記第１の範囲の値の数であり、ｚ_min及びｚ_maxがクリッピング範囲を規定しており、Ｚ（ｚ_min）＝１及びＺ（ｚ_max）＝０である、請求項４に記載の方法。

【請求項6】

点群のパラメトリック曲面上に投影した後に得られる距離マップに対応する画像を復号する方法であって、前記画像内の少なくとも１つの画素について読み取られた値Ｗについて、
前記画素が非有用画素であることを示すキー値を記憶するために提供される予約済み範囲にＷが属する時に、前記読取り値Ｗを破棄することと、
前記予約済み範囲にＷが属さない時に、前記読取り値Ｗに逆修正済み量子化を適用することによって、前記読取り値Ｗに対応する有用値を回復することであって、前記逆修正済み量子化が、前記予約済み範囲を考慮することと、
を含む、方法。

【請求項7】

画像内に値を埋め込むように構成された装置であって、２^N個の値の第２の範囲内に、値の第１の範囲を予約するように構成された少なくとも１つのプロセッサに関連するメモリを備え、前記値の第１の範囲を除かれた前記値の第２の範囲が、前記画像内に有用値を記憶するのに使用され、前記第１の範囲が、前記画像内の少なくとも１つの画素に関連付けられたキー値を記憶するのに使用され、前記第１の範囲の値の数が１よりも大きく２^Nよりも少ない、装置。

【請求項8】

マルチメディアコンテンツの対象物の少なくとも一部分の表示に対応する画像を復号するように構成された装置であって、前記画像内の少なくとも１つの画素について読み取られた値Ｗについて、
前記少なくとも１つの画素が非有用画素であることを示すキー値を記憶するために提供される予約済み範囲にＷが属している時に、前記読み取られた値Ｗを破棄し、
前記予約済み範囲にＷが属していない時に、前記読み取られた値Ｗに逆の修正済み量子化を適用することによって、前記読み取られた値Ｗに対応する有用値を回復し、前記逆の修正済み量子化が前記予約済み範囲を考慮する、
ように構成された、少なくとも１つのプロセッサに関連するメモリを備える、装置。

【請求項9】

コンピュータ又はプロセッサ上で実行されるときに請求項１乃至６のうち何れか１項に記載の方法を実行するためのプログラムコード命令を含む、コンピュータプログラム。

【請求項10】

請求項９に記載のコンピュータプログラムを記憶する、非一時的なコンピュータ読取り可能な搬送媒体。

【発明の詳細な説明】

【技術分野】

【0001】

１．技術分野
本開示の分野は、画像及び動画の処理の分野である。

【0002】

より詳細には、本開示は、画像にキー情報を埋め込んで、この画像の復号を最適化する方法に関する。

【背景技術】

【0003】

２．背景技術
このセクションは、技術の様々な態様を読者に紹介するものであり、これらの態様は、以下で説明され、及び／又は特許請求の範囲に記載されている本開示の様々な態様に関連していてもよい。本発明の様々な態様の理解がより進むようにするための背景情報を読者に提示する際に、この考察が有益であると考えられる。したがって、こうした説明は、この観点から読むべきであり、従来技術を認めるものとして読むべきではないことを理解されたい。

【0004】

画像の符号化及び復号の分野では、復号側は、画像の復号を最適化するように何らかの情報を知る／認識する必要がある。たとえば、画像内のある特定の領域（たとえば、図１ａに示すようなカラーマップ又は距離マップ）が未定義の値を含むとき、たとえば外れ値を生成する危険を冒してこれを復号すべきではないのは事実である。

【0005】

復号器に「通知する」ための既知の解決策は、この場合、ある値を復号すべきかどうかの情報を、追加の２進マップ、すなわち（たとえば図１ｂに示されており、図１ａのカラーマップ及び距離マップに対応する）「輪郭図」として送信することに存在するはずであり、これは、たとえば定義済みの値のみを含むはずであり、したがって復号側のタスクを明確にするはずである。しかし、このような追加のマップを送信することは、余分なストリームを追加することによって、グローバルフレームワークがさらに複雑になる場合があり、これによってまた、最終的なビットレートがかなり著しく高くなる可能性がある。

【0006】

ある値を画像内に予約して、復号側で必要とされるキー情報を埋め込むこともよく知られている。しかし、こうした解決策を用いる場合の欠点は、この特定の予約値が、動画符号化ステップによって修正されることもあり、関連する情報が復号側で誤解される場合もあることである。

【0007】

したがって、符号化及び復号の複雑さ、並びに画像伝送での最終ビットレートを最適化しながら、画像にキー情報を埋め込む新規の方法が必要である。

【発明の概要】

【0008】

３．発明の概要
明細書での「一実施形態」、「実施形態」、「例示的な実施形態」、「特定の実施形態」への言及は、説明される実施形態が、特定の特徴、構造、又は特性を含んでもよいが、あらゆる実施形態が、特定の特徴、構造、又は特性を必ずしも含まなくてもよいことを示している。さらに、こうした語句は、必ずしも同じ実施形態を指しているわけではない。さらに、ある実施形態に関連して、特定の特徴、構造、又は特性を説明するとき、明示的に述べられていてもいなくても、他の実施形態に関連して、こうした特徴、構造、又は特性に影響を及ぼすことは、当業者の知識の範囲内であると思われる。

【0009】

本開示は、画像内にキー情報を埋め込む方法に関し、この方法は、画像内に有用データを記憶するのに使用される２^N個の値の所定の範囲において、ＤＭＺ値の範囲を予約することを含み、この予約済み範囲を使用して、画像内の少なくとも１つの座標に関連するキー情報を記憶し、ここでＮ＞０及びＤＭＺ＜＜２^Nである。

【0010】

したがって、本開示は、頑強で簡潔なやり方で画像にキー情報を埋め込んで、前記画像の復号を最適化するための新規で発明性のある解決策を提案する。

【0011】

このために、画像内に有用データを記憶するのに使用される値の所定の範囲に予約された値のある範囲に、キー情報を記憶することが提案される。したがって、有用データに使用される値の所定の範囲を短くして、キー情報を記憶する。

【0012】

この解決策はまず、既知の解決策と同様に、キー情報を埋め込むための追加の画像を送信することを防止する。さらに、この解決策は、符号化ステップによって修正してもよく、したがって復号側で誤解される場合があるキー情報について、所定の値を単に予約することも防止する。

【0013】

たとえば、この解決策は、記憶すべき有用データに関して、値の広めの所定の範囲を利用してもよい。

【0014】

特定の特性によれば、この方法は、画像を符号化することをさらに含み、予約済み範囲のサイズＤＭＺが、符号化において適用される動画圧縮のレベルに従って更新される。

【0015】

したがって、この実施形態によれば、予約済み範囲のサイズは、画像を符号化するのに使用されることになる動画圧縮のレベルに従って更新することができる。したがって、こうした適応サイズにより、符号化アーティファクト（符号化エラー）を考慮に入れ、有用データを記憶するのに許容される動的特性についてのキー情報の埋込みの影響を最小限に抑えることが可能になる。

【0016】

特定の特徴によれば、予約済み範囲のサイズＤＭＺは、画像の少なくとも１つの特性に従って更新される。

【0017】

したがって、この実施形態によれば、予約済み範囲のサイズは、画像自体に従って、たとえば有用データを記憶するのに必要とされる実際の動的特性（たとえば、近距離及び遠距離の対象物、又は、近距離の対象物のみ、若しくは遠距離の対象物のみを含む画像）に従って更新することもできる。

【0018】

特定の特性によれば、この方法はさらに、画像内の少なくとも１つの座標について、
－有用データが、この座標に関連付けられていない場合は、予約済み領域にキー情報を記憶することと、
－有用データが、この座標に関連付けられている場合には、
－修正済み量子化をこの有用データに適用して、修正済みの有用データを提供することであって、この修正済み量子化が予約済み範囲を考慮に入れることと、
－予約済み範囲を除く値の所定の範囲に、修正済みの有用データを記憶することと
を含む。

【0019】

したがって、この実施形態によれば、（たとえば、対応する点群での未使用の点について）有用データが、画像内の位置／座標に関連付けられていない場合、キー情報は予約済み範囲に記憶され、（修正済み量子化を用いて）修正済みの有用データは、所定の範囲（予約済み範囲を除く）の残りに記憶される。

【0020】

したがって、復号側では、受信された値が、予約済み範囲に属する場合、対応する点は、破棄されて未使用とみなされる。

【0021】

たとえば、画像は、マルチメディアコンテンツ内の対象物の少なくとも一部分を表す点群の、パラメトリック曲面上に投影した後に得られる距離マップに対応し、有用データは、点群内の少なくとも１つの点について、画像内の１つの座標に対応する、対象物の少なくとも一部分とパラメトリック曲面との間の距離を表す情報に対応し、キー情報は未使用の点を表し、予約済み範囲は２^N個の値の所定の範囲の第１のＤＭＺ値に対応し、サイズＤＭＺは適応性を有する。

【0022】

したがって、この実施形態によれば、この方法は、マルチメディアコンテンツ（たとえば、動画コンテンツ）の画像（又は対象物、若しくは画像内の対象物の一部分）に対応する距離マップに適用され、画像内の各位置での距離値に対応する有用データが記憶される。

【0023】

実際、このような事情で、距離マップ内のいくつかの位置／座標において、（たとえば、投影が発生しない場合に）有用値が存在せず、したがって復号されてはならない「未使用」の点が生じるようである。これら未使用の点は、破棄されるように、復号側で知られていなければならない。そのために、距離値の範囲の初めに予約されるある範囲の値を使用して、こうした未使用の点に対応するキー情報を埋め込む。

【0024】

この実施形態による方法は、距離マップ値の範囲が、一般に（すなわち、マルチメディアコンテンツのたいていの場合に）、記憶される距離値に関して広めであるという事実を利用する。したがって、キー情報用の、値のこの所定の範囲の一部分を予約することは不利ではない。さらに、距離値は、典型的には距離のクリップされた逆関数として示されて、さらなる動的特性を与え、近距離に有利に働くので、第１の値が非常に遠くの対象物用に使用されるので、範囲値の始まりを予約することは依然としてそれほど不利ではない。

【0025】

最後に、たとえば符号化すべき画像の特殊性を利用するために、予約済み範囲のサイズは適応性を有する。

【0026】

特定の実施形態によれば、キー情報は、値Ｖ_k＝０に設定され、修正済みの有用データは次式に対応する。
Ｖ_u＝Ｕ_DMZ（ｚ）＝ｆｌｏｏｒ（（２^N－ＤＭＺ）Ｚ（ｚ）＋ＤＭＺ）であり、ｚは距離値であり、

【数1】

であり、ｚ_min及びｚ_maxはクリッピング範囲を規定しており、Ｚ（ｚ_min）＝１及びＺ（ｚ_max）＝０である。

【0027】

本開示はまた、マルチメディアコンテンツの対象物の少なくとも一部分の表示に対応する画像を復号する方法に関し、この方法は、画像内の少なくとも１つの座標において読み取られた値Ｗについて、
－これまでに開示されたキー情報を埋め込む方法によって提供される予約済み範囲にＷが属している場合は、読み取られた値Ｗを破棄することと、
－これまでに開示されたキー情報を埋め込む方法によって提供される予約済み範囲にＷが属していない場合は、読み取られた値Ｗに逆の修正済み量子化を適用することによって、この読み取られた値Ｗに対応する有用データを回復することであって、この逆の修正済み量子化が予約済み範囲を考慮することと
を含む。

【0028】

したがって、この実施形態によれば、復号側では、受信された値が、予約済み範囲に属する場合、対応する点は、破棄されて未使用とみなされる。これに反して、受信された値が予約済み範囲外である（すなわち、相対的に大きい）場合、対応する点は有効であるとみなされ、受信された値を修正することによって、関連する距離値が回復されて、逆量子化を符号化側に適用されたものとして適用する。

【0029】

本開示はまた、キー情報を埋め込む画像を運ぶストリームに関連し、この画像は、有用データをこの画像内に記憶するのに使用される２^N個の値の所定の範囲に予約されるＤＭＺ値の範囲にキー情報を記憶し、このキー情報は、画像の少なくとも１つの座標に関連付けられており、ここでＮ＞０及びＤＭＺ＜＜２^Nである。

【0030】

本開示はまた、画像内にキー情報を埋め込むように構成された装置に関し、この装置は、画像内に有用データを記憶するのに使用される２^N個の値の所定の範囲において、ＤＭＺ値の範囲を予約するように構成された少なくとも１つのプロセッサに関連するメモリを備え、この予約済み範囲を使用して、画像内の少なくとも１つの座標に関連するキー情報を記憶し、ここでＮ＞０及びＤＭＺ＜＜２^Nである。

【0031】

本開示はまた、マルチメディアコンテンツの対象物の少なくとも一部分の表示に対応する画像を復号するように構成された装置に関し、この装置は、画像内の少なくとも１つの座標において読み取られた値Ｗについて、
－これまでに開示されたキー情報を埋め込むように構成された装置によって提供される予約済み範囲にＷが属している場合は、読み取られた値Ｗを破棄し、
－これまでに開示されたキー情報を埋め込むように構成された装置によって提供される予約済み範囲にＷが属していない場合は、読み取られた値Ｗに逆の修正済み量子化を適用することによって、この読み取られた値Ｗに対応する有用データを回復し、この逆の修正済み量子化が予約済み範囲を考慮する
ように構成された、少なくとも１つのプロセッサに関連するメモリを備える。

【0032】

本開示はまた、プログラムがコンピュータ又はプロセッサ上で実行されるとき、これまでに開示したようにキー情報を画像に埋め込む方法の各ステップを実行するための、プログラムコード命令を含むコンピュータプログラム製品に関する。

【0033】

本開示はまた、このプログラムがコンピュータ上で実行されるときに、少なくともキー情報を画像に埋め込む上記の方法をプロセッサが実行できるようにするための命令を内部に記憶した、非一時的なコンピュータ読取り可能な搬送媒体に関する。

【0034】

４．図面の簡単な説明
実施形態の他の特徴及び利点は、例示的かつ包括的でない例として提示される以下の説明から、また添付図面から明らかになろう。

【図面の簡単な説明】

【0035】

【図1a】従来技術による、未定義の値を有する画像の例を示す。

【図1b】従来技術による、未定義の値を有する輪郭図の例を示す。

【図2a】開示された方法の一実施形態の流れ図である。

【図2b】開示された方法の一実施形態による値の予約済み範囲の一例である。

【図2c】開示された方法の一実施形態による、有用データの既知の量子化、及び有用データに適用される修正済み量子化にそれぞれ対応する曲線を示す。

【図3】図２ａ～図２ｃに関連して開示される実施形態による、開示された方法を実施するのに使用できる例示的な装置の構造ブロックの概略図である。

【発明を実施するための形態】

【0036】

５．実施形態の説明
この文書の各図のすべてにおいて、同じ数値参照符号は、同様の要素及びステップを示す。

【0037】

ここで、各図面を参照して主題を説明する。同じ参照番号は、全体を通して同じ要素を指すために使用する。以下の記述において説明するために、主題を完全に理解するには、数多くの具体的な詳細を説明する。しかし、主題の実施形態が、これら具体的な詳細がなくても実施できることは明らかとなり得る。

【0038】

この説明は、本開示の原理を例示するものである。したがって、本明細書では明示的に説明したり、図示したりしていないが、本開示の原理を実施する様々な構成を、当業者であれば考案できることが理解されよう。

【0039】

本発明の原理は、図２ａ及び図２ｂに示すように、画像内にキー情報を埋め込んで、この画像の復号を最適化する方法の特定の実施形態を参照しながら説明することになる。

【0040】

開示された方法の一般的原理は、画像内に有用データを記憶するのに使用される２^N個の値の所定の範囲に、キー情報を記憶するための（サイズＤＭＺ＜＜２^Nの）比較的狭い範囲の値を予約することに基づいている。たとえば、キー情報は、画像内の少なくとも１つの座標に関連付けられており、有用データとしてではなく、復号側で破棄すべき値として認識される必要がある。

【0041】

キー情報を埋め込むための特定の値は事前設定されていないが、ある範囲の値が予約され、それが使用されているので、開示された方法は、したがって符号化アーティファクトに対して頑強である。実際、符号化によってキー情報が変更される場合でも、この情報は、値の予約済み範囲外では変化してはならず、したがって、復号側においては、破棄されて復号されない値として認識することができる。

【0042】

そのために、（アーティファクトを符号化するのに十分なだけ頑強になるように）、画像を符号化するのに使用される圧縮レベルに応じて、予約済み範囲のサイズＤＭＺを適応的に改良してもよい。確かに、ＤＭＺの値が大きすぎると（すなわち、キー情報の値の予約済み範囲が広すぎると）、画像の有用データに許容される動的特性の一部分が無駄になる場合があるが、この値が小さすぎると（すなわち、キー情報の値の予約済み範囲が狭すぎると）、符号化アーティファクト（キー情報の送信不良）をあまりにも多く生じることがある。

【0043】

画像自体に応じて、すなわち、画像内に有用データを記憶するのに必要とされる実際の動的特性に応じて、予約済み範囲のサイズＤＭＺを適応的に改良してもよい。

【0044】

したがって、マルチパスストラテジを検討して、所与の画像及び所与のレベルの圧縮についてＤＭＺの最適値を設定することもできる。それぞれのパスについて、符号化側並びに復号側において、候補値が、最小限の初期化から開始してテストされ、符号化アーティファクトが多すぎると観察された場合には徐々に増加されることになる。いずれにせよ、画像情報を適切に復号するには、復号時にＤＭＺ値を知らなければならない。

【0045】

たとえば、こうしたマルチパスストラテジを、それぞれのＧＯＰ（画像群）についてサイズＤＭＺを適合させるように実施してもよい。

【0046】

開示された方法の特定の実施形態によれば、キー情報並びに有用データを埋め込む画像は、たとえばソース画像を符号化するこれまでのステップから得られる距離マップに対応する。したがって、その場合には、２^N個の値の所定の範囲は、有用な距離値に対応する画像内の各座標についての、距離値を記憶するのに使用される値のダイナミックレンジに対応する。

【0047】

しかし、この距離マップ／画像は、復号すべきではない未定義の値（たとえば、投影が生じなかった場合）を含むいくつかの領域を提示することがあるので、サイズＤＭＺの予約済み範囲は、したがってこの距離マップの動的特性の一部分に対応し、これは、関連付けられた距離値なしで画像内の各座標についてのキー情報を記憶するのに使用されることになる。

【0048】

マルチメディアコンテンツ内の対象物の少なくとも一部分を表す３Ｄ点群のパラメトリック曲面上への投影後に、距離マップ／画像を取得してもよい。こうした距離マップ／画像は、投影された点と元の３Ｄ点との間の距離ｚの情報を含む。距離ｚのこの情報は、存在するときには、点群を適切に回復するために復号側で必要とされ、さらなる動的特性を与え、近距離に有利に働くように、距離のクリップされた逆関数Ｚ（ｚ）として典型的に表される。たとえば、このクリップされた逆関数Ｚ（ｚ）は、次式のように示すことができる。

【数2】

【0049】

ここで、ｚ_min及びｚ_maxはクリッピング範囲を規定しており、Ｚ（ｚ_min）＝１及びＺ（ｚ_max）＝０である。

【0050】

次いで、この量Ｚ（ｚ）は、以下のように、符号のない整数Ｕ（ｚ）として、Ｎ（典型的には１０又は１２）ビットで定量化されて記憶される。
Ｕ（ｚ）＝ｆｌｏｏｒ（２^NＺ（ｚ））

【0051】

たとえば、Ｎ＝１２、ｚ_min＝１、及びｚ_max＝５で、図２ｃに実線でＵ（ｚ）が示してある。

【0052】

したがって、開示された方法では、有用データが画像内の座標に関連付けられていないときに、Ｕ（ｚ）に与えられるこの動的特性の一部分を使用して、キー情報を記憶することを提案する。

【0053】

たとえば、図２ｂに示す第１の変形形態では、ＤＭＺ値の予約済み範囲が、許容可能な動的特性の初めに定義され、ここでＤＭＺ＜＜２^Nである。

【0054】

確かに、前述の通り、（クリップされた逆関数Ｚ（ｚ）に従って）第１の値が遠くの対象物用に使用されるので、範囲値の始まりを予約することは依然としてそれほど不利ではない。

【0055】

別の変形形態では、たとえば、画像が距離マップに対応していない場合、重要性の低い情報を記憶するのに最後の値が使用されるならば、範囲値の終わりの値を使用する方がよい場合がある。

【0056】

既に述べたように、符号化ステップが、距離マップに記憶された値を、たとえば＋／－（ＤＭＺ／２）の最大範囲内で変化させることになるという事実を予測するように、サイズＤＭＺを適合させてもよい。圧縮レベルに応じて、この変化の最大範囲が適応的に調整される。これは、第１の変形形態に関連して図２ｂに示してあり、ここで垂直の点線は、２^N個の値の所定の範囲を２つの範囲、すなわち予約済み範囲及び有用データ範囲に分割するように変化してもよい値ＤＭＺを表す。したがって、距離画像内に記憶される有用データは、（ＤＭＺ＋１）～（２^N－１）のすべての値をとってもよい。

【0057】

次いで、サイズＤＭＺが定義されると、専用の符号化及び復号のプロセスが実施される。

【0058】

たとえば、符号化側で、画像内の所与の位置／座標について、距離マップ／画像に記憶する値Ｖに注目してみる。既に述べたように、値Ｖは、座標に関連付けられた距離情報、又は未定義領域についてのキー情報に対応する有用データでもよい。

【0059】

したがって、現在の座標において有用データが知られていない場合（たとえば、画像のこの特定の部分で投影が発生しない場合）、０に等しいキー情報Ｖ_kが距離画像に記憶され、第１の変形形態では、０は、距離値のダイナミックレンジの先頭での、サイズＤＭＺの予約範囲に属する値である。

【0060】

そうでなければ、距離値が現在の座標において知られている場合（すなわち、画像のこの特定の部分で投影が発生する場合）、キー情報向けに予約された先頭を除いて、有用データ範囲内、すなわち２^N個の値の所定の範囲内に、有用データを記憶しなければならない。したがって、記憶すべき値を距離情報から取得するために、修正された量子化がＺ（ｚ）に適用され、値Ｖ_uが以下のように記憶される。
Ｖ_u＝Ｕ_DMZ（ｚ）＝ｆｌｏｏｒ（（２^N－ＤＭＺ）Ｚ（ｚ）＋ＤＭＺ）

【0061】

たとえば、Ｕ_DMZ（ｚ）はまた、Ｎ＝１２、ｚ_min＝１、及びｚ_max＝５の場合について、図２ｃに点線で示してある。

【0062】

したがって、開示された方法によれば、距離画像内の各座標について、対応する点について投影が発生したかしなかったかに応じて、値Ｖ_u又はＶ_k（第１の変形形態では０に等しい）が記憶される。次いで、画像又は動画の圧縮法を使用して、符号化済みの画像を圧縮する。

【0063】

復号側では、受信され解凍された画像について、場合によっては圧縮アーティファクトの影響を受けた、読み取られた値Ｗに注目してみる。受信された画像については、値ＤＭＺは、復号器によって知られている。値ＤＭＺは、画像に関連してストリーム内で送信されてしまっている場合がある。一変形形態では、ＤＭＺ用に既定値が設定される。別の変形形態では、復号器は、受信された画像に従って、値ＤＭＺを決定する方法を実施する。

【0064】

開示された方法によれば、値Ｗが、サイズＤＭＺの予約済み範囲に属する場合（すなわち、第１の変形形態においてＷ＜ＤＭＺの場合）、現在値Ｗは、未定義／未使用の点に対応してもよく、又は「真」の点（すなわち、符号化前は予約済み範囲に近いが、圧縮によって修正され、復号器で解凍されるときに予約済み範囲に属する有用データ）の符号化誤りの結果として生じてもよい。その結果、こうした点は破棄され、復号器によって未使用とみなされる。確かに、圧縮アーティファクトに起因して「真」の点が破棄される場合でも、さらに少数の有用データが遠くの対象物に対応する場合には、未定義のデータを有用データとして解釈するよりも、この少数の有用データを「解放」することはそれほど不利ではない。

【0065】

これに反して、値Ｗが予約済み範囲に属さない場合（すなわち、第１の変形形態でＷ＞ＤＭＺの場合）、現在の点は「有効」点とみなされ、関連する距離値は、Ｕ_DMZ ^-1（Ｗ）（すなわち、符号化サイズに適用される量子化としての逆量子化）を計算することによって回復される。

【0066】

したがって、開示された方法によれば、受信された距離画像内の各座標については、値Ｗを、有用データとして解釈することができ、又はキー情報が認識される場合には破棄することができる。

【0067】

したがって、開示された方法により、コンテンツ／画像内のアーティファクトの符号化、及び圧縮適応方式のレベルへの頑強性を実現しながら、画像内のキー情報をコンパクトに記憶することが可能になる。

【0068】

そのために、開示された方法は、記憶すべき値及び／又は画像自体に関して広めであるとみなせる値のダイナミックレンジを利用してもよく、この方法によって、追加の画像を送信することなく、画像にキー情報を埋め込むことが可能になり、したがって、画像伝送での最終ビットレートを最適化することができる。

【0069】

ここで図３を参照すると、図２ａ～図２ｃに関連して先に開示した実施形態のうちのいずれかによる、画像内にキー情報を埋め込む方法を実施するのに使用できる例示的な装置の構造ブロックが示してある。

【0070】

一実施形態では、開示された方法を実施するための装置３００は、不揮発性メモリ３０３（たとえば、リードオンリメモリ（ＲＯＭ）又はハードディスク）、揮発性メモリ３０１（たとえば、ランダムアクセスメモリ、すなわちＲＡＭ）、及びプロセッサ３０２を備える。不揮発性メモリ３０３は、非一時的なコンピュータ読取り可能な搬送媒体である。これは、実行可能なプログラムコード命令を記憶し、この命令がプロセッサ３０２によって実行されて、方法の様々な実施形態において先に述べた方法の実装を可能にする。

【0071】

初期化されると、前述のプログラムコード命令は、不揮発性メモリ３０３から揮発性メモリ３０１に転送されて、プロセッサ３０２によって実行される。同様に、揮発性メモリ３０１は、これを実行するのに必要な変数及びパラメータを記憶するためのレジスタを含む。

【0072】

もちろん、本開示は前述の実施形態には限定されない。

【0073】

具体的には、本開示は、画像にキー情報を埋め込む方法及び装置に限定されず、マルチメディアコンテンツの対象物を表すデータを含むパケットを符号化／復号する方法、並びにこの方法を実施する任意の装置、特に少なくとも１つのＣＰＵ及び／又は少なくとも１つのＧＰＵを含む任意の装置にまで及ぶ。

【0074】

たとえば、開示された方法は、立体動画又は没入型動画に適用してもよい。

【0075】

本明細書に記載の実装形態は、たとえば、方法若しくはプロセス、機器、コンピュータプログラム製品、データストリーム、又は信号で実装してもよい。もっぱら（たとえば、方法又は装置としてのみ論じた）単一形式の実施形態との関連で論じたとしても、論じた機能の実装形態は、他の形式（たとえばプログラム）で実装してもよい。機器は、たとえば、適切なハードウェア、ソフトウェア、又はファームウェアで実装してもよい。たとえば、各方法は、たとえばコンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む処理装置を一般に指す、たとえばプロセッサなどの機器に実装してもよい。プロセッサはまた、たとえば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯型情報端末（「ＰＤＡ」）、エンドユーザ間での情報の通信を容易にする他の装置などの通信装置を含む。

【0076】

本明細書に記載の様々なプロセス及び特徴の実装は、様々な異なる機器又はアプリケーション、具体的にはたとえば、画像並びに関連するテクスチャ情報及び／又は奥行き情報の、データ符号化、データ復号、ビュー生成、テクスチャ処理、及び他の処理に関連する機器又はアプリケーションにおいて実施してもよい。こうした機器の例には、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器に入力するプリプロセッサ、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信装置が含まれる。明らかとなるように、この機器は、移動式でもよく、また移動車両に設置してもよい。

【0077】

さらに、この方法は、プロセッサが実行する命令によって実施してもよく、こうした命令（及び／又は、実施することによって生成されるデータ値）は、たとえば集積回路、ソフトウェア搬送媒体などのプロセッサ読取り可能な媒体、又は、たとえばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（たとえば、しばしばデジタル多用途ディスク若しくはデジタルビデオディスクと呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）若しくはリードオンリメモリ（「ＲＯＭ」）など他の記憶装置に記憶してもよい。各命令は、プロセッサ読取り可能な媒体に有形に実施されたアプリケーションプログラムを形成してもよい。たとえば、命令は、ハードウェア、ファームウェア、ソフトウェア、又はその組合せでもよい。命令は、たとえば、オペレーティングシステム、別々のアプリケーション、又はこの２つの組合せに見いだすことができる。したがって、プロセッサは、たとえば、プロセスを実行するように構成された装置と、プロセスを実行するための命令を有するプロセッサ読取り可能な媒体（記憶装置など）を含む装置との両方として特徴付けてもよい。さらに、プロセッサ読取り可能な媒体は、命令に加えて、又は命令の代わりに、一実装形態によって生成されるデータ値を記憶してもよい。

【0078】

当業者には明らかになるように、実装形態は、たとえば記憶又は伝送してもよい情報を運ぶようにフォーマットされた、様々な信号を生成してもよい。この情報は、たとえば、方法を実行するための命令、又は説明した実装形態のうちの１つによって生成されるデータを含んでもよい。たとえば、説明した実施形態のシンタックスを読み書きするための規則をデータとして運ぶように、又は説明した実施形態によって書かれた実際のシンタックス値をデータとして運ぶように、信号をフォーマットしてもよい。たとえば、このような信号は、（たとえばスペクトルの無線周波数部分を使用する）電磁波として、又はベースバンド信号としてフォーマットしてもよい。フォーマットすることは、たとえば、データストリームを符号化すること、及び符号化されたデータストリームで搬送波を変調することを含んでもよい。信号が運ぶ情報は、たとえば、アナログ情報又はデジタル情報でもよい。知られているように、信号は、様々な異なる有線リンク又は無線リンクを介して伝送してもよい。信号は、プロセッサ読取り可能な媒体に記憶してもよい。

【0079】

いくつかの実装形態を説明してきた。それにもかかわらず、様々な修正を加えてもよいことが理解されよう。たとえば、他の実装形態を生成するために、様々な実装形態の要素を組み合わせ、追加し、修正し、又は取り除いてもよい。さらに、他の構造及びプロセスを、開示されたものと置き換えてもよく、その結果得られる実装形態が、少なくとも実質的に同じ方式で、少なくとも実質的に同じ機能を実行して、開示された実装形態と少なくとも実質的に同じ結果を実現することが、当業者には理解されよう。したがって、上記その他の実装形態が、本出願によって企図される。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
画像の画素内にキー値を埋め込む方法であって、前記画像内の値を記憶するのに使用される２ ^N 個の値の所定の第２の範囲内に、値の第１の範囲を予約することを含み、前記第１の範囲は、前記画素が非有用画素であることを示すキー情報を記憶するのに使用され、Ｎが０よりも大きく、前記第１の範囲の値の数が２ ^N よりも著しく少ない、方法。
（付記２）
前記画像を符号化することを含み、前記第１の範囲の値の前記数が、前記符号化に適用される動画圧縮のレベルに従って更新される、付記１に記載の方法。
（付記３）
前記第１の範囲の値の前記数が、前記画像の少なくとも１つの特性に従って更新される、付記１に記載の方法。
（付記４）
前記画像内の少なくとも１つの画素について、
非有用値が前記画素に関連付けられている場合、前記画素内にキー値を記憶することであって、前記キー値が前記第１の範囲に属していることと、
有用値が前記画素に関連付けられている場合、
修正済み量子化を前記有用値に適用して、修正済み有用値を提供することであって、前記修正済み量子化が、前記第１の範囲の値の前記数によって決定されることと、
前記修正済み値を前記画素内に記憶することと、
を含む、付記１～３のいずれかに記載の方法。
（付記５）
前記画像が、マルチメディアコンテンツ内の対象物の少なくとも一部分を表す点群のパラメトリック曲面上への投影後に得られた距離マップに対応し、
前記有用値が、前記画像内の１つの画素に対応する、前記点群内の少なくとも１つの点について、前記対象物の前記少なくとも一部分と前記パラメトリック曲面との間の距離を表す情報に対応し、
前記キー値が、未使用の画素を表す、付記１に記載の方法。
（付記６）
前記キー値が、値Ｖ _k ＝０に設定され、
前記修正済み有用値が、Ｖ _u ＝Ｕ _DMZ （ｚ）＝ｆｌｏｏｒ（（２ ^N －ＤＭＺ）Ｚ（ｚ）＋ＤＭＺ）に対応し、ここでｚが距離値であり、

【数2】

であり、ここでｚ _min 及びｚ _max がクリッピング範囲を規定しており、Ｚ（ｚ _min ）＝１及びＺ（ｚ _max ）＝０である、付記５に記載の方法。
（付記７）
マルチメディアコンテンツの対象物の少なくとも一部分の表現に対応する画像を復号する方法であって、前記画像内の少なくとも１つの画素について読み取られた値Ｗについて、
付記１乃至５のうち何れかに記載のキー情報を埋め込む方法によって提供される予約済み範囲にＷが属する場合、前記読取り値Ｗを破棄することと、
付記１乃至５のうち何れかに記載のキー情報を埋め込む方法によって提供される予約済み範囲にＷが属さない場合、前記読取り値Ｗに逆修正済み量子化を適用することによって、前記読取り値Ｗに対応する前記有用値を回復することであって、前記逆修正済み量子化が、前記予約済み範囲を考慮することと、
を含む、方法。
（付記８）
キー値を埋め込む画像を搬送するストリームであって、前記画像が、前記画像内に有用値を記憶するのに使用される２ ^N 個の値の第２の範囲内に予約される第１の範囲内に、キー値を記憶し、前記キー値が、前記画像の少なくとも１つの画素に関連付けられており、Ｎが０よりも大きく、前記第１の範囲の値の数が２ ^N よりも著しく少ない、ストリーム。
（付記９）
画像内にキー値を埋め込むように構成された装置であって、前記画像に有用値を記憶するのに使用される２ ^N 個の値の第２の範囲内に、値の第１の範囲を予約するように構成された少なくとも１つのプロセッサに関連するメモリを備え、前記第１の範囲が、前記画像内の少なくとも１つの画素に関連付けられたキー値を記憶するのに使用され、Ｎが０よりも大きく、前記第１の範囲の値の数が２ ^N よりも著しく少ない、装置。
（付記１０）
マルチメディアコンテンツの対象物の少なくとも一部分の表示に対応する画像を復号するように構成された装置であって、前記画像内の少なくとも１つの画素について読み取られた値Ｗについて、
付記９によるキー値を埋め込むように構成された前記装置によって提供される予約済み範囲にＷが属している場合は、前記読み取られた値Ｗを破棄し、
付記９によるキー情報を埋め込むように構成された前記装置によって提供される予約済み範囲にＷが属していない場合は、前記読み取られた値Ｗに逆の修正済み量子化を適用することによって、前記読み取られた値Ｗに対応する前記有用値を回復し、前記逆の修正済み量子化が前記予約済み範囲を考慮する、
ように構成された、少なくとも１つのプロセッサに関連するメモリを備える、装置。
（付記１１）
前記プログラムがコンピュータ又はプロセッサ上で実行されるとき、付記１乃至７のうち何れかに記載の方法の前記ステップを実行するためのプログラムコード命令を含む、コンピュータプログラム製品。
（付記１２）
付記１１に記載のコンピュータプログラム製品を記憶する、非一時的なコンピュータ読取り可能な搬送媒体。

【図1a】

【図1b】

【図2a】

【図2b】

【図2c】

【図3】