IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許7578147V3C/V-PCCのための復号タイルハッシュSEIメッセージ
<>
  • 特許-V3C/V-PCCのための復号タイルハッシュSEIメッセージ 図1
  • 特許-V3C/V-PCCのための復号タイルハッシュSEIメッセージ 図2
  • 特許-V3C/V-PCCのための復号タイルハッシュSEIメッセージ 図3
  • 特許-V3C/V-PCCのための復号タイルハッシュSEIメッセージ 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-28
(45)【発行日】2024-11-06
(54)【発明の名称】V3C/V-PCCのための復号タイルハッシュSEIメッセージ
(51)【国際特許分類】
   H04N 19/70 20140101AFI20241029BHJP
   H04N 19/85 20140101ALI20241029BHJP
【FI】
H04N19/70
H04N19/85
【請求項の数】 23
(21)【出願番号】P 2022579783
(86)(22)【出願日】2021-06-20
(65)【公表番号】
(43)【公表日】2023-08-04
(86)【国際出願番号】 US2021038163
(87)【国際公開番号】W WO2021262560
(87)【国際公開日】2021-12-30
【審査請求日】2022-12-22
(31)【優先権主張番号】63/044,430
(32)【優先日】2020-06-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/045,272
(32)【優先日】2020-06-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/046,749
(32)【優先日】2020-07-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/161,319
(32)【優先日】2021-01-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100092093
【弁理士】
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(72)【発明者】
【氏名】グラジオッシ ダニーロ
(72)【発明者】
【氏名】タバタバイ アリ
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】国際公開第2021/201928(WO,A1)
【文献】米国特許出願公開第2020/0195946(US,A1)
【文献】米国特許出願公開第2015/0271529(US,A1)
【文献】米国特許出願公開第2016/0277761(US,A1)
【文献】特表2023-519512(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 9/00- 9/40
H04N 7/12
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
ポイントクラウドコンテンツを符号化して、符号化されたポイントクラウドコンテンツを生成するステップと、
アトラスに対するハッシュ情報を生成するステップであって、前記ハッシュ情報を生成するステップは、前記アトラスのフレーム幅、前記アトラスのフレーム高さ及び変数値を含む前記アトラスのシンタックス要素の値を組み合わせ、シンタックス要素の組み合わせられた値にハッシュアルゴリズムを適用することを含み、前記ハッシュアルゴリズムは、複数のハッシュアルゴリズムを記憶するためのルックアップテーブルを用いて定義された変数に基づいて選択される、前記ハッシュ情報を生成するステップと、
前記ハッシュ情報を送信するステップと、
前記符号化されたポイントクラウドコンテンツを復号するステップと、
前記ハッシュ情報を使用して、前記復号されたコンテンツを検証するステップと、
を含むことを特徴とする方法。
【請求項2】
前記ポイントクラウドコンテンツを符号化するステップは、3Dから2Dへの投影に基づいてポイントクラウドを圧縮するV-PCC符号化実装を使用するステップを含み、前記ポイントクラウドコンテンツを符号化するステップは、3Dポイントクラウドデータを複数の2Dパッチにマッピングし、前記パッチを前記アトラス内に配置し、その後にビデオエンコーダで符号化するステップを含み、アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びどの位置をポイントクラウド再構成のために検討すべきであるかを示す占有マップに対応することを特徴とする、請求項1に記載の方法。
【請求項3】
前記ハッシュ情報は、前記アトラスのblock to patchに対して送信されることを特徴とする、請求項1に記載の方法。
【請求項4】
前記ハッシュ情報は、タイルに対して送信されることを特徴とする、請求項1に記載の方法。
【請求項5】
前記ハッシュ情報は、タイルのblock to patchに対して送信されることを特徴とする、請求項1に記載の方法。
【請求項6】
前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信されることを特徴とする、請求項1に記載の方法。
【請求項7】
前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含むことを特徴とする、請求項に記載の方法。
【請求項8】
前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成されることを特徴とする、請求項1に記載の方法。
【請求項9】
符号化されたポイントクラウドコンテンツを受け取り、
アトラスに対するハッシュ情報を受け取り、前記ハッシュ情報は、前記アトラスのフレーム幅、前記アトラスのフレーム高さ及び変数値を含む前記アトラスのシンタックス要素の組み合わせられた値を含み、シンタックス要素の組み合わせられた値にハッシュアルゴリズムを適用し、前記ハッシュアルゴリズムは、複数のハッシュアルゴリズムを記憶するためのルックアップテーブルを用いて定義された変数に基づいて選択され、
前記符号化されたポイントクラウドコンテンツを復号し、
前記ハッシュ情報を使用して、前記復号されたコンテンツを検証する、
ためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を備えることを特徴とする装置。
【請求項10】
前記ハッシュ情報は、前記アトラスのblock to patchに対して送信されることを特徴とする、請求項に記載の装置。
【請求項11】
前記ハッシュ情報は、タイルに対して送信されることを特徴とする、請求項に記載の装置。
【請求項12】
前記ハッシュ情報は、タイルのblock to patchに対して送信されることを特徴とする、請求項に記載の装置。
【請求項13】
前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信されることを特徴とする、請求項に記載の装置。
【請求項14】
前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含むことを特徴とする、請求項13に記載の装置。
【請求項15】
前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成されることを特徴とする、請求項に記載の装置。
【請求項16】
3次元コンテンツを取得するための1又は2以上のカメラと、
前記3次元コンテンツを符号化して、符号化されたポイントクラウドコンテンツを生成し、
アトラスに対するハッシュ情報を生成し、前記ハッシュ情報を生成することは、前記アトラスのフレーム幅、前記アトラスのフレーム高さ及び変数値を含む前記アトラスのシンタックス要素の値を組み合わせ、シンタックス要素の組み合わせられた値にハッシュアルゴリズムを適用することを含み、前記ハッシュアルゴリズムは、複数のハッシュアルゴリズムを記憶するためのルックアップテーブルを用いて定義された変数に基づいて選択され、
前記ハッシュ情報を送信する、
ためのエンコーダと、
前記符号化されたポイントクラウドコンテンツを復号し、
前記ハッシュ情報を使用して、前記復号されたコンテンツを検証する、
ためのデコーダと、
を備えることを特徴とするシステム。
【請求項17】
前記3次元コンテンツを符号化することは、3Dから2Dへの投影に基づいて3次元コンテンツを圧縮するV-PCC符号化実装を使用することを含み、前記3次元コンテンツを符号化することは、3Dポイントクラウドデータを複数の2Dパッチにマッピングし、前記パッチを前記アトラス内に配置し、その後にビデオエンコーダで符号化することを含み、アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びどの位置をポイントクラウド再構成のために検討すべきであるかを示す占有マップに対応することを特徴とする、請求項16に記載のシステム。
【請求項18】
前記ハッシュ情報は、前記アトラスのblock to patchに対して送信されることを特徴とする、請求項16に記載のシステム。
【請求項19】
前記ハッシュ情報は、タイルに対して送信されることを特徴とする、請求項16に記載のシステム。
【請求項20】
前記ハッシュ情報は、タイルのblock to patchに対して送信されることを特徴とする、請求項16に記載のシステム。
【請求項21】
前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信されることを特徴とする、請求項16に記載のシステム。
【請求項22】
前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含むことを特徴とする、請求項21に記載のシステム。
【請求項23】
前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成されることを特徴とする、請求項16に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照〕
本出願は、2020年7月1日に出願された「V3C/V-PCCのための復号タイルハッシュSEIメッセージ(DECODED TILE HASH SEI MESSAGE FOR V3C/V-PCC)」という名称の米国仮特許出願第63/046,749号、2020年6月29日に出願された「V3C/V-PCCのための復号タイルハッシュSEIメッセージ」という名称の米国仮特許出願第63/045,272号、2020年6月26日に出願された「V3C/V-PCCのための復号タイルハッシュSEIメッセージ」という名称の米国仮特許出願第63/044,430号の米国特許法第119条に基づく優先権を主張するものであり、これらの文献はその全体が全ての目的で引用により本明細書に組み入れられる。
【0002】
本発明は、3次元グラフィックスに関する。具体的には、本発明は、3次元グラフィックスの符号化に関する。
【背景技術】
【0003】
近年、3Dから2Dへの投影に基づいてポイントクラウドを圧縮するための新規の方法が標準化されている。このV-PCC(ビデオベースのポイントクラウド圧縮)としても知られている方法は、3Dポイントクラウドデータを複数の2Dパッチにマッピングした後に、更にこれらのパッチをアトラス画像内に配置し、その後にビデオエンコーダで符号化する。アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びどの位置をポイントクラウド再構成のために検討すべきであるかを示す占有マップに対応する。
【0004】
2017年、MPEGは、ポイントクラウドの圧縮のための提案募集(CfP)を行った。複数の提案を評価した後に、MPEGは、(八分木及び同様の符号化法に基づく)3Dネイティブ符号化技術、又は3Dから2Dへの投影後に従来のビデオ符号化を行うもの、という2つの異なるポイントクラウド圧縮技術を現在検討している。動的3Dシーンの場合、MPEGは、パッチ表面モデリング、3Dから2D画像へのパッチの投影、及びHEVCなどのビデオエンコーダを使用した2D画像の符号化に基づく試験モデルソフトウェア(TMC2)を使用している。この方法は、ネイティブな3D符号化よりも効率的であり、容認可能な品質で競争的ビットレートを達成できることが証明されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書では、V3C/V-PCCアトラスフレームのための新しいハッシュ補足強化情報(SEI)メッセージについて説明する。このメッセージを使用して、各パッチと関連付けられるシンタックス要素について計算されるハッシュ値をシグナリングする。ハッシュSEIメッセージは、V3C/V-PCCタイルレベルのために、及び任意選択的にアトラスレベル適合性試験のために使用することができる。ハッシュを使用して、デコーダによって復号された値がエンコーダによって符号化された元の値と同じであることを確認することができる。
【課題を解決するための手段】
【0006】
一態様では、方法は、ポイントクラウドコンテンツを符号化して、符号化されたポイントクラウドコンテンツを生成するステップと、ハッシュ情報を生成して送信するステップと、前記符号化されたポイントクラウドコンテンツを復号するステップと、前記ハッシュ情報を使用して、前記復号されたコンテンツを検証するステップと、を含む。前記ポイントクラウドコンテンツを符号化するステップは、3Dから2Dへの投影に基づいてポイントクラウドを圧縮するV-PCC符号化実装を使用するステップを含み、前記ポイントクラウドコンテンツを符号化するステップは、3Dポイントクラウドデータを複数の2Dパッチにマッピングし、前記パッチをアトラス画像内に配置し、その後にビデオエンコーダで符号化するステップを含み、アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びどの位置をポイントクラウド再構成のために検討すべきであるかを示す占有マップに対応する。前記ハッシュ情報は、前記ポイントクラウドコンテンツのシンタックス要素及び/又は変数値を使用して生成される。前記ハッシュ情報は、アトラスに対して送信される。前記ハッシュ情報は、アトラスのblock to patchに対して送信される。前記ハッシュ情報は、タイルに対して送信される。前記ハッシュ情報は、タイルのblock to patchに対して送信される。前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信される。前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含む。前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成される。
【0007】
別の態様では、装置は、符号化されたポイントクラウドコンテンツを受け取り、ハッシュ情報を受け取り、前記符号化されたポイントクラウドコンテンツを復号し、前記ハッシュ情報を使用して、前記復号されたコンテンツを検証する、ためのアプリケーションを記憶するための非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を備える。前記ハッシュ情報は、前記ポイントクラウドコンテンツのシンタックス要素及び/又は変数値を使用して生成される。前記ハッシュ情報は、アトラスに対して送信される。前記ハッシュ情報は、アトラスのblock to patchに対して送信される。前記ハッシュ情報は、タイルに対して送信される。前記ハッシュ情報は、タイルのblock to patchに対して送信される。前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信される。前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含む。前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成される。
【0008】
別の態様では、システムは、3次元コンテンツを取得するための1又は2以上のカメラと、前記3次元コンテンツを符号化して、符号化されたポイントクラウドコンテンツを生成し、ハッシュ情報を生成して送信する、ためのエンコーダと、前記符号化されたポイントクラウドコンテンツを復号し、前記ハッシュ情報を使用して、前記復号されたコンテンツを検証する、ためのデコーダと、を備える。前記3次元コンテンツを符号化することは、3Dから2Dへの投影に基づいて3次元コンテンツを圧縮するV-PCC符号化実装を使用することを含み、前記3次元コンテンツを符号化することは、3Dポイントクラウドデータを複数の2Dパッチにマッピングし、前記パッチをアトラス画像内に配置し、その後にビデオエンコーダで符号化することを含み、アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びどの位置をポイントクラウド再構成のために検討すべきであるかを示す占有マップに対応する。前記ハッシュ情報は、前記3次元コンテンツのシンタックス要素及び/又は変数値を使用して生成される。前記ハッシュ情報は、アトラスに対して送信される。前記ハッシュ情報は、アトラスのblock to patchに対して送信される。前記ハッシュ情報は、タイルに対して送信される。前記ハッシュ情報は、タイルのblock to patchに対して送信される。前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信される。前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含む。前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成される。
【図面の簡単な説明】
【0009】
図1】いくつかの実施形態による、コンテンツを符号化及び復号する方法のフローチャートである。
図2】いくつかの実施形態による、ハッシュを生成するフローチャートである。
図3】いくつかの実施形態による、ハッシュを実装するように構成されるシステムの図である。
図4】いくつかの実施形態による、復号タイルハッシュSEIメッセージを実装するように構成される例示的なコンピュータ装置のブロック図である。
【発明を実施するための形態】
【0010】
本明細書では、V3C/V-PCCアトラスフレームのための新しいハッシュ補足強化情報(SEI)メッセージについて説明する。このメッセージを使用して、各パッチと関連付けられる全てのシンタックス要素について、タイル及びパッチのスキャン順序で計算されるハッシュ値をシグナリングする。ハッシュSEIメッセージは、V3C/V-PCCタイルレベルのために、及び任意選択的にアトラスレベル適合性試験のために使用することができることも断言する。
【0011】
ハッシュを使用して、デコーダによって復号された値がエンコーダによって符号化された元の値と同じであることを確認することができる。
【0012】
復号アトラス情報ハッシュSEIメッセージ
“BlockToPatchMap[ ][ ]”情報を正しく決定することができるデコーダが、ポイントクラウド再構成にとって重要な他の情報を適切に復号することができない場合があることが指摘されている。本明細書では、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含むためのオプションを含むアトラス情報ハッシュSEIメッセージについて説明する。この組み合わせは、ブロックからボリュームへの情報の適切な復号、及び2Dから3Dへのパッチ変換に対応するボリュメトリックボックスの再構成を確実にする。
【0013】
復号アトラス情報ハッシュSEIメッセージのシンタックス
表1に、復号アトラス情報ハッシュSEIメッセージのシンタックス構造を示す。これはサフィックスSEIメッセージであり、タイプNAL_SUFFIX_SEIのNALユニットで搬送され、そのpayloadType値は21に設定される。復号アトラス情報ハッシュSEIメッセージの主な用途は、デバッグの目的のため、及びアトラスデコーダの適合性試験のためのものである。アトラスベース及びタイルベースの両方のハッシュ値計算のためのオプションが提供される。これは、タイル内の各パッチと関連付けられる全ての要素及びアトラス内の全てのタイルを経ることによって行われる。一例として、非EOM及びRAWパッチについて、変数Patch2dPosX[p]、Patch2dPosY[p]、Patch2dSizeX[p]、Patch2dSizeY[p]、Patch3dPosX[p]、Patch3dPosY[p]、Patch3dPosMinZ[p]、PatchOrientationIndex[p]、PatchLoDScaleX[p]、及びPatchLoDScaleY[p]を、予め特定された順序で、タイルの後にパッチが続く符号化順序で処理すべきである。EOM/RAWパッチが通常又は補助ストリームに関連するかどうかにも応じて、EOM/RAWパッチに対して同様の手法をとることもできる。アトラスベースのハッシュメッセージのチェックサム計算のための「フレームヘッダ」として使用される複数の高レベルの変数/シンタックス要素が含まれる。
【0014】
復号アトラス情報ハッシュSEIのシンタックス
【表1】


【0015】
復号アトラス情報SEIメッセージのセマンティクス
復号アトラス情報ハッシュSEIメッセージのフィールドのセマンティクスは、以下の通りである。
【0016】
まず、全てのシンタックス要素は、符号のない16ビットの数として記憶されると仮定する。アトラスレベルのハッシュ値の導出は、高レベルのシンタックス変数から開始して、以下のように示される。
【0017】






【0018】
同様に、アトラスベースのBlockToPatch[ ][ ]については、以下の通りである。
【0019】
タイルベースのハッシュ値の導出は、以下のように示される。




【0020】
タイルベースのBlockToPatch[ ][ ]については、atlasB2pData[ ]アレイが、以下のように生成される。
【0021】
daih_hash_typeは、以下の表2に従ってチェックサムを計算するために使用される方法を示す。表に列挙されていないdaih_hash_typeの値は、ITU-T | ISO/IECによって今後の使用のために留保され、この仕様のこのバージョンに準拠するビットストリーム内に存在しない。デコーダは、留保されたhash_typeの値を含む復号ピクチャハッシュSEIメッセージを無視する。
【0022】
アトラスハッシュタイプ
【表2】
【0023】
daih_decoded_atlas_hash_present_flagが1に等しい場合には、daih_atlas_md5[i]、daih_atlas_crc又はdaih_atlas_checksumシンタックス要素が存在することを特定する。daih_decoded_atlas_hash_present_flagが0に等しい場合には、daih_atlas_md5[i]、daih_atlas_crc又はdaih_atlas_checksumシンタックス要素が存在しないことを特定する。
【0024】
daih_decoded_atlas_b2p_hash_present_flagが1に等しい場合には、daih_atlas_b2p_md5[i]、daih_atlas_b2p_crc又はdaih_atlas_b2p_checksumシンタックス要素が存在することを特定する。daih_decoded_atlas_b2p_hash_present_flagが0に等しい場合には、daih_atlas_b2p_md5[i]、daih_atlas_b2p_crc又はdaih_atlas_b2p_checksumが存在しないことを特定する。
【0025】
daih_decoded_atlas_tiles_hash_present_flagが1に等しい場合には、daih_atlas_tiles_md5[i]、daih_atlas_tiles_crc又はdaih_atlas_tiles_checksumシンタックス要素が存在することを特定する。daih_decoded_atlas_tiles_hash_present_flagが0に等しい場合には、daih_atlas_tiles_md5[i]、daih_atlas_tiles_crc又はdaih_atlas_tiles_checksumシンタックス要素が存在しないことを特定する。
【0026】
daih_atlas_tiles_b2p_hash_present_flagが1に等しい場合には、daih_atlas_tiles_b2p_md5[i]、daih_atlas_tiles_b2p_crc又はdaih_atlas_tiles_b2p_checksumシンタックス要素が存在することを特定する。daih_atlas_tiles_b2p_hash_present_flagが0に等しい場合には、daih_atlas_tiles_b2p_md5[i]、daih_atlas_tiles_b2p_crc又はdaih_atlas_tiles_b2p_checksumが存在しないことを特定する。
【0027】
daih_atlas_md5[i]は、vuh_atlas_idと関連付けられる復号アトラスの16バイトのMD5ハッシュである。daih_atlas_md5[i]の値は、IETF RFC 1321において定められるMD5関数を使用して以下のように得られるdigestValの値に等しい。
【0028】
daih_atlas_crcは、vuh_atlas_idと関連付けられる復号アトラスの周期冗長検査(CRC)である。daih_atlas_crcの値は、Rec. ITU-T H.271において定められるCRC仕様を使用して以下のように得られるcrcValの値に等しい。
【0029】
daih_atlas_checksumは、vuh_atlas_idと関連付けられる復号アトラスのチェックサムである。daih_atlas_checksumの値は、以下のように得られるchecksumValの値に等しい。
【0030】
daih_atlas_b2p_md5[i]は、vuh_atlas_idと関連付けられるアトラスのBlockToPatch[ ] [ ]の16バイトのMD5ハッシュである。daih_atlas_b2p_md5[i]の値は、IETF RFC 1321において定められるMD5関数を使用して以下のように得られるdigestValの値に等しい。
【0031】
daih_atlas_b2p_crcは、vuh_atlas_idと関連付けられる復号アトラスの周期冗長検査(CRC)である。daih_atlas_b2p_crcの値は、Rec. ITU-T H.271において定められるCRC仕様を使用して以下のように得られるcrcValの値に等しい。
【0032】
daih_atlas_b2p_checksumは、vuh_atlas_idと関連付けられる復号アトラスのチェックサムである。daih_atlas_b2p_checksumの値は、以下のように得られるchecksumValの値に等しい。
【0033】
daih_num_tiles_minus1 + 1は、ハッシュ値がシグナリングされるタイルの数を特定する。daih_num_tiles_minus1の値は、0~afti_num_tiles_in_atlas_frame_minus1の範囲内である。
【0034】
daih_tile_id_len_minus1 + 1は、シンタックス要素daih_tile_id[t]を表すために使用されるビットの数を特定する。daih_tile_id_len_minus1の値は、0~Ceil(Log2(afti_num_tiles_in_atlas_frame_minus1+1))の範囲内である。1<<(daih_tile_id_len_minus1+1)の値は、daih_num_tile_minus1+1よりも大きいか又はそれに等しい。
【0035】
daih_tile_id[t]は、t番目のタイルのタイルIDを特定する。daih_tile_id[ ]シンタックス要素の長さは、daih_tile_id_len_minus1+1ビットである。daih_tile_id[t]が存在しない場合には、 その値がtに等しいと推測される。
【0036】
daih_atlas_tiles_md5[t][i]は、t番目のタイルの16バイトのMD5ハッシュである。daih_atlas_tiles_md5[t][i]の値は、IETF RFC 1321において定められるMD5関数を使用して以下のように得られるdigestValの値に等しい。
【0037】
daih_atlas_tiles_crc[t]は、vuh_atlas_idと関連付けられる、タイルID tを含む復号アトラスタイルの周期冗長検査(CRC)である。daih_atlas_tiles_crcの値は、Rec. ITU-T H.271において定められるCRC仕様を使用して以下のように得られるcrcValの値に等しい。
【0038】
daih_atlas_tiles_checksum[t]は、vuh_atlas_idと関連付けられる、タイルID tを含む復号アトラスタイルのチェックサムである。daih_atlas_tile_checksumの値は、以下のように得られるchecksumValの値に等しい。
【0039】
daih_atlas_tiles_b2p_md5[t][i]は、t番目のタイルBlockToPatchMap[ ][ ]の16バイトのMD5ハッシュである。daih_blk2patch_md5[t][i]の値は、IETF RFC 1321において定められるMD5関数を使用して以下のように得られるdigestVal[t]の値に等しい。
【0040】
daih_atlas_tiles_b2p_crc[t]は、vuh_atlas_idと関連付けられる、タイルID tを含む復号アトラスタイルBlockToPatchMap[ ][ ]の周期冗長検査(CRC)である。daih_atlas_tiles_b2p_crcの値は、Rec. ITU-T H.271において定められるCRC仕様を使用して以下のように得られるcrcValの値に等しい。
【0041】
daih_atlas_tiles_b2p_checksum[t]は、vuh_atlas_idと関連付けられる、タイルID tを含む復号アトラスタイルBlockToPatchMap[ ][ ]のチェックサムである。daih_atlas_tile_checksumの値は、以下のように得られるchecksumValの値に等しい。
【0042】
本明細書では、復号アトラス情報ハッシュSEIメッセージについて、そのシンタックス及びセマンティクスと共に説明する。適合点Aにおけるブロックからボリュームへの情報の適切な復号、及びボリュメトリックデータの正しい再構成を確実にするために、“BlockToPatch”ハッシュ値も含まれる。チェックサム計算のmd5方法に加えて、潜在的な拡張性のために、他の2つのハッシュタイプ、すなわち、CRC及びチェックサムが列挙される。V3C/V-PCC仕様に、アネックスB(Annex B)のようなセクションを含み、ハッシュチェックサム値の公称導出のための例を提供することができる。ハッシュメッセージのチェックサム計算のための「フレームヘッダ」として、アネックスBにおいて再構成セクションH.9のために使用される高レベルのシンタックス要素に関連する複数の変数を含むことができる。
【0043】
図1に、いくつかの実施形態による、コンテンツを符号化及び復号する方法のフローチャートを示す。ステップ100において、ポイントクラウドコンテンツを符号化する。コンテンツを符号化するステップは、3Dから2Dへの投影に基づいてポイントクラウドを圧縮するV-PCC符号化実装を使用するステップなどの任意の方法で実装することができる。この方法は、3Dポイントクラウドデータを複数の2Dパッチにマッピングした後に、更にこれらのパッチをアトラス画像内に配置し、その後にビデオエンコーダで符号化する。アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びどの位置をポイントクラウド再構成のために検討すべきであるかを示す占有マップに対応する。MPEGの2つの可能なポイントクラウド圧縮技術は、(八分木及び同様の符号化法に基づく)3Dネイティブ符号化技術、又は3Dから2Dへの投影後に従来のビデオ符号化を行うものを含む。動的3Dシーンの場合、MPEGは、パッチ表面モデリング、3Dから2D画像へのパッチの投影、及びHEVCなどのビデオエンコーダを使用した2D画像の符号化に基づく試験モデルソフトウェア(TMC2)を使用している。
【0044】
ステップ102において、ハッシュを生成して送信する。本明細書で説明するように、ハッシュは、コンテンツのシンタックス要素及び/又は変数値を使用して生成される。いくつかの実施形態では、ハッシュは、アトラスに対して又はアトラスのblock to patchに対して送信される。いくつかの実施形態では、ハッシュは、タイルに対して又はタイルのblock to patchに対して送信される。ハッシュは、SEIメッセージで送信される。
【0045】
ステップ104において、符号化されたコンテンツ(ポイントクラウド)を復号する。MPEG実装などの任意のデコーダを使用することができる。
【0046】
ステップ106において、ハッシュ情報を使用して、復号されたコンテンツを検証する。復号されたコンテンツは、任意のハッシュ比較技術を介して、ハッシュ情報を使用して検証される。
【0047】
いくつかの実施形態では、より少ない又は追加のステップを実装することができる。いくつかの実施形態では、ステップの順序が変更される。
【0048】
図2に、いくつかの実施形態による、ハッシュを生成するフローチャートを示す。予め、ハッシュは、輝度、色及び/又は他の画素値に基づいている。ステップ200において、コンテンツ(例えばアトラス又はタイル)のシンタックス要素又は他の情報の値を組み合わせることによって、バイト列を生成する。例えば、アトラスの場合、フレーム幅を2バイト(又は何らかの他の値)にする。次に、フレーム高さは次の2バイトである。この列に(アトラスの)他のシンタックス要素及び変数値を追加して、大きい列(例えば256バイト)を生成する。ステップ202において、バイト列にハッシュアルゴリズムを適用して、ハッシュを生成する。ハッシュアルゴリズムは、定義された変数に基づいて選択することができる。例えば、ルックアップテーブル又はデータベースが、複数のハッシュアルゴリズム又は同様のアルゴリズム(例えば周期冗長検査)を記憶することができ、定義された変数に基づいて、選択されたハッシュアルゴリズムを適用する。本明細書で説明するように、0の変数値はハッシュアルゴリズムMD5に対応し、1の変数値はCRCに対応し、2の変数値はチェックサムに対応し、一方、追加のハッシュアルゴリズムのために、追加の変数値を留保することができる。いくつかの実施形態では、より少ない又は追加のステップが実装される。いくつかの実施形態では、ステップの順序が変更される。
【0049】
図3に、いくつかの実施形態による、ハッシュを実装するように構成されるシステムの図を示す。エンコーダ300が、符号化プロセスを実装するように構成される。本明細書で説明するように、1又は2以上のMPEG実装を使用して、V-PCC符号化などの任意の符号化を実装することができる。更に、エンコーダは、符号化されたコンテンツと通信されるべきハッシュ情報を生成する。符号化された情報及びハッシュ情報は、デコーダ304に直接又はネットワーク302を通じて通信することができる。ネットワークは、ローカルエリアネットワーク(LAN)、インターネット、無線ネットワーク、有線ネットワーク、セルラネットワーク、及び/又は他の任意のネットワーク又はネットワークの組み合わせなどの任意のタイプのネットワークとすることができる。デコーダ304は、符号化されたコンテンツを復号し、ハッシュ情報を使用して、復号されたコンテンツを検証する。
【0050】
図4に、いくつかの実施形態による、復号タイルハッシュSEIメッセージを実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置400を使用して、3Dコンテンツを含む画像及びビデオなどの情報を取得、記憶、計算、処理、通信及び/又は表示することができる。コンピュータ装置400は、符号化/復号の態様のいずれかを実装することができる。一般に、コンピュータ装置400を実装するのに適したハードウェア構造は、ネットワークインターフェイス402、メモリ404、プロセッサ406、I/Oデバイス408、バス410、及び記憶装置412を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ404は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置412は、ハードドライブ、CDROM、CDRW、DVD、DVDRW、高精細ディスク/ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置400は、1又は2以上のネットワークインターフェイス402を含むことができる。ネットワークインターフェイスの一例は、イーサネット又は他のタイプのLANに接続されるネットワークカードを含む。I/Oデバイス408は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及び他のデバイスのうちの1又は2以上を含むことができる。復号タイルハッシュSEIメッセージを実装するのに使用される復号タイルハッシュSEIメッセージアプリケーション430は、記憶装置412及びメモリ404に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置400は、図4に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、復号タイルハッシュSEIメッセージハードウェア420が含まれる。図4のコンピュータ装置400は、復号タイルハッシュSEIメッセージのためのアプリケーション430及びハードウェア420を含むが、復号タイルハッシュSEIメッセージは、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、復号タイルハッシュSEIメッセージアプリケーション430は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、復号タイルハッシュSEIメッセージハードウェア420は、復号タイルハッシュSEIメッセージを実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。
【0051】
いくつかの実施形態では、復号タイルハッシュSEIメッセージアプリケーション430は、複数のアプリケーション及び/又はモジュールを含む。いくつかの実施形態では、モジュールは、1又は2以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。
【0052】
好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話/携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、モバイルデバイス、ビデオプレーヤー、ビデオディスクライター/プレーヤー(例えば、DVDライター/プレーヤー、高精細ディスクライター/プレーヤー、超高精細ディスクライター/プレーヤー)、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー(例えば、スマートウォッチ)、車両(例えば、自動運転車両)又は他の任意の好適なコンピュータ装置を含む。
【0053】
復号タイルハッシュSEIメッセージを利用するために、装置が3Dコンテンツ(例えば、ポイントクラウドコンテンツ)を取得又は受信し、ハッシュ情報を含むSEIメッセージを含むコンテンツを処理及び/又は送信して、3Dコンテンツが適切に復号されることを確実にする。復号タイルハッシュSEIメッセージは、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。
【0054】
動作時、復号タイルハッシュSEIメッセージは、従来の実装と比較して、より効率的でより正確な3Dコンテンツ符号化を可能にする。
【0055】
V3C/V-PCCのための復号タイルハッシュSEIメッセージのいくつかの実施形態
1.ポイントクラウドコンテンツを符号化して、符号化されたポイントクラウドコンテンツを生成するステップと、
ハッシュ情報を生成して送信するステップと、
前記符号化されたポイントクラウドコンテンツを復号するステップと、
前記ハッシュ情報を使用して、前記復号されたコンテンツを検証するステップと、
を含む方法。
【0056】
2.前記ポイントクラウドコンテンツを符号化するステップは、3Dから2Dへの投影に基づいてポイントクラウドを圧縮するV-PCC符号化実装を使用するステップを含み、前記ポイントクラウドコンテンツを符号化するステップは、3Dポイントクラウドデータを複数の2Dパッチにマッピングし、前記パッチをアトラス画像内に配置し、その後にビデオエンコーダで符号化するステップを含み、アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びどの位置をポイントクラウド再構成のために検討すべきであるかを示す占有マップに対応する、第1項に記載の方法。
【0057】
3.前記ハッシュ情報は、前記ポイントクラウドコンテンツのシンタックス要素及び/又は変数値を使用して生成される、第1項に記載の方法。
【0058】
4.前記ハッシュ情報は、アトラスに対して送信される、第1項に記載の方法。
【0059】
5.前記ハッシュ情報は、アトラスのblock to patchに対して送信される、第1項に記載の方法。
【0060】
6.前記ハッシュ情報は、タイルに対して送信される、第1項に記載の方法。
【0061】
7.前記ハッシュ情報は、タイルのblock to patchに対して送信される、第1項に記載の方法。
【0062】
8.前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信される、第1項に記載の方法。
【0063】
9.前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含む、第8項に記載の方法。
【0064】
10.前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成される、第1項に記載の方法。
【0065】
11.符号化されたポイントクラウドコンテンツを受け取り、
ハッシュ情報を受け取り、
前記符号化されたポイントクラウドコンテンツを復号し、
前記ハッシュ情報を使用して、前記復号されたコンテンツを検証する、
ためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を備える装置。
【0066】
12.前記ハッシュ情報は、前記ポイントクラウドコンテンツのシンタックス要素及び/又は変数値を使用して生成される、第11項に記載の装置。
【0067】
13.前記ハッシュ情報は、アトラスに対して送信される、第11項に記載の装置。
【0068】
14.前記ハッシュ情報は、アトラスのblock to patchに対して送信される、第11項に記載の装置。
【0069】
15.前記ハッシュ情報は、タイルに対して送信される、第11項に記載の装置。
【0070】
16.前記ハッシュ情報は、タイルのblock to patchに対して送信される、第11項に記載の装置。
【0071】
17.前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信される、第11項に記載の装置。
【0072】
18.前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含む、第17項に記載の装置。
【0073】
19.前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成される、第11項に記載の装置。
【0074】
20.3次元コンテンツを取得するための1又は2以上のカメラと、
前記3次元コンテンツを符号化して、符号化されたポイントクラウドコンテンツを生成し、
ハッシュ情報を生成して送信する、
ためのエンコーダと、
前記符号化されたポイントクラウドコンテンツを復号し、
前記ハッシュ情報を使用して、前記復号されたコンテンツを検証する、
ためのデコーダと、
を備えるシステム。
【0075】
21.前記3次元コンテンツを符号化することは、3Dから2Dへの投影に基づいて3次元コンテンツを圧縮するV-PCC符号化実装を使用することを含み、前記3次元コンテンツを符号化することは、3Dポイントクラウドデータを複数の2Dパッチにマッピングし、前記パッチをアトラス画像内に配置し、その後にビデオエンコーダで符号化することを含み、アトラス画像は、ポイントのジオメトリ、それぞれのテクスチャ、及びどの位置をポイントクラウド再構成のために検討すべきであるかを示す占有マップに対応する、第20項に記載のシステム。
【0076】
22.前記ハッシュ情報は、前記3次元コンテンツのシンタックス要素及び/又は変数値を使用して生成される、第20項に記載のシステム。
【0077】
23.前記ハッシュ情報は、アトラスに対して送信される、第20項に記載のシステム。
【0078】
24.前記ハッシュ情報は、アトラスのblock to patchに対して送信される、第20項に記載のシステム。
【0079】
25.前記ハッシュ情報は、タイルに対して送信される、第20項に記載のシステム。
【0080】
26.前記ハッシュ情報は、タイルのblock to patchに対して送信される、第20項に記載のシステム。
【0081】
27.前記ハッシュ情報は、補足強化情報(SEI)メッセージで送信される、第20項に記載のシステム。
【0082】
28.前記SEIメッセージは、タイルベースの“BlockToPatchMap[ ][ ]”ハッシュ値情報を含む、第27項に記載のシステム。
【0083】
29.前記ハッシュ情報は、MD5、CRC及びチェックサムからなるグループから選択される実装を使用して生成される、第20項に記載のシステム。
【0084】
本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。
【符号の説明】
【0085】
100 ポイントクラウドを符号化
102 ハッシュを生成して送信
104 符号化されたポイントクラウドを復号
106 ハッシュを使用して、復号されたポイントクラウドを検証
200 バイト列を生成
202 バイト列にハッシュアルゴリズムを適用
300 エンコーダ
302 ネットワーク
304 デコーダ
400 コンピュータ装置
402 ネットワークインターフェイス
404 メモリ
406 プロセッサ
408 I/Oデバイス
410 バス
412 記憶装置
420 復号タイルハッシュSEIメッセージハードウェア
430 復号タイルハッシュSEIメッセージアプリケーション
図1
図2
図3
図4