知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-21
(45)【発行日】2023-07-31
(54)【発明の名称】三次元点群に基づく初期視野角の制御と提示の方法及びシステム
(51)【国際特許分類】
G06T 15/20 20110101AFI20230724BHJP
【ＦＩ】
G06T15/20
【請求項の数】
9
(21)【出願番号】P 2021570458
(86)(22)【出願日】2020-06-28
(65)【公表番号】
(43)【公表日】2022-07-28
(86)【国際出願番号】 CN2020098517
(87)【国際公開番号】W WO2020259682
(87)【国際公開日】2020-12-30
【審査請求日】2021-11-26
(31)【優先権主張番号】201910576254.0
(32)【優先日】2019-06-28
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】201910590125.7
(32)【優先日】2019-07-02
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】507190994
【氏名又は名称】上海交通大学
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＪＩＡＯ ＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】８００ Ｄｏｎｇｃｈｕａｎ Ｒｄ．，Ｍｉｎｈａｎｇ Ｄｉｓｔｒｉｃｔ，Ｓｈａｎｇｈａｉ，２００２４０，Ｐ．Ｒ．ＣＨＩＮＡ
(74)【代理人】
【識別番号】110001494
【氏名又は名称】前田・鈴木国際特許弁理士法人
(72)【発明者】
【氏名】徐異凌
(72)【発明者】
【氏名】高▲リン▼遥
(72)【発明者】
【氏名】朱文▲ショウ▼
(72)【発明者】
【氏名】管云峰
【審査官】中田 剛史
(56)【参考文献】
【文献】国際公開第２０１８／０２５６６０（ＷＯ，Ａ１）
【文献】特開２０１３－１８２５２３（ＪＰ，Ａ）
【文献】特開２０１７－０３６９９８（ＪＰ，Ａ）
【文献】特開２０１６－２２４８２３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １５／２０
(57)【特許請求の範囲】
【請求項1】
三次元メディアストリームを読み取って解析し、カプセル化された三次元メディアデータを取得することと、前記カプセル化された三次元メディアデータにおいて、初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定することと、
初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示することとを含む、
ことを特徴とする三次元点群に基づく初期視野角の制御と提示の方法。
【請求項2】
メディアコンテンツが回されることを前提として、初期視点及び法線ベクトルの方向を変更し、変更後の視点位置及び変更後の視点の法線ベクトルの方向を形成することをさらに含む、ことを特徴とする請求項１に記載の三次元点群に基づく初期視野角の制御と提示の方法。
【請求項3】
前記初期視点の正方向ベクトルは提示装置に規定された正方向に平行する方向ベクトルであり、初期視点の正方向ベクトルは初期視点を座標原点として座標系を確立し、初期視点以外の正方向ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含む、ことを特徴とする請求項１に記載の三次元点群に基づく初期視野角の制御と提示の方法。
【請求項4】
前記カプセル化された三次元メディアデータのカプセル化情報に指示情報を付加し、前記指示情報は、初期視点の位置情報である情報１と、
初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、
初期視点の正方向ベクトル情報である情報３とを含む、
ことを特徴とする請求項１に記載の三次元点群に基づく初期視野角の制御と提示の方法。
【請求項5】
前記初期視点の法線ベクトルの方向は、初期視点を座標原点として座標系を確立し、初期視点以外の法線ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含む、ことを特徴とする請求項１に記載の三次元点群に基づく初期視野角の制御と提示の方法。
【請求項6】
三次元メディアストリームを読み取って解析し、カプセル化された三次元メディアデータを取得するための解析モジュールと、前記カプセル化された三次元メディアデータにおいて、初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、
初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとを含む、
ことを特徴とする三次元点群に基づく初期視野角の制御と提示のシステム。
【請求項7】
メディアコンテンツが回されることを前提として、初期視点及び法線ベクトルの方向を変更し、変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定するための変更視野角決定モジュールをさらに含む、ことを特徴とする請求項６に記載の三次元点群に基づく初期視野角の制御と提示のシステム。
【請求項8】
前記カプセル化された三次元メディアデータのカプセル化情報に指示情報を付加し、前記指示情報は、初期視点の位置情報である情報１と、
初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、
初期視点の正方向ベクトル情報である情報３とを含む、
ことを特徴とする請求項６に記載の三次元点群に基づく初期視野角の制御と提示のシステム。
【請求項9】
請求項６～８のいずれか一項に記載の三次元点群に基づく初期視野角の制御と提示のシステムを含む、ことを特徴とする三次元点群システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は３Ｄメディアデータカプセル化及び消費過程の設計分野に関し、具体的には、三次元点群に基づく初期視野角の制御と提示の方法及びシステムに関する。
【背景技術】
【0002】
情報技術の急速な発展に伴い、文字、画像、従来のビデオに基づいた消費モードは成熟しつつあり、より高い忠実度、より強いインタラクション性、より多様化された視覚的通信を提供することが次第に発展のホットスポットとなってきている。視覚的通信は正確にレンダリングされた三次元点群、六自由度の全方位体験、虚実結合リアルタイムインタラクション等の技術手段によって、ユーザに時間、地域、現実条件によって制限されない、臨場感があるリアルな体験を提供すると同時に、新たなアプリケーションに無限の空間をもたらす。
【0003】
視覚メディアデータの生成、伝送、処理及び提示等の面では従来のメディアデータと大きく異なり、視覚メディアデータがより複雑で多様である。ユーザの提示要求を満たすために、対応するデータ記述方法も広く注目されている。三次元スキャン技術及びシステムがますます成熟しつつあるため、三次元点群データは学術界及び産業界に広く注目されている。
【0004】
三次元点群はスペースにおける一連の点のセットであり、スキャンされた物体の表面の各点の１組の三次元座標情報及び複数の種類の属性情報、例えばテクスチャ、材質、法線ベクトル、反射強度等が記録される。三次元点群データは実際の物体の幾何学的描写であり、新たな三次元モデルデータフォーマットであり、視覚的通信シーンで情報を表現する主なキャリアとして、視覚メディアサービスにおける静的実物及びシーンを効果的に示すだけでなく、正確な立体モデルをリアルタイムにレンダリングし、動的実物又はシーン情報を確実に描くこともできる。そこで、三次元点群データはユーザに虚実結合、リアルタイムインタラクションの没入式の消費体験をもたらすことができる。
【0005】
現在三次元点群データをどのように記憶し、伝送するかについて一定の研究があるが、従来の三次元点群カプセル化情報は点群データ全体の提示効果のみを考慮し、ユーザの三次元点群メディアに対する初期提示要求など、異なるシーンでのユーザの提示要求を考慮していない。ユーザが点群メディアファイルを開く時は、ある特異な角度又は非関心の領域ではなく、興味のある領域を直接消費することを望んでいる。
【0006】
従来の技術における欠陥に対して、ユーザの異なるシーンでの初期提示要求を満たすために、本発明は三次元点群に基づく初期視野角の制御及び提示の方法及びシステム及び点群システムを提供する。ユーザが三次元視覚メディアに対する初期提示要求を満たすように、三次元点群メディアデータのカプセル化情報を展開し、三次元点群提示する時の初期視野角情報を定義することによって、ユーザが三次元メディアコンテンツを初期消費する時にコンテンツ制作側が指定した初期視聴角度つまりユーザ関心領域を視聴させる。
【0007】
本発明は三次元点群に基づく初期視野角の制御及び提示の方法を提供し、三次元メディアストリームを読み取って解析することと、初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定することと、初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示することとを含む。
【0008】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、コンテンツ制作側が指定したスケーリングスケールを決定する、又は相対変位から計算された深度値に基づいて設定されるスケーリングスケールを決定することと、スケーリングスケールで三次元メディアストリームにおける一部のメディアコンテンツ又は全てのメディアコンテンツを提示することとを含む。
【0009】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記スケーリングスケールは三次元メディアコンテンツの提示のスケーリング係数であることを含む。
【0010】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、ユーザ位置の初期視点に対する相対変位をフィードバックすることと、ユーザ位置視点における視野と相対変位の深さに基づいて現在のユーザ位置の視聴視野範囲を決定することと、三次元メディアストリームにおける視聴視野範囲の一部のメディアコンテンツ又は全てのメディアコンテンツを提示することとをさらに含む。
【0011】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記深度はユーザ位置の初期視点に対する距離であることを含む。
【0012】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記視点における視野はユーザの開始位置点を円心とし、初期視点までの距離を半径とする円形視野であることを含む。
【0013】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、メディアコンテンツが回されることを前提として、初期視点及び法線ベクトルの方向を変更し、変更後の視点位置及び変更後の視点の法線ベクトルの方向を形成することをさらに含む。
【0014】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記初期視点の正方向ベクトルは提示装置に規定された正方向に平行する方向ベクトルであり、初期視点の正方向ベクトルは初期視点を座標原点として座標系を確立し、初期視点以外の正方向ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
【0015】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記三次元メディアストリームは三次元メディアデータカプセル化によって形成され、前記三次元メディアデータに指示情報を付加し、前記指示情報は、初期視点の位置情報である情報１と、初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、初期視点の正方向ベクトル情報である情報３とを含むことを含む。
【0016】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、三次元メディアのスケーリングスケール情報を含む情報４を含むことを含む。
【0017】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、変更後の視点の位置情報、変更後の視点の法線ベクトルの変更後の視点に対する位置情報である情報５を含むことを含む。
【0018】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、リアルタイム相対変位であって、ユーザのリアルタイム位置の初期視点に対する位置情報である情報６と、ユーザのリアルタイム位置に基づいて対応する視聴視野範囲を調整する情報７とを含むことを含む。
【0019】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、メディアコンテンツの回転がサポートされるか否かを指示するための回転指示情報を含むことを含む。
【0020】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、メディア再生過程においてユーザ位置をサポートするか否かを指示するためのリアルタイムインタラクション情報を含むことを含む。
【0021】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記初期視点の法線ベクトルの方向は、初期視点を座標原点として座標系を確立し、初期視点以外の法線ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
【0022】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記ユーザ位置と初期視点との相対変位は、初期視点を座標原点として座標系を確立し、ユーザの視聴位置のｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
【0023】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、メディアコンテンツが回されることを前提として、前記変更後の視点位置は、変更後の視点のｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
【0024】
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、メディアコンテンツが回されることを前提として、前記変更後の視点の法線ベクトルの方向は、変更後の視点を座標原点として座標系を確立し、変更後の視点以外の法線ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
【0025】
また、本発明は三次元点群に基づく初期視野角の制御及び提示のシステムをさらに提供し、三次元メディアストリームを読み取って解析するための解析モジュールと、初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとを含む。
【0026】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、
ユーザのリアルタイム位置の初期視点に対する相対変位をフィードバックするための変位フィードバックモジュールと、コンテンツ制作側が指定したスケーリングスケールを決定する、又は相対変位から計算された深度値に基づいて設定されるスケーリングスケールを決定するためのスケーリングスケール決定モジュールと、ユーザ位置視点における視野と深度値に基づいて現在のユーザ位置の視聴視野範囲を決定するための視聴視野範囲決定モジュールと、初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて視聴視野範囲内の三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとをさらに含む。
ユーザのリアルタイム位置の初期視点に対する相対変位をフィードバックするための変位フィードバックモジュールと、コンテンツ制作側が指定したスケーリングスケールを決定する、又は相対変位から計算された深度値に基づいて設定されるスケーリングスケールを決定するためのスケーリングスケール決定モジュールと、ユーザ位置視点における視野と深度値に基づいて現在のユーザ位置の視聴視野範囲を決定するための視聴視野範囲決定モジュールと、初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて視聴視野範囲内の三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとをさらに含む。
【0027】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、コンテンツ制作側が指定したスケーリングスケールを決定する、又は相対変位から計算された深度値に基づいて設定されるスケーリングスケールを決定するためのスケーリングスケール決定モジュールと、スケーリングスケールで三次元メディアストリームにおける一部のメディアコンテンツ又は全てのメディアコンテンツを提示するための三次元メディア提示モジュールとをさらに含む。
【0028】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、メディアコンテンツが回されることを前提として、初期視点及び法線ベクトルの方向を変更し、変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定するための変更視野角決定モジュールをさらに含む。
【0029】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記三次元メディアストリームは三次元メディアデータカプセル化によって形成され、前記三次元メディアデータに指示情報を付加し、前記指示情報は、初期視点の位置情報である情報１と、初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、初期視点の正方向ベクトル情報である情報３とを含むことを含む。
【0030】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記指示情報は、三次元メディアのスケーリングスケール情報である情報４を含むことを含む。
【0031】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記指示情報は、変更後の視点の位置情報、変更後の視点の法線ベクトルの変更後の視点に対する位置情報である情報５を含むことを含む。
【0032】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記指示情報は、リアルタイム相対変位であって、ユーザのリアルタイム位置の初期視点に対する位置情報である情報６と、ユーザのリアルタイム位置に基づいて対応する視聴視野範囲を調整する情報７とを含むことを含む。
【0033】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記指示情報は、メディアコンテンツの回転がサポートされるか否かを指示するための回転指示情報をさらに含むことを含む。
【0034】
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、指示情報は、メディア再生過程においてユーザ位置をサポートするか否かを指示するためのリアルタイムインタラクション情報をさらに含むことを含む。
【0035】
また、本発明は三次元点群システムをさらに含み、上述のいずれか一項に記載の三次元点群に基づく初期視野角の制御及び提示のシステムを含むことを含む。
【0036】
従来の技術に比べて、本発明は以下の有益な効果を有する。
本発明に係る三次元点群に基づく初期視野角の制御と提示の方法及びシステム、点群システムは、三次元メディアストリームにおける初期視点、法線方向ベクトル及び正方向ベクトルを読み取って解析することによって、ユーザが三次元メディアコンテンツを初期消費する時にコンテンツ制作側が指定した初期角度つまり関心領域を視聴することをサポートし、また、三次元メディアコンテンツのスケーリング、つまりスケール変換をさらに最適化的にサポートすることができる。また好ましくは、リアルタイムインタラクションのシーンで、ユーザが視聴する視野範囲はユーザと初期視点との相対位置に基づいて調整することができ、ユーザのインタラクション動作に基づいて視覚メディアの消費自由度を十分に向上させ、臨場感があるユーザ体験を提供する。
本発明に係る三次元点群に基づく初期視野角の制御と提示の方法及びシステム、点群システムは、三次元メディアストリームにおける初期視点、法線方向ベクトル及び正方向ベクトルを読み取って解析することによって、ユーザが三次元メディアコンテンツを初期消費する時にコンテンツ制作側が指定した初期角度つまり関心領域を視聴することをサポートし、また、三次元メディアコンテンツのスケーリング、つまりスケール変換をさらに最適化的にサポートすることができる。また好ましくは、リアルタイムインタラクションのシーンで、ユーザが視聴する視野範囲はユーザと初期視点との相対位置に基づいて調整することができ、ユーザのインタラクション動作に基づいて視覚メディアの消費自由度を十分に向上させ、臨場感があるユーザ体験を提供する。
【図面の簡単な説明】
【0037】
以下の図面を参照して非限定的な実施例に対する詳細な説明を読むことによって、本発明の他の特徴、目的及び利点がより明らかになる。
【図1】本発明の実施例における三次元点群に基づいた初期視野角の制御と提示の方法のフロー模式図である。
【図2】本発明の実施例における三次元点群に基づいた初期視野角の制御と提示のシステムの機能ブロック図である。
【図3-1】本発明の実施例におけるユーザのリアルタイム視聴位置と現在のユーザ位置の視聴視野範囲との関係の全体模式図である。
【図3-2】本発明の実施例におけるユーザのリアルタイム視聴位置と現在のユーザ位置の視聴視野範囲との関係の断面模式図である。
【図3-3】本発明の実施例におけるユーザのリアルタイム位置から初期視点への相対変位と現在位置の深度値との関係の模式図である。
【発明を実施するための形態】
【0038】
以下具体的な実施例を参照して本発明を詳細に説明する。以下の実施例は当業者が本発明をさらに理解することに役立つが、いかなる形式でも本発明を限定するものではない。指摘すべきことは、当業者にとっては、本発明の構想から逸脱することなく、さらにいくつかの変化及び改善を行うことができる。これらはいずれも本発明の保護範囲に属する。
【0039】
図１に示すように、本発明に係る三次元点群に基づいた初期視野角の制御と提示の方法によれば、
三次元メディアストリームを読み取って解析する解析ステップと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定する初期視野角決定ステップと、
初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示する三次元メディア提示ステップとを含む。
三次元メディアストリームを読み取って解析する解析ステップと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定する初期視野角決定ステップと、
初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示する三次元メディア提示ステップとを含む。
【0040】
図３－１を参照して分かるように、Ａ点群メディアの初期視点は点群データ自体のうちの１つの点であり、つまり点群目標のメディアコンテンツであり、デフォルトは三次元デカルト座標系の原点、又は指定座標系でのある点である。
【0041】
初期視点の定義は符号化層によって規定され、提示の目的のために用いられ、復号化補助情報とする。通常、初期視点は点群データ自体のうちの１つの点であり、三次元デカルト座標を採用して表現する。本実施例における他のユーザのインタラクション性の動作はシステム層によって規定される。
【0042】
好ましくは、本発明は三次元メディアコンテンツの提示に対してスケーリングすることをさらに含んでもよく、又は、ユーザのリアルタイム視聴位置に基づいて視聴視野範囲を決定することをさらに含んでもよく、又は三次元メディアコンテンツ自体が回転又は旋回をさらにサポートしてもよく、任意の少なくとも１つ又は任意の組み合わせはいずれも本発明の技術案に含まれる。以下、それぞれ変形例によって詳細に説明する。
【0043】
変形例（１）であって、三次元メディアコンテンツ自体の旋回又は回転をサポートする場合、
上述の解析ステップ及び初期視野角決定ステップに加えて、メディアコンテンツが回される時に、初期視点及び法線ベクトルの方向を変更し、これにより変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する視点変更ステップと、変更後の視点位置及び法線ベクトルの方向に基づいて三次元メディアストリームにおけるメディアコンテンツを提示する三次元メディア提示ステップをさらに含む。
上述の解析ステップ及び初期視野角決定ステップに加えて、メディアコンテンツが回される時に、初期視点及び法線ベクトルの方向を変更し、これにより変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する視点変更ステップと、変更後の視点位置及び法線ベクトルの方向に基づいて三次元メディアストリームにおけるメディアコンテンツを提示する三次元メディア提示ステップをさらに含む。
【0044】
変形例（２）であって、三次元メディアコンテンツの提示をスケーリングすることをサポートする場合、
上述の解析ステップ及び初期視野角決定ステップに加えて、コンテンツ制作側によって指定されたスケーリングスケールに基づいて、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定し、深度値に基づいてスケーリングスケールを設定するスケーリングスケール決定ステップと、スケーリングスケールで三次元メディアストリームにおける一部のメディアコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとをさらに含む。
上述の解析ステップ及び初期視野角決定ステップに加えて、コンテンツ制作側によって指定されたスケーリングスケールに基づいて、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定し、深度値に基づいてスケーリングスケールを設定するスケーリングスケール決定ステップと、スケーリングスケールで三次元メディアストリームにおける一部のメディアコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとをさらに含む。
【0045】
前記スケーリングスケールは点群データに対して設けられたスケーリングパラメータであり、スケーリングスケールに基づいて点群データの拡大又は縮小倍率を決定する。
【0046】
変形例（３）であって、ユーザのリアルタイム視聴位置をサポートする場合、
上述の解析ステップ及び初期視野角決定ステップに加えて、
ユーザのリアルタイム視聴位置（図３－１におけるユーザのリアルタイム視聴位置Ｏ）に基づいてユーザ位置の初期視点に対する相対変位をフィードバックする変位フィードバックステップと、ユーザ位置の初期視点に対する相対変位に基づいて現在の深度値を決定し、ユーザ位置視点における視野と深度値との関係に基づいて現在のユーザ位置の視聴視野範囲を決定する視聴視野範囲決定ステップと、三次元メディアストリームにおける視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとを含む。
上述の解析ステップ及び初期視野角決定ステップに加えて、
ユーザのリアルタイム視聴位置（図３－１におけるユーザのリアルタイム視聴位置Ｏ）に基づいてユーザ位置の初期視点に対する相対変位をフィードバックする変位フィードバックステップと、ユーザ位置の初期視点に対する相対変位に基づいて現在の深度値を決定し、ユーザ位置視点における視野と深度値との関係に基づいて現在のユーザ位置の視聴視野範囲を決定する視聴視野範囲決定ステップと、三次元メディアストリームにおける視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとを含む。
【0047】
ここで、相対変位はユーザのリアルタイム位置の初期視点に対する位置情報である。前記深度値は相対変位のノルムであり、つまりユーザのリアルタイム位置の初期視点に対する距離である。
【0048】
ここで、ユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定する計算ステップは、図３－３に示すように、ユーザのリアルタイム位置から初期視点への相対変位に基づいて、現在位置の深度値を決定する。現在位置の深度値の計算方法は以下のとおりである。
【数1】
【0049】
変形例（４）であって、三次元メディアコンテンツの提示に対してスケーリングし、ユーザのリアルタイム視聴位置に基づいて視聴視野範囲を決定し、及び三次元メディアコンテンツ自体が回転又は旋回する組み合わせ方法の場合、
上述の解析ステップ及び初期視野角決定ステップに加えて、ユーザのリアルタイム視聴位置（図３－１におけるユーザのリアルタイム視聴位置Ｏ）に基づいてユーザ位置の初期視点に対する相対変位をフィードバックする変位フィードバックステップと、ユーザ位置の初期視点に対する相対変位に基づいて現在の深度値を決定し、ユーザ位置視点における視野と深度値との関係に基づいて現在のユーザ位置の視聴視野範囲を決定する視聴視野範囲決定ステップと、コンテンツ制作側によって指定されたスケーリングスケールに基づいて、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定し、深度値に基づいてスケーリングスケールを設定するスケーリングスケール決定ステップと、メディアコンテンツが回される時に、初期視点及び法線ベクトルの方向を変更し、これにより変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する視点変更ステップと、三次元メディアストリームにおける視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとを含む。
上述の解析ステップ及び初期視野角決定ステップに加えて、ユーザのリアルタイム視聴位置（図３－１におけるユーザのリアルタイム視聴位置Ｏ）に基づいてユーザ位置の初期視点に対する相対変位をフィードバックする変位フィードバックステップと、ユーザ位置の初期視点に対する相対変位に基づいて現在の深度値を決定し、ユーザ位置視点における視野と深度値との関係に基づいて現在のユーザ位置の視聴視野範囲を決定する視聴視野範囲決定ステップと、コンテンツ制作側によって指定されたスケーリングスケールに基づいて、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定し、深度値に基づいてスケーリングスケールを設定するスケーリングスケール決定ステップと、メディアコンテンツが回される時に、初期視点及び法線ベクトルの方向を変更し、これにより変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する視点変更ステップと、三次元メディアストリームにおける視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとを含む。
【0050】
ここで、相対変位はユーザのリアルタイム位置の初期視点に対する位置情報である。前記深度値は相対変位のノルムであり、つまりユーザ位置の初期視点に対する距離である。
【0051】
ここで、ユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定する計算ステップは、図３－３に示すように、ユーザのリアルタイム位置から初期視点への相対変位に基づいて、現在位置の深度値を決定する。現在位置の深度値の計算方法は以下のとおりである。
【数2】
【0052】
前記スケーリングスケールは点群データに対して設けられたスケーリングパラメータであり、スケーリングスケールに基づいて点群データの拡大又は縮小倍率を決定する。
【0053】
また、本発明は三次元点群に基づいた初期視野角の制御及び提示のシステムを提供し、
三次元メディアストリームを読み取って解析するための解析モジュールと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、
初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとを含む。
三次元メディアストリームを読み取って解析するための解析モジュールと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、
初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとを含む。
【0054】
また、図２に示すように、本実施例は三次元点群に基づいた初期視野角の制御及び提示のシステムをさらに提供し、
三次元メディアストリームを読み取って解析するための解析モジュールと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、
ユーザのリアルタイム視聴位置の初期視点に対する相対変位をフィードバックするための変位フィードバックモジュールと、
三次元メディアコンテンツ制作側によって指定されたスケーリングスケールを決定し、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を決定し、深度値に基づいてスケーリングスケールを決定するためのスケーリングスケール決定モジュールと、
変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定するための変更視野角決定モジュールと、
ユーザ位置視点における視野と深度との関係に基づいて現在のユーザ位置の視聴視野範囲を決定するための視聴視野範囲決定モジュールと、
三次元メディアストリームにおける、視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示するための三次元メディア提示モジュールとを含む。
三次元メディアストリームを読み取って解析するための解析モジュールと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、
ユーザのリアルタイム視聴位置の初期視点に対する相対変位をフィードバックするための変位フィードバックモジュールと、
三次元メディアコンテンツ制作側によって指定されたスケーリングスケールを決定し、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を決定し、深度値に基づいてスケーリングスケールを決定するためのスケーリングスケール決定モジュールと、
変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定するための変更視野角決定モジュールと、
ユーザ位置視点における視野と深度との関係に基づいて現在のユーザ位置の視聴視野範囲を決定するための視聴視野範囲決定モジュールと、
三次元メディアストリームにおける、視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示するための三次元メディア提示モジュールとを含む。
【0055】
本実施例において三次元点群に基づく初期視野角の制御及び提示の方法及びシステムは、ユーザの三次元視覚メディアに対する初期の提示要求を満たすように、ユーザが三次元点群メディアコンテンツを消費する時の初期視聴方向を指示することによって、ユーザが三次元メディアコンテンツを初期に消費する時にコンテンツ制作側が指定した初期視聴角度、つまりユーザ関心領域を視聴することができる。また、三次元点群に基づく初期視野角の制御及び提示の方法及びシステムはスケール変換、視野角変更機能をサポートし、さらに点群メディアスケーリング及び回転などのシーンでのユーザのニーズ及び体験を満たす。同時に、ユーザのインタラクションシーンを満たす三次元点群メディアコンテンツを取得するように、三次元点群に基づく初期視野角の制御及び提示の方法及びシステムはユーザが三次元点群メディアコンテンツを消費する時のインタラクション動作を指示することができる。
【0056】
実際の応用シーンを参照し、以下に添付の図面及び具体的な実施例を参照して本発明における技術案をより詳細に説明する。
【0057】
三次元点群デジタル文化遺産展示を例とする。文化遺産のデジタル化はレーザ走査技術を利用して文化遺産の三次元点群データを取得して、最終的に文化遺産の三次元再構成を実現し、文化財をアーカイブし、文化遺産の内容を恒久的に、完全に展示する。異なる文化財のタイプ、例えば大型文化財の建築、小型文化財、大型遺跡シーンなどに対して、ユーザの消費ニーズも同じではない。
【0058】
実施例１
小型文化財の三次元点群モデルに対して、メディアコンテンツ制作側はユーザがメディアコンテンツファイルを開く時に提示される初期方向を指定し、つまり初期視点の位置情報、初期視点の法線ベクトル情報、初期視点の正方向ベクトル情報を指定することができ、これによりユーザに、違和感のある角度ではなく、興味のある初期提示領域を提供する。
小型文化財の三次元点群モデルに対して、メディアコンテンツ制作側はユーザがメディアコンテンツファイルを開く時に提示される初期方向を指定し、つまり初期視点の位置情報、初期視点の法線ベクトル情報、初期視点の正方向ベクトル情報を指定することができ、これによりユーザに、違和感のある角度ではなく、興味のある初期提示領域を提供する。
【0059】
実施例２
デジタル博物館の文化財展示シーンに対して、点群物体の回転又は旋回シーンをサポートする必要がある。次の時刻にユーザが、いくつかの違和感のある角度ではなく、依然としてその興味のある部分を見ることができることを保証するように、初期時刻に点群は初期視聴方向を提示し、点群目標の回転又は旋回に伴って、次の時刻の提示方向を指定する必要があり、具体的には回転又は旋回の変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する。また、ユーザの全方位、マルチスケールで文化財の局所的な細部又は全体的なプロファイルを観察することを保証するように、点群物体のスケーリング機能をサポートする必要があり、具体的には物体のスケーリングスケール又はスケーリング係数を決定する。
デジタル博物館の文化財展示シーンに対して、点群物体の回転又は旋回シーンをサポートする必要がある。次の時刻にユーザが、いくつかの違和感のある角度ではなく、依然としてその興味のある部分を見ることができることを保証するように、初期時刻に点群は初期視聴方向を提示し、点群目標の回転又は旋回に伴って、次の時刻の提示方向を指定する必要があり、具体的には回転又は旋回の変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する。また、ユーザの全方位、マルチスケールで文化財の局所的な細部又は全体的なプロファイルを観察することを保証するように、点群物体のスケーリング機能をサポートする必要があり、具体的には物体のスケーリングスケール又はスケーリング係数を決定する。
【0060】
実施例３
図３－１及び図３－２に示すように、大型遺跡シーンの三次元点群モデル、例えば仮想現実博物館に対して、ユーザは展示領域内で周囲の三次元点群シーン及び近傍の三次元点群物体と相互に作用することができ、見られる展示領域はユーザの移動する位置と一定の関係を呈して変化し、現実でのユーザが視聴対象に「接近する」及び視聴対象から「離れる」ことの効果を模擬し、つまりユーザの実際の視聴視野がインタラクション動作（「リアルタイム相対変位」と記す）に伴った適応的な調整をサポートする。例えば、没入式のユーザ体験を獲得するように、ユーザは展示物に接近する動作によってシーンにおけるより詳細な部分を観察することができる。
図３－１及び図３－２に示すように、大型遺跡シーンの三次元点群モデル、例えば仮想現実博物館に対して、ユーザは展示領域内で周囲の三次元点群シーン及び近傍の三次元点群物体と相互に作用することができ、見られる展示領域はユーザの移動する位置と一定の関係を呈して変化し、現実でのユーザが視聴対象に「接近する」及び視聴対象から「離れる」ことの効果を模擬し、つまりユーザの実際の視聴視野がインタラクション動作（「リアルタイム相対変位」と記す）に伴った適応的な調整をサポートする。例えば、没入式のユーザ体験を獲得するように、ユーザは展示物に接近する動作によってシーンにおけるより詳細な部分を観察することができる。
【0061】
このようなシーンで、三次元点群メディアコンテンツの提示時の初期方向、回転展示をするか否かの情報をサポートする以外に、ユーザはさらに没入的に三次元点群のメディアコンテンツを消費することができる。ユーザがシーン内で歩く時に視聴対象に「近接する」及び視聴対象から「離れる」ことの効果の要求を満たすように、ユーザがシーン内で自由に歩くことをサポートすると、この時にクライアントはユーザのリアルタイム位置情報を測位することによって、ユーザのリアルタイム相対変位をサーバに直接フィードバックし、サーバはフィードバックされたユーザのリアルタイム位置情報に基づいて現在のユーザの視聴位置が初期視点に対する相対距離つまり深度値を得て、解析された深度値に基づいて現在位置のスケーリング係数及びユーザが視聴できる領域範囲を決定し、次に現在のユーザの視聴位置に対応する視聴視野範囲をユーザに提示することができる。
【0062】
上述の目的を実現するために、三次元点群メディアデータのカプセル化情報に新たな指示情報を追加する必要があり、前記指示情報は、
初期視点の位置情報である情報１と、
初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、
初期視点の正方向ベクトル情報である情報３とを含み、
三次元メディアのスケーリングスケール情報である情報４と、
変更後の視点の位置情報、変更後の視点の法線ベクトルの変更後の視点に対する位置情報である情報５と、
リアルタイム相対変位であって、ユーザのリアルタイム位置の初期視点に対する位置情報である情報６と、
ユーザのリアルタイム位置に基づいて対応する視聴視野範囲を調整する情報７とのうちの少なくとも１つの情報を含む。
初期視点の位置情報である情報１と、
初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、
初期視点の正方向ベクトル情報である情報３とを含み、
三次元メディアのスケーリングスケール情報である情報４と、
変更後の視点の位置情報、変更後の視点の法線ベクトルの変更後の視点に対する位置情報である情報５と、
リアルタイム相対変位であって、ユーザのリアルタイム位置の初期視点に対する位置情報である情報６と、
ユーザのリアルタイム位置に基づいて対応する視聴視野範囲を調整する情報７とのうちの少なくとも１つの情報を含む。
【0063】
三次元メディアコンテンツの初期視野角及び提示に対して情報識別を行い、識別情報は初期視点の位置情報、初期視点の法線ベクトル情報、初期視点の正方向ベクトル情報、スケーリングスケール情報、変更後の視点位置情報、変更後の視点の法線ベクトル情報、ユーザのリアルタイム視聴位置情報及び現在のユーザ視聴位置に対応する視聴視野範囲を指示する。
【0064】
以上の問題に対して、必要に応じて三次元メディアストリームをカプセル化して伝送する時に、以下のような指示情報及びフィールドを合理的に付加することができる。
【0065】
ｖｉｅｗｐｏｉｎｔ＿ｘ：初期視点位置のｘ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｙ：初期視点位置のｙ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｚ：初期視点位置のｚ座標を指示する情報である。
ｎｏｒｍａｌ＿ｘ：初期視点の法線ベクトルの初期視点に対するｘ座標を指示する情報である。
ｎｏｒｍａｌ＿ｙ：初期視点の法線ベクトルの初期視点に対するｙ座標を指示する情報である。
ｎｏｒｍａｌ＿ｚ：初期視点の法線ベクトルの初期視点に対するｚ座標を指示する情報である。
ｓｃａｌｅ＿ｆａｃｔｏｒ：スケーリング係数を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ：初期視点の正方向ベクトルの初期視点に対するｘ座標を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ：初期視点の正方向ベクトルの初期視点に対するｙ座標を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ：初期視点の正方向ベクトルの初期視点に対するｚ座標を指示する情報である。
ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ：メディア再生過程において回転をサポートするか否か、つまり初期視野角が変更されるか否かを指示する情報であり、ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇが０であることはメディア再生過程において回転をサポートしないことを示し、つまり初期視野角が変更されず、そうでなければ、初期視野角が変更され、変更後の視点位置情報はｖｉｅｗｐｏｉｎｔ＿ｒｘ、ｖｉｅｗｐｏｉｎｔ＿ｒｙ、ｖｉｅｗｐｏｉｎｔ＿ｒｚで示され、変更後の視点の法線ベクトル情報はｎｏｒｍａｌ＿ｒｘ、ｎｏｒｍａｌ＿ｒｙ、ｎｏｒｍａｌ＿ｒｚで示される。
ｖｉｅｗｐｏｉｎｔ＿ｙ：初期視点位置のｙ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｚ：初期視点位置のｚ座標を指示する情報である。
ｎｏｒｍａｌ＿ｘ：初期視点の法線ベクトルの初期視点に対するｘ座標を指示する情報である。
ｎｏｒｍａｌ＿ｙ：初期視点の法線ベクトルの初期視点に対するｙ座標を指示する情報である。
ｎｏｒｍａｌ＿ｚ：初期視点の法線ベクトルの初期視点に対するｚ座標を指示する情報である。
ｓｃａｌｅ＿ｆａｃｔｏｒ：スケーリング係数を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ：初期視点の正方向ベクトルの初期視点に対するｘ座標を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ：初期視点の正方向ベクトルの初期視点に対するｙ座標を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ：初期視点の正方向ベクトルの初期視点に対するｚ座標を指示する情報である。
ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ：メディア再生過程において回転をサポートするか否か、つまり初期視野角が変更されるか否かを指示する情報であり、ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇが０であることはメディア再生過程において回転をサポートしないことを示し、つまり初期視野角が変更されず、そうでなければ、初期視野角が変更され、変更後の視点位置情報はｖｉｅｗｐｏｉｎｔ＿ｒｘ、ｖｉｅｗｐｏｉｎｔ＿ｒｙ、ｖｉｅｗｐｏｉｎｔ＿ｒｚで示され、変更後の視点の法線ベクトル情報はｎｏｒｍａｌ＿ｒｘ、ｎｏｒｍａｌ＿ｒｙ、ｎｏｒｍａｌ＿ｒｚで示される。
【0066】
ｖｉｅｗｐｏｉｎｔ＿ｒｘ：変更後の視点位置のｘ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｒｙ：変更後の視点位置のｙ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｒｚ：変更後の視点位置のｚ座標を指示する情報である。
ｎｏｒｍａｌ＿ｒｘ：変更後の視点の法線ベクトルの変更後の視点に対するｘ座標を指示する情報である。
ｎｏｒｍａｌ＿ｒｙ：変更後の視点の法線ベクトルの変更後の視点に対するｙ座標を指示する情報。
ｎｏｒｍａｌ＿ｒｚ：変更後の視点の法線ベクトルの変更後の視点に対するｚ座標を指示する情報である。
ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇ：メディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートするか否かを指示する情報であり、ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇが０であることはメディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートしないことを示し、そうでなければ、メディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートし、ユーザのリアルタイム位置情報はｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚで示される。
ｖｉｅｗｐｏｉｎｔ＿ｒｙ：変更後の視点位置のｙ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｒｚ：変更後の視点位置のｚ座標を指示する情報である。
ｎｏｒｍａｌ＿ｒｘ：変更後の視点の法線ベクトルの変更後の視点に対するｘ座標を指示する情報である。
ｎｏｒｍａｌ＿ｒｙ：変更後の視点の法線ベクトルの変更後の視点に対するｙ座標を指示する情報。
ｎｏｒｍａｌ＿ｒｚ：変更後の視点の法線ベクトルの変更後の視点に対するｚ座標を指示する情報である。
ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇ：メディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートするか否かを指示する情報であり、ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇが０であることはメディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートしないことを示し、そうでなければ、メディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートし、ユーザのリアルタイム位置情報はｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚで示される。
【0067】
ｖｐｏｓｉｔｉｏｎ＿ｘ：ユーザのリアルタイム位置の初期視点に対するｘ座標を指示する情報である。
ｖｐｏｓｉｔｉｏｎ＿ｙ：ユーザのリアルタイム位置の初期視点に対するｙ座標を指示する情報である。
ｖｐｏｓｉｔｉｏｎ＿ｚ：ユーザのリアルタイム位置の初期視点に対するｚ座標を指示する情報である。
ｍｏｖｅ＿ｄｅｐｔｈ：ユーザのリアルタイム位置の初期視点に対する相対距離、つまり深度を指示する情報であり、フィードバックされたユーザのリアルタイム位置の座標情報ｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚに基づいて得ることができる。
ｖｉｅｗｉｎｇ＿ｒａｎｇｅ＿ｆｉｅｌｄ：ユーザがリアルタイム位置で視聴できる領域範囲を指示する情報であり、視聴深度、スケーリング係数に基づいて決定することができる。
ｖｐｏｓｉｔｉｏｎ＿ｙ：ユーザのリアルタイム位置の初期視点に対するｙ座標を指示する情報である。
ｖｐｏｓｉｔｉｏｎ＿ｚ：ユーザのリアルタイム位置の初期視点に対するｚ座標を指示する情報である。
ｍｏｖｅ＿ｄｅｐｔｈ：ユーザのリアルタイム位置の初期視点に対する相対距離、つまり深度を指示する情報であり、フィードバックされたユーザのリアルタイム位置の座標情報ｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚに基づいて得ることができる。
ｖｉｅｗｉｎｇ＿ｒａｎｇｅ＿ｆｉｅｌｄ：ユーザがリアルタイム位置で視聴できる領域範囲を指示する情報であり、視聴深度、スケーリング係数に基づいて決定することができる。
【0068】
以下の実施例において説明を容易にするために、上述の１組の指示情報を引用して説明するが、他の実施例において、他の情報であってもよいし、他の情報である可能性がある。
【0069】
以上の情報に基づいて、ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳａｍｐｌｅを例とし、以下本発明におけるコードを参照して三次元点群に基づく初期視野角の制御及び提示のシステムにおけるモジュール定義に対して説明する。ここで、各指示情報の指示長、シンボルタイプはそれぞれソースコードから分かるため、ここでは説明を省略する。
【0070】
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳａｍｐｌｅ（）｛
ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔ（）；
ＲｏｔａｔｉｏｎＩｎｆｏＳｔｒｕｃｔ（）；
ＲｅａｌＴｉｍｅＩｎｔｅｒａｃｔｉｏｎＩｎｆｏＳｔｒｕｃｔ（）；
ｂｉｔ（７）ｒｅｓｅｒｖｅｄ＝０；
｝
初期視聴方向の定義において、初期視聴方向モジュール（選択必須）、回転情報モジュール（選択可能）、リアルタイムインタラクション情報モジュール（選択可能）を含む。
ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔ（）；
ＲｏｔａｔｉｏｎＩｎｆｏＳｔｒｕｃｔ（）；
ＲｅａｌＴｉｍｅＩｎｔｅｒａｃｔｉｏｎＩｎｆｏＳｔｒｕｃｔ（）；
ｂｉｔ（７）ｒｅｓｅｒｖｅｄ＝０；
｝
初期視聴方向の定義において、初期視聴方向モジュール（選択必須）、回転情報モジュール（選択可能）、リアルタイムインタラクション情報モジュール（選択可能）を含む。
【0071】
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔ（）｛
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｚ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｚ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｓｃａｌｅ＿ｆａｃｔｏｒ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ；
｝
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｚ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｚ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｓｃａｌｅ＿ｆａｃｔｏｒ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ；
｝
【0072】
上述の初期視聴方向モジュール（選択必須）において、初期視聴方向モジュールは、初期視点位置のｘ座標情報、初期視点位置のｙ座標を指示する情報、初期視点位置のｚ座標を指示する情報と、初期視点の法線ベクトルの初期視点に対するｘ座標を指示する情報、初期視点の法線ベクトルの初期視点に対するｙ座標を指示する情報、初期視点の法線ベクトルの初期視点に対するｚ座標を指示する情報と、初期視点の正方向ベクトルの初期視点に対するｘ座標を指示する情報、初期視点の正方向ベクトルの初期視点に対するｙ座標を指示する情報、初期視点の正方向ベクトルの初期視点に対するｚ座標を指示する情報とを含む。
【0073】
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＲｏｔａｔｉｏｎＩｎｆｏＳｔｒｕｃｔ（ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ）｛
ｉｆ（ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ）｛
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｚ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｚ；
｝
｝
ｉｆ（ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ）｛
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｚ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｚ；
｝
｝
【0074】
上述の回転情報モジュール（選択可能）において、メディア再生過程において回転をサポートするか否か、つまり初期視野角が変更されるか否かの情報が存在する場合、初期視聴方向モジュールは回転情報モジュールを含むべきである。回転情報モジュールは、変更後の視点位置のｘ座標を指示する情報、変更後の視点位置のｙ座標を指示する情報、変更後の視点位置のｚ座標を指示する情報と、変更後の視点の法線ベクトルの変更後の視点に対するｘ座標を指示する情報、変更後の視点の法線ベクトルの変更後の視点に対するｙ座標を指示する情報、変更後の視点の法線ベクトルの変更後の視点に対するｚ座標を指示する情報とを含む。
【0075】
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＲｅａｌＴｉｍｅＩｎｔｅｒａｃｔｉｏｎＳｔｒｕｃｔ（ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇ）｛
ｉｆ（ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇ）｛
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｚ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｍｏｖｅ＿ｄｅｐｔｈ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｉｎｇ＿ｒａｎｇｅ＿ｆｉｅｌｄ；
｝
｝
ｉｆ（ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇ）｛
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｚ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｍｏｖｅ＿ｄｅｐｔｈ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｉｎｇ＿ｒａｎｇｅ＿ｆｉｅｌｄ；
｝
｝
【0076】
上述のリアルタイムインタラクション情報モジュール（選択可能）において、メディア再生過程でユーザ位置のリアルタイムインタラクションをサポートするか否かを指示する情報が存在する場合、初期視聴方向モジュールはリアルタイムインタラクション情報モジュールを含むべきである。リアルタイムインタラクション情報モジュールは、ユーザのリアルタイム位置の初期視点に対するｘ座標を指示する情報、ユーザのリアルタイム位置の初期視点に対するｙ座標を指示する情報、ユーザのリアルタイム位置の初期視点に対するｚ座標を指示する情報、ユーザのリアルタイム位置の初期視点に対する相対距離、即ち深度を指示する情報、スケーリング係数を指示する情報、ユーザがリアルタイム位置で視聴できる領域範囲を指示する情報を含む。
【0077】
上述の情報及び各フィールドの意味は、既に前文において説明している。
【0078】
注意すべきことは、本発明においては上述のコードにおける構成構造及びフィールドを例として伸縮可能な拡張特性を説明しているだけであって、上記構成構造、フィールド及びその大きさに限定されるものではない。
【0079】
本実施例においてはＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳａｍｐｌｅのみを例とし、本発明の権利範囲の制限ではなく、提案された解決態様を明らかにしているが、これらの態様は同様に他のファイルのカプセル化プロトコルに用いることができる。
【0080】
上述の表現に基づいて、以下異なる具体的な応用実例における異なる指示情報の定義説明を示す。
【0081】
三次元点群デジタル文化遺産展示を例とする。文化遺産のデジタル化はレーザ走査技術を利用して文化遺産の三次元点群データを取得して、最終的に文化遺産の三次元再構成を実現し、文化財をアーカイブし、文化遺産の内容を恒久的に、完全に展示する。異なる文化財のタイプ、例えば大型文化財の建築、小型文化財、大型遺跡シーンなどに対して、ユーザの消費ニーズも同じではない。
【0082】
具体的には、小型文化財の三次元点群モデルに対して、メディアコンテンツ制作側はユーザがメディアコンテンツファイルを開く時に提示される初期方向、スケーリングスケール及び回転表示をするか否かを指定することができ、つまり初期視点の位置ｖｉｅｗｐｏｉｎｔ＿ｘ、ｖｉｅｗｐｏｉｎｔ＿ｙ、ｖｉｅｗｐｏｉｎｔ＿ｚ情報、初期視点の法線ベクトルｎｏｒｍａｌ＿ｘ、ｎｏｒｍａｌ＿ｙ、ｎｏｒｍａｌ＿ｚ情報、初期視点の正方向ベクトル情報ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ、ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ、ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ、スケーリング係数ｓｃａｌｅ＿ｆａｃｔｏｒ、及び回転をサポートするか否かの要求に基づいて物体の回転の変更の初期視点位置を指定するｖｉｅｗｐｏｉｎｔ＿ｒｘ、ｖｉｅｗｐｏｉｎｔ＿ｒｙ、ｖｉｅｗｐｏｉｎｔ＿ｒｚ情報、変更後の視点の法線ベクトルｎｏｒｍａｌ＿ｒｘ、ｎｏｒｍａｌ＿ｒｙ、ｎｏｒｍａｌ＿ｒｚ情報を指定することによって、全方位、マルチスケールで文化財を観察することができる。
【0083】
具体的には、図３－１及び図３－２に示すように、大型遺跡シーンの三次元点群モデル、例えば仮想現実博物館に対して、ユーザは展示領域内で周囲の三次元点群シーン及び近傍の三次元点群物体と相互に作用することができ、見られる展示領域はユーザの移動する位置と一定の関係を呈して変化し、現実でのユーザが視聴対象に「接近する」及び視聴対象から「離れる」ことの効果を模擬し、つまりユーザの実際の視聴視野がインタラクション動作（「リアルタイム相対変位」と記す）に伴った適応的な調整をサポートする。例えば、没入式のユーザ体験を獲得するように、ユーザは展示物に接近する動作によってシーンにおけるより詳細な部分を観察することができる。このようなシーンで、三次元点群メディアコンテンツの提示する時の初期方向、スケーリングスケール、回転展示をするか否かの情報、つまり初期視点の位置ｖｉｅｗｐｏｉｎｔ＿ｘ、ｖｉｅｗｐｏｉｎｔ＿ｙ、ｖｉｅｗｐｏｉｎｔ＿ｚ情報、初期視点の法線ベクトルｎｏｒｍａｌ＿ｘ、ｎｏｒｍａｌ＿ｙ、ｎｏｒｍａｌ＿ｚ情報、初期視点の正方向ベクトル情報ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ、ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ、ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ、スケーリング係数ｓｃａｌｅ＿ｆａｃｔｏｒ、及び回転をサポートするか否かの要求に基づいて物体の回転の変更の初期視点位置ｖｉｅｗｐｏｉｎｔ＿ｒｘ、ｖｉｅｗｐｏｉｎｔ＿ｒｙ、ｖｉｅｗｐｏｉｎｔ＿ｒｚを指定する情報、変更後の視点の法線ベクトルｎｏｒｍａｌ＿ｒｘ、ｎｏｒｍａｌ＿ｒｙ、ｎｏｒｍａｌ＿ｒｚ情報をサポートする以外に、ユーザはさらに没入的に三次元点群メディアコンテンツを消費することができる。
【0084】
図３－３に示すように、ユーザがシーン内で歩く時に視聴対象に「接近する」及び視聴対象から「離れる」ことの効果の要求を満たすように、ユーザがシーン内で自由に歩くことをサポートし、例えばユーザはＡ位置（ユーザの前の時刻での視聴位置）からＢ位置（現在のユーザ視聴位置）に移動し、ユーザ位置と初期視点との間の深度値ＯＢはユーザ位置と初期視点との間の相対変位ＯＡのモジュロであり、この時にクライアントはユーザのリアルタイム位置ｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚ情報を測位することによって、ユーザのリアルタイム相対変位をサーバに直接的にフィードバックし、サーバはフィードバックされたユーザのリアルタイム位置ｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚ情報に基づいて現在のユーザの視聴位置の初期視点に対する相対距離つまり深度値ｍｏｖｅ＿ｄｅｐｔｈを得て、解析された深度値、スケーリング係数に基づいて現在位置のユーザが視聴できる領域範囲ｖｉｅｗｉｎｇ＿ｒａｎｇｅ＿ｆｉｅｌｄを決定し、次に現在のユーザの視聴位置に対応する視聴視野範囲をユーザに提示する。
【0085】
また、本発明は点群システムをさらに含み、図に示されないが、当該三次元点群システムは上述の実施例のいずれか一項に記載の三次元点群に基づく初期視野角の制御及び提示のシステムを含む。
【0086】
当業者であれば、純粋なコンピュータ可読プログラムコードの方法で本発明に係るシステム、装置及びその各モジュールを実現する以外に、方法ステップを論理的プログラミングすることによって本発明に係るシステム、装置及びその各モジュールを論理ゲート、スイッチ、専用集積回路、プログラマブルロジックコントローラ及び組み込みマイクロコントローラなどの形式で同じプログラムを完全に実現することができる。したがって、本発明に係るシステム、デバイス及びその各モジュールはハードウェアパーツであると考えられ、それに含まれる様々なプログラムを実現するためのモジュールもハードウェア内の構造とみなしてもよく、様々な機能を実現するためのモジュールを実現方法のソフトウェアプログラムまたはハードウェアパーツ内の構造であってもよいとみなすことができる。
【0087】
以上、本発明の具体的な実施例について説明した。理解すべきことは、本発明は上述の特定の実施形態に限定されるものではなく、当業者は特許請求の範囲内で様々な変更又は修正を行うことができ、これは本発明の本質的な内容に影響を与えない。衝突しない場合、本願の実施例及び実施例における特徴は任意に互いに組み合わせることができる。
【図1】
【図2】
【図3-1】
【図3-2】
【図3-3】