特許 7511026 画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-26

(45)【発行日】2024-07-04

(54)【発明の名称】画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器

(51)【国際特許分類】

   G06T 9/00 20060101AFI20240627BHJP

【ＦＩ】

G06T9/00

【請求項の数】 12

(21)【出願番号】P 2022567269

(86)(22)【出願日】2021-05-06

(65)【公表番号】

(43)【公表日】2023-06-13

(86)【国際出願番号】 CN2021091865

(87)【国際公開番号】W WO2021227919

(87)【国際公開日】2021-11-18

【審査請求日】2022-12-08

(31)【優先権主張番号】202010388654.1

(32)【優先日】2020-05-09

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517372494

【氏名又は名称】維沃移動通信有限公司

【氏名又は名称原語表記】ＶＩＶＯ ＭＯＢＩＬＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１， ｖｉｖｏ Ｒｏａｄ， Ｃｈａｎｇ’ａｎ， Ｄｏｎｇｇｕａｎ，Ｇｕａｎｇｄｏｎｇ ５２３８６３， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】范 暁偉

【審査官】岩井 健二

(56)【参考文献】

【文献】米国特許出願公開第２０２０／００１２８５４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１９９９９３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２４３６１７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０８００９９７９（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７９１８６４６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ９／００ － ９／４０

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

第１シーンの３次元画面情報を取得するステップと、
前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するステップであって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含み、前記基準点データに対応する基準点が存在する位置は前記第１シーンの３次元画面情報を取得する電子機器の存在する位置であるステップと、を含む、画像データの符号化方法。

【請求項2】

前記ファイルヘッダ情報は、ファイル種類名、ファイルサイズ及び解像度の少なくとも１つを含み、前記インデックス情報はタイムスタンプ、基準点の経度、緯度及び高度を含み、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む、請求項１に記載の画像データの符号化方法。

【請求項3】

前記データ情報は、３次元点の属するオブジェクトの種類を識別するためのセマンティックラベルをさらに含む、請求項２に記載の画像データの符号化方法。

【請求項4】

前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化する前記ステップの後に、
符号化された第１シーンの３次元画面情報に対する編集入力を受信するステップであって、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられるステップをさらに含む、請求項１に記載の画像データの符号化方法。

【請求項5】

前記第１シーンは、現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであり、前記第１シーンが拡張現実シーンである場合に、前記データ情報は前記基準点に対する３次元点の横座標、縦座標、垂直座標及び３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルを含む、請求項１に記載の画像データの符号化方法。

【請求項6】

符号化された第１シーンの３次元画面情報を取得するステップであって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含み、前記基準点データに対応する基準点が存在する位置は前記第１シーンの３次元画面情報を取得する電子機器の存在する位置であるステップと、
符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るステップと、
解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するステップと、を含む、表示方法。

【請求項7】

前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得る前記ステップは、
前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、符号化された第１シーンの３次元画面情報のファイル種類名、ファイルサイズ及び解像度を得るステップと、
前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るステップと、
前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るステップと、を含む、請求項６に記載の表示方法。

【請求項8】

前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、
前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は、現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するステップを含む、請求項７に記載の表示方法。

【請求項9】

解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップの前に、
現実シーンである第２シーンの３次元画面情報を取得するステップをさらに含み、
解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、
前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るステップと、
融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するステップと、を含む、請求項７に記載の表示方法。

【請求項10】

前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得る前記ステップは、
前記第２シーンにおける環境光源の位置と方向を取得するステップと、
前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するステップと、を含む、請求項９に記載の表示方法。

【請求項11】

プロセッサ、メモリ及び前記メモリに記憶され且つ前記プロセッサ上で実行可能なプログラム又は命令を備え、前記プログラム又は命令は、前記プロセッサによって実行されると、請求項１から５のいずれか１項に記載の画像データの符号化方法のステップを実現するか、又は前記プログラム又は命令は、前記プロセッサによって実行されると、請求項６から１０のいずれか１項に記載の表示方法のステップを実現する、電子機器。

【請求項12】

プロセッサによって実行されると、請求項１から５のいずれか１項に記載の画像データの符号化方法のステップを実現するか、又は前記プロセッサによって実行されると、請求項６から１０のいずれか１項に記載の表示方法のステップを実現するプログラム又は命令が記憶されている、可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２０年５月９日に中国で出願した中国特許出願番号Ｎｏ．２０２０１０３８８６５４．１の優先権を主張し、その全ての内容が参照によって本文に組み込まれる。

【0002】

本願は、拡張現実の技術分野に属し、特に、画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器に関する。

【背景技術】

【0003】

インターネット技術の急速な発展に伴い、ネットワーク技術に基づく遠隔インタラクションはますます多くの分野で広く応用されている。携帯電話やコンピュータ等の電子機器のプロセッサが進んでいるため、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，ＡＲ）のアプリケーションはますます人々に受け入れられており、遠隔インタラクション分野における拡張現実技術の応用は、まったく新しい遠隔コミュニケーション、交流、生活及び仕事のやり方となる。

【0004】

本願の実現過程において、発明者は、従来技術に少なくとも、拡張現実に基づく遠隔インタラクションを実現した後に、遠隔インタラクションプロセスにおける３次元画面情報が効率的で統一されたメディアファイルフォーマットで保存されておらず、保存された３次元画面情報が混乱しており、後続の解析と再生には不便であるという問題があることを見出した。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は、記憶された３次元画面情報が混乱し、後続の解析と再生には不便であるという、従来技術に存在する問題を解決できる画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記技術的課題を解決するために、本願は、次のように実現される。

【0007】

第１の態様において、本願の実施例は、
第１シーンの３次元画面情報を取得するステップと、
前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するステップであって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含むステップと、を含む、画像データの符号化方法を提供する。

【0008】

第２の態様において、本願の実施例は、
符号化された第１シーンの３次元画面情報を取得するステップであって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含むステップと、
前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るステップと、
解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するステップと、を含む、表示方法を提供する。

【0009】

第３の態様において、本願の実施例は、
第１シーンの３次元画面情報を取得するための第１取得モジュールと、
前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するための第１処理モジュールであって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第１処理モジュールと、を備える、画像データの符号化装置を提供する。

【0010】

第４の態様において、本願の実施例は、
符号化された第１シーンの３次元画面情報を取得するための第２取得モジュールであって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第２取得モジュールと、
前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るための第１解析モジュールと、
解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するための表示モジュールと、を備える、表示装置を提供する。

【0011】

第５の態様において、本願の実施例は、プロセッサ、メモリ及び前記メモリに記憶され且つ前記プロセッサ上で実行可能なプログラム又は命令を備え、前記プログラム又は命令は、前記プロセッサによって実行されると、第１の態様に記載の画像データの符号化方法のステップを実現するか、又は前記プログラム又は命令は、前記プロセッサによって実行されると、第２の態様に記載の表示方法のステップを実現する、電子機器を提供する。

【0012】

第６態の様において、本願の実施例は、プロセッサによって実行されると、第１態様に記載の画像データの符号化方法のステップを実現するか、又は前記プロセッサによって実行されると、第２態様に記載の表示方法のステップを実現するプログラム又は命令が記憶されている、可読記憶媒体を提供する。

【0013】

第７の態様において、本願の実施例は、プロセッサ及び通信インタフェースを含み、前記通信インタフェースは前記プロセッサに結合され、前記プロセッサは、プログラム又は命令を実行して、第１の態様に記載の画像データの符号化方法のステップ又は第２の態様に記載の表示方法のステップを実現するために用いられる、チップを提供する。

【発明の効果】

【0014】

本願の実施例において、本願の画像データの符号化方法によれば、３次元画面情報を予め設定されたファイルフォーマットで符号化し、シーンの３次元画面情報を完全に保存することができ、且つ予め設定されたファイルフォーマットで処理されたファイルは後続の解析、読み取りが容易であり、シーンの解析と再生の速度が向上する。

【図面の簡単な説明】

【0015】

【図1】本願の実施例によって提供される画像データの符号化方法の手順模式図である。

【図2】本願の実施例によって提供される符号化された第１シーンの３次元画面情報のフォーマット模式図１である。

【図3】本願の実施例によって提供される符号化された第１シーンの３次元画面情報のフォーマット模式図２である。

【図4】本願の実施例によって提供される符号化された第１シーンの３次元画面情報のフォーマット模式図３である。

【図5】本願の実施例によって提供される表示方法の手順模式図である。

【図6】本願の実施例によって提供される画像データの符号化装置の構造模式図である。

【図7】本願の実施例によって提供される表示装置の構造模式図である。

【図8】本願の実施例による電子機器のハードウェア構造模式図である。

【発明を実施するための形態】

【0016】

以下において、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確に、完全に説明する。当然ながら、説明される実施例は本願の実施例の一部であり、全ての実施例ではない。本願における実施例に基づき、当業者が創造的な労力を要することなく得られた他の全ての実施例は、いずれも本願の保護範囲に属するものである。

【0017】

本願の明細書及び特許請求の範囲における「第１」、「第２」等の用語は、特定の順序又は先後順序を記述するものではなく、類似する対象を区別するためのものである。このように使用される用語は、本願の実施例がここで図示又は記述される以外の順序で実施できるように、適当な場合において互いに置き換えてもよいことを理解すべきである。なお、明細書及び特許請求の範囲における「及び／又は」は接続対象の少なくとも１つを表し、符号の「／」は、通常、前後の関連する対象が「又は」の関係にあることを表す。

【0018】

以下において、図面を参照しながら、本願の実施例によって提供される拡張現実のファイル処理方法を、具体的な実施例及びその応用シーンにより詳しく説明する。

【0019】

図１を参照する。図１は、本願の実施例によって提供される画像データの符号化方法の手順模式図である。図１に示すように、本願における画像データの符号化方法は、以下のステップを含んでもよい。

【0020】

ステップ１０１で、第１シーンの３次元画面情報を取得する。

【0021】

このステップでは、第１シーンの３次元画面情報が取得され、前記第１シーンは、電子機器が現在存在している現実シーンであってもよく、電子機器によって現在表示されている拡張現実シーン、即ち、仮想シーンと現実シーンを組み合わせた拡張現実シーンであってもよい。例示的に、前記第１シーンは、遠隔会議シーン等の遠隔ビデオインタラクションを行う際の現実シーンであってもよく、ＡＲデバイスを用いて遠隔インタラクションを行う過程において、ＡＲデバイスの位置する現実環境の３次元画面情報が取得され、別の例として、前記第１シーンは、遠隔ビデオインタラクションを行う際に表示される拡張現実シーン、即ち、相手側から伝送された仮想シーンとローカル側電子機器の現在存在している現実シーンとを融合させた拡張現実シーンであってもよい。

【0022】

本願の実施例において、第１シーンの３次元画面情報を取得する方法は、具体的には、第１シーンの３次元画面における３次元点の座標情報及びＲＧＢ画素値等の情報を取得するために、深度センサを備える深度カメラとＲＧＢ双眼カメラを用いて撮影してもよい。

【0023】

ステップ１０２で、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化し、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む。

【0024】

このステップでは、第１シーンの３次元画面情報を取得した後に、さらに前記３次元画面情報を符号化処理してもよく、つまり、予め設定されたファイルフォーマットで符号化してもよく、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、インデックス情報及びデータ情報を含んでもよい。即ち、予め設定されたファイルフォーマットで符号化処理された３次元画面情報は、いずれもファイルヘッダ情報、インデックス情報及びデータ情報を含んでもよい。符号化された第１シーンの３次元画面情報は、第１ファイルとして記憶できるため、第１ファイルに記録された情報は第１シーンに対応する情報であり、後続で第１シーンの画面を再生する必要がある場合に、第１ファイルを解析することで、迅速な再生を実現することができる。当然ながら、符号化された第１シーンの３次元画面情報を直接伝送し、相手側に送信して第１シーンの再生を行うようにしてもよい。

【0025】

本願の画像データの符号化方法によれば、３次元画面情報を予め設定されたファイルフォーマットで符号化し、シーンの３次元画面情報を完全に保存することができ、且つ予め設定されたファイルフォーマットで処理されたファイルは後続の解析、読み取りが容易であり、シーンの解析と再生の速度が向上する。

【0026】

本願の実施例において、前記ファイルヘッダ情報は、ファイルボディ情報を記録するために用いられ、前記インデックス情報は、前記第１シーンの３次元画面情報に対応する基準点データを記録するために用いられ、つまり、前記基準点が存在する位置は、前記第１シーンの３次元画面情報を取得する電子機器の存在する位置であり、前記データ情報は、前記第１シーンの３次元画面情報における３次元点データを記録するために用いられる。

【0027】

図２を参照する。図２は本願の実施例によって提供される符号化された第１シーンの３次元画面情報のフォーマット模式図１である。図２に示すように、本願の実施例において、符号化して得られた第１ファイルでは、前記ファイルヘッダ情報は、ファイル種類名（ｆｏｒｍａｔ）、ファイルサイズ（ｓｉｚｅ）、解像度（ｒｅｓｏｌｕｔｉｏｎ）のうちの少なくとも１つを含んでもよく、ファイルヘッダ情報を解析することで第１ファイルのファイル種類名、ファイルサイズ及び解像度を迅速に取得でき、ファイルサイズは、記録された第１シーンの３次元画面情報に対応するデータ量であり、前記解像度は第１シーンの３次元画面に対応する解像度である。前記インデックス情報はタイムスタンプ（ｔｉｍｅｓｔａｍｐ）、経度（ｌｏｎｇｉｔｕｄｅ）、緯度（ｌａｔｉｔｕｄｅ）及び高度（ａｌｔｉｔｕｄｅ）を含んでもよく、インデックス情報を解析することで、第１ファイルに記録された第１シーンの３次元画面情報に対応する基準点データを迅速に取得でき、つまり、インデックス情報におけるタイムスタンプは、第１シーンを記録する時刻を特定できるが、経度、緯度及び高度等は、ある時刻において、第１シーンの３次元画面情報を取得するのに使用される電子機器の存在する空間位置、即ち、第１シーンの３次元画面情報に対応する基準点の位置を特定するために用いられ、電子機器の取得範囲が一定であるため、基準点が特定された場合に、第１シーンの３次元画面情報が存在する空間範囲を特定することができる。前記データ情報は、３次元点の横座標（ｘ）、縦座標（ｙ）及び垂直座標（ｚ）、即ち、基準点に対する３次元点の横座標（ｘ）、縦座標（ｙ）及び垂直座標（ｚ）等を含んでもよく、データ情報を解析することで、３次元点の具体的なデータを迅速に取得でき、その後、基準点データと組み合わせることで、３次元点の実際の位置を迅速に算出でき、それにより、第１シーンの３次元点データが最大限で保持され、保存中のデータ紛失が回避される。

【0028】

図２に示すように、本願の実施例において、前記データ情報は、３次元点の属するオブジェクトの種別を表すために用いることができるセマンティックラベル（ｌａｂｅｌ）をさらに含んでもよく、例示的に、前記オブジェクトの種別は、記録された第１シーンにおける異なるオブジェクトを区別するために、人物（ｐｅｒｓｏｎ）、机（ｄｅｓｋ）、椅子（ｃｈａｉｒ）等を含んでもよく、前記セマンティックラベルは、上記で列挙したオブジェクトの種別のうちのいずれかであってもよく、前記セマンティックラベルによれば、この３次元点がどの人物、どの物体の一部に帰属するかを記述することができる。これにより、符号化された第１シーンの３次元画面情報における３次元点が合理的に分類され、第１シーンにおける各人物と物体がいずれも分類されて完全に保存されることが確保され、第１シーンの再生時に３次元点がその存在する空間位置だけで特定されることが回避され、後続の再生時のセマンティックラベルによる解析と構築が容易になる。

【0029】

図３を参照する。図３は、本願の実施例によって提供される符号化された第１シーンの３次元画面情報的フォーマット模式図２である。図３に示すように、符号化して得られた第１シーンの３次元画面情報において、データ情報は、横座標（ｘ）、縦座標（ｙ）、垂直座標（ｚ）の他に、ロール角（ｒｏｌｌ）、ヨー角（ｙａｗ）、ピッチ角（ｐｉｔｃｈ）、赤色チャネル（ｒ）、緑色チャネル（ｇ）、青色チャネル（ｂ）を含んでもよく、ロール角（ｒｏｌｌ）、ヨー角（ｙａｗ）、ピッチ角（ｐｉｔｃｈ）は、３次元点の法線方向を特定するために用いられ、赤色チャネル（ｒ）、緑色チャネル（ｇ）、青色チャネル（ｂ）は、３次元画素点の色を特定するために用いられる。

【0030】

図４を参照する。図４は、本願の実施例によって提供される符号化された第１シーンの３次元画面情報的フォーマット模式図３である。本願の実施例において、前述したように、前記第１シーンは、現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであってもよく、換言すれば、前記第１シーンは、電子機器が現在存在している現実シーンであってもよく、電子機器によって現在表示されている拡張現実シーン、即ち、仮想シーンと現実シーンを組み合わせた拡張現実シーンであってもよく、前記第１シーンが拡張現実シーンである場合に、前記データ情報は、前記基準点に対する３次元点の横座標（ｘ）、縦座標（ｙ）、垂直座標（ｚ）及び仮想／現実シーンラベル（ｔｙｐｅ）を含み、前記仮想／現実シーンラベルは、３次元点の属する仮想／現実シーンの種類を識別するために用いられ、つまり、現実シーンと比較すると、拡張現実シーンは仮想シーンと現実シーンとの組合せであるため、異なるシーンに属する３次元点をラベル付けして区別する必要があることから、仮想／現実シーンラベルが追加され、前記仮想／現実シーンラベルは、３次元点の属する仮想／現実シーンの種類を識別するために用いることができ、例示的に、ｔｙｐｅ値が１である場合、この３次元点が現実シーンに属することを示し、ｔｙｐｅ値が０である場合には、この３次元画素点が仮想シーンに属することを示し、仮想／現実シーンラベルを追加することで、第１シーンにおける３次元画面情報中の３次元点の属する仮想／現実シーンの種類を迅速に特定でき、さらに仮想シーンに属する３次元点と現実シーンに属する３次元点に対してその仮想／現実シーンの種類に対応する解析と処理を行って、拡張現実の３次元画面を迅速に再生することができる。また、仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点のみの表示を選択して、仮想シーン画面を表示するか、又は現実シーンに属する３次元点のみの表示を選択して、現実シーン画面を表示するか、又は全ての３次元点を表示して、拡張現実シーン画面を表示するようにしてもよい。

【0031】

図４に示すように、当然ながら、符号化された第１シーンの３次元画面情報におけるデータ情報は、横座標（ｘ）、縦座標（ｙ）、垂直座標（ｚ）の他に、同様に赤色チャネル（ｒ）、緑色チャネル（ｇ）、青色チャネル（ｂ）等を含んでもよく、赤色チャネル（ｒ）、緑色チャネル（ｇ）、青色チャネル（ｂ）は、３次元画素点の色を特定するために用いられる。

【0032】

本願の実施例において、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化する前記ステップの後に、符号化された第１シーンの３次元画面情報に対する編集入力を受信するステップであって、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられるステップをさらに含む。

【0033】

即ち、本願の実施例において、符号化された第１シーンの３次元画面情報に対する編集入力を受信することで、前記編集入力に応答して、符号化された第１シーンの３次元画面情報に対して編集操作を行って、第１シーンの３次元画面を補正し、それにより所望の３次元画面効果を得る。前記編集操作は、データフレームの挿入又は削除及び／又は３次元点データへの補正のために用いられ、即ち、前記インデックス情報に基づき、あるタイムスタンプに対応する時刻の前後にデータフレームを挿入又は削除することを決定してもよいし、前記データ情報における３次元点のセマンティックラベルを補正し、３次元点が属するオブジェクトの種別を変更してもよいし、３次元点の横座標、垂直座標、縦座標等を補正してもよいし、前記データ情報における３次元点の仮想／現実シーンラベルを補正する等してもよい。編集された第１シーンの３次元画面情報は、同様に予め設定されたファイルフォーマットで記憶されてもよい。編集された第１シーンの３次元画面情報を編集することで、所望の表示効果を得ることができ、後期の二次補正と創作には利便性がもたらされる。

【0034】

これにより、本願の実施例に係る画像データの符号化方法によれば、取得された第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化することで、固定フォーマットの符号化された３次元画面情報を得ることができ、伝送と記憶が容易になり、且つ生成された第１ファイルに記録されたデータ情報等は既に分類整理されており、後続で第１シーンの３次元画面を再生する必要がある場合に、ファイルヘッダ情報、インデックス情報、データ情報というフォーマット順序で解析し、３次元画面の３次元点データを迅速に取得し、さらに第１シーンの迅速な再生を実現することができる。

【0035】

図５を参照する。図５は、本願の実施例によって提供される表示方法の手順模式図である。図５に示すように、本願の別の態様の実施例は、以下のステップを含んでもよい表示方法をさらに提供する。

【0036】

ステップ５０１で、符号化された第１シーンの３次元画面情報を取得し、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む。

【0037】

このステップでは、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化し、符号化された第１シーンの３次元画面情報を得る方法のステップについては、上記画像データの符号化方法の実施例で説明したため、ここでは説明を省略する。前記符号化された第１シーンの３次元画面情報は、同様にファイルヘッダ情報、インデックス情報及びデータ情報を含む。

【0038】

本願の実施例において、符号化された第１シーンの３次元画面情報は、ローカル側電子機器が前に第１シーンの３次元画面情報を取得してから予め設定されたファイルフォーマットで符号化することで得られたものであってもよく、相手側電子機器が第１シーンの３次元画面情報を取得して予め設定されたファイルフォーマットで符号化してからローカル側電子機器に送信し、ローカル側電子機器が受信することで得られたものであってもよい。前者は、シーンを記録してから再生する通常の場合に適用できるが、後者は、リアルタイムの遠隔ビデオインタラクションの場合に用いることができる。

【0039】

ステップ５０２で、前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得る。

【0040】

このステップでは、符号化された第１シーンの３次元画面情報を解析すること、即ち符号化された第１シーンの３次元画面情報に含まれたファイルヘッダ情報、インデックス情報及びデータ情報を順に解析することによって、完全な第１シーンの３次元画面情報を得ることができる。

【0041】

ステップ５０３で、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する。

【0042】

本願の実施例において、符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得た後に、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示することができる。当然ながら、表示された３次元画面は、第１シーンの３次元画面のみであってもよく、第１シーンと電子機器の現在存在している現実シーンとを融合させた拡張現実シーン画面であってもよく、前者の場合、本願は、前に記憶された符号化された第１シーンの３次元画面情報に対応する仮想シーン画面の表示を実現し（表示中に前の第１シーンの３次元画面のみが表示されたため）、後者の場合、本願は、仮想シーンである第１シーンと電子機器の現在存在している現実シーンに対して拡張現実処理を行った拡張現実シーン画面の表示を実現し、これらのことから分かるように、後者は、遠隔会議等のリアルタイムの遠隔ビデオインタラクションの場合に応用でき、それによりインタラクションの没入感が高まり、コミュニケーションがより効果的で便利になる。

【0043】

本願の実施例の表示方法によれば、取得された、予め設定されたファイルフォーマットで符号化された３次元画面情報を解析することで、第１シーンを便利且つ迅速に再生するか、又は第１シーンを仮想シーンとして現実シーンと融合して表示することができ、インタラクション時の画像データの伝送効率と解析速度が大幅に向上する。

【0044】

本願の実施例において、前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得る前記ステップは、前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、前記第１ファイルのファイル種類名、ファイルサイズ及び解像度を得るステップと、前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るステップと、前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るステップと、を含む。

【0045】

具体的には、符号化された第１シーンの３次元画面情報を解析する過程において、ファイルヘッダ情報を解析することで、符号化された第１シーンの３次元画面情報により記録されたファイル種類名、ファイルサイズ及び解像度を迅速に取得でき、ファイルサイズは記録された第１シーンの３次元画面情報に対応するデータ量であり、前記解像度は第１シーンの３次元画面に対応する解像度であり、インデックス情報を解析することで、符号化された第１シーンの３次元画面情報により記録された第１シーンの３次元画面情報に対応する基準点データ、即ち、タイムスタンプ（ｔｉｍｅｓｔａｍｐ）、経度（ｌｏｎｇｉｔｕｄｅ）、緯度（ｌａｔｉｔｕｄｅ）及び高度（ａｌｔｉｔｕｄｅ）を迅速に取得でき、つまり、インデックス情報におけるタイムスタンプは、第１シーンを記録する時刻を特定できるが、経度、緯度及び高度等は、ある時刻において、第１シーンの３次元画面情報を取得するのに使用される電子機器の存在する空間位置、即ち、第１シーンの３次元画面情報に対応する基準点の位置を特定するために用いられ、電子機器の取得範囲が一定であるため、基準点が特定された場合に、第１シーンの３次元画面情報が存在する空間範囲を特定することができる。データ情報を解析することで、３次元点の横座標（ｘ）、縦座標（ｙ）、垂直座標（ｚ）等、即ち、基準点に対する３次元点の横座標（ｘ）、縦座標（ｙ）及び垂直座標（ｚ）等を取得でき、３次元点の具体的なデータを取得した後に、基準点データと組み合わせることで、３次元点の実際の位置を迅速に算出できる。

【0046】

本願の実施例において、前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するステップを含む。

【0047】

即ち、前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、データ情報を解析することで、３次元点の仮想／現実シーンラベルを得ることもでき、それにより、３次元点の仮想／現実シーンラベルに基づき、第１シーンにおける３次元画面情報中の３次元点の属する仮想／現実シーンの種類を迅速に特定し、さらに仮想シーンに属する３次元点と現実シーンに属する３次元点に対してその仮想／現実シーンの種類に対応する解析と処理を行って、３次元画面を迅速に表示することができる。

【0048】

本願の実施例において、仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点のみの表示を選択して、仮想シーン画面を表示するか、又は現実シーンに属する３次元点のみの表示を選択して、現実シーン画面を表示するか、又は全ての３次元点を表示して、拡張現実シーン画面を表示するようにしてもよい。これにより、遠隔インタラクションが終了した後に、インタラクションプロセスにおける拡張現実シーン画面を再生する必要がある場合に、記憶された、符号化された第１シーンの３次元画面情報を解析し、解析結果に基づいて拡張現実の３次元画面を迅速に再生することができる。

【0049】

注意すべきことは、ここの仮想シーンと現実シーンは、拡張現実処理を最初に行った電子機器を対象としたものである点であり、つまり、拡張現実処理を行った電子機器がその時点で存在する環境は現実シーンであり、仮想シーンは、前記電子機器が拡張現実処理時に存在する環境ではなく、これにより、仮想シーンと現実シーンが区別される。編集された第１シーンの３次元画面情報が他の電子機器によって取得された後に、他の電子機器にとって、第１シーンが前記他の電子機器の存在する現実シーンではないため、第１シーンは前記他の電子機器にとっていずれも仮想シーンである。

【0050】

本願の実施例において、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップの前に、現実シーンである第２シーンの３次元画面情報を取得するステップをさらに含み、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るステップと、融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するステップと、を含む。

【0051】

即ち、本願の実施例において、ローカル側電子機器が現在存在している現実シーン、即ち、第２シーンの３次元画面情報をさらに取得することもでき、ローカル側電子機器にとって、第１シーンは仮想シーンであるため、解析して得られた第１シーンの３次元画面情報と第２シーンの３次元画面情報を重ね合わせて融合させ、融合された拡張現実３次元画面情報を得て、最終的に、得られた拡張現実の３次元画面情報に基づいて拡張現実の３次元画面を表示することができる。

【0052】

これにより、本願の実施例は、遠隔ビデオインタラクション中に、予め設定されたファイルフォーマットを用いて取得された３次元画面情報を符号化して伝送し、相手側電子機器から送信された符号化された３次元画面情報を受信した後に、それを解析し、さらに解析して得られた３次元画面情報を用いてローカル側電子機器が現在取得した現実シーンを重ね合わせて融合させることによって、拡張現実の３次元画面を得ることができ、インタラクション中のユーザの没入感が大幅に向上し、インタラクション効率が向上する。

【0053】

本願の実施例において、前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得る前記ステップは、前記第２シーンにおける環境光源の位置と方向を取得するステップと、前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するステップと、を含む。

【0054】

具体的には、より高い融合効果を得て、第１シーンを第２シーンにより自然に融合させるために、第２シーンに対して照明推定を行い、第２シーンにおける環境光源の位置と方向を得てもよく、第２シーンは現実シーンであるため、第２シーンにおける環境光源の位置と方向を参照することで、第１シーンの３次元画面情報における３次元画素点を着色してレンダリングし、つまり、３次元点に対応する画素値（Ｒ＼Ｇ＼Ｂ値）を補正し、より自然なＡＲレンダリング効果を実現することができる。

【0055】

本願の実施例の表示方法によれば、例えばビデオ会議等の遠隔インタラクションシーンでの３次元メディアファイルの処理及び記憶に用いることができ、予め設定されたファイルフォーマットで符号化することで、３次元画面情報を完全に保存し、且つ解析中に３次元画面情報を迅速に取得し、３次元画面の処理過程を加速し、再生されるシーンの完全性を保証し、拡張現実の３次元点群のデータフォーマット統一に実行可能な解決手段を提供することができる。

【0056】

説明すべきことは、本願の実施例によって提供される表示方法は、実行主体が表示装置、又は表示方法を実行するための該表示装置における制御モジュールであってもよい点である。本願の実施例では、表示装置が表示方法を実行及び搭載することを例として、本願の実施例によって提供される表示方法を説明する。

【0057】

図６を参照する。図６は、本願の実施例によって提供される画像データの符号化装置の構造模式図である。図６に示すように、前記装置６０は、第１シーンの３次元画面情報を取得するための第１取得モジュール６１と、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するための第１処理モジュール６２であって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第１処理モジュールと、を備えてもよい。

【0058】

選択的に、前記ファイルヘッダ情報は、ファイル種類名、ファイルサイズ及び解像度の少なくとも１つを含み、前記インデックス情報はタイムスタンプ、基準点の経度、緯度及び高度を含み、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む。

【0059】

選択的に、前記データ情報は、３次元点の属するオブジェクトの種類を識別するためのセマンティックラベルをさらに含む。

【0060】

選択的に、符号化された第１シーンの３次元画面情報に対する編集入力を受信するための編集入力モジュールであって、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられる編集入力モジュールをさらに備える。

【0061】

選択的に、前記第１シーンは現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであり、前記第１シーンが拡張現実シーンである場合に、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標、垂直座標及び３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルを含む。

【0062】

本願の実施例における画像データの符号化装置は、装置であってもよく、端末におけるコンポーネント、集積回路、又はチップであってもよい。該装置は、モバイル電子機器であってもよく、非モバイル電子機器であってもよい。例示的に、モバイル電子機器は、携帯電話、タブレットコンピュータ、ノートパソコン、携帯情報端末、車載電子機器、ウェアラブル機器、ウルトラモバイルパーソナルコンピュータ（ｕｌｔｒａ－ｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＵＭＰＣ）、ネットブック又はパーソナルディジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ，ＰＤＡ）等であってもよく、非モバイル電子機器は、サーバ、ネットワーク接続ストレージ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ，ＮＡＳ）、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＰＣ）、テレビジョン（ｔｅｌｅｖｉｓｉｏｎ，ＴＶ）、現金自動預払機又はキオスク端末等であってもよく、本願の実施例では具体的に限定しない。

【0063】

本願の実施例における画像データの符号化装置は、オペレーティングシステムを有する装置であってもよい。該オペレーティングシステムは、アンドロイド（登録商標）（Ａｎｄｒｏｉｄ）オペレーティングシステムであってもよく、ｉｏｓオペレーティングシステムであってもよく、他の可能なオペレーティングシステムであってもよく、本願の実施例では具体的に限定しない。

【0064】

本願の実施例によって提供される画像データの符号化装置は、図１から図４の方法実施例で実現された各手順を実現でき、重複を回避するために、ここでは説明を省略する。

【0065】

本願の実施例において、取得された第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化することで、固定フォーマットの符号化された３次元画面情報を得ることができ、伝送と記憶が容易になり、且つ生成された第１ファイルに記録されたデータ情報等は既に分類整理されており、後続で第１シーンの３次元画面を再生する必要がある場合に、ファイルヘッダ情報、インデックス情報、データ情報というフォーマット順序で解析し、３次元画面の３次元点データを迅速に取得し、さらに第１シーンの迅速な再生を実現することができる。

【0066】

図７を参照する。図７は、本願の実施例によって提供される表示装置の構造模式図である。図７に示すように、前記装置７０は、符号化された第１シーンの３次元画面情報を取得するための第２取得モジュール７１であって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第２取得モジュールと、前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るための第１解析モジュール７２と、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するための表示モジュール７３と、を備えてもよい。

【0067】

選択的に、前記第１解析モジュール７２は、前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、前記符号化された第１シーンの３次元画面情報のファイル種類名、ファイルサイズ及び解像度を得るための第１解析ユニットと、前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るための第２解析ユニットと、前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るための第３解析ユニットと、を備える。

【0068】

選択的に、前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、前記表示モジュールは、前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するための第１表示ユニットを備える。

【0069】

選択的に、現実シーンである第２シーンの３次元画面情報を取得するための第３取得モジュールをさらに備え、前記表示モジュール７３は、前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るための融合ユニットと、融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するための第２表示ユニットと、を備える。

【0070】

選択的に、前記融合ユニットは、前記第２シーンにおける環境光源の位置と方向を取得するための光源取得ユニットと、前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するための画素値補正ユニットと、を備える。

【0071】

本願の実施例における表示装置は、装置であってもよく、端末におけるコンポーネント、集積回路、又はチップであってもよい。該装置は、モバイル電子機器であってもよく、非モバイル電子機器であってもよい。例示的に、モバイル電子機器は、携帯電話、タブレットコンピュータ、ノートパソコン、携帯情報端末、車載電子機器、ウェアラブル機器、ウルトラモバイルパーソナルコンピュータ（ｕｌｔｒａ－ｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＵＭＰＣ）、ネットブック又はパーソナルディジタルアシスタ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ，ＰＤＡ）等であってもよく、非モバイル電子機器は、サーバ、ネットワーク接続ストレージ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ，ＮＡＳ）、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＰＣ）、テレビジョン（ｔｅｌｅｖｉｓｉｏｎ，ＴＶ）、現金自動預払機又はキオスク端末等であってもよく、本願の実施例では具体的に限定しない。

【0072】

本願の実施例における表示装置は、オペレーティングシステムを有する装置であってもよい。該オペレーティングシステムは、アンドロイド（登録商標）（Ａｎｄｒｏｉｄ）オペレーティングシステムであってもよく、ｉｏｓオペレーティングシステムであってもよく、他の可能なオペレーティングシステムであってもよく、本願の実施例では具体的に限定しない。

【0073】

本願の実施例によって提供される表示装置は、図５の方法実施例で実現された各手順を実現でき、重複を回避するために、ここでは説明を省略する。

【0074】

本願の実施例において、取得された、予め設定されたファイルフォーマットで符号化された３次元画面情報を解析することで、第１シーンを便利且つ迅速に再生するか、又は第１シーンを仮想シーンとして現実シーンと融合して表示することができ、インタラクション時の画像データの伝送効率と解析速度が大幅に向上する。

【0075】

選択的に、本願の実施例は、プロセッサ、メモリ、メモリに記憶され且つ前記プロセッサ上で実行可能なプログラム又は命令を備え、該プログラム又は命令はプロセッサによって実行されると、上記画像データの符号化方法の方法実施例の各手順を実現するか、又は該プログラム又は命令はプロセッサによって実行されると、上記表示方法の方法実施例の各手順を実現する電子機器をさらに提供し、且つ同様な技術効果を達成でき、重複を回避するために、ここでは説明を省略する。

【0076】

注意すべきことは、本願の実施例における電子機器が上述したモバイル電子機器及び非モバイル電子機器を含む点である。

【0077】

図８は、本願の実施例を実現する電子機器のハードウェア構造模式図である。

【0078】

該電子機器８０は、高周波ユニット８１、ネットワークモジュール８２、オーディオ出力ユニット８３、入力ユニット８４、センサ８５、表示ユニット８６、ユーザ入力ユニット８７、インタフェースユニット８８、メモリ８９、及びプロセッサ８１０等の部材を含むが、それらに限定されない。

【0079】

当業者であれば、電子機器８０は各部材に給電する電源（例えば、電池）をさらに含んでもよく、電源は、電源管理システムによってプロセッサ８１０に論理的に接続し、さらに電源管理システムによって充放電の管理、及び電力消費管理等の機能を実現することができることが理解可能である。図６に示す電子機器の構造は電子機器を限定するものではなく、電子機器は図示より多く又はより少ない部材、又は一部の部材の組合せ、又は異なる部材配置を含んでもよく、ここでは説明を省略する。

【0080】

入力ユニット８４は、第１シーンの３次元画面情報を取得するために用いられる。

【0081】

プロセッサ８１０は、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するために用いられ、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む。

【0082】

本願の実施例において、取得された第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化することで、固定フォーマットの符号化された３次元画面情報を得ることができ、伝送と記憶が容易になり、且つ生成された第１ファイルに記録されたデータ情報等は既に分類整理されており、後続で第１シーンの３次元画面を再生する必要がある場合に、ファイルヘッダ情報、インデックス情報、データ情報というフォーマット順序で解析し、３次元画面の３次元点データを迅速に取得し、さらに第１シーンの迅速な再生に便宜を与えることができる。

【0083】

選択的に、前記ファイルヘッダ情報は、ファイル種類名、ファイルサイズ及び解像度の少なくとも１つを含み、前記インデックス情報はタイムスタンプ、基準点の経度、緯度及び高度を含み、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む。

【0084】

選択的に、前記データ情報は、３次元点の属するオブジェクトの種類を識別するためのセマンティックラベルをさらに含む。

【0085】

選択的に、前記第１シーンは、現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであり、前記第１シーンが拡張現実シーンである場合に、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標、垂直座標及び３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルを含む。

【0086】

選択的に、ユーザ入力ユニット８７は、符号化された第１シーンの３次元画面情報に対する編集入力を受信するために用いられ、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられる。

【0087】

選択的に、ネットワークモジュール８２は、符号化された第１シーンの３次元画面情報を取得するために用いられ、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む。

【0088】

選択的に、プロセッサ８１０はさらに、符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るために用いられる。

【0089】

選択的に、前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得る前記ステップは、前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、符号化された第１シーンの３次元画面情報のファイル種類名、ファイルサイズ及び解像度を得るステップと、前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るステップと、前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るステップと、を含む。

【0090】

選択的に、表示ユニット８６は、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するために用いられる。

【0091】

選択的に、前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するステップを含む。

【0092】

選択的に、入力ユニット８４は、現実シーンである第２シーンの３次元画面情報を取得する。

【0093】

選択的に、プロセッサ８１０はさらに、前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るために用いられる。

【0094】

選択的に、表示ユニット８６は、融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するために用いられる。

【0095】

前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得る前記ステップは、前記第２シーンにおける環境光源の位置と方向を取得するステップと、前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するステップと、を含む。

【0096】

選択的に、入力ユニット８４はさらに、前記第２シーンにおける環境光源の位置と方向を取得するために用いられる。

【0097】

選択的に、プロセッサ８１０は、前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するために用いられる。

【0098】

本願の実施例において、３次元画面情報を予め設定されたファイルフォーマットで符号化し、シーンの３次元画面情報を完全に保存することができ、且つ予め設定されたファイルフォーマットで処理されたファイルは後続の解析、読み取りが容易であり、シーンの解析と再生の速度が向上する。

【0099】

本願の実施例は、プロセッサによって実行されると、上記画像データの符号化方法の方法実施例の各手順を実現するか、又はプロセッサによって実行されると、上記表示方法の方法実施例の各手順を実現するプログラム又は命令が記憶されている可読記憶媒体をさらに提供し、且つ同様な技術効果を達成でき、重複を回避するために、ここでは説明を省略する。

【0100】

前記プロセッサは、上記実施例に記載の電子機器におけるプロセッサである。前記可読記憶媒体は、コンピュータ読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、磁気ディスク又は光ディスク等のコンピュータ可読記憶媒体を含む。

【0101】

本願の実施例は、プロセッサ及び通信インタフェースを含み、前記通信インタフェースは前記プロセッサに結合され、前記プロセッサは、プログラム又は命令を実行して、上記拡張現実のファイル処理方法の方法実施例の各手順を実現するために用いられるチップをさらに提供し、且つ同様な技術効果を達成でき、重複を回避するために、ここでは説明を省略する。

【0102】

なお、本願の実施例で言及したチップは、システムレベルチップ、システムチップ、チップシステム又はシステムオンチップ等と呼ばれてもよいことを理解すべきである。

【0103】

説明すべきことは、本明細書において、用語「含む」、「からなる」又はその他のあらゆる変形は、非排他的包含を含むように意図され、それにより一連の要素を含むプロセス、方法、物品又は装置は、それらの要素のみならず、明示されていない他の要素、又はこのようなプロセス、方法、物品又は装置に固有の要素をも含む点である。特に断らない限り、語句「１つの……を含む」により限定される要素は、該要素を含むプロセス、方法、物品又は装置に別の同じ要素がさらに存在することを排除するものではない。また、指摘すべきことは、本願の実施形態における方法及び装置の範囲は、図示又は検討された順序で機能を実行することに限定されず、係る機能に応じて実質的に同時に又は逆の順序で機能を実行することも含み得る点であり、例えば、説明されたものと異なる順番で、説明された方法を実行してもよく、さらに各種のステップを追加、省略、又は組み合わせてもよい。また、何らかの例を参照して説明した特徴は他の例において組み合わせられてもよい。

【0104】

以上の実施形態に対する説明によって、当業者であれば上記実施例の方法がソフトウェアと必要な共通ハードウェアプラットフォームとの組合せという形態で実現できることを明確に理解可能であり、当然ながら、ハードウェアによって実現してもよいが、多くの場合において前者はより好ましい実施形態である。このような見解をもとに、本願の技術的解決手段は実質的に又は従来技術に寄与する部分はソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は、記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、端末（携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク機器等であってもよい）に本願の各実施例に記載の方法を実行させる複数の命令を含む。

【0105】

以上、図面を参照しながら本願の実施例を説明したが、本願は上記の具体的な実施形態に限定されず、上記の具体的な実施形態は例示的なものに過ぎず、限定的なものではなく、本願の示唆をもとに、当業者が本願の趣旨及び特許請求の保護範囲から逸脱することなくなし得る多くの形態は、いずれも本願の保護範囲に属するものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】