特許 7460778 モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-25

(45)【発行日】2024-04-02

(54)【発明の名称】モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法

(51)【国際特許分類】

   G06T 15/00 20110101AFI20240326BHJP

   G06T 17/20 20060101ALI20240326BHJP

   G06T 19/00 20110101ALI20240326BHJP

【ＦＩ】

G06T15/00 501

G06T17/20

G06T19/00 A

【請求項の数】 2

(21)【出願番号】P 2022544433

(86)(22)【出願日】2021-08-02

(65)【公表番号】

(43)【公表日】2023-06-20

(86)【国際出願番号】 KR2021010079

(87)【国際公開番号】W WO2022030918

(87)【国際公開日】2022-02-10

【審査請求日】2022-07-20

(31)【優先権主張番号】10-2020-0099467

(32)【優先日】2020-08-07

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】512104890

【氏名又は名称】リパブリック オブ コリア（ナショナル リサーチ インスティテュート オブ カルチュラル ヘリテイジ）

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】イ、ギュ フン

(72)【発明者】

【氏名】ハン、ウク

(72)【発明者】

【氏名】チェ、ヒャン ソン

(72)【発明者】

【氏名】クォン、ホン スン

(72)【発明者】

【氏名】キム、スク ギョン

(72)【発明者】

【氏名】ソ、ヒョ ウォン

(72)【発明者】

【氏名】イ、サン ミョン

(72)【発明者】

【氏名】ソン、ウン ミ

(72)【発明者】

【氏名】イ、ソン ア

(72)【発明者】

【氏名】キム、ソ ヨン

(72)【発明者】

【氏名】イ、ウン ビ

(72)【発明者】

【氏名】ハ、テ ジン

(72)【発明者】

【氏名】キム、ジョン ピル

(72)【発明者】

【氏名】チェ、ジュ ゴン

【審査官】鈴木 明

(56)【参考文献】

【文献】韓国登録特許第１０－１９８９９６９（ＫＲ，Ｂ１）

【文献】特開２００９－２６６２１８（ＪＰ，Ａ）

【文献】特開２０１７－０９７８７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００

Ｇ０６Ｔ １７／２０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

拡張現実技法を用いて、古建築物の遺跡情報をディスプレイする拡張現実に基づく建築遺跡の実感型コンテンツ体験システムで、データ最適化及びインターフェース向上方法であって、
古建築物を構成する各部材をモジュール化し、同一のメッシュデータをインスタンス化し、
古建築物の画像において、光を、テクスチャで焼き付けてオーバーライドし、また、未使用のメッシュのライトマップのＵＶスケールを調整する
ことを特徴とするモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法。

【請求項2】

古建築物の画像において、静的メッシュは、静的オブジェクト化して、ドローコール及びバッチカウントを減らして、ＧＰＵ演算を減らした
請求項１に記載のモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関し、詳しくは、ＰＣ(パーソナルコンピュータ)のように大容量記憶装置ではなく、携帯用モバイル機器のように限定された処理容量を有する機器において、大規模古代木造建築物の拡張現実具現が可能であるように、データ著作及びインターフェース機能を向上したモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。

【0002】

また、本発明は、建築物の構造を理解し、リソースを再利用可能なモジュール単位に再構成し、同一のメッシュ(Mesh)データを用いて、インスタンス(Instance)化することによって、共通のメッシュ情報を使用するので、リソース使用を減らすことにつれ、モバイル機器において大容量建築物の拡張現実具現を可能にするモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。

【0003】

また、本発明は、ＬＯＤ(Level of Detail)技術を活用して、データを効率よく使用するモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。

【背景技術】

【0004】

拡張現実(Augmented Reality、AR)は、現実の画像や背景に３次元仮想画像を重ねて、１つの映像として表示する技術であって、飛行機メーカーであるボーイング社で、１９９０年頃、飛行機組立過程に仮想の画像を添加することで、最初に拡張現実を紹介した。

【0005】

このような拡張現実は、様々な技術分野で使用されており、その例としては、建築技術が挙げられる。

【0006】

このような拡張現実を建築技術に使用した例として、特許文献１乃至３がある。

【0007】

特許文献１は、拡張現実技法を用いた建築構造物情報提供装置において、建設現場(site)又は建設現場に位置した建築構造物の映像を受信する送受信部と、建設現場に建設される建築構造物又は建設現場に位置した建築構造物に対応する３Ｄ設計図を検索する設計図検索部と、拡張現実技法を用いて検索された３Ｄ設計図を、建設現場又は建設現場に位置した建築構造物の映像に重なる映像処理部とを含み、映像処理部は、検索された３Ｄ設計図を、建設現場又は建設現場に位置した建築構造物の映像に対応するようにリサイズ(Resizing)する、拡張現実技法を用いた建築構造物情報提供装置である。

【0008】

また、特許文献２は、拡張現実を用いて、王陵内の遺物情報をディスプレイする方法において、ａ) 拡張現実具現のためのアプリケーションを動作させた後、写真撮影モードを行う段階と、ｂ) アプリケーションを運用するためのアルゴリズムが搭載された制御装置が、ユーザの写真撮影モード進入に応答して、携帯電話のＧＰＳ及びジャイロセンサを起動させる段階と、ｃ) 制御装置が、携帯電話の現在座標情報及び携帯電話が注視する方向情報を認知する段階と、ｄ) 携帯電話の座標から最も近づいた王陵座標及び該当王陵に対する付加情報を、データベースから抽出する段階と、ｅ) 王陵内に位置した遺物の座標情報及びグラフィック情報を、データベースから抽出する段階と、ｆ) 王陵の中心座標と携帯電話の現在座標を基に、携帯電話と王陵の中心座標の間の距離を算出する段階と、ｇ) 距離を半径とした円のデータを抽出し、抽出された円のデータのうち、正方(正東、正西、正南、正北)に位置した４つの座標データを抽出する段階と、ｈ) ４つの座標データのうち、王陵の中心座標から最も近づいた１つの座標を抽出する段階と、i) 座標と王陵中心座標、携帯電話座標に基づいて、携帯電話の正方と王陵の中心座標の間の角度を算出する段階と、ｊ) 遺物が位置した地域を表わす最大直径で遺物の範囲を定義し、王陵の中心座標を遺物の範囲で可変して、遺物の範囲角度を算出する段階と、ｋ) 王陵の中心座標の正方向と携帯電話の走査方向を中心に、回動角度をジャイロセンサから検出する段階と、ｌ) 回動角度が遺物の範囲角度に存在するか否かを判断し、判断結果、回動角度が遺物の範囲角度に存在しないと、これは王陵を撮影するための意図がないことと判断して、ａ)段階に戻る段階と、ｍ) ｌ)段階で判断した結果、回動角度が遺物の範囲角度に存在すると、距離及び携帯電話の座標情報に対応する遺物を拡張現実でディスプレイする段階とからなり、遺物に対する拡張現実は、実際の遺物が置かれた方向とサイズに対応して、携帯電話の位置及び方向によって、遺物のグラフィックサイズ及びディスプレイ角度が変形する拡張現実を用いた王陵遺物情報出力方法である。

【0009】

特許文献３は、拡張現実装備の画面に投影された空間上に、拡張現実を用いて、建設空間情報をディスプレイする方法において、建設空間情報をディスプレイするための位置を選択する段階と、選択された位置に、拡張現実装備の画面を通じて見える現実空間上の特定領域を認識する段階と、認識された特定領域上に、ＧＩＳ情報をディスプレイする段階と、ディスプレイされたＧＩＳ情報上に、ＢＩＭ(Building Information Modeling)情報を用いて、３Ｄ建物を視覚化する段階と、拡張現実装備を通じてディスプレイされた建設空間情報上の特定位置を選択する段階と、特定の位置に対する命令を受信する段階と、受信された命令による建設空間情報をディスプレイする段階とを含み、特定命令は、特定位置への移動命令を含み、移動命令は、拡張現実装備の画面中心に位置したカーソルを特定位置に位置した後、選択命令を入力することにより行われ、選択命令は、拡張現実装備の画面中心に位置したカーソルを、所定の時間以上動かないか、拡張現実装備に連結されたクリッカー(clicker)をクリックするか、拡張現実装備に設置された音声認識装置に特定音声を認識させることにより行われる拡張現実を用いた建設空間情報ディスプレイ方法である。

【0010】

このように拡張現実を用いた様々な建築に関する技術が開発されているが、このように従来の位置追跡方式に基づくＡＲ技術を用いており、従来の位置追跡方式のＡＲ技術の場合、ＧＰＳ座標を用いて、現実世界座標認識において、誤差範囲がＭ単位であるので、再生される画像が周辺環境に正しく位置しないという問題がある。

【0011】

また、建築物モデリングのような大容量のデータを、モバイル機器のような最終のディスプレイ装備で再生する前に、大容量情報を処理するサーバを経由して、データ最適化過程などの情報処理過程を経た後、最終のディスプレイ装備で再生されるので、別の装備が必要であり、使い勝手が悪いという問題がある。

【0012】

これらの不都合を解決して、本出願人が工夫した技術が特許文献４である。

【0013】

特許文献４は、位置合わせ技術を適用して、マーカーとカメラトラッキングの複合適用による誤差補正の過程を通じて誤り率を改善して、よりリアリティーある建築遺跡の実感型コンテンツを体験するだけでなく、遺物の実測データを基に具現された正確なスケールの３Ｄ設計映像データを、モバイル端末機で独自にカメラトラッキング技術を用いて、姿勢(位置、回転)を計算して正確に増強することができ、既存のＡＲ技術を用いた場合に発生する問題、すなわち、ＧＰＳ座標を用いて、周辺環境と正確な位置合わせとなっておらず、観覧者に臨場感を劣化させる問題を解消し、スマートフォンのカメラ、ジャイロスコープ、加速度センサを通じて、現実のオブジェクトと環境を認識して、仮想のオブジェクトに臨場感を与えるように具現した拡張現実に基づく建築遺跡の実感型コンテンツ体験システムである。

【0014】

しかし、このような技術、すなわち、拡張現実を具現するための技術は、学習(Training)、認識(Detection)、追跡(Tracking)、整合(Registration)の過程を経ることになるが、効率的にデータを管理せず、無分別にリソースを使用することになると、安定した環境(frame rate)を保持しないため、体験が不安定となる。

【0015】

特に、モバイル装備は、限定されたメモリと処理能力を有する機器であって、安定した拡張現実環境を具現するために、３Ｄリソースのクオリティを下げるしかなく、このようにリソースクオリティを下げると、ユーザの没入度を劣化させる不都合がある。

【先行技術文献】

【特許文献】

【0016】

【文献】韓国登録特許第１０－１１７１２６４号公報

【文献】韓国登録特許第１０－１８７４３４５号公報

【文献】韓国登録特許第１０－１８７６４９９号公報

【文献】韓国登録特許第１０－１９８９９６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0017】

前記のような目的を解決するための本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、拡張現実技法を用いて、古建築物の遺跡情報をディスプレイする拡張現実に基づく建築遺跡の実感型コンテンツ体験システムで、データ最適化及びインターフェース向上方法において、古建築物を構成する各部材の画像をモジュール化し、同一のメッシュデータをインスタンス化したことを特徴とする。

【0018】

また、古建築物の画像において静寂メッシュは、静的オブジェクト(Static object)化して、ドローコール(Draw calls)及びバッチカウント(Batch Count)を減らすことで、ＧＰＵ(Graphics Processing Unit)演算を減らすのが望ましい。

【0019】

更に、古建築物の画像において、光は、テクスチャ(Texture)で焼き付けて(Bake Light)オーバーライドするのが望ましい。

【0020】

古建築物の画像のうち使わないメッシュのライトメブ(Lightmap)のＵＶスケール(Scale)を調整する。

【発明の効果】

【0021】

本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、データを効率よく管理して、モバイル装置において、大規模古代木造建築物を安定して視覚化することができ、視覚的な完成度を補って、ユーザにとって没入度を高めて、満足な拡張現実体験をさせることができる。

【図面の簡単な説明】

【0022】

【図1】図１は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、メッシュモジュール化前後の比較画面を示す図である。

【図2】図２は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、インスタンス前後の比較画面を示す図である。

【図3】図３は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、ＬＯＤ前後の比較画面を示す図である。

【図4】図４は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、光をテキスチャーで焼き付けてオーバーライドした前後の比較画面を示す図である。

【図5】図５は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、ＧＩ演算画像とライトマップ設定調整画面を示す図である。

【発明を実施するための形態】

【0023】

本発明は、様々な変更を加えることができ、様々な実施例を有することができるところ、特定の実施例を図面に示し、詳細な説明を通じて説明する。これは、本発明を特定の実施形態に対して限定しようとすることではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含む。

【0024】

各図面の説明において、同一の図面符号を、同一の構成要素に対して付している。本発明を説明することに当たり、関連する公知技術に対する具体的な説明が本発明の要旨を濁していると判断される場合は、その詳細な説明を省略する。

【0025】

本発明は、データを効率よく管理して、モバイル装置で大規模古代木造建築物を安定して視覚化することができ、視覚的な完成度を補って、ユーザにとって没入度を高めて、満足な拡張現実体験をさせることができる。

【0026】

本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、拡張現実技法を用いて、古建築物の遺跡情報をディスプレイする拡張現実に基づく建築遺跡の実感型コンテンツ体験システムで、データ最適化及びインターフェース向上方法において、古建築物を構成する各部材の画像をモジュール化し、同一のメッシュデータをインスタンス化したことを特徴とする。

【0027】

すなわち、古建築物は、様々な部材の結合によりなされ、このようなそれぞれの部材には、同一の構成を有する部材があり、このような部材の画像をモジュール化し、モジュール化した部材を配置して建築物を構成することによって、古建築物の全体画像のサイズを縮小して、モバイル機器でも容易に表現できることになる。

【0028】

図１は、部材画像のモジュール化前後の比較画面であって、表現される古建築物全体の画像には変わりがなく、同一であることが分かる。

【0029】

また、同一のメッシュデータのインスタンス化により、全体の古建築物のデータを減らすことができる。

【0030】

図２は、メッシュデータのインスタンス化により、全体の古建築物の比較画面を示す図である。

【0031】

オブジェクトインスタンス(object instance)は、属性とメソッドを共有する類似した性質のオブジェクトを、１つにグループ化するものである。

【0032】

また、本発明は、古建築物の画像において静寂メッシュは、静的オブジェクト(Static object)化して、ドローコール及びバッチカウントを減らすことで、ＧＰＵ演算を減らすことができる。

【0033】

更に、本発明は、図３に示しているように、カメラとメッシュの間の距離によって、細かさの異なるメッシュを示すＬＯＤ(live on demand)を適用するために、各部材を３段階の細部水準に製作して、レンダリング品質を上げ、演算量を減らすことができる。

【0034】

ＬＯＤは、物体間の距離と認識程度は反比例するという考えを基に、レンダリング画像を簡略に表現する方法で、本発明では、静的ＬＯＤを適用しており、該当静的ＬＯＤは、データプール(Data Pool)に、ＬＯＤ段階に合うサブセット頂点データ(Subset vertex data)を予め計算して保存しておいた後、レンダリングに際して、各地形のＬＯＤ段階値に該当するサブセット頂点データを処理する方法であって、ＧＰＵでデータを保存する空間を確保することができる。

【0035】

静的ＬＯＤ方式は、演算が簡単であるため、速度は速いが、距離によってメッシュ段階が急激に変わるため、ポッピング現象(popping)が生じることがあり、このような現象を減らすため、各段階別メッシュの曲率が、前段階のメッシュ角の２倍を超えないように調整して、ポッピング現象を減らすことができる。

【0036】

また、本発明は、古建築物の画像において、光は、テクスチャ(Texture)で焼き付けて(Bake Light)オーバーライドする。

【0037】

このように、光をテクスチャで焼き付けてオーバーライドすることで、画像のレンダリングで一番重い要素である照明と影演算を減らすことができる。

【0038】

一般に、リアルタイムライトは、場面内に直接光源(Direct Light)だけを反映して、演算は減らすことができるが、間接光源(Indirect Light)は演算しないため、自然な光源の印象を演出することができず、クオリティが低く見える不都合がある。

【0039】

ライトマップ(Lightmap)を用いると、演算を減らすこともでき、全域照明ＧＩ(Global Illumination)及びＡＯ(Ambient Occlusion)効果を加えて、視覚的な品質を向上することができるが、ライトマップを生成することになると、テクスチャの使容量が多くなるので、保存空間を多く要するしかない。

【0040】

これに、未使用のオブジェクトは、場面から削除して、リソース使用を節減することが一般の方法であるが、このようになると、周辺メッシュの壊れた(Bake)ライトマップにＧＩ効果が出ないため、異質感が生じるという問題がある。

【0041】

これに、未使用のメッシュのライトマップのＵＶスケール(Scale)を調整することにより、優れた視覚的品質を保持し、メモリの使用を節減することができる。(図４及び図５参照)

【図1】

【図2】

【図3】

【図4】

【図5】