特許 7031906 個別映像信号出力を利用したマッピング擬似ホログラム提供装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-28

(45)【発行日】2022-03-08

(54)【発明の名称】個別映像信号出力を利用したマッピング擬似ホログラム提供装置及び方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220301BHJP

   G03H 1/22 20060101ALI20220301BHJP

【ＦＩ】

G06T19/00 600

G03H1/22

【請求項の数】 5

(21)【出願番号】P 2020552651

(86)(22)【出願日】2018-11-29

(65)【公表番号】

(43)【公表日】2021-02-25

(86)【国際出願番号】 KR2018014918

(87)【国際公開番号】W WO2019124802

(87)【国際公開日】2019-06-27

【審査請求日】2020-06-16

(31)【優先権主張番号】10-2017-0173953

(32)【優先日】2017-12-18

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】520215832

【氏名又は名称】ビビムブル

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(74)【代理人】

【識別番号】100160886

【弁理士】

【氏名又は名称】久松 洋輔

(72)【発明者】

【氏名】ユ，ミ ラン

【審査官】永野 志保

(56)【参考文献】

【文献】欧州特許出願公開第０３２０６１２２（ＥＰ，Ａ１）

【文献】特開２０１４－０１０３２６（ＪＰ，Ａ）

【文献】特表２０１６－５１０４６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００７８６２１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０３Ｈ １／２２

(57)【特許請求の範囲】

【請求項1】

リアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現方法において、
（ａ）仮想現実コンテンツ内の何れかの地点に位置したカメラにより、第１のユーザに対応する前記仮想現実コンテンツ内のキャラクタを含む部分視点映像を生成するステップと、
（ｂ）前記部分視点映像に対して前記キャラクタの周りのオブジェクトのうち少なくとも１つを含む擬似ホログラム映像を生成するステップと、
（ｃ）前記擬似ホログラム映像を前記第１のユーザとは異なる第２のユーザに視認させるホログラムスクリーンに送り出すステップと、を含み、
前記ステップ（ａ）では、前記第１のユーザの位置データに基づいて前記カメラの位置を変更し、
前記ステップ（ｂ）では、予め設定された値に基づいて前記部分視点映像に含まれる一部のオブジェクトをフィルタリングすることにより、前記フィルタリングされたオブジェクトの領域に視覚的効果を与え、
前記ステップ（ｃ）では、前記第２のユーザが前記第１のユーザを見る際、前記第１のユーザに前記擬似ホログラム映像が重ねられて見えるように送り出す、リアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現方法。

【請求項2】

前記位置データは、
前記第１のユーザが装着したヘッドマウントディスプレイ装置から得られる、請求項１に記載のリアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現方法。

【請求項3】

前記ホログラムスクリーンは、
半透過スクリーンである、請求項１に記載のリアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現方法。

【請求項4】

リアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現サーバにおいて、
少なくとも１つのプログラムが記録されたメモリと、
前記プログラムを実行するためのプロセッサと、を含み、
前記プログラムは、
（ａ）仮想現実コンテンツ内の何れかの地点に位置したカメラにより、第１のユーザに対応する前記仮想現実コンテンツ内のキャラクタを含む部分視点映像を生成するステップと、
（ｂ）前記部分視点映像に対して前記キャラクタの周りのオブジェクトのうち少なくとも１つを含む擬似ホログラム映像を生成するステップと、
（ｃ）前記擬似ホログラム映像を前記第１のユーザとは異なる第２のユーザに視認させるホログラムスクリーンに送り出すステップと、を含み、
前記ステップ（ａ）では、前記第１のユーザの位置データに基づいて前記カメラの位置を変更し、
前記ステップ（ｂ）では、予め設定された値に基づいて前記部分視点映像に含まれる一部のオブジェクトをフィルタリングすることにより、前記フィルタリングされたオブジェクトの領域に視覚的効果を与え、
前記ステップ（ｃ）では、前記第２のユーザが前記第１のユーザを見る際、前記第１のユーザに前記擬似ホログラム映像が重ねられて見えるように送り出すための命令語を含む、サーバ。

【請求項5】

請求項１乃至３のうち何れか一項によるリアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現方法を実行するプログラムが記録されたコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、リアルタイムエンジンの個別映像信号の出力を通じたマッピング擬似ホログラム提供装置及び方法に関する。

【背景技術】

【0002】

近年、擬似ホログラム技術を利用してコンテンツを表現する方式が発達し、広告や展示分野、エンターテインメントなどあらゆる分野でその活動範囲を広げており、擬似ホログラムは、ホログラフィを利用して具現し、半透明ガラス又はそれと類似した材質を使用した反射板を利用することで、ホログラムと類似した効果を具現することができる。

【0003】

また、ＨＭＤ（Ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）技術を利用したコンテンツが大いに発展している状況ではあるものの、ＨＭＤ技術を利用したコンテンツを利用するユーザを見る観覧客に向けた技術は大した発展をなしていない状況である。例えば、従来は、ＨＭＤ技術を適用したゲームを第三者が観戦する際は、主にゲームのプレーヤ視点からの観戦が行われていたので、第三者がゲームに対して全体的に理解することは難しいという問題点があった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上述した問題点を解決するために、本発明の一実施例により、ＨＭＤのような装置を使用中の第１のユーザが見る映像を第２のユーザが観戦できるよう、第１のユーザと周りの状況を３次元擬似ホログラムに具現することにその目的がある。

【課題を解決するための手段】

【0005】

上記のような技術的課題を達成するための本発明の一実施例に係る、リアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現方法において、（ａ）仮想現実コンテンツ内の何れかの地点に位置したカメラにより、第１のユーザに対応する仮想現実コンテンツ内のキャラクタを含む部分視点映像を生成するステップと、（ｂ）部分視点映像に対してキャラクタの周りのオブジェクトのうち少なくとも１つを含むホログラム映像を生成するステップと、（ｃ）ホログラム映像を第１のユーザ及び第１のユーザとは互いに異なる第２のユーザの間に配置されたホログラムスクリーンに送り出すステップと、を含み、ステップ（ｃ）は、第２のユーザが第１のユーザを見る際、第１のユーザにホログラム映像が重ねられて見えるように送り出す、リアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現方法であっても良い。

【0006】

本発明の他の一実施例に係る、リアルタイムエンジンの個別映像信号出力を通じたマッピング擬似ホログラム表現サーバにおいて、少なくとも１つのプログラムが記録されたメモリと、プログラムを実行するためのプロセッサと、を含み、プログラムは、（ａ）仮想現実コンテンツ内の何れかの地点に位置したカメラにより、第１のユーザに対応する仮想現実コンテンツ内のキャラクタを含む部分視点映像を生成するステップと、（ｂ）部分視点映像に対してキャラクタの周りのオブジェクトのうち少なくとも１つを含むホログラム映像を生成するステップと、（ｃ）ホログラム映像を第１のユーザ及び第１のユーザとは互いに異なる第２のユーザの間に配置されたホログラムスクリーンに送り出すステップと、を含み、ステップ（ｃ）は、第２のユーザが第１のユーザを見る際、第１のユーザにホログラム映像が重ねられて見えるように送り出すための命令語を含む、サーバであっても良い。

【発明の効果】

【0007】

上述した本発明の課題を解決するための手段によれば、ＨＭＤのような装置を使用中の第１のユーザが見る映像を第２のユーザが観戦できるように、第１のユーザと周りの状況を３次元擬似ホログラムに具現することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施例に係る、個別映像信号出力を通じたマッピング擬似ホログラム提供システムの構成を示す図である。

【図2】本発明の一実施例に係る、サーバの構成を示す図である。

【図3】本発明の一実施例に係る、個別映像信号出力を通じたマッピング擬似ホログラム提供方法に関するフローチャートである。

【図4a】本発明の一実施例に係る、個別映像信号出力を通じたマッピング擬似ホログラムの適用例示を示す例示図である。

【図4b】本発明の一実施例に係る、個別映像信号出力を通じたマッピング擬似ホログラムの適用例示を示す例示図である。

【発明を実施するための形態】

【0009】

以下では、添付した図面を参照しながら、本発明の属する技術分野において通常の知識を有する者が容易に実施できるように本発明の実施例を詳しく説明する。ところが、本発明は様々な異なる形態に具現されることができ、ここで説明する実施例に限定されるものではない。そして、図面において、本発明を明確に説明するために、説明とは関係ない部分は省略しており、明細書全体に亘って類似した部分に対しては類似した図面符号を付けている。

【0010】

明細書全体において、ある部分が他の部分と「連結」されているという場合、これは「直接的に連結」されている場合だけでなく、その中間に他の素子を挟んで「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」という場合、これは、特に反対の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含み得ることを意味し、１つ或いはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品、又はこれらを組み合わせたものの存在又は付加可能性を予め排除するものではないと理解されなければならない。

【0011】

明細書全体において、サーバ１は、個別映像信号出力を通じたマッピング擬似ホログラム提供装置を意味しても良い。

【0012】

図１は、本発明の一実施例に係る、個別映像信号出力を通じたマッピング擬似ホログラム提供システムの構成を示す図である。

【0013】

図１を参照すると、本発明の一実施例に係る個別映像信号出力を通じたマッピング擬似ホログラム提供システムは、サーバ１と、ＨＭＤ装置２と、ホログラムスクリーン３と、を含んでいても良い。

【0014】

本発明の一実施例に係るサーバ１は、ＨＭＤ装置２と制御のための別途のハードウェア装置が追加されても良く、インプット値と位置データを受信することができ、ホログラムスクリーン３には擬似ホログラム映像を提供することを特徴としている。

【0015】

ここでさらに、サーバ１は、ＨＭＤ装置２に符合する仮想環境データを提供しても良く、仮想環境データは、例えば３６０度に構成されたイメージや映像であっても良い。

【0016】

また、ＨＭＤ装置２とは、Ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙの略であり、眼鏡のようにユーザが頭に装着し、大画面の映像を楽しむことのできる映像表示装置の一種であっても良い。使用用途に合わせて様々な画質と視野角を提供し、必要に応じて制御のためのハードウェア装置がさらに備えられても良い。従って、本発明においてＨＭＤ装置２の仕様が本発明の範囲を制限するものではない。

【0017】

サーバ１からホログラムスクリーン３に提供される擬似ホログラム映像は、ホログラフィにより生成された擬似ホログラムを具現するためのデータであっても良い。

【0018】

ホログラフィは、フィルムなどの記録媒体に光線の干渉パターン（柄）を記録して可視的な３次元の立体像を再生する方法を意味し、擬似ホログラムとは、ホログラフィによって生成された３次元写真や映像が半透過スクリーン或いは透明なホイルなどに投影され、まるで３次元映像を見るようなホログラムと類似した形態を具現するものを意味する。

【0019】

従って、本発明においてホログラムスクリーン３とは、擬似ホログラムを示顕するための半透過スクリーンであるか、それと類似した機能を有する擬似ホログラム再生装置を意味しても良い。

【0020】

ＨＭＤ装置２及びホログラムスクリーン３は、それぞれ仮想環境データ及び擬似ホログラムを表示するために再生専用アプリケーションを使用しても良く、ここで再生専用アプリケーションは、ＨＭＤ装置２及びホログラムスクリーン３の各装置に内蔵されたアプリケーションであるか、アプリケーション配布サーバからダウンロードされて各装置にインストールされたアプリケーションであっても良い。

【0021】

サーバ１は、複数のＨＭＤ装置２と連結され、これらは有無線通信環境下において端末アプリケーションを利用できる通信端末を意味しても良い。図１にはＨＭＤ装置２を意味する図が示されているが、本発明の思想はこれに限定されるものではなく、上述したように端末アプリケーションを搭載できる端末であれば制限なしに採用しても良い。例えば、ＨＭＤ装置２ではないものの、付加的なハードウェアに付着することでＨＭＤ装置の役割を果たすことのできるハンドヘルドコンピュータデバイス、或いはスマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）が使用され得るので、ＨＭＤ装置２に使用されるデバイスの種類が本発明を限定するものではない。

【0022】

一方、サーバ１とＨＭＤ装置２及びホログラムスクリーン３は通信網を介して連結され、データを送受信しても良い。つまり、通信網は、ＨＭＤ装置２とホログラムスクリーン３がサーバ１にアクセスしてからデータを送受信するようにアクセス経路を提供する通信網を意味する。通信網は、例えば、ＬＡＮｓ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）、ＷＡＮｓ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）、ＭＡＮｓ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）、ＩＳＤＮｓ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋｓ）などの有線ネットワークや、無線ＬＡＮｓ、ＣＤＭＡ、ブルートゥース、衛星通信などの無線ネットワークを網羅しても良いが、本発明の範囲がこれに限定されるものではなく、グラフィックアウトプット（Ｇｒａｐｈｉｃ ｏｕｔｐｕｔ）モジュールを介して直接連結され、データを送受信しても良い。

【0023】

図２は、本発明の一実施例に係る、サーバの構成を示す図である。

【0024】

図２を参照すると、本発明の一実施例に係るサーバ１は、プロセッサ１１０と、メモリ１２０と、データ入力モジュール１３０と、グラフィックアウトプットモジュール１４０と、を含んでいても良い。

【0025】

グラフィックアウトプットモジュール１４０は、ＨＭＤ装置２及びホログラムスクリーン３と連結され、仮想環境データ及び擬似ホログラムを伝達する役割を果たす。これは有線連結により実行されても良いが、必要に応じて通信網と連動しても良く、各装置間の送受信信号をパケットデータの形態で提供するのに必要なインターフェースを提供し、それを実行するためのハードウェア及びソフトウェアを含む装置であっても良い。

【0026】

メモリ１２０には、個別映像信号出力を通じたマッピング擬似ホログラム提供方法を実行するためのプログラムが記録される。また、プロセッサ１１０が処理するデータを一時的又は永久に格納する機能をする。ここで、メモリ１２０は、磁気記憶媒体（ｍａｇｎｅｔｉｃ ｓｔｏｒａｇｅ ｍｅｄｉａ）又はフラッシュ記憶媒体（ｆｌａｓｈ ｓｔｏｒａｇｅ ｍｅｄｉａ）を含んでいても良いが、本発明の範囲がこれに限定されるものではない。

【0027】

プロセッサ１１０は、一種の中央処理装置であり、仮想現実動画を提供する全過程を制御する。プロセッサ１１０が実行する各ステップについては、図３を参照しながら後述することとする。

【0028】

ここで、プロセッサ１１０は、プロセッサ（ｐｒｏｃｅｓｓｏｒ）のようにデータを処理できる全種類の装置を含んでいても良い。ここで、「プロセッサ（ｐｒｏｃｅｓｓｏｒ）」は、例えばプログラム内に含まれたコード又は命令として表現された機能を実行するために物理的に構造化した回路を有する、ハードウェアに内蔵されたデータ処理装置を意味しても良い。このようにハードウェアに内蔵されたデータ処理装置の一例として、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの処理装置を網羅しても良いが、本発明の範囲がこれに限定されるものではない。

【0029】

データ入力モジュール１３０は、外部のハードウェア装置或いはＨＭＤ装置２に含まれている、制御のためにハードウェア装置から入力されるインプット値を受信する装置である。データ入力モジュール１３０が受信するインプット値は、装置の使用用途によって様々であるため、本発明ではこれを限定しないが、ユーザの位置を感知できる座標値は必ず含まれて受信されなければならない。

【0030】

図３は、本発明の一実施例に係る、個別映像信号出力を通じたマッピング擬似ホログラム提供方法に関するフローチャートである。

【0031】

図３を参照すると、先ず、本発明の一実施例に係るサーバ１は、ＨＭＤ装置２からユーザの位置座標を受信し、それを基に部分視点映像を生成するステップを有する（Ｓ３０１）。

【0032】

ここで、部分視点映像とは、ＨＭＤ装置２に備えられたリアルタイムトラッキング値に基づいて生成された第１のユーザの視点に対応する仮想現実コンテンツ内のキャラクタが含まれる部分を意味する。

【0033】

ここで、第１のユーザとは、ＨＭＤ装置２を使用するユーザを意味し、第２のユーザは、擬似ホログラムを観察する第三者の役割を果たす。

【0034】

サーバ１は、部分視点映像によりホログラムスクリーン３に投映する映像を生成し、優先作業としてホログラム視点データを生成する。ここで、ホログラム視点データは、３次元擬似ホログラムを具現するための様々な視点で生成された部分視点映像を意味する。

【0035】

次いで、サーバ１は、部分視点映像に表示されるオブジェクトを含む擬似ホログラム映像を生成する（Ｓ３０２）。

【0036】

ステップＳ３０２において、オブジェクトは、第１のユーザが見ることのできるオブジェクトを意味し、これらのうち一部を擬似ホログラムとして具現するために、各オブジェクトが有するタグされたビジブル（ｖｉｓｉｂｌｅ）パラメータによって擬似ホログラムに表現するオブジェクトをフィルタリングしても良い。

【0037】

また、フィルタリングされたオブジェクトは、各オブジェクトが保有した固有の視覚的エンチャント（ｅｎｃｈａｎｔ）パラメータによって第２のユーザが確認することのできる擬似ホログラムに視覚化されても良い。

【0038】

ここでさらに、ＨＭＤ装置２を使用する第１のユーザを第２のユーザの視点から見ることができるよう、第１のユーザにも前記ホログラム映像が重ねられても良い。

【0039】

最後に、サーバ１は、擬似ホログラム映像をホログラムスクリーン３に送り出すステップを有する（Ｓ３０３）。

【0040】

サーバ１から擬似ホログラム映像データを受信したホログラムスクリーン３は、それを視覚的に確認できるように擬似ホログラム化すると、それを第２のユーザが確認できるようになる。

【0041】

図４ａ乃至図４ｂは、本発明の一実施例に係る、個別映像信号出力を通じたマッピング擬似ホログラムの適用例示を示す例示図である。

【0042】

先ず、図４ａを参照すると、絵（ａ）は、ホログラムとＶＲを融合した公演を表現した例示である。実際の舞台には公演者が存在せず、ホログラムスクリーン３を通じて具現された公演者が公演を実施できることを示す例示の一つである。

【0043】

絵（ｂ）は、ホログラムＶＲ技術を活用した教育システムの一種であり、教育の主題に符合する素材や教育者を擬似ホログラムに具現して教育を実施する例示図である。

【0044】

絵（ｃ）は、本発明を応用した擬似ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を具現したものであり、実際の環境で擬似ホログラムを具現する様子の例示として多数のマイクロホログラムスクリーン３を必要としても良い。

【0045】

図４ｂを検討すると、絵（ａ）は、擬似ホログラムを利用したゲームを例に挙げたものであり、プレーヤの周辺環境に擬似ホログラムを具現し、それをゲームとして利用する例示である。

【0046】

絵（ｂ）は、直接ホログラムをモデリング可能なハードウェア制御装置を利用した、ホログラムＶＲドローイングの例示であり、ユーザが制御装置を通じて絵を描くようにリアルタイムで擬似ホログラムをモデリングし具現する様子を例示したものである。

【0047】

絵（ｃ）は、ホログラム技術を通じて部屋を飾ったり、外壁を芸術的に表現することに関する例示図である。

【0048】

本発明の一実施例は、コンピュータにより実行されるプログラムモジュールのようなコンピュータにより実行可能な命令語を含む記録媒体の形態に具現されても良い。コンピュータ読み取り可能な媒体は、コンピュータによってアクセスできる任意の可用媒体であっても良く、揮発性及び非揮発性の媒体、分離型及び非分離型の媒体を全て含む。また、コンピュータ読み取り可能な媒体は、コンピュータ格納媒体を含んでいても良い。コンピュータ格納媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュール、又はその他のデータのような情報格納のための任意の方法又は技術に具現された揮発性及び非揮発性、分離型及び非分離型の媒体を全て含む。

【0049】

本発明の方法及びシステムは特定の実施例と関連して説明されたが、それらの構成要素又は動作の一部又は全部は、汎用のハードウェアアーキテクチャを有するコンピュータシステムを使用して具現されても良い。

【0050】

上述した本発明の説明は例示のためのものであり、本発明の属する技術分野において通常の知識を有する者であれば、本発明の技術的思想や必須の特徴を変更せずに他の具体的な形態に容易に変形可能であるということを理解できるはずである。それゆえ、上記した実施例は全ての面において例示的なものであり、限定的なものではないと理解すべきである。例えば、単一型で説明されている各構成要素は分散して実施されても良く、同様に、分散したものと説明されている構成要素も結合された形態で実施されても良い。

【0051】

本発明の範囲は、上記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、並びにその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれると解釈されなければならない。

【図1】

【図2】

【図3】

【図4a】

【図4b】