特許 7562629 使用者間の経験共有を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】使用者間の経験共有を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240930BHJP

【ＦＩ】

G06T19/00 300B

【請求項の数】 13

(21)【出願番号】P 2022500609

(86)(22)【出願日】2020-07-01

(65)【公表番号】

(43)【公表日】2022-09-08

(86)【国際出願番号】 KR2020008622

(87)【国際公開番号】W WO2021002687

(87)【国際公開日】2021-01-07

【審査請求日】2022-01-21

【審判番号】

【審判請求日】2023-12-11

(31)【優先権主張番号】10-2019-0080990

(32)【優先日】2019-07-04

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】522005619

【氏名又は名称】アニペン インコーポレイテッド

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】チョン，ジェ ウン

【合議体】

【審判長】高橋 宣博

【審判官】樫本 剛

【審判官】片岡 利延

(56)【参考文献】

【文献】特開２０１９－１２４４３（ＪＰ，Ａ）

【文献】欧州特許出願公開第３３０６４４４（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 19/00

(57)【特許請求の範囲】

【請求項1】

使用者間の経験共有を支援するための方法であって、
経験共有の対象となる共有コンテンツに関する空間情報を獲得する段階、
前記共有コンテンツに関する空間情報を参照して生成される仮想空間で前記共有コンテンツを使用者に提供する段階、および
前記仮想空間で前記使用者によって著作コンテンツが生成されると、前記仮想空間で前記著作コンテンツが生成される位置とマッチングされる位置を基準として前記著作コンテンツが共有されるようにする段階を含み、
前記共有コンテンツに関する空間情報が、前記共有コンテンツで特定されるテーマ（ｔｈｅｍｅ）に関する情報を含み、
前記提供段階で、前記テーマに関する情報を参照して、前記共有コンテンツに関連付けられる場所に関連する複数の映像またはイメージを特定し、前記テーマの形状、大きさ、位置、および方向のうち少なくとも一つに基づいて、前記複数の映像またはイメージを整合することによって前記仮想空間を生成する、方法。

【請求項2】

前記提供段階で、前記仮想空間と前記使用者が存在する場所が空間的に連結される使用者経験を提供するための空間連結客体が、前記使用者が存在する場所の映像を背景に増強（ａｕｇｍｅｎｔｅｄ）されてディスプレイされるようにする、請求項１に記載の方法。

【請求項3】

前記仮想空間のうち少なくとも一部の空間が前記空間連結客体に投影されたりオーバーラップされたりする、請求項２に記載の方法。

【請求項4】

前記使用者が所定のトリガー条件に符合する場所に存在するものと判断される場合に、前記空間連結客体が、前記使用者が存在する場所の映像を背景に増強されてディスプレイされるようにする、請求項２に記載の方法。

【請求項5】

前記仮想空間は、前記共有コンテンツに限定される空間より所定範囲だけさらに拡張された規模で生成される、請求項１に記載の方法。

【請求項6】

前記共有段階で、前記仮想空間内で前記著作コンテンツが生成される位置とマッチングされる位置に存在する他の使用者に前記著作コンテンツが増強されてディスプレイされるようにする、請求項１に記載の方法。

【請求項7】

請求項１に記載された方法を実行するためのコンピュータプログラムを記録する、非一過性のコンピュータ読み取り可能記録媒体。

【請求項8】

使用者間の経験共有を支援するためのシステムであって、
経験共有の対象となる共有コンテンツに関する空間情報を獲得する空間情報獲得部、
前記共有コンテンツに関する空間情報を参照して生成される仮想空間で前記共有コンテンツを使用者に提供するコンテンツ提供部、および
前記仮想空間で前記使用者によって著作コンテンツが生成されると、前記仮想空間で前記著作コンテンツが生成される位置とマッチングされる位置を基準として前記著作コンテンツが共有されるようにする共有管理部を含み、
前記共有コンテンツに関する空間情報が、前記共有コンテンツで特定されるテーマに関する情報を含み、
前記コンテンツ提供部は、前記テーマに関する情報を参照して、前記共有コンテンツに関連付けられる場所に関連する複数の映像またはイメージを特定し、前記テーマの形状、大きさ、位置、および方向のうち少なくとも一つに基づいて、前記複数の映像またはイメージを整合することによって前記仮想空間を生成するように構成される、システム。

【請求項9】

前記コンテンツ提供部は、前記仮想空間と前記使用者が存在する場所が空間的に連結される使用者経験を提供するための空間連結客体が、前記使用者が存在する場所の映像を背景に増強されてディスプレイされるようにする、請求項８に記載のシステム。

【請求項10】

前記仮想空間のうち少なくとも一部の空間が前記空間連結客体に投影されたりオーバーラップされたりする、請求項９に記載のシステム。

【請求項11】

前記コンテンツ提供部は、前記使用者が所定のトリガー条件に符合する場所に存在するものと判断される場合に、前記空間連結客体が、前記使用者が存在する場所の映像を背景に増強されてディスプレイされるようにする、請求項９に記載のシステム。

【請求項12】

前記仮想空間は、前記共有コンテンツに限定される空間より所定範囲だけさらに拡張された規模で生成される、請求項８に記載のシステム。

【請求項13】

前記共有管理部は、前記仮想空間内で前記著作コンテンツが生成される位置とマッチングされる位置に存在する他の使用者に前記著作コンテンツが増強されてディスプレイされるようにする、請求項８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は使用者間の経験共有を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体に関する。

【背景技術】

【0002】

最近、ソーシャルネットワークサービス（ＳＮＳ；Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）等を通じて自身が経験または撮影した映像コンテンツを他人と共有しようとする需要が増加している。

【0003】

これに関する従来技術の一例として韓国登録特許公報第１７１３２５６号に開示された技術を例に挙げることができるが、ＳＮＳコンテンツ製作および共有サービスのためのプラットホームを提供するサーバー、および前記プラットホームを通じて使用者に使用者入力インターフェースを提供して使用者から前記ＳＮＳに共有する掲示物情報の入力を受ける端末を含むものの、前記サーバーは前記使用者から入力された掲示物情報を少なくとも一つ以上の端末から受信してこれに基づいて一つ以上のスクエアを生成し、前記生成された一つ以上のスクエアを前記ＳＮＳを通じて共有するように制御し、前記スクエアは前記使用者から入力された掲示物情報が予め定められた基準により前記サーバーによって変換されて生成されたＳＮＳコンテンツであることを特徴とする、ＳＮＳコンテンツ製作および共有プラットホーム提供システムが紹介されたことがある。

【0004】

しかし、前記のような従来技術をはじめとしてこれまで紹介された技術によると、他の使用者によって共有されるコンテンツをプレイしそれに関する意見は別途のウェブページ、掲示板、コメントなどの空間でやりとりできるだけであったため、共有を受けたコンテンツを通じて受動的に経験共有がなされるしかなかったし、相互間にインターアクティブ（ｉｎｔｅｒａｃｔｉｖｅ）な意思疎通もなされることが困難であった。また、コンテンツの編集に関する専門的な知識がなくては他の使用者によって生成されるコンテンツに基づいて追加のコンテンツを著作することも容易でなかった。

【0005】

そこで、本発明者（ら）は、他の使用者によって生成および共有されるコンテンツに基づいて能動的な体験がなされ得るようにし、そのコンテンツに基づいて新しいコンテンツを著作したり他の使用者とのインターアクティブな意思疎通ができるようにする、新規かつ進歩した技術を提案するところである。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。

【0007】

また、本発明は、共有コンテンツに関連する仮想空間で該当共有コンテンツを生々しく経験できるように支援することを目的とする。

【0008】

また、本発明は、共有コンテンツに関連する仮想空間で新しいコンテンツを著作できるように支援することをその目的とする。

【0009】

また、本発明は、共有コンテンツに関連する仮想空間で複数の使用者がインターアクティブに疎通できるように支援することをその目的とする。

【0010】

また、本発明は、増強現実映像と仮想現実映像が空間的に連結される使用者経験を提供することをその目的とする。

【課題を解決するための手段】

【0011】

前記目的を達成するための本発明の代表的な構成は次の通りである。

【0012】

本発明の一態様によると、使用者間の経験共有を支援するための方法であって、経験共有の対象となる共有コンテンツに関する空間情報を獲得する段階、前記共有コンテンツに関する空間情報を参照して生成される仮想空間で前記共有コンテンツを使用者に提供する段階、および前記仮想空間で前記使用者によって著作コンテンツが生成されると、前記仮想空間で前記著作コンテンツが生成される位置とマッチングされる位置を基準として前記著作コンテンツが共有されるようにする段階を含む方法が提供される。

【0013】

本発明の他の態様によると、使用者間の経験共有を支援するためのシステムであって、経験共有の対象となる共有コンテンツに関する空間情報を獲得する空間情報獲得部、前記共有コンテンツに関する空間情報を参照して生成される仮想空間で前記共有コンテンツを使用者に提供するコンテンツ提供部、および前記仮想空間で前記使用者によって著作コンテンツが生成されると、前記仮想空間で前記著作コンテンツが生成される位置とマッチングされる位置を基準として前記著作コンテンツが共有されるようにする共有管理部を含むシステムが提供される。

【0014】

この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。

【発明の効果】

【0015】

本発明によると、共有コンテンツに関連する仮想空間で共有コンテンツを生々しく経験することができる。

【0016】

また、本発明によると、共有コンテンツに関連する仮想空間で新しいコンテンツを著作することができる。

【0017】

また、本発明によると、共有コンテンツに関連する仮想空間で複数の使用者がインターアクティブに疎通することができる。

【0018】

また、本発明によると、増強現実映像と仮想現実映像が空間的に連結される使用者経験を提供することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施例により使用者間の経験共有を支援するための全体システムの概略的な構成を示す図面である。

【図2】本発明の一実施例に係る支援システムの内部構成を詳細に図示する図面である。

【図3】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図4】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図5】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図6】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図7】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図8】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図9】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図10】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図11】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図12】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図13】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図14】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図15】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【図16】本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【発明を実施するための形態】

【0020】

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は当業者が本発明を充分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、互いに排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造および特性は、本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別の構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味として行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと理解されるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。

【0021】

本明細書で、コンテンツとは、通信網を通じて接近可能な、文字、符号、音声、音響、イメージ、動画などからなるデジタル情報または個別の情報要素を総称する概念である。このようなコンテンツは、例えば、テキスト、イメージ、動画、オーディオ、リンク（例えば、ウェブリンク）等のデータまたはこのようなデータのうち少なくとも二つの組み合わせを含んで構成され得る。より具体的には、このようなコンテンツには、キャラクタ、ボリュメトリック（ｖｏｌｕｍｅｔｒｉｃ）映像、ポイントクラウドまたはポリコンで構成された客体などに関するコンテンツが含まれ得る。

【0022】

以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例に関して添付された図面を参照して詳細に説明することにする。

【0023】

全体システムの構成

【0024】

図１は、本発明の一実施例により使用者間の経験共有を支援するための全体システムの概略的な構成を示す図面である。

【0025】

図１に図示された通り、本発明の一実施例に係る全体システムは通信網１００、支援システム２００およびデバイス３００を含んで構成され得る。

【0026】

まず、本発明の一実施例に係る通信網１００は有線通信や無線通信のような通信の様態にかかわらずに構成され得、近距離通信網（ＬＡＮ；Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ；Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ；Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の多様な通信網で構成され得る。好ましくは、本明細書で言う通信網１００は公知のインターネットまたはワールドワイドウェブ（ＷＷＷ；Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）であり得る。しかし、通信網１００は、必ずしもこれに限定される必要はなく、公知の有線と無線データ通信網、公知の電話網または公知の有線と無線テレビ通信網をその少なくとも一部において含んでもよい。

【0027】

例えば、通信網１００は無線データ通信網であり、無線周波数（ＲＦ；Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）通信、ワイファイ（ＷｉＦｉ）通信、セルラー（ＬＴＥなど）通信、ブルートゥース通信（さらに具体的には、低電力ブルートゥース（ＢＬＥ；Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）通信）、赤外線通信、超音波通信などのような従来の通信方法を少なくともその一部分において具現するものであり得る。

【0028】

次に、本発明の一実施例に係る支援システム２００はメモリ手段を具備し、マイクロプロセッサを搭載して演算能力を備えたデジタルデバイスであり得る。このような支援システム２００はサーバーシステムであり得る。

【0029】

本発明の一実施例に係る支援システム２００は、経験共有の対象となる共有コンテンツに関する空間情報を獲得し、共有コンテンツに関する空間情報を参照して生成される仮想空間で共有コンテンツを使用者に提供し、仮想空間で使用者によって著作コンテンツが生成されると、仮想空間で該当著作コンテンツが生成される位置とマッチングされる位置を基準として該当著作コンテンツが共有されるようにする機能を遂行することができる。

【0030】

本発明の一実施例に係る経験共有の対象となる共有コンテンツは実世界の場所または仮想の場所に基づいて生成されるコンテンツであって、少なくとも一人の使用者に対して共有（例えば、視聴、観覧、体験など）が許諾されるコンテンツを意味し得る。例えば、このような共有コンテンツは、ＣＣＴＶ映像またはイメージ、３６０度カメラ映像またはイメージ、スマートフォン映像またはイメージ、ブラックボックス映像またはイメージ、ドローンの映像またはイメージ、３次元で構成されたポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄ）（またはポイントクラウドイメージまたは映像）、３次元で構成されたメッシュ（ｍｅｓｈ）（またはメッシュイメージまたは映像）等のように実世界の場所に基づいて生成されるコンテンツであるか、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ；ＶＲ）映像などのように仮想の場所に基づいて生成されるコンテンツであり得る。

【0031】

本発明に係る支援システム２００の構成と機能に関しては以下でさらに詳察することにする。一方、支援システム２００について前記のように説明されたが、このような説明は例示的なものであり、支援システム２００に要求される機能や構成要素の少なくとも一部が、必要に応じて後述するデバイス３００または外部システム（図示されず）内で実現されたりデバイス３００または外部システム内に含まれてもよいことは当業者に自明である。

【0032】

次に、本発明の一実施例に係るデバイス３００（例えば、使用者のデバイス）は、通信網１００を通じて支援システム２００に接続した後に通信できるようにする機能を含むデジタル機器であり、スマートフォン、タブレットＰＣ、スマートグラス（例えば、このようなスマートグラスでは増強現実（ＡＲ）、仮想現実（ＶＲ）、混合現実（ＭＲ）、拡張現実（ＸＲ）等が支援され得る）、ヘッドマウントディスプレイ（例えば、このようなヘッドマウントディスプレイでは増強現実（ＡＲ）、仮想現実（ＶＲ）、混合現実（ＭＲ）、拡張現実（ＸＲ）等が支援され得る）等のように、メモリ手段を具備しマイクロプロセッサを搭載して演算能力を備えた携帯可能なデジタル機器であればいくらでも本発明に係るデバイス３００として採択され得る。また、本発明の一実施例によると、デバイス３００には共有コンテンツを生成するための撮影およびスキャンモジュール（例えば、カメラ、ライダー（ＬｉＤＡＲ））、仮想空間または共有コンテンツを提供するためのディスプレイモジュール（例えば、ＬＣＤ、ＬＥＤディスプレイ、またはＯＬＥＤディスプレイ）等がさらに含まれ得る。

【0033】

一方、本発明の一実施例に係るデバイス３００には、本発明に係る使用者間の経験共有を支援する機能を支援するためのアプリケーションが含まれていてもよい。このようなアプリケーションは支援システム２００または外部のアプリケーション配布サーバー（図示されず）からダウンロードされたものであり得る。

【0034】

支援システムの構成

【0035】

以下では、本発明の具現のために重要な機能を遂行する支援システム２００の内部構成および各構成要素の機能について詳察することにする。

【0036】

図２は、本発明の一実施例に係る支援システム２００の内部構成を詳細に図示する図面である。

【0037】

図２に図示された通り、空間情報獲得部２１０、コンテンツ提供部２２０、共有管理部２３０、通信部２４０および制御部２５０を含んで構成され得る。本発明の一実施例によると、空間情報獲得部２１０、コンテンツ提供部２２０、共有管理部２３０、通信部２４０および制御部２５０はそのうち少なくとも一部が外部のシステムと通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、アプリケーションモジュールまたはその他プログラムモジュールの形態で支援システム２００に含まれ得、物理的には多様な公知の記憶装置に保存され得る。また、このようなプログラムモジュールは支援システム２００と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されはしない。

【0038】

まず、本発明の一実施例に係る空間情報獲得部２１０は経験共有の対象となる共有コンテンツに関する空間情報を獲得する機能を遂行することができる。本発明の一実施例に係る共有コンテンツに関する空間情報は、共有コンテンツに関連する実世界の場所または仮想の場所の地理、位置、客体、テーマ（ｔｈｅｍｅ）等に関する情報を含むことができる。

【0039】

例えば、前記共有コンテンツが実世界の場所を撮影して生成されるコンテンツである場合に、空間情報獲得部２１０は該当共有コンテンツが撮影される実世界の場所に対応する位置（絶対座標（例えば、ＧＰＳ座標などの地理的座標）または相対座標）、該当共有コンテンツで実世界の場所が撮影される方向（例えば、共有コンテンツ内の被写体に対する方向角（ｄｉｒｅｃｔｉｏｎ ａｎｇｌｅ）または方位角（ａｚｉｍｕｔｈ））、該当共有コンテンツが撮影される実世界の場所に存在する客体（例えば、被写体）、該当共有コンテンツが撮影される実世界の場所でスキャンされる空間または客体（例えば、該当実世界の場所に存在する建築物）に対するポイントクラウドおよび該当共有コンテンツで特定されるテーマのうち少なくとも一つに関する情報を共有コンテンツに関する空間情報として獲得することができる。一方、本発明の一実施例に係るテーマは、共有コンテンツで特定される主要対象または所定の基準とすることができる対象を意味し、有形の対象だけでなく無形の対象（例えば、空、海、雰囲気など）をすべて含む概念であり得る。例えば、このようなテーマは共有コンテンツで最も多い比重（または比率）を占める対象であるか、大衆に所定水準以上の認知度がある対象が特定され得る。ここで、このような認知度は例えばソーシャルネットワークサービス（ＳＮＳ）、ウェブデータベースなどを参照して決定されるか、公開情報（例えば、公共情報、ＳＮＳ情報など）または非公開情報（例えば、個人情報）に対して人工知能（例えば、ディープラーニング）を活用して分析した結果に基づいて決定され得る。

【0040】

より具体的には、フランス、パリのエッフェル塔を撮影して生成される映像コンテンツが前記共有コンテンツである場合に、空間情報獲得部２１０は認知度が所定水準以上であるエッフェル塔をテーマに特定することができ、その共有コンテンツでのエッフェル塔の形状（このような形状はイメージ的な形状またはポイントクラウドのような空間的データに基づいた形状をすべて含む概念であり得る）、位置および方向のうち少なくとも一つに関する情報（すなわち、テーマに関する情報）を前記共有コンテンツに関する空間情報として獲得することができる。また、空間情報獲得部２１０はエッフェル塔の位置、高さ、幅および面積のうち少なくとも一つに関する情報（すなわち、客体に関する情報）を前記共有コンテンツに関する空間情報として獲得することができる。

【0041】

一方、本発明の一実施例に係る空間情報獲得部２１０は共有コンテンツで客体に関する情報を特定または推定するために、客体の形状、位置、大きさ、面積、幅、体積などに関する情報（すなわち、客体の属性に関する情報）を中心に機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）またはディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）を遂行できる。

【0042】

次に、本発明の一実施例に係るコンテンツ提供部２２０は、空間情報獲得部２１０により獲得される共有コンテンツに関する空間情報を参照して生成される仮想空間で共有コンテンツを使用者に提供する機能を遂行することができる。本発明の一実施例に係る仮想空間は、共有コンテンツに関連する実世界の場所または仮想の場所と同一または類似するように具現した仮想の空間（このような空間は２次元または３次元空間で構成される）であり、共有コンテンツで特定または限定される空間と同一の規模で生成されるか、その空間を中心に所定範囲だけさらに拡張された規模で生成され得る。

【0043】

例えば、コンテンツ提供部２２０は該当共有コンテンツに関する空間情報を参照して、該当共有コンテンツに関連する場所に関する複数の映像（またはイメージ）を特定し、その特定される複数の映像（またはイメージ）に基づいて前記仮想空間を生成することができる（一方、共有コンテンツが２次元である場合に、複数の映像に基づいて３次元で共有コンテンツを再構成してもよい）。より具体的には、コンテンツ提供部２２０は、前記共有コンテンツの撮影位置および撮影方向のうち少なくとも一つに基づいて（例えば、前記共有コンテンツの撮影位置および撮影方向のうち少なくとも一つと一致するように）、前記複数の映像（またはイメージ）を整合（例えば、水平移動、垂直移動、回転、大きさ変換）することによって仮想空間を生成するか、前記共有コンテンツで特定されるテーマの形状、大きさ、位置および方向のうち少なくとも一つに基づいて（例えば、前記共有コンテンツで特定されるテーマの形状、大きさ、位置および方向のうち少なくとも一つと一致するように）、前記複数の映像を整合することによって仮想空間を生成するか、前記共有コンテンツに関連する場所に関するポイントクラウドに基づいて（例えば、前記共有コンテンツに関連する場所に関するポイントクラウドの形状、大きさ位置および方向のうち少なくとも一つと一致するように）、前記複数の映像を整合することによって仮想空間を生成することができる。この場合、例えば被写体に関する２次元映像コンテンツのみが前記共有コンテンツに含まれているとしても、前記共有コンテンツの撮影位置および撮影方向のうち少なくとも一つに関する情報または前記共有コンテンツで特定されるテーマの形状、大きさ、位置および方向のうち少なくとも一つに関する情報に基づいて前記共有コンテンツに関連する複数の３次元映像（またはイメージ）を整合することによって３次元仮想空間を生成できるようになる。一方、本発明の一実施例によると、前記共有コンテンツに関連する実世界の場所または仮想の場所に関する公共映像（またはイメージ）および個人映像（またはイメージ）のうち少なくとも一つから前記複数の映像を獲得することができる。例えば、コンテンツ提供部２２０は前記共有コンテンツに関連する実世界の場所または仮想の場所から所定距離以内で共有コンテンツの撮影位置または撮影方向と同一または類似するように撮影されたＣＣＴＶ（例えば、公演会場または売り場に設置されたＣＣＴＶ）、ソーシャルネットワークサービス（ＳＮＳ）映像、ユー‐チューブ（ＹｏｕＴｕｂｅ）映像などから前記共有コンテンツに関連する複数の映像（またはイメージ）を獲得することができる（このような複数の映像はストリーミング方式等を通じてリアルタイムで獲得される）。一方、コンテンツ提供部２２０は前記共有コンテンツに関連する複数の映像（またはイメージ）の全部または一部を前記共有コンテンツに関する空間情報として獲得してもよい。

【0044】

他の例として、コンテンツ提供部２２０は該当共有コンテンツに関する空間情報を参照して該当共有コンテンツに関連する場所に関する複数のポイントクラウドを特定し、その特定される複数のポイントクラウドに基づいて（例えば、前記特定される複数のポイントクラウドの形状、大きさ、位置、境界および方向のうち少なくとも一つが互いに一致するように）、前記仮想空間を生成することができる。より具体的には、コンテンツ提供部２２０は、前記共有コンテンツが撮影される実世界の場所でスキャンされる客体に関する複数のポイントクラウドを整合（例えば、水平移動、垂直移動、回転、大きさ変換）することによって仮想空間（図１６参照）を生成することができる。

【0045】

さらに他の例として、コンテンツ提供部２２０は共有コンテンツが３６０度映像である場合に、前記のような複数の映像を利用せず、共有コンテンツに関する空間情報を参照して共有コンテンツに関連する実世界の場所または仮想の場所と同一または類似する仮想空間をすぐに生成してもよい。この場合、コンテンツ提供部２２０は、前記仮想空間を所定範囲だけさらに拡張させるために、その拡張される空間に関連する複数の映像を整合（例えば、水平移動、垂直移動、回転および大きさ変換）することによって拡張された仮想空間を生成することができる。

【0046】

また、コンテンツ提供部２２０は、使用者が存在する場所と前記仮想空間が空間的に連結される使用者経験を提供するための空間連結客体が、前記使用者が存在する場所の映像を背景に増強（ａｕｇｍｅｎｔｅｄ）されてディスプレイされるようにすることができる。本発明の一実施例によると、前記使用者が存在する場所は、実世界の場所、仮想現実（ＶＲ）の場所、または実世界および仮想現実が混合された混合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）の場所であり得る。

【0047】

例えば、コンテンツ提供部２２０は前記使用者が存在する実世界の場所または仮想現実の場所の映像を背景に、円、楕円、四角形などの２次元形状または球、半球、直六面体、正六面体などの３次元形状の空間連結客体（または前記使用者が存在する実世界の場所または仮想現実の場所の映像を背景に、キャラクタ、ボリュメトリック映像、ポイントクラウドまたはポリコンで構成された客体などであり得る）が増強されてディスプレイされるようにすることができる。この場合、本発明の一実施例によると、前記空間連結客体に前記仮想空間のうち少なくとも一部の空間が投影されたりオーバーラップされてディスプレイされ得る。すなわち、前記仮想空間のうち少なくとも一部の空間が投影されたりオーバーラップされることによって、前記使用者が存在する場所と前記仮想空間が空間的に連結される使用者経験が向上し得る。

【0048】

一方、コンテンツ提供部２２０は使用者が所定のトリガー条件に符合する場所（例えば、実世界の場所、仮想現実（ＶＲ）の場所、または実世界および仮想現実が混合された混合現実（ＭＲ）の場所）に存在するものと判断される場合に、前記空間連結客体が該当使用者が存在する場所の映像を背景に増強されてディスプレイされるようにすることができる。本発明の一実施例によると、前記所定のトリガー条件に符合する場所は前記仮想空間が前記使用者にディスプレイされ得る所定の与件が備えられた場所を意味し得る。

【0049】

例えば、コンテンツ提供部２２０は、使用者（例えば、使用者デバイス）から所定距離以内に３個の面が存在する実世界の場所が所定のトリガー条件に符合する場所である場合に、使用者が部屋の角に位置することになれば前記トリガー条件を満足するものと判断し、使用者が存在する実世界の場所の映像を背景に前記空間連結客体が増強されてディスプレイされるようにすることができる。

【0050】

次に、共有管理部２３０は前記コンテンツ提供部２２０により生成される仮想空間内で使用者によって著作コンテンツが生成されると、仮想空間で著作コンテンツが生成される位置とマッチングされる位置を基準として著作コンテンツが共有されるようにする機能を遂行することができる。

【0051】

例えば、共有管理部２３０は前記仮想空間内の所定位置に対して使用者によってテキスト、イメージ、映像および音のうち少なくとも一つに関するコンテンツ（または仮想現実の場所の映像を背景に、キャラクタ、ボリュメトリック映像、ポイントクラウドまたはポリコンで構成された客体などを含むコンテンツ）が著作コンテンツとして生成（例えば、タギング（ｔａｇｇｉｎｇ））されると、その仮想空間内で著作コンテンツが生成される位置とマッチングされる実世界位置に存在する他の使用者（具体的には、他の使用者デバイス）にそのタギングされる著作コンテンツが同一にディスプレイされるようにすることができる。本発明の一実施例によると、前記仮想空間内で著作コンテンツがタギングされる位置の絶対座標（例えば、ＧＰＳ座標などの地理的座標）または相対座標を基準として前記マッチングされる実世界位置が特定され得る。一方、前記仮想空間内で著作コンテンツが生成される位置とマッチングされる位置をより正確に特定するために、該当位置に関する３次元地図または３次元空間に関する少なくとも一つの公共または民間データベースがさらに参照され得る。

【0052】

より具体的には、共有管理部２３０は前記仮想空間内で使用者によって著作コンテンツが生成される位置が所定建物の壁面である場合に、実世界での該当建物の壁面に該当著作コンテンツと同一のコンテンツがリアルタイムで増強されてディスプレイされるようにすることができる。

【0053】

次に、本発明の一実施例に係る通信部２４０は空間情報獲得部２１０、コンテンツ提供部２２０および共有管理部２３０からの／へのデータの送受信を可能にする機能を遂行することができる。

【0054】

最後に、本発明の一実施例に係る制御部２５０は空間情報獲得部２１０、コンテンツ提供部２２０、共有管理部２３０および通信部２４０の間のデータの流れを制御する機能を遂行することができる。すなわち、本発明に係る制御部２５０は支援システム２００の外部からの／へのデータの流れまたは支援システム２００の各構成要素間のデータの流れを制御することによって、空間情報獲得部２１０、コンテンツ提供部２２０、共有管理部２３０および通信部２４０でそれぞれ固有の機能を遂行するように制御することができる。

【0055】

以下では、本発明の一実施例によりコンテンツが共有される状況を図３～図１１の図面を参照して詳細に説明することにする。

【0056】

図３～図１１は、本発明の一実施例により使用者間に経験共有がなされる状況を例示的に示す図面である。

【0057】

第１実施例

【0058】

図３を参照すると、第１使用者（具体的には、第１使用者デバイス３１０）により共有コンテンツが提供され、第２使用者（具体的には、第２使用者デバイス３２０）および第３使用者（具体的には、第３使用者デバイス３３０）にその共有コンテンツが共有される状況を仮定して見ることができる。

【0059】

まず、第１使用者によって提供される共有コンテンツを含む複数の共有コンテンツに関する空間情報が獲得され、その複数の共有コンテンツに関する空間情報を参照してそれぞれの仮想空間が生成され得る。

【0060】

例えば、図４の（ａ）、（ｂ）、（ｃ）および（ｄ）を参照すると、主要名所または主要観光地（例えば、「ウェンブリースタジアム」、「パリのスタッドドフランス」および「メルセデスベンツアリーナベルリン」）に関する共有コンテンツを含む複数の共有コンテンツそれぞれに関する空間情報が獲得され、その複数の共有コンテンツそれぞれに関する空間情報を参照してその複数の共有コンテンツに関する複数の仮想空間が生成され得る。

【0061】

その次に、前記複数の仮想空間と第２使用者または第３使用者が存在する仮想場所を空間的に連結する複数の空間連結客体（例えば、ポータル）が、第２使用者または第３使用者が存在する仮想場所を背景に増強されてディスプレイされ得る。

【0062】

例えば、第２使用者または第３使用者が存在する仮想場所が宇宙である場合に、その宇宙と前記複数の仮想空間を空間的に連結する複数の空間連結客体４１０、４２０、４３０がその宇宙を背景に増強されてディスプレイされ得る。

【0063】

他の例として、第２使用者または第３使用者が存在する仮想場所が仮想の個人空間（例えば、仮想の家、仮想の島など）の場合に、その仮想の個人空間と前記複数の仮想空間を空間的に連結する複数の空間連結客体がその仮想の個人空間を背景に増強されてディスプレイされ得る。

【0064】

一方、前記複数の仮想空間と第２使用者または第３使用者が存在する仮想場所を空間的に連結する複数の空間連結客体４４０、４５０、４６０、４７０が、所定のマップまたはリストを背景に増強されてディスプレイされてもよい。

【0065】

第２実施例

【0066】

本発明の一実施例により経験共有の対象となる共有コンテンツが事務室またはショッピングモールに存在する使用者に共有される状況を仮定して見ることができる。

【0067】

まず、経験共有の対象となる共有コンテンツに関する空間情報が獲得され得る。

【0068】

例えば、実世界の場所のうちクァンファムン通りに基づいて生成される共有コンテンツに関する空間情報が獲得され得る。また、仮想の場所のうちサハラ砂漠に基づいて生成される共有コンテンツに関する空間情報が獲得され得る。

【0069】

その次に、前記共有コンテンツに関する空間情報を参照して仮想空間が生成され得る。

【0070】

例えば、前記クァンファムン通りに基づいて生成される共有コンテンツに関する空間情報を参照して該当共有コンテンツに関する仮想空間が生成され得る。また、前記サハラ砂漠に基づいて生成される共有コンテンツに関する空間情報を参照して該当共有コンテンツに関する仮想空間が生成され得る。

【0071】

その次に、前記生成される仮想空間で前記共有コンテンツが使用者に提供され得る。

【0072】

例えば、図５の（ａ）を参照すると、前記仮想空間と前記使用者が存在する事務室５０１を空間的に連結する使用者経験を提供するための空間連結客体５１０が、使用者が存在する事務室５０１の実世界映像を背景に増強されてディスプレイされ得る。また、図６の（ａ）を参照すると、前記仮想空間と前記使用者が存在するショッピングモール６０１を空間的に連結する使用者経験を提供するための空間連結客体６１０が、使用者が存在するショッピングモール６０１の実世界映像を背景に増強されてディスプレイされ得る。また、図６の（ｂ）を参照すると、前記使用者が空間連結客体６１０に向かって近付いたりズームイン（ｚｏｏｍ ｉｎ）する場合に、該当使用者が空間連結客体６１０を通じて前記仮想空間に進入する使用者経験が提供され得る。

【0073】

その次に、前記仮想空間で前記使用者によって著作コンテンツが生成されると、該当仮想空間で該当著作コンテンツが生成される位置とマッチングされる位置を基準として前記著作コンテンツが共有され得る。

【0074】

例えば、図５の（ｂ）を参照すると、前記クァンファムン通りで前記使用者によってテキストおよびイメージに関する著作コンテンツ５２１～５２６が生成されると、該当著作コンテンツが生成される位置とマッチングされる位置である実際のクァンファムン通りを基準として前記著作コンテンツが共有され得る。より具体的には、実際のクァンファムン通りに存在する他の使用者（具体的には、他の使用者のデバイス）に著作コンテンツ５２１～５２６と同一のコンテンツが増強されてリアルタイムでディスプレイされ得る。

【0075】

他の例として、図１２～図１５を参照すると、仮想空間である前記クァンファムン通り（図１２の（ａ）および（ｂ）参照）で前記使用者によってテキストおよびイメージに関する著作コンテンツ１３０１が生成されると（図１３の（ａ）、（ｂ）、（ｃ）および（ｄ）参照）、該当著作コンテンツが生成される位置とマッチングされる仮想のクァンファムン通りを基準として前記著作コンテンツが共有され得る（図１４の（ａ）、（ｂ）および（ｃ）参照）。また、該当著作コンテンツには該当著作コンテンツを著作した使用者に関する情報（例えば、ＩＤ、著作時間、著作場所など）がタグ（１５０１、１５０２）され得る。

【0076】

一方、前記使用者が所定のトリガー条件に符合する実世界の場所または仮想の場所に存在するものと判断される場合に、空間連結客体５１０、６１０が該当使用者が存在する場所である事務室５０１またはショッピングモール６０１の実世界映像を背景に増強されてディスプレイされ得る。

【0077】

第３実施例

【0078】

本発明の一実施例により第１使用者（具体的には、第１使用者デバイス３１０）により共有コンテンツが提供され、第２使用者（具体的には、第２使用者デバイス３２０）および第３使用者（具体的には、第３使用者デバイス３３０）にその共有コンテンツがリアルタイムで共有される状況を仮定して見ることができる。具体的には、第１使用者によって提供される共有コンテンツに関する空間情報に基づいて生成される仮想空間で第１使用者、第２使用者および第３使用者間にチャットがなされる状況であり得る。

【0079】

まず、図７および図８を参照すると、第１使用者（具体的には、第１使用者デバイス３１０）によりフランス、パリのエッフェル塔を背景にする共有コンテンツが生成され得る。

【0080】

また、前記共有コンテンツに関する空間情報を参照して仮想空間が生成され得る。

【0081】

例えば、前記共有コンテンツに関する空間情報に基づいて該当共有コンテンツに関連する場所に関するポイントクラウドが特定され得、その特定されるポイントクラウドに基づいて（例えば、前記特定されるポイントクラウドを含む複数のポイントクラウドの形状、大きさ、位置、境界および方向のうち少なくとも一つと一致するように）、前記仮想空間が生成され得る。

【0082】

その次に、図１０および図１１を参照すると、前記仮想空間と第２使用者および第３使用者（具体的には、第２使用者デバイス３２０および第３使用者デバイス３３０）が存在する場所を空間的に連結する使用者経験を提供するための空間連結客体１０１０、１１１０が、第２使用者および第３使用者が存在する場所を背景にそれぞれ増強されてディスプレイされ得る（１０００（ａ）、１１００（ａ））。

【0083】

一方、第２使用者および第３使用者（具体的には、第２使用者デバイス３２０および第３使用者デバイス３３０）が所定のトリガー条件に符合する場所に存在するものと判断される場合にのみ、前記のような空間連結客体１０１０、１１１０が生成されてもよい。

【0084】

例えば、図９を参照すると、第２使用者（具体的には、第２使用者デバイス３２０）が所定距離以内で６個の面に向かうことができる部屋の角９１０に存在する場合に前記のような空間連結客体が生成され得る。

【0085】

その次に、第２使用者および第３使用者が空間連結客体１０１０、１１１０に向かって近付いたりズームイン（ｚｏｏｍ ｉｎ）する場合に、前記仮想空間が第２使用者および第３使用者にそれぞれディスプレイされ得る（１０００（ｂ）、１１００（ｂ））。

【0086】

その次に、前記仮想空間で第２使用者によって第１著作コンテンツ１０２０、１０３０が生成されると（１０００（ｃ））、彼仮想空間で第１著作コンテンツ１０２０、１０３０が生成される位置とマッチングされる位置を基準として第１著作コンテンツ１０２０、１０３０が共有され得る（１１００（ｃ）、８００（ｂ））。

【0087】

具体的には、前記仮想空間で第１著作コンテンツ１０２０、１０３０が生成される位置とマッチングされる第３使用者の仮想空間内の位置を基準として第１著作コンテンツ１０２０、１０３０が共有され得る（１１００（ｃ））。また、前記仮想空間で第１著作コンテンツ１０２０、１０３０が生成される位置とマッチングされる実世界の位置を基準として第１著作コンテンツ１０２０、１０３０が共有され得る（８００（ｂ））。

【0088】

その次に、前記仮想空間で第３使用者によって第２著作コンテンツ１１２０が生成されると（１１００（ｄ））、彼仮想空間で第２著作コンテンツ１１２０が生成される位置とマッチングされる位置を基準として第２著作コンテンツ１１２０が共有され得る（１０００（ｄ）、８００（ｃ））。

【0089】

具体的には、前記仮想空間で第２著作コンテンツ１１２０が生成される位置とマッチングされる第２使用者の仮想空間内の位置を基準として第２著作コンテンツ１１２０が共有され得る（１０００（ｄ））。また、前記仮想空間で第２著作コンテンツ１１２０が生成される位置とマッチングされる実世界の位置を基準として第２著作コンテンツ１１２０が共有され得る（８００（ｃ））。

【0090】

以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になっている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同様である。

【0091】

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を試みることができる。

【0092】

したがって、本発明の思想は前記説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属すると言える。

【符号の説明】

【0093】

１００：通信網
２００：支援システム
２１０：空間情報獲得部
２２０：コンテンツ提供部
２３０：共有管理部
２４０：通信部
２５０：制御部
３００：デバイス

【図1】

【図2】

【図3】

【図4(a)】

【図4(b)】

【図4(c)】

【図4(d)】

【図5(a)】

【図5(b)】

【図6(a)】

【図6(b)】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】