特許 6980802 拡張現実を提供するための方法、装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6980802

(24)【登録日】2021年11月19日

(45)【発行日】2021年12月15日

(54)【発明の名称】拡張現実を提供するための方法、装置及びコンピュータプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20211202BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】18

【全頁数】20

(21)【出願番号】特願2019-548040(P2019-548040)

(86)(22)【出願日】2017年3月6日

(65)【公表番号】特表2020-509505(P2020-509505A)

(43)【公表日】2020年3月26日

(86)【国際出願番号】KR2017002373

(87)【国際公開番号】WO2018164287

(87)【国際公開日】20180913

【審査請求日】2020年2月17日

(73)【特許権者】

【識別番号】321003371

【氏名又は名称】ＬＩＮＥ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】チェー，サンジョ

(72)【発明者】

【氏名】パク，ヒチョル

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 国際公開第２０１３／０２７６２８（ＷＯ，Ａ１）

【文献】 特表２０１４−５２６０９９（ＪＰ，Ａ）

【文献】 特開２００４−１９２６５３（ＪＰ，Ａ）

【文献】 特開平０９−０９８３２３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／００３９７３１（ＵＳ，Ａ１）

【文献】 特開２０１２−１６８７９８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０２０８０５７（ＵＳ，Ａ１）

【文献】 特開２０１２−２１２３４５（ＪＰ，Ａ）

【文献】 特開２０１６−１３９１９９（ＪＰ，Ａ）

【文献】 特開２０１３−２２５２４５（ＪＰ，Ａ）

【文献】 特開２０１６−２２０１９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

端末から前記端末周囲の複数のポイントまでの距離を測定し、複数のポイントを含む平面の方向情報である平面情報を、前記端末の方向を基準として獲得する段階と、
方向センサによって測定された端末の方向情報、及び前記平面情報を利用して、前記平面のノーマルベクトルを獲得する段階であって、前記平面の方向情報の基準を、前記端末の方向から前記方向センサの基準方向に変換し、前記ノーマルベクトルを獲得する段階と、
前記ノーマルベクトルに基づいて、空間を限定する所定の複数の属性のうち前記平面の属性が何であるかを決定し、前記平面に表示するオブジェクトの動きが、前記平面の決定された属性に応じているように、前記オブジェクトのパラメータを決定する段階と、
前記端末の表示部に、前記決定されたパラメータにより、前記オブジェクトを表示する段階と、
を含む拡張現実提供方法をコンピュータに実行させるコンピュータプログラム。

【請求項2】

赤外線センサから測定された前記赤外線センサから複数のポイントまでの距離及び方向を獲得する段階をさらに含み、
前記平面情報を獲得する段階は、前記測定された距離及び方向を利用し、前記平面情報を獲得することを特徴とする請求項１に記載のコンピュータプログラム。

【請求項3】

前記方向センサは、加速度センサ及びジャイロセンサのうち１以上を含むことを特徴とする請求項１又は２に記載のコンピュータプログラム。

【請求項4】

前記空間を限定する所定の複数の属性は、天井、壁、及び床を含むことを特徴とする請求項１〜３のうちの何れか１項に記載のコンピュータプログラム。

【請求項5】

前記決定する段階は、前記属性に基づいて、前記オブジェクトの第１パラメータを決定し、前記平面の方向情報に基づいて、前記オブジェクトの第２パラメータを決定することを特徴とする請求項４に記載のコンピュータプログラム。

【請求項6】

前記決定する段階は、前記属性に基づいて、前記オブジェクトの種類を決定し、前記平面の方向情報に基づいて、前記オブジェクトのレンダリング方向を決定し、
前記表示する段階は、前記オブジェクトを表示するための三次元情報を、前記レンダリング方向に沿って、二次元にレンダリングして表示することを特徴とする請求項４又は５に記載のコンピュータプログラム。

【請求項7】

前記表示する段階は、前記端末に具備されるカメラによって撮影される映像と、前記オブジェクトとを重畳して表示することを特徴とする請求項１〜６のうちの何れか１項に記載のコンピュータプログラム。

【請求項8】

前記距離は、前記端末に具備される距離センサによって測定され、
前記カメラ及び前記距離センサは、同一方向に向けて設置されることを特徴とする請求項７に記載のコンピュータプログラム。

【請求項9】

前記パラメータは、前記オブジェクトの大きさ、方向、色相、及び前記オブジェクトに適用されるアニメーションのうち少なくとも一つを含むことを特徴とする請求項１〜８のうちの何れか１項に記載のコンピュータプログラム。

【請求項10】

端末から前記端末周囲の複数のポイントまでの距離を測定し、複数のポイントを含む平面の方向情報である平面情報を、前記端末の方向を基準として獲得する段階と、
方向センサによって測定された端末の方向情報、及び前記平面情報を利用して、前記平面のノーマルベクトルを獲得する段階であって、前記平面の方向情報の基準を、前記端末の方向から前記方向センサの基準方向に変換し、前記ノーマルベクトルを獲得する段階と、
前記ノーマルベクトルに基づいて、空間を限定する所定の複数の属性のうち前記平面の属性が何であるかを決定し、前記平面に表示するオブジェクトの動きが、前記平面の決定された属性に応じているように、前記オブジェクトのパラメータを決定する段階と、
前記端末の表示部に、前記決定されたパラメータにより、前記オブジェクトを表示する段階と、を含む拡張現実提供方法。

【請求項11】

距離センサによって測定された端末から前記端末周囲の複数のポイントまでの距離、及び方向センサによって測定された端末の方向情報を獲得する信号獲得部と、
前記距離を利用し、前記複数のポイントを含む平面の方向情報である平面情報を、前記端末の方向を基準として獲得し、前記端末の方向情報、及び前記平面情報を利用し、前記平面のノーマルベクトルを獲得し、前記ノーマルベクトルを考慮し、前記平面に表示するオブジェクトのパラメータを決定する演算部と、
前記端末の表示部に、前記決定されたパラメータにより、前記オブジェクトを表示する表示制御部と、を含み、
前記演算部は、前記平面の方向情報の基準を前記端末の方向から前記方向センサの基準方向に変換することにより獲得したノーマルベクトルに基づいて、空間を限定する所定の複数の属性のうち前記平面の属性が何であるかを決定し、前記平面に表示するオブジェクトの動きが、前記平面の決定された属性に応じているように、前記オブジェクトのパラメータを決定する、拡張現実提供装置。

【請求項12】

前記拡張現実提供装置は、
加速度センサ及びジャイロセンサのうち１以上を含む前記方向センサをさらに含むことを特徴とする請求項１１に記載の拡張現実提供装置。

【請求項13】

前記空間を限定する所定の複数の属性は、天井、壁、及び床を含むことを特徴とする請求項１１又は１２に記載の拡張現実提供装置。

【請求項14】

前記演算部は、前記属性に基づいて、前記オブジェクトの第１パラメータを決定し、前記平面の方向情報に基づいて、前記オブジェクトの第２パラメータを決定することを特徴とする請求項１３に記載の拡張現実提供装置。

【請求項15】

前記演算部は、前記属性に基づいて、前記オブジェクトの種類を決定し、前記平面の方向情報に基づいて、前記オブジェクトのレンダリング方向を決定し、
前記表示制御部は、前記オブジェクトを表示するための三次元情報を、前記レンダリング方向に沿って、二次元にレンダリングして表示することを特徴とする請求項１３又は１４に記載の拡張現実提供装置。

【請求項16】

前記表示制御部は、前記端末に具備されるカメラによって撮影される映像と、前記オブジェクトとを重畳して表示することを特徴とする請求項１１〜１５のうちの何れか１項に記載の拡張現実提供装置。

【請求項17】

前記拡張現実提供装置は、
前記カメラと、
前記距離センサと、をさらに含み、
前記カメラ及び前記距離センサは、同一方向に向けて設置されることを特徴とする請求項１６に記載の拡張現実提供装置。

【請求項18】

前記パラメータは、前記オブジェクトの大きさ、方向、色相、及び前記オブジェクトに適用されるアニメーションのうち少なくとも一つを含むことを特徴とする請求項１１〜１７のうちの何れか１項に記載の拡張現実提供装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実を提供するための方法、装置及びコンピュータプログラム等に関する。

【背景技術】

【0002】

拡張現実（ＡＲ：augmented reality）は、バーチャルリアリティ（virtual reality）の一分野であり、実際環境に仮想事物や情報を合成し、本来の環境に存在する事物のように見せるコンピュータグラフィック技法である。現実世界に、リアルタイムで付加情報を有する仮想世界を合わせ、１つの映像として見せるので、混合現実（ＭＲ：mixed reality）とも言う。

【0003】

既存の仮想現実は、仮想の空間と事物のみを対象にしていた。しかし、該拡張現実は、現実世界の基盤の上に、仮想の事物を合成し、現実世界だけでは得難い付加的な情報を補強して提供することができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施形態は、平面を認識し、平面に該当するオブジェクトを表示する拡張現実を提供する。本発明の実施形態は、平面と端末との方向によって平面の属性を区分し、平面の属性に該当するオブジェクトを表示する拡張現実を提供する。

【課題を解決するための手段】

【0005】

本発明の一実施形態によれば、コンピュータを利用し、複数のポイントに係わる距離（distance）を利用し、前記複数のポイントを含む平面に係わる平面情報を獲得する段階と、方向センサによって測定された端末の方向情報、及び前記平面情報を利用し、前記平面のノーマルベクトルを獲得する段階と、前記ノーマルベクトルを考慮し、前記平面に表示するオブジェクトのパラメータを決定する段階と、前記端末の表示部に、前記決定されたパラメータにより、前記オブジェクトを表示する段階と、を含む拡張現実提供方法を実行させるために、コンピュータで読み取り可能な媒体に保存されたコンピュータプログラムが開示される。

【0006】

本実施形態において、赤外線センサから測定された前記赤外線センサから複数のポイントまでの距離及び方向を獲得する段階をさらに含み、前記平面情報を獲得する段階は、前記測定された距離及び方向を利用し、前記平面情報を獲得することができる。

【0007】

本実施形態において、前記平面情報は、前記端末の方向を基準にする前記平面の方向情報であり、前記方向センサは、加速度センサ及びジャイロセンサのうち１以上を含み、前記ノーマルベクトルを獲得する段階は、前記測定された端末の方向情報に基づいて、前記平面の方向情報の基準を、前記端末の方向から前記方向センサの基準方向に変換し、前記ノーマルベクトルを獲得することができる。

【0008】

本実施形態において、前記決定する段階は、前記ノーマルベクトルに基づいて、前記平面の属性を決定し、前記決定された属性を考慮し、前記パラメータを決定することができる。

【0009】

本実施形態において、前記平面情報は、前記平面の方向情報であり、前記決定する段階は、前記属性に基づいて、前記オブジェクトの第１パラメータを決定し、前記平面の方向情報に基づいて、前記オブジェクトの第２パラメータを決定することができる。

【0010】

本実施形態において、前記平面情報は、前記平面の方向情報であり、前記決定する段階は、前記属性に基づいて、前記オブジェクトの種類を決定し、前記平面の方向情報に基づいて、前記オブジェクトのレンダリング方向を決定し、前記表示する段階は、前記オブジェクトを表示するための三次元情報を、前記レンダリング方向に沿って、二次元にレンダリングして表示することができる。

【0011】

本実施形態において、前記表示する段階は、前記端末に具備されるカメラによって撮影される映像と、前記オブジェクトとを重畳して表示することができる。

【0012】

本実施形態において、前記距離は、前記端末に具備される距離センサによって測定され、前記カメラ及び前記距離センサは、同一方向に向けても設置される。

【0013】

本実施形態において、前記パラメータは、前記オブジェクトの大きさ、方向、色相、及び前記オブジェクトに適用されるアニメーションのうち少なくとも一つを含んでもよい。

【0014】

本発明の他の実施形態は、複数のポイントに係わる距離を利用し、前記複数のポイントを含む平面に係わる平面情報を獲得する段階と、方向センサによって測定された端末の方向情報、及び前記平面情報を利用し、前記平面のノーマルベクトルを獲得する段階と、前記ノーマルベクトルを考慮し、前記平面に表示するオブジェクトのパラメータを決定する段階と、前記端末の表示部に、前記決定されたパラメータにより、前記オブジェクトを表示する段階と、を含む拡張現実提供方法を開示する。

【0015】

本発明のさらに他の実施形態は、距離センサによって測定された複数のポイントに係わる距離情報、及び方向センサによって測定された端末の方向情報を獲得する信号獲得部と、前記距離を利用し、前記複数のポイントを含む平面に係わる平面情報を獲得し、前記端末の方向情報、及び前記平面情報を利用し、前記平面のノーマルベクトルを獲得し、前記ノーマルベクトルを考慮し、前記平面に表示するオブジェクトのパラメータを決定する演算部と、前記端末の表示部に、前記決定されたパラメータにより、前記オブジェクトを表示する表示制御部と、を含む拡張現実提供装置を開示する。

【0016】

本実施形態において、前記装置は、加速度センサ及びジャイロセンサのうち１以上を含む前記方向センサをさらに含み、前記平面情報は、前記端末の方向を基準にする前記平面の方向情報であり、前記演算部は、前記測定された端末の方向情報に基づいて、前記平面の方向情報の基準を、前記端末の方向から前記方向センサの基準方向に変換し、前記ノーマルベクトルを獲得することができる。

【0017】

本実施形態において、前記演算部は、前記ノーマルベクトルに基づいて、前記平面の属性を決定し、前記決定された属性を考慮し、前記パラメータを決定することができる。

【0018】

本実施形態において、前記平面情報は、前記平面の方向情報であり、前記演算部は、前記属性に基づいて、前記オブジェクトの第１パラメータを決定し、前記平面の方向情報に基づいて、前記オブジェクトの第２パラメータを決定することができる。

【0019】

本実施形態において、前記平面情報は、前記平面の方向情報であり、前記演算部は、前記属性に基づいて、前記オブジェクトの種類を決定し、前記平面の方向情報に基づいて、前記オブジェクトのレンダリング方向を決定し、前記表示制御部は、前記オブジェクトを表示するための三次元情報を、前記レンダリング方向に沿って、二次元にレンダリングして表示することができる。

【0020】

本実施形態において、前記表示制御部は、前記端末に具備されるカメラによって撮影される映像と、前記オブジェクトとを重畳して表示することができる。

【0021】

本実施形態において、前記装置は、前記カメラと、前記距離センサと、をさらに含み、前記カメラ及び前記距離センサは、同一方向に向けても設置される。

【0022】

本実施形態において、前記パラメータは、前記オブジェクトの大きさ、方向、色相、及び前記オブジェクトに適用されるアニメーションのうち少なくとも一つを含んでもよい。

【0023】

前述のところ以外の他の側面、特徴、利点が、以下の図面、特許請求の範囲、及び発明の詳細な説明から明確になるであろう。そのような一般的であって具体的な側面が、システム、方法、コンピュータプログラム、またはいかなるシステム、方法、コンピュータプログラムの組み合わせを使用しても実施される。

【発明の効果】

【0024】

本発明の実施形態に係わる拡張現実提供方法、その装置及びそのコンピュータプログラムは、平面と端末との方向に沿って、平面の属性を区分し、平面の属性に該当するオブジェクトを表示することにより、映像だけでは分かりにくい平面の属性であるとしても、ユーザが仮想オブジェクトを介して、平面の属性を視覚的／直観的に認知するようにする。

【0025】

本発明の実施形態に係わる拡張現実提供方法、その装置及びそのコンピュータプログラムは、平面の属性と係わりのあるオブジェクトを選別して提供するので、現実と密接な連関がある仮想オブジェクトを表示することができるようになり、さらに臨場感ある拡張現実が提供される。また、平面の属性により、他のオブジェクトを提供しなければならないサービスに適用可能である。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態による拡張現実提供システムの構成を示した図面である。

【図2】本発明の一実施形態による拡張現実提供装置の構成を図示した図面である。

【図3】図２に図示されたプロセッサの構成を示したブロック図である。

【図4】本発明の一実施形態による拡張現実提供方法を図示したフローチャートである。

【図5】図２の拡張現実提供装置が平面を認識する方法について説明するための図面である。

【図6】図２の拡張現実提供装置が平面を認識する方法について説明するための他の図面である。

【図7】拡張現実が提供された画面の例である。

【図8】拡張現実が提供された画面の例である。

【図9A】拡張現実が提供された画面の他の例である。

【図9B】拡張現実が提供された画面の他の例である。

【図9C】拡張現実が提供された画面の他の例である。

【図10】拡張現実が提供された画面の他の例である。

【図11】拡張現実が提供された画面の他の例である。

【発明を実施するための形態】

【0027】

本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明によって詳細に説明する。本発明の効果、特徴、及びそれらを達成する方法は、図面と共に詳細に後述されている実施形態を参照すれば、明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、多様な形態によっても具現される。

【0028】

以下、添付された図面を参照し、本発明の実施形態について詳細に説明するが、図面を参照して説明するとき、同一であるか、あるいは対応する構成要素は、同一図面符号を付し、それに係わる重複される説明は、省略する。

【0029】

以下の実施形態において、第１、第２のような用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的に使用された。以下の実施形態において、単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。以下の実施形態において、「含む」または「有する」というような用語は、明細書上に記載された特徴または構成要素が存在するということを意味するものであり、１以上の他の特徴または構成要素が付加される可能性をあらかじめ排除するものではない。図面においては、説明の便宜のために、構成要素が、その大きさが誇張されていたり縮小されていたりする。例えば、図面に示された各構成の大きさ及び厚みは、説明の便宜のために任意に示されているので、本発明は、必ずしも図示されているところに限定されるものではない。

【0030】

図１は、本発明の一実施形態による拡張現実提供システムの構成を示した図面である。

【0031】

図１を参照すれば、本発明の一実施形態による拡張現実提供システムは、サーバ１０、ユーザ端末２０、及びそれらを連結するネットワーク３０を含む。

【0032】

本発明の一実施形態によって提供される拡張現実提供システムは、カメラによって撮影される映像にオブジェクトを重畳し、リアルタイムで表示する拡張現実を提供する。詳細には、一実施形態によって提供される拡張現実は、ユーザ端末２０周辺に実際に存在する平面を認識し、認識された平面の属性を決定し、それによる仮想のオブジェクトを、カメラによって撮影される映像と共にリアルタイムで表示する。

【0033】

サーバ１０は、拡張現実を提供するためのプログラムを、ユーザ端末２０に提供する。ユーザ端末２０は、サーバ１０からプログラムを提供されてインストールし、インストールされたプログラムを利用し、ユーザに拡張現実を提供することができる。

【0034】

ユーザ端末２０は、本発明の一実施形態によって提供される拡張現実提供プログラムがインストールされるいかなる端末でも可能である。ユーザ端末２０は、携帯用端末でもある。図１においては、携帯用端末が、スマートフォン（smart phone）として図示されているが、本発明の思想は、それに制限されるものではなく、前述のように、コンピュータプログラムのインストール可能な端末であるならば、制限なしに借用されるのである。例えば、ユーザ端末２０は、ウェアラブルコンピュータ、ＨＭＤ（head mounted display）などを含む。

【0035】

ユーザ端末２０は、画面を表示する表示部、及び映像を撮影するカメラを含む。該表示部は、映像を直接表示する表示パネルを具備することもできるが、それに限定されるものではなく、プロジェクタ方式の表示装置も該当する。ユーザ端末２０は、距離センサ及び方向センサをさらに含んでもよい。

【0036】

ネットワーク３０は、ユーザ端末２０とサーバ１０とを連結する役割を遂行する。例えば、ネットワーク３０は、ユーザ端末２０がサーバ１０に接続した後、パケットデータを送受信することができるように接続経路を提供する。

【0037】

図面には図示されていないが、本発明の一実施形態によるサーバ１０は、メモリ、入出力部、プログラム保存部、制御部などを含んでもよい。

【0038】

図２は、本発明の一実施形態による拡張現実提供装置２００の構成を図示したものである。

【0039】

本発明の一実施形態による拡張現実提供装置２００は、データを処理するプロセッサ（processor）を含む全種の装置に該当する。例えば、拡張現実提供装置２００は、少なくとも１以上のプロセッサを含んでもよい。ここで、「プロセッサ」は、例えば、プログラム内に含まれたコードまたは命令によって表現された機能を遂行するために、物理的に構造化された回路を有する、ハードウェアに内蔵されたデータ処理装置を意味する。そのように、ハードウェアに内蔵されたデータ処理装置の一例として、マイクロプロセッサ（microprocessor）、中央処理装置（ＣＰＵ：central processing unit）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（application-specific integrated circuit）、ＦＰＧＡ（field programmable gate array）のような処理装置を網羅することができるが、本発明の範囲は、それらに限定されるものではない。それにより、拡張現実提供装置２００は、マイクロプロセッサや汎用コンピュータシステムのような他のハードウェア装置に含まれた形態によっても駆動される。拡張現実提供装置２００は、図１に図示されたユーザ端末２０にも搭載される。

【0040】

図２に図示された拡張現実提供装置２００は、本実施形態の特徴が不明確になることを防止するために、本実施形態と係わる構成要素のみを図示したものである。従って、図２に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということは、本実施形態と係わる技術分野において当業者であるならば、理解することができるであろう。

【0041】

例えば、拡張現実提供装置２００は、他のネットワーク装置（例えば、サーバ１０）と、有無線連結を介して信号を送受信するために必要なハードウェア及びソフトウェアを含む通信部をさらに含んでもよい。

【0042】

また、拡張現実提供装置２００は、拡張現実提供装置２００が処理するデータを、一時的または永久に保存する機能を遂行するメモリをさらに含んでもよい。該メモリは、磁気記録媒体（magnetic storage media）またはフラッシュ記録媒体（flash storage media）を含んでもよいが、本発明の範囲は、それらに限定されるものではない。

【0043】

本発明の一実施形態による拡張現実提供装置２００は、プロセッサ２１０を利用し、距離センサ２２１の測定値によって平面を認識し、方向センサ２２２の測定値を利用し、平面の属性を決定し、それによる仮想のオブジェクトを、カメラ２２３によって撮影される映像と共に、表示部２３０にリアルタイムで表示する。

【0044】

図２を参照すれば、本発明の一実施形態による拡張現実提供装置２００は、プロセッサ２１０、距離センサ２２１、方向センサ２２２、カメラ２２３及び表示部２３０を含む。

【0045】

距離センサ２２１は、距離センサから前方の複数ポイントまでの距離を獲得する。距離センサ２２１は、複数のポイントに対する方向情報をさらに獲得する。前方に平面が存在する場合、距離センサ２２１は、平面上の複数のポイントまでの距離及び方向を獲得することができ、プロセッサ２１０は、距離センサ２２１が測定した情報を利用し、複数のポイントを含む平面情報、例えば、平面を定義することができる情報として、平面方程式、平面ベクトルなどを獲得することができる。

【0046】

距離センサ２２１は、例えば赤外線センサであり、赤外線センサから複数のポイントまでの距離を測定することができる。該赤外線センサは、赤外線を送信した後、反射されて戻って来る赤外線を受光し、赤外線が反射された地点までの距離を測定する。距離センサ２２１は、例えば超音波センサであってもよい。該超音波センサは、超音波を送信した後、反射されて戻って来る超音波を受信し、超音波が反射された地点までの距離を測定する。

【0047】

一例によれば、距離センサ２２１は、赤外線を発光させる発光部と、反射される赤外線を受光する受光部と、を含む。一例によれば、距離センサ２２１は、赤外線を第１方向に送信した後、反射された赤外線を受光することにより、距離センサ２２１から第１方向に位置する第１ポイントまでの距離を測定し、赤外線を第２方向に送信した後、反射される赤外線を受光することにより、距離センサ２２１から第２方向に位置する第２ポイントまでの距離を測定することができる。距離センサ２２１は、そのような過程を反復し、複数のポイントまでの距離を各方向について測定することができる。

【0048】

距離センサ２２１が赤外線を発光させる方向は、既設定条件によって可変に設定されてもよい。距離センサ２２１は、発光方向の調節が可能な１つの発光部を具備してもよいし、あるいは複数の発光部を具備してもよい。

【0049】

方向センサ２２２は、ユーザ端末２０が向かう方向を測定する。方向センサ２２２は、例えば、加速度センサ、角速度センサ、地磁界センサ、またはそれらのうち少なくとも２つの組み合わせでもある。該方向センサは、重力方向を認識し、重力方向を基準に、端末が向かう方向を測定することができる。ただし、該重力方向は、基準方向の例示であるので、それに限定されるものではない。

【0050】

カメラ２２３は、映像を撮影する。表示部２３０は、ディスプレイパネルを含み、プロセッサ２１０の制御によって映像を表示する。

【0051】

本発明の一実施形態によれば、カメラ２２３と距離センサ２２１は、同一方向に向けて設置される。それにより、カメラ２２３によって撮影された映像と、距離センサ２２１によって獲得された情報との連繋が容易になり、距離センサ２２１によって獲得された情報に基づいて生成されたオブジェクトを、カメラ２２３によって撮影された映像と重畳し、表示する拡張現実の提供が容易になる。

【0052】

カメラ２２３と距離センサ２２１とが異なる方向に向けて設置される場合には、距離センサ２２１によって獲得された情報を、カメラ２２３の設置方向を基準に変換するには追加的な作業が要求される。

【0053】

図３は、図２に図示されたプロセッサ２１０の構成を示したブロック図である。

【0054】

図３を参照すれば、プロセッサ２１０は、信号獲得部２１１、演算部２１２及び表示制御部２１３を含む。図３に図示されたプロセッサ２１０に含まれたそれぞれのブロックは、１つのプロセッサ上でいずれも具現され、機能によって区分されるものでもあるが、それに限定されるものではなく、それぞれ別個のプロセッサ上にも具現されるということは言うまでもない。また、それぞれのブロックの機能は、１つのプログラムコードを介して、統合的にも具現されるが、各ブロックの機能が別個のプログラムコードに作成され、各プログラムコードが連繋され、図３に図示されたプロセッサ２１０、及び図２に図示された拡張現実提供装置２００が、拡張現実を提供する方式によっても具現される。

【0055】

以下では、図２及び図３を共に参照し、本発明の実施形態について説明する。

【0056】

一実施形態による信号獲得部２１１は、距離センサ２２１、方向センサ２２２、カメラ２２３から信号を獲得する。

【0057】

一実施形態による演算部２１２は、信号獲得部２１１が獲得した信号を処理する。例えば、信号獲得部２１１は、複数のポイントに係わる距離（distance）を、距離センサ２２１から獲得し、演算部２１２は、獲得された距離を利用し、複数のポイントを含む平面に係わる平面情報を獲得する。該平面情報は、距離センサ２２１が設置された方向を基準にする平面の方向情報であり、平面方程式、平面ベクトルなどの形態によって表現されてもよい。複数のポイントから平面情報を獲得する演算は、ＲＡＮＳＡＣ（random sample consensus）技法を利用することができるが、それに限定されるものではない。

【0058】

一例によれば、演算部２１２は、信号獲得部２１１が獲得した複数のポイントに係わる距離のうち、一部のポイントに係わる距離を利用し、一部のポイントを含む平面に係わる平面情報を獲得する。例えば、第１ポイントと第２ポイントとの方向が類似しているにもかかわらず、第１ポイントまでの距離と、第２ポイントまでの距離との差が大きい場合、第１ポイントと第２ポイントは、他の平面に存在する可能性が高い。第２ポイントと第３ポイントとの方向が類似しており、第２ポイントまでの距離と、第３ポイントまでの距離との差が小さい場合、第２ポイントと第３ポイントは、同じ平面に存在する可能性が高い。従って、演算部２１２は、複数のポイントのうち、距離センサ２２１からの距離が類似した一部のポイントを抽出し、抽出された一部のポイントまでの距離を利用し、平面情報を獲得することができる。例えば、演算部２１２は、複数のポイントのうち、３個以上のポイントまでの距離の差が既設定の臨界値未満である場合、当該３個以上のポイントの距離を利用し、平面情報を獲得する。例えば、演算部２１２は、第１ポイント、第２ポイント及び第３ポイントそれぞれの距離差が、いずれも既設定の臨界値未満である場合、第１ポイント、第２ポイント及び第３ポイントを含む平面に係わる平面情報を獲得する。

【0059】

信号獲得部２１１は、方向センサ２２２によって測定された端末の方向情報を獲得し、演算部２１２は、先立って獲得した平面情報と、端末の方向情報とを利用し、平面のノーマルベクトルを獲得する。詳細には、演算部２１２は、平面情報の基準方向を、端末の方向（または、端末に設置された距離センサ２２１が向かう方向）から方向センサ２２２の基準方向に変換する。詳細には、演算部２１２は、端末の方向を基準に獲得された平面の方向情報を、方向センサ２２２によって測定された端末の方向情報（加速度センサによって認識される重力方向を基準にする）を利用して移動させることにより、最終的に、重力方向を基準にする平面の方向情報を獲得する。そのように獲得された重力方向基準平面の方向情報は、平面のノーマルベクトルと見ることができる。

【0060】

演算部２１２は、平面のノーマルベクトルを考慮し、平面に表示するオブジェクトのパラメータを決定する。該オブジェクトは、複数のパラメータを含んでもよい。該パラメータは、例えば、オブジェクトの色相、勾配（偏り）、カテゴリー、種類、方向、及びオブジェクトに適用されるアニメーションでもある。例えば、演算部２１２は、平面のノーマルベクトルの方向に対応するように、オブジェクトの偏りを設定することができる。

【0061】

演算部２１２は、平面のノーマルベクトルを考慮し、平面の属性を区分することができる。また、演算部２１２は、平面の属性を考慮し、オブジェクトのパラメータを決定することができる。平面の属性は、例えば、平面の種類であり、床、壁、天井にも区分される。演算部２１２は、平面が床であるか、壁であるか、あるいは天井であるかということにより、オブジェクトのパラメータを異ならせて決定することができる。例えば、演算部２１２は、平面が壁である場合、平面を突き抜ける経路でオブジェクトが移動するように、アニメーションパラメータを設定することができる。演算部２１２は、平面が床である場合、床上で床と平行に移動するアニメーションパラメータを設定することができる。

【0062】

演算部２１２は、平面のノーマルベクトルによって決定された平面の属性と、平面の方向情報（端末方向を基準にする）とをそれぞれ考慮し、オブジェクトのパラメータを決定することができる。例えば、演算部２１２は、平面の属性により、オブジェクトの第１パラメータを決定し、平面のノーマルベクトルにより、オブジェクトの第２パラメータを決定することができる。例えば、演算部２１２は、平面の属性により、オブジェクトの色相を決定し、平面の方向に沿って、オブジェクトの偏りを決定することができる。該オブジェクトがアイコンである場合、演算部２１２は、平面の種類により、アイコンの色相を異ならせて決定し、平面の方向に沿って、アイコンの偏りを決定することができる。該偏りは、三次元のアイコン表示情報を二次元にレンダリングして表示するための偏りであるか、あるいはアイコンの横縦表示比でもある。

【0063】

本発明の一実施形態による拡張現実は、家具配置シミュレーションを提供することができる。オブジェクトは、家具でもある。その場合、演算部２１２は、平面の属性によってオブジェクトの種類を決定し、平面の方向に沿って、オブジェクトのレンダリング方向を決定することができる。例えば、平面属性が「床」である場合、演算部２１２は、オブジェクトの種類を、床に配置可能な家具、例えば、テーブル、椅子、ソファ、ベッドなどに決定し、平面の方向に沿って、オブジェクトの表示方向を決定することができる。オブジェクトの表示方向は、三次元の家具表示情報を二次元にレンダリングして表示するためのものでもあるが、それに限定されるものではなく、二次元の家具表示情報を回転及び／またはスケーリングして表示するためのものでもある。

【0064】

本発明の一実施形態による信号獲得部２１１は、カメラ２２３から映像を獲得し、表示制御部２１３は、獲得された映像を表示部２３０に表示する。演算部２１２は、オブジェクトのパラメータを決定するために、信号獲得部２１１が獲得した映像をさらに利用することができる。例えば、演算部２１２は、カメラ２２３によって撮影される映像が分析し、平面のテクスチャを決定することができる。演算部２１２は、距離センサ２２１によって認識された複数のポイントの色相を、カメラ２２３から獲得された映像から抽出し、抽出された色相情報を利用し、平面の色相を決定することができ、平面のテクスチャを決定することができる。演算部２１２は、抽出された色相情報を利用し、オブジェクトのパラメータを決定することができる。演算部２１２は、平面の色相またはテクスチャにより、オブジェクトのパラメータを決定することができる。例えば、平面のテクスチャにより、オブジェクトのアニメーションを決定することができる。例えば、平面のテクスチャがつるつるした滑らかな表面を有している場合、オブジェクトに滑るアニメーションを設定することができる。演算部２１２は、平面の色相により、オブジェクトの色相を決定することができる。演算部２１２は、空間に含まれた複数の平面の色相を考慮し、全体空間のコンセプトが分類することができ、分類されたコンセプトに該当するオブジェクトを選択することができる。

【0065】

一実施形態による表示制御部２１３は、ユーザ端末２０に具備されるカメラ２２３によって撮影される映像を、リアルタイムで表示部２３０に表示する。表示制御部２１３は、カメラ２２３によって撮影される映像と、オブジェクトとを重畳して表示することにより、拡張現実を提供することができる。表示制御部２１３は、カメラ２２３によって撮影される映像において、演算部２１２によって認識された平面に該当する領域に、オブジェクトを重畳して表示する。カメラ２２３と距離センサ２２１とが同一方向に向けて設置される場合、距離センサ２２１は、カメラ２２３によって撮影される平面を認識する。従って、表示制御部２１３は、カメラ２２３によって撮影された平面を表示しながら、距離センサ２２１の測定値を基に獲得された当該平面の情報に基づいて決定されたオブジェクトのパラメータにより、オブジェクトを共に表示することにより、拡張現実を提供することができる。

【0066】

該オブジェクトは、二次元または三次元のイメージ、静的／動的アイコンに該当し、複数のパラメータ値を有する。オブジェクトのパラメータは、平面情報によって設定されるので、平面情報により、オブジェクトが異なるようにも表示される。表示制御部２１３は、オブジェクトのパラメータを参照し、オブジェクトを表示する。表示制御部２１３は、オブジェクトのレンダリング方向パラメータに基づいて、オブジェクトを表示するための三次元情報を、当該レンダリング方向に沿って、二次元にレンダリングし、表示部２３０に表示することができる。

【0067】

一実施形態によれば、演算部２１２は、属性が「壁」である平面に対して表示するオブジェクトを「鏡」と決定することができる。その場合、表示制御部２１３は、当該平面に対して、鏡オブジェクトを表示し、鏡オブジェクト内部には、前面カメラによって撮影される映像をリアルタイムで表示することができる。

【0068】

オブジェクトのパラメータがアニメーションを含む場合、表示制御部２１３は、アニメーションを適用し、オブジェクトを表示する。例えば、「壁」属性の平面に対し、壁を突き抜けるアニメーションが設定されたオブジェクトを表示する場合、表示制御部２１３は、オブジェクトに対して不透明な仮想レイヤを平面に重ねて表示し、該オブジェクトを、仮想レイヤの後ろから前に移動させて表示することにより、該オブジェクトが平面を突き抜けるようなアニメーションを表示する。該仮想レイヤは、該オブジェクト以外の他の表示については、透明にも設定される。

【0069】

一実施形態によれば、演算部２１２は、「天井」属性の平面について、日、月、星のイメージを表示するオブジェクトを設定することができる。一実施形態によれば、演算部２１２は、複数の平面間を移動するオブジェクトを設定することができる。例えば、「天井」属性の平面から「床」属性の平面に向けて移動する水玉オブジェクトを設定することができる。該水玉オブジェクトは、「床」属性の平面に逹すれば、当該平面と同一方向に散らばるアニメーションを含んでもよい。

【0070】

図４は、本発明の一実施形態による拡張現実提供方法を図示したフローチャートである。

【0071】

図４に図示されたフローチャートは、図２及び図３に図示されたプロセッサにおいて、時系列的に処理される段階によって構成される。従って、以下において省略された内容であるとしても、図２及び図３で図示された構成について、以上で記述された内容は、図４に図示されたフローチャートにも適用されるということが分かる。

【0072】

図４を参照すれば、段階Ｓ４１において、演算部２１２は、複数のポイントに係わる距離を利用し、複数のポイントを含む平面に係わる平面情報を獲得する。演算部２１２は、複数のポイントに係わる方向をさらに利用することができる。

【0073】

段階Ｓ４２において、演算部２１２は、方向センサ２２２によって測定された端末の方向情報、及び段階Ｓ４１で獲得された平面情報を利用し、平面のノーマルベクトルを獲得する。

【0074】

段階Ｓ４３において、演算部２１２は、平面のノーマルベクトルを考慮し、オブジェクトのパラメータを決定する。

【0075】

段階Ｓ４４において、表示制御部２１３は、端末の表示部２３０にオブジェクトを表示する。

【0076】

図５は、図２の拡張現実提供装置２００が平面を認識する方法について説明するための図面である。

【0077】

図５を参照すれば、ユーザ端末２０が、三次元空間内に具備され、ユーザ端末２０に具備される拡張現実提供装置２００により、三次元空間を認識する方法が図示されている。ユーザ端末２０が自由に方向を変更する間、ユーザ端末２０に具備される拡張現実提供装置２００は、複数の平面を認識することができ、複数の平面を含む空間を認識することができる。図５には、第１平面Ｐ１、第２平面Ｐ２及び第３平面Ｐ３が図示されている。

【0078】

まず、ユーザ端末２０が床に向かう間、拡張現実提供装置２００が、第３平面Ｐ３を認識する実施形態について説明する。ユーザ端末２０が床に向かうことになれば、ユーザ端末２０の背面に具備される距離センサは、床に位置する複数のポイントＳ１，Ｓ２，Ｓ３，Ｓ４までの距離及び方向を測定する。拡張現実提供装置２００は、複数のポイントＳ１，Ｓ２，Ｓ３，Ｓ４までの距離及び方向の情報を組み合わせ、複数のポイントＳ１，Ｓ２，Ｓ３，Ｓ４をいずれも含む第３平面Ｐ３を定義し、第３平面Ｐ３の方向情報を獲得する。該方向情報は、平面方程式または平面ベクトルによっても表現されるが、それに限定されるものではなく、空間上で平面を定義することができるいかなる情報でも可能である。

【0079】

一方、ユーザ端末２０を基準に測定された複数ポイントＳ１，Ｓ２，Ｓ３，Ｓ４の距離及び方向の情報を基に獲得された第３平面Ｐ３の方向情報は、ユーザ端末２０が向かう方向を基準にする。従って、ユーザ端末２０に具備された方向センサによって測定された地表面基準端末方向情報を考慮し、第３平面Ｐ３の方向情報を変換すれば、地表面を基準にする第３平面Ｐ３に係わる第３ノーマルベクトルＮ３を獲得することができる。詳細には、ユーザ端末２０の方向を基準にする第３平面Ｐ３の方向情報に、地表面（または、重力方向）を基準にするユーザ端末２０の方向情報を加え、地表面（または、重力方向）を基準にする第３平面Ｐ３の第３ノーマルベクトルＮ３値を獲得することができる。方向センサは、重力加速度を認識する加速度センサでもあるが、それに限定されるものではなく、加速度センサ及びジャイロセンサのうち１以上の組み合わせによって形成された３軸，６軸または９軸センサでもある。

【0080】

前述のような方法で、ユーザ端末２０の方向を変更しながら、第１平面Ｐ１に係わる第１ノーマルベクトルＮ１、第２平面Ｐ２に係わる第２ノーマルベクトルＮ２をさらに獲得することができる。

【0081】

拡張現実提供装置２００の演算部２１２は、各平面のノーマルベクトルにより、各平面の属性を決定する。例えば、ユーザ端末２０には、床及び天井のベクトルと、壁のベクトルとが事前に保存されている。

【0082】

例えば、床及び天井のベクトル範囲は、−５〜５゜及び／または１７５〜１８５゜であり、壁のベクトル範囲は、８５〜９５゜及び／または２６５〜２７５゜でもある。図５に図示された例によれば、第１ノーマルベクトルＮ１及び第３ノーマルベクトルＮ３は、床及び天井のベクトル範囲に属し、第２ノーマルベクトルＮ２は、壁のベクトル範囲に属する。従って、拡張現実提供装置２００は、第１平面Ｐ１及び第３平面Ｐ３の属性を、床または天井と決定し、第２平面Ｐ２の属性を壁と決定する。

【0083】

または、床及び天井のベクトルが、０゜または１８０゜と定義され、壁のベクトルが９０゜または２７０゜にも定義される。演算部２１２は、平面のノーマルベクトルが、誤差範囲内において、既定義ベクトルのうち床及び天井のベクトルと同一である場合、平面の属性を「床または天井」と定義し、誤差範囲内において、壁のベクトルと同一である場合、平面の属性を「壁」と定義する。

【0084】

演算部２１２は、平面の属性を決定するために、平面のノーマルベクトルと、既設定特定属性のベクトルとの類似度を算出するために、ベクトル内積演算を行うことができる。そのように、ベクトル間の距離を算出する代わりに、ベクトル内積値を算出し、類似度測定に使用することにより、演算時間を顕著に短縮させることができる。ベクトルが類似するほど、内積値は、１または−１に近くなる。例えば、第２平面Ｐ２の第２ノーマルベクトルＮ２と、既設定「壁」属性のベクトルとの内積の値が、１または−１に対して既設定誤差範囲内に含まれる場合、演算部２１２は、第２平面Ｐ２の属性を「壁」と決定する。

【0085】

拡張現実提供装置２００は、第１平面Ｐ１及び第３平面Ｐ３の属性を、床及び天井のうちいずれか一つに決定するために、各平面の高さ情報、またはユーザ端末２０の方向情報を考慮することができる。例えば、各平面の方向情報、及びユーザ端末２０の方向情報によって区分される各平面の高さ情報を、端末の高さと比較し、天井と床とを区分することができる。例えば、平面の高さが端末より高い第１平面Ｐ１の属性を天井と、平面の高さが端末より低い第３平面Ｐ３を床と決定する。または、平面認識時点に、ユーザ端末２０の方向が９０゜以上である第１平面Ｐ１の属性を天井と、平面認識時点に、ユーザ端末２０が９０゜未満である第３平面Ｐ３の属性を床と決定する。

【0086】

図５を参照すれば、拡張現実提供装置２００は、平面と平面との交差線を、各平面のエッジ（edge）、すなわち、端と認識することができる。例えば、拡張現実提供装置２００は、図５に図示された第１平面Ｐ１及び第２平面Ｐ２それぞれのノーマルベクトルＮ１，Ｎ２を参照し、第１平面Ｐ１と第２平面Ｐ２との交差線ｅ１を、第１平面Ｐ１と第２平面Ｐ２とのエッジと認識する。また、拡張現実提供装置２００は、第２平面Ｐ２及び第３平面Ｐ３それぞれのノーマルベクトルＮ２，Ｎ３を参照し、第２平面Ｐ２と第３平面Ｐ３との交差線ｅ２を、第２平面Ｐ２と第３平面Ｐ３とのエッジと認識する。拡張現実提供装置２００は、第１ノーマルベクトルＮ１、第２ノーマルベクトルＮ２及び第３ノーマルベクトルＮ３を利用し、三次元空間を認識することができる。

【0087】

認識された全ての平面がエッジによって取り囲まれれば、拡張現実提供装置２００は、閉空間（closed space）を認識することができる。拡張現実提供装置２００は、閉空間を完成させるために、ゲーム要素を利用し、ユーザ端末２０の撮影方向を誘導することができる。例えば、拡張現実提供装置２００は、エッジで取り囲まれていない平面がある場合、当該平面のエッジで取り囲まれていない部分を示す矢印などを、ユーザ端末２０の表示部２３０に表示したり、ユーザ端末２０の表示部２３０に表示されたキャラクタを、エッジによって取り囲まれていない部分に移動させるアニメーションを適用したりすることができる。

【0088】

拡張現実提供装置２００は、認識されていない平面を撮影している場合、ユーザが当該方向を続けて撮影するように、当該方向に時間が必要となるゲーム要素を表示することができる。拡張現実提供装置２００は、ユーザが、ゲーム要素を進める間、周辺空間を認識する。

【0089】

拡張現実提供装置２００は、平面上にオブジェクトを表示することができる。例えば、床に認識された第３平面Ｐ３上で移動するキャラクタを表示することができる。拡張現実提供装置２００は、キャラクタが第３平面Ｐ３上で移動するとき、距離センサによって認識されたポイントＳ１，Ｓ２，Ｓ３，Ｓ４間の経路を移動するように設定することができる。

【0090】

図６は、図２の拡張現実提供装置２００が平面を認識する方法について説明するための他の図面である。

【0091】

図６を参照すれば、床と認識される第３平面Ｐ３上に、物体６０が置かれており、拡張現実提供装置２００は、物体６０の上部表面を、第６平面Ｐ６と認識することができる。第３平面Ｐ３と第６平面Ｐ６との属性は、いずれも「床」でもある。そのように、属性が同一である複数の平面が存在する場合、拡張現実提供装置２００は、複数の平面間を移動するオブジェクトを提供することができ、移動するとき、アニメーションを適用することができる。例えば、該オブジェクトは、キャラクタであり、該キャラクタが高さが異なる２つの平面Ｐ３，Ｐ６間を移動するとき、「ジャンプ」アニメーションを適用することができる。

【0092】

拡張現実提供装置２００は、ユーザのタッチにより、オブジェクトを移動させることができる。該オブジェクトが第３平面Ｐ３上を移動しているとき、ユーザが第６平面Ｐ６をタッチする場合、該オブジェクトは、タッチされた地点に移動する。ただし、移動経路上において、平面移動があり、移動する平面の高さが異なるので、拡張現実提供装置２００は、「ジャンプ」アニメーションを適用する。

【0093】

図７及び図８は、拡張現実が提供された画面の例である。

【0094】

図７を参照すれば、画面７０には、カメラ２２３によって撮影された画面が表示され、平面７１上にオブジェクトｉ１が重畳されて表示され、拡張現実が提供される。オブジェクトｉ１のパラメータは、色相及び偏りを含んでもよい。オブジェクトｉ１の色相は、平面７１の属性である「床」に対応する色相に表示され、オブジェクトｉ１の偏りは、平面７１の方向情報によっても設定される。図７においては、平面７１の方向に合わせ、オブジェクトｉ１が偏って楕円形に表示された例が図示されている。

【0095】

図８を参照すれば、画面８０には、カメラ２２３によって撮影された画面が表示され、平面８１上にオブジェクトｉ２が重畳されて表示され、拡張現実が提供される。オブジェクトｉ２のパラメータは、色相及び偏りを含んでもよい。オブジェクトｉ２の色相は、平面８１の属性である「壁」に対応する色相に表示され、オブジェクトｉ２の偏りは、平面８１の方向情報によっても設定される。図８においては、平面８１の方向に合わせ、オブジェクトｉ２が偏って楕円形に表示された例が図示されている。

【0096】

図７及び図８を参照すれば、ユーザは、オブジェクトの色相により、オブジェクトが表示された平面の属性を認知することができ、オブジェクトの偏りにより、平面の方向を直観的に認知することができる。

【0097】

図９Ａ、図９Ｂ及び図９Ｃは、拡張現実が提供された画面の他の例である。

【0098】

図９Ａ、図９Ｂ及び図９Ｃを参照すれば、画面９０には、カメラ２２３によって撮影された画面が表示され、拡張現実提供装置２００によって認識された平面９１上に、オブジェクトｉ３が重畳されて表示され、拡張現実が提供される。オブジェクトｉ３のパラメータは、キャラクタ表示情報を含んでもよい。図９Ａ、図９Ｂ及び図９Ｃを参照すれば、拡張現実提供装置２００は、不透明な仮想レイヤ９２を平面９１に重ねて表示し、オブジェクトｉ３を、平面９１のノーマルベクトル方向に、例えば、仮想レイヤ９２の後ろから前に移動するように表示することにより、オブジェクトｉ３が平面９１を突き抜けるようなアニメーションを表示する。仮想レイヤ９２は、オブジェクトｉ３以外の他の表示については、透明に表示されるようにも設定される。すなわち、仮想レイヤ９２は、オブジェクトｉ３の位置により、オブジェクトｉ３の表示を隠すことはできるが、それ以外の平面９１などの表示を隠さないように設定される。

【0099】

オブジェクトｉ３が仮想レイヤ９２の後ろから前に移動することにより、ユーザ端末２０に表示される画面は、図９Ａから図９Ｂに、図９Ｂから図９Ｃに順次に変更される。図９Ａにおいては、オブジェクトｉ３が仮想レイヤ９２の後ろに存在し、画面９０に表示されていない例が図示されている。図９Ａにおいては、説明の便宜上、オブジェクトｉ３は点線で描かれているが、実際には、画面９０に表示されない。図９Ｂにおいては、オブジェクトｉ３が、仮想レイヤ９２の後ろから前に移動する最中の画面が図示されており、オブジェクトｉ３の一部は、平面９１上に表示され、残り一部は、画面９０に表示されていない例が図示されている。図９Ｂにおいては、説明のために、オブジェクトｉ３の一部を点線で表示しているが、点線で表示された部分は、実際には、画面９０に図示されないものでもある。図９Ｃにおいては、オブジェクトｉ３が仮想レイヤ９２の前に移動し、オブジェクトｉ３の全体像が平面９１上に重畳して表示された例が図示されている。

【0100】

一方、オブジェクトｉ３は、三次元客体であってもよく、図９Ａ、図９Ｂ及び図９Ｃの例において、オブジェクトｉ３がユーザ端末２０に近くなる方向に移動するので、拡張現実提供装置２００は、オブジェクトｉ３が移動するにつれ、オブジェクトｉ３の大きさをだんだんと大きく変更して表示することができる。

【0101】

図１０は、拡張現実が提供された画面の他の例である。

【0102】

図１０を参照すれば、画面１００には、カメラ２２３によって撮影された画面が表示され、拡張現実提供装置２００によって認識された平面１０１上に、オブジェクトｉ４が重畳されて表示され、拡張現実が提供される。図１０を参照すれば、拡張現実提供装置２００は、「壁」と属性が指定された平面１０１上に「鏡」オブジェクトｉ４を表示することができる。拡張現実提供装置２００は、オブジェクトｉ４の既設定内部領域に、ユーザ端末２０に具備された前面カメラ（図示せず）によって撮影される画面を表示することにより、オブジェクトｉ４が鏡であるということを示すことができる。

【0103】

図１１は、拡張現実が提供された画面の他の例である。

【0104】

図１１を参照すれば、画面１１０には、カメラ２２３によって撮影された画面が表示され、拡張現実提供装置２００によって認識された平面１１１，１１２情報により、画面１１０に、オブジェクトｉ５が重畳されて表示されて拡張現実が提供される。図１１を参照すれば、拡張現実提供装置２００は、「天井」と属性が指定された平面１１１から、「床」と属性が指定された平面１１２に向けて移動するオブジェクトｉ５を表示することができる。図１１に図示された矢印は、説明の便宜のために、オブジェクトｉ５に含まれた複数要素（雨粒）が移動する経路を示したものであり、画面１１０に表示されるものではない。図１１を参照すれば、オブジェクトｉ５の要素は、平面１１１から平面１１２に移動し、平面１１２に至れば、平面１１２の同一方向で散らばった後、フェードアウト（fade-out）されて消えるアニメーションが表示されることにより、雨粒が床に散らばるような表示効果が具現される。

【0105】

図１１を参照すれば、拡張現実提供装置２００は、「天井」と属性が指定された平面１１１上に、オブジェクトｉ６をさらに重畳して表示することができる。図１１に図示されているように、拡張現実提供装置２００は、複数のオブジェクトを共に表示することができる。

【0106】

一方、一例によれば平面１１１には、前述の仮想レイヤが表示され、オブジェクトｉ５の要素は、平面１１１に対応する仮想レイヤの後ろから前に移動するようにも表示される。他の例によれば、オブジェクトｉ５の要素は、オブジェクトｉ６の後ろから前に移動するようにも表示される。オブジェクトｉ６は、オブジェクトｉ５に対して不透明に設定されてもよく、オブジェクトｉ５だけではなく、画面１１０に表示される他の部分、例えば、平面１１０についても不透明に設定されてもよい。

【0107】

一方、図４に図示された本発明の一実施形態による拡張現実提供方法は、コンピュータで実行されるプログラムによって作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータにおいても具現される。

【0108】

媒体は、コンピュータで実行可能なプログラムを続けて保存したり、実行またはダウンロードのために臨時保存したりするものであってもよい。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものであってもよい。該媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ及びＤＶＤのような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものがある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給あるいは流通するサイト、サーバなどで管理する記録媒体ないし記録媒体も挙げることができる。

【0109】

以上、本発明に対してその望ましい実施形態を中心に述べた。本発明は、図面に図示された実施形態を参照して説明されたが、それらは、例示的なものに過ぎず、本発明が属する技術分野において当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態にも具現され、均等な他の実施例が可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

【産業上の利用可能性】

【0110】

本発明は、拡張現実を利用することができる多様な分野に適用されることができる。例えば、ゲーム、放送、建築設計、自動車、インテリア、製造工程管理、モバイルソリューション、教育など多様な分野に適用可能である。

【0111】

以上では、本発明の例示的な実施形態を参照して説明したが、当該技術分野において当業者であるならば、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内において、本発明を多様に修正及び変更させるということを理解することができるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】