特開 2022-181131 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022181131

(43)【公開日】2022-12-07

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221130BHJP

   G06Q 10/00 20120101ALI20221130BHJP

【ＦＩ】

G06T19/00 600

G06Q10/00

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021087993

(22)【出願日】2021-05-25

(11)【特許番号】

(45)【特許公報発行日】2021-11-05

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＨＵＮＤＥＲＢＯＬＴ

(71)【出願人】

【識別番号】520275490

【氏名又は名称】株式会社ｘ ｇａｒｄｅｎ

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】松谷 遼

(72)【発明者】

【氏名】高見 太基

(72)【発明者】

【氏名】長坂 瑛

【テーマコード（参考）】

5B050

5L049

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA07

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5B050FA13

5B050FA14

5B050FA15

5L049AA00

(57)【要約】

【課題】拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）を用いて、部屋等の一定の空間領域に対し、家具等の物品のデジタル情報をより精度よく重ね合わせて表示することを可能とする技術を提供すること。
【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。受付ステップでは、実空間を撮像した第１の画像データを受け付ける。取得ステップでは、実空間の概形に関する概形データを取得する。位置合わせステップでは、概形データの座標系と、第１の画像データに含まれる実空間の座標系とを対応付ける。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理システムであって、
次の各ステップを実行するように構成され、
受付ステップでは、実空間を撮像した第１の画像データを受け付け、
取得ステップでは、前記実空間の概形に関する概形データを取得し、
位置合わせステップでは、前記概形データの座標系と、前記第１の画像データに含まれる前記実空間の座標系とを対応付ける、
もの。

【請求項2】

請求項１に記載の情報処理システムにおいて、
次のステップをさらに実行するように構成され、
概形生成ステップでは、前記実空間の前記概形が把握可能である第２の画像データから前記概形データを生成する、
もの。

【請求項3】

請求項１に記載の情報処理システムにおいて、
次のステップをさらに実行するように構成され、
概形生成画面表示ステップでは、概形生成画面を表示させるように制御し、ここで、前記概形生成画面は、複数の格子点を含み、各格子点を接続することで、前記概形データを生成可能に構成される、
もの。

【請求項4】

請求項１～請求項３の何れか１つに記載の情報処理システムにおいて、
次の各ステップをさらに実行するように構成され、
前記取得ステップでは、前記概形データに対して設定されたアンカーに関するアンカー情報をさらに取得し、
アンカー設定画面表示ステップでは、アンカー設定画面を表示させるように制御し、ここで、前記アンカー設定画面は、前記第１の画像データに重畳表示される前記アンカーを含み、かつ、前記アンカー情報を対応付ける前記実空間の位置を指定可能に構成され、
前記位置合わせステップでは、指定された前記実空間の位置に、前記アンカー情報を対応付けることによって、前記概形データの座標系と、前記実空間の座標系とを対応付ける、
もの。

【請求項5】

請求項４に記載の情報処理システムにおいて、
次の各ステップをさらに実行するように構成され、
配置入力画面表示ステップでは、配置入力画面を表示させるように制御し、ここで、前記配置入力画面は、前記アンカー情報を対応付ける、前記概形データに含まれる前記概形のなす領域上の位置を指定可能に構成され、
前記取得ステップでは、前記概形のなす領域上の指定された位置に対応付けられた前記アンカー情報を取得する、
もの。

【請求項6】

請求項１～請求項５の何れか１つに記載の情報処理システムにおいて、
次の各ステップをさらに実行するように構成され、
前記取得ステップでは、前記実空間に配置し得るオブジェクトに関するオブジェクト情報をさらに取得し、ここで、前記オブジェクト情報は、描画データと、前記概形データの座標系での位置を表す位置座標データとを含み、
オブジェクト表示画面表示ステップでは、オブジェクト表示画面を表示させるように制御し、ここで、前記オブジェクト表示画面は、前記オブジェクト情報と、前記概形データの座標系に対応付けられた前記実空間の座標系とに基づいて、前記第１の画像データに前記オブジェクトを重畳表示させた画面である、
もの。

【請求項7】

請求項６に記載の情報処理システムにおいて、
次のステップをさらに実行するように構成され、
配置入力画面表示ステップでは、配置入力画面を表示させるように制御し、ここで、前記配置入力画面は、前記実空間に配置し得る複数のオブジェクトの中から少なくとも１つのオブジェクトを選択可能に構成され、かつ、選択された前記オブジェクトについて、前記概形データに含まれる前記概形のなす領域上の位置を指定することにより、前記位置座標データを生成可能に構成され、
前記取得ステップでは、選択された前記オブジェクトの前記オブジェクト情報を取得する、
もの。

【請求項8】

請求項１～請求項７の何れか１つに記載の情報処理システムにおいて、
前記実空間は、建築物の内部空間である、
もの。

【請求項9】

請求項８に記載の情報処理システムにおいて、
前記実空間は、部屋である、
もの。

【請求項10】

請求項１～請求項９の何れか１つに記載の情報処理システムにおいて、
前記概形データは、３次元データである、
もの。

【請求項11】

情報処理方法であって、
請求項１～請求項１０の何れか１つに記載の情報処理システムの各ステップを備える、
方法。

【請求項12】

プログラムであって、
コンピュータに、請求項１～請求項１０の何れか１つに記載の情報処理システムの各ステップを実行させる、
もの。

【請求項13】

情報処理装置であって、
次の各ステップを実行するように構成され、
受付ステップでは、部屋の概形に関する概形データに対する配置情報に関する入力を第１のユーザから受け付け、ここで前記配置情報は、前記部屋に配置するオブジェクトの種類に関する情報と、前記オブジェクトの配置場所に関する座標情報とを含み、
画面表示ステップでは、前記配置情報をネットワークを介して拡張現実提示装置に送信することで、実空間である前記部屋に仮想情報である前記オブジェクトを重畳表示させた画面を前記拡張現実提示装置に表示させ、ここで、前記拡張現実提示装置は、前記部屋に位置する第２のユーザの端末である、
もの。

【請求項14】

拡張現実提示装置であって、
次の各ステップを実行するように構成され、
取得ステップでは、ネットワークを介して情報処理装置から配置情報を取得し、ここで前記配置情報は、部屋の概形に関する概形データに対して設定された、前記部屋に配置するオブジェクトの種類に関する情報と、前記オブジェクトの配置場所に関する座標情報とを含み、
管理ステップでは、前記部屋に配置し得る複数のオブジェクトに関する描画データを管理し、
表示処理ステップでは、取得した前記配置情報と、前記描画データとに基づいて、実空間である前記部屋に仮想情報である前記オブジェクトを重畳表示させる、
もの。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、ＣＡＤデータに基づいて、建築物に関するＣＧ画像をリアルタイムで作成、表示できる技術が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７－２６４５４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、顧客が内見等の目的で実際に建築物を訪れる場合には、上記の従来技術のＣＧ画像による現実世界の再現よりも、顧客が実際目にする現実の状態に基づいて、さらにイメージを膨らませることができるよう支援する技術が求められる。

【0005】

本発明では上記事情を鑑み、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を用いて、部屋等の一定の空間領域に対し、家具等の物品のデジタル情報をより精度よく重ね合わせて表示することを可能とする技術を提供することとした。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。受付ステップでは、実空間を撮像した第１の画像データを受け付ける。取得ステップでは、実空間の概形に関する概形データを取得する。位置合わせステップでは、概形データの座標系と、第１の画像データに含まれる実空間の座標系とを対応付ける。

【0007】

本開示によれば、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を用いて、部屋等の一定の空間領域に対し、家具等の物品のデジタル情報をより精度よく重ね合わせて表示することを可能とする技術を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る情報処理システム１を表す構成図である。

【図2】拡張現実提示装置２のハードウェア構成を示すブロック図である。

【図3】第３の実施形態に係る拡張現実提示装置２における制御部２３等によって実現される機能を示すブロック図である。

【図4】情報処理装置３のハードウェア構成を示すブロック図である。

【図5】第１の実施形態および第２の実施形態に係る情報処理装置３における制御部３３等によって実現される機能を示すブロック図である。

【図6】ホスト端末４に表示される画面であって、概形生成画面５の一例である。

【図7】拡張現実提示装置２に表示される画面であって、配置入力画面６の一例である。

【図8】拡張現実提示装置２に表示される画面であって、配置入力画面６の一例である。

【図9】概形データの座標系ＣＧの一例である。

【図10】拡張現実提示装置２に表示される画面の一部であって、アンカー設定画面の一部である。

【図11】拡張現実提示装置２に表示される画面の一部であって、概形設定画面の一部である。

【図12】第１の画像データに含まれる実空間ＲＳの座標系ＣＲの一例である。

【図13】拡張現実提示装置２に表示される画面の一部であって、オブジェクト表示画面の一部である。

【図14】情報処理システム１によって実行される情報処理の流れの一例を示すアクティビティ図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0010】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0011】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現され得るソフトウェアの情報処理とを合わせたものも含み得る。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行され得る。

【0012】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0013】

１．ハードウェア構成
本節では、第１の実施形態（以下、本実施形態と称する）のハードウェア構成について説明する。

【0014】

１．１ 情報処理システム１
図１は、本実施形態に係る情報処理システム１を表す構成図である。情報処理システム１は、拡張現実提示装置２と、情報処理装置３と、ホスト端末４とを備え、これらがネットワークを通じて接続されている。これらの構成要素について、さらに説明する。ここで、情報処理システム１に例示されるシステムとは、１つまたはそれ以上の装置または構成要素からなるものである。したがって、情報処理装置３単体であっても、システムの一例となる。

【0015】

１．２ 拡張現実提示装置２
拡張現実提示装置２は、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）が実現できる装置であれば、装置の種類は限定されない。拡張現実とは、実際の景色、地形等の現実環境に、情報処理装置を使ってさらに情報を加える技術を指す。拡張現実提示装置２は、ＡＲを搭載した専用装置、パソコン、スマートフォンやタブレット型情報端末等の携帯情報端末であってもよく、ユーザがその目の周囲を覆うように装着可能に構成される装置であってもよい。例えば、ＡＲウェアラブル端末であってもよい。ＡＲウェアラブル端末として、例えば、メガネ型ＡＲウェアラブル端末、ヘッドマウントディスプレイ、時計型ウェアラブル端末等の端末が挙げられる。

【0016】

図２は、拡張現実提示装置２のハードウェア構成を示すブロック図である。拡張現実提示装置２は、通信部２１と、記憶部２２と、制御部２３と、表示部２４と、入力部２５と、撮像部２６とを有し、これらの構成要素が拡張現実提示装置２の内部において通信バス２０を介して電気的に接続されている。通信部２１、記憶部２２および制御部２３の説明は、情報処理装置３における通信部３１、記憶部３２および制御部３３と略同様のため、省略する。

【0017】

表示部２４は、例えば、拡張現実提示装置２に含まれてもよいし、外付けされてもよい。拡張現実提示装置２が、ＡＲグラスである場合、表示部２４は、ＡＲグラスのグラフィックディスプレイ部分である。ユーザは、グラフィックディスプレイを通して現実世界を認識するだけでなく、グラフィックディスプレイに表示された文字や画像を見て拡張現実を認識することができる。なお、ＡＲグラス（拡張現実提示装置２）のグラフィックディスプレイ（表示部２４）は、非透過両眼型、単眼型、透過両眼型等の種類があるが、限定されない。

【0018】

拡張現実提示装置２が、ＡＲグラスではない場合、表示部２４は、拡張現実提示装置２に外付け、または内蔵されたＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイおよびプラズマディスプレイ等の表示デバイスである。拡張現実提示装置２の種類に応じてこれらを使い分けて実施することが好ましい。また、表示部２４の寸法、解像度、ドットピッチ等の仕様も限定されない。

【0019】

入力部２５は、ユーザからの各種指示や情報入力を受け付ける。当該入力が、命令信号として、通信バス２０を介して制御部２３に転送され、制御部２３が、必要に応じて、所定の制御や演算を実行し得る。入力部２５は、拡張現実提示装置２の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部２５は、表示部２４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。

【0020】

入力部２５は、グラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）やナチュラルユーザインターフェースを用いることにしてもよい。ナチュラルユーザインターフェースを用いる場合、ユーザは、普段行っている自然な動作で、ＡＲグラス（拡張現実提示装置２）に各種指示や情報を送ることができる。なお、ナチュラルユーザインターフェースとなる動作対象は、手又は指に限定されず、頭、首、腰等の体の部位全てとすることができる。

【0021】

また、入力部２５は、マイクロフォンであってもよい。マイクロフォン（入力部２５）は、拡張現実提示装置２に内蔵又は外付けされるもので、音を電気信号に変換する音響装置である。具体的には、マイクロフォン（入力部２５）は、空気振動を機械的振動に変え、それを電気信号に変換する。変換された電気信号は、デジタル電気信号であってもアナログ電気信号であってもよいが、通信部２１を介して、デジタル電気信号として記憶部２２に一旦保存される。

【0022】

撮像部２６は、外界の情報を撮像可能に構成される、いわゆるビジョンセンサ（カメラ）である。撮像部２６は、撮影対象を撮影することで画像データを生成するように構成される。撮像部２６は、後述の情報処理装置３における通信部３１とネットワークを介して接続され、撮像した画像データを情報処理装置３に転送可能に構成される。

【0023】

１．３ 情報処理装置３
図４は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを備え、これらの構成要素が、情報処理装置３の内部において、通信バス３０を介して電気的に接続されている。各構成要素について、さらに説明する。

【0024】

通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、通信部３１は、これら複数の通信手段の集合として実施されることがより好ましい。すなわち、情報処理装置３は、通信部３１を介して、拡張現実提示装置２およびホスト端末４とネットワークを介して、種々の情報を通信する。

【0025】

記憶部３２は、前述の記載により定義される様々な情報を記憶する。記憶部３２は、例えば、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施され得る。また、記憶部３２は、これらの組み合わせであってもよい。特に、記憶部３２は、オブジェクトＯに関するオブジェクト情報である描画データおよび位置座標データ、実空間ＲＳの概形ＧＤに関する概形データ、アンカー情報、または、これらを生成するためのプログラム等を記憶する。記憶部３２は、これ以外にも、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶している。

【0026】

制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば、不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。すなわち、情報処理装置３に係る種々の機能は、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行され得る。各機能部については、次節において、更に詳述する。なお、制御部３３は、単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施されてもよい。また、制御部３３は、複数の制御部の組み合わせであってもよい。

【0027】

１．４ ホスト端末４
ホスト端末４の説明は、上記の拡張現実提示装置２と略同様のため、省略する。なお、ホスト端末４は、ＡＲが実現できる装置でなくてもよいが、ＡＲが実現できる装置であることが好ましい。

【0028】

２．１ 機能構成（拡張現実提示装置２）
本節では、第３の実施形態に係る拡張現実提示装置２の機能構成について説明する。前述の通り、拡張現実提示装置２に係る種々の機能は、記憶部２２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部２３によって具体的に実現されることで、制御部２３に含まれる各機能部として実行され得る。

【0029】

図３は、第３の実施形態に係る拡張現実提示装置２における制御部２３等によって実現される機能を示すブロック図である。具体的には、拡張現実提示装置２は、取得部２３１と、管理部２３２と、表示処理部２３３とを備える。

【0030】

取得部２３１は、種々の情報を取得するように構成される。例えば、取得部２３１は、ネットワークを介して情報処理装置３から配置情報を取得してもよい。詳細については、後述する。

【0031】

管理部２３２は、種々の情報を管理するように構成される。例えば、管理部２３２は、部屋に配置し得る複数のオブジェクトＯに関する描画データを管理してもよい。詳細については、後述する。

【0032】

表示処理部２３３は、種々の表示処理を実行するように構成される。例えば、表示処理部２３３は、実空間ＲＳである部屋に仮想情報であるオブジェクトＯを重畳表示させてもよい。詳細については、後述する。

【0033】

２．２ 機能構成（情報処理装置３）
本節では、第１の実施形態および第２の実施形態に係る情報処理装置３の機能構成について説明する。前述の通り、情報処理装置３に係る種々の機能は、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行され得る。

【0034】

図５は、第１の実施形態および第２の実施形態に係る情報処理装置３における制御部３３等によって実現される機能を示すブロック図である。具体的には、情報処理システム１の一例である情報処理装置３は、受付部３３１と、画面表示部３３２と、概形生成部３３３と、取得部３３４と、位置合わせ部３３５とを備える。

【0035】

受付部３３１は、種々の情報を受け付けるように構成される。例えば、受付部３３１は、受付ステップとして、実空間ＲＳを撮像した第１の画像データを受け付けてもよい。詳細については、後述する。

【0036】

画面表示部３３２は、種々の画面を表示させるよう制御するように構成される。概形生成画面表示部の一例である画面表示部３３２は、概形生成画面表示ステップとして、概形生成画面５（図６参照）を表示させるように制御する。アンカー設定画面表示部の一例である画面表示部３３２は、アンカー設定画面表示ステップとして、アンカー設定画面（図１０参照）を表示させるように制御する。配置入力画面表示部の一例である画面表示部３３２は、配置入力画面表示ステップとして、配置入力画面６（図７および図８参照）を表示させるように制御する。オブジェクト表示画面の一例である画面表示部３３２は、オブジェクト表示画面表示ステップとして、オブジェクト表示画面（図１３参照）を表示させるように制御する。詳細については、後述する。

【0037】

概形生成部３３３は、第２の画像データから概形データを生成するように構成される。詳細については、後述する。

【0038】

取得部３３４は、種々の情報を取得するように構成される。例えば、取得部３３４は、概形データ、アンカー情報およびオブジェクト情報を取得してもよい。詳細については、後述する。

【0039】

位置合わせ部３３５は、概形データの座標系ＣＧと、第１の画像データに含まれる実空間ＲＳの座標系ＣＲとを対応付けるように構成される。詳細については、後述する。

【0040】

管理部３３６は、種々の情報を管理するように構成される。例えば、管理部３３６は、概形データを管理してもよい。詳細については、後述する。

【0041】

３．第１の実施形態
本節では、第１の実施形態に係る情報処理システム１の情報処理方法について説明する。図６は、ホスト端末４に表示される画面であって、概形生成画面５の一例である。図７は、拡張現実提示装置２に表示される画面であって、配置入力画面６の一例である。図８は、拡張現実提示装置２に表示される画面であって、配置入力画面６の一例である。図９は、概形データの座標系ＣＧの一例である。図１０は、拡張現実提示装置２に表示される画面の一部であって、アンカー設定画面の一部である。図１１は、拡張現実提示装置２に表示される画面の一部であって、概形設定画面の一部である。図１２は、第１の画像データに含まれる実空間ＲＳの座標系ＣＲの一例である。図１３は、拡張現実提示装置２に表示される画面の一部であって、オブジェクト表示画面の一部である。図１４は、情報処理システム１によって実行される情報処理の流れの一例を示すアクティビティ図である。

【0042】

ここで、ユーザとは、拡張現実提示装置２を使用する者であって、部屋等の一定の空間領域を対象とするＡＲ体験を希望している者であるとする。また、ホストとは、ホスト端末４を使用する者であって、情報処理システム１によって提案されるサービスを利用して、ユーザにＡＲ体験を提供する者であるとする。なお、ユーザとホストとは、同一人物であってもよく、この場合、当該人物は、拡張現実提示装置２を使用する。

【0043】

実空間ＲＳとは、ＡＲ体験の対象となる部屋等の一定の空間領域を指す。好ましくは、実空間ＲＳは、建築物の内部空間である。このような態様によれば、ＡＲを用いて、工場や屋内展示場といった場所に設置物を配置した場合のイメージを具体化させることができる。さらに好ましくは、実空間ＲＳは、部屋である。このような態様によれば、ＡＲを用いて、不動産物件の部屋等に家具等を配置した場合のイメージを具体化させることができる。

【0044】

また、実空間ＲＳに配置し得る物品をオブジェクトＯと称する。実空間ＲＳが部屋である場合、オブジェクトＯとして、例えば、収納家具、棚類、箪笥、椅子類、寝具、机類等の家具、シーリングライト、フロアライト等の照明器具、空気清浄機、扇風機、エアーコンディショナー、時計等の生活家電、観葉植物、カーペット、ラグ、マット等のフロアマット、カーテン、ブラインド、ロールスクリーン、印刷機、複合機、シュレッダー等の事務機器、パーティション等が挙げられる。

【0045】

以下、図１３のアクティビティ図に沿って、情報処理システム１によって実行される情報処理の流れを説明するものとする。

【0046】

まず、ホストが、ホスト端末４を用いて、情報処理システム１によって提案されるサービスのＵＲＬにブラウザを用いてアクセスする。なお、情報処理システム１によって提案されるサービスは、専用のモバイルアプリケーションにより提供されてもよく、この場合、ホストは、当該アプリケーションを起動する。次いで、ホストは、サービスを一覧表示する不図示のメニュー画面において、実空間ＲＳの概形ＧＤを編集および登録する機能を選択する（アクティビティＡ００１）。

【0047】

ホストによりメニュー画面（不図示）において実空間ＲＳの概形ＧＤを編集および登録する機能が選択されると、当該選択に係る情報が、ネットワークを介して情報処理装置３に送信される。その後、情報処理装置３において、通信部３１が当該情報を受信したあと、制御部３３の概形生成画面表示部３３２が、概形生成画面５（図６参照）をホスト端末４の表示部に表示させるための情報を、通信部３１およびネットワークを介してホスト端末４に送信する（アクティビティＡ００１）。

【0048】

すなわち、概形生成画面表示部３３２は、概形生成画面５を表示させるように制御する。ここで、図６に示されるように、概形生成画面５は、複数の格子点ＬＰを含み、各格子点ＬＰを接続することで、実空間ＲＳの概形ＧＤに関する概形データを生成可能に構成される。このような態様によれば、一定の形状を有する部屋等の空間の概形について、簡易な手動操作で概形データを生成することができる（アクティビティＡ００１）。

【0049】

図６に示される概形生成画面５は、例えば、その右側に、複数の格子点ＬＰを有する描画領域と、その左側に、概形生成画面５であることを示すタイトル５１、スケールを設定するためのプルダウンメニュー５２、描画のリセットを可能とするボタン５３、および描画の完了を可能とするボタン５４を含む領域とを有する（アクティビティＡ００１）。

【0050】

図６の概形生成画面５において、ホストは、まず、事前の採寸等で把握している実空間ＲＳの広さに合わせて、プルダウンメニュー５２から、格子点ＬＰ同士の間隔として適当な値を選択する。次いで、ホストは、描画領域において、格子点ＬＰをつなぐように始点ＳＰを移動させる操作を行うことによって、描線ＳＬを作成する。続いて、ホストは、描線ＳＬで閉じた領域ができるように、始点ＳＰを終点ＥＰが置かれた格子点ＬＰまで移動させたあと、ボタン５４を押下する。このようにしてホストによりボタン５４が押下されると、当該一連の操作による入力情報は、ネットワークを介して情報処理装置３に送信され、通信部３１が受信する。次いで、制御部３３が、当該入力情報に基づいて、実空間ＲＳの概形ＧＤに関する概形データを生成する。（アクティビティＡ００１）。

【0051】

その後、記憶部３２が概形データを少なくとも一時的に記憶する。ここで、管理部３３６が、概形データを、実空間ＲＳの名称や所在地等の情報と関連づけて、所定の期間管理することが好ましい（アクティビティＡ００１）。

【0052】

続いて、ユーザが、拡張現実提示装置２を用いて、情報処理システム１によって提案されるサービスのＵＲＬにアクセスするか、または専用のモバイルアプリケーションを起動する。次いで、ユーザは、サービスを一覧表示する不図示のメニュー画面において、概形データの検索機能を選択し、管理部３３６が管理する、または記憶部３２が記憶している複数の概形データの中から、実空間ＲＳの名称や所在地等に基づいて、所望の概形データを検索する。例えば、実空間ＲＳが部屋である場合、ユーザは、建物名、区画番号、部屋番号等を入力することにより、部屋の概形に関する概形データを検索する（アクティビティＡ００２）。

【0053】

ユーザは、概形データを選択後、遷移した画面（不図示）において、オブジェクトＯの選択および配置場所指定の機能を選択する。ユーザにより当該機能が選択されると、当該選択に係る情報が、ネットワークを介して情報処理装置３に送信される。その後、情報処理装置３において、通信部３１が当該情報を受信したあと、制御部３３の配置入力画面表示部３３２が、配置入力画面６（図７参照）を拡張現実提示装置２の表示部２４に表示させるための情報を、通信部３１およびネットワークを介して拡張現実提示装置２に送信する（アクティビティＡ００２）。

【0054】

すなわち、配置入力画面表示部３３２は、配置入力画面６を表示させるように制御する。ここで、図７および図８に示されるように、配置入力画面６は、実空間ＲＳに配置し得る複数のオブジェクトＯの中から少なくとも１つのオブジェクトＯを選択可能に構成され、かつ、選択されたオブジェクトＯについて、概形データに含まれる概形ＧＤのなす領域上の位置を指定することにより、概形データの座標系での位置を表す位置座標データを生成可能に構成される。このような態様によれば、重畳表示させる家具等の物品の選択と配置場所の指定とを、簡易な手動操作で行うことができる（アクティビティＡ００２）。

【0055】

図７および図８に示される配置入力画面６は、例えば、その右側に、ユーザが選択した概形データに含まれる概形ＧＤが描かれた描画領域と、その左側に、配置入力画面６であることを示すタイトル６１、オブジェクトＯを概形ＧＤのなす領域上に配置すること可能とするアイコンＩＯ、およびアンカーＡを概形ＧＤのなす領域上に配置することを可能とするアイコンＩＡを含む領域とを有する（アクティビティＡ００２）。

【0056】

図７の配置入力画面６において、ユーザは、所望のオブジェクトＯに対応するアイコンＩＯを、描画領域に描かれた概形ＧＤのなす領域上の所望の位置にドラッグ・アンド・ドロップする。次いで、ユーザは、描画領域の下部に表示されるボタンＲＬまたはボタンＲＲを押下することにより、オブジェクトＯの向きを調整する。なお、図７に示されているように、ボタンＲＬは、例えば、オブジェクトＯを左に４５度回転させることを可能とするボタンであり、ボタンＲＲは、例えば、オブジェクトＯを右に４５度回転させることを可能とするボタンである。ユーザの当該一連の操作による入力情報は、ネットワークを介して情報処理装置３に送信され、通信部３１が受信する。次いで、制御部３３が、当該入力情報に基づいて、選択されたオブジェクトＯについて、概形データの座標系での位置を表す位置座標データを生成する（アクティビティＡ００２）。

【0057】

ユーザは、同様にして、全ての所望のオブジェクトＯを、概形ＧＤのなす領域上の所望の位置に配置する。これにより、全ての所望のオブジェクトＯに対して位置座標データが生成され、記憶部３２が位置座標データを少なくとも一時的に記憶する。なお、ユーザは、図７の配置入力画面６において、一旦配置してみたものの削除したいオブジェクトＯを、オブジェクトＯが選択されたあとに描画領域の下部に表示されるボタンＤＯにより削除することができる。削除されたオブジェクトＯについては、生成された位置座標データも記憶部から削除される（アクティビティＡ００２）。

【0058】

その後、ユーザは、図７の配置入力画面６において、アンカーＡを概形ＧＤのなす領域上に配置することを可能とするアイコンＩＡに対する操作を行う。詳細には、ユーザは、図７の配置入力画面６において、アイコンＩＡを、描画領域に描かれた概形ＧＤのなす領域上の適当な位置にドラッグ・アンド・ドロップする。ここで、図８の配置入力画面６に示されるように、ドラッグ・アンド・ドロップ操作によりアンカーＡが描画領域に表示されると、アイコンＩＡが配置入力を完了させるボタンへと切り替わる。ユーザは、アンカーＡを適当な位置に配置し終えたあと、当該アイコンＩＡを押下する。ユーザによる当該操作により、アンカー情報を対応付ける、概形ＧＤのなす領域上の位置が指定され、当該指定に係る情報は、ネットワークを介して情報処理装置３に送信され、通信部３１が受信する。次いで、制御部３３が、概形ＧＤのなす領域上の指定された位置へのアンカー情報の対応付けを行い、その後、概形ＧＤのなす領域上の指定された位置に対応付けられたアンカー情報は、記憶部３２により少なくとも一時的に記憶される（アクティビティＡ００３）。

【0059】

すなわち、配置入力画面６は、アンカー情報を対応付ける、概形データに含まれる概形ＧＤのなす領域上の位置を指定可能に構成される。このような態様によれば、アンカーとするのに適した場所を、簡易な手動操作で指定することができる。なお、アンカーとするのに適した場所とは、実空間ＲＳが部屋である場合、例えば、部屋の隅にあたる概形ＧＤの角部分である（アクティビティＡ００３）。

【0060】

図８の配置入力画面６において、ユーザにより配置入力の完了を可能とするアイコンＩＡが押下されると、拡張現実提示装置２の撮像部が起動され、実空間ＲＳを撮像した第１の画像データが、ネットワークを介して情報処理装置３に送信される。その後、情報処理装置３において、通信部３１が、拡張現実提示装置２から送信された第１の画像データを受信し、受付部３３１が、実空間ＲＳを撮像した第１の画像データを受け付ける（アクティビティＡ００４）。

【0061】

次いで、取得部３３４が、記憶部３２から、実空間ＲＳの概形ＧＤに関する概形データを取得する。さらに、取得部３３４は、記憶部３２から、概形データに対して設定されたアンカーＡに関するアンカー情報を取得する。好ましくは、取得部３３４は、記憶部３２から、概形ＧＤのなす領域上の指定された位置に対応付けられたアンカー情報を取得する。続いて、第１の画像データおよびアンカー情報に基づいて、アンカー設定画面表示部３３２は、アンカー設定画面（図１０参照）を拡張現実提示装置２の表示部２４に表示させるための情報を生成し、通信部３１およびネットワークを介して拡張現実提示装置２に送信する（アクティビティＡ００５）。

【0062】

すなわち、アンカー設定画面表示部３３２は、アンカー設定画面を表示させるように制御する。ここで、図１０に示されるように、アンカー設定画面は、第１の画像データに重畳表示されるアンカーＡを含み、かつ、アンカー情報を対応付ける実空間ＲＳの位置を指定可能に構成される（アクティビティＡ００５）。

【0063】

図１０にその一部が示されているアンカー設定画面は、例えば、実空間ＲＳの画像と、アンカーＡと、アンカー情報を対応付ける実空間ＲＳの位置を指定可能とするボタンＢＡとを含む（アクティビティＡ００５）。

【0064】

ユーザは、表示部２４にアンカー設定画面（図１０参照）が表示されたあと、拡張現実提示装置２を所持または装着しながら実空間ＲＳ内を移動すること等により、拡張現実提示装置２の撮像部２６が撮像する範囲を調整し、表示部２４に表示されているアンカー設定画面（図１０参照）において、配置入力画面６にてアンカーＡを配置した概形ＧＤのなす領域上の位置に対応する実空間ＲＳの位置に、アンカーＡを表示させる。ユーザは、アンカーＡが適当な位置に表示されていることを確認したあと、アンカーＡを押下する。ユーザによる当該操作により、アンカー情報を対応付ける実空間ＲＳの位置が指定され、当該指定に係る情報が、ネットワークを介して情報処理装置３に送信され、記憶部３２により少なくとも一時的に記憶される（アクティビティＡ００５）。

【0065】

続いて、制御部３３が、概形設定画面（図１１参照）を拡張現実提示装置２の表示部２４に表示させるための情報を、通信部３１およびネットワークを介して拡張現実提示装置２に送信する。ここで、図１１に示されるように、概形設定画面は、実空間ＲＳの画像と、概形ＧＤと、概形ＧＤの向きの調整を可能とするスライダーバーＳＢおよびスライダーＳＳと、概形ＧＤの向きの調整を完了させることを可能とするボタンＢＧとを含む。また、概形設定画面（図１１参照）は、アンカー情報が対応付けられた概形ＧＤのなす領域上の点を、アンカー情報が対応付けられた実空間ＲＳの位置に固定した状態で、概形ＧＤの向きを変更可能とするように構成される（アクティビティＡ００６）。

【0066】

ユーザは、表示部２４に概形設定画面（図１１参照）が表示されたあと、スライダーバーＳＢ上でスライダーＳＳを左右に移動させることにより、概形設定画面（図１１参照）に表示されている概形ＧＤの向きを調整し、実空間ＲＳの形状に概形ＧＤを合わせる。なお、スライダーＳＳの移動は、所持している拡張現実提示装置２を傾ける動作や、装着しているＡＲグラス等の拡張現実提示装置２により部屋（実空間ＲＳ）の床の画像に重畳表示されるスライダーＳＳに対する手の動作等により可能となる。ユーザは、概形ＧＤが実空間ＲＳの形状に合っていることを確認したあと、ボタンＢＧを押下する。ユーザによる当該操作により、位置合わせの実行を要求する信号が、ネットワークを介して情報処理装置３に送信される（アクティビティＡ００６）。

【0067】

その後、情報処理装置３において、通信部３１が、拡張現実提示装置２から送信された位置合わせの実行を要求する信号を受信し、位置合わせ部３３５が、概形データの座標系ＣＧと、第１の画像データに含まれる実空間ＲＳの座標系ＣＲとを対応付ける。好ましくは、位置合わせ部３３５は、指定された実空間ＲＳの位置に、アンカー情報を対応付けることによって、概形データの座標系ＣＧと、実空間ＲＳの座標系ＣＲとを対応付ける。このような態様によれば、概形データの座標系ＣＧと、実空間ＲＳの座標系ＣＲとにおいて、アンカーを共通の原点とすることにより、２つの座標系を精度良く対応付けることができる（アクティビティＡ００６）。

【0068】

ここで、位置合わせ部３３５が実行する位置合わせについて、図９および図１２を参照しながら、具体例を挙げて説明することとする。図９に示されるように、概形データの座標系ＣＧは、例えば、アンカーＡを原点とし、座標軸としてｘ軸ＸＧおよびｙ軸ＹＧを有するＸＹ座標系である。位置合わせ部３３５は、アクティビティＡ００５において指定された実空間ＲＳの位置にアンカー情報を対応付けることによって、当該位置を実空間ＲＳの座標系ＣＲの原点とするとともに、概形ＧＤの向きに基づいてｘ軸ＸＲおよびｙ軸ＹＧを設定する。このようにして得られる実空間ＲＳの座標系ＣＲが、図１２に示される座標系である（アクティビティＡ００６）。

【0069】

さらに、一つの点を例に挙げて、概形データの座標系ＣＧと、実空間ＲＳの座標系ＣＲとの対応関係について説明することとする。また、ここで、説明の都合上、概形データに含まれる格子点ＬＰ同士の間隔は、１ｍであるとする。図９に示される概形データの座標系ＣＧにおいて、概形ＧＤのなす領域上の一点として、点Ｐ１が示されている。点Ｐ１は、図９の概形データの座標系ＣＧにおいて、ｘ座標が１ｍ、ｙ座標が１ｍである。これに対応して、点Ｐ１の実空間ＲＳの座標系ＣＲでの位置は、図１２に示されるように、原点である部屋（実空間ＲＳ）の隅から、ｘ軸ＸＲ方向に１ｍ、ｙ軸ＹＲ方向に１ｍ離れた位置となる（アクティビティＡ００６）。

【0070】

以上で説明したように位置合わせが実行されたあと、取得部３３４が、記憶部３２から、実空間ＲＳに配置し得るオブジェクトＯに関するオブジェクト情報を取得する。好ましくは、取得部３３４は、記憶部３２から、アクティビティＡ００２においてユーザにより選択されたオブジェクトＯのオブジェクト情報を取得する。ここで、オブジェクト情報は、描画データと、概形データの座標系ＣＧでの位置を表す位置座標データとを含む。なお、描画データは、オブジェクトＯの３次元形状データを含み、色彩、模様およびテクスチャのデータを含むことが好ましい。また、位置座標データは、好ましくは、アクティビティＡ００２において生成された位置座標データである（アクティビティＡ００７）。

【0071】

続いて、オブジェクト表示画面表示部３３２は、第１の画像データと、オブジェクト情報と、概形データの座標系ＣＧに対応付けられた実空間ＲＳの座標系ＣＲと基づいて、オブジェクト表示画面（図１３参照）を拡張現実提示装置２の表示部２４に表示させるための情報を生成し、通信部３１およびネットワークを介して拡張現実提示装置２に送信する（アクティビティＡ００７）。

【0072】

すなわち、オブジェクト表示画面表示部３３２は、オブジェクト表示画面を表示させるように制御する。ここで、図１３に示されるように、オブジェクト表示画面は、オブジェクト情報と、概形データの座標系ＣＧに対応付けられた実空間ＲＳの座標系ＣＲとに基づいて、第１の画像データにオブジェクトＯを重畳表示させた画面である。このような態様によれば、家具等の物品のデジタル情報を、所望の位置により精度よく重畳表示することができる（アクティビティＡ００７）。

【0073】

図１３にその一部が示されているオブジェクト表示画面は、例えば、実空間ＲＳの画像と、概形ＧＤと、立体的に表示されるオブジェクトＯとを含む。なお、オブジェクト表示画面は、オブジェクトＯの配置変更、回転、削除および追加が可能に構成されることが好ましい。（アクティビティＡ００７）。

【0074】

以上をまとめると、本実施形態の情報処理方法は、取得ステップと、受付ステップと、位置合わせステップとを備える。受付ステップでは、実空間ＲＳを撮像した第１の画像データを受け付ける。取得ステップでは、実空間ＲＳの概形ＧＤに関する概形データを取得する。位置合わせステップでは、概形データの座標系ＣＧと、第１の画像データに含まれる実空間ＲＳの座標系ＣＲとを対応付ける。

【0075】

本実施形態によれば、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）を用いて、部屋等の一定の空間領域に対し、家具等の物品のデジタル情報をより精度よく重ね合わせて表示することが可能になる。

【0076】

４．第２の実施形態
本節では、第２の実施形態（以下、本実施形態と称する）に係る情報処理装置３について説明する。ただし、第１の実施形態に係る情報処理システム１と略同様の構成や機能については、その説明を省略する。

【0077】

本実施形態に係る情報処理装置３は、次の各部を備える。受付部３３１は、部屋の概形ＧＤに関する概形データに対する配置情報に関する入力を第１のユーザから受け付ける。配置情報は、部屋に配置するオブジェクトＯの種類に関する情報と、オブジェクトＯの配置場所に関する座標情報とを含む。画面表示部３３２は、配置情報をネットワークを介して拡張現実提示装置２に送信することで、実空間ＲＳである部屋に仮想情報であるオブジェクトＯを重畳表示させた画面を拡張現実提示装置２に表示させる。拡張現実提示装置２は、部屋に位置する第２のユーザの端末である。以下では、本実施形態に係る情報処理装置３によって実行される情報処理の流れを説明するものとする。

【0078】

ここで、第１のユーザとは、例えば、不動産仲介担当者であり、第２のユーザとは、例えば、内見者である。また、第１のユーザと第２のユーザとは、同一人物であってもよい。

【0079】

第１のユーザは、上記のアクティビティＡ００２と同様にして、配置入力画面６（図８参照）において、実空間ＲＳである部屋に配置し得る複数のオブジェクトＯの中から少なくとも１つのオブジェクトＯを選択し、選択したオブジェクトＯについて、部屋の概形ＧＤのなす領域上の位置を指定する。第１のユーザの当該操作による入力情報は、ネットワークを介して情報処理装置３に送信され、通信部３１が受信したあと、受付部３３１が受け付ける。

【0080】

次いで、制御部３３が、当該入力情報に基づいて、選択されたオブジェクトＯの種類に関する情報と、選択されたオブジェクトＯの配置場所に関する座標情報とを生成する。すなわち、制御部３３により配置情報が生成される。続いて、画面表示部３３２は、配置情報をネットワークを介して、部屋に実際にいる第２のユーザが所持する拡張現実提示装置２に送信する。次いで、拡張現実提示装置２において、通信部２１が配置情報を受信したあと、制御部２３が、配置情報と、記憶部２２に記憶されたオブジェクトＯの描画データとに基づいて、撮像部２６が撮像した部屋の画像に、仮想情報であるオブジェクトＯを重畳表示させた画面を表示部２４に表示させるように制御する。

【0081】

本実施形態によれば、内見等の目的で実際に不動産物件を訪れた顧客に、バーチャルモデルルームとして、従来の内見だけではイメージしにくい実際の生活の疑似体験を提供することができる。

【0082】

５．第３の実施形態
本節では、第３の実施形態（以下、本実施形態と称する）に係る拡張現実提示装置２について説明する。ただし、第１の実施形態に係る情報処理システム１および第２の実施形態に係る情報処理装置３と略同様の構成や機能については、その説明を省略する。

【0083】

本実施形態に係る拡張現実提示装置２は、次の各部を備える。取得部２３１は、ネットワークを介して情報処理装置３から配置情報を取得する。配置情報は、部屋の概形ＧＤに関する概形データに対して設定された、部屋に配置するオブジェクトＯの種類に関する情報と、オブジェクトＯの配置場所に関する座標情報とを含む。管理部２３２は、部屋に配置し得る複数のオブジェクトＯに関する描画データを管理する。表示処理部２３３は、取得した配置情報と、描画データとに基づいて、実空間ＲＳである部屋に仮想情報であるオブジェクトＯを重畳表示させる。以下では、本実施形態に係る拡張現実提示装置２によって実行される情報処理の流れを説明するものとする。

【0084】

配置情報は、上記の第２の実施形態で説明したように、配置入力画面６（図８参照）における操作を介して情報処理装置３の制御部３３において生成される。当該配置情報を、拡張現実提示装置２の取得部２３１が、ネットワークを介して情報処理装置３から取得する。

【0085】

次いで、表示処理部２３３が、取得した配置情報と、管理部２３２が管理する描画データとに基づいて、撮像部２６が撮像した部屋の画像に、仮想情報であるオブジェクトＯを重畳表示させた画面を表示部２４に表示させるように制御する。

【0086】

なお、管理部２３２が管理する描画データは、上記の第１の実施形態で説明したように、オブジェクトＯの３次元形状データを含み、色彩、模様およびテクスチャのデータを含むことが好ましい。また、管理部２３２は、オブジェクトＯの名称や品番等の種類に関する情報と、オブジェクトＯの描画データとを関連付けて管理する。

【0087】

本実施形態によれば、内見等の目的で実際に不動産物件を訪れた顧客に、バーチャルモデルルームとして、従来の内見だけではイメージしにくい実際の生活の疑似体験を提供することができる。

【0088】

５．その他
情報処理システム１に関して、以下のような態様を採用してもよい。

【0089】

本実施形態の態様は、プログラムであってもよい。このプログラムは、コンピュータに、情報処理システム１の各ステップを実行させる。

【0090】

第１の実施形態のアクティビティＡ００１において、ホスト端末４に概形生成画面５（図６参照）を表示させたが、拡張現実提示装置２に概形生成画面５（図６参照）を表示させ、ユーザに概形ＧＤの生成に係る操作を実行させてもよい。

【0091】

第１の実施形態において、アクティビティＡ００１をホストが実行し、アクティビティＡ００２～アクティビティＡ００７をユーザが実行することとして説明したが、アクティビティＡ００１～アクティビティＡ００３をホストがホスト端末４を使用して実行し、アクティビティＡ００４～アクティビティＡ００７をユーザが拡張現実提示装置２を使用して実行してもよい。このような態様によれば、ホストである不動産仲介担当者等が、アクティビティＡ００１～アクティビティＡ００３を経て予め２次元でモデルルーム（図８参照）を作成することによって、内見に来たユーザにバーチャルモデルルーム（図１３参照）を体験させる準備を予め行うことができる。

【0092】

第１の実施形態のアクティビティＡ００１において、予め登録されている基本的な概形ＧＤの中から、ホストまたはユーザが概形ＧＤを選択することにより、概形データが生成されてもよい。実空間ＲＳが部屋である場合、基本的な概形ＧＤとは、例えば、長方形、Ｌ字型、Ｔ字型、カーブ型、Ｚ字型、長方形から角が切り取られたカット型等である。さらに、基本的な概形ＧＤを選択後、概形生成画面５（図６参照）等の画面において、実空間ＲＳの形状により合致するように概形ＧＤを調整できることが好ましい。

【0093】

概形生成部３３３が、実空間ＲＳの概形ＧＤが把握可能である第２の画像データから概形データを生成してもよい。例えば、実空間ＲＳを３６０度カメラで撮像した第２の画像データを利用し、概形データを生成してもよい。このような態様によれば、一定の形状を有する部屋等の空間の概形データを自動的に生成することできる。なお、生成される概形データは、３次元データであってもよい。

【0094】

概形データは、ＣＡＤデータであってもよい。実空間ＲＳが部屋である場合、例えば、間取り図のＣＡＤデータを概形データとして利用してもよい。また、概形データとするＣＡＤデータは、３次元ＣＡＤデータであってもよく、２次元ＣＡＤデータから、３次元データとして概形データを生成してもよい。

【0095】

概形データが３次元データである場合、第１の実施形態のアクティビティＡ００２において、３次元で表された概形ＧＤのなす空間上に、３次元で表されたオブジェクトＯを配置する入力操作を行うことにより、オブジェクトＯに対して、３次元座標系の位置座標データが生成されることが好ましい。

【0096】

第１の実施形態のアクティビティＡ００２において、ユーザの操作によらず、制御部３３により自動的に、所定のオブジェクトＯに対し、概形データに含まれる概形ＧＤのなす領域上の適当な位置が指定されてもよい。ここで、所定のオブジェクトＯに対し指定される適当な位置は、機械学習により、概形ＧＤに合わせて最適化されていることが好ましい。

【0097】

第１の実施形態のアクティビティＡ００３において、アンカー情報を対応付ける、概形データに含まれる概形ＧＤのなす領域上の位置は、ユーザの操作によらず、制御部３３により自動的に指定されてもよい。例えば、図８の配置入力画面６に示されているように、概形ＧＤの左隅が、アンカー情報を対応付ける位置として自動的に指定されてもよい。

【0098】

第１の実施形態にアクティビティＡ００２とＡ００３とは、情報処理の流れとして、その順番が逆であってもよい。すなわち、アンカー情報を対応付ける、概形データに含まれる概形ＧＤのなす領域上の位置を指定したあと、実空間ＲＳに配置するオブジェクトＯを選択し、選択したオブジェクトＯについて、概形ＧＤのなす領域上の位置を指定することが可能であってもよい。

【0099】

オブジェクトＯの描画データは、外部装置に記憶されたデータベースから取得してもよい。ここで、外部装置に記憶されたデータベースは、サービス提供者が有するデータベースに限らず、オブジェクトＯの販売者等が有する外部のデータベースであってもよい。

【0100】

第１の実施形態のアクティビティＡ００７において拡張現実提示装置２の表示部２４に表示されるオブジェクト表示画面は、実空間ＲＳにいるユーザ以外の者が所持する拡張現実提示装置２に表示させることが可能であってもよい。例えば、実空間ＲＳが部屋である場合、ホストでありユーザでもある不動産仲介担当者がアクティビティＡ００１～アクティビティＡ００７を経て自身の拡張現実提示装置２にオブジェクト表示画面を表示させたあと、部屋の内見者が所持する拡張現実提示装置２にオブジェクト表示画面を表示させることが可能であってもよい。ここで、部屋の内見者は、複数人であってもよい。このような態様によれば、不動産仲介担当者等が、アクティビティＡ００１～アクティビティＡ００３を経て予め２次元で作成したモデルルーム（図８参照）を利用して、内見に来た者に瞬時にバーチャルモデルルーム（図１３参照）を体験させることができる。

【0101】

次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、次のステップをさらに実行するように構成され、概形生成ステップでは、前記実空間の前記概形が把握可能である第２の画像データから前記概形データを生成する、もの。
前記情報処理システムにおいて、次のステップをさらに実行するように構成され、概形生成画面表示ステップでは、概形生成画面を表示させるように制御し、ここで、前記概形生成画面は、複数の格子点を含み、各格子点を接続することで、前記概形データを生成可能に構成される、もの。
前記情報処理システムにおいて、次の各ステップをさらに実行するように構成され、前記取得ステップでは、前記概形データに対して設定されたアンカーに関するアンカー情報をさらに取得し、アンカー設定画面表示ステップでは、アンカー設定画面を表示させるように制御し、ここで、前記アンカー設定画面は、前記第１の画像データに重畳表示される前記アンカーを含み、かつ、前記アンカー情報を対応付ける前記実空間の位置を指定可能に構成され、前記位置合わせステップでは、指定された前記実空間の位置に、前記アンカー情報を対応付けることによって、前記概形データの座標系と、前記実空間の座標系とを対応付ける、もの。
前記情報処理システムにおいて、次の各ステップをさらに実行するように構成され、配置入力画面表示ステップでは、配置入力画面を表示させるように制御し、ここで、前記配置入力画面は、前記アンカー情報を対応付ける、前記概形データに含まれる前記概形のなす領域上の位置を指定可能に構成され、前記取得ステップでは、前記概形のなす領域上の指定された位置に対応付けられた前記アンカー情報を取得する、もの。
前記情報処理システムにおいて、次の各ステップをさらに実行するように構成され、前記取得ステップでは、前記実空間に配置し得るオブジェクトに関するオブジェクト情報をさらに取得し、ここで、前記オブジェクト情報は、描画データと、前記概形データの座標系での位置を表す位置座標データとを含み、オブジェクト表示画面表示ステップでは、オブジェクト表示画面を表示させるように制御し、ここで、前記オブジェクト表示画面は、前記オブジェクト情報と、前記概形データの座標系に対応付けられた前記実空間の座標系とに基づいて、前記第１の画像データに前記オブジェクトを重畳表示させた画面である、もの。
前記情報処理システムにおいて、次のステップをさらに実行するように構成され、配置入力画面表示ステップでは、配置入力画面を表示させるように制御し、ここで、前記配置入力画面は、前記実空間に配置し得る複数のオブジェクトの中から少なくとも１つのオブジェクトを選択可能に構成され、かつ、選択された前記オブジェクトについて、前記概形データに含まれる前記概形のなす領域上の位置を指定することにより、前記位置座標データを生成可能に構成され、前記取得ステップでは、選択された前記オブジェクトの前記オブジェクト情報を取得する、もの。
前記情報処理システムにおいて、前記実空間は、建築物の内部空間である、もの。
前記情報処理システムにおいて、前記実空間は、部屋である、もの。
前記情報処理システムにおいて、前記概形データは、３次元データである、もの。
情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
プログラムであって、コンピュータに、前記情報処理システムの各ステップを実行させる、もの。
情報処理装置であって、次の各ステップを実行するように構成され、受付ステップでは、部屋の概形に関する概形データに対する配置情報に関する入力を第１のユーザから受け付け、ここで前記配置情報は、前記部屋に配置するオブジェクトの種類に関する情報と、前記オブジェクトの配置場所に関する座標情報とを含み、画面表示ステップでは、前記配置情報をネットワークを介して拡張現実提示装置に送信することで、実空間である前記部屋に仮想情報である前記オブジェクトを重畳表示させた画面を前記拡張現実提示装置に表示させ、ここで、前記拡張現実提示装置は、前記部屋に位置する第２のユーザの端末である、もの。
拡張現実提示装置であって、次の各ステップを実行するように構成され、取得ステップでは、ネットワークを介して情報処理装置から配置情報を取得し、ここで前記配置情報は、部屋の概形に関する概形データに対して設定された、前記部屋に配置するオブジェクトの種類に関する情報と、前記オブジェクトの配置場所に関する座標情報とを含み、管理ステップでは、前記部屋に配置し得る複数のオブジェクトに関する描画データを管理し、表示処理ステップでは、取得した前記配置情報と、前記描画データとに基づいて、実空間である前記部屋に仮想情報である前記オブジェクトを重畳表示させる、もの。
もちろん、この限りではない。

【0102】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0103】

１ ：情報処理システム
２ ：拡張現実提示装置
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：制御部
２３１ ：取得部
２３２ ：管理部
２３３ ：表示処理部
２４ ：表示部
２５ ：入力部
２６ ：撮像部
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：受付部
３３２ ：画面表示部
３３３ ：概形生成部
３３４ ：取得部
３３５ ：位置合わせ部
３３６ ：管理部
４ ：ホスト端末
５ ：概形生成画面
５１ ：タイトル
５２ ：プルダウンメニュー
５３ ：ボタン
５４ ：ボタン
６ ：配置入力画面
６１ ：タイトル
Ａ ：アンカー
ＡＲ ：メガネ型
ＢＧ ：ボタン
ＣＧ ：座標系
ＣＲ ：座標系
ＤＯ ：ボタン
ＥＰ ：終点
ＧＤ ：概形
ＩＡ ：アイコン
ＩＯ ：アイコン
ＬＰ ：格子点
Ｏ ：オブジェクト
Ｐ１ ：点
ＲＬ ：ボタン
ＲＲ ：ボタン
ＲＳ ：実空間
ＳＢ ：スライダーバー
ＳＬ ：描線
ＳＰ ：始点
ＳＳ ：スライダー
ＸＧ ：ｘ軸
ＸＲ ：ｘ軸
ＹＧ ：ｙ軸
ＹＲ ：ｙ軸

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2021-08-10

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

情報処理システムであって、
次の各ステップを実行するように構成され、
生成画面表示ステップでは、生成画面を表示させるように制御し、
前記生成画面は、
始点を移動させる操作を行うことによって、実空間の概形に関する概形データを生成可能な描画領域を含み、
前記概形データに含まれる前記概形のなす領域上の位置を、前記実空間に設定するアンカーに関するアンカー情報を対応付ける位置として指定可能に構成され、
複数の家具の中から少なくとも１つの家具のオブジェクトを選択可能に構成され、かつ、選択された前記家具について、前記概形データに含まれる前記概形のなす領域上の位置を指定することにより、配置情報を生成可能に構成され、前記配置情報は、前記家具の種類に関する情報と、前記家具の配置場所に関する座標情報とを含み、
ここで前記生成画面において、前記描画領域と、前記アンカー情報を示すアイコンと、前記家具を示すアイコンとは、一覧性を有してともに表示され、
取得ステップでは、前記生成画面を介して生成された、前記概形データを取得し、
受付ステップでは、前記実空間を撮像した第１の画像データを受け付け、
位置合わせステップでは、前記概形データの座標系と、前記第１の画像データに含まれる前記実空間の座標系とを対応付ける、もの。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記生成画面は、複数の格子点を含み、各格子点を接続することで、前記概形データを生成可能に構成される、もの。

【請求項3】

請求項１または請求項２に記載の情報処理システムにおいて、
次の各ステップをさらに実行するように構成され、
前記取得ステップでは、前記アンカー情報をさらに取得し、
アンカー設定画面表示ステップでは、アンカー設定画面を表示させるように制御し、ここで、前記アンカー設定画面は、前記第１の画像データに重畳表示される前記アンカーを含み、かつ、前記アンカー情報を対応付ける前記実空間の位置を前記第１の画像データに対して指定可能に構成され、
前記位置合わせステップでは、指定された前記実空間の位置に、前記アンカー情報を対応付けることによって、前記概形データの座標系と、前記実空間の座標系とを対応付ける、もの。

【請求項4】

請求項１または請求項３に記載の情報処理システムにおいて、
次の各ステップをさらに実行するように構成され、
前記取得ステップでは、前記配置情報をさらに取得し、
オブジェクト表示画面表示ステップでは、前記第１の画像データと、前記配置情報とに基づいて、前記第１の画像データに前記家具を重畳表示させたオブジェクト表示画面を表示させるように制御する、もの。

【請求項5】

請求項１～請求項４の何れか１つに記載の情報処理システムにおいて、
前記実空間は、建築物の内部空間である、もの。

【請求項6】

請求項５に記載の情報処理システムにおいて、
前記実空間は、部屋である、もの。

【請求項7】

請求項１～請求項６の何れか１つに記載の情報処理システムにおいて、
前記概形データは、３次元データである、もの。

【請求項8】

情報処理方法であって、
請求項１～請求項７の何れか１つに記載の情報処理システムの各ステップを備える、方法。

【請求項9】

プログラムであって、
コンピュータに、請求項１～請求項７の何れか１つに記載の情報処理システムの各ステップを実行させる、もの。