特許 7029118 画像表示方法、画像表示システム、及び画像表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-22

(45)【発行日】2022-03-03

(54)【発明の名称】画像表示方法、画像表示システム、及び画像表示プログラム

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20220224BHJP

   G06F 3/01 20060101ALI20220224BHJP

   G06F 3/04845 20220101ALI20220224BHJP

   G06F 3/14 20060101ALI20220224BHJP

   G09G 5/00 20060101ALI20220224BHJP

   H04L 67/00 20220101ALI20220224BHJP

【ＦＩ】

G06F3/0481 150

G06F3/01 510

G06F3/0484 150

G06F3/14 350A

G06F3/14 360A

G09G5/00 510H

G09G5/00 510Q

G09G5/00 530T

G09G5/00 550B

G09G5/00 550C

G09G5/00 555D

H04L67/00

【請求項の数】 9

(21)【出願番号】P 2020102701

(22)【出願日】2020-06-12

(65)【公開番号】P2021196851

(43)【公開日】2021-12-27

【審査請求日】2020-06-12

(73)【特許権者】

【識別番号】518151593

【氏名又は名称】３Ｄ Ｎｅｓｔ株式会社

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】▲張▼顕赫

【審査官】滝谷 亮一

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０１２０３６７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１０１６２２３６（ＣＮ，Ａ）

【文献】国際公開第２０１９／０２６９１９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８１５

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８４５

Ｇ０６Ｆ ３／１４

Ｇ０９Ｇ ５／００

Ｈ０４Ｌ ６７／００

(57)【特許請求の範囲】

【請求項1】

対象物を表現する画像を画像表示装置に表示するための画像表示方法であって、
複数の前記画像表示装置が、通信ネットワークを介してサーバにアクセスするステップと、
前記サーバが、複数の前記画像表示装置に前記対象物を再現した３Ｄモデルを送信するステップと、
複数の前記画像表示装置のうち、いずれかの前記画像表示装置が、トリガー操作を検出すると、トリガー信号を前記サーバに発信するステップと、
前記サーバが、前記トリガー信号に基づいて、パノラマ画像を含んでいる画像コンテンツと前記トリガー信号に含まれている観察角度とを複数の前記画像表示装置に送信するステップと、
各前記画像表示装置が、前記トリガー信号により、前記３Ｄモデルを前記画像コンテンツに含まれている前記パノラマ画像に切り替え、前記パノラマ画像を表示するステップと、
を備える、画像表示方法。

【請求項2】

一つの前記画像表示装置から前記トリガー信号を受信すると、所定時間内に、前記サーバは、他の前記画像表示装置からのトリガー信号を拒否するステップをさらに備える、
請求項１に記載の画像表示方法。

【請求項3】

複数の前記画像表示装置のうち、いずれかの前記画像表示装置が他の前記画像表示装置に通話申請をすると、他の前記画像表示装置が前記通話申請を受け入れた場合に、前記通話申請した前記画像表示装置は、前記通話申請を受け入れた前記画像表示装置と通話できるようになるステップをさらに備える、
請求項１又は２に記載の画像表示方法。

【請求項4】

前記画像コンテンツはさらに平面図を含み、
前記平面図と前記３Ｄモデルとは、複数の観察点を含み、
前記パノラマ画像は、自らの観察点と違う他の観察点を一つ以上有し、
各前記観察点は、前記パノラマ画像とそれぞれ関連付けられており、
各前記観察点へのトリガー操作が検出されると、前記サーバは、前記トリガー操作された観察点に関連付けられている前記パノラマ画像を前記画像コンテンツに含めて送信する、
請求項１から３のいずれか１項に記載の画像表示方法。

【請求項5】

表示されている前記画像に対する前記トリガー操作が検出されると、前記トリガー操作を受け取った位置が、前記観察点のないところであれば、前記画像表示装置は、前記トリガー操作を受け取った位置の最接近観察点の位置情報を取得して、前記トリガー信号に含ませる、
請求項４に記載の画像表示方法。

【請求項6】

前記複数の観察点の内、第一観察点の画像から第二観察点の画像に切り替え表示すると、切り替え後に表示される前記第二観察点の画像は、切り替え前に表示された前記第一観察点の画像と同じ観察角度で表示される、
請求項４又は５に記載の画像表示方法。

【請求項7】

対象物を表現する画像を画像表示装置に表示するための画像表示システムであって、
複数の前記画像表示装置と、
複数の前記画像表示装置に、通信ネットワークを介して、前記対象物を再現した３Ｄモデルと、前記画像とを送信するサーバと、
を備え、
前記サーバは、前記画像と前記３Ｄモデルとを保存するコンテンツ記憶部と、前記画像表示装置からのトリガー信号に応じて前記画像表示装置に送信する情報処理部と、を含み、
複数の前記画像表示装置のそれぞれは、前記画像を表示する表示部と、表示制御部と、操作検出部とを含み、
前記画像表示装置が前記サーバにアクセスすると、前記サーバは前記画像表示装置に前記３Ｄモデルを送信し、
いずれかの前記画像表示装置の前記操作検出部が、トリガー操作を検出すると、前記トリガー信号を前記情報処理部に送信し、
前記情報処理部は、前記トリガー信号に基づいて、前記コンテンツ記憶部に前記画像を含んでいる画像コンテンツを要求し、
前記コンテンツ記憶部は、前記情報処理部に要求された前記画像コンテンツを各前記表示制御部にそれぞれ送信し、
各前記表示制御部は、前記トリガー信号より、前記３Ｄモデルを前記画像コンテンツに含まれているパノラマ画像に切り替え、前記パノラマ画像を前記３Ｄモデルの観察角度で前記表示部に表示させる、
画像表示システム。

【請求項8】

複数の前記画像表示装置のそれぞれは、音声入力部と音声出力部とをさらに含んでおり、
いずれかの前記画像表示装置が他の前記画像表示装置に通話申請をすると、他の前記画像表示装置が前記通話申請を受け入れた場合に、前記通話申請した前記画像表示装置と、前記通話申請を受け入れた前記画像表示装置とは、前記音声入力部と前記音声出力部とにより通話できるようになる、
請求項７に記載の画像表示システム。

【請求項9】

請求項１から６のいずれか１項に記載の画像表示方法をコンピュータに実行させるための画像表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建物などの対象物の画像を表示する技術に関し、特に画像表示方法、画像表示システム、及び画像表示プログラムに関する。

【背景技術】

【0002】

一般的に、不動産物件を選ぶ場合、間取り図を見ながら物件を選び、選んだ物件を内覧することなどにより、所望の物件を選んでいる。また、購入者や賃貸者などの対象者の好感度を高めるために、モデルルームの展示などが行われている。

【0003】

近年、インターネットなどの通信ネットワークを介して所望する物件の画像や間取り図などをコンピュータに表示させ、物件を案内する技術が望まれている。いわゆる不動産の紹介サービスに使われる遠隔案内技術といわれている。

【0004】

遠隔案内技術では、物件の構造を再現した３Ｄモデルを作成して、作成した３Ｄモデルをネットで表示する３Ｄモデル技術が利用されている。３Ｄモデル技術では、建物の構造の全てが立体的に再現されており、利用者が、実際の建物の中にいて、その内部を移動しているかのように、画像の表示が変更される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の遠隔案内技術では、ユーザは、一人でネット上の物件の内容を観覧する。しかし、一人だけではなく、遠く離れている複数のユーザ同士、また、複数のユーザと不動産業者との即時的コミュニケーションを取りながら、ネット上で物件の内容を観覧することも望まれている。

【0006】

本発明は、上記課題を解決するためになされたものであり、遠隔に居る複数のユーザが同じ空間の同じ場所に居るような状態で同じ画像を観覧でき、ユーザへの臨場感を高められる画像表示方法、画像表示システム、及び画像表示プログラムを提供する。

【課題を解決するための手段】

【0007】

本発明の第１態様は、対象物を表現する画像を画像表示装置に表示するための画像表示方法であって、複数の画像表示装置が、通信ネットワークを介してサーバにアクセスするステップと、サーバが、複数の画像表示装置に対象物を再現した３Ｄモデルを送信するステップと、複数の画像表示装置のうち、いずれかの画像表示装置が、トリガー操作を検出すると、トリガー信号をサーバに発信するステップと、サーバが、トリガー信号に基づいて、画像を含んでいる画像コンテンツとトリガー信号に含まれている観察角度とを複数の画像表示装置に送信するステップと、各画像表示装置が、トリガー信号により、画像コンテンツに含まれている画像を３Ｄモデルに合成させ、３Ｄモデルと合成された画像を表示するステップと、を備える。

【0008】

本態様によれば、遠隔に居る複数のユーザが同じ空間の同じ場所に居るような感覚で当該空間の同じ画像を観覧することができる。また、対象物における画像の位置を３Ｄモデルで把握できるため、各画像表示装置は、対象物の奥行きや立体感を表現しやすくなる。これにより、ユーザの臨場感が確保できる。

【0009】

本発明の第２の態様は、第１の態様の画像表示方法において、一つの画像表示装置からトリガー信号を受信すると、所定時間内に、サーバは、他の画像表示装置からのトリガー信号を拒否するステップをさらに備える。

【0010】

本態様によれば、通信可能に接続された複数の画像表示装置に対して、一つの画像表示装置からのトリガー信号を受信すると、所定時間内に、サーバは、他の画像表示装置からの時間的に後のトリガー信号を拒否する。これにより、それぞれのユーザからの異なる指示による混乱がないため、ユーザの臨場感を高められる。

【0011】

本発明の第３の態様は、第１の態様又は第２の態様の画像表示方法において、複数の画像表示装置のうち、いずれかの画像表示装置が他の画像表示装置に通話申請をすると、他の画像表示装置が通話申請を受け入れた場合に、通話申請した画像表示装置は、通話申請を受け入れた画像表示装置と通話できるようになるステップをさらに備える。

【0012】

本態様によれば、通信可能に接続された各画像表示装置のユーザは、通話することができる。特にユーザの中に不動産案内サービスを提供する仲介業者がいる場合、仲介業者とユーザとのコミュニケーションが容易になる。

【0013】

本発明の第４の態様は、第１から第３の態様のいずれかの画像表示方法において、画像は平面図とパノラマ画像とを含み、平面図と３Ｄモデルとは、複数の観察点を含み、パノラマ画像は、自らの観察点と違う他の観察点を一つ以上有し、各観察点は、パノラマ画像とそれぞれ関連付けられており、各観察点へのトリガー操作が検出されると、サーバは、トリガー操作された観察点に関連付けられているパノラマ画像を画像コンテンツに含めて送信する。

【0014】

本態様において、平面図とパノラマ画像は、画像表示装置に送信され、３Ｄモデルと合成される。本態様によれば、表示している平面図やパノラマ画像における観察点がトリガー操作されて別のパノラマ画像へと切り替え表示する際に、平面図やパノラマ画像が３Ｄモデルと合成されているため、ただの表示する画像の切り替えではなく、３Ｄモデルの空間に飛んで入り、該当する観察点に立っているように臨場感がある。また、３Ｄモデルと表示する画像とを合成させることで、表示する画像に空間の奥行き感を表現しやすくなり、より臨場感を高めることができる。また、パノラマ画像同士の切り替えでは、切り替え表示前後の奥行き感が変化するので、インパクトがあり、臨場感をより高められる。

【0015】

本発明の第５の態様は、第４の態様の画像表示方法において、表示されている画像に対するトリガー操作が検出されると、トリガー操作を受け取った位置が、観察点のないところであれば、画像表示装置は、トリガー操作を受け取った位置の最接近観察点の位置情報を取得して、トリガー信号に含ませる。

【0016】

本態様によれば、表示画像の任意点にトリガー操作してもトリガー操作として検出されるようになり、使いやすい。

【0017】

本発明の第６の態様は、第４又は第５の態様の画像表示方法において、複数の観察点の内、第一観察点の画像から第二観察点の画像に切り替え表示すると、切り替え後に表示される第二観察点の画像は、切り替え前に表示された第一観察点の画像と同じ観察角度で表示される。

【0018】

本態様によれば、切り替え表示前後の画像が同じ観察角度で切り替えられるため、前の観察点から後の観察点へ「直行」する感覚で表示できる。ユーザへのインパクトが高く、臨場感を高めることができる。

【0019】

本発明の第７の態様は、対象物を表現する画像を画像表示装置に表示するための画像表示システムであって、複数の画像表示装置と、複数の画像表示装置に、通信ネットワークを介して、対象物を再現した３Ｄモデルと、画像とを送信するサーバと、を備える。サーバは、画像と３Ｄモデルとを保存するコンテンツ記憶部と、画像表示装置からのトリガー信号に応じて画像表示装置に送信する情報処理部と、を含み、複数の画像表示装置のそれぞれは、画像を表示する表示部と、表示制御部と、操作検出部とを含み、画像表示装置がサーバにアクセスすると、サーバは画像表示装置に３Ｄモデルを送信し、いずれかの画像表示装置の操作検出部が、トリガー操作を検出すると、トリガー信号を情報処理部に送信し、情報処理部は、トリガー信号に基づいて、コンテンツ記憶部に画像を含んでいる画像コンテンツを要求し、コンテンツ記憶部は、情報処理部に要求された画像コンテンツを各表示制御部にそれぞれ送信し、各表示制御部は、トリガー信号より、画像コンテンツに含まれている画像を３Ｄモデルに合成させ、３Ｄモデルと合成された画像を観察角度で表示部に表示させる。

【0020】

本発明の第８の態様は、第７態様の画像表示システムにおいて、複数の画像表示装置のそれぞれは、音声入力部と音声出力部とをさらに含んでおり、いずれかの画像表示装置が他の画像表示装置に通話申請をすると、他の画像表示装置が通話申請を受け入れた場合に、通話申請した画像表示装置と、通話申請を受け入れた画像表示装置とは、音声入力部と音声出力部とにより通話できるようになる。

【0021】

本発明の第９の態様は、第１から第６態様のいずれかに記載の画像表示方法をコンピュータに実行させるための画像表示プログラムである。

【発明の効果】

【0022】

本発明によれば、遠隔に居る複数のユーザが同じ空間の同じ場所に居るような状態で同じ画像を観覧でき、ユーザへの臨場感をたかめられる。また、遠隔に居る複数のユーザがコミュニケーションを取りながら当該空間を観覧し、案内することができる。

【図面の簡単な説明】

【0023】

【図1】画像表示システムの構成を示す模式図である。

【図2】画像表示方法の処理を示すフローチャートである。

【図3】建物の３Ｄモデルを表示する図である。

【図4】図３の３Ｄモデルを時計回りに回転させた図である。

【図5】観察点Ｐ１でのパノラマ画像を表示している図である。

【図6】観察点Ｐ２でのパノラマ画像を表示している図である。

【図7】観察点Ｐ２でのパノラマ画像を表示している図である。

【図8】建物の平面図を表示している図である。

【図9】画像表示方法の処理を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、図面を参照して、本発明の実施形態について説明する。図１は、実施形態に係る画像表示システムの構成を示す模式図である。本実施形態の画像表示システムは、サーバ１と複数の画像表示装置２ａ，２ｂとを含む。画像表示装置の数は、２つに限らず、２つより多くてもよい。

【0025】

サーバ１は、通信ネットワーク１００を介して、画像表示装置２ａ，２ｂとデータ転送可能に接続されている。サーバ１は、情報処理部１１とコンテンツ記憶部１２とを含む。情報処理部１１は、ＣＰＵなどのプロセッサと、ＲＡＭ，ＲＯＭなどのメモリとを含む。情報処理部１１は、画像表示装置からの信号に応じて、コンテンツ記憶部１２に保存されている画像コンテンツを要求する。コンテンツ記憶部１２は、画像の表示に要する画像コンテンツを記憶しており、情報処理部１１からの要求に応じて、画像表示装置に画像コンテンツを送信する。

【0026】

画像コンテンツとは、２次元画像、パノラマ画像、３Ｄモデル、画像や３Ｄモデルと共に出力される効果音等の音声データや紹介用テキストや動画等が挙げられる。

【0027】

２次元画像とは、写真等の平面画像である。パノラマ画像とは、対象物の前後、左右の３６０度と上下１８０度の範囲内の状況を確認できる画像である。パノラマ画像を撮影する場合、カメラを中心として、所定角度ごとに別々に撮った一群の写真を取得し、隣接し且つ重なり合う領域のある写真を、ＣＧ用ソフトウエアなどによりシームレスにつなぎ、それらを球形パノラマ画像に結合する。パノラマ画像は、カメラで撮影した写真だけではなく、ＣＧ技術で生成した画像を使って作成したパノラマ画像も含む。三次元の要素を表現しているパノラマ画像が二次元のコンピュータの表示部（スクリーンなど）で表示される際に、表示する展示角度（観察角度）により、パノラマ画像の一部分だけが表示される。

【0028】

本実施形態の３Ｄモデルとは、対象物である建物などの空間内の要素を比例的に再現したものである。建物の空間内の要素とは、対象となる建物の全体構造、内部構造、全体空間、壁などで全体空間から区画された各子空間、各子空間と全体空間との関係、空間の奥行き、寸法、空間の内部に内蔵しているオブジェクトなど、目で確認できる物理的な存在である。３Ｄモデルは、コンピュータグラフィックス（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ、略称：ＣＧ）で通常の３Ｄ技術用の座標系を配置して構成される。３Ｄモデルは、コンピュータで読み取って、表示できるデータである。３Ｄモデルとして、ＯＢＪファイルデータやＭＴＬファイルデータなど、数多くのポリゴンで構成されているデータを例として挙げられる。ＯＢＪファイルデータとは、３Ｄモデルフォーマットの１つであり、頂点、法線などの情報が格納されている「．ｏｂｊ」ファイルと、モデル色やテクスチャ情報を格納している「．ｍｔｌ」ファイルとで構成されている。「．ｍｔｌ」ファイルがなくても、「．ｏｂｊ」ファイルさえあれば３Ｄモデルの形状を描画することは可能である。

【0029】

ポリゴンとは、ＣＧ技術において、三角形や四角形等の多角形の組み合わせにより物体を再現する際に用いられる要素のことである。ポリゴンの数を減らすことで、データ量が小さくなり、解像度が低くなる。

【0030】

対象物となる建物がマンションのように各部屋を有している場合には、その３Ｄモデルとしては、各部屋と、各部屋で構成された住戸ごとの全体構造と、を表現してもよい。図３に示しているのは、二階建ての戸建て住宅の３Ｄモデルである。図３の３Ｄモデルでは、外壁と天井がないため、外壁と天井が透明であるように表示することで、壁で区画された各部屋、各部屋で構成された住宅の全体構造、内部にある家具、家電などすべての存在を確認することができる。

【0031】

画像表示装置２ａ、２ｂは、ユーザ用の端末として、通信ネットワーク１００を介してサーバ１と通信可能であり、画像を表示できるコンピュータである。画像表示装置２ａ、２ｂは、例えばスマートフォンやタブレットなどの携帯端末、或いはパーソナルコンピュータである。

【0032】

画像表示装置２ａは、表示制御部２１ａと、表示部２２ａと、操作検出部２３ａと、音声入力部２４ａと、音声出力部２５ａを含む。画像表示装置２ｂは、表示制御部２１ｂと、表示部２２ｂと、操作検出部２３ｂと、音声入力部２４ｂと、音声出力部２５ｂを含む。表示制御部２１ａ、２１ｂは、ＣＰＵなどのプロセッサと、ＲＡＭ，ＲＯＭなどのメモリとを含む。表示制御部２１ａ、２１ｂは、トリガー信号により、コンテンツ記憶部１２から送信してきた画像コンテンツを読み取り、表示用のデータを合成し、表示すべき画像を表示部２２ａ、２２ｂに表示させる。

【0033】

表示部２２ａ、２２ｂは、スクリーンのような２次元の表示画面であり、２次元画像と３次元のパノラマ画像とを含む画像を表示することができる。また、表示部はタッチパネルなどの入力手段であってもよい。

【0034】

操作検出部２３ａ、２３ｂは、タッチパネル、キーボード、マウス、マイクなどの入力手段からの入力を受け取る手段である。操作検出部２３ａ、２３ｂがトリガー操作を受けると、トリガー操作を受けたことを示すトリガー信号を情報処理部１１に送信し、情報処理部１１がトリガー信号に基づいて、表示用の画像コンテンツを判断し、判断結果により表示すべき画像コンテンツをサーバ１のコンテンツ記憶部１２に要求する。

【0035】

トリガー操作は、クリックに限らず、マウスやタッチパネルなどによるタップ、スライド、ドラッグ（ｄｒａｇ－ａｎｄ－ｄｒｏｐ）、予め設定された認識可能なジェスチャー操作、音声操作などの入力でもよい。

【0036】

操作検出部２３ａ、２３ｂは、トリガー操作された位置やアイコンなどにより、トリガー操作の意味を読み取り、その位置情報、観察角度情報、画像データ情報などをトリガー信号に含ませる。

【0037】

画像データ情報とは、２次元画像、パノラマ画像、平面図などの画像の情報である。位置情報は、３Ｄモデル自身の座標系により３Ｄモデル内の各位置を示す情報である。３Ｄモデル内の各位置は、物理的な建物の空間内の各位置と対応している。観察角度は、ユーザが対象物を観察する際の角度（表示部で表示する角度）である。上記観察角度の０度を示す方向と上記３Ｄモデル自身の座標系の原点とは、３Ｄモデルを構築する際に事前に決められている。

【0038】

音声入力部２４ａ、２４ｂは、例えばマイクであり、音声入力に用いられる。音声出力部２５ａ、２５ｂは、例えばイヤホンやスピーカーであり、音声出力に用いられる。音声入力部２４が音声出力部２５と連動することで、複数の画像表示装置の間に、画像を確認しながら電話のように即時的の会話機能が発揮される。

【0039】

表示制御部２１ａ、２１ｂによって実行される処理の一部又は全部は、サーバ１によって実行されてもよい。
［画像表示方法］

【0040】

以下、本実施形態の画像表示方法について、マンションや戸建て住宅などの建物の内部空間を例に詳細に説明する。

【0041】

図２は、一つの画像表示装置２ａがサーバ１にアクセスしている際の処理を示すフローチャートである。

【0042】

表示の開始時に、画像表示装置２ａは、サーバ１にアクセスする。サーバ１は、画像表示装置２ａに識別用のユーザＩＤなどの設定情報を付与する。そして、サーバ１から画像表示装置２ａに３ＤモデルのＯＢＪファイルデータを送信する。３ＤモデルのＯＢＪファイルデータが画像表示装置２ａにダウンロードされる（ステップＳ０）。画像表示装置２ａの表示部２２ａは３Ｄモデルを表示し、初期表示状態となる（ステップＳ１）。操作検出部２３ａが表示部２２ａへのトリガー操作を検出すると、トリガー信号を情報処理部１１に送信する（ステップＳ２）。情報処理部１１が、トリガー信号に含んでいる画像データ情報、位置情報、観察角度情報などに基づいて表示画面に表示するための画像コンテンツを判断して、コンテンツ記憶部１２に要求する（ステップＳ３）。コンテンツ記憶部１２は、情報処理部１１に要求された画像コンテンツを、画像表示装置２ａの表示制御部２１ａに送信する（ステップＳ４）。表示制御部２１ａは、画像コンテンツを読み取り、解析し、画像コンテンツに含まれている表示用の画像を３Ｄモデルと合成させ、表示用の画像を表示部２２ａに表示させる（ステップＳ５）。

【0043】

ステップＳ０のダウンロード処理は一回だけで完了してもよい。画像表示装置２ａは、画像の切り替え表示などを行うたびに、ステップＳ１からＳ５までの処理を繰り返し実行してもよい。

【0044】

次は、図９を参考して、複数の画像表示装置（二つの画像表示装置２ａと２ｂとを例とする）がサーバ１にアクセスする際の処理を説明する。

【0045】

ＩＭ技術（Ｉｎｓｔａｎｔ Ｍｅｓｓｅｎｇｅｒ）により、一つの画像表示装置２ａがすでにサーバ１と接続して物件の画像を観覧している状態では、他の画像表示装置２ｂを招請し、画像表示装置２ｂと連携できる。画像表示装置２ａが画像表示装置２ｂと連携した場合、画像表示装置２ａと画像表示装置２ｂとは同じ物件を観覧できるようになる。また、当該画像表示装置２ａは、他の画像表示装置２ｂから同じ物件を観覧しようとする招請を受け入れ、連携することもできる。画像表示装置２ａは、画像表示装置２ｂからの招請を受信すると、画像表示装置２ｂと連携するか否かを選択できる。

【0046】

画像表示装置２ａが、画像表示装置２ｂとの連携を許可すると、サーバ１は、画像表示装置２ｂに識別用のユーザＩＤを付与し、サーバ１から画像表示装置２ｂに３Ｄモデルを送信する。３Ｄモデルは、画像表示装置２ｂに保存される。また、サーバ１では、画像表示装置２ａと２ｂが連携しているグループとして設定される（ステップＳ１０）。

【0047】

画像表示装置２ｂが画像表示装置２ａと連携されると、サーバ１は、画像表示装置２ａと連携してきた画像表示装置２ｂに、画像表示装置２ａに直前に送信した画像コンテンツを送信する。そして、画像表示装置２ｂは、図２に示している処理を実行する。それにより、連携された画像表示装置２ａと２ｂは同じ画像を表示するようになる（ステップＳ１１）。この状態では、操作検出部２３ａ，２３ｂのいずれかが表示部２２へのトリガー操作を検出すると、トリガー信号を情報処理部１１に送信する（ステップＳ１２）。情報処理部１１が、トリガー信号を受信すると、当該トリガー信号の送信元である画像表示装置２ａのユーザＩＤを識別し、トリガー信号に含んでいる画像データ情報、位置情報、観察角度情報などに基づいて、表示するための画像コンテンツを判断して、当該画像コンテンツをコンテンツ記憶部１２に要求する（ステップＳ１３）。また、情報処理部１１が、時間的に前後して、異なる画像表示装置からトリガー信号を受信すると、前のトリガー信号を受信してから、所定時間内に同じグループにある他のユーザＩＤからのトリガー信号を拒否する（ステップＳ１４）。

【0048】

コンテンツ記憶部１２は、画像コンテンツを、グループのすべての画像表示装置２ａ、２ｂの表示制御部２１ａ、２１ｂに送信する（ステップＳ１５）。上記画像コンテンツを受信した各表示制御部２１ａ、２１ｂは、画像コンテンツを分析し、表示すべき画像を３Ｄモデルに合成し、３Ｄモデルと合成している画像を各表示部２２ａ、２２ｂに表示させる（ステップＳ１６）。

【0049】

ステップ１４において、所定時間内で他の画像表示装置からのトリガー信号を拒否した場合には、拒否された画像表示装置に拒否メッセッージを送信してもよい。

【0050】

ステップＳ１０のダウンロード処理は一回だけで完了してもよい。各画像表示装置２ａ、２ｂは、画像の切り替え表示などを行うたびに、ステップＳ１１からＳ１６までの処理を繰り返し実行してもよい。

【0051】

本実施形態において、初期表示状態における表示画像は限定されない。表示部２２ａ、２２ｂが初期表示状態である場合、表示される画像は、対象空間に関する画像であってよい。例えば、物件内の写真などのパノラマ画像の一部、間取り図、３Ｄモデルなどでもよい。

【0052】

次に、連携された複数の画像表示装置２ａ、２ｂにおいて、３Ｄモデルの表示から平面図に切り替え表示することを例として、表示方法を説明する。平面図とは、対象物の構造、配置などを表現するために、対象物の上面からの投影図又は水平断面図であり、物件の場合には、間取図ともいう。

【0053】

連携が許可された場合、サーバは、後にアクセスしてきた画像表示装置２ｂに、先にアクセスしていた画像表示装置２ａに直前に送信した画像コンテンツを送信するので、連携された複数の画像表示装置は、常に同じ表示状態である。

【0054】

図３は、対象物の３Ｄモデルを表示している。画像表示装置２ａ、２ｂは、それぞれサーバにアクセスして、３Ｄモデルをダウンロード済みである（ステップＳ１０）。図３に示すように、連携された複数の画像表示装置２ａ、２ｂは同じ初期表示状態であり、所定の第１観察角度（例えば南方面）から３Ｄモデルを表示している。また、各表示部２２ａ、２２ｂの一部には、平面図などのアイコンＡ２が設置されている（ステップＳ１１）。例えば、画像表示装置２ａにおいて、平面図のアイコンＡ２をクリックすると、画像表示装置２ａの操作検出部２３ａが平面図のアイコンＡ２へのトリガー操作を検出したトリガー信号を情報処理部１１に送信する（ステップＳ１２）。情報処理部１１は、トリガー信号に基づいて、表示すべき画像は平面図であると判定し、平面図をコンテンツ記憶部１２に要求する（ステップＳ１３）。また、情報処理部１１は、トリガー信号を受信すると、当該トリガー信号の送信元である画像表示装置２ａのユーザＩＤを識別する。情報処理部１１は、所定時間内に同じグループにある他のユーザＩＤからのトリガー信号を受信すると、そのトリガー信号を拒否し、該当する他の画像表示装置に拒否メッセージを送信する（ステップＳ１４）。コンテンツ記憶部１２は、平面図を含んでいる画像コンテンツを各画像表示装置２ａ、２ｂの表示制御部２１ａ、２１ｂにそれぞれ送信する（ステップＳ１５）。画像表示装置２ａ、２ｂの各表示制御部２１ａ、２１ｂは、それぞれ画像コンテンツに含まれている平面図を３Ｄモデルに合成させる。これにより、平面図と３Ｄモデルとの合成３Ｄモデル画像が生成される。各表示制御部２１ａ、２１ｂは、それぞれ各表示部２２ａ、２２ｂに３Ｄモデルと合成している平面図を表示させる（ステップＳ１６）。そして、各表示部２２ａ、２２ｂは、図３の３Ｄモデルの表示から図８のような平面図の表示に切り替える。

【0055】

図３と図４の３Ｄモデルと、図５～図７のパノラマ画像と、図８の平面図とは、複数の観察点Ｐを含む。観察点とは、対象物の内部において、観覧するポイントとして事前に選択した場所であり、各観察点は、各観察点の位置を表現する位置情報を有する。各観察点は、位置情報により各観察点からのパノラマ画像と、３Ｄモデルや平面図における対応位置と関連付けられている。観察点と関連付けられているパノラマ画像は、当該観察点に立って観覧できる対象物内の画像である。当該パノラマ画像により、前後左右の３６０度と上下１８０度の範囲内の状況を確認できる。各パノラマ画像は、対応する観察点の位置情報を有する。各観察点へのトリガー操作が検出されると、３Ｄモデルの中に入るように、３Ｄモデルからパノラマ画像に切り替えられる。そして、各表示部２２ａ、２２ｂは、各観察点で対象物の空間内の様子を見ているかのように、当観察点でのパノラマ画像を表示する。

【0056】

次に、連携されているすべての画像表示装置２ａ、２ｂにおいて、３Ｄモデルから観察点のパノラマ画像に切り替え表示することについて説明する。

【0057】

画像表示装置２ａ、２ｂは、３Ｄモデルをダウンロード済みであり（ステップＳ１０）、図４に示すように、３Ｄモデルを表示している。図４に表示されている３Ｄモデルには、複数の観察点が設置されており、３Ｄモデルへのトリガー操作が可能である（ステップＳ１１）。画像表示装置２ａ、２ｂのうち、いずれかの操作検出部が、自らの表示部に表示されている３Ｄモデルへのトリガー操作を検出すると、トリガー信号を情報処理部１１に送信する（ステップＳ１２）。例えば、画像表示装置２ａの表示部２２ａにおいて、図４に示す３Ｄモデルの観察点Ｐ１（第一観察点）がクリックされると、操作検出部２３ａは、観察点Ｐ１の位置情報と、現在表示している３Ｄモデルの観察角度（以下、「第２観察角度」と呼ぶ）を示す観察角度情報（後述）とを含んでいるトリガー信号を情報処理部１１に送信する（ステップＳ１２）。情報処理部１１は、トリガー信号に含んでいる観察点Ｐ１の位置情報に基づいて、表示すべき画像が観察点Ｐ１のパノラマ画像であることを判断し、観察点Ｐ１の位置情報を有するパノラマ画像をコンテンツ記憶部１２に要求する（ステップＳ１３）。また、情報処理部１１が、トリガー信号を受信すると、当該トリガー信号の送信元である画像表示装置２ａのユーザＩＤを識別し、所定時間内に同じグループにある他のユーザＩＤからのトリガー信号を拒否する（ステップＳ１４）。コンテンツ記憶部１２は、観察点Ｐ１のパノラマ画像を含んでいる画像コンテンツを、連携されているすべての表示制御部２１ａ，２１ｂに送信する（ステップＳ１５）。すべての画像表示装置２ａ、２ｂの各表示制御部２１ａ，２１ｂは、送信された上記画像コンテンツを読み取り、観察点Ｐ１の位置情報に基づき、観察点Ｐ１のパノラマ画像を３Ｄモデルと観察点Ｐ１で合成させる。これにより、観察点Ｐ１の合成３Ｄモデル画像を生成する。各表示制御部２１ａ，２１ｂは、トリガー信号により、上記第２観察角度で各表示部２２ａ，２２ｂに３Ｄモデルと合成している観察点Ｐ１のパノラマ画像をそれぞれ表示させる（ステップＳ１６）。そして、連携された画像表示装置２ａ、２ｂの全てが、図４の３Ｄモデルの表示状態から、観察点Ｐ１のパノラマ画像に切り替えする（図５）。

【0058】

上記観察点Ｐ１がクリックされると、操作検出部２３ａは、観察点Ｐ１の位置情報を読み取ってトリガー信号に含ませる。なお、予め設置された観察点以外の位置へのトリガー操作を検出した際には、操作検出部２３ａは、当該トリガー操作された位置に最も近い観察点を判断して、その最も近い観察点（以下、「最接近観察点」）の位置情報を読み取ってトリガー信号に含ませる。

【0059】

本実施形態では、切り替え表示前の３Ｄモデルの表示角度（図４の３Ｄモデルの第２観察角度）を操作検出部２３ａが観察角度情報として読み取ってトリガー信号に含ませる。そして、表示制御部２１ａ、２１ｂは、３Ｄモデルと観察点Ｐ１で合成している観察点Ｐ１のパノラマ画像を第２観察角度で表示させる。従って、表示している画像の観察角度は、３Ｄモデルとパノラマ画像との切り替え表示前後で同じである。

【0060】

次に、連携されているすべての画像表示装置２ａ、２ｂにおいて、異なる観察点のパノラマ画像に切り替え表示することについて説明する。

【0061】

図５に示すように、各画像表示装置２ａ、２ｂは、第２観察角度で観察点Ｐ１のパノラマ画像をそれぞれ表示している。観察点Ｐ１（第一観察点）のパノラマ画像には、複数の別観察点（Ｐ２、Ｐ３、Ｐ４、Ｐ５、……）も表示される（ステップ１１）。

【0062】

図５の状態で、例えば画像表示装置２ｂにおいて、観察点Ｐ２（第二観察点）へのトリガー操作を検出すると、操作検出部２３ｂは、観察点Ｐ２の位置情報と、現在表示している画面の第２観察角度とを含んでいるトリガー信号を情報処理部１１に送信する（ステップＳ１２）。情報処理部１１は、観察点Ｐ２の位置情報を有するパノラマ画像をコンテンツ記憶部１２に要求する（ステップＳ１３）。情報処理部１１が、トリガー信号を受信すると、当該トリガー信号の送信元である画像表示装置２ｂのユーザＩＤを識別し、所定時間内に同じグループにある他のユーザＩＤからのトリガー信号を拒否する（ステップＳ１４）。コンテンツ記憶部１２は、観察点Ｐ２のパノラマ画像を含んでいる画像コンテンツを、すべての表示制御部２１ａ、２１ｂに送信する（ステップＳ１５）。すべての画像表示装置２ａ、２ｂの各表示制御部２１ａ、２１ｂは、送信してきた上記画像コンテンツを読み取り、観察点Ｐ２の位置情報に基づき、観察点Ｐ２のパノラマ画像を３Ｄモデルと観察点Ｐ２で合成させる。これにより、各画像表示装置２ａと２ｂで、それぞれ観察点Ｐ２の合成３Ｄモデル画像が生成される。表示制御部２１ａ、２１ｂは、図６に示すように、トリガー信号により、３Ｄモデルに合成された観察点Ｐ２のパノラマ画像を、上記第２観察角度で、各表示部２２ａ、２２ｂのそれぞれに表示させる（ステップＳ１６）。それにより、全ての画像表示装置２ａ、２ｂにおいて、観察点Ｐ１のパノラマ画像から観察点Ｐ２のパノラマ画像に切り替えられる。切り替え表示前後の観察角度が同じであるため、それぞれのユーザに第一観察点Ｐ１から第二観察点Ｐ２へ直行した感覚を与えることができる。それにより、当該空間内で移動している感覚をユーザに与えることができ、ユーザの臨場感を高めることができる。

【0063】

図５に示すように、表示されている画像の任意の箇所Ｐ０（予め設定した観察点以外の箇所）をクリックしてトリガー操作を行うと、ステップＳ２においては、表示制御部２１ｂは、このトリガー操作が発生した箇所Ｐ０に最も近い第二観察点Ｐ２の位置情報を取得し、トリガー信号に含ませる。

【0064】

図５および図６に示すように、表示画像の一部分に、当該建物の平面図の簡略図Ｋが表示されている。簡略図は、模擬移動表示Ｃを有する。模擬移動表示Ｃは、現在表示されているパノラマ画像の観察点の建物内での位置と観察角度とを示している。すなわち、模擬移動表示Ｃは、建物におけるユーザの位置と観察の方向とを示している。例えば、表示画像が図５から図６に切り替えられた場合、模擬移動表示Ｃは、観察点Ｐ１からＰ２まで移動する。

【0065】

図６のパノラマ画像が表示されているときに、平面図のアイコンＡ２や簡略図Ｋへの操作により、平面図への切り替え表示を要求するトリガー信号を操作検出部２３ｂが検出すると、図６に示すパノラマ画像から、図８に示す平面図に切り替え表示する。平面図にも、パノラマ画像とそれぞれ関連付けられた複数の観察点が設けられている。従って、平面図において任意箇所をクリックすることで、平面図からパノラマ画像への切り替え表示が可能である。

【0066】

次に、連携されている全ての画像表示装置２ａ，２ｂにおいて、同じ観察点のパノラマ画像の観察角度が変更される場合について説明する。

【0067】

図６と図７とは、同じ観察点Ｐ２のパノラマ画像であるが、観察角度が異なる。図６の表示画像をドラッグすることで、表示する観察角度を任意に変更することができる。従って、図６の表示画像から図７の表示画像に切り換えることが可能である。また、図７の表示画像をドラッグすることで、図７の表示画像から図６の表示画像に切り換えることも可能である。同じ観察点Ｐ２のパノラマ画像であるが、観察角度が変わることで、そのパノラマ画像の異なる部分が表示される。

【0068】

例えば、図６に示すように、各表示部２２ａ、２２ｂの初期表示状態が、第２観察角度で観察点Ｐ２のパノラマ画像の表示であるものとする（ステップＳ１１）。操作検出部２３ａが表示部２２ａへのトリガー操作としてのドラッグ操作を検出すると、操作検出部２３ａは、ドラッグ操作を分析して第１観察角度が要求されているかを判定する。操作検出部２３ａは、第１観察角度が要求されていることを判断すると、観察点Ｐ２のパノラマ画像に対して第１観察角度に変更する情報を含んでいるトリガー信号を情報処理部１１に送信する（ステップＳ１２）。情報処理部１１が、このトリガー信号に基づいて観察点Ｐ２のパノラマ画像をコンテンツ記憶部１２に要求する（ステップＳ１３）。情報処理部１１が、トリガー信号を受信すると、当該トリガー信号の送信元である画像表示装置２ａのユーザＩＤを識別し、所定時間内に同じグループにある他のユーザＩＤからのトリガー信号を拒否する（ステップＳ１４）。コンテンツ記憶部１２は、観察点Ｐ２のパノラマ画像と第１観察角度を含んでいる画像コンテンツを各表示制御部２１ａ，２１ｂに送信する（ステップＳ１５）。すべての画像表示装置２ａ、２ｂの各表示制御部２１ａ、２１ｂは、送信してきた上記画像コンテンツを読み取り、観察点Ｐ２の位置情報に基づき、観察点Ｐ２のパノラマ画像を３Ｄモデルと観察点Ｐ２で合成させる。そして、各画像表示装置２ａ、２ｂで、観察点Ｐ２の合成３Ｄモデル画像を生成する。各表示制御部２１ａ、２１ｂは、トリガー信号により、３Ｄモデルに合成している観察点Ｐ２のパノラマ画像を上記第１観察角度でそれぞれ各表示部２２ａ、２２ｂに表示させる（ステップＳ１６）。そして、グループ内の画像表示装置２ａ、２ｂは、同じ観察点のパノラマ画像に対して、第２観察角度での表示（図６）から第１観察角度での表示（図７）に変更する。

【0069】

なお、送信するデータ量を抑えるために、ある観察点（例えばＰ２）のパノラマ画像を表示する際に、位置情報が変わらない場合には、変更する観察角度の情報だけを含んでいるトリガー信号を情報処理部１１に送信することも可能である。そして、各表示制御部２１は、サーバから送信してきたデータにより、変更された観察角度でパノラマ画像を表示させる。

【0070】

連携されている画像表示装置２ａ、２ｂのうち、いずれかの画像表示装置２ａが他の画像表示装置２ｂに通話しようとする場合の処理について説明する。

【0071】

ＩＭ技術により、画像を観覧しながら、通話することが可能である。本実施形態では、画像の観覧中に、画像表示装置２ａが通話アイコンなどにより他の画像表示装置２ｂに通話申請してもよい。他の画像表示装置２ｂが通話申請を受け入れた場合には、音声入力部２４ａ、２４ｂと音声出力部２５ａ、２５ｂとを起動させ、画像表示装置２ａと２ｂは通話できるようになる。

【0072】

本実施形態では、３Ｄモデルは、ユーザの操作によって回転可能である。例えば、画像表示装置２ａにおいて、図５～図８に示している３ＤアイコンＡ１へのトリガー操作を検出すると、操作検出部２３aは、３Ｄモデルを表示する指示として読み取り、トリガー信号に含ませて、トリガー信号をサーバ1に送信する。サーバ1は当該トリガー信号を各画像表示装置２ａ，２ｂの表示制御部２１ａ、２１ｂに送信する。各表示制御部２１ａ、２１ｂは、それぞれ保存している３Ｄモデルを表示部２２ａ、２２ｂに表示させる。３Ｄモデルの表示中に、表示画面の３Ｄモデル以外の所をドラッグしてポインターを移動させると、３Ｄモデルが回転して、各観察角度で３Ｄモデルが表示される。それにより、図４に示すように、図３とは異なる第２観察角度で３Ｄモデルが表示される。

【0073】

なお、本実施形態において、画像と３Ｄモデルとを合成させるとは、３Ｄモデルと、３Ｄモデルの各部分に対応する画像とを、各画像の３Ｄモデルにおける位置に対応させて関連付けることである。この合成作業は、ＷｅｂＧＬなどの従来技術を利用することが可能である。３Ｄモデルと合成された画像は、スクリーンなどの二次元の表示部２２に表示される場合、見た目では二次元画像であるが、対象物における画像の位置を３Ｄモデルで把握できるため、対象物の奥行きや寸法や立体感を表現しやすくなる。

【0074】

次に、本実施形態における画像データの生成方法について説明する。

【0075】

まず、ＣＧ技術で、対象物としての建物の構造を再現した３Ｄモデルを作成する。３Ｄモデルは主にＯＢＪファイルである。そして、現実感を高めるために、３Ｄモデルをレンダリングする。レンダリングにより、建物内の物体の実際の色、模様、質感などを３Ｄモデル上に再現する。そして、レンダリング後の３Ｄモデルを保存する。レンダリング後の３Ｄモデルは、解像度が高いため、３Ｄモデル全体のデータ量が大きい。

【0076】

レンダリング後の３Ｄモデルから、複数の観察点でのパノラマ画像をピックアップして、各観察点のパノラマ画像として保存する。保存されたパノラマ画像は、自らの観察点の位置情報を有する。レンダリング後の３Ｄモデルに対して、ポリゴンの数を削減することで、レンダリング後の３Ｄモデルを圧縮する。圧縮されたレンダリング後の３Ｄモデルをサーバ１のコンテンツ記憶部１２に保存する。

【0077】

そして、ピックアップされた各観察点のパノラマ画像を、各観察点の位置情報により圧縮後の３Ｄモデルにある各観察点にそれぞれ関連付けさせる。また、各パノラマ画像にも、それぞれ他の観察点を一つ以上設置し、各観察点にパノラマ画像を関連付けさせる。

【0078】

このように生成した圧縮されたレンダリング後の３Ｄモデルは、上述した図３および図４の３Ｄモデルとして、画像表示装置２ａ，２ｂに表示される。圧縮後の３Ｄモデルは、その解像度がレンダリング後の３Ｄモデルより低い。圧縮後の３Ｄモデルの解像度は、レンダリング後の３Ｄモデルからピックアップした各パノラマ画像よりも低い。それにより、圧縮後の３Ｄモデルによる通信データ量が著しく減少し、携帯電話などの通信端末においても、時間の遅延が発生しない。パノラマ画像は、解像度の高い圧縮前のレンダリング後の３Ｄモデルからピックアップされる。そのため、ユーザに解像度の高いパノラマ画像の表示を確保できる。また、上記画像表示装置がサーバにアクセスしてダウンロードしてきたのは圧縮されたレンダリング後の３Ｄモデルである。

【0079】

なお、上記の実施形態では、レンダリング後の３Ｄモデルから解像度の高いパノラマ画像をピックアップしているが、ピックアップするステップを省略して、カメラで撮影して作成したパノラマ写真などを圧縮後の３Ｄモデルの各観察点に関連付けることも可能である。そして、３Ｄモデルを作成した後に、すぐ圧縮し、事前に用意したパノラマ画像を圧縮後の３Ｄモデルの各観察点に関連付けてもよい。レンダリング後の３Ｄモデルから解像度の高いパノラマ画像をピックアップする作業は、従来ＣＧ技術でパノラマ画像を生成することである。

【0080】

上記実施形態では、建物の空間を対象空間として、主に戸建て住宅を例として説明したが、対象空間はこれに限定されない。オフィスタワー、博物館、百貨店の販売空間、自動車の車内空間、工場、天然洞窟、公園などの人工や自然に形成された空間など、３Ｄモデルで再現できる空間であればよい。

【0081】

上記の実施形態では、ユーザの臨場感を高めるために、表示部に表示している画像の観察角度が３Ｄモデルとパノラマ画像との切り替え表示前後で同じとして説明しているが、切り替え後の観察角度は、任意に設定されてもよい。

【0082】

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またそのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0083】

１ サーバ
２ 画像表示装置
１１ 情報処理部
１２ コンテンツ記憶部
２１ 表示制御部
２２ 表示部
２３ 操作検出部
２４ 音声入力部
２５ 音声出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】