特許 7387545 情報設定制御装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-17

(45)【発行日】2023-11-28

(54)【発明の名称】情報設定制御装置、方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231120BHJP

   G09G 5/00 20060101ALI20231120BHJP

   G09G 5/377 20060101ALI20231120BHJP

   G09G 5/14 20060101ALI20231120BHJP

   H04N 7/18 20060101ALI20231120BHJP

【ＦＩ】

G06T19/00 A

G09G5/00 530M

G09G5/377

G09G5/00 510H

G09G5/00 555G

G09G5/14 A

H04N7/18 U

【請求項の数】 7

(21)【出願番号】P 2020114294

(22)【出願日】2020-07-01

(65)【公開番号】P2022012458

(43)【公開日】2022-01-17

【審査請求日】2023-02-08

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(73)【特許権者】

【識別番号】520240638

【氏名又は名称】スリーアイ インコーポレイティド

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(72)【発明者】

【氏名】キム ケン

【審査官】片岡 利延

(56)【参考文献】

【文献】特許第５２９５４１６（ＪＰ，Ｂ１）

【文献】国際公開第２０１３／１７１８５７（ＷＯ，Ａ１）

【文献】特開２０１０－１１８０１９（ＪＰ，Ａ）

【文献】特開２０１２－２４４５０９（ＪＰ，Ａ）

【文献】特開２０１５－１３８４２８（ＪＰ，Ａ）

【文献】特開２０１９－１７５３８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／１４

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

三次元空間を撮影して得られた画像データが表示されている状態で、前記画像データの中に、付加情報の設定対象を指定するための第１のガイド情報を表示させる第１の表示制御部と、
ユーザの操作に応じて、前記付加情報の表示位置を指定する第２のガイド情報を前記画像データの中に表示させる第２の表示制御部と、
前記第１のガイド情報により指定される前記設定対象と前記第２のガイド情報により指定される前記表示位置とを関連付ける第３のガイド情報を、前記画像データの中に表示させる第３の表示制御部と、
前記ユーザにより入力された前記付加情報を、前記表示位置を表す情報に対応付けて記憶媒体に記憶させる付加情報取得部と
を具備し、
前記第１のガイド情報および前記第２のガイド情報は、それぞれ、前記画像データの中の基準位置に表示される基準パターンと、前記基準パターンから伸縮操作可能に引き出されて前記付加情報の前記設定対象および前記表示位置に至る線状パターンとからなる、
情報設定制御装置。

【請求項2】

前記第３のガイド情報は、前記付加情報の前記表示位置に表示される目印パターンと、前記付加情報の前記設定対象と前記目印パターンとの間を接続する引出線パターンとからなる、請求項１に記載の情報設定制御装置。

【請求項3】

前記第１の表示制御部および前記第２の表示制御部は、それぞれ、前記付加情報の記憶処理終了後、前記第１のガイド情報および前記第２のガイド情報の表示を消去する、請求項１に記載の情報設定制御装置。

【請求項4】

前記付加情報取得部は、前記付加情報を入力するための入力テンプレートを表示させ、前記入力テンプレートに従って入力された前記付加情報を取得する、請求項１に記載の情報設定制御装置。

【請求項5】

前記第３のガイド情報を含む前記画像データが表示されている状態で、前記目印パターンを指示する操作が行われた場合に、当該目印パターンにより表される前記表示位置に対応付けて記憶されている前記付加情報を前記記憶媒体から読み出し、読み出された前記付加情報を前記画像データの中の前記表示位置に表示させる第４の表示制御部を、さらに具備する請求項２に記載の情報設定制御装置。

【請求項6】

情報処理装置が実行する情報設定制御方法であって、
撮影対象となる三次元空間を撮影して得られた画像データが表示されている状態で、前記画像データの中に、付加情報の設定対象を指定するための第１のガイド情報を表示させる過程と、
ユーザの操作に応じて、前記付加情報の表示位置を指定する第２のガイド情報を前記画像データの中に表示させる過程と、
前記第１のガイド情報により指定される前記設定対象と前記第２のガイド情報により指定される前記表示位置とを関連付ける第３のガイド情報を、前記画像データの中に表示させる過程と、
前記ユーザにより入力された前記付加情報を取得し、取得された前記付加情報を前記第２のガイド情報により指定される前記表示位置を表す情報に対応付けて記憶媒体に記憶させる過程と
を具備し、
前記第１のガイド情報および前記第２のガイド情報は、それぞれ、前記画像データの中の基準位置に表示される基準パターンと、前記基準パターンから伸縮操作可能に引き出されて前記付加情報の前記設定対象および前記表示位置に至る線状パターンとからなる、
情報設定制御方法。

【請求項7】

請求項１乃至５のいずれかに記載の情報設定制御装置が具備する前記各部の処理を、前記情報設定制御装置が備えるプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の実施形態は、例えば画像情報に付加情報を設定する際に用いる情報設定制御装置、方法およびプログラムに関する。

【背景技術】

【0002】

近年、事業所やオフィス、住居等の施設を撮影された画像を用いて管理する技術が提案されている。例えば、特許文献１には、建物内の三次元空間を異なる複数の位置でそれぞれ全方位（３６０°）を撮影してその撮影画像を記憶媒体に記録し、記録された各全方位画像を接続することにより上記施設内を示す三次元（３Ｄ）画像を生成する技術が記載されている。この技術を用いると、例えば施設の管理者または利用者は、現場に出向かなくても施設の状態を３Ｄ画像により遠隔的に把握することが可能となる。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開２０１８／００７５６５２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、従来提案されているシステムは、一般に、生成された３Ｄ画像をそのまま表示するものとなっている。このため、利用者は施設の状態を３Ｄ画像のみを頼りに確認することになり、例えば施設を構成する設備や設置物の属性までは確認することができない。

【0005】

この発明は上記事情に着目してなされたもので、撮影された画像を見ながら対象物の属性まで確認できるようにする技術を提供しようとするものである。

【課題を解決するための手段】

【0006】

上記課題を解決するためにこの発明に係る情報設定制御装置または情報設定制御方法の第１の態様は、撮影対象となる三次元空間を撮影して得られた画像データが表示されている状態で、前記画像データ中に、付加情報の設定対象を指定するための第１のガイド情報を表示させ、ユーザの操作に応じて、前記付加情報の表示位置を指定する第２のガイド情報を前記画像データ中に表示させ、前記第１のガイド情報により指定される前記設定対象と前記第２のガイド情報により指定される前記表示位置とを関連付ける第３のガイド情報を前記画像データ中に表示させ、前記ユーザにより入力された前記付加情報を前記表示位置を表す情報に対応付けて記憶媒体に記憶させるようにし、さらに前記第１のガイド情報および前記第２のガイド情報を、それぞれ、前記画像データの中の基準位置に表示される基準パターンと、前記基準パターンから伸縮操作可能に引き出されて前記付加情報の前記設定対象および前記表示位置に至る線状パターンとにより構成したものである。

【0007】

第１の態様によれば、画像データ中において、付加情報の設定対象と当該付加情報の表示位置とを別々に指定することができる。このため、設定対象が隠れないように付加情報を表示することが可能となる。しかも、付加情報の設定対象と付加情報の表示位置とが第３のガイド情報により関連付けられるため、付加情報を設定対象と明確に関連付けた状態で表示することが可能となる。

【発明の効果】

【0008】

すなわちこの発明の一態様によれば、撮影された画像を見ながら対象物の属性まで明確に確認できるようにした技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、この発明の一実施形態に係る情報設定制御装置として動作するユーザ端末およびサーバ装置を含むシステムの概略構成図である。

【図2】図２は、図１に示したシステムにおけるユーザ端末のハードウェア構成の一例を示すブロック図である。

【図3】図３は、図１に示したシステムにおけるユーザ端末のソフトウェア構成の一例を示すブロック図である。

【図4】図４は、図１に示したシステムのサーバ装置のハードウェア構成の一例を示すブロック図である。

【図5】図５は、図１に示したシステムのサーバ装置のソフトウェア構成の一例を示すブロック図である。

【図6】図６は、図３に示したユーザ端末による付加情報設定制御の処理手順と処理内容の一例を示すフローチャートである。

【図7】図７は、図５に示したサーバ装置による付加情報の登録・出力制御の処理手順と処理内容の一例を示すフローチャートである。

【図8】図８は、図６に示した付加情報設定制御により表示される第１のガイド情報の一例を示す図である。

【図9】図９は、図６に示した付加情報設定制御により表示される第２のガイド情報および第３のガイド情報の一例を示す図である。

【図10】図１０は、付加情報の入力テンプレートの第１の例を示す図である。

【図11】図１１は、付加情報の入力テンプレートの第２の例を示す図である。

【図12】図１２は、第３のガイド情報が表示された画像データの表示例を示す図である。

【図13】図１３は、付加情報の表示結果の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照してこの発明に係わる実施形態を説明する。

【0011】

［一実施形態］
（構成例）
（１）システム
図１は、この発明の一実施形態に係る３Ｄ画像管理システムの概略構成図である。
このシステムは、ユーザ端末ＭＴ，ＵＴ１～ＵＴｎとサーバ装置ＳＶとを備えている。これらのサーバ装置ＳＶとユーザ端末ＭＴ，ＵＴ１～ＵＴｎとの間では、ネットワークＮＷを介してデータ通信が可能になっている。

【0012】

上記各ユーザ端末ＭＴ，ＵＴ１～ＵＴｎのうち、ユーザ端末ＭＴは主として全方位画像および付加情報の登録を行うために使用される。これに対しユーザ端末ＵＴ１～ＵＴｎは、登録された全方位画像をもとに生成される３Ｄ画像および付加情報を閲覧するために使用される。これらのユーザ端末のうちユーザ端末ＭＴは、サーバ装置ＳＶと共に、この発明の一実施形態に係る情報設定制御装置を構成する。

【0013】

上記各ユーザ端末ＭＴ，ＵＴ１～ＵＴｎは、この例ではいずれもスマートフォンやダブレット型端末等の携帯情報端末により構成される。なお、ユーザ端末ＵＴ１～ＵＴｎとしては、他にノート型のパーソナルコンピュータをやデスクトップ型のパーソナルコンピュータを用いてもよい。

【0014】

なお、ネットワークＮＷは、インターネットを含むＩＰ網と、このＩＰ網にアクセスするためのアクセス網とから構成される。アクセス網としては、例えば公衆有線網や携帯電話網、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等が用いられる。

【0015】

（２）装置
（２－１）ユーザ端末ＭＴ
図２および図３は、それぞれユーザ端末ＭＴのハードウェア構成およびソフトウェア構成を示すブロック図である。
ユーザ端末ＭＴは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する制御部１を備える。そして、この制御部１に対しバス６を介して記憶部２、通信インタフェース（通信Ｉ／Ｆ）３および入出力インタフェース（入出力Ｉ／Ｆ）４を接続したものとなっている。

【0016】

通信Ｉ／Ｆ３は、制御部１の制御の下、ネットワークＮＷを介して上記サーバ装置ＳＶとの間でデータの送受信を行うために無線インタフェースを有する。また通信Ｉ／Ｆ３は、カメラＣＭとの間で通信を行うためのカメラインタフェースを有する。カメラインタフェースは、例えばBluetooth（登録商標）等の小電力無線データ通信規格を採用している。なお、カメラＣＭと通信Ｉ／Ｆ３との間はＵＳＢケーブル等の信号ケーブルを介して接続することも可能である。

【0017】

カメラＣＭは、全方位を撮影可能なカメラであり、例えば高さ位置を一定に保持することが可能な三脚に固定されている。カメラＣＭは、撮影された全方位画像データをユーザ端末ＭＴへ送信する。なお、カメラＣＭはユーザ端末ＭＴに内蔵されたカメラにより代用することも可能である。

【0018】

なお、通信Ｉ／Ｆ３は、例えばＧＰＳ（Global Positioning System）信号や無線ＬＡＮのアクセスポイントから送信される信号を受信するインタフェースを備えていてもよい。このインタフェースを備えることで、ユーザ端末ＭＴは自端末の現在位置を検出することができる。

【0019】

入出力Ｉ／Ｆ４には、入力部５Ａおよび表示部５Ｂが接続されている。入力部５Ａおよび表示部５Ｂは、例えば液晶又は有機ＥＬ等のディスプレイデバイス上に感圧式または静電容量検出方式を採用した入力検知シートを配置したタブレット型のデバイスからなる。入出力Ｉ／Ｆ４は、入力部５Ａにより検知された操作情報を制御部１に通知すると共に、制御部１から出力される表示データを表示部５Ｂに表示させる。

【0020】

記憶部２は、例えば、主記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリを使用する。なお、記憶媒体は、上記ＳＳＤに加えて、あるいは代えて、ＨＤＤ（Hard Disk Drive）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を組み合わせたものを使用してもよい。

【0021】

記憶部２の記憶領域には、プログラム記憶領域およびデータ記憶領域が設けられている。プログラム記憶領域には、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る制御処理を実行するために必要なアプリケーション・プログラムが格納される。

【0022】

データ記憶領域には、この発明の一実施形態を実施する上で必要な記憶部として、表示画像記憶部２１と、入力テンプレート記憶部２２と、付加情報記憶部２３が設けられている。表示画像記憶部２１は、サーバ装置ＳＶからダウンロードされた３Ｄ表示画像データを記憶するために用いられる。入力テンプレート記憶部２２には、付加情報の入力操作を案内するための入力テンプレートが記憶されている。付加情報記憶部２３は、入力部５Ａにてユーザが入力した付加情報を記憶するために用いられる。

【0023】

制御部１は、この発明の一実施形態に係る制御処理機能として、表示画像受信部１１と、画像表示制御部１２と、指定操作受付部１３と、付加情報入力受付部１４と、付加情報送信部１５とを備えている。これらの処理部１１～１５は、何れも記憶部２内のプログラム記憶領域に格納されたアプリケーション・プログラムをハードウェアプロセッサに実行させることにより実現される。

【0024】

表示画像受信部１１は、ユーザの閲覧操作に応じてサーバ装置ＳＶにアクセスし、サーバ装置ＳＶからダウンロードされた３Ｄ表示画像データを通信Ｉ／Ｆ３を介して受信し、受信された３Ｄ表示画像データを表示画像記憶部２１に保存する処理を行う。

【0025】

画像表示制御部１２は、ユーザのアングルの選択操作に応じて上記表示画像記憶部２１から対応するアングルの３Ｄ表示画像データを読み出し、読み出された３Ｄ表示画像データを入出力Ｉ／Ｆ４へ出力して表示部５Ｂに表示させる処理を行う。

【0026】

指定操作受付部１３は、上記３Ｄ表示画像データが表示部５Ｂに表示されている状態で、ユーザが例えばマウス操作により、付加情報の設定対象を指定する操作、および付加情報の表示位置を指定する操作を行った場合に、それに応じて上記設定対象を指定する第１のガイド情報、上記表示位置を指定する第２のガイド情報、および上記設定対象と上記表示位置とを関連付ける第３のガイド情報を上記３Ｄ表示画像に合成して表示させる処理を行う。各ガイド情報の一例については後述する。

【0027】

付加情報入力受付部１４は、ユーザが付加情報の表示位置の決定操作を行った場合に、付加情報の入力テンプレートデータを入力テンプレート記憶部２２から読み出し、入出力Ｉ／Ｆ４を介して表示部５Ｂに表示させる。そして、表示された上記入力テンプレートデータに従いユーザが入力部５Ａにより入力した付加情報を入出力Ｉ／Ｆ４を介して取得し、取得された付加情報を、当該付加情報の設定対象および表示位置を示す各座標情報と紐づけて、付加情報記憶部２３に記憶させる処理を行う。

【0028】

付加情報送信部１５は、閲覧中の３Ｄ表示画像データに対する付加情報の設定処理が終了した場合に、上記付加情報記憶部２３から上記付加情報を、当該付加情報の設定対象および表示位置を示す各座標情報と共に読み出し、読み出された付加情報および各座標情報を付加情報登録要求に含めて通信Ｉ／Ｆ３からサーバ装置ＳＶへ送信する処理を行う。

【0029】

（２－２）サーバ装置ＳＶ
図４および図５は、それぞれサーバ装置ＳＶのハードウェア構成およびソフトウェア構成を示すブロック図である。
サーバ装置ＳＶは、クラウド上またはＷｅｂ上に設置されたサーバコンピュータからなり、ＣＰＵ等のハードウェアプロセッサを有する制御部７を備える。そして、この制御部７に対しバス１０を介して記憶部８および通信インタフェース（通信Ｉ／Ｆ）９を接続したものとなっている。

【0030】

通信Ｉ／Ｆ９は、制御部７の制御の下、ネットワークＮＷを介して上記ユーザ端末ＭＴ，ＵＴ１～ＵＴｎとの間でデータの送受信を行うもので、例えば有線ネットワーク用のインタフェースを用いる。

【0031】

記憶部８は、例えば、主記憶媒体としてＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリを使用する。なお、記憶媒体としては、ＲＯＭおよびＲＡＭを組み合わせて使用してもよい。

【0032】

記憶部８の記憶領域には、プログラム記憶領域およびデータ記憶領域が設けられている。プログラム記憶領域には、ＯＳ等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムが格納される。

【0033】

データ記憶領域には、この発明の一実施形態を実施する上で必要な記憶部として、撮影画像記憶部８１と、付加情報記憶部８２が設けられ、さらに制御部７による各種処理に必要な作業用の記憶部が設けられている。

【0034】

撮影画像記憶部８１は、ユーザ端末ＭＴから送信された全方位画像を、撮影日時および撮影位置を表す情報と関連付けた状態で記憶するために用いられる。付加情報記憶部８２は、ユーザ端末ＭＴから送られる付加情報と当該付加情報の設定対象および表示位置を示す座標情報を記憶するために使用される。

【0035】

制御部７は、この発明の一実施形態に係る制御処理機能として、撮影画像取得部７１と、付加情報取得部７２と、表示画像生成部７３とを備えている。これらの処理部７１～７３は、何れも記憶部８内のプログラム記憶領域に格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。

【0036】

撮影画像取得部７１は、ユーザ端末ＭＴから、カメラＣＭにより撮影された全方位画像からなる撮影画像データが送られるごとに、この撮影画像データを通信Ｉ／Ｆ９を介して受信し、受信された上記撮影画像データを、当該撮影画像データと共に受信された撮影位置座標および撮影日時を表す情報と関連付けて撮影画像記憶部８１に記憶させる処理を行う。

【0037】

付加情報取得部７２は、上記ユーザ端末ＭＴから付加情報登録要求が送られた場合に、この要求に含まれる付加情報と当該付加情報の設定対象および表示位置を示す座標情報を、付加情報記憶部８２に記憶させる処理を行う。

【0038】

表示画像生成部７３は、以下の処理機能を有している。
(1) ユーザ端末ＭＴ，ＵＴ１～ＵＴｎから画像の閲覧要求が送られた場合に、撮影画像記憶部８１から上記閲覧要求により指定された施設のフロアに対応する全方位画像データを読み出して３Ｄ表示画像データを生成し、生成された３Ｄ表示画像データを通信Ｉ／Ｆ９から要求元のユーザ端末ＭＴ，ＵＴ１～ＵＴｎへ送信する処理。

【0039】

(2) 上記３Ｄ表示画像データに対し付加情報が登録済か否かを判定し、登録済の場合には、付加情報記憶部８２から付加情報の設定対象および表示位置を示す座標情報を読み出し、これらの座標情報をもとに第３のガイド情報を生成して上記３Ｄ表示画像データに合成する処理。

【0040】

(3) ３Ｄ表示画像を閲覧中のユーザ端末ＭＴ，ＵＴ１～ＵＴｎから付加情報の表示要求が送られた場合に、当該要求に含まれる付加情報表示位置を示す座標をもとに付加情報記憶部８２から対応する付加情報を読み出す。そして、読み出された付加情報を上記閲覧中の３Ｄ表示画像に合成し、この付加情報が合成された３Ｄ表示画像データを通信Ｉ／Ｆ９から要求元のユーザ端末ＭＴ，ＵＴ１～ＵＴｎへ送信する処理。

【0041】

（動作例）
次に、以上のように構成されたユーザ端末ＭＴおよびサーバ装置ＳＶの動作例を説明する。図６および図７はそれぞれその処理手順と処理内容の一例を示すフローチャートである。
なお、サーバ装置ＳＶの撮影画像記憶部８１には、対象フロアの全方位画像データが既に記憶されているものとして説明を行う。

【0042】

（１）３Ｄ画像の閲覧
ユーザ端末ＭＴにおいて、ユーザが所望の施設およびフロアの３Ｄ画像を閲覧するために、サーバ装置ＳＶに対しアクセスして対象となる上記施設とそのフロアを指定すると、ユーザ端末ＭＴは当該操作をステップＳ１０により検出してサーバ装置ＳＶに対し撮影画像閲覧要求を送信する。

【0043】

これに対しサーバ装置ＳＶは、ユーザ端末ＭＴから送信された閲覧要求の受信をステップＳ３０により検出すると、表示画像生成部７３の制御の下、先ずステップＳ３１において、上記閲覧要求により要求されたフロアの画像に付加情報が登録済であるか否かを、付加情報記憶部８２に記憶された情報をもとに判定する。そして、付加情報が未登録であれば、ステップＳ３２において撮影画像記憶部８１から上記フロアに対応する全方位画像を読み出して３Ｄ表示画像データを生成し、生成された３Ｄ表示画像データを通信Ｉ／Ｆ９から要求元のユーザ端末ＭＴへ送信する。

【0044】

ユーザ端末ＭＴは、表示画像受信部１１の制御の下、ステップＳ１１において、上記サーバ装置ＳＶから送信された３Ｄ表示画像データを通信Ｉ／Ｆ３を介して受信し、一旦表示画像記憶部２１に保存する。そして、上記ステップＳ１１において、画像表示制御部１２の制御の下、上記表示画像記憶部２１から３Ｄ表示画像データを読み出し、当該３Ｄ画像データを入出力Ｉ／Ｆ４へ出力して表示部５Ｂに表示させる。このとき、ユーザが、入力部５Ａにおいて画像の表示アングルを変化させる操作を行うと、当該操作に応じて上記３Ｄ表示画像の表示アングルが変化する。従って、ユーザはフロア内の希望する場所の３Ｄ画像を選択的に閲覧することが可能となる。すなわち、フロアの３Ｄ画像ツアーが可能となる。

【0045】

（２）付加情報の設定対象および表示位置の指定
上記３Ｄ画像ツアーによりフロアの所望の部屋の画像が表示されている状態で、ユーザが当該表示画像中の所望の部位または設備に対しその属性を表す付加情報を設定するために、例えばマウス操作により上記設定対象となる部位または設備を指定したとする。

【0046】

そうするとユーザ端末ＭＴは、ステップＳ１２で上記付加情報の設定要求を検出すると、指定操作受付部１３の制御の下、ユーザによる付加情報の設定対象および表示位置の指定を受け付ける処理を以下のように実行する。

【0047】

すなわち、指定操作受付部１３は、先ずステップＳ１３において、例えば図８に示すように、表示画像ＶＤ中の基準位置、例えば床面を示す位置に、リング状をなす基準パターンＩＣを表示し、この基準パターンＩＣの垂直上方に線状パターンＬＮを描画する。上記基準パターンＩＣおよび線状パターンＬＮは第１のガイド情報を構成する。

【0048】

この状態でユーザが、例えばマウス操作により上記線状パターンＬＮを伸長または伸縮させてその先端部Ｐを付加情報の設定対象（例えば画像中の壁面）の位置に停止させると、指定操作受付部１３は上記先端部Ｐの位置座標を付加情報の設定対象の位置を示す座標情報として保存する。

【0049】

次にユーザが、付加情報の表示位置を指定するために、例えばマウス操作により、上記基準パターンＩＣを上記付加情報の表示位置の直下に対応する位置に移動させ、さらにこの基準パターンＩＣから上方に伸びる線状パターンＬＮを伸長または伸縮させてその先端部を付加情報の表示位置に停止させたとする。

【0050】

このとき指定操作受付部１３は、ステップＳ１４により上記表示位置の指定操作を検出すると、ステップＳ１５において、例えば図９に示すように表示画像ＶＤ上で基準パターンＩＣおよび線状パターンＬＮの表示位置を、付加情報の表示位置の直下の位置に水平移動させる。これらの基準パターンＩＣおよび線状パターンＬＮは、第２のガイド情報を構成する。

【0051】

また指定操作受付部１３は、上記線状パターンＬＮの伸長操作によりその先端部が付加情報の表示位置に停止されると、この停止位置に付加情報の表示位置であることを示す目印パターンＱを表示させ、この目印パターンＱと先に指定された付加情報の設定対象位置Ｐとの間を接続する引出線パターンＲＮを描画する。これらの目印パターンＱおよび引出線パターンＲＮは第３のガイド情報を構成する。

【0052】

（３）付加情報の入力
ユーザ端末ＭＴは、上記指定操作により付加情報の表示位置が決定され、この決定操作がステップＳ１６で検出されると、続いて付加情報入力受付部１４の制御の下、先ずステップＳ１７において入力テンプレート記憶部２２から入力テンプレートデータを読み出し、入出力Ｉ／Ｆ４へ出力して表示部５Ｂに表示させる。

【0053】

図１０は、入力テンプレートの第１の例を示すものである。図１０に示したテンプレートＴＤ１は、タイトル入力エリアＸ１と付加情報入力エリアＸ２を有する。なお、Ｂ１，Ｂ２，Ｂ３，Ｂ４はそれぞれ背景色設定ボタン、作成ボタン、キャンセルボタン、画像選択ボタンを示している。図１１は、上記図１０に示したテンプレートにおいて、“Scene Visibility”ボタンＢ６が操作された場合にテンプレートＴＤ２に表示される、付加情報の設定結果の一例を示すものである。

【0054】

上記入力テンプレートに従い、ユーザが入力部５Ａを操作して付加情報を入力すると、付加情報入力受付部１４はステップＳ１７において上記付加情報の入力を受け付け、入力された付加情報を付加情報記憶部２３に記憶させる。また、このとき付加情報入力受付部１４は、上記指定操作受付部１３により検出された付加情報の設定対象および表示位置の画像データ上の座標情報を、上記付加情報と関連付けて付加情報記憶部２３に記憶させる。

【0055】

（４）付加情報の登録
上記付加情報の入力が終了し、ユーザが入力テンプレートに設けられたアップデートボタンＢ７をクリック操作したとする。そうすると、ユーザ端末ＭＴは付加情報送信部１５の制御の下、上記アップデートボタンＢ７の操作をステップＳ１９により検出し、続いてステップＳ２０において、上記付加情報記憶部２３から付加情報と当該付加情報の設定対象および表示位置を示す座標情報を読み出し、読み出された付加情報および座標情報を付加情報登録要求に含めて通信Ｉ／Ｆ３からサーバ装置ＳＶに向け送信する。

【0056】

なお、上記付加情報および各座標情報の送信処理は、付加情報が１つ設定されるごとに行われてもよいし、１つの画像または１つのフロアの全画像に対する付加情報の設定が終了した時点で一括して行われるようにしてもよい。

【0057】

サーバ装置ＳＶは、付加情報取得部７２の制御の下、ステップＳ３３において付加情報登録要求が受信されたことを検出すると、ステップＳ３４において付加情報および座標情報を通信Ｉ／Ｆ９を介して受信し、受信された付加情報および座標情報を付加情報記憶部８２に記憶させる。

【0058】

サーバ装置ＳＶは、ステップＳ３５において閲覧終了操作が検出されるまで、ステップＳ３０～ステップＳ３４による３Ｄ表示画像の送信処理と付加情報の登録受付処理を実行する。

【0059】

（５）付加情報が設定された３Ｄ画像の閲覧
例えばユーザ端末ＵＴ１～ＵＴｎから、サーバ装置ＳＶに対し閲覧対象となる施設とそのフロアの３Ｄ画像の閲覧要求が送信されたとする。そうするとサーバ装置ＳＶは、上記閲覧要求をステップＳ３０により受信すると、表示画像生成部７３の制御の下、先ずステップＳ３１において、上記閲覧要求により要求されたフロアの画像に付加情報が登録済であるか否かを、付加情報記憶部８２に記憶された情報をもとに判定する。そして、付加情報が登録済であれば、以下のような閲覧応答処理を実行する。

【0060】

すなわち、表示画像生成部７３は、先ずステップＳ３６においてガイド情報付きの３Ｄ表示画像データを生成する。この表示画像データの生成は、例えば、先ず撮影画像記憶部８１から上記閲覧要求により指定されたフロアに対応する全方位画像を読み出して３Ｄ表示画像データを生成する。次に、付加情報記憶部８２に記憶された、上記３Ｄ表示画像に対応して設定された付加情報の設定対象および表示位置を示す各座標情報に基づいて、第３のガイド情報を生成する。この第３のガイド情報は、付加情報の設定時にユーザ端末ＭＴにおいて生成された、表示位置を示す目印パターンＱ、および当該表示位置と設定対象とを関連付ける引出線パターンＲＮと同一のものである。

【0061】

そして表示画像生成部７３は、生成された上記第３のガイド情報を、上記３Ｄ表示画像データ中の対応する座標位置に合成し、これにより生成されたガイド情報付きの３Ｄ表示画像データを通信Ｉ／Ｆ９から要求元のユーザ端末ＵＴ１～ＵＴｎへ送信する。

【0062】

ユーザ端末ＭＴは、表示画像受信部１１の制御の下、ステップＳ１１において、上記サーバ装置ＳＶから送信されたガイド情報付きの３Ｄ表示画像データを通信Ｉ／Ｆ３を介して受信し、一旦表示画像記憶部２１に保存する。そして、上記ステップＳ１１において、画像表示制御部１２の制御の下、上記表示画像記憶部２１から３Ｄ表示画像データを読み出し、当該３Ｄ画像データを入出力Ｉ／Ｆ４へ出力して表示部５Ｂに表示させる。図１２は、このとき表示部５Ｂに表示されるガイド情報付きの３Ｄ表示画像データＶＤの一例を示している。この例に示すように、３Ｄ表示画像データＶＤには、付加情報の表示位置を示す目印パターンＱと、当該表示位置と付加情報の設定対象とを関連付ける引出線パターンＲＮが表示される。

【0063】

この状態で、上記引出線パターンＲＮにより指し示されている部材に対し設定された付加情報を確認するために、ユーザが上記目印パターンＱをマウス操作により指示したとする。そうすると、ユーザ端末ＵＴ１～ＵＴｎからサーバ装置ＳＶへ、上記付加情報の表示要求が送信される。

【0064】

サーバ装置ＳＶは、表示画像生成部７３の制御の下、ステップＳ３７により上記表示要求を受信すると、ステップＳ３８において、上記表示要求に含まれる表示位置座標に対応する付加情報を付加情報記憶部８２から選択的に読み出す。そして、現在ユーザ端末ＵＴ１～ＵＴｎに送信中の３Ｄ表示画像データの上記表示位置に、読み出された上記付加情報を合成し、この付加情報が合成された３Ｄ表示画像データを要求元のユーザ端末ＵＴ１～ＵＴｎへ送信する。

【0065】

ユーザ端末ＵＴ１～ＵＴｎは、画像表示制御部１２の制御の下、受信された上記付加情報付きの３Ｄ表示画像データを入出力Ｉ／Ｆ４を介して表示部５Ｂに表示させる。図１３は、このとき表示される付加情報付きの３Ｄ表示画像データの一例を示すもので、ＡＤは付加情報を示す。なお、図１２および図１３では、３Ｄ表示画像の撮影位置をプロットしたフロアの平面図ＲＤを３Ｄ表示画像上に表示した場合を例示している。

【0066】

（作用・効果）
以上述べたように一実施形態では、ユーザ端末ＭＴにおいて、ユーザが３Ｄ表示画像に対し付加情報を設定する際に、先ず付加情報の設定対象を指定する操作の過程で第１のガイドパターンを表示し、次に付加情報の表示位置を指定する操作の過程で第２のガイド情報を表示し、表示位置の決定後にユーザが入力テンプレートに従い入力した付加情報を上記設定対象および表示位置の座標に紐づけてサーバ装置ＳＶに登録するようにしている。そして、上記付加情報が設定された３Ｄ画像を表示する際には、上記付加情報の設定対象と表示位置を示す第３のガイド情報を上記３Ｄ画像に表示させ、この状態でユーザが上記第３のガイド情報に従い上記表示位置を指定することで、対応する付加情報を上記３Ｄ画像中の上記表示位置に表示させるようにしている。

【0067】

従って、３Ｄ画像中の部材や設備に対し必要に応じて付加情報を設定することが可能となり、これによりユーザは３Ｄ画像によりフロアの閲覧ツアーを行いながら、部材や設備の詳細を付加情報により確認することが可能となる。

【0068】

また、付加情報の設定操作において、３Ｄ画像中の設定対象とは異なる位置に表示位置を指定し、この表示位置に対応付けて付加情報を登録するようにしたので、３Ｄ画像に付加情報を表示させたときに、付加情報により設定対象が隠されて確認できなくなる不具合が生じないようにすることができる。

【0069】

さらに、付加情報の設定操作中には、３Ｄ画像に第１および第２のガイド情報を表示することで付加情報の設定対象と表示位置を明確に表示し、一方付加情報の設定終了後においては、第１および第２のガイド情報の表示を消去して、第３の情報のみを表示するようにしたので、付加情報の設定時の操作性を高めた上で、設定後の３Ｄ画像の視認性を維持することができる。

【0070】

［その他の実施形態］
（１）一実施形態では、付加情報の設定対象および表示位置の指定操作に応じた第１および第２のガイド情報の表示制御をユーザ端末ＭＴにおいて実行する場合を例にとって説明した。しかし、それに限らず上記指定操作に応じたガイド情報の表示制御をサーバ装置ＳＶにおいて実行するようにしてもよい。このようにすると、ユーザ端末ＭＴとサーバ装置ＳＶとの間の伝送遅延による応答性の低下が発生する心配はあるが、ユーザ端末ＭＴに新たなアプリケーションをインストールする必要がなく、かつユーザ端末ＭＴの処理負荷を軽減することが可能となる。

【0071】

（２）一実施形態では、付加情報の設定対象および表示位置を指定する際に、これらに線状パターンＬＮの先端部Ｐを合わせるようにしたが、指定位置に例えば矢印または星印などのキャラクタパターンを表示するようにしてもよい。このようにすると、指定位置をさらに明確に表示することが可能となる。その他、第１、第２および第３のガイド情報の各構成や表示パターンのサイズや色等についても、どのように設定してもよい。

【0072】

（３）付加情報の表示位置は付加情報設定後に変更できるようにしてもよい。このようにすると、例えば付加情報の表示サイズや吹き出しの形状、３Ｄ画像の内容等に応じてより最適な表示位置を設定することが可能となる。その他、付加情報の書式や情報の種類、情報量等についても、どのように設定してもよい。

【0073】

（４）付加情報中に、例えば当該付加情報に係るさらに詳細な情報や関連情報が記憶されているＷｅｂサイトのリンク先情報を含め、このリンク先情報をもとにＷｅｂサイトに対しアクセスできるようにしてもよい。このようにすると、閲覧ユーザは、部材や設備に係るさらに詳細な情報や関連する情報を３Ｄ表示画像を見ながら容易に取得することが可能となる。

【0074】

（５）その他、情報設定制御装置の構成や制御の処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0075】

またこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0076】

ＳＶ…サーバ装置
ＭＴ，ＵＴ１～ＵＴｎ…ユーザ端末
ＮＷ…ネットワーク
ＣＭ…カメラ
１，７…制御部
２，８…記憶部
３，９…通信Ｉ／Ｆ
６，１０…バス
１１…表示画像受信部
１２…画像表示制御部
１３…指定操作受付部
１４…付加情報入力受付部
１５…付加情報送信部
２１…表示画像記憶部
２２…入力テンプレート記憶部
２３…付加情報記憶部
７１…撮影画像取得部
７２…付加情報取得部
７３…表示画像生成部
８１…撮影画像記憶部
８２…付加情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】