特許 7467262 画像情報生成装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】画像情報生成装置、方法およびプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240408BHJP

   H04N 23/63 20230101ALI20240408BHJP

   G06Q 50/10 20120101ALI20240408BHJP

【ＦＩ】

H04N23/60 500

H04N23/60 300

H04N23/63

G06Q50/10

【請求項の数】 6

(21)【出願番号】P 2020114270

(22)【出願日】2020-07-01

(65)【公開番号】P2022012444

(43)【公開日】2022-01-17

【審査請求日】2023-02-08

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(73)【特許権者】

【識別番号】520240638

【氏名又は名称】スリーアイ インコーポレイティド

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(72)【発明者】

【氏名】キム ケン

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０１８－０８２２９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｇ０６Ｑ ５０／１０

(57)【特許請求の範囲】

【請求項1】

複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置に対し、接続可能な画像情報生成装置であって、
前記複数の撮影機会のうち、第１の撮影機会および第２の撮影機会にそれぞれ撮影された前記三次元空間における第１の全方位画像と第２の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から、その撮影位置座標が前記第１の全方位画像の撮影位置座標に対し最も近い第２の全方位画像を選択する選択部と、
選択された前記第２の全方位画像の表示範囲および表示向きを、前記第１の全方位画像の表示範囲および撮影方向に対応するように調整する調整部と、
前記表示範囲および表示向きが調整された前記第２の全方位画像と前記第１の全方位画像とを比較可能に配置した合成画像を生成し出力する画像生成部と
を具備し、
前記選択部は、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から選択された前記第２の全方位画像の撮影位置座標が、前記第１の全方位画像の撮影位置座標から予め設定された距離以上離れている場合に、選択された前記第２の全方位画像を前記合成画像の生成対象から除外する
画像情報生成装置。

【請求項2】

前記選択部は、第１の日時および第２の日時にそれぞれ撮影された前記三次元空間における前記第１の全方位画像と前記第２の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第２の日時に撮影されたすべての前記第２の全方位画像の中から、その撮影位置座標が前記第１の全方位画像の撮影位置座標に対し最も近い第２の全方位画像を選択する、請求項１に記載の画像情報生成装置。

【請求項3】

前記画像生成部は、前記選択された前記第２の全方位画像が前記合成画像の生成対象から除外された場合に、比較対象の前記第２の全方位画像が存在しない旨のメッセージを生成し出力する、請求項１に記載の画像情報生成装置。

【請求項4】

前記画像生成部は、前記第１の全方位画像と前記第２の全方位画像とを比較可能に配置した前記合成画像に、前記三次元空間の平面図に前記第１の全方位画像と前記第２の全方位画像のうちの少なくとも一方の撮影位置座標をプロットした画像をさらに重ねた画像を生成する、請求項１に記載の画像情報生成装置。

【請求項5】

複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置に対し、接続可能な装置が実行する画像情報生成方法であって、
前記複数の撮影機会のうち、第１の撮影機会および第２の撮影機会にそれぞれ撮影された前記三次元空間における第１の全方位画像と第２の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から、その撮影位置座標が前記第１の全方位画像の撮影位置座標に対し最も近い第２の全方位画像を選択する選択過程と、
選択された前記第２の全方位画像の表示範囲および表示向きを、前記第１の全方位画像の表示範囲および撮影方向に対応するように調整する調整過程と、
前記表示範囲および表示向きが調整された前記第２の全方位画像と前記第１の全方位画像とを比較可能に配置した合成画像を生成し出力する画像生成過程と
を具備し、
前記選択過程は、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から選択された前記第２の全方位画像の撮影位置座標が、前記第１の全方位画像の撮影位置座標から予め設定された距離以上離れている場合に、選択された前記第２の全方位画像を前記合成画像の生成対象から除外する
する画像情報生成方法。

【請求項6】

請求項１乃至４のいずれかに記載の画像情報生成装置が具備する前記選択部、調整部および画像生成部の処理を、前記画像情報生成装置が備えるプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の実施形態は、例えば施設等の三次元空間を撮影した画像を用いて上記施設を管理するシステムで使用される画像情報生成装置、方法およびプログラムに関する。

【背景技術】

【0002】

近年、事業所やオフィス、住居等の施設を撮影された画像を用いて管理する技術が提案されている。例えば、特許文献１には、建物内の三次元空間を異なる複数の位置でそれぞれ全方位（３６０°）を撮影してその撮影画像を記憶媒体に記録し、記録された各全方位画像を接続することにより上記施設内を示す三次元（３Ｄ）画像を生成する技術が記載されている。この技術を用いると、例えば施設の管理者または利用者は、現場に出向かなくても施設の状態を３Ｄ画像により遠隔的に把握することが可能となる。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開２０１８／００７５６５２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、建築現場や居住空間のインテリア等は時間の経過により変化するが、この変化の様子を画像を用いて管理できるようにすることが求められている。しかしながら、従来では一般に、指定された複数の日時に対応する同一空間の画像を単に記憶媒体から選択して並べて表示するものとなっている。このため、例えば上記複数の日時に撮影された各画像の撮影条件、例えば撮影位置や撮影方向、倍率等が異なると、これらの画像を単に並べて表示しても管理者または利用者は空間の変化の様子を的確に把握することが困難となる。

【0005】

この発明は上記事情に着目してなされたもので、一側面では、三次元空間の変化の様子を適切に表現可能な画像情報を生成する技術を提供しようとするものである。

【課題を解決するための手段】

【0006】

上記課題を解決するためにこの発明に係る画像情報生成装置または画像情報生成方法の一態様は、複数の撮影機会において三次元空間を複数の撮影位置でそれぞれ撮影した全方位画像を、前記撮影位置を示す座標と関連付けて記憶した記憶装置を利用する。そして、前記複数の撮影機会のうち、第１の撮影機会および第２の撮影機会にそれぞれ撮影された前記三次元空間における第１の全方位画像と第２の全方位画像との比較を要求する情報が入力された場合に、前記記憶装置に記憶された前記全方位画像のうち、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から、その撮影位置座標が前記第１の全方位画像の撮影位置座標に対し最も近い第２の全方位画像を選択する。また、選択に際し、前記第２の撮影機会に撮影されたすべての前記第２の全方位画像の中から選択された前記第２の全方位画像の撮影位置座標が、前記第１の全方位画像の撮影位置座標から予め設定された距離以上離れている場合に、選択された前記第２の全方位画像を前記合成画像の生成対象から除外する。そして、選択された前記第２の全方位画像の表示範囲および表示向きを、前記第１の全方位画像の表示範囲および撮影方向に対応するように調整し、調整された前記第２の全方位画像と前記第１の全方位画像とを比較可能に配置した合成画像を生成し出力するようにしたものである。

【発明の効果】

【0007】

この発明に係る一態様によれば、比較の基準となる画像と比較対象の画像の撮影位置が異なる場合でも、撮影位置が比較基準となる画像の撮影位置に最も近い比較対象の画像が選択され、さらに選択された比較対象画像のアングルが比較基準の画像に対応するように調整された上で、両画像を対比する表示画像情報が生成される。このため、三次元空間の変化の様子を適切に表現可能な画像情報を生成することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、この発明の一実施形態に係る画像情報生成装置として動作するサーバ装置を含むシステムの概略構成図である。

【図2】図２は、図１に示したシステムにおけるサーバ装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、図１に示したシステムにおけるサーバ装置のソフトウェア構成の一例を示すブロック図である。

【図4】図４は、図３に示したサーバ装置による画像情報生成処理の手順と処理内容の一例を示すフローチャートである。

【図5】図５は、比較基準となる全方位画像の撮影位置の一例を示す図である。

【図6】図６は、比較対象となる全方位画像の撮影位置の一例を示す図である。

【図7】図７は、表示画像情報の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照してこの発明に係わる実施形態を説明する。

【0010】

［一実施形態］
（構成例）
（１）システム
図１は、この発明の一実施形態に係る画像情報生成装置を含むシステムの概略構成図である。
このシステムは、画像情報生成装置として動作するサーバ装置ＳＶを備えている。そして、このサーバ装置ＳＶと、ユーザが使用するユーザ端末ＭＴ，ＵＴ１～ＵＴｎとの間で、ネットワークＮＷを介してデータ通信が可能に構成されている。

【0011】

ユーザ端末ＭＴ，ＵＴ１～ＵＴｎには、全方位画像の登録を行うユーザが使用するユーザ端末ＭＴと、登録された画像を閲覧するユーザが使用するユーザ端末ＵＴ１～ＵＴｎとがあり、いずれも例えばスマートフォンやダブレット型端末等の携帯情報端末により構成される。なお、ユーザ端末としてはノート型のパーソナルコンピュータやデスクトップ型のパーソナルコンピュータを用いてもよく、またネットワークＮＷへの接続インタフェースについても無線に限らず有線を使用してもよい。

【0012】

ユーザ端末ＭＴは、カメラＣＭとの間で例えば信号ケーブルまたはBluetooth（登録商標）等の小電力無線データ通信インタフェースを介してデータ伝送が可能となっている。カメラＣＭは、全方位を撮影可能なカメラからなり、例えば高さ位置を一定に保持することが可能な三脚に固定されている。カメラＣＭは、撮影された全方位画像データを、上記小電力無線データ通信インタフェースを介してユーザ端末ＭＴへ送信する。

【0013】

またユーザ端末ＭＴは、例えばＧＰＳ（Global Positioning System）または無線ＬＡＮ（Local Area Network）から送信される信号を利用して現在位置を測定する機能を有する。またユーザ端末ＭＴは、例えば建物内のように上記位置測定機能を使用できない場合に備え、ユーザが基準点となる位置座標を手動入力する機能を有している。

【0014】

ユーザ端末ＭＴは、上記カメラＣＭから一つの位置で撮影された全方位画像データを受信するごとに、当該撮影位置を表す位置座標を、上記基準点の位置座標と、内蔵する動きセンサ（例えば加速度センサとジャイロセンサ）により計測された移動距離および移動方向とをもとに算出する。そして、受信された上記全方位画像データを、計算された上記撮影位置座標と撮影日時を表す情報と共に、ネットワークＮＷを介してサーバ装置ＳＶへ送信する。これらの処理は、事前にインストールされた専用のアプリケーションにより実行される。

【0015】

ユーザ端末ＵＴ１～ＵＴｎは、例えばブラウザを有する。そして、上記ブラウザによりサーバ装置ＳＶにアクセスし、ユーザの入力操作に応じて、所望の施設およびフロアの、所望の日時における所望の場所の画像をダウンロードして、ディスプレイに表示する機能を有している。

【0016】

なお、ネットワークＮＷは、インターネットを含むＩＰ網と、このＩＰ網にアクセスするためのアクセスネット網とから構成される。アクセス網としては、例えば公衆有線網や携帯電話網、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＣＡＴＶ（Cable Television）等が用いられる。

【0017】

（２）サーバ装置ＳＶ
図２および図３は、それぞれサーバ装置ＳＶのハードウェア構成およびソフトウェア構成を示すブロック図である。
サーバ装置ＳＶは、クラウド上またはＷｅｂ上に設置されたサーバコンピュータからなり、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する制御部１を備える。そして、この制御部１に対しバス４を介して記憶部２および通信インタフェース（通信Ｉ／Ｆ）３を接続したものとなっている。

【0018】

通信Ｉ／Ｆ３は、制御部１の制御の下、ネットワークＮＷを介して上記ユーザ端末ＭＴ，ＵＴ１～ＵＴｎとの間でデータの送受信を行うもので、例えば有線ネットワーク用のインタフェースが用いられる。

【0019】

記憶部２は、例えば、主記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリを使用する。なお、記憶媒体としては、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を組み合わせて使用してもよい。

【0020】

記憶部２の記憶領域には、プログラム記憶領域とデータ記憶領域が設けられている。プログラム記憶領域には、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムが格納される。

【0021】

データ記憶領域には、一実施形態を実施する上で必要な記憶部として、全方位画像記憶部２１と、平面図データ記憶部２２と、調整済み画像記憶部２３が設けられ、さらに制御部１による各種処理に必要な作業用の記憶部が設けられている。

【0022】

全方位画像記憶部２１は、ユーザ端末ＭＴから取得された対象施設のフロアごとの全方位画像群を記憶するために使用される。平面図データ記憶部２２は、上記対象施設の各フロアの平面図データを記憶するために用いられる。調整済み画像記憶部２３は、制御部１による比較画像調整処理により調整された画像を記憶するために使用される。

【0023】

制御部１は、この発明の一実施形態に係る制御処理機能として、全方位画像取得部１１と、画像閲覧制御部１２と、比較対象画像選択部１３と、画像アングル調整部１４と、比較表示画像生成出力部１５を備えている。これらの処理部１１～１５は、何れも記憶部２内のプログラム記憶領域に格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。

【0024】

全方位画像取得部１１は、ユーザ端末ＭＴから、例えば建物内の複数の位置の各々で撮影された全方位画像データが送られるごとに、この全方位画像データを通信Ｉ／Ｆ３を介して受信する。そして、受信された上記全方位画像データを、当該画像データと共に受信された撮影位置座標と撮影日時を表す情報と関連付けて全方位画像記憶部２１に記憶させる処理を行う。

【0025】

画像閲覧制御部１２は、ユーザ端末ＵＴ１～ＵＴｎから送信される画像閲覧要求を通信Ｉ／Ｆ３を介して受信した場合に、要求内容に応じて該当する全方位画像を要求元のユーザ端末ＵＴ１～ＵＴｎへダウンロードする処理を行う。また画像閲覧制御部１２は、ユーザ端末ＵＴ１～ＵＴｎから画像比較要求を受信した場合には、比較対象画像選択部１３に当該画像比較要求を渡す処理を行う。

【0026】

画像比較要求には、比較基準を指定する情報および比較対象を指定する情報の両方が含まれる場合と、比較対象を指定する情報のみが含まれる場合がある。前者は、ユーザが最初から比較画像の閲覧を希望する場合に用いられ、後者はユーザが既に比較基準となる画像を閲覧中で、比較対象のみを指定する場合に用いられる。

【0027】

比較対象画像選択部１３は、全方位画像記憶部に記憶された、上記指定された施設名および対象エリアに係るすべての全方位画像の中から、上記比較対象を指定する情報に含まれる撮影日時に対応する全方位画像を先ず選択し、選択された各全方位画像の中から、撮影位置座標が、閲覧中の比較基準の画像の撮影位置座標、または上記比較基準を指定する情報に含まれる撮影位置座標に対し最も近い全方位画像を選択する処理を行う。

【0028】

画像アングル調整部１４は、上記比較基準を指定する情報により指定された画像と、上記比較対象画像選択部１３により選択された全方位画像とを比較し、比較対象の全方位画像のアングル（例えば表示範囲と撮影方向）を、比較基準となる画像のアングルと同一となるように、或いは近づけるように調整する。そして、調整後の比較対象の画像を比較基準の画像と共に調整済み画像記憶部２３に一時保存する処理を行う。

【0029】

比較表示画像生成出力部１５は、上記調整済み画像記憶部２３に保存された調整後の比較対象の画像と比較基準の画像を読み込み、両画像を合成することで左右に並べて配置した表示画像データを生成する。そして、生成された上記表示画像データを通信Ｉ／Ｆ３を介して、要求元のユーザ端末ＵＴ１～ＵＴｎへ送信する処理を行う。

【0030】

（動作例）
次に、以上のように構成されたサーバ装置ＳＶの動作例を説明する。図４はその処理手順と処理内容の一例を示すフローチャートである。

【0031】

（１）全方位画像の取得
例えば、所望の建物の所望のフロアにおける多地点の全方位画像を撮影し記録しようとする場合、ユーザは先ず登録対象の建物とそのフロアの平面図データを用いて、フロアの撮影を開始しようとする位置を基準点として定め、この基準点の位置座標を上記平面図データの座標系から求めてユーザ端末ＭＴに入力する。この結果ユーザ端末ＭＴには、上記対象フロアの基準点の位置座標が設定される。なお、登録対象の建物とフロアの平面図データは、サーバ装置ＳＶの平面図データ記憶部２２に事前に記憶されており、ユーザ端末ＭＴはサーバ装置ＳＶから所望の建物およびフロアの平面図データをダウンロードすることで取得できる。

【0032】

そして、ユーザはカメラＣＭを操作して上記基準点において全方位を撮影する。なお、カメラＣＭの撮影操作は、ユーザ端末ＭＴにより遠隔的に行ってもよい。上記撮影操作が行われると、カメラＣＭにより撮影された上記基準点の全方位画像データがユーザ端末ＭＴに送信され、当該全方位画像データはユーザ端末ＭＴからサーバ装置ＳＶへ送信される。このときユーザ端末ＭＴは、上記基準点の位置座標と撮影日時を表す情報を、上記全方位画像データに付加して送信する。

【0033】

上記基準点における撮影を終了すると、ユーザは次の撮影位置（撮影ポイント）に移動して同様にカメラＣＭにより全方位撮影を行う。ユーザ端末ＭＴは、上記カメラＣＭから上記新たな撮影ポイントで撮影された全方位画像データを受信すると、当該全方位画像データを撮影位置座標と撮影日時を表す情報と共にサーバ装置ＳＶへ送信する。このとき、撮影位置座標は、上記基準点において設定された位置座標と、ユーザ端末ＭＴの距離センサ（例えば加速度センサとジャイロセンサ）により計測された、基準点から上記新たな撮影ポイントまでの移動距離および移動方向とにより算出される。

【0034】

以後同様にユーザ端末ＭＴは、ユーザが新たな撮影ポイントに移動してカメラＣＭにより全方位撮影を行うごとに、カメラＣＭから送信される全方位画像データを、その都度動きセンサの計測値をもとに算出される撮影位置座標と、撮影日時を表す情報と共に、サーバ装置ＳＶへ送信する。

【0035】

これに対し、サーバ装置ＳＶは、全方位画像取得部１１の制御の下、ステップＳ１０で画像撮影の開始を監視している。そして、ユーザ端末ＭＴから画像撮影の開始通知を受信すると、ステップＳ１１に移行して全方位画像データの受信・記憶処理を以下のように実行する。

【0036】

すなわち、全方位画像取得部１１は、ユーザ端末ＭＴから送信される全方位画像データを通信Ｉ／Ｆ３を介して受信し、受信された全方位画像データを、当該データと共に受信された撮影位置座標および撮影日時を表す情報と関連付けた状態で、全方位画像記憶部２１に記憶させる。またそれと共に全方位画像取得部１１は、上記撮影位置座標を、平面図データ記憶部２２に記憶されている該当するフロアの平面図データにプロットする。

【0037】

以後同様に全方位画像取得部１１は、ユーザ端末ＭＴから全方位画像データが送信されるごとに、上記ステップＳ１１により全方位画像データの受信・記憶処理を繰り返し実行する。なお、この全方位画像データの受信・記憶処理は、全方位画像取得部１１がユーザ端末ＭＴから撮影終了通知が送られたことをステップＳ１２で検出した時点で終了する。

【0038】

なお、以上述べた画像撮影は、同一日時に複数の人がそれぞれ行う場合と、異なる日時に同一の人または異なる人がそれぞれ行う場合を含んでおり、いずれの画像撮影で得られた画像もそれぞれサーバ装置ＳＶに記憶される。また、上記画像撮影が行われるごとに、その撮影ポイントがプロットされた平面図データが生成され、平面図データ記憶部２２に記憶される。なお、上記撮影ポイントは、すべての撮影ポイントについてプロットされなくてもよく、少なくとも１つの撮影ポイントがプロットされるようにしてもよい。

【0039】

（２）全方位画像による三次元閲覧ツアー
サーバ装置ＳＶに記憶された全方位画像を閲覧する場合、ユーザは自身のユーザ端末ＵＴ１においてブラウザを起動し、サーバ装置ＳＶに対しアクセスする。そうすると、サーバ装置ＳＶは画像閲覧制御部１２の制御の下、先ずホーム画面を送信する。この状態で、ユーザが閲覧を希望する施設名とそのフロア番号を指定すると、サーバ装置ＳＶは画像閲覧制御部１２により該当するフロアの平面図データを送信し、ユーザ端末ＵＴ１に表示させる。

【0040】

図５は、このときダウンロードされる平面図データの一例を示すものである。図５に示すように平面図データには、フロアの間取りと撮影位置（撮影ポイント）および撮影順序が丸数字で表示されている。この状態でユーザが、例えば任意の撮影ポイントを指定すると、当該撮影ポイントにおける全方位画像がサーバ装置ＳＶからユーザ端末ＵＴ１にダウンロードされる。そして、ユーザが例えばマウス操作により画像の表示方向を変化させると、この操作に応動して上記全方位画像の表示対象範囲が３６０°に渡って変化する。また、マウス操作により順次撮影ポイントを移動させると、各撮影ポイントにおける全方位画像が順次ダウンロードされて表示される。かくして、上記フロアの各部屋について全方位画像を用いた三次元閲覧ツアーが可能となる。

【0041】

（３）比較対象画像の選択
上記三次元閲覧ツアーの最中に、ユーザが例えばいま表示中の任意の部屋の画像（比較基準の画像）と、過去の別の日時に撮影された同じ部屋の画像（比較対象の画像）とを比較するために、ユーザ端末ＵＴ１において上記別の撮影日時を入力したとする。そうするとユーザ端末ＵＴ１からサーバ装置ＳＶに対し上記別の撮影日時を指定する画像比較要求が送信される。

【0042】

これに対しサーバ装置ＳＶは、ステップＳ１３により上記画像比較要求を受信すると、比較対象画像選択部１３の制御の下、先ずステップＳ１４において、上記三次元閲覧ツアーにより表示中の画像の撮影位置座標を全方位画像記憶部２１から特定する。続いてステップＳ１５において、全方位画像記憶部２１を検索することで、上記画像比較要求により指定された別の撮影日時における同一フロアのすべての全方位画像の中から、その撮影位置座標が上記比較基準画像の撮影位置座標に対し最も近い全方位画像を選択する。

【0043】

例えば、いまユーザが図５の“１０”の撮影ポイントＰ１において撮影された全方位画像を図中Ｑ１に示すアングル（表示範囲と方向）で閲覧中だったとする。また、ユーザが比較対象として指定した別の撮影日時における同一フロアの撮影ポイントが、図６に示すものだったとする。この場合、サーバ装置ＳＶの比較対象画像選択部１３は、上記図６に示したすべての撮影ポイントの中から、図５に示した閲覧中の撮影ポイントＰ１との間の距離が最も短い撮影ポイントＰ２を選択する。

【0044】

（４）比較対象画像のアングル調整
サーバ装置ＳＶは、次に画像アングル調整部１４の制御の下、ステップＳ１６において、選択された上記撮影ポイントＰ２に対応する全方位画像を全方位画像記憶部２１から読み出し、この読み出された比較対象の全方位画像を上記比較基準の表示画像と比較する。そして、比較対象画像のアングルＱ２を比較基準画像のアングルＱ１に近づけるように、比較対象画像の表示範囲および表示方向を調整する。この調整処理は、例えば、表示されている比較基準画像と比較対象画像との対照位置を画素単位でシフトさせながら、比較基準画像と比較対象画像との間の対応する各画素間の差分値が最小となるシフト位置を探索することにより行われる。

【0045】

画像アングル調整部１４は、上記比較対象画像に対する表示範囲および表示方向の調整処理が終了すると、調整された比較対象画像を上記比較基準画像と対応付けて一旦調整済み画像記憶部２３に保存させる。

【0046】

（５）比較表示画像の生成と送信
サーバ装置ＳＶは、続いて比較表示画像生成出力部１５の制御の下、ステップＳ１７において、上記調整済み画像記憶部２３から比較基準画像と比較対象画像を読み出し、これらの画像を横方向に並べた状態で合成し、比較表示画像データを生成する。またそれと共に比較表示画像生成出力部１５は、上記比較表示画像データの比較基準画像上に、フロアの平面図データを重ねて合成する。この平面図データには閲覧中の画像の撮影ポイントＰ１とそのアングルＱ１が表示される。

【0047】

比較表示画像生成出力部１５は、生成された比較表示画像データを、ステップＳ１８により通信Ｉ／Ｆ３から要求元のユーザ端末ＵＴ１に向け送信する。

【0048】

ユーザ端末ＵＴ１は、サーバ装置ＳＶから送信された上記比較表示画像データを受信すると、当該比較表示画像をそれまで表示されていた比較基準画像に代わってディスプレイに表示する。図７は、この比較表示画像の表示例を示すもので、画面右側が比較基準画像を、左側が比較対象画像をそれぞれ示している。図中ＲＤは比較基準画像上に表示されたフロアの平面図である。

【0049】

（作用・効果）
以上述べたように一実施形態では、施設のフロアごとにその三次元空間を複数の位置でそれぞれ撮影された全方位画像を全方位画像記憶部２１に記憶しておく。そして、撮影日時の異なる同一フロアの２つの画像を比較表示する際に、比較対象となるすべての全方位画像の中から、その撮影位置座標が比較基準となる画像の撮影位置座標に最も近い全方位画像を選択し、選択された比較対象の全方位画像のアングルを比較基準となる画像のアングルと対応するように調整し、調整後の比較対象の画像と比較基準の画像とを並べて配置した比較表示画像データを生成し、ユーザ端末ＵＴ１へ送信するようにしている。

【0050】

従って一実施形態によれば、比較基準となる画像と比較対象の画像の撮影位置が異なる場合でも、撮影位置が比較基準の画像の撮影位置に最も近い比較対象の画像が選択され、さらに選択された比較対象の画像のアングルが比較基準の画像のアングルに対応するように調整されたのち、両画像を比較する表示画像情報が生成される。このため、ユーザは三次元空間の変化の様子を適切に表現可能な画像情報を生成することができる。

【0051】

また、比較表示画像データにはフロアの平面図データが重ねて表示され、この平面図データには撮影ポイントと撮影アングルが表示されるので、ユーザは自身がいま閲覧している画像の撮影位置と撮影方向を平面図により一目で確認することができる。

【0052】

［他の実施形態］
（１）比較対象の全方位画像の中に、比較基準の画像の撮影位置に対応する画像が存在しない場合には、比較基準の画像と比較対象の画像とを比較する画像データを生成することは困難である。

【0053】

そこで、このような場合には、比較対象画像選択部１３により撮影位置座標が最も近い比較対象画像を選択する際に、比較基準画像の撮影位置座標との間の距離が予め設定されたしきい値以上離れているか否かを判定する。そして、撮影位置座標間の距離がしきい値以上離れていると判定された場合には、このときの全方位画像を比較対象画像として選択せず、比較表示画像生成出力部１５にその旨を通知する。比較表示画像生成出力部１５は、対応する比較対象画像が存在しない旨のメッセージを生成し、このメッセージをユーザ端末ＵＴ１へ送信して表示させる。このようにすると、比較対象として不適切な画像が表示される不具合を防止することができる。

【0054】

（２）前記一実施形態では、同一場所における異なる２つの日時の全方位画像を並べて表示する比較表示画像データを生成する場合を例にとって説明したが、異なる３以上の日時の画像を並べて表示する比較表示画像データを生成するようにしてもよい。

【0055】

（３）前記一実施形態では、異なる２つの日時に撮影された画像を比較表示する比較表示画像データを生成する場合を例にとって説明したが、同一のフロアについて同日に異なる２人のユーザがそれぞれ撮影した全方位画像を比較表示するデータを生成するようにしてもよい。

【0056】

（４）前記一実施形態は、画像情報生成装置の機能をサーバ装置ＳＶに設けた場合を例にとって説明したが、エッジルータ等のネットワーク間接続装置やユーザ端末に設けてもよい。また、制御部と記憶部とを別々のサーバ装置または端末装置に分散して設け、これらを通信回線またはネットワークを介して接続するようにしてもよい。

【0057】

（５）その他、画像情報生成装置の構成や画像生成処理の手順および処理内容、三次元空間の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

【0058】

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0059】

ＳＶ…サーバ装置
ＭＴ，ＵＴ１～ＵＴｎ…ユーザ端末
ＮＷ…ネットワーク
ＣＭ…カメラ
１…制御部
２…記憶部
３…通信Ｉ／Ｆ
４…バス
１１…全方位画像取得部
１２…画像閲覧制御部
１３…比較対象画像選択部
１４…画像アングル調整部
１５…比較表示画像生成出力部
２１…全方位画像記憶部
２２…平面図データ記憶部
２３…調整済み画像記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】