特許 6292989 情報処理装置及び情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6292989

(24)【登録日】2018年2月23日

(45)【発行日】2018年3月14日

(54)【発明の名称】情報処理装置及び情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20180305BHJP

   G01B 11/00 20060101ALI20180305BHJP

【ＦＩ】

   G06T19/00 A

   G01B11/00 H

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2014-122020(P2014-122020)

(22)【出願日】2014年6月13日

(65)【公開番号】特開2016-4276(P2016-4276A)

(43)【公開日】2016年1月12日

【審査請求日】2017年1月23日

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(73)【特許権者】

【識別番号】000236056

【氏名又は名称】三菱電機ビルテクノサービス株式会社

(74)【代理人】

【識別番号】100099461

【弁理士】

【氏名又は名称】溝井 章司

(74)【代理人】

【識別番号】100152881

【弁理士】

【氏名又は名称】山地 博人

(72)【発明者】

【氏名】若林 正男

(72)【発明者】

【氏名】奥村 誠司

(72)【発明者】

【氏名】木皿 尚宏

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１０−１９７１００（ＪＰ，Ａ）

【文献】 特開２０００−６７２７３（ＪＰ，Ａ）

【文献】 特開平１１−２３８１４４（ＪＰ，Ａ）

【文献】 特開平１１−１４４０７６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １７／００−１９／２０

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

３次元空間を撮影した静止撮影画像をユーザに表示する情報処理装置であって、
前記静止撮影画像内の前記３次元空間の形状に合わせてワイヤーフレームを前記静止撮影画像の表示に重畳して表示するワイヤーフレーム管理部と、
前記ワイヤーフレームの奥行き方向での終端面に平行し、前記ユーザの操作により、前記ワイヤーフレームの奥行き方向でスライド可能な仮想面を前記静止撮影画像及び前記ワイヤーフレームの表示に重畳して表示し、前記ユーザの操作を解析し、前記ユーザにより指定された前記奥行き方向での前記仮想面の設定位置を特定する仮想面管理部と、
前記仮想面の設定位置から前記奥行き方向の任意の位置までの区間に対応する実距離の指定を前記ユーザに依頼する実距離指定依頼メッセージを出力するメッセージ管理部とを有することを特徴とする情報処理装置。

【請求項2】

前記情報処理装置は、更に、
前記実距離指定依頼メッセージに対して前記ユーザにより指定された実距離と、前記仮想面の設定位置と前記任意の位置とに基づき、前記３次元空間の全奥行きの実距離を算出する距離算出部を有することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記仮想面管理部は、
各々が前記終端面に平行し、前記ユーザの操作により、各々が前記ワイヤーフレームの奥行き方向でスライド可能な２つの仮想面を前記静止撮影画像及び前記ワイヤーフレームの表示に重畳して表示し、前記ユーザの操作を解析し、前記ユーザにより指定された前記奥行き方向での各仮想面の設定位置を特定し、
前記メッセージ管理部は、
一方の仮想面の設定位置から他方の仮想面の設定位置までの区間に対応する実距離の指定を前記ユーザに依頼する実距離指定依頼メッセージを出力することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記情報処理装置は、更に、
前記実距離指定依頼メッセージに対して前記ユーザにより指定された実距離と、前記２つの仮想面の設定位置とに基づき、前記３次元空間の全奥行きの実距離を算出する距離算出部を有することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

３次元空間を撮影した静止撮影画像をユーザに表示する情報処理装置であって、
前記静止撮影画像を解析して、前記３次元空間の奥行き方向の消失点以外の消失点である追加消失点が前記静止撮影画像に含まれているか否かを判断する追加消失点判断部と、
前記追加消失点判断部により前記追加消失点が前記静止撮影画像に含まれていないと判断された場合に、前記３次元空間の奥行き方向での実距離の指定と、前記３次元空間の高さ方向での実距離の指定又は前記３次元空間の幅方向での実距離の指定とを前記ユーザに依頼する実距離指定依頼メッセージを出力し、
前記追加消失点判断部により前記追加消失点が前記静止撮影画像に含まれていると判断された場合に、前記３次元空間の奥行き方向での実距離の指定と前記３次元空間の高さ方向での実距離の指定と前記３次元空間の幅方向での実距離の指定とを前記ユーザに依頼する実距離指定依頼メッセージを出力するメッセージ管理部とを有することを特徴とする情報処理装置。

【請求項6】

前記追加消失点判断部は、
前記ユーザからの指定に基づき、前記３次元空間の奥行き方向での終端面を前記静止撮影画像から抽出し、抽出した前記終端面の形状を解析して、前記追加消失点が前記静止撮影画像に含まれているか否かを判断することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記メッセージ管理部は、
前記追加消失点判断部により前記追加消失点が前記静止撮影画像に含まれていないと判断された場合に、前記３次元空間の奥行き方向での任意の一部の区間の実距離の指定と、前記３次元空間の高さ方向での任意の一部の区間の実距離の指定又は前記３次元空間の幅方向での任意の一部の区間の実距離の指定とを前記ユーザに依頼する実距離指定依頼メッセージを出力し、
前記追加消失点判断部により前記追加消失点が前記静止撮影画像に含まれていると判断された場合に、前記３次元空間の奥行き方向での任意の一部の区間の実距離の指定と前記３次元空間の高さ方向での任意の一部の区間の実距離の指定と前記３次元空間の幅方向での任意の一部の区間の実距離の指定とを前記ユーザに依頼する実距離指定依頼メッセージを出力し、
前記情報処理装置は、更に、
前記実距離指定依頼メッセージに対して前記ユーザにより指定された一部の区間の実距離に基づき、前記３次元空間の全奥行きの実距離と全幅の実距離と全高の実距離とを算出する距離算出部を有することを特徴とする請求項５に記載の情報処理装置。

【請求項8】

前記追加消失点判断部は、
前記追加消失点が前記静止撮影画像に含まれている場合に、前記追加消失点の位置を特定することを特徴とする請求項５に記載の情報処理装置。

【請求項9】

３次元空間を撮影した静止撮影画像をユーザに表示するコンピュータが行う情報処理方法であって、
前記コンピュータが、前記静止撮影画像内の前記３次元空間の形状に合わせてワイヤーフレームを前記静止撮影画像の表示に重畳して表示するワイヤーフレーム管理ステップと、
前記コンピュータが、前記ワイヤーフレームの奥行き方向での終端面に平行し、前記ユーザの操作により、前記ワイヤーフレームの奥行き方向でスライド可能な仮想面を前記静止撮影画像及び前記ワイヤーフレームの表示に重畳して表示し、前記ユーザの操作を解析し、前記ユーザにより指定された前記奥行き方向での前記仮想面の設定位置を特定する仮想面管理ステップと、
前記コンピュータが、前記仮想面の設定位置から前記奥行き方向の任意の位置までの区間に対応する実距離の指定を前記ユーザに依頼する実距離指定依頼メッセージを出力するメッセージ管理ステップとを有することを特徴とする情報処理方法。

【請求項10】

３次元空間を撮影した静止撮影画像をユーザに表示するコンピュータが行う情報処理方法であって、
前記コンピュータが、前記静止撮影画像を解析して、前記３次元空間の奥行き方向の消失点以外の消失点である追加消失点が前記静止撮影画像に含まれているか否かを判断する追加消失点判断ステップと、
前記追加消失点判断ステップにより前記追加消失点が前記静止撮影画像に含まれていないと判断された場合に、前記コンピュータが、前記３次元空間の奥行き方向での実距離の指定と、前記３次元空間の高さ方向での実距離の指定又は前記３次元空間の幅方向での実距離の指定とを前記ユーザに依頼する実距離指定依頼メッセージを出力し、
前記追加消失点判断ステップにより前記追加消失点が前記静止撮影画像に含まれていると判断された場合に、前記コンピュータが、前記３次元空間の奥行き方向での実距離の指定と前記３次元空間の高さ方向での実距離の指定と前記３次元空間の幅方向での実距離の指定とを前記ユーザに依頼する実距離指定依頼メッセージを出力するメッセージ管理ステップとを有することを特徴とする情報処理方法。

【請求項11】

３次元空間を撮影した静止撮影画像をユーザに表示するコンピュータに、
前記静止撮影画像内の前記３次元空間の形状に合わせてワイヤーフレームを前記静止撮影画像の表示に重畳して表示するワイヤーフレーム管理処理と、
前記ワイヤーフレームの奥行き方向での終端面に平行し、前記ユーザの操作により、前記ワイヤーフレームの奥行き方向でスライド可能な仮想面を前記静止撮影画像及び前記ワイヤーフレームの表示に重畳して表示し、前記ユーザの操作を解析し、前記ユーザにより指定された前記奥行き方向での前記仮想面の設定位置を特定する仮想面管理処理と、
前記仮想面の設定位置から前記奥行き方向の任意の位置までの区間に対応する実距離の指定を前記ユーザに依頼する実距離指定依頼メッセージを出力するメッセージ管理処理とを実行させることを特徴とするプログラム。

【請求項12】

３次元空間を撮影した静止撮影画像をユーザに表示するコンピュータに、
前記静止撮影画像を解析して、前記３次元空間の奥行き方向の消失点以外の消失点である追加消失点が前記静止撮影画像に含まれているか否かを判断する追加消失点判断処理と、
前記追加消失点判断処理により前記追加消失点が前記静止撮影画像に含まれていないと判断された場合に、前記３次元空間の奥行き方向での実距離の指定と、前記３次元空間の高さ方向での実距離の指定又は前記３次元空間の幅方向での実距離の指定とを前記ユーザに依頼する実距離指定依頼メッセージを出力し、
前記追加消失点判断処理により前記追加消失点が前記静止撮影画像に含まれていると判断された場合に、前記３次元空間の奥行き方向での実距離の指定と前記３次元空間の高さ方向での実距離の指定と前記３次元空間の幅方向での実距離の指定とを前記ユーザに依頼する実距離指定依頼メッセージを出力するメッセージ管理処理とを実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元空間を撮影した撮影画像から仮想３次元空間を生成する技術に関する。

【背景技術】

【0002】

例えば、監視カメラの販促ツール用途や監視カメラ設置時のＳＥツール用途として、監視カメラの設置に先立って、監視カメラを様々な撮影方向で設置した場合を想定した模擬撮影画像を見たい（見せたい）というニーズがある。
当然ながら、デジタルカメラ等を用いて現地で想定撮影方向の画像を撮っておくことで対応は可能であるが、あらゆる想定画像を用意することは困難である。
そこで、現地の構造（実空間）に合わせて生成された仮想３次元空間（３Ｄポリゴン）に現地の撮影画像を貼り付けて表示することで、様々な撮影方向からのカメラ撮影画像を高精度でシミュレート表示する技術が開発されている。
この技術では、仮想３次元空間を生成するために実空間の情報を取得する必要がある。

【0003】

例えば特許文献１では、撮影画像から立体情報を生成する際におけるユーザの作業負荷の軽減を可能とする方法が開示されている。
この方法では、ユーザの操作により、撮影画像上で消失点を含む仮想的な空間を表す空間構図を設定させることで実空間情報を取得している。

【0004】

また、例えば特許文献２では、１枚の撮影画像データから建物各部の位置座標や屋根の傾斜角を算出する方法が開示されている。
この方法では、撮影画像上に直方体のワイヤーフレームを表示し、そのワイヤーフレームの回転・伸縮・消失点操作を行うことで撮影物体の立体情報を設定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４６４２７５７号

【特許文献2】特許第４７１４９３４号

【発明の概要】

【発明が解決しようとする課題】

【0006】

監視カメラのシミュレートにおいては、事前に必要となる撮影作業や設定作業の負荷軽減が課題である。
特許文献１の立体情報取得方法では、撮影画像上で空間構図の枠線を当てはめるだけで、１枚の撮影画像から実空間情報を設定できる。
しかしながら、それぞれの枠の辺に対して距離情報を入力する必要があるため、撮影場所の測量データを把握しておく必要があり、作業負荷が高い。
つまり、特許文献１の方法では、空間内の壁面、天井面、床面といった面単位で枠が設定されるため、ユーザは各面の全長、全幅、全高の距離情報を入力する必要がある。
このため、ユーザは各面の全長、全幅、全高を測量しなければならず、例えば、奥行の距離が長い空間の場合は、奥行距離の測量に作業負荷を要する。
また、特許文献２の立体情報設定方法でも、１枚の撮影画像上におけるワイヤーフレーム操作によって実空間情報を設定できるが、撮影場所の測量データが必要な点で、特許文献１の方法と同様の課題がある。

【0007】

本発明は、上述のような課題を解決することを主な目的とし、撮影対象空間の測量作業の負荷を軽減することを主な目的とする。

【課題を解決するための手段】

【0008】

本発明に係る情報処理装置は、
３次元空間を撮影した静止撮影画像をユーザに表示する情報処理装置であって、
前記静止撮影画像内の前記３次元空間の形状に合わせてワイヤーフレームを前記静止撮影画像の表示に重畳して表示するワイヤーフレーム管理部と、
前記ワイヤーフレームの奥行き方向での終端面に平行し、前記ユーザの操作により、前記ワイヤーフレームの奥行き方向でスライド可能な仮想面を前記静止撮影画像及び前記ワイヤーフレームの表示に重畳して表示し、前記ユーザの操作を解析し、前記ユーザにより指定された前記奥行き方向での前記仮想面の設定位置を特定する仮想面管理部と、
前記仮想面の設定位置から前記奥行き方向の任意の位置までの区間に対応する実距離の指定を前記ユーザに依頼する実距離指定依頼メッセージを出力するメッセージ管理部とを有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、ユーザは仮想面をスライドさせることにより実距離を入力する区間を任意に指定することができるため、距離情報の入力の自由度を高めることができ、撮影対象空間における測量作業の負荷を軽減することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係るカメラ撮影画像シミュレータ装置の構成例を示す図。

【図2】実施の形態１に係るカメラ撮影画像シミュレータ装置の動作例を示すフローチャート図。

【図3】実施の形態１に係る面情報設定例を示す図。

【図4】実施の形態１に係る空間情報設定例を示す図。

【図5】実施の形態１に係る空間情報設定例を示す図。

【図6】実施の形態１に係る空間情報設定例を示す図。

【図7】実施の形態１に係る仮想３次元空間の生成処理を示す図。

【図8】実施の形態２に係るカメラ撮影画像シミュレータ装置の構成例を示す図。

【図9】実施の形態２に係るカメラ撮影画像シミュレータ装置の動作例を示すフローチャート図。

【図10】実施の形態２に係るカメラ撮影画像シミュレータ装置の動作例を示すフローチャート図。

【図11】実施の形態２に係る面情報設定例を示す図。

【図12】実施の形態２に係る空間情報設定例を示す図。

【図13】実施の形態１に係る撮影画像の例を示す図。

【図14】実施の形態２に係る撮影画像の例を示す図。

【図15】実施の形態１及び２に係るカメラ撮影画像シミュレータ装置のハードウェア構成例を示す図。

【発明を実施するための形態】

【0011】

実施の形態１．
本実施の形態では、距離情報の入力の自由度を高めることができ、撮影対象空間における測量作業の負荷を軽減するカメラ撮影画像シミュレータ装置を説明する。
本実施の形態では、消失点が１つの静止撮影画像（以下、単に撮影画像という）を用いて実空間の情報を設定する例を説明する。

【0012】

図１は、実施の形態１に係るカメラ撮影画像シミュレータ装置の構成例を示すブロック図である。
図２は、実施の形態１に係るカメラ撮影画像シミュレータ装置の処理手順の一例を示すフロー図である。
はじめに、図１のブロック構成について説明する。

【0013】

図１において、カメラ撮影画像シミュレータ装置１００は、例えば汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末である。

【0014】

記録装置１０１は、３次元空間を撮影した撮影画像を記憶する。
記録装置１０１は、ハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）のような内蔵ドライブでもよいし、ＳＤ（登録商標）カードなどの外部記録メディアでもよいし、一時記憶メモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）でもよい。

【0015】

面情報設定部１１０は、撮影画像上の中央位置に矩形の枠線を重畳して表示する。
そして、ユーザが矩形の枠線の位置を、３次元空間（実空間）の奥行き方向の終端面（以下、奥行き面ともいう）に合わせることで、面情報設定部１１０は奥行き面を特定する。
消失点設定部１１１は、面情報設定部１１０により特定された奥行き面の近傍に消失点を表示するとともに、消失点を基準とする直方体ワイヤーフレームを表示する。
また、消失点設定部１１１は、ユーザの操作により消失点の位置を変化させるとともに、直方体ワイヤーフレームの形状も変化させ、３次元空間の形状に整合する直方体ワイヤーフレームを表示する。
面情報設定部１１０及び消失点設定部１１１は、ワイヤーフレーム管理部の例に相当する。

【0016】

面境界情報抽出部１１２は、直方体ワイヤーフレームの形状（各面の位置）と消失点の位置から、３次元空間（実空間）の各面の境界線を抽出する。
距離情報設定部１１３は、直方体ワイヤーフレームの奥行き方向の終端面（以下、基準面ともいう）に平行し、ユーザの操作によりワイヤーフレームの奥行き方向でスライド可能な仮想面を撮影画像及びワイヤーフレームの表示に重畳して表示する。
そして、距離情報設定部１１３は、ユーザのスライド操作により指定された仮想面の設定位置を特定し、仮想面の設定位置を基準とする一部の区間に対応する実距離の指定をユーザに依頼する。
また、距離情報設定部１１３は、ユーザからの実距離の入力を受け付け、ユーザから入力された実距離に基づき、３次元空間（実空間）での奥行き方向の全長の実距離を計算する。
距離情報設定部１１３は、仮想面管理部、メッセージ管理部及び距離算出部の例に相当する。

【0017】

次に、図２を参照して、本実施の形態に係るカメラ撮影画像シミュレータ装置１００の動作例を説明する。

【0018】

ユーザは、デジタルカメラなどを用いて撮影したシミュレート表示したい場所（監視カメラなら設置予定場所）の撮影画像１枚をカメラ撮影画像シミュレータ装置１００に入力する（ステップＳＴ１０１）。
以下では、図１３に示す撮影画像を入力するものとする。

【0019】

面情報設定部１１０は、ステップＳＴ１０１で入力された撮影画像上の中央位置に矩形の枠線を重畳して表示する（ステップＳＴ１０２）。
例えば、図３（ａ）のように矩形の枠線３００を撮影画像上に表示する。
なお、枠線３００の頂点はマウスのドラッグ操作で移動可能となっており、ユーザは、図３（ｂ）のように、枠線３００が撮影画像中の正面の壁面（奥行き面）に合うように操作することで基準面の領域を設定する（ステップＳＴ１０３）。
このとき、面情報設定部１１０は、面領域（奥行き面）を指定するよう促すメッセージを表示する。
図３では、「面領域を設定してください。」というメッセージが表示されている。
また、面情報設定部１１０は、ユーザのマウス操作を解析して、奥行き面の位置、形状を特定する。

【0020】

次に、消失点設定部１１１が、撮影画像上の中央位置（奥行き面の近傍）に消失点を表示し、この消失点とステップＳＴ１０３で設定された枠線を基準面とした直方体ワイヤーフレームと垂直方向の補助線を重畳して表示する（ステップＳＴ１０４）。
具体的には、図４（ａ）に示すように、奥行き面の近傍に消失点（カーソルが指し示している点）を表示するとともに、消失点と枠線を基準とする直方体ワイヤーフレーム４００を撮影画像上に表示する。
更に、補助線（図４（ａ）の消失点から延びている破線）を表示する。
ステップＳＴ１０４で表示された消失点はマウスのドラッグ操作で移動可能となっており、ユーザはこの消失点が撮影画像中の消失点に合うように操作することで消失点位置を設定する（ステップＳＴ１０５）。
このとき、消失点の移動に応じて、直方体ワイヤーフレームの基準面以外の面が変形するため、ユーザは撮影画像中の天井面、床面、壁面の境界に直方体ワイヤーフレームが合うように確認しながら操作することで消失点の位置を正確に設定できる（図４（ｂ））。
また、消失点設定部１１１は、消失点の位置を指定するよう促すメッセージを表示する。
図４では、「消失点を設定してください。」というメッセージが表示されている。

【0021】

次に、面境界情報抽出部１１２が、ステップＳＴ１０３で設定された面情報（奥行き面）とステップＳＴ１０５で設定された消失点位置情報を基に、撮影画像上における実空間の各面の境界線を抽出する（ステップＳＴ１０６）。

【0022】

次に、距離情報設定部１１３が、撮影画像上にステップＳＴ１０６で抽出した面の境界線を重畳して表示し、正面の壁面（奥行き面）を示す境界線の上辺と下辺に平行な線分を表示する（ステップＳＴ１０７）。
ステップＳＴ１０７で表示された線分はマウスのドラッグ操作で移動可能となっており、ユーザはこの線分を任意の位置に合わせた後、床面からその位置までの実空間の高さを入力する（ステップＳＴ１０８）。
つまり、ユーザは、実空間において床面からの高さが判明している位置に、図５の線分５００を合わせて、床面から線分５００の位置までの実空間での高さを入力する。
このとき、距離情報設定部１１３は、実空間の高さの入力を促すメッセージを表示する。
図５では、「高さを設定してください。」というメッセージが表示されている。

【0023】

次に、距離情報設定部１１３は、ステップＳＴ１０８で入力された任意位置の高さ情報を基に、撮影画像中の実空間における天井高と正面の壁面（奥行き面）の幅を算出する（ステップＳＴ１０９）。
距離情報設定部１１３は、通常の幾何計算により、実空間の天井高と奥行き面の幅を算出することができる。
つまり、撮影画像における床面から線分５００までの高さと、ユーザにより指定された実空間での高さと、撮影画像における床面から天井までの高さと、消失点の位置とに基づく幾何計算により、実空間の天井高を算出することができる。
また、撮影画像における床面から線分５００までの高さと、ユーザにより指定された実空間での高さと、撮影画像における奥行き面の幅と、消失点の位置とに基づく幾何計算により、実空間の奥行き面の幅を算出することができる。

【0024】

次に、距離情報設定部１１３は、撮影画像上にステップＳＴ１０６で抽出した面の境界線を重畳して表示し、直方体ワイヤーフレームの正面の壁面（基準面）と平行な仮想面の枠線を２つ表示する（ステップＳＴ１１０）。
例えば、２つの仮想面の枠線として、枠線６０１（二点鎖線）と枠線６０２（二点鎖線）を撮影画像上に表示する。
ステップＳＴ１１０で表示された２つの仮想面の枠線６０１、６０２はマウスのドラッグ操作で移動可能となっている。
つまり、枠線６０１、６０２をドラッグ操作することで、２つの仮想面が直方体ワイヤーフレームの奥行き方向でスライド可能であり、ユーザは各仮想面を任意の位置に設定することができる。
距離情報設定部１１３は、ユーザが仮想面の位置を決定した後、２つの仮想面の間の区間（枠線６０１、枠線６０２との間の区間）に対応する実空間の奥行き距離の入力を促すメッセージ（実距離指定依頼メッセージ）を表示する。
図６では、「奥行距離を設定してください。」というメッセージが表示されている。
ユーザは、２つの仮想面の間の区間に相当する実距離を入力する（ステップＳＴ１１１）。
つまり、ユーザは、実空間において距離が判明している２点に、枠線６０１、６０２を合わせて、実空間での２点間の距離を入力する。

【0025】

距離情報設定部１１３は、ステップＳＴ１１１で入力された任意区間の距離情報を基に、撮影画像中の実空間の奥行き距離を算出する（ステップＳＴ１１２）。
つまり、ステップＳＴ１１１で入力された一部の区間の実距離に基づき、撮影画像の実空間の全奥行きの実距離を算出する。
この全奥行きの実距離は、通常の幾何計算により得られる。
つまり、撮影画像における２つの仮想面の間の距離と、ユーザにより指定された一部の区間（仮想面間の区間）の実距離と、撮影画像における全奥行き距離と、消失点の位置とに基づく幾何計算により実空間の全奥行き距離を算出することができる。

【0026】

以上より、ステップＳＴ１０１で入力された１枚の撮影画像に対し、１つの面領域・消失点の位置・任意位置の高さ・任意区間の奥行き距離を入力することで、現地撮影画像中の実空間情報（各面の境界情報と各方向の距離）を設定することが可能となる。
カメラ撮影画像シミュレータ装置１００は、これら実空間情報を利用して撮影画像から仮想３次元空間を生成し、任意位置・任意視点のカメラ撮影画像をシミュレート表示する。
図７は、ステップＳＴ１０１〜ＳＴ１１２で設定された実空間情報を基に、撮影画像から仮想３次元空間を生成する際の処理イメージである。

【0027】

ここで、ステップＳＴ１０１では、１枚の実写画像を入力しているが、その１枚の画像は広範囲を撮影したパノラマ画像などを入力してもよいし、同箇所から撮影した複数枚の実写画像を用いて１枚の画像に合成してもよい。
ステップＳＴ１０７〜ＳＴ１０８では、床面からの高さを設定しているが、線分を２本表示してその２本間の高さを設定してもよい。

【0028】

また、ステップＳＴ１１０では、２つの仮想面を表示しているが、仮想面は１つでもよい。
例えば、図６において、枠線６０１のみを表示し、ユーザが枠線６０１から奥行き面までの区間の実距離を入力するようにしてもよい。

【0029】

以上のように、本実施の形態によれば、１枚の撮影画像を用い、消失点を利用して面境界情報を設定するため、遠近法に則った正確な実空間の情報を簡単に設定できる。
また、距離情報入力時には対象区間を任意に設定できるため、距離情報入力の自由度を高めることで、設置場所における測量作業の負荷を軽減できる。
つまり、全奥行きの実距離を計測する必要はなく、奥行き方向の一部の区間の実距離のみを計測すれば足りるので、奥行き距離が長い空間を対象とする場合でも、測量作業を簡素化することができる。

【0030】

実施の形態２．
本実施の形態では、消失点が複数ある撮影画像での設定作業を効率化する構成を説明する。
前述の特許文献１の立体情報取得方法では、撮影画像中に消失点が複数ある場合は、消失点の数に応じて空間構図を設定する必要があり、消失点が１つの場合と比較して設定作業が倍増していく。
同様に、特許文献２の立体情報取得方法でも、撮影画像中に消失点が複数ある場合には、消失点の数に応じて操作手順が倍増する。
本実施の形態では、撮影画像中に複数の消失点がある場合に、実空間情報設定の作業負荷を軽減する構成を説明する。
なお、以下では、消失点が２つの撮影画像を用いて実空間の情報を設定する例を説明する。

【0031】

本実施の形態に係るカメラ撮影画像シミュレータ装置は、撮影画像を解析して、３次元空間の奥行き方向の消失点以外の消失点（追加消失点）が撮影画像に含まれているか否かを判断する。
そして、追加消失点が撮影画像に含まれていない場合は、３次元空間の奥行き方向での実距離の指定と、３次元空間の高さ方向での実距離の指定又は３次元空間の幅方向での実距離の指定とをユーザに依頼する。
一方、追加消失点が撮影画像に含まれている場合は、３次元空間の奥行き方向での実距離の指定と３次元空間の高さ方向での実距離の指定と３次元空間の幅方向での実距離の指定とをユーザに依頼する。

【0032】

図８は、本実施の形態に係るカメラ撮影画像シミュレータ装置の構成例を示すブロック図である。
また、図９は、本実施の形態における処理手順の一例を示すフロー図である。
はじめに、図８のブロック構成について説明する。

【0033】

図８では、図１の構成と比較して、消失点算出部１１４が加わっている。
他の要素は、図１に示したものと同じなので、説明を省略する。
消失点算出部１１４は、３次元空間の奥行き方向の消失点以外の消失点（追加消失点）が撮影画像に含まれているか否かを判断する。
消失点算出部１１４は、追加消失点判断部の例に相当する。
なお、本実施の形態では、距離情報設定部１１３は、メッセージ管理部、距離算出部の例に相当する。
本実施の形態では、実施の形態１との差異を説明する。
以下で説明していない事項は、実施の形態１で説明したものと同じである。

【0034】

次に、図９を参照して、本実施の形態に係るカメラ撮影画像シミュレータ装置１００の動作例を説明する。

【0035】

ユーザは、デジタルカメラなどを用いて撮影したシミュレート表示したい場所（監視カメラなら設置予定場所）の撮影画像１枚をカメラ撮影画像シミュレータ装置１００に入力する（ステップＳＴ２０１）。
以下では、図１４に示す撮影画像を入力するものとする。
なお、図１４の撮影画像では、奥行き方向の消失点のほかに、水平方向に消失点がある。

【0036】

面情報設定部１１０は、ステップＳＴ２０１で入力された撮影画像上の中央位置に矩形の枠線を重畳して表示する（ステップＳＴ２０２）。
例えば、図１１（ａ）のように矩形の枠線１１００を撮影画像上に表示する。
なお、枠線１１００の頂点はマウスのドラッグ操作で移動可能となっており、ユーザは、図１１（ｂ）のように、枠線１１００が撮影画像中の正面の壁面（奥行き面）に合うように操作することで基準面の領域を設定する（ステップＳＴ２０３）。
このとき、枠線の上辺と下辺が平行でない場合には、枠線内を等分割するように左辺と右辺を結ぶ補助線（図１１（ｂ）の破線）を表示する。
このとき、面情報設定部１１０は、面領域（奥行き面）を指定するよう促すメッセージを表示する。
図１１では、「面領域を設定してください。」というメッセージが表示されている。
また、面情報設定部１１０は、ユーザのマウス操作を解析して、奥行き面の位置、形状を特定する。

【0037】

次に、消失点算出部１１４が、ステップＳＴ２０３で設定された枠線の上辺と下辺が平行でない場合に、２つ目の消失点（追加消失点）が存在すると判断し（ステップＳＴ２０４）、上辺と下辺の交点座標を消失点座標として算出する（ステップＳＴ２０５）。

【0038】

次に、消失点設定部１１１が、撮影画像上の中央位置（奥行き面の近傍）に消失点を表示し、この消失点とステップＳＴ２０２で設定された枠線を基準面とした直方体ワイヤーフレームと垂直方向の補助線を重畳して表示する（ステップＳＴ２０６）。
ステップＳＴ２０６で表示された消失点はマウスのドラッグ操作で移動可能となっており、ユーザはこの消失点が撮影画像中の消失点に合うように操作することで消失点位置を設定する（ステップＳＴ２０７）。
このとき、消失点の移動に応じて、直方体ワイヤーフレームの基準面以外の面が変形するため、ユーザは撮影画像中の天井面、床面、壁面の境界に直方体ワイヤーフレームが合うように確認しながら操作することで消失点の位置を正確に設定できる。

【0039】

次に、面境界情報抽出部１１２が、ステップＳＴ２０２で設定された面情報（奥行き面）とステップＳＴ２０７で設定された消失点位置情報を基に、撮影画像上における実空間の各面の境界線を抽出する（ステップＳＴ２０８）。

【0040】

次に、距離情報設定部１１３が、撮影画像上にステップＳＴ２０８で抽出した面の境界線を重畳して表示し、正面の壁面（奥行き面）を示す境界線の上辺と下辺に平行な線分を表示する（ステップＳＴ２０９）。
ステップＳＴ２０９で表示された線分はマウスのドラッグ操作で移動可能となっており、ユーザはこの線分を任意の位置に合わせた後、床面からその位置までの実空間の高さを入力する（ステップＳＴ２１０）。
距離情報設定部１１３は、ステップＳＴ２１０で入力された任意位置の高さ情報を基に、ステップＳＴ２０１で入力された撮影画像中の実空間における天井高を算出する（ステップＳＴ２１１）。
距離情報設定部１１３は、通常の幾何計算により、実空間の天井高を算出することができる。

【0041】

次に、距離情報設定部１１３は、ステップＳＴ２０５で算出された消失点が２つ以上だった場合に（ステップＳＴ２１２）、この消失点情報を基に、撮影画像上にステップＳＴ２０８で抽出した面の境界線を重畳して表示し、正面の壁面（奥行き面）を示す境界線の左辺と右辺に平行な線分を２本表示する（ステップＳＴ２１３）。
例えば、図１２に示すように、正面の壁面（奥行き面）に２つの線分１２００を描画する。
ステップＳＴ２１３で表示された２本の線分１２００はマウスのドラッグ操作で移動可能となっており、ユーザはこの線分１２００を任意の位置に合わせた後、２本の線分１２００の間の区間に対応する実空間の距離を入力する（ステップＳＴ２１４）。
このとき、距離情報設定部１１３は、実空間の距離の入力を促すメッセージを表示する。
図１２では、「幅を設定してください。」というメッセージが表示されている。

【0042】

次に、距離情報設定部１１３は、ステップＳＴ２１４で入力された任意区間の距離情報を基に、撮影画像中の正面の壁面の実空間における幅を算出する（ステップＳＴ２１５）。
距離情報設定部１１３は、通常の幾何計算により、実空間の奥行き面の幅を算出することができる。

【0043】

次に、距離情報設定部１１３は、撮影画像上にステップＳＴ２０８で抽出した面の境界線を重畳して表示し、直方体ワイヤーフレームの正面の壁面（基準面）と平行な仮想面の枠線を２つ表示する（ステップＳＴ２１６）。
ステップＳＴ２１６で表示された２つの仮想面の枠線はマウスのドラッグ操作で移動可能となっており、ユーザはこの枠線を任意の位置に合わせた後、２つの枠線間が示す実空間の奥行き距離を入力する（ステップＳＴ２１７）。

【0044】

距離情報設定部１１３は、ステップＳＴ２１７で入力された任意区間の距離情報を基に、撮影画像中の実空間の奥行き距離を算出する（ステップＳＴ２１８）。

【0045】

以上より、ステップＳＴ２０１で入力された１枚の撮影画像に対し、１つの面領域・消失点の位置・任意位置の高さ・任意区間の幅・任意区間の奥行き距離を入力することで、現地撮影画像中の実空間情報（各面の境界情報と各方向の距離）を設定することが可能となる。
カメラ撮影画像シミュレータ装置１００は、これら実空間情報を利用して撮影画像から仮想３次元空間を生成し、任意位置・任意視点のカメラ撮影画像をシミュレート表示する。

【0046】

ここで、ステップＳＴ２０１では、１枚の実写画像を入力しているが、その１枚の画像は広範囲を撮影したパノラマ画像などを入力してもよいし、同箇所から撮影した複数枚の実写画像を用いて１枚の画像に合成してもよい。
ステップＳＴ２０９〜ＳＴ２１１では、床面からの高さを設定しているが、線分を２本表示してその２本間の高さを設定してもよい。

【0047】

図９及び図１０のフローチャートでは、消失点が１つの場合は、ステップＳＴ２０９〜ＳＴ２１１においてユーザが指定位置の高さを入力し、ステップＳＴ２１１においてカメラ撮影画像シミュレータ装置１００が天井高を算出している。
ステップＳＴ２０９〜ＳＴ２１１に代えて、ステップＳＴ２１３〜ＳＴ２１５を行うようにしてもよい。
つまり、ユーザが指定位置の高さを入力する代わりに、正面の壁面（奥行き面）における指定区間の幅を入力し、また、カメラ撮影画像シミュレータ装置１００は、天井高を算出する代わりに、正面の壁面（奥行き面）の幅を算出するようにしてもよい。
なお、ステップＳＴ２１６〜ＳＴ２１８による奥行き方向の指定区間の入力と奥行き方向の全距離の算出は、ステップＳＴ２０９〜ＳＴ２１１又はステップＳＴ２１３〜ＳＴ２１５では代替できない（奥行き方向の指定区間の入力と奥行き方向の全距離の算出は必須）。

【0048】

以上のように、本実施の形態によれば、１枚の撮影画像を用い、消失点を利用して面境界情報を設定するため、遠近法に則った正確な実空間の情報を簡単に設定できる。
また、撮影画像中に消失点が２つある場合でも、ステップＳＴ２１３〜ステップＳＴ２１５を追加するだけで対応できるため、作業負荷の増大を防ぐことができる。
さらに、距離情報入力時には対象区間を任意に設定できるため、設置場所における測量作業の負荷を軽減できる。

【0049】

以上、本発明の実施の形態について説明したが、これらの実施の形態を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

【0050】

最後に、実施の形態１及び２に示したカメラ撮影画像シミュレータ装置１００のハードウェア構成例を図１５を参照して説明する。
カメラ撮影画像シミュレータ装置１００はコンピュータ（スマートフォン、タブレット端末を含む）であり、カメラ撮影画像シミュレータ装置１００の各要素をプログラムで実現することができる。
カメラ撮影画像シミュレータ装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。

【0051】

演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
通信装置９０４は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入出力装置９０５は、例えばマウス、キーボード、ディスプレイ装置等である。

【0052】

プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、図１に示す「〜部」として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、図１に示す「〜部」の機能を実現するプログラムを実行する。
また、実施の形態１及び２の説明において、「〜の判断」、「〜の判定」、「〜の抽出」、「〜の算出」、「〜の計算」、「〜の設定」、「〜の特定」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。
また、暗号鍵・復号鍵や乱数値やパラメータが、主記憶装置９０３にファイルとして記憶されてもよい。

【0053】

なお、図１５の構成は、あくまでもカメラ撮影画像シミュレータ装置１００のハードウェア構成の一例を示すものであり、カメラ撮影画像シミュレータ装置１００のハードウェア構成は図１５に記載の構成に限らず、他の構成であってもよい。

【0054】

また、実施の形態１及び２に示す手順により、本発明に係る情報処理方法を実現可能である。

【符号の説明】

【0055】

１００ カメラ撮影画像シミュレータ装置、１０１ 記録装置、１１０ 面情報設定部、１１１ 消失点設定部、１１２ 面境界情報抽出部、１１３ 距離情報設定部、１１４ 消失点算出部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】