特許第6053625号(P6053625)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧
特許6053625情報処理装置及び情報処理方法及びプログラム
<>
  • 特許6053625-情報処理装置及び情報処理方法及びプログラム 図000002
  • 特許6053625-情報処理装置及び情報処理方法及びプログラム 図000003
  • 特許6053625-情報処理装置及び情報処理方法及びプログラム 図000004
  • 特許6053625-情報処理装置及び情報処理方法及びプログラム 図000005
  • 特許6053625-情報処理装置及び情報処理方法及びプログラム 図000006
  • 特許6053625-情報処理装置及び情報処理方法及びプログラム 図000007
  • 特許6053625-情報処理装置及び情報処理方法及びプログラム 図000008
  • 特許6053625-情報処理装置及び情報処理方法及びプログラム 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6053625
(24)【登録日】2016年12月9日
(45)【発行日】2016年12月27日
(54)【発明の名称】情報処理装置及び情報処理方法及びプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20161219BHJP
   G06T 15/20 20110101ALI20161219BHJP
   H04N 7/18 20060101ALI20161219BHJP
【FI】
   G06T19/00 A
   G06T15/20 500
   H04N7/18 D
【請求項の数】12
【全頁数】15
(21)【出願番号】特願2013-138129(P2013-138129)
(22)【出願日】2013年7月1日
(65)【公開番号】特開2015-11618(P2015-11618A)
(43)【公開日】2015年1月19日
【審査請求日】2015年10月26日
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(73)【特許権者】
【識別番号】000236056
【氏名又は名称】三菱電機ビルテクノサービス株式会社
(74)【代理人】
【識別番号】100099461
【弁理士】
【氏名又は名称】溝井 章司
(74)【代理人】
【識別番号】100152881
【弁理士】
【氏名又は名称】山地 博人
(72)【発明者】
【氏名】若林 正男
(72)【発明者】
【氏名】奥村 誠司
(72)【発明者】
【氏名】木皿 尚宏
(72)【発明者】
【氏名】松下 雅仁
【審査官】 岡本 俊威
(56)【参考文献】
【文献】 特開平11−144076(JP,A)
【文献】 特開2011−118834(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/00−19/20
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
空間を撮影した静止撮影画像であって複数の面が抽出される静止撮影画像である基準撮影画像と、前記基準撮影画像から抽出される複数の面に対応した面の構成を有する仮想3次元空間モデルと、前記空間の寸法とに基づき、前記空間に対応する、複数の面で構成される仮想3次元空間を生成する空間生成部と、
前記仮想3次元空間の各面に、前記基準撮影画像から抽出される複数の面のうち対応する面の画像を関連付ける面画像付与部と、
模擬対象である模擬対象カメラの仕様が示される模擬対象カメラ情報を管理する模擬対象カメラ情報管理部と、
前記模擬対象カメラ情報に示される前記模擬対象カメラの仕様に基づき、前記面画像付与部により面画像が関連付けられた後の仮想3次元空間を加工して、前記模擬対象カメラ前記空間撮影した場合の画像を模擬する撮影画像模擬部とを有することを特徴とする情報処理装置。
【請求項2】
前記情報処理装置は、更に、
前記撮影画像模擬部に模擬させる撮影画像の撮影条件が示される撮影条件情報を入力する撮影条件情報入力部を有し、
前記撮影画像模擬部は、
前記模擬対象カメラ情報に示される前記模擬対象カメラの仕様及び前記撮影条件情報に示される前記撮影条件に基づき、前記面画像付与部により面画像が関連付けられた後の仮想3次元空間を加工して、前記撮影条件での前記模擬対象カメラによる前記空間の撮影画像を模擬することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記撮影条件情報入力部は、
前記撮影条件として、前記模擬対象カメラの視点位置及び視野範囲のうちの少なくともいずれかが示される撮影条件情報を入力することを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記模擬対象カメラ情報管理部は、
前記模擬対象カメラの仕様として、前記模擬対象カメラの画角の仕様及び画質の仕様のうちの少なくともいずれかが示される模擬対象カメラ情報を管理することを特徴とする請求項1〜3のいずれかに記載の情報処理装置。
【請求項5】
前記情報処理装置は、更に
前記面画像付与部により面画像が関連付けられた後の仮想3次元空間内の任意の位置に人物の画像を設定する人物画像設定部を有することを特徴とする請求項1〜4のいずれかに記載の情報処理装置。
【請求項6】
前記情報処理装置は、更に、
複数の仮想3次元空間モデルを管理する空間モデル管理部と、
前記複数の仮想3次元空間モデルを前記情報処理装置のユーザに表示し、前記基準撮影画像から抽出される複数の面に対応した面の構成を有する仮想3次元空間モデルを前記複数の仮想3次元空間モデルの中から前記ユーザに選択させる空間モデル設定部とを有し、
前記空間生成部は、
前記基準撮影画像と、前記ユーザにより選択された仮想3次元空間モデルと、前記空間の寸法とに基づき、前記空間に対応する仮想3次元空間を生成することを特徴とする請求項1〜5のいずれかに記載の情報処理装置。
【請求項7】
前記情報処理装置は、更に、
複数の仮想3次元空間モデルを管理する空間モデル管理部と、
前記基準撮影画像を解析して前記基準撮影画像から複数の面を抽出し、抽出した複数の面に対応した面の構成を有する仮想3次元空間モデルを選択する空間モデル設定部とを有し、
前記空間生成部は、
前記基準撮影画像と、前記空間モデル設定部により選択された仮想3次元空間モデルと、前記空間の寸法とに基づき、前記空間に対応する仮想3次元空間を生成することを特徴とする請求項1〜6のいずれかに記載の情報処理装置。
【請求項8】
前記情報処理装置は、更に、
前記基準撮影画像から、前記複数の面の各面の画像を抽出する面画像抽出部を有し、
前記面画像付与部は、
前記仮想3次元空間の面ごとに、前記面画像抽出部により抽出された、対応する面の画像を関連付けることを特徴とする請求項1〜7のいずれかに記載の情報処理装置。
【請求項9】
前記情報処理装置は、更に、
基準撮影画像と、仮想3次元空間モデルとを重畳させて表示し、前記情報処理装置のユーザに前記基準撮影画像における各面の領域及び前記仮想3次元空間モデルにおける各面の領域を指定させる面領域設定部を有し、
前記面画像抽出部は、
前記ユーザにより指定された前記基準撮影画像における各面の領域及び前記仮想3次元空間モデルにおける各面の領域に基づき、前記仮想3次元空間の面ごとに、前記基準撮影画像内の対応する面の画像を関連付けることを特徴とする請求項1〜8のいずれかに記載の情報処理装置。
【請求項10】
前記情報処理装置は、更に、
前記情報処理装置のユーザに前記空間の寸法を指定させるためのガイド枠を、前記基準撮影画像と前記仮想3次元空間モデルとに重畳させて表示し、前記ユーザに前記空間の寸法を指定させる空間寸法設定部を有することを特徴とする請求項1〜9のいずれかに記載の情報処理装置。
【請求項11】
コンピュータが、空間を撮影した静止撮影画像であって複数の面が抽出される静止撮影画像である基準撮影画像と、前記基準撮影画像から抽出される複数の面に対応した面の構成を有する仮想3次元空間モデルと、前記空間の寸法とに基づき、前記空間に対応する、複数の面で構成される仮想3次元空間を生成する空間生成ステップと、
前記コンピュータが、前記仮想3次元空間の各面に、前記基準撮影画像から抽出される複数の面のうち対応する面の画像を関連付ける面画像付与ステップと、
前記コンピュータが、模擬対象である模擬対象カメラの仕様が示される模擬対象カメラ情報を管理する模擬対象カメラ情報管理ステップと、
前記コンピュータが、前記模擬対象カメラ情報に示される前記模擬対象カメラの仕様に基づき、前記面画像付与ステップにより面画像が関連付けられた後の仮想3次元空間を加工して、前記模擬対象カメラ前記空間撮影した場合の画像を模擬する撮影画像模擬ステップとを有することを特徴とする情報処理方法。
【請求項12】
空間を撮影した静止撮影画像であって複数の面が抽出される静止撮影画像である基準撮影画像と、前記基準撮影画像から抽出される複数の面に対応した面の構成を有する仮想3次元空間モデルと、前記空間の寸法とに基づき、前記空間に対応する、複数の面で構成される仮想3次元空間を生成する空間生成ステップと、
前記仮想3次元空間の各面に、前記基準撮影画像から抽出される複数の面のうち対応する面の画像を関連付ける面画像付与ステップと、
模擬対象である模擬対象カメラの仕様が示される模擬対象カメラ情報を管理する模擬対象カメラ情報管理ステップと、
前記模擬対象カメラ情報に示される前記模擬対象カメラの仕様に基づき、前記面画像付与ステップにより面画像が関連付けられた後の仮想3次元空間を加工して、前記模擬対象カメラ前記空間撮影した場合の画像を模擬する撮影画像模擬ステップとをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想3次元空間を生成し、生成した仮想3次元空間を加工して模擬対象カメラの撮影画像を模擬する技術に関する。
【背景技術】
【0002】
例えば、監視カメラの販促ツール用途や監視カメラ設置時のSEツール用途として、監視カメラの設置に先立って、監視カメラを様々な撮影方向で設置した場合を想定した模擬撮影画像を見たい(見せたい)というニーズがある。
当然ながら、デジタルカメラ等を用いて現地で想定撮影方向の画像を撮っておくことで対応は可能であるが、あらゆる想定画像を用意することは困難である。
そこで、現地の構造(実空間)に合わせて生成された仮想3次元空間(3Dポリゴン)に現地の撮影画像を貼り付けて表示することで、様々な撮影方向からのカメラ画像を高精度でシミュレート表示する技術が開発されている。
【0003】
例えば、特許文献1では、1枚のデジタル写真から部屋、家具などの物体の3次元コンピュータグラフィックスモデルを対話的に作成する方法が開示されている。
この従来方式では、ユーザの操作により画像上の撮影物体に合わせて物体形状を示す輪郭線を設定することで、2次元画像から仮想3次元空間を生成している。
【0004】
また、例えば特許文献2では、2次元撮影画像から仮想3次元空間を生成する方法が開示されている。
この従来方式では、2次元画像中のエッジ情報や消失点情報を用いて平面方程式を算出し、それを利用して仮想3次元空間を自動生成することで設定作業の効率化を図っている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−165124号公報
【特許文献2】特開2008−204458号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
監視カメラのシミュレートにおいては、設置するカメラの機種に応じた画角・画質でのシミュレート表示が求められる。
しかし、従来例である特許文献1の3次元コンピュータグラフィックスモデル生成方法を用いた場合、2次元画像上の物体形状情報から仮想3次元空間を生成・表示することで任意の撮影方向画像を模擬表示できるが、画角・画質に関しては2次元画像の撮影に用いたカメラの仕様に依存する。
つまり、仮想3次元空間で得られる画角・画質は、2次元画像の撮影に用いたカメラの画角・画質のままであり、シミュレート対象の監視カメラの画角・画質を仮想3次元空間に反映させることができない。
また、物体形状を示す輪郭線をユーザが全て手動で設定する必要があり、作業負荷が高い。
【0007】
一方、特許文献2の仮想3次元空間モデル生成方法では、例えばビルの外観を撮影した場合など、客体がシンプルな形状(構造)を持つ画像に対しては、撮影画像中のエッジ情報や消失点情報を用いた仮想3次元空間の自動生成によって設定作業負荷を軽減できる。
しかし、マンション内の通路などの閉空間中で撮影した画像では、撮影画像中の実空間にはしばしば梁や柱などが含まれており、様々なエッジ情報が抽出されるため、実空間を高精度に再現することが困難である。
【0008】
本発明は、上述のような課題を解決することを主な目的としており、模擬対象のカメラの仕様に応じた撮影画像の模擬表示を可能とすることを主な目的とする。
【課題を解決するための手段】
【0009】
本発明に係る情報処理装置は、
空間を撮影した静止撮影画像であって複数の面が抽出される静止撮影画像である基準撮影画像と、前記基準撮影画像から抽出される複数の面に対応した面の構成を有する仮想3次元空間モデルと、前記空間の寸法とに基づき、前記空間に対応する、複数の面で構成される仮想3次元空間を生成する空間生成部と、
前記仮想3次元空間の各面に、前記基準撮影画像から抽出される複数の面のうち対応する面の画像を関連付ける面画像付与部と、
模擬対象である模擬対象カメラの仕様が示される模擬対象カメラ情報を管理する模擬対象カメラ情報管理部と、
前記模擬対象カメラ情報に示される前記模擬対象カメラの仕様に基づき、前記面画像付与部により面画像が関連付けられた後の仮想3次元空間を加工して、前記模擬対象カメラによる前記空間の撮影画像を模擬する撮影画像模擬部とを有する。
【発明の効果】
【0010】
本発明によれば、模擬対象カメラ情報に示される模擬対象カメラの仕様に基づき仮想3次元空間を加工するため、模擬対象カメラの仕様を反映させて、模擬対象カメラの撮影画像を模擬することができる。
【図面の簡単な説明】
【0011】
図1】実施の形態1に係るカメラ撮影画像シミュレータ装置の構成例を示す図。
図2】実施の形態1に係るカメラ撮影画像シミュレータ装置の動作例を示すフローチャート図。
図3】実施の形態1に係るステップST102〜ST105の設定操作イメージを示す図。
図4】実施の形態1に係るステップST106の設定操作イメージを示す図。
図5】実施の形態1に係るステップST107〜ST109の設定操作イメージを示す図。
図6】実施の形態2に係るカメラ撮影画像シミュレータ装置の動作例を示すフローチャート図。
図7】実施の形態1に係る基準撮影画像の例を示す図。
図8】実施の形態1及び2に係るカメラ撮影画像シミュレータ装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【0012】
実施の形態1.
本実施の形態では、シミュレート対象のカメラの機種に応じた撮影画像の模擬表示を可能とするカメラ撮影画像シミュレータ装置を説明する。
本実施の形態に係るカメラ撮影画像シミュレータ装置は、閉空間で撮影された画像においても、仮想3次元空間の設定作業を軽減することができる。
【0013】
本実施の形態では、カメラ撮影画像シミュレータ装置において、3次元空間モデルをユーザが選択設定してシミュレート画像を表示する例を説明する。
特に想定される使用方法としては、監視カメラ設置時において、設置位置、方向、画角を事前調整・確認したい場合が挙げられる。
【0014】
図1は、本実施の形態におけるカメラ撮影画像シミュレータ装置100の構成例を示すブロック図である。
なお、カメラ撮影画像シミュレータ装置100は、情報処理装置の例に相当する。
【0015】
図1において、カメラ撮影画像シミュレータ装置100は、例えば、図1に示す「〜部」をソフトウェアプログラムとして含む汎用PC(Personal Computer)である。
また、カメラ撮影画像シミュレータ装置100は、スマートフォンでもよいし、タブレット端末でもよい。
カメラ撮影画像シミュレータ装置100は、図示を省略しているが、表示装置(ディスプレイ等)及び入力装置(マウス、キーボード、操作キー)等を有している。
また、カメラ撮影画像シミュレータ装置100は、表示装置と入力装置を兼ねたタッチパネル式のディスプレイを有していてもよい。
【0016】
記録装置101は、デジタルカメラ等により撮影された静止撮影画像を記録する。
本実施の形態では、建物内の通路のような閉空間(複数の面で構成される空間)を撮影した撮影画像が記録装置101に記録されているものとする。
なお、記録装置101に記録される撮影画像は、仮想3次元空間の生成、模擬撮影画像の生成の基準となる撮影画像であり、基準撮影画像である。
記録装置101は、ハードディスクやSSD(Solid State Drive)のような内蔵ドライブでもよいし、SD(登録商標)カードなどの外部記録メディアでもよいし、一時記憶メモリ(RAM:Random Access Memory)でもよい。
【0017】
模擬対象カメラ情報管理部110は、模擬対象である模擬対象カメラ(例えば、監視カメラ)の仕様が示される模擬対象カメラ情報を管理する。
模擬対象カメラ情報には、模擬対象カメラの仕様として、例えば、模擬対象カメラの画角(水平角度、垂直角度)の仕様、画質の仕様、ズーム倍率の仕様、データ圧縮時の圧縮比率の仕様等が示される。
【0018】
空間モデル管理部111は、複数の仮想3次元空間モデルを管理する。
例えば、空間モデル管理部111は、図3(a)に示すような複数の仮想3次元空間モデルの情報を記憶している。
【0019】
空間モデル設定部112は、空間モデル管理部111が管理している複数の仮想3次元空間モデルを表示装置に表示し、基準撮影画像に表されている空間の面構成に対応する仮想3次元空間モデルをユーザに選択させる。
【0020】
面領域設定部113は、基準撮影画像と、ユーザによって選択された仮想3次元空間モデルとを重畳させて表示装置に表示し、ユーザに基準撮影画像における各面の領域及び仮想3次元空間モデルにおける各面の領域を指定させる。
【0021】
距離情報設定部114は、基準撮影画像に表される空間の寸法をユーザに指定させる。
例えば、距離情報設定部114は、ユーザに空間の寸法を指定させるためのガイド枠を、基準撮影画像と仮想3次元空間モデルとに重畳させて表示し、ユーザに空間の寸法を指定させる。
【0022】
面画像抽出部115は、基準撮影画像から、空間の各面の画像を抽出する。
【0023】
空間生成部116は、基準撮影画像と、仮想3次元空間モデルと、空間の寸法とに基づき、空間に対応する、複数の面で構成される仮想3次元空間を生成する。
【0024】
面画像付与部117は、空間生成部116により生成された仮想3次元空間の各面に、基準撮影画像内の対応する面の画像(面画像抽出部115により抽出された面の画像)を関連付ける。
【0025】
空間表示部118は、模擬対象カメラ情報を入力し、また、模擬撮影画像の撮影条件が示される撮影条件情報を入力する。
そして、空間表示部118は、模擬対象カメラ情報に示される模擬対象カメラの仕様及び撮影条件情報に示される撮影条件に基づき、面画像付与部117により面画像が関連付けられた後の仮想3次元空間を加工して、前記撮影条件での模擬対象カメラによる空間の撮影画像を模擬する。
撮影条件情報には、撮影条件として、模擬対象カメラの視点位置、視野範囲等が示される。
ユーザは、撮影条件情報において様々な視点位置、視野範囲を設定することで、模擬撮影画像の視点位置、視野範囲を変更することができる。
空間表示部118は、撮影画像模擬部及び撮影条件情報入力部の例に相当する。
【0026】
人物画像設定部119は、仮想3次元空間内の任意の位置に人物の画像を設定する。
人物画像設定部119は、実施の形態2で説明する。
【0027】
次に、図2図5を参照して、本実施の形態に係るカメラ撮影画像シミュレータ装置100の動作例を説明する。
なお、図2は、カメラ撮影画像シミュレータ装置100の動作例のフローチャートである。
図3図2のステップST102〜ST105の設定操作イメージである。
図4図2のステップST106の設定操作イメージであり、奥行の距離を入力する際に対象地点を指定するためのガイド枠を表示している様子であり、点をドラッグ操作することで任意の2点間距離を入力できる。
図5図2のステップST107〜ST109の処理イメージである。
【0028】
ユーザは、デジタルカメラなどを用いて撮影したシミュレート表示したい場所(監視カメラなら設置予定場所)の撮影画像1枚(基準撮影画像)をカメラ撮影画像シミュレータ装置100に入力する(ステップST101)。
入力された基準撮影画像は、記録装置101で記録される。
以降では、例えば、図7に示す基準撮影画像が入力されたものとする。
【0029】
空間モデル設定部112は、空間モデル管理部111から得られる複数の仮想3次元空間モデルをユーザに提示する(ステップST102)。
空間モデル設定部112は、例えば、図3(a)のような複数の仮想3次元空間モデルをユーザに提示する。
空間モデル管理部111で管理される仮想3次元空間モデルは、天井・床・壁・柱・梁などが様々な組み合わせで構成されたものであり、一般的に監視カメラの撮影画像によく現れる空間パターンとして抽出されたものである。
なお、仮想3次元空間モデルの表示とともに、基準撮影画像を表示する。
【0030】
ユーザは、基準撮影画像に写された現地の構造(実空間)に近い仮想3次元空間モデルを選択する(ステップST103)。
【0031】
次に、面領域設定部113は、ステップST103で選択された仮想3次元空間モデルをもとに、ステップST101で入力された基準撮影画像上に各面(天井・床など)の境界線を重畳して表示し(ステップST104)、基準撮影画像における各面の領域及び仮想3次元空間モデルにおける各面の領域を設定する(ステップST105)。
例えば、図3(b)にように、基準撮影画像に重畳させて、仮想3次元空間モデルの各面の境界線を表示する。
図3(b)において、破線が仮想3次元空間モデルの各面の境界線である。
また、面領域設定部113は、ユーザに基準撮影画像における各面の領域及び仮想3次元空間モデルにおける各面の領域を指定させる。
図3(b)の境界線の交点はマウスのドラッグ操作で移動可能となっており、ユーザが基準撮影画像中の現地構造に合うようにこの境界線を操作することで各面の領域が設定される。
【0032】
次に、距離情報設定部114は、距離情報を設定する(ステップST106)。
より具体的には、距離情報設定部114は、基準撮影画像上にステップST105で設定された各面の境界線を重畳して表示し、更に、距離情報の指定のためのガイド枠を重畳して表示する。
距離情報設定部114は、図4のように、基準撮影画像、仮想3次元空間モデルの各面の境界線及びガイド枠を重畳して表示する。
なお、図4において、破線が仮想3次元空間モデルの各面の境界線であり、一点鎖線がガイド枠である。
図4のガイド枠はマウスのドラッグ操作で伸縮可能となっており、ユーザがガイド枠の幅を伸縮させて空間内のどの部位の距離を定義するのかを決めることができる。
そして、ユーザはテキストボックスに距離の値を入力する。
図4では、奥行距離を指定する例が示されているが、ユーザは、空間における高さ、幅の距離も指定する。
【0033】
次に、面画像抽出部115は、ステップST105で設定された面領域に従い、基準撮影画像に対して透視投影変換と領域切り出しを行い、ステップST103で設定された仮想3次元空間モデルが持つ面の形状に合う面画像を生成する(ステップST107)。
なお、ステップST107はステップST103で設定された仮想3次元空間モデルが持つ面の数だけ繰り返し実行する。
つまり、面画像抽出部115は、ステップST105で設定された基準撮影画像における各面領域の画像を基準撮影画像から抽出し、抽出した各面の画像を、仮想3次元空間モデル上の対応面の形状(長方形)に合わせて補正して、面画像を生成する。
【0034】
次に、空間生成部116は、ステップST103で設定された仮想3次元空間モデルと、ステップST105で設定された面領域、ステップST106で設定された距離情報に従い、3Dポリゴンによる仮想3次元空間を生成する(ステップST108)。
【0035】
次に、面画像付与部117は、ステップST108で生成された仮想3次元空間の各面のテクスチャとしてステップST107で生成された面画像を貼り合わせる(ステップST109)。
図5は、面画像の仮想3次元空間への貼り合わせのイメージを示している。
図5では、基準撮影画像の(1)〜(5)の各面の画像を、仮想3次元空間の各面に合わせて分解・変形して面画像(1)〜(5)を生成し、生成した面画像(1)〜(5)を、仮想3次元空間の(1)〜(5)の各面に貼り合わせている。
【0036】
空間表示部118は、ステップST109で面画像が貼り合わされた仮想3次元空間を表示する(ステップST110)。
このとき、空間表示部118は、模擬対象カメラ情報管理部110から得られる模擬対象カメラ情報内の模擬対象カメラの画角仕様に合わせて視野設定を行うとともに、画像品質設定に合わせて面画像をリサンプリングして、模擬対象カメラが基準撮影画像に表されている空間を撮影した場合の画像を模擬し、模擬した撮影画像を表示装置に表示する。
これにより、ステップST108で生成された仮想3次元空間に対し、視点方向・位置、視野設定を変更することで、現地撮影画像による任意視点・位置・画角でのカメラ撮影画像をシミュレート表示することが可能となる。
【0037】
ここで、ステップST101では、1枚の実写画像を入力しているが、その1枚の画像は広範囲を撮影したパノラマ画像などを入力してもよいし、同箇所から撮影した複数枚の実写画像を用いて1枚の画像に合成してもよい。
【0038】
また、ステップST105では、境界線の交点をドラッグ操作することで面領域を設定しているが、例えば境界線自体をドラッグ・回転操作することで面領域を設定してもよい。
ステップST106で距離情報を入力する際、高さと幅はどちらか一方のみの入力でよいし、高さ・幅・奥行の入力の際、それぞれを表す辺の一部の長さを入力するだけでもよい。
【0039】
以上のように、本実施の形態によれば、任意機種・任意視点のカメラ撮影画像をシミュレート表示できる。
また、その際、1枚の基準撮影画像のみを用い、また仮想3次元空間モデルを選択設定するため、現地における作業負荷、設定時の作業負荷を軽減できる。
【0040】
このように、本実施の形態によれば、シミュレート対象カメラの仕様情報を保持する模擬対象カメラ情報管理部と、実空間に対応する面構成を持つ仮想3次元空間モデルを設定する空間モデル設定部と、撮影画像上で各面の境界を設定する面領域設定部と、撮影画像上で実空間の距離情報を設定する距離情報設定部と、撮影画像から仮想3次元空間の各面の画像を生成する面画像抽出部と、仮想3次元空間を生成する空間生成部と、面画像を仮想3次元空間の各面に関連付ける面画像付与部と、仮想3次元空間を表示する空間表示部を備えることで、シミュレート対象のカメラ機種に応じた画角・画質であらゆる撮影方向のカメラ画像を模擬表示することが可能となる。
また、実空間の面構造を想定した複数の仮想3次元空間モデルを管理する空間モデル管理部を備えるため、閉空間中など複雑な面構造を持つ撮影画像を用いた場合でも、実空間に近い仮想3次元空間モデルを選択して面構造を特定することで、各面の境界情報を高精度で設定できるうえ、設定作業を効率化できる。
【0041】
実施の形態2.
本実施の形態では、カメラ撮影画像シミュレータ装置100において、仮想3次元空間モデルを自動で選択設定してシミュレート画像を表示し、さらに通行人を想定した人物画像をシミュレート画像上に表示する例を説明する。
本実施の形態におけるカメラ撮影画像シミュレータ装置100の構成例は図1に示すとおりである。
また、本実施の形態に係るカメラ撮影画像シミュレータ装置100の動作例は、図6に示す。
以下では、主に実施の形態1と異なる部分を、図6を参照して説明する。
【0042】
ユーザは、シミュレート表示したい場所(監視カメラなら設置予定場所)の撮影画像1枚を基準撮影画像としてカメラ撮影画像シミュレータ装置100に入力する(ステップST201)。
【0043】
空間モデル設定部112は、ステップST201で入力された撮影画像に対し、ハフ変換を行うことで直線情報を抽出する(ステップST202)。
【0044】
次に、空間モデル設定部112は、ステップST202で抽出された直線群から、各直線がなす交点を全て算出し、最も多くの直線がなす交点を消失点とみなす(ステップST203)。
【0045】
次に、空間モデル設定部112は、消失点を通る直線のうち線上に3直線以上からなる交点を持つものを面境界の線とみなす(ステップST204)。
【0046】
次に、空間モデル設定部112は、ステップST204で得られた面境界線の数、方向(ベクトル)から、面の構成を推定し、基本となる仮想3次元空間モデルを、空間モデル管理部111で管理されている複数の仮想3次元空間モデルの中から自動選択する(ステップST205)。
【0047】
次に、面領域設定部113は、ステップST205で選択された仮想3次元空間モデルをもとに、ステップST201で入力された撮影画像上に各面(天井・床など)の境界線を重畳して表示するが、このときステップST204で得られた面境界の線を初期表示する(ステップST206)。
同境界に複数の線がある場合にはより交点の多いものを選ぶ。
【0048】
以降、ステップST207〜ST212は、実施の形態1のステップST105〜ST110と同様である。
【0049】
人物画像設定部119は、ステップST212で表示された仮想3次元空間の床面上で任意に指定された地点に、仮想3次元空間と同スケールの人物画像を表示する(ST213)。
【0050】
これにより、ステップST211で生成・表示された仮想3次元空間と、ステップST213で表示された人物画像に対し、視点方向・位置、視野設定を変更することで、現地撮影画像による任意視点・位置・画角でのカメラ撮影画像をシミュレート表示することが可能となる。
【0051】
以上のように、本実施の形態によれば、任意機種・任意視点のカメラ撮影画像をシミュレート表示する際、仮想3次元空間モデルを自動選択するとともに、面領域設定を半自動化するため、設定時の作業負荷を実施の形態1に比べてさらに軽減できる。
また、模擬表示したカメラ画像上で併せて任意位置の通行人の写り方も模擬することができ、人物画像を見ることで、実際に通行人を撮影した場合にはどのような大きさ・画質で撮影されるかを併せて確認できる。
【0052】
以上、実施の形態1及び2では、
定視点の撮影画像をもとに任意設置時のカメラ画像を模擬表示するカメラ撮影画像シミュレート方式において、
シミュレート対象カメラの仕様情報を保持するカメラ情報管理手段と、
実空間に対応する面構成を持つ仮想3次元空間モデルを設定する空間モデル設定手段と、
前記空間モデル設定手段で設定された空間モデル情報に基づいて撮影画像上で各面の境界を設定する面情報設定手段と、
前記空間モデル設定手段で設定された空間モデル情報に基づいて撮影画像上で実空間の距離情報を設定する距離情報設定手段と、
前記面情報設定手段で設定された面情報に基づいて撮影画像から仮想3次元空間の各面の画像を生成する面画像生成手段と、
前記空間モデル設定手段で設定された空間モデル情報と前記距離情報設定手段で設定された距離情報に基づいて仮想3次元空間を生成する空間生成手段と、
前記面画像生成手段で生成された面画像を前記空間生成手段で生成された仮想3次元空間の各面に関連付ける面画像付与手段と、
前記空間生成手段で生成された仮想3次元空間を表示する空間表示手段を備えるカメラ撮影画像シミュレート方式を説明した。
【0053】
また、実施の形態2では、
前記空間生成手段で生成された仮想3次元空間内の任意位置に人物の画像を表示する人物表示手段を備えるカメラ撮影画像シミュレート方式を説明した。
【0054】
また、実施の形態1及び2では、
撮影画像に写っている実空間の面構成を想定した複数の仮想3次元空間モデルを管理する空間モデル管理手段を備えるカメラ撮影画像シミュレート方式を説明した。
【0055】
また、実施の形態2では、
前記空間モデル設定手段において、
撮影画像の画像解析によって面構造を認識することで、前記空間モデル管理手段から得られる複数の仮想3次元空間モデルから、撮影画像に写っている実空間に近い仮想3次元空間モデルを選択して設定することを説明した。
【0056】
また、実施の形態1及び2では、
前記面情報設定手段において、
撮影画像の画像解析によって面構造を認識することで、各面の境界を設定することを説明した。
【0057】
また、実施の形態1及び2では、
前記空間表示手段において、
前記空間生成手段で生成された仮想3次元空間に対する視点の位置や視野の範囲を変更することで任意のカメラ設置位置・画角の画像を模擬表示することを説明した。
【0058】
また、実施の形態1及び2では、
前記空間表示手段において、
前記カメラ情報管理手段から得られるシミュレート対象カメラの仕様に応じて、カメラ画角の変更範囲を調整することを説明する。
【0059】
また、実施の形態1及び2では、
前記空間表示手段において、
前記カメラ情報管理手段から得られるシミュレート対象カメラの画像品質指標値に応じて、画像を変換してカメラ画像の画質を模擬することを説明した。
【0060】
また、実施の形態1及び2では、
前記距離情報設定手段において、
前記面情報設定手段で設定された面情報に基づいてガイド枠を表示し、任意の2点間の奥行距離情報を設定することを説明した。
【0061】
最後に、実施の形態1及び2に示したカメラ撮影画像シミュレータ装置100のハードウェア構成例を図8を参照して説明する。
カメラ撮影画像シミュレータ装置100はコンピュータ(スマートフォン、タブレット端末を含む)であり、カメラ撮影画像シミュレータ装置100の各要素をプログラムで実現することができる。
カメラ撮影画像シミュレータ装置100のハードウェア構成としては、バスに、演算装置901、外部記憶装置902、主記憶装置903、通信装置904、入出力装置905が接続されている。
【0062】
演算装置901は、プログラムを実行するCPU(Central Processing Unit)である。
外部記憶装置902は、例えばROM(Read Only Memory)やフラッシュメモリ、ハードディスク装置である。
主記憶装置903は、RAMである。
記録装置101は、外部記憶装置902又は主記憶装置903で実現される。
通信装置904は、例えば、NIC(Network Interface Card)である。
入出力装置905は、例えばマウス、キーボード、ディスプレイ装置等である。
【0063】
プログラムは、通常は外部記憶装置902に記憶されており、主記憶装置903にロードされた状態で、順次演算装置901に読み込まれ、実行される。
プログラムは、図1に示す「〜部」として説明している機能を実現するプログラムである。
更に、外部記憶装置902にはオペレーティングシステム(OS)も記憶されており、OSの少なくとも一部が主記憶装置903にロードされ、演算装置901はOSを実行しながら、図1に示す「〜部」の機能を実現するプログラムを実行する。
また、実施の形態1及び2の説明において、「〜の判断」、「〜の判定」、「〜の抽出」、「〜の生成」、「〜の設定」、「〜の貼り合わせ」、「〜の選択」、「〜の入力」、「〜の出力」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置903にファイルとして記憶されている。
また、暗号鍵・復号鍵や乱数値やパラメータが、主記憶装置903にファイルとして記憶されてもよい。
【0064】
なお、図8の構成は、あくまでもカメラ撮影画像シミュレータ装置100のハードウェア構成の一例を示すものであり、カメラ撮影画像シミュレータ装置100のハードウェア構成は図8に記載の構成に限らず、他の構成であってもよい。
【0065】
また、実施の形態1及び2に示す手順により、本発明に係る情報処理方法を実現可能である。
【0066】
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、2つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、2つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0067】
100 カメラ撮影画像シミュレータ装置、101 記録装置、110 模擬対象カメラ情報管理部、111 空間モデル管理部、112 空間モデル設定部、113 面領域設定部、114 距離情報設定部、115 面画像抽出部、116 空間生成部、117 面画像付与部、118 空間表示部、119 人物画像設定部。
図1
図2
図3
図4
図5
図6
図7
図8