特許 6386263 画像形成装置、画像形成システム及び画像形成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6386263

(24)【登録日】2018年8月17日

(45)【発行日】2018年9月5日

(54)【発明の名称】画像形成装置、画像形成システム及び画像形成プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20180827BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2014-131287(P2014-131287)

(22)【出願日】2014年6月26日

(65)【公開番号】特開2016-9432(P2016-9432A)

(43)【公開日】2016年1月18日

【審査請求日】2017年4月12日

(73)【特許権者】

【識別番号】000221616

【氏名又は名称】東日本旅客鉄道株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100083839

【弁理士】

【氏名又は名称】石川 泰男

(72)【発明者】

【氏名】田原 孝

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１３−９２８８７（ＪＰ，Ａ）

【文献】 特開２０１３−８６７４０（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０１６８６２（ＷＯ，Ａ１）

【文献】 “第２部＜活用事例＞ 各用途でアプリを充実 リアルタイム性で価値を高める”，日経エレクトロニクス，日本，日経ＢＰ社，２０１３年 ４月 １日，第１１０５号，p.38-44

【文献】 齋藤修, 外２名，“ホームドア実導入に向けた研究開発”，JR EAST Technical Review, [online]，２０１０年，第３３号，p.35-38，[平成３０年 ４月１０日検索], インターネット＜ＵＲＬ：https://www.jreast.co.jp/development/tech/pdf_33/Tech-33-35-38.pdf＞

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

構造物を表す３次元VR（Virtual Reality）モデルを記憶する記憶手段と、
前記構造物を設置する現場とマーカを撮影範囲内に含む撮影画像を取得する画像取得手段と、
前記撮影画像に写るマーカを基準として、前記撮影画像に前記３次元VRモデルを重畳させた重畳画像を形成する形成手段と、
現実空間における前記マーカを基準とする所定位置からの方向及び実距離を示す実情報を取得する実情報取得手段と、
前記実情報の示す方向及び実距離に基づいて、前記実距離に対応する前記撮影画像における画像内距離を算出する画像内距離算出手段を備え、
前記形成手段は、前記撮影画像内の前記所定位置を基準として、前記実情報の示す方向及び前記画像内距離に基づいて、前記３次元VRモデルを重畳させた重畳画像を形成することを特徴とする画像形成装置。

【請求項2】

請求項１に記載の画像形成装置であって、
前記画像取得手段が取得した撮影画像内の前記マーカの形状から３次元位置姿勢を算出する算出手段を更に備え、
前記形成手段は、前記算出手段が算出した算出結果に基づいて、前記撮影画像に前記３次元VRモデルを重畳させた重畳画像を形成することを特徴とする画像形成装置。

【請求項3】

請求項１又は２に記載の画像形成装置であって、
前記重畳画像における前記３次元VRモデルの重畳位置又は重畳角度を修正する修正操作の操作内容を取得する修正操作内容取得手段を更に備え、
前記形成手段は、前記修正操作内容取得手段が取得した操作内容に従って、前記重畳画像における前記３次元VRモデルの重畳位置又は重畳角度を更新することを特徴とする画像形成装置。

【請求項4】

請求項１乃至３の何れか一項に記載の画像形成装置であって、
前記記憶手段は、複数種類の前記構造物を表す３次元VRモデルを記憶し、
何れかの種類の前記構造物を表す３次元VRモデルを選択するための選択操作の操作内容を取得する選択操作内容取得手段を更に備え、
前記形成手段は、前記選択操作内容取得手段が取得した操作内容により特定される種類の前記構造物を表す３次元VRモデルを重畳させた重畳画像を形成することを特徴とする画像形成装置。

【請求項5】

請求項１乃至４の何れか一項に記載の画像形成装置であって、
前記構造物はホームドアであり、
前記現場はホームであり、
前記３次元VRモデルは、ホームに関する条件に応じて構築されていることを特徴とする画像形成装置。

【請求項6】

請求項１乃至５の何れか一項に記載の画像形成装置と、前記撮影画像を撮影するカメラを含むことを特徴とする画像形成システム。

【請求項7】

構造物を表す３次元VR（Virtual Reality）モデルを記憶する記憶手段を備える画像形成装置に含まれるコンピュータを、
前記構造物を設置する現場とマーカを撮影範囲内に含む撮影画像を取得する画像取得手段、
前記撮影画像に写るマーカを基準として、前記撮影画像に前記３次元VRモデルを重畳させた重畳画像を形成する形成手段、
現実空間における前記マーカを基準とする所定位置からの方向及び実距離を示す実情報を取得する実情報取得手段、
前記実情報の示す方向及び実距離に基づいて、前記実距離に対応する前記撮影画像における画像内距離を算出する画像内距離算出手段として機能させる画像形成プログラムであって、
前記形成手段として機能する前記コンピュータは、前記撮影画像内の前記所定位置を基準として、前記実情報の示す方向及び前記画像内距離に基づいて、前記３次元VRモデルを重畳させた重畳画像を形成することを特徴とする画像形成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、構造物が設置される現場を撮影した画像に構造物を表すCG（Computer Graphics）を重畳させた画像を形成する画像形成装置等の技術分野に関する。

【背景技術】

【0002】

近年、鉄道の駅のプラットホーム（以下、「ホーム」という）における利用者の安全性を向上させるために可動式プラットホーム柵（以下、「ホームドア」という）の整備が進められている。ホームドアの設置計画策定に当たっては、ヘッドマウントディスプレイを用いて、複合現実感によってホーム上に仮想設置したホームドアを視認することによる検討が行われている。しかしながら、ヘッドマウントディスプレイを用いて複合現実感を実現するシステムは高額であるため、また、異なる駅に対しての視認性を確認するためには、新たに個々の仮想空間を作りこまなくてはならず、多大な労力及び時間を要するため気軽に使用できない場合がある。

【0003】

一方で、複合現実感のようにカメラで撮影した画像に３次元VR（Virtual Reality）モデルを重畳する方法についていくつか提案がなされており、特許文献１には、現場の状況確認のために設置される監視カメラの映像に、構造物の３次元VRモデルを重畳する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１３５２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術は、３次元絶対座標を用いて画像に構造物の３次元VRモデルを重畳するもので、画像における正確な位置に３次元VRモデルを重畳させることが可能となっている。その一方で、３次元絶対座標を測量等によって予め求めておく必要があり、３次元VRモデルを重畳させる位置の測量を行うことが困難な場所には適用することが難しい場合がある。

【0006】

本発明は、このような問題等に鑑みて為されたもので、３次元VRモデルを重畳させる位置の３次元絶対座標の測量を必要とせずに、画像内の正確な位置に構造物の３次元VRモデルを重畳した重畳画像を形成することのできる画像形成装置等を提供することを課題とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、請求項１に記載の発明は、構造物を表す３次元VR（Virtual Reality）モデルを記憶する記憶手段と、前記構造物を設置する現場とマーカを撮影範囲内に含む撮影画像を取得する画像取得手段と、前記撮影画像に写るマーカを基準として、前記撮影画像に前記３次元VRモデルを重畳させた重畳画像を形成する形成手段と、現実空間における前記マーカを基準とする所定位置からの方向及び実距離を示す実情報を取得する実情報取得手段と、前記実情報の示す方向及び実距離に基づいて、前記実距離に対応する前記撮影画像における画像内距離を算出する画像内距離算出手段を備え、前記形成手段は、前記撮影画像内の前記所定位置を基準として、前記実情報の示す方向及び前記画像内距離に基づいて、前記３次元VRモデルを重畳させた重畳画像を形成することを特徴とする。

【0008】

請求項１に記載の発明によれば、撮影画像に写るマーカを基準とする所定位置からの方向及び実距離に基づいて構造物を表す３次元VRモデルを重畳させることから、３次元VRモデルを重畳させる位置の３次元絶対座標の測量を必要とせずに、画像内の正確な位置に構造物の３次元VRモデルを重畳した重畳画像を形成することができる。すなわち、所定位置からの方向及び実距離のみを測定するだけで、３次元絶対座標を測量するほどの労力を要せずに、撮影画像における３次元VRモデルを重畳させる位置を決定することができる。また、３次元絶対座標を測量する場合と比較して容易に方向及び実距離を測定することができるので、構造物を設置する位置に関して、複数の位置について検討することも容易となる。

【0009】

構造物は、例えば、ホームドアなどの駅設備を含む。また、駅設備に限らず、駅以外の場所に設置される防音壁などの設備・施設・建物なども含む。

【0010】

なお、撮影画像は、動画像又は静止画像の何れの画像であってもよい。同様に、形成される重畳画像は、動画像に３次元VRモデルを重畳させた画像であってもよいし、又、静止画像に３次元VRモデルを重畳させた画像であってもよい。なお、動画像に３次元VRモデルを重畳させる場合には、既設の監視カメラ等により撮影された動画像を撮影画像として採用することができる。監視カメラは鉄道関連施設が設置される現場近傍に設置されていることが多いので、新たに重畳画像を形成するためのカメラを設けずに済むといったメリットがある。当然、撮影画像は既設の監視カメラにより撮影されたものに限られず、新たに設置したカメラにより撮影されたものであっても構わない。つまり、本願発明の撮影画像は、既設のカメラに限られず新たに設置されたカメラにより撮影されたものを含む。

【0013】

請求項２に記載の発明は、請求項１に記載の画像形成装置であって、前記画像取得手段が取得した撮影画像内の前記マーカの形状から３次元位置姿勢を算出する算出手段を更に備え、前記形成手段は、前記算出手段が算出した算出結果に基づいて、前記撮影画像に前記３次元VRモデルを重畳させた重畳画像を形成することを特徴とする。

【0014】

請求項２に記載の発明によれば、３次元位置姿勢に基づき、撮影画像内の適切な位置に３次元VRモデルを重畳させることができる。

【0015】

請求項３に記載の発明は、請求項１又は２に記載の画像形成装置であって、前記重畳画像における前記３次元VRモデルの重畳位置又は重畳角度を修正する修正操作の操作内容を取得する修正操作内容取得手段を更に備え、前記形成手段は、前記修正操作内容取得手段が取得した操作内容に従って、前記重畳画像における前記３次元VRモデルの重畳位置又は重畳角度を更新することを特徴とする。

【0016】

請求項３に記載の発明によれば、修正操作により、重畳画像における３次元VRモデルの重畳位置又は重畳角度を修正することができる。

【0017】

請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の画像形成装置であって、前記記憶手段は、複数種類の前記構造物を表す３次元VRモデルを記憶し、何れかの種類の前記構造物を表す３次元VRモデルを選択するための選択操作の操作内容を取得する選択操作内容取得手段を更に備え、前記形成手段は、前記選択操作内容取得手段が取得した操作内容により特定される種類の前記構造物を表す３次元VRモデルを重畳させた重畳画像を形成することを特徴とする。なお、複数種類の構造物を表す３次元VRモデルについては、後述する施工段階・ホームドアパラメータによって規定される表示時の形状が異なる各モデルも種類が異なるものと考えることができる。

【0018】

請求項４に記載の発明によれば、複数種類の構造物を表す３次元VRモデルを重畳させた重畳画像を形成することができ、構造物の設置に関して検討する際、複数種類の構造物について検討することが容易となる。

【0019】

請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の画像形成装置であって、前記構造物はホームドアであり、前記現場はホームであり、前記３次元VRモデルは、ホームに関する条件に応じて構築されていることを特徴とする。

【0020】

請求項５に記載の発明によれば、ホームへのホームドアの設置に関する検討を捗らせることができる。また、３次元VRモデルを、ホームの曲線半径や勾配、高さなどホームに関する条件に応じて構築しておくことにより、ホームに関する条件の異なる駅のホームにもすぐに重畳することができる。

【0021】

請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の画像形成装置と、前記撮影画像を撮影するカメラとを含むことを特徴とする。

【0022】

請求項７に記載の発明は、構造物を表す３次元VR（Virtual Reality）モデルを記憶する記憶手段を備える画像形成装置に含まれるコンピュータを、前記構造物を設置する現場とマーカを撮影範囲内に含む撮影画像を取得する画像取得手段、前記撮影画像に写るマーカを基準として、前記撮影画像に前記３次元VRモデルを重畳させた重畳画像を形成する形成手段、現実空間における前記マーカを基準とする所定位置からの方向及び実距離を示す実情報を取得する実情報取得手段、前記実情報の示す方向及び実距離に基づいて、前記実距離に対応する前記撮影画像における画像内距離を算出する画像内距離算出手段として機能させる画像形成プログラムであって、前記形成手段として機能する前記コンピュータは、前記撮影画像内の前記所定位置を基準として、前記実情報の示す方向及び前記画像内距離に基づいて、前記３次元VRモデルを重畳させた重畳画像を形成することを特徴とする画像形成プログラムである。

【発明の効果】

【0023】

本発明によれば、撮影画像に写るマーカを基準とする所定位置からの方向及び実距離に基づいて構造物を表す３次元VRモデルを重畳させることから、３次元VRモデルを重畳させる位置の３次元絶対座標の測量を必要とせずに、画像内の正確な位置に構造物の３次元VRモデルを重畳した重畳画像を形成することができる。

【図面の簡単な説明】

【0024】

【図1】画像形成システムＳの構成の一例を示すブロック図である。

【図2】画像形成装置１の構成を示すブロック図である。

【図3】複数種類のホームドアの３次元VRモデルの例を示す図である。

【図4】ホームドアの設置現場とマーカを撮影した撮影画像の例を示す図である。

【図5】撮影画像にホームドアの３次元VRモデルを重畳させた様子を示す図である。

【図6】制御部１１による重畳画像形成処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0025】

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像形成システムに対して本発明を適用した場合の実施形態である。また、本実施形態では、構造物がホームドアである場合について説明するが、構造物はホームドアに限られず、その他の構造物についても本発明を適用することができる。

【0026】

［１．画像形成システムの構成及び機能概要］
まず、図１を用いて本発明の一実施形態に係る画像形成システムＳの構成及び概要機能について、説明する。

【0027】

図１は、本実施形態に係る画像形成システムＳの概要構成の一例を示す図である。画像形成システムＳは、従来の監視カメラシステムに、画像形成装置１を組み込むことにより構成されている。従来の監視カメラシステムは、監視カメラシステム制御装置２００と、ホームなどの監視場所を撮影する監視カメラ３００（「カメラ」の一例）と、監視カメラ３００が撮影した画像を表示する監視モニタ４００とを含んで構成されている。監視カメラシステム制御装置２００、監視カメラ３００及び監視モニタ４００はネットワークＮＷを介して接続されている。ネットワークＮＷは、例えば、ＬＡＮ（local area network）、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及びゲートウェイ等により構築されている。監視カメラ３００で撮影された画像は、監視カメラシステム制御装置２００の制御の下、監視モニタ４００に表示される。監視モニタ４００は駅員の待機場所や監視センターなどに設置され、駅員や監視員などが監視モニタ４００を介してホーム上を監視する。

【0028】

画像形成装置１は、監視カメラシステム制御装置２００と接続され、変換器（図示しない）を介して監視カメラ３００が撮影した画像（「撮影画像」という場合がある）を取り込み、ホームドアの３次元VRモデルを重畳する処理を施し、再度、変換器（図示しない）を介して監視カメラシステム制御装置２００に戻す。監視カメラシステム制御装置２００は、３次元VRモデルが重畳された重畳画像を監視モニタ４００に表示させる。これにより、ホームドアの３次元VRモデルが重畳された画像が監視モニタ４００に表示される。画像形成システムＳによれば、従来の監視カメラシステムに、画像形成装置１を組み込むだけで、簡易に、ホームドアの３次元VRモデルが重畳された画像を監視モニタ４００又は画像形成装置１の備える表示部で確認することができる。

【0029】

［２．画像形成装置１の構成］
図２は、本実施形態に係る画像形成装置１の概要構成例を示すブロック図である。図２に示すように、画像形成装置１は、制御部１１、記憶部１２、インターフェース部１３、表示部１４及び操作部１５を備えている。

【0030】

記憶部１２は、例えば、ＨＤＤ（Hard disk drive）等により構成されており、オペレーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。特に、本実施形態の記憶部１２には、重畳画像を形成するためのアプリケーションプログラム（以下、「画像形成プログラム」という。）が記憶されている。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしても良いし、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしても良い。

【0031】

また、記憶部１２（「記憶手段」の一例）は、ホームドアの３次元VRモデルを記憶する。３次元VRモデルはホームドアの設計図面に基づいて作成されている。記憶部１２は、図３に示すように、複数種類のホームドアの３次元VRモデル７００を記憶している。これらの３次元VRモデル７００は、ホームドアパラメータ毎に記憶されている。ホームドアパラメータとしては、曲率半径（ホームの縁が湾曲している場合、湾曲に沿ってホームドアを設置する必要があるため）、距離（長さ）、高さ、奥行、ホームの勾配、ホームの高さがある。前記３次元VRモデルは、このようにホームに関する条件に応じて構築されるため、ホームに関する条件の異なる駅のホームにもすぐに重畳することができる。

【0032】

また、ホームドアの種類及びホームドアパラメータにより形状が定まる各ホームドアについて、記憶部１２は、ホームドアの部材毎に３次元VRモデル７００を記憶する。各部材について、施工段階情報、表示種別情報、施工段階開始日・終了日情報、順序情報が関連付けられている。施工段階情報は、その部材が何れの施工段階で用いられる部材であるかを示す情報である。表示種別情報は、その部材の３次元VRモデル７００を表示するか否かを示す情報であり、ユーザが適宜変更可能な情報である。施工段階開始日・終了日情報は、その部材が用いられる施工段階の開始日・終了日を示す情報である。順序情報は、その部材が用いられる施工段階において施工される順序を示す情報である。これらの情報に基づいて、ホームドアが設置される前の状態の撮影画像に、施工途中の３次元VRモデル７００を重畳表示させたり、ホームドアの施工完了時の３次元VRモデル７００を重畳表示させたりすることができる。

【0033】

インターフェース部１３は、監視カメラシステム制御装置２００から、監視カメラ３００が撮影した撮影画像を受信する際の処理、また、３次元VRモデル７００を重畳させた重畳画像を監視カメラシステム制御装置２００に送信する際の処理を行う。

【0034】

表示部１４は、例えば、液晶ディスプレイ等により構成されており、ユーザが画像形成システムＳ或いは画像形成装置１を操作する際の操作画面や、監視カメラ３００が撮影した画像や、３次元VRモデルを重畳させた重畳画像等を表示する。

【0035】

操作部１５は、例えば、キーボードやマウス等により構成されており、ユーザの操作を受け付け、操作内容を示す操作信号を制御部１１に送信する。

【0036】

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。そして、コンピュータとしての制御部１１は、記憶部１２に記憶された画像形成プログラムを読み出して実行することにより、重畳画像を形成するための処理を行う。このとき、制御部１１は、画像取得手段、形成手段、実情報取得手段、画像内距離算出手段、算出手段、修正操作内容取得手段、選択操作内容取得手段として機能する。

【0037】

［３．重畳画像形成手法］
次に、図４及び図５を用いて重畳画像を形成する手法について説明する。但し、従来公知の部分については詳述を省略し、簡略化して説明する。

【0038】

［３．１．監視カメラ３００の位置・姿勢の算出］
制御部１１が、監視カメラ３００が撮影した画像に３次元VRモデル７００を重畳させる際には、監視カメラシステム制御装置２００から監視カメラ３００の撮影した画像を取得した際に、監視カメラ３００の撮影時における位置及び姿勢を計測する処理を行い、当該計測した位置及び姿勢と、レンズの歪みや焦点距離などの監視カメラ３００の固有パラメータ（予めカメラキャリブレーションにより取得しておく）とに基づいて３次元VRモデル７００を重畳させる。監視カメラ３００の位置及び姿勢の計測には、監視カメラ３００からの撮影画像を利用することができる。撮影画像を利用する位置合わせ方法は、図４に示すように、ホーム上に設けたマーカ５００を監視カメラ３００で撮影し、マーカ５００の撮影画像上での位置と３次元位置との対応をもとに監視カメラ３００の位置及び姿勢を算出する。マーカ５００は、固有の２次元パターンが内部に描かれた正方形形状のものを用いる。

【0039】

制御部１１は、撮影画像の中から正方形の領域を抽出し、内部の２次元パターンを用いてマーカ５００であるかの識別を行う。また、制御部１１は、監視カメラ３００によって撮影された画像上におけるマーカ５００の各頂点の位置と、マーカ５００の各頂点のマーカ座標系における位置との対応をもとに、監視カメラ３００の位置及び姿勢を算出する。

【0040】

［３．２．ホームドア設置位置の特定］
次に、制御部１１が、撮影画像に３次元VRモデル７００を重畳させるに当たり、撮影画像の何れの位置に３次元VRモデル７００を重畳させるかを特定する必要がある。そこで、図４に示すように、ユーザが現実空間においてホームドアを設置する設置位置５０２を仮決めし、マーカ５００の一の頂点である基準点５０１から設置位置５０２までの最短距離を計測する。なお、距離の計測方法としては、基準点５０１から設置位置５０２までの距離に代えて、マーカ５００を基準とする所定位置（例えば、マーカ５００の他の頂点や、マーカ５００の中心、又はそれらの点から所定の方向に所定の距離だけ離れた点など）から設置位置５０２までの距離を計測することとしてもよい。このことは、画像形成装置１がマーカ５００を基準に設置位置５０２を特定できればよいとの意図に基づく。また、ユーザは、基準点５０１から設置位置５０２までの距離を計測した際における基準点５０１から設置位置５０２への方向も特定しておく。これは、画像形成装置１が基準点５０１から設置位置５０２までの距離だけでは、基準点５０１から見て何れの方向に設置位置５０２があるかを特定できないため、距離と方向に基づいて設置位置５０２を特定しようとする意図に基づく。

【0041】

ユーザは、現実空間における基準点５０１から設置位置５０２までの距離及び方向を示す実情報を画像形成装置１に入力する。制御部１１は、入力された実情報に基づいてホームドアの３次元VRモデル７００を撮影画像の何れの位置に重畳させるかを特定する。具体的には、制御部１１は、監視カメラ３００によって撮影された画像上におけるマーカ５００の大きさと実際のマーカ５００の大きさに基づいて、撮影画像における基準点５０１から設置位置５０２までの距離（「画像内距離」という）を算出する。また、制御部１１は、撮影画像におけるマーカ５００の形状から撮影画像内の座標系（「画像内座標系」という）を特定し、画像内座標系と基準点５０１から設置位置５０２までの方向に基づいて、撮影画像における基準点５０１から設置位置５０２までの方向（「画像内方向」という）を算出する。そして、制御部１１は、算出した画像内距離と画像内方向に基づいて、３次元VRモデル７００を重畳する位置を特定する。

【0042】

［３．３．３次元VRモデルの選択］
記憶部１２は、複数種類のホームドアの３次元VRモデル７００を施工段階・ホームドアパラメータに応じてそれぞれ記憶している。ユーザは、操作部１５を介してホームドアの種類、施工段階及びホームドアパラメータを指定する。このとき、制御部１１は、ホームドアの種類名、施工段階、選択可能なホームドアパラメータの一覧を表示部１４に表示させ、その中からユーザにホームドアの種類、施工段階及びホームドアパラメータを指定させることとしてもよい。また、その際に、最終施工段階（完成時）のホームドアの３次元VRモデル７００を合わせて表示部１４に表示させると、ホームドアの種類名からその種類のホームドアをイメージできないユーザには有用である。ユーザにより指定されたホームドアの種類、施工段階及びホームドアパラメータに応じた３次元VRモデル７００は制御部１１により記憶部１２から取得され、監視カメラ３００によって撮影された画像上に重畳される。なお、ユーザによる３次元VRモデル７００の指定（すなわち、ホームドアの種類、施工段階及びホームドアパラメータの指定）は、撮影画像に重畳された後に改めて行うことができ、この場合、制御部１１は重畳される３次元VRモデル７００を新たに指定された３次元VRモデル７００に変更する。これにより、ホームドアの設置に関して検討する際、複数種類のホームドアについて検討することが容易となる。

【0043】

［３．４．３次元VRモデルの重畳］
制御部１１は、監視カメラ３００の位置及び姿勢と、基準点５０１から設置位置５０２までの距離及び方向とに基づいて、監視カメラ３００によって撮影された画像上に、ユーザの指定に基づいて取得した３次元VRモデル７００を重畳させ、重畳画像を形成して表示部１４に表示させる。なお、図５は、島式ホームの両側にホームドアを表す３次元VRモデル７００を重畳させた様子を示している。

【0044】

［３．５．３次元VRモデルの位置・角度調整］
表示部１４に表示された重畳画像において、ホームドアを表す３次元VRモデル７００が、ユーザの想定した設置位置５０２（ホームの縁）に沿って表示されない場合や、ホームドアの開閉部分（乗客が乗り降りする部分）の位置をずらして表示させたい場合がある。このような場合に備えて、画像形成装置１は、重畳させた３次元VRモデル７００の位置と角度を調整する機能を有する。具体的には、ユーザが表示部１４に表示されている重畳画像を眺めながら、操作部１５を介して、３次元VRモデル７００の位置又は角度を調整する操作を行える構成を備える。制御部１１は、当該操作を受け付けると、操作内容に従って、３次元VRモデル７００の位置又は重畳角度を更新する。これにより、ユーザは修正操作により、重畳画像における３次元VRモデルの重畳位置又は重畳角度を修正することができる。

【0045】

［３．６．マスク処理］
監視カメラ３００によって撮影された画像上に３次元VRモデル７００を重畳させると、図５の領域６０１のように、ホームドアの手前にあるべき物体（柱や構造物）が３次元VRモデル７００に隠れてしまうことがある。そこで、画像形成装置１は、ユーザにより指定された領域については、３次元VRモデル７００を重畳させずに、手前にあるべき物体を表示させるマスク処理機能を備える。このマスク処理により、図５の領域６０２のように、ホームドアの手前にあるべき物体（柱や構造物）が３次元VRモデル７００に隠れてしまうことなく、違和感のない重畳画像を形成することができる。

【0046】

［３．７．マーカ位置の変更］
マーカを最初に設置した位置に基づいてホームドアを重畳させた後、検討の過程で、他の形状や位置（ホームの内側等）でホームドアの配置をすることになった場合に、そのマーカの位置又は上にホームドアがかぶってしまうなど、見た目上の問題が発生することがある。その場合には、マーカの位置を動かして、構造物を見え易い状態にすることがある。このように、マーカの位置を変更した場合には、ユーザは、再度、現実空間における基準点５０１から設置位置５０２までの距離及び方向を示す実情報を画像形成装置１に入力する。そして、制御部１１は、入力された実情報に基づいてホームドアの３次元VRモデル７００を撮影画像の何れの位置に重畳させるかを再度、特定する。このように、マーカの位置を自由に移動させることができるようにしたことで、検討の過程で、ホームドアの形状や位置の変更を繰り返すことができる。

【0047】

［４．重畳画像形成処理］
次に、図６を用いて、制御部１１による重畳画像形成処理について説明する。図６は、画像形成装置１の制御部１１よる重畳画像形成処理を示すフローチャートである。なお、重畳画像形成処理は、ユーザが重畳画像の形成を開始させるための操作を行ったことを受けて開始する。なお、重畳画像形成処理が実行されるまでに、ユーザがホームドアの種類、ホームドアパラメータ及び施工段階を指定することにより、何れの形状をしたホームドアの何れの施工段階の３次元VRモデルを重畳させるかを指定するとともに、マーカ５００の基準点５０１から設置位置５０２までの最短距離及び方向を示す実情報を入力する操作を行い、画像形成装置１がこれらの操作を受け付けているものとする。

【0048】

まず、制御部１１は、監視カメラシステム制御装置２００から、監視カメラ３００が撮影した撮影画像を取得する（ステップＳ１）。

【0049】

次に、制御部１１は、ステップＳ１の処理で取得した撮影画像に基づいて、監視カメラ３００の位置及び姿勢を算出する（ステップＳ２）。

【0050】

次に、制御部１１は、ユーザにより入力されたマーカ５００の基準点５０１から設置位置５０２までの最短距離及び方向を取得する（ステップＳ３）。

【0051】

次に、制御部１１は、ステップＳ２の処理で算出した監視カメラ３００の位置・姿勢と、ステップＳ３の処理で取得した基準点５０１から設置位置５０２までの最短距離及び方向とに基づいて、ステップＳ１の処理で取得した撮影画像における３次元VRモデル７００を重畳する位置を特定する（ステップＳ４）。このとき、制御部１１は、撮影画像におけるマーカ５００の大きさと実際のマーカ５００の大きさに基づいて、撮影画像における基準点５０１から設置位置５０２までの距離（「画像内距離」という）を算出する。なお、実際のマーカ５００の大きさは予め記憶部１２に記憶しておくものとする。また、制御部１１は、撮影画像におけるマーカ５００の形状から画像内座標系を特定し、画像内座標系と基準点５０１から設置位置５０２までの方向に基づいて、画像内方向を算出する。そして、制御部１１は、算出した画像内距離と画像内方向に基づいて、３次元VRモデル７００を重畳する位置を特定する。

【0052】

次に、制御部１１は、ユーザにより指定された３次元VRモデル７００を記憶部１２から取得する（ステップＳ５）。

【0053】

次に、制御部１１は、ステップＳ４の処理で特定した重畳位置にステップＳ５の処理で取得した３次元VRモデル７００を重畳する（ステップＳ６）。

【0054】

次に、制御部１１は、ステップＳ６の処理で３次元VRモデル７００を重畳した重畳画像を表示部１４に表示させる（ステップＳ７）。

【0055】

次に、制御部１１は、ユーザによる位置・角度を修正するための位置・角度修正操作を検出したか否かを判定する（ステップＳ８）。位置・角度修正操作とは、ユーザが、操作部１５を介して、重畳画像における３次元VRモデル７００の位置・角度を修正するための操作（例えば、位置を修正するために３次元VRモデル７００を意図する方向にドラッグする操作や、角度を修正するために３次元VRモデル７００の端部を意図する方向にドラッグする操作など）である。このとき、制御部１１は、位置・角度修正操作を検出していないと判定した場合には（ステップＳ８：ＮＯ）、ステップＳ１０の処理に移行する。一方、制御部１１は、位置・角度修正操作を検出したと判定した場合には（ステップＳ８：ＹＥＳ）、位置・角度修正操作に応じて、撮影画像における３次元VRモデル７００の位置・角度を変更する（ステップＳ９）。

【0056】

次に、制御部１１は、ユーザによるマスク処理を行うためのマスク操作を検出したか否かを判定する（ステップＳ１０）。マスク操作とは、例えば、ユーザが、操作部１５を介して、重畳画像における３次元VRモデル７００を重畳した部分の一部をマスク処理するための操作であり、マスク処理する部分を指定する操作を含む。このとき、制御部１１は、マスク操作を検出していないと判定した場合には（ステップＳ１０：ＮＯ）、ステップＳ１２の処理に移行する。一方、制御部１１は、マスク操作を検出したと判定した場合には（ステップＳ１０：ＹＥＳ）、マスク処理の対象部分として指定された部分をマスク処理する（ステップＳ１１）。本実施形態におけるマスク処理とは、指定された部分の３次元VRモデル７００を非表示とする処理である。つまり、指定された部分については、３次元VRモデル７００が表示されず、撮影画像に元々表示されているもの（ホームドアの手前にあるべきもの）が表示される。

【0057】

次に、制御部１１は、ユーザによる３次元VRモデル変更操作を検出したか否かを判定する（ステップＳ１２）。３次元VRモデル変更操作とは、重畳する３次元VRモデルを変更するための操作であり、具体的には、ユーザがホームドアの種類、ホームドアパラメータ及び施工段階を新たに指定する操作である。制御部１１は、３次元VRモデル変更操作を検出したと判定した場合には（ステップＳ１２：ＹＥＳ）、ステップＳ５の処理に移行し、改めて記憶部１２からユーザが指定した３次元VRモデルを取得する。これにより、次いで後続のステップＳ６及びステップＳ７の処理が実行され、新たに指定された３次元VRモデルが重畳された重畳画像が表示部１４に表示される。一方、制御部１１は、３次元VRモデル変更操作を検出していないと判定した場合には（ステップＳ１２：ＮＯ）、ステップＳ１３の処理に移行する。

【0058】

次に、制御部１１は、ユーザによるマーカ位置変更操作を検出したか否かを判定する（ステップＳ１３）。マーカ位置変更操作とは、マーカ５００の位置を移動した場合に行われる操作であり、マーカ５００の基準点５０１から設置位置５０２までの最短距離及び方向を示す情報を再入力する操作である。このとき、制御部１１は、マーカ位置変更操作を検出したと判定しない場合には（ステップＳ１３：ＮＯ）、ステップＳ１４の処理に移行する。一方、制御部１１は、マーカ位置変更操作を検出したと判定した場合には（ステップＳ１３：ＹＥＳ）、ステップＳ３の処理に移行し、ユーザにより入力されたマーカ５００の基準点５０１から設置位置５０２までの最短距離及び方向を取得する。

【0059】

次に、制御部１１は、ユーザによる終了操作を検出したか否かを判定する（ステップＳ１４）。終了操作とは、重畳画像形成処理を終了するための操作である。このとき、制御部１１は、終了操作を検出したと判定しない場合には（ステップＳ１４：ＮＯ）、ステップＳ１の処理に移行する。一方、制御部１１は、終了操作を検出したと判定した場合には（ステップＳ１４：ＹＥＳ）、重畳画像形成処理を終了させる。

【0060】

なお、ステップＳ１４の処理で「ＮＯ」と判定した場合には、ステップＳ１の処理に戻り、同様の処理を繰り返すこととなるが、監視カメラ３００が位置・姿勢が不変の定点カメラである場合には、繰り返し処理の中で、再度、ステップＳ２の処理を行わなくてもよい。また、監視カメラ３００が定点カメラであり、ユーザがマーカ５００の基準点５０１から設置位置５０２までの距離及び方向を再入力しない場合には、繰り返し処理の中で再度、ステップＳ３の処理及びステップＳ４の処理を行わなくてもよい。但し、ユーザがマーカ５００の基準点５０１から設置位置５０２までの距離及び方向を再入力した場合には、改めてステップＳ３の処理及びステップＳ４の処理を行う必要がある。更に、ユーザが３次元VRモデル７００の指定を変更しない場合には、繰り返し処理の中で再度、ステップＳ５の処理を行わなくてもよい。このように、繰り返し処理の中で、一部の処理を省略することにより、制御部１１の処理負担を軽減することができる。特に、監視カメラシステム制御装置２００から取得する撮影画像が動画を構成するフレーム画像である場合には、動画を滑らかに表示させることができる。

【0061】

また、ステップＳ７の処理では、重畳画像を表示部１４に表示させることとしたが、ユーザによる所定の操作が検出された場合には、制御部１１が重畳画像を監視カメラシステム制御装置２００に戻し、重畳画像を監視モニタ４００に表示させることとする。これにより、表示部１４のみならず、監視モニタ４００に表示される重畳画像を用いてホームドアの設置について検討することができる。

【0062】

以上説明したように、画像形成装置１は、記憶部１２（「記憶手段」の一例）がホームドア（「構造物」の一例）を表す３次元VRモデル７００を記憶し、制御部１１（「画像取得手段」、「形成手段」の一例）が、ホームドアを設置する現場とマーカ５００を撮影範囲内に含む撮影画像を取得し、撮影画像に写るマーカ５００を基準として、撮影画像に３次元VRモデル７００を重畳させた重畳画像を形成する。

【0063】

したがって、画像形成装置１によれば、撮影画像に写るマーカ５００を基準として３次元VRモデル７００を重畳させることから、３次元VRモデル７００を重畳させる位置の測量を必要とせずに、画像内の正確な位置に構造物の３次元VRモデル７００を重畳した重畳画像を形成することができる。

【0064】

また、画像形成装置１は、制御部１１（「実情報取得手段」、「画像内距離算出手段」の一例）が、現実空間における基準点５０１（「マーカを基準とする所定位置」の一例）からの方向及び最短距離（「実距離」の一例）を示す実情報を取得し、実情報の示す方向及び距離に基づいて、実距離に対応する撮影画像における画像内距離を算出し、撮影画像内の基準点５０１を基準として、実情報の示す方向及び画像内距離に基づいて、３次元VRモデル７００を重畳させた重畳画像を形成する。これにより、基準点５０１からの方向及び実距離のみを測定するだけで、３次元絶対座標を測量するほどの労力を要せずに、撮影画像における３次元VRモデル７００を重畳させる位置を決定することができる。また、３次元絶対座標を測量する場合と比較して容易に方向及び実距離を測定することができるので、ホームドアを設置する位置に関して、複数の方向及び実距離を入力することにより複数の設置位置について検討することも容易となる。

【0065】

更に、画像形成装置１は、制御部１１（「算出手段」の一例）が、撮影画像内のマーカ５００の形状から３次元位置姿勢を算出し、当該算出結果に基づいて、撮影画像に３次元VRモデル７００を重畳させた重畳画像を形成する。これにより、３次元VRモデル７００を撮影画像内の適切な位置に重畳させることができる。

【0066】

更にまた、画像形成装置１は、制御部１１（「修正操作内容取得手段」の一例）が重畳画像における３次元VRモデル７００の重畳位置又は重畳角度を修正する位置・角度修正操作の操作内容を取得し、当該取得した操作内容に従って、重畳画像における３次元VRモデル７００の重畳位置又は重畳角度を更新する。これにより、ユーザは修正操作により、重畳画像における３次元VRモデル７００の重畳位置又は重畳角度を修正することができる。

【0067】

更にまた、画像形成装置１は、記憶部１２が、複数種類のホームドアを表す３次元VRモデル７００を記憶し、制御部１１（「選択操作内容取得手段」の一例）が、何れかの種類のホームドアを表す３次元VRモデル７００を選択するための選択操作（ホームドアの種類、ホームドアパラメータ及び施工段階を指定する操作）の操作内容を取得し、当該取得した操作内容により特定される種類のホームドアを表す３次元VRモデルを重畳させた重畳画像を形成する。これにより、複数種類のホームドアを表す３次元VRモデル７００を重畳させた重畳画像を形成することができ、ホームドアの設置に関して検討する際、複数種類の構造物について検討することが容易となる。

【符号の説明】

【0068】

Ｓ 画像形成システム
１ 画像形成装置
１１ 制御部
１２ 記憶部
１３ インターフェース部
１４ 表示部
１５ 操作部
２００ 監視カメラシステム制御装置
３００ 監視カメラ
４００ 監視モニタ
５００ マーカ
５０１ 基準点
５０２ 設置位置
５０３ 距離
７００ ３次元VRモデル
ＮＷ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】