特許 5862865 合成画像表示装置及び合成画像表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5862865

(24)【登録日】2016年1月8日

(45)【発行日】2016年2月16日

(54)【発明の名称】合成画像表示装置及び合成画像表示プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20160202BHJP

   G09B 29/00 20060101ALI20160202BHJP

   G09B 29/10 20060101ALI20160202BHJP

   G09G 5/377 20060101ALI20160202BHJP

   G09G 5/36 20060101ALI20160202BHJP

   G09G 5/00 20060101ALI20160202BHJP

【ＦＩ】

   G06T19/00 600

   G09B29/00 F

   G09B29/10 A

   G09G5/36 520M

   G09G5/36 510C

   G09G5/00 550C

   G09G5/00 555D

   G09G5/36 530B

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2011-208264(P2011-208264)

(22)【出願日】2011年9月23日

(65)【公開番号】特開2013-69177(P2013-69177A)

(43)【公開日】2013年4月18日

【審査請求日】2014年9月2日

(73)【特許権者】

【識別番号】390023249

【氏名又は名称】国際航業株式会社

(74)【代理人】

【識別番号】100158883

【弁理士】

【氏名又は名称】甲斐 哲平

(72)【発明者】

【氏名】上野 俊司

(72)【発明者】

【氏名】水上 幸治

(72)【発明者】

【氏名】田中 欽也

(72)【発明者】

【氏名】竹屋 雄介

(72)【発明者】

【氏名】青木 信哉

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００１−０７６１６８（ＪＰ，Ａ）

【文献】 特開２０１１−１２８２２０（ＪＰ，Ａ）

【文献】 特開２００８−１７１２１５（ＪＰ，Ａ）

【文献】 特開２０１１−１７５６０２（ＪＰ，Ａ）

【文献】 臼田裕一郎，外４名，“ＯＧＣ相互運用技術と拡張現実技術を活用したスマートフォンによる災害リスク可視化システムの開発”，一般社団法人地理情報システム学会講演論文集［ＣＤ−ＲＯＭ］，一般社団法人地理情報システム学会，２０１０年，Ｖｏｌ．１９／２０１０，５Ａ−２

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８ − ３／０４８９

Ｇ０９Ｇ ５／００ − ５／４２

Ｇ０９Ｂ ２９／００ − ２９／１４

(57)【特許請求の範囲】

【請求項1】

現実の空間を撮像した実写画像に、仮想空間画像を重畳して表示する合成画像表示装置であって、
前記実写画像を取得する画像取得手段と、
前記画像取得手段の平面位置を計測する位置計測手段と、
前記画像取得手段の姿勢を計測する姿勢計測手段と、
所定領域を平面分割した複数のメッシュに浸水深が与えられた空間モデルを記憶する記憶手段と、
前記位置計測手段で計測された平面位置に対応するメッシュの空間モデルを抽出する抽出手段と、
前記抽出手段で抽出された前記空間モデルに基づいて前記仮想空間画像を作成する画像作成手段と、
前記実写画像と前記仮想空間画像とを重畳して表示する表示手段と、を備え、
前記画像作成手段は、前記画像取得手段の撮像高さと、前記姿勢計測手段で計測された前記画像取得手段の姿勢と、に基づいて演算処理を行い、前記表示手段で透視図となるように前記仮想空間画像を作成する、ことを特徴とする合成画像表示装置。

【請求項2】

現実の空間を撮像した実写画像に、仮想空間画像を重畳して表示する合成画像表示装置であって、
前記実写画像を取得する画像取得手段と、
前記画像取得手段の平面位置及び標高を計測する位置計測手段と、
前記画像取得手段の姿勢を計測する姿勢計測手段と、
所定領域を平面分割した複数のメッシュに浸水表面の標高が与えられた空間モデルを記憶する記憶手段と、
前記位置計測手段で計測された平面位置に対応するメッシュの空間モデルを抽出する抽出手段と、
前記抽出手段で抽出された前記空間モデルの浸水表面の標高と、前記位置計測手段で計測された前記画像取得手段の標高と、該画像取得手段の撮像高さと、に基づいて浸水モデルを作成するとともに、該浸水モデルに基づいて前記仮想空間画像を作成する画像作成手段と、
前記実写画像と前記仮想空間画像とを重畳して表示する表示手段と、を備え、
前記画像作成手段は、前記画像取得手段の撮像高さと、前記姿勢計測手段で計測された前記画像取得手段の姿勢と、に基づいて演算処理を行い、前記表示手段で透視図となるように前記仮想空間画像を作成する、ことを特徴とする合成画像表示装置。

【請求項3】

前記画像作成手段で作成される前記仮想空間画像は、浸水表面及び浸水壁面から構成される、ことを特徴とする請求項１又は請求項２記載の合成画像表示装置。

【請求項4】

端末側装置とサーバ側装置からなり、
前記端末側装置は、前記画像取得手段と、前記位置計測手段と、前記姿勢計測手段と、前記表示手段と、前記画像作成手段と、端末側送受信手段と、を備え、
前記サーバ側装置は、前記記憶手段と、前記抽出手段と、サーバ側送受信手段と、を備え、
前記端末側送受信手段は、前記位置計測手段で計測された平面位置を送信し、
前記サーバ側送受信手段は、前記位置計測手段で計測された平面位置を受信するとともに、前記抽出手段で抽出された空間モデルを送信し、
さらに前記端末側送受信手段は、前記抽出手段で抽出された空間モデルを受信する、ことを特徴とする請求項１乃至請求項３のいずれかに記載の合成画像表示装置。

【請求項5】

現実の空間を撮像した実写画像に、仮想空間画像を重畳して、表示手段に表示させる機能を、コンピュータに実現させる合成画像表示プログラムであって、
前記実写画像を撮像した画像取得手段の平面位置を読み取る平面位置読み取り機能と、
前記画像取得手段の平面位置に基づいて、所定領域を平面分割したメッシュにそれぞれ浸水深を与えて構成されるデータべースから、該平面位置に対応する空間モデルを検索する検索機能と、
前記画像取得手段の撮像高さ及び姿勢に基づいて、地盤面をモデル化した地盤モデルを作成する地盤モデル作成機能と、
前記地盤モデルと、前記検索機能で検索された空間モデルの浸水深と、に基づいて演算処理を行い、前記表示手段で透視図となるように前記仮想空間画像を作成する画像作成機能と、
前記実写画像に、前記仮想空間画像を重畳して、前記表示手段に表示させる画像表示機能と、をコンピュータに実現させるものであり、
前記地盤モデルは、前記表示手段に表示された前記実写画像上で形成される、ことを特徴とする合成画像表示プログラム。

【請求項6】

現実の空間を撮像した実写画像に、仮想空間画像を重畳して、表示手段に表示させる機能を、コンピュータに実現させる合成画像表示プログラムであって、
前記実写画像を撮像した画像取得手段の平面位置及び標高を読み取る平面位置読み取り機能と、
前記画像取得手段の平面位置に基づいて、所定領域を平面分割したメッシュにそれぞれ浸水表面の標高を与えて構成されるデータべースから、該平面位置に対応する空間モデルを検索する検索機能と、
前記画像取得手段の撮像高さ及び姿勢に基づいて、地盤面をモデル化した地盤モデルを作成する地盤モデル作成機能と、
前記地盤モデルと、前記検索機能で検索された空間モデルの浸水表面の標高と、前記平面位置読み取り機能で読み取られた前記画像取得手段の標高と、該画像取得手段の撮像高さと、に基づいて演算処理を行い、前記表示手段で透視図となるように前記仮想空間画像を作成する画像作成機能と、
前記実写画像に、前記仮想空間画像を重畳して、前記表示手段に表示させる画像表示機能と、をコンピュータに実現させるものであり、
前記地盤モデルは、前記表示手段に表示された前記実写画像上で形成される、ことを特徴とする合成画像表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、実写画像上に仮想空間画像を重畳表示する合成画像表示装置と合成画像表示プログラムであり、より具体的には、現況を撮影した実写画像上に例えば浸水シミュレーション結果を重畳表示して、視覚的に浸水状況をイメージさせる合成画像表示装置と合成画像表示プログラムに関するものである。

【背景技術】

【0002】

我が国は地震が頻発する国として知られ、近年では、東北地方太平洋沖地震をはじめ、兵庫県南部地震、新潟県中越地震など大きな地震が発生し、そのたびに甚大な被害を被っている。兵庫県南部地震や新潟県中越地震による被害が地震動による直接的なものであったのに対して、東日本大震災では津波によって計り知れない被害を受けた。極めて甚大なこの災害を受けたことによって、改めて津波の恐ろしさを認識すると同時に、津波への備えに対する意識が高まっている。

【0003】

津波への防災対策を計画するためには、まず津波の規模を把握する必要がある。どの地域にどのような規模の津波が起こりうるのか、これを推定する手法として代表的な例が浸水シミュレーションである。浸水シミュレーションは、地震による津波を原因とする場合に限らず、内水氾濫や外水氾濫などを原因とする場合にも実施され、その結果、対象となる地域がどの程度まで浸水するかを予測することができる。

【0004】

浸水シミュレーションによって得られる結果は、地盤表面からどの程度の高さ（深さ）まで浸水するかを浸水深として表すのが一般的である。また、この浸水深を算出する場合、対象地域を平面分割（通常は格子分割）して多数のメッシュを構成し、それぞれのメッシュに対して一つの浸水深を割り当てる手法がよく採用される。

【0005】

平面的に整理されたメッシュごとに浸水深という定量的なデータをもつことで、解析する際には極めて扱いやすいという利点がある反面、目視などによって浸水状況を直観的に把握する場合には不向きであるという難点がある。そこで、例えば津波による浸水予測を目視把握する場合には、津波ハザードマップが利用される。このハザードマップは、あらかじめ浸水深を所定のレンジにわけるとともに各レンジに対応する配色を定め、それぞれのメッシュに対応する色で着色することによって作成されるものである。

【0006】

このハザードマッは、対象地域全体を俯瞰できるという面では好適であるものの、局所的にはどの程度まで浸水するのかということがイメージしにくい。具体的には、現在立っている場所が津波によって浸水するとどうなるのか、周囲の風景がどのように変化するのか、ということまでは当然ながら把握できない。

【0007】

一方で、昨今における情報技術の急速な進歩に伴ってグラフィック技術も著しい進化を遂げ、ＤｉｒｅｃｔＸ（登録商標）やＯｐｅｎＧＬ（登録商標）などの汎用ソフトを利用することにより、コンピュータ上で容易かつ自在に種々の画像を描くことができるようになった。とくにＯｐｅｎＧＬはプラットフォームを選ばず、しかもオープン仕様であることから利用しやすく、特にゲームのソフトウェア分野では多用されている。このような技術を駆使することによって、予測される浸水状況を視覚的に表現することができれば、直観的にイメージできるので好適である。

【0008】

これまでにも、グラフィック技術を利用することによって仮想的なもの（浸水状況ではないが）を画像化するという技術について提案されたものはある。例えば特許文献１では、ビデオカメラ等で撮影された実写の動画像をデジタル化したものに、標識などの構造物をＣＧでモデリングし、所定のルール情報に基づきモデリングされた構造物を画像上に配置してＣＧ画像を作成することを提案している。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開平０８−１０１９２４

【発明の概要】

【発明が解決しようとする課題】

【0010】

特許文献１で提案されるＣＧは、そもそも動画を基本としていることから浸水状況を把握するために用いられることは想定されておらず、ましてや局所的な浸水状況、つまり現在立っている周辺が浸水した状況を、その場で直観的に把握できるものではない。

【0011】

本願発明の課題は、局所的に浸水状況をイメージできる装置及びプログラムを提供することであり、言い換えれば、任意地点で、しかもリアルタイムに、周辺の浸水状況を目視把握できる合成画像表示装置及び合成画像表示プログラムを提供することにある。

【課題を解決するための手段】

【0012】

本願発明の合成画像表示装置は、現実の空間を撮像した実写画像に、仮想空間画像を重畳して表示する装置であって、前記実写画像を取得する画像取得手段と、画像取得手段の平面位置を計測する位置計測手段と、画像取得手段の姿勢を計測する姿勢計測手段と、所定領域を平面分割した複数のメッシュに浸水深が与えられた空間モデルを記憶する記憶手段と、前記位置計測手段で計測された平面位置に対応するメッシュの空間モデルを抽出する抽出手段と、前記抽出手段で抽出された前記空間モデルに基づいて前記仮想空間画像を作成する画像作成手段と、前記実写画像と前記仮想空間画像とを重畳して表示する表示手段と、を備え、前記画像作成手段は、前記画像取得手段の撮像高さと、前記姿勢計測手段で計測された画像取得手段の姿勢と、に基づいて演算処理を行い、前記表示手段で透視図となるように前記仮想空間画像を作成するものである。

【0013】

本願発明の合成画像表示装置は、現実の空間を撮像した実写画像に、仮想空間画像を重畳して表示する装置であって、前記実写画像を取得する画像取得手段と、画像取得手段の平面位置及び標高を計測する位置計測手段と、画像取得手段の姿勢を計測する姿勢計測手段と、所定領域を平面分割した複数のメッシュに浸水深が与えられた空間モデルを記憶する記憶手段と、前記位置計測手段で計測された平面位置に対応するメッシュの空間モデルを抽出する抽出手段と、前記仮想空間画像を作成する画像作成手段と、前記実写画像と前記仮想空間画像とを重畳して表示する表示手段と、を備え、前記画像作成手段は、前記画像取得手段の撮像高さと、前記姿勢計測手段で計測された画像取得手段の姿勢と、に基づいて演算処理を行い、前記表示手段で透視図となるように前記仮想空間画像を作成するものとすることもできる。この場合の画像作成手段は、前記抽出手段で抽出された前記空間モデルの浸水表面の標高と、前記位置計測手段で計測された前記画像取得手段の標高と、該画像取得手段の撮像高さと、に基づいて浸水モデルを作成するとともに、該浸水モデルに基づいて前記仮想空間画像を作成する。

【0014】

本願発明の合成画像表示装置は、前記画像作成手段で作成される前記仮想空間画像は、浸水表面及び浸水壁面から構成されるものとすることもできる。

【0015】

本願発明の合成画像表示装置は、端末側装置とサーバ側装置からなり、前記端末側装置は、前記画像取得手段と、前記位置計測手段と、前記姿勢計測手段と、前記表示手段と、前記画像作成手段と、端末側送受信手段と、を備え、前記サーバ側装置は、前記記憶手段と、前記抽出手段と、サーバ側送受信手段と、を備え、前記端末側送受信手段は、前記位置計測手段で計測された平面位置を送信し、前記サーバ側送受信手段は、前記位置計測手段で計測された平面位置を受信するとともに、前記抽出手段で抽出された空間モデルを送信し、さらに前記端末側送受信手段は、前記抽出手段で抽出された空間モデルを受信するものとすることもできる。

【0016】

本願発明の合成画像表示プログラムは、現実の空間を撮像した実写画像に、仮想空間画像を重畳して、表示手段に表示させる機能を、コンピュータに実現させるプログラムであって、前記実写画像を撮像した画像取得手段の平面位置を読み取る平面位置読み取り機能と、前記画像取得手段の平面位置に基づいて、所定領域を平面分割したメッシュにそれぞれ浸水深を与えて構成されるデータべースから、該平面位置に対応する空間モデルを検索する検索機能と、前記画像取得手段の撮像高さ及び姿勢に基づいて、地盤面をモデル化した地盤モデルを作成する地盤モデル作成機能と、前記地盤モデルと、前記検索機能で検索された空間モデルの浸水深と、に基づいて演算処理を行い、前記表示手段で透視図となるように前記仮想空間画像を作成する画像作成機能と、前記実写画像に、前記仮想空間画像を重畳して、前記表示手段に表示させる画像表示機能と、をンピュータに実現させるものであり、前記地盤モデルは、前記表示手段に表示された前記実写画像上で形成されるものである。

【0017】

本願発明の合成画像表示プログラムは、現実の空間を撮像した実写画像に、仮想空間画像を重畳して、表示手段に表示させる機能を、コンピュータに実現させる合成画像表示プログラムであって、前記実写画像を撮像した画像取得手段の平面位置及び標高を読み取る平面位置読み取り機能と、前記画像取得手段の平面位置に基づいて、所定領域を平面分割したメッシュにそれぞれ浸水表面の標高を与えて構成されるデータべースから、該平面位置に対応する空間モデルを検索する検索機能と、前記画像取得手段の撮像高さ及び姿勢に基づいて、地盤面をモデル化した地盤モデルを作成する地盤モデル作成機能と、前記地盤モデルと、前記検索機能で検索された空間モデルの浸水表面の標高と、前記平面位置読み取り機能で読み取られた前記画像取得手段の標高と、該画像取得手段の撮像高さと、に基づいて演算処理を行い、前記表示手段で透視図となるように前記仮想空間画像を作成する画像作成機能と、前記実写画像に、前記仮想空間画像を重畳して、前記表示手段に表示させる画像表示機能と、をコンピュータに実現させるものであり、前記地盤モデルは、前記表示手段に表示された前記実写画像上で形成されるものとすることもできる。

【発明の効果】

【0018】

本願発明の合成画像表示装置及び合成画像表示プログラムには、次のような効果がある。
（１）実際に撮像した風景に、予測される浸水状況が重ねて表示されるので、浸水した際の状況を容易にイメージすることができる。これにより、専門家でない者に対しても、例えば地域住民に対しても、分かりやすく説明することができる。
（２）携帯電話やスマートフォン、デジタルカメラなど画像取得手段で撮影するだけで、実際に撮像した風景と浸水状況を重畳表示できるので、操作性に優れる。
（３）位置計測手段で計測することにより、現在位置（撮像位置）周辺の浸水状況をイメージすることができる。従って、任意の地点で、しかもリアルタイムに予測される浸水状況を認識することができる。
（４）市販の携帯電話やスマートフォンなどを利用して、合成画像表示装置を構成することができるので、手軽かつ安価に作成することができる。
（５）合成画像表示装置を端末側装置とサーバ側装置からなる構成とし、さらに端末側に画像作成手段を、サーバ側に記憶手段を、それぞれ配置すれば、画像データを送受信する必要がないことからデータ通信が短時間で処理され、また端末機が必要以上にデータ記憶領域を確保する必要がないことから端末機を軽量かつ小型化することができる。

【図面の簡単な説明】

【0019】

【図1】本願発明の端末側装置のモニタに、実写画像と仮想空間画像とを重ね合わせた合成画像を表示させた説明図。

【図2】地盤モデルの作成方法を説明するための説明図。

【図3】本願発明の端末側装置のモニタに、地盤モデルを表示させた説明図。

【図4】浸水した状態における浸水壁面を説明するためのモデル図。

【図5】本願発明の端末側装置のモニタに、実写画像を表示させた説明図。

【図6】浸水深及び浸水表面の標高を示す説明図。

【発明を実施するための形態】

【0020】

（実施形態１）
本願発明の合成画像表示装置及び合成画像表示プログラムの第１の実施形態を図に基づいて以下説明する。

【0021】

（全体概要）
本願発明の合成画像表示装置は、実写画像上に仮想空間画像を重畳表示するものであり、これを実行するために種々の手段を備えたものである。具体的には、画像取得手段、位置計測手段、姿勢計測手段、記憶手段、抽出手段、画像作成手段、表示手段、といった手段を備えている。合成画像表示装置は、一つの装置として（つまり一体型として）上記すべての手段を備えたものとすることもできるが、サーバ側装置と端末側装置とに分けて構成することもできる。この場合、サーバ側装置には記憶手段、抽出手段、これらに加えてサーバ側送受信手段を具備させ、端末側装置には画像取得手段、位置計測手段、姿勢計測手段、画像作成手段、表示手段、これらに加えて端末側送受信手段を具備させる。合成画像表示装置をサーバ側装置と端末側装置に分けた構成とすると、一つのサーバ側装置に対して複数の端末側装置で利用することができる。

【0022】

また、本願発明の合成画像表示プログラムは、実写画像上に仮想空間画像を重畳表示させるためのプログラムであり、平面位置読み取り機能、検索機能、地盤モデル作成機能、画像作成機能、画像表示機能、といった機能を備えている。

【0023】

ここで、「実写画像」と「仮想空間画像」という語について説明しておく。まず、「実写画像」とは、カメラやビデオなどの撮像機で実際に撮像した静止画又は動画から得られる画像のことであり、現実の風景を画像化したものである。なお、デジタルカメラで撮像する場合の画像は、シャッター操作によって得られる静止画に限らず、常時モニタに表示される画像（いわゆるライブビューの画像）も含まれる。もちろんデジタルカメラに限らずアナログカメラで撮像した画像も実写画像として利用できる。

【0024】

次に、「仮想空間画像」とは、空間モデルを画像化したものである。この空間モデルとは、地物を地球上の特定の位置、特定の形状や大きさで表現するための空間情報の集合を意味する。なお、ここでいう空間情報とは、座標や緯度経度など地物の位置を表現するための情報のことであり、２次元座標（Ｘ，Ｙ）や３次元座標（Ｘ，Ｙ，Ｚ）が例示できる。さらに、ここでいう地物とは、空間情報によって表現することのできる物という程度の意味であり、実存する物に限定されものではない。すなわち仮想空間画像とは、実際に存在するかしないかにかかわらず、空間モデルから画像を作成したものであって、この点において実際にカメラ等で撮像した実写画像とは異なる。

【0025】

以下、本実施形態では、空間モデルを浸水シミュレーションによる浸水予測結果（具体的にはこの浸水シミュレーションで算出される浸水深）として説明する。もちろん、この浸水シミュレーションは津波によるものに限らず、内水・外水氾濫による浸水シミュレーションとしてもよく、あるいは空間モデルを浸水予測結果とする場合に限らず、盛土計画、橋梁や建築物といった構造物計画など、様々な計画を空間モデルとすることもできる。

【0026】

図１は、実際に端末側装置１のモニタ２（表示手段）に、実写画像３と仮想空間画像４とを重ね合わせた合成画像５を表示させた説明図である。ここでは、端末側装置１の画像取得手段（図示しない）によって、住宅街の風景が実写画像３として取得され、画像作成手段（図示しない）によって、浸水表面４ａと浸水壁面４ｂからなる仮想空間画像４が作成されている。このように、目前にある実際の風景に、予測される浸水状況が重畳して表示されるのである。

【0027】

以下、要素ごとに詳述する。

【0028】

（端末側装置）
端末側装置１は、前記したように画像取得手段、位置計測手段、姿勢計測手段、画像作成手段、表示手段、及び端末側送受信手段を備えている。画像作成手段は、本願発明の合成画像表示プログラムのうち主に地盤モデル作成機能と画像作成機能によって実行される手段であり、具体的にはこれら機能を格納しかつ実行させる電子計算機（コンピュータ）で構成される。端末側装置として、例えば携帯電話やタブレット型コンピュータ（例えば、スマートフォン）を利用することができる。携帯電話やタブレット型コンピュータには、コンピュータのほか、画像取得手段としてデジタルカメラ（ビデオ）、位置計測手段としてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、姿勢計測手段として地磁気センサ（電子コンパス）、表示手段としてモニタ、端末側送受信手段、などが搭載されているからである。もちろん、デジタルカメラを改造（不足する手段を加えるなど）して端末側装置を作成してもよいし、本願発明のために新たに専用の端末側装置を作成することもできる。

【0029】

１．画像取得手段
画像取得手段（図示しない）は、画像を取得することができるものであり、デジタルカメラを代表的な例として挙げることができる。この画像取得手段は端末側装置１に搭載され、この搭載方法としては、内蔵することとしてもよいし、脱着可能な外付けとしてもよい。モニタには画像取得手段を向けた方向の光景が常に表示され、画像取得手段の動きにも追随して表示される、いわゆるライブビューで表示される。もちろんシャッターを操作することで静止画として取得することもできる。画像取得手段によりシャッター操作で取得された画像は、端末側装置１に格納される。あるいは、モニタ２に表示されるライブビュー状態の画像を、定期的かつ自動的に切り取ってその都度端末側装置１に格納することもできる。

【0030】

２．位置計測手段
位置計測手段（図示しない）は、画像取得手段の位置を取得するもので、ここでいう位置とは平面位置、あるいは平面位置と標高の組み合わせのことであり、平面位置は２次元座標（Ｘ，Ｙ）で、平面位置と標高の組み合わせは３次元座標（Ｘ，Ｙ，Ｚ）で表すことができる。もちろん、緯度と経度、あるいは緯度と経度と標高としてもよい。位置計測手段としてはＧＰＳが代表的であるが、その他、無線ＬＡＮのアクセスポイントを利用する測位方法（Ｐｌａｃｅ Ｅｎｇｉｎｅなど）、ＬＥＤの高速点滅を信号として伝送する可視光通信を利用した測位方法、室内にＧＰＳを配置して測位するＩＭＥＳ（Ｉｎｄｏｏｒ Ｍｅｓｓａｇｉｎｇ Ｓｙｓｔｅｍ）、ＱＲコード（登録商標）やビジュアル・マーカー（ＡＲＴｏｏｌＫｉｔなどで利用されるマーカー）やＲＦＩＤタグなどから位置情報を取得する測位方法、赤外線通信を利用した測位方法など、公知の測位技術を利用することができる。もちろん、屋外用としてＧＰＳを、屋内用として無線ＬＡＮ方式を併用するなど、種々の測
位方法を組み合わせて利用することもできる。

【0031】

３．姿勢計測手段
姿勢計測手段（図示しない）は、画像取得手段の姿勢を取得するもので、ここでいう姿勢とは画像取得手段の向いている方向であり傾きのことを意味する。より具体的には、水平面上の左右軸をＸ軸、水平面の前後軸をＹ軸、鉛直軸をＺ軸とすると、Ｘ軸回りの回転ω（ピッチ）、Ｙ軸回りの回転φ（ロール）、Ｚ軸回りの回転κ（ヨー）が姿勢を決定する要素である。姿勢計測手段としては、Ｚ軸回りの回転κつまり方位を計測する地磁気センサ（電子コンパス）や、Ｘ軸回りの回転ωやＹ軸回りの回転φを計測する加速度センサが代表的であるが、その他ジャイロセンサなど公知の技術を利用することもできる。電子コンパスと加速度センサの両方を内蔵した、いわゆる６軸センサ内蔵の携帯電話端末も市販されているので、このような端末機を利用すると好適である。

【0032】

４．画像作成手段
画像作成手段（図示しない）は、撮像地点（現在位置）に対応する空間モデルを画像化して仮想空間画像４を作成するものである。この空間モデルはサーバ側装置の記憶手段に記憶されているものであるが、位置計測手段で計測した撮像地点の平面位置データをサーバ側装置に送ると、この平面位置データを基に抽出された空間モデルが返されるので、端末側装置１も空間モデルを取得できる。

【0033】

本実施形態では、空間モデルは浸水予測結果であり、実際には、サーバ側装置からは浸水深が返される。この撮像地点における浸水深に基づいて仮想空間画像４を作成する方法について、図２に基づいてさらに詳しく説明する。

【0034】

図２は、地盤モデルの作成方法を説明するための説明図である。図２は、地盤面Ｇに、浸水があった状態を示すものであり、浸水表面ｓと地盤面Ｇの高低差が浸水深ｈである。この状態を、撮像高さｅの位置に置かれた画像取得手段で撮像している。画像取得手段で撮像される対象物（この場合、地盤や浸水状況）の画像は、焦点ｏを通じてｃｃｄイメージセンサ（いわゆる撮像面）に画素単位で画像情報（例えばＲＧＢ値）として取得される。この図からもわかるように、焦点ｏからｃｃｄイメージセンサまでの焦点距離ｆと、ｃｃｄサイズＤ（つまり撮像面の大きさ）によって、画角αは異なり、すなわち撮像される範囲は異なる。また、画像取得手段の撮像高さｅと姿勢（ピッチω）によっても、撮像される範囲が異なることがわかる。図２の場合、画像取得手段のモニタ２には撮像範囲Ｌが表示されることとなる。

【0035】

通常、画像取得手段の焦点距離ｆ、ｃｃｄサイズＤ、画角α、は、あらかじめカメラ緒元として入手できるので、画像取得手段の撮像高さｅと姿勢（ピッチω）が分かれば、撮像範囲Ｌを求めることができる。また、図２は鉛直方向の断面図を示しているが、平面的にも同様のことがいえるので、やはり画像取得手段の撮像高さｅと姿勢が分かれば、左右方向（図２では図面奥行き方向）の撮像範囲も求めることができる。この画像取得手段の姿勢については姿勢計測手段で計測したものを利用でき、画像取得手段の撮像高さｅについては撮像時に簡単に計測できる。画像取得手段の撮像高さｅは、例えば、１．５ｍなどの推定値を用いることもできる。

【0036】

さらに、地盤面Ｇが水平であると仮定すれば、モニタ２に表示された地盤面の任意地点について、実際の撮像地点からの距離を求めることもできる。これが、合成画像表示プログラムのうちの地盤モデル作成機能である。従って、図３に示すように、地盤面Ｇをモデル化した地盤モデル６を作成することもできる。この図に示すように、焦点距離ｆ、ｃｃｄサイズＤ、画角α、画像取得手段の撮像高さｅ及び姿勢に基づいて計算された地盤モデル６は、遠近が表現された透視図となる。なお図３では、地盤モデルを平面直角の格子状としているが、これに限らず同心円状のメッシュとするなど、種々のモデル化を採用することもできる。

【0037】

地盤モデルが作成できれば、地盤面Ｇから浸水深ｈだけ上方に広がる浸水表面ｓについても、モニタ２上においてどのような形状で描画されるかを計算することができる。ここで計算されるモニタ２上の形状は、焦点距離ｆ、ｃｃｄサイズＤ、画角α、画像取得手段の撮像高さｅ及び姿勢に応じて計算されるので、地盤モデル６と同様に遠近が表現された透視図となる。通常、このような計算を行うにあたっては、ＤｉｒｅｃｔＸ（登録商標）やＯｐｅｎＧＬ（登録商標）などの言語を使用した汎用ソフトが利用される。ここで計算された形状を、線や面で構成したものが仮想空間画像４である。これが、合成画像表示プログラムのうちの画像作成機能である。仮想空間画像４を面で構成した場合、この面に着色したり、模様を配したり、あるいは模様と着色を組み合わせたり、着色を半透明としたり、認識しやすいように種々工夫することができる。

【0038】

また、より浸水状況が認識しやすいように、浸水予測結果の仮想空間画像４を浸水表面ｓと浸水壁面ｋ（図４）からなるものとすることもできる。図４は、浸水した状態における浸水壁面ｋを説明するためのモデル図である。図４に示すように、仮に撮像者の周辺だけ浸水していないものとすれば、撮像者には浸水状態の断面である浸水壁面ｋを見ることができる。この浸水壁面ｋは、撮像者から所定距離（図２ではＬ１としている）だけ離れた位置で設けられ、例えばこの所定距離を５ｍ〜１０ｍの範囲で設定することができる。

【0039】

図１に示す仮想空間画像４も浸水表面ｓと浸水壁面ｋで構成され、浸水表面ｓが浸水表面の仮想空間画像４ａとして、浸水壁面ｋが浸水壁面の仮想空間画像４ｂとして、それぞれ作成されている。この場合、浸水表面の仮想空間画像４ａと、浸水壁面の仮想空間画像４ｂとは、それぞれ着色や模様を違うものとすれば、さらに浸水状況が認識しやすくなって好適である。もちろん、浸水表面の仮想空間画像４ａと、浸水壁面の仮想空間画像４ｂを、それぞれ同じ着色や模様とすることもできるし、また、浸水壁面の仮想空間画像４ｂを省いて浸水表面の仮想空間画像４ａのみで仮想空間画像４を作成することもできる。

【0040】

（サーバ側装置）
サーバ側装置（図示しない）は、前記したように記憶手段、抽出手段、及びサーバ側送受信手段を備えている。抽出手段は、本願発明の合成画像表示プログラムのうち主に平面位置読み取り機能と検索機能によって実行される手段であり、具体的にはこれら機能を格納しかつ実行させるコンピュータで構成される。

【0041】

１．記憶手段
記憶手段（図示しない）は、複数の空間モデルを記憶することのできるものである。本実施形態における空間モデルは、平面的に広がりをもった所定領域を平面分割して作成される場合で説明する。すなわち所定領域を平面分割した一単位をメッシュとし、それぞれのメッシュに浸水深さを与えたものが空間モデルである。すなわち、メッシュごとに空間モデルが作成され、所定領域を平面分割することで多数のメッシュが得られ、この結果、多数の空間モデルが記憶手段に記憶される。メッシュと浸水深からなる空間モデルは、通常データベースとして記憶手段に記憶される。なおこの浸水深は、前記したように浸水シミュレーションの結果得られるものである。

【0042】

所定領域を平面分割して得られるメッシュは、その範囲を特定できるように平面位置座標が設定される。あるいは、メッシュ内に代表点（例えば中心点）が設けられて、平面位置座標が設定される。このように、それぞれのメッシュは平面位置に関連づけられ（紐づけられ）、すなわちそれぞれの空間モデルは平面位置に関連づけられる。これにより、撮像地点の平面位置が特定されると、これに対応する空間モデルを選択することができるようになる。

【0043】

２．抽出手段
抽出手段（図示しない）は、記憶手段に記憶された多数の空間モデルの中から、目的の空間モデルを抽出するものである。目的の空間モデルとは、撮像地点の平面位置に対応する空間モデルであり、より具体的には、撮像地点の平面位置を含むメッシュの空間モデルであり、あるいは撮像地点の平面位置に最も近傍の代表点を持つメッシュの空間モデルである。

【0044】

端末側装置１の端末側送受信手段から送信される撮像地点の平面位置を、サーバ側装置のサーバ側送受信手段で受信すると、平面位置読み取り機能が撮像地点の平面位置を読み取り、この平面位置を手掛かりに検索機能が目的の空間モデルを検索する。このとき、空間モデル（メッシュ）の数が膨大であれば、すべての空間モデルに対して照会しなければならないので、検索時間が長くなり、サーバ側装置にも大きな負荷がかかる。このような場合、所定数のメッシュをまとめたタイルを作成するとともに、このタイルの平面範囲を明確にしておけば、平面位置を手掛かりに検索する際、まずは対応するタイルを検索し、そのタイルの中に含まれるメッシュを照会すればよいので、検索時間は短縮され、サーバ側装置にかかる負荷も低減できる。

【0045】

（使用例）
本実施例における本願発明の使用例について、以下説明する。

【0046】

１．端末側装置
図５に示すように、端末側装置１を目的の方向へ向け、モニタ２に対象範囲を表示させる。その状態で、位置計測手段によって画像取得手段の平面位置を計測するとともに、姿勢計測手段によって画像取得手段の姿勢を計測する。この計測を行うタイミング（いわゆるトリガー）は、計測を指示する手段（ボタンやタッチパネル）を設けることもできるし、自動的かつ定期的に計測させる仕組みとすることもできる。

【0047】

姿勢計測手段によって計測された姿勢は、端末側装置１に記憶される。なお、画像取得手段の撮像高さは、固定値（例えば１．５ｍ）としてあらかじめ端末側装置１に記憶させておくこともできるし、現地で計測して端末側装置１に入力する仕組みとすることもできる。位置計測手段によって計測された平面位置は、端末側送受信手段によってサーバ側装置に送信される。このタイミングも、送信を指示する手段（ボタンやタッチパネル）を設けることもできるし、計測後に自動的に送信させる仕組みとすることもできる。

【0048】

２．サーバ側装置
サーバ側送受信手段によって、画像取得手段の平面位置（撮像地点）を受信すると、合成画像表示プログラムの平面位置読み取り機能によって、撮像地点の平面位置が認識される。この平面位置を手掛かりとして、合成画像表示プログラムの検索機能が、記憶手段に記憶されたデータベース（平面分割されたメッシュと浸水深で構成）から目的の空間モデルを検索し、抽出する。抽出手段によって抽出された空間モデルは、サーバ側送受信手段によって端末側装置に送信される。

【0049】

３．端末側装置
端末側送受信手段によって空間モデルを受信すると、あらかじめ記憶された画像取得手段の焦点距離ｆ、ｃｃｄサイズＤ、画角αといったカメラ緒元を読み込み、姿勢計測手段によって計測された姿勢、画像取得手段の撮像高さも読み込まれる。これらの情報に基づいて、合成画像表示プログラムの地盤モデル作成機能によって地盤モデルが作成され、画像作成機能によって仮想空間画像が作成される。そして画像表示機能によって、モニタ２に表示されている実写画像上に、仮想空間画像が重畳表示される。

【0050】

（実施形態２）
本願発明の合成画像表示装置及び合成画像表示プログラムの第２の実施形態を図に基づいて以下説明する。本実施形態は、実施形態１において空間モデルがメッシュと浸水深で構成されるのに代えて、空間モデルがメッシュと浸水表面の標高で構成される場合を説明するためのものであり、実施形態１と共通する技術内容に関する説明は省略する。

【0051】

図６は、浸水深及び浸水表面の標高を示す説明図である。この図に示すように、地盤面と浸水表面との高低差が浸水深ｈであり、地盤面の標高ｚに浸水深ｈを加えたものが浸水表面の標高である。本実施形態では、記憶手段が記憶している空間モデルが浸水深を具備していないので、仮想空間画像を作成するためには浸水深を算出する必要がある。

【0052】

そこで、本実施形態では、位置計測手段により画像取得手段の標高ｚ（図６）を計測する。ここで計測された画像取得手段の標高ｚから撮像高さｅ（図２）を差し引けば地盤面の標高が求められる。さらに、地盤面の標高と、空間モデルがもつ浸水表面の標高との差を求めることによって、浸水深を算出する。ここで算出された浸水深によって仮想空間画像を作成する。この点が実施形態１と異なる。

【0053】

（使用例）
本実施例における本願発明の使用例について、以下説明する。

【0054】

１．端末側装置
図５に示すように、端末側装置１を目的の方向へ向け、モニタ２に対象範囲を表示させる。その状態で、位置計測手段によって画像取得手段の平面位置及び標高を計測するとともに、姿勢計測手段によって画像取得手段の姿勢を計測する。この計測を行うタイミング（いわゆるトリガー）は、計測を指示する手段（ボタンやタッチパネル）を設けることもできるし、自動的かつ定期的に計測させる仕組みとすることもできる。

【0055】

姿勢計測手段によって計測された姿勢は、端末側装置１に記憶される。なお、画像取得手段の撮像高さは、固定値（例えば１．５ｍ）としてあらかじめ端末側装置１に記憶させておくこともできるし、現地で計測して端末側装置１に入力する仕組みとすることもできる。位置計測手段によって計測された平面位置は、端末側送受信手段によってサーバ側装置に送信される。このタイミングも、送信を指示する手段（ボタンやタッチパネル）を設けることもできるし、計測後に自動的に送信させる仕組みとすることもできる。

【0056】

２．サーバ側装置
サーバ側送受信手段によって、画像取得手段の平面位置（撮像地点）を受信すると、合成画像表示プログラムの平面位置読み取り機能によって、撮像地点の平面位置が認識される。この平面位置を手掛かりとして、合成画像表示プログラムの検索機能が、記憶手段に記憶されたデータベース（平面分割されたメッシュと浸水表面標高で構成）から目的の空間モデルを検索し、抽出する。抽出手段によって抽出された空間モデルは、サーバ側送受信手段によって端末側装置に送信される。

【0057】

３．端末側装置
端末側送受信手段によって空間モデルを受信すると、あらかじめ記憶された画像取得手段の焦点距離ｆ、ｃｃｄサイズＤ、画角αといったカメラ緒元を読み込み、姿勢計測手段によって計測された姿勢、画像取得手段の撮像高さも読み込まれる。これらの情報に基づいて、合成画像表示プログラムの地盤モデル作成機能によって地盤モデルが作成される。さらに、画像作成段手段（画像作成機能）によって、空間モデルがもつ浸水表面標高と、位置計測手段によって計測された画像取得手段の標高と、画像取得手段の撮像高さと、によって浸水深が算出され、カメラ緒元等に基づいて仮想空間画像が作成される。そして画像表示機能によって、モニタ２に表示されている実写画像上に、仮想空間画像が重畳表示される。

【0058】

［その他の実施形態］
本願発明の成画像表示装置は、端末側装置とサーバ側装置に分けて構成する場合に限らず、すべての手段（画像取得手段、位置計測手段、姿勢計測手段、記憶手段、抽出手段、画像作成手段、表示手段）と、合成画像表示プログラム記憶して実行するコンピュータを、一つの装置に具備して構成することもできる。この場合、サーバ側送受信手段及び端末側送受信手段は省略することができる。

【産業上の利用可能性】

【0059】

本願発明の画像合成システムは、津波による浸水予測に限らず、内水氾濫や外水氾濫による浸水予測の結果を表示する場合にも利用することができる。また、浸水状況に限らず、盛土計画、橋梁や建築物といった構造物計画など、様々な計画を実際に撮像した画像に重畳表示することに応用することができる。

【符号の説明】

【0060】

１ 端末側装置
２ （端末側装置１の）モニタ
３ 実写画像
４ 仮想空間画像
４ａ 浸水表面の仮想空間画像
４ｂ 浸水壁面の仮想空間画像
５ 合成画像
６ 地盤モデル
α 画角
Ｄ ｃｃｄサイズ
ｅ 画像取得手段の撮像高さ
ｆ 焦点距離
Ｇ 地盤面
ｈ 浸水深
ｋ 浸水壁面
Ｌ 撮像範囲
Ｌ１ 撮像者から所定距離
ｏ 焦点
ｓ 水表面
ｚ （地盤面の）標高
ω （画像取得手段の姿勢のうちの）ピッチ
φ （画像取得手段の姿勢のうちの）ロール
κ （画像取得手段の姿勢のうちの）ヨー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】