特開 2024-112666 状況把握支援装置、状況把握支援方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112666

(43)【公開日】2024-08-21

(54)【発明の名称】状況把握支援装置、状況把握支援方法、及びプログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20240814BHJP

   G08B 27/00 20060101ALI20240814BHJP

   G08B 17/00 20060101ALI20240814BHJP

【ＦＩ】

G08B25/00 510M

G08B27/00 A

G08B17/00 C

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023017870

(22)【出願日】2023-02-08

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】野澤 善明

(72)【発明者】

【氏名】嶋田 大祐

(72)【発明者】

【氏名】山中 信一

(72)【発明者】

【氏名】柳生 拓哉

【テーマコード（参考）】

5C087

5G405

【Ｆターム（参考）】

5C087AA03

5C087AA09

5C087DD04

5C087EE05

5C087EE14

5C087FF01

5C087FF04

5C087GG02

5C087GG10

5C087GG14

5C087GG20

5C087GG66

5C087GG68

5G405AA06

5G405AA08

5G405AB01

5G405AB02

5G405AB05

5G405CA22

5G405CA28

5G405CA31

5G405EA41

(57)【要約】

【課題】災害状況を把握させることを支援することが可能な状況把握支援装置等提供することを目的の一つとする。
【解決手段】本開示の一態様にかかる状況把握支援装置は、災害現場が撮影された撮影画像を取得する取得手段と、前記撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、前記モデルデータのうち、撮影された前記災害現場に対応する部分領域を特定する特定手段と、前記撮影画像と特定された前記部分領域の画像との差分に基づいて、物体を検出する検出手段と、検出された前記物体の位置に対応する前記モデルデータ上の位置に、前記物体に応じたアイコンが配置された、現状モデルデータを生成する生成手段と、生成された前記現状モデルデータを、ディスプレイに表示させる表示制御手段と、を備える。
【選択図】 図２

【特許請求の範囲】

【請求項1】

災害現場が撮影された撮影画像を取得する取得手段と、
前記撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、前記モデルデータのうち、撮影された前記災害現場に対応する部分領域を特定する特定手段と、
前記撮影画像と特定された前記部分領域の画像との差分に基づいて、物体を検出する検出手段と、
検出された前記物体の位置に対応する前記モデルデータ上の位置に、前記物体に応じたアイコンが配置された、現状モデルデータを生成する生成手段と、
生成された前記現状モデルデータを、ディスプレイに表示させる表示制御手段と、を備える、
状況把握支援装置。

【請求項2】

前記取得手段は、前記撮影画像を撮影した隊員の位置情報を取得し、
前記特定手段は、前記撮影画像と、当該取得された位置情報に対応する前記モデルデータの領域と、の位置合わせにより、前記部分領域を特定する、
請求項１に記載の状況把握支援装置。

【請求項3】

前記取得手段は、前記撮影画像に対応する赤外線画像を取得し、
前記検出手段は、前記撮影画像のうち、前記赤外線画像によって所定の値以上の温度が示される箇所に対応する、前記差分の箇所を、炎として検出する、
請求項１に記載の状況把握支援装置。

【請求項4】

前記検出手段は、前記撮影画像のうち、前記差分の箇所の色と前記差分の箇所のエッジが検出されたか否かの情報とに基づいて、煙を検出する、
請求項１に記載の状況把握支援装置。

【請求項5】

推定手段を備え、
前記災害現場は、建造物内を含み
前記モデルデータは、建造物における空気の流れに関するシミュレーションデータである気流解析データと、建造物における熱の移動に関するシミュレーションデータである熱解析データと、を含み、
前記取得手段は、撮影された前記災害現場の温度データを取得し、
前記検出手段は、炎を検出し、
前記推定手段は、検出された前記炎の位置と、前記温度データと、前記気流解析データと、前記熱解析データと、に基づいて、前記災害現場の火元の位置を推定し、
前記生成手段は、推定された前記火元の位置に対応する前記モデルデータ上の位置に、前記火元を示すアイコンが配置された、前記現状モデルデータを生成する、
請求項１に記載の状況把握支援装置。

【請求項6】

前記推定手段は、推定された前記火元の位置と、検出された前記炎の位置と、前記温度データと、前記気流解析データと、前記熱解析データと、に基づいて、前記災害現場における火災の広がり方を推定する、
請求項５に記載の状況把握支援装置。

【請求項7】

前記現状モデルデータには、前記火元の位置、前記炎の位置、前記温度データ、及び隊員の位置を示す情報が少なくとも含まれ、
災害現場の状況及び火災の広がり方と、災害現場における活動の指針と、の関係を学習した学習モデルを利用して、前記現状モデルデータと前記推定された火災の広がり方とに基づいて、撮影された前記災害現場にて隊員が行うべき活動を示す活動情報を出力する活動情報出力手段と、
前記活動情報に基づいて、隊員が取り得る経路を算出する経路算出手段と、を備え、
前記生成手段は、隊員の位置から向かうべき場所に向かうための方向を示す指示情報を生成し、
前記表示制御手段は、前記指示情報を、隊員が装着するマスクのゴーグル部分に表示させる、
請求項６に記載の状況把握支援装置。

【請求項8】

撮影された前記災害現場は、建造物内であり、
前記モデルデータは、当該建造物の避難経路を示す情報を含み、
前記活動情報出力手段が、当該建造物から避難することを示す前記活動情報を出力した場合、
前記経路算出手段は、前記現状モデルデータ上において、
検出された前記物体に基づく、人物が通れない箇所を特定し、
隊員の位置から、当該通れない箇所を避けた避難経路を算出し、
前記生成手段は、算出された避難経路に応じて、隊員の位置から避難するための方向を示す前記指示情報を生成する、
請求項７に記載の状況把握支援装置。

【請求項9】

災害現場が撮影された撮影画像を取得し、
前記撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、前記モデルデータのうち、撮影された前記災害現場に対応する部分領域を特定し、
前記撮影画像と特定された前記部分領域の画像との差分に基づいて、物体を検出し、
検出された前記物体の位置に対応する前記モデルデータ上の位置に、前記物体に応じたアイコンが配置された、現状モデルデータを生成し、
生成された前記現状モデルデータを、ディスプレイに表示させる、
状況把握支援方法。

【請求項10】

災害現場が撮影された撮影画像を取得する処理と、
前記撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、前記モデルデータのうち、撮影された前記災害現場に対応する部分領域を特定する処理と、
前記撮影画像と特定された前記部分領域の画像との差分に基づいて、物体を検出する処理と、
検出された前記物体の位置に対応する前記モデルデータ上の位置に、前記物体に応じたアイコンが配置された、現状モデルデータを生成する処理と、
生成された前記現状モデルデータを、ディスプレイに表示させる処理と、をコンピュータに実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、災害現場の状況把握の技術に関する。

【背景技術】

【0002】

火災等の災害発生時、現場で災害に対応する隊員及びその後方支援者（例えば、隊員に指示を行うオペレータ等）は、災害現場の状況を把握することが求められる。

【0003】

火災現場の状況把握に関連して、特許文献１では、危険箇所を察知する技術が存在する。例えば、特許文献１では、消防士に装着されたカメラモジュールによって撮影された映像等から現場の危険箇所を特定し、危険箇所の位置を示す画像を表示することが開示される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１６９８３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示される技術では、危険箇所の位置は、単に平面のマップに示されるのみである。この場合、直接現場を見ていない後方支援者にとっては、状況を十分に把握できない虞がある。この点に改善の余地がある。

【0006】

本開示は、上記課題を鑑みてなされたものであり、災害状況を把握させることを支援することが可能な状況把握支援装置等を提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

本開示の一態様にかかる状況把握支援装置は、災害現場が撮影された撮影画像を取得する取得手段と、前記撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、前記モデルデータのうち、撮影された前記災害現場に対応する部分領域を特定する特定手段と、前記撮影画像と特定された前記部分領域の画像との差分に基づいて、物体を検出する検出手段と、検出された前記物体の位置に対応する前記モデルデータ上の位置に、前記物体に応じたアイコンが配置された、現状モデルデータを生成する生成手段と、生成された前記現状モデルデータを、ディスプレイに表示させる表示制御手段と、を備える。

【0008】

本開示の一態様にかかる状況把握支援方法は、災害現場が撮影された撮影画像を取得し、前記撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、前記モデルデータのうち、撮影された前記災害現場に対応する部分領域を特定し、前記撮影画像と特定された前記部分領域の画像との差分に基づいて、物体を検出し、検出された前記物体の位置に対応する前記モデルデータ上の位置に、前記物体に応じたアイコンが配置された、現状モデルデータを生成し、生成された前記現状モデルデータを、ディスプレイに表示させる。

【0009】

本開示の一態様にかかるプログラムは、災害現場が撮影された撮影画像を取得する処理と、前記撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、前記モデルデータのうち、撮影された前記災害現場に対応する部分領域を特定する処理と、前記撮影画像と特定された前記部分領域の画像との差分に基づいて、物体を検出する処理と、検出された前記物体の位置に対応する前記モデルデータ上の位置に、前記物体に応じたアイコンが配置された、現状モデルデータを生成する処理と、生成された前記現状モデルデータを、ディスプレイに表示させる処理と、をコンピュータに実行させる。

【発明の効果】

【0010】

本開示によれば、災害状況を把握させることを支援することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態の状況把握支援システムの構成の一例を模式的に示す図である。

【図2】第１の実施形態の状況把握支援装置の機能構成の一例を示すブロック図である。

【図3】第１の実施形態の状況把握支援装置の動作の一例を説明するフローチャートである。

【図4】第２の実施形態の状況把握支援システムの構成の一例を模式的に示す図である。

【図5】第２の実施形態の状況把握支援システムの構成の一例を示すブロック図である。

【図6】第２の実施形態の撮影画像の一例を示す図である。

【図7】第２の実施形態の部分領域の画像の一例を示す図である。

【図8】第２の実施形態の差分画像の第１の例を示す図である。

【図9】第２の実施形態の撮影画像の他の例を示す図である。

【図10】第２の実施形態の差分画像の第２の例を示す図である。

【図11】第２の実施形態の差分画像の第３の例を示す図である。

【図12】第２の実施形態の現状モデルデータに基づくマップの一例を示す図である。

【図13】第２の実施形態の状況把握支援装置の動作の一例を説明するフローチャートである。

【図14】第３の実施形態の状況把握支援システムの構成の一例を示すブロック図である。

【図15】第３の実施形態の隊員装置の一例を示す図である。

【図16】第３の実施形態の経路の一例を示す図である。

【図17】第３の実施形態の指示情報の一例を示す図である。

【図18】第３の実施形態の状況把握支援装置の動作の一例を説明するフローチャートである。

【図19】本開示の第１、第２、及び第３の実施形態の状況把握支援装置を実現するコンピュータ装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下に、本開示の実施形態について、図面を参照しつつ説明する。

【0013】

＜第１の実施形態＞
第１の実施形態の状況把握支援装置の概要について説明する。

【0014】

図１は、状況把握支援システム１０００の構成の一例を模式的に示す図である。状況把握支援システム１０００は、少なくとも状況把握支援装置１００を含む。図１の例では、状況把握支援システム１０００は、状況把握支援装置１００と隊員装置２００と端末装置３００とを有する。状況把握支援装置１００は、隊員装置２００と端末装置３００と無線又は有線のネットワークを介して通信可能に接続される。

【0015】

本開示における状況把握支援システム１０００は、災害が発生した際の対応において用いられる。当該システムが用いられるシチュエーションの一例としては、災害現場にて隊員が、救助活動または消火活動等を行うシチュエーションが挙げられる。隊員の一例は、救急隊員、消防隊員、及びレスキュー隊員である。このとき、後方支援者は、隊員からの報告等により災害現場の状況を把握し、隊員に指示を行う。後方支援者は、オペレータ又は指揮者と呼ばれることもある。

【0016】

現場の隊員は、隊員装置２００を所持する。隊員装置２００は、所定の計測を行う機能を有する。例えば、隊員装置２００は、隊員に装着される装置であってよい。すなわち、隊員装置２００による計測の場所は、隊員の移動とともに変わってよい。端末装置３００は、後方支援者が利用する装置である。端末装置３００は、少なくともディスプレイを有する。状況把握支援装置１００は、隊員装置２００によって計測される情報を用いて各種の処理を行う。そして、状況把握支援装置１００は、各種の処理の結果に応じた、災害現場の状況に関する情報を、端末装置３００のディスプレイに表示させる。このように、状況把握支援システム１０００は、隊員装置２００によって取得された災害現場における情報を利用して、災害現場の状況を後方支援者に把握させることが可能なシステムである。

【0017】

なお、図１では、状況把握支援装置１００、隊員装置２００、及び端末装置３００のそれぞれが、便宜上、一の装置で構成されているように記載されている。しかしながら、状況把握支援装置１００、隊員装置２００、及び端末装置３００のそれぞれの構成は、この例に限られない。すなわち、状況把握支援装置１００、隊員装置２００、及び端末装置３００のそれぞれは、複数の装置で構成されてもよい。また、隊員装置２００及び端末装置３００は、複数存在していてもよい。

【0018】

隊員装置２００は、所定の計測を行う機能を有する。所定の計測の一例は、撮影機能である。すなわち、隊員装置２００は、周囲を撮影可能なカメラモジュールが搭載される。

【0019】

端末装置３００は、パーソナルコンピュータであってよい。端末装置３００は、各種の入出力機器を有していてよい。入出力機器の一例は、キーボード、マイク、カメラ、ディスプレイ、及びスピーカ等である。端末装置３００の一例は、パーソナルコンピュータ、及び、パーソナルコンピュータと接続可能なヘッドマウントディスプレイである。

【0020】

状況把握支援装置１００は、サーバ装置であってよい。

【0021】

次に、状況把握支援装置１００の機能構成の一例を説明する。図２は、状況把握支援装置１００の機能構成の一例を示すブロック図である。図２に示すように、状況把握支援装置１００は、取得部１１０と特定部１２０と検出部１３０と生成部１４０と表示制御部１５０とを備える。

【0022】

取得部１１０は、隊員装置２００から各種の情報を取得する。例えば、隊員装置２００が、災害現場において周囲を撮影する。取得部１１０は、隊員装置２００によって撮影された撮影画像を取得する。このように、取得部１１０は、災害現場が撮影された撮影画像を取得する。取得部１１０は、取得手段の一例である。

【0023】

特定部１２０は、撮影画像を利用して、モデルデータに対する処理を行う。モデルデータは、現実空間が表現された三次元モデルである。より具体的には、モデルデータは、現実に存在する建造物、及び地形等が仮想空間に再現された三次元モデルである。モデルデータは、状況把握支援装置１００が有する記憶装置に格納されていてもよいし、状況把握支援装置１００と通信可能に接続される外部の記憶装置に格納されていてもよい。

【0024】

特定部１２０は、撮影画像に基づいて、撮影された災害現場に対応するモデルデータの領域を特定する。例えば、特定部１２０は、撮影画像に映る建造物の特徴を利用し、撮影画像とモデルデータとの位置合わせを行う。この位置合わせにより特定されたモデルデータの部分領域が、災害現場に対応する領域となる。

【0025】

このように、特定部１２０は、撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、モデルデータのうち、災害現場に対応する部分領域を特定する。特定部１２０は、特定手段の一例である。

【0026】

検出部１３０は、物体を検出する。具体的には、検出部１３０は、撮影画像と、特定手段によって特定されたモデルデータの部分領域の画像と、の差分を算出する。そして、検出部１３０は、算出された差分の部分に対して物体の検出を行う。物体の例としては、要救護者等の人物、障害物、炎及び煙などである。

【0027】

このように、検出部１３０は、撮影画像と特定された部分領域の画像との差分に基づいて、物体を検出する。検出部１３０は、検出手段の一例である。

【0028】

生成部１４０は、検出された物体に関する情報を反映したモデルデータを生成する。具体的には、生成部１４０は、検出部１３０によって検出された物体の撮影画像上の位置に対応する、モデルデータ上の位置を特定する。そして、生成部１４０は、特定されたモデルデータ上の位置に、検出された物体を示す情報を反映させる。例えば、検出部１３０によって炎が検出されたとする。このとき、生成部１４０は、検出された炎の撮影画像上の位置に対応する、モデルデータ上の位置を特定する。そして、生成部１４０は、特定されたモデルデータ上の位置に、炎を示すアイコンを付加する。アイコンは、仮想空間上に表示される画像であってよい。例えばアイコンは、オブジェクト画像である。これにより、検出された物体の情報がモデルデータに反映される。検出された物体に関する情報が反映されたモデルデータを現状モデルデータと称する。なお、モデルデータへの物体に関する情報の反映方法はこの例に限られるものではない。

【0029】

このように生成部１４０は、検出された物体の位置に対応するモデルデータ上の位置に、物体に応じたアイコンが配置された、現状モデルデータを生成する。生成部１４０は、生成手段の一例である。

【0030】

表示制御部１５０は、現状モデルデータを表示させる。具体的には、表示制御部１５０は、端末装置３００が有するディスプレイに現状モデルデータを表示させる。現状モデルデータは、ＶＲ（Ｖｅｒｔｉａｌ Ｒｅａｌｉｔｙ）画像として表示されてよい。

【0031】

次に、状況把握支援装置１００の動作の一例を、図３を用いて説明する。なお本開示において、フローチャートの各ステップを「Ｓ１」のように、各ステップに付した番号を用いて表現する。

【0032】

図３は、状況把握支援装置１００の動作の一例を説明するフローチャートである。取得部１１０は、災害現場が撮影された撮影画像を取得する（Ｓ１）。特定部１２０は、撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、モデルデータのうち、撮影された災害現場に対応する部分領域を特定する（Ｓ２）。検出部１３０は、撮影画像と特定された部分領域の画像との差分に基づいて、物体を検出する（Ｓ３）。生成部１４０は、検出された物体の位置に対応するモデルデータ上の位置に、物体に応じたアイコンが配置された、現状モデルデータを生成する（Ｓ４）。表示制御部１５０は、生成された現状モデルデータを、ディスプレイに表示させる（Ｓ５）。

【0033】

このように、第１の実施形態の状況把握支援装置１００は、災害現場が撮影された撮影画像を取得し、撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、モデルデータのうち、撮影された災害現場に対応する部分領域を特定する。また、状況把握支援装置１００は、撮影画像と特定された部分領域の画像との差分に基づいて、物体を検出する。そして、状況把握支援装置１００は、検出された物体の位置に対応するモデルデータ上の位置に、物体に応じたアイコンが配置された、現状モデルデータを生成し、生成された現状モデルデータを、ディスプレイに表示させる。

【0034】

これにより、状況把握支援装置１００は、例えば、後方支援者に対して、三次元モデルにより、災害現場の状況を把握させることができる。そのため、状況把握支援装置１００は、文字や平面的なマップにより災害現場の状況を示すことに比べて、直感的に、災害現場の状況を把握させることができる。すなわち、第１の実施形態の状況把握支援装置１００は、災害状況を把握させることを支援することができる。

【0035】

＜第２の実施形態＞
次に、第２の実施形態の状況把握支援システムについて説明する。第２の実施形態では、第１の実施形態で説明した状況把握支援システムに関する更なる例を説明する。なお、第１の実施形態と重複する内容は、一部説明を省略する。

【0036】

第２の実施形態では、災害が発生した場合であって、所定の建造物内で隊員が活動する場合における、状況把握支援システムの適用例を説明するが、これは、当該システムの適用可能なシチュエーションを限定するものではない。

【0037】

図４は、状況把握支援システム１０００の構成の一例を模式的に示す図である。図４は、図１に示された状況把握支援システム１０００を具体的に示した一例である。図４の例では、隊員装置２００－１、２００－２、・・・、２００－ｎ（ｎは自然数）が存在する。以降、隊員装置２００－１、２００－２、・・・、２００－ｎを区別しないとき、単に、隊員装置２００と称する。また、図４に示すように、状況把握支援システム１０００には、通信装置が含まれてもよい。通信装置は、隊員装置２００と状況把握支援装置１００と通信可能に接続される。通信装置は、複数存在してよい。通信装置の詳細は、後述する。

【0038】

また、図４の例において、端末装置３００は、コンピュータとヘッドマウントディスプレイとを含む。この場合、後方支援者がヘッドマウントディスプレイを装着する。状況把握支援装置１００によって生成される現状モデルデータがヘッドマウントディスプレイに出力されることにより、後方支援者は、災害現場の状況を疑似体験することができる。

【0039】

［状況把握支援システム１０００の詳細］
図５は、状況把握支援システム１０００の構成の一例を示すブロック図である。

【0040】

隊員装置２００は、可視光撮影部２１０と赤外線撮影部２２０と位置情報通信部２３０とを備える。可視光撮影部２１０は、撮影を行い、撮影画像を生成する。可視光撮影部２１０は、可視光線を利用するカメラモジュールにより実現される。要するに、可視光撮影部２１０は、可視光線を受光して、可視画像を生成する。本開示において、可視光撮影部２１０によって撮影される可視画像を、単に撮影画像と称する。可視光撮影部２１０は、撮影画像を、状況把握支援装置１００に送信する。

【0041】

赤外線撮影部２２０は、撮影を行い、赤外線画像を生成する。赤外線撮影部２２０は、赤外線を利用するカメラモジュールにより実現される。要するに、赤外線撮影部２２０は、赤外線を受光し、赤外線画像を生成する。このとき、赤外線画像は撮影画像と略同様の画角で撮影される。すなわち、赤外線撮影部２２０は、撮影画像に対応する赤外線画像を生成する。赤外線撮影部２２０は、赤外線画像を、状況把握支援装置１００に送信する。

【0042】

なお、可視光撮影部２１０と赤外線撮影部２２０とは、同時刻に撮影された画像をそれぞれ対応づけて状況把握支援装置１００に送信してよい。すなわち、隊員装置２００は、同時刻に撮影された撮影画像と赤外線画像とを対応づけて状況把握支援装置１００に送信してよい。

【0043】

位置情報通信部２３０は、位置情報を取得するための信号の送受信を行う。一例としては、位置情報通信部２３０は、ビーコンを利用して、位置情報に関する信号を受信する。この場合、通信装置はビーコン端末である。そして、複数の通信装置が災害現場の建造物に設置される。例えば、通信装置は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により位置情報に関する信号の一例である固有ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を発信する。固有ＩＤは、通信装置ごとに異なる情報であり、通信装置が設置される場所を示す情報と関連付けられる。位置情報通信部２３０は、位置情報に関する信号を受信する。そして、位置情報通信部２３０は、受信した位置情報に関する信号を状況把握支援装置１００に送信する。状況把握支援装置１００は、隊員装置２００から取得した位置情報に関する信号に基づいて、隊員装置２００の位置情報を取得する。なお、位置情報通信部２３０は、ビーコンに代えてＷｉ－Ｆｉ（登録商標）を利用して、位置情報に関する信号を受信するようにしてもよい。この場合、通信装置は、アクセスポイントである。

【0044】

また、この例に限らず、位置情報通信部２３０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を利用して位置情報に関する信号を受信してよい。この場合、状況把握支援装置１００は、位置情報通信部２３０によって受信された信号を、隊員装置２００の位置情報として取得される。

【0045】

なお、隊員装置２００は、隊員のそれぞれに装着される、ウェアラブルな装置であってよい。例えば隊員装置２００は、隊員の衣服に装着される。また、隊員装置２００は、隊員が着用する空気呼吸器のマスク部分に装着されてもよい。これにより、隊員が災害現場にいる場合、隊員装置２００によって撮影される撮影画像及び赤外線画像は、災害現場が映る画像となる。

【0046】

状況把握支援装置１００は、取得部１１０と特定部１２０と検出部１３０と生成部１４０と表示制御部１５０とを備える。さらに、状況把握支援装置１００は、記憶装置１９０を有していてよい。記憶装置１９０は、状況把握支援装置１００と通信可能に接続される外部の装置であってもよい。

【0047】

取得部１１０は、隊員装置２００から撮影画像を取得する。また、取得部１１０は、隊員装置２００から赤外線画像を取得してよい。このとき、取得部１１０は、撮影画像と略同様の画角で同時刻に撮影された赤外線画像を取得する。すなわち、取得部１１０は、撮影画像に対応する赤外線画像を取得してよい。

【0048】

さらに、取得部１１０は、隊員装置２００から、位置情報に関する信号を取得する。位置情報に関する信号が、ビーコンまたはＷｉ－Ｆｉを利用して得られる信号である場合、取得部１１０は、位置情報に関する信号に基づいて、隊員の位置情報を取得する。この場合、位置情報に関する信号と通信装置が設置される場所を示す情報とが関連付けられた地図情報が、予め記憶装置１９０に格納される。取得部１１０は、地図情報を利用して、取得した位置情報に関する信号に対応する場所を特定する。そして、取得部１１０は、特定した場所を隊員の位置情報として取得する。

【0049】

なお、位置情報に関する信号が、ＧＮＳＳを利用して得られる信号である場合、取得部１１０は、当該信号を隊員の位置情報として取得する。

【0050】

このように、取得部１１０は、撮影画像を撮影した人物（隊員）の位置情報を取得してよい。

【0051】

特定部１２０は、取得部１１０によって取得された撮影画像を利用して、撮影画像に映る災害現場に対応するモデルデータの部分領域を特定する。

【0052】

ここで、上述したように、モデルデータは、現実空間が表現された三次元モデルである。モデルデータは、例えば記憶装置１９０に格納される。また、モデルデータは、一般に利用可能なオープンデータであってよい。

【0053】

モデルデータは、デジタルツインによって構築されるデータであってよい。デジタルツインとは、仮想空間上に、現実空間を再現することをいう。現実空間を示す位置情報と、モデルデータ上の位置情報と、は対応づけられる。すなわち、モデルデータには、モデルデータ上の各位置が、現実空間のどの位置に相当するかがわかるような、モデルデータと現実空間との位置の対応関係を示す情報が含まれる。

【0054】

また、モデルデータは、例えば、各建造物の設計データに利用されるデータであってよい。モデルデータは、例えばＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）のフォーマットにより実現されるデータであってよい。すなわち、モデルデータは、単に、建造物等の形状を示す情報だけでなく、建造物等の設備に関する情報を含んでよい。例えば建造物がビルである場合、設備に関する情報の一例としては、ビルの避難経路、消火機器の位置、空調設備の位置、スプリンクラーの位置、防火シャッターの位置、及び、備え付けキャビネの位置等である。さらに、モデルデータには、建造物の気流解析データ、及び、熱解析データ等の、建造物の環境シミュレーションに関する情報が含まれてもよい。なお、この例に限られず、モデルデータには、建造物の材質及び建造物等に使用されるパーツ等の情報が含まれてもよい。

【0055】

特定部１２０による特定処理が行われる際、まず、災害現場の建造物に対応するモデルデータを指定する必要がある。このとき、例えば、端末装置３００を利用するユーザ（後方支援者等）が入力操作を行うことにより、災害現場の建造物に対応するモデルデータを指定してよい。

【0056】

そして、特定部１２０は、指定されたモデルデータと撮影画像との位置合わせを行う。位置合わせは、撮影画像に映る場所が、モデルデータのどの部分に相当するかを特定する処理である。特定部１２０は、パターンマッチング等の画像処理技術によって、指定されたモデルデータと撮影画像との位置合わせを行ってよい。例えば、特定部１２０は、撮影画像に映る特徴部分のエッジを抽出し、指定されたモデルデータのうち、抽出されたエッジと一致するような特徴部分を含む領域を、部分領域として特定する。このとき特定部１２０は、指定されたモデルデータをどの視点からみたときに、抽出されたエッジと一致するエッジが現れるかを検索し、検索にヒットしたときの視点から見える領域を、部分領域として特定してよい。災害現場が建造物内である場合、特徴部分の一例は、壁、天井、及び柱等である。すなわちこの場合、特定部１２０は、撮影画像に映る、壁、天井、及び柱等のエッジを抽出し、抽出されたエッジと一致するような壁、天井、及び柱等が存在するモデルデータ上の領域を、部分領域として特定する。当該特定された部分領域は、撮影された災害現場に対応する、モデルデータ上の領域である。

【0057】

なお、特定部１２０は、特定処理の際、隊員の位置情報を利用してもよい。この場合、特定部１２０は、撮影画像が撮影された際の隊員の位置情報を利用する。具体的には、特定部１２０は、取得部１１０によって取得された位置情報に対応するモデルデータ上の位置を検索する。そして、特定部１２０は、当該検索によってヒットしたモデルデータ上の位置周辺の領域について、撮影画像との位置合わせを行う。これにより、特定処理の計算負荷を軽減することができる。このように、特定部１２０は、撮影画像と、取得された位置情報に対応するモデルデータの領域と、の位置合わせにより、部分領域を特定してよい。

【0058】

検出部１３０は、まず、特定された部分領域の画像を取得する。この部分領域の画像は、例えば、上述した検索がヒットした時の視点から見たときの部分領域が映る画像である。すなわち、部分領域の画像は、撮影画像とほぼ同様の画角で、撮影画像に映る災害現場に対応するモデルデータ上の場所を示す画像となる。

【0059】

検出部１３０は、このような部分領域の画像と撮影画像との差分を算出する。例えば、検出部１３０は、当該差分を示す差分画像を生成する。ここで、差分画像は、差分の部分のみを示す画像であってもよいし、差分を含む所定の領域を撮影画像から切り出した画像であってもよい。また、検出部１３０は、複数の差分画像を生成してもよい。

【0060】

そして、検出部１３０は、生成した差分画像から物体を検出する。部分領域の画像と撮影画像との差分は、基本的には、災害現場に存在する物体を示すものとなる。

【0061】

差分画像から物体を検出する方法は、既存の物体検出技術を用いればよい。例えば、検出部１３０は、差分画像から特徴量を抽出する。特徴量は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅｄ Ｉｎｖａｒｉｅｎｃｅ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、及び機械学習等を利用して導出された画像特徴量であってよい。そして、検出部１３０は、抽出した特徴量を入力とする検出モデルを利用して物体を検出してよい。検出モデルは、差分画像から抽出される特徴量と物体との関係を学習したモデルである。検出部１３０は、抽出された特徴量を検出モデルに入力し、検出モデルから出力された情報を、差分画像に含まれる物体として検出してよい。なお物体検出の例はこの例に限られない。例えば、検出モデルは、画像を入力とするものであってもよい。この場合、検出部１３０は、検出モデルに差分画像を入力とすることで物体を検出する。検出される物体の例は、人物、障害物、炎、及び煙等である。

【0062】

［検出処理の第１の具体例］
次に、検出部１３０による物体の検出処理の一例を説明する。図６は、撮影画像の一例を示す図である。取得部１１０が、図６に示すような撮影画像を取得したとする。図６の例では、撮影画像には、建造物の内部が映る。そして、当該撮影画像には、散乱したキャビネと倒れている人物が映る。この倒れている人物は要救護者に相当する。

【0063】

検出部１３０は、特定された部分領域の画像を取得する。図７は、部分領域の画像の一例を示す図である。すなわち、図７に示される画像は、モデルデータを示す画像である。検出部１３０は、部分領域の画像と撮影画像との差分を示す差分画像を生成する。図８は、差分画像の第１の例を示す図である。図８の差分画像は、図６の撮影画像と図７の部分領域の画像との差分部分を示す。図８の例では、差分画像には、散乱したキャビネと倒れている人物とが含まれる。

【0064】

そして、検出部１３０は、当該差分画像に対して物体の検出処理を行う。図８の例の場合、検出部１３０は、人物と、障害物としてのキャビネと、を検出する。

【0065】

［検出処理の第２の具体例］
次に、検出部１３０による物体の検出処理の他の例を説明する。図９は、撮影画像の他の例を示す図である。取得部１１０が、図９に示すような撮影画像を取得したとする。図９の撮影画像には、図６の撮影画像に示される建造物の内部と同じ場所が映る。そして、図９の撮影画像には、炎と煙が映る。

【0066】

検出部１３０は、図７の部分領域の画像を取得する。そして、検出部１３０は、図７の部分領域の画像と図９の撮影画像との差分を示す差分画像を生成する。このとき、検出部１３０は、図１０及び図１１に示すような差分画像を生成してよい。図１０は、差分画像の第２の例である。図１０の差分画像には、煙が含まれる。検出部１３０は、当該差分画像に対して上述した物体の検出処理を行うことにより煙を検出してよい。

【0067】

なお、このとき検出部１３０は、差分画像の色及びエッジから煙を検出してもよい。煙が撮影画像に含まれる場合、撮影画像の煙が存在する部分には、白、灰、黒、及びこれらに近い色が含まれる。また、撮影画像の煙が存在する部分からは、エッジが検出されづらい。そのため、検出部１３０は、差分画像の色、及び、差分画像においてエッジが検出されたか否かの情報を利用して煙を検出してよい。具体的には、差分画像のうち、エッジが検出されない箇所が、白、灰、黒、及びこれらに近い色である場合、当該箇所に煙が存在する。このように、検出部１３０は、撮影画像のうち、差分の箇所の色と差分の箇所のエッジが検出されたか否かの情報とに基づいて、煙を検出してよい。

【0068】

図１１は差分画像の第３の例である。図１１の差分画像には炎が含まれる。検出部１３０は、当該差分画像に対して上述した物体の検出処理を行うことにより炎を検出してよい。

【0069】

なお、このとき検出部１３０は、赤外線画像をさらに利用して炎を検出してよい。赤外線画像からは温度の情報を抽出することが可能である。そのため、炎が存在する場所が赤外線撮影部２２０によって撮影された場合、赤外線画像からは、高温の温度の情報を抽出することが可能である。そのため、検出部１３０は、赤外線画像によって所定の値以上の温度が示される箇所に対応する、差分の箇所を、炎として検出してよい。また、炎が撮影画像に含まれる場合、撮影画像の炎が存在する部分には、赤及び赤に近い色が含まれる。そのため、検出部１３０は、差分画像のうち、赤及び赤に近い色を示す箇所であって、所定の値以上の温度が示される箇所を炎として検出してよい。

【0070】

取得部１１０、特定部１２０、及び検出部１３０の処理は、隊員装置２００ごと（すなわち隊員ごと）に行われてよい。

【0071】

状況把握支援装置１００の機能構成の説明に戻る。

【0072】

生成部１４０は、検出部１３０による物体の検出結果に応じて、現状モデルデータを生成する。具体的には、検出部１３０によって物体が検出された場合、生成部１４０は、検出された物体の撮影画像上の位置に対応する、モデルデータ上の位置に、検出された物体に関する情報を反映させる。例えば、図９に示すような撮影画像が取得されたとする。そして、検出部１３０によって、人物、障害物（散乱したキャビネ）、炎、及び煙が検出されたとする。この場合、生成部１４０は、例えば、検出された人物の位置に対応するモデルデータ上の位置に、人物を示すアイコンを配置する。ここで、人物を示すアイコンは、物体に関する情報の一例である。アイコンは、例えば、仮想空間上で表現されるオブジェクト画像である。アイコンは、二次元モデルのオブジェクト画像であってもよいし、三次元モデルのオブジェクト画像であってもよい。同様に、生成部１４０は、障害物、炎、及び煙を示すアイコンを、モデルデータに配置する。このように、モデルデータに、検出された物体に関する情報が反映されることにより、現状モデルデータが生成される。検出された物体に関する情報がモデルデータに反映されることにより、仮想空間上に、災害現場の状況が再現されることになる。すなわち、現状モデルデータは、災害現場の状況が再現された三次元モデルといえる。なお、アイコンは、文字情報であってもよい。例えば、検出された物体の位置に対応する、モデルデータ上の位置に、物体を示す文字が配置されてもよい。

【0073】

なお、生成部１４０は、取得された位置情報に基づいて、隊員の位置に対応するモデルデータ上の位置に、隊員に応じたアイコンを反映させてもよい。

【0074】

隊員装置２００が複数存在する場合、各隊員装置２００から得られる情報に基づいて検出された物体に関する情報を、モデルデータに反映する。なお検出された物体が、他の隊員装置２００から得られる情報に基づいて検出された物体と重複する場合は、生成部１４０は、検出された物体のいずれかをモデルデータに反映すればよい。

【0075】

また、生成部１４０は、現状モデルデータに基づいてマップを生成してよい。図１２は、現状モデルデータに基づくマップの一例を示す図である。図１２の例では、複数の隊員装置２００からの情報が反映された現状モデルデータに基づくマップが示されている。また、図１２の例では、マップには、検出された物体の位置だけでなく、隊員の位置も示されている。

【0076】

表示制御部１５０は、現状モデルデータを端末装置３００に表示させる。例えば、表示制御部１５０は、端末装置３００のヘッドマウントディスプレイに現状モデルデータをＶＲ画像として表示させる。現状モデルデータは、災害現場の状況が再現されるので、端末装置３００のユーザは、災害現場の状況を疑似体験することができる。

【0077】

［状況把握支援装置１００の動作例］
次に、状況把握支援装置１００の動作の一例を、図１３を用いて説明する。なお、本動作例では、一の隊員装置２００から得られる情報に基づいて、現状モデルデータを生成する例を説明する。また、本動作例では、災害現場の建造物に対応するモデルデータが、予め指定されている。

【0078】

図１３は、状況把握支援装置１００の動作の一例を説明するフローチャートである。まず取得部１１０は、隊員装置２００によって撮影される撮影画像、及び、赤外線画像、並びに、隊員装置２００の位置情報を取得する（Ｓ１０１）。例えば、取得部１１０は、隊員装置２００から、撮影画像、赤外線画像、位置情報に関する信号を取得する。そして、取得部１１０は、位置情報に関する信号に基づいて、隊員装置２００の位置情報を取得する。

【0079】

特定部１２０は、取得された位置情報に対応するモデルデータ上の位置を検索する（Ｓ１０２）。そして、特定部１２０は、撮影画像に映る災害現場に対応するモデルデータの部分領域を特定する（Ｓ１０３）。このとき特定部１２０は、検索によってヒットしたモデルデータ上の位置から所定範囲の領域について、撮影画像と位置合わせを行うことにより、部分領域を特定する。

【0080】

検出部１３０は、特定された部分領域の画像を取得する（Ｓ１０４）。また、検出部１３０は、部分領域の画像と撮影画像との差分画像を生成する（Ｓ１０５）。そして、検出部１３０は、差分画像に基づいて物体を検出する（Ｓ１０６）。

【0081】

生成部１４０は、現状モデルデータを生成する（Ｓ１０７）。具体的には、生成部１４０は、検出された物体に関する情報をモデルデータに反映することにより、現状モデルデータを生成する。

【0082】

表示制御部１５０は、生成された現状モデルデータを、端末装置３００に表示させる（Ｓ１０８）。

【0083】

複数の隊員装置２００が存在する場合、状況把握支援装置１００は、隊員装置２００ごとに、Ｓ１０１乃至Ｓ１０７の処理を行ってよい。これによって、複数の隊員装置２００から得られた情報に基づいて、災害現場の複数箇所の情報が、一のモデルデータに反映される。また、Ｓ１０１乃至Ｓ１０７の処理は繰り返し行われてよい。これにより、随時、現状モデルデータが更新される。なお、本動作例はあくまで一例であり、状況把握支援装置１００の動作はこの例に限られない。

【0084】

このように、第２の実施形態の状況把握支援装置１００は、災害現場が撮影された撮影画像を取得し、撮影画像と、現実空間が表現された三次元モデルを示すモデルデータと、の位置合わせにより、モデルデータのうち、撮影された災害現場に対応する部分領域を特定する。また、状況把握支援装置１００は、撮影画像と特定された部分領域の画像との差分に基づいて、物体を検出する。そして、状況把握支援装置１００は、検出された物体の位置に対応するモデルデータ上の位置に、物体に応じたアイコンが配置された、現状モデルデータを生成し、生成された現状モデルデータを、ディスプレイに表示させる。

【0085】

これにより、状況把握支援装置１００は、例えば、後方支援者に対して、三次元モデルにより、災害現場の状況を把握させることができる。そのため、状況把握支援装置１００は、文字や平面的なマップにより災害現場の状況を示すことに比べて、直感的に、災害現場の状況を把握させることができる。すなわち、第２の実施形態の状況把握支援装置１００は、災害状況を把握させることを支援することができる。

【0086】

また、第２の実施形態の状況把握支援装置１００は、撮影画像を撮影した隊員の位置情報を取得し、撮影画像と、取得された位置情報に対応するモデルデータの領域と、の位置合わせにより、部分領域を特定してよい。これにより、状況把握支援装置１００は、モデルデータのすべての部分に対して、撮影画像との位置合わせを行う場合と比べて、計算負荷を軽減することができる。

【0087】

また、第２の実施形態の状況把握支援装置１００は、撮影画像に対応する赤外線画像を取得し、撮影画像のうち、赤外線画像によって所定の値以上の温度が示される箇所に対応する、差分の箇所を、炎として検出してよい。これにより、状況把握支援装置１００は、撮影画像のみから炎を検出するより、精度よく炎を検出することができる。

【0088】

また、第２の実施形態の状況把握支援装置１００は、撮影画像のうち、差分の箇所の色と差分の箇所のエッジが検出されたか否かの情報とに基づいて、煙を検出してよい。これにより、状況把握支援装置１００は、煙を検出することが可能となる。

【0089】

［変形例１］
状況把握支援システム１０００は、災害現場に関する更なる情報が取得可能である場合、当該情報を利用してもよい。

【0090】

災害現場が所定の建造物内を含むとする。このとき、当該建造物に各種のセンサが設置されていれば、状況把握支援装置１００は、当該センサによって検知された情報を取得する。

【0091】

例えば、建造物に煙センサが設置されているとする。煙センサの一例は、火災警報器である。このとき、取得部１１０は、煙センサからセンサデータを取得する。そして、検出部１３０は、撮影画像が撮影された位置から所定の範囲内に存在する煙センサのセンサデータと、差分画像の色と、差分画像においてエッジが検出されたか否かの情報と、を利用して煙を検出する。例えば、差分画像の色と、差分画像においてエッジが検出されたか否かの情報と、に基づく所定の値が閾値以上であるときに煙を検出する場合、センサデータの値に応じて閾値を変更してよい。

【0092】

また、例えば、建造物に温度センサが設置されているとする。このとき、取得部１１０は、温度センサからセンサデータを取得する。そして、検出部１３０は、撮影画像が撮影された位置から所定の範囲内に存在する温度センサのセンサデータと、差分画像と、を利用して炎を検出する。例えば、検出部１３０は、差分画像のうち、赤及び赤に近い色を示す箇所が存在する場合であって、センサデータに示される温度が所定の値以上である場合に、当該箇所に対して炎を検出してよい。

【0093】

＜第３の実施形態＞
次に、第３の実施形態の状況把握支援システムについて説明する。第３の実施形態では、得られる情報から、災害現場の状況を推定する例を説明する。なお、第１の実施形態及び第２の実施形態と重複する内容は、一部説明を省略する。

【0094】

第３の実施形態では、火災を伴う災害が発生した場合であって、所定の建造物内で隊員が活動する場合における、状況把握支援システムの適用例を説明するが、これは、当該システムの適用可能なシチュエーションを限定するものではない。

【0095】

［状況把握支援システム１００１の詳細］
図１４は、第３の実施形態の状況把握支援システム１００１の構成の一例を示すブロック図である。状況把握支援システム１００１は、状況把握支援装置１０１を少なくとも含む。図１４の例では、状況把握支援システム１００１は、状況把握支援装置１０１と隊員装置２０１と端末装置３００と通信装置とを含む。状況把握支援装置１０１と隊員装置２０１とのそれぞれは、状況把握支援装置１００と隊員装置２００とのそれぞれの機能に加えて、以下に説明する機能を有していてよい。

【0096】

隊員装置２０１は、可視光撮影部２１０と赤外線撮影部２２０と位置情報通信部２３０と出力部２４０とを備える。隊員装置２０１は、隊員装置２００と同様に複数存在してよい。すなわち、隊員装置２０１－１、２０１－２、・・・、２０１－ｎ（ｎは自然数）が存在してよい。

【0097】

出力部２４０は、状況把握支援装置１０１によって生成される情報を出力する機能を有する。出力部２４０は、例えば、ディスプレイ、及び、プロジェクタである。

【0098】

図１５は、隊員装置２０１の一例を示す図である。図１５の例では、隊員装置２０１は、フルフェイスのマスク型の装置として示されている。例えば、隊員は、このようなマスク型の装置を装着する。図１５に示すように、出力部２４０は、マスクのゴーグルの機能を兼ねるディスプレイであってよい。これに限らず、出力部２４０は、マスクのゴーグル部分に画像を投影するプロジェクタであってよい。また、図１５の例では、隊員装置２０１は、空気呼吸器のマスクの機能を有していてよい。

【0099】

状況把握支援装置１０１は、取得部１１１と特定部１２０と検出部１３０と生成部１４１と表示制御部１５１と推定部１６０と活動情報出力部１７０と経路算出部１８０とを備える。また、状況把握支援装置１０１は、記憶装置１９０を有する。

【0100】

状況把握支援装置１０１は、隊員装置２０１から得られる情報、及び、現状モデルデータから、火災の火元を推定する。具体的には、推定部１６０は、災害現場の火元の位置を推定する。このとき推定部１６０は、検出部１３０によって検出された炎の位置と、災害現場の温度データと、建造物の気流解析データ及び熱解析データと、を用いる。

【0101】

災害現場の温度データの一例は、災害現場の温度マップである。温度データは、例えば、取得部１１１によって取得される。温度データは、例えば、隊員装置２０１において撮影された赤外線画像に基づく情報であってよい。この場合、温度データは、隊員装置２０１のそれぞれから取得される赤外線画像から抽出される温度の情報に基づいて、生成される情報であってよい。建造物に温度センサが設置されている場合、温度データは、当該温度センサによって取得されるセンサデータに基づく情報であってよい。また、災害現場で活動する隊員の体調を管理するために、隊員の衣服に温度センサが装着されている場合がある。このような場合には、温度データは、当該装着されている温度センサによって取得されるセンサデータに基づく情報であってよい。温度データは、生成部１４１によって現状モデルデータに反映される。

【0102】

気流解析データ及び熱解析データは、モデルデータに含まれる情報である。気流解析データは、建造物における空気の流れに関するシミュレーションデータである。建造物の設計時に、建造物の空気の流れを考慮して換気扇や空調設備等の設置位置が検討されることがある。気流解析データは、このような、建造物の設計時に予め作成されるデータであってよい。熱解析データは、建造物における熱の移動に関するシミュレーションデータである。例えば熱解析データは、熱源がある場合の建造物内の温度分布の変化等をシミュレーション可能なデータであってよい。気流解析データと同様に、熱解析データも、建造物の設計時に予め作成されるデータであってよい。

【0103】

推定部１６０は、気流解析データ及び熱解析データを用いて、現状の炎の位置と現状の温度データとから、どのような火災の広がり方をして現状の火災状況となっているかをシミュレーションする。当該シミュレーションにより、火元の位置が推定される。

【0104】

このように、推定部１６０は、検出された炎の位置と、温度データと、気流解析データと、熱解析データと、に基づいて、災害現場の火元の位置を推定する。推定部１６０は、推定手段の一例である。

【0105】

生成部１４１は、推定された火元の位置に対応するモデルデータ上の位置に、火元を示すアイコンが配置された、現状モデルデータを生成する。このとき生成部１４１は、それまでに生成された現状モデルデータに、火元を示す情報を反映して更新する。

【0106】

また、状況把握支援装置１０１は、未来の火災の広がり方の推定を行う。具体的には、推定部１６０は、火元の位置を推定したあとに、災害現場における火災の広がり方を推定する。火災の広がり方には、時間経過に応じた現場の炎の進行度合いと、時間経過に応じた現場の煙の充満度合いと、を含む。

【0107】

例えば、推定部１６０は、気流解析データ及び熱解析データを用いて、火元の位置と現状の炎位置と現状の温度データとから、今後どのような火災の広がり方をしていくかのシミュレーションを行う。当該シミュレーションにより、どの方向にどれくらいの速度で現場が燃え広がっていくかといった、時間経過に応じた現場の炎の進行度合いが推定される。また、どの方向にどれくらいの速度で現場に煙が充満するかといった、時間経過に応じた現場の煙の充満度合いも推定される。

【0108】

このように、推定部１６０は、推定された火元の位置と、検出された炎の位置と、温度データと、気流解析データと、熱解析データと、に基づいて、災害現場における火災の広がり方を推定する。

【0109】

さらに推定部１６０は、災害現場において検出された人物の時間経過の推定を行ってもよい。どのような火災の広がり方をして現状の火災状況となっているかをシミュレーションできれば、火災の発生から現状までの経過した時間を推定することが可能である。そして、災害現場において検出された人物は、逃げ遅れて取り残されている可能性が高い。そのため推定部１６０は、このようなシミュレーションから、検出された人物が災害現場に取り残されている時間（すなわち時間経過）を推定することが可能である。

【0110】

また、状況把握支援装置１０１は、災害現場にいる隊員に対するナビゲーション機能を有する。例えば、状況把握支援装置１０１は、隊員に対して、避難経路を示したり、消火を行うべき位置を示したりする。

【0111】

まず活動情報出力部１７０が活動情報を出力する。活動情報は、災害現場にて隊員が行うべき活動を示す情報である。活動の例は、消火活動、救助活動、及び避難等である。

【0112】

活動情報出力部１７０は、推定された火災の広がり方と、現状モデルデータと、に基づいて、活動情報を出力する。このとき、活動情報出力部１７０は、所定の学習が行われた学習モデルを利用して活動情報を出力する。学習モデルは、災害現場の状況及び火災の広がり方と、災害現場における活動の指針と、の関係を学習した学習モデルである。災害現場における活動の指針は、各種の状況に応じた、行われるべき活動を示すものであってよい。

【0113】

例えば学習モデルは、炎の位置、火災の広がり方等の火災の状況から、消火活動を行うべきかどうか、及び、消火活動を行うべきであればどの位置で消火活動を行うべきか（消火位置）、といった情報を出力するものであってよい。具体的には、活動情報出力部１７０は、現状モデルデータと推定部１６０によって推定された火災の広がり方を示す情報と、を学習モデルに対する入力とし、学習モデルによって出力された情報を活動情報として出力する。この場合、現状モデルデータには、火元の位置を示す情報、炎の位置を示す情報、及び温度データ等が含まれる。

【0114】

また、学習モデルは、火災の状況から、避難を行うべきかどうか、といった情報を出力するものであってよい。この場合も同様に、活動情報出力部１７０は、現状モデルデータと推定された火災の広がり方を示す情報と、を学習モデルに対する入力とし、学習モデルによって出力された情報を活動情報として出力する。

【0115】

また、学習モデルは、火災の状況、及び、災害現場にいる人物（すなわち取り残された人物）の時間経過から、人物を救助すべきかどうか、といった情報を出力するものであってよい。この場合も同様に、活動情報出力部１７０は、現状モデルデータと推定された火災の広がり方を示す情報と、を学習モデルに対する入力とし、学習モデルによって出力された情報を活動情報として出力する。

【0116】

このように、活動情報出力部１７０は、災害現場の状況及び火災の広がり方と、災害現場における活動の指針と、の関係を学習した学習モデルを利用して、現状モデルデータと推定された火災の広がり方とに基づいて、撮影された災害現場にて隊員が行うべき活動を示す活動情報を出力する。活動情報出力部１７０は、活動情報出力手段の一例である。

【0117】

経路算出部１８０は、活動情報に基づいて、隊員が取り得る経路を算出する。経路算出部１８０は、経路算出手段の一例である。

【0118】

例えば、活動情報において、消火位置が示されるとする。この場合、経路算出部１８０は、現状モデルデータを利用して、隊員の位置から消火位置までの経路を算出する。消火活動は、火元に対して行われることが求められる場合がある。その場合、消火位置は火元の付近となる。このとき、経路算出部１８０は、隊員の位置から火元の位置までの経路を算出する。消火位置までの経路を消火経路と称する。検出部１３０によって障害物が検出されている場合、経路算出部１８０は、障害物を避けた消火経路を算出してよい。

【0119】

また、例えば、活動情報に、避難を行うべき、という情報が含まれるとする。この場合、経路算出部１８０は、現状モデルデータ、及び、予めモデルデータに含まれる建造物の避難経路を示す情報に基づいて、隊員の位置からの避難経路を算出する。ここで検出された障害物及び炎等により人物が通れない箇所があるとする。このような場合には、経路算出部１８０は、検出された物体に基づく、人物が通れない箇所を特定し、隊員の位置から、当該通れない箇所を避けた避難経路を算出してよい。

【0120】

災害現場の建造物が多層階である場合、はしご車等を利用して、２階以上の階の窓等から出入りが可能な場合がある。このような場合には、経路算出部１８０は、出入りが可能な窓までの避難経路を算出してよい。出入り可能な窓を示す情報は、現状モデルデータに示される。例えば、出入り可能な窓を示す情報は、端末装置３００を利用するユーザにより入力される。そして、生成部１４１によって、出入り可能な窓を示す情報が、現状モデルデータに反映される。

【0121】

また、活動情報に、人物を救助すべき、という情報が含まれるとする。この場合、経路算出部１８０は、現状モデルデータを利用して、隊員から救助対象の人物（要救護者）を経由した避難経路を、救助経路として算出する。

【0122】

図１６は、経路の一例を示す図である。具体的には、図１６は、現状モデルデータに基づくマップにおける、隊員からの各種経路を示す図である。例えば、生成部１４１によって、当該マップが生成される。例えば消火経路であれば、各隊員から、消火位置である火元の位置までの経路が示されている。

【0123】

生成部１４１は、隊員の位置から向かうべき場所に向かうための方向を示す指示情報を生成する。このとき生成部１４１は、隊員ごとに、対応する指示情報を生成する。例えば、活動情報に、消火位置が示されるとする。この場合、生成部１４１は、隊員の位置からの消火経路に基づいて、隊員の視点から、消火位置に向かうための移動方向を示す指示情報を、隊員ごとに生成する。

【0124】

また、活動情報に、避難を行うべき、という情報が含まれるとする。この場合、生成部１４１は、隊員の位置からの避難経路に基づいて、隊員の視点から、避難をするための移動方向を示す指示情報を、隊員ごとに生成する。

【0125】

また、活動情報に、人物を救助すべき、という情報が含まれるとする。この場合、生成部１４１は、隊員の位置からの救助経路に基づいて、隊員の視点から、人物の救助のための移動方向を示す指示情報を、隊員ごとに生成する。なお、生成部１４１は、各隊員の位置情報に基づいて、要救護者との距離が所定の値未満である隊員に対してのみ、人物の救助のための移動方向を示す指示情報を生成してよい。

【0126】

表示制御部１５１は、指示情報を、隊員が装着するマスクのゴーグル部分に表示させる。具体的には、出力部２４０がプロジェクタである場合、表示制御部１５１は、出力部２４０に、ゴーグル部分に指示情報を投影させる。また、出力部２４０がゴーグル部分に配置されたディスプレイである場合、表示制御部１５１は、出力部２４０に、指示情報を表示させる。

【0127】

図１７は、指示情報の一例を示す図である。図１７では、隊員からのゴーグル越しの視界が示されている。ゴーグル部分には指示情報が表示される。図１７の例では、避難に関する指示情報であれば、「避難経路」という文字情報とともに下向きの矢印が示されている。これは、避難経路が隊員から見て手前方向であることを示す。同様に、消火活動に関する指示情報であれば「消火位置」という文字情報とともに左向きの矢印が示されている。また、救助活動に関する指示情報であれば、「救助経路」及び「要救護者」という文字情報とともに、要救護者を強調表示する図形と、矢印が示されている。このように、ゴーグル部分に指示情報が表示されることにより、隊員からみると、現実の空間に指示情報が重畳されているように見える。これにより、隊員は向かうべき方向を認識することが可能となる。

【0128】

なお、図１７の例では、消火活動、避難、及び救助活動のそれぞれの指示情報が示されているが、いずれかの指示情報のみが表示されていてもよい。指示情報は隊員ごとに対応する情報である。そのため、例えば、一の隊員に対しては、消火活動に関する指示情報のみが表示され、他の隊員に対しては、救助活動に関する指示情報のみが表示される場合もある。

【0129】

また、活動情報には、検出された人物を救助しない、という情報が含まれる場合がある。これは、検出された人物がすでに亡くなっていることがあるからである。このような場合には、生成部１４１は、人物の救助が不要である旨を示す情報を含む指示情報を生成する。そして、表示制御部１５１は、人物の救助が不要であることを、表示させる。

【0130】

［状況把握支援装置１０１の動作例］
次に、状況把握支援装置１０１の動作の一例を、図１８を用いて説明する。本動作例では、図１３において説明した処理が既に行われたものであるとする。すなわち、現状モデルデータは生成されている。また、モデルデータには、少なくとも建造物の避難経路を示す情報、気流解析データ、及び、熱解析データが予め含まれる。また現状モデルデータには、炎の位置、煙の位置、及び隊員の位置が示される。

【0131】

図１８は、状況把握支援装置１０１の動作の一例を説明するフローチャートである。取得部１１１は、温度データを取得する（Ｓ２０１）。例えば、取得部１１１は、隊員装置２０１において撮影された赤外線画像に基づく、災害現場の温度マップを取得する。推定部１６０は、火元の位置を推定する（Ｓ２０２）。例えば、推定部１６０は、気流解析データ及び熱解析データを用いて、現状の炎の位置と現状の温度データとから、どのような火災の広がり方をして現状の火災状況となっているかをシミュレーションすることによって、火元の位置を推定する。このとき、生成部１４１は、現状モデルデータに火元の位置を反映する。

【0132】

そして、推定部１６０は、火災の広がり方を推定する（Ｓ２０３）。例えば、推定部１６０は、気流解析データ及び熱解析データを用いて、火元の位置と現状の炎位置と現状の温度データとから、今後どのような火災の広がり方をしていくかのシミュレーションを行う。これによって、推定部１６０は、例えば、時間経過に応じた現場の炎の進行度合い、及び、時間経過に応じた現場の煙の充満度合い等を含む火災の広がり方を推定する。

【0133】

活動情報出力部１７０は、現状モデルデータと推定された火災の広がり方とに基づいて、活動情報を出力する（Ｓ２０４）。このとき、活動情報出力部１７０は、例えば、災害現場の状況及び火災の広がり方と、災害現場における活動の指針と、の関係を学習した学習モデルを利用する。

【0134】

経路算出部１８０は、活動情報に基づいて、隊員が取り得る経路を算出する（Ｓ２０５）。例えば、活動情報に、避難を行うべき、という情報が含まれる場合、経路算出部１８０は、現状モデルデータ及び建造物の避難経路を示す情報に基づいて、隊員の位置からの避難経路を算出する。

【0135】

生成部１４１は、隊員ごとの指示情報を生成する（Ｓ２０６）。例えば、生成部１４１は、隊員の位置からの避難経路に基づいて、隊員の視点から、避難をするための移動方向を示す指示情報を、隊員ごとに生成する。

【0136】

そして、表示制御部１５１は、各隊員装置２０１の出力部２４０に指示情報を表示させる。例えば、表示制御部１５１は、隊員が装着するマスクのゴーグル部分に、指示情報を表示させる。

【0137】

なお、Ｓ２０１乃至Ｓ２０７の処理は繰り返し行われてよい。これにより、随時、現状モデルデータが更新され、隊員に対して表示される指示情報も更新される。本動作例はあくまで一例であり、状況把握支援装置１０１の動作はこの例に限られない。

【0138】

このように、第３の実施形態の状況把握支援装置１０１は、炎の位置と、温度データと、気流解析データと、熱解析データと、に基づいて、災害現場の火元の位置を推定する。そして、状況把握支援装置１０１は、推定された火元の位置に対応するモデルデータ上の位置に、火元を示すアイコンが配置された、現状モデルデータを生成する。これにより、状況把握支援装置１０１は、火元の位置がわからない場合であっても、推定した火元の場所を、ユーザに示すことができる。

【0139】

また、第３の実施形態の状況把握支援装置１０１は、推定された火元の位置と、検出された炎の位置と、温度データと、気流解析データと、熱解析データと、に基づいて、災害現場における火災の広がり方を推定することも可能である。これにより、状況把握支援装置１０１は、今後の火災の広がり方をユーザに示すことができる。

【0140】

また、第３の実施形態の状況把握支援装置１０１は、災害現場にて隊員が行うべき活動を示す活動情報を出力し、活動情報に基づいて、隊員が取り得る経路を算出する。そして、状況把握支援装置１０１は、隊員の位置から向かうべき場所に向かうための方向を示す指示情報を生成し、当該指示情報を、隊員が装着するマスクのゴーグル部分に表示させる。これによって、状況把握支援装置１０１は、災害現場にいる隊員に対して、行うべき行動を、直感的に示すことができる。

【0141】

このとき、例えば、建造物から避難することを示す活動情報が出力されたとすると、状況把握支援装置１０１は、現状モデルデータ上において、検出された物体に基づく、人物が通れない箇所を特定し、隊員の位置から、当該通れない箇所を避けた避難経路を算出してよい。そして、状況把握支援装置１０１は、算出された避難経路に応じて、隊員の位置から避難するための方向を示す指示情報を生成してよい。

【0142】

＜状況把握支援装置のハードウェアの構成例＞
上述した第１、第２及び第３の実施形態の状況把握支援装置を構成するハードウェアについて説明する。図１９は、各実施形態における状況把握支援装置を構成するコンピュータ装置のハードウェア構成の一例を示すブロック図である。コンピュータ装置９０において、各実施形態及び各変形例で説明した、状況把握支援装置及び状況把握支援方法が実現される。例えば、各実施形態及び各変形例で説明した状況把握支援装置、隊員装置、及び端末装置等のそれぞれが、図１９に示すハードウェア構成を有していてよい。

【0143】

図１９に示すように、コンピュータ装置９０は、プロセッサ９１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９３、記憶装置９４、入出力インタフェース９５、バス９６、及びドライブ装置９７を備える。なお、状況把握支援システムは、複数の電気回路によって実現されてもよい。

【0144】

記憶装置９４は、プログラム（コンピュータプログラム）９８を格納する。プロセッサ９１は、ＲＡＭ９２を用いて本状況把握支援システムのプログラム９８を実行する。具体的には、例えば、プログラム９８は、図３、図１３、及び図１８に示す処理をコンピュータに実行させるプログラムを含む。プロセッサ９１が、プログラム９８を実行することに応じて、本状況把握支援システムの各構成の機能が実現される。プログラム９８は、ＲＯＭ９３に記憶されていてもよい。また、プログラム９８は、記憶媒体８０に記録され、ドライブ装置９７を用いて読み出されてもよいし、図示しない外部装置から図示しないネットワークを介してコンピュータ装置９０に送信されてもよい。

【0145】

入出力インタフェース９５は、周辺機器（キーボード、マウス、表示装置など）９９とデータをやり取りする。入出力インタフェース９５は、データを取得または出力する手段として機能する。バス９６は、各構成を接続する。

【0146】

なお、状況把握支援システムの実現方法には様々な変形例がある。例えば、状況把握支援システムに含まれる各構成は、それぞれ専用の装置として実現することができる。また、状況把握支援システムに含まれる各構成は、それぞれ複数の装置の組み合わせに基づいて実現することができる。

【0147】

各実施形態の機能における各構成を実現するためのプログラムを記憶媒体に記録させ、該記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体、及びそのプログラム自体も各実施形態に含まれる。

【0148】

該記憶媒体は、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、磁気テープ、不揮発性メモリカード、またはＲＯＭであるが、この例に限られない。また該記憶媒体に記録されたプログラムは、単体で処理を実行しているプログラムに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作して処理を実行するプログラムも各実施形態の範疇に含まれる。

【0149】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

【0150】

また、上記実施形態及び変形例は、適宜組み合わせることが可能である。

【符号の説明】

【0151】

１００、１０１ 状況把握支援装置
１１０、１１１ 取得部
１２０ 特定部
１３０ 検出部
１４０、１４１ 生成部
１５０、１５１ 表示制御部
１６０ 推定部
１７０ 活動情報出力部
１８０ 経路算出部
１９０ 記憶装置
２００、２０１ 隊員装置
３００ 端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】