ホーム > 特許ランキング > 株式会社深谷歩事務所
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-07
(45)【発行日】2024-08-16
(54)【発明の名称】消火訓練ＭＲプログラムおよび消火訓練ＭＲシステム
(51)【国際特許分類】
G09B 9/00 20060101AFI20240808BHJP
A62C 99/00 20100101ALI20240808BHJP
G06T 19/00 20110101ALI20240808BHJP
【ＦＩ】
G09B9/00 M
A62C99/00
G06T19/00 600
【請求項の数】
6
(21)【出願番号】P 2024058266
(22)【出願日】2024-03-29
【審査請求日】2024-04-02
【早期審査対象出願】
(73)【特許権者】
【識別番号】524124569
【氏名又は名称】株式会社深谷歩事務所
(74)【代理人】
【識別番号】100215027
【弁理士】
【氏名又は名称】留場 恒光
(72)【発明者】
【氏名】深谷 歩
(72)【発明者】
【氏名】成田 進
【審査官】前地 純一郎
(56)【参考文献】
【文献】特開２０２２－０７２７２５（ＪＰ，Ａ）
【文献】特開２０１９－０１２１５４（ＪＰ，Ａ）
【文献】特開２０１６－０６１８４１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２８０７４８（ＵＳ，Ａ１）
【文献】国際公開第２０１５／０９３１２９（ＷＯ，Ａ１）
【文献】叢 煕 外３名，防火意識向上のための環境認識に基づくＡＲ火災シミュレータ，電子情報通信学会技術研究報告 Ｖｏｌ．１２０ Ｎｏ．１９０ ［ｏｎｌｉｎｅ］，日本，一般社団法人電子情報通信学会，2020年10月05日，第120巻，p.7～12
【文献】木村 公美 外４名，複合現実感による防災・救命システム，第７１回（平成２１年）全国大会講演論文集（４） インタフェース コンピュータと人間社会，2009年03月10日，p.4-347～4-348
【文献】板宮 朋基 外５名，バーチャル火点を現実空間の任意の場所に配置できるAR消火訓練アプリの開発，第２４回日本バーチャルリアリティ学会大会 ［ｏｎｌｉｎｅ］，2019年09月13日，p.1～2
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ １／００－ ９／５６
Ｇ０９Ｂ １７／００－１９／２６
(57)【特許請求の範囲】
【請求項1】
コンピュータを、環境データ取得手段、物品情報取得手段、および物品燃焼手段として機能させ、
前記環境データ取得手段は、
測距センサによる三次元データを取得する三次元データ取得手段、および、
前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得手段、を備え、
前記物品情報取得手段は、
設定画面を表示して前記三次元物品データを取得している物品の設定情報を受け付ける物品情報取得手段であり、
前記物品燃焼手段は、
撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示手段、および、
ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化手段、を備え、
前記三次元物品データは、物品ごとに記憶部に格納され、
前記設定情報が、前記三次元物品データを取得している物品のうち少なくとも一つをユーザの入力により発火点とする発火点情報を含むことを特徴とする、消火訓練ＭＲプログラム。
【請求項2】
前記設定情報が、さらに前記三次元物品データを取得している物品の可燃非可燃情報を含むことを特徴とする、請求項１に記載の消火訓練ＭＲプログラム。
【請求項3】
前記設定情報が、さらに前記三次元物品データを取得している物品の各辺の長さ情報を含むことを特徴とする、請求項１に記載の消火訓練ＭＲプログラム。
【請求項4】
前記設定情報が、さらに前記三次元物品データを取得している物品の燃焼速さ情報を含むことを特徴とする、請求項１に記載の消火訓練ＭＲプログラム。
【請求項5】
前記物品燃焼手段が、さらに、前記燃焼している物品から一定の距離内に別の物品がある場合、当該別の物品が燃焼する延焼手段を備えることを特徴とする、
請求項１に記載の消火訓練ＭＲプログラム。
【請求項6】
環境データ取得部、物品情報取得部、および物品燃焼部を備え、前記環境データ取得部は、
測距センサによる三次元データを取得する三次元データ取得部、および、
前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得部、を備え、
前記物品情報取得部は、
設定画面を表示して前記三次元物品データを取得している物品の設定情報を受け付ける物品情報取得部であり、
前記物品燃焼部は、
撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示部、および、
ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化部、を備え、
前記三次元物品データは、物品ごとに記憶部に格納され、
前記設定情報が、前記三次元物品データを取得している物品のうち少なくとも一つをユーザの入力により発火点とする発火点情報を含むことを特徴とする、消火訓練ＭＲシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、消火訓練ＭＲプログラムおよび消火訓練ＭＲシステムに関するものである。
【背景技術】
【0002】
防災意識を向上させ、また万一火災が発生してもその被害を最小限にとどめるため、消火訓練が行われる。
例えば屋外において、可燃物を実際に燃焼させ、その炎を消火器で消化する訓練などが知られている。消火器を実際に扱う機会は少ないため、このような消火訓練などで消火器の使用方法を学ぶことができるという利点がある。
例えば屋外において、可燃物を実際に燃焼させ、その炎を消火器で消化する訓練などが知られている。消火器を実際に扱う機会は少ないため、このような消火訓練などで消火器の使用方法を学ぶことができるという利点がある。
【0003】
一方で、消火器が使い切りであることや、消火器の単価が高額であることなどから、消火訓練を行ったとしても、参加する全員が消火器を操作できるとは限らない。
また、屋外等では火災訓練を実施することができても、屋内で可燃物を燃焼させて消火訓練を行うことは、安全性の観点から極めて困難である。
しかしながら、実際の出火原因となるのは屋内にある物品であることが多い。
また、屋外等では火災訓練を実施することができても、屋内で可燃物を燃焼させて消火訓練を行うことは、安全性の観点から極めて困難である。
しかしながら、実際の出火原因となるのは屋内にある物品であることが多い。
【0004】
そこで、消火訓練を行うためのシミュレータに関する技術が開示されている。
例えば、特許文献１には、ＶＲ（Virtual Reality）を用いた消火体験シミュレーションシステムが開示されている。
特許文献１において、ゴーグルとして機能するモバイル端末は、カメラで撮像した実映像を表示しており、体験者は、体験用消火器や自身の手の位置等を視認して、確認することができる。
また非特許文献１に示すように、ＶＲを用いた防災訓練サービスが提供されている。
例えば、特許文献１には、ＶＲ（Virtual Reality）を用いた消火体験シミュレーションシステムが開示されている。
特許文献１において、ゴーグルとして機能するモバイル端末は、カメラで撮像した実映像を表示しており、体験者は、体験用消火器や自身の手の位置等を視認して、確認することができる。
また非特許文献１に示すように、ＶＲを用いた防災訓練サービスが提供されている。
【0005】
また、特許文献２には、三次元のエフェクトを描画する技術について開示されている。つまり、空間をスキャンして地形を取得するセンサからのスキャンデータを取得する取得部と、前記ＵＩ提供部において提供された設定画面を介して設定された三次元のエフェクトを、前記スキャンデータに対して描画する描画部と、を備える、情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１９－０１２１５４号公報
【文献】特開２０２２－０６９００７号公報
【非特許文献】
【0007】
【文献】ASATEC株式会社、“[VR防災] VR消火訓練PRO”、［online］、[２０２４年３月８日検索]、インターネット＜ＵＲＬ：https://asatec.jp/vr-bousai/＞
【0008】
このようなシミュレータにおいて、消火訓練を行うユーザの普段の環境、例えばオフィス環境などが再現できていると、よりリアリティがあり、実施効果の高い消火訓練を行うことが可能となる。
また、消火訓練に際して、どこで火災が発生したか、何が発火点であるかを設定できると、ユーザが設定するシナリオにもとづく消火訓練を創作することができる。
また、消火訓練に際して、どこで火災が発生したか、何が発火点であるかを設定できると、ユーザが設定するシナリオにもとづく消火訓練を創作することができる。
【0009】
特許文献１や非特許文献１は、ユーザの周りに実際に存在する家具やオフィス機器などの個々の物品を独立したデータとして取得するものではなく、発火点をユーザが設定できるものではない。
このほか、例えば時間経過とともに炎が燃え広がる状況、つまり炎の延焼を再現することについては記載されていない。
このほか、例えば時間経過とともに炎が燃え広がる状況、つまり炎の延焼を再現することについては記載されていない。
【発明の概要】
【発明が解決しようとする課題】
【0010】
解決しようとする問題点は、ＭＲ（Mixed Reality）に係る消火訓練システムであって、周囲の物品等を独立したデータとして取得し、かつそれらの物品の中から発火点を設定することができる消火訓練システムの構築である。
ここでＭＲは、現実空間の映像等と仮想オブジェクトとを同時にＭＲデバイスの表示部（ディスプレイ）に表示することで、現実空間上に仮想オブジェクトを可視化する技術である。ＭＲでは、現実空間の映像や三次元データをＭＲデバイス（ＨＭＤ（Head Mounted Display・ヘッドマウントディスプレイ）等）が取得し、表示部に表示する。
ここでＭＲは、現実空間の映像等と仮想オブジェクトとを同時にＭＲデバイスの表示部（ディスプレイ）に表示することで、現実空間上に仮想オブジェクトを可視化する技術である。ＭＲでは、現実空間の映像や三次元データをＭＲデバイス（ＨＭＤ（Head Mounted Display・ヘッドマウントディスプレイ）等）が取得し、表示部に表示する。
【課題を解決するための手段】
【0011】
本発明は、測距センサによる三次元データを取得する三次元データ取得手段、当該三次元データから物品（例えば家具やオフィス機器など）に係る三次元データを三次元物品データとして取得する三次元物品データ取得手段、および、当該三次元物品データを取得している物品の設定情報を受け付ける物品情報取得手段、としてコンピュータを機能させること、さらに、当該設定情報が、ユーザの入力により物品のうち少なくとも一つを発火点とする発火点情報を含むことを最も主要な特徴とする。
【0012】
本発明は、上記課題を鑑みてなされたものであり、例えば以下の手段を採用している。
すなわち、コンピュータを、環境データ取得手段、物品情報取得手段、および物品燃焼手段として機能させ、
前記環境データ取得手段は、
測距センサによる三次元データを取得する三次元データ取得手段、および、
前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得手段、を備え、
前記物品情報取得手段は、
前記三次元物品データを取得している物品の設定情報を受け付ける物品情報取得手段であり、
前記物品燃焼手段は、
撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示手段、および、
ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化手段、を備え、
前記設定情報が、前記三次元物品データを取得している物品のうち少なくとも一つをユーザの入力により発火点とする発火点情報を含むことを特徴とする、消火訓練ＭＲプログラムを提供する。
すなわち、コンピュータを、環境データ取得手段、物品情報取得手段、および物品燃焼手段として機能させ、
前記環境データ取得手段は、
測距センサによる三次元データを取得する三次元データ取得手段、および、
前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得手段、を備え、
前記物品情報取得手段は、
前記三次元物品データを取得している物品の設定情報を受け付ける物品情報取得手段であり、
前記物品燃焼手段は、
撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示手段、および、
ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化手段、を備え、
前記設定情報が、前記三次元物品データを取得している物品のうち少なくとも一つをユーザの入力により発火点とする発火点情報を含むことを特徴とする、消火訓練ＭＲプログラムを提供する。
【発明の効果】
【0013】
本発明の消火訓練ＭＲシステムは、三次元物品データを取得している物品のうちいずれかを発火点としてユーザが設定できることから、よりリアリティのある消火訓練体験をユーザに提供するという利点がある。
【図面の簡単な説明】
【0014】
【図1】消火訓練ＭＲシステム１の概要を示す図である。
【図2】メニュー画面を示す図である。
【図3】管理者用設定画面を示す図である。
【図4】消火訓練開始直後の様子を示す図である。
【図5】消火器を取得する様子を示す図である。
【図6】消火器から安全ピンを引き抜く様子を示す図である。
【図7】消火器のノズルを把持する様子を示す図である。
【図8】消火薬剤を散布する様子を示す図である。
【図9】結果表示の様子を示す図である。
【図10】環境データ取得処理を示すフローチャートである。
【図11】訓練終了判定処理を示すフローチャートである。
【図12】物品燃焼処理を示すフローチャートである。
【図13】炎エフェクト（ＵＩ－Ｆ）とコントローラ２０の関係を示す図である。
【図14】消火器操作処理を示すフローチャートである。
【図15】消火訓練ＭＲシステム１のハードウェア構成図である。
【図16】消火訓練ＭＲシステム１のネットワーク構成図である。
【発明を実施するための形態】
【0015】
本発明の実施形態を図面に基づいて説明する。以下の各実施形態では、同一又は対応する部分については同一の符号を付して説明を適宜省略する場合がある。
また、以下に用いる図面は本実施形態を説明するために用いるものであり、実際の装置の構成、ユーザーインターフェース（ＵＩ）、処理フロー、またはデータ構成などとは異なる場合がある。
また、以下に用いる図面は本実施形態を説明するために用いるものであり、実際の装置の構成、ユーザーインターフェース（ＵＩ）、処理フロー、またはデータ構成などとは異なる場合がある。
【0016】
（実施形態の概要）
本実施形態の概要について、図１を用いて説明する。
図１は、本実施形態の消火訓練ＭＲプログラムＰ１による処理を行うシステム（以下「消火訓練ＭＲシステム１」とする。）の概要を示す図である。
本実施形態の概要について、図１を用いて説明する。
図１は、本実施形態の消火訓練ＭＲプログラムＰ１による処理を行うシステム（以下「消火訓練ＭＲシステム１」とする。）の概要を示す図である。
【0017】
まず消火訓練前の準備段階における処理（準備段階の処理）について説明する。
ユーザ端末１０（ＨＭＤ１０ａ）は、測距センサ１４１ａを備え、ＨＭＤ１０ａがある空間（部屋Ｒ）の三次元データを取得する。ユーザはこの三次元データのうち、物品Ｐに係る三次元データを三次元物品データとして独立して切り分け、追加することができる。これにより、プロセッサ１１１は、各物品（物品Ｐ１からＰ４）の三次元物品データを取得する。
ユーザ端末１０（ＨＭＤ１０ａ）は、測距センサ１４１ａを備え、ＨＭＤ１０ａがある空間（部屋Ｒ）の三次元データを取得する。ユーザはこの三次元データのうち、物品Ｐに係る三次元データを三次元物品データとして独立して切り分け、追加することができる。これにより、プロセッサ１１１は、各物品（物品Ｐ１からＰ４）の三次元物品データを取得する。
【0018】
三次元物品データを取得している物品について、ユーザは各種設定を行うことができる。
例えば、ユーザは物品ごとに可燃または非可燃を設定することができる。そしてユーザは、可燃と設定している物品のうち少なくとも１つを発火点として設定する。
例えば、ユーザは物品ごとに可燃または非可燃を設定することができる。そしてユーザは、可燃と設定している物品のうち少なくとも１つを発火点として設定する。
【0019】
つづいて、消火訓練時の処理（訓練段階の処理）について説明する。
ユーザ端末１０（ＨＭＤ１０ａ）は撮像装置１４２を備え、当該撮像装置１４２によりＨＭＤ１０ａ周辺の映像を取得し、空間Ｒ内の映像を取得する。ＨＭＤ１０ａの表示部１５１はこの映像を表示し、ユーザはその映像（パススルー映像）を見ることができる。
また、プロセッサ１１１は、発火点に設定されている物品に係る上記三次元物品データに、炎のエフェクトを付与することができる。つまり、燃焼している物品を表示部１５１に表示することができる。
ユーザ端末１０（ＨＭＤ１０ａ）は撮像装置１４２を備え、当該撮像装置１４２によりＨＭＤ１０ａ周辺の映像を取得し、空間Ｒ内の映像を取得する。ＨＭＤ１０ａの表示部１５１はこの映像を表示し、ユーザはその映像（パススルー映像）を見ることができる。
また、プロセッサ１１１は、発火点に設定されている物品に係る上記三次元物品データに、炎のエフェクトを付与することができる。つまり、燃焼している物品を表示部１５１に表示することができる。
【0020】
そして、プロセッサ１１１は、撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する。
つまり消火訓練においてユーザＵは、ＨＭＤ１０ａを通じて、あたかも目の前の物品が燃えているかのような映像を視覚することができる。
つまり消火訓練においてユーザＵは、ＨＭＤ１０ａを通じて、あたかも目の前の物品が燃えているかのような映像を視覚することができる。
【0021】
またユーザＵは、コントローラ２０を用いて（コントローラを消火器として操作を行って）、その炎（炎エフェクト）を消すことを試みる。
ここで、消火器（コントローラ２０）の操作による消火までの時間は、少なくとも当該物品の体積によって変化する。
ここで、消火器（コントローラ２０）の操作による消火までの時間は、少なくとも当該物品の体積によって変化する。
【0022】
また、燃焼している物品の炎エフェクトは、近くに可燃物と設定されている（燃焼前の）物品がある場合、その物品に移る、つまり、延焼する。
このほか、仮にユーザＵが何もしなくても、炎エフェクトは物品の着火から一定時間後に消滅する（燃え尽きる）。
部屋Ｒ内で燃焼している全ての物品について消火が完了すると、消火訓練は終了する。
このほか、仮にユーザＵが何もしなくても、炎エフェクトは物品の着火から一定時間後に消滅する（燃え尽きる）。
部屋Ｒ内で燃焼している全ての物品について消火が完了すると、消火訓練は終了する。
【0023】
以上により、ユーザＵは自分が普段いて視認している環境、例えばオフィスなどの屋内環境で消火訓練を実施することができるという利点がある。
【0024】
小括すると、本実施形態の消火訓練ＭＲシステム１は、部屋のみならず、部屋にある個々の物品もデータとして取得することができる。そして、この物品データごとに可燃・非可燃を設定でき、物品から物品への延焼を再現することができる。
また、ユーザが任意の発火点を設定できることから、消火訓練においてさまざまなストーリーを構築することができる。
また、ユーザが任意の発火点を設定できることから、消火訓練においてさまざまなストーリーを構築することができる。
【0025】
例えば図１で、物品Ｐ１を発火点とし、すべての物品を可燃物に設定すると、炎エフェクトは物品Ｐ４にまで延焼し得る。一方、物品Ｐ３を非可燃物に設定すると、炎エフェクトは物品Ｐ４にまでは延焼しない、というシチュエーションを設計し得る。
なお延焼に際して、プロセッサ１１１は物品と物品の距離も考慮するため、たとえ物品が接触していなくとも、物品同士がある程度近いのであれば延焼する。
なお延焼に際して、プロセッサ１１１は物品と物品の距離も考慮するため、たとえ物品が接触していなくとも、物品同士がある程度近いのであれば延焼する。
【0026】
（実施形態の詳細）
以下、本実施形態に係る消火訓練ＭＲシステム１について、詳細を説明する。消火訓練ＭＲシステム１は、消火訓練ＭＲプログラムＰ１を備えるコンピュータを含むＨＭＤ１０ａを通じて、ユーザに対し、消火訓練体験を提供する。
すなわち消火訓練ＭＲシステム１は、消火訓練ＭＲプログラムＰ１による情報処理が、ハードウェア資源を用いて具体的に実現されるものである。
以下、消火訓練ＭＲシステム１を構成する、１．ユーザーインターフェース、２．プログラム処理、３．データ、および４．ハードウェア構成、について順に説明する。
以下、本実施形態に係る消火訓練ＭＲシステム１について、詳細を説明する。消火訓練ＭＲシステム１は、消火訓練ＭＲプログラムＰ１を備えるコンピュータを含むＨＭＤ１０ａを通じて、ユーザに対し、消火訓練体験を提供する。
すなわち消火訓練ＭＲシステム１は、消火訓練ＭＲプログラムＰ１による情報処理が、ハードウェア資源を用いて具体的に実現されるものである。
以下、消火訓練ＭＲシステム１を構成する、１．ユーザーインターフェース、２．プログラム処理、３．データ、および４．ハードウェア構成、について順に説明する。
【0027】
（用語の定義）
ここで、いくつか言葉の定義を行う。
「ユーザ」は、消火訓練ＭＲシステム１を利用するユーザである。例えば、消火訓練ＭＲシステム１を利用して消火訓練を体験する者を指し、文脈によっては消火訓練ＭＲシステム１を利用する組織やその人員を意味する場合もある。
「管理者」は、消火訓練ＭＲシステム１の設定等を行う者や組織を示す。管理者はユーザに含まれる。
「三次元データ」は、点群データや、点群データを３Ｄモデル化したデータであり、３Ｄモデル化したデータとしてメッシュデータや、サーフェスデータ（ジオメトリデータ）が挙げられる。三次元空間の座標を保存することから、座標データと呼ばれることもある。三次元データは、測距センサなどのセンサにより取得することができる。
本実施形態において、三次元データは空間（部屋）に関する三次元データ（三次元空間データ）と物品に関する三次元データ（三次元物品データ）を含む。
「三次元物品データ」は、物品の三次元データである。三次元データそのもののほか、三次元データに映像を投影しているデータを含む。詳細は後述する（３．データの項）。
「映像」は、撮像装置が取得する画像（静止画像・動画像を含む）を意味する。例えば本実施形態では、パススルー映像（撮像装置１４２が得た映像をそのまま表示部１５１に表示する映像）のほか、三次元データと組み合わせるための映像がある。
「合成」は、センサによる三次元データ（三次元データを利用する表示物含む）と、撮像装置による映像とをともに表示部などに表示することや、三次元データと映像データを合成してデータを作成することを意味する。
「オブジェクト」は、ＭＲ上のデータである。三次元データのほか、三次元データに映像を重ねたデータを含む。例えば物品オブジェクト、消火器オブジェクトなどというように用いる。本実施形態において、三次元物品データ（三次元物品データに当該物品の映像を投影しているものを含んでもよい）を物品オブジェクトと称する場合がある。
ただし、物品オブジェクトを物品、消火器オブジェクトを消火器などと略記する場合がある。
「エフェクト」は、視覚効果があるものを強調する意味合いで使用するが、オブジェクトと厳密に区別しない。つまり、エフェクトはオブジェクトに含まれていてもよい。
「発火点情報」は、三次元物品データを取得している物品に設定される設定情報のひとつであり、プロセッサは、ユーザの入力（選択を含む）により、物品のうち少なくとも一つを発火点とする。
また以下では、「燃焼」という用語と「延焼」という用語を用いている。「延焼」はある物品から別の物品に燃え移ることを強調する意味合いで使用することがあるが、これら２つの語は厳密には区別しない。例えば、延焼により発火している物品について、「燃焼する」という表現を用いる場合がある。
ここで、いくつか言葉の定義を行う。
「ユーザ」は、消火訓練ＭＲシステム１を利用するユーザである。例えば、消火訓練ＭＲシステム１を利用して消火訓練を体験する者を指し、文脈によっては消火訓練ＭＲシステム１を利用する組織やその人員を意味する場合もある。
「管理者」は、消火訓練ＭＲシステム１の設定等を行う者や組織を示す。管理者はユーザに含まれる。
「三次元データ」は、点群データや、点群データを３Ｄモデル化したデータであり、３Ｄモデル化したデータとしてメッシュデータや、サーフェスデータ（ジオメトリデータ）が挙げられる。三次元空間の座標を保存することから、座標データと呼ばれることもある。三次元データは、測距センサなどのセンサにより取得することができる。
本実施形態において、三次元データは空間（部屋）に関する三次元データ（三次元空間データ）と物品に関する三次元データ（三次元物品データ）を含む。
「三次元物品データ」は、物品の三次元データである。三次元データそのもののほか、三次元データに映像を投影しているデータを含む。詳細は後述する（３．データの項）。
「映像」は、撮像装置が取得する画像（静止画像・動画像を含む）を意味する。例えば本実施形態では、パススルー映像（撮像装置１４２が得た映像をそのまま表示部１５１に表示する映像）のほか、三次元データと組み合わせるための映像がある。
「合成」は、センサによる三次元データ（三次元データを利用する表示物含む）と、撮像装置による映像とをともに表示部などに表示することや、三次元データと映像データを合成してデータを作成することを意味する。
「オブジェクト」は、ＭＲ上のデータである。三次元データのほか、三次元データに映像を重ねたデータを含む。例えば物品オブジェクト、消火器オブジェクトなどというように用いる。本実施形態において、三次元物品データ（三次元物品データに当該物品の映像を投影しているものを含んでもよい）を物品オブジェクトと称する場合がある。
ただし、物品オブジェクトを物品、消火器オブジェクトを消火器などと略記する場合がある。
「エフェクト」は、視覚効果があるものを強調する意味合いで使用するが、オブジェクトと厳密に区別しない。つまり、エフェクトはオブジェクトに含まれていてもよい。
「発火点情報」は、三次元物品データを取得している物品に設定される設定情報のひとつであり、プロセッサは、ユーザの入力（選択を含む）により、物品のうち少なくとも一つを発火点とする。
また以下では、「燃焼」という用語と「延焼」という用語を用いている。「延焼」はある物品から別の物品に燃え移ることを強調する意味合いで使用することがあるが、これら２つの語は厳密には区別しない。例えば、延焼により発火している物品について、「燃焼する」という表現を用いる場合がある。
【0028】
以下において、「○○」処理と記載している場合、コンピュータのプロセッサは、プログラム格納部に記憶されている「○○」プログラムに基づく処理を実行することを意味する。本段落において、「○○」の箇所には同じ語が入る。
すなわち、「○○」プログラムは、「○○」処理の実行により、コンピュータを「○○」手段として機能させるプログラムである。またこの際、当該プロセッサを備える制御部は、「○○」部（または「○○」装置）としても機能することを意味する。
この場合において、「○○」部は、「○○」プログラムに基づく「○○」処理を実行することを意味する。
すなわち、「○○」プログラムは、「○○」処理の実行により、コンピュータを「○○」手段として機能させるプログラムである。またこの際、当該プロセッサを備える制御部は、「○○」部（または「○○」装置）としても機能することを意味する。
この場合において、「○○」部は、「○○」プログラムに基づく「○○」処理を実行することを意味する。
【0029】
例えば、消火訓練ＭＲプログラムＰ１は、消火訓練ＭＲ処理の実行により、コンピュータを消火訓練ＭＲ手段として機能させるプログラムである。またこの際、プロセッサ１１１を備えるコンピュータの制御部１１は、消火訓練ＭＲ部１１ａ（または消火訓練ＭＲ装置）として機能する。
【0030】
消火訓練ＭＲシステム１において、ＨＭＤ１０ａやコントローラ２０などの各端末（コンピュータ）はそれぞれプロセッサを備えるが、単にプロセッサという場合は、消火訓練ＭＲプログラムＰ１により処理を行うプロセッサ、本実施形態ではＨＭＤ１０ａのプロセッサ１１１、を指すものとする。
【0031】
なお以下において、簡単のため、「ＨＭＤ１０ａのプロセッサ１１１が、記憶部１２のデータ記憶部１２ｂにデータを保存させる」ことを、「プロセッサが（データを）保存する（させる）」などと記載する場合がある。
【0032】
１．ユーザーインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ））
まず、本実施形態の消火訓練ＭＲシステム１が、ユーザが装着しているＨＭＤ１０ａの表示部１５１に表示させる画面について、図を用いて説明する。
ユーザは、コントローラ２０により選択等を行う。例えば、表示部１５１にポインタ等が表示され、ユーザはこのポインタの操作により選択等を行うことができる。
また以下において、右側コントローラ２０Ｒによる操作と左側コントローラ２０Ｌによる操作があるが、これらは右左を逆にしてもよい。
まず、本実施形態の消火訓練ＭＲシステム１が、ユーザが装着しているＨＭＤ１０ａの表示部１５１に表示させる画面について、図を用いて説明する。
ユーザは、コントローラ２０により選択等を行う。例えば、表示部１５１にポインタ等が表示され、ユーザはこのポインタの操作により選択等を行うことができる。
また以下において、右側コントローラ２０Ｒによる操作と左側コントローラ２０Ｌによる操作があるが、これらは右左を逆にしてもよい。
【0033】
図２は、メニュー画面を示す図である。
本実施形態において、ユーザは、メニュー画面でステージの選択や管理者設定の選択を行うことができる。
ユーザが画面中の「ＭＲ」を選択するとプロセッサ１１１は消火訓練を開始し、ユーザが画面中の歯車（管理者設定アイコン）を選択するとプロセッサ１１１は次項の管理者用設定画面を表示する。
本実施形態において、ユーザは、メニュー画面でステージの選択や管理者設定の選択を行うことができる。
ユーザが画面中の「ＭＲ」を選択するとプロセッサ１１１は消火訓練を開始し、ユーザが画面中の歯車（管理者設定アイコン）を選択するとプロセッサ１１１は次項の管理者用設定画面を表示する。
【0034】
図３は、管理者用設定画面を示す図である。
管理者は、発火点と、物品の可燃・非可燃（燃える物品、燃えない物品）、および消火薬剤の強さを設定することができる。設定後、画面中の保存ボタンを選択することにより、プロセッサ１１１は各種設定を保存する。
管理者は、発火点と、物品の可燃・非可燃（燃える物品、燃えない物品）、および消火薬剤の強さを設定することができる。設定後、画面中の保存ボタンを選択することにより、プロセッサ１１１は各種設定を保存する。
【0035】
以下、消火訓練の様子を示す。
ここでは、演台とホワイトボードが可燃物の物品として設定されている。また、発火点は演台である。
ここでは、演台とホワイトボードが可燃物の物品として設定されている。また、発火点は演台である。
【0036】
図４は、消火訓練開始直後の様子を示す図である。
ＨＭＤ１０ａの表示部１５１は、撮像装置１４２で撮影した映像（パススルー映像）を表示するとともに、物品オブジェクトに炎エフェクト（ＵＩ－Ｆ）を付して表示する。
図４の例では、手前側の演台が燃焼している。
ＨＭＤ１０ａの表示部１５１は、撮像装置１４２で撮影した映像（パススルー映像）を表示するとともに、物品オブジェクトに炎エフェクト（ＵＩ－Ｆ）を付して表示する。
図４の例では、手前側の演台が燃焼している。
【0037】
なお以下において、炎エフェクト（ＵＩ－Ｆ）、消火器オブジェクト（ＵＩ－Ｅ）、ガイド（ＵＩ－Ｇ）、アバター（ＵＩ－Ａ）、および消火薬剤エフェクト（ＵＩ－Ｃ）はそれぞれコンピュータグラフィックである。
また、画面中ほどに表示されている文字（Value、Cur、73、19など）は開発のため表示している文字であり、実際の消火訓練時には表示されない。
また、画面中ほどに表示されている文字（Value、Cur、73、19など）は開発のため表示している文字であり、実際の消火訓練時には表示されない。
【0038】
図５は、消火器を取得する様子を示す図である。
ＭＲ画面中の消火器オブジェクト（ＵＩ－Ｅ）に右手を近づけると半透明で表示される手型のガイド（ＵＩ－Ｇ）が表示され、ここで右側コントローラ２０Ｒのボタン２４２（グリップボタン）を操作するとユーザはＭＲ画面上で消火器を掴むことができる。
なお、例えば左利きの場合など、右手と左手を替えても同様に動作する。これは以下の図６、図７の説明でも同様である。
ＭＲ画面中の消火器オブジェクト（ＵＩ－Ｅ）に右手を近づけると半透明で表示される手型のガイド（ＵＩ－Ｇ）が表示され、ここで右側コントローラ２０Ｒのボタン２４２（グリップボタン）を操作するとユーザはＭＲ画面上で消火器を掴むことができる。
なお、例えば左利きの場合など、右手と左手を替えても同様に動作する。これは以下の図６、図７の説明でも同様である。
【0039】
図６は、消火器から安全ピンを引き抜く様子を示す図である。
消火器の取得後、安全ピンに左手を近づけると半透明で表示されるガイド（ＵＩ－Ｇ）が表示され、ここで左側コントローラ２０Ｌのボタン２４２（グリップボタン）を操作すると、安全ピンを掴むことができる。この状態で左手を上に動かせば、ユーザはＭＲ画面上で安全ピンを引き抜くことができる。
消火器の取得後、安全ピンに左手を近づけると半透明で表示されるガイド（ＵＩ－Ｇ）が表示され、ここで左側コントローラ２０Ｌのボタン２４２（グリップボタン）を操作すると、安全ピンを掴むことができる。この状態で左手を上に動かせば、ユーザはＭＲ画面上で安全ピンを引き抜くことができる。
【0040】
図７は、消火器のノズルを把持する様子を示す図である。
安全ピンの引き抜き後、消火器のノズルに手を近づけると、半透明で表示される手型のガイドが表示され、ここで左側コントローラ２０Ｌのボタン２４２（グリップボタン）を押すと、ユーザはＭＲ画面上でノズルを把持することができる。
安全ピンの引き抜き後、消火器のノズルに手を近づけると、半透明で表示される手型のガイドが表示され、ここで左側コントローラ２０Ｌのボタン２４２（グリップボタン）を押すと、ユーザはＭＲ画面上でノズルを把持することができる。
【0041】
図８は、消火薬剤を散布する様子を示す図である。
図８において、炎エフェクトは発火点の演台だけではなく、その近傍にあるホワイトボードも付与されている。つまり、炎が演台からホワイトボードにまで延焼している様子を示す。
ユーザが右側コントローラ２０Ｒのトリガーを引くと、ユーザはＭＲ画面上で消火薬剤を散布することができる。つまり、ユーザのトリガー操作により、プロセッサ１１１は消火薬剤エフェクト（ＵＩ－Ｃ）を表示する。
ここで消火薬剤は、左側コントローラ２０Ｌを向けている方向に散布される。左側コントローラ２０Ｌが消火器のノズルの役割を果たすためである。
なお本実施形態において、トリガーを引くとは、トリガーボタンの操作（押下など）を意味する。コントローラ２０の種類によっては別のボタン（入力部）がこれに対応する。
図８において、炎エフェクトは発火点の演台だけではなく、その近傍にあるホワイトボードも付与されている。つまり、炎が演台からホワイトボードにまで延焼している様子を示す。
ユーザが右側コントローラ２０Ｒのトリガーを引くと、ユーザはＭＲ画面上で消火薬剤を散布することができる。つまり、ユーザのトリガー操作により、プロセッサ１１１は消火薬剤エフェクト（ＵＩ－Ｃ）を表示する。
ここで消火薬剤は、左側コントローラ２０Ｌを向けている方向に散布される。左側コントローラ２０Ｌが消火器のノズルの役割を果たすためである。
なお本実施形態において、トリガーを引くとは、トリガーボタンの操作（押下など）を意味する。コントローラ２０の種類によっては別のボタン（入力部）がこれに対応する。
【0042】
図９は、結果表示の様子を示す図である。
消火までにかかった時間などにより、プロセッサ１１１はスコアや（多段階評価による）評価が表示する。
図９の例では「たいへんよくできました」と表示されており、これは多段階評価の例である。
消火までにかかった時間などにより、プロセッサ１１１はスコアや（多段階評価による）評価が表示する。
図９の例では「たいへんよくできました」と表示されており、これは多段階評価の例である。
【0043】
以上のような構成により、物品について可燃・非可燃の設定や発火点の設定などが自由にできる。これによりユーザは、さまざまなストーリーにもとづく消火訓練をおこなうことができる。
特にユーザは、普段から視認している環境、特に屋内、で消火訓練を行うことができる。例えば、ある時点での消火訓練環境（オフィスなど）と、その一年後の消火訓練環境では、載置されている物品等が異なることが考えられる。
本実施形態の消火訓練ＭＲシステム１は、個々の物品もデータとして取得するため、その時々に応じたよりリアルな消火訓練をユーザに提供することができる。
ＶＲのような完全な仮想空間ではなく、現実空間に存在する物品（のデータ）に炎エフェクトを付与して訓練できる点が消火訓練ＭＲシステム１の利点である。
特にユーザは、普段から視認している環境、特に屋内、で消火訓練を行うことができる。例えば、ある時点での消火訓練環境（オフィスなど）と、その一年後の消火訓練環境では、載置されている物品等が異なることが考えられる。
本実施形態の消火訓練ＭＲシステム１は、個々の物品もデータとして取得するため、その時々に応じたよりリアルな消火訓練をユーザに提供することができる。
ＶＲのような完全な仮想空間ではなく、現実空間に存在する物品（のデータ）に炎エフェクトを付与して訓練できる点が消火訓練ＭＲシステム１の利点である。
【0044】
２．プログラム処理
＜消火訓練ＭＲ処理＞
本実施形態の消火訓練ＭＲシステム１において行われるプログラム処理について説明する。
＜消火訓練ＭＲ処理＞
本実施形態の消火訓練ＭＲシステム１において行われるプログラム処理について説明する。
【0045】
本実施形態において、プロセッサ１１１は、消火訓練ＭＲプログラムＰ１に基づき、消火訓練ＭＲ処理を行う。
消火訓練ＭＲプログラムＰ１は、少なくとも環境データ取得プログラムＰ１１、物品情報取得プログラムＰ１２、訓練終了判定プログラムＰ１３、物品燃焼プログラムＰ１４、および消火器操作プログラムＰ１５を含み、プロセッサ１１１はこれらの各プログラムに基づいて、環境データ取得処理、物品情報取得処理、訓練終了判定処理、物品燃焼処理、および消火器操作処理をそれぞれ実行する。
消火訓練ＭＲプログラムＰ１は、少なくとも環境データ取得プログラムＰ１１、物品情報取得プログラムＰ１２、訓練終了判定プログラムＰ１３、物品燃焼プログラムＰ１４、および消火器操作プログラムＰ１５を含み、プロセッサ１１１はこれらの各プログラムに基づいて、環境データ取得処理、物品情報取得処理、訓練終了判定処理、物品燃焼処理、および消火器操作処理をそれぞれ実行する。
【0046】
なお、以下は処理を例示するものである。以下に記載されているものとは別の処理により、消火訓練ＭＲシステム１の機能を実現してもよい。
【0047】
消火訓練ＭＲ処理は、消火訓練前の準備段階における処理（準備段階の処理）と、消火訓練時の処理（訓練段階の処理）に分けることができる。
本実施形態において、以下で説明する環境データ取得処理および物品情報取得処理は、準備段階の処理である。一方、訓練終了判定処理、物品燃焼処理、および消火器操作処理は、訓練段階の処理である。
本実施形態において、以下で説明する環境データ取得処理および物品情報取得処理は、準備段階の処理である。一方、訓練終了判定処理、物品燃焼処理、および消火器操作処理は、訓練段階の処理である。
【0048】
＜２－１．環境データ取得処理＞
環境データ取得処理において、プロセッサ１１１は、ＨＭＤ１０ａを使用する周辺環境のデータを取得するなどの処理を行う。
例えば、プロセッサ１１１は測距センサ１４１ａからの三次元データを取得する。
また、プロセッサ１１１はユーザの操作（選択）により、物品の三次元データ（三次元物品データ）を取得する。
環境データ取得処理において、プロセッサ１１１は、ＨＭＤ１０ａを使用する周辺環境のデータを取得するなどの処理を行う。
例えば、プロセッサ１１１は測距センサ１４１ａからの三次元データを取得する。
また、プロセッサ１１１はユーザの操作（選択）により、物品の三次元データ（三次元物品データ）を取得する。
【0049】
具体的に説明すると、ユーザがＨＭＤ１０ａを装着し、消火訓練を行う空間（例えば部屋Ｒ）内を動き回ることでＨＭＤ１０ａは三次元データを取得する。
例えば、ユーザが北の方向を向けば測距センサ１４１ａは部屋Ｒの北側の三次元データを取得し、ユーザが南の方向を向けば測距センサ１４１ａは部屋Ｒの南側の三次元データを取得する。ユーザが上を向けば天井の、下を向けば床の三次元データをプロセッサ１１１が取得する点は同様である。
例えば、ユーザが北の方向を向けば測距センサ１４１ａは部屋Ｒの北側の三次元データを取得し、ユーザが南の方向を向けば測距センサ１４１ａは部屋Ｒの南側の三次元データを取得する。ユーザが上を向けば天井の、下を向けば床の三次元データをプロセッサ１１１が取得する点は同様である。
【0050】
ＨＭＤ１０ａはパススルー映像に、三次元データの要素（点、フレーム、メッシュ、またはポリゴンなど）を表示し、三次元データを取得できている箇所を表示するため、ユーザは部屋Ｒの三次元データが十分に取得できているか、確認することができる。
壁などにより測距センサ１４１ａがセンシング可能な範囲（例えば赤外線センサの赤外線が届く範囲）は限られるため、ユーザは空間内を移動して部屋内全域の三次元データを取得する。
壁などにより測距センサ１４１ａがセンシング可能な範囲（例えば赤外線センサの赤外線が届く範囲）は限られるため、ユーザは空間内を移動して部屋内全域の三次元データを取得する。
【0051】
図１０は、環境データ取得処理を示すフローチャートである。
プロセッサ１１１は、ユーザから環境データ取得処理開始の指示（例えば測距開始指示など）を受け付けることにより、環境データ取得処理を開始する。
プロセッサ１１１は、ユーザから環境データ取得処理開始の指示（例えば測距開始指示など）を受け付けることにより、環境データ取得処理を開始する。
【0052】
プロセッサ１１１は、測距センサ１４１ａにより空間内の三次元データを取得する（ステップ１）。
なおここで、プロセッサ１１１は、映像データ（パススルー映像）に三次元データを重ね合わせ、ユーザに表示している。
例えば、部屋Ｒの三次元データおよび映像があるとすると、プロセッサ１１１は部屋Ｒの映像に三次元データ（点群データ、３Ｄモデル化データなど）またはその要素（点、フレーム、メッシュ、またはポリゴンなど）を重ね合わせる。
上述したように、ユーザは、三次元データやその要素が表示されているパススルー映像を見ながら空間内を移動し、三次元データが十分に取得できているか確認することができる。
この段階では、空間（壁、天井、床）の三次元データのみが取得されている。
なおここで、プロセッサ１１１は、映像データ（パススルー映像）に三次元データを重ね合わせ、ユーザに表示している。
例えば、部屋Ｒの三次元データおよび映像があるとすると、プロセッサ１１１は部屋Ｒの映像に三次元データ（点群データ、３Ｄモデル化データなど）またはその要素（点、フレーム、メッシュ、またはポリゴンなど）を重ね合わせる。
上述したように、ユーザは、三次元データやその要素が表示されているパススルー映像を見ながら空間内を移動し、三次元データが十分に取得できているか確認することができる。
この段階では、空間（壁、天井、床）の三次元データのみが取得されている。
【0053】
つづいてプロセッサ１１１は、三次元データのうち、空間内の物品に係る三次元データ（三次元物品データ）をユーザの選択により取得する（ステップ２）。
【0054】
ここで、三次元物品データの取得について説明する。
例えば、（直方体の）部屋の中の壁際に、１つの本棚（直方体）のみが物品としてあるとする。そこでユーザは、空間内を動き回ってＨＭＤ１０ａに三次元データを取得させている際に、コントローラ２０を操作して、その本棚に重ねるように直方体を作成し、物品であると設定する。
例えば、（直方体の）部屋の中の壁際に、１つの本棚（直方体）のみが物品としてあるとする。そこでユーザは、空間内を動き回ってＨＭＤ１０ａに三次元データを取得させている際に、コントローラ２０を操作して、その本棚に重ねるように直方体を作成し、物品であると設定する。
【0055】
ここで、このコントローラ２０の操作について一例を挙げて説明する。物品は、上面と底面を備える直方体形状であるとする。
まずＨＭＤ１０ａを装着しているユーザは、表示部１５１に表示されている物品の上面にある頂点の１箇所にポインタを合わせ、そこでボタン２４２を押下する。
つづけてユーザは、上面にあって前記頂点に反時計回り方向で隣接する頂点（２番目の頂点）にポインタを合わせてボタン２４２を押下し、さらに、上面にあってその頂点に反時計回り方向で隣接する頂点（３番目の頂点）で同様の操作を行う。最後に、ユーザは３番目の頂点の下側にある底面の頂点（４番目の頂点）にポインタを合わせてボタン２４２を押下する。
上面にある三頂点と下面にある一頂点を指定するこの操作により、プロセッサ１１１は物品に係る直方体を認識する。
まずＨＭＤ１０ａを装着しているユーザは、表示部１５１に表示されている物品の上面にある頂点の１箇所にポインタを合わせ、そこでボタン２４２を押下する。
つづけてユーザは、上面にあって前記頂点に反時計回り方向で隣接する頂点（２番目の頂点）にポインタを合わせてボタン２４２を押下し、さらに、上面にあってその頂点に反時計回り方向で隣接する頂点（３番目の頂点）で同様の操作を行う。最後に、ユーザは３番目の頂点の下側にある底面の頂点（４番目の頂点）にポインタを合わせてボタン２４２を押下する。
上面にある三頂点と下面にある一頂点を指定するこの操作により、プロセッサ１１１は物品に係る直方体を認識する。
【0056】
なおユーザは上記操作後に物品の名称を選択して決定することができ、プロセッサ１１１はその情報を取得する。
プロセッサ１１１は、取得している各種データ（三次元データ、三次元物品データ、物品の名称等）を保存し、環境データ取得処理を終了する。
プロセッサ１１１は、取得している各種データ（三次元データ、三次元物品データ、物品の名称等）を保存し、環境データ取得処理を終了する。
【0057】
上記の説明はあくまで一例であり、三次元データから物品に係る三次元データ（三次元物品データ）を取得する方法はこれに限られない。
【0058】
なお、例えば壁と天井の境界、壁と床の境界、または部屋の角などの三次元データが誤って認識されているときは、ユーザはパススルー映像を見ながら補正することができる。詳細な説明は省略する。
【0059】
以上のように、プロセッサ１１１は、測距センサ１４１ａが取得している三次元データのうち、ユーザの選択により、物品に係る三次元データ（三次元物品データ）を切り分け、および追加し取得することができる。
物品に係る三次元データを切り分け、および追加して取得することにより、プロセッサ１１１はこれら物品に係るデータに可燃・非可燃などの情報を追加することができる。
物品それぞれについて個別に燃焼可能とすることで、よりリアルな消火訓練を実施することができる。
物品に係る三次元データを切り分け、および追加して取得することにより、プロセッサ１１１はこれら物品に係るデータに可燃・非可燃などの情報を追加することができる。
物品それぞれについて個別に燃焼可能とすることで、よりリアルな消火訓練を実施することができる。
【0060】
＜２－２．物品情報取得処理＞
物品情報取得処理において、プロセッサ１１１は、物品（ここでは三次元データを取得している物品・物品オブジェクト）についての設定情報を取得するなどの処理を行う。設定情報については３．データの項で説明する。
物品情報取得処理において、プロセッサ１１１は、物品（ここでは三次元データを取得している物品・物品オブジェクト）についての設定情報を取得するなどの処理を行う。設定情報については３．データの項で説明する。
【0061】
プロセッサ１１１は、ユーザが管理者用設定画面（図３参照）を開くなどの操作を受け付けることにより、物品情報取得処理を開始する。
【0062】
プロセッサ１１１は各物品について、ユーザの設定などを取得する。
ユーザの設定とは例えば、物品の名称、物品の可燃・非可燃の別や、発火点、または燃焼速さの設定である。プロセッサ１１１はこれらをタグとして保存する。
なお上述したように、本実施形態のプロセッサ１１１は、物品の各辺の長さ情報を測距センサ１４１ａから取得し、ここから物品の体積（または必要消火量パラメータ）を算出して取得することができる。
設定後、ユーザが保存ボタン等を押下することにより（図３参照）、プロセッサ１１１は設定を保存して物品情報取得処理を終了する。
ユーザの設定とは例えば、物品の名称、物品の可燃・非可燃の別や、発火点、または燃焼速さの設定である。プロセッサ１１１はこれらをタグとして保存する。
なお上述したように、本実施形態のプロセッサ１１１は、物品の各辺の長さ情報を測距センサ１４１ａから取得し、ここから物品の体積（または必要消火量パラメータ）を算出して取得することができる。
設定後、ユーザが保存ボタン等を押下することにより（図３参照）、プロセッサ１１１は設定を保存して物品情報取得処理を終了する。
【0063】
＜２－３．訓練終了判定処理＞
訓練終了判定処理において、プロセッサ１１１は、消火訓練を終了する条件に係る処理などを行う。
訓練終了判定処理において、プロセッサ１１１は、消火訓練を終了する条件に係る処理などを行う。
【0064】
図１１は、訓練終了判定処理を示すフローチャートである。
プロセッサ１１１は、メニュー画面（図２参照）でユーザが「ＭＲ」を選択するなど、消火訓練開始に相当する操作を行うことにより、訓練終了判定処理を開始する。
本実施形態の訓練終了判定処理では、制限時間が経過するか、燃焼している物品がなくなってｎ秒以上経過している場合、処理を終了する。
なお本実施形態において、ｎ秒は５秒であるが、これは設定により変更可能である。
プロセッサ１１１は、メニュー画面（図２参照）でユーザが「ＭＲ」を選択するなど、消火訓練開始に相当する操作を行うことにより、訓練終了判定処理を開始する。
本実施形態の訓練終了判定処理では、制限時間が経過するか、燃焼している物品がなくなってｎ秒以上経過している場合、処理を終了する。
なお本実施形態において、ｎ秒は５秒であるが、これは設定により変更可能である。
【0065】
プロセッサ１１１は、まず各種データを取得する（ステップ１１）。各種データとは、物品情報取得処理で設定されている物品（発火点が設定されている物品）などに関する情報であり、例えば発火点情報である。
つづいてプロセッサ１１１は、発火点が設定されている物品について発火させ（ステップ１２）、制限時間について計時を開始する（ステップ１３）。制限時間は例えば５分である。
つづいてプロセッサ１１１は、発火点が設定されている物品について発火させ（ステップ１２）、制限時間について計時を開始する（ステップ１３）。制限時間は例えば５分である。
【0066】
つまり、発火した物品は燃焼を開始し、発火点に設定している物品が最初に燃焼を開始する。また、プロセッサ１１１は、発火した物品に炎エフェクトを付与する。詳細は後述の物品燃焼処理で説明する。
なお、ある物品が燃焼しているかどうかは、例えばフラグで管理することができる。
なお、ある物品が燃焼しているかどうかは、例えばフラグで管理することができる。
【0067】
制限時間が経過していない場合（ステップ１４Ｎｏ）、プロセッサ１１１は消火状態が継続しているかどうかについての計時、つまり上述したｎ秒の計時を開始する（ステップ１５）。つまり、このステップにおいて物品の燃焼をチェックしている。
【0068】
つづいて、プロセッサ１１１は燃焼している物品があるかどうかについて判断する（ステップ１６）。
燃焼している物品がある場合（ステップ１６Ｙｅｓ）、フローは制限時間の経過判断（ステップ１４）に戻り、制限時間が経過していない限り（ステップ１４Ｎｏ）、再度ｎ秒の計時を開始する（ステップ１５）。言い換えると、プロセッサ１１１は、これより前のステップで開始していたｎ秒のタイマーをリセットする。
燃焼している物品がある場合（ステップ１６Ｙｅｓ）、フローは制限時間の経過判断（ステップ１４）に戻り、制限時間が経過していない限り（ステップ１４Ｎｏ）、再度ｎ秒の計時を開始する（ステップ１５）。言い換えると、プロセッサ１１１は、これより前のステップで開始していたｎ秒のタイマーをリセットする。
【0069】
燃焼している物品がない場合（ステップ１６Ｎｏ）、プロセッサ１１１は燃焼している物品がない状態で所定の時間（ｎ秒）が経過しているか、つまり、消火状態が継続しているかについて判断する（ステップ１７）。
【0070】
所定の時間（ｎ秒）が経過していない場合（ステップ１７Ｎｏ）、プロセッサ１１１は物品が燃焼している物品があるかどうかの判断（ステップ１６）に戻る。つまり、所定の時間内に他の物品の燃焼が開始するかどうかについて待機する。
【0071】
所定の秒数（ｎ秒）が経過している場合（ステップ１７Ｙｅｓ）、つまり消火状態が所定時間継続している場合、火災は終了している（可燃の物品がすべて燃え尽きている、または消火が完了している）として、プロセッサ１１１は訓練終了判定処理を終了する。
【0072】
また、制限時間が経過している場合も（ステップ１４Ｙｅｓ）、プロセッサ１１１は訓練終了判定処理を終了する。
訓練終了判定処理の終了に際し、例えば物品のデータ（消火済みまたは消火済みでないなど）やすべての物品の消火に要した時間など、プロセッサ１１１は各種データを保存する。
訓練終了判定処理の終了に際し、例えば物品のデータ（消火済みまたは消火済みでないなど）やすべての物品の消火に要した時間など、プロセッサ１１１は各種データを保存する。
【0073】
＜２－４．物品燃焼処理＞
物品燃焼処理において、プロセッサ１１１は、物品の燃焼に関する処理などを行う。
物品燃焼処理において、プロセッサ１１１は、物品の燃焼に関する処理などを行う。
【0074】
図１２は、物品燃焼処理を示すフローチャートである。
プロセッサ１１１は、ユーザが消火訓練開始に相当する操作を行うことにより、物品燃焼処理を開始する。
プロセッサ１１１は、ユーザが消火訓練開始に相当する操作を行うことにより、物品燃焼処理を開始する。
【0075】
図１２のフローチャートでは三次元物品データや、三次元物品データに付与される炎エフェクトについて主として説明しているが、炎エフェクトが付与されている物品オブジェクト（燃焼している物品）は、撮像装置１４２による映像（パススルー映像）とともに表示部１５１に表示されている。
つまり、プロセッサ１１１は燃焼している物品に係る合成映像をＨＭＤ１０ａの表示部１５１に表示している（合成映像表示処理）。
つまり、プロセッサ１１１は燃焼している物品に係る合成映像をＨＭＤ１０ａの表示部１５１に表示している（合成映像表示処理）。
【0076】
ここで、訓練終了判定処理の説明で述べたように、物品について燃焼が開始する場合には２つのパターンがある。ユーザの選択により発火点に指定されている場合と、延焼の場合である。
【0077】
延焼について説明する。ここでは延焼は、燃焼中の物品（「物品Ａ」とする。）の近傍に、可燃物と設定されているまだ燃焼していない別の物品（「物品Ｂ」とする。）がある場合に、物品Ａから物品Ｂに炎が燃え移ること（本項で説明する物品燃焼処理が開始すること）をいう。
本実施形態では、物品Ｂが物品Ａから一定の距離以内（この距離はユーザにより設定可能）にある場合であって、一定時間（この時間も設定可能）が経過した場合に、延焼条件を満たし、物品Ｂが燃焼を開始する（発火する・延焼する）。
なお、まだ燃焼していないことはフラグなどで管理が可能である。また、延焼の別の形態については変形例で説明する。
本実施形態では、物品Ｂが物品Ａから一定の距離以内（この距離はユーザにより設定可能）にある場合であって、一定時間（この時間も設定可能）が経過した場合に、延焼条件を満たし、物品Ｂが燃焼を開始する（発火する・延焼する）。
なお、まだ燃焼していないことはフラグなどで管理が可能である。また、延焼の別の形態については変形例で説明する。
【0078】
図１２に戻り、物品燃焼処理において、プロセッサ１１１は、まず物品データを取得し（ステップ２１）、物品が燃焼に係る確認（発火点に設定されているか、または上述した物品の延焼条件が満たされているかどうか）を行う（ステップ２２）。
ここで取得する物品データは、少なくとも物品が燃え尽きるまでの時間（以下「燃焼時間」とする。）に係るデータを含む。
ここで取得する物品データは、少なくとも物品が燃え尽きるまでの時間（以下「燃焼時間」とする。）に係るデータを含む。
【0079】
本実施形態において、燃え尽きるまでの時間は、物品ごとにユーザが設定することができる。例えば、物品の名称と燃え尽きるまでの時間が紐づいており、物品の名称に応じた時間が定められている。
ただし、燃え尽きるまでの時間はこれに限られるものではなく、物品の体積（後述する「各辺の長さ情報」）に応じてプロセッサ１１１が計算し、設定してもよい。
ただし、燃え尽きるまでの時間はこれに限られるものではなく、物品の体積（後述する「各辺の長さ情報」）に応じてプロセッサ１１１が計算し、設定してもよい。
【0080】
物品が発火に至った場合（ステップ２３Ｙｅｓ）、プロセッサ１１１は当該物品の三次元データ（三次元物品データに物品の映像を投影したもの含む・物品オブジェクト）に炎エフェクトを付し、映像データとともに合成映像（燃焼している物品の合成映像）を生成してＨＭＤ１０ａの表示部１５１に表示し（ステップ２４）、燃焼時間の計時を開始する（ステップ２５）。
【0081】
ここで、炎エフェクトの付与について説明する。
本実施形態において、三次元物品データのそれぞれの面（例えば直方体であれば６面）に対してサブメッシュを作成し、そこに炎エフェクトを付与している。また、あらかじめ持っている面の表示との調整のため、シェーダ設定で重なりの優先度を調整している。
三次元物品データのそれぞれの面の手前側に新しい面を用意する方法などと比べ、メモリの消費やＣＰＵの使用率を抑えられるという利点がある。
本実施形態において、三次元物品データのそれぞれの面（例えば直方体であれば６面）に対してサブメッシュを作成し、そこに炎エフェクトを付与している。また、あらかじめ持っている面の表示との調整のため、シェーダ設定で重なりの優先度を調整している。
三次元物品データのそれぞれの面の手前側に新しい面を用意する方法などと比べ、メモリの消費やＣＰＵの使用率を抑えられるという利点がある。
【0082】
図１２に戻り、物品の燃焼時間が経過していない場合（ステップ２６Ｎｏ）、プロセッサ１１１はその物品オブジェクトに、消火薬剤エフェクトがヒットしているかについて判定する（ステップ２７）。
なお、消火薬剤エフェクトの発生については２－５．消火器操作処理で説明する。
なお、消火薬剤エフェクトの発生については２－５．消火器操作処理で説明する。
【0083】
ここで「ヒット」とは、物品オブジェクト（または炎オブジェクト）に対し、消火薬剤エフェクトが消火の効果を奏する範囲内にある場合をいう。
これは物品オブジェクト（または炎オブジェクト）と消火薬剤エフェクトに「重なり」があるともいう。重なりの語も、消火の効果の範囲内にあることをいい、物品オブジェクト（または炎オブジェクト）そのものと消火薬剤エフェクトそのものが重複しているとは限らない。
例えば、オブジェクトやエフェクト同士に重なりや接触がなくとも一定距離内にある場合は効果が生じるとしている場合、上記消火の効果を奏する範囲内は、この効果が生じる範囲内を意味する。
これは物品オブジェクト（または炎オブジェクト）と消火薬剤エフェクトに「重なり」があるともいう。重なりの語も、消火の効果の範囲内にあることをいい、物品オブジェクト（または炎オブジェクト）そのものと消火薬剤エフェクトそのものが重複しているとは限らない。
例えば、オブジェクトやエフェクト同士に重なりや接触がなくとも一定距離内にある場合は効果が生じるとしている場合、上記消火の効果を奏する範囲内は、この効果が生じる範囲内を意味する。
【0084】
物品オブジェクトに消火薬剤エフェクトがヒットしている場合（ステップ２７Ｙｅｓ）、プロセッサ１１１は消火量を演算する（ステップ２８）。
そしてプロセッサ１１１は、消火量が必要消火量に達しているかどうか、つまりその物品について消火済みかどうかについて判定する（ステップ２９）。
そしてプロセッサ１１１は、消火量が必要消火量に達しているかどうか、つまりその物品について消火済みかどうかについて判定する（ステップ２９）。
【0085】
消火量が必要消火量に達している場合（ステップ２９Ｙｅｓ）、プロセッサ１１１はその物品オブジェクトについて炎エフェクトを消去し（ステップ３０）（合成映像変化処理）、その物品に係るデータを更新する（例えば、燃焼フラグを削除する、消火フラグを立てる、など）（ステップ３１）。
この場合、プロセッサ１１１はその物品について、燃焼前の映像に替えて消火後の画像（例えば物品画像の色違い画像など）を表示する。
この場合、プロセッサ１１１はその物品について、燃焼前の映像に替えて消火後の画像（例えば物品画像の色違い画像など）を表示する。
【0086】
物品オブジェクトに消火薬剤エフェクトがヒットしていない場合（ステップ２７Ｎｏ）や、消火量が必要消火量に達していない場合（ステップ２９Ｎｏ）、プロセッサ１１１は燃焼時間経過の判定に戻る（ステップ２６）。
【0087】
物品の燃焼時間が経過している場合（ステップ２６Ｙｅｓ）、プロセッサ１１１はその物品オブジェクトについて炎エフェクトを消去し（ステップ３０）、その物品が燃え尽きたとして、その物品に係るデータを更新する（ステップ３１）。
この場合、プロセッサ１１１はその物品について、燃焼前の映像に替えて燃焼後の画像（例えば炭の画像など）を表示する。
この場合、プロセッサ１１１はその物品について、燃焼前の映像に替えて燃焼後の画像（例えば炭の画像など）を表示する。
【0088】
プロセッサ１１１は各種データを保存し、物品燃焼処理を終了する。
【0089】
ここで、消火に関する処理について説明する。
まず、物品により消火のしやすさは異なる。本実施形態において、物品の体積が大きいほど消火しにくい。
例えば、各辺の長さが90（cm）×30（cm）×150（cm）で、体積が405,000（ｃｍ３)の物品があったとすると、この物品については405,000の数値が「必要消火量」パラメータとして与えられている。
まず、物品により消火のしやすさは異なる。本実施形態において、物品の体積が大きいほど消火しにくい。
例えば、各辺の長さが90（cm）×30（cm）×150（cm）で、体積が405,000（ｃｍ３)の物品があったとすると、この物品については405,000の数値が「必要消火量」パラメータとして与えられている。
【0090】
一方、消火器には、消火薬剤の強さに係るパラメータがあり、消火量はパラメータとして「消火薬剤の強さ×時間（秒）」を含む。
消火薬剤の強さは、消火薬剤エフェクトと炎エフェクト等との重なりや、後述する消火薬剤の効果係数によって変化する。
そして、消火量が必要消火量を超えた場合、プロセッサ１１１はその物品が消火されたと判定する。
消火薬剤の強さは、消火薬剤エフェクトと炎エフェクト等との重なりや、後述する消火薬剤の効果係数によって変化する。
そして、消火量が必要消火量を超えた場合、プロセッサ１１１はその物品が消火されたと判定する。
【0091】
上述の例で言うと、消火薬剤の強さが仮に100,000で維持されている場合、4.05秒超の噴射（100,000×4.05）で必要消火量の405,000を超え、プロセッサ１１１はその物品について消火されたと判定する（上記ステップ２９）。
【0092】
ここで消火量は、消火薬剤エフェクトと、炎エフェクトまたは燃焼している物品オブジェクトの重なりの程度で変化する。
コントローラ２０の向きが正しくない場合や、コントローラ２０から炎までの距離が離れている場合は、その度合いに応じて、消火薬剤の強さ、ひいては消火量が減衰する。
コントローラ２０の向きが正しくない場合や、コントローラ２０から炎までの距離が離れている場合は、その度合いに応じて、消火薬剤の強さ、ひいては消火量が減衰する。
【0093】
図１３は、炎エフェクト（ＵＩ－Ｆ）とコントローラ２０の関係を示す図である。
コントローラ２０の位置や向きは、消火器のホースの位置や向きに相当する。つまり、コントローラ２０から炎エフェクトの中心点（図１３では×印で表示）までの距離Ｌが離れるほど、消火薬剤の強さ、ひいては消火量が減衰する。
コントローラ２０の位置や向きは、消火器のホースの位置や向きに相当する。つまり、コントローラ２０から炎エフェクトの中心点（図１３では×印で表示）までの距離Ｌが離れるほど、消火薬剤の強さ、ひいては消火量が減衰する。
【0094】
本実施形態において、消火薬剤エフェクトはコントローラ２０を頂点とし、高さＬ、頂角２θである略円錐形状の範囲内、もしくは頂点と高さLを結ぶ直線形状で発生する。
例えば、コントローラ２０の形成する直線上（図１３の点線上）において、コントローラ２０に近いほど消火薬剤の強さが大きくなる。
一方、コントローラ２０の形成する直線から離れるほど、消火薬剤の強さは小さくなる。
例えば、コントローラ２０の形成する直線上（図１３の点線上）において、コントローラ２０に近いほど消火薬剤の強さが大きくなる。
一方、コントローラ２０の形成する直線から離れるほど、消火薬剤の強さは小さくなる。
【0095】
なお、プロセッサ１１１は「必要消火量」パラメータに応じて炎エフェクトを変化させてもよい。
例えば、必要消火量を超えたら消火するだけではなく、必要消火量の８割に至ったら炎エフェクトを小さくする、などである。
また、必要消火量パラメータを数値「ｍ」としたときに、数値ｍから減算して０に至ったら消火としてもよいし、０から加算して数値ｍに至った時に消火としてもよい。
例えば、必要消火量を超えたら消火するだけではなく、必要消火量の８割に至ったら炎エフェクトを小さくする、などである。
また、必要消火量パラメータを数値「ｍ」としたときに、数値ｍから減算して０に至ったら消火としてもよいし、０から加算して数値ｍに至った時に消火としてもよい。
【0096】
本実施形態の物品燃焼処理では、物品オブジェクトまたは炎エフェクトに、消火薬剤エフェクトがヒットしているかを判断するため、プロセッサ１１１はコントローラ２０の情報（ユーザによるコントローラ２０の操作情報、またはコントローラ２０の位置情報など）を取得している（コントローラ情報取得処理）。
また、ユーザによるコントローラ２０の操作により消火薬剤エフェクトがヒットしている場合で、必要消火量に達した場合、プロセッサ１１１は炎エフェクトを消すなど、合成映像を変化させる（合成映像変化処理）。
また、ユーザによるコントローラ２０の操作により消火薬剤エフェクトがヒットしている場合で、必要消火量に達した場合、プロセッサ１１１は炎エフェクトを消すなど、合成映像を変化させる（合成映像変化処理）。
【0097】
＜２－５．消火器操作処理＞
消火器操作処理において、プロセッサ１１１は、ユーザが操作するコントローラ２０の情報を取得して、ＭＲ上の消火薬剤散布に係る処理などを行う。
消火器操作処理において、プロセッサ１１１は、ユーザが操作するコントローラ２０の情報を取得して、ＭＲ上の消火薬剤散布に係る処理などを行う。
【0098】
図１４は、消火器操作処理を示すフローチャートである。
プロセッサ１１１は、メニュー画面（図２参照）でユーザが「ＭＲ」を選択するなど、ユーザが消火訓練開始に相当する操作を行うことにより、消火器操作処理を開始する。
プロセッサ１１１は、メニュー画面（図２参照）でユーザが「ＭＲ」を選択するなど、ユーザが消火訓練開始に相当する操作を行うことにより、消火器操作処理を開始する。
【0099】
なお以下で説明する、消火器オブジェクトの取得、安全ピンの引抜、およびノズルの把持については１．ユーザーインターフェースの項も参照されたい。
【0100】
制限時間が経過していない場合（ステップ４１Ｙｅｓ）、プロセッサ１１１は、ユーザが消火器オブジェクトを取得しているかについて判定する（ステップ４２）。
ユーザが消火器オブジェクトを取得している場合（ステップ４２Ｙｅｓ）、プロセッサ１１１はユーザが安全ピンを引抜済みかについて判定する（ステップ４３）。
ユーザが安全ピンを引抜き済みの場合（ステップ４３Ｙｅｓ）、プロセッサ１１１はユーザがノズルを把持済みかについて判定する（ステップ４４）。
ユーザがノズルを把持済みの場合（ステップ４４Ｙｅｓ）、プロセッサ１１１はユーザがコントローラ２０のトリガーを引いているかについて判定する（ステップ４５）。
ユーザが消火器オブジェクトを取得している場合（ステップ４２Ｙｅｓ）、プロセッサ１１１はユーザが安全ピンを引抜済みかについて判定する（ステップ４３）。
ユーザが安全ピンを引抜き済みの場合（ステップ４３Ｙｅｓ）、プロセッサ１１１はユーザがノズルを把持済みかについて判定する（ステップ４４）。
ユーザがノズルを把持済みの場合（ステップ４４Ｙｅｓ）、プロセッサ１１１はユーザがコントローラ２０のトリガーを引いているかについて判定する（ステップ４５）。
【0101】
ユーザがトリガーを引いている場合（コントローラ２０からの入力がある場合・ステップ４５Ｙｅｓ）、プロセッサ１１１は消火薬剤エフェクトを表示する（ステップ４６）。このとき、上述したように消火薬剤の消火の効果が発生する。
【0102】
一方、ユーザが消火器オブジェクトを取得していない場合（ステップ４２Ｎｏ）、安全ピンを引抜いていない場合（ステップ４３Ｎｏ）、ノズルを把持済みでない場合（ステップ４４Ｎｏ）、またはトリガーを引いていない場合（ステップ４５Ｎｏ）、プロセッサ１１１は制限時間内かどうかの判断に戻る（ステップ４１）。
【0103】
制限時間が経過した場合（ステップ４１Ｎｏ）、プロセッサ１１１は消火器操作処理を終了する。
【0104】
以上小括すると、消火訓練ＭＲプログラムＰ１により、プロセッサ１１１は、環境データ取得処理、物品情報取得処理、訓練終了判定処理、物品燃焼処理、および消火器操作処理を実行する。
【0105】
すなわち、消火訓練ＭＲプログラムＰ１は、コンピュータを環境データ取得手段、物品情報取得手段、訓練終了判定手段、物品燃焼手段、および消火器操作手段として機能させる。
そして、このような処理を行う制御部１２は、環境データ取得部、物品情報取得部、訓練終了判定部、物品燃焼部、および消火器操作部として機能する。
そして、このような処理を行う制御部１２は、環境データ取得部、物品情報取得部、訓練終了判定部、物品燃焼部、および消火器操作部として機能する。
【0106】
環境データ取得処理は、例えば、
・測距センサ１４１ａによる（ユーザ端末周辺の）三次元データを取得する三次元データ取得処理（ステップ１）、および、
・前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得処理（ステップ２）、を含む。
このほか、環境データ取得処理は例えば、
・撮像装置１４２による（ユーザ端末周辺の）映像データを取得する映像データ取得処理を含む。
・測距センサ１４１ａによる（ユーザ端末周辺の）三次元データを取得する三次元データ取得処理（ステップ１）、および、
・前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得処理（ステップ２）、を含む。
このほか、環境データ取得処理は例えば、
・撮像装置１４２による（ユーザ端末周辺の）映像データを取得する映像データ取得処理を含む。
【0107】
なおここで、 「ユーザ端末周辺」の「周辺」の語は、センサ１４１が感知し得る範囲または撮像装置１４２が撮影し得る範囲を指す。よって、センサ１４１や撮像装置１４２によってその範囲は変化するが、本実施形態では消火訓練に必要な範囲である。
【0108】
物品情報取得処理は、例えば三次元物品データを取得している物品の設定情報を受け付ける処理である。
また、２－２．物品情報取得処理で述べたように、設定情報は、三次元物品データを取得している物品（物品オブジェクト）のうち少なくとも一つを発火点とする発火点情報を含む。発火点はユーザが選択する（ユーザの入力による）。
またこのほか、設定情報は、（１）ユーザの選択による物品オブジェクトの可燃非可燃情報（三次元物品データを取得している物品の可燃非可燃情報）、（２）測距センサ１４１ａが取得する物品オブジェクトの各辺の長さ情報（三次元物品データを取得している物品の各辺の長さ情報）または当該各辺の長さ情報から算出した体積情報（三次元物品データを取得している物品から算出した体積情報）、および（３）ユーザの入力（選択）による物品オブジェクトの燃焼速さ情報（三次元物品データを取得している物品の燃焼速さ情報）、を含む。
また、２－２．物品情報取得処理で述べたように、設定情報は、三次元物品データを取得している物品（物品オブジェクト）のうち少なくとも一つを発火点とする発火点情報を含む。発火点はユーザが選択する（ユーザの入力による）。
またこのほか、設定情報は、（１）ユーザの選択による物品オブジェクトの可燃非可燃情報（三次元物品データを取得している物品の可燃非可燃情報）、（２）測距センサ１４１ａが取得する物品オブジェクトの各辺の長さ情報（三次元物品データを取得している物品の各辺の長さ情報）または当該各辺の長さ情報から算出した体積情報（三次元物品データを取得している物品から算出した体積情報）、および（３）ユーザの入力（選択）による物品オブジェクトの燃焼速さ情報（三次元物品データを取得している物品の燃焼速さ情報）、を含む。
【0109】
物品燃焼処理は、例えば、
・撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示処理（ステップ２４）、および、
・ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化処理（ステップ２７からステップ３０）、を含む。
・撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示処理（ステップ２４）、および、
・ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化処理（ステップ２７からステップ３０）、を含む。
【0110】
また本実施形態において、物品燃焼処理は、さらに、燃焼している物品（物品オブジェクト）から一定の距離内に別の物品（物品オブジェクト・特に可燃で設定している物品オブジェクト）がある場合、当該別の物品が燃焼する延焼処理（ステップ２２・ステップ２３）を含む。
【0111】
なお、上記合成映像を表示するため、物品燃焼処理は撮像装置１４２による（ユーザ端末周辺の）映像データを取得する映像データ取得処理を含む。
このように、既出の処理については説明を省略している場合がある。
このように、既出の処理については説明を省略している場合がある。
【0112】
３．データ
以下、本実施形態の消火訓練ＭＲシステム１が扱うデータについて、図を用いて説明する。
本実施形態の消火訓練ＭＲシステム１は、ＨＭＤ１０ａの記憶部１２（データ格納部１２ｂ）に三次元データベースＤ１０、物品データベースＤ２０、および消火薬剤データベースＤ３０を備える。
また以下において、データベースはデータの作成日時を保存しているが、記載は省略する。
以下、本実施形態の消火訓練ＭＲシステム１が扱うデータについて、図を用いて説明する。
本実施形態の消火訓練ＭＲシステム１は、ＨＭＤ１０ａの記憶部１２（データ格納部１２ｂ）に三次元データベースＤ１０、物品データベースＤ２０、および消火薬剤データベースＤ３０を備える。
また以下において、データベースはデータの作成日時を保存しているが、記載は省略する。
【0113】
三次元データベースＤ１０は、測距センサ１４１ａが取得する三次元データを備えるデータベースである。三次元データは例えば三次元の座標データである。
【0114】
本実施形態の三次元データは、ユーザがいる場所（部屋）の三次元データ（三次元空間データ）と、物品の三次元データ（三次元物品データ）とを含む。
三次元物品データの取得方法は上述したとおりである。
物品の三次元データは、後述する物品データベースＤ２０において、例えば物品ＩＤなどにより個々の物品のデータと紐づけられる。
三次元物品データの取得方法は上述したとおりである。
物品の三次元データは、後述する物品データベースＤ２０において、例えば物品ＩＤなどにより個々の物品のデータと紐づけられる。
【0115】
物品データベースＤ２０は、物品データを備えるデータベースである。
なお簡単のため、以下において物品オブジェクトを物品と略記している場合がある。
なお簡単のため、以下において物品オブジェクトを物品と略記している場合がある。
【0116】
【表1】
【0117】
表１は、物品データベースＤ２０が備えるデータを例示するものである。
本実施形態において、物品データベースＤ２０は一意の物品ＩＤ、物品の名称（物品名称）、可燃・非可燃、物品の体積（体積）、燃焼速さ、および発火点をデータとして備える。
この可燃・非可燃、物品の体積、燃焼速さ、発火点など、物品の設定に係る情報を「設定情報」と称する。
プロセッサ１１１は物品ごとに、設定情報のそれぞれに係るタグを付して管理することができる。
本実施形態において、物品データベースＤ２０は一意の物品ＩＤ、物品の名称（物品名称）、可燃・非可燃、物品の体積（体積）、燃焼速さ、および発火点をデータとして備える。
この可燃・非可燃、物品の体積、燃焼速さ、発火点など、物品の設定に係る情報を「設定情報」と称する。
プロセッサ１１１は物品ごとに、設定情報のそれぞれに係るタグを付して管理することができる。
【0118】
可燃・非可燃は、物品が可燃物か非可燃物かの別であり、ユーザが設定することができる。
このような、ユーザの入力による、物品の可燃または非可燃についての設定情報を「可燃非可燃情報」とする。
本実施形態において、可燃非可燃情報は、二者択一肢（可燃・非可燃）からのユーザの選択（入力）による。ただしこれに限られるものではなく、０－１０、または０－１００といった数値等の入力により設定してもよい。
このような、ユーザの入力による、物品の可燃または非可燃についての設定情報を「可燃非可燃情報」とする。
本実施形態において、可燃非可燃情報は、二者択一肢（可燃・非可燃）からのユーザの選択（入力）による。ただしこれに限られるものではなく、０－１０、または０－１００といった数値等の入力により設定してもよい。
【0119】
物品が可燃物の場合、ユーザはその物品を発火点または延焼物とすることができる。延焼物は、近くに燃焼している物品がある場合に、その物品から延焼し得る物品である。
物品が非可燃物の場合、プロセッサ１１１はその物品は燃焼させず、炎エフェクトを付与しない。
物品が非可燃物の場合、プロセッサ１１１はその物品は燃焼させず、炎エフェクトを付与しない。
【0120】
各辺の長さは、物品の各辺の長さであり、各辺の長さの積は物品の体積を表す。体積が大きいほど、消火に要する時間が長くなる。例えば、同じ効果係数の消火薬剤を同じ時間ヒットさせたとしても、体積の大きい物品の方が消火に時間がかかる。
このような、物品の各辺の長さに係る情報を「各辺の長さ情報」とする。
本実施形態において、各辺の長さ情報は三次元物品データに係る各辺の長さの情報である。プロセッサ１１１は、各辺の長さ情報から体積を算出し、または必要消火量パラメータを算出することができる。
なお上述したように、燃焼時間（物品が燃え尽きるまでの時間）が各辺の長さ情報と関連していてもよい。
このような、物品の各辺の長さに係る情報を「各辺の長さ情報」とする。
本実施形態において、各辺の長さ情報は三次元物品データに係る各辺の長さの情報である。プロセッサ１１１は、各辺の長さ情報から体積を算出し、または必要消火量パラメータを算出することができる。
なお上述したように、燃焼時間（物品が燃え尽きるまでの時間）が各辺の長さ情報と関連していてもよい。
【0121】
燃焼速さは、物品の燃えやすさである。例えば同じ体積の物品の場合、燃焼速さが高いものは燃焼速さが低いものに比べ、燃焼時間が短くなる。
また、燃焼速さが大きい物品は発火条件を緩くする、例えば発火までの時間を短くするようにしてもよい。詳細は変形例で説明する。
このような、物品の燃焼速さに係る情報を「燃焼速さ情報」とする。本実施形態において、燃焼速さ情報は、複数の選択肢からのユーザの選択（入力）による。ただしこれに限られるものではなく、０－１０、または０－１００といった数値等の入力により設定してもよい。
また、燃焼速さが大きい物品は発火条件を緩くする、例えば発火までの時間を短くするようにしてもよい。詳細は変形例で説明する。
このような、物品の燃焼速さに係る情報を「燃焼速さ情報」とする。本実施形態において、燃焼速さ情報は、複数の選択肢からのユーザの選択（入力）による。ただしこれに限られるものではなく、０－１０、または０－１００といった数値等の入力により設定してもよい。
【0122】
発火点は、消火訓練において最初に発火し燃焼を開始する物品を示すものである。表１に示すように、「１」であれば発火点、「０」であれば非発火点として設定されている。
本実施形態において、発火点は可燃物として設定されている物品について選択することができる。また、発火点は１つに限らず、ユーザは発火点を複数設定してもよい。
このような、三次元物品データを取得している物品のうち少なくとも一つを、ユーザの入力により、発火点とする設定情報を「発火点情報」とする。
本実施形態において、発火点は可燃物として設定されている物品について選択することができる。また、発火点は１つに限らず、ユーザは発火点を複数設定してもよい。
このような、三次元物品データを取得している物品のうち少なくとも一つを、ユーザの入力により、発火点とする設定情報を「発火点情報」とする。
【0123】
上記のほか、物品データベースＤ２０は、物品が燃えているかどうかに係る情報（例えばフラグ）などを保有してもよい。例えば、発火していることを示す発火フラグ、燃焼していることを示す燃焼フラグ、または、消火済みであることを示す消火フラグなどである。
【0124】
消火薬剤データベースＤ３０は、消火薬剤データを備えるデータベースである。
消火薬剤データベースＤ３０は、一意の消火薬剤ＩＤと、効果係数を備える。このほか、消火薬剤データベースＤ３０は消火薬剤エフェクトに関する情報を含んでいてもよい。
燃焼中の同じ物品に同じ時間消火薬剤を散布しても、効果係数が高い消火薬剤の方が、消火に要する時間は短くなる。
消火薬剤エフェクトはＭＲ中の消火薬剤のエフェクトに関するものであり、例えば、効果係数の高い消火薬剤は勢いのある散布エフェクトになる、などである。
消火薬剤データベースＤ３０は、一意の消火薬剤ＩＤと、効果係数を備える。このほか、消火薬剤データベースＤ３０は消火薬剤エフェクトに関する情報を含んでいてもよい。
燃焼中の同じ物品に同じ時間消火薬剤を散布しても、効果係数が高い消火薬剤の方が、消火に要する時間は短くなる。
消火薬剤エフェクトはＭＲ中の消火薬剤のエフェクトに関するものであり、例えば、効果係数の高い消火薬剤は勢いのある散布エフェクトになる、などである。
【0125】
４．ハードウェア構成
図１５は消火訓練ＭＲシステム１のハードウェア構成図である。
図１５に示すように、本実施形態における消火訓練ＭＲシステム１は、ＨＭＤ１０ａおよびコントローラ２０を備える。
以下、各ハードウェアについて説明する。
図１５は消火訓練ＭＲシステム１のハードウェア構成図である。
図１５に示すように、本実施形態における消火訓練ＭＲシステム１は、ＨＭＤ１０ａおよびコントローラ２０を備える。
以下、各ハードウェアについて説明する。
【0126】
＜ユーザ端末１０＞
ユーザ端末は、ユーザが消火訓練ＭＲシステム１を利用するための情報処理装置である。
本実施形態において、ユーザ端末１０はユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）１０ａである。ヘッドマウントディスプレイ１０ａをＨＭＤ１０ａと略記する。
ＨＭＤ１０ａとして例えば、Meta Platforms社のMeta Quest（商標登録出願中）シリーズ（例えばMeta Quest 3、Meta Quest Pro）などが好適に使用できる。
ユーザ端末は、ユーザが消火訓練ＭＲシステム１を利用するための情報処理装置である。
本実施形態において、ユーザ端末１０はユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）１０ａである。ヘッドマウントディスプレイ１０ａをＨＭＤ１０ａと略記する。
ＨＭＤ１０ａとして例えば、Meta Platforms社のMeta Quest（商標登録出願中）シリーズ（例えばMeta Quest 3、Meta Quest Pro）などが好適に使用できる。
【0127】
図１５に示すように、ユーザ端末１０（ＨＭＤ１０ａも同様とする。）は、制御部１１、記憶部１２、通信制御部１３、入力部１４、および出力部１５を備える。
また、制御部１１は、プロセッサ１１１、ＲＯＭ１１２、ＲＡＭ１１３、および計時部１１４を、記憶部１２は、プログラム格納部１２ａおよびデータ格納部１２ｂを備える（不図示）。本実施形態において、プロセッサ１１１はＣＰＵ（Central Processing Unit）である。それぞれの基本的な機能については後述する。
また、制御部１１は、プロセッサ１１１、ＲＯＭ１１２、ＲＡＭ１１３、および計時部１１４を、記憶部１２は、プログラム格納部１２ａおよびデータ格納部１２ｂを備える（不図示）。本実施形態において、プロセッサ１１１はＣＰＵ（Central Processing Unit）である。それぞれの基本的な機能については後述する。
【0128】
本実施形態において、ユーザ端末１０はＨＭＤ１０ａであるが、これは一例であり、ＨＭＤ１０ａに代えてスマートフォンやタブレットなどの携帯型端末を使用してもよい。
例えば、スマートフォンを取り付けるゴーグルが知られており、当該スマートフォンを取り付けているゴーグルがヘッドマウントディスプレイとして機能する。
例えば、スマートフォンを取り付けるゴーグルが知られており、当該スマートフォンを取り付けているゴーグルがヘッドマウントディスプレイとして機能する。
【0129】
上述したように、プロセッサ１１１を備える制御部１１は、ＨＭＤ１０ａにおいて消火訓練ＭＲ部１１ａとしても機能する（不図示）。消火訓練ＭＲ部は、消火訓練ＭＲプログラムＰ１を実行して消火訓練ＭＲ処理を行う。
【0130】
本実施形態の消火訓練ＭＲ部１１ａは例えば、環境データ取得部１１ｂ、物品情報取得部１１ｃ、訓練終了判定部１１ｄ、物品燃焼部１１ｅ、および消火器操作部１１ｆを備える。
【0131】
環境データ取得部１１ｂは例えば、三次元データ取得部、映像データ取得部、および三次元物品データ取得を備える。
物品燃焼部１１ｅは例えば、合成映像表示部、合成映像変化部、および延焼部を備える。合成映像表示部は、映像データ取得部を含む。
物品燃焼部１１ｅは例えば、合成映像表示部、合成映像変化部、および延焼部を備える。合成映像表示部は、映像データ取得部を含む。
【0132】
記憶部１２は、プログラム格納部１２ａとデータ格納部１２ｂを備え、各種処理に必要なプログラムやデータを備える。
ＨＭＤ１０ａのプログラム格納部１２ａには、消火訓練ＭＲプログラムＰ１などを備え、本実施形態に係る消火訓練ＭＲシステム１を動作させるためのソフトウェア（アプリケーションソフトウェア）が格納（インストール）されており、当該ソフトウェアの機能により、プロセッサ１１１が各種処理を実行する。
消火訓練ＭＲシステム１を動作させるためのソフトウェアは、消火訓練ＭＲプログラムＰ１のほか、ＨＭＤ１０ａが備える機器を制御するための制御プログラム、例えば通信制御部１３を制御する通信制御プログラムなどを含む。
ＨＭＤ１０ａのプログラム格納部１２ａには、消火訓練ＭＲプログラムＰ１などを備え、本実施形態に係る消火訓練ＭＲシステム１を動作させるためのソフトウェア（アプリケーションソフトウェア）が格納（インストール）されており、当該ソフトウェアの機能により、プロセッサ１１１が各種処理を実行する。
消火訓練ＭＲシステム１を動作させるためのソフトウェアは、消火訓練ＭＲプログラムＰ１のほか、ＨＭＤ１０ａが備える機器を制御するための制御プログラム、例えば通信制御部１３を制御する通信制御プログラムなどを含む。
【0133】
また、一のプログラムは、別のプログラムを含んでいてもよい。例えば本実施形態において、消火訓練ＭＲプログラムＰ１は、環境データ取得プログラムＰ１１や物品情報取得プログラムＰ１２などを含む。
【0134】
通信制御部１３は、ＨＭＤ１０ａと、外部にある端末との間で通信を行う装置である。
通信制御部１３により、ＨＭＤ１０ａとコントローラ２０は無線通信を行う。本実施形態において、ＨＭＤ１０ａとコントローラ２０はブルートゥース（登録商標）で通信を行う。
このほか、通信制御部１３は、ＨＭＤ１０ａがインターネットなどのネットワークと通信する場合にも使用される。
通信制御部１３により、ＨＭＤ１０ａとコントローラ２０は無線通信を行う。本実施形態において、ＨＭＤ１０ａとコントローラ２０はブルートゥース（登録商標）で通信を行う。
このほか、通信制御部１３は、ＨＭＤ１０ａがインターネットなどのネットワークと通信する場合にも使用される。
【0135】
入力部１４は、センサ１４１と撮像装置１４２を備える。
本実施形態のＨＭＤ１０ａは、センサ１４１として測距センサ１４１ａを備える。測距センサ１４１ａはＨＭＤ１０ａ周辺の三次元データを取得するためのセンサである。本実施形態において、測距センサ１４１ａは赤外線による深度センサ（Depth Sensor）である。
ただし測距センサ１４１ａはこれに限られるものではなく、ミリ波レーダやLiDAR（Light Detection And Ranging）などであってもよい。
本実施形態のＨＭＤ１０ａは、センサ１４１として測距センサ１４１ａを備える。測距センサ１４１ａはＨＭＤ１０ａ周辺の三次元データを取得するためのセンサである。本実施形態において、測距センサ１４１ａは赤外線による深度センサ（Depth Sensor）である。
ただし測距センサ１４１ａはこれに限られるものではなく、ミリ波レーダやLiDAR（Light Detection And Ranging）などであってもよい。
【0136】
ここでＨＭＤ１０ａは、位置や向き、傾きを検出する装置を備える。
このような装置として例えば加速度センサやジャイロセンサ、地磁気センサによる慣性測定装置（Inertial Measurement Unit（IMU））が挙げられる。ただしこれに限られるものではなく、さらに赤外光LEDと赤外光カメラ、可視光LEDと可視光カメラ、または赤外光レーザエミッタなどを用いた検出装置を備えていてもよい。
このような機能を実現する装置はその動作により、入力部１４に属するものも、出力部１５に属するものもあり得る。
このような装置として例えば加速度センサやジャイロセンサ、地磁気センサによる慣性測定装置（Inertial Measurement Unit（IMU））が挙げられる。ただしこれに限られるものではなく、さらに赤外光LEDと赤外光カメラ、可視光LEDと可視光カメラ、または赤外光レーザエミッタなどを用いた検出装置を備えていてもよい。
このような機能を実現する装置はその動作により、入力部１４に属するものも、出力部１５に属するものもあり得る。
【0137】
なおセンサ１４１は上記のほか、周辺の温度を測る温度センサや湿度を測る湿度センサなどの環境センサを備えていてもよい。
【0138】
撮像装置１４２は、ＨＭＤ１０ａ外部の映像を取得するためのカメラである。撮像装置１４２は、測距センサ１４１ａによる三次元データに重ねるための映像を撮影する。
また撮像装置１４２は、ハンドトラッキング機能を実現する。すなわち、撮像装置１４２はユーザの手を認識し、プロセッサ１１１はその位置をＭＲ空間のアバターの手に反映させる。
このほか、撮像装置１４２はＨＭＤ１０ａのトラッキングを行うために使用されてもよい（インサイドアウト方式）。
また撮像装置１４２は、ハンドトラッキング機能を実現する。すなわち、撮像装置１４２はユーザの手を認識し、プロセッサ１１１はその位置をＭＲ空間のアバターの手に反映させる。
このほか、撮像装置１４２はＨＭＤ１０ａのトラッキングを行うために使用されてもよい（インサイドアウト方式）。
【0139】
上述したもののほか、本実施形態のＨＭＤ１０ａは入力部１４として、視線追跡機能（アイトラッキング機能）を実現するための眼球撮影用カメラ（近赤外線カメラ）や、頭や首の動きを捉える機能（ヘッドトラッキング機能）を実現するためのセンサなど、公知のヘッドマウントディスプレイが備えるセンサや撮像装置を備える。
【0140】
出力部１５は、表示部１５１とスピーカ１５２を備える。
表示部１５１は、ＨＭＤ１０ａが備えるディスプレイである。表示部１５１はＨＭＤ１０ａを装着しているユーザの眼前に配設される。これによりユーザは、あたかも眼前で火事が起こっているかのような体験をすることができる。
表示部１５１は例えば、１．ユーザーインターフェースの項で説明した映像などを表示する。つまり、パススルー映像、エフェクトなどの視覚効果、ポインタ、設定に係る情報などを表示する。
表示部１５１は、ＨＭＤ１０ａが備えるディスプレイである。表示部１５１はＨＭＤ１０ａを装着しているユーザの眼前に配設される。これによりユーザは、あたかも眼前で火事が起こっているかのような体験をすることができる。
表示部１５１は例えば、１．ユーザーインターフェースの項で説明した映像などを表示する。つまり、パススルー映像、エフェクトなどの視覚効果、ポインタ、設定に係る情報などを表示する。
【0141】
スピーカ１５２はＨＭＤ１０ａをユーザが装着しているときにユーザの耳の近くに配設される音声出力装置である。
本実施形態において、炎エフェクトが表示されているときにスピーカ１５２は物が燃えている音を出力する。
本実施形態において、炎エフェクトが表示されているときにスピーカ１５２は物が燃えている音を出力する。
【0142】
上記のほか、ＨＭＤ１０ａは、マイクのような音声入力部や、命令やデータの入力を行うための入力部（例えばボタンや）、情報を何らかの形で出力するための出力部（例えば振動装置）などを備えていてもよい（不図示）。また、各種機器を接続するための入出力インターフェースを備えていてもよい。このほか、本実施形態の用途のために追加的に必要な装置や、本実施形態の用途について利便性を向上させるための装置を備えていてもよい。
【0143】
＜コントローラ２０＞
コントローラ２０は、消火訓練ＭＲプログラムＰ１を実行するためのコンピュータを備える。
図１５に示すように、コントローラ２０は、制御部２１、記憶部２２、通信制御部２３、入力部２４を備える。以下において、すでにした説明と重複する部分の説明は省略する。
通信制御部２３は、ＨＭＤ１０ａと通信をするための装置である。
コントローラ２０は、消火訓練ＭＲプログラムＰ１を実行するためのコンピュータを備える。
図１５に示すように、コントローラ２０は、制御部２１、記憶部２２、通信制御部２３、入力部２４を備える。以下において、すでにした説明と重複する部分の説明は省略する。
通信制御部２３は、ＨＭＤ１０ａと通信をするための装置である。
【0144】
入力部２４は、センサ２４１とボタン２４２を備える。
センサ２４１はコントローラ２０の位置や向き、傾きを検出するためのセンサである。慣性測定装置については説明済みであるため、説明を省略する。
センサ２４１はコントローラ２０の位置や向き、傾きを検出するためのセンサである。慣性測定装置については説明済みであるため、説明を省略する。
【0145】
本実施形態のコントローラ２０は、ボタン２４２としてトリガーボタンやグリップボタンを備える。これらは例えばユーザなどがコントローラ２０を把持しているときに、トリガーボタンは主に人差し指で操作するボタンであり、グリップボタンは主に中指で操作するボタンである。
本実施形態において、訓練終了判定処理中にユーザがトリガーを引くこと（トリガーボタンの操作）が消火器のレバー操作に相当し、同処理における消火薬剤の散布操作となる。
本実施形態において、訓練終了判定処理中にユーザがトリガーを引くこと（トリガーボタンの操作）が消火器のレバー操作に相当し、同処理における消火薬剤の散布操作となる。
【0146】
上記のほか、コントローラ２０はセンサ２４１として握力センサを備えるものであってもよい。この場合、ある程度以上の力でコントローラ２０握った時に入力信号が送信されるため、消火器のレバー操作により近い体験を可能にする。
【0147】
コントローラ２０は出力部２５として、振動装置２５１を備える。
本実施形態において、ユーザがトリガーを引くと、ノズルを掴む役割の側のコントローラ２０が振動する。これにより、よりリアルな体験を提供することができる。
なお、ユーザによるコントローラ２０のトリガー操作は、ＨＭＤ１０ａにおいて入力として認識される。この入力を受けてＨＭＤ１０ａの制御部１１は、コントローラ２０を振動させる。
本実施形態において、ユーザがトリガーを引くと、ノズルを掴む役割の側のコントローラ２０が振動する。これにより、よりリアルな体験を提供することができる。
なお、ユーザによるコントローラ２０のトリガー操作は、ＨＭＤ１０ａにおいて入力として認識される。この入力を受けてＨＭＤ１０ａの制御部１１は、コントローラ２０を振動させる。
【0148】
図１５（ハードウェア構成図）に示すように、本実施形態の消火訓練ＭＲシステム１は少なくともＨＭＤ１０ａとコントローラ２０を備えるが、さらに外部サーバと通信を行ってもよく、この外部サーバを含むシステムとしてもよい。
【0149】
図１６は、ＨＭＤ１０ａがネットワークを通じた通信を行う場合における、消火訓練ＭＲシステム１のネットワーク構成図である。
ＨＭＤ１０ａとサーバ３０は、ネットワークＮを介して接続されている。ネットワークＮは例えばインターネットなどである。
ＨＭＤ１０ａとサーバ３０は、ネットワークＮを介して接続されている。ネットワークＮは例えばインターネットなどである。
【0150】
＜サーバ３０＞
サーバ３０は、消火訓練ＭＲプログラムＰ１の各種機能を補助するためのコンピュータである。
サーバ３０は、データの保存や、ＨＭＤ１０ａなどが使用する各種プログラムの更新などを行う。例えば、サーバ３０は消火訓練ＭＲプログラムＰ１による消火訓練の結果を保存し、後日閲覧可能とする。
サーバ３０は、消火訓練ＭＲプログラムＰ１の各種機能を補助するためのコンピュータである。
サーバ３０は、データの保存や、ＨＭＤ１０ａなどが使用する各種プログラムの更新などを行う。例えば、サーバ３０は消火訓練ＭＲプログラムＰ１による消火訓練の結果を保存し、後日閲覧可能とする。
【0151】
なお、図１６においてサーバ３０は１台のみ図示しているが、数は１台に限られるものではなく、複数のサーバにより実現してもよい。
例えば、負荷分散や可用性の観点から、複数のサーバを用いることも考えられる。
サーバ３０はクラウドサービス事業者のコンピュータを利用するものであってもよいし、ユーザがコンピュータを用意してもよい。
例えば、負荷分散や可用性の観点から、複数のサーバを用いることも考えられる。
サーバ３０はクラウドサービス事業者のコンピュータを利用するものであってもよいし、ユーザがコンピュータを用意してもよい。
【0152】
図１６に示すように、サーバ３０は少なくとも制御部、記憶部、および通信制御部を備える。すでに説明した事項と重複するものは省略する。
【0153】
（コンピュータの基本的機能に係る説明）
以下、制御部（プロセッサ、ＲＯＭ、ＲＡＭ、計時部）、記憶部、通信制御部、入力部、および出力部について説明する。
なお、本実施形態のいずれの端末においても、機能部間の接続態様（ネットワークトポロジ）は特に限定されない。例えばバス型であってもよいし、スター型、メッシュ型などであってもよい。
以下、制御部（プロセッサ、ＲＯＭ、ＲＡＭ、計時部）、記憶部、通信制御部、入力部、および出力部について説明する。
なお、本実施形態のいずれの端末においても、機能部間の接続態様（ネットワークトポロジ）は特に限定されない。例えばバス型であってもよいし、スター型、メッシュ型などであってもよい。
【0154】
プロセッサは、ＲＯＭや記憶部などに記憶されたプログラムに従って、情報処理や各種装置の制御を行う。本実施形態において、プロセッサはＣＰＵ（Central Processing Unit）である。
【0155】
ただし、プロセッサはＣＰＵに限られない。ＣＰＵ、ＤＳＰ（Digital Signal Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General Purpose computing on GPU）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field Programmable Gate Array）など、各種プロセッサを単独で、あるいは組み合わせて用いてもよい。
例えば、ＣＰＵとＧＰＵを統合したプロセッサはＡＰＵ（Accelerated Processing Unit）などと呼ばれるが、このようなプロセッサを用いてもよい。
例えば、ＣＰＵとＧＰＵを統合したプロセッサはＡＰＵ（Accelerated Processing Unit）などと呼ばれるが、このようなプロセッサを用いてもよい。
【0156】
ＲＯＭは、プロセッサが各種制御や演算を行うための各種プログラムやデータがあらかじめ格納された、リードオンリーメモリである。
【0157】
ＲＡＭは、プロセッサにワーキングメモリとして使用されるランダムアクセスメモリである。このＲＡＭには、本実施形態の各種処理を行うための各種エリアが確保可能になっている。
【0158】
計時部は、時間情報の取得などに係る計時処理を行う。コンピュータが通信制御部を備える場合は、ＮＴＰ（Network Time Protocol・ネットワークタイムプロトコル）により外部から時間情報を取得してもよい。
【0159】
記憶部は、プログラムやデータなどの情報を記憶するための装置である。記憶部はストレージとも称する。記憶部は内蔵型か、外付型かを問わない。
【0160】
記憶部は、データの読み書きが可能な記憶媒体と、当該記憶媒体に読み書きするドライブとを含む。
記憶媒体は例えば、内蔵型や外付型があり、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、フラッシュメモリなどが挙げられる。
ドライブは例えば、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）などが挙げられる。
記憶媒体は例えば、内蔵型や外付型があり、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、フラッシュメモリなどが挙げられる。
ドライブは例えば、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）などが挙げられる。
【0161】
記憶部は、機能部としてプログラム格納部とデータ格納部を備える。
プログラム格納部には、各種機器を制御するための制御プログラム、例えば通信を制御する通信制御プログラムなどが格納されている。
プログラム格納部には、各種機器を制御するための制御プログラム、例えば通信を制御する通信制御プログラムなどが格納されている。
【0162】
通信制御部は、端末などの間で通信を行うための装置である。通信制御部は、例えば当該通信制御部を備える端末をネットワークＮに接続する。
【0163】
通信制御部の通信方式は公知の方式であり、機器に応じて有線による方式や無線による方式が適用される。
【0164】
有線であれば、例えばＩＥＥＥ８０２．３（例えばバス型やスター型の有線ＬＡＮ）で規定される通信方式を好適に用いることができるが、それ以外にも、ＩＥＥＥ８０２．５（例えばリング型の有線ＬＡＮ）で規定される通信方式などを用いてもよい。
【0165】
無線であれば、例えばＩＥＥＥ８０２．１１（例えばＷｉ－Ｆｉ）で規定される通信方式を好適に用いることができるが、それ以外にも、ＩＥＥＥ８０２．１５（例えばブルートゥース（登録商標）、ＢＬＥ（ブルートゥース（登録商標）ローエナジー）など）、ＩＥＥＥ８０２．１６（例えばＷｉＭＡＸ（登録商標））、または赤外線通信などの光通信で規定される通信方式などを用いてもよい。
【0166】
入力部および出力部は、それぞれ端末に対する入力と出力を担う装置である。入力部および出力部をあわせて入出力部と称する場合がある。
入力部はユーザからの入力を受け付ける装置である。このような入力部として例えば、キーボード、ポインティングデバイスとしてのマウス、トラックパッド、タブレット、またはタッチパネルなどが挙げられる。
入力部はユーザからの入力を受け付ける装置である。このような入力部として例えば、キーボード、ポインティングデバイスとしてのマウス、トラックパッド、タブレット、またはタッチパネルなどが挙げられる。
【0167】
端末がタブレットやスマートフォンなどであって、入力部がタッチパネルの場合、入力部はタッチスクリーンなど、画像などを表示する表示部の表面に配置される。この場合、入力部は、表示部に表示される各種操作アイコンに対応したユーザのタッチ位置を特定し、ユーザによる入力を受け付ける。
【0168】
出力部は例えば、画像や音声、帳票などを出力するための装置である。
出力部として例えば、タッチスクリーンやディスプレイ（液晶ディスプレイや有機ＥＬディスプレイ）などの表示装置や、スピーカなどの音声出力装置、プリンタなどの帳票出力装置が挙げられる。
出力部として例えば、タッチスクリーンやディスプレイ（液晶ディスプレイや有機ＥＬディスプレイ）などの表示装置や、スピーカなどの音声出力装置、プリンタなどの帳票出力装置が挙げられる。
【0169】
以上のような構成により、消火訓練ＭＲシステム１において、ユーザはＨＭＤ１０ａを装着し、またコントローラ２０を用いて操作するため、消火訓練に際し、よりリアルな訓練を行うことができ、いわゆる没入感が得られるという利点がある。
【0170】
（変形例）
本発明は上述の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において、上述の実施形態に種々の変更を加えたものを含む。
本発明は上述の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において、上述の実施形態に種々の変更を加えたものを含む。
【0171】
上述した実施形態では、燃焼中の物品（物品Ａ）から延焼を受ける物品（物品Ｂ）までの距離や、延焼条件を満たしてから延焼するまでの時間が一定であった。
ただしこれに限られるものではなく、例えば物品ごとに延焼条件が設定されており、その延焼条件を満たした場合に延焼が起こる（物品燃焼処理が開始する）ようにしてもよい。
延焼条件として例えば、「物品Ａからの距離×炎に晒されている時間×燃焼速さ（係数）」が一定以上になった場合に延焼するようにしてもよい。
この場合、燃焼速さは係数であり、燃焼速さが高の場合は５、中の場合は３、低の場合は１、などである。
このほか、温度、湿度、などが延焼条件に含まれていてもよい。例えば、上記の式に湿度の逆数を掛け合わせ、湿度が高いほど延焼しにくくなる、などとしてもよい。
ただしこれに限られるものではなく、例えば物品ごとに延焼条件が設定されており、その延焼条件を満たした場合に延焼が起こる（物品燃焼処理が開始する）ようにしてもよい。
延焼条件として例えば、「物品Ａからの距離×炎に晒されている時間×燃焼速さ（係数）」が一定以上になった場合に延焼するようにしてもよい。
この場合、燃焼速さは係数であり、燃焼速さが高の場合は５、中の場合は３、低の場合は１、などである。
このほか、温度、湿度、などが延焼条件に含まれていてもよい。例えば、上記の式に湿度の逆数を掛け合わせ、湿度が高いほど延焼しにくくなる、などとしてもよい。
【0172】
上述した実施形態において、ＨＭＤ１０ａは測距センサ１４１ａおよび撮像装置１４２を備えていた。しかし、ＨＭＤ１０ａが必ずしも測距センサ１４１ａまたは撮像装置１４２を備えている必要はなく、ＨＭＤ１０ａとは別の外部装置が測距センサ１４１ａまたは撮像装置１４２を備えていてもよい。この場合、ＨＭＤ１０ａは当該外部の測距センサ１４１ａから三次元データを取得し、また外部の撮像装置１４２から映像を取得してもよい。
ただし、精度等の観点から、ＨＭＤ１０ａが測距センサ１４１ａおよび撮像装置１４２を備えていることが好ましい。
ただし、精度等の観点から、ＨＭＤ１０ａが測距センサ１４１ａおよび撮像装置１４２を備えていることが好ましい。
【0173】
本実施形態を含む本発明の態様は、換言すると以下の特徴を備える。下記は本願出願時における特許請求の範囲と対応する。ただし、出願後における特許請求の範囲の補正により、当該補正後の特許請求の範囲の記載とは異なる場合がある。
（１）第１の態様では、コンピュータを、環境データ取得手段、物品情報取得手段、および物品燃焼手段として機能させ、
前記環境データ取得手段は、測距センサによる三次元データを取得する三次元データ取得手段、および、前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得手段、を備え、
前記物品情報取得手段は、前記三次元物品データを取得している物品の設定情報を受け付ける物品情報取得手段であり、
前記物品燃焼手段は、撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示手段、および、ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化手段、を備え、
前記設定情報が、前記三次元物品データを取得している物品のうち少なくとも一つをユーザの入力により発火点とする発火点情報を含むことを特徴とする、消火訓練ＭＲプログラムを提供する。
（２）第２の態様では、前記設定情報が、さらに前記三次元物品データを取得している物品の可燃非可燃情報を含むことを特徴とする、第１の態様に記載の消火訓練ＭＲプログラムを提供する。
この場合、ＨＭＤ１０ａが取得している物品オブジェクトのそれぞれについて可燃・非可燃を設定できるため、例えば延焼のしやすさなどをユーザが設定できるという利点がある。またこれにより例えば、起こり得る火災よりもより厳しい火災被害が生じる場合のシミュレーションをすることができるという利点がある。
（３）第３の態様では、前記設定情報が、さらに前記三次元物品データを取得している物品の各辺の長さ情報を含むことを特徴とする、
第１の態様に記載の消火訓練ＭＲプログラムを提供する。
この場合、物品の体積を算出でき、体積の大きい物品が消火しにくいなどの状況を再現できるため、よりリアルな消火訓練体験をユーザに提供することができる。
（４）第４の態様では、前記設定情報が、さらに前記三次元物品データを取得している物品の燃焼速さ情報を含むことを特徴とする、第１の態様に記載の消火訓練ＭＲプログラムを提供する。
この場合、物品オブジェクトのそれぞれについて燃焼のしやすさを設定できるため、例えば延焼のしやすさ、火災の広がりやすさなどをユーザが設定できるという利点がある。第２の態様と同様に、より厳しい火災被害が生じる場合のシミュレーションをすることができるという利点がある。
（５）第５の態様では、前記物品燃焼手段が、さらに、前記燃焼している物品から一定の距離内に別の物品がある場合、当該別の物品が燃焼する延焼手段を備えることを特徴とする、第１の態様に記載の消火訓練ＭＲプログラムを提供する。
この場合、単一の物品の消火だけを体験する消火訓練に比べ、よりリアルな消火訓練を体験することができる。つまり、火災は延焼によりその被害が拡大するが、この被害拡大を含めたシミュレーションを行うことができる。実際に物品を燃焼させ、本物の消火器を用いて消火する消火訓練は、単一の物品を燃焼させて訓練することが多く、延焼を体験することは多くないと考えられる。よって、このような延焼を含めて体験できることは、訓練として特に有用である。
（６）第６の態様では、環境データ取得部、物品情報取得部、および物品燃焼部を備え、
前記環境データ取得部は、測距センサによる三次元データを取得する三次元データ取得部、および、前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得部、を備え、
前記物品情報取得部は、前記三次元物品データを取得している物品の設定情報を受け付ける物品情報取得部であり、
前記物品燃焼部は、撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示部、および、ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化部、を備え、
前記設定情報が、前記三次元物品データを取得している物品のうち少なくとも一つをユーザの入力により発火点とする発火点情報を含むことを特徴とする、消火訓練ＭＲシステムを提供する。
（１）第１の態様では、コンピュータを、環境データ取得手段、物品情報取得手段、および物品燃焼手段として機能させ、
前記環境データ取得手段は、測距センサによる三次元データを取得する三次元データ取得手段、および、前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得手段、を備え、
前記物品情報取得手段は、前記三次元物品データを取得している物品の設定情報を受け付ける物品情報取得手段であり、
前記物品燃焼手段は、撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示手段、および、ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化手段、を備え、
前記設定情報が、前記三次元物品データを取得している物品のうち少なくとも一つをユーザの入力により発火点とする発火点情報を含むことを特徴とする、消火訓練ＭＲプログラムを提供する。
（２）第２の態様では、前記設定情報が、さらに前記三次元物品データを取得している物品の可燃非可燃情報を含むことを特徴とする、第１の態様に記載の消火訓練ＭＲプログラムを提供する。
この場合、ＨＭＤ１０ａが取得している物品オブジェクトのそれぞれについて可燃・非可燃を設定できるため、例えば延焼のしやすさなどをユーザが設定できるという利点がある。またこれにより例えば、起こり得る火災よりもより厳しい火災被害が生じる場合のシミュレーションをすることができるという利点がある。
（３）第３の態様では、前記設定情報が、さらに前記三次元物品データを取得している物品の各辺の長さ情報を含むことを特徴とする、
第１の態様に記載の消火訓練ＭＲプログラムを提供する。
この場合、物品の体積を算出でき、体積の大きい物品が消火しにくいなどの状況を再現できるため、よりリアルな消火訓練体験をユーザに提供することができる。
（４）第４の態様では、前記設定情報が、さらに前記三次元物品データを取得している物品の燃焼速さ情報を含むことを特徴とする、第１の態様に記載の消火訓練ＭＲプログラムを提供する。
この場合、物品オブジェクトのそれぞれについて燃焼のしやすさを設定できるため、例えば延焼のしやすさ、火災の広がりやすさなどをユーザが設定できるという利点がある。第２の態様と同様に、より厳しい火災被害が生じる場合のシミュレーションをすることができるという利点がある。
（５）第５の態様では、前記物品燃焼手段が、さらに、前記燃焼している物品から一定の距離内に別の物品がある場合、当該別の物品が燃焼する延焼手段を備えることを特徴とする、第１の態様に記載の消火訓練ＭＲプログラムを提供する。
この場合、単一の物品の消火だけを体験する消火訓練に比べ、よりリアルな消火訓練を体験することができる。つまり、火災は延焼によりその被害が拡大するが、この被害拡大を含めたシミュレーションを行うことができる。実際に物品を燃焼させ、本物の消火器を用いて消火する消火訓練は、単一の物品を燃焼させて訓練することが多く、延焼を体験することは多くないと考えられる。よって、このような延焼を含めて体験できることは、訓練として特に有用である。
（６）第６の態様では、環境データ取得部、物品情報取得部、および物品燃焼部を備え、
前記環境データ取得部は、測距センサによる三次元データを取得する三次元データ取得部、および、前記三次元データのうち、ユーザの選択により、物品の三次元データを三次元物品データとして取得する三次元物品データ取得部、を備え、
前記物品情報取得部は、前記三次元物品データを取得している物品の設定情報を受け付ける物品情報取得部であり、
前記物品燃焼部は、撮像装置による映像データおよび前記三次元物品データから、燃焼している物品に係る合成映像をユーザ端末の表示部に表示する合成映像表示部、および、ユーザが操作するコントローラの情報を取得して前記合成映像を変化させる合成映像変化部、を備え、
前記設定情報が、前記三次元物品データを取得している物品のうち少なくとも一つをユーザの入力により発火点とする発火点情報を含むことを特徴とする、消火訓練ＭＲシステムを提供する。
【産業上の利用可能性】
【0174】
屋内、屋外を問わず、防災訓練用途に適用できる。
【符号の説明】
【0175】
１ 消火訓練ＭＲシステム
１０ ユーザ端末
１０ａ ヘッドマウントディスプレイ（ＨＭＤ）
１１ 制御部
１１ａ 消火訓練ＭＲ部
１１ｂ 環境データ取得部
１１ｃ 物品情報取得部
１１ｄ 訓練終了判定部
１１ｅ 物品燃焼部
１１ｆ 消火器操作部
１１１ プロセッサ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ 計時部
１２ 記憶部
１２ａ プログラム格納部
１２ｂ データ格納部
１３ 通信制御部
１４ 入力部
１４１ センサ
１４１ａ 測距センサ
１４２ 撮像装置
１５ 出力部
１５１ 表示部
１５２ スピーカ
２０ コントローラ
２０Ｌ 左側コントローラ
２０Ｒ 右側コントローラ
２１ 制御部
２２ 記憶部
２３ 通信制御部
２４ 入力部
２４１ センサ
２４２ ボタン
２５ 出力部
２５１ 振動装置
３０ サーバ
Ｕ ユーザ
Ｒ 空間（部屋）
Ｐ 物品
ＵＩ－Ｆ 炎エフェクト
ＵＩ－Ｅ 消火器オブジェクト
ＵＩ－Ｇ ガイド
ＵＩ－Ａ アバター
ＵＩ－Ｃ 消火薬剤エフェクト
Ｐ１ 消火訓練ＭＲプログラム
Ｐ１１ 環境データ取得プログラム
Ｐ１２ 物品情報取得プログラム
Ｐ１３ 訓練終了判定プログラム
Ｐ１４ 物品燃焼プログラム
Ｐ１５ 消火器操作プログラム
Ｄ１０ 三次元データベース
Ｄ２０ 物品データベース
Ｄ２０ 消火薬剤データベース
１０ ユーザ端末
１０ａ ヘッドマウントディスプレイ（ＨＭＤ）
１１ 制御部
１１ａ 消火訓練ＭＲ部
１１ｂ 環境データ取得部
１１ｃ 物品情報取得部
１１ｄ 訓練終了判定部
１１ｅ 物品燃焼部
１１ｆ 消火器操作部
１１１ プロセッサ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ 計時部
１２ 記憶部
１２ａ プログラム格納部
１２ｂ データ格納部
１３ 通信制御部
１４ 入力部
１４１ センサ
１４１ａ 測距センサ
１４２ 撮像装置
１５ 出力部
１５１ 表示部
１５２ スピーカ
２０ コントローラ
２０Ｌ 左側コントローラ
２０Ｒ 右側コントローラ
２１ 制御部
２２ 記憶部
２３ 通信制御部
２４ 入力部
２４１ センサ
２４２ ボタン
２５ 出力部
２５１ 振動装置
３０ サーバ
Ｕ ユーザ
Ｒ 空間（部屋）
Ｐ 物品
ＵＩ－Ｆ 炎エフェクト
ＵＩ－Ｅ 消火器オブジェクト
ＵＩ－Ｇ ガイド
ＵＩ－Ａ アバター
ＵＩ－Ｃ 消火薬剤エフェクト
Ｐ１ 消火訓練ＭＲプログラム
Ｐ１１ 環境データ取得プログラム
Ｐ１２ 物品情報取得プログラム
Ｐ１３ 訓練終了判定プログラム
Ｐ１４ 物品燃焼プログラム
Ｐ１５ 消火器操作プログラム
Ｄ１０ 三次元データベース
Ｄ２０ 物品データベース
Ｄ２０ 消火薬剤データベース
【要約】
【課題】ユーザのいる環境を周囲の物品等を含め再現し、かつそれらの物品の中から発火点を設定することができる消火訓練シミュレータを構築する。
【解決手段】消火訓練ＭＲシステム１は、ＨＭＤ１０ａ周辺の三次元データを取得する。この三次元データのうち、消火訓練ＭＲシステム１ではユーザの選択により、家具やオフィス器具等を物品として設定することができ、さらに個々の物品に対し、可燃・非可燃の別や発火点を設定できる。物品単位で燃焼の再現が可能であり、かつ炎の延焼も再現できる。これらの設定のもと、物品オブジェクトに炎エフェクトを重ねることにより、リアルな消火訓練シミュレータを提供することができる。
【選択図】図１
【解決手段】消火訓練ＭＲシステム１は、ＨＭＤ１０ａ周辺の三次元データを取得する。この三次元データのうち、消火訓練ＭＲシステム１ではユーザの選択により、家具やオフィス器具等を物品として設定することができ、さらに個々の物品に対し、可燃・非可燃の別や発火点を設定できる。物品単位で燃焼の再現が可能であり、かつ炎の延焼も再現できる。これらの設定のもと、物品オブジェクトに炎エフェクトを重ねることにより、リアルな消火訓練シミュレータを提供することができる。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】