特開 2023-123913 情報処理装置、情報処理システム、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023123913

(43)【公開日】2023-09-06

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230830BHJP

   G08B 23/00 20060101ALI20230830BHJP

   G08B 25/14 20060101ALI20230830BHJP

   H04M 11/04 20060101ALI20230830BHJP

【ＦＩ】

G06F3/01 510

G08B23/00 510Z

G08B25/14 Z

H04M11/04

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022027386

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】中溝 祐樹

【テーマコード（参考）】

5C087

5E555

5K201

【Ｆターム（参考）】

5C087AA02

5C087AA03

5C087AA09

5C087AA10

5C087AA21

5C087BB20

5C087BB64

5C087DD02

5C087DD04

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG66

5C087GG83

5E555AA41

5E555BA22

5E555BA38

5E555BB38

5E555BC01

5E555CA42

5E555CA44

5E555CA45

5E555CA46

5E555CA47

5E555CB21

5E555CB66

5E555CB82

5E555CC26

5E555DA08

5E555DA09

5E555DB53

5E555DC09

5E555DC19

5E555DD01

5E555FA00

5K201AA05

5K201BA03

5K201BA20

5K201CA04

5K201CC01

5K201CC04

5K201DC05

5K201EB07

5K201EC06

5K201ED04

5K201EF04

5K201EF10

(57)【要約】

【課題】緊急通報に応じた指令業務において指令業務の精度をさらに向上させる、新規かつ改良された技術を提供する。
【解決手段】緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成し、前記仮想オブジェクトを装着型ディスプレイに表示させ、検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行う、出力制御部を備える、情報処理装置が提供される。
【選択図】図４

【特許請求の範囲】

【請求項1】

緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成し、
前記仮想オブジェクトを装着型ディスプレイに表示させ、
検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行う、出力制御部を備える、情報処理装置。

【請求項2】

前記装着型ディスプレイは、ユーザが前記装着型ディスプレイを頭部に装着した状態で周囲の実空間を視認可能な光学透過型ディスプレイであり、
前記出力制御部は、前記仮想オブジェクトを、前記装着型ディスプレイにおいて実空間に重畳させて出力させる、
請求項１に記載の情報処理装置。

【請求項3】

前記出力制御部は、前記ユーザの操作、または、前記検出部により検出された前記ユーザの位置姿勢に基づき、前記仮想オブジェクトの表示を制御する、請求項１または２に記載の情報処理装置。

【請求項4】

前記出力制御部は、前記装着型ディスプレイにおける前記仮想オブジェクトの表示位置を、前記ユーザの位置姿勢の変化に対応して変化させる、請求項３に記載の情報処理装置。

【請求項5】

前記装着型ディスプレイにおける前記仮想オブジェクトの表示位置は、前記ユーザの位置姿勢の変化によって変化しない、請求項３に記載の情報処理装置。

【請求項6】

前記出力制御部は、前記ユーザによる所定の操作に基づいて、前記仮想オブジェクトの透過度を変化させる、
請求項１～５のいずれか一項に記載の情報処理装置。

【請求項7】

前記出力制御部は、前記ユーザによる所定の操作に基づいて、前記仮想オブジェクトの表示および非表示を切り替える、
請求項１～５のいずれか一項に記載の情報処理装置。

【請求項8】

センサにより検出された実空間における物体の特徴量を取得する取得部と、
前記物体の特徴量に基づき、前記物体が所定の物体であるか否かを判定する判定部をさらに備え、
前記出力制御部は、ユーザの向いている方向において前記所定の物体が検出されたことに基づいて、前記仮想オブジェクトの表示を変化させる、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項9】

前記指令内容に係る画像は、消防業務における指令内容、航空管制業務における指令内容、または、救助活動における指令内容のいずれかに係る画像である、請求項１～８のいずれか一項に記載の情報処理装置。

【請求項10】

前記出力制御部は、訓練用の指令内容に係る画像を仮想オブジェクトとしてさらに生成し、前記装着型ディスプレイに表示させる、請求項１～９のいずれか一項に記載の情報処理装置。

【請求項11】

緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成し、
前記仮想オブジェクトを装着型ディスプレイに表示させ、
検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行う、出力制御部を含む、情報処理システム。

【請求項12】

緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成することと、
前記仮想オブジェクトを装着型ディスプレイに表示させることと、
検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行うことと、を含む、コンピュータにより実行される情報処理方法。

【請求項13】

コンピュータを、
緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成し、
前記仮想オブジェクトを装着型ディスプレイに表示させ、
検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行う、出力制御部
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

近年、火災等の災害または救急要請等の緊急通報に応じ、緊急車両の出動または現場での活動を指令する指令業務、および、現場活動を支援する様々な技術が検討されている。例えば、消防活動においては、隊員に対し指令員が指令を行うための消防指令システムが利用されている。消防指令システムによれば、指令員が、緊急通報に係る情報の聴取、出動隊の編成、または、隊員への指令内容の作成等の業務を行うことが出来る。

【0003】

このような消防指令システムの一例として、特許文献１には、指令員が消防指令業務を行う際、災害地点が近い、または、発生した季節や災害種別が共通している、等の条件で抽出された過去の災害事案に係る情報を、出動指令書に含まれる地図情報に重ねて画面出力させるシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－００４５３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような消防指令システムでは、従来、指令員が３台または４台の複数のモニタ、ハードウェアキーボード、および、指令室に表示される大画面を交互に確認しながら指令業務を行う構成がとられている。このため、指令員は、複数のモニタとキーボード上で目線を移動しながら操作を行う必要があった。この点、さらに迅速かつ的確な指令業務を実現し、指令業務の精度を向上させるためには、消防指令システムにおける操作性の向上が望まれる。

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、緊急通報に応じた指令業務において指令業務の精度をさらに向上させる、新規かつ改良された技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成し、前記仮想オブジェクトを装着型ディスプレイに表示させ、検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行う、出力制御部を備える、情報処理装置が提供される。

【0008】

前記装着型ディスプレイは、ユーザが前記装着型ディスプレイを頭部に装着した状態で周囲の実空間を視認可能な光学透過型ディスプレイであってもよく、前記出力制御部は、前記仮想オブジェクトを、前記装着型ディスプレイにおいて実空間に重畳させて出力させてもよい。

【0009】

前記出力制御部は、前記ユーザの操作、または、前記検出部により検出された前記ユーザの位置姿勢に基づき、前記仮想オブジェクトの表示を制御してもよい。

【0010】

前記出力制御部は、前記装着型ディスプレイにおける前記仮想オブジェクトの表示位置を、前記ユーザの位置姿勢の変化に対応して変化させてもよい。

【0011】

前記装着型ディスプレイにおける前記仮想オブジェクトの表示位置は、前記ユーザの位置姿勢の変化によって変化しなくてもよい。

【0012】

前記出力制御部は、前記ユーザによる所定の操作に基づいて、前記仮想オブジェクトの透過度を変化させてもよい。

【0013】

前記出力制御部は、前記ユーザによる所定の操作に基づいて、前記仮想オブジェクトの表示および非表示を切り替えてもよい。

【0014】

前記情報処理装置は、センサにより検出された実空間における物体の特徴量を取得する取得部と、前記物体の特徴量に基づき、前記物体が所定の物体であるか否かを判定する判定部をさらに備えていてもよく、前記出力制御部は、ユーザの向いている方向において前記所定の物体が検出されたことに基づいて、前記仮想オブジェクトの表示を変化させてもよい。

【0015】

前記指令内容に係る画像は、消防業務における指令内容、航空管制業務における指令内容、または、救助活動における指令内容のいずれかに係る画像であってもよい。

【0016】

前記出力制御部は、訓練用の指令内容に係る画像を仮想オブジェクトとしてさらに生成し、前記装着型ディスプレイに表示させてもよい。

【0017】

また、上記課題を解決するために、本発明の別の観点によれば、緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成し、前記仮想オブジェクトを装着型ディスプレイに表示させ、検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行う、出力制御部を含む、情報処理システムが提供される。

【0018】

また、上記課題を解決するために、本発明の別の観点によれば、緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成することと、前記仮想オブジェクトを装着型ディスプレイに表示させることと、検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行うことと、を含む、コンピュータにより実行される情報処理方法が提供される。

【0019】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、緊急通報に応じた指令内容に係る画像を仮想オブジェクトとして生成し、前記仮想オブジェクトを装着型ディスプレイに表示させ、検出部により検出されたユーザの操作を前記仮想オブジェクトに反映する制御を行う、出力制御部として機能させるためのプログラムが提供される。

【発明の効果】

【0020】

以上説明したように本発明によれば、緊急通報に応じた指令業務において指令業務の精度をさらに向上させることが可能である。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態による情報処理システム１の概要を説明する説明図である。

【図2】本実施形態による情報処理装置２０の機能構成例を示すブロック図である。

【図3】本実施形態による装着型ディスプレイ端末３０の機能構成例を示すブロック図である。

【図4】本実施形態による装着型ディスプレイ端末３０に表示される仮想オブジェクトの一例を示す説明図である。

【図5】本実施形態による情報処理システム１の動作例を示すフローチャート図である。

【図6】本実施形態による情報処理システム１の現場での活動終了までの隊員支援および情報共有における動作例を説明するフローチャート図である。

【図7】本発明の一実施形態による情報処理装置２０のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0022】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0023】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

【0024】

＜＜１．本発明の一実施形態による情報処理システムの概要＞＞
本発明の実施形態は、緊急通報に応じた指令業務において、指令員に対し通報内容に係る情報を提示し、また、通報内容に応じた指令を行うための機能を提供する、指令業務支援システムを、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実）ゴーグル等の装着型ディスプレイ端末を用いて実現する技術に関する。本実施形態では、本発明の適用先として、消防業務における指令業務に用いられる消防指令システムを例に説明する。なお、本発明の適用先は消防支援システムに限られない。例えば、本発明の適用先は、救急要請等の緊急通報に応じた指令業務支援システムであってもよいし、航空管制業務における航空管制システムであってもよい。なお、緊急通報とは、１１９番等の通報に限られず、現場と異なる位置に設置された指令室、または指令員に、緊急の対応方法の指示を仰ぐ内容の通報を広く含むことが出来る。

【0025】

図１は、本発明の一実施形態による情報処理システム１の概要を説明する説明図である。図１に示したように、情報処理システム１は、指令制御装置１０、情報処理装置２０、装着型ディスプレイ端末３０、大型表示盤４０、および、携帯端末５０を含む。指令制御装置１０と情報処理装置２０は、ネットワーク５により通信可能に構成されている。また、情報処理装置２０、装着型ディスプレイ端末３０Ａ、および、大型表示盤４０は、ネットワーク６を介して通信可能に構成されている。さらに、情報処理装置２０と装着型ディスプレイ端末３０Ｂは、ネットワーク７、および、携帯端末５０を介して、通信可能に構成されている。

【0026】

指令制御装置１０は、図示しない固定電話網の中継交換機、または、ＩＰ電話網の中継ルータと、電話回線又はＩＰ回線を通じて通信を行い、１１９番等の緊急通報を受電する電話交換機としての機能を有する。また、指令制御装置１０は、受電した電話を、ネットワーク５を介して情報処理装置２０に転送する。

【0027】

情報処理装置２０は、指令制御装置１０から緊急通報が転送されると、ネットワーク６を通じて、装着型ディスプレイ端末３０Ａに緊急通報の着信を通知する。情報処理装置２０は、通話が開始されると、装着型ディスプレイ端末３０Ａに当該通話音声を送信する。また、情報処理装置２０は、上記緊急通報の通話が開始されると、装着型ディスプレイ端末３０Ａに、消防指令に係る画面を表示させる制御を行う。より詳細には、情報処理装置２０は、消防指令に係る画面を仮想オブジェクトとして生成し、当該画面を仮想空間に配置して、さらに当該画面を装着型ディスプレイ端末３０Ａに表示させる制御を行う。

【0028】

装着型ディスプレイ端末３０は、ユーザの頭部に装着され、ユーザに仮想空間を提示する機能を有する。本実施形態では、装着型ディスプレイ端末３０は、情報処理装置２０の制御に従って、消防指令に係る画面の仮想オブジェクトが配置された仮想空間を表示する。図１に示した例では、指令室で消防指令を行う指令員ＵＯ１が、装着型ディスプレイ端末３０Ａを頭部に装着していることが理解される。また、現場にいる隊員ＵＭ１が、装着型ディスプレイ端末３０Ｂを頭部に装着していることが理解される。なお、指令員ＵＯ１および隊員ＵＭ１は、ユーザの一例である。以下、本明細書において、装着型ディスプレイ端末３０を装着しているユーザが指令員ＵＯ１であるか、隊員ＵＭ１であるかを特に区別する必要がない場合には、指令員ＵＯ１および隊員ＵＭ１を単にユーザとも称する。

【0029】

このような装着型ディスプレイ端末３０は、例えば、ユーザの眼に実空間が直接見える状態で当該実空間に仮想空間の情報である画像（仮想オブジェクト）を重畳的に表示することが可能な、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術、または、ＭＲ技術を実現する光学透過型ディスプレイにより実現される。この場合、装着型ディスプレイ端末３０は、メガネ型端末、または、ゴーグル型の端末であってもよい。

【0030】

または、装着型ディスプレイ端末３０は、ユーザの視界を表示部で覆う非透過型ディスプレイにより実現されてよい。この場合、情報処理装置２０は、３Ｄモデル等が配置された仮想空間内をユーザが任意の視点から視聴することが出来るＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を用いて、ユーザに消防指令に係る画面を表示してもよい。

【0031】

本実施形態では、装着型ディスプレイ端末３０が、ＭＲ技術を実現する光学透過型ディスプレイ端末である例を主に説明する。

【0032】

大型表示盤４０は、消防指令室等に設置される表示装置であり、情報処理装置２０の制御に従って、進行中の災害事案の情報、または、管轄車両の活動状況等の各種情報を表示する。大型表示盤４０により、指令室にいる指令員ＵＯ１を含む関係者は、同一の画面を同時に閲覧し、情報共有を行うことが出来る。また、情報処理装置２０は、大型表示盤４０に、装着型ディスプレイ端末３０Ａに表示されている画面の内容を表示させることもできる。

【0033】

携帯端末５０は、消防活動を行う現場で、消防活動を行う隊員ＵＭ１により利用される通信端末である。携帯端末５０は、例えば、テザリング機能を有するスマートフォン、または、無線ＬＡＮルータにより実現される。このような携帯端末５０は、無線ＬＡＮ通信のアクセスポイントとしての機能を有する。装着型ディスプレイ端末３０Ｂは、携帯端末５０と通信を行うことにより、携帯端末５０およびネットワーク７を介して、情報処理装置２０と通信を行うことが出来る。

【0034】

（課題の整理）
ここで、緊急通報に応じた指令業務の一例として、消防指令業務においては、消防指令システムが利用されている。消防指令システムによれば、指令員が実施する、緊急通報に係る情報の聴取、出動隊の編成、または、隊員への指令内容の作成等の、一連の指令業務を支援することが出来る。

【0035】

上記のような消防指令業務においては、通報があった災害地点の情報の他に、気象情報、交通状況、および、河川または消火栓の位置等の水利情報といった、様々な情報を確認しながら指令を行う必要がある。そのため、上記のような消防指令システムが実現されるハードウェア構成としては、従来、指令員が閲覧する３台または４台の複数のモニタと、ハードウェアキーボードと、指令室に表示される大型表示盤と、による構成がとられていた。この構成では、指令員は、複数のモニタ、キーボード、および、大型表示盤の間で目線を移動しながら、操作を行う必要があった。

【0036】

この点、緊急通報に応じた指令業務には迅速さが求められる。そのため、さらに迅速かつ的確な指令業務を実現し、指令業務の精度を向上させるためには、消防指令システムにおける操作性のさらなる向上が望まれる。

【0037】

そこで、本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、緊急通報に応じた指令業務において指令業務の精度をさらに向上させることが可能である。以下、このような本発明の実施形態による指令制御装置１０、情報処理装置２０、装着型ディスプレイ端末３０、大型表示盤４０、および、携帯端末５０の機能構成例および動作を、順次詳細に説明する。

【0038】

＜＜２．機能構成例＞＞
＜２－１．指令制御装置１０＞
指令制御装置１０は、図１を参照して上記説明したように、固定電話網の中継交換機、または、ＩＰ電話網の中継ルータと、電話回線又はＩＰ回線を通じて通信を行い、１１９番等の緊急通報を受電する、電話交換機としての機能を有する。また、指令制御装置１０は、受電した通話を、ネットワーク５を介して情報処理装置２０に転送する機能を有する。例えば、指令制御装置１０は、受電した通話の音声信号をＩＰパケットに変換し、当該ＩＰパケットを、ネットワーク５を介して情報処理装置２０に送信することにより、上記通話を情報処理装置２０に転送してもよい。

【0039】

＜２－２．情報処理装置２０＞
続いて、本実施形態による情報処理装置２０の機能構成例を説明する。図２は、本実施形態による情報処理装置２０の機能構成例を示すブロック図である。図２に示したように、情報処理装置２０は、通信部２１０、記憶部２２０、制御部２３０、および、操作部２４０としての機能を有する。

【0040】

（通信部２１０）
通信部２１０は、制御部２３０の制御に従って、他の装置とデータの送受信を行う機能を有する。例えば、通信部２１０は、指令制御装置１０と通信を行い、指令制御装置１０から転送された緊急通報の通話の音声データを受信する。また、通信部２１０は、装着型ディスプレイ端末３０Ａから、装着型ディスプレイ端末３０Ａにより検出された指令員ＵＯ１の操作の情報を受信する。

【0041】

（記憶部２２０）
記憶部２２０は、制御部２３０を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部２２０は、制御部２３０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってもよい。

【0042】

（制御部２３０）
制御部２３０は、情報処理装置２０における動作全般を制御する。例えば、制御部２３０は、通信部２１０と指令制御装置１０、装着型ディスプレイ端末３０、大型表示盤４０、および、携帯端末５０との通信を制御する。また、制御部２３０は、通信部２１０が指令制御装置１０から受信した緊急通報の通話の音声データを、装着型ディスプレイ端末３０に出力させる。このような制御部２３０は、出力制御部２３２としての機能を有する。

【0043】

出力制御部２３２は、仮想オブジェクトを生成し、仮想空間に配置して、装着型ディスプレイ端末３０に表示させる制御を行う機能を有する。例えば、出力制御部２３２は、指令制御装置１０から緊急通報の通話の音声データが転送されると、指令員ＵＯ１が消防指令を行うための情報を提示し、また、指令員ＵＯ１からの情報の入力を受け付ける、消防指令に係る画像の仮想オブジェクトを生成する。出力制御部２３２は、生成した仮想オブジェクトを仮想空間に配置し、装着型ディスプレイ端末３０Ａに表示させる。

【0044】

また、出力制御部２３２は、装着型ディスプレイ端末３０により検出されたユーザの操作およびユーザの位置姿勢に基づいて、仮想オブジェクトの表示を制御する。例えば、出力制御部２３２は、装着型ディスプレイ端末３０により検出されたユーザの操作を、上記仮想オブジェクトに反映させる制御を行う機能を有する。この構成により、指令員ＵＯ１は、装着型ディスプレイ端末３０Ａ上に表示される消防指令に係る画像の仮想オブジェクトを、手を使って、直感的または簡易なジェスチャーで操作することが可能となる。このような、出力制御部２３２による、指令員ＵＯ１の操作を仮想オブジェクトへ反映させる制御は、後に図４を参照してより詳細に説明する。

【0045】

また、出力制御部２３２は、ユーザの位置姿勢の変化に対応して、装着型ディスプレイ端末３０における仮想オブジェクトの表示位置を変化させる制御を行う。例えば、出力制御部２３２は、消防指令に係る画像の仮想オブジェクトを、仮想空間上のある一地点に配置する。出力制御部２３２は、ユーザの位置姿勢から、ユーザが仮想空間上でどの方角を向いているかを検出する。出力制御部２３２は、ユーザの向いている方角が、ユーザの視野に上記一地点が含まれないような方角に変化したことを検知すると、ユーザに表示される画面上で上記仮想オブジェクトが画面外へ徐々にフェードアウトするように、上記仮想オブジェクトの表示位置を変化させる。この時、上記仮想オブジェクトが配置される一地点は、実空間において大型表示盤４０と重ならない位置に設定されることが望ましい。この構成により、指令員ＵＯ１は、ある方角を向くことによって消防指令に係る画像の仮想オブジェクトを視認し、操作を行うことが出来る。また、指令員ＵＯ１は、消防指令業務を行っている間に、実空間にある大型表示盤４０を直接視認したい時には、大型表示盤４０の方角を向く動作を行うだけで上記仮想オブジェクトを非表示とすることが出来る。

【0046】

または、出力制御部２３２は、装着型ディスプレイ端末３０における仮想オブジェクトの表示位置を、ユーザの位置姿勢の変化によって変化させずに、指令員ＵＯ１が装着型ディスプレイ端末３０と大型表示盤４０それぞれを視認しやすいよう、装着型ディスプレイ端末３０への表示制御を行うこともできる。例えば、出力制御部２３２は、指令員ＵＯ１が所定のジェスチャー等の操作をしたことに基づいて、仮想オブジェクトの透過度を変化させてもよい。または、出力制御部２３２は、指令員ＵＯ１による所定の操作に基づいて、仮想オブジェクトの表示および非表示を切り替えてもよい。この構成により、指令員ＵＯ１が大型表示盤４０などの実空間のモニタを見たい時、または、他の指令員の顔を見て会話をしたい時等に、指令員ＵＯ１は、仮想オブジェクトの透過度を高く設定して、実空間を視認することが出来る。

【0047】

（操作部２４０）
操作部２４０は、情報処理装置２０の操作者が情報処理装置２０に指示または情報を入力するために操作する構成である。例えば、情報処理装置２０の操作者は、操作部２４０を操作することにより、装着型ディスプレイ端末３０Ａに表示されている画面の内容を大型表示盤４０に出力させる指示を入力することが出来る。制御部２３０は、操作部２４０から当該指示を受信すると、装着型ディスプレイ端末３０Ａに表示されている画面の内容を、大型表示盤４０にも表示させる。この構成により、指令員ＵＯ１がある災害事案について指令業務を行っている間に、必要に応じて、他の指令員にも上記災害事案の状況を共有することが出来る。また、指令員ＵＯ１一人では対応が困難な災害事案において、経験豊富な他の指令員に上記画面を共有して、指示を仰ぐことも出来る。

【0048】

＜２－３．装着型ディスプレイ端末３０＞
以上、図２を参照して、本実施形態による情報処理装置２０の機能構成例を説明した。続いて、図３を参照して、本実施形態による装着型ディスプレイ端末３０の機能構成例を説明する。

【0049】

図３は、本実施形態による装着型ディスプレイ端末３０の機能構成例を示すブロック図である。図３に示すように、装着型ディスプレイ端末３０は、通信部３１０、カメラ３２０、センサ部３４０、制御部３５０、表示部３６０、音出力部３７０、および、記憶部３９０を有する。本実施形態による装着型ディスプレイ端末３０は、一例として、ＭＲを提示し得るゴーグル型デバイス（光学透過型ディスプレイ）により実現され得る。

【0050】

（通信部３１０）
通信部３１０は、制御部３５０の制御に従って、他の装置とデータの送受信を行う機能を有する。例えば、通信部３１０は、情報処理装置２０から、緊急通報の着信の通知、および、緊急通報の通話の音声データを受信する。また、通信部３１０は、情報処理装置２０から、表示部３６０に表示させる仮想オブジェクトのデータを受信する。さらに、通信部３１０は、カメラ３２０およびセンサ部３４０により検出された装着型ディスプレイ端末３０のユーザの操作および位置姿勢の情報を、情報処理装置２０に送信する。

【0051】

（カメラ３２０）
カメラ３２０は、実空間を撮像する機能を有する撮像部である。カメラ３２０は、装着型ディスプレイ端末３０がメガネ型デバイスの光学透過型ディスプレイ端末により実現される場合、ユーザの視線方向を向くよう設けられるカメラにより実現される。この場合、カメラ３２０の画角は、ユーザの視界を含む画角であることが望ましい。カメラ３２０は、例えば、装着型ディスプレイ端末３０を装着しているユーザの手を撮像する機能を有する。また、カメラ３２０は、災害の現場に居る隊員ＵＭ１が装着している装着型ディスプレイ端末３０Ｂにおいては、災害の現場の様子を撮像する。

【0052】

（センサ部３４０）
センサ部３４０は、装着型ディスプレイ端末３０の位置または動き、周辺の状況など、実空間をセンシングする機能を有する。センサ部３４０は、例えば、位置測位部、加速度センサ、角速度センサ、地磁気センサ、赤外線センサ、測距センサ（実空間に存在する物体との距離を測定するセンサ）、生体センサ、マイクロフォン等を含む。

【0053】

位置測位部は、装着型ディスプレイ端末３０の絶対的または相対的な位置を算出する機能を有する。例えば、位置測位部は、外部からの取得信号に基づいて現在位置を検知してもよい。具体的には、例えば人工衛星からの電波を受信して、装着型ディスプレイ端末３０が存在している現在位置を検知するＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）が用いられてもよい。また、ＧＮＳＳの他、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知する方法が用いられてもよい。また、位置測位部は、加速度センサまたは角速度センサ等の検出結果に基づいて、装着型ディスプレイ端末３０の位置の相対的な変化を示す情報を推定してもよい。

【0054】

センサ部３４０は、装着型ディスプレイ端末３０の位置姿勢を検出し、制御部３５０に出力する。また、センサ部３４０は、音を検出する機能を有する。例えば、センサ部３４０は、装着型ディスプレイ端末３０を装着している指令員ＵＯ１、または、隊員ＵＭ１の会話音声を検出する。センサ部３４０は、検出した音声のデータを制御部３５０に出力する。

【0055】

また、センサ部３４０は、ユーザの眼を撮像する内向きカメラを含んでいてもよい。内向きカメラにより、例えばユーザの視線方向が検出されてもよい。

【0056】

（制御部３５０）
制御部３５０は、演算処理装置および制御装置として機能し、各種プログラムに従って装着型ディスプレイ端末３０内の動作全般を制御する。

【0057】

制御部３５０は、通信部３１０を介して情報処理装置２０から受信した指示に従って表示部３６０を制御し、ユーザの視覚に仮想空間の情報を提示する制御を行う。より具体的には、制御部３５０は、情報処理装置２０から受信した消防指令に係る画面の仮想オブジェクトを、表示部３６０に表示させる。また、制御部３５０は、情報処理装置２０から受信した指示に従って音出力部３７０を制御し、情報処理装置２０から受信した音声データに基づいて、音を出力させる。

【0058】

また、制御部３５０は、カメラ３２０により撮像されたユーザの手を物体認識することにより、ユーザの操作を検出する。この構成により、指令員ＵＯ１および隊員ＵＭ１は、手を用いて装着型ディスプレイ端末３０における操作を行うことが出来る。例えば、指令員ＵＯ１および隊員ＵＭ１は、手のジェスチャーにより、表示部３６０に表示されている仮想オブジェクトの表示を切り替える、または、当該仮想オブジェクト内で情報の入力操作を行うことが出来る。また、制御部３５０は、センサ部３４０により検出された装着型ディスプレイ端末３０の位置姿勢に基づいて、ユーザの位置姿勢を検出する。このような制御部３５０は、検出部の一例である。制御部３５０は、検出された上記ユーザの操作およびユーザの位置姿勢を、通信部３１０から情報処理装置２０へ送信する。

【0059】

また、制御部３５０は、情報処理装置２０からの指示に従って、ユーザの視覚または聴覚に提示する仮想空間の情報を変化させる制御を行う。例えば、情報処理装置２０は、装着型ディスプレイ端末３０から受信した上記ユーザの操作および位置姿勢の変化に基づいて、消防指令に係る画面の仮想オブジェクトの表示を変化させた画像データを生成する。制御部３５０は、情報処理装置２０から受信した当該画像データに基づいて、表示部３６０における表示を制御する。

【0060】

（表示部３６０）
表示部３６０は、光学透過型ディスプレイにより実現される。光学透過型ディスプレイとは、実空間の光を直接ユーザの眼に届けることが可能なディスプレイである。指令員ＵＯ１および隊員ＵＭ１は、光学透過型ディスプレイを介して実空間を直接視認し得る。光学透過型ディスプレイは、ハーフミラー方式、導光板方式、網膜直描方式等を含む既知の形態を採用し得る。表示部３６０は、制御部３５０の制御に従い、情報処理装置２０から受信した仮想オブジェクトを含む仮想空間を表示する。ここで、図４を参照して、情報処理装置２０により生成される消防指令に係る画面の仮想オブジェクトと、表示部３６０に表示される当該仮想オブジェクトを含む表示画面の例を説明する。

【0061】

図４は、装着型ディスプレイ端末３０に表示される仮想オブジェクトの一例を示す説明図である。図４に示したように、表示画面Ｄ１は、仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ８を含む。表示画面Ｄ１は、装着型ディスプレイ端末３０を装着しているユーザが視認可能な範囲に表示された画面を示す。図４に示した例では、表示画面Ｄ１は、ユーザの視認可能な範囲全体を占めるサイズで表示されていることが理解される。

【0062】

仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ５は、それぞれ、消防指令業務に必要な情報を表示し、かつ、指令員ＵＯ１からの情報の入力を受け付ける画面の仮想オブジェクトである。また、仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ５には、指令業務の一連の流れに応じて、情報処理装置２０の出力制御部２３２により表示順序が予め設定されているものとする。

【0063】

仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ５は、画面ごとに異なる役割を有する。例えば、仮想オブジェクトＯｂ１は、装着型ディスプレイ端末３０が情報処理装置２０から受信した緊急通報の着信の通知を表示する、通話管理画面の役割を有する仮想オブジェクトである。指令員ＵＯ１は、例えば仮想オブジェクトＯｂ１内に表示される通話ボタンの位置で、ボタンを押下するジェスチャーを行うことにより、緊急通報に応答して通話を開始することが出来る。

【0064】

仮想オブジェクトＯｂ２は、指令員ＵＯ１が通話を行いながら聴取した通報内容を入力し、記録することができる事案作成画面である。図４に示した例では、仮想オブジェクトＯｂ２は、入電時刻、経過時刻、通報者、および、発信番号位置情報等の情報を表示する。また、指令員ＵＯ１は、聴取内容欄に聴取内容を入力することが出来る。なお、この時、出力制御部２３２は、図示しない仮想キーボードを生成し、当該仮想キーボードを、表示画面Ｄ１内の仮想オブジェクトＯｂ２の下部に位置するように、装着型ディスプレイ端末３０に表示させる制御を行ってもよい。また、仮想オブジェクトＯｂ２は、通話終了ボタンを含んでいてもよい。

【0065】

仮想オブジェクトＯｂ３は、仮想オブジェクトＯｂ２において入力された災害種別または災害地点等の情報に基づいて自動編成される出動編成の情報が表示される、出動編成画面である。なお、出動編成は、情報処理装置２０の制御部２３０により自動で行われてもよい。または、情報処理装置２０は、通信可能に構成された他のサーバから、自動編成された出動編成の結果を受信し、当該出動編成の内容を仮想オブジェクトＯｂ３に表示してもよい。指令員ＵＯ１は、仮想オブジェクトＯｂ３で上記出動編成の内容を確認することが出来る。また、情報処理装置２０は、仮想オブジェクトＯｂ３において、上記出動編成の内容の変更を受け付けてもよい。または、仮想オブジェクトＯｂ３において、指令員ＵＯ１が手動で出動編成を行えるようにしてもよい。

【0066】

仮想オブジェクトＯｂ４は、指令員ＵＯ１が聴取した緊急通報の内容に応じて現場の隊員への指令内容を入力することが可能な指令画面である。例えば、仮想オブジェクトＯｂ４には、仮想オブジェクトＯｂ３において決定された出動編成の内容が表示される。また、仮想オブジェクトＯｂ４には、仮想オブジェクトＯｂ２において入力された災害種別、災害地点、および、その他の現場での活動に必要な情報が自動で表示されてもよい。指令員ＵＯ１は、仮想オブジェクトＯｂ４において指令内容を作成し、現場の隊員へ送信する操作を行う。情報処理装置２０は、上記指令内容を送信する操作が行われたことを検出すると、仮想オブジェクトＯｂ４において作成された指令内容を所定の連絡先へ送信する。例えば、情報処理装置２０は、当該指令内容を、隊員ＵＭ１が装着している装着型ディスプレイ端末３０Ｂに送信し、表示させてもよい。または、携帯端末５０がスマートフォンである場合には、情報処理装置２０は携帯端末５０へ指令内容を送信してもよい。

【0067】

仮想オブジェクトＯｂ５は、緊急車両等の、消防活動に係る車両を管理する車両管理画面である。例えば、仮想オブジェクトＯｂ５に、現在出動可能な待機中の車両の種類または台数などの情報が表示されてもよい。

【0068】

仮想オブジェクトＯｂ６は、災害地点を含む地図情報である。仮想オブジェクトＯｂ６は、２次元の地図画像であってもよいし、３次元の地図画像であってもよい。あるいは、緊急通報時に災害地点の映像または画像が情報処理装置２０に対して送信されている場合には、仮想オブジェクトＯｂ６は当該映像または画像を表示してもよい。また、情報処理装置２０は、指令員ＵＯ１の操作に基づいて、仮想オブジェクトＯｂ６の位置を変更してもよい。または、情報処理装置２０は、指令員ＵＯ１の操作に基づいて、仮想オブジェクトＯｂ６の表示サイズを変更してもよい。例えば、指令員ＵＯ１が仮想オブジェクトＯｂ６を拡大する操作を行ったことが検出された場合には、情報処理装置２０は、仮想オブジェクトＯｂ６の表示サイズを拡大して表示部３６０に表示させてもよい。

【0069】

情報処理装置２０は、仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ５において所定の完了操作が行われたことを検出すると、自動で次の画面を最も手前に表示させる。同時に、情報処理装置２０は、完了操作が行われた画面を、最も手前に表示されている画面よりもユーザから見て奥の位置に表示されるように、装着型ディスプレイ端末３０への制御を行う。図４に示した例では、仮想オブジェクトＯｂ２が最も手前に表示されており、仮想オブジェクトＯｂ１、および、仮想オブジェクトＯｂ３～仮想オブジェクトＯｂ５は、仮想オブジェクトＯｂ２よりも奥に表示されている状態であることが理解される。

【0070】

または、情報処理装置２０は、指令員ＵＯ１のその他のジェスチャー操作に基づいて、仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ５の位置を切り替えてもよい。または、情報処理装置２０は、指令員ＵＯ１が仮想オブジェクトＯｂ７または仮想オブジェクトＯｂ８などの画面切り替えボタンを表す仮想オブジェクトが表示されている位置に手を移動し、当該位置で画面を押すジェスチャーをしたことに基づいて、各画面を切り替えてもよい。上記の構成により、指令員ＵＯ１は、例えば仮想オブジェクトＯｂ１を横にスライドさせる、または、つかんで移動させる、といった直感的な操作で、各画面を切り替えることが出来る。従って、指令員ＵＯ１が消防指令業務を行う際の操作性が向上する。

【0071】

以上、図４を参照して、装着型ディスプレイ端末３０に表示される仮想オブジェクトを含む画面表示の一例を説明した。上記説明したように、出力制御部２３２による装着型ディスプレイ端末３０への表示制御によれば、消防指令業務において必要な各種の情報を含む仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ６の複数の画面が、仮想空間上で位置を切り替えながら、表示部３６０に表示される。この構成により、指令員ＵＯ１は、複数のモニタ間で目線を移動させることなく、消防指令業務を行うことが出来る。さらに、指令員ＵＯ１は、手のジェスチャーによって仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ６の複数の画面を切り替えることが出来る。また、装着型ディスプレイ端末３０が情報処理装置２０と通信可能な状態であれば、複数台のモニタおよびハードウェアキーボードがその場にない場合でも、指令員ＵＯ１が消防指令業務を行うことが可能となる。

【0072】

なお、図４に示した仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ６は、表示部３６０に表示される消防指令に係る画面の仮想オブジェクトの一例である。出力制御部２３２は、仮想オブジェクトＯｂ１～仮想オブジェクトＯｂ６の他に、消防業務指令に必要な画面の仮想オブジェクトを生成し、表示部３６０に表示させてもよい。

【0073】

（音出力部３７０）
音出力部３７０は、音声を出力する機能を有する。例えば音出力部３７０は、ヘッドホン、イヤホン、若しくは骨伝導スピーカとして構成されてもよい。音出力部３７０は、例えば、情報処理装置２０から受信した緊急通報の通話の音声データに基づき、音声を出力する。

【0074】

（記憶部３９０）
記憶部３９０は、制御部３５０を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部３９０は、制御部３５０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってもよい。

【0075】

＜２－４．大型表示盤４０＞
大型表示盤４０は、上記で図１を参照して説明した通り、消防指令室等に設置される表示装置である。大型表示盤４０は、例えば、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよい。大型表示盤４０は、情報処理装置２０の制御に従って、進行中の災害事案の情報、または、管轄車両の活動状況等の各種情報を表示する。このような大型表示盤４０により、指令室にいる指令員ＵＯ１を含む関係者は、同一の画面を同時に閲覧し、情報共有を行うことが出来る。また、情報処理装置２０は、大型表示盤４０に、装着型ディスプレイ端末３０Ａに表示されている画面の内容を表示させることもできる。この構成により、指令員ＵＯ１一人では対応が困難な災害事案等が発生した場合に、指令員ＵＯ１は、装着型ディスプレイ端末３０Ａに表示されている画面を大型表示盤４０上で共有しながら、経験豊富な他の指令員と連携して指令業務を行うことが出来る。

【0076】

＜２－５．携帯端末５０＞
携帯端末５０は、上記で図１を参照して説明したように、消防活動を行う現場で、消防活動を行う隊員ＵＭ１により利用される通信端末である。携帯端末５０は、例えば、テザリング機能を有するスマートフォン、または、無線ＬＡＮルータにより実現される。このような携帯端末５０は、無線ＬＡＮ通信のアクセスポイントとしての機能を有する。装着型ディスプレイ端末３０Ｂは、携帯端末５０と通信を行うことにより、携帯端末５０およびネットワーク７を介して、情報処理装置２０と通信を行うことが出来る。なお、携帯端末５０がスマートフォンである場合、装着型ディスプレイ端末３０Ｂは、携帯端末５０と有線接続または無線接続することにより、通信を行ってもよい。

【0077】

以上、本実施形態による指令制御装置１０、情報処理装置２０、装着型ディスプレイ端末３０、大型表示盤４０、および、携帯端末５０の機能構成例を説明した。続いて、図５を参照して、本実施形態による情報処理システム１の動作例を整理する。

【0078】

＜＜３．動作＞＞
図５は、本実施形態による情報処理システム１の動作例を示すフローチャート図である。まず、指令制御装置１０が緊急通報を受け付ける（Ｓ８０２）。指令制御装置１０は、緊急通報を受電したことを情報処理装置２０に通知する。情報処理装置２０は、装着型ディスプレイ端末３０Ａに緊急通報の着信を通知する画像を出力させる。または、情報処理装置２０は、大型表示盤４０に緊急通報の着信を通知する画像を出力させてもよく、この場合、指令員ＵＯ１は、当該画像を確認してから装着型ディスプレイ端末３０Ａを装着してもよい。また、情報処理装置２０は、消防指令に係る画像の仮想オブジェクトを生成し、装着型ディスプレイ端末３０Ａの表示部３６０に表示させる。さらに、情報処理装置２０は、指令制御装置１０から転送された緊急通報の通話の音声データを、装着型ディスプレイ端末３０に転送し、装着型ディスプレイ端末３０Ａの音出力部３７０に出力させる。

【0079】

指令員ＵＯ１は、装着型ディスプレイ端末３０Ａにおいて通話を行いながら、通報内容を聴取する。また、指令員ＵＯ１は、表示部３６０に表示される事案作成画面の仮想オブジェクトにおいて、聴取内容を入力する（Ｓ８０４）。

【0080】

続いて、事案作成画面において入力された聴取内容に基づき、災害種別および災害地点が決定される（Ｓ８０６）。決定された災害種別および災害地点に基づいて、予告指令が送出される（Ｓ８０８）。この時、災害種別および災害地点の決定は、情報処理装置２０が、指令員ＵＯ１によって事案作成画面に入力された内容から自動で判別してもよい。また、予告指令とは、災害地点を管轄する消防署等に、指令内容の送出に先立って、災害種別および災害地点の情報を伝える情報である。例えば、予告指令は、「Ａ市Ｂ区Ｃ町 火災入電中 おわり」といったような自動音声であってもよい。情報処理装置２０は、当該予告指令の音声データを上記消防署等に設置された端末に送信する。

【0081】

次に、情報処理装置２０は、上記聴取内容に基づいて、自動で出動編成を行う（Ｓ８１０）。情報処理装置２０は、自動編成した出動編成の内容を出動編成画面の仮想オブジェクトに反映し、当該仮想オブジェクトを、装着型ディスプレイ端末３０Ａの表示部３６０に表示させる。指令員ＵＯ１は、表示部３６０上で上記出動編成の内容を確認し、必要に応じて変更を行う。

【0082】

指令員ＵＯ１は、表示部３６０に仮想オブジェクトとして表示されている指令内容作成画面において、指令内容を作成する。情報処理装置２０は、装着型ディスプレイ端末３０Ａにおいて、指令員ＵＯ１が指令内容を送出する操作を行ったことが検出されると、当該指令内容を画像またはテキスト等の所定の形式に編集し、消防署等の設置端末、出動編成に含まれる出動隊を指揮する隊員の携帯端末５０、または、当該隊員が装着している装着型ディスプレイ端末３０に送信する（Ｓ８１２）。本動作例では、情報処理装置２０は、隊員ＵＭ１が装着している装着型ディスプレイ端末３０Ｂに、指令内容を示す画像を仮想オブジェクトとして表示させるものとする。

【0083】

指令員ＵＯ１は、現場での消防活動終了まで、隊員ＵＭ１を含む現場の隊員を支援し、情報共有を行う（Ｓ８１４）。このとき、情報処理装置２０は、装着型ディスプレイ端末３０のセンサ部３４０により検出される指令員ＵＯ１の会話音声、および、隊員ＵＭ１の会話音声を、装着型ディスプレイ端末３０Ａと装着型ディスプレイ端末３０Ｂの間で転送することにより、指令員ＵＯ１および隊員ＵＭ１に通話機能を提供してもよい。さらに、情報処理装置２０は、隊員ＵＭ１が装着している装着型ディスプレイ端末３０Ｂのカメラ３２０により撮像された現場の画像を、装着型ディスプレイ端末３０Ａに表示させてもよい。

【0084】

指令員ＵＯ１は、現場での活動が終了したことを確認すると、装着型ディスプレイ端末３０Ａの表示部３６０に表示される事案作成画面から、報告書を作成し（Ｓ８１６）、当該事案にかかる指令業務を終了する。

【0085】

以上、図５を参照して、本実施形態による情報処理システム１の動作例を説明した。なお、本実実施形態による情報処理装置２０は、上記動作例におけるＳ８１４において、装着型ディスプレイ端末３０Ｂでの仮想オブジェクトの表示を制御することにより、指令員ＵＯ１および隊員ＵＭ１による緊急通報に応じた指令業務および現場での活動をさらに効果的に支援することが出来る。ここで、図６を参照して、このような本実施形態による情報処理システム１での、現場での活動終了までの隊員支援および情報共有における動作例を説明する。

【0086】

図６は、本実施形態による情報処理システム１での、現場での活動終了までの隊員支援および情報共有における動作例を説明するフローチャート図である。情報処理装置２０は、上記動作例のＳ８１２において出動指令が送出されると、装着型ディスプレイ端末３０Ａおよび装着型ディスプレイ端末３０Ｂにおいて検出される会話音声を互いに転送させる制御を行い、指令員ＵＯ１および隊員ＵＭ１に通話機能の提供を開始する。また、情報処理装置２０は、装着型ディスプレイ端末３０Ｂから、現場の映像、または、画像等の情報を取得する（Ｓ９０２）。情報処理装置２０は、取得した映像を、指令員ＵＯ１の操作に基づいて、装着型ディスプレイ端末３０Ａに表示させる制御を行う。例えば、情報処理装置２０は、隊員ＵＭ１が、装着型ディスプレイ端末３０Ｂにおいて、指令員ＵＯ１に映像を送信する操作を行ったことに基づいて、装着型ディスプレイ端末３０Ｂのカメラ３２０が撮像している映像を、リアルタイムに装着型ディスプレイ端末３０Ａの表示部３６０に表示させてもよい。または、情報処理装置２０は、当該映像を大型表示盤４０に表示させてもよい。

【0087】

指令員ＵＯ１は、装着型ディスプレイ端末３０Ｂから送信された上記映像または画像等の情報、および、隊員ＵＭ１との通話によって、現場の状況を確認する（Ｓ９０４）。この構成により、指令室にいる指令員ＵＯ１は、現場に居る隊員ＵＭ１が視認可能な範囲での現場の状況を、映像および通話で得た情報に基づいてより詳細に把握することが出来、より的確な隊員支援を行うことが可能となる。

【0088】

指令員ＵＯ１は、確認できた情報に基づいて、現場の活動を支援する支援情報を、装着型ディスプレイ端末３０Ａから装着型ディスプレイ端末３０Ｂに送信する操作を行う（Ｓ９０６）。例えば、指令員ＵＯ１は、装着型ディスプレイ端末３０Ａの表示部３６０に表示される仮想オブジェクト上で操作を行うことにより、災害現場付近の水利情報、ガソリンスタンド等の危険物取扱所等の施設情報を、装着型ディスプレイ端末３０Ｂへ送信させてもよい。情報処理装置２０は、指令員ＵＯ１の上記操作に基づいて、上記水利情報または危険物取扱所等の施設情報を、装着型ディスプレイ端末３０Ａから装着型ディスプレイ端末３０Ｂへ送信させる制御を行ってもよい。

【0089】

または、情報処理装置２０は、通信可能な他のサーバから災害現場付近の３次元地図情報を取得し、当該３次元地図情報を装着型ディスプレイ端末３０Ａの表示部３６０に表示させてもよい。指令員ＵＯ１は、当該３次元地図情報を、装着型ディスプレイ端末３０Ｂに送信する操作を行ってもよい。情報処理装置２０は、当該操作に基づいて、３次元地図情報を装着型ディスプレイ端末３０Ｂに表示させる制御を行ってもよい。この構成により、例えば、災害地点の周辺の障害物、危険物、または、水利情報等の情報を、装着型ディスプレイ端末３０Ｂにおいて立体的に表示する事が可能である。従って、隊員ＵＭ１は、現場での活動に役立つ支援情報を、より詳細に確認することが可能となる。

【0090】

隊員ＵＭ１は、装着型ディスプレイ端末３０Ｂに表示された上記支援情報を活用しながら、現場での災害対応活動を行う（Ｓ９０８）。また、隊員ＵＭ１は、活動終了後、通話等の手段により、指令員ＵＯ１に活動が終了したことを連絡する（Ｓ９１０）。

【0091】

指令員ＵＯ１は、活動終了後、装着型ディスプレイ端末３０Ａの表示部３６０に表示される事案作成画面において、報告書を作成する（Ｓ９１２）。

【0092】

以上、図６を参照して、本実施形態による情報処理システム１の、現場での活動終了までの隊員支援および情報共有における動作例を説明した。上記説明したように、情報処理装置２０が装着型ディスプレイ端末３０Ａおよび装着型ディスプレイ端末３０Ｂ間での通話音声、映像、画像、その他の情報の通信を介したやり取りを制御することにより、指令員ＵＯ１と隊員ＵＭ１が、より効果的に連携することが可能となる。さらに、情報処理装置２０は、隊員ＵＭ１が装着している装着型ディスプレイ端末３０Ｂの表示部３６０に表示させる画像を、仮想空間における３次元の画像として生成することが可能である。例えば、情報処理装置２０の出力制御部２３２が災害現場付近の３次元の地図情報を装着型ディスプレイ端末３０Ｂに表示させることにより、隊員ＵＭ１は、２次元の地図情報と比べて、災害地点の状況を立体的に、より詳細に確認することが可能となる。

【0093】

なお、上記動作例では、情報処理装置２０の出力制御部２３２は、３次元の地図情報等の支援情報を、装着型ディスプレイ端末３０Ｂの表示部３６０に表示させる制御を行うとした。ここで、情報処理装置２０は、上記３次元の地図情報等の仮想オブジェクトを表示部３６０に表示させる際に、隊員ＵＭ１が表示部３６０を通して直接視認している実空間との位置合わせを行ってもよい。出力制御部２３２は、実空間と位置合わせをした状態で、当該仮想オブジェクトを実空間に重畳させて、装着型ディスプレイ端末３０Ｂの表示部３６０に表示させてもよい。

【0094】

例えば、情報処理装置２０は、装着型ディスプレイ端末３０Ｂにより検出される隊員ＵＭ１の位置姿勢に基づき、隊員ＵＭ１が向いている方角を検出する。さらに、情報処理装置２０は、実空間において隊員ＵＭ１が向いている方角に消火栓がある場合、当該消火栓の位置と重畳するように、当該消火栓を強調するような仮想オブジェクトの画像を生成して表示させてもよい。この項背により、指令員ＵＯ１により装着型ディスプレイ端末３０Ａから送信される支援情報を、装着型ディスプレイ端末３０Ｂが視認している実空間と重畳させて表示することが出来る。従って、隊員ＵＭ１は、例えば紙に印刷された消火栓の位置、または、音声通話で伝達された消火栓の位置の情報等の支援情報よりも、より速く消火栓を見つけることが可能となる。このように、情報処理装置２０が、指令員ＵＯ１から隊員ＵＭ１に提供される支援情報を、装着型ディスプレイ端末３０Ｂの表示部３６０に、仮想オブジェクトとして実空間とリンクさせながら表示させることで、より効果的な隊員支援、および、より迅速な消防活動を実現することが可能となる。

【0095】

＜４．ハードウェア構成図＞
以上、本発明の一実施形態を説明した。上述した、情報処理装置２０による、緊急通報に応じた指令内容に係る画像の仮想オブジェクトの生成、および、当該仮想オブジェクトの装着型ディスプレイ端末３０への表示制御は、ソフトウェアと、情報処理装置２０のハードウェアとの協働により実現される。以下では、本発明の実施形態による情報処理装置２０のハードウェア構成例について説明する。装着型ディスプレイ端末３０のハードウェア構成も、情報処理装置２０のハードウェア構成と同様に実現され得る。

【0096】

なお、以下に説明する情報処理装置２０のハードウェア構成例は、情報処理装置２０および装着型ディスプレイ端末３０のハードウェア構成の一例に過ぎない。したがって、情報処理装置２０および装着型ディスプレイ端末３０のそれぞれのハードウェア構成は、以下に説明する情報処理装置２０のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。また、情報処理装置２０のハードウェア構成例の各部は、同一の装置上で実現されてもよいし、複数の装置の組み合わせによって実現されてもよい。

【0097】

図７は、本発明の一実施形態による情報処理装置２０のハードウェア構成例を示す図である。情報処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３と、内部バス１００４と、入出力インターフェース１０１０と、表示装置１０１１と、入力装置１０１２と、音声出力部１０１３と、記憶装置１０１４と、ドライブ１０１５と、ネットワークインターフェース１０１６と、外部インターフェース１０１７と、を備えることができる。

【0098】

ＣＰＵ１００１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２０内の動作全般を制御する。ＣＰＵ１００１が後述するＲＯＭ１００２、ＲＡＭ１００３およびソフトウェアと協働することにより、例えば、制御部２３０の機能が実現され得る。なお、装着型ディスプレイ端末３０にも同様にＣＰＵ、ＲＯＭおよびＲＡＭが設けられ、これらＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアとソフトウェアとの協働により制御部３５０の機能が実現され得る。

【0099】

ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムおよび演算パラメータ等を記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラム、およびその実行において適宜変化するパラメータ等を一時記憶する。

【0100】

ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、内部バス１００４によって相互に接続され、さらに入出力インターフェース１０１０を介して後述する表示装置１０１１、入力装置１０１２、音声出力部１０１３、記憶装置１０１４、ドライブ１０１５、ネットワークインターフェース１０１６および外部インターフェース１０１７と接続される。

【0101】

表示装置１０１１は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ（ＬＣＤ）、ＯＬＥＤ装置などの表示装置であり、映像データを映像に変換して出力する。また、入力装置１０１２は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよび制御回路などから構成され得る。また、音声出力部１０１３は、スピーカおよびヘッドホンなどの音声出力装置であり、音声データなどを音声に変換して出力する。

【0102】

記憶装置１０１４は、本実施形態による記憶部２２０および記憶部３９０の一例として構成されたデータ記憶用の装置である。記憶装置１０１４は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでいてもよい。記憶装置１０１４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。この記憶装置１０１４は、ストレージを駆動し、ＣＰＵ１００１が実行するプログラムまたは各種データを記憶する。

【0103】

ドライブ１０１５は、記憶媒体用リーダライタであり、情報処理装置２０に内蔵、または外付けされる。ドライブ１０１５は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記憶されている情報を読み出して、ＲＡＭ１００３に出力する。また、ドライブ１０１５は、リムーバブル記憶媒体に情報を書き込むことも可能である。

【0104】

ネットワークインターフェース１０１６は、例えば、インターネットなどの通信網に接続するためのデバイス等で構成された通信インターフェースである。また、ネットワークインターフェース１０１６は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）または無線ＬＡＮ対応通信装置であってもよいし、有線による通信を行うワイヤー通信装置であってもよい。

【0105】

外部インターフェース１０１７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート、ＲＳ－２３２Ｃポートまたは光オーディオ端子などのような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。

【0106】

＜６．むすび＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0107】

例えば、上記実施形態では、本発明の好適な実施形態として、消防業務における消防指令業務を説明したが、本発明はかかる例に限定されない。例えば、本発明は、災害を想定した、消防指令訓練に適用されてもよいし、同時に、現場で活動する隊員の消防活動訓練に適用されてもよい。この場合、情報処理装置２０は、例えば装着型ディスプレイ端末３０Ｂにおいてユーザが視認可能な実空間に重ね合わせて、火災時の状況を再現した、炎、出火原因事象、または、障害物等の仮想オブジェクトを生成して、装着型ディスプレイ端末３０Ｂに表示させてもよい。また、情報処理装置２０は、当該火災時の状況において緊急通報があったものとして、消防指令に係る画像の仮想オブジェクトを生成し、装着型ディスプレイ端末３０Ａに表示させてもよい。この構成により、指令員ＵＯ１が、消防指令の訓練を、隊員ＵＭ１と連携しながら行うことが出来る。

【0108】

さらに、本発明の好適な他の実施形態として、消防活動の他、救急要請に応じた救助活動に係る指令業務、または、航空機からの緊急通報に応じた航空管制に係る指令業務があげられる。

【0109】

また、上記実施形態では、装着型ディスプレイ端末３０の制御部３５０は、カメラ３２０により撮像されたユーザの手の映像に基づいてユーザの操作を検出するとした。しかし、本発明は係る例に限定されない。例えば、制御部３５０は、ユーザが手にもって操作できる専用の操作用端末に備え付けられたセンサにより、当該操作用デバイスの動作を検出してもよい。この場合、装着型ディスプレイ端末３０は、当該操作用デバイスの動作に基づいて、ユーザの操作を検出してもよい。

【0110】

また、上記実施形態では、出力制御部２３２は、装着型ディスプレイ端末３０における仮想オブジェクトの表示を、ユーザの位置姿勢の変化、および、ユーザの所定の操作によって変化させるとした。しかし、本発明は係る例に限定されない。例えば、情報処理装置２０は、装着型ディスプレイ端末３０のカメラ３２０およびセンサ部３４０により、実空間において所定の物体が検出されたことに基づいて、仮想オブジェクトの表示を変化させてもよい。この場合、情報処理装置２０は、実空間の映像から物体の特徴量を抽出して取得する取得部と、上記物体の特徴量に基づき、前記物体が所定の物体であるか否かを判定する判定部をさらに備えていてもよい。あるいは、上記取得部は、装着型ディスプレイ端末３０に備えられていてもよい。

【0111】

上記取得部及び判定部は、装着型ディスプレイ端末３０を装着しているユーザの向いている方角の映像から、特徴量を抽出し、当該方角に所定の物体があるか否かを検出してもよい。さらに、情報処理装置２０は、当該所定の物体が検出された場合、上記仮想オブジェクトの表示を変化させてもよい。このような構成により、情報処理装置２０は、装着型ディスプレイ端末３０Ａを装着している指令員ＵＯ１が向いている方角の映像から、大型表示盤４０を検出することが出来る。

【0112】

情報処理装置２０の出力制御部２３２は、指令員ＵＯ１が向いている方角の映像から大型表示盤４０が検出されたことに基づいて、装着型ディスプレイ端末３０Ａの表示部３６０に表示させる仮想オブジェクトの透過度を変化させてもよい。または、出力制御部２３２は、当該仮想オブジェクトを非表示にする、等の制御を行ってもよい。出力制御部２３２が上記のような制御を行うことにより、指令員ＵＯ１が大型表示盤４０の方角を向くだけで、表示部３６０に表示されている仮想オブジェクトが非表示になる、または、透過度が高く変化する。従って、指令員ＵＯ１は、指令内容に係る画像の仮想オブジェクト、および、大型表示盤４０の両方を見ながら、指令業務を行うことが出来る。

【0113】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0114】

また、本実施形態による情報処理装置２０の動作の処理におけるステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置２０の動作の処理における各ステップは、フローチャートに記載した順序と異なる順序で処理されてもよく、並列的に処理されてもよい。

【0115】

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した指令制御装置１０または情報処理装置２０が有する構成と同等の機能を発揮させるための１以上のプログラムも作成可能である。

【符号の説明】

【0116】

１ 情報処理システム
１０ 指令制御装置
２０ 情報処理装置
２１０ 通信部
２２０ 記憶部
２３０ 制御部
２３２ 出力制御部
２４０ 操作部
３０ 装着型ディスプレイ端末
３１０ 通信部
３２０ カメラ
３４０ センサ部
３５０ 制御部
３６０ 表示部
３７０ 音出力部
３９０ 記憶部
４０ 大型表示盤
５０ 携帯端末
ＵＯ１ 指令員
ＵＭ１ 隊員

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】