(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-28
(45)【発行日】2024-12-06
(54)【発明の名称】情報提示装置、プログラム及び情報提示方法
(51)【国際特許分類】
G08G 5/00 20060101AFI20241129BHJP
G08G 1/16 20060101ALI20241129BHJP
【FI】
G08G5/00 A
G08G1/16 F
(21)【出願番号】P 2024515186
(86)(22)【出願日】2022-04-11
(86)【国際出願番号】 JP2022017488
(87)【国際公開番号】W WO2023199374
(87)【国際公開日】2023-10-19
【審査請求日】2024-04-22
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100116964
【氏名又は名称】山形 洋一
(74)【代理人】
【識別番号】100120477
【氏名又は名称】佐藤 賢改
(74)【代理人】
【識別番号】100135921
【氏名又は名称】篠原 昌彦
(74)【代理人】
【識別番号】100203677
【氏名又は名称】山口 力
(72)【発明者】
【氏名】堀 淳二
(72)【発明者】
【氏名】渡邉 信太郎
(72)【発明者】
【氏名】常道 大智
(72)【発明者】
【氏名】藤田 偉雄
(72)【発明者】
【氏名】清水 彰一
(72)【発明者】
【氏名】藤原 徹平
【審査官】白石 剛史
(56)【参考文献】
【文献】特開2017-74873(JP,A)
【文献】特開2020-13394(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 5/00
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
監視対象物を監視するためのデータをセンサデータとして検出するセンサから、前記センサデータを受信するデータ受信部と、
前記センサデータを分析して前記監視対象物の分析を行うデータ分析部と、
前記分析の結果の信頼度を表す装置パフォーマンスを推定する装置パフォーマンス推定部と、
前記装置パフォーマンスが高ければ高いほど、前記監視対象物を監視する監視作業従事者のタスク量が少なくなるように、前記タスク量を決定するタスク量決定部と、
前記タスク量に応じて異なるように、前記センサデータを用いて表示する内容を決定する表示内容決定部と、
前記決定された内容を表示するための表示データを生成する表示データ生成部と、
前記監視作業従事者に関するデータを作業用データとして検出する作業用センサと、
前記作業用データを用いて、前記監視作業従事者の作業の効率を表す作業パフォーマンスを推定する作業パフォーマンス推定部と、を備え
、
前記タスク量決定部は、前記装置パフォーマンスが高ければ高いほど、また、前記作業パフォーマンスが高ければ高いほど、前記タスク量が少なくなるように、前記タスク量を決定すること
を特徴とする情報提示装置。
【請求項2】
前記タスク量決定部は、前記装置パフォーマンスが低下すると予測される場合には、前記タスク量を増やすこと
を特徴とする請求項
1に記載の情報提示装置。
【請求項3】
前記タスク量決定部は、前記作業パフォーマンスが低下すると予測される場合には、前記タスク量を減らすこと
を特徴とする請求項
1に記載の情報提示装置。
【請求項4】
監視対象物を監視するためのデータをセンサデータとして検出するセンサから、前記センサデータを受信するデータ受信部と、
前記センサデータを分析して前記監視対象物の分析を行うデータ分析部と、
前記分析の結果の信頼度を表す装置パフォーマンスを推定する装置パフォーマンス推定部と、
前記装置パフォーマンスが高ければ高いほど、前記監視対象物を監視する監視作業従事者のタスク量が少なくなるように、前記タスク量を決定するタスク量決定部と、
前記タスク量に応じて異なるように、前記センサデータを用いて表示する内容を決定する表示内容決定部と、
前記決定された内容を表示するための表示データを生成する表示データ生成部と、を備え
、
前記タスク量決定部は、前記装置パフォーマンスが低下すると予測される場合には、前記タスク量を増やすこと
を特徴とする情報提示装置。
【請求項5】
監視対象物を監視するためのデータをセンサデータとして検出するセンサから、前記センサデータを受信するデータ受信部と、
前記センサデータを分析して前記監視対象物の分析を行うデータ分析部と、
前記分析の結果の信頼度を表す装置パフォーマンスを推定する装置パフォーマンス推定部と、
前記装置パフォーマンスが高ければ高いほど、前記監視対象物を監視する監視作業従事者のタスク量が少なくなるように、前記タスク量を決定するタスク量決定部と、
前記タスク量に応じて異なるように、前記センサデータを用いて表示する内容を決定する表示内容決定部と、
前記決定された内容を表示するための表示データを生成する表示データ生成部と、を備え
、
前記表示内容決定部は、前記タスク量に応じて、前記監視作業従事者がタスクを行うためのボタンを表示するか否かを決定すること
を特徴とする情報提示装置。
【請求項6】
前記表示内容決定部は、前記タスク量に対応して表示する内容を、時間に応じて変化させること
を特徴とする請求項1から
5の何れか一項に記載の情報提示装置。
【請求項7】
前記表示内容決定部は、前記タスク量に応じて、前記監視作業従事者がタスクを行うためのボタンを表示するか否かを決定すること
を特徴とする請求項1から
4の何れか一項に記載の情報提示装置。
【請求項8】
前記表示内容決定部は、前記分析の結果を用いて、前記監視作業従事者のタスクを補助するための内容の表示を行うことを決定すること
を特徴とする請求項1から
5の何れか一項に記載の情報提示装置。
【請求項9】
前記表示内容決定部は、前記分析により検出された前記監視対象物の位置を示す内容の表示を行うこと
を特徴とする請求項
8に記載の情報提示装置。
【請求項10】
コンピュータを、
監視対象物を監視するためのデータをセンサデータとして検出するセンサから、前記センサデータを受信するデータ受信部、
前記センサデータを分析して前記監視対象物の分析を行うデータ分析部、
前記分析の結果の信頼度を表す装置パフォーマンスを推定する装置パフォーマンス推定部、
前記装置パフォーマンスが高ければ高いほど、前記監視対象物を監視する監視作業従事者のタスク量が少なくなるように、前記タスク量を決定するタスク量決定部、
前記タスク量に応じて異なるように、前記センサデータを用いて表示する内容を決定する表示内容決定部
、
前記決定された内容を表示するための表示データを生成する表示データ生成部、
前記監視作業従事者に関するデータを作業用データとして検出する作業用センサ、及び、
前記作業用データを用いて、前記監視作業従事者の作業の効率を表す作業パフォーマンスを推定する作業パフォーマンス推定部、として機能させ
、
前記タスク量決定部は、前記装置パフォーマンスが高ければ高いほど、また、前記作業パフォーマンスが高ければ高いほど、前記タスク量が少なくなるように、前記タスク量を決定すること
を特徴とするプログラム。
【請求項11】
監視対象物を監視するためのデータをセンサデータとして検出するセンサから、前記センサデータを受信し、
前記センサデータを分析して前記監視対象物の分析を行い、
前記分析の結果の信頼度を表す装置パフォーマンスを推定し、
前記装置パフォーマンスが高ければ高いほど、前記監視対象物を監視する監視作業従事者のタスク量が少なくなるように、前記タスク量を決定し、
前記タスク量に応じて異なるように、前記センサデータを用いて表示する内容を決定し、
前記決定された内容を表示するための表示データを生成
し、
前記監視作業従事者に関するデータを作業用データとして検出し、
前記作業用データを用いて、前記監視作業従事者の作業の効率を表す作業パフォーマンスを推定する情報提示方法であって、
前記装置パフォーマンスが高ければ高いほど、また、前記作業パフォーマンスが高ければ高いほど、前記タスク量が少なくなるように、前記タスク量が決定されること
を特徴とする情報提示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報提示装置、プログラム及び情報提示方法に関する。
【背景技術】
【0002】
特許文献1には、プラントの運転状態を運転員に提示するプラント監視装置が開示されている。そのプラント監視装置は、運転員の生態情報を測定する部位と、心理状態を分析する部位とを備え、運転員の状態に応じて提示内容を制御している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術は、プラント監視用のプラント監視装置のみに適用されるものではない。例えば、特定の空間内を往来する監視対象物を発見又は確認することを目的として、その空間内を往来する監視対象物を捉えるようにセンサ類を配置して、センサによる検知結果を監視作業従事者に提示するための情報提示装置にも適用可能である。
【0005】
しかし、監視対象物が往来する空間が屋外であるような場合、天候によりセンサデータを処理して監視対象物を検知する能力(以下、情報提示装置のセンサ情報処理リソースと称する。)と、付随情報を推定する能力(以下、これらを装置パフォーマンスと称する。)とが変動する。
【0006】
監視作業従事者の作業パフォーマンスのみに応じて提示情報の制御を行うと、監視作業従事者の作業パフォーマンスが高い状態では、装置パフォーマンスが高く維持されているにも関わらず監視作業従事者の視覚情報処理リソースが過剰に消費される場合がある。このような場合には、監視作業従事者の疲労度が増大し、そのパフォーマンスの低下が必要以上に早まる。その結果、天候変動により装置パフォーマンスが低下した時点で、情報提示装置のセンサ情報処理リソースと、監視作業従事者の視覚情報処理リソースとが不足する事態が発生し得る。
【0007】
そこで、本開示の一又は複数の態様は、装置側のリソースと、監視作業従事者のリソースとを適正に配分することで、監視作業従事者の疲労の蓄積速度を抑制することを目的とする。
【課題を解決するための手段】
【0008】
本開示の一態様に係る情報提示装置は、監視対象物を監視するためのデータをセンサデータとして検出するセンサから、前記センサデータを受信するデータ受信部と、前記センサデータを分析して前記監視対象物の分析を行うデータ分析部と、前記分析の結果の信頼度を表す装置パフォーマンスを推定する装置パフォーマンス推定部と、前記装置パフォーマンスが高ければ高いほど、前記監視対象物を監視する監視作業従事者のタスク量が少なくなるように、前記タスク量を決定するタスク量決定部と、前記タスク量に応じて異なるように、前記センサデータを用いて表示する内容を決定する表示内容決定部と、前記決定された内容を表示するための表示データを生成する表示データ生成部と、前記監視作業従事者に関するデータを作業用データとして検出する作業用センサと、前記作業用データを用いて、前記監視作業従事者の作業の効率を表す作業パフォーマンスを推定する作業パフォーマンス推定部と、を備え、前記タスク量決定部は、前記装置パフォーマンスが高ければ高いほど、また、前記作業パフォーマンスが高ければ高いほど、前記タスク量が少なくなるように、前記タスク量を決定することを特徴とする。
【0009】
本開示の一態様に係るプログラムは、コンピュータを、監視対象物を監視するためのデータをセンサデータとして検出するセンサから、前記センサデータを受信するデータ受信部、前記センサデータを分析して前記監視対象物の分析を行うデータ分析部、前記分析の結果の信頼度を表す装置パフォーマンスを推定する装置パフォーマンス推定部、前記装置パフォーマンスが高ければ高いほど、前記監視対象物を監視する監視作業従事者のタスク量が少なくなるように、前記タスク量を決定するタスク量決定部、前記タスク量に応じて異なるように、前記センサデータを用いて表示する内容を決定する表示内容決定部、前記決定された内容を表示するための表示データを生成する表示データ生成部、前記監視作業従事者に関するデータを作業用データとして検出する作業用センサ、及び、前記作業用データを用いて、前記監視作業従事者の作業の効率を表す作業パフォーマンスを推定する作業パフォーマンス推定部、として機能させ、前記タスク量決定部は、前記装置パフォーマンスが高ければ高いほど、また、前記作業パフォーマンスが高ければ高いほど、前記タスク量が少なくなるように、前記タスク量を決定することを特徴とする。
【0010】
本開示の一態様に係る情報提示方法は、監視対象物を監視するためのデータをセンサデータとして検出するセンサから、前記センサデータを受信し、前記センサデータを分析して前記監視対象物の分析を行い、前記分析の結果の信頼度を表す装置パフォーマンスを推定し、前記装置パフォーマンスが高ければ高いほど、前記監視対象物を監視する監視作業従事者のタスク量が少なくなるように、前記タスク量を決定し、前記タスク量に応じて異なるように、前記センサデータを用いて表示する内容を決定し、前記決定された内容を表示するための表示データを生成し、前記監視作業従事者に関するデータを作業用データとして検出し、前記作業用データを用いて、前記監視作業従事者の作業の効率を表す作業パフォーマンスを推定する情報提示方法であって、前記装置パフォーマンスが高ければ高いほど、また、前記作業パフォーマンスが高ければ高いほど、前記タスク量が少なくなるように、前記タスク量が決定されることを特徴とする。
【発明の効果】
【0011】
本開示の一又は複数の態様によれば、装置側のリソースと、監視作業従事者のリソースとを適正に配分することで、監視作業従事者の疲労の蓄積速度を抑制することができる。
【図面の簡単な説明】
【0012】
【
図1】実施の形態1及び4に係る情報提示システムとしての航空管制システムの構成を概略的に示すブロック図である。
【
図2】管制業務室における監視作業の様子を表す概略図である。
【
図3】実施の形態1及び4における情報提示装置の構成を概略的に示すブロック図である。
【
図4】カメラが撮影した映像に含まれる画像の概略図である。
【
図5】装置パフォーマンスの評価が「高」であり、タスク量が「少」と判断された場合にディスプレイに表示される映像に含まれる画像の一例である。
【
図6】装置パフォーマンスの評価が「中」であり、タスク量が「普通」と判断された場合にディスプレイに表示される映像に含まれる画像の一例である。
【
図7】装置パフォーマンスの評価が「低」であり、タスク量が「多」と判断された場合のディスプレイに表示される映像に含まれる画像の一例である。
【
図8】(A)及び(B)は、ハードウェア構成例を示すブロック図である。
【
図9】実施の形態2に係る情報提示システムとしての航空管制システムの構成を概略的に示すブロック図である。
【
図10】実施の形態2及び3における情報提示装置の構成を概略的に示すブロック図である。
【
図11】リソースを説明するための第1の概略図である。
【
図12】リソースの評価を説明するための概略図である。
【
図13】新たに現れた航空機を探索する第1の監視側タスクを補助するための第1の表示例を示す概略図である。
【
図14】ディスプレイに表示される映像に含まれる画像の第一例を示す概略図である。
【
図15】ディスプレイに表示される映像に含まれる画像の第二例を示す概略図である。
【
図16】ディスプレイに表示される映像に含まれる画像の第三例を示す概略図である。
【発明を実施するための形態】
【0013】
実施の形態1.
実施の形態1について、航空管制システムを例に説明する。
図1は、実施の形態1に係る情報提示システムとしての航空管制システム100の構成を概略的に示すブロック図である。
航空管制システム100は、センサ110と、情報提示装置120とを備える。
【0014】
センサ110は、空港101に設けられている管制塔102に設置されている。センサ110は、付近の空間を監視するために設けられている。言い換えると、センサ110は、監視対象物を監視するためのデータをセンサデータとして検出する。ここでは、センサ110は、監視対象物である航空機103#1を捉えるためのカメラである。
【0015】
センサ110により収集されたセンサデータは、センサデータ用通信路104を介して管制業務室105に伝送される。
管制業務室105には、監視作業従事者が控えており管制業務を行うための設備が備えられている。例えば、管制業務室105には、監視作業従事者に情報を提示する情報提示装置120が備えられている。管制業務室105は、管制塔102内にある場合もあるが、遠隔地にあってもよい。監視作業従事者は、航空機に対して管制指示を行うが、その指示内容は、管制指示用通信路106を介して管制塔102に伝えられて、管制塔102から航空機103#1に伝達される。
【0016】
図2は、管制業務室105における監視作業の様子を表す概略図である。
管制業務室105には、情報提示装置120と、表示部として機能するディスプレイ107とが備えられている。
【0017】
情報提示装置120は、センサ110から送信されたセンサデータ、又は、センサデータを加工した結果をディスプレイ107に表示させる。監視作業従事者は、ディスプレイ107を注視して、以下の監視側のタスクである監視側タスクを担う。
第1の監視側タスクは、空港101付近に現れる航空機の探索と発見である。
第2の監視側タスクは、発見された航空機の個別情報の確認である。ここで、航空機の個別情報は、例えば、機種、航空会社又は便名等である。
第3の監視側タスクは、発見された航空機の状態の確認である。航空機の状態は、速度、飛行位置又は機体の健全性等である。
【0018】
監視作業従事者は、これらの監視側タスクを終えた後に、航空機に対する管制指示内容を決定する。
【0019】
情報提示装置120は、監視作業従事者の作業を補助することを目的として、センサデータ、又は、センサデータを加工した結果を、監視作業従事者に提示する。例えば、情報提示装置120は、センサデータの加工として、画像処理による視認性の改善、又は、データ分析結果により得られる情報の重畳等の処理を行う。実施の形態1では、センサデータは、センサ110であるカメラにより撮影された空港101の周辺、言い換えると、航空機が往来する空間の映像のデータである映像データであることが想定されている。
【0020】
図3は、実施の形態1における情報提示装置120の構成を概略的に示すブロック図である。
情報提示装置120は、データ受信部121と、データ分析部122と、装置パフォーマンス推定部123と、タスク量決定部124と、表示内容決定部125と、データ加工部126とを備える。
【0021】
データ受信部121は、センサ110から送られてきたセンサデータを受信する。
【0022】
データ分析部122は、受信されたセンサデータを分析する。例えば、データ分析部122は、センサデータを分析して監視対象物の分析を行う。ここでは、データ分析部122は、情報提示装置120側のタスクである提示側タスクとして、以下のタスクを行う。
第1の提示側タスクは、映像中の航空機の検出である。ここで検出される航空機は、航空機である可能性の高い物体である。
第2の提示側タスクは、検出された航空機の個別情報の推定である。
第3の提示側タスクは、検出された航空機の状態の推定である。
これらの結果は監視作業従事者の作業を補助するための表示コンテンツとして用いられる。
【0023】
装置パフォーマンス推定部123は、データ分析部122で行う分析の結果の信頼度を表す装置パフォーマンスを算出する。
装置パフォーマンス推定部123は、映像から航空機を検出する際の推定尤度等を指標として用いて、装置パフォーマンスを算出することができる。さらに、装置パフォーマンス推定部123は、位置、移動速度又は個体識別情報の推定尤度も同様に指標として用いて、装置パフォーマンスを算出することができる。例えば、装置パフォーマンス推定部123は、推定尤度が高ければ高いほど、装置パフォーマンスも高くなるように、装置パフォーマンスを算出することができる。
また、装置パフォーマンス推定部123は、映像に含まれている画像の全体又は部分的な統計量、例えば、コントラスト又は輝度分布等も指標として用いてもよい。例えば、装置パフォーマンス推定部123は、コントラスト又は輝度が高いほど、装置パフォーマンスも高くなるように、装置パフォーマンスを算出することができる。
【0024】
なお、装置パフォーマンス推定部123は、これらの複数の指標から代表を選定して装置パフォーマンスとしてもよい。また、装置パフォーマンス推定部123は、これらの指標と、予め定められた係数とを用いて線形和を算出して、その算出された値を装置パフォーマンスとしてもよい。
装置パフォーマンス推定部123は、算出された装置パフォーマンスをタスク量決定部124に与える。
【0025】
タスク量決定部124は、装置パフォーマンス推定部123で算出された装置パフォーマンスを評価して、その評価結果から、監視作業従事者のタスク量を決定する。例えば、タスク量決定部124は、装置パフォーマンスが高ければ高いほど、監視対象物を監視する監視作業従事者のタスク量が少なくなるように、タスク量を決定する。
【0026】
具体的には、タスク量決定部124は、装置パフォーマンス推定部123で算出された装置パフォーマンスを、高、中又は低の3段階で評価する。例えば、先に述べた画像から航空機を検出する際の推定尤度に対して、2つの閾値を設定することで、タスク量決定部124は、装置パフォーマンスを3段階で評価することができる。
【0027】
そして、タスク量決定部124は、特定した評価結果から、監視作業従事者のタスク量を決定する。例えば、装置パフォーマンスの評価が「高」であれば、データ分析部122での分析結果に高い信頼を置くことができるため、タスク量決定部124は、監視作業従事者のタスク量を「少」と決定する。装置パフォーマンスの評価が「中」であれば、データ分析部122での分析結果にそこまでの高い信頼を置くことができないため、タスク量決定部124は、監視作業従事者のタスク量を「普通」と決定する。そして、装置パフォーマンスの評価が「低」であれば、データ分析部122での分析結果に信頼を置くことができないため、タスク量決定部124は、監視作業従事者のタスク量を「多」と決定する。
【0028】
表示内容決定部125は、データ分析部122の分析結果、及び、タスク量決定部124で決定された監視作業従事者のタスク量を受け取り、監視作業従事者のタスク量に応じて異なるように、センサデータを用いた表示内容を決定する。例えば、表示内容決定部125は、タスク量に応じて、監視作業従事者が作業を行うためのボタンを表示するか否かを決定することができる。ここで決定された表示内容が、ディスプレイ107に表示される。
【0029】
データ加工部126は、表示内容決定部125で決定された内容を表示するための表示データを生成する表示データ生成部として機能する。例えば、データ加工部126は、表示内容決定部125の決定に基づき、データ受信部121から転送されるセンサデータの加工を行う。さらに加工した結果をディスプレイ107に送信して表示させる。
【0030】
図4~
図7は、タスク量決定部124で決定されたタスク量と、ディスプレイ107に表示される映像に含まれる画像との関係を説明するための概略図である。
図4は、管制塔102に備えられたセンサ110であるカメラが撮影した映像に含まれる画像の概略図である。
図4に示されているように、カメラにより撮像された画像160#1には、2機の航空機103#2、103#3が映っている。一つの航空機103#2は、空港101の周辺に現れて間もない機体であり、もう一つの航空機103#3は、現れてからある程度時間が経過している機体であるものとする。
【0031】
図5は、装置パフォーマンスの評価が「高」であり、タスク量が「少」と判断された場合にディスプレイ107に表示される映像に含まれる画像の一例である。
図5に示されている画像160#2にも、
図4と同様に、現れて間もない航空機103#2と、現れてからある程度時間が経過している航空機103#3が映っている。
データ分析部122は、航空機103#2及び航空機103#3が空間に現れた段階で新たに現れた機体として検出済みであり、さらに、航空機103#3の個別情報の推定も完了している。
【0032】
ここでは、データ分析部122での分析結果を信頼することができるため、データ分析部122が、第1の提示側タスク及び第2の提示側タスクを行い、監視作業従事者の第1の監視側タスク及び第2の監視側タスクを省略することで、監視作業従事者のタスク量を減らすことができる。
【0033】
このため、機体状態入力ポップアップ161には、データ分析部122で推定された個別情報である、航空機103#3の速度、近接距離及び異常有無の推定結果が表示されている。
【0034】
ここで監視作業従事者に課せられるタスクは、機体状態入力ポップアップ161に表示されている内容を確認し、これが正しい場合は、図示されていない入力部を用いて、図示されていない承認ボタンを押す、又は、修正すべき項目がある場合は、図示されていない入力部を用いて、その項目の修正を入力し、図示されていない承認ボタンを押すことである。表示された情報の正誤判断は、レーダ等の他のセンサの信号を目視すること、パイロットとの交信内容により判断すればよい。これは先に述べた監視側タスクのうち、第3の監視側タスクに相当する。
【0035】
図6は、装置パフォーマンスの評価が「中」であり、タスク量が「普通」と判断された場合にディスプレイ107に表示される映像に含まれる画像の一例である。
図6に示されている画像160#3にも、
図4と同様に、現れて間もない航空機103#2と、現れてからある程度時間が経過している航空機103#3が映っている。
データ分析部122は、航空機103#2及び航空機103#3が空間に現れた段階で新たに現れた機体として検出済みであり、さらに、航空機103#3の個別情報の推定も完了している。
【0036】
ここでは、データ分析部122が、第1の提示側タスクを行い、監視作業従事者の第1の監視側タスクは省略できるが、データ分析部122での分析結果の信頼度があまり高くないため、監視作業従事者の第2の監視側タスクを省略することはできない。このため、機種選択用ボタン領域162が表示されており、データ分析部122によってなされた航空機103#3の機種推定結果が表示されており、可能性が高い機種に対応する複数のボタンが、候補として並んでいる。また、機体状態入力ポップアップ161には、
図5と同様に、機体の速度、近接距離及び異常有無の推定結果が表示されている。
【0037】
監視作業従事者は、図示しない入力部を用いて、機種選択用ボタン領域162に表示されているボタンから正しい機種に対応するボタンを選択する。また、監視作業従事者は、機体状態入力ポップアップ161に表示されている内容を確認し、
図5の説明と同様に、正誤判定を行い、必要に応じた修正入力、及び、承認ボタンの押下を行う。これらは先に述べたタスクのうち第2の監視側タスクと、第3の監視側タスクとに相当する。
【0038】
図7は、装置パフォーマンスの評価が「低」であり、タスク量が「多」と判断された場合のディスプレイ107に表示される映像に含まれる画像の一例である。
図7に示されている画像160#4にも、
図4と同様に、現れて間もない航空機103#2と、現れてからある程度時間が経過している航空機103#3が映っている。
【0039】
データ分析部122は、航空機103#2及び航空機103#3が空間に現れた段階で新たに現れた機体として検出済みであり、さらに、航空機103#3の個別情報の推定も完了している。
但し、装置パフォーマンスの評価が低い状態では、監視作業従事者に課せられるタスクを省略することはできない。
このため、
図6に示されている装置パフォーマンスの評価が「中」である場合と同様に、画像160#4には、機体状態入力ポップアップ161及び機種選択用ボタン領域162が表示されている。
【0040】
データ分析部122は、画像において航空機である可能性が高い物体検出を行う。候補として検出された物体の近傍に発見確認用ボタン領域163が表示される。監視作業従事者は、検出された物体が航空機であるか否かを判定し、図示しない入力部を介して、表示されているボタンを選択することで、検出の正誤を入力する。
【0041】
ここでは、航空機103#3は、検出後ある程度時間経過しており、既に、監視作業従事者によって検出結果が正しいと判定されているものとする。
【0042】
以上のように、装置パフォーマンスが低い場合には、監視作業従事者は、上記の第1の監視側タスク、第2の監視側タスク及び第3の監視側タスクの全てを行う。
【0043】
以上に記載されたデータ分析部122、装置パフォーマンス推定部123、タスク量決定部124、表示内容決定部125及びデータ加工部126の一部又は全部は、例えば、
図8(A)に示されているように、メモリ10と、メモリ10に格納されているプログラムを実行するCPU(Central Processing Unit)等のプロセッサ11とにより構成することができる。言い換えると、情報提示装置120は、いわゆるコンピュータで実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【0044】
また、データ分析部122、装置パフォーマンス推定部123、タスク量決定部124、表示内容決定部125及びデータ加工部126の一部又は全部は、例えば、
図8(B)に示されているように、単一回路、複合回路、プログラムで動作するプロセッサ、プログラムで動作する並列プロセッサ、ASIC(Application Specific Integrated Circuit)又はFPGA(Field Programmable Gate Array)等の処理回路12で構成することもできる。
以上のように、データ分析部122、装置パフォーマンス推定部123、タスク量決定部124、表示内容決定部125及びデータ加工部126は、処理回路網により実現することができる。
【0045】
なお、データ受信部121は、例えば、NIC(Network Interface Card)等の通信インタフェースにより実現することができる。
また、情報提示装置120は、入力部として機能する、キーボード又はマウス等の入力インタフェース(図示せず)を備えてもよい。
【0046】
以上のように、実施の形態1によれば、装置パフォーマンスに応じて、監視作業従事者に課せられるタスク量を調整することができる。言い換えると、情報提示装置120のセンサ情報処理リソースと、監視作業従事者の視覚情報処理リソースとを適正に配分することができる。これによって、監視作業従事者の疲労度蓄積の速度を最低限に抑制することができる。
【0047】
なお、実施の形態1では、監視作業従事者が行う操作は、ボタン操作又はキーボードによる入力であるが、実施の形態1は、このような例に限定されない。
【0048】
また、以上に記載された実施の形態は、提示側タスクとして、第1の提示側タスク、第2の提示側タスク及び第3の提示側タスクが設定されているが、実施の形態1は、このような例に限定されない。例えば、タスク量決定部124は、第1の提示側タスク、第2の提示側タスク及び第3の提示側タスクのそれぞれに対応する確認項目に対応したパフォーマンス指標と、閾値とを定義して、確認項目毎に省略するか否かを決定してもよい。また、タスク量決定部124は、確認項目毎に複数段階の閾値設定を行い、確認方法を詳細にする、又は、簡略化する、とすることによってタスク量の調整を行ってもよい。
【0049】
また、データ分析部122は、航空機を検出するにあたり、過去に得た航空機の画像と、機種等の個別情報の関係を事前に学習しておくことができ、運用時に得た画像から航空機の出現を検出して、個別情報を推定することができる。
【0050】
以上に記載された実施の形態1において、センサデータとして、空港101の周辺を飛来する航空機を検出するレーダセンサから得られる航空機の情報(例えば、大きさ、移動速度等)が追加されてもよい。また、空港101周辺の気象条件を検出するためのセンサから得られるデータがセンサデータに追加されてもよい。これらのデータが追加されることで、データ分析部122による分析結果の信頼性向上とともに、装置パフォーマンス推定部123の出力結果の信頼性向上も期待できる。
【0051】
実施の形態2.
実施の形態2についても、航空管制システムを例に説明する。
図9は、実施の形態2に係る情報提示システムとしての航空管制システム200の構成を概略的に示すブロック図である。
航空管制システム200は、センサ110と、情報提示装置220と、作業用センサ240とを備える。
【0052】
実施の形態2に係る航空管制システム200のセンサ110は、実施の形態1に係る航空管制システム100のセンサ110と同様である。
【0053】
作業用センサ240は、監視作業従事者に関するデータを作業用データとして検出する。例えば、作業用センサ240は、監視作業従事者のパフォーマンスを計測するためのセンサである。具体的には、作業用センサ240は、監視作業従事者の視線、ボタン操作若しくはキーボード操作等の動作、表情、心拍、又は、呼吸等の生体データを作業用データとして収集する。作業用センサ240は、監視作業従事者の生体に直接取り付けて、その生体データを直接的に収集するものであっても、カメラ又は電波等を用いて非接触で収集するものであってもよい。
【0054】
図10は、実施の形態2における情報提示装置220の構成を概略的に示すブロック図である。
情報提示装置220は、データ受信部221と、データ分析部122と、装置パフォーマンス推定部123と、タスク量決定部224と、表示内容決定部125と、データ加工部126と、作業パフォーマンス推定部227とを備える。
【0055】
実施の形態2における情報提示装置220のデータ分析部122、装置パフォーマンス推定部123、表示内容決定部125及びデータ加工部126は、実施の形態1における情報提示装置120のデータ分析部122、装置パフォーマンス推定部123、表示内容決定部125及びデータ加工部126と同様である。
【0056】
データ受信部221は、センサ110から送られてきたセンサデータを受信する。
また、データ受信部221は、作業用センサ240から送られてくる生体データを受信する。
受信されたセンサデータは、データ分析部122及びデータ加工部126に与えられ、受信された生体データは、作業パフォーマンス推定部227に与えられる。
【0057】
作業パフォーマンス推定部227は、監視作業従事者の動作、表情、視線、心拍変動等の生体データを受け取り、その生体データから監視作業従事者の作業の効率を表す作業パフォーマンスを推定する。
【0058】
例えば、作業パフォーマンス推定部227は、監視作業従事者の視線移動速度、ボタン操作速度又は文字入力速度を作業パフォーマンスとすることができる。また、作業パフォーマンス推定部227は、これらから選択された複数のものの組み合わせの合計を作業パフォーマンスとすることもできる。
ここで、視線移動速度は、情報提示装置220が航空機と推定される物体を検出してから、その物体の検出位置に、監視作業従事者が視線を移動するまでの時間の逆数として算出することができる。
ボタン操作速度は、確認用ボタンが画面上に表示されてから、監視作業従事者がボタン操作を終えるまでの時間の逆数として算出することができる。
文字入力速度は、状態確認用ポップアップが表示されてから、監視作業従事者が文字入力を終えて承認ボタンを押すまでの時間の逆数として算出することができる。なお、文字入力速度は、作業従事者によるキー操作数を、その操作に要した時間で除した値である、キーボードのキー操作速度として算出することもできる。
【0059】
なお、作業パフォーマンス推定部227は、監視作業従事者の表情からネガティブな心理状態を検出した場合、又は、心拍若しくは呼吸から生理的な異常状態を検出した場合には、上記のように算出された値に、1以下の値を乗じることで作業パフォーマンスとしてもよく、また、作業パフォーマンスの値をゼロとしてもよい。
そして、作業パフォーマンス推定部227は、算出された作業パフォーマンスをタスク量決定部224に与える。
【0060】
タスク量決定部224は、装置パフォーマンスが高ければ高いほど、また、作業パフォーマンスが高ければ高いほど、監視作業従事者のタスク量が少なくなるように、そのタスク量を決定する。ここでは、タスク量決定部224は、装置パフォーマンス推定部123で算出された装置パフォーマンス及び作業パフォーマンス推定部227で推定された作業パフォーマンスを評価して、その評価結果から、監視作業従事者のタスク量を決定する。
【0061】
例えば、タスク量決定部224は、タスク処理に割り当てることが可能な装置と、監視作業従事者との総リソースを、装置パフォーマンスと、作業パフォーマンスとの線形和で表す。それぞれに係る係数は予め決められているものとし、係数をかけたものをそれぞれ装置リソース及び作業リソースとする。
【0062】
図11に示されている「総リソース」は、装置リソースと、作業リソースとの合算である。
図11に示されている点線は、第1の監視側タスク、第2の監視側タスク及び第3の監視側タスクをこなすために必要なリソースである必要リソースを表す。
【0063】
図11に示されている「リソース配分」は、装置リソースと、作業リソースとを調整した結果を表す。装置リソースの調整量はゼロであるが、調整後作業リソースは、必要リソースに対する総リソースの余剰分を作業リソースから差し引いたものである。
【0064】
タスク量決定部224は、
図12に示されているように総リソースを評価することで、監視作業従事者に課するタスク量を決定する。例えば、タスク量決定部224は、調整後作業リソースに対して、二つの閾値を用いることで、タスク量を、「多」、「普通」及び「少」の3段階で決定する。
【0065】
そして、タスク量が「少」と判定された場合、ディスプレイ107には
図5と同内容が表示される。処理内容及び監視タスクは
図5の説明と同様である。
タスク量が「普通」と判定された場合、ディスプレイ107には
図6と同内容が表示される。処理内容及び監視タスクは
図6の説明と同様である。
タスク量が「多」と判定された場合、ディスプレイ107には
図7と同内容が表示される。処理内容及び監視タスクは
図7の説明と同様である。
【0066】
以上に記載された作業パフォーマンス推定部227の一部又は全部は、例えば、
図8(A)に示されているように、メモリ10と、メモリ10に格納されているプログラムを実行するCPU等のプロセッサ11とにより構成することができる。
また、作業パフォーマンス推定部227の一部又は全部は、例えば、
図8(B)に示されているように、処理回路12で構成することもできる。
以上のように、作業パフォーマンス推定部227は、処理回路網により実現することができる。
【0067】
以上のように、実施の形態2によれば、装置パフォーマンスと、作業パフォーマンスとに応じて、監視作業従事者に課せられるタスク量を調整することができる。言い換えると、情報提示装置220のセンサ情報処理リソースと、監視作業従事者の視覚情報処理リソースとを適正に配分することができる。これによって、監視作業従事者の疲労度蓄積の速度を最低限に抑制できるとともに、監視タスクの品質も維持することができる。
【0068】
タスク量決定部224への入力情報として、空港101周辺の気象予報、予め決められている航空機の運航計画、航空管制業務に関わる人員配置計画等の外部情報が加えられてもよい。タスク量決定部224は、これらの情報を入力に加えることで、必要リソースの変動、装置パフォーマンスの変動、監視作業従事者の疲労蓄積又は人員交替による作業パフォーマンスの変動を予測することができ、リソース配分を柔軟に決定することもできる。例えば、総リソースを評価するための閾値を変えることで、一時的なタスク量増大を許容する、早期の人員交替を促す等の決定を行うことができる。
【0069】
具体的には、タスク量決定部224は、空港周辺の気象予報の入力を受けることで、装置パフォーマンスの低下及び回復を時系列として予測することができる。これにより、タスク量決定部224は、監視作業従事者が担うべきタスク量の評価、及び、監視にかかる各作業に必要なリソースの見積もりを行うことができる。例えば、装置パフォーマンスが低下する場合には、タスク量決定部224は、総リソースに対する閾値を小さくすることで、監視作業従事者のタスク量を増やしてもよい。
【0070】
また、タスク量決定部224は、航空機の運航計画の入力を受けることで、期間あたりに管制の対象となる航空機の数が増えることで、タスク量の増大を予測することができる。これにより、タスク量決定部224は、タスク量の増大が継続するか否かを航空機の運航計画から判定することができる。タスク量の増大が継続する場合は、作業パフォーマンスが低下すると予測することができるため、タスク量決定部224は、総リソースを評価するための閾値を大きくすることで、監視作業従事者のタスク量を少なくしてもよい。
【0071】
さらに、タスク量決定部224は、航空管制業務に関わる人員配置計画の入力を受けることで、人員配置計画から各人に課すタスク量の時系列変動を予測することができる。これにより、タスク量決定部224は、各人の作業パフォーマンスが時間経過と課したタスク量に応じて低下するので、これを考慮した各人の作業パフォーマンスの時系列変動を予測することができる。監視作業従事者の作業パフォーマンスが低下する場合には、タスク量決定部224は、総リソースを評価するための閾値を大きくすることで、監視作業従事者のタスク量を少なくしてもよい。
【0072】
以上のように、タスク量決定部224は、装置パフォーマンスが低下すると予測される場合には、監視作業従事者のタスク量を増やしてもよく、作業パフォーマンスが低下すると予測される場合には、そのタスク量を減らしてもよい。
【0073】
なお、総リソースが必要リソースを下回る場合、又は、上記のように装置パフォーマンスと作業パフォーマンスの予測を行って、総リソースが必要リソースを下回る予測結果が得られる場合もありうる。このような場合は、情報提示装置220は、補助人員又は代替人員の必要性を監督者に警告する等を行ってもよい。
【0074】
なお、作業パフォーマンス推定部227は、作業用センサ240から得られる生体データと、監視作業従事者の作業パフォーマンスの関係を事前学習しておき、運用時に得られる生体データから作業パフォーマンスを推定してもよい。
【0075】
実施の形態3.
監視作業従事者に課すタスク量が少ない状態が継続することで、監視作業従事者の感覚が鈍化して作業パフォーマンスが低下することも考えられる。この場合、監視作業従事者のタスク量を意図的に揺らがせることも有効である。
【0076】
実施の形態3についても、航空管制システムを例に説明する。
図9に示されているように、実施の形態3に係る情報提示システムとしての航空管制システム300は、センサ110と、情報提示装置320と、作業用センサ240とを備える。
【0077】
実施の形態3に係る航空管制システム300のセンサ110は、実施の形態1に係る航空管制システム100のセンサ110と同様である。
実施の形態3に係る航空管制システム300の作業用センサ240は、実施の形態2に係る航空管制システム200の作業用センサ240と同様である。
【0078】
図10に示されているように、実施の形態3における情報提示装置320は、データ受信部221と、データ分析部122と、装置パフォーマンス推定部123と、タスク量決定部224と、表示内容決定部325と、データ加工部126と、作業パフォーマンス推定部227とを備える。
【0079】
実施の形態3における情報提示装置320のデータ分析部122、装置パフォーマンス推定部123及びデータ加工部126は、実施の形態1における情報提示装置120のデータ分析部122、装置パフォーマンス推定部123及びデータ加工部126と同様である。
また、実施の形態3における情報提示装置320のデータ受信部221、タスク量決定部224及び作業パフォーマンス推定部227は、実施の形態2における情報提示装置220のデータ受信部221、タスク量決定部224及び作業パフォーマンス推定部227と同様である。
【0080】
表示内容決定部325は、データ分析部122の分析結果、及び、タスク量決定部224で決定された監視作業従事者のタスク量を受け取り、監視作業従事者のタスク量に応じて、ディスプレイ107の表示内容を決定する。
ここで、実施の形態3においては、表示内容決定部325は、あるタスク量に対応する表示内容と、他のタスク量に対応する表示内容とを切り替える。言い換えると、表示内容決定部325は、タスク量に対応して表示する内容を、時間に応じて変化させる。
【0081】
例えば、タスク量が「少」と判定された場合、ディスプレイ107には、
図5と同内容が表示される。処理内容及び監視タスクは
図5の説明と同様である。また、
図6と同内容も表示される。処理内容及び監視タスクは
図6の説明と同様である。
図5の表示がされるか、
図6の表示がされるかは交互にする等規則的に定められてもよいし、一定期間における表示割合が一定になるようにランダムに設定されていてもよい。
【0082】
タスク量が「普通」と判定された場合、ディスプレイ107には、
図6と同内容が表示される。処理内容及び監視タスクは
図6の説明と同様である。また、
図7と同内容も表示される。処理内容及び監視タスクは
図7の説明と同様である。
図6の表示がされるか、
図7の表示がされるかは交互にする等規則的に定められてもよいし、一定期間における表示割合が一定になるようにランダムに設定されていてもよい。
【0083】
タスク量が「多」と判定された場合、ディスプレイ107には
図7と同内容が表示される。処理内容及び監視タスクは
図7の説明と同様である。
【0084】
以上により監視作業従事者に課すタスク量を意図的に揺らがせることができ、この結果、監視作業従事者の監視作業に関わる感覚の鈍化を抑止して、監視タスクの品質を維持することができる。
【0085】
実施の形態4.
データ分析部122による航空機の検出結果を第1の監視側タスクの補助に用いる方法として、監視作業従事者の視線を誘導する制御を行うことも有効で、タスク量を細やかに調整することが可能となる。
【0086】
図1に示されているように、実施の形態4に係る情報提示システムとしての航空管制システム400は、センサ110と、情報提示装置420とを備える。
【0087】
実施の形態4に係る航空管制システム400のセンサ110は、実施の形態1に係る航空管制システム100のセンサ110と同様である。
【0088】
図3に示されているように、実施の形態4における情報提示装置420は、データ受信部121と、データ分析部122と、装置パフォーマンス推定部123と、タスク量決定部124と、表示内容決定部425と、データ加工部126とを備える。
【0089】
実施の形態4における情報提示装置420のデータ受信部121、データ分析部122、装置パフォーマンス推定部123、タスク量決定部124及びデータ加工部126は、実施の形態1における情報提示装置120のデータ受信部121、データ分析部122、装置パフォーマンス推定部123、タスク量決定部124及びデータ加工部126と同様である。
【0090】
表示内容決定部425は、実施の形態1と同様に、タスク量決定部124で決定された、監視作業従事者のタスク量に応じて、ディスプレイ107の表示内容を決定する。
また、表示内容決定部425は、例えば、監視作業従事者が、図示しない入力部を介して、指示を行った場合に、監視作業従事者のタスクを補助するための内容の表示を行うことを決定する。
【0091】
例えば、表示内容決定部425は、データ分析部122の分析により検出された監視対象物の位置を示す内容の表示を行うことを決定することができる。例えば、表示内容決定部425は、データ分析部122による航空機の検出結果により、監視作業従事者の第1の監視側タスクを補助するために、以下のような画面を表示するための表示内容を決定する。以下の、
図13~
図16は、表示内容決定部425によって決定された表示内容に従って、データ加工部126が加工したデータに基づく映像に含まれている画像である。
【0092】
例えば、
図13は新たに現れた航空機を探索する第1の監視側タスクを補助するための第1の表示例を示す概略図である。
図13に示されている画像160#5では、センサデータで示される画像の特定の位置にインジケータ表示窓164が設けられている。
【0093】
インジケータ表示窓164には、インジケータとして矢印164aが表示される。データ分析部122が画像中に航空機と推定される物体を検出した場合に、その矢印164aは、その物体が検出された位置を指し示す。言い換えると、ディスプレイ107のある点を原点として、視線を原点からみて特定の方向に誘導するように、矢印164aが表示される。なお、誘導する方法は矢印164aではなく、別の記号、例えば、人の目を模した記号がその物体の方向を向くようにする等の方法で行われてもよい。
【0094】
この場合、監視作業従事者は、画像160#5において、図示しない入力部を用いて、カーソルを操作することにより、その物体の位置に合わせてクリックすることで、新たな航空機の検出が完了したことを確認する。これは
図7の説明中にあるボタンを押すことに相当する。
【0095】
なお、タスク量を調整するために第1の監視側タスクを省略する場合、インジケータを表示する窓を閉じることで実現することができる。
【0096】
また、第1の監視側タスクを課すか否かではなく、第1の監視側タスクの難易度を調節することで、実施の形態3で示した感覚の鈍化抑止を実現できる。例えば、表示内容決定部425は、
図14に示されている画像160#6のように、インジケータ表示窓164は開いているがインジケータを表示しないことで、監視作業従事者が自ら視線を走査することで航空機を探索することを促してもよい。また、表示内容決定部425は、インジケータ表示窓を開いてからインジケータを表示するまでの時間を遅延させる等の方法により、監視作業従事者が情報提示装置420に頼らずに、第1の監視側タスクのために視覚情報リソースを多く用いることを促すこともできる。
【0097】
監視作業従事者の視線を誘導する他の制御として、表示内容決定部425は、ディスプレイ107上の部位毎にコントラストを変化させること等を用いてもよい。
【0098】
図15に示されている画像160#7は、検出された物体を含む映像部分のコントラストを変化させエッジ強調した例である。
また、
図16に示されている画像160#8のように、検出された物体を拡大することにより、監視作業従事者の視線を誘導してもよい。
【0099】
なお、以上に記載された実施の形態1~4では、情報提示装置120~420は、ディスプレイ107を含んでないが、情報提示装置120~420がディスプレイ107を含んでいてもよい。
【符号の説明】
【0100】
100,200,300,400 航空管制システム、 107 ディスプレイ、 110 センサ、 120,220,320,420 情報提示装置、 121,221 データ受信部、 122 データ分析部、 123 装置パフォーマンス推定部、 124,224 タスク量決定部、 125,325 表示内容決定部、 126 データ加工部、 227 作業パフォーマンス推定部。