ホーム > 特許ランキング > ソフトバンク株式会社
特開2024-65318運行監視を評価するためのプログラム、システム、及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024065318
(43)【公開日】2024-05-15
(54)【発明の名称】運行監視を評価するためのプログラム、システム、及び方法
(51)【国際特許分類】
G06Q 50/40 20240101AFI20240508BHJP
G08G 1/16 20060101ALI20240508BHJP
G08G 1/00 20060101ALI20240508BHJP
【ＦＩ】
G06Q50/30
G08G1/16 A
G08G1/00 X
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022174124
(22)【出願日】2022-10-31
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】渡邊 美友貴
(72)【発明者】
【氏名】竹内 和雅
【テーマコード（参考）】
5H181
5L049
5L050
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB05
5H181BB13
5H181BB18
5H181CC04
5H181FF10
5H181FF13
5H181FF33
5H181LL01
5H181LL02
5H181LL04
5H181LL06
5H181LL09
5L049CC42
5L050CC42
(57)【要約】
【課題】自動運行可能な移動体を監視する運行監視者の訓練を効率良く評価することができる技術を提供する。
【解決手段】プログラムは、コンピュータに、所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するためのプログラムであって、コンピュータに、被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、を実行させる。
【選択図】図１
【解決手段】プログラムは、コンピュータに、所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するためのプログラムであって、コンピュータに、被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、を実行させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するためのプログラムであって、コンピュータに、
被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、
前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、
を実行させる、プログラム。
被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、
前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、
を実行させる、プログラム。
【請求項2】
前記受付ステップは、
前記被評価者による、複数の前記アラートを複数のサブアラート群に分類した分類結果に関する入力を受け付ける分類結果受付ステップ、を含み、
前記複数のサブアラート群は第１のサブアラート群と第２のサブアラート群とを含み、
前記被評価者による前記分類結果は、前記第１のサブアラート群に含まれる前記アラートは前記被評価者により処理され、前記第２のサブアラート群に含まれる前記アラートは他の運行監視者により処理される、という判断結果を含む、
請求項１に記載のプログラム。
前記被評価者による、複数の前記アラートを複数のサブアラート群に分類した分類結果に関する入力を受け付ける分類結果受付ステップ、を含み、
前記複数のサブアラート群は第１のサブアラート群と第２のサブアラート群とを含み、
前記被評価者による前記分類結果は、前記第１のサブアラート群に含まれる前記アラートは前記被評価者により処理され、前記第２のサブアラート群に含まれる前記アラートは他の運行監視者により処理される、という判断結果を含む、
請求項１に記載のプログラム。
【請求項3】
前記アラート及び前記状況判断材料情報に対して比較対象となる者が示した前記状況判断、前記分類結果、及び／又は前記運行判断と、前記被評価者による前記状況判断、前記分類結果、及び／又は前記運行判断と、を比較することにより、前記被評価者の前記運行監視を評価する評価ステップ、
を前記コンピュータにさらに実行させる、請求項２に記載のプログラム。
を前記コンピュータにさらに実行させる、請求項２に記載のプログラム。
【請求項4】
前記被評価者による前記分類結果は、２つ以上の前記アラートをまとめて処理する、という判断結果を含む、
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項5】
前記評価ステップは、
前記比較対象となる者が示した前記状況判断、前記分類結果、及び／又は前記運行判断に基づき算出される統計分布及び／又は確率を算出する算出ステップを含む、
請求項３に記載のプログラム。
前記比較対象となる者が示した前記状況判断、前記分類結果、及び／又は前記運行判断に基づき算出される統計分布及び／又は確率を算出する算出ステップを含む、
請求項３に記載のプログラム。
【請求項6】
前記評価ステップは、
前記被評価者による前記状況判断についての、前記比較対象となる者が示した前記状況判断に対する正答率に対応する確率により、前記被評価者による前記状況判断を評価する状況判断評価ステップを含み、
前記正答率に対応する確率は、前記被評価者による前記状況判断と、前記比較対象となる者が示した前記状況判断との偏差を積算した値に基づく、
請求項５に記載のプログラム。
前記被評価者による前記状況判断についての、前記比較対象となる者が示した前記状況判断に対する正答率に対応する確率により、前記被評価者による前記状況判断を評価する状況判断評価ステップを含み、
前記正答率に対応する確率は、前記被評価者による前記状況判断と、前記比較対象となる者が示した前記状況判断との偏差を積算した値に基づく、
請求項５に記載のプログラム。
【請求項7】
前記比較対象となる者が示した前記分類結果は、前記複数のサブアラート群のいずれのサブアラート群について前記比較対象となる者が処理すると判断したかについて、前記サブアラート群のそれぞれについて確率で表すデータを含み、
前記評価ステップは、
前記被評価者による前記分類結果と、前記比較対象となる者が示した前記分類結果との偏差の２乗値を積算した値に基づき算出される評価関数により、前記被評価者による前記分類結果を評価する分類結果評価ステップを含み、
前記評価関数は、前記被評価者による前記分類結果と、前記比較対象となる者が示した前記分類結果との偏差の２乗値を前記サブアラート群について積算した値を用いたカイ２乗分布に基づく関数を含む、
請求項５に記載のプログラム。
前記評価ステップは、
前記被評価者による前記分類結果と、前記比較対象となる者が示した前記分類結果との偏差の２乗値を積算した値に基づき算出される評価関数により、前記被評価者による前記分類結果を評価する分類結果評価ステップを含み、
前記評価関数は、前記被評価者による前記分類結果と、前記比較対象となる者が示した前記分類結果との偏差の２乗値を前記サブアラート群について積算した値を用いたカイ２乗分布に基づく関数を含む、
請求項５に記載のプログラム。
【請求項8】
前記比較対象となる者が示した前記運行判断は、複数の運行判断候補のうちのいずれの運行判断候補を前記比較対象となる者のそれぞれが選択したかについて、前記複数の運行判断候補のそれぞれについて確率で表すデータを含み、
前記評価ステップは、
前記被評価者による前記運行判断と、前記比較対象となる者が示した前記運行判断との偏差の２乗値を前記アラートについて積算した値に基づき算出される評価関数により、前記被評価者による前記運行判断を評価する運行判断評価ステップを含み、
前記評価関数は、前記被評価者による前記運行判断と、前記比較対象となる者が示した前記運行判断との偏差の２乗値を前記アラートについて積算した値を用いたカイ２乗分布に基づく関数を含む、
請求項５に記載のプログラム。
前記評価ステップは、
前記被評価者による前記運行判断と、前記比較対象となる者が示した前記運行判断との偏差の２乗値を前記アラートについて積算した値に基づき算出される評価関数により、前記被評価者による前記運行判断を評価する運行判断評価ステップを含み、
前記評価関数は、前記被評価者による前記運行判断と、前記比較対象となる者が示した前記運行判断との偏差の２乗値を前記アラートについて積算した値を用いたカイ２乗分布に基づく関数を含む、
請求項５に記載のプログラム。
【請求項9】
所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するシステムであって、
運行監視評価装置と、
運行監視装置と、
アラート発信装置と、
評価データベースと、を備え、
前記評価データベースは、被評価者に提示される前記アラートと、前記アラートに関連付けられる状況判断材料情報と、前記アラート及び前記状況判断材料情報に基づき比較対象となる者が示した状況判断、前記アラートの分類結果、及び／又は前記状況判断に対応する運行判断を格納し、
前記アラート発信装置は、前記アラートを前記運行監視装置に対して発信し、
前記運行監視装置は、前記アラートの発信に応じて、
前記被評価者に前記アラートに関連する前記状況判断材料情報を提示する提示ステップと、
前記提示ステップの後に、前記被評価者による前記状況判断と、複数の前記アラートを複数のサブアラート群に分類した分類結果と、前記運行判断と、に関する入力を受け付ける受付ステップと、
を実行可能に構成され、
前記運行監視評価装置は、
前記アラート発信装置に、前記評価データベースに格納される前記アラートに基づき、前記アラートを発信させるステップと、
前記運行監視装置に、前記評価データベースに格納された、前記アラート発信装置から発信される前記アラートに関連する前記状況判断材料情報を提供するステップと、
前記比較対象となる者が示した前記状況判断、前記分類結果、及び／又は前記運行判断と、前記被評価者による前記状況判断、前記分類結果、及び／又は前記運行判断と、を比較することにより前記被評価者の前記運行監視を評価する評価ステップと、
を実行可能に構成される、
システム。
運行監視評価装置と、
運行監視装置と、
アラート発信装置と、
評価データベースと、を備え、
前記評価データベースは、被評価者に提示される前記アラートと、前記アラートに関連付けられる状況判断材料情報と、前記アラート及び前記状況判断材料情報に基づき比較対象となる者が示した状況判断、前記アラートの分類結果、及び／又は前記状況判断に対応する運行判断を格納し、
前記アラート発信装置は、前記アラートを前記運行監視装置に対して発信し、
前記運行監視装置は、前記アラートの発信に応じて、
前記被評価者に前記アラートに関連する前記状況判断材料情報を提示する提示ステップと、
前記提示ステップの後に、前記被評価者による前記状況判断と、複数の前記アラートを複数のサブアラート群に分類した分類結果と、前記運行判断と、に関する入力を受け付ける受付ステップと、
を実行可能に構成され、
前記運行監視評価装置は、
前記アラート発信装置に、前記評価データベースに格納される前記アラートに基づき、前記アラートを発信させるステップと、
前記運行監視装置に、前記評価データベースに格納された、前記アラート発信装置から発信される前記アラートに関連する前記状況判断材料情報を提供するステップと、
前記比較対象となる者が示した前記状況判断、前記分類結果、及び／又は前記運行判断と、前記被評価者による前記状況判断、前記分類結果、及び／又は前記運行判断と、を比較することにより前記被評価者の前記運行監視を評価する評価ステップと、
を実行可能に構成される、
システム。
【請求項10】
所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価する方法であって、
被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、
前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、
を含む、方法。
被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、
前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運行監視を評価するためのプログラム、システム、及び方法に関する。
【背景技術】
【0002】
自動運転車両などの自動運行可能な移動体や、このような自動運行可能な移動体を遠隔から監視する技術についての研究開発が進められてきている。例えば、特許文献１には、複数の自動運転車両を監視する監視システムにおいて、自動運転車両から送信されるアラームの作業負荷の度合いに基づき各監視者が監視する自動運転車両を割り当てることにより、監視精度を向上する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０５２９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、今後、自動運転サービスの展開が進み、訓練された運行監視者が大幅に増員されると予測され、これら運行監視者の訓練が必要となる。したがって、運行監視者の訓練を効率良く評価することが望まれる。
【0005】
そこで、本発明は自動運行可能な移動体を監視する運行監視者の訓練を効率良く評価することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係るプログラムは、所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するためのプログラムであって、コンピュータに、被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、を実行させる。
【発明の効果】
【0007】
本発明によれば、自動運行可能な移動体を監視する運行監視者の訓練を効率良く評価することができる技術を提供することができる。
【図面の簡単な説明】
【0008】
【図1】本開示の実施形態に係る運行監視評価システム１の一例を示す図である。
【図2】本開示の実施形態に係る運行監視評価装置１０及び運行監視装置３００のハードウェア構成例を示す図である。
【図3】本開示の実施形態に係る運行監視評価装置１００の機能ブロック構成例を示す図である。
【図4】本開示の実施形態に係るアラート発信装置２００の機能ブロック構成例を示す図である。
【図5】本開示の実施形態に係る運行監視装置３００の機能ブロック構成例を示す図である。
【図6】本開示の実施形態に係る運行監視の評価の処理の概要を示す図である。
【図7A】複数のアラートの処理の判断の例を示す図である。
【図7B】複数のアラートの処理の判断の例を示す図である。
【図8】本開示の実施形態において実行される運行監視の評価処理のフローチャートの一例を示す図である。
【図9】本開示の実施形態において実行される例示の運行監視の評価処理のフローチャートを示す図である。
【図10】本開示の実施形態における評価用データ作成システム２の一例を示す図である。
【図11】本開示の実施形態における評価用データ作成システム２の機能ブロック構成を示す図である。
【図12】本開示の実施形態において実行される例示の評価データ作成処理のフローチャートの一例を示す図である。
【図13】本開示の実施形態に係る運行監視評価装置７００の一例を示す図である。
【図14】本開示の実施形態に係る運行監視評価システム１２の一例を示す図である。
【図15】本開示の実施形態に係る運行監視評価システム１４の一例を示す図である。
【発明を実施するための形態】
【0009】
添付図面を参照して、本開示の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0010】
はじめに、後述する本開示の実施の形態に至った経緯について説明する。
【0011】
近年、世界各国で自動運転が大きな注目を集めている。日本においても、２０２５年度中を目標とした全国規模での自動運転レベル４の自動運転サービス開始に向け、自動運転システムの技術開発及び法制度の整備等が進められている。自動運転レベル４では特定条件下においてのみ完全自動運転が成立する。自動運転レベル４の環境では、例えば、高速道路内や所定の平均時速の都市環境のように、自動運転車両が走行可能な領域を限定し、限定された領域や環境内において車両の運転操作が運転システムにより完全に自動で行われる。限定される領域は運行設計領域（ＯＤＤ：Operation Design Domain）とも称され、自動運転レベル４は、例えば空港内や限られた集落等での実現が想定されている。自動運転レベル４の自動運転サービスの例としては、空港内で所定のルートを回送されるバスやタクシー等の公共交通機関、また、輸送車等の運送サービスがある。自動運転レベル４では、ＯＤＤ内に限定して、自動運転車両が作動困難となった場合でも、運転者が介入することなく走行が可能である。また、自動運転車両だけでは判断できない状況に陥った際には、自動運転車両側からのアラートを契機に、ＯＤＤ内の所定の領域を担当する運行監視者に運行の判断が委ねられる。レベル４の自動運転サービスにおいては、例えば遠隔監視を行う運行監視者に事故時等での適切な対応が求められている。運行監視には、自動運転車両の走行状態、システムの作動状況、進行方向を含む周辺環境を遅延なく運行監視者が把握可能であることや、運行監視者の操作によって遅延なく作動・停止することが可能であること、また、自動運転継続が困難な場合（ＯＤＤ逸脱時、システム異常時、通信断絶時、事故や災害発生時等）には、運行監視者へ通知すること等が望まれる。
【0012】
レベル４の自動運転サービスのように、全国規模で自動運転サービスが展開される社会にあっては、運行車両数の増加に伴ってアラートが同時に複数発生してくることも想定される。運行監視者はこういった事象に迅速に、かつ他の運行監視者と適宜協力して対応できるように様々なシチュエーションで訓練されることが望ましい。しかしながら、様々なシチュエーションの訓練を行うには、例えば、熟練した運行監視者等が被訓練者に張り付き、シチュエーション毎の訓練結果の評価を行う必要があり、運行監視者の十分な訓練には人的コストが掛かってしまう可能性がある。
【0013】
そこで、本発明者等は、自動運転社会における運行監視者の訓練の評価を効率化させる方策について検討し、本開示の実施形態を想到した。
【0014】
後述するように、本開示の実施形態は、所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視の評価に関する。本開示の実施形態の運行監視の評価においては、被評価者にアラート及びアラートに関連付けられる状況判断材料情報を提示し、その後、被評価者による状況判断及び運行判断に関する入力を受け付ける。従って、本開示の実施形態に係る運行監視の評価によれば、被評価者が、自動運行可能な移動体で所定の事象の発生に応じて発信されるアラート及びアラートに関連付けられる状況判断材料情報に基づき、状況判断について示す情報の入力を受け付ける。状況判断材料情報は、例えば自動運行可能な移動体の周辺の交通環境に関する情報や移動体に設けられたカメラなどの撮像装置により撮影された車内外の映像、移動体内外の音声情報等、所定の事象の発生時における移動体自体及び／または移動体周辺の環境に関する情報であってもよい。従って、状況判断に関する情報は、例えば所定の事象が発生した際に移動体内外のシチュエーションに関する情報に基づき被評価者が把握した状況に関する。また、本開示の実施形態に係る運行監視の評価によれば、被評価者は、被評価者が把握したアラート発信時の状況判断に対応するための運行判断について示す情報も受け付ける。運行判断に関する情報は、例えば、被評価者が把握した状況に対し、被評価者が、どのような対応をすべきか判断した情報であってもよい。本開示の実施形態に係る運行監視の評価においては、状況判断及び運行判断に関する情報を受け付けることにより、例えば状況判断及び運行判断を用いて、アラート及び状況判断材料情報に基づき、被評価者が正しく状況を把握できたか、及び把握した状況に対し適切な運行判断を見出すことができたか、に関する情報を取得し、例えば後述するような被評価者の評価を行う際にこれらの２点の項目について評価を行うことができる。従って、訓練対象となる被評価者の運行監視の評価を効率良く実施することができる。
【0015】
また、本開示の実施形態に係る運行監視の評価方法は、例えば自動運行可能な移動体の運行監視者を訓練する際の運行監視者の評価に用いられてもよい。本開示の実施形態に係る運行監視の評価方法が自動運行可能な移動体の運行監視者の訓練時の評価に用いられる場合には、例えば、全国各地において行われる自動運転サービスの実績データ（自動運転車両のアラート情報や、周辺の交通環境、運行監視者の運行指示情報等の状況判断材料情報として用いることが可能な情報）を、運行監視者の訓練のために使用することができる。また、アラート情報や、状況判断材料情報（周辺の交通環境、車内の映像や自動運行車両の各種センサにより収集されるデータ等）を用いて訓練シナリオはランダムに生成されてもよい。生成された訓練シナリオ毎に、例えば、熟練の運行監視者がアラートに対してどのような状況判断をしたか、また、状況認識のポイントデータ（状況を認識し、状況判断を行ったタイミングに関するデータ）が実績データに集積されてもよい。例えば、運行監視の訓練の際に、状況認識のポイントデータを用いて、訓練中の運行監視者が状況判断を行うタイミングを決定し、訓練中の運行監視者に通知されてもよい。同様に、運行判断として、各アラートに対して熟練した運行監視者がどのような運行判断を行なったか、例えばアラートの優先順位付け、アラートが複数発生した場合の追加の運行監視者の割り当て、緊急車両の手配等、外部への運行指示等のデータが実績データとして集積されてもよい。
【0016】
運行監視者の訓練においては、熟練した運行監視者が過去に行った運行監視の実績データを用いて、様々な運行シチュエーションにおける、アラート及び状況判断材料（シチュエーション）に関する情報である状況判断材料情報に応じた状況判断を行い、訓練される運行監視者である被評価者が適切な運行判断が行えているかについて評価されてもよい。アラート及びシチュエーションに応じた状況把握を行えているかどうかは、訓練システムの画面操作及び音声認識技術を活用し、シナリオに含まれる状況把握ポイントとの比較を行うことによって自動的に行ってもよい。
【0017】
さらに、適切な運行判断であるかどうかの評価は、アラート及び状況把握に紐づく熟練した運行監視者による実績データに基づいた運行判断と比較して、統計分布及び確率で評価することができる。熟練の運行監視者による運行監視の実績データに基づいた運行判断では、アラートが２件以上発生している状況においてそれらの優先順位付けを行い追加の運行監視者を割り当てる場合、及び２つ以上の運行判断を実施する場合も、１件の運行判断パターンとして計上し、自動運転社会における複雑事象を複数の運行監視者で意思決定する訓練シナリオの評価にも対応可能な構成としてもよい。統計分布や確率等を用いて定量的に評価することにより、状況把握、アラートの優先順位及び追加の運行監視者の割り当てに関する判断、及びそれらに基づく運行判断の尤もらしさ等を数値で算出し、訓練の振り返りを可能とすることができる。
【0018】
以上のように、本開示の実施形態に係る運行監視の評価方法は、自動運行可能な移動体の運行監視者の訓練時の評価において用いられてもよい。上述のように、レベル４の自動運転サービスの展開においては、例えば空港等の限定された運行設計領域内において運転者が介入することなく完全な自動運転が可能となるので、事故時の対応等のため、例えば遠隔からの運行監視が望まれると考えられる。本開示の実施形態に係る運行監視の評価方法を自動運行可能な移動体の運行監視者の訓練時の評価に用いることにより、訓練される運行監視者の評価を効率良く行うことができる。また、運行監視者に対し、より客観的な評価をすることが可能となる。従って、特に多数の運行監視者を訓練する際においても効率良く評価を行い、訓練を実行することが可能となる。従って、レベル４の自動運転サービスの展開時のように、多数の自動運転車両が短期間に導入された場合においても、対応可能な運行監視者の訓練が可能となる。
【0019】
以下、図面を参照して本実施形態に係る運行監視の評価プログラム、運行監視の評価システム、及び運行監視の評価方法について説明する。
【0020】
本開示の実施形態の一態様は、所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するためのプログラムに関する。本開示のプログラムは、コンピュータに、被評価者にアラート及びアラートに関連付けられる状況判断材料情報を提示する提示ステップと、提示ステップの後に、被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、を実行させる。
【0021】
本開示の実施形態の他の態様は、所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するシステムに関する。本開示の実施形態に係る運行監視の評価システムは、運行監視評価装置と、運行監視装置と、アラート発信装置と、評価データベースと、を備える。評価データベースは、被評価者に提示されるアラートと、アラートに関連付けられる状況判断材料情報と、アラート及び状況判断材料情報に基づき比較対象となる者が示した状況判断、アラートの分類結果、及び／又は状況判断に対応する運行判断を格納する。アラート発信装置は、アラートを運行監視装置に対して発信する。運行監視装置は、アラートの発信に応じて、被評価者にアラートに関連する状況判断材料情報を提示する提示ステップと、提示ステップの後に、被評価者による状況判断と、複数のアラートを複数のサブアラート群に分類した分類結果と、運行判断と、に関する入力を受け付ける受付ステップと、を実行可能に構成される。運行監視評価装置は、アラート発信装置に、評価データベースに格納されるアラートに基づき、アラートを発信させるステップと、運行監視装置に、評価データベースに格納された、アラート発信装置から発信されるアラートに関連する状況判断材料情報を提供するステップと、比較対象となる者が示した状況判断、分類結果、及び／又は運行判断と、被評価者による状況判断、分類結果、及び／又は運行判断と、を比較することにより被評価者の運行監視を評価する評価ステップと、を実行可能に構成される。
【0022】
本開示の実施形態のさらに他の態様は、所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価する方法に関する。本開示の実施形態に係る運行監視の評価方法は、被評価者にアラート及びアラートに関連付けられる状況判断材料情報を提示する提示ステップと、提示ステップの後に、被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、を含む。
【0023】
＜システム構成＞
図１は、本開示の実施形態に係る運行監視評価システム１の一例を示す図である。図１に示すように、本開示の実施形態に係る運行監視評価システム１は、運行監視評価装置１００と、アラート発信装置２００と、運行監視装置３００－１、運行監視装置３００－２、…、運行監視装置３００－ｎ（ｎは自然数）とを備える。運行監視評価装置１００と、アラート発信装置２００と、運行監視装置３００－１～３００－ｎとは、例えばインターネットや電話網などのネットワーク２０を介して有線または無線によって接続される。運行監視装置３００－１～３００－ｎは、例えば評価用の運行監視装置である。以下、運行監視装置３００－１～３００－ｎのうちの任意の運行監視装置を運行監視装置３００とも記載する。運行監視評価システム１は、データベースＤＢをさらに備える。
図１は、本開示の実施形態に係る運行監視評価システム１の一例を示す図である。図１に示すように、本開示の実施形態に係る運行監視評価システム１は、運行監視評価装置１００と、アラート発信装置２００と、運行監視装置３００－１、運行監視装置３００－２、…、運行監視装置３００－ｎ（ｎは自然数）とを備える。運行監視評価装置１００と、アラート発信装置２００と、運行監視装置３００－１～３００－ｎとは、例えばインターネットや電話網などのネットワーク２０を介して有線または無線によって接続される。運行監視装置３００－１～３００－ｎは、例えば評価用の運行監視装置である。以下、運行監視装置３００－１～３００－ｎのうちの任意の運行監視装置を運行監視装置３００とも記載する。運行監視評価システム１は、データベースＤＢをさらに備える。
【0024】
運行監視評価装置１００は、例えば運行監視評価サーバであってもよく、運行監視装置３００において行われる被評価者による運行監視の評価を実現するために必要なデータを運行監視装置３００に提供し、また運行監視装置３００において被評価者により入力される情報を取得することができる。運行監視評価装置１００は、例えば１又は複数の物理的なサーバ等から構成されてもよいし、ハイパーバイザー（hypervisor）上で動作する仮想的なサーバを用いて構成されてもよいし、クラウドサーバを用いて構成されてもよい。
【0025】
アラート発信装置２００は、運行監視評価装置１００からの指示により、運行監視装置３００に対してアラートを発信するように構成されている。運行監視評価装置１００は、例えばデータベースＤＢに格納されるアラートに関する情報を取得し、取得したアラートに関する情報に基づき、アラート発信装置２００に、運行監視装置３００に対するアラートを発信させる。
【0026】
運行監視装置３００は、被評価者である監視者が行う自動運行可能な移動体の監視に用いられる。運行監視装置３００は、アラート発信装置２００からのアラートを受信し、運行監視評価装置１００がデータベースＤＢより取得する、アラート発生時の自動運行可能な移動体の状況についての状況判断材料に関する情報である状況判断材料情報及びアラートに基づき運行監視者が示す状況判断に関する情報（以下、第１の情報とも称する）を受け付ける。また、運行監視装置３００は、運行監視者が示す状況判断に対応する運行判断に関する情報（以下、第２の情報とも称する）を受け付ける。
【0027】
データベースＤＢは、上述のように、運行監視者の評価に用いられる情報が格納されており、例えば評価において比較対象となる者（例えば熟練した運行監視者）が運行監視を行った際に発信されたアラートに関する情報と、アラート発信時の監視対象であった自動運行可能な移動体の状況に関する状況判断材料情報と、比較対象となる者が示した状況判断及び運行判断に関する情報とを格納してもよい。
【0028】
＜ハードウェア構成＞
図２は、本開示の実施形態に係る運行監視評価装置１００及び運行監視装置３００のハードウェア構成例を示す図である。運行監視評価装置１００及び運行監視装置３００は、演算部に相当するＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）等のプロセッサ１０ａと、ＨＤＤ（Hard Disk Drive）及び／又はＳＳＤ（Solid State Drive）等のメモリ１０ｂと、有線又は無線通信を行う通信部（Interface）１０ｃと、入力操作を受け付ける入力部１０ｄと、情報の出力を行う出力部１０ｅと、を有する。入力部１０ｄは、例えば、キーボード、タッチパネル、マウス及び／又はマイク等である。出力部１０ｅは、例えば、ディスプレイ及び／又はスピーカ等である。なお、詳細な説明は省略するが、例えば、アラート発信装置２００等の他の装置も同様に、運行監視評価装置１００及び運行監視装置３００について上述したハードウェア構成の少なくとも一部を有していてもよい。
図２は、本開示の実施形態に係る運行監視評価装置１００及び運行監視装置３００のハードウェア構成例を示す図である。運行監視評価装置１００及び運行監視装置３００は、演算部に相当するＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）等のプロセッサ１０ａと、ＨＤＤ（Hard Disk Drive）及び／又はＳＳＤ（Solid State Drive）等のメモリ１０ｂと、有線又は無線通信を行う通信部（Interface）１０ｃと、入力操作を受け付ける入力部１０ｄと、情報の出力を行う出力部１０ｅと、を有する。入力部１０ｄは、例えば、キーボード、タッチパネル、マウス及び／又はマイク等である。出力部１０ｅは、例えば、ディスプレイ及び／又はスピーカ等である。なお、詳細な説明は省略するが、例えば、アラート発信装置２００等の他の装置も同様に、運行監視評価装置１００及び運行監視装置３００について上述したハードウェア構成の少なくとも一部を有していてもよい。
【0029】
＜機能ブロック構成＞
（運行監視評価装置）
図３は、本開示の実施形態に係る運行監視評価装置１００の機能ブロック構成例を示す図である。運行監視評価装置１００は、制御部１０２と、取得部１０４と、通信処理部１０６と、アラート情報送信部１１０と、状況判断材料情報送信部１１２と、記憶部１２０と、運行監視評価部１４０と、を含む。制御部１０２と、取得部１０４と、通信処理部１０６と、アラート情報送信部１１０と、状況判断材料情報送信部１１２と、運行監視評価部１４０とは、運行監視評価装置１００のプロセッサ１０ａが、例えば記憶部１２０に記憶されたプログラムを実行することにより実現することができる。記憶部１２０は、運行監視評価装置１００が備えるメモリ１０ｂを用いて実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Non-transitory computer readable medium）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。
（運行監視評価装置）
図３は、本開示の実施形態に係る運行監視評価装置１００の機能ブロック構成例を示す図である。運行監視評価装置１００は、制御部１０２と、取得部１０４と、通信処理部１０６と、アラート情報送信部１１０と、状況判断材料情報送信部１１２と、記憶部１２０と、運行監視評価部１４０と、を含む。制御部１０２と、取得部１０４と、通信処理部１０６と、アラート情報送信部１１０と、状況判断材料情報送信部１１２と、運行監視評価部１４０とは、運行監視評価装置１００のプロセッサ１０ａが、例えば記憶部１２０に記憶されたプログラムを実行することにより実現することができる。記憶部１２０は、運行監視評価装置１００が備えるメモリ１０ｂを用いて実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Non-transitory computer readable medium）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。
【0030】
制御部１０２は、例えば、アラート発信装置２００にアラートが所定のタイミングで出力されるように、アラート情報送信部１１０を制御する。また、制御部１０２は、状況判断材料情報に含まれる状況判断材料が運行監視装置３００に所定のタイミングで出力されるように状況判断材料情報送信部１１２を制御する。
【0031】
取得部１０４は、後述のデータベースＤＢからアラートに関する情報と、状況判断材料に関する情報である状況判断材料情報と、状況判断に関する情報と、運行判断に関する情報とを取得する。アラートと、状況判断材料情報と、状況判断と、運行判断とは、例えばそれぞれ複数取得されてもよいし１つずつのみ取得されてもよい。また、取得部１０４は、運行監視装置３００において被評価者である運行監視者から受け付けた運行監視評価に用いられる情報である、状況判断や運行判断に関するデータを、運行監視装置３００から取得する。
【0032】
通信処理部１０６は、アラート発信装置２００、運行監視装置３００、及びデータベースＤＢとの間で各種の通信を行う。例えば、通信処理部１０６は、アラート情報送信部１１０により、データベースＤＢから取得されたアラートに関する情報をアラート発信装置２００に送信する。
【0033】
アラート情報送信部１１０は、アラート発信装置２００から運行監視装置３００に発信されるアラートに関する情報を、上述のようにデータベースＤＢから取得し、アラート発信装置２００に送信する。
【0034】
状況判断材料情報送信部１１２は、データベースＤＢから取得される状況判断材料に関する情報を、運行監視装置３００に送信する。
【0035】
記憶部１２０は、収集データＤＢ１２２と、評価関数ＤＢ１２４とを含む。収集データＤＢ１２２には、運行監視者が運行監視装置３００において入力した後述の状況判断、分類結果、運行判断等のデータが記憶される。評価関数ＤＢ１２４には、運行監視者の示した運行監視に関する判断結果を評価するための評価関数を示すデータが格納される。後述するように、評価関数ＤＢ１２４には、例えば、確率や統計分布に関する評価関数が格納される。
【0036】
運行監視評価部１４０は、運行監視装置３００において被評価者である運行監視者が実施する運行監視を評価する。後述するように、運行監視装置３００において、運行監視者は、提示されたアラート及び状況判断材料情報に基づき、状況判断、アラートの分類の分類結果、及び運行判断を入力する。運行監視評価部１４０は、状況判断評価部１４２と、分類結果評価部１４４と、運行判断評価部１４６と、を備える。状況判断評価部１４２は、運行監視者により運行監視装置３００において入力され、運行監視装置３００から運行監視評価装置１００に送信された運行監視者が示した状況判断（第１の情報）を、例えばデータベースＤＢから取得する比較対象となる者が示した状況判断と、評価関数ＤＢ１２４に格納される状況判断の評価に関する評価関数を用いて比較することにより評価する。同様に、分類結果評価部１４４は、運行監視者により運行監視装置３００において入力され、運行監視装置３００から運行監視評価装置１００に送信された運行監視者が示したアラートの分類結果（後述のアラートのサブアラート群への分類結果、以下、第３の情報とも称する）を、例えばデータベースＤＢから取得する比較対象となる者が示した分類結果と、評価関数ＤＢに格納される分類結果の評価に関する評価関数を用いて比較することにより評価する。また、運行判断評価部１４６は、運行監視者により運行監視装置３００において入力され、運行監視装置３００から運行監視評価装置１００に送信された運行監視者が示した運行判断（第２の情報）を、例えばデータベースＤＢから取得する比較対象となる者が示した運行判断と、評価関数ＤＢ１２４に格納される運行判断の評価に関する評価関数を用いて比較することにより評価する。運行監視評価部１４０は、後に詳述するように、さらに、アラートと運行判断との組み合わせに関する評価や、アラートが処理される順番についての評価を行ってもよい。
【0037】
図３には、データベースＤＢも併せて示す。図３に示すように、データベースＤＢは、例えば比較対象となる者が運行監視を実行した際に監視対象とした自動運行可能な移動体で発信されたアラートａ１～ａ４を含むアラート群Ａと、アラート発信時の車内外の環境等に関する状況判断材料ｓ１～ｓ５を含む状況判断材料群Ｓと、比較対象となる者が示した状況判断ｃ１～ｃ３を含む状況判断群Ｃと、比較対象となる者が示した運行判断ｄ１～ｄ３を含む運行判断群Ｄと、に関する情報が格納されている。データベースＤＢには、アラート群Ａについて、アラート群Ａに含まれるアラートａ１～ａ４がサブアラート群ｇ１及びｇ２のうちのいずれに分類されたかに関する情報を含んでいてもよい。図３に示すように、アラート群Ａにおいては、例えば、サブアラート群ｇ１がアラートａ１及びａ３を含み、サブアラート群ｇ２がアラートａ２及びａ４を含んでいてもよい。サブアラート群に関する情報はこれに限られず、例えば、アラート群Ａとは別に、いずれのアラートがどのサブアラート群に分類されているかの情報がテーブル等により管理されてもよい。
【0038】
（アラート発信装置）
図４は、本開示の実施形態に係るアラート発信装置２００の機能ブロック構成例を示す図である。アラート発信装置２００は、制御部２０２と、取得部２０４と、通信処理部２０６と、アラート出力部２１０と、記憶部２２０とを含む。制御部２０２と、取得部２０４と、通信処理部２０６と、アラート出力部２１０とは、アラート発信装置２００のプロセッサ１０ａが、例えば記憶部２２０に記憶されたプログラムを実行することにより実現することができる。記憶部２２０は、アラート発信装置２００が備えるメモリ１０ｂを用いて実現することができる。また、運行監視評価装置１００と同様に、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体等のコンピュータ読み取り可能な非一時的な記憶媒体であってもよい。
図４は、本開示の実施形態に係るアラート発信装置２００の機能ブロック構成例を示す図である。アラート発信装置２００は、制御部２０２と、取得部２０４と、通信処理部２０６と、アラート出力部２１０と、記憶部２２０とを含む。制御部２０２と、取得部２０４と、通信処理部２０６と、アラート出力部２１０とは、アラート発信装置２００のプロセッサ１０ａが、例えば記憶部２２０に記憶されたプログラムを実行することにより実現することができる。記憶部２２０は、アラート発信装置２００が備えるメモリ１０ｂを用いて実現することができる。また、運行監視評価装置１００と同様に、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体等のコンピュータ読み取り可能な非一時的な記憶媒体であってもよい。
【0039】
制御部２０２は、例えば、運行監視装置３００にアラートが所定のタイミングで発信されるように、アラート出力部２１０を制御する。
【0040】
取得部２０４は、運行監視評価装置１００から、運行監視装置３００に発信されるアラートに関する情報を取得する。
【0041】
通信処理部２０６は、運行監視評価装置１００、運行監視装置３００との間で各種の通信を行う。例えば、通信処理部２０６を介して、アラート出力部２１０により、運行監視装置３００にアラートが送信される。
【0042】
（運行監視装置）
図５は、本開示の実施形態に係る運行監視装置３００の機能ブロック構成例を示す図である。運行監視装置３００は、制御部３０２と、取得部３０４と、通信処理部３０６と、記憶部３２０と、入力部３５０と、出力部３６０と、を含む。制御部３０２と、取得部３０４と、通信処理部３０６とは、運行監視装置３００のプロセッサ１０ａが、例えば記憶部３２０に記憶されたプログラムを実行することにより実現することができる。記憶部３２０は、運行監視装置３００が備えるメモリ１０ｂを用いて実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体等のコンピュータ読み取り可能な非一時的な記憶媒体であってもよい。
図５は、本開示の実施形態に係る運行監視装置３００の機能ブロック構成例を示す図である。運行監視装置３００は、制御部３０２と、取得部３０４と、通信処理部３０６と、記憶部３２０と、入力部３５０と、出力部３６０と、を含む。制御部３０２と、取得部３０４と、通信処理部３０６とは、運行監視装置３００のプロセッサ１０ａが、例えば記憶部３２０に記憶されたプログラムを実行することにより実現することができる。記憶部３２０は、運行監視装置３００が備えるメモリ１０ｂを用いて実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体等のコンピュータ読み取り可能な非一時的な記憶媒体であってもよい。
【0043】
制御部３０２は、例えば、アラートが所定のタイミングで出力されるように、アラート出力部３６２を制御する。また、制御部３０２は、状況判断材料情報が所定のタイミングで出力されるように状況判断材料情報出力部３６４を制御する。
【0044】
取得部３０４は、例えば運行監視評価装置１００から送信される状況判断材料に関する情報（状況判断材料情報）を取得する。
【0045】
通信処理部３０６は、運行監視装置３００及びアラート発信装置２００等との間で各種の通信を行う。
【0046】
記憶部３２０は、例えば収集データＤＢ３２２を記憶する。収集データＤＢ３２２には、被評価者である運行監視者が示した後述の状況判断、分類結果、運行判断等のデータが記憶される。
【0047】
出力部３６０は、例えばアラート出力部３６２と、状況判断材料情報出力部３６４と、評価結果出力部３６６とを含む。出力部３６０は例えば表示装置を含んでもよい。アラート出力部３６２は、例えばアラート発信時に運行監視装置３００上でアラートの発信を通知する場合に、アラートを表示してもよい。あるいは、アラートは、例えば音声で被評価者に通知されるように構成されてもよい。また、例えば、アラートが画像及び音声により被評価者に通知されるように構成されてもよい。状況判断材料情報出力部３６４は、アラートの発信に応じて、発信されたアラートに関連する状況判断材料に関する情報である状況判断材料情報を出力する。状況判断材料情報についても例えば画像及び／または音声により被評価者に提示されてもよい。例えば、状況判断材料情報が画像データである場合には表示することにより出力されてもよいし、状況判断材料情報が音声データである場合には音声により出力されてもよい。評価結果出力部３６６は、例えば状況判断評価結果出力部３６６ａと、分類結果評価結果出力部３６６ｂと、運行判断評価結果出力部３６６ｃとを含む。評価結果出力部３６６は、被評価者である運行監視者の示した状況判断、分類結果、及び／または運行判断について、運行監視評価装置１００により評価された評価結果が取得された際に、それぞれ、状況判断評価結果出力部３６６ａと、分類結果評価結果出力部３６６ｂと、運行判断評価結果出力部３６６ｃにより、被評価者が実施した運行監視の評価結果を、例えば表示することにより出力する。
【0048】
入力部３５０は、例えば、状況判断入力部３５２と、分類結果入力部３５４と、運行判断入力部３５６とを含む。被評価者である運行監視者は、例えば状況判断入力部３５２、分類結果入力部３５４、及び／または運行判断入力部３５６により、状況判断、分類結果、及び／または運行判断を入力する。
【0049】
＜処理手順＞
図６を参照して、本開示の実施形態に係る運行監視の評価の処理を説明する。図６は、本開示の実施形態に係る運行監視の評価の処理の概要を示す図である。なお、以下では被評価者である運行監視者が運行監視の訓練を行い運行監視の評価を行う場合を例に説明する。しかしながら、本開示の実施形態に係る運行監視の評価は運行監視者の訓練以外の評価に用いられてもよい。運行監視者は、例えば複数の自動運行可能な移動体の監視についての訓練を行う。訓練においては、例えば実際に運行された複数の自動運行車両の監視を行った比較対象となる者（例えば熟練した運行監視者）による運行監視のデータが用いられてもよい。また、データは、複数の比較対象となる者による運行監視のデータが用いられてもよい。例えば、同じ環境における同じ自動運行車両群を複数の運行監視者に監視させ、複数の運行監視者により実施された運行監視に関するデータを訓練に用いてもよい。後述するように、複数の運行監視者により監視され実行された運行監視に関するデータにより、判断にバラつきが生じるような状況に対しても、統計的にどの判断が尤もらしいかについて確認することができる。従って、複数の運行監視者から得られたデータを比較対象として用いることにより、被評価者の判断の確度を評価することができる。
図６を参照して、本開示の実施形態に係る運行監視の評価の処理を説明する。図６は、本開示の実施形態に係る運行監視の評価の処理の概要を示す図である。なお、以下では被評価者である運行監視者が運行監視の訓練を行い運行監視の評価を行う場合を例に説明する。しかしながら、本開示の実施形態に係る運行監視の評価は運行監視者の訓練以外の評価に用いられてもよい。運行監視者は、例えば複数の自動運行可能な移動体の監視についての訓練を行う。訓練においては、例えば実際に運行された複数の自動運行車両の監視を行った比較対象となる者（例えば熟練した運行監視者）による運行監視のデータが用いられてもよい。また、データは、複数の比較対象となる者による運行監視のデータが用いられてもよい。例えば、同じ環境における同じ自動運行車両群を複数の運行監視者に監視させ、複数の運行監視者により実施された運行監視に関するデータを訓練に用いてもよい。後述するように、複数の運行監視者により監視され実行された運行監視に関するデータにより、判断にバラつきが生じるような状況に対しても、統計的にどの判断が尤もらしいかについて確認することができる。従って、複数の運行監視者から得られたデータを比較対象として用いることにより、被評価者の判断の確度を評価することができる。
【0050】
まず、被評価者である運行監視者（運行監視者Ａ）にアラート及び状況判断材料情報が提示される（本実施形態において、提示ステップ）。すなわち、まず、訓練を開始した運行監視者Ａに対し、所定のタイミングでアラートが発信される。例えば、被評価者である運行監視者は、運行監視装置３００として表示装置を有するパーソナルコンピュータを用い、表示装置に表示される監視対象である複数の自動運行車両の映像の監視を行う。例えば、上述のレベル４の自動運転サービスを想定し、限られた地域において運転手なしの自動運転により走行する複数のバスを同時に監視させ、訓練が行われる。運行監視者が訓練において監視対象とする自動運行車両が発信するアラートを想定し、熟練の運行監視者等の比較対象となる者が監視した自動運行車両で発生したアラートの履歴情報に基づき、アラートが発信される。例えば、比較対象となる者が１２０分間の監視を行った場合に、監視開始後２０分、５０分、７０分、及び１００分後においてアラートが発信された場合、訓練時においても同様に、訓練開始後２０分、５０分、７０分、及び１００分後のタイミングにおいてアラートが発信されてもよい。アラートは、上述のアラート発信装置２００により発信されてもよい。アラート発信装置２００は、例えば、画像によりアラートを発信してもよいし、音声によりアラートを発信してもよい。また、画像及び音声によりアラートの発信を運行監視者に通知してもよい。あるいは、運行監視装置３００にアラート発信部を設け、運行監視装置３００の表示部にアラートを表示してもよい。複数の自動運行車両を同時に監視している場合には、表示画面全体のうちの、例えばアラートが発信される自動運行車両の監視映像の部分に重畳させてアラートに関する情報を画像として、例えば文字やアイコン等の画像を表示してもよい。あるいは、アラートの発信される自動運行車両の監視映像への重畳ではなく、例えば表示装置の中央にアラートの発信を喚起させてもよいし、いずれの自動運行車両の監視映像も表示されていない表示装置の端部等にアラートに関する画像を表示させてもよい。図６に示す例においてはアラートａ１、ａ２、ａ３、及びａ４が同時に発生した場合を示す。アラートは、例えば車両事故アラートや車内人身事故アラートであってもよい。
【0051】
さらに、発信されたアラートに関する状況判断材料に関する情報である状況判断材料情報が運行監視者に提示される。図６に示す例においては状況判断材料情報ｓ１、ｓ２、ｓ３、ｓ４及びｓ５が提示される場合を示す。状況判断材料は、例えば、自動運行車両に設けられたカメラ等の撮像装置により取得される車内の映像や、車外の映像であってもよい。また、自動運行車両に各種のセンサが設けられる場合には、センサにより取得された情報を状況判断材料として用いてもよい。例えば音声センサが自動運行車両に設けられている場合に、アラート発生時の音声情報が状況判断材料情報として提示されてもよい。その他、温度センサ、湿度センサ、及び／または温湿度センサ等からの情報が状況判断材料情報として提示されてもよい。あるいは、自動運行車両内の乗客や乗務員等からの画像や音声、テキスト等の情報が状況判断材料情報として提示されてもよい。また、状況判断材料情報として他の車両からの情報が用いられてもよく、例えばアラートが発信される自動運行車両の近傍を走行する車両の車外に搭載される撮像装置で取得された映像にアラートが発信される自動運行車両が含まれている場合等において、他車両からの映像等の情報が状況判断材料情報として提示されてもよい。なお、状況判断材料情報はアラートの発信と同時またはほぼ同時のタイミングで被評価者である訓練中の運行監視者に提示されてもよい。例えば、アラートが発信された数秒後に状況判断材料情報が提示されてもよい。また、状況判断材料情報は任意の時間提示されてもよい。例えばアラートが発信された直後から所定の時間、例えば数分間提示されてもよい。あるいは、状況判断材料情報は、運行監視者が何らかの判断の入力を実行するまで提示されてもよい。運行監視者からの提示不要との入力を受け付けることができ、運行監視者からの提示不要との入力がされるまで提示可能に構成されてもよい。また、複数の状況判断材料が提示される場合に、状況判断材料により提示される時間が異なるように構成してもよい。また、状況判断材料情報は、アラートが発信された瞬間の情報でもよいし、例えばアラート発信の前、発信前後、または発信後の情報であってもよい。例えば、状況判断材料情報として車内の映像が提示される場合に、アラートが発信される１分前から３分後までの４分間の動画の映像が提示されてもよい。
【0052】
次に、被評価者である運行監視者による状況判断及び運行判断に関する入力を受け付ける（本実施形態における受付ステップ）。まず、提示されたアラートａ１～ａ４及び状況判断材料ｓ１～ｓ５に基づき、運行監視者が状況判断を行う。状況判断は、例えば全てのアラートについて示されてもよい。図６に示す例においては、例えば発生したアラートａ１、ａ２、ａ３、及びａ４についての状況判断ｃ１、ｃ２、ｃ３及びｃ４がそれぞれ示される場合を示す。例えばアラートａ１が車内事故アラートであった場合に、アラートａ１発生時の車内の映像である状況判断材料ｓ１が車内の乗客の転倒する様子を示し、車内の音声である状況判断材料ｓ２が車内の乗客の転倒時の音を示すとき、状況判断ｃ１は、状況判断材料ｓ１及び状況判断材料ｓ２に基づき、車内で乗客の転倒が発生したと示されてもよい。
【0053】
続いて、運行監視者により、アラートの分類が行われてもよい（本実施形態における分類結果受付ステップ）。図６に示す例においてはアラートａ１、ａ２、ａ３、及びａ４が、サブアラート群ｇ１及びｇ２のいずれかに分類される場合を示す。すなわち、図６においては、アラートａ１及びａ３がサブアラート群ｇ１に分類され、アラートａ２及びａ４がサブアラート群ｇ２に分類される場合を示す。アラートの分類は、例えば、アラートａ１～ａ４の内容や状況判断材料ｓ１～ｓ５、アラートａ１～ａ４及び状況判断材料ｓ１～ｓ５に基づき示される状況判断ｃ１～ｃ４等の情報に基づき行われてもよい。例えば、アラートａ１～ａ４のうち、アラートａ１及びａ３は被評価者自身が処理すると判断される場合に、アラートａ１及びａ３が、被評価者自身により処理されるアラートが属するサブアラート群ｇ１に分類され、残りのアラートａ２及びａ４は他の運行監視者（運行監視者Ｂ）により処理されると判断される場合に、アラートａ２及びａ４が、他の運行監視者に処理させるアラートが属するサブアラート群ｇ２に分類されてもよい。あるいは、優先的に処理されるアラートがサブアラート群ｇ１に分類され、比較的優先順位の低いアラートがサブアラート群ｇ２に分類されてもよい。
【0054】
アラートの分類結果に関する情報（第３の情報）は、例えば運行監視装置３００の入力部３５０により入力されてもよい。入力される情報としては、例えば２以上のアラートがまとめて処理されること、すなわち、例えば複数のアラートを１つの運行判断により処理することが可能であるという判断結果を含んでいてもよい。例えば、アラートａ１及びａ３はまとめて処理することが可能であるという情報が含まれていてもよい。なお、２以上のアラートがまとめて処理可能であるか否かについては、アラートの分類を行う場合に限られず、例えば状況判断を行う際に判断されてもよいし、後述の運行判断を行う際に判断されてもよい。例えば、２つのアラートが緊急車両の手配を１回行うことにより解決可能と判断される場合、これら２つのアラートはまとめて処理することが可能と判断されてもよい。
【0055】
さらに、運行監視者により、運行判断が行われる。運行判断は、例えば、以前の処理において被評価者が自身で処理すると判断されたアラートについてのみ行われてもよい。図６においては、被評価者である運行監視者Ａ自身が処理すると判断されたサブアラート群ｇ１に分類されているアラートａ１及びａ３についてのみ、運行判断ｄ１及びｄ３が示される場合について例示される。従って、図６に示すように、他の運行監視者（運行監視者Ｂ）が処理すると判断されたサブアラート群ｇ２に分類されるアラートａ２及びａ４については、他の運行監視者Ｂにより、運行判断ｄ２及びｄ４が示されてもよい。アラートａ２及びａ４の処理が依頼された他の運行監視者Ｂは、例えば、アラートａ２及びａ４に関連する状況判断材料情報（例えば状況判断材料ｓ２及びｓ４）を提示され、状況判断ｃ２及びｃ４や運行判断ｄ２及びｄ４を行ってもよい。また、他の運行監視者Ｂも被評価者（被訓練者）であってもよい。また、依頼された他の運行監視者Ｂは、必要に応じて、受け取ったアラートをさらに他の運行監視者に依頼してもよい。また、依頼された他の運行監視者Ｂは、依頼した運行監視者と音声通話等による情報提供等を行ってもよい。依頼された他の運行監視者Ｂは、自身で状況判断材料ｓ２及びｓ４を検討して状況判断ｃ２及びｃ４や運行判断ｄ２及びｄ４を行ってもよいし、例えば、状況判断材料ｓ２及びｓ４を確認することなく、依頼元の運行監視者Ａがした状況判断ｃ２及びｃ４のみに基づいて運行判断を行ってもよい。また、他の運行監視者Ｂが状況判断材料情報を確認する場合、依頼した運行監視者Ａが、他の運行監視者Ｂが確認すべき状況判断材料を選択してもよいし、他の運行監視者Ｂが、自身で確認する状況判断材料として全ての状況判断材料ｓ１～ｓ５を選択してもよい。
【0056】
運行判断は、例えば、アラートが車両故障アラートであった場合には、乗客の誘導や代替輸送手段としての代車の手配、また例えばレッカーの手配といった故障車の整備の手配等であってもよい。代車を手配する場合には、例えば代車の台数を判断してもよい。また、アラートが車内での人身事故に関するアラートであった場合には、例えば、運行判断として救急車両の手配が示されてもよいし、運行判断は最寄りの医療機関や消防署への搬送であってもよい。あるいは、運行判断としては、例えば転倒した乗客がすぐに立ち上がった場合等、人身事故が軽傷であった、あるいは無傷であったときは、運行を継続するという判断であってもよい。このように、本開示の実施形態においては、運行判断には、アラートに対し何れの行動も不要で、運行を継続可能であるという判断が含まれてもよい。
【0057】
次に、運行監視者の評価が実施されてもよい（本実施形態において評価ステップ）。被評価者である運行監視者の評価は、例えば、運行監視者に発信されたアラートａ１～ａ４及び提示された状況判断材料ｓ１～ｓ５に対して、熟練の運行監視者等の比較対象となる者が示した状況判断、分類結果、及び／又は運行判断と、同じアラートａ１～ａ４及び状況判断材料ｓ１～ｓ５に基づいて運行監視者が示した状況判断、分類結果、及び／又は運行判断とを比較することにより、被評価者の運行監視が評価されてもよい。本開示の実施形態においては、例えば状況判断、分類結果、及び運行判断のうちの１つのみ、いずれか２つ、あるいは３つ全てについて評価されてもよい。また、これらの評価は、同時に行われてもよいし、個別に行われてもよい。例えば、本開示の実施形態の運行監視においては、状況判断、アラートの分類、及び運行判断は、この順に行われてもよく、その場合、状況判断が示された後に状況判断の評価、アラートの分類が為された後にアラートの分類の評価、及び運行判断が示された後に運行判断の評価がされてもよいし、運行判断の評価が行われた後に、状況判断、アラートの分類、及び運行判断の評価がまとめて行われてもよい。
【0058】
本開示の実施形態においては、運行監視の評価は、以下に説明するように、比較対象となる者が示した状況判断、分類結果、及び／又は運行判断に基づき算出される統計分布及び／又は確率を用いて行われてもよい。すなわち、本実施形態に係る運行監視の評価においては、比較対象となる者が示した状況判断、分類結果、及び／又は運行判断に基づき算出される統計分布及び／又は確率を算出する算出ステップが実行されてもよい。
【0059】
まず、本開示の実施形態における被評価者である運行監視者の示した状況判断の評価（本実施形態における状況判断評価ステップ）の例を説明する。状況判断については、例えば、運行監視者が示した状況判断についての、比較対象となる者が示した状況判断に対する正答率に対応する確率により評価されてもよい。例えば、正答率に対応する確率は、運行監視者が示した状況判断と、比較対象となる者が示した状況判断との偏差を積算した値に基づき、評価されてもよい。状況判断を評価する評価関数は、例えば下記のように求められてもよい。
【0060】
例えば、発生したアラート群をＡ、発生した状況判断材料群をＳ、下し得る状況判断群をＣとした場合において、運行監視者が行う状況判断について、下記式（１）のように、状況判断群に含まれる状況判断のいずれが、比較対象となる者が運行監視をした際に実際に発生していたと判断されたかにより表されてもよい。
【数1】
【0061】
例えば、下し得る状況判断群Ｃに状況判断ｃ１、ｃ２、…、ｃｎのｎ個の状況判断が含まれている場合、ｎ個の状況判断のうち、運行監視者が発生していると判断した状況判断については１、発生していると判断しなかった状況判断については０、とした値の集合として表される。同様に、比較対象となる者が下した状況判断群についても、比較対象となる運行監視者が発生したと判断した状況判断については１、発生しなかったと判断した状況判断については０、とした値の集合として下記の式（２）のように表される。
【数2】
【0062】
評価関数としては、上記の被評価者である運行監視者の示した、状況判断群Ｃに含まれる状況判断の発生の有無に関する｛０，１｝からなる集合と、比較対象となる者の示した、状況判断群Ｃに含まれる状況判断の発生の有無に関する｛０，１｝からなる集合との差分の、全ての状況判断群について積算した値に基づき、例えば下記式（３）で表すことができる。
【数3】
【0063】
式（３）で表されるように、被評価者である運行監視者の状況判断に関する評価Ｅ１は、１に近い値となるほど高くなる。例えば、熟練者等の比較対象となる者が発生したと示した状況判断について、運行監視者が発生しなかったと判断した場合には、式（３）の値が小さくなる。従って、式（３）で算出される確率Ｅ１の値は、被評価者である運行監視者の状況判断に関する正答率に相当する。すなわち、比較対象となる者が発生したと示した状況判断について、被評価者である運行監視者が発生しなかったと判断した状況判断の数が多いほど、あるいは比較対象となる者が発生しなかったと示した状況判断について、被評価者である運行監視者が発生したと判断した状況判断の数が多いほど、式（３）の値Ｅ１は小さくなるので、被評価者である運行監視者の評価は低くなる。状況判断の正答率の評価により、例えば、自動運行車両の車内の音声及び映像に基づき転倒による救急措置の必要な容体であることを、被評価者である運行監視者が正しく把握できているかの評価等が可能である。
【0064】
次に、本開示の実施形態における被評価者である運行監視者が複数のアラートを複数のサブアラート群に分類した分類結果の評価（本実施形態における分類結果評価ステップ）の例を説明する。アラートの分類結果については、例えば、熟練の運行監視者等の比較対象となる者が示した分類結果に基づき算出される統計分布を用いて評価されてもよい。例えば、複数の比較対象となる者が示した分類結果が、各アラートが分類された複数のサブアラート群のうち、いずれのサブアラート群について比較対象となる者が自身で処理するとそれぞれ判断したかに関し、サブアラート群のそれぞれについて確率で表すデータを含んでいてもよい。この場合に、被評価者である運行監視者が示した分類結果と、比較対象となる者が示した分類結果との偏差の２乗値を積算した値に基づき算出される評価関数により、被評価者の示した分類結果が評価されてもよい。用いられる評価関数は、被評価者が示した分類結果と、比較対象となる者が示した分類結果との偏差の２乗値を一部または全部のサブアラート群について積算した値を用いたカイ２乗分布に基づく関数を含んでいてもよい。
【0065】
分類結果を評価する評価関数は、例えば以下のように求められてもよい。例えば、状況判断を評価する評価関数の例について上述したのと同様に、発生したアラート群をＡ、発生した状況判断材料群をＳ、サブアラート群の冪集合をＡｇとした場合において、運行監視者が行う分類について、下記式（４）のように、各サブアラート群のいずれについて被評価者自身が担当すると示されたかにより表される。
【数4】
【0066】
すなわち、被評価者である運行監視者が示したアラートの分類結果は、式（４）に示されるように、例えば、サブアラート群の冪集合Ａｇにサブアラート群ｇ１、ｇ２、…、ｇｊ（ｊは自然数）のｊ個のサブアラート群が含まれている場合、ｊ個のサブアラート群ｇ１～ｇｊのうち、被評価者である運行監視者が自身で処理すると判断したサブアラート群については１、自身では処理しないと判断した（他の運行監視者により処理されると判断した）サブアラート群については０とした値の集合として表される。同様に、比較対象となる者の判断したサブアラート群の冪集合についても、各サブアラート群について、比較対象となる複数の運行監視者のうち、何人が自身で処理すると判断し、何人が自身では処理しないと判断したかに基づく確率として下記の式（５）のように表される。
【数5】
【0067】
評価関数としては、上記の被評価者である運行監視者の示した、サブアラート群の冪集合に含まれるサブアラート群に対する、自身で処理するか否かに関する｛０，１｝からなる集合と、各サブアラート群について複数の比較対象となる者の示した、自身で処理すると判断した人数と自身では処理しないと判断した人数との割合（確率）に基づく数値との差分の２乗値を、全てのサブアラート群について積算した値に基づき、例えば下記式（６）で表すことができる。
【数6】
【0068】
式（６）で表されるように、式（６）で算出されるＥ２は、いずれのサブアラート群を自身が処理すると判断したかについてのカイ２乗値に相当する。従って、式（６）で表されるように、各サブアラート群についての被評価者と比較対象となる者との分類結果の偏差が小さいほど被評価者の分類結果は比較対象となる者の分類結果との相違が小さいので、被評価者である運行監視者の分類結果に関する評価は、偏差が小さく式（６）の値が小さいほど高くなる。例えば、複数の比較対象となる者のうちの多くの者が自身で処理すると判断したサブアラート群について、被評価者である運行監視者も自身で処理すると判断したサブアラート群が多いほど、式（６）の値が小さくなる。
【0069】
図７Ａ及び図７Ｂを参照して、評価関数としてカイ２乗分布を用いる場合の例についてさらに詳細に説明する。図７Ａ及び図７Ｂは、複数の処理者が示したサブアラート群の冪集合についての判断の例を示す。図７Ａの左側に示すように、例えば５つのサブアラート群ｇ１～ｇ５について、複数の比較対象となる者が、サブアラート群ｇ１、ｇ２、ｇ３、ｇ４、及びｇ５に対し、それぞれ、０．６、０．２、０．１、０．０５、及び０．０５の確率で自身が処理すると判断した場合、被評価者はサブアラート群ｇ１を自身で処理すると判断したとき、カイ二乗値は０．６６６６６６６６７と算出される。また、同じ場合に、図７Ａの右側に示されるように、被評価者がサブアラート群ｇ２を自身で処理すると判断したとき、カイ二乗値は４．０と算出される。このように図７Ａに示す例においては、比較対象となる者のうちの半分超が自身で処理すると判断したサブアラート群ｇ１を被評価者が自身で処理すると判断した場合に比べ、サブアラート群ｇ２を自身で処理すると判断した場合は、カイ二乗値が比較的大きくなる。同様に、図７Ｂに示すように、例えば５つのサブアラート群ｇ１１～ｇ１５について、熟練者等の比較対象となる者が、サブアラート群ｇ１１、ｇ１２、ｇ１３、ｇ１４、及びｇ１５に対し、それぞれ、０．５、０．３、０．１、０．０５、及び０．０５の確率で自身が処理すると判断した場合、被評価者はサブアラート群ｇ１１を自身で処理すると判断したとき、カイ二乗値は１．０と算出される。同じ場合に、図７Ｂの右側に示されるように、被評価者がサブアラート群ｇ１２を自身で処理すると判断したとき、カイ二乗値は２．３３３３３３３３３と算出される。このように図７Ｂに示す例においては、比較対象となる者のうちの約半分のみが自身で処理すると判断したサブアラート群ｇ１１を被評価者が自身で処理すると判断した場合に比べ、ｇ１２を自身で処理すると判断した場合は、図７Ａで示した場合に比べ、カイ二乗値が大きくならない。図７Ａ及び図７Ｂに示す例からわかるように、複数の比較対象となる者のうちの一部しか選択しなかったサブアラート群を被評価者が自身で処理する選択をする判断をした場合、比較対象となる者の判断に偏りが見られ複数の比較対象となる者のうちの多くが同じサブアラート群を自身で処理すると判断したか、あるいは複数の比較対象となる者の判断にバラつきが見られるかによって、カイ二乗値の大きさが異なる。このように、カイ二乗値によって判断の誤りの評価が可能となる。
【0070】
なお、アラートの分類に関する評価は上述した例や図７Ａ及び図７Ｂを参照して説明した例に限られない。例えば、複数のサブアラート群について、被評価者が自身で処理するか否かの判断だけでなく、複数のアラートについて、被評価者自身で処理するか否かについての判断に対し、同様のカイ２乗分布を算出してもよい。例えばｍ個のアラートａ１、ａ２、…、ａｍについて、複数の比較対象となる者がいずれのアラートを自身で処理すると判断したかについて確率で表し、被評価者がいずれのアラートを自身で処理すると判断したかの判断に対し、カイ２乗分布を算出してもよい。この方法においても同様に、複数の比較対象となる者の判断にバラつきがある場合に、どの程度確からしいアラートを選択できたか評価することが可能である。また、ある実施形態においては、自身で処理すると判断したサブアラート群だけでなく、例えば他の運行監視者が処理すると判断されたサブアラート群についての判断を評価してもよい。例えば、ｊ個のサブアラート群ｇ１、ｇ２、…、ｇｊについて、被評価者自身と他の運行監視者ｔ人の合計ｔ＋１人の運行監視者のうち、いずれの運行監視者がどのサブアラート群を処理すると判断したか評価してもよい。この場合にも、カイ二乗値の大きさにより評価することが可能である。同様に、複数のアラートについても、他の運行監視者が処理すると判断されたアラートについての判断を評価することも可能であり、例えば、ｍ個のアラートａ１、ａ２、…、ａｍについて、被評価者自身と他の運行監視者ｕ人の合計ｕ＋１人の運行監視者のうち、いずれの運行監視者がどのアラートを処理すると判断したか評価してもよく、このとき、カイ２乗値の大きさにより評価してもよい。
【0071】
このように、式（６）で算出されるカイ二乗値Ｅ２の値は、被評価者である運行監視者のアラートの判断や分類の尤もらしさを評価することに相当する。すなわち、比較対象となる者の多くが自身で処理すると判断したサブアラート群につき、被評価者が自身で処理すると判断しなかった場合、式（６）の値Ｅ２は大きくなるので、被評価者の評価は低くなる。一方、複数の比較対象となる者が自身で処理すると判断したサブアラート群にバラつきがある場合に、複数の比較対象となる者のうちの比較的少数が自身で処理すると判断したサブアラート群を被評価者が自身で処理すると判断した場合でも、式（６）の値Ｅ２は比較的小さくなるので、被評価者の評価の低下は比較的小さくなる。このように、アラートの処理を担当する者の判断につき、尤もらしさを評価することができる。
【0072】
続いて、本開示の実施形態における被評価者である運行監視者が示した運行判断の結果の評価（本実施形態における運行判断評価ステップ）の例を説明する。運行判断については、例えば、比較対象となる者が示した運行判断に基づき算出される統計分布を用いて評価されてもよい。例えば、比較対象となる者が示した運行判断が、複数の運行判断候補のうちのいずれの運行判断候補を複数の比較対象となる者のそれぞれが選択したかについて、複数の運行判断候補のそれぞれについて確率で表すデータを含む場合に、被評価者である運行監視者が示した運行判断と、比較対象となる者が示した運行判断との偏差の２乗値をアラートについて積算した値に基づき算出される評価関数により、評価してもよい。また、評価関数は、被評価者が示した運行判断と、比較対象となる者が示した運行判断との偏差の２乗値を複数のアラートについて積算した値を用いたカイ２乗分布に基づく関数を含んでいてもよい。
【0073】
運行判断を評価する評価関数は、例えば下記のように求められてもよい。例えば、発生したアラート群をＡ、発生した状況判断材料群をＳ、実行しうる運行判断群をＤとした場合において、運行監視者が示す運行判断について、アラート群Ａに含まれるアラートａｋ（ｋ＝１、２、…、Ｎ）及びアラートａｋに対する運行判断ｄｋの組み合わせＯＤＭは下記式（７）のように表される。
【数7】
【0074】
担当するアラートａｋの集合であるアラート群Ａ及び運行判断ｄｋの集合である運行判断群Ｄは、それぞれ下記式（８）及び（９）のように表される。
【数8】
【数9】
【0075】
また、ｉ番目の意思決定において、運行監視者が、アラートａに対して運行判断ｄを決定するか及び決定しないかは、それぞれ、１または０として、式（１０）のように表される。
【数10】
【0076】
さらに、比較対象となる者が、発生したアラートに対し、自身で担当するアラートを定めた後、既にいくつかの運行判断を下した状態で、アラートａに対して運行判断ｄを決定する確率は、式（１１）のように表される。
【数11】
【0077】
以上から、運行判断の評価関数は下記式（１２）のように表される。
【数12】
【0078】
ここで、Ｅ３ｉは下記式（１３）のように表される。
【数13】
【0079】
ここで例示したように、運行判断についても、カイ２乗分布を用いて評価することができる。すなわち、本例においては、複数の比較対象となる者が示した運行判断の分布に対する被評価者である運行監視者が示した運行判断の分布を評価する。複数のアラートを複数のサブアラート群に分類し、自身で処理すると判断したアラートについて尤もらしさを判断する場合について上述したのと同様に、運行判断についても、カイ２乗値を用いて、被評価者である運行監視者が示した運行判断の尤もらしさを評価することができる。例えば、複数の比較対象となる者が複数の異なる運行判断を示した、すなわち、複数の比較対象となる者が示した運行判断にバラつきがあった場合に、複数の比較対象となる者が示した運行判断の分布に対し、被評価者となる運行監視者がいずれの運行判断を示したかを評価することができる。
【0080】
上述してきた運行判断の評価の例においては、例えば式（１３）に示されるように、アラートと、アラートに対する運行判断との組み合わせを評価することができる。従って、上記例示した評価プロセスにより、比較対象となる者が示した運行判断を基にした運行判断の尤もらしさについて、いずれのアラートに対してなされた運行判断であるかについても考慮して評価することができる。本開示の実施形態における運行判断の評価においては、さらに、例えば運行判断の実行される順番（アラートが処理される順番）について評価してもよく、例えば、運行判断が実行される順番について、上述のカイ２乗分布等の統計分布を用いて、比較対象となる者が運行判断を実行した順番に対し、被評価者が示した運行判断を実行する順番について評価してもよい（本実施形態における分布評価ステップ）。また、比較対象となる者が示したアラートと運行判断との組み合わせ及び運行判断の事項される順番について、アラートごとの分布に対する、被評価者が示したアラートと運行判断との組み合わせ及び運行判断が実行される順番に基づき評価してもよい。例えば、アラートと運行判断との組み合わせについて、熟練者等の比較対象となる者により各組み合わせが処理された順番についての分布を用いて、被評価者が処理した順番を評価してもよい。
【0081】
アラートと運行判断との組み合わせの分布について、カイ２乗値を算出すると、例えばカイ二乗値が高い場合は比較対象となる者が示した判断に比べ尤もらしさが低く誤った判断が被評価者により為されている可能性が高いと判断できる。このとき、各アラートと運行判断との組み合わせについての比較対象となる者の判断と、被評価者である運行監視者が示した判断との偏差の２乗値を分析することにより、どのアラートについての判断において誤りがあったか、推定することもできる。
【0082】
上述してきたように、本開示の実施形態における評価方法においては、例えば確率や統計分布を利用した評価プロセスを用いることができる。このように確率や統計分布を用いて評価を行うことにより、迅速で客観的な評価を行うことができるので、被評価者である運行監視者の監視の精度を効率良く評価することが可能である。
【0083】
なお、状況判断の正答率が低い場合には、状況判断を誤認している可能性が推測される。状況判断を誤認している場合、運行監視における以降の判断である、複数のアラートのサブアラート群への分類や運行判断の結果の評価値が高かったとしても、偶然の結果である可能性が推測される。従って、状況判断の評価が低い場合は、より多くの訓練を要すると判断してもよい。また、上述のように、運行判断の尤もらしさの評価において、評価が低かった場合には、アラートに対する適切な順列での運行判断ができていない可能性が推測される。その場合、例えば各アラート及び運行判断の組み合わせにおけるカイ二乗値を順に調べることにより、いずれかのアラート及び／または運行判断においてカイ二乗値が顕著に高くなっている場合には、そのアラート及び／または運行判断において誤った判断がされたと確認することができる。例えばアラート及び／または運行判断の種類を考慮して、以降の訓練内容を計画することもできる。
【0084】
上述の実施形態においては、熟練者等の比較対象となる者が過去に実行した運行監視の結果を用いて、被評価者である運行監視者が示した運行監視の評価を行う場合を例に説明したが、本開示の実施形態における運行監視者の評価方法は、例えば運行中の自動運転可能な移動体を監視する運行監視者の評価に用いてもよい。例えば、現在運行している自動運行車両等の自動運転可能な移動体から発信されるアラートや、アラートが発信される際の車両内外の状況に関する状況判断材料情報に基づき、熟練者等の比較対象となる者が運行監視を行い、並行して、被評価者である運行監視者が運行監視を行い、比較対象となる者による運行監視の判断結果を被評価者の運行監視の判断結果と比較することにより被評価者の運行監視を評価してもよい。
【0085】
すなわち、例えば、上述したアラート及び状況判断材料情報を被評価者に提示するステップは、自動運行可能な移動体において発生する新たなアラートと、新たなアラートに関連して新たに発生する状況判断材料情報と、を提示するステップを含んでもよい。また、新たなアラート及び新たに発生した状況判断材料情報に対して比較対象となる者が示す新たな分類結果、状況判断、及び／又は運行判断と、新たなアラート及び新たに発生する状況判断材料情報に基づき被評価者が新たに示す分類結果、状況判断、及び／又は運行判断と、を比較することにより、被評価者の運行監視を評価してもよい。
【0086】
上述の実施形態においては、主に状況判断、アラートのサブアラート群への分類結果、及び運行判断について評価する場合を例に説明したが、評価対象はこれらに限られなくてもよい。例えば、運行監視時の各判断にあたって考慮した状況判断材料情報に含まれる状況判断材料の選択について評価してもよい。例えば、比較対象となる者が考慮した状況判断材料についてのデータを用いて、被評価者が考慮した状況判断材料を評価してもよい。状況判断材料の選択について評価や分析することにより、例えば被評価者の判断に誤りがあった場合の原因を推定する際の判断要素とすることが可能となる。
【0087】
【0088】
はじめに、被評価者にアラート及びアラートに関連付けられる状況判断材料情報を提示する（Ｓ８０２）。上述したように、本実施形態においては、アラートは、例えばアラート発信装置２００により発信され、運行監視装置３００のアラート出力部３６２により表示されてもよい。また、状況判断材料情報は、運行監視装置３００の状況判断材料情報出力部３６４により表示されてもよい。
【0089】
続いて、Ｓ８０２の後に、被評価者による状況判断及び運行判断に関する入力を受け付ける（Ｓ８０４）。本実施形態においては、状況判断及び運行判断は、運行監視装置３００の状況判断入力部３５２及び運行判断入力部３５６による入力により受け付けられてもよい。
【0090】
【0091】
はじめに、被評価者にアラート及びアラートに関連付けられる状況判断材料情報を提示する（Ｓ９０２）。
【0092】
次に、被評価者による状況判断の入力を受け付ける（Ｓ９０４）。被評価者による状況判断は、例えば運行監視装置３００の状況判断入力部３５２による入力により受け付けられてもよい。
【0093】
続いて、被評価者による複数のアラートのサブアラート群への分類結果の入力を受け付ける（Ｓ９０６）。分類結果は、例えば、運行監視装置３００の分類結果入力部３５４による入力により受け付けられてもよい。
【0094】
次に、被評価者による運行判断の入力を受け付ける（Ｓ９０８）。運行判断は、例えば、運行監視装置３００の運行判断入力部３５６による入力により受け付けられてもよい。
【0095】
続いて、被評価者による状況判断、分類結果、及び／または運行判断を評価する（Ｓ９１０）。被評価者による状況判断、分類結果、及び／または運行判断の評価は、例えば、熟練者等の比較対象となる者により実施された運行監視において示された状況判断、分類結果、及び／または運行判断と比較して行われてもよい。被評価者による状況判断、分類結果、及び／または運行判断の評価は、例えば、運行監視評価装置１００の運行監視評価部１４０の状況判断評価部１４２、分類結果評価部１４４、及び／または運行判断評価部１４６により行われてもよい。
【0096】
次に、評価結果を出力する（Ｓ９１２）。評価結果の出力は、例えば、運行監視装置３００の評価結果出力部３６６により出力されてもよい。被評価者による状況判断、分類結果、及び／または運行判断の評価結果は、例えば、運行監視装置３００の状況判断評価結果出力部３６６ａ、分類結果評価結果出力部３６６ｂ、及び／または運行判断評価結果出力部３６６ｃにより、それぞれ表示されてもよい。
【0097】
〈評価用データの作成プロセス〉
次に、図１０及び図１１を参照して、本開示の実施形態における運行監視の評価方法に用いられる熟練者等の比較対象となる者の示した判断結果を含む評価用データの作成プロセスについて説明する。図１０は、本開示の実施形態における比較対象となる者の判断結果の評価用データ作成システム２の一例を示す図である。また、図１１は、本開示の実施形態における評価用データ作成システム２の機能ブロック構成を示す図である。
次に、図１０及び図１１を参照して、本開示の実施形態における運行監視の評価方法に用いられる熟練者等の比較対象となる者の示した判断結果を含む評価用データの作成プロセスについて説明する。図１０は、本開示の実施形態における比較対象となる者の判断結果の評価用データ作成システム２の一例を示す図である。また、図１１は、本開示の実施形態における評価用データ作成システム２の機能ブロック構成を示す図である。
【0098】
図１０に示すように、評価用データ作成システム２は、評価用データ作成装置４００と、複数の運行監視装置５００－１、５００－２、…、５００－ｎ（ｎは自然数）と、複数の自動運転可能な移動体６００－１、６００－２、…、６００－ｌ（ｌは自然数）と、を備える。評価用データ作成装置４００と、運行監視装置５００－１～５００－ｎと、移動体６００－１～６００－ｌとは、例えばインターネットや電話網などのネットワーク２０を介して有線または無線によって接続される。以下、運行監視装置５００－１～５００－ｎのうちの任意の運行監視装置を運行監視装置５００とも記載する。また、移動体６００－１～６００－ｌのうちの任意の移動体を移動体６００とも記載する。評価用データ作成システム２は、データベースＤＢ２をさらに備える。
【0099】
評価用データ作成装置４００は、例えば評価用データ作成サーバであってもよく、運行監視装置５００－１～５００－ｎにおいて、熟練者等の比較対象となる運行監視者が移動体６００－１～６００－ｌを例えば遠隔から運行監視を行い判断した結果を入力したデータを運行監視装置５００－１～５００－ｎより収集することができる。収集したデータは、例えばデータベースＤＢ２に格納されてもよい。評価用データ作成装置は、例えば１又は複数の物理的なサーバ等から構成されてもよいし、ハイパーバイザー上で動作する仮想的なサーバを用いて構成されてもよいし、クラウドサーバを用いて構成されてもよい。評価用データ作成装置４００は、例えば、上述の本開示の実施形態における運行監視評価システム１の運行監視評価装置１００と同様のハードウェア構成を有していてもよい。
【0100】
運行監視装置５００－１～５００－ｎは、例えば熟練の運行監視者による自動運行車両等の移動体６００－１～６００－ｌの監視に用いられる。各運行監視装置５００により、例えば複数の移動体６００を監視してもよい。例えば、運行監視装置５００－１は６台の移動体６００－１～６００－６を監視し、運行監視装置５００－２は次の６台の移動体６００－７～６００－１２を監視するように構成されていてもよい。監視する移動体はこれに限られず、例えば運行監視者により異なる台数の移動体を監視してもよいし、同じ一台あるいは複数台の移動体を複数の運行監視者により重複して監視してもよい。なお、上述のように、例えばレベル４の自動運転サービスにおいては、一人の監視者が複数の自動運行車両を監視することが想定されており、本開示の実施形態に係る運行監視の評価用データの作成においても同様に各運行監視者が複数の移動体を監視してもよい。運行監視装置５００は、移動体６００からのアラートを受信し、アラート発生時の状況判断や運行判断の運行監視者による入力を受け付ける。運行監視者は、アラート発生時に移動体６００により送信される状況判断材料情報に基づき状況判断や運行判断を行う。図１０に示すように、移動体６００からのアラートやアラート発生時の状況判断材料情報がインターネットを介して各運行監視装置５００に送信されてもよい。なお、図１０においては、複数の運行監視装置を備える評価用データ作成システム２を例に説明したが、運行監視装置５００は例えば一台であってもよい。すなわち、評価用データは一人の運行監視者が監視した場合のデータであってもよい。運行監視装置５００は、例えば、上述の本開示の実施形態における運行監視評価システム１の運行監視装置３００と同様のハードウェア構成を有していてもよい。
【0101】
移動体６００は、例えば自動運転可能な移動体である。移動体６００は、例えば、上述のレベル４の自動運転サービスを提供する地域であれば、限定された領域内において自動運転可能な例えばバス等の移動体である。移動体６００は、アラートが発生した場合には、アラートを運行監視装置５００に送信する。また、移動体６００は、例えば車内カメラ及び車外カメラにより取得される車内及び車外の映像や、車内及び車外に設置された収音装置により取得される車内外の音声データ等を運行監視装置５００に送信する。運行監視装置５００に送信されるデータは、例えば上述の状況判断材料情報として用いられてもよい。
【0102】
データベースＤＢ２は、上述のように、例えば運行監視者が運行監視を行った際に発信されたアラートに関する情報及びアラート発信時の監視対象であった自動運行可能な移動体の状況に関する状況判断材料情報と、運行監視者が示した状況判断及び運行判断に関する情報を格納してもよい。
【0103】
次に図１１を参照して、評価用データ作成システム２の機能ブロック構成を説明する。図１１に示すように、本開示の実施形態における評価用データ作成装置４００は、制御部４０２と、取得部４０４と、通信処理部４０６と、評価用データ作成部４４０と、を含む。評価用データ作成部４４０は、状況判断データ作成部４４２と、分類結果データ作成部４４４と、運行判断データ作成部４４６と、アラートデータ作成部４４８と、状況判断材料データ作成部４４９と、を含む。評価用データ作成装置４００は、運行監視装置５００から、通信処理部４０６を介して取得部４０４により取得された熟練者等の運行監視者が運行監視装置５００に入力した状況判断、分類結果、及び運行判断の結果を基に、被評価者の運行監視者を評価する際の評価対象となる状況判断データ、分類結果データ、及び運行判断データを、状況判断データ作成部４４２、分類結果データ作成部４４４、及び運行判断データ作成部４４６により、それぞれ作成する。また、比較対象となる運行監視者が状況判断、アラートの分類、及び運行判断を示す際に確認したアラート及び状況判断材料情報についても、運行監視装置５００より取得し、それぞれアラートデータ作成部４４８及び状況判断材料データ作成部４４９によりアラートデータ及び状況判断材料データを作成する。作成されたアラートデータ及び状況判断材料データは、被評価者が運行監視を行う際、例えば被評価者が運行監視の訓練を行う際に、利用される。作成された状況判断データ、運行判断データ、分類結果データ、アラートデータ、及び状況判断材料データを含む評価用データは、データベースＤＢ２に格納されてもよい。
【0104】
また、図１１に示すように、運行監視装置５００は、制御部５０２と、取得部５０４と、通信処理部５０６と、記憶部５２０と、入力部５５０と、出力部５６０と、を含む。運行監視装置５００は、例えば、移動体６００で発信されたアラートの情報を、通信処理部５０６を介して取得部５０４により取得し、出力部５６０のアラート出力部５６２により表示する。また、アラート発信時の映像や音声などのデータを状況判断材料情報として移動体６００より取得し、状況判断材料情報出力部５６４により表示する。入力部５５０は、例えば、状況判断入力部５５２と、分類結果入力部５５４と、運行判断入力部５５６とを含む。運行監視者は、表示されたアラートや状況判断材料情報に基づき、状況判断入力部５５２、分類結果入力部５５４、及び／または運行判断入力部５５６により、状況判断、分類結果、及び／または運行判断を入力する。記憶部５２０は、例えば収集データＤＢ５２２を記憶する。収集データＤＢ５２２には、被評価者である運行監視者が示した状況判断、分類結果、運行判断等のデータが記憶されてもよい。
【0105】
また、図１１に示すように、自動運転可能な移動体６００は、制御部６０２と、通信処理部６０６と、アラート発信部６３０と、状況判断材料情報送信部６５０と、状況取得部６６０と、を備える。移動体６００は、例えば、車内での乗客の転倒が確認された場合等、所定の事象が発生した際に、アラート発信部によりアラートが発信される。例えばアラートが発信された際に状況取得部６６０により取得された状況判断材料情報が、状況判断材料情報送信部６５０により運行監視装置５００に送信される。状況取得部６６０は、例えば、撮像部６６２と、音声センサ６６４と、温度センサ６６６と、湿度センサ６６８と、を備える。撮像部６６２は、例えば車内に設置されたカメラ及び車外に設置されたカメラを含み、車内及び車外の状況を撮像するように構成されていてもよい。状況判断材料情報送信部６５０は、状況取得部６６０により取得された映像や音声データ等を状況判断材料情報として運行監視装置５００に送信してもよい。
【0106】
図１１に、データベースＤＢ２も併せて示す。図１１に示すように、データベースＤＢ２は、運行監視者Ｔ１及びＴ２の２名の運行監視データが格納されている。データベースＤＢ２には、例えば、比較対象となる者である運行監視者Ｔ１及びＴ２がそれぞれ運行監視を実行した際に監視対象とした自動運行可能な移動体で発信されたアラートａ１～ａ４を含むアラート群Ａと、アラート発信時の車内外の環境等に関する状況判断材料ｓ１～ｓ５を含む状況判断材料群Ｓと、比較対象となる者が示した状況判断ｃ１～ｃ３を含む状況判断群Ｃと、比較対象となる者が示した運行判断ｄ１～ｄ４のいずれかを含む運行判断群Ｄと、に関する情報が格納されている。アラート群Ａに含まれるアラートａ１～ａ４がサブアラート群ｇ１及びｇ２のうちのいずれに分類されたかに関する情報を含んでいてもよい。図１１に示すように、例えば、運行監視者Ｔ１について格納されるアラート群Ａは、例えば、サブアラート群ｇ１がアラートａ１及びａ３を含み、サブアラート群ｇ２がアラートａ２及びａ４を含み、運行監視者Ｔ２について格納されるアラート群Ａは、例えば、サブアラート群ｇ１がアラートａ１及びａ４を含み、サブアラート群ｇ２がアラートａ２及びａ３を含む。また、運行監視者Ｔ１について格納される運行判断群Ｄは、例えば、運行判断ｄ１、ｄ２、及びｄ３を含み、運行監視者Ｔ２について格納される運行判断群Ｄは、例えば、運行判断ｄ１、ｄ２、及びｄ４を含む。データベースＤＢ２は、さらに、複数の運行監視者により入力された状況判断、分類結果、及び／または運行判断に関するデータについての統計分布のデータを格納していてもよい。
【0107】
次に図１２を参照して、評価用データ作成システム２において実行される評価用データ作成プロセスについて説明する。図１２は、本開示の実施形態において実行される例示の評価データ作成処理のフローチャートの一例を示す。
【0108】
まず、運行監視装置５００により、移動体６００で発信されたアラート及びアラートが発信された際の状況判断材料情報を受信する（ステップＳ１２０２）。
【0109】
次に、運行監視装置５００において、運行監視者からの状況判断の入力を受け付ける（ステップＳ１２０４）。
【0110】
続いて、運行監視装置５００において、運行監視者からのアラートのサブアラート群への分類結果の入力を受け付ける（ステップＳ１２０６）。
【0111】
次に、運行監視装置５００において、運行監視者からの運行判断の入力を受け付ける（ステップＳ１２０８）。
【0112】
続いて、運行監視装置５００において、状況判断、分類結果、及び運行判断を格納する（ステップＳ１２１０）。例えば、状況判断、分類結果、及び運行判断は、評価用データ作成装置４００に送信され、評価用データ作成装置４００により評価用データベースＤＢ２に格納されてもよい。
【0113】
（変形例）
上述した本開示の実施形態においては、運行監視の評価方法が、運行監視評価システム１により実行される場合を例に説明したが、本開示の実施形態に係る運行監視の評価方法は、例えば運行監視評価装置のみによって実行されてもよい。図１３に、この場合の運行監視評価装置７００の機能ブロック構成の一例を示す。図１３に示すように、運行監視評価装置７００は、上述の運行監視評価システム１の運行監視装置３００の各構成に加え、運行監視評価装置１００の運行監視評価部１４０と同じ構成を有する運行監視評価部７４０をさらに備える。従って、運行監視評価装置７００は、アラート出力部７６２により発信されるアラート及び状況判断材料情報出力部７６４により表示される状況判断材料情報に基づき被評価者により入力される状況判断、アラートの分類結果、及び運行判断を、運行監視評価装置７００内の運行監視評価部７４０の、状況判断結果評価部７４２、分類結果評価部７４４、及び運行判断評価部７４６によりそれぞれ評価することができる。評価に使用する熟練者等の比較対象となる者が過去に実施した運行監視の情報は、図１３に示すように、データベースＤＢ３に格納されてもよいし、運行監視評価装置７００の有する記憶部７２０に格納されていてもよい。なお、運行監視評価装置７００は、運行監視評価システム１の運行監視装置３００と同様に、その他、制御部７０２と、取得部７０４と、通信処理部７０６と、記憶部７２０と、入力部７５０と、出力部７６０を備えていてもよい。記憶部７２０は、収集データＤＢ７２２を備えていてもよく、入力部７５０は、状況判断入力部７５２と、分類結果入力部７５４と、運行判断入力部７５６とを備えていてもよく、出力部７６０は、アラート出力部７６２と、状況判断材料情報出力部７６４と、評価結果出力部７６６とを備えていてもよい。さらに、出力部７６０の評価結果出力部７６６は、状況判断評価出力部７６６ａと、分類結果評価出力部７６６ｂと、運行判断評価出力部７６６ｃとを備えていてもよい。
上述した本開示の実施形態においては、運行監視の評価方法が、運行監視評価システム１により実行される場合を例に説明したが、本開示の実施形態に係る運行監視の評価方法は、例えば運行監視評価装置のみによって実行されてもよい。図１３に、この場合の運行監視評価装置７００の機能ブロック構成の一例を示す。図１３に示すように、運行監視評価装置７００は、上述の運行監視評価システム１の運行監視装置３００の各構成に加え、運行監視評価装置１００の運行監視評価部１４０と同じ構成を有する運行監視評価部７４０をさらに備える。従って、運行監視評価装置７００は、アラート出力部７６２により発信されるアラート及び状況判断材料情報出力部７６４により表示される状況判断材料情報に基づき被評価者により入力される状況判断、アラートの分類結果、及び運行判断を、運行監視評価装置７００内の運行監視評価部７４０の、状況判断結果評価部７４２、分類結果評価部７４４、及び運行判断評価部７４６によりそれぞれ評価することができる。評価に使用する熟練者等の比較対象となる者が過去に実施した運行監視の情報は、図１３に示すように、データベースＤＢ３に格納されてもよいし、運行監視評価装置７００の有する記憶部７２０に格納されていてもよい。なお、運行監視評価装置７００は、運行監視評価システム１の運行監視装置３００と同様に、その他、制御部７０２と、取得部７０４と、通信処理部７０６と、記憶部７２０と、入力部７５０と、出力部７６０を備えていてもよい。記憶部７２０は、収集データＤＢ７２２を備えていてもよく、入力部７５０は、状況判断入力部７５２と、分類結果入力部７５４と、運行判断入力部７５６とを備えていてもよく、出力部７６０は、アラート出力部７６２と、状況判断材料情報出力部７６４と、評価結果出力部７６６とを備えていてもよい。さらに、出力部７６０の評価結果出力部７６６は、状況判断評価出力部７６６ａと、分類結果評価出力部７６６ｂと、運行判断評価出力部７６６ｃとを備えていてもよい。
【0114】
図１を参照して上述した本開示の実施形態においては、１台のアラート発信装置が運行監視評価装置から送信される情報に応じてアラートを発信する場合を例に説明したが、アラート発信装置の構成はこれに限られない。例えば、各運行監視装置に対してアラート発信装置が用意されてもよい。図１４にこの場合の運行監視評価システム１２の一例の図を示す。図１４に示すように、運行監視装置３００－１、３００－２、…、３００－ｎのそれぞれに対し、アラート発信装置２００－１、２００－２、…、２００－ｎが設置されていてもよい。また、図１４を参照して、運行監視評価システム１２においては、アラート発信装置２００は運行監視装置３００－１、３００－２、…、３００－ｎと同じネットワーク内に設置される場合を例に説明したが、アラート発信装置２００は運行監視装置３００－１、３００－２、…、３００－ｎと同じネットワーク内に設置されなくてもよい。図１５に他の例の運行監視評価システム１４を示す。例えば、図１５に示すように、運行監視評価システム１４においては、アラート発信装置２００がサーバ等の運行監視評価装置１００と同じネットワーク内に設置され、例えばインターネット等を介して運行監視装置３００－１、３００－２、…、３００－ｎにアラートを発信し、被評価者である運行監視者に運行監視を実行させてもよい。
【0115】
なお、アラート発信装置の構成はこれらに限られず、例えば運行監視装置３００内にアラート発信部を設け、運行監視評価装置１００から送信されるアラートに関する情報に基づき、アラートの発信を運行監視装置３００において行う構成としてもよい。
【0116】
以上説明した本開示の実施形態に係る運行監視の評価方法により、自動運行可能な移動体の運行監視者の訓練時等の評価において、訓練される運行監視者の評価を効率良く行うことができる。また、運行監視者に対し、より客観的な評価をすることが可能となる。従って、特に多数の運行監視者を訓練する際においても効率良く評価を行い、訓練を実行することが可能となる。従って、レベル４の自動運転サービスの展開時のように、多数の自動運転車両が短期間に導入された場合においても、対応可能な運行監視者の訓練が可能となる。また、各実施形態に係る技術は、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献できる。また、各実施形態に係る技術は、持続可能な開発目標（ＳＤＧｓ）の目標１１「包摂的で安全かつ強靭で持続可能な都市及び人間居住の実現」の達成にも貢献できる。
【0117】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【0118】
（付記１：運行監視評価装置）
自動運行可能な移動体の運行監視を評価する運行監視評価装置であって、
前記自動運行可能な移動体で発生する所定の事象に応じて発信されるアラートと、前記アラートに関連付けられる状況判断材料情報と、前記アラート及び前記状況判断材料情報に基づき比較対象となる者が示した前記アラートの分類結果、状況判断、及び／又は前記状況判断に対応する運行判断を格納するメモリと、
前記アラートを発信するアラート発信部と、
前記アラートに関連する前記状況判断材料情報を表示する表示部と、
入力部であって、
前記アラート及び前記状況判断材料情報に基づき被評価者がした状況判断についての第１の情報と、
前記状況判断に対応する前記被評価者の前記運行判断についての第２の情報と、
前記アラート及び前記状況判断材料情報に基づき、前記被評価者が前記アラートを複数のサブアラート群に分類した分類結果についての第３の情報と、
を受け付ける入力部と、
前記比較対象となる者が示した前記分類結果、前記状況判断、及び／又は前記運行判断と、前記第１の情報、前記第２の情報、及び／又は前記第３の情報と、を比較することにより前記被評価者の前記運行監視を評価する評価部と、
を含む、運行監視評価装置。
自動運行可能な移動体の運行監視を評価する運行監視評価装置であって、
前記自動運行可能な移動体で発生する所定の事象に応じて発信されるアラートと、前記アラートに関連付けられる状況判断材料情報と、前記アラート及び前記状況判断材料情報に基づき比較対象となる者が示した前記アラートの分類結果、状況判断、及び／又は前記状況判断に対応する運行判断を格納するメモリと、
前記アラートを発信するアラート発信部と、
前記アラートに関連する前記状況判断材料情報を表示する表示部と、
入力部であって、
前記アラート及び前記状況判断材料情報に基づき被評価者がした状況判断についての第１の情報と、
前記状況判断に対応する前記被評価者の前記運行判断についての第２の情報と、
前記アラート及び前記状況判断材料情報に基づき、前記被評価者が前記アラートを複数のサブアラート群に分類した分類結果についての第３の情報と、
を受け付ける入力部と、
前記比較対象となる者が示した前記分類結果、前記状況判断、及び／又は前記運行判断と、前記第１の情報、前記第２の情報、及び／又は前記第３の情報と、を比較することにより前記被評価者の前記運行監視を評価する評価部と、
を含む、運行監視評価装置。
【0119】
（付記２：評価データを用意するためのプログラム）
自動運行可能な移動体の運行監視を評価するための評価データを作成するためのプログラムであって、コンピュータに、
前記自動運行可能な移動体から、
前記自動運行可能な移動体で所定の事象の発生に応じて発信されるアラートと、
前記アラートの発信時の前記自動運行可能な移動体の状態に関する情報である状況判断材料情報と、
を受け付けるステップと、
前記自動運行可能な移動体を監視する監視者から、
前記アラート及び前記状況判断材料情報に基づき前記監視者がした状況判断についての第１の情報と、
前記状況判断に対応する前記監視者の運行判断の結果についての第２の情報と、
前記アラート及び前記状況判断材料情報に基づき、前記監視者が前記アラートを複数のサブアラート群に分類した分類結果についての第３の情報と、
を受け付けるステップと、
を実行させる、プログラム。
自動運行可能な移動体の運行監視を評価するための評価データを作成するためのプログラムであって、コンピュータに、
前記自動運行可能な移動体から、
前記自動運行可能な移動体で所定の事象の発生に応じて発信されるアラートと、
前記アラートの発信時の前記自動運行可能な移動体の状態に関する情報である状況判断材料情報と、
を受け付けるステップと、
前記自動運行可能な移動体を監視する監視者から、
前記アラート及び前記状況判断材料情報に基づき前記監視者がした状況判断についての第１の情報と、
前記状況判断に対応する前記監視者の運行判断の結果についての第２の情報と、
前記アラート及び前記状況判断材料情報に基づき、前記監視者が前記アラートを複数のサブアラート群に分類した分類結果についての第３の情報と、
を受け付けるステップと、
を実行させる、プログラム。
【0120】
（付記３：運行監視を評価するためのプログラム）
所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するためのプログラムであって、コンピュータに、
被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、
前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、
を実行させる、プログラム。
所定の事象の発生に応じてアラートを発信するように構成された自動運行可能な移動体の運行監視を評価するためのプログラムであって、コンピュータに、
被評価者に前記アラート及び前記アラートに関連付けられる状況判断材料情報を提示する提示ステップと、
前記提示ステップの後に、前記被評価者による状況判断及び運行判断に関する入力を受け付ける受付ステップと、
を実行させる、プログラム。
【0121】
（付記４：アラートの優先順位）
前記複数のサブアラート群は第１のサブアラート群と第２のサブアラート群とを含み、
前記被評価者による前記分類結果は、前記第１のサブアラート群に含まれる前記アラートが、前記第２のサブアラート群に含まれる前記アラートより優先的に処理される、という判断結果を含む、
付記３に記載のプログラム。
前記複数のサブアラート群は第１のサブアラート群と第２のサブアラート群とを含み、
前記被評価者による前記分類結果は、前記第１のサブアラート群に含まれる前記アラートが、前記第２のサブアラート群に含まれる前記アラートより優先的に処理される、という判断結果を含む、
付記３に記載のプログラム。
【0122】
（付記５：運行判断の評価手法）
前記被評価者による前記運行判断は、前記アラートと前記運行判断との組み合わせと、前記運行判断の実行される順番と、についての情報を含み、
前記評価ステップは、
前記比較対象となる者が示した前記アラートと前記運行判断との組み合わせ及び前記運行判断の実行される順番の前記アラートごとの分布に対する、前記被評価者による前記運行判断に含まれる前記組み合わせ及び前記順番に基づき評価する分布評価ステップを含む、
付記３に記載のプログラム。
前記被評価者による前記運行判断は、前記アラートと前記運行判断との組み合わせと、前記運行判断の実行される順番と、についての情報を含み、
前記評価ステップは、
前記比較対象となる者が示した前記アラートと前記運行判断との組み合わせ及び前記運行判断の実行される順番の前記アラートごとの分布に対する、前記被評価者による前記運行判断に含まれる前記組み合わせ及び前記順番に基づき評価する分布評価ステップを含む、
付記３に記載のプログラム。
【0123】
（付記６：リアルタイムの運行監視）
前記被評価者に提示される前記アラートは、前記自動運行可能な移動体において発生する新たなアラートを含み、
前記被評価者に提示される前記状況判断材料情報は、前記新たなアラートに関連して新たに発生する状況判断材料情報を含み、
前記評価ステップにおいて、
前記新たなアラート及び前記新たに発生した状況判断材料情報に対して比較対象となる者が示す新たな状況判断、分類結果、及び／又は運行判断と、前記新たなアラート及び前記新たに発生する状況判断材料情報に基づき前記被評価者が新たに示す前記状況判断、前記分類結果、及び／又は前記運行判断と、を比較することにより、前記被評価者の前記運行監視を評価する、
付記３に記載のプログラム。
前記被評価者に提示される前記アラートは、前記自動運行可能な移動体において発生する新たなアラートを含み、
前記被評価者に提示される前記状況判断材料情報は、前記新たなアラートに関連して新たに発生する状況判断材料情報を含み、
前記評価ステップにおいて、
前記新たなアラート及び前記新たに発生した状況判断材料情報に対して比較対象となる者が示す新たな状況判断、分類結果、及び／又は運行判断と、前記新たなアラート及び前記新たに発生する状況判断材料情報に基づき前記被評価者が新たに示す前記状況判断、前記分類結果、及び／又は前記運行判断と、を比較することにより、前記被評価者の前記運行監視を評価する、
付記３に記載のプログラム。
【符号の説明】
【0124】
１…運行監視評価システム、２…評価用データ作成システム、１０ａ…プロセッサ、１０ｂ…メモリ、１０ｃ…通信部、１０ｄ…入力部、１０ｅ…出力部、２０…ネットワーク、１００、７００…運行監視評価装置、２００…アラート発信装置、３００、５００…運行監視装置、４００…評価用データ作成装置、６００…移動体、ＤＢ、ＤＢ２、ＤＢ３…データベース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】