ホーム > 特許ランキング > ソフトバンク株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023145366
(43)【公開日】2023-10-11
(54)【発明の名称】遠隔監視装置
(51)【国際特許分類】
G08G 1/09 20060101AFI20231003BHJP
G08G 1/16 20060101ALI20231003BHJP
H04N 7/18 20060101ALI20231003BHJP
G16Y 10/40 20200101ALI20231003BHJP
G16Y 20/20 20200101ALI20231003BHJP
G16Y 40/10 20200101ALI20231003BHJP
【ＦＩ】
G08G1/09 V
G08G1/16 A
H04N7/18 D
H04N7/18 U
G16Y10/40
G16Y20/20
G16Y40/10
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023036934
(22)【出願日】2023-03-09
(31)【優先権主張番号】P 2022052508
(32)【優先日】2022-03-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】山科 瞬
(72)【発明者】
【氏名】渡邊 美友貴
(72)【発明者】
【氏名】新 智広
【テーマコード（参考）】
5C054
5H181
【Ｆターム（参考）】
5C054CA04
5C054CA06
5C054CC02
5C054CE00
5C054FD02
5C054FD03
5C054FE18
5C054FE28
5C054HA29
5H181AA01
5H181AA06
5H181BB04
5H181BB13
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181CC24
5H181CC27
5H181EE02
5H181FF13
5H181FF22
5H181FF27
5H181FF32
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5H181LL09
5H181MB02
5H181MB12
5H181MC15
5H181MC16
5H181MC19
5H181MC27
(57)【要約】
【課題】一人の遠隔監視者が多数の自動運転車両を監視する状況において、自動運転車両が最小リスク状態に移行した後の運転再開判断を容易かつ正確に行うことができるようにする。
【解決手段】遠隔監視装置（２）は、自動運転車両（１）が備えるセンサ（１１）が検知した事象、および自動運転車両が行った判断の結果生じた事象の少なくとも一方の事象を示す情報を取得する少なくとも一台の自動運転車両と通信する通信部（２１）と、自動運転車両から、当該自動運転車両が取得した情報を定期的に受信するよう通信部を制御する受信制御部（２５１）と、自動運転車両が最小リスク状態に移行した場合に、当該自動運転車両が最小リスク状態に移行した第一時刻と、当該第一時刻より所定時間前の第二時刻との間に通信部が受信した情報を出力する出力部（２３）と、を備える。
【選択図】図５
【解決手段】遠隔監視装置（２）は、自動運転車両（１）が備えるセンサ（１１）が検知した事象、および自動運転車両が行った判断の結果生じた事象の少なくとも一方の事象を示す情報を取得する少なくとも一台の自動運転車両と通信する通信部（２１）と、自動運転車両から、当該自動運転車両が取得した情報を定期的に受信するよう通信部を制御する受信制御部（２５１）と、自動運転車両が最小リスク状態に移行した場合に、当該自動運転車両が最小リスク状態に移行した第一時刻と、当該第一時刻より所定時間前の第二時刻との間に通信部が受信した情報を出力する出力部（２３）と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
自動運転車両が備えるセンサが検知した事象、および前記自動運転車両が行った判断の結果生じた事象の少なくとも一方の事象を示す事象情報を取得する少なくとも一台の前記自動運転車両と通信する通信部と、
前記自動運転車両から、当該自動運転車両が取得した前記事象情報を定期的に受信するよう前記通信部を制御する受信制御部と、
前記自動運転車両が最小リスク状態に移行した場合に、当該自動運転車両が前記最小リスク状態に移行した第一時刻と、当該第一時刻より所定時間前の第二時刻との間に前記通信部が受信した前記事象情報を出力する出力部と、
を備える遠隔監視装置。
前記自動運転車両から、当該自動運転車両が取得した前記事象情報を定期的に受信するよう前記通信部を制御する受信制御部と、
前記自動運転車両が最小リスク状態に移行した場合に、当該自動運転車両が前記最小リスク状態に移行した第一時刻と、当該第一時刻より所定時間前の第二時刻との間に前記通信部が受信した前記事象情報を出力する出力部と、
を備える遠隔監視装置。
【請求項2】
前記出力部は、前記事象が生じた時刻および前記事象の内容を出力する、
請求項１に記載の遠隔監視装置。
請求項１に記載の遠隔監視装置。
【請求項3】
前記出力部は、
前記事象情報の表示領域を有する画面を表示し、
前記表示領域に一度に表示しきれる範囲内の数の前記事象情報を表示する、
請求項１または２に記載の遠隔監視装置。
前記事象情報の表示領域を有する画面を表示し、
前記表示領域に一度に表示しきれる範囲内の数の前記事象情報を表示する、
請求項１または２に記載の遠隔監視装置。
【請求項4】
前記センサは、当該自動運転車両の内側および外側の少なくとも一方を撮影するイメージセンサであり、
前記出力部は、前記事象情報を表示するとともに、第一画像を表示する、
請求項１に記載の遠隔監視装置。
前記出力部は、前記事象情報を表示するとともに、第一画像を表示する、
請求項１に記載の遠隔監視装置。
【請求項5】
前記センサは、当該自動運転車両の内側および外側の少なくとも一方の音声を取得するマイクであり、
前記出力部は、前記事象情報を出力するとともに、音声を出力する、
請求項１に記載の遠隔監視装置。
前記出力部は、前記事象情報を出力するとともに、音声を出力する、
請求項１に記載の遠隔監視装置。
【請求項6】
ユーザによりなされた所定操作に基づいて、前記最小リスク状態となっている前記自動運転車両へ運転再開を指示する再開指示信号を送信するよう前記通信部を制御する送信制御部を更に備える、
請求項１に記載の遠隔監視装置。
請求項１に記載の遠隔監視装置。
【請求項7】
前記通信部が前記再開指示信号を送信した後、前記自動運転車両が運転を再開したか否かを判断する再開判断部と、
前記出力部は、前記自動運転車両が運転を再開していないと前記再開判断部が判断した場合に、その旨を出力することを特徴とする、
請求項６に記載の遠隔監視装置。
前記出力部は、前記自動運転車両が運転を再開していないと前記再開判断部が判断した場合に、その旨を出力することを特徴とする、
請求項６に記載の遠隔監視装置。
【請求項8】
監視対象とする前記自動運転車両は、人を立った状態で載せることが可能な構造を有している、
請求項１に記載の遠隔監視装置。
請求項１に記載の遠隔監視装置。
【請求項9】
自動運転車両が備えるセンサが検知した事象、および前記自動運転車両が行った判断の結果生じた事象の少なくとも一方の事象を示す事象情報を取得する少なくとも一台の前記自動運転車両と通信する通信部と、
前記自動運転車両から、当該自動運転車両が取得した前記事象情報を定期的に受信するよう前記通信部を制御する受信制御部と、
前記自動運転車両が最小リスク状態に移行した場合に、前記通信部が受信した複数の前記事象情報のうち、当該自動運転車両が前記最小リスク状態に移行したときに受信した前記事象情報を含む、直近の所定数の前記事象情報を出力する出力部と、
を備える遠隔監視装置。
前記自動運転車両から、当該自動運転車両が取得した前記事象情報を定期的に受信するよう前記通信部を制御する受信制御部と、
前記自動運転車両が最小リスク状態に移行した場合に、前記通信部が受信した複数の前記事象情報のうち、当該自動運転車両が前記最小リスク状態に移行したときに受信した前記事象情報を含む、直近の所定数の前記事象情報を出力する出力部と、
を備える遠隔監視装置。
【請求項10】
前記出力部は、前記通信部が複数の前記自動運転車両から、前記最小リスク状態に移行する原因となり得る事象を示す特定の事象情報をそれぞれ受信した場合、複数の前記特定の事象情報を、前記原因となり得る事象が生じた順に一覧表示する、
請求項１または９に記載の遠隔監視装置。
請求項１または９に記載の遠隔監視装置。
【請求項11】
前記通信部が複数の前記自動運転車両から、前記最小リスク状態に移行する原因となり得る事象を示す特定の事象情報をそれぞれ受信した場合、対処すべき優先順位の高さを示す優先度情報を前記自動運転車両ごとに決定する決定部を更に備え、
前記出力部は、各自動運転車両に対応する情報または画像と共に前記優先度情報を表示する、
請求項１または９に記載の遠隔監視装置。
前記出力部は、各自動運転車両に対応する情報または画像と共に前記優先度情報を表示する、
請求項１または９に記載の遠隔監視装置。
【請求項12】
前記再開判断部は、前記通信部が受信した前記事象情報に基づき、前記自動運転車両が運転を再開したか否かを判断する、
請求項７に記載の遠隔監視装置。
請求項７に記載の遠隔監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔監視装置に関する。
【背景技術】
【0002】
レベル４以上の自動運転においては、自動運転車両が最小リスク状態（自動停止した状態）となった場合、自動運転の再開の可否を、遠隔監視者が判断することになる。そこで、従来、自動運転車両が最小リスク状態となったときの遠隔監視者の判断を補助するための各種技術が従来提案されている。例えば特許文献１には、自律走行車両と遠隔監視センターとを備え、自律走行車両が自動停止した場合、遠隔監視センターがカメラ映像送信部から受信した映像に基づいて自律走行車両の走行を再開させてよいかどうか判断し、自律走行車両の走行を再開させてよいと判断した場合には、自律走行車両に発進信号を送信する遠隔監視システムについて記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－８７０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載されたような従来技術では、監視者が走行再開の可否を判断するための材料が、カメラで撮像した画像しかない。このため、監視者が画像を注意深く確認しなければ判断ができない場合があった。その結果、多数の自動運転車両を少人数の監視者で監視する場合に、画像の確認に時間を要し、迅速な走行再開可否判断ができないことがあった。
【課題を解決するための手段】
【0005】
本発明の一態様に係る遠隔監視装置は、自動運転車両が備えるセンサが検知した事象、および前記自動運転車両が機械学習により構築された学習済モデルを用いて行った判断の結果生じた事象の少なくとも一方の事象を示す情報を取得する少なくとも一台の前記自動運転車両と通信する通信部と、前記自動運転車両から、当該自動運転車両が取得した前記情報を定期的に受信するよう前記通信部を制御する受信制御部と、前記自動運転車両が最小リスク状態に移行した場合に、当該自動運転車両が前記最小リスク状態に移行した第一時刻と、当該第一時刻より所定時間前の第二時刻との間に前記通信部が受信した前記情報を出力する出力部と、を備える。
【0006】
本発明の他の態様に係る遠隔監視装置は、自動運転車両が備えるセンサが検知した事象、および前記自動運転車両が行った判断の結果生じた事象の少なくとも一方の事象を示す情報を取得する少なくとも一台の前記自動運転車両と通信する通信部と、前記自動運転車両から、当該自動運転車両が取得した前記情報を定期的に受信するよう前記通信部を制御する受信制御部と、前記自動運転車両が最小リスク状態に移行した場合に、前記通信部が受信した複数の前記情報のうち、当該自動運転車両が前記最小リスク状態に移行したときに受信した前記情報を含む、直近の所定数の前記情報を出力する出力部と、を備える。
【0007】
本発明の各態様は、コンピュータによって実現してもよく、この場合には、コンピュータを上記遠隔監視装置が備える各部（ソフトウェア要素）として動作させることにより遠隔監視装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【図面の簡単な説明】
【0008】
【図1】本発明の一の態様の実施形態に係る遠隔監視装置が監視対象とする自動運転車両の機能的構成を示すブロック図である。
【図2】同実施形態に係る遠隔監視装置の機能的構成を示すブロック図である。
【図3】同実施形態に係る遠隔監視装置が備える出力部による出力内容の一例を示す図である。
【図4】同出力部による出力内容の一例を示す図である。
【図5】同出力部による出力内容の一例を示す図である。
【図6】同出力部による出力内容の一例を示す図である。
【図7】同出力部による出力内容の一例を示す図である。
【図8】同遠隔監視装置を用いて遠隔監視者が行う判断の一例を示す図である。
【図9】同遠隔監視装置を用いて遠隔監視者が行う判断の他の例を示す図である。
【図10】同実施形態に係る遠隔監視装置が備える出力部による出力内容の一例を示す図である。
【図11】同出力部による出力内容の一例を示す図である。
【図12】同出力部による出力内容の一例を示す図である。
【図13】同出力部による出力内容の一例を示す図である。
【発明を実施するための形態】
【0009】
＜１．自動運転車両＞
本発明に係る遠隔監視装置２について説明する前に、まず、遠隔監視装置２が監視対象とする自動運転車両１の概略構成について説明する。
本発明に係る遠隔監視装置２について説明する前に、まず、遠隔監視装置２が監視対象とする自動運転車両１の概略構成について説明する。
【0010】
自動運転車両１は、レベル４以上の自動運転を行う。自動運転車両１は、例えば、人を立った状態で載せることが可能な構造を有していてもよい。具体的には、自動運転車両１は、例えばバス（特に路線バス）のような構造を有していてもよい。なお、自動運転車両１は、上記以外の構造を有していてもよい。また、自動運転車両１は、図１に示したように、センサ１１と、車両側通信部１２と、車両側記憶部１３と、車両側制御部１４と、を備える。
【0011】
〔センサ〕
センサ１１は、イメージセンサ、電波センサ、光センサおよびマイクの少なくともいずれかである。イメージセンサは、自動運転車両１の内側（以下、車内）および外側（以下、車外）の少なくとも一方を撮影して画像データを生成する。車内の撮影対象には、例えば、自動運転車両１に乗っている人が含まれる。自動運転車両１の外側の撮影対象は、例えば、車道、車線、標識、歩道、歩行者、先行車両、後続車両、対向車両および障害物の少なくともいずれかが含まれる。障害物には、建物、縁石、街路樹、故障車、および落下物の少なくともいずれかが含まれる。また、車道の一部区間における通行止めも、車両にとっては障害物と見なせるため、障害物に含まれる。電波（光）センサは、Ｌａｄａｒ（Ｌｉｄａｒ）を構成するもので、周囲の物体から反射してきた電波（光）を検知する。は、マイクは、車内および車外の少なくとも一方の音声を取得して音声データを生成する。車内の音声には、例えば、自動運転車両１に乗っている人の声が含まれる。車外の音声には、自動運転車両１の周囲にいる人の声、および自動運転車両１との衝突音の少なくともいずれかが含まれる。
センサ１１は、イメージセンサ、電波センサ、光センサおよびマイクの少なくともいずれかである。イメージセンサは、自動運転車両１の内側（以下、車内）および外側（以下、車外）の少なくとも一方を撮影して画像データを生成する。車内の撮影対象には、例えば、自動運転車両１に乗っている人が含まれる。自動運転車両１の外側の撮影対象は、例えば、車道、車線、標識、歩道、歩行者、先行車両、後続車両、対向車両および障害物の少なくともいずれかが含まれる。障害物には、建物、縁石、街路樹、故障車、および落下物の少なくともいずれかが含まれる。また、車道の一部区間における通行止めも、車両にとっては障害物と見なせるため、障害物に含まれる。電波（光）センサは、Ｌａｄａｒ（Ｌｉｄａｒ）を構成するもので、周囲の物体から反射してきた電波（光）を検知する。は、マイクは、車内および車外の少なくとも一方の音声を取得して音声データを生成する。車内の音声には、例えば、自動運転車両１に乗っている人の声が含まれる。車外の音声には、自動運転車両１の周囲にいる人の声、および自動運転車両１との衝突音の少なくともいずれかが含まれる。
【0012】
〔車両側通信部〕
車両側通信部１２は、遠隔監視装置２と通信する。本実施形態に係る車両側通信部１２は、例えば無線通信モジュールで構成されている。すなわち、本実施形態に係る車両側通信部１２は、遠隔監視装置２と無線通信する。
車両側通信部１２は、遠隔監視装置２と通信する。本実施形態に係る車両側通信部１２は、例えば無線通信モジュールで構成されている。すなわち、本実施形態に係る車両側通信部１２は、遠隔監視装置２と無線通信する。
【0013】
〔車両側記憶部〕
車両側記憶部１３は、後述する認識判断部１４２が認識および判断の少なくとも一方を行う際に用いる基準１３１を記憶している。また、車両側記憶部１３は、認識判断部１４２が予測を行う際に用いる学習済モデル１３２を記憶している。本実施形態に係る学習済モデル１３２は、例えば、機械学習により構築されている。なお、学習済モデル１３２は、機械学習以外の従来公知の各種技術を用いて構築されたものであってもよい。
また、車両側記憶部１３は、自動運転車両１の走行可能範囲の三次元地図１３３を記憶している。本実施形態に係る車両側記憶部１３は、半導体メモリおよびハードディスクの少なくともいずれかで構成されている。
車両側記憶部１３は、後述する認識判断部１４２が認識および判断の少なくとも一方を行う際に用いる基準１３１を記憶している。また、車両側記憶部１３は、認識判断部１４２が予測を行う際に用いる学習済モデル１３２を記憶している。本実施形態に係る学習済モデル１３２は、例えば、機械学習により構築されている。なお、学習済モデル１３２は、機械学習以外の従来公知の各種技術を用いて構築されたものであってもよい。
また、車両側記憶部１３は、自動運転車両１の走行可能範囲の三次元地図１３３を記憶している。本実施形態に係る車両側記憶部１３は、半導体メモリおよびハードディスクの少なくともいずれかで構成されている。
【0014】
〔車両側制御部〕
車両側制御部１４は、取得部１４１と、認識判断部１４２と、車両側送信制御部１４３と、車両側受信制御部１４４と、運転制御部１４５と、を備える。また、車両側制御部１４の各部１４１～１４５は、動作をする度にログを生成する。
車両側制御部１４は、取得部１４１と、認識判断部１４２と、車両側送信制御部１４３と、車両側受信制御部１４４と、運転制御部１４５と、を備える。また、車両側制御部１４の各部１４１～１４５は、動作をする度にログを生成する。
【0015】
（取得部）
取得部１４１は、センサ１１が生成したデータを取得する。すなわち、自動運転車両１は、センサ１１が検知した事象を示す事象情報を取得する。本実施形態に係る取得部１４１は、所定時間が経過する度に、事象情報を繰り返し取得する。
取得部１４１は、センサ１１が生成したデータを取得する。すなわち、自動運転車両１は、センサ１１が検知した事象を示す事象情報を取得する。本実施形態に係る取得部１４１は、所定時間が経過する度に、事象情報を繰り返し取得する。
【0016】
（認識判断部）
認識判断部１４２は、が機械学習により構築された学習済モデルを用いて取得部１４１が取得した（センサ１１からの）事象情報に基づいて車内および車外の少なくとも一方の事象を認識し、その認識結果に基づいて判断する。
認識判断部１４２は、が機械学習により構築された学習済モデルを用いて取得部１４１が取得した（センサ１１からの）事象情報に基づいて車内および車外の少なくとも一方の事象を認識し、その認識結果に基づいて判断する。
【0017】
認識判断部１４２は、各部１４１～１４５が生成したログに基づいて、異常が生じたか否かを判断する。ここで、異常が生じていないと判断した場合、認識判断部１４２は、ログを遠隔監視装置２へ送信するよう車両側通信部１２を制御する。一方、異常が生じたと判断した場合、認識判断部１４２は、ログに問題フラグを付す。そして、認識判断部１４２は、問題フラグが付されたログを遠隔監視装置２へ送信するよう車両側通信部１２を制御する。
【0018】
また、認識判断部１４２は、メトリクスに基づく判断を行う。メトリクスには、例えば、自動運転車両１の走行速度、加速度、アクセルペダルの変位速度、ブレーキペダルの変位速度、およびステアリングの回転速度の少なくともいずれかが含まれる。判断には、所定の閾値を超えるか否かの判断、およびメトリクスに対応する動作が異常傾向を示しているか否かの判断の少なくともいずれかが含まれる。ここで、メトリクスが閾値を超えない、または異常傾向を示していないと判断した場合、メトリクスを遠隔監視装置２へ送信するよう車両側通信部１２を制御する。一方、メトリクスが閾値を超えた、または異常傾向を示していると判断した場合、認識判断部１４２は、メトリクスに問題フラグを付す。そして、認識判断部１４２は、問題フラグが付されたメトリクスを遠隔監視装置２へ送信するよう車両側通信部１２を制御する。
【0019】
また、認識判断部１４２は、マイクが生成した音声データに基づいてユーザの発話内容を認識し、その発話内容の重要度を判定する。ここで、発話内容の重要度が相対的に低いと判断した場合、認識判断部１４２は、発話内容を遠隔監視装置２へ送信するよう車両側通信部１２を制御する。一方、発話内容の重要度が相対的に高いと判断した場合、認識判断部１４２は、発話内容に問題フラグを付す。そして、認識判断部１４２は、問題フラグが付された発話内容を遠隔監視装置２へ送信するよう車両側通信部１２を制御する。
【0020】
また、認識判断部１４２は、画像データまたはRadarの検知結果に基づいて、もしくはLidarの検知結果および三次元地図に基づいて車内および車外の少なくとも一方に存在する物体を認識する。そして、認識判断部１４２は、認識結果に基づいて、認識した物体がどのように移動するか予測する。そして、認識判断部１４２は、予測結果に基づいて、物体と自動運転車両１との間に危険が生じるか否かを判断する。ここで、危険が生じないと判断した場合、認識判断部１４２は、発話内容を遠隔監視装置２へ送信するよう車両側通信部１２を制御する。一方、危険が生じると判断した場合、認識判断部１４２は、判断結果に問題フラグを付す。そして、認識判断部１４２は、問題フラグが付された判断結果を遠隔監視装置２へ送信するよう車両側通信部１２を制御する。
【0021】
上記認識判断部１４２は、上記各種判断を複数回行う。このため、認識判断部１４２がある判断を行った後、当該判断に基づいて運転制御部１４５が自動運転車両１を制御した場合に、当該判断の結果ある事象が生じることがある。例えば、前方に歩行者が飛び出してきたとの判断に基づいて、運転制御部１４５が急ブレーキをかけた場合に、自動運転車両１に乗っていた人が転倒するという事象が生じることがある。すなわち、自動運転車両１は、自動運転車両１が行った判断の結果生じた事象を示す事象情報も取得することがある。なお、自動運転車両１は、センサ１１が検知した事象を示す事象情報、および自動運転車両１が行った判断の結果生じた事象を示す事象情報の少なくとも一方を取得すればよい。
【0022】
（車両側送信制御部）
車両側送信制御部１４３は、センサ１１が取得した事象情報を、遠隔監視装置２へ送信するよう車両側通信部１２を制御する。また、車両側送信制御部１４３は、認識判断部１４２による認識結果、予測結果および判断結果を遠隔監視装置２へ送信するよう車両側通信部１２を制御する。また、車両側送信制御部１４３は、認識判断部１４２が判断を行うことができなくなった場合に、アラートを遠隔監視装置２へ送信するよう車両側通信部１２を制御する。
車両側送信制御部１４３は、センサ１１が取得した事象情報を、遠隔監視装置２へ送信するよう車両側通信部１２を制御する。また、車両側送信制御部１４３は、認識判断部１４２による認識結果、予測結果および判断結果を遠隔監視装置２へ送信するよう車両側通信部１２を制御する。また、車両側送信制御部１４３は、認識判断部１４２が判断を行うことができなくなった場合に、アラートを遠隔監視装置２へ送信するよう車両側通信部１２を制御する。
【0023】
（車両側受信制御部）
車両側受信制御部１４４は、遠隔監視装置２から停止指示信号を受信するよう車両側通信部１２を制御する。停止指示信号は、最小リスク状態への移行を指示する制御信号である。車両側受信制御部１４４は、遠隔監視装置２から再開指示信号を受信するよう車両側通信部１２を制御する。再開指示信号は、自動運転車両１の運転再開を指示する制御信号である。遠隔監視装置２による制御信号の送信は、突発的に起こり得る。このため、本実施形態に係る車両側受信制御部１４４は、停止指示信号や再開指示信号をいつでも受信できるよう車両側通信部１２を制御する。
車両側受信制御部１４４は、遠隔監視装置２から停止指示信号を受信するよう車両側通信部１２を制御する。停止指示信号は、最小リスク状態への移行を指示する制御信号である。車両側受信制御部１４４は、遠隔監視装置２から再開指示信号を受信するよう車両側通信部１２を制御する。再開指示信号は、自動運転車両１の運転再開を指示する制御信号である。遠隔監視装置２による制御信号の送信は、突発的に起こり得る。このため、本実施形態に係る車両側受信制御部１４４は、停止指示信号や再開指示信号をいつでも受信できるよう車両側通信部１２を制御する。
【0024】
（運転制御部）
運転制御部１４５は、認識判断部１４２による判断結果に基づいて加減速または操舵の少なくとも一方を制御する。また、運転制御部１４５は、事象の認識結果に基づく判断を認識判断部１４２ができなかった場合に、自動運転車両１を最小リスク状態に移行させる。最小リスク状態とは、自動運転車両１の乗員及び自動運転車両１以外の道路利用者の安全が最大限確保できるよう配慮された上で安全に停止した状態を指す。例えば、ハザードランプを点灯させ、後続車に注意を促した上で、低速で路肩に一時停車することが該当する。認識判断部１４２が判断できない場合には、車内および車外の少なくとも一方において想定外の挙動があった場合等が含まれる。本実施形態に係る運転制御部１４５は、遠隔監視装置２から、停止指示信号を装置側通信部２１が受信した場合にも、自動運転車両１を最小リスク状態に移行さる。また、運転制御部１４５は、自動運転車両１が最小リスク状態となっているときに、車両側通信部１２が再開指示信号を受信した場合、車内および車外の少なくとも一方の事象の認識結果に基づく判断を認識判断部１４２が行えるか否かを判断する。行えると判断した場合、運転制御部１４５は、最小リスク状態を解除する。そして、運転制御部１４５は、加減速または操舵の少なくとも一方の制御を再開する。
運転制御部１４５は、認識判断部１４２による判断結果に基づいて加減速または操舵の少なくとも一方を制御する。また、運転制御部１４５は、事象の認識結果に基づく判断を認識判断部１４２ができなかった場合に、自動運転車両１を最小リスク状態に移行させる。最小リスク状態とは、自動運転車両１の乗員及び自動運転車両１以外の道路利用者の安全が最大限確保できるよう配慮された上で安全に停止した状態を指す。例えば、ハザードランプを点灯させ、後続車に注意を促した上で、低速で路肩に一時停車することが該当する。認識判断部１４２が判断できない場合には、車内および車外の少なくとも一方において想定外の挙動があった場合等が含まれる。本実施形態に係る運転制御部１４５は、遠隔監視装置２から、停止指示信号を装置側通信部２１が受信した場合にも、自動運転車両１を最小リスク状態に移行さる。また、運転制御部１４５は、自動運転車両１が最小リスク状態となっているときに、車両側通信部１２が再開指示信号を受信した場合、車内および車外の少なくとも一方の事象の認識結果に基づく判断を認識判断部１４２が行えるか否かを判断する。行えると判断した場合、運転制御部１４５は、最小リスク状態を解除する。そして、運転制御部１４５は、加減速または操舵の少なくとも一方の制御を再開する。
【0025】
＜２．遠隔監視装置の第一実施形態＞
次に、本発明の一の態様である遠隔監視装置２の第一実施形態について、詳細に説明する。
次に、本発明の一の態様である遠隔監視装置２の第一実施形態について、詳細に説明する。
【0026】
［構成］
遠隔監視装置２は、図２に示したように、装置側通信部２１（通信部）と、装置側記憶部２２と、出力部２３と、操作部２４と、装置側制御部２５と、を備える。
遠隔監視装置２は、図２に示したように、装置側通信部２１（通信部）と、装置側記憶部２２と、出力部２３と、操作部２４と、装置側制御部２５と、を備える。
【0027】
〔装置側通信部〕
装置側通信部２１は、少なくとも一台の自動運転車両１と通信する。本実施形態に係る装置側通信部２１は、例えば無線通信モジュールで構成されている。すなわち、本実施形態に係る装置側通信部２１は、自動運転車両１と無線通信する。
装置側通信部２１は、少なくとも一台の自動運転車両１と通信する。本実施形態に係る装置側通信部２１は、例えば無線通信モジュールで構成されている。すなわち、本実施形態に係る装置側通信部２１は、自動運転車両１と無線通信する。
【0028】
〔装置側記憶部〕
装置側記憶部２２には、データベース２２１が構築されている。データベース２２１は、自動運転車両１から受信した事象情報、認識結果、予測結果、判断結果を蓄積することが可能となっている。本実施形態に係る装置側記憶部２２は、半導体メモリおよびハードディスクの少なくともいずれかで構成されている。なお、データベース２２１は、蓄積する情報に応じて、少なくとも二つに分かれていてもよい。
装置側記憶部２２には、データベース２２１が構築されている。データベース２２１は、自動運転車両１から受信した事象情報、認識結果、予測結果、判断結果を蓄積することが可能となっている。本実施形態に係る装置側記憶部２２は、半導体メモリおよびハードディスクの少なくともいずれかで構成されている。なお、データベース２２１は、蓄積する情報に応じて、少なくとも二つに分かれていてもよい。
【0029】
〔出力部〕
出力部２３は、装置側制御部２５の制御に応じた内容を出力する。本実施形態に係る出力部２３は、装置側制御部２５の制御に応じた画像を表示する少なくとも一つの表示装置である。なお、出力部２３は、他の装置（表示装置等）へ各種データや各種信号を送信する通信モジュール、他の装置と接続するための端子、および音声を出力するスピーカの少なくともいずれかあってもよい。
出力部２３は、装置側制御部２５の制御に応じた内容を出力する。本実施形態に係る出力部２３は、装置側制御部２５の制御に応じた画像を表示する少なくとも一つの表示装置である。なお、出力部２３は、他の装置（表示装置等）へ各種データや各種信号を送信する通信モジュール、他の装置と接続するための端子、および音声を出力するスピーカの少なくともいずれかあってもよい。
【0030】
〔操作部〕
操作部２４は、ユーザが操作可能に構成されている。本実施形態に係る操作部２４は、キーボード、ポインティングディバイス（例えば、マウス）およびタッチパネルの少なくともいずれかで構成されている。
操作部２４は、ユーザが操作可能に構成されている。本実施形態に係る操作部２４は、キーボード、ポインティングディバイス（例えば、マウス）およびタッチパネルの少なくともいずれかで構成されている。
【0031】
〔装置側制御部〕
装置側制御部２５は、装置側受信制御部２５１（受信制御部）と、装置側送信制御部２５２（送信制御部）と、再開判断部２５３と、出力制御部２５４と、抽出部２５５と、決定部２５６と、を備える。
装置側制御部２５は、装置側受信制御部２５１（受信制御部）と、装置側送信制御部２５２（送信制御部）と、再開判断部２５３と、出力制御部２５４と、抽出部２５５と、決定部２５６と、を備える。
【0032】
（装置側受信制御部）
装置側受信制御部２５１は、自動運転車両１から、当該自動運転車両１が取得した事象情報を定期的に受信するよう装置側通信部２１を制御する。また、装置側受信制御部２５１は、自動運転車両１から、当該自動運転車両１の認識判断部１４２による認識結果、予測結果および判断結果を受信するよう装置側通信部２１を制御する。また、装置側受信制御部２５１は、自動運転車両１からアラートを受信するよう装置側通信部２１を制御する。自動運転車両１によるアラートの送信は、突発的に起こり得る。このため、本実施形態に係る受信制御部２５１は、アラートをいつでも受信できるよう装置側通信部２１を制御する。
装置側受信制御部２５１は、自動運転車両１から、当該自動運転車両１が取得した事象情報を定期的に受信するよう装置側通信部２１を制御する。また、装置側受信制御部２５１は、自動運転車両１から、当該自動運転車両１の認識判断部１４２による認識結果、予測結果および判断結果を受信するよう装置側通信部２１を制御する。また、装置側受信制御部２５１は、自動運転車両１からアラートを受信するよう装置側通信部２１を制御する。自動運転車両１によるアラートの送信は、突発的に起こり得る。このため、本実施形態に係る受信制御部２５１は、アラートをいつでも受信できるよう装置側通信部２１を制御する。
【0033】
（抽出部）
抽出部２５５は、装置側通信部２１が一の自動運転車両１から複数種類の画像を受信している場合であって、装置側通信部２１が自動運転車両１から特定の事象情報を受信した場合、複数種類の画像の中から、関連画像を自動的に抽出する。特定の事象情報は、最小リスク状態に移行する原因となり得る事象（以下、インシデント）を示す事象情報である。インシデントには、自動運転車両１自体のインシデント、自動運転車両１の車内におけるインシデント、および自動運転車両１の社外におけるインシデントが含まれる。自動運転車両１自体のインシデントは、主に自動運転車両１の交通ルールの逸脱を指す。自動運転車両１の車内におけるインシデントは、主に車内にいる人の転倒を指す。自動運転車両１の車外におけるインシデントには、物体との異常接近や、交通状況の異常等が含まれる。物体には、他の車両、人、障害物等が含まれる。交通状況には、車線規制、冠水、積雪、局所豪雨、渋滞、発信遅延等が含まれる。関連画像は、発生したインシデントまたはインシデント発生に伴う最小リスク状態と最も関連性の高い画像である。具体的には、抽出部２５５は、例えば車内外の画像と、人や障害物との関係性を機械学習させた学習済みモデル（抽出モデル）を用いて、転倒している人が写った画像、自動運転車両１から所定距離以内の前方に存在する人や障害物が写った画像等を抽出する。抽出部２５５は、複数の自動運転車両１から複数種類の画像をそれぞれ受信している場合であって、複数の自動運転車両１の少なくともいずれかにインシデントが発生した、または当該自動運転車両１が最小リスク状態に移行した場合も同様に関連画像を抽出する。
抽出部２５５は、装置側通信部２１が一の自動運転車両１から複数種類の画像を受信している場合であって、装置側通信部２１が自動運転車両１から特定の事象情報を受信した場合、複数種類の画像の中から、関連画像を自動的に抽出する。特定の事象情報は、最小リスク状態に移行する原因となり得る事象（以下、インシデント）を示す事象情報である。インシデントには、自動運転車両１自体のインシデント、自動運転車両１の車内におけるインシデント、および自動運転車両１の社外におけるインシデントが含まれる。自動運転車両１自体のインシデントは、主に自動運転車両１の交通ルールの逸脱を指す。自動運転車両１の車内におけるインシデントは、主に車内にいる人の転倒を指す。自動運転車両１の車外におけるインシデントには、物体との異常接近や、交通状況の異常等が含まれる。物体には、他の車両、人、障害物等が含まれる。交通状況には、車線規制、冠水、積雪、局所豪雨、渋滞、発信遅延等が含まれる。関連画像は、発生したインシデントまたはインシデント発生に伴う最小リスク状態と最も関連性の高い画像である。具体的には、抽出部２５５は、例えば車内外の画像と、人や障害物との関係性を機械学習させた学習済みモデル（抽出モデル）を用いて、転倒している人が写った画像、自動運転車両１から所定距離以内の前方に存在する人や障害物が写った画像等を抽出する。抽出部２５５は、複数の自動運転車両１から複数種類の画像をそれぞれ受信している場合であって、複数の自動運転車両１の少なくともいずれかにインシデントが発生した、または当該自動運転車両１が最小リスク状態に移行した場合も同様に関連画像を抽出する。
【0034】
（決定部）
決定部２５６は、装置側通信部２１が複数の自動運転車両１から、特定の事象情報をそれぞれ受信した場合、優先度情報を自動運転車両１ごとに決定する。優先度情報は、対処すべき優先順位の高さを示す情報である。決定部２５６は、下記のような特定の事象情報を受信した場合に、当該特定の事象情報の優先度情報を以下のように決定する。
・車外の画像及びジャイロセンサーから自車の位置、速度および車線を解析し、車線を逸脱していることを検出した旨の情報を受信した場合、優先順位「高」と決定。
・ジャイロセンサーから急ブレーキ発生を検出したが、車外の画像から当該急ブレーキの原因が自転車の飛び出しであった旨の情報を受信した場合、優先順位「低」と判断。
・車内の画像を解析し、人の転倒を検出した旨の情報を受信した場合、優先順位「高」判断。
・車外の画像から走行中の車道に歩行者が入っていることを検出したにもかかわらず、自動運転車両１による歩行者を回避するための動作（速度の低下、操舵角の変化）を検知していない旨の情報を受信した場合、優先順位「高」と判断。
・車外の画像から交通事故による車線規制が行われていることを検出し、自動運転車両１が最小リスク状態へ移行中である旨の情報を受信した場合、優先順位「中」と判断。
決定部２５６は、装置側通信部２１が複数の自動運転車両１から、特定の事象情報をそれぞれ受信した場合、優先度情報を自動運転車両１ごとに決定する。優先度情報は、対処すべき優先順位の高さを示す情報である。決定部２５６は、下記のような特定の事象情報を受信した場合に、当該特定の事象情報の優先度情報を以下のように決定する。
・車外の画像及びジャイロセンサーから自車の位置、速度および車線を解析し、車線を逸脱していることを検出した旨の情報を受信した場合、優先順位「高」と決定。
・ジャイロセンサーから急ブレーキ発生を検出したが、車外の画像から当該急ブレーキの原因が自転車の飛び出しであった旨の情報を受信した場合、優先順位「低」と判断。
・車内の画像を解析し、人の転倒を検出した旨の情報を受信した場合、優先順位「高」判断。
・車外の画像から走行中の車道に歩行者が入っていることを検出したにもかかわらず、自動運転車両１による歩行者を回避するための動作（速度の低下、操舵角の変化）を検知していない旨の情報を受信した場合、優先順位「高」と判断。
・車外の画像から交通事故による車線規制が行われていることを検出し、自動運転車両１が最小リスク状態へ移行中である旨の情報を受信した場合、優先順位「中」と判断。
【0035】
（出力制御部）
出力制御部２５４は、所定の表示開始条件が成立したことを契機として、各種監視画面Ｓ１～Ｓ３を表示するよう出力部２３を制御する。表示開始条件には、遠隔監視装置２の電源がオンにされたこと、アプリケーションが立ち上げられたこと、所定の表示開始操作がなされた（例えば、画面に対応するアイコンがクリック、タッチ等された）こと、等が含まれる。これにより、出力部２３は、第一監視画面Ｓ１、第二監視画面Ｓ２、第三監視画面Ｓ３、運行実績画面Ｓ４、アラート実績画面、または設定画面を表示する。
出力制御部２５４は、所定の表示開始条件が成立したことを契機として、各種監視画面Ｓ１～Ｓ３を表示するよう出力部２３を制御する。表示開始条件には、遠隔監視装置２の電源がオンにされたこと、アプリケーションが立ち上げられたこと、所定の表示開始操作がなされた（例えば、画面に対応するアイコンがクリック、タッチ等された）こと、等が含まれる。これにより、出力部２３は、第一監視画面Ｓ１、第二監視画面Ｓ２、第三監視画面Ｓ３、運行実績画面Ｓ４、アラート実績画面、または設定画面を表示する。
【0036】
・第一監視画面
第一監視画面Ｓ１は、主に、監視対象の自動運転車両１の各種走行条件を確認するための画面である。本実施形態に係る第一監視画面Ｓ１は、例えば図３に示したように、車両情報表示領域Ｒ１１、気象予測情報表示領域Ｒ１２、道路交通情報表示領域Ｒ１３およびアイコン表示領域Ｒ１４を有している。
第一監視画面Ｓ１は、主に、監視対象の自動運転車両１の各種走行条件を確認するための画面である。本実施形態に係る第一監視画面Ｓ１は、例えば図３に示したように、車両情報表示領域Ｒ１１、気象予測情報表示領域Ｒ１２、道路交通情報表示領域Ｒ１３およびアイコン表示領域Ｒ１４を有している。
【0037】
車両情報表示領域Ｒ１１は、監視対象の自動運転車両１の個々の個別情報が一覧表示される領域である。個別情報には、車両名（例えば、ｎ号車等）、乗車している非常時の対応乗員の氏名、乗車人数、走行態様、インシデント発生状況等が含まれる。走行態様は、現在の自動運転車両１が自動運転を行っているか、手動運転を行っているか、稼働停止しているかを示す情報である。本実施形態に係る出力制御部２５４は、稼働中の自動運転車両１の個別情報を、車両情報表示領域Ｒ１１の上部に纏めて表示させ、稼働停止中の自動運転車両１の個別情報を車両情報表示領域Ｒ１１の下部に纏めて表示させる。また、本実施形態に係る出力制御部２５４は、稼働中の自動運転車両１の個別情報を、所定順序で並べて表示させる。所定順序には、自動運転車両１の名称順、自動運転車両１のデータベースへの登録順等が含まれる。なお、個別情報には、上記の他に、路線名（自動運転車両１が路線バスの場合）、乗降に手助けが必要な人の数、バッテリー残量（自動運転車両１が電気自動車の場合）等が含まれていてもよい。
【0038】
気象予測情報表示領域Ｒ１２は、監視中の自動運転車両１が走行する地区の気象情報が表示される領域である。本実施形態に係る気象予測情報表示領域Ｒ１２は、日付・地区表示領域Ｒ１２１と、現在情報表示領域Ｒ１２２と、１以上の未来情報表示領域Ｒ１２３と、を有している。出力制御部２５４は、今日の日付および地区を日付・地区表示領域Ｒ１２１に表示させる。また、出力制御部２５４は、現在時刻を含む時間帯（図３では９時台）の気象情報を現在情報表示領域Ｒ１２２に表示させる。気象情報には、気温、天気、降水量、風向・風速等が含まれる。また、出力制御部２５４は、現在時刻を含む時間帯より後の時間帯（図３では１０時台、および１１時台の２つの時間帯）の気象情報を１以上の未来情報表示領域Ｒ１２３に表示させる。なお、第一監視画面Ｓ１は、気象予測情報表示領域Ｒ１２を有していなくてもよい（気象予測情報表示領域Ｒ１２は、別の画面に表示されてもよい）。
【0039】
道路交通情報表示領域Ｒ１３は、監視中の自動運転車両１が走行する地区における個々の道路交通情報が一覧表示される領域である。道路交通情報には、影響事象の発生時刻および発生場所、影響事象の内容、影響事象の発生原因等が含まれる。影響事象は、自動運転車両１の走行に影響を及ぼす可能性のある要因となる事象である。影響事象には、例えば交通規制、渋滞等が含まれる。交通規制には、通行止め、車線規制、速度制限等が含まれる。影響事象の発生原因には、例えば路上での車両故障、交通事故、道路工事等が含まれる。本実施形態に係る出力制御部２５４は、道路交通情報が複数存在する場合、複数の道路交通情報を、道路交通情報表示領域Ｒ１３に、時系列で一覧表示する。具体的には、影響事象の発生時刻が新しい順に並ぶように表示させる。なお、第一監視画面Ｓ１は、道路交通情報表示領域Ｒ１３を有していなくてもよい（道路交通情報表示領域Ｒ１３は、別の画面に表示されてもよい）。
【0040】
アイコン表示領域Ｒ１４は、各種アイコンが表示される領域である。各種アイコンには、複数種類の画面切替アイコンが含まれる。各画面切替アイコンの一部（図３における上四つのアイコン）は、各種監視画面Ｓ１～Ｓ３および運行実績画面Ｓ４に対応している。これらの画面切替アイコンの何れかが操作（クリック、タッチ等）されると、出力制御部２５４は、操作された画面切替アイコンに対応する監視画面Ｓ１～Ｓ３または運行実績画面Ｓ４を出力部２３に表示させる。また、複数種類の画面切替アイコンのうち他の画面切替アイコンが操作（クリック、タッチ等）されると、出力制御部２５４は、操作された画面切替アイコンに対応するアラート実績画面、または設定画面を出力部２３に表示させる。アラート実績画面は、過去に受信したアラートを表示する画面である。設定画面は、遠隔監視装置２の各種設定を行うための画面である。
【0041】
出力制御部２５４は、装置側通信部２１がアラートを受信した（自動運転車両１が最小リスク状態に移行した）場合、インシデントが発生した自動運転車両１に対応する情報または画像と共に移行情報を出力部２３に表示させる。移行情報は、最小リスク状態に移行した旨の情報である。本実施形態に係る出力制御部２５４は、第一監視画面Ｓ１の車両情報表示領域Ｒ１１における個別情報に、目印Ｍを移行情報として重畳表示させる。
【0042】
また、本実施形態に係る出力制御部２５４は、上記決定部２５６が優先度情報を決定した（複数の自動運転車両１でインシデントが発生する）場合、出力部２３を制御する。これにより、出力部２３は、各自動運転車両１に対応する情報または画像と共に優先度情報を表示する。本実施形態に係る出力制御部２５４は、優先度情報を、移行情報を示す目印の色で示す。優先順位と色の関係は以下のとおりである。
・優先順位「高」は、移行情報を赤色で表示。
・優先順位「中」は、移行情報を黄色で表示。
・優先順位「低」は、移行情報を緑色で表示。
・優先順位「高」は、移行情報を赤色で表示。
・優先順位「中」は、移行情報を黄色で表示。
・優先順位「低」は、移行情報を緑色で表示。
【0043】
これにより、監視者は、実際に対処する優先順位を素早く決定することができるようになる。なお、優先度情報の表示態様は色に限定されない。すなわち、優先度情報は、例えば、文字や数字、移行情報の大きさで示してもよいし、個別情報、インシデントに関する情報、タブ等の強調表示の態様によって示してもよい。
【0044】
・第二監視画面
第二監視画面Ｓ２は、主に、稼働中の自動運転車両１の状況を俯瞰するための画面である。本実施形態に係る第二監視画面Ｓ２は、例えば図４に示したように、上記第一監視画面Ｓ１と同様の現在情報表示領域Ｒ１２２、およびアイコン表示領域Ｒ１４の他に、地図表示領域Ｒ２１と、タイムライン表示領域Ｒ２２と、を有している。
第二監視画面Ｓ２は、主に、稼働中の自動運転車両１の状況を俯瞰するための画面である。本実施形態に係る第二監視画面Ｓ２は、例えば図４に示したように、上記第一監視画面Ｓ１と同様の現在情報表示領域Ｒ１２２、およびアイコン表示領域Ｒ１４の他に、地図表示領域Ｒ２１と、タイムライン表示領域Ｒ２２と、を有している。
【0045】
地図表示領域Ｒ２１は、第一画像Ｉ１が表示される領域である。第一画像Ｉ１は、地図上に第二画像Ｉ２が重畳された画像である。地図は、自動運転車両１の走行可能範囲全体を示すものであってもよいし、一部を示すものであってもよい。また、地図表示領域Ｒ２１は、ユーザによる操作に応じて地図の表示範囲を調節できるよう構成されていてもよい。第二画像Ｉ２は、稼働中の自動運転車両１を示す画像である。地図上における第二画像Ｉ２の表示位置が自動運転車両１の現在地を示す。また、第二画像Ｉ２は、自動運転車両１の走行に伴って地図上を移動する。これにより、監視者は、自動運転車両１の移動方向を把握することができる。なお、第二画像Ｉ２は、自動運転車両１の進行方向を指し示す矢印の形をしていてもよい。このようにすれば、第二画像Ｉ２の動きがゆっくりであったり、停止したりしていても、自動運転車両１の進行方向を容易に把握することができる。また、出力制御部２５４は、第一画像Ｉ１に、第三画像Ｉ３を更に重畳表示させる。第三画像Ｉ３は、自動運転車両１に予め設定されている走行経路の少なくとも一部を示す画像である。走行経路の表示は、出発地から現在地までの走行軌跡のみ行ってもよいし、現在地から目的地までの予定経路のみ行ってもよい。また、出力制御部２５４は、第一画像Ｉ１に、第四画像Ｉ４を更に重畳表示させる。第四画像Ｉ４は、自動運転車両１の出発地を示す目印、目的地を示す目印、および経由地を示す目印の少なくともいずれかを示す画像である。第四画像Ｉ４の表示は、地図上に第二画像Ｉ２が表示されている全ての自動運転車両１について行ってもよいし、選択された一部の自動運転車両１に絞って行ってもよい。また、出力制御部２５４は、第一画像Ｉ１に、第五画像Ｉ５を更に重畳表示させる。第五画像Ｉ５は、自動運転車両１の状況等を説明する吹き出しを示す画像である。状況には、車両名、遅延の有無、インシデント発生の有無等が含まれる。
【0046】
タイムライン表示領域Ｒ２２は、監視中の自動運転車両１に生じたインシデントに関する情報が表示される領域である。監視中の全ての自動運転車両１にインシデントが生じていない場合、出力制御部２５４は、タイムライン表示領域Ｒ２２にインシデント情報を表示させない。一方、装置側通信部２１が監視中の自動運転車両１から特定の事象情報を受信する（自動運転車両１にインシデントが生じる）と、出力制御部２５４は、タイムライン表示領域Ｒ２２に、インシデントに関する情報を表示する。インシデントに関する情報には、インシデントの発生時刻、車両名、特定の事象情報（インシデントの内容）、インシデントに至った経緯等が含まれる。装置側通信部２１が複数の自動運転車両１から、特定の事象情報をそれぞれ受信した場合、出力制御部２５４は、タイムライン表示領域Ｒ２２に、複数のインシデントに関する情報（特定の事象情報）を、インシデントが生じた順に一覧表示する。また、出力制御部２５４は、１台の自動運転車両１から特定の事象情報を複数回受信した場合も、タイムライン表示領域Ｒ２２に、複数のインシデントに関する情報（特定の事象情報）を、インシデントが生じた順に一覧表示する。このようタイムライン表示領域Ｒ２２を有することにより、遠隔監視者は、自動運転車両１が最小リスク状態に移行する前から、自動運転車両１の経緯を追うことが可能となる。その結果、自動運転車両１が自ら最小リスク状態に移行するよりも前に、自動運転車両１を停止させることも可能となる。
【0047】
また、出力制御部２５４は、装置側通信部２１がアラートを受信した（自動運転車両１が最小リスク状態に移行した）場合、インシデントが発生した自動運転車両１に対応する情報または画像と共に移行情報を出力部２３に表示させる。本実施形態に係る出力制御部２５４は、第二監視画面Ｓ２のタイムライン表示領域Ｒ２２におけるインシデントに関する情報に、目印Ｍを移行情報として重畳表示させる。なお、出力制御部２５４はインシデントに関する情報の他に、またはこれに代えて、第二画像Ｉ２、および第五画像Ｉ５の少なくともいずれかに、移行情報を重畳表示させるよう構成されていてもよい。また、本実施形態に係る出力制御部２５４は、上記決定部２５６が優先度情報を決定した場合、出力制御部２５４は、上記第一監視画面Ｓ１の場合と同様にして各自動運転車両１に対応する情報または画像と共に優先度情報を表示する。
【0048】
・第三監視画面
第三監視画面Ｓ３は、車内および車外の少なくとも一方の様子をリアルタイムで確認するための画面である。本実施形態に係る第三監視画面Ｓ３は、例えば図５に示したように、上記第一監視画面Ｓ１と同様のアイコン表示領域Ｒ１４の他に、表示切替可能領域Ｒ３１を有している。表示切替可能領域Ｒ３１は、全体表示領域Ｒ３１ａ、または個別表示領域Ｒ３１ｂ（図６参照）に切り替え可能となっている。
第三監視画面Ｓ３は、車内および車外の少なくとも一方の様子をリアルタイムで確認するための画面である。本実施形態に係る第三監視画面Ｓ３は、例えば図５に示したように、上記第一監視画面Ｓ１と同様のアイコン表示領域Ｒ１４の他に、表示切替可能領域Ｒ３１を有している。表示切替可能領域Ｒ３１は、全体表示領域Ｒ３１ａ、または個別表示領域Ｒ３１ｂ（図６参照）に切り替え可能となっている。
【0049】
全体表示領域Ｒ３１ａは、稼働中の全ての自動運転車両１のイメージセンサが撮影した車内および車外の少なくとも一方の画像が一覧表示される領域である。全体表示領域Ｒ３１ａは、画像表示領域Ｒ３１１と、要対応アラート表示領域Ｒ３１２と、を有している。本実施形態に係る出力制御部２５４は、例えば図５に示したように、稼働中の各自動運転車両１の車内の画像、車外（前方、後方、側方）の画像、縮小された第一画像Ｉ１、上から見下ろした自動運転車両１およびその周囲を示す鳥瞰図の少なくともいずれかを画像表示領域Ｒ３１１にそれぞれ表示させる。なお、出力制御部２５４は、画像表示領域Ｒ３１１に、事象情報に基づいて画像生成ＡＩが生成した画像を表示させるよう構成されていてもよい。
【0050】
稼働中の自動運転車両１にインシデントが発生した、または自動運転車両１が最小リスク状態に移行した場合、出力制御部２５４は、インシデントに関する情報を要対応アラート表示領域Ｒ３１２に表示させる。ここで表示されるインシデントに関する情報は、上記第二監視画面Ｓ２のタイムライン表示領域Ｒ２２に表示されるものと同様である。また、このとき、出力制御部２５４は、複数の自動運転車両１それぞれの画像のうち、インシデントが発生した、または最小リスク状態に移行した自動運転車両１の画像を強調表示させる。インシデントが発生した、または最小リスク状態に移行した自動運転車両１の画像が複数表示されている場合、出力制御部２５４は、抽出部２５５が抽出した関連画像を強調表示させる。強調表示の態様には、関連画像を点滅させる、関連画像の周囲に枠を表示させる、関連画像を拡大する等が含まれる。インシデントまたは最小リスク状態が発生している間、出力制御部２５４は、関連画像の強調表示を継続して行う。これにより、監視者は、インシデントまたは最小リスク状態の発生に至った経緯を確認するのに必要な画像を容易に識別することができる。なお、出力制御部２５４は、関連画像全体を強調表示させるのではなく、関連画像中のインシデントまたは最小リスク状態の原因となった人や障害物等を強調表示させるよう構成されていてもよい。
【0051】
また、要対応アラート表示領域Ｒ３１２にインシデントに関する情報が表示された場合、出力制御部２５４は、表示させたインシデントに関する情報の近傍（例えば直下）に、対応開始ボタンＢ３ａを表示させる。そして、本実施形態に係る出力制御部２５４は、対応開始ボタンＢ３ａが操作（タッチ、カーソルで指し示す等）されると、図示しない確認画面を第三監視画面Ｓ３に表示させる。確認画面には、最優先対応のチェックボックスと、対応開始ボタンと、が設けられている。この確認画面の対応開始ボタンが操作されると、遠隔監視装置２をインシデントに対処する状態とする。対処する状態になると、対応する具体的には、後述する個別表示領域Ｒ３１ｂを表示させる等して、監視者が確認できるようにする。その際、最優先対応のチェックボックスにチェックが入れられていると、遠隔監視装置２は、インシデントに最優先で対処する状態となる。このとき、対応開始ボタンＢ３ａの表示は、「対応開始」から「対応中」に変更される。なお、出力制御部２５４は、対応開始ボタンＢ３ａが操作された場合に、当該表示箇所に優先順位指定ボタンを表示させるよう構成されていてもよい。この場合、優先順位指定ボタンが操作されると、出力制御部２５４は、実際の優先順位の指定を求める。指定の求め方には、優先順位（高／中／低）の選択ボタンやプルダウンを表示させる、優先順位の入力欄を表示させる、等が含まれる。監視者は、選択ボタンやプルダウンを操作したり、入力欄に入力したりすることによって実際に対処する優先順位を指定することができる。また、出力制御部２５４は、対応開始ボタンＢ３ａが操作された場合に、確認画面や優先順位指定ボタンを表示させることなく遠隔監視装置２をインシデントに対処する状態としてもよい。
【0052】
要対応アラート表示領域Ｒ３１２に表示されているインシデントに関する情報の表示欄（対応開始ボタンＢ３ａ）が操作（クリック、タッチ等）された後、インシデントが発生した自動運転車両１の画像（例えば、画像上部の見出しに設けられた第一画面遷移ボタンＢ３ｂ）が操作された場合、出力制御部２５４は、表示切替可能領域Ｒ３１を、全体表示領域Ｒ３１ａから個別表示領域Ｒ３１ｂに切り替える。図６に示したように、個別表示領域Ｒ３１ｂは、稼働中の一の自動運転車両１のイメージセンサが撮影した車内および車外の少なくとも一方の画像が一覧表示される領域である。個別表示領域Ｒ３１ｂは、稼働中の自動運転車両１の数だけ設けられており、各個別表示領域Ｒ３１ｂが稼働中の複数の自動運転車両１のそれぞれと対応している。
【0053】
個別表示領域Ｒ３１ｂは、画像表示領域Ｒ３１３と、状態表示領域Ｒ３１４と、ログ表示領域Ｒ３１５と、第一操作部表示領域Ｒ３１６と、を有している。
【0054】
画像表示領域Ｒ３１３は、上記全体表示領域Ｒ３１ａに表示されている複数の画像のうち、対応する自動運転車両１に関する画像が表示される領域である。本実施形態に係る画像表示領域Ｒ３１３は、対応する自動運転車両１に関する画像の他に、当該自動運転車両１が走行している地区の地図を表示する。地図は、第二監視画面Ｓ２の地図表示領域Ｒ２１に表示されているものと同じであってもよいし、当該自動運転車両１の現在地およびその周辺に絞ったものであってもよい。
【0055】
状態表示領域Ｒ３１４は、自動運転車両１の現在の状態が表示される領域である。自動運転車両１の状態には、運転種別（自動運転／手動運転）、バッテリー残量、車両名、乗っている人の数、走行速度、ステアリング回転角度、アクセルの強さ、ブレーキの強さ等が含まれる。
【0056】
ログ表示領域Ｒ３１５は、対応する自動運転車両１から受信した、問題フラグが付されたログに基づく事象が一覧表示される領域である。
【0057】
第一操作部表示領域Ｒ３１６は、自動運転車両１への指示内容を示す各種指示ボタンが表示される領域である。本実施形態に係る第一操作部表示領域Ｒ３１６は、緊急停止ボタンＢ３ｄ、運行再開ボタンＢ３ｅ、帰庫ボタンＢ３ｆおよび経路変更ボタンＢ３ｇを有している。緊急停止ボタンＢ３ｄが操作されると、装置側通信部２１は、停止指示信号を自動運転車両１へ送信する。また、運行再開ボタンＢ３ｅが操作されると、装置側通信部２１は、再開指示信号を自動運転車両１へ送信する。また、帰庫ボタンＢ３ｆが操作されると、装置側通信部２１は、車庫への帰還を指示する帰庫指示信号を自動運転車両１へ送信する。また、経路変更ボタンＢ３ｇが操作されると、装置側通信部２１は、走行経路の変更を指示する変更指示信号を自動運転車両１へ送信する。
【0058】
・運行実績画面
運行実績画面Ｓ４は、自動運転車両１の過去の運行実績を表示し、監視者がインシデントの経緯・背景を理解できるようにするための画面である。本実施形態に係る運行実績画面Ｓ４は、例えば図７に示したように、過去画像表示領域Ｒ４１と、過去状態表示領域Ｒ４２と、要対応アラート表示領域Ｒ４３と、過去ログ表示領域Ｒ４４と、推移表示領域Ｒ４５と、第二操作部表示領域Ｒ４６と、を有している。出力制御部２５４は、アイコン表示領域Ｒ１４のアイコンが操作された場合の他、第三監視画面Ｓ３の要対応アラート表示領域Ｒ３１２に表示されているインシデントに関する情報の表示欄（対応開始ボタンＢ３ａ）が操作（クリック、タッチ等）された後、表示欄（例えば、表示欄内の第二画面遷移ボタンＢ３ｃ）が更に操作された場合に、表示画面を運行実績画面Ｓ４に切り替える。
運行実績画面Ｓ４は、自動運転車両１の過去の運行実績を表示し、監視者がインシデントの経緯・背景を理解できるようにするための画面である。本実施形態に係る運行実績画面Ｓ４は、例えば図７に示したように、過去画像表示領域Ｒ４１と、過去状態表示領域Ｒ４２と、要対応アラート表示領域Ｒ４３と、過去ログ表示領域Ｒ４４と、推移表示領域Ｒ４５と、第二操作部表示領域Ｒ４６と、を有している。出力制御部２５４は、アイコン表示領域Ｒ１４のアイコンが操作された場合の他、第三監視画面Ｓ３の要対応アラート表示領域Ｒ３１２に表示されているインシデントに関する情報の表示欄（対応開始ボタンＢ３ａ）が操作（クリック、タッチ等）された後、表示欄（例えば、表示欄内の第二画面遷移ボタンＢ３ｃ）が更に操作された場合に、表示画面を運行実績画面Ｓ４に切り替える。
【0059】
過去画像表示領域Ｒ４１は、対応する自動運転車両１に関する過去の画像（自動運転車両１の過去の車内の画像、過去の車外（前方、後方、側方）の画像、縮小された過去の第一画像Ｉ１、過去の鳥瞰図および過去のＡＩ画像の少なくともいずれか）が表示される領域である。
【0060】
過去状態表示領域Ｒ４２は、自動運転車両１の過去の状態（運転種別（自動運転／手動運転）、バッテリー残量、車両名、乗っている人の数、走行速度、ステアリング回転角度、アクセルの強さ、ブレーキの強さ等）が表示される領域である。
【0061】
要対応アラート表示領域Ｒ４３は、上記全体表示領域Ｒ３１ａの要対応アラート表示領域Ｒ４３に表示されているインシデントに関する情報であって、表示中の個別表示領域Ｒ３１ｂに対応する自動運転車両１のインシデントに関する情報が表示される領域である。
【0062】
過去ログ表示領域Ｒ４４は、対応する自動運転車両１から過去に受信した、問題フラグが付されたログに基づく事象が一覧表示される領域である。
【0063】
推移表示領域Ｒ４５は、過去から現在に至るまでの自動運転車両１の状態の推移が表示される領域である。推移表示領域Ｒ４５に推移が表示される状態には、速度、加速度、バッテリー残量等が含まれる。本実施形態に係る推移表示領域Ｒ４５は、時間を横軸、状態を縦軸とするグラフの形で状態の推移を表示する。
【0064】
第二操作部表示領域Ｒ４６は、監視者による各種操作を受け付けるための各種操作部が表示される領域である。第二操作部表示領域Ｒ４６は、現在表示ボタンＢ４ａと、１以上の過去表示ボタンＢ４ｂと、シークバーＢ４ｃと、再生・一時停止ボタンＢ４ｄと、早戻しボタンＢ４ｅと、早送りボタンＢ４ｆと、スキップボタンＢ４ｇと、状態選択チェックボックスＢ４ｈ～Ｂ４ｊと、を有している。現在表示ボタンＢ４ａが操作されると、出力制御部２５４は、自動運転車両１から得た現在（リアルタイム）の画像を画像表示領域Ｒ３１３に表示させる。この現在の画像を確認することにより、監視者は、対処の優先順位を決定することができる。
【0065】
過去表示ボタンＢ４ｂが操作されると、出力制御部２５４は、装置側記憶部２２に記憶されている過去の画像を画像表示領域Ｒ３１３に表示させる。このとき、状態選択チェックボックスＢ４ｈ～Ｂ４ｊの何れかにチェックが入れられていると、出力制御部２５４は、当該画像撮影時の自動運転車両１の、入れられたチェックに対応する状態の推移を推移表示領域Ｒ４５に表示させる。また、このとき、対応する自動運転車両１にインシデントが生じていた場合、推移表示領域Ｒ４５におけるインシデントの発生時刻に対応する箇所に、インシデントが発生した旨の目印Ｍおよび縦線を表示させるまた、このとき、再生・一時停止ボタンＢ４ｄが操作されると、出力制御部２５４は、画像を再生する。再生・一時停止ボタンＢ４ｄがもう一度操作されると、出力制御部２５４は、画像を一時停止させる。また、画像の再生中に早戻しボタンＢ４ｅまたは早送りボタンＢ４ｆが操作されると、出力制御部２５４は、再生中の画像を早送りまたは早戻しする。また、画像の再生中にスキップボタンＢ４ｇが操作されると、出力制御部２５４は、画像における現在表示中のフレームより所定時間前または後のフレームから画像を再生する。これにより、例えば、現在の画像を確認しただけでは対処の優先順位を決定することが困難である場合や、ログ表示領域Ｒ３１５に表示されている内容と現在の画像との間に乖離がある場合に、監視者は、第二操作部表示領域Ｒ４６を操作することにより、過去の画像（インシデントまたは最小リスク状態が発生するに至った経緯）を確認することができる。
【0066】
この第三監視画面Ｓ３に表示された各種情報を参照することにより、遠隔監視者は、例えば図８（図９）に示したように、自動運転車両１が、前方に歩行者の急な飛び出し（歩行者の転倒）により急ブレーキをかけ、当該急ブレーキにより自動運転車両１に乗っている人が転倒した（人が転倒した状態がしばらく継続した）という、最小リスク状態に移行するに至った経緯を容易に知ることができる。また、遠隔監視者は、事象確認画面Ｓ７に表示された各種情報を参照することにより、自動運転車両１に乗っている人（車外の転倒していた人）が救助されたか否かを容易に確認することができる。その結果、遠隔監視者は、自動運転を再開するか否かを容易に判断することができる。
【0067】
また、出力制御部２５４は、装置側通信部２１がアラートを受信した（自動運転車両１が最小リスク状態に移行した）場合、インシデントが発生した自動運転車両１に対応する情報または画像と共に移行情報を出力部２３に表示させる。本実施形態に係る出力制御部２５４は、第三監視画面Ｓ３の表示切替可能領域Ｒ３１におけるタブに、目印Ｍを移行情報として重畳表示させる。なお、出力制御部２５４は、タブの他に、またはこれに代えて、第三監視画面Ｓ３の画像の少なくともいずれかに、移行情報を重畳表示させるよう構成されていてもよい。また、本実施形態に係る出力制御部２５４は、上記決定部２５６が優先度情報を決定した場合、出力制御部２５４は、上記第一監視画面Ｓ１の場合と同様にして各自動運転車両１に対応する情報または画像と共に優先度情報を表示する。
【0068】
（装置側送信制御部）
装置側送信制御部２５２は、走行中の自動運転車両１へ停止指示信号を送信するよう装置側通信部２１を制御する。本実施形態に係る装置側送信制御部２５２は、ユーザにより、操作部２４を介して、緊急停止ボタンＢ３ｄが操作されたことに基づいて、停止指示信号を送信するよう装置側通信部２１を制御する。本実施形態に係る装置側送信制御部２５２は、ユーザにより、操作部２４を介して、緊急停止ボタンＢ３ｄが操作されたことに基づいて、停止指示信号を送信するよう装置側通信部２１を制御する。また、装置側送信制御部２５２は、最小リスク状態となっている自動運転車両１へ再開指示信号を送信するよう装置側通信部２１を制御する。本実施形態に係る装置側送信制御部２５２は、ユーザにより、操作部２４を介して、運行再開ボタンＢ３ｅが操作されたことに基づいて、再開指示信号を送信するよう装置側通信部２１を制御する。これにより、事象情報を確認して問題がなかった場合に、直ちに運転を再開することができる。
装置側送信制御部２５２は、走行中の自動運転車両１へ停止指示信号を送信するよう装置側通信部２１を制御する。本実施形態に係る装置側送信制御部２５２は、ユーザにより、操作部２４を介して、緊急停止ボタンＢ３ｄが操作されたことに基づいて、停止指示信号を送信するよう装置側通信部２１を制御する。本実施形態に係る装置側送信制御部２５２は、ユーザにより、操作部２４を介して、緊急停止ボタンＢ３ｄが操作されたことに基づいて、停止指示信号を送信するよう装置側通信部２１を制御する。また、装置側送信制御部２５２は、最小リスク状態となっている自動運転車両１へ再開指示信号を送信するよう装置側通信部２１を制御する。本実施形態に係る装置側送信制御部２５２は、ユーザにより、操作部２４を介して、運行再開ボタンＢ３ｅが操作されたことに基づいて、再開指示信号を送信するよう装置側通信部２１を制御する。これにより、事象情報を確認して問題がなかった場合に、直ちに運転を再開することができる。
【0069】
（再開判断部）
再開判断部２５３は、装置側通信部２１が再開指示信号を送信した後、自動運転車両１が運転を再開したか否かを判断する。本実施形態に係る再開判断部２５３は、装置側通信部２１が受信した事象情報に基づき、自動運転車両１が運転を再開したか否かを判断する。具体的には、画像データを参照し、自動運転車両１が走行しているか否かを判断する。なお、再開判断部２５３は、自動運転車両１の処理結果に基づいて、自動運転車両１が運転を再開したか否かを判断するよう構成されていてもよい。自動運転車両１の処理結果には、例えば、認識判断部１４２が認識結果に基づく判断を再開したこと、加減速または操舵の少なくとも一方を制御していること等が含まれる。これにより、運転が再開できない理由を自動運転車両１のセンサ１１が検知していたにも関わらず監視者が見落とした場合、運転再開を確実に阻止し、自動運転車両１を安全な状態にすることができる。
再開判断部２５３は、装置側通信部２１が再開指示信号を送信した後、自動運転車両１が運転を再開したか否かを判断する。本実施形態に係る再開判断部２５３は、装置側通信部２１が受信した事象情報に基づき、自動運転車両１が運転を再開したか否かを判断する。具体的には、画像データを参照し、自動運転車両１が走行しているか否かを判断する。なお、再開判断部２５３は、自動運転車両１の処理結果に基づいて、自動運転車両１が運転を再開したか否かを判断するよう構成されていてもよい。自動運転車両１の処理結果には、例えば、認識判断部１４２が認識結果に基づく判断を再開したこと、加減速または操舵の少なくとも一方を制御していること等が含まれる。これにより、運転が再開できない理由を自動運転車両１のセンサ１１が検知していたにも関わらず監視者が見落とした場合、運転再開を確実に阻止し、自動運転車両１を安全な状態にすることができる。
【0070】
自動運転車両１が運転を再開していないと再開判断部２５３が判断した場合に、本実施形態に係る出力制御部２５４は、出力部２３を制御する。これにより、出力部２３は、その旨（自動運転車両１が運転を再開していない旨）を出力する。これにより、例えば、自動運転車両１のセンサ１１が拾いきれなかった（カメラの死角で起きていた）問題が残っていて、自動運転車両１としては運転を再開することができないが、監視者がそのことに気づいていない場合等に対処することができる。
【0071】
［作用効果］
また、レベル４以上の自動運転においては、自動運転車両が最小リスク状態となった場合、自動運転の再開の可否を、遠隔監視者が判断することになる。また、自動運転サービスにおける事業性の観点から、一人の遠隔監視者が、複数の自動運転車両の監視を行うことが求められる。しかし、この場合、遠隔監視者は、一台の自動運転車両を常時監視し続けることはできない。このため、自動運転車両が最小リスク状態となった場合、遠隔監視者は、最小リスク状態となった原因や背景を即座に把握することはできず、最小リスク状態を解除するために、これまでに蓄積された多数の情報を参照しなければならなかった。その結果、自動運転車両が運転を再開するまでに長い時間がかかってしまったり、遠隔監視者が判断を誤り、本来は運転を再開できる状況でないのに、運転を再開させてしまったりすることがあった。
また、レベル４以上の自動運転においては、自動運転車両が最小リスク状態となった場合、自動運転の再開の可否を、遠隔監視者が判断することになる。また、自動運転サービスにおける事業性の観点から、一人の遠隔監視者が、複数の自動運転車両の監視を行うことが求められる。しかし、この場合、遠隔監視者は、一台の自動運転車両を常時監視し続けることはできない。このため、自動運転車両が最小リスク状態となった場合、遠隔監視者は、最小リスク状態となった原因や背景を即座に把握することはできず、最小リスク状態を解除するために、これまでに蓄積された多数の情報を参照しなければならなかった。その結果、自動運転車両が運転を再開するまでに長い時間がかかってしまったり、遠隔監視者が判断を誤り、本来は運転を再開できる状況でないのに、運転を再開させてしまったりすることがあった。
【0072】
しかし、以上説明してきた本実施形態に係る遠隔監視装置２によれば、監視者は、出力部２３が出力した、限られた時間内の事象情報を確認することで、全ての事象情報を際限なく調べる場合に比べ、自動運転車両１がなぜ最小リスク状態となったのかを短時間で理解することができる（調べる手間が低減される）。その結果、最小リスク状態となっている自動運転車両１の運転再開の可否を短時間で判断することができる。このため、監視者は、出力部２３が事象情報を出力してきたときのみ、対応する自動運転車両１に対処すればよくなる。その結果、遠隔監視者は、一人で多数の自動運転車両１を監視することができる。
【0073】
また、本実施形態に係る遠隔監視装置２が監視対象とする自動運転車両１が、人を立った状態で載せることが可能な構造を有している場合、監視対象の自動運転車両１は、中で立っている人が転倒する可能性があり、全員を着席した状態で載せる形式の自動運転車両１に比べ、最小リスク状態に移行する可能性が高い。しかし、上記構成によれば、監視者は、このような状況であっても、複数の自動運転車両１を比較的容易に遠隔監視することができる。
【0074】
＜３．遠隔監視装置の第二実施形態＞
次に、本発明の一の態様である遠隔監視装置の第二実施形態について説明する。なお、説明の便宜上、上記第一実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
次に、本発明の一の態様である遠隔監視装置の第二実施形態について説明する。なお、説明の便宜上、上記第一実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0075】
［構成］
本実施形態に係る遠隔監視装置２Ａは、図２に示したように、上記第一実施形態に係る遠隔監視装置２と同様の装置側通信部２１（通信部）、装置側記憶部２２、出力部２３、および操作部２４の他に、装置側制御部２５Ａを備える。
本実施形態に係る遠隔監視装置２Ａは、図２に示したように、上記第一実施形態に係る遠隔監視装置２と同様の装置側通信部２１（通信部）、装置側記憶部２２、出力部２３、および操作部２４の他に、装置側制御部２５Ａを備える。
【0076】
〔装置側制御部〕
装置側制御部２５Ａは、上記第一実施形態に係る装置側制御部２５と同様の装置側受信制御部２５１（受信制御部）、装置側送信制御部２５２（送信制御部）、および再開判断部２５３の他に、出力制御部２５４Ａを備える。
装置側制御部２５Ａは、上記第一実施形態に係る装置側制御部２５と同様の装置側受信制御部２５１（受信制御部）、装置側送信制御部２５２（送信制御部）、および再開判断部２５３の他に、出力制御部２５４Ａを備える。
【0077】
（出力制御部）
出力制御部２５４Ａは、所定の表示開始条件が成立したことを契機として、監視画面Ｓ５を表示するよう出力部２３を制御する。表示開始条件には、遠隔監視装置２の電源がオンにされたこと、アプリケーションが立ち上げられたこと、所定操作がなされたこと、等が含まれる。これにより、出力部２３は、監視画面Ｓ５を表示する。本実施形態に係る監視画面Ｓ５は、例えば図１０に示したように、全体地図表示領域Ｒ５１、車両表示領域Ｒ５２およびアラート表示領域Ｒ５３を有している。全体地図表示領域Ｒ５１は、監視対象の自動運転車両１の走行可能範囲全体の地図を示す領域である。車両表示領域Ｒ５２は、監視中の自動運転車両１に関する情報の一覧を示す領域である。出力部２３は、この車両表示領域Ｒ５２に、自動運転車両１に関する情報として、車両名、行路名、運行ステータスおよびバッテリーレベル（残量）を表示する。アラート表示領域Ｒ５３は、監視中の自動運転車両１から過去に受信したアラートに関する情報の一覧を示す領域である。出力部２３は、アラート表示領域Ｒ５３に、アラートに関する情報として、発生時刻、車両名、アラートの種類および対応ステータスを表示する。対応ステータスは、遠隔監視者によるアラートへの対応状況を示す情報である。なお、監視画面Ｓ５は、アラート表示領域Ｒ５３を有していなくてもよい。
出力制御部２５４Ａは、所定の表示開始条件が成立したことを契機として、監視画面Ｓ５を表示するよう出力部２３を制御する。表示開始条件には、遠隔監視装置２の電源がオンにされたこと、アプリケーションが立ち上げられたこと、所定操作がなされたこと、等が含まれる。これにより、出力部２３は、監視画面Ｓ５を表示する。本実施形態に係る監視画面Ｓ５は、例えば図１０に示したように、全体地図表示領域Ｒ５１、車両表示領域Ｒ５２およびアラート表示領域Ｒ５３を有している。全体地図表示領域Ｒ５１は、監視対象の自動運転車両１の走行可能範囲全体の地図を示す領域である。車両表示領域Ｒ５２は、監視中の自動運転車両１に関する情報の一覧を示す領域である。出力部２３は、この車両表示領域Ｒ５２に、自動運転車両１に関する情報として、車両名、行路名、運行ステータスおよびバッテリーレベル（残量）を表示する。アラート表示領域Ｒ５３は、監視中の自動運転車両１から過去に受信したアラートに関する情報の一覧を示す領域である。出力部２３は、アラート表示領域Ｒ５３に、アラートに関する情報として、発生時刻、車両名、アラートの種類および対応ステータスを表示する。対応ステータスは、遠隔監視者によるアラートへの対応状況を示す情報である。なお、監視画面Ｓ５は、アラート表示領域Ｒ５３を有していなくてもよい。
【0078】
また、出力制御部２５４Ａは、装置側通信部２１がアラートを受信した（自動運転車両１が最小リスク状態に移行した）場合に、アラート検知画面Ｓ６を表示するよう出力部２３を制御する。これにより、出力部２３は、アラート検知画面Ｓ６を表示する。本実施形態に係るアラート検知画面Ｓ６は、例えば図１１に示したように、車両名表示領域Ｒ６１、アラート概要表示領域Ｒ６２、状態表示領域Ｒ６３、部分地図表示領域Ｒ６４および画像表示領域Ｒ６５を有している。車両名表示領域Ｒ６１は、アラートを送信してきた自動運転車両１を識別する情報を示す領域である。アラート概要表示領域Ｒ６２は、自動運転車両１がアラートを送信してきた理由を示す領域である。出力部２３は、このアラート概要表示領域Ｒ６２に、出力制御部２５４Ａがデータベース２２１から取得した判断結果に基づく理由が表示する。状態表示領域Ｒ６３は、自動運転車両１の現在の状態を示す領域である。出力部２３は、この状態表示領域Ｒ６３に、自動運転車両１の状態として、例えば、バッテリー残量、走行速度、アクセルの強さ、ブレーキの強さ、およびステアリングの少なくともいずれかを表示する。部分地図表示領域Ｒ６４は、アラートを送信してきた自動運転車両１の現在位置およびその近傍の地図を示す領域である。画像表示領域Ｒ６５は、自動運転車両１が撮影した車内および車外の少なくとも一方の画像を表示する領域である。本実施形態に係る画像表示領域Ｒ６５は、車内の画像および車外の画像の両方を表示可能となっている。
【0079】
また、出力制御部２５４Ａは、アラート検知画面Ｓ６の第一切替ボタンＢ６ａが操作された場合に、事象確認画面Ｓ７を表示するよう出力部２３を制御する。これにより、出力部２３は、事象確認画面Ｓ７を表示する。本実施形態に係る事象確認画面Ｓ７は、例えば図１２に示したように、上記アラート検知画面Ｓ６と同様の車両名表示領域Ｒ６１、状態表示領域Ｒ６３、部分地図表示領域Ｒ６４および画像表示領域Ｒ６５の他に、事象情報表示領域Ｒ７１、メッセージ情報表示領域Ｒ７２、操作パネル表示領域Ｒ７３、を有している。事象情報表示領域Ｒ７１は、対象の自動運転車両の事象情報の表示領域である。メッセージ情報表示領域Ｒ７２は、監視対象の自動運転車両１に関する、監視者へのメッセージ（例えば指示に関する補助情報）を示す領域である。操作パネル表示領域Ｒ７３は、画像表示領域Ｒ６５に表示された動画の再生に関する操作ボタン（例えば、再生ボタン、一時停止ボタン、早戻しボタン、シークバー等）を有する領域である。ユーザにより操作ボタンが操作されると、出力制御部２５４Ａは、操作内容に応じた態様で事象情報に基づく動画を画像表示領域Ｒ６５に表示させる。
【0080】
出力部２３は、出力制御部２５４Ａの制御により、事象情報表示領域Ｒ７１に、自動運転車両１が最小リスク状態に移行した第一時刻と、当該第一時刻より所定時間前の第二時刻との間に装置側通信部２１が受信した事象情報を表示（出力）する。なお、第一時刻は、自動運転車両１の運転制御部１４５が最小リスク状態に移行させると決定した時刻でもよいし、実際に最小リスク状態に移行して自動運転車両１の停止が完了した時刻でもよいし、それらの間の任意の時刻でもよい。第一時刻と第二時刻との間隔は、例えば５～１０分程度である。出力部２３は、また、出力部２３は、出力制御部２５４Ａの制御により、事象が生じた時刻および事象の内容を出力する。本実施形態に係る出力部２３は、事象が生じた時刻および事象の内容を表形式で出力する。これにより、監視者は、最小リスク状態に移行した自動運転車両１に起こったことを時系列で理解することができる。出力部２３は、事象情報表示領域Ｒ７１に一度に表示しきれる範囲内の数（例えば３つ）の事象情報を表示する。これにより、監視者は、事象情報の列をスクロールしたり、次の画面に移行したりすることなく、一目見ただけで自動運転車両１がなぜ最小リスク状態となったのかを理解することができる。
【0081】
また、出力部２３は、出力制御部２５４Ａの制御により、事象情報を表示するとともに、第一画像Ｉ１を表示する。第一画像Ｉ１は、例えば図１２に示したような、地図上に自動運転車両１の現在地又は進行方向を示す第二画像Ｉ２が重畳された画像（例えば、矢印）である。これにより、監視者は、最小リスク状態に移行した自動運転車両１に起こった事象をより詳しく知ることができる。特に、監視者は、自動運転車両１の現在地および進行方向をより迅速に把握することができ、走行開始可否の判断をより迅速に行うことができる。また、本実施形態に係る第一画像Ｉ１は、地図上に自動運転車両１の走行軌跡又は予定進路を示す第三画像Ｉ３が更に重畳された画像であってもよい。これにより、監視者は、自動運転車両１の現在地、進行方向、走行軌跡、又は予定進路をより迅速に把握することができ、走行開始可否の判断をより迅速に行うことができる。出力部２３は、第一画像Ｉ１、第二画像Ｉ２および第三画像Ｉ３を上記監視画面Ｓ５の全体地図表示領域Ｒ５１、アラート検知画面Ｓ６の部分地図表示領域Ｒ６４、後述する車両指示画面Ｓ８の部分地図表示領域Ｒ６４にも表示する。
【0082】
この事象確認画面Ｓ７に表示された各種情報を参照することにより、遠隔監視者は、例えば図８（図９）に示したように、自動運転車両１が、前方に歩行者の急な飛び出し（歩行者の転倒）により急ブレーキをかけ、当該急ブレーキにより自動運転車両１に乗っている人が転倒した（人が転倒した状態がしばらく継続した）という、最小リスク状態に移行するに至った経緯を容易に知ることができる。また、遠隔監視者は、事象確認画面Ｓ７に表示された各種情報を参照することにより、自動運転車両１に乗っている人（車外の転倒していた人）が救助されたか否かを容易に確認することができる。その結果、遠隔監視者は、自動運転を再開するか否かを容易に判断することができる。
【0083】
また、出力制御部２５４Ａは、アラート検知画面Ｓ６または事象確認画面Ｓ７の第二切替ボタンＢ６ｂが操作された場合に、車両指示画面Ｓ８を表示するよう出力部２３を制御する。これにより、出力部２３は、例えば図１３に示したような車両指示画面Ｓ８を表示する。本実施形態に係る車両指示画面Ｓ８は、上記アラート検知画面Ｓ６と同様の車両名表示領域Ｒ６１、状態表示領域Ｒ６３、部分地図表示領域Ｒ６４および画像表示領域Ｒ６５の他に、指示ボタン表示領域Ｒ８１、およびメッセージ表示領域Ｒ８２を有している。指示ボタン表示領域Ｒ８１は、自動運転車両１への指示内容を示す各種指示ボタン（第三監視画面Ｓ３と同様の緊急停止ボタンＢ３ｄ、運行再開ボタンＢ３ｅ、帰庫ボタンＢ３ｆおよび経路変更ボタンＢ３ｇ）を有する領域である。ユーザにより指示ボタンＢ３ｄ～Ｂ３ｇが操作されると、装置側送信制御部２５２は、操作された指示ボタンＢ３ｄ～Ｂ３ｇに対応する動作を指示する制御信号を自動運転車両１へ送信するよう装置側通信部２１を制御する。緊急停止ボタンＢ３ｄが操作された場合、装置側通信部２１は、停止指示信号を自動運転車両１へ送信することになる。
【0084】
なお、出力部２３は、出力制御部２５４の制御により、装置側通信部２１が受信した複数の事象情報のうち、当該自動運転車両１が最小リスク状態に移行したときに受信した事象情報を含む、直近の所定数の事象情報を出力するよう構成されていてもよい。
【0085】
＜４．その他＞
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。
【0086】
例えば、出力部２３がスピーカを含む場合、出力部２３は、出力制御部２５４の制御により、事象情報を出力するとともに、音声を出力するようになっていてもよい。これにより、監視者は、最小リスク状態に移行した自動運転車両１に起こった事象をより詳しく知ることができる。
【0087】
また、上記遠隔監視装置２の機能は、当該装置２としてコンピュータを機能させるためのプログラムであって、当該装置２の各制御ブロック（特に装置側制御部２５に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。この場合、上記装置２は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記実施形態で説明した各機能が実現される。上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0088】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0089】
また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0090】
以上説明してきた本発明の各態様によれば、安全で持続可能なバス等の公共交通機関にも適した作用効果を奏することにより、持続可能な開発目標（ＳＤＧｓ）の目標１１「住み続けられるまちづくりを」の達成に貢献できる。
【0091】
〔まとめ〕
本発明の態様１に係る遠隔監視装置は、自動運転車両が備えるセンサが検知した事象、および前記自動運転車両が行った判断の結果生じた事象の少なくとも一方の事象を示す事象情報を取得する少なくとも一台の前記自動運転車両と通信する通信部と、前記自動運転車両から、当該自動運転車両が取得した前記事象情報を定期的に受信するよう前記通信部を制御する受信制御部と、前記自動運転車両が最小リスク状態に移行した場合に、当該自動運転車両が前記最小リスク状態に移行した第一時刻と、当該第一時刻より所定時間前の第二時刻との間に前記通信部が受信した前記事象情報を出力する出力部と、を備える構成である。
本発明の態様１に係る遠隔監視装置は、自動運転車両が備えるセンサが検知した事象、および前記自動運転車両が行った判断の結果生じた事象の少なくとも一方の事象を示す事象情報を取得する少なくとも一台の前記自動運転車両と通信する通信部と、前記自動運転車両から、当該自動運転車両が取得した前記事象情報を定期的に受信するよう前記通信部を制御する受信制御部と、前記自動運転車両が最小リスク状態に移行した場合に、当該自動運転車両が前記最小リスク状態に移行した第一時刻と、当該第一時刻より所定時間前の第二時刻との間に前記通信部が受信した前記事象情報を出力する出力部と、を備える構成である。
【0092】
本発明の態様２に係る遠隔監視装置は、上記の態様１において、前記出力部は、前記事象が生じた時刻および前記事象の内容を出力する構成としてもよい。
【0093】
本発明の態様３に係る遠隔監視装置は、上記の態様１または２において、前記出力部は、前記事象情報の表示領域を有する画面を表示し、前記表示領域に一度に表示しきれる範囲内の数の前記事象情報を表示する構成としてもよい。
【0094】
本発明の態様４に係る遠隔監視装置は、上記の態様１～３のいずれか一項において、前記センサは、当該自動運転車両の内側および外側の少なくとも一方を撮影するイメージセンサであり、前記出力部は、前記事象情報を表示するとともに、第一画像を表示する構成としてもよい。
【0095】
本発明の態様５に係る遠隔監視装置は、上記の態様１～４のいずれか一項において、前記センサは、当該自動運転車両の内側および外側の少なくとも一方の音声を取得するマイクであり、前記出力部は、前記事象情報を出力するとともに、音声を出力する構成としてもよい。
【0096】
本発明の態様６に係る遠隔監視装置は、上記の態様１～５のいずれか一項において、ユーザによりなされた所定操作に基づいて、前記最小リスク状態となっている前記自動運転車両へ運転再開を指示する再開指示信号を送信するよう前記通信部を制御する送信制御部を更に備える構成としてもよい。
【0097】
本発明の態様７に係る遠隔監視装置は、上記の態様６において、前記通信部が前記再開指示信号を送信した後、前記自動運転車両が運転を再開したか否かを判断する再開判断部と、前記出力部は、前記自動運転車両が運転を再開していないと前記再開判断部が判断した場合に、その旨を出力する構成としてもよい。
【0098】
本発明の態様８に係る遠隔監視装置は、上記の態様１～７のいずれか一項において、監視対象とする前記自動運転車両は、人を立った状態で載せることが可能な構造を有している構成としてもよい。
【0099】
本発明の態様９に係る遠隔監視装置は、自動運転車両が備えるセンサが検知した事象、および前記自動運転車両が行った判断の結果生じた事象の少なくとも一方の事象を示す事象情報を取得する少なくとも一台の前記自動運転車両と通信する通信部と、前記自動運転車両から、当該自動運転車両が取得した前記事象情報を定期的に受信するよう前記通信部を制御する受信制御部と、前記自動運転車両が最小リスク状態に移行した場合に、前記通信部が受信した複数の前記事象情報のうち、当該自動運転車両が前記最小リスク状態に移行したときに受信した前記事象情報を含む、直近の所定数の前記事象情報を出力する出力部と、を備える構成である。
【0100】
本発明の態様１０に係る遠隔監視装置は、上記の態様１または９において、前記出力部は、前記通信部が複数の前記自動運転車両から、前記最小リスク状態に移行する原因となり得る事象を示す特定の事象情報をそれぞれ受信した場合、複数の前記特定の事象情報を、前記原因となり得る事象が生じた順に一覧表示する構成としてもよい。
【0101】
本発明の態様１１に係る遠隔監視装置は、上記の態様１または９において、前記通信部が複数の前記自動運転車両から、前記最小リスク状態に移行する原因となり得る事象を示す特定の事象情報をそれぞれ受信した場合、対処すべき優先順位の高さを示す優先度情報を前記自動運転車両ごとに決定する決定部を更に備え、前記出力部は、各自動運転車両に対応する情報または画像と共に前記優先度情報を表示する構成としてもよい。
【0102】
本発明の態様１２に係る遠隔監視装置は、上記の態様７において、前記再開判断部は、前記通信部が受信した前記事象情報に基づき、前記自動運転車両が運転を再開したか否かを判断する構成としてもよい。
【符号の説明】
【0103】
１ 自動運転車両
１１ センサ
１２ 車両側通信部
１３ 車両側記憶部
１３１ 基準
１３２ 学習済モデル
１３３ 三次元地図
１４ 車両側制御部
１４１ 取得部
１４２ 認識判断部
１４３ 車両側送信制御部
１４４ 車両側受信制御部
１４５ 運転制御部
２、２Ａ 遠隔監視装置
２１ 装置側通信部（通信部）
２２ 装置側記憶部
２２１ データベース
２３ 出力部
２４ 操作部
２５、２５Ａ 装置側制御部
２５１ 装置側受信制御部（受信制御部）
２５２ 装置側送信制御部
２５３ 再開判断部
２５４、２５４Ａ 出力制御部
２５５ 抽出部
２５６ 決定部
１１ センサ
１２ 車両側通信部
１３ 車両側記憶部
１３１ 基準
１３２ 学習済モデル
１３３ 三次元地図
１４ 車両側制御部
１４１ 取得部
１４２ 認識判断部
１４３ 車両側送信制御部
１４４ 車両側受信制御部
１４５ 運転制御部
２、２Ａ 遠隔監視装置
２１ 装置側通信部（通信部）
２２ 装置側記憶部
２２１ データベース
２３ 出力部
２４ 操作部
２５、２５Ａ 装置側制御部
２５１ 装置側受信制御部（受信制御部）
２５２ 装置側送信制御部
２５３ 再開判断部
２５４、２５４Ａ 出力制御部
２５５ 抽出部
２５６ 決定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】