特許 7555030 情報処理方法及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-12

(45)【発行日】2024-09-24

(54)【発明の名称】情報処理方法及び情報処理システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240913BHJP

   G08G 1/00 20060101ALI20240913BHJP

   G08G 1/09 20060101ALI20240913BHJP

   B60W 30/09 20120101ALI20240913BHJP

   B60W 50/14 20200101ALI20240913BHJP

   B60W 50/035 20120101ALI20240913BHJP

   B60W 60/00 20200101ALI20240913BHJP

【ＦＩ】

G08G1/16 A

G08G1/00 D

G08G1/09 F

B60W30/09

B60W50/14

B60W50/035

B60W60/00

【請求項の数】 12

(21)【出願番号】P 2021543438

(86)(22)【出願日】2021-03-10

(86)【国際出願番号】 JP2021009486

(87)【国際公開番号】W WO2021193059

(87)【国際公開日】2021-09-30

【審査請求日】2023-12-25

(31)【優先権主張番号】P 2020055906

(32)【優先日】2020-03-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】松村 優樹

(72)【発明者】

【氏名】米田 孝弘

(72)【発明者】

【氏名】本田 義雅

【審査官】秋山 誠

(56)【参考文献】

【文献】特開２０１８－１１３９３８（ＪＰ，Ａ）

【文献】特開２０１９－８７０１５（ＪＰ，Ａ）

【文献】国際公開第２０１８／１５５１５９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０８Ｇ １／００

Ｇ０８Ｇ １／０９

Ｂ６０Ｗ ３０／０９

Ｂ６０Ｗ ５０／１４

Ｂ６０Ｗ ５０／０３５

Ｂ６０Ｗ ６０／００

(57)【特許請求の範囲】

【請求項1】

プロセッサにより実行される情報処理方法であって、
自律走行する移動体が障害物との衝突を回避するための緊急停止が発生したか否かを判定し、
前記緊急停止が発生したと判定した場合、前記移動体の走行状況履歴に基づいて、前記移動体が前記緊急停止を行わずに前記障害物との衝突を回避するように自律走行するための自律走行制御である安全制御をシミュレーションし、
前記移動体の前記自律走行制御を実行する自動運転システムのログを取得し、前記ログが示す自律走行制御及びシミュレーションされた前記安全制御に基づいて、前記ログが示す自律走行制御のための処理の中から前記緊急停止の原因である処理を特定し、
緊急停止が発生し得る状況に関するデータベースから、特定した前記処理に応じた状況候補を取得し、オペレータに、前記ログが示す状況に該当する前記状況候補を入力させるためのインタフェースを提示し、
入力された前記状況候補に応じて、前記自動運転システムによる前記自律走行制御の再開の可否を判定する
情報処理方法。

【請求項2】

前記緊急停止の原因である処理の特定は、
前記安全制御と前記ログが示す自律走行制御とを比較し、前記移動体の前記自律走行制御において前記安全制御を実行するための前記安全制御の開始時刻である安全制御時刻を求め、
前記安全制御の実行に要する処理の結果が、前記安全制御時刻よりも前に出力されたか否かの判定の結果に基づいて行う
請求項１に記載の情報処理方法。

【請求項3】

前記安全制御の実行に要する処理は、前記移動体の周囲状況を示す検知結果を取得するための検知処理、前記検知結果を用いて前記移動体の周囲状況を予測するための予測処理、及び予測された前記周囲状況に応じた走行経路を決定するための判断処理の少なくとも１つである
請求項２に記載の情報処理方法。

【請求項4】

前記インタフェースは、
特定した前記処理の出力と、前記自動運転システムに入力された観測データとを用いて生成した画像を含む
請求項２又は３に記載の情報処理方法。

【請求項5】

前記インタフェースは、
前記安全制御での前記安全制御時刻における出力をさらに用いて生成した画像を含む
請求項４に記載の情報処理方法。

【請求項6】

前記インタフェースは、
前記ログが示す状況に該当する前記状況候補を、前記安全制御時刻以降の時点に対して入力させるためのインタフェースである
請求項５に記載の情報処理方法。

【請求項7】

前記自律走行制御の再開の可否は、
入力された前記状況候補について設定されている、自律走行制御の実行の安全度又は危険度を示すパラメータの値に基づいて決定される
請求項２～６のいずれか一項に記載の情報処理方法。

【請求項8】

前記パラメータは、
特定した前記処理の出力の前記安全制御時刻からの遅延時間長に基づく
請求項７に記載の情報処理方法。

【請求項9】

前記パラメータは、
入力された前記状況候補が該当する時間に関し、
前記状況候補は、前記安全制御時刻までの時間に対して入力される
請求項７に記載の情報処理方法。

【請求項10】

前記安全制御は、
前記移動体を前記緊急停止による停車位置又は前記停車位置よりも手前の位置に停車させる制御である
請求項１～９のいずれか一項に記載の情報処理方法。

【請求項11】

前記安全制御は、
前記移動体を前記障害物を避けて走行させる制御である
請求項１～９のいずれか一項に記載の情報処理方法。

【請求項12】

プロセッサを備える一台以上のコンピュータを含む情報処理システムであって、
前記プロセッサは、
自律走行する移動体が障害物との衝突を回避するための緊急停止が発生したか否かを判定し、
緊急停止が発生したと判定した場合、前記移動体の走行状況履歴に基づいて、前記移動体が前記緊急停止を行わずに前記障害物との衝突を回避するように自律走行するための自律走行制御である安全制御をシミュレーションし、
前記移動体の前記自律走行制御を実行する自動運転システムのログを取得し、前記ログが示す自律走行制御及びシミュレーションされた前記安全制御に基づいて、前記ログが示す自律走行制御のための処理の中から前記緊急停止の原因である処理を特定し、
緊急停止が発生し得る状況に関するデータベースから、特定した前記処理に応じた状況候補を取得し、オペレータに、前記ログが示す状況に該当する前記状況候補を入力させるためのインタフェースを提示し、
入力された前記状況候補に応じて、前記自動運転システムによる前記自律走行制御の再開の可否を判定する
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自律走行する移動体の緊急停止発生時に実行される情報処理方法等に関する。

【背景技術】

【0002】

近年の自動運転技術の発展に伴い、自律走行する移動体によるドライバレスでの搬送サービスの実現が期待される。このようなサービスの実運用では、緊急時に遠隔からオペレータが対応できることが要求される。特に、緊急停止した移動体の復帰は事故発生の危険が高いため、対応するオペレータが遠隔で状況を理解し、問題があるかないかに応じてサービスを停止させるか走行を再開させるかを決定できる仕組みが必要である。例えば、従来、車載カメラの映像を確認することにより移動体の外部の状況を遠隔で把握する方法がある（特許文献１参照）。

【0003】

また、自動運転システムの処理に着目した発明として、自動運転システムが検知していた障害物や、実行した移動体の制御を可視化することで、自動制御による急動作の発生原因を乗員に把握させて安心させる移動体用表示方法がある（特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第４８６１１５８号公報

【文献】特開２０１７－１８７８３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載の方法で提供されるような映像が示す周囲の様子だけでは、自動運転システムが緊急停止した理由は不明である。なお、特許文献１にはその理由の確認についての開示も示唆もない。

【0006】

また、特許文献２に記載の移動体用表示方法は、急動作に至った自動運転システムの処理の状況を遠隔のオペレータが理解するためには役立つ。しかし、移動体の走行再開に問題が実際にあるかないかの判断はオペレータに依存する。そのため、走行再開の安全性を確実に高めることが困難である。

【0007】

本開示は、自律走行する移動体が障害物との衝突を回避するために緊急停止した際、走行再開の安全性をより確実に向上させることができる情報処理方法及び情報処理システムを提供する。

【課題を解決するための手段】

【0008】

本開示の一態様に係る情報処理方法は、プロセッサにより実行される情報処理方法であって、自律走行する移動体が障害物との衝突を回避するための緊急停止が発生したか否かを判定し、前記緊急停止が発生したと判定した場合、前記移動体の走行状況履歴に基づいて、前記移動体が前記緊急停止を行わずに前記障害物との衝突を回避するように自律走行するための自律走行制御である安全制御をシミュレーションし、前記移動体の前記自律走行制御を実行する自動運転システムのログを取得し、前記ログが示す自律走行制御及びシミュレーションされた前記安全制御に基づいて、前記ログが示す自律走行制御のための処理の中から前記緊急停止の原因である処理を特定し、緊急停止が発生し得る状況に関するデータベースから、特定した前記処理に応じた状況候補を取得し、オペレータに、前記ログが示す状況に該当する前記状況候補を入力させるためのインタフェースを提示し、入力された前記状況候補に応じて、前記自動運転システムによる前記自律走行制御の再開の可否を判定する処理を含む。

【0009】

また、本開示の一態様に係る情報処理システムは、プロセッサを備える一台以上のコンピュータを含む情報処理システムであって、前記プロセッサは、自律走行する移動体が障害物との衝突を回避するための緊急停止が発生したか否かを判定し、緊急停止が発生したと判定した場合、前記移動体の走行状況履歴に基づいて、前記移動体が前記緊急停止を行わずに前記障害物との衝突を回避するように自律走行するための自律走行制御である安全制御をシミュレーションし、前記移動体の前記自律走行制御を実行する自動運転システムのログを取得し、前記ログが示す自律走行制御及びシミュレーションされた前記安全制御に基づいて、前記ログが示す自律走行制御のための処理の中から前記緊急停止の原因である処理を特定し、緊急停止が発生し得る状況に関するデータベースから、特定した前記処理に応じた状況候補を取得し、オペレータに、前記ログが示す状況に該当する前記状況候補を入力させるためのインタフェースを提示し、入力された前記状況候補に応じて、前記自動運転システムによる前記自律走行制御の再開の可否を判定する。

【0010】

なお、これらの包括的又は具体的な態様は、装置、集積回路、コンピュータプログラム又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、集積回路、方法、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示に係る情報処理方法及び情報処理システムでは、自律走行する移動体が障害物との衝突を回避するために緊急停止した際の走行再開の安全性をより確実に向上させることができる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施の形態に係る、自動運転システムを備える移動体及び遠隔サーバを含む仕組みの全体構成図である。

【図2A】図２Ａは、緊急停止の原因として検知部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図2B】図２Ｂは、上記の移動体の緊急停止の原因として検知部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図3A】図３Ａは、上記の移動体の緊急停止の原因として検知部による処理が特定された場合に上記の遠隔サーバで生成される画像である。

【図3B】図３Ｂは、上記の移動体の緊急停止の原因として検知部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図4A】図４Ａは、上記の移動体の緊急停止の原因として予測部による処理が特定された場合に上記の遠隔サーバで生成される画像の例である。

【図4B】図４Ｂは、上記の移動体の緊急停止の原因として予測部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図5A】図５Ａは、上記の移動体の緊急停止の原因として予測部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図5B】図５Ｂは、上記の移動体の緊急停止の原因として予測部による処理が特定された場合に上記の画像生成部が生成する画像を説明するための模式図である。

【図6A】図６Ａは、上記の移動体の緊急停止の原因として判断部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図6B】図６Ｂは、上記の移動体の緊急停止の原因として判断部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図7A】図７Ａは、上記の移動体の緊急停止の原因として判断部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図7B】図７Ｂは、上記の移動体の緊急停止の原因として判断部による処理が特定された場合に上記の遠隔サーバで生成される画像を説明するための模式図である。

【図8】図８は、上記の遠隔サーバでユーザインタフェース（以下、ＵＩと表記する）制御部が制御してオペレータに提示されるＵＩの例である。

【図9】図９は、オペレータによる入力に応じて提示されるＵＩの例である。

【図10】図１０は、オペレータによる入力に応じて提示されるＵＩの例である。

【図11】図１１は、実施の形態に係る情報処理方法の一連の流れを説明するためのフローチャートである。

【発明を実施するための形態】

【0013】

上記の課題を解決するために、本開示の一態様に係る情報処理方法は、プロセッサにより実行される情報処理方法であって、自律走行する移動体が障害物との衝突を回避するための緊急停止が発生したか否かを判定し、前記緊急停止が発生したと判定した場合、前記移動体の走行状況履歴に基づいて、前記移動体が前記緊急停止を行わずに前記障害物との衝突を回避するように自律走行するための自律走行制御である安全制御をシミュレーションし、前記移動体の前記自律走行制御を実行する自動運転システムのログを取得し、前記ログが示す自律走行制御及びシミュレーションされた前記安全制御に基づいて、前記ログが示す自律走行制御のための処理の中から前記緊急停止の原因である処理を特定し、緊急停止が発生し得る状況に関するデータベースから、特定した前記処理に応じた状況候補を取得し、オペレータに、前記ログが示す状況に該当する前記状況候補を入力させるためのインタフェースを提示し、入力された前記状況候補に応じて、前記自動運転システムによる前記自律走行制御の再開の可否を判定する。

【0014】

これにより、自律走行する移動体が障害物との衝突を回避するために緊急停止した際、走行再開の安全性をより確実に向上させることが可能である。

【0015】

また例えば、前記緊急停止の原因である処理の特定は、前記安全制御と前記ログが示す自律走行制御とを比較し、前記移動体の前記自律走行制御において前記安全制御を実行するための前記安全制御の開始時刻である安全制御時刻を求め、前記安全制御の実行に要する処理の結果が、前記安全制御時刻よりも前に出力されたか否かの判定の結果に基づいて行ってもよい。より具体的には、例えば、前記安全制御の実行に要する処理は、前記移動体の周囲状況を示す検知結果を取得するための検知処理、前記検知結果を用いて前記移動体の周囲状況を予測するための予測処理、及び予測された前記周囲状況に応じた走行経路を決定するための判断処理の少なくとも１つであってもよい。

【0016】

これにより、自律走行で可能であった安全制御又は理想的な安全制御との差異に応じて自律走行制御の再開の可否が判定され、走行再開の安全性をより確実に向上させることが可能である。

【0017】

また例えば、前記インタフェースは、特定した前記処理の出力と、前記自動運転システムに入力された観測データとを用いて生成した画像を含んでいてもよい。また、前記インタフェースは、前記安全制御での前記安全制御時刻における出力をさらに用いて生成した画像を含んでいてもよい。また、前記インタフェースは、前記ログが示す状況に該当する前記状況候補を、前記安全制御時刻以降の時点に対して入力させるためのインタフェースであってもよい。

【0018】

これにより、自律走行する移動体が緊急停止したときの周囲の状況、又はその周囲の状況を示す観測データに対する自動運転システムの処理の適否をオペレータに判定させることができる。

【0019】

また例えば、前記自律走行制御の再開の可否は、入力された前記状況候補について設定されている、自律走行制御の実行の安全度又は危険度を示すパラメータの値に基づいて決定されてもよい。また、前記パラメータは、特定した前記処理の出力の前記安全制御時刻からの遅延時間長に基づいていてもよい。また、前記パラメータは、入力された前記状況候補が該当する時間に関し、前記状況候補は、前記安全制御時刻までの時間に対して入力されてもよい。

【0020】

これにより、緊急停止後の自律走行の再開の可否をオペレータに依存しないで判定することが容易になり、走行再開の安全性をより確実に向上させることができる。

【0021】

また例えば、前記安全制御は、前記移動体を前記緊急停止による停車位置又は前記停車位置よりも手前の位置に停車させる制御であってもよい。また例えば、前記安全制御は、前記移動体を前記障害物を避けて走行させる制御であってもよい。

【0022】

上記の課題を解決するために、本開示の一態様に係る情報処理システムは、プロセッサを備える一台以上のコンピュータを含む情報処理システムであって、前記プロセッサは、自律走行する移動体が障害物との衝突を回避するための緊急停止が発生したか否かを判定し、緊急停止が発生したと判定した場合、前記移動体の走行状況履歴に基づいて、前記移動体が前記緊急停止を行わずに前記障害物との衝突を回避するように自律走行するための自律走行制御である安全制御をシミュレーションし、前記移動体の前記自律走行制御を実行する自動運転システムのログを取得し、前記ログが示す自律走行制御及びシミュレーションされた前記安全制御に基づいて、前記ログが示す自律走行制御のための処理の中から前記緊急停止の原因である処理を特定し、緊急停止が発生し得る状況に関するデータベースから、特定した前記処理に応じた状況候補を取得し、オペレータに、前記ログが示す状況に該当する前記状況候補を入力させるためのインタフェースを提示し、入力された前記状況候補に応じて、前記自動運転システムによる前記自律走行制御の再開の可否を判定する。

【0023】

これにより、自律走行する移動体が障害物との衝突を回避するために緊急停止した際、安全性をより確実に向上させての走行再開が可能である。

【0024】

なお、これらの包括的又は具体的な態様は、装置、集積回路、コンピュータプログラム又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、集積回路、方法、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0025】

以下、図面を参照して、本開示に係る情報処理方法及び情報処理システムの実施形態について説明する。

【0026】

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は一例であり、本発明を限定する趣旨ではない。

【0027】

［構成］
図１は、本実施の形態に係る、自動運転システムを備える移動体及び遠隔サーバを含む仕組みの全体構成図である。

【0028】

本開示に係る情報処理方法は、図１に示す自律走行する移動体１００と、移動体１００と無線接続される遠隔サーバ２００とを含む仕組みの中でプロセッサにより実行される。

【0029】

（移動体）
移動体１００は、自動運転システム１１０、受信部１２０、観測部１１、移動体制御部１２を備える。

【0030】

観測部１１は、移動体１００の周囲をセンシングすることにより観測する。観測部１１は、例えばカメラ、Ｒａｄａｒ（Radio detecting and ranging）又はＬｉＤＡＲ（Light detection and ranging又はLaser imaging detection and ranging）を用いて実現される。この観測の結果を示す観測データは、観測部１１から自動運転システム１１０に提供される。

【0031】

移動体制御部１２は、自動運転システム１１０からの運転制御に関する指示に従って移動体１００の走行を制御する。例えば移動体制御部１２は、移動体の操舵角及び加減速を制御する回路を用いて実現される。また、この制御の内容を示す情報（以下、操舵／加減速情報ともいう）が、移動体制御部１２から自動運転システム１１０に提供される。

【0032】

自動運転システム１１０は、検知部１１１、予測部１１２及び判断部１１３を機能的な構成要素として有する。

【0033】

検知部１１１は、観測部１１により取得される画像又は点群等の観測データに対する処理によって障害物の検知及び当該障害物の種別、大きさ、移動体１００との相対位置及び相対速度に関する情報を取得して出力する。

【0034】

予測部１１２は、検知部１１１から取得する情報及び行動予測技術に対する処理によって、検知された障害物の移動経路を予測し出力する。

【0035】

判断部１１３は、予測部１１２から取得する障害物の予測移動経路及び移動体制御部１２から取得する移動体１００の操舵／加減速情報に対する処理によって、動的に移動体１００の経路を計画する。そして判断部１１３は、移動体１００にその計画した経路（以下、計画経路ともいう）を走行させるための次の操舵制御及び加減速制御の少なくとも一方を含む運転制御の内容を決定し、決定した運転制御の内容を含む指示を移動体制御部１２に出力する。なお、判断部１１３が指示する操舵及び加減速の制御量については、通常の走行の限度として予め定められた上限がある。この上限を超える制御量、例えば所定の減速度を超える制御が必要な状況が発生した場合、判断部１１３は緊急停止のための制動を指示する。このような緊急停止のための指示が発行されると、遠隔サーバ２００が関与する所定の手続を経るまで、判断部１１３からの指示に応じた移動体制御部１２による移動体１００の走行のための運転制御は実行されない。

【0036】

受信部１２０は、遠隔サーバ２００が備える送信部２４０との無線通信により走行再開可否信号を受信する。受信部１２０が受信した走行再開可否信号が走行再開可能を示す場合には、移動体１００は、移動体制御部１２が判断部１１３からの指示に従って運転制御を実行する状態に戻る。

【0037】

移動体制御部１２、自動運転システム１１０及び受信部１２０は、移動体１００が備える車載ネットワーク上に構築される車載ネットワークシステムが含む各種の運転制御系統に含まれる一台以上のＥＣＵ（Electronic Control Unit）を用いて実現され得る。ＥＣＵは、例えば、プロセッサ（マイクロプロセッサ）、メモリ等のデジタル回路、アナログ回路、通信回路等を含む装置である。メモリは、ＲＯＭ（Read-Only Memory）及びＲＡＭ（Random Access Memory）であり、プロセッサにより実行される制御プログラム（コンピュータプログラム）を記憶することができる。ＥＣＵは、プロセッサが制御プログラムに従って動作することによって上述の各構成要素の機能を提供する。コンピュータプログラムとは、所定の機能を実現するために、プロセッサに対する命令コードが複数個組み合わされたものである。

【0038】

（遠隔サーバ）
遠隔サーバ２００は、プロセッサを備える一台以上のコンピュータを含む情報処理システムの一例である。遠隔サーバ２００は、自律走行している移動体１００で緊急停止が発生した場合に、その緊急停止の発生は、自動運転システム１１０の異常によるものか、状況上やむを得なかったものであるかの判断に利用可能な情報をオペレータに提供する。また、このオペレータからの入力に応じて自律走行の再開の可否を判定し、走行再開の可否の判定結果を示す信号を移動体１００に送信する。

【0039】

遠隔サーバ２００は、例えば、プロセッサ、メモリ及び通信回路等を含む装置である。メモリは、ＲＯＭ及びＲＡＭであり、プロセッサにより実行される制御プログラム（コンピュータプログラム）を記憶することができる。遠隔サーバ２００は、ログ記録部２１０、第一情報処理部２２０、第二情報処理部２３０、送信部２４０、出力装置２１及び入力装置２２を備える。なお、遠隔サーバ２００が備える各構成要素が複数のサーバに分散して配置されることで、情報処理システムを構成してもよい。

【0040】

出力装置２１は、遠隔サーバ２００の外部に情報を出力する。出力装置２１の例として、液晶ディスプレイ及びスピーカーが挙げられる。入力装置２２は、遠隔サーバ２００の外部からの入力を受け付ける。入力装置２２の例としてはキーボード、マウス及びマイクが挙げられる。また、出力装置２１と入力装置２２とがタッチスクリーンで提供されてもよい。

【0041】

ログ記録部２１０は、自動運転システム１１０との無線通信によりセンサログ２１１、走行ログ２１２及び処理ログ２１３を取得して記録する。センサログ２１１は、検知部１１１に入力された画像又は点群等を示す観測データの履歴である。走行ログ２１２は、判断部１１３に入力された移動体１００の速度又は位置情報の履歴である。走行ログ２１２は、移動体１００の走行に関わるアクチュエータ（例えばブレーキ、アクセル、又はステアリングのアクチュエータ）の動作履歴を含んでもよい。処理ログ２１３は、検知部１１１、予測部１１２、及び判断部１１３の処理結果の履歴である。なお、判断部１１３については、計画経路の履歴も処理ログ２１３に含まれる。

【0042】

第一情報処理部２２０は、作動検出部２２１、時刻算出部２２２及び原因特定部２２３を機能的な構成要素として有する。なお、これらの構成要素は、プロセッサ等によって実現される。

【0043】

作動検出部２２１は、処理ログ２１３を参照して、自動運転システム１１０の判断部１１３による移動体１００の緊急停止の指示の発行を監視して緊急停止の発生を検出する。緊急停止の発生が検出すると、この検出結果を時刻算出部２２２などによる以降の処理のトリガーとして出力する。緊急停止の指示は、例えばその指示に付与されるフラグによって示されてもよいし、制動制御の指示の内容（ブレーキ力の大きさ、ブレーキ力配分等）から判断されるものであってもよい。なお、移動体１００が、判断部１１３によって指示が発行される緊急停止とは別に作動する衝突被害軽減ブレーキ等の緊急停止手段を搭載していれば、作動検出部２２１は、走行ログ２１２を参照して当該緊急停止手段の作動を検出し、この検出結果を上記トリガーとして出力してもよい。

【0044】

時刻算出部２２２は、走行ログ２１２から安全制御限界時刻を算出する。本実施の形態における安全制御とは、移動体１００が緊急停止により停車した位置に通常の（つまり緊急停止をしない）自律走行制御で停車するような制御を意味し、時刻算出部２２２による移動体１００のシミュレーション上の制御である。

【0045】

時刻tにおける移動体の速度v_tとし、移動体の位置l_tとし、緊急停止により移動体が停車した時刻Tとし、通常の自律走行制御における最大の減速度を

【0046】

【数1】

とすると、下記の式１で表す最小化問題の解となる時刻T₀が、安全制御限界時刻として算出される。

【0047】

【数2】

【0048】

なお、Δtは、自動運転システム１１０が緊急停止の移動体制御を出力してから実際に移動体１００が緊急停止を開始するまでの処理遅延時間を示す。また、distance(l_k,l_k+1)は、位置l_kから位置l_k+1までの距離を示し、例えば、ユークリッド距離を用いることができる。

【0049】

上記のように算出される安全制御限界時刻は、移動体１００の自律走行制御において安全制御を実行するための安全制御の開始時刻である安全制御時刻の一例である。安全制御限界時刻について別の表現をすると、移動体１００の自律走行制御において、安全制御を実現可能な制御として開始することができた最遅の時刻とも言える。以下では、安全制御限界時刻を用いて説明するが、安全制御の開始時刻は必ずしも最遅の時刻（すなわち安全制御限界時刻）でなくてもよく、最遅の時刻よりも早い時刻であってもよい。

【0050】

原因特定部２２３は、時刻算出部２２２が算出した時刻T₀及び処理ログ２１３を用いて、自動運転システム１１０において実行される自律走行制御のための処理のなかから、発生した緊急停止の原因を特定する。具体的には、原因特定部２２３は、時刻T₀から緊急停止により移動体１００が停車した時刻Tまでの時刻に基づいて、検知部１１１による処理（以下、検知処理ともいう）、予測部１１２による処理（以下、予測処理ともいう）、及び判断部１１３による処理（以下、判断処理ともいう）から緊急停止の原因である処理を特定する。この処理について下記に説明する。

【0051】

前提として、緊急停止は障害物との衝突を回避するために実行されるのであって、緊急停止を開始した時刻T′では、少なくとも緊急停止に係る障害物が自動運転システム１１０に検知されている。また、一般的に障害物の速度の検知及び移動経路の予測には、その障害物に関して時系列に関連付けるための物体追跡技術が利用される。本実施の形態に係る自動運転システム１１０も、この物体追跡技術を採用して予測部１１２で取得するか、又は同技術を利用する外部から取得する情報に基づいて、ある時刻で検知している緊急停止に係る障害物を他の時刻で検知している当該障害物と同一視する。以降、説明の為、緊急停止に係る障害物をtargetと呼ぶ。

【0052】

検知処理、予測処理及び判断処理のいずれが緊急停止の原因であるか否かについては、targetに対する処理の結果から判定される。

【0053】

検知部１１１が出力する、時刻tでのtargetの位置をdetection(target,t)で表す。ここで、検知部１１１がtargetの位置を未取得の場合、
detection(target,t) = NULL
とする。

【0054】

detection(target,t)が安全制御限界時刻T₀以降にNULLを返す場合、原因特定部２２３は、検知部１１１による処理を緊急停止に至った原因として特定する。

【0055】

移動体１００が緊急停止に至った原因として検知部１１１による処理が特定されなかった場合、予測部１１２による処理が緊急停止に至った原因となり得る。予測部１１２が出力する、時刻tでのtargetが、緊急停止を開始した時刻T′でのtargetの位置に移動する確率をprediction(target,t)で表す。

【0056】

prediction(target,t)が安全制御限界時刻T₀以降に閾値を下回る場合、原因特定部２２３は、予測部１１２による処理を移動体１００が緊急停止に至った原因として特定する。緊急停止を開始した時刻T′でのtargetの位置としては、例えば前段の処理である検知部１１１の出力detection(target,T′)を利用できる。

【0057】

移動体１００が緊急停止に至った原因として検知部１１１による処理も予測部１１２による処理も特定されなかった場合、判断部１１３による処理が緊急停止に至った原因となり得る。緊急停止を開始した時刻T′でのtargetの位置が予測できているならば、理想的には、通常の自律走行制御における最大の減速度

【0058】

【数3】

以下で減速し、緊急停止することなく移動体１００は停車できる。よって、判断部１１３が前述を満たすような減速度での減速の指示を出力していたか否かに応じて判断部１１３による処理が緊急停止の原因であるか否かが判定される。

【0059】

判断部１１３が出力する、時刻tでの移動体１００の減速度をa_tで表す。ここで、移動体１００が加速する場合、
a_t = NULL
とする。

【0060】

a_tが安全制御限界時刻T₀以降にNULLを返す場合、又は下記の式２で表す条件

【0061】

【数4】

が満たされる場合、原因特定部２２３は、判断部１１３による処理を緊急停止に至った原因として特定する。式２は、減速度a_tでの移動体１００の停止距離が、緊急停止により移動体１００が停車した位置までの距離より大きいことを示す。

【0062】

ここで、緊急停止に至った原因として判断部１１３による処理が特定されなかった場合、自動運転システム１１０は、判断部１１３が緊急停止を実行しないで実際の停車位置より手前に停車できるような減速度による制動の指示を出力していたことになる。それにもかかわらず緊急停止が実行されたということは緊急停止に至った原因は自動運転システム１１０による処理以外にある。言い換えると、移動体１００は、自動運転システム１１０による運転制御下での走行の継続が不可能な状況にあるといえる。本実施の形態においては、このような状況にある移動体１００は、システムエラーが発生しているものとして扱い、原因特定部２２３から送信部２４０に“自律走行再開不可”を示す情報を出力する。

【0063】

以上のように、第一情報処理部２２０は、緊急停止の発生を検出し、自動運転システム１１０における各機能的構成要素が実行する自律走行制御のための処理のなかから当該緊急停止に至った原因である処理を特定する。原因として特定された処理は、第一情報処理部２２０から第二情報処理部２３０に通知される。

【0064】

第二情報処理部２３０は、画像生成部２３１、状況データベース（後述する図１１中では状況ＤＢとも表記する）２３２、ＵＩ制御部２３３及び走行再開可否判定部２３４を機能的な構成要素として有する。なお、これらの構成要素は、プロセッサ等によって実現される。

【0065】

画像生成部２３１は、第一情報処理部２２０で緊急停止に至った原因として特定された処理に応じて画像を生成する。例えば、画像生成部２３１は、ログ記録部２１０から抽出する情報を用いて、移動体１００が緊急停止に至った状況を表す画像を生成する。画像生成部２３１は、例えば安全制御限界時刻から移動体が緊急停止により停車した時刻までの時間に対応するこのような画像を生成する。生成された画像は上述の出力装置２１を介して、移動体１００の自律走行の再開可否の判定に関与するオペレータに提示される。この画像については、図２Ａ～図７Ｂを用いて後述する。

【0066】

状況データベース２３２には、自動運転システム１１０の処理に応じて緊急停止が発生し得る状況の候補が登録されている。

【0067】

次に挙げるのは、検知部１１１による処理に関する前記状況の候補の例である。

【0068】

「緊急停止に係る障害物が移動体からの死角に隠れていた」
「緊急停止に係る障害物が他の障害物で部分的/一時的に隠れていた」
また、次に挙げるのは、予測部１１２による処理に関する前記状況の候補の例である。

【0069】

「緊急停止に係る障害物が移動を開始した」
「緊急停止に係る障害物が移動中であったが停止した」
「緊急停止に係る障害物が移動中、進行方向を変えた」
また、次に挙げるのは、判断部１１３による処理に関する前記状況の候補の例である。

【0070】

「他の障害物が移動体の走行予定経路上に進入してきた」
前記状況の候補は、自動運転システム１１０の処理能力に基づいて、開発者又はサービサが事前にリストアップして、状況データベース２３２への登録を行う。多数の候補を登録すると、オペレータが適切に選択することが難しくなる。一方で候補が少ない、あるいは、事前のリストアップに漏れがある場合、いずれの候補にも該当しない状況の選択が多発する可能性もある。

【0071】

例えば、候補数が第１閾値以上である場合、後述するような候補の絞り込み又は候補の仮選択が実行されてもよい。

【0072】

また、例えば、候補数が第２閾値未満である場合、いずれの候補にも該当しない状況である「該当なし」の選択回数が第３閾値以上となった場合、又は、所定期間内での選択回数が第４閾値未満である候補が存在する場合、オペレータに対してアラートが通知されてもよい。

【0073】

上記のような問題が事前の検証をどれだけ入念に行っても発生すると考えられるため、上記アラートの通知によりアップデートを促すことができる。また、候補のアップデートのために、「該当なし」が選択されたケースの映像又はシステムのログが削除されないように保管されてもよい。また、可能であれば、オペレータによる自由記述等も保管されてもよい。このように保管された情報を用いることで、新しい候補の選定を効率化できる。さらに、保管された情報に基づいて自動運転システムが改善されてもよい。これにより、よく緊急停止が行われるシーンを開発者又はサービス設計者が把握できるようになり、緊急停止を回避するように自動運転システムがアップデートされたり、サービスルートが緊急停止の起きにくいルートに変更されたり、制限速度が緊急停止が起きにくい速度に再設定されたりする。それにより、自動運転システムによるサービスの改善が期待できる。

【0074】

上記に例を挙げて説明した緊急停止が発生し得る状況は、出力装置２１及び入力装置２２を用いて実現される、後述するＵＩの構成要素として用いられる。

【0075】

ＵＩ制御部２３３は、出力装置２１を用いて、緊急停止に至った原因として特定された自動運転システム１１０での処理をオペレータに提示する。ＵＩの詳細については、例を用いて後述する。

【0076】

走行再開可否判定部２３４は、緊急停止が発生し得る状況の候補に対するオペレータからの入力結果に対して、走行再開の可否を判定する。走行再開可否判定部２３４は、例えば緊急停止の発生状況を入力として、自律走行する自動車の自律走行による走行の再開の可否の判定結果を出力するＡＩ（artificial intelligence）のモデルで実現される。この走行再開の可否の決定方法については、例を用いて後述する。

【0077】

送信部２４０は、移動体１００が備える受信部１２０との無線通信により走行再開可否信号を送信する。

【0078】

（ＵＩで提示される画面）
次に、画像生成部２３１が生成してＵＩとしてオペレータに提示される画面について図２Ａ～図７Ｂを参照して説明する。図２Ａ～図７Ｂに示す画像は、第一情報処理部２２０で緊急停止に至った原因として特定された処理の種類に応じて生成される画像例の模式図である。

【0079】

１．緊急停止に至った原因として検知処理が特定された場合
図２Ａ及び図２Ｂは、安全制御限界時刻T₀から、検知部１１１がtargetの検知を開始した時刻T_aまでの時間に観測部１１で生成されたデータ及び自動運転システム１１０で生成されたデータのログを用いて画像生成部２３１が生成する画像を説明するための模式図である。より詳細には、図２Ａは、移動体１００の観測部１１である車載カメラが出力したデータに基づいて画像生成部２３１が生成する画像の模式図である（後述の図３Ａ、図４Ａ、図５Ａ、図６Ａ、図７Ａも同じ）。また、図２Ｂは、移動体１００の観測部１１であるＬｉＤＡＲが出力したデータ（オブジェクト抽出処理済み）に基づいて画像生成部２３１が生成する画像の模式図である（後述の図３Ｂ、図４Ｂ、図５Ｂ、図６Ｂ、図７Ｂも同じ）。

【0080】

図２Ａ及び図２Ｂの各画像は、いずれも安全制御限界時刻T₀に観測部１１で取得されたデータに基づく。なお、図２Ｂは、移動体１００の上方にある視点で描画されている（後述の図３Ｂ、図４Ｂ、図５Ｂ、図６Ｂ、図７Ｂも同じ）。図２Ａ及び図２Ｂ中で点線の輪郭を持つ人型の透過像は、時刻T_aに検知されたtarget（この例では人）の像を、画像生成部２３１がログ記録部２１０にあるセンサログ２１１に基づいて重畳したものである。

【0081】

図２Ａを参照すると、画像の左寄りの領域で、移動体１００（の観測部１１）から見て歩道にいる人の姿が柱状の物体（図中「柱」）にほぼ全体が隠れている。しかしながら、図２Ｂを参照すると、歩道にいるこの人はＬｉＤＡＲが出力したデータには表れていないことが分かる。上記のオペレータは、移動体１００が緊急停止に至った状況の理解のために、これらの画像を、安全制御限界時刻T₀を含む時系列に沿って参照する。例えばオペレータは、移動体１００の緊急停止の前に、targetが移動体１００から見て物陰に隠れていたために、検知部１１１は安全制御限界時刻T₀までにtargetの位置を取得できなかったという状況が発生したことを、これらの画像を見て理解する。

【0082】

なお、図２Ａ及び図２Ｂで画像に写る物体を示す文字は説明の便宜上付したもので、以下で参照する図では、このような説明の文字を省略することがある。

【0083】

図３Ａ及び図３Ｂは、検知部１１１がtargetの検知を開始した時刻T_aから、緊急停止により移動体１００が停車した時刻Tまでの時間に観測部１１で生成されたデータ及び自動運転システム１１０で生成されたデータのログを用いて画像生成部２３１が生成する画像を説明するための模式図である。

【0084】

図３Ａ及び図３Ｂにおける人型の像は、時刻T_aにおける検知処理の対象となったtargetである人の像であり、図２Ａ及び図２Ｂではその輪郭が点線のみで表されている。図３Ａ及び図３Ｂでは、判断部１１３による緊急停止の実行の判断の根拠となった像と一致するものとして、targetのこの像に一点鎖線の輪郭が画像生成部２３１によって重畳されている。

【0085】

例えば図２Ａ及び図２Ｂの画像の続きとして図３Ａ及び図３Ｂの画像を見たオペレータは、移動体１００の緊急停止を実行するという自動運転システム１１０での判断は、検知部１１１が安全制御限界時刻T₀より後の時刻に検知を開始したtargetに対してなされたと理解することができる。

【0086】

２．緊急停止に至った原因として予測処理が特定された場合
図４Ａ及び図４Ｂは、検知部１１１がtargetの検知を開始した時刻T_aから安全制御限界時刻T₀を経て、予測部１１２が所定の閾値以上の確率で緊急停止に係るtargetの位置の予測結果を出力した時刻T_bまでの時間に観測部１１で取得されたデータを用いて画像生成部２３１が生成する画像の説明するための模式図である。

【0087】

図４Ａ及び図４Ｂの画像に写る人型の像のうち、元々写っているのは最も左に位置する像のみであり、例えば時刻T_ａに観測部１１で取得された観測データに表されるtargetの像である。その他の二つの人型の像は画像生成部２３１がログ記録部２１０から取得した情報に基づいて重畳したものである。各画像において、歩道から右に外れた場所に位置する点線の輪郭を持つ人型の像は、時刻T_bに予測部１１２が出力した、所定時間後のtargetの位置を示す像である。元々写っている像を起点とする矢印の先に位置する破線の輪郭を持つ像は、矢印の起点に位置する像から予測部１１２が予測した所定時間後の時刻（時刻T_ａ以降であり時刻T_bより前）のtargetの位置を示す。つまり矢印は、その起点に位置する像から予測部１１２が予測したtargetの移動の方向と大きさを示す。

【0088】

図４Ａ及び図４Ｂの画像を見たオペレータは、例えば画像から把握される移動体１００及びtargetの周囲の状況、又は安全制御限界時刻T₀との時間差及び予測されたtargetの位置を考慮に入れて、予測部１１２による予測処理の問題の有無を判断することができる。予測部１１２による予測処理に問題があると判断すれば、オペレータは移動体１００の自律運転による走行の再開はできないと判定してもよい。

【0089】

図５Ａ及び図５Ｂは、予測部１１２が緊急停止に係る予測結果を出力した時刻T_bから、緊急停止により移動体１００が停車した時刻Tまでの時間に観測部１１で生成されたデータ及び自動運転システム１１０で生成されたデータのログを用いて画像生成部２３１が生成する画像を説明するための模式図である。

【0090】

図５Ａ及び図５Ｂにおいて実線で示される人型の像は、時刻T_bに観測部１１で取得された観測データに表されるtargetの像である。矢印は、その起点に位置するこの像から予測部１１２が予測したtargetの移動の方向と大きさを示す。歩道から右に外れた場所に位置する一点鎖線の輪郭を持つ人型の像はこの予測に係るtargetの位置であり、判断部１１３による緊急停止の実行の判断の根拠となった像でもある。例えば図４Ａ及び図４Ｂの画像の続きにおいて、targetの像、矢印及び破線の人型は時間経過とともに移動し、破線の人型が緊急停止の実行の判断の根拠となった像の輪郭を示す点線の人型と一致すると、その破線が一点鎖線に変わる。

【0091】

例えば図４Ａ及び図４Ｂの画像の続きとして図５Ａ及び図５Ｂの画像を見たオペレータは、破線が一点鎖線に変わった画像に対応する時刻と、安全制御限界時刻T₀との時間差を容易に把握することができる。

【0092】

３．緊急停止に至った原因として判断部が特定された場合
図６Ａ及び図６Ｂは、予測部１１２が緊急停止に係る予測結果を出力した時刻T_bから、判断部１１３が緊急停止に係る判断結果に基づく制御のための指示を出力した時刻T_cまでの時間に観測部１１で生成されたデータ及び自動運転システム１１０で生成されたデータのログを用いて画像生成部２３１が生成する画像を説明するための模式図である。図６Ａ及び図６Ｂの各画像は、いずれも時刻T_bに観測部１１で取得されたデータに基づき、移動体１００の前方に位置するtargetである移動体（図中の「他移動体」）の時刻T_bの時点の像を含む。また、図６Ａ及び図６Ｂで他移動体の像の右下に見える破線の矢印及び点線の線分は、画像生成部２３１がログ記録部２１０から取得した情報に基づいて重畳したものである。破線の矢印は、判断部１１３が時刻T_bまでに計画した移動体１００の経路を示す。また、点線の線分は、時刻T_cに判断部１１３が出力した緊急停止の指示に係る、計画上の停止位置を示す。

【0093】

図６Ａ及び図６Ｂの画像を見たオペレータは、例えば、画像から把握されるこの計画上の停止位置、移動体１００及びtargetの周囲の状況を確認することができる。

【0094】

図７Ａ及び図７Ｂは、判断部１１３が緊急停止に係る判断結果に基づく制御のための指示を出力した時刻T_cから、緊急停止により移動体１００が停止した時刻Tまでの時間に観測部１１で生成されたデータ及び自動運転システム１１０で生成されたデータのログを用いて画像生成部２３１が生成する画像を説明するための模式図である。図７Ａ及び図７Ｂの各画像は、いずれも時刻T_cに観測部１１で取得されたデータに基づき、移動体１００の前方に位置するtargetである２台の移動体（図中の「他移動体Ａ」及び「他移動体Ｂ」）の時刻T_cの時点の像を含む。また、図７Ａ及び図７Ｂで他移動体Ａの像の右下に見える一点鎖線の帯及び線分、並びに他移動体Ｂの下に見える矢印は、画像生成部２３１がログ記録部２１０から取得した情報に基づいて重畳したものである。一点鎖線の帯及び線分は、緊急停止に係る判断において判断部１１３が決定した移動体１００の計画経路及び停止位置、並びに時刻Ｔまでに移動体１００が走行した経路及び時刻Ｔでの停止位置を示す。つまり、判断部１１３による計画と、移動体制御部１２による移動体１００の制御結果とが一致している。また、矢印は、判断部１１３が時刻T_cまでに出力した制御のための指示に係る、予測部１１２が出力した他移動体Ｂの予測経路を示す。

【0095】

図７Ａ及び図７Ｂの画像を見たオペレータは、例えば、緊急停止のために計画された経路及び停止位置と制御結果としての移動体１００の走行経路及び停止位置の整合、並びに緊急停止のための制御の指示の出力時におけるtargetの周囲の状況を確認することができる。

【0096】

図２Ａ～図７Ｂに例を挙げて説明した画像は、上述の状況データベース２３２に登録されている緊急停止が発生し得る状況の候補と合わせて、次に説明するＵＩの構成要素として用いられる。

【0097】

（ＵＩの構成）
ＵＩ制御部２３３が出力装置２１及び入力装置２２を介してオペレータに提供するＵＩの構成について、例を用いて以下に説明する。

【0098】

ＵＩは、移動体１００が緊急停止に至った原因として原因特定部２２３が特定した自動運転システム１１０での処理をオペレータに提示する構成要素を含む。

【0099】

ＵＩはさらに、状況データベース２３２から取得される、緊急停止に至った原因として特定された上記処理に応じた緊急停止が発生し得る状況の候補を、オペレータに提示する構成要素を含む。

【0100】

ＵＩはさらに、上記候補から適切なものを選択するために緊急停止が発生した実際の状況をオペレータに確認させるための画像であって、画像生成部２３１によって生成された画像を提示する構成要素を含む。

【0101】

ＵＩはさらに、走行再開可否判定部２３４が判定した移動体１００の自律走行の再開の可否をオペレータに提示する構成を含む。

【0102】

例えば、移動体１００が緊急停止に至った原因として検知部１１１による処理が特定された場合にオペレータに提示されるＵＩは、図８～図１０のようになる。

【0103】

これらのＵＩは、上記に挙げた各構成要素の例を含む一連の画面である。オペレータは、画面中程のシークバーを操作して、移動体１００が緊急停止に至った時間の前後の移動体１００周辺の様子を捉えた画像を見ることができる。この画像は画像生成部２３１によって生成された画像である。

【0104】

図８は、この画像と、選択肢としての緊急停止が発生し得る状況の候補とを提示する画面である。この画面では、オペレータによる選択した状況の入力はまだ行われていない。

【0105】

図９及び図１０に示すＵＩの画面では、それぞれオペレータによる入力の結果に応じて走行再開可否判定部２３４が判定した走行再開可否についての結果がオペレータに提示されている（画面、右下「ＡＩ自動判定」欄参照）。

【0106】

以下、各図における構成要素についてより詳しく説明する。

【0107】

図８～図１０でシークバーの下に見られる「障害物の検知に失敗して緊急停止した可能性があります。」の一文は、移動体１００が緊急停止に至った原因として原因特定部２２３が特定した自動運転システム１１０での処理が「検知」であることをオペレータに提示する構成要素である。

【0108】

また、この文の下に並ぶ「移動体の死角に隠れていた」及び「部分的/一時的に隠れていた」は、緊急停止が発生し得る状況の候補の例であり、緊急停止に至った原因として特定された「検知」の処理に応じてＵＩ制御部２３３が状況データベース２３２から取得したものである。なお、これらの下にさらにある「該当なし」は、状況データベース２３２から取得された上記二つの候補が実際の状況に当てはまらないとオペレータが考える場合に選択される候補である。

【0109】

また、特定された原因を示す文より上方で左右に並ぶ二つの画像は、画像生成部２３１がログ記録部２１０に保持されるログから生成した、緊急停止の発生状況の確認用にオペレータに提示される画像の例である。図８及び図９の例では、図２Ａ及び図２Ｂで例示した画像がこの緊急停止の発生状況の確認用に提示される画像が含まれている。

【0110】

ＡＩ自動判定の欄には、走行再開可否判定部２３４による走行再開可否の判定の結果がされる。この判定は、緊急停止が発生した状況についてのオペレータの入力結果に基づくものである。

【0111】

図９は、画像生成部２３１が生成した画像を見て、障害物である人が柱状の工作物に隠れていた状況を把握したオペレータが、表示された状況の候補から「死角に隠れていた」の選択を入力した場合に提示されるＵＩの例である。この例では、ＡＩ自動判定の欄に、走行再開可否判定部２３４による走行再開可否の判定の結果を示す「走行再開ＯＫ」の文言が表示される。この例ではさらに、自動運転システム１１０が正常であることを示す「緊急停止は正常に作動しました。」という文言も表示される。

【0112】

図１０は、画像生成部２３１が生成した画像を見て、障害物である人は十分に手前から隠れていなかったことを把握したオペレータが、表示された状況の候補から「該当なし」を選択して入力した場合に提示されるＵＩの例である。この例では、ＡＩ自動判定の欄に、走行再開可否判定部２３４による走行再開可否の判定の結果を示す「走行再開ＮＧ」の文言が表示される。この例ではさらに、自動運転システム１１０が異常である可能性があることを示す「緊急停止の異常作動です。走行再開できません。」という文言も表示される。

【0113】

これらの「走行再開ＯＫ」又は「走行再開ＮＧ」といった表示は、オペレータの入力を受け付けるボタンになっている。この判定結果を確認したオペレータがこれらのボタンを押すと、この判定の結果に応じて走行再開の可否を示す走行再開可否信号が送信部２４０から移動体１００に送信される。なお、図示のこれらの例では、オペレータは判定結果を確認するのみであるが、これに限定されない。例えば、判定結果の承認又は否認（さらには状況選択のやり直し）の選択をオペレータにさせる構成要素がＵＩに含まれていてもよい。

【0114】

（走行再開可否の判定方法）
走行再開可否判定部２３４は、緊急停止が発生し得る状況の候補からオペレータが選択した状況の入力に対して、移動体１００の自律走行による走行再開の可否を判定する。走行再開可否判定部２３４によるこの走行再開の可否の判定方法について、異常があると特定された自動運転システム１１０の処理ごとの例を以下に説明する。

【0115】

なお、この説明では、判定の準備として、オペレータが該当する状況として選択し入力した状況についての、自律走行制御の実行の安全度又は危険度を示すパラメータが用いられる。例えば走行再開が安全であることを示すものである場合には１、安全でない又は危険であることを示すものである場合には０の値が入るパラメータが用いられる。または、オペレータに提示される状況の各候補に、状況データベースにおいて予め当該パラメータの値が与えられていてもよい。

【0116】

１．緊急停止に至った原因として検知処理が特定された場合
オペレータの選択として入力された状況が、緊急停止に係る障害物が「死角に隠れていた」か、「部分的/一時的に隠れていた」であるとする（図９参照）。これらの状況では、カメラ又はＬｉＤＡＲといった観測部１１からの観測データには障害物が表れにくいために、検知は困難である。したがって、自動運転システム１１０による自律走行では緊急停止の発生がやむを得ない状況であった、つまり自動運転システム１１０の異常ではなく走行再開は安全であるとしてパラメータの値として１が与えられる。

【0117】

また、上記の二つの状況のいずれにも該当しない、つまり「該当なし」が入力されたとする（図１０参照）。この場合、自動運転システム１１０が正常であれば、十分に手前で当該障害物が検知され、緊急停止は発生しなかったはずである。つまり、自動運転システム１１０に異常がある可能性があり、走行再開は不安全である。したがって、パラメータの値として０が与えられる。ただし、現実的には、「死角に隠れていた」や「部分的/一時的に隠れていた」状況でなくても、検出が難しい状況は存在する。例えば、カメラ画像から障害物を検知する場合、障害物が背景と同化していると検出が難しく、障害物が歩行者であればしゃがんでいると検出が難しい。このような問題については、例えば、「背景と同化している」という候補を新たにデータベース２３２に登録する、検知処理が物体のクラスまで検知できるなら、クラスに合わせて、別々の候補を登録しておくといった対策が考えられる。

【0118】

文言上、「死角に隠れていた」と「部分的/一時的に隠れていた」をどう仕分けるかはオペレータに依存する。このような曖昧性については、当該障害物とそれ以外に検知されていた他の障害物との位置関係、又は当該障害物と地図情報から取得できる死角領域との位置関係を数値で表現できる。そのため、サーバは、当該障害物と他の障害物又は死角領域との重複領域がしきい値を超えるか否かを判定し、閾値を越える場合は、当時の映像に当該障害物と他の障害物又は死角領域との重複を示す情報又は当該重複の程度を示す情報を重畳させ、重畳後の映像をオペレータに提示してもよい。このように、判断に有用な情報が重畳された映像をオペレータに確認してもらうことで曖昧性を効率的に排除できる。

【0119】

また、候補の選択においては、予め候補が絞り込まれ、絞り込まれた候補が提示されてもよい。また、サーバが仮選択した結果が提示され、オペレータが承認するとしてもよい。例えば、過去の障害物と他の障害物又は死角領域との重複の状態と、その際にオペレータが選択した状況とに基づいて、２つ以上の状況の候補に絞り込まれ、絞り込まれた候補がオペレータに提示されてもよい。また、絞り込みの代わりに１つの状況の候補が仮選択され、仮選択された状況の候補がオペレータに提示されてもよい。

【0120】

２．緊急停止に至った原因として予測処理が特定された場合
オペレータが、緊急停止に係る障害物が「移動を開始した」、「移動中であったが停止した」、「移動中に進行方向を変えた」のうち、１つ以上の状況を選択して入力したとする。この場合、障害物は急遽移動を開始又は終了している、もしくは、予測が困難な向き情報が変化しているため、予測が困難である。したがって、自動運転システム１１０による自律走行では緊急停止の発生がやむを得ない状況であった、つまり自動運転システム１１０の異常ではなく走行再開は安全であるとしてパラメータの値として１が与えられる。

【0121】

また、「該当なし」が選択されて入力されたとする。この場合、障害物は移動していない、もしくは、一方向に移動しているため、自動運転システム１１０が正常であれば、十分に手前で当該障害物の移動経路を予測し、緊急停止は発生しなかったはずである。つまり、自動運転システム１１０に異常がある可能性があり、走行再開は不安全である。したがって、パラメータの値として０が与えられる。

【0122】

現実世界では、全く向きが変わらない移動というのはほとんど存在せず、移動の開始や停止と急な加速や減速をどう仕分けるかはオペレータに依存する。このような曖昧性については、当該障害物の位置の検知結果を時系列で紐づければ、数値で表現できる。そのため、サーバは、しきい値を超える移動の加減速や向きの変化を検出し、検出結果を当時の映像に重畳させ、重畳後の映像をオペレータに提示してもよい。このように、判断に有用な情報が重畳された映像をオペレータに確認してもらうことで曖昧性を効率的に排除できる。

【0123】

また、候補の選択においては、予め候補が絞り込まれ、絞り込まれた候補が提示されてもよい。また、サーバ側で別途処理が行われ、事前に選択を行ってから、選択結果をオペレータに確認してもらってもよい。例えば、過去の障害物の移動の加減速又は向きの変化とその際にオペレータが選択した状況とに基づいて、２つ以上の状況の候補に絞り込まれ、絞り込まれた候補がオペレータに提示されてもよい。また、絞り込みの代わりに１つの状況の候補が仮選択され、仮選択された状況の候補がオペレータに提示されてもよい。

【0124】

上記は、上記候補選択のサーバ側での処理結果を十分信頼して良い場合、例えば、これまでのサービス運用を通して、死角領域の存在を確認できているスポットで、該当障害物の飛び出しによる緊急停止が発生した等の場合、今までオペレータが確認してきた内容に基づいてサーバが状況を推定可能と考えられるからである。

【0125】

３．緊急停止に至った原因として判断処理が特定された場合
オペレータが、「他の障害物が自移動体の走行予定経路上に不意に進入してきた」という状況を選択して入力したとする。この場合、この障害物に過度に近づかないよう減速度での速度制御をするという判断は困難である。したがって、自動運転システム１１０による自律走行では緊急停止の発生がやむを得ない状況であった、つまり自動運転システム１１０の異常ではなく走行再開は安全であるとしてパラメータの値として１が与えられる。

【0126】

また、上記のようなやむを得ない状況に該当しなければ、十分に手前で当該障害物と近づき過ぎない減速する判断をして減速制御を実行し、緊急停止は発生しなかったはずである。つまり、自動運転システム１１０に異常がある可能性があり、走行再開は不安全である。したがって、パラメータの値として０が与えられる。

【0127】

他の障害物が自移動体の走行予定経路上に進入してきたのが、不意なのか不意でないのかの判断はオペレータに依存する。このような曖昧性については、当該他の障害物の位置の検知結果を時系列で紐づければ、数値で表現できる。

【0128】

そのため、サーバは、しきい値を超える移動の加減速や向きの変化を検出し、検出結果を当時の映像に重畳させ、重畳後の映像をオペレータに提示してもよい。このように、判断に有用な情報が重畳された映像をオペレータに確認してもらうことで曖昧性を効率的に排除できる。

【0129】

また、サーバ側で別途処理が行われ、事前に選択を行ってから、選択結果をオペレータに確認してもらってもよい。例えば、過去の障害物の移動の加減速又は向きの変化とその際にオペレータが選択した状況とに基づいて、状況の候補が仮選択され、仮選択された状況の候補がオペレータに提示されてもよい。

【0130】

また、不意なのか不意でないのかの判断において、走行予定経路上に進入してきた障害物がどのような物体なのか（例えば、車なのか、ヒトなのか、動物なのか）で、再開可否が変わる可能性がある。そのため、状況の候補が障害物のクラスごとに登録され、過去のクラスごとの障害物の移動の加減速又は向きの変化とその際にオペレータが選択した状況とに基づいて、２つ以上の状況の候補に絞り込まれ、絞り込まれた候補がオペレータに提示されてもよい。また、絞り込みの代わりに１つの状況の候補が仮選択され、仮選択された状況の候補がオペレータに提示されてもよい。

【0131】

なお、「他の障害物」について、原因特定部２２３によって、検知部１１１又は予測部１１２による処理も原因として特定された場合、それぞれの場合について、上記のような状況の候補からの選択の入力を改めてオペレータが行うことで、パラメータの値が与えられてもよい。

【0132】

走行再開可否判定部２３４は、オペレータの入力に対してパラメータに与えられた値が１であれば、走行再開が可能であるという判定結果、パラメータが０であれば、走行再開が不可であるという判定結果をＵＩ制御部２３３に出力する。ＵＩ制御部２３３は、走行再開可否判定部２３４から入力を受けたこの判定結果に応じて、「ＡＩ自動判定」の欄における表示を制御する。

【0133】

なお、さらに発展的に、走行再開の可否は、より厳密に判定されてもよい。

【0134】

例えば、検知処理が原因である場合に、緊急停止に係る障害物が死角に隠れていたのであれば、緊急停止はやむを得ないかもしれない。しかしながら、緊急停止に係る障害物が死角に隠れていた状況から、緊急停止に係る障害物が観測可能な状況に変わってから、どれくらい早く検知部１１１がこの障害物を検知できているかで、緊急停止等の事故に繋がる制御の発生確率は大きく変わると考えられる。

【0135】

この場合、画像生成部２３１は、原因特定部２２３の特定結果から、特定された処理が、安全制御限界時刻T₀からどの程度の時間差で期待する出力をしていたかを取得し、上述のように画像を生成する。

【0136】

そして、オペレータが入力装置２２を介して、画像生成部２３１によって生成された画像を時系列に沿って追い、各時刻の画像がどの状況の候補に該当するかを入力する。

【0137】

この入力を受けた走行再開可否判定部２３４は、状況が変わってから障害物が検知されるまでの時間が、処理遅延の許容値を超えているか否かに応じて、走行再開の可否を判定することができる。なお、状況が変わってから（又は状況が変わった後に障害物が検知されてから）障害物の位置が予測されるまでの時間、又は状況が変わってから（又は状況が変わった後に障害物の位置が予測されてから）緊急停止が判断されるまでの時間が許容値と比較されてもよい。

【0138】

［動作］
次に、移動体１００と通信する遠隔サーバ２００で実行される、本実施形態に係る情報処理方法の手順について説明する。図１１は、本実施形態に係る情報処理方法の手順例を示すフローチャートである。

【0139】

遠隔サーバ２００では、移動体１００の自動運転システム１１０から送信されたセンサログ２１１、走行ログ２１２及び処理ログ２１３のいずれかを取得すると、これらのログがログ記録部２１０に記録される（ステップＳ１０）。

【0140】

第一情報処理部２２０の作動検出部２２１が、移動体１００での緊急停止の発生を検出するために、処理ログ２１３又は走行ログ２１２を参照する（ステップＳ１１）。緊急停止が発生していなければ（ステップＳ１１でＮｏ）、ステップＳ１０で取得したログに対する処理は終了する。

【0141】

緊急停止の発生が検出された場合（ステップＳ１１でＹｅｓ）、第一情報処理部２２０の時刻算出部２２２及び原因特定部２２３が、この緊急停止に至った原因が自動運転システム１１０の検知部１１１、予測部１１２又は判断部１１３のいずれかによる処理と特定されたか、システムエラーであるかを判定する（ステップＳ１２）。緊急停止に至った原因はシステムエラーであると判定された場合には（ステップＳ１２でＮｏ）、原因特定部２２３から送信部２４０を通じて、自律走行の再開は不可であることを示す走行再開可否信号が移動体１００に送信される（ステップＳ１８）。

【0142】

緊急停止に至った原因は自動運転システム１１０での処理である場合には（ステップＳ１２でＹｅｓ）、第二情報処理部２３０のＵＩ制御部２３３が、緊急停止に至った原因として特定された処理に応じて、状況データベース２３２から緊急停止が発生し得る状況の候補を取得する（ステップＳ１３）。

【0143】

ＵＩ制御部２３３は、画像生成部２３１がログ記録部２１０から抽出する情報を用いて生成する移動体１００が緊急停止に至った実際の状況を表す画像と、ステップＳ１３で取得した状況の候補とを含むＵＩを、出力装置２１を介してオペレータに提示する（ステップＳ１４）。ここで提示されるＵＩは、例えば図８に示すような、オペレータに緊急停止に至った状況の説明として適切なものを選択して入力させる画面である。

【0144】

走行再開可否判定部２３４が、入力装置２２を介してオペレータが状況の候補から選択した実際の状況に該当する状況の入力結果に応じて、移動体１００の自律走行による走行再開の可否を判定する（ステップＳ１５）。なお、ここでの判定は仮の判定であったり、状況に関する入力をさらにオペレータから得てから判定を行う場合もある。状況に関するさらなる入力をオペレータに求めるためのＵＩがある場合には（ステップＳ１６でＹｅｓ）、ＵＩ制御部２３３によってステップＳ１４からの手順が繰り返される。

【0145】

オペレータに提示すべきＵＩをひととおり提示して入力を得た場合（ステップＳ１６でＮｏ）、ＵＩ制御部２３３は、走行再開可否判定部２３４による走行再開可否の判定結果の情報をＵＩ制御部２３３に反映したＵＩを出力装置２１を介してオペレータに提示して承認（又は確認）を求める（ステップＳ１７）。例えば図９又は図１０に示したような画面が提示される。

【0146】

ＵＩ制御部２３３によって、オペレータが入力装置２２を介して、走行再開の可否の判定結果を承認したことが検出されると（ステップＳ１７でＹｅｓ）、この承認された判定結果に応じた走行再開可否信号が、送信部２４０から移動体１００に送信される（ステップＳ１９）。なお、オペレータが走行再開の可否の判定結果の承認を拒否した場合（ステップＳ１７でＮｏ）、この手順例ではステップＳ１４に戻るとしている。この場合のステップＳ１４以降では、例えば、該当する状況の再確認及び再選択をオペレータにさせるために、いったん提示したＵＩが再度提示されてもよい。

【0147】

（変形例及び補足事項）
本開示の一又は複数の態様に係る情報処理方法は、上記実施の形態の説明に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が想到する各種の変形を上記の実施の形態に施したものも本開示の態様に含まれる。下記にそのような変形の例、及び実施の形態の説明へのその他の補足事項を挙げる。

【0148】

（１）上記実施の形態では、安全制御を緊急停止により停車した位置に通常の自律走行制御で停車させる制御として説明したが、安全制御の態様はこれに限定されない。安全制御は、例えば操舵と、必要に応じての加減速とで、実際の走行では緊急停止に係った障害物を避けながら走行し続ける制御であってもよい。

【0149】

（２）上記実施の形態では、安全度又は危険度を示すパラメータの値はオペレータが該当する状況として候補から選択し入力した状況に応じて決定されているがこれに限定されない。例えば、上記パラメータの値は、安全制御限界時刻までの時間に対して入力された状況の候補が該当する時間に関する値であってもよい。より具体的には、他の移動体の不意の進路侵入が、安全制御限界時刻により近い時間帯であるほど、緊急停止は自動運転システムの動作としては異常である可能性は低く、安全度は高い。パラメータの値のまた別の例として、緊急停止の原因として特定された処理の出力の、安全制御限界時刻からの遅延時間の長さに基づいて安全度又は危険度を示す値が入れられるものであってもよい。

【0150】

他にも、特定の候補での緊急停止の発生が多発することは、危険な走行を行っていると考えられるので、同候補への入力が一定数あるごとに、安全度又は危険度を示す値を更新してもよい。そして、ここに挙げたようなパラメータの値は、０及び１のような二値に限定されず、より多段階の値が用いられ得る。

【0151】

さらに、０から１の連続値でパラメータを設定することも考えられる。緊急停止が起きた際、移動体の速度が大きいほど、障害物との距離が近いほど、同候補での緊急停止が多く発生するほど、危険が大きいと考えられる。これらのデータを基に、安全度又は危険度への正解データを作成し、上記パラメータを重みとして、学習することも考えられる。勿論、正解データとして、オペレータが人手で与えてもよい。

【0152】

（３）上述の各情報処理システムが備える機能的な構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサがこのコンピュータプログラムに従って動作することにより、システムＬＳＩは各構成要素の機能を達成する。

【0153】

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0154】

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

【0155】

（４）本開示の一態様は、図１１のフロー図を用いて上述した情報処理方法に限定されず、コンピュータによって実行されるプログラム、及びコンピュータを含む情報処理システムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。

【産業上の利用可能性】

【0156】

本開示に係る技術は、自律走行する移動体の緊急停止発生時に実行される情報処理方法、このような情報処理装置を実行する情報処理装置、又は情報処理装置にこのような情報処理方法を実行させるプログラムとして利用可能である。

【符号の説明】

【0157】

１１ 観測部
１２ 移動体制御部
２１ 出力装置
２２ 入力装置
１００ 移動体
１１０ 自動運転システム
１１１ 検知部
１１２ 予測部
１１３ 判断部
１２０ 受信部
２００ 遠隔サーバ
２１０ ログ記録部
２１１ センサログ
２１２ 走行ログ
２１３ 処理ログ
２２０ 第一情報処理部
２２１ 作動検出部
２２２ 時刻算出部
２２３ 原因特定部
２３０ 第二情報処理部
２３１ 画像生成部
２３２ 状況データベース
２３３ ＵＩ制御部
２３４ 走行再開可否判定部
２４０ 送信部

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】