(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-20
(45)【発行日】2023-09-28
(54)【発明の名称】情報処理装置、移動装置、および方法、並びにプログラム
(51)【国際特許分類】
B60W 50/08 20200101AFI20230921BHJP
B60W 50/10 20120101ALI20230921BHJP
B60W 50/14 20200101ALI20230921BHJP
B60W 60/00 20200101ALI20230921BHJP
B60W 40/08 20120101ALI20230921BHJP
G08G 1/16 20060101ALI20230921BHJP
【FI】
B60W50/08
B60W50/10
B60W50/14
B60W60/00
B60W40/08
G08G1/16 C
G08G1/16 F
(21)【出願番号】P 2020556746
(86)(22)【出願日】2019-10-23
(86)【国際出願番号】 JP2019041476
(87)【国際公開番号】W WO2020100539
(87)【国際公開日】2020-05-22
【審査請求日】2022-09-01
(31)【優先権主張番号】P 2018214753
(32)【優先日】2018-11-15
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100093241
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】大場 英史
【審査官】平井 功
(56)【参考文献】
【文献】特開2017-170973(JP,A)
【文献】特開2017-097518(JP,A)
【文献】特開2002-163799(JP,A)
【文献】特開2014-106854(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 10/00-10/30
B60W 30/00-60/00
G08G 1/00-99/00
(57)【特許請求の範囲】
【請求項1】
車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報をシステムに入力する引き継ぎ断念入力部と、
前記引き継ぎ断念入力部からの入力に応じて、自動運転車両の退避処理を実行するデータ処理部を有
し、
前記データ処理部は、
前記引き継ぎ拒否情報の入力前に選択可能な退避処理の選択肢を生成し、
前記引き継ぎ拒否情報の入力後に前記選択肢から選択した退避処理を実行する情報処理装置。
【請求項2】
前記データ処理部は、
前記退避処理として、減速、停止、現走行路以外の走行路または駐車場または路側帯への移動のいずれかを実行する請求項1に記載の情報処理装置。
【請求項3】
前記データ処理部は、
減速、停止、現走行路以外の走行路または駐車場または路側帯への移動、これら複数の退避処理候補から、後続車の追突、および渋滞発生の可能性が最小となる退避処理を選択して実行する請求項1に記載の情報処理装置。
【請求項4】
前記データ処理部は、
前記運転者の観測情報を入力し、入力した観測情報に基づいて運転者が規定時間までに手動運転へ復帰することが困難であるか否かを判定し、
復帰困難と判定した場合、自動運転車両の退避処理を実行する請求項1に記載の情報処理装置。
【請求項5】
前記データ処理部は、
前記車両の走行路情報を取得し、取得した走行路情報を利用して前記退避処理として実行可能な選択肢を生成する請求項1に記載の情報処理装置。
【請求項6】
前記走行路情報はLDM(ローカルダイナミックマップ)、または先導車からの通信情報から取得する情報である
請求項5に記載の情報処理装置。
【請求項7】
前記データ処理部は、
前記運転者の観測情報を入力し、入力した観測情報に基づいて、前記運転者が手動運転に復帰するまでの必要時間を算出する請求項1に記載の情報処理装置。
【請求項8】
前記データ処理部は、
前記必要時間に応じて、前記運転者に対する手動運転復帰要求通知の実行タイミングを決定する
請求項7に記載の情報処理装置。
【請求項9】
前記データ処理部は、
前記運転者に対する手動運転復帰要求通知に対する前記運転者の応答に基づいて、運転者の手動運転への復帰品質を評価する
請求項7に記載の情報処理装置。
【請求項10】
前記データ処理部は、
前記復帰品質の評価結果に基づいて、運転者が手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクを判定する
請求項9に記載の情報処理装置。
【請求項11】
前記データ処理部は、
前記復帰品質の評価結果に基づいて、運転者が手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できない
と判定した場合、自動運転車両の退避処理を実行する
請求項10に記載の情報処理装置。
【請求項12】
前記データ処理部は、
前記運転者が手動運転への
引き継ぎ拒否情報をシステムに入力した場合、前記運転者に対するペナルティを科すため、
前記引き継ぎ拒否情報の入力履歴を記憶部に記録する請求項1に記載の情報処理装置。
【請求項13】
自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記移動装置の周囲情報を取得する環境情報取得部と、
前記移動装置の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報をシステムに入力する引き継ぎ断念入力部と、
前記環境情報取得部の取得する情報に基づいて、自動運転から手動運転への切り替え地点を確認し、前記切り替え地点に到達する前に前記運転者に対して、手動運転復帰要求通知を実行するデータ処理部を有し、
前記データ処理部は、さらに、
前記引き継ぎ拒否情報の入力前に選択可能な退避処理の選択肢を生成し、
前記引き継ぎ断念入力部からの
前記引き継ぎ拒否情報の入力後に前記選択肢から選択した退避処理を実行する移動装置。
【請求項14】
前記データ処理部は、
前記退避処理として、減速、停止、現走行路以外の走行路または駐車場または路側帯への移動のいずれかを実行する
請求項13に記載の移動装置。
【請求項15】
前記データ処理部は、
減速、停止、現走行路以外の走行路または駐車場または路側帯への移動、これら複数の退避処理候補から、後続車の追突、および渋滞発生の可能性が最小となる退避処理を選択して実行する
請求項13に記載の移動装置。
【請求項16】
情報処理装置において実行する情報処理方法であり、
データ処理部が、
車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ
拒否情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行
し、
前記データ処理部は、さらに、
前記引き継ぎ拒否情報の入力前に選択可能な退避処理の選択肢を生成する処理と、
前記引き継ぎ拒否情報の入力後に前記選択肢から選択した退避処理を実行する情報処理方法。
【請求項17】
移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
データ処理部が、
前記環境情報取得部の取得する情報に基づいて、自動運転から手動運転への切り替え地点を確認し、前記切り替え地点に到達する前に前記運転者に対して、手動運転復帰要求通知を実行するステップと、
前記移動装置の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ
拒否情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行
し、
前記データ処理部が、さらに、
前記引き継ぎ拒否情報の入力前に選択可能な退避処理の選択肢を生成し、
前記引き継ぎ拒否情報の入力後に前記選択肢から選択した退避処理を実行する情報処理方法。
【請求項18】
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ
拒否情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行させ
、
さらに、前記データ処理部に、
前記引き継ぎ拒否情報の入力前に選択可能な退避処理の選択肢を生成する処理と、
前記引き継ぎ拒否情報の入力後に前記選択肢から選択した退避処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動運転と手動運転の切り替え制御を行う情報処理装置、移動装置、および方法、並びにプログラムに関する。
【背景技術】
【0002】
昨今、自動運転に関する技術開発が盛んに行われている。
自動運転技術は、車両(自動車)に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
【0003】
しかし、現状において自動運転は開発段階であり、100%の自動運転が可能となるまでには時間を要すると考えられ、しばらくは、自動運転と、運転者(ドライバ)による手動運転とを、適宜切り替えて走行することになると予測される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者(ドライバ)の操作で走行を行うといったモード切り替えが必要となると予測される。
【0004】
車両が自動運転を実行している間は、運転者(ドライバ)は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。
【0005】
自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
しかし、例えば、自動運転実行中に、運転者が居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態で手動運転モードに切り替えてしまうと、正常な手動運転を行うことができず、最悪の場合、事故を起こす可能性がある。
【0006】
運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
【0007】
運転者の運転復帰能力が不十分な状態のまま、自動運転走行可能区間から手動運転走行区間に侵入して自動運転機能が途切れてしまうと事故が発生する可能性があり危険である。
このような危険を回避するため、例えば、運転者の手動運転復帰能力を車両側のシステムが検出できない場合、車両の緊急停止や減速、あるいは退避場所への移動走行を自動的に行うことの提案がなされている。
【0008】
なお、自動運転実行中に車両故障等の事態が発生した場合に緊急停止等の制御を行う構成について開示した従来技術として、例えば特許文献1(特開2017-157067号公報)がある。
上記文献に開示された構成は、自動運転実行中の車両故障時の緊急停止処理であり、手動運転への切り替え時の対処を開示したものではない。
【0009】
今後、自動運転走行可能区間は高速道路に限らず一般道にも広がることが予測され、自動運転走行可能区間と、自動運転の許容されない手動運転走行区間とを交互に走行する必要性が高まることが推測される。
このような様々な道路環境で、運転者が手動運転に復帰できない場合に車両の緊急停止や減速、あるいは退避場所への移動等を確実に行うことが必要となる。
ただし、緊急停止や減速、あるいは退避場所への移動走行を頻繁に実行させると、後続車の追突リスクや渋滞が発生しやすくなるという問題もある。
【先行技術文献】
【特許文献】
【0010】
【発明の概要】
【発明が解決しようとする課題】
【0011】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動運転から手動運転への切り替えを安全に行うことを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
【0012】
本開示の一実施例においては、運転者が、自動運転から手動運転への切り替えを拒否することを可能とし、拒否した場合に安全な制御を行うことを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0013】
本開示の第1の側面は、
車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報をシステムに入力する引き継ぎ断念入力部と、
前記引き継ぎ断念入力部からの入力に応じて、自動運転車両の退避処理を実行するデータ処理部を有する情報処理装置にある。
【0014】
さらに、本開示の第2の側面は、
自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記移動装置の周囲情報を取得する環境情報取得部と、
前記移動装置の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報をシステムに入力する引き継ぎ断念入力部と、
前記環境情報取得部の取得する情報に基づいて、自動運転から手動運転への切り替え地点を確認し、前記切り替え地点に到達する前に前記運転者に対して、手動運転復帰要求通知を実行するデータ処理部を有し、
前記データ処理部は、さらに、
前記引き継ぎ断念入力部からの入力に応じて、自動運転車両の退避処理を実行する移動装置にある。
【0015】
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
データ処理部が、
車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ断念情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行する情報処理装置方法にある。
【0016】
さらに、本開示の第4の側面は、
移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
データ処理部が、
前記環境情報取得部の取得する情報に基づいて、自動運転から手動運転への切り替え地点を確認し、前記切り替え地点に到達する前に前記運転者に対して、手動運転復帰要求通知を実行するステップと、
前記移動装置の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ断念情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行する情報処理方法にある。
【0017】
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ断念情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行させるプログラムにある。
【0018】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0019】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【0020】
本開示の一実施例の構成によれば、車両の運転者からの手動運転への切り替え拒否の申請に応じて車両の減速や停止等の退避制御を実行する構成が実現される。
具体的には、例えば、自動運転と手動運転の切り替えが可能な移動装置であり、移動装置の運転者の運転者情報を取得する運転者情報取得部と、移動装置の周囲情報を取得する環境情報取得部と、移動装置の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報をシステムに入力する引き継ぎ断念入力部と、環境情報取得部の取得する情報に基づいて、自動運転から手動運転への切り替え地点を確認し、切り替え地点に到達する前に運転者に手動運転復帰要求通知を実行するデータ処理部を有し、データ処理部は、さらに、引き継ぎ断念入力に応じて最適化した方法で車両の退避処理を実行する。
本構成により、車両の運転者からの手動運転への切り替え拒否の申請に応じて車両の減速や停止等の退避制御を実行する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0021】
【
図1】本開示の移動装置の一構成例について説明する図である。
【
図2】本開示の移動装置の表示部に表示されるデータの一例について説明する図である。
【
図3】本開示の移動装置の実行する処理について説明する図である。
【
図4】本開示の移動装置の実行する処理について説明する図である。
【
図5】本開示の移動装置における運転者の行動例について説明する図である。
【
図6】運転者の保持する端末に対するデータ表示例について説明する図である。
【
図7】運転者の保持する端末に対するデータ表示例について説明する図である。
【
図8】本開示の移動装置の構成例について説明する図である。
【
図9】本開示の移動装置の構成例について説明する図である。
【
図10】本開示の移動装置のセンサ構成例について説明する図である。
【
図11】本開示の移動装置の実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を示す図である。
【
図12】自動運転の動作シーケンスの一例について説明するフローチャートを示す図である。
【
図13】運転者により目的地が設定されることで決定された自動運転可否区間が斑に設定され、または発生した走行ルートの一例を示す図である。
【
図14】走行ルートにおける走行区間表示のための情報処理を説明するための図である。
【
図15】最終的に表示される走行区間表示の一例を示す図である。
【
図16】時間経過に伴う走行区間表示の変化例(スクロール例)を示す図である。
【
図17】タブレット端末機器(以下単に「タブレット」と記す)の画面上に表示される走行ルートにおける走行区間表示の一例を示す図である。
【
図18】運転者が実際にタブレットを用いて2次タスクを実行している状態の一例を示す図である。
【
図19】第2区間に新たに注意走行区間Sdが発生し、点滅表示で運転者に警告している状態を示す図である。
【
図20】タブレットの画面上に小ウインドウがポップアップ表示されている状態を示す図である。
【
図21】本開示の情報端末の利用構成例について説明する図である。
【
図22】本開示の情報端末の利用構成例について説明する図である。
【
図23】本開示の移動装置内の情報処理装置の構成例について説明する図である。
【
図24】観測値に相当する可観測評価値と復帰遅延時間(=手動運転復帰可能時間)の複数の関係情報(観測プロット)の分布例と復帰成功率について説明する図である。
【
図25】自動運転モードにおいて運転者が実行している処理(2次タスク)の種類に応じた手動運転復帰可能時間について説明する図である。
【
図26】自動運転から手動運転への移行完了までの残存猶予時間について説明するグラフを示した図である。
【
図27】運転者の異なる初期状態に応じた状態変化の推移と推移タイミングの例について説明する図である。
【
図28】ルート情報取得処理のシーケンス例について説明するフローチャートを示す図である。
【
図29】運転者情報取得処理のシーケンス例について説明するフローチャートを示す図である。
【
図30】ルート情報と運転者情報の取得データに基づいて生成されるデータについて説明する図である。
【
図31】本開示の移動装置内の情報処理装置の実行する処理シーケンスの一例について説明するシーケンス図である。
【
図32】本開示の移動装置内の情報処理装置の実行する処理シーケンスの一例について説明するシーケンス図である。
【
図33】本開示の移動装置内の情報処理装置の実行する処理シーケンスの一例について説明するフローチャートを示す図である。
【
図34】本開示の移動装置内の情報処理装置が取得するLDM(ローカルダイナミックマップ)の一例について説明する図である。
【
図35】本開示の移動装置内の情報処理装置の実行する処理シーケンスの一例について説明するフローチャートを示す図である。
【
図36】本開示の移動装置内の情報処理装置の実行する処理シーケンスの一例について説明するフローチャートを示す図である。
【
図37】本開示の移動装置内の情報処理装置の構成例について説明する図である。
【
図38】情報処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0022】
以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.移動装置と情報処理装置の構成と処理の概要について
2.移動装置の具体的な構成と処理例について
3.自動運転モードから手動運転モードへのモード切り替えシーケンスについて
4.自動運転の動作シーケンス例について
5.手動運転への引き継ぎが困難である場合の対応処理を行う構成について
5-1.手動運転への引き継ぎが困難である場合の具体例について
5-2.手動運転への引き継ぎが困難である場合の対応を実行する装置の構成例について
5-3.走行ルート情報に基づく手動運転復帰地点の検出、および手動運転復帰時間推定に基づく手動運転復帰必要時間算出処理の具体例について
5-4.運転者による手動運転引き継ぎ断念を許容した処理のシーケンスについて
5-5.運転者または同乗者が手動運転への引き継ぎ断念の意思表示を行った場合の処理について
5-6.手動運転切り替え地点接近時の処理例について
5-7.運転者または同乗者からの手動運転引き継ぎの断念(拒否)の入力に対する事前処理と事後処理について
5-8.引き継ぎ断念入力に対する処理を実行する情報処理装置の構成例について
6.情報処理装置の構成例について
7.本開示の構成のまとめ
【0023】
[1.移動装置と情報処理装置の構成と処理の概要について]
まず、
図1以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
【0024】
しかし、自動運転実行中に運転者が行う処理(2次タスク)は様々である。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
【0025】
運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
【0026】
例えば、自動運転実行中に運転者が前を向いて道路を見ているような場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
【0027】
しかし、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、例えば、運転者の覚醒度に応じて手動運転への切り替え通知タイミングの制御を行う。
【0028】
図1以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
図1は、本開示の移動装置の一例である自動車10の一構成例を示す図である。
図1に示す自動車10に本開示の情報処理装置が装着されている。
【0029】
図1に示す自動車10は、手動運転モードと、自動運転モードの2つの運転モードによる運転が可能な自動車である。
手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者(ドライバ)20による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等である。
【0030】
なお、
図1は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。
【0031】
図1に示すように、自動車10は、データ処理部11、運転者情報取得部12、環境情報取得部13、通信部14、通知部15を有する。
運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
【0032】
環境情報取得部13は、自動車10の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、GPSによる位置情報、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からの周囲の障害物情報等である。
【0033】
データ処理部11は、運転者情報取得部12の取得した運転者情報や、環境情報取得部13の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部15を介して通知する処理を実行する。
【0034】
この通知処理のタイミングは、例えば運転者情報取得部12、環境情報取得部13を入力して算出した最適なタイミングとする。
すなわち、運転者20が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば5秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の20秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。
【0035】
通知部15は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
通知部15を構成する表示部に対する警告表示の例を
図2に示す。
【0036】
図2に示すように、表示部30には、以下の各表示がなされる。
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
【0037】
運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。
【0038】
警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。なお、本実施例では表示画面全体を用いているが、画面の一部表示でもよい。
「手動運転に切り替えてください」
なお、この例は説明を明文化した例であるが、このようなテキスト表示に限らず、例えばピクトグラムなどシンボルによる表示を行ってもよい。
【0039】
なお、
図1に示すように、自動車10は通信部14を介してサーバ30と通信可能な構成を持つ。
例えば、データ処理部11における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ30において行うことが可能である。
この具体例については後述する。
【0040】
図3は、本開示の移動装置や情報処理装置が実行する処理の具体例を示す図である。
図3には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の2つの例の通知処理例を示している。
(a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
(b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
【0041】
(a)の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
【0042】
(b)の例は、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
【0043】
さらに、例えば宅配車両のように荷物室を有し、運転者が自動運転実行中に荷物室へ移動して作業を行うことが可能な車両では、手動運転への切り替え要求を行う通知タイミングは、例えば
図4に示すように以下の3種類の場合によって異なる設定とすることが好ましい。
(a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
(b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
(c)自動運転実行中の運転者が運転席から離れている場合の通知処理
【0044】
(a)の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
【0045】
(b)の例は、運転者が自動運転実行中に居眠りをしているような場合の例であり、この場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
【0046】
(c)の例は、運転者が自動運転実行中に運転席を離れて作業をしているような場合の例であり、このような場合、運転者は運転席に戻るまでに時間を要することになる。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者が運転席に戻る前に手動運転区間に差し掛かってしまう可能性がある。従って、このように運転者が運転席を離れている場合には、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
【0047】
また、自動車10に乗車している運転者(ドライバ)20が、運転席を離れている場合には、運転席の通知部(表示部)15に先に
図2を参照して説明したような表示を行っても運転者20は気づくことができない。
これを解決するため、運転者(ドライバ)20が腕に装着した情報端末50、例えば
図5に示すような腕時計型の情報端末50を介して通知、情報提供を行う。情報端末50は、
図2を参照して説明したと同様の表示データの表示処理を行うとともに、さらに、自動車10が走行中の道路の区間(自動運転区間、手動運転区間)の接近情報等を表示する。さらに、アラーム出力、音声出力、バイブレーション機能を有し、様々な通知、警告を運転者20に知らせる。
【0048】
図5は、情報端末50の利用例を示す図である。自動車10に乗車している運転者(ドライバ)20は、自動車10が自動運転実行中に、
図4(a)に示すように運転席にいる場合もあるが、
図4(b)に示すように、運転席を離れ、荷物室で作業を行っている場合もある。しかし、運転者20は、常時、情報端末50を腕に装着しており、情報端末50に表示される表示情報や、出力される音声、アラーム、バイブレーション等に気づくことが可能となる。また、これら装着型情報端末50は車両の運転者情報取得部12と連動し、また応答確認手段として応答入力機能を備える。この構成により通知や警告の認知応答が可能となる。また、後述する早期手動運転復帰に対する拒否通知を車両システムへ発信することも可能となる。
【0049】
図6は、情報端末50の表示情報の一例を示す図である。
図6に示す例は、先に
図2を参照して説明した通知部(表示部)15の表示例と同様の表示例を示している。情報端末50に、以下の各表示がなされる。
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
運転者20は、どこにいてもこの表示を確認することが可能となる。
さらに、
図7に示すようなタブレット型の情報端末50を利用して通知、情報提供を行う構成としてもよい。
【0050】
[2.移動装置の具体的な構成と処理例について]
次に、
図8以下を参照して、本開示の移動装置の具体的な構成と処理例について説明する。
図8は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
【0051】
移動装置100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、および、自動運転制御部112を備える。
【0052】
入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、および、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、または、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
【0053】
なお、以下、移動装置100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
【0054】
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置100の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置100の各部に供給する。
【0055】
データ取得部102は、移動装置100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置100の各部に供給する。
【0056】
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
【0057】
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
【0058】
例えば、
図9は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
【0059】
フロントノーズに備えられる撮像装置7910および車室内のフロントガラスの上部に備えられる撮像装置7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像装置7912,7914は、主として車両7900の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置7918は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
【0060】
なお、
図9には、それぞれの撮像装置7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像装置7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像装置7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパまたはバックドアに設けられた撮像装置7916の撮像範囲を示す。例えば、撮像装置7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
【0061】
車両7900のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ7920,7922,7924,7926,7928,7930は、例えば超音波センサまたはレーダであってよい。車両7900のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ7920,7926,7930は、例えばLiDARであってよい。これらのセンサ7920~7930は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
【0062】
図8に戻って各構成要素の説明を続ける。データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
【0063】
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様な可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部155で復帰通知タイミングの算出に用いる。
【0064】
図10は、データ取得部102に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部102は、運転者の位置、姿勢を検出するための検出器として、ToFカメラ、ステレオカメラ、シート・ストレイン・ゲージ(Seat Strain Gauge)等を備える。また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、顔認識器(Face(Head) Recognition)、ドライバ・アイ・トラッカー(Driver Eye Tracker)、ドライバー・ヘッド・トラッカー(Driver Head Tracker)等を備える。
【0065】
また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、生体信号(Vital Signal)検出器を備えている。また、データ取得部102は、運転者認証(Driver Identification)部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
【0066】
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置100の各部から供給されるデータを送信したり、受信したデータを移動装置100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
【0067】
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、または、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(および、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、または、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
【0068】
さらに、例えば、通信部103は、基地局またはアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバまたは制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者もしくは店舗の端末、または、MTC(Machine Type Communication)端末)との通信を行う。
【0069】
さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、および、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部102のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
【0070】
車内機器104は、例えば、搭乗者が有するモバイル機器(タブレット、スマートフォンなど)もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
【0071】
出力制御部105は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)および聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
【0072】
出力部106は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
【0073】
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
【0074】
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
【0075】
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
【0076】
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等)等を備える。
【0077】
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部111は、移動装置100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
【0078】
自動運転制御部112は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、および、動作制御部135を備える。
【0079】
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143を備える。
【0080】
車外情報検出部141は、移動装置100の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
【0081】
また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
【0082】
車外情報検出部141が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップ(LDM)がインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報を構成する更新される新鮮なローカルダイナミックマップ(LDM)はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部141は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
【0083】
車内情報検出部142は、移動装置100の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。
【0084】
さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
【0085】
そこで、車内情報検出部142には主に大きな2段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
【0086】
検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部171等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速させることで引継ぎ限界に到達する到達時間を稼ぎだすことができる。引継ぎ限界に到達する到達時間を稼ぎだすことで、システムによる事象対処に時間的余裕が発生し、安全確保のための対処が可能となる。ただし、後述する通りむやみな減速や徐行は渋滞誘発要因や追突リスクを上げるため適用は制限される。
【0087】
車両状態検出部143は、移動装置100の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135の緊急事態回避部171等に供給する。
【0088】
自己位置推定部132は、車外情報検出部141、および、状況分析部133の状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。
【0089】
自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
【0090】
状況分析部133は、自車および周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、状況予測部154および安全性判別部155を備える。
【0091】
マップ解析部151は、自己位置推定部132および車外情報検出部141等の移動装置100の各部からのデータまたは信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
【0092】
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
【0093】
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
【0094】
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
【0095】
認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
【0096】
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132および状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
【0097】
状況予測部154は、マップ解析部151、交通ルール認識部152および状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
【0098】
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
【0099】
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152および状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
【0100】
安全性判別部155は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部153等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
【0101】
ルート計画部161は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
【0102】
行動計画部162は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
【0103】
動作計画部163は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、および、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172および方向制御部173等に供給する。
【0104】
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、および、方向制御部173を備える。
【0105】
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172および方向制御部173等に供給する。
【0106】
加減速制御部172は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。なお、緊急事態が発生し得るケースは主に2つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、運転者の緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
【0107】
方向制御部173は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163または緊急事態回避部171により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
【0108】
[3.自動運転モードから手動運転モードへのモード切り替えシーケンスについて]
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図11は、自動運転制御部112における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
【0109】
ステップS1は、運転者が運転操舵から完全離脱の状態にある。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの2次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
【0110】
これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した2次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
【0111】
ステップS2は、先に
図2を参照して説明したような手動運転復帰要求通知のタイミングである。運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部112では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の2次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップS1の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。
【0112】
つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動などによる警告がなされる。
【0113】
ステップS3では、運転者が、着座復帰したか確認される。ステップS4では、顔やサッケード等の眼球挙動解析により、運転者の内部覚醒度状態が確認される。ステップS5では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップS6では、自動運転から手動運転への引継ぎが完了した状態となる。
【0114】
[4.自動運転の動作シーケンス例について]
次に、
図12に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
図12に示すフローチャートは、移動装置の100を実行する自動運転の動作シーケンスを説明するフローチャートである。
【0115】
まず、ステップS11において、運転者認証が行われる。この運転者認証は、パスワードや暗証番号などによる知識認証、あるいは顔、指紋、瞳の虹彩、声紋などによる生体認証、さらには知識認証と生体認証が併用されて行われる。このように運転者認証が行われることで、複数の運転者が同一の車両を運転する場合であっても、各運転者に対応付けて通知タイミングを決定するための情報の蓄積行うことが可能となる。
【0116】
次に、ステップS12において、運転者により入力部101が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。
【0117】
なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定などを行ってもよく、さらにはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のLDM情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ(LDM)情報などを更新取得して乗車時やその前にでもコンシエルジュ的に実際の走行アドバイス表示などをさらに行ってもよい。
【0118】
次に、ステップS13において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が2次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。
【0119】
この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。
【0120】
次に、ステップS14において、LDM更新情報の取得が開始される。このLDM更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップS15において、走行が開始される。次に、ステップS16において、自車の位置情報と取得LDM更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
【0121】
走行を伴い相対的に接近する前方の走行環境と該当自車両の引き継ぎに必要タイミング等の情報の提示手段は、スクロール手段に限定する必要ななく、その他方法としては差し迫る時間間隔が直感的、明示的手段で且つ誤認少なく何時運転へ復帰に取り掛かるべきか知る事が出来る手段が好ましい。例えば、砂時計を模した時間提示方法や、クロノグラフ形式の腕時計形態で引継ぎ残存時間を利用者装着機器へ直接提示する手段を介してもよい。
【0122】
次に、ステップS17において、運転者状態のモニタリングがされる。次に、ステップS18において、事象変化対応処理が行われる。この事象変化対応処理には、走行ルート中に既に存在している自動運転モードと手動運転モードとの切り替え地点あるいは注意走行区間が迫ってきた場合に対応するためのモード切り替え処理、走行ルート中にモード切り替え地点あるいは注意走行区間の運転者介在必要区間が新たに発生した場合に対応するための事象発生処理などが含まれる。以降、ステップS16からステップS18の処理が適宜繰り返される。
【0123】
「走行区間表示の詳細」
図13は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Saと、手動運転区間Sbと、自動運転から手動運転への引継ぎ区間Scと、自動運転からの注意走行区間Sdが存在する。ここで、引継ぎ区間Scは手動運転区間Sbの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Sdは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま減速して走行が可能な区間である。
【0124】
図示の例において、自動運転可能区間Saは緑色で示され、手動運転区間Sbは赤色で示され、引継ぎ区間Scおよび注意走行区間Sdは黄色で示されている。なお、便宜上、各色は別々の模様で表している。
【0125】
センターインフォーメーションディスプレイやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。自動運転制御部112は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報処理をする。
【0126】
図14(a)は、走行ルートの各区間を現在地点からの移動距離軸で一定のスケールで表している。
図14(b)は、各地点における平均的道路交通の流れ速度v(t)を表している。
図14(c)は、移動距離軸で表されている各区間を、速度v(t)を用いて時間軸に変換したものである。これにより、走行ルートの各区間は、現在地点からの到達予測時間軸で表されるものとなる。つまり、走行ルートの物理的距離を該当区間毎の平均速度で除算した時間軸で表す事が出来る。
【0127】
この実施の形態においては、走行区間表示される全区間を、
図14(d)に示すように3つの区間に分割し、各区間の時間軸を変化させている。すなわち、現在地点から第1の地点(時間t0、例えば10分程度)までの第1の区間は、時間リニア表示直近区間として、第1の時間軸で表示する。例えば、時間t0は、一般的な運転者が2次タスクを終了して運転復帰するまでに必要十分な時間に設定される。走行により接近する直近区間はあたかも一定速度で進む地図上に示すのと同等の視覚的直感効果が有るため、運転者は事象接近に伴う的確な運転復帰の準備を開始でき、ある程度正確に復帰を開始するポイントが感覚的に把握できるメリットがある。つまりこの区間の表示目的は運手者の的確復帰ポイントの開始判断情報を利用者に提供することにある。
【0128】
また、第1の地点(時間t0)から第2の地点(時間t1、例えば1時間程度)までの第2の区間は、時間の逆数表示区間として、第1の時間軸からこの第1の時間軸に対して所定の比率で縮小された第2の時間軸まで順次変化した時間軸で表示する。この第2の区間の表示目的は、主に先の第1の区間と同等スケール倍率で表示をすると、狭い表示スペースに長期期間の表示が困難となるため、より長期期間の道路状況を狭い表示で運転者に正確に提供する工夫となる。こうすることで、運転者は走行に伴いある一定の先の区間で何処までの地点は運転介在が求められないで済むかを把握が容易に出来る様になり、2次タスクへの従事を計画的に行えるメリットがある。運転介在のメリハリが付き、また第三者とのやり取りに伴う2次タスクなどでは運転者の2次タスクからの解放プラニング等での重要な情報呈示の役割を果たす。
【0129】
ここで、
図14(d)において、この第2の表示区間の設定方法について記述する。三角形の高さをh0としたとき、その先端からhだけ手前の地点の時間tは、以下の(1)式で求められる。
t=t0*h0/h ・・・(1)
【0130】
また、第2の地点(時間t1)における第2の時間軸は、第1の時間軸に対して、hs/h0の比率で縮小されたものとなる。例えば、hs=h0/8である場合、縮小率は、1/8ということになる。
【0131】
以上に示す第2の表示区間の表示は、車速が一定で走行している場合であれば、地図上の走行直線伸張表示区間を進行方向に斜め傾けた地図を見た表示、または道路平面前方を斜めみした状態に相当する。言い換えれば、この表示区間の視覚的効果が表示像高位置で遠近が直感的にわかるため、画面上に正確な位置表示の目盛等を表示しなくとも感覚的距離が把握容易にできる表示とも言える。そして遠方の区間は縮小されるが、走行で直ぐ到達する地点ではないため、大凡の予測は重要となるが、近傍点程厳密な到着時刻情報を運転者が感覚的に把握する必要ではないため、2次タスク実行計画をする上でも好適である。
【0132】
また、第2の地点(時間t1)から第3の地点(時間t2)までの第3の区間は、時間リニア表示遠方区間として、第2の時間軸(縮小率hs/h0)で表示する。このように3つの区間に分割して表示することで、運転者は、限られた表示スペースで、時間的に直近の区間情報の詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。なお、第2区間の表示形態のままで遠方部を表示すると、人の視覚分解能、更にはシステムの表示分解能限界以下となり、2次タスクの計画判断に必要な情報が判別できなくなり、表示機能の意味が失われる。そこで、直感的に時間の区間感覚が十分把握でき、必要な介在区間、不必要区間区分が適切に表示される程度の段階で表示スケールの縮小を終え、それ以降の区間はまた一定スケールに戻した表示を行うのが最も効果的は表示となる。
【0133】
なお、車両制御システム100は、時間t0、t1、t3のデフォルト値を備えている。長距離運転と近距離運転とで時間t0、t1、t3の値を別にすることも考えられるので、デフォルト値は1つに限定されるものではなく、複数種類を備えていて、運転者(ユーザ)あるいはシステムが走行ルートに応じて選択的に用いるようにされてもよい。また、時間t0、t1、t3の値を、運転者(ユーザ)が任意に設定できるようにすることも考えられる。
【0134】
図15(a),(b)は、最終的に表示される走行区間表示の一例を示している。なお、矢印の長さにより、時間軸がリニアであるか否か、さらには時間軸の縮小率の変化が示されている。
図15(a)の場合には、第1の区間、第2の区間および第3の区間の全ての区間が第1の幅のままで表示されている。
【0135】
一方、
図15(b)の場合には、現在地点から第1の地点(時間t0)までの第1の区間は、第1の幅で表示され、第1の地点(時間t0)から第2の地点(時間t1)までの第2の区間は、第1の幅からこの第1の幅に対して狭い第2の幅まで順次変化した幅で表示され、第2の地点(時間T1)から第3の地点(時間T2)までの第3の区間は、第2の幅で表示される。これにより、運転者は、第1の区間に対する第2の区間および第3の区間の時間軸の縮小の程度を視覚的に認識することが可能となる。つまり、
図14での表示形態は進行方向の縮小率のみを配慮した表示であるが、さらに表示情報の進行方向に対する横断横幅を擬似的に遠近に合わせて幅を変える事で、道路や地図の進行に沿って無限方向に向かって見るのと同じ遠近効果が得られ、運転介在必要区間の分布が画面を一瞬みるだけより直感的に把握が容易となる。特に、第2の区間のみを反時計代わりに回転して見た場合、あたかも一定速度で走行した場合の道路前方の道路幅と各該当地点の到達時間に匹敵するので、正確な位置メモリを目視判断しなくても、各地点までの到達実感が直感的に把握でき、時間配分が可能となる表示形態といえる。
【0136】
なお、例えば第3の区間のように縮小率hs/h0が小さな部分では、短い時間長の区間をそのままの時間長で表示すると、その区間が非常に細く表示され、運転者の認識が困難となることが予想される。そのため、運転者介在区間(手動運転区間、引き継ぎ区間、注意走行区間)が実際には一定時間長以下である場合であっても、一定時間長で表示するようにされる。この場合、例えば、引き継ぎ区間と手動運転区間が連続している場合、引き継ぎ区間の表示は省略されることもある。
図15(a),(b)において、第3の区間の最初の手動運転区間Sbの表示は、そのような状態を示している。これにより、時間軸が大きく縮小されている第3の区間において、短い時間長の運転者介在必要区間を運転者が認識可能に表示することが可能となる。
【0137】
また、第3の区間のように縮小率hs/h0が小さな部分では、手動運転区間Sbが間欠的に短い周期で連続する場合、全体が繋がった手動運転区間Sbとして表示される。
図15(a),(b)において、第3の区間の2番目の手動運転区間Sbの表示は、そのように繋がれて表示された状態を示している。このように表示された手動運転区間Sbは、実際には、
図15(c)に示すように、手動運転区間Sbの他に、短い期間の引継ぎ区間Sdおよび自動運転可能区間Saが含まれている。なお、後述するように、タブレット等に走行区間表示がされている状態で当該地点が例えばダブルタッチされることで、詳細表示が可能とされる。
【0138】
上述の走行ルートにおける走行区間表示は、自車の位置情報と取得LDM更新情報に基づいて、更新されていく。これにより走行区間表示は、時間経過に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
図16(a)~(d)は、時間経過に伴う走行区間表示の変化例を示している。この例は、第2の区間が先細りに表示されている例を示しているが、全ての区間が同じ幅で表示される場合も同様である。
【0139】
この場合、第1の区間では、各区間の移動が早い。また、第2の区間では、第3の区間側から第1の区間側にいくほど、時間軸の縮小が小さくされているので、各区間の移動が早くなっていく。また、第3の区間では、時間軸の縮小が大きくなっているので、各区間の移動は遅い。
【0140】
図17(a),(b)は、タブレット182の画面上に表示される走行ルートにおける走行区間表示181の一例を示している。
図17(a)は、タブレット182を縦長で使用する場合の例である。この場合、走行区間表示181は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット182で行われる2次タスクの実行画面である作業ウインドウと並列に表示される。
図17(b)は、タブレット182を横長で使用する場合の例である。この場合も、走行区間表示181は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット182で行われる2次タスクの実行画面である作業ウインドウと並列に表示される。なお、図示の例では、タブレット182の画面上に走行区間表示181が折り曲げた状態で配置されているが、配置スペースが十分にとれる場合には直線的に配置することも考えられる。
【0141】
図18は、運転者が実際にタブレット182を用いて2次タスクを実行している状態の一例を示している。この例は、タブレット182は横長で使用されている。タブレット182の画面には、左辺から上辺に沿って折れ曲がった状態で走行区間表示181が表示されている。なお、この走行区間表示181を画面上に出すか否かを運転者(ユーザ)の操作で選択的に行うようにされてもよい。その場合、例えば、走行区間表示181が画面上に出ていない場合に、運転者介在必要区間が一定時間内に入ってきて、運転者に通知する場合には、自動的に、走行区間表示181が画面上に出てくるようにされてもよい。
【0142】
タブレット182の画面上に走行区間表示181が表示されている状態で、その表示区間中に新たに運転者介在必要区間が発生した場合、その新たに発生した運転者介在必要区間の表示が新たに発生する。この場合、この新たに発生した運転者介在必要区間は、他とは識別可能に、例えば一定時間の点滅表示が行われる。この点滅表示は、注意アラーム音を伴ってなされてもよい。ここで、新たに運転者介在必要区間が発生した場合には、注意走行区間や手動運転区間が新たに発生した場合の他、注意走行区間から手動運転区間に変更になった場合も含まれる。
【0143】
図19は、第2区間に新たに注意走行区間Sdが発生し、点滅表示で運転者に警告している状態を示している。なお、この場合、運転者がこの点滅表示されている注意走行区間Sdの表示箇所をタッチすることで、その点滅、つまり警告状態を停止することが可能とされてもよい。あるいは、運転者がこの点滅表示されている注意走行区間Sdの表示箇所をタッチすることで、小ウインドウがポップアップ表示され、承諾の画面タッチで、その点滅、つまり警告状態を停止することが可能とされてもよい。
【0144】
また、タブレット182の画面上に走行区間表示181が表示されている状態で、運転者(ユーザ)が任意の地点をダブルタッチして指定した場合、例えば、
図20に示すように、小ウインドウがポップアップ表示され、その地点に関連した表示がなされる。
【0145】
さらに、
図21に示すように、先に
図5や
図6を参照して説明した腕時計型の情報端末50に
図14~
図20を参照して説明したと同様の区間単位の色分け表示を行う構成としてもよい。
図21に示す例は、運転者により目的地が設定されることで決定された走行ルートに従った道路の自動運転区間、手動運転区間等の各区間の情報を表示した例である。表示部の周囲の0~9の数値は、現在時間からの経過時間0~9分を示している。表示領域全体で、現在時間(0)から10分後までの自動車の走行予定の区間情報を示している。
【0146】
走行ルートには、自動運転区間Saと、手動運転区間Sbが設けられ、さらに、自動運転から手動運転への引継ぎ区間Scや、自動運転区間Sa内に設定される注意走行区間Sd等が存在する。
【0147】
図21に示す表示例は、情報端末50の表示部に、以下の3つの異なる表示領域が設定されている。
(Sa)自動運転区間Sa(=緑色表示)
(Sc)引き継ぎ運転区間Sc(=黄色表示)
(Sb)手動運転区間Sb(=赤色表示)
【0148】
図21に示す表示例は、自動車のこれから10分間の走行予定を示している。すなわち、
(Sa)自動運転区間Sa(=緑色表示)を、現時点から0~6分10秒後まで走行する予定であり、その後、
(Sc)引き継ぎ運転区間Sc(=黄色表示)を、現時点から6分10秒後~8分40秒後まで走行する予定であり、さらに、その後、
(Sb)手動運転区間Sb(=赤色表示)を、現時点から8分40秒後に走行する予定であることを示している。
【0149】
なお、情報端末50は、自動車10内のデータ処理部11が自動車10の走行速度、あるいは自動車10の走行ルートにおける車両の平均速度情報に基づいて算出した各区間の走行予定時間情報を、通信部を介して受信して、表示を行う。
運転者20は、情報端末50の表示情報を見ることで、手動運転区間に侵入するまでの残り時間を確認することが可能となり、その時間に間に合うように荷物室21での作業を終えて、運転席に戻ることが可能となる。
【0150】
なお、
図21に示す例では、運転者20は、情報端末50の表示に基づいて、今から約8分40秒後に手動運転区間に侵入することを把握することが可能であり、それまでに運転席に戻るように作業を進行させることができる。
【0151】
また、
図21に示す情報端末50には、さらに矢印が表示される。この矢印は、手動運転復帰要求の通知、例えば、
図5に示す表示への切り替え、あるいは、アラーム出力や、バイブレーション起動を行い、運転者20に警告を通知する時間に設定される。この通知タイミングは、例えば、移動装置(自動車10)側において、運転者の覚醒度、または位置の少なくともいずれかの情報に基づいて決定する。決定した通知タイミング情報は情報端末50に送信される。矢印による通知の時刻表示は一例に過ぎず、色区分やメシュ表示、点滅フラッシュ等で視覚注意誘引機能を持たせるなど、時間間隔を視覚的提示出来れば手段を矢印に限定する必要はない。なお、移動装置において実行する最適な通知タイミングの算出処理については後述する。
【0152】
情報端末50は、移動装置から受信した通知タイミングにおいて手動運転復帰要求通知を実行する。すなわち、情報端末50は、移動装置が決定した通知タイミングにおいて、先に
図5を参照して説明した表示処理、あるいはアラーム出力、またはバイブレーション起動の少なくともいずれかの処理を実行する。なお、通知設定はユーザーによって変更や停止が可能である。
なお、本実施例では、情報端末50の表示部を円形状の表示部として示しているが、これは一例であり、表示部の形状は円形に限らず、楕円型、矩形型等、様々な設定が可能である。
【0153】
図22は、時間経過に伴う情報端末の表示データの変化例を示す図である。
図22には時間t1における情報端末50の表示情報と、その後の時間t2における情報端末50の表示情報の例を示している。
時間t2は、時間t1の約4分後の表示データの例を示している。
時間t2の表示データでは、手動運転区間Sb(=赤色表示)が現時点から約3分50秒後に走行する予定であることを示している。
運転者20は、時間t2の時点で、情報端末50の表示に基づいて、手動運転区間Sb(=赤色表示)が近づいていることを把握し、急いで作業を終えて、運転席に戻る準備を開始することができる。
なお、情報端末50にはアラーム出力機能や、バイブレーション機能を有しており、例えば、手動運転区間Sb(=赤色表示)までの残り時間が、予め規定した時間(例えば1分)になると、アラーム出力や、バイブレーション起動を行い、運転者20に警告を通知する。なおアラームやバイブレーションの起動時間は、ユーザーの設定によって変更や停止が可能である。
【0154】
[5.手動運転への引き継ぎが困難である場合の対応処理を行う構成について]
次に、運転者が手動運転への引き継ぎが困難である場合の対応処理を行う構成について説明する。
【0155】
以下に説明する構成は、自動運転から手動運転に切り替えを行う際に、運転者が完全に手動運転に切り替える自信がない場合に速やかにシステムに引き継ぎ断念を表明することを可能とした構成である。
【0156】
自動運転中の車両が自動運転で走行ができない区間に侵入する際に、運転者の手動運転能力が回復しておらず、手動運転への引き継ぎ不全が発生することがある。このような場合、自動運転システムは車両を路肩等に緊急停止する等の退避処理を実行することが必要となる。
【0157】
しかし、例えば高速で流れる車両フローの中で一部の車両でも急減速をすると、周囲車両の走行に影響を及ぼし、渋滞の発生、あるいは減速に対する追従制動が間に合わず追突などの2次被害を誘発する可能性がある。このような影響を最小化するためには、緩やかな減速や早期の減速開始が必要となる。
【0158】
現在の自動運転技術は、自律的に環境を認識して環境に応じた安全走行を実現するレベルにはまだ到達していない。しかし、一定の環境が整備された区間であれば自動運転の利用は可能である。
車の利点は任意の異なる2つの地点を車という同一交通手段で移動できることにある。2つの地点の間を全て自動運転で走行するためには、その2地点間の道路が自動運転に適した環境の整備された区間であることが必要となる。
【0159】
しかし、すべての道路に自動運転が可能な環境を整備するには膨大な時間やコストが必要であり、しばらくの間は、自動運転と手動運転の切り替えながら走行することが必要となると推定される。つまり、任意の2つの地点を車と言う手段を用いて移動し、その途中途中で自動運転が利用可能な場合、車と退避上等で一旦止めて異なるモードで走行し直さない限り、走行中に引継ぎをスムーズに行う必要が発生する。
【0160】
この自動運転と手動運転の切り替えが走行時にスムーズに実行されないと渋滞や追突といった事態を招く恐れがある。例えば自動運転区間から手動運転区間の切り替え地点が接近している場合、車両のシステムや運転者は、切り替え地点の到達前に完全な手動運転が実行できる状態を整える必要がある。運転者やシステムの準備が出来ていないまま次の区間に侵入すると、車両に必要な制御がされなかったり、遅れたりし、不測の事態に的確な対処が出来ないリスクがある。
【0161】
切り替えの際に車両を停車させ、切り替えの準備が整ってから自動運転に切り替えたり自動運転から手動運転に切り替えたりする利用では利便性がとても悪くなる。つまり、自動運転を利用できる区間がある場合、その間の切り替えは適宜車両を停車させずに切り替えるのが望ましい形態と言える。
【0162】
手動運転区間に侵入する時点で、運転者は完全な手動運転が実行できる状態であることが必要となるが、これを確実に行わせるためには、自動運転走行中に運転者が手動運転で運転に復帰が可能な意識レベルであるかを車両のシステムが判定し、復帰が可能と判断した場合に車両の操舵を委ねるといった制御を行う必要がある。
【0163】
しかし、車両のシステムが100%正確に運転者の内部覚醒状態を把握ができるとは限らない。車両のシステムが自動運転区間を走行している間に、運転者が手動運転に復帰できないと判断した段階で、システムは車両を減速や徐行や停車する必要がある。この判断が遅れると、引き継ぎ地点に接近した段階で急停止する必要が発生し、後続車両の走行妨害、渋滞誘発要因、追突要因など様々な問題を発生させることになる。
【0164】
運転者が手動運転を開始する前の段階で運転復帰可能かを知る内部覚醒状態のレベルをシステムが判断するのは極めて難しい。例えば、稀な事象かもしれないが、眠りから覚めた運転者の思考判断は正常な運転が可能な状態に至っているとは限らない。場合によっては、その間の姿勢が悪く、体の一部が痺れているかもしれない。
【0165】
例えば、運転者が2次タスクに関わり、引き継ぎ通知を受けた後に、2次タスクから手動運転復帰への準備が不十分と運転者自身が判断することがある。
このような場合、早いタイミングで運転者が車両システムに対して手動運転の復帰断念、すなわち手動運転開始の拒否を表明できれば、車両システムは、この運転者の意思に応じて手動運転区間に接近する前の早いタイミングで様々な退避行動を実行することが可能となる。例えば、減速、徐行、停止や低影響度バイパスルート変更など、時間的猶予をもって対処することが可能となる。後続車への影響も避けることができる。
【0166】
このように運転者から車両システムに対して、手動運転復帰断念(拒否)の意思を入力可能とすることで、引き継ぎ不全による副次的悪影響を限定的に留めることが期待される。
【0167】
自動運転の利用が広く社会的に認知され、通常車両に自動運転を適用して利用するには、自動運転可能区間と手動運転必須区間の引き継ぎ地点で確実な引き継ぎがなされることが必要である。
しかし、運転者の体調や事情は様々であり、すべての運転者が引き継ぎ地点で確実な引き継ぎができる状態にあるという保証はない。本開示の構成は、このような現実を鑑みてなされたものであり、運転者から、手動運転の引き継ぎ拒否を許容することで、システム側での退避処理をスムーズに実行することを可能とするものである。
【0168】
現在、運転者がシステムの監視を行い、システム制御対処が困難な場合に運転者がシステムに代わり操舵復帰することを想定した自動運転、いわゆるレベル3の自動運転車両の導入が模索されている。
【0169】
しかし、レベル3の自動運転を連続して長時間に渡り利用し、システムが多様な状況下で自走運転のまま正常に操舵をこなしている状況を運転者が観察すると、運転者は自動運転中の運転監視の必要性を感じなくなることが予想さる。
レベル3の自動運転を利用中、運転者にシステムの常時監視を制度上で義務化したとしても、運転者は監視の必要性を感じなくなる。つまりレベル3の自動運転のように、本来、運転者がシステムの限界を補うことを想定したレベルでも、人が運転に介在しない状態が長期間、続くと、運転者は監視の重要性を忘れてしまう。その結果、システムが運転者に手動運転への引き継ぎ要請を行っても、運転者が復帰できる意識状態を維持しているとは限らない状況になる。
【0170】
このような問題を回避するためには、システムは運転者の状態を常時監視し、どの段階で復帰の要請を行えば的確なタイミングで引き継ぎが行えるか判断することが必要となる。しかし、運転者を電極や機器に束縛することなく脳内の思考活動をシステムがモニタリングすることが可能な観測手段は限られ、運転者の復帰準備状態の観測は限られた運転者の外部行動等を通してのみ可能である。
【0171】
例えば、運転者自身が手動運転への復帰が困難と自覚している場合でも、車両システムのモニタリングのみでは運転者の脳内の思考内容まで検出することはできず、運転者が手動運転を拒否したいと考えていることを把握することはできない。
【0172】
そこで、運転者が手動運転の復帰を断念、拒否する意思があることを示す入力を車両システムに対して実行可能とする。この処理を可能とすることで、システム側で早期に退避行動を開始することが可能となる。
【0173】
例えば、車両システムが、運転者から手動運転の復帰を断念、拒否する意思の入力を検出した場合、システムは、その入力を検出した時点で、車両をゆるやかに減速し、停止する処理、あるいは迂回路への退避処理、駐車場への退避、路側帯への退避等の様々な退避制御を行うことが可能となる。この結果、誘発事故等の予防や被害低減が可能となる。
【0174】
ただし、運転者が安易に手動運転拒否を利用すると、システムによる退避処理が頻発し、減速による渋滞等、周囲車両の走行に支障を発生させる可能性がある。従って、運転者による手動運転拒否の申告は一定の制限下でのみ許容する設定とすることが望ましい。
【0175】
例えば、システムが運転者からの引き継ぎ断念の要請を受けた場合、引き継ぎ限界点までの猶予時間に応じてまず減速モードに移行し、さらに後続車へ通知する。さらに運転者に減速を通知して、減速通知に対しても最終的な手動運転への復帰が見込めないかを再確認する処理を行ってもよい。すなわち減速モードにより発生した時間的猶予により引き継ぎが実行できる見込みがあるかを再確認するため、引き継ぎ断念の解除を入力させる設定としてもよい。
【0176】
以下では、運転者が手動運転への引き継ぎが困難である場合の対応処理を行う構成について、以下の項目順に、順次、説明する。
5-1.手動運転への引き継ぎが困難である場合の具体例について
5-2.手動運転への引き継ぎが困難である場合の対応を実行する装置の構成例について
5-3.走行ルート情報に基づく手動運転復帰地点の検出、および手動運転復帰時間推定に基づく手動運転復帰必要時間算出処理の具体例について
5-4.運転者による手動運転引き継ぎ断念を許容した処理のシーケンスについて
5-5.運転者または同乗者が手動運転への引き継ぎ断念の意思表示を行った場合の処理について
5-6.手動運転切り替え地点接近時の処理例について
5-7.運転者または同乗者からの手動運転引き継ぎの断念(拒否)の入力に対する事前処理と事後処理について
5-8.引き継ぎ断念入力に対する処理を実行する情報処理装置の構成例について
【0177】
(5-1.手動運転への引き継ぎが困難である場合の具体例について)
例えば自動運転中の運転者は、睡眠中である場合、ディスプレイを見ながら作業中である場合、荷物室で荷物の仕分けをしている場合等、様々な状態にある。
このような状態で、自動運転可能区間から手動運転区間への切り替え地点が近づいていることを認知しても、その切り替え地点までに手動運転に復帰できない、あるいはしたくないといった状況が発生する可能性がある。
以下、このような場合の対処方法について説明する。
【0178】
車両が完全な自動運転状態にある場合、運転者に対する手動運転への復帰が求められる事象には大きく分けると以下の2通りの事象がある。
(1)予定された引き継ぎ事象
(2)突発的引き継ぎ事象
【0179】
(1)予定された引き継ぎ事象は、例えば運転者が運転開始前にナビシステム等を用いて設定した走行路上の予め設定された切り替え地点、すなわち、自動運転走行可能区間と自動運転の許容されない手動運転走行区間との切り替え地点で発生する引き継ぎ事象である。
【0180】
運転者は、走行開始時に、自動運転車両のシステム(情報処理装置)に出発地と目的地の2地点を設定する。経由地や、有料道路の利用設定や、完全自動運転の利用設定等も可能である。
システムは、設定情報に従い、サーバから取得可能なLDM(ローカルダイナミックマップ)に基づいて、複数の選択可能な走行ルートを運転者に提示する。
運転者は提示された複数の走行ルートから1つの走行ルートを選択する。
この選択ルートが運転席のモニタ等に表示される。表示データは、自動運転走行可能区間と手動運転走行区間とを識別可能とした表示データとなる。
【0181】
走行開始後は、運転席のモニタ、あるいは運転者の操作するユーザー端末等のHMI(Human Machine Interface)を介して自動運転走行可能区間と手動運転走行区間との切り替え地点の接近が事前に通知される。
このように「(1)予定された引き継ぎ事象」は、運転者が引き継ぎ点の接近を事前に認知可能な状況で発生する事象である。
【0182】
これに対して、「(2)突発的引き継ぎ事象」は、突発的な要因によって発生する引き継ぎ点の変更や発生等の事象である。例えば突然の交通状況や天候の変化等が発生すると、自動運転走行可能区間と手動運転走行区間との切り替え地点が変更される場合がある。
【0183】
これらの情報は、サーバから取得可能なLDM(ローカルダイナミックマップ)にも反映されるため、これらの変更に関しても事前に運転者に通知することができる。
ただし、運転者は更新されたLDMを即座に確認する保証はなく、切り替え地点の変更を認識できない場合がある。
このような場合、運転者の認知していない切り替え地点に車両が接近するといった状況が発生する可能性がある。このような場合は、突発的引き継ぎ事象として緊急対処処理を行うことになる。
【0184】
このように、「(2)突発的引き継ぎ事象」とは、運転開始前の走行経路(旅程)設定時には予見できなかった事象である。なお、自動運転走行可能区間と手動運転走行区間との切り替え地点の変更は、具体的には、例えば以下のような場合に行われる。
(a)インフラ設備により検出された道路環境変化の発生
(b)旅程途中で発生した事故等
(c)LDM整備専用車(プローブカー)、バス、タクシー等の順公共サービス車両からの提供情報に基づくLDMの情報更新
(d)一般車両等のLDM整備非専用プローブカーからの情報提供に基づくLDMの情報更新
(e)先導走行車両による定常的なLDMの情報更新
(f)偶発的通過先行車両による道路状況のマニュアル通報に基づくLDMの情報更新
(g)偶発的通過先行車両による道路状況の自動通報に基づくLDMの情報更新
(h)車車間通信(V2V通信)情報に基づくLDMの情報更新
【0185】
LDM(ローカルダイナミックマップ)を更新するサーバは、例えば上記(a)~(h)のような場合に、LDMを更新し、自動運転走行可能区間と手動運転走行区間との切り替え地点の変更を行うことがある。サーバにおいて更新されたLDMは各車両に提供される。しかし、更新情報を運転者が確認する前に、自動運転走行可能区間と手動運転走行区間との切り替え地点が接近する場合もある。
このような場合には、新たな切り替え地点の発生等の通知を行うためのユーザー端末等に対する表示や警報の出力を行うことが好ましい。
【0186】
なお、このような予定外の突発事象の発生時の対応は一律ではなく、状況に応じて変更することが好ましい。
例えば以下のような対応である。
1.危険物搭載車両等の場合、安全のために、早期の手動運転への復帰や、早期の徐行運転開始等の制御を行う。
2.LDM情報に基づいて走行経路の先に通行幅の狭い道路、カーブ多発等の自動運転困難区間が発生することが予め分かっている状況では、なるべく早い段階で手動運転への切り替えを完了させるように制御する。
3.駐車場等の緊急退避場所等の車両収容許容状態に応じて、対応を変更する。
【0187】
(5-2.手動運転への引き継ぎが困難である場合の対応を実行する装置の構成例について)
次に、手動運転への引き継ぎが困難である場合の対応を実行する装置の構成例について説明する。
【0188】
図23は、移動装置に搭載された情報処理装置200の一部構成を示すブロック図である。手動運転への引き継ぎが困難である場合の対応を実行する装置構成を示すブロック図である。
【0189】
図23に示すように情報処理装置200は、運転履歴情報取得部201、生体情報取得部202、姿勢情報取得部203、LDM・車両依存復帰システム要求取得部204、データ処理部250、引き継ぎ断念入力部221を有する。なお、車両依存ファクタは、乗用車と貨物積載車、相乗りバスや液体物輸送タンクローリー車両などでは異なる制動ダイナミックスや車体幅で求めらる制御、制動距離や停車可能区域も異なるため、制御影響因子として区分して取り扱う。
データ処理部250は、復帰通知、警告タイミング算出部205、復帰予測対応遅延評価部206、復帰遅延対策処理部207、復帰時間猶予判定部208、緊急処理実行部209、復帰遅延ペナルティ生成、記録部210、運転者復帰特性辞書211、復帰特性学習部212を有する。
【0190】
運転履歴情報取得部201は、運転者の運転履歴情報を記憶部から取得する。なお、記憶部は図示していないが移動装置内の情報処理装置内部の記憶部である。
生体情報取得部202、姿勢情報取得部203は、運転者の生体情報や姿勢情報を取得する。これらは移動装置内に設けられたカメラを含む様々なセンサの取得情報に基づいて生成される。
LDM・車両依存復帰システム要求取得部204は、サーバから取得可能なLDM(ローカルダイナミックマップ)や、車両依存のシステム要求、例えば車種情報としての一般乗用車、バス、危険物積載車両等の情報、さらには、車両の前方の障害物検知を行うカメラやLiDAR等の距離センサの検出情報等を取得する。
【0191】
運転履歴情報取得部201、生体情報取得部202、姿勢情報取得部203、LDM・車両依存復帰システム要求取得部204、これらの各構成部の取得情報は、復帰通知、警告タイミング算出部205に入力される。
復帰通知、警告タイミング算出部205は、これらの入力情報に基づいて、運転者に対する手動運転への復帰要請の通知や、手動運転切り替え地点が近づいていることの通知や警告を行う。
なお、この通知や警告のタイミングは、運転者の状態等によって異なるタイミングとなる。
【0192】
データ処理部250の復帰通知、警告タイミング算出部205は、運転者復帰特性辞書211を用いた復帰特性学習部212での学習処理の結果を利用して、運転者の各状態に対応する通知や警告のタイミングを算出する。運転者復帰特性辞書211は複数の運転者に共通の辞書としてもよいが、各運転者固有の辞書を生成して用いる構成とすることが好ましい。
【0193】
復帰特性学習部212での学習処理は、例えば運転者毎の2次タスクの種類を観測情報に含めた学習処理として実行することが好ましい。。
この場合、現在運転している運転者の個人識別情報と、現在実行中の2次タスクの種類の情報を観測情報として利用した処理(手動運転復帰可能時間推定処理)が行われる。
【0194】
図24(a)は、観測値に相当する可観測評価値と復帰遅延時間(=手動運転復帰可能時間)の複数の関係情報(観測プロット)の分布の一例を示している。この例は、ある運転者のある2次タスクの種類に対応したものである。この複数の関係情報(観測プロット)から復帰遅延時間を算出するために、取得された観測値に対応した評価値方向に一定の幅を持つ領域(破線矩形枠で示している)内の関係情報(観測プロット)を抽出する。図中の点線cは、後述の
図24(b)の復帰成功率が0.95となる復帰遅延時間を、運転者の異なる観測値で観測した際の境界線を表している。
【0195】
点線cより長い、つまり早い猶予時間で運転者に自動から手動の復帰通知や警報を出す事により、運転者の自動から手動復帰が、0.95以上の割合で成功する事が担保される領域となる。なお、該当毎に自動運転から手動運転に運転者が正常に復帰する目標値(Request for Recovery Ratio)は、例えば、道路側によりインフラの必要性から定められ、個別の区間通過車両に提供される。
なお、走行道路に車両が停車しても周囲へ阻害要因とならないケースであれば、車両を停車してシステムが対処できる速度まで減速して対処をすればよい。通常なら走行道路での停車は必ずしも好ましいケースは多くないため、デフォルト設定として高い復帰率が望ましく、特に首都高速道路などの特定ルートでは敢えてインフラより更新情報が与えられなくとも極めて高い復帰成功率がデフォルトで求められるケースもある。
【0196】
図24(b)は、抽出された複数の関係情報(観測プロット)で得られる復帰遅延時間と復帰成功率との関係を示している。ここで、曲線aは各復帰遅延時間における単独成功率を示し、曲線bは各復帰遅延時間における累積成功率を示している。この場合、曲線bに基づいて、所定の割合の成功率、図示の例においては成功率が0.95となるように、復帰遅延時間t1が算出される。
【0197】
この算出処理が復帰通知、警告タイミング算出部205において実行される。例えば、記憶部に格納されている過去に取得された可観測評価値と復帰遅延時間の複数の関係情報(観測プロット)の分布情報を利用して、復帰通知、警告タイミング算出部205で算出処理が実行される。
【0198】
図25は、自動運転モードにおいて運転者が、運転操舵作業から離脱状態にある時に実行している処理(2次タスク)の種類に応じた手動運転復帰可能時間について説明する図である。
【0199】
個々の分布プロファイルが、
図24(b)で示す、観測値、すなわち運転者状態に基づいて予測される曲線aに相当する。つまり、必要な復帰確率で自動運転から手動運転に引き継ぎ地点で完了するためには、各段階で検出される運転者の覚醒度合いを評価可能な観測値から、運転者が復帰に要する過去の特性を参照してそのプロファイル(
図24(b)の復帰成功率プロファイル)が所望の値となる時刻t1を元に実際に復帰に必要な状態に各復帰段階で達しているかを引き継ぎが完了するまでモニタリングして行く。早過ぎる通知は、運転者が速やかに復帰すると自動運転で走行可能な区間が実際の引継ぎ限界地点手前に長く残すことになる。また、引き継ぎ通知を軽視した過度な自動運転による継続依存利用を招くことになる。適切なタイミングでの通知はこの依存利用を避けるための手段として有効である。
【0200】
例えば、仮眠している場合の初期曲線は、自動運転で仮眠期間中にパッシブモニタリングしていた呼吸や脈波等の観測情報から睡眠レベルを推測し、覚醒警報発報後に該当運転者の復帰遅延特性を見た累計の平均的分布となる。目が覚めてその後の移動復帰手順中で観測された運転者状態に応じて、途中の各分布は決まっていく。図に示す「6.仮眠している場合」を観測して覚醒警報が間に合う右のタイミングが決定し、その後の途中行程は予測中間点の可観測運転者状態評価値から予測される復帰バジェットの中での復帰時間分布となる。
【0201】
途中途中で、引き継まで順次減っていく残存引き継ぎ限界タイムリミットに違反しない事を観測し続け、違反リスクがある場合は、減速して時間猶予生成などの対策処理を行う。なお、例えば「6.仮眠している場合」、「5.着座」のステップが無い中で、「4.非運転姿勢イレギュラー回転着座」からスタートする復帰の際の分布は、初めの状況認知把握から復帰のプロセスが開始されるので、同じ項目でも「6.仮眠している場合」から始めた途中経過としての状態「4.非運転姿勢イレギュラー回転着座」姿勢は同じになっても思考過程が復帰意識過程にあり、初めから「4.非運転姿勢イレギュラー回転着座」姿勢で状況認知から開始する場合には、状況認知の時間を要するために長くなる。
【0202】
なお、現在運転している運転者の可観測評価値と復帰遅延時間との関係情報が記憶部に十分に蓄積されていない場合もある。その場合には、記憶部には例えば同年代の運転者人口から収集された情報に基づき生成された復帰特性情報として、予め備えた復帰の想定分布情報として利用して、復帰遅延時間t1の算出を行うことができる。この復帰情報は、運転者固有特性がまだ十分に学習されていないため、その情報を元に同一の復帰確率で利用しても良く、またはより高い復帰成功率を設定しても良い。なお、人間工学的に見て不慣れな利用者はより慎重になる事から利用初期に早期の復帰が見込まれ、利用に慣れるに従いシステムの通知に合わせた行動に運転者自身が適合していく。なお、多数の車両を運行する物流業、バスやタクシーなどの運行業、更にはシェアリングカーやレンタル自動車で異なる車両を利用する場合、運転者の個人認証を行い遠隔サーバ等で運転の可観測情報と復帰特性を集中または分散して管理や学習し、個別車両に必ずしも復帰特性のデータを保持せず、遠隔学習処理や保持をしても良い。
また、通知タイミングが重要となる事から、復帰成功率は一律の成否までの時間として説明をしているが、自動運転から手動運転の成否を2値的な成否に限定せず、復帰引き継ぎ品質に拡張した判別を更に行っても良い。つまり、実際の復帰確認に至る
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。
【0203】
図23に戻り情報処理装置200の構成について説明する。
上述したように、復帰通知、警告タイミング算出部205は、運転者復帰特性辞書211を用いた復帰特性学習部212での学習処理の結果を利用して、運転者の各状態に対応する通知や警告のタイミングを算出する。
【0204】
次に、復帰予測対応遅延評価部206、復帰遅延対策処理部207、復帰時間猶予判定部208の実行する処理について説明する。
復帰予測対応遅延評価部206は、自動運転から手動運転への移行時の運転者の復帰品質の評価処理を実行する。復帰遅延対策処理部207は、自動運転から手動運転への移行時の運転者の復帰に遅延が検出された場合の警告等の通知を行う。復帰時間猶予判定部208は、自動運転から手動運転への移行猶予時間を算出する。
運転者が自動運転から手動運転への移行する際に要する時間(遅延時間)は、運転者の状態に応じて異なる。
【0205】
図26は、自動運転から手動運転への移行完了までの残存猶予時間について説明するグラフを示した図である。システムが時間t0において運転者に対して通知(手動運転復帰要請通知)を行った後、横軸の時間軸に沿った時間経過に従って右端の「引き継ぎ限界点」に至るまでの残存猶予時間を縦軸に示している。
【0206】
図26に示す例は、自動運転可能区間から手動運転区間へのスムーズな移行を想定し、車両が定速走行をした場合の残存猶予時間を示している。なお、
図26の縦軸は定速走行時の残存猶予時間であるので、縦軸は実際の引き継ぎ限界地点までの距離と見ることもできる。
【0207】
グラフには、「個人固有データ例」、「平均的復帰推移データ」の2つのラインを示している。
個人固有データ例は、ある1人の個人固有の学習データに基づくデータの一例である。
平均的復帰推移データは、多数の観測データに基づく平均値である。
これらはいずれも、引継ぎ限界点において手動運転へ引き継ぎを行った場合、予め定められた期待成功率(RRR:Requested Recovery Rate)での引き継ぎを実現させるラインである。
【0208】
システムは、運転者のモニタリング情報に基づいて、予め定められた期待成功率(RRR:Requested Recovery Rate)で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントを、運転者固有復帰特性の学習辞書を用いて算出する。
【0209】
期待成功率(RRR:Requested Recovery Rate)について説明する。期待成功率(RRR)は、例えば、道路情報提供者が提供するローカルダイナミックマップ(LDM)に規定されるデータである。すなわち自動運転可能区間から手動運転区間の切り替え地点、各地点の期待される手動運転切り替え成功率である。
【0210】
自動運転から手動運転への引き継ぎ地点の到達時刻をt(ToR_point)(Take over Request地点)とし、この到達時刻において引き継ぎが既定成功率RRR(Requested Recovery Rate)で引き継げるための算出引き継ぎバジェット(時間)をΔtMTBT (Minimum Transition Budget Time)とする。
この前提において、ToR地点の到達する予測時刻t(ToR_point)に先立ち、{t(ToR_point)-ΔtMTBT(Minimum Transition Budget Time)}より前に引き継ぎ通知や警報を発報する必要がある。
【0211】
すなわち、接近する引き継ぎ地点で期待成功率(RRR)を達成させるためには、モニタリング時間t(n)から次のモニタリング時間Δt後のt(n+1)で、
{t(n+1)-{t(ToR_point)-ΔtMTBT(Minimum Transition Budget Time)}}<0
となるt(n)で、運転者に対する通知(手動運転切り替え要性通知)を行う必要がある。なぜならt(n+1)で通知を行ったのでは遅くなり過ぎ、手遅れになる。
【0212】
以上のことを端的に述べると、道路情報提供者が提供するローカルダイナミックマップ(LDM)に規定されたRRRを達成するためには、最小の引き継ぎ遅延許容バジェット(時間)が、運転者のモニタリングサイクル期間より長くなる前のタイミングに通知(手動運転切り替え要性通知)タイミングを設定することが求められる。
【0213】
図26に示すモニタリング状態(観測状態)の推移、すなわち、以下の(a)~(g)のモニタリング状態(観測状態)の変化点t0~t6は、予め定められた期待成功率(RRR)で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントである。
【0214】
例えば、運転者が運転席から離席して仮眠をしている状態(時間t0以前)では、システムはパッシブモニタリングにより運転者が仮眠中であることを確認する。
システムが時間t0において運転者に対して通知(手動運転復帰要請通知)を行った後は、運転者状態やシステムによる運転者の観測状態が以下の(a)~(g)のように変化する。
(a)パッシブモニタリング(システムは運転者が仮眠中であることをパッシブモニタリングで観測)
(b)眼覚め、起床、周囲確認
(c)運転席復帰
(d)運転姿勢復帰
(e)能動的応答
(f)眼球挙動
(g)身体的な復帰能力確認(S/P)
【0215】
図に示す「個人固有データ例」、「平均的復帰推移データ」、これら2つのラインは、システムが時間t0において運転者に対して通知(手動運転復帰要請通知)を行った後の上記(a)~(g)の推移点を結んで生成されるラインである。
【0216】
図には、さらに、斜線領域の「RED ZONE」を示している。この「RED ZONE」は、例えば、実際の運転者の「観測データ」がこのゾーンに入った場合、再度、運転者に通知(手動運転復帰要請通知)を発報して早期復帰を促す必要があるゾーンである。このゾーンは予め規定される。
【0217】
なお、前述したように、
図26に示す例は、車両が定速走行を行った場合の自動運転から手動運転に移行完了までの残存猶予時間を示したグラフである。
インフラの設計によっては手動運転の切り替え準備区間で車線本数を増やすなどして、車速を落としても道路全体の流量低下を招かないで済むような道路設定とすることも可能であり、高速道路の料金所等はその概念に基づいた設計と言える。
図26に示すグラフは、インフラの状況によって変更される。例えば、速度を落として引き継ぎ地点までに減速制御を行い、引き継ぎ地点への到達時間を引き延ばす制御を行うといった場合には、その制御を反映したグラフを生成して利用することが必要である。
【0218】
右端の「引き継ぎ限界点」の直前の「身体的な復帰能力確認(S/P:(Somadic/Physical))」で示した区間は、運転者が実車の車両操舵を部分的に開始してこの区間で筋力的体力的な実質操舵評価を実施する期間である。システムが最終的に引き継ぎを運転者に完全に委ね終えるのは、運転者の手足の痺れや補正するべき実際に操舵機器の制御が期待範囲内に行われるのを確認が取れた時点となる。
【0219】
前述したように、
図26に示す例は、運転者が運転席から離席して仮眠をしていることを想定した場合の例である。手動運転引き継ぎ地点に到達するまで、車両が一定速度で走行をした場合の残存時間を示している。前述したように定速で示しているので実際の引き継ぎ限界地点までの距離位置と見ても良い。
以下、(a)~(g)の具体的な状態変化について説明する。
【0220】
(a:~t0)
まず、車両のシステム(情報処理装置)は、時間t0以前のパッシブモニタリング期間において、どのタイミングで通知・覚醒をするべきか、またはそれが通知で良いのか目覚まし覚醒であるべきかを判断するモニタリングを行う。
【0221】
この例では、自動運転可能区間において、運転者が運転から完全に離脱したケースを想定している。具体的には運転者が仮眠をとっている想定である。
システムは時間t0以前のパッシプモニタリング期間において、運転者が寝ていることを検出した場合、引き継ぎ処理の前段階で、起床アラームを鳴らす最適なタイミングを算出する必要がある。
【0222】
運転者に良好な目覚めと引き継に安全な区間での引き継ぎを行わせることが望ましい。このために、システムは、道路環境のLDM情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ(LDM)情報に基づいて最適な引き継ぎ実行区間を選定する。
例えば、安全に自動運転から手動運転へ引き継ぎが行える直線道路区間、または引き継ぎがスムーズに行われなかった場合の減速や緊急退避、停車を行っても他の周囲走行車両への影響が低減できる区間で引き継ぎが完了する区間情報をLDMから取得する。
システムは、例えば、
低危険度*低影響*浅い睡眠区間
これらの複合的な判断を行って、通知タイミングを決定して復帰通知を行う。
【0223】
つまり、走行ルート進路で浅いレム睡眠を迎える最後の道路安全区間セグメントや緊急停車をしても渋滞発生の低リスクとなる最後の区間等で実際の通知、警報地点を決定する。引き継ぎ地点を、例えば道路の直線区間ではなく、山間部の狭いすれ違い不可能な狭い道路区間に侵入してから行ったり、レム睡眠後の深い睡眠に移行した区間で覚醒通知や警報を行ったりしても、眼覚めが悪く、また眼覚めて早々に複雑な道路捌きの判断が求められ危険な状況を招くことを避けるためである。
【0224】
(b:t0~t1)
システムは、運転者のモニタリング情報に基づいて、予め定められた期待成功率(RRR:Requested Recovery Rate)で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントを、運転者固有復帰特性の学習辞書を用いて算出する。
【0225】
システムが、時間t0において運転者に通知を行うと、時間t0以降において、運転者は目覚め、起床を開始する。
運転者の起床は、ToFセンサやカメラによりシステムが検知して、この検知情報によって運転者の行動評価が可能となる。
【0226】
時間t0~t1の長さは、予め定められた期待成功率(RRR)を得るための目覚め、起床に要する時間を学習処理によって算出したデータから割り振られたバジェットであり、許容される最大時間となる。平均的な復帰推移データは一点鎖線で示している。図に示す太い破線線(観測データ例)は観測データの一例である。
この観測データ例が、一点鎖線で示す平均的復帰時間に沿っていれば遅れは生じていないことになる。
【0227】
縦軸に示す残存猶予時間は進行に伴い減少するので、一定以上の復帰遅延が生じると予め定められた期待成功率(RRR)を実現する復帰が困難となる。斜線領域で示す「RED ZONE」まで遅れた場合には、再度、運転者に復帰警告を発報して早期復帰を促す必要がある。可観測な運転者復帰ステータス情報と合わせ、早期復帰を促す情報も有効な復帰品質評価情報となる。
【0228】
(c:t1~t2)
時間t1~t2に示す区間は、運転者の運転席移動が期待される区間となる。斜線領域で示す「RED ZONE」を浸食する遅延が生じれば早期復帰を促す警報アラーム等を発報する。システムは、運転者の運転席への復帰観測を例えばToFセンサやカメラ、車室内位置トラッキング装置等による取得情報に基づいて行う。
【0229】
(d:t2~t3)
運転者は、運転席に移動して着座したら、その後、運転姿勢を整える必要がある。運転席からの離席と復帰が日常的に行われるように今後進化した場合、速やかな復帰する場合や、さらに運転席の操舵姿勢に束縛されないより自由な姿勢の利用形態として、回転移動運転席の利用が想定される。
【0230】
システムは、運転者が運転姿勢から回転した状態の座席に復帰し、運転が出来る方角へ戻しシートベルトを装着するなど必要な復帰手順が正常に行われる事をモニタリングする。この復帰手順評価はToFセンサやカメラによる姿勢トラッキングの他、座席の回転運転姿勢復帰検出や着座センサ、体温分布や生体信号検出、シートベルト装着センサなどを用いて行う。時間に沿った検出情報に基づいて復帰品質の評価を行うことが可能である。
【0231】
(e:t3~t4)
運転者が手動運転に必要な着座姿勢復帰をして、復帰要請を受けた引き継ぎ地点後に期待される手動運転侵入区間の注意情報や前方進行方角への目視による確認など、運転者とシステムの間でインタラクティブな確認応答動作を実施する。この処理により、システムは、運転者が正しい思考的手順を踏んだ応答を行っているか否かを判定する。
【0232】
運転者は、意識がもうろうとしている場合や無意識である場合、システムに対して正しい応答が困難であり、仮に覚醒が十分復帰していない運転者が応答を行っても、期待される応答からかけ離れた応答結果となる。
【0233】
システムが実行するインタラクティブ応答の確認処理としては、例えば運転者がハンドルを適切な握力で握っているか否かの確認、適切なペダルの踏込み押圧や手順で行っているか否かの確認、音声のAI認識による意味のある質疑応答等、様々な処理が可能である。
なお、利用者が煩わしさを伴う応答方法は嫌われるため、単純化した早期の応答結果が得られる手段が望ましい。
【0234】
インタラクティブな応答確認方法の一手法として、例えば指差呼称の様に、運転者が前方の目視確認のために指をさしながら視線で前方道路方角を目視確認するジェスチャ動作の評価も有効である。
運転者の動作の遅れや、指差呼称の目と指と道路前方の配置関係を評価した指差しの正確性などが復帰品質として取得、記録することができる。すなわち、システム(情報処理装置)内の記憶部に記録保存することができる。
【0235】
(f:t4~t5)
時間t4~t5の眼球挙動は、いわゆる「Saccadic」であり、運転者の応答特性の中で特に視覚に関わる眼球の高速動作挙動全般の評価を行う区間である。
【0236】
眼球には、三半規管による運動に伴う自身の回転移動等を打ち消す反射的挙動による挙動や、周辺視野に捉えた動体のリスク情報に対して中心視野を高速に移動させるサッカード動作がある。
さらに、ほぼ中心視野に捉えた対象を知覚、認識、判断を行う過程で記憶に基づく判断を行うため、固視とその近傍でのマイクロサッカードやトレモア、ドリフトと言った挙動が進行する。他に注意誘引する事象の刺激優先度が一定以下であれば、運転者は視覚情報の判断が完結して認識をし、その結果判断に必要は結論に至る間に対象に視線を振り向けた状態となる。
【0237】
特に後者の挙動は脳内での理解判断に多く関わることから、この観察結果に基づいて覚醒状態の推定を行うことが可能となる。視線を新たな対象に移動するサッカード動作が行われる要因は、周辺視野に入るリ他のリスク要因であったり、サイレンなどの音に伴う刺激であったり、衝撃であったり、記憶に伴う刺激であったり、その発現要因は多様である。その結果、この眼球挙動の検出と発生頻度や持続時間は状況や運転経験や疲労度合いなど傾向はあるにしても個人差の大きな挙動となる。その一方で、運転者の覚醒度の復帰品質は、定常覚醒下の安定時挙動を基準に評価を行うことで、運転者の覚醒度評価を行う事ができる。
【0238】
車両が自動運転走行中に運転者が視線を振り向けて周囲環境情報を確認する際には、多種多様で様々なリスク要因に注意をする必要がある。運転者の視線解析に際しては、例えば車両の走行方向の前方シーンからセマンティックサリエンシーマップ(シーンに含まれるオブジェクト単位の注意予想分布マップ)を生成して、マップに対する運転者の視線挙動を解析する手法が利用可能である。しかし、走行中の道路は多様であり、運転者の視線挙動が期待されるものと異なることも多く、安定した挙動観測は難しい。
【0239】
自動運転から手動運転への引き継ぎの際の覚醒度の判断に許容される猶予時間は限られている。そこで、短期間に一定の課題を人工的に提示、その課題確認の際の眼球挙動を発現させ、安定した眼球挙動評価を行う事が有効となる。つまり、偶発的な走行中の前方風景に対する眼球挙動を観測するのでなく、システムが機械的に提示した課題に対する挙動解析を実施する。その評価手法は引き継ぎ注意情報をマトリックス情報の提示装置に提示して、その提示情報に対する運転者の眼球挙動を解析して運転者の覚醒度評価を行うことができる。
【0240】
(g:t5~t6)
時間t5~t6の「復帰能力確認(S/P)」で示す区間は、運転者が実車の車両操舵を部分的に開始してこの区間で筋力的体力的な実質操舵評価を実施する期間である。
【0241】
システムが、運転者が手動運転復帰を実質的に開始できる判断すると、運転者の操舵機器に対する操舵に従って車両が走行を開始する。あるいは、運転者の操舵機器に対する操舵品質と実際の操舵妥当性評価を行いながら、徐々に自動運転制御の介在を抑制していき、運転者の手動運転への依存度を高めていく制御を行う。
【0242】
前述したように
図26に示す例は、運転者が運転席から離席して仮眠をしている状態で、システムが時間t0において運転者に対して通知(手動運転復帰要請通知)を行った後の、運転者状態やシステムによる運転者の観測状態((a)~(g))の変化点を接続したグラフである。
【0243】
運転者が仮眠中に、時間t0でシステムが運転者に通知(手動運転復帰要請通知)を行った場合は、運転者状態やシステムによる運転者の観測状態が以下の(a)~(g)のように変化する。
(a)パッシブモニタリング(システムは運転者が仮眠中であることをパッシブモニタリングで観測)
(b)眼覚め、起床、周囲確認
(c)運転席復帰
(d)運転姿勢復帰
(e)能動的応答
(f)眼球挙動
(g)復帰能力確認(S/P)
【0244】
この状態変化(a)~(g)は運転者の初期状態が仮眠状態である場合に固有の状態変化である。
運転者状態やシステムによる運転者の観測状態の推移は、運転者の初期状態に応じて異なる推移となる。
図27は、運転者の異なる初期状態に応じた状態変化の推移と推移タイミングの例を示す図である。
【0245】
図27には、以下の4つの運転者の異なる初期状態に応じた状態変化の推移例を示している。
(1)運転者が仮眠スペースで仮眠している場合
(2)運転者が運転席を離席して起きている(覚醒状態)場合
(3)運転者が運転席に着座しているが運転姿勢ではない場合
(4)運転者が運転姿勢のまま2次タスクを実行している場合
【0246】
(1)運転者が仮眠スペースで仮眠している場合は、
図26を参照して説明した例に対応する。すなわち、運転者状態やシステムによる運転者の観測状態が以下の(a)~(g)のように変化する。
(a)パッシブモニタリング(システムは運転者が仮眠中であることをパッシブモニタリングで観測)
(b)眼覚め、起床、周囲確認
(c)運転席復帰
(d)運転姿勢復帰
(e)能動的応答
(f)眼球挙動
(g)復帰能力確認(S/P)
【0247】
(2)運転者が運転席を離席して起きている(覚醒状態)場合には、運転者状態やシステムによる運転者の観測状態が
図27に示すように、以下の(h)~(g)のように変化する。
(h)運転手が運転席を離席している状態(システムは運転者が運転席を離席している状態であることをパッシブモニタリング、およびアクティブモニタリングで観測)
(c)運転席復帰
(d)運転姿勢復帰
(e)能動的応答
(f)眼球挙動
(g)復帰能力確認(S/P)
【0248】
すなわち(1)の初期状態が仮眠の場合の(a)パッシブモニタリング、(b)眼覚め、起床、周囲確認が、
(h)運転手が運転席を離席している状態(システムは運転者が運転席を離席している状態であることをパッシブモニタリング、およびアクティブモニタリングで観測)
に変更される。
また、状態(h)から「状態(c)運転席復帰」への移行時間(t11)は、(1)の初期状態が仮眠の場合の「状態(b)眼覚め、起床、周囲確認」から「状態(c)運転席復帰」への移行時間(t1)より、先行した時間となる。
状態(h)は、「状態(b)眼覚め、起床、周囲確認」より、運転者の意識がはっきりした覚醒状態であるためである。
【0249】
(3)運転者が運転席に着座しているが運転姿勢ではない場合には、運転者状態やシステムによる運転者の観測状態が、
図27に示すように以下の(i)~(g)のように変化する。
(i)運転手が運転席で非正規姿勢状態(システムは運転者が運転席で非正規姿勢状態であることをパッシブモニタリング、およびアクティブモニタリングで観測)
(d)運転姿勢復帰
(e)能動的応答
(f)眼球挙動
(g)復帰能力確認(S/P)
【0250】
すなわち(1)の初期状態が仮眠の場合の(a)パッシブモニタリング~(c)運転席復帰が、
(i)運転手が運転席で非正規姿勢状態(システムは運転者が運転席で非正規姿勢状態であることをパッシブモニタリング、およびアクティブモニタリングで観測)
に変更される。
また、状態(i)から「状態(d)運転姿勢復帰」への移行時間(t22)は、(2)の初期状態が運転席離席の場合の「状態(c)運転席復帰」から「状態(d)運転姿勢帰」への移行時間(t12)より、先行した時間となる。
状態(i)は、既に運転席にいる状態であり、運転席への復帰動作が不要となるためである。
【0251】
(4)運転者が運転姿勢のまま2次タスクを実行している場合には、運転者状態やシステムによる運転者の観測状態が、
図27に示すように以下の(j)~(g)のように変化する。
(j)運転手が運転席で2次タスクを実行中(システムは運転者が運転席で2次タスクを実行中であることをパッシブモニタリング、およびアクティブモニタリングで観測)
(e)能動的応答
(f)眼球挙動
(g)復帰能力確認(S/P)
【0252】
すなわち(1)の初期状態が仮眠の場合の(a)パッシブモニタリング~(d)運転姿勢復帰が、
(j)運転手が運転席で2次タスクを実行中(システムは運転者が運転席で2次タスクを実行中であることをパッシブモニタリング、およびアクティブモニタリングで観測)
に変更される。
【0253】
このように、運転者状態やシステムによる運転者の観測状態の推移は、運転者の初期状態に応じて異なる推移となる。
【0254】
このように、復帰予測対応遅延評価部206は、
図26、
図27を参照して説明した運転者の手動運転復帰までの状態推移を観測して自動運転から手動運転への移行時の運転者の復帰品質の評価処理を実行する。復帰遅延対策処理部207は、自動運転から手動運転への移行時の運転者の復帰に遅延が検出された場合の警告、アラートの通知、シートやハンドルのバイブレーション出力等の対応を実行する。復帰時間猶予判定部208は、
図26、
図27を参照して説明した移行猶予時間を算出する。
【0255】
緊急処理実行部209は、自動運転から手動運転への移行時の運転者の復帰に遅延が検出され、手動運転への切り替え地点での手動運転の開始ができないと判定した場合の処理を実行する。具体的には、減速処理、停止処理、現走行路以外の走行路または駐車場または路側帯への移動、避難路等への移動処理等である。
【0256】
緊急処理実行部209は、引き継ぎ断念入力部221から、運転者自身の手動運転の開始を拒絶する意思を入力した場合にも、減速処理、停止処理、現走行路以外の走行路または駐車場または路側帯への移動、避難路等への移動処理等の処理を実行する。
【0257】
なお、引き継ぎ断念入力部221は、運転者自身の手動運転の開始を拒絶する意思を入力する入力部であり、例えば引き継ぎ断念入力部として構成されたスイッチや、ユーザー端末を介する入力が可能である。その他、運転者の首を振る動作や手を振る動作のカメラ撮影画像を運転者の拒絶意思の入力と判断する構成としてもよい。
【0258】
復帰遅延ペナルティ生成、記録部210は、運転者の手動運転への復帰遅延時、あるいは手動運転への復帰を拒絶した場合のペナルティの生成、記憶部への記録処理のを実行する。
【0259】
復帰遅延ペナルティ生成、記録部210が記憶部に記録するデータには、例えば以下のデータが含まれる。
(1)運転者の運転席離席から運転席復帰までの経過時間
(2)運転者への通知から復帰開始までの遅延時間
(3)運転者の仮眠時の警報出力から目覚めまでの遅延時間
(4)通知から通知認知反応時間(2次タスク中断までの時間)
(5)通知認知後の実際の復帰開始行動遅延
(6)離席時遠隔猶予通知に対する事前復帰開始の有無その事前開始時間
(7)通知認知後の復帰開始遅延とペナルティ事前通知、警報の記録
(8)システムの緊急予防処置動作開始記録
(9)システムの緊急予防処置動作と実際の車両減速、徐行、路肩退避、プールエリア退避の詳細シーケンス記録
(10)通知後の復帰遅延の繰り返し違反、一定期間の累計違反
(11)注意下走行要請区間でのわき見頻度観測と記録
(12)復帰期待値に対する進捗度の一次記録と運転者ライブフィードバック(視覚、聴覚、触覚、ハプティック)
(13)復帰遅延発生の社外通知機器への状態レジスタ書き込み
(14)復帰猶予時間指示器の事前確認頻度推移
(15)通知に対する認知品質評価(ジェスチャ俊敏度、自己覚醒向上行動の観測=顔をたたく等)
復帰遅延ペナルティ生成、記録部210は、は記憶部にこれらのデータを記録する。
【0260】
(5-3.走行ルート情報に基づく手動運転復帰地点の検出、および手動運転復帰時間推定に基づく手動運転復帰必要時間算出処理の具体例について)
次に、走行ルート情報に基づく手動運転復帰地点の検出、および手動運転復帰時間推定に基づく手動運転復帰必要時間算出処理の具体例について説明する。
【0261】
図23に示す情報処理装置200の復帰通知、警告タイミング算出部205において、運転者に対する手動運転への復帰通知のタイミングを算出するためには、走行路上の区間情報、すなわち自動運転から手動運転への切り替え地点情報等を取得することが必要となる。
また、運転者の状態も正確に把握することが必要となる。
【0262】
これらの情報取得処理例について、
図28以下を参照して説明する。
図28は、走行路上の区間情報、すなわち自動運転から手動運転への切り替え地点情報等を取得する処理シーケンスを説明するフローチャートである。
【0263】
図23に示す情報処理装置200の復帰通知、警告タイミング算出部205は、
図28のフローに従って、自動運転から手動運転への切り替え地点情報等を取得する処理を実行する。
ステップS51において、LDM(ローカルダイナミックマップ)の取得処理を実行する。
ステップS52において、交通状況情報の取得処理を実行する。
ステップS53において、車体依存情報を取得する。
【0264】
次に、これらの取得情報に基づいてステップS54~S56の処理を実行する。
ステップS54では、道路交通量に応じた各地点予測到達時間を算出する。
ステップS55では、ルート上の区間最新走行可能レベルの情報展開、運転者通知情報のアップデート処理を実行する。
ステップS56では、道路の接近区間での減速、退避可能ルートの自車の減速、徐行、停車影響度を算出する。
【0265】
復帰通知、警告タイミング算出部205は、これらの情報を利用して、自動運転から手動運転への切り替え地点情報等の走行路における区間情報等の走行路の正確な状況を解析し、解析結果を利用して復帰通知、警告タイミングを算出する。
【0266】
復帰通知、警告タイミング算出部205は、さらに
図29に示すフローに従って、運転者情報を取得する。
ステップS61において、運転者の運転履歴情報の取得処理を実行する。
ステップS62において、運転者の生体情報の取得処理を実行する。
ステップS63において、運転者の姿勢情報を取得する。
ステップS64において、運転者のキャビン(車両)内の位置情報を取得する。
【0267】
次に、これらの取得情報を利用して、運転者が運転姿勢に復帰するまでの時間を予想する。この具体酢的な処理は、先に
図24~
図27を参照して説明した処理である。
【0268】
復帰通知、警告タイミング算出部205は、
図28のフローに従った走行路情報の取得処理と、
図29のフローに従った運転者情報の取得処理において取得した情報に基づいて、復帰通知、警告タイミングを算出する。
図28のフローに従った走行路情報の取得処理と、
図29のフローに従った運転者情報の取得処理において取得される情報の例を
図30に示す。
【0269】
図30(a),(b)に示す情報は、
図28のフローに従った走行路情報の取得処理によって取得される情報であり、
図30(c)に示す情報は、
図29のフローに従った運転者情報の取得処理によって取得される情報である。
図30(b)に示すデータは、先に
図14~
図16等を参照して説明した走行路上の道路区間情報である。
図30(a)に示す情報は道路の走行区間等の単位で設定される予め定められた引き継ぎ期待成功率(RRR:Requested Recovery Rate)を示すデータである。
図30(c)に示すデータは、先に
図24(b)を参照して説明したデータであり、観測せられた特定の運転者覚醒度評価値に基づく復帰遅延時間と復帰成功率との関係を示すデータである。このデータは、運転者の観測情報に基づいて生成される。
なお、運転者覚醒度評価値は、例えば、生体情報観測(脈、呼吸、体臭、呼気、血流、・・・)や睡眠の深さ観測情報に基づく評価値である。具体的には、レム睡眠観測、生体観測、発汗観測、呼吸、脈波、瞼、寝返り、アルファ波観測情報が利用可能である。
また、運転者が起きていて部分的に運転状況を把握している場合には、ドライバモニタリングシステムによる観測情報、例えば、疲労評価、PERCLOS(開眼割合)等による瞬き評価、顔の表情評価情報等、観測される運転者の総合的、または限定部分的な観測情報等を利用して運転者の覚醒度評価値を算出することができる。
復帰通知、警告タイミング算出部205は、
図28のフローに従った走行路情報の取得処理と、
図29のフローに従った運転者情報の取得処理において取得した情報に基づいて、
図30に示す各データを生成して、このデータを利用して運転者に対する手動運転への復帰通知、警告タイミングを算出する。
【0270】
(5-4.運転者による手動運転引き継ぎ断念を許容した処理のシーケンスについて)
次に、運転者による手動運転引き継ぎ断念を許容した処理のシーケンスについて説明する。
【0271】
先に
図23を参照して説明したように、移動装置内の情報処理装置200には引き継ぎ断念入力部221が設けられている。
引き継ぎ断念入力部221は、運転者自身の手動運転の開始を拒絶する意思を入力する入力部であり、例えば引き継ぎ断念入力部としてのスイッチや、ユーザー端末を介する入力が可能である。その他、運転者の首を振る動作や手を振る動作のカメラ撮影画像を運転者の拒絶意思の入力と判断する構成としてもよい。
【0272】
引き継ぎ断念入力部221を介して、運転者から手動運転開始の拒絶入力がなされると、緊急処理実行部209は、減速処理、停止処理、現走行路以外の走行路または駐車場または路側帯への移動、避難路等への移動処理等の処理を実行する。
【0273】
なお、引き継ぎ断念入力部221を介した運転者からの手動運転開始の拒絶入力がない場合であっても、運転者による事前設定により、緊急処理実行部209は、規定の復帰遅延を検出した場合、引き継ぎ不可と判定して早期の後続車低影響度区域での緊急退避処理を行うようにしてもよい。
例えば、運転者が持病保持者、車両が有害危険物積載車両である場合等、運転者や車両により安全な制御が求められる事情がある場合には、運転者や車両運行管理センターによりこの事前設定に基づく処理を行うことがこのましい。
【0274】
上記のような運転者や車両の特殊事情が無い場合は、規定の復帰遅延を検出した場合でも、運転者の操作のばらつきと判断し、定常的な警告の通知処理等を行う。
このような運転者状況、道路状況、車両特性等に応じた処理を最適化して適宜早期の対処処理を行うことで、例えば病人が運転する自動運転可能な車両の狭隘道路での手動運転復帰不全に伴う緊急停車で道路の遮断することを避けるため、進行の早期に低影響度区間で対処を開始する。また、大型連結車両や重量物積載車両ならカーブ等が多く見通しの悪い区間での手動運転引き継ぎや停車を避けるため、事前申告設定により直線の見通しのよい道路区間や早期の対処処理することで、仮に引き継が正常に行われなくとも後続車の通行阻害や緊急減速が必要とならない事前区間をシステムが探索して処理することで道路の渋滞や通行止め等の発生を低減できる。
【0275】
ただし、引き継ぎ遅延の発生時には、運転者に対するペナルティを適宜階層的に科すことを合せて行うことが運転者の復帰行動を習慣的に早め、社会インフラとしての道路を運用する上で有効である。一方、予定通りの早期復帰を行った運転者に対してはインセンティブを付与する等の処理を行う。
通常時は、車両の減速等を行わずにスムーズに自動運転から手動運転へ引き継ぎを行うことが好ましい。ただし、引き継ぎが行えない事情がある場合は、運転者は手動運転の引き継ぎを断念することを申し出る。この場合、車両のシステムは、車両の減速や、退避路への退避、幹線道路から一般道への移動、現走行路以外の走行路または駐車場または路側帯への移動等の車両制御を行う。
【0276】
システムは、運転者の復帰推移、覚醒レベル、復帰レベルを観測するための可観測生体信号を観測しても、運転者の真の身体状況を把握することは困難である。
運転者が自ら、手動運転復帰の断念を申し出ることで、システムは、運転者が手動運転に復帰できない状況であることを確実に且つ早期に把握することが可能となり、より確実で早期の退避制御を行うことができる。
【0277】
図31、
図32を参照して、運転者による手動運転への復帰の拒否を許容した処理の処理シーケンスについて説明する。
図31、
図32に示す処理は、移動装置に搭載された情報処理装置200のデータ処理部、例えば先に
図23を参照して説明した処理部を含むデータ処理部において実行される。
【0278】
図31、
図32に示すシーケンス図に示す各処理について説明する。
ステップS71は、車両の自車積載依存特性(貨物特性)に基づいて実行する運転者に対する手動運転復帰通知、警告通知タイミングの算出処理である。
ステップS72は、LDM(ローカルダイナミックマップ)の定常的な更新情報に基づいて実行する運転者に対する手動運転復帰通知、警告通知タイミングの算出処理である。
【0279】
ステップS73は、車外環境認識情報に基づくリスク判定処理である。例えばカメラや距離センサとしてのLiDAR等のセンサによる衝突可能性のある危険物検出等の情報に基づくリスク判定処理である。
ステップS74は、自車搭載機器自己診断情報に基づく手動運転復帰通知、警告通知タイミングの算出処理である。
【0280】
ステップS75は、LDM(ローカルダイナミックマップ)の定常的な更新情報に基づいて実行する緊急退避選択肢情報の事前取得処理である。例えばLDMにはパーキングエリア情報や、路側帯の駐車可能エリアの有無、退避用の脇道の有無等の情報、さらに減速可能な道路か否か等の道路情報が含まれており、これらのLDM情報に基づいて、緊急時にとり得る選択肢を事前に選択しておく。選択肢情報は記憶部に格納される。
【0281】
ステップS76は、ステップS73と同様の処理であり、車外環境認識情報に基づくリスク判定処理である。例えばカメラや距離センサとしてのLiDAR等のセンサによる衝突可能性のある危険物検出等の情報に基づくリスク判定処理である。
これらステップS71~S76の処理は、継続的に繰り返し実行される。
【0282】
ステップS77は、LDM情報の更新に利用される情報は区間走行する多くの一般車両から自律認識された道路環境検出情報や不足するLDMの情報を専用に取得するプローブカーの取得情報、さらにはインフラ設置型のセンサ群に基づくLDMの更新処理である。なお、LDMの情報を取得するプローブカーは必ずしも全てが専用の情報取得車両である必要はなく、タクシー、路線バス、宅配・郵便などの業者車両、警察車両など地域と密着した走行頻度に高い車両の走行を利用しても良い。
この処理も逐次、実行される。
【0283】
ステップS81は、運転者のパッシブモニタリング、例えばカメラやセンサによる運転者の生体や姿勢、その他の状態情報を取得するパッシブモニタリング情報に基づく手動運転への復帰遅延時間の予測処理である。
この処理も継続的に実行される。
【0284】
ステップS82は、手動運転への復帰遅延時間の予測処理結果を運転者に通知する処理である。運転者の保持するユーザー端末や、運転席のディスプレイ等に復帰遅延時間の予測処理結果を表示して通知する。あるいは警報を出力する。
ステップS83では、この通知に対する運転者の応答を入力して運転者が通知を認知したことを確認する。
ステップS84、S85は、運転者の手動運転への復帰品質の評価処理である。この評価処理は、手動運転への復帰遅延時間の予測処理結果と、その予測処理結果の運転者への通知に対する運転者の応答結果に従って予測された帰遅延時間に基づいて実行される。
【0285】
ステップS86は、運転者の手動運転への復帰品質の評価結果に基づくリスク判定処理である。このリスク判定は、運転者が、手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクを判定する処理である。
切り替え地点までに手動運転へ復帰できないリスクが高いと判定した場合は、ステップS87において、運転者に警告通知を行う。
【0286】
ステップS88は、ステップS82と同様の処理であり、手動運転への復帰遅延時間の予測処理結果を運転者に通知する処理である。運転者の保持するユーザー端末や、運転席のディスプレイ等に復帰遅延時間の予測処理結果を表示して通知する。あるいは警報を出力する。
ステップS89では、この通知に対する運転者の応答を入力(検出)して運転者の手動運転への復帰品質の評価処理を行う。運転者のアクティブモニタリングが実施されるため、情報通知を運転者が理解した場合は、その通知を無視しない限りは応答反応と対処手続きが開始される。その応答結果をボタン操作入力や操舵機器の実際の操作や復帰行動として現れることになるので、その応答を元に復帰経過品質評価を行う。ここで直接物理的変化を伴う機器への入力がない応答行動である場合、運転者の姿勢・ポスチャー解析などの行動解析を、例えばToFカメラ、キネクトカメラ、ストラクチャーライトカメラなどを用いて行い、活動評価結果を元に手動運転への復帰品質の評価を実施する。
ステップS90は、運転者の手動運転への復帰品質の評価結果に基づくリスク判定処理である。このリスク判定は、運転者が、手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクを判定する処理である。
【0287】
切り替え地点までに手動運転へ復帰できないリスクが高いと判定した場合は、ステップS91において、運転者に警告通知を行う。
ステップS92では、運転者に対する警告通知に対する運転者の応答を入力(検出)して運転者の復帰品質の評価処理を行う。
さらに、ステップS93で、復帰品質の評価結果に基づいて、運転者が手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクを判定する。
【0288】
ステップS94は、ステップS93のリスク判定に基づいて、運転者が手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクが高いと判定した場合に実行する処理であり、この場合は、緊急退避処理を実行する。
具体的には、減速、停止、避難路への移動、現走行路以外の走行路または駐車場または路側帯への移動等の緊急退避処理を実行する。
【0289】
ステップS95は、ステップS85と同様の処理であり、手動運転への復帰遅延時間の予測処理結果の運転者への通知に対する運転者の応答結果に従って予測された帰遅延時間に基づいて実行される運転者の手動運転への復帰品質の評価処理である。
この処理は継続的に繰り返し実行される。
【0290】
ステップS96~S98は、リスク判定において手動運転復帰が可能と判断した際の処理である。この場合、運転者の運転操作情報を入力し、運転者の手動運転の品質を評価して、安全性やリスクを判定する。
【0291】
図31において、運転者による手動運転復帰の拒否が許容される期間は、図に示す「復帰限界時間(TL)」以前の期間である。
「復帰限界時間(TL)」は、車両が手動運転への切り替え地点に接近する時間であり、この時間を超えると自動運転区間内での緊急退避が実行できない時間に相当する。
【0292】
また、運転者による手動運転復帰の拒否がない場合であっても、ステップS93における復帰品質の評価結果に基づいて、運転者が手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクが高いと判定した場合は、復帰許容遅延時間が経過したと判定し、ステップS94に示すように強制的な緊急退避処理を実行する。
【0293】
図32は、突発的事象の一例として、自車両に先導する先導車両、例えばプローブカーや区間先行走行車両等からの通信、すなわちV2V通信(車車間通信)によって事故情報等の緊急情報を受信した場合の処理例を示している。
【0294】
ステップS101は、先に説明したステップS77と同様の処理であり、LDM情報の更新に利用される情報を提供するプローブカーの取得情報に基づくLDMの更新処理である。この処理は逐次、実行される。
【0295】
ステップS102は、自車両の先導車両であるプローブカーからのV2V通信(車車間通信)を受信して、受信情報に基づくリスク判定を行う処理である。例えば、突発的な事故等の発生により、手動運転を行わなくてはならない区間がすぐ先に発生する可能性があるような場合である。
【0296】
このような場合、ステップS103において、運転者に対する通知や警告を行う。すなわち、手動運転を行わなくてはならない区間がすぐ先に発生する可能性があることの通知である。
ステップS104では、プローブカーからの手動運転区間の実際の発生情報が通知され、この通知情報に基づいて、手動運転復帰通知、警告通知タイミングの算出処理が行われる。この実施例ではプローブカーを主体に実施例として記載しているが、現実の運用として多くの専用のブローブカーを常時、インフラ上に走行させ続けることは現実的ではない。従って、運用上はインフラ区間を通過した環境認識機能を搭載した車両に情報を補完する役割を担わせる構成とすることが好ましい。具体的には、自車が区間走行中に確認したリスク情報を、同一区間に接近する後続車両群に発信し、区間に侵入する後続車両がその情報を活用して自車の区間への侵入時に予防的制御を実行するといった構成である。
【0297】
ステップS105は、ステップS104の通知タイミングの算出時に、すでに運転者が手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクが高いと判定した場合に実行する処理であり、この場合は、緊急退避処理を実行する。
具体的には、減速、停止、避難路への移動、現走行路以外の走行路または駐車場または路側帯への移動等の緊急退避処理を実行する。
【0298】
ステップS106は、ステップS105において緊急退避処理が実行中であることを運転者に通知する処理である。
ステップS107は運転者が通知を認知したか否かを判定する処理であり、認知確認が取れない場合はステップS108で警報を出力して、ステップS109で警報に対する運転者の認知確認を行う。
例えば、このようなシーケンスで処理が実行される。
【0299】
(5-5.運転者または同乗者が手動運転への引き継ぎ断念の意思表示を行った場合の処理について)
次に、運転者または同乗者が手動運転への引き継ぎ断念の意思表示を行った場合の処理について説明する。
【0300】
手動運転への引き継ぎを拒否する意思表示は、運転者、または同乗者が行うことができる。
図33に示すフローチャートを参照して移動装置に搭載された情報処理装置が実行する処理のシーケンスについて説明する。なお、
図33に示すフローに従った処理は、情報処理装置内のデータ処理部において記憶部に格納されたプログラムに従って実行することが可能である。
以下、フローの各ステップの処理について、順次、説明する。
【0301】
(ステップS201)
まず、ステップS201において、自動運転可能区間から手動運転区間への引き継ぎ地点の接近を運転者に通知する。例えばディスプレイを有するユーザー端末等のHMI(Human Machine Interface)を介して通知される。
【0302】
(ステップS202)
まず、ステップS202において、情報処理装置のデータ処理部は、引き継ぎ断念時の選択肢を取得する。
【0303】
なお、この処理においては、幹線(走行)道周囲のLDM(ローカルダイナミックマップ)から回避ルート選択情報等を取得する。
LDM(ローカルダイナミックマップ)は、例えば
図34に示すように現在、走行中の道路に関する回避ルート情報が得られる。例えばサービスエリア(SA)、パーキングエリア(PA)、退避可能な一般道等の側道、引き継ぎ不全車対応の駐車スペース(Pool Area)、退避レーン等、様々な回避ルート情報が得られる。
【0304】
幹線道や高速道路では、周囲車両の巡航速度である高速での自動運転が前提となるが、高速道路に接続された一般道が低速自動運転可能な道路であれば、自動運転のまま一般道に下りることも選択肢となる。一般道や裏道は車両が停車しても社会インフラの通行妨害となるリスクは低く、現実的な迂回手法となる。
また、緊急停止可能な退避レーンやパーキングエリアが存在すれば、そのエリアも引き継ぎ断念時の選択肢である。
【0305】
情報処理装置のデータ処理部は、これら様々な引き継ぎ断念時の選択肢を取得する。
なお、各選択肢によってメリット、デメリットが異なるが、利用者によりニーズも異なるため、取得した選択肢を運転者に提示して、利用する選択肢を選択させてもよい。
【0306】
(ステップS203~S204)
ステップS203~S204において、運転者あるいは同乗者から手動運転への引き継ぎを断念(拒否)する旨の入力があったか否かを判定する。
なお、この入力は、例えば引き継ぎ断念入力部として構成されたスイッチや、ユーザー端末を介する入力が可能である。その他、運転者の首を振る動作や手を振る動作のカメラ撮影画像を運転者の拒絶意思の入力と判断する構成としてもよい。
【0307】
運転者あるいは同乗者から手動運転への引き継ぎを断念(拒否)する旨の入力がない場合は、ステップS205に進む。
運転者あるいは同乗者から手動運転への引き継ぎを断念(拒否)する旨の入力があった場合は、ステップS210に進む。
【0308】
(ステップS205)
ステップS205は、ステップS203~S204において、運転者あるいは同乗者から手動運転への引き継ぎを断念(拒否)する旨の入力がない場合に実行する処理である。
この場合、ステップS205において、手動運転への引き継ぎ通知タイミングになったか否かを判定する。
なった場合はステップS206に進む。なっていない場合は、ステップS201に戻り、ステップS201以下の処理を繰り返す。
【0309】
(ステップS206)
手動運転への引き継ぎ通知タイミングになった場合、ステップS206において、運転者に対する通知を実行する。
【0310】
(ステップS207)
次にステップS207において、引き継ぎ限界バジェットマネジメント処理を実行する。
この処理は、先に
図26を参照して説明した処理である。
【0311】
すなわち、自動運転から手動運転への引き継ぎ地点の到達時刻をt(ToR_point)(Take over Request地点)とし、この到達時刻において引き継ぎが既定成功率RRR(Requested Recovery Rate)で引き継げるための算出引き継ぎバジェット(時間)をΔtMTBT (Minimum Transition Budget Time)として、この前提において、ToR地点の到達する予測時刻t(ToR_point)に先立ち、{t(ToR_point)-ΔtMTBT(Minimum Transition Budget Time)}より前に引き継ぎ通知や警報を発報する処理を行う。
【0312】
(ステップS208)
次にステップS208において、運転者の手動運転への引き継ぎが間に合わず、引き継ぎリスクが限界を超えたか否かを判定する。
これは、例えば先に
図31のシーケンス図におけるステップS93の時点の処理である。
ステップS208において、運転者の手動運転への引き継ぎが間に合わず、引き継ぎリスクが限界を超えたと判定した場合、すなわち、引き継ぎ地点までに運転者が手動運転に復帰することが不可能と判定した場合には、ステップS209に進む。
一方、引き継ぎ地点までに運転者が手動運転に復帰することが可能と判定した場合には、ステップS210に進む。
【0313】
(ステップS209)
ステップS209の処理は、ステップS208において、運転者の手動運転への引き継ぎが間に合わず、引き継ぎリスクが限界を超えたと判定した場合、すなわち、引き継ぎ地点までに運転者が手動運転に復帰することが不可能と判定した場合に実行される。
この場合、ステップS209において、緊急退避処理を実行する。
具体的には、減速、停止、避難路への移動、現走行路以外の走行路または駐車場または路側帯への移動等の緊急退避処理を実行する。
【0314】
(ステップS210)
ステップS210の処理は、ステップS208において、運転者の手動運転への引き継ぎが間に合わず、引き継ぎリスクが限界を超えていないと判定した場合、すなわち、引き継ぎ地点までに運転者が手動運転に復帰可能と判定した場合、または、ステップS204において、運転者、または同乗者から引き継ぎ断念の入力が行われた場合に実行される。
【0315】
ステップS210では、引き継ぎ断念時の選択肢を運転者に提示する。例えば
図34を参照して説明したLDMから取得した退避路、駐車場等の情報を運転者に提示する。例えば以下のような選択肢が提示される。
(1)低速走行、停車可能な自動運転走行可能ルートへ移動走行
(2)サービスエリア、パーキングエリア等、一時停車可能地点の有無、
(3)先導車追従走行
(4)救済要請
【0316】
(ステップS211)
ステップS211では、ステップS210で提示された選択肢に対する運転者や同乗者による選択情報に従った退避処理を実行する。
【0317】
なお、退避処理を行った場合、運転者にはペナルティを科す構成とすることが好ましい。なお、このペナルティの記録は記憶部に残される。ペナルティは様々な態様があり、特定の手法に限定されない。その主たる目的は運転者による高品質の遅延や怠慢の無いシステム通知に対する早期応答や対応を促す誘引の仕組みを構築することにある。
例えば、以下のようなペナルティを科す。
車両の走行上限速度の制限、
退避場への強制誘導、
サービスエリアへの一次的な退避と、強制的な休憩時間の取得、
ハンドルやシートに対するランブルストリップス擬似振動の発生、
警告音の出力、
保険料の負担増、
悪臭等の不快なフィードバック、
罰則課金、
例えば、上記のようなペナルティを科す。
このように短中長期的なペナルティフィードバックを定常的に実行すると人間工学的にみてヒトの行動心理に作用し、回避行動が習慣化されるすなわち、安全性を向上させる重要な仕組みとなる。
なお、これら運転者の行動特性を改善する記録が改ざんされて無効化されてしまうと機能が生かせないため、記録データには改ざん防止構成を施すことが望ましい。
【0318】
(5-6.手動運転切り替え地点接近時の処理例について)
次に自動運転可能区間から手動運転区間へ切り替わる切り替え地点に侵入する際に移動装置の情報処理装置が実行する処理例について説明する。
【0319】
図35に示すフローチャートは、自動運転可能区間から手動運転区間へ切り替わる切り替え地点への接近時に移動装置の情報処理装置が実行する処理のシーケンスを説明するフローチャートである。
なお、
図35に示すフローに従った処理は、情報処理装置内のデータ処理部において記憶部に格納されたプログラムに従って実行することが可能である。
以下、フローの各ステップの処理について、順次、説明する。
【0320】
(ステップS231)
まず、ステップS231において、接近中の切り替え地点、すなわち手動運転区間への切り替え地点が、予定された切り替え地点であるか、あるいは事故等の突発的事象によって発生した予定外の切り替え地点であるかを判定する。
【0321】
予定された切り替え地点とは、具体的には、例えば運転者が走行開始前に設定した出発地と目的地の2点間にすでに存在し、運転者が確認済みの切り替え地点である。
【0322】
切り替え地点が予定された切り替え地点である場合は、ステップS232に進む。一方、切り替え地点が予定外の切り替え地点である場合は、ステップS241に進む。
【0323】
(ステップS232~S233)
ステップS232~S233の処理は、ステップS231において切り替え地点が予定された切り替え地点であると判定した場合に実行する処理である。
この場合は、ステップS232において通常の予定された復帰通知を運転者に通知し、ステップS233において運転者からの認知応答を検出し、通常の引き継ぎ処理を行う。
【0324】
(ステップS241~S242)
ステップS241以下の処理は、ステップS231において切り替え地点が予定外の切り替え地点であると判定した場合に実行する処理である。
この場合は、まず、ステップS241~S242において、手動運転復帰までの余裕度、具体的には猶予時間が十分であるか否かを判定する。
【0325】
なお、この猶予時間が十分であるか否かの判定に適用する時間は、運転者の状態によって異なる。これは、先に
図26や
図27を参照して説明した処理である。
猶予時間が十分であり、手動運転復帰が可能と判定した場合は、ステップS243に進む。
一方、猶予時間が十分でなく、手動運転復帰が困難と判定した場合は、ステップS244に進む。
【0326】
(ステップS243)
ステップS242において、猶予時間が十分であり、手動運転復帰が可能と判定した場合は、ステップS243において、運転者に対して、新規の手動運転引き継ぎ地点(切り替え地点)が発生したことを通知する。
この通知後、ステップS231以下の処理を実行して通常の引き継ぎ処理を行う。
【0327】
(ステップS244)
一方、ステップS242において、猶予時間が十分でなく、手動運転復帰が困難と判定した場合は、ステップS244において、運転者のモニタリングデータ(観測データ)に基づいて、運転者が手動運転に復帰できるか否かを判定する。
【0328】
運転者が手動運転に復帰できないと判定した場合は、ステップS245に進む。
一方、運転者が手動運転に復帰できると判定した場合は、ステップS251に進む。
【0329】
(ステップS245)
ステップS244において、運転者が手動運転に復帰できないと判定した場合は、ステップS245に進み、ステップS245において、減速、徐行、現走行路以外の走行路または駐車場または路側帯への移動等の退避処理を行う。
なお、この退避処理を行う場合は、周辺への影響を最小とするように選択可能な退避処理から最適な処理を選択して実行する。
【0330】
(ステップS251)
一方、ステップS244において、運転者が手動運転に復帰できると判定した場合は、ステップS251に進み、ステップS251において、突発的な緊急の手動運転引き継ぎが必要になったことを運転者に通知する。
【0331】
(ステップS252)
次に、ステップS252において、通知に対する運転者の認知応答や運転者の観測情報に基づいて、運転者が切り替え地点以前に手動運転へ復帰可能か否かを判定する。
間に合うと判定した場合は、通常の引き継ぎ処理を開始する。
一方、間に合わないと判定した場合は、ステップS245に進み、ステップS245において、減速、徐行、現走行路以外の走行路または駐車場または路側帯への移動等の退避処理を行う。
【0332】
(5-7.運転者または同乗者からの手動運転引き継ぎの断念(拒否)の入力に対する事前処理と事後処理について)
次に、運転者または同乗者からの手動運転引き継ぎの断念(拒否)の入力に対する事前処理と事後処理について説明する。
【0333】
図36に示すフローチャートは、運転者または同乗者からの手動運転引き継ぎの断念(拒否)の入力に対する事前処理と事後処理に関する移動装置の情報処理装置の処理のシーケンスを説明するフローチャートである。
なお、
図36に示すフローに従った処理は、情報処理装置内のデータ処理部において記憶部に格納されたプログラムに従って実行することが可能である。
以下、フローの各ステップの処理について、順次、説明する。
【0334】
(ステップS251)
まず、ステップS251において、引き継ぎ断念事象に対するシステム準備処理を実行する。
例えば、以下の処理を実行する。
(a)周辺バイパス、退避場、SA/PA情報の取得処理
(b)自車両積載物車両ダイナミックス情報の取得処理
(c)自車両自己診断情報の取得処理
(d)運転者のパッシブモニタリング情報の取得処理
(e)運転者の復帰特性辞書の取得処理
例えば、これらの処理を実行する。
【0335】
(ステップS302)
ステップS302~S304の処理は、ステップS311~S316の処理と並列に実行される。
ステップS302では、運転者または同乗者から手動運転引き継ぎ断念(拒否)の意思表示があった場合に実行可能な対応(徐行、停止、側道退避等)の候補となる選択肢リストを作成する。
なお、リストの順番は、周囲に対する影響度が少ない選択肢をより上位とする設定とする。
【0336】
例えば、高速自動運転区間において、手動運転区間への引き継ぎ地点前の道路区間状況としては様々な状況がある。具体的には、例えば以下の状況が想定される。
(a)引き継ぎ地点までの間に減速すれば退避レーン、駐車場へ侵入可能な区間
(b)引き継ぎ地点まで猶予時間があり、高速走行のまま退避レーンに侵入して減速、停止可能な区間
(c)引き継ぎ地点まで猶予時間があり、高速走行のまま退避レーンに侵入して減速し、その後低速自動運転で走行可能な区間
(d)引き継ぎ地点まで猶予時間があり、高速走行のまま退避レーンに侵入して減速し、その後、低速自動運転で待機ポイントまで走行可能な区間
(e)引き継ぎ地点まで猶予時間があり、高速走行のまま退避レーンに侵入して減速、停止して待機可能な待避所が存在する区間
(f)特殊車両や運転者の固有復帰特性、道路、積載物、車両特性等に適用される引き継ぎ困難道路区間
(g)先導車両追従待機スポット、SOS救助要請待機スポットが設けられた区間、
【0337】
幹線道や車線数が限定される道路区間では、一般道であっても緊急停車や路肩停車は後続車の追突や渋滞の要因となる。
このような場合でも、運転者の意思に基づく早期引き継ぎ断念申請を許容することで、出口や退避場のない高速道路途中での緊急処理を行うことなく時間的余裕を持った対処が可能となるため、後続車の追突や渋滞の発生を低減することが可能となる。
低速での走行が行われる市街地の道路には、一時停車可能な路肩や脇道に退避することができる道路がある。しかし、同じ市街地の道路でも一時停車可能な路肩がなく、脇道に退避することもできる道路もある。
このように同じ市街地の道路であっても、状況は多種多様であるため、状況は異なる。例えば幹線道路から退避する有効な早期復帰断念処理を有効に活用する上では市街道路等の選択肢をとる際には事前の市街地LDM取得が有用となる。
ステップS302では、このような具体的な道路状況に応じた最適なリストを生成する。なお、自動運転モードでの走行利用が、疲れていたり睡魔に襲われ一時的に仮眠等を取ろうとしている予定の間に突発的異常事象としての引き継ぎ事象が通知される場合もあり、その場合の運転者の優先事項は休憩場所への退避となる。引継ぎ断念に伴うリスト生成は、運転者の事前状態や通院利用の自動走行モード中の体調悪化や、単純な車両の利便機能としての自動運転利用など状況により対処の優先度は異なる。
【0338】
(ステップS303)
次に、ステップS303で、車両の進行に併せて、選択不可能となった選択肢をリストから削除し、さらに車両の進行に併せて新たに選択可能となった新たな選択肢の追加等のリスト更新を行う。
【0339】
(ステップS304)
ステップS304では、更新された選択肢リストを記憶部に保存する。
【0340】
(ステップS311~S312)
ステップS311~S312において、運転者あるいは同乗者から手動運転への引き継ぎを断念(拒否)する旨の入力があったか否かを判定する。
なお、この入力は、例えば引き継ぎ断念入力部として構成されたスイッチや、ユーザー端末を介する入力が可能である。その他、運転者の首を振る動作や手を振る動作のカメラ撮影画像を運転者の拒絶意思の入力と判断する構成としてもよい。
【0341】
予め規定された限界時間、すなわち
図31等を参照して説明した復帰限界時間(TL)までに運転者あるいは同乗者から手動運転への引き継ぎを断念(拒否)する旨の入力がない場合は、タイムアウトと判定した処理を終了する。
一方、予め規定された限界時間内に運転者あるいは同乗者から手動運転への引き継ぎを断念(拒否)する旨の入力があった場合は、ステップS313に進む。
【0342】
(ステップS313)
ステップS312において、予め規定された限界時間内に運転者あるいは同乗者から手動運転への引き継ぎを断念(拒否)する旨の入力があったと判定した場合は、ステップS313において、運転者等に対して運転者から要求された引き継ぎ断念(拒否)を受け付けたことを示す通知を行う。
【0343】
(ステップS314)
次に、ステップS314において、運転者等に対して、引き継ぎ断念時に実行可能な選択可能な退避処理の選択肢を提示する。
この提示対象となる選択肢は、ステップS304において記憶部に格納されたリストである。
【0344】
例えば、以下のような早期断念対処メニューが表示される。
(1)一般道での低速自動走行を実行
(2)退避レーン空き領域に退避
(3)一般道で停車
(4)プールゾーン(駐車ゾーン)に駐車
(5)急患SOSリクエストを実行
(6)先導車両追従待機スポットで待機
この内、例えば早期断念リクエストが体調不全を理由とするものである場合、運転者が救助要請を要するほど事態が悪化している状況も有りえる。例えば、上記(5)のSOS要請リクエストの実行選択肢は、低下した意識下でも操作がし易い大型のボタン操作などで行うことを可能とすることが好ましい。ユーザインタフェースは、操作が容易な配置や形状を持つ構成とする。さらにこの操作部は、自動運転車両を緊急時に止める操作部と共用した構成としてもよい。
【0345】
(ステップS315~S316)
次に、ステップS315において、運転者による選択入力を待機し、規定の待機時間が経過したらステップS316に進み、ステップS316において選択された選択肢に従った退避処理を実行する。選択処理がなされなかった場合は、リスト最上位の選択肢の退避処理を実行する。なお、リスト最上位の選択肢は周囲に対する影響を最小限とした選択肢であり、運転者からの選択がない場合は、これが実行される。
【0346】
(5-8.引き継ぎ断念入力に対する処理を実行する情報処理装置の構成例について)
次に、引き継ぎ断念入力に対する処理を実行する情報処理装置の構成例について説明する。
【0347】
図37は、移動装置内に装着された情報処理装置中、運転者等から入力される引き継ぎ断念入力に対する処理を実行する情報処理装置の構成例を示すブロック図である。
【0348】
図に示すように、情報処理装置のデータ処理部250は、最適復帰通知点算出部331、復帰特性辞書332、退避処理候補選択部333、バジェット管理部334、早期退避制御実行部335、ペナルティ生成、記録部336を有する。
【0349】
最適復帰通知点算出部331は、手動運転区間への切り替え地点が接近している場合、運転者に対して行う引き継ぎの通知を行う最適タイミングを算出する。
このタイミング算出処理には、図に示すように様々な情報321~326が利用される。すなわち、以下の各情報である。
【0350】
情報321=旅程に沿った先行LDM情報、ルート直線緊急退避エリア情報、満車猶予情報、安全引き継ぎ区間情報、退避可能区間情報
情報322=旅程ルート外の周辺迂回可能道路、一時停車可能地区情報、先導車待ちやSOS救助要請、一時待機スポット情報
情報323=運転者パッシブモニタリングによるステータス情報
【0351】
情報324=運転者通知後アクティブ&パッシブ応答&推移モニタリングによる運転者覚醒&準備ステータス情報
なお、この情報324から、さらに情報324a=運転者、運転(姿勢)復帰推移評価、運転者姿勢追尾情報に基づく復帰品質評価値(+異常復帰推移検出フラグ)が生成される。
【0352】
情報325=車載自律センシング情報、レーダ、LIDAR、カメラ、ToF、ソナー、V2V通信(車車間通信)等によって取得される情報
情報326=運行車両ダイナミックス情報(車両制動能力、タイヤ摩耗・抵抗情報、荷崩れ限界減速情報、積載アンバランス情報、など)
【0353】
最適復帰通知点算出部331は、これらの情報を利用して、運転者に対して行う引き継ぎの通知を行う最適タイミングを算出する。なお、この算出処理に際しては、復帰特性辞書332を利用した算出処理を行う。復帰特性辞書332は、運転者の観測情報に基づいて生成された運転者の復帰特性を記録した辞書である。
最適復帰通知点算出部331が算出した通知タイミング情報に基づいて決定されたタイミングで運転者に対する通知処理、すなわち手動運転区間の引き継ぎポイント、すなわち区間切り替え地点が近づいていることの通知が実行される。
【0354】
退避処理候補選択部333は、手動運転復帰断念の入力がなされた場合に実行可能な退避処理のリストを生成する。
このリストは、以下の入力情報を参照して生成される。
情報324a=運転者、運転(姿勢)復帰推移評価、運転者姿勢追尾情報に基づく復帰品質評価値(+異常復帰推移検出フラグ)
情報325=車載自律センシング情報、レーダ、LIDAR、カメラ、ToF、ソナー、V2V通信等によって取得される情報
情報326=運行車両ダイナミックス情報
【0355】
退避処理候補選択部333は、手動運転復帰断念の入力がなされた場合に実行可能な退避処理のリストとして、周囲に対する影響を最小化する処理を上位に設定したリストを生成する。
【0356】
バジェット管理部334は、手動運転の引き継ぎ地点到達までの運転者の復帰行動評価値等に基づくバジェットの算出、管理を行う。この処理は、先に
図26を参照して説明した処理である。
すなわち、自動運転から手動運転への引き継ぎ地点の到達時刻をt(ToR_point)(Take over Request地点)とし、この到達時刻において引き継ぎが既定成功率RRR(Requested Recovery Rate)で引き継げるための算出引き継ぎバジェット(時間)をΔtMTBT (Minimum Transition Budget Time)として、この前提において、ToR地点の到達する予測時刻t(ToR_point)に先立ち、{t(ToR_point)-ΔtMTBT(Minimum Transition Budget Time)}より前に引き継ぎ通知や警報を発報する処理を行うためのバジェット(時間)管理を行う。
【0357】
早期退避制御実行部335は、引き継ぎ断念入力部221から手動運転引き継ぎ断念入力があった場合の退避制御を実行する。具体的には減速、徐行、現走行路以外の走行路または駐車場または路側帯への移動等の退避処理を行う。
なお、この退避処理は、退避処理候補選択部333の生成したリストから運転者等が選択した処理を実行する。運転者等による選択がなかった場合は、リスト最上位の処理、すなわち周囲に対する影響が最小となる処理を選択して実行する。
【0358】
ペナルティ生成、記録部336は、引き継ぎ断念を申告した運転者に対するペナルティを生成して記憶部に記録する。
前述したように、ペナルティは様々な態様があり、特定の手法に限定されない。その主たる目的は運転者による高品質の遅延や怠慢の無いシステム通知に対する早期応答や対応を促す誘引の仕組みを構築することにある。
例えば、以下のようなペナルティを科す。
車両の走行上限速度の制限、
退避場への強制誘導、
サービスエリアへの一次的な退避と、強制的な休憩時間の取得、
ハンドルやシートに対するランブルストリップス擬似振動の発生、
警告音の出力、
保険料の負担増、
悪臭等の不快なフィードバック、
罰則課金、
例えば、上記のようなペナルティを科す。
このように短中長期的なペナルティフィードバックを定常的に実行すると人間工学的にみてヒトの行動心理に作用し、回避行動が習慣化されるすなわち、安全性を向上させる重要な仕組みとなる。
早期の自動運転から手動運転要請に対する引き継ぎ断念には、より安全で他道路利用者への影響の度合いの低い選択肢がある早い地点での対処を開始できる利点がある。一方で、安易に引き継ぎ断念を繰り返し多用すると、引き継ぎ意識の低下や不用意な引き継ぎ断念で安全な退避困難な状況を生み出すリスクが増大するなど懸念もある。
そこで、引き継げないと判断をした際には早期の引き継ぎ断念対処を行う機能を提供し、頻繁な早期の引き継ぎ断念の利用や遅れた復帰が行われた場合には運転者にペナルティを付与する。
このため、引き継ぎ断念の繰り返し悪用を管理する利用記録を保持する。
自主的な早期復帰を行った場合には運転者にインセンティブを付与する。また、復帰手続きの開始や実行が遅れた場合には、短期的なペナルティとして制限速度を引き下げるなどのペナルティを実施する構成としてもよい。
このように、運転者による無用な早期断念の多用や復帰対処の遅延が繰り返し発生した場合は、例えば頻度に応じた階層的ペナルティをシステムが実行する。この構成により、運転者の手動運転の早期復帰行動の習慣改善を促す。
また、運転者の体調不良など引き継ぎリスクがある際には、躊躇ない早期断念を可能とし、復帰可能な場合には、復帰通知を受けたら速やかな復帰を実行させることが可能となり、道路利用中の周辺車両フローを乱すことなく引き継ぎ実施がされるようになる。
なお、これら運転者の行動特性を改善する記録が改ざんされて無効化されてしまうと機能が生かせないため、記録データには改ざん防止構成を施すことが望ましい。
このように、本開示の構成は、システムによる過剰な依存利用や通知対処遅延に対するペナルティ機能との兼ね合わせた利用が可能であり、運転者の早期断念と引き継ぐ際の早期引き継ぎ実施の習慣化を促進する副次的効果が得られる。
【0359】
[6.情報処理装置の構成例について]
上述した処理は、
図8を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置において実行することが可能である。
図38を参照して、このような情報処理装置のハードウェア構成例について説明する。
【0360】
図38は、情報処理装置のハードウェア構成例を示す図である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
【0361】
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等の状況データ取得部などよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。
なお、入力部506には、センサ521からの入力情報も入力される。
また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
【0362】
CPU501は、入力部506から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0363】
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
【0364】
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0365】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報をシステムに入力する引き継ぎ断念入力部と、
前記引き継ぎ断念入力部からの入力に応じて、自動運転車両の退避処理を実行するデータ処理部を有する情報処理装置。
【0366】
(2) 前記データ処理部は、
前記引き継ぎ拒否情報の入力前に選択可能な退避処理の選択肢を生成し、
前記引き継ぎ拒否情報の入力後に前記選択肢から選択した退避処理を実行する(1)に記載の情報処理装置。
【0367】
(3) 前記データ処理部は、
前記退避処理として、減速、停止、現走行路以外の走行路または駐車場または路側帯への移動のいずれかを実行する(1)または(2)に記載の情報処理装置。
【0368】
(4) 前記データ処理部は、
周囲への影響の少ない退避処理を選択して実行する(1)~(3)いずれかに記載の情報処理装置。
【0369】
(5) 前記データ処理部は、
前記運転者の観測情報を入力し、入力した観測情報に基づいて運転者が規定時間までに手動運転へ復帰することが困難であるか否かを判定し、
復帰困難と判定した場合、自動運転車両の退避処理を実行する(1)~(4)いずれかに記載の情報処理装置。
【0370】
(6) 前記データ処理部は、
前記車両の走行路情報を取得し、取得した走行路情報を利用して前記退避処理として実行可能な選択肢を生成する(1)~(5)いずれかに記載の情報処理装置。
【0371】
(7) 前記走行路情報はLDM(ローカルダイナミックマップ)、または先導車からの通信情報から取得する情報である(6)に記載の情報処理装置。
【0372】
(8) 前記データ処理部は、
前記運転者の観測情報を入力し、入力した観測情報に基づいて、前記運転者が手動運転に復帰するまでの必要時間を算出する(1)~(7)いずれかに記載の情報処理装置。
【0373】
(9) 前記データ処理部は、
前記必要時間に応じて、前記運転者に対する手動運転復帰要求通知の実行タイミングを決定する(8)に記載の情報処理装置。
【0374】
(10) 前記データ処理部は、
前記手動運転復帰要求通知に対する前記運転者の応答に基づいて、運転者の手動運転への復帰品質を評価する(8)または(9)に記載の情報処理装置。
【0375】
(11) 前記データ処理部は、
前記復帰品質の評価結果に基づいて、運転者が手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクを判定する(10)に記載の情報処理装置。
【0376】
(12) 前記データ処理部は、
運転者が手動運転区間の開始位置である切り替え地点までに手動運転へ復帰できないリスクが高いと判定した場合、自動運転車両の退避処理を実行する(11)に記載の情報処理装置。
【0377】
(13) 前記データ処理部は、
前記運転者が手動運転への引き継ぎ断念拒否情報をシステムに入力した場合、前記運転者に対するペナルティを科すため、前記引き継ぎ断念拒否情報の入力履歴を記憶部に記録する(1)~(12)いずれかに記載の情報処理装置。
【0378】
(14) 自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の運転者情報を取得する運転者情報取得部と、
前記移動装置の周囲情報を取得する環境情報取得部と、
前記移動装置の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報をシステムに入力する引き継ぎ断念入力部と、
前記環境情報取得部の取得する情報に基づいて、自動運転から手動運転への切り替え地点を確認し、前記切り替え地点に到達する前に前記運転者に対して、手動運転復帰要求通知を実行するデータ処理部を有し、
前記データ処理部は、さらに、
前記引き継ぎ断念入力部からの入力に応じて、自動運転車両の退避処理を実行する移動装置。
【0379】
(15) 前記データ処理部は、
前記引き継ぎ拒否情報の入力前に選択可能な退避処理の選択肢を生成し、
前記引き継ぎ拒否情報の入力後に前記選択肢から選択した退避処理を実行する(14)に記載の移動装置。
【0380】
(16) 前記データ処理部は、
前記退避処理として、減速、停止、現走行路以外の走行路または駐車場または路側帯への移動のいずれかを実行する(14)または(15)に記載の移動装置。
【0381】
(17) 前記データ処理部は、
周囲への影響の少ない退避処理を選択して実行する(14)~(16)いずれかに記載の移動装置。
【0382】
(18) 情報処理装置において実行する情報処理方法であり、
データ処理部が、
車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ断念情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行する情報処理装置方法。
【0383】
(19) 移動装置において実行する情報処理方法であり、
前記移動装置は、自動運転と手動運転の切り替えが可能な移動装置であり、
運転者情報取得部が、前記移動装置の運転者の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の周囲情報を取得する環境情報取得ステップと、
データ処理部が、
前記環境情報取得部の取得する情報に基づいて、自動運転から手動運転への切り替え地点を確認し、前記切り替え地点に到達する前に前記運転者に対して、手動運転復帰要求通知を実行するステップと、
前記移動装置の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ断念情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行する情報処理方法。
【0384】
(20) 情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
車両の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報がシステムに入力されたことを検出するステップと、
前記引き継ぎ断念情報の入力に応じて、自動運転車両の退避処理を実行するステップを実行させるプログラム。
【0385】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0386】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0387】
以上、説明したように、本開示の一実施例の構成によれば、車両の運転者からの手動運転への切り替え拒否の申請に応じて車両の減速や停止等の退避制御を実行する構成が実現される。
具体的には、例えば、自動運転と手動運転の切り替えが可能な移動装置であり、移動装置の運転者の運転者情報を取得する運転者情報取得部と、移動装置の周囲情報を取得する環境情報取得部と、移動装置の自動運転を手動運転に変更する運転引き継ぎを運転者が拒否するための引き継ぎ拒否情報をシステムに入力する引き継ぎ断念入力部と、環境情報取得部の取得する情報に基づいて、自動運転から手動運転への切り替え地点を確認し、切り替え地点に到達する前に運転者に手動運転復帰要求通知を実行するデータ処理部を有する。データ処理部は、運転者のシステムに対する過度な依存利用を避けながら、引き継ぎ断念入力に応じて車両の早期の計画的な退避処理を他の道路利用者への影響を最少化して実行する。
本構成により、車両の運転者からの手動運転への切り替え拒否の申請に応じて車両の減速や停止等の退避制御を実行する構成が実現される。
【符号の説明】
【0388】
10・・自動車,11・・データ処理部,12・・運転者情報取得部,13・・環境情報取得部,14・・通信部,15・・通知部,20・・運転者,30・・サーバ,50・・情報端末,100・・移動装置,101・・入力部,102・・データ取得部,103・・通信部,104・・車内機器,105・・出力制御部,106・・出力部,107・・駆動系制御部,108・・駆動系システム,109・・ボディ系制御部,110・・ボディ系システム,111・・記憶部,112・・自動運転制御部,121・・通信ネットワーク,131・・検出部,132・・自己位置推定部,133・・状況分析部,134・・計画部,135・・動作制御部,141・・車外情報検出部,142・・車内情報検出部,143・・車両状態検出部,151・・マップ解析部,152・・交通ルール認識部,153・・状況認識部,154・・状況予測部,155・・安全性判別部,161・・ルート計画部,162・・行動計画部,163・・動作計画部,171・・緊急事態回避部,172・・加減速制御部,173・・方向制御部,200・・移動装置,201・・・運転履歴情報取得部,202・・・生体情報取得部,203・・・姿勢情報取得部,204・・・LDM・車両依存復帰システム要求取得部,205・・・復帰通知、警告タイミング算出部,206・・・復帰予測対応遅延評価部,207・・・復帰遅延対策処理部,208・・・復帰時間猶予判定部,209・・・緊急処理実行部,210・・・復帰遅延ペナルティ生成、記録部,211・・・運転者復帰特性辞書,212・・・復帰特性学習部,221・・・引き継ぎ断念入力部,250・・・データ処理部,331・・・最適復帰通知点算出部,332・・・復帰特性辞書,333・・・退避処理候補選択部,334・・・バジェット管理部,335・・・早期退避制御実行部,336・・・ペナルティ生成、記録部,501・・CPU,502・・ROM,503・・RAM,504・・バス,505・・入出力インタフェース,506・・入力部,507・・出力部,508・・記憶部,509・・通信部,510・・ドライブ,511・・リムーバブルメディア,521・・センサ,522・・駆動部