(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】覚醒状態判定システム
(51)【国際特許分類】
A61B 5/18 20060101AFI20241112BHJP
G08G 1/16 20060101ALI20241112BHJP
B60R 11/04 20060101ALI20241112BHJP
【FI】
A61B5/18
G08G1/16 F
B60R11/04
(21)【出願番号】P 2021053252
(22)【出願日】2021-03-26
【審査請求日】2023-12-19
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110000213
【氏名又は名称】弁理士法人プロスペック特許事務所
(72)【発明者】
【氏名】松村 健
【審査官】渡戸 正義
(56)【参考文献】
【文献】特開2019-154613(JP,A)
【文献】特開2019-038471(JP,A)
【文献】特開2021-033344(JP,A)
【文献】特表2018-518205(JP,A)
【文献】国際公開第2019/155913(WO,A1)
【文献】特開2019-109779(JP,A)
【文献】特開2021-047612(JP,A)
【文献】米国特許出願公開第2019/0100110(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/16 - 5/18
G08G 1/16
B60R 11/04
(57)【特許請求の範囲】
【請求項1】
車両の運転
者の覚醒度合を取得する覚醒状態判定処理を実行する制御装置と、
前記運転者によって携帯され、バッテ
リ及び第2撮像部を備える携帯端末であって、前記覚醒状態判定処理に使用される情
報として前記第2撮像部によって取得された画像を端末側情報として前記制御装置に送信する情報送信処理を実行する携帯端末と、
を備え、
前記制御装置は
、
前記端末側情報を用い
て前記覚醒状態判定処理を実行
し、
前記覚醒状態判定処理により取得された前記覚醒度合が前記運転者が覚醒状態であることを表す第1度合であるときには前記運転者を監視する重要性のレベルが所定のレベルよりも低いと判定し、前記覚醒状態判定処理により取得された前記覚醒度合が前記運転者が居眠り状態ではないが眠気を感じている状態であることを表す第2度合及び前記運転者が居眠り状態であることを表す第3度合の何れかであるときには前記重要性のレベルが前記所定のレベルよりも高いと判定し、
前記携帯端末は、
前
記重要性のレベル
が前記所定のレベルより
も高いと判定された場合には第1時間(T1)が経過するごとに前記第2撮像部によって前記画像を取得し且つ当該画像を前記端末側情報として前記制御装置に送信する第1処理を前記情報送信処理として実行し、
前記重要性のレベルが前記所定のレベルより
も低いと判定された場合には前記第1時間(T1)よりも長い第2時間(T2)が経過するごとに前記第2撮像部によって前記画像を取得し且つ当該画像を前記端末側情報として前記制御装置に送信する第2処理を前記情報送信処理として実行する、
ように構成された、
覚醒状態判定システム。
【請求項2】
請求項1に記載の覚醒状態判定システムにおいて、
前記携帯端末は
、
前記重要性のレベルが前記所定のレベルよりも高いと判定された場合であっても、
前記バッテリ
の電力が早く無くなる可能性
が高いと推定される場合には前記第2処理を前記情報送信処理として実行し、
前記バッテリの電力が早く無くなる可能性が低いと推定される場合には前記第1処理を前記情報送信処理として実行する、
ように構成された、
覚醒状態判定システム。
【請求項3】
請求項1に記載の覚醒状態判定システムにおいて
、
前記制御装置は
、
前記車両の運転操作を自動的に行う自動運転制御を実行するように構成され、
前記自動運転制御が終了するまでの予測時間(Tf)が所定の時間閾値(Tth)以内である場合には前記重要性のレベルが前記所定のレベルよりも高いと判定し、
前記予測時間(Tf)が前記時間閾値(Tth)以内でない場合には前記重要性のレベルが前記所定のレベルよりも低いと判定する、
ように構成された、
覚醒状態判定システム。
【請求項4】
請求
項3に記載の覚醒状態判定システムにおいて、
前記携帯端末は、前記自動運転制御が終了される場合、
前記自動運転制御の再開の可能性が高いとき、前記情報送信処理を継続させ、
前記自動運転制御の再開の可能性が低いとき、前記情報送信処理を終了させる
ように構成された、
覚醒状態判定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、運転者の覚醒状態を判定するシステムに関する。
【背景技術】
【0002】
従来から、車両の運転者の顔をカメラ(ドライバモニタカメラ)を用いて撮影して、カメラによって取得された画像データに基づいて運転者が覚醒状態であるかを判定する装置(以下、「従来装置」と称呼する。)が提案されている(例えば、特許文献1を参照。)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
更に、従来から、自動運転制御を実行するように構成された自動運転装置が提案されている。自動運転制御は、運転者による運転操作なしに、車両の速度及び操舵輪の舵角等を自動的に変更する制御である。自動運転制御のレベル(所謂、自動運転レベル)は、SAE(Society of Automotive Engineers)によって、複数のレベル0~5に区分される。近年、レベル3の自動運転制御が実用化され始めている。レベル3は、特定の環境下において自動運転装置が全ての運転操作を実行するレベルであり、運転操作の交代要求(以下、単に「運転操作交代要求」と称呼する。)が発生した場合には運転者が運転操作を行うことが求められるレベルである。従って、レベル3の自動運転制御は、「条件付き自動運転制御」と称呼される場合がある。
【0005】
レベル3においては、自動運転装置が自動運転制御を継続できない場合(運転操作交代要求が発生した場合)には、運転者が運転操作を引き継ぐ必要がある。従って、運転者が居眠り状態であることは許容されない。一方で、運転者が脇見していることは許容される。従って、自動運転装置がレベル3の自動運転制御を実行している間、運転者は、様々な行動(携帯端末の操作又は読書等)を行うことができる。
【0006】
例えば、自動運転制御の実行中に運転者が携帯端末(例えば、スマートフォン)を操作すると仮定する。携帯端末は、通常、カメラを備えている。従って、携帯端末で取得された運転者の画像を用いて運転者が覚醒状態であるかを判定する構成も有効であると考えられる。そこで、本願の発明者は、携帯端末において取得された情報を用いて、運転者が覚醒状態であるかを判定するシステムを検討している。しかし、当該システムにおいては、携帯端末の処理負荷が大きくなり、携帯端末のバッテリの電力の残量が急激に減る可能性がある。
【0007】
本開示の目的の一つは、携帯端末において取得された情報を用いて運転者が覚醒状態であるかを判定するシステムにおいて、状況に応じて、携帯端末のバッテリの消費度合を調節することができる技術を提供することである。
【0008】
1つ以上の実施形態における覚醒状態判定システムは、
車両(VA)の運転者(DR)が覚醒状態であるかを判定する覚醒状態判定処理を実行する制御装置(10)と、
前記運転者によって携帯され、バッテリ(304)を備える携帯端末(110)であって、前記覚醒状態判定処理に使用される情報を前記携帯端末において取得するとともに当該取得された情報を端末側情報として前記制御装置に送信する情報送信処理を実行する携帯端末と、
を備える。
前記制御装置は、前記端末側情報を用いて、前記覚醒状態判定処理を実行するように構成されている。
前記携帯端末は、前記運転者を監視する重要性のレベルが所定のレベルよりも低い場合、前記重要性のレベルが前記所定のレベルよりも高い場合に比べて前記バッテリの電力の消費度合が小さくなるように、前記情報送信処理を実行するように構成されている。
【0009】
上記の構成によれば、運転者を監視する重要性が低い場合には、バッテリの電力の消費が抑えられる。従って、バッテリの電力の残量が急激に減るのを抑えることができる。
【0010】
1つ以上の実施形態において、前記携帯端末は、前記バッテリの前記電力が早く無くなる可能性が高いと推定される場合、前記可能性が低いと推定される場合に比べて前記消費度合が小さくなるように、前記情報送信処理を実行するように構成されている。
【0011】
上記の構成によれば、携帯端末は、バッテリの電力が無くなるのを防ぎながら(或いはバッテリの電力が無くなるまでの時間を長くしながら)、情報送信処理を継続できる。従って、制御装置は、情報送信処理によって送信された端末側情報を用いて、覚醒状態判定処理を継続できる。
【0012】
1つ以上の実施形態において、覚醒状態判定システムは、前記車両に搭載され、前記運転者を撮像する第1撮像部(76)を更に備える。前記携帯端末は、前記運転者を撮像する第2撮像部(202)を備える。
前記制御装置は、
前記第1撮像部又は前記第2撮像部によって取得された画像に基づいて、前記運転者の覚醒度合を演算し、
前記覚醒度合に基づいて、前記重要性のレベルを判定する
ように構成されている。
【0013】
例えば、運転者が眠気を感じている場合、近い将来、運転者が居眠り状態に陥る可能性がある。このような状況においては、運転者を監視する重要性のレベルが高い。上記の構成によれば、制御装置は、覚醒度合に基づいて、運転者を監視する重要性のレベルを判定できる。
【0014】
1つ以上の実施形態において、前記制御装置は、前記車両の運転操作を自動的に行う自動運転制御を実行するように構成されている。前記制御装置は、前記自動運転制御の実行中において、前記端末側情報を用いて、前記覚醒状態判定処理を実行するように構成されている。
【0015】
1つ以上の実施形態において、前記制御装置は、前記自動運転制御が終了するまでの予測時間(Tf)に基づいて、前記重要性のレベルを判定するように構成されている。
【0016】
例えば、自動運転制御が終了された場合、運転者が運転操作を引き継ぐ必要がある。運転者が居眠り状態であると、運転者が運転操作を引き継ぐことができない。従って、自動運転制御が終了されるまでの時間が短いと予測される場合、運転者を監視する重要性のレベルが高い。これに対し、自動運転制御が終了されるまでの時間が長いと予測される場合、自動運転制御により車両の運転操作が行われるので、運転者を監視する重要性のレベルが相対的に低い。このように、制御装置は、自動運転制御が終了するまでの予測時間に基づいて、運転者を監視する重要性のレベルを判定できる。
【0017】
1つ以上の実施形態において、前記携帯端末は、前記自動運転制御が終了される場合、
前記自動運転制御の再開の可能性が高いとき、前記情報送信処理を継続させ、
前記自動運転制御の再開の可能性が低いとき、前記情報送信処理を終了させる
ように構成されている。
【0018】
上記の構成によれば、自動運転制御の再開の可能性が高いとき、携帯端末が情報送信処理を継続させる。自動運転制御が再開されたときに、制御装置は、端末側情報を用いて、すぐに覚醒状態判定処理を再開できる。
【0019】
1つ以上の実施形態において、前記携帯端末は、前記自動運転制御の再開の可能性が高いとき、
前記情報送信処理の中で前記消費度合が小さい処理を継続させ、
前記情報送信処理の中で前記消費度合が大きい処理を終了させる
ように構成されている。
【0020】
上記の構成によれば、携帯端末は、バッテリの電力の消費度合が大きい情報送信処理を終了させるので、バッテリの電力の残量が急激に減るのを抑えることができる。携帯端末は、バッテリの電力の消費度合が小さい情報送信処理を継続させるので、自動運転制御が再開されたときに、制御装置は、端末側情報を用いて、すぐに覚醒状態判定処理を再開できる。
【0021】
一以上の実施形態において、上記の制御装置は、本明細書に記述される一以上の機能を実行するためにプログラムされたマイクロプロセッサにより実施されてもよい。一以上の実施形態において、上記の制御装置は、一以上のアプリケーションに特化された集積回路、即ち、ASIC等により構成されたハードウェアによって、全体的に或いは部分的に実施されてもよい。上記説明においては、後述する一以上の実施形態に対応する構成要素に対し、実施形態で用いた名称及び/又は符号を括弧書きで添えている。しかしながら、各構成要素は、前記名称及び/又は符号によって規定される実施形態に限定されるものではない。
【図面の簡単な説明】
【0022】
【
図1】第1実施形態に係る覚醒状態判定システムの概略構成図である。
【
図2】第1実施形態に係る携帯端末の外観図である。
【
図3】第1実施形態に係る携帯端末の概略構成図である。
【
図4】自動運転制御の実行中に運転者が携帯端末を操作する状況を示した図である。
【
図5】
図4の状況において携帯端末のフロントカメラによって取得された画像の例である。
【
図6】第1実施形態における自動運転装置(自動運転ECU)及び携帯端末のシーケンス図である。
【
図7】第1実施形態において
図6のステップ607にて実行されるルーチンを示したフローチャートである。
【
図8】第2実施形態において
図6のステップ607にて実行されるルーチンを示したフローチャートである。
【発明を実施するための形態】
【0023】
<第1実施形態>
図1に示したように、第1実施形態に係る覚醒状態判定システム(以下、「第1システム」と称呼される場合がある。)は、車両VAに搭載(適用)された自動運転装置100と、携帯端末110とを含む。
【0024】
(自動運転装置の構成)
自動運転装置100は、自動運転ECU10、エンジンECU20、ブレーキECU30、ステアリングECU40、メータECU50、及び、ナビゲーションECU60を備えている。これらのECUは、CAN(Controller Area Network)90を介して互いにデータを送受信可能となるように接続されている。
【0025】
ECUは、エレクトロニックコントロールユニットの略称であり、マイクロコンピュータを主要構成部品として有する電子制御回路である。マイクロコンピュータは、CPU、ROM、RAM、インターフェース及び不揮発性メモリ等を含む。CPUはROMに格納されたインストラクション(ルーチン、プログラム)を実行することにより各種機能を実現する。例えば、自動運転ECU10は、CPU10a、ROM10b、RAM10c、インターフェース(I/F)10d及び不揮発性メモリ10e等を含むマイクロコンピュータを備える。
【0026】
エンジンECU20は、エンジンアクチュエータ21に接続されている。エンジンアクチュエータ21は、内燃機関22のスロットル弁の開度を変更するスロットル弁アクチュエータを含む。エンジンECU20は、エンジンアクチュエータ21を駆動することによって、内燃機関22が発生するトルクを変更することができる。内燃機関22が発生するトルクは、トランスミッション23及び駆動力伝達機構を介して駆動輪に伝達される。従って、エンジンECU20は、エンジンアクチュエータ21を制御することによって、車両VAの駆動力を制御することができる。
【0027】
なお、車両VAが、ハイブリッド車両である場合、エンジンECU20は、駆動源としての「内燃機関及び電動機」の何れか一方又は両方によって発生する駆動力を制御することができる。更に、車両VAが電気自動車である場合、エンジンECU20は、駆動源としての電動機によって発生する駆動力を制御することができる。
【0028】
ブレーキECU30は、ブレーキアクチュエータ31に接続されている。ブレーキアクチュエータ31は、公知の油圧回路を含む。油圧回路は、リザーバ、オイルポンプ及び種々の弁装置等を含む。ブレーキアクチュエータ31は、ブレーキECU30からの指示に応じてホイールシリンダ32に供給する油圧(即ち、制動圧)を調整する。制動圧に応じて車輪に発生する摩擦制動力が変化する。従って、ブレーキECU30は、ブレーキアクチュエータ31を制御することによって、車両VAの制動力を制御することができる。
【0029】
ステアリングECU40は、アシストモータ(M)41に接続されている。アシストモータ41は、ステアリング機構42に組み込まれている。ステアリング機構42は、操舵ハンドルSWの回転操作により操舵輪を転舵するための機構である。ステアリング機構42は、操舵ハンドルSW、操舵ハンドルSWに連結されたステアリングシャフトUS、及び、図示しない操舵用ギア機構等を含む。ステアリングECU40は、ステアリングシャフトUSに設けられた図示しない操舵トルクセンサによって、運転者が操舵ハンドルSWに入力した操舵トルクを検出し、この操舵トルクに基づいてアシストモータ41を駆動する。ステアリングECU40は、このアシストモータ41の駆動によってステアリング機構42に操舵トルク(操舵アシストトルク)を付与し、これにより、運転者の操舵操作をアシストすることができる。
【0030】
加えて、ステアリングECU40は、以降で説明する自動運転制御の実行中に自動運転ECU10からの操舵指令(後述する自動操舵トルクを含む。)に従って、アシストモータ41を駆動する。この自動操舵トルクは、上述した操舵アシストトルクとは異なり、運転者の操舵操作を必要とせずに、自動運転ECU10からの操舵指令によってステアリング機構42に付与されるトルクを表す。自動操舵トルクにより、車両VAの操舵輪の舵角が変更される。
【0031】
メータECU50は、報知装置51に接続されている。報知装置51は、ブザー及び表示装置を含む。表示装置は、例えば、運転席の正面に設けられたマルチインフォメーションディスプレイである。メータECU50は、自動運転ECU10からの指示に応じて、ブザーを鳴動させて運転者への注意喚起を行ったり、表示装置に注意喚起用のマーク(ウォーニングランプ)を表示したりすることができる。
【0032】
ナビゲーションECU60は、GPS受信機61及び地図記憶部62に接続されている。GPS受信機61は、車両VAが位置している場所の「緯度及び経度」を検出するためのGPS信号を受信する。地図記憶部62は、地図情報を記憶している。地図情報は、道路情報を含む。道路情報は、道路の種別、道路の幅員及び道路の曲率等を含む。なお、本例において、道路の種別は、自動車専用道路(高速道路)及び一般道路の何れかである。ナビゲーションECU60は、車両VAが位置している場所の緯度及び経度、並びに地図情報等に基づいて各種の演算処理を行い、図示しないタッチパネルに地図上での車両VAの位置を表示させる。
【0033】
車速センサ71は、車両VAの走行速度(車速)を検出し、車速SPDを表す信号を自動運転ECU10に出力するようになっている。
【0034】
加速度センサ72は、車両VAに生じる加速度に関する情報(以下、「第1加速度情報」と称呼する。)を取得し、当該第1加速度情報を表す信号を自動運転ECU10に出力する。第1加速度情報は、車両VAの前後方向の加速度(前後加速度)である加速度ax1と、車両VAの横方向の加速度(横加速度)である加速度ay1と、車両VAの上下方向の加速度である加速度az1とを含む。
【0035】
周囲センサ73は、車両VAの周囲の道路(車両VAが走行している走行レーンを含む。)に関する情報、及び、道路に存在する立体物に関する情報を取得するようになっている。立体物は、例えば、歩行者、四輪車及び二輪車などの移動物、並びに、ガードレール及びフェンスなどの固定物を含む。以下、これらの立体物は、単に「物体」と称呼される。周囲センサ73は、レーダセンサ74及びカメラセンサ75を備えている。
【0036】
レーダセンサ74は、例えば、ミリ波帯の電波(以下、「ミリ波」と称呼する。)を少なくとも車両VAの前方領域を含む周辺領域に放射し、放射範囲内に存在する物体によって反射されたミリ波(即ち、反射波)を受信する。そして、レーダセンサ74は、物体の有無について判定するとともに、車両VAと物体との相対関係を示す情報を演算する。車両VAと物体との相対関係を示す情報は、車両VAと物体との距離、車両VAに対する物体の方位(又は位置)、及び、車両VAと物体との相対速度等を含む。以降において、車両VAと物体との相対関係を示す情報は、単に「物体情報」と称呼される。
【0037】
カメラセンサ75は、車両VAの前方の風景を撮影して画像データを取得する。カメラセンサ75は、その画像データに基づいて、走行レーンを規定する左区画線及び右区画線(例えば、左白線及び右白線)を認識し、走行レーンの形状を示すパラメータ(例えば、曲率)、及び、車両VAと走行レーンとの位置関係を示すパラメータ等を演算する。車両VAと走行レーンとの位置関係を示すパラメータは、例えば、左区画線又は右区画線から車両VAの車幅方向の中心位置までの距離である。カメラセンサ75によって取得された情報は「車線情報」と称呼される。なお、カメラセンサ75は、画像データに基づいて、物体の有無を判定し、物体情報を演算するように構成されてもよい。
【0038】
周囲センサ73は、「物体情報及び車線情報」を含む車両VAの周辺状況に関する情報を「車両周辺情報」として自動運転ECU10に出力する。
【0039】
ドライバモニタカメラ(第1撮像部)76は、操舵ハンドルSWのコラムカバー(所謂、ステアリングコラムカバー)の上側に配置されている。ドライバモニタカメラ76は、運転者を撮影して画像データを取得し、当該画像データを自動運転ECU10に出力する。ドライバモニタカメラ76の位置及び向きは、運転者の顔の全体が撮影できるように、設定されている。以降において、ドライバモニタカメラ76によって取得された画像データは、「第1画像」と称呼される。
【0040】
なお、ドライバモニタカメラ76は、車両VA内において運転者の顔が撮影できる限り、他の位置に設定されてもよい。例えば、ドライバモニタカメラ76は、ダッシュボード又はフロントガラスの近傍に設けられてもよい。
【0041】
更に、自動運転ECU10は、通信ユニット80に接続されている。通信ユニット80は、図示しない「アンテナ部及び通信処理部」を備える。通信ユニット80は、無線通信を通して携帯端末110と相互に情報を送信及び受信可能に構成されている。
【0042】
通信ユニット80は、携帯端末110以外の装置と通信可能に構成されてもよい。通信ユニット80は、VICS(登録商標)(Vehicle Information and Communication System)と通信して、VICS(登録商標)から道路交通情報を受信してもよい。道路交通情報は、渋滞区間の情報、及び、通行止め区間の情報等を含む。
【0043】
自動運転スイッチ81は、運転者により操作されるスイッチである。運転者は、自動運転スイッチ81を操作することにより、後述する自動運転制御の作動状態を設定することができる。
【0044】
(自動運転制御の概要)
以降において、自動運転ECU10は、単に「ECU10」と称呼される。ECU10は、自動運転制御を実行するように構成されている。本例において、自動運転レベルは、レベル3である。自動運転制御は、速度制御及び操舵制御を含む。
【0045】
速度制御の一例として、アダプティブ・クルーズ・コントロール(以下、単に「ACC」と称呼する。)が挙げられる。ACC自体は公知である(例えば、特開2014-148293号公報、特開2006-315491号公報、及び、特許第4172434号明細書等を参照。)。
【0046】
ACCは、定速走行制御と先行車追従制御の2種類の制御を含む。定速走行制御は、アクセルペダル及びブレーキペダルの操作を要することなく、車両VAの走行速度を目標速度Vsetと一致させるように車両VAの速度を調整する制御である。先行車追従制御は、アクセルペダル及びブレーキペダルの操作を要することなく、先行車(追従対象車両)と車両VAとの車間距離を目標車間距離Dsetに維持しながら追従対象車両に対して車両VAを追従させる制御である。追従対象車両は、車両VAの前方領域であって車両VAの直前を走行している車両である。
【0047】
ECU10は、車両周辺情報に基づいて追従対象車両が存在しているか否かを判定する。ECU10は、追従対象車両が存在しないと判定した場合、定速走行制御を実行する。ECU10は、車速SPDが目標速度Vsetに一致するように、エンジンECU20を用いてエンジンアクチュエータ21を制御して駆動力を制御するとともに、必要に応じてブレーキECU30を用いてブレーキアクチュエータ31を制御して制動力を制御する。
【0048】
これに対し、ECU10は、追従対象車両が存在すると判定した場合、先行車追従制御を実行する。ECU10は、目標車間時間twに車速SPDを乗じることにより、目標車間距離Dsetを演算する。目標車間時間twは、図示しない車間時間スイッチを用いて設定される。ECU10は、車両VAと追従対象車両との間の車間距離が目標車間距離Dsetに一致するように、エンジンECU20を用いてエンジンアクチュエータ21を制御して駆動力を制御するとともに、必要に応じてブレーキECU30を用いてブレーキアクチュエータ31を制御して制動力を制御する。
【0049】
操舵制御の一例として、レーン・キーピング・アシスト・コントロール(以下、単に「LKA」と称呼する。)が挙げられる。LKA自体は公知である(例えば、特開2008-195402号公報、特開2009-190464号公報、特開2010-6279号公報、及び、特許第4349210号等を参照。)。
【0050】
LKAは、区画線又は先行車の走行軌跡(即ち、先行車軌跡)若しくはこれらの両方を活用して設定される目標走行ラインに沿って車両VAが走行するように、自動操舵トルクをステアリング機構42に付与して車両VAの操舵輪の舵角を変化させる制御である。
【0051】
ECU10は、車両周辺情報に基づいて目標走行ラインを設定する。目標走行ラインは、例えば、左区画線と右区画線との間の道路幅方向における中央位置を結ぶライン(即ち、車両VAが走行しているレーンの中央ライン)、又は、先行車軌跡である。ECU10は、車両VAを目標走行ラインに沿って走行させるための自動操舵トルクを演算する。ECU10は、アシストモータ41により生じる実際のトルクが自動操舵トルクに一致するように、ステアリングECU40を用いてアシストモータ41を制御する。これにより、車両VAの操舵輪の舵角が変更される。
【0052】
ECU10は、自動運転制御を特定の状況下において実行することができる。ECU10は、所定の自動運転実行条件が成立する場合、自動運転制御を実行する。例えば、自動運転実行条件は、以下の条件A1乃至条件A3の全てが成立したときに成立する。
(条件A1):車両VAが自動車専用道路を走行している。
(条件A2):車速SPDが所定の速度閾値SPDth以下である。
(条件A3):運転者が自動運転スイッチ81を押下して、自動運転制御の作動状態をオフ状態からオン状態へと設定した。
【0053】
速度閾値SPDthは比較的小さい値に設定されてもよい。この場合、自動運転実行条件が成立する状況は、車両VAが渋滞区間を走行している状況を意味する。このような状況において、ECU10は、自動運転制御を実行してもよい。
【0054】
なお、自動運転実行条件は、上記の例に限定されず、他の条件であってもよい。地図記憶部62に記憶されている道路情報は、レベル3の自動運転制御が可能な区間(以下、「自動運転区間」と称呼する。)を示す情報を含んでもよい。この場合、ECU10は、ナビゲーションECU60を介して道路情報を取得する。車両VAが自動運転区間を走行している状況において運転者が自動運転スイッチ81を押下した場合に、ECU10は、自動運転実行条件が成立したと判定してもよい。
【0055】
別の例において、ECU10は、通信ユニット80を介して交通情報(渋滞区間の情報を含む。)を取得してもよい。この構成において、車両VAが渋滞区間を走行している状況において運転者が自動運転スイッチ81を押下した場合に、ECU10は、自動運転実行条件が成立したと判定してもよい。
【0056】
ECU10は、所定の自動運転終了条件が成立する場合、自動運転制御を終了させる。例えば、自動運転終了条件は、以下の条件B1乃至条件B4のうちの少なくとも1つが成立したときに成立する。
(条件B1):車両VAが自動車専用道路の出口に到着した。
(条件B2):車速SPDが速度閾値SPDthよりも大きくなった。
(条件B3):運転者が自動運転スイッチ81を押下して、自動運転制御の作動状態をオン状態からオフ状態へと設定した。
(条件B4):自動運転制御を継続することができない事象(例えば、システムエラー)が発生した。
なお、自動運転終了条件は、上記の例に限定されず、他の条件であってもよい。
【0057】
(携帯端末の構成)
携帯端末110は、運転者によって携帯される装置であり、本例において、
図2に示すスマートフォンである。携帯端末110は、運転者によって携帯される限り、他の装置(例えば、タブレット端末又はウェアラブル端末)であってもよい。
【0058】
携帯端末110は、ディスプレイ201を備える。ディスプレイ201は、タッチパネル式のディスプレイであり、ディスプレイ201の表示面(操作面)に対するタッチ操作を検出することができる。
【0059】
携帯端末110は、ディスプレイ201側の面にフロントカメラ(第2撮像部)202を備える。なお、携帯端末110は、ディスプレイ201と反対側の面(即ち、背面)にリアカメラを備えてもよい。
【0060】
更に、携帯端末110は、その内部に加速度センサ203を備える。加速度センサ203は、携帯端末110に生じる加速度に関する情報(「第2加速度情報」と称呼する。)を取得する。第2加速度情報は、
図2に示す「x軸、y軸及びz軸の方向」のそれぞれの方向における加速度についての情報を含む。x軸は、携帯端末110の横方向に延びる座標軸である。y軸は、携帯端末110の縦方向に延びる座標軸である。z軸は、ディスプレイ201の面(操作面)に対して鉛直方向に延びる座標軸である。以降において、x軸方向の加速度は「加速度ax2」と称呼され、y軸方向の加速度は「加速度ay2」と称呼され、z軸方向の加速度は「加速度az2」と称呼される。
【0061】
携帯端末110は、更に、第1音量ボタン204a及び第2音量ボタン204b、並びに、ホームボタン205を備える。運転者が第1音量ボタン204aを押下すると、携帯端末110の音量が大きくなり、運転者が第2音量ボタン204bを押下すると、携帯端末110の音量が小さくなる。ホームボタン205は、起動している様々なアプリケーションを一時的に閉じて、ディスプレイ201にホーム画面を表示させるためのボタンである。
【0062】
図3に示すように、携帯端末110は、CPU301、メモリ302、及び、不揮発性メモリ303を備える。CPU301、メモリ302、不揮発性メモリ303、ディスプレイ201、フロントカメラ202及び加速度センサ203は、内部バス310を介して互いに接続されている。
【0063】
CPU301は、少なくとも1つのプロセッサ又は回路を含む。メモリ302は、例えば、RAMを含む。不揮発性メモリ303は、例えば、フラッシュメモリ及びROMを含む。CPU301は、メモリ302をワークメモリとして用いて、不揮発性メモリ303に格納されているインストラクション(ルーチン、プログラム)を実行する。
【0064】
更に、携帯端末110は、バッテリ304を備える。携帯端末110の上記の構成要素は、バッテリ304から供給された電力を用いて作動する。
【0065】
(覚醒状態判定処理の概要)
図4に示したように、ECU10が自動運転制御を実行している間、運転者DRが携帯端末110を操作する場合がある。そこで、ECU10は、自動運転制御の実行中において、携帯端末110において取得された情報を用いて、運転者DRが覚醒状態であるか否かを判定する。以降において、このような処理は、「覚醒状態判定処理」と称呼される。更に、携帯端末110において取得された情報は、「端末側情報」と称呼される。
【0066】
上記の構成のために、
図3に示すように、携帯端末110の不揮発性メモリ303は、監視アプリケーション330を格納している。監視アプリケーション330は、運転者DRの状態を監視する(モニタリング)するためのプログラムである。
【0067】
CPU301は、監視アプリケーション330を実行して、覚醒状態判定処理に使用するための情報を取得するとともに、当該取得された情報を端末側情報として自動運転装置100に送信する。以降において、このような処理は、単に「情報送信処理」と称呼される。
【0068】
本例において、CPU301は、以下のように情報送信処理を実行する。CPU301は、フロントカメラ202から、運転者DRの顔の画像(以下、「第2画像」と称呼する。)を取得する。
図5は、フロントカメラ202によって取得された第2画像500の例である。CPU301は、第2画像500を端末側情報として自動運転装置100に送信する。
【0069】
ECU10は、通信ユニット80を介して端末側情報を受信する。ECU10は、第2画像500に基づいて覚醒状態判定処理を実行する。具体的には、ECU10は、公知の手法に従って、運転者DRの覚醒度合を判定する。本例において、覚醒度合は、第1度合、第2度合、及び、第3度合を含む。第1度合は、運転者DRが覚醒状態であることを表す。第2度合は、運転者DRが居眠り状態ではないが、運転者DRが眠気を感じている状態であることを表す。第3度合は、運転者DRが居眠り状態であることを表す。
【0070】
例えば、覚醒度合は、閉眼率、まばたきの頻度、開眼の状態(上瞼と下瞼との間の距離)、眼球運動、及び、あくび行動の有無等のうちの少なくとも1つに基づいて判定される。以下、閉眼率について簡単に説明する。
【0071】
ECU10は、第2画像500を眼検出用の識別器に入力するか、又は、第2画像500上でテンプレートマッチングを行うことにより、第2画像500から運転者DRの眼を抽出する。ECU10は、例えば、抽出された眼の部分の縦横比に基づいて、眼が閉じているかを判定する。ECU10は、所定時間内で眼が閉じている時間の割合を閉眼率として演算する。閉眼率が第1閾値以下である場合、ECU10は、運転者DRの覚醒度合が第1度合であると判定する。閉眼率が第1閾値よりも大きく且つ第2閾値以下である場合、ECU10は、運転者DRの覚醒度合が第2度合であると判定する。閉眼率が第2閾値よりも大きい場合、ECU10は、運転者DRの覚醒度合が第3度合であると判定する。
【0072】
ECU10は、運転者DRの覚醒度合が第3度合であると判定した場合、報知装置51に所定の注意喚起処理を実行させる。具体的には、ECU10は、メータECU50を用いて、ブザーを鳴動させるとともに、表示装置にウォーニングランプを表示させる。
【0073】
ECU10は、上記の注意喚起処理に加えて、以下の処理を実行してもよい。ECU10は、自動運転制御を継続できないと判定して、運転者DRに対して運転操作交代要求を通知してもよい。更に、ECU10は、車両VAを徐々に減速させて車両VAを安全な位置(例えば、路肩又は非常駐車帯等)に停車させてもよい。
【0074】
(作動の概要)
上記の構成においては、携帯端末110が情報送信処理を実行するので、携帯端末110の処理負荷が大きくなる。従って、バッテリ304の電力の残量が急激に減る可能性がある。そこで、第1システムは、状況に応じて、携帯端末110のバッテリ304の電力の消費度合を調節する。
【0075】
例えば、自動運転制御が終了された場合、運転者DRが運転操作を引き継ぐ必要がある。運転者が居眠り状態であると、運転者DRが運転操作を引き継ぐことができない。従って、自動運転制御が終了されるまでの時間が短いと予測される場合、運転者DRを監視する重要性が高い。これに対し、自動運転制御が終了されるまでの時間が長いと予測される場合、自動運転制御により車両VAの運転操作が行われるので、運転者DRを監視する重要性が相対的に低い。
【0076】
別の例において、運転者DRが眠気を感じている場合、近い将来、運転者DRが居眠り状態に陥る可能性がある。このような状況においては、運転者DRを監視する重要性が高い。一方で、運転者DRが覚醒状態である場合、運転者DRを監視する重要性が相対的に低い。
【0077】
上記を考慮して、ECU10は、第1条件が成立するか否かを判定する。本例において、第1条件は、運転者DRを監視する重要性のレベルが所定のレベルよりも高いかを判定するための条件であり、以下の条件C1及び条件C2の少なくとも一方が成立したときに成立する。
(条件C1):自動運転制御が終了するまでの予測時間Tfが所定の時間閾値Tth以内である。
(条件C2):運転者DRの覚醒度合が第2度合又は第3度合である。
【0078】
例えば、ECU10は、車両VAの現在の位置から自動車専用道路の出口までの距離に基づいて予測時間Tfを演算し、これにより、条件C1が成立するかを判定する。これは、車両VAが自動車専用道路の出口に到着すると、条件B1が成立する(即ち、自動運転制御が終了される)ためである。車両VAが渋滞区間を走行している場合、ECU10は、車両VAの現在の位置から渋滞区間の終端までの距離に基づいて予測時間Tfを演算してもよい。これは、車両VAが渋滞区間を抜けると、車速SPDが速度閾値SPDthよりも大きくなり、これにより、条件B2が成立するためである。このように、ECU10は、予測時間Tfに基づいて、運転者DRを監視する重要性のレベルが所定のレベルよりも高いか又は低いかを判定できる。
【0079】
更に、ECU10は、第2画像500に基づいて運転者DRの覚醒度合を演算し、条件C2が成立するかを判定する。このように、ECU10は、運転者DRの覚醒度合に基づいて、運転者DRを監視する重要性のレベルが所定のレベルよりも高いか又は低いかを判定できる。
【0080】
ECU10は、携帯端末110に、情報送信処理の内容を指示する処理指示信号を送信する。処理指示信号の内容は、第1条件が成立するかどうかに従って変更される。携帯端末110は、処理指示信号に従って、情報送信処理を実行する。
【0081】
第1条件が成立する場合、運転者DRを監視する重要性のレベルが所定のレベルよりも高い。従って、携帯端末110は、情報送信処理として、第1処理を実行する。第1処理は、第1時間T1が経過するごとに、第2画像500を取得して第2画像500を端末側情報として自動運転装置100に送信する処理である。第1時間T1は比較的短い時間に設定される。従って、第1条件が成立する場合、携帯端末110は、高頻度で端末側情報(第2画像500)を自動運転装置100に送信する。
【0082】
第1条件が成立しない場合、運転者DRを監視する重要性のレベルが所定のレベルよりも低い。従って、携帯端末110は、情報送信処理として、第2処理を実行する。第2処理は、第2時間T2が経過するごとに、第2画像500を取得して第2画像500を端末側情報として自動運転装置100に送信する処理である。第2時間T2は、第1時間T1に比べて長い。従って、第1条件が成立しない場合、携帯端末110は、第1条件が成立する場合に比べて低い頻度で端末側情報(第2画像500)を自動運転装置100に送信する。第2処理は、第1処理に比べて携帯端末110における処理負荷が小さい処理である。即ち、第2処理は、第1処理に比べてバッテリ304の電力の消費度合が小さい処理である。
【0083】
このように、携帯端末110は、第1条件が成立しない(即ち、運転者DRを監視する重要性が所定のレベルよりも低い)場合、第1条件が成立する(即ち、重要性のレベルが所定のレベルよりも高い)場合に比べてバッテリ304の電力の消費度合が小さくなるように、情報送信処理を実行する。
【0084】
(作動例)
図6を参照しながら、自動運転装置100(具体的には、ECU10)及び携帯端末110の作動について具体的に説明する。
【0085】
運転者DRが車両VAに乗車すると、ECU10と携帯端末110との間の無線接続が確立する。例えば、Bluetooth(登録商標)のペアリングによって、ECU10と携帯端末110との間の無線接続が確立されてもよい。これにより、ECU10及び携帯端末110が、通信ユニット80を介して通信を開始する(ステップ601)。
【0086】
その後、運転者DRが車両VAを運転する。車両VAが、速度閾値SPDth以下の車速SPDで自動車専用道路を走行している。この状況において、運転者DRが自動運転スイッチ81を押下する。ECU10は、自動運転実行条件が成立したと判定し、自動運転制御(レベル3)を開始する(ステップ602)。ECU10は、起動指示信号を携帯端末110に送信する(ステップ603)。起動指示信号は、監視アプリケーション330の起動を指示する信号である。
【0087】
携帯端末110は、起動指示信号に応じて、承認画面をディスプレイ201に表示する(ステップ604)。承認画面は、監視アプリケーション330の起動を承認するための画面である。運転者DRが承認画面にて所定の承認ボタンを押下すると、携帯端末110は、監視アプリケーション330を起動する(ステップ605)。携帯端末110は、初期情報をECU10に送信する(ステップ606)。初期情報は、監視アプリケーション330が開始されたことを通知する信号、及び、第2画像500を含む。
【0088】
ECU10は、初期情報に含まれる第2画像500を用いて、後述する
図7のルーチンを実行して、情報送信処理の内容を決定する(ステップ607)。ECU10は、決定された情報送信処理の内容を指示する処理指示信号を携帯端末110に送信する(ステップ608)。携帯端末110は、処理指示信号に従って、情報送信処理を実行する(ステップ609)。携帯端末110は、端末側情報(本例において、第2画像500)をECU10に送信する(ステップ610)。ECU10は、端末側情報に基づいて覚醒状態判定処理を実行する(ステップ611)。
【0089】
ステップ607乃至ステップ611の処理は、自動運転制御が終了するまで繰り返し実行される。なお、これらの処理が繰り返し実行される場合、ECU10は、ステップ607の処理において、ステップ611で判定された運転者DRの覚醒度合の情報を用いる。
【0090】
その後、上述した自動運転終了条件が成立する。ECU10は、自動運転制御を終了させる(ステップ612)。そして、ECU10は、終了指示信号を携帯端末110に送信する(ステップ613)。終了指示信号は、監視アプリケーション330の終了を指示する信号である。携帯端末110は、終了指示信号に応じて、監視アプリケーション330を終了させる(ステップ614)。
【0091】
次に、
図7を用いて、ECU10(具体的には、CPU10a)が
図6のステップ607にて実行する処理について説明する。
【0092】
ECU10は、
図7のステップ700から処理を開始してステップ701に進み、第1条件が成立するか否かを判定する。第1条件が成立する場合、ECU10は、ステップ701にて「Yes」と判定してステップ702に進み、第1処理を情報送信処理として決定する。その後、ECU10は、ステップ795に進み、本ルーチンを終了する。これにより、ECU10は、ステップ608にて、第1処理を携帯端末110に実行させるための処理指示信号を携帯端末110に送信する。
【0093】
これに対し、第1条件が成立しない場合、ECU10は、ステップ701にて「No」と判定してステップ703に進み、第2処理を情報送信処理として決定する。その後、ECU10は、ステップ795に進み、本ルーチンを終了する。これにより、ECU10は、ステップ608にて、第2処理を携帯端末110に実行させるための処理指示信号を携帯端末110に送信する。
【0094】
以上の構成を備える第1システムは、以下の効果を奏する。携帯端末110は、運転者DRを監視する重要性のレベルに応じて、情報送信処理の内容を変更する。具体的には、携帯端末110は、運転者DRを監視する重要性のレベルが所定のレベルよりも高い場合、第1処理を情報送信処理として実行する。これに対し、携帯端末110は、運転者DRを監視する重要性のレベルが所定のレベルよりも低い場合、第2処理を情報送信処理として実行する。第2処理は、第1処理に比べてバッテリ304の電力の消費度合が小さい処理である。このように、運転者DRを監視する重要性が低い場合には、バッテリ304の電力の消費が抑えられる。従って、バッテリ304の電力の残量が急激に減るのを抑えることができる。
【0095】
(第1システムの変形例1)
監視アプリケーション330は、操作情報を検出する機能を更に含んでもよい。操作情報は、携帯端末110上における運転者DRによる操作に関する情報である。携帯端末110は、操作情報を端末側情報としてECU10に送信する。ECU10は、操作情報を用いて運転者DRが覚醒状態であるか否かを判定してもよい。
【0096】
具体的には、携帯端末110は、監視アプリケーション330を実行して、以下の第1操作乃至第3操作を検出する。更に、携帯端末110は、各操作が検出された時刻に関する情報を取得する。
(第1操作):指をディスプレイ201に接触させた後に即座に指をディスプレイ201から離す操作(所謂、タップ操作)。
(第2操作):指をディスプレイ201に接触させたまま指をディスプレイ201上で移動させる操作(所謂、スワイプ操作)。
(第3操作):2本の指をディスプレイ201に接触させたまま、当該2本の指の間の間隔を変化させる操作(所謂、ピンチアウト操作又はピンチイン操作)。
【0097】
図6のステップ604にて運転者DRが承認画面上で操作したにも関わらず、運転者DRによる操作が一定期間検出されない場合、これは、運転者DRが覚醒状態でない(即ち、運転者DRが居眠り状態である)可能性が高い。これを考慮して、ECU10は、運転者DRによる操作が検出されない期間に基づいて、運転者DRが覚醒状態であるかを判定してもよい。
【0098】
具体的には、第1操作乃至第3操作の少なくとも1つが所定の期間閾値pth以内に検出される限り、ECU10は、運転者DRが覚醒状態であると判定する。一方、第1操作乃至第3操作の何れもが検出されない期間が期間閾値pth以上になったとき、ECU10は、運転者DRが覚醒状態でないと判定する。
【0099】
このような構成において、第1処理は、第1時間T1が経過するごとに、操作情報を取得して当該操作情報を端末側情報として自動運転装置100に送信する処理であってもよい。第2処理は、第2時間T2が経過するごとに、操作情報を取得して当該操作情報を端末側情報として自動運転装置100に送信する処理であってもよい。この構成においても、第2処理は、第1処理に比べてバッテリ304の電力の消費度合が小さい処理である。
【0100】
別の例において、第1処理は、第1時間T1が経過するごとに、第2画像500を取得して第2画像500を端末側情報として自動運転装置100に送信する処理であってもよい。第2処理は、第1時間T1が経過するごとに、操作情報を取得して当該操作情報を端末側情報として自動運転装置100に送信する処理であってもよい。同じ頻度で取得する場合において、操作情報を取得する処理は、画像を取得する処理に比べて携帯端末110における処理負荷が小さい処理である。この構成においても、第2処理は、第1処理に比べてバッテリ304の電力の消費度合が小さい処理である。
【0101】
携帯端末110は、第1操作乃至第3操作以外の操作に関する情報を端末側情報(操作情報)としてECU10に送信してもよい。携帯端末110は、第1音量ボタン204aに対する操作、第2音量ボタン204bに対する操作及びホームボタン205に対する操作に関する情報を、端末側情報としてECU10に送信してもよい。
【0102】
(第1システムの変形例2)
携帯端末110は、第2加速度情報を端末側情報としてECU10に送信してもよい。運転者DRが携帯端末110を動かしている場合、運転者DRが覚醒状態である可能性が高い。これを考慮して、ECU10は、第2加速度情報を用いて、運転者DRが覚醒状態であるかを判定してもよい。
【0103】
第2加速度情報には、車両VAの動き(揺れ及び振動等)によって生じる加速度成分が含まれる。これを考慮して、ECU10は、携帯端末110の座標系(
図2に示すxyz座標系)での3つの加速度成分値を、車両VAの座標系での3つの加速度成分値へと変換する。即ち、ECU10は、第2加速度情報(即ち、加速度ax2、加速度ay2及び加速度az2)を、車両VAの前後方向における加速度ax3、車両VAの横方向における加速度ay3、及び、車両VAの上下方向における加速度az3へと変換する。第1加速度情報と上記変換された第2加速度情報(ax3、ay3及びaz3)との間に差が生じている場合、運転者DRが携帯端末110を意図的に動かしていると判定できる。ECU10は、以下の条件D1乃至条件D3のうちの少なくとも1つが成立する場合、運転者DRが覚醒状態であると判定する。
(条件D1):|ax1-ax3|≧axth
(条件D2):|ay1-ay3|≧ayth
(条件D3):|az1-az3|≧azth
ここで、axth、ayth及びazthは、それぞれ、運転者DRが携帯端末110を動かしているかを判定するための、予め定められた閾値である。
【0104】
一方で、条件D1乃至条件D3の何れも成立しない場合、ECU10は、運転者DRが覚醒状態でないと判定する。
【0105】
このような構成において、第1処理は、第1時間T1が経過するごとに、第2加速度情報を取得して当該第2加速度情報を端末側情報として自動運転装置100に送信する処理であってもよい。第2処理は、第2時間T2が経過するごとに、第2加速度情報を取得して第2加速度情報を端末側情報として自動運転装置100に送信する処理であってもよい。この構成においても、第2処理は、第1処理に比べてバッテリ304の電力の消費度合が小さい処理である。
【0106】
(第1システムの変形例3)
端末側情報は、第2画像500、操作情報及び第2加速度情報の中の少なくとも1つを含んでよい。従って、ECU10は、第2画像、操作情報及び第2加速度情報の中の少なくとも1つを用いて、運転者DRが覚醒状態であるかを判定してもよい。第1処理は、第2画像500、操作情報及び第2加速度情報の中の少なくとも1つを取得する処理であってもよい。第2処理は、第1処理に比べてバッテリ304の電力の消費度合が小さくなる処理である限り、第2画像500、操作情報及び第2加速度情報の中の少なくとも1つを取得する処理であってもよい。
【0107】
<第2実施形態>
次に、第2実施形態に係る覚醒状態判定システム(以下、「第2システム」と称呼される場合がある。)について説明する。本実施形態において、携帯端末110は、バッテリ304の電力が早く無くなる可能性があるかどうかに従って、情報送信処理の内容を変更する。
【0108】
例えば、バッテリ304の電力の残量が小さい状況において、携帯端末110が、処理負荷の大きい処理を情報送信処理として実行すると、バッテリ304の電力が早く無くなる可能性がある。これを考慮して、ECU10は、第2条件が成立するか否かを判定する。本例において、第2条件は、バッテリ304の電力が早く無くなる可能性が高いと推定されるときに成立する条件であり、以下の条件E1乃至条件E3の少なくとも1つが成立したときに成立する。
(条件E1):バッテリ304の電力の残量が、所定の残量閾値Rathより小さい。
(条件E2):バッテリ304の電力の残量の単一時間当たりの減少量の大きさ(絶対値)が、所定の変化量閾値Dathより大きい。
(条件E3):携帯端末110の温度が、所定の温度閾値Tathより大きい。
【0109】
携帯端末110は、第2条件が成立する(即ち、バッテリ304の電力が早く無くなる可能性が高いと推定される)場合、第2条件が成立しない(即ち、上記可能性が低いと推定される)場合に比べてバッテリ304の電力の消費度合が小さくなるように、情報送信処理を実行する。
【0110】
(作動例)
次に、
図8を用いて、ECU10(具体的には、CPU10a)が
図6のステップ607にて実行する処理について説明する。ECU10は、ステップ607にて、
図7のルーチンに代えて、
図8のルーチンを実行するようになっている。なお、ECU10は、図示しないルーチンを実行することにより、携帯端末110から、バッテリ304の電力の残量に関する情報及び携帯端末110の温度の情報等を繰り返し取得するようになっている。
【0111】
ECU10は、
図8のステップ800から処理を開始してステップ801に進み、上記条件C1が成立するか否かを判定する。いま、条件C1が成立すると仮定する。この場合、ECU10は、ステップ801にて「Yes」と判定してステップ802に進み、第2条件が成立するか否かを判定する。第2条件が成立しない場合、ECU10は、ステップ802にて「No」と判定してステップ804に進み、第1処理を情報送信処理として決定する。その後、ECU10は、ステップ895に進み、本ルーチンを終了する。これにより、ECU10は、ステップ608にて、第1処理を携帯端末110に実行させるための処理指示信号を携帯端末110に送信する。
【0112】
一方、第2条件が成立する場合、ECU10は、ステップ802にて「Yes」と判定してステップ803に進み、運転操作交代要求を運転者DRに通知する。これは、自動運転制御が終了するまでの予測時間Tfが短く、且つ、バッテリ304の電力が早く無くなる可能性が高い場合、できるだけ早く運転者DRに運転操作を引き継いだ方が良いためである。その後、ECU10は、ステップ895に進み、本ルーチンを終了する。この場合、ECU10は、
図6のルーチンにおいて、ステップ607からステップ612に直接進み、自動運転制御を終了させる。
【0113】
一方、ステップ801にて条件C1が成立しないと仮定する。この場合、ECU10は、ステップ801にて「No」と判定してステップ811に進み、上記条件C2が成立するか否かを判定する。条件C2が成立する場合、ステップ811にて「Yes」と判定してステップ812に進み、第2条件が成立するか否かを判定する。第2条件が成立しない場合、ECU10は、ステップ812にて「No」と判定してステップ814に進み、第1処理を情報送信処理として決定する。その後、ECU10は、ステップ895に進み、本ルーチンを終了する。これにより、ECU10は、ステップ608にて、第1処理を携帯端末110に実行させるための処理指示信号を携帯端末110に送信する。
【0114】
これに対し、第2条件が成立する場合、ECU10は、ステップ812にて「Yes」と判定してステップ813に進み、第2処理を情報送信処理として決定する。その後、ECU10は、ステップ895に進み、本ルーチンを終了する。これにより、ECU10は、ステップ608にて、第2処理を携帯端末110に実行させるための処理指示信号を携帯端末110に送信する。
【0115】
ステップ811にて条件C2が成立しないと仮定する。この場合、ECU10は、ステップ811にて「No」と判定してステップ821に進み、第2条件が成立するか否かを判定する。第2条件が成立しない場合、ECU10は、ステップ821にて「No」と判定してステップ823に進み、第3処理を情報送信処理として決定する。その後、ECU10は、ステップ895に進み、本ルーチンを終了する。これにより、ECU10は、ステップ608にて、第3処理を携帯端末110に実行させるための処理指示信号を携帯端末110に送信する。本例において、第3処理は、第3時間T3が経過するごとに、第2画像500を取得して第2画像500を端末側情報として自動運転装置100に送信する処理である。第3時間T3は、第2時間T2に比べて長い。従って、第3処理は、第2処理に比べて携帯端末110における処理負荷が小さい処理である。即ち、第3処理は、第2処理に比べてバッテリ304の電力の消費度合が小さい処理である。
【0116】
これに対し、第2条件が成立する場合、ECU10は、ステップ821にて「Yes」と判定してステップ822に進み、第4処理を情報送信処理として決定する。その後、ECU10は、ステップ895に進み、本ルーチンを終了する。これにより、ECU10は、ステップ608にて、第4処理を携帯端末110に実行させるための処理指示信号を携帯端末110に送信する。本例において、第4処理は、第4時間T4が経過するごとに、第2画像500を取得して第2画像500を端末側情報として自動運転装置100に送信する処理である。第4時間T4は、第3時間T3に比べて長い。従って、第4処理は、第3処理に比べて携帯端末110における処理負荷が小さい処理である。即ち、第4処理は、第3処理に比べてバッテリ304の電力の消費度合が小さい処理である。
【0117】
以上の構成を備える第2システムは、以下の効果を奏する。携帯端末110は、バッテリ304の電力が早く無くなる可能性があるかどうかに従って、情報送信処理の内容を変更する。具体的には、携帯端末110は、バッテリ304の電力が早く無くなる可能性が高いと推定される場合、当該可能性が低いと推定される場合に比べてバッテリ304の電力の消費度合が小さくなるように、情報送信処理を実行する。この構成によれば、携帯端末110は、バッテリ304の電力が無くなるのを防ぎながら(或いはバッテリ304の電力が無くなるまでの時間を長くしながら)、情報送信処理を継続できる。ECU10は、情報送信処理によって送信された端末側情報を用いて、覚醒状態判定処理を継続できる。
【0118】
(第2システムの変形例1)
ECU10は、第2条件が成立する場合、携帯端末110を充電することを促すメッセージを報知装置51を用いて運転者DRに対して通知してもよい。携帯端末110もまた、上記メッセージを運転者DRに対して通知してもよい。
【0119】
(第2システムの変形例2)
第1実施形態と同様に、第1処理は、第2画像500、操作情報及び第2加速度情報の中の少なくとも1つを取得する処理であってもよい。第2処理は、第1処理に比べてバッテリ304の電力の消費度合が小さくなる処理である限り、第2画像500、操作情報及び第2加速度情報の中の少なくとも1つを取得する処理であってもよい。第3処理は、第2処理に比べてバッテリ304の電力の消費度合が小さくなる処理である限り、第2画像500、操作情報及び第2加速度情報の中の少なくとも1つを取得する処理であってもよい。第4処理は、第3処理に比べてバッテリ304の電力の消費度合が小さくなる処理である限り、第2画像500、操作情報及び第2加速度情報の中の少なくとも1つを取得する処理であってもよい。
【0120】
(第2システムの変形例3)
ECU10は、第2条件が成立し且つ自動運転制御が長時間にわたって実行する可能性が高い場合、バッテリ304の電力の消費度合が最も小さくなる処理を情報送信処理として選択してもよい。
【0121】
<第3実施形態>
次に、第3実施形態に係る覚醒状態判定システム(以下、「第3システム」と称呼される場合がある。)について説明する。本実施形態において、携帯端末110は、自動運転制御が終了される場合、自動運転制御の再開の可能性の高さに従って、監視アプリケーション330を継続させたり又は終了させたりする。
【0122】
上述のように、
図6のルーチンのステップ612にてECU10が自動運転制御を終了させると、携帯端末110はステップ614にて監視アプリケーション330を終了させる。このように、自動運転制御が実行されていない状況においては、バッテリ304の電力を減らさないという観点から、携帯端末110が監視アプリケーション330を終了させることが好ましい。
【0123】
しかし、自動運転制御が終了された後に比較的短い時間内に自動運転制御が再開される場合がある。このような例として、車両VAが第1の渋滞区間を抜けた後に、車両VAが第2の渋滞区間に比較的早く入ってしまう場合が挙げられる。別の例として、車両VAが自動車専用道路を出た後に、比較的短い時間内に車両VAが再び別の自動車専用道路に入る場合も挙げられる。これらの場合、
図6のステップ603及びステップ604の処理が再び行われるので、運転者DRが煩わしさを感じる。更に、監視アプリケーション330を再度起動するまでに時間がかかる。
【0124】
上記を考慮して、ECU10は、
図6のステップ612にて、自動運転制御の再開の可能性を判定してもよい。ECU10は、自動運転制御の再開の可能性が低いと判定した場合、監視アプリケーション330を終了させる。これに対し、ECU10は、自動運転制御の再開の可能性が高いと判定した場合、監視アプリケーション330を継続させる。
【0125】
例えば、ECU10は、ナビゲーションECU60から車両VAの目的地情報を取得してもよい。ECU10は、車両VAの目的地情報に基づいて車両VAが再び自動車専用道路に入ることを予定している場合、自動運転制御の再開の可能性が高いと判定する。
【0126】
例えば、ECU10は、通信ユニット80を介して、VICS(登録商標)から道路交通情報を受信してもよい。ECU10は、車両VAが比較的短い時間内に再び渋滞区間に入る可能性が高い場合、自動運転制御の再開の可能性が高いと判定する。
【0127】
以上の構成を備える第3システムは、以下の効果を奏する。自動運転制御の再開の可能性が高いとき、運転者DRが、情報送信処理を再開させるための操作(ステップ604の操作)を行う必要がない。運転者DRが煩わしさを感じない。これにより、利便性が向上する。更に、自動運転制御が再開されたときに、ECU10は、端末側情報を用いて、すぐに覚醒状態判定処理を再開できる。
【0128】
(第3システムの変形例1)
携帯端末110は、自動運転制御の再開の可能性が高いと判定したとき、監視アプリケーション330の稼働状態を変更してもよい。携帯端末110が、端末側情報として、第2画像500、操作情報及び第2加速度情報を取得すると仮定する。携帯端末110は、自動運転制御の再開の可能性が高い場合、情報送信処理の中でバッテリ304の電力の消費度合が小さい処理を継続させ、情報送信処理の中でバッテリ304の電力の消費度合が大きい処理を終了させる。具体的には、携帯端末110は、操作情報及び第2加速度情報を取得する処理を継続させ、第2画像500を取得する処理のみを終了させる。第2画像500を取得する処理の負荷は、他の情報(操作情報及び第2加速度情報)を取得する処理の負荷に比べて大きい。従って、携帯端末110は、第2画像500を取得する処理のみを終了させるので、バッテリ304の電力の残量が急激に減るのを抑えることができる。一方で、携帯端末110は、操作情報及び第2加速度情報を取得する処理を継続させるので、自動運転制御が再開されたときに、ECU10は、端末側情報(操作情報及び第2加速度情報)を用いて、すぐに覚醒状態判定処理を再開できる。更に、運転者DRが、情報送信処理を再開させるための操作(ステップ604の操作)を行う必要がない。これにより、利便性が向上する。
【0129】
(第3システムの変形例2)
携帯端末110は、自動運転制御の再開の可能性が高い場合、監視アプリケーション330を起動したままで、第2画像500、操作情報及び第2加速度情報を取得する処理のみを停止させてもよい。バッテリ304の電力の残量の消費度合をより効果的に抑えることができる。
【0130】
なお、本開示は上記実施形態に限定されることはなく、本開示の範囲内において種々の変形例を採用することができる。
【0131】
ECU10は、ドライバモニタカメラ76によって取得された画像(即ち、第1画像)に基づいて条件C2が成立するか否かを判定してもよい。
【0132】
携帯端末110が、
図6のステップ607の処理を実行してもよい。この場合、携帯端末110は、ECU10から道路情報及び交通情報を取得する。
【0133】
自動運転ECU10と携帯端末110との間に他のECUが配置されてもよい。当該ECUが、運転者DRが覚醒状態であるかを判定する処理を実行してもよい。
【符号の説明】
【0134】
10…自動運転ECU、20…エンジンECU、30…ブレーキECU、40…ステアリングECU、50…メータECU、60…ナビゲーションECU、100…自動運転装置、110…携帯端末。