ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-111090情報処理装置、および情報処理方法、プログラム、並びに車両
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024111090
(43)【公開日】2024-08-16
(54)【発明の名称】情報処理装置、および情報処理方法、プログラム、並びに車両
(51)【国際特許分類】
G08G 1/16 20060101AFI20240808BHJP
B60W 40/08 20120101ALI20240808BHJP
B60W 50/14 20200101ALI20240808BHJP
B60W 40/02 20060101ALI20240808BHJP
【ＦＩ】
G08G1/16 F
B60W40/08
B60W50/14
B60W40/02
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2024097390
(22)【出願日】2024-06-17
(62)【分割の表示】P 2020555995の分割
【原出願日】2019-10-30
(31)【優先権主張番号】P 2018212728
(32)【優先日】2018-11-13
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】田森 正紘
(57)【要約】
【課題】運転者の視線方向が運転状況に応じて不適切であるときに安全を確保できるようにする。
【解決手段】車両の運転者の視線方向を検出し、検出された視線方向が安全視線方向であるか否かを判定し、前記視線方向が前記安全視線方向ではないと判定された場合、車両を安全な状態に制御する。本開示は、車載システムに適用することができる。
【選択図】図５
【解決手段】車両の運転者の視線方向を検出し、検出された視線方向が安全視線方向であるか否かを判定し、前記視線方向が前記安全視線方向ではないと判定された場合、車両を安全な状態に制御する。本開示は、車載システムに適用することができる。
【選択図】図５
【特許請求の範囲】
【請求項1】
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサの検出結果を取得する取得部と、
前記検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
情報処理装置。
前記車両の運転者の視線を検出するための車内センサの検出結果を取得する取得部と、
前記検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
情報処理装置。
【請求項2】
前記車両の周辺の情報である車外情報を検出する車外情報検出部をさらに備え、
前記車内環境認識部は、前記検出結果と前記車外情報とに基づいて、前記運転者の前記視線方向が適切であるか否かを判定する
請求項１に記載の情報処理装置。
前記車内環境認識部は、前記検出結果と前記車外情報とに基づいて、前記運転者の前記視線方向が適切であるか否かを判定する
請求項１に記載の情報処理装置。
【請求項3】
前記運転者の前記視線方向が改善されないと判定された場合、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する動作計画部をさらに含み、
前記動作制御部は、前記動作計画部により計画された、前記動作を実現するように、前記車両の前記動作を制御する
請求項２に記載の情報処理装置。
前記動作制御部は、前記動作計画部により計画された、前記動作を実現するように、前記車両の前記動作を制御する
請求項２に記載の情報処理装置。
【請求項4】
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、現在走行している道路の複数の車線毎の危険度評価値を算出し、前記危険度評価値に基づいて、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、前記危険度評価値に基づいて、現在走行している道路の複数の車線のうち、最も安全な車線に車線変更するように、前記車両の前記動作を計画し、
前記動作制御部は、前記動作計画部の前記計画に従って、現在走行している道路の複数の車線のうち、最も安全な車線に車線変更するように、前記車両の前記動作を制御する
請求項４に記載の情報処理装置。
前記動作制御部は、前記動作計画部の前記計画に従って、現在走行している道路の複数の車線のうち、最も安全な車線に車線変更するように、前記車両の前記動作を制御する
請求項４に記載の情報処理装置。
【請求項6】
前記動作計画部は、前記危険度評価値に基づいて、現在走行している道路の複数の車線のうち、最も安全な車線として、前記危険度評価値が最小となる車線への車線変更を計画し、
前記動作制御部は、前記動作計画部により計画された、前記危険度評価値が最小となる車線へと車線変更するように、前記車両の前記動作を制御する
請求項５に記載の情報処理装置。
前記動作制御部は、前記動作計画部により計画された、前記危険度評価値が最小となる車線へと車線変更するように、前記車両の前記動作を制御する
請求項５に記載の情報処理装置。
【請求項7】
前記動作計画部が、前記安全な車線への車線変更をする前記動作を計画するとき、前記フィードバック制御部は、前記安全な車線に車線変更することが計画されたことを前記運転者にフィードバックし、
前記安全な車線に車線変更することが計画されたことが前記運転者にフィードバックされた後、前記動作制御部は、前記安全な車線に車線変更するように、前記車両の前記動作を制御する
請求項３に記載の情報処理装置。
前記安全な車線に車線変更することが計画されたことが前記運転者にフィードバックされた後、前記動作制御部は、前記安全な車線に車線変更するように、前記車両の前記動作を制御する
請求項３に記載の情報処理装置。
【請求項8】
前記動作計画部は、前記現在走行している車線が、前記安全な車線であるとき、前記走行速度の減速を計画し、
前記動作制御部は、前記現在走行している車線において、前記走行速度を減速するように、前記車両の前記動作を制御する
請求項３に記載の情報処理装置。
前記動作制御部は、前記現在走行している車線において、前記走行速度を減速するように、前記車両の前記動作を制御する
請求項３に記載の情報処理装置。
【請求項9】
前記動作計画部は、前記現在走行している車線が、前記安全な車線であり、前記走行速度の減速を計画するとき、前記フィードバック制御部は、前記走行速度を減速することが計画されたことを前記運転者にフィードバックし、
前記走行速度を減速することが計画されたことが前記運転者にフィードバックされた後、前記動作制御部は、前記走行速度を減速するように、前記車両の前記動作を制御する
請求項８に記載の情報処理装置。
前記走行速度を減速することが計画されたことが前記運転者にフィードバックされた後、前記動作制御部は、前記走行速度を減速するように、前記車両の前記動作を制御する
請求項８に記載の情報処理装置。
【請求項10】
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、クラウドサーバにアクセスして、現在走行している道路の車線の情報を取得して、取得した現在走行している道路の車線の情報に基づいて、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項11】
前記運転者の前記視線方向が適切ではないと判定された場合、前記フィードバック制御部は、前記運転者に対して前記視線方向を適切な方向に向けるように促す情報として、画像として表示部に表示させる、音声としてスピーカから出力させる、刺激臭を発生させる、前記運転者に対して会話をさせる、シートベルトを振動させる、ステアリングを振動させる、およびシートを振動させるフィードバックの少なくともいずれかを掛ける
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項12】
前記車両の運転者の視線を検出するための前記車内センサの前記検出結果は、前記運転者の顔の付近の画像であり、
前記車内環境認識部は、前記取得部により取得される、前記車内センサの前記検出結果としての、前記運転者の顔の付近の画像より、前記運転者の瞳の位置を特定し、特定した瞳の位置に基づいて、前記運転者の前記視線方向を検出する
請求項１に記載の情報処理装置。
前記車内環境認識部は、前記取得部により取得される、前記車内センサの前記検出結果としての、前記運転者の顔の付近の画像より、前記運転者の瞳の位置を特定し、特定した瞳の位置に基づいて、前記運転者の前記視線方向を検出する
請求項１に記載の情報処理装置。
【請求項13】
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御処理することと、
前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識処理することと、
前記車内環境認識処理により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御処理することとを含み、
前記フィードバック制御処理により前記フィードバックがなされた後において、前記車内環境認識処理により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御処理は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
情報処理方法。
前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識処理することと、
前記車内環境認識処理により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御処理することとを含み、
前記フィードバック制御処理により前記フィードバックがなされた後において、前記車内環境認識処理により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御処理は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
情報処理方法。
【請求項14】
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部としてコンピュータを機能させ、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
プログラム。
前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部としてコンピュータを機能させ、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
プログラム。
【請求項15】
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサと、
前記車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
車両。
前記車両の運転者の視線を検出するための車内センサと、
前記車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
車両。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、および情報処理方法、プログラム、並びに車両に関し、特に、運転者の視線方向が運転状態に対して不適切であるときに安全を確保できるようにした情報処理装置、および情報処理方法、プログラム、並びに車両に関する。
【背景技術】
【0002】
周囲の情報を検出して、運転者による車両の運転を支援する運転支援技術や、自動的に運転を制御する自動運転技術が注目されている。
【0003】
このうち、運転を支援する運転支援技術として、運転者の視線を検出して、視線方向の変化が適切であるか否かに基づいて、運転者による運転操作を受け付けるか否かを判定する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－１００５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１の技術においては、例えば、直進走行中であるような場合、既に受け付けられている直進走行という運転状態に対して、脇見運転や居眠り運転等により、視線方向が適切な方向ではないことが検出されても運転制御がなされない。
【0006】
本開示は、このような状況に鑑みてなされたものであり、特に、視線方向が運転状態に対して適切であるか否かに基づいて、安全を確保するための運転制御を実現するものである。
【課題を解決するための手段】
【0007】
本開示の一側面の情報処理装置、プログラム、および車両は、加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、前記車両の運転者の視線を検出するための車内センサの検出結果を取得する取得部と、前記検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する情報処理装置、プログラム、および車両である。
【0008】
本開示の一側面の情報処理方法は、加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御処理することと、前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識処理することと、前記車内環境認識処理により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御処理することとを含み、前記フィードバック制御処理により前記フィードバックがなされた後において、前記車内環境認識処理により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御処理は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する情報処理方法である。
【0009】
本開示の一側面においては、加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作が制御され、前記車両の運転者の視線を検出するための車内センサの検出結果が取得され、前記検出結果に基づいて、運転者の視線方向が適切であるか否かが判定され、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報がフィードバックされ、前記フィードバックがなされた後において、前記運転者の前記視線方向が改善されないと判定された場合、走行速度が減速される、または、安全な車線へと車線変更されるように、前記車両の前記動作が制御される。
【図面の簡単な説明】
【0010】
【図1】視線方向を検出する構成を説明する図である。
【図2】自動運転レベル１の場合において視線方向が不適切であるときの、減速による安全運転制御の例を説明する図である。
【図3】自動運転レベル２の場合における視線方向が不適切であるときの、車線変更による安全運転制御の例を説明する図である。
【図4】本開示の車両制御システムの構成例を説明するブロック図である。
【図6】自動運転制御処理を説明するフローチャートである。
【図7】安全運転制御処理を説明するフローチャートである。
【図8】汎用のコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．本開示の車両を制御する車両制御システムの構成例
３．視線方向に応じて安全を確保するための運転制御を実現する構成
４．自動運転制御処理
５．安全運転制御処理
６．ソフトウェアにより実行させる例
１．本開示の概要
２．本開示の車両を制御する車両制御システムの構成例
３．視線方向に応じて安全を確保するための運転制御を実現する構成
４．自動運転制御処理
５．安全運転制御処理
６．ソフトウェアにより実行させる例
【0013】
＜＜１．本開示の概要＞＞
＜視線方向の検出＞
本開示の概要について説明する。
＜視線方向の検出＞
本開示の概要について説明する。
【0014】
本開示の車両は、運転者の視線方向を検出し、適切な視線方向であるか否かに基づいて、安全を確保するための運転制御を行う。
【0015】
視線方向は、例えば、図１で示されるように、ステアリングの上部であって、運転者Ｈに対向する位置に設けられたカメラＣａｍにより、運転者Ｈの顔の付近の範囲Ｖを撮像し、撮像した画像における運転者の瞳の位置に基づいて検出される。
【0016】
カメラＣａｍは、いわゆるイメージセンサのみならず、ToF（Time of Flight）センサを併用した構成であることが望ましい。
【0017】
より詳細には、イメージセンサにより得られる画像の場合、夜間における対向車のヘッドライトにより顔全体が強い光にさらされることで、例えば、顔全体の画像が白飛びを起すことにより顔を構成する各器官が認識できない恐れがある。
【0018】
これに対して、ToFセンサにより得られる距離画像の場合、カメラＣａｍから顔の表面の各位置までの距離の情報が求められることにより、顔の表面の凹凸を認識することができるので、顔の表面の凹凸の情報に基づいて、顔を構成する各器官を認識することができる。
【0019】
このような理由から、カメラＣａｍは、イメージセンサとToFセンサとを、それぞれ設ける構成とし、状況に応じてイメージセンサによる画像とToFセンサにより距離画像とを使い分けられる構成であることが望ましい。また、イメージセンサとToFセンサとを組み合わせる事でロバスト性を向上させたり、処理時間を短縮できるようにしても良い。
【0020】
＜自動運転レベルに応じた運転制御＞
本開示の車両は、運転者により運転がなされることが前提であり、自動運転レベル２以下の自動運転技術が採用された車両であることを前提とするが、自動運転レベル３以上の車両においても適用することはできる。
本開示の車両は、運転者により運転がなされることが前提であり、自動運転レベル２以下の自動運転技術が採用された車両であることを前提とするが、自動運転レベル３以上の車両においても適用することはできる。
【0021】
ここで、自動運転レベルとは、自動運転のレベルを分類するものであり、例えば、レベル０乃至５までに分類される。
【0022】
レベル０は、運転操作の全てを運転者が行う自動運転レベルであり、実質的に自動運転ではない。
【0023】
レベル１は、運転操作のうち、加減速に係る運転操作、およびステアリング操作に係る運転操作のうちのいずれかが制御される自動運転レベルである。
【0024】
レベル２は、運転操作のうち、加減速に係る運転操作、およびステアリング操作に係る運転操作が連携して制御される自動運転レベルである。
【0025】
レベル３は、例えば、高速道路などの特定の場所において、全ての運転操作が制御される自動運転レベルである。ただし、レベル３においては、緊急時の運転操作は運転者によりなされることが前提となる。
【0026】
レベル４は、例えば、高速道路などの特定の場所において、緊急時を含めて、全ての運転操作が制御される自動運転レベルである。
【0027】
レベル５は、あらゆる状況において、全ての運転操作が制御される自動運転レベルであり、いわゆる完全自動運転となるレベルである。
【0028】
上述したように、レベル０乃至２の自動運転レベルを実現する技術については、運転者が主として運転操作を行う技術であるので、一般に運転支援技術と称される。
【0029】
これに対して、レベル３乃至５の自動運転レベルを実現する技術については、特定の場所では運転者が主として運転操作を行う必要がなくなる技術であるので、一般に自動運転技術と称される。
【0030】
本開示の運転制御は、自動運転レベルがレベル０乃至２における自動運転を実現する車両、すなわち、運転支援技術が適用される車両について、視線方向が運転状態に応じて適切であるか否かに基づいて、安全を確保するための運転動作を制御するものである。
【0031】
より具体的には、自動運転レベル０である場合、上述したように実質的に自動運転ではなく、運転動作の制御はなされないので、視線方向が不適切であることが運転者にフィードバック（提示）されて、視線方向の改善が促される。
【0032】
また、自動運転レベル１である場合、例えば、正面前方へ直進走行中に、検出された視線方向が正面前方ではないとき、脇見運転や居眠り運転が疑われるので、適切な視線方向ではないものとみなされる。
【0033】
このようなとき、視線方向が不適切であることが運転者にフィードバック（提示）されて、視線方向の改善を促すような動作がなされ、さらに、改善が見られないときには、図２で示されるように、所定の速度だけ減速されるように運転動作が制御される。
【0034】
このように減速されることにより、脇見運転や居眠り運転などに起因する事故の発生を遅らせると共に、万が一事故が発生する際の被害レベルを軽減することで安全を確保することが可能となる。
【0035】
尚、図２においては、左部で示されるように、車両Ｃ１が走行速度Ｖで正面前方に直進走行中であることが表されている。また、図２の右部においては、車両Ｃ１の走行状態において、視線方向が不適切であるとみなされ、視線方向の改善を促した後、改善が見られなかったとき、走行速度が減速されて走行速度Ｖ’（＜Ｖ）で走行する車両Ｃ１’が表現されている。
【0036】
さらに、自動運転レベル２である場合、視線方向が不適切であり脇見運転や居眠り運転が疑われて、視線方向の改善を促す動作がなされた後、改善が見られないとき、図３で示されるように、よりも安全な走行車線へと車線変更するように運転動作が制御される。
【0037】
このように現在走行している車線よりも安全な車線に車線変更されることにより、脇見運転や居眠り運転などに起因する事故の発生を遅らせるようにすると共に、万が一事故が発生する際の被害レベルを軽減することで安全を確保することが可能となる。
【0038】
尚、図３の左部においては、車両Ｃ２が追い越し車線Ｌ１を走行していることが表されており、右部においては、視線が不適切であるとみなされた結果、より安全な車線である走行車線Ｌ２に車線変更された状態で走行する車両Ｃ２’が表されている。
【0039】
＜＜２．本開示の車両を制御する車両制御システムの構成例＞＞
次に、図４のブロック図を参照して、本開示の車両の車両制御システムについて説明する。
次に、図４のブロック図を参照して、本開示の車両の車両制御システムについて説明する。
【0040】
図４は、本技術が適用され得る車両１１の車両制御システム１００の概略的な機能の構成例を示すブロック図である。
【0041】
なお、以下、車両制御システム１００が設けられている車両１１を他の車両と区別する場合、自車又は自車両と称する。
【0042】
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
【0043】
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
【0044】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
【0045】
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
【0046】
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
【0047】
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
【0048】
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【0049】
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置（ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等）、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
【0050】
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
【0051】
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
【0052】
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。さらに、通信部１０３は、後述するE-call２０３（図５）により制御されて、エアバッグ等の衝突を検出するセンサの動作状態に連動して、事故が発生した発生位置（GPS座標）を、外部ネットワーク上にあり、警察や病院等に連絡するセンタに送信する。
【0053】
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【0054】
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【0055】
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置（情報表示部２５２（図５）を含む）、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ（ＨＵＤ）、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。また、出力部１０６は、運転者の視線方向が不適切な方向であり、脇見運転や居眠り運転などが予測されるとき、視線方向を適切な方向に向けるように覚醒を促すためのフィードバック機能を有する構成を備えている。フィードバック機能を有する構成は、例えば、運転者の視野内に視覚情報を表示する装置（情報表示部２５２（図５）等）の他、音声を出力するスピーカ２５３（図５）、マイクロフォンとスピーカを使用することで運転者との会話を行い、正常に会話できるか判断する会話エージェント部２５４（図５）、シートベルトを振動させる機構、ステアリングを振動させる機構、シートを振動させる機構、および刺激臭を発生させる刺激臭発生部２５１（図５）等である。
【0056】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【0057】
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
【0058】
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
【0059】
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
【0060】
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
【0061】
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
【0062】
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
【0063】
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
【0064】
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【0065】
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【0066】
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
【0067】
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
【0068】
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【0069】
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
【0070】
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
【0071】
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線（視線方向）の動き、並びに、運転操作等が含まれる。
【0072】
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
【0073】
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
【0074】
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【0075】
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【0076】
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【0077】
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
【0078】
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
【0079】
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
【0080】
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
【0081】
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【0082】
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【0083】
＜＜３．視線方向に応じて安全を確保するための運転制御を実現する構成＞＞
次に、図５のブロック図を参照して、検出された視線方向に応じて安全を確保するための運転制御を実現する構成について説明する。尚、図５は、図４を参照して説明した車両制御システム１００を実現する機能の構成例のうち、検出された視線方向に応じて安全を確保するための運転制御を実現する構成を抜粋した構成を示している。
次に、図５のブロック図を参照して、検出された視線方向に応じて安全を確保するための運転制御を実現する構成について説明する。尚、図５は、図４を参照して説明した車両制御システム１００を実現する機能の構成例のうち、検出された視線方向に応じて安全を確保するための運転制御を実現する構成を抜粋した構成を示している。
【0084】
データ取得部１０２は、視線を検出するための車内センサ２３１を備えている。ここでいう車内センサ２３１は、具体的には、図１を参照して説明したイメージセンサとToFセンサ（ToFカメラ）との機能を備えたカメラＣａｍに対応するものである。
【0085】
すなわち、車内センサ２３１は、イメージセンサにより取得される画像、またはToFセンサにより取得される距離画像より、運転者Ｈの顔の付近の画像を取得し、自動運転制御部１１２における検出部１３１の車内情報検出部１４２に出力する。車内情報検出部１４２は、画像内の瞳の位置等に基づいて、運転者Ｈの視線方向を検出して状況分析部１３３の状況認識部１５３に出力する。
【0086】
また、車外情報検出部１４１は、データ取得部１０２より供給される自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行い、処理結果に基づいて、視線方向が検出されたタイミングにおける、車両周辺情報を生成し、状況分析部１３３の状況認識部１５３に出力する。
【0087】
状況認識部１５３は、検出された視線方向に応じた運転制御を実現する構成として、車内環境認識部２０１、フィードバック制御部２０２、およびE-call制御部（E-call）２０３を備えている。
【0088】
車内環境認識部２０１は、検出部１３１の車外情報検出部１４１より供給される車両周辺情報と、車内情報検出部１４２より供給される視線方向の情報とに基づいて、車内における運転者の視線方向が運転状況に対して適切な方向であるか否か（適切な視線方向に対して、適切な時間だけ注視しているか否か）を判定する。そして、車内環境認識部２０１は、判定結果を状況予測部１５４およびフィードバック制御部２０２に出力する。
【0089】
より具体的には、車内環境認識部２０１は、検出部１３１より車内センサ２３１により取得される視線方向の情報と共に、例えば、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理等の処理結果を車両周辺情報として取得する。
【0090】
ここで、自車の周囲の物体の情報は、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等を含む。また、自車の周辺の環境の情報は、天候、気温、湿度、明るさ、及び、路面の状態等を含む。
【0091】
また、運転者の視線方向は、運転状況（運転状態）に応じて適切な方向が変化する。
【0092】
例えば、高速道路など、比較的法定速度の高い道路を正面前方に向かって直進している運転状況であれば、適切な視線方向は、正面前方である。
【0093】
しかしながら、人通りの多い狭い路地を走行する際には、路肩等を歩行する歩行者や自転車等、並びに、対向車に対して視線方向が向けられていることが適切である。
【0094】
また、車線変更の運転操作をする運転状況であれば、ルームミラー、およびドアミラーへと順に視線方向を移し、最終的に変更する車線に向けられるといった、一般的な、運転に係る教則本等にも記載があるような、安全に必要とされる視線方向の時系列の変化があることが適切な視線方向となる。また、注視する時間については、ルームミラーやドアミラーを数秒以上注視し続けることは適切ではないと判断する。
【0095】
尚、ドアミラーやルームミラーが、ドアミラーやルームミラーを介して視認可能な範囲を撮像するカメラにより代用される場合については、ドアミラーやルームミラーの代わりに設けられたカメラにより撮像された画像が表示される範囲が、ドアミラーやルームミラーの方向に対応する適切な視線方向となる。
【0096】
車内環境認識部２０１は、このように検出部１３１より供給される車両周辺情報と視線方向の情報に基づいて、運転者の視線方向が運転状況に対して適切な方向であるか否かを判定し、判定結果を状況予測部１５４に出力する。
【0097】
尚、以降において、視線方向が、車両周辺情報に基づいた運転状態に対して適切であるとみなされる視線方向を安全視線方向と称する。
【0098】
例えば、車両周辺情報から、例えば、高速道路を走行していることが認識される場合については、運転者の視線方向が正面前方に向けられているとき、運転者の視線方向が安全視線方向であるとみなされる。
【0099】
また、車両周辺情報から、例えば、人通りの多い路地を走行することが認識される場合については、運転者の視線方向が通行人や自転車、および対向車などに向けられているとき、運転者の視線方向が安全視線方向であるとみなされる。
【0100】
さらに、車両周辺情報から、例えば、ウィンカを点灯させる操作がなされるなど、車線変更や右左折することが認識される場合については、運転者の視線方向が、ルームミラー、ドアミラー（ドアミラーやルームミラーがカメラの場合、カメラにより撮像された画像が表示される領域）、および変更する車線の方向、または、右左折する道路の方向といった、それぞれのタイミングにおいて必要とされる方向に時系列に変化させているとき、運転者の視線方向は安全視線方向であるものとみなされる。ここで、時系列で変化する視線方向とすべき方向（位置）や順序については、例えば、自動車の運転に係る教則本等に記載されているような方向（位置）や順序とするようにしてもよい。
【0101】
このように安全視線方向は、車両周辺情報より認識される運転状況（運転状態）に応じて、変化する。
【0102】
フィードバック制御部２０２は、車内環境認識部２０１より供給される判定結果に基づいて、視線方向が適切でない場合、出力制御部１０５を介して、出力部１０６より運転者に対して、視線方向を適切な方向に向けるように促すフィードバックを掛ける。
【0103】
すなわち、視線方向が適切ではない場合、脇見運転、または、居眠り運転等の危険運転をしている状態である可能性があるため、フィードバック制御部２０２は、運転者に対して視線方向を適切にさせるための覚醒を促すためのフィードバックを掛ける。
【0104】
より具体的には、フィードバック制御部２０２は、出力制御部１０５を介して、出力部１０６の刺激臭発生部２５１を制御して、刺激臭を発生させ、運転者に対して臭覚を刺激ことで覚醒を促し、運転者に対して視線方向を適切な方向に向けるようにフィードバックを掛ける。
【0105】
また、フィードバック制御部２０２は、出力制御部１０５を介して、出力部１０６の情報表示部２５２を制御して、視線方向が適切ではないので、適切な視線方向へと向けるように促す画像情報（テキストや動画像等を含む）を提示し、運転者に対して視線方向を適切な方向に向けるようにフィードバックを掛ける。
【0106】
さらに、フィードバック制御部２０２は、出力制御部１０５を介して、出力部１０６のスピーカ２５３を制御して、視線方向が適切ではないので、適切な視線方向へと向けるように促す音声を出力し、運転者に対して視線方向を適切な方向に向けるようにフィードバックを掛ける。フィードバック制御部２０２は、出力制御部１０５を介して、出力部１０６の会話エージェント部２５４を制御して、ドライバに質問を投げかけさせ、運転者に応答させる事によって意識を覚醒し、運転者に対して視線方向を適切な方向に向けるようにフィードバックをかける。ドライバへの質問は、例えば、運転者の氏名や生年月日等であり、運転者に対して応答を求めることで覚醒を促し、運転者に対して視線方向を適切な方向に向けるようにフィードバックをかける。
【0107】
フィードバック制御部２０２は、刺激臭発生部２５１、情報表示部２５２、スピーカ２５３、および会話エージェント部２５４のうち、少なくともそのいずれかにより、運転者に対して視線方向を適切な方向に向けるようにフィードバックを掛ける。
【0108】
尚、フィードバックについては、上述した刺激臭発生部２５１により発生される刺激臭、情報表示部２５２による表示される画像、スピーカ２５３より出力される音声、および会話エージェント部２５４による会話のみならず、運転者に視線方向を適切な方向にするように促せる情報を提示できるものであれば、その他の方法であってもよい。
【0109】
より具体的なその他のフィードバックを掛ける構成としては、例えば、視線方向を適切な方向にするように促す情報を表示するHUD（Head Up Display）、シートベルトを振動させる構成、ステアリングを振動させる構成、およびシートを振動させる構成であってもよい。
【0110】
E-call制御部２０３は、検出部１３１により衝突事故が発生したときに検出される衝撃等の情報が検出されるとき、自己位置推定部１３２より自己位置の情報を取得すると共に、通信部１０３を制御して、警察や病院などへと事故の発生を通知するセンタに対して、自己位置の情報を含めた事故が発生したことを示す情報を通知する。
【0111】
状況予測部１５４は、車内環境認識部２０１より供給される視線方向に基づいた判定結果に基づいて、運転者による車内環境から状況を予測し、予測結果に応じたコマンドを計画部１３４の動作計画部１６３に出力する。より具体的には、視線方向が適切ではない場合、状況予測部１５４は、運転者が脇見運転、または、居眠り運転等の危険な運転状態である可能性を予測し、予測結果に基づいて、安全運転制御処理を実行するように計画部１３４にコマンドを送信する。
【0112】
計画部１３４の動作計画部１６３は、状況予測部１５４より安全運転制御処理を指示するコマンドが送信されてくると、自動運転レベルに応じた安全運転制御処理を実現するための動作を計画する。
【0113】
より具体的には、動作計画部１６３は、自動運転レベルがレベル２である場合、現在走行中の道路に複数の車線が存在するときには、通信部１０３を制御して、クラウドサーバ等より走行中の道路の車線の情報を取得する。
【0114】
ここで取得する車線の情報は、各車線の時刻毎の駐車車両が存在する割合、時刻毎の周辺施設の入出庫の割合、時刻毎の渋滞予測、および時刻毎の追い越し車線情報等である。各車線の時刻毎の駐車車両が存在する割合には、事故等によりある車線が通行不可の場合も含む。追い越し車線情報とは、複数車線がある場合の情報である。走行車線であるか、追い越し車線の場合は、どれくらい走行車線から離れた車線であるか、それぞれの車線の法定速度等が含まれる。
【0115】
動作計画部１６３は、車線の情報に基づいて、例えば、以下の式（１）により車線毎の危険度評価値を算出する。
【0116】
Ｓx＝Ｐt×ｗP＋Ｌt×ｗL＋Ｔt×ｗT＋Ｏt×ｗO
・・・（１）
・・・（１）
【0117】
ここで、Ｓxは、時刻ｔにおける車線ｘの危険度評価値であり、Ｐtは、時刻ｔの駐車車両の存在する割合、ｗPは、時刻ｔの駐車車両の存在する割合に対する重みである。
【0118】
また、Ｌtは、時刻ｔの周辺施設の入出庫の割合であり、ｗLは、時刻ｔの周辺施設の入出庫の割合に対する重みである。
【0119】
さらに、Ｔtは、時刻ｔの渋滞予測であり、ｗTは、時刻ｔの渋滞予測に対する重みである。
【0120】
また、Ｏtは、時刻ｔの追い越し車線情報であり、ｗOは、時刻ｔの追い越し車線情報に対する重みである。
【0121】
動作計画部１６３は、複数の車線のそれぞれについて現在の危険度評価値Ｓxを算出し、最小となる車線を、最も安全な車線とみなして、最も安全な車線への車線変更をするための運転動作を計画する。
【0122】
また、最小となる車線が、現在走行している車線である場合、比較的狭い路地である場合、または、車線が１車線である場合については、動作計画部１６３は、現在の走行速度を所定の割合だけ減速するように制御する運転動作を計画する。
【0123】
車線変更、および走行速度の減速のいずれにおいても、脇見運転や居眠り運転に起因する事故の発生を遅らせる時間を確保すると共に、万が一事故が発生した場合の被害レベルを低減させることが可能となり、安全運転制御を実現することが可能となる。
【0124】
また、自動運転レベルがレベル１である場合については、動作計画部１６３は、現在の走行速度を所定の割合だけ減速する運転動作を計画する。
【0125】
さらに、自動運転レベルがレベル０である場合については、運転操作は運転者が全て行うので、運転動作は計画されないが、動作計画部１６３は、視線方向が適切ではないので、適切な方向に改善するように促す情報を提示する。
【0126】
動作計画部１６３は、計画した動作計画を動作制御部１３５の車両制御部２１１に供給する。
【0127】
車両制御部２１１は、加減速制御部１７２、および方向制御部１７３を制御して、動作計画に応じて車両の動作を制御させる。
【0128】
すなわち、加減速制御部１７２は、走行速度を減速させる動作計画が供給されるときには、動作計画に対応して走行速度を所定の割合だけ減速させるように、駆動系制御部１０７を介して駆動系システム１０８を制御する。
【0129】
また、方向制御部１７３は、車線変更させる動作計画が供給されるときには、動作計画に対応して、最も安全な車線への車線変更を実現できるように方向を制御させる。
【0130】
このとき、動作計画部１６３は、出力制御部１０５を介して出力部１０６の情報表示部２５２、およびスピーカ２５３を制御して、画像と音声で、計画した動作計画に応じた情報を提示させる。
【0131】
すなわち、この場合、動作計画部１６３は、出力制御部１０５を介して出力部１０６の情報表示部２５２、およびスピーカ２５３を制御して、視線方向が適切ではないので、車線を変更する、または、走行速度を減速するといった情報を画像と音声により運転者に提示する。
【0132】
このように安全運転制御処理により車線変更や減速がなされることが事前に提示されて予告されることにより、車線変更や減速がなされる直前などに運転者が覚醒しても、突然、車線変更や減速がなされて運転者が驚き、不用意な運転操作に起因する事故の発生を防止することができる。
【0133】
【0134】
ステップＳ１１において、データ取得部１０２の車内センサ２３１は、運転者の顔の周辺の画像を撮像し、撮像した画像を検出部１３１の車内情報検出部１４２に出力する。車内情報検出部１４２は、撮像された画像における運転者の瞳の位置に基づいて、運転者の視線方向を検出して、状況認識部１５３における車内環境認識部２０１に出力する。すなわち、この処理により、車内環境認識部２０１は、視線方向の情報を取得する。
【0135】
より詳細には、車内情報検出部１４２は、例えば、車内センサ２３１のイメージセンサにより撮像される画像、または、ToFセンサにより撮像される距離画像のいずれかに基づいて、運転者の瞳の位置を検出し、瞳の位置に応じて運転者の視線方向を検出する。
【0136】
また、車内情報検出部１４２は、例えば、日中の明るい環境においては、車内センサ２３１のイメージセンサにより撮像される画像により視線方向を検出し、夜間や荒天時などの暗い環境においては、ToFセンサにより撮像される距離画像に基づいて視線方向を検出するようにしてもよい。さらに、イメージセンサとToFセンサとを組み合わせる事でロバスト性を向上させたり、処理時間を短縮できるようにしても良い。
【0137】
ステップＳ１２において、データ取得部１０２は、車内センサ２３１以外の各種のセンサにより、車外の情報を検出して検出部１３１の車外情報検出部１４１に出力する。車外情報検出部１４１は、データ取得部１０２より取得して、車両周辺情報を生成し、状況認識部１５３における車内環境認識部２０１に出力する。この処理により、車内環境認識部２０１は、車両周辺情報を取得する。
【0138】
ステップＳ１３において、車内環境認識部２０１は、視線方向の情報（視線を注視している時間を含む）と、車両周辺情報とに基づいて、視線方向が運転状況に対して適切であるか否かを判定する。
【0139】
上述したように、車両周辺情報に基づいて、現在走行している道路が、高速道路などであり、道路を正面前方に直進している状況であれば、正面前方が適切な視線方向とみなされる。
【0140】
また、車両周辺情報に基づいて、人通りの多い狭い路地を走行する際には、路肩等を歩行する歩行者や自転車等、並びに、対向車に対しての視線方向が適切な視線方向とみなされる。
【0141】
さらに、車両周辺情報に基づいて、車線変更の運転操作をする場合については、ルームミラー、およびドアミラーへと順に視線方向を移し、最終的に変更する車線に向けられるといった、一般的な、運転に係る教則本等にも記載があるような、安全に必要とされる視線方向の時系列の変化があるとき、視線方向が適切であるとみなされる。
【0142】
ステップＳ１３おいて、視線方向（適切な注視時間であることを前提とした視線方向）が運転状況に応じて適切であるとみなされない場合（例えば、視線方向が適切であっても、注視時間が不適切である場合を含む）、処理は、ステップＳ１４に進む。
【0143】
ステップＳ１４において、フィードバック制御部２０２は、車内環境認識部２０１より供給される判定結果に基づいて、視線方向が適切でない場合、出力制御部１０５を介して、出力部１０６の刺激臭発生部２５１、情報表示部２５２、およびスピーカ２５３の少なくともいずれかにより運転者に対して、視線方向を適切な方向に向けるように促すフィードバックを掛ける。
【0144】
ステップＳ１５において、車内環境認識部２０１は、ステップＳ１１の処理と同様に、再び視線方向の情報を取得する。
【0145】
ステップＳ１６において、車内環境認識部２０１は、ステップＳ１２の処理と同様に、再び車両周辺情報を取得する。
【0146】
ステップＳ１７において、車内環境認識部２０１は、フィードバック制御部２０２によるフィードバックにより視線方向が運転状況に対して適切な方向に改善されたか否かを判定する。
【0147】
ステップＳ１７において、視線方向が運転状況に対して適切な方向に改善されていない場合、処理は、ステップＳ１８に進む。
【0148】
ステップＳ１８において、車内環境認識部２０１は、視線方向が運転状況に対して適切な方向ではないことを示す情報と車両周辺情報を状況予測部１５４に出力する。視線方向が適切ではない場合、状況予測部１５４は、運転者が脇見運転、または、居眠り運転等の危険運転をしている可能性を予測して、予測結果に基づいて、安全運転制御処理を実行するように計画部１３４の動作計画部１６３にコマンドを送信する。このとき、状況予測部１５４は、安全運転制御処理を促すコマンドと共に、車両周辺情報も併せて計画部１３４の動作計画部１６３に送信する。
【0149】
ステップＳ１９において、計画部１３４の動作計画部１６３は、安全運転制御処理を実行するコマンドと車両周辺情報に基づいて、現在の運転状況に対して安全を確保するための安全運転制御処理を実行する。
【0150】
尚、安全運転制御処理については、図７のフローチャートを参照して、詳細を後述する。
【0151】
ステップＳ１９の処理により、安全運転制御処理がなされて、安全が確保されると、処理は、ステップＳ２０に進む。
【0152】
ステップＳ２０において、自動運転制御部１１２は、自動運転の終了が指示されたか否かを判定し、自動運転の終了が指示されていないと判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。
【0153】
また、ステップＳ１３において、視線方向が運転状況に対して適切な方向であるとみなされた場合、ステップＳ１４乃至Ｓ１９の処理がスキップされる。
【0154】
さらに、ステップＳ１７において、視線方向が運転状況に対して適切な方向であるとみなされた場合、ステップＳ１８，１９の処理がスキップされる。
【0155】
そして、ステップＳ２０において、自動運転の終了が指示された場合、自動運転処理が終了する。
【0156】
以上の処理により、視線方向が運転状況に対して適切であるか否かが判定されて、不適切である場合については、視線方向の改善を促す処理がなされ、改善がなされない場合、安全運転制御処理が実行されることにより、安全が確保される。
【0157】
＜＜５．安全運転制御処理＞＞
次に、図７のフローチャートを参照して、安全運転制御処理について説明する。
次に、図７のフローチャートを参照して、安全運転制御処理について説明する。
【0158】
ステップＳ３１において、動作計画部１６３は、現在の自動運転レベルがレベル２であるか否かを判定する。そして、ステップＳ３１において、自動運転レベルがレベル２である場合、処理は、ステップＳ３２に進む。
【0159】
ステップＳ３２において、動作計画部１６３は、車両周辺情報に基づいて、現在走行中の道路が複数車線存在する道路であるか否かを判定する。ステップＳ３２において、現在走行中の道路が複数車線存在する道路であるとみなされた場合、処理は、ステップＳ３３に進む。
【0160】
ステップＳ３３において、動作計画部１６３は、通信部１０３を制御して、クラウドサーバ等から現在走行中の道路の車線の情報を取得する。
【0161】
ステップＳ３４において、動作計画部１６３は、取得した車線の情報に基づいて、例えば、上述した式（１）で表されるような演算により、車線毎の危険度評価値を算出する。
【0162】
ステップＳ３５において、動作計画部１６３は、危険度評価値が最小となる車線を、最も安全な車線として特定する。
【0163】
ステップＳ３６において、動作計画部１６３は、危険度評価値が最小となる、最も安全な車線が、現在走行中の車線であり、車線変更が不要である否かを判定する。ステップＳ３６において、現在走行中の車線が、危険度評価値が最小ではなく、車線変更が必要である場合、処理は、ステップＳ３７に進む。
【0164】
ステップＳ３７において、動作計画部１６３は、危険度評価値が最小となる車線へと変更するための移動方向を特定する。
【0165】
ステップＳ３８において、動作計画部１６３は、出力制御部１０５を制御して、出力部１０６の情報表示部２５２、およびスピーカ２５３より、視線方向が適切ではないので安全確保のため車線を変更する旨を画像と音声により運転者に対して提示する。
【0166】
ステップＳ３９において、動作計画部１６３は、動作制御部１３５に対して、危険度評価値が最小となる車線へと変更するための移動方向を通知する。動作制御部１３５においては、車両制御部２１１の方向制御部１７３が、駆動系制御部１０７を制御して、通知された危険度評価値が最小となる車線へと変更するための移動方向に向けて、車両が移動するように駆動系システム１０８を動作させる。結果として、危険度評価値が最小となる車線への車線変更が実現される。
【0167】
一方、ステップＳ３１において、自動運転レベルがレベル２ではない場合、処理は、ステップＳ４０に進む。
【0168】
ステップＳ４０において、動作計画部１６３は、現在の自動運転レベルがレベル１であるか否かを判定する。ステップＳ４０において、現在の自動運転レベルがレベル１である場合、処理は、ステップＳ４１に進む。
【0169】
ステップＳ４１において、動作計画部１６３は、出力制御部１０５を制御して、出力部１０６の情報表示部２５２、およびスピーカ２５３より、視線方向が適切ではないので安全確保のため減速する旨を画像と音声により運転者に対して提示する。
【0170】
ステップＳ４２において、動作計画部１６３は、動作制御部１３５に対して、現在の走行速度に対して所定の割合だけ減速するように通知する。動作制御部１３５においては、車両制御部２１１の加減速制御部１７２が、駆動系制御部１０７を制御して、通知された現在の走行速度に対して所定の割合だけ減速するように駆動系システム１０８を動作させる。結果として、現在の走行速度に対して所定の割合だけ減速させることが可能となる。
【0171】
また、ステップＳ４０において、自動運転レベルがレベル１ではない場合、すなわち、自動運転レベルがレベル０であり、全てを運転者が制御する場合、処理は、ステップＳ４３に進む。
【0172】
ステップＳ４３において、動作計画部１６３は、出力制御部１０５を制御して、出力部１０６の情報表示部２５２、およびスピーカ２５３より、視線方向が適切ではないので適切な方向へと改善を促す旨の情報を画像と音声により運転者に対して提示する。
【0173】
尚、ステップＳ３２において、現在走行中の道路の車線が複数車線ではない場合、または、ステップＳ３６において、現在走行中の車線が、危険度評価値が最小の車線であり、車線変更が不要である場合、処理は、ステップＳ４１に進む。
【0174】
すなわち、この場合、安全を確保するための、現在の走行速度に対して所定の割合だけ減速されることになる。
【0175】
以上の処理により、視線方向が不適切であり、脇見運転や居眠り運転が疑われるような状況において、自動運転レベルがレベル２である場合については、走行中の道路が複数車線であり、危険度評価値が最小となる車線ではないときには、危険度評価値が最小となる車線に車線変更される。
【0176】
このような処理により、走行車線の危険度評価値が低減されることにより、脇見運転や居眠り運転が疑われるような状況において、脇見運転や居眠り運転に起因する事故が発生するまでの時間を稼ぐと共に、万が一事故が発生した場合でも被害レベルを低減することができる。
【0177】
結果として、視線方向が不適切であり、脇見運転や居眠り運転が疑われるような状況においても、安全性を向上させることが可能となる。
【0178】
また、視線方向が不適切であり、脇見運転や居眠り運転が疑われるような状況において、自動運転レベルがレベル２であって、走行中の道路が複数車線ではない道路であるとき、または危険度評価値が最小となる車線を走行しているとき、さらに、自動運転レベルがレベル１である場合については、現在の走行速度に対して所定の割合だけ減速される。
【0179】
このような処理により、視線方向が不適切であり、脇見運転や居眠り運転が疑われるような状況において、脇見運転や居眠り運転に起因する事故が発生するまでの時間を稼ぐと共に、万が一事故が発生した場合でも被害レベルを低減させることが可能となる。また、視線方向が不適切であり、脇見運転や居眠り運転が疑われるような状況が継続する場合には、段階的に速度が減速されることになり、更なる安全を確保することが可能となる。
【0180】
尚、段階的に速度が減速されることにより、視線方向が不適切な状態が継続した場合には、最終的には車両１１を停車させるようにしてもよい。また、停車させる場合、自動運転レベル２であり、方向を制御することができるときには、路肩の安全な位置に停車させるように制御してもよい。
【0181】
結果として、視線方向が不適切であり、脇見運転や居眠り運転が疑われるような状況においても、安全性を向上させることが可能となる。
【0182】
さらに、安全運転制御処理において、車線変更をする場合、および減速する場合のいずれにおいても、事前に車線変更や減速といった運転制御がなされることを予告する情報が提示されてから運転制御がなされる。このため、安全運転制御処理による制御動作がなされる直前に運転者が覚醒した場合、急激な車線変更や減速により運転者が錯誤に陥り、不用意な運転操作がなされるのを防止することが可能となる。
【0183】
また、視線方向が不適切であり、脇見運転や居眠り運転が疑われるような状況において、自動運転レベルがレベル０であるような場合でも、車線変更や減速といった運転制御はできないものの、視線方向を適切な方向に促す情報が画像および音声により提示され続けることになる。
【0184】
結果として、視線方向が不適切であり、脇見運転や居眠り運転が疑われるような状況においても、安全性を向上させることが可能となる。
【0185】
＜＜６．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【0186】
図８は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【0187】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記録媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【0188】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記録媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0189】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【0190】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0191】
コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【0192】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0193】
【0194】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0195】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0196】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0197】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0198】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0199】
尚、本開示は、以下のような構成も取ることができる。
【0200】
［請求項１］
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサの検出結果を取得する取得部と、
前記検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
情報処理装置。
［請求項２］
前記車両の周辺の情報である車外情報を検出する車外情報検出部をさらに備え、
前記車内環境認識部は、前記検出結果と前記車外情報とに基づいて、前記運転者の前記視線方向が適切であるか否かを判定する
請求項１に記載の情報処理装置。
［請求項３］
前記運転者の前記視線方向が改善されないと判定された場合、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する動作計画部をさらに含み、
前記動作制御部は、前記動作計画部により計画された、前記動作を実現するように、前記車両の前記動作を制御する
請求項２に記載の情報処理装置。
［請求項４］
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、現在走行している道路の複数の車線毎の危険度評価値を算出し、前記危険度評価値に基づいて、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する
請求項３に記載の情報処理装置。
［請求項５］
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、前記危険度評価値に基づいて、現在走行している道路の複数の車線のうち、最も安全な車線に車線変更するように、前記車両の前記動作を計画し、
前記動作制御部は、前記動作計画部の前記計画に従って、現在走行している道路の複数の車線のうち、最も安全な車線に車線変更するように、前記車両の前記動作を制御する
請求項４に記載の情報処理装置。
［請求項６］
前記動作計画部は、前記危険度評価値に基づいて、現在走行している道路の複数の車線のうち、最も安全な車線として、前記危険度評価値が最小となる車線への車線変更を計画し、
前記動作制御部は、前記動作計画部により計画された、前記危険度評価値が最小となる車線へと車線変更するように、前記車両の前記動作を制御する
請求項５に記載の情報処理装置。
［請求項７］
前記動作計画部が、前記安全な車線への車線変更をする前記動作を計画するとき、前記フィードバック制御部は、前記安全な車線に車線変更することが計画されたことを前記運転者にフィードバックし、
前記安全な車線に車線変更することが計画されたことが前記運転者にフィードバックされた後、前記動作制御部は、前記安全な車線に車線変更するように、前記車両の前記動作を制御する
請求項３に記載の情報処理装置。
［請求項８］
前記動作計画部は、前記現在走行している車線が、前記安全な車線であるとき、前記走行速度の減速を計画し、
前記動作制御部は、前記現在走行している車線において、前記走行速度を減速するように、前記車両の前記動作を制御する
請求項３に記載の情報処理装置。
［請求項９］
前記動作計画部は、前記現在走行している車線が、前記安全な車線であり、前記走行速度の減速を計画するとき、前記フィードバック制御部は、前記走行速度を減速することが計画されたことを前記運転者にフィードバックし、
前記走行速度を減速することが計画されたことが前記運転者にフィードバックされた後、前記動作制御部は、前記走行速度を減速するように、前記車両の前記動作を制御する
請求項８に記載の情報処理装置。
［請求項１０］
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、クラウドサーバにアクセスして、現在走行している道路の車線の情報を取得して、取得した現在走行している道路の車線の情報に基づいて、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する
請求項３に記載の情報処理装置。
［請求項１１］
前記運転者の前記視線方向が適切ではないと判定された場合、前記フィードバック制御部は、前記運転者に対して前記視線方向を適切な方向に向けるように促す情報として、画像として表示部に表示させる、音声としてスピーカから出力させる、刺激臭を発生させる、前記運転者に対して会話をさせる、シートベルトを振動させる、ステアリングを振動させる、およびシートを振動させるフィードバックの少なくともいずれかを掛ける
請求項１に記載の情報処理装置。
［請求項１２］
前記車両の運転者の視線を検出するための前記車内センサの前記検出結果は、前記運転者の顔の付近の画像であり、
前記車内環境認識部は、前記取得部により取得される、前記車内センサの前記検出結果としての、前記運転者の顔の付近の画像より、前記運転者の瞳の位置を特定し、特定した瞳の位置に基づいて、前記運転者の前記視線方向を検出する
請求項１に記載の情報処理装置。
［請求項１３］
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御処理することと、
前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識処理することと、
前記車内環境認識処理により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御処理することとを含み、
前記フィードバック制御処理により前記フィードバックがなされた後において、前記車内環境認識処理により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御処理は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
情報処理方法。
［請求項１４］
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部としてコンピュータを機能させ、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
プログラム。
［請求項１５］
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサと、
前記車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
車両。
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサの検出結果を取得する取得部と、
前記検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
情報処理装置。
［請求項２］
前記車両の周辺の情報である車外情報を検出する車外情報検出部をさらに備え、
前記車内環境認識部は、前記検出結果と前記車外情報とに基づいて、前記運転者の前記視線方向が適切であるか否かを判定する
請求項１に記載の情報処理装置。
［請求項３］
前記運転者の前記視線方向が改善されないと判定された場合、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する動作計画部をさらに含み、
前記動作制御部は、前記動作計画部により計画された、前記動作を実現するように、前記車両の前記動作を制御する
請求項２に記載の情報処理装置。
［請求項４］
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、現在走行している道路の複数の車線毎の危険度評価値を算出し、前記危険度評価値に基づいて、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する
請求項３に記載の情報処理装置。
［請求項５］
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、前記危険度評価値に基づいて、現在走行している道路の複数の車線のうち、最も安全な車線に車線変更するように、前記車両の前記動作を計画し、
前記動作制御部は、前記動作計画部の前記計画に従って、現在走行している道路の複数の車線のうち、最も安全な車線に車線変更するように、前記車両の前記動作を制御する
請求項４に記載の情報処理装置。
［請求項６］
前記動作計画部は、前記危険度評価値に基づいて、現在走行している道路の複数の車線のうち、最も安全な車線として、前記危険度評価値が最小となる車線への車線変更を計画し、
前記動作制御部は、前記動作計画部により計画された、前記危険度評価値が最小となる車線へと車線変更するように、前記車両の前記動作を制御する
請求項５に記載の情報処理装置。
［請求項７］
前記動作計画部が、前記安全な車線への車線変更をする前記動作を計画するとき、前記フィードバック制御部は、前記安全な車線に車線変更することが計画されたことを前記運転者にフィードバックし、
前記安全な車線に車線変更することが計画されたことが前記運転者にフィードバックされた後、前記動作制御部は、前記安全な車線に車線変更するように、前記車両の前記動作を制御する
請求項３に記載の情報処理装置。
［請求項８］
前記動作計画部は、前記現在走行している車線が、前記安全な車線であるとき、前記走行速度の減速を計画し、
前記動作制御部は、前記現在走行している車線において、前記走行速度を減速するように、前記車両の前記動作を制御する
請求項３に記載の情報処理装置。
［請求項９］
前記動作計画部は、前記現在走行している車線が、前記安全な車線であり、前記走行速度の減速を計画するとき、前記フィードバック制御部は、前記走行速度を減速することが計画されたことを前記運転者にフィードバックし、
前記走行速度を減速することが計画されたことが前記運転者にフィードバックされた後、前記動作制御部は、前記走行速度を減速するように、前記車両の前記動作を制御する
請求項８に記載の情報処理装置。
［請求項１０］
前記動作計画部は、前記運転者の前記視線方向が改善されないと判定された場合、クラウドサーバにアクセスして、現在走行している道路の車線の情報を取得して、取得した現在走行している道路の車線の情報に基づいて、前記走行速度を減速する、または、前記安全な車線へと車線変更するかいずれかの、前記車両の前記動作を計画する
請求項３に記載の情報処理装置。
［請求項１１］
前記運転者の前記視線方向が適切ではないと判定された場合、前記フィードバック制御部は、前記運転者に対して前記視線方向を適切な方向に向けるように促す情報として、画像として表示部に表示させる、音声としてスピーカから出力させる、刺激臭を発生させる、前記運転者に対して会話をさせる、シートベルトを振動させる、ステアリングを振動させる、およびシートを振動させるフィードバックの少なくともいずれかを掛ける
請求項１に記載の情報処理装置。
［請求項１２］
前記車両の運転者の視線を検出するための前記車内センサの前記検出結果は、前記運転者の顔の付近の画像であり、
前記車内環境認識部は、前記取得部により取得される、前記車内センサの前記検出結果としての、前記運転者の顔の付近の画像より、前記運転者の瞳の位置を特定し、特定した瞳の位置に基づいて、前記運転者の前記視線方向を検出する
請求項１に記載の情報処理装置。
［請求項１３］
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御処理することと、
前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識処理することと、
前記車内環境認識処理により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御処理することとを含み、
前記フィードバック制御処理により前記フィードバックがなされた後において、前記車内環境認識処理により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御処理は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
情報処理方法。
［請求項１４］
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部としてコンピュータを機能させ、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
プログラム。
［請求項１５］
加減速に係る運転操作、およびステアリング操作に係る運転操作を連携して車両の動作を制御する動作制御部と、
前記車両の運転者の視線を検出するための車内センサと、
前記車内センサの検出結果に基づいて、運転者の視線方向が適切であるか否かを判定する車内環境認識部と、
前記車内環境認識部により、前記視線方向が不適切である判定された場合、前記運転者に前記視線方向を適切な方向にするように促す情報をフィードバックするフィードバック制御部とを備え、
前記フィードバック制御部により前記フィードバックがなされた後において、前記車内環境認識部により、前記運転者の前記視線方向が改善されないと判定された場合、前記動作制御部は、走行速度を減速する、または、安全な車線へと車線変更するように、前記車両の前記動作を制御する
車両。
【符号の説明】
【0201】
９１ 車両， １００ 車両制御システム， １０２ データ取得部， １１２ 自動運転制御部， １３３ 状況分析部， １３４ 計画部， １３５ 動作制御部， １５３ 状況認識部， １５４ 状況予測部， １７２ 加減速制御部， １７３ 方向制御部， ２０１ 車内環境認識部， ２０２ フィードバック制御部， ２０３ E-call， ２１１ 車両制御部， ２３１ 車内センサ， ２５１ 刺激臭発生部， ２５２ 情報表示部， ２５３ スピーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】