特許 7610962 運転支援装置、運転支援方法、および運転支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-25

(45)【発行日】2025-01-09

(54)【発明の名称】運転支援装置、運転支援方法、および運転支援プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241226BHJP

   B60W 40/04 20060101ALI20241226BHJP

   B60W 30/08 20120101ALI20241226BHJP

   G06T 7/00 20170101ALI20241226BHJP

【ＦＩ】

G08G1/16 C

B60W40/04

B60W30/08

G06T7/00 650B

【請求項の数】 9

(21)【出願番号】P 2020203230

(22)【出願日】2020-12-08

(65)【公開番号】P2022090746

(43)【公開日】2022-06-20

【審査請求日】2023-11-02

(73)【特許権者】

【識別番号】519373914

【氏名又は名称】株式会社Ｊ－ＱｕＡＤ ＤＹＮＡＭＩＣＳ

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】伊藤 章

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】特開２００７－１３３６９２（ＪＰ，Ａ）

【文献】特開２００９－１２３１８２（ＪＰ，Ａ）

【文献】特開２００９－２７１７６６（ＪＰ，Ａ）

【文献】特開２０１７－０３３１９４（ＪＰ，Ａ）

【文献】特開平０６－２４３３９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ ３０／００ － ６０／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

運転者を撮影するカメラの出力信号に基づき運転者の視野を算出する視野算出処理（Ｓ２０～Ｓ２４）と、
車両の周囲の情報に基づき、前記車両を運転するうえで監視が必要な領域である必要監視領域を算出する領域算出処理（Ｓ１２～Ｓ１８）と、
前記視野算出処理によって算出された視野が前記必要監視領域を包含しているか否かを判定する判定処理（Ｓ２６）と、
前記必要監視領域を包含していないと判定する場合、所定のハードウェアを操作することによって前記包含していない事態に対処する対処処理（Ｓ３６，Ｓ３８，Ｓ４０，Ｓ５２，Ｓ５８）と、を実行し、
前記車両は、感知対象領域の物体から向かってきた信号を受信して前記感知対象領域の物体を感知する物体感知装置（１０，１２）を備え、
前記対処処理は、
前記必要監視領域を包含していないと判定する場合、前記必要監視領域のうち前記視野がカバーしていない領域を、前記物体感知装置による物体の監視領域である補完領域に設定する設定処理（Ｓ３０）と、
前記物体感知装置に前記必要監視領域のうちの前記補完領域を選択的に前記感知対象領域にさせることによって前記補完領域を監視する処理（Ｓ３２）と、を含む運転支援装置。

【請求項2】

前記物体感知装置は、測距信号を前記感知対象領域に出力した際の反射波を受信する測距装置（１０，１２）であり、
前記補完領域を監視する処理は、前記測距装置に前記補完領域に向けて前記測距信号を出力させることによって前記補完領域を監視する処理（Ｓ３２）である請求項１記載の運転支援装置。

【請求項3】

前記対処処理は、前記物体感知装置が、前記車両の走行を妨げる物体の存在を感知する場合、報知装置（５４）を操作することによってその旨を報知する報知処理（Ｓ３６）を含む請求項１または２記載の運転支援装置。

【請求項4】

前記対処処理は、前記物体感知装置が、前記車両の走行を妨げる物体の存在を感知する場合、前記物体との衝突を回避すべく、前記車両の推力を変更する装置（５０，５２）を操作する操作処理（Ｓ３８）を含む請求項１～３のいずれか１項に記載の運転支援装置。

【請求項5】

前記設定処理を、前記必要監視領域のうち前記視野に含まれる領域の割合が所定割合以上である場合に実行し、
前記対処処理は、前記視野に含まれる領域の割合が所定割合未満の場合、注意喚起するための装置（５４）を操作して前記必要監視領域を監視するように注意喚起する処理（Ｓ４０）を含む請求項１～４のいずれか１項に記載の運転支援装置。

【請求項6】

前記対処処理は、前記必要監視領域を包含していないと判定する場合、注意喚起するための装置（５４）を操作して前記必要監視領域を監視するように注意喚起する処理（Ｓ４０）を含む請求項１記載の運転支援装置。

【請求項7】

前記領域算出処理は、
前記運転者による前記車両の操作を示す変数である操作変数の値に基づき、前記車両の挙動を予測する挙動予測処理（Ｓ１２）と、
前記車両の位置情報に応じて地図データを参照することによって前記車両の周囲の情報を取得する取得処理（Ｓ１６）と、
前記予測された挙動と前記周囲の情報とに基づき、前記必要監視領域を算出する処理と、を含む請求項１～６のいずれか１項に記載の運転支援装置。

【請求項8】

請求項１～７のいずれか１項に記載の運転支援装置における前記視野算出処理、前記領域算出処理、前記判定処理、および前記対処処理の各処理を実行する工程を有する運転支援方法。

【請求項9】

請求項１～７のいずれか１項に記載の運転支援装置における前記視野算出処理、前記領域算出処理、前記判定処理、および前記対処処理の各処理をコンピュータに実行させる運転支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援装置、運転支援方法、および運転支援プログラムに関する。

【背景技術】

【0002】

たとえば下記特許文献１には、交差点付近に遮蔽物が存在するために死角領域が生じる場合、交差点に差し掛かる以前にカメラによって捉えられていた移動体の画像に基づき、死角領域に想定される移動体の画像を生成して表示する装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２３１９３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記装置は、運転席から視界が遮られている領域に焦点をあてたものである。そのため、視界が遮られていないものの、運転者の視界に入っていない領域に移動体が存在したとしても、これに対処できない。

【課題を解決するための手段】

【0005】

以下、上記課題を解決するための手段およびその作用効果について記載する。
運転者を撮影するカメラの出力信号に基づき運転者の視野を算出する視野算出処理（Ｓ２０～Ｓ２４）と、車両の周囲の情報に基づき、前記車両を運転するうえで監視が必要な領域である必要監視領域を算出する領域算出処理（Ｓ１２～Ｓ１８）と、前記視野算出処理によって算出された視野が前記必要監視領域を包含しているか否かを判定する判定処理（Ｓ２６）と、前記必要監視領域を包含していないと判定する場合、所定のハードウェアを操作することによって前記包含していない事態に対処する対処処理（Ｓ３６，Ｓ３８，Ｓ４０，Ｓ５２，Ｓ５８）と、を実行する運転支援装置である。

【0006】

上記構成では、カメラの出力信号に基づき運転者の視野を算出し、視野が必要監視領域を包含しているか否かを判定する。そして、包含していないと判定する場合に、包含していない事態に対処することから、運転者の視野に入っていない領域に車両の運転にとって支障となる物体が存在するなどした場合に、車両の運転の安全性を高めることができる。

【図面の簡単な説明】

【0007】

【図1】一実施形態にかかる車両内に搭載される機器の構成を示す図。

【図2】同実施形態にかかるＡＤＡＳＥＣＵが実行する処理の手順を示す流れ図。

【図3】同実施形態にかかる、視野、必要監視領域、および補完領域を例示する平面図。

【図4】同実施形態にかかるＡＤＡＳＥＣＵが実行する処理の手順を示す流れ図。

【発明を実施するための形態】

【0008】

以下、一実施形態について図面を参照しつつ説明する。
図１に、本実施形態にかかる車両に搭載される機器の一部を示す。
図１に示す光センサ１２は、たとえば近赤外線等のレーザ光を照射する。また、光センサ１２は、レーザ光の反射光を受光することに基づき、レーザ光を反射した物体と車両との距離を示す変数である距離変数と、レーザ光の照射方向を示す変数である方向変数と、反射した物体の反射強度を示す変数である強度変数とを示す測距点データを生成する。これは、たとえばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式によって実現できる。もっとも、ＴＯＦ法式に限らず、たとえば、ＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式にて測距点データを生成してもよい。その場合、測距点データに、レーザ光を反射した物体との相対速度を示す変数である速度変数を含めることができる。

【0009】

光センサ１２は、レーザ光の照射方向を、周期的に水平方向および垂直方向に走査する。そして、１フレームで得られた測距点データの集合である測距点群データＤｒｐｃを周期的に出力する。なお、１フレームは、水平方向および垂直方向への操作の１周期に対応する。

【0010】

ＬＩＤＡＲＥＣＵ１０は、測距点群データＤｒｐｃに基づき、レーザ光を反射した物体の認識処理を実行する。認識処理は、たとえば測距点群データＤｒｐｃのクラスタリング処理と、クラスタリング処理によって１つの物体として特定された測距点データの集合の特徴量を抽出し、抽出した特徴量を、所定の物体であるか否かを判定する識別モデルに入力する処理とを含んでもよい。また、これに代えて、測距点群データＤｒｐｃを深層学習モデルに直接入力して物体を認識する処理としてもよい。

【0011】

ＡＤＡＳＥＣＵ２０は、車両ＶＣの運転を支援する処理を実行する。ＡＤＡＳＥＣＵ２０は、運転を支援する処理を実行する際、ローカルネットワーク３０を介して、ＬＩＤＡＲＥＣＵ１０による認識結果を受信する。また、ＡＤＡＳＥＣＵ２０は、運転を支援する処理を実行する際、ローカルネットワーク３０を介して、全地球測位システム（ＧＰＳ３２）の位置データＤｇｐｓと、地図データ３４とを参照する。

【0012】

また、ＡＤＡＳＥＣＵ２０は、運転を支援する処理を実行する際、次に示す、運転者が車両を運転するうえで操作する操作部材の操作状態を示す状態変数を参照する。すなわち、ＡＤＡＳＥＣＵ２０は、アクセルセンサ３６によって検出されるアクセルペダルの踏み込み量であるアクセル操作量ＡＣＣＰ、およびブレーキセンサ３８によって検出されるブレーキペダルの踏み込み量であるブレーキ操作量Ｂｒｋを参照する。また、ＡＤＡＳＥＣＵ２０は、舵角センサ４２によって検出される操舵角θｓ、操舵トルクセンサ４４によって検出される、ステアリングホイールへの入力トルクである操舵トルクＴｒｑ、およびウィンカー４０の操作状態を示すウィンカー信号Ｗｉｎを参照する。

【0013】

また、ＡＤＡＳＥＣＵ２０は、車両の状態を示す状態変数として、車速センサ４６によって検出される車速ＳＰＤを参照する。
また、ＡＤＡＳＥＣＵ２０は、運転を支援する処理を実行する際、可視光カメラである車内カメラ４８による車両ＶＣ内部の画像データである車内画像データＤｐｉを参照する。なお、車内カメラ４８は、主に、運転者を撮像する装置である。

【0014】

また、ＡＤＡＳＥＣＵ２０は、運転を支援する処理を実行する際、制動系５０、駆動系５２およびスピーカ５４を操作する。
詳しくは、ＡＤＡＳＥＣＵ２０は、ＣＰＵ２２、ＲＯＭ２４、記憶装置２６および周辺回路２８を備えており、それらがローカルネットワーク２９によって通信可能とされている。ここで、周辺回路２８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。また、記憶装置２６は、電気的に書き換え可能な不揮発性のメモリである。

【0015】

図２に、本実施形態にかかる運転支援処理の手順を示す。図２に示す処理はＲＯＭ２４に記憶された運転支援プログラム２４ａをＣＰＵ２２がたとえば所定周期で繰り返し実行することにより、実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。

【0016】

図２に示す一連の処理において、ＣＰＵ２２は、まず、ウィンカー信号Ｗｉｎ，操舵角θｓ、操舵トルクＴｒｑ、アクセル操作量ＡＣＣＰ、ブレーキ操作量Ｂｒｋ、および車速ＳＰＤを取得する（Ｓ１０）。そしてＣＰＵ２２は、Ｓ１０の処理によって取得した各状態変数の値に基づき、車両の挙動を予測する（Ｓ１２）。すなわち、たとえばウィンカー信号Ｗｉｎが右折を示していれば、車両の挙動として右側に旋回する可能性が高いとして車両の挙動を予測することができる。車両が右側に旋回する場合には、操舵角θｓおよび操舵トルクＴｒｑの値が右側に旋回するときに特有の値となる。しかし、そのような操作がなされる以前にウィンカー信号Ｗｉｎが右折を示すのが普通であることから、ウィンカー信号Ｗｉｎを参照することにより、操舵角θｓおよび操舵トルクＴｒｑのみからは右側への旋回を予測できないタイミングで、前もって右側への旋回を予測することができる。すなわち、Ｓ１２の処理は、操舵角θｓや操舵トルクＴｒｑが変化する前に旋回を予測する処理を含む。

【0017】

次にＣＰＵ２２は、位置データＤｇｐｓを取得する（Ｓ１４）。そしてＣＰＵ２２は、地図データ３４のうち位置データＤｇｐｓに対応する部分を参照する（Ｓ１６）。この処理は、車両の周囲の道路交通環境に関する情報を取得する処理である。

【0018】

そしてＣＰＵ２２は、Ｓ１２の処理によって予測した車両の挙動、およびＳ１６の処理によって参照した道路交通環境に関する情報などに基づき、車両を運転するうえで監視が必要な領域である必要監視領域を算出する（Ｓ１８）。必要監視領域は、車両の挙動の予測結果に基づき、車両が走行する際に近未来において通過する領域を包含する。また、ＣＰＵ２２は、上記道路交通環境に関する情報に基づき、近未来において通過する領域の周囲の領域を必要監視領域に含める。すなわち、ＣＰＵ２２は、たとえば歩道のある車道の走行時に交差点を右折する場合、右折時に歩道から車両の走行経路上に入ってくる歩行者がいないかを監視すべく、周囲の歩道を必要監視領域に含める。ただし、ＣＰＵ２２は、たとえば歩道橋が接地されている交差点の場合、周囲の歩道を必要監視領域に含めないこともある。

【0019】

なお、ＣＰＵ２２は、必要監視領域を算出する際、車速ＳＰＤを参照することが望ましい。これにより、車速ＳＰＤが大きい場合には小さい場合よりも、必要監視領域を広域に算出することが可能となる。

【0020】

図３に、必要監視領域Ａｎｍを例示する。図３に示す例では、車両ＶＣ（１）が交差点で右折しようとしているために、右折時に通過する横断歩道付近の領域が必要監視領域Ａｎｍとして設定されている。

【0021】

図２に戻り、ＣＰＵ２２は、車内カメラ４８による車内画像データＤｐｉを取得する（Ｓ２０）。そして、ＣＰＵ２２は、車内画像データＤｐｉに基づき、頭部姿勢、および視線を算出する（Ｓ２２）。本実施形態では、顔や目のモデルを入力画像にフィッティングすることにより視線を推定するいわゆるモデルベース手法を採用した。すなわち、図１に示す記憶装置２６には、車内画像データＤｐｉを入力とし顔の特徴量を出力する写像を規定する写像データ２６ａが記憶されている。そしてＣＰＵ２２は、車内画像データＤｐｉを写像への入力とすることによって、顔の特徴量を算出する。顔の特徴量は、予め定められた複数の顔の特徴点の画像中の座標成分である。顔の特徴点は、目の位置のみならず、頭部姿勢の算出において有益な点を含む。上記写像は、畳み込みニューラルネットワーク（ＣＮＮ）である。

【0022】

ＣＰＵ２２は、顔の特徴量である顔の各特徴点の座標から、３次元顔モデルを用いて頭部の位置、方向を定める頭部姿勢を推定する。また、ＣＰＵ２２は、頭部姿勢と、所定の顔特徴点の座標とに基づき、眼球中心を推定する。そしてＣＰＵ２２は、眼球モデルと眼球中心とに基づき、虹彩中心位置を推定する。そしてＣＰＵ２２は、眼球中心から虹彩中心に進む方向を算出し、これを視線方向とする。

【0023】

次に、ＣＰＵ２２は、視線方向から所定範囲を有効視野として算出する（Ｓ２４）。詳しくは、所定範囲を、視線方向とのなす角度が所定角度以内の範囲とする。ここで所定角度は、たとえば１５～２５°とする。

【0024】

図３に、有効視野ＦＶを例示する。
図２に戻り、ＣＰＵ２２は、Ｓ２４の処理によって算出された有効視野が、Ｓ１８の処理において算出された必要監視領域を包含しているか否かを判定する（Ｓ２６）。ＣＰＵ２２は、包含していないと判定する場合（Ｓ２８：ＮＯ）、必要監視領域と有効視野との重複した領域が必要監視領域の所定割合よりも小さいか否かを判定する（Ｓ２８）。ここで、所定割合は、わき見運転時等の運転をする上で必要な注意を著しく欠いている状態とそうではない状態とを識別可能な値に設定されている。

【0025】

ＣＰＵ２２は、所定割合以上であると判定する場合（Ｓ２８：ＮＯ）、必要監視領域のうち有効視野と重複しない領域を、補完領域として算出する（Ｓ３０）。すなわち、運転者が周囲に注意しつつ運転しているものの、安全性を担保する上では不十分であるとして、有効視野ＦＶに含めるべき領域が補完領域とされる。

【0026】

図３に、補完領域ＡＣを例示する。
図２に戻り、ＣＰＵ２２は、補完領域に車両の運転にとって障害となる物体が存在するか否かを監視する処理を開始する（Ｓ３２）。詳しくは、ＣＰＵ２２は、ＬＩＤＡＲＥＣＵ１０に、補完領域の物体認識処理を指示する。これにより、ＬＩＤＡＲＥＣＵ１０は、光センサ１２を操作することによって、補完領域にレーザ光を照射する。そしてＬＩＤＡＲＥＣＵ１０は、補完領域に照射されたレーザの反射光に基づき、物体の認識処理を実行して、認識処理の結果をＡＤＡＳＥＣＵ２０に出力する。ＣＰＵ２２は、ＬＩＤＡＲＥＣＵ１０から送信された認識処理の認識結果に基づき、補完領域に車両の運転にとって障害となる物体が存在するか否かを監視する。

【0027】

そしてＣＰＵ２２は、補完領域に車両や人が存在すると判定する場合（Ｓ３４：ＹＥＳ）、スピーカ５４を操作することによって、運転者に、走行を妨げる物体が存在する旨の注意喚起を行う（Ｓ３６）。また、ＣＰＵ２２は、駆動系５２を操作する、または、駆動系５２および制動系５０を操作することによって、車両を減速させる（Ｓ３８）。すなわち、ＣＰＵ２２は、駆動系５２の出力を絞ることで十分な減速が可能と判定する場合には、駆動系５２を操作することによって車両を減速させる。一方、ＣＰＵ２２は、駆動系５２の出力を絞るだけでは十分な減速ができないと判定する場合には、駆動系５２の出力を絞るとともに制動系５０を操作して制動力を付与する。

【0028】

一方、ＣＰＵ２２は、必要監視領域と有効視野との重複した領域が必要監視領域の所定割合よりも小さいと判定する場合（Ｓ２８：ＹＥＳ）、スピーカ５４を操作して、運転者に運転に集中するように警告する（Ｓ４０）。そしてＣＰＵ２２は、フラグＦｒに「１」を代入する（Ｓ４２）。フラグＦｒは、「１」である場合、危険を回避するためにＡＤＡＳＥＣＵ２０が車両の運転に介入する処理を実行していることを示し、「０」である場合、実行していないことを示す。

【0029】

フラグＦｒには、Ｓ２６の処理において肯定判定される場合と、Ｓ３４の処理において否定判定される場合と、Ｓ３８の処理を完了する場合とに、ＣＰＵ２２によって「０」が代入される（Ｓ４４）。

【0030】

なお、ＣＰＵ２２は、Ｓ４２，Ｓ４４の処理を完了する場合には、図２に示した一連の処理を一旦終了する。
図４に、上述した危険を回避するためにＡＤＡＳＥＣＵ２０が車両の運転に介入する処理の手順を示す。図４に示す処理は、ＲＯＭ２４に記憶された運転支援プログラム２４ａをＣＰＵ２２がたとえば所定周期で繰り返し実行することにより実現される。

【0031】

図４に示す一連の処理において、ＣＰＵ２２は、フラグＦｒが「１」であるか否かを判定する（Ｓ５０）。ＣＰＵ２２は、フラグＦｒが「１」であると判定する場合（Ｓ５０：ＹＥＳ）、駆動系５２を操作する、または駆動系５２および制動系５０を操作することによって、車両を減速させる（Ｓ５２）。そして、ＣＰＵ２２は、必要監視領域と有効視野との重複した領域が必要監視領域の所定割合よりも小さいと判定されている期間の長さを計時するためのカウンタをインクリメントする（Ｓ５４）。そしてＣＰＵ２２は、カウンタＣが閾値Ｃｔｈ以上であるか否かを判定する（Ｓ５６）。閾値Ｃｔｈは、必要監視領域と有効視野との重複した領域が必要監視領域の所定割合よりも小さい状態の継続時間に関する、車両の走行を許容すべきではない長さに設定されている。

【0032】

ＣＰＵ２２は、閾値Ｃｔｈ以上であると判定する場合（Ｓ５６：ＹＥＳ）、駆動系５２および制動系５０を操作することによって、車両を強制的に停止させる（Ｓ５８）。
これに対しＣＰＵ２２は、フラグＦｒが「０」であると判定する場合（Ｓ５０：ＮＯ）、カウンタＣを初期化する（Ｓ６０）。

【0033】

なお、ＣＰＵ２２は、Ｓ５８，Ｓ６０の処理を完了する場合や、Ｓ５６の処理において否定判定する場合には、図４に示した一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。

【0034】

ＣＰＵ２２は、車両の挙動予測に基づき、必要監視領域を算出する。また、ＣＰＵ２２は、車内画像データＤｐｉに基づき、有効視野を算出する。そして、ＣＰＵ２２は、有効視野と必要監視領域との重複領域が必要監視領域の所定割合以上であるか否かを判定する。ここで、たとえば図３に示すように、右折時において運転者が対向車線の方に気を取られている場合等には、有効視野が必要監視領域を十分にカバーできなくなるおそれがある。図３の例では、対向車線の車両ＶＣ（２）が、車両ＶＣ（１）の走行予定経路から外れたことで安心してしまっている例を示している。この場合、自転車に乗っている人ＢＨが横断歩道を渡っているにもかかわらず、人ＢＨが有効視野ＦＶ内に入っていないことから、運転者は人ＢＨに気づかいない。そこでＣＰＵ２２は、補完領域ＡＣを監視することによって、人ＢＨを検知し、注意喚起や、車両の減速等によって、運転者による必要監視領域の監視が不十分であることに対処する。

【0035】

このように、運転者と車載機器との協働で必要監視領域を監視することにより、安全性を向上させることができる。
また、運転者と車載機器との協働で必要監視領域を監視することを前提として光センサ１２やＬＩＤＡＲＥＣＵ１０の仕様を定めるなら、前提としない場合と比較して必要な照射領域を縮小することができる。そのため、光センサ１２やＬＩＤＡＲＥＣＵ１０に求められる性能を軽減することができる。さらに、補完領域ＡＣのみにレーザ光を照射することにより、必要監視領域Ａｎｍ全域にレーザ光を照射する場合と比較して、１フレームの時間を短縮することが可能となる。また、これに代えて、補完領域ＡＣのみにレーザ光を照射することにより、必要監視領域Ａｎｍ全域にレーザ光を照射する場合と比較して、レーザ光の照射密度を高めることも可能となる。

【0036】

以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
（１）ＣＰＵ２２は、ウィンカー信号Ｗｉｎ等の運転者が車両を運転するうえで操作する操作量を示す変数と車両の状態を示す変数である車速ＳＰＤとに基づき、車両の挙動を予測した。そして車両の挙動と、道路交通環境に関する情報とに基づき必要監視領域Ａｎｍを算出した。これにより、運転者が車両を運転するうえで必要な領域を適切に設定できる。

【0037】

（２）ＣＰＵ２２は、補完領域ＡＣに車両や人が検知される場合、車両を減速させた。これにより、車両の走行が、他の車両の走行や人の移動と干渉することを抑制できる。
（３）ＣＰＵ２２は、補完領域ＡＣに車両や人が検知される場合、注意喚起をした。これにより、運転者に、必要監視領域Ａｎｍの監視を強化するように仕向けることができる。また、Ｓ３８の処理を実行する場合には、車両が運転者の意図に反して減速する理由を運転者に知らせることもできる。

【0038】

（４）ＣＰＵ２２は、有効視野ＦＶと必要監視領域Ａｎｍとの重複領域が必要監視領域Ａｎｍの所定割合未満の場合、警告を発した。これにより、運転者に、必要監視領域Ａｎｍの監視を強化するように仕向けることができる。

【0039】

（５）ＣＰＵ２２は、有効視野ＦＶと必要監視領域Ａｎｍとの重複領域が必要監視領域Ａｎｍの所定割合未満の場合、車両を減速させた。これにより、必要監視領域Ａｎｍの監視が不十分であることに起因して危険な状況に遭遇することを抑制できる。

【0040】

（６）ＣＰＵ２２は、有効視野ＦＶと必要監視領域Ａｎｍとの重複領域が必要監視領域Ａｎｍの所定割合未満であることを警告したにもかかわらず、改善されない場合、車両を強制的に停止させた。これにより、走行を継続すべきではない状況において車両の走行が継続されることを抑制できる。

【0041】

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0042】

「挙動予測処理について」
・上記実施形態では、車両の行動を予測するうえでの入力となる車両の状態を示す変数として、車速ＳＰＤを例示したが、これに限らない。たとえば、前後方向の加速度の検出値、横方向の加速度の検出値、およびヨーレートの検出値の３つのうちの少なくとも１つを含めてもよい。

【0043】

・上記実施形態では、運転者が車両を運転するうえで操作する操作量を示す変数として、ウィンカー信号Ｗｉｎ、操舵角θｓ、操舵トルクＴｒｑ、アクセル操作量ＡＣＣＰ、およびブレーキ操作量Ｂｒｋを例示したが、これに限らない。たとえば、ヘッドランプの点灯状態を含めてもよい。

【0044】

・運転者が車両を運転するうえで操作する操作量を示す変数に、ウィンカー信号Ｗｉｎ、操舵角θｓ、操舵トルクＴｒｑ、アクセル操作量ＡＣＣＰ、およびブレーキ操作量Ｂｒｋの全てを含むことは必須ではない。

【0045】

・上記実施形態では、運転者が車両を運転するうえで操作する操作量を示す変数および車両の状態を示す変数に基づき車両の挙動を予測したが、これに限らない。たとえばナビゲーションシステムに目的地が設定され、走行経路の案内を受けている場合には、走行経路を加味して車両の挙動を予測してもよい。

【0046】

・上記実施形態では、運転者が車両を運転しているときに車両の挙動を予測したが、これに限らない。たとえば、自動運転と運転者による手動運転との一方から他方への切り替わりの期間において車両の予測をしてもよい。その場合、自動運転によって生成される車両の目標走行軌跡と、運転者が車両を運転しているときに車両の挙動を予測する入力となる上述した変数とに基づき車両の挙動を予測すればよい。

【0047】

もっとも、車両の挙動を予測する処理が、運転者が車両の運転に関与しているときに実行されることは必須ではない。たとえば、いつでも運転者の運転に移行可能な形で自動運転がなされているときであってもよい。その場合、自動運転によって生成される車両の目標走行軌跡に基づき車両の挙動を予測すればよい。

【0048】

・車両の挙動を予測する際、位置データＤｇｐｓおよび地図データ３４を参照してもよい。これにより、たとえば交差点の中央付近でブレーキが踏み込まれる場合、位置データＤｇｐｓおよび地図データ３４を参照しない場合と比較して、右折をするとより高い精度で予測することができる。

【0049】

「視野算出処理について」
・画像データを入力として顔の特徴量を出力する学習済みモデルとしては、ＣＮＮに限らない。たとえば決定木や、サポートベクトル回帰等を用いてもよい。

【0050】

・上記実施形態では、画像データを入力とする学習済みモデルから顔の特徴量を算出し、顔の特徴量から、頭部姿勢、眼球位置、および虹彩を順次推定することによって、視線方向を推定したが、これに限らない。たとえば、画像データを入力とし、頭部姿勢および眼球位置を出力する学習済みモデルを用いてもよいし、画像データを入力とし虹彩および眼球位置を出力する学習済みモデルを用いてもよい。

【0051】

・上記実施形態では、眼球中心から虹彩中心へと進む方向を視線方向とするモデルを用いて視線を推定したが、モデルベース手法において採用するモデルとしては、これに限らない。たとえば、まぶたの形状を含む眼球モデルを用いてもよい。

【0052】

・視線方向の推定手法としては、モデルベース手法に限らない。たとえば、画像データを入力として注視点を出力する学習済みモデルを用いたアピアランスベース手法であってもよい。ここで、学習済みモデルとしては、たとえば、線形回帰モデルや、ガウス過程回帰モデル、ＣＮＮ等を用いればよい。

【0053】

・下記「カメラについて」の欄に記載したように、赤外線カメラを用いる場合、近赤外線の反射光から角膜上の反射点を特定し、これと瞳孔中心位置とに基づき視線推定を行えばよい。

【0054】

・上記実施形態では、視線方向から所定角度範囲の領域を視野と見なしたが、これに限らない。たとえば、視線方向と水平方向とのなす角度が第１角度以下であって且つ視線方向と垂直方向とのなす角度が第２角度以下である領域を視野とし、第１角度を第２角度よりも大きくしてもよい。またたとえば、所定角度範囲を、予め定められた固定値とする代わりに、車速に応じて可変設定してもよい。

【0055】

・上記実施形態では、視野として有効視野を想定したが、これに限らない。たとえば有効視野と周辺視野との双方を含めた領域を、必要監視領域との重複度合いを判定するための視野として定めてもよい。

【0056】

「測距信号について」
・上記実施形態では、補完領域に照射される測距信号として、近赤外線を例示したが、電磁波信号としては、これに限らない。たとえば測距装置をミリ波レーダ装置とすることにより、測距信号をミリ波信号としてもよい。さらに、電磁波の信号に限らず、たとえば測距装置をソナーとすることによって、測距信号を超音波信号としてもよい。

【0057】

「物体感知装置について」
・物体感知装置としては、測距信号を出力した際の反射波によって物体を感知する装置に限らない。たとえば車両から照射されていない可視光線の反射光を利用して撮影された画像データを用いる可視光カメラであってもよい。その場合であっても、たとえば可視光カメラが監視領域全域の物体を被写体とする場合と比較して補完領域の物体を被写体とする場合の方が、カメラに要求される仕様を軽減できるなどのメリットを有する。

【0058】

「対処処理について」
・上記実施形態では、補完領域の監視の結果、車両の走行を妨げる物体の存在が検知される場合、Ｓ３６，Ｓ３８の処理を実行したが、これに限らない。たとえば、Ｓ３６，Ｓ３８の２つの処理のうちのいずれか１つのみを実行してもよい。

【0059】

・対処処理に、Ｓ３６の処理によって例示した報知処理と、Ｓ３８の処理によって例示した操作処理とを含めることは必須ではない。たとえば、視野と必要監視領域との重複部分が必要監視領域のうちの所定割合に達しない場合に、Ｓ４０の処理を実行するのみであってもよい。もっとも、この際、Ｓ４２および図４の処理を実行してもよい。

【0060】

「判定処理について」
・上記実施形態では、必要監視領域が視野に包含されているか、必要監視領域の所定割合が視野と重複しているか、必要監視領域のうち視野と重複している領域の割合が所定割合未満であるか否かを判定したが、これに限らない。たとえば、「対処処理について」の欄に記載したように、対処処理としてＳ４０の処理を実行するのみの場合、必要監視領域のうち視野と重複している領域の割合が所定割合未満であるか否かのみを判定する処理としてもよい。

【0061】

「カメラについて」
・カメラとしては、可視光カメラに限らず、たとえば赤外線カメラであってもよい。その場合、赤外線ＬＥＤ等によって運転者の角膜に近赤外線を照射し、その反射光を受光すればよい。

【0062】

「運転支援装置について」
・運転支援装置としては、ＣＰＵとプログラムを格納するプログラム格納装置とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、運転支援装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

【0063】

「コンピュータについて」
・走行支援を行うコンピュータとしては、図１に例示したＣＰＵ２２に限らない。たとえば、図２に示した処理のうち、Ｓ２２，Ｓ２４の処理についてはユーザの携帯端末が実行することとし、残りの処理をＣＰＵ２２が実行するようにしてもよい。

【符号の説明】

【0064】

ＡＣ…補完領域
Ａｎｍ…必要監視領域
ＦＶ…有効視野

【図1】

【図2】

【図3】

【図4】