ホーム > 特許ランキング > トヨタ自動車株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025121526
(43)【公開日】2025-08-20
(54)【発明の名称】車線逸脱意図推定装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20250813BHJP
【ＦＩ】
G08G1/16 F
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2024016964
(22)【出願日】2024-02-07
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(72)【発明者】
【氏名】井上 慎太郎
(72)【発明者】
【氏名】田代 庸祐
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181LL07
5H181LL08
5H181LL09
5H181LL20
(57)【要約】
【課題】自車両の運転者が車線逸脱意図を有するか否かを適切に推定する。
【解決手段】車線逸脱意図推定装置１６は、自車両１の運転者が脇見状態又は非覚醒状態である場合に運転者が車線逸脱意図を有さないと推定する推定部３Ｄと、運転者が脇見状態でなくかつ非覚醒状態でない場合に学習済みの機械学習モデルを用いることにより車両情報と車線情報と物標情報とを含む時系列信号及び運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号を含む第１分類信号に基づいて、運転者が車線逸脱意図を有するか否かを予測する予測部３Ｅとを備え、学習済みの機械学習モデルは、学習用車両情報と学習用車線情報と学習用物標情報とを含む学習用時系列信号及び学習用車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す学習用第１分類信号と学習用車両の運転者が車線逸脱意図を有するか否かを示すラベルとのデータセットを用いた学習により得られる。
【選択図】図１
【解決手段】車線逸脱意図推定装置１６は、自車両１の運転者が脇見状態又は非覚醒状態である場合に運転者が車線逸脱意図を有さないと推定する推定部３Ｄと、運転者が脇見状態でなくかつ非覚醒状態でない場合に学習済みの機械学習モデルを用いることにより車両情報と車線情報と物標情報とを含む時系列信号及び運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号を含む第１分類信号に基づいて、運転者が車線逸脱意図を有するか否かを予測する予測部３Ｅとを備え、学習済みの機械学習モデルは、学習用車両情報と学習用車線情報と学習用物標情報とを含む学習用時系列信号及び学習用車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す学習用第１分類信号と学習用車両の運転者が車線逸脱意図を有するか否かを示すラベルとのデータセットを用いた学習により得られる。
【選択図】図１
【特許請求の範囲】
【請求項1】
自車両の運転者が脇見状態又は非覚醒状態である場合に前記自車両の運転者が車線逸脱意図を有さないと推定する推定部と、
前記自車両の運転者が脇見状態でなくかつ非覚醒状態でない場合に、学習済みの機械学習モデルを用いることにより、前記自車両に関する情報である車両情報と前記自車両が走行中の車線に関する情報である車線情報と前記自車両の周囲に存在する物標に関する情報である物標情報とを含む時系列信号及び前記自車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号を含む第１分類信号に基づいて、前記自車両の運転者が車線逸脱意図を有するか否かを予測する予測部とを備え、
前記学習済みの機械学習モデルは、学習用車両に関する情報である学習用車両情報と前記学習用車両が走行中の車線に関する情報である学習用車線情報と前記学習用車両の周囲に存在する物標に関する情報である学習用物標情報とを含む学習用時系列信号及び前記学習用車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す学習用第１分類信号と前記学習用車両の運転者が車線逸脱意図を有するか否かを示すラベルとのデータセットである学習データを用いた学習を行うことによって得られる、車線逸脱意図推定装置。
前記自車両の運転者が脇見状態でなくかつ非覚醒状態でない場合に、学習済みの機械学習モデルを用いることにより、前記自車両に関する情報である車両情報と前記自車両が走行中の車線に関する情報である車線情報と前記自車両の周囲に存在する物標に関する情報である物標情報とを含む時系列信号及び前記自車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号を含む第１分類信号に基づいて、前記自車両の運転者が車線逸脱意図を有するか否かを予測する予測部とを備え、
前記学習済みの機械学習モデルは、学習用車両に関する情報である学習用車両情報と前記学習用車両が走行中の車線に関する情報である学習用車線情報と前記学習用車両の周囲に存在する物標に関する情報である学習用物標情報とを含む学習用時系列信号及び前記学習用車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す学習用第１分類信号と前記学習用車両の運転者が車線逸脱意図を有するか否かを示すラベルとのデータセットである学習データを用いた学習を行うことによって得られる、車線逸脱意図推定装置。
【請求項2】
前記自車両の運転者が車線逸脱意図を有すると前記予測部が予測した場合に前記自車両が車線逸脱したことに対する警報である車線逸脱警報の出力を制限させる制御部を備える、請求項１に記載の車線逸脱意図推定装置。
【請求項3】
前記自車両の運転者が車線逸脱意図を有すると前記予測部が予測した場合に車線維持支援の実行を制限させる制御部を備える、請求項１に記載の車線逸脱意図推定装置。
【請求項4】
ドライブモニタカメラによって撮影された前記自車両の運転者を含む画像に基づいて、前記自車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号を含む前記第１分類信号と前記自車両の運転者が脇見状態又は非覚醒状態であることを示す信号を含む第２分類信号とを出力するドライバモニタ部を備え、
前記ドライバモニタ部が前記自車両の運転者が脇見状態又は非覚醒状態であることを示す信号を含む前記第２分類信号を出力した場合であって、前記自車両の運転者が車線逸脱意図を有すると前記予測部が予測した場合には、前記自車両の運転者が車線逸脱意図を有さないことを示す前記推定部の推定結果が、前記自車両の運転者が車線逸脱意図を有することを示す前記予測部の予測結果よりも優先される、請求項１に記載の車線逸脱意図推定装置。
前記ドライバモニタ部が前記自車両の運転者が脇見状態又は非覚醒状態であることを示す信号を含む前記第２分類信号を出力した場合であって、前記自車両の運転者が車線逸脱意図を有すると前記予測部が予測した場合には、前記自車両の運転者が車線逸脱意図を有さないことを示す前記推定部の推定結果が、前記自車両の運転者が車線逸脱意図を有することを示す前記予測部の予測結果よりも優先される、請求項１に記載の車線逸脱意図推定装置。
【請求項5】
前記ドライバモニタ部から出力された前記第１分類信号は、前記予測部に入力され、
前記第１分類信号には、前記ドライブモニタカメラによって撮影された前記自車両の運転者を含む画像に基づいて前記ドライバモニタ部により推定された前記自車両の運転者の内部状態を示す信号が含まれる、請求項４に記載の車線逸脱意図推定装置。
前記第１分類信号には、前記ドライブモニタカメラによって撮影された前記自車両の運転者を含む画像に基づいて前記ドライバモニタ部により推定された前記自車両の運転者の内部状態を示す信号が含まれる、請求項４に記載の車線逸脱意図推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車線逸脱意図推定装置に関する。
【背景技術】
【0002】
特許文献１には、レーン逸脱抑制の実行中にレーン変更の意図があると判定されることを条件としてレーン逸脱抑制機能を非作動状態とする運転支援装置について記載されている。また、特許文献１には、運転者によるレーン変更の意図を判定する意図判定部として、各種の入力スイッチやカメラ等の画像入力手段で取得する運転者の視線の動きや身振り等を検出するものを利用することができる旨が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－０７７９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献１には、運転者の視線の動きや身振り等の検出結果から運転者によるレーン変更の意図の有無を判定する具体的な手法について記載されていない。そのため、特許文献１に記載された技術によっては、運転者が車線逸脱意図を有するか否かを適切に推定できないおそれがある。
【0005】
上述した点に鑑み、本開示は、自車両の運転者が車線逸脱意図を有するか否かを適切に推定することができる車線逸脱意図推定装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
（１）本開示の一態様は、自車両の運転者が脇見状態又は非覚醒状態である場合に前記自車両の運転者が車線逸脱意図を有さないと推定する推定部と、前記自車両の運転者が脇見状態でなくかつ非覚醒状態でない場合に、学習済みの機械学習モデルを用いることにより、前記自車両に関する情報である車両情報と前記自車両が走行中の車線に関する情報である車線情報と前記自車両の周囲に存在する物標に関する情報である物標情報とを含む時系列信号及び前記自車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号を含む第１分類信号に基づいて、前記自車両の運転者が車線逸脱意図を有するか否かを予測する予測部とを備え、前記学習済みの機械学習モデルは、学習用車両に関する情報である学習用車両情報と前記学習用車両が走行中の車線に関する情報である学習用車線情報と前記学習用車両の周囲に存在する物標に関する情報である学習用物標情報とを含む学習用時系列信号及び前記学習用車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す学習用第１分類信号と前記学習用車両の運転者が車線逸脱意図を有するか否かを示すラベルとのデータセットである学習データを用いた学習を行うことによって得られる、車線逸脱意図推定装置である。
【0007】
（２）（１）の車線逸脱意図推定装置は、前記自車両の運転者が車線逸脱意図を有すると前記予測部が予測した場合に前記自車両が車線逸脱したことに対する警報である車線逸脱警報の出力を制限させる制御部を備えてもよい。
【0008】
（３）（１）の車線逸脱意図推定装置は、前記自車両の運転者が車線逸脱意図を有すると前記予測部が予測した場合に車線維持支援の実行を制限させる制御部を備えてもよい。
【0009】
（４）（１）の車線逸脱意図推定装置は、ドライブモニタカメラによって撮影された前記自車両の運転者を含む画像に基づいて、前記自車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号を含む前記第１分類信号と前記自車両の運転者が脇見状態又は非覚醒状態であることを示す信号を含む第２分類信号とを出力するドライバモニタ部を備え、前記ドライバモニタ部が前記自車両の運転者が脇見状態又は非覚醒状態であることを示す信号を含む前記第２分類信号を出力した場合であって、前記自車両の運転者が車線逸脱意図を有すると前記予測部が予測した場合には、前記自車両の運転者が車線逸脱意図を有さないことを示す前記推定部の推定結果が、前記自車両の運転者が車線逸脱意図を有することを示す前記予測部の予測結果よりも優先されてもよい。
【0010】
（５）（４）の車線逸脱意図推定装置では、前記ドライバモニタ部から出力された前記第１分類信号は、前記予測部に入力され、前記第１分類信号には、前記ドライブモニタカメラによって撮影された前記自車両の運転者を含む画像に基づいて前記ドライバモニタ部により推定された前記自車両の運転者の内部状態を示す信号が含まれてもよい。
【発明の効果】
【0011】
本開示によれば、自車両の運転者が車線逸脱意図を有するか否かを適切に推定することができる。
【図面の簡単な説明】
【0012】
【図1】第１実施形態の車線逸脱意図推定装置１６が適用された自車両１の一例を示す図である。
【図2】予測部３Ｅの構成等の一例を示す図である。
【図3】自車両１が走行中の車線を自車両１が逸脱した時に第１実施形態の車線逸脱意図推定装置１６のプロセッサ１６３によって実行される処理の一例を説明するための図である。
【図4】制御部３ＧがＨＭＩ１３に車線逸脱警報の出力を制限させる一例を説明するための図である。
【図5】第３実施形態の車線逸脱意図推定装置１６が適用された自車両１におけるデータの処理及び流れの一例を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照し、本開示の車線逸脱意図推定装置の実施形態について説明する。
【0014】
＜第１実施形態＞
図１は第１実施形態の車線逸脱意図推定装置１６が適用された自車両１の一例を示す図である。図１に示す例では、自車両１が、周辺状況センサ１１と、車両状態センサ１２と、ＨＭＩ（Human Machine Interface）１３と、ドライバモニタカメラ１４と、車両制御装置１５と、操舵アクチュエータ１５Ａと、制動アクチュエータ１５Ｂと、駆動アクチュエータ１５Ｃと、車線逸脱意図推定装置１６とを備えている。周辺状況センサ１１は、自車両１が走行中の車線を画定する区画線、自車両１の周囲に存在する物標（例えば周辺車両、障害物等）を検出し、検出結果を車両制御装置１５と車線逸脱意図推定装置１６とに送信する。周辺状況センサ１１には、例えば自車両１の前方等を撮影するカメラ、ＬｉＤＡＲ（Light Detection And Ranging）、レーダー、ソナー等が含まれる。周辺状況センサ１１の検出結果には、例えば自車両１が走行中の車線に関する情報である車線情報、自車両１の周囲に存在する物標に関する情報である物標情報等が含まれる。車線情報には、例えばカメラ画像内における区画線の水平方向位置、自車両１が走行中の車線のカーブ曲率等を示す情報が含まれる。物標情報には、例えば自車両１に対する物標の相対位置、相対速度等を示す情報が含まれる。
図１は第１実施形態の車線逸脱意図推定装置１６が適用された自車両１の一例を示す図である。図１に示す例では、自車両１が、周辺状況センサ１１と、車両状態センサ１２と、ＨＭＩ（Human Machine Interface）１３と、ドライバモニタカメラ１４と、車両制御装置１５と、操舵アクチュエータ１５Ａと、制動アクチュエータ１５Ｂと、駆動アクチュエータ１５Ｃと、車線逸脱意図推定装置１６とを備えている。周辺状況センサ１１は、自車両１が走行中の車線を画定する区画線、自車両１の周囲に存在する物標（例えば周辺車両、障害物等）を検出し、検出結果を車両制御装置１５と車線逸脱意図推定装置１６とに送信する。周辺状況センサ１１には、例えば自車両１の前方等を撮影するカメラ、ＬｉＤＡＲ（Light Detection And Ranging）、レーダー、ソナー等が含まれる。周辺状況センサ１１の検出結果には、例えば自車両１が走行中の車線に関する情報である車線情報、自車両１の周囲に存在する物標に関する情報である物標情報等が含まれる。車線情報には、例えばカメラ画像内における区画線の水平方向位置、自車両１が走行中の車線のカーブ曲率等を示す情報が含まれる。物標情報には、例えば自車両１に対する物標の相対位置、相対速度等を示す情報が含まれる。
【0015】
車両状態センサ１２は、自車両１の状態を検出し、検出結果を車両制御装置１５と車線逸脱意図推定装置１６とに送信する。車両状態センサ１２には、例えば車速センサ、ステアリングトルクセンサ等が含まれる。車両状態センサ１２の検出結果には、例えば自車両１に関する情報である車両情報等が含まれ、車両情報には、例えば車速、ステアリングトルク等が含まれる。
ＨＭＩ１３は、自車両１の運転者の各種の操作を受け付ける機能、自車両１の運転者に対して表示、音声等によって警報等の情報を出力する機能等を有し、自車両１の運転者の操作を示す信号を車両制御装置１５に送信する。ＨＭＩ１３によって出力される警報には、例えば自車両１が走行中の車線を自車両１が逸脱したことに対する警報である車線逸脱警報（ＬＤＡ（レーンディパーチャーアラート））が含まれる。
ドライバモニタカメラ１４は、例えば自車両１のステアリングコラムの上部に配置されており、自車両１の運転者の顔及び上半身の一部を撮影する。また、ドライバモニタカメラ１４は、撮影した画像データを車線逸脱意図推定装置１６に送信する。他の例では、ドライバモニタカメラ１４が自車両１の例えばセンタークラスタ、ルームミラー、メータパネル、メータフード等のようなのステアリングコラム以外の位置に配置されていてもよい。
ＨＭＩ１３は、自車両１の運転者の各種の操作を受け付ける機能、自車両１の運転者に対して表示、音声等によって警報等の情報を出力する機能等を有し、自車両１の運転者の操作を示す信号を車両制御装置１５に送信する。ＨＭＩ１３によって出力される警報には、例えば自車両１が走行中の車線を自車両１が逸脱したことに対する警報である車線逸脱警報（ＬＤＡ（レーンディパーチャーアラート））が含まれる。
ドライバモニタカメラ１４は、例えば自車両１のステアリングコラムの上部に配置されており、自車両１の運転者の顔及び上半身の一部を撮影する。また、ドライバモニタカメラ１４は、撮影した画像データを車線逸脱意図推定装置１６に送信する。他の例では、ドライバモニタカメラ１４が自車両１の例えばセンタークラスタ、ルームミラー、メータパネル、メータフード等のようなのステアリングコラム以外の位置に配置されていてもよい。
【0016】
図１に示す例では、車両制御装置１５が自車両１の走行を制御する。車両制御装置１５は、例えば運転支援ＥＣＵ（Electronic Control Unit）によって構成されており、周辺状況センサ１１、車両状態センサ１２、ＨＭＩ１３及び車線逸脱意図推定装置１６から送信された情報（データ、信号）に基づいて、操舵アクチュエータ１５Ａ、制動アクチュエータ１５Ｂ及び駆動アクチュエータ１５Ｃを制御する。
【0017】
車線逸脱意図推定装置１６は、通信インターフェース（Ｉ／Ｆ）１６１とメモリ１６２とプロセッサ１６３とを備えるマイクロコンピュータによって構成されている。通信インターフェース１６１はインターフェース回路を有する。メモリ１６２は、プロセッサ１６３により実行される処理において使用されるプログラム及び各種のデータを記憶する。プロセッサ１６３は、取得部３Ａ、ドライバモニタ部３Ｂ、第１判定部３Ｃ、推定部３Ｄ、予測部３Ｅ、第２判定部３Ｆ及び制御部３Ｇとしての機能を有する。取得部３Ａは、周辺状況センサ１１の検出結果（車線情報、物標情報等）、車両状態センサ１２の検出結果（車両情報等）、ドライバモニタカメラ１４によって撮影された画像（ドライバモニタカメラ画像）のデータ等を取得する。
【0018】
ドライバモニタ部３Ｂは、ドライバモニタカメラ１４によって撮影された画像等に基づいて自車両１の運転者の状態を計測する。具体的には、ドライバモニタ部３Ｂは、自車両１の運転者の顔の位置及び向き並びに眼の開閉状態を検知し、自車両１の運転者が周囲の状況を確認し運転操作できる状態であるか否かを判断する。例えばドライバモニタ部３Ｂは、ドライバモニタカメラ画像を用いて、自車両１の運転者の顔領域検出、顔部品検出、頭部姿勢推定、開眼度検出及び瞼挙動解析による眠気度合い推定を実行する。
ドライバモニタ部３Ｂは、自車両１の運転者が非覚醒状態であると判断した場合に、ドライバモニタ信号として、自車両１の運転者が非覚醒状態であることを示す非覚醒信号を出力する。一方、ドライバモニタ部３Ｂは、自車両１の運転者が開眼状態であると判断した場合に、ドライバモニタ信号として、自車両１の運転者が開眼状態であることを示す開眼信号を出力する。また、ドライバモニタ部３Ｂは、自車両１の運転者が脇見状態であると判断した場合に、ドライバモニタ信号として、自車両１の運転者が脇見状態であることを示す脇見信号（脇見信号は顔向き信号の一部）を出力する。非覚醒信号、開眼信号及び脇見信号（顔向き信号）は、「強い信号（例えばドライバモニタ部３Ｂとして用いられるＡＩ（人工知能）が高い信頼度を出力する信号等）」に属する。
自車両１の運転者の視線が、例えば助手席シート側、カーナビ等のような、安全確認すべき視界の外側に向いている場合に、ドライバモニタ部３Ｂは脇見信号を出力する。また、自車両１が片側２車線の直線道路の左車線を走行中に、自車両１の運転者の視線が、左側にだけ一定時間向いている場合に、ドライバモニタ部３Ｂは脇見信号を出力する。つまり、自車両１の運転者の視線が、確認する必要がある対象に向いていない場合に、ドライバモニタ部３Ｂは脇見信号を出力する。
ドライバモニタ部３Ｂは、自車両１の運転者が非覚醒状態であると判断した場合に、ドライバモニタ信号として、自車両１の運転者が非覚醒状態であることを示す非覚醒信号を出力する。一方、ドライバモニタ部３Ｂは、自車両１の運転者が開眼状態であると判断した場合に、ドライバモニタ信号として、自車両１の運転者が開眼状態であることを示す開眼信号を出力する。また、ドライバモニタ部３Ｂは、自車両１の運転者が脇見状態であると判断した場合に、ドライバモニタ信号として、自車両１の運転者が脇見状態であることを示す脇見信号（脇見信号は顔向き信号の一部）を出力する。非覚醒信号、開眼信号及び脇見信号（顔向き信号）は、「強い信号（例えばドライバモニタ部３Ｂとして用いられるＡＩ（人工知能）が高い信頼度を出力する信号等）」に属する。
自車両１の運転者の視線が、例えば助手席シート側、カーナビ等のような、安全確認すべき視界の外側に向いている場合に、ドライバモニタ部３Ｂは脇見信号を出力する。また、自車両１が片側２車線の直線道路の左車線を走行中に、自車両１の運転者の視線が、左側にだけ一定時間向いている場合に、ドライバモニタ部３Ｂは脇見信号を出力する。つまり、自車両１の運転者の視線が、確認する必要がある対象に向いていない場合に、ドライバモニタ部３Ｂは脇見信号を出力する。
【0019】
また、ドライバモニタ部３Ｂは、ドライバモニタカメラ１４によって撮影された画像と周辺状況センサ１１の検出結果とに基づいて、自車両１の運転者が自車両１の周囲に存在する物標を注視していると判断した場合に、ドライバモニタ信号として、自車両１の運転者の視線方向を示す信号（自車両１の運転者が注視している物標を示す信号（注視物標情報））を出力する。更に、ドライバモニタ部３Ｂは、自車両１の運転者のストレスレベルが高いと判断した場合に、ドライバモニタ信号として、自車両１の運転者のストレスレベルが高いことを示す信号を出力する。また、ドライバモニタ部３Ｂは、自車両１の運転者が漫然状態であると判断した場合に、ドライバモニタ信号として、自車両１の運転者が漫然状態であることを示す信号を出力する。自車両１の運転者の視線方向を示す信号、自車両１の運転者のストレスレベルが高いことを示す信号及び自車両１の運転者が漫然状態であることを示す信号は、「弱い信号（例えばドライバモニタ部３Ｂとして用いられるＡＩが低い信頼度を出力する信号等）」に属する。
ドライバモニタ部３Ｂは、例えば自車両１の運転者の視線方向を示す信号（自車両１の運転者が注視している物標を示す信号）、自車両１の運転者のストレスレベルが高いことを示す信号、自車両１の運転者が漫然状態であることを示す信号等の弱い信号を「第１分類信号」として出力する。また、ドライバモニタ部３Ｂは、例えば非覚醒信号、閉眼信号、脇見信号（顔向き信号）等の強い信号を「第２分類信号」として出力する。「第１分類信号」に含まれる例えば自車両１の運転者の視線方向を示す信号（自車両１の運転者が注視している物標を示す信号）等は、自車両１の運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号に相当する。
ドライバモニタ部３Ｂは、例えば自車両１の運転者の視線方向を示す信号（自車両１の運転者が注視している物標を示す信号）、自車両１の運転者のストレスレベルが高いことを示す信号、自車両１の運転者が漫然状態であることを示す信号等の弱い信号を「第１分類信号」として出力する。また、ドライバモニタ部３Ｂは、例えば非覚醒信号、閉眼信号、脇見信号（顔向き信号）等の強い信号を「第２分類信号」として出力する。「第１分類信号」に含まれる例えば自車両１の運転者の視線方向を示す信号（自車両１の運転者が注視している物標を示す信号）等は、自車両１の運転者が脇見状態でなくかつ非覚醒状態でないことを示す信号に相当する。
【0020】
第１判定部３Ｃは、ドライバモニタ部３Ｂから出力された強い信号（第２分類信号）に基づいて、自車両１の運転者が脇見状態であるか否かを判定する。また、第１判定部３Ｃは、ドライバモニタ部３Ｂから出力された強い信号（第２分類信号）に基づいて、自車両１の運転者が非覚醒状態であるか否かを判定する。
推定部３Ｄは、自車両１が走行中の車線を自車両１が逸脱する時に、自車両１の運転者が車線逸脱意図を有するか否かを推定する。詳細には、推定部３Ｄは、自車両１の運転者が脇見状態であると第１判定部３Ｃによって判定された場合に、自車両１の運転者が車線逸脱意図を有さないと推定する。また、推定部３Ｄは、自車両１の運転者が非覚醒状態であると第１判定部３Ｃによって判定された場合に、自車両１の運転者が車線逸脱意図を有さないと推定する。一方、推定部３Ｄは、自車両１の運転者が脇見状態でなくかつ非覚醒状態でないと第１判定部３Ｃによって判定された場合（例えば自車両１の運転者が前方を見ているものの意図的に自車両１を車線逸脱させたか否かが判らない場合等）に、自車両１の運転者が車線逸脱意図を有するか否かが不明であることを示す推定結果を出力する。
推定部３Ｄは、自車両１が走行中の車線を自車両１が逸脱する時に、自車両１の運転者が車線逸脱意図を有するか否かを推定する。詳細には、推定部３Ｄは、自車両１の運転者が脇見状態であると第１判定部３Ｃによって判定された場合に、自車両１の運転者が車線逸脱意図を有さないと推定する。また、推定部３Ｄは、自車両１の運転者が非覚醒状態であると第１判定部３Ｃによって判定された場合に、自車両１の運転者が車線逸脱意図を有さないと推定する。一方、推定部３Ｄは、自車両１の運転者が脇見状態でなくかつ非覚醒状態でないと第１判定部３Ｃによって判定された場合（例えば自車両１の運転者が前方を見ているものの意図的に自車両１を車線逸脱させたか否かが判らない場合等）に、自車両１の運転者が車線逸脱意図を有するか否かが不明であることを示す推定結果を出力する。
【0021】
予測部３Ｅは、ドライバモニタ部３Ｂから出力された弱い信号（第１分類信号）に基づいて、自車両１の運転者が車線逸脱意図を有するか否かを予測する。予測部３Ｅは、自車両１の運転者が脇見状態でなくかつ非覚醒状態でないことを示す第１分類信号（弱い信号）がドライバモニタ部３Ｂから出力された場合等に、自車両１の運転者が車線逸脱意図を有するか否かを予測する。詳細には、予測部３Ｅは、学習済みの機械学習モデルを用いることにより、車両情報と車線情報と物標情報とを含む時系列信号及び第１分類信号に基づいて、自車両１の運転者が車線逸脱意図を有するか否かを予測する。
学習済みの機械学習モデルは、学習用車両（図示せず）に関する情報である学習用車両情報と学習用車両が走行中の車線に関する情報である学習用車線情報と学習用車両の周囲に存在する物標に関する情報である学習用物標情報とを含む学習用時系列信号及び学習用車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す学習用第１分類信号と学習用車両の運転者が車線逸脱意図を有するか否かを示すラベルとのデータセットである学習データを用いた学習を行うことによって得られる。
予測部３Ｅは、例えば自車両１が走行中の車線内の障害物（例えば路上駐車車両等）を避けて自車両１が走行する場合、対向車線を走行中の大型車とすれ違う時に自車両１がその大型車を避けて走行する場合、自車両１が車線変更を行う場合等に、自車両１の運転者が車線逸脱意図を有すると予測する。
学習済みの機械学習モデルは、学習用車両（図示せず）に関する情報である学習用車両情報と学習用車両が走行中の車線に関する情報である学習用車線情報と学習用車両の周囲に存在する物標に関する情報である学習用物標情報とを含む学習用時系列信号及び学習用車両の運転者が脇見状態でなくかつ非覚醒状態でないことを示す学習用第１分類信号と学習用車両の運転者が車線逸脱意図を有するか否かを示すラベルとのデータセットである学習データを用いた学習を行うことによって得られる。
予測部３Ｅは、例えば自車両１が走行中の車線内の障害物（例えば路上駐車車両等）を避けて自車両１が走行する場合、対向車線を走行中の大型車とすれ違う時に自車両１がその大型車を避けて走行する場合、自車両１が車線変更を行う場合等に、自車両１の運転者が車線逸脱意図を有すると予測する。
【0022】
図２は予測部３Ｅの構成等の一例を示す図である。詳細には、図２（Ａ）は予測部３Ｅの構成の一例を示しており、図２（Ｂ）は予測部３Ｅから出力される尤度（図２（Ｂ）の縦軸）と時間（図２（Ｂ）の横軸）との関係の一例を示している。図２に示す例では、予測部３Ｅが機械学習モデルとして隠れマルコフモデルを用いるが、他の例では、予測部３Ｅが、機械学習モデルとして隠れマルコフモデル以外の機械学習モデルを用いてもよい。
図２に示す例では、予測部３Ｅが、学習済みの機械学習モデルを用いることにより、隠れ層の計算処理が行われた結果として、自車両１の運転者が車線逸脱意図を有すると予測することの妥当性を示す尤度を出力する。予測部３Ｅは、尤度が閾値より大きい場合（図２（Ｂ）の時刻ｔ１～ｔ２の期間中）に、自車両１の運転者が車線逸脱意図を有すると予測し、フラグを「１（車線逸脱が意図的であることを示す）」に設定する。予測部３Ｅは、尤度が閾値以下である場合（図２（Ｂ）の時刻ｔ１以前の期間中及び時刻ｔ２以降の期間中）に、自車両１の運転者が車線逸脱意図を有さないと予測し、フラグを「０（車線逸脱が意図的でないことを示す）」に設定する。
図２に示す例では、予測部３Ｅが、学習済みの機械学習モデルを用いることにより、隠れ層の計算処理が行われた結果として、自車両１の運転者が車線逸脱意図を有すると予測することの妥当性を示す尤度を出力する。予測部３Ｅは、尤度が閾値より大きい場合（図２（Ｂ）の時刻ｔ１～ｔ２の期間中）に、自車両１の運転者が車線逸脱意図を有すると予測し、フラグを「１（車線逸脱が意図的であることを示す）」に設定する。予測部３Ｅは、尤度が閾値以下である場合（図２（Ｂ）の時刻ｔ１以前の期間中及び時刻ｔ２以降の期間中）に、自車両１の運転者が車線逸脱意図を有さないと予測し、フラグを「０（車線逸脱が意図的でないことを示す）」に設定する。
【0023】
図１に示す例では、上述したようにドライバモニタ部３Ｂから出力された第１分類信号（弱い信号）は予測部３Ｅに入力される。第１分類信号には、ドライバモニタカメラ１４によって撮影された画像に基づいてドライバモニタ部３Ｂにより推定された自車両１の運転者の内部状態を示す信号（例えば自車両１の運転者の視線方向を示す情報、自車両１の運転者のストレスレベルが高いことを示す情報等）が含まれる。これらの信号を他の第１分類信号（例えば自車両１の運転者が漫然状態であることを示す信号等）と組み合わせて予測部３Ｅに入力することによって、予測部３Ｅの予測精度を向上させることができる。
【0024】
第２判定部３Ｆは、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅによって予測されたか否かを判定する。
制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄによって推定された場合に、ＨＭＩ１３に車線逸脱警報を出力させる。また、制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有さないと予測部３Ｅによって予測された場合に、ＨＭＩ１３に車線逸脱警報を出力させる。一方、制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅによって予測された場合に、ＨＭＩ１３に車線逸脱警報の出力を制限させる。
制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄによって推定された場合に、ＨＭＩ１３に車線逸脱警報を出力させる。また、制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有さないと予測部３Ｅによって予測された場合に、ＨＭＩ１３に車線逸脱警報を出力させる。一方、制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅによって予測された場合に、ＨＭＩ１３に車線逸脱警報の出力を制限させる。
【0025】
図１に示す例では、自車両１が走行中の車線を自車両１が逸脱した時に、ドライバモニタ部３Ｂから出力された「第２分類信号」に基づいて、推定部３Ｄが、自車両１の運転者が車線逸脱意図を有さないと推定すると同時に、ドライバモニタ部３Ｂから出力された「第１分類信号」に基づいて、予測部３Ｅが、自車両１の運転者が車線逸脱意図を有すると予測する場合があり得る。
そのような場合に、制御部３Ｇは、自車両１の運転者が車線逸脱意図を有さないことを示す推定部３Ｄの推定結果を、自車両１の運転者が車線逸脱意図を有することを示す予測部３Ｅの予測結果よりも優先し、ＨＭＩ１３に車線逸脱警報を出力させる。
そのような場合に、制御部３Ｇは、自車両１の運転者が車線逸脱意図を有さないことを示す推定部３Ｄの推定結果を、自車両１の運転者が車線逸脱意図を有することを示す予測部３Ｅの予測結果よりも優先し、ＨＭＩ１３に車線逸脱警報を出力させる。
【0026】
図３は自車両１が走行中の車線を自車両１が逸脱した時に第１実施形態の車線逸脱意図推定装置１６のプロセッサ１６３によって実行される処理の一例を説明するための図である。図３に示す例では、ドライバモニタ部３Ｂが、「第１分類信号（弱い信号）」を出力すると共に、例えば顔向き信号、開眼信号等のような「第２分類信号（強い信号）」を出力すると、予測部３Ｅが、学習済みの機械学習モデルを用いることにより、車両情報と車線情報と物標情報とを含む時系列信号及び「第１分類信号（弱い信号）」に基づいて、自車両１の運転者が車線逸脱意図を有するか否かを予測し、予測結果を出力する。すなわち、「弱い信号」に基づいた「自車両１の運転者が車線逸脱意図を有するかもしれない」ことを示す情報が間接的に用いられる。
ステップＳ１０において、第１判定部３Ｃは、ドライバモニタ部３Ｂから出力された「第２分類信号（強い信号）」に基づいて、自車両１の運転者が脇見状態又は非覚醒状態であるか否かを判定する。ＹＥＳの場合（自車両１の運転者が脇見状態又は非覚醒状態である場合）には、強い信号に基づいた「自車両１の運転者が車線逸脱意図を有さない」ことを示す情報が直接的に用いられ（つまり、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄが推定し）、ステップＳ１２に進む。ＮＯの場合（自車両１の運転者が脇見状態でなくかつ非覚醒状態でない場合）には、自車両１の運転者が前方を見ているものの自車両１の運転者が車線逸脱意図を有するか否かが判らないため、ステップＳ１１に進む。
ステップＳ１０において、第１判定部３Ｃは、ドライバモニタ部３Ｂから出力された「第２分類信号（強い信号）」に基づいて、自車両１の運転者が脇見状態又は非覚醒状態であるか否かを判定する。ＹＥＳの場合（自車両１の運転者が脇見状態又は非覚醒状態である場合）には、強い信号に基づいた「自車両１の運転者が車線逸脱意図を有さない」ことを示す情報が直接的に用いられ（つまり、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄが推定し）、ステップＳ１２に進む。ＮＯの場合（自車両１の運転者が脇見状態でなくかつ非覚醒状態でない場合）には、自車両１の運転者が前方を見ているものの自車両１の運転者が車線逸脱意図を有するか否かが判らないため、ステップＳ１１に進む。
【0027】
ステップＳ１１では、第２判定部３Ｆが、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅによって予測されたか否かを判定する。ＹＥＳの場合（自車両１の運転者が車線逸脱意図を有すると予測部３Ｅによって予測された場合）にはステップＳ１３に進み、ＮＯの場合（自車両１の運転者が車線逸脱意図を有さないと予測部３Ｅによって予測された場合）にはステップＳ１２に進む。
ステップＳ１２では、制御部３Ｇが、ＨＭＩ１３に車線逸脱警報を出力させ、ＬＤＡが作動する。
ステップＳ１３では、制御部３Ｇが、ＨＭＩ１３に車線逸脱警報の出力を制限させ、ＬＤＡが非作動状態になる。上述したように、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄが推定すると同時に、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅが予測する場合には、推定部３Ｄの推定結果が優先され、制御部３ＧがＨＭＩ１３に車線逸脱警報を出力させる。
ステップＳ１２では、制御部３Ｇが、ＨＭＩ１３に車線逸脱警報を出力させ、ＬＤＡが作動する。
ステップＳ１３では、制御部３Ｇが、ＨＭＩ１３に車線逸脱警報の出力を制限させ、ＬＤＡが非作動状態になる。上述したように、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄが推定すると同時に、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅが予測する場合には、推定部３Ｄの推定結果が優先され、制御部３ＧがＨＭＩ１３に車線逸脱警報を出力させる。
【0028】
強い信号（第２分類信号）と弱い信号（第１分類信号）の定義は、別の言い方をすれば次のような整理となる。強い信号は、自車両１の運転者が走路逸脱または対象物衝突に対して、逸脱回避または衝突回避の行動を取れるかどうかを、その信号から直接的に判定できるものである。弱い信号は、上記の回避行動を取れるかどうかを、その信号のみでは判定できないものである。
上記の整理に基づけば、開眼信号などは強い信号と言える。具体的には眠気などによって閉眼状況であれば、たとえ自車両１が走行中の車線を自車両１が逸脱しようとしていても、その車両挙動はドライバの回避行動を期待できない。
一方で例えば自車両１の運転者の視線方向信号などは、自車両１の運転者がその方向を見ていたとしても、または対象物を視認していたとしても、自車両１の運転者がそれらを回避する運転行動をとり得るかどうかは分からない。このような信号は弱い信号として扱い、予測部３Ｅへの入力信号の一つとする。
上記の整理に基づけば、開眼信号などは強い信号と言える。具体的には眠気などによって閉眼状況であれば、たとえ自車両１が走行中の車線を自車両１が逸脱しようとしていても、その車両挙動はドライバの回避行動を期待できない。
一方で例えば自車両１の運転者の視線方向信号などは、自車両１の運転者がその方向を見ていたとしても、または対象物を視認していたとしても、自車両１の運転者がそれらを回避する運転行動をとり得るかどうかは分からない。このような信号は弱い信号として扱い、予測部３Ｅへの入力信号の一つとする。
【0029】
図４は制御部３ＧがＨＭＩ１３に車線逸脱警報の出力を制限させる一例を説明するための図である。詳細には、図４（Ａ）はドライバモニタ部３Ｂから出力される脇見信号の時間変化を示しており、図４（Ｂ）は予測部３Ｅの予測結果の時間変化を示しており、図４（Ｃ）はＬＤＡ内部フラグの時間変化を示しており、図４（Ｄ）はＬＤＡ実作動フラグ（制御部３Ｇの制御結果）の時間変化を示している。図４（Ａ）において縦軸の「１」は脇見信号が出力されている状態を示しており、縦軸の「０」は脇見信号が出力されていない状態を示している。図４（Ｂ）において縦軸の「１」は自車両１の運転者が車線逸脱意図を有することを示す予測結果を示しており、縦軸の「０」は自車両１の運転者が車線逸脱意図を有さないことを示す予測結果を示している。図４（Ｃ）において縦軸の「１」はＬＤＡ作動条件成立状態（車線逸脱警報の出力を制限させる状態）を示しており、縦軸の「０」はＬＤＡ作動条件不成立状態（車線逸脱警報の出力を制限させない状態）を示している。図４（Ｄ）において縦軸の「１」はＬＤＡ実制御ありの状態（実際に車線逸脱警報の出力が制限されている状態）を示しており、縦軸の「０」はＬＤＡ実制御なしの状態（実際に車線逸脱警報の出力が制限されていない状態）を示している。
図４に示す例では、時刻ｔ１１～ｔ１２の期間中に、自車両１が走行中の車線を自車両１が逸脱し、かつ、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅが予測するため、ＨＭＩ１３が車線逸脱警報の出力を制限しようとする（図４（Ｃ）の縦軸が「１」になる）。一方、時刻ｔ１１～ｔ１２の期間中に、ドライバモニタ部３Ｂが脇見信号（強い信号）を出力し、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄが推定する。制御部３Ｇは、推定部３Ｄの推定結果を予測部３Ｅの予測結果よりも優先し、ＨＭＩ１３に車線逸脱警報を出力させる（図４（Ｄ）の縦軸が「０」になる）。
図４に示す例では、時刻ｔ１１～ｔ１２の期間中に、自車両１が走行中の車線を自車両１が逸脱し、かつ、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅが予測するため、ＨＭＩ１３が車線逸脱警報の出力を制限しようとする（図４（Ｃ）の縦軸が「１」になる）。一方、時刻ｔ１１～ｔ１２の期間中に、ドライバモニタ部３Ｂが脇見信号（強い信号）を出力し、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄが推定する。制御部３Ｇは、推定部３Ｄの推定結果を予測部３Ｅの予測結果よりも優先し、ＨＭＩ１３に車線逸脱警報を出力させる（図４（Ｄ）の縦軸が「０」になる）。
【0030】
上述したように第１実施形態の車線逸脱意図推定装置１６では、ドライバモニタ部３Ｂから出力される信号が、直接信号（強い信号、第２分類信号）と間接信号（弱い信号、第１分類信号）とに２分類化されるため、自車両１の運転者が車線逸脱意図を有するか否かの推定精度を向上させることができる。詳細には、自車両１の運転者が前方を見ていない脇見状態、自車両１の運転者が意識を失っている非覚醒状態等の直接的な情報は、自車両１の運転者の状態を直接的にあらわす強い信号であるため、このような強い信号は、予測部３Ｅに入力されることなく、予測部３Ｅの予測結果をオーバライドするために使用される。具体的には、ドライバモニタ部３Ｂが脇見信号又は非覚醒信号を出力していれば、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅが予測しても、自車両１の運転者が車線逸脱意図を有さないことを示す推定部３Ｄの推定結果が優先される。つまり、第１実施形態の車線逸脱意図推定装置１６では、調停構造が採用されている。強い信号を直接的に使って、自車両１の運転者が車線逸脱意図を有するか否かを推定部３Ｄが推定することにより、高精度な推定が可能となる。
【0031】
＜第２実施形態＞
第２実施形態の車線逸脱意図推定装置１６が適用された自車両１は、後述する点を除き、上述した第１実施形態の車線逸脱意図推定装置１６が適用された自車両１と同様に構成されている。
第２実施形態の車線逸脱意図推定装置１６が適用された自車両１は、後述する点を除き、上述した第１実施形態の車線逸脱意図推定装置１６が適用された自車両１と同様に構成されている。
【0032】
第２実施形態の車線逸脱意図推定装置１６が適用された自車両１の一例では、制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄによって推定された場合に、車両制御装置１５に車線維持支援（例えば操舵支援等）を実行させる。また、制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有さないと予測部３Ｅによって予測された場合に、車両制御装置１５に車線維持支援を実行させる。一方、制御部３Ｇは、自車両１が走行中の車線を自車両１が逸脱した時に、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅによって予測された場合に、車両制御装置１５に車線維持支援の実行を制限させる。
第２実施形態の車線逸脱意図推定装置１６が適用された自車両１の一例では、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄが推定すると同時に、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅが予測する場合に、制御部３Ｇは、自車両１の運転者が車線逸脱意図を有さないことを示す推定部３Ｄの推定結果を、自車両１の運転者が車線逸脱意図を有することを示す予測部３Ｅの予測結果よりも優先し、車両制御装置１５に車線維持支援を実行させる。
第２実施形態の車線逸脱意図推定装置１６が適用された自車両１の一例では、自車両１の運転者が車線逸脱意図を有さないと推定部３Ｄが推定すると同時に、自車両１の運転者が車線逸脱意図を有すると予測部３Ｅが予測する場合に、制御部３Ｇは、自車両１の運転者が車線逸脱意図を有さないことを示す推定部３Ｄの推定結果を、自車両１の運転者が車線逸脱意図を有することを示す予測部３Ｅの予測結果よりも優先し、車両制御装置１５に車線維持支援を実行させる。
【0033】
＜第３実施形態＞
第３実施形態の車線逸脱意図推定装置１６が適用された自車両１は、後述する点を除き、上述した第１又は第２実施形態の車線逸脱意図推定装置１６が適用された自車両１と同様に構成されている。
第３実施形態の車線逸脱意図推定装置１６が適用された自車両１は、後述する点を除き、上述した第１又は第２実施形態の車線逸脱意図推定装置１６が適用された自車両１と同様に構成されている。
【0034】
図５は第３実施形態の車線逸脱意図推定装置１６が適用された自車両１におけるデータの処理及び流れの一例を示す図である。
第３実施形態では、自車両１の運転者（ユーザ）が利用する自車両１の走行オンラインデータを収集するデータ収集システムが用いられ（つまり、自車両１が学習用車両として用いられ）、データ収集システムによって収集されたデータの真値付けの高精度化が図られている。データ収集システムで集められたデータには、フロントカメラ映像、認識処理結果、車両ＣＡＮ（Controller Area Network）情報が含まれており、更にドライバモニタ情報（ドライバモニタ部３Ｂに入力される情報及びドライバモニタ部３Ｂから出力される情報）も含まれる。
図５に示す例では、データ収集システムに収集されたデータ集に対して、シーンに基づくデータ分類がおこなわれる。この工程では、学習を行いたいシーンを切り出す作業と、シーンごとに自車両１の運転者による意図的なシーンだったか、あるいは、意図的ではないシーンだったかの分類が行われる。
従来の一般的な技術では、学習データセットが、自車両１の運転者による意図的なシーンと意図的ではないシーンとの２種類のデータセットのみであったが、図５に示す例では、上述した「第１分類信号（弱い信号）」及び「第２分類信号（強い信号）」を用いてデータ分類が更に細分化させられる。例えば閉眼状態や脇見状態（強い信号）を伴ったデータであれば、「信頼度（高）の意図無しシーン」と分類される。例えば自車両１が駐車車両を追越すシーンにおいて、この駐車車両を自車両１の運転者が視認している状態を示すドライバモニタ信号（弱い信号）を伴っていれば、「信頼度（中）の意図有りシーン」と分類される。例えば自車両１が駐車車両を追越すシーンにおいて、この駐車車両を自車両１の運転者が視認している状態を示すドライバモニタ信号（弱い信号）を伴っており、かつ自車両１の運転者のウインカ操作を伴っていれば、「信頼度（高）の意図有りシーン」と分類される。
最後に、信頼度に応じたデータセットを使って機械学習モデルの学習が行われる。例えば実シーンでの発生頻度を考慮して、「信頼度（高）意図有りシーン」、「信頼度（中）意図有りシーン」、「信頼度（中）意図無しシーン」、「信頼度（高）意図無しシーン」が１：２：２：１の割合で機械学習モデルの学習に用いられる。
従来の一般的な技術では、ウインカ操作が、自車両１の運転者の直接的な運転操作挙動として「意図有りシーン」と分類されていた。しかしながら、このウインカ操作は、自車両１が駐車車両を回避するためのウインカ操作ではなく、自車両１が走行中の車線に対して自車両１がふら付いてしまった結果、自車両１が隣の車線に移動した方が良さそうだという理由で実施されたウインカ操作である可能性も残存していた。
図５に示す例では、このウインカ操作と自車両１の運転者が駐車車両を視認しているという情報とがセットであるため、このウインカ操作が、自車両１が駐車車両を回避のためのウインカ操作であると判断することができる。その結果、意図有りの信頼度を（高）とすることができる。
第３実施形態では、自車両１の運転者（ユーザ）が利用する自車両１の走行オンラインデータを収集するデータ収集システムが用いられ（つまり、自車両１が学習用車両として用いられ）、データ収集システムによって収集されたデータの真値付けの高精度化が図られている。データ収集システムで集められたデータには、フロントカメラ映像、認識処理結果、車両ＣＡＮ（Controller Area Network）情報が含まれており、更にドライバモニタ情報（ドライバモニタ部３Ｂに入力される情報及びドライバモニタ部３Ｂから出力される情報）も含まれる。
図５に示す例では、データ収集システムに収集されたデータ集に対して、シーンに基づくデータ分類がおこなわれる。この工程では、学習を行いたいシーンを切り出す作業と、シーンごとに自車両１の運転者による意図的なシーンだったか、あるいは、意図的ではないシーンだったかの分類が行われる。
従来の一般的な技術では、学習データセットが、自車両１の運転者による意図的なシーンと意図的ではないシーンとの２種類のデータセットのみであったが、図５に示す例では、上述した「第１分類信号（弱い信号）」及び「第２分類信号（強い信号）」を用いてデータ分類が更に細分化させられる。例えば閉眼状態や脇見状態（強い信号）を伴ったデータであれば、「信頼度（高）の意図無しシーン」と分類される。例えば自車両１が駐車車両を追越すシーンにおいて、この駐車車両を自車両１の運転者が視認している状態を示すドライバモニタ信号（弱い信号）を伴っていれば、「信頼度（中）の意図有りシーン」と分類される。例えば自車両１が駐車車両を追越すシーンにおいて、この駐車車両を自車両１の運転者が視認している状態を示すドライバモニタ信号（弱い信号）を伴っており、かつ自車両１の運転者のウインカ操作を伴っていれば、「信頼度（高）の意図有りシーン」と分類される。
最後に、信頼度に応じたデータセットを使って機械学習モデルの学習が行われる。例えば実シーンでの発生頻度を考慮して、「信頼度（高）意図有りシーン」、「信頼度（中）意図有りシーン」、「信頼度（中）意図無しシーン」、「信頼度（高）意図無しシーン」が１：２：２：１の割合で機械学習モデルの学習に用いられる。
従来の一般的な技術では、ウインカ操作が、自車両１の運転者の直接的な運転操作挙動として「意図有りシーン」と分類されていた。しかしながら、このウインカ操作は、自車両１が駐車車両を回避するためのウインカ操作ではなく、自車両１が走行中の車線に対して自車両１がふら付いてしまった結果、自車両１が隣の車線に移動した方が良さそうだという理由で実施されたウインカ操作である可能性も残存していた。
図５に示す例では、このウインカ操作と自車両１の運転者が駐車車両を視認しているという情報とがセットであるため、このウインカ操作が、自車両１が駐車車両を回避のためのウインカ操作であると判断することができる。その結果、意図有りの信頼度を（高）とすることができる。
【0035】
つまり、図５に示す例では、自車両１の運転者（ユーザ）が利用する自車両１の走行オンラインデータを収集するデータ収集システムにおいて収集されたデータの真値付けの高精度化を図るために、「第１分類信号（弱い信号）」及び「第２分類信号（強い信号）」の出力状態に応じて、自車両１の運転者の意図あり／自車両１の運転者の意図無しのタグが切り分けられて付与される。
図５に示す例は、意図真値付けのルールを提案したものであり、機械学習モデルの学習の高精度化を提案したものである。
自車両１において得られたデータを機械学習モデルの学習データとして用いる場合、自車両１の運転者が車線逸脱意図を有するか否かを示すラベル（タグ）が、学習データに必要である。自車両１の運転者が車線逸脱意図を有するか否かを自車両１の運転者自身に直接確認してタグを付けることが好ましいが、現実には、自車両１の運転者が車線逸脱意図を有するか否かを自車両１の運転者に確認することは困難である。
そこで、従来の一般的な技術においては、シーン判定が行われ、判定対象のシーンが例えば駐車車両回避シーンや、レーンチェンジシーンであれば、自車両１の運転者が車線逸脱意図を有すると判断されていた（みなされていた）。
それに対し、図５に示す例では、ドライバモニタ情報を組み合わせたタグ付けとすることで、意図推定レベルのタグ付け精度を向上できる。また、２種類の強い信号と弱い信号とに応じて、信頼度（高）の意図有りシーン、信頼度（中）の意図有りシーンと層別分類する工夫を入れることで、学習や評価の精度を更に向上させることができる（学習の順番を変えたり、割合を変えたりする）。
図５に示す例は、意図真値付けのルールを提案したものであり、機械学習モデルの学習の高精度化を提案したものである。
自車両１において得られたデータを機械学習モデルの学習データとして用いる場合、自車両１の運転者が車線逸脱意図を有するか否かを示すラベル（タグ）が、学習データに必要である。自車両１の運転者が車線逸脱意図を有するか否かを自車両１の運転者自身に直接確認してタグを付けることが好ましいが、現実には、自車両１の運転者が車線逸脱意図を有するか否かを自車両１の運転者に確認することは困難である。
そこで、従来の一般的な技術においては、シーン判定が行われ、判定対象のシーンが例えば駐車車両回避シーンや、レーンチェンジシーンであれば、自車両１の運転者が車線逸脱意図を有すると判断されていた（みなされていた）。
それに対し、図５に示す例では、ドライバモニタ情報を組み合わせたタグ付けとすることで、意図推定レベルのタグ付け精度を向上できる。また、２種類の強い信号と弱い信号とに応じて、信頼度（高）の意図有りシーン、信頼度（中）の意図有りシーンと層別分類する工夫を入れることで、学習や評価の精度を更に向上させることができる（学習の順番を変えたり、割合を変えたりする）。
【0036】
以上のように、本開示の車線逸脱意図推定装置の実施形態について図面を参照して説明したが、本開示の車線逸脱意図推定装置は上述した実施形態に限られるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した実施形態の各例の構成を適宜組み合わせてもよい。上述した実施形態の各例では、車線逸脱意図推定装置１６において行われる処理を、プログラムを実行することにより行われるソフトウエア処理として説明したが、車線逸脱意図推定装置１６において行われる処理が、ハードウエアにより行われる処理であってもよい。あるいは、車線逸脱意図推定装置１６において行われる処理が、ソフトウエア及びハードウエアの双方を組み合わせた処理であってもよい。また、車線逸脱意図推定装置１６のメモリ１６２に記憶されるプログラム（車線逸脱意図推定装置１６のプロセッサ１６３の機能を実現するプログラム）が、例えば半導体メモリ、磁気記録媒体、光記録媒体等のようなコンピュータ読み取り可能な記憶媒体に記録されて提供、流通等されてもよい。
【符号の説明】
【0037】
１…自車両、１１…周辺状況センサ、１２…車両状態センサ、１３…ＨＭＩ、１４…ドライバモニタカメラ、１５…車両制御装置、１５Ａ…操舵アクチュエータ、１５Ｂ…制動アクチュエータ、１５Ｃ…駆動アクチュエータ、１６…車線逸脱意図推定装置、１６１…通信インターフェース、１６２…メモリ、１６３…プロセッサ、３Ａ…取得部、３Ｂ…ドライバモニタ部、３Ｃ…第１判定部、３Ｄ…推定部、３Ｅ…予測部、３Ｆ…第２判定部、３Ｇ…制御部
【図1】
【図2】
【図3】
【図4】
【図5】