特開 2023-176757 運転支援装置、運転支援ユニット、アプリケーションプログラム、運転支援方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176757

(43)【公開日】2023-12-13

(54)【発明の名称】運転支援装置、運転支援ユニット、アプリケーションプログラム、運転支援方法、およびプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20231206BHJP

   B60W 50/14 20200101ALI20231206BHJP

【ＦＩ】

G08G1/16 F

B60W50/14

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022089203

(22)【出願日】2022-05-31

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】ジョビン・ディサ

(72)【発明者】

【氏名】金原 輝

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA60

3D241CE04

3D241CE05

3D241DA58Z

3D241DB02Z

3D241DB05Z

3D241DB12Z

3D241DC18Z

3D241DC25Z

3D241DC35Z

3D241DD07Z

5H181AA01

5H181AA21

5H181CC04

5H181FF33

5H181LL01

5H181LL02

5H181LL07

5H181LL08

5H181LL20

(57)【要約】

【課題】簡易且つ精度よく警報を出力すること。
【解決手段】運転支援装置は、着脱部を介して車両に着脱可能な運転支援装置であって、前記車両の周辺の状況が撮像された一以上の画像を取得する取得部と、前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる通知制御部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

着脱部を介して車両に着脱可能な運転支援装置であって、
前記車両の周辺の状況が撮像された一以上の画像を取得する取得部と、
前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる通知制御部と、
を備える運転支援装置。

【請求項2】

前記対象は、前記車両が走行する車線の道路区画線、および前記車両の運転者であり、
前記対象に関する変化は、前記道路区画線に対する前記車両の位置の変化および前記運転者の挙動の変化である、
請求項１に記載の運転支援装置。

【請求項3】

前記一以上の画像は、前記車両を運転している運転者の顔が撮像された画像を含み、
前記通知制御部は、前記一以上の画像に基づく前記運転者の顔または視線の向きが予め設定された範囲外である場合、前記運転者の顔または視線の向きが予め設定された範囲外でない場合よりも、強い通知強度の通知を前記通知部に通知させる、
請求項２に記載の運転支援装置。

【請求項4】

前記一以上の画像は、前記車両を運転している運転者の顔が撮像された画像を含み、
前記通知制御部は、
（ａ１）前記一以上の画像に基づく前記運転者の顔または視線の向きが、所定時間以上、前記車両の進行方向であって且つ左方向を向いてなく、更に（ａ２）前記一以上の画像に基づいて前記車両が左方向に揺動していると判定した場合、所定の強度の警報の通知を前記通知部に通知させ、前記（ａ１）または前記（ａ２）の一方または双方を満たさない場合、前記所定の強度の警報の通知よりも弱い警報の通知を前記通知部に通知させる、または警報の通知を前記通知部に通知させない、
（ｂ１）前記一以上の画像に基づく前記運転者の顔または視線の向きが、所定時間以上、前記車両の進行方向であって且つ右方向を向いてなく、更に（ｂ２）前記一以上の画像に基づいて前記車両が右方向に揺動していると判定した場合、所定の強度の警報の通知を行い、前記（ｂ１）または前記（ｂ２）の一方または双方を満たさない場合、前記所定の強度の警報の通知よりも弱い警報の通知を前記通知部に通知させる、または警報の通知を前記通知部に通知させない、
請求項２に記載の運転支援装置。

【請求項5】

前記一以上の画像は、前記走行車線に隣接する隣接車線であって前記車両の後方の隣接後方領域が撮像された画像を含み、
前記通知制御部は、
前記（ａ１）および前記（ａ２）を満たし、（ａ３）前記一以上の画像に基づいて前記車両の左側の前記隣接後方領域に車両が存在する場合、前記所定の強度の警報の通知よりも強い第３の警報の通知を前記通知部に通知させ、
前記（ａ１）および前記（ａ２）を満たし、前記（ａ３）を満たさない場合、前記所定の強度の通知よりも強く、且つ前記第３の警報の通知よりも弱い第２の警報の通知を行い、
前記（ｂ１）および前記（ｂ２）を満たし、（ｂ３）前記一以上の画像に基づいて前記車両の右側の前記隣接後方領域に車両が存在する場合、前記所定の強度の警報の通知よりも強い第３の警報の通知を前記通知部に通知させ、
前記（ｂ１）および前記（ｂ２）を満たし、前記（ｂ３）を満たさない場合、前記第２の警報の通知を前記通知部に通知させる、
請求項４に記載の運転支援装置。

【請求項6】

前記一以上の画像は、前記運転者の腕または手の一方または双方が撮像された画像を含み、
前記通知制御部は、
（ｃ１）前記一以上の画像に基づいて前記手または腕が前記車両を左方向に移動させる操舵を制御する操作を行っていないと判定し、且つ（ｃ２）前記一以上の画像に基づいて前記車両が左方向に揺動していると判定した場合、所定の強度の警報の通知を行い、前記（ｃ１）または前記（ｃ２）の一方または双方を満たさない場合、前記所定の強度の警報の通知よりも弱い警報の通知を前記通知部に通知させる、または警報の通知を前記通知部に通知させない、
（ｄ１）前記一以上の画像に基づいて前記手または腕が前記車両を右方向に移動させる操舵を制御する操作を行っていないと判定し、且つ（ｄ２）前記一以上の画像に基づいて前記車両が右方向に揺動していると判定した場合、所定の強度の警報の通知を行い、前記（ｄ１）または前記（ｄ２）の一方または双方を満たさない場合、前記所定の強度の警報の通知よりも弱い警報の通知を前記通知部に通知させる、または警報の通知を前記通知部に通知させない、
請求項２に記載の運転支援装置。

【請求項7】

前記一以上の画像は、前記走行車線に隣接する隣接車線であって前記車両の後方の隣接後方領域が撮像された画像を含み、
前記通知制御部は、
前記（ｃ１）および前記（ｃ２）を満たし、（ｃ３）前記一以上の画像に基づいて前記車両の左側の前記隣接後方領域に車両が存在する場合、前記所定の強度の警報の通知よりも強い第３の警報の通知を前記通知部に通知させ、
前記（ｃ１）および前記（ｃ２）を満たし、前記（ｃ３）を満たさない場合、前記所定の強度の警報の通知よりも強く、且つ前記第３の警報の通知よりも弱い第２の警報の通知を行い、
前記（ｄ１）および前記（ｄ２）を満たし、（ｄ３）前記一以上の画像に基づいて前記車両の右側の前記隣接後方領域に車両が存在する場合、前記所定の強度の警報の通知よりも強い第３の警報の通知を前記通知部に通知させ、
前記（ｄ１）および前記（ｄ２）を満たし、前記（ｄ３）を満たさない場合、前記第２の警報の通知を前記通知部に通知させる、
請求項６に記載の運転支援装置。

【請求項8】

前記一以上の画像は、前記走行車線に隣接する隣接車線であって前記車両の後方の隣接後方領域が撮像された画像を含み、
前記通知制御部は、前記一以上の画像に基づいて前記隣接後方領域に車両が存在すると判定した場合、前記隣接後方領域に車両が存在しないと判定した場合よりも、前記所定の強度の警報よりも強い警報の通知を前記通知部に通知させる、
請求項４または６に記載の運転支援装置。

【請求項9】

前記通知を前記通知部に通知させるための情報を前記通知部に送信する通信部を備える請求項２から７のうちいずれか１項に記載の運転支援装置と、
車両の車載ネットワークに接続されていない第１カメラであって、前記一以上の画像に含まれる、前記車両の前方の周辺の状況を含む画像を取得する第１カメラと、
車両の車載ネットワークに接続されていない第２カメラであって、前記一以上の画像に含まれる、前記運転者、前記車両の運転席側の窓、前記車両の助手席側の窓、前記車両の後方の領域を含む画像を撮像する第２カメラと、
前記運転支援装置と、前記第１カメラと、前記第２カメラと、を収納する筐体と、
を備える運転支援ユニット。

【請求項10】

車両の車載ネットワークに接続されていない携帯端末装置にインストールされるアプリケーションプログラムであって、
前記携帯端末装置のコンピュータに
前記車両の周辺の状況が撮像された一以上の画像を取得する処理と、
前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる処理と、
を実行させるためのアプリケーションプログラム。

【請求項11】

着脱部を介して車両に着脱可能な運転支援装置のコンピュータが、
前記車両の周辺の状況が撮像された一以上の画像を取得する処理と、
前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる処理と、
実行する運転支援方法。

【請求項12】

着脱部を介して車両に着脱可能な運転支援装置のコンピュータに、
前記車両の周辺の状況が撮像された一以上の画像を取得する処理と、
前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる処理と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転支援装置、運転支援ユニット、アプリケーションプログラム、運転支援方法、およびプログラムに関する。

【背景技術】

【0002】

従来、車両のふらつき走行が検出されたとき、車両が車線から逸脱することを防止する制御が実行中であり、且つ、車両の操舵操作を受け付ける操舵操作部に運転者が触れていない場合、警報出力部から警報を出力させない警報装置が開示されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２１／１５３６０６号

【特許文献2】特開２０２１－０６６１９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術では、簡易且つ精度よく警報を出力することができない場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、簡易且つ精度よく警報を出力することができる運転支援装置、運転支援ユニット、アプリケーションプログラム、運転支援方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係る運転支援装置、運転支援ユニット、アプリケーションプログラム、運転支援方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る運転支援装置は、着脱部を介して車両に着脱可能な運転支援装置であって、前記車両の周辺の状況が撮像された一以上の画像を取得する取得部と、前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる通知制御部とを備える。

【0007】

（２）：上記（１）の態様において、前記対象は、前記車両が走行する車線の道路区画線、および前記車両の運転者であり、前記対象に関する変化は、前記道路区画線に対する前記車両の位置の変化および前記運転者の挙動の変化である。

【0008】

（３）：上記（１）または（２）の態様において、前記一以上の画像は、前記車両を運転している運転者の顔が撮像された画像を含み、前記通知制御部は、前記一以上の画像に基づく前記運転者の顔または視線の向きが予め設定された範囲外である場合、前記運転者の顔または視線の向きが予め設定された範囲外でない場合よりも、強い通知強度の通知を前記通知部に通知させる。

【0009】

（４）：上記（１）から（３）のいずれかの態様において、前記一以上の画像は、前記車両を運転している運転者の顔が撮像された画像を含み、前記通知制御部は、（ａ１）前記一以上の画像に基づく前記運転者の顔または視線の向きが、所定時間以上、前記車両の進行方向であって且つ左方向を向いてなく、更に（ａ２）前記一以上の画像に基づいて前記車両が左方向に揺動していると判定した場合、所定の強度の警報の通知を前記通知部に通知させ、前記（ａ１）または前記（ａ２）の一方または双方を満たさない場合、前記所定の強度の警報の通知よりも弱い警報の通知を前記通知部に通知させる、または警報の通知を前記通知部に通知させない、（ｂ１）前記一以上の画像に基づく前記運転者の顔または視線の向きが、所定時間以上、前記車両の進行方向であって且つ右方向を向いてなく、更に（ｂ２）前記一以上の画像に基づいて前記車両が右方向に揺動していると判定した場合、所定の強度の警報の通知を行い、前記（ｂ１）または前記（ｂ２）の一方または双方を満たさない場合、前記所定の強度の警報の通知よりも弱い警報の通知を前記通知部に通知させる、または警報の通知を前記通知部に通知させない。

【0010】

（５）：上記（４）の態様において、前記一以上の画像は、前記走行車線に隣接する隣接車線であって前記車両の後方の隣接後方領域が撮像された画像を含み、前記通知制御部は、前記（ａ１）および前記（ａ２）を満たし、（ａ３）前記一以上の画像に基づいて前記車両の左側の前記隣接後方領域に車両が存在する場合、前記所定の強度の警報の通知よりも強い第３の警報の通知を前記通知部に通知させ、前記（ａ１）および前記（ａ２）を満たし、前記（ａ３）を満たさない場合、前記所定の強度の通知よりも強く、且つ前記第３の警報の通知よりも弱い第２の警報の通知を行い、前記（ｂ１）および前記（ｂ２）を満たし、（ｂ３）前記一以上の画像に基づいて前記車両の右側の前記隣接後方領域に車両が存在する場合、前記所定の強度の警報の通知よりも強い第３の警報の通知を前記通知部に通知させ、前記（ｂ１）および前記（ｂ２）を満たし、前記（ｂ３）を満たさない場合、前記第２の警報の通知を前記通知部に通知させる。

【0011】

（６）：上記（１）から（５）のいずれかの態様において、前記一以上の画像は、前記運転者の腕または手の一方または双方が撮像された画像を含み、前記通知制御部は、（ｃ１）前記一以上の画像に基づいて前記手または腕が前記車両を左方向に移動させる操舵を制御する操作を行っていないと判定し、且つ（ｃ２）前記一以上の画像に基づいて前記車両が左方向に揺動していると判定した場合、所定の強度の警報の通知を行い、前記（ｃ１）または前記（ｃ２）の一方または双方を満たさない場合、前記所定の強度の警報の通知よりも弱い警報の通知を前記通知部に通知させる、または警報の通知を前記通知部に通知させない、（ｄ１）前記一以上の画像に基づいて前記手または腕が前記車両を右方向に移動させる操舵を制御する操作を行っていないと判定し、且つ（ｄ２）前記一以上の画像に基づいて前記車両が右方向に揺動していると判定した場合、所定の強度の警報の通知を行い、前記（ｄ１）または前記（ｄ２）の一方または双方を満たさない場合、前記所定の強度の警報の通知よりも弱い警報の通知を前記通知部に通知させる、または警報の通知を前記通知部に通知させない。

【0012】

（７）：上記（６）のいずれかの態様において、前記一以上の画像は、前記走行車線に隣接する隣接車線であって前記車両の後方の隣接後方領域が撮像された画像を含み、前記通知制御部は、前記（ｃ１）および前記（ｃ２）を満たし、（ｃ３）前記一以上の画像に基づいて前記車両の左側の前記隣接後方領域に車両が存在する場合、前記所定の強度の警報の通知よりも強い第３の警報の通知を前記通知部に通知させ、前記（ｃ１）および前記（ｃ２）を満たし、前記（ｃ３）を満たさない場合、前記所定の強度の警報の通知よりも強く、且つ前記第３の警報の通知よりも弱い第２の警報の通知を行い、前記（ｄ１）および前記（ｄ２）を満たし、（ｄ３）前記一以上の画像に基づいて前記車両の右側の前記隣接後方領域に車両が存在する場合、前記所定の強度の警報の通知よりも強い第３の警報の通知を前記通知部に通知させ、前記（ｄ１）および前記（ｄ２）を満たし、前記（ｄ３）を満たさない場合、前記第２の警報の通知を前記通知部に通知させる。

【0013】

（８）：上記（１）から（７）のいずれかの態様において、前記一以上の画像は、前記走行車線に隣接する隣接車線であって前記車両の後方の隣接後方領域が撮像された画像を含み、前記通知制御部は、前記一以上の画像に基づいて前記隣接後方領域に車両が存在すると判定した場合、前記所定の強度の警報よりも強い警報の通知を前記通知部に通知させる。

【0014】

（９）：この発明の一態様に係る運転支援ユニットは、前記通知を前記通知部に通知させるための情報を前記通知部に送信する通信部を備える上記（１）から（８）のいずれかの態様の運転支援装置と、車両の車載ネットワークに接続されていない第１カメラであって、前記一以上の画像に含まれる、前記車両の前方の周辺の状況を含む画像を取得する第１カメラと、車両の車載ネットワークに接続されていない第２カメラであって、前記一以上の画像に含まれる、前記運転者、前記車両の運転席側の窓、前記車両の助手席側の窓、前記車両の後方の領域を含む画像を撮像する第２カメラと、前記運転支援装置と、前記第１カメラと、前記第２カメラと、を収納する筐体と、を備える。

【0015】

（１０）：この発明の一態様に係るアプリケーションプログラムは、車両の車載ネットワークに接続されていない携帯端末装置にインストールされるアプリケーションプログラムであって、前記携帯端末装置のコンピュータに、前記車両の周辺の状況が撮像された一以上の画像を取得する処理と、前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる処理と、を実行させるためのアプリケーションプログラムである。

【0016】

（１１）：この発明の一態様に係る運転支援方法は、着脱部を介して車両に着脱可能な運転支援装置のコンピュータが、前記車両の周辺の状況が撮像された一以上の画像を取得する処理と、前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる処理と実行する。

【0017】

（１２）：この発明の一態様に係る制御プログラムは、着脱部を介して車両に着脱可能な運転支援装置のコンピュータに、前記車両の周辺の状況が撮像された一以上の画像を取得する処理と、前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる処理とを実行させるためのプログラムである。

【発明の効果】

【0018】

（１）－（１１）によれば、簡易且つ精度よく警報を出力することができる。例えば、運転支援装置は、車両に後付できるユニットなどの簡易な構成である。また、運転支援装置は、画像を用いて精度よく車両の揺動や逸脱などを判定することができる。

【0019】

（２）、（３）または（５）によれば、運転者の意図が加味されるため、より精度よく揺動の警報を出力することができる。

【0020】

（４）、（６）または（７）によれば、周囲の車両が考慮されるため、より適切な警報が出力され、更に周囲に配慮した制御が実現される。

【図面の簡単な説明】

【0021】

【図1】実施形態に係る運転支援装置を含む運転監視装置１の構成および使用環境の一例を示す図である。

【図2】運転監視装置１の一例を示す図である。

【図3】運転監視装置１が取得する画像の一例を示す図である。

【図4】制御部３０が行う警報処理の概要を説明するための図である。

【図5】逸脱判定部４０が有する機能部の一例を示す図である。

【図6】オフセット処理部４０Ｃの処理について説明するための図である。

【図7】ノイズ領域について説明するための図である。

【図8】統合処理部４２の処理について説明するための図である。

【図9】意図判定部５０により実行される処理の流れの一例を示すフローチャートである。

【図10】チェックリストの一例を示す図である。

【図11】意図判定部５０により実行される処理の流れの一例を示すフローチャートである。

【図12】意図判定部５０により実行される処理の流れの他の一例を示すフローチャートである。

【図13】意図フラグ「ＴＲＵＥ」について説明するための図である。

【図14】警報制御部６０が実行する処理の流れの一例を示すフローチャートの１ルーチンである。

【発明を実施するための形態】

【0022】

以下、図面を参照し、本発明の運転支援装置、運転支援ユニット、アプリケーションプログラム、運転支援方法、およびプログラムの実施形態について説明する。以下の説明では、車両の前方方向をプラスＸ方向、車両の後方方向をマイナスＸ方向、車両の幅方向であってプラスＸ方向を基準に右方向をプラスＹ方向、左側方向をマイナスＹ方向、Ｘ方向およびＹ方向に直交する方向であって車両の高さ方向をプラスＺ方向として説明する。

【0023】

［全体構成］
図１は、実施形態に係る運転支援装置を含む運転監視装置１（運転支援システム）の構成および使用環境の一例を示す図である。運転支援装置２０は、例えば、ドライブレコーダーなどのような、車両（以下、「車両Ｍ」という）に対して後付けで取り付けられる運転監視装置１に搭載される。すなわち、運転監視装置１（運転支援装置２０）は、着脱部を介して車両Ｍに着脱可能である。運転支援装置２０は、例えば、車両Ｍの車載ネットワークに接続されていない装置である。車載ネットワークとは、車両Ｍの駆動や、制動、操舵、車両の各種センサ、運転に関する操作子、操作ボタンなどの車両の制御に関するＥＣＵ（Electronic Control Unit）が接続されたＣＡＮ（Controller Area Network）などの通信規格を用いた車載ネットワークである。ＨＭＩ（Human Machine Interface）のための車両Ｍのネットワークは、上記の車載ネットワークから除外されてもよい。

【0024】

図２は、運転監視装置１の一例を示す図である。運転監視装置１は、例えば、フロントウインドシールド上部のルームミラー付近のフロント窓ガラスに取り付けられる。運転監視装置１は、前方カメラ１０と、後方カメラ１２とのそれぞれで撮像した画像（動画像）を、例えば、不図示の記憶装置に記憶させる。運転監視装置１は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）などの表示装置を備え、記憶装置に記憶された画像（動画像）を表示装置に表示させることができる構成であってもよい。

【0025】

運転監視装置１は、例えば、前方カメラ１０と、後方カメラ１２と、着脱部１４と、運転支援装置２０と、を備える。前方カメラ１０および後方カメラ１２のそれぞれは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。前方カメラ１０は、運転監視装置１が取り付けられた位置から、繰り返し（周期的に）車両Ｍの前方の周囲を撮像する。後方カメラ１２は、運転監視装置１が取り付けられた位置から、繰り返し（周期的に）車両Ｍの後方の周囲を撮像する。前方カメラ１０および後方カメラ１２のそれぞれが撮像する水平方向の画角は、例えば、１８０°である。つまり、運転監視装置１は、取り付けられた位置から、車両Ｍの周囲の３６０°の範囲を撮像する。なお、本実施形態では、前方カメラ１０および後方カメラ１２を用いるものとして説明するが、これに代えてまたは加えて、他のカメラが用いられてもよい。すなわち、本実施形態で用いる画像（道路区画線が撮像された画像と運転者の顔が撮像された画像）が撮像されるようにカメラが構成されればよい。着脱部１４は、例えば、運転監視装置１を車両Ｍに装着させるための部材である。着脱部１４は、例えば、吸盤やシール、ブラケットなどの支持部材等の任意の部材である。

【0026】

図３は、運転監視装置１が取得する画像の一例を示す図である。前方カメラ１０は、フロントウインドシールド越しに車両Ｍの前方を撮像する。後方カメラ１２は、車両Ｍの運転者、運転席側の窓、助手席側の窓、車両の後方などを撮像する。

【0027】

前方カメラ１０が撮像した画像（以下、「前方画像」という）には、被写体として、例えば、他車両や、歩行者、自転車、固定物、道路区画線など、フロント窓ガラスを通して見える車両Ｍの前方や、左右のサイド窓ガラスを通して見える車両Ｍの左右（前方）に存在する物標が写されている。運転支援装置２０は、これらの物標を画像認識処理によって認識する。

【0028】

後方カメラ１２が撮像した画像（以下、「後方画像」という）には、車両Ｍの車室内、およびリア窓ガラスを通して見える車両Ｍの後方や、左右のサイド窓ガラスを通して見える車両Ｍの左右（後方）に存在する物標が写されている。このため、後方カメラ１２が撮像した後方画像には、被写体として、少なくとも、運転監視装置１が取り付けられた車両Ｍの運転者も写されている。運転監視装置１は、上述した領域が前方カメラ１０および後方カメラ１２が撮像可能な位置であれば、任意の箇所に取り付けられてもよい。

【0029】

運転支援装置２０は、前方カメラ１０により出力された前方画像と、後方カメラ１２により出力された後方画像とを参照した結果に基づいて、端末装置Ｔを介して警報を出力させる。

【0030】

端末装置Ｔは、例えば、スマートフォンやタブレット端末など、運転監視装置１が取り付けられた車両Ｍを運転する運転者が使用する可搬型の端末装置である。端末装置Ｔでは、例えば、運転支援装置２０による運転支援を受けるためのアプリケーションなどが実行されている。アプリケーションは、運転支援装置２０により送信された情報や通知に基づく画像を表示装置に表示させたり、音をスピーカに発音させたりする。端末装置Ｔは、「通知部」の一例である。端末装置Ｔは、例えば、車両Ｍに着脱可能に取り付けられ利用される。例えば、端末装置Ｔまたは車両Ｍの一方または双方に着脱部を有する端末装置Ｔ用のホルダが設けられ、端末装置Ｔはホルダにより支持される。端末装置Ｔに代わり、車両Ｍのナビゲーションや車両Ｍの表示部やスピーカが、運転支援装置２０の指示に基づいて警報を出力してもよい。また、端末装置Ｔの代わりに、運転監視装置１に表示部（通知部）や、スピーカ（通知部）などが設けられていてもよい。

【0031】

図１に示すように、運転支援装置２０は、例えば、認識部２２と、推定部２４と、制御部３０と、通信部７０と、を備える。認識部２２と、推定部２４と、制御部３０（通知制御部）とは、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサと、プログラム（ソフトウェア）を記憶した記憶装置（非一過性の記憶媒体を備える記憶装置）とを備え、プロセッサがプログラムを実行することによりそれぞれの構成要素の機能が実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によってそれぞれの構成要素の機能が実現されてもよい。これらの構成要素のうち一部または全部は、専用のＬＳＩによってそれぞれの構成要素の機能が実現されてもよい。

【0032】

プログラム（ソフトウェア）は、予めＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、フラッシュメモリなど、運転支援装置２０が備える不図示の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、メモリーカードなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体が運転監視装置１に装着されることで記憶装置にインストールされてもよい。プログラム（ソフトウェア）は、端末装置Ｔにおいて実行されているアプリケーションによって、他のコンピュータ装置から近距離通信または広域通信によって予めダウンロードされ、端末装置Ｔから送信されることで、記憶装置にインストールされてもよい。

【0033】

認識部２２は、前方画像に基づいて、車両Ｍが走行している走行車線や、物標（前述した他車両や道路区画線等）等を認識する。他車両には、同じ走行車線または隣接する走行車線を走行している他車両や、隣接車線を走行し且つ車両Ｍの後方を走行する車両、対向車線を走行する対向車両が含まれる。認識部２２における物標の認識は、例えば、ディープラーニングなどの処理によって行われてもよい。認識部２２は、前方画像または後方画像（例えば画像において着目している物標が占める領域）の変化に基づいて、車両Ｍ（運転支援装置２０）の状態（進行方向の速度や横方向の速度、ヨーレイトなど）、車両Ｍの位置を認識する。認識部２２は、車両Ｍと通信可能な場合、車両Ｍの車両センサ（不図示）の出力を利用したＩＮＳ（Inertial Navigation System）によって車両Ｍの位置または状態を特定または補完してもよい。

【0034】

推定部２４は、後方画像に写されている運転者の顔の向きや視線の向きを推定する。推定された運転者の視線方向を表す情報を、以下、「視線情報」と称することがある。

【0035】

制御部３０は、逸脱判定部４０と、意図判定部５０と、警報制御部６０とを備える。図４は、制御部３０が行う警報処理の概要を説明するための図である。逸脱判定部４０は、車両Ｍの状態および車両Ｍが走行する走行車線の道路区画線の位置に基づいて、車両Ｍが走行車線から逸脱しようとしている否か判定する。

【0036】

意図判定部５０は、推定部２４から得た視線情報に基づいて車両Ｍが運転者の意図によって走行車線から逸脱しようとしているか否かを判定する。警報制御部６０は、逸脱判定部４０の判定結果（例えば逸脱フラグ）と、意図判定部５０の判定結果（例えば意図フラグ）とに基づいて、端末装置Ｔに警報を出力させる。例えば、警報制御部６０は、通信部７０を介して、警報情報を端末装置Ｔに送信する。端末装置Ｔは、警報情報に含まれる警報の強度等の警報の種別を示す情報に基づいて、警報を出力する。通信部７０は、端末装置Ｔと無線通信または有線通信を行うための通信インタフェースである。

【0037】

以下、逸脱判定部４０、意図判定部５０、および警報制御部６０の処理について説明する。

【0038】

［逸脱判定部の処理の詳細］
図５は、逸脱判定部４０が有する機能部の一例を示す図である。逸脱判定部４０は、例えば、時間処理部４０Ａ、距離処理部４０Ｂ、オフセット処理部４０Ｃ、ＳＭＡ（Simple Moving Average）処理部４０Ｄ、および統合処理部４２を備える。逸脱判定部４０は、認識部２２から道路区画線の位置や、車両Ｍの状態を示す情報を取得する。逸脱判定部４０は、所定の周期で、以下に説明する各種処理を繰り返し実行する。

【0039】

逸脱判定部４０は、以下の全てまたは一部の条件を満たさない場合、以下の各種処理を実行せず、逸脱を判定しなくてもよい。条件は、例えば、運転者が処理の停止を意図する操作を行ったこと、道路区画線が検知できないこと、道路区画線の検知の精度が閾値以下であることである。条件は、走行している走行車線の曲率が閾値以上であること（急カーブであること）であってもよい。走行車線の曲率の情報は、例えば、端末装置Ｔや車両Ｍのナビゲーション装置により提供される情報である。このように、逸脱判定部４０が、処理を実行する条件が整わない場合は、処理負荷が軽減すると共に端末装置Ｔに警報が出力されることが抑制される。

【0040】

（時間処理部）
時間処理部４０Ａは、車両Ｍが道路区画線を跨ぐまでの時間ＴＬＣを導出する。時間ＴＬＣは、例えば、車両Ｍの基準位置から道路区画線までの距離を車両Ｍの横方向の速度で除算した値である。時間処理部４０Ａは、車両Ｍが道路区画線を跨ぐまでの時間ＴＬＣが閾値以上である場合、レッドラベルフラグ（例えば第１の指標）を出力し、時間ＴＬＣが閾値未満である場合、グリーンラベルフラグ（例えば第２の指標）を出力する。

【0041】

時間処理部４０Ａは、例えば、式（１）、式（２）に基づいて、時間ＴＬＣを算出してもよい。「φ」は、ヨー方向であり、走行車線の延在方向に対する車両Ｍの方向である。「Ｖｙ」は、車両Ｍの横方向の速度であり、「Ｖ」は、自車両の縦方向の速度と横方向の速度とを合成した速度である。「ｙ_ｌ」は、左側の車線までの処理であり、「ｙ_ｒ」は、右側の車線までの距離である。「Ｄ」は、車両の幅方向の長さである。「ｌ_ｆ」は、車両Ｍの重心（運転支援装置２０が設けられた位置）から前輪の車軸までの距離である。「ｌ_ｆ」は「ゼロ」と設定されてもよい。

【0042】

「φ＞０」である場合、車両Ｍは左側の車線に向かっていることを示し、「φ＜０」である場合、車両Ｍは右側の車線に向かっていることを示している。「φ＝０」である場合、速度はゼロであり、時間ＴＬＣは「所定値（例えば１０００）」とみなされる。

【0043】

【数1】

【0044】

【数2】

【0045】

（距離処理部）
距離処理部４０Ｂは、自車両から道路区画線までの距離ＤＬＣを算出する。距離ＤＬＣは、走行車線の中心から道路区画線までの距離から、車両Ｍの幅の半分の長さを減算した値である。距離処理部４０Ｂは、距離ＤＬＣが閾値以上である場合、レッドラベルフラグを出力し、距離ＤＬＣが閾値未満である場合、グリーンラベルフラグを出力する。

【0046】

（オフセット処理部）
オフセット処理部４０Ｃは、オフセット指標ＥＰＳを算出する。オフセット指標ＥＰＳは、車両Ｍが走行車線の中心から離れているほど大きくなる指標である。オフセット指標ＥＰＳは、車両Ｍの側方から道路区画線までの距離に対応する指標である。オフセット処理部４０Ｃは、オフセット指標ＥＰＳと、閾値とを比較して、比較の結果に基づいて、レッドラベルフラグ、オレンジラベルフラグ（例えば第３の指標）、またはグリーンラベルフラグを出力する。

【0047】

オフセット処理部４０Ｃは、図６に示すうにオフセット指標ＥＰＳ＿Ｌと、オフセット指標ＥＰＳ＿Ｒとを用いて処理を行う。オフセット指標ＥＰＳ＿Ｌは、車両Ｍの左側の側方（例えば車両Ｍの長さ方向の中心または運転支援装置２０が設けられた位置）から左側の道路区画線までの距離であり、オフセット指標ＥＰＳ＿Ｒは、車両Ｍの右側の側方から右側の道路区画線までの距離である。オフセット処理部４０Ｃは、オフセット指標ＥＰＳ＿Ｌが距離ｙｌよりも大きい場合、またはオフセット指標ＥＰＳ＿Ｒが距離ｙｒよりも大きい場合、第１閾値および第２閾値を用いた処理を行う。距離ｙｌは、走行車線の中央から左側の道路区画線までの距離であり、距離ｙｒは、走行車線の中央から右側の道路区画線までの距離である。第１閾値は、例えば、車幅Ｄに所定値を加算した値である。第２閾値は、例えば、車幅Ｄに所定値よりも大きい所定値を加算した値である。第１閾値は、例えば、距離ｙｌおよび距離ｙｒよりも大きく、第２閾値は第１閾値よりも大きい。

【0048】

例えば、右側の道路区画線に車両Ｍが寄っていて、オフセット指標ＥＰＳ＿Ｌが距離ｙｌよりも大きいと想定する。この場合、オフセット処理部４０Ｃは、オフセット指標ＥＰＳ＿Ｌが第２閾値以上である場合、レッドラベルフラグを出力し、オフセット指標ＥＰＳ＿Ｌが第２閾値未満であり、且つ第１閾値以上である場合、オレンジラベルフラグを出力し、オフセット指標ＥＰＳ＿Ｌが第１閾値未満である場合、グリーンラベルフラグを出力する。

【0049】

オフセット指標ＥＰＳ＿Ｌが距離ｙｌ以下である場合、第１閾値および第２閾値は適用されず、これとは別に設けられた予め設定された閾値と、オフセット指標ＥＰＳ＿Ｌとが比較される。

【0050】

（ＳＭＡ処理部）
ＳＭＡ処理部４０Ｄは、過去の車両Ｍの走行位置を統計処理してノイズ領域を算出する。ノイズ領域とは、車両Ｍが走行している際に、車両Ｍが走行車線の中央からずれて走行する範囲を示すものであり、運転者の運転に依存する領域である。ＳＭＡ処理部４０Ｄは、ノイズ領域を車両Ｍが走行している場合は、グリーンラベルフラグを出力し、ノイズ領域の外を車両Ｍが走行している場合は、レッドラベルフラグを出力する。

【0051】

ノイズ領域ＡＲ＿Ｎは、図７に示すように、複数の過去のサンプリングタイミングの位置に基づいて求められる。ノイズ領域は、走行車線の中央からのずれの平均値や中央値、標準偏差に基づく値に基づいて求められる。例えば、走行車線の中央からの所定σの範囲がノイズ領域とされてもよい。

【0052】

（統合処理部）
図８は、統合処理部４２の処理について説明するための図である。統合処理部４２は、時間処理部４０Ａ、距離処理部４０Ｂ、オフセット処理部４０Ｃ、およびＳＭＡ処理部４０Ｄのそれぞれの処理結果列を取得する。処理結果列とは、所定の処理サイクル（一以上の処理サイクル）の処理結果である。統合処理部４２は、処理結果列ごとに統計処理を行い、統計処理結果ごとの指標を導出する。統計処理とは、平均値の算出や中央値の算出などである。

【0053】

次に、統合処理部４２は、指標を用いた加重平均処理を行う。統合処理部４２は、各指標のそれぞれに対して、指標のそれぞれに対応する係数を乗算して加重平均処理を行って逸脱指標を導出する。なお、加重平均に代えて、他の統計処理が適用されてもよい。

【0054】

次に、統合処理部４２は、逸脱指標が閾値ＴＨを超えるか否かを判定する。逸脱指標が閾値ＴＨを超える場合、統合処理部４２は、逸脱フラグ「ＴＲＵＥ」および車両Ｍが逸脱している方向を示すフラグである逸脱フラグ「ＴＲＵＥ（ＲＩＧＨＴ）」または逸脱フラグ「ＴＲＵＥ（ＬＥＦＴ）」を出力する。

【0055】

逸脱指標が閾値ＴＨ以下の場合、統合処理部４２は、逸脱フラグ「ＦＡＬＳＥ」および車両Ｍが右方向および左方向に逸脱していないことを示すフラグである逸脱フラグ「ＦＡＬＳＥ（ＲＩＧＨＴ）」および逸脱フラグ「ＦＡＬＳＥ（ＬＥＦＴ）」を出力する。

【0056】

上記のように、逸脱判定部４０は、車両Ｍが道路区画線を逸脱しようとしているか否かを精度よく判定することができる。

【0057】

［意図判定部の処理の詳細（パターン１）］
（フローチャート（その１）
意図判定部５０は、運転者の顔または視線が所定の物体方向を向いているか否かを判定する。所定の物体方向に向いている場合は、運転者は、所定の物体方向に着目していると推定される。所定の物体とは、サイドミラーや、運転席側の窓または助手席側の窓である。所定の物体は、運転者が横方向や隣接車線方向を注視する場合の視線方向に存在する物体であればよい。

【0058】

図９は、意図判定部５０により実行される処理の流れの一例を示すフローチャートである。図９のステップＳ１００－Ｓ１０４の処理と、ステップＳ１０６－Ｓ１１０の処理とは、並列に実行されてもよいし、一方が実行された後、他方が実行されてもよい。

【0059】

まず、意図判定部５０が、視線情報に含まれる視線ベクトルを取得し、視線ベクトルが有効であるか否かを判定する（ステップＳ１００）。視線ベクトルは、例えば、二次元座標系（例えばピッチ方向およびヨー方向が規定された座標系）または三次元座標系で規定されたベクトルである。例えば、意図判定部５０は、視線ベクトルが所定の基準（例えば前回の視線ベクトルに基づく基準）に適合しているか否かを判定することで視線ベクトルが有効であるか否かを判定する。

【0060】

次に、意図判定部５０は、視線ベクトルのピッチ方向およびヨー方向に基づいて、運転者の視線が向いている方向を推定する（ステップＳ１０２）。次に、意図判定部５０は、運転者の視線が所定の物体方向に向いているか否かを判定する（ステップＳ１０４）。ステップＳ１００またはステップＳ１０４の判定が否定的である場合、本フローチャートの１ルーチンの処理が終了し、ステップＳ１００およびステップＳ１０４の判定が肯定的である場合、ステップＳ１１２の処理に進む。

【0061】

次に、意図判定部５０が、視線情報に含まれる顔ベクトルを取得し、顔ベクトルが有効であるか否かを判定する（ステップＳ１０６）。顔ベクトルは、例えば、二次元座標系（例えばピッチ方向およびヨー方向が規定された座標系）または三次元座標系で規定されたベクトルである。例えば、意図判定部５０は、顔ベクトルが所定の基準（例えば前回の顔ベクトルに基づく基準）に適合しているか否かを判定することで視線ベクトルが有効であるか否かを判定する。

【0062】

次に、意図判定部５０は、顔ベクトルのピッチ方向およびヨー方向に基づいて、運転者の顔が向いている方向を推定する（ステップＳ１０８）。次に、意図判定部５０は、運転者の顔が所定の物体方向に向いているか否かを判定する（ステップＳ１１０）。ステップＳ１０６またはステップＳ１１０の判定が否定的である場合、本フローチャートの１ルーチンの処理が終了し、ステップＳ１０６およびステップＳ１１０の判定が肯定的である場合、ステップＳ１１２の処理に進む。

【0063】

運転者の視線または顔の少なくとも一方が所定の物体方向を向いている場合、意図判定部５０は、チェックリストを更新する（ステップＳ１１２）。これにより、本フローチャートの１ルーチンが終了する。なお、上記の処理において、視線の向きまたは顔の向きの一方のみが利用されて、チェックリストが更新されてもよいし、視線の向きと顔の向きとが整合している場合に、チェックリストが更新されてもよい（両方が同じ方向を向いている場合、その方向が着目されていると判定されてもよい）。

【0064】

図１０は、チェックリストの一例を示す図である。意図判定部５０は、時刻と運転者が注視している方向とを対応付けた情報を生成する。例えば、運転者の視線または顔が右側の物体方向を向いている場合、運転者は右側を注視し、運転者の視線または顔が左側の物体方向を向いている場合、運転者は左側を注視している情報が時刻に対応付けられる。

【0065】

フローチャート（その２）
図１１は、意図判定部５０により実行される処理の流れの一例を示すフローチャートである。まず、意図判定部５０が、逸脱フラッグ「ＴＲＵＥ」を取得したか否かを判定する（ステップＳ２００）。逸脱フラッグ「ＴＲＵＥ」は、逸脱判定部４０が、車両Ｍが車線から逸脱すると判定した場合（逸脱しそう、逸脱する可能性が閾値以上である場合）に出力される。車両Ｍが走行車線の右側に逸脱すると判定された場合は、逸脱フラッグ「ＴＲＵＥ（ＲＩＧＨＴ）」が出力され、車両Ｍが走行車線の左側に逸脱すると判定された場合は、逸脱フラッグ「ＴＲＵＥ（ＬＥＦＴ）」が出力される。

【0066】

次に、意図判定部５０は、チェックリストを参照する（ステップＳ２０２）。次に、意図判定部５０は、逸脱フラッグ「ＴＲＵＥ（ＲＩＧＨＴ）」を取得した場合、チェックリストの視線の注視方向が右方向であるか否かを判定し、注視方向が右方向であれば、意図フラグ（ＤＭ）「ＴＲＵＥ（ＲＩＧＨＴ）」を生成する（ステップＳ２０４、Ｓ２０８）。

【0067】

逸脱フラッグ「ＴＲＵＥ（ＬＥＦＴ）」を取得した場合、意図判定部５０は、チェックリストの視線の注視方向が左方向であるか否かを判定し、注視方向が左方向であれば、意図フラグ（ＤＭ）「ＴＲＵＥ（ＬＥＦＴ）」を生成する（ステップＳ２０６、Ｓ２１０）。

【0068】

意図判定部５０は、ステップＳ２０４およびステップＳ２０６の判定が否定的である場合、意図フラグ（ＤＭ）「ＦＡＬＳＥ」を生成する（ステップ２１０）。上記のように、逸脱フラグが示す逸脱方向と、運転者の注視方向とが合致する場合は、意図フラグ（ＤＭ）「ＴＲＵＥ」が生成される。

【0069】

［意図判定部の処理の詳細（パターン２）］
意図判定部５０は、ＳＭＡ処理部４０Ｄの処理結果に基づいて意図フラグ「ＴＲＵＥ」または「ＦＡＬＳＥ」を生成してもよい。図１２は、意図判定部５０により実行される処理の流れの他の一例を示すフローチャートである。

【0070】

まず、意図判定部５０は、逸脱フラグを取得し、取得した逸脱フラグが「ＴＲＵＥ」であるか否かを判定する（ステップＳ３００）。次に、意図判定部５０は、ＳＭＡ情報を取得する（ステップＳ３００）。ＳＭＡ情報は、ＳＭＡ処理部４０Ｄが出力した車両Ｍのふらつきを示す情報であり、所定期間において車線の中央からのずれの単純移動平均値を示す情報である。ＳＭＡ情報には、ふらつきの度合に応じて、レッド、オレンジ、グリーンなどのラベルが付与されている。なお、ＳＭＡ処理部４０Ｄが、レッドラベルまたはグリーンラベルを出力し、オレンジラベルを出力しない構成である場合は、オレンジラベルは省略されてもよい。

【0071】

意図判定部５０は、ＳＭＡ情報のラベルがレッドまたはオレンジであるか否かを判定する（ステップＳ３０４）。換言すると、意図判定部５０は、単純移動平均値が閾値以上であるか否かを判定する。

【0072】

ＳＭＡ情報のラベルがレッドまたはオレンジである場合、意図判定部５０は、カウンターをカウントアップ（プラス１）させ（ステップＳ３０８）、ＳＭＡ情報のラベルがレッドまたはオレンジでない場合、意図判定部５０は、カウンターをカウントダウン（マイナス１）させる（ステップＳ３１０）。

【0073】

意図判定部５０は、カウンターの値が閾値以上であるか否かを判定する（ステップＳ３１２）。意図判定部５０は、カウンターの値が閾値以上である場合、意図（Ｋ）フラグ「ＴＲＵＥ」を生成し（ステップＳ３１４）、カウンターの値が閾値未満である場合、意図（Ｋ）フラグ「ＦＡＬＳＥ」を生成する（ステップＳ３１６）。

【0074】

１３に示すように、後述する警報制御部６０において、状態Ａ、Ｂ、Ｃのうちいずれかの状態の場合に、意図フラグ「ＴＲＵＥ」とみなしてもよい。状態Ａは、意図フラグ（ＤＭ）「ＴＲＵＥ」であることである。状態Ｂは、意図フラグ（Ｋ）「ＴＲＵＥ」であることである。状態Ｃは、意図フラグ（ＤＭ）「ＴＲＵＥ」および意図フラグ（Ｋ）「ＴＲＵＥ」であることである。

【0075】

［警報制御部の処理の詳細］
警報制御部６０は、一以上の画像（例えば、前方画像および後方画像）から得られた情報に基づいて車両Ｍが走行中の走行車線から逸脱すると予測される場合、一以上の画像における対象の変化量に基づいて車両Ｍの運転者に対する通知の通知強度を決定し、決定した通知強度の通知を端末装置Ｔに通知させる。対象は、例えば、車両Ｍが走行する車線の道路区画線、および車両Ｍの運転者である。対象に関する変化は、道路区画線に対する車両Ｍの位置の変化および運転者の挙動の変化である。例えば、警報制御部６０は、車両Ｍが道路区画線に近づいている度合と、運転者が道路区画線に近づこうとしていることを示唆する挙動（視線や顔の向き、ステアリングホイールの操作態様）とに基づいて、通知強度を決定する。例えば、警報制御部６０は、車両Ｍが道路区画線に近づいているほど通知強度は強め、運転者が道路区画線に近づこうとしている意図がある場合は、通知強度を弱める。

【0076】

警報制御部６０は、上述した逸脱指標に基づいて通知の強度を決定してもよい。例えば、警報制御部６０は、逸脱指標が大きいほど（逸脱指標する可能性が高いほど）大きい強度の通知を行う。警報制御部６０は、逸脱指標に代えて、時間処理部４０Ａの処理結果に応じた指標、距離処理部４０Ｂの処理結果に応じた指標、オフセット処理部４０Ｃの処理結果に応じた指標、またはＳＭＡ処理部４０Ｄの処理結果に応じた指標のうち、一以上の指標（逸脱判定指標）またはこれらを統計処理した指標に基づいて、通知の強度を決定してもよい。

【0077】

更に、警報制御部６０は、逸脱判定指標に加え（または代えて）、意図判定部５０の判定結果を参照して、通知の強度を決定してもよい。警報制御部６０は、例えば、後方画像に基づく運転者の顔または（或いはおよび）視線の向きが予め設定された範囲外である場合（例えば、所定の物体方向を向いていない場合）、運転者の顔または視線の向きが予め設定された範囲外でない場合（例えば、所定の物体方向を向いている場合）よりも、強い通知強度の通知を端末装置Ｔに通知させる。

【0078】

より具体的には、警報制御部６０は、（ａ１）後方画像に基づく運転者の顔または（或いはおよび）視線の向きが、所定時間以上、車両Ｍの進行方向であって且つ左方向を向いてなく、更に（ａ２）前方画像または後方画像に基づいて車両Ｍが左方向に揺動している（逸脱する可能性が高い）と判定した場合、所定の強度の警報の通知（後述する強度２または３の通知）を端末装置Ｔに通知させる。警報制御部６０は、（ａ１）または（ａ２）の一方または双方を満たさない場合、所定の強度の通知よりも弱い警報の通知（後述する強度１の通知）を端末装置Ｔに通知させる、または警報の通知を端末装置Ｔに通知させない。

【0079】

警報制御部６０は、（ｂ１）後方画像に基づく運転者の顔または（或いはおよび）視線の向きが、所定時間以上、車両Ｍの進行方向であって且つ右方向を向いてなく、更に（ｂ２）前方画像または後方画像に基づいて車両Ｍが右方向に揺動していると判定した場合、所定の強度の通知（後述する強度２または３の通知）を端末装置Ｔに通知させる。警報制御部６０は、（ｂ１）または（ｂ２）の一方または双方を満たさない場合、所定の強度の通知よりも弱い警報の通知（後述する強度１の通知）を端末装置Ｔに通知させる、または警報の通知を端末装置Ｔに通知させない。

【0080】

更に、走行車線に隣接する車線であって、車両Ｍの後方の車両の有無が加味されてもよい。警報制御部６０は、ブラインドスポット（走行車線に隣接する隣接車線であって車両Ｍの後方の隣接後方領域）が撮像された前方画像または後方画像に基づいて、ブラインドスポットに他車両が存在すると判定した場合、ブラインドスポットに他車両が存在しないと判定した場合よりも、所定の強度の警報よりも強い警報の通知（後述する強度３の通知）を端末装置Ｔに通知させてもよい。

【0081】

以下に説明するフローチャートのように通知の強度が決定されてもよい。図１４は、警報制御部６０が実行する処理の流れの一例を示すフローチャートの１ルーチンである。

【0082】

まず、警報制御部６０が、逸脱フラグが「ＴＲＵＥ」であるか否かを判定する（ステップＳ４００）。逸脱フラッグが「ＴＲＵＥ」でない場合、警報制御部６０は、端末装置Ｔへ警報を出力させない（ステップＳ４０２）。このときの警報の強度は「ゼロ（０）」である。

【0083】

逸脱フラッグが「ＴＲＵＥ」である場合、警報制御部６０は、意図フラグが「ＴＲＵＥ」であるか否かを判定する（ステップＳ４０４）。意図フラグが「ＴＲＵＥ」である場合、警報制御部６０は、強度「１」の警報を端末装置Ｔに出力させる（ステップＳ４０６）。なお、逸脱方向と、運転者が注視している方向とが一致している場合に、ステップＳ４０６の処理がされ、一致しない場合は、ステップＳ４０８へ進む。

【0084】

意図フラッグが「ＴＲＵＥ」でない場合、警報制御部６０は、逸脱フラグとブラインドスポットの他車両との関係が所定の条件を満たすか否かを判定する（ステップＳ４０８）。所定の条件を満たさない場合、警報制御部６０は、強度「２」の警報を端末装置Ｔに出力させる（ステップＳ４１０）。所定の条件を満たす場合、警報制御部６０は、強度「３」の警報を端末装置Ｔに出力させる（ステップＳ４１２）。強度は、「３」、「２」、「１」の順で強い強度である。

【0085】

所定の条件は、逸脱フラグの種別と、ブラインドスポットの他車両（または物体）の位置とが整合することである。例えば、所定の条件は、逸脱フラグが「ＴＲＵＥ（ＲＩＧＨＴ）」であり、且つ右側のブライドスポットに他車両が存在することである。例えば、所定の条件は、逸脱フラグが「ＴＲＵＥ（ＬＥＦＴ）」であり、且つ左側のブライドスポットに他車両が存在することである。なお、上記の整合が考慮されずに、ステップＳ４０８の判定がされてもよい。この場合、左右のブラインドスポットのいずれかに他車両が存在すれば、ブラインドスポットに関する条件は満たされる。

【0086】

上記のように、警報制御部６０は、（ａ１、ｂ１）運転者が走行車線を逸脱する意図がなく、（ａ２、ｂ２）車両Ｍが走行車線を逸脱しそうであり、且つ（ａ３、ｂ３）逸脱方向のブラインドスポットに他車両が存在する場合、強度３の警報の通知をする。警報制御部６０は、（ａ１、ｂ１）運転者が走行車線を逸脱する意図がなく、（ａ２、ｂ２）車両Ｍが走行車線を逸脱しそうであり、且つ（ａ３、ｂ３）逸脱方向のブラインドスポットに他車両が存在しない場合、強度２の警報の通知をする。

【0087】

意図した逸脱の場面で出力される強度「１」の警報は、例えば、車線変更が行われていることを示す画像（または画像や音声など）をＨＭＩに出力させる警報である。意図しない逸脱の場面で出力される強度「２」の警報は、例えば、画像内のアイコンが点滅する画像および低周波の警報音（例えば、波打っている道路を車両が走行したと想定した場合に発生する音に似せた警報音）である。意図しない逸脱であり且つブラインドスポットに物体が存在する場面で出力される強度「３」の警報は、画像内のアイコンが点滅する画像およびハイリスクであることを示す音声（例えば、高振幅および高周波の警報音）である。

【0088】

上記の例では、意図フラグは、（Ａ）視線の向きまたは（Ｂ）顔の向きに基づいて生成されたが、これに代えて（または加えて）、（Ｃ）運転者の腕または手の挙動が加味されてもよい。この場合、後方カメラ１２は、運転者の腕または（および）手が撮像された画像を撮像する。例えば、意図判定部５０は、所定期間の腕または手の変化が所定の挙動を示している場合、逸脱の意図があると判定してもよい。所定の挙動とは、運転者が車両Ｍの逸脱方向に車両Ｍが移動するようにステアリングホイールを操作している挙動である。例えば、図１４のステップＳ４０４の処理は、所定期間の腕または手の変化が所定の挙動に基づいて生成された意図フラグが判定に適用されてもよい。例えば、意図判定部５０は、上記の（Ａ）、（Ｂ）、および（Ｃ）の全てが逸脱を意図している場合、強度１の警報を行ってもよいし、所定数の要素が逸脱を意図している場合、強度１の警報を行ってもよい。意図判定部５０は、上記の（Ａ）、（Ｂ）、および（Ｃ）の全てが逸脱を意図していない場合、または、所定数の要素が逸脱を意図していない場合、図１４のステップＳ４０８の処理に進んでもよい。また、警報制御部６０は、上記の（Ａ）、（Ｂ）、および（Ｃ）のうち、逸脱する意図を示す数または要素の組み合わせに応じて、警報の強度を決定してもよい。

【0089】

上記の例では、運転監視装置１に運転支援装置２０が適用される例について説明したが、運転支援装置２０の機能構成の一部または全部は、車両に搭載されてもよい。また、運転支援装置２０が実現する機能は、端末装置Ｔにインストールされたアプリケーションプログラムが実行されることで実現されてもよい。この場合、端末装置Ｔは、例えば、車両Ｍに着脱可能に取り付けられ利用される。例えば、端末装置Ｔまたは車両Ｍの一方または双方に着脱部を有する端末装置Ｔ用のホルダが設けられ、端末装置Ｔはホルダにより支持される。

【0090】

運転支援装置２０は、車両Ｍが取得する情報を用いることができれば、これらの情報を参照して、車両Ｍの逸脱指標や、運転者の逸脱の意図を推定することができる。車両Ｍが取得する情報は、例えば、方向指示器の状態や、操舵態様（操舵トルク）、車両センサ（速度、加速度、ヨーレイト）などの情報である。運転支援装置２０は、車載ネットワークに接続されていないため、車両Ｍが取得した情報を参照することができないことがある、或いは車載ネットワークと連携することが困難なことがある。これに対して、本実施形態では、運転支援装置２０は、車両Ｍが取得する情報を用いずに、前方カメラ１０および後方カメラ１２が撮像した画像を用いて、逸脱指標や、運転者の逸脱の意図を推定し、通知の強度を決定する。このように、運転支援装置２０は、車載ネットワークとの連携が必要なく、後付けで簡易に運転者の運転を支援するように警報を通知することができる。更に、運転支援装置２０は、運転者の意図も加味することにより、不要な通知を抑制することができる。

【0091】

以上説明した実施形態によれば、運転支援装置２０は、画像から得られた情報に基づいて車両Ｍが走行中の走行車線から逸脱すると予測される場合、画像における対象に関する変化に基づいて車両Ｍの運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知装置に通知させることにより、簡易且つ精度よく警報を出力することができる。

【0092】

上記説明した実施形態は、以下のように表現することができる。
着脱部を介して車両に着脱可能な装置に含まれるプログラムを記憶した記憶装置と、
前記装置に含まれるハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
前記車両の周辺の状況が撮像された一以上の画像を取得し、
前記一以上の画像から得られた情報に基づいて前記車両が走行中の走行車線から逸脱すると予測される場合、前記一以上の画像における対象に関する変化に基づいて前記車両の運転者に対する通知の通知強度を決定し、決定した通知強度の通知を通知部に通知させる
ように構成されている、制御装置。

【0093】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0094】

１ 運転監視装置
１０ 前方カメラ
１２ 後方カメラ
２０ 運転支援装置
２２ 認識部
２４ 推定部
３０ 制御部
４０ 逸脱判定部
５０ 意図判定部
６０ 警報制御部
７０ 通信部
Ｔ 端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】