特許 7222216 運転支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-07

(45)【発行日】2023-02-15

(54)【発明の名称】運転支援装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230208BHJP

   H04N 7/18 20060101ALI20230208BHJP

   G06T 7/00 20170101ALI20230208BHJP

   G06T 7/70 20170101ALI20230208BHJP

【ＦＩ】

G08G1/16 C

H04N7/18 J

G06T7/00 350C

G06T7/00 660Z

G06T7/70 B

G08G1/16 F

【請求項の数】 4

(21)【出願番号】P 2018203218

(22)【出願日】2018-10-29

(65)【公開番号】P2020071537

(43)【公開日】2020-05-07

【審査請求日】2021-09-09

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】村上 信一郎

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２００５－２６７１０８（ＪＰ，Ａ）

【文献】特開２０１８－０９７３９８（ＪＰ，Ａ）

【文献】特開２００７－０１７３４０（ＪＰ，Ａ）

【文献】特開２００７－１３３６９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

車両の運転者の視線分布を検出する視線検出部と、
撮像部によって車両の周辺を撮像して得られる撮像画像を取得する画像取得部と、
前記車両の運転者を識別可能とするドライバー情報を取得するドライバー情報取得部と、
前記撮像画像および前記ドライバー情報に基づいて、前記撮像画像のサリエンシーマップでありかつ前記運転者毎に異なるパーソナルサリエンシーマップを生成する生成部と、
前記視線検出部により検出した前記視線分布と、生成した前記パーソナルサリエンシーマップとを比較して、前記運転者が前記車両の周辺の視認すべき対象に視線を向けているか否かを判断する判断部と、
前記運転者が前記車両の周辺の視認すべき対象に視線を向けていないと判断された場合、前記車両の危険通知を通知する通知部と、
を備え、
前記ドライバー情報取得部は、さらに、前記運転者の運転熟練度を含む前記ドライバー情報を取得し、
前記生成部は、さらに、前記撮像画像および前記ドライバー情報に基づいて、前記運転者の運転熟練度毎の前記パーソナルサリエンシーマップを生成し、
前記判断部は、さらに、前記視線検出部により検出した前記視線分布と、生成した前記パーソナルサリエンシーマップとを比較して、前記運転者の運転熟練度を判別する、
運転支援装置。

【請求項2】

前記通知部は、前記運転者の運転熟練度の判別結果に応じて、前記危険通知の通知頻度を変更する請求項１に記載の運転支援装置。

【請求項3】

前記通知部は、第１運転熟練度の前記パーソナルサリエンシーマップと前記視線検出部により検出した前記視線分布との差が予め設定された閾値以上である場合と、前記第１運転熟練度より高い第２運転熟練度の前記パーソナルサリエンシーマップと前記視線検出部により検出した前記視線分布との差が予め設定された閾値以上である場合とで、前記危険通知の通知頻度を変更する請求項１または２に記載の運転支援装置。

【請求項4】

前記生成部は、さらに、前記撮像画像に基づいてボトムアップサリエンシーマップを生成し、前記パーソナルサリエンシーマップから前記ボトムアップサリエンシーマップを除いたトップダウンサリエンシーマップを生成し、前記視線検出部により検出した前記視線分布と前記ボトムアップサリエンシーマップとの差が予め設定された閾値以上である場合と、当該視線分布と前記トップダウンサリエンシーマップとの差が予め設定された閾値以上である場合とで、前記危険通知の通知頻度を変更する請求項１から３のいずれか一に記載の運転支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、運転支援装置に関する。

【背景技術】

【0002】

撮像部によって車両の周辺を撮像して得られる撮像画像のサリエンシーマップを生成し、車両の運転者の視線分布の検出結果と当該生成したサリエンシーマップとを比較して、車両の運転者が、当該車両の周囲の視認すべき対象を認識しているか否かを判断する技術が開発されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－２６７１０８号公報

【文献】特開２０１７－４４８０号公報

【文献】特開２００９－９３３４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術では、車両の運転者を識別可能とするドライバー情報を用いてサリエンシーマップを生成していないため、運転者間の差を考慮したサリエンシーマップを作成することができず、車両の運転者が、周囲の視認すべき対象を認識しているか否かの判断精度が低くなる場合がある。

【0005】

そこで、実施形態の課題の一つは、車両の運転者が、周囲の視認すべき対象を認識しているか否かの判断精度を向上させることが可能な運転支援装置を提供することである。

【課題を解決するための手段】

【0006】

実施形態の運転支援装置は、一例として、車両の運転者の視線分布を検出する視線検出部と、撮像部によって車両の周辺を撮像して得られる撮像画像を取得する画像取得部と、車両の運転者を識別可能とするドライバー情報を取得するドライバー情報取得部と、撮像画像およびドライバー情報に基づいて、撮像画像のサリエンシーマップでありかつ運転者毎に異なるパーソナルサリエンシーマップを生成する生成部と、視線検出部により検出した視線分布と、生成したパーソナルサリエンシーマップとを比較して、運転者が車両の周辺の視認すべき対象に視線を向けているか否かを判断する判断部と、を備える。よって、一例として、運転者が周辺の危険を認識しているか否かの判断精度を向上させることができる。

【0007】

また、実施形態の運転支援装置は、一例として、生成部は、生成型のディープニューラルネットワークによって、撮像画像およびドライバー情報に基づいて、パーソナルサリエンシーマップを生成可能な生成モデルを学習して、当該生成モデルによってパーソナルサリエンシーマップを生成する。よって、一例として、運転者に特化したサブモジュールを作成することなく、車両においても、運転者毎に違いが表現されるパーソナルサリエンシーマップを生成することができる。

【0008】

また、実施形態の運転支援装置は、一例として、運転者が車両の周辺の視認すべき対象に視線を向けていないと判断された場合、車両の危険通知を通知する通知部をさらに備える。よって、一例として、車両の運転者は、車両の周辺の視認すべき対象に対して視線を向けていないことを容易に認識することができる。

【0009】

また、実施形態の運転支援装置は、一例として、ドライバー情報取得部は、さらに、運転者の運転熟練度を含むドライバー情報を取得し、生成部は、さらに、撮像画像およびドライバー情報に基づいて、運転者の運転熟練度毎のパーソナルサリエンシーマップを生成し、判断部は、さらに、視線検出部により検出した視線分布と、生成したパーソナルサリエンシーマップとを比較して、運転者の運転熟練度を判別する。よって、一例として、不確かな運転者の運転熟練度を高精度に判別することが可能となる。

【0010】

また、実施形態の運転支援装置は、一例として、通知部は、運転者の運転熟練度の判別結果に応じて、危険通知の通知頻度を変更する。よって、一例として、運転者の運転熟練度が高く危険通知を頻繁に行う必要が無いにも関わらず、危険通知が頻繁に行われることによる煩わしさを軽減したり、運転者の運転熟練度が低く危険通知を積極的に行う必要ある場合には、危険通知が頻繁に行われる安全よりの設計としたりすることが可能となる。

【0011】

また、実施形態の運転支援装置は、一例として、通知部は、第１運転熟練度のパーソナルサリエンシーマップと視線検出部により検出した視線分布との差が予め設定された閾値以上である場合と、第１運転熟練度より高い第２運転熟練度のパーソナルサリエンシーマップと視線検出部により検出した視線分布との差が予め設定された閾値以上である場合とで、危険通知の通知頻度を変更する。よって、一例として、運転熟練度が低い運転者のパーソナルサリエンシーマップと、視線検出部により検出された視線分布とに差分がある場合に、運転熟練度が低い運転者しか視線を向けない対象であるにも関わらず、危険通知が頻繁に行われる煩わしさを軽減できる。また、運転熟練度が高い運転者のパーソナルサリエンシーマップと、視線検出部により検出された視線分布に差分がある場合は、視線を向けるべき対象が存在する可能性がため、危険通知を頻繁に行って、運転者がその対象に対して視線を向けるように促すことができる。

【0012】

また、実施形態の運転支援装置は、一例として、生成部は、さらに、撮像画像に基づいてボトムアップサリエンシーマップを生成し、パーソナルサリエンシーマップからボトムアップダウンサリエンシーマップを除いたトップダウンサリエンシーマップを生成し、視線検出部により検出した視線分布とボトムアップサリエンシーマップとの差が予め設定された閾値以上である場合と、当該視線分布とトップダウンサリエンシーマップとの差が予め設定された閾値以上である場合とで、危険通知の通知頻度を変更する。よって、一例として、ボトムアップサリエンシーマップと、視線検出部により検出された視線分布とに差分がある場合に、運転者が安全確認のために注視する必要性が低いにも関わらず、危険通知が頻繁に行われて、運転者が煩わしさを覚えることを防止できる。また、トップダウンサリエンシーマップと、視線検出部により検出された視線分布とに差分があり、運転者が安全確認のために注視する必要性が高い場合には、危険通知を頻繁に行って、運転者に対して安全確認のために注視すべき領域があることを通知することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、第１の実施形態にかかる運転支援装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。

【図2】図２は、第１の実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。

【図3】図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。

【図4】図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。

【図5】図５は、第１の実施形態にかかる車両によるパーソナルサリエンシーマップの生成処理の一例を説明するための図である。

【図6】図６は、第２の実施形態にかかる車両による運転熟練度の判別処理の一例を説明するための図である。

【図7】図７は、第３の実施形態にかかる車両による危険通知の通知処理の一例を説明するための図である。

【発明を実施するための形態】

【0014】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

【0015】

本実施形態にかかる運転支援装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

【0016】

（第１の実施形態）
図１は、第１の実施形態にかかる運転支援装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図２は、第１の実施形態にかかる車両が有する撮像装置の配置の一例を示す図である。図１に示されるように、車両１は、車体２と、操舵部４と、モニタ装置１１と、を備える。

【0017】

車体２は、運転者（不図示）が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。操舵部４は、例えば、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。

【0018】

また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置８（図３参照）や音声出力装置９（図３参照）が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置は８、例えば、タッチパネル等、透明な操作入力部１０（図３参照）で覆われている。

【0019】

乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。

【0020】

また、図２に示すように、ハンドルコラム２０２には、ドライバモニタカメラ２０１が設置されている。このドライバモニタカメラ２０１は、例えば、ＣＣＤ（Charge Coupled Device）カメラ等である。ドライバモニタカメラ２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角および姿勢が調整されている。このドライバモニタカメラ２０１は、運転者３０２の顔を順次撮像し、撮像により得た画像についての画像データを順次出力する。

【0021】

また、図１に示されるように、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）設けられている。

【0022】

また、図１に示されるように、車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤまたはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

【0023】

具体的には、撮像部１５ａは、例えば、車体２の後側の端部に位置し、トランクリッドの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部に位置し、右側のドアミラーに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部に位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部に位置し、左側のドアミラーに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

【0024】

次に、図３を用いて、本実施形態にかかる車両の機能構成について説明する。図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に例示されるように、車両１は、ＥＣＵ（Engine Control Unit）１４、モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。

【0025】

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

【0026】

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。

【0027】

ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

【0028】

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

【0029】

シフトセンサ２１は、変速操作部の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

【0030】

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、例えば、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（Solid State Drive、フラッシュメモリ）１４ｆ等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。

【0031】

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、車両１の外部を撮像可能に設けられた撮像部１５の撮像で得られた画像データを用いた画像処理や、表示装置で表示される画像データの合成等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。

【0032】

ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

【0033】

図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、視線検出部４００、画像取得部４０１、ドライバー情報取得部４０２、生成部４０３、判断部４０４、および通知部４０５を主に備えている。図４に示す、視線検出部４００、画像取得部４０１、ドライバー情報取得部４０２、生成部４０３、判断部４０４、および通知部４０５は、ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。

【0034】

視線検出部４００は、運転者３０２の視線分布を検出する。本実施形態では、視線検出部４００は、ドライバモニタカメラ２０１により運転者３０２を撮像して得られる撮像画像から、運転者３０２の顔や目の画像を検出し、検出した顔や目の画像に基づいて、運転者３０２の視線分布を検出する。

【0035】

画像取得部４０１は、撮像部１５によって車両１の進行方向を撮像して得られる撮像画像を取得する取得部として機能する。本実施形態では、画像取得部４０１は、撮像部１５の撮像により得られる撮像画像を取得しているが、車両１が有するＬＩＤＡＲ（Light Detection and Ranging）、ＴＯＦ（Time Of Flight）カメラ、ミリ波レーダー、超音波センサ等によって計測した車両１と周辺の物体との間の距離の測定結果を表す画像を撮像画像として取得しても良い。

【0036】

ドライバー情報取得部４０２は、車両１の運転者３０２のドライバー情報を取得する取得部として機能する。ここで、ドライバー情報は、運転者３０２を識別可能とする情報であり、例えば、運転者３０２の番号である被験者番号、運転者３０２の運転歴、運転者３０２の性別等である。本実施形態では、ドライバー情報取得部４０２は、操作入力部１０を介して運転者３０２により入力されるドライバー情報を取得する。また、本実施形態では、ドライバー情報取得部４０２は、ドライバー情報に加えて、車両情報を取得する。ここで、車両情報は、車両１の走行状態を示す情報であり、例えば、舵角センサ１９により検出される操舵部４の操舵量、車輪速センサ２２により検出される車輪３の回転数に基づく車両１の速度である。

【0037】

生成部４０３は、画像取得部４０１により取得される撮像画像、ドライバー情報取得部４０２により取得されるドライバー情報および車両情報に基づいて、パーソナルサリエンシーマップを生成する。ここで、パーソナルサリエンシーマップは、撮像画像のサリエンシーマップでありかつ運転者３０２毎に異なるサリエンシーマップである。

【0038】

これにより、運転者３０２毎の異なりが考慮されたパーソナルサリエンシーマップを生成できるので、パーソナルサリエンシーマップと視線検出部４００により検出した視線分布を比較して、運転者３０２が周辺の危険を認識しているか否かの判断精度を向上させることができる。本実施形態では、生成部４０３は、撮像画像、ドライバー情報、および車両情報に基づいて、生成モデルを生成しているが、少なくとも、撮像画像およびドライバー情報に基づいて、生成モデルを生成するものであれば良い。

【0039】

ところで、被験者（本実施形態では、運転者３０２）毎のサリエンシーマップを計算する場合、サリエンシーマップの計算は、被験者（本実施形態では、運転者３０２）毎に異なる。そのため、被験者毎のサリエンシーマップを生成するためには、被験者に特化したサブモジュールを当該被験者毎に作成する必要がある。しかしながら、車両１へのアプリケーションを考慮すると、車両１を運転する運転者３０２が無数に存在するため、運転者３０２毎にサブモジュールを作成することは困難な場合がある。

【0040】

そこで、本実施形態では、生成部４０３は、生成型のディープニューラルネットワークによって、撮像画像、ドライバー情報、および車両情報に基づいて、１つのモデルによって運転者３０２毎のパーソナルサリエンシーマップを生成可能な生成モデル（例えば、ＣＶＡＥ：Conditional Variational Auto Encoder、ＣＧＡＮ：Conditional Generative Adversarial Nets）を学習する。

【0041】

そして、生成部４０３は、学習した生成モデルによって、視線検出部４００によって視線分布を検出した運転者３０２のパーソナルサリエンシーマップを生成する。これにより、運転者３０２に特化したサブモジュールを作成する必要がないので、車両１においても、運転者３０２毎に違いが表現されるパーソナルサリエンシーマップを生成することができる。

【0042】

または、生成部４０３は、まず、ディープニューラルネットワーク（生成型のディープニューラルネットワークまたは識別型のディープニューラルネットワーク）によって、撮像画像、ドライバー情報、および車両情報に基づいて、運転者３０２の違いによらないサリエンシーマップであるグローバルサリエンシーマップを生成可能なモデルを学習する。次いで、生成部４０３は、生成型のディープニューラルネットワークによって、撮像画像に基づくサリエンシーマップと、グローバルサリエンシーマップと、の差分としてのパーソナルサリエンシーマップを生成可能な生成モデルを学習しても良い。

【0043】

これにより、全ての運転者３０２のデータを用いて、高精度のグローバルサリエンシーマップを生成可能なモデルを学習しておき、当該モデルで生成されるグローバルサリエンシーマップと、撮像画像に基づくサリエンシーマップとの差分をパーソナルサリエンシーマップとして生成可能な生成モデルを学習することにより、全ての運転者３０２のデータを用いて、１つの生成モデルによってパーソナルサリエンシーマップを生成すると比較して、小規模の計算手段によってパーソナルサリエンシーマップを生成することができる。

【0044】

判断部４０４は、視線検出部４００により検出した視線分布と、生成部４０３により生成されるパーソナルサリエンシーマップとを比較して、車両１の周辺の視認すべき対象（例えば、対向車、信号、看板、側道、飛び出しの確認）に対して運転者３０２が視線を向けているか否かを判断する。これにより、運転者３０２毎の異なりが考慮されたパーソナルサリエンシーマップを用いて、車両１の周辺の視認すべき対象に対して運転者３０２が視線を向けているか否かを判断できるので、車両１の周辺の視認すべき対象に対して運転者３０２が視線を向けているか否かの判断精度を向上させることができる。

【0045】

本実施形態では、判断部４０４は、視線検出部４００により検出した視線分布と、生成部４０３により生成されるパーソナルサリエンシーマップとの差分が、予め設定された閾値以上である場合、運転者３０２が、車両１の周辺の視認すべき対象に対して運転者３０２が視線を向けていないと判断する。一方、判断部４０４は、視線検出部４００により検出した視線分布と、生成部４０３により生成されるパーソナルサリエンシーマップとの差分が、予め設定された閾値より小さい場合、運転者３０２が、車両１の周辺の視認すべき対象に対して運転者３０２が視線を向けていると判断する。

【0046】

通知部４０５は、視線検出部４００により検出した視線分布と、生成部４０３により生成されるパーソナルサリエンシーマップとの差分が、予め設定された閾値以上である場合、危険通知を通知する。これにより、車両１の運転者３０２は、車両１の周辺の視認すべき対象に対して視線を向けていないことを容易に認識することができる。

【0047】

ここで、危険通知は、運転者３０２が車両１の周辺の視認すべき対象に視線を向けていないことを示す通知である。本実施形態では、通知部４０５は、運転者３０２が車両１の周辺の視認すべき対象に対して視線を向けていないことを示す画像やメッセージを表示装置８に対して表示したり、運転者３０２が車両１の周辺の視認すべき対象に対して視線を向けていないことを示す音声を音声出力装置９から出力したりすることによって危険通知を実行する。

【0048】

次に、図５を用いて、本実施形態にかかる車両１によるパーソナルサリエンシーマップの生成処理の一例について説明する。図５は、第１の実施形態にかかる車両によるパーソナルサリエンシーマップの生成処理の一例を説明するための図である。

【0049】

例えば、図５に示すように、生成部４０３は、画像取得部４０１により取得される撮像画像と、ドライバー情報取得部４０２により取得される性別、運転歴、被験者番号、およびグローバルサリエンシーマップＧＭを入力として、生成型のディープニューラルネットワークによって、運転者３０２毎のパーソナルサリエンシーマップＰＭ１を生成可能な生成モデルを学習する（ステップＳ５０１）。そして、生成部４０３は、学習した生成モデルによって、視線検出部４００により視線分布を検出した運転者３０２のパーソナルサリエンシーマップＰＭ１を生成して出力する（ステップＳ５０２）。

【0050】

このように、第１の実施形態にかかる車両１によれば、運転者３０２毎の異なりが考慮されたパーソナルサリエンシーマップを生成できるので、パーソナルサリエンシーマップと視線検出部４００により検出した視線分布を比較して、運転者３０２が周辺の危険を認識しているか否かの判断精度を向上させることができる。

【0051】

（第２の実施形態）
本実施形態は、運転者の運転熟練度を含むドライバー情報を取得し、撮像画像およびドライバー情報に基づいて、運転者の運転熟練度毎のパーソナルサリエンシーマップを生成し、検出した運転者の視線分布と、運転熟練度毎のパーソナルサリエンシーマップとを比較して、運転者の運転熟練度を判別する例である。以下の説明では、第１の実施形態と異なる構成について説明する。

【0052】

ドライバー情報取得部４０２は、運転者３０２の運転熟練度を含むドライバー情報を取得する。ここで、運転熟練度は、車両１の運転の熟練の度合いである。例えば、運転熟練度は、運転者３０２が、プロドライバーおよび初心者ドライバーのいずれであるか等、運転者３０２の運転の熟練の度合いを示す情報である。

【0053】

生成部４０３は、画像取得部４０１により取得される撮像画像、およびドライバー情報取得部４０２により取得される運転熟練度を含むドライバー情報に基づいて、運転者３０２の運転熟練度毎のパーソナルサリエンシーマップを生成する。

【0054】

判断部４０４は、運転熟練度毎のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布とを比較して、運転者３０２の運転熟練度を判別する。本実施形態では、判断部４０４は、視線検出部４００により検出された視線分布との差分が最も小さいパーソナルサリエンシーマップに対応する運転熟練度を、運転者３０２の運転熟練度と判別する。

【0055】

運転熟練度は、車両１の実際の運転動作から判断することが好ましく、車両１の運転時において危険を予測する能力は、運転熟練度に大きく反映される。よって、視線検出部４００により検出される視線分布、および運転熟練度毎のパーソナルサリエンシーマップを用いて運転者３０２の運転熟練度を判別することにより、不確かな運転者３０２の運転熟練度を高精度に判別することが可能となる。

【0056】

通知部４０５は、運転者３０２の運転熟練度の判別結果に応じて、危険通知の通知頻度を変更（調整）する。具体的には、通知部４０５は、運転者３０２の運転熟練度が予め設定された運転熟練度より低い場合に危険通知を通知する頻度を、運転者３０２の運転熟練度が予め設定された運転熟練度以上である場合に危険通知を通知する頻度よりも多くする。

【0057】

運転者３０２への危険通知（注意喚起）は、頻繁に行われると煩わしさを伴う。また、視線検出部４００により視線分布を検出可能な周辺視野等の影響によって、検出された視線分布（注視点）のみによって、運転者３０２が視認すべき対象に視線を向けていないと判断することが難しい場合もあり、危険通知が誤報となる可能性もある。

【0058】

そのため、本実施形態では、通知部４０５は、運転者３０２の運転熟練度の判別結果に応じて、危険通知の通知頻度を変更する。これにより、運転者３０２の運転熟練度が高く危険通知を頻繁に行う必要が無いにも関わらず、危険通知が頻繁に行われることによる煩わしさを軽減したり、運転者３０２の運転熟練度が低く危険通知を積極的に行う必要ある場合には、危険通知が頻繁に行われる安全よりの設計としたりすることが可能となる。

【0059】

また、通知部４０５は、運転者３０２の運転熟練度の判別結果を、車両１の保険会社の端末に送信することも可能である。これにより、運転者３０２の運転熟練度の判別結果を保険会社と共有し、保険会社は、運転者３０２の運転熟練度に応じた自動車保険の掛け金の設定が可能となり、自動車保険の掛け金を最適化することができる。

【0060】

次に、図６を用いて、本実施形態にかかる車両１による運転熟練度の判別処理の一例について説明する。図６は、第２の実施形態にかかる車両による運転熟練度の判別処理の一例を説明するための図である。

【0061】

本実施形態では、図６に示すように、生成部４０３は、画像取得部４０１により取得される撮像画像と、ドライバー情報取得部４０２により取得される性別、運転歴、被験者番号、およびグローバルサリエンシーマップＧＭを入力として、生成型のディープニューラルネットワークによって、運転熟練度毎のパーソナルサリエンシーマップＰＭ２を生成可能な生成モデルを学習する（ステップＳ６０１）。

【0062】

また、視線検出部４００は、図６に示すように、ドライバモニタカメラ２０１により運転者３０２を撮像して得られる撮像画像Ｇ１から、運転者３０２の顔の画像ＦＧや目の画像ＥＧを検出する（ステップＳ６０２）。そして、視線検出部４００は、図６に示すように、検出した顔の画像ＦＧおよび目の画像ＥＧに基づいて、画像取得部４０１により取得される撮像画像Ｇ２（例えば、撮像部１５によって車両１の前方を撮像して得られる撮像画像）における、運転者３０２の視線分布Ｂを検出する（ステップＳ６０３）。

【0063】

次いで、判断部４０４は、図６に示すように、運転熟練度毎のパーソナルサリエンシーマップＰＭ２と、撮像画像Ｇ２における視線分布Ｂとを比較して、検出した視線分布Ｂとの差分が最も小さいパーソナルサリエンシーマップＰＭ２に対応する運転熟練度を、運転者３０２の運転熟練度と判別する（ステップＳ６０４）。

【0064】

このように、第２の実施形態にかかる車両１によれば、視線検出部４００により検出される視線分布、および運転熟練度毎のパーソナルサリエンシーマップを用いて運転者３０２の運転熟練度を判別することにより、不確かな運転者３０２の運転熟練度を高精度に判別することが可能となる。

【0065】

（第３の実施形態）
本実施形態は、第１運転熟練度のパーソナルサリエンシーマップと運転者の視線分布とに差がある場合と、第１運転熟練度より高い第２運転熟練度のパーソナルサリエンシーマップと運転者の視線分布とに差がある場合とで、危険通知の通知頻度を変更する例である。以下の説明では、第２の実施形態と同様の構成については説明を省略する。

【0066】

通知部４０５は、初心者ドライバーの運転熟練度のパーソナルサリエンシーマップと視線検出部４００により検出した視線分布との差が予め設定された閾値以上である場合と、プロドライバーの運転熟練度のパーソナルサリエンシーマップと視線検出部４００により検出した視線分布との差が予め設定された閾値以上である場合とで、危険通知の通知頻度を変更する。

【0067】

これにより、初心者ドライバー等の運転熟練度が低い運転者３０２のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布とに差分がある場合に、運転熟練度が低い運転者３０２しか視線を向けない対象であるにも関わらず、危険通知が頻繁に行われる煩わしさを軽減できる。また、プロドライバー等の運転熟練度が高い運転者３０２のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布に差分がある場合は、視線を向けるべき対象が存在する可能性がため、危険通知を頻繁に行って、運転者３０２がその対象に対して視線を向けるように促すことができる。

【0068】

本実施形態では、初心者ドライバー等の運転熟練度（以下、第１運転熟練度と言う）のパーソナルサリエンシーマップと視線検出部４００により検出した視線分布との差が予め設定された閾値以上である場合の危険通知の通知頻度を、第１運転熟練度より高いプロドライバー等の運転熟練度（以下、第２運転熟練度と言う）のパーソナルサリエンシーマップと視線検出部４００により検出した視線分布との差が予め設定された閾値以上である場合の危険通知の通知頻度よりも多くする。

【0069】

次に、図７を用いて、本実施形態にかかる車両１による危険通知の通知処理の一例を説明する。図７は、第３の実施形態にかかる車両による危険通知の通知処理の一例を説明するための図である。

【0070】

本実施形態では、図７に示すように、生成部４０３は、撮像部１５によって車両１の進行方向（例えば、前方）を撮像して得られる撮像画像、ドライバー情報、および車両情報に基づいて、生成モデルによって、第１運転熟練度の運転者３０２のパーソナルサリエンシーマップＰＭ１、および第２運転熟練度の運転者３０２のパーソナルサリエンシーマップＰＭ２７０２を生成する（ステップＳ７０１）。

【0071】

判断部４０４は、図７に示すように、第１運転熟練度の運転者３０２のパーソナルサリエンシーマップＰＭ１と、第２運転熟練度の運転者３０２のパーソナルサリエンシーマップＰＭ２とを比較して、パーソナルサリエンシーマップＰＭ１とパーソナルサリエンシーマップＰＭ２とを合成したパーソナルサリエンシーマップＰＭ３において、予め設定されたサリエンシー以上の差異がある判断領域７０１を抽出する（ステップＳ７０２）。

【0072】

また、視線検出部４００は、図７に示すように、ドライバモニタカメラ２０１により得られる撮像画像Ｇ１から、運転者３０２の顔の画像ＦＧや目の画像ＥＧを検出する（ステップＳ７０３）。そして、視線検出部４００は、図７に示すように、検出した顔の画像ＦＧおよび目の画像ＥＧに基づいて、撮像画像Ｇ２における運転者３０２の視線分布Ｂを検出する（ステップＳ７０４）。

【0073】

さらに、視線検出部４００は、図７に示すように、撮像画像Ｇ２に対して画像処理を実行して、当該撮像画像Ｇ２に含まれる物体の位置７０２，７０３，７０４を検出する（ステップＳ７０５）。次に、視線検出部４００は、図７に示すように、撮像画像Ｇ２における運転者３０２の視線分布Ｂと、撮像画像Ｇ２に含まれる物体の位置７０２，７０３，７０４の位置とを比較して、撮像画像Ｇ２内において、運転者３０２が視線を向けている物体の位置（例えば、位置７０３）を抽出する。

【0074】

判断部４０４は、判断領域７０１と抽出した物体の位置７０３とが一致するか否かを判断する。そして、通知部４０５は、判断領域７０１と物体の位置７０３とが一致するか否かに応じて、危険通知の通知頻度を調整する（ステップＳ７０６）。次いで、通知部４０５は、危険通知を実行する（ステップＳ７０７）。図７に示す例では、判断領域７０１と、運転者３０２が視線を向けている物体の位置７０３とが一致しないため、通知部４０５は、予め設定された通知頻度よりも危険通知の通知頻度を多くする。図示しないが、判断領域７０１と、運転者３０２が視線を向けている物体の位置とが一致した場合には、通知部４０５は、危険通知の通知頻度を少なくするか、若しくは、危険通知の通知頻度を予め設定された通知頻度のままとする。

【0075】

このように、第３の実施形態にかかる車両１によれば、運転熟練度が低い運転者３０２のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布とに差分がある場合に、運転熟練度が低い運転者３０２しか視線を向けない対象であるにも関わらず、危険通知が頻繁に行われる煩わしさを軽減できる。また、運転熟練度が高い運転者３０２のパーソナルサリエンシーマップと、視線検出部４００により検出された視線分布に差分がある場合は、視線を向けるべき対象が存在する可能性がため、危険通知を頻繁に行って、運転者３０２がその対象に対して視線を向けるように促すことができる。

【0076】

（第４の実施形態）
本実施形態は、撮像画像に基づいてボトムアップサリエンシーマップを生成し、パーソナルサリエンシーマップからボトムアップサリエンシーマップを除いたトップダウンサリエンシーマップを生成し、検出した視線分布がボトムアップサリエンシーマップと異なる場合と、検出した視線分布がトップダウンサリエンシーマップと異なる場合とで、危険通知の通知頻度を変更する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。

【0077】

生成部４０３は、画像取得部４０１により取得される撮像画像に基づいて、当該撮像画像の輝度や勾配等の特徴量によって決まるサリエンシーマップであるボトムアップサリエンシーマップを生成する。次いで、生成部４０３は、画像取得部４０１により取得される撮像画像、ドライバー情報、および車両情報に基づいて生成モデルによって生成されるパーソナルサリエンシーマップと、ボトムアップサリエンシーマップとの差分を、トップダウンサリエンシーマップとして生成する。

【0078】

ここで、トップダウンサリエンシーマップは、高速道路の降口近傍における看板や、側道、飛び出し等の確認など、人間の意思が大きく反映されるサリエンシーマップである。トップダウンサリエンシーマップは、パーソナルサリエンシーマップと比較すると、画像としての特徴量は小さいものの、運転者３０２が先読み等によって安全確認のために注視している可能性が高い領域に顕著性を示すサリエンシーマップとなる可能性が高い。

【0079】

そのため、通知部４０５は、視線検出部４００により検出した視線分布がボトムアップサリエンシーマップと異なる場合と、当該検出した視線分布がトップダウンサリエンシーマップと異なる場合とで、危険通知の通知頻度を変更する。本実施形態では、通知部４０５は、視線検出部４００により検出した視線分布がボトムアップサリエンシーマップと異なる場合よりも、当該検出した視線分布がトップダウンサリエンシーマップと異なる場合における危険通知の通知頻度を多くする。

【0080】

このように、第４の実施形態にかかる車両１によれば、ボトムアップサリエンシーマップと、視線検出部４００により検出された視線分布とに差分がある場合に、運転者３０２が安全確認のために注視する必要性が低いにも関わらず、危険通知が頻繁に行われて、運転者３０２が煩わしさを覚えることを防止できる。また、トップダウンサリエンシーマップと、視線検出部４００により検出された視線分布とに差分があり、運転者３０２が安全確認のために注視する必要性が高い場合には、危険通知を頻繁に行って、運転者３０２に対して安全確認のために注視すべき領域があることを通知することができる。

【0081】

また、パーソナルサリエンシーマップは、運転者３０２が車両１を運転中に注視し易い領域を反映したものであるため、車両１が走行する道路の近傍に設置される看板等の広告の表示位置の最適化に用いることも可能である。そこで、本実施形態では、生成部４０３は、撮像画像、ドライバー情報、および車両情報に基づいて、運転者３０２の属性（例えば、運転者３０２の性別）毎のパーソナルサリエンシーマップを生成する。そして、通知部４０５は、生成した属性毎のパーソナルサリエンシーマップを、看板等の広告を表示する業者の端末に対して送信する。

【0082】

これにより、広告を表示する業者は、運転者３０２の属性によって変化するパーソナルサリエンシーマップと、広告の内容とに基づいて、広告の表示位置を最適化することができる。例えば、女性向けの広告は、女性の運転者３０２が注視しやすい領域に設置する。自動車の自動運転化に伴い、運転者３０２の車室２ａ内での行動は変化している。また、自動車は、ＭａａＳ（Mobility as a Service）と呼ばれるように、自動車外のサービスの媒体となる。このような状況では、運転者３０２または車両１の乗員が求める情報を、自動車外の広告等のコンテンツと結びつけることで、車両１の乗員が求める情報と自動車外のサービスとのマッチング率を高めることができる。

【符号の説明】

【0083】

１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｆ…ＳＳＤ、１５…撮像部、２０１…ドライバモニタカメラ、４００…視線検出部、４０１…画像取得部、４０２…ドライバー情報取得部、４０３…生成部、４０４…判断部、４０５…通知部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】