IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日産自動車株式会社の特許一覧

<>
  • 特開-表示制御方法及び表示制御装置 図1
  • 特開-表示制御方法及び表示制御装置 図2
  • 特開-表示制御方法及び表示制御装置 図3
  • 特開-表示制御方法及び表示制御装置 図4
  • 特開-表示制御方法及び表示制御装置 図5
  • 特開-表示制御方法及び表示制御装置 図6
  • 特開-表示制御方法及び表示制御装置 図7
  • 特開-表示制御方法及び表示制御装置 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024094911
(43)【公開日】2024-07-10
(54)【発明の名称】表示制御方法及び表示制御装置
(51)【国際特許分類】
   G06F 3/0481 20220101AFI20240703BHJP
   G08G 1/16 20060101ALI20240703BHJP
【FI】
G06F3/0481
G08G1/16 C
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022211828
(22)【出願日】2022-12-28
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】松下 詩穂
(72)【発明者】
【氏名】柳沼 基
【テーマコード(参考)】
5E555
5H181
【Fターム(参考)】
5E555AA26
5E555AA71
5E555BA23
5E555BA24
5E555BB23
5E555BB24
5E555BC08
5E555CB65
5E555CB70
5E555CC22
5E555DC07
5E555FA00
5H181AA01
5H181BB13
5H181CC02
5H181CC04
5H181CC27
5H181EE02
5H181FF04
5H181FF22
5H181FF27
5H181FF33
5H181LL01
5H181LL02
5H181LL04
(57)【要約】
【課題】車内に設けられた表示装置に表示される画像情報を、運転者に認知し易くする。
【解決手段】コントローラ13では、車内に設けられた表示装置4が表示した画像情報に対する運転者の認知負荷を判定する処理(S4)と、認知負荷が下がるように表示装置が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える処理(S4~S8)とを実行する。
【選択図】図4
【特許請求の範囲】
【請求項1】
車内に設けられた表示装置が表示した画像情報に対する運転者の認知負荷を判定する処理と、
前記認知負荷が下がるように前記表示装置が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える処理と、
をコントローラが実行することを特徴とする表示制御方法。
【請求項2】
前記運転者の脳の背外側前頭前野の脳活動量に基づいて前記認知負荷を判定することを特徴とする請求項1に記載の表示制御方法。
【請求項3】
機能的近赤外分光分析、脳波計、脳磁計又は脳電位計の少なくとも1つに基づいて前記背外側前頭前野の脳活動量を測定することを特徴とする請求項2に記載の表示制御方法。
【請求項4】
前記コントローラは、前記運転者の視線の方向と前記表示装置の3次元位置情報とに基づいて前記運転者が前記表示装置を視認しているか否かを判定する処理を実行し、
前記運転者が前記表示装置を視認しているときの前記認知負荷を判定する、
ことを特徴とする請求項1に記載の表示制御方法。
【請求項5】
前記表示装置に表示される画像情報のコンテンツ毎に判別閾値をデータベースに記憶し、
前記コントローラは、前記運転者が視認したコンテンツに基づいて前記データベースから前記判別閾値を読み出し、前記認知負荷が前記判別閾値を超えるか否かを判定し、前記認知負荷が前記判別閾値を超える場合に前記表示装置が表示する画像情報を2次元画像情報と3次元画像情報のうち一方から他方へ切り替える、
ことを特徴とする請求項1に記載の表示制御方法。
【請求項6】
前記運転者に応じて個人毎に判別閾値をデータベースに記憶し、
前記コントローラは、前記運転者の識別結果に基づいて前記データベースから前記判別閾値を読み出し、前記認知負荷が前記判別閾値を超えるか否かを判定し、前記認知負荷が前記判別閾値を超える場合に前記表示装置が表示する画像情報を2次元画像情報と3次元画像情報のうち一方から他方へ切り替え、前記データベースに記憶している前記判別閾値を、前記運転者に応じて個人毎に補正する、
ことを特徴とする請求項1に記載の表示制御方法。
【請求項7】
前記コントローラは、前記表示装置が2次元画像情報を表示しているときに前記認知負荷が判別閾値を超える場合に前記表示装置の表示画像を3次元画像情報に切り替え、前記表示装置が3次元画像情報を表示しているときに前記認知負荷が判別閾値を超える場合に前記表示装置の表示画像を2次元画像情報に切り替えることを特徴とする請求項1~6のいずれか一項に記載の表示制御方法。
【請求項8】
前記コントローラは、運転に対する自信が低い前記運転者の前記認知負荷が判別閾値を超える場合に前記表示装置に2次元画像情報を表示し、安定した運転傾向を有する前記運転者の前記認知負荷が判別閾値を超える場合に前記表示装置に3次元画像情報を表示することを特徴とする請求項1~6のいずれか一項に記載の表示制御方法。
【請求項9】
車内に設けられた表示装置が表示した画像情報に対する運転者の認知負荷を判定する処理と、前記認知負荷が下がるように前記表示装置が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える処理と、を実行するコントローラを備えることを特徴とする表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御方法及び表示制御装置に関する。
【背景技術】
【0002】
特許文献1には、車両のフロントガラスやウインドウに周辺状況の3次元画像を表示する3-D拡張現実表示システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2021-530820公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
2次元画像情報の認知負荷と3次元画像情報の認知負荷のうち、どちらがより大きいかは個々の運転者の特性によって異なる。
本発明は、車内に設けられた表示装置に表示される画像情報を、運転者に認知し易くすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様による表示制御方法では、車内に設けられた表示装置が表示した画像情報に対する運転者の認知負荷を判定する処理と、認知負荷が下がるように表示装置が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える処理と、をコントローラが実行する。
【発明の効果】
【0006】
本発明によれば、車内に設けられた表示装置に表示される画像情報を、運転者に認知し易くすることが可能になる。
【図面の簡単な説明】
【0007】
図1】実施形態の表示制御装置を備える車両の概略構成図である。
図2】(a)及び(b)は異なる運転行動特性を有する運転者に2次元画像情報と3次元画像情報を提示した場合の背外側前頭前野の酸化型ヘモグロビン(oxy-Hb)レベルの時間変化を示す図である。
図3】コントローラの機能構成の一例のブロック図である。
図4】第1実施形態の表示制御方法の一例のフローチャートである。
図5】第2実施形態の表示制御方法の一例のフローチャートである。
図6】第1表示処理の一例のフローチャートである。
図7】第2表示処理の一例のフローチャートである。
図8】第3表示処理の一例のフローチャートである。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0009】
(第1実施形態)
(構成)
図1は、実施形態の表示制御装置を備える車両1の概略構成図である。車両1は、ステレオカメラ2と、ナビゲーション装置3と、表示装置4と、表示制御装置10を備える。
ステレオカメラ2は、車両1の周囲を撮影して、車両1の周囲の立体画像を生成する。例えばステレオカメラ2は、車両1の前方の立体画像や、後方の立体画像、側方の立体画像を生成してよい。ステレオカメラ2は、生成した立体画像を表示制御装置10へ出力する。
【0010】
ナビゲーション装置3は、全地球型測位システム(GNSS)受信機(例えば地球測位システム(GPS)受信機)等の測位装置と地図データベースを備え、車両1の現在位置から乗員(例えば運転車)が設定した目的地までの目標走行経路を設定し、目標走行経路に従って乗員に経路案内を行う。
ナビゲーション装置3は、車両1の現在位置の周囲の地図情報を地図データベースから読み出して、車両1の現在位置の周囲の地図を含んだ経路案内画像を表示制御装置10へ出力する。
【0011】
表示装置4は、車両1の車内の運転者が視認可能な位置に設けられて車両1の運転に関わる画像情報を表示する。
例えば表示装置4は、車両1の周囲のカメラ画像を表示するために用いられるバックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーAピラー、シースルーボンネット等であってよい。
【0012】
また例えば表示装置4は、運転席の前方のインストルメントパネルに設けられたデジタルメータや、ナビゲーション装置3や車載インフォテインメント(IVI:In-Vehicle Infotainment)機器のディスプレイ装置であってもよく、ナビゲーション装置3から出力される経路案内画像や、車両1の周囲の他車両や障害物を示すコンピュータグラフィクス画像を表示してもよい。
【0013】
表示装置4は、ステレオディスプレイを備え、ステレオカメラ2やナビゲーション装置3、表示制御装置10が生成した画像を立体表示できる。表示装置4は、液晶シャッタや偏光フィルタを用いた眼鏡式のステレオディスプレイであってもよく、視差バリアやレンチキュラーレンズを用いた裸眼式のステレオディスプレイであってもよい。
【0014】
例えば表示装置4は、ステレオカメラ2が生成した車両1の周囲の立体画像を、バックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーAピラー、シースルーボンネット等に立体表示してよい。
また例えば、ナビゲーション装置3によって生成された経路案内画像が3次元地図情報を含んでいる場合に、デジタルメータや、ナビゲーション装置3、車載インフォテインメントのディスプレイ装置に3次元地図情報を立体表示してよい。例えば経路案内画像は、ビルや建屋等の位置に対する経路案内(例えば「交差点にある〇〇コンビニの向こうの道」)を表す画像であってよい。
また例えば、表示制御装置10が、車両1の周囲の他車両や障害物を示す3次元世界のコンピュータグラフィクス画像を生成した場合に、デジタルメータや、ナビゲーション装置3、車載インフォテインメントのディスプレイ装置にコンピュータグラフィクス画像を立体表示してよい。
【0015】
表示制御装置10は、表示装置4が表示する画像情報に対する運転者の認知負荷に応じて表示装置4における画像表示を制御する。表示制御装置10は、脳活動センサ11と、視認対象センサ12と、コントローラ13と、閾値データベース(閾値DB)14を備える。
脳活動センサ11は、運転者の脳活動を検出するセンサである。例えば脳活動センサ11は、運転者の脳波を検出する脳波センサや、脳磁場を検出する脳磁計、脳電位を検出する脳電位計であってよい。また、例えば機能的近赤外線分光法(fNIRS:functional Near-InfraRed Spectroscopy)により運転者の脳表面の活動状態を測定する脳機能イメ-ジング装置であってもよい。脳機能イメ-ジング装置の場合には、脳活動センサ11は、近赤外線の送光部と受光部を備えてもよい。脳活動センサ11は、検出した運転者の脳活動に関する脳活動データをコントローラ13に入力する。
【0016】
視認対象センサ12は、運転者が視認している対象物である視認対象を検出するために使用されるセンサである。例えば、視認対象センサ12は運転者の視点の3次元位置と視線の方向を計測する視線計測器であってよい。視認対象センサ12は運転者の視点の3次元位置と視線の方向を示す視線データをコントローラ13に入力する。
【0017】
コントローラ13は、表示装置4が表示する画像情報に対する運転者の認知負荷に応じて表示装置4における画像表示を制御する電子制御ユニット(ECU:Electronic Control Unit)である。コントローラ13は、プロセッサ13aと、記憶装置13b等の周辺部品とを含む。プロセッサ13aは、例えばCPU(Central Processing Unit)やMPU(Micro-Processing Unit)であってよい。
記憶装置13bは、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置13bは、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。
【0018】
以下に説明するコントローラ13の機能は、例えばプロセッサ13aが、記憶装置13bに格納されたコンピュータプログラムを実行することにより実現される。
なお、コントローラ13を以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。例えばコントローラ13は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。コントローラ13はフィールド・プログラマブル・ゲート・アレイ(FPGA:Field-Programmable Gate Array)等のプログラマブル・ロジック・デバイス(PLD:Programmable Logic Device)等を有していてもよい。
【0019】
コントローラ13は、表示装置4が表示する画像情報に対する運転者の認知負荷(言い換えれば画像情報の認知のために運転者に掛かる認知負荷)に応じて、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える。以下にその理由を説明する。
従来の車載カメラモニターシステム(CMS:Camera Monitor System)は、車両1の周囲の情報をカメラで2次元化して奥行き方向位置情報を削減したカメラ画像を表示している。
【0020】
このため、運転者が認知すべき表示情報量が少なくてすむ一方で、車両1に対する車両1の周囲の障害物の相対的な前後方向位置(以下、単に「前後方向位置」と表記する)がわかりにくくなるため運転者の認知負荷が高くなる虞がある。
一方で、3次元カメラ画像は、左右の眼に別視点画像が入力されることで障害物の前後方向位置が分かりやすくなる一方で、運転者が認知すべき表示情報量が多いため運転者の認知負荷が高くなる虞がある。
【0021】
本発明の発明者らは、2次元画像情報と3次元画像情報を運転者に提示したときにそれぞれの画像情報に対する運転者の認知負荷を比較し、どちらの認知負荷が高くなるかを検証した。その結果、2次元画像情報と3次元画像情報との間でどちらの画像情報に対する認知負荷がより高くなるは、運転者個人の特性(例えば運転行動特性)によって相違することを発見した。
図2(a)及び図2(b)は、運転行動特性の異なる運転者に2次元画像情報と3次元画像情報の各々に提示した際の背外側前頭前野の酸化型ヘモグロビン(oxy-Hb)レベルの時間変化を示す図である。
【0022】
視覚情報の認知・判断には、背外側前頭前野のワーキングメモリが使用されているため、背外側前頭前野の脳活動量を検出することにより、画像情報に対する運転者の認知負荷を測定できる。本実験では、機能的近赤外線分光法(fNIRS)を用いて背外側前頭前野における酸化型ヘモグロビンレベルを測定して脳血流量を求めることによって脳活動量を検出した。
【0023】
図2(a)は、運転に対する自信が低い運転者のグループの平均値を示し、図2(b)は、安定した運転傾向を有する運転者のグループの平均値を示している。なお、運転者の運転行動特性は運転行動特性アンケートを用いて取得した。
図2(a)に示すように、運転に対する自信が低い運転者のグループでは、3次元画像情報が提示された場合に比べて2次元画像情報が提示された場合の方が酸化型ヘモグロビンレベルの方が有意に低くなり、3次元画像情報に対する認知負荷の方がより高くなることが分かった。
一方で、図2(b)に示すように、安定した運転傾向を有する運転者のグループでは、2次元画像情報が提示された場合に比べて3次元画像情報が提示された場合の方が酸化型ヘモグロビンレベルの方が有意に低くなり、2次元画像情報に対する認知負荷の方がより高くなることが分かった。
【0024】
そこでコントローラ13は、表示装置4が表示する画像情報に対する運転者の認知負荷を判定し、運転者の認知負荷が下がるように、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える。
これにより、表示装置4が表示する画像情報を視認したときの運転者の認知負荷を低減できるため、運転者は表示装置4が表示する画像情報を認知し易くなる。
【0025】
図3は、コントローラ13の機能構成の一例のブロック図である。コントローラ13は、脳活動解析部20と、認知負荷演算部21と、視認対象判定部22と、表示制御部23を備える。
脳活動解析部20は、脳活動センサ11から出力される検出信号を解析して、運転者の脳の背外側前頭前野からの脳活動信号(例えばEEG(ElectroEncephaloGraphy)データ、MEG(Magnetoencephalography)データ、fNIRSデータ等)を検出する。脳活動解析部20は、検出した脳活動信号の強度に基づいて、運転者の脳の背外側前頭前野の脳活動量を判定する。例えば、fNIRSデータに基づいて背外側前頭前野の脳血流量が多いほど、脳活動量が大きいと判定してよい。
【0026】
認知負荷演算部21は、脳活動解析部20が判定した背外側前頭前野の脳活動量に基づいて、運転者の認知負荷の高さを判定する。具体的には認知負荷演算部21は、背外側前頭前野の脳活動量が大きいほど運転者の認知負荷が高いと判定する。
視認対象判定部22は、視認対象センサ12が出力する視線データ(運転者の視点の3次元位置と視線の方向)に基づいて、運転者の視認対象が表示装置4であるか否か(すなわち表示装置4が出力する画像情報が視認対象であるか否か)を判定する。
【0027】
視認対象判定部22は、表示装置4の既知の3次元位置情報と、運転者の視点の3次元位置と、視線の方向に基づいて、運転者の視線が表示装置4に向けられているかを判定してよい。運転者の視線が表示装置4に向けられている場合に、運転者の視認対象が表示装置4であると判定してよい。
【0028】
また視認対象判定部22は、運転者の視線が表示装置4に向けられているか否かに加えて、運転者の注意状態を判定してもよい。例えば視認対象判定部22は、運転者の眼球運動を計測することにより、サッケード運動の終了時刻である眼球停留開始時刻を検出してよい。運転者の眼球運動は、例えば視認対象センサ12が出力する視線データに基づいて計測してもよく、EOG(electro-oculography)法に基づいて検出してもよい。
そして視認対象判定部22は、眼球停留開始時刻を起点に運転者の脳波を切り出してことによりEFRP(Eye Fixation related Potential:眼球停留関連電位)波形を抽出して、抽出したEFRP波形を解析する。
【0029】
EFRP波形を解析する時間的区間である解析区間は、複数の部分区間に分割されている。視認対象判定部22は、抽出されたEFRP波形が、どの各部分区間に含まれるかを特定する。ある部分区間に分類されたEFRPが複数の場合には、視認対象判定部22は、部分区間ごとにEFRPを加算平均する。視認対象判定部22は、部分区間ごとのEFRPに基づき、部分区間ごとに運転者の注意状態を判別する。例えば、EFRPのラムダ反応の振幅値と閾値との比較により、運転者が集中しているか否かを判定してよい。
【0030】
視認対象判定部22は、運転者の視線が表示装置4に向けられており、且つ運転者が集中している注意状態である場合、運転者の視認対象が表示装置4であると判定してよい。
なお、車内に複数の表示装置4が設けられている場合には、視認対象判定部22は、複数の表示装置4のうちどの表示装置が運転者の視認対象であるかを判定してもよい。
【0031】
表示制御部23は、認知負荷演算部21が判定した運転者の認知負荷に基づいて、運転者の視認対象である表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える。具体的には、運転者の認知負荷が下がるように表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える。
例えば運転者の認知負荷が過大である場合には、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えてよい。例えば表示制御部23は、認知負荷が判別閾値Thより高い場合に、運転者の認知負荷が過大であると判定してよい。
【0032】
例えば運転者の認知負荷が判別閾値Thより高く、且つ表示装置4が表示する画像情報が2次元画像情報である場合には、表示装置4が表示する画像情報を3次元画像情報に切り替えてよい。
また例えば運転者の認知負荷が判別閾値Thより高く、且つ表示装置4が表示する画像情報が3次元画像情報である場合には、表示装置4が表示する画像情報を2次元画像情報に切り替えてよい。
また例えば運転者の認知負荷が判別閾値Th以下の場合には、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えずにそのまま表示する。
【0033】
例えば表示制御部23は、表示装置4に入力される3次元画像データ(例えば車両1の周囲の立体画像、ナビゲーション装置3からの3次元地図情報、車両1の周囲の他車両や障害物を示す3次元世界のコンピュータグラフィクス画像)を、そのまま3次元画像情報として表示装置4から出力させ、3次元画像データに含まれる多視点の画像(例えば左眼用画像及び右眼用画像)がそれぞれ運転者の左右の眼に見えるようにすることで、表示装置4から3次元画像情報を表示してよい。
【0034】
一方で、表示制御部23は、3次元画像データに含まれる多視点の画像のうちいずれか1つの画像のみを表示して、単一の画像が運転者の左右の眼に見えるようにすることで、表示装置4から2次元画像情報として表示してよい。
なお運転者の認知負荷が判別閾値Thより高い場合に表示制御部23は、表示装置4に入力される画像情報を自動的に2次元画像情報と3次元画像情報との間で切り替えるのに代えて、運転者の意思による切り替えを運転者に提案してもよい。後述の第2実施形態においても同様である。
【0035】
(動作)
図4は、第1実施形態の表示制御方法の一例のフローチャートである。
ステップS1において脳活動センサ11は、運転者の脳活動を検出する。ステップS2において視認対象センサ12は、運転者の視点の3次元位置と視線の方向を計測する。
ステップS3においてコントローラ13の視認対象判定部22は、運転者が表示装置4を視認しているか否かを判定する。運転者が表示装置4を視認している場合(ステップS3:Y)に処理はステップS4へ進む。運転者が表示装置4を視認していない場合(ステップS3:N)に処理はステップS9へ進む。
【0036】
ステップS4において脳活動解析部20と認知負荷演算部21は、運転者の認知負荷を判定する。
ステップS5において表示制御部23は、認知負荷が判別閾値Th以下であるか否かを判定する。認知負荷が判別閾値Th以下である場合(ステップS5:Y)に表示制御部23は、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えない。その後に処理はステップS9へ進む。認知負荷が判別閾値Th以下でない場合(ステップS5:N)に処理はステップS6へ進む。
【0037】
ステップS6において表示制御部23は、表示装置4に現在表示されている画像情報が2次元画像情報であるか否かを判定する。表示装置4に現在表示されている画像情報が2次元画像情報である場合(ステップS6:Y)に処理はステップS7へ進む。表示装置4に現在表示されている画像情報が2次元画像情報でない場合(ステップS6:N)に処理はステップS8へ進む。
ステップS7において表示制御部23は、表示装置4が表示する画像情報を2次元画像情報から3次元画像情報へ切り替える。その後に処理はステップS9へ進む。
【0038】
ステップS8において表示制御部23は、表示装置4が表示する画像情報を3次元画像情報から2次元画像情報へ切り替える。その後に処理はステップS9へ進む。
ステップS9においてコントローラ13は、車両のイグニションキーがオフに切り替わったか否かを判定する。イグニションキーがオフに切り替わってない場合(ステップS9:N)に処理はステップS1へ戻る。イグニションキーがオフに切り替わった場合(ステップS9:Y)に処理は終了する。
【0039】
(第2実施形態)
第2実施形態における表示制御部23は、運転者の認知負荷が高い場合に表示装置4に表示する画像情報を2次元画像情報と3次元画像情報のいずれにするかを、運転者の運転行動特性に応じて変更する。
例えば運転に対する自信が低い運転者の認知負荷が過大である場合には、表示装置4に2次元画像情報を表示してよい。
【0040】
例えば、認知負荷が過大であると判定する前に3次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後に表示装置4に表示する画像情報を2次元画像情報に切り替える。また、認知負荷が過大であると判定する前に2次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後も2次元画像情報をそのまま表示する。また、運転者の認知負荷が過大でないと判定した場合には、認知負荷が過大でないと判定する前に3次元画像情報を表示していた場合にはそのまま3次元画像情報を表示し、認知負荷が過大でないと判定する前に2次元画像情報を表示していた場合にはそのまま2次元画像情報を表示する。
【0041】
また例えば、安定した運転傾向を有する運転者の認知負荷が過大である場合には、表示装置4に3次元画像情報を表示してよい。
例えば、認知負荷が過大であると判定する前に2次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後に表示装置4に表示する画像情報を3次元画像情報に切り替える。また、認知負荷が過大であると判定する前に3次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後も3次元画像情報をそのまま表示する。
【0042】
また、運転者の認知負荷が過大でないと判定した場合には、認知負荷が過大でないと判定する前に3次元画像情報を表示していた場合にはそのまま3次元画像情報を表示し、認知負荷が過大でないと判定する前に2次元画像情報を表示していた場合にはそのまま2次元画像情報を表示する。
運転者の運転行動特性は、例えば一般社団法人人間生活工学研究センターのから入手可能な運転者特性チェックシートを用いて予め判定し、記憶装置13b等に記憶してよい。
【0043】
また、第2実施形態における表示制御部23は、表示装置4に表示される画像情報のコンテンツに応じて認知負荷の判別閾値Thを変更する。
図1を参照する。閾値データベース14は、画像情報のコンテンツ毎に異なる判別閾値Thを記憶するデータベースである。
【0044】
閾値データベース14は、例えば、SRAM(Static Random Access Memory)等を含む小容量の高速メモリ(例えば、キャッシュメモリ)等を用いて形成されている。また、閾値データベース14は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の固定ストレージ手段やネットワーク上のクラウド等を用いて形成されていてよい。
【0045】
例えば、判別閾値Thは、複数の表示装置4(例えばバックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーAピラー、シースルーボンネット、デジタルメータや、ナビゲーション装置3又は車載インフォテインメントのディスプレイ)のどれに表示されるコンテンツであるかに応じて異なる値に設定されていてもよい。
また例えば判別閾値Thは、画像情報のコンテンツが2次元画像情報であるか3次元画像情報であるかに応じて異なる値に設定してもよい。
【0046】
また、第2実施形態における表示制御部23は、運転席に着座している運転者を識別し、運転者に応じて判別閾値Thを個人毎に補正する。表示制御部23は、運転席に着座している運転者を、車内の撮影画像や、車両の動力源(エンジン、モータ)を始動させるキー等に固有のID番号等を用いて識別してよい。
閾値データベース14は、運転者毎に、個々の運転者用にそれぞれ補正した判別閾値Thを記憶する。閾値データベース14は、運転者の個人毎に且つ画像情報のコンテンツ毎に異なる複数の判別閾値Thを記憶してよい。
【0047】
運転者の認知負荷が過大であるか否かを判定する際に、表示制御部23は、運転者の視認対象の表示装置4に表示されている画像情報のコンテンツと運転者の識別結果とに基づいて、閾値データベース14から、運転者とコンテンツとに対応する判別閾値Thを読み出す。表示制御部23は、運転者の認知負荷が判別閾値Thを超える場合に認知負荷が過大であると判定する、一方で、認知負荷が判別閾値Thを超えない場合に認知負荷が過大でないと判定する。
【0048】
また、表示制御部23は、認知負荷の判定結果に基づいて、当該運転者用に閾値データベース14に記憶している判別閾値Thを補正する。例えば、認知負荷が判別閾値Thを超えた場合には、表示制御部23は、閾値データベース14に記憶している判別閾値Thをより高い値に補正してよい。また例えば認知負荷が判別閾値Th以下の場合には、表示制御部23は、閾値データベース14に記憶している判別閾値Thをより低い値に補正してよい。
【0049】
図5は、第2実施形態の表示制御方法の一例のフローチャートである。
ステップS10において表示制御部23は、運転席に着座している運転者を識別する。
ステップS11において表示制御部23は、運転者の運転行動特性を判定する。
運転に対する自信が低い運転者の場合(ステップS12:Y)に処理はステップS13へ進む。
ステップS13においてコントローラ13は、第1表示処理を実行する。第1表示処理については図6を参照して後述する。第1表示処理の後に処理は終了する。
【0050】
一方で、運転に対する自信が低い運転者でない場合(ステップS12:N)に処理はステップS14へ進む。
安定した運転傾向を有する運転者の場合(ステップS14:Y)に処理はステップS15へ進む。安定した運転傾向を有する運転者でない場合(ステップS14:N)に処理はステップS16へ進む。
【0051】
ステップS15においてコントローラ13は、第2表示処理を実行する。第2表示処理については図7を参照して後述する。第2表示処理の後に処理は終了する。
ステップS16においてコントローラ13は、第3表示処理を実行する。第3表示処理については図8を参照して後述する。第3表示処理の後に処理は終了する。
【0052】
図6は、第1表示処理の一例のフローチャートである。
ステップS20~S23の処理は図4のステップS1~S4の処理と同様である。
ステップS24において表示制御部23は、運転者の視認対象の表示装置4に表示されている画像情報のコンテンツと運転者の識別結果とに基づいて、閾値データベース14から判別閾値Thを読み出す。
【0053】
ステップS25において表示制御部23は、認知負荷が判別閾値Th以下であるか否かを判定する。認知負荷が判別閾値Th以下である場合(ステップS25:Y)に表示制御部23は、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えない。その後に処理はステップS26へ進む。認知負荷が判別閾値Th以下でない場合(ステップS25:N)に処理はステップS27へ進む。
ステップS26において表示制御部23は、閾値データベース14に記憶している判別閾値Thをより低い値に補正する。その後に処理はステップS29へ進む。
【0054】
ステップS27において表示制御部23は、表示装置4に2次元画像情報を表示する。すなわち、ステップS27よりも以前に3次元画像情報が表示装置4に表示されていた場合には、表示装置4が表示する画像情報を2次元画像情報に切り替える。ステップS27よりも以前に2次元画像情報が表示装置4に表示されていた場合には、そのまま2次元画像情報を表示装置4に表示する。
【0055】
ステップS28において表示制御部23は、閾値データベース14に記憶している判別閾値Thをより高い値に補正する。その後に処理はステップS29へ進む。
ステップS29においてコントローラ13は、車両のイグニションキーがオフに切り替わったか否かを判定する。イグニションキーがオフに切り替わってない場合(ステップS29:N)に処理はステップS20へ戻る。イグニションキーがオフに切り替わった場合(ステップS29:Y)に処理は終了する。
【0056】
図7は、第2表示処理の一例のフローチャートである。
ステップS30~S36の処理は図6のステップS20~S26の処理と同様である。
ステップS37において表示制御部23は、表示装置4に3次元画像情報を表示する。すなわち、ステップS37よりも以前に2次元画像情報が表示装置4に表示されていた場合には、表示装置4が表示する画像情報を3次元画像情報に切り替える。ステップS27よりも以前に3次元画像情報が表示装置4に表示されていた場合には、そのまま3次元画像情報を表示装置4に表示する。
ステップS38~S39の処理は図6のステップS28~S29の処理と同様である。
【0057】
図8は、第3表示処理の一例のフローチャートである。
ステップS40~S46の処理は図6のステップS20~S26の処理と同様である。
ステップS47~S49の処理は図4のステップS6~S8の処理と同様である。ステップS48及びS49の後、処理はステップS50へ進む。
ステップS50~S51の処理は図6のステップS28~S29の処理と同様である。
【0058】
(実施形態の効果)
(1)コントローラ13は、車内に設けられた表示装置4が表示した画像情報に対する運転者の認知負荷を判定する処理と、認知負荷が下がるように表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える処理と、を実行する。
これにより、表示装置4が表示する画像情報を視認したときの運転者の認知負荷を低減できる。この結果、運転者は表示装置4が表示する画像情報を認知し易くなる。
【0059】
(2)コントローラ13は、運転者の脳の背外側前頭前野の脳活動量に基づいて認知負荷を判定してよい。
これにより運転者の認知負荷の測定精度を向上できる。
(3)コントローラ13は、機能的近赤外分光分析、脳波計、脳磁計又は脳電位計の少なくとも1つに基づいて背外側前頭前野の脳活動量を測定してよい。
これにより運転者の認知負荷の測定精度を向上できる。
【0060】
(4)コントローラ13は、運転者の視線の方向と表示装置4の3次元位置情報とに基づいて運転者が表示装置4を視認しているか否かを判定する処理を実行し、運転者が表示装置4を視認しているときの認知負荷を判定してよい。
これにより、表示装置4が表示した画像情報に対する運転者の認知負荷の測定精度を向上できる。
【0061】
(5)表示装置4に表示される画像情報のコンテンツ毎に判別閾値をデータベースに記憶してもよい。コントローラ13は、運転者が視認したコンテンツに基づいてデータベースから判別閾値を読み出し、認知負荷が判別閾値を超えるか否かを判定し、認知負荷が判別閾値を超える場合に表示装置4が表示する画像情報を2次元画像情報と3次元画像情報のうち一方から他方へ切り替えてもよい。
これにより、表示装置4に表示される画像情報のコンテンツに応じて運転者の認知負荷が過大であるか否かを判別できる。
【0062】
(6)運転者に応じて個人毎に判別閾値をデータベースに記憶してもよい。コントローラ13は、運転者の識別結果に基づいてデータベースから判別閾値を読み出し、認知負荷が判別閾値を超えるか否かを判定し、認知負荷が判別閾値を超える場合に表示装置4が表示する画像情報を2次元画像情報と3次元画像情報のうち一方から他方へ切り替え、データベースに記憶している判別閾値を、運転者に応じて個人毎に補正してもよい。
これにより、運転者の個人差に応じて運転者の認知負荷が過大であるか否かを判別できる。
(7)コントローラ13は、表示装置4が2次元画像情報を表示しているときに認知負荷が判別閾値を超える場合に表示装置4の表示画像を3次元画像情報に切り替え、表示装置4が3次元画像情報を表示しているときに認知負荷が判別閾値を超える場合に表示装置4の表示画像を2次元画像情報に切り替えてもよい。
これにより、認知負荷が下がるように表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えることができる。
【0063】
(8)コントローラ13は、運転に対する自信が低い運転者の認知負荷が判別閾値を超える場合に表示装置4に2次元画像情報を表示し、安定した運転傾向を有する運転者の認知負荷が判別閾値を超える場合に表示装置4に3次元画像情報を表示してよい。
これにより運転者の運転行動特性に応じて認知負荷が低い画像情報を選択できる。
【符号の説明】
【0064】
1…車両、2…ステレオカメラ、3…ナビゲーション装置、4…表示装置、10…表示制御装置、11…脳活動センサ、12…視認対象センサ、13…コントローラ、13a…プロセッサ、13b…記憶装置、14…閾値データベース、20…脳活動解析部、21…認知負荷演算部、22…視認対象判定部、23…表示制御部
図1
図2
図3
図4
図5
図6
図7
図8