特許 7485216 車両用表示システム、車両用表示方法、及び車両用表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】車両用表示システム、車両用表示方法、及び車両用表示プログラム

(51)【国際特許分類】

   B60R 11/02 20060101AFI20240509BHJP

   B60K 35/215 20240101ALI20240509BHJP

   G06F 3/048 20130101ALI20240509BHJP

   G06F 3/14 20060101ALI20240509BHJP

   G09G 5/00 20060101ALI20240509BHJP

【ＦＩ】

B60R11/02 C

B60K35/215

B60R11/02 Z

G06F3/048

G06F3/14 360

G09G5/00 510A

G09G5/00 510Q

G09G5/00 530D

G09G5/00 530H

G09G5/00 530T

G09G5/00 550A

【請求項の数】 19

(21)【出願番号】P 2023522596

(86)(22)【出願日】2022-04-28

(86)【国際出願番号】 JP2022019339

(87)【国際公開番号】W WO2022244618

(87)【国際公開日】2022-11-24

【審査請求日】2023-09-27

(31)【優先権主張番号】P 2021084649

(32)【優先日】2021-05-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】神谷 玲朗

(72)【発明者】

【氏名】田口 清貴

(72)【発明者】

【氏名】上保 康彦

(72)【発明者】

【氏名】水野 俊範

(72)【発明者】

【氏名】三村 浩之

【審査官】久保田 信也

(56)【参考文献】

【文献】特開２０２０－８６８２９（ＪＰ，Ａ）

【文献】特開２０１１－２４４４６５（ＪＰ，Ａ）

【文献】特開２０１９－１３２９６８（ＪＰ，Ａ）

【文献】特開２０１７－９１３７８（ＪＰ，Ａ）

【文献】特開２０２１－２４４０２（ＪＰ，Ａ）

【文献】特開２０１７－１１８２２３（ＪＰ，Ａ）

【文献】特開２０２１－３０９１７（ＪＰ，Ａ）

【文献】特開２０１９－１８４７６７（ＪＰ，Ａ）

【文献】特開２０１９－７８１８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３３１９５９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １１／０２

Ｂ６０Ｋ ３５／２１５

Ｇ０６Ｆ ３／１４

Ｇ０６Ｆ ３／０４８

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

車両用に設けられた一つのディスプレイの中で画像コンテンツの表示領域を分けて表示させる表示処理部（１３）と、
車両の乗員の視野範囲を検知する視野検知部（１１ｂ）と、
前記視野範囲の中に前記画像コンテンツを表示させるときに当該画像コンテンツのフレームレートが最低基準を満たしているか否かを判定する基準判定部（１１ｃ）と、
前記最低基準を満たしていなければ前記表示処理部により前記視野範囲の前記画像コンテンツを表示する処理とは別の他の処理負荷を低下させる処理負荷変更部（１１ｄ）と、
を備える車両用表示システム。

【請求項2】

前記処理負荷変更部は、前記視野検知部により検知された前記視野範囲の外に表示させる前記画像コンテンツの前記フレームレートを低下させることで前記処理負荷を低下させる請求項１記載の車両用表示システム。

【請求項3】

前記処理負荷変更部は、前記車両のドライバに対し法律上で提示すべき前記画像コンテンツを優先して前記フレームレートを前記最低基準以上に維持して表示し、前記法律上で提示しなくても良い場合には前記フレームレートを下げ前記他の前記処理負荷を低下させる請求項１又は２記載の車両用表示システム。

【請求項4】

前記処理負荷変更部は、前記車両のドライバに対し法律上で提示すべき前記画像コンテンツを優先して前記フレームレートを上げて表示し、前記法律上で提示しなくても良い場合には前記フレームレートを下げる又は維持し前記他の前記処理負荷を低下させる請求項１又は２記載の車両用表示システム。

【請求項5】

前記処理負荷変更部は、ドライバによる前記車両の運転操作の情報に基づいて前記画像コンテンツを表示する優先順位を決定し、前記優先順位の低い前記画像コンテンツほど前記フレームレートを低下させて表示することで前記処理負荷を低下させる請求項１から４の何れか一項に記載の車両用表示システム。

【請求項6】

前記処理負荷変更部は、前記車両の前記乗員による補機操作の情報に基づいて前記画像コンテンツを表示する優先順位を決定し前記優先順位の低い前記画像コンテンツの前記フレームレートを低下させて表示し前記処理負荷を低下させる請求項１から５の何れか一項に記載の車両用表示システム。

【請求項7】

前記処理負荷変更部は、前記車両を自動運転する自動運転レベルに基づいて前記乗員の前記視野範囲の中の前記フレームレートを変更することにより前記処理負荷を低下させる請求項１から６の何れか一項に記載の車両用表示システム。

【請求項8】

前記処理負荷変更部は、前記視野範囲の外における表示範囲を縮小、解像度、色数、又は階調を減らすことで前記処理負荷を低下させる請求項１から７の何れか一項に記載の車両用表示システム。

【請求項9】

前記処理負荷変更部は、前記車両のドライバに対し法律上で必要なコンテンツの表示態様を変更することで前記フレームレートを変更して前記処理負荷を低下させる請求項１から８の何れか一項に記載の車両用表示システム。

【請求項10】

複数のアプリの要求に応じて一つのディスプレイの表示領域に表示させるとき、前記処理負荷変更部は、前記フレームレートを高くする優先順位を前記アプリ毎に設定して前記フレームレートを変更することで、前記優先順位が低く設定された前記アプリの要求に応じた前記処理負荷を低下させる請求項１から９の何れか一項に記載の車両用表示システム。

【請求項11】

前記処理負荷変更部は、前記視野検知部により検知される前記視野範囲での視線の滞留時間を判断し、前記視線の前記滞留時間に基づいて前記フレームレートの大小の優先順位を設定して前記フレームレートを変更して前記処理負荷を低下させる請求項１から１０の何れか一項に記載の車両用表示システム。

【請求項12】

前記処理負荷変更部は、前記画像コンテンツを表示するためのリソースの他のオーディオ処理に係る前記処理負荷を低下する請求項１から１１の何れか一項に記載の車両用表示システム。

【請求項13】

前記処理負荷変更部は、前記車両の周辺状況に基づいて前記周辺状況のコンテンツを表示させる前記フレームレートを変更して前記処理負荷を変更する請求項１から１２の何れか一項に記載の車両用表示システム。

【請求項14】

前記処理負荷変更部は、前記処理負荷を低下させる際には徐々に前記フレームレートを低下させる請求項１から１３の何れか一項に記載の車両用表示システム。

【請求項15】

車両用に設けられた一つのディスプレイの中で画像コンテンツの表示領域を分けて表示させる表示処理部（１３）と、
乗員の検知、車両情報、又は、前記表示処理部の動作モードを取得する車両関連情報取得部（１１ｅ）と、
前記車両関連情報取得部の取得結果に基づいて前記表示処理部による前記画像コンテンツの表示態様を変化させることで処理負荷を低下させる処理負荷変更部（１１ｄ）と、
を備え、
前記処理負荷変更部が、前記表示処理部により画像コンテンツの表示態様を変化させることで前記処理負荷を低下させるときに、前記表示態様を変化させる表示切替時間が所定より短くなるときには、前記表示態様を簡易な意匠に変更して表示処理する車両用表示システム。

【請求項16】

前記車両関連情報取得部は、助手席に乗員が搭乗しているか否かを取得し、
前記処理負荷変更部は、前記表示処理部により画像コンテンツの表示領域を分けて表示させる際に、前記助手席の直前の表示領域に表示しないことで前記処理負荷を低下させる請求項１５記載の車両用表示システム。

【請求項17】

前記車両関連情報取得部は、前記車両情報として燃料が所定より少ない旨の情報を取得した場合、又は、前記表示処理部の動作モードが省エネモードに設定された場合には、
前記処理負荷変更部は、前記表示処理部により画像コンテンツの表示領域を分けて表示させる際に、前記画像コンテンツの表示態様を変化させることで前記処理負荷を低下させる請求項１５記載の車両用表示システム。

【請求項18】

表示処理部（１３）により車両用に設けられた一つのディスプレイの中で画像コンテンツの表示領域を分けて表示させる過程と、
視野検知部（１１ｂ）により乗員の視野範囲を検知する過程と、
基準判定部（１１ｃ）により前記視野範囲の中に前記画像コンテンツを表示させるときに当該画像コンテンツのフレームレートが最低基準を満たしているか否かを判定する過程と、
処理負荷変更部（１１ｄ）により前記最低基準を満たしていなければ前記表示処理部により前記視野範囲の前記画像コンテンツを表示する処理とは別の他の処理負荷を低下させる過程と、
を備える車両用表示方法。

【請求項19】

表示処理部（１３）により車両用に設けられた一つのディスプレイの中で画像コンテンツの表示領域を分けて表示させる手順と、
視野検知部（１１ｂ）により乗員の視野範囲を検知する手順と、
基準判定部（１１ｃ）により前記視野範囲の中に前記画像コンテンツを表示させるときに当該画像コンテンツのフレームレートが最低基準を満たしているか否かを判定する手順と、
処理負荷変更部（１１ｄ）により前記最低基準を満たしていなければ前記表示処理部により前記視野範囲の前記画像コンテンツを表示する処理とは別の他の処理負荷を低下させる手順と、
を実行させる車両用表示プログラム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０２１年５月１９日に出願された日本出願番号２０２１－０８４６４９号に基づくもので、ここにその記載内容を援用する。

【技術分野】

【0002】

本開示は、車両用表示システム、車両用表示方法、及び車両用表示プログラムに関する。

【背景技術】

【0003】

従来、コックピットシステムは、メータディスプレイ、センタディスプレイ及びヘッドアップディスプレイなどの複数のディスプレイを車室内に構成しており、それぞれのディスプレイに対してＥＣＵがそれぞれ描画処理を行っていた。近年、車両内に設置するディスプレイを大型化することが望まれているが、大型ディスプレイを一つ構成するより中型のディスプレイを併設することが安価であることから、複数の中型のディスプレイを併設して大型ディスプレイを構築する技術が提供されている。

【0004】

プロセッサの処理能力に限界があることから、それぞれの中型ディスプレイに描画する画像コンテンツの画像処理負荷が互いに異なることになる。複数の画像コンテンツを同時に複数の併設された中型のディスプレイに表示すると、これらのディスプレイ毎に信号入力から画像表示まで時間差を生じる。ディスプレイを組み合わせて大型のディスプレイを構成した場合、表示出力データ量が多く全てを同一フレームレートにより更新するのは困難である。このため、例えば、電子ミラーの撮像画像を６０fps、アラウンドビューモニタ画像を１０fpsなどのように、画像コンテンツ毎に固有のフレームレートにより各ディスプレイに表示処理を行っていた。

【0005】

処理負荷の高いコンテンツを表示するとフレームレートが低くなる。処理負荷がさらに大幅に大きくなると、コンテンツを本来表示すべき速度で描画できなくなり、ノイズを重畳して表示することになるか、最悪の場合、表示できなくなり、画像コンテンツを確認する乗員に違和感を生じさせてしまい、好ましくない。

【0006】

なお特許文献１には、視線が表示器の表示領域に向いている度合と、視線が表示器の表示領域に向いていない度合とを区分して特定し、注視レベルが表示領域に向いていない度合いである場合に、その表示器で表示させる画像のフレームレートを、視線がその表示器の表示領域に向いている度合いである場合よりも下げさせるようにしている。要約すると、視線があるディスプレイに向いていないときには、視線がディスプレイに向いているときよりフレームレートを下げるようにしている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０２１－２４４０２号公報

【発明の概要】

【0008】

一つの大型のディスプレイの中で画像コンテンツの表示領域を分けて表示させる場合、画像コンテンツを互いに異なるフレームレートで描画してしまうと、各ディスプレイに映し出される画像コンテンツの動きに差を生じることになる。このため、画像コンテンツを確認する乗員に違和感を生じさせてしまい好ましくない。

【0009】

本開示の目的は、ディスプレイを複数併設した一つのディスプレイの中で画像コンテンツを分けて表示させる場合に、乗員に違和感を極力生じさせることなく画像コンテンツを表示できるようにした車両用表示システム、車両用表示方法、及び車両用表示プログラムを提供することにある。

【0010】

本開示の一態様は、ディスプレイを複数併設した一つのディスプレイの中で画像コンテンツを分けて表示させる表示処理部と、乗員の視野範囲を検知する視野検知部と、視野範囲の中に画像コンテンツを表示させるときに当該画像コンテンツのフレームレートが最低基準を満たしているか否かを判定する基準判定部と、最低基準を満たしていなければ表示処理部により視野範囲の画像コンテンツを表示する処理負荷より他の処理負荷を低下させる処理負荷変更部と、を備える。

【0011】

本開示の一態様によれば、基準判定部により最低基準を満たしていないと判定されたときには、処理負荷変更部が視野範囲の画像コンテンツを表示する処理負荷より他の処理負荷を低下させているため、乗員の視野範囲に画像コンテンツを表示するための処理に対し優先的にリソースを割り当てることができる。このため、ディスプレイを複数併設した一つのディスプレイの中で画像コンテンツを分けて表示させる場合に、画像コンテンツを見る乗員に違和感を極力生じさせることなく画像コンテンツを表示できる。

【図面の簡単な説明】

【0012】

本開示についての上記目的、及び、その他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、

【図1A】図１Ａは、第１実施形態におけるコックピットシステムの外観構成図であり、

【図1B】図１Ｂは、ＥＣＵによる制御態様の説明図であり、

【図2】図２は、車両用表示システムの電気的構成図であり、

【図3】図３は、ハードウェア、ソフトウェアの構成図であり、

【図4】図４は、処理を説明するフローチャートであり、

【図5】図５は、表示態様例のその１であり、

【図6】図６は、表示態様例のその２であり、

【図7】図７は、表示態様例のその３であり、

【図8】図８は、表示態様例のその４であり、

【図9】図９は、表示態様例のその５であり、

【図10】図１０は、表示態様例のその６であり、

【図11】図１１は、表示態様例のその７であり、

【図12】図１２は、表示態様例のその８であり、

【図13】図１３は、表示態様例のその９であり、

【図14】図１４は、第２実施形態における表示態様例のその１であり、

【図15】図１５は、表示態様例のその２であり、

【図16】図１６は、変形例におけるＥＣＵによる制御態様の説明図である。

【発明を実施するための形態】

【0013】

以下、車両用表示システム１に係る一実施形態について図面を参照しながら説明する。なお、各実施形態において実質的に共通する部位には同一の符号を付して説明する。

【0014】

図１Ａに示すように、車両用表示システム１は、ピラートゥピラーディスプレイ２、センタディスプレイ３、及び電子ミラー４など複数の表示器を備えるコックピットシステムにより構成される。ただし、表示器の数や設置形態あるいは構成は一例であり、これらに限定されない。以下、ピラートゥピラーディスプレイ２を、ＰｔｏＰディスプレイ２と称す。

【0015】

図１Ａ及び図１Ｂに示すように、ＰｔｏＰディスプレイ２は、複数のディスプレイ２ａを隣り合わせて横長になるように構成されている。ＰｔｏＰディスプレイ２の各ディスプレイ２ａは、液晶ディスプレイ又は有機ＥＬディスプレイにより構成される。図１Ａに示すように、ＰｔｏＰディスプレイ２は車両の左ピラーと右ピラーとの間にかけてダッシュボードに設けられる大型ディスプレイである。ＰｔｏＰディスプレイ２は、現在位置周辺の地図画像Ａ３、メータ画像Ａ４、周辺カメラ２３の撮像画像Ａ５、静止画や動画のエンタメ系画像コンテンツＡ６など（後述参照）の各種の画像コンテンツをフルグラフィック表示で表示可能な構成となっている。

【0016】

センタディスプレイ３は、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成され、図１Ａに示すように、運転席と助手席との間で且つＰｔｏＰディスプレイ２の下部に設置されている。センタディスプレイ３は、ドライバや助手席の乗員の両者が見やすいセンタコンソール付近に設けられ、フルグラフィック表示で各種のコンテンツを表示可能になっている。センタディスプレイ３の上には操作パネル２１が構成されており、ＰｔｏＰディスプレイ２に表示させるコンテンツの選択や空調操作、オーディオ操作、ナビゲーション機能の入力操作できるようになっている。

【0017】

ＰｔｏＰディスプレイ２は、センタディスプレイ３に対し縦方向に併設されると共に離間して設置されている。縦方向に２画面併設して設置されていると、乗員が一度に視認可能な領域を増やすことができる。また、コックピットシステムにおいて、ＰｔｏＰディスプレイ２の各ディスプレイ２ａの表示画面は、センタディスプレイ３の表示画面よりも奥方向に位置するように設置されている。ここでいう奥方向とは、ドライバなどの車両乗員から見て奥方向に位置していることを意味しており、言い換えると、センタディスプレイ３の表示画面の面方向よりもＰｔｏＰディスプレイ２の表示画面の面方向が車両の進行方向に位置していることを意味している。ＰｔｏＰディスプレイ２の各ディスプレイ２ａは、それぞれの外枠に黒帯状のフレーム２ｂを構成しており、フレーム２ｂは、ディスプレイ２ａの表示画面を囲うように設けられる。

【0018】

電子ミラー４は、ディスプレイ４ａ及びドアミラーカメラ４ｂを用いて構成される。電子ミラー４のディスプレイ４ａは、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成される。ディスプレイ４ａは、ドライバの左右位置にそれぞれ一つずつ設置されるもので、例えば車室内のＡピラーの下部にそれぞれ設置される。ドアミラーカメラ４ｂは、自らの車両のドアミラーの設置箇所から自らの車両の後方、すなわち側後方を撮像する周辺カメラ２３として構成される。電子ミラー４のディスプレイ４ａは、ドライバから車両側後方を確認しやすい位置に設けられ、ディスプレイ４ａには、ドアミラーカメラ４ｂにより撮像された車両の周辺情報などを表示可能な構成となっている。

【0019】

また車両内には、図１Ｂ及び図２に示すように、多数のＥＣＵ５が構成されており、車内ネットワーク２５に接続されている。ＥＣＵ５は、表示系のＥＣＵ、周辺監視系のＥＣＵ、走行制御系のＥＣＵ、車両外部と通信接続するＤＣＭを含んでいる。ＤＣＭは、Data Communication Moduleの略である。走行制御系のＥＣＵは、周知の車両制御ＥＣＵ、エンジン制御ＥＣＵ、モータ制御ＥＣＵ、ブレーキ制御ＥＣＵ、ステアリング制御ＥＣＵ及び統合制御ＥＣＵ等である。走行制御系のＥＣＵは、自動制御信号を入力すると、対応した所定レベルの運転支援技術、自動運転を実行する自動運転ＥＣＵを構成する。自動運転ＥＣＵは、Autonomous Driving Electric Control Unitである。

【0020】

自動運転ＥＣＵは、自動制御信号を入力すると、運転アクチュエータを駆動することで対応した所定レベルの運転支援、自動運転を実行する。例えば、レベルＩの運転支援では、障害物への衝突を避ける自動ブレーキ、先行車に追従して走行する追従走行、又は、両脇の車線からはみ出さないように制御する走行レーンはみ出し防止走行、を実行できる。レベルＩＩの自動運転では、レベルＩの運転支援の組み合わせ、又は、特定条件下での自動運転、例えば高速道路で遅い車両が存在すれば自動で追い越したり、高速道路の分合流を自動で行ったりする自動運転モードを実行できる。なお、レベルＩＩの自動運転ではドライバによる監視義務がある。レベルＩＩＩ以上の自動運転では、システムにより監視しながらシステムが全ての運転タスクを実行するが詳細説明は省略する。

【0021】

各ＥＣＵ５は、プロセッサ、キャッシュメモリ、ＲＡＭ、ＲＯＭなどの各種の記憶部６、Ｉ／Ｏ、これらを接続するバスを備えたマイクロコンピュータを主体として構成される。各ＥＣＵ５は、車両内に設けられる他のＥＣＵ５と通信制御部７及び車内ネットワーク２５を通じて通信可能に接続されている。

【0022】

本実施形態では、図２に示すように、表示系の一つのＥＣＵ５により車両用装置１０としてのＨＣＵを構成している。表示系のＥＣＵ５はその内部のリソースの処理能力を分担してディスプレイ２、３、４ａに表示処理する。ＨＣＵは、Human Machine Interface Control Unitの略である。前述した記憶部６は、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体を示す。非遷移的実体的記憶媒体は、半導体メモリなどにより実現される。

【0023】

図２に示すように、車両用装置１０は、制御装置１１、演算装置１２、記憶部６、表示処理部１３、音声処理部１４、各種装置からの入力又は出力を管理するＩ／Ｏ制御部１５、他のＥＣＵ５との間で通信管理する通信制御部７、アンテナ１６ａを接続して構成され無線ＬＡＮやブルートゥース（登録商標）により他の携帯端末２７と無線接続できるようにした無線制御部１６、を備える。ここでは、図２に図示した、位置検出器１９、操作パネル２１、乗員モニタ２２、周辺カメラ２３、及び距離検出センサ２４など主要な構成要素の出力信号は、Ｉ／Ｏ制御部１５を通じて車両用装置１０に信号入力する形態を説明するが、車内ネットワーク２５を通じて、周辺監視系のＥＣＵ、走行制御系のＥＣＵなどの他のＥＣＵ５から入力されることもある。

【0024】

演算装置１２は、制御装置１１の制御に基づいて、記憶部６に記憶された画像、文章、文字、コメント又は記号（以下、画像等と称する）のコンテンツについて、ＰｔｏＰディスプレイ２、センタディスプレイ３、電子ミラー４のディスプレイ４ａの表示画面に表示させる表示領域を演算する。演算装置１２は、画像等のコンテンツをＰｔｏＰディスプレイ２、センタディスプレイ３、電子ミラー４のディスプレイ４ａの表示画面の何れの領域に表示させるか、また、何れの領域に重ね合わせて表示させるか演算し、画像等のコンテンツを、制御装置１１を通じて表示処理部１３に出力する。

【0025】

表示処理部１３は、制御装置１１の制御に基づいて、ＰｔｏＰディスプレイ２、センタディスプレイ３、及び電子ミラー４の表示画面の中の前述の表示領域に画像等のコンテンツを表示する。ディスプレイ２、３、４ａの表示画面には、表示レイヤ毎に画像等を表示できる。

【0026】

音声処理部１４は、制御装置１１の制御に基づいて、マイク１７から入力された受話音声を入力すると共に、スピーカ１８から送話音声を出力する。音声処理部１４は、文章や文字のコンテンツを制御装置１１から入力すると、音声に変換したりしてスピーカ１８を通じて読み上げて出力する。また音声処理部１４は、マイク１７から入力された音声に基づいて、ドライバが発話したか助手席の乗員が発話したか否かを検出し、この検出信号を制御装置１１に出力する。

【0027】

位置検出器１９は、図示しない周知のＧＰＳなどのＧＮＳＳ受信機、加速度センサやジャイロセンサなどの慣性センサを用いて高精度に位置を検出する。位置検出器１９は、位置検出信号をＩ／Ｏ制御部１５を通じて制御装置１１に出力する。制御装置１１の位置特定部１１ａは、地図データ入力器から入力される地図情報と位置検出器１９の位置検出信号に基づいて車両の現在位置を高精度に逐次測位するＡＤＡＳロケータとしての機能を実現する。ＡＤＡＳは、Advanced Driver Assistance Systemsの略である。

【0028】

この場合、車両位置は、緯度および経度からなる座標系で表され、この座標系では、例えば、Ｘ軸が経度、Ｙ軸が緯度を示す。なお、車両位置の測位は、例えば、自らの車両に搭載されている車速センサによるセンシング結果に基づき求められる走行距離の情報などに基づいて行うなど、自らの車両の位置を特定できる構成であれば、種々の構成を採用することができる。制御装置１１は、自らの車両の現在位置に基づいて、いわゆるナビゲーション処理を行うことができる。

【0029】

操作パネル２１は、センタディスプレイ３の上に構成されたタッチパネルであり、Ｉ／Ｏ制御部１５は、乗員による操作入力があると操作入力を受け付け、制御装置１１に出力する。制御装置１１は、操作パネル２１の操作信号に基づいた制御を実行する。

【0030】

乗員モニタ２２は、車両内に搭乗した乗員の状態又は操作状態を検知する。乗員モニタ２２は、例えばパワースイッチ、乗員状態モニタ、ターンスイッチ、自動制御スイッチなどを用いて構成され、各種の信号を制御装置１１に出力する。乗員モニタ２２は、ドライバによりステアリングホイールが把持されているか又は操舵されているか否かを検出するステアリングセンサ、シートに着座しているか否かを検出する着座センサ、又はアクセルペダル又はブレーキペダルの踏込センサなどを含んでいても良い。

【0031】

パワースイッチは、内燃機関又は電動モータを始動させるために車室内にてユーザによりオン操作されることで、当該操作に応じた信号を出力する。乗員状態モニタは、Ｄ席又はＰ席の乗員の状態を画像センサにより撮影することで当該乗員の状態を検知して撮像信号を出力するカメラを含んで構成される。ドライバの乗員状態モニタはＤＳＭと称されている。ＤＳＭは、Driver Status Monitorの略である。

【0032】

乗員状態モニタは、ドライバの頭部に近赤外光を照射して撮影した撮像信号を取得し必要に応じて画像解析して制御装置１１に出力する。乗員状態モニタは、特に運転支援中や自動運転中にドライバなどの乗員の状態を検知するために使用される。ターンスイッチは、車両の方向指示器を作動させるときに車室内にて乗員によりオン操作されることで、当該操作に応じて右方又は左方にターンするターン信号を出力する。

【0033】

自動制御スイッチは、車両の走行状態に対する所定の運転支援又は自動制御を指令するため、車室内にて乗員によりオン操作されることで、当該操作に応じた自動制御信号を出力する。この自動制御信号は、走行制御系のＥＣＵに出力されることで、対応した所定レベルの運転支援又は自動運転制御を実行できる。

【0034】

制御装置１１は、乗員モニタ２２のセンサ信号により車両乗員の挙動、例えば視線が何れの方向を向いているかを判定でき、また、パワースイッチの操作状態、方向指示器の作動状態、車両の自動制御の指令情報、その他各種センサによるセンサ情報や操作情報などを入力できる。

【0035】

周辺カメラ２３は、車両の前方を撮像する前方視界カメラや、車両の後部を撮像するバックカメラ、車両の前側部や後側部を撮像するコーナカメラ、車両の側部を撮像するサイドカメラ、又は、電子ミラー４のドアミラーカメラ４ｂなどによるものであり、これらはそれぞれフロントガイドモニタ、バックガイドモニタ、コーナービューモニタ、サイドガイドモニタ、電子ミラー４の各撮像信号としてＩ／Ｏ制御部１５を通じて制御装置１１に出力され記憶部６に記憶される。通信制御部７は、ＣＡＮやＬＩＮなどの車内ネットワーク２５に接続されており、他のＥＣＵ５との間でデータを通信制御する。

【0036】

また車両には障害物との距離などを検出する距離検出センサ２４が周辺監視センサとして設置されている。距離検出センサ２４は、クリアランスソナー、ＬｉＤＡＲ又はミリ波を用いたレーダなどにより構成され、車両前方、車両前側部、車両後側部、車両後方又は車両側部に近接する他車両などの障害物や人との距離を検出する。

【0037】

車両用装置１０のハードウェア、ソフトウェア構成例を図３に示している。各ＥＣＵ５にはそれぞれＳｏＣ３０が搭載され、この搭載されたＳｏＣ３０には前述したマイクロコンピュータが組込まれている。ＳｏＣはSystem On Chipの略である。ＥＣＵ５のＳｏＣ３０に組み込まれたマイクロコンピュータは、ハイパーバイザ３１上に汎用ＯＳ３２、例えばLinuxOS（Linuxは登録商標）及びリアルタイムＯＳ３５が構成されている。

【0038】

汎用ＯＳ３２上には各種の複数のアプリケーション３３（以下、アプリ３３と略す）が動作するように構成されている。アプリ３３は、画像処理アプリ３４やその他のアプリを含む。画像処理アプリ３４の描画要求に応じてＳｏＣ３０に組み込まれたプロセッサが、ＰｔｏＰディスプレイ２の各ディスプレイ２ａの表示画面に描画処理する。

【0039】

リアルタイムＯＳ３５は、汎用ＯＳ３２よりもリアルタイム性能高く処理できメータアプリ３６を動作させるように構成されている。以下の説明では、画像処理アプリ３４やメータアプリ３６などのアプリ３３を主体として説明することがあることに留意する。

【0040】

メータアプリ３６は、車両の速度や回転数あるいは警告などをユーザに報知するアプリであると共に、各ＰｔｏＰディスプレイ２の特定のディスプレイ２ａに表示される画像コンテンツを生成、描画する。例えば、メータアプリ３６は、速度計Ｖや回転数計Ｔ、シフトポジション、又は、警告灯などの画像コンテンツを生成、描画する。速度計Ｖは、車両の速度の変化を示すためにリアルタイムで表示を更新する必要がある速度画像を含む。同様に、回転数計Ｔも、回転数の変化を示すためにリアルタイムで表示を更新する必要があるため、メータ画像Ａ４に含まれるものである。

【0041】

なお、リアルタイムＯＳ３５上でメータアプリ３６を動作させる形態を示すが、汎用ＯＳ３２上でメータアプリ３６を動作させるようにしても良い。メータアプリ３６が動作することで、後述するように、針Ｈを指し示す描写を行うことで走行速度をアナログ表示する速度計Ｖ、同様に針Ｈを指し示す描写を行うことでエンジンの回転数をアナログ表示する回転数計Ｔの他、デジタル表示Ｄを行うデジタル速度計や回転数計もディスプレイ２ａに描画できる。また、メータアプリ３６により描画されるコンテンツは、他のディスプレイ、ここではセンタディスプレイ３にも表示できる。

【0042】

アプリ３３にはナビアプリ等が含まれている。ナビアプリは、ナビゲーション機能を実現するものであると共に、主にＰｔｏＰディスプレイ２に表示される地図画像Ａ３や車両の現在位置などを含むナビゲーション画面などの画像コンテンツを描画する。アプリ３３には画像生成アプリが含まれている。画像生成アプリは、ＰｔｏＰディスプレイ２の各ディスプレイ２ａに表示させる画像コンテンツを生成するアプリである。

【0043】

またアプリ３３には画像合成アプリも含まれている。画像合成アプリは、ＰｔｏＰディスプレイ２に表示する様々な画像コンテンツの大きさや種類を特定し、画像コンテンツの１フレーム内に合成し、この合成された混在画像をＰｔｏＰディスプレイ２の各ディスプレイ２ａに出力するアプリである。画像合成アプリは、コンポジッタとも称される画像合成部としての機能を含んでいる。

【0044】

各アプリ３３、３６のうち画像コンテンツを描画するアプリには、画像コンテンツを描画するための表示レイヤが割り当てられている。これらの表示レイヤは、記憶部６上に、必要となる画像コンテンツを描画できる大きさに確保されている。

【0045】

また、各ディスプレイ２、３に表示される画像コンテンツは、アニメーション動作可能になっている。ここで、アニメーション動作とは、コンテンツを示す画像の位置や大きさが徐々に変化したり、画像が回転したり、スワイプ操作に伴い、ユーザインターフェースが全体的に移動したり、画像が徐々にフェードインあるいはフェードアウトしたり、画像の色が変化したりするような表示態様である。

【0046】

車両用装置１０の制御装置１１は、アプリ３３を実行することで、図２に示すように、位置特定部１１ａ、視野検知部１１ｂ、基準判定部１１ｃ、及び処理負荷変更部１１ｄとしての機能を備える。位置特定部１１ａは、位置検出器１９による位置検出信号に基づいて車両の現在位置を特定する。前述したアプリにはナビアプリが含まれる。ナビアプリは、ナビゲーション機能を実現するものであると共に、主にＰｔｏＰディスプレイ２に表示される地図画像Ａ３や位置特定部１１ａにより特定された車両の現在位置などを含むナビゲーション画面を描画する。

【0047】

視野検知部１１ｂは、乗員モニタ２２の乗員状態モニタを用いてドライバ又は助手席の乗員など任意の乗員の視野範囲ＮＶを検知する。基準判定部１１ｃは、視野範囲ＮＶの中に画像コンテンツを表示させるときに当該画像コンテンツのフレームレートが最低基準を満たしているか否かを判定する。処理負荷変更部１１ｄは、最低基準を満たしていなければ表示処理部１３により視野範囲ＮＶの画像コンテンツを表示する処理負荷より他の処理負荷を低下させる。他の処理負荷とは、オーディオ出力するための処理負荷、乗員の視野範囲外の画像コンテンツを表示する処理負荷、などを示している。

【0048】

次に、上記した構成の作用、動作について説明する。車両用装置１０は、ＥＣＵ５の物理リソースを分担してＰｔｏＰディスプレイ２の各ディスプレイ２ａ、センタディスプレイ３、電子ミラー４のディスプレイ４ａに描画する。このとき、画像処理、画像変換等を実行することにより描画データ生成速度の違いを生じると、一のＰｔｏＰディスプレイ２に画像コンテンツを描画する際に、各ディスプレイ２ａへ表示する画像コンテンツのフレームレートに差を生じる。

【0049】

そこで、車両用装置１０が、アプリ３３を起動して画像コンテンツを各ディスプレイ２ａに描画するときには、図４のフローチャートに示すように、描画処理を実行することが望ましい。

【0050】

パワースイッチが押下されることで車両用装置１０が起動すると、車両用装置１０は、Ｓ１において複数のアプリ３３を起動する。車両用装置１０は、複数のアプリ３３の要求に基づき、各ディスプレイ２ａに表示させる画像コンテンツを生成する。そして表示処理部１３は、Ｓ２においてそれぞれのアプリ３３を実行することに基づく画像コンテンツを複数のディスプレイ２ａの画面にそれぞれ表示させる。車両用装置１０は、乗員モニタ２２により車両の乗員、例えばドライバの視線を監視し、制御装置１１は、Ｓ３において視野検知部１１ｂにより乗員の視野範囲ＮＶを検知する。

【0051】

制御装置１１は、Ｓ４において乗員の視野範囲ＮＶに含まれる画像コンテンツがフレームレートを制御すべき対象であるか否かを判定する。ここでいうフレームレート制御対象となる画像コンテンツは、車両内の状況、車両周囲の状況に基づいて様々変化するが、事例は後述する。制御装置１１は、Ｓ４においてフレームレートを制御すべき対象の画像コンテンツではないと判定した場合には、Ｓ４でＮＯと判定し終了する。

【0052】

逆に制御装置１１は、Ｓ４においてフレームレートを制御すべき対象の画像コンテンツであると判定した場合には、Ｓ４でＹＥＳと判定し、Ｓ５において中心の視野範囲ＮＶに存在する画像コンテンツがフレームレートの最低基準を満たしているか否かを基準判定部１１ｃにより判定する。

【0053】

制御装置１１は、Ｓ５においてフレームレートの最低基準を満たしていると判定すれば終了するが、フレームレートの最低基準を満たしていなければＳ５でＮＯと判定しＳ６に移行する。

【0054】

制御装置１１は、Ｓ６において乗員の視野範囲ＮＶに存在する画像コンテンツを表示する処理とは別の他の処理負荷を低下させる。例えば、音声処理部１４によるオーディオ出力処理の負荷や、他のディスプレイ２ａ、３、４ａに画像コンテンツを表示させるための処理負荷を低下させる。例えば、他のディスプレイ２ａ、３、４ａに映し出す画像コンテンツのフレームレートを意図的に低下させることで処理負荷を低下させると良い。事例は後述する。

【0055】

すると制御装置１１は、視野範囲ＮＶの画像コンテンツを表示するための処理に対してリソースを優先的に割り当てることができ、当該画像コンテンツを表示する際のフレームレートを上げることができる。画像コンテンツを確認する乗員に違和感を極力生じさせることなく、画像コンテンツを表示できる。

【0056】

制御装置１１は、乗員の視野範囲ＮＶに存在する画像コンテンツのフレームレートがＳ７に示すように所定以上に上昇するまでＳ６の処理を繰り返す。また制御装置１１は、あらかじめ定められた所定回数だけＳ６において別の他の処理負荷を低下させたとしても、前述のフレームレートが所定以上に上昇しなければ、表示処理部１３はＳ９において表示を消して終了する。これにより、最低基準を満たさない画像コンテンツの表示を防止できる。

【0057】

本実施形態によれば、制御装置１１は、乗員が視ている画像コンテンツのフレームレートが最低基準を満たしていないときには、別の他の処理負荷を低下させて表示処理しているため、乗員が視ている画像コンテンツについて違和感を生じさせることなく表示できる。

【0058】

以下、乗員により見られている画像コンテンツを表示する処理とは異なる別の他の処理負荷を低下させる方法を説明する。
例えば、処理負荷変更部１１ｄは、乗員の視野範囲ＮＶの外に表示させる画像コンテンツのフレームレートを低下させると良い。このとき視野検知部１１ｂにより検知された視野範囲ＮＶの内側に表示させる画像コンテンツのフレームレートを維持又は高くしても良い。

【0059】

図５に例示したように、表示処理部１３が、ＰｔｏＰディスプレイ２のあるディスプレイ２ａにアラウンドビューＡ１の画像を表示させると共に、電子ミラー４のドアミラーカメラ４ｂの撮像画像Ａ２を併設された他のディスプレイ２ａに表示させた場合を考える。以下では、ドアミラーカメラ４ｂの撮像画像Ａ２を電子ミラー画像Ａ２と称する。

【0060】

例えば、制御装置１１は、ドライバがアラウンドビューＡ１の画像コンテンツを見ていることを視野検知部１１ｂにより検知した場合、併設されたディスプレイ２ａに表示させる電子ミラー画像Ａ２のフレームレートを低下させることで処理負荷を低下させると良い。ドライバの視線を中心側の視野範囲ＮＶに集中させることができ、逆に、ドライバの視野範囲ＮＶの外に存在する画像コンテンツの表示処理が同期ずれしていたとしても、そのフレームレートの低下を意識させないようにできる。

【0061】

また、制御装置１１は、乗員からあるディスプレイ２ａが視られたときにこの視野を視野検知部１１ｂにより検知し、処理負荷変更部１１ｄが、図６に示すように、視野範囲ＮＶの外のディスプレイ２ａの全画面の中で表示範囲を縮小して一部領域に表示させることで処理負荷を低下させるようにしても良い。さらに、電子ミラー画像Ａ２のフレームレートを意図的に低下させることで処理負荷を低下させると良い。このとき、検知された視野範囲ＮＶに存在する画像コンテンツの大きさは維持又は大きく表示しても良い。

【0062】

また処理負荷変更部１１ｄは、視野範囲ＮＶの外のディスプレイ２ａの表示画面の解像度、色数、又は階調を減らすことで表示処理部１３の処理負荷を低下させても良い。例えば、フルＨＤ画質の解像度の画像コンテンツをより低解像度に画像変換したり、フルカラー色の画像コンテンツを２５６色に画像変換したり、２５６階調の画像コンテンツをモノクロ２階調の画像コンテンツに変換したりすると良い。

【0063】

処理負荷変更部１１ｄは、車両のドライバに対し法律上で提示すべきコンテンツを優先してフレームレートを上げて表示し他の処理負荷を低下させることが望ましい。つまり、法的に必要な情報提示を優先することが望ましい。
ここで、車両のドライバに対し法律上で提示すべきコンテンツを優先してフレームレートを最低基準以上に維持して表示することで見やすさも維持し、また逆に、法律上で提示しなくても良いコンテンツの場合にはフレームレートを下げ、他の処理負荷を低下させることが望ましい。

【0064】

例えば、図７に示すように、表示処理部１３が、電子ミラー画像Ａ２とナビゲーションによる地図画像Ａ３とを、併設したディスプレイ２ａに各々表示させる場合を考える。制御装置１１は、電子ミラー画像Ａ２を表示するためにリソースを多く消費していると判断した場合、ナビゲーション機能による地図画像Ａ３を消去し、電子ミラー画像Ａ２の表示を優先することが望ましい。法律上、後方を確認するための光学式ミラーや電子ミラー４は車両設備として必須であるため、電子ミラー画像Ａ２の表示を優先すると良い。

【0065】

また、処理負荷変更部１１ｄは、車両のドライバに対し法律上で提示すべきコンテンツを優先してフレームレートを上げて表示することで見やすさを向上させ、逆に、法律上で提示しなくても良い場合にはフレームレートを下げる又は維持して他の処理負荷を低下させることが望ましい。

【0066】

また、ナビゲーション機能による地図画像Ａ３の情報更新頻度を低下して情報更新間隔を長くしたり、意図的に地図画像Ａ３の表示を消したりすることが望ましい。このとき、制御装置１１は、乗員に対し地図画像Ａ３を消去する旨を報知した上で消去すると良い。

【0067】

また処理負荷変更部１１ｄは、ドライバによる車両の運転操作の情報に基づいて表示するコンテンツの優先順位を決定し、優先順位の低い画像コンテンツのフレームレートを低下させることで他の処理負荷を低下させることが望ましい。優先順位の高い画像コンテンツについてはフレームレートを維持しても上げて表示しても良い。つまり制御装置１１は、ドライバによる方向指示器、ステアリングホイール、又はブレーキペダルの操作情報に基づいて、ドライバの運転行動、運転シーンを推測し、フレームレートを低下又は高くする画像コンテンツを決定すると良い。

【0068】

例えば、制御装置１１は、例えば、ステアリングホイールを左右に操舵する信号を入力した場合や方向指示器のターン信号を入力した場合、ドライバによる後方確認を必要とすると判定し、特にターン信号の方向に対応した電子ミラー画像Ａ２の処理の優先順位を高くし、その他の画像コンテンツを表示させるための処理の優先順位を低下させることで処理負荷を低下させると良い。

【0069】

例えば、制御装置１１が右方向にターンするターン信号を入力した場合には、図８に示すように、右側後方を確認するための電子ミラー画像Ａ２の処理の優先順位を高くすることでフレームレートを極力維持又は高くしつつ、その他の処理負荷を低下させると良い。このとき、ターンする方向とは逆側の電子ミラー画像Ａ２の処理の優先順位を低くしてフレームレートを低下させて処理負荷を低下させると良い。

【0070】

また制御装置１１は、ブレーキの踏込センサによりブレーキ操作を検出した場合には、バックミラー相当の周辺カメラ２３の撮像画像を映し出す画面コンテンツの処理の優先順位を高くし、その他のディスプレイ２ａに画像コンテンツを表示させるための処理の優先順位を低くすることで処理負荷を低下させても良い。

【0071】

また処理負荷変更部１１ｄは、車両乗員による補機操作の情報に基づいて表示するコンテンツの処理の優先順位を決定し、優先順位の低い画像コンテンツのフレームレートを低下させて表示することで処理負荷を低下させると良い。逆に、優先順位の高い画像コンテンツについてはフレームレートを維持又は上げて表示すると良い。言い換えると、視野範囲ＮＶだけではなく、補機である操作パネル２１による操作情報も、フレームレートを決定する優先順位の判断基準の一つとすることが望ましい。

【0072】

前述したように、センタディスプレイ３の上には操作パネル２１が設置されており、乗員は、車両の進行方向に注意を払いながら操作パネル２１の上をタッチ又はスワイプ操作することがある。このとき、乗員は操作しているセンタディスプレイ３の表示画面を周辺視野により気にしている。

【0073】

このため、制御装置１１は、操作パネル２１からの操作を検知すると、センタディスプレイ３に表示させる操作画面について処理の優先順位を高くすることでフレームレートを維持又は高くし、その他の処理の優先順位を低くして処理負荷を低下させると良い。すると、センタディスプレイ３の操作画面表示のフレームレートを維持又は上げることができ、乗員は周辺視野によりセンタディスプレイ３を気にしたとしても、この乗員の視野内に収めることができる。これにより、操作パネル２１をスムーズに操作できる。

【0074】

また表示処理部１３は、法的に必要な情報を伝える要件を満たした意匠にして表示処理することが望ましく、運転もしくは法的に必要のない情報を表示しないようにしても良い。例えば、過度な装飾を省いてシンプルな表示態様にすると良い。また、図９の上段に示す速度計Ｖによる車両の速度表示は法的に必要であるものの、回転数計Ｔや水温計などは表示しなくても良い。このとき、これら法的に不要な画像コンテンツを非表示とすることで処理負荷を低下させても良い。すなわち、メータ画像Ａ４として法的に最低限の速度表示だけ行っても良い。

【0075】

また表示処理部１３は、図９の上段に示したように、通常、車両のメータ画像Ａ４の速度計Ｖ及び回転数計Ｔとして、針Ｈをディスプレイ２ａにグラフィック表示し、当該針Ｈを左右に振るようにグラフィック表示することで速度表示や回転数表示を行っている。しかし、表示処理部１３は、これらの速度計Ｖ及び回転数計Ｔの表示に代えて、図９の下段に示したように、デジタル表示Ｄとすることで内部の処理負荷を低下させることができる。

【0076】

例えばデジタル表示Ｄでは、速度計Ｖや回転数計Ｔの各桁に対応した３～４桁の数字を表現するために、表示処理部１３が七セグメントを各桁数分制御すれば足りる。このため、図９の下段に示したデジタル表示Ｄでは、図９の上段に示したように針Ｈの画像をディスプレイ２ａに表示するよりも格段に処理負荷を低下させることができる。

【0077】

また処理負荷変更部１１ｄは、表示系のＥＣＵ５のプロセッサによるグラフィック表示に使用するリソースを優先的に確保すると共に、音声処理部１４により実行されるオーディオ処理に係る処理負荷を低下させても良い。音声処理部１４によるオーディオ処理負荷を低下させることができるため、残ったリソースをグラフィック表示に割り当てることができる。これにより、グラフィック表示に係るフレームレートを高く保つことができる。

【0078】

また処理負荷変更部１１ｄは、自らの車両の周辺状況に基づいて周辺状況のコンテンツを表示するフレームレートを変更して処理負荷を変更すると良い。例えば、自らの車両が森林などを走行中に周辺カメラ２３の撮像画像Ａ５をディスプレイ２ａに表示させるときには、表示処理部１３は、木々や葉などを細かくディスプレイ２ａに描写することになり、乗員の目に与える刺激量が大きくなる。このように表示処理部１３は、画像コンテンツの描写が所定より細かいと判断した場合には、フレームレートの変化速度を大きくして画像コンテンツを描写すると良い。これにより、画像コンテンツの変化に追従して描画でき、乗員に違和感を生じさせないようにできる。

【0079】

逆に、図１０に例示したように、高速道路を走行中に周辺カメラ２３の撮像画像Ａ５をディスプレイ２ａに表示させるときには、同様の画像コンテンツを長時間描画することで色彩の変化が少なく、乗員の視界に入る刺激が少なくなる。このため、表示処理部１３は、上記に比較してフレームレートをゆっくり変更しながら画像コンテンツを描写すると良い。表示処理部１３は、消費するリソースを抑えながらディスプレイ２ａに描画できる。自らの車両が雪道などを走行中に周辺カメラ２３の撮像画像Ａ５をディスプレイ２ａに表示させるときなども同様である。

【0080】

また複数のアプリ３３、３６の要求に応じて一つのディスプレイ２ａに表示させるとき、処理負荷変更部１１ｄは、フレームレートを高くする優先順位をアプリ３３、３６毎に設定してフレームレートを変更することで優先順位の低く設定されたアプリの要求に応じて処理動作する処理負荷を低下させると良い。

【0081】

図１１に例示したように、表示処理部１３が、複数のアプリ３３、３６の要求に基づいてメータ画像Ａ４及び周辺カメラ２３の撮像画像Ａ５を連続して一つのディスプレイ２ａに表示させる場合や、図１２に例示したように、一つのディスプレイ２ａに複数のアプリ３３、３６の要求に応じて複数の画像コンテンツ、例えば地図画像Ａ３、メータ画像Ａ４を表示させる場合、アプリ３３、３６単位でリソースを割り振る優先順位を決定し、この優先順位に基づいて、一つのディスプレイ２ａに画像コンテンツを表示する際のフレームレートを決定すると良い。

【0082】

このとき、アプリ３３、３６による要求数が多ければ多いほどフレームレートを低くし、少なければフレームレートを高くすると良い。さらに、他のディスプレイ２ａに表示させる画像コンテンツ、ここでは、電子ミラー画像Ａ２、エンタメ系画像コンテンツＡ６などを表示させるアプリ３３にもリソースを割り振る優先順位を設定し、前述の優先順位にこの優先順位の影響を加味して新たに優先順位を決定し、この優先順位に基づいて、各ディスプレイ２ａに画像コンテンツを表示する際のフレームレートを決定すると良い。

【0083】

また、車両制御において警報を生じたときには、正確に警報を伝えるため、警報に関する表示処理に優先してリソースを割り振り、フレームレートを上げて表示すると良い。

【0084】

また表示処理部１３は、乗員モニタ２２により乗員の視線を検知した結果に基づいて、乗員に視認しやすくするように画面の表示処理を実行する。しかし、乗員が視線を頻繁に移動させると、前述の表示処理に基づいて表示画面を頻繁に変化させることになり、逆に乗員は見難くなる。

【0085】

このとき、処理負荷変更部１１ｄは、視野検知部１１ｂにより検知される視野範囲ＮＶでの視線の滞留時間をタイマを用いて判断し、視線の滞留時間に基づいてフレームレートの大小の優先順位を設定してフレームレートを変更することで処理負荷を変更するが望ましい。例えば、視線の滞留時間が所定より短いときにはフレームレートを変化させず、視線の滞留時間が所定より長いときにはフレームレートを所定より上げると良い。

【0086】

また処理負荷変更部１１ｄは、自動運転レベルに応じて画像処理に係る負荷量を調整することが望ましく、車両を自動運転する自動運転レベルに基づいて車両乗員の視野範囲ＮＶに存在する画像コンテンツのフレームレートを変更することに基づいて他の処理負荷を低下させることが望ましい。

【0087】

例えば、手動運転の場合には、図１３の上図に示すように、ドライバ用の画像コンテンツ（例えばメータ画像Ａ４、地図画像Ａ３）をディスプレイ２ａに表示させることで、ディストラクションが少なく運転に必要な情報をドライバに提供する。このとき、ドライバの視野の先に視野範囲ＮＶに存在するディスプレイ２ａの画像コンテンツのフレームレートを高くしながら他の処理負荷を低下させると良い。この場合、助手席の乗員の視野に表示される画像コンテンツのフレームレートを前述より低くすることで処理負荷を低下させると良い。

【0088】

また、レベルＩＩＩ以上の自動運転時には、図１３の下図に示すように、エンタメ系画像コンテンツＡ６をディスプレイ２ａに表示させることでディストラクションが高く運転とは無関係な情報を提供しても良い。

【0089】

また、自動運転レベルをレベルＩから順に上げるほど助手席の乗員の視野範囲ＮＶに表示させる画像コンテンツのフレームレートを大きくしても良い。これは、自動運転レベルが上がれば上がるほど、ドライバの運転負荷が少なくなり、ドライバの視認を必要とする情報が少なくなるためである。

【0090】

また、周辺カメラ２３の撮像画像Ａ５を画像認識することで、自車両の周囲に障害物や自動車や自転車などの他車両、歩行者などが認識された場合、表示処理部１３は、これらの画像認識した画像コンテンツを優先的にディスプレイ２ａに表示させると良く、しかも、当該画像認識した特定の画像コンテンツのフレームレートを高くして明瞭に表示させると良い。この場合、他の処理負荷を低下させた上で、当該特定の画像コンテンツのフレームレートを高くすると良い。

【0091】

また、レベルＩ又はレベルＩＩの自動運転時において、先行車両に追従するＡＣＣを実行したり、自車両の走行車線をレーンチェンジしたりする場合、表示処理部１３は、後方車両を確認するバックカメラの撮像画像や電子ミラー画像Ａ２を表示するディスプレイ２ａのフレームレートを高くすると良い。図１２の左右両端のディスプレイ２ａの表示画面参照。すなわち、バックカメラの撮像画像や電子ミラー画像Ａ２の表示処理にリソースの配分を多く割り当てることで、処理の優先順位を他の処理負荷の優先順位より高く設定してフレームレートを維持又は高くして他の処理負荷を低減させると良い。

【0092】

また、自動運転時においても、ドライバの視線の中心側の視野範囲ＮＶのフレームレートを変更しても良い。例えば、レベルＩＩＩ以上の自動運転では、安全系の表示処理についての優先順位を低くしてフレームレートを低くし、エンタメ系画像コンテンツＡ６の処理の優先順位を高くしてフレームレートを高くすると良い。この場合、ドライバ及び助手席の乗員の視野範囲ＮＶを検出した上で判定することが望ましい。

【0093】

さらに、助手席の乗員による視線とドライバの視線とを同時に検知した場合には、自動運転レベルに基づいて表示用のＥＣＵ５のリソースを使用する優先順位を設定し、ドライバ及び助手席の乗員の視野の先の視野範囲ＮＶに存在する複数のディスプレイ２ａの間でフレームレートを変更すると良い。

【0094】

また、運転シーンに基づいてフレームレートを変更しても良い。例えば、停車中や自動運転中であれば、画像コンテンツを変化させることが望ましい。また、停車中であればフレームレートを制御しなくても良い。これにより、乗員に違和感を生じさせることなくディスプレイ２ａに描画できる。

【0095】

また表示処理部１３は、前述した要因に伴い各画像コンテンツのフレームレートを変化させるときにはゆっくり低下させると良く違和感を軽減すると良い。ゆっくりフレームレートを下げることで画像品質が大きく低下したとしても違和感を生じさせないような処理をすることが望ましい。

【0096】

また車両の速度が遅いときには、単位時間当たりのフレームレートの変化量、すなわち変化速度を少なくして画像品質が大きく低下したとしても違和感を生じさせないようにしても良い。逆に、車両の速度が速いときにはフレームレートの低下速度を大きくしても良い。車両の速度が速くなると車両の運転アクチュエータを制御するために必要なリソースも多くなるため、フレームレートの低下速度を大きくしてフレームレートを素早く低くさせることで処理負荷を低下させると良い。

【0097】

（第２実施形態）
第２実施形態について図１４および図１５を参照しながら説明する。本実施形態では、処理負荷変更部１１ｄが、タスクを選択的に設定して処理負荷を低減するための実施形態例を示す。

【0098】

制御装置１１は、乗員モニタ２２による着座センサ、シートベルトの着脱センサにより助手席や後部座席に搭乗する乗員を検知することができる。また、制御装置１１は、無線制御部１６によりアンテナ１６ａを通じて携帯端末２７との間で近距離無線通信接続することで携帯端末２７の位置情報を取得したり、乗員操作を検知することで乗員が乗車しているか否かを検知できる。

【0099】

また、制御装置１１は、通信制御部７により他のＥＣＵ５から他の車両情報を取得できる。ここでいう車両情報は、車両内の電気系統を駆動するためのバッテリＶＢ電圧の充電状況を表すＶＢ情報、車両がガソリン車である場合のガソリン燃料残量を表す燃料情報、ハイブリッド自動車や電気自動車である場合には車両駆動用の充電池の蓄電状態を表す蓄電情報、など車両に関連する情報を表す。

【0100】

また、制御装置１１は、乗員により操作パネル２１が操作され車両の運転に関する各種モードが設定されると当該モードを受け付ける。この時、制御装置１１は、乗員が指定する車両に関するモード、例えば手動運転・自動運転などの運転モード、ディスプレイ２、３、４ａの動作モード、例えば省エネモードなどを受け付ける。これにより、制御装置１１は、車両に関連する情報を取得する車両関連情報取得部１１ｅとしての機能を備える。

【0101】

処理負荷変更部１１ｄは、車両関連情報取得部１１ｅの取得結果に基づいて表示処理部１３により画像コンテンツの表示態様を変化させることで処理負荷を低下させる。例えば、車両情報として燃料残量を入力したときに燃料残量が所定量より少なくなったとき、又は、車両乗員により省エネモードへの設定を受け付けたときに、処理負荷を低下させると良い。

【0102】

また、このような条件のうち少なくとも一つ以上の条件を満たしたときには、電子ミラー画像Ａ２又はアラウンドビューＡ１などを表示させるアプリ３３にリソースを割り振る優先順位を高くし、他のコンテンツ、例えば他の撮像画像Ａ５、又は、エンタメ系コンテンツＡ６を表示させるアプリ３３にリソースを割り振る優先順位を比較的低く設定することで選択的に非表示とすることが望ましい。

【0103】

また処理負荷変更部１１ｄは、表示処理部１３により画像コンテンツの表示領域を分けて表示させる際に、画像コンテンツの表示態様を変化させることで処理負荷を低下させることが望ましい。表示処理部１３が、画像コンテンツの表示領域を分けて表示させる際に、Ｐ席に乗員が搭乗していないときには、処理負荷変更部１１ｄは、Ｐ席の直前の表示領域に表示しないことで処理負荷を低下させることが望ましい。

【0104】

すなわち、表示処理部１３は、図１２に示すように、仮に通常時にＰ席の直前に静止画や動画のエンタメ系画像コンテンツＡ６を表示処理するような場合であっても、Ｐ席に乗員が搭乗していないと判定したときには、図１４に示すように、エンタメ系画像コンテンツＡ６をＰ席の直前のディスプレイ２ａへの表示を消すと良い。Ｐ席直前のディスプレイ２ａに対する処理負荷を低下させることができる。

【0105】

また処理負荷変更部１１ｄにより処理負荷を低下させるときには、表示処理部１３は、表示態様を簡易な意匠に変更して表示処理するようにしても良い。このとき、比較的処理負荷の少ないとされるコンテンツにより表示することが望ましい。例えば、メータ画像Ａ４については、針表示することなく７セグデジタル表示することで処理負荷を少なくでき、さらに装飾を多く含むグラフィック表示を実行することなく、図１５に示すように、簡易的なデジタルテキスト表示を行うことで処理負荷を少なくできる。

【0106】

また、現在位置周辺の地図画像Ａ３のコンテンツについて、表示処理部１３は、ディスプレイ２ａに色数を少なくして表示したり、輝度を低下させたりして表示するようにしても良い。また図１５に示すように、地図画像Ａ３のコンテンツについて、現在位置周辺の地図自体を簡略化又は省略して表示処理しても良く、車両の右左折又は直進などの進行方向を示す矢印マークと共にその距離の情報だけを表示させるようにしても良い。このとき、矢印マークや距離情報は、グラフィック表示に限らず文字コードにより表現可能なコンテンツとすれば、さらに処理負荷を少なくできる。

【0107】

必要に応じて、ＰｔｏＰディスプレイ２の全体の輝度を低下させてコンテンツを表示処理しても良いし、又は、一部のディスプレイ２ａなどに部分的に輝度を例えば最低限まで低下させてコンテンツを表示処理しても良い。また、一部のディスプレイ２ａのフレーム枠サイズに最大限表示することなく、フレーム枠サイズよりも縮小化し、総画素数を少なくして画面表示しても良い。フレーム枠サイズを維持しながら画素数を少なくして画面表示処理しても良い。

【0108】

制御装置１１は、各種のコンテンツＡ１～Ａ６の表示態様を変化させる表示切替時間が所定より短くなると判定したときには、ちらつきなどの表示の煩わしさを避けるため、あえて表示の切り替えを中止することが望ましい。例えば、画素数の多少を調整するため表示を頻繁に切り替えすることで表示の切り替え回数が増加すると、処理負荷をかえって増加させてしまう。しかし、制御装置１１が表示の切替を中止することで表示の切り替え回数を減少させることができ、処理負荷を減らすことができる。

【0109】

このとき制御装置１１は、電子ミラー画像Ａ２又はアラウンドビューＡ１を表示させるアプリ３３にリソースを割り振る優先順位を高くすることで表示処理部１３により常時表示処理すると共に、他のコンテンツ、例えば他の撮像画像Ａ５、又は、エンタメ系コンテンツＡ６の表示の切替・切替中止を選択して実行することが望ましい。

【0110】

（他の実施形態）
本開示は、前述した実施形態に限定されるものではなく、種々変形して実施することができ、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。
表示処理部１３は、以下のように表示処理するようにしても良い。視野範囲ＮＶの外の画像コンテンツであっても、ドライバによる車両の運転操作の情報に基づいて、視野範囲ＮＶ内の画像コンテンツに関連する画像コンテンツのフレームレートを維持しても上げて表示してもよい。
例えば、シフトポジションがリバースに入ったとき、ドライバは左右の電子ミラー画像Ａ２、アラウンドビューＡ１の画像コンテンツ等を交互に確認する可能性がある。このように、シフトポジションがリバースに入ったことを検出したときには、ドライバの運転行動に比較的大きく関係することが想定される左右の電子ミラー画像Ａ２やアラウンドビューＡ１の画像コンテンツを表示する際、視野範囲ＮＶの外であってもフレームレートを維持又は上昇させると良い。このとき、ドライバの運転行動に比較的関係性が少なくなる画像コンテンツの処理負荷を比較的低くするようにリソースを割り振ると良い。

【0111】

前述実施形態では、表示系のＥＣＵ５がその内部のリソースを分担してディスプレイ２ａ、３、４ａに画像コンテンツを描画、表示する形態を説明したが、これに限定されるものではない。特に、ＰｔｏＰディスプレイ２に対して画像コンテンツを表示させる際には、図１６に示すように、複数のＥＣＵ５が、それぞれ対応したディスプレイ２ａに表示処理するようにしても良い。表示系のＥＣＵ５を複数のＥＣＵ５により構成した場合は、当該複数のＥＣＵ５の間を車内ネットワーク２５により接続して構成すると良いし専用線で互いに接続しても良い。

【0112】

図面中、１１ｂは視野検知部、１１ｃは基準判定部、１１ｄは処理負荷変更部、１３は表示処理部、を示す。

【0113】

本開示に記載の制御装置１１や表示処理部１３による手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御装置１１や表示処理部１３及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御装置１１や表示処理部１３及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

【0114】

本開示は、前述した実施形態に準拠して記述したが、本開示は当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】