知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023071487
(43)【公開日】2023-05-23
(54)【発明の名称】表示制御装置及び表示制御方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230516BHJP
B60R 11/02 20060101ALI20230516BHJP
B60R 1/22 20220101ALI20230516BHJP
B60K 35/00 20060101ALI20230516BHJP
【ＦＩ】
H04N7/18 J
B60R11/02 C
B60R1/22
B60K35/00 Z
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021184308
(22)【出願日】2021-11-11
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】塩口 拓真
【テーマコード（参考）】
3D020
3D344
5C054
【Ｆターム（参考）】
3D020BA04
3D020BA20
3D020BB01
3D020BC02
3D020BD05
3D020BE03
3D344AA19
3D344AB01
3D344AD01
5C054CA04
5C054CC03
5C054FD07
5C054FE09
5C054HA30
(57)【要約】
【課題】車載表示装置の表示出力に対する高い操作性を実現すること。
【解決手段】車両の周囲を撮像した撮像画像を取得する画像取得手段と、前記車両の室内に設置される表示手段と前記車両の室内における乗員の乗車位置との間に所定領域を設定する領域設定手段と、前記所定領域に対応する表示機能を設定する機能設定手段と、前記乗員の視点に関わる位置を検出する視点位置検出手段と、前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行する。
【選択図】図２
【解決手段】車両の周囲を撮像した撮像画像を取得する画像取得手段と、前記車両の室内に設置される表示手段と前記車両の室内における乗員の乗車位置との間に所定領域を設定する領域設定手段と、前記所定領域に対応する表示機能を設定する機能設定手段と、前記乗員の視点に関わる位置を検出する視点位置検出手段と、前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行する。
【選択図】図２
【特許請求の範囲】
【請求項1】
車両の周囲を撮像した撮像画像を取得する画像取得手段と、
前記車両の室内に設置される表示手段と前記車両の室内における乗員の乗車位置との間に所定領域を設定する領域設定手段と、
前記所定領域に対応する表示機能を設定する機能設定手段と、
前記乗員の視点に関わる位置を検出する視点位置検出手段と、
前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、
前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行することを特徴とする表示制御装置。
前記車両の室内に設置される表示手段と前記車両の室内における乗員の乗車位置との間に所定領域を設定する領域設定手段と、
前記所定領域に対応する表示機能を設定する機能設定手段と、
前記乗員の視点に関わる位置を検出する視点位置検出手段と、
前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、
前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行することを特徴とする表示制御装置。
【請求項2】
前記画像制御手段は、前記乗員の視点に関わる位置に基づいて前記撮像画像を加工して、前記乗員の視点から見えると推定される車外の画像である仮想視界画像を生成し、前記視点に関わる位置が前記所定領域にあることを検出した場合には、前記仮想視界画像に対して前記表示機能を実行することを特徴とする請求項１に記載の表示制御装置。
【請求項3】
前記表示機能は、前記撮像画像の拡大であることを特徴とする請求項１に記載の表示制御装置。
【請求項4】
前記機能設定手段は、前記表示手段の近傍に設定された前記所定領域に前記撮像画像を拡大する表示機能を設定し、
前記画像制御手段は、前記視点に関わる位置が前記表示手段に接近して前記所定領域に入った場合に、前記撮像画像を拡大して前記表示手段に表示させる
ことを特徴とする請求項３に記載の表示制御装置。
前記画像制御手段は、前記視点に関わる位置が前記表示手段に接近して前記所定領域に入った場合に、前記撮像画像を拡大して前記表示手段に表示させる
ことを特徴とする請求項３に記載の表示制御装置。
【請求項5】
前記領域設定手段は、前記所定領域に前記表示手段までの距離が異なる複数の分割領域を設定し、
前記機能設定手段は、前記複数の分割領域に異なる拡大率を設定する
ことを特徴とする請求項３に記載の表示制御装置。
前記機能設定手段は、前記複数の分割領域に異なる拡大率を設定する
ことを特徴とする請求項３に記載の表示制御装置。
【請求項6】
前記表示機能は、前記表示手段に表示される撮像画像への経路情報の追加表示であることを特徴とする請求項１に記載の表示制御装置。
【請求項7】
車両の室内に設置された表示手段の表示を制御する表示制御装置が、
前記車両の周囲を撮像した撮像画像を取得する画像取得ステップと、
前記車両の室内における乗員の乗車位置と前記表示手段との間に所定領域を設定する領域設定ステップと、
前記所定領域に対応する表示機能を設定する機能設定ステップと
前記乗員の視点に関わる位置を検出する視点位置検出ステップと、
前記表示手段に前記撮像画像を表示するように制御する画像制御ステップと、を含み
前記画像制御ステップは、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行することを特徴とする表示制御方法。
前記車両の周囲を撮像した撮像画像を取得する画像取得ステップと、
前記車両の室内における乗員の乗車位置と前記表示手段との間に所定領域を設定する領域設定ステップと、
前記所定領域に対応する表示機能を設定する機能設定ステップと
前記乗員の視点に関わる位置を検出する視点位置検出ステップと、
前記表示手段に前記撮像画像を表示するように制御する画像制御ステップと、を含み
前記画像制御ステップは、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行することを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載用の表示制御装置及び表示制御方法に関する。
【背景技術】
【0002】
従来、車両には各種の表示装置が搭載されている。
例えば、特許文献１には「運転者の頭部（上半身）を撮像するコックピットカメラ８を備え、画像処理手段による画像認識によって、運転者の視点３０の位置を検知し、ディスプレイ装置３の表示画面３５に、実際の視点３０の位置に対応した視野映像（３ａ）が表示されるようにしている。」「運転者が車両１前方のより手前側の地表面９を確認したい場合は、頭部を前方に移動させてディスプレイ装置３の表示画面３５を覗き込むようにすることで、スイッチなどによる操作を必要とせず、自然に視点移動が行える。」「車両１の前方の地表面９の陰面となっている領域９ａを、表示画面３５を透過して見渡すような効果が得られる。換言すれば、表示画面３５の位置に車体構造物を貫通する覗き窓が設けられたような効果が得られる。」との記載がある。
また、特許文献２には、「運転席の前方に移動可能に配置された表示モニタ２と、表示モニタ２を移動する移動手段３，４と、車両の死角領域を含む車両前方領域を撮像する撮像手段５～７と、走行中に運転者が注視する注視点Ｐａを判定する注視点判定手段１２と、撮像手段５～７により撮像された画像のうち、視線判定手段１２により判定された注視点Ｐａの周囲の画像を表示モニタ２に表示させる表示制御手段１３と、注視点判定手段１２により判定された注視点Ｐａに向かう運転者の視線Ｌｅに、表示モニタ２に表示される注視点Ｐａの周囲の画像が近づくように移動手段３，４を制御する移動制御手段１３とを備える。」との記載がある。
また、特許文献３には、「乗員室内に取り付けられた複数のディスプレイスクリーンを含む車両用のディスプレイシステムである。カメラは、ディスプレイスクリーンの位置に対応して、車外に取り付けられている。（複数の）センサが、ドライバーの眼の位置をセンシングするために、車両のドライバーに向けて配向されている。ディスプレイシステム用のＥＣＵは、ドライバーの眼の位置を分析し、目線を求める。カメラからの画像が、ドライバーの目線に対応するディスプレイスクリーン上に表示される。この結果、車両はドライバーの視界を妨害するのではなく、ディスプレイシステムは、車体がそこになかったら見られるであろう画像をドライバーに提供する。従って、ディスプレイシステムは、車体の仮想の透明部分を提供し、これによって、ドライバーに提供される視野が広がる。」との記載がある。
例えば、特許文献１には「運転者の頭部（上半身）を撮像するコックピットカメラ８を備え、画像処理手段による画像認識によって、運転者の視点３０の位置を検知し、ディスプレイ装置３の表示画面３５に、実際の視点３０の位置に対応した視野映像（３ａ）が表示されるようにしている。」「運転者が車両１前方のより手前側の地表面９を確認したい場合は、頭部を前方に移動させてディスプレイ装置３の表示画面３５を覗き込むようにすることで、スイッチなどによる操作を必要とせず、自然に視点移動が行える。」「車両１の前方の地表面９の陰面となっている領域９ａを、表示画面３５を透過して見渡すような効果が得られる。換言すれば、表示画面３５の位置に車体構造物を貫通する覗き窓が設けられたような効果が得られる。」との記載がある。
また、特許文献２には、「運転席の前方に移動可能に配置された表示モニタ２と、表示モニタ２を移動する移動手段３，４と、車両の死角領域を含む車両前方領域を撮像する撮像手段５～７と、走行中に運転者が注視する注視点Ｐａを判定する注視点判定手段１２と、撮像手段５～７により撮像された画像のうち、視線判定手段１２により判定された注視点Ｐａの周囲の画像を表示モニタ２に表示させる表示制御手段１３と、注視点判定手段１２により判定された注視点Ｐａに向かう運転者の視線Ｌｅに、表示モニタ２に表示される注視点Ｐａの周囲の画像が近づくように移動手段３，４を制御する移動制御手段１３とを備える。」との記載がある。
また、特許文献３には、「乗員室内に取り付けられた複数のディスプレイスクリーンを含む車両用のディスプレイシステムである。カメラは、ディスプレイスクリーンの位置に対応して、車外に取り付けられている。（複数の）センサが、ドライバーの眼の位置をセンシングするために、車両のドライバーに向けて配向されている。ディスプレイシステム用のＥＣＵは、ドライバーの眼の位置を分析し、目線を求める。カメラからの画像が、ドライバーの目線に対応するディスプレイスクリーン上に表示される。この結果、車両はドライバーの視界を妨害するのではなく、ディスプレイシステムは、車体がそこになかったら見られるであろう画像をドライバーに提供する。従って、ディスプレイシステムは、車体の仮想の透明部分を提供し、これによって、ドライバーに提供される視野が広がる。」との記載がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－０４３３１７号公報
【特許文献2】特開２００９－１４９２３０号公報
【特許文献3】特表２０１４－５３４６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術は、車体などによって生ずる死角を補い、仮想的な視界を提供する表示出力が可能である。しかしながら、従来の技術では、表示出力に対して乗員が能動的な操作等を行うことを十分に想定しているとは言えない。例えば、直接目視しているものをよく見たい場合には顔を近づけることが自然な動作であるが、表示装置に表示された物体をよく見たい場合に表示装置に顔を近づけたとしても、表示装置の解像度等が変わるわけではないため、直接目視している物に顔を近づけたようには視認性は向上しない。表示された物体をよく見たい場合には、拡大表示などを行う必要があるが、車載の表示装置、特に視界の補助を主目的とする表示装置は、このような操作に対応していない。また、拡大表示に限らず、表示出力に対して他の情報を追加する等の操作が求められる場合もある。
さらに、車載の表示装置では、着座位置による制限や安全運転の確保などの観点から、各種操作を行う場合の操作性が非常に重要である。
さらに、車載の表示装置では、着座位置による制限や安全運転の確保などの観点から、各種操作を行う場合の操作性が非常に重要である。
【0005】
そこで、本発明では、車載表示装置の表示出力に対する高い操作性を実現することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、代表的な本発明の表示制御装置の一つは、車両の周囲を撮像した撮像画像を取得する画像取得手段と、前記車両の室内に設置される表示手段と前記車両の室内における乗員の乗車位置との間に所定領域を設定する領域設定手段と、前記所定領域に対応する表示機能を設定する機能設定手段と、前記乗員の視点に関わる位置を検出する視点位置検出手段と、前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行する。
【発明の効果】
【0007】
本発明によれば、車載表示装置の表示出力に対する高い操作性を実現することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【0008】
【図1】実施例１の表示制御装置の概要を説明する説明図
【図2】実施例１の表示制御装置の構成図
【図3】領域の設定時の処理手順を示すフローチャート
【図4】運用時の処理手順を示すフローチャート
【図5】設定時の画面出力の具体例
【図6】領域に機能を対応付ける処理の具体例
【図7】領域サイズ変更の処理の具体例
【図8】領域数の増減の具体例
【図9】表示機能の具体例の説明図
【図10】複数の領域を利用した拡大機能の説明図
【発明を実施するための形態】
【0009】
以下、実施例を図面を用いて説明する。
【実施例0010】
図１は、実施例１の表示制御装置の概要を説明する説明図である。車両１０のダッシュボードには表示手段であるディスプレイ３０が取り付けられている。ディスプレイ３０は、一例としてダッシュボードの運転席側から助手席側までを表示領域とする。車両１０に搭載された表示制御装置は、運転者である乗員Ｕ１の状態を車内カメラにより取得し、乗員Ｕ１（Ｕ１ａ、Ｕ１ｂ）の視点に関わる位置（例えば頭部）を検出して、ディスプレイ３０への表示制御を行う。
【0011】
具体的には、表示制御装置は、乗員Ｕ１の頭部の位置に基づいて、車外カメラにより撮像した画像を加工し、乗員Ｕ１の視点から見えると推定される車外の画像を仮想視界画像としてディスプレイ３０に表示させることで、ディスプレイ３０を仮想的に透過した視界Ｖ２を提供する。この結果、乗員Ｕ１が直接目視可能な視界Ｖ１と仮想的な視界Ｖ２とが連続し、乗員Ｕ１の視界を拡張することができる。
【0012】
図１では、車両１０の前方に障害物Ｄ１が存在する場合を示している。障害物Ｄ１は、車両１０のボンネットに遮蔽され、直接目視可能な視界Ｖ１には含まれていない。しかし、ディスプレイ３０が仮想視界画像を表示することで提供した仮想的な視界Ｖ２により、乗員Ｕ１は障害物Ｄ１を視認することができる。
【0013】
さらに、表示制御装置は、乗員Ｕ１の頭部とディスプレイ３０との位置関係に応じて、ディスプレイ３０の表示に関する機能を実行する。
【0014】
具体例として、図１の乗員Ｕ１ａは、通常のドライビングポジションで運転操作を行っている状態を示す。一方、乗員Ｕ１ｂは、ディスプレイ３０に顔を近づけて前のめりの姿勢になっている状態を示す。
表示制御装置は、乗員Ｕ１の頭部がディスプレイ３０の近傍に設定した所定の領域に入った場合に、障害物Ｄ１を拡大表示する機能を実行する。
このため、ディスプレイ３０は、乗員Ｕ１がＵ１ａとして示す状態にある場合は、その視点から見えると推定される障害物Ｄ１の像を障害物像Ｄ１ａとして表示しているが、乗員Ｕ１がＵ１ｂとして示す状態にある場合は、障害物Ｄ１の像を拡大した障害物像Ｄ１ｂを表示する。
換言するならば、障害物像Ｄ１ｂは、乗員Ｕ１ａの位置から見えると推定される像よりも大きく、乗員Ｕ１ｂは、障害物Ｄ１について詳細な確認が可能となる。
表示制御装置は、乗員Ｕ１の頭部がディスプレイ３０の近傍に設定した所定の領域に入った場合に、障害物Ｄ１を拡大表示する機能を実行する。
このため、ディスプレイ３０は、乗員Ｕ１がＵ１ａとして示す状態にある場合は、その視点から見えると推定される障害物Ｄ１の像を障害物像Ｄ１ａとして表示しているが、乗員Ｕ１がＵ１ｂとして示す状態にある場合は、障害物Ｄ１の像を拡大した障害物像Ｄ１ｂを表示する。
換言するならば、障害物像Ｄ１ｂは、乗員Ｕ１ａの位置から見えると推定される像よりも大きく、乗員Ｕ１ｂは、障害物Ｄ１について詳細な確認が可能となる。
【0015】
対象物をよく見たい場合に対象に顔を近づけるのは自然な動作であり、この動作を拡大表示を要求する操作として受け付けることで、高い操作性で拡大表示機能を実行することができる。また、ディスプレイ３０に対して接触する必要が無い点も、操作性の向上に貢献する。
【0016】
図２は、実施例１の表示制御装置の構成図である。図２に示すように、表示制御装置は、車外カメラ１１、車内カメラ１２、処理部２０及びディスプレイ３０を有する。また、図示を省略したが、表示制御装置は任意の入力インタフェースを備える。入力インタフェースは、ディスプレイ３０と一体化したタッチパネルであってもよいし、物理的なボタンであってもよい。本実施例では、ディスプレイ３０に一体化したタッチパネルを備えるものとして説明を行う。
【0017】
車外カメラ１１は、車両の周囲を撮像した撮像画像を取得する画像取得手段である。
車内カメラ１２は、前記車室内を撮像する撮像手段であり、車室内の乗員の状態を取得するセンサとして機能する。
ディスプレイ３０は、前記車両の室内に設置される表示手段である。
車内カメラ１２は、前記車室内を撮像する撮像手段であり、車室内の乗員の状態を取得するセンサとして機能する。
ディスプレイ３０は、前記車両の室内に設置される表示手段である。
【0018】
処理部２０は、視点位置検出部２１、領域設定部２２、機能設定部２３及び画像制御部２４を有する。処理部２０をコンピュータで実現する場合には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がプログラムを実行することで、視点位置検出部２１、領域設定部２２、機能設定部２３及び画像制御部２４に対応する機能を実現すればよい。
【0019】
視点位置検出部２１は、乗員の視点に関わる位置を検出する視点位置検出手段である。具体的には、視点位置検出部２１は、車内カメラ１２が撮像した画像に対する画像認識処理を行い、乗員の頭部位置を乗員の視点に関わる位置として検出する。
【0020】
領域設定部２２は、車両の室内における乗員の乗車位置とディスプレイ３０との間に所定領域を設定する領域設定手段である。
機能設定部２３は、所定領域に対応する表示機能を設定する機能設定手段である。表示機能としては、撮像画像の拡大、撮像画像への経路情報の追加表示、コンテンツ再生に関する情報表示など、任意の機能を設定することができる。
機能設定部２３は、所定領域に対応する表示機能を設定する機能設定手段である。表示機能としては、撮像画像の拡大、撮像画像への経路情報の追加表示、コンテンツ再生に関する情報表示など、任意の機能を設定することができる。
【0021】
画像制御部２４は、ディスプレイ３０に撮像画像を表示するよう制御する画像制御手段である。ディスプレイ３０に表示する撮像画像は、車外カメラ１１が撮像したままの撮像画像を用いてもよいが、車外カメラ１１が撮像した撮像画像から仮想視界画像を生成し、仮想視界画像をディスプレイ３０に表示する撮像画像とすることが好適である。
仮想視界画像は、視点位置検出部２１により検出された視点位置に基づき、乗員の視点から見えると推定される車外の画像を生成したものである。
仮想視界画像は、視点位置検出部２１により検出された視点位置に基づき、乗員の視点から見えると推定される車外の画像を生成したものである。
【0022】
さらに、画像制御部２４は、乗員の頭部（視点に関わる位置）が領域設定部２２により設定された領域にあることを検出した場合に、ディスプレイ３０に表示される撮像画像に対して、機能設定部２３により設定された表示機能を実行する。このとき、ディスプレイ３０に表示される撮像画像が仮想視界画像であれば、画像制御部２４は、仮想視界画像に対して表示機能を実行することになる。
【0023】
例えば、領域設定部２２がディスプレイ３０の近傍に領域を設定し、その領域に機能設定部２３が拡大表示機能を対応付けていれば、画像制御部２４は、頭部がディスプレイ３０に接近して領域に入った場合に、可視視界画像を拡大してディスプレイ３０に表示させる。このとき、拡大の対象は、可視視界画像の一部であってもよい。例えば、乗員の視線の検知などにより乗員が注目している可視視界画像上のオブジェクトを特定し、特定したオブジェクトを選択的に拡大してもよい。
【0024】
また、機能設定部２３が対応付けた機能が「経路情報の追加表示」であれば、画像制御部２４は、頭部がその領域に入った場合に、仮想視界画像に対して経路情報を重畳する。
同様に、機能設定部２３が対応付けた機能が「音楽情報の表示」であれば、画像制御部２４は、頭部がその領域に入った場合に、音楽に関する情報を表示する。例えば、乗員がその時に流れている楽曲に興味を持ってディスプレイ３０に顔を近づけると、その楽曲の曲名やアーティスト名を表示する、といった情報提供が可能である。
同様に、機能設定部２３が対応付けた機能が「音楽情報の表示」であれば、画像制御部２４は、頭部がその領域に入った場合に、音楽に関する情報を表示する。例えば、乗員がその時に流れている楽曲に興味を持ってディスプレイ３０に顔を近づけると、その楽曲の曲名やアーティスト名を表示する、といった情報提供が可能である。
【0025】
領域設定部２２は、所定領域にディスプレイ３０までの距離が異なる複数の分割領域を設定することができる。このとき、機能設定部２３は、複数の分割領域にそれぞれ機能を設定することができる。例えば、複数の分割領域に対し、拡大率の異なる拡大表示機能を設定すれば、ディスプレイ３０に顔を近づけるほど対象を大きく表示する、といった処理が可能である。
【0026】
【0027】
処理が開始すると、まず、車内カメラ１２による画像の取得を開始する（ステップＳ１０１）。視点位置検出部２１は、車内カメラ１２により取得された画像から視点位置（例えば頭部）を検出する処理を開始する（ステップＳ１０２）。また、画像制御部２４は、視点位置とディスプレイ３０との位置関係の表示を開始する（ステップＳ１０３）。
【0028】
領域設定部２２は、乗員からの入力操作を受け付けて、領域の増減（ステップＳ１０４）と、領域サイズ変更（ステップＳ１０５）を行う。機能設定部２３は、各領域に対応付ける機能の選択を受け付ける（ステップＳ１０６）。
【0029】
その後、確定の操作を受け付けるまでステップＳ１０４～Ｓ１０６は繰り返される。確定の操作を受け付けたならば（ステップＳ１０７；Ｙｅｓ）、画像制御部２４は、領域と機能の設定内容を記憶して（ステップＳ１０８）、領域設定の処理を終了する。
【0030】
図４は、運用時の処理手順を示すフローチャートである。表示制御装置の処理部２０は、車載機器に電源が供給されている場合に、図４に示した処理手順を繰り返し実行する。まず、車外カメラ１１及び車内カメラ１２が、それぞれ画像を取得する（ステップＳ２０１）。
【0031】
視点位置検出部２１は、車内カメラ１２により取得された画像から視点位置（例えば頭部）を検出する（ステップＳ２０２）。画像制御部２４は、視点位置と車外カメラ１１の画像から仮想視界画像を生成し（ステップＳ２０３）、仮想視界画像をディスプレイ３０に表示させる仮想視界画像表示処理を行う（ステップＳ２０４）。
【0032】
さらに画像制御部２４は、視点位置の所在する領域を判定する（ステップＳ２０５）。視点位置の所在する領域に対応する機能が設定されているならば（ステップＳ２０６；Ｙｅｓ）、画像制御部２４はその機能を呼び出して実行し（ステップＳ２０７）、処理を終了する。処理の終了後は、ステップＳ２０１を再び開始することになる。視点位置の所在する領域に対応する機能が設定されていなければ（ステップＳ２０６；Ｎｏ）、そのまま処理を終了し、再びステップＳ２０１を開始する。
【0033】
図５は、設定時の画面出力の具体例である。設定時には、ディスプレイ３０は、座席イメージＧ１、頭部イメージＧ２（Ｇ２ａ、Ｇ２ｂ）、ディスプレイイメージＧ３、領域追加ボタンＧ４、領域削除ボタンＧ５を表示する。
【0034】
座席イメージＧ１は、乗員の乗車位置を模式的に示すための画像である。頭部イメージＧ２は、乗員の頭部の位置を模式的に示すための画像である。ディスプレイイメージＧ３は、ディスプレイ３０の位置を模式的に示すための画像である。頭部イメージＧ２は、視点位置検出部２１による検出結果に基づいて配置され、頭部が座席及びディスプレイ３０に対してどの位置にあるかを示すことができる。
【0035】
境界インジケータＧ１０は、乗車位置とディスプレイ３０の間に設定された領域の境界を示す。図５では、座席イメージＧ１から境界インジケータＧ１０までが領域Ａ１、境界インジケータＧ１０からディスプレイイメージＧ３までが領域Ａ２として設定されている。
【0036】
また、各領域には表示機能を示す機能アイコンが表示されている。領域Ａ１に表示された機能アイコンＧ１１は、「表示機能未設定」を示す。領域Ａ２に表示された機能アイコンＧ１２は、「拡大表示機能」を示す。
【0037】
ここで、頭部イメージＧ２の位置は、視点位置検出部２１による検出結果を用いてリアルタイムで変更される。図５の頭部イメージＧ２ａは、通常のドライビングポジションで運転操作を行っている状態での頭部の位置を示している。頭部イメージＧ２ｂは、ディスプレイ３０に顔を近づけて前のめりの姿勢になっている状態での頭部の位置を示している。このように、リアルタイムで頭部の位置を表示することで、乗員は、自らの頭部の位置と領域との関係を容易に認識可能である。
【0038】
図６は、領域に機能を対応付ける処理の具体例である。図６に示すように、領域Ａ２の機能アイコンＧ１２に対する長押し操作を受け付けると、画像制御部２４は、選択可能な表示機能を表示する。図６では、「拡大表示機能」の機能アイコンＧ１２、「経路情報の追加表示」の機能アイコンＧ１３、「音楽情報の表示」の機能アイコンＧ１４が表示されている。機能アイコンＧ１３が選択されると、以降、領域Ａ２には機能アイコンＧ１３が表示される。このとき、機能設定部２３は、領域Ａ２に「経路情報の追加表示」を対応付ける。
【0039】
図７は、領域サイズ変更の処理の具体例である。図７に示すように境界インジケータＧ１０をスライドさせる操作を受け付けると、画像制御部２４は、スライドの量に応じて境界インジケータＧ１０の位置を変更する。このとき、領域設定部２２は、変更後の位置に合わせて領域Ａ１及び領域Ａ２のサイズを変更する。
【0040】
図８は、領域数の増減の具体例である。図８に示すように、領域Ａ１と領域Ａ２が設定された状態で領域追加ボタンＧ４の操作を受け付けると、新たに領域Ａ３が追加される。一例として、追加の領域は最もディスプレイ３０に近い既存の領域を２分割して生成すればよい。また、追加の領域の表示機能は、分割元の領域と同一としてもよいし、既存領域に設定されていない表示機能を初期値として与えてもよい。
【0041】
領域Ａ１と領域Ａ２が設定された状態で領域削除ボタンＧ５の操作を受け付けると、領域Ａ２が削除される。この結果、表示機能が設定されていない領域Ａ１のみが残る。言い換えれば、表示機能が設定された領域が全て削除された状態である。
複数の領域が存在する状態で削除操作を受け付けた場合に、どの領域を削除するかは任意に設定可能であるが、一例として、表示機能が設定されている領域と表示機能が設定されていない領域が存在する場合には、表示機能が設定されている領域を優先的に削除すればよい。この優先順序は、表示機能を「乗員の明示的な操作に応じて実行する追加の機能」として位置付けるものである。かかる位置づけを採用するならば、通常のドライビングポジションに対応する領域は、常に「表示機能未設定」となるようにすることが好適である。
複数の領域が存在する状態で削除操作を受け付けた場合に、どの領域を削除するかは任意に設定可能であるが、一例として、表示機能が設定されている領域と表示機能が設定されていない領域が存在する場合には、表示機能が設定されている領域を優先的に削除すればよい。この優先順序は、表示機能を「乗員の明示的な操作に応じて実行する追加の機能」として位置付けるものである。かかる位置づけを採用するならば、通常のドライビングポジションに対応する領域は、常に「表示機能未設定」となるようにすることが好適である。
【0042】
表示機能未設定の領域Ａ１のみの状態で、領域追加ボタンＧ４が操作された場合には、ディスプレイ３０側に新規の領域Ａ２を追加し、初期状態の表示機能として「拡大表示機能」を設定することとしてもよい。
【0043】
図９は、表示機能の具体例の説明図である。
乗員の頭部が移動し、「拡大表示機能」が設定された領域に入ったならば、画像制御部２４は、障害物像Ｄ１ａを拡大して障害物像Ｄ１ｂを表示する。
同様に、乗員の頭部が移動し、「経路情報の追加表示」が設定された領域に入ったならば、画像制御部２４は、経路情報Ｎ１を表示する。
乗員の頭部が移動し、「拡大表示機能」が設定された領域に入ったならば、画像制御部２４は、障害物像Ｄ１ａを拡大して障害物像Ｄ１ｂを表示する。
同様に、乗員の頭部が移動し、「経路情報の追加表示」が設定された領域に入ったならば、画像制御部２４は、経路情報Ｎ１を表示する。
【0044】
図１０は、複数の領域を利用した拡大機能の説明図である。図１０では、乗員の乗車位置からディスプレイ３０までの間に領域Ａ１～Ａ３が順次設定されている。領域Ａ１は、表示機能未設定である。領域Ａ２と領域Ａ３は拡大表示機能が設定されている。言い換えれば、領域Ａ２と領域Ａ３は、表示機能が設定された所定領域に設けられた分割領域であり、領域Ａ２と領域Ａ３には異なる拡大率が設定されている。拡大率の異なる拡大表示は、個別の表示機能としてもよいし、単一の機能を重複させて拡大率を異ならせてもよい。例えば、拡大表示機能の拡大率を一律「１．２」とし、領域Ａ１から領域Ａ２に入ったときの拡大率を「１．２」、領域Ａ２から領域Ａ３に入ったときの拡大率を「１．２×１．２＝１．４４」とすることで、拡大の重複が可能である。
【0045】
図１０では、乗員の頭部が領域Ａ１に所在する場合には、拡大率が「１」に相当する障害物像Ｄ１ａが表示され、領域Ａ２に入ったときに拡大率が「１．２」の障害物像Ｄ１ｂが表示され、領域Ａ３に入ったときに拡大率が「１．４４」の障害物像Ｄ１ｃが表示される。このように、分割領域に異なる拡大率を対応させることで、頭部の位置に応じて段階的に拡大を行うことができる。
【0046】
上述してきたように、開示の装置は、車両の周囲を撮像した撮像画像を取得する画像取得手段と、前記車両の室内に設置される表示手段と、前記車両の室内における乗員の乗車位置と前記表示手段との間に所定領域を設定する領域設定手段と、前記所定領域に対応する表示機能を設定する機能設定手段と、前記乗員の視点に関わる位置を検出する視点位置検出手段と、前記表示手段に前記撮像画像を表示するように制御する画像制御手段と、を備え、前記画像制御手段は、前記視点に関わる位置が前記所定領域にあることを検出した場合、前記表示手段に表示される撮像画像に対して前記表示機能を実行することを特徴とする。
かかる構成及び動作によれば、乗員が視点（眼、頭部、顔）を特定のエリア（好ましくはディスプレイに近い領域）に移動させるだけで、特別な操作を行うことなく、自車両周辺の遠方の状況を確認したり（カメラ画像の拡大表示）、運転に必要なカメラ画像以外の情報（ナビゲーション情報等）の確認をしたりすることが可能になる。
このため、車載表示装置の表示出力に対する高い操作性が実現できる。
かかる構成及び動作によれば、乗員が視点（眼、頭部、顔）を特定のエリア（好ましくはディスプレイに近い領域）に移動させるだけで、特別な操作を行うことなく、自車両周辺の遠方の状況を確認したり（カメラ画像の拡大表示）、運転に必要なカメラ画像以外の情報（ナビゲーション情報等）の確認をしたりすることが可能になる。
このため、車載表示装置の表示出力に対する高い操作性が実現できる。
【0047】
また、開示の装置によれば、前記画像制御手段は、前記乗員の視点に関わる位置に基づいて前記撮像画像を加工して、前記乗員の視点から見えると推定される車外の画像である仮想視界画像を生成し、前記視点に関わる位置が前記所定領域にあることを検出した場合には、前記仮想視界画像に対して前記表示機能を実行する。
このため、乗員の視点に応じた仮想の視界を提供しつつ、乗員が表示手段に顔を近づけたときには、追加の機能を呼び出すことができる。
このため、乗員の視点に応じた仮想の視界を提供しつつ、乗員が表示手段に顔を近づけたときには、追加の機能を呼び出すことができる。
【0048】
また、開示の装置によれば、前記領域設定手段は、前記所定領域に前記表示手段までの距離が異なる複数の分割領域を設定し、前記機能設定手段は、前記複数の分割領域に異なる拡大率を設定する。
かかる構成及び動作によれば、乗員の頭部の位置に応じて段階的に拡大を行うことができる。
かかる構成及び動作によれば、乗員の頭部の位置に応じて段階的に拡大を行うことができる。
【0049】
なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。
【0050】
例えば、運転者以外に他の乗員がいる場合に、他の乗員を対象に本発明を適用してもよい。また、複数の乗員のうち、特定の乗員を指定して本発明の適用対象としてもよい。
【0051】
また、車内カメラ以外の任意のセンサ、例えば、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）や、据え置きされたスマートフォンなどから乗員の状態を取得してもよい。さらに、複数のセンサ、複数種類のセンサの出力を組み合わせて用いることもできる。
【0052】
また、複数の領域に機能を設定する場合に、関連する機能を設定することとしてもよい。例えば、乗員が表示手段に顔を近づけると、まず空調のメインメニューが起動し、さらに顔を近づけると温度設定を上昇させる、といった処理を行わせることができる。
【0053】
また、開示の実施例では、領域を表示画面上で設定する例を示したが、ディスプレイと視点位置との位置関係は、任意の方法で指定することができる。例えば、ディスプレイからの距離や、予め所定の基準で区分した車内の空間を指定するものであってもよい。本発明において領域とは、視点位置に基づいて表示機能を起動するか否かを判別できるものであればよい。
【0054】
また、上記の実施例では、ボンネットを透過して仮想の視界を提供するディスプレイに本発明を適用する場合を例示したが、ピラーを透過する視界を提供するピラーモニター、サイドミラーの機能を提供する電子ミラー、バックモニタなどに本発明を適用してもよい。
さらに、例えばピラーモニターと電子ミラーを搭載する場合のように、複数の表示装置が搭載され、それぞれが本発明の機能を有する場合には、それぞれの表示装置ごとに領域と機能を設定することができる。この場合には、乗員の視界を判定し、本発明の機能を実行させる表示装置を選択することが好適である。
さらに、例えばピラーモニターと電子ミラーを搭載する場合のように、複数の表示装置が搭載され、それぞれが本発明の機能を有する場合には、それぞれの表示装置ごとに領域と機能を設定することができる。この場合には、乗員の視界を判定し、本発明の機能を実行させる表示装置を選択することが好適である。
【符号の説明】
【0055】
１１：車外カメラ、１２：車内カメラ、２０：処理部、２１：視点位置検出部、２２：領域設定部、２３：機能設定部、２４：画像制御部、３０：ディスプレイ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】