(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022042719
(43)【公開日】2022-03-15
(54)【発明の名称】画像処理システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220308BHJP
G06F 3/04815 20220101ALI20220308BHJP
【FI】
G06T19/00 600
G06F3/0481 150
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2020148274
(22)【出願日】2020-09-03
(71)【出願人】
【識別番号】000006286
【氏名又は名称】三菱自動車工業株式会社
(74)【代理人】
【識別番号】100174366
【弁理士】
【氏名又は名称】相原 史郎
(72)【発明者】
【氏名】川島 直樹
(72)【発明者】
【氏名】宋 杰
(72)【発明者】
【氏名】須行 洋平
(72)【発明者】
【氏名】小寺 誉
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050BA13
5B050DA01
5B050EA13
5B050EA20
5B050FA02
5B050FA05
5B050FA10
5E555AA26
5E555BA23
5E555BB23
5E555BC01
5E555BE17
5E555CA42
5E555DA08
5E555DB03
5E555DC09
5E555DD06
5E555FA00
(57)【要約】
【課題】車載機器の各種作動状態を短時間で容易に認識可能な画像処理システムを提供する。
【解決手段】車両に搭乗した乗員に装着され、乗員の視界を撮像するカメラ14と、カメラ14の撮像画像を乗員に提供するヘッドマウントディスプレイ13と、車両6に搭載された空調装置2等の車載機器5の作動状態に基づいて仮想画像を生成する仮想画像生成部16と、撮像画像における車載機器5の位置に合わせて仮想画像と撮像画像とを合成して複合現実画像を生成する画像合成部17と、を有し、画像合成部17によって生成された複合現実画像をヘッドマウントディスプレイ13に表示させるコントロールユニット11と、を備えてヘッドマウントディスプレイユニット10を構成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車両に搭乗した乗員の視界を撮像する撮像部と、
画像を表示する画像表示部と、
前記車両の車載機器の作動状態に基づいて仮想画像を生成する仮想画像生成部と、前記撮像部で撮像した撮像画像における前記車載機器の位置に合わせて前記仮想画像を前記撮像画像に重畳させた複合現実画像を生成する画像合成部とを有し、前記撮像部の撮影範囲内で前記乗員の前記視界に前記車載機器が入っている際に、前記画像合成部で生成された前記複合現実画像を前記画像表示部に表示する制御部と、
を備えることを特徴とする画像処理システム。
【請求項2】
前記複合現実画像は、前記車両の車室内における前記車載機器の作動状態を示した形態表示画像であることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記車載機器は、前記車両の車室内を温調する空調装置であり、
前記複合現実画像は、少なくとも前記撮像画像における前記空調装置の送風口の位置に表示され、空調風の風量に応じた大きさに設定された形態表示画像であることを特徴とする請求項2に記載の画像処理システム。
【請求項4】
前記形態表示画像は、前記空調風の設定温度若しくは前記空調装置の運転方法に基づいて色が異なって表示されることを特徴とする請求項3に記載の画像処理システム。
【請求項5】
前記車載機器は、前記車両の車室内に備えられたヒータであって、
前記複合現実画像は、少なくとも前記撮像画像における前記ヒータの加熱対象の位置に表示され、前記ヒータの出力に応じた大きさに設定された形態表示画像であることを特徴とする請求項2に記載の画像処理システム。
【請求項6】
前記車載機器は、前記車両の車室に備えられた音響機器であって、
前記複合現実画像は、少なくとも前記撮像画像における前記音響機器による音の出力位置に表示され、前記音響機器の出力に応じた大きさに設定された形態表示画像であることを特徴とする請求項2に記載の画像処理システム。
【請求項7】
前記仮想画像生成部は、前記形態表示画像とともに、前記車載機器の作動状態に基づく文字情報を合わせて、前記複合現実画像を生成することを特徴とする請求項2から6のいずいれか1項に記載の画像処理システム。
【請求項8】
前記画像処理システムは、前記乗員の頭部に装着される頭部装着型表示装置に搭載されていることを特徴とする請求項1から7のいずれか1項に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の乗員に情報を提供する画像処理システムに関する。
【背景技術】
【0002】
近年では、運転者が視線を前方からそらすことなく画像情報を提供することができる車両用のヘッドアップディスプレイ装置が実用化されてきている。
例えば、特許文献1に記載されたヘッドアップディスプレイ装置は、車両のフロントウインドウに画像を投影し、運転者の前方視界に車速や誘導経路情報等の画像情報の虚像を結像させて、運転者に画像情報を提供する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、自動車等の車両の多くには、空調装置が備えられている。空調装置は、例えば、温度、風量、吹き出し口の位置、吹き出し方向といったように作動状態の種類が比較的多く、また空気を出力するものであるため作動状態を直接目視できるものではない。したがって、例えば空調装置の操作パネルに、作動状態や操作内容等の情報をアイコン等で表示するようにしている。
【0005】
しかしながら、操作パネルにおける表示は位置や大きさが限られるため、空調装置のように複数の吹き出し口から選択的に空調風を吹き出すような場合等、比較的複雑な作動状態について表示して、これを短時間で容易にかつ正確に乗員に認識させることが困難である。
また、車両に搭載したカーオーディオシステムのような音響機器についても、出力が音であるため作動状態を直接目視できるものではなく、作動状態を短時間で容易にかつ正確に乗員に認識させることが困難である。
【0006】
ここで、例えば特許文献1に記載されたヘッドアップディスプレイ装置によって、空調装置等の車載機器について作動状態に関する情報を提供したとしても、車両のフロントウインドウに画像情報を結像させることから表示位置が限定されるので、車載機器の各種作動状態を短時間で認識し難いといった問題点がある。
本発明はこのような事情を考慮してなされたものであり、その目的とするところは、車載機器の各種作動状態を短時間で容易に認識可能に提供できる画像処理システムを提供することにある。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の画像処理システムは、車両に搭乗した乗員の視界を撮像する撮像部と、画像を表示する画像表示部と、前記車両の車載機器の作動状態に基づいて仮想画像を生成する仮想画像生成部と、前記前記撮像部で撮像した撮像画像における前記車載機器の位置に合わせて前記仮想画像を前記撮像画像に重畳させた複合現実画像を生成する画像合成部と、を有し、前記撮像部の撮影範囲内で前記乗員の前記視界に前記車載機器が入っている際に、前記画像合成部で生成された前記複合現実画像を前記画像表示部に表示する制御部と、を備えることを特徴とする。
【0008】
これにより、撮像部の撮影範囲内で乗員の視界に車載機器が入っている際に、車載機器の作動状態に基づいて生成された仮想画像が撮像画像における車載機器の位置に合わせて撮像画像に重畳されて複合現実画像が生成され、画像表示部に表示されるので、車載機器の作動状態を乗員に視認させることができる。車載機器の作動状態が直接視認できないものであっても、仮想画像を含む複合現実画像を視認させて認識させることが可能となる。
【0009】
好ましくは、前記複合現実画像は、前記車両の車室内における前記車載機器の作動状態を示した形態表示画像であるとよい。
これにより、画像表示部に表示された形態表示画像によって、車載機器の作動状態を乗員に認識させることができる。
好ましくは、前記車載機器は、前記車両の車室内を温調する空調装置であり、前記複合現実画像は、少なくとも前記撮像画像における前記空調装置の送風口の位置に表示され、空調風の風量に応じた大きさに設定された形態表示画像であるとよい。
【0010】
これにより、空調装置の送風口の位置に表示され、空調風の風量に応じた大きさに設定された形態表示画像によって、空調装置の作動状態(空調風の吹き出し位置、風量)を乗員に容易に認識させることができる。
好ましくは、前記形態表示画像は、前記空調風の設定温度若しくは前記空調装置の運転方法に基づいて色が異なって表示されるとよい。
【0011】
これにより、空調風の設定温度若しくは空調装置の運転方法を乗員に容易に認識させることができる。
好ましくは、前記車載機器は、前記車両の車室内に備えられたヒータであって、前記複合現実画像は、少なくとも前記撮像画像における前記ヒータの加熱対象の位置に表示され、前記ヒータの出力に応じた大きさに設定された形態表示画像であるとよい。
【0012】
これにより、車両の車室内に備えられたヒータの加熱対象の位置に表示され、ヒータの出力に応じた大きさに設定された形態表示画像によって、ヒータの作動状態(作動中のヒータによる加熱対象の位置、及びヒータの出力)を乗員に容易に認識させることができる。
好ましくは、前記車載機器は、前記車両の車室に備えられた音響機器であって、前記複合現実画像は、少なくとも前記撮像画像における前記音響機器による音の出力位置に表示され、前記音響機器の出力に応じた大きさに設定された形態表示画像であるとよい。
【0013】
これにより、音響機器による音の出力位置に表示され、音響機器による音の出力に応じた大きさに設定された形態表示画像によって、音響機器の作動状態(音の出力位置、音量)を乗員に容易に認識させることができる。
好ましくは、前記仮想画像生成部は、前記形態表示画像とともに、前記車載機器の作動状態に基づく文字情報を合わせて、前記複合現実画像を生成するとよい。
【0014】
これにより、形態表示画像に合わせて表示された文字情報によって、車載機器の作動状態を乗員に詳細に認識させることが可能となる。
好ましくは、前記画像処理システムは、前記乗員の頭部に装着される頭部装着型表示装置に搭載されているとよい。
これにより、乗員の頭部に装着される頭部装着型表示装置によって、視界画像である撮像画像と車載機器の作動状態に基づく仮想画像を重畳させた複合現実画像を乗員に提供することができる。
【発明の効果】
【0015】
本発明の画像処理システムによれば、乗員の視界に車載機器が入っている際に画像表示部に表示される複合現実画像によって、車載機器の作動状態を乗員に短時間で容易に認識させることが可能となる。
【図面の簡単な説明】
【0016】
【
図1】本実施形態に係るヘッドマウントディスプレイユニットを使用した車両用表示システムの概略構成図である。
【
図2】本実施形態に係るヘッドマウントディスプレイに表示される空調装置の作動状態の第1表示例である。
【
図3】本実施形態に係るヘッドマウントディスプレイに表示される空調装置の作動状態の第2表示例である。
【
図4】本実施形態に係るヘッドマウントディスプレイに表示される空調装置の作動状態の第3表示例である。
【
図5】本実施形態に係るヘッドマウントディスプレイに表示される空調装置の作動状態の第4表示例である。
【
図6】本実施形態に係るヘッドマウントディスプレイに表示される車室内機器ヒータの作動状態の表示例である。
【
図7】本実施形態に係るヘッドマウントディスプレイに表示される音響機器の作動状態の表示例である。
【発明を実施するための形態】
【0017】
以下、図面を用いて、本発明の実施形態について説明する。
図1は、本発明の一実施形態のヘッドマウントディスプレイユニット10(頭部装着型表示装置、画像処理システム)を使用した車両用表示システム1の構成図である。
車両用表示システム1は、空調装置2、車室内機器ヒータ3、音響機器4等の車載機器5を備えた自動車(以下、車両6という)に適用される。これらの車載機器5は、車両6の車室内に出力部を備えている。例えば、空調装置2は、車室内に空調風(温調風)を、複数の吹き出し口(送風口)から選択的に吹き出して(出力して)、車室内を温調する。車室内機器ヒータ3は、例えばシートヒータやステアリングヒータであり、車室内に配置され乗員が触れるシートやステアリング等の車室内機器(加熱対象)の温度を上昇させる機能を有する。音響機器4は、例えばカーオーディオシステムであり、車室内の前後左右等の複数のスピーカーから音を出力する。
【0018】
車両用表示システム1は、ヘッドマウントディスプレイユニット10及び車両側通信機12を備えている。
車両側通信機12は、車両に搭載され、車両の空調装置2、車室内機器ヒータ3及び音響機器4等の車載機器5の作動状態信号を無線通信によって送信する。なお、車両側通信機12は、少なくとも車両6の車室内で受信可能な出力を有していればよい。
【0019】
ヘッドマウントディスプレイユニット10は、ヘッドマウントディスプレイ13(画像表示部)、カメラ14(撮像部)、ディスプレイ側通信機15及びコントロールユニット11(制御部)を備えており、車両6の乗員の頭部に装着される。
ヘッドマウントディスプレイ13は、ヘッドマウントディスプレイユニット10を装着した乗員の眼球の前側に位置し、画像を表示して、乗員に画像情報を提供する機能を有する。
【0020】
カメラ14は、例えばヘッドマウントディスプレイ13の近傍に設けられ、乗員の前方側にレンズを向けて配置されている。したがって、カメラ14はヘッドマウントディスプレイユニット10を装着した乗員の頭部が向いた方向、即ち乗員の視線方向である前方を撮像する。
ディスプレイ側通信機15は、車両側通信機12から送信された車載機器5の作動状態信号を受信する。
【0021】
コントロールユニット11は、ヘッドマウントディスプレイ13の表示を制御するための制御装置であり、入出力装置、記憶装置(ROM、RAM、不揮発性RAM等)、中央演算処理装置(CPU)及びタイマ等を含んで構成される。
コントロールユニット11は、ディスプレイ側通信機15が受信した空調装置2、車室内機器ヒータ3、音響機器4の作動状態信号を入力するとともに、カメラ14によって撮像した撮像画像を入力し、ヘッドマウントディスプレイ13において表示する合成画像信号を出力する。
【0022】
コントロールユニット11は、仮想画像生成部16と、画像合成部17を備えている。
仮想画像生成部16は、ディスプレイ側通信機15から空調装置2、車室内機器ヒータ3、音響機器4等の車載機器5の作動状態信号を入力して、車載機器5の作動状態に合わせた仮想画像を生成する。
車載機器5の作動状態としては、例えば車載機器5の出力部の位置と出力、出力態様で規定される。空調装置2においては、出力部の位置は吹き出し口の位置、出力は風量、出力態様は吹き出し口から吹き出される空調風の吹き出し方向及び温度(設定温度)である。車室内機器ヒータ3においては、出力部の位置は車室内機器ヒータ3が備えられた車室内機器の位置、出力は車室内機器ヒータ3の出力(温度)である。音響機器4においては、出力部の位置はスピーカーの位置、出力は音量である。
【0023】
仮想画像及び合成画像(複合現実画像)の詳細な具体例については後述するが、乗員が視覚によって直観的に出力が認識できるものがよく、例えば空調装置2では直径数cmの丸い粒形状の図形表示によって空調風を示し、車室内機器ヒータ3では橙色等の暖色系の色による図形表示によって出力(温度)を示し、音響機器では音符等の図形表示によって音の出力を表示すればよい。
【0024】
画像合成部17は、カメラ14によって撮像した撮像画像を入力するともに、仮想画像生成部16において生成された仮想画像を入力して、撮像画像における車載機器5の位置に合わせて仮想画像を重ねて、撮像画像と仮想画像を合成(重畳)させた合成画像を生成する。
画像合成部17において生成された合成画像は、ヘッドマウントディスプレイ13に表示される。
【0025】
次に、本実施形態のヘッドマウントディスプレイユニット10における空調装置2の作動状態の表示例について説明する。
図2は、空調装置2の作動状態の第1表示例である。
図3は、空調装置2の作動状態の第2表示例である。
図4は、空調装置2の作動状態の第3表示例である。
図5は、空調装置2の作動状態の第4表示例である。
図2~5及び後述する
図6、7は、運転者が装着したヘッドマウントディスプレイユニット10において表示される車載機器5の作動状態の表示例を示している。
【0026】
本実施形態の車両6では、運転席20の前側のダッシュボード21に空調装置2の空調風の吹き出し口22a、22bが2個設けられている。また、助手席23の前側のダッシュボード21に空調装置2の空調風の吹き出し口22c、22dが2個設けられている。
更に、フロントウインドウ24の下端部近傍に、デフロスター用の空調風の吹き出し口25a、25b、25cが車幅方向の左右中央部の計3か所設けられている。また、運転席20及び助手席23の夫々の足元にも、空調風の下部吹き出し口26a、26bが設けられている。これらの複数の空調風の吹き出し口22a~22d、25a~25c、26a、26bは、乗員の空調装置2の操作に基づいて選択される。また、本実施形態の車両6においては、運転席20側と助手席23側の設定温度が独立して設定可能になっている。
【0027】
例えば、
図2に示すように、助手席23側の吹き出し口22c、22dから設定温度25度の空調風が吹き出している場合には、助手席23側の吹き出し口22c、22dから丸い粒形状の図形30(仮想画像、形態表示画像)が、空調風の吹き出し方向に向かって移動しながら表示される。風量については、粒形状の図形30の表示個数で表示される。あるいは、粒形状の図形30の流れの速さで表示してもよい。例えば、吹き出し口22c、22dから吹き出す風量が比較的多い場合に粒形状の図形30の表示個数を多く、あるいは粒形状の図形30の移動速度を早く表示すればよい。
【0028】
また、空調風の温度(設定温度)については、粒形状の図形30の色で表示され、例えば設定温度が比較的高い場合に暖色系の色に、設定温度が比較的低い場合に寒色系の色にする。色については、適宜段階的に表示すればよい。更に、吹き出し口22cの近傍に設定温度の文字情報31を表示させる。文字情報31については、空調風が吹き出している吹き出し口22c、22dの全てに表示してもよいし、
図2に示すように空調風が吹き出している吹き出し口22c、22dのいずれか1個に表示してもよい。
【0029】
例えば、
図3に示すように、運転席20側の吹き出し口22a、22bから設定温度25度の空調風が吹き出している場合には、運転席20側の吹き出し口22a、22bから丸い粒形状の図形30が、空調風の吹き出し方向に向かって移動しながら表示されるとともに、吹き出し口22a、22bの少なくともいずれか一方に、設定温度の文字情報31を表示させる。
【0030】
例えば、
図4に示すように、運転席20側及び助手席23側の両方の吹き出し口22a~22dから空調風が吹き出している場合には、吹き出し口22a~22dから丸い粒形状の図形30が、空調風の吹き出し方向に向かって移動しながら表示される。なお、
図4では、助手席23側よりも運転席20側の風量が多くなるように設定されているので、吹き出し口22c、22dよりも吹き出し口22a、22bにおいて丸い粒形状の図形30が多く表示される。また、運転席側が設定温度24℃、助手席側が設定温度26℃に設定されている場合には、吹き出し口22a、22bの近傍に設定温度の文字情報31と、吹き出し口22c、22dの近傍に設定温度の文字情報31を夫々表示する。
【0031】
例えば、
図5に示すように、デフロスター用の吹き出し口25a、25b、25cから空調風が吹き出しているとともに、助手席23側の下部吹き出し口26bから設定温度28度の空調風が吹き出している場合には、吹き出し口22a~25c及び下部吹き出し口26bから丸い粒形状の図形30が、空調風の吹き出し方向に向かって移動しながら表示される。また、助手席23側の下部吹き出し口26b近傍に、設定温度の文字情報31が表示される。
【0032】
また、空調装置2の運転方法に基づいて、図形30の色を異なるように表示してもよい。
次に、
図6を用いて、本実施形態のヘッドマウントディスプレイユニット10における、車室内機器ヒータ3であるステアリングヒータ及びシートヒータの作動状態の表示例について説明する。
【0033】
図6は、ステアリングヒータ及びシートヒータの作動状態の表示例である。
図6に示すように、車両のステアリング40に内蔵された図示しないステアリングヒータを作動させている場合には、ステアリング40の位置に加熱を示す図形41を表示する。加熱を示す図形41は、例えばヒータのスイッチに示すような図形を表示すればよい。なお、加熱を示す図形41は、暖色系の色で表示するとよい。
【0034】
また、運転席や助手席に内蔵された図示しないシートヒータを作動させている場合には、運転席や助手席の位置に、ステアリングヒータと同様な加熱を示す図形42(仮想画像、形態表示画像)を表示する。また、ステアリングヒータ及びシートヒータについて、出力(温度)が可変設定できるものであれば、当該出力に応じて、加熱を示す図形41、42の色を変化させて表示してもよい。例えば、ステアリングヒータ及びシートヒータの出力(温度)が高くになるに伴って、加熱を示す図形41、42の色を橙色から赤色に変化させるようにすればよい。
【0035】
次に、
図7を用いて、本実施形態のヘッドマウントディスプレイユニット10における音響機器4の作動状態の表示例について説明する。
図7は、音響機器4の作動状態の表示例である。
図7に示すように、音響機器4であるカーオーディオシステムには、出力装置として、車両の左右ドア45a、45bの前下部にスピーカー46a、46bを夫々備えている。
【0036】
音響機器4を作動させて、スピーカー46a、46bから音を出力している場合には、スピーカー46a、46bの位置に、音を示す図形47(仮想画像、形態表示画像)、例えば音符記号を表示する。音を示す図形47については、音量が大きくなるに伴って図形47の大きさを大きく変化させるように表示すればよい。
以上のような構成により、ヘッドマウントディスプレイユニット10を装着した乗員は、カメラ14によって撮像した乗員の前方の撮像画像がヘッドマウントディスプレイ13に表示されるので、直接目視した場合と同様な視界が得られる。また、乗員が頭部を動かすことで、車両前方や車室内がヘッドマウントディスプレイ13に表示されて、当該乗員が車両前方や車室内を視認することができる。
【0037】
更に、カメラ14の撮影範囲内で乗員の視界に車載機器5が入っている際に、このヘッドマウントディスプレイ13に表示される撮像画像に、車載機器5の作動状態に基づく仮想画像が合成されて表示される。仮想画像は、例えば空調装置2における粒形状の図形30や、車室内機器ヒータ3における加熱を示す図形41や、音響機器4における音を示す図形47のように直観的に認識できる仮想的な図形であるので、空気、熱、音といったような実際には視認できるものではなくても、ヘッドマウントディスプレイユニット10を装着した乗員が車載機器5の作動状態を容易にかつ瞬時に認識することが可能となる。
【0038】
特に、車両の空調装置2においては、車室内に複数の出力部(吹き出し口22a~22d、25a~25c、26a、26b)を備え、選択的に空調風が出力され、また空調風についても吹き出し方向、風量、温度といったように出力状態を多様に設定することが可能であるが、本実施形態では、これらの多様な出力状態を、乗員が容易にかつ瞬時に区別して認識することが可能となる。
【0039】
また、出力部の近傍に、図形による表示とともに例えば空調装置における設定温度のように、文字情報31も併せて表示することで、より詳細な作動状態の表示を行うことが可能となる。
本発明は上記の実施形態に限定するものではない。
例えば、車載機器の作動状態を示す形態表示については、上記以外の形態であってもよい。但し、各種の車載機器の作動状態を目視で直観的にかつ瞬時に確認できる形態が望ましい。
【0040】
また、作動状態を表示する車載機器については、例えば車両の後部座席用の空調装置のように、車両のあらゆる位置に出力部があったとしても、当該出力部の位置に作動状態を表示してよい。また、作動状態を表示する車載機器は、空調装置2、車室内機器ヒータ3、音響機器4以外の車載機器であってもよい。
また、運転者以外でも、車両に搭乗したヘッドマウントディスプレイユニット10を装着した乗員に対して複合現実画像を提供してもよい。
【0041】
また、ヘッドマウントディスプレイユニット10について、詳細な構成を適宜変更してもよい。ヘッドマウントディスプレイユニット10については、乗員に対し撮像画像(視界画像)に仮想画像を重畳させた複合現実画像を提供可能なものであればよい。
また、上記実施形態では、ヘッドマウントディスプレイユニット10と車両側通信機12とにより車両用表示システム1を構成しているが、車両6に車載機器5の作動状態信号を無線等で出力する機能があらかじめ備えられている場合には、ヘッドマウントディスプレイユニット10のみで車両用表示システム1を構成することができる。
【符号の説明】
【0042】
1 車両用表示システム
2 空調装置
3 車室内機器ヒータ(ヒータ)
4 音響機器
5 車載機器
6 車両
10 ヘッドマウントディスプレイユニット(画像処理システム、頭部装着型表示装置)
11 コントロールユニット(制御部)
13 ヘッドマウントディスプレイ(画像表示部)
14 カメラ(撮像部)
16 仮想画像生成部
17 画像合成部
30、42、47 図形(仮想画像、形態表示画像)
31 文字情報