特許 7627421 車両用画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-29

(45)【発行日】2025-02-06

(54)【発明の名称】車両用画像処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250130BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 U

【請求項の数】 2

(21)【出願番号】P 2020215332

(22)【出願日】2020-12-24

(65)【公開番号】P2022101006

(43)【公開日】2022-07-06

【審査請求日】2023-09-25

(73)【特許権者】

【識別番号】000002082

【氏名又は名称】スズキ株式会社

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100170379

【弁理士】

【氏名又は名称】徳本 浩一

(74)【代理人】

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】内田 仁

【審査官】薄井 義明

(56)【参考文献】

【文献】特開２０２１－１９３４２７（ＪＰ，Ａ）

【文献】特開２０１８－１６２０３０（ＪＰ，Ａ）

【文献】特開２０１８－２０３２４５（ＪＰ，Ａ）

【文献】特表２００９－５４２５０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の周囲を捉えた周囲画像が入力される入力部と、
複数の白色ブロック領域が周期的に配列されてなる焦点調節支援図形が表された焦点調節支援画像を、前記周囲画像に合成してなる表示用画像を生成する合成部と、
前記表示用画像を表示する表示部と
を備え、
前記配列の周期が、前記表示部までの視距離が１メートルである場合の視角０．５度～１．５度の範囲に相当し、
前記白色ブロック領域の輝度が、前記周囲画像のピクセル輝度の１．２倍又は０．８倍であり、
前記焦点調節支援図形が、
前記焦点調節支援画像の上辺の近傍において前記焦点調節支援画像の水平方向に沿って複数の前記白色ブロック領域が配列されてなる第１ブロック群と、
前記焦点調節支援画像の下辺の近傍において前記焦点調節支援画像の水平方向に沿って複数の前記白色ブロック領域が配列されてなる第２ブロック群と、
前記第１ブロック群の左端と前記第２ブロック群の左端との間、または前記第１ブロック群の右端と前記第２ブロック群の右端との間において、前記焦点調節支援画像の垂直方向に沿って複数の前記白色ブロック領域が配列されてなる第３ブロック群と
を有し、
複数の前記白色ブロック領域はいずれも正方形であり、各辺の長さが隣り合う２つの前記白色ブロック領域の間隔に等しい、
車両用画像処理装置。

【請求項2】

車両の周囲を捉えた周囲画像が入力される入力部と、
複数の白色ブロック領域が周期的に配列されてなる焦点調節支援図形が表された焦点調節支援画像を、前記周囲画像に合成してなる表示用画像を生成する合成部と、
前記表示用画像を表示する表示部と
を備え、
前記配列の周期が、前記表示部までの視距離が１メートルである場合の視角０．５度～１．５度の範囲に相当し、
前記白色ブロック領域の輝度が、前記周囲画像のピクセル輝度の１．２倍又は０．８倍であり、
前記焦点調節支援図形が、
前記焦点調節支援画像の中心を通り前記焦点調節支援画像の水平方向に沿って複数の前記白色ブロック領域が配列されてなる第１ブロック群と、
前記焦点調節支援画像の中心を通り前記焦点調節支援画像の垂直方向に沿って複数の前記白色ブロック領域が配列されてなる第２ブロック群と
を有し、
複数の前記白色ブロック領域はいずれも正方形であり、各辺の長さが隣り合う２つの前記白色ブロック領域の間隔に等しい、
車両用画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は車両用画像処理装置に関する。

【背景技術】

【0002】

特許文献１に、車両の後側方を撮影する撮像装置から出力される画像信号を画像処理して表示装置に画像処理後の画像を表示させる車載画像処理装置が記載されている。この車載画像処理装置は、前記車両の走行状態情報を取得する走行状態情報取得部と、前記走行状態情報に基づいて、前記表示装置に表示される前記画像の少なくとも一部にぼかし処理がされるように、前記撮像装置からの前記画像信号を画像処理する画像処理部とを有する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１２５８９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子ミラーの表示装置は、光学ミラーとは異なり、車室内に設けられる。車両前方と車室内の電子ミラーの表示装置との視距離の差は、車両前方と車室外の光学ミラーとの視距離の差に比べて大きいことから、電子ミラーを搭載した車両の運転者にとっては目への生理的負担が大きい。

【0005】

本発明は、電子ミラーを搭載した車両の運転者の目に対する生理的負担を軽減することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る車両用画像処理装置は、車両の周囲を捉えた周囲画像が入力される入力部と、複数の白色ブロック領域が周期的に配列されてなる焦点調節支援図形が表された焦点調節支援画像を、前記周囲画像に合成してなる表示用画像を生成する合成部と、前記表示用画像を表示する表示部とを備える。前記配列の周期が、前記表示部までの視距離が１メートルである場合の視角０．５度～１．５度の範囲に相当し、前記白色ブロック領域の輝度が、前記周囲画像のピクセル輝度の１．２倍又は０．８倍である。前記焦点調節支援図形は、前記焦点調節支援画像の上辺の近傍において前記焦点調節支援画像の水平方向に沿って複数の前記白色ブロック領域が配列されてなる第１ブロック群と、前記焦点調節支援画像の下辺の近傍において前記焦点調節支援画像の水平方向に沿って複数の前記白色ブロック領域が配列されてなる第２ブロック群と、前記第１ブロック群の左端と前記第２ブロック群の左端との間、または前記第１ブロック群の右端と前記第２ブロック群の右端との間において、前記焦点調節支援画像の垂直方向に沿って複数の前記白色ブロック領域が配列されてなる第３ブロック群とを有する。複数の前記白色ブロック領域はいずれも正方形であり、各辺の長さが隣り合う２つの前記白色ブロック領域の間隔に等しい。

【発明の効果】

【0007】

本発明によれば、電子ミラーを搭載した車両の運転者の目に対する生理的負担を軽減することができる。

【図面の簡単な説明】

【0008】

【図1】光学ミラーの視距離を示す説明図である。

【図2】電子ミラーの表示装置の視距離を示す説明図である。

【図3】画像処理装置のブロック図である。

【図4】調節支援画像の一例を示す説明図である。

【図5】調節支援画像をカメラ画像に重畳させてなる表示用画像を示す説明図である。

【図6】調節支援画像の別の例を示す説明図である。

【図7】調節支援画像のさらに別の例を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本発明を図示の実施の形態に基づいて説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。

【0010】

車両の後方や後側方などを通常の運転姿勢をとった状態で目視確認するために、鏡（後写鏡）による反射像が用いられている。その一方で、車体の空気抵伉削減や、視野範囲の動的変更、暗視技術や物体検出技術との融合による安全性の向上を目的として、カメラとディスプレイ装置を組み合わせた電子ミラーが開発されている。

【0011】

図１に示すように、光学ミラー（右ドアミラー）Ｍが搭載された自車両１ａの右後方に、他車両２が位置している。自車両１ａの運転者が光学ミラーＭにより他車両２を視認する際の視距離は、光学ミラーＭによる他車両２の虚像２ａまでの距離Ｄ１に等しい。

【0012】

図２に示す自車両１ｂには、電子ミラーシステムが搭載されている。この電子ミラーシステムは、車室外に設けられたカメラ１１と、車室内（運転席周辺）に設けられカメラ（右ドアカメラ）１１が捉えた画像が表示されるディスプレイ１２とを備える。自車両１ｂの右後方に、他車両２が位置している。自車両１ｂの運転者がディスプレイ１２により他車両２を視認する際の視距離は、ディスプレイまでの距離Ｄ２に等しい。この距離Ｄ２は、１メートル前後であり、図１の距離Ｄ１よりも小さい。

【0013】

自車両１ａの前方を視認する際の視距離（ほぼ無限遠相当）と距離Ｄ１との差に比べると、自車両１ｂの前方を視認する際の視距離と距離Ｄ２との差は大きい。そのため、電子ミラーシステムを搭載した車両の運転手にとって、目の焦点調節の負担が大きくなる。

【0014】

人間の目は、網膜上で結ばれた像のボケ具合と、絵画的な距離感を手掛かりとして、注視点に対して水晶体の厚みや両目の輻輳角を調節している。これに鑑み、以下の実施形態では、画像のボケを網膜上で知覚しやすくし、かつ絵画的な奥行き感をディスプレイ上で表現するための焦点調節支援図形がカメラ画像に重畳され、カメラ画像及び焦点調節支援図形がディスプレイに表示される。これにより、目の焦点調節機能が支援される。

【0015】

具体的には、以下の３要素を組み合わせた焦点調節支援図形がカメラ画像に重畳される。
（１）人間の目の空間周波数－コントラスト感度特性に合わせた幾何学図形の使用
人間の目は、視認対象に対して常に正確に焦点を合わせているわけではなく、ある程度の調節誤差が存在する。この調節誤差は、視認対象の画像の空間周波数に応じて定まる。そのため、ある程度細かく、かつエッジのボケを識別しやすい矩形波状の輝度変化が生じるような、例えばある程度の大きさを持った複数のブロック領域が周期的に配列されてなるブロック群が、焦点調節（ピント合わせ）の支援に適している。人間の目の空間周波数特性から、ブロック領域の配列周期が視角で０．５度～１．５度になることが望ましい。これは、視距離１メートル前後に置かれたディスプレイでは、１０ミリメートル～２５ミリメートル程度の配列周期に相当する。

【0016】

（２）低いコントラスト
画面上の明暗の差が大きい（コントラストが高い）場合、多少ピントがぼけていても明暗の境界が明瞭にわかるため、人間の目は調節を停止してしまう。このため、目のピント合わせ誤差と視認対象画像のコントラストとの間には、一定の関係がある。この関係を利用して、白色の調節支援図形が表示される表示領域内の各ピクセル輝度が、カメラ画像の対応するピクセル輝度の１．２倍程度となるような乗算処理または加算処理を行って、元のカメラ画像上に半透明状に焦点調節支援図形を描画する。

【0017】

（３）ディスプレイのパネル面を認識しやすくする意匠
ディスプレイ上に表示されるカメラ画像は、実際の風景であるため、絵画的な遠近感を有する。人間の目は、ビント合わせの手掛かりとして、画像から主観的に感じる遠近感を手掛かりとするため、「遠くにあるような画像」に対して目は遠くのものを見るような調節を行おうとする。
このための焦点調節支援図形としては、ディスプレイのパネル面を感じさせやすくするために、遠近を感じさせないよう、複数のブロック領域が間隔を置いて一方向に配列されてなるブロック群を、複数用意し、それらを直交するように組み合わせて、隣り合うブロック領域の間隔も画像内で一定であることが好ましい。

【0018】

図３に、自車両１ｂに搭載される電子ミラーシステム１００を示す。電子ミラーシステム１００は、先に述べたカメラ１１及びディスプレイ１２に加え、焦点調節支援画像生成部１３と画像合成部１４とを備えている。カメラ１１と焦点調節支援画像生成部１３とが画像合成部１４の入力部に接続され、画像合成部１４の出力部はディスプレイ１２に接続される。

【0019】

カメラ１１が捉えた自車両１ｂの周囲画像は、画像合成部１４の入力部に送られる。また、焦点調節支援画像生成部１３は、焦点調節支援図形が表された焦点調節支援画像を生成し、その焦点調節支援画像を画像合成部１４に送る。以下、焦点調節支援図形及び焦点調節支援画像をそれぞれ、支援図形及び支援画像とも呼ぶ。

【0020】

なお、電子ミラーシステム１００は、コンピュータシステムである。画像合成部１４は、プロセッサと、メモリと、カメラ１１、焦点調節支援画像生成部１３、及びディスプレイ１２との間で通信を行うための通信インタフェースとを有する。

【0021】

図４に、一例として支援図形が表された支援画像５を示す。この支援画像５は、矩形状であり、カメラ画像と同じサイズを有する。支援図形ＢＦは、第１ブロック群Ｂ１と第２ブロック群Ｂ２と第３ブロック群Ｂ３とを有する。第１ブロック群Ｂ１は、支援画像５の上辺５１の近傍において、支援画像５の水平方向に沿って周期的に配列された複数の白色ブロック領域ＢＬを有する。第２ブロック群Ｂ２は、支援画像５の下辺５２の近傍において、支援画像５の水平方向に沿って周期的に配列された複数の白色ブロック領域ＢＬを有する。第３ブロック群Ｂ３は、支援画像５の左辺５３の近傍において、第１ブロック群Ｂ１の左端と第２ブロック群Ｂ２の左端とを連結するように、支援画像５の垂直方向に沿って周期的に配列された複数の白色ブロック領域ＢＬを有する。このように、支援図形ＢＦは全体として略Ｕ字状である。

【0022】

白色ブロック領域ＢＬはいずれも正方形であり、各辺の長さは、隣り合う２つのブロック領域ＢＬの間隔に等しい。つまり、ブロック領域の配列周期Ｐは、各ブロック領域の一辺の長さの２倍である。そして、この配列周期Ｐは、視角で０．５度から１．５度の範囲にある。ディスプレイ１２の視距離が１メートルの場合、配列周期Ｐは、約１０ミリメートルから約２５ミリメートルの範囲にある。このように、人間の目の空間周波数特性に応じた配列周期で白色ブロック領域が配列されている。

【0023】

白色ブロック領域ＢＬの各ピクセル輝度は、カメラ画像の対応するピクセル輝度の１．２倍程度となるように定められ、白色ブロック領域ＢＬが表示用画像において半透明に表される。すなわち、白色ブロック領域とそれ以外の領域とのコントラストが約２０％となる。このように、コントラストを比較的低く設定するのは、コントラストが比較的高いと多少ピントがぼけていても人間の目は調節を停止してしまうという点を考慮したものである。

【0024】

また、支援図形は、ドライバーに遠近を感じさせないよう、複数のブロックが間隔を置いて一方向に配列されてなるブロック群を、複数用意し、それらが直交するように組み合わされてなる。そのため、ドライバーにとって、ディスプレイのパネル面が感じやすくなる。

【0025】

支援図形ＢＦが表された支援画像５が、支援画像生成部１３にて生成され、支援画像生成部１３から画像合成部１４へと送られる。画像合成部１４は、カメラ１１から送られたカメラ画像に支援画像５を重畳させてなる表示用画像を生成する。この表示用画像は、画像合成部１４からディスプレイ１２に送られ、ディスプレイ１２に表示される。表示用画像の例を図５に示す。

【0026】

以上のような実施形態によれば、目の焦点調節を支援する支援図形が表示用画像に含まれている。そのため、電子ミラーシステム搭載の車両のドライバーにとって、車内ディスプレイを視認する際の視距離の変動に伴う目の焦点調節の負担が軽減される。また、支援画像は静止画像であるため、その支援画像をマスク画像としてカメラ画像に重畳する処理（輝度成分の加算処理または乗算処理）は、計算負荷が比較的低く実装も比較的容易である。

【0027】

図４に示した支援画像５は、車両右側後方を捉えたカメラ画像に重畳される。車両左側後方を捉えたカメラ画像に重畳される支援画像は、図４の支援画像５と左右対称に生成することができる。すなわち、車両左側後方を捉えたカメラ画像に重畳される支援画像における支援図形は、支援図形ＢＦと同様、第１ブロック群Ｂ１及び第２ブロック群Ｂ２に加え、第３ブロック群（不図示）を有する。この第３ブロック群は、第１ブロック群Ｂ１の右端と第２ブロック群Ｂ２の右端との間において、画像垂直方向に複数のブロックが配列されてなる。

【0028】

支援図形が画像の上辺と下辺と左辺又は右辺とに沿った略Ｕ字状である場合、運転者が、略Ｕ字状の支援図形を窓枠であるかのように知覚し、その窓枠から遠くを見るような感覚を覚えることがある。これを避けるために、支援図形を略Ｕ字状ではなく略十字状（クロスカーソル状）に構成することもできる。その一例を図６に支援画像７として示す。支援画像７における支援図形ＢＦ２は、第１ブロック群Ｂ２１と、第２ブロック群Ｂ２２とを有する。第１ブロック群Ｂ２１は、支援画像７の中心を通って画像の上辺７１の近傍から下辺７２の近傍まで垂直方向に延びている。第２ブロック群Ｂ２２は、支援画像７の中心を通って画像の左辺７３の近傍から右辺７４の近傍まで水平方向に延びている。

【0029】

雪道を捉えた場合などのように、カメラ画像全体が極端に明るく、平均輝度が極端に高いことがある。このような場合、重畳処理における輝度成分の乗算処理又は加算処理の後の輝度が表示上の上限に達してしまう可能性がある。これを避けるために、輝度成分の乗算処理又は加算処理に代えて、輝度成分の除算処理又は減算処理を行うことができる。図７に矩形状の支援画像８を示す。支援画像８は、その中央に位置する矩形状の中央領域Ｃを有する。中央領域Ｃと支援画像８の中心は同じであり、中央領域Ｃの縦横比は支援画像８の縦横比と同じである。また、支援画像８における支援図形は、第１ブロック群Ｂ３１と第２ブロック群Ｂ３２と第３ブロック群Ｂ３３と第４ブロック群Ｂ３４とを有する。第１ブロック群Ｂ３１は、上辺８１と中央領域Ｃとの間において、支援画像８の中心を通る上下方向に沿って周期的に配列された複数の白色ブロック領域ＢＬを有する。第２ブロック群Ｂ３２は、下辺８２と中央領域Ｃとの間において、支援画像８の中心を通る上下方向に沿って周期的に配列された複数の白色ブロック領域ＢＬを有する。第３ブロック群Ｂ３３は、左辺８３と中央領域Ｃとの間において、支援画像８の中心を通る水平方向に沿って周期的に配列された複数の白色ブロック領域ＢＬを有する。第４ブロック群Ｂ３４は、右辺８４と中央領域Ｃとの間において、支援画像８の中心を通る水平方向に沿って周期的に配列された複数の白色ブロック領域ＢＬを有する。白色ブロック領域ＢＬ内の各ピクセルの輝度は、カメラ画像の対応するピクセル輝度の０．８倍程度となるような除算処理または減算処理を行うことができる。つまり、支援図形の輝度が、その他の領域の輝度よりも低くなる。

【0030】

輝度成分の乗算処理及び加減算処理の一例を以下に述べる。オーバーレイする白線の白色部分のピクセルデータを１とし、背景の黒色部分を０とする場合、合成モードの計算式は以下のようになる。
（１）輝度を＋２０％変化させる場合
乗算処理： カメラで撮った外界の映像のピクセル輝度×白線ピクセルデータ×１．２
加減算処理： カメラで撮った外界の映像のピクセル輝度＋白線ピクセルデータ×（＋０．２）
（２）輝度を－２０％変化させる場合
乗算処理： カメラで撮った外界の映像のピクセル輝度×白線ピクセルデータ×０．８
加減算処理： カメラで撮った外界の映像のピクセル輝度＋白線ピクセルデータ×（－０．２）
このような乗算処理及び加減算処理は、前述のとおり一例に過ぎない。

【0031】

画像合成部１４においては、以下に示すように、カメラ画像及び支援画像の同一座標ピクセルのＲＧＢ値に対して、透明度αを用いたアルファブレンディング演算を行ってもよい。
Ｒ_出力＝Ｒ_支援図形・α＋Ｒ_{カメラ画像}・（１－α）
Ｇ_出力＝Ｇ_支援図形・α＋Ｇ_{カメラ画像}・（１－α）
Ｂ_出力＝Ｂ_支援図形・α＋Ｂ_{カメラ画像}・（１－α）

【0032】

ただし、Ｒ_支援図形は、支援図形の当該ピクセルにおける赤色成分の輝度であり、Ｒ_{カメラ画像}は、カメラ画像の当該ピクセルにおける赤色成分の輝度であり、Ｒ_出力は、表示用画像の当該ピクセルにおける赤色成分の輝度である。また、Ｇ_支援図形は、支援図形の当該ピクセルにおける緑色成分の輝度であり、Ｇ_{カメラ画像}は、カメラ画像の当該ピクセルにおける緑色成分の輝度であり、Ｇ_出力は、表示用画像の当該ピクセルにおける緑色成分の輝度である。さらに、Ｂ_支援図形は、支援図形の当該ピクセルにおける青色成分の輝度であり、Ｂ_{カメラ画像}は、カメラ画像の当該ピクセルにおける青色成分の輝度であり、Ｂ_出力は、表示用画像の当該ピクセルにおける青色成分の輝度である。

【0033】

これまでに説明した実施形態に関し、以下の付記を開示する。
［付記１］
車両の周囲を捉えた周囲画像が入力される入力部と、
複数の白色ブロック領域が周期的に配列されてなる焦点調節支援図形が表された焦点調節支援画像を、前記周囲画像に合成してなる表示用画像を生成する合成部と、
前記表示用画像を表示する表示部と
を備える車両用画像処理装置。
［付記２］
前記配列の周期が、前記表示部までの視距離が１メートルである場合の視角０．５度～１．５度の範囲に相当する、付記１に記載の車両用画像処理装置。
［付記３］
前記白色ブロック領域の輝度が、前記カメラ画像のピクセル輝度の１．２倍又は０．８倍である、付記１又は２に記載の車両用画像処理装置。
［付記４］
前記焦点調節支援図形が、
前記焦点調節支援画像の上辺の近傍において前記焦点調節支援画像の水平方向に沿って複数の前記白色ブロック領域が配列されてなる第１ブロック群と、
前記焦点調節支援画像の下辺の近傍において前記焦点調節支援画像の水平方向に沿って複数の前記白色ブロック領域が配列されてなる第２ブロック群と、
前記第１ブロック群の左端と前記第２ブロック群の左端との間、または前記第１ブロック群の右端と前記第２ブロック群の右端との間において、前記焦点調節支援画像の垂直方向に沿って複数の前記白色ブロック領域が配列されてなる第３ブロック群と
を有する、付記１～３のいずれか一項に記載の車両用画像処理装置。
［付記５］
前記焦点調節支援図形が、
前記焦点調節支援画像の中心を通り前記焦点調節支援画像の水平方向に沿って複数の前記白色ブロック領域が配列されてなる第１ブロック群と、
前記焦点調節支援画像の中心を通り前記焦点調節支援画像の垂直方向に沿って複数の前記白色ブロック領域が配列されてなる第２ブロック群と
を有する、付記１～３のいずれか一項に記載の車両用画像処理装置。

【0034】

以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

【符号の説明】

【0035】

１００ 電子ミラーシステム
１１ カメラ
１２ ディスプレイ
１３ 焦点調節支援画像生成部
１４ 画像合成部
５ 焦点調節支援画像
Ｂ１～Ｂ３ ブロック群
ＢＬ ブロック
ＢＦ 支援図形
Ｐ 周期

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】