特開 2024-51974 映像処理装置及び映像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051974

(43)【公開日】2024-04-11

(54)【発明の名称】映像処理装置及び映像表示装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240404BHJP

   B60R 1/20 20220101ALI20240404BHJP

【ＦＩ】

H04N7/18 J

B60R1/20 100

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022158387

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】320012037

【氏名又は名称】ラピステクノロジー株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】西谷 直輝

(72)【発明者】

【氏名】今任 祐基

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EJ04

5C054FC14

5C054FE09

5C054FF03

5C054HA30

(57)【要約】

【課題】映像を注視した際の違和感を軽減しつつ視認性の高い表示を行うことが可能な映像処理装置を提供する。
【解決手段】車両の周囲を撮影した映像を強調化処理した強調化映像を生成する強調化処理部と、映像を平滑化処理した平滑化映像を生成する平滑化処理部と、映像の領域ごとに、平滑化映像、強調化映像、映像のいずれかを用いてディスプレイに表示する表示映像を生成する合成部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の周囲を撮影した映像を強調化処理した強調化映像を生成する強調化処理部と、
前記映像を平滑化処理した平滑化映像を生成する平滑化処理部と、
前記映像の領域ごとに、前記平滑化映像、前記強調化映像、前記映像のいずれかを用いてディスプレイに表示する表示映像を生成する合成部と、
を有することを特徴とする映像処理装置。

【請求項2】

前記映像を複数に分割した分割領域ごとに前記強調化処理又は前記平滑化処理の優先度を算出する優先度計算部を有し、
前記合成部は、前記優先度に基づいて、前記平滑化映像、前記強調化映像、前記映像のいずれを用いるかをピクセルごとに選択することにより、前記表示映像を生成することを特徴とする請求項１に記載の映像処理装置。

【請求項3】

前記優先度計算部は、前記車両の速度を示す速度情報を取得し、前記分割領域ごとに予め設定された前記強調化処理の強調度の情報と前記速度情報とに基づいて、前記優先度を算出することを特徴とする請求項２に記載の映像処理装置。

【請求項4】

前記強調化処理の強調度の情報は、前記車両の車体からの距離に基づいて前記分割領域ごとに予め設定されていることを特徴とする請求項３に記載の映像処理装置。

【請求項5】

前記強調化処理は、前記映像のエッジを強調する鮮明化処理であることを特徴とする請求項１乃至４のいずれか１に記載の映像処理装置。

【請求項6】

車両の周囲を撮影した映像に対し、エッジを強調する鮮明化処理を行った鮮明化映像を生成する鮮明化処理部と、
前記映像を複数に分割した分割領域ごとに前記鮮明化処理の優先度を算出する優先度計算部と、
前記優先度に基づいて、前記映像及び前記鮮明化映像のいずれを用いるかをピクセルごとに選択することにより、ディスプレイに表示する表示映像を生成する合成部と、
を有することを特徴とする映像処理装置。

【請求項7】

車両の周囲を撮影した映像を取得する映像取得部と、
前記映像に基づく表示映像を表示する表示部と、
前記映像に対して映像処理を行い、前記表示映像を生成する映像処理部と、
を含み、
前記映像処理部は、
前記映像を強調化処理した強調化映像を生成する強調化処理部と、
前記映像を平滑化処理した平滑化映像を生成する平滑化処理部と、
前記映像の領域ごとに、前記平滑化映像、前記強調化映像、前記映像のいずれかを用いて前記表示映像を生成する合成部と、
を有することを特徴とする表示装置。

【請求項8】

車両の周囲を撮影した映像を取得する映像取得部と、
前記映像に基づく表示映像を表示する表示部と、
前記映像に対して映像処理を行い、前記表示映像を生成する映像処理部と、
を含み、
前記映像処理部は、
前記映像に対し、エッジを強調する鮮明化処理を行った鮮明化映像を生成する鮮明化処理部と、
前記映像を複数に分割した分割領域ごとに前記鮮明化処理の優先度を算出する優先度計算部と、
前記優先度に基づいて、前記映像及び前記鮮明化映像のいずれを用いるかをピクセルごとに選択することにより、前記表示映像を生成する合成部と、
を有することを特徴とする表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置及び映像表示装置に関する。

【背景技術】

【0002】

近年、ルームミラーやサイドミラーを通して車両の周囲を視認することに代えて、車両の後方や側方に設置したカメラの映像をディスプレイに表示させる、所謂電子ミラーを用いた表示が行われている。このような電子ミラーを用いた表示には、通常の鏡では見えないものが見えるようになり、安全な運転につながるというメリットがある。

【0003】

しかし、車両を運転するドライバーは、運転中は遠方に目の焦点が合っているため、ディスプレイを視認しようとした際に焦点を合わせるまでに時間がかかるという問題があった。また、年齢とともに目の焦点を合わせるまでに時間がかかるようになるため、特に高齢のドライバーはディスプレイを視認しにくいという問題があった。

【0004】

そこで、ドライバーの違和感を軽減するため、表示画像のうちドライバーが注視すべき領域以外の一部の領域にぼかし処理を行う車載画像処理装置が提案されている（例えば、特許文献１）。また、表示範囲の一部の領域の画像を拡大して表示する車載撮像システムが提案されている（例えば、特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－１２５８９４号公報

【特許文献2】特開２０１４－１９２７７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記従来技術のように、ドライバーが注視すべき領域以外の領域をぼかす方法では、ドライバーの注視すべき領域の視認性が十分に高くなるとはいえないという問題があった。特に、自車両の速度が高い場合には他の車両との距離をドライバーが把握し難くなるため、他の車両自体の表示が鮮明でないと運転の安全性を十分に向上させることができないという問題があった。

【0007】

また、一部の領域の画像を拡大して表示する方法では、ドライバーの視野に合わせて映像サイズを変更するため、映像サイズの変更に合わせて視点を変更する必要があり、やはり目の焦点を合わせるまでに時間がかかってしまうという問題があった。

【0008】

本発明は上記問題点に鑑みてなされたものであり、映像を注視した際の違和感を軽減しつつ視認性の高い表示を行うことが可能な映像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る映像処理装置は、車両の周囲を撮影した映像を強調化処理した強調化映像を生成する強調化処理部と、前記映像を平滑化処理した平滑化映像を生成する平滑化処理部と、前記映像の領域ごとに、前記平滑化映像、前記強調化映像、前記映像のいずれかを用いてディスプレイに表示する表示映像を生成する合成部と、を有することを特徴とする。

【0010】

本発明に係る映像処理装置は、車両の周囲を撮影した映像に対し、エッジを強調する鮮明化処理を行った鮮明化映像を生成する鮮明化処理部と、前記映像を複数に分割した分割領域ごとに前記鮮明化処理の優先度を算出する優先度計算部と、前記優先度に基づいて、前記映像及び前記鮮明化映像のいずれを用いるかをピクセルごとに選択することにより、ディスプレイに表示する表示映像を生成する合成部と、を有することを特徴とする。

【0011】

本発明に係る表示装置は、車両の周囲を撮影した映像を取得する映像取得部と、前記映像に基づく表示映像を表示する表示部と、前記映像に対して映像処理を行い、前記表示映像を生成する映像処理部と、を含み、前記映像処理部は、前記映像を強調化処理した強調化映像を生成する強調化処理部と、前記映像を平滑化処理した平滑化映像を生成する平滑化処理部と、前記映像の領域ごとに、前記平滑化映像、前記強調化映像、前記映像のいずれかを用いて前記表示映像を生成する合成部と、を有することを特徴とする。

【0012】

本発明に係る表示装置は、車両の周囲を撮影した映像を取得する映像取得部と、前記映像に基づく表示映像を表示する表示部と、前記映像に対して映像処理を行い、前記表示映像を生成する映像処理部と、を含み、前記映像処理部は、前記映像に対し、エッジを強調する鮮明化処理を行った鮮明化映像を生成する鮮明化処理部と、前記映像を複数に分割した分割領域ごとに前記鮮明化処理の優先度を算出する優先度計算部と、前記優先度に基づいて、前記映像及び前記鮮明化映像のいずれを用いるかをピクセルごとに選択することにより、前記表示映像を生成する合成部と、を有することを特徴とする。

【発明の効果】

【0013】

本発明に係る映像処理装置によれば、ドライバーの違和感を軽減して視認性の高い表示を行うことが可能となる。

【図面の簡単な説明】

【0014】

【図1】本実施例の映像処理装置の構成を示すブロック図である。

【図2】映像補正ＬＳＩの内部構成を示すブロック図である。

【図3A】分割領域ごとの鮮明化及び平滑化処理の例を示す図である。

【図3B】分割領域ごとの鮮明化及び平滑化処理の例を示す図である。

【図3C】分割領域ごとの鮮明化及び平滑化処理の例を示す図である。

【図4】車体からの距離及び車両速度と鮮明化及び平滑化処理との関係を示す図である。

【発明を実施するための形態】

【0015】

以下に本発明の好適な実施例を詳細に説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。

【0016】

図１は、本発明に係る映像表示システム１００の構成を示すブロック図である。映像表示システム１００は、車両ＣＡに搭載され、車両ＣＡの周辺を撮影した映像を表示する車載用の映像表示システムである。

【0017】

映像表示システム１００は、映像取得部１１、映像補正ＬＳＩ１２、ディスプレイ１３及び制御ＭＣＵ１４を有する。

【0018】

映像取得部１１は、例えば車両ＣＡに搭載された車載カメラから構成され、車両ＣＡの周辺を撮影するべく、車両ＣＡの車体の所定の取り付け位置に固定されている。映像取得部１１は、車両周辺を撮影して得た映像信号を入力映像ＶＳとして映像補正ＬＳＩ１２に供給する。

【0019】

映像補正ＬＳＩ（Large Scale Integration）１２は、映像取得部１１から供給された入力映像ＶＳに対して補正処理を行う回路部である。具体的には、映像補正ＬＳＩ１２は、入力映像ＶＳの一部の領域を強調して表示するための補正処理（以下、強調化処理と称する）を行う。なお、本実施例では、強調化処理の一例として、エッジを強調する鮮明化処理を行う場合を例として以下の説明を行う。映像補正ＬＳＩ１２は、入力映像ＶＳに補正処理を施した映像データを出力映像ＶＤとして、ディスプレイ１３に供給する。

【0020】

ディスプレイ１３は、例えば液晶表示装置から構成され、映像補正ＬＳＩ１２から出力された出力映像ＶＤを表示する。

【0021】

制御ＭＣＵ（Micro Controller Unit）１４は、映像補正ＬＳＩ１２による映像補正処理を制御する制御部である。制御ＭＣＵ１４は、例えば車両ＣＡに搭載された車速センサによって取得された車両ＣＡの速度情報に基づいて、映像補正ＬＳＩ１２による映像補正処理の制御を行う。

【0022】

図２は、映像補正ＬＳＩ１２の構成を示すブロック図である。映像補正ＬＳＩ１２は、鮮明化部２１、平滑化部２２、優先度計算部２３、メモリ２４及び合成部２５を含む。

【0023】

鮮明化部２１は、入力映像ＶＳに対して、エッジを強調する鮮明化処理を施す処理部である。鮮明化部２１は、優先度計算部２３によって算出された優先度に応じて鮮明化のゲイン（度合い）を変化させつつ、入力映像ＶＳに対して鮮明化処理を行う。鮮明化部２１は、処理結果を鮮明化映像ＶＳ１として合成部２５に供給する。

【0024】

平滑化部２２は、入力映像ＶＳに対して平滑化処理を施す処理部である。平滑化部２２は、例えばガウンシアンフィルタを用いて平滑化処理を行う。平滑化部２２は、優先度計算部２３によって算出された優先度に応じて平滑化のゲイン（度合い）を変化させつつ、入力映像ＶＳに対して平滑化処理を行う。平滑化部２２は、処理結果を平滑化映像ＶＳ２として合成部２５に供給する。

【0025】

優先度計算部２３は、制御ＭＣＵ１４から供給された車両ＣＡの速度情報“ｖ”及びメモリ２４から読み出した優先度領域情報“ｕ”に基づいて、鮮明化及び平滑化の優先度を計算し、その算出結果を鮮明化部２１、平滑化部２２及び合成部２５にそれぞれ供給する。なお、本実施例では、速度情報“ｖ”及び優先度領域情報“ｕ”は、いずれも基準値を０として「－０．５～＋０．５」の値をとるように相対化された数値として表されている。優先度計算部２３は、「ｕ＋ｖ」を計算することにより、優先度を算出する。

【0026】

例えばｕ＋ｖ＞０である場合、鮮明化処理の優先度が高い。また、ｕ＋ｖ＜０である場合、平滑化処理の優先度が高い。また、ｕ＋ｖ＝０である場合、鮮明化及び平滑化の優先度が同じであり、いずれの処理も行わない素の入力映像ＶＳが優先される。

【0027】

本実施例では、映像をディスプレイ１３に表示した際の１画面分の表示領域のうち、一般的に車体のとの距離が近いとされる領域は平滑化よりも鮮明化の優先度が高く、一般的に車体との距離が遠いとされる領域は鮮明化よりも平滑化の優先度が高くなるように、優先度の計算が行われる。

【0028】

また、本実施例では、車速が高速である場合は鮮明化及び平滑化の優先度が高く、車速が低速である場合は鮮明化及び平滑化の優先度が低くなるように、優先度の計算が行われる。すなわち、車速が高速である場合には、複数の分割領域のうち、鮮明化の優先度が高い領域については鮮明化の度合いがより高くなり、平滑化の優先度が高い領域については平滑化の度合いがより高くなるように優先度が計算される。一方、車速が低速である場合には、鮮明化の優先度が高い領域及び平滑化の優先度が高い領域のいずれについても、鮮明化及び平滑化の度合いが低くなるように（すなわち、鮮明化も平滑化もあまり行われないように）優先度が計算される。

【0029】

メモリ２４は、映像補正ＬＳＩ１２の内部又は外部に設けられた不揮発性の半導体メモリであり、例えばＮＡＮＤ又はＮＯＲ型のシリアル・フラッシュメモリから構成されている。メモリ２４は、分割領域ごとの鮮明化及び平滑化の優先度の情報である優先度領域情報“ｕ”を格納する。

【0030】

本実施例では、１画面分の表示領域を６つに分割した分割領域ごとに優先度“ｕ”が設定されている。例えば、画面縦方向を２段（すなわち、上段、下段）、画面横方向を３段（すなわち、左、中央、右）に分けた６つの分割領域のうち、下段中央の領域は一般的に車体との距離が比較的近い領域であるとして、鮮明化の優先度が高い領域として予め設定されている。また、上段左右の領域は一般的に車体との距離が比較的遠い領域であるとして、平滑化の優先度が高い領域として予め設定されている。また、下段左右及び上段中央の領域は一般的に車体との距離が中程度の領域であるとして、鮮明化及び平滑化の優先度がいずれも中程度の領域として予め設定されている。

【0031】

合成部２５は、映像取得部１１から供給された入力映像ＶＳ、鮮明化部２１から供給された鮮明化映像ＶＳ１及び平滑化部２２から供給された平滑化映像ＶＳ２に基づいて、ディスプレイ１３に表示する表示映像である出力映像ＶＤを生成する。合成部２５は、映像の領域ごとに入力映像ＶＳ、鮮明化映像ＶＳ１及び平滑化映像ＶＳ２のいずれかを用いることにより、出力映像ＶＤを生成する。

【0032】

例えば、本実施例では、合成部２５は、優先度計算部２３により計算された優先度の情報に基づいて、入力映像ＶＳ、鮮明化映像ＶＳ１及び平滑化映像ＶＳ２のいずれを用いるかをピクセルごとに選択する。選択されたピクセルごとの映像が組み合わさることにより、全体としての出力映像ＶＤが生成される。

【0033】

図３Ａ～図３Ｃは、分割領域ごとの鮮明化及び平滑化処理の例を示す図である。ここでは、鮮明化の度合いを「強調度」として１～５までの５段階で表している。すなわち、鮮明化の度合いが高い場合は強調度の数値が“５”に近くなり、平滑化の度合いが高い場合には強調度の数値が“１”に近くなる。

【0034】

なお、以下の説明では、車速が第１の基準値よりも低い場合を低速、第１の基準値以上且つ第２の基準値未満の場合を中速、第２の基準値以上の場合を高速と称する。

【0035】

図３Ａは、車両ＣＡの速度が低速である場合の分割領域ごとの強調度を示す図である。車速が低速である場合、分割領域ごとの強調度は一様に“３”となり、鮮明化及び平滑化を行わない状態の入力映像ＶＳに近い状態となる。

【0036】

図３Ｂは、車両ＣＡの速度が中程度（中速）である場合の分割領域ごとの強調度を示す図である。車速が中速である場合、下段中央の領域は強調度“４”、上段右側及び上段左側の領域は強調度“２”、上段中央、下段右側及び下段左側の領域は強調度“３”となる。

【0037】

図３Ｃは、車両ＣＡの速度が中程度（中速）である場合の分割領域ごとの強調度を示す図である。車速が高速である場合、下段中央の領域は強調度“５”、上段右側及び上段左側の領域は強調度“１”、上段中央、下段右側及び下段左側の領域は強調度“２”となる。

【0038】

上記の通り、下段中央の領域は、一般的に車両ＣＡの車体との距離が比較的近い領域であるとして、鮮明化の優先度が高く設定されている領域である。また、上段右側及び上段左側の領域は、一般的に車両ＣＡの車体との距離が比較的遠い領域であるとして、平滑化の優先度が高く設定されている領域である。また、上段中央、下段右側及び下段左側の領域は、一般的に車両ＣＡの車体との距離が中程度の領域であるとして、鮮明化及び平滑化いずれの優先度も中程度に設定されている領域である。

【0039】

また、上記の通り、車速が低速である場合は鮮明化及び平滑化のいずれの優先度も低く、車速が高速である場合は鮮明化及び平滑化のいずれの優先度も高くなるように設定されている。このため、車速が低速である図３Ａでは、領域ごとの差異が出ないように映像補正が行われ、強調レベルは一様となる。図３Ｂのように車速が高くなると、鮮明化の優先度が高い領域の強調度が大きくなり、その領域の画像が強調されてくっきりと表示される。また、図３Ｃのようにさらに車速が高くなると、鮮明化の優先度が高い領域をさらに強調するように表示が行われる。換言すると、車速が上がるにしたがって、鮮明化及び平滑化のコントラストが上がるように映像補正が行われる。

【0040】

図４は、車体からの距離及び車速と強調度との関係を示す図である。車速が低速である場合、車体からの距離にかかわらず強調度は一様に“３”となる。車速が中速である場合、車体からの距離が近い領域は強調度“４”、車体からの距離が遠い領域は強調度“２”、それ以外の領域は強調度“３”となる。すなわち、車体からの距離が近い領域に対しては一定のレベルで鮮明化が行われ、車体からの距離が遠い領域に対しては一定のレベルで平滑化が行われる。また、車速が高速である場合、車体からの距離に応じて“１”～“５”まで異なる強調度となる。すなわち、車体からの距離に応じて鮮明化又は平滑化が行われ、強調度の差異が大きくなる。

【0041】

本実施例の映像表示システム１００のように、車両ＣＡの周辺を撮影した映像を表示する車載用の映像表示システムでは、ドライバーが注視すべき表示領域については強調して表示し、それ以外の領域についてはぼやかして表示をすることにより、ドライバーは必要な領域のみを短時間で視認することができる。

【0042】

また、一般的に車体からの被写体までの距離が近いことが想定される領域では強調度を大きく、車体から被写体までの距離が遠いことが想定される領域では強調度を小さくすることにより、疑似的に距離感を生成し、視認性を高めることが可能となる。

【0043】

また、車速が低い場合には全体が一様の強調度で表示されるようにし、車速が高い場合には強調すべき領域はより強調することにより、ドライバーに注視を促し、運転の安全性に資することができる。

【0044】

なお、本発明は上記実施例で示したものに限られない。例えば、上記実施例では、強調化処理の一例として、エッジを強調する鮮明化処理を行う場合を例として説明した。しかし、強調化の具体的な方法は鮮明化処理に限られず、一部の領域を強調しつつその他の領域をぼやかすように、すなわち強調度に差異を設けるように構成されていればよい。

【0045】

また、上記実施例では、１画面分の表示領域を縦方向２段（上下）、横方向３段（左中右）の６つの分割領域に分割し、分割領域ごとに鮮明化及び平滑化の優先度を算出して処理を行う場合を例として説明した。しかし、鮮明化及び平滑化の対象となる領域の分類の仕方は、このように表示画面を複数の領域に矩形分割するものに限られない。例えば、表示領域をカメラの中心に対応する位置から外側に向かって複数の領域に分類し、領域ごとに鮮明化及び平滑化の優先度を設定して各処理を行う構成であってもよい。

【0046】

また、上記実施例では、６つの分割領域のうち、下段中央の領域は一般的に車体との距離が近く、上段左右の領域は一般的に車体との距離が遠く、それ以外の領域は一般的に車体との距離が中程度の領域であるとして、優先度が予め設定されている場合を例として説明した。しかし、これとは異なり、測距センサ等を用いて実際に被写体までの距離を測定し、測定結果に基づいて優先度をその都度設定する構成であってもよい。

【符号の説明】

【0047】

１００ 映像表示システム
１１ 映像取得部
１２ 映像補正ＬＳＩ
１３ ディスプレイ
１４ 制御ＭＣＵ
２１ 鮮明化部
２２ 平滑化部
２３ 優先度計算部
２４ メモリ
２５ 合成部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】