特開 2024-125898 画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125898

(43)【公開日】2024-09-19

(54)【発明の名称】画像表示装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240911BHJP

   B60R 1/26 20220101ALI20240911BHJP

   G06T 3/047 20240101ALI20240911BHJP

   G06T 1/00 20060101ALI20240911BHJP

   H04N 23/60 20230101ALI20240911BHJP

   H04N 23/698 20230101ALI20240911BHJP

【ＦＩ】

H04N7/18 J

B60R1/26 100

G06T3/00 710

G06T1/00 330Z

H04N23/60 500

H04N23/698

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023034022

(22)【出願日】2023-03-06

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(72)【発明者】

【氏名】渡辺 隆行

【テーマコード（参考）】

5B057

5C054

5C122

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD12

5C054CA04

5C054CC02

5C054CC05

5C054HA30

5C122DA04

5C122DA11

5C122DA14

5C122EA33

5C122FA02

5C122FB06

5C122FH04

5C122FH06

5C122FK23

5C122FK24

5C122HA88

5C122HB05

5C122HB10

(57)【要約】

【課題】魚眼レンズ等を用いて生じる画像の歪みを低減して、より自然に見えるビュー変換後の画像表示を行うことができる画像表示装置を提供すること。
【解決手段】画像表示装置１００は、レンズを通して周囲を撮像するカメラ５２と、カメラ５２の撮像によって得られた第１の画像に対してビュー変換を行うビュー変換部１１４と、ビュー変換部１１４によるビュー変換によって生成された第２の画像を表示する表示処理部２０、表示装置２２とを備える。ビュー変換部１１４は、第１の画像から第２の画像への変換を、４次以上の多項式で算出した値を楕円方程式で算出した値で除した近似式を用いて行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

レンズを通して周囲を撮像する撮像手段と、
前記撮像手段の撮像によって得られた第１の画像に対してビュー変換を行うビュー変換手段と、
前記ビュー変換手段によるビュー変換によって生成された第２の画像を表示する画像表示手段と、
を備え、前記ビュー変換手段は、前記第１の画像から前記第２の画像への変換を、多次元多項式で算出した値を楕円方程式で算出した値で除した近似式を用いて行うことを特徴とする画像表示装置。

【請求項2】

車両に搭載されており、
前記撮像手段は、車両後方を撮像範囲として車両後部に取り付けられ、
前記画像表示手段は、車両の運転者が目視可能な車室内の所定位置に取り付けられていることを特徴とする請求項１に記載の画像表示装置。

【請求項3】

前記レンズは、魚眼レンズであることを特徴とする請求項１に記載の画像表示装置。

【請求項4】

前記多次元多項式は、４次以上の多項式であることを特徴とする請求項３に記載の画像表示装置。

【請求項5】

前記第２の画像を表示する前記画像表示手段の画面は長方形形状を有し、
前記魚眼レンズのイメージサークルに、ビュー変換前の前記第１の画像の全体が含まれていることを特徴とする請求項３に記載の画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載されたカメラで撮像した画像をビュー変換して表示する画像表示装置に関する。

【背景技術】

【0002】

従来から、車両後部に備わった魚眼カメラ（魚眼レンズ付きカメラ）で車両後方を撮像し、ビュー変換を行った後の画像を車室内に設けられた表示装置に表示するようにした運転支援装置が広く知られている。

【0003】

図９は、魚眼カメラで得られた画像を示す図である。図９では、格子状の線が描かれた床面を含む建物内を魚眼レンズを通して撮像してビュー変換せずにそのまま表示した画像が示されている。

【0004】

一般に、車両後方を撮像するカメラにレンズが搭載されている場合には、撮像によって得られた画像に対してビュー変換を行った後の画像を表示すると、画像の周縁部ほどレンズ系の収差の影響が大きくなって、画像に歪みが生じる。

【0005】

従来から、この歪曲収差の影響を低減するために、歪曲画像に対して多次元多項式近似による補正を行う手法が知られている（例えば、特許文献１参照。）。

【0006】

図１０は、５次多項式を用いて近似を行う場合の近似多項式を示す図である。図１０に示す５次多項式を用いることにより、図９に示した画像の座標（ｘ，ｙ）から、ビュー変換後の画像の座標（ｘ’，ｙ’）を求めることができる。すなわち、ビュー変換と同時に変換後の画像に対する補正が行われる。

【0007】

ビュー変換の具体例としては、車両周縁部を直線的に表示するノーマルビューへの変換や、ノーマルビューよりも車両の左右を広く表示するワイドビューへの変換などが知られており、５次多項式の７２個のパラメータｐ００～ｐ７１（図１０）をノーマルビューやワイドビューに対応する値に変更することで各種のビュー変換を行うことが可能となる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００１－１３３２２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

ところで、魚眼レンズを用いて車両後方を撮像した画像に対してビュー変換を行ってノーマルビューあるいはワイドビューの画像を作成した場合には、上述した多項式近似を用いても、画像の部分的な歪みが残ってしまい、表示が不自然になるという問題があった。

【0010】

図１１は、５次の近似多項式を用いた変換後のノーマルビュー画像の説明図である。図１１に示す画像において、点線ａは、歪みがない場合の格子状の線を示している。この例では、画像の周縁部分、特に左右端部近傍の画像の歪みが大きいことがわかる。

【0011】

図１２は、５次の近似多項式を用いた変換後のワイドビュー画像の説明図である。図１２に示す画像において、点線ｂ、ｃは、歪みがない場合の格子状の線を示している。この例でも、画像の周縁部分、特に左右端部近傍の画像の歪みが大きいことがわかる。

【0012】

本発明は、このような点に鑑みて創作されたものであり、その目的は、魚眼レンズ等を用いて生じる画像の歪みを低減して、より自然に見えるビュー変換後の画像表示を行うことができる画像表示装置を提供することにある。

【課題を解決するための手段】

【0013】

上述した課題を解決するために、本発明の画像表示装置は、レンズを通して周囲を撮像する撮像手段と、撮像手段の撮像によって得られた第１の画像に対してビュー変換を行うビュー変換手段と、ビュー変換手段によるビュー変換によって生成された第２の画像を表示する画像表示手段とを備え、ビュー変換手段は、第１の画像から第２の画像への変換を、多次元多項式で算出した値を楕円方程式で算出した値で除した近似式を用いて行っている。

【0014】

これにより、レンズの周縁部分であって、多次元多項式を用いた近似では補正しきれない範囲の画像の歪みを低減し、より自然に見えるビュー変換後の画像表示を行うことが可能となる。

【0015】

また、車両に搭載されており、撮像手段は、車両後方を撮像範囲として車両後部に取り付けられ、画像表示手段は、車両の運転者が目視可能な車室内の所定位置に取り付けられていることが望ましい。これにより、車両後方を撮像した画像に対してビュー変換を行った画像を表示する際に生じるレンズ系の収差の影響を低減し、車両の運転者に対して、違和感のない画像を提供することが可能となる。

【0016】

また、上述したレンズは、魚眼レンズであることが望ましい。これにより、周縁部分の歪みが大きい魚眼レンズを用いた場合であっても、表示画像における周縁部分の歪みを低減することができる。

【0017】

また、上述した多次元多項式は、４次以上の多項式であることが望ましい。近似式として４次以上の多項式を適用することにより、レンズ系の収差による影響を低減することができ、さらに楕円方程式を用いた値で除することにより、魚眼レンズの中心から遠い領域において生じる大きい歪みを補正することが可能となる。

【0018】

また、上述した第２の画像を表示する画像表示手段の画面は長方形形状を有し、魚眼レンズのイメージサークルに、ビュー変換前の第１の画像の全体が含まれていることが望ましい。これにより、魚眼レンズを通して取り込んだ画像をビュー変換して長方形形状の画面に表示する際に、この画面の周縁部分（特に頂点近傍）において生じる大きな歪みを低減することができる。

【図面の簡単な説明】

【0019】

【図1】一実施形態の画像表示装置の構成を示す図である。

【図2】カメラの具体的な設置例を示す図である。

【図3】ビュー変換プログラムを実行することでビュー変換動作を行う画像表示装置の機能ブロック図である。

【図4】本実施形態で行われるビュー変換処理に用いられる近似多項式を示す図である。

【図5】図４に示した近似多項式を用いてビュー変換を行った後のノーマルビュー画像の表示例を示す図である。

【図6】従来方式と本実施形態とのノーマルビュー画像の歪みを比較した図である。

【図7】図４に示した近似多項式を用いてビュー変換を行った後のワイドビュー画像の表示例を示す図である。

【図8】従来方式と本実施形態とのワイドビュー画像の歪みを比較した図である。

【図9】魚眼カメラで得られた画像を示す図である。

【図10】５次多項式を用いて近似を行う場合の近似多項式を示す図である。

【図11】５次の近似多項式を用いた変換後のノーマルビュー画像の説明図である。

【図12】５次の近似多項式を用いた変換後のワイドビュー画像の説明図である。

【発明を実施するための形態】

【0020】

以下、本発明を適用した一実施形態の画像表示装置について、図面を参照しながら説明する。

【0021】

図１は、一実施形態の画像表示装置の構成を示す図である。図１に示すように、本実施形態の画像表示装置１００は、搭載された車両の後方を撮像した画像に対してビュー変換を行った後の画像を表示するためのものであり、操作部１０、入力処理部１２、表示処理部２０、表示装置２２、ＣＰＵ３０、メモリ４０、入出力インタフェース部（Ｉ／Ｏ ＩＦ）５０、カメラ５２を備えている。

【0022】

操作部１０は、ビュー変換の種類を選択する利用者の操作を受け付けるためのものであり、各種の操作キー等を含んで構成されている。入力処理部１２は、操作部１０を監視しており、利用者による操作内容を決定する。

【0023】

表示処理部２０は、ビュー変換前後の車両後方の画像等を表示する映像信号を出力して表示装置２２にこれらの画面を表示する。表示装置２２は、例えば液晶表示装置（ＬＣＤ）を用いて構成され、車両の運転者が目視可能な車室内の所定位置に取り付けられている。

【0024】

ＣＰＵ３０は、メモリ４０に格納された所定のプログラムを実行することにより、画像表示装置１００の全体を制御するとともに、カメラ５２で撮像された画像に対して複数のビュー変換を行う。

【0025】

メモリ４０は、ＣＰＵ３０の動作プログラムやＣＰＵ３０の動作に必要な各種データ（ビュー変換に用いられる各種パラメータ）を格納するとともに、ビュー変換動作などを行う際の作業領域として用いられる。ＣＰＵ３０によって実行される動作プログラムには、ビュー変換を行うプログラム（ビュー変換プログラム）が含まれている。メモリ４０は、例えば、ＲＯＭやＲＡＭ等の半導体メモリによって構成されており、これら以外にハードディスク装置などを含むようにしてもよい。

【0026】

入出力インタフェース部５０は、カメラ５２を含む各種の入出力機器との間で信号（データ）の入出力処理を行う。カメラ５２は、車両後方を撮像範囲として車両後部の所定位置に取り付けられ、魚眼レンズを通して、車両後方を撮像する。

【0027】

図２は、カメラ５２の具体的な設置例を示す図である。図２に示す例では、カメラ５２は、車両後方の所定位置であって、水平から下向きに約３０°の角度で取り付けられている。なお、カメラ５２の取付位置や角度は、これに限定されず、車両後方の所定範囲を撮像可能であれば他の位置や角度であってもよい。

【0028】

図３は、ビュー変換プログラムを実行することでビュー変換動作を行う画像表示装置１００の機能ブロック図である。図３に示す画像表示装置１００は、上述したカメラ５２以外に、ＣＰＵ３０によってビュー変換プログラムを実行することにより実現される機能ブロックとしての画像入力部１１０、画像格納部１１２、ビュー変換部１１４、パラメータ格納部１１６を含んで構成されている。

【0029】

画像入力部１１０は、カメラ５２によって撮像された車両後方の画像を取り込む。画像格納部１１２は、画像入力部１１０によって取り込まれた後方画像を格納する。この画像格納部１１２は、例えばメモリ４０の一部を用いて構成されている。

【0030】

ビュー変換部１１４は、画像格納部１１２に格納された画像に対してビュー変換を行う。本実施形態では、ノーマルビューの画像を生成するノーマルビュー変換と、ワイドビューの画像を生成するワイドビュー変換の２種類のビュー変換のいずれかが、利用者（車両の運転者）が操作部１０を操作することによって選択されて実行される。

【0031】

図４は、本実施形態で行われるビュー変換処理に用いられる近似多項式を示す図である。図４に示す近似多項式を用いて座標変換を行うことにより、カメラ５２で撮像された画像のｘ座標とｙ座標から、ビュー変換後の画像のｘ座標（ｘ’）とｙ座標（ｙ’）を求めることができる。図４において、Ｓは５次の多項式であり、ｘ座標算出のための３６個のパラメータｐ００～ｐ３５と、ｙ座標算出のための３６個のパラメータｐ３６～ｐ７１とが含まれる。また、Ｔは、５次の多項式で算出した値を割るための係数（除数）であり、６個のパラメータＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが含まれる楕円方程式（Ａｘ²＋Ｂｘｙ＋Ｃｙ²＋Ｄｘ＋Ｅｙ＋Ｆ）で表される。なお、ノーマルビューへの変換用の合計７８個のパラメータとワイドビューへの変換用の合計７８個のパラメータは、別々に用意されており、パラメータ格納部１１６に格納されている。

【0032】

ビュー変換部１１４は、ノーマルビュー変換を行う場合にはパラメータ格納部１１６に格納されたノーマルビュー変換用のパラメータＰ１を図４に示した近似多項式に適用し、ノーマルビューの画像を生成する。また、ビュー変換部１１４は、ワイドビュー変換を行う場合にはパラメータ格納部１１６に格納されたワイドビュー変換用のパラメータＰ２を図４に示した近似多項式に適用し、ワイドビューの画像を生成する。

【0033】

このようにしてビュー変換部１１４によって生成されたビュー変換後の画像は、表示処理部２０によって表示用の映像信号に変換されて表示装置２２に表示される。

【0034】

なお、ビュー変換後の画像を表示する表示装置２２の画面は横長の長方形形状を有している。そして、カメラ５２に備わった魚眼レンズのイメージサークルに、ビュー変換前の画像の全体が含まれるようになっている。

【0035】

上述したカメラ５２が撮像手段に、ビュー変換部１１４、パラメータ格納部１１６がビュー変換手段に、表示処理部２０、表示装置２２が画像表示手段にそれぞれ対応する。

【0036】

図５は、図４に示した近似多項式を用いてビュー変換を行った後のノーマルビュー画像の表示例を示す図である。図５に示したノーマルビュー画像では、図１１に示した従来の画像に含まれる周縁部分における画像の歪みが低減されている。

【0037】

図６は、従来方式と本実施形態とのノーマルビュー画像の歪みを比較した図である。図６（Ａ）に示した画像では、図１１に示した従来方式のノーマルビュー画像において歪みが大きい部分が白で強調されており、画像下側の端部近傍の歪みが大きいことがわかる。これに対し、図６（Ｂ）に示した画像では、図５に示した本実施形態のノーマルビュー画像において歪みが大きい部分が白で強調されており、図６（Ａ）に示した画像と比べると、画像下側の端部近傍の歪みが低減されていることがわかる。

【0038】

図７は、図４に示した近似多項式を用いてビュー変換を行った後のワイドビュー画像の表示例を示す図である。図７に示したワイドビュー画像では、図１２に示した従来の画像に含まれる周縁部分における画像の歪みが低減されている。

【0039】

図８は、従来方式と本実施形態とのワイドビュー画像の歪みを比較した図である。図
（Ａ）に示した画像では、図１２に示した従来方式のワイドビュー画像において歪みが大きい部分が白で強調されており、画像下側の左右端部近傍の歪みが特に大きいことがわかる。これに対し、図８（Ｂ）に示した画像では、図７に示した本実施形態のワイドビュー画像において歪みが大きい部分が白で強調されており、図８（Ａ）に示した画像と比べると、画像下側の左右端部近傍の歪みが低減されていることがわかる。

【0040】

このように、本実施形態の画像表示装置１００では、レンズの周縁部分であって、５次元多項式を用いた近似では補正しきれない範囲の画像の歪みを低減し、より自然に見えるビュー変換後の画像表示を行うことが可能となる。具体的には、車両後方を撮像した画像に対してビュー変換を行った画像を表示する際に生じるレンズ系の収差の影響を低減し、車両の運転者に対して、違和感のない画像を提供することが可能となる。特に、周縁部分の歪みが大きい魚眼レンズを用いた場合であっても、表示画像における周縁部分の歪みを低減することができる。

【0041】

また、近似式として５次多項式を適用することにより、レンズ系の収差による影響を低減することができ、さらに楕円方程式を用いた値で除することにより、魚眼レンズの中心から遠い領域において生じる大きい歪みを補正することが可能となる。

【0042】

また、魚眼レンズを通して取り込んだ画像をビュー変換して長方形形状の画面に表示する際に、この画面の周縁部分（特に頂点近傍）において生じる大きな歪みを低減することができる。

【0043】

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、多次元多項式として５次多項式を用いたが、他の次数、例えば３次あるいは４次の多項式を用いるようにしてもよい。多項式の次数と歪みの低減効果はトレードオフの関係にあるため、実用的には４次以上の多項式を用いることが望ましい。

【0044】

また、上述した実施形態では、車両に搭載されて車両後方を撮像、表示する画像表示装置１００について説明したが、監視カメラなどの他の用途で用いられる画像表示装置についても本発明を適用することができる。

【産業上の利用可能性】

【0045】

上述したように、本発明によれば、レンズの周縁部分であって、多次元多項式を用いた近似では補正しきれない範囲の画像の歪みを低減し、より自然に見えるビュー変換後の画像表示を行うことが可能となる。

【符号の説明】

【0046】

１０ 操作部
１２ 入力処理部
２０ 表示処理部
２２ 表示装置
３０ ＣＰＵ
４０ メモリ
５０ 入出力インタフェース部（Ｉ／Ｏ ＩＦ）
５２ カメラ
１００ 画像表示装置
１１０ 画像入力部
１１２ 画像格納部
１１４ ビュー変換部
１１６ パラメータ格納部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】