特許 7081265 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-30

(45)【発行日】2022-06-07

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220531BHJP

   H04N 5/232 20060101ALI20220531BHJP

   G06T 5/00 20060101ALI20220531BHJP

   G08G 1/16 20060101ALI20220531BHJP

   B60R 1/00 20220101ALI20220531BHJP

【ＦＩ】

H04N7/18 J

H04N5/232 290

G06T5/00 725

G08G1/16 C

B60R1/00

【請求項の数】 4

(21)【出願番号】P 2018064902

(22)【出願日】2018-03-29

(65)【公開番号】P2019176402

(43)【公開日】2019-10-10

【審査請求日】2021-02-26

(73)【特許権者】

【識別番号】000006611

【氏名又は名称】株式会社富士通ゼネラル

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】河野 恭佑

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１４－１１９８８３（ＪＰ，Ａ）

【文献】特開２０１２－５３６０１（ＪＰ，Ａ）

【文献】特開２０１０－１７１９１４（ＪＰ，Ａ）

【文献】特表２０１１－５００４０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２５４８１８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０６Ｔ ５／００

Ｇ０８Ｇ １／００－９９／００

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

入力画像を画像変換し出力画像を出力する画像処理装置であって、
前記入力画像の第１の画像領域内の画素毎に第１の歪補正を施し画像として出力する第１の変換部と、
前記入力画像の第２の画像領域内の画素毎に第２の歪補正を施し画像として出力する第２の変換部と、
前記入力画像の第３の画像領域内の画素毎に第３の歪補正を施し画像として出力する第３の変換部と、
前記第１の変換部からの画像出力と、前記第２の変換部からの画像出力と、前記第３の変換部からの画像出力とから前記出力画像を生成し出力する合成部と、
を有し、
前記出力画像は、前記第１の変換部からの出力された画像と前記第２の変換部から出力された画像との間に前記第３の変換部から出力された画像が配置され、前記第１の変換部からの出力された画像は歪曲収差のみを持つ、又は、歪みを持たない画像であることを特徴とする画像処理装置。

【請求項2】

前記入力画像は、被写体と、被写体からの光を集光するレンズと、前記集光された光が結像する撮像素子とから生成され、
前記第２の変換部は、
前記レンズの光軸に向かう直線状の前記被写体と、縦方向に直線の前記被写体とを前記出力画像内でほぼ直線状となり、かつ、横方向に直線の前記被写体を、前記出力画像の中央部分、及び同中央部分と左右に連なる左側部分と右側部分とでほぼ直線状に、また、前記出力画像の中央部分と、左側部分及び右側部分との境目付近で屈曲するように歪補正すること特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第３の変換部は、
前記入力画像の画素毎に前記第１の歪補正を施し得られた出力と前記第２の歪補正を施し得られた出力とを加重平均し出力することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記第１の画像領域内に進路線を描画することを特徴とする請求項１に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

例えば、魚眼レンズを用いた車載用カメラで撮像された被写体の画像から湾曲収差を補正するように画像変換して出力する画像処理装置がある（例えば特許文献１）。

【0003】

このような画像処理装置では、魚眼レンズの光軸に向かう直線状の被写体と、縦方向に直線の被写体とを出力画像内でほぼ直線状となるように入力画像全体を画像変換する。また、画像処理装置では、横方向に直線の被写体を、出力画像の中央部分、及び同中央部分と左右に連なる左側部分と右側部分とでほぼ直線状に、また、出力画像の中央部分と、左側部分及び右側部分との境目付近で屈曲するように入力画像全体を画像変換する。その結果、画像処理装置は利用者に違和感を与えない広角画像が見易い出力画像を提供している。

【0004】

また、上記のような画像処理装置から出力された出力画像を入力とした表示装置において車両が進行する方向に進路線を重畳して表示する技術が知られている（例えば特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－３１１８９０号公報

【文献】特開平１１－３３４４７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

このような表示装置では一般的に進路線のデータに対し、魚眼レンズの湾曲収差や他の画像変換処理によって変形した画像に合致するように、進路線のデータに対して画像変換を行い、画像処理装置が出力した画像内に実際に車両が進む進路を重畳して表示させる。そのため上述した進路線のデータに対する画像変換処理は、画像処理装置内で行う車載カメラで撮像された画像に対する画像変換処理と同様な画像変換処理となる。

【0007】

より具体的には表示装置側において、例えば表示装置の出力画像の出力座標（Ｘ，Ｙ）毎に、予め記憶された進路線のデータを入力とした入力座標（ｘ，ｙ）を対応づけるテーブルを使用し、出力座標（Ｘ，Ｙ）の画素の輝度と色の情報を、入力座標（ｘ，ｙ）の画素の輝度と色の情報を参照（転写）し生成する画像変換処理を行うことが考えられる。このような処理においては一般的に出力座標に対し、その座標に対応する入力座標をデーブル化した変換データを予め記憶させておき、そのデーブルに従って変換処理を行う。

【0008】

しかし、このようなデーブル化した変換データは出力画像の画素数分の入力座標（ｘ，ｙ）が必要となり、近年の表示装置の高画素化の流れに合わせその容量が大きくなりメモリのコストアップを招くという問題があった。

【0009】

本発明ではこのような問題に鑑み、表示装置のメモリの増大を抑えつつ進路線を重畳することができる画像処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0010】

一つの態様の画像処理装置は、入力画像を画像変換し出力画像を出力する画像処理装置であって、第１の変換部と、第２の変換部と、第３の変換部と、合成部とを有する。第１の変換部は、前記入力画像の第１の画像領域内の画素毎に第１の歪補正を施した画像を出力する。第２の変換部は、前記入力画像の第２の画像領域内の画素毎に第２の歪補正を施した画像を出力する。第３の変換部は、前記入力画像の第３の画像領域内の画素毎に第３の歪補正を施した画像を出力する。合成部は、前記第１の変換部からの画像出力と、前記第２の変換部からの画像出力と、前記第３の変換部からの画像出力とから前記出力画像を生成し出力する。前記出力画像は、前記第１の変換部から出力された画像と前記第２の変換部から出力された画像との間に前記第３の変換部から出力された画像が配置され、前記第１の変換部からの出力された画像は歪曲収差のみを持つ、又は、歪みを持たない画像である。

【発明の効果】

【0011】

本発明によれば、利用者に違和感を与えない見易い出力画像を維持しつつテーブルの容量を減じることができる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施例１の画像表示システムのハードウェア構成の一例を示す説明図である。

【図2】図２は、実施例１の撮像装置の機能構成の一例を示すブロック図である。

【図3】図３は、撮像装置で撮像した入力画像の一例を示す説明図である。

【図4】図４は、第１の変換テーブルのテーブル構成の一例を示す説明図である。

【図5】図５は、第１の変換部の第１の歪補正前後の画像の一例を示す説明図である。

【図6A】図６Ａは、画像変換モデルの一例を示す説明図である。

【図6B】図６Ｂは、第２の変換テーブルのテーブル構成の一例を示す説明図である。

【図7】図７は、第２の変換部の第２の歪補正前後の画像の一例を示す説明図である。

【図8A】図８Ａは、出力画像の一例を示す説明図である。

【図8B】図８Ｂは、出力画像内の第１の画像領域と、第１の画像領域以外の画像領域とを輝度で表現した説明図である。

【図8C】図８Ｃは、出力画像内の第１の画像領域と、第２の画像領域と、第３の画像領域と輝度で表現した説明図である。

【図9】図９は、割合テーブルのテーブル構成の一例を示す説明図である。

【図10】図１０は、第３の歪を補正する第３の入力座標を算出する際の算出方法の一例を示す説明図である。

【図11】図１１は、第３の変換テーブルのテーブル構成の一例を示す説明図である。

【図12】図１２は、出力画像の一例を示す説明図である。

【図13】図１３は、実像高と理想像高との関係の一例を示す説明図である。

【発明を実施するための形態】

【0013】

以下、図面に基づいて、本願の開示する画像処理装置の実施例を詳細に説明する。尚、各実施例により、開示技術が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。

【実施例】

【0014】

図１は、実施例１の画像表示システム１のハードウェア構成の一例を示す説明図である。図１に示す画像表示システム１は、撮像装置２と、ナビゲーション装置３と、表示装置４とを有する。撮像装置２は、レンズ１１と、撮像素子１２と、画像処理プロセッサ１３と、ＲＯＭ（Read Only Memory）１４と、ＲＡＭ(Radom Access Memory)１５とを有する。撮像装置２は、例えば、車両後部のナンバープレート付近に配置されたカメラ装置である。レンズ１１は、例えば、魚眼レンズである。撮像素子１２は、レンズ１１を通じて車両後方の特定範囲の画像を撮像するＣＭＯＳセンサである。画像処理プロセッサ１３は、撮像装置２内部の画像処理を実行する画像処理装置である。ＲＯＭ１４は、各種プログラム等の情報を格納する。ＲＡＭ１５は、各種情報を記憶する。

【0015】

ナビゲーション装置３は、地図情報等の案内情報を表示装置に出力すると共に、撮像装置２からの出力画像に進路線５０を描画し、進路線５０を描画した出力画像を表示装置４に出力する。表示装置４は、例えば、運転席の正面パネルに配置され、例えば、ナビゲーション装置３からの出力画像や地図情報を表示出力するモニタ装置である。尚、ナビゲーション装置３は、画像の歪み補正後の出力画像に合致するように画像変換された進路線５０を描画する設定としている。

【0016】

図２は、実施例１の撮像装置２の構成の一例を示す説明図である。図２に示す撮像装置２は、制御部２０及び記憶部３０を備える。制御部２０は図１での画像処理プロセッサ１３に対応し、記憶部３０は図１でのＲＯＭ１４に対応する。制御部２０は、第１の変換部２１と、第２の変換部２２と、算出部２３と、第３の変換部２４と、合成部２５と有する。記憶部３０は、第１の変換テーブル３１と、第２の変換テーブル３２と、割合テーブル３３と、第３の変換テーブル３４とを有する。

【0017】

図３は、撮像装置２で撮像した画像を表示装置４に表示させた一例を示す説明図である。図３に示す入力画像４０は、第１の画像領域４１と、第２の画像領域４２と、第３の画像領域４３とを有する。画像処理プロセッサ１３は、入力画像内の第１の画像領域４１、第２の画像領域４２及び第３の画像領域４３を識別する。すなわち、画像処理プロセッサ１３は、入力画像内の各画素値を入力座標で識別し、第１の画像領域４１内の各画素値を第１の入力座標、第２の画像領域４２内の各画素値を第２の入力座標、第３の画像領域４３内の各画素値の第３の入力座標で識別する。

【0018】

破線Ｌ１で囲まれた第１の画像領域４１は、例えば、入力画像内の中央部分の画像領域に相当し、例えば、歪曲収差のみを持つ、又は、歪を持たないように、歪を補正（第１の歪み補正）する対象領域であって、舵角に応じて変化する進路線を描画するための画像領域である。一点鎖線Ｌ２と点線Ｌ３とに囲まれた第２の画像領域４２は、例えば、前述の特許文献１に示すような直線の物体を直線で表示し利用者に違和感を与えない歪補正（第２の歪み補正）する画像領域である。この部分は歪曲収差を持たない。破線Ｌ１と一点鎖線Ｌ２とに囲まれた第３の画像領域４３は、第１の歪補正と第２の歪補正とを加重平均する第３の歪補正を行う画像領域である。加重平均については後述する。

【0019】

第１の変換部２１は、入力画像４０の第１の画像領域４１内の画素毎に第１の歪補正を施し出力する変換部である。尚、第１の画像領域４１内の画素は、例えば、第１の入力座標の画素値とも言える。第１の変換部２１は、例えば、第１の変換テーブル３１を参照し、入力画像４０内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を出力画像内の出力座標の画素値として出力する。第１の変換テーブル３１は、出力画像の出力座標毎に、入力画像内の歪を補正した画素値の第１の入力座標を対応付けて管理するテーブルである。第１の変換部２１は、出力画像の第１の画像領域４１内の出力座標毎の画素値を合成部２５に出力する。

【0020】

ここでナビゲーション装置３が進路線５０を画像の歪み補正後の出力画像に合致するように画像変換する動作について説明する。例えば第１の画像領域４１の画像は歪曲収差を有するとした場合、ナビゲーション装置３は進路線データに対し同じ前述の歪曲収差と同じ収差を持つように画像変換を行う。歪曲収差があると実像高と理想像高が異なる。図１３は、実像高と理想像高との関係の一例を示す説明図である。ナビゲーション装置３は、理想像高の極座標（Ｒ，φ）の画素値を実像高の極座標（ｒ、φ）に画像変換する。この変換は図１３の線Ｌ上の任意の画素を同じ線Ｌ上の別な箇所に移動させる変換であり、この変換テーブルは出力画像の出力座標（Ｘ，Ｙ）毎に、入力画像の入力座標（ｘ，ｙ）を対応づけた変換テーブルと比較しデータのサイズが小さい。尚、第１の画像領域４１の画像は歪みのないものであってもよい。このとき画像内の極座標（Ｒ，φ）の画素値から極座標（ｒ、φ）の画素値への変換においては前述のような画素の移動は発生しないため変換テーブルは不要となる。

【0021】

第２の変換部２２は、入力画像４０の第２の画像領域４２内の画素毎に第２の歪補正を施し出力する変換部である。尚、第２の画像領域４２内の画素は、例えば、第２の入力座標の画素値と言える。第２の変換部２２は、例えば、第２の変換テーブル３２を参照し、入力画像４０内の第２の画像領域４２内の歪を補正した第２の入力座標の画素値を出力画像内の第２の出力座標の画素値として出力する。第２の変換テーブルは、第２の画像領域４２内の第２の入力座標毎に、第２の歪を補正した画素値の第２の入力座標を対応付けて管理するテーブルである。第２の変換部２２は、出力画像の第２の画像領域４２内の出力座標毎の画素値を合成部２５に出力する。

【0022】

算出部２３は、入力画像４１内の第３の画像領域４３内の歪を補正した画素値の出力座標毎に、第３の画像領域４３内の出力座標から直近の第１の画像領域４１内の出力座標までの第１の距離と、第３の画像領域４３内の出力座標から直近の第２の画像領域４２内の出力座標までの第２の距離との比率を算出する。更に、算出部２３は、その比率を割合として、出力座標毎に割合テーブル３３内に記憶する。算出部２３は、入力画像４１の画素毎に第１の歪補正を施して得られた出力と第２の歪補正を施して得られた出力とを加重平均して出力する。算出部２３は、例えば、割合テーブル３３を参照し、出力座標毎の割合（第１の距離：第２の距離）に応じて第１の入力座標及び第２の入力座標を補正する。算出部２３は、割合補正後の第１の入力座標及び割合補正後の第２の入力座標同士を加算することで出力画像の第３の入力座標を算出する。

【0023】

算出部２３は、出力座標毎に、第３の入力座標を第３の変換テーブル３４に記憶する。第３の変換部２４は、入力画像の第３の画像領域４３内の画素毎に第３の歪補正を施し出力する変換部である。尚、第３の画像領域４３内の画素は、例えば、第３の入力座標の画素値と言える。第３の変換部２４は、例えば、第３の変換テーブル３４を参照し、入力画像４０内の第３の画像領域４３内の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として出力する。第３の変換部２４は、第３の画像領域４３内の出力座標毎の画素値を合成部２５に出力する。

【0024】

図５は、第１の変換部２１の第１の歪補正前後の画像の一例を示す説明図である。第１の変換部２１は、第１の変換テーブル３１を参照し、出力座標毎に、歪を補正した第１の入力座標の画素値を出力座標の画素値として出力する。第１の変換部２１は、第１の画像領域４１内の出力座標の画素値を合成部２５に出力する。その結果、第１の変換部２１は、図５に示すように第１の歪補正前の画像を第１の歪補正後の画像として出力できる。第１の変換部２１は、例えば、入力画像内の入力座標β１の画素値を出力画像内の出力座標α１の画素値として、入力画像内の入力座標β３の画素値を出力画像内の出力座標α３の画素値として出力する。尚、説明の便宜上、図５の例では、入力画像内の全ての第１の入力座標の画素値を出力座標の画素値として出力する場合を例示した。しかしながら、実際には、第１の変換部２１は、入力画像内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力するものである。

【0025】

図６Ａは、画像変換モデルの一例を示す説明図である。図６Ａに示す画像変換モデルは、円形の平面からなる入力画像５１と、レンズ１１と対応して被写体が映し出される半球状の仮想物体面５２と、湾曲収差を補正する補正面５３と、画像変換される表示面５４とを順に並べて構成する。レンズ１１の光軸と対応する仮想光軸ｚは、入力画像５１の中央に位置する光軸原点０からこれらの面の中央を直角に挿通する。補正面５３は、中央に配置された中央面５３Ａと、同中央面５３Ａの左右にそれぞれ配置された左側面５３Ｂ及び右側面５３Ｃとで構成され、同左側面５３Ｂと右側面５３Ｃとは光軸原点に向かって屈曲して構成する。仮想光軸ｚ方向の補正面５３に投射された仮想物体面５２上の画像は、表示面５４へ正射影方式で投射され、投射された表示面５４の画像を出力画像とする。

【0026】

画像変換モデルでは、表示面５４の画素位置を補正面５３の画素位置に変換し、補正面５３の画素位置を仮想物体面５２の半球面の極座標に変換し、最終的に入力画像５１の画素位置へ変換する。画像変換モデルでは、表示面５４の画素位置毎に入力画像５１の画素位置を変換し、これら表示面５４の画素位置毎に入力画像５１の画素位置を格納する。すなわち、第２の変換テーブル３２は、出力座標毎に歪を補正した画素値の第２の入力座標を管理する。

【0027】

図６Ｂは、第２の変換テーブル３２のテーブル構成の一例を示す説明図である。図６Ｂに示す第２の変換テーブル３２は、出力座標と、第２の入力座標とを対応付けて管理している。出力座標は、出力画像の画素値を出力する座標である。第２の入力座標は、出力座標毎に歪を補正した画素値を入力する座標である。尚、第２の変換テーブル３２内の出力座標毎に第２の歪を補正した画素値の入力座標を算出する上での原理は、本出願人が特許文献１（特開２００８－３３４４７０号公報）で提案している。尚、ここでは特許文献１で示す技術を適用したが、これに限定されず、広角レンズに起因する歪みを補正する公知の技術が用いられてもよい。

【0028】

図７は、第２の変換部２２の第２の歪補正前後の画像の一例を示す説明図である。第２の変換部２２は、第２の変換テーブル３２を参照し、出力座標毎に、第２の歪を補正した第２の入力座標の画素値を出力座標の画素値として出力する。第２の変換部２２は、例えば、図７に示すように、入力画像内の入力座標β５の画素値を出力画像内の出力座標α５の画素値として、入力画像内の入力座標β６の画素値を出力画像内の出力座標α６の画素値として出力する。第２の変換部２２は、第２の画像領域４２内の各出力座標の画素値を合成部２５に出力する。その結果、第２の変換部２２は、第２の歪補正前の画像を第２の歪補正後の画像として出力する。尚、説明の便宜上、図７の例では、入力画像内の全ての第２の入力座標の画素値を出力座標の画素値として出力する場合を例示した。しかしながら、第２の変換部２２は、実際には、入力画像内の第２の画像領域４２内の第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力するものである。

【0029】

図８Ａは、出力画像の一例を示す説明図である。図８Ａに示す出力画像の中央部分には、第１の画像領域４１がある。図８Ｂは、出力画像内の第１の画像領域４１と、第１の画像領域４１以外の画像領域とを明暗で表現した説明図である。出力画像内の第１の画像領域４１は、図８Ｂに示すように白地で表現できる。出力画像内の第１の画像領域４１以外の画像領域は、第２の画像領域４２及び第３の画像領域４３であって、図８Ｂに示すように黒地で表現できる。図８Ｃは、出力画像内の第１の画像領域４１と、第２の画像領域４２と、第３の画像領域４３と明暗で表現した説明図である。図８Ｃに示す出力画像は、第１の画像領域４１は白地、第２の画像領域４２は黒地、第１の画像領域４１と第２の画像領域４２との境界である第３の画像領域４３はグラデーションで表現できる。白地は、輝度が１００％であるため、第１の画像領域４１であることを示し、黒字は、輝度が０％であるため、第２の画像領域４２であることを示し、明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３の画像領域４３であることを示している。この明暗は第１の歪補正により出力される出力座標と画像と第２の歪補正により出力される出力座標とを加重平均し新たな出力座標とする第３の歪補正における加重平均の割合を示している。

【0030】

ここで前述の加重平均について詳述する。第３の画像領域４３内の出力座標毎の割合は、第３の画像領域４３内の出力座標から直近の第１の画像領域４１内の出力座標までの第１の距離と、当該第３の画像領域４３内の出力座標から直近の第２の画像領域４２内の第２の出力座標までの第２の距離との比率に応じた割合である。算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との割合が５：５の場合、出力座標の割合として５０％を算出する。また、算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との割合が７：３の場合、出力座標の割合として７０％を算出する。また、算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との比率が３：７の場合、出力座標の割合として３０％を算出する。尚、第３の画像領域４３内の出力座標の割合Ｘは、０％＜Ｘ＜１００％である。

【0031】

また、算出部２３は、第１の画像領域４１内の出力座標の場合、出力座標に対する第１の距離と第２の距離との比率が１０：０となるため、出力座標の割合として１００％を算出する。尚、第１の画像領域４１内の出力座標の割合は、１００％となる。また、算出部２３は、第２の画像領域４２内の出力座標の場合、出力座標に対する第１の距離と第２の距離との比率が０：１０となるため、出力座標の割合として０％を算出する。尚、第２の画像領域４２内の出力座標の割合は、０％となる。そして、算出部２３は、出力座標毎の割合を算出した場合、出力座標毎に割合を割合テーブル３３内に記憶する。

【0032】

図９は、割合テーブル３３のテーブル構成の一例を示す説明図である。図９に示す割合テーブル３３は、出力画像内の出力座標毎に割合を対応付けて管理している。割合は、第３の歪を補正した画素値の第３の入力座標を算出する際に使用する、出力座標毎の第１の入力座標及び第２の入力座標の加重平均の割合である。

【0033】

算出部２３は、例えば、第１の歪を補正した画素値の第１の入力座標をｆ（ｘ，ｙ）で算出する。算出部２３は、例えば、第２の歪を補正した画素値の第２の入力座標をｇ（ｘ，ｙ）で算出する。図１０は、第３の歪を補正する第３の入力座標を算出する際の算出方法の一例を示す説明図である。図１１は、第３の変換テーブル３４のテーブル構成の一例を示す説明図である。算出部２３は加重平均処理を行う。より詳細には図１０に示すように、出力座標の割合をｎ％とした場合、第１の入力座標ｆ（ｘ，ｙ）×ｎ％で第１の入力座標を割合補正する。更に、算出部２３は、第２の入力座標ｇ（ｘ，ｙ）×（１００％－ｎ％）で第２の入力座標を割合補正する。更に、算出部２３は、割合補正後の第１の入力座標と割合補正後の第２の入力座標とを加算して第３の入力座標を出力座標毎に算出する。つまり、算出部２３は、ｆ（ｘ，ｙ）×ｎ％＋ｇ（ｘ，ｙ）×（１００％－ｎ％）の（数式１）で第３の入力座標を出力座標毎に算出する。算出部２３は、割合テーブル３３内の出力座標に対応する割合を参照し、例えば、出力座標の割合が５０％の場合、出力座標に対応する第１の入力座標の５０％と、出力座標に対応する第２の入力座標の５０％とを加算する。そして、算出部２３は、その加算値を第３の入力座標として算出し、図１１に示すように、出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

【0034】

算出部２３は、例えば、出力座標の割合が７０％の場合、出力座標に対応する第１の入力座標の７０％と、出力座標に対応する第２の入力座標の３０％とを加算する。そして、算出部２３は、その加算値を出力座標の第３の入力座標として算出し、図１１に示すように出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

【0035】

算出部２３は、例えば、出力座標の割合が３０％の場合、出力座標に対応する第１の入力座標の３０％と、出力座標に対応する第２の入力座標の７０％とを加算する。そして、算出部２３は、その加算値を出力座標の第３の入力座標として算出し、図１１に示すように出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

【0036】

第３の変換部２４は、第３の変換テーブル３４を参照し、第３の画像領域４３内の第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

【0037】

つまり、第１の変換部２１は、入力画像内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、入力画像内の第２の画像領域４２内の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、入力画像内の第３の画像領域４３内の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

【0038】

合成部２５は、第１の変換部２１からの第１の画像領域４１内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３内の出力座標の画素値とを合成した出力画像をナビゲーション装置３に出力する。図１２は、出力画像の一例を示す説明図である。尚、出力画像は、図１２に示すように第１の歪を補正した第１の画像領域４１と、第２の歪を補正した第２の画像領域４２と、第３の歪を補正した第３の画像領域４３とを含む画像である。出力画像は、例えば、第１の画像領域４１と第２の画像領域４２との間に第３の画像領域４３が配置されることになる。

【0039】

そして、ナビゲーション装置３は、合成部２５からの出力画像内の第１の画像領域４１上のエリアに進路線５０を描画し、図１２に示すように、描画後の出力画像を表示装置４に出力する。尚、進路線５０は、例えば、横幅が車幅程度の範囲、かつ、奥行きを２メートルの範囲とする。

【0040】

次に本実施例の画像表示システム１の動作について説明する。尚、説明の便宜上、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３の内容は事前に記憶されているものとする。

【0041】

第１の変換部２１は、第１の変換テーブル３１を参照し、撮像素子１２にて撮像された入力画像内の第１の画像領域４１内の出力座標毎に、第１の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、第２の変換テーブル３２を参照し、撮像素子１２にて撮像された入力画像内の第２の画像領域４２内の出力座標毎に、第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、第３の変換テーブル３４を参照し、撮像素子１２にて撮像された入力画像内の第３の画像領域４３内の出力座標毎に、第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

【0042】

合成部２５は、第１の変換部２１からの第１の画像領域４１内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３内の出力座標の画素値とを合成して出力画像を生成する。合成部２５は、生成した出力画像をナビゲーション装置３に出力する。ナビゲーション装置３は、合成部２５からの出力画像内の第１の画像領域４１のエリアに進路線５０を描画し、進路線５０を描画した出力画像を表示装置４に出力する。進路線５０の生成にあたっては第１の画像領域４１に適用されている第１の歪み補正と同じ補正処理を進路線５０の元データに対し行う。その結果、利用者は、進路線５０は出力画像上を車両がどのように進むかを出力画像上に重畳表示することができる。

【0043】

ナビゲーション装置３は、前述の通り歪曲収差のみを持つ、又は、歪を持たないような第１の歪み補正の画像部分において、進路線のデータに対し同様な画像変換を行なった進路線を重畳する。前述の通り、この画像変換を行うための変換テーブルは容量の小さいメモリに格納が可能なため、メモリ容量を小さくすることができる。メモリ容量増大に伴うコストアップは抑制される。

【0044】

撮像装置２では、撮像装置２内のＲＡＭ１５に第１の変換テーブル３１、第２の変換テーブル３２、割合テーブル３３及び第３の変換テーブル３４を格納した。しかしながら、ＲＡＭ１５に限定されるものではなく、例えば、撮像装置２と外部接続可能な図示せぬ記憶装置に格納しても良く、適宜変更可能である。

【0045】

撮像装置２は、第１の変換テーブル３１、第２の変換テーブル３２及び割合テーブル３３を内蔵したが、事前に第３の変換テーブル３４のテーブル内容が格納されている場合には、第３の変換テーブル３４のみの内蔵でも良く、適宜変更可能である。

【0046】

撮像装置２では、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３を使用した。しかしながら、出力座標毎に、第１の歪を補正した画素値の第１の入力座標を算出するための関数ｆ、第２の歪を補正した画素値の第２の入力座標を算出するための関数ｇ、第３の歪を補正した画素値の入力座標を算出する（数式１）を記憶しても良い。

【0047】

この場合、撮像装置２では、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３を準備しなくても、関数ｆ、関数ｇ及び数式１で、第１の歪補正、第２の歪補正及び第３の歪補正を施した画素値の入力座標を算出する。そして、撮像装置２Ａは、第１の歪を補正した第１の画像領域４１内の出力座標の画素値と、第２の歪を補正した第２の画像領域４２内の出力座標の画素値と、第３の歪を補正した第３の画像領域４３内の出力座標の画素値とを含む出力画像をナビゲーション装置３に出力する。

【0048】

尚、上記実施例では、撮像装置２内のＲＡＭ１４等に入力画像を記憶したが、撮像装置２と接続する外部の記憶装置に入力画像を記憶しても良く、適宜変更可能である。

【0049】

上記実施例では、例えば、第２の歪補正を特許文献１により歪み補正とし説明したが、これらの歪に限定されるものではなく、利用者が見易い他の補正方法を採用してもよい。

【0050】

上記実施例では、第１の画像領域４１内の第１の歪補正、第２の画像領域４２内の第２の歪補正、第３の画像領域４３内の第３の歪補正を実行する歪補正処理（画像処理）を撮像装置２内の画像処理プロセッサ１３で実行した。しかしながら、撮像装置２と接続する外部装置、例えば、ナビゲーション装置３に歪補正処理を実行しても良く、適宜変更可能である。

【0051】

上記実施例では、第１の変換部２１で第１の歪補正、第２の変換部２２で第２の歪補正、第３の変換部２４で第３の歪補正を実行した。しかしながら、これら第１の歪補正、第２の歪補正及び第３の歪補正を順不同で順次実行、若しくは並列に実行しても良く、適宜変更可能である。

【0052】

上記実施例のナビゲーション装置３は、撮像装置２内の湾曲収差テーブル３１Ａを使用して第１の画像領域４１のエリアに進路線５０を描画したが、ナビゲーション装置３内に第１の変換テーブル３１を別途設けても良く、適宜変更可能である。

【0053】

上記実施例では、第１の歪を補正した第１の画像領域４１を含む出力画像に進路線５０を描画したが、進路線５０に限定されるものではなく、例えば、固定の進路線等の線を描画しても良く、適宜変更可能である。

【符号の説明】

【0054】

２ 撮像装置
１３ 画像処理プロセッサ
２１ 第１の変換部
２１Ａ 第１の変換部
２２ 第２の変換部
２２Ａ 第２の変換部
２３ 算出部
２３Ａ 算出部
２４ 第３の変換部
２４Ａ 第３の変換部
２５ 合成部
２５Ａ 合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】