特許 6148568 固体撮像装置および映像信号補正プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6148568

(24)【登録日】2017年5月26日

(45)【発行日】2017年6月14日

(54)【発明の名称】固体撮像装置および映像信号補正プログラム

(51)【国際特許分類】

   H04N 9/07 20060101AFI20170607BHJP

【ＦＩ】

   H04N9/07 C

【請求項の数】4

【全頁数】9

(21)【出願番号】特願2013-164013(P2013-164013)

(22)【出願日】2013年8月7日

(65)【公開番号】特開2015-33117(P2015-33117A)

(43)【公開日】2015年2月16日

【審査請求日】2016年3月31日

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(72)【発明者】

【氏名】野中 貴俊

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００６−１３５８０５（ＪＰ，Ａ）

【文献】 特開２０１２−０７００４６（ＪＰ，Ａ）

【文献】 特開２０１２−１３４７３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ９／０４−９／１１

(57)【特許請求の範囲】

【請求項1】

複数の倍率色収差特性情報を出力するレンズと固体撮像素子を有しカラー映像信号を出力する固体撮像装置において、
前記レンズから取得する複数のレンズ倍率色収差特性から現在のレンズのエクステンダ、ズーム、フォーカス及びアイリスの各ポジションにおける倍率色収差の補正式、及び、現在のレンズのポジションデータを求め、
該求めた補正式とポジションデータに基づき映像信号を領域分割した画面の水平方向成分と垂直方向成分の各領域の倍率色収差の補正量を算出する手段と、
この各領域の水平方向補正量と垂直方向補正量を現在の映像信号処理をしている水平アドレスと垂直アドレスにより切替え、垂直画像シフト部のシフト量と水平画像シフト部のシフト量として画像シフトを行なうことでカラー映像信号の倍率色収差を補正する手段と、を有する固体撮像装置。

【請求項2】

請求項１の固体撮像装置において、前記レンズのズーム、フォーカス及びアイリスの各ポジションについては現在の前記ズーム、フォーカス及びアイリスの各ポジションの近傍の分割点における前記補正式から直線補間により、現在のレンズポジションのＲ−Ｇ補正、Ｂ−Ｇ補正を算出することで、現在の前記ズーム、フォーカス及びアイリスの各ポジションの倍率色収差の補正量を算出する手段を有することを特徴とする固体撮像装置。

【請求項3】

複数の倍率色収差特性情報を出力するレンズと固体撮像素子を有しカラー映像信号を出力する固体撮像装置において、
前記レンズから取得する複数のレンズ倍率色収差特性から現在のレンズのアイリスポジション、フォーカスポジション、ズームポジション、エクステンダ状態のレンズポジションをリアルタイム処理で取得し、該取得した各ポジションにおける倍率色収差の補正式を求め、映像信号を領域分割した画面の水平方向成分と垂直方向成分の各領域の補正量を算出する機能と、
これらの各領域の水平方向補正量と垂直方向補正量を現在の映像信号処理をしている水平アドレスと垂直アドレスにより切替え、垂直画像シフト部のシフト量と水平画像シフト部のシフト量として画像シフトを行なうことでカラー映像信号の倍率色収差を補正する機能とを実現させることを特徴とする映像信号補正プログラム。

【請求項4】

請求項３の倍率色収差補正プログラムにおいて、前記レンズの各ポジションについては前記レンズの現在の各ポジションの近傍の分割点における前記補正式から直線補間により、前記レンズの各ポジションの倍率色収差補正の補正式を算出する機能を実現させることを特徴とする映像信号補正プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レンズの色収差（倍率色収差）による映像信号の色のずれ（にじみ）を補正する固体撮像装置および映像信号のにじみ補正プログラムに関する。

【背景技術】

【0002】

一般に、カラー映像信号を撮影する撮影装置（カメラ）のレンズは、光の周波数によって屈折率が異なり、波長の長い光と波長の短い光とで結像する位置にずれが生じるため、レンズを介して撮影された映像にはにじみが生じる。そして、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色からなるカラー映像では、緑に比べて波長の長い赤と、波長の短い青とが互いに異なる方向にずれるため、例えば、黒と白との境界においては、赤あるいは青のにじみが発生する。このにじみの量は、画面上での中心からの距離のＮ（Ｎは整数）乗に比例し、ズーム、フォーカスおよびアイリス等のレンズパラメータにより変化する。一般に許容されるレンズの色収差は１画素（１走査線）程度であるため、許容されるレンズの色収差の比は画高さに対する１画素（１走査線）の比つまり有効走査線数の逆数程度となる。
ズームレンズのズームによる倍率色収差特性例の変化の模式図の図３の様に、ズームによる倍率色収差が非線形に個別に変化する。画高円とは画面の中心を中心とする円で直径が画面の高さ（画高）の円である。そして、ＳＤＴＶ(Standard Definition TeleVision)は有効走査線が486本から576本程度で許容されるレンズの色収差は画高さに対する画素０．２％程度であり、ＨＤＴＶ(High Definition TeleVision) は有効走査線が７２０本から１０８０本程度で許容されるレンズの色収差は０．１％程度であり、あり、ＵＨＤＴＶ(Ultra High Definition TeleVision) は有効走査線が２１６０本程度なら許容されるレンズの色収差は０．０５％程度であり４３２０本程度なら許容されるレンズの色収差は０．０２５％程度である。また、色収差を抑えるために高額な蛍石や低分散ガラスと高屈折率ガラスとを組合わせて用いることもあり、ズームレンズは撮影装置本体よりも一般に大型で高額である。

【0003】

そこで、この倍率色収差による、緑に対する赤、青の光の結像位置のずれの量を各画素について予め求めておき、撮影されたカラー映像信号の赤と青の原色信号についてずれを補正することで、倍率色収差による映像信号のにじみを補正する技術が開示されている（特許文献１参照）。また、輝度信号と色差信号を赤、緑、青の原色信号に変換し、レンズの歪曲収差によるひずみと、倍率色収差によるにじみとを補正する技術が開示されている（特許文献２参照）。

【0004】

これら特許文献１および特許文献２に記載の発明は、ズーム、フォーカスおよびアイリス等のレンズパラメータが一定である場合には実現できる。一方、カメラでテレビ番組等の映像信号（動画）を撮影する場合には、一般的にレンズパラメータを様々に変化させて行うことが多い。この場合、特許文献１および特許文献２に記載の発明は、レンズパラメータの変化に対応する、結像位置のずれの量を示すデータを予め用意しようとすると、このデータの取得が困難であるうえに、膨大な量のデータを記憶する必要が生じ、現実的ではない。

【0005】

そこで、この問題点を解決すべく、例えば、特許文献３に記載の発明が提案されている。この特許文献３に記載の発明は、レンズパラメータを様々な値に変化させて撮影した場合でも、このレンズパラメータに基づいて、倍率色収差によるカラー映像のにじみを除去するものである。

【0006】

しかし、特許文献３に記載の発明は、記憶手段に記憶する補正データの数について、適切な基準が示されていない。このため、特許文献３に記載の発明は、補正データの数が多すぎると、大容量の記憶手段が必要になる。その一方、特許文献３に記載の発明は、補正データの数が少なすぎると、適切な補正データの選定が難しく、その補正データを用いて算出した補正量が映像の実際のずれ量と大きく異なるものとなり、補正を正確に行うことができない。

【0007】

そこで、この問題点を解決すべく、より簡易な構成で正確な補正が可能な倍率色収差・像歪補正装置を提供するため、倍率色収差・像歪補正装置は、補正データ生成手段と、補正データを記憶する補正データ記憶手段と、補正データが複数入力されると共に、補正データ記憶手段の記憶容量又は所定の評価値に基づいて補正データの記憶数を算出し、入力された補正データを記憶数以下に間引いてから補正データ記憶手段に書き込む補正データ間引き手段と、信号入力手段と、レンズパラメータ入力手段と、補正データ記憶手段と、補正データ選定手段と、補正量算出手段と、収差補正手段と、信号記憶手段と、信号出力手段とを備える技術が開示されている（特許文献４参照）。

【0008】

特許文献４は、具体的には 映像信号を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正する倍率色収差・像歪補正装置であって、色の三原色である第１原色、第２原色および第３原色の前記補正データを記憶する補正データ記憶手段と、前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む補正データ間引き手段と、前記画素ごとの、前記第１原色、第２原色および第３原色の明るさを示す第１原色信号、第２原色信号および第３原色信号を入力する信号入力手段と、この信号入力手段から入力される第１原色信号、第２原色信号および第３原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力するレンズパラメータ入力手段と、前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む２つのレンズパラメータの補正データを選定する補正データ選定手段と、この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する補正量算出手段と、この補正量算出手段によって算出された補正量に基づいて、前記第１原色信号、第２原色信号および第３原色信号の各画素の明るさを示す画素値を補正する補正手段と、前記補正手段によって画素値が補正された前記第１原色信号、第２原色信号および第３原色信号を出力する信号出力手段と、を備えることを特徴とする倍率色収差・像歪補正装置である。

【0009】

つまり、補正データを生成し、記憶数以下に間引いてから記憶し、レンズパラメータ入力し、補正データ選定し、補正量算出し、信号の収差を補正手するこの特許文献４に記載の発明は、まだ構成や動作が複雑で小型化に適していない。

【0010】

また、撮像装置及び方法において、光電変換手段から出力されるカラー映像信号に基づくカラー映像内の基準位置からの距離に応じた色収差の収差量を検出し、検出した基準位置からの距離に応じた収差量に基づいて、カラー映像信号に対して色収差を補正する所定の信号処理を施すようにした技術が開示されている（特許文献５参照）。

【0011】

しかし、この特許文献５に記載の発明は、個体毎においてフォーカス位置ごとに、距離の3次曲線で近似される色収差を補正している。つまり、ズームやエクステンダやアイリスなどのレンズのパラメータを考慮していないので、ズームレンズのズームによる倍率色収差特性の変化の模式図の図３の様なズームレンズの色収差を補正する精度がまだ十分高くなく、低価格で色収差が大きいズームレンズを使いこなせない。

【0012】

したがって、従来技術では、まだ構成や動作や設定が複雑で小型化に適していないか、あるいは、まだ画面上での中心からの距離のＮ乗に比例し、フォーカス並びにズーム及びエクステンダ及びアイリスなどの等のレンズパラメータにより変化するズームレンズの色収差を補正する精度が十分高くなく、低価格で色収差が大きく色収差の変化も大きいズームレンズを使いこなせない。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】特開平６−２９２２０７号公報

【特許文献2】特開２０００−３４３７号公報

【特許文献3】特開２００６−１３５８０５号公報

【特許文献4】特開２０１１−１８２０７１号公報

【特許文献5】特開２０００−２９９８７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0014】

そこで、本発明は、複雑な設定をする必要無く、簡易な構成で、エクステンダ、ズーム、フォーカス及びアイリスのレンズパラメータにより変化するズームレンズの倍率色収差を十分高精度に補正が可能なカラー映像信号の補正を行なう固体撮像装置およびプログラムを提供することを課題とする。

【課題を解決するための手段】

【0015】

前記した課題を解決するため、本発明は、複数の倍率色収差特性情報を出力するレンズと固体撮像素子を有しカラー映像信号を出力する固体撮像装置において、前記レンズから取得する複数のレンズ倍率色収差特性から現在のレンズのエクステンダ、ズーム、フォーカス及びアイリスの各ポジションにおける倍率色収差の補正式を求め、映像信号を領域分割した画面の水平方向成分と垂直方向成分の各領域の倍率色収差の補正量を算出する手段と、この各領域の水平方向補正量と垂直方向補正量を現在の映像信号処理をしている水平アドレスと垂直アドレスにより切替え、垂直画像シフト部のシフト量と水平画像シフト部のシフト量として画像シフトを行なうことでカラー映像信号の倍率色収差を補正する手段と、を有する固体撮像装置である。
さらに、上記固体撮像装置において、前前記レンズのズーム、フォーカス及びアイリスの各ポジションについては現在の前記ズーム、フォーカス及びアイリスの各ポジションの近傍の分割点における前記補正式から直線補間により、現在の前記ズーム、フォーカス及びアイリスの各ポジションの倍率色収差の補正式を算出する手段を有することを特徴とする固体撮像装置である。

【0016】

また、複数の倍率色収差特性情報を出力するレンズと固体撮像素子を有しカラー映像信号を出力する固体撮像装置において、前記レンズから取得する複数のレンズ倍率色収差特性から現在のレンズの（エクステンダ、ズーム、フォーカス及びアイリスの）各ポジションにおける倍率色収差の補正式を求め、映像信号を領域分割した画面の水平方向成分と垂直方向成分の各領域補正量を算出する機能と、この各領域の水平方向補正量と垂直方向補正量を現在の映像信号処理をしている水平アドレスと垂直アドレスにより切替え、垂直画像シフト部のシフト量と水平画像シフト部のシフト量として画像シフトを行なうことでカラー映像信号の倍率色収差を補正する機能とを実現させることを特徴とする映像信号補正プログラムである。
さらに、上記倍率色収差補正プログラムにおいて、前記レンズの（ズーム、フォーカス及びアイリスの）各ポジションについては現在の前記ズーム、前記レンズの（ズーム、フォーカス及びアイリスの）各ポジションの近傍の分割点における前記補正式から直線補間により、前記レンズの（ズーム、フォーカス及びアイリスの）各ポジションの倍率色収差補正の補正式を算出する機能を実現させることを特徴とする映像信号補正プログラムである。

【発明の効果】

【0017】

本発明によれば、複雑な設定をする必要無く、簡易な構成でエクステンダ、ズーム、フォーカス及びアイリスのレンズパラメータにより変化するズームレンズの倍率色収差の補正を十分高精度に容易にカラー映像信号の補正を行なうことを可能にする。

【図面の簡単な説明】

【0018】

【図1】本発明の1実施例の倍率色収差の補正を行うテレビジョンカメラ（固体撮像装置）の構成を示すブロック図

【図2】本発明の1実施例の倍率色収差のある画面の領域分割方法を説明する模式図

【図3】ズームレンズのズームによる画高円の倍率色収差特性例の模式図

【発明を実施するための形態】

【0019】

本発明の一実施例を倍率色収差の補正を行うテレビジョンカメラ（固体撮像装置）の構成を示すブロック図の図１を用いて説明する。

【0020】

テレビジョンカメラ（固体撮像装置）１００はレンズ１０１からレンズデータ取得部１０２でレンズデータを取得する。レンズデータはレンズ倍率色収差特性データとレンズのエクステンダ、ズーム、フォーカス及びアイリスの各ポジションの２つに分類される。レンズ倍率色収差特性式データはレンズ倍率色収差特性式取得部１０３がカメラ起動時またはレンズ接続時に取得、倍率色収差特性式をレンズ中心からの距離の軸に関して対象移動した式を補正式として補正式格納部１０４に格納する。

【0021】

補正式はレンズの中心からの距離をパラメータとした補正量の１次以上の補正式であり、Ｒ−Ｇの色差、Ｂ−Ｇの色差、それぞれに補正式を持つ、また補正式はそれぞれの分割点におけるアイリスポジション、フォーカスポジション、ズームポジション、エクステンダ状態に関連付けられている。各分割点の個数やエクステンダ状態の状態数はレンズにより異なる。よってアイリスポジション分割点数、フォーカスポジション分割点数、ズームポジション分割点数、エクステンダ状態数、２つの色差のＲ−Ｇ、Ｂ−Ｇの全てを乗じた個数だけ１次以上の補正式をレンズデータ取得部１０２は取得し、補正式格納部１０４に格納する。

【0022】

レンズポジションデータ取得部１０５ではカメラ運用中レンズポジションは番組内のシーンなどに合わせて変化するため、現在のアイリスポジション、フォーカスポジション、ズームポジション、エクステンダ状態のレンズの各ポジションをリアルタイム処理で取得する。

【0023】

レンズポジションデータ取得部１０５の現在のレンズポジションは連続値のポジションであるが、補正式格納部に格納された補正式は離散したレンズポジションのそれぞれ分割点における補正式であるため、補正式をそのまま適用することはできない。現在のレンズポジションのエクステンダ状態から選択する補正式格納部のエクステンダ状態を決定する。アイリスポジション、フォーカスポジション、ズームポジションについては現在のレンズポジションの近傍の分割点における補正式から直線補間により、現在のレンズポジションのＲ−Ｇ補正式、Ｂ−Ｇ補正式を算出する。補正式１次以上の次数であるので、直線補間を係数ごとに行なう。

【0024】

レンズポジションデータ取得部１０５ではカメラ運用中レンズポジションは番組内のシーンなどに合わせて変化するため、現在のアイリスポジション、フォーカスポジション、ズームポジション、エクステンダ状態のレンズポジションをリアルタイム処理で取得する。
レンズポジションデータ取得部１０５の現在のレンズポジションは連続値のポジションであるが、各領域補正量格納部１０９に格納された補正式は離散したレンズポジションのそれぞれ分割点における補正式であるため、補正式をそのまま適用することはできない。現在のレンズポジションのエクステンダ状態から選択する各領域補正量格納部１０９のエクステンダ状態を決定する。アイリスポジション、フォーカスポジション、ズームポジションについては各領域補正量算出部１０６が、現在のレンズポジションの近傍の分割点における補正式から直線補間により、現在のレンズポジションのＲ−Ｇ補正式、Ｂ−Ｇ補正式を算出する。補正式１次以上の次数であるので、直線補間を各係数ごとに行なう。

【0025】

決定した補正式から映像信号の各領域の中心アドレスのＲ−Ｇ収差補正量とＲ−Ｇ収差補正量を求める、領域の分割方法の本発明の一実施例を図２に示す。図２は画面中心から水平方向、垂直方向ともに128ピクセル幅で画面分割し、領域ごとに補正量を持つ。各領域の中心アドレスの収差補正量と各領域の中心アドレスから、補正量を垂直方向補正量、水平方向補正量、それぞれの成分に分離する。これを各領域について行なう。

【0026】

算出した各領域の垂直方向補正量と水平方向補正量を補正量出力部１０７から出力し、映像信号処理部の各領域補正量格納部１０９に格納する。映像信号処理部１２０にはレンズを通った入射光が撮像部１０８で撮像電気信号に変換された信号が入力される。現在処理中の垂直アドレス１１０と水平アドレス１１６から現在の領域が決まるため、垂直補正量切替部１１１で各領域補正量格納部１０９から適用すべき垂直補正量を選択、垂直方向画像シフト部で入力された映像信号は、垂直画像シフト部１１３で選択した補正量を水平画像シフトし、出力する。水平方向についても同様に現在処理中の垂直アドレス１１０と水平アドレス１１６から現在の領域が決まるため、水平補正量切替部１１２で各領域補正量格納部１０９から適用すべき水平補正量を選択し、水平方向画像シフト部１１４に入力された映像信号は、水平画像シフト部１１４で選択した水平補正量を水平画像シフトし、出力する。

【0027】

ここで、テレビジョンカメラでは、運用中にエクステンダ状態までもが変化するため、レンズの各ポジションをリアルタイム処理で取得し、レンズの各ポジションにあわせた倍率色収差特性式の補正式を用いて高精度の倍率色収差補正の映像信号補正をすることが、重要である。特に監視用途で、低価格で色収差が大きいエクステンダ付きのズームレンズを使用する場合は、レンズの各ポジションをリアルタイム処理で取得し、レンズの各ポジションにあわせた倍率色収差特性式の補正式を用いて小型化に適する高精度の倍率色収差補正の映像信号補正をすることが、非常に重要である。

【0028】

これらの映像信号補正の処理をした映像信号処理結果に他のガンマ補正、ディテール処理などの映像信号処理をして、映像信号出力部１１５から出力する。

【0029】

以上の本発明の1実施例により、複雑な設定をする必要無く、簡易な構成でエクステンダ、ズーム、フォーカス及びアイリスのレンズパラメータにより変化するズームレンズの色収差を、ズームレンズのズームによる倍率色収差特性の変化の模式図の図３の様なズームレンズのズームによる倍率色収差が非線形に個別に変化しても補正式から直線補間により補間した補正値により、十分高精度に容易に映像信号補正を行なうことができる。

【産業上の利用可能性】

【0030】

本発明はカラー映像信号を撮影する撮影装置における倍率色収差補正、特に低価格で色収差が大きいエクステンダ付きのズームレンズを使用する場合の、小型化に適する高精度の倍率色収差補正の映像信号補正に適用できる。
ここで、ＳＤＴＶは有効走査線が486本から576本程度で許容されるレンズの色収差は０．２％程度であり、ＨＤＴＶは有効走査線が７２０本から１０８０本程度で許容されるレンズの色収差は０．１％程度であり、あり、ＵＨＤＴＶは有効走査線が２１６０本程度なら許容されるレンズの色収差は０．０５％程度であり４３２０本程度なら許容されるレンズの色収差は０．０２５％程度である。また、ズームレンズは撮影装置本体よりも一般に大型で高額である。
そのため本発明は、ＳＤＴＶ用のズームレンズをＨＤＴＶ撮影装置に使用する場合や、ＨＤＴＶ用色収差のズームレンズをＵＨＤＴＶ撮影装置に使用する場合や、有効走査線が２１６０本程度用のズームレンズを４３２０本程度の撮影装置に使用する場合などの広い用途において、小型化に適する高精度の色収差補正の映像信号補正に適用できる。

【0031】

また、画面上下端の色ずれは、画面中央ほどは通常は目立たない。しかし、監視や放送中に、画面のＬ字状に地震速報や選挙速報や大雨洪水警報などの情報を挿入されると、Ｌ字状の情報で受像機の内側に移動した撮像映像の画面上下端の色ずれは、目立つようになる。さらに、監視や放送用では、レンズの色収差が最も大きくなる、望遠端を多用する上に、運用中にレンズの色収差が大きく変化するエクステンダを入り切りする。
そのため本発明は、ＨＤＴＶやＵＨＤＴＶの撮影装置を監視や放送用に使用する場合などの広い用途において、小型化に適する高精度の色収差補正の映像信号補正に適用できる。

【符号の説明】

【0032】

１００：テレビジョンカメラ（固体撮像装置）、１０１：レンズ、１０２：レンズデータ取得部、１０３：レンズ倍率色収差特性式取得部、１０４：補正式格納部、１０５：レンズポジションデータ取得部、１０６：各領域補正量算出部、１０７：補正量出力部、１０８：撮像部、１０９：各領域補正量格納部、１１０：垂直アドレス、１１１：垂直補正量切替部、１１２：水平補正量切替部、１１３：垂直画像シフト部、１１４：水平画像シフト部、１１５：映像信号出力部、１１６：水平アドレス、１２０：映像信号処理部、

【図1】

【図2】

【図3】