特許 6012555 画像信号のための補間信号生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6012555

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】画像信号のための補間信号生成方法

(51)【国際特許分類】

   H04N 1/387 20060101AFI20161011BHJP

   H04N 5/232 20060101ALI20161011BHJP

   G06T 3/40 20060101ALI20161011BHJP

【ＦＩ】

   H04N1/387 101

   H04N5/232 Z

   G06T3/40 750

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2013-137762(P2013-137762)

(22)【出願日】2013年7月1日

(65)【公開番号】特開2015-11598(P2015-11598A)

(43)【公開日】2015年1月19日

【審査請求日】2015年8月27日

(73)【特許権者】

【識別番号】596032188

【氏名又は名称】小澤 直樹

(72)【発明者】

【氏名】小澤 直樹

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００２−０４４４２３（ＪＰ，Ａ）

【文献】 特開平１１−２６１８０７（ＪＰ，Ａ）

【文献】 特開２００４−０２３３８４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０１５７７８６（ＵＳ，Ａ１）

【文献】 江田 孝治，“ＤＣＴ符号インデックスを用いた高精細画像の作成法”，電気学会論文誌Ｃ，日本，一般社団法人電気学会，２０１３年 ３月 １日，Vol.133, No.3，pp.680-687

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７，５／２３２

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

二次元状に配列された複数の画素で構成される画像信号から水平方向に連続するＮ画素および垂直方向に連続するＮ画素で形成されるＮ×Ｎ画素のブロックを成す第１の画素群を抽出し（Ｎは整数）、
上記第１の画素群から得られる信号に直交変換を施して第１の周波数係数群を生成し、
上記第１の周波数係数群に周波数補正を施して第２の周波数係数群を生成し、
上記第２の周波数係数群に、上記第１の画素群における画素の間隔より小さい間隔で信号を生成する逆直交変換を施して、少なくとも上記第１の画素群に画素が存在しない第１の位置に対応する第１の信号を生成し、
上記画像信号における上記第１の位置に対応する信号として上記第１の信号を用いる画像信号のための補間信号生成方法において、
上記周波数補正は、上記画像信号における上記画素の間隔を2dx、上記画素において入射する光を信号に変換する範囲の一方向における割合をａ（1/2＜ａ＜1）、画像信号の空間周波数をfとしたとき2a/{1+(2a-1)・cos(2π・f・dx)}に対応する補正係数に基づくものであることを特徴とした画像信号のための補間信号生成方法。

【請求項2】

上記直交変換は離散コサイン変換であり、上記逆直交変換は逆離散コサイン変換であることを特徴とした請求項１記載の画像信号のための補間信号生成方法。

【請求項3】

二次元状に配列された複数の画素で構成される画像信号から水平方向に連続するＮ画素および垂直方向に連続するＮ画素で形成されるＮ×Ｎ画素のブロックを成す第１の画素群を抽出し（Ｎは整数）、
上記第１の画素群から得られる信号に直交変換を施して第１の周波数係数群を生成する処理と、
上記第１の周波数係数群に周波数補正を施して第２の周波数係数群を生成する処理と、
上記第２の周波数係数群に、上記第１の画素群における画素の間隔より小さい間隔で信号を生成する逆直交変換を施して、少なくとも上記第１の画素群に画素が存在しない第１の位置に対応する第１の信号を生成する処理
に対応するフィルタ演算を上記第１の画素群に対して施し、
上記画像信号における上記第１の位置に対応する信号として上記第１の信号を用いる画像信号のための補間信号生成方法において、
上記周波数補正は、上記画像信号における上記画素の間隔を2dx、上記画素において入射する光を信号に変換する範囲の一方向における割合をａ（1/2＜ａ＜1）、画像信号の空間周波数をfとしたとき2a/{1+(2a-1)・cos(2π・f・dx)}に対応する補正係数に基づくものであることを特徴とした画像信号のための補間信号生成方法。

【請求項4】

上記直交変換は離散コサイン変換であり、上記逆直交変換は逆離散コサイン変換であることを特徴とした請求項３記載の画像信号のための補間信号生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像信号のための補間信号生成方法に関する。さらに詳しくは、固体撮像素子を用いて生成された画像信号の画素数を増加させるのに適した、画像信号のための補間信号生成方法に関する。

【背景技術】

【0002】

現在、一般的なテレビジョン放送で得られる画像信号のうちで最も解像度の高い画像信号はフルハイビジョンと呼ばれるもので、水平１９２０画素、垂直１０８０画素で構成されている。これに対して、水平方向・垂直方向とも画素数を２倍に増加させた４Ｋと呼ばれる方式の開発が進められ、すでにこれに対応する液晶ディスプレイなどが入手可能となっている。
そこでフルハイビジョンの画像信号を水平方向・垂直方向とも画素数が２倍になるように補間して、４Ｋに対応する画像信号を生成する方法が提案され、実施されている。

【0003】

こうした画素の補間に用いることができる補間信号の生成方法として、線形補間方法やバイキュービック補間方法が知られているが、離散コサイン変換（以後“ＤＣＴ”）と逆離散コサイン変換（以後“ＩＤＣＴ”）によって補間信号を生成する方法が米国特許５，１６８，３７５、あるいは特開平１１−２６１８０７に述べられている。
こうした方法では、元の画像信号の画素に対してＤＣＴ処理を行い、得られた周波数係数を用いてＩＤＣＴ処理を行う際に、ＤＣＴに用いた画素の間隔に比べて半分の間隔で信号を再生することによって補間画素の信号を生成するものである。これによれば、補間信号が元の画素から得られた周波数係数を用いて生成されるので、周波数特性を低下させることなく画素の補間を達成できる。

【0004】

さらに、上述の米国特許５，１６８，３７５には、ＤＣＴで得られた周波数係数に周波数特性に対応する係数を乗算することによってＩＤＣＴで得られる再生信号の周波数補正を達成する方法が述べられている。この方法によると、画素の補間をＤＣＴとＩＤＣＴの処理で行うことを前提とすれば、通常は画素信号とフィルタマトリクス係数との積和演算で実現する周波数補正の処理が、ＤＣＴで得られた周波数係数に対する補正係数の乗算で達成できるので、全体の処理が簡素化する。

【0005】

また、特開２００４−２３３８４に示されている従来技術では、画素の補間をＤＣＴとＩＤＣＴの処理で行うときには、補間信号は元となる画素の信号の１次結合として得られることから、ＤＣＴ処理の対象となるブロックの画素に対して２次元のフィルタ処理を施せばよいことが示されている。この方法によれば補間信号の生成のための処理がさらに簡素化する。

【0006】

一方、最近は一般向けのビデオカメラやディジタルスチルカメラなどはもとより、放送用のテレビカメラに至るまで、ほとんどの撮像装置に固体撮像素子が用いられている。こうした撮像装置では、固体撮像素子の撮像面に２次元状に並べられた複数の画素から得られた信号を、表示装置に対応したフォーマットに変換することによって画像信号が生成される。たとえば放送用テレビカメラでフルハイビジョンの画像信号を得る際に水平１９２０画素、垂直１０８０画素の固体撮像素子を用いれば、固体撮像素子の画素とフルハイビジョン対応の表示装置の画素が１対１に対応する。
こうしたことから、フルハイビジョンの画像信号を４Ｋの表示装置に対応させるために水平方向・垂直方向とも画素数が２倍になるように補間することは、固体撮像素子の画素を分割して水平方向・垂直方向とも２倍に倍増する処理に対応している。したがって、固体撮像素子によって得られたフルハイビジョンの画像信号を、補間によって４Ｋの画像信号に変換する際には、画素の分割に対応する周波数特性の補正をすべきである。しかし従来技術の補間信号生成方法では、固体撮像素子の画素を分割する処理に適合した補正が可能な補間信号の生成方法が示されていない。

【0007】

従来技術のひとつである特開２００７−２８１７２０では、固体撮像素子において複数の画素の信号を混合して読み出す画素混合読み出しで得られた画像の解像度を復元する方法を示している。ここで示されている方法は、画素混合読み出しで得られた画像にＤＦＴ処理を施し、得られた周波数係数にレンズなどの撮影条件に係わる係数や画素混合の混ざり方に関する係数を乗算してから逆ＤＦＴ処理を施すことによって、画素混合読み出しで得られた画像の解像度を復元するものである。
しかしこれは、隣接していない画素間の信号を混合した場合の解像度の復元方法を示しているものの、固体撮像素子の画素を分割して倍増させる処理に適した補正方法は示していない。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開平１１−２６１８０７号公報

【特許文献2】特開２００４−２３３８４号公報

【特許文献3】特開２００７−２８１７２０号公報

【非特許文献】

【0009】

【非特許文献1】米国特許Ｎｏ．５，１６８，３７５

【発明の概要】

【発明が解決しようとする課題】

【0010】

以上述べたように、従来技術による画像信号のための補間信号生成方法では、固体撮像素子で得られた画像信号をＤＣＴとＩＤＣＴの処理によって補間する方法と、ＤＣＴで得られた周波数係数に対して係数を乗算することでＩＤＣＴの処理で得られる画像信号に周波数補正を施す方法が示されている。また、従来技術による補間信号生成方法では、画素混合読み出しによって得られた画像信号の解像度の復元を、ＤＦＴで得られた周波数係数に対して補正係数を乗算してからＩＤＦＴの処理で実現する方法が示されている。
しかし、固体撮像素子の画素を分割して画素数を倍増させる処理に適合した周波数補正方法が示されておらず、ＤＣＴとＩＤＣＴの処理によって十分な確からしさをもつ画素数倍増後の画像信号を得ることができなかった。

【0011】

本発明は上記従来技術の問題点に鑑み、固体撮像素子の画素を分割して画素数を倍増させる処理に適合した周波数補正が可能で、固体撮像素子で得られた画像信号を十分な確からしさをもって補間するのに適した画像信号のための補間信号生成方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

上記課題を解決するために、本発明の画像信号のための補間信号生成方法では、二次元状に配列された複数の画素で構成される画像信号から水平方向に連続するＮ（Ｎは整数）画素および垂直方向に連続するＮ画素で形成されるＮ×Ｎ画素のブロックを成す第１の画素群を抽出し、上記第１の画素群から得られる信号に直交変換を施して第１の周波数係数群を生成し、上記第１の周波数係数群に周波数補正を施して第２の周波数係数群を生成し、上記第２の周波数係数群に、上記第１の画素群における画素の間隔と比べて二分の一の間隔で信号を生成する逆直交変換を施して少なくとも上記第１の画素群に画素が存在しない第１の位置に対応する第１の信号を生成し、上記画像信号における上記第１の位置に対応する信号として上記第１の信号を用いる。このとき、上記周波数補正は、上記画像信号を構成する上記画素を分割する処理に対応する補正係数に基づくものとすればよい。

【0013】

また、本発明の画像信号のための補間信号生成方法では、二次元状に配列された複数の画素で構成される画像信号から水平方向に連続するＮ（Ｎは整数）画素および垂直方向に連続するＮ画素で形成されるＮ×Ｎ画素のブロックを成す第１の画素群を抽出し、さらに、上記第１の画素群から得られる信号に直交変換を施して第１の周波数係数群を生成する処理と、上記第１の周波数係数群に周波数補正を施して第２の周波数係数群を生成する処理と、上記第２の周波数係数群に、上記第１の画素群における画素の間隔と比べて二分の一の間隔で信号を生成する逆直交変換を施して少なくとも上記第１の画素群に画素が存在しない第１の位置に対応する第１の信号を生成する処理に対応するフィルタ演算を上記第１の画素群に対して施し、上記画像信号における上記第１の位置に対応する信号として上記第１の信号を用いることとしてもよい。このとき、上記周波数補正は、上記画像信号を構成する上記画素を分割する処理に対応する補正係数に基づくものとすればよい。

【0014】

また、本発明の画像信号の補間信号生成方法において上記直交変換は離散コサイン変換とし、上記逆直交変換は逆離散コサイン変換とすることができる。
さらに上記補正係数は、上記画像信号における上記画素の間隔を2dx、上記画素において入射する光を信号に変換する範囲の一方向における割合をａ（1/2＜ａ＜1）、画像信号の空間周波数をfとしたとき2a/{1+(2a-1)・cos(2π・f・dx)}に対応するよう、設定することができる。

【発明の効果】

【0015】

本発明の画像信号のための補間信号生成方法によれば、固体撮像素子の画素を分割して画素数を倍増させる処理に適合した周波数補正が可能となる。この結果、固体撮像素子で得られた画像信号を画素数が倍増された表示装置で表示する場合にも、画素数が２倍である固体撮像素子から得られるべき信号に近い画像信号が得られる。

【図面の簡単な説明】

【0016】

【図1】図１は本発明の画像信号のための補間信号生成方法の実施の形態を示す図である。（実施例１）

【図2】図２は本発明の画像信号のための補間信号生成方法に用いるブロック抽出回路の構成の一例を示す図である。

【図3】図３はＤＣＴ処理に用いる画素のブロックを示す図である。

【図4】図４は固体撮像素子の画素を分割する方法を示す図である。

【図5】図５は画素の大きさが1/2で画素数が２倍である画像信号を１倍の画素の画像信号に変換したときの周波数応答を示す図である。

【図6】図６はＤＣＴとＩＤＣＴの処理によって画素の大きさが1/2で画素数が２倍である画像信号に復元するときの周波数補正係数を示す図である。

【図7】図７は本発明の画像信号のための補間信号生成方法の他の実施の形態を示す図である。（実施例２）

【図8】図８は固体撮像素子の画素の開口率が１００％より小さい場合において、画素を分割したときの状況を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態を、図面を用いて説明する。

【実施例1】

【0018】

図１は本発明による画像信号のための補間信号生成方法を適用した画像装置の第１の実施の形態を示す構成図である。図１において１の部分は撮像装置である。撮像装置１では、レンズを含む光学系１０１でとらえた画像を固体撮像素子１０２で電気信号に変換し、これをカラー信号プロセッサ１０３でカラーの三原色であるＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の３チャンネルの画像信号に変換する。ここで、Ｒ信号、Ｇ信号、Ｂ信号は、それぞれ固体撮像素子１０２の各画素に対応するすべてのサンプリング位置での信号を持つように生成されるものとする。

【0019】

また、図１において２は補間信号生成装置である。補間信号生成装置２では、撮像装置１から得られたＲ信号、Ｇ信号、Ｂ信号が、それぞれブロック抽出回路２０１に加えられる。ブロック抽出回路２０１は、入力信号からＤＣＴに必要なたとえば水平方向８画素、垂直方向８画素のブロックを構成する合計６４画素の信号を抽出して同時に出力する。ブロック抽出回路２０１から得られた６４画素の信号はＤＣＴ処理回路２０２に加えられてＤＣＴ処理が施され、水平方向８周波数、垂直方向８周波数のマトリクスを成す周波数係数群に変換される。
ＤＣＴ処理回路２０２で得られた周波数係数群は周波数補正回路２０３に加えられ、各周波数係数に固体撮像素子の画素を分割する処理に適合した補正係数が乗じられる。周波数補正回路２０３から得られた周波数補正後の周波数係数群はＩＤＣＴ処理回路２０４に加えられ、ＤＣＴ処理回路２０２に加えられた元の画素の間隔に比して1/2の間隔で信号を生成するＩＤＣＴ処理が施される。これによって、元の画素の間に補間信号が生成されて水平方向、垂直方向とも画素が２倍に増加された信号が得られる。さらにＩＤＣＴ処理回路２０４から得られた信号は、メモリを用いた並べ換え回路２０５で水平方向・垂直方向の画素数が固体撮像素子１０２の２倍である表示装置に対応した画像信号に変換される。
並べ換え回路２０５から得られた画像信号は、補間信号生成装置２につながる図には示さない後段の表示装置あるいは伝送装置に送られる。

【0020】

ここで、補間信号生成装置２の動作を、特に周波数補正回路２０３での補正係数に重点を置いて、図を用いて詳しく説明する。ここでは撮像装置１のカラー信号プロセッサ１０３から出力されたＧ信号、Ｒ信号、Ｂ信号にそれぞれ同様の処理を施すものとして、Ｇ信号を処理する１チャンネル分のみ説明する。

【0021】

補間信号生成装置２では、撮像装置１のカラー信号プロセッサ１０３から加えられたＧ信号がブロック抽出回路２０１に加えられ、水平方向８画素、垂直方向８画素のブロックを成す６４画素の信号が同時に得られるよう抽出される。ブロック抽出回路２０１の一例は、図２に示すように入力信号を１水平走査期間だけ遅延させる１Ｈ遅延回路３０１を７段にわたって直列に接続することで垂直方向８画素の信号を同時に得て、さらに入力信号と各１Ｈ遅延回路の出力を１画素分遅延する１画素遅延回路３０２で７段にわたって遅延させて水平方向８画素の信号を同時に得るようにすればよいことは周知の技術である。
こうして抽出されたブロックを成す６４画素の一例を図３に示す。図において垂直方向の位置をiであらわし、水平方向の位置をjであらわすものとし、図の左上端がｉ＝０，ｊ＝０に対応する画素X(0,0)とする。また、ブロックの各画素の位置に記したx(0,0)、x(0,1)などは、対応する各画素から得られる信号の大きさを示すものとする。

【0022】

ブロック抽出回路２０１から得られた１ブロック分の画素の信号はＤＣＴ処理回路２０２に加えられ、つぎの（１）式であらわされる周知の離散コサイン変換が施されて垂直方向８周波数（u=0,1,2,…,7）、水平方向８周波数（v=0,1,2,…,7）のブロックを成す合計６４の周波数係数群に変換される。ここで、垂直の周波数u、水平の周波数vに対応する周波数係数をF(u,v）とする。また、ここではN=8とする。

【0023】

【数1】

【0024】

ＤＣＴ処理回路２０２で得られた周波数係数群は周波数補正回路２０３に加えられ、固体撮像素子の画素を分割する処理に適合した周波数補正が施される。次に、ここで施される周波数補正について説明する。

【0025】

図４（ａ）に固体撮像素子における水平方向・垂直方向に隣り合う４画素の一例を示す。ここでは、撮像面に入射したほとんどの光が画素での光電荷の生成に利用される、画素の開口率が１００％に近い場合を想定する。１００％に近い開口率は、撮像面を配線のない裏面側に置いた裏面照射型の固体撮像素子や、各画素に集光のためのマイクロレンズを組み合わせた固体撮像素子で実現可能である。
図４（ａ）において、画素X(n,m）、画素X(n,m+1）、画素X(n+1,m）、画素X(n+1,m+1）で蓄積された光電荷の信号は、それぞれその中心であるＡ，Ｂ，Ｃ，Ｄの位置で得られた信号x(n,m)、x(n,m+1)、x(n+1,m)、x(n+1,m+1)として固体撮像素子から出力される。

【0026】

図４（ａ）に示した画素を、水平方向と垂直方向に画素数が２倍になるよう分割するにあたって、Ａ，Ｂ，Ｃ，Ｄの位置で得られる信号と、その中間の位置で得られる信号を生成するように分割する方法は、図４（ｂ）に示すとおりである。すなわち、大きさが元の画素の半分で、Ａ，Ｂ，Ｃ，Ｄを中心とする画素と、その中間に位置して元の画素の境界に中心を置く画素に分割するものである。

【0027】

図４（ｂ）において、Ａ，Ｂ，Ｃ，Ｄを中心とする画素をそれぞれX2(2n,2m)、X2(2n,2(m+1))、X2(2(n+1),2m)、X2(2(n+1),2(m+1))とすると、たとえばＡとＢの間の画素をX2(2n,2m+1)、ＡとＣの間の画素をX2(2n+1,2m)などとなる。同様にして、もとの画素の中心に対応する画素とその周辺の位置に対応する画素を想定したとき、図４（ｂ）に示すとおりたとえばＡを中心とする画素X2(2n,2m)の左上方の画素がX2(2n-1,2m-1)、上方の画素がX2(2n-1,2m)、右上方の画素がX2(2n-1,2m+1)、左方の画素がX2(2n,2m-1)、右方の画素がX2(2n,2m+1)、左下方の画素がX2(2n+1,2m-1)、下方の画素がX2(2n+1,2m)、そして右下方の画素がX2(2n+1,2m+1)となる。

【0028】

図４（ａ）と図４（ｂ）の比較から、画素X(n,m)は画素X2(2n,2m)を全て包含し、上下左右に隣接する画素X2(2n-1,2m)、X2(2n,2m-1)、X2(2n,2m+1)、X2(2n+1,2m)を半分だけ含み、斜め方向にある画素X2(2n-1,2m-1)、X2(2n-1,2m+1)、X2(2n+1,2m-1)、X2(2n+1,2m+1)を1/4だけ含むことがわかる。この結果、これらの画素から得られる信号x2(2n,2m)、x2(2n-1,2m-1)、x2(2n-1,2m)、x2(2n-1,2m+1)、x2(2n,2m-1)、x2(2n-1,2m+1)、x2(2n+1,2m-1)、x2(2n+1,2m)、およびx2(2n+1,2m+1)を用いると、画素X(n,m)で得られる信号x(n,m)はつぎの（２）式であらわされるものとなる。

【0029】

x(n,m)＝x2(2n,2m)

+{x2(2n-1,2m)+x2(2n,2m-1)+x2(2n,2m+1)+ x2(2n+1,2m)}×1/2

+{x2(2n-1,2m-1)+x2(2n-1,2m+1)+x2(2n+1,2m-1)+x2(2n+1,2m+1)}×1/4

(2)

【0030】

ここで、画素の信号x2(2n,2m)が水平方向のみに正弦波状に変化するつぎの（３）式の関係であるとき、（２）式はつぎの（４）式となる。ここで、fは任意の周波数であり、dxは補間後の画素の間隔である。

x2(2n,2m)＝exp(j2π・f・2m・dx) (3)

x(n,m)＝exp(j2π・f・2m・dx)

+{ exp(j2π・f・2m・dx)+ exp(j2π・f・(2m-1)・dx)

+ exp(j2π・f・(2m+1)・dx)+ exp(j2π・f・2m・dx)} ×1/2

+{ exp(j2π・f・(2m-1)・dx)+ exp(j2π・f・(2m+1)・dx)

+ exp(j2π・f・(2m-1)・dx)+ exp(j2π・f・(2m+1)・dx)} ×1/4

＝2・exp(j2π・f・2m・dx)・{1+exp(-j2π・f・dx)/2+ exp(j2π・f・dx)/2}

(4)

【0031】

さらに（４）式にexp(jx)＝cos(x)+jsin(x)を適用すると、つぎの（５）式となる。

x(n,m)＝4・exp(j2π・f・2m・dx)・1/2・{1+cos(2π・f・dx )} (5)

【0032】

（５）式の右辺前半のexp(j2π・f・2m・dx)は振幅が一定で正弦波状に変化する原信号をあらわす部分であり、後半の1/2・{1+cos(2π・f・dx )}が水平方向の画素の大きさが1/2で画素数が２倍であるときの信号に対する画素の大きさを２倍にして画素数を半減させた元の画素による信号の周波数応答をあらわす部分である。換言すれば、後半の逆数の2/{1+cos(2π・f・dx )}は、元の画素で得られる信号に対する画素を分割して大きさを1/2に、画素数を２倍にしたときの信号の周波数応答をあらわす。
1/2・{1+cos(2π・f・dx )}であらわされる周波数応答は図５に示すとおりであり、元の画素のサンプリング周波数である1/2dxで零となり、ナイキスト周波数である1/4dxで1/2となる。なお、ナイキスト周波数である1/4dx は、（１）式の水平周波数vではv=8に対応する。したがって、水平周波数v であらわす周波数応答R(v)はつぎの（６）式となる。

R(v)＝1/2・{1+cos(2π・v/32dx・dx)}

＝1/2・｛1+cos(π・v/16)｝ (6)

【0033】

このとき周波数補正回路２０３で、ＤＣＴ処理回路２０２で得られた周波数係数群の各々に、周波数応答R(v)の逆数2/｛1+cos(π・v/16)｝が乗算されれば、水平方向の画素の大きさが1/2で画素数が２倍である画像信号を１倍の画素の画像信号に置き換える課程で生じた周波数特性の劣化を補正できる。
上記の説明では水平方向の処理を例に取ったが、垂直方向に関しても同様である。こうして（６）式のR(v)と垂直方向に拡張したときのR(u)を乗算して求めたR(u,v)の逆数として求めた周波数補正のための係数を図６に示す。図６において水平方向ｖ、垂直方向ｕは周波数をあらわし、各周波数位置に記した値が当該周波数での周波数係数に対して乗ずべき補正係数である。すなわち、図１に示す補間信号生成装置２において周波数補正回路２０３は、ＤＣＴ処理回路２０２から得られた水平方向８周波数、垂直方向８周波数のブロックを成す周波数係数群の各々に、図６に示す補正係数をそれぞれ対応する周波数ごとに乗算すればよい。
その後、周波数補正回路２０３から得られた周波数補正後の周波数係数群F2(u,v)をＩＤＣＴ処理回路２０４に加え、元の画像信号に比べて画素の間隔が1/2である信号を生成する。すなわち、次の（７）式においてｉ、ｊにそれぞれ零から2N-1までを入れてx2(i,j)を求めれば、画素の大きさが1/2で、画素数が２倍である固体撮像素子から本来得られるべき信号に近い信号が得られる。

【0034】

【数2】

【0035】

こうしてＩＤＣＴ処理回路２０４から得られた信号は、水平方向および垂直方向の画素数が元の画像信号の２倍となるので、メモリを用いた並べ換え回路２０５によって走査線の補間等が施されて補間信号生成装置２から出力される。

【実施例2】

【0036】

図７は本発明による画像信号のための補間信号生成方法を用いた画像装置の第２の実施の形態を示す構成図である。図７において撮像装置１は、図１に示した第１の実施の形態と同一のものであり、同一の動作を行うものとする。
また、図７における補間信号生成装置４では、撮像装置１のカラー信号プロセッサ１０３から得られたＲ信号、Ｇ信号、Ｂ信号を、それぞれ図１における補間信号生成装置２と同様、ブロック抽出回路２０１に加える。ブロック抽出回路２０１で、たとえば水平方向８画素、垂直方向８画素のブロックを成す合計６４画素の信号が同時に得られるよう、メモリを用いて抽出されることも図１における補間信号生成装置２と同様である。これに対して、補間信号生成装置４ではブロック抽出回路２０１から得られた６４画素の信号はフィルタ処理回路２０６に加えられる。

【0037】

前述の特開２００４−２３３８４に示されているように、画素の補間をＤＣＴとＩＤＣＴの処理で行うときには、補間信号は元の画素の信号を１次結合して得られることから、ＤＣＴ処理の対象となるブロックの各画素に対して２次元のフィルタ処理を施せばよい。図１に示した補間信号生成装置２における周波数補正回路２０３は、ＤＣＴ処理回路２０２から得られた水平方向８周波数、垂直方向８周波数のブロックを成す周波数係数群の各々に、図６に示す補正係数をそれぞれ対応する周波数ごとに乗算するものであるから、補間信号が元の画素の信号を１次結合して得られることに変わりはない。そこで、フィルタ処理回路２０６は、図１に示した補間信号生成装置２においてＤＣＴ処理回路２０２，周波数補正回路２０３、ＩＤＣＴ処理回路２０４の処理で生成される一つの信号に対して対応する一つのフィルタ処理機能を備えるものとすればよい。これによってフィルタ処理回路２０６からは、図１においてＩＤＣＴ処理回路２０４から得られるものと同一の信号が得られるようにできる。
このとき、フィルタ処理回路２０６におけるフィルタ処理機能のためのフィルタ係数は、特開２００４−２３３８４で述べられている公知の方法で得ることができる。すなわち、ＩＤＣＴ処理で得るある位置の信号に対して、処理に用いるブロックを成す画素のうちのある画素の信号のみを“１”とおき、ＤＣＴ処理回路２０２，周波数補正回路２０３、ＩＤＣＴ処理回路２０４の処理を施して出力を求める。このときの出力を、ある位置の信号に対するブロックを成す画素のうちの信号を”１”とおいた当該画素に対応するフィルタ係数とすればよい。

【0038】

フィルタ処理回路２０６で得られた信号は、図１における補間信号生成装置２でのＩＤＣＴ処理回路２０４の出力と同様、メモリを用いた並べ換え回路２０５で水平方向・垂直方向の画素数が固体撮像素子１０２の２倍である表示装置に対応する画像信号に変換される。並べ換え回路２０５から得られた画像信号が、補間信号生成装置４につながる図には示さない後段の表示装置あるいは伝送装置に送られることは、図１における補間信号生成装置２と同様である。

【0039】

なお、以上の説明はＧ信号、Ｒ信号、Ｂ信号に同様の処理を施す場合を例にとって説明したが、カラー信号プロセッサが輝度信号と色差信号を出力する場合には輝度信号のみに適用して、色差信号には線形補間などの一般的な補間処理を施してもよい。
また、以上の説明では補間信号生成装置が撮像装置に直接接続される場合を例に取ったが、撮像装置と補間信号生成装置の間に、図には示さない伝送装置が挿入されてもよいことは明らかである。

【0040】

また、以上の説明ではＤＣＴ処理による直交変換を行うものとして説明したが、離散サイン変換、アダマール変換など他の直交変換でも同様の効果が得られることは容易に類推できる。
さらに、上記の説明は水平方向および垂直方向に画素数を倍増させる場合を例にとって説明したが、表示装置等との対応によっては、ＩＤＣＴ処理回路において水平方向、あるいは垂直方向のいずれか一方のみを倍増させるよう画素の信号を生成してもよい。
また、上記の説明では本発明の処理をハードウェアによって実現するものとしたが、ソフトウェアによって処理されても良いことは明らかである。

【0041】

また、上記の説明は固体撮像素子における画素の開口率が１００％に近い場合を例にとって説明したが、１００％を下回る場合にもその割合に対応させて（４）式における上下左右に隣接する画素の信号の割合を1/2より小さくし、斜め方向の画素の信号の割合を1/4より小さくする方向で周波数応答R(v)を求め、その逆数で周波数補正回路２０３の補正係数を得ればよいことは容易に類推できる。
たとえば、元の画像信号において画素の水平方向および垂直方向の幅2dxに対して９０％の部分に入射する光が信号に変換されるときにあたる開口率が８１％である場合、図８（ａ）に示すように画素の周辺からdx/10の範囲に入射した光は信号を発生しない。このとき図４（ｂ）と同様に画素を1/2の大きさに分割すると図８（ｂ）に示すようになり、画素X4(2n,2m)の開口率は１００％とみなせるのに対して、隣接する画素X4(2n+1,2m)は垂直方向の画素の幅dxに対してdx/5の部分に入射した光は信号に変換されないので開口率は８０％となる。また、斜め方向の画素X4(2n+1,2m+1)は、水平方向と垂直方向の画素の幅dxに対してそれぞれdx/5の部分に入射した光は信号に変換されないので開口率は６４％である。
このとき（２）式に対応するのは次の（８）式であり、（６）式に対応する周波数応答R2(v)は次の（９）式となる。

【0042】

x3(n,m)＝x4(2n,2m)

+{x4(2n-1,2m)+x4(2n,2m-1)+x4(2n,2m+1)+ x4(2n+1,2m)}×2/5

+{x4(2n-1,2m-1)+x4(2n-1,2m+1)+x4(2n+1,2m-1)+x4(2n+1,2m+1)}×4/25

(8)

R2(v)＝5/9・{1+4/5・cos(2π・v/32dx・dx)}

＝5/9・｛1+4/5・cos(π・v/16)｝ (9)

【0043】

以上の説明を、画素の水平方向と垂直方向の幅2dxに対して入射した光が信号に変換される部分の割合がａ（ａは１以下、1/2以上とする）であるときに拡げると、周波数応答R3(v)は次の（１０）式となる。

R3(v)＝1/2a・{1+(2a-1)・cos(2π・v/32dx・dx)}

＝1/2a・｛1+(2a-1)・cos(π・v/16)｝ (10)

このとき周波数補正回路の補正係数は、こうして求められる周波数応答の逆数に設定すればよい。

【産業上の利用可能性】

【0044】

以上説明したように、本発明の画像信号のための補間信号生成方法によれば、固体撮像素子の画素を分割して画素数を倍増させる処理に適合した周波数補正が可能となる。この結果、固体撮像素子で得られた画像信号の画素数をＤＣＴ処理と周波数補正後の周波数係数に対するＩＤＣＴ処理によって十分な確からしさをもって倍増することが可能となる。これによって、フルハイビジョンの画像信号を４Ｋに対応する表示装置で表示する場合にも、４Ｋの画像に対応する固体撮像素子で本来得られるべき画像信号に近い良好な画像信号が得られる。

【符号の説明】

【0045】

１ 撮像装置
２、４ 補間信号生成装置
１０１ 光学系
１０２ 固体撮像素子
１０３ カラー信号プロセッサ
２０１ ブロック抽出回路
２０２ ＤＣＴ処理回路
２０３ 周波数補正回路
２０４ ＩＤＣＴ処理回路
２０５ 並べ換え回路
２０６ フィルタ処理回路
３０１ １Ｈ遅延回路
３０２ １画素遅延回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】