IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立国際電気の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-15
(45)【発行日】2022-02-24
(54)【発明の名称】撮像装置
(51)【国際特許分類】
   H04N 9/04 20060101AFI20220216BHJP
   H04N 9/64 20060101ALI20220216BHJP
【FI】
H04N9/04 B
H04N9/64 Z
【請求項の数】 2
(21)【出願番号】P 2017183199
(22)【出願日】2017-09-25
(65)【公開番号】P2019062257
(43)【公開日】2019-04-18
【審査請求日】2020-07-31
(73)【特許権者】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール特許業務法人
(72)【発明者】
【氏名】中村 和彦
【審査官】大室 秀明
(56)【参考文献】
【文献】国際公開第2017/141316(WO,A1)
【文献】特開2001-078203(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00-1/40
G06T 3/00-5/50
G06T 9/00-9/40
H04N 1/46-1/62
H04N 5/222-5/257
H04N 9/04-9/11
H04N 9/44-9/78
(57)【特許請求の範囲】
【請求項1】
(a)可変NDフィルター付レンズ又は可変NDフィルターと、オンチップカラーフィルター付撮像素子又は色分解光学系と3個以上の撮像素子と、から生成される、各画素信号の赤と緑と青との原色映像信号の画素ごとに特定の色相を検出する第一手段と、画素ごとに前記特定の色相を独立に補正する第二手段と、を有する手段と、
(b)前記可変NDフィルター付レンズの絞り値又は前記可変NDフィルターのND値に基づき前記オンチップカラーフィルター付撮像素子または前記3個以上の撮像素子の赤青のゲイン調整によりオートホワイトバランスを行うリアルタイムオートホワイト手段と、
を有し、
前記第一手段は、画素ごとの赤、緑および青の映像信号の色差に基づいて色相および彩度を算出する色相算出手段
前記可変NDフィルター付レンズの絞り値又は前記可変NDフィルターのND値に基づき、さらに、前記彩度と連動して、画素単位に色補正の量と方向を算出し、被写体の色がどの色相領域にあるかを検出する手段と、を有し、
前記第二手段は、前記可変NDフィルター付レンズの絞り値又は前記可変NDフィルターのND値と連動して、前記第一手段により検出された前記特定の色相と前記彩度の色補正の量と方向を可変させる補正手段を有し、
前記補正手段は、前記可変NDフィルター付レンズの絞り値又は前記可変NDフィルターのND値と連動して、緑の色相を中央又は両端に寄せる方向で可変させる12色以上の独立色補正をする撮像装置。
【請求項2】
(a)可変NDフィルター付レンズ又は可変NDフィルターと、オンチップカラーフィルター付撮像素子又は色分解光学系と3個以上の撮像素子と、から生成される、各画素信号の赤と緑と青との原色映像信号の画素ごとに特定の色相を検出する第一手段と、画素ごとに前記特定の色相を独立に補正する第二手段と、を有する手段と、
(b)前記可変NDフィルター付レンズの絞り値又は前記可変NDフィルターのND値に基づき前記オンチップカラーフィルター付撮像素子または前記3個以上の撮像素子の赤青のゲイン調整によりオートホワイトバランスを行うリアルタイムオートホワイト手段と、
を有し、
前記第一手段は、画素ごとの赤、緑および青の映像信号の色差に基づいて色相および彩度を算出する色相算出手段
前記可変NDフィルター付レンズの絞り値又は前記可変NDフィルターのND値に基づき、さらに、前記彩度と連動して、画素単位に色補正の量と方向を算出し、被写体の色がどの色相領域にあるかを検出する手段と、を有し、
前記第二手段は、前記可変NDフィルター付レンズの絞り値又は前記可変NDフィルターのND値と連動して、前記第一手段により検出された前記特定の色相と前記の色補正の量と方向を可変させる補正手段を有し、
前記補正手段は、前記可変NDフィルター付レンズの絞り値又は前記可変NDフィルターのND値と連動して、青端のみ色相を短波長方向に寄せる方向で可変させる又は、赤の長波長端のみ色相を短波長方向に寄せる方向で可変させる波長端の色相を短波長方向に可変させる24色以上の独立色補正をする撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置に関し、例えば画素ごとに特定の色相を補正する機能を有する撮像装置に関するものである。
【背景技術】
【0002】
テレビジョンカメラは、6色独立マスキングや12色マスキングと称される、画素ごとに特定の色相を検出し、画素ごとに特定の色相を補正する機能を有している(特許文献1参照)。
また、カラープリンタは、リニアマトリックスとインク濃度信号(Y,M,C)を3原色濃度信号(D,D,D)に対する高次の多項式で決定する非線形高次マスキングにおいて、モニタ上の色とプリント上の色との間の、明度、彩度および色相に関する偏差を重み付けして加算した評価関数を用いて、色変換パラメータの最適化を図ることによって、人間が好ましく感じるように色再現域を圧縮している(特許文献2参照)。
さらに、テレビジョンカメラは、BT.709(規格ITU-R(International Telecommunication Union Radiocommunication sector) BT(Broadcasting service(Television)).709)の原色点より広色域の原色点の第1の色信号を、BT.709の原色に基づく第2の色信号に変換し補正している(特許文献3参照)。
【0003】
ところで、監視用の高感度カラーカメラでは、レンズの絞り近傍の中心部にのみニュートラルデンシティフィルター(以下、スポットNDフィルターという。)を実装したり、濃淡が逆のNDフィルターを2枚重ねて逆方向に回転させて、絞り一定でも入射光量をND値で可変させる可変NDフィルターとして機能する回転可変NDフィルターを用いたりする。また、電子式に光の透過率を可変する電子式可変NDフィルターもあり、カムコーダーに搭載されている(非特許文献5参照)。
放送や監視等では、赤(R)緑(G)青(B)の原色信号を輝度信号と色差信号に変換して帯域と色域を半減させていることが多い。しかし、映像信号の圧縮技術の向上で圧縮率と忠実性が両立するようになり、赤緑青の原色信号を圧縮して伝送したり記録再生したりすることもある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平9-247701号公報
【文献】特開平6-189121号公報
【文献】特開2006-33575号公報
【非特許文献】
【0005】
【文献】富士フイルム光学フィルター FUJIFILM PHOTO HANDBOOK、インターネット(URL:http://fujifilm.jp/support/filmandcamera/download/pack/pdf/ff_opticalfilter_001.pdf)
【文献】HOYA ND0.1、インターネット(URL:https://www.hoyacandeo.co.jp/japanese/products/eo_pdf/ND0.1.pdf)
【文献】HOYA ND1.0、インターネット(URL:https://www.hoyacandeo.co.jp/japanese/products/eo_pdf/ND1.pdf)
【文献】トキナー ニュートラルデンシティフィルター、インターネット(URL:http://www.tokina.co.jp/io-filters/filters/neutral-density-filter.html)
【文献】ルミネックス液晶シャッター(電子式可変式NDフィルター)、インターネット(URL:http://www.luminex.co.jp/pdf/products03/LC-tec_FOS-NIR1100-specification-1602.pdf)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、赤緑青の原色信号又はBT.709(HD(高精度)TV向け規格)の原色点より広色域のITU/BT.2020(UHD(超高精度)TV向け規格)でのモニタや伝送や記録再生により色域が広くなると、可変NDフィルター付きレンズの絞りの変化、若しくは可変NDフィルターのND値の変化による可変NDフィルターの分光透過率のばらつきによる色調の変化が認識できるようになり、可変NDフィルター付きレンズの絞り値の変化又は可変NDフィルターND値の変化による色再現の劣化を補正する調整がさらに困難である。
本発明は、可変NDフィルター付きレンズの絞り値の変化又は可変NDフィルターのND値の変化による色信号の変化を補正することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
すなわち、撮像装置は、可変NDフィルター付レンズ又は可変NDフィルターと、オンチップカラーフィルター付撮像素子又は色分解光学系と3個以上の撮像素子と、から生成される、各画素信号の赤緑青の原色映像信号の画素ごとに特定の色相を検出し、画素ごとに特定の色相を独立に補正する手段と、リアルタイムオートホワイト手段と、画素ごとの色相算出手段と、を有する。前記可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して、画素単位に色補正の量と方向を可変させる6色以上の独立色補正をする。
【発明の効果】
【0008】
本発明によれば、色信号の色補正の調整の自由度を増加させて、より忠実に各色相範囲で独立により忠実に色補正することができる。
【図面の簡単な説明】
【0009】
図1A】実施例1に係るテレビジョンカメラを示すブロック図である。
図1B】変形例1-1に係るテレビジョンカメラを示すブロック図である。
図2】R/G/Bの大小関係と対応する色相範囲を示す模式図である。
図3A】実施例2に係る色相彩度検出補正部の構成を示すブロック図である。
図3B】変形例2-2に係る色相彩度検出補正部の構成を示すブロック図である。
図4】色調補正における色相領域の説明図である。
図5】色相領域の概念図である。
図6】原色成分と補色成分と彩度成分の算定原理の説明図である。
図7A】実施例2に係る色相彩度検出補正部の6色内外独立色調補正方式による色調補正処理の説明図である。
図7B】変形例2-1に係る色相彩度検出補正部の6色内外独立色調補正方式による色調補正処理の説明図である。
図7C】実施例4に係る色相彩度検出補正部の6色内外独立色調補正方式による色調補正処理の説明図である。
図7D】変形例2-2に係る色相彩度検出補正部の6色内外独立色調補正方式による色調補正処理の説明図である。
図7E】実施例5に係る色相彩度検出補正部の6色内外独立色調補正方式による色調補正処理の説明図である。
図8】実施例2の補正特性図である。
図9A】実施例3に係る色相彩度検出補正部の構成を示すブロック図である。
図9B】実施例4に係る色相彩度検出補正部の構成を示すブロック図である。
図9C】実施例5に係る色相彩度検出補正部の構成を示すブロック図である。
図10】実施例3に係る色調補正における色相領域の説明図である。
図11】実施例3に係る色相領域の概念図である。
図12】実施例3に係る原色成分と補色成分の算定原理の説明図である。
図13】変形例3-1の補正特性図である。
図14】従来の12色独立色調補正の動作を示す模式図である。
図15A】6色独立色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図15B】12色独立色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図15C】16色独立色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図15D】24色独立色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図16A】ベクトルチャートの6色ポイントの彩度に対応する6色内外独立色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図16B】ベクトルチャートの6色ポイントの彩度に対応する12色内外独立色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図16C】ベクトルチャートの6色ポイントの彩度に対応する12色内外独立色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図16D】ベクトルチャートの6色ポイントの彩度に対応する24色内外独立色調補正のカラーベクトル波形上の動作を示す模式図あり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図17A】6色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図17B】12色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図17C】16色彩度独立連続可変色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図17D】24色彩度独立連続可変色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図18】NDフィルターの分光透過率の模式図であり、(a)はフィルムベースのNDフィルターの例、(b)はガラスベースのNDフィルターの例である。
図19】スポットNDフィルターとレンズの絞り値との模式図である。
図20】回転可変NDフィルターの模式図である。
【発明を実施するための形態】
【0010】
まず、NDフィルターについて図18~20を用いて説明する。図18はNDフィルターの分光透過率の模式図であり、図18(a)はフィルムベースのNDフィルターの例であるFUJIFILM ND1.0(10%)であり、図18(b)はガラスベースのNDフィルターの例であるHOYA ND1.0(1%)である。図19は可変NDフィルターの1例のスポットNDフィルターとレンズの絞り値との模式図であり、レンズの開放絞り値F2でスポットNDフィルターの相当絞り値F16の例である。図20は可変NDフィルターの1例の回転可変NDフィルターの模式図である。
【0011】
監視用の高感度カラーカメラでは、図19に示すように、レンズの絞り近傍に中心部(図19では相当絞り値F16)にのみスポットNDフィルターを実装する。レンズの絞りの開放付近ではスポットNDフィルターの周辺の透過率100%が支配的となり透過率はほぼ100%となる。レンズの絞りの絞り切り(図19では相当絞り値F16)付近ではスポットNDフィルターの中心の透過率(例えば1%)が支配的となり透過率はほぼスポットNDフィルターの透過率(例えば1%)となる。その結果の雪の直射日光ではレンズの絞りの絞り切り(図19では相当絞り値F16)付近で対応でき、星あかりではレンズの絞りの開放(図19ではF2)付近で対応でき、幅広い照度に対応することができる。
【0012】
また、NDフィルターは、フィルムベースでは分光透過率はほぼ均一であるが、緑平均の透過率に比べ赤端の透過率が2倍から3倍と高く、緑の長波長側透過率に比べ緑の短波長側透過率が2割低く、緑平均の透過率に比べ青端の透過率が1割低い(図18(a)と非特許文献1参照)。しかし、NDフィルターがフィルムベースでは、厚みの均一性が悪いために収差を発生してレンズのMTF(Modulation Transfer Function)が低下するものも有る。
【0013】
さらに、NDフィルターは、ガラスベースでは分光透過率は、緑平均の透過率に比べ赤端の透過率が3.3倍から7倍と高く、緑の中央波長側透過率に比べ緑の短波長側透過率が2割低く緑の中央波長側透過率に比べ緑の長波長側透過率が2割から3割低く、緑平均の透過率に比べ青端の透過率が1/3から1/8と低いものも有る(図18(b)と非特許文献2、3、4参照)。しかし、NDフィルターがガラスベースでは、厚みの均一性が良く、収差が発生せずレンズのMTFが低下しない。
【0014】
ガラスベースでは分光透過率は、緑平均の透過率に比べ赤端の透過率が3.3倍から7倍と高く、緑の中央波長側透過率に比べ緑の短波長側透過率が2割低く緑の中央波長側透過率に比べ緑の長波長側透過率が2割から3割低く、緑平均の透過率に比べ青端の透過率が1/3から1/8と低い(非特許文献2、3、4参照)。
【0015】
また、図20に示すように、回転可変NDフィルターは濃淡が逆のNDフィルターを2枚重ねて逆方向に回転させて、絞り一定でも入射光量をND値で可変させる可変NDフィルターとして機能する。なお、図20では階段上に濃淡を記載したが、実際上は連続的に濃淡が可変している。
【0016】
上述したように、赤、緑、青の原色信号又はBT.709の原色点より広色域のITU/BT.2020でのモニタや伝送や記録再生により色域が広くなると、可変NDフィルター付きレンズの絞りの変化、若しくは可変NDフィルターのND値の変化による可変NDフィルターの分光透過率のばらつきによる色調の変化が認識できるようになり、可変NDフィルター付きレンズの絞り値の変化又は可変NDフィルターND値の変化による色再現の劣化を補正する調整がさらに困難である。なお、可変NDフィルターにはスポットNDフィルター又は回転可変NDフィルター又は電子式可変NDフィルター等がある。
【0017】
そこで、実施形態では下記のような構成とする。
【0018】
(1)撮像装置は、
(a)可変NDフィルター付レンズ又は可変NDフィルターと、オンチップカラーフィルター付撮像素子又は色分解光学系と3個以上の撮像素子と、から生成される、各画素信号の赤緑青の原色映像信号の画素ごとに特定の色相を検出し、画素ごとに特定の色相を独立に補正する手段と、(b)リアルタイムオートホワイト手段と、を有する。上記(a)手段は画素ごとの色相算出手段を有し、前記可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して、画素単位に色補正の量と方向を可変させる6色以上の独立色補正をする。
【0019】
(2)上記(1)の撮像装置において、
可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して、少なくとも1つ以上の色相を短波長方向に寄せる方向で可変させる6色以上の独立色補正をする。
【0020】
(3)上記(2)の撮像装置において、
可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して、緑の色相を中央又は両端に寄せる方向で可変させる12色以上の独立色補正をする。
【0021】
(4)上記(2)の撮像装置において、
可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して、少なくとも1つ以上の色の短波長側と中央の色相を短波長方向に寄せる方向で可変させ、または少なくとも1つ以上の色の長波長端は長波長方向に寄せる方向で可変させる16色以上の独立色補正をする。
【0022】
(5)上記(2)の撮像装置において、
可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して、青端のみ色相を短波長方向に寄せる方向で可変させる又は、赤の長波長端のみ色相を短波長方向に寄せる方向で可変させる等の波長端の色相を短波長方向に可変させる24色以上の独立色補正をする。
【0023】
(6)撮像装置は、スポットNDフィルター付きレンズと青と緑の分光透過率のクロスポイントが高いオンチップカラーフィルター付撮像素子又は青と緑の分光透過率のクロスポイントが高い色分解光学系と3個以上の撮像素子とから生成される、各画素信号の赤と緑と青との原色映像信号の6色以上の独立色補正の画素ごとに特定の色相を検出し、画素ごとに特定の色相と彩度とを独立に補正する手段を有する。この補正する手段は可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して特定の色相と彩度の色補正の量と方向を可変させる6色以上の独立色補正をする。
【0024】
実施形態によれば、NDフィルターの分光透過率のばらつきによる色変化の内オートホワイトの赤青のゲイン調整では補正し切れない色変化を、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値に応じて可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値による色の変化に対応して色信号の色補正の調整の自由度を増加させて、より忠実に各色相範囲で独立により忠実に色補正することを容易な調整で実現できる。
【0025】
さらに彩度と連動して各色相と彩度の範囲で独立に色補正の方向と量とを調整すれば、青と緑の分光透過率のクロスポイントが低いBT.2020用ではなく、従来の青と緑の分光透過率のクロスポイントが高いオンチップカラーフィルター付撮像素子又は青と緑の分光透過率のクロスポイントが低いBT.2020用の色分解光学系ではなく、BT709用等の青と緑の分光透過率のクロスポイントが高い色分解光学系と3個以上の撮像素子とから生成される、各画素信号の赤、緑、青の原色映像信号の色補正の調整の自由度を増加させて、より忠実に各色相範囲で独立により忠実に色補正することを容易な調整で実現できる。
【0026】
以下、実施例および変形例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。
【実施例1】
【0027】
(彩度により色補正方向を可変させる独立色補正の概要)
実施例1に係る撮像装置について図1A、2、15A~15D、18を用いて説明する。
【0028】
図1Aは実施例1に係るテレビジョンカメラの構成を示すブロック図であり、プリズムと3個の撮像素子を用いるガンマ前マトリクスである。図2はR/G/Bの大小関係と対応する色相範囲を示す模式図である。図15AはNDフィルターと6色独立色調補正のカラーベクトル波形上の動作を示す模式図である。図15BはNDフィルターと12色独立色調補正のカラーベクトル波形上の動作を示す模式図である。図15CはNDフィルターと16色独立色調補正のカラーベクトル波形上の動作を示す模式図である。図15DはNDフィルターと24色独立色調補正のカラーベクトル波形上の動作を示す模式図である。図15A~15Dにおいて、(a)はフィルムベースのNDフィルターであるFUJIFILM ND1.0(10%)に対応し、(b)はガラスベースのNDフィルターであるHOYA ND1.0(1%)に対応する。
【0029】
図1Aに示すように、実施例1に係るテレビジョンカメラ本体30Aは、プリズム32と、3個の撮像素子33R、33Gと、33Bと、映像信号処理部35Aと、CPU(Central Processing Unit)部39と、パラレル-シリアル変換部(P/S)37と、で構成されている。3個の撮像素子33R、33G、33Bのそれぞれは、CCD(電荷結合素子)撮像素子とAFE(アナログフロントエンドプロセッサ)又はAFE内蔵のCMOS(Complementary Metal Oxide Semiconductor)撮像素子である。CPU部39は、テレビジョンカメラ本体30Aの各部を制御する。
【0030】
テレビジョンカメラ本体30Aは、可変NDフィルター付レンズ31と、ビューファインダまたはモニタディスプレイ等の画像表示部40と結合され、実施例1に係るテレビジョンカメラ(撮像装置)100Aを構成する。可変NDフィルター付レンズ31の可変NDフィルターは絞り付近に設けたフィルムベースのスポットNDフィルターまたはガラスベースのスポットNDフィルターでもよいし、回転可変NDフィルターまたは電子式可変NDフィルターでもよい。図1Aでは可変NDフィルター付レンズ31を用いているが、可変NDフィルターのないレンズの後(レンズと色分解光学系であるプリズム32との間)に回転可変NDフィルター又は電子式可変NDフィルター等の可変NDフィルターを設けてもよい。
【0031】
被写体からの入射光は可変NDフィルター付レンズ31で結像され、結像された入射光はテレビジョンカメラ本体30Aのプリズム32で赤色光と緑色光および青色光に分解され各々撮像素子33R,33G,33Bで光電変換され、相関二重サンプリング、ゲイン補正、およびアナログ-デジタル変換を行い、映像信号処理部35Aに送られ、色補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理が行われる。
【0032】
映像信号処理部35Aは、色相彩度検出補正部38Aと、マトリクス(MATRIX)部36と、で構成されている。
【0033】
色相彩度検出補正部38Aは、加算器12,13,14と、ガンマ補正部381と、色調補正部382と、で構成され、ガンマ補正前に色調補正を行う。
【0034】
色調補正部382は、R-G,R-B,G-Bの色差と彩度との検出、色相領域判定、彩度判定および補正値の算出を行う。CPU部39を介して得られた可変NDフィルター付レンズ31の絞り値又は可変NDフィルターのND値に基づき、映像信号処理部35Aで色調補正が行われ、3個の撮像素子33R,33G,33Bで赤青のゲイン調整が行われる。赤青のゲイン調整によりオートホワイトバランスを行う。
【0035】
映像信号処理部35Aでは各種映像信号処理などが施された後、マトリクス部36でBT.709の映像信号の出力の
Y=0.2126R+0.7152G+0.0722B
Pb=0.5389(B-Y)
Pr=0.6350(R-Y)
の計算式により、R/G/Bから輝度信号(Y)と色差信号(Pb/Pr)に変換する。そしてパラレル-シリアル変換部37でシリアル映像信号に変換され、外部に出力される。
【0036】
また、BT.709の原色点より広色域のITU/BT.2020での映像信号の出力の
Y=0.2627R+0.6780G+0.0593B
Pb=0.5315(B-Y)
Pr=0.6782(R-Y)
の計算式による映像信号の出力もある。さらに、赤、緑、青の原色の映像信号の出力もある。
【0037】
画像表示部40はテレビジョンカメラ本体30の設定用メニューや特定の色相の内の任意の色相彩度領域を表示する。
【0038】
映像信号処理部35A内の色相彩度検出補正部38は、CPU部39を介して得た可変NDフィルター付レンズ31の絞り値又は可変NDフィルターのND値に基づき、さらに彩度と連動して色補正の方向と量を算出し、図2に示すようなR/G/Bの各信号レベルの大小関係から、被写体の色がどの色相範囲(色相領域)にあるかを検出する。
【0039】
なお、ここでは色相を6分割で表示しているが、R/G/Bの各信号レベルの大小関係をさらに細分化すれば、12色独立又は16色独立又は18色独立又は24色独立等もっと色相を再分化することも可能である。
【0040】
CPU9では、ユーザーが設定した任意の色相範囲の情報(信号a)を映像信号処理部35A内の色相彩度検出補正部38Aへ出力する。映像信号処理部35A内の色相彩度検出補正部38Aは、ユーザー設定の色相範囲と一致した画素の色相情報と画素の彩度情報とをCPU9へ出力する。CPU9ではその画素の色相情報と画素の彩度情報と可変NDフィルター付レンズ31の絞り値又は可変NDフィルターのND値に基づきさらに彩度と連動して、映像信号処理部35A内の色相彩度の補正算出に制御をかける。色相彩度検出補正部38Aは、NDフィルターの分光透過率のばらつきによる色変化の内オートホワイトの赤と青のゲイン調整では補正し切れない色変化をより忠実に各色相範囲で独立に色補正し、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値に応じて各色相範囲で独立に色補正する。
【0041】
色相彩度検出補正部38Aは、例えば、図15Aに示すような赤と青を短波長方向に寄せる6色独立色調補正、図15Bに示すような緑の色相を中央に寄せる12色独立色調補正、図15C(a)に示すような560nmから580nmの傾斜に対応する場合や図15C(b)に示すような560nmから600nmの凹に対応する場合の16色独立色調補正、図15D(a)に示すような700nmの凸に対応する場合と420nmの凹に対応する場合や図15D(b)に示すようなは530nmから540nmの傾斜に対応する場合と460nmから480nmの傾斜に対応する場合の24色独立色調補正を行う。
【0042】
画像表示部40では被写体の映像にメニュー画面を重畳し、ユーザーはメニュー画面を見ながら色相範囲や彩度範囲や輝度信号レベルを設定する。また、ユーザーが設定した色相範囲が目的とする被写体の色に合致しているかを確認できるように、画像表示部40の被写体映像に重ねて、設定した色相範囲と彩度範囲と一致している箇所のエリアにマーカーを表示するようにしてもよい。
【0043】
<変形例1-1>
実施例1の変形例(変形例1-1)について図1Bを用いて説明する。
【0044】
図1Bは変形例1-1に係るテレビジョンカメラの構成を示すブロック図であり、オンチップカラーフィルター付撮像素子を用いるガンマ後マトリクスである。
【0045】
図1Bに示すように、実施形態2に係るテレビジョンカメラ本体30Bは、撮像素子34と、映像信号処理部35Bと、CPU部39と、パラレル-シリアル変換部(P/S)37と、で構成されている。撮像素子34はオンチップカラーフィルター付CCD撮像素子とAFE、又はAFE内蔵のCMOS撮像素子である。CPU部39は、テレビジョンカメラ本体30Bの各部を制御する。
【0046】
テレビジョンカメラ本体30Bは、可変NDフィルター付レンズ31と、ビューファインダまたはモニタディスプレイ等の画像表示部40と結合され、変形例1-1に係るテレビジョンカメラ(撮像装置)100Bを構成する。
【0047】
被写体からの入射光は可変NDフィルター付レンズ31で結像され、結像された入射光はテレビジョンカメラ本体30Bの撮像素子34で光電変換され、相関二重サンプリング、ゲイン補正、およびアナログ-デジタル変換を行い、映像信号処理部35Bに送られ、色補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理が行われる。
【0048】
映像信号処理部35Bは、色相彩度検出補正部38Bと、マトリクス(MATRIX)部36と、で構成されている。
【0049】
色相彩度検出補正部38Bは、加算器12,13,14と、ガンマ補正部381と、色調補正部382と、色調分離部383と、で構成され、ガンマ補正後に色調補正を行う。
【0050】
色調補正部382は、R-G,R-B,G-Bと彩度検出、色相領域判定、彩度判定するための算出を行う。CPU部39を介して得た可変NDフィルター付レンズ31の絞り値又は可変NDフィルターのND値に基づき、映像信号処理部35Bで色調補正が行われ、撮像素子34又は色調分離部383で赤青のゲイン調整が行われる。
【0051】
実施例1、変形例1-1に係る撮像装置の色調補正と従来の色調補正との相違は、可変NDフィルター付レンズ31の絞り値又は可変NDフィルターのND値に基づき色調補正が行われることと、可変NDフィルター付レンズ31の絞り値又は可変NDフィルターのND値に基づき赤青のゲイン調整(オートホワイトバランス)が行われることである。
【0052】
さらに、実施例1、変形例1-1に係る撮像装置の色調補正と従来の撮像素子との相違は、下記のとおりである。
【0053】
(1)色域の広いBT.2020に対応する場合に、青と緑の分光透過率のクロスポイントが低いBT.2020用の撮像素子ではなく従来の青と緑の分光透過率のクロスポイントが高いオンチップカラーフィルター付撮像素子、又は青と緑の分光透過率のクロスポイントが低いBT.2020用の色分解光学系ではなくBT.709用等の青と緑の分光透過率のクロスポイントが高い色分解光学系と3個以上の撮像素子を用いることである。
【0054】
(2)上記(1)の撮像素子から生成される、各画素信号の赤緑青の原色映像信号から、色域の広いBT.2020に対応する場合は、画素ごとに彩度に相関させて色補正の量と方向を可変させる又は彩度内外独立に色補正の量と方向を可変する等の画素単位に彩度により色補正の量と方向を可変させる。これにより、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して色補正の量と方向を可変させる6色以上の独立色補正機能を有することである。
【0055】
上記(1)(2)により、赤緑青の原色信号又はBT.709の原色点より広色域のITU/BT.2020での映像信号を出力することができる。
【0056】
つまり、実施例1または変形例1-1(本実施例)に係る撮像装置は、(a)可変NDフィルター付レンズ又は可変NDフィルターと、オンチップカラーフィルター付撮像素子又は色分解光学系と3個以上の撮像素子と、から生成される、各画素信号の赤緑青の原色映像信号の画素ごとに特定の色相を検出し、画素ごとに特定の色相を独立に補正する手段と、(b)リアルタイムオートホワイト手段と、を有する。(a)手段は画素ごとの色相算出手段を有し、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、例えば図15A~15Dと図18に示すように、画素単位に色補正の量と方向を可変させる6色以上の独立色補正を行う。また、本実施例に係る撮像装置は、スポットND付レンズの絞り値又は可変NDフィルターのND値に基づき赤青のゲイン調整が行われるゲイン調整手段を有する。
【0057】
また、本実施例に係る撮像装置は、可変NDフィルター付レンズ31の絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように少なくとも1つ以上の色相を短波長方向に寄せる方向で可変させる6色以上の独立色補正行う。
(1)例えば図18(a)に示すようにフィルムベースのNDフィルターの赤端の透過率が緑平均より高いことによる色調の変化に対応して、例えば図15A(a)、18(a)に示すように赤は色相を短波長方向に寄せる方向で可変させる。
(2)例えば図18(b)に示すようにガラスベースのNDフィルターの赤端の透過率が緑平均より高いことによる色調の変化に対応して、例えば図15A(b)、18(b)に示すように赤は色相を短波長方向に寄せる方向で可変させる。
(3)例えば図18(a)に示すようにフィルムベースのNDフィルターの緑平均の透過率に比べ青端の透過率が低いことによる色調の変化に対応して、例えば図15A(a)、18(a)に示すように青は色相を短波長方向に寄せる方向で可変させる。
(4)例えば図18(b)に示すようにガラスベースのNDフィルターも緑平均の透過率に比べ青端の透過率が低いことによる色調の変化に対応して、例えば図15A(b)、18(b)に示すように青は色相を短波長方向に寄せる方向で可変させる。
【0058】
また、本実施例に係る撮像装置は、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように色相を中央又は両端に寄せる方向で可変させる12色以上の独立色補正を行う。
(1)例えば図18(a)に示すようにフィルムベースのNDフィルターの緑の長波長側透過率と短波長側透過率に比べ中央波長側透過率が低いことによる色調の変化に対応して、例えば図15B(a)、18(a)に示すように緑は色相を中央波長側に寄せる方向で可変させる。
(2)例えば図18(b)に示すようにガラスベースのNDフィルターの緑の中央長波長側透過率に比べ長波長側透過率と短波長側透過率が低いことによる色調の変化に対応して、例えば図15B(b)、18(b)に示すように緑は色相を緑中心から離す方向で可変させる。
【0059】
また、本実施例に係る撮像装置は、スポットNDフィルター付きレンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように少なくとも1つ以上の色の長波長側を短波長方向に寄せる方向で可変させ、または少なくとも1つ以上の色の長波長端は長波長方向に寄せる方向で可変させる16色以上の独立色補正を行う。
(1)例えば図18(a)に示すようにフィルムベースのNDフィルターの緑の長波長側透過率に比べ中央波長側透過率が低いこと(560nmから580nmの透過率が傾斜)による色調の変化に対応して、例えば図15C(a)、18(a)に示すように緑の長波長側は色相を短波長側に寄せる方向で可変させる。
(2)例えば図18(b)に示すようにガラスベースのNDフィルターの緑の長波長側の中央側の透過率に比べ緑の長波長端の透過率が低いこと(580nmから600nmの透過率が凹)による色調の変化に対応して、例えば図15C(b)、18(b)に示すように緑の長波長端は色相を緑中心から離す方向で可変させる。
【0060】
さらに、本実施例に係る撮像装置は、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように波長端の色相を短波長方向に可変させる24色以上の独立色補正を行う。
(1)例えば図18(a)に示すようにフィルムベースのNDフィルターは青の中央と長波長側は分光透過率が緑の平均分光透過率と同等で緑の平均分光透過率に比べ青端のみの透過率が低いこと(420nmの分光透過率が凹)による色調の変化に対応して、例えば図15D(a)、18(a)に示すように青端のみ色相を短波長方向に寄せる方向で可変させる。
(2)例えば図18(a)に示すようにフィルムベースのNDフィルターは赤の中央と短波長側は分光透過率が緑の平均分光透過率より高く赤の長波長端のみ著しく透過率が高いこと(700nmの分光透過率が凸)による色調の変化に対応して、例えば図15D(a)、18(a)に示すように赤の長波長端のみ色相を短波長方向に寄せる方向で可変させる。
(3)例えば図18(b)に示すようにガラスベースのNDフィルターの緑の中央波長側透過率に比べ短波長側透過率が低いこと(530nmから540nmの傾斜)による色調の変化に対応して、例えば図15D(b)、18(b)に示すように緑の中央波長側の色相を短波長方向に寄せる方向で可変させる。
(4)例えば図18(b)に示すようにガラスベースのNDフィルターの青の長波長中央側透過率に比べ長波長端側透過率が低いこと(460nmから480nmの傾斜)による色調の変化に対応して、例えば図15D(b)、18(b)に示すように青の長波長中央側の色相を長波長方向に寄せる方向で可変させる。
【0061】
また、画素信号ごとの6色以上の独立色補正方法は、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して、例えば図15A~15Dと図18に示すように特定の色相と彩度の色補正の量と方向を可変させる。
【0062】
更に、上記色補正方法において、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように少なくとも1つ以上の色相を短波長方向に寄せる方向で可変させる。
(1)図18(a)に示すようにフィルムベースのNDフィルターの赤端の透過率が緑平均より高く、図18(b)に示すようにガラスベースのNDフィルターの赤端の透過率が緑平均より高いことによる色調の変化に対応して、図15A~15D、18に示すように赤は色相を短波長方向に寄せる方向で可変させる。
(2)図18(a)に示すようにフィルムベースのNDフィルターの緑平均の透過率に比べ青端の透過率が低いことによる色調の変化に対応して、図15A~15D、18(a)に示すように青は色相を短波長方向に寄せる方向で可変させる。
(3)図18(b)に示すようにガラスベースのNDフィルターも緑平均の透過率に比べ青端の透過率が低いことによる色調の変化に対応して、図15A~15D、18(b)に示すように青は色相を短波長方向に寄せる方向で可変させる。
【0063】
上述したように本実施例の撮像装置は、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値に応じてさらに彩度と連動して色補正の方向と量とを調整することにより可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値による色信号の色変化を補正する際に、下記のように画素ごとに色補正の量と方向を可変させる又は彩度内外独立に色補正の量と方向を可変する等の画素単位に色補正の量と方向を可変させる6色以上の独立色補正を行う。
(1)フィルムベースのNDフィルターの赤端の透過率が緑平均より高く、ガラスベースのNDフィルターの赤端の透過率が緑平均より高いことによる色調の変化に対応して、赤は色相を短波長方向に寄せる方向で可変させる、又は
(2)フィルムベースのNDフィルターもガラスベースのNDフィルターも緑平均の透過率に比べ青端の透過率が低いことによる色調の変化に対応して、青は色相を短波長方向に寄せる方向で可変させる。
【0064】
これにより、より忠実に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値による色信号の色変化をさらに彩度と連動して補正することを容易な調整で実現できる。
【実施例2】
【0065】
(彩度により色補正方向を可変させる独立色補正の詳細)
実施例1の色相彩度検出補正部38の一例である実施例2について図3A、4~6、7A、8、17A~17Dを用いて説明する。
【0066】
図3Aは実施例2に係る色相彩度検出補正部の構成を示すブロック図である。図4は実施例2に係る色調補正における色相領域の説明図である。図5は実施例2に係る色相領域の概念図である。図6は実施例2に係る原色成分と補色成分と彩度成分の算定原理の説明図であり、原色成分と補色成分に加え彩度成分を判定することを示す図である。
【0067】
図7Aは6色内外独立色調補正方式による色調補正処理の説明図であり、図17Aにおける彩度に色補正の量と方向が線形相関の場合である。図8は実施例2の補正特性図である。
【0068】
図17Aは6色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図である。図17Bは12色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図である。図17Cは16色彩度独立連続可変色調補正のカラーベクトル波形上の動作を示す模式図である。図17Dは24色彩度独立連続可変色調補正のカラーベクトル波形上の動作を示す模式図である。図17Aから図17Dにおいて、(a)はFUJIFILM ND1.0(10%)の例に対応で、(b)はHOYA ND1.0(1%)の例に対応である。
【0069】
図3Aに示すように、色相彩度検出補正部38Aは色調補正部382Aと加算器12、13、14とを備える。色調補正部382Aは減算器1、2、3と、色相領域判定回路4と、成分量判定回路5と、定数選択回路6と、乗算器7、8、16と、補数器(-1倍乗算器)9、10と、データ選択加算回路11と、を備える。
【0070】
色調補正部382Aは、まず、減算器1により、入力される映像信号(R、G)から色差信号(R-G)の演算を行ない、減算器2により、入力される映像信号(R、B)から色差信号(R-B)の演算を行ない、減算器3により、入力される映像信号(G、B)から色差信号(G-B)の演算を行ない、その結果を色相領域判定回路4と、成分量判定回路5に供給し、彩度成分量と原色成分量と補色成分量とを判定する。
【0071】
そこで、この減算器1、2、3による演算結果により、まず色相領域判定回路4では、図5に示すようにして、色相領域の判定を行なう。図5は、この色相領域の概念図で、中心点から原色のR、G、Bおよび補色のYe、Cy、Mgの各色方向に向かう直線を基準線として、これにより第一領域(領域1)、第二領域(領域2)、第三領域(領域3)、第四領域(領域4)、第五領域(領域5)および第六領域(領域6)の6個の色相領域に区切ったものである。
【0072】
また、成分量判定回路5では、映像信号(R、G、B)のレベル比較を行ない、図6に示すようにして最大レベル、中間レベル、最小レベルを判定する。そして、この比較判定の過程で、最大レベルと中間レベルのレベル差を求め、これを原色成分量とし、さらに中間レベルと最小レベルのレベル差を求め、これを補色成分量とする。最大レベルと最小レベルのレベル差を求め、これを彩度成分量とする。ここで、最大レベルの色が原色に相当し、最小レベルの成分が白成分に相当する。そして、最大レベルの色と最小レベルの色の情報から補色が判定でき、この結果、図4に示すように、原色成分と補色成分を判定することができる。
【0073】
つまり、色調補正部382Aは独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す図17A~17Dの彩度で方向連続可変の色補正を実現するものである。
【0074】
図6の例では、最大レベルがRで、中間レベルはGになっているので、原色成分はRで、補色成分は、RとGの中間の色相であるYe(黄)になる。そして、原色成分量はR-Gで、補色成分量はG-B、そして最小レベルのBの量が白成分量となる。従って、この図6の場合は、図4の下から2番目に示す結果となる。R-Bが彩度成分量となる。
【0075】
色相領域判定回路4による色相領域の判定結果は定数選択回路6に供給され、判定結果に応じて特定の利得定数が定数選択回路6で選択され、それが乗算器7、8に供給されることにより、成分量判定回路5で判定された原色成分量及び補色成分量にそれぞれ乗算されることにより補正が行なわれる。このため、定数選択回路6には、予め第一領域(領域1)から第六領域(領域6)までのそれぞれの色相領域に対応した特定の利得定数が設定してある。
【0076】
こうして乗算器7、8により利得定数が乗算された原色成分量及び補色成分量は、加算・減算の選択及び映像信号(R、G、B)に対する接続選択を行なうためのデータ選択加算回路11に、一方では直接、他方では補数器(-1倍乗算器)9、10を介して、それぞれ供給される。そして、このデータ選択加算回路11により加算先が選択された上で各加算器12、13、14に供給され、映像信号(R、G、B)に加算されることになる。従って、以上の処理をフローチャートで示すと、例えば図7Aのようになる。
【0077】
図7Aのフローチャートでは、色差を算出し、最大値と最小値の判定後、最大値と最小値と彩度に応じて係数を算出し、直線変化(彩度に色補正の量と方向が線形相関)する補正である。図6に示す例(最大レベルがR、中間レベルがG、最小レベルがBの場合)について、図7Aを用いて説明する。
【0078】
ステップS101:演算器1でR-Gの色差信号、演算器2でR-Bの色差信号、演算器3でG-Bの色差信号を計算する。
【0079】
ステップS102:色相領域判定回路4はB-Rが負であるかどうかを判定し、YES(B-R<0)の場合はステップS103に移り、NO(B-R≧0)の場合はステップS104に移る。
【0080】
ステップS103:色相領域判定回路4はR-Gが正であるかどうかを判定し、YES(R-G>0、Rが最大レベル)の場合はステップS105に移り、NO(R-G≦0、Gが最大レベル)の場合はステップS106に移る。
【0081】
ステップS105:色相領域判定回路4はG-Bが負であるかどうかを判定し、YES(G-B<0、Gが最小レベル)の場合はステップS108に移り、NO(R-B≧0、Bが最小レベル)の場合はステップS115に移る。
【0082】
ステップS104、S106、S107の色相領域判定は上記と同様であり、説明を省略する。また、ステップS108~S114は第一領域(領域1)の処理、ステップS115~S121は第六領域(領域6)の処理、ステップS122~S128は第四領域(領域4)の処理、ステップS129~S135は第五領域(領域5)の処理、ステップS136~S142は第三領域(領域3)の処理、ステップS143~S149は第二領域(領域2)の処理、に対応する。
【0083】
図6の例の場合、成分量判定回路5はR-Bを彩度成分量、R-Gを原色成分量、G-Bを補色成分量と判定し、ステップS115以降の処理を行う。
【0084】
ステップS115:定数選択回路6はL1、L4、L7、L10の定数を乗算器16に供給し、乗算器16は定数と彩度成分を乗算し、L1(R-B)、L4(R-B)、L7(R-B)、L10(R-B)の彩度成分係数の計算を行う。
【0085】
ステップS116:定数選択回路6はK1、K4の定数を乗算器7に供給し、乗算器7は定数と原色成分を乗算し、K1(R-G)、K4(R-G)の原色成分係数の計算を行う。
【0086】
ステップS117:定数選択回路6はK7、K10の定数を乗算器8に供給し、乗算器8は定数と原色成分を乗算し、K7(G-B)、K10(G-B)の補色成分係数の計算を行う。ステップ115、S116、S117は並行して行ってもよい。
【0087】
ステップS118:データ選択加算回路11は乗算器7、16からの入力を選択してL1(R-B)K1(R-G)をRに加算する(R用レジスタに加算し、ステップS121後、R用レジスタの内容を加算器12に供給しRに加算する)。
【0088】
ステップS119:データ選択加算回路11は乗算器7、16からの入力を選択してL4(R-B)K4(R-G)をBに加算する(B用レジスタに加算し、ステップS121後、B用レジスタの内容を加算器14に供給しBに加算する)。データ選択加算回路11は補数器9、乗算器16からの入力を選択してL4(R-B){-K4(R-G)}をGに加算する(L4(R-B)K4(R-G)をGから減算する)(G用レジスタに加算し、ステップS121後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0089】
ステップS120:データ選択加算回路11は乗算器8、16からの入力を選択してL7(R-B)K7(G-B)をRに加算する(R用レジスタに加算し、ステップS121後、R用レジスタの内容を加算器12に供給しRに加算する)。データ選択加算回路11は乗算器8、16からの入力を選択してL7(R-B)K7(G-B)をGに加算する(G用レジスタに加算し、ステップS121後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0090】
ステップS121:データ選択加算回路11は乗算器8、16からの入力を選択してL10(R-B)K10(G-B)をRに加算する(R用レジスタに加算し、ステップS121後、R用レジスタの内容を加算器12に供給しRに加算する)。データ選択加算回路11は補数器10、乗算器16からの入力を選択してL10(R-B){-K10(G-B)}をGに加算する(L10(R-B)K10(G-B)をGから減算する)(G用レジスタに加算し、ステップS121後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0091】
そこで、いま、映像信号(R)の色調補正を行なう場合、例えば彩度方向の補正であれば原色成分量(R-G)に特定の定数(Kr)を乗じてから映像信号(R)に加算することになる。このとき、定数(Kr)による比率が-1倍から1倍の範囲であれば、この補正によっても、中間レベルと最小レベルのレベル差(補色成分量)、及び最小レベルの量(白成分量)は変化しない。
【0092】
また、映像信号(Ye)の彩度方向の補正を行なう場合、補色成分量(G-B)に特定の定数(Ky)を乗じてからRとGにそれぞれ加算することになる。このときも、定数(Ky)による比率が-1倍から1倍の範囲であれば、この補正によっても、最大レベルと中間レベルのレベル差(原色成分量)、及び最小レベルの量(白成分量)は変化しない。
【0093】
従って、この場合には、定数のKr及びKyを操作すれば、白バランスを保ちながら原色のRと補色のYeの彩度方向の補正を独立して行なうことができる。なお、以上の6色独立色調補正方式では、同様に色度方向の補正も独立に行なえ、さらには入力映像信号が別の色相にある場合も同様に独立補正が可能であるが、詳細な説明は省略する。
【0094】
さらに本実施例では、最大値と最小値判定後原色(最大値)と白(最小値)との差の彩度を算出し、彩度に応じて係数を算出する。上述した図7Aと後述する7Bと図17A~17Dのように、彩度に応じて係数を算出する場合は、直線変化となる。後述する図7Dのように、彩度に応じて係数を選択する場合は、階段変化となる。
【0095】
<変形例2-1>
実施例2の第一変形例(変形例2-1)について図7Bを用いて説明する。
【0096】
図7Bは6色内外独立色調補正方式による色調補正処理の説明図であり、図17Aにおける彩度に色補正の量と方向が線形相関の場合である。
【0097】
図7Bのフローチャートでは、最大値と最小値の判定後、原色(最大値)と白(最小値)との差の彩度を算出し、彩度に応じて係数を算出し、直線変化(彩度に色補正の量と方向が線形相関)又は曲線変化又は階段変化する補正である。図6に示す例(最大レベルがR、中間レベルがG、最小レベルがBの場合)について、図7Bを用いて説明する。
【0098】
ステップS101B:R、G、Bの最大を求める。Rが最大の場合はステップS102Bに移り、Gが最大の場合はステップS103Bに移り、Bが最大の場合はステップS104Bに移る。
【0099】
ステップS102B:G、Bのうちの小さい方を求める。Gが小さい場合はGが最小レベルであり、ステップS151Bに移り、Bが小さい場合はBが最小レベルであり、ステップS152Bに移る。
【0100】
ステップS103B:R、Bのうちの小さい方を求める。Rが小さい場合はRが最小レベルであり、ステップS153Bに移り、Bが小さい場合はBが最小レベルであり、ステップS154Bに移る。
【0101】
ステップS104B:R、Gのうちの小さい方を求める。Rが小さい場合はRが最小レベルであり、ステップS155Bに移り、Gが小さい場合はGが最小レベルであり、ステップS156Bに移る。
【0102】
ステップS151B、S108、S109B、S110B、S111~S114は第一領域(領域1)の処理、ステップS152B、S115、S109B、S116B、S117B、S118~S121は第六領域(領域6)の処理、ステップS153B、S122、S123B、S124B、S125~S128は第四領域(領域4)の処理、に対応する。また、ステップS129~S135は第五領域(領域5)の処理、ステップS154B、S129、S130B、S131B、S132~S142は第三領域(領域3)の処理、ステップS156B、S143、S144B、S145B、S146~S149は第二領域(領域2)の処理、に対応する。
【0103】
図6の例の場合、ステップS152B、S115、S109B、S116B、S117B、S118~S121の処理を行う。
【0104】
ステップS152B:演算器2でR-Bの色差信号(彩度)を計算する。
【0105】
ステップS115:定数選択回路6はL1、L4、L7、L10の定数を乗算器16に供給し、乗算器16は定数と彩度成分を乗算し、L1(R-B)、L4(R-B)、L7(R-B)、L10(R-B)の彩度成分係数の計算を行う。
【0106】
ステップS116B:演算器1でR-Gの色差信号(原色成分)、演算器3でG-Bの色差信号(補色成分)を計算する。
【0107】
ステップS117:定数選択回路6はK1、K4の定数を乗算器7に供給し、乗算器7は定数と原色成分を乗算し、K1(R-G)、K4(R-G)の原色成分係数の計算を行う。定数選択回路6はK7、K10の定数を乗算器8に供給し、乗算器8は定数と原色成分を乗算し、K7(G-B)、K10(G-B)の補色成分係数の計算を行う。
【0108】
ステップS118以降は実施例2の処理と同様である。
【0109】
上述した図7Aや後述する図7C~7Eの様に、色差を全て算出してから判定し、係数を算出しても良いし、図7Bの変形例2-1ように判定しながら、色差を算出しても良く、順番は不問である。
【0110】
図14は従来の12色独立色調補正の動作を示す模式図である。図16Aは6色内外独立色調補正のカラーベクトル波形上の動作を示す模式図であり、(a)はFUJIFILM ND1.0(10%)に対応で、(b)はHOYA ND1.0(1%)に対応である。である。
【0111】
図16Aに示すような6色内外独立色調補正のカラーベクトル波形上の動作、および図17Aに示すような6色独立彩度連続可変色調補正のカラーベクトル波形上の動作では、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持とが独立に調整できるため、色域の変換時の色補正の自由度が高くなる。
【0112】
図16Aに示すような6色内外独立色調補正のカラーベクトル波形上の動作では、内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する方が、広色域と狭色域の変換時の色補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
【0113】
<変形例2-2>
実施例2の第二変形例(変形例2-2)について図3B、7D、16A、17Aを用いて説明する。
【0114】
図3Bは、変形例2-2に係る色相彩度検出補正部の構成を示すブロック図である。図7Dは6色内外独立色調補正方式による色調補正処理の説明図であり、図15Dの彩度により色補正の量と方向が階段状に変化する場合である。
【0115】
変形例2-2に係る色調補正部382Bは、図16Aの内側と外側で異なる方向の色補正と図17Aの内外の彩度への相関の連続可変はベクトルチャートの6色ポイントの彩度に対応して可変する色補正とを実現するものである。
【0116】
色調補正部382Bは、色調補正部382Aから定数選択回路24が変更されている。定数選択回路24Bにより、図16Aの内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する色補正を実現する。
【0117】
図7Dのフローチャートでは、色差を算出し、最大値と最小値の判定後、最大値と最小値と彩度に応じて係数を選択し、階段変化する補正である。図6に示す例(最大レベルがR、中間レベルがG、最小レベルがBの場合)について、図7Dを用いて説明する。
【0118】
ステップS101~S107は図7Aの実施例2と同様である。また、ステップS108D~S114は第一領域(領域1)の処理、ステップS115D~S121は第六領域(領域6)の処理、ステップS122D~S128は第四領域(領域4)の処理、ステップS129D~S135は第五領域(領域5)の処理、ステップS136D~S142は第三領域(領域3)の処理、ステップS143D~S149は第二領域(領域2)の処理、に対応する。
【0119】
図6の例の場合、成分量判定回路5はR-Bを彩度成分量、R-Gを原色成分量、G-Bを補色成分量と判定し、ステップS115D以降の処理を行う。
【0120】
ステップS115D:定数選択回路24はL1(R-B)、L4(R-B)、L7(R-B)、L10(R-B)の彩度成分係数の計算を行い、乗算器7、8に供給する。
【0121】
ステップS116D:定数選択回路24はK1、K4の定数を乗算器7に供給し、乗算器7は定数と原色成分を乗算し、K1(R-G)、K4(R-G)の原色成分係数の計算を行う。乗算器7は定数選択回路24から供給されたL1(R-B)、L4(R-B)とK1(R-G)、K4(R-G)とを乗算し、L1(R-B)K1(R-G)、L4(R-B)K4(R-G)を求める。
【0122】
ステップS117D:定数選択回路24はK7、K10の定数を乗算器8に供給し、乗算器8は定数と原色成分を乗算し、K7(G-B)、K10(G-B)の補色成分係数の計算を行う。乗算器8は定数選択回路24から供給されたL7(R-B)、L10(R-B)とK7(G-B)、K10(G-B)とを乗算し、L7(R-B)K7(G-B)、L10(R-B)K10(G-B)を求める。
【0123】
ステップS118D:データ選択加算回路11は乗算器7からの入力を選択してL1(R-B)K1(R-G)をRに加算する(R用レジスタに加算し、ステップS121D後、R用レジスタの内容を加算器12に供給しRに加算する)。
【0124】
ステップS119D:データ選択加算回路11は乗算器7からの入力を選択してL4(R-B)K4(R-G)をBに加算する(B用レジスタに加算し、ステップS121D後、B用レジスタの内容を加算器14に供給しBに加算する)。データ選択加算回路11は補数器9からの入力を選択してL4(R-B){-K4(R-G)}をGに加算する(L4(R-B)K4(R-G)をGから減算する)(G用レジスタに加算し、ステップS121D後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0125】
ステップS120D:データ選択加算回路11は乗算器8からの入力を選択してL7(R-B)K7(G-B)をRに加算する(R用レジスタに加算し、ステップS121D後、R用レジスタの内容を加算器12に供給しRに加算する)。データ選択加算回路11は乗算器8からの入力を選択してL7(R-B)K7(G-B)をGに加算する(G用レジスタに加算し、ステップS121D後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0126】
ステップS121D:データ選択加算回路11は乗算器8からの入力を選択してL10(R-B)K10(G-B)をRに加算する(R用レジスタに加算し、ステップS121D後、R用レジスタの内容を加算器12に供給しRに加算する)。データ選択加算回路11は補数器10からの入力を選択してL10(R-B){-K10(G-B)}をGに加算する(L10(R-B)K10(G-B)をGから減算する)(G用レジスタに加算し、ステップS121後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0127】
彩度により階段状に可変の動作では、内側と外側で階段状に異なる方向の色補正をする図3Bの色相彩度検出補正部38Bのように、定数選択回路24Bを設置すれば良い。
【0128】
彩度により階段状に可変の動作では、図3Bの定数選択回路24Bの動作である図7Dの彩度係数の処理のように、色差を算出し、最大値と最小値の判定後、最大値と最小値と彩度に応じて係数を選択し、彩度により階段状に彩度係数が可変すれば良い。
【0129】
実施例2および変形例2-1、2-2(本実施例)に係る撮像装置は、色差算出部と、色相領域判定部と、彩度成分量判定部と、原色成分量判定部と、補色成分量判定部と、定数選択部と、掛け算部と、原色成分補正信号反転部と、補色成分補正信号反転部と、データ選択加算部と、補正信号加算部と、を有する。
【0130】
図7A、7B、7Dに示すように、色差算出部は色差信号を算出し、色相領域判定部は色差信号の正負を判定してRGB撮像信号の最大値と最小値を判定することにより原色領域と補色領域との色相領域を判定し、彩度成分量判定部は彩度成分を判定し、原色成分量判定部は原色成分を判定し、補色成分量判定部は補色成分を判定する。
【0131】
図7A、7B、7Dに示すように、定数選択部は色相領域判定により定数を選択し、掛け算部は選択された定数と原色成分、補色成分、彩度成分を掛け算し、原色成分補正信号反転部は原色成分補正信号を反転し、補色成分補正信号反転部は補色成分補正信号を反転し、データ選択加算部は色相領域判定により加算するデータを選択し、補正信号加算部はRGB撮像信号へ補正信号を加算する。これにより、画素ごとに内外の彩度への相関を可変する又は彩度内外の閾値を可変する等の画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して特定の色相と彩度の色補正の量と方向を可変させる彩度の影響方法を可変させる6色以上の独立色補正機能を有する。
【0132】
つまり、本実施例に係る撮像装置は、青と緑の分光透過率のクロスポイントが低いBT.2020用ではなく従来の青と緑の分光透過率のクロスポイントが高いオンチップカラーフィルター付撮像素子、又は青と緑の分光透過率のクロスポイントが低いBT.2020用の色分解光学系ではなく、BT.709用等の青と緑の分光透過率のクロスポイントが高い色分解光学系と3個以上の撮像素子から生成される、各画素信号の赤緑青の原色映像信号から、色域の広いBT.2020に対応する。この場合は、画素ごとに色補正の量と方向を可変させる又は彩度内外独立に色補正の量と方向を可変する等の画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して色補正の量と方向を可変させて、補正する。その際に、画素ごとに彩度に相関させて色補正の量と方向を可変させる又は彩度内外独立に色補正の量と方向を可変する等の画素単位に彩度により色補正の量と方向を可変させる(6色以上の独立色補正機能を有する)ことにより、より忠実に色域変換することを容易な調整で行うことができる。
【0133】
特に、内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する方が、広色域と狭色域の変換時の色補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
【実施例3】
【0134】
(独立12色や独立16色や独立18色や独立24色等)
実施例1の色相彩度検出補正部38の他例である実施例3について図9A、10~12、16B~16D、18を用いて説明する。
【0135】
図9Aは実施例3に係る色相彩度検出補正部の構成を示すブロック図である。図10、11は実施例3の色調補正における色相領域の説明図である。図12は実施例3に係る原色成分と補色成分の算定原理の説明図であり、彩度方向色補正特性を示す図である。図16Bは12色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。図16Cは16色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。図16Dは24色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。図16Bから図16Dにおいて、(a)はFUJIFILM ND1.0(10%)に対応で、(b)はHOYA ND1.0(1%)に対応である。
【0136】
実施例3に係る色相彩度検出補正部38Cは図16Bの独立12色や図16Cの独立16色や図16Dの独立24色等の彩度に色補正の量と方向が線形相関の場合に対応する。
【0137】
図9Aに示すように、色相彩度検出補正部38Cは、色調補正部382Cと、加算器12、13、14と、を備える。色調補正部382Cは実施例2の色調補正部382Aに中間色色相設定回路15と、α/β、β/α算出回路17と、定数選択回路18と、乗算器19,20,26と、データ選択加減算回路21と、原色/補色領域判定回路22と、が追加されて構成されている。
【0138】
中間色色相設定回路15は、新たに基準色として設定したい中間色の設定を可能にする働きをするもので、例えば、RとYeの中間色である肌色(色相(F))が予め設定されるものである。色相領域判定回路4C内の原色/補色領域判定回路22は、中間色色相設定回路15から与えられている色相(F)に基づいて、入力映像信号(R、G、B)の色相を判別し、所定の制御信号(S)を発生する働きをする。
【0139】
α/β、β/α算出回路17は、中間色色相設定回路15から与えられるデータにより、所定の定数(α/β、β/α)を算出する働きをする。なお、これらの定数(α/β、β/α)については後述する。定数選択回路18は、制御信号(S)に応じて定数(α/β、β/α)の何れか一方を選択して出力する働きをする。
【0140】
乗算器19、20,26は、成分量判定回路5から出力されてくる彩度成分と原色成分と補色成分に、定数選択回路18で選択された定数(α/β、β/α)の一方を乗算する働きをする。データ選択加減算回路21は、色相領域判定回路4Cによる判定結果と制御信号(S)に応じてデータを選択し、所定の加減算を行なう。なお、データ選択加減算回路21の動作の詳細は後述する。
【0141】
次に、本実施例の動作について図10、11を用いて説明する。図10、11は、実施例3の動作原理を説明するため彩度(色飽和度)及び色度(色相)を表した図であり、これらの図において、原点(中心点)のOから遠ざかる方向が彩度、彩度に垂直な方向(円を描く方向)が色度を表わしている。
【0142】
ここで本発明は、6色独立に加え肌色独立若しくは12色独立又は16色独立又は18色独立又は24色独立等の6色より多い内外独立色補正機能などの、どのような中間色の補正にも適用可能であるが、特に肌色の補正に適用するのが好ましい。そこで、本実施例では、以下、主として、肌色の補正を例に挙げて説明する。そうすると、この肌色の色相はRとYeの間の領域、すなわち、第六領域(領域6)に位置するので、これらの図10図11ではR(赤)からYe(黄)の第六領域(領域6)だけを示し、ここで肌色の色相は点Fで表わされることになる。
【0143】
そこで、この点を、図示のように、補助基準色(F)とし、そのデータを、上記したように、中間色色相設定回路15に設定する。
【0144】
これにより、第六領域(領域6)は、中心点(O)から補助基準色(F)点を通る軸、つまり補助基準線により、2個の補助領域、すなわち、領域(6-1)と領域(6-2)とに分けられることになる。次に、入力映像信号の色相を、原色/補色領域判定回路22により、図10に示すように、RとFの間の領域(6-1)と、FとYeの間の領域(6-2)に分割して判定する。そうすると、まず、このときは、何れも色相領域判定回路4Cの判定結果が第六領域(領域6)になっているときの動作となるので、成分量判定回路5から出力されている原色成分量と補色成分量は、それぞれ以下の通りになっている。
【0145】
原色成分量=R-G=Rc
補色成分量=G-B=Yc
次に、入力映像信号の色相が、これらの領域(6-1)と領域(6-2)の何れにあるかを、原色/補色領域判定回路22の判定により識別し、それぞれ以下に示すように、別個に補正を行なうのである。
【0146】
<領域(6-1)での補正処理>
このときは、各回路からの出力は以下の通りとなる。まず、定数選択回路18では定数β/αが選択され、この定数β/αが乗算器19、20に出力される。次に、データ選択加減算回路21からは信号〔Rc-Yc×(β/α)〕、信号(-Yc)、それに信号〔Yc×(β/α)〕が出力される。さらに、定数選択回路6では定数(Kr、Kf)が選択され、これらの定数(Kr、Kf)が乗算器7、8に出力される。
【0147】
そして、これらの結果、データ選択加算回路11からは、まず、信号〔Rc-Yc×(β/α)〕×Kr+Kf×〔Yc×(β/α)〕が加算器12に出力されて信号(R)に加算され、次に、信号〔(-Yc)×Kf〕が加算器14に出力されて信号(B)に加算されることになる。
【0148】
そこで、図10において、いま、A点を入力映像信号の座標とし、ベクトルAで表わすと、このベクトルAは、R成分ベクトルR1と肌色成分ベクトルF1の合成で表される。
【0149】
A=R1+F1
次に、Rの彩度方向調整専用の利得定数をKrとし、肌色の彩度方向調整専用の利得定数をKfとすると、Rの彩度方向の色補正を行なう場合には、|R1|×KrをRの彩度方向に加算、つまりRに加算してやれば良く、肌色の彩度方向の色補正を行なう場合には、|F1|×Kfを肌色彩度方向に加算してやれば良い。
【0150】
そこで、これらの量|R1|、|F1|の算出方法及び肌色彩度方向への加算方法について説明すると、このためには、全ての補正を、R、G、B成分への補正として表現してやれば良い。そこで、まずR成分基本ベクトルをR、肌色成分基本ベクトルをF、Ye成分基本ベクトルをY、そしてB成分基本ベクトルをBとし、
F=α×Y+β×R=α×(-B)+β×R
とする。
【0151】
次に、入力映像信号の座標ベクトルAをR成分とYe成分の合成で表わす。ここで、A=Y×Yc+R×Rcと、Rc及びYcは、実施例2の色調補正方式で説明したように、簡単に求まる。この場合、R>G>Bであり、従って、図6から明らかなように、Rc=R-G、Yc=G-Bとなる。
【0152】
そうすると、
A=Y×Yc+R×Rc
=(1/α)×(F-β×R)×Yc+R×Rc
=F×Yc/α+R×(Rc-β×Yc/α)
となり、よって、
|R1|=Rc-β×Yc/α
|F1|=Yc/α
となる。
【0153】
そこで、F×Yc/αをベクトルRとベクトルBで表現すると、
F×Yc/α=(α×(-B)+β×R)×Yc/α
=B×(-Yc)+R×(β×Yc/α)
となる。
【0154】
従って、以上の結果をまとめると、以下の通りである。すなわち、まず、Rの彩度方向の色補正を行なうためには、|R1|Kr=(Rc-β×Yc/α)×KrをRに加算すればよい。次に、肌色の彩度方向の色補正を行なうためには、|F1|×Kfを肌色彩度方向に加算すればよいが、このことは、-Yc×KfをBに加算し、(β×Yc/α)×KfをRに加算することに等しい。
【0155】
ここで、いま、Rベクトルと肌色ベクトルの間の角度をθとすると、
α×sin(60°-θ)=β×sin(θ)
であるため、
β/α=sin(60°-θ)/sin(θ)
となる。
【0156】
従って、θ=20°のときは、β/α=1.8794になるが、これを≒2.0とすると、このときの補正は、Rの彩度方向の色補正については、(Rc-2×Yc)×KrをRに加算すればよく、肌色の彩度方向の色補正については、-Yc×KfをBに加算し、2×Yc×KfをRに加算すればよい。そして、β/αを変えることにより、肌色の基準軸を調整することができる。
【0157】
以上は彩度方向の補正についての説明であるが、色度方向の補正に対しても同様の概念が適用できるため、説明は省略する。
【0158】
<領域(6-2)での補正処理>
このときは、各回路からの出力は以下の通りとなる。まず、定数選択回路18では定数α/βが選択され、この定数α/βが乗算器19、20に出力される。次に、データ選択加減算回路21からは信号〔Yc-Rc×(α/β)〕、信号(Rc)、それに信号〔-Rc×(α/β)〕が出力される。さらに、定数選択回路6では定数(Ky、Kf)が選択され、これらの定数(Ky、Kf)が乗算器7,8に出力される。
【0159】
そして、これらの結果、データ選択加算回路11からは、まず、信号〔Rc×Kf〕が加算器12に出力されて信号(R)に加算され、次に、信号{-〔Yc-Rc×(α/β)〕×Ky-Kf×〔Rc×(α/β)〕}が加算器14に出力されて信号(B)に加算されることになる。
【0160】
そこで、図11において、今度はC点を入力映像信号の座標とし、これをベクトルCで表わすと、このベクトルCは、Ye成分ベクトルY1と肌色成分ベクトルF2の合成で表される。
【0161】
C=Y1+F2
次に、Yeの彩度方向調整専用の利得定数をKyとし、肌色の彩度方向調整専用の利得定数をKfとすると、Yeの彩度方向の色補正には、|Y1|×KyをBから減算してやれば良く、肌色の彩度方向の色補正には、|F2|×Kfを肌色彩度方向に加算してやれば良い。
【0162】
次に、これら|Y1|、|F2|の算出方法及び肌色彩度方向への加算方法については、上記した領域(6-1)のときと同じであり、従って、以下のようになる。
【0163】
C=Y×Yc+R×Rc
=Y×Yc+(1/β)×(F-α×Y)×Rc
=F×Rc/β+Y×(Yc-α×Rc/β)
となり、よって
|Y1|=Yc-α×Rc/β
|F2|=Rc/β
となる。
【0164】
ここで、F×Rc/βをベクトルRとベクトルBで表現すると、
F×Rc/β=(α×(-B)+β×R)×Rc/β
=-B×(α×Rc/β)+R×Rc
となる。
【0165】
従って、以上の結果をまとめると、以下の通りとなる。すなわち、まず、Yeの彩度方向の色補正を行なう場合には、|Y1|×Ky=(Yc-α×Rc/β)×KyをBから減算すれば良い。次に、肌色の彩度方向の色補正を行なう場合には、|F2|×Kfを肌色彩度方向に加算するのであるが、このことは(-α×Rc/β)×KfをBに加算し、Rc×KfをRに加算することに等しい。
【0166】
そこで、Rベクトルと肌色ベクトルの間の角度θを、上述した領域(6-1)のときと同じく20°とすると、α/β=0.5321になるので、これを≒0.5とすると、このときの補正はYeの彩度方向の色補正を行なう場合、(Yc-0.5Rc)×KyをBから減算すれば良く、肌色の彩度方向の色補正を行なう場合、-0.5×Rc×KfをBに加算し、Rc×KfをRに加算してやれば良い。
【0167】
以上は、彩度方向の補正についての説明であるが、色度方向の補正に対しても同様の概念が適用できるため、説明は省略する。
【0168】
上記領域(6-1)及び領域(6-2)の各項で説明した補正によって得られる特性を示すと、図12の通りになる。この図12の特性は、Rの彩度方向の色補正、Yeの彩度方向の色補正、及び肌色の彩度方向の色補正のそれぞれの利得特性を重ねて示したもので、図示のように、肌色の彩度方向利得定数(Kf)を制御してやれば、Rの彩度方向利得定数(Kr)と、Yeの彩度方向の利得定数(Ky)に関係なく、肌色の彩度方向の色補正を行なえることが判る。
【0169】
従って、本実施例によれば、RとYeへの影響を最小限に押さえ、肌色に対して有効な色調補正を行なうことができ、テレビジョンカメラを切換えたときなどでの違和感を確実に無くすことができる。
【0170】
<変形例3-1>
次に、実施例3の変形例(変形例3-1)について図13を用いて説明する。図13は、変形例3-1に係る彩度方向色補正特性を示したものである。変形例3-1では、肌色軸Fを中心とした利得特性を持つ補正関数を生成し、これを取り出す。これを実施例2の機能に加算したものが、この図13の変形例3-1で、この方式によれば、実施例2で補正しきれない領域を補うような形で補正することができる。
【0171】
さらに本実施例では、最大値と最小値判定後原色(最大値)と白(最小値)との差の彩度を算出し、彩度に応じて係数を算出する。図7A図7B図7Eのように、彩度に応じて係数を算出する場合は、直線変化となる。図7Dのように、彩度に応じて係数を選択する場合は、階段変化となる。
【0172】
本実施例に係る撮像装置は、R-G,R-B,G-Bとの色差算出部と、原色領域と補色領域との色相領域判定部と、中間色色相設定部と、彩度成分量判定部と、原色成分量判定部と、補色成分量判定部と、第一乗算部と、第二乗算部と、データ選択加算部と、データ選択加減算部と、加算部を有し、
色差算出部は色差信号を算出し、色相領域判定部は色差信号の正負を判定してRGB撮像信号の最大値と最小値を判定することにより原色領域と補色領域との色相領域を判定し、彩度成分量判定部は彩度成分を判定し、原色成分量判定部は原色成分を判定し、補色成分量判定部は補色成分を判定し、
第一乗算部は色相領域判定と中間色色相判定によりデータ選択加減算前の定数を選択し掛け算し、データ選択加減算部は定数を掛け算したものとしないものを選択して加減算を行い、第一乗算部は色相領域判定によりデータ選択加減算後の定数を選択し掛け算する。データ選択加算部は第二乗算部の結果である原色成分補正信号の反転/非反転と補色成分補正信号の反転/非反転とを選択加算し、加算部はRGB撮像信号への補正信号の加算を行う。これにより、画素ごとに内外の彩度への相関を可変する又は彩度内外の閾値を可変する等の画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して特定の色相と彩度の色補正の量と方向を可変させる彩度の影響方法を可変させる6色より多い独立色補正機能を有する。
【0173】
つまり、本実施例に係る撮像装置は、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように色相を中央又は両端に寄せる方向で可変させる12色以上の独立色補正機能を有する。本実施例に係る撮像方法は、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように色相を中央又は両端に寄せる方向で可変させる12色以上の独立色補正を行う。
(1)図18(a)に示すようにフィルムベースのNDフィルターの緑の長波長側透過率に比べ緑の短波長側透過率に比べ低いことによる色調の変化に対応して、図16B(a)、18(a)に示すように緑は色相を短波長側に寄せる方向で可変させる。
(2)図18(b)に示すようにガラスベースのNDフィルターの緑の中央長波長側透過率に比べ長波長側透過率と短波長側透過率が低いことによる色調の変化に対応して、図16B(b)、18(b)に示すように緑は色相を緑中心から離す方向で可変させる。
【0174】
また、本実施例に係る撮像装置は、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように少なくとも1つ以上の色の長波長側を短波長方向に寄せる方向で可変させ、または少なくとも1つ以上の色の長波長端は長波長方向に寄せる方向で可変させる16色以上の独立色補正機能を有する。本実施例に係る撮像方法は、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように少なくとも1つ以上の色の長波長側を短波長方向に寄せる方向で可変させ、または少なくとも1つ以上の色の長波長端は長波長方向に寄せる方向で可変させる16色以上の独立色補正を行う。
(1)例えば図18(a)に示すようにフィルムベースのNDフィルターの緑の長波長側透過率に比べ中央波長側透過率が低いことによる色調の変化に対応して、例えば図16C(a)、18(a)に示すように緑の長波長側は色相を短波長側に寄せる方向で可変させる。
(2)図18(b)に示すようにガラスベースのNDフィルターの緑の長波長側の中央側の透過率に比べ緑の長波長端の透過率が低いこと(580nmから600nmの透過率が凹)による色調の変化に対応して、図16C(b)、18(b)に示すように緑の長波長端は色相を緑中心から離す方向で可変させる。
【0175】
さらに、本実施例に係る撮像装置は、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように波長端の色相を短波長方向に可変させる24色以上の独立色補正機能を有する。本実施例に係る撮像方法は、画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して、下記のように波長端の色相を短波長方向に可変させる24色以上の独立色補正を行う。
(1)図18(a)に示すようにフィルムベースのNDフィルターは青の中央と長波長側は分光透過率が緑の平均分光透過率と同等で緑の平均分光透過率に比べ青端のみの透過率が低いこと(420nmの分光透過率が凹)による色調の変化に対応して、図16D(a)、18(a)に示すように青端のみ色相を短波長方向に寄せる方向で可変させる。又は、
(2)図18(a)に示すようにフィルムベースのNDフィルターは赤の中央と短波長側は分光透過率が緑の平均分光透過率より高く赤の長波長端のみ著しく透過率が高いこと(700nmの分光透過率が凸)による色調の変化に対応して、図16D(a)、18(a)に示すように赤の長波長端のみ色相を短波長方向に寄せる方向で可変させる。
(3)例えば図18(b)に示すようにガラスベースのNDフィルターの緑の中央波長側透過率に比べ短波長側透過率が低いこと(530nmから540nmの傾斜)による色調の変化に対応して、例えば図16D(b)18(b)に示すように緑の中央波長側の色相を短波長方向に寄せる方向で可変させる。
(4)例えば図18(b)に示すようにガラスベースのNDフィルターの青の長波長中央側透過率に比べ長波長端側透過率が低いこと(460nmから480nmの傾斜)による色調の変化に対応して、例えば図16D(b)、18(b)に示すように青の長波長中央側の色相を長波長方向に寄せる方向で可変させる。
【0176】
纏めると、6色独立に加え肌色独立若しくは12色独立又は16色独立又は18色独立又は24色独立等などの6色より多い独立色補正にしたり、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して色補正の方向と量とを可変したりする方が、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値による色変化の色補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
【実施例4】
【0177】
(彩度成分の累乗に相関)
実施例1の色相彩度検出補正部38の他例である実施例4について図9B、7Cを用いて説明する。
【0178】
図9Bは実施例4に係る色相彩度検出補正部の構成を示すブロック図である。図7Cは6色内外独立色調補正方式による色調補正処理の説明図であり、彩度の累乗に色補正の量と方向が相関している。
【0179】
実施例4に係る色相彩度検出補正部38Dは実施例3の色相彩度検出補正部38Cに乗算器27,22,23、が追加されている。色相彩度検出補正部38Dでは、彩度により曲線状に可変の動作に対応するため、彩度成分を累乗して、データ選択加減算回路21に供給している。色相彩度検出補正部38Dの色調補正部382Dでは、乗算器27,22,23の3個により彩度成分の4乗を算出しているが、乗算器が2個の3乗でも、乗算器が5個の6乗でも良い。
【0180】
図7C図7Aとの相違は、選択された彩度成分がn累乗される処理が追加されたことである。ここで、nは自然数である。図9Bでは、図7Cの(n-1)個分の乗算器が追加されることになる。
【0181】
図7Cのフローチャートでは、色差を算出し、最大値と最小値の判定後、最大値と最小値と彩度に応じて係数を算出し、直線変化(彩度に色補正の量と方向が線形相関)する補正である。図6に示す例(最大レベルがR、中間レベルがG、最小レベルがBの場合)について、図7Cを用いて説明する。
【0182】
ステップS101~S107は図7Aと同様である。また、ステップS151、S108C~S114Cは第一領域(領域1)の処理、ステップS152、S115C~S121Cは第六領域(領域6)の処理、ステップS153、S122C~S128Cは第四領域(領域4)の処理、ステップS154、S129C~S135Cは第五領域(領域5)の処理、ステップS155、S136C~S142Cは第三領域(領域3)の処理、ステップS156、S143C~S149Cは第二領域(領域2)の処理、に対応する。
【0183】
図6の例の場合、成分量判定回路5はR-Bを彩度成分量、R-Gを原色成分量、G-Bを補色成分量と判定し、ステップS152以降の処理を行う。
【0184】
ステップS152:乗算器27、22、23、26は彩度成分の(R-B)のn乗(5乗)を計算する。
【0185】
ステップS115C:定数選択回路6はL1、L4、L7、L10の定数を乗算器16に供給し、データ選択加減算回路21は彩度成分の累乗(R-B)を乗算器16に供給し、乗算器16は定数と(R-B)とを乗算し、L1(R-B)、L4(R-B)、L7(R-B)、L10(R-B)の彩度成分係数の計算を行う。
【0186】
ステップS116C:定数選択回路6はK1、K4の定数を乗算器7に供給する。データ選択加減算回路21は原色成分に選択された定数を乗算したものまたは定数を乗算しないものと補色成分に選択された定数を乗算したものまたは定数を乗算しないものを加減算して(これをR-Gとする。)乗算器7に供給する。乗算器7は定数と原色成分を乗算し、K1(R-G)、K4(R-G)の原色成分係数の計算を行う。
【0187】
ステップS117C:定数選択回路6はK7、K10の定数を乗算器8に供給する。データ選択加減算回路21は原色成分に選択された定数を乗算したものまたは定数を乗算しないものと補色成分に選択された定数を乗算したものまたは定数を乗算しないものを加減算して(これをG-Bとする。)乗算器8に供給する。乗算器8は定数と補色成分を乗算し、K7(G-B)、K10(G-B)の補色成分係数の計算を行う。ステップ115C、S116C、S117Cは並行して行ってもよい。
【0188】
ステップS118C:データ選択加算回路11は乗算器7、16からの入力を選択してL1(R-B)K1(R-G)をRに加算する(R用レジスタに加算し、ステップS121C後、R用レジスタの内容を加算器12に供給しRに加算する)。
【0189】
ステップS119C:データ選択加算回路11は乗算器7、16からの入力を選択してL4(R-B)K4(R-G)をBに加算する(B用レジスタに加算し、ステップS121C後、B用レジスタの内容を加算器14に供給しBに加算する)。データ選択加算回路11は補数器9、乗算器16からの入力を選択してL4(R-B){-K4(R-G)}をGに加算する(L4(R-B)K4(R-G)をGから減算する)(G用レジスタに加算し、ステップS121C後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0190】
ステップS120C:データ選択加算回路11は乗算器8、16からの入力を選択してL7(R-B)K7(G-B)をRに加算する(R用レジスタに加算し、ステップS121C後、R用レジスタの内容を加算器12に供給しRに加算する)。データ選択加算回路11は乗算器8、16からの入力を選択してL7(R-B)K7(G-B)をGに加算する(G用レジスタに加算し、ステップS121後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0191】
ステップS121C:データ選択加算回路11は乗算器8、16からの入力を選択してL10(R-B)K10(G-B)をRに加算する(R用レジスタに加算し、ステップS121後、R用レジスタの内容を加算器12に供給しRに加算する)。データ選択加算回路11は補数器10、乗算器16からの入力を選択してL10(R-B){-K10(G-B)}をGに加算する(L10(R-B)K10(G-B)をGから減算する)(G用レジスタに加算し、ステップS121C後、G用レジスタの内容を加算器13に供給しGに加算する)。
【0192】
彩度で方向可変の色補正により、広色域と狭色域の変換時の色補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
【0193】
図17A~17Dは、彩度で方向可変の色補正の内の、彩度により連続可変の動作を示しているが、図16A~16Dは彩度に閾値のある動作である。彩度に線形相関で方向可変の色補正の動作に限らず、図示しない彩度により階段状に可変の動作でも、彩度により曲線状に可変の動作でも良い。
【実施例5】
【0194】
(6色ポイントの彩度に対応)
実施例1の色相彩度検出補正部38の他例である実施例5について図9C、7E、16A、16Bを用いて説明する。
【0195】
図9Cは実施例5に係る色相彩度検出補正部の構成を示すブロック図である。図7Eは6色内外独立色調補正方式による色調補正処理の説明図であり、彩度に色補正の量と方向が線形相関の係数が色相により変化する図である。
【0196】
図9Cに示すように、実施例5に係る色相彩度検出補正部38Eの色調補正部382Eは、色調補正部382Cから定数選択回路25が変更されている。定数選択回路25により、図16A、16Bの内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する色補正を実現する。
【0197】
図7Eのフローチャートでは、ベクトルチャートのR、G、B、Cy、Ye、Mgの6色ポイントの彩度に対応して、彩度に色補正の量と方向が線形相関の係数が、色相により変化する。これは、色調補正部382Eの色相領域判定回路4の色相により、定数選択回路6又は定数選択回路18において、彩度に色補正の量と方向が線形相関の係数が変化することにより行われる。色差を算出し、最大値と最小値の判定後、最大値と最小値と彩度に応じて係数を算出し、直線変化(彩度に色補正の量と方向が線形相関)する補正である。図6に示す例(最大レベルがR、中間レベルがG、最小レベルがBの場合)について、図7Eを用いて説明する。
【0198】
ステップS101~S107は図7Aと同様である。ステップS108E~S114は第一領域(領域1)の処理、ステップS115E~S121は第六領域(領域6)の処理、ステップS122E~S128は第四領域(領域4)の処理、ステップS129E~S135は第五領域(領域5)の処理、ステップS136E~S142は第三領域(領域3)の処理、ステップS143E~S149は第二領域(領域2)の処理、に対応する。
【0199】
図6の例の場合、成分量判定回路5はR-Bを彩度成分量、R-Gを原色成分量、G-Bを補色成分量と判定し、ステップS115E以降の処理を行う。
【0200】
ステップS115E:定数選択回路6はL1、L4、L7、L10の定数を乗算器16に供給し、データ選択加減算回路21は原色成分(R-G)と補色成分(G-B)に対応して彩度成分の(R-B)を乗算器16に供給し、乗算器16は定数と(R-B)とを乗算し、L1(R-B)、L4(R-B)、L7(R-B)、L10(R-B)の彩度成分係数の計算を行う。
【0201】
ステップS116C:定数選択回路6はK1、K4の定数を乗算器7に供給する。データ選択加減算回路21は原色成分に選択された定数を乗算したものまたは定数を乗算しないものと補色成分に選択された定数を乗算したものまたは定数を乗算しないものを加減算して(これをR-Gとする。)乗算器7に供給する。乗算器7は定数と原色成分を乗算し、K1(R-G)、K4(R-G)の原色成分係数の計算を行う。
【0202】
ステップS117C:定数選択回路6はK7、K10の定数を乗算器8に供給する。データ選択加減算回路21は原色成分に選択された定数を乗算したものまたは定数を乗算しないものと補色成分に選択された定数を乗算したものまたは定数を乗算しないものを加減算して(これをG-Bとする。)乗算器8に供給する。乗算器8は定数と補色成分を乗算し、K7(G-B)、K10(G-B)の補色成分係数の計算を行う。ステップ115C、S116C、S117Cは並行して行ってもよい。
【0203】
ステップS118以降は図7Aの実施例2と同様である。
【0204】
図16A、16BはベクトルチャートのR、G、B、Cy、Ye、Mgの6色ポイントの彩度に対応して、画素ごとに内外の彩度への相関を可変する又は彩度内外の閾値を可変する等の画素単位に彩度により色補正の量と方向を可変させる彩度の影響方法を可変させる6色以上の独立色補正機能のカラーベクトル波形上の動作を示す。ベクトルチャートの6色ポイントの彩度に対応することにより、広色域と狭色域の変換時の色補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
【0205】
図16A図16Bは、ベクトルチャートの6色ポイントの彩度に対応して彩度内外の閾値を可変するものであるが、画素ごとに内外の彩度への相関を可変するでも良い。
【0206】
また、図16A図16Bは、ベクトルチャートの6色ポイントを固定で表示しているが、広色域と狭色域の変換時のベクトルチャートの6色ポイント移動に対応して、彩度内外の閾値を可変しても良いし、画素ごとに内外の彩度への相関を可変するでも良い。
【0207】
彩度で方向可変の色補正により、広色域と狭色域の変換時の色補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
【0208】
なお、上記実施形例や変形例では、色相の範囲をRとYeに限定して説明したが、本発明は、任意の色相に適用可能なことは、言うまでもなく、また、基準色の種類や数についても任意に設定可能なことは、言うまでもない。
【0209】
色相の範囲をRとYeに限定は、6色内外独立に加え肌色独立の色調補正の動作であり、6色内外独立に加え肌色独立の色調補正の動作に限らず、12色彩度独立色調補正あるいは16色内外独立色調補正の動作又は18色内外独立色調補正の動作又は24色内外独立色調補正の動作でも良い。
【0210】
つまり、6色独立に加え肌色独立あるいは12色独立又は16色独立又は18色独立又は24色独立等などの6色より多い独立色補正にしたり、特に内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変したりする方が、広色域と狭色域の変換時の色補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
【0211】
実施例5に係る撮像装置は、色相領域判定部で色相領域を判定し、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動してさらに彩度と連動して定数選択部で定数を算出する係数を可変することにより、ベクトルチャートのR、G、B、Cy、Ye、Mgの6色ポイントの彩度に対応して、画素ごとに内外の彩度への相関を可変する又は彩度内外の閾値を可変する等の画素単位に可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値と連動して特定の色相と彩度の色補正の量と方向を可変させる彩度の影響方法を可変させる6色以上の独立色補正機能を有する。
【0212】
上述した実施例や変形例によれば、スポットNDフィルターの分光透過率のばらつきによる色変化の内オートホワイトの赤青のゲイン調整では補正し切れない色変化を、可変NDフィルター付レンズの絞り値又は可変NDフィルターのND値に応じてスポットNDフィルター付きレンズの絞り値による色の変化に対応して色信号の色補正の調整の自由度を増加させて、より忠実に各色相範囲で独立により忠実に色補正することを容易な調整で実現できるので、可変NDフィルター付レンズの幅広い照度範囲対応と、忠実な色再現が両立でき、監視用途も放送用途も広まる。
【0213】
さらに彩度と連動して各色相と彩度の範囲で独立に色補正の方向と量とを調整することにより、青と緑の分光透過率のクロスポイントが低いBT.2020用ではなく、従来の青と緑の分光透過率のクロスポイントが高いオンチップカラーフィルター付撮像素子又は青と緑の分光透過率のクロスポイントが低いBT.2020用の色分解光学系ではなく、BT.709用等の青と緑の分光透過率のクロスポイントが高い色分解光学系と3個以上の撮像素子とから生成される、各画素信号の赤緑青の原色映像信号の色補正の調整の自由度を増加させて、より忠実に各色相範囲で独立により忠実に色補正することを容易な調整で実現でき、低価格な青と緑の分光透過率のクロスポイントが高いオンチップカラーフィルター付撮像素子又はBT.709用等の青と緑の分光透過率のクロスポイントが高い色分解光学系と忠実な色再現が両立でき、監視用途も放送用途も広まる。
【0214】
以上、本発明の実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。
【符号の説明】
【0215】
1,2,3:減算器、4:色相領域判定回路、5:成分量判定回路、6:定数選択回路、7,8:乗算器、9,10:補数器(-1倍乗算器)、11:データ選択加算回路、12,13,14:加算器、15:中間色色相設定回路、17:α/β,α/β算出回路、18,24,25:定数選択回路、16,19,20,22,23,26,27:乗算器、21:データ選択加減算回路、30A,30B:テレビジョンカメラ本体、31:可変NDフィルター付レンズ、32:プリズム、33R,33G,33B:撮像素子、34:撮像素子、35A、35B、:映像信号処理部、36:マトリクス部、37:パラレル-シリアル変換部、38A,38B,38C,38D,38E:色相彩度検出補正部、381:ガンマ補正部、382A,382B,382C,382D,382E:色調補正部、383:色調分離部、39:CPU、40:画像表示部、100A,100B:テレビジョンカメラ(撮像装置)。
図1A
図1B
図2
図3A
図3B
図4
図5
図6
図7A
図7B
図7C
図7D
図7E
図8
図9A
図9B
図9C
図10
図11
図12
図13
図14
図15A
図15B
図15C
図15D
図16A
図16B
図16C
図16D
図17A
図17B
図17C
図17D
図18
図19
図20