特許第6570122号(P6570122)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立国際電気の特許一覧

<>
  • 特許6570122-撮像装置 図000002
  • 特許6570122-撮像装置 図000003
  • 特許6570122-撮像装置 図000004
  • 特許6570122-撮像装置 図000005
  • 特許6570122-撮像装置 図000006
  • 特許6570122-撮像装置 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6570122
(24)【登録日】2019年8月16日
(45)【発行日】2019年9月4日
(54)【発明の名称】撮像装置
(51)【国際特許分類】
   H04N 9/09 20060101AFI20190826BHJP
   H04N 5/232 20060101ALI20190826BHJP
   H04N 5/225 20060101ALI20190826BHJP
   H04N 9/68 20060101ALI20190826BHJP
【FI】
   H04N9/09 A
   H04N5/232
   H04N5/225
   H04N9/68 A
【請求項の数】3
【全頁数】11
(21)【出願番号】特願2015-222146(P2015-222146)
(22)【出願日】2015年11月12日
(65)【公開番号】特開2017-92764(P2017-92764A)
(43)【公開日】2017年5月25日
【審査請求日】2018年9月18日
(73)【特許権者】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(72)【発明者】
【氏名】澁谷 拓洋
【審査官】 大室 秀明
(56)【参考文献】
【文献】 特開2006−303774(JP,A)
【文献】 特開2014−116698(JP,A)
【文献】 特開2012−009919(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222−5/257
H04N 9/04−9/11
H04N 9/44−9/78
(57)【特許請求の範囲】
【請求項1】
2つの緑色撮像素子を有する撮像装置において、
2つの緑色撮像素子から出力するG1信号とG2信号のレベル差を補正するレベル差補正部を有し、
前記レベル差補正部は、平坦判定部とレベル差判定部とレベル調整部を有し、
前記平坦判定部は、G1信号およびG2信号の注目画素と周辺画素との間の平坦を判定し、
前記レベル差判定部は、前記平坦判定部が平坦と判定したG1信号とG2信号の注目画素と周辺画素の平均値にレベル差があるかを判定し、
前記レベル調整部は、前記レベル差判定部がレベル差ありと判定したときにG1信号とG2信号の利得比を算出し、G1信号またはG2信号に対して前記利得比でレベル調整を行い、
前記レベル差補正部は、さらに積算平均部とメモリ部を有し、
前記積算平均部は、前記レベル調整部で算出したG1信号とG2信号の利得比を積算平均し、
前記メモリ部は、前記積算平均部が積算平均した利得比を記憶し、
前記レベル調整部は、前記平坦判定部が次のフレームで平坦な映像でないと判定された画素には、前のフレームで前記メモリ部に記憶した前記利得比でG1信号またはG2信号に対してレベル調整を行うことを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
前記レベル差補正部は、さらに線形補間部を有し、
前記積算平均部は、画面を複数のエリアに分割し、G1信号とG2信号の利得比をエリア毎に積算平均し、
前記メモリ部は、前記積算平均部がエリア毎に積算平均した利得比を記憶し、
前記線形補間部は、画面全体で線形補間して利得比を算出し、
前記レベル調整部は、前記平坦判定部が次のフレームで平坦な映像でないと判定された画素には、前のフレームで前記メモリ部に記憶した前記利得比でG1信号またはG2信号に対してレベル調整を行うことを特徴とする撮像装置。
【請求項3】
2つの緑色撮像素子を有する撮像装置における撮像方法において、
2つの緑色撮像素子から出力するG1信号とG2信号のレベル差を補正するレベル差補正手段を有し、
前記レベル差補正手段は、平坦判定手段とレベル差判定手段とレベル調整手段を有し、
前記平坦判定手段は、G1信号およびG2信号の注目画素と周辺画素との間の平坦を判定し、
前記レベル差判定手段は、前記平坦判定手段が平坦と判定したG1信号とG2信号の注目画素と周辺画素の平均値にレベル差があるかを判定し、
前記レベル調整手段は、前記レベル差判定手段がレベル差ありと判定したときにG1信号とG2信号の利得比を算出し、G1信号またはG2信号に対して前記利得比でレベル調整を行い、
前記レベル差補正手段は、さらに積算平均手段とメモリ手段を有し、
前記積算平均手段は、前記レベル調整手段で算出したG1信号とG2信号の利得比を積算平均し、
前記メモリ手段は、前記積算平均手段が積算平均した利得比を記憶し、
前記レベル調整手段は、前記平坦判定手段が次のフレームで平坦な映像でないと判定された画素には、前のフレームで前記メモリ手段に記憶した前記利得比でG1信号またはG2信号に対してレベル調整を行うことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関するものである。
【背景技術】
【0002】
近年、テレビジョンカメラシステムのデジタル技術の進歩により、撮像装置の画素数が、1920x1080画素(2Kと略称される)から、概略4000x2000画素(4Kと略称される)や概略8000x4000画素(8Kと略称される)が要求されている。
そこで、画素ずらしによる高解像度化として、空間画素ずらしをした多板式カラーカメラにおいて、空間画素ずらしによりサンプリング位相が相互に反転したR(Red)信号とG(Green)信号とを、上記サンプリング周波数の互いに逆位相でスイッチングして交互にR信号とG信号とが切り替わる信号を生成し、さらにR信号を混合してからバンドパスフイルタで帯域制限した後に、マトリクス回路出力の輝度信号と合成している(例えば、特許文献1参照。)。
【0003】
さらに、空間画素ずらしをした多板式カラーカメラにおいて、 輝度信号(Y)はR,G,B(Blue)信号から固体撮像素子のサンプリング周期(1/fs)の半分の周期ごとに倍速クロックのマトリクス演算で生成し、倍速サンプリングで出力し、マトリクス演算前に、R, B信号の高域を定格より増幅させR,B信号の位相より、G信号の高域位相を所定の周期(1/fs)のほぼ半分遅延させる(例えば、特許文献2参照。)。
【0004】
ところで、G1(Green1)の撮像素子をG2(Green2)の撮像素子に対して水平方向に1/2画素ピッチずらし垂直方向に1/2画素ピッチずらして配置する。そして、得られたG1,G2の信号から垂直方向と水平方向の高域成分を演算し、これをGの信号に加算して垂直方向と水平方向の解像度の向上を図る(例えば、特許文献3参照。)。
【0005】
また、撮像装置をB(青),R(赤),G1(緑),G2の撮像素子による4板構成とする。B,Rの撮像素子をG2の撮像素子に対して垂直方向に1/2画素ピッチずらして配置する。そして、得られたB,Rの信号から垂直方向の高域成分を演算し、これをGの信号に加算して垂直方向の解像度の向上を図る。また、G1,G2の撮像素子を水平方向に1/2画素ピッチずらして配置し、水平方向の解像度の向上を図る(例えば、特許文献4参照。)。
【0006】
また、撮像装置をB(青),R(赤),G1(緑),G2の撮像素子による4板構成とする。Rの撮像素子をG2の撮像素子に対して垂直方向に1/2画素ピッチずらして配置する。Bの撮像素子をRの撮像素子に対して垂直方向に1画素ピッチずらして配置する。そして、得られたB及びRの信号から垂直方向の高域成分を演算し、これをGの信号に加算して垂直方向の解像度の向上を図る。同一フィールドの信号から高域成分が得られるので、偽の信号発生が防止される(例えば、特許文献5参照。)。
【0007】
この時、G1とG2の撮像素子が受光する光は、プリズム内のハーフミラーによって分光されているわけであるが、ハーフミラーは光の入射角によって反射率が変化する特性があるため、プリズムに入射する光の角度によってG1とG2の撮像素子の受光量に差が発生する場合がある。G1とG2を合成、補間して高精細の映像を生成するデュアルグリーン方式においては、G1とG2の撮像素子の受光量に差があると、生成した映像に斜め格子状の模様が発生する。尚、映像レベルが平坦でない細かな被写体を撮像している場合においては、斜め格子状の模様は見え難くなるが、固定パターンのノイズとして映像に表れる。
また、撮像素子には温度特性があり、撮像素子の温度が変化すると、同じ受光量であっても出力信号のレベルが上昇または低下することがある。このため、G1とG2の撮像素子に温度差が発生すると、G1とG2の出力信号にレベル差が発生し、この場合も映像に斜め格子状の模様または固定パターンのノイズが発生する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平11−355794号公報
【特許文献2】特開2000−209601号公報
【特許文献3】特開平6−339146号公報
【特許文献4】特開平7−327233号公報
【特許文献5】特開平8−98190号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、デュアルグリーン方式のカラー撮像装置において、映像に斜め格子状の模様または固定パターンのノイズが発生することを防止することである。
【課題を解決するための手段】
【0010】
本発明の撮像装置は、2つの緑色撮像素子を有する撮像装置であって、2つの緑色撮像素子から出力するG1信号とG2信号のレベル差を補正するレベル差補正部を有し、レベル差補正部は平坦判定部とレベル差判定部とレベル調整部を有し、平坦判定部はG1信号およびG2信号の注目画素と周辺画素との間の平坦を判定し、レベル差判定部は平坦判定部が平坦と判定したG1信号とG2信号の注目画素と周辺画素の平均値にレベル差があるかを判定し、レベル調整部はレベル差判定部がレベル差ありと判定したときにG1信号とG2信号の利得比を算出し、G1信号またはG2信号に対して前記利得比でレベル調整を行うことを特徴とする。
【0011】
また、本発明の撮像装置は、上記の撮像装置であって、レベル差補正部はさらに積算平均部とメモリ部を有し、積算平均部はレベル調整部で算出したG1信号とG2信号の利得比を積算平均し、メモリ部は積算平均部が積算平均した利得比を記憶し、レベル調整部は平坦判定部が次のフレームで平坦な映像でないと判定された画素には、前のフレームでメモリ部に記憶した前記利得比でG1信号またはG2信号に対してレベル調整を行うことを特徴とする。
【0012】
さらに、本発明の撮像装置は、上記の撮像装置であって、レベル差補正部はさらに線形補間部を有し、積算平均部は画面を複数のエリアに分割し、G1信号とG2信号の利得比をエリア毎に積算平均し、メモリ部は積算平均部がエリア毎に積算平均した利得比を記憶し、線形補間部は画面全体で線形補間して利得比を算出し、レベル調整部は平坦判定部が次のフレームで平坦な映像でないと判定された画素には、前のフレームでメモリ部に記憶した前記利得比でG1信号またはG2信号に対してレベル調整を行うことを特徴とする。
【発明の効果】
【0013】
本発明によれば、デュアルグリーン方式のカラー撮像装置において、映像に斜め格子状の模様または固定パターンのノイズが発生することを防止することができる。
【図面の簡単な説明】
【0014】
図1】本発明の一実施例に係る撮像装置の構成例を示すブロック図である。
図2】本発明の一実施例に係る映像信号処理部のブロック図である。
図3A】本発明の一実施例に係るレベル差補正部の構成を示すブロック図である。
図3B】本発明の他の一実施例に係るレベル差補正部の構成を示すブロック図である。
図3C】本発明のさらに他の一実施例に係るレベル差補正部の構成を示すブロック図である。
図4】本発明の一実施例に係る撮像装置の4板の撮像素子の貼り合せ位置の各画素の重なり具合を示す模式図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照して詳細に説明する。
図1は本発明の一実施例に係る撮像装置の構成例を示すブロック図である。
図1において、撮像装置110は、色分解光学系112、第1緑色(G1、Green1)撮像素子111G1、第2緑色(G2、Green2)撮像素子111G2、赤色(R、Red)撮像素子111R、青色(B、Blue)撮像素子111B、映像信号処理部113、撮像素子駆動部114、CPU(Central Processing Unit)部115で構成されている。
【0016】
撮像装置110は、入射光100がレンズ101で結像され、色分解光学系112で4板用に色分解され、第1緑色(G1)撮像素子111G1と第2緑色(G2)撮像素子111G2と赤色(R)撮像素子111Rおよび青色(B)撮像素子111Bで光電変換され、映像信号処理部113で各種信号処理が施され、HD−SDI(High Definition Serial Digital Interface)信号を出力する。
なお、本発明の撮像装置110から出力する映像信号は、一実施例のHD−SDIに限定するものではなく、圧縮や暗号化等も問わない。
【0017】
図4は本発明の一実施例に係る撮像装置の4板の撮像素子の貼り合せ位置の各画素の重なり具合を示す模式図である。
図4(a)は、第1緑色(G1)撮像素子111G1と第2緑色(G2)撮像素子111G2の画素の貼り合せ位置の一例である。
図4(b)は、ベイヤー配列相当の画素の貼り合せ位置の一例である。
なお、本発明の一実施例に係る撮像装置110は、図4の4板の撮像素子の貼り合せ位置に限定されるものではない。
【0018】
図2は本発明の一実施例に係る映像信号処理部のブロック図である。
図2において、映像信号処理部113は、レベル補正部210、選択部220、映像信号出力部230で構成されている。
レベル補正部210は、レベル差補正部211、遅延部212,213で構成されている。
【0019】
レベル差補正部211は、G1信号とG2信号のレベル差をなくするための補正処理を行うものであり、G1信号レベルをG2信号レベルに合わせる処理、またはG2信号レベルをG1信号レベルに合わせる処理を行う。
なお、レベル差補正部211は、FPGA(Field Programmable Gate Array)でも、CPUとFPGAのハイブリッドであってもよい。
選択部220は、G1’信号とG2’信号を交互に切替えて出力、またはG1’信号とG2’信号を合成し、G映像信号として出力する。
【0020】
遅延部212は、R信号をG映像信号のタイミングに合わせたR映像信号とするために行う遅延処理である。
遅延部213は、B信号をG映像信号のタイミングに合わせたB映像信号とするために行う遅延処理である。
なお、遅延部212,213は、LPF(Low Pass Filter)でもよい。また、遅延部212,213は、撮像素子駆動部114の駆動方法によりR撮像素子111RとB撮像素子111Bから画像信号を所定時間遅延させて読み出せる場合には不要としてもよい。
【0021】
映像信号出力部230は、G映像信号とR映像信号とB映像信号から例えば、HD−SDI信号を生成して出力する。
【0022】
(実施例1)
図3Aは本発明の一実施例に係るレベル差補正部の構成を示すブロック図である。
図3Aにおいて、レベル差補正部211は、遅延部311、平坦判定部312、レベル差判定部313、レベル調整部314で構成されている。
なお、遅延部311は、G1信号をG2’信号のタイミングに合わせたG1’信号とするために行う遅延処理である。G1信号をレベル調整をする場合は、G2信号を遅延部311で遅延させる。
CPU部115は、平坦判定部312、レベル差判定部313を制御する。なお、CPU部115は平坦判定部312とレベル差判定部313の処理を行ってもよい。
【0023】
平坦判定部312は、G1信号とG2信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。
【0024】
レベル差判定部313は、平坦判定部312がG1信号とG2信号がともに平坦部であると判定した場合、G1信号の注目画素と周辺画素のレベルの平均値と、G2信号の注目画素と周辺画素のレベルの平均値とを比較し、それぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているG1信号とG2信号の映像レベルに差が発生していると判定する。
【0025】
なお、レベル差判定部313において、平均値の差に上限値を設けているのは、高周波の縞模様等を映した際に、G1信号の注目画素と周辺画素に縞模様の暗部が写り、G2信号の注目画素と周辺画素に縞模様の明部が写った場合、互いに平坦部でありレベル差が発生していると誤判定してしまうのを防止するためである。
【0026】
レベル調整部314は、レベル差判定部313において、G1信号とG2信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からG1信号とG2信号の利得比を算出し、G2信号(またはG1信号、もしくはG1信号とG2信号の両方)の利得を調整し、G1信号とG2信号のレベルを合わせる。
【0027】
以上のように本発明の一実施例によれば、映像信号の平坦部の画素において、G1信号とG2信号にレベル差が発生している場合は、レベル差を検出し、G1信号とG2信号のレベル差を合わせる補正を行うことによって、映像に斜め格子状の模様が発生することを防止できる。
【0028】
(実施例2)
図3Bは本発明の他の一実施例に係るレベル差補正部の構成を示すブロック図である。
図3Bにおいて、レベル差補正部211は、遅延部311、平坦判定部312、レベル差判定部313、レベル調整部314、積算平均部325、メモリ部326で構成されている。
なお、遅延部311は、G1信号をG2’信号のタイミングに合わせたG1’信号とするために行う遅延処理である。
CPU部115は、平坦判定部312、レベル差判定部313、積算平均部325、メモリ部326を制御する。なお、CPU部115は平坦判定部312とレベル差判定部313と積算平均部325とメモリ部326の処理を行ってもよい。
【0029】
平坦判定部312は、G1信号とG2信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。
【0030】
レベル差判定部313は、平坦判定部312がG1信号とG2信号がともに平坦部であると判定した場合、G1信号の注目画素と周辺画素のレベルの平均値と、G2信号の注目画素と周辺画素のレベルの平均値とを比較しそれぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているG1信号とG2信号の映像レベルに差が発生していると判定する。
【0031】
レベル調整部314は、レベル差判定部313において、G1信号とG2信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からG1信号とG2信号の利得比を算出する。
【0032】
積算平均部325は、レベル差判定部313において、映像の平坦部でG1とG2にレベル差があり、レベル調整部314がG1信号とG2信号の利得比を算出するとき、その利得比をメモリ部326を利用しながら積算平均する。
積算平均部325は、利得比を積算平均する範囲が同一のフレーム内にあるため、次のフレームの処理に移る前に積算平均した利得比をメモリ部326に記憶させる。
【0033】
レベル調整部314は、次のフレームにおいて、平坦判定部312により注目画素が平坦部でないと判定された場合には、メモリ部326に記憶されている前のフレームで積算平均した利得でG2信号(またはG1信号、もしくはG1信号とG2信号の両方)のレベルを調整する。
【0034】
以上のように本発明の他の一実施例によれば、映像信号の平坦部でない画素において、前のフレームで積算平均したG1信号とG2信号の利得比を適用して、G1信号とG2信号のレベル差を補正することによって、映像に固定パターンのノイズが発生することを防止することができる。
【0035】
(実施例3)
図3Cは本発明のさらに他の一実施例に係るレベル差補正部の構成を示すブロック図である。
図3Cにおいて、レベル差補正部211は、遅延部311、平坦判定部312、レベル差判定部313、レベル調整部314、積算平均部325、メモリ部326、線形補間部337で構成されている。
なお、遅延部311は、G1信号をG2’信号のタイミングに合わせたG1’信号とするために行う遅延処理である。
CPU部115は、平坦判定部312、レベル差判定部313、積算平均部325、メモリ部326、線形補間部337を制御する。なお、CPU部115は平坦判定部312とレベル差判定部313と積算平均部325とメモリ部326と線形補間部337の処理を行ってもよい。
【0036】
平坦判定部312は、G1信号とG2信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。
【0037】
レベル差判定部313は、平坦判定部312がG1信号とG2信号がともに平坦部であると判定した場合、G1信号の注目画素と周辺画素のレベルの平均値と、G2信号の注目画素と周辺画素のレベルの平均値とを比較しそれぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているG1信号とG2信号の映像レベルに差が発生していると判定する。
【0038】
レベル調整部314は、レベル差判定部313において、G1信号とG2信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からG1信号とG2信号の利得比を算出する。
【0039】
積算平均部325は、画面を縦横複数のエリアに区切り、区切ったエリアの映像の平坦部でG1信号とG2信号にレベル差があり、レベル調整部314がG1信号とG2信号の利得比を算出するとき、その利得比をメモリ部326を利用しながらエリア毎に積算平均する。
積算平均部325は、1フレームのエリア毎の積算平均処理が終了すると、エリア毎に積算平均した利得比をメモリ部326に記憶させる。
【0040】
線形補間部337は、メモリ部326に記憶されているエリア毎に積算平均したG1信号とG2信号の利得比をそのエリアの中心画素の利得比とし、間の画素の利得比を線形補間して算出する。
なお、線形補間部337は、エリア内に平坦部がなく、利得比の情報がないエリアある場合には、そのエリアを飛ばした線形補間を行う。
【0041】
レベル調整部314は、次のフレームにおいて、平坦判定部312により注目画素が平坦部でないと判定された場合には、線形補間部337が算出した利得でG2信号(またはG1信号、もしくはG1信号とG2信号の両方)のレベルを調整する。
【0042】
以上のように本発明のさらに他の一実施例によれば、映像信号の平坦部でない画素において、画面全体で線形補間して算出したG1信号とG2信号の利得比を適用して、G1信号とG2信号のレベル差を補正することによって、画面内でG1信号とG2信号の利得比が一定でない場合においても映像に固定パターンのノイズが発生することを防止することを実現できる。
【0043】
本発明の実施形態である撮像装置は、デュアルグリーン方式のカラー撮像装置において、映像に斜め格子状の模様または固定パターンのノイズが発生することを防止することができる。
【0044】
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。
【産業上の利用可能性】
【0045】
G1信号とG2信号のレベル差を自動的に補正することによって、温度変動の大きい撮影環境の用途にも適用できる。
【符号の説明】
【0046】
100:入射光、101:レンズ、110:撮像装置、111G1:G1撮像素子、111G2:G2撮像素子、111R:R撮像素子、111B:B撮像素子、112:色分解光学系、113:映像信号処理部、114:撮像素子駆動部、115:CPU部、210:レベル補正部、211:レベル差補正部、212,213:遅延部、220:選択部、230:映像信号出力部、311:遅延部、312:平坦判定部、313:レベル差判定部、314:レベル調整部、325:積算平均部、326:メモリ部、337:線形補間部。
図1
図2
図3A
図3B
図3C
図4