(58)【調査した分野】(Int.Cl.,DB名)
ビデオカメラへの入射光を制御する光学アパーチャと、映像信号のゲインを制御する電子アパーチャとを備え、前記光学アパーチャのみで制御されたHDR(High Dynamic Range)の映像信号と、前記光学アパーチャと前記電子アパーチャの両方で制御されたSDR(Standard Dynamic Range)の映像信号を出力する、HDR−SDR一体化制作用ビデオカメラ。
【背景技術】
【0002】
近年、スーパーハイビジョン等の高解像度映像の実用化に伴って、広色域表示系映像や高輝度映像等のリアリティのある映像が求められており、ITU−R(International Telecommunication Union Radiocommunications Sector)の勧告BT.709(非特許文献1)で規定される従来のダイナミックレンジであるSDR(Standard Dynamic Range)では不可能なハイライト表現が可能なHDR(High Dynamic Range)の映像システムの導入が検討されている。なお、ここで「ダイナミックレンジ」とは、映像を表現する黒レベルからピークレベルまでのレンジ(ビデオ信号レンジ)であり、これが高いほど、白からハイライトのレンジを圧縮せずに見せることができる。
【0003】
SDRの映像は、ITU−R勧告BT.709で規定されているように、ビデオ信号100%を基準白レベルとして0%から約109%のビデオ信号レンジで制作される。すなわち、8ビット(0〜255)の映像信号レベルのうち、リファレンスホワイトレベルを235としている。したがって、基準白レベルより高いハイライトの表現に使用可能なビデオ信号レベルが限られるため、鏡面反射や逆光など高輝度の被写体の輝度は大きく圧縮して表現することとなり、結果的に白飛びや色相の変化などが生じてしまう。一方、HDRでは、基準白レベルがビデオ信号レンジの中間辺りに設定することによって、SDRでは表現できなかったハイライト部(オーバーホワイト部)にもビデオ信号を割り当てることが可能となり、高輝度の被写体を含めた映像表現が可能となる。
【0004】
HDR映像システムの撮像側では、ダイナミックレンジの広いカメラを用い、暗部から明るい部分に亘る広い輝度範囲の映像を取得し、所定の光―電気変換特性(OETF:Opto-Electrical Transfer Function)に基づく信号処理によって、黒レベルから基準白レベル、そして基準白レベルを超えるハイライト部までが、所定のレンジのビデオ信号に変換される。表示側では、従来よりも高いピーク輝度のディスプレイを用いることによって、ハイライト部を含めた映像を再現する。
【0005】
撮像時において、HDRとSDRには大きな違いがある。SDRの映像制作の場合は、同時に表現できるダイナミックレンジが狭いために、シーンの明るさに応じて、着目する被写体が所定のビデオ信号レンジに収まるようにカメラのアイリス(絞り、光学アパーチャ)や映像信号のゲインを大きく調整する必要がある。このため、例えば、日向の被写体に着目する場合はアイリスを絞るため日陰の部分は表現できず、日陰の被写体に着目する場合はアイリスを開けるため日向の部分は表現できない。これに対して、HDRの映像制作の場合は、高いダイナミックレンジを活かして、カメラのアイリスやゲインの調整は必要最小限のままで、日陰から日向を表現できる。
【発明を実施するための形態】
【0022】
以下、本発明の実施の形態について説明する。
【0023】
(実施の形態1)
実施の形態1として、HDR−SDR一体化制作用ビデオカメラを説明する。
図1は、第1の実施例としてのHDR−SDR一体化制作用ビデオカメラの信号処理ブロックの例である。
【0024】
HDR−SDR一体化制作用ビデオカメラ100は、光学アパーチャ10と、撮像素子20と、アナログ/デジタル変換(ADC)部30と、映像調整部40と、HDR用ニー・ガンマ部50と、電子アパーチャ(ゲイン制御部)60と、SDR用ニー・ガンマ部70と、2つのSDI(Serial Digital Interface)処理部80とからなる。
【0025】
映像調整部40は、その内部に、黒レベル調整部41、白レベル調整部42、フレア補正・シェーディング調整部43、ゲイン調整部44、及びディテイル調整部45を備えている。また、SDI処理部80は、SDIエンコーダ部81及びSDIドライバ部82を備えている。
【0026】
映像信号(ビデオ信号)の制作処理の概要について、各ブロックの機能とともに説明する。
【0027】
映像(入射光)は、カメラのアイリス、すなわち、光学アパーチャ10により光量が制御される。この光学アパーチャ10は、映像の全体的な明るさに応じて、カメラマンによりマニュアルで調整することができる。なお、光学アパーチャ10を調整する操作装置については後述する。光量が制御された映像(入射光)は、撮像素子20に入力される。
【0028】
撮像素子20は、例えば、CCD(Charge-Coupled Device)で構成され、光学アパーチャ10を通過した映像を受光する。撮像素子(CCD)20は、フォトダイオード等により映像の光電変換を行い、各画素の輝度に対応した電気信号を映像信号として出力する。なお、撮像素子20は、HDRのダイナミックレンジに対応する十分なダイナミックレンジを有している。撮像素子は、CCDに限らず、MOS型撮像素子等、任意の構造のものが利用できる。
【0029】
アナログ/デジタル変換(ADC:Analog-to-Digital Converter)部30は、撮像素子20から出力されたアナログの映像信号をデジタル映像信号に変換する。アナログ/デジタル変換処理に際して、その前段で、映像信号に対する必要なアナログ信号処理や、プレ・ニー(KNEE)処理等の信号処理を行っても良い。変換されたデジタル映像信号は、映像調整部40に出力される。
【0030】
映像調整部40において行われる信号処理は、いずれも通常の撮影システムにおいて行われている信号調整処理である。
【0031】
黒レベル調整部41は、デジタル映像信号の黒レベルを、ビデオ信号の黒の基準レベルとなるよう調整する。また、白レベル調整部42は、デジタル映像信号の白レベルを、ビデオ信号の白の基準レベルとなるよう調整する。
【0032】
フレア補正・シェーディング調整部43は、入力された映像信号について、映像の中央部よりも周辺部の映像が暗くなるのを補正し、また、映像の陰影を調整して、元の映像のコントラストに近づくように調整を行う。
【0033】
ゲイン調整部44は、映像の明暗に応じて映像信号のゲインを調整する。また、RGB信号のそれぞれゲイン調整を行い、ホワイトバランスの調整を行う。
【0034】
ディテイル調整部45は、画像のエッジ部の濃度変化のエンハンス処理等を行い、エッジを際立たせる等の処理を行う。
【0035】
映像調整部40の信号処理は、これら各調整部41〜45に限定されるものではなく、必要な映像調整に応じて、任意の調整部を追加又は省略することができる。また、各調整部の処理順序も図示の順に限られず、必要な処理を優先して任意の順番で行うことができる。これらの各調整処理を行った映像調整部40の出力は、HDR映像信号とSDR映像信号を作成するために2つに分岐され、一方は、HDR用ニー・ガンマ部50へ入力され、もう一方は、電子アパーチャ(ゲイン制御部)60に入力される。
【0036】
HDR用ニー・ガンマ部(HDR用信号補正部)50は、映像調整部40からの出力信号に対して、HDR用ニー・ガンマ処理を行う。ここで、ニー(KNEE)とは、映像の高輝度部分の信号を、ビデオ信号のダイナミックレンジに収まるように圧縮する処理であり、また、ガンマ補正とは、ディスプレイの入力信号に対する映像出力の非線形関係を補償するように(映像強度がビデオ信号に対して線形関係となるように)、ビデオ信号を補正する処理である。なお、HDRの場合はダイナミックレンジが広いため、ニー(KNEE)はかけないのが基本だが、強い逆光の映像等、極めて輝度の高い映像に対して演出意図やカメラ性能により圧縮が行われる。HDR用ニー・ガンマ部50で処理された信号は、SDI処理部80に入力される。
【0037】
SDI処理部80は、非圧縮のデジタル映像信号とデジタル音声信号を、1本の同軸ケーブルで送ることができるように、高速シリアル・インターフェース規格のデータに変換し、HDRビデオ信号(HDR映像信号)を出力する。まず、SDIエンコーダ81は、HDR用ニー・ガンマ部50からの映像信号を、所定のSDI信号データに変換し、また、SDIドライバ82は、SDI信号をケーブルで伝送可能な所定の形式に変換・出力調整する。なお、SDI処理部80は出力処理部の一例であり、出力データ形式に応じて、他の出力処理部を用いることができる。
【0038】
このように、HDR信号処理用のラインにおける出力処理部からは、HDRビデオ信号(HDR映像信号)が出力される。
【0039】
一方、電子アパーチャ(ゲイン調整部)60は、SDR映像信号を制作するために用いられる。映像調整部40からの出力信号に対して、着目する被写体がSDRのビデオ信号レンジで適切に表現されるように、映像信号のゲイン制御を行う。この電子アパーチャ60は、光学的に映像(光量)を調整するものではなく、映像信号に対して正又は負のゲイン調整を行うものであるが、結果として、光学アパーチャ(アイリス)で露出を調整したと同様の作用を、SDR用の映像信号に対して与えることから、電子アパーチャと呼ぶ。この電子アパーチャ60によるゲイン制御は、光学アパーチャと同様に、映像の全体的な明るさに応じて、カメラマンによりマニュアルで調整することができる。なお、電子アパーチャ60を調整する操作装置については後述する。
【0040】
SDR用ニー・ガンマ部(SDR用信号補正部)70は、電子アパーチャ/ゲイン調整後の信号に対して、SDR用ニー・ガンマ処理を行う。なお、SDR用ニー・ガンマ処理は、従来のSDR映像で確立しているニー・ガンマ処理を行えば良い。SDR用の映像は、光学アパーチャ10と電子アパーチャ60を用いて、カメラマンにより着目する被写体に最適の明るさ(信号レベル)に調整済みであるので、SDR用ニー・ガンマ処理により、所定のレンジのビデオ信号に適切に変換される。SDR用ニー・ガンマ部70で処理された信号は、SDI処理部80に入力される。
【0041】
その後のSDI処理部80での処理は、HDR信号処理と同様であり、SDIエンコーダ81とSDIドライバ82とにより、非圧縮のデジタル映像信号とデジタル音声信号を、高速シリアル・インターフェース規格のデータに変換して出力する。なお、SDI処理部80に代えて、出力データ形式に応じて、他の出力処理部を用いることができる。
【0042】
このように、SDR信号処理用のラインにおける出力処理部からは、SDRビデオ信号(SDR映像信号)が出力される。
【0043】
以上のように、本発明のHDR−SDR一体化制作用ビデオカメラによれば、一度の撮影でHDR映像信号(HDRビデオ信号)とSDR映像信号(SDRビデオ信号)を同時に制作することができる。
【0044】
図2に、HDR用ニー・ガンマ処理を行うための処理関数51と、SDR用ニー・ガンマ処理を行うための処理関数71の例を示す。図において、横軸の「Y」は正規化した輝度、縦軸の「V」は正規化したビデオ信号レベルを意味している。SDR用ニー・ガンマ処理関数71は、従来から確立しているSDR用の関数を用いることができる。HDR用ニー・ガンマ処理関数51としては、例えば、次式(1)に示す非線形の変換特性関数(OETF)を用いることができる。
【0045】
【数1】
・Eはリファレンスホワイトで正規化され、光強度に対してリニア
・r = 0.5, a= 0.17883277, b= 0.28466892, c= 0.55991073
【0046】
図2に示すとおり、HDR用ニー・ガンマ処理関数51では、基準白レベル(sqrt(Y)=1)がビデオ信号レンジの50%となっているが、SDR用ニー・ガンマ処理関数71では、基準白レベル(sqrt(Y)=1)がビデオ信号レンジの100%近くになっており、高輝度領域が圧縮される。
【0047】
図3に、本発明の第2の実施例のHDR−SDR一体化制作用ビデオカメラの信号処理ブロックの例を示す。第1の実施例の信号処理ブロックとは、映像調整部40以降の処理が異なっている。
【0048】
第2の実施例のHDR−SDR一体化制作用ビデオカメラ110は、光学アパーチャ10と、撮像素子20と、アナログ/デジタル変換(ADC)部30と、映像調整部40と、HDR用ニー・ガンマ部50と、電子アパーチャ(ゲイン制御部)60と、SDR用ニー・ガンマ部70と、2つのSDI処理部80とからなる。各構成ブロックは第1の実施例(
図1)と同じものであり、第1の実施例と同じ内容は、説明を省略又は簡略化する。
【0049】
映像信号(ビデオ信号)の制作処理の概要について、各ブロックの機能とともに説明する。
【0050】
映像(入射光)は、光学アパーチャ10により光量が調整され、撮像素子20に入力される。この光学アパーチャ10は、映像の全体的な明るさに応じて、カメラマンによりマニュアルで調整することができる。
【0051】
撮像素子20は、光量が調整された映像の光電変換を行い、アナログの映像信号を出力し、アナログ/デジタル変換(ADC:Analog-to-Digital Converter)部30は、撮像素子20から出力されたアナログの映像信号をデジタル映像信号に変換し、映像調整部40に出力する。
【0052】
映像調整部40は、黒レベル調整部41、白レベル調整部42、フレア補正・シェーディング調整部43、ゲイン調整部44、及びディテイル調整部45等により、所定の信号調整処理を行い、処理されたデジタル映像信号は、HDR用ニー・ガンマ部50へ入力される。
【0053】
HDR用ニー・ガンマ部(HDR用信号補正部)50では、例えば、
図2に示されるHDR用ニー・ガンマ処理関数51に基づく処理が行われ、映像信号がHDRのダイナミックレンジに収まるように、信号レベルの変換処理が行われる。HDR用ニー・ガンマ部50で処理された信号は、HDR映像信号とSDR映像信号を作成するために2つに分岐され、一方は、HDR用のSDI処理部80に入力され、もう一方は、電子アパーチャ(ゲイン制御部)60に入力される。
【0054】
HDR用のSDI処理部80は、入力された映像信号について、高速シリアル・インターフェース規格のデータに変換して出力する。この結果、HDR信号処理用のラインにおける出力処理部からは、HDRビデオ信号が出力される。
【0055】
一方、電子アパーチャ(ゲイン調整部)60は、SDR映像信号を制作するために用いられる。HDR用ニー・ガンマ部50からの出力信号に対して、着目する被写体がSDRのビデオ信号レンジで適切に表現されるように、映像信号のゲイン制御を行う。この電子アパーチャ60によるゲイン制御は、光学アパーチャと同様に、映像の全体的な明るさに応じて、カメラマンによりマニュアルで調整することができる。
【0056】
SDR用ニー・ガンマ部(SDR用信号補正部)70は、電子アパーチャ/ゲイン調整後の信号に対して、SDR用ニー・ガンマ処理を行う。例えば、
図2に示されるSDR用ニー・ガンマ処理関数71に基づく処理が行われ、映像信号がSDRのダイナミックレンジに収まるように、信号レベルの変換処理が行われる。なお、HDR用ニー・ガンマ部50で行われた処理は、SDRの映像信号に対して、プレ・ニー処理(本来のニー・ガンマ処理に先んじて早い段階で行われるニー処理)として機能する。
【0057】
SDR用ニー・ガンマ部70で処理された信号は、SDI処理部80に入力され、高速シリアル・インターフェース規格のデータに変換される。そして、SDR信号処理用のラインにおける出力処理部からは、SDRビデオ信号が出力される。
【0058】
第2の実施例のHDR−SDR一体化制作用ビデオカメラによれば、一度の撮影でSDR映像信号(ビデオ信号)とHDR映像信号(ビデオ信号)を同時に制作することができるとともに、SDR映像信号に対しては、HDR用ニー・ガンマ部50でのプレ・ニー処理と、SDR用ニー・ガンマ部70での信号処理を重ねて行うことができ、より適切な映像調整処理ができる。
【0059】
(実施の形態2)
以下に、本発明の実施の形態2として、実施の形態1で説明したHDR−SDR一体化制作用ビデオカメラのアパーチャ操作装置について説明する。
【0060】
図4は、アパーチャ操作装置200の例を示す図であり、説明のため、アパーチャの調整部について強調して描かれている。
【0061】
アパーチャ操作装置200は、筒状の主体胴(筒状部)11を有し、その一端にビデオカメラ本体に接続する取付け部12を備えている。この筒状の主体胴11は、通常のカメラの絞り機構と同様に、内部に光学アパーチャを備えることができる。
【0062】
アパーチャ操作装置200には、回動動作が可能なリング状の光学アパーチャ調整部13と、同じく回動動作が可能なリング状の電子アパーチャ調整部14とが設けられており、両者の間には、各アパーチャの回転角度を把握するための、固定された指標15が設けられている。なお、光学アパーチャ調整部13及び電子アパーチャ調整部14は、リング状に限るものではなく、マニュアル操作が可能な任意の構造(例えば、スライドスイッチや電子的スイッチ)とすることができるが、リング状の光学アパーチャリング及び電子アパーチャリングとすると、従来のアパーチャリングと同様の操作性が維持できる。双方の調整部13,14は、撮影中にマニュアルで調整可能である。
【0063】
アパーチャ操作装置200には、他に、フォーカスリングやズームリング等、カメラのレンズ位置等を調整する各種の制御部(図示せず)が設けられていても良い。
【0064】
光学アパーチャ調整部13は、一般のカメラの光学アパーチャ(アイリス)の調整部と同様な構造を有している。例えば、リング状の調整部13には、F値(2.8,4,5.6,8,11,16等)が記載されており、所望のF値を指標15に合わせて光学アパーチャ10の開きを調整する。光学アパーチャリング13の回転角度を制御して、光学アパーチャを調整する。
【0065】
電子アパーチャ調整部14は、
図1及び
図3の電子アパーチャ(ゲイン制御部)60を調整する機構であって、本発明の特徴的な構造であり、従来のカメラには無いが、光学アパーチャ調整部13と同様にマニュアル操作できる。例えば、リング状の調整部14には、露出値(Exposure Value)の制御範囲(例えば、-1EV〜+2EV)が記載されており、所望の露出値を指標15に合わせて電子アパーチャを調整する。制御部14で選択したパラメータ値(露出値)は、例えば、取付け部12を介してビデオカメラ本体に伝達され、カメラ内部のデジタル信号処理部(電子アパーチャ/ゲイン制御部60)でゲイン調整値として設定される。ここで、露出値は一般に露光時間(シャッター速度)と絞り(F)値により定まる。露光時間が一定の場合、電子アパーチャの1EVが光学アパーチャの1段(1stop)に対応している。
【0066】
なお、電子的な増幅(ゲイン)により映像信号を調整する場合、ノイズを生じる可能性があるため、電子アパーチャの制御範囲、すなわち、電子アパーチャ調整部14の調整範囲を所定の範囲に制限することが望ましい。電子アパーチャ調整部14による調整量がこの所定の範囲を超える場合は、光学アパーチャ調整部13により調整を行うようにすると良い。
【0067】
このように、本発明のビデオカメラのアパーチャ操作装置は、従来の光学アパーチャの他に電子アパーチャを調整するためのリングが備えられている。電子アパーチャリングは光学アパーチャリングに隣接して設けられており、どちらの操作も、従来のアパーチャ調整と同様に行うことができる。
【0068】
図1及び
図3の信号処理ブロックの構成から明らかなように、SDR映像は、光学アパーチャ調整部13を用いても電子アパーチャ調整部14用いても、映像信号の大きさを調整することができ、HDR映像は、光学アパーチャ調整部13のみにより映像信号の大きさを調整することができる。HDR映像はダイナミックレンジが広いため、光学アパーチャ調整部13で入射光量を調整した後は、シーンや被写体ごとにアパーチャの調整は不要である。したがって、例えば、最初に光学アパーチャ調整部13の調整により、HDR映像がHDRのビデオ信号レベルの範囲に適切に収まるように光学アパーチャを調整した後は、SDR映像の調整は、主に電子アパーチャ調整部14を利用して行うことができる。これにより、従来とほぼ同様な操作感覚でHDR映像とSDR映像の両方の制作がワンマンで可能となる。
【0069】
さらに、光学アパーチャと電子アパーチャとを関連させて操作することができるように、次のような連動機構をアパーチャ操作装置200に組み込むことができる。
【0070】
(連動機構1)
電子アパーチャ調整部(電子アパーチャリング)14は、露出値の可変範囲(例えば-1EV〜+2EV)があらかじめ決められている。この範囲を超えて電子アパーチャリング14が回転しようとした場合、光学アパーチャリング13が電子アパーチャリング14にロックして両リングが同時に動くようにし、電子アパーチャリング14の動きが光学アパーチャリング13の動きに振り替わるようにした。すなわち、所定の可変範囲を超えて電子アパーチャリング14を回動させても、電子アパーチャは上限値(例えば、+2EV)に設定されたままで、その後の回動運動は光学アパーチャを制御するための回転角度となる。
【0071】
これにより、所定の露出範囲では電子アパーチャで制御を行い、所定範囲を超えた範囲では、光学アパーチャで露出調整をすることができる。なお、光学アパーチャを調整する時はロックが外れ、光学アパーチャリング13のみを調整できるようにする
【0072】
(連動機構2)
電子アパーチャ調整部(電子アパーチャリング)14を回転させる際に、電子アパーチャリング14の回転角度に対して、予め設定した回転角比率(例えば0.2)で光学アパーチャリング13が回転するようにした。
【0073】
これにより、電子アパーチャの調整量に連動して、光学アパーチャを微調整することができる。なお、この回転角比率は、0.1や0.3等、何種類か選択可能にすることが望ましい。
【0074】
(連動機構3)
連動機構1と連動機構2の組合せであり、電子アパーチャリング14を回転させる際に、電子アパーチャリング14の回転角度に対して、予め設定した回転角比率(例えば0.2)で光学アパーチャリング13が回転するようにし、さらに、電子アパーチャリング14の制御量が露出値の可変範囲を超えた場合、光学アパーチャリング13が電子アパーチャリング14にロックして両リングが同時に動くようにし、電子アパーチャリング14の動きが光学アパーチャリング13の動きに振り替わるようにした。
【0075】
これにより、所定の範囲内では、電子アパーチャの調整量に連動して、光学アパーチャを微調整することができ、所定の範囲を超えた場合は、電子アパーチャを最大(又は最小)値に固定し、その後は、光学アパーチャで制御することができる。
【0076】
このような連動機構により、例えば、電子アパーチャによりゲインを大きくすると、映像信号のS/N比が悪くなるところ、光学アパーチャも開いて映像信号レベルを大きくすることにより、S/N比の悪化を抑えることができる。また、極めて輝度の高い映像に対して、電子アパーチャによりゲインを小さくする場合、このような場合はHDRにおいても信号レンジを超える虞があるため、ある程度光学アパーチャも絞ることができる。
【0077】
このように実施の形態2にかかるアパーチャ操作装置によれば、カメラマンは電子アパーチャと光学アパーチャを容易に調整することが可能であり、SDRだけでなく、HDRも適切なレンジで制作することができる。
【0078】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。