(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0017】
以下、本技術に係る実施の形態を説明する。
<第1の実施形態>
[ビデオシステムの構成]
図1は、本技術に係る第1の実施形態のビデオシステム1の全体的な構成を示すブロック図である。
同図に示すように、このビデオシステム1は、カメラシステム10とビデオコンバーター20とを備える。カメラシステム10とビデオコンバーター20は本線伝送路30を通じて接続される。
【0018】
[カメラシステム10の構成]
カメラシステム10は、撮像装置11とカメラ制御ユニット12とを有する。撮像装置11とカメラ制御ユニット12とは光ファイバーなどのカメラケーブル13を通じて接続される。
【0019】
撮像装置11は、撮像のためのレンズ群を有する光学系110と、撮像素子111と、プリプロセッサ112と、伝送部113と、CPU114を有する。
【0020】
撮像素子111は、CMOS(Complementary Metal-Oxide-Semiconductor)素子、CCD(Charge-Coupled Device)などのイメージセンサであり、図示しない光学系を通じて取り込んだ光を光強度に対応した電気的な画素信号に変換する。
【0021】
なお、本技術のビデオシステム1の構成において、「撮像部」は上記の撮像装置11に相当する。
【0022】
プリプロセッサ112は、撮像素子111にて得られた画素信号に対する欠陥補正、およびレンズ収差補正などの信号補正処理などを行う。
【0023】
伝送部113は、プリプロセッサ112から出力された画素信号をカメラケーブル13を通じてカメラ制御ユニット12に伝送する処理を行う。すなわち、伝送部113によってカメラ制御ユニット12に伝送される画素信号は、ゲインやダイナミックレンジに関する処理、デベイヤー処理、ガンマ信号処理などが施されていないRAW画像信号である。
【0024】
CPU114は、撮像装置11の各部を制御するとともに、カメラ制御ユニット12のCPU124とカメラケーブル13を通じて通信するコントローラーである。
【0025】
一方、カメラ制御ユニット12は、伝送部121、HDRプロセス部122、SDRプロセス部123およびCPU124を備える。
【0026】
伝送部121は、有線又は無線通信を行う通信回路などにより構成され、撮像装置11より伝送された画素信号をカメラケーブル13(第1の伝送路)を通じて受信し、HDRプロセス部122およびSDRプロセス部123に供給する。
【0027】
HDRプロセス部122は、伝送部121より供給された画素信号に対して、HDR調整用のパラメータ情報をもとに各種の調整を加えながらHDRビデオを生成する処理を行う。HDRプロセス部122により生成されたHDRビデオは、HDR調整用のパラメータ情報およびSDR調整用のパラメータ情報が付加されて本線伝送路30を通じてビデオコンバーター20に伝送される。なお、調整用のパラメータ情報を付加する方法として、CPU124はHDRビデオのストリームに調整用のパラメータ情報を多重化する処理を行ってもよく、またHDRビデオのストリームと関連付けられたメタデータファイルとしてHDRビデオとは別に本線伝送路30に出力してもよい。なお、本線伝送路30を単一の伝送路として構成してもよいし、HDRのビデオストリームを汎用伝送路よりも伝送帯域が大きい専用伝送路で送信し、調整用のパラメータ情報を専用伝送路よりも伝送帯域が小さい汎用伝送路で送る等、複数の伝送路として構成してもよい。
【0028】
SDRプロセス部123は、伝送部121より供給された画素信号に対して、SDR調整のパラメータ情報をもとに各種の調整を加えながらSDRビデオを生成する処理を行う。SDRプロセス部123により生成されたSDRビデオは、例えばビデオ制作者の操作装置40のディスプレイ41に出力伝送路35を通じて伝送される。HDRプロセス部121とSDRプロセス部123の各々の出力用の伝送路は異なる伝送路とすることができる。例えばSDRビデオは本線伝送路30(第2の伝送路)とは独立した出力伝送路35(第3の伝送路)を介してビデオ制作者の操作装置40のディスプレイ41に表示される。
【0029】
HDRプロセス部122、SDRプロセス部123およびCPU124は1つあるいは複数の集積回路などによって構成され、本技術の構成における第1の処理回路に相当する。
【0030】
CPU124は、カメラ制御ユニット12における各部の制御を行うコントローラーである。CPU124は、HDRプロセス部122およびSDRプロセス部123と通信して、各々のプロセスにおいて画像信号に対して加えられる調整内容の選択などの制御することが可能である。
【0031】
また、CPU124は、HDRプロセス部122によるHDRプロセスおよびSDRプロセス部123によるSDRプロセスで画素信号に対して調整を加えるために用いられたパラメータ情報をHDRプロセス部122により生成されたHDRビデオに付加し、本線伝送路30を通じてビデオコンバーター20に伝送するように制御を行う。
【0032】
CPU124は、LAN(Local Area Network)などの通信路50を介して接続された操作装置40との間で通信を行うことが可能である。操作装置40は、ディスプレイ41、操作入力部42および制御部43を備える。操作装置40は、例えばパーソナルコンピュータなどの情報処理装置などで構成されてもよいし、カメラ制御用に作られた専用コントロールパネルなどで構成されてもよい。操作入力部42は例えば操作キー、マウス、トラックボール、ダイヤル、レバー、タッチセンサーパネル、リモートコントローラーなどで構成されてよい。操作装置40の制御部43は、CPUなどの回路により構成され、VE(Video Engineer)などの制作者から各種の制御命令や設定情報を受け付け、通信路50を介してカメラ制御ユニット12のCPU124との間で通信をする。
【0033】
[HDRプロセス部122およびSDRプロセス部123の構成]
図2は、カメラ制御ユニット12のHDRプロセス部122およびSDRプロセス部123の機能的な構成を示すブロック図である。
【0034】
HDRプロセス部122は、HDRゲイン調整部221、マトリクス処理部223、ブラックレベル補正部225、ディテール処理部227、OETF部228、フォーマッター229を有する。
【0035】
HDRゲイン調整部221は、マスターゲインの制御の他、ホワイトバランス調整のためのRGBゲインの制御を行う。
【0036】
マトリクス処理部223は、HDR調整用のパラメータ情報の一部であってHDRビデオの色に関する情報である色域情報(HDR-Color Gamut)をもとに、HDRゲイン調整部221を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。
【0037】
ブラックレベル補正部225は、HDR調整用のパラメータ情報の一部であるブラックレベル補正のための情報(HDR-Black)をもとにカラー画像データのブラックレベルの補正を行う。
【0038】
ディテール処理部227は、カラー画像データのディテールの処理を行う。
OETF部228は、HDR調整用のパラメータ情報の一部であるHDR伝送用ガンマに関する情報であるOETF情報をもとに、カラー画像データに対してOETF(Optical-Electro Transfer Function:光電気伝達関数)のガンマ信号処理を行う。
フォーマッター229は、OETF部228を通過したカラー画像データをHDRビデオの伝送フォーマットに変換する。
【0039】
一方、SDRプロセス部123は、解像度変換部230、SDRゲイン調整部231、マトリクス処理部233、ブラックレベル補正部235、ニー・ディテール処理部237、ガンマ処理部238、フォーマッター239を有する。
【0040】
解像度変換部230は、撮像装置11より伝送された画素信号の解像度(例えば4K解像度)をHDの解像度に変換する。
【0041】
SDRゲイン調整部231は、SDR調整用のパラメータ情報の一部であってSDRビデオおよびHDRビデオのレベルに関するパラメータ情報であるリレイティブゲイン(Relative-Gain)をもとにマスターゲインの制御を行うとともに、ホワイトバランス調整のためのRGBゲインの制御を行う。
リレイティブゲインとはHDRビデオとSDRビデオとのコントラスト比を調整することを可能とするために、HDRプロセスでの画素信号に対するゲインとSDRプロセスでの画素信号に対するゲインとの比率を示すパラメータである。例えば、リレイティブレンジは、SDRビデオのダイナミックレンジに対してHDRビデオのダイナミックレンジを何倍に設定するかを定義する。このリレイティブレンジによって、HDRプロセス側のマスターゲインに対してSDRプロセス側のマスターゲインの比を例えば1、1/2などのように任意の比に設定することができる。このようにHDRプロセス側のマスターゲインとSDRプロセス側のマスターゲインとの比が設定されていれば、SDRビデオのダイナミックレンジと相関を有するHDRビデオのダイナミックレンジが得られる。
【0042】
より具体的には、SDRビデオのダイナミックレンジの上限基準は制作者により選定された基準白(Diffuse-White)により与えられる。本実施形態のビデオシステム1では、このSDRビデオの基準白(Diffuse-White)が選定されることによって、リレイティブレンジに基づく相関をもとに、HDRビデオのダイナミックレンジの上限基準(HDRビデオの基準白(Diffuse-White))も決定される。
【0043】
リレイティブレンジは、例えば日中、夜間、室内、屋外、スタジオ内、晴天時、雨天時などの撮影環境に応じて適宜選択されるべきである。そのため、様々な撮影環境に対応付けた複数の種類のリレイティブレンジが用意される。撮影環境に対応付けられる複数の種類のリレイティブレンジを用意する方法としては、カメラ制御ユニット12から同時に出力されるSDRビデオとHDRビデオの見た目の明るさを人間の目で比較する方法が考えられる。リレイティブレンジの値を変えてその都度、SDRビデオとHDRビデオとを比較し、SDRビデオとHDRビデオの見た目の明るさが近いリレイティブレンジを撮影環境に最適なレイティブレンジとして決めればよい。
【0044】
なお、リレイティブゲインはSDRビデオ用のホワイトバランス処理またはコントラスト処理を行うための情報であればよく、例えばセンサ出力値であるRAWデータに対するゲインの値等、HDR信号のゲインに対する比率の数値以外の情報でも良い。
【0045】
なお、HDRビデオの持つ輝度ダイナミックレンジはSDRビデオの持つ輝度ダイナミックレンジよりも広い。例として、SDRビデオの持つ輝度ダイナミックレンジを0〜100%とすると、HDRビデオの持つ輝度ダイナミックレンジは例えば100%〜1300%あるいは100%〜10000%などである。撮像装置10の出力の輝度レンジは0〜600%などである。
【0046】
マトリクス処理部233は、SDR調整用のパラメータ情報の一部であってSDRビデオの色に関する情報である色域情報(SDR-Color Gamut)をもとに、SDRゲイン調整部231を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。
【0047】
ブラックレベル補正部235は、SDR調整用のパラメータ情報の一部であるブラックレベル補正のための情報(SDR-Black)をもとにカラー画像データのブラックレベルの補正を行う。
【0048】
ニー・ディテール処理部237は、SDR調整用のパラメータ情報の一部であるニー補正に関する情報(KNEE)をもとにカラー画像データに対するニー補正を行い、また、ディテールの処理を行う。
【0049】
ガンマ処理部238は、SDR調整用のパラメータ情報の一部であるダイナミックレンジの圧縮に関する情報(SDR-D-Range-Gamma)をもとに、SDRゲイン調整部231に設定されたダイナミックレンジに対するガンマ信号処理を行い、同時にディスプレイ用のガンマ信号処理を行う。
【0050】
フォーマッター239は、カラー画像データをSDRビデオの伝送フォーマットに変換する。
【0051】
これらのパラメータ情報は、カメラ制御ユニット12とLAN(Local Area Network)などの通信路を介して接続された操作装置を操作するVE(Video Engineer)などの制作者によって設定される。
【0052】
[ビデオコンバーター20の構成]
ビデオコンバーター20は、逆HDRプロセス部201、SDRプロセス部202およびCPU203を有する。
【0053】
CPU203は、本線伝送路30を通じて受信したパラメータ情報付きHDRビデオからHDR調整用のパラメータ情報およびSDR調整用パラメータ情報を抽出し、HDR調整用のパラメータ情報を逆HDRプロセス部201に与える。また、CPU203は、SDR調整用のパラメータ情報をSDRプロセス部202に与える。
【0054】
逆HDRプロセス部201は、本線伝送路30を通じて受信したHDRビデオに対して、HDR調整用のパラメータ情報を用いて逆HDRプロセスを行う。すなわち、逆HDRプロセス部201は、HDRビデオから調整成分を取り除き、復元画素信号を生成する。
【0055】
SDRプロセス部202は、逆HDRプロセス部201によって得られた復元画素信号から、SDR調整用のパラメータ情報を用いて、上記のカメラ制御ユニット12において生成されたSDRビデオに対応する出力ビデオ信号を生成する。
【0056】
逆HDRプロセス部201、SDRプロセス部202およびCPU203は1つあるいは複数の集積回路などによって構成され、本技術の構成における第2の処理回路に相当する。
【0057】
[逆HDRプロセス部201およびSDRプロセス部202の構成]
図3は、ビデオコンバーター20内の逆HDRプロセス部201およびSDRプロセス部202の機能的な構成を示すブロック図である。
【0058】
逆HDRプロセス部201は、デフォーマッター241、逆OETF部242、ブラックレベル補正除去部243を有する。
【0059】
デフォーマッター241は、HDRビデオの伝送フォーマットを解除する。
【0060】
逆OETF部242は、HDR調整用のパラメータ情報の一部であるHDR伝送用ガンマに関する情報(OETFの種類)をもとに、HDRビデオに施されていたOETFのガンマを除去する。
【0061】
ブラックレベル補正除去部243は、HDRビデオに施されていたブラックレベル補正を、HDR調整用のパラメータ情報の一部であるブラックレベル補正のための情報(HDR-Black)をもとに解除する処理を行う。
【0062】
ビデオコンバーター20のSDRプロセス部202の構成は、カメラ制御ユニット12のSDRプロセス部202の構成と同じである。すなわち、ビデオコンバーター20のSDRプロセス部202は、解像度変換部230、SDRゲイン調整部231、マトリクス処理部233、ブラックレベル補正部235、ニー・ディテール処理部237、ガンマ処理部238、フォーマッター239を有する。
【0063】
ここで、カメラシステム10で生成されたHDRビデオとSDRビデオのうち、HDRビデオを本線伝送路30を通じてビデオコンバーター20に伝送するのは、SDRビデオがビデオ制作者がビデオの見た目の状態を確認するために用いられ、本線伝送路30にはHDRビデオのみが伝送されるからである。また、HDRビデオとSDRビデオを本線伝送路30で同時に伝送するとなると、本線伝送路30の伝送帯域を圧迫しかねない。このような事情により本線伝送路30にはHDRビデオのみが伝送されることが望ましい。そこでカメラシステム10では例えば、SDRプロセス部123の出力伝送路35はSDRビデオを出力し、操作装置40のディスプレイ41には撮影したビデオの目視確認用のSDRビデオが表示されるが、本線伝送路30にはSDRビデオを出力しない構成とすることができる。
【0064】
また、制作されたビデオの表現を複数の制作者が別々の場所で同時に確認したいという要望がある。本線伝送路30を通じて受信したHDRビデオを、HDRビデオを表示可能なモニターで確認することは可能であるが、ビデオの明るさや色などの表現の選択は、伝統的な手法に倣って撮影時に調整したSDRビデオを基準に行いたいという声が強い。また、ダウンコンバートによってHDRビデオの解像度をSDRビデオの解像度に変えてモニターに表示させても、HDRビデオとSDRビデオとのダイナミックレンジの違いなどによって、見た目の表現がHDRビデオとは違ったものとなってしまう。このような事情から本実施形態のビデオシステム1は提案されたものである。
【0065】
また、HDRビデオとSDRビデオが同時に本線映像として必要な場合でも、全システム構成で両方のビデオを同等に扱うことは、システムが完全に2システム必要になり、不経済でもあるので、本線映像は、HDRビデオでハンドリングして、最終段で、SDRに変換することで、両方のビデオを本線映像として扱うことができるメリットもある。
【0066】
[本ビデオシステム1の動作]
次に、本ビデオシステム1において、カメラシステム10で生成されたHDRビデオとSDRビデオのうち、HDRビデオを本線伝送路30を通じてビデオコンバーター20に伝送し、ビデオコンバーター20で、HDRビデオからカメラシステム10で生成されたSDRビデオに対応する出力ビデオ信号を生成する場合の動作について説明する。
【0067】
(カメラシステム10の動作)
撮像装置11によって得られた画素信号は伝送部113によってカメラケーブル13を通じてカメラ制御ユニット12に伝送される。カメラ制御ユニット12では、伝送部121で受信した画素信号がHDRプロセス部122およびSDRプロセス部123に供給される。
【0068】
HDRプロセス部122では、画素信号からHDRビデオが生成される間に、CPU124により与えられたHDR調整用のパラメータ情報に基づき各種の調整が加えられる。同様にSDRプロセス部123でも、画素信号からSDRビデオが生成される間に、CPU124により与えられたSDR調整用のパラメータ情報に基づき各種の調整が加えられる。
【0069】
CPU124は、HDRプロセス部122でHDRビデオの調整に用いたHDR調整用のパラメータ情報と、SDRプロセス部123でSDRビデオの調整に用いたSDR調整用のパラメータ情報をHDRビデオに付加して本線伝送路30を通じてビデオコンバーター20に伝送するように制御を行う。
【0070】
一方、SDRプロセス部123で生成されたSDRビデオは、例えばビデオ制作者の操作装置40のディスプレイ41に伝送され、表示される。
【0071】
(ビデオコンバーター20の動作)
次に、カメラ制御ユニット12より本線伝送路30を通じて伝送されたパラメータ情報付きHDRビデオを処理するビデオコンバーター20の動作を説明する。
【0072】
ビデオコンバーター20において、本線伝送路30を通じてパラメータ情報付きHDRビデオが受信されると、CPU203は、受信したパラメータ情報付きHDRビデオからHDR調整用のパラメータ情報およびSDR調整用のパラメータ情報を各々抽出する。CPU203は、抽出したHDR調整用のパラメータ情報を逆HDRプロセス部201に与えるともに、SDRプロセス部202にSDR調整用のパラメータ情報を与える。
【0073】
逆HDRプロセス部201では、CPU203より与えられたHDR調整用のパラメータ情報を用いてHDRビデオに対する逆変換が行われ、もとの画素信号を復元した復元画素信号が生成される。復元画素信号はSDRプロセス部202に供給される。
【0074】
SDRプロセス部202では、逆HDRプロセス部201によって得られた復元画素信号から、SDR調整用のパラメータ情報を用いて、上記のカメラ制御ユニット12において生成されたSDRビデオに対応する出力ビデオ信号が生成される。生成されたSDRビデオに対応する出力ビデオ信号は、例えば、カメラ制御ユニット12で生成されたSDRビデオが伝送される操作装置40のディスプレイ41とは別のディスプレイに伝送されて表示される。
【0075】
以上のように、本実施形態のビデオシステム1によれば、カメラ制御ユニット12は、生成したHDRビデオにHDR調整用のパラメータ情報およびSDR調整用のパラメータ情報を付けて本線伝送路30を通じてビデオコンバーター20に伝送する。ビデオコンバーター20は、HDRビデオに付加されたHDR調整用のパラメータ情報をもとに元の画素信号を復元し、この復元画素信号に対してHDRビデオに付加されたSDR調整用のパラメータ情報をもとに、カメラ制御ユニット12において生成されるSDRビデオに対応する出力ビデオ信号を再現する。これにより、カメラ制御ユニット12において画素信号からHDRビデオと同時に生成されるSDRビデオに限りなく表現が近い出力ビデオ信号を、ビデオコンバーター20においてHDRビデオからの変換によって得ることができる。
【0076】
<第2の実施形態>
次に、本技術に係る第2の実施形態を説明する。
図4は、本技術に係る第2の実施形態のビデオシステム1Aの構成を示すブロック図である。
本ビデオシステム1Aは、撮像装置11内にHDRプロセス部115を備える。
HDRプロセス部115は、プリプロセッサ112から出力された画素信号に対して、HDR調整用のパラメータ情報をもとに各種の調整を加えながらHDRビデオを生成し、伝送部113に供給する。伝送部113は、HDRプロセス部115により供給されたHDRビデオをカメラケーブル13を通じてカメラ制御ユニット12に伝送する。
【0077】
撮像装置11のCPU114は、カメラ制御ユニット12のCPU124との間でカメラケーブル13を通じて通信し、HDRプロセス部115でのHDRビデオの生成のために用いられたHDR調整用のパラメータ情報をカメラ制御ユニット12のCPU124に通知する。
【0078】
カメラ制御ユニット12は、伝送部121、逆HDRプロセス部125、SDRプロセス部123およびCPU124を有する。
【0079】
CPU124は、撮像装置11のCPU114との間でカメラケーブル13を通じて通信し、撮像装置11のCPU114からHDR調整用のパラメータ情報を受け取り、逆HDRプロセス部125に与える。
【0080】
カメラ制御ユニット12の伝送部121は、カメラケーブル13を通じて撮像装置11より伝送されたHDRビデオを逆HDRプロセス部125に供給するとともに、本線伝送路30に送り出す。
【0081】
逆HDRプロセス部125は、CPU124より与えられたHDR調整用のパラメータ情報を用いて、HDRビデオから調整成分を取り除いた復元画素信号を生成し、SDRプロセス部123に供給する。
【0082】
SDRプロセス部123は、復元画素信号に対して、SDR調整のパラメータ情報をもとに各種の調整を加えながらSDRビデオを生成する処理を行う。SDRプロセス部123により生成されたSDRビデオは、例えばビデオ制作者の操作装置40のディスプレイ41に伝送されて表示される。
【0083】
また、CPU124は、逆HDRプロセス部125による逆HDRプロセスでHDRビデオから復元画素信号を生成するための用いられたHDR調整用のパラメータ情報と、SDRプロセス部123にてSDRビデオに調整を加えるために用いられたSDR調整用のパラメータ情報とをHDRビデオに付加し、本線伝送路30を通じてビデオコンバーター20に伝送するように制御を行う。
【0084】
撮像装置11のHDRプロセス部115、CPU114、カメラ制御ユニット12の逆HDRプロセス部125、SDRプロセス部123、CPU124は、本技術の構成における第1の処理回路に相当するものである。
【0085】
ビデオコンバーター20は、逆HDRプロセス部201と、SDRプロセス部202と、CPU203とを備える。これらは第1の実施形態のビデオコンバーター20の構成と同じである。
【0086】
[逆HDRプロセス部125およびSDRプロセス部123の構成]
図5は、カメラ制御ユニット12の逆HDRプロセス部125およびSDRプロセス部123の機能的な構成を示すブロック図である。
【0087】
逆HDRプロセス部125は、デフォーマッター251、逆OETF部252、ブラックレベル補正除去部253を有する。
【0088】
デフォーマッター251は、HDRビデオの伝送フォーマットを解除する。
【0089】
逆OETF部252は、HDR調整用のパラメータ情報の一部であるHDR伝送用ガンマに関する情報(OETFの種類)をもとに、HDRビデオに施されていたOETFのガンマを除去する。
【0090】
ブラックレベル補正除去部253は、HDRビデオに施されていたブラックレベル補正を、HDR調整用のパラメータ情報の一部であるブラックレベル補正のための情報(HDR-Black)をもとに解除する処理を行う。
【0091】
SDRプロセス部123は、解像度変換部260、SDRゲイン調整部261、マトリクス処理部263、ブラックレベル補正部265、ニー・ディテール処理部267、ガンマ処理部268、フォーマッター269を有する。このSDRプロセス部123の構成は、カメラ制御ユニット12のSDRプロセス部202の構成と同じである。
【0092】
[本ビデオシステム1Aの動作]
次に、本ビデオシステム1Aの動作を説明する。
【0093】
(カメラシステム10の動作)
撮像装置11において、プリプロセッサ112から出力された画素信号はHDRプロセス部115に供給され、HDRプロセス部115にて、CPU114から与えられたHDR調整用のパラメータ情報をもとに各種の調整を加えながらHDRビデオが生成される。生成されたHDRビデオは、伝送部113によって、カメラケーブル13を通じてカメラ制御ユニット12に伝送される。また、撮像装置11のCPU114は、カメラ制御ユニット12のCPU124との間でカメラケーブル13を通じて通信し、HDRプロセス部115でHDRビデオの調整に用いたHDR調整用のパラメータ情報をカメラ制御ユニット12のCPU124に通知する。
【0094】
カメラ制御ユニット12のCPU124は、撮像装置11のCPU114より通知されたHDR調整用のパラメータ情報を逆HDRプロセス部125に与える。
また、カメラ制御ユニット12の伝送部121で受信されたHDRビデオはカメラ制御ユニット12内をスルーして本線伝送路30に供給され、本線伝送路30を通じてビデオコンバーター20に伝送される。また、伝送部121で受信されたHDRビデオは逆HDRプロセス部125にも供給される。
【0095】
逆HDRプロセス部125では、CPU124から与えられたHDR調整用のパラメータ情報を用いて、HDRビデオから調整成分を取り除いた復元画素信号が生成される。生成された復元画素信号はSDRプロセス部123に供給される。そして、SDRプロセス部123において、復元画素信号に対して、CPU124から与えられたSDR調整用のパラメータ情報をもとに各種の調整を加えながらSDRビデオを生成する処理が行われる。生成されたSDRビデオは、例えばビデオ制作者の操作装置40のディスプレイ41に伝送されて表示される。
【0096】
CPU124は、撮像装置11のCPU114より通知されたHDR調整用のパラメータ情報と、SDRプロセス部123で復元画素信号に対して調整を加えるために用いられたSDR調整用のパラメータ情報を、カメラ制御ユニット12内をスルーさせるHDRビデオに付加し、本線伝送路30を通じてビデオコンバーター20に伝送するように制御を行う。
【0097】
ビデオコンバーター20の動作は第1の実施形態と同じである。つまり、ビデオコンバーター20において、本線伝送路30を通じてパラメータ情報付きHDRビデオが受信されると、CPU203は、受信したパラメータ情報付きHDRビデオからHDR調整用のパラメータ情報およびSDR調整用のパラメータ情報を各々抽出する。CPU203は、抽出したHDR調整用のパラメータ情報を逆HDRプロセス部201に与えるともに、SDRプロセス部202にSDR調整用のパラメータ情報を与える。
【0098】
逆HDRプロセス部201では、CPU203より与えられたHDR調整用のパラメータ情報を用いてHDRビデオに対する逆変換が行われ、もとの画素信号を復元した復元画素信号が生成される。復元画素信号はSDRプロセス部202に供給される。
【0099】
SDRプロセス部202では、逆HDRプロセス部201によって得られた復元画素信号から、SDR調整用のパラメータ情報を用いて、上記のカメラ制御ユニット12において生成されたSDRビデオに対応する出力ビデオ信号が生成される。生成された出力ビデオ信号は、例えば、カメラ制御ユニット12で生成されたSDRビデオが伝送される操作装置40のディスプレイ41とは別のディスプレイに伝送されて表示される。
【0100】
以上のように、本実施形態のビデオシステム1Aによっても、カメラ制御ユニット12において画素信号からHDRビデオと同時に生成されるSDRビデオに限りなく表現が近い出力ビデオ信号を、ビデオコンバーター20においてHDRビデオからの変換によって得ることができる。
【0101】
<変形例1>
カメラ制御ユニット12およびビデオコンバーター20は各々コンピュータを用いて構成することも可能である。すなわち、コンピュータをカメラ制御ユニット12、ビデオコンバーター20として動作させるプログラムを各々のコンピュータをインストールすることによって、上記の第1の実施形態および第2の実施形態と同等の機能を有するビデオシステムを実現することができる。
【0102】
<変形例2>
以上の実施形態では、HDRビデオとSDRビデオを処理する場合について説明したが、本技術は、画素信号から2つのビデオ信号を互いに異なる調整を加えながら各々生成する場合に全般的に応用することができるものであり、HDRビデオとSDRビデオのみに限定されるものではない。特に、2つのビデオ信号に対する異なる調整が色に関する調整である場合には、画素信号から同時に生成される他方のビデオ信号に表現が近いビデオ信号を、一方のビデオ信号からの変換によって得ることができる。
【0103】
<変形例3>
また、2つのダイナミックレンジが異なる2つのビデオ信号を対象に本技術を応用する場合には、HDRビデオとSDRビデオとのダイナミックレンジの大小関係のように、逆変換が行われる方のビデオ信号をダイナミックレンジが広い方にすることによって、カメラ制御ユニットで画素信号から生成されるダイナミックレンジが狭い方のビデオ信号に表現が近いビデオ信号を、ビデオコンバーターにおいてHDRビデオからの変換によって得ることができる。
【0104】
なお、本技術は以下のような構成もとることができる。
(1)前記カメラシステムは、
被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1の画像調整パラメータに基づき第1のビデオ信号を生成し、第1の画像調整パラメータとは異なる第2の画像調整パラメータに基づき第2のビデオ信号を生成し、前記第2のビデオ信号に前記第1の調整パラメータ及び前記第2の調整パラメータを付加した伝送情報を第1の伝送路を介して伝送する第1の処理回路とを具備し、
前記ビデオコンバーターは、
前記第1の伝送路を介して前記伝送情報を受信し、
前記伝送情報に含まれた第2の画像調整パラメータに基づき、前記伝送情報に含まれる前記第2のビデオ信号を逆変換して復元画素信号を生成するとともに、前記伝送情報に含まれた前記第1の調整パラメータに基づいて前記復元信号に対して前記第1のビデオ信号に対応する調整処理を行い、前記第1のビデオ信号に対応する出力ビデオ信号を生成する第2の処理回路を具備する
ビデオシステム。
【0105】
(2)上記(1)に記載のビデオシステムであって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号のレベルに関する画像調整パラメータを含み、前記第1のビデオ信号のダイナミックレンジが前記第2のビデオ信号のダイナミックレンジよりも狭い
ビデオシステム。
【0106】
(3)上記(1)または(2)に記載のビデオシステムであって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号の色に関する画像調整パラメータを含む
ビデオシステム。
【0107】
(4)上記(1)から(3)のいずれかに記載のビデオシステムであって、
前記第1のビデオ信号はSDR(Standard Dynamic Range)ビデオであり、前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
ビデオシステム。
【0108】
(5)上記(1)から(4)のいずれかに記載のビデオシステムであって、
前記カメラシステムから前記ビデオコンバーターには前記第1のビデオ信号および前記第2のビデオ信号のうち前記第2のビデオ信号のみが第2の伝送路を通じて伝送されるように前記第1の処理回路および前記第2の処理回路が構成され、
前記第2の処理回路は、前記第2の伝送路と異なる第3の伝送路を介して前記第1のビデオ信号に対応する出力ビデオ信号をディスプレイに伝送するように構成された
ビデオシステム。
【0109】
(6)上記(1)から(5)のいずれかに記載のビデオシステムであって、
前記第1の画像調整パラメータが前記第1のビデオ信号に対するゲインと前記第2のビデオ信号に対するゲインとの比率を示すリレイティブレンジを含む
ビデオシステム。
【0110】
(7)上記(1)から(6)のいずれかに記載のビデオシステムであって、
前記第1の画像調整パラメータが前記第1のビデオ信号の色域情報を含む
ビデオシステム。
【0111】
(8)上記(1)から(7)のいずれかに記載のビデオシステムであって、
前記第1の画像調整パラメータがブラックレベル補正のための情報を含む
ビデオシステム。
【0112】
(9)上記(1)から(8)のいずれかに記載のビデオシステムであって、
前記第1の画像調整パラメータがニー補正に関する情報を含む
ビデオシステム。
【0113】
(10)上記(1)から(9)のいずれかに記載のビデオシステムであって、
前記第1の画像調整パラメータがダイナミックレンジの圧縮に関する情報を含む
ビデオシステム。
【0114】
(11)上記(1)から(10)のいずれかに記載のビデオシステムであって、
前記第2の画像調整パラメータがOETF(Optical-Electro Transfer Function)情報を含む
ビデオシステム。
【0115】
(12)上記(1)から(11)のいずれかに記載のビデオシステムであって、
前記第2の画像調整パラメータが前記第2のビデオ信号の色域情報を含む
ビデオシステム。
【0116】
(13)上記(1)から(12)のいずれかに記載のビデオシステムであって、
前記第2の画像調整パラメータがブラックレベル補正のための情報を含む
ビデオシステム。
【0117】
(14)カメラシステムにて、
第1の処理回路が、被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1の画像調整パラメータに基づき第1のビデオ信号を生成し、第1の画像調整パラメータとは異なる第2の画像調整パラメータに基づき第2のビデオ信号を生成し、前記第2のビデオ信号に前記第1の調整パラメータ及び前記第2の調整パラメータを付加した伝送情報を第1の伝送路を介して伝送し、
ビデオコンバーターにて、
前記第1の伝送路を介して前記伝送情報を受信し、
第2の処理回路が、前記伝送情報に含まれた第2の画像調整パラメータに基づき、前記伝送情報に含まれる前記第2のビデオ信号を逆変換して復元画素信号を生成するとともに、前記伝送情報に含まれた前記第1の調整パラメータに基づいて前記復元信号に対して前記第1のビデオ信号に対応する調整処理を行い、前記第1のビデオ信号に対応する出力ビデオ信号を生成する
ビデオ処理方法。
【0118】
(15)上記(14)に記載のビデオ処理方法であって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号のレベルに関する画像調整パラメータを含み、前記第1のビデオ信号のダイナミックレンジが前記第2のビデオ信号のダイナミックレンジよりも狭い
ビデオ処理方法。
【0119】
(16)上記(14)または(15)に記載のビデオ処理方法であって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号の色に関する画像調整パラメータを含む
ビデオ処理方法。
【0120】
(17)上記(14)から(16)のいずれかに記載のビデオ処理方法であって、
前記第1のビデオ信号はSDR(Standard Dynamic Range)ビデオであり、前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
ビデオ処理方法。
【0121】
(18)上記(14)から(17)のいずれかに記載のビデオ処理方法であって、
前記第1の処理回路および前記第2の処理回路は、前記カメラシステムから前記ビデオコンバーターには前記第1のビデオ信号および前記第2のビデオ信号のうち前記第2のビデオ信号のみが第2の伝送路を通じて伝送し、
前記第2の処理回路は、前記第2の伝送路と異なる第3の伝送路を介して前記第1のビデオ信号に対応する出力ビデオ信号をディスプレイに伝送する
ビデオ処理方法。
【0122】
(19)上記(14)から(18)のいずれかに記載のビデオ処理方法であって、
前記第1の画像調整パラメータが前記第1のビデオ信号に対するゲインと前記第2のビデオ信号に対するゲインとの比率を示すリレイティブレンジを含む
ビデオ処理方法。
【0123】
(20)上記(14)から(19)のいずれかに記載のビデオ処理方法であって、
前記第1の画像調整パラメータが前記第1のビデオ信号の色域情報を含む
ビデオ処理方法。
【0124】
(21)上記(14)から(20)のいずれかに記載のビデオ処理方法であって、
前記第1の画像調整パラメータがブラックレベル補正のための情報を含む
ビデオ処理方法。
【0125】
(22)上記(14)から(21)のいずれかに記載のビデオ処理方法であって、
前記第1の画像調整パラメータがニー補正に関する情報を含む
ビデオ処理方法。
【0126】
(23)上記(14)から(22)のいずれかに記載のビデオ処理方法であって、
前記第1の画像調整パラメータがダイナミックレンジの圧縮に関する情報を含む
ビデオ処理方法。
【0127】
(24)上記(14)から(23)のいずれかに記載のビデオ処理方法であって、
前記第2の画像調整パラメータがOETF(Optical-Electro Transfer Function)情報を含む
ビデオ処理方法。
【0128】
(25)上記(14)から(24)のいずれかに記載のビデオ処理方法であって、
前記第2の画像調整パラメータが前記第2のビデオ信号の色域情報を含む
ビデオシステム。
【0129】
(26)上記(14)から(25)のいずれかに記載のビデオ処理方法であって、
前記第2の画像調整パラメータがブラックレベル補正のための情報を含む
ビデオ処理方法。
【0130】
(27)カメラシステムにて、
被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1の画像調整パラメータに基づき第1のビデオ信号を生成し、第1の画像調整パラメータとは異なる第2の画像調整パラメータに基づき第2のビデオ信号を生成し、前記第2のビデオ信号に前記第1の調整パラメータ及び前記第2の調整パラメータを付加した伝送情報を第1の伝送路を介して伝送する第1の処理回路と、
ビデオコンバーターにて、
前記第1の伝送路を介して前記伝送情報を受信し、
前記伝送情報に含まれた第2の画像調整パラメータに基づき、前記伝送情報に含まれる前記第2のビデオ信号を逆変換して復元画素信号を生成するとともに、前記伝送情報に含まれた前記第1の調整パラメータに基づいて前記復元信号に対して前記第1のビデオ信号に対応する調整処理を行い、前記第1のビデオ信号に対応する出力ビデオ信号を生成する第2の処理回路として
コンピュータを動作させるプログラム。
(28)上記(27)に記載のプログラムであって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号のレベルに関する画像調整パラメータを含み、前記第1のビデオ信号のダイナミックレンジが前記第2のビデオ信号のダイナミックレンジよりも狭い
プログラム。
【0131】
(29)上記(27)または(28)に記載のプログラムであって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号の色に関する画像調整パラメータを含む
プログラム。
【0132】
(30)上記(27)から(29)のいずれかに記載のプログラムであって、
前記第1のビデオ信号はSDR(Standard Dynamic Range)ビデオであり、前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
プログラム。
【0133】
(31)上記(27)から(30)のいずれかに記載のプログラムであって、
前記第1の処理回路および前記第2の処理回路は、前記カメラシステムから前記ビデオコンバーターには前記第1のビデオ信号および前記第2のビデオ信号のうち前記第2のビデオ信号のみが第2の伝送路を通じて伝送し、
前記第2の処理回路は、前記第2の伝送路と異なる第3の伝送路を介して前記第1のビデオ信号に対応する出力ビデオ信号をディスプレイに伝送するように
前記コンピュータを動作させるプログラム。
【0134】
(32)上記(27)から(31)のいずれかに記載のプログラムであって、
前記第1の画像調整パラメータが前記第1のビデオ信号に対するゲインと前記第2のビデオ信号に対するゲインとの比率を示すリレイティブレンジを含む
プログラム。
【0135】
(33)上記(27)から(32)のいずれかに記載のプログラムであって、
前記第1の画像調整パラメータが前記第1のビデオ信号の色域情報を含む
プログラム。
【0136】
(34)上記(27)から(33)のいずれかに記載のプログラムであって、
前記第1の画像調整パラメータがブラックレベル補正のための情報を含む
プログラム。
【0137】
(35)上記(27)から(34)のいずれかに記載のプログラムであって、
前記第1の画像調整パラメータがニー補正に関する情報を含む
プログラム。
【0138】
(36)上記(27)から(35)のいずれかに記載のプログラムであって、
前記第1の画像調整パラメータがダイナミックレンジの圧縮に関する情報を含む
プログラム。
【0139】
(37)上記(27)から(36)のいずれかに記載のプログラムであって、
前記第2の画像調整パラメータがOETF(Optical-Electro Transfer Function)情報を含む
プログラム。
【0140】
(38)上記(27)から(37)のいずれかに記載のプログラムであって、
前記第2の画像調整パラメータが前記第2のビデオ信号の色域情報を含む
プログラム。
【0141】
(39)上記(27)から(38)のいずれかに記載のプログラムであって、
前記第2の画像調整パラメータがブラックレベル補正のための情報を含む
プログラム。
【0142】
(40)被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1の画像調整パラメータに基づき第1のビデオ信号を生成し、第1の画像調整パラメータとは異なる第2の画像調整パラメータに基づき第2のビデオ信号を生成し、前記第2のビデオ信号に前記第1の調整パラメータ及び前記第2の調整パラメータを付加した伝送情報を第1の伝送路を介して伝送する第1の処理回路とを具備する
カメラシステム。
【0143】
(41)上記(40)に記載のカメラシステムであって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号のレベルに関する画像調整パラメータを含み、前記第1のビデオ信号のダイナミックレンジが前記第2のビデオ信号のダイナミックレンジよりも狭い
カメラシステム。
【0144】
(42)上記(40)または(41)に記載のカメラシステムであって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号の色に関する画像調整パラメータを含む
カメラシステム。
【0145】
(43)上記(40)から(42)のいずれかに記載のカメラシステムであって、
前記第1のビデオ信号はSDR(Standard Dynamic Range)ビデオであり、前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
カメラシステム。
【0146】
(44)上記(40)から(43)のいずれかに記載のカメラシステムであって、
前記第1の画像調整パラメータが前記第1のビデオ信号に対するゲインと前記第2のビデオ信号に対するゲインとの比率を示すリレイティブレンジを含む
カメラシステム。
【0147】
(45)上記(40)から(44)のいずれかに記載のカメラシステムであって、
前記第1の画像調整パラメータが前記第1のビデオ信号の色域情報を含む
カメラシステム。
【0148】
(46)上記(40)から(45)のいずれかに記載のカメラシステムであって、
前記第1の画像調整パラメータがブラックレベル補正のための情報を含む
カメラシステム。
【0149】
(47)上記(40)から(46)のいずれかに記載のカメラシステムであって、
前記第1の画像調整パラメータがニー補正に関する情報を含む
カメラシステム。
【0150】
(48)上記(40)から(47)のいずれかに記載のカメラシステムであって、
前記第1の画像調整パラメータがダイナミックレンジの圧縮に関する情報を含む
カメラシステム。
【0151】
(49)上記(40)から(48)のいずれかに記載のカメラシステムであって、
前記第2の画像調整パラメータがOETF(Optical-Electro Transfer Function)情報を含む
カメラシステム。
【0152】
(50)上記(40)から(49)のいずれかに記載のカメラシステムであって、
前記第2の画像調整パラメータが前記第2のビデオ信号の色域情報を含む
カメラシステム。
【0153】
(51)上記(40)から(50)のいずれかに記載のカメラシステムであって、
前記第2の画像調整パラメータがブラックレベル補正のための情報を含む
カメラシステム。
【0154】
(52)被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1の画像調整パラメータに基づき第1のビデオ信号を生成し、第1の画像調整パラメータとは異なる第2の画像調整パラメータに基づき第2のビデオ信号を生成し、前記第2のビデオ信号に前記第1の調整パラメータ及び前記第2の調整パラメータを付加した伝送情報を第1の伝送路を介して伝送するカメラシステムより伝送された前記伝送情報に含まれた第2の画像調整パラメータに基づき、前記伝送情報に含まれる前記第2のビデオ信号を逆変換して復元画素信号を生成するとともに、前記伝送情報に含まれた前記第1の調整パラメータに基づいて前記復元信号に対して前記第1のビデオ信号に対応する調整処理を行い、前記第1のビデオ信号に対応する出力ビデオ信号を生成する第2の処理回路を具備する
ビデオコンバーター。
【0155】
(53)上記(52)に記載のビデオコンバーターであって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号のレベルに関する画像調整パラメータを含み、前記第1のビデオ信号のダイナミックレンジが前記第2のビデオ信号のダイナミックレンジよりも狭い
ビデオコンバーター。
【0156】
(54)上記(52)または(53)に記載のビデオコンバーターであって、
前記第1の画像調整パラメータおよび前記第2の画像調整パラメータは、前記第1のビデオ信号および前記第2のビデオ信号の色に関する画像調整パラメータを含む
ビデオコンバーター。
【0157】
(55)上記(52)から(54)のいずれかに記載のビデオコンバーターであって、
前記第1のビデオ信号はSDR(Standard Dynamic Range)ビデオであり、前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
ビデオコンバーター。
【0158】
(56)上記(52)から(55)のいずれかに記載のビデオコンバーターであって、
前記第1の画像調整パラメータが前記第1のビデオ信号に対するゲインと前記第2のビデオ信号に対するゲインとの比率を示すリレイティブレンジを含む
ビデオコンバーター。
【0159】
(57)上記(52)から(56)のいずれかに記載のビデオコンバーターであって、
前記第1の画像調整パラメータが前記第1のビデオ信号の色域情報を含む
ビデオコンバーター。
【0160】
(58)上記(52)から(57)のいずれかに記載のビデオコンバーターであって、
前記第1の画像調整パラメータがブラックレベル補正のための情報を含む
ビデオコンバーター。
【0161】
(59)上記(52)から(58)のいずれかに記載のビデオコンバーターであって、
前記第1の画像調整パラメータがニー補正に関する情報を含む
ビデオコンバーター。
【0162】
(60)上記(52)から(59)のいずれかに記載のビデオコンバーターであって、
前記第1の画像調整パラメータがダイナミックレンジの圧縮に関する情報を含む
ビデオコンバーター。
【0163】
(61)上記(52)から(60)のいずれかに記載のカメラシステムであって、
前記第2の画像調整パラメータがOETF(Optical-Electro Transfer Function)情報を含む
ビデオコンバーター。
【0164】
(62)上記(52)から(61)のいずれかに記載のビデオコンバーターであって、
前記第2の画像調整パラメータが前記第2のビデオ信号の色域情報を含む
カメラシステム。
【0165】
(63)上記(52)から(62)のいずれかに記載のビデオコンバーターであって、
前記第2の画像調整パラメータがブラックレベル補正のための情報を含む
ビデオコンバーター。