(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6276639
(24)【登録日】2018年1月19日
(45)【発行日】2018年2月7日
(54)【発明の名称】ビデオカメラ装置、映像信号の処理方法および映像信号処理装置
(51)【国際特許分類】
H04N 5/357 20110101AFI20180129BHJP
H04N 5/235 20060101ALI20180129BHJP
H04N 5/217 20110101ALI20180129BHJP
【FI】
H04N5/357
H04N5/235
H04N5/217
【請求項の数】4
【全頁数】11
(21)【出願番号】特願2014-88512(P2014-88512)
(22)【出願日】2014年4月22日
(65)【公開番号】特開2015-207944(P2015-207944A)
(43)【公開日】2015年11月19日
【審査請求日】2017年2月28日
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(74)【代理人】
【識別番号】100186716
【弁理士】
【氏名又は名称】真能 清志
(72)【発明者】
【氏名】水野 真由美
(72)【発明者】
【氏名】三谷 公二
(72)【発明者】
【氏名】三橋 政次
【審査官】
粕谷 満成
(56)【参考文献】
【文献】
特開2004−173016(JP,A)
【文献】
特開2012−94956(JP,A)
【文献】
特開2012−227893(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/217
H04N 5/235
H04N 5/357
(57)【特許請求の範囲】
【請求項1】
ビデオカメラ装置であって、
前記ビデオカメラ装置が出力する最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートで映像信号を生成する撮像部と、
前記照明の輝度の変動周期に等しい時間にわたって前記撮像部が生成する映像信号を、フレーム単位で加算する加算部を有する信号処理部と
を備え、
前記信号処理部は、前記加算部により前記変動周期に等しい時間にわたって加算された映像信号を1フレームの映像信号として、前記最終映像信号を出力することを特徴とするビデオカメラ装置。
【請求項2】
前記加算部は、第1加算器と、第2加算器とを備え、
前記第2加算器は、前記第1加算器よりも、前記最終映像信号のフレーム周期に相当する時間だけ遅れたフレームから前記加算を開始し、
前記第1加算器および前記第2加算器は、それぞれ前記変動周期に等しい時間にわたって前記撮像部が出力する映像信号をフレーム単位で加算をおこない、
前記信号処理部は、前記第1加算器による加算後の映像信号と、前記第2加算器による加算後の映像信号とを、前記最終映像信号のフレーム周期で交互に出力する、請求項1に記載のビデオカメラ装置。
【請求項3】
映像信号の処理方法であって、
前記処理方法により生成された最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートで映像信号を出力する撮像ステップと、
前記照明の輝度の変動周期に等しい時間にわたって、前記撮像ステップにより生成された映像信号をフレーム単位で加算する加算ステップと
前記加算ステップにより前記変動周期に等しい時間にわたって加算された映像信号を1フレームの映像信号として、前記最終映像信号を出力する映像出力ステップと
を含むことを特徴とする映像信号の処理方法。
【請求項4】
映像信号処理装置であって、
前記映像信号処理装置が出力する最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートの映像信号を撮像部から受信する受信部と、
前記照明の輝度の変動周期に等しい時間にわたって、前記撮像部からの前記映像信号をフレーム単位で加算する加算部とを備え、
前記加算部により前記変動周期に等しい時間にわたって加算された映像信号を1フレームの映像信号として、前記最終映像信号を出力することを特徴とする映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フリッカの発生を低減させたビデオカメラ装置、映像信号の処理方法および映像信号処理装置に関するものである。
【背景技術】
【0002】
テレビおよびビデオの映像信号は、飛び越し走査方式または順次走査方式を採用し、その多くは1秒間に30〜60フレームの画像を撮影および表示できる性能を有する。一方で、近年、テレビの高解像度化と共に、人間の動物体に対する高い認識能力に対応するためにフレームレートを高く設定して動物体の表現能力を高めたテレビおよびビデオカメラの開発が進められている。そして、次世代放送システムとして規格化の検討が進められているスーパーハイビジョンにおいては、60〜120フレーム/秒にもおよぶフレームレートが国際規格として採択されている。
【0003】
ところで、国内の商用電源の周波数は、使用される地域により60Hzまたは50Hzが用いられている。そして、高周波点灯方式(インバータ方式)を採用したものでない、一般の蛍光灯を使った照明器具では、1秒間に100回(50Hzの地域の場合)または120回(60Hzの地域の場合)の輝度変動が生じている。そして、海外においても、例えば欧州では商用電源の周波数として50Hzが採用されており、蛍光灯の照明等ではやはり1秒間に100回の輝度変動が生じている。
【0004】
このような高周波点灯方式以外の蛍光灯を使用した照明のもとでスーパーハイビジョンに対応した例えば60フレーム/秒のフレームレートのビデオカメラを使用した場合にフリッカの問題が生じうる。ここで、
図4を用いてフリッカの発生メカニズムについて説明する。商用電源の周波数が50Hzの地域においては、供給される交流電源の波形は、
図4(a)のように1/50秒の周期で正弦波状に変化する。このとき、高周波点灯方式以外の蛍光灯の輝度は、
図4(b)に示すように倍の周波数である100Hzで変動する。蛍光灯照明に基づく撮像素子の映像信号出力は、
図4(b)に示す蛍光灯の輝度の時間積分となるが、ビデオカメラの1フレーム周期(1/60秒)と蛍光灯の輝度の変動周期(1/100秒)が合致していないため、
図4(d)のようにフレームごとに積分値が変動する。これが、いわゆるフリッカと呼ばれる現象である。このような条件で撮影された映像を再生すると、画像の明るさがフレーム毎に変化することに起因してちらつきが発生する。一方、商用電源60Hzの地域では、ビデオカメラの1フレーム周期が蛍光灯の輝度の変動周期のちょうど2倍となるため、フリッカは発生しない。
【0005】
このような原理で発生するフリッカを防止するために、例えば特許文献1では、電子シャッターを使用し、露光時間を1/100秒に設定している。このような構成とすることにより露光時間内に撮像素子に入射する光量の積分値は各フレーム毎に一定となり、蛍光灯照明によるフリッカを低減することができる。
図5を用いてその発明の原理について説明する。この発明では、
図5(c)に示すように各フレームにおける電子シャッターが開口している時間を、撮像素子の1フレーム周期より短い蛍光灯の輝度変動周期に合致させている。これにより、各フレームが蛍光灯から受ける影響の度合いが均一になり、
図6(d)に示すように、蛍光灯の輝度変動によるフリッカを低減させることができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3123653号公報
【特許文献2】特許第2553123号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、スーパーハイビジョンで採択されている、120フレーム/秒で動作する映像システムにおいては、1フレーム周期が1/120秒であり、蛍光灯の輝度の変動周期(1/100秒)よりも短い。電子シャッターを用いて露光時間を1/100秒に設定することができないため、従来フリッカ除去に効果的であった特許文献1のような手法が有効に機能しない。従って、
図6(d)に示すようなフリッカが発生してしまう。
【0008】
また、特許文献2では、照明光の輝度変動周期の整数倍の間隔で露光終了パルスを生成するようにしてフリッカ除去をおこなう方法が提案されている、しかし、この手法においても、1フレーム周期(1/120秒)が、照明光の輝度変動周期(1/100秒)よりも短いため、フレーム毎に確実に露光開始パルスと露光終了パルスを得ることができず、フリッカを効果的に除去することができない。
【0009】
また、その他の手法としてフレーム毎の信号レベルの変動を検知し、その変動に合わせて読み出しアンプのゲインを変えることによりフリッカを低減する方法も考えられる。しかし、その手法によると、輝度が変動する照明と、輝度が変動しない照明が混在した場合には、かえってフリッカの発生を助長してしまう可能性がある。
【0010】
かかる点に鑑みてなされた本発明の目的は、フリッカの発生を低減させたビデオカメラ装置、映像信号の処理方法および映像信号処理装置を提供することにある。
【課題を解決するための手段】
【0011】
上記課題を解決するため、本発明に係るビデオカメラ装置は、ビデオカメラ装置であって、前記ビデオカメラ装置が出力する最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートで映像信号を生成する撮像部と、前記照明の輝度の変動周期に等しい時間にわたって前記撮像部が生成する映像信号を、フレーム単位で加算する加算部を有する信号処理部とを備え、前記信号処理部は、前記加算部により前記変動周期に等しい時間にわたって加算された映像信号を1フレームの映像信号として、前記最終映像信号を出力することを特徴とする。
【0012】
また、前記加算部は、第1加算器と、第2加算器とを備え、前記第2加算器は、前記第1加算器よりも、前記最終映像信号のフレーム周期に相当する時間だけ遅れたフレームから前記加算を開始し、前記第1加算器および前記第2加算器は、それぞれ前記変動周期に等しい時間にわたって前記撮像部が生成する映像信号をフレーム単位で加算をおこない、前記信号処理部は、前記第1加算器による加算後の映像信号と、前記第2加算器による加算後の映像信号とを、前記最終映像信号のフレーム周期で交互に出力することが好ましい。
【0013】
また、上記課題を解決するため、本発明に係る映像信号の処理方法は、映像信号の処理方法であって、前記処理方法により生成された最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートで映像信号を生成する撮像ステップと、前記照明の輝度の変動周期に等しい時間にわたって、前記撮像ステップにより生成された映像信号をフレーム単位で加算する加算ステップと前記加算ステップにより前記変動周期に等しい時間にわたって加算された映像信号を1フレームの映像信号として、前記最終映像信号を出力する映像出力ステップとを含むことを特徴とする。
【0014】
また、上記課題を解決するため、本発明に係る映像信号処理装置は、映像信号処理装置であって、前記映像信号処理装置が出力する最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートの映像信号を撮像部から受信する受信部と、前記照明の輝度の変動周期に等しい時間にわたって、前記撮像部からの前記映像信号をフレーム単位で加算する加算部とを備え、前記加算部により前記変動周期に等しい時間にわたって加算された映像信号を1フレームの映像信号として、前記最終映像信号を出力することを特徴とする。
【発明の効果】
【0015】
本発明によれば、フリッカの発生を低減させたビデオカメラ装置、映像信号の処理方法および映像信号処理装置を提供することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の一実施形態に係るビデオカメラ装置のブロック図である。
【
図2】本発明の一実施形態に係るビデオカメラ装置において、フリッカ除去の原理を説明するためのタイミング図である。
【
図3】本発明の一実施形態に係るビデオカメラ装置のブロック図(動作時)である。
【
図4】従来のビデオカメラ装置等において、フリッカ発生の原理を説明するためのタイミング図である。
【
図5】特許文献1に係る固体撮像装置における、フリッカ除去の原理を説明するためのタイミング図である。
【
図6】特許文献1に係る固体撮像装置において、フレームレートを120フレーム/秒に高めた場合のタイミング図である。
【発明を実施するための形態】
【0017】
以下、本発明に係る実施形態について、図面を参照して説明する。
【0018】
(一実施形態)
図1は、本発明の一実施形態に係るビデオカメラ装置400のブロック図である。本実施形態に係るビデオカメラ装置400は、撮像部401と、映像信号処理部402と、記録処理部403と、制御部404とを備える。なお、
図1では、映像信号の流れを実線で示し、タイミング信号等の制御信号の流れを破線で示している。
【0019】
まず、撮像部401の構成について説明する。
【0020】
撮像部401は、レンズ41と、撮像素子42と、撮像素子駆動回路43とを備える。撮像部401は、被写体の像を撮像素子42上に結像させ、映像信号を得る役割を果たす。
【0021】
レンズ41は、被写体の像を後述する撮像素子42に結像させるための複数枚のレンズである。複数枚のレンズの内の一部のレンズは、図示しない駆動装置の可動部上に配置され、後述する制御部404からの制御信号により光軸方向に駆動される。このレンズ駆動により、ビデオカメラ装置400のズームレンズ機能およびオートフォーカス機能が実現される。
【0022】
撮像素子42は、レンズ41を介して導かれた被写体からの光を検出して映像信号を生成する。撮像素子42には、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等を用いることができる。撮像素子42は、イメージセンサ上に図示しない各種カラーフィルタを配置することにより、単板イメージセンサから3原色の映像信号を得るように構成することができる。また、撮像素子42は、受光素子上に図示しないマイクロレンズ等を配置することにより光利用効率を高めることができる。
【0023】
撮像素子駆動回路43は、撮像素子42を動作させるための回路である。撮像素子駆動回路43は、
図1に破線で示すように、制御部404からタイミング信号等を受信する。それらのタイミング信号等に基づき、撮像素子駆動回路43は、撮像素子42を動作させるための露光クロック、蓄積クロック等の信号を生成し、撮像素子42に供給をおこなう。
【0024】
撮像素子駆動回路43は、制御部404からの制御信号に基づき、撮像素子42が600フレーム/秒のフレームレートで動作するように制御をおこなう。なお、詳細については後述する。
【0025】
次に、映像信号処理部402の構成について説明する。
【0026】
映像信号処理部402は、第1加算器44と、第2加算器45と、スイッチ46とを備える。本実施形態において、第1加算器44および第2加算器45は、撮像素子42から出力される600フレーム/秒の映像信号の連続する6フレーム分の加算をおこない出力する機能を備える。ここで、第2加算器45は、第1加算器44が連続する5フレームを加算した後の6フレーム目から加算を開始する。すなわち、第1加算器44および第2加算器45は、それぞれ連続する6フレームの映像信号を加算するが、その6フレームの内の1フレームのみが加算器44,45間でオーバーラップするように加算をおこなう。第1加算器44および第2加算器45は、加算した6フレーム分の映像信号を、少なくとも1/120秒の間スイッチ46に対して出力する。そして、第2加算器45は、第1加算器44に対して1/120秒だけ遅れてスイッチ46に映像信号を出力するように構成される。スイッチ46は、制御部404からの制御信号に基づき、第1加算器44が映像信号を出力する1/120秒の間は、第1加算器44の出力が記録処理部103に伝送されるように切り替えられる。そしてスイッチ46は、第2加算器45が映像信号を出力する1/120秒の間は、第2加算器45の出力が記録処理部103に伝送されるように切り替えられる。なお、スイッチ46は、リレー、トランジスタなどにより構成される。
【0027】
次に、記録処理部403の構成について説明する。
【0028】
記録処理部403は、エンコーダ47と、変調回路48と、記録装置49とを備える。
【0029】
エンコーダ47は、映像信号処理部402により処理された、撮像素子42からの映像信号を符号化し画像圧縮をおこなう機能を備える。このエンコーダ47が対応する符号化方式としては、例えばMPEG-2方式、MPEG-4 Part 10 Advanced Video Coding方式等である。
【0030】
変調回路48は、エンコーダ47が出力するデータを、記録装置49内の記録媒体に記録可能なフォーマットに変調する機能を備える。
【0031】
記録装置49は、変調回路48により変調された映像信号を記録媒体に記録する機能を備える。本実施形態において、映像信号の記録に用いることができる記録媒体は、例えばフラッシュメモリ、HDD(登録商標)(Hard Disc Drive)、DVD(登録商標)(Digital Versatile Disc)またはBD(Blu-ray(登録商標)Disc)等である。
【0032】
なお、記録処理部403内に図示しないバッファメモリ等を適宜設けて、各ブロックにおける処理がより円滑におこなわれるように構成してもよい。
【0033】
また、本実施形態では、記録装置49により映像信号を記録媒体に記録させるように構成したが、この形態には限定されない。例えばエンコーダ47により符号化された映像信号を、有線または無線ネットワークによりデータサーバーに伝送し、データサーバー上で映像信号の管理および保存をおこなってもよい。
【0034】
次に、制御部404について説明する。
【0035】
制御部404は、撮像部401内のレンズ41および撮像素子駆動回路43、映像信号処理部402内の第1加算器44、第2加算器45およびスイッチ46、並びに記録処理部403内のエンコーダ47、変調回路48および記録装置49等に対して制御信号を伝送し、これらの制御をおこなう機能を備える。制御部404は、例えばプログラムを実行可能なマイコン等により構成することができる。
【0036】
なお、本実施形態における制御部404および映像信号処理部402は、本発明の「映像信号処理装置」を構成する。
【0037】
次に、
図2に示すタイミング図を用いて、本実施形態によるフリッカ除去の原理を説明する。
【0038】
図2(a)は、系統から供給される商用電源の波形(50Hz)を示し、
図2(b)は、この商用電源から電力を供給して点灯させた蛍光灯の輝度の時間変化を示す。蛍光灯の輝度波形は
図2(b)から分かるように、商用電源周波数の倍の周波数である100Hz周期で変動する波形となる。
【0039】
図2(c)は、撮像素子42が、600フレーム/秒のフレームレートで出力する映像信号における輝度信号の時間変化を示す。
図2(b)に示す蛍光灯の輝度の時間変化に対応して映像信号の輝度信号が変化していることが分かる。加算器44,45は、この600フレーム/秒で出力される連続する6フレームの映像信号の加算をそれぞれおこなう。そして、第1加算器44および第2加算器45は交互に用いられる。まず、第1加算器44は、
図2(c)における最初の6フレームの映像信号の加算をおこなう。そして、加算後の映像信号を少なくとも1/120秒間スイッチ46へと出力する。制御部404は、第1加算器44が加算後の映像信号を出力すると同時にスイッチ46を切り替え、第1加算器44の映像信号出力が記録処理部403に伝送されるように制御をおこなう。
【0040】
第1加算器44が6フレーム目の加算をおこなう時、第2加算器45は、当該フレームを1フレーム目として連続する6フレームの加算を開始する。すなわち、第1加算器44および第2加算器45は、1フレームのみをオーバーラップさせながらそれぞれ連続する6フレームの加算をおこなう。
【0041】
第2加算器45は、
図2(c)における6フレーム目から、連続する6フレームの映像信号の加算をおこなう。そして、加算後の映像信号を少なくとも1/120秒間スイッチ46へと出力する。制御部404は、第2加算器45が加算後の映像信号を出力すると同時にスイッチ46を切り替え、第2加算器45の映像信号出力が記録処理部403に伝送されるように制御をおこなう。なお、第1加算器44および第2加算器45は、これまでの説明から分かるように加算対象のフレームが5フレーム分、すなわち1/600×5=1/120秒だけずれている。従って、加算器44,45がそれぞれ加算後の映像信号を出力するタイミングも1/120秒だけずれる。そのため、制御部404は、1/120秒ごとにスイッチ46の切り替え制御をおこない、第1加算器44からの映像信号と、第2加算器45からの映像信号とを交互に記録処理部403へと伝送する。
【0042】
このように、第1加算器44および第2加算器45から1/120秒ごとに映像信号が出力されることにより、映像信号処理部402は、120フレーム/秒の映像信号を生成する。ところで、この生成された各フレームの信号は、撮像素子42が出力する600フレーム/秒の映像信号の連続する6フレーム分、すなわち1/100秒間に検知した被写体光から生成されている。この1/100秒間は、照明光である蛍光灯の輝度の変動周期に等しいため、映像信号処理部402が出力する120フレーム/秒の映像信号は、蛍光灯の輝度変動の影響を受けない。
図2(d)は、映像信号処理部402が出力する映像信号における輝度信号の大きさの時間変化を示しており、フリッカは発生しない。
【0043】
なお、先述のように、映像信号処理部402は、
図2(c)に示す撮像素子42からの連続する6フレームの映像信号を加算することにより、120フレーム/秒の映像信号の1フレームを生成するように構成されている。その対応関係を示すために、
図2(c)における連続した6フレームが出力されている時に、
図2(d)において加算後の映像信号が出力されるように記載している。しかし、
図2(d)の映像信号は、
図2(c)における6フレーム目が出力されたときに初めて確定する。従って、
図2(d)の映像信号の出力は、実際には
図2(c)における6フレーム目が出力された後におこなわれる。
【0044】
図3は、
図2に示すタイミングで映像信号を処理する場合における、ビデオカメラ装置400内の各映像信号の流れを模式的に示す。
図3において、撮像素子42から供給された600フレーム/秒の信号におけるフレーム(1)乃至(11)のうち、フレーム(1)乃至(6)が第1加算器44において加算され、フレーム(6)乃至(11)が第2加算器45において加算される。加算器44,45において加算された各映像信号は、スイッチ46により切り替えられることにより120フレーム/秒の映像信号となり、記録処理部403に伝送される。
【0045】
なお、本実施形態においては、照明光の輝度の変動周波数が100Hzである場合について説明したが、この形態には限定されない。例えば、第1加算器44および第2加算器45において連続する5フレームをそれぞれ加算して出力するように構成することにより、120Hzの輝度の変動周波数に対応することができる。
【0046】
また、本実施形態においては、フレームレートが120フレーム/秒である場合について説明したが、この形態に限定されない。例えば、第1加算器44および第2加算器45において、加算対象のフレームが4フレーム分、すなわち1/600×4=1/150秒だけずれるように構成し、スイッチ46を1/150秒ごとに切り替えることにより、150フレーム/秒の映像信号を生成することができる。
【0047】
また、本実施形態においては、照明光の変動周期がフレーム周期よりも長い場合について説明したが、照明光の変動周期の方が短い場合にも適用することができる。
【0048】
以上のように、本実施形態によれば、撮像素子42から出力される600フレーム/秒の映像信号の連続する6フレームを加算して1フレームの映像信号とするように構成したので、100Hzの周波数で変動する照明光のもとでの撮影をおこなっても、フリッカの発生を抑えることができる。また、撮像素子を1つしか用いないため、低価格の装置を提供することができる。
【0049】
また、本実施形態によれば、映像信号処理部402が出力する映像信号のフレームレートを120フレーム/秒としたので、スーパーハイビジョンに対応した映像信号におけるフリッカの発生を抑えることができる。
【0050】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。また、本発明について装置を中心に説明してきたが、本発明は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【符号の説明】
【0051】
41 レンズ
42 撮像素子
43 撮像素子駆動回路
44 第1加算器
45 第2加算器
46 スイッチ
47 エンコーダ
48 変調回路
49 記録装置
400 ビデオカメラ装置
401 撮像部
402 映像信号処理部
403 記録処理部
404 制御部