特開 2024-46934 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024046934

(43)【公開日】2024-04-05

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240329BHJP

   G03B 7/093 20210101ALI20240329BHJP

【ＦＩ】

H04N5/232

H04N5/232 290

G03B7/093

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2022152316

(22)【出願日】2022-09-26

(71)【出願人】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】手塚 浩貴

【テーマコード（参考）】

2H002

5C122

【Ｆターム（参考）】

2H002CC01

5C122EA68

5C122FA08

5C122FF01

5C122FF11

5C122FH18

5C122HA86

5C122HA88

5C122HA89

5C122HB01

5C122HB02

5C122HB05

(57)【要約】

【課題】スローシャッタ機能によりフレームレートが低下する場合でも、従来よりも自然な映像出力を得ることが可能な撮像装置を提供する。
【解決手段】本例の撮像装置は、スローシャッタ撮影モードでの撮像フレーム周期内に２つ以上の分離した露光時間が生じるように撮像素子１０７の露光状態を制御する露光制御部１０２と、撮像素子１０２により取得された撮像フレーム毎の映像信号のうち、少なくとも直前の撮像フレームの映像信号を記憶する過去フレーム保存メモリ１０８と、スローシャッタ撮影モードにおいて、所定のフレームタイミングでは、現在の撮像フレームの映像信号と直前の撮像フレームの映像信号とに基づいて補間された映像信号を出力し、他のフレームタイミングでは、直前の撮像フレームの映像信号を出力するフレーム補間部１０４とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像出力のフレームレートより低いフレームレートで撮像素子を動作させるスローシャッタ撮影モードを有する撮像装置において、
スローシャッタ撮影モードでの撮像フレーム周期内に２つ以上の分離した露光時間が生じるように前記撮像素子の露光状態を制御する露光制御部と、
前記撮像素子により取得された撮像フレーム毎の映像信号のうち、少なくとも直前の撮像フレームの映像信号を記憶する過去フレーム記憶部と、
スローシャッタ撮影モードにおいて、映像出力のフレームタイミングのうちの所定のフレームタイミングでは、前記撮像素子により取得された現在の撮像フレームの映像信号と前記過去フレーム記憶部に記憶された直前の撮像フレームの映像信号とに基づいて補間された映像信号を出力し、他のフレームタイミングでは、前記過去フレーム記憶部に記憶された直前の撮像フレームの映像信号を出力するフレーム補間部とを備えたことを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記フレーム補間部は、映像出力のフレームレートと同じフレームレートで前記撮像素子を動作させる通常撮影モードにおいて、映像出力のフレームタイミング毎に、前記撮像素子により取得された現在の撮像フレームの映像信号を出力することを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像出力のフレームレートより低いフレームレートで撮像素子を動作させるスローシャッタ撮影モードを有する撮像装置に関する。

【背景技術】

【0002】

従来、撮像素子の露光時間を通常よりも長くして撮影するスローシャッタ機能を備えた撮像装置が実用されている。スローシャッタ機能を用いることで、水の流れ等が通常とは違った様子の写真を撮影することができる。スローシャッタ機能は、放送カメラ等の動画に特化したカメラにおいて、撮像素子の取り込み間隔とは異なる周期で発光するＬＥＤを用いて撮影したときに発生するフリッカー現象の対策としても使用される。ただし、撮像素子の露光時間を通常よりも長くするため、フレーム更新間隔が長くなり、フレームレートが落ちてしまう。

【0003】

本発明に係る技術分野の従来技術としては、以下のようなものがある。例えば、特許文献１には、流し撮り時にフリッカーが検出された場合、露光制御において流し撮り時にフリッカーが検出されていない場合よりも高速側に制限をかけてシャッタ速度を決定するカメラ制御部を備えた撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－０６１６３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

映像信号は一般的に出力フォーマットが規定されており、通常、出力フォーマットの更新時間に対応した駆動で撮像装置全体を動作させる。この場合、フレーム更新間隔が長くなるとフレームレートが低下するので、動体を撮影したときに、その動体の移動が通常撮影時より飛び飛びになった映像となってしまう。特に、通常よりもわずかに長い時間の露光が必要となるような状況だと、フレーム後半は露光していないため、その間の動体の移動が捉えられず、フレーム飛びが顕著に表れる。

【0006】

本発明は、上記のような従来の事情に鑑みて為されたものであり、スローシャッタ機能によりフレームレートが低下する場合でも、従来よりも自然な映像出力を得ることが可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、本発明の一態様に係る撮像装置は、以下のように構成される。すなわち、映像出力のフレームレートより低いフレームレートで撮像素子を動作させるスローシャッタ撮影モードを有する撮像装置において、スローシャッタ撮影モードでの撮像フレーム周期内に２つ以上の分離した露光時間が生じるように撮像素子の露光状態を制御する露光制御部と、撮像素子により取得された撮像フレーム毎の映像信号のうち、少なくとも直前の撮像フレームの映像信号を記憶する過去フレーム記憶部と、スローシャッタ撮影モードにおいて、映像出力のフレームタイミングのうちの所定のフレームタイミングでは、撮像素子により取得された現在の撮像フレームの映像信号と過去フレーム記憶部に記憶された直前の撮像フレームの映像信号とに基づいて補間された映像信号を出力し、他のフレームタイミングでは、過去フレーム記憶部に記憶された直前の撮像フレームの映像信号を出力するフレーム補間部とを備える。

【0008】

ここで、上記の撮像装置において、フレーム補間部は、映像出力のフレームレートと同じフレームレートで撮像素子を動作させる通常撮影モードにおいて、映像出力のフレームタイミング毎に、撮像素子により取得された現在の撮像フレームの映像信号を出力するように構成されてもよい。

【発明の効果】

【0009】

本発明によれば、スローシャッタ機能によりフレームレートが低下する場合でも、従来よりも自然な映像出力を得ることが可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る撮像装置の構成例を示す図である。

【図2】図１の撮像装置におけるフレーム補間部の構成例を示す図である。

【図3】図１の撮像装置における露光制御部の構成例を示す図である。

【図4】図１の撮像装置によるスローシャッタ撮影の概要を示す図である。

【図5】通常撮影における露光タイミングの例を示す図である。

【図6】従来のスローシャッタ撮影における露光タイミングの例を示す図である。

【図7】図１の撮像装置によるスローシャッタ撮影における露光タイミングの例を示す図である。

【図8】図１の撮像装置によるスローシャッタ撮影におけるフレーム補間の例を示す図である。

【図9】図１の撮像装置によるスローシャッタ撮影におけるフレーム補間のフローチャートの例を示す図である。

【図10】図１の撮像装置によるスローシャッタ撮影における露光タイミングの別の例を示す図である。

【図11】図１の撮像装置によるスローシャッタ撮影における露光タイミングの更に別の例を示す図である。

【発明を実施するための形態】

【0011】

本発明の一実施形態について、図面を参照して説明する。図１には、本発明の一実施形態に係る撮像装置の構成例を示してある。本例の撮像装置は、監視用カメラ、産業用カメラ、放送用カメラ等の様々なカメラに適用可能であるが、ここでは、映像出力がＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）出力であるような放送用カメラを例にして説明する。

【0012】

図１に示すように、本例の撮像装置は、レンズ１０１と、撮像素子１０２と、Ａ／Ｄ変換部１０３と、フレーム補間部１０４と、映像調整部１０５と、信号出力部１０６と、露光制御部１０７と、過去フレーム保存メモリ１０８とを備えている。また、本例の撮像装置は、映像出力のフレームレートと同じフレームレートで撮像素子１０２を動作させる通常撮影モードと、映像出力のフレームレートより低いフレームレートで撮像素子１０２を動作させるスローシャッタ撮影モードとを有する。

【0013】

レンズ１０１は、アイリス値を開放（全開）と全閉の間で制御できるように構成されている。撮像素子１０２は、フォトダイオードなどの光感応素子やＭＯＳトランジスタ等を水平・垂直の２次元座標の画素として撮像面に配置したイメージセンサであり、レンズ１０１から入力された被写体の光をアナログ信号として出力する。ここでは、撮像素子１０２として、露光状態を露光制御部１０７からの露光制御信号に従って切り替えることが可能で、読み出しを全てのピクセルに対して同時に行うグローバルシャッタ方式のイメージセンサを用いる。

【0014】

Ａ／Ｄ変換部１０３は、撮像素子１０２から出力される映像信号を、アナログ信号から指定ビット深度のデジタル信号に変換する。フレーム補間部１０４は、後述するフレーム補間を実施する機能を有する。映像調整部１０５は、フレーム補間部１０４から出力される映像信号に対し、映像出力のために必要な調整を施す。信号出力部１０６は、映像調整部１０５による調整後の映像信号を、所定の出力インタフェースを介して装置外部へ出力する。

【0015】

次に、フレーム補間部１０４の動作について説明する。図２には、フレーム補間部１０４の構成例を示してある。図２のフレーム補間部１０４は、ＨＶカウンタ２０１と、フレーム加算平均算出部２０２と、出力選択部２０３とを備えている。

【0016】

ＨＶカウンタ２０１は、入力されるタイミングパルスに従い、撮像素子１０２から出力される画素の座標（画像内位置）を表す座標信号を出力する。ＨＶカウンタ２０１から出力される座標信号は、過去フレーム保存メモリ１０８の読み出しアドレスや現在フレームの書き込みアドレスなどを特定するために使用される。

【0017】

過去フレーム保存メモリ１０８は、Ａ／Ｄ変換部１０３から出力された映像信号を保存（記憶）するメモリである。本例では、不図示のメモリコントローラが、フレーム更新イネーブル信号に基づいて、Ａ／Ｄ変換部１０３から映像信号が出力されているかを判断し、過去フレーム保存メモリ１０８の動作を切り替える。過去フレーム保存メモリ１０８からの読み出しにより、過去の撮像フレームタイミングでＡ／Ｄ変換部１０３から出力された映像信号を得ることができる。スローシャッタ撮影モードにおいて、Ａ／Ｄ変換部１０３から映像信号が入力された場合にのみ、その映像信号が過去フレーム保存メモリ１０８に書き込まれる。過去フレーム保存メモリ１０８は、少なくとも直前の撮像フレームタイミングの映像信号を保存できればよく、メモリ容量は特に限定されない。

【0018】

フレーム加算平均算出部２０２は、スローシャッタ撮影モードにおいて、映像出力フレームタイミングのうちの所定のフレームタイミング毎に、Ａ／Ｄ変換部１０３から出力された現在の撮像フレームタイミングの映像信号と、過去フレーム保存メモリ１０８から読み出した直前の撮像フレームタイミングの映像信号との加算平均を算出する。つまり、フレーム加算平均算出部２０２は、これら２つの映像信号の同じ座標の各画素値を加算して平均し、その結果の映像信号を補完フレームの映像信号として出力する。なお、加算平均によるフレーム補間は一例に過ぎず、フレーム補間の手法は問わない。

【0019】

出力選択部２０３には、Ａ／Ｄ変換部１０３から出力された現在の撮像フレームタイミングの映像信号と、フレーム加算平均算出部２０２から出力された補間フレームの映像信号と、フレーム加算平均算出部２０２から読み出された過去の撮像フレームタイミングの映像信号とが入力される。出力選択部２０３は、通常撮影モードの場合には、Ａ／Ｄ変換部１０３から出力された現在の撮像フレームタイミングの映像信号を出力する。また、スローシャッタ撮影モードの場合には、所定のフレームタイミングでは、フレーム加算平均算出部２０２から出力された補間フレームの映像信号を出力し、他のフレームタイミングでは、フレーム加算平均算出部２０２から読み出された過去の撮像フレームタイミングの映像信号を出力する。

【0020】

次に、露光制御部１０７の動作について説明する。図３には、露光制御部１０７の構成例を示してある。図３の露光制御部１０７は、ＴＤＣ（Ｔｉｍｅ－ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）回路３０１と、時間判定部３０２と、ＲＳ－フリップフロップ（ＲＳ－ＦＦ）３０３とを備えている。

【0021】

ＴＤＣ回路３０１は、撮像素子１０２の露光状態を制御するために時間を算出する回路である。時間判定部３０２は、ＴＤＣ回路３０１で測定した時間と、外部入力で設定された露光タイミングの時間とに基づいて、現在が露光タイミングか否かを判定し、その結果に応じたパルスをＲＳ－フリップフロップ３０３のリセット端子（Ｒ）とセット端子（Ｓ）に出力する。ＲＳ－フリップフロップ３０３は、時間判定部３０２から入力されるパルスに応じた信号を出力する。この出力信号が、撮像素子１０２に対する露光制御信号となる。

【0022】

次に、本例の撮像装置によるスローシャッタ撮影モードの動作について説明する。図４には、スローシャッタ撮影の概要を示してある。ここでは、動きのある被写体Ｍを撮像する場合を例にして説明する。後述するように、撮像フレーム周期内で時間的に分散させた露光制御を行うことで、Ａ／Ｄ変換部１０３から出力される映像信号に、撮像フレーム周期内の複数のタイミングで被写体Ｍを捉えた情報を含めることができる。このような画像を用いてフレーム補間を実施することで、映像出力フレームに対応する撮像フレームが存在しないフレームタイミングの映像信号として、直前の撮像フレームの映像信号と直後の撮像フレームの映像信号とから補間した映像信号を得ることができる。これにより、従来のスローシャッタ撮影よりも自然な映像出力となる。

【0023】

図５には、通常撮影モード（連続撮影時）における露光タイミングの例を示してある。Ｖ＿ＴＯＰは、撮像素子１０２の信号取り込みタイミングを表す信号であり、撮像フレーム周期を規定している。ＥＸＰ＿ＰＵＬＳＥは、撮像素子１０２の露光タイミングを表す信号であり、ＥＸＰ＿ＰＵＬＳＥが“Ｈ”（Ｈｉｇｈ）のときは露光し、“Ｌ”（Ｌｏｗ）のときは露光しない。撮像素子１０２の信号取り込みの間隔（撮像フレーム周期）がＴ１である場合に、撮像素子１０２の露光時間Ｔ２を最長でＴ１まで設定できる。

【0024】

図６には、従来方式のスローシャッタ撮影モードにおける露光タイミングの例を示してある。図６は、映像出力のフレームレートに対して１／２のフレームレートで撮像を行う場合の例であり、撮像フレーム周期Ｔ３が通常撮影モードの撮影フレーム周期Ｔ１の２倍となっている。従来方式のスローシャッタ撮影モードでの露光時間は、一般的に、通常撮影モードでの露光時間を単純に延長するように制御される。

【0025】

図７には、本例の撮像装置によるスローシャッタ撮影モードにおける露光タイミングの例を示してある。本例の撮像装置では、図６に示した従来方式とは異なり、撮像フレーム周期Ｔ３におけるＥＸＰ＿ＰＵＬＳＥをＴ４～Ｔ９に分類する。すなわち、撮像フレーム周期の開始時、中間部分、および終了時の各タイミングＴ４，Ｔ６，Ｔ８で撮像素子１０２を露光し、それらの間のタイミングＴ５，Ｔ７では撮像素子１０２を露光しないように制御する。また、撮像素子１０２の信号取り込みタイミングＴ９（撮像フレームの切り替わりタイミング）でも、撮像素子１０２を露光しないように制御する。

【0026】

本例では、撮像フレーム周期における合計露光時間をＮとした場合に、フレーム開始時および終了時のタイミングＴ４，Ｔ８の露光時間の長さがそれぞれＮ／４となり、フレーム中間のタイミングＴ６の露光時間の長さがＮ／２となるように調整している。これにより、１枚の撮像フレームの映像信号に、Ｔ４，Ｔ６，Ｔ８の各タイミングで被写体Ｍを捉えた映像を収めることができる。なお、スローシャッタ撮影モードにおいて、撮像素子１０２の露光時間を最長のＴ３に設定する場合には、露光時間を分割する必要はない。

【0027】

図８には、スローシャッタ撮影モードにおけるフレーム補間の例を示してある。ＦＲＭ＿ＶＬＤ信号が“Ｈ”のときは、撮像素子１０２の出力が更新されるため、過去フレーム保存メモリ１０８に現在の撮像フレームの映像信号を保存する。それと同時に、フレーム補間部１０４は、過去フレーム保存メモリ１０８から直前の映像フレームの映像信号を読み出し、撮像素子１０２から出力される現在の映像フレームの映像信号との加算平均を算出し、補間フレームの映像信号として出力する。一方、ＦＲＭ＿ＶＬＤが“Ｌ”のときは、撮像素子１０２の露光を継続中でフレームが更新されないため、過去フレーム保存メモリ１０８から読み出した映像信号をそのまま出力する。

【0028】

図９には、スローシャッタ撮影モードにおけるフレーム補間のフローチャートの例を示してある。フレーム補間部１０４はまず、スローシャッタ撮影モードか否かを判定する（ステップＳ１）。スローシャッタ撮影モードでない場合、つまり、通常撮影モードの場合（ステップＳ１；Ｎｏ）は、撮像素子１０２からの現在の撮像フレームの映像信号をそのまま出力する（ステップＳ７）。

【0029】

スローシャッタ撮影モードの場合（ステップＳ１；Ｙｅｓ）は、過去フレーム保存メモリ１０８から直前の撮像フレームの映像信号を読み出すとともに（ステップＳ２）、ＦＲＭ＿ＶＬＤ信号が“Ｈ”であるか否かを判定する（ステップＳ３）。そして、ＦＲＭ＿ＶＬＤ信号が“Ｈ”の場合（ステップＳ３；Ｙｅｓ）は、撮像素子１０２からの現在の撮像フレームの映像信号を過去フレーム保存メモリ１０７に書き込みつつ（ステップＳ４）、直前の撮像フレームの映像信号との加算平均を算出してその結果を出力する（ステップＳ５）。一方、ＦＲＭ＿ＶＬＤ信号が“Ｌ”の場合（ステップＳ３；Ｎｏ）は、過去フレーム保存メモリ１０８から読み出した直前の撮像フレームの映像信号を出力する（ステップＳ６）。

【0030】

ここで、上記の説明におけるスローシャッタ撮影モードでは、図７のように、撮像フレーム周期Ｔ３における露光時間をＴ４，Ｔ６，Ｔ８の３分割にするＥＸＰ＿ＰＵＬＳＥを生成したが、これは例示に過ぎない。一例として、図１０に示すように、撮像フレーム周期Ｔ３における露光時間をＴ２１，Ｔ２２の２分割にするＥＸＰ＿ＰＵＬＳＥを生成してもよい。別の例として、図１１に示すように、撮像フレーム周期Ｔ３における露光時間をＴ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３５の５分割にするＥＸＰ＿ＰＵＬＳＥを生成してもよい。目標とする映像表現に応じて、それに適した映像信号が得られるように露光タイミングを制御すればよい。

【0031】

また、上記の説明におけるスローシャッタ撮影モードでは、出力フレーム周期に対する撮像フレーム周期の比率を２倍にしたが、１．５倍や３倍などの別の比率にしてもよい。この場合には、上記の説明のような単純な加算平均ではなく、現在及び／又は過去の映像信号に所定の重み付け係数を乗算した後に加算して平均することで、各映像信号の合成比率を調整すればよい。なお、出力フレーム周期に対する撮像フレーム周期の比率を２倍にする場合にも、上記の説明のような単純な加算平均ではなく、各映像信号の合成比率を調整するようにしてもよい。

【0032】

以上のように、本例の撮像装置は、スローシャッタ撮影モードでの撮像フレーム周期内に２つ以上の分離した露光時間が生じるように撮像素子１０７の露光状態を制御する露光制御部１０２と、撮像素子１０２により取得された撮像フレーム毎の映像信号のうち、少なくとも直前の撮像フレームの映像信号を記憶する過去フレーム保存メモリ１０８と、スローシャッタ撮影モードにおいて、映像出力のフレームタイミングのうちの所定のフレームタイミングでは、撮像素子１０２により取得された現在の撮像フレームの映像信号と過去フレーム保存メモリ１０８に記憶された直前の撮像フレームの映像信号とに基づいて補間された映像信号を出力し、他のフレームタイミングでは、過去フレーム保存メモリ１０８に記憶された直前の撮像フレームの映像信号を出力するフレーム補間部１０４とを備えている。

【0033】

このように、スローシャッタ撮影モードにおいて、撮像フレーム周期内に２つ以上の分離した露光時間が生じるように撮像素子１０７の露光状態を制御するとともに、現在の撮像フレームの映像信号と直前の撮像フレームの映像信号に基づいて補間フレームの映像信号を生成して出力するように構成することで、従来よりも自然な映像出力を得ることが可能となる。また、一般的に用いられるオプティカルフローによる補間に比べて処理が単純であるため、機能リソースの面において汎用性が高く、遅延時間も小さくすることができる。

【0034】

以上、本発明の実施形態について説明したが、これら実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、その他の様々な実施形態をとることが可能であると共に、本発明の要旨を逸脱しない範囲で、省略や置換等の種々の変形を行うことができる。これら実施形態及びその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0035】

また、本発明は、上記の説明で挙げたような装置や、これら装置で構成されたシステムとして提供することが可能なだけでなく、これら装置により実行される方法、これら装置の機能をプロセッサにより実現させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0036】

本発明は、映像出力のフレームレートより低いフレームレートで撮像素子を動作させるスローシャッタ撮影モードを有する撮像装置に利用することが可能である。

【符号の説明】

【0037】

１０１：レンズ、 １０２：撮像素子、 １０３：Ａ／Ｄ変換部、 １０４：フレーム補間部、 １０５：映像調整部、 １０６：信号出力部、 １０７：露光制御部、 １０８：過去フレーム保存メモリ、 ２０１：ＨＶカウンタ、 ２０２：フレーム加算平均算出部、 ２０３：出力選択部、 ３０１：ＴＤＣ回路、 ３０２：時間判定部、 ３０３：ＲＳ－フリップフロップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】