特開 2025-21895 信号処理装置、撮像システム及び信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025021895

(43)【公開日】2025-02-14

(54)【発明の名称】信号処理装置、撮像システム及び信号処理方法

(51)【国際特許分類】

   H04N 25/70 20230101AFI20250206BHJP

【ＦＩ】

H04N25/70

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023125988

(22)【出願日】2023-08-02

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(72)【発明者】

【氏名】薄井 武順

(72)【発明者】

【氏名】北村 和也

(72)【発明者】

【氏名】菊地 幸大

(72)【発明者】

【氏名】冨岡 宏平

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024GX02

(57)【要約】

【課題】アーティファクトの発生を抑止する。
【解決手段】信号処理装置は、画素ごと又は共有画素構造ごとに画素値を取得可能なイメージセンサを用いて撮影された第１映像信号に含まれる連続するフレームを比較し、制御単位ごとに、動領域と静止領域とに判定する判定部と、動領域と静止領域とに応じて異なる処理によりフレーム画像を生成するフレーム画像生成部と、フレーム画像生成部により生成されたフレーム画像を用いて、第１映像信号よりフレームレートが高い第２映像信号を生成する映像信号生成部と、を備え、フレーム画像生成部は、１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、動領域と判定された制御単位については、共有画素構造から取得された画素値をサブフレームごとの画素値とし、静止領域と判定された制御単位については、画素から取得された画素値をサブフレームごとの画素値とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサを用いて撮影された映像信号を処理する信号処理装置であって、
前記イメージセンサを用いて撮影された第１映像信号に含まれる連続するフレームを比較し、複数の画素を含む制御単位ごとに、画素値の変化が大きい領域である動領域と、画素値の変化が小さい領域である静止領域とに判定する判定部と、
前記動領域と前記静止領域とに応じて異なる処理によりフレーム画像を生成するフレーム画像生成部と、
前記フレーム画像生成部により生成されたフレーム画像を用いて、前記第１映像信号よりフレームレートが高い第２映像信号を生成する映像信号生成部と、
を備え、
前記フレーム画像生成部は、
１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、
前記動領域と判定された前記制御単位については、前記共有画素構造から取得された画素値をサブフレームごとの画素値とし、
前記静止領域と判定された前記制御単位については、前記画素から取得された画素値をサブフレームごとの画素値とする
信号処理装置。

【請求項2】

前記判定部は、前記静止領域について、画素値の変化がゼロである完全静止領域であるか、画素値の変化がゼロでないものの所定の閾値以下である準静止領域であるかを更に判定し、
前記フレーム画像生成部は、前記完全静止領域と前記準静止領域とに応じて異なる処理によりフレーム画像を生成する
請求項１に記載の信号処理装置。

【請求項3】

前記フレーム画像生成部は、前記完全静止領域と判定された前記制御単位については、サブフレームごとに異なる前記画素から取得された画素値を合成することによりフレーム画像を生成する
請求項２に記載の信号処理装置。

【請求項4】

前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位については、サブフレームごとに異なる前記画素から取得された画素値と、取得された画素値に基づき補完を行った画素値とを合成することによりフレーム画像を生成する
請求項２に記載の信号処理装置。

【請求項5】

前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位について、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成する
請求項４に記載の信号処理装置。

【請求項6】

前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位について、第１のサブフレームにおいては、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成し、
第２のサブフレームにおいては、前記第１のサブフレームにおいて読み出されなかった前記画素の画素値であって、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成する
請求項５に記載の信号処理装置。

【請求項7】

複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサと、
前記イメージセンサを用いて撮影された映像信号を処理する請求項１から請求項６のいずれか一項に記載の信号処理装置と
を備える撮像システム。

【請求項8】

複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサを用いて撮影された映像信号を処理する信号処理方法であって、
前記イメージセンサを用いて撮影された第１映像信号に含まれる連続するフレームを比較し、複数の画素を含む制御単位ごとに、画素値の変化が大きい領域である動領域と、画素値の変化が小さい領域である静止領域とに判定する判定工程と、
前記動領域と前記静止領域とに応じて異なる処理によりフレーム画像を生成するフレーム画像生成工程と、
前記フレーム画像生成工程により生成されたフレーム画像を用いて、前記第１映像信号よりフレームレートが高い第２映像信号を生成する映像信号生成工程と、
を有し、
前記フレーム画像生成工程は、
１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、
前記動領域と判定された前記制御単位については、前記共有画素構造から取得された画素値をサブフレームごとの画素値とし、
前記静止領域と判定された前記制御単位については、前記画素から取得された画素値をサブフレームごとの画素値とする
信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理装置、撮像システム及び信号処理方法に関する。

【背景技術】

【0002】

従来、撮像素子は、撮像レンズによって結像された光を、二次元平面状に整列したフォトダイードを用いて光電変換し、フォトダイオードに蓄積された光誘起電荷を読み出して光の強度の２次元空間分布を画像として取得する機能を持つ半導体チップである。また、動画像取得用の撮像素子は、画素に蓄積された電荷を周期的に読み出し、連続するフレーム画像を撮像することにより、動画像を撮影する。

【0003】

動画像の撮影では、一般的に水平方向の画素数をＨ、垂直方向の画素数をＶ、画像を読み出す周期であるフレームレートをＦ［ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）］とすると、１秒間に読み出す画素数である“画素読み出しレート”は、Ｈ×Ｖ×Ｆ［ｐｉｘｅｌ／ｓｅｃ］の乗算結果により得られる。この“画素読み出しレート”の値が、消費電力、Ａ／Ｄ変換回路の性能、さらには、出力データレート等に大きな影響を与える。撮像素子の分野では、微細製造プロセスや三次元積層技術などの先端半導体製造技術の導入に加え、回路技術やチップ上の信号処理を改善して性能向上が図られているが、それらによっても画素読み出しレートを高めることは容易ではない。

【0004】

一般的な動画像取得方式では、撮像素子の構造から取得される動画像の空間解像度（水平および垂直方向の画素数）および時間解像度（フレームレート）は、何れも撮影中は一定となるように設定されているが、動画像の性質に鑑みれば、必ずしも一定である必要はない。すなわち、静止している物体を撮影する場合にはフレームレートを高く維持する必要は無く、低いフレームレートで撮影した場合でも、主観的画質の低下を抑制することが可能である。他方、動いている物体を撮影する場合には、動きぼやけにより空間周波数が低下したものとなっているため、空間解像度を高く維持する必要は無く、低い空間解像度で撮影した場合でも、主観画質の低下を抑制することが可能である。

【0005】

上述した動画像の性質に鑑みると、撮影される物体が静止している場合には空間解像度を高くかつフレームレートを低くし、物体が動いている場合には、空間解像度を低く、かつフレームレートを高くするように撮影ことが可能な撮像素子は、空間解像度とフレームレートを共に高く撮影する撮像素子に比較して、画素読み出しレートを低く抑えながら、主観的画質の低下を抑えることが可能である。また、一般的に、撮影される画面中には、動きの速さが異なる様々な物体が含まれていることから、高空間解像度かつ低フレームレートで撮影される領域（静止領域）と、低空間解像度かる高フレームレートで撮影される領域（動領域）が、互いに組み合わせられて画面が構成されることが望ましい。

【0006】

このような撮影の実現に向けた技術として、特許文献１に記載されている画素並列構造を用いた撮像素子が知られている。この撮像素子は、三次元積層構造を利用して１画素に対して１個のＡ／Ｄ変換回路を画素と同一面積で形成する構造を備えている。このような構造では、各画素に独立して読み出し動作を行うことができることから、空間解像度とフレームレートの制御を実現することが可能である。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】国際公開第ＷＯ２０１６／００９８３２号

【特許文献2】特開２０２２－１２３５３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述した特許文献１に記載された技術においては、画素をＡ／Ｄ変換回路の面積より小さくすることが困難であるため、画素（フォトダイオード：ＰＤ）の小型化に限界がある。そこで、小型化を実現するために、１画素あたりのトランジスタ数を抑えることが考えられる。１画素あたりのトランジスタ数を抑えるため、複数の画素が１つのフローティングディフュージョンＦＤ、増幅トランジスタＳＦ、選択トランジスタＳＬを共有する共有画素構造を採用することによって、１画素あたりのトランジスタの数を抑えることが一般的となっている。例えば、共有画素構造１つあたりに追加するトランジスタを１個に抑制して小型化を図りつつ、空間解像度と時間解像度の２つの要素をより細かく制御し得る構造を備えた撮像素子が提案されている。このような技術を開示した文献として、特許文献２を例示することができる。

【0009】

特許文献２に記載されているような共有画素構造を採用する場合、任意の制御単位ごとに高空間解像かつ低フレームレートでビニングを行わないモード（以下、標準モードと記載する。）と、低空間解像度かつ高フレームレートでビニングを行うモード（以下、高速モードと記載する。）のいずれかを選択して、撮影可能である。標準モードの１フレーム期間をＴとすると、高速モードでは、４画素分の電荷を共通ＦＤから同時に読み出すため、Ｔ／４（サブフレーム期間）の時間周期で読み出しが可能であり、低解像度ではあるが４倍のフレームレートで撮影することが可能となる。

【0010】

一方、標準モードの場合、１画素あたりのトランジスタの数を抑制するために、信号値の読み出しライン及び、ＦＤが、１つの共有画素構造あたり１つとなっており、第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、及び第４画素ＰＤ４で互いに共通となる。Ｔ／４の期間で読み出し可能な信号値は、第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、及び第４画素ＰＤ４のうち、いずれか１つのＰＤに限定される。したがって、Ｔ／４の期間に１つずつ読み出していき、期間Ｔの期間に、すべての画素ＰＤからの信号値の読み出しを行う。

【0011】

このことは静止している領域では大きな問題とならないが、物体が撮像面で１フレームあたり１から２画素の範囲で動くような場合、物体が動いているにも関わらず静止領域として標準駆動モードで撮像されると、近傍画素での信号値の読み出しタイミングが大きく異なっているため、アーティファクトが発生してしまうといった問題があった。

【0012】

そこで本発明は、アーティファクトの発生を抑止することが可能な信号処理装置、撮像システム及び信号処理方法を提供しようとするものである。

【課題を解決するための手段】

【0013】

［１］上記の課題を解決するため、本発明の一態様は、複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサを用いて撮影された映像信号を処理する信号処理装置であって、前記イメージセンサを用いて撮影された第１映像信号に含まれる連続するフレームを比較し、複数の画素を含む制御単位ごとに、画素値の変化が大きい領域である動領域と、画素値の変化が小さい領域である静止領域とに判定する判定部と、前記動領域と前記静止領域とに応じて異なる処理によりフレーム画像を生成するフレーム画像生成部と、前記フレーム画像生成部により生成されたフレーム画像を用いて、前記第１映像信号よりフレームレートが高い第２映像信号を生成する映像信号生成部と、を備え、前記フレーム画像生成部は、１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、前記動領域と判定された前記制御単位については、前記共有画素構造から取得された画素値をサブフレームごとの画素値とし、前記静止領域と判定された前記制御単位については、前記画素から取得された画素値をサブフレームごとの画素値とする信号処理装置である。

【0014】

［２］また、本発明の一態様は、上記［１］に記載の信号処理装置において、前記判定部は、前記静止領域について、画素値の変化がゼロである完全静止領域であるか、画素値の変化がゼロでないものの所定の閾値以下である準静止領域であるかを更に判定し、前記フレーム画像生成部は、前記完全静止領域と前記準静止領域とに応じて異なる処理によりフレーム画像を生成するものである。

【0015】

［３］また、本発明の一態様は、上記［１］又は［２］に記載の信号処理装置において、前記フレーム画像生成部は、前記完全静止領域と判定された前記制御単位については、サブフレームごとに異なる前記画素から取得された画素値を合成することによりフレーム画像を生成するものである。

【0016】

［４］また、本発明の一態様は、上記［１］から［３］のいずれかに記載の信号処理装置において、前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位については、サブフレームごとに異なる前記画素から取得された画素値と、取得された画素値に基づき補完を行った画素値とを合成することによりフレーム画像を生成するものである。

【0017】

［５］また、本発明の一態様は、上記［１］から［４］のいずれかに記載の信号処理装置において、前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位について、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成するものである。

【0018】

［６］また、本発明の一態様は、上記［５］に記載の信号処理装置において、前記フレーム画像生成部は、前記準静止領域と判定された前記制御単位について、第１のサブフレームにおいては、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成し、第２のサブフレームにおいては、前記第１のサブフレームにおいて読み出されなかった前記画素の画素値であって、モザイク状に配置された前記画素から取得された画素値と、画素値が取得されなかった前記画素において補完された画素値とを合成することによりフレーム画像を生成するものである。

【0019】

［７］また、本発明の一態様は、複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサと、前記イメージセンサを用いて撮影された映像信号を処理する上記［１］から［４］のいずれかに記載の信号処理装置とを備える撮像システムである。

【0020】

［８］また、本発明の一態様は、複数の画素を構成要素とする共有画素構造を複数有し、前記画素ごと又は前記共有画素構造ごとに画素値を取得可能なイメージセンサを用いて撮影された映像信号を処理する信号処理方法であって、前記イメージセンサを用いて撮影された第１映像信号に含まれる連続するフレームを比較し、複数の画素を含む制御単位ごとに、画素値の変化が大きい領域である動領域と、画素値の変化が小さい領域である静止領域とに判定する判定工程と、前記動領域と前記静止領域とに応じて異なる処理によりフレーム画像を生成するフレーム画像生成工程と、前記フレーム画像生成工程により生成されたフレーム画像を用いて、前記第１映像信号よりフレームレートが高い第２映像信号を生成する映像信号生成工程と、を有し、前記フレーム画像生成工程は、１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、前記動領域と判定された前記制御単位については、前記共有画素構造から取得された画素値をサブフレームごとの画素値とし、前記静止領域と判定された前記制御単位については、前記画素から取得された画素値をサブフレームごとの画素値とする信号処理方法である。

【発明の効果】

【0021】

本発明によれば、アーティファクトの発生を抑止することが可能な信号処理装置、撮像システム及び信号処理方法を提供することができる。

【図面の簡単な説明】

【0022】

【図1】実施形態１に係る撮像システムの機能構成の一例を示す機能構成図である。

【図2】実施形態１に係る共有画素構造を有する撮像素子の画素構成の一例について説明するための図である。

【図3】実施形態１に係る駆動モードの判別チャートの一例である。

【図4】実施形態１に係る標準駆動モードにおける共有画素構造内の画素値読み出しタイミングの一例を示すタイミングチャートである。

【図5】実施形態１に係る高速駆動モードにおける画素値読み出しのイメージを記載したイメージ図である。

【図6】実施形態１に係る高速駆動モードにおける信号処理のイメージを記載したイメージ図である。

【図7】実施形態１に係る標準駆動モードにおける画素値読み出しのイメージを記載したイメージ図である。

【図8】実施形態１に係る標準駆動モードにおける完全静止領域における信号処理のイメージを記載したイメージ図である。

【図9】実施形態１に係る標準駆動モードにおける準静止領域における信号処理のイメージを記載したイメージ図である。

【図10】実施形態２に係る三板式撮像システムにおける標準駆動モードにおける準静止領域における信号処理のイメージを記載したイメージ図である。

【図11】本実施形態に係る信号処理装置の内部構成の一例を示すブロック図である。

【発明を実施するための形態】

【0023】

［実施形態］
本発明の態様に係る信号処理装置、撮像システム及び信号処理方法について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0024】

［実施形態１］
図１は、実施形態１に係る撮像システムの機能構成の一例を示す機能構成図である。まず、同図を参照しながら、実施形態１に係る撮像システム１の機能構成の一例について説明する。撮像システム１は、信号処理装置１０とイメージセンサ（撮像素子）２０とを備える。信号処理装置１０とイメージセンサ２０とは、１つの撮像装置として１つの筐体に収められていてもよいが、それぞれ異なる装置として構成されていてもよい、信号処理装置１０及びイメージセンサ２０が、それぞれ異なる装置として構成される場合、信号処理装置１０及びイメージセンサ２０は、不図示の通信ネットワークにより接続されてもよい。

【0025】

イメージセンサ２０は、動画像撮像用の撮像素子である。イメージセンサ２０は、例えば、４Ｋ６０ｐ（すなわち画面解像度が３８４０×２１６０［ピクセル］でありフレームレートが３０［ＦＰＳ］）又は２Ｋ２４０ｐ（すなわち画面解像度が２５６０×１４４０［ピクセル］でありフレームレートが２４０［ＦＰＳ］）で動画像を撮影可能であってもよい。イメージセンサ２０は、不図示の画素値読み出し手段により画素値が読み出され、読み出された画素値は、画素値情報ＰＤＩとして信号処理装置１０に提供される。画素値読み出し手段は、イメージセンサ２０に含まれていてもよい。なお、イメージセンサ２０は、所定時間に受光する光の量に変化があった場合にイベント発生トリガ信号を出力するイベントトリガ型の撮像素子であってもよい。

【0026】

図２は、実施形態１に係る共有画素構造を有する撮像素子の画素構成の一例について説明するための図である。同図を参照しながら、イメージセンサ２０の画素構成の一例について説明する。イメージセンサ２０は、図示するように、共有画素構造ＣＰを複数有する。共有画素構造ＣＰの各々は、マトリックス状に並べられた複数の撮像素子ＰＤから構成される。図示する一例において、１つの共有画素構造ＣＰの中には、４つの画素、すなわち第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、及び第４画素ＰＤ４が配置される。共有画素構造ＣＰは、複数の画素ＰＤを構成要素として有するということもできる。イメージセンサ２０は、画素ＰＤごと、又は共有画素構造ＣＰごとに画素値を取得可能である。なお、１つの共有画素構造ＣＰの中には、複数の画素が含まれていればよく、例えば、８個の画素、又は１６個の画素が含まれていてもよい。

【0027】

なお、本実施形態委においては、４つの共有画素構造ＣＰを、１つの制御単位ＣＵとして、個別に駆動モードを設定することができる。同図には、制御単位ＣＵとして、第１制御単位ＣＵ１と、第２制御単位ＣＵ２とが示されている。例えば、第１制御単位ＣＵ１については高速駆動モード、第２制御単位ＣＵ２については標準駆動モードのように、それぞれの制御単位ＣＵごとに異なる駆動モードで駆動することが可能である。なお、１つの制御単位ＣＵの中には、１つ以上の共有画素構造ＣＰが含まれていればよく、例えば、１個の共有画素構造ＣＰ、又は４個の共有画素構造ＣＰが含まれていてもよい。

【0028】

図１に戻り、信号処理装置１０は、イメージセンサ２０から画素値情報ＰＤＩを取得する。信号処理装置１０は、取得した画素値情報ＰＤＩに基づき、映像信号の処理を行う。
信号処理装置１０は、イメージセンサ２０により撮影された映像信号より、高解像度かつ高フレームレートの映像信号を生成する。具体的に、信号処理装置１０は、画素値情報ＰＤＩから生成された４Ｋ６０ｐ又は２Ｋ２４０ｐの映像信号に基づき、４Ｋ２４０ｐ（すなわち画面解像度が３８４０×２１６０［ピクセル］でありフレームレートが２４０［ＦＰＳ］）の映像信号を生成する。

【0029】

信号処理装置１０は、カメラ信号処理部１１と、判定部１２と、フレーム画像生成部１３と、映像信号生成部１４と、記憶部１５とを機能構成として備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有するコンピュータおよびソフトウェアによって実現するようにしてもよい。また、各機能部の全てまたは一部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されてもよい。また、各機能部の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。

【0030】

カメラ信号処理部１１は、イメージセンサ２０から取得した画素値情報ＰＤＩに基づき、第１映像信号ＶＩ１を生成する。第１映像信号ＶＩ１とは、信号処理装置１０が映像信号の生成を行うために用いられる映像信号であって、高解像度かつ高フレームレートに変換前の映像信号である。第１映像信号ＶＩ１は、例えば、４Ｋ６０ｐ又は２Ｋ２４０ｐの映像信号である。カメラ信号処理部１１は、生成した第１映像信号ＶＩ１を、判定部１２に出力する。

【0031】

判定部１２は、イメージセンサを２０用いて撮影された第１映像信号ＶＩ１に含まれるフレーム画像であって、連続するフレーム画像を互いに比較する。判定部１２は、比較した結果、制御単位ＣＵごとに、当該領域についての判定を行う。判定部１２は、例えば、当該領域が動領域であるか静止領域であるかの情報を、イメージセンサ２０又はカメラ信号処理部１１から取得し、静止領域である領域について、完全静止領域であるか、準静止領域であるかについての判定を行う。動領域とは、連続するフレーム画像間において画素値の変化が大きい領域である。静止領域とは、連続するフレーム画像間において画素値の変化が小さい領域である。動領域であるか静止領域であるかは、連続するフレーム画像間における画素値の変化が予め定められた所定の値以下であるか否かに基づいて行われてもよい。

【0032】

完全静止領域とは、連続するフレーム画像間において画素値の変化がゼロであるである領域である。準静止領域とは、連続するフレーム画像間において画素値の変化がゼロでないものの、所定の閾値以下である領域である。当該所定の閾値とは、動領域であるか静止領域であるかを判定するための閾値と同一の値であってもよい。判定部１２は、領域について判定した結果を、領域情報ＡＩとしてフレーム画像生成部１３に出力する。領域情報ＡＩには、フレーム画像が有する領域（すなわち、制御単位ＣＵ）ごとに、領域の種類（すなわち、動領域であるか、準静止領域であるか、完全静止領域であるか）を特定する情報が含まれる。なお、判定部１２は、当該領域が動領域であるか静止領域であるかの情報を、イメージセンサ２０又はカメラ信号処理部１１から取得することに代えて、自身が判定を行うことにより、動領域であるか静止領域であるかの情報を取得してもよい。

【0033】

図３は、実施形態１に係る駆動モードの判別チャートの一例である。同図を参照しながら、判定部１２による駆動モードの判定の一例について説明する。判定部１２は、まず、領域ごとに動きベクトルＶを算出する。判定部１２が判定を行う領域とは、すなわち制御単位ＣＵごとであってもよい。動きベクトルＶの算出処理では、具体的には、１フレームごとに、フレーム間の差分等が計算される。動きベクトルＶとは、すなわちフレーム画像間の画素値の変化量を示すものである。

【0034】

領域ごとの動きベクトルＶが算出された結果、動きベクトルＶの値が閾値αより大きい場合には、動領域と判定される。動領域と判定された領域においては、高速駆動モードで駆動される。一方、領域ごとの動きベクトルＶが算出された結果、動きベクトルＶの値が閾値α以下の場合には、静止領域と判定される。静止領域と判定された領域においては、標準駆動モードで駆動される。すなわち、本実施形態によれば、１つのフレーム画像の中で、高速駆動モードで駆動される領域と、標準駆動モードで駆動されるとが、混在することとなる。

【0035】

判定部１２は、静止領域のうち、更に動きベクトルＶがゼロである場合には、完全静止領域と判定する。更に判定部１２は、静止領域のうち、動きベクトルがゼロでないものの十分に小さい場合（閾値α以下の場合）には準静止領域と判定する。なお、閾値αの値は任意に設定することが可能である。閾値αの設定基準としては、概ね、２ピクセル／フレーム以上の動きのある領域は、動領域、それ以下を準静止領域、ほとんど動きのない領域を完全静止領域とするのが好適である。

【0036】

図１に戻り、フレーム画像生成部１３は、判定部１２により判定された領域に応じた方法により、信号処理装置１０が生成する第２映像信号ＶＩ２の構成要素となるフレーム画像を生成する。フレーム画像生成部１３は、１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、各サブフレーム期間におけるフレーム画像を生成する。フレーム画像生成部１３は、動領域と静止領域とに応じて異なる処理によりフレーム画像を生成する。また、フレーム画像生成部１３は、静止領域のうち、完全静止領域と準静止領域とに応じて異なる処理によりフレーム画像を生成する。フレーム画像生成部１３は、生成したフレーム画像を、フレーム画像情報ＦＩとして映像信号生成部１４に出力する。

【0037】

映像信号生成部１４は、フレーム画像生成部１３により生成されたフレーム画像を用いて、第１映像信号ＶＩ１よりフレームレートが高い第２映像信号ＶＩ２を生成する。映像信号生成部１４により生成された第２映像信号ＶＩ２は、例えば記憶部１５に記憶される。記憶部１５に記憶された第２映像信号ＶＩ２は、例えば撮像システム１外部からの出力命令に応じて、出力されてもよい。

【0038】

図４は、実施形態１に係る標準駆動モードにおける共有画素構造内の画素値読み出しタイミングの一例を示すタイミングチャートである。同図を参照しながら、標準駆動モードにおける画素値読み出しタイミングの一例について説明する。本実施形態において、１フレーム期間Ｔは、４つのサブフレーム（ＳＦ）期間から構成される。換言すれば、フレーム画像生成部１３は、１フレームの表示に要するフレーム期間を複数のサブフレーム期間に時分割し、処理を行う。各画素ＰＤからは、それぞれサブフレームごと（すなわちサブフレーム期間Ｔ／４間隔）で、画素値の読み出しが行われる。

【0039】

より具体的には、１フレーム期間Ｔの中で、Ｔ／４経過時において第１画素ＰＤ１から画素値が読み出され、２Ｔ／４経過時において第２画素ＰＤ２から画素値が読み出され、３Ｔ／４経過時において第３画素ＰＤ３から画素値が読み出され、Ｔ経過時において第４画素ＰＤ３から画素値が読み出される。このように、各画素ＰＤにおける露光期間は、Ｔとなる。

【0040】

次に、図５及び図６を参照しながら、高速駆動モードにおけるサブフレーム画像生成処理の一例について説明する。図５は、実施形態１に係る高速駆動モードにおける画素値読み出しのイメージを記載したイメージ図である。図６は、実施形態１に係る高速駆動モードにおける信号処理のイメージを記載したイメージ図である。高速駆動モードとは、動領域と判定された制御単位ＣＵにおいて行われる処理である。

【0041】

高速駆動モードでは、共有画素構造ＣＰから取得された画素値をサブフレームごとの画素値とし、低画素かつ高フレームレートのフレーム画像が生成される。換言すれば、高速駆動モードでは、第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、第４画素ＰＤ４がビニングされる。図５に示すように、１つのサブフレーム期間において、第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、第４画素ＰＤ４の全ての画素値が積算された信号値が読み出される。また、図６に示すように、それぞれのサブフレーム期間内において、第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、第４画素ＰＤ４の全ての画素ＰＤからの読み出しが完了し、読み出された信号値が、そのままサブフレームの出力画像（フレーム画像）となる。

【0042】

図７は、実施形態１に係る標準駆動モードにおける画素値読み出しのイメージを記載したイメージ図である。同図を参照しながら、標準駆動モードにおけるサブフレーム画像生成処理の一例について説明する。標準駆動モードとは、静止領域と判定された制御単位ＣＵにおいて行われる処理である。標準駆動モードにおいては、画素ＰＤから取得された画素値をサブフレームごとの画素値とする点において、共有画素構造ＣＰから取得された画素値をサブフレームごとの画素値とする高速駆動モードと異なる。

【0043】

標準駆動モードでは、第１サブフレーム期間ＳＦ１の間に第１画素ＰＤ１の信号値が読み出され、第２サブフレーム期間ＳＦ２の間に第４画素ＰＤ４の信号値が読みだされ、第３サブフレーム期間ＳＦ３の間に第２画素ＰＤ２の信号値が読み出され、第４サブフレーム期間ＳＦ４の間に第３画素ＰＤ３の信号値が読み出される。すなわち、標準駆動モードでは、１フレーム期間において、共有画素構造ＣＰに含まれる画素ＰＤの全ての信号値がそれぞれ読み出される。したがって、本実施形態においては、１つのサブフレーム期間ＳＦの間、共有画素構造ＣＰに含まれる全ての画素ＰＤに対する信号値を読み出すことができないために、信号値を補完して出力画像を生成する。

【0044】

信号値の補完方法は、静止領域のうち、完全静止領域と、準静止領域とで、それぞれ異なる。完全静止領域及び準静止領域における信号値の補完方法について、図８及び図９を参照しながら説明する。完全静止領域及び準静止領域のいずれにおいても、各サブフレーム期間において読み出されたいずれかの画素ＰＤの画素値に基づき、出力画像（フレーム画像）が生成される。図８及び図９を参照しながら行う説明において、共有画素構造ＣＰに含まれるそれぞれの画素ＰＤである第１画素ＰＤ１、第２画素ＰＤ２、第３画素ＰＤ３、第４画素ＰＤ４から読み出された信号値を、それぞれ第１信号値Ｓ１、第４信号値Ｓ４、第２信号値Ｓ２、第３信号値Ｓ３と記載する。

【0045】

図８は、実施形態１に係る標準駆動モードにおける完全静止領域における信号処理のイメージを記載したイメージ図である。まず、同図を参照しながら、完全静止領域における信号値の補完方法の一例について説明する。完全静止領域とは、図３を参照しながら説明したように、動きベクトルＶがゼロである領域である。すなわち、完全静止領域では、画素値の時間的な変化がほぼゼロである。したがって、完全静止領域では時間的な変化がほぼゼロであるため、図８に示すように、すべてのサブフレーム期間においてそれぞれ読み出された信号値を、時間方向に合成することによりフレーム画像を生成することが可能である。

【0046】

より具体的には、標準駆動モードにおける完全静止領域においては、第１サブフレーム期間ＳＦ１において読み出された第１信号値Ｓ１と、第２サブフレーム期間ＳＦ２において読み出された第４信号値Ｓ４と、第３サブフレーム期間ＳＦ３において読み出された第２信号値Ｓ２と、第４サブフレーム期間ＳＦ４において読み出された第３信号値Ｓ３とを合成し、１枚のフレーム画像とする。各サブフレームにおけるフレーム画像は、いずれも合成された１枚のフレーム画像となる。完全静止領域と判定された制御単位ＣＵについては、サブフレームごとに異なる画素ＰＤから取得された画素値を合成することによりフレーム画像が生成されるということもできる。

【0047】

図９は、実施形態１に係る標準駆動モードにおける準静止領域における信号処理のイメージを記載したイメージ図である。次に、同図を参照しながら、準全静止領域における信号値の補完方法の一例について説明する。準静止領域とは、図３を参照しながら説明したように、動きベクトルＶがゼロはないものの、所定の閾値以下である領域である。すなわち、準静止領域では、画素値の時間的な変化が緩やかに存在する。このような準静止領域について、上述したような完全静止領域における処理を適用した場合、アーティファクトの問題が発生してしまう場合がある。したがって、本実施形態においては、準静止領域において、アーティストの問題を発生させないような処理方法が行われる。

【0048】

具体的には、第１サブフレーム期間ＳＦ１の間は、第１画素ＰＤ１の信号値しか存在しないため、第１サブフレーム期間ＳＦ１と隣接するサブフレームである第２サブフレーム期間ＳＦ２の間に、第４画素ＰＤ４から読み出された信号値を利用し、補完処理が行われる。これにより、第１画素ＰＤ１の位置における第１信号値Ｓ１と第４画素ＰＤ４の位置における第１信号値Ｓ１が決定される。ここで、第１サブフレーム期間ＳＦ１と隣接しないサブフレームである第３サブフレーム期間ＳＦ３と第４サブフレーム期間ＳＦ４は、第１サブフレーム期間ＳＦ１と露光タイミングが大きく異なる。したがって、第３サブフレーム期間ＳＦ３及び第４サブフレーム期間ＳＦ４において取得される第２画素ＰＤ２及び第３画素ＰＤ３の位置における信号値である第２信号値Ｓ２及び第３信号値Ｓ３は、第１サブフレーム期間ＳＦ１におけるフレーム画像の生成に使用しない。

【0049】

この第１画素ＰＤ１の信号値である第１信号値Ｓ１と、第４画素ＰＤ４の信号値である第４信号値Ｓ４から、第２画素ＰＤ２における信号値Ｓ２’と第３画素ＰＤの位置における信号値Ｓ３’とが補間される。このような補完処理が行われた結果として得られたフレーム画像を、第１サブフレーム期間ＳＦ１のフレーム画像、及び第２サブフレーム期間ＳＦ２のフレーム画像とする。すなわち、準静止領域と判定された制御単位ＣＵについては、サブフレームＳＦごとに異なる画素ＰＤから取得された画素値と、取得された画素値に基づき補完を行った画素値とを合成することによりフレーム画像が生成される。

【0050】

なお、補間方法に関しては、単板カメラに用いられるベイヤー配列を補間する際に行う一般的なデモザイキング技術を使用することができる。例えば、上下方向、及び、左右方向で画素間相関を計算し、相関の度合いに応じて、補間処理を行う方法等を使用することができる。

【0051】

なお、第３サブフレーム期間ＳＦ３、及び第４サブフレーム期間ＳＦ４の期間においては説明を省略するが、第１サブフレーム期間ＳＦ１、及び第２サブフレーム期間ＳＦ２の期間と同様の処理を行うことにより、各サブフレームの画像データを出力することが可能となる。

【0052】

なお、準静止領域と判定された制御単位ＣＵについては、図示するようにモザイク状に配置された画素ＰＤ（例えば第１画素ＰＤ１及び第４画素ＰＤ４）から画素値を取得し、補完処理を行うことが好適である。モザイク状に配置された画素ＰＤから画素値を取得し、画素値が取得されなかった画素ＰＤ（例えば第２画素ＰＤ２及び第３画素ＰＤ３）において補完処理を行うことにより、より効果的にアーティファクトの問題の発生を抑止することができる。

【0053】

また、本実施形態においては、１つのフレーム期間を分割した４つのサブフレーム期間のうち、隣接する２つのサブフレーム期間においては、互いに同一のサブフレーム画像（例えば第１画素ＰＤ１及び第４画素ＰＤ４に基づき生成されたフレーム画像）が使用され、他の隣接する２つのサブフレーム期間においても、互いに同一のサブフレーム画像（例えば第２画素ＰＤ２及び第３画素ＰＤ３に基づき生成されたフレーム画像）が使用されてもよい。すなわち、第１のサブフレームにおいては、モザイク状に配置された画素ＰＤから取得された画素値と、画素値が取得されなかった画素ＰＤにおいて補完された画素値とを合成することによりフレーム画像を生成し、更に、第２のサブフレームにおいては、第１のサブフレームにおいて読み出されなかった画素ＰＤの画素値であって、モザイク状に配置された画素ＰＤから取得された画素値と、画素値が取得されなかった画素ＰＤにおいて補完された画素値とを合成することによりフレーム画像を生成してもよい。

【0054】

なお、上述した実施形態においては、第１サブフレーム期間ＳＦ１におけるフレーム画像と、第２サブフレーム期間ＳＦ２におけるフレーム画像とを同一のフレーム画像とし、第３サブフレーム期間ＳＦ３におけるフレーム画像と、第４サブフレーム期間ＳＦ４におけるフレーム画像とを同一のフレーム画像とした。しかしながら、本実施形態は、この一例に限定されず、第１サブフレーム期間ＳＦ１から第４サブフレーム期間ＳＦ４それぞれにおいて、ことなるフレーム画像を生成してもよい。

【0055】

［実施形態２］
次に、実施形態２について説明する。上述した実施形態１では、赤色（Ｒ）用、緑色（Ｇ）用、青色（Ｂ）用の撮像素子について、それぞれ同じ動作をすることを前提に説明した。しかしながら、Ｒ、Ｇ、Ｂの３板式の撮像システムであれば、各撮像素子で露光タイミング、及び読み出しの順番を変えることにより、本実施形態に係る処理を採用いることが可能である。実施形態２は、Ｒ、Ｇ、Ｂの３板式の撮像システムについて、本実施形態に係る処理を採用する場合の一例である。以下、図１０を参照しながら、実施形態２について説明する。

【0056】

図１０は、実施形態２に係る三板式撮像システムにおける標準駆動モードにおける準静止領域における信号処理のイメージを記載したイメージ図である。同図は、Ｇ１、Ｇ２、Ｂ１、及びＲ１の画素をベイヤー配列として有する場合の３板式撮像システムの一例である。図示するような３板式の撮像システムの場合、例えば、第１サブフレームＳＦ１の期間では、Ｇ用撮像素子は第１画素ＰＤ１の位置を、Ｂ用撮像素子は第３画素ＰＤ３の位置を、Ｒ用撮像素子は第２画素ＰＤ２の位置を読み出すことにより、Ｒ、Ｇ、Ｂそれぞれ異なるＰＤ位置の信号値を得ることができる。

【0057】

第４画素ＰＤ４の位置に関しては、第２サブフレームＳＦ２の期間に読み出した信号値が利用される。それぞれ、Ｇ１Ｇ２Ｂ１Ｒ１の信号値からデモザイキングすることにより、第１サブフレームＳＦ１における画像を作成することが可能となる。第２サブフレームＳＦ２、第３サブフレームＳＦ３、及び第４サブフレームＳＦ４の期間に関しても同様に、補間処理を行うことができる。このような補正処理を用いた場合、デモザイキングにより、空間方向に補間した際よりも精細度が高く、アーティファクトの発生を抑止した映像信号を生成することが可能となる。

【0058】

［信号処理装置の内部構成］
図１１は、本実施形態に係る信号処理装置１０の内部構成の一例を示すブロック図である。信号処理装置１０の少なくとも一部の機能は、コンピュータを用いて実現され得る。図示するように、そのコンピュータは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピュータ自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピュータ内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。また、信号処理装置１０が備える各機能部の全てまたは一部は、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、各機能部の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。

【0059】

本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。また、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0060】

１ 撮像システム
１０ 信号処理装置
１１ カメラ信号処理部
１２ 判定部
１３ フレーム画像生成部
１４ 映像信号生成部
１５ 記憶部
２０ イメージセンサ
ＣＵ 制御単位
ＣＰ 共有画素
ＰＤ 画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】