特開 2024-16541 撮像装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024016541

(43)【公開日】2024-02-07

(54)【発明の名称】撮像装置およびプログラム

(51)【国際特許分類】

   H04N 23/45 20230101AFI20240131BHJP

   H04N 23/60 20230101ALI20240131BHJP

【ＦＩ】

H04N5/225 800

H04N5/232

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022118749

(22)【出願日】2022-07-26

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(72)【発明者】

【氏名】北村 和也

(72)【発明者】

【氏名】山下 誉行

(72)【発明者】

【氏名】中村 友洋

(72)【発明者】

【氏名】安江 俊夫

(72)【発明者】

【氏名】菊地 幸大

(72)【発明者】

【氏名】冨岡 宏平

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA02

5C122EA52

5C122FB03

5C122FB15

5C122FC05

5C122FC08

5C122FH12

5C122HA46

(57)【要約】

【課題】単体の撮像装置で遅延を生じさせることなく被写体の動作速度に応じてフレームレートを切り替えることのできる撮像装置を提供する。
【解決手段】撮像装置が、イメージセンサーと、イベント検知型センサーと、制御部とを備える。イメージセンサーは、所定の画像更新レートで映像を撮像する。イベント検知型センサーは、イメージセンサーが撮像する被写体の動きの有無を検知する。制御部は、イベント検知型センサーが検知した被写体の動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の画像更新レートで映像を撮像するイメージセンサーと、
前記イメージセンサーが撮像する被写体の動きの有無を検知するためのイベント検知型センサーと、
前記イベント検知型センサーが検知した被写体の前記動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する制御部と、
を備える撮像装置。

【請求項2】

前記イメージセンサーは、当該イメージセンサーが撮像する映像内の領域ごとに撮像の際の画像更新レートを可変とすることができるものであり、
前記イベント検知型センサーは、前記領域ごとに、被写体の動きの有無を検知し、
前記制御部は、前記イベント検知型センサーが検知した、前記領域ごとの、被写体の前記動きの有無に応じて、前記領域ごとに決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する、
請求項１に記載の撮像装置。

【請求項3】

単一の撮像光学系から出射された光を、前記イメージセンサー側で結像する光と、前記イベント検知型センサー側で結像する光と、に分光する分光器、
をさらに備える請求項１または２に記載の撮像装置。

【請求項4】

光を集光し前記イメージセンサー側で結像させるための撮像光学系である第１撮像光学系と、
前記イメージセンサーが撮像する被写体を含む光を前記イベント検知型センサー側で結像させるための撮像光学系である第２撮像光学系と、
をさらに備え、
前記第１撮像光学系と前記第２撮像光学系とは、互いに別の光学系である、
請求項１または２に記載の撮像装置。

【請求項5】

所定の画像更新レートで映像を撮像するイメージセンサーと、
前記イメージセンサーが撮像する被写体の動きの有無を検知するためのイベント検知型センサーと、
を備える制御部としてコンピューターを機能させるプログラムであって、
前記制御部は、
前記イベント検知型センサーが検知した被写体の前記動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置およびプログラムに関する。

【背景技術】

【0002】

例えばテレビ放送のスポーツ中継番組などで用いられるスローモーション映像は、フレームレートの高い高速度カメラで撮像した映像を低いフレームレートで再生することによって得られる。高速度カメラは常に高いフレームレートで動作するため、通常のカメラに比べ消費電力が大きい。

【0003】

消費電力を下げるなどといった目的のために、カメラが撮影する被写体の動きに応じて、その動きが早い場合のみに高速度撮影をする撮像装置が提案されている。

【0004】

特許文献１に記載されている技術では、撮像装置は、フレームレートを変更するためのスイッチを備えている。撮影者は、撮影中にそのスイッチを操作することによってフレームレートの変更指示を入力することができる。つまり、撮影者は、撮影中の被写体の動きに応じてスイッチを操作することによって、フレームレートを変更することができる。

【0005】

特許文献２に記載されている技術では、画像信号処理装置が、撮影した画像を基に動き量を算出し、その動き量に応じて撮影する際のフレームレートを制御する。

【0006】

特許文献３に記載されている技術では、撮像装置は、周囲の画像を撮像することによって得られる画像データに基づいて、所定の事象が発生し得る可能性の高さを予測し、その結果に応じて撮像するためのフレームレートを変更することができる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８－０９９１１０号公報

【特許文献2】特許第４６８７４０４号公報

【特許文献3】特開２０２０－１３６９００号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、従来技術には、解決すべき課題が存在する。特許文献１に記載の技術を用いる場合には、撮影者が、フレーミングやズームやフォーカスなどといった本来の撮影のための操作に加えて、フレームレートを変更するための操作を行う必要があり、操作が煩雑になるという問題がある。特許文献２に記載の技術を用いる場合には、撮影された画像を基に動き量を計算しその結果に基づいてフレームレートの変更（高速度撮影への移行等）を行うまでの間に遅延が生じるという問題がある。特許文献３に記載の技術を用いる場合には、複数のカメラが必要となり、システムの構成が大きくなるとともに、システム全体での消費電力の増加を招いてしまうという問題がある。

【0009】

被写体の動きの度合いの大きさに応じてフレームレートを自動的に変えられるようにすることが望ましい。しかしながら、上記の通り従来技術では、フレームレートの切り替えの制御において遅延が生じたり、システム構成が大きくなってしまって消費電力の低減が困難であったりするという、解決すべき課題が存在していた。

【0010】

本発明は、上記の課題認識に基づいて行なわれたものであり、単体の撮像装置で遅延を生じさせることなく被写体の動作の有無等に応じてフレームレートを切り替えることのできる撮像装置およびプログラムを提供しようとするものである。

【課題を解決するための手段】

【0011】

［１］上記の課題を解決するため、本発明の一態様による撮像装置は、所定の画像更新レートで映像を撮像するイメージセンサーと、前記イメージセンサーが撮像する被写体の動きの有無を検知するためのイベント検知型センサーと、前記イベント検知型センサーが検知した被写体の前記動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する制御部と、を備えるものである。

【0012】

［２］また、本発明の一態様は、上記［１］の撮像装置において、前記イメージセンサーは、当該イメージセンサーが撮像する映像内の領域ごとに撮像の際の画像更新レートを可変とすることができるものであり、前記イベント検知型センサーは、前記領域ごとに、被写体の動きの有無を検知し、前記制御部は、前記イベント検知型センサーが検知した、前記領域ごとの、被写体の前記動きの有無に応じて、前記領域ごとに決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する、というものである。

【0013】

［３］また、本発明の一態様は、上記［１］または［２］の撮像装置において、単一の撮像光学系から出射された光を、前記イメージセンサー側で結像する光と、前記イベント検知型センサー側で結像する光と、に分光する分光器、をさらに備えるものである。

【0014】

［４］また、本発明の一態様は、上記［１］または［２］の撮像装置において、光を集光し前記イメージセンサー側で結像させるための撮像光学系である第１撮像光学系と、前記イメージセンサーが撮像する被写体を含む光を前記イベント検知型センサー側で結像させるための撮像光学系である第２撮像光学系と、をさらに備え、前記第１撮像光学系と前記第２撮像光学系とは、互いに別の光学系である、というものである。

【0015】

［５］また、本発明の一態様は、所定の画像更新レートで映像を撮像するイメージセンサーと、前記イメージセンサーが撮像する被写体の動きの有無を検知するためのイベント検知型センサーと、を備える制御部としてコンピューターを機能させるプログラムであって、前記制御部は、前記イベント検知型センサーが検知した被写体の前記動きの有無に応じて決定される画像更新レートで前記イメージセンサーが撮像を行うように制御する、プログラムである。

【発明の効果】

【0016】

本発明によれば、撮像装置は、被写体の動きの有無に応じた撮像時のフレームレートの切り替えの制御を遅延なく行うことができるようになる。これにより、例えば、通常速度撮影から高速度撮影への移行を遅延なく行うことが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の第１実施形態による撮像装置の概略機能構成を示すブロック図である。

【図2】同実施形態において撮像画面全体のフレームレート（画像更新レート）を一律とする場合の、（Ａ）イメージセンサーの画面領域と（Ｂ）イベント検知型センサーの画面領域との関係を示す概略図である。

【図3】同実施形態において撮像画面内の領域ごとに異なるフレームレート（画像更新レート）を設定可能とする場合の、（Ａ）イメージセンサーの画面領域と（Ｂ）イベント検知型センサーの画面領域との関係を示す概略図である。

【図4】第２実施形態による撮像装置の概略機能構成を示すブロック図である。

【図5】第１実施形態や第２実施形態における撮像装置が内部に備えるコンピューターの構成の例を示すブロック図である。

【発明を実施するための形態】

【0018】

［第１実施形態］
次に、本発明の実施形態について、図面を参照しながら説明する。本実施形態の撮像装置は、前記の課題を解決するために、フレームレート可変型の高速イメージセンサーを用いて実現される。また、本実施形態の撮像装置は、さらに、イベント検知型センサーと、同一の被写体の光学像を各センサーにおいて結像するための光学系と、上記高速イメージセンサーを駆動するための駆動部を備える。本実施形態では、イベント検知型センサーがイベント（被写体の動き）を検知し、その結果に基づいて高速イメージセンサーでの撮像のためのフレームレートを制御する。

【0019】

図１は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置１は、レンズ（光学系）２１と、分光器２２と、高速イメージセンサー２３Ｒ、２３Ｇ，および２３Ｂと、イベント検知型センサー２４と、イベント信号処理部３１と、センサー駆動部３２と、映像信号処理部３３とを含むように構成される。

【0020】

撮像装置１は、光学系と電子回路とを用いて実現される。高速イメージセンサー２３Ｒ、２３Ｇ，および２３Ｂや、イベント検知型センサー２４のそれぞれは、画素単位で受光する光量に基づいた電気信号を出力する。電子回路の処理の部分では、必要に応じて、半導体メモリーや磁気ハードディスク装置などといった記憶手段を内部に持つようにしてよい。また、処理の一部をコンピューターおよびソフトウェアによって実現するようにしてもよい。

【0021】

レンズ（光学系）２１は、入射光を集光し、後述する高速イメージセンサー２３Ｒ、２３Ｇ，および２３Ｂや、イベント検知型センサー２４の撮像面において被写体の像を結像させる作用を有するものである。

【0022】

分光器２２は、レンズ２１を通して入射される光を分光する。分光器２２は、入射光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）、および赤外（ＩＲ）に分光し、それぞれの光の成分を高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂ、およびイベント検知型センサー２４に振り向ける。分光器２２としては、例えば、４板式プリズム光学系を用いる。赤、緑、青、および赤外の光は、これらそれぞれのセンサーにおいて結像する。つまり、分光器２２は、単一の撮像光学系（レンズ（光学系）２１）から出射された光を、イメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂ）側で結像する光と、イベント検知型センサー２４側で結像する光と、に分光する。

【0023】

高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、分光器２２からの光を受光し、その光の像に対応する電気信号を出力する。高速イメージセンサー２３Ｒは、赤の光の画像信号を生成し、映像信号処理部３３に渡す。高速イメージセンサー２３Ｇは、緑の光の画像信号を生成し、映像信号処理部３３に渡す。高速イメージセンサー２３Ｂは、青の光の画像信号を生成し、映像信号処理部３３に渡す。高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、映像を撮像する際のフレームレート（単位時間当たりのフレーム数）を可変とすることができる。高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、センサー駆動部３２から入力される制御信号に基づいてフレームレートを変える。

【0024】

高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、例えば、通常撮影（低フレームレート撮影とも呼ぶ）と高速撮影（高フレームレート撮影とも呼ぶ）とを切り替えることができる。一例として、低フレームレートを６０ｆｐｓ（フレーム毎秒）、高フレームレートを２０００ｆｐｓ、などとしてよい。ただし、具体的なフレームレートの数値は、ここに例示したものに限られない。また、高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、通常撮影と高速撮影の２段階の切り替えではなく、多段階にフレームレートを切り替えることができるものであってもよい。

【0025】

つまり、高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂのそれぞれは、所定の画像更新レート（フレームレート）で映像を撮像するものである。

【0026】

イベント検知型センサー２４は、分光器２２からの赤外光を受光し、その像に関する情報を表す電気信号を出力する。イベント検知型センサー２４は、ＥＤセンサーとも呼ばれる。ここで「ＥＤ」は、「event driven」の略である。イベントとは、被写体の動きに関する事象や、被写体に相当する画素の画素値の変化に関する事象や、その他の画面内における画素値の変化に関する事象である。具体的には、イベント検知型センサー２４は、被写体の変化等を検知するとともに、変化のあった画素の位置（ｘ座標およびｙ座標）および時間の情報を出力する。ある画素における変化があった場合に、イベント検知型センサー２４は、これをイベントとして出力する。イベント検知型センサー２４は、複数のイベントの情報を出力することができる。なお、イベント検知型センサーについては、下記参考文献にも記載されている。イベント検知型センサー２４は、素子としては市販されているものである。
［参考文献： Finateu Thomas，Niwa Atsumi，Matolin Daniel他，A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensors with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline，IEEE Conference Proceedings，ISSCC，Volume 2020，Pages 112-114，2020年刊行．］

【0027】

イベント検知型センサー２４では、フレームのすべての情報を読み出す必要がないため、非常に高速に被写体の変化を検知することができる。イベント検知型センサー２４を用いることにより、被写体の動きの有無等に応じて、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂの撮像フレームレートを変える制御を行うことができる。

【0028】

つまり、イベント検知型センサー２４は、イメージセンサー（上記の高速イメージセンサー２３Ｒ、２３Ｇ、２３Ｂ）が撮像する被写体の動きの有無を検知するものである。

【0029】

本実施形態では、イベント検知型センサー２４においては、可視光側の高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂと同一の入射光に基づいて、同一の被写体が結像される。よって、実際に可視光で撮像されている映像の動きを遅延なく検知することができる。

【0030】

イベント信号処理部３１は、イベント検知型センサー２４からの信号を受信し、被写体の動きの度合いが所定の閾値以上であるか否かを判定する。具体的にはイベント信号処理部３１は、イベント検知型センサー２４から渡されるイベント数が閾値を超えたか否かを判定する。イベント数が閾値を超えた場合には、イベント信号処理部３１は、被写体に動きがあったものと判定する。その他の場合（イベント数が前記閾値未満である場合）には、イベント信号処理部３１は、被写体の動きがなかったものと判定する。

【0031】

イベント信号処理部３１は、画面全体を一括してイベント数のカウントを行うようにしてもよいし、画面を複数のエリアに細かく分割（例えば６４分割など）し、エリアごとにイベント数のカウントを行うようにしてもよい。また、イベント信号処理部３１は、イベント数をカウントして被写体の動きの有無を判定するまでにイベントを蓄積する周期を設けるようにしてもよい。つまり、イベント信号処理部３１は、例えば１ミリ秒などの周期でイベントを蓄積して、その周期ごと（例えば１ミリ秒ごと）に被写体の有無を判定するようにしてもよい。

【0032】

イベント信号処理部３１が被写体の動きの速度を求めるようにしてもよい。イベント信号処理部３１は、例えば既存の技術を用いてフレーム間のオプティカルフローを求める。オプティカルフローは、映像における被写体の見かけの速度の分布である。

【0033】

イベント信号処理部３１は、判定結果（被写体の動きの有無）を表す信号（「動き判定信号」と呼ぶ）を、センサー駆動部３２と映像信号処理部３３とに渡す。イベント信号処理部３１が被写体の動きの速度を求める場合には、イベント信号処理部３１は、被写体の速度の情報を、上記の動き判定信号の一部として、センサー駆動部３２と映像信号処理部３３とに渡す。

【0034】

センサー駆動部３２は、イベント信号処理部３１から受信する動き判定信号に基づいて、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂを駆動する。具体的には、動き判定信号が「被写体の動き無し」を示している場合には、センサー駆動部３２は、低フレームレートに設定して高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂを駆動する。動き判定信号が「被写体の動き有り」を示している場合には、センサー駆動部３２は、高フレームレートに設定して高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂを駆動する。ここで、低フレームレートと高フレームレートとは、相対的な関係である。実際の低フレームレートと高フレームレートの数値（ｆｐｓ値）については適宜設定してよい。一例として、低フレームレートを６０ｆｐｓ（フレーム毎秒）、高フレームレートを２０００ｆｐｓ、などとしてよいが、具体的な数値はこれらに限定されない。また、低フレームレートと高フレームレートの２段階だけではなく、被写体の動きの程度（上において求められた速度等）に応じて３段階以上のフレームレートを切り替えるようにしてもよい。

【0035】

センサー駆動部３２による駆動に基づいて、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれは、各色の画像（映像）を撮像する。高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれは、被写体の動きの有無あるいは速度に応じたフレームレートで撮像した映像信号（センサー信号）を、映像信号処理部３３に渡す。

【0036】

つまり、イベント信号処理部３１およびセンサー駆動部３２（これらを併せて「制御部」と呼ぶ）は、イベント検知型センサー２４が検知した被写体の動きの有無または動きの速度に応じて決定される画像更新レートで、イメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれ）が撮像を行うように制御する。

【0037】

映像信号処理部３３は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれが出力するセンサー信号を受け取り、処理する。映像信号処理部３３は、色の調整や明度の調整などの必要な処理を行ってから、ＲＧＢの３原色で成るカラー映像を外部に出力する。なお、映像信号処理部３３は、イベント信号処理部３１から渡される動き判定信号に基づいて、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂが撮像した際のフレームレートを認識することができる。

【0038】

次に、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれによって撮像する映像について、撮像画面全体のフレームレートを一律とする場合と、撮像画面内の領域ごとにフレームレートを変えることができるようにする場合と、のそれぞれについて説明する。

【0039】

［撮像画面全体のフレームレートを一律とする場合］
図２は、撮像画面全体のフレームレートを一律とする場合の、（Ａ）イメージセンサーの画面領域と（Ｂ）イベント検知型センサーの画面領域との関係を示す概略図である。同図（Ａ）は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれが撮影対象とする画面である。同図（Ｂ）は、イベント検知型センサー２４が撮影対象とする画面である。本例では、撮像装置１は、撮像する画面全体を一つの領域として扱い、画面の更新頻度（フレームレート）は１種類である。前述の通り、イベント信号処理部３１の判定結果に基づいて、センサー駆動部３２は高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂが撮像する際のフレームレートを設定する。このとき、本例では、イベント信号処理部３１は、（Ｂ）のイベント検知型センサーの画面領域全体において発生するイベントに基づいて被写体の動きを判定する。また、センサー駆動部３２は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂそれぞれについて（Ａ）の画面領域の全体を一律のフレームレートに設定する。

【0040】

［撮像画面内の領域ごとに異なるフレームレートを設定可能とする場合］
図３は、撮像画面内の領域ごとに異なるフレームレートを設定可能とする場合の、（Ａ）イメージセンサーの画面領域と（Ｂ）イベント検知型センサーの画面領域との関係を示す概略図である。本例では、画面は複数の領域に分割されている。図示する例では、（Ａ）のイメージセンサーの画面および（Ｂ）のイベント検知型センサーの画面は、ともに、１番から３２番までの３２個の領域に分割されている。これらの領域のそれぞれは、（Ａ）の高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂの画面側と、（Ｂ）のイベント検知型センサー２４の画面側との間で対応付けられている。つまり、イベント信号処理部３１は、イベント検知型センサー２４の画面内の各領域について、動きがあるか否かを判定する。そのイベント信号処理部３１の判定結果に基づいて、センサー駆動部３２は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂ内の対応する領域のフレームレートを設定する。

【0041】

図３に示す例では、３２個の領域はすべて同じサイズであり、画面内において横８個×縦４個の領域が配置されている。例えば、画面全体の画素数が横１９２０画素×縦１０８０画素である場合、各々の領域の画素数は横２４０画素×縦２７０画素である。画面全体の画素数が横３８４０画素×縦２１６０画素である場合、各々の領域の画素数は横４８０画素×縦５４０画素である。画面全体の画素数が横７６８０画素×縦４３２０画素である場合、各々の領域の画素数は横９６０画素×縦１０８０画素である。なお、画面の画素数や各領域の画素数は、ここに提示したものには限られない。

【0042】

図３に示す例では画面全体を３２個の領域に分割しているが、領域の分割のしかたはここに図示する例に限らず、任意である。例えば、１つの領域の画素数が１画素（横１画素×縦１画素）であってもよい。また、例えば、１つの領域の画素数が１６画素（横４画素×縦４画素）であってもよい。また、複数の領域の形状やサイズが互いに異なっていてもよい。

【0043】

図３に示すように画面を複数の領域に分割する場合には、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれは、領域ごとに画素読み出しのレートを設定できるようになっている。なお、領域ごとの画素値の更新のレート（単位時間あたりの画素値の読み出し回数）を便宜的に「フレームレート」と呼ぶ。高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂが持つ電子回路は、センサー駆動部３２によって領域ごとに設定された頻度（フレームレート）で、領域内の画素の画素値を読み出し、領域の画像の信号を出力する。それらの領域の画像の信号は、映像信号処理部３３に渡される。

【0044】

つまり、図３に示す領域の分割を行う場合には、撮像装置１の各部は、次の通りである。即ち、イメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれ）は、当該イメージセンサーが撮像する映像内の領域ごとに撮像の際の画像更新レートを可変とすることができるものである。また、イベント検知型センサー２４は、前記の領域ごとに、被写体の動きの有無を検知する。また、制御部（イベント信号処理部３１およびセンサー駆動部３２）は、イベント検知型センサー２４が検知した、前記領域ごとの、被写体の動きの有無に応じて、領域ごとに決定される画像更新レートでイメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれ）が撮像を行うように制御する。

【0045】

図３に示すように画面を複数の領域に分割する場合には、領域ごとに画像（画素値）の読み出し周期を変えることができる。映像信号処理部３３は、各領域の画像（映像）を統合する。この場合、動きのある部分（領域）あるいは動きの速い部分（領域）だけを高フレームレートで撮像することができる。動きのない部分（領域）あるいは動きの遅い部分（領域）は低フレームレートで撮像してよい。

【0046】

つまり、図２に示した例の場合には、センサー駆動部３２は、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれのフレームレートが全画素で一定になるように制御する。一方で、図３に示した例の場合には、センサー駆動部３２は、分割された領域ごとの被写体の動き等の有無に基づいて領域ごとに個別に、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれのフレームレートを制御する。つまり、領域ごとにフレームレートが異なり得る。

【0047】

本実施形態の撮像装置１において、イベント検知型センサー２４がイベントを検知してイベント信号処理部３１が動き判定を完了するまでに要する時間は数ミリ秒程度以下である。そして、イベント信号処理部３１からの動き判定信号に基づいて、センサー駆動部３２は瞬時に高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのフレームレートを切り替える設定を完了することができる。したがって、通常撮影時のフレームレートが例えば６０ｆｐｓあるいは１２０ｆｐｓ程度の場合、通常撮影を行っている状態から被写体の速い動きを検知して高速撮影に切り替えるまでの制御に要する時間は１フレーム時間未満に収まる。つまり、通常撮影の状態においてイベント検知型センサー２４がイベントを検知したとき、センサー駆動部３２は、概ね次のフレームの撮影の開始時から高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂのそれぞれが高速撮影を行うように切り替えることができる。つまり、例えば撮像した画像に基づいて被写体の動きを検知する従来技術を用いる場合と比べて、本実施形態の撮像装置１では非常に少ない遅延で高速撮影に移ることが可能となる。

【0048】

また、本実施形態の撮像装置１では、分光器２２が分光を行い、イベント検知型センサー２４側には分光された赤外線（赤外光）成分のみを入射するように構成している。このため、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂの側に入射する可視光（それぞれ、赤、緑、および青）の光量が下がらない。つまり、撮像装置１が撮像する際の感度の低下を防ぐことができる。

【0049】

つまり、本実施形態の撮像装置１では、従来の技術では困難であった被写体の状況に応じて遅延なくフレームレートを変えるような制御が可能である。また、本実施形態では被写体の動きを判定するためのイベント検知型センサー２４への入射光に赤外光を使っているため、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂ側のカメラ感度が低下することなく、高画質用途の撮像装置として実現することが可能である。

【0050】

［第１変形例］
第１実施形態の変形例として、分光器２２が持つ４板式プリズム光学系の分光感度特性を変更してもよい。具体的には、次の通りである。上記の第１実施形態では分光器２２から出射する光のうちのイベント検知型センサー２４側への出射光を赤外光としていたが、本変形例では、イベント検知型センサー２４側への出射光に可視光の一部を含めるようにする。このような形態を実現するためには、分光器２２が持つ４板式プリズム光学系において、例えば、イベント検知型センサー２４側への出射光が可視光側にブロードな感度分布にするなどといった方法を用いることができる。

【0051】

［第２変形例］
第１実施形態の別の変形例として、分光器２２が持つ光学プリズムを２板式としてもよい。この場合、２板式光学プリズムは、入射光を可視光と赤外光（赤外線）とに２分光する。また、本変形例では、図１に示した高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂの代わりに、カラーフィルター付きの高速カラーイメージセンサーを設ける。高速カラーイメージセンサーでは画素ごとに赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルターが設けられており、各画素はそれぞれのフィルターの色に応じた成分の画素値を出力する。画素の配列としては、例えばベイヤー配列などを用いるようにする。２板式光学プリズムによって分光された可視光は、この高速カラーイメージセンサー側に入射する。また、２板式光学プリズムによって分光された赤外光は、イベント検知型センサー２４側に入射する。イベント検知型センサー２４から出力視される信号に基づいてイベント信号処理部３１が被写体の動き等の判定を行う点は、既に第１実施形態として説明した通りである。センサー駆動部３２は、イベント信号処理部３１から渡される信号に基づいて、上記の高速カラーイメージセンサーのフレームレートを設定する。即ち、高速カラーイメージセンサーは、センサー駆動部３２から渡される制御信号に応じて、高速撮影または低速撮影のいずれかを行うことができる。

【0052】

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

【0053】

図４は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置２は、レンズ（光学系）５１および５２と、高速カラーイメージセンサー５３と、イベント検知型センサー５４と、イベント信号処理部３１と、センサー駆動部３２と、映像信号処理部３３とを含むように構成される。

【0054】

本実施形態の特徴は、高速カラーイメージセンサー５３とイベント検知型センサー５４とのそれぞれが、別のレンズ（光学系）を通して結像する像を処理する点である。つまり、レンズ（光学系）５１を通過する入射光は、高速カラーイメージセンサー５３によって撮像される。また、レンズ（光学系）５２を通過する入射光については、イベント検知型センサー５４によって処理される。便宜的に、レンズ（光学系）５１を第１撮像光学系と呼び、レンズ（光学系）５２を第２撮像光学系と呼んでもよい。

【0055】

第１実施形態においては、単一のレンズ（光学系）２１を通った光が分光器２２で分光され、高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂ側とイベント検知型センサー２４側との両方で結像していた。つまり、両者において同一の像に基づく処理を行うことが可能であった。これに対して本実施形態では、レンズ（光学系）５１およびレンズ（光学系）５２という別々の系の光が、それぞれ高速カラーイメージセンサー５３側とイベント検知型センサー５４側とで結像する。高速カラーイメージセンサー５３側とイベント検知型センサー５４側との間で画像内の被写体の位置が微妙にずれる可能性がある。しかしながらそのような位置の差を無視することができる程度の大きさを有する領域に関しては、イベント検知型センサー５４で検知したイベントに基づいて、被写体の動きの有無等を判定することが可能である。また、その判定結果に基づいて、適切に高速カラーイメージセンサー５３が撮像する際のフレームレートを制御することが可能である。

【0056】

本実施形態における各部の機能は、次の通りである。

【0057】

高速カラーイメージセンサー５３は、各画素の受光部の前側（被写体側）に赤、緑、青のカラーフィルターを備えている。画素の配列としては、例えばベイヤー配列などを用いるようにする。高速カラーイメージセンサー５３が撮像する際のフレームレートは、第１実施形態における高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂと同様に、可変である。つまり、高速カラーイメージセンサー５３のフレームレートとしては、例えば、高速撮影と低速撮影とを切り替えることができる。高速カラーイメージセンサー５３による撮像は、センサー駆動部３２によって制御される。つまり、センサー駆動部３２は、高速カラーイメージセンサー５３のフレームレートを適宜切り替えることができる。高速カラーイメージセンサー５３は、センサー信号（画像信号）を映像信号処理部３３に渡す。

【0058】

イベント検知型センサー５４は、第１実施形態におけるイベント検知型センサー２４と同様に、イベントを検知し、その結果をイベント信号処理部３１に渡す。本実施形態では分光器による分光を行っていないため、イベント検知型センサー５４は、第１実施形態と比べて、可視光の分も含め受光する光量においては有利な設計をすることも可能である。つまり、イベント検知型センサー５４には、可視光を含む光を入射させることもできる。

【0059】

つまり、第２実施形態の撮像装置２は、第１撮像光学系と第２撮像光学系とを備える。第１撮像光学系は、前記のレンズ（光学系）５１であり、光を集光しイメージセンサー（高速カラーイメージセンサー５３）側で結像させるための撮像光学系である。第２撮像光学系は、前記のレンズ（光学系）５２であり、イメージセンサーが撮像する被写体を含む光をイベント検知型センサー（イベント検知型センサー５４）側で結像させるための撮像光学系である。なお、第１撮像光学系と第２撮像光学系とは、互いに別の光学系である。

【0060】

［変形例］
第２実施形態の撮像装置２は、図４に示したように、高速カラーイメージセンサー５３を備えて構成されていた。その変形例として、レンズ（光学系）５１を通過した光を３板式光学プリズム等で赤、緑、および青の３色に分光し、これらそれぞれの色用の高速イメージセンサーでイメージ信号を生成するようにしてもよい。この場合、赤、緑、および青のそれぞれの色のセンサー信号は、映像信号処理部３３に送られ、映像信号処理部３３によってカラー画像として合成される。

【0061】

上記の各実施形態（変形例を含む）で説明した撮像装置の少なくとも一部の機能を、コンピューターおよびプログラムで実現することが可能である。例えば、イベント信号処理部３１の機能や、センサー駆動部３２の機能や、映像信号処理部３３の機能などの少なくとも一部の処理の手順を、プログラムとして記述することが可能である。

【0062】

一例として、イベント信号処理部３１およびセンサー駆動部３２（これらを併せて「制御部」と呼ぶ）の機能を、コンピューターとプログラムとで実現するようにしてもよい。この場合、イメージセンサー（高速イメージセンサー２３Ｒ、２３Ｇ、および２３Ｂや、高速カラーイメージセンサー５３）は、所定の画像更新レートで映像を撮像するものである。このイメージセンサーのフレームレートは可変である。つまり、制御部は、イメージセンサーのフレームレートを変えることができる。また、イベント検知型センサーは、前記イメージセンサーが撮像する被写体の動きの有無を検知する。制御部は、イベント検知型センサーが検知した被写体の動きの有無に応じて決定される画像更新レートでイメージセンサーが撮像を行うように制御する。

【0063】

図５は、第１実施形態や第２実施形態（それぞれの変形例を含む）における撮像装置が内部に備えるコンピューターの構成の例を示すブロック図である。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0064】

なお、上述した撮像装置の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0065】

上で説明した第１実施形態および第２実施形態（それぞれの変形例を含む）では、フレーム全体を１つの領域として更新する場合の画像の更新頻度や、フレーム内で分割された領域のそれぞれを更新する場合の画像の更新頻度を、フレームレートと呼んでいた。これらの頻度を表す数値を画像更新レートと呼んでもよい。画像更新レートの単位は、フレーム毎秒、あるいは更新回数毎秒である。

【0066】

以上、この発明の複数の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0067】

本発明は、例えば、映像を撮像するための手段として利用することができる。また、そのような手段を用いて例えば映像コンテンツを制作するために利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。

【符号の説明】

【0068】

１，２ 撮像装置
２１ レンズ（光学系）
２２ 分光器
２３Ｒ 高速イメージセンサー（赤）
２３Ｇ 高速イメージセンサー（緑）
２３Ｂ 高速イメージセンサー（青）
２４ イベント検知型センサー
３１ イベント信号処理部
３２ センサー駆動部
３３ 映像信号処理部
５１ レンズ（光学系、第１撮像光学系）
５２ レンズ（光学系、第２撮像光学系）
５３ 高速カラーイメージセンサー（赤・緑・青）
５４ イベント検知型センサー
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス

【図1】

【図2】

【図3】

【図4】

【図5】