知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022178317
(43)【公開日】2022-12-02
(54)【発明の名称】画像処理装置、画像処理方法、並びにプログラム
(51)【国際特許分類】
H04N 5/225 20060101AFI20221125BHJP
H04N 5/232 20060101ALI20221125BHJP
【ＦＩ】
H04N5/225 800
H04N5/232 290
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021085043
(22)【出願日】2021-05-20
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】山本 俊昭
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA03
5C122EA67
5C122FA18
5C122HA42
5C122HA89
5C122HB01
(57)【要約】
【課題】高フレームレートの動画像を生成する。
【解決手段】フレームベースの第１の撮像素子と、イベントベースの第２の撮像素子と、第１の撮像素子からのフレームデータと、第２の撮像素子からのイベントデータを用いて、補間フレームを生成する生成部とを備える。生成部は、補間フレームに、所定の時間内に発生したイベントデータを積算した積算イベントデータを加算することで補間フレームを生成する。本技術は、例えば、フレームベースの撮像素子とイベントベースの撮像素子を備える画像処理装置に適用できる。
【選択図】図５
【解決手段】フレームベースの第１の撮像素子と、イベントベースの第２の撮像素子と、第１の撮像素子からのフレームデータと、第２の撮像素子からのイベントデータを用いて、補間フレームを生成する生成部とを備える。生成部は、補間フレームに、所定の時間内に発生したイベントデータを積算した積算イベントデータを加算することで補間フレームを生成する。本技術は、例えば、フレームベースの撮像素子とイベントベースの撮像素子を備える画像処理装置に適用できる。
【選択図】図５
【特許請求の範囲】
【請求項1】
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する生成部と
を備える画像処理装置。
イベントベースの第２の撮像素子と、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する生成部と
を備える画像処理装置。
【請求項2】
前記生成部は、前記補間フレームに、所定の時間内に発生した前記イベントデータを積算した積算イベントデータを加算することで前記補間フレームを生成する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記生成部は、前記第１の撮像素子の第１の露光時間で得られた第１のフレームデータと、前記第１の露光時間内に得られた複数の前記積算イベントデータを用いて、前記第１の露光時間内の先頭の補間フレームを生成する
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項4】
前記生成部は、前記補間フレームに、所定の時間内に発生した前記イベントデータを積算した積算イベントデータを加算または減算することで前記補間フレームを生成する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記生成部は、
第１の露光時間内の補間フレームとして生成された複数の補間フレームのうちの最後尾の補間フレームと、
前記第１の露光時間よりも後の第２の露光時間において前記第１の撮像素子で得られた第２のフレームデータと、前記第２の露光時間内に得られた前記積算イベントデータを加算することで、生成された複数の補間フレームのうちの先頭の補間フレームと、
前記第１の露光時間と前記第２の露光時間との間の非露光時間において得られた前記積算イベントデータと
を用いて、前記非露光時間における補間フレームを生成する
請求項４に記載の画像処理装置。
第１の露光時間内の補間フレームとして生成された複数の補間フレームのうちの最後尾の補間フレームと、
前記第１の露光時間よりも後の第２の露光時間において前記第１の撮像素子で得られた第２のフレームデータと、前記第２の露光時間内に得られた前記積算イベントデータを加算することで、生成された複数の補間フレームのうちの先頭の補間フレームと、
前記第１の露光時間と前記第２の露光時間との間の非露光時間において得られた前記積算イベントデータと
を用いて、前記非露光時間における補間フレームを生成する
請求項４に記載の画像処理装置。
【請求項6】
前記生成部は、
前記非露光時間の前半に位置する前記補間フレームを生成する場合、前記最後尾の補間フレームと、前記非露光時間の前半に得られた前記積算イベントデータを用いて前記補間フレームを生成し、
前記非露光時間の後半に位置する前記補間フレームを生成する場合、前記先頭の補間フレームと、前記非露光時間の後半に得られた前記積算イベントデータを用いて前記補間フレームを生成する
請求項５に記載の画像処理装置。
前記非露光時間の前半に位置する前記補間フレームを生成する場合、前記最後尾の補間フレームと、前記非露光時間の前半に得られた前記積算イベントデータを用いて前記補間フレームを生成し、
前記非露光時間の後半に位置する前記補間フレームを生成する場合、前記先頭の補間フレームと、前記非露光時間の後半に得られた前記積算イベントデータを用いて前記補間フレームを生成する
請求項５に記載の画像処理装置。
【請求項7】
露光時間内の所定の時刻における静止画像を、前記露光時間内に取得された前記イベントデータを、前記フレームデータに加算および減算することで生成する
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項8】
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と
を備える画像処理装置が、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する
画像処理方法。
イベントベースの第２の撮像素子と
を備える画像処理装置が、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する
画像処理方法。
【請求項9】
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と
を備える画像処理装置を制御するコンピュータに、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する
ステップを含む処理を実行させるためのプログラム。
イベントベースの第２の撮像素子と
を備える画像処理装置を制御するコンピュータに、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する
ステップを含む処理を実行させるためのプログラム。
【請求項10】
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する生成部
を備える画像処理装置。
を備える画像処理装置。
【請求項11】
前記第１のフレームと前記第２のフレームは、フレームベースの撮像素子により撮像されたフレームである
請求項１０に記載の画像処理装置。
請求項１０に記載の画像処理装置。
【請求項12】
前記第１のフレームと前記第２のフレームは、前記生成部により生成された補間フレームである
請求項１０に記載の画像処理装置。
請求項１０に記載の画像処理装置。
【請求項13】
画像処理装置が、
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する
画像処理方法。
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する
画像処理方法。
【請求項14】
コンピュータに、
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する
ステップを含む処理を実行させるためのプログラム。
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する
ステップを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置、画像処理方法、並びにプログラムに関し、例えば、画像を補間することで高フレームレートとするようにした画像処理装置、画像処理方法、並びにプログラムに関する。
【背景技術】
【0002】
従来、撮像装置などにおいて、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の撮像素子が用いられている。この一般的な同期型の撮像素子では、同期信号の周期、例えば、１／６０秒ごとに画像データが取得される。
【0003】
近年、画素アドレス毎に、その画素の輝度の変化量が閾値を超えた旨をアドレスイベントとして検出する非同期型の撮像素子も用いられるようになりつつある。このように、画素毎にアドレスイベントを検出する撮像素子は、ＤＶＳ（Dynamic Vision Sensor）と称されることもある。
【0004】
非同期型の撮像素子からのデータにより同期型の撮像素子のフレームレートを制御することが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表2017-535999号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
例えば、低照度の被写体を撮影しているような場合でも、高フレームレートの撮影が行えるようにすることが望まれている。
【0007】
本技術は、このような状況に鑑みてなされたものであり、高フレームレートの動画像を生成することができるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の第１の画像処理装置は、フレームベースの第１の撮像素子と、イベントベースの第２の撮像素子と、前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する生成部とを備える画像処理装置である。
【0009】
本技術の一側面の第１の画像処理方法は、フレームベースの第１の撮像素子と、イベントベースの第２の撮像素子とを備える画像処理装置が、前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する画像処理方法である。
【0010】
本技術の一側面の第１のプログラムは、フレームベースの第１の撮像素子と、イベントベースの第２の撮像素子とを備える画像処理装置を制御するコンピュータに、前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成するステップを含む処理を実行させるためのプログラムである。
【0011】
本技術の一側面の第２の画像処理装置は、イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する生成部を備える画像処理装置である。
【0012】
本技術の一側面の第２の画像処理方法は、画像処理装置が、イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する画像処理方法である。
【0013】
本技術の一側面の第２のプログラムは、コンピュータに、イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成するステップを含む処理を実行させるためのプログラムである。
【0014】
本技術の一側面の第１の画像処理装置、画像処理方法、並びにプログラムにおいては、フレームベースの第１の撮像素子と、イベントベースの第２の撮像素子とが備えられ、第１の撮像素子からのフレームデータと、第２の撮像素子からのイベントデータが用いられて、補間フレームが生成される。
【0015】
本技術の一側面の第２の画像処理装置、画像処理方法、並びにプログラムにおいては、イベントベースの撮像素子から得られたイベントデータと、フレームデータとが用いられて、第１のフレームと第２のフレームの間を補間する補間フレームが生成される。
【0016】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【0017】
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【0018】
【図1】本技術を適用した画像処理装置の一実施の形態の構成を示す図である。
【図2】画像処理装置の他の構成例を示す図である。
【図3】画像処理装置の他の構成例を示す図である。
【図4】フレーム補間の処理について説明するための図である。
【図5】フレーム内補間の処理について説明するための図である。
【図6】間隔Δtについて説明するための図である。
【図7】フレーム間補間の処理について説明するための図である。
【図8】カメラ部の処理について説明するためのフローチャートである。
【図9】イベント積算部の処理について説明するためのフローチャートである。
【図10】補間処理について説明するためのフローチャートである。
【図11】フレーム内補間の処理について説明するためのフローチャートである。
【図12】フレーム間補間の処理について説明するためのフローチャートである。
【図13】急激な輝度変化時の対処法について説明するための図である。
【図14】静止画像の生成について説明するための図である。
【図15】静止画像の生成について説明するための図である。
【図16】パーソナルコンピュータの構成例を示す図である。
【発明を実施するための形態】
【0019】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【0020】
＜画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示す図である。本技術を適用した画像処理装置１１は、レンズ２１、カメラ部２２、画像生成部２３を備える。
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示す図である。本技術を適用した画像処理装置１１は、レンズ２１、カメラ部２２、画像生成部２３を備える。
【0021】
カメラ部２２は、ハーフミラー３１、フレームベースイメージャ３２、イベントベースイメージャ３３、イメージャ間補正演算部３４、およびキャリブレーション部３５を備える。画像生成部２３は、イベント積算部４１、データ保存部４２、および補間画像生成部４３を備える。
【0022】
画像処理装置１１は、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の撮像素子としてフレームベースイメージャ３２を備える。フレームベースイメージャ３２では、同期信号の周期、例えば、１／６０秒毎に画像データが取得される。
【0023】
画像処理装置１１は、画素アドレス毎に、その画素の輝度の変化量が閾値を超えた旨をアドレスイベントとして検出する非同期型の撮像素子としてイベントベースイメージャ３３を備える。イベントベースイメージャ３３のような画素毎にアドレスイベントを検出する撮像素子は、ＤＶＳ（Dynamic Vision Sensor）と称されることがある。
【0024】
画像処理装置１１は、動画像や静止画像を撮影する。画像処理装置１１は、フレームベースイメージャ３２で撮影された動画像（連続したフレーム）に、イベントベースイメージャ３３から得られるイベントデータを用いて、補間するフレーム（以下、補間フレームと記述する）を生成し、高フレームレートの動画像を生成する。画像処理装置１１は、フレームベースイメージャ３２で撮影された静止画像（１フレーム）に、イベントベースイメージャ３３からの得られるイベントデータを用いて、ノイズを低減した静止画像を生成する。
【0025】
画像処理装置１１のレンズ２１を介してカメラ部２２に入力された光は、ハーフミラー３１により分光され、フレームベースイメージャ３２とイベントベースイメージャ３３に、それぞれ供給される。ハーフミラー３１の代わりに、プリズムなどでも良い。
【0026】
フレームベースイメージャ３２は、デジタルカメラなどに用いられる一般的な可視光のイメージャを適用できる。フレームベースイメージャ３２としては、カラー画像を撮影するイメージャであっても良いし、白黒画像を撮影するイメージャであっても良い。ここでは、フレームベースイメージャ３２として、カラー画像または白黒画像を撮影するイメージャである場合を例に挙げて説明を続けるが、ＩＲ（赤外光）イメージャや、偏光イメージャなども本技術のフレームベースイメージャ３２として適用できる。
【0027】
イベントベースイメージャ３３は、画素毎に輝度変化を非同期で検出し、検出したデータだけを、座標と時間を組み合わせた情報として出力する。イベントベースイメージャ３３には、輝度の変化の符号を出力するもの、換言すれば階調を出力は無く、輝度が明るくなった場合＋１、暗くなった場合－１を出力するイメージャがある。イベントベースイメージャ３３には、輝度の変化量を出力するもの、換言すれば階調を出力するイメージャもある。以下の説明では、特に断りがない場合、輝度の変化量を出力するイメージャである場合を例に挙げて説明する。イベントベースイメージャ３３から出力されるデータを、イベントデータと適宜記載し、イベントデータは、輝度の変化量を含むデータであるとする。
【0028】
イメージャ間補正演算部３４は、フレームベースイメージャ３２とイベントベースイメージャ３３との間の正規化係数を演算する。フレームベースイメージャ３２の画素数とイベントベースイメージャ３３の画素数が異なる場合、画素数を合わせた処理が行えるように、正規化が行われる。フレームベースイメージャ３２の感度とイベントベースイメージャ３３の感度が異なる場合、感度を合わせた処理が行えるように、正規化が行われる。
【0029】
画素数や感度以外のイメージャ間で差分を解消するための処理が、イメージャ間補正演算部３４においてさらに実行されるようにしても良い。イメージャ間補正演算部３４は、イメージャ間のピクセルの位置や感度などの差分情報（正規化係数）を演算する。
【0030】
キャリブレーション部３５は、フレームベースイメージャ３２からのフレームデータとイベントベースイメージャ３３からのイベントデータを、後段（画像生成部２３）で合成する際に、適切に行えるように、イメージャ間の補正演算を、イメージャ間補正演算部３４で演算された正規化係数を用いて、イベントベースイメージャ３３からのデータに補正を施す。
【0031】
フレームベースイメージャ３２からのフレームデータは、イメージャ間補正演算部３４と、画像生成部２３のデータ保存部４２に供給される。イベントベースイメージャ３３からのイベントデータは、イメージャ間補正演算部３４とキャリブレーション部３５に供給される、キャリブレーション部３５により、補正が施されたイベントベースイメージャ３３からのイベントデータは、画像生成部２３のイベント積算部４１に供給される。
【0032】
画像生成部２３のイベント積算部４１は、キャリブレーション部３５を介して入力されるイベントベースイメージャ３３からのイベントデータを、一定時間蓄積し、蓄積されたイベントデータを積算し、一定時間間隔毎の変化の差分情報を生成する。イベントベースイメージャ３３からは、輝度の変化があったとき、換言すれば、イベントが発生したときに、イベントデータが出力されるため、イベントベースイメージャ３３からの出力は、不定期である。イベント積算部４１により、所定の期間内のイベントデータが積算されることで、イベント積算部４１からのデータ（以下、適宜、積算イベントデータと記述する）は、所定の周期でデータ保存部４２に供給され、保存される。
【0033】
データ保存部４２は、フレームベースイメージャ３２で撮影された動画データと、イベント積算部４１からの積算イベントデータを保存する。データ保存部４２は、補間画像生成部４３で補間された補間フレームも保存する。データ保存部４２は、DRAM（Dynamic Random Access Memory）などの一時保存用メモリデバイスや、HDD（Hard Disk Drive）、SSD（Solid State Drive）、フラッシュメモリなどの常時保存デバイスなどで構成することができる。
【0034】
データ保存部４２に保存された動画データは、このままデータ保存部４２に記憶されたり、他の記録媒体に記録されたり、後段の図示していない処理部に出力されたり、ディスプレイに出力され表示されたりする。データ保存部４２に、補間フレームが保存されている場合には、直接動画像出力（レンダリング済み動画像の出力）も行える。
【0035】
補間画像生成部４３は、データ保存部４２に保存されているフレームベースイメージャ３２からの動画データと、イベントベースイメージャ３３からの一定時間間隔の被写体差分情報を用いて、後述するフレーム間補間画像と、フレーム内補間画像を生成する。補間画像生成部４３により生成された補間画像は、データ保存部４２に保存されたり、他の記録媒体に記録されたり、後段の図示していない処理部に出力されたり、ディスプレイに出力され表示されたりする。
【0036】
補間画像生成部４３は、フレームベースイメージャ３２とイベントベースイメージャ３３からの出力を随時受け付け、補間処理をリアルタイムに行い動画出力する（オンザフライ動画出力を行う）ように構成されていても良い。
【0037】
図２は、画像処理装置１１の他の構成例を示す図である。図２に示した画像処理装置１１’（図１に示した画像処理装置１１と区別を付けるためにダッシュを付して記述する）は、フレームベースイメージャ３２とイベントベースイメージャ３３が合わさったハイブリッドイメージャ５１で構成されている点が異なる。
【0038】
画像処理装置１１’のカメラ部２２’は、ハイブリッドイメージャ５１を含む構成であるため、ハーフミラー３１、イメージャ間補正演算部３４、およびキャリブレーション部３５が省略された構成とされている。このように、ハイブリッドイメージャ５１を用いることもできる。
【0039】
以下の説明では、図１に示した画像処理装置１１を例に挙げて説明を続ける。
【0040】
画像処理装置１１は、図３のＡに示したように、レンズ２１、カメラ部２２、および画像生成部２３が一体化された構成とされていても良い。図３のＢに示したように、レンズ２１とカメラ部２２は、一体化された構成とされ、画像生成部２３は、別体で構成されている構成であっても良い。
【0041】
換言すれば、画像生成部２３は、画像処理装置１１に内蔵されるように構成しても良いし、カメラ部２２と別体として構成されるようにしても良い。カメラ部２２と画像生成部２３を別体で構成する場合、カメラ部２２と画像生成部２３は、所定のネットワークを介して接続されている構成とすることもできる。画像生成部２３は、例えば、パーソナルコンピュータ（ＰＣ）で構成されていても良い。画像生成部２３を、ＰＣなどの外部機器として構成した場合、ＡＩ（Artificial Intelligence）やニューラルネットワークなどにより高度な後処理が行われるように構成することもできる。
【0042】
＜補間フレームの生成について＞
画像処理装置１１は、フレームベースイメージャ３２で撮像される動画像（フレーム）に、フレームを補間し、高フレームレートの動画像に変換する処理を実行する。図４を参照し、画像処理装置１１が行う補間フレームの生成に係わる処理の概要について説明する。
画像処理装置１１は、フレームベースイメージャ３２で撮像される動画像（フレーム）に、フレームを補間し、高フレームレートの動画像に変換する処理を実行する。図４を参照し、画像処理装置１１が行う補間フレームの生成に係わる処理の概要について説明する。
【0043】
フレームベースイメージャ３２において、時刻Ｔ１から時刻Ｔ２は露光時間であり、この露光時間にフレームＰ１が取得される。時刻Ｔ２から時刻Ｔ３は、非露光時間である。時刻Ｔ３から時刻Ｔ４は露光時間であり、この露光時間にフレームＰ２が取得される。
【0044】
イベントベースイメージャ３３からは不定期にイベントデータが出力されるが、イベント積算部４１からは、定期的に積算イベントデータが出力される。図４では、時刻Ｔ１から時刻Ｔ２の露光時間内に、積算イベントデータΔＰａ１、積算イベントデータΔＰａ２、積算イベントデータΔＰａ３、積算イベントデータΔＰａ４、積算イベントデータΔＰａ５が、間隔Δｔの間隔で出力（データ保存部４２に保持）される。
【0045】
時刻Ｔ２乃至Ｔ３の非露光時間内には、積算イベントデータΔＰｂ１、積算イベントデータΔＰｂ２、積算イベントデータΔＰｂ３、積算イベントデータΔＰｂ４が、間隔Δｔの間隔で出力（データ保存部４２に保持）される。
【0046】
時刻Ｔ３乃至Ｔ４の露光時間内には、積算イベントデータΔＰａ６、積算イベントデータΔＰａ７、積算イベントデータΔＰａ８が、間隔Δｔの間隔で出力（データ保存部４２に保持）される。
【0047】
露光時間内に補間フレームを生成するのを、ここではフレーム内補間と記述し、非露光時間内に補間フレームを生成するのを、フレーム間補間と記述する。フレーム内補間において補間される補間フレームを、補間フレームＰａと記述し、フレーム間補間において補間される補間フレームを、補間フレームＰｂと記述する。
【0048】
フレーム内補間に用いられる積算イベントデータ、換言すれば、露光時間内に生成される積算イベントデータを、積算イベントデータΔＰａと記述する。フレーム間補間に用いられる積算イベントデータ、換言すれば、非露光時間内に生成される積算イベントデータを、積算イベントデータΔＰｂと記述する。
【0049】
ここでは、説明のため、積算イベントデータΔＰａと積算イベントデータΔＰｂに分けて説明を続けるが、積算イベントデータΔＰａと積算イベントデータΔＰｂは、ともに、所定の時間内に発生したイベントデータを積算したデータであり、積算イベントデータΔＰａと積算イベントデータΔＰｂが異なるデータであることを示す記載ではない。
【0050】
図４に示した例では、時刻Ｔ１から時刻Ｔ２における露光時間内に、フレーム内補間が行われることで、補間フレームＰａ１乃至Ｐａ５の５枚のフレームが生成される。補間フレームＰａ１乃至Ｐａ５は、フレームＰ１と、積算イベントデータΔＰａ１乃至ΔＰａ４が用いられて生成される。
【0051】
時刻Ｔ２から時刻Ｔ３における非露光時間内に、フレーム間補間が行われることで、補間フレームＰｂ１乃至Ｐｂ４の４枚のフレームが生成される。補間フレームＰｂ１乃至Ｐｂ４は、補間フレームＰａ５と、時刻Ｔ３から時刻Ｔ４で行われるフレーム内補間で生成された補間フレームＰａ６と、積算イベントデータΔＰｂ１乃至ΔＰｂ４が用いられて生成される。
【0052】
時刻Ｔ３から時刻Ｔ４における露光時間内に、フレーム内補間が行われることで、補間フレームＰａ６乃至Ｐａ９の４枚のフレームが生成される。補間フレームＰａ６乃至Ｐａ９は、フレームＰ２と、積算イベントデータΔＰａ６乃至ΔＰａ８が用いられて生成される。
【0053】
このように、フレーム内補間は、フレームベースイメージャ３２から得られたフレームデータと、イベントベースイメージャ３３から得られたイベントデータ（積算イベントデータ）が用いられて補間フレームＰａが生成される補間処理である。
【0054】
フレーム間補間は、イベントベースイメージャ３３からの得られた積算イベントデータと、フレーム内補間において得られた補間フレームＰａが用いられて補間フレームＰｂが生成される処理である。
【0055】
【0056】
図５において、フレームＰ１は、露光時間においてフレームベースイメージャ３２により撮影されたフレーム（動画像を構成する画像）を表す。所定の間隔Δｔの間にイベントベースイメージャ３３から出力されたイベントデータは、イベント積算部４１（図１）で積算され、積算イベントデータΔＰａとして補間画像生成部４３に供給される。図５に示した例では、露光時間内に、積算イベントデータΔＰａ１乃至Ｐａ４が生成される。
【0057】
補間フレームＰａ１乃至Ｐａ５は、フレーム内補間の処理が実行されることで補間されるフレーム、換言すれば新たに生成されるフレームである。ここで、フレームＰ１と補間フレームＰａ１乃至Ｐａ５の間には、以下の関係が成り立つ。以下に示す各式においては、フレームＰ１をＰ１と表し、補間フレームＰａ１乃至Ｐａ５をそれぞれ、Ｐａ１、Ｐａ２、Ｐａ３、Ｐａ４、Ｐａ５と表し、積算イベントデータΔＰａ１乃至Ｐａ４をそれぞれ、ΔＰａ１、ΔＰａ２、ΔＰａ３、ΔＰａ４と表す。
【0058】
Ｐ１＝（Ｐａ１＋Ｐａ２＋Ｐａ３＋Ｐａ４＋Ｐａ５）／５ ・・・（１）
【0059】
補間フレームＰａ１乃至Ｐａ５を平均化した画像は、フレームＰ１に近似しており、上記した関係式（１）の関係が成り立つ。
【0060】
補間フレームＰａ１乃至Ｐａ５と、積算イベントデータΔＰａ１乃至Ｐａ５との間には、以下のような関係式（２）が成り立つ。
【0061】
Ｐａ２＝Ｐａ１＋ΔＰａ１
Ｐａ３＝Ｐａ２＋ΔＰａ２＝Ｐａ１＋ΔＰａ１＋ΔＰａ２
Ｐａ４＝Ｐａ３＋ΔＰａ３＝Ｐａ１＋ΔＰａ１＋ΔＰａ２＋ΔＰａ３
Ｐａ５＝Ｐａ４＋ΔＰａ４＝Ｐａ１＋ΔＰａ１＋ΔＰａ２＋ΔＰａ３＋ΔＰａ４
・・・（２）
Ｐａ３＝Ｐａ２＋ΔＰａ２＝Ｐａ１＋ΔＰａ１＋ΔＰａ２
Ｐａ４＝Ｐａ３＋ΔＰａ３＝Ｐａ１＋ΔＰａ１＋ΔＰａ２＋ΔＰａ３
Ｐａ５＝Ｐａ４＋ΔＰａ４＝Ｐａ１＋ΔＰａ１＋ΔＰａ２＋ΔＰａ３＋ΔＰａ４
・・・（２）
【0062】
補間フレームＰａ２は、前の補間フレームＰａ１に、補間フレームＰａ１からの差分である積算イベントデータΔＰａ１を加算したフレームとなる。同様に、補間フレームＰａ３は、前の補間フレームＰａ２に、補間フレームＰａ２からの差分である積算イベントデータΔＰａ２を加算したフレームとなる。
【0063】
同様に、補間フレームＰａ４は、前の補間フレームＰａ３に、補間フレームＰａ３からの差分である積算イベントデータΔＰａ３を加算したフレームとなる。同様に、補間フレームＰａ５は、前の補間フレームＰａ４に、補間フレームＰａ４からの差分である積算イベントデータΔＰａ４を加算したフレームとなる。
【0064】
式（２）を、式（１）に代入し、整理すると次式（３）が得られる。
Ｐ１×５＝Ｐａ１×５＋ΔＰａ１×４＋ΔＰａ２×３
＋ΔＰａ３×２＋ΔＰａ４ ・・・（３）
Ｐ１×５＝Ｐａ１×５＋ΔＰａ１×４＋ΔＰａ２×３
＋ΔＰａ３×２＋ΔＰａ４ ・・・（３）
【0065】
式（３）から、フレームＰ１は、補間フレームＰａ１と積算イベントデータΔＰａ１乃至Ｐａ４を用いて表せることがわかる。さらに、式（３）を変形し、補間フレームＰａ１に関する式にすると次式（４）が得られる。
【0066】
Ｐａ１＝Ｐ１―（ΔＰａ１×４＋ΔＰａ２×３＋ΔＰａ３×２＋ΔＰａ４）／５
・・・（４）
・・・（４）
【0067】
式（４）から、補間フレームＰａ１は、フレームＰ１と、積算イベントデータΔＰａ１乃至ΔＰａ４を用いて生成できることがわかる。
【0068】
式（４）に基づき、補間フレームＰａ１が生成されると、式（２）から補間フレームＰａ２乃至Ｐａ５も生成することができる。すなわち、例えば、補間フレームＰａ２は、生成された補間フレームＰａ１に、積算イベントデータΔＰａ１を加算することで生成される。補間フレームＰａ３乃至Ｐａ５も同様に、補間フレームＰａ２乃至Ｐａ４と、積算イベントデータΔＰａ２乃至Ｐａ４を用いて生成される。
【0069】
式（４）を一般的に表すと、次式（５）となる。
【数1】
【0070】
式（５）において、Ｐａ１は、フレーム内補間において最初に生成される補間フレームＰａを表している。Ｐは、フレーム内補間が実行される露光時間のときに取得されたフレームＰを表している。ｎは、フレーム内補間において生成される補間フレームの枚数を表し、例えば、図５に示した例では、ｎ＝５である。
【0071】
ΔＰａ１乃至ΔＰｎ－１は、フレーム内補間が実行される露光時間の間に取得された積算イベントデータΔＰａ１乃至ΔＰａｎ－１を表している。
【0072】
補間フレームの枚数ｎは、次式（６）により算出される。
【数2】
【0073】
フレーム内補間数ｎは、露光時間を、露光時間と非露光時間を加算した値で除算した値に補間レートを乗算した値とされる。ＡＥ（Auto Exposure）機能が有効にされている場合、露光時間は動的に変化する。よって、フレーム内補間数ｎは、露光時間が動的に変化するような場合、フレーム毎に露光時間が取得され、フレーム毎に算出、設定される。
【0074】
補間レートは、元の動画を何倍に補間するかを表す値であり、次式（７）により定義される。
【数3】
【0075】
補間レートは、補間後のフレームレートを、補間前のフレームレートで除算した値と定義することができる。
【0076】
例えば、図５に示した例では、露光時間内に５枚の補間フレームを生成するので、補間レートは５である。補間レートまたは補間後のフレームレートは、予め設定されている値としても良いし、ユーザにより設定されるようにしても良い。
【0077】
フレーム内補間数ｎは、積算イベントデータΔＰａを生成する間隔Δｔ（イベントデータを蓄積している時間）に係わる。すなわち、フレーム内補間数ｎは、露光時間内に何枚の補間フレームを生成するかである。換言すれば、露光時間を均等に、フレーム内補間数ｎで分割し、その分割した時間間隔毎に、補間フレームＰａが生成される。露光時間を均等に分割した時間が、間隔Δｔに相当し、間隔Δｔ毎に、積算イベントデータΔＰａが生成され、補間フレームＰａが生成される。間隔Δｔは、次式（８）で算出される。
【0078】
【数4】
【0079】
間隔Δｔは、１を、補正前のフレームレートに補間レートを乗算した値で除算した値とされる。図６に示すように、所定の時刻ｔｋから時刻ｔｋ＋Δｔまでの間に発生したイベントデータが積算され、時刻ｔｋ＋Δｔにおける積算イベントデータΔＰａとして出力される。
【0080】
図６において、白い四角形は輝度が明るい方に変化したピクセルを表し、黒い四角形は輝度が暗い方に変化したピクセルを表している。間隔Δｔの間に蓄積されたイベントデータが積算されることで、積算イベントデータΔＰａが生成される。
【0081】
イベントベースイメージャ３３から出力されるイベントデータは、例えば、次式（９）のように表される。以下、イベントデータをｅで表す。
ｅ＝［ｘ，ｙ，ｐ］ｔｅ ・・・（９）
ｅ＝［ｘ，ｙ，ｐ］ｔｅ ・・・（９）
【0082】
イベントデータｅは、イベントが発生している座標［ｘ，ｙ］と、そのピクセルにおける輝度の変化量ｐまたは輝度の変化の符号ｐを要素として有する。ｐは、イベントデータとして階調出力がある場合には、階調出力であり、階調出力がない場合には、＋１または－１の符号である。式（９）においてｔｅは、イベントが発生した時刻となる。
【0083】
イベントデータｅがカラーの場合、イベントデータｅは、以下のように表される。
ｅ＝［ｘ，ｙ，ｐＲ、ｐＧ、ｐＢ］ｔｅ ・・・（１０）
ｅ＝［ｘ，ｙ，ｐＲ、ｐＧ、ｐＢ］ｔｅ ・・・（１０）
【0084】
式（１０）において、ｐＲは、赤（Ｒ）における輝度の変化量（または符号）を表し、ｐＧは、緑（Ｇ）における輝度の変化量（または符号）を表し、ｐＢは、青（Ｂ）における輝度の変化量（または符号）を表す。以下の説明では、イベントデータｅは、式（９）で表されるデータである場合を例に挙げて説明を続けるが、カラーである場合には、適宜、式（１０）されるデータであると読み替えることで実施できる。
【0085】
イベントベースイメージャ３３のピクセル数や感度がフレームベースイメージャ３２と異なる場合、上記したように処理により補間フレームＰａを生成するために、イベントデータｅを、フレームベースイメージャ３２からの出力に適したデータに正規化する必要がある。
【0086】
キャリブレーション部３５（図１）で正規化されたイベントデータｅ（イベントデータｅＮとする）は、次式（１１）で表される。
ｅＮ＝［ｘＮ，ｙＮ，ｐＮ］ｔｅ ・・・（１１）
ｅＮ＝［ｘＮ，ｙＮ，ｐＮ］ｔｅ ・・・（１１）
【0087】
イベント積算部４１（図１）には、キャリブレーション部３５でキャリブレーションされたイベントデータｅｎが供給される。イベント積算部４１では、間隔Δｔの間、キャリブレーション部３５から供給されるイベントデータｅｎを積算する。
【0088】
イベント積算部４１は、次式（１２）に基づく演算を行い、積算イベントデータΔＰａを算出する。
【0089】
【数5】
【0090】
式（１２）は、例えば図６に示したように、時刻ｔｋから時刻ｔｋ＋Δｔ、すなわち間隔Δｔの間に発生したイベントデータｅであり、正規化されたイベントデータｅＮを積算する式である。
【0091】
なお、フレームベースでダイナミックレンジの上限または下限になっているピクセルに対しては、式（１２）における演算の対象からは除外される。これは、ダイナミックレンジ範囲外の輝度変化を除外するためである。
【0092】
このように、フレーム内補間において補間フレームＰａの生成に必要な積算イベントデータΔＰａや、積算イベントデータΔＰａを算出するのに必要な間隔Δｔなどが算出される。そしてそれらの値と、フレームＰと、積算イベントデータΔＰａが用いられてフレーム内補間の処理が実行され、補間フレームＰａが生成される。
【0093】
【0094】
図７において、フレームＰ１とフレームＰ２は、露光時間においてフレームベースイメージャ３２により撮影されたフレーム（動画像を構成する画像）を表す。所定の間隔Δｔ間にイベントベースイメージャ３３から出力されたイベントデータは積算され、積算イベントデータΔＰｂが生成される。図７に示した例では、非露光時間内に、積算イベントデータΔＰｂ１乃至Ｐｂ４が生成される。
【0095】
ここでは、フレーム間補間に係わる積算イベントデータΔＰｂは、積算イベントデータΔＰｂと記載するが、イベントデータや、そのイベントデータから積算イベントデータを算出する処理などは、上記した積算イベントデータΔＰａの場合と同様である。補間フレームＰｂが生成される周期は、間隔Δｔに相当し、この間隔Δｔも、上記したフレーム内補間に係わる間隔Δｔが用いられる。
【0096】
フレーム間補間は、非露光時間に行われる補間である。フレーム間補間は、フレームベースイメージャ３２の画素数が多いなどで、フレームベースイメージャ３２からの画素値の読み出しにかかる時間が長くなり、非露光時間があるような場合に行われる補間処理である。
【0097】
図７に示した例において補間フレームＰｂ１乃至Ｐｂ４は、フレーム間補間の処理が実行されることで補間されるフレーム、換言すれば新たに生成されるフレームである。フレーム間補間は、読み出しされているフレームＰを用いたフレーム内補間により生成された補間フレームＰａと、読み出しされているフレームＰの次に撮影されるフレームＰを用いたフレーム内補間により生成された補間フレームＰａが用いられて生成される。
【0098】
図７に示した例においては、読み出しされているフレームＰは、フレームＰ１であり、フレームＰ１より次に撮影されるフレームＰは、フレームＰ２である。フレーム間補間に用いられる補間フレームＰａは、フレームＰ１をフレーム内補間したときに生成された補間フレームＰａのうちの最後尾のフレームである補間フレームＰａ５と、フレームＰ２をフレーム内補間したときに生成される先頭のフレームである補間フレームＰａ６である。
【0099】
フレーム間補間においては、非露光時間が前半と後半に分けられる。前半は、読み出しが行われているフレームＰ１を用いたフレーム内補間で生成された複数の補間フレームＰａのうちの最後尾画像である補間フレームＰａ５が用いられる。後半は、フレームＰ１の次に読み出しが行われるフレームＰ２を用いたフレーム内補間で生成される複数の補間フレームＰａのうちの先頭画像である補間フレームＰａ６が用いられる。
【0100】
フレーム間補間において、図７に示した例のように、４枚の補間フレームＰｂ１乃至Ｐｂ４が生成される場合、非露光時間の前半に位置する補間フレームＰｂ１と補間フレームＰｂ２は、補間フレームＰａ５が用いられて生成され、非露光時間の後半に位置する補間フレームＰｂ３と補間フレームＰｂ４は、補間フレームＰａが用いられて生成される。
【0101】
フレーム間補間における最初の補間フレームＰｂ１は、補間フレームＰａ５に、積算イベントデータΔＰｂ１を加算することで生成される。補間フレームＰｂ１の次の補間フレームＰｂ２は、補間フレームＰｂ１に、積算イベントデータΔＰｂ２を加算することで生成される。式で表すと以下のようになる。
【0102】
Ｐｂ１＝Ｐａ５＋ΔＰｂ１
Ｐｂ２＝Ｐｂ１＋ΔＰｂ２＝Ｐａ５＋ΔＰｂ１＋ΔＰｂ２ ・・・（１３）
Ｐｂ２＝Ｐｂ１＋ΔＰｂ２＝Ｐａ５＋ΔＰｂ１＋ΔＰｂ２ ・・・（１３）
【0103】
補間フレームＰｂ２は、補間フレームＰｂ１に積算イベントデータΔＰｂ２を加算することで生成されても良いが、補間フレームＰａ５に積算イベントデータΔＰｂ１と積算イベントデータΔＰｂ２を加算することで生成されても良い。
【0104】
フレーム間補間における最後尾の補間フレームＰｂ４は、補間フレームＰａ６から、積算イベントデータΔＰｂ４を減算することで生成される。補間フレームＰｂ４より１つ前の補間フレームＰｂ３は、補間フレームＰｂ４から、積算イベントデータΔＰｂ３を減算することで生成される。式で表すと以下のようになる。
【0105】
Ｐｂ４＝Ｐａ６－ΔＰｂ４
Ｐｂ３＝Ｐｂ４－ΔＰｂ３＝Ｐａ６－ΔＰｂ４－ΔＰｂ３ ・・・（１４）
Ｐｂ３＝Ｐｂ４－ΔＰｂ３＝Ｐａ６－ΔＰｂ４－ΔＰｂ３ ・・・（１４）
【0106】
補間フレームＰｂ３は、補間フレームＰｂ４から積算イベントデータΔＰｂ３を減算することで生成されても良いが、補間フレームＰａ６から積算イベントデータΔＰｂ３と積算イベントデータΔＰｂ４を減算することで生成されても良い。
【0107】
このように、非露光時間の後半に位置する補間フレームＰｂ３と補間フレームＰｂ４は、時間的に近い補間フレームＰａ６が用いられて生成される。
【0108】
このように、非露光時間の前半においては、フレーム内補間により生成された補間フレームＰａに、積算イベントデータΔＰｂが加算されることで補間フレームＰｂが生成される。一方、非露光時間の後半においては、フレーム内補間により生成された補間フレームＰａから、積算イベントデータΔＰｂが減算されることで補間フレームＰｂが生成される。
【0109】
図７に示した例のように、フレーム間補間において、偶数枚の補間フレームが生成される場合、非露光時間の前半と後半のそれぞれの期間において同一枚数が生成される。フレーム間補間において、奇数枚の補間フレームが生成される場合、非露光時間の前半と後半のそれぞれの期間における枚数は異なる枚数となる。
【0110】
フレーム間補間において、例えば５枚の補間フレームＰｂが生成される場合、非露光時間の前半に２枚生成され、後半に３枚生成されるようにしても良いし、前半に３枚生成され、後半に２枚生成されるようにしても良い。
【0111】
奇数枚の補間フレームＰｂが生成される場合に、真ん中の補間フレームＰｂを非露光時間の前半に含めるか、後半に含めるか、換言すれば、積算イベントデータΔＰｂを加算することで生成するか、積算イベントデータΔＰｂを減算することで生成するかは、予め設定されていても良い。例えば真ん中の補間フレームＰｂは、積算イベントデータΔＰｂを減算することで生成すると設定されているようにしても良い。
【0112】
真ん中の補間フレームＰｂを生成するときに、積算イベントデータΔＰｂを加算することで生成する場合に、加算される積算イベントデータΔＰｂと、積算イベントデータΔＰｂを減算することで生成する場合に、減算される積算イベントデータΔＰｂとが比較され、小さい方の積算イベントデータΔＰｂが用いられるように設定されるようにしても良い。すなわち、変化量が小さい方の積算イベントデータΔＰｂが用いられて補間フレームＰｂが生成されるようにしても良い。
【0113】
フレーム間補間の処理により生成する補間フレームＰｂの枚数ｍは、次式（１５）により算出される。
【0114】
【数6】
【0115】
フレーム間補間数ｍは、非露光時間を、露光時間と非露光時間を加算した値で除算した値に補間レートを加算した値とされる。ＡＥ（Auto Exposure）機能が有効にされている場合、露光時間（非露光時間）は動的に変化する。よって、フレーム間補間数ｍは、露光時間が動的に変化するような場合、フレーム毎に露光時間と非露光時間が取得（算出）され、フレーム毎に枚数ｍは算出、設定される。
【0116】
式（１５）に含まれる補間レートは、上述した場合と同じく、予め設定されている（演算により求められる）値が用いられる、または、ユーザにより設定された値が用いられる。補間レートを用いて上述した式（８）により求められる間隔Δｔも、フレーム間補間における処理時の間隔Δｔとして用いられる。
【0117】
ここでは、フレーム間補間に用いられるフレームは、フレーム内補間の処理時に生成された補間フレームＰａである場合を例に挙げて説明した。フレーム内補間とフレーム間補間の処理は、撮影時に行われる、換言すれば、撮影と同時にリアルタイムで行われるように構成しても良いが、フレーム内補間により生成された補間フレームＰａを記録しておき、撮影よりも後のタイミングでその記録されている補間フレームＰａが用いられてフレーム間補間が行われるようにしても良い。
【0118】
フレーム間補間に用いられる補間フレームは、生成された補間フレーム以外のフレームが用いられるようにしても良い。例えば、図７において、補間フレームＰａ５の代わりに、フレームＰ１を用い、補間フレームＰａ６の代わりにフレームＰ２が用いられて、上記した処理が実行されることで、フレーム間補間が行われるようにしても良い。
【0119】
上述したフレーム内補間の処理を、フレーム間補間の処理と同様に行うようにし、生成される補間フレームは、全て、上述したフレーム間補間の処理で生成されるようにすることもできる。例えば、図７に示した例において、フレームＰ２を取得する露光時間と、フレームＰ２を読み出す非露光時間を足し合わせた期間において、前半は、フレームＰ１に積算イベントデータΔＰｂを加算することで補間フレームが生成されるようにし、後半は、フレームＰ２から積算イベントデータΔＰｂが減算されることで補間フレームが生成されるようにしても良い。
【0120】
＜カメラ部の処理＞
上述したように、フレーム内補間の処理により、補間フレームＰａを生成し、フレーム間補間の処理により、補間フレームＰｂを生成することで、高フレームレートの動画像を生成する画像処理装置１１（図１）の処理について、さらに説明を加える。
上述したように、フレーム内補間の処理により、補間フレームＰａを生成し、フレーム間補間の処理により、補間フレームＰｂを生成することで、高フレームレートの動画像を生成する画像処理装置１１（図１）の処理について、さらに説明を加える。
【0121】
【0122】
ステップＳ１１において、フレームベースイメージャ３２とイベントベースイメージャ３３とのイメージャ間のピクセル座標変換情報が取得される。ピクセル座標変換情報は、カメラ部２２の製造過程で得られるデータとして、例えばイメージャ間補正演算部３４に保存されている。ピクセル座標変換情報は、工場出荷時の調整値である。
【0123】
ステップＳ１２において、フレームベースイメージャ３２とイベントベースイメージャ３３とのイメージャ間の輝度正規化係数が取得される。輝度正規化係数は、カメラ部２２の製造過程で得られるデータとして、例えばイメージャ間補正演算部３４に保存されている。輝度正規化係数も、ピクセル座標変換情報と同じく工場出荷時の調整値である。
【0124】
ステップＳ１３において、カメラ部２２における撮影が開始される。フレームベースイメージャ３２における動画像の撮影と、イベントベースイメージャ３３におけるイベントの検出が開始される。
【0125】
ステップＳ１４において、フレームベースイメージャ３２からの出力か否かが判定される。フレームベースイメージャ３２からの出力、すなわちフレームＰのデータである場合、ステップＳ１７に処理が進められる。ステップＳ１７において、フレームベースイメージャ３２からの出力は、画像生成部２３のデータ保存部４２に出力され、保存される。
【0126】
一方、ステップＳ１４において、フレームベースイメージャ３２からの出力ではないと判定された場合、換言すれば、イベントベースイメージャ３３からの出力であると判定された場合、ステップＳ１５に処理は進められる。
【0127】
ステップＳ１５において、イベントが発生したピクセルの座標が、フレームの座標へと変換される。キャリブレーション部３５は、ステップＳ１１において取得されたピクセル座標変換情報を用いて、イベントの座標情報を、フレームベースイメージャ３２の座標に変換する。
【0128】
ステップＳ１６において、イベントが発生したピクセルの輝度が、フレームの輝度へと変換される。キャリブレーション部３５は、ステップＳ１２において取得された輝度正規化係数を用いて、イベントの輝度変化を、フレームベースイメージャ３２の輝度変化量に変換する。
【0129】
ステップＳ１７において、キャリブレーション部３５によりキャリブレーションされたイベントデータは、画像生成部２３のイベント積算部４１（図１）に出力され、イベント積算部４１の積算処理が開始されるまで記憶される。
【0130】
ステップＳ１８において、撮影は終了か否かが判定される。例えば、ユーザにより撮影終了時に操作されるボタンが操作された場合、ステップＳ１８において、撮影は終了したと判定され、カメラ部２２における処理も終了される。一方、ステップＳ１８において、撮影は終了していないと判定された場合、ステップＳ１３に処理は戻され、それ以降の処理が繰り返される。すなわち、フレームベースイメージャ３２による動画像の撮影が継続され、イベントベースイメージャ３３によるイベントの検出が継続される。
【0131】
【0132】
ステップＳ３１において、補正前のフレームレートと補正後のフレームレートが取得される。ステップＳ３２において、間隔Δｔが算出される。間隔Δｔは、上記したように、式（８）により算出される。式（８）における補間レートは、式（７）に基づき算出される。式（７）は、補間後のフレームレートを補間後のフレームレートで除算することで補間レートを算出する式である。
【0133】
ステップＳ３１において取得された補正前のフレームレートと補正後のフレームレートと、式（７）、式（８）に基づき、間隔ΔｔがステップＳ３２において算出される。
【0134】
ステップＳ３３において、間隔Δｔ時間が経過するまで待機状態が維持される。イベント積算部４１には、待機状態中でも、キャリブレーション部３５を介して、イベントベースイメージャ３３からのイベントデータが供給される。イベント積算部４１は、間隔Δｔ時間の間に供給されたイベントデータを蓄積する。
【0135】
ステップＳ３４において、間隔Δｔの間に発生したイベントデータを積算し、積算した積算イベントデータを、データ保存部４２に供給し、保存させる。または補間画像生成部４３に供給される。ここでは、積算イベントデータは、データ保存部４２に一旦記憶された後、補間フレームが生成されるときに、必要に応じて、補間画像生成部４３により読み出されるとして説明を続ける。
【0136】
ステップＳ３５において、終了か否かが判定される。例えば、カメラ部２２による撮影が終了された場合、イベント積算部４１による処理も終了される。または所定の時間内に、キャリブレーション部３５からイベントデータが供給されなかった場合、ステップＳ３５において、終了と判定される。ステップＳ３５において、終了ではないと判定された場合、ステップＳ３３に処理が戻され、それ以降の処理が繰り返される。すなわち、積算イベントデータの生成が、継続して行われる。
【0137】
＜補間処理について＞
上述したカメラ部２２の処理や、イベント積算部４１の処理がそれぞれ行われている一方で、補間画像生成部４３における補間フレームの生成に係わる処理も実行される。図１０のフローチャートを参照し、補間画像生成部４３が行う補間処理について説明する。
上述したカメラ部２２の処理や、イベント積算部４１の処理がそれぞれ行われている一方で、補間画像生成部４３における補間フレームの生成に係わる処理も実行される。図１０のフローチャートを参照し、補間画像生成部４３が行う補間処理について説明する。
【0138】
ステップＳ５１において、処理対象とされるフレームＰに割り振る番号ｋが１に設定される。ステップＳ５２において、番号ｋが割り振られたフレームＰに対するフレーム内補間（ｋ）が実行される。ステップＳ５３において、番号ｋ＋１が割り振られたフレームＰに対するフレーム内補間（ｋ＋１）が実行される。
【0139】
ステップＳ５４において、番号ｋが割り振られたフレームＰに対してフレーム間補間（ｋ）が実行される。フレーム間補間（ｋ）を実行するためには、フレーム内補間（ｋ）において生成された最後尾の補間フレームＰａと、フレーム内補間（ｋ＋１）において生成された先頭の補間フレームＰａが必要である。よって、ステップＳ５２において、フレーム内補間（ｋ）が実行され、最後尾の補間フレームＰａが取得され、ステップＳ５３において、フレーム内補間（ｋ＋１）が実行され、先頭の補間フレームＰａが取得された後、ステップＳ５４において、フレーム間補間（ｋ）が実行される。
【0140】
図４を再度参照する。図４において、ｋ＝１が割り振られたフレームＰが、フレームＰ１であり、フレームＰ１が処理対象とされているとする。このような場合、ステップＳ５２においては、フレームＰ１に対するフレーム内補間（ｋ）の処理が実行される。図４に示した例では、時刻Ｔ１から時刻Ｔ２に該当する露光時間における補間フレームを生成するフレーム内補間の処理が実行される。
【0141】
ステップＳ５３において、フレームＰ２に対するフレーム内補間（ｋ＋１）の処理が実行される。図４に示した例では、時刻Ｔ３から時刻Ｔ４に該当する露光時間における補間フレームを生成するフレーム内補間の処理が実行される。
【0142】
ステップＳ５２の処理が実行されることで、時刻Ｔ１から時刻Ｔ２における最後尾の補間フレームＰａ５が取得される。次にステップＳ５３の処理が実行されることで、時刻Ｔ３から時刻Ｔ４における先頭の補間フレームＰａ６が取得される。
【0143】
ステップＳ５４においては、フレームＰ１に対するフレーム間補間（ｋ）が実行される。フレームＰ１に対するフレーム間補間（ｋ）とは、図４においては、フレームＰ１の読み出し期間に該当する時刻Ｔ２から時刻Ｔ３における非露光時間において実行されるフレーム間補間の処理のことである。ステップＳ５４の処理が実行されるときには、補間フレームＰａ５と補間フレームＰａ６が取得されているので、これらの補間フレームＰａが用いられて、補間フレームＰｂ１乃至Ｐｂ４が生成される。
【0144】
ステップＳ５５において、番号ｋが２に変更されて、処理がステップＳ５３に戻される。ステップＳ５３において、フレームＰ３に対するフレーム内補間（ｋ＋１）が実行され、ステップＳ５４において、フレームＰ２に対するフレーム間補間（ｋ）が実行される。
【0145】
２回目以降のステップＳ５４の処理においては、フレーム間補間（ｋ）を実行するのに必要な最後尾の補間フレームＰａと先頭の補間フレームＰａは取得済みであるため、ステップＳ５２の処理は実行されない。すなわち、フレームの補間処理が開始されたとき（ｋ＝１と設定されたとき）に、２回続けてフレーム内補間の処理が実行されるが、それ以降は、フレーム内補間の処理とフレーム間補間の処理が交互に繰り返される処理が継続される。
【0146】
図１０に示したフローチャートの処理に戻り、ステップＳ５２およびステップＳ５３においてそれぞれ実行されるフレーム内補間に関する処理については、図１１のフローチャートを参照して後述する。ステップＳ５４において実行されるフレーム間補間に関する処理については、図１２のフローチャートを参照して後述する。
【0147】
ステップＳ５５において、番号ｋの値が１だけ増やされ、次のフレームが処理対象とされる。ステップＳ５６において、終了か否かが判定される。例えば、データ保存部４２に保存されている全てのフレームを処理した場合や、カメラ部２２の撮影が終了された場合など、ステップＳ５６において、終了であると判定される。
【0148】
一方、ステップＳ５６において、終了ではないと判定された場合、ステップＳ５３に処理が戻され、それ以降の処理が繰り返される。
【0149】
＜フレーム内補間に関する処理について＞
図１１のフローチャートを参照し、ステップＳ５２およびステップＳ５３において実行されるフレーム内補間の処理について説明する。フレーム内補間については、図４、図５を参照して説明したため、重複する説明などは適宜省略する。
図１１のフローチャートを参照し、ステップＳ５２およびステップＳ５３において実行されるフレーム内補間の処理について説明する。フレーム内補間については、図４、図５を参照して説明したため、重複する説明などは適宜省略する。
【0150】
ステップＳ７１において、補間レートが取得される。ステップＳ７２において、露光時間が取得される。ステップＳ７３において、補間するフレーム数ｎが算出される。
【0151】
フレーム内補間において補間されるフレーム数ｎは、上述した式（６）に基づき算出され、補間レートと、露光時間と、非露光時間が用いられて算出される。式（６）において（露光時間＋非露光時間）は、フレームレートから算出できる。ステップＳ７３においては、ステップＳ７１において取得された補間レート、ステップＳ７２において取得された露光時間、およびフレームレートから算出される（露光時間＋非露光時間）が用いられ、補間する補間フレーム数ｎが算出される。
【0152】
ステップＳ７４において、フレームベースイメージャ３２からのｋ番目の画像（フレーム）が取得される。取得されるフレームは、フレームベースイメージャ３２から直接的に補間画像生成部４３に供給されるフレームであっても良いし、データ保存部４２に保存されているフレームであっても良い。ステップＳ７４において取得されるｋ番目のフレームは、ここではフレームＰと表す。
【0153】
ステップＳ７５において、第１番目の補間フレームＰａ１が生成される。図５を参照して説明したように、第１の補間フレームＰａ１は、フレームＰと、露光時間内に取得された積算イベントデータΔＰａが用いられて、式（５）に基づき生成される。
【0154】
ステップＳ７６において、ｉが２に設定される。ステップＳ７７において、第ｉ番目の補間フレームＰａｉが生成される。補間フレームＰａｉは、１つ前の補間フレームＰａi-1に積算イベントデータΔＰａi-1を加算することで生成される。例えば、図５に示した例では、補間フレームＰａ２は、補間フレームＰａ１に、積算イベントデータΔＰａ１が加算されることで生成される。
【0155】
ステップＳ７８において、ｉが１だけ増加される。ステップＳ７９において、ｉがｎ以下（ｉ≦ｎ）であるか否かが判定される。ステップＳ７９において、ｉがｎ以下であると判定された場合、ステップＳ７７に処理が戻され、それ以降の処理が繰り返される。すなわち、補間する補間フレーム数ｎとして設定された枚数になるまで、補間フレームＰａの生成が繰り返される。
【0156】
一方、ステップＳ７９において、ｉはｎ以下ではない判定された場合、換言すれば、ｉはｎよりも大きくなったと判定された場合、処理対象とされている露光時間における補間フレームＰａの生成に係わる処理は終了される。
【0157】
＜フレーム間補間に関する処理について＞
図１２のフローチャートを参照し、ステップＳ５４（図１０）において実行されるフレーム間補間の処理について説明する。フレーム間補間については、図４、図７を参照して説明したため、重複する説明などは適宜省略する。
図１２のフローチャートを参照し、ステップＳ５４（図１０）において実行されるフレーム間補間の処理について説明する。フレーム間補間については、図４、図７を参照して説明したため、重複する説明などは適宜省略する。
【0158】
ステップＳ９１において、補間レートが取得される。ステップＳ９２において、露光時間（非露光時間でも良い）が取得される。ステップＳ９３において、補間するフレーム数ｍが算出される。
【0159】
図１０に示したフローチャートに基づき処理が実行される場合、例えば、ステップＳ５４において、フレーム間補間（ｋ）が実行される前の時点で、フレーム内補間（ｋ）が実行されており、補間レートと露光時間が取得されているため、ステップＳ９１とステップＳ９２の処理を省略し、既に取得されている補間レートと露光時間が用いられるようにしても良い。
【0160】
ステップＳ９３において補間する補間フレーム数ｍは、上述した式（１５）に基づき算出される。ステップＳ９３においては、ステップＳ９１において取得された補間レート、ステップＳ９２において取得された露光時間（または非露光時間）、およびフレームレートから算出される（露光時間＋非露光時間）が用いられ、補間する補間フレーム数ｍが算出される。
【0161】
図７を参照して説明したように、フレーム間補間においては、非露光時間を前半と後半に分け、前半は積算イベントデータΔＰｂが加算されることで補間フレームＰｂが生成され、後半は積算イベントデータΔＰｂが減算されることで補間フレームＰｂが生成される。ステップＳ９４乃至Ｓ９８の処理は、非露光時間の前半における補間フレームＰｂの生成に関する処理であり、ステップＳ９９乃至Ｓ１０３の処理は、非露光時間の後半における補間フレームＰｂの生成に関する処理である。
【0162】
ステップＳ９４において、ｋフレーム目のフレーム内補間の最後尾の補間フレームＰａが取得される。データ保存部４２に保存されている最後尾の補間フレームＰａが取得される。ステップＳ９４において取得されるｋ番目のフレームＰの補間フレームＰａを、ここでは補間フレームＰａ０と表す。
【0163】
ステップＳ９５において、ｉが１に設定される。ステップＳ９６において、第ｉ番目の補間フレームＰｂｉが生成される。補間フレームＰｂｉは、１つ前の補間フレームＰｂi-1に積算イベントデータΔＰｂiを加算することで生成される。第１番目の補間フレームＰｂ１は、最後尾の補間フレームＰａを用いて生成されるが、この最後尾の補間フレームＰａも、補間フレームであり、補間フレームＰｂ０（ｉ＝１）として扱うことができる。
【0164】
例えば、図７に示した例においてｉ＝１の場合、補間フレームＰｂ１は、補間フレームＰａ１（補間フレームＰｂ０に該当）に、積算イベントデータΔＰｂ１が加算されることで生成される。図７に示した例においてｉ＝２の場合、補間フレームＰｂ２は、補間フレームＰｂ１に、積算イベントデータΔＰｂ２が加算されることで生成される。
【0165】
ステップＳ９７において、ｉが１だけ増加される。ステップＳ９８において、ｉが（ｍ／２）以下（ｉ≦ｍ／２）であるか否かが判定される。ステップＳ９８において、ｉが（ｍ／２）以下であると判定された場合、ステップＳ９６に処理が戻され、それ以降の処理が繰り返される。すなわち、補間する補間フレーム数ｍとして設定された枚数の半分の枚数になるまで、補間フレームＰｂの生成が繰り返される。
【0166】
一方、ステップＳ９８において、ｉが（ｍ／２）以下ではないと判定された場合、処理は、ステップＳ９９に進められる。
【0167】
ステップＳ９９において、ｋ＋１フレーム目のフレーム内補間の先頭の補間フレームＰａが取得される。データ保存部４２に保存されている先頭の補間フレームＰａが取得される。ステップＳ９９において取得されるｋ＋１番目のフレームＰの補間フレームＰａを、ここでは補間フレームＰａm+1と表す。
【0168】
ステップＳ１００において、ｉがｍに設定される。ステップＳ１０１において、第ｉ番目の補間フレームＰｂｉが生成される。補間フレームＰｂｉは、１つ後の補間フレームＰｂi+1から積算イベントデータΔＰｂiを減算することで生成される。第ｉ番目の補間フレームＰｂ１は、先頭の補間フレームＰａm+1が用いられて生成されるが、この先頭の補間フレームＰａm+1も、補間フレームであり、補間フレームＰｂm+1（ｉ＝ｍ）として扱うことができる。
【0169】
例えば、図７に示した例においてｉ＝ｍであり、ｍが４である場合、補間フレームＰｂ４は、補間フレームＰａ６（補間フレームＰｂm+1に該当）から、積算イベントデータΔＰｂ４が減算されることで生成される。図７に示した例においてｉ＝ｍ－１＝３の場合、補間フレームＰｂ３は、補間フレームＰｂ４から、積算イベントデータΔＰｂ３が減算されることで生成される。
【0170】
ステップＳ１０２において、ｉが１だけ減算される。ステップＳ１０３において、ｉが（ｍ／２）より大きい（ｍ／２＜ｉ）か否かが判定される。ステップＳ１０３において、ｉが（ｍ／２）より大きいと判定された場合、ステップＳ１０１に処理が戻され、それ以降の処理が繰り返される。すなわち、補間する補間フレーム数ｍとして設定された枚数のうち、既にステップＳ９４乃至Ｓ９８の処理で生成された補間フレームＰｂの枚数を除いた枚数になるまで、補間フレームＰｂの生成が繰り返される。
【0171】
このように、フレームベースイメージャ３２から取得される動画像に対して、イベントベースイメージャ３３からのイベントデータが用いられて補間フレームが生成されることで、高フレームレート化された動画像が生成される。
【0172】
＜急激な輝度変化への対処＞
上述した実施の形態は、イベントベースイメージャ３３からの出力として、階調出力がある場合と、階調出力がない場合（符号の出力の場合）のどちらにも対応できる。
上述した実施の形態は、イベントベースイメージャ３３からの出力として、階調出力がある場合と、階調出力がない場合（符号の出力の場合）のどちらにも対応できる。
【0173】
イベントベースイメージャ３３からの出力が、階調出力がない場合であっても、一般的に、イベントベースイメージャ３３からの出力は、フレームベースイメージャ３２の出力よりも多いため、階調出力がある場合と遜色なく扱えると想定できる。
【0174】
例えば、フレームベースイメージャ３２がハイダイナミックレンジ（HDR）に対応しているような場合、国際標準規格 ITU-R BT.2100によると、階調は１０または１２bitであり、７２ｄｂ、約４０００階調に対応することが記載されている。フレームベースイメージャ３２の動画のフレームレートを１２０FPSと仮定した場合、約８．３msec/Frameとなる。
【0175】
本出願人が製品化しているイベントベースイメージャ３３は、１２４ｄｂ以上のHDR特性を有し、低照度、例えば４０mlxでもイベントの検出が可能であり、高時間分解能（１μ秒単位の精度）である。
【0176】
これらのことから、イベントベースイメージャ３３は、フレームベースイメージャ３２に対して、輝度分解能、時間分解能ともに十分な精度を有していると想定できる。仮に、イベントベースイメージャ３３からの出力に、階調出力がなく、輝度変化を表す符号（＋１、または－１）を出力するような場合であっても、上記した性能から、イベントベースからフレームベースへの輝度の階調換算は、イベントベースの何イベント分が、フレームベースの１階調に相当するか、単純な比例演算で算出することができる。
【0177】
このようなことから、上記したように、イベントベースイメージャ３３からの出力は、階調出力がある場合と、階調出力がない場合（符号の出力の場合）のどちらの場合も本技術に適用できる。
【0178】
なお、急激な輝度変化があったような場合、比例換算から外れることが想定される。このような場合、図１３を参照して説明するような方法で対応することができる。
【0179】
図１３のＡに示したように、露光時間Ａにおいて取得されたフレームＰ（の所定の座標のピクセル）と、次の露光時間Ｂにおいて取得されたフレームＰｘ（の所定の座標のピクセル）の輝度に大きな差がある場合に、その間に発生したイベントの発生密度が求められる。図１３のＡのような状況の場合、図１３のＢに示すように、イベントの発生密度は、非露光時間にピークになるようなグラフとなる。
【0180】
この発生密度を時間積分し、該当するピクセルの輝度に加算することで、図１３の補間輝度カーブが求められる。この補間輝度カーブから求められる輝度階調が、イベントベースイメージャ３３からのイベントデータとして扱われる。例えば、非露光時間において、時刻ｔ１乃至ｔ４のそれぞれに補間フレームＰｂを生成するような場合であり、図１３のＣのグラフの縦軸を輝度変換量とした場合、時刻ｔ１のときのイベントデータｅ１は、時刻ｔ１のところで補間輝度カーブと交わる値とされる。
【0181】
同じく、時刻ｔ２のときのイベントデータｅ２は、時刻ｔ２のところで補間輝度カーブと交わる値とされ、時刻ｔ３のときのイベントデータｅ３は、時刻ｔ３のところで補間輝度カーブと交わる値とされ、時刻ｔ４のときのイベントデータｅ４は、時刻ｔ４のところで補間輝度カーブと交わる値とされる。
【0182】
このように、輝度が急激に変化したような場合には、イベントベースの発生密度から生成される補間輝度カーブを用いて、イベントデータに含まれる輝度変化量が設定されるようにしても良い。輝度の急激な変化は、図１３のＢに示したようなイベントベース発生密度に関するグラフを作成し、閾値を超えるピークがあるグラフが得られたときには、輝度の急激な変化があったと判定される仕組みを設けても良い。
【0183】
＜静止画への適用＞
上述した実施の形態においては、動画像を生成する場合を例に挙げて説明したが、本技術は、静止画像を生成する場合にも適用できる。
上述した実施の形態においては、動画像を生成する場合を例に挙げて説明したが、本技術は、静止画像を生成する場合にも適用できる。
【0184】
上述した動画像に関するフレーム内補間の処理は、動きぼけを除去した静止画像の生成に適用できる。静止画像は、図５を参照して説明したフレーム内補間の処理において、補間枚数を無限に近づけた場合の１画像と見なすことができ、次式（１６）により求めることができる。
【0185】
【数7】
【0186】
式（１６）において、ＴＥは、フレームベースイメージャ３２の露光時間を表す。Ｔは、求める静止画像の時刻を表す。Ｔが表す時刻は、露光開始時を０としたときの時刻である。ｔｅは、イベントの発生時刻を表す。ΔＰｔｅは、ｔｅに発生したイベントのイベントデータ（輝度差分画像）を表す。
【0187】
式（１６）は、図１４に示すようなグラフで表される係数を乗算して足し合わせることを意味している。図１４を参照するに、露光時間の０から時刻ＴＥの間に、時刻Ｔがある。時刻０から時刻Ｔまでの間の係数は、０から（Ｔ／ＴＥ）まで１次関数的に増加する。この部分は、式（１６）の右辺の第２項の演算に係わる。
【0188】
時刻Ｔから時刻ＴＥまでの間の係数は、（―１＋Ｔ／ＴＥ）から０まで１次関数的に増加する。この部分は、式（１６）の右辺の第３項の演算に係わる。
【0189】
式（１６）に基づいて、時刻Ｔにおける静止画像ＰＴを求めるようにした場合、精度が高い処理を行うことができる。一方で、図１５に示すように、露光時間の中間の時刻を時刻Ｔとして、静止画像ＰＴを求めるようにした場合、換言すれば、簡易的に静止画像ＰＴを求めるようにした場合、式（１７）により静止画像ＰＴを求めることができる。
【0190】
【数8】
【0191】
フレームベースイメージャ３２が、時刻０から時刻ＴＥまで露光した結果、フレームＰが得られた場合であり、その露光時間の中点（時刻Ｔ）における静止画像が求められる場合、式（１７）に示したように、フレームＰと、時刻０から時刻Ｔまでの積算イベントデータΔＰ１と、時刻Ｔから時刻ＴＥまでの積算イベントデータΔＰ２とを用いて算出できる。
【0192】
時刻Ｔは、上記した例では、露光時間の中点の時刻を例に挙げたが、中点以外が設定されているようにし、簡易的に求められるようにすることもできる。
【0193】
時刻Ｔを変え、複数の静止画像が生成されるようにすることもできる。例えば、露光時間を５等分し、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４、および時刻Ｔ５（＝時刻ＴＥ）のそれぞれにおいて静止画像ＰＴを生成するようにしても良い。このように複数、この場合、５枚の静止画像ＰＴが生成されるようにした場合、生成された５枚の静止画像ＰＴが全て保存されるようにしても良い。５枚の静止画像ＰＴをユーザに提示し、ユーザにより選択された１または複数の静止画像ＰＴが保存されるようにしても良い。
【0194】
このようにして、フレームベースイメージャ３２により得られたフレームＰと、イベントベースイメージャ３３から得られたイベントデータ（積算イベントデータΔＰ）とを用いて、動きぼけを除去した静止画像を生成することもできる。
【0195】
本技術によれば、高フレームレートの撮像装置を実現することができる。イベントベースイメージャ３３からのイベントデータを用いているため、低照度の被写体であっても、高フレームレートの撮影が可能となる。連続撮影時間の制限をなくす、もしくは軽減することが可能となる。本技術によれば、静止画像のデブラー（動きぼけ除去）機能を追加することも可能である。
【0196】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0197】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【0198】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
【0199】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【0200】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0201】
コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【0202】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0203】
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0204】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0205】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0206】
なお、本技術は以下のような構成も取ることができる。
（１）
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する生成部と
を備える画像処理装置。
（２）
前記生成部は、前記補間フレームに、所定の時間内に発生した前記イベントデータを積算した積算イベントデータを加算することで前記補間フレームを生成する
前記（１）に記載の画像処理装置。
（３）
前記生成部は、前記第１の撮像素子の第１の露光時間で得られた第１のフレームデータと、前記第１の露光時間内に得られた複数の前記積算イベントデータを用いて、前記第１の露光時間内の先頭の補間フレームを生成する
前記（２）に記載の画像処理装置。
（４）
前記生成部は、前記補間フレームに、所定の時間内に発生した前記イベントデータを積算した積算イベントデータを加算または減算することで前記補間フレームを生成する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記生成部は、
第１の露光時間内の補間フレームとして生成された複数の補間フレームのうちの最後尾の補間フレームと、
前記第１の露光時間よりも後の第２の露光時間において前記第１の撮像素子で得られた第２のフレームデータと、前記第２の露光時間内に得られた前記積算イベントデータを加算することで、生成された複数の補間フレームのうちの先頭の補間フレームと、
前記第１の露光時間と前記第２の露光時間との間の非露光時間において得られた前記積算イベントデータと
を用いて、前記非露光時間における補間フレームを生成する
前記（４）に記載の画像処理装置。
（６）
前記生成部は、
前記非露光時間の前半に位置する前記補間フレームを生成する場合、前記最後尾の補間フレームと、前記非露光時間の前半に得られた前記積算イベントデータを用いて前記補間フレームを生成し、
前記非露光時間の後半に位置する前記補間フレームを生成する場合、前記先頭の補間フレームと、前記非露光時間の後半に得られた前記積算イベントデータを用いて前記補間フレームを生成する
前記（５）に記載の画像処理装置。
（７）
露光時間内の所定の時刻における静止画像を、前記露光時間内に取得された前記イベントデータを、前記フレームデータに加算および減算することで生成する
前記（１）に記載の画像処理装置。
（８）
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と
を備える画像処理装置が、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する
画像処理方法。
（９）
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と
を備える画像処理装置を制御するコンピュータに、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する
ステップを含む処理を実行させるためのプログラム。
（１０）
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する生成部
を備える画像処理装置。
（１１）
前記第１のフレームと前記第２のフレームは、フレームベースの撮像素子により撮像されたフレームである
前記（１０）に記載の画像処理装置。
（１２）
前記第１のフレームと前記第２のフレームは、前記生成部により生成された補間フレームである
前記（１０）または（１１）に記載の画像処理装置。
（１３）
画像処理装置が、
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する
画像処理方法。
（１４）
コンピュータに、
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する
ステップを含む処理を実行させるためのプログラム。
（１）
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する生成部と
を備える画像処理装置。
（２）
前記生成部は、前記補間フレームに、所定の時間内に発生した前記イベントデータを積算した積算イベントデータを加算することで前記補間フレームを生成する
前記（１）に記載の画像処理装置。
（３）
前記生成部は、前記第１の撮像素子の第１の露光時間で得られた第１のフレームデータと、前記第１の露光時間内に得られた複数の前記積算イベントデータを用いて、前記第１の露光時間内の先頭の補間フレームを生成する
前記（２）に記載の画像処理装置。
（４）
前記生成部は、前記補間フレームに、所定の時間内に発生した前記イベントデータを積算した積算イベントデータを加算または減算することで前記補間フレームを生成する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記生成部は、
第１の露光時間内の補間フレームとして生成された複数の補間フレームのうちの最後尾の補間フレームと、
前記第１の露光時間よりも後の第２の露光時間において前記第１の撮像素子で得られた第２のフレームデータと、前記第２の露光時間内に得られた前記積算イベントデータを加算することで、生成された複数の補間フレームのうちの先頭の補間フレームと、
前記第１の露光時間と前記第２の露光時間との間の非露光時間において得られた前記積算イベントデータと
を用いて、前記非露光時間における補間フレームを生成する
前記（４）に記載の画像処理装置。
（６）
前記生成部は、
前記非露光時間の前半に位置する前記補間フレームを生成する場合、前記最後尾の補間フレームと、前記非露光時間の前半に得られた前記積算イベントデータを用いて前記補間フレームを生成し、
前記非露光時間の後半に位置する前記補間フレームを生成する場合、前記先頭の補間フレームと、前記非露光時間の後半に得られた前記積算イベントデータを用いて前記補間フレームを生成する
前記（５）に記載の画像処理装置。
（７）
露光時間内の所定の時刻における静止画像を、前記露光時間内に取得された前記イベントデータを、前記フレームデータに加算および減算することで生成する
前記（１）に記載の画像処理装置。
（８）
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と
を備える画像処理装置が、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する
画像処理方法。
（９）
フレームベースの第１の撮像素子と、
イベントベースの第２の撮像素子と
を備える画像処理装置を制御するコンピュータに、
前記第１の撮像素子からのフレームデータと、前記第２の撮像素子からのイベントデータを用いて、補間フレームを生成する
ステップを含む処理を実行させるためのプログラム。
（１０）
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する生成部
を備える画像処理装置。
（１１）
前記第１のフレームと前記第２のフレームは、フレームベースの撮像素子により撮像されたフレームである
前記（１０）に記載の画像処理装置。
（１２）
前記第１のフレームと前記第２のフレームは、前記生成部により生成された補間フレームである
前記（１０）または（１１）に記載の画像処理装置。
（１３）
画像処理装置が、
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する
画像処理方法。
（１４）
コンピュータに、
イベントベースの撮像素子から得られたイベントデータと、フレームデータとを用いて、第１のフレームと第２のフレームの間を補間する補間フレームを生成する
ステップを含む処理を実行させるためのプログラム。
【符号の説明】
【0207】
１１ 画像処理装置， ２１ レンズ， ２２ カメラ部， ２３ 画像生成部， ３１ ハーフミラー， ３２ フレームベースイメージャ， ３３ イベントベースイメージャ， ３４ イメージャ間補正演算部， ３５ キャリブレーション部， ４１ イベント積算部， ４２ データ保存部， ４３ 補間画像生成部， ５１ ハイブリッドイメージャ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】