特開 2023-94925 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023094925

(43)【公開日】2023-07-06

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230629BHJP

   H04N 23/54 20230101ALI20230629BHJP

   H04N 23/56 20230101ALI20230629BHJP

   H04N 23/55 20230101ALI20230629BHJP

   H04N 23/65 20230101ALI20230629BHJP

   G03B 15/00 20210101ALI20230629BHJP

   G03B 15/03 20210101ALI20230629BHJP

【ＦＩ】

H04N5/232

H04N5/225 300

H04N5/225 600

H04N5/225 400

H04N5/232 411

G03B15/00 F

G03B15/00 Q

G03B15/03

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021210527

(22)【出願日】2021-12-24

(71)【出願人】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】山口 陽介

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA06

5C122EA37

5C122EA52

5C122FB01

5C122FB17

5C122FC06

5C122FC07

5C122FH11

5C122FH14

5C122GE04

5C122GG04

5C122GG12

5C122GG21

5C122HA82

5C122HB05

(57)【要約】

【課題】イベントデータの出力飽和状態を抑制しつつ、時間的高分解能・高ダイナミックレンジ・省データ・省電力といったイベントカメラの優位性を有する撮像装置を提供する。
【解決手段】制御部１１による出力制限処理は、所定の撮像エリアＳを狭いエリアに限定した限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることで、撮像素子１３ａにて生成されるイベントデータの出力を制限可能であって、所定の撮像エリアＳを網羅するように限定エリアを順次切り替える。制御部１１による画像生成処理は、出力制限処理によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアＳの撮像画像を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを生成する撮像素子と、
前記撮像素子から出力されるイベントデータを利用して所定の撮像エリアの撮像画像を生成する画像生成部と、
前記所定の撮像エリアを狭いエリアに限定した限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることで、前記撮像素子にて生成されるイベントデータの出力を制限可能な出力制限部と、
を備え、
前記出力制限部は、前記所定の撮像エリアを網羅するように前記限定エリアを順次切り替え、
前記画像生成部は、前記出力制限部によるイベントデータの出力制限時には、前記限定エリアの切り替えごとに出力されるイベントデータを集約することで、前記所定の撮像エリアの撮像画像を生成することを特徴とする撮像装置。

【請求項2】

前記出力制限部は、前記限定エリアに対応しない画素の機能を一時的に無効にすることで、前記限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記出力制限部は、前記撮像素子側の面が単一色で形成されて前記限定エリアに対応する画素と異なる画素を覆う遮蔽部を有し、前記限定エリアの順次切り替えに応じて前記遮蔽部を移動させることで、前記限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記出力制限部は、前記撮像素子の受光側を覆う赤外線透過部と、前記赤外線透過部の前記所定の撮像エリアに対応する面の一部に対して前記撮像素子側から赤外線を照射する赤外線照射部と、を有し、前記限定エリアの順次切り替えに応じて前記赤外線照射部から照射される赤外線の照射範囲を移動させることで、前記限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることを特徴とする請求項１に記載の撮像装置。

【請求項5】

撮像対象の移動速度を推定する推定部を備え、
前記画像生成部は、前記出力制限部によるイベントデータの出力制限時には、前記限定エリアの切り替えごとに出力されるイベントデータを、前記推定部により推定される前記撮像対象の移動速度を考慮して集約することで、前記所定の撮像エリアの撮像画像を生成することを特徴とする請求項１～４のいずれか一項に記載の撮像装置。

【請求項6】

前記出力制限部は、単位時間当たりに前記撮像素子から出力されるイベントデータが所定量以上となる場合に、前記イベントデータの出力を制限することを特徴とする請求項１～５のいずれか一項に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関するものである。

【背景技術】

【0002】

近年、より高速に撮像対象の画像を生成する技術として、下記特許文献１に開示されるイベントカメラ（イベントベースカメラ）が知られている。イベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータは出力しないといった特徴があるため、より高速に撮像対象の画像を生成できるだけでなく、時間的高分解能・高ダイナミックレンジ・省データ・省電力といった優位性を有するカメラを実現することができる。特に、下記特許文献１では、イベントカメラと情報コードとを相対移動させたときに輝度変化が発生する画素に応じて出力されるイベントに基づいて情報コードを構成する各セルの明暗を推定することで、情報コードの画像を復元させている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０８２２７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、例えば、至近距離で横切るＱＲコード（登録商標）をイベントカメラで撮像する場合、その二次元的な白黒の変化は、イベントカメラの時間的高分解能によって、瞬間的に大量のイベントデータを出力することになってしまう。そうすると、瞬間的に大量のイベントデータを出力できない安価なイベントカメラでは、出力すべきイベントデータが限界に達して飽和してしまい、一部のデータが出力されずに喪失してしまうという問題がある。上述のようなＱＲコードを撮像する場合に限らず、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping：自己位置推定と環境地図作成の同時実行）に関連して撮像する場合にも同様の問題が生じてしまう。

【0005】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータの出力飽和状態を抑制しつつ、時間的高分解能・高ダイナミックレンジ・省データ・省電力といったイベントカメラの優位性を有する撮像装置を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、特許請求の範囲の請求項１に記載の撮像装置（１０）は、
輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを生成する撮像素子（１３ａ）と、
前記撮像素子から出力されるイベントデータを利用して所定の撮像エリア（Ｓ）の撮像画像を生成する画像生成部（１１）と、
前記所定の撮像エリアを狭いエリアに限定した限定エリア（Ｓａ～Ｓｆ）のみについて輝度変化のあった画素のイベントデータを出力させることで、前記撮像素子にて生成されるイベントデータの出力を制限可能な出力制限部（１１）と、
を備え、
前記出力制限部は、前記所定の撮像エリアを網羅するように前記限定エリアを順次切り替え、
前記画像生成部は、前記出力制限部によるイベントデータの出力制限時には、前記限定エリアの切り替えごとに出力されるイベントデータを集約することで、前記所定の撮像エリアの撮像画像を生成することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0007】

請求項１の発明では、出力制限部は、所定の撮像エリアを狭いエリアに限定した限定エリアのみについて輝度変化のあった画素のイベントデータを出力させることで、撮像素子にて生成されるイベントデータの出力を制限可能であって、所定の撮像エリアを網羅するように限定エリアを順次切り替える。画像生成部は、出力制限部によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアの撮像画像を生成する。

【0008】

これにより、例えば、至近距離で横切るようにＱＲコードが所定の撮像エリアに入り込む場合でも、限定エリアに含まれるＱＲコードの一部についてイベントデータが出力されて限定エリアに含まれないＱＲコードの残部についてイベントデータが出力されないので、イベントデータの出力飽和状態を抑制することができる。そして、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアの撮像画像を生成できるので、イベントデータの出力飽和状態を抑制しつつ、時間的高分解能・高ダイナミックレンジ・省データ・省電力といったイベントカメラの優位性を有する撮像装置を実現することができる。

【0009】

請求項２の発明では、出力制限部は、限定エリアに対応しない画素の機能を一時的に無効にすることで、限定エリアのみについて輝度変化のあった画素のイベントデータを出力させるので、限定エリアの切り替えを正確かつ高速に実施することができる。特に、所定の撮像エリアに占める各限定エリアの範囲を、四分割やまばらなど容易に調整することができる。

【0010】

請求項３の発明では、出力制限部は、撮像素子側の面が単一色で形成されて限定エリアに対応する画素と異なる画素を覆う遮蔽部を有し、限定エリアの順次切り替えに応じて遮蔽部を移動させることで、限定エリアのみについて輝度変化のあった画素のイベントデータを出力させる。このように、遮蔽部の回転やスライドなどの移動に応じて限定エリアの切り替えを実施することができる。

【0011】

請求項４の発明では、出力制限部は、撮像素子の受光側を覆う赤外線透過部と、赤外線透過部の所定の撮像エリアに対応する面の一部に対して撮像素子側から赤外線を照射する赤外線照射部と、を有し、限定エリアの順次切り替えに応じて赤外線照射部から照射される赤外線の照射範囲を移動させることで、限定エリアのみについて輝度変化のあった画素のイベントデータを出力させる。このように、赤外線の照射範囲の移動に応じて限定エリアの切り替えを実施することができる。

【0012】

請求項５の発明では、画像生成部は、出力制限部によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを、推定部により推定される撮像対象の移動速度を考慮して集約することで、所定の撮像エリアの撮像画像を生成する。これにより、ＱＲコードなどの撮像対象が高速で移動していることで、限定エリアを切り替えるごとに所定の撮像エリアに占める撮像対象の位置がずれるような場合でも、その位置ズレを補正するようにイベントデータを集約でき、所定の撮像エリアの撮像画像を精度良く生成することができる。

【0013】

請求項６の発明では、出力制限部は、単位時間当たりに撮像素子から出力されるイベントデータが所定量以上となる場合に、イベントデータの出力を制限するため、少量のイベントデータが出力されるような場合にまでイベントデータの出力が制限されることもないので、不要なイベントデータの出力制限を抑制することができる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態に係る撮像装置の概略構成を示すブロック図である。

【図2】第１実施形態において撮像エリアと各限定エリアとの関係を説明する説明図である。

【図3】ＱＲコードが撮像エリアに入り込んだ状態を説明する説明図である。

【図4】図４（Ａ）は、図２（Ａ）に示す限定エリアでイベント出力対象となる図３のＱＲコードの一部を説明する説明図であり、図４（Ｂ）は、図２（Ｂ）に示す限定エリアでイベント出力対象となる図３のＱＲコードの一部を説明する説明図であり、図４（Ｃ）は、図２（Ｃ）に示す限定エリアでイベント出力対象となる図３のＱＲコードの一部を説明する説明図であり、図４（Ｄ）は、図２（Ｄ）に示す限定エリアでイベント出力対象となる図３のＱＲコードの一部を説明する説明図である。

【図5】第２実施形態において撮像エリアに対する限定エリアの切り替え方法を説明する説明図である。

【図6】第３実施形態において撮像エリアに対する限定エリアの切り替え方法を説明する説明図である。

【発明を実施するための形態】

【0015】

［第１実施形態］
以下、本発明の撮像装置を具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る撮像装置１０は、いわゆるイベントカメラとして機能する装置である。この撮像装置１０は、輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データと時間と輝度変化の極性とを含めるようにイベントデータを出力し、一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットするようにして、撮像対象の画像データを生成する。

【0016】

図１に示すように、撮像装置１０は、ＣＰＵ等からなる制御部１１及び半導体メモリ等からなる記憶部１２に加えて、制御部１１によって制御される撮像部１３及び表示部１４、入力操作に応じた操作信号を制御部１１に出力する操作部１５、外部機器等と通信するための通信部１６などを備えている。

【0017】

撮像部１３は、撮像素子１３ａや受光レンズ等を備えるように構成されており、この撮像素子１３ａは、受光レンズを介して受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを制御部１１に出力するように構成されている。すなわち、撮像素子１３ａは、輝度変化のあった画素に対応するイベントデータ（二次元点データ、時間、輝度変化の極性）を制御部１１に出力し、輝度変化のない画素に関してデータを出力しないように機能する。

【0018】

特に、本実施形態では、撮像部１３の撮像素子１３ａは、輝度変化があった際にイベントデータを出力する画素（以下、出力可能画素ともいう）と画素の機能を一時的に無効にすることで輝度変化の有無にかかわらずイベントデータを出力しない画素（以下、出力制限画素ともいう）とを、制御部１１による出力制限処理に応じて画素単位で切り替え可能に構成されている。

【0019】

このため、例えば、撮像素子１３ａの全ての画素を利用した所定の撮像エリアＳを、図２（Ａ）に示す限定エリアＳａに対応する画素のみ出力可能画素としてその他の画素を出力制限画素とすることで、全ての画素を出力可能画素とする場合と比較して、イベントデータの出力量を減らすことができる。また、図２（Ｂ）に示す限定エリアＳｂに対応する画素のみ出力可能画素としてその他の画素を出力制限画素とする場合や図２（Ｃ）に示す限定エリアＳｃに対応する画素のみ出力可能画素としてその他の画素を出力制限画素とする場合、図２（Ｄ）に示す限定エリアＳｄに対応する画素のみ出力可能画素としてその他の画素を出力制限画素とする場合でも、同様にイベントデータの出力量を減らすことができる。

【0020】

本実施形態では、各限定エリアＳａ～Ｓｄを合わせたエリアが撮像エリアＳに一致するように設定されており、所定の撮像条件では、撮像エリアＳを網羅するように各限定エリアＳａ～Ｓｄが順次切り替えられる。このような撮像条件では、上述のようにイベントデータの出力量を減らしつつ、各限定エリアＳａ～Ｓｄの切り替えごとに出力されるイベントデータを集約することで、撮像エリアＳの撮像画像を生成することができる。なお、上記出力制限処理を行う制御部１１は、撮像エリアＳを狭いエリアに限定した限定エリア（Ｓａ～Ｓｄ）のみについて輝度変化のあった画素のイベントデータを出力させることで、撮像素子１３ａにて生成されるイベントデータの出力を制限可能な「出力制限部」の一例に相当し得る。また、各限定エリアＳａ～Ｓｄは、当該各限定エリアＳａ～Ｓｄを合わせたエリアが撮像エリアＳを含むように設定されてもよい。

【0021】

例えば、上記所定の撮像条件時に、ＱＲコードＣを撮像装置１０にかざすことで、図３に示すようにそのＱＲコードＣが撮像エリアＳに入り込んだ状態では、まず、限定エリアＳａへの切り替え時に図４（Ａ）に示す画像を生成するためのイベントデータが撮像素子１３ａから制御部１１に出力される。続いて、限定エリアＳｂへの切り替え時に図４（Ｂ）に示す画像を生成するためのイベントデータが撮像素子１３ａから制御部１１に出力された後、限定エリアＳｃへの切り替え時に図４（Ｃ）に示す画像を生成するためのイベントデータが撮像素子１３ａから制御部１１に出力される。最後に、限定エリアＳｄへの切り替え時に図４（Ｄ）に示す画像を生成するためのイベントデータが撮像素子１３ａから制御部１１に出力される。

【0022】

そして、制御部１１では、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアＳの撮像画像を生成する画像生成処理がなされる。これにより、限定エリアＳａへの切り替え時に得られたイベントデータと限定エリアＳｂへの切り替え時に得られたイベントデータと限定エリアＳｃへの切り替え時に得られたイベントデータと限定エリアＳｄへの切り替え時に得られたイベントデータとが集約されて、図３に示すようＱＲコードＣに対応する撮像画像が生成される。なお、上記画像生成処理を行う制御部１１は、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアＳの撮像画像を生成する「画像生成部」の一例に相当し得る。

【0023】

以上説明したように、本実施形態に係る撮像装置１０では、制御部１１による出力制限処理は、所定の撮像エリアＳを狭いエリアに限定した限定エリア（Ｓａ～Ｓｂ）のみについて輝度変化のあった画素（出力可能画素）のイベントデータを出力させることで、撮像素子１３ａにて生成されるイベントデータの出力を制限可能であって、所定の撮像エリアＳを網羅するように限定エリアを順次切り替える。制御部１１による画像生成処理は、出力制限処理によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアＳの撮像画像を生成する。

【0024】

これにより、例えば、至近距離で横切るようにＱＲコードＣが所定の撮像エリアＳに入り込む場合でも、限定エリアに含まれるＱＲコードＣの一部についてイベントデータが出力されて限定エリアに含まれないＱＲコードＣの残部についてイベントデータが出力されないので、イベントデータの出力飽和状態を抑制することができる。また、例えば、周辺環境が所定の撮像エリアＳに入り込む場合でも、限定エリアに含まれる周辺環境の一部についてイベントデータが出力されて限定エリアに含まれない周辺環境の残部についてイベントデータが出力されないので、イベントデータの出力飽和状態を抑制することができる。そして、限定エリアの切り替えごとに出力されるイベントデータを集約することで、所定の撮像エリアＳの撮像画像を生成できるので、イベントデータの出力飽和状態を抑制しつつ、時間的高分解能・高ダイナミックレンジ・省データ・省電力といったイベントカメラの優位性を有する撮像装置を実現することができる。

【0025】

特に、制御部１１による出力制限処理は、限定エリアに対応しない画素（出力制限画素）の機能を一時的に無効にすることで、限定エリアのみについて輝度変化のあった画素（出力可能画素）のイベントデータを出力させるので、限定エリアの切り替えを正確かつ高速に実施することができる。さらに、所定の撮像エリアＳに占める各限定エリアの範囲を、四分割やまばらなど容易に調整することができる。

【0026】

［第２実施形態］
次に、本発明の第２実施形態に係る撮像装置について、図面を参照して説明する。
本第２実施形態では、限定エリアを物理的に切り替える点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0027】

本実施形態に係る撮像装置１０では、図５に例示するように、撮像部１３（撮像素子１３ａ）の受光側に遮蔽部２０が回転移動可能に配置されている。この遮蔽部２０は、撮像素子側の面が単一色（例えば、白色と黒色との中間色となるグレー色）であって扇形状の切り欠き２１が形成され、回転中心が撮像素子１３ａの撮像中心に一致するように配置されている。遮蔽部２０は、撮像対象側から見ると、回転時に切り欠き２１を除いて撮像素子１３ａを覆うように形成されており、切り欠き２１の中心角は切り替え頻度に応じた角度（例えば、９０°）に設定されている。

【0028】

制御部１１にてなされる出力制限処理では、遮蔽部２０を回転させるモータ等を駆動制御して、遮蔽部２０によって覆われる撮像素子１３ａの範囲と切り欠き２１を介して露出される撮像素子１３ａの範囲とを切り替える。遮蔽部２０によって覆われる撮像素子１３ａの画素は、遮蔽部２０の上記単一色の面からの光が受光されて輝度変化が生じないために上記出力制限画素となり、切り欠き２１を介して露出される撮像素子１３ａの画素は、上記出力可能画素となる。

【0029】

このため、遮蔽部２０を回転移動させることで、限定エリアの切り替えを実施することができる。そして、制御部１１では、例えば、切り欠き２１の中心角分だけ遮蔽部２０が回転移動するごとに、限定エリアが切り替えられたとしてイベントデータを集約することで、所定の撮像エリアＳの撮像画像を生成する画像生成処理がなされる。なお、図５では、遮蔽部２０を回転移動させることで切り替えられた限定エリアを符号Ｓｅにて図示している。また、上記出力制限処理を行う制御部１１及び遮蔽部２０は、「出力制限部」の一例に相当し得る。

【0030】

なお、切り欠き２１が形成される遮蔽部２０を回転移動させることで、物理的に限定エリアの切り替えを実施することに限らず、例えば、遮蔽部を所定方向（例えば、上下方向）にスライドさせることで、物理的に限定エリアの切り替えを実施してもよい。

【0031】

［第３実施形態］
次に、本発明の第３実施形態に係る撮像装置について、図面を参照して説明する。
本第３実施形態では、赤外線を利用して限定エリアを切り替える点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0032】

本実施形態に係る撮像装置１０では、図６に例示するように、撮像部１３（撮像素子１３ａ）の受光側を覆う赤外線透過部３１と、赤外線透過部３１の所定の撮像エリアに対応する面の一部に対して撮像素子側から赤外線を照射する赤外線照射部３２とが設けられている。赤外線透過部３１は、例えば、赤外線透過フィルタであって、可視光を透過させずに赤外線を透過させるように機能する。

【0033】

このため、撮像対象等にて反射されて赤外線透過部３１を透過した赤外線が受光される撮像素子１３ａの一部の画素は、出力可能画素となる。一方、赤外線が照射されない撮像対象等からの反射光は赤外線透過部３１を透過できないため、赤外線が照射されないエリアを受光範囲とする撮像素子１３ａの残部の画素は、出力制限画素となる。

【0034】

赤外線照射部３２は、その赤外線の照射範囲（照射方向）が制御部１１によって制御可能に構成されている。このため、制御部１１にてなされる出力制限処理では、赤外線照射部３２による赤外線の照射範囲を移動させることで、限定エリアの切り替えを実施することができる。そして、制御部１１では、赤外線照射部３２による赤外線の照射範囲が変わるごとに、限定エリアが切り替えられたとしてイベントデータを集約することで、所定の撮像エリアＳの撮像画像を生成する画像生成処理がなされる。なお、図６では、赤外線照射部３２から赤外線が照射されることで切り替えられた限定エリアを符号Ｓｆにて図示している。また、上記出力制限処理を行う制御部１１、赤外線透過部３１及び赤外線照射部３２は、「出力制限部」の一例に相当し得る。

【0035】

なお、赤外線照射部３２は、照射方向を変えることで、赤外線透過部３１に対する照射範囲を変えるように構成されることに限らず、例えば、限定エリアごとに対応する赤外線ライトをそれぞれ備えて、点灯する赤外線ライトを切り替えることで、赤外線透過部３１に対する照射範囲を変えるように構成されてもよい。

【0036】

［第４実施形態］
次に、本発明の第４実施形態に係る撮像装置について説明する。
本第４実施形態では、推定される撮像対象の移動速度を考慮してイベントデータを集約する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0037】

撮像装置１０に対する撮像対象の相対移動速度が比較的速い場合や限定エリアの切り替え速度が比較的遅い場合には、限定エリアの切り替え中に撮像対象が移動することで位置ズレが生じてしまい、正確な撮像対象の撮像画像を生成できない場合がある。

【0038】

このため、本実施形態では、撮像対象の移動速度を推定して、限定エリアの切り替えごとに出力されるイベントデータを、推定される撮像対象の移動速度を考慮して集約する。

【0039】

具体的には、まず、制御部１１にてなされる移動速度推定処理がなされ、撮像エリア又は１つの限定エリアでイベントデータを利用して撮像対象の画像を複数生成して、各画像間での撮像対象の位置ズレ量を検出することで、その撮像対象の移動速度が推定される。なお、上記移動速度推定処理を行う制御部１１は、撮像対象の移動速度を推定する「推定部」の一例に相当し得る。

【0040】

続いて、制御部１１にてなされる出力制限処理では、上述のように限定エリアを切り替えることで限定エリアごとにイベントデータが取得される。そして、制御部１１にてなされる画像生成処理では、取得されたイベントデータを、上述のように推定された移動速度から求められる撮像対象の移動方向及び限定エリア切り替え間隔での移動距離を利用して位置補正し、このように位置補正したイベントデータを集約して撮像対象の撮像画像が生成される。

【0041】

例えば、上記第１実施形態のように４つの限定エリアＳａ～Ｓｄが採用される場合には、まず、限定エリアＳａの切り替え時に出力されたイベントデータを上記移動距離等を利用して位置補正したイベントデータと限定エリアＳｂの切り替え時に出力されたイベントデータとを集約する。続いて、上述のように２つの限定エリアに関して集約されたイベントデータを上記移動距離等を利用して位置補正したイベントデータと限定エリアＳｃの切り替え時に出力されたイベントデータとをさらに集約する。そして、上述のように３つの限定エリアに関して集約されたイベントデータを上記移動距離等を利用して位置補正したイベントデータと限定エリアＳｄの切り替え時に出力されたイベントデータとをさらに集約する。このように位置ズレを補正するように集約されたイベントデータに基づいて所定の撮像エリアＳの撮像画像が生成される。

【0042】

以上説明したように、本実施形態に係る撮像装置１０では、制御部１１にてなされる画像生成処理は、出力制限処理によるイベントデータの出力制限時には、限定エリアの切り替えごとに出力されるイベントデータを、推定される撮像対象の移動速度を考慮して集約することで、所定の撮像エリアＳの撮像画像を生成する。

【0043】

これにより、ＱＲコードなどの撮像対象が高速で移動していることで、限定エリアを切り替えるごとに所定の撮像エリアＳに占める撮像対象の位置がずれるような場合でも、その位置ズレを補正するようにイベントデータを集約でき、所定の撮像エリアＳの撮像画像を精度良く生成することができる。

【0044】

なお、推定される撮像対象の移動速度を考慮してイベントデータを集約する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。

【0045】

なお、本発明は上記各実施形態等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）制御部１１にてなされる出力制限処理では、上記所定の撮像条件として、例えば、単位時間当たりに撮像素子１３ａから出力されるイベントデータが所定量以上となる場合にイベントデータの出力を制限し、出力されるイベントデータが上記所定量未満となる場合には、イベントデータの出力を制限しなくてもよい。これにより、少量のイベントデータが出力されるような場合にまでイベントデータの出力が制限されることもないので、不要なイベントデータの出力制限を抑制することができる。また、例えば、操作部１５に対する所定の操作が行われた場合や通信部１６を介して外部から所定の指示が受信された場合に、イベントデータの出力を制限するようにしてもよい。

【0046】

（２）制御部１１にてなされる画像生成処理では、限定エリアの切り替えごとに出力されるイベントデータを全て集約することで所定の撮像エリアＳの撮像画像を生成することに限らず、例えば、撮像対象の部分の撮像画像や所定の撮像エリアＳの一部の撮像画像を生成してもよい。

【符号の説明】

【0047】

１０…撮像装置
１１…制御部（出力制限部，画像生成部，推定部）
１３…撮像部
１３ａ…撮像素子
Ｓ…撮像エリア
Ｓａ～Ｓｆ…限定エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】