特許 7427912 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   G02B 7/34 20210101AFI20240130BHJP

   G03B 13/36 20210101ALI20240130BHJP

   G03B 15/00 20210101ALI20240130BHJP

   H04N 23/67 20230101ALI20240130BHJP

   H04N 23/54 20230101ALI20240130BHJP

   H04N 23/53 20230101ALI20240130BHJP

【ＦＩ】

G02B7/34

G03B13/36

G03B15/00 T

H04N23/67

H04N23/54

H04N23/53

【請求項の数】 2

(21)【出願番号】P 2019195350

(22)【出願日】2019-10-28

(65)【公開番号】P2021067911

(43)【公開日】2021-04-30

【審査請求日】2022-07-27

【前置審査】

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(72)【発明者】

【氏名】三谷 勇介

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】中国特許出願公開第１０９１５１３１５（ＣＮ，Ａ）

【文献】国際公開第２０１６／２０３６９２（ＷＯ，Ａ１）

【文献】特開２００６－２０３３４６（ＪＰ，Ａ）

【文献】特開２０１０－０１９６３２（ＪＰ，Ａ）

【文献】特開２０１２－０１０００６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８－７／３６

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ２３／６７

(57)【特許請求の範囲】

【請求項1】

受光レンズを介して移動する計測対象物からの光を受光した際に輝度変化が所定の閾値以上となった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子と、
前記受光レンズの焦点位置を調整するための調整機構と、
前記調整機構を駆動制御する制御部と、
前記受光レンズを介して受光した際に位相差ＡＦ方式により当該受光レンズの合焦位置からのずれ量を検出するずれ量検出部と、
前記受光レンズと前記撮像素子及び前記ずれ量検出部との光学的な間に固定配置され、前記受光レンズから前記撮像素子に向かう光の一部を分光して前記ずれ量検出部に受光させる分光部と、
前記所定の閾値を前記ずれ量検出部にて検出される前記ずれ量に応じて変更する閾値変更部と、
を備え、
前記撮像素子による前記イベントデータの前記二次元点データは前記制御部に出力され、
前記制御部は、前記ずれ量検出部により検出される前記ずれ量に基づいて前記調整機構を駆動制御することで、前記撮像素子から出力された前記イベントデータの前記二次元点データに基づいて前記二次元点データの前記画素の位置で前記焦点位置を合焦位置に向けて調整し、
前記計測対象物が移動する場合、ピントがずれている状態ではピントが合っている状態よりも、輝度変化が小さくなるため、前記閾値変更部は検出されるずれ量が予め設定された所定量以上であれば前記所定の閾値を規定値だけ下げてピントが合っていない状態が継続する場合でのイベントデータの出力頻度の低下を抑制すると共に、検出されるずれ量が所定量以下である場合には前記所定の閾値を上げてピントがほぼ合っている場合での過剰なイベントデータの出力を抑制することを特徴とする撮像装置。

【請求項2】

前記所定の閾値は、前記分光部による光量減衰比に応じて設定されることを特徴とする請求項１に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関するものである。

【背景技術】

【0002】

近年、より高速に計測対象物の画像を生成する技術として、下記特許文献１に開示されるイベントカメラが知られている。このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータは出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２０１６／０２２７１３５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、通常のカメラで取得される画像データは、各画素が必ず何らかの輝度情報を有しており、その輝度情報を使用したオートフォーカス機能が標準機能として多くのカメラに搭載されている。その一方で、イベントカメラでは、輝度の変化に応じたイベントデータを取得できても輝度情報自体は取得できないため、輝度情報を利用したオートフォーカス機能を採用することができない。このため、イベントカメラであっても、フォーカスが合っていないために計測対象物がぼやけて撮像されると、計測対象物の光が分散されるため正確にイベントデータを得ることができないという問題がある。

【0005】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、撮像素子から出力されるイベントデータを利用することなくオートフォーカス機能を実現可能な構成を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明に係る撮像装置（１０）は、
受光レンズ（２２）を介して移動する計測対象物からの光を受光した際に輝度変化が所定の閾値以上となった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子（２１）と、
前記受光レンズの焦点位置を調整するための調整機構（２３）と、
前記調整機構を駆動制御する制御部（１１）と、
前記受光レンズを介して受光した際に位相差ＡＦ方式により当該受光レンズの合焦位置からのずれ量を検出するずれ量検出部（２５）と、
前記受光レンズと前記撮像素子及び前記ずれ量検出部との光学的な間に固定配置され、前記受光レンズから前記撮像素子に向かう光の一部を分光して前記ずれ量検出部に受光させる分光部（２４）と、
前記所定の閾値を前記ずれ量検出部にて検出される前記ずれ量に応じて変更する閾値変更部と、
を備え、
前記撮像素子による前記イベントデータの前記二次元点データは前記制御部に出力され、
前記制御部は、前記ずれ量検出部により検出される前記ずれ量に基づいて前記調整機構を駆動制御することで、前記撮像素子から出力された前記イベントデータの前記二次元点データに基づいて前記二次元点データの前記画素の位置で前記焦点位置を合焦位置に向けて調整し、
前記計測対象物が移動する場合、ピントがずれている状態ではピントが合っている状態よりも、輝度変化が小さくなるため、前記閾値変更部は検出されるずれ量が予め設定された所定量以上であれば前記所定の閾値を規定値だけ下げてピントが合っていない状態が継続する場合でのイベントデータの出力頻度の低下を抑制すると共に、検出されるずれ量が所定量以下である場合には前記所定の閾値を上げてピントがほぼ合っている場合での過剰なイベントデータの出力を抑制することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0007】

請求項１の発明では、受光レンズを介して受光した際に輝度変化が所定の閾値以上となった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子が採用される。そして、受光レンズから撮像素子に向かう光の一部が分光部により分光され、この分光された光を受光したずれ量検出部では、受光した際に位相差ＡＦ方式により当該受光レンズの合焦位置からのずれ量が検出される。この検出されるずれ量に基づいて制御部により調整機構が駆動制御されることで、焦点位置が合焦位置に向けて調整される。

【0008】

このように、分光部にて分光された光を利用して受光レンズの合焦位置からのずれ量を検出して焦点位置を調整できるので、撮像素子から出力されるイベントデータを利用することなくオートフォーカス機能を実現することができる。

【0009】

請求項２の発明では、上記所定の閾値は、分光部による光量減衰比に応じて設定されるので、分光部によって撮像素子にて受光される光量が減るためにイベントデータの出力頻度が低下することを抑制することができる。

【0010】

請求項１の発明では、上記所定の閾値は、ずれ量検出部にて検出されるずれ量に応じて閾値変更部により変更される。計測対象物が移動していると、ピントが合い難くなってイベントデータの出力頻度が低下する状態が継続してしまう場合がある。このため、ずれ量が大きくなる場合に上記所定の閾値を下げることで、ピントが合っていない状態が継続する場合でも、イベントデータの出力頻度の低下を抑制することができる。その一方で、ピントが合っている場合に上記所定の閾値を上げることで、過剰なイベントデータの出力を抑制することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る撮像装置の概略構成を示すブロック図である。

【図2】ハーフミラーによって分光された状態での輝度変化と分光されない状態での輝度変化とを比較する説明図である。

【図3】図３（Ａ）は、計測対象物を例示する説明図であり、図３（Ｂ）は、図３（Ａ）の計測対象物からの光を受光した場合において、ピントが合っている状態で測定された輝度の位置変化とピントがずれている状態で測定された輝度の位置変化とを説明する説明図である。

【図4】図４（Ａ）は、ピントが合っている状態で、図３（Ａ）に示す計測対象物が図面右方向に移動する場合に変化する輝度の位置変化を説明する説明図であり、図４（Ｂ）は、ピントがずれている状態で、図３（Ａ）に示す計測対象物が図面右方向に移動する場合に変化する輝度の位置変化を説明する説明図であり、図４（Ｃ）は、図４（Ｂ）の受光状態において閾値変更前のイベントデータが出力される範囲を例示する説明図であり、図４（Ｄ）は、図４（Ｂ）の受光状態において閾値変更後のイベントデータが出力される範囲を例示する説明図である。

【発明を実施するための形態】

【0012】

［第１実施形態］
以下、本発明の撮像装置を具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る撮像装置１０は、いわゆるイベントカメラとして機能する装置である。この撮像装置１０は、輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データと時間と輝度変化の極性とを含めるようにイベントデータを出力し、一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットするようにして、計測対象物を撮像した画像データを生成する。

【0013】

図１に示すように、撮像装置１０は、ＣＰＵ等からなる制御部１１及び半導体メモリ等からなる記憶部１２に加えて、制御部１１によって表示内容が制御される表示部１３、入力操作に応じた操作信号を制御部１１に出力する操作部１４、外部機器等と通信するための通信部１５などを備えている。

【0014】

また、撮像装置１０は、撮像部として、撮像素子２１、受光レンズ２２、調整機構２３、ハーフミラー２４、位相差ＡＦセンサ２５等を備えている。撮像素子２１は、受光レンズ２２を介して受光した際に輝度変化が所定の閾値以上となった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを制御部１１に出力するように構成されている。すなわち、撮像素子２１は、輝度変化が所定の閾値以上となった画素に対応するイベントデータ（二次元点データ、時間、輝度変化の極性）を制御部１１に出力し、輝度変化のない画素に関してデータを出力しないように機能する。調整機構２３は、受光レンズ２２の焦点位置を調整するための公知の機構であって、制御部１１により駆動制御されて、受光レンズ２２を光軸に沿う方向（調整方向）の一側又は他側に移動させることで、受光レンズ２２の焦点位置を調整する。

【0015】

ハーフミラー２４は、受光レンズ２２から撮像素子２１に向かう光の一部を所定の光量減衰比に応じて分光して位相差ＡＦセンサ２５に受光させるための分光部として構成されている。このため、本実施形態では、撮像素子２１における上記所定の閾値は、ハーフミラー２４による所定の光量減衰比に応じて設定される。

【0016】

以下、撮像素子２１における上記所定の閾値をハーフミラー２４による所定の光量減衰比に応じて設定する理由について、図２を参照して説明する。なお、図２は、ハーフミラー２４によって分光された状態での輝度変化と分光されない状態での輝度変化とを比較する説明図である。

【0017】

輝度変化が所定の閾値以上となった画素に対応してイベントデータを出力する撮像素子２１では、ハーフミラー２４によって受光量が減少しても、センサノイズの影響を受けることはない。しかしながら、受光量自体が減少するために輝度変化幅が減少することで、イベントデータの出力頻度が低下する場合がある。例えば、図２に示すように、分光していない状態での輝度変化がΔＬ１ａとして検出される場合に、分光することで受光量が上記所定の光量減衰比に応じて減少して輝度変化がΔＬ１ｂとして検出される場合を想定する。このような場合、上記所定の閾値に対して、輝度変化ΔＬ１ａが大きくなる一方で、輝度変化ΔＬ１ｂが小さくなると、分光しているためにイベントデータが出力されなくなる。

【0018】

このため、本実施形態では、撮像素子２１における上記所定の閾値をハーフミラー２４による所定の光量減衰比に応じて設定する。具体的には、分光しない場合の閾値に対してΔＬ１ｂ／ΔＬ１ａを乗算して減少させるようにして、上記所定の閾値を設定する。これにより、ハーフミラー２４による分光に起因するイベントデータの出力頻度の低下を抑制することができる。

【0019】

位相差ＡＦセンサ２５は、受光レンズ２２を介して受光した際に位相差ＡＦ方式により当該受光レンズ２２の合焦位置からのずれ量を検出する公知のセンサである。この位相差ＡＦセンサ２５は、ハーフミラー２４にて分光された光を受光した際に、上記ずれ量に相当する信号を制御部１１に出力するように構成されている。なお、位相差ＡＦセンサ２５は、受光レンズ２２の合焦位置からのずれ量を検出する「ずれ量検出部」の一例に相当し得る。

【0020】

このように構成される撮像装置１０では、制御部１１にてなされる焦点位置調整処理において、位相差ＡＦセンサ２５にて検出される受光レンズ２２の合焦位置からのずれ量が小さくなるように調整機構２３が駆動制御されることで、受光レンズ２２の焦点位置が合焦位置に向けて調整される。

【0021】

以上説明したように、本実施形態に係る撮像装置１０では、受光レンズ２２を介して受光した際に輝度変化が所定の閾値以上となった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子２１が採用される。そして、受光レンズ２２から撮像素子２１に向かう光の一部がハーフミラー２４により分光され、この分光された光を受光した位相差ＡＦセンサ２５では、受光した際に位相差ＡＦ方式により当該受光レンズ２２の合焦位置からのずれ量が検出される。この検出されるずれ量に基づいて制御部１１により調整機構２３が駆動制御されることで、受光レンズ２２の焦点位置が合焦位置に向けて調整される。

【0022】

このように、ハーフミラー２４にて分光された光を利用して受光レンズ２２の合焦位置からのずれ量を検出してその焦点位置を調整できるので、撮像素子２１から出力されるイベントデータを利用することなくオートフォーカス機能を実現することができる。

【0023】

特に、上記所定の閾値は、ハーフミラー２４による光量減衰比に応じて設定されるので、ハーフミラー２４によって撮像素子２１にて受光される光量が減るためにイベントデータの出力頻度が低下することを抑制することができる。

【0024】

［第２実施形態］
次に、本第２実施形態に係る撮像装置について、図面を参照して説明する。
本第２実施形態では、位相差ＡＦセンサ２５を利用して検出されるずれ量に応じて上記所定の閾値を変更する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。なお、図３（Ａ）は、計測対象物を例示する説明図であり、図３（Ｂ）は、図３（Ａ）の計測対象物からの光を受光した場合において、ピントが合っている状態で測定された輝度の位置変化とピントがずれている状態で測定された輝度の位置変化とを説明する説明図である。図４（Ａ）は、ピントが合っている状態で、図３（Ａ）に示す計測対象物が図面右方向に移動する場合に変化する輝度の位置変化を説明する説明図であり、図４（Ｂ）は、ピントがずれている状態で、図３（Ａ）に示す計測対象物が図面右方向に移動する場合に変化する輝度の位置変化を説明する説明図であり、図４（Ｃ）は、図４（Ｂ）の受光状態において閾値変更前のイベントデータが出力される範囲を例示する説明図であり、図４（Ｄ）は、図４（Ｂ）の受光状態において閾値変更後のイベントデータが出力される範囲を例示する説明図である。

【0025】

上述した撮像素子２１を採用する構成では、計測対象物が移動していると、ピントが合い難くなってイベントデータの出力頻度が低下する状態が継続してしまう場合がある。例えば、図３（Ａ）に示すように、白黒が一方向に沿って波形状に変化する面を計測対象物としてその面からの光を受光する場合を想定する。このような計測対象物を静止状態で撮像する場合、ピントが合っている状態（焦点位置が合焦位置に一致している状態）で受光すると、図３（Ｂ）に示す輝度Ｌ２のように、輝度帯域（図３（Ｂ）の符号ΔＬ２ｍ参照）が広くなるように輝度値が変化する。一方、ピントがずれている状態（焦点位置が合焦位置からずれている状態）で受光すると、ぼけが大きくなるため、図３（Ｂ）に示す輝度Ｌ３のように、輝度Ｌ２に対して輝度帯域（図３（Ｂ）の符号ΔＬ３ｍ参照）が狭くなるように輝度値が変化する。

【0026】

このため、図３（Ａ）に示す計測対象物が図面右方向に移動する場合、ピントが合っている状態では、図４（Ａ）からわかるように輝度変化が比較的大きくなり、ピントがずれている状態では、図４（Ｂ）からわかるように輝度変化が比較的小さくなる。例えば、最小輝度値近傍では、ピントがずれている状態での輝度変化（図４（Ｂ）の符号ΔＬ３参照）は、ピントが合っている状態での輝度変化（図４（Ａ）の符号ΔＬ２参照）よりも小さくなる。

【0027】

このように、計測対象物が移動する場合、ピントがずれている状態では、ピントが合っている状態よりも、輝度変化が小さくなるため、イベントデータの出力頻度が低下する。例えば、図４（Ｂ）の受光状態では、最大輝度値近傍と最小輝度値近傍とで特に輝度変化が小さくなるために、閾値変更前では、図４（Ｃ）のイベントデータ出力範囲Ｓａにて示すように、最大輝度値近傍及び最小輝度値近傍でイベントデータが出力されなくなる。

【0028】

そこで、本実施形態では、制御部１１による撮像素子２１の閾値制御により、撮像素子２１においてイベントデータを出力する際の基準となる上記所定の閾値を、位相差ＡＦセンサ２５を利用して検出されるずれ量に応じて変更する。具体的には、例えば、検出されるずれ量が予め設定された所定量以上であれば、上記所定の閾値を規定値だけ下げるように、撮像素子２１が制御部１１により閾値制御される。なお、撮像素子２１に対して上記閾値制御を行なう制御部１１は、「閾値変更部」の一例に相当し得る。

【0029】

これにより、例えば、図４（Ｂ）の受光状態であっても、閾値変更後において、図４（Ｄ）のイベントデータ出力範囲Ｓｂにて示すように、閾値変更前の図４（Ｃ）のイベントデータ出力範囲Ｓａよりも出力範囲が広くなり、イベントデータの出力頻度を高めることができる。すなわち、ずれ量が大きくなる場合に上記所定の閾値を下げることで、ピントが合っていない状態が継続する場合でも、イベントデータの出力頻度の低下を抑制することができる。

【0030】

その一方で、検出されるずれ量が所定量以下である場合、すなわち、ピントがほぼ合っている場合には上記所定の閾値を上げることで、過剰なイベントデータの出力を抑制することができる。

【0031】

なお、本発明は上記各実施形態等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）上記第２実施形態では、撮像素子２１においてイベントデータを出力する際の基準となる上記所定の閾値は、検出されるずれ量が大きくなるほど、その減少幅を大きくするように変更されてもよい。

【0032】

（２）受光レンズ２２の合焦位置からのずれ量は、位相差ＡＦセンサ２５により検出されることに限らず、他の検出方式を採用するずれ量検出部によって検出されてもよい。

【0033】

１０…撮像装置
１１…制御部（閾値変更部）
２１…撮像素子
２２…受光レンズ
２３…調整機構
２４…ハーフミラー（分光部）
２５…位相差ＡＦセンサ（ずれ量検出部）

【図1】

【図2】

【図3】

【図4】