特開 2024-138977 撮像装置及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024138977

(43)【公開日】2024-10-09

(54)【発明の名称】撮像装置及び撮像方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241002BHJP

   H04N 23/56 20230101ALI20241002BHJP

   H04N 23/74 20230101ALI20241002BHJP

   H04N 23/73 20230101ALI20241002BHJP

   H04N 23/741 20230101ALI20241002BHJP

   H04N 23/54 20230101ALI20241002BHJP

   G01C 3/06 20060101ALI20241002BHJP

【ＦＩ】

H04N23/60

H04N23/56

H04N23/74

H04N23/73

H04N23/741

H04N23/54

G01C3/06 140

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023049718

(22)【出願日】2023-03-27

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】生方 正夫

【テーマコード（参考）】

2F112

5C122

【Ｆターム（参考）】

2F112AA05

2F112AD01

2F112BA07

2F112CA12

2F112DA28

2F112EA11

2F112FA01

5C122DA13

5C122EA21

5C122FD04

5C122FF17

5C122FH18

5C122HB02

(57)【要約】

【課題】２種類の照明による撮影時間にズレが小さく、かつフレームレートが低減しない撮像技術を提供する。
【解決手段】露出時間比調整部６０は、１フレーム内で露出時間を切り替えて撮像可能なイメージセンサ１０を用いて、対象を照らす第１の照明器で照明し自動露出して取得した露出時間と、対象に所定のパターンを照射する第２の照明器で照明し自動露出して取得した露出時間とに基づいて、露出時間比を算出する。照明制御部５０は、撮影する画像の１フレームを露出時間比で第１の照明器と第２の照明器とを切り替えて照明する。撮像部７０は、同一フレーム内で、第１の露出時間の間隔で第１の照明器により照明された対象の第１の画像を撮像し、第２の露出時間の間隔で第２の照明器により照明された対象の第２の画像を撮像する。距離測定部８０は、第１の画像と第２の画像とに基づいて対象のデプスマップを作成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

１フレーム内で露出時間を切り替えて撮像可能なイメージセンサと、
対象を照らす第１の照明器で照明し自動露出して取得した露出時間と、前記対象に所定のパターンを照射する第２の照明器で照明し自動露出して取得した露出時間とに基づいて、露出時間比を算出する露出時間比調整部と、
撮影する画像の１フレームの時間から、前記露出時間比における第１の照明器で照明し自動露出して取得した露出時間の比率に基づき算出した第１の露出時間と、前記露出時間比における第２の照明器で照明し自動露出して取得した露出時間の比率に基づき算出した第２の露出時間との間隔で前記第１の照明器と前記第２の照明器とを切り替えて照明する照明制御部と、
同一フレーム内で、前記第１の露出時間の間隔で前記第１の照明器により照明された前記対象の第１の画像を前記イメージセンサから取得し、前記第２の露出時間の間隔で前記第２の照明器により照明された前記対象の第２の画像を前記イメージセンサから取得する撮像部と、
前記第１の画像と前記第２の画像とに基づいて前記対象のデプスマップを作成する距離測定部とを含むことを特徴とする撮像装置。

【請求項2】

前記イメージセンサは、１画素センサ当たりハイゲイン出力チャンネルとローゲイン出力チャンネルの２種類の異なるゲインの出力チャンネルを有し、
前記撮像部は、
前記ハイゲイン出力チャンネルから前記第１の照明器により照明された前記対象の第３の画像を取得し、前記ローゲイン出力チャンネルから前記第１の照明器により照明された前記対象の第４の画像を取得し、前記第３の画像と前記第４の画像を合成してハイダイナミックレンジの前記第１の画像を生成し、
前記ハイゲイン出力チャンネルから前記第２の照明器により照明された前記対象の第５の画像を取得し、前記ローゲイン出力チャンネルから前記第２の照明器により照明された前記対象の第６の画像を取得し、前記第５の画像と前記第６の画像を合成してハイダイナミックレンジの前記第２の画像を生成することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記イメージセンサは、１画素当たりゲインの異なるメイン画素とサブ画素の２種類の画素センサを有し、
前記撮像部は、
前記メイン画素の出力チャンネルから前記第１の照明器により照明された前記対象の第３の画像を取得し、前記サブ画素の出力チャンネルから前記第１の照明器により照明された前記対象の第４の画像を取得し、前記第３の画像と前記第４の画像を合成してハイダイナミックレンジの前記第１の画像を生成し、
前記メイン画素の出力チャンネルから前記第２の照明器により照明された前記対象の第５の画像を取得し、前記サブ画素の出力チャンネルから前記第２の照明器により照明された前記対象の第６の画像を取得し、前記第５の画像と前記第６の画像を合成してハイダイナミックレンジの前記第２の画像を生成することを特徴とする請求項１に記載の撮像装置。

【請求項4】

１フレーム内で露出時間を切り替えて撮像可能なイメージセンサを用いて、対象を照らす第１の照明器で照明し自動露出して取得した露出時間と、前記対象に所定のパターンを照射する第２の照明器で照明し自動露出して取得した露出時間とに基づいて、露出時間比を算出する露出時間比調整ステップと、
撮影する画像の１フレームの時間から、前記露出時間比における第１の照明器で照明し自動露出して取得した露出時間の比率に基づき算出した第１の露出時間と、前記露出時間比における第２の照明器で照明し自動露出して取得した露出時間の比率に基づき算出した第２の露出時間との間隔で前記第１の照明器と前記第２の照明器とを切り替えて照明する照明制御ステップと、
同一フレーム内で、前記第１の露出時間の間隔で前記第１の照明器により照明された前記対象の第１の画像を前記イメージセンサから取得し、前記第２の露出時間の間隔で前記第２の照明器により照明された前記対象の第２の画像を前記イメージセンサから取得する撮像ステップと、
前記第１の画像と前記第２の画像とに基づいて前記対象のデプスマップを作成する距離測定ステップとを含むことを特徴とする撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び撮像方法に関する。

【背景技術】

【0002】

物体認識や三次元計測などのために２種類の異なる照明で撮影された画像を必要とする動画撮像システムにおいて、交互に２種類の照明を当てて撮影することが行われている。

【0003】

特許文献１には、第１露光時間で露光して第１静止画を撮像し、第１露光時間より長い第２露光時間で露光して第２静止画を撮像し、第１静止画、第２静止画、第１露光時間および第２露光時間に基づいて、ストロボ光成分と外光成分を算出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－０５６６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

交互に２種類の照明を当てて２種類の画像を撮影する場合、１フレームごとに交互に撮影するので、フレームレートが半分になる。また、同じタイミングで撮影できないため、２種類の照明による撮影時間にズレが大きい。

【0006】

本発明はこうした状況に鑑みてなされたものであり、その目的は、交互に２種類の照明を当てて２種類の画像を撮影する場合にフレームレートが低減せず、かつ２種類の照明による撮影時間にズレが小さい撮像技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様の撮像装置は、１フレーム内で露出時間を切り替えて撮像可能なイメージセンサと、対象を照らす第１の照明器で照明し自動露出して取得した露出時間と、前記対象に所定のパターンを照射する第２の照明器で照明し自動露出して取得した露出時間とに基づいて、露出時間比を算出する露出時間比調整部と、撮影する画像の１フレームの時間から、前記露出時間比における第１の照明器で照明し自動露出して取得した露出時間の比率に基づき算出した第１の露出時間と、前記露出時間比における第２の照明器で照明し自動露出して取得した露出時間の比率に基づき算出した第２の露出時間との間隔で前記第１の照明器と前記第２の照明器とを切り替えて照明する照明制御部と、同一フレーム内で、前記第１の露出時間の間隔で前記第１の照明器により照明された前記対象の第１の画像を前記イメージセンサから取得し、前記第２の露出時間の間隔で前記第２の照明器により照明された前記対象の第２の画像を前記イメージセンサから取得する撮像部と、前記第１の画像と前記第２の画像とに基づいて前記対象のデプスマップを作成する距離測定部とを含む。

【0008】

本発明の別の態様は、撮像方法である。この方法は、１フレーム内で露出時間を切り替えて撮像可能なイメージセンサを用いて、対象を照らす第１の照明器で照明し自動露出して取得した露出時間と、前記対象に所定のパターンを照射する第２の照明器で照明し自動露出して取得した露出時間とに基づいて、露出時間比を算出する露出時間比調整ステップと、撮影する画像の１フレームの時間から、前記露出時間比における第１の照明器で照明し自動露出して取得した露出時間の比率に基づき算出した第１の露出時間と、前記露出時間比における第２の照明器で照明し自動露出して取得した露出時間の比率に基づき算出した第２の露出時間との間隔で前記第１の照明器と前記第２の照明器とを切り替えて照明する照明制御ステップと、同一フレーム内で、前記第１の露出時間の間隔で前記第１の照明器により照明された前記対象の第１の画像を前記イメージセンサから取得し、前記第２の露出時間の間隔で前記第２の照明器により照明された前記対象の第２の画像を前記イメージセンサから取得する撮像ステップと、前記第１の画像と前記第２の画像とに基づいて前記対象のデプスマップを作成する距離測定ステップとを含む。

【0009】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によれば、２種類の照明による撮影時間にズレが小さく、かつフレームレートが低減しない撮像技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】従来のストロボ信号と同期した画像データ取得タイミングを説明する図である。

【図2】本実施の形態によるストロボ信号と同期した画像データ取得タイミングを説明する図である。

【図3】本実施の形態の撮像装置の構成図である。

【図4】複数の領域に分割された撮像範囲を説明する図である。

【発明を実施するための形態】

【0012】

本実施の形態の前提となる技術について説明する。物体認識や顔認証、三次元計測を行うにはＴｏＦ（Time of Flight）センサ、ステレオビジョン、ストラクチャードライト（Structured Light）等の方式が利用されている。ＴｏＦセンサは、被写体に照射した光が反射して戻ってくる時間を利用して被写体までの距離を測定する。ステレオビジョンは、２台のカメラの視差を利用して被写体までの距離を測定する。ストラクチャードライトは、プロジェクタによるパターン投影画像のパターンの歪みを利用して被写体までの距離を測定する。

【0013】

これらの方式を利用したシステムから被写体の奥行情報が得られることからデプスマップを作成することができる。デプスマップの用途として、例えば登録された顔の立体情報と撮影画像から得られた顔の立体情報を照合し個人を特定する顔認証システムがある。他にも例えば距離情報を元に背景を削除し、手前のみを残すなど距離に応じて画像を編集することもできる。但し、手動で撮影画像の必要とする部分を選択して編集するのではなく、自動で必要な処理を行うシステムを構築するためには、投光照明（Flood Light）で撮影した画像と、その画像から対象物を検出、認識できる機能が必要となる。

【0014】

上述の３方式の中で最も奥行方向の精度が高いストラクチャードライト方式では、デプスマップ作成にプロジェクタ照明を用いてパターンを照射し測距を行うことから、投光照明とは別にプロジェクタ照明が必要になる。被写体に対して交互に投光照明とプロジェクタ照明を当ててそれぞれの画像を取得することにより、被写体の検出及び認識と三次元測距を同時進行で行うことが可能となり、動きのある被写体であっても正確に測距することが可能となる。

【0015】

ここで投光照明とは対象を照らす照明器のことであり、一般的な撮影用照明である。プロジェクタ照明とは対象に所定のパターンを照射する照明器のことであり、レーザ光やプロジェクタである。所定のパターンとは、例えば複数のドットパターンや、格子パターンである。

【0016】

ストラクチャードライト方式で、動く被写体を三次元測距する場合、投光照明とプロジェクタ照明により撮影される２枚の画像は、同じタイミングであることが望ましい。今までのシステムではフレームレート設定に基づき、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサから出力されるシャッタと同期したストロボ信号を用いて照明させていた。

【0017】

図１は、従来のストロボ信号と同期した画像データ取得タイミングを説明する図である。フレームレートに基づき、シャッタと同期して投光照明用ストロボ信号とプロジェクタ照明用ストロボ信号が１フレームごとに交互に出力され、投光照明用ストロボ信号に同期して投光照明による画像データが取得され、プロジェクタ照明用ストロボ信号に同期してプロジェクタ照明による画像データが取得される。２種類の照明による同じタイミングでの撮影は不可能であり、フレームレートに同期して交互に撮影することで近似的に同じタイミングとしているだけであり、実際には１フレーム分の時間ズレは生じることになる。

【0018】

ここで、ＣＭＯＳイメージセンサにはダイナミックレンジを拡張するハイダイナミックレンジ（ＨＤＲ（High Dynamic Range））機能が備わっているものがある。詳細仕様は各社で異なるが、１フレーム分の画像を取得する際に明るい画像と暗い画像を同時に取得する点は同じである。

【0019】

例えばＳＴマイクロエレクトロニクス社のイメージセンサでは１フレームを時間分割して明るい画像用に長時間の露出（以降Ｌｏｎｇと記載）、暗い画像用に短時間の露出（以降Ｓｈｏｒｔと記載）を用いることで、明るさの異なる２種類の画像を同時に取得し合成することでＨＤＲ画像を生成することができる。この技術を流用し、投光照明とプロジェクタ照明による画像を同じフレーム内で取得できるイメージセンサを新たに作ることによって、従来は最低１フレーム分発生していた時間ズレを小さくすることが可能となる。本実施の形態では、Ｌｏｎｇを投光照明に割り当て、Ｓｈｏｒｔをプロジェクタ照明に割り当て、１フレーム内で投光照明による画像とプロジェクタ照明による画像を撮像する。Ｌｏｎｇをプロジェクタ照明に割り当て、Ｓｈｏｒｔを投光照明に割り当ててもよい。

【0020】

図２は、本実施の形態によるストロボ信号と同期した画像データ取得タイミングを説明する図である。フレームレートに基づき、シャッタと同期して投光照明用ストロボ信号とプロジェクタ照明用ストロボ信号が１フレーム期間内に連続して出力され、投光照明用ストロボ信号に同期して投光照明による画像データが取得され、プロジェクタ照明用ストロボ信号に同期してプロジェクタ照明による画像データが取得される。２種類の照明による同じタイミングでの撮影が可能であり、フレームレートに同期して連続して撮影するため、時間ズレを小さくすることが可能となる。

【0021】

図３は、本実施の形態の撮像装置１００の構成図である。撮像装置１００は、イメージセンサ１０、照明制御部５０、露出時間比調整部６０、撮像部７０、距離測定部８０、および領域選択部９０を含む。

【0022】

イメージセンサ１０は、２種類の照明専用ストロボ信号を出力する端子を用意して２種類の照明を独立制御することを可能にする。

【0023】

しかしながら、このままでは照明を切り換える毎に露出の設定が必要となり、切り替えが間に合わず露出が不適切となってしまう。これを回避するには１フレーム内でのそれぞれの照明のシャッタ時間比、すなわち図２における各照明用ストロボ信号のＨｉｇｈ区間の比を各照明の明るさに応じて可変にすることで共通の露出設定が使用可能となり、２つの照明器側での明るさバランス調整も不要となる。更に、同じフレーム内で２種類の照明による画像を取得できることから、フレームレートも低減しない。

【0024】

なお、この照明用シャッタ時間比調整機能は、既存技術である自動露出（ＡＥ（Auto Exposure））調整を使用することで可能である。デジタル方式のカメラは「絞り」、「シャッタ時間」、「ゲイン（ＩＳＯ又は感度と表現することもある）」の３要素で露出調整を行い、それをカメラが自動で行うのがＡＥである。カメラは被写体が１８％グレーの反射率と仮定して、レンズから入ってくる反射光の測定結果と比較し、絞りとシャッタ時間を調整して取り込む光量を決め、その光量から適切な明るさになるようゲイン調整を行う。カメラによっては絞り調整機構を持たないものもあり、この場合、絞りは固定値となり、シャッタ時間とゲインでＡＥ調整を行う。照明用シャッタ時間比調整はこのＡＥ調整した結果のシャッタ時間を使用する。

【0025】

ここで投光照明とプロジェクタ照明の明るさはそれぞれ固定とする。先ず投光照明でＡＥ調整を行いシャッタ時間を得る。ここでは例として投光照明で得られたシャッタ時間を２ｍｓとする。次に照明をプロジェクタ照明に切り替え、ＡＥ調整を行いシャッタ時間を得る。ここでは例としてプロジェクタ照明で得られたシャッタ時間を４ｍｓとする。その結果、投光照明とプロジェクタ照明のシャッタ時間比（露出時間比ともいう）は２ｍｓ：４ｍｓ＝１：２となる。フレームレートが３０ｆｐｓの場合、１フレームは約３３ｍｓなので、最大でもこの３３ｍｓ内をシャッタ時間比で分割する。つまり、投光照明用ストロボ信号は最大で１１ｍｓの間Ｈｉｇｈにし、プロジェクタ信号用ストロボ信号は最大で２２ｍｓの間Ｈｉｇｈにすればよい。実際には照明を切り替える際はブランクを挟み、各フレーム間にもブランクを挟むことから、各ストロボ時間はこれよりも短くなることに留意する。また、撮影対象が人物であって目の保護の観点から照明時間に制限が必要であって、例えば１フレーム当たりの可能な照明時間が９ｍｓだった場合は、これを得られたシャッタ時間比で分割し、投光照明用ストロボ信号は３ｍｓの間Ｈｉｇｈに、その後プロジェクタ照明用ストロボ信号は６ｍｓの間Ｈｉｇｈにする。

【0026】

露出時間比調整部６０は、あらかじめ照明制御部５０を制御して投光照明部４０ａとプロジェクタ照明部４０ｂとで照明し、ＡＥ調整して各照明によるシャッタ時間を得る。露出時間比調整部６０は、投光照明とプロジェクタ照明のシャッタ時間の比を取り露出時間比として算出する。露出時間比調整部６０は、１フレームの時間を露出時間比で分割し、露出時間比における投光照明部４０ａ（第１の照明器）で照明しＡＥ調整した露出時間の比率に基づいた投光照明露出時間（第１の露出時間）と、露出時間比におけるプロジェクタ照明部４０ｂ（第２の照明器）で照明しＡＥ調整した露出時間の比率に基づいたプロジェクタ照明露出時間（第２の露出時間）を算出し、イメージセンサ１０に供給する。

【0027】

露出時間比調整部６０は、先行技術のＡＥ調整を用いてもよい。露出時間比調整部６０は、所定の時間ごとにＡＥ調整して露出時間比を更新してもよい。

【0028】

イメージセンサ１０は、投光照明用ストロボ信号端子２０ａおよびプロジェクタ照明用ストロボ信号端子２０ｂを備える。イメージセンサ１０は、露出時間比調整部６０から得られた投光照明露出時間（第１の露出時間）のタイミングで投光照明用ストロボ信号端子２０ａからＨｉｇｈの投光照明用ストロボ信号を出力する。また、イメージセンサ１０は、露出時間比調整部６０から得られたプロジェクタ照明露出時間（第２の露出時間）のタイミングでプロジェクタ照明用ストロボ信号端子２０ｂからＨｉｇｈのプロジェクタ照明用ストロボ信号を出力する。

【0029】

照明制御部５０は、投光照明用ドライバ３０ａ、プロジェクタ照明用ドライバ３０ｂ、投光照明部４０ａ、およびプロジェクタ照明部４０ｂを含む。

【0030】

投光照明用ドライバ３０ａは、Ｈｉｇｈの投光照明用ストロボ信号の入力を受けて、投光照明部４０ａを制御して投光照明を行わせる。投光照明部４０ａは投光照明露出時間の間、投光照明器（第１の照明器）を照明させる。

【0031】

プロジェクタ照明用ドライバ３０ｂは、Ｈｉｇｈのプロジェクタ照明用ストロボ信号の入力を受けて、プロジェクタ照明部４０ｂを制御してプロジェクタ照明を行わせる。プロジェクタ照明部４０ｂはプロジェクタ照明露出時間の間、プロジェクタ照明器（第２の照明器）を照明させる。

【0032】

撮像部７０は、イメージセンサ１０が投光照明露出時間の間に撮像した投光照明画像（第１の画像）と、イメージセンサ１０がプロジェクタ照明露出時間の間に撮像したプロジェクタ照明画像（第２の画像）とを取得する。

【0033】

距離測定部８０は、撮像された投光照明画像とプロジェクタ照明画像とに基づいて対象までの距離を測定し、対象のデプスマップを生成する。

【0034】

なお、ここまではイメージセンサのＨＤＲ機能を使わない仕様を想定した。すなわち、本実施の形態では、イメージセンサのＨＤＲ機能のＬｏｎｇを投光照明に割り当て、Ｓｈｏｒｔをプロジェクタ照明に割り当てるため、ＨＤＲ機能を使わない構成であるのに対し、変形例として、次のような方法でＨＤＲ機能を使う構成を取ることもできる。

【0035】

（１）１画素センサ当たり２チャンネル出力のイメージセンサを使用する方法
１画素センサからハイゲイン出力チャンネルとローゲイン出力チャンネルの２チャンネルを出力するＨＤＲ機能付きイメージセンサを用いてＨＤＲ機能を実現する。ここで、１画素センサとは画素センサ１つであって、撮像画像の１画素当たりに１つの画素センサを備える。
ハイゲイン出力チャンネルから、同一フレーム内で投光照明による画像（第３の画像）とプロジェクタ照明による画像（第５の画像）を同時に取得する。
ローゲイン出力チャンネルから、同一フレーム内で投光照明による画像（第４の画像）とプロジェクタ照明による画像（第６の画像）を同時に取得する。

【0036】

ハイゲイン出力された投光照明による画像（第３の画像）と、ローゲイン出力された投光照明による画像（第４の画像）とを合成して投光照明のＨＤＲ画像（第１の画像）を生成する。同時にハイゲイン出力されたプロジェクタ照明による画像（第５の画像）と、ローゲイン出力されたプロジェクタ照明による画像（第６の画像）とを合成してプロジェクタ照明のＨＤＲ画像（第２の画像）を生成する。

【0037】

この方式は同一フレーム内で投光照明による画像とプロジェクタ照明による画像を取得することから２種の異なる照明による時間ズレを小さくすることが可能となる。また、１画素についてハイゲインとローゲインの高低２チャンネルのそれぞれから画像データを取得することからＨＤＲ用の高低２種類の異なるゲインの画像取得は同一フレーム内で行われ、時間ズレを小さくすることが可能となる。

【0038】

（２）メイン画素１チャンネル出力とサブ画素１チャンネル出力のイメージセンサを使用する方法
１画素当たりメイン画素とサブ画素の２種類の画素センサを持つＨＤＲ機能付きイメージセンサを用いてＨＤＲ機能を実現する。ここで、１画素とは撮像画像の１画素であって、撮像画像の１画素当たりに複数の画素センサを備える。
メイン画素の出力チャンネルから、同一フレーム内で投光照明による画像（第３の画像）とプロジェクタ照明による画像（第５の画像）を同時に取得する。
サブ画素の出力チャンネルから、同一フレーム内で投光照明による画像（第４の画像）とプロジェクタ照明による画像（第６の画像）を同時に取得する。

【0039】

メイン画素から出力された投光照明による画像（第３の画像）と、サブ画素から出力された投光照明による画像（第４の画像）とを合成して投光照明のＨＤＲ画像（第１の画像）を生成する。同様にメイン画素から出力されたプロジェクタ照明による画像（第５の画像）と、サブ画素から出力されたプロジェクタ照明による画像（第６の画像）とを合成してプロジェクタ照明のＨＤＲ画像（第２の画像）を生成する。

【0040】

この方式は同一フレーム内で投光照明による画像とプロジェクタ照明による画像を取得することから２種の異なる照明による時間ズレを小さくすることが可能となる。また、メイン画素の出力チャンネルとサブ画素の出力チャンネルそれぞれから画像データを取得することからＨＤＲ用の高低２種類の異なるゲインの画像取得は同一フレーム内で行われ、時間ズレを小さくすることが可能となる。

【0041】

一例として、ソニー社のイメージセンサは、１画素当たり大小の画素センサを持ち、１画素センサ当たり高低の異なるゲインで読み出すことができる。

【0042】

本実施の形態の撮像装置１００は、ドライバモニタリングシステムに利用可能である。例えばドライバの顔を撮像してカメラ設置位置を基準点としたときのドライバの視点座標（目の座標）を求める場合、フレームレートに影響を与えることなく、更には車の揺れ等でドライバの頭部が揺れたとしても追従可能となる。

【0043】

撮像装置１００を車などの移動体に搭載して、移動体の前方や後方を撮像するシステムを構築することもできる。その場合、撮像装置１００の領域選択部９０は、撮像範囲を複数の領域に分割し、デプスマップを生成する領域を選択する。距離測定部８０は、選択された領域のデプスマップを生成する。

【0044】

デプスマップの生成には処理時間がかかるため、撮像範囲全体のデプスマップを生成するのではなく、所定の領域を選択してデプスマップを生成することで処理時間を低減することができる。特にストラクチャードライト方式はＴｏＦ方式に比べて演算負荷が高いため、デプスマップの生成領域を制限することにより、処理を高速化して撮影画像のフレームレートを高くしたり、電力を削減したりすることができる。

【0045】

図４は、複数の領域に分割された撮像範囲を説明する図である。領域選択部９０は、撮像範囲を所定の領域ごとに分割する。領域選択部９０は、領域の大きさや形、領域の数を任意としてよい。領域選択部９０は、移動体の向かう方向に応じてデブスマップを生成する領域を選択する。たとえば、領域選択部９０は、移動体が直進する場合、領域の中央下側となる領域７、８、９を選択する。領域選択部９０は、移動体が右に曲がる場合、領域の右側となる領域３、６、９を選択する。領域選択部９０は、移動体が左に曲がる場合、領域の左側となる領域１、４、７を選択する。

【0046】

領域選択部９０は、移動体に備えたＥＣＵ（Electronic Control Unit）などの制御装置から、移動体の向かう方向や速度を取得してもよい。領域選択部９０は、撮像部７０の画像から動きベクトルを検出して、移動体の向かう方向や速度を検出してもよい。

【0047】

領域選択部９０は、直進方向に対して、移動体の向かう方向が所定の角度を超える場合に、移動体が曲がったものとして判定してもよい。

【0048】

また、領域選択部９０は、移動体の速度が大きいほど、デブスマップを生成する領域を拡大する。たとえば、領域選択部９０は、移動体が高速で直進する場合は、領域の中央下側となる領域７、８、９にさらに領域の中央下側から拡大する領域となる領域４、５、６を追加して選択する。領域選択部９０は、移動体が高速で右に曲がる場合は、領域の右側となる領域３、６、９にさらに領域の右側から拡大する領域となる領域２、５、８を追加して選択する。領域選択部９０は、移動体が高速で左に曲がる場合は、領域の左側となる領域１、４、７にさらに領域の左側から拡大する領域となる領域２、５、８を追加して選択する。

【0049】

領域選択部９０は、移動体の向かう方向に対して、移動体の速度が所定の速度を超える場合に、移動体の速度が大きいと判定してもよい。領域選択部９０は、移動体の速度が第１の速度を超える場合に、移動体の速度が第１の速度以下で選択されている領域より選択される領域を拡大してもよい。領域選択部９０は、移動体の速度が第２の速度を超える場合に、移動体の速度が第２の速度以下で選択されている領域より選択される領域を拡大してもよい。

【0050】

撮像装置１００のイメージセンサ１０が１フレーム内で長短２種類の露出時間を切り替えて撮像可能な場合、撮像部７０は、動きが遅い領域または重要度が高い領域を長い露出時間の間隔で照明して撮像し、動きが速い領域または重要度が低い領域を短い露出時間の間隔で照明して撮像してもよい。動きが遅い領域として車内があり、重要度が低い領域として車外後方がある。動きが速い領域として車外があり、重要度が高い領域として車外前方がある。動きが速い領域ほど露出時間を短くして撮影する方がブレの少ない画像が得られる。重要度が高い領域ほど露出時間を長くして撮影する方が明るい画像が得られる。

【0051】

領域選択部９０は、分割された所定の領域について撮影対象の動きが速いか否かを判定し、撮像部７０は撮影対象の動きに基づいて露出時間を切り替えてもよい。領域選択部９０は、撮像部７０の画像から動きベクトルを検出し、動きベクトルが所定値より大きい場合に、撮影対象の動きが速いと判定してもよい。

【0052】

領域選択部９０は、分割された所定の領域について撮影対象の重要度が高いか否かを判定し、撮像部７０は撮影対象の重要度に基づいて露出時間を切り替えてもよい。領域選択部９０は、機械学習により人物を検出し、撮影対象の重要度が高いと判定してもよい。

【0053】

領域選択部９０は、分割された所定の領域の一部または全部に対して、撮影対象の動きや重要度を判定してもよい。領域選択部９０は、デブスマップを生成する領域として選択されている領域に対して、撮影対象の動きや重要度を判定してもよい。

【0054】

また、本実施の形態の撮像装置１００は、三次元測距に限らず、異なる照明から得られる画像を同時に必要とするシステムにおいて有効である。

【0055】

以上説明した撮像装置１００の各種の処理は、ＣＰＵ（Central Processing Unit）やメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星デジタル放送のデータ放送として送受信することも可能である。

【0056】

以上述べたように、本発明の実施の形態の撮像装置１００によれば、１フレーム毎に照明を切り替えて撮影する従来手法に比べて、１フレーム内で２種類の照明による画像を取得することによって、撮影時間のズレを最小限に抑えることができる。また、従来手法では、１フレーム毎に照明を切り替えて撮影することで１つの照明から得られる画像のフレームレートが半分になるが、本実施の形態の撮像装置１００によれば、同じフレーム内で２種類の照明による画像を取得するため、フレームレートは下がらない。さらにフレーム内での露出時間比を調整することで２種類の照明に対して、照明器に依存することなく共通の露出設定が可能となる。

【0057】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0058】

１０ イメージセンサ、 ２０ａ 投光照明用ストロボ信号端子、 ２０ｂ プロジェクタ照明用ストロボ信号端子、 ３０ａ 投光照明用ドライバ、 ３０ｂ プロジェクタ照明用ドライバ、 ４０ａ 投光照明部、 ４０ｂ プロジェクタ照明部、 ５０ 照明制御部、 ６０ 露出時間比調整部、 ７０ 撮像部、 ８０ 距離測定部、 ９０ 領域選択部、 １００ 撮像装置。

【図1】

【図2】

【図3】

【図4】