特許 7386703 ビネッティングの補償

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-16

(45)【発行日】2023-11-27

(54)【発明の名称】ビネッティングの補償

(51)【国際特許分類】

   H04N 23/56 20230101AFI20231117BHJP

   G03B 15/00 20210101ALI20231117BHJP

   H04N 23/60 20230101ALI20231117BHJP

【ＦＩ】

H04N23/56

G03B15/00 S

G03B15/00 V

H04N23/60 500

【請求項の数】 17

(21)【出願番号】P 2019534379

(86)(22)【出願日】2017-12-22

(65)【公表番号】

(43)【公表日】2020-05-21

(86)【国際出願番号】 US2017068087

(87)【国際公開番号】W WO2018119345

(87)【国際公開日】2018-06-28

【審査請求日】2020-12-21

【審判番号】

【審判請求日】2022-09-15

(31)【優先権主張番号】62/438,956

(32)【優先日】2016-12-23

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17168779.1

(32)【優先日】2017-04-28

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】15/851,240

(32)【優先日】2017-12-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500507009

【氏名又は名称】ルミレッズ リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】エンゲレン，ロブ，ジャック，ポール

【合議体】

【審判長】五十嵐 努

【審判官】樫本 剛

【審判官】渡辺 努

(56)【参考文献】

【文献】特開２００５－７８０８９（ＪＰ，Ａ）

【文献】特開２００８－９０４１２（ＪＰ，Ａ）

【文献】特開昭６３－１５５７８２（ＪＰ，Ａ）

【文献】特開２０１３－３０４４６（ＪＰ，Ａ）

【文献】特開２００９－１７６４７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 5/225

H04N 5/232

G03B 15/00

(57)【特許請求の範囲】

【請求項1】

カメラであって、前記カメラの視野にわたって延在するシーンをキャプチャするように構成されているカメラと、
前記カメラの前記視野を照射するよう構成されている照明系であって、前記視野の中心において前記視野のエッジにおける照明強度より低い強度を有するように整形された分布を有することにより、不均一な感知効率を補償するように前記カメラの感知効率がより低い場所においてより高い強度を有するように整形された分布を有する照明を生成するよう構成されている照明系と、
前記照明系により前記整形された分布を有する照明で照射されたシーンに対応する第１の画像データを、環境光による前記シーンに対応する第２の画像データを用いて操作するよう構成されているプロセッサと、
を備え、
前記照明系は、光源と、
第１の強度の光を、前記光源から前記視野の第１の領域に向けるように構成されており、かつ、第２の強度の光を、前記光源から前記視野の第２の領域に向けるように構成されているレンズであって、前記第２の強度は前記第１の強度よりも大きく、前記第１の領域は前記視野の前記エッジに対応し、前記第２の領域は前記視野の前記中心に対応する、レンズと、を有し、
前記光源は、光源領域から光を生成するように構成されており
前記光源は、前記光源領域にわたって分散されている複数の光素子であって、空間的に不均一な照明を生成するよう動作する複数の光素子を含む、システム。

【請求項2】

前記カメラによってキャプチャされた、前記シーンを表す画像データは、実質的に均一な信号対雑音比を有する、請求項１に記載のシステム。

【請求項3】

前記プロセッサは、前記第１の画像データを前記第２の画像データと組み合わせるように構成されている、請求項１に記載のシステム。

【請求項4】

前記プロセッサは、前記第１の画像データから前記第２の画像データを除くように構成されている、請求項１に記載のシステム。

【請求項5】

前記レンズは、前記照明系からの照明が矩形断面を有するように、前記照明系からの前記照明を変更するように構成されている、請求項１に記載のシステム。

【請求項6】

前記光源領域は、前記レンズの焦点面に配置されている、請求項１に記載のシステム。

【請求項7】

前記照明系は、回転対称の照明を生成する、請求項１に記載のシステム。

【請求項8】

前記照明系は、発光ダイオードのアレイを含む、請求項１に記載のシステム。

【請求項9】

前記照明系は、前記発光ダイオードからのビームの発散を制御するように配置されている拡散器をさらに含む、請求項８に記載のシステム。

【請求項10】

前記照明系は半導体レーザのアレイを含む、請求項１に記載のシステム。

【請求項11】

前記照明系は、前記半導体レーザからのビームの発散を制御するように配置されている拡散器をさらに含む、請求項１０に記載のシステム。

【請求項12】

カメラの視野にわたって延在するシーンをキャプチャするように構成されている前記カメラを配置するステップと、
前記シーンを照射する照明を生成するステップであって、前記照明は前記視野の中心において前記視野のエッジにおける照明強度より低い強度を有する整形された分布を有することにより、不均一な感知効率を補償するように前記カメラの感知効率がより低い場所においてより高い強度を有するように整形された分布を有し、前記シーンを照明する照明系は光源と、第１の強度の光を、前記光源から前記視野の第１の領域に向けるように構成されており、かつ、第２の強度の光を、前記光源から前記視野の第２の領域に向けるように構成されているレンズであって、前記第２の強度は前記第１の強度よりも大きく、前記第１の領域は前記視野の前記エッジに対応し、前記第２の領域は前記視野の前記中心に対応する、レンズと、を有し、前記光源は、光源領域から光を生成するように構成されており、前記光源は、前記光源領域にわたって分散されている複数の光素子であって、空間的に不均一な照明を生成するよう動作する複数の光素子を含む、ステップと、
前記カメラを使用して、前記整形された分布を有する前記照明で照射された前記シーンを表す第１の画像データをキャプチャするステップと、
前記カメラを使用して、前記整形された分布を有する前記照明なく環境光における前記シーンを表す第２の画像データをキャプチャするステップと、
を含む、
方法。

【請求項13】

前記第１の画像データと前記第２の画像データとを組み合わせて、実質的に均一な信号対雑音比を有する第３の画像データを生成するステップ、
をさらに含む、請求項１２に記載の方法。

【請求項14】

前記整形された分布を有する前記照明によって照射された場合の前記シーンを表す前記第１の画像データから、環境光での前記シーンを表す前記第２の画像データの少なくとも一部を取り除き、実質的に均一な信号対雑音比を有する第３の画像データを生成するステップを、さらに含む、請求項１２に記載の方法。

【請求項15】

前記カメラは、前記照明の特性に基づいて、前記整形された分布を有する前記照明で照射された前記シーンを表す前記第１の画像データをキャプチャするよう構成されている、請求項１２に記載の方法。

【請求項16】

前記照明の前記特性は、偏光、波長、及び周波数のうちの少なくとも１つを含む、請求項１５に記載の方法。

【請求項17】

カメラであって、前記カメラの視野にわたって延在するシーンをキャプチャするように構成されているカメラと、
前記カメラの前記視野を照射する照明を生成するよう構成されている照明系であって、前記照明は、前記視野の中心において前記視野のエッジにおける照明強度より低い強度を有するように整形された分布を有することにより、不均一な感知効率を補償するように前記カメラの感知効率がより低い場所においてより高い強度を有するように整形された分布を有する、照明系と、を備えるシステムであって、前記照明系は、
光源領域から光を生成するように構成されている光源であって、前記光源は、前記光源領域にわたって分散されている複数の光素子であって、空間的に不均一な照明を生成するよう動作する複数の光素子を含む、光源と、
第１の強度の光を、前記光源から前記視野の第１の領域に向けるように構成されており、かつ、第２の強度の光を、前記光源から前記視野の第２の領域に向けるように構成されているレンズであって、前記第２の強度は前記第１の強度よりも大きく、前記第１の領域は前記視野の前記エッジに対応し、前記第２の領域は前記視野の前記中心に対応する、レンズと、を備え、
前記システムはさらに、前記照明系により前記整形された分布を有する前記照明で照射された前記シーンに対応する第１の画像データを、環境光による前記シーンに対応する第２の画像データを用いて操作するよう構成されているプロセッサを有する、
システム。

【発明の詳細な説明】

【背景技術】

【0001】

（関連出願との相互参照）
本出願は、２０１６年１２月２３日に出願された米国仮特許出願第６２／４３８，９５６号、２０１７年４月２８日に出願された欧州特許出願第１７１６８７７９．１号、及び、２０１７年１２月２１日に出願された米国特許出願第１５／８５１，２４０号の利益を主張するものであり、これらは、本出願において完全に記載されているかのように、参照により援用される。

【0002】

写真撮影又は撮像におけるビネッティングは、画像の周辺部分等の一部分が、画像の別の部分よりも暗い又は飽和していない場合における効果である。ビネッティングは、望ましい画像効果又は審美性を実現するために、写真撮影において、意図的である場合もあるし、望まれる場合もある。他の場合において、意図せぬ望ましくないビネッティングは、カメラの制限又は不適切な設定から生じる。デジタル画像補正は、望ましくないビネッティングを低減又は除去することができる。しかしながら、デジタル画像処理は、画像の外観を改善するかもしれないが、デジタル処理は、画像データの正確さを改善しないことがある。結果として、飛行時間カメラ又はマシンビジョン撮像等のいくつかの用途において、画像後処理は、効果的でない可能性がある。なぜならば、追加の処理は、画像データの信号対雑音比（ＳＮＲ）を改善せず、ＳＮＲをさらに悪くする可能性があるからである。

【発明の概要】

【0003】

本発明の態様に従うと、シーン又はオブジェクトは、照射されなければ撮像システムにおいて生じるであろうビネッティングを補償するために照射されてよい。一例として、撮像システムの視野のコーナーに対応する領域の照明は、視野の中心に対応する領域の照明よりも強くてよい。さらに、撮像システムは、画像キャプチャシステムの能力に応じて特に整形された照明を提供する照明器を使用することができる。いくつかのシステムは、第２のバージョンからの画像データに基づいて第１のバージョンからデータを取り除くこと等により、シーンについて収集された画像データの２つ以上のバージョンに基づいて、画像データを操作することができる。いくつかのシステムは、制御されない環境光の影響を回避することができるように、システムについての照明器からの発光に対してのみ感度がある画像キャプチャ技術を使用することができる。これらの撮像システムのうちの一部は、３Ｄカメラ、ジェスチャ制御カメラ、又は暗環境において使用されるカメラシステムに特に適したものであり得る。

【0004】

一実施形態に従うと、撮像システムは、画像キャプチャシステム及び照明器を含む。画像キャプチャシステムは、画像キャプチャシステムの視野にわたって変化する感知効率を有し、照明器は、感知効率がより低い場所においてより高い強度を有するように整形された分布を有する照明で、画像キャプチャシステムの視野を照射する。

【0005】

別の実施形態に従うと、画像データを収集するための方法は、画像キャプチャシステムの感知効率がより低い場所においてより高い強度を有する整形された分布を有する照明で、シーンを照射することを含む。次いで、画像キャプチャシステムは、整形された分布を有する照明で照射されたシーンを表す画像データをキャプチャすることができる。画像データは、実質的に均一な信号対雑音比を有することも可能であるし、又は、実質的に均一な信号対雑音比を有する画像データを生成するために使用されることも可能である。

【図面の簡単な説明】

【0006】

開示されている主題のさらなる理解を提供するように含められている添付の図面は、本明細書に組み込まれ、本明細書の一部を構成する。図面はまた、開示されている主題の実施形態を例示し、詳細な説明とともに、開示されている主題の実施形態の原理を説明するのに役立つ。開示されている主題の基本的理解及びこれが実施され得る様々な方法のために必要であり得るよりも詳細に構造的詳細を示すための試みはなされていない。

【図1】画像データに対するビネッティングの効果を低減又は回避するように整形された照明を提供する照明器を含むシステムのブロック図。

【図2A】画像キャプチャシステムにおける感知効率が、画像キャプチャシステムの視野のエッジに向かってどのように低下し得るかを示す等高線図。

【図2B】図２Ａに示されている感知効率変化を補償するように整形された照明の角度依存性を示す等高線図。

【図3A】光学系を使用して回転対称形の照明を提供する照明器の斜視図。

【図3B】撮像システムの視野への照明を効率的に制限する整形用レンズを使用して、整形された照明を提供する照明器の斜視図。

【図4】発散光源を使用して、整形された分布を有する照明を生成する照明器の断面図。

【図5A】半導体レーザのアレイを使用する照明器の分解図。

【図5B】半導体レーザのアレイを使用する照明器の組立図。

【図6】空間的に不均一な強度分布を有する光を生成する光源を使用して、角度的に不均一な強度分布を有する照明を生成する照明器を示す図。

【図7】画像キャプチャシステムの特性を補償するように整形された照明を提供する照明器を利用する処理システムのブロック図。

【発明を実施するための形態】

【0007】

本出願において説明されている実施形態に従うと、撮像システムは、画像におけるビネッティング又は他の変化を低減又は回避するように整形された照明を提供するよう構成されている、且つ／又は、特に、後処理段階中にビネッティングを補正し、結果として不均一な且つ／又はより高い信号対雑音比（ＳＮＲ）を生じさせ得る従来の画像データと比較して、より均一なＳＮＲを有する画像データを提供するよう構成されている照明器を使用することができる。照明器は、特に、例えば撮像光学系及び感知アレイの能力といった、画像キャプチャシステムの特性に特に基づく形を有する強度分布を有する照明を提供するよう構成され得る。照明器は、例えば照明器ハードウェア、レンズ、及び光源から生じる形といった、照明についての固定された形を提供することができる、又は、例えば、画像キャプチャシステムの現在の設定又は現在の環境光条件に応じてプログラム又は変更され得る照明を提供することができる。いくつかの実施形態において、撮像システムは、照明が画像キャプチャシステムの不均一な感知効率を補償し、且つ、画像キャプチャシステムが照明器からの照明に対してのみ感度があるように適合されている照明器及び画像キャプチャシステムを含み得る。

【0008】

図１は、本発明の一実施形態に従ったシステム１００のブロック図である。システム１００は、画像データをキャプチャする任意のタイプのデバイス又はデバイスの集合であってよい。例えば、システム１００は、セキュリティカメラ、３Ｄカメラ、奥行き感知カメラ、暗視カメラ、又はバイオメトリック識別カメラ等のカメラであってもよいし、バイオメトリック感知カメラであってもよく、撮像能力を有する又は用いる、移動電話機、コンピュータ、ロボット、産業用システム、又は車両等の多機能デバイスであってもよいし、そのような多機能デバイスの一部であってもよく、視野内のシーンを表す又はキャプチャするデータを必要とする任意のタイプのシステムであってもよい。システム１００は、特に、画像データを処理し、以下でさらに説明されるように、画像の異なる領域にわたってＳＮＲを有する画像データをキャプチャ又は生成することができるシステムであってもよいし、そのようなシステムを含んでもよい。システムは、この実施形態を説明するために使用されるが、システムは、本出願において開示されているように、単一のデバイス又はデバイスの組み合わせであってよいことを理解されたい。

【0009】

システム１００は、図示されているように、視野１５０から画像又は画像データをキャプチャするよう動作する、照明器１１０、画像キャプチャシステム１２０、及び処理システム１３０を含む。撮像システム１００（又は、具体的には、照明器１１０と画像キャプチャシステム１２０との間の分離）は、照明器１１０の光軸と画像キャプチャシステム１２０の光軸とが互いとほぼ同一直線上にあり得るように、視野１５０内のオブジェクト又はシーンに対して小さくてよい。

【0010】

照明器１１０は、画像キャプチャシステム１２０の視野１５０内にあるオブジェクト又はシーンの少なくとも一部をカバーする照明を提供することができる照明システムであってよい。照明器１１０は、例えば、変化する強度プロファイル、特に、照明器１１０の光軸に対する、照明器１１０からの光線の角度によって変化する強度プロファイルを有するといった、整形された連続照明又は照明のフラッシュ若しくはバーストを提供するよう一緒に構成されている、発光ダイオード（ＬＥＤ）又は半導体レーザ等の１つ以上の光源及び光学系を含んでよい。好ましい照明器の実施形態のいくつかの例が、本出願において説明され、照明器１１０が、１つ以上の好ましい照明器に適用可能な照明器に対する一般的な参照として、本出願において使用される。

【0011】

画像キャプチャシステム１２０は、静止画像、又は、例えばビデオといった画像のシーケンスをキャプチャすることができるカメラであってよい。画像キャプチャシステム１２０は、カメラについて当該技術分野において周知のものを含む任意の設計であってよい。図１に示されている一般的な構成では、画像キャプチャシステム１２０は、撮像光学系１２２及び画像センサ１２４を含む。撮像光学系１２２は、典型的な構成では、例えば、画像センサ１２４上に像を形成するよう動作する、１つ以上のレンズ、集光系、及び開口制御系を含んでよい。例えば、電荷結合素子（ＣＣＤ）又はＣＭＯＳセンサアレイであってよい画像センサ１２４は、撮像光学系１２２により形成された像からの光を感知し、画像データを処理システム１３０に提供する。画像データは、例えば、１つ以上のアレイ画素値を含んでよく、各画素値は、画素センサが視野１５０内の対応する領域又は角度範囲について感知した強度、色、影、反射、又はスペクトル成分を表す。

【0012】

処理システム１３０は、例えば、画像キャプチャについてのパラメータを設定するための、又は、画像キャプチャを開始するための、画像キャプチャシステム１２０の全般的な制御を提供することができ、処理システム１３０は、これらの機能のための適切なソフトウェア又はファームウェアを伴う従来のマイクロコントローラを含んでよい。処理システム１３０は、特に、視野１５０の境界と、画像センサ１２４における画素センサが視野１５０のそれぞれの領域からの光を感知する効率と、を制御する、画像キャプチャシステムの設定又は特性を設定又は検出することができる。処理システム１３０は、さらに、例えば、画像キャプチャシステム１２０の焦点又は拡大率といった、画像キャプチャシステム１２０の現在の構成について、又は、画像キャプチャ中に存在し得る環境光について、適切な照明を提供するように、照明器１１０を制御することができる。処理システム１３０は、さらに、画像キャプチャシステム１２０からの画像データを処理して、例えば、単に画像データをデータストレージ（図示せず）に記憶したり、オブジェクトを認識すること、奥行き情報を抽出すること、色補正を行うこと、又はスペクトル分析を行うこと等の機能を実行したりすることができる。処理システム１３０は、さらに、本出願においてさらに開示されているように、例えば、第２の画像データから第１の画像データを取り除くこと等により、２つ以上のキャプチャされた画像データに基づいて、画像データの操作を処理することができる。

【0013】

撮像光学系１２２の構成、並びに、画像センサ１２４のサイズ及び構成は、視野１５０の境界を決定又は画定し得る。しかしながら、多くの構成では、画像キャプチャシステム１２０は、視野１５０全体に対して、均一な感度又は均一な感知効率を提供することができないことがある。例えば、撮像光学系１２２における開口のサイズは、画像キャプチャシステム１２０が視野１５０の周辺部分から光を収集する能力を低下させることがあり、これは、ビネッティングをもたらす。図２Ａは、例示的な画像キャプチャシステムの感知効率の例を示している。撮像システムにおける画素センサの感知効率は、画素に対応する、視野内の領域又は角度範囲から生じる光の強度に対する、画素センサにより感知される強度の比と定義されることもあるし、そのような比から決定されることもある。そのような感知効率は、例えば、均一に照明されたときに、均一に照明されて画像キャプチャシステムにおけるセンサアレイにより感知される白色スクリーンといった均一なフィールドを考慮することにより、理想的な画像キャプチャシステムについて例示され得る。この場合、画像キャプチャシステムにおけるセンサアレイは、理想的には、センサアレイの領域にわたって均一な強度を測定するであろう。実際の画像キャプチャシステムでは、例えば、画像キャプチャシステムが視野内の異なる領域からの光を収集する能力に制限があるため、画像センサにおける異なる画素センサは、異なる強度を測定し得る。図２Ａに示されているように、ビネッティングを受ける典型的な画像キャプチャシステムは、画像キャプチャシステムの視野の中心において最も高い感知効率を有し得るが、これは、システムが視野の中心において生じる光のより大きな部分をキャプチャできることが理由であろう。図２Ａは、ピーク感知効率（相対値１．０が割り当てられている）を有する視野の中心を示している。図２Ａにおける等高線は、感知感度が、画像センサのエッジのより近くに配置されている画素センサについてどのように低下するかを示しており、これは、視野のエッジに近い画素に関連付けられた画素データにおけるより高い信号対雑音比と画像のビネッティングとをもたらすであろう。図２Ａの例において示されているような感知効率を有する画像キャプチャシステムを用いると、均一に照明されたシーンの画像は、理想的な撮像システムが測定するであろうものの約４０％である、視野のコーナーにおいて測定される強度レベルを有するであろう。

【0014】

信号対雑音比は測定強度レベルにしばしば依存するので、図２Ａの例におけるコーナーに向かって示されているような、より低い測定強度レベルは、信号対雑音比を悪くさせることがある。ここで、より低い強度レベルは、図２Ａにおける視野のコーナーにおけるより高い信号対雑音比に対応し得る。視野のコーナーにおける画質を改善する試みにおいて後処理技術を適用することは、より高い（悪い）信号対雑音比を生じさせる可能性がある。これは、セキュリティカメラ、飛行時間カメラ、奥行き感知カメラ、３Ｄ撮像装置、暗視カメラ等といった特定の撮像システムにおいて特に問題となる場合がある。

【0015】

照明器１１０は、ビネッティング又は感知感度の他の変化を補償するように整形された強度分布を有する照明を提供することができる。具体的には、照明は、角度空間において整形されたパターンを有することができる。図２Ｂは、開示されている主題の一実施形態に従った、図２Ａに示されている不均一な感知効率を補償する強度分布を示す等高線図を示している。図２Ｂに示されている視野内の照明強度は、図２Ａに示されている視野内の対応する感知効率に反比例し得る。図２Ｂにおける照明は、照明器１１０から照明器１１０の視野の中心までの光線に対する角度の関数としてプロットされている。画像キャプチャシステムにおける対応する画素センサは、画像キャプチャシステムの視野内のシーンからの光について、それぞれの角度からの光を検出することができる。図２Ｂは、撮像システムの視野外の領域を照射する照明を示していない。撮像システムの視野外で撮像するために照明は必要とされないので、照明器１１０からの照明器強度は、重要ではなく、視野角の範囲外でゼロであってよい。

【0016】

照明器１１０により提供される照明は、図２Ｂに表されており、視野の中心において最も低い照明強度（１．０という相対強度係数が割り当てられている）を有する。照明は、視野のエッジに向かって強度を増加させている。例えば、視野のコーナーでは、照明は、視野の中心における照明の２５０％である２．５という相対強度を有する。このような照明を使用する撮像システムは、照明強度の増加が画像キャプチャについての感知効率の低下を補償する場合、感知アレイにわたって均一な有効感知効率を実現することができる。図示されている例において、各画素センサについて、図２Ａからの相対感度係数と図２Ｂからの対応する相対強度係数との積は、均一である。中心では、相対キャプチャ係数１．０と相対照明係数１．０との積は１であり、コーナーでは、相対キャプチャ係数０．４と相対照明係数２．５との積も１である。

【0017】

図２Ｂに示されている照明は、図２Ａに示されている可変の感知効率により画像又は画像データにおいて生じているビネッティング又はＳＮＲの変化を完全に又は実質的に完全に補償することができる。開示されている主題の一実施形態に従うと、画像キャプチャシステムは、照明器１１０を元々の発生源とする反射光のみをキャプチャすることができる。これは、例えば、照明器１１０からの光の偏光、周波数、又は波長といった特性を有する光に対してのみ感度がある画像キャプチャシステムを使用することによって、少なくともおおよそ、実現され得る。例えば、照明器１１０は、狭スペクトル帯域で照明を生成することができ、画像キャプチャシステムは、この照明帯域に合わせてチューニングされ、照明器１１０からのほとんどの光が通過することを可能にするスペクトルフィルタを含んでよい。さらに、照明器１１０は、「暗い」照明及び「明るい」照明におけるシーンのキャプチャ画像のためにオフ及びオンにされてよく、処理システムは、明画像データから、暗い画像に対応する画像データを取り除いて、シーンが照明器１１０からの照明のみの下でのものであるときに生じるであろう画像に対応する画像データを生成することができる。同期画像検出技術は、同様に、カメラのフレームレート又は画像キャプチャタイミングに応じて選択された周波数及び位相で、照明器１１０からの光を変調（オン及びオフ）することができる。例えば、照明器１１０からの照明のフラッシュの頻度は、飛行時間計算が画像データを用いて照明器１１０が照射するオブジェクトまでの距離を決定できるように、カメラにおける画像キャプチャに対する位相差を提供してよいし、且つ／又は、カメラのフレームレートよりもはるかに高くてよい。飛行時間撮像では、同期画像検出技術に関する変形が使用されてよい。

【0018】

カメラ又は画像キャプチャシステムは、視野内のオブジェクトから反射された、照明器１１０からの光と、環境光と、をキャプチャすることができる。開示されている主題の一実施形態に従うと、照明器１１０は、視野について予想又は測定され得る環境光に基づいて変更される又はそのような環境光に応じて適応される照明を提供することができる。例えば、均一に照明されるシーンの場合、照明器１１０は、均一な環境光に加えられたときに図２Ｂに示されているような全体の強度を提供するよう動作してよく、それにより、図２Ａに示されている相対感知効率を補償する。一般に、例えば、室内光又は従来のカメラフラッシュシステム等の従来の光源からのといった、シーンにおける環境光は、均一でないことがあり、ビネッティングを悪くさせることがあり、そのような環境光とともに使用される照明器１１０は、画像キャプチャシステム及び環境光の両方の制限により生じる影響を補償するように整形された照明を提供する必要があり得る。したがって、特に、照明器１１０は、図２Ａ及び図２Ｂの例により示されているよりも強い補償を照明器１１０がもたらすことを必要として、照明ビネッティング及び撮像ビネッティングを補償する必要があり得る。

【0019】

画像キャプチャシステムは、所与のシーンについての画像データの２つ以上のセットをキャプチャしてよい。画像データの２つ以上のセットは、例えば、バックツーバックの画像データをキャプチャすることにより、収集されてよい。第１の画像データは、照明器１１０がシーンを照射するときに収集されてよい。第２の画像データは、照明器１１０からの照明なしでキャプチャされてよく、シーンを照射する環境光をもってシーンについての画像データがキャプチャされてよい。マイクロプロセッサ、マイクロコントローラ、又は任意の他の適用可能な処理コンポーネント等の処理コンポーネントは、画像データの２つ以上のセットを操作して、セキュリティシステム、３Ｄシステム、奥行き感知、オブジェクト認識、暗視、バイオメトリック識別及び感知等のために使用され得る改善された画像データを生成するよう構成され得る。改善された画像データは、得られる改善された画像データが均一な信号対雑音比を含むように、第１の画像データと第２の画像データとを組み合わせたものであってよい。あるいは、改善された画像データは、照明器１１０がシーンを照射したときにキャプチャされた第１の画像データから、環境光においてキャプチャされた第２の画像データを取り除いた結果であってもよい。例えば、この改善された画像データは、処理コンポーネントが、比較可能なデータがシステムに記憶されているのと同じフォーマットで画像データを収集することを可能にし得る。改善された画像データは、顔認識等のオブジェクト認識のための比較可能な画像データと比較され得る。より具体的には、照明器の光の下でキャプチャされた第１の画像データから、環境光の下でキャプチャされた第２の画像データを取り除くことは、標準化されたフォーマットのデータに対応し得る改善された画像データをもたらすことができる。この例では、シーンへの環境光の影響は、これが他の標準化された画像データと比較され得るように、改善された画像データにおいて取り除かれてよい。

【0020】

図１の照明器１１０は、様々な異なるアーキテクチャを用いて実現され得る。例えば、図３Ａは、光源３１０及び光学系３２０を含む照明器３００のコンポーネントを示している。光源３１０は、ＬＥＤ又はＬＥＤのアレイ等の、光を照射するよう構成されている任意のコンポーネントであってよく、光学系３２０は、照明出射光学系３２０の角度分布又は形を変更又は制御する、Ｆｒｅｓｎｅｌレンズ、格子、又は他の構造等の１つ以上の光学素子を含んでよい。組み立てられた照明器３００において、光学系３２０は、光源３１０に取り付けられてよい。

【0021】

図３Ａの照明器３００についての光学系３２０は、回転対称の照明パターンを生成することができ、例えば、円形光学素子を用いて設計及び製造することがより容易であり得る。しかしながら、回転対称の照明は、画像キャプチャシステムが矩形視野を有する場合、かなりの量の無駄な光すなわち視野外の光をもたらすことがある。図３Ｂは、光源３６０からの照射をより効率的に利用するための矩形光学素子を含む光学系３７０を使用して矩形の視野に照明を提供する照明器３５０を示している。

【0022】

例えば光源３１０又は３６０といった光源としてＬＥＤを使用する照明器は、光源から照射される光の強度分布の角度依存性を整形し直す、例えば光学系３２０又は３７０といった光学系を必要とし得る。したがって、光学系は、光源の発光特性に応じて設計され得る。例えば、図４は、光源領域から発散する光４１５を照射するＬＥＤ又は他の発光デバイスであってよい光源４１０を含む照明器４００の断面図を示している。光源４１０からの光４１５の強度は、光源４１０の構造に依存し、典型的な光源は、例えば、均一な又はランバート分布である角度強度分布を有し得る。上述のように、照明器４００からの照明４２５の所望の角度分布は、例えば、照明器の光軸からのより大きな角度においてより強い分布といった異なる分布を必要とし得る。視野のエッジにおいて強度を増加させるために、光学素子４２０は、ＬＥＤから発散する光線が、例えばより大きな発散角でより明るくなる等、より多くの光が望まれる領域又は方向において、より密になるすなわちより明るくなるように、ＬＥＤから発散する光線を折り曲げることができる。

【0023】

発散光の単一光源４１０について図４に示されているのと同じ原理が、そのような光源のアレイについて、用いられて繰り返されてよい。例えば、さらに別の代替構成では、照明器１１０は、ＬＥＤのアレイと、ＬＥＤからの直接照明と照明とを矩形の視野へと整形するための光学素子のアレイと、を含む。例えば、「Multiple die LED and lens optical system」と題する米国特許第８，７２９，５７１号は、制御される光の分布を有するＬＥＤアレイ又はシステムのためのアーキテクチャを開示している。

【0024】

例えば、図５Ａは、一次光学系として拡散器を有する半導体レーザのアレイが使用される照明器５００のコンポーネントを示している。照明器５００は、垂直キャビティ面発光レーザ（ＶＣＳＥＬ）又は他の半導体レーザのアレイ５１２を含む集積回路パッケージ５１０を含む。拡散器５２０が、図５Ａにおいて、拡散器５２０の製造中に使用され得る又は図５Ｂに示されている組み立てられた照明器５００における集積回路パッケージ５１０への拡散器５２０の取り付けのために使用され得るキャリア５２２上に示されている。拡散器５２０は、例えば、予め規定された形及び位置を有する、マイクロレンズのアレイ又は他の光学素子といった、注意深く制御される特性を有する工学的拡散器であってよい。アレイ５１２における単一のレーザは、約２０度という発散角を伴う光を生成することができる。アレイ５１２におけるレーザの間隔及び拡散器５２０における小型レンズ又は他の光学素子の間隔に応じて、各レーザは、拡散器５２０における１つ又は複数の小型レンズ又は光学素子を照射することができる。１つの構成において、拡散器５２０は、アレイ５１２における各レーザからの光を別々に整形することができる。より一般的に、拡散器５２０は、アレイ５１２からの光を、所望の角度強度分布を有する、例えば直角扇状といった発散ビームに変換する。図５Ｂに示されているように、拡散器５２０は、拡散器５２０がアレイ５１２からの光を受けるように、パッケージ５１０に取り付けられてよい。

【0025】

照明器５００からの照明の分布は、さらに、アレイ５１２におけるレーザにそれぞれ印加される電力又は電流により制御され得る。より一般的に、いくつかの発光素子は、点光源に近くてよいが、各発光領域について何らかのサイズ又は程度を有し、光学系は、発光領域の歪んだ像を生成する傾向がある。一般に、例えばＬＥＤチップのエッジといった、発光領域の周辺部分からの光は、スポット又はシーンの周辺部分を照射する傾向がある。したがって、アレイ５１２等の拡張された光源からの光の空間分布は、拡散器５２０等の光学系からの照明の角度照射パターンに影響を及ぼすように設定又は変更され得る。

【0026】

開示されている主題の一実施形態に従うと、図６は、出力照明における強度についての所望の角度分布をもたらすように拡張されて空間的に不均一である光源６１０を使用する照明器６００を示している。光源６１０は、例えばＶＣＳＥＬアレイといった、複数の、必要に応じて個々にアドレス指定可能な個々の発光素子から構成されてもよいし、１つの拡張された光源であって、当該１つの拡張された光源の発光領域にわたって変化する照明の空間分布をもたらす１つの拡張された光源であってもよい。図示されている構成では、光源６１０は、光学系６２０の焦点面から発する光を生成するように配置される。図６は、光学系６２０がレンズである特に単純な実施形態を示しているが、他の光学系又はより複雑な光学系が、光源６１０上の空間位置を遠視野角に変換する又は光の空間分布と角度分布とを相関させるために使用されてもよい。図示されている構成では、光学系６２０は、光源６１０の異なる領域からの光を、異なる遠視野角に向ける又は投影する。例えば、光学系６２０は、光学系６２０の光軸上の光源６１０の領域６１２から生じた光を、光軸に平行な光６２２として向けるが、光学系６２０は、光学系６２０の焦点距離ｆと光学系６２０の光軸に対する領域６１４の位置とに依存する方向に沿って、光源６１０の軸外領域６１４からの光６２４を向ける。したがって、照明器６００からの光の角度分布は、光源６１０から照射される光の空間分布と相関させられ、光源６１０のより明るい領域は、照明器６００からの照明の照射パターンにおいて、より明るい角度領域をもたらす。したがって、より大きな角度でより明るい照明をもたらすために、光源６１０は、その周辺部分においてより明るくなるように、設計されることもあるし、操作されることもある。

【0027】

光源６１０は、一実施形態において、発光照射のために所望の形を実現するようにプログラム又は制御され得る強度を有する、別々に制御可能な又はアドレス指定可能な光素子の集合又はアレイであってよい。例えば、光源６１０における別々に制御可能な光素子のアレイを用いると、制御又は処理システムは、光源６１０が照明器６００からの所望の遠視野照明をもたらす光の空間分布をもたらすように、アレイにおける光素子を別々に動作させることができる。したがって、照明器６００からの照明は、画像キャプチャシステムの感知効率に応じてチューニングされてよく、画像キャプチャシステムが時間経過又は変更された設定に起因して変化したとき、必要に応じて変更されてよい。一実施形態において、処理システムは、照明器６００とともに使用されている画像キャプチャシステムの焦点、拡大率、又は別の特性の変化に応じて、光源６１０からの照明を変更するソフトウェアを実行することができる。

【0028】

図７は、画像キャプチャシステム７２０の視野７５０に向けられる照明を整形する照明器７１０を利用する処理システム７００の別の実施形態のブロック図である。処理システム７００は、例えば、汎用コンピューティングシステムといったコンピュータであってもよいし、例えば、移動電話機、タブレット、ウェアラブルデバイス、又は飛行時間カメラといった、特定の機能のセットを実行するように主として意図されているシステムであってもよく、処理システム７００のコンポーネントは、例えば、ポータブル又はハンドヘルドデバイスといった単一のデバイスに統合されてもよいし、複数の分離可能なコンポーネント、例えば、１つ以上の周辺デバイスを有するコンピュータで構成されてもよい。処理システム７００は、特に、プロセッサ７３０であって、プロセッサ７３０が、例えば画像データ７４５といったデータにアクセスし、メモリ７４０に記憶され得る、例えば、ソフトウェア又はファームウェアといった命令を実行することを可能にする関連する処理ハードウェアを含むプロセッサ７３０を含んでよい。プロセッサ７３０は、例えば、プログラム命令を実行することができる１つ以上の中央処理装置（ＣＰＵ）又はプロセッシングコアを含んでよく、照明器７１０及び画像キャプチャシステム７２０等の接続されたデバイスの動作をＣＰＵ又はコアが制御することを可能にするハードウェアを含んでよい。

【0029】

メモリ７４０は、プロセッサ７３０のアドレス空間の一部を構成する揮発性又は不揮発性のランダムアクセスメモリ（ＲＡＭ）を含んでよい。図７は、プロセッサ７３０用のメモリ７４０が、実行可能なプログラムモジュールのセット７４２、７４４、７４６、及び７４８を含む例示的な実施形態を示している。（そのようなモジュール７４２、７４４、７４６、及び７４８は、例えば、アドレス指定可能なメモリに代えて又は加えて、ハードドライブ又は着脱可能なメモリデバイスを含み得る記憶媒体又はデバイス７７０に記憶されてもよい。）モジュール７４２、７４４、７４６、及び７４８は、様々な目的を有し得、システム７００が特定のプロセス又は機能を実行するときに選択的に実行され得る。例えば、プロセッサ７３０は、ユーザインタフェース７４２を実行して、システム７００における入力デバイス及び出力デバイスを制御し、コマンド又は情報を受信する又は情報又はコンテンツを提供することができる。詳細には、照明器７１０及び画像キャプチャシステム７２０に加えて、システム７００は、ユーザが入力又はコマンドを提供するために操作し得る、スイッチ、ボタン、キーパッド、キーボード、マウス、タッチスクリーン、又は、マイクロフォン等の入力デバイスを含み得るインタフェースハードウェア７６０を含んでよく、プロセッサ７３０は、ユーザインタフェース７４２を実行して、入力デバイスを制御し、ユーザアクションを解釈することができる。インタフェースハードウェア７６０はまた、スピーカ、オーディオシステム、又は、タッチスクリーン若しくは他のディスプレイ等の従来の出力デバイスを含んでよく、プロセッサ７３０は、ユーザインタフェース７４２を実行して、出力デバイスを介して情報を出力することができる。インタフェースハードウェア７６０は、ローカルエリアネットワーク、ワイドエリアネットワーク、電気通信ネットワーク、又はインターネット等のネットワークを介してシステム７００が情報を受信又は送信することを可能にするネットワークインタフェースをさらに含んでよい。

【0030】

プロセッサ７３０は、例えば、画像キャプチャシステム７２０により画像をキャプチャするコマンド、又は、画像キャプチャシステム７２０において使用される、例えば、焦点、開口、フィルタ、又はレンズといった設定を変更するコマンドに応じて、画像キャプチャシステム７２０を使用してデータをキャプチャするときに、画像キャプチャ制御モジュール７４４を実行することができる。本出願において開示されている態様に従うと、画像キャプチャが開始されるときに、照明器７１０は、例えば、キャプチャされた画像データにおけるビネッティングを低減するために、画像キャプチャシステム７２０の制限を補償するように整形された照明を生成する。システム７００において、プロセッサ７３０は、照明器制御モジュール７４６を実行して、照明器７１０がいつどのように動作するかを制御することができる。具体的な照明器制御プロセスは、一般に、照明器７１０の能力に依存する。例えば、照明器７１０が、１つの固定された形を有する照明を提供する場合、１つの照明器制御プロセスは、例えば、画像キャプチャと同時に、又は、画像キャプチャに対する指定された時間オフセットで、画像キャプチャシステム７２０と同期させて照明器７１０を動作させることができる。照明器７１０が、プログラムすることができる形を有する照明を生成できる場合、例えば、照明器７１０が、図６の照明器６００と類似する又は同一である場合、プロセッサ７３０は、照明器制御プロセス７４６を実行して、照明器７１０からの照明についての所望の形を選択及び生成することができる。１つのそのような実施形態において、照明器制御モジュール７４６の実行は、画像キャプチャシステム７２０の現在の設定に基づいて、すなわち、画像キャプチャシステム７２０の現在使用されている焦点、開口、フィルタ、又は他の特徴に基づいて、目標照明を識別することができる。照明器制御モジュール７４６の実行から生じるプロセスは、さらに、視野７５０における環境光を検出することができ、単独で又は環境光との組み合わせで、視野７５０のための識別された目標照明を実現する、視野７５０に照明を向けるように照明器７１０を動作させることができる。固定された照明を用いると又はプログラムすることができる照明を用いると、キャプチャされた画像データは、環境光をもって又は従来のフラッシュ若しくは照明システムをもって実現されるであろうよりも均一なＳＮＲを有することができる。

【0031】

メモリ７４０（又はストレージ７７０）内の画像データ７４５は、システム７００によりキャプチャされた１つ以上の画像又はフレームを表し得る。システム７００は、画像データ７４５をキャプチャすることに加えて、画像データを処理することができる。具体的には、プロセッサ７３０は、画像処理モジュール７４８を実行して、画像データ７４５において表されるオブジェクトを認識すること、画像データ７４５において表されるオブジェクトについての奥行き又は距離情報を抽出すること、画像データ７４５の色補正を行うこと、又は画像データ７４５のスペクトル分析を行うこと等の処理機能を実行することができる。

【0032】

上述のようなシステム及び方法は、ビネッティング等の望ましくない効果を補償するために、整形された照明を使用することができ、画像にわたってより均一なＳＮＲを有する画像データを提供することができる。このようなシステム及び方法は、画像データが、マシンビジョン、オブジェクト認識、３Ｄモデリング、又は他の目的のためにさらに処理される必要があり得る場合に特に有用であり得る。これらの機能から特に利益を得る可能性があるいくつかの用途は、セキュリティカメラ、３Ｄカメラ、奥行き感知、オブジェクト認識、暗視カメラ、バイオメトリック識別カメラ、及びバイオメトリック感知カメラを含むが、これらに限定されるものではない。

【0033】

本発明の特定の実施形態が図示及び説明されているが、本発明から逸脱することなく、そのより広い態様において、変更及び変形が可能であり、したがって、請求項は、それらの範囲内で、本発明の真の主旨及び範囲内にあるそのような全ての変更及び変形を包含することが、当業者には明らかであろう。

【0034】

特徴及び要素が、特定の組み合わせで上述されているが、当業者は、各特徴又は要素が、単独で又は他の特徴及び要素との任意の組み合わせで使用されてよいことを理解するであろう。さらに、本開示に記載の方法は、コンピュータ又はプロセッサによる実行のためにコンピュータ読み取り可能な媒体に組み込まれる、コンピュータプログラム、ソフトウェア、又はファームウェアで実現可能である。コンピュータ読み取り可能な媒体の例は、電子信号（有線接続又は無線接続を介して伝送される）及びコンピュータ読み取り可能な記憶媒体を含む。コンピュータ読み取り可能な記憶媒体の例は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及び着脱可能なディスク等の磁気媒体、光磁気媒体、並びに、ＣＤ-ＲＯＭディスク及びデジタル多用途ディスク（ＤＶＤ）等の光媒体を含むが、これらに限定されるものではない。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】