2026-127402 画像合成装置、画像合成方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】

(43)【公開日】

(54)【発明の名称】画像合成装置、画像合成方法、及びコンピュータプログラム

(51)【国際特許分類】

   

   

   

【ＦＩ】

【審査請求】未請求

【請求項の数】10

【出願形態】

(21)【出願番号】

(22)【出願日】

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】阿部 学

【テーマコード（参考）】

【Ｆターム（参考）】

5C122FA09

5C122FH18

5C122GG10

5C122GG28

5C122HB01

(57)【要約】

【課題】
複数のターゲット距離範囲の画像を用いて、鮮明な合成画像を生成可能な画像合成装置を提供すること。
【解決手段】
画像合成装置において、複数のターゲット距離範囲に対応する画像を夫々取得する光電変換部と、前記ターゲット距離範囲に対応する前記画像の画素毎に被写体の距離値を生成する距離値取得部と、前記距離値と前記ターゲット距離範囲を比較し、前記距離値が前記ターゲット距離範囲に含まれる前記画素の輝度値を用い、前記距離値が前記ターゲット距離範囲に含まれない前記画素の輝度値を用いずに画像合成を行う画像合成部と、を有することを特徴とする。
【選択図】 図１２

【特許請求の範囲】

【請求項】

複数のターゲット距離範囲に対応する画像を夫々取得する光電変換部と、
前記ターゲット距離範囲に対応する前記画像の画素毎に被写体の距離値を生成する距離値取得部と、
前記距離値と前記ターゲット距離範囲を比較し、前記距離値が前記ターゲット距離範囲に含まれる前記画素の輝度値を用い、前記距離値が前記ターゲット距離範囲に含まれない前記画素の輝度値を用いずに画像合成を行う画像合成部と、
を有することを特徴とする画像合成装置。

【請求項】

複数の前記ターゲット距離範囲で撮像された複数の前記画像において、前記距離値が１つも取得できない前記画素については、複数の前記画像における前記画素の前記輝度値の平均値を使用して前記画像合成を行うことを特徴とする請求項１に記載の画像合成装置。

【請求項】

複数の前記ターゲット距離範囲で撮像された複数の前記画像において、前記距離値が１つも取得できない前記画素については、複数の前記画像における前記画素の輝度値のうち最も高い輝度値を使用して前記画像合成を行うことを特徴とする請求項１に記載の画像合成装置。

【請求項】

前記ターゲット距離範囲に含まれる前記距離値が複数ある前記画素については、前記距離値が前記ターゲット距離範囲に含まれる前記画素の前記輝度値の平均値を用いて前記画像合成を行うことを特徴とする請求項１に記載の画像合成装置。

【請求項】

前記距離値は、測距誤差を加えた距離値範囲であることを特徴とする請求項１に記載の画像合成装置。

【請求項】

前記ターゲット距離範囲に含まれる前記距離値範囲が複数ある画素については、前記ターゲット距離範囲に含まれる前記距離値範囲の割合に応じて、前記輝度値を加算することを特徴とする請求項５に記載の画像合成装置。

【請求項】

前記ターゲット距離範囲に含まれる前記距離値が複数ある画素については、最も小さい前記距離値の前記画素の前記輝度値を用いて前記画像合成を行うことを特徴とする請求項１に記載の画像合成装置。

【請求項】

パルス光を発光する発光部と、
前記ターゲット距離範囲にある被写体からの反射光を前記光電変換部が露光するように前記発光部の発光タイミングと前記光電変換部の露光タイミングを制御する制御部と、を備えることを特徴とする請求項１に記載の画像合成装置。

【請求項】

複数のターゲット距離範囲に対応する画像を夫々取得する撮像ステップと、
前記ターゲット距離範囲に対応する前記画像の画素毎に被写体の距離値を取得する距離値取得ステップと、
前記距離値と前記ターゲット距離範囲を比較し、前記距離値が前記ターゲット距離範囲に含まれる前記画素の輝度値を用い、前記距離値が前記ターゲット距離範囲に含まれない前記画素の輝度値を用いずに画像合成を行う画像合成ステップと、
を有することを特徴とする画像合成方法。

【請求項】

請求項１～８のいずれか１項に記載の画像合成装置の各部をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【】

本発明は画像合成装置、画像合成方法、及びコンピュータプログラム等に関するものである。

【背景技術】

【】

レンジゲートカメラと呼ばれるカメラを用いた撮像方法がある。これはカメラ前方の、撮像したい距離範囲をターゲット距離範囲として、そのターゲット距離範囲内の被写体のみを撮像する撮像方法である。

【】

方法としてカメラ前方に所定の周期でパルス光を発光し、ターゲット距離範囲からの反射光を撮像できるタイミングでカメラ内部のイメージセンサを露光する。撮像範囲をターゲット距離範囲に限定して撮像することで、ターゲット距離範囲にある被写体のみを鮮明に撮像することが可能となる技術である（以下、本技術をレンジゲート制御と呼ぶ）。

【】

このレンジゲート制御により例えば悪天候であっても所定の距離範囲にある被写体を鮮明に撮像することができる。しかし、レンジゲート制御により得られる画像であるレンジゲート画像においては、同じレンジゲート画像内の画像でもターゲット距離範囲の範囲外の領域に関しては不鮮明な画像となる。

【】

そのため、カメラ前方における近距離から遠距離までの鮮明な画像を取得する場合は、複数のターゲット距離範囲における複数のレンジゲート画像が必要となる。１つの画像として取得する場合はこれらのレンジゲート画像を合成する必要があるが、鮮明な１つの合成画像を取得するには夫々のレンジゲート画像の鮮明な領域だけを合成する必要がある。

【】

画像を合成する技術として、特許文献１では、被写体までの距離情報を元に画像を合成する技術が開示されている。

【先行技術文献】

【特許文献】

【】

【特許文献】特開２０１６－０７６７８５号公報

【発明の概要】

【発明が解決しようとする課題】

【】

しかしながら、上述の特許文献に開示された従来技術では、距離情報を元に被写体を認識し、連続で取得した複数画像における同じ被写体の移動量を補正している。このため、複数のレンジゲート画像における、異なる被写体の鮮明な画像領域を選んで合成することは難しい。

【】

そこで本発明の目的の１つは、複数のターゲット距離範囲の画像を用いて、鮮明な合成画像を生成可能な画像合成装置を提供することである。

【課題を解決するための手段】

【】

上記目的を達成するために、本発明の１側面の画像合成装置は、
複数のターゲット距離範囲に対応する画像を夫々取得する光電変換部と、
前記ターゲット距離範囲に対応する前記画像の画素毎に被写体の距離値を生成する距離値取得部と、
前記距離値と前記ターゲット距離範囲を比較し、前記距離値が前記ターゲット距離範囲に含まれる前記画素の輝度値を用い、前記距離値が前記ターゲット距離範囲に含まれない前記画素の輝度値を用いずに画像合成を行う画像合成部と、
を有することを特徴とする。

【発明の効果】

【】

本発明によれば、複数のターゲット距離範囲の画像を用いて、鮮明な合成画像を生成可能な画像合成装置を提供することができる。

【図面の簡単な説明】

【】

【図】本発明の実施形態の撮像素子の構成例を示す図である。

【図】センサ基板１１の構成例を示す模式図である。

【図】回路基板２１の構成例を示す図である。

【図】画素部１０１の光電変換部１０２と、光電変換部１０２に対応した信号処理回路１０３の等価回路例を示した図である。

【図】ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。

【図】（Ａ）は光電変換部１０２の構成例を示す模式図、（Ｂ）は図６（Ａ）のＡ－Ａ断面の例を示す図である。

【図】（Ａ）は光電変換部１０２に入射する光を示した図、（Ｂ）～（Ｄ）は視差量とデフォーカス量の関係について示した図である。

【図】ＩＲ発光器５００、カメラ６００及び移動体７００の構成例を示す機能ブロック図である。

【図】ＩＲ発光器５００からの放射光とその反射光の進行とカメラ６００の露光タイミングの関係の例を示した図である。

【図】１フレーム時間あたりのレンジゲート輝度情報画像を得るための制御動作を説明したタイミングチャートである。

【図】（Ａ）はレンジゲート制御によらない撮像方法により得られる画像の例を示した図、（Ｂ）はターゲット距離範囲を近距離としたレンジゲート輝度情報画像の例を示した図である。（Ｃ）はターゲット距離範囲を中距離としたレンジゲート輝度情報画像の例を示した図、（Ｄ）はターゲット距離範囲を遠距離としたレンジゲート輝度情報画像の例を示した図である。（Ｅ）は、本実施形態において図１１（Ｂ）～（Ｄ）の各レンジゲート輝度情報画像を合成した画像の例を示した図である。

【図】３つのレンジゲート輝度情報画像を取得し、その合成画像であるレンジゲート輝度情報合成画像を生成する画像合成方法の例を説明する図である

【図】距離情報を得られない画素（ｕ，ｖ）を含む場合における合成方法の例を説明する図である。

【図】画素（ｕ，ｖ）において全てのレンジゲート輝度情報画像における輝度値ＰＤｎ（ｕ，ｖ）で距離情報を得ることができなかった場合の合成方法の例を説明する図である。

【図】レンジゲート輝度情報合成画像を生成する方法の処理例を説明するフローチャートである。

【図】図１４Ａの続きの処理例を説明するフローチャートである。

【図】ステップＳ１０６において、得られた距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満たす距離値ＨＤｎ（ｕ，ｖ）が複数存在する場合の合成方法の例を説明する図である。

【発明を実施するための形態】

【】

以下、図面を参照して本発明の実施形態を説明する。但し、本発明は以下の実施形態に限定されるものではない。尚、各図において、同一の部材又は要素については同一の参照番号を付し、重複する説明は省略又は簡略化する。

【】

図１は、本発明の実施形態の撮像素子の構成例を示す図である。尚、本実施形態では、撮像素子部１００が、センサ基板１１と、回路基板２１の２枚の基板が積層され且つ電気的に接続された、いわゆる積層構造となっている例を説明する。

【】

しかしセンサ基板に含まれる構成と回路基板に含まれる構成が共通の半導体層に配された、所謂、非積層構造であっても良い。センサ基板１１は、画素領域１２を含む。回路基板２１は、画素領域１２で検出された信号を処理する回路領域２２を含む。

【】

図２はセンサ基板１１の構成例を示す模式図であり、センサ基板１１の上面図を示している。センサ基板１１における画素領域１２は、複数行及び列方向に渡って二次元状に複数の画素部１０１が配置されている。

【】

画素部１０１は、アバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部１０２を備えており、光電変換部１０２は、入射した光を光電変換して電気信号として出力する。尚、画素領域１２を成す画素アレイの行数及び列数は、特に限定されるものではない。

【】

図３は、回路基板２１の構成例を示す図である。回路基板２１は、図２の各光電変換部１０２で光電変換された電荷を処理する信号処理回路１０３、読み出し回路１１２、制御パルス生成部１１５、水平走査回路１１１、垂直信号線１１３、垂直走査回路１１０、出力回路１１４を有している。

【】

垂直走査回路１１０は、制御パルス生成部１１５から供給された制御パルスを受け、行方向に配列された複数の画素に、行毎に順次的に制御パルスを供給する。垂直走査回路１１０にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。

【】

各画素の光電変換部１０２から出力された信号は、各信号処理回路１０３で処理される。信号処理回路１０３は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。水平走査回路１１１は、デジタル信号が保持された各画素のメモリから信号を読みだすために、各列を順次選択する制御パルスを信号処理回路１０３に入力する。

【】

垂直信号線１１３には、垂直走査回路１１０により選択された行の画素の信号処理回路１０３から信号が出力される。垂直信号線１１３に出力された信号は、読み出し回路１１２、出力回路１１４を介して、撮像素子部１００の外部に出力される。読み出し回路１１２には垂直信号線１１３に接続された、複数のバッファが内蔵されている。

【】

図２及び図３に示すように、平面視で画素領域１２に重なる領域に、複数の信号処理回路１０３が配される。そして、平面視で、センサ基板１１の端と画素領域１２の端との間に重なるように、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

【】

即ち、センサ基板１１は、画素領域１２と画素領域１２の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

【】

尚、垂直信号線１１３の配置、読み出し回路１１２、出力回路１１４の配置は、図３に示した例に限定されない。例えば、垂直信号線１１３が行方向に延びて配置され、読み出し回路１１２が、垂直信号線１１３が延びる先に配置されても良い。

【】

又、信号処理回路１０３は、必ずしもすべての光電変換部１０２に１つずつ設けられる必要はなく、複数の光電変換部１０２に対して１つの信号処理回路が共有され、順次信号処理を行う構成となっていても良い。

【】

図４は、画素部１０１の光電変換部１０２と、光電変換部１０２に対応した信号処理回路１０３の等価回路例を示した図である。

【】

光電変換部１０２に含まれるＡＰＤ２０１は、光電変換により入射光に応じた電荷対を生成する。ＡＰＤ２０１の２つのノードのうちの一方のノードは、駆動電圧ＶＬ（第１電圧）が供給される電源線と接続されている。又、ＡＰＤ２０１の２つのノードのうちの他方のノードは、クエンチ素子２０２を介して、電圧ＶＬよりも高い駆動電圧ＶＨ（第２電圧）が供給される電源線と接続可能となっている。

【】

図４では、ＡＰＤ２０１の一方のノードはアノードであり、ＡＰＤの他方のノードはカソードである。ＡＰＤ２０１のアノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

【】

尚、逆バイアスの電圧が供給される場合において、アノード及びカソードの電圧差が降伏電圧より大きい電圧差で動作させるガイガーモードと、アノード及びカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。

【】

ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。ＳＰＡＤの場合、例えば、電圧ＶＬ（第１電圧）は－３０Ｖ、電圧ＶＨ（第２電圧）は１Ｖである。

【】

信号処理回路１０３は、クエンチ素子２０２、波形整形部２１０、カウンタ回路２１１、選択回路２１２を有する。クエンチ素子２０２は、駆動電圧ＶＨが供給される電源線とＡＰＤ２０１のアノード及びカソードのうちの一方のノードに接続される。

【】

クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。又、クエンチ素子２０２は、クエンチ動作で電圧降下した分の電流を流すことにより、ＡＰＤ２０１に供給する電圧を駆動電圧ＶＨへと戻す働きを持つ（リチャージ動作）。

【】

波形整形部２１０は、光子の検出時に得られるＡＰＤ２０１のカソードの電圧変化を整形して、パルス信号を出力する。波形整形部２１０としては、例えば、インバータ回路が用いられる。図４では、波形整形部２１０としてインバータを１つ用いた例を示したが、複数のインバータを直列接続した回路を用いても良いし、波形整形効果があるその他の回路を用いても良い。

【】

カウンタ回路２１１は、波形整形部２１０から出力されたパルスの数をカウントし、カウント値を保持するとともに、カウント値を選択回路２１２に供給する。又、駆動線２１３を介して制御パルスＲＥＳが供給されたとき、カウンタ回路２１１に保持された信号がリセットされる。ここでカウンタ回路２１１は、蓄積期間の開始時と終了時のカウント値の差分に基づいて信号を生成している。

【】

選択回路２１２には、図３の垂直走査回路１１０から、図４の駆動線２１４（図３では不図示）を介して制御パルスＳＥＬが供給され、カウンタ回路２１１と垂直信号線１１３との電気的な接続、非接続を切り替える。選択回路２１２には、例えば、信号を出力するためのバッファ回路などを含む。

【】

図５は、ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。波形整形部２１０の入力側をｎｏｄｅＡ、出力側をｎｏｄｅＢとしている。時刻ｔａから時刻ｔｂの間において、ＡＰＤ２０１には、ＶＨ－ＶＬの電位差が印加されている。

【】

時刻ｔａにおいて光子がＡＰＤ２０１に入射すると、ＡＰＤ２０１でアバランシェ増倍が生じ、クエンチ素子２０２にアバランシェ増倍電流が流れ、ｎｏｄｅＡの電圧は降下する。

【】

電圧降下量が更に大きくなり、ＡＰＤ２０１に印加される電位差が小さくなると、時刻ｔｂのようにＡＰＤ２０１のアバランシェ増倍が停止し、ｎｏｄｅＡの電圧レベルはある一定値以下には降下しなくなる。

【】

その後、時刻ｔｂから時刻ｔｃの間において、ｎｏｄｅＡには電圧ＶＬから電圧降下分を補う電流が流れ、時刻ｔｃにおいてｎｏｄｅＡは元の電位レベルに静定する。このとき、ｎｏｄｅＡにおいて出力波形がある閾値を下回った部分は、波形整形部２１０で波形整形され、ｎｏｄｅＢでパルス信号として出力される。

【】

尚、本実施形態においては、カメラ６００は被写体の距離情報を、撮像面位相差方式により画素部１０１毎に取得可能となっている。以下、撮像面位相差方式による画素部１０１毎の距離情報取得について説明する。

【】

尚、本実施形態においては撮像面位相差方式により画素部１０１毎に被写体の距離情報を得ているが、撮像面位相差方式に限定されるない。画素毎の距離情報を取得可能であれば、例えば基線長離れた複数のカメラ（ステレオカメラ）等を用いて測距を行うようにしても良い。

【】

図６（Ａ）は光電変換部１０２の構成例を示す模式図、図６（Ｂ）は図６（Ａ）のＡ－Ａ断面の例を示す図である。図６（Ａ）に示すように、本実施形態では各画素部１０１における光電変換部１０２は、第１の光電変換部１０２ａ、第２の光電変換部１０２ｂの２つの光電変換部を持つ。

【】

尚、第１の光電変換部１０２ａ、第２の光電変換部１０２ｂは夫々別々のＡＰＤ２０１を有する。又、夫々のＡＰＤ２０１に対して別々の信号処理回路１０３を有する。

【】

図６（Ｂ）に示すように、画素部１０１は、光電変換部１０２の上面（入光側）に導光部１００１が配置されている。導光部１００１は画素部１０１へ入射した光束を光電変換部１０２へ効率よく導くためのマイクロレンズ部１００１ａ、所定の波長帯域の光を通過させる不図示のフィルタを有する導光部材である。

【】

光電変換部１０２は、導光部１００１を介して入射した光を光電変換して電気信号として出力する。尚、本実施形態においては、前述のフィルタにより、ＩＲ（赤外）光のみが透過する構成としている。

【】

図７（Ａ）は、光電変換部１０２に入射する光を示した図である。マイクロレンズ部１００１ａは、後述の結像光学系６０１の射出瞳３００と光電変換部１０２とが光学的に共役関係になるように配置されている。

【】

その結果、射出瞳３００に内包される部分瞳領域である第１の瞳領域３００ａを通過した光束は第１の光電変換部１０２ａに入射する。同様に部分瞳領域である第２の瞳領域３００ｂを通過した光束は第２の光電変換部１０２ｂに入射する。

【】

各画素部１０１における第１の光電変換部１０２ａは、受光した光束を光電変換して信号を出力する。撮像素子部１００に含まれる複数の第１の光電変換部１０２ａから出力された信号から、第１の画像信号が生成される。第１の画像信号は、第１の瞳領域３００ａを主に通過した光束が撮像素子部１００上に形成する像の強度分布を示す。

【】

各画素部１０１における第２の光電変換部１０２ｂは、受光した光束を光電変換して信号を出力する。撮像素子部１００に含まれる複数の第２の光電変換部１０２ｂから出力された信号から、第２の画像信号が生成される。第２の画像信号は第２の瞳領域３００ｂを主に通過した光束が撮像素子部１００上に形成する像の強度分布を示す。

【】

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（以下、視差量と呼ぶ）は、デフォーカス量に応じた量となる。視差量とデフォーカス量の関係について、図７（Ｂ）～（Ｄ）を用いて説明する。

【】

図７（Ｂ）～（Ｄ）は、視差量とデフォーカス量の関係について示した図である。図中においては、第１の瞳領域３００ａを通過した光束である第１の光束３１０ａ、第２の瞳領域３００ｂを通過した光束である第２の光束３１０ｂを示している。

【】

図７（Ｂ）は合焦時の状態を示しており、第１の光束３１０ａと第２の光束３１０ｂが光電変換部１０２で収束している。この時、第１の光束３１０ａにより形成される第１の画像信号と第２の光束３１０ｂにより形成される第２の画像信号間の視差量は０となる。

【】

図７（Ｃ）は、像側でｗ軸の負方向にデフォーカスした状態を示している。この時、第１の光束３１０ａにより形成される第１の画像信号と第２の光束３１０ｂにより形成される第２の画像信号間の視差量は０とはならず、負の値を有する。

【】

図７（Ｄ）は像側でｗ軸の正方向にデフォーカスした状態を示している。この時、第１の光束３１０ａにより形成される第１の画像信号と第２の光束３１０ｂにより形成される第２の画像信号間の視差量は０とはならず、正の値を有する。

【】

図７（Ｃ）と図７（Ｄ）の比較から、デフォーカス量の正負に応じて、視差が生じる方向が入れ替わることが分かる。又、幾何関係から、デフォーカス量に応じた視差量が生じることが分かる。

【】

従って、第１の画像信号と第２の画像信号との間の視差量を、領域ベースのマッチング手法により検出し、視差量を所定の変換係数を介してデフォーカス量に変換することができる。

【】

具体的には、第１の画像信号に対応する第１の輝度画像を生成し、生成された第１の輝度画像内に注目点を設定し、注目点を中心とする照合領域を設定する。次に第２の画像信号に対応する第２の輝度画像を生成し、生成された第２の輝度画像内に参照点を設定し、参照点を中心とする参照領域を設定する。

【】

参照点を順次移動させながら照合領域内に含まれる第１の輝度画像と、参照領域内に含まれる第２の輝度画像間の相関度を算出し、最も相関が高い参照点を対応点とする。注目点と対応点間の相対的な位置のズレ量を、注目点における視差量とする。

【】

注目点を順次移動させながら視差量を算出することで、複数の画素位置における視差量を算出することができる。画素ごとに視差値を示す値が特定され、視差分布を示すデータを生成する。

【】

更に、後述する結像光学系６０１の結像公式（式１）を用いることで、像側のデフォーカス量を、被写体までの距離に変換することができる。ここで、図２における特定の画素部１０１を、座標を用いて画素（ｕ，ｖ）、結像光学系６０１の焦点距離をｆ、像側主点から撮像素子部１００までの距離をＩｐｐとする。

【】

この場合、以下の式１の結像公式を用いて、画素（ｕ，ｖ）におけるデフォーカス量であるデフォーカス量ΔＬ（ｕ，ｖ）を、画素（ｕ，ｖ）における被写体までの距離情報である距離値Ｈ（ｕ，ｖ）に変換することができる。

【数】

【】

尚、ここまでの説明では、焦点距離ｆと像側主点から撮像素子部１００までの距離Ｉｐｐは画角に寄らず一定値としているが、これに限らない。結像光学系６０１の結像倍率が画角ごとに大きく変化する場合には、焦点距離ｆや像側主点から撮像素子部１００までの距離Ｉｐｐの少なくとも１つを画角ごとに変わる値としても良い。

【】

以上のように、本実施形態においては、画素（ｕ，ｖ）毎に、被写体までの距離情報である距離値Ｈ（ｕ，ｖ）を算出することが可能となっている。

【】

尚、ここでの撮像面位相差方式は２つの光電変換部を持っているが、これに限らず少なくとも２つの光電変換部を持っていれば良い。例えばクワッドピクセル構造で撮像面位相差方式を実現しても良い。

【】

次に、本実施形態におけるＩＲ発光器５００、カメラ６００及び移動体７００等からなるシステムについて説明する。尚、本実施形態において、カメラ６００等は画像合成装置として機能している。

【】

図８は本実施形態に係るＩＲ発光器５００、カメラ６００及び移動体７００の構成例を示す機能ブロック図である。本実施形態の撮像装置（カメラ６００、ＩＲ発光器５００）は移動体７００に搭載されており、結像光学系６０１と撮像素子部１００のセットからなるカメラユニットは例えば移動体の前方、後方、側方の少なくとも１方向を撮影するように配置されている。

【】

尚、カメラユニットを移動体７００に複数配置しても良い。又、ＩＲ発光器５００も移動体７００に対して複数のカメラユニットと同数だけ配置し、各カメラユニットの光軸方向の被写体に対して夫々ＩＲ光を照射できるように配置しても良い。

【】

尚、本実施形態では移動体７００は例えば自動車の例を用いて説明するが、移動体は航空機、電車、船舶、ドローン、ＡＧＶ、ロボットなど、移動可能なものであれば、どのようなものであっても良い。

【】

尚、図８に示される機能ブロックの一部は、ＩＲ発光器５００、カメラ６００及び移動体７００に夫々含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。

【】

しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

【】

又、図８に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

【】

カメラ６００は、図１～図７で説明した撮像素子部１００、結像光学系６０１、画像処理部６０３、カメラ制御部６０５、記憶部６０６、通信部６０７等を有する。画像処理部６０３には、輝度情報画像生成部６５０、距離情報生成部６５１、輝度情報画像合成部６５２が含まれる。

【】

結像光学系６０１は、被写体の像（光学像）を撮像素子部１００上に形成することができ、撮像素子部１００から所定距離離れた位置に射出瞳を有する。撮像素子部１００は、光学像を光電変換するための図１～図５で説明したアバランシェフォトダイオードで構成されている。撮像素子部１００から第１の画像信号、第２の画像信号を、画像処理部６０３内の輝度情報画像生成部６５０と距離情報生成部６５１に出力する。

【】

輝度情報画像生成部６５０では、撮像素子部１００から出力された画素（ｕ，ｖ）毎の第１の画像信号と第２の画像信号を合算し、画素（ｕ，ｖ）における輝度情報である輝度値Ｐ（ｕ，ｖ）を算出する。

【】

そして画素領域１２における全ての画素（ｕ，ｖ）の輝度値Ｐ（ｕ，ｖ）に基づき、被写体の画像である輝度情報画像を作成する。輝度情報画像は、輝度情報画像合成部６５２と、移動体７００のＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）７０１に送られる。

【】

一方、距離情報生成部６５１では、撮像素子部１００から出力された第１の画像信号と第２の画像信号に基づき、前述の式１により画素（ｕ，ｖ）における距離情報である距離値Ｈ（ｕ，ｖ）を算出する。尚、距離情報生成部６５１は、ターゲット距離範囲に対応する前記画像の画素毎に被写体の距離値を生成する距離値取得部として機能している。

【】

画素（ｕ，ｖ）における輝度値Ｐ（ｕ，ｖ）と距離値Ｈ（ｕ，ｖ）は同一の画像信号から生成されるため、輝度値Ｐ（ｕ，ｖ）と距離値Ｈ（ｕ，ｖ）は時間的に同期している。即ち、生成された輝度情報画像における各画素（ｕ，ｖ）においては、輝度値Ｐ（ｕ，ｖ）と距離値Ｈ（ｕ，ｖ）を同時に持つことになる。

【】

距離情報生成部６５１で生成された距離情報は、輝度情報画像合成部６５２とＥＣＵ７０１に送られる。輝度情報画像合成部６５２は画像合成部として機能しており、入力された輝度情報画像と距離情報に基づき輝度情報合成画像を生成し、ＥＣＵ７０１へ送る。この輝度情報合成画像生成に関しては後述する。

【】

尚、これらの画像処理部６０３で生成される輝度情報画像や輝度情報合成画像においては、撮像素子部１００で取得された像信号に対して、各種の画像処理を行い、最終的な輝度情報画像や輝度情報合成画像が生成される。尚、上記の画像処理は、例えば黒レベル補正や、ガンマカーブ調整、ノイズリダクション、デジタルゲイン調整、デモザイク処理、データ圧縮等の少なくとも１つを含む。

【】

カメラ制御部６０５はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することによりカメラ６００の各部の制御を行う。

【】

尚、カメラ制御部６０５は制御手段として機能しており、例えば撮像素子部１００へ基準信号を出力することで、その基準信号に基づき撮像素子部１００の露光期間の長さや露光のタイミング等を制御する。これらの制御は、後述するレンジゲート制御により撮像するレンジゲート画像のターゲット距離範囲に基づいて制御される。

【】

尚、以下の説明における露光とは光電変換部１０２における電荷蓄積、光電変換、又は撮像の開始から終了までの動作を意味する。尚、本実施形態では、電荷蓄積、光電変換、撮像は同じ意味で用いると共に、電荷蓄積、光電変換、撮像の動作は、例えばＡＰＤ２０１で光電変換された信号をカウンタ２１１回路でカウントする動作を含む。

【】

又、カメラ制御部６０５はＩＲ発光器５００に対しても通信部６０７を介して前述の基準信号と同一の信号を送信する。このように撮像素子部１００へ送信した同一の基準信号をＩＲ発光器５００にも送信する。そして、ＩＲ発光器５００がその基準信号に基づき発光制御を行うことで、撮像素子部１００内部の露光タイミングとＩＲ発光器５００による発光タイミングを同期化させることができる。

【】

尚、カメラ制御部６０５は、ターゲット距離範囲にある被写体からの反射光を光電変換部１０２が露光するように発光部の発光タイミングと光電変換部１０２の露光タイミングを制御する制御部として機能している。

【】

記憶部６０６は、例えば、メモリカード、ハードディスク等の記録媒体を含み、画像信号を記憶、読出すことができる。

【】

通信部６０７は無線や有線のインターフェースを備え、生成した画像信号をカメラ６００の外部に出力すると共に外部からの各種信号を受信する。又、本実施形態において通信部６０７はＩＲ発光器５００の通信部５０３と接続されており、前述の基準信号の送信やカメラ制御部６０５からの制御命令をＩＲ発光器５００へ送信する役割も有する。

【】

ＩＲ発光器５００はＩＲ発光部５０１、発光制御部５０２、通信部５０３を有する。ＩＲ発光部５０１は、カメラユニットと共に例えば移動体７００の前方に配置され、レンズと、近赤外線ＬＥＤによる発光部で構成される。発光部は発光制御部５０２から出力されるパルス信号に応じて所定の発光時間のパルス光を出力する。

【】

発光制御部５０２は、通信部５０３を経由してカメラ６００のカメラ制御部６０５が送信した基準信号を受信し、その基準信号を基準として、所定のタイミングでパルス信号を生成し、ＩＲ発光部５０１へ出力する。

【】

ここで、発光制御部５０２は基準信号に基づき、パルスを出力するまでの期間や、パルス出力幅、パルス非出力幅、またパルス出力から次のパルス出力までの繰り返し周期や繰り返し回数等を設定可能である。

【】

カメラ制御部６０５が通信部６０７、通信部５０３を介して発光制御部５０２に対して所定の値を設定することで、基準信号を基準とした所定のタイミングでパルス信号がＩＲ発光部５０１へ出力され、ＩＲ発光器５００の発光期間が制御される。このように発光制御部５０２は撮像素子部１００へ入力された基準信号と同一の信号を基準として発光制御される。

【】

通信部５０３は、カメラ６００の通信部６０７と通信し、カメラ制御部６０５から発光制御部５０２への設定情報や基準信号を受信し、発光制御部５０２へ送信する。

【】

ＥＣＵ７０１はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することにより移動体７００の各部の制御を行う。

【】

ＥＣＵ７０１の出力は車両制御部７０２と表示部７０３に供給される。車両制御部７０２は、ＥＣＵ７０１の出力に基づき移動体としての車両の駆動、停止、方向制御等を行う移動制御手段として機能している。又、表示部７０３は表示手段として機能しており、例えば液晶デバイスや有機ＥＬ等の表示素子を含み、移動体７００に搭載されている。

【】

表示部７０３は、ＥＣＵ７０１の出力に基づき例えばＧＵＩを用いて移動体７００の運転者に対して、撮像素子部１００により取得した画像や、画像認識部６０４による認識結果、及び車両の走行状態等に関する各種情報を表示する。

【】

尚、図８における画像処理部６０３等は移動体７００に搭載されていなくても良く、例えば移動体７００とは別に設けられた、移動体７００をリモートコントロールするため、或いは移動体の走行をモニターするための外部端末等に設けても良い。

【】

図９は本実施形態における、ＩＲ発光器５００からの放射光とその反射光の進行とカメラ６００の露光タイミングの関係の例を示した図である。図９に基づき、前述のターゲット距離範囲に応じて発光タイミングと露光タイミングを同期させた制御（レンジゲート制御）を行うことによって、ターゲット距離範囲を撮像した画像である、レンジゲート輝度情報画像を取得する方法について説明する。

【】

尚、このようにレンジゲート制御によってレンジゲート輝度情報画像を取得するカメラをレンジゲートカメラと呼ぶ。図９は横軸に距離を、縦軸に時間を示している。

【】

先ず、横軸について説明する。移動体７００の位置を０とし、距離ｘ１から距離ｘ２までの間に霧８１０が存在し、距離ｘ３には車両８２０が存在している。尚、図９においては、レンジゲート制御にて、距離Ｄの位置を始点とし、そこからレンジ幅Ｒの範囲でのレンジゲート輝度情報画像を取得している。この場合、レンジ幅Ｒが撮像したいターゲット距離範囲となる。このとき、車両８２０は、レンジ幅Ｒ内に存在している。

【】

次に縦軸ついて説明する。時間０をＩＲ発光器５００での発光開始タイミングとし、時間ｔｆを発光終了タイミングとする。この時、発光期間はｔｆとなる。又、距離Ｄの位置を始点とし、そこからレンジ幅Ｒの範囲でのレンジゲート輝度情報画像を取得する場合の、光電変換部１０２における露光開始時間を時間ｔ１、露光終了時間を時間ｔ２とする。

【】

時間ｔ１とは、時間０にＩＲ発光器５００より放射した放射光が距離Ｄから反射光としてカメラ６００に戻ってきたタイミングである。又、時間ｔ２は時間ｔｆにＩＲ発光器５００より放射した放射光が距離Ｄからレンジ幅Ｒ分だけ進んだ箇所から反射光としてカメラ６００に戻ってきたタイミングである。

【】

更に、霧８１０による最初の反射光がカメラ６００に戻ってくるタイミングを時間ｔ３とし、霧８１０による最後の反射光がカメラ６００に戻ってくるタイミングを時間ｔ４とする。

【】

レンジゲート制御において、霧８１０の反射光がカメラ６００に到達する時間ｔ３から時間ｔ４の期間は、光電変換部１０２における露光を行わない。そして、距離Ｄからレンジ幅Ｒ分の反射光が届く時間ｔ１から時間ｔ２の期間のみ光電変換部１０２において露光を行うことにより霧８１０を除去しつつ、車両８２０の画像を明瞭に取得することができる。

【】

ここで、距離ｘに存在する対象物からの反射光がカメラ６００に戻ってくるまでの時間に関して説明する。時間０に発光開始した放射光が、距離ｘに存在している対象物に当たり、反射光として光電変換部１０２に戻ってくるタイミングを時間ｔｒとする。この時、反射光の戻ってくるタイミング時間ｔｒと撮像対象物との距離ｘの関係は以下の式２のようになる。
時間ｔｒ＝２ｘ／光速度ｃ（約３×１０＾８ｍ／ｓ）・・・（式２）

【】

図９に示すように、距離Ｄからレンジ幅Ｒを撮像範囲としたとき、レンジの始点の露光タイミング時間ｔ１は、上記式２の距離ｘに、距離Ｄを代入することで、以下の式３で求めることができる。
時間ｔ１＝２Ｄ／光速度ｃ・・・（式３）

【】

又、レンジ幅Ｒの終点の露光タイミング時間ｔ２は上記式２の距離ｘに、距離Ｄ＋レンジ幅Ｒを代入し、時間ｔｆを足すことで以下の式４で求めることができる。
時間ｔ２＝ｔｆ＋２（Ｄ＋Ｒ）／光速度ｃ・・・（式４）

【】

このように撮像したい距離ｘ（ターゲット距離範囲）に応じて、発光から露光までの時間ｔｒを制御することで、カメラとターゲット距離範囲の間に霧などがあってもターゲット距離範囲にある被写体を明瞭に撮像できるレンジゲート制御を実現できる。

【】

図１０は、１フレーム時間あたりのレンジゲート輝度情報画像を得るための制御動作を説明したタイミングチャートである。本実施形態では、レンジゲート輝度情報画像は、ＩＲ発光器５００による発光と同期させて光電変換部１０２における露光動作を行うことによって前述のＩＲ画像を生成し、このＩＲ画像に基づいて取得する。尚、本実施形態において、光電変換部１０２は、複数のターゲット距離範囲に対応する画像を夫々取得する。

【】

図１０において「垂直同期信号」は撮像のフレーム周期を示し、Ｌｏｗパルスから次のＬｏｗパルスの間の期間が１フレーム時間である。

【】

「ＩＲ光発光制御」はＩＲ発光器５００での発光タイミングを示し、「露光制御」はカメラ６００の露光の開始と終了のタイミングを示す。「カウンタ値」は各画素のカウンタ回路２１１の光子のカウント数の増減の状態を示す。

【】

「ＲＥＳ信号」は、駆動線２１３を介してカウンタ回路２１１に供給される制御パルスであって、パルスによって保持されていたカウント値がリセットされる。

【】

先ず、レンジゲート輝度情報画像を得るためのレンジゲート制御について説明する。本制御において、ＩＲ光の発光期間は発光制御部５０２によってパルス状に発光するように制御され、光子数のカウント動作（露光動作）は特定のレンジからのＩＲ光の反射光のみに対して行われる。

【】

前述のように、発光開始から終了までの発光期間をｔｆ、発光開始から光子数カウント開始までの時間をｔ１、発光開始から光子数カウント終了までの時間をｔ２とする。又、ｔ１は発光開始してから特定のレンジに光が到達し、反射した光がカメラ６００までに戻ってくる期間を示す。

【】

ｔ１からｔ２までの時間が特定のレンジの反射光の光子数をカウントしている期間となり、露光が開始し終了するまでの露光期間である。露光期間内の光子数に応じてカウンタ値が増加する。

【】

レンジゲート制御を正しく行うためには所定のターゲット距離範囲に合わせて発光開始と終了、露光開始と終了のタイミングを同期させることが必要である。そのため、本実施形態ではカメラ制御部６０５が露光制御部及び発光制御部５０２へ同一の基準信号を送信することで同期させている。

【】

タイミングチャート上のＩＲ光発光制御で示したような、発光開始してから次の発光開始までの期間がレンジゲート動作サイクルとなる。そして、１つのレンジゲート動作サイクルでカウントしたカウンタ値は保持されたまま、次のレンジゲート動作サイクルでカウンタ値は加算される。

【】

尚、発光から次の発光までの期間は、反射光が十分に減衰し、カメラ６００に戻ってこなくなるまでの時間を基準として設定される。

【】

図１０に示すように、１フレーム時間内でレンジゲート動作サイクルは設定された回数、繰り返し実施される。そして、１フレーム時間内で最後に加算されたカウンタ値の情報はカウンタ回路２１１から選択回路２１２に送られ、その後にカウンタ値はＲＥＳ信号によってリセットされる。

【】

このようなレンジゲート制御において、露光期間はＩＲ発光器５００による発光と同期しているため、狙ったレンジに対して霧といった悪天候下であっても明瞭なＩＲ画像を得ることが可能となる。

【】

前述のようにレンジゲート制御に基づいて得られたレンジゲート輝度情報画像は、ターゲット距離範囲からの反射光を露光する制御となっているため、その制御上ターゲット距離範囲の前方領域、後方領域の画像は鮮明には得られない。

【】

図１１（Ａ）はレンジゲート制御によらない撮像方法により得られる画像の例を示した図である。霧などの悪天候の状況において、カメラ６００から近距離にある歩行者２００１、中距離にある車両２００２、遠距離にある建物２００３が写っているが、霧のため不鮮明な画像となっている。

【】

図１１（Ｂ）はターゲット距離範囲を近距離範囲としたレンジゲート輝度情報画像の例を示した図、図１１（Ｃ）は、ターゲット距離範囲を中距離範囲としたレンジゲート輝度情報画像の例を示した図である。又、図１１（Ｄ）はターゲット距離範囲を遠距離範囲としたレンジゲート輝度情報画像の例を示した図である。

【】

図１１（Ｂ）に示すように、近距離範囲をターゲット距離範囲とした画像では、近距離に存在する歩行者２００１は鮮明であるが中距離、遠方の領域においては不鮮明である。図１１（Ｃ）に示すように、中距離範囲をターゲット距離範囲とした画像では、中距離に存在する車両２００２は鮮明であるが、近距離、遠距離の領域においては不鮮明である。

【】

図１１（Ｄ）に示すように、遠距離範囲をターゲット距離範囲とした画像では、遠距離に存在する建物２００３は鮮明であるが、近距離、中距離の領域においては不鮮明である。

【】

レンジゲート制御では、ターゲット距離範囲の前方領域、後方領域からの反射光は露光しない制御であるため、その領域における輝度値が得られない。又、外光やＩＲ発光器５００から照射される放射光による意図しない反射光、霧などによる乱反射等の影響もあるため、ターゲット距離範囲を除いた領域においては、不鮮明な画像となる。

【】

従って、本実施形態では、図１１（Ａ）のような悪天候の状況における、近距離から遠距離までを鮮明な１つの画像として得るために、近距離範囲から遠距離範囲までをターゲット距離範囲とした複数のレンジゲート輝度情報画像を合成する。

【】

但し前述のようにレンジゲート輝度情報画像は画像内におけるターゲット距離範囲の領域外は不鮮明な画像となっているため、近距離範囲から遠距離範囲までのレンジゲート輝度情報画像をそのまま加算合成すると、全体として不鮮明な画像となる。

【】

図１１（Ｅ）は、本実施形態において、図１１（Ｂ）～（Ｄ）の各レンジゲート輝度情報画像を合成した画像の例を示した図である。図１１（Ｅ）に示すように、画像領域全体が鮮明となる合成画像となっている。

【】

このように、本実施形態における合成方法では、複数のレンジゲート輝度情報画像における各ターゲット距離範囲の鮮明な画像領域に基づき合成画像を生成することで、鮮明なレンジゲート輝度情報合成画像を生成することが可能となる。

【】

以下、本実施形態における、輝度情報画像合成部６５２による、レンジゲート輝度情報画像の合成方法を説明する。

【】

図１２は、３つのレンジゲート輝度情報画像を取得し、その合成画像であるレンジゲート輝度情報合成画像を生成する画像合成方法の例を説明する図である。

【】

図１２では、３つの異なるターゲット距離範囲であるターゲット距離範囲Ｄ１、ターゲット距離範囲Ｄ２、ターゲット距離範囲Ｄ３において、レンジゲート制御に基づいて輝度情報画像生成部６５０で３つのレンジゲート輝度情報画像を取得する。

【】

そして、上記の３つのレンジゲート輝度情報画像に基づき、レンジゲート輝度情報画像ＰＤ１、レンジゲート輝度情報画像ＰＤ２、レンジゲート輝度情報画像ＰＤ３を生成し、それらの合成画像であるレンジゲート輝度情報合成画像ＰＤｔを生成する。

【】

図１２においては、例えば、ターゲット距離範囲Ｄ１を０－１００［ｍ］、ターゲット距離範囲Ｄ２を１００－２００［ｍ］、ターゲット距離範囲Ｄ３を２００－３００［ｍ］として設定している。

【】

ここで、レンジゲート輝度情報画像ＰＤ１、レンジゲート輝度情報画像ＰＤ２、レンジゲート輝度情報画像ＰＤ３における画素（ｕ，ｖ）の輝度値Ｐ（ｕ，ｖ）を、夫々輝度値ＰＤ１（ｕ，ｖ）、輝度値ＰＤ２（ｕ，ｖ）、輝度値ＰＤ３（ｕ，ｖ）とする。

【】

夫々の輝度値ＰＤ１（ｕ，ｖ）、輝度値ＰＤ２（ｕ，ｖ）、輝度値ＰＤ３（ｕ，ｖ）は、輝度情報画像生成部６５０により出力される輝度情報である。これらの輝度値ＰＤ１（ｕ，ｖ）、輝度値ＰＤ２（ｕ，ｖ）、輝度値ＰＤ３（ｕ，ｖ）には、夫々距離値ＨＤ１（ｕ，ｖ）、距離値ＨＤ２（ｕ，ｖ）、距離値ＨＤ３（ｕ，ｖ）が対応している。

【】

距離値ＨＤ１（ｕ，ｖ）、距離値ＨＤ２（ｕ，ｖ）、距離値ＨＤ３（ｕ，ｖ）は距離情報生成部６５１により出力された距離情報である。つまり、ターゲット距離範囲Ｄ１で得られたレンジゲート輝度情報画像ＰＤ１の画素（ｕ，ｖ）においては、輝度値ＰＤ１（ｕ，ｖ）と距離値ＨＤ１（ｕ，ｖ）が対応している。

【】

同様に、ターゲット距離範囲Ｄ２で得られたレンジゲート輝度情報画像ＰＤ２の画素（ｕ，ｖ）においては、輝度値ＰＤ２（ｕ，ｖ）と距離値ＨＤ２（ｕ，ｖ）が対応している。同様にターゲット距離範囲Ｄ３で得られたレンジゲート輝度情報画像ＰＤ３の画素（ｕ，ｖ）においては、輝度値ＰＤ３（ｕ，ｖ）と距離値ＨＤ３（ｕ，ｖ）が対応している。

【】

図１２においては、距離情報生成部６５１において得られた距離値ＨＤ１（ｕ，ｖ）は、２５０［ｍ］、同様に得られた距離値ＨＤ２（ｕ，ｖ）は２５０［ｍ］、同様に得られた距離値ＨＤ３（ｕ，ｖ）は２５０［ｍ］とする。

【】

この時、画素（ｕ，ｖ）において、ターゲット距離範囲Ｄｎ毎に得られた夫々の距離情報である距離値ＨＤｎ（ｕ，ｖ）が、対応するターゲット距離範囲Ｄｎに含まれているか否かを判定する。

【】

すると、ターゲット距離範囲Ｄ３（＝２００－３００［ｍ］）における距離値ＨＤ３（ｕ，ｖ）（＝２５０［ｍ］）のみが、対応するターゲット距離範囲Ｄ３（＝２００－３００［ｍ］）に含まれていることが分かる。

【】

従って、このとき、本実施形態では輝度情報画像合成部６５２において、レンジゲート輝度情報合成画像ＰＤｔにおける画素（ｕ，ｖ）の合成輝度値ＰＤｔ（ｕ，ｖ）として、輝度値ＰＤ３（ｕ，ｖ）の値を設定する。

【】

即ち、輝度情報画像合成部６５２において、夫々のターゲット距離範囲Ｄｎとそのターゲット距離範囲Ｄｎにおいて得られた距離値ＨＤｎ（ｕ，ｖ）を比較する。そして、ターゲット距離範囲Ｄｎの範囲に含まれる距離値ＨＤｎ（ｕ，ｖ）と、距離値ＨＤｎ（ｕ，ｖ）に対応する輝度値ＰＤｎを、レンジゲート輝度情報合成画像ＰＤｔにおける各座標の合成輝度値ＰＤｔ（ｕ，ｖ）として設定する。

【】

設定された合成輝度値ＰＤｔ（ｕ，ｖ）に基づきレンジゲート輝度情報合成画像ＰＤｔが生成される。このように本実施形態では、レンジゲート輝度情報合成画像ＰＤｔの生成において、ターゲット距離範囲Ｄｎに距離値ＨＤｎ（ｕ，ｖ）が含まれている画素の輝度値Ｐ（ｕ，ｖ）を設定値として使用する。

【】

即ち、距離値とターゲット距離範囲を比較し、距離値がターゲット距離範囲に含まれる画素の輝度値を用い、距離値がターゲット距離範囲に含まれない画素の輝度値を用いずに画像合成を行う。それにより、ターゲット距離範囲外からの意図しない反射光を排除することが可能となる。

【】

ここでターゲット距離範囲Ｄｎにおける画素（ｕ，ｖ）おいて、得られた距離情報である距離値ＨＤｎ（ｕ，ｖ）が、ターゲット距離範囲Ｄｎに含まれる場合を、距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎと表現する。又、含まれない場合を距離値ＨＤｎ（ｕ，ｖ）ＮＯＴ ⊂ターゲット距離範囲Ｄｎと表現して、以下説明することとする。

【】

ところで前述のように、距離情報生成部６５１においては、第１の輝度画像と第２の輝度画像に夫々設定した参照点と注目点から相関度を算出し、更には視差量を算出している。

【】

レンジゲート輝度情報画像においては、レンジゲート制御によるターゲット距離範囲外の反射光の露光を制限しているため、ターゲット距離範囲外の領域においては輝度値を得られない領域や、相関度が算出しにくい輝度値となる領域が存在する。このため、視差量算出が難しくなり、距離情報を得られない画素（ｕ，ｖ）も発生してくる。

【】

同様に、明瞭な参照点や注目点を得られず、相関度の算出、更には視差量の算出が難しい被写体もあるため（例えば快晴の空や同色の道路等）、この場合も距離情報を得られない画素（ｕ，ｖ）が発生してくる。

【】

以下、このような距離情報を得られない画素（ｕ，ｖ）における合成方法を説明する。図１３Ａ、図１３Ｂは、ターゲット距離範囲Ｄ１、Ｄ２、Ｄ３において、レンジゲート制御に基づいて得られたレンジゲート輝度情報画像ＰＤ１、ＰＤ２、ＰＤ３から、レンジゲート輝度情報合成画像ＰＤｔを生成する方法を示している。

【】

尚、各ターゲット距離範囲の設定値も図１２同様に、ターゲット距離範囲Ｄ１を０－１００［ｍ］、ターゲット距離範囲Ｄ２を１００－２００［ｍ］、ターゲット距離範囲Ｄ３を２００－３００［ｍ］としている。尚、図１３における各符号は図１２と同一であるため、説明は省略する。

【】

図１３Ａは、距離情報を得られない画素（ｕ，ｖ）を含む場合における合成方法の例を説明する図である。図１３（Ａ）において、レンジゲート制御により得られた距離情報である距離値ＨＤ１（ｕ，ｖ）は５０［ｍ］であり、距離値ＨＤ２（ｕ，ｖ）と距離値ＨＤ３（ｕ，ｖ）については距離情報が得られていない。

【】

つまり、距離値ＨＤ１（ｕ，ｖ）⊂ターゲット距離範囲Ｄ１であり、距離値ＨＤ２（ｕ，ｖ）と距離値ＨＤ３（ｕ，ｖ）に関しては距離情報が得られていない。このような場合、本実施形態においてはレンジゲート輝度情報合成画像ＰＤｔにおける合成輝度値ＰＤｔ（ｕ，ｖ）には、輝度値ＰＤ１（ｕ，ｖ）を設定する。

【】

即ち距離情報を得られていない画素（ｕ，ｖ）に対応する輝度値ＰＤｎ（ｕ，ｖ）は排除し、距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満たす距離値ＨＤｎ（ｕ，ｖ）に対応する輝度値ＰＤｎ（ｕ，ｖ）を設定値とする。

【】

このため、画素（ｕ，ｖ）において、レンジゲート制御による露光（電荷蓄積時間又は光電変換時間）の制限により適切な輝度値や距離情報を得られていない領域の輝度値は排除する。そのうえで、ターゲット距離範囲として設定した領域の輝度値を合成輝度値ＰＤｔ（ｕ，ｖ）として設定することが可能となる。

【】

図１３（Ｂ）は、画素（ｕ，ｖ）において全てのレンジゲート輝度情報画像における輝度値ＰＤｎ（ｕ，ｖ）で距離情報を得ることができなかった場合の合成方法の例を説明する図である。図１３（Ｂ）においては、図１３（Ａ）に対し距離値ＨＤ１（ｕ，ｖ）においても距離情報が得られていないことのみが異なり、その他の設定や構成は図１３（Ａ）と同じである。

【】

図１３（Ｂ）では、距離値ＨＤ１（ｕ，ｖ）、距離値ＨＤ２（ｕ，ｖ）、距離値ＨＤ３（ｕ，ｖ）全てにおいて距離情報を得られていない。このような場合、本実施形態においてはレンジゲート輝度情報合成画像ＰＤｔにおける合成輝度値ＰＤｔ（ｕ，ｖ）は、輝度値ＰＤ１（ｕ，ｖ）、輝度値ＰＤ２（ｕ，ｖ）、輝度値ＰＤ３（ｕ，ｖ）の平均値を設定する。

【】

即ち、画素（ｕ，ｖ）において、全てのレンジゲート輝度情報画像における距離値ＨＤｎ（ｕ，ｖ）を取得できない場合は、レンジゲート輝度情報合成画像ＰＤｔにおいて、各レンジゲート輝度情報画像ＰＤｎの輝度値ＰＤｎ（ｕ，ｖ）の平均値を設定する。

【】

このため、前述の視差量の算出が難しい被写体に関しても、合成輝度値ＰＤｔ（ｕ，ｖ）において、得られている輝度値を設定値として使用することができる。

【】

尚、画素（ｕ，ｖ）において、全てのレンジゲート輝度情報画像における距離値ＨＤｎ（ｕ，ｖ）を取得できない場合、輝度値ＰＤｎ（ｕ，ｖ）の平均値を用いる代わりに、最も高い輝度値ＰＤｎ（ｕ，ｖ）を合成輝度値ＰＤｔ（ｕ，ｖ）として設定しても良い。

【】

即ち、ターゲット距離範囲で撮像された複数の画像において、距離値が１つも取得できない画素については、複数の画像における画素の輝度値のうち最も高い輝度値を使用して画像合成を行っても良い。

【】

これは、各レンジゲート輝度情報画像において、例えば輝度値ＰＤ１（ｕ，ｖ）はレンジゲート制御による露光（電荷蓄積時間又は光電変換時間）の制限により適切な距離情報を得られていない領域の輝度値である。従って、距離情報と輝度値を得られず、輝度値ＰＤ２（ｕ，ｖ）においては視差量の算出が難しいため被写体の距離情報は得られていないが輝度値は得られている。

【】

このような場合は、得られている輝度値を設定値とすることで、適切なレンジゲート輝度情報合成画像ＰＤｔを生成することが可能となる。

【】

図１４Ａは、本実施形態におけるレンジゲート輝度情報合成画像を生成する方法の例を説明するフローチャートであり、図１４Ｂは、図１４Ａの続きの処理例を説明するフローチャートである。尚、図１４Ａ～図１４Ｂの処理フローは例えばフレーム周期単位で周期的に実行される。

【】

尚、カメラ制御部６０５内のコンピュータとしてのＣＰＵ等がメモリに記憶されたコンピュータプログラムを実行することによって図１４Ａ、図１４Ｂのフローチャートの各ステップの動作が順次行われる。

【】

図１４Ａにおいて、レンジゲート輝度情報合成画像の生成が開始されると、ステップＳ１０１において、カメラ制御部６０５ではＫ個のターゲット距離範囲Ｄｎ（ｎは１～Ｋの整数）の設定を行うと共に、ｎ＝１をセットする。

【】

次いでステップＳ１０２において、ターゲット距離範囲Ｄｎにおいてレンジゲート制御を実施する。即ち、レンジゲート制御により露光（電荷蓄積、光電変換、又は撮像）動作を行い、ターゲット距離範囲Ｄｎにおける各画素（ｕ，ｖ）の輝度値ＰＤｎ（ｕ，ｖ）、距離値ＨＤｎ（ｕ，ｖ）を取得する。尚、ステップＳ１０２ではｎ＝ｎ＋１とする。

【】

ここでステップＳ１０２は、複数のターゲット距離範囲に対応する画像を夫々取得する撮像ステップとして機能すると共に、ターゲット距離範囲に対応する画像の画素毎に被写体の距離値を取得する距離値取得ステップとしている。

【】

ステップＳ１０３において、ｎ＝Ｋか否かを判定する。そしてステップＳ１０３でＮｏと判定された場合にはステップＳ１０２に戻り、ステップＳ１０２の動作を所定回数（Ｋ回）繰り返す。ステップＳ１０３でＹｅｓと判定された場合にはステップＳ１０４に進み、ステップＳ１０４においてｕ＝１、ｖ＝１とし、図１４ＢのステップＳ１０５へ進む。

【】

ステップＳ１０５では、輝度情報画像合成部６５２において、Ｋ個の距離値ＨＤｎ（ｕ，ｖ）のうち、１つでも距離情報を取得できたか否かを判定する。ステップＳ１０５でＹｅｓと判定された場合、即ち、１つでも距離情報を取得できていればステップＳ１０６へ進み、１つも取得できていなければステップＳ１０８へ進む。

【】

ステップＳ１０６において、輝度情報画像合成部６５２において、ターゲット距離範囲Ｄｎと得られた距離値ＨＤｎ（ｕ，ｖ）を比較する。そして、距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満たす距離値ＨＤｎ（ｕ，ｖ）と、対応する輝度値ＰＤｎ（ｕ，ｖ）を、輝度情報合成画像ＰＤにおける合成輝度値ＰＤｔ（ｕ，ｖ）の設定値として設定し、ステップＳ１０７へ進む。

【】

一方、ステップＳ１０８では、Ｋ個の輝度値ＰＤｎ（ｕ，ｖ）の平均値を、輝度情報合成画像ＰＤにおける合成輝度値ＰＤｔ（ｕ，ｖ）として設定し、ステップＳ１０７へ進む。即ち、複数のターゲット距離範囲で撮像された複数の画像において、距離値が１つも取得できない画素については、複数の画像における画素の輝度値の平均値を使用して後述のように画像合成を行う。

【】

ステップＳ１０７において、変数ｕ＝ｕ＋１とし、ステップＳ１０９へ進む。ステップＳ１０９において画素（ｕ，ｖ）においてｕ＝ｅか否か判定する。ステップＳ１０９でＹｅｓと判定されればステップＳ１１０へ進む。ステップＳ１０９においてＮｏと判定された場合、即ちｕ＝ｅでなければステップＳ１０５へ戻る。

【】

ステップＳ１１０においてｕ＝１、ｖ＝ｖ＋１とし、ステップＳ１１１へ進む。ステップＳ１１１でｖ＝ｅか否かを判定し、Ｙｅｓと判定されればステップＳ１１２へ進み、ｖ＝ｅでなければステップＳ１０４へ戻る。

【】

ステップＳ１１２において、ステップＳ１０５～ステップＳ１１１で各座標について設定された、合成輝度値ＰＤｔ（ｕ，ｖ）に基づき輝度情報合成画像ＰＤを生成する。

【】

ここでステップＳ１０６～ステップＳ１１２は、距離値とターゲット距離範囲を比較し、距離値がターゲット距離範囲に含まれる画素の輝度値を用いて画像合成を行う画像合成ステップとして機能している。又、画像合成ステップでは、距離値がターゲット距離範囲に含まれない画素の輝度値を用いずに画像合成を行っている。

【】

図１５は、ステップＳ１０６において、得られた距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満たす距離値ＨＤｎ（ｕ，ｖ）が複数存在する場合の合成方法の例を説明する図である。

【】

図１５も図１２と同様、ターゲット距離範囲Ｄ１～Ｄ３において、レンジゲート制御に基づいて得られたレンジゲート輝度情報画像ＰＤ１～ＰＤ３から、その合成画像であるレンジゲート輝度情報合成画像ＰＤｔを生成する方法を示している。

【】

図１５において、各ターゲット距離範囲の設定値も図１２同様、ターゲット距離範囲Ｄ１を０－１００［ｍ］、ターゲット距離範囲Ｄ２を１００－２００［ｍ］、ターゲット距離範囲Ｄ３を２００－３００［ｍ］としている。図１５における各符号については図１２と同一であるため、説明は省略する。

【】

図１５においては、レンジゲート制御により得られた距離情報である距離値ＨＤ１（ｕ，ｖ）は９９［ｍ］、同様に得られた距離値ＨＤ２（ｕ，ｖ）は１０１［ｍ］、同様に得られた距離値ＨＤ３（ｕ，ｖ）は１０１［ｍ］とする。

【】

つまり、距離値ＨＤ１（ｕ，ｖ）⊂ターゲット距離範囲Ｄ１であり、距離値ＨＤ２（ｕ，ｖ）⊂ターゲット距離範囲Ｄ２、距離値ＨＤ３（ｕ，ｖ）ＮＯＴ ⊂ターゲット距離範囲Ｄ３である。これは、例えばターゲット距離範囲Ｄ１とターゲット距離範囲Ｄ２の境界部に被写体があり、ターゲット距離範囲Ｄ１とターゲット距離範囲Ｄ２共に距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満たすような場合である。

【】

このような場合には、カメラ６００による撮像面位相差方式の距離値に対する測距誤差による影響が考えられる。そこで本実施形態においては、測距誤差を含めた輝度情報合成画像の生成を行う。

【】

即ち、本実施形態では、測距誤差を考慮した上で想定される距離値の範囲を誤差考慮測距値範囲とする。例えば本実施形態におけるカメラ６００による撮像面位相差方式の測距精度が±１０［％］とする。

【】

この場合、距離値が１００［ｍ］であれば誤差考慮測距値範囲は９０－１１０［ｍ］となる。即ち、距離値は、測距誤差を加えた距離値範囲とする。このとき、レンジゲート制御により得られた距離値ＨＤｎ（ｕ，ｖ）の誤差考慮測距値範囲は夫々、距離値ＨＤ１（ｕ，ｖ）は９９［ｍ］に対して８９．１－１０８．９［ｍ］となる。又、距離値ＨＤ２（ｕ，ｖ）は１０１［ｍ］に対して９０．９－１１１．１［ｍ］、距離値ＨＤ３（ｕ，ｖ）も１０１［ｍ］に対して９０．９－１１１．１［ｍ］となる。

【】

ターゲット距離範囲Ｄｎとの比較を距離値ＨＤｎ（ｕ，ｖ）の誤差考慮測距値範囲で行うと、距離値ＨＤ１（ｕ，ｖ）（の誤差考慮測距値範囲）⊂ターゲット距離範囲Ｄ１となる。又、距離値ＨＤ２（ｕ，ｖ）（の誤差考慮測距値範囲）⊂ターゲット距離範囲Ｄ２、距離値ＨＤ３（ｕ，ｖ）（の誤差考慮測距値範囲）ＮＯＴ ⊂ターゲット距離範囲Ｄ３となる。

【】

従って、ターゲット距離範囲Ｄ１とターゲット距離範囲Ｄ２における距離値ＨＤｎ（ｕ，ｖ）の２つが、距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満足することになる。

【】

本実施形態においてはこのような場合、レンジゲート輝度情報合成画像ＰＤｔにおける輝度値Ｐ（ｕ，ｖ）は、距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満足した距離値に対応する輝度値の平均値を使用する。

【】

即ち、距離値ＨＤ１（ｕ，ｖ）と距離値ＨＤ２（ｕ，ｖ）に対応する輝度値ＰＤ１（ｕ，ｖ）と輝度値ＰＤ２（ｕ，ｖ）の平均値を使用する。つまり、ターゲット距離範囲に含まれる距離値が複数ある画素については、距離値がターゲット距離範囲に含まれる画素の輝度値の平均値を用いて画像合成を行う。

【】

このように本実施形態においては、得られた距離値ＨＤｎ（ｕ，ｖ）に対し、測距誤差を含めた誤差考慮測距値範囲においてターゲット距離範囲Ｄｎと比較する。又、誤差考慮測距値範囲がターゲット距離範囲Ｄｎと重なる領域がある場合は、距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎとなり、対応する輝度値Ｐ（ｕ，ｖ）をレンジゲート輝度情報合成画像ＰＤｔにおける合成輝度値ＰＤｔ（ｕ，ｖ）とする。

【】

又、複数の距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満足する距離値ＨＤｎ（ｕ，ｖ）が存在する場合は、距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満足する距離値ＨＤｎ（ｕ，ｖ）と対応する輝度値Ｐ（ｕ，ｖ）の平均値を使用する。

【】

尚、本実施形態においては、測距誤差を含めた上で複数の距離値ＨＤｎ（ｕ，ｖ）⊂ターゲット距離範囲Ｄｎを満足する距離値ＨＤｎ（ｕ，ｖ）が存在する場合は、その満足する距離値ＨＤｎ（ｕ，ｖ）と対応する輝度値Ｐ（ｕ，ｖ）の平均値を用いている。しかし平均値に限定されない。

【】

例えばターゲット距離範囲Ｄｎと重なる誤差考慮測距値範囲の割合に合わせて、その対応する輝度値Ｐ（ｕ，ｖ）を加算する割合を変化させることで重み付け加算をして平均しても良い。即ち、ターゲット距離範囲に含まれる距離値範囲が複数ある画素については、ターゲット距離範囲に含まれる距離値範囲の割合に応じて、輝度値を加算しても良い。

【】

或いは、得られた複数の距離値ＨＤｎ（ｕ，ｖ）において、最も小さい距離値ＨＤｎ（ｕ，ｖ）に対応する輝度値ＰＤｎ（ｕ，ｖ）を設定値として使用しても良い。即ち、ターゲット距離範囲に含まれる距離値が複数ある画素については、最も小さい距離値の画素の輝度値を用いて画像合成を行っても良い。これは、被写体の距離が短いほど誤差考慮測距値範囲が小さくなるためである。

【】

又、上記実施形態においては、撮像素子部１００において、ＩＲ光のみを光電変換し撮像する構成としているが、これに限定されない。例えば可視光を撮像できる撮像素子部を用いて、可視光を用いてレンジゲート制御を行う場合にも、本実施形態のような合成が可能である。

【】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形や上記実施形態の組み合わせが可能であり、それらを本発明の範囲から除外するものではない。又、上述の実施形態の一部を適宜組み合わせても良い。

【】

又、本発明は、例えば少なくとも１つのＣＰＵ等のプロセッサやメモリや回路（例えば、ＡＳＩＣ）を用いて上記実施形態の機能を実現するものを含む。又、プロセッサを複数用いて分散処理させるようにしても良い。

【】

尚、上記実施形態における制御の一部又は全部を実現するために、上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して測距カメラシステム等に供給するようにしてもよい。

【】

そしてその測距カメラシステム等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がそのプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。尚、本発明は、以下の組み合わせを含む。

【】

（構成１）複数のターゲット距離範囲に対応する画像を夫々取得する光電変換部と、前記ターゲット距離範囲に対応する前記画像の画素毎に被写体の距離値を生成する距離値取得部と、前記距離値と前記ターゲット距離範囲を比較し、前記距離値が前記ターゲット距離範囲に含まれる前記画素の輝度値を用い、前記距離値が前記ターゲット距離範囲に含まれない前記画素の輝度値を用いずに画像合成を行う画像合成部と、を有することを特徴とする画像合成装置。

【】

（構成２）複数の前記ターゲット距離範囲で撮像された複数の前記画像において、前記距離値が１つも取得できない前記画素については、複数の前記画像における前記画素の前記輝度値の平均値を使用して前記画像合成を行うことを特徴とする構成１に記載の画像合成装置。

【】

（構成３）複数の前記ターゲット距離範囲で撮像された複数の前記画像において、前記距離値が１つも取得できない前記画素については、複数の前記画像における前記画素の輝度値のうち最も高い輝度値を使用して前記画像合成を行うことを特徴とする構成１に記載の画像合成装置。

【】

（構成４）前記ターゲット距離範囲に含まれる前記距離値が複数ある前記画素については、前記距離値が前記ターゲット距離範囲に含まれる前記画素の前記輝度値の平均値を用いて前記画像合成を行うことを特徴とする構成１～３のいずれか１つに記載の画像合成装置。

【】

（構成５）前記距離値は、測距誤差を加えた距離値範囲であることを特徴とする構成１～４のいずれか１つに記載の画像合成装置。

【】

（構成６）前記ターゲット距離範囲に含まれる前記距離値範囲が複数ある画素については、前記ターゲット距離範囲に含まれる前記距離値範囲の割合に応じて、前記輝度値を加算することを特徴とする構成５に記載の画像合成装置。

【】

（構成７）前記ターゲット距離範囲に含まれる前記距離値が複数ある画素については、最も小さい前記距離値の前記画素の前記輝度値を用いて前記画像合成を行うことを特徴とする構成１～６のいずれか１つに記載の画像合成装置。

【】

（構成８）パルス光を発光する発光部と、前記ターゲット距離範囲にある被写体からの反射光を前記光電変換部が露光するように前記発光部の発光タイミングと前記光電変換部の露光タイミングを制御する制御部と、を備えることを特徴とする構成１～７のいずれか１つに記載の画像合成装置。

【】

（方法）複数のターゲット距離範囲に対応する画像を夫々取得する撮像ステップと、前記ターゲット距離範囲に対応する前記画像の画素毎に被写体の距離値を取得する距離値取得ステップと、前記距離値と前記ターゲット距離範囲を比較し、前記距離値が前記ターゲット距離範囲に含まれる前記画素の輝度値を用い、前記距離値が前記ターゲット距離範囲に含まれない前記画素の輝度値を用いずに画像合成を行う画像合成ステップと、を有することを特徴とする画像合成方法。

【】

（プログラム）構成１～８のいずれか１項に記載の画像合成装置の各部をコンピュータにより制御するためのコンピュータプログラム。

【符号の説明】

【】

１１：センサ基板
１２：画素領域
２１：回路基板
２２：回路領域
１００：撮像素子部
１０１：画素部
１０２：光電変換部
１０２ａ：第１の光電変換部
１０２ｂ：第２の光電変換部
１０３：信号処理回路
１１０：垂直走査回路
１１１：水平走査回路
１１２：読み出し回路
１１３：垂直信号線
１１４：出力回路
１１５：制御パルス生成部
２０１：ＡＰＤ
２０２：クエンチ素子
２１０：波形整形部
２１１：カウンタ回路
２１２：選択回路
２１３：駆動線
２１４：駆動線
３００：射出瞳
３００ａ：第１の瞳領域
３００ｂ：第２の瞳領域
３１０ａ：第１の光束
３１０ｂ：第２の光束
５００：ＩＲ発光器
５０１：ＩＲ発光部
５０２：発光制御部
５０３：通信部
６００：カメラ
６０１：結像光学系
６０３：画像処理部
６０４：画像認識部
６０５：カメラ制御部
６０６：記憶部
６０７：通信部
６５０：輝度情報画像生成部
６５１：距離情報生成部
６５２：輝度情報画像合成部
７００：移動体
７０１：ＥＣＵ
７０２：車両制御部
７０３：表示部
８１０：霧
８２０：車両
８３０：歩行者
９００：可視光発光器
９０１：可視光発光部
１００１：導光部
１００１ａ：マイクロレンズ部
１２００：分割領域
２００１：歩行者
２００２：車両
２００３：建物

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】