知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-01
(45)【発行日】2024-04-09
(54)【発明の名称】距離画像撮像装置、及び距離画像撮像方法
(51)【国際特許分類】
G01S 7/497 20060101AFI20240402BHJP
G01S 17/89 20200101ALI20240402BHJP
G01C 3/06 20060101ALI20240402BHJP
G01B 11/00 20060101ALI20240402BHJP
H04N 25/53 20230101ALI20240402BHJP
【ＦＩ】
G01S7/497
G01S17/89
G01C3/06 120Q
G01C3/06 140
G01B11/00 B
H04N25/53
【請求項の数】
9
(21)【出願番号】P 2019142536
(22)【出願日】2019-08-01
(65)【公開番号】P2021025833
(43)【公開日】2021-02-22
【審査請求日】2022-07-20
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】赤堀 知行
(72)【発明者】
【氏名】大久保 優
(72)【発明者】
【氏名】畠山 邦広
(72)【発明者】
【氏名】高橋 聡
【審査官】東 治企
(56)【参考文献】
【文献】特開２０１０－０９６７３０（ＪＰ，Ａ）
【文献】国際公開第２０１６／０７５８８５（ＷＯ，Ａ１）
【文献】特許第６２９８２３６（ＪＰ，Ｂ２）
【文献】国際公開第２０１５／１０７８６９（ＷＯ，Ａ１）
【文献】特開２０１８－００９９１７（ＪＰ，Ａ）
【文献】特開２０１７－１３３８５３（ＪＰ，Ａ）
【文献】特開２００１－１１６５１６（ＪＰ，Ａ）
【文献】国際公開第２００８／１５２６４７（ＷＯ，Ａ２）
【文献】国際公開第２０１７／１７０５６８（ＷＯ，Ａ１）
【文献】国際公開第２０１０／０９８４５４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／４８－７／５１
Ｇ０１Ｓ １７／００－１７／９５
Ｇ０１Ｃ ３／００－３／３２
Ｇ０１Ｂ １１／００－１１／３０
Ｈ０４Ｎ ２５／５３
(57)【特許請求の範囲】
【請求項1】
測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
を備え、
前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有し、
前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部からなり、
前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第１電荷蓄積部、及び第２電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、
前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
前記フレア光受光期間と前記反射光受光期間とは、前記中距離モードにおいて少なくとも一部が互いに重複する期間であり、
前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記距離を測定する、
距離画像撮像装置。
【請求項2】
前記タイミング制御部は、前記測定モードが遠距離モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、少なくとも前記フレア光受光期間を、前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、前記非蓄積期間の経過後、前記反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間と前記反射光受光期間とは、前記遠距離モードにおいて互いに重複しない期間である、
請求項１に記載の距離画像撮像装置。
【請求項3】
前記タイミング制御部は、前記測定モードとして、前記中距離モード、及び中距離外光モードにて測定を行い、前記測定モードが中距離外光モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、前記距離画像処理部は、
前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、フレア光に起因するフレア光成分を抽出し、
前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、外光に起因する外光成分を抽出し、
抽出した前記フレア光成分、及び前記外光成分を用いて、前記距離を測定する、
請求項１に記載の距離画像撮像装置。
【請求項4】
前記タイミング制御部は、前記測定モードが前記中距離外光モードである場合、前記外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、前記フレア光受光期間を前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、前記反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量と、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量とを合成することにより、前記距離を測定する、
請求項３に記載の距離画像撮像装置。
【請求項5】
前記距離画像処理部は、前記中距離モードにおいて、前記第１電荷蓄積部に蓄積された電荷量を定数倍した値を、前記第２電荷蓄積部に蓄積された電荷量に含まれる、フレア光に起因するフレア光成分として抽出する、請求項１から請求項４のいずれか一項に記載の距離画像撮像装置。
【請求項6】
測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
を備え、
前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有し、
前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部からなり、
前記タイミング制御部は、
前記測定モードが、中距離モードと中距離外光モードとに対応する動作を共に行う動作モードである場合、
前記光パルスが照射されないオフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、
フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第３電荷蓄積部、及び第４電荷蓄積部に振り分けて蓄積させ、
前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
前記フレア光受光期間と前記反射光受光期間とは、前記動作モードにおいて少なくとも一部が互いに重複する期間である、
距離画像撮像装置。
【請求項7】
測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
を備え、
前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部と測定を制御する測定制御部を有し、
前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部からなり、
前記タイミング制御部は、前記測定モードが第１通常モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、前記光パルスが照射されるオン状態となった後の所定の反射光受光期間に、前記第２電荷蓄積部、及び前記第３電荷蓄積部に、順に前記電荷を蓄積させる蓄積周期を、所定の積算回数繰り返し、
前記測定制御部は、前記測定モードを前記第１通常モードとして測定を行い、前記第１通常モードにおける測定結果に基づいて前記被写体よりも近距離にある近距離物体が前記測定空間に存在するか否かを判定し、前記近距離物体が前記測定空間に存在すると判定した場合、前記第１通常モードより前記積算回数を減らした第２通常モードにて測定を行い、前記第１通常モードにおける測定結果に基づく第１距離と、前記第２通常モードにおける測定結果に基づく第２距離との差分がしきい値以上である場合に前記測定モードを遠距離モードに変更して再度の測定を行い、前記差分がしきい値未満である場合に記測定モードを中距離モードに変更して再度の測定を行う、
距離画像撮像装置。
【請求項8】
前記測定制御部は、前記第１通常モードにおいて、前記第２電荷蓄積部に蓄積された電荷量が所定の閾値以上である場合、前記近距離物体が、前記測定空間に存在すると判定する、請求項７に記載の距離画像撮像装置。
【請求項9】
測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
前記蓄積タイミングを制御するタイミング制御部と、
を備える距離画像撮像装置による距離画像撮像方法であって、
前記タイミング制御部が、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて前記蓄積タイミングを制御する工程、
を有し、
前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部からなり、
前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第１電荷蓄積部、及び第２電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、
前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
前記フレア光受光期間と前記反射光受光期間とは、少なくとも一部が互いに重複する期間であり、
前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記被写体までの距離を測定する、
距離画像撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
【背景技術】
【0002】
従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置がある。距離画像撮像装置では、撮像装置と同様に、距離を測定するための光を検出する画素が二次元の行列状に複数配置され、被写体との間の２次元の距離の情報や、被写体の画像を取得（撮像）することができる。
【0003】
このような距離画像撮像装置を用いて、遠距離にある物体までの距離を精度良く測定しようとする場合、振り分け回数（露光量）を増やす方法がある。しかし、遠距離にある物体とは別に、近距離にも別の物体が存在する場合がある。このような状況において、遠距離、及び近距離にある両方の物体に、同時に光を照射させると、近距離にある物体からの反射光が、遠距離にある物体からの反射光よりも大きな強度で受光される。このような大きな強度の反射光が受光されると、距離画像撮像装置内のレンズなどの光学系において、フレア現象と称される多重反射が発生する。このフレア現象が、遠距離にある物体の距離を測定するための光を検出する画素の受光量に影響を与え、測定する距離に誤差が生じる要因となっていた。
【0004】
この対策として、距離画像撮像装置内の光学設計と光学素材、測定環境を作り込むことにより、フレア現象を低減させ、或いは回避することが可能である。しかし、その一方で、レンズに特殊な加工が必要となり、コストが上昇したり、測定環境が制限されたりする問題があった。
【0005】
別の対策として、画素の受光量から、フレア現象による受光成分を除去する処理を行うことが考えられる。特許文献１では、基準電荷量比のデータベースを用いて、フレア現象による受光成分を取り除く技術が開示されている。基準電荷量比は、フレアが発生していない場合の理想的な環境で対象物を測定して得た、距離毎の電荷量の比である。
【先行技術文献】
【特許文献】
【0006】
【文献】特許第６２９８２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１の技術では、基準電荷量比のデータベースを作成する必要がある。フレア現象による受光成分を精度よく除去するためには、フレアが発生しない理想的な環境を構築した上で、細かく距離を刻んでサンプリングした詳細なデータベースを作成しなければならない。このため、データベースを作成する手間がかかるという問題があった。
【0008】
本発明は、上記の課題に基づいてなされたものであり、装置内の光学的な構成を変えることなく、また、理想的な環境での距離と電荷量の比との関係を示すデータベースを作成することなく、フレア現象による影響を抑制することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、を備え、前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有し、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第１電荷蓄積部、及び第２電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、前記フレア光受光期間と前記反射光受光期間とは、前記中距離モードにおいて少なくとも一部が互いに重複する期間であり、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記距離を測定する。
【0010】
本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが遠距離モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、少なくともフレア光受光期間を、前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、前記非蓄積期間の経過後、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、前記フレア光受光期間と前記反射光受光期間とは、互いに重複しない期間である。
【0012】
本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部からなり、前記タイミング制御部は、前記測定モードとして、前記中距離モード、及び中距離外光モードにて測定を行い、前記測定モードが中距離外光モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、フレア光に起因するフレア光成分を抽出し、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、外光に起因する外光成分を抽出し、抽出した前記フレア光成分、及び前記外光成分を用いて、前記被写体までの距離を測定する。
【0013】
本発明の距離画像撮像装置では、前記タイミング制御部は、前記測定モードが前記中距離外光モードである場合、前記光パルスが前記オフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間を前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量と、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量とを合成することにより、前記測定空間に存在する被写体までの距離を測定する。
【0014】
本発明の距離画像撮像装置では、前記距離画像処理部は、前記中距離モードにおいて、前記第１電荷蓄積部に蓄積された電荷量を定数倍した値を、前記第２電荷蓄積部に蓄積された電荷量に含まれる、フレア光に起因するフレア光成分として抽出する。
【0015】
本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが、中距離モードと中距離外光モードとに対応する動作を共に行う動作モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第３電荷蓄積部、及び第４電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、前記フレア光受光期間と前記反射光受光期間とは、前記動作モードにおいて少なくとも一部が互いに重複する期間である。
【0016】
本発明の距離画像撮像装置では、測定を制御する測定制御部を更に備え、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが前記第１通常モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第１電荷蓄積部に前記電荷を蓄積させ、前記光パルスが照射されるオン状態となった後の所定の反射光受光期間に、前記第２電荷蓄積部、及び第３電荷蓄積部に、順に前記電荷を蓄積させる蓄積周期を、所定の積算回数繰り返し、前記測定制御部は、前記測定モードを前記第１通常モードとして測定を行い、前記第１通常モードにおける測定結果に基づいて前記被写体よりも近距離にある近距離物体が前記測定空間に存在するか否かを判定し、前記近距離物体が前記測定空間に存在すると判定した場合、前記第１通常モードより前記積算回数を減らした第２通常モードにて測定を行い、前記第１通常モードにおける測定結果に基づく第１距離と、前記第２通常モードにおける測定結果に基づく第２距離との差分がしきい値以上である場合に前記測定モードを遠距離モードに変更して再度の測定を行い、前記差分がしきい値未満である場合に記測定モードを中距離モードに変更して再度の測定を行う。
【0017】
本発明の距離画像撮像装置では、前記測定制御部は、前記第１通常モードにおいて、前記第２電荷蓄積部に蓄積された電荷量が所定の閾値以上である場合、前記近距離物体が、前記測定空間に存在すると判定する。
【0018】
本発明の距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、前記蓄積タイミングを制御するタイミング制御部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記タイミング制御部が、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて前記蓄積タイミングを制御する工程、を有し、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第１電荷蓄積部、及び第２電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第２電荷蓄積部、及び第３電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、前記フレア光受光期間と前記反射光受光期間とは、少なくとも一部が互いに重複する期間であり、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記被写体までの距離を測定する。
【発明の効果】
【0019】
本発明によれば、装置内の光学的な構成を変えることなく、また、データベースを用いることなく、フレア現象による影響を抑制することができる。
【図面の簡単な説明】
【0020】
【図1】第１の実施形態の距離画像撮像装置１の概略構成を示したブロック図である。
【図2】第１の実施形態の距離画像撮像装置1に用いられる撮像素子の概略構成を示したブロック図である。
【図3】第１の実施形態の距離画像撮像装置１に用いられる撮像素子の受光領域に配置された画素３２１の構成の一例を示した回路図である。
【図4】第１の実施形態の遠距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。
【図5A】第１の実施形態の中距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。
【図5B】第１の実施形態の中距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。
【図6】第１の実施形態の中距離外光モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。
【図7】第１の実施形態の中距離モードと中距離外光モードのフレーム合成を説明する図である。
【図8A】第１の実施形態の中距離モードの変形例を説明する図である。
【図8B】第１の実施形態の中距離モードの変形例を説明する図である。
【図9A】第１の実施形態の中距離モードにおける効果を説明する図である。
【図9B】第１の実施形態の中距離モードにおける効果を説明する図である。
【図9C】第１の実施形態の中距離モードにおける効果を説明する図である。
【図9D】第１の実施形態の中距離モードにおける効果を説明する図である。
【図9E】第１の実施形態の中距離モードにおける効果を説明する図である。
【図9F】第１の実施形態の中距離モードにおける効果を説明する図である。
【図10】第１の実施形態の距離画像撮像装置１における処理の流れを示すフローチャートである。
【図11】第２の実施形態の距離画像撮像装置１における画素３２１を駆動するタイミングを示すタイミングチャートである。
【図12A】従来の測定における画素を駆動するタイミングを示すタイミングチャートである。
【図12B】実施形態におけるフレア光の概念を説明する図である。
【図12C】従来の測定においてフレア光が受光された場合の精度の劣化を説明する図である。
【発明を実施するための形態】
【0021】
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
【0022】
＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。なお、図１には、距離画像撮像装置１において距離を測定する対象物である被写体Ｓも併せて示している。
まず、第１の実施形態について説明する。
図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。なお、図１には、距離画像撮像装置１において距離を測定する対象物である被写体Ｓも併せて示している。
【0023】
光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体Ｓが存在する撮影対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
【0024】
光源装置２１は、被写体Ｓに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
【0025】
拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体Ｓに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体Ｓに照射される。
【0026】
受光部３は、距離画像撮像装置１において距離を測定する対象の被写体Ｓによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
【0027】
レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
【0028】
距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
【0029】
距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。
【0030】
距離画像処理部４は、距離画像撮像装置１を制御し、被写体Ｓまでの距離を演算する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。
【0031】
タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号や、反射光ＲＬを複数の電荷蓄積部に振り分ける信号、１フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分ける処理を繰返す回数である。
【0032】
距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体Ｓまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間Ｔｄ（図１２Ａ参照）を算出する。距離演算部４２は、算出した遅延時間Ｔｄに応じて被写体Ｓまでの距離を演算する。
【0033】
測定制御部４３は、測定環境に応じて、複数の測定モードから１つの測定モードを選択する。測定モードは、測定する環境毎に設けられ、光パルスＰＯを照射するタイミングと、反射光ＲＬを複数の電荷蓄積部に振り分けるタイミングとが互いに異なる関係で規定される。測定する環境は、測定の対象とする距離の範囲、及び測定の精度が劣化する要因となるフレア光を考慮するか否か等に応じて区分される。測定モードの詳細については、後で詳しく説明する。
【0034】
このような構成によって、距離画像撮像装置１では、光源部２が被写体Ｓに照射した近赤外の波長帯域の光パルスＰＯが被写体Ｓによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体Ｓとの距離を測定した距離情報を出力する。
【0035】
なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
【0036】
次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、本発明の第１の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。
【0037】
図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
【0038】
受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
【0039】
垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
【0040】
画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
【0041】
水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
【0042】
以下の説明においては、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
【0043】
ここで、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、本発明の第１の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。
【0044】
画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
【0045】
なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
【0046】
図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。
【0047】
光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
【0048】
画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
【0049】
距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２つであってもよいし、４つ以上であってもよい。
【0050】
また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
【0051】
また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。
【0052】
次に、距離画像撮像装置１における画素３２１の駆動（制御）方法について図１２Ａを用いて説明する。図１２Ａは、従来の距離画像撮像装置における画素を駆動する駆動信号のタイミングを示したタイミングチャートである。
【0053】
図１２Ａでは、光パルスＰＯを照射するタイミングを「Ｌｉｇｈｔ」、反射光が受光されるタイミングを「ＲＥＦＲＥＣＴＩＯＮ」、駆動信号ＴＸ１のタイミングを「Ｇ１」、駆動信号ＴＸ２のタイミングを「Ｇ２」、駆動信号ＴＸ３のタイミングを「Ｇ３」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。また、距離画像撮像装置における一連の受光動作タイミングを「Ｃａｍｅｒａ」の項目名で示している。「Ｃａｍｅｒａ」では、読み出しゲートトランジスタＧ１、Ｇ２、Ｇ３、及びドレインゲートトランジスタＧＤがオン状態となるタイミングを、それぞれ、「Ｇ１」、「Ｇ２」、「Ｇ３」、及び「ＧＤ」で示している。なお、駆動信号ＴＸ１は、読み出しゲートトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２、ＴＸ３についても同様である。
【0054】
図１２Ａに示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光されるとする。垂直走査回路３２３は、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳ１、ＣＳ２、及びＣＳ３の順に、電荷を蓄積させる。
【0055】
まず、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態にする。これにより、光電変換素子ＰＤにより光電変換された電荷が、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。その後、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、電荷蓄積部ＣＳ１への電荷の転送が停止される。このようにして、垂直走査回路３２３は、電荷蓄積部ＣＳ１に電荷を蓄積させる。
【0056】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ１への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ２をオン状態とし、電荷蓄積部ＣＳ２への電荷の蓄積を開始させる。以降の電荷蓄積部ＣＳ２に電荷を蓄積させる処理の流れは、電荷蓄積部ＣＳ１に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。
【0057】
一方、光源部２は、読み出しゲートトランジスタＧ１がオフ状態となったタイミング、つまり読み出しゲートトランジスタＧ２がオン状態となったタイミングで、光パルスＰＯを照射する。光源部２が光パルスＰＯを照射する照射時間Ｔｏは、蓄積期間Ｔａと同じ長さである。ここで、読み出しゲートトランジスタＧ１がオン状態となり、電荷蓄積部ＣＳ１に電荷が蓄積された期間（蓄積期間Ｔａ）は、「外光蓄積期間」の一例である。
【0058】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態とし、電荷蓄積部ＣＳ３への電荷の蓄積を開始させる。以降の電荷蓄積部ＣＳ３に電荷を蓄積させる処理の流れは、電荷蓄積部ＣＳ１に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。
【0059】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にし、電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷がドレインゲートトランジスタＧＤを介して破棄される。
【0060】
上述したような、垂直走査回路３２３による電荷蓄積部ＣＳへ電荷の蓄積と光電変換素子ＰＤが光電変換した電荷の破棄とが、１フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置１に受光された光量に相当する電荷が、電荷蓄積部ＣＳのそれぞれに蓄積される。水平走査回路３２４は、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号を、距離演算部４２に出力する。
【0061】
光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１には、光パルスＰＯを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部ＣＳ２、及びＣＳ３には、反射光ＲＬ、及び外光成分に相当する電荷量が振り分けられて保持される。電荷蓄積部ＣＳ２、及びＣＳ３に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体Ｓに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。
【0062】
距離演算部４２は、この原理を利用して、以下の（１）式により、遅延時間Ｔｄを算出する。
【0063】
Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１） …（１）
【0064】
ここで、Ｔｏは光パルスＰＯが照射された期間、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。なお、（１）式では、電荷蓄積部ＣＳ２、及びＣＳ３に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。
【0065】
距離演算部４２は、（１）式で求めた遅延時間に、光速（速度）を乗算させることにより、被写体Ｓまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体Ｓまでの距離を求める。
【0066】
ここで、フレア光について図１２Ｂ、図１２Ｃを用いて説明する。
図１２Ｂは、フレア光の概念を説明する図である。
図１２Ｂに示すように、光パルスＰＯを照射し得る測定対象とする測定空間Ｅのうち、距離画像撮像装置１からの距離が比較的遠い位置にある（以下、遠距離にある、などと記載する）物体Ｂが被写体である場合を考える。
図１２Ｂは、フレア光の概念を説明する図である。
図１２Ｂに示すように、光パルスＰＯを照射し得る測定対象とする測定空間Ｅのうち、距離画像撮像装置１からの距離が比較的遠い位置にある（以下、遠距離にある、などと記載する）物体Ｂが被写体である場合を考える。
【0067】
被写体までの距離が遠距離である場合、距離画像撮像装置１からの距離が比較的近い位置にある物体を測定する場合と比較して反射光ＲＬの光量が低下する。反射光ＲＬの光量が低下すると、測定する距離の精度が劣化する要因となる。このため、被写体までの距離が遠距離である場合には、振り分け回数を増やして露光量（距離画像センサ３２が受光する光量）を増加させ、測定の精度を向上させることが考えられる。
【0068】
しかしながら、図１２Ｂの断面拡大図に示すように、受光された光の一部が、レンズ３１を介して距離画像センサ３２に到達する際に、距離画像撮像装置１内で多重反射する場合がある。この場合、物体からの反射光が本来の結像する位置とは異なる位置に光（フレア光）が受光されてしまう。このようなフレア光が、測定の精度を劣化させる要因となり得る。
【0069】
特に、遠距離にある被写体（物体Ｂ）とは別に、距離画像撮像装置１との距離が比較的近い位置（以下、近距離などという）に別の物体Ａがある場合、露光量を増やすと、物体Ａからの反射光ＲＬの光量が増大する。この場合、物体Ａからの反射光ＲＬに由来するフレア光の光量が大きくなり、測定の精度を大きく劣化させる要因となってしまう。
【0070】
図１２Ｃは、従来の測定においてフレア光が受光された場合を説明する図である。図１２Ｃにおける「ＦＬＡＲＥ＿Ａ」は、物体Ａ（近距離にある物体）からの反射光等に由来するフレア光を示す。「ＲＥＦＲＥＣＴＩＯＮ＿Ｂ」は、物体Ｂ（遠距離にある被写体）からの反射光を示す。その他、「Ｌｉｇｈｔ」等の項目は、図１２Ａと同様であるためその説明を省略する。
【0071】
図１２Ｃに示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｂ遅れてフレア光が、遅延時間Ｔｄ遅れて反射光ＲＬが、それぞれ距離画像センサ３２に受光されるとする。この場合、電荷蓄積部ＣＳ２、及びＣＳ３には、反射光ＲＬ、及び外光成分に相当する電荷量に加え、フレア光に相当する電荷量が蓄積される。このような、フレア光が混在する電荷量に（１）式を適用させたとしても、精度よく距離を演算することは困難である。
【0072】
この対策として、本実施形態では、複数の測定モードを規定する。測定モードのそれぞれは、光パルスＰＯの照射タイミングに対し、電荷を電荷蓄積部に振り分けるタイミングを互いに異なるタイミングとする。
【0073】
例えば、測定モードは、測定対象とする距離の範囲に応じて規定される。測定対象とする距離の範囲とは、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間Ｔｄに応じて演算される距離に応じて区分される。距離の範囲は、例えば、距離画像撮像装置１からの距離に応じて区分される、遠距離と中距離と近距離との３つの範囲である。例えば、光パルスＰＯの照射時間Ｔｏが１０ｎｓである場合、近距離は概ね０～７５ｃｍ、中距離は概ね７５ｃｍ～２．２５ｍ、遠距離は概ね２．２５ｍ以上となる範囲である。
【0074】
また、測定モードは、フレア光に対する対策を講じるか否かに応じて規定される。被写体とは異なる物体が近距離に存在する場合、フレア光に対する対策を講じるものとする。一方、被写体とは異なる物体が近距離に存在しない場合、フレア光に対する対策を講じないものとする。
【0075】
本実施形態では、測定モードとして、例えば、遠距離モード、中距離モード、中距離外光モード、通常モード１（第１通常モード）、通常モード２（第２通常モード）、をそれぞれ規定する。
【0076】
遠距離モードは、近距離に被写体とは別の物体が存在し得る状況において、遠距離にある被写体までの距離を精度よく測定するモードである。すなわち、遠距離モードは、遠距離にある被写体に対し、フレア光に対する対策を講じて測定を行うモードである。
【0077】
中距離モードは、近距離に被写体とは別の物体が存在し得る状況において、中距離にある被写体までの距離を精度よく測定するモードである。すなわち、中距離モードは、中距離にある被写体に対し、フレア光に対する対策を講じて測定を行うモードである。
【0078】
中距離外光モードは、中距離モードにおいて測定を行う際の、外光に相当する電荷量を測定するモードである。中距離外光モードは、中距離モードで測定する際、外光を考慮する場合に用いられるモードである。
【0079】
通常モード１は、近距離に被写体とは別の物体が存在しないと想定される状況において、遠距離にある被写体までの距離を測定するモードである。すなわち、通常モード１は、遠距離にある被写体に対し、フレア光に対する対策を講じないで測定を行うモードである。通常モード１は、従来の測定を行うモードである。
【0080】
通常モード２は、近距離にある物体までの距離を測定するモードである。通常モード２は、従来の測定を行うモードであり、通常モード１よりも露光量を抑えた（すなわち、振り分け回数が少ない）モードである。
以下、遠距離モード、中距離モード、及び中距離外光モードについて順に説明する。
以下、遠距離モード、中距離モード、及び中距離外光モードについて順に説明する。
【0081】
（遠距離モード）
まず、遠距離モードについて図４を用いて説明する。図４は、第１の実施形態の遠距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。図４における「Ｃａｍｅｒａ」の項目では、「Ｇ１」から「Ｇ２」に至る間において、ドレインゲートトランジスタＧＤがオン状態となるタイミングを「ＧＤ２」で示している。その他の「Ｌｉｇｈｔ」等の項目については、図１２Ｃと同様であるため、その説明を省略する。
まず、遠距離モードについて図４を用いて説明する。図４は、第１の実施形態の遠距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。図４における「Ｃａｍｅｒａ」の項目では、「Ｇ１」から「Ｇ２」に至る間において、ドレインゲートトランジスタＧＤがオン状態となるタイミングを「ＧＤ２」で示している。その他の「Ｌｉｇｈｔ」等の項目については、図１２Ｃと同様であるため、その説明を省略する。
【0082】
図４の例に示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｂ遅れてフレア光が、遅延時間Ｔｄ遅れて反射光ＲＬが、それぞれ距離画像センサ３２に受光されるとする。
【0083】
遠距離モードでは、被写体である物体Ｂとフレア光が生じる要因となる物体Ａとで、距離画像撮像装置１からの距離が離れている状況を想定している。すなわち、遅延時間Ｔｂと比較して、遅延時間Ｔｄとが大きく、フレア光と反射光ＲＬとが、同時に受光されることがないことを前提とする。遠距離モードでは、上記を前提とした上で、光パルスＰＯが照射されるタイミングと、電荷蓄積部ＣＳに電荷を蓄積するタイミングとを調整することにより、フレア光に由来する電荷を蓄積しないようにする。
【0084】
具体的に、まず、垂直走査回路３２３は、光パルスＰＯが照射されるタイミングに先んじて、蓄積期間Ｔａの間、読み出しゲートトランジスタＧ１をオン状態にし、電荷蓄積部ＣＳ１に、外光に相当する電荷を蓄積させる。
【0085】
次に、垂直走査回路３２３は、ドレインゲートトランジスタＧＤをオン状態にし、電荷の排出を行う。これにより、光電変換素子ＰＤが光電変換した電荷が破棄（排出）されるようにして、この間に受光したフレア光が電荷蓄積部ＣＳに蓄積されないようにする。
【0086】
垂直走査回路３２３は、少なくともフレア光が受光される期間（フレア光受光期間）を、光電変換された電荷が破棄（排出）される期間、つまり電荷が蓄積されない「非蓄積期間」とする。
遠距離モードにおいて、「フレア光受光期間」と、「反射光受光期間」は、互いに重複しない期間である。
「フレア光受光期間」とは、光パルスＰＯの照射が開始された時間から遅延時間Ｔｂだけ遅れた時間から始まり、光パルス照射時間Ｔｏ（照射期間）経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスＰＯの照射時間Ｔｏから遅延時間Ｔｂ、遅れた期間である。ここで、遅延時間Ｔｂは「パルス光遅延時間」の一例である。
「反射光受光期間」は、光パルスＰＯの照射が開始された時間から遅延時間Ｔｄだけ遅れた時間から始まり、光パルス照射時間Ｔｏ（照射期間）までの期間である。つまり、「反射光受光期間」は、光パルスＰＯの照射時間Ｔｏから遅延時間Ｔｄ、遅れた期間である。ここで、遅延時間Ｔｄは「反射光遅延時間」の一例である。
遠距離モードにおいて、「フレア光受光期間」と、「反射光受光期間」は、互いに重複しない期間である。
「フレア光受光期間」とは、光パルスＰＯの照射が開始された時間から遅延時間Ｔｂだけ遅れた時間から始まり、光パルス照射時間Ｔｏ（照射期間）経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスＰＯの照射時間Ｔｏから遅延時間Ｔｂ、遅れた期間である。ここで、遅延時間Ｔｂは「パルス光遅延時間」の一例である。
「反射光受光期間」は、光パルスＰＯの照射が開始された時間から遅延時間Ｔｄだけ遅れた時間から始まり、光パルス照射時間Ｔｏ（照射期間）までの期間である。つまり、「反射光受光期間」は、光パルスＰＯの照射時間Ｔｏから遅延時間Ｔｄ、遅れた期間である。ここで、遅延時間Ｔｄは「反射光遅延時間」の一例である。
【0087】
次に、垂直走査回路３２３は、ドレインゲートトランジスタＧＤをオフ状態に戻したタイミングで、読み出しゲートトランジスタＧ２、及びＧ３を、順に、蓄積期間Ｔａの間、オン状態とし、反射光ＲＬを電荷蓄積部ＣＳ２、ＣＳ３に振り分けて蓄積させる。これにより、電荷蓄積部ＣＳ１には外光に相当する電荷が蓄積され、電荷蓄積部ＣＳ２、ＣＳ３には反射光ＲＬと外光に相当する電荷が蓄積される。したがって、遠距離モードにおいては、電荷蓄積部ＣＳ１～ＣＳ３が蓄積した電荷量に相当する電気信号に（１）式を適用することで、フレア光に影響されることなく、距離を演算することができる。
【0088】
図４の例では、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態とした時点から、光パルスＰＯの照射が開始された時点より期間ＴＸ経過するまでの間、ドレインゲートトランジスタＧＤをオン状態とする。期間ＴＸは、照射時間Ｔｏと遅延時間Ｔｂの合計の値以上、且つ遅延時間Ｔｄ以下（（Ｔｏ＋Ｔｂ）≦ＴＸ≦Ｔｄの期間である。
【0089】
このように、遠距離モードでは、フレア光が受光される期間に電荷が蓄積されないように、且つ、反射光が受光される期間に電荷が蓄積されるように蓄積タイミングを制御する。これにより、近距離に被写体とは異なる別の物体Ａが存在し得る状況であっても、遠距離にある物体Ｂまでの距離を精度よく測定することが可能となる。
【0090】
（中距離モード）
次に、中距離モードについて図５Ａ、及び図５Ｂを用いて説明する。図５Ａ、図５Ｂは、第１の実施形態の中距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。図５Ａ、図５Ｂにおける「Ｌｉｇｈｔ」等の項目については、図１２Ｃと同様であるため、その説明を省略する。
次に、中距離モードについて図５Ａ、及び図５Ｂを用いて説明する。図５Ａ、図５Ｂは、第１の実施形態の中距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。図５Ａ、図５Ｂにおける「Ｌｉｇｈｔ」等の項目については、図１２Ｃと同様であるため、その説明を省略する。
【0091】
なお、中距離モードは、後述するように、外光のみに相当する電荷を蓄積させる電荷蓄積部ＣＳを有していない。つまり、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に含まれる外光成分を抽出し、外光成分を除去した上で距離を算出することができない。このため、外光成分が距離を演算した結果に与える影響が比較的小さい環境、例えば外光の光量が小さい環境において、中距離モード単独で測定を行うことが可能となる。外光の光量が大きく、外光成分を除去しなければ、距離の演算精度が劣化してしまう環境では、後述する中距離外光モードにて、或いは任意の方法にて外光を受光し、１フレーム分の外光に相当する電荷量を別途求めた上で距離を算出する必要がある。
【0092】
図５Ａの例に示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｂ遅れてフレア光が、遅延時間Ｔｄ遅れて反射光ＲＬが、それぞれ距離画像センサ３２に受光されるとする。
【0093】
中距離モードでは、遠距離モードと比較して、被写体である物体Ｂと、フレア光が生じる要因となる物体Ａとで、距離画像撮像装置１からの距離が近い状況を想定している。すなわち、遅延時間Ｔｂと、遅延時間Ｔｄとの差が、遠距離モードにおいて想定されている差と比較して小さい値であり、フレア光と反射光ＲＬとが、同時に受光される期間が存在することを前提とする。中距離モードでは、上記を前提とした上で、光パルスＰＯが照射されるタイミングと、電荷蓄積部ＣＳに電荷を蓄積するタイミングとを調整することにより、フレア光に由来する電荷量を抽出できるようにする。
【0094】
垂直走査回路３２３は、フレア光に相当する電荷が、電荷蓄積部ＣＳ１、及びＣＳ２に振り分けられて（跨って）蓄積されるようにする。また、垂直走査回路３２３は、反射光ＲＬに相当する電荷が、電荷蓄積部ＣＳ２、及びＣＳ３に振り分けられて蓄積されるようにする。つまり、垂直走査回路３２３は、「フレア光受光期間」に受光部３に入射された光量に相当する電荷を、電荷蓄積部ＣＳ１、及びＣＳ２に振り分けて蓄積させる。また、垂直走査回路３２３は、「反射光受光期間」に受光部３に入射された光量に相当する電荷を、電荷蓄積部ＣＳ２、及びＣＳ３に振り分けて蓄積させる。
中距離モードにおいて、「フレア光受光期間」と「反射光受光期間」とは、少なくとも一部が互いに重複する。
「フレア光受光期間」とは、光パルスＰＯの照射が開始された時間から遅延時間Ｔｂだけ遅れた時間から始まり、光パルス照射時間Ｔｏ（照射期間）経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスＰＯの照射時間Ｔｏから遅延時間Ｔｂ、遅れた期間である。ここで、遅延時間Ｔｂは「パルス光遅延時間」の一例である。
「反射光受光期間」は、光パルスＰＯの照射が開始された時間から遅延時間Ｔｄだけ遅れた時間から始まり、光パルス照射時間Ｔｏ（照射期間）までの期間である。つまり、「反射光受光期間」は、光パルスＰＯの照射時間Ｔｏから遅延時間Ｔｄ、遅れた期間である。ここで、遅延時間Ｔｄは「反射光遅延時間」の一例である。
中距離モードにおいて、「フレア光受光期間」と「反射光受光期間」とは、少なくとも一部が互いに重複する。
「フレア光受光期間」とは、光パルスＰＯの照射が開始された時間から遅延時間Ｔｂだけ遅れた時間から始まり、光パルス照射時間Ｔｏ（照射期間）経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスＰＯの照射時間Ｔｏから遅延時間Ｔｂ、遅れた期間である。ここで、遅延時間Ｔｂは「パルス光遅延時間」の一例である。
「反射光受光期間」は、光パルスＰＯの照射が開始された時間から遅延時間Ｔｄだけ遅れた時間から始まり、光パルス照射時間Ｔｏ（照射期間）までの期間である。つまり、「反射光受光期間」は、光パルスＰＯの照射時間Ｔｏから遅延時間Ｔｄ、遅れた期間である。ここで、遅延時間Ｔｄは「反射光遅延時間」の一例である。
【0095】
具体的に、垂直走査回路３２３は、まず、読み出しゲートトランジスタＧ１をオン状態にして、電荷蓄積部ＣＳ１への電荷の蓄積を行う。
光源部２は、読み出しゲートトランジスタＧ１がオン状態に変化した時点から、期間ＴＹ経過した時点で、光パルスＰＯの照射を開始する。光パルスＰＯの照射が開始された時点（照射開始時）から遅延時間Ｔｂ経過した時点で、フレア光が距離画像撮像装置１に到達し、フレア光が受光され始める。
光源部２は、読み出しゲートトランジスタＧ１がオン状態に変化した時点から、期間ＴＹ経過した時点で、光パルスＰＯの照射を開始する。光パルスＰＯの照射が開始された時点（照射開始時）から遅延時間Ｔｂ経過した時点で、フレア光が距離画像撮像装置１に到達し、フレア光が受光され始める。
【0096】
垂直走査回路３２３は、光パルスＰＯの照射が開始された時点から期間ＴＺ経過するまで、読み出しゲートトランジスタＧ１をオン状態にして、電荷蓄積部ＣＳ１への電荷の蓄積を行う。ここで、期間ＴＹと期間ＴＺを合計した値は、蓄積期間Ｔａに相当する期間である。垂直走査回路３２３は、期間ＴＺが、遅延時間Ｔｂ以上（ＴＺ≧Ｔｂ）となるように調整する。これにより、電荷蓄積部ＣＳ１の蓄積期間Ｔａに、フレア光の受光が開始される「フレア光受光開始時」を含めることができ、電荷蓄積部ＣＳ１にフレア光に相当する電荷を蓄積させることができる。
【0097】
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ１への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ２、Ｇ３を、順に、蓄積期間Ｔａの間、オン状態とし、電荷を電荷蓄積部ＣＳ２、ＣＳ３に蓄積させる。これにより、電荷蓄積部ＣＳ１、ＣＳ２にはフレア光と外光に相当する電荷が、振り分けられて蓄積される。また、電荷蓄積部ＣＳ２、ＣＳ３には反射光ＲＬと外光に相当する電荷が振り分けられて蓄積される。
【0098】
距離演算部４２は、電荷蓄積部ＣＳ１に蓄積された、フレア光に相当する電荷量に基づいて、電荷蓄積部ＣＳ２に蓄積された電荷量のうち、フレア光に起因するフレア光成分を抽出する。距離演算部４２は、以下の（２）式により、電荷蓄積部ＣＳ２に蓄積された電荷量のフレア光成分Ｑ２ｆを算出する。
【0099】
Ｑ２ｆ＝Ｋ×Ｑ１ …（２）
【0100】
ここで、Ｑ２ｆは電荷蓄積部ＣＳ２に蓄積された電荷量のうちフレア光成分に相当する電荷量、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｋは定数、を示す。定数Ｋは、電荷蓄積部ＣＳ１の蓄積期間Ｔａが終了したタイミングと、フレア光の受光が開始されたタイミングとの時期的な関係に応じて一意に決定される定数である。
【0101】
ここで、定数Ｋを決定する方法について、図５Ｂを用いて説明する。図５Ｂでは、蓄積期間Ｔａ、及び照射時間Ｔｏが、共に、１３クロック（１３ｃｋ）で構成されている場合の例が示されている。また、図５Ｂでは、中距離モードにおいて、読み出しゲートトランジスタＧ１がオン状態となった時点から、１０クロック（１０ｃｋ）後に光パルスＰＯの照射が開始される例を示している。
【0102】
図５Ｂに示すように、光パルスＰＯの照射が開始された時点から１クロック（Ｔｂ；１ｃｋ）後にフレア光の受光が開始された場合、電荷蓄積部ＣＳ１には、１３クロック分のフレア光のうち２クロック分の受光量に相当する電荷が蓄積される。また、電荷蓄積部ＣＳ２には、１３クロック分のフレア光のうち１１クロック分の受光量に相当する電荷が蓄積される。この場合、以下の（３）式が成立する。
【0103】
Ｑ２ｆ＝１１／２×Ｑ１ｆ …（３）
【0104】
ここで、Ｑ２ｆは電荷蓄積部ＣＳ２に蓄積された電荷量に含まれるフレア光成分の電荷量、である。Ｑ１ｆは、電荷蓄積部ＣＳ１に蓄積された電荷量に含まれるフレア光成分の電荷量、である。外光が所望の距離の演算結果に影響を与えないような環境（例えば、外光の光量が小さい環境）であれば、電荷量Ｑ１ｆは、電荷蓄積部ＣＳ１に蓄積された電荷量、つまり（２）式の電荷量Ｑ１であると見なすことが可能である。また、（３）式の「１１／２」は、（２）式の定数Ｋに相当する。
【0105】
このように、定数Ｋは、電荷蓄積部ＣＳ１の蓄積期間Ｔａが終了するタイミングと、フレア光の受光が開始されるタイミングとの時間的な関係により決定される。フレア光の受光が開始されるタイミングは、近距離にあるフレア光が生じる要因となる物体Ａ（近距離物体）までの距離に応じて決まる。つまり、定数Ｋは、近距離物体までの距離に応じて決定される定数である。
【0106】
距離画像撮像装置１は、近距離物体までの距離を、例えば、通常モード２にて測定する。この場合、距離画像撮像装置１は、中距離モードによる測定の前又は後に、通常モード２にて近距離物体までの距離を測定する。また、この場合、距離画像撮像装置１は、予め、近距離物体までの距離と定数Ｋとを対応づけたテーブルを記憶しておく。
【0107】
そして、距離演算部４２は、通常モード２にて測定した近距離物体までの距離に基づいてテーブルを参照し、測定した近距離物体までの距離に対応する定数Ｋを取得する。距離演算部４２は、取得した定数Ｋ、及び中距離モードで取得した電荷蓄積部ＣＳ１、ＣＳ２の電荷量を（２）式に適用させる。これにより、距離演算部４２は、電荷蓄積部ＣＳ２が蓄積した電荷量に含まれるフレア光成分を抽出することができる。
【0108】
距離演算部４２は、抽出したフレア光成分を、電荷蓄積部ＣＳ２が蓄積した電荷量から差し引くことにより、電荷蓄積部ＣＳ２が蓄積した反射光ＲＬに相当する電荷量を算出する。距離演算部４２は、算出した電荷量を（１）式の電荷量Ｑ２に適用することにより遅延時間Ｔｄを算出し、算出した遅延時間Ｔｄを用いて物体Ｂまでの距離を演算することが可能である。このとき、外光に相当する電荷量（（１）式の電荷量Ｑ１に相当する電荷量）は０(ゼロ)である。このようにして求めた物体Ｂまでの距離には、フレア光成分の影響が除去されているため、フレア光に由来する距離の精度劣化を抑制することが可能である。なお、上述したように、外光の光量が大きい環境では外光に相当する電荷量を除外して距離の演算を行う必要があるため、後述する中距離外光モードにて、或いは任意の方法にて外光を受光し、１フレーム分の外光に相当する電荷量を別途求める必要がある。
【0109】
（中距離外光モード）
次に、中距離外光モードについて、図６を用いて説明する。図６は、第１の実施形態の中距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。図６における「Ｌｉｇｈｔ」等の項目については、図１２Ｃと同様であるため、その説明を省略する。また、図６における光パルスＰＯの照射、フレア光、及び反射光ＲＬの受光のそれぞれのタイミング関係は、図５Ａと同様であるため、その説明を省略する。
次に、中距離外光モードについて、図６を用いて説明する。図６は、第１の実施形態の中距離モードにおける画素３２１を駆動するタイミングを示すタイミングチャートである。図６における「Ｌｉｇｈｔ」等の項目については、図１２Ｃと同様であるため、その説明を省略する。また、図６における光パルスＰＯの照射、フレア光、及び反射光ＲＬの受光のそれぞれのタイミング関係は、図５Ａと同様であるため、その説明を省略する。
【0110】
中距離外光モードでは、電荷蓄積部ＣＳ１をオン状態とするタイミングを、蓄積期間Ｔａ早める点において中距離モードと相違する。一方、中距離外光モードでは、光パルスＰＯを照射するタイミング、及び電荷蓄積部ＣＳ２、ＣＳ３をオン状態とするタイミングを、中距離モードと同じタイミングとする。
【0111】
電荷蓄積部ＣＳ１をオン状態とするタイミングを蓄積期間Ｔａ早めることにより、中距離外光モードでは、電荷蓄積部ＣＳ１に外光に相当する電荷量を蓄積させる。また、光パルスＰＯを照射するタイミング、及び電荷蓄積部ＣＳ２、ＣＳ３をオン状態とするタイミングを、中距離モードと同じタイミングとすることにより、中距離モードと同様の振り分け比率にて、電荷蓄積部ＣＳ２にフレア光と反射光ＲＬに相当する電荷を蓄積させると共に、電荷蓄積部ＣＳ３に反射光ＲＬに相当する電荷を蓄積させる。
【0112】
（中距離モードによる距離算出方法）
ここで、中距離モード、及び中距離外光モードの測定結果を用いて、中距離にある被写体としての物体Ｂまでの距離を算出する方法について、図７を用いて説明する。図７は、第１の実施形態の距離画像撮像装置１が、中距離モード、及び中距離外光モードの測定結果を用いて距離を算出する処理を説明する図である。
ここで、中距離モード、及び中距離外光モードの測定結果を用いて、中距離にある被写体としての物体Ｂまでの距離を算出する方法について、図７を用いて説明する。図７は、第１の実施形態の距離画像撮像装置１が、中距離モード、及び中距離外光モードの測定結果を用いて距離を算出する処理を説明する図である。
【0113】
図７に示すように、距離画像撮像装置１は、中距離モードによる１フレーム分の測定（処理Ｆ１）、及び中距離外光モードによる１フレーム分の測定（処理Ｆ２）を交互に繰り返す。
距離画像撮像装置１は、処理Ｆ１による処理結果のうち少なくとも電荷量Ｑ１ｇｆをフレームメモリに記憶させ、中距離モードによる測定結果を一時的に保持する（処理Ｆ４）。処理Ｆ１による処理結果には、１フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Ｑ１ｇｆ、１フレーム分の振り分け比率に応じたフレア光及び反射光ＲＬと外光に相当する電荷量Ｑ２ｇｒｆ、及び１フレーム分の振り分け比率に応じた反射光ＲＬと外光に相当する電荷量Ｑ３ｇｒを含む。
距離画像撮像装置１は、処理Ｆ１による処理結果のうち少なくとも電荷量Ｑ１ｇｆをフレームメモリに記憶させ、中距離モードによる測定結果を一時的に保持する（処理Ｆ４）。処理Ｆ１による処理結果には、１フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Ｑ１ｇｆ、１フレーム分の振り分け比率に応じたフレア光及び反射光ＲＬと外光に相当する電荷量Ｑ２ｇｒｆ、及び１フレーム分の振り分け比率に応じた反射光ＲＬと外光に相当する電荷量Ｑ３ｇｒを含む。
【0114】
距離画像撮像装置１は、処理Ｆ２による処理結果のうち少なくとも電荷量Ｑ１ｇをフレームメモリに記憶させ、中距離外光モードによる測定結果を一時的に保持する（処理Ｆ３）。処理Ｆ２による処理結果には、１フレーム分の外光に相当する電荷量Ｑ１ｇ、１フレーム分の振り分け比率に応じたフレア光及び反射光ＲＬと外光に相当する電荷量Ｑ２ｇｒｆ、及び１フレーム分の振り分け比率に応じた反射光ＲＬと外光に相当する電荷量Ｑ３ｇｒを含む。
【0115】
距離画像撮像装置１は、処理Ｆ３による処理結果と、処理Ｆ１による処理結果とを用いて、中距離モードと中距離外光モードとの二つの測定結果を合成する（処理Ｆ５）。
フレームメモリに、処理Ｆ３による処理結果のうち、中距離外光モードの電荷量Ｑ１ｇのみが記憶されている場合、当該電荷量Ｑ１ｇと、処理Ｆ１による処理結果としての中距離モードの電荷量Ｑ１ｇｆ、電荷量Ｑ２ｇｒｆ、及び、電荷量Ｑ３ｇｒを用いて合成を行う。
フレームメモリに、中距離外光モードの電荷量Ｑ１ｇ、電荷量Ｑ２ｇｒｆ、及び、電荷量Ｑ３ｇｒが記憶されている場合には、当該電荷量Ｑ１ｇ、Ｑ２ｇｒｆ、Ｑ３ｇｒ、及び、中距離モードの電荷量Ｑ１ｇｆを用いて合成を行う。
或いは、フレームメモリに、中距離外光モードの電荷量Ｑ１ｇ、電荷量Ｑ２ｇｒｆ、及び、電荷量Ｑ３ｇｒが記憶されている場合において、中距離モードの電荷量Ｑ１ｇｆ、電荷Ｑ２ｇｒｆ、及び、電荷量Ｑ３ｇｒを用いて合成を行うようにしてもよい。この場合、処理Ｆ５による合成結果には、中距離外光モードによる１フレーム分の外光に相当する電荷量Ｑ１ｇ、中距離モードによる１フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Ｑ１ｇｆ、中距離モードと中距離外光モードによる２フレーム分の振り分け比率に応じたフレア光及び反射光ＲＬと外光に相当する電荷量を合成（例えば、平均）した値、及び、中距離モードと中距離外光モード２フレーム分の振り分け比率に応じた反射光ＲＬと外光に相当する電荷量を合成（例えば、平均）した値が含まれる。
フレームメモリに、処理Ｆ３による処理結果のうち、中距離外光モードの電荷量Ｑ１ｇのみが記憶されている場合、当該電荷量Ｑ１ｇと、処理Ｆ１による処理結果としての中距離モードの電荷量Ｑ１ｇｆ、電荷量Ｑ２ｇｒｆ、及び、電荷量Ｑ３ｇｒを用いて合成を行う。
フレームメモリに、中距離外光モードの電荷量Ｑ１ｇ、電荷量Ｑ２ｇｒｆ、及び、電荷量Ｑ３ｇｒが記憶されている場合には、当該電荷量Ｑ１ｇ、Ｑ２ｇｒｆ、Ｑ３ｇｒ、及び、中距離モードの電荷量Ｑ１ｇｆを用いて合成を行う。
或いは、フレームメモリに、中距離外光モードの電荷量Ｑ１ｇ、電荷量Ｑ２ｇｒｆ、及び、電荷量Ｑ３ｇｒが記憶されている場合において、中距離モードの電荷量Ｑ１ｇｆ、電荷Ｑ２ｇｒｆ、及び、電荷量Ｑ３ｇｒを用いて合成を行うようにしてもよい。この場合、処理Ｆ５による合成結果には、中距離外光モードによる１フレーム分の外光に相当する電荷量Ｑ１ｇ、中距離モードによる１フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Ｑ１ｇｆ、中距離モードと中距離外光モードによる２フレーム分の振り分け比率に応じたフレア光及び反射光ＲＬと外光に相当する電荷量を合成（例えば、平均）した値、及び、中距離モードと中距離外光モード２フレーム分の振り分け比率に応じた反射光ＲＬと外光に相当する電荷量を合成（例えば、平均）した値が含まれる。
【0116】
距離画像撮像装置１は、処理Ｆ４による処理結果と、処理Ｆ２による処理結果とを用いて、中距離モードと中距離外光モードとの二つの測定結果を合成する（処理Ｆ６）。処理Ｆ６による合成結果には、処理Ｆ５による合成結果と同様の結果が含まれる。
【0117】
距離画像撮像装置１は、処理Ｆ５（又は処理Ｆ６）により算出した合成結果を、以下の（４）式を適用することにより、光パルスＰＯが物体Ｂに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄを算出する。
【0118】
Ｔｄ＝Ｔｏ×Ｑ３ｒ／（Ｑ２ｒ＋Ｑ３ｒ） …（４）
【0119】
ここで、Ｔｏは光パルスＰＯが照射された期間、Ｑ３ｒは、電荷蓄積部ＣＳ３に蓄積された電荷量Ｑ３のうちの反射光成分であり、Ｑ２ｒは、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２のうちの反射光成分を示す。
【0120】
電荷量Ｑ３ｒは、電荷蓄積部ＣＳ３に蓄積された電荷量Ｑ３のうちの外光成分の電荷量をＱ３ｇとすると、以下の（５）式により示される。
【0121】
Ｑ３ｒ＝Ｑ３－Ｑ３ｇ …（５）
【0122】
電荷量Ｑ２ｒは、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２のうちの外光成分の電荷量をＱ２ｇ、フレア光成分をＱ２ｆとすると、以下の（６）式により示される。
【0123】
Ｑ２ｒ＝Ｑ２－Ｑ２ｇ－Ｑ２ｆ …（６）
【0124】
電荷量Ｑ２ｇ、及び電荷量Ｑ３ｇは、中距離外光モードにて電荷蓄積部ＣＳ１に蓄積された電荷量と同量である。また、電荷量Ｑ２ｆは、中距離モードにて抽出された電荷蓄積部ＣＳ１に蓄積された電荷量のうちのフレア光成分の定数Ｋ倍である。
【0125】
（中距離外光モードの変形例）
ここで、中距離外光モードの変形例について説明する。本変形例では、図１２Ａに示すような従来の測定タイミングにて、光パルスＰＯを照射させずに測定を行う。これにより、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに、外光の光量に相当する１フレーム分の電荷を蓄積させることができる。室内など、屋外と比較して外光の光量の変化が少ない環境で測定を行う場合に、本変形例による測定が行われることが望ましい。また、本変形例による測定を定期的に繰り返し行い、外光の光量が更新されることが望ましい。
ここで、中距離外光モードの変形例について説明する。本変形例では、図１２Ａに示すような従来の測定タイミングにて、光パルスＰＯを照射させずに測定を行う。これにより、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに、外光の光量に相当する１フレーム分の電荷を蓄積させることができる。室内など、屋外と比較して外光の光量の変化が少ない環境で測定を行う場合に、本変形例による測定が行われることが望ましい。また、本変形例による測定を定期的に繰り返し行い、外光の光量が更新されることが望ましい。
【0126】
（定数Ｋの算出方法の変形例）
ここで、定数Ｋの算出方法の変形例について、図８Ａ、及び図８Ｂ（以下図８Ａ等という）を用いて説明する。本変形例では、予め測定した結果を用いて、定数Ｋを算出する。
図８Ａ等は、定数Ｋの算出方法の変形例について説明する図である。図８Ａ等には、画素ごとの測定結果（距離）をヒストグラムにて示している。図８Ａ等の横軸は距離（Ｄｉｓｔａｎｃｅ［ｍ］）、縦軸は画素の数（Ｃｏｕｎｔ）を示している。図８Ａ等では、物体Ｂを壁とし、壁までの距離を測定している。
図８Ａ等には、物体Ｂ（Ｗａｌｌと記載）までの距離を、近距離物体Ａ（Ｏｂｊｅｃｔと記載）が測定領域に存在する場合（Ｗａｌｌ＋Ｏｂｊｅｃｔ）と、存在しない場合（Ｗａｌｌ）との両方で測定した結果が示されている。図８Ａにはフレア光を除去する前（補正なし）の測定結果、図８Ｂにはフレア光を除去した後（フレア補正）の測定結果がそれぞれ示されている。
ここで、定数Ｋの算出方法の変形例について、図８Ａ、及び図８Ｂ（以下図８Ａ等という）を用いて説明する。本変形例では、予め測定した結果を用いて、定数Ｋを算出する。
図８Ａ等は、定数Ｋの算出方法の変形例について説明する図である。図８Ａ等には、画素ごとの測定結果（距離）をヒストグラムにて示している。図８Ａ等の横軸は距離（Ｄｉｓｔａｎｃｅ［ｍ］）、縦軸は画素の数（Ｃｏｕｎｔ）を示している。図８Ａ等では、物体Ｂを壁とし、壁までの距離を測定している。
図８Ａ等には、物体Ｂ（Ｗａｌｌと記載）までの距離を、近距離物体Ａ（Ｏｂｊｅｃｔと記載）が測定領域に存在する場合（Ｗａｌｌ＋Ｏｂｊｅｃｔ）と、存在しない場合（Ｗａｌｌ）との両方で測定した結果が示されている。図８Ａにはフレア光を除去する前（補正なし）の測定結果、図８Ｂにはフレア光を除去した後（フレア補正）の測定結果がそれぞれ示されている。
【0127】
図８Ａに示すように、物体Ｂのみ（Ｗａｌｌ）の測定では、距離１．２ｍ付近に、ヒストグラムのピークが現れる。すなわち、物体Ｂまでの距離は、１．２ｍ付近である。
一方、物体Ｂと近距離物体（Ｗａｌｌ＋Ｏｂｊｅｃｔ）の測定では、近距離物体までの距離（０．３ｍ～０．４ｍ）を示すピークと、距離１．０ｍ付近のピークが現れる。距離１．０ｍ付近のピークは、物体Ｂの反射光に近距離物体Ａに由来するフレア光が混じることで、物体Ｂまでの距離が実際の距離よりも短く計測されてしまうことを示している。
一方、物体Ｂと近距離物体（Ｗａｌｌ＋Ｏｂｊｅｃｔ）の測定では、近距離物体までの距離（０．３ｍ～０．４ｍ）を示すピークと、距離１．０ｍ付近のピークが現れる。距離１．０ｍ付近のピークは、物体Ｂの反射光に近距離物体Ａに由来するフレア光が混じることで、物体Ｂまでの距離が実際の距離よりも短く計測されてしまうことを示している。
【0128】
図８Ｂでは、図８Ａの１．０ｍ付近のピークが、１．２ｍ付近にシフトするような、定数Ｋを探索し、探索した定数Ｋを用いてフレア光成分を除去した後、距離を演算した結果を示している。このように統計的な手法を用いて定数Ｋを算出することにより、より精度よく距離を演算することが可能となる。
【0129】
ここで、本変形例による効果を、図９Ａ～図９Ｆを用いて説明する。図９Ａ～図９Ｆは、中距離モードによる測定の効果を説明する図である。
図９Ａ、図９Ｂには、物体Ｂのみを撮影した距離画像と、物体Ｂと近距離物体とを撮影した距離画像とを用いて、画素ごとの距離の差分を画素値とした画像（差分画像）が示されている。図９Ａはフレア光成分を除去する前（補正なし）、図９Ｂはフレア光成分を除去した後（フレア補正）の差分画像である。図９Ａ、図９Ｂの横軸は水平方向の画素（Ｐｉｘｅｌ（Ｈ））、縦軸は垂直方向の画素（Ｐｉｘｅｌ（Ｖ））、差分画像の右側には差分値の指標がグレースケールで示され、グレーが明るくなるにしたがい、差分が大きくなることを示している。
なお、符号Ｄ１、Ｄ２については、後述する図で説明する。
図９Ａ、図９Ｂには、物体Ｂのみを撮影した距離画像と、物体Ｂと近距離物体とを撮影した距離画像とを用いて、画素ごとの距離の差分を画素値とした画像（差分画像）が示されている。図９Ａはフレア光成分を除去する前（補正なし）、図９Ｂはフレア光成分を除去した後（フレア補正）の差分画像である。図９Ａ、図９Ｂの横軸は水平方向の画素（Ｐｉｘｅｌ（Ｈ））、縦軸は垂直方向の画素（Ｐｉｘｅｌ（Ｖ））、差分画像の右側には差分値の指標がグレースケールで示され、グレーが明るくなるにしたがい、差分が大きくなることを示している。
なお、符号Ｄ１、Ｄ２については、後述する図で説明する。
【0130】
図９Ａに示すように、補正を行わない場合、物体Ｂ（壁）全体が明るいグレーとなり、距離に差分があることが示されている。特に、近距離物体の周辺（近距離物体の左右方向、及び下側）の領域において、より明るいグレーとなっており、この領域における距離の差分が大きく算出されている。一方、図９Ｂに示すように、フレア補正を行った場合、物体Ｂ（壁）全体が暗いグレーとなり、距離の差分が全体的にゼロに近づいている。
【0131】
図９Ｃ、図９Ｄには、図９Ａ、図９Ｂの垂直方向断面（符号Ｄ１）の画素と距離との関係を示している。図９Ｃはフレア光成分を除去する前（補正なし）、図９Ｄはフレア光成分を除去した後（フレア補正）の距離画像を用いた結果を示している。図９Ｃ、図９Ｄの横軸は画素（Ｐｉｘｅｌ）、縦軸は距離（Ｄｉｓｔａｎｃｅ［ｍ］）を示している。
【0132】
図９Ｃに示すように、補正を行わない場合、近距離物体Ａがない場合（点線）と、近距離物体Ａがある場合（実線）とで３０ｃｍ～４０ｃｍの差分が発生している。一方、図９Ｄに示すように、フレア補正を行った場合、近距離物体Ａがない場合（点線）と、近距離物体Ａがある場合（実線）とが近距離物体が存在しない領域においてほとんど重なり、差分が低減されている。
【0133】
図９Ｅ、図９Ｆには、図９Ａ、図９Ｂの垂直方向断面（符号Ｄ２）の画素と距離との関係を示している。図９Ｅはフレア光成分を除去する前（補正なし）、図９Ｆはフレア光成分を除去した後（フレア補正）の距離画像を用いた結果を示している。図９Ｅ、図９Ｆの横軸は画素（Ｐｉｘｅｌ）、縦軸は距離（Ｄｉｓｔａｎｃｅ［ｍ］）を示している。
【0134】
図９Ｅに示すように、補正を行わない場合、近距離物体Ａがない場合（点線）と、近距離物体Ａがある場合（実線）とで３０ｃｍ～４０ｃｍの差分が発生し、特に、近距離物体Ａの位置（６０Ｐｉｘｅｌ近傍）に近づくにつれ、差分が大きくなっている。一方、図９Ｆに示すように、フレア補正を行った場合、近距離物体Ａがない場合（点線）と、近距離物体Ａがある場合（実線）とがほとんど重なり、近距離物体Ａに近い領域であっても差分大きくなることがない。
【0135】
ここで、第１の実施形態の距離画像撮像装置１における処理の流れを、図１０を用いて説明する。
ステップＳ１００：
距離画像撮像装置１は、まず、通常モード１にて測定を行う。距離画像撮像装置１は、測定結果（被写体である物体Ｂまでの距離ＤＢ、及び電荷蓄積部ＣＳに蓄積された電荷量など）を記憶する。
ステップＳ１０１：
距離画像撮像装置１は、通常モード１の測定結果から、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２にフレア光成分が有るか否かを判定する。距離画像撮像装置１は、電荷量Ｑ２（例えば、全画素における電荷量Ｑ２の平均値）が予め定めた所定の閾値以上である場合、電荷量Ｑ２にフレア光成分が有ると判定する。距離画像撮像装置１は、電荷量Ｑ２にフレア光成分が有ると判定した場合、ステップＳ１０２の処理を行う。一方、距離画像撮像装置１は、電荷量Ｑ２にフレア光成分がないと判定した場合、ステップＳ１００に戻り、通常モード１による測定を継続する。
ステップＳ１００：
距離画像撮像装置１は、まず、通常モード１にて測定を行う。距離画像撮像装置１は、測定結果（被写体である物体Ｂまでの距離ＤＢ、及び電荷蓄積部ＣＳに蓄積された電荷量など）を記憶する。
ステップＳ１０１：
距離画像撮像装置１は、通常モード１の測定結果から、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２にフレア光成分が有るか否かを判定する。距離画像撮像装置１は、電荷量Ｑ２（例えば、全画素における電荷量Ｑ２の平均値）が予め定めた所定の閾値以上である場合、電荷量Ｑ２にフレア光成分が有ると判定する。距離画像撮像装置１は、電荷量Ｑ２にフレア光成分が有ると判定した場合、ステップＳ１０２の処理を行う。一方、距離画像撮像装置１は、電荷量Ｑ２にフレア光成分がないと判定した場合、ステップＳ１００に戻り、通常モード１による測定を継続する。
【0136】
ステップＳ１０２：
距離画像撮像装置１は、通常モード２にて測定を行う。通常モード２では、通常モード１と比較して振り分け回数を減らし、露光量を抑えているため遠距離の被写体の距離は測定されず（測定することができず）、近距離物体Ａまでの距離のみが測定される。距離画像撮像装置１は、測定結果（近距離物体Ａまでの距離ＤＡなど）を記憶させる。
距離画像撮像装置１は、通常モード２にて測定を行う。通常モード２では、通常モード１と比較して振り分け回数を減らし、露光量を抑えているため遠距離の被写体の距離は測定されず（測定することができず）、近距離物体Ａまでの距離のみが測定される。距離画像撮像装置１は、測定結果（近距離物体Ａまでの距離ＤＡなど）を記憶させる。
【0137】
ステップＳ１０３：
距離画像撮像装置１は、フレア光成分を除去するための再度の測定を、遠距離モードにて行うか、中距離モードにて行うか判定する。距離画像撮像装置１は、距離ＤＡと距離ＤＢとの距離の差分（絶対値）が、所定の閾値以上である場合、再度の測定を遠距離モードとする。一方、距離画像撮像装置１は、距離ＤＡと距離ＤＢとの距離の差分（絶対値）が、所定の閾値未満である場合、再度の測定を中距離モードとする。距離画像撮像装置１は、再度の測定を遠距離モードとする場合、ステップＳ１０４に示す処理を行う。距離画像撮像装置１は、再度の測定を中距離モードとする場合、ステップＳ１０６に示す処理を行う。
距離画像撮像装置１は、フレア光成分を除去するための再度の測定を、遠距離モードにて行うか、中距離モードにて行うか判定する。距離画像撮像装置１は、距離ＤＡと距離ＤＢとの距離の差分（絶対値）が、所定の閾値以上である場合、再度の測定を遠距離モードとする。一方、距離画像撮像装置１は、距離ＤＡと距離ＤＢとの距離の差分（絶対値）が、所定の閾値未満である場合、再度の測定を中距離モードとする。距離画像撮像装置１は、再度の測定を遠距離モードとする場合、ステップＳ１０４に示す処理を行う。距離画像撮像装置１は、再度の測定を中距離モードとする場合、ステップＳ１０６に示す処理を行う。
【0138】
ステップＳ１０４：
距離画像撮像装置１は、遠距離モードにて測定を行う。遠距離モードでの測定は、例えば、通常モード１の振り分け回数と同じ振り分け回数にて行う。
ステップＳ１０５：
距離画像撮像装置１は、遠距離モードを所定のフレーム数（例えば、３０フレーム分）繰り返した後、近距離物体Ａが存在し続けているか否か判定する。これは、近距離物体Ａが移動体である場合など、近距離物体Ａと被写体との関係が変化した場合に、遠距離モードから、通常モード１に戻すものである。距離画像撮像装置１は、通常モード１の測定結果から、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２にフレア光成分が有るか否かを判定する。フレア光成分が有るか否かの判定は、ステップＳ１０１に示す処理と同様の方法であってよい。距離画像撮像装置１は、電荷量Ｑ２にフレア光成分が有ると判定した場合、ステップＳ１０４の処理に戻り、遠距離モードによる測定を継続する。一方、距離画像撮像装置１は、電荷量Ｑ２にフレア光成分がないと判定した場合、ステップＳ１００に戻り、通常モード１による測定に回帰する。
距離画像撮像装置１は、遠距離モードにて測定を行う。遠距離モードでの測定は、例えば、通常モード１の振り分け回数と同じ振り分け回数にて行う。
ステップＳ１０５：
距離画像撮像装置１は、遠距離モードを所定のフレーム数（例えば、３０フレーム分）繰り返した後、近距離物体Ａが存在し続けているか否か判定する。これは、近距離物体Ａが移動体である場合など、近距離物体Ａと被写体との関係が変化した場合に、遠距離モードから、通常モード１に戻すものである。距離画像撮像装置１は、通常モード１の測定結果から、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２にフレア光成分が有るか否かを判定する。フレア光成分が有るか否かの判定は、ステップＳ１０１に示す処理と同様の方法であってよい。距離画像撮像装置１は、電荷量Ｑ２にフレア光成分が有ると判定した場合、ステップＳ１０４の処理に戻り、遠距離モードによる測定を継続する。一方、距離画像撮像装置１は、電荷量Ｑ２にフレア光成分がないと判定した場合、ステップＳ１００に戻り、通常モード１による測定に回帰する。
【0139】
ステップＳ１０６：
距離画像撮像装置１は、中距離モードにて測定を行う。中距離モードでの測定は、例えば、通常モード１の振り分け回数と同じ振り分け回数にて行う。距離画像撮像装置１は、電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量を記憶し、ステップＳ１０７に示す処理を行う。
距離画像撮像装置１は、中距離モードにて測定を行う。中距離モードでの測定は、例えば、通常モード１の振り分け回数と同じ振り分け回数にて行う。距離画像撮像装置１は、電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量を記憶し、ステップＳ１０７に示す処理を行う。
【0140】
ステップＳ１０７：
距離画像撮像装置１は、中距離モードの測定結果から、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２にフレア光成分が有るか否かを判定する。これは、ステップＳ１０１にてフレア光成分が有ると判定された場合であっても、近距離物体Ａが移動体であり、一時的に測定領域を横切った場合など、中距離モードで再度の測定を行った際にフレア光成分がなくなっていた場合に対応するものである。電荷量Ｑ２にフレア光成分が有るか否かを判定する方法は、ステップＳ１０１と同様である。距離画像撮像装置１は、電荷量Ｑ２にフレア光成分が有ると判定した場合、ステップＳ１０８の処理を行う。一方、距離画像撮像装置１は、電荷量Ｑ２にフレア光成分がないと判定した場合、ステップＳ１０９の処理を行う。
距離画像撮像装置１は、中距離モードの測定結果から、電荷蓄積部ＣＳ２に蓄積された電荷量Ｑ２にフレア光成分が有るか否かを判定する。これは、ステップＳ１０１にてフレア光成分が有ると判定された場合であっても、近距離物体Ａが移動体であり、一時的に測定領域を横切った場合など、中距離モードで再度の測定を行った際にフレア光成分がなくなっていた場合に対応するものである。電荷量Ｑ２にフレア光成分が有るか否かを判定する方法は、ステップＳ１０１と同様である。距離画像撮像装置１は、電荷量Ｑ２にフレア光成分が有ると判定した場合、ステップＳ１０８の処理を行う。一方、距離画像撮像装置１は、電荷量Ｑ２にフレア光成分がないと判定した場合、ステップＳ１０９の処理を行う。
【0141】
ステップＳ１０８：
距離画像撮像装置１は、中距離モードの測定結果（電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量）を用いて、電荷量Ｑ２に含まれるフレア光成分を除去し、物体Ｂまでの距離を算出する。なお、本フローチャートでは記載を省略しているが、距離画像撮像装置１は、中距離モードの測定結果に、中距離外光モードにて測定した外光成分を用いて、物体Ｂまでの距離を算出する。距離画像撮像装置１は、ステップＳ１０６の処理に戻り、中距離モードによる測定を継続する。
距離画像撮像装置１は、中距離モードの測定結果（電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量）を用いて、電荷量Ｑ２に含まれるフレア光成分を除去し、物体Ｂまでの距離を算出する。なお、本フローチャートでは記載を省略しているが、距離画像撮像装置１は、中距離モードの測定結果に、中距離外光モードにて測定した外光成分を用いて、物体Ｂまでの距離を算出する。距離画像撮像装置１は、ステップＳ１０６の処理に戻り、中距離モードによる測定を継続する。
【0142】
ステップＳ１０９：
距離画像撮像装置１は、中距離モードの測定結果（電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量）を用いて、フレア光の電荷量Ｑ２のフレア光成分を除去することなく、物体Ｂまでの距離を算出する。この場合の距離の算出方法は、従来の算出方法と同様である。距離画像撮像装置１は、ステップＳ１００に戻り、通常モード１による測定に回帰する。
距離画像撮像装置１は、中距離モードの測定結果（電荷蓄積部ＣＳ１～ＣＳ３に蓄積された電荷量）を用いて、フレア光の電荷量Ｑ２のフレア光成分を除去することなく、物体Ｂまでの距離を算出する。この場合の距離の算出方法は、従来の算出方法と同様である。距離画像撮像装置１は、ステップＳ１００に戻り、通常モード１による測定に回帰する。
【0143】
なお、上述したフローチャートでは、それぞれの測定モードにおける１回の測定が、１フレーム分の測定結果であってもよいし、複数フレーム分の測定結果を平均（例えば、移動平均）したものであってもよい。
【0144】
以上説明したように、第１の実施形態に係る距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。光源部２は、測定空間Ｅに光パルスＰＯを照射する。受光部３は、入射した光に応じた電荷を発生する光電変換素子ＰＤ、及び前記電荷を蓄積する複数の電荷蓄積部ＣＳを具備する画素と、光パルスＰＯの照射に同期させた所定の蓄積タイミングで、電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる垂直走査回路３２３（画素駆動回路）と、を有する。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、測定空間Ｅに存在する被写体Ｓまでの距離を測定する。距離画像処理部４は、タイミング制御部４１を有する。タイミング制御部４１は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、蓄積タイミングを制御する。これにより、第１の実施形態の距離画像撮像装置１では、測定対象とする距離の範囲に応じて測定モードを選択することができる。このため、遠距離にある物体を測定する際にフレア光の影響がある場合に、蓄積タイミングを変更させてフレア光の影響を低減させることが可能である。したがって、装置内の光学的な構成を変えることなく、また、データベースを用いることなく、フレア現象による影響を抑制することができる。
【0145】
また、第１の実施形態の距離画像撮像装置１では、タイミング制御部４１は、測定モードが遠距離モードである場合、フレア光を受光せず、フレア光の光量に相当する電荷を蓄積しないように、蓄積タイミングを調整する。これにより、フレア光成分の排除を行うことができ、上述した効果と同様の効果を奏する。
【0146】
また、第１の実施形態の距離画像撮像装置１では、タイミング制御部４１は、測定モードが中距離モードである場合、フレア光に相当する電荷が電荷蓄積部ＣＳ１とＣＳ２とに振り分けて蓄積されるように、蓄積タイミングを調整する。これにより、フレア光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
【0147】
また、第１の実施形態の距離画像撮像装置１では、タイミング制御部４１は、測定モードが中距離モードである場合、別途測定した外光に相当する電荷量を用いて外光成分の除去を行う。これにより、フレア光成分の除去及び外光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
【0148】
また、第１の実施形態の距離画像撮像装置１では、タイミング制御部４１は、測定モードが中距離モードである場合、中距離外光モードにて外光に相当する電荷が電荷蓄積部ＣＳに蓄積されるように、蓄積タイミングを調整する。これにより、所謂フレーム合成を行うことにより、容易にフレア光成分の除去及び外光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
【0149】
また、第１の実施形態の距離画像撮像装置１では、距離演算部４２は、測定モードが中距離モードである場合、電荷蓄積部ＣＳ１に蓄積された電荷量に定数Ｋを乗算した値を、電荷蓄積部ＣＳ２に蓄積された電荷量に含まれるフレア光成分とする。これにより、フレア光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
【0150】
また、第１の実施形態の距離画像撮像装置１では、例えば、図１０のフローに示すように、フレア光の有無を判定した結果に応じて、測定モードを動的に変化させながら測定する。これにより、近距離物体が一時的に測定空間Ｅを横切った場合であっても、測定モードを切り替えて再度の測定を行うことができ、上述した効果と同様の効果を奏する。
【0151】
（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、画素が４つの電荷蓄積部ＣＳ１～ＣＳ４を備える点において、上述した実施形態と相違する。
図１１は、第２の実施形態における画素３２１を駆動するタイミングを示すタイミングチャートである。図１１における「Ｌｉｇｈｔ」等の項目については、図１２Ｃと同様であるため、その説明を省略する。また、図１１における光パルスＰＯの照射、フレア光、及び反射光ＲＬの受光のそれぞれのタイミング関係は、図５Ａと同様であるため、その説明を省略する。
次に、第２の実施形態について説明する。本実施形態では、画素が４つの電荷蓄積部ＣＳ１～ＣＳ４を備える点において、上述した実施形態と相違する。
図１１は、第２の実施形態における画素３２１を駆動するタイミングを示すタイミングチャートである。図１１における「Ｌｉｇｈｔ」等の項目については、図１２Ｃと同様であるため、その説明を省略する。また、図１１における光パルスＰＯの照射、フレア光、及び反射光ＲＬの受光のそれぞれのタイミング関係は、図５Ａと同様であるため、その説明を省略する。
【0152】
図１１に示すように、本実施形態では、電荷蓄積部ＣＳ１～ＣＳ４を順にオン状態とすることにより、中距離モードと中距離外光モードとに対応する動作を同時に行う。これにより、電荷蓄積部ＣＳ１には外光の光量に相当する１フレーム分の電荷量が蓄積される。電荷蓄積部ＣＳ２、ＣＳ３には、フレア光の光量に相当する１フレーム分の電荷量が、振り分け比率に応じてそれぞれ蓄積される。電荷蓄積部ＣＳ３、ＣＳ４には、反射光ＲＬの光量に相当する１フレーム分の電荷量が、振り分け比率に応じてそれぞれ蓄積される。
【0153】
距離演算部４２は、電荷蓄積部ＣＳ２に蓄積された電荷量、及び近距離物体までの距離に基づいて定数Ｋを決定する。距離演算部４２は、定数Ｋを用いて、電荷蓄積部ＣＳ３に蓄積された電荷量のうちのフレア光成分を抽出する。距離演算部４２は、抽出したフレア光成分を、電荷蓄積部ＣＳ３から除去することにより、電荷蓄積部ＣＳ３に蓄積された反射光ＲＬに相当する電荷量を算出する。距離演算部４２は、電荷蓄積部ＣＳ３に蓄積された反射光ＲＬに相当する電荷量、及び、電荷蓄積部ＣＳ１、ＣＳ４に蓄積された電荷量を用いて、物体までの距離を演算する。
【0154】
以上説明したように、第２の実施形態に係る距離画像撮像装置１では、画素３２１が４つの電荷蓄積部ＣＳを備える。これにより、中距離モード、及び中距離外光モードによる測定を同時に行うことができ、所謂フレーム合成などの複雑な処理を行わずに、精度よく距離を算出することが可能である。
【0155】
上述した実施形態における距離画像撮像装置１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0156】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0157】
１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図10】
【図11】
【図12A】
【図12B】
【図12C】