特許 7592538 光検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】光検出システム

(51)【国際特許分類】

   G01N 21/49 20060101AFI20241125BHJP

【ＦＩ】

G01N21/49 Z

【請求項の数】 15

(21)【出願番号】P 2021059047

(22)【出願日】2021-03-31

(65)【公開番号】P2022021296

(43)【公開日】2022-02-02

【審査請求日】2024-02-15

(31)【優先権主張番号】P 2020124548

(32)【優先日】2020-07-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】関根 寛

(72)【発明者】

【氏名】森本 和浩

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】国際公開第２０１６／１５８８５６（ＷＯ，Ａ１）

【文献】特開２０１４－１８６０３５（ＪＰ，Ａ）

【文献】特開２０１９－１９２９０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３３１７７５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／９５８

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

光検出システムであって、
複数のダイオードが２次元平面に配された第１の光検出部と、
複数のダイオードが２次元平面に配された第２の光検出部と、
前記第１の光検出部と前記第２の光検出部で取得された、前記２次元平面の光量分布情報と、前記光量分布情報を取得した時間である時間情報とを有するデータを複数備えたデータセットに対して演算処理を行う演算処理部と、を有し、
前記演算処理部は、前記データセットから、観測対象である光の進行方向のベクトルのうち、前記第１の光検出部の前記２次元平面と直交する方向のベクトル成分と、前記第２の光検出部の前記２次元平面と直交する方向のベクトル成分と、を推定する推定部を有することを特徴とする光検出システム。

【請求項2】

前記第１の光検出部または前記第２の光検出部の前記２次元平面と直交する方向のベクトル成分の推定には、３次元の空間情報および時間情報から、前記第１の光検出部または前記第２の光検出部の上の２次元の空間情報及び時間情報を計算するモデルを用いることを特徴とする請求項１に記載の光検出システム。

【請求項3】

前記データセットと、前記モデルを用いて計算した前記第１の光検出部または前記第２の光検出部の上の２次元の空間情報および時間情報とをフィッティングすることにより、前記３次元の空間情報および時間情報を取得し、取得された前記３次元の空間情報および時間情報から、前記第１の光検出部または前記第２の光検出部の前記２次元平面と直交する方向のベクトル成分を推定することを特徴とする請求項２に記載の光検出システム。

【請求項4】

前記演算処理部は、前記フィッティングにより取得された前記３次元の空間情報および時間情報から、画像を構成する画像構成部を有することを特徴とする請求項３に記載の光検出システム。

【請求項5】

前記第１の光検出部から得られた情報の検出精度と、前記第２の光検出部から得られた情報の検出精度を判定することを特徴とする請求項１から４のいずれかに記載の光検出システム。

【請求項6】

光検出システムであって、
複数のダイオードが２次元平面に配された第１の光検出部と、
複数のダイオードが２次元平面に配された第２の光検出部と、
前記第１の光検出部と前記第２の光検出部で取得された、前記２次元平面の光量分布情報と、前記光量分布情報を取得した時間である時間情報とを有するデータを複数備えたデータセットに対して演算処理を行う演算処理部と、を有し、
前記演算処理部は、前記データセットに対して演算処理を行うことにより得られた光の進行方向の情報に基づいて、前記第１の光検出部から得られた情報の検出精度と、前記第２の光検出部から得られた情報の検出精度を取得することを特徴とする光検出システム。

【請求項7】

前記演算処理部は、前記第１の光検出部および前記第２の光検出部で取得された光の進行方向を解析する解析部を有することを特徴とする請求項１から６のいずれかに記載の光検出システム。

【請求項8】

前記演算処理部は、
前記第１の光検出部の前記２次元平面に対する法線方向の単位ベクトルと、
前記第２の光検出部の前記２次元平面に対する法線方向の単位ベクトルと、
前記第１の光検出部または前記第２の光検出部で取得された光の進行方向の単位ベクトルを用いて、前記検出精度を判定することを特徴とする請求項５または６に記載の光検出システム。

【請求項9】

前記第１の光検出部の前記２次元平面に対する法線方向の単位ベクトルと、前記光の進行方向の単位ベクトルとの内積と、
前記第２の光検出部の前記２次元平面に対する法線方向の単位ベクトルと、前記光の進行方向の単位ベクトルとの内積と、を比較することにより、前記検出精度を判定することを特徴とする請求項８に記載の光検出システム。

【請求項10】

前記第１の光検出部で取得された第１の進行方向の光の見かけの速度と、前記第２の光検出部で取得された前記第１の進行方向の光の見かけの速度に基づいて、前記検出精度を判定することを特徴とする請求項８に記載の光検出システム。

【請求項11】

前記検出精度に基づいて、前記第１の光検出部からの情報と、前記第２の光検出部からの情報を統合することを特徴とする請求項５または６に記載の光検出システム。

【請求項12】

前記ダイオードは、アバランシェダイオードであって、
前記第１の光検出部および前記第２の光検出部は、前記アバランシェダイオードの光検出の開始と終了を制御する制御部を有し、
第１のフレームは、光源の照射の開始時刻から、前記制御部により前記アバランシェダイオードの光検出の開始時刻までが第１の期間であり、
第２のフレームは、前記光源の照射の開始時刻から、前記制御部により前記アバランシェダイオードの光検出の開始時刻までが第２の期間であり、
前記第１の期間の長さと、前記第２の期間の長さが異なることを特徴とする請求項１から１１のいずれかに記載の光検出システム。

【請求項13】

前記第１のフレームおよび前記第２のフレームは、前記光源の照射の開始と前記アバランシェダイオードの光検出の開始の動作が繰り返して行われることを特徴とする請求項１２に記載の光検出システム。

【請求項14】

前記アバランシェダイオードに入射する光をカウントするカウンタを有し、
前記制御部は、前記アバランシェダイオードと前記カウンタとの間に設けられているスイッチ、または論理回路であることを特徴とする請求項１２または１３に記載の光検出システム。

【請求項15】

前記アバランシェダイオードに入射する光をカウントするカウンタを有し、
前記制御部は、前記カウンタの動作と非動作を切り替える信号を前記カウンタに入力することを特徴とする請求項１２または１３に記載の光検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、伝搬する光を撮像する光検出システムに関する。

【背景技術】

【0002】

アバランシェ増倍を起こすアバランシェダイオードを用いた光検出部において、受光部に到来する光子の数をデジタル的に計測し、その計数値をデジタル信号として画素から出力する光電変換素子が知られている。このような技術は、シングルフォトンアバランシェダイオード（ＳＰＡＤ：Ｓｉｎｇｌｅ－ｐｈｏｔｏｎ ａｖａｌａｎｃｈｅ ｄｉｏｄｅ）と呼ばれている。

【0003】

ＳＰＡＤは、ピコ秒オーダからナノ秒オーダの時間分解能を有するため、高速撮像技術の１つとして、有効である。非特許文献１では、２次元状に複数のアバランシェダイオードが配されたＳＰＡＤカメラを用いて、光が伝搬する様子の撮影を行っている。具体的には、レーザ光源から出力されたパルスレーザ光は、複数のミラーで反射されるように構成されており、レーザ光が反射する領域を撮像可能とするように、ＳＰＡＤカメラが設けられる。レーザ光源からのパルスレーザ光は、ＳＰＡＤカメラの時間測定の参照クロックと同期されており、ＳＰＡＤカメラは、パルスレーザ光の散乱光を、１フレームあたり約０．７ナノ秒単位で検出する。ＳＰＡＤカメラでは２次元領域、すなわち、ＸＹ平面について散乱光を検出できるため、ＸＹ平面に配置されている各画素で検出された光の時間情報を複数回測定して統計処理すれば、レーザ光の伝搬により生じる散乱光の可視化が可能としている。また、各フレームを時系列的に表示すれば、散乱光の動画を表示することも可能としている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｇａｒｉｅｐｙ，Ｇ．ｅｔ ａｌ．Ｓｉｎｇｌｅ－ｐｈｏｔｏｎ ｓｅｎｓｉｔｉｖｅ ｌｉｇｈｔ－ｉｎ－ｆｌｉｇｈｔ ｉｍａｇｉｎｇ．Ｎａｔ．Ｃｏｍｍｕｎ．６，６０２１（２０１５）．

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１に開示されている技術では、１つのＳＰＡＤカメラしか設けられておらず、取得できる情報が少なかった。

【課題を解決するための手段】

【0006】

本発明の一側面は、光検出システムであって、複数のダイオードが２次元平面に配された第１の光検出部と、複数のダイオードが２次元平面に配された第２の光検出部と、前記第１の光検出部と前記第２の光検出部で取得された、前記２次元平面の光量分布情報と、前記光量分布情報を取得した時間である時間情報とを有するデータを複数備えたデータセットに対して演算処理を行う演算処理部と、を有し、前記演算処理部は、前記データセットから、観測対象である光の進行方向のベクトルのうち、前記第１の光検出部の前記２次元平面と直交する方向のベクトル成分と、前記第２の光検出部の前記２次元平面と直交する方向のベクトル成分と、を推定する推定部を有することを特徴とする。

【0007】

また、本発明の別の側面は、光検出システムであって、複数のダイオードが２次元平面に配された第１の光検出部と、複数のダイオードが２次元平面に配された第２の光検出部と、前記第１の光検出部と前記第２の光検出部で取得された、前記２次元平面の光量分布情報と、前記光量分布情報を取得した時間である時間情報とを有するデータを複数備えたデータセットに対して演算処理を行う演算処理部と、を有し、前記演算処理部は、前記データセットに対して演算処理を行うことにより得られた光の進行方向の情報に基づいて、前記第１の光検出部から得られた情報の検出精度と、前記第２の光検出部から得られた情報の検出精度を取得することを特徴とする。

【発明の効果】

【0008】

本発明によれば、非特許文献１と比較して、多くの情報を取得できる光検出システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る光検出システムのブロック図である。

【図2】実施形態に係る光検出システムの概略図である。

【図3】光速よりも遅い動体と光速で進むパルス光の違いを説明する図である。

【図4】実施形態に係る光検出部の構成図である。

【図5】実施形態に係る光検出部の駆動パルスを説明する図である。

【図6】実施形態に係る演算処理部で行う処理を説明する図である。

【図7】実施形態に係る進行方向解析部、空間情報推定部、画像構成部で行う処理を説明する図である。

【図8】実施形態に係る進行方向解析部、空間情報推定部、画像構成部で行う処理を説明する図である。

【図9】光検出部の配置を示す図である。

【図10】撮像対象空間を示す図である。

【図11】光検出部からの出力画像を示す図である。

【図12】光検出部からの出力画像を示す図である。

【図13】演算処理部で処理された後の出力画像を示す図である。

【図14】光検出部の配置を示す図である。

【発明を実施するための形態】

【0010】

以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。

【0011】

（全体的構成）
図１は、本実施形態に係る光検出システム１００のブロック図である。また、図２は、光検出システム１００の概略図である。

【0012】

光源１１２は、短パルスレーザを照射可能な光源である。たとえば、光源１１２としては、ピコ秒レーザを用いることができる。

【0013】

光検出部１１０（第１の光検出部）と光検出部１１１（第２の光検出部）は、光源１１２から照射されたパルスレーザ光により生じた散乱光を検出する装置である。光検出部１１０、１１１は、光源１１２から照射されたパルスレーザ光を検出してもよい。光検出部１１０、１１１は、２次元平面の方向、すなわち、ＸＹ方向に複数のＳＰＡＤ画素が配置されたＳＰＡＤアレイである。光を高速に検出できるのであれば、検出部１１０、１１１はＳＰＡＤを用いなくてもよい。図２に示すように、例えば、光検出部１１０と光検出部１１１は、４次元イメージング対象空間を挟んで、対向して配置される。

【0014】

タイミング制御部１１６は、光検出部１１０と光検出部１１１による光検出タイミングと、光源１１２の照射タイミングを同期するために設けられている。ここで、「同期」とは、光源１１２の照射タイミングと光検出の開始タイミングとを同時にするのはもちろんのこと、両者のタイミングがずれており、そのずれがタイミング制御部１１６からの制御信号に基づくものである場合も含む。つまり、光源１１２の照射タイミングと、光検出部１１０、１１１の開始タイミングとが、タイミング制御部１１６からの共通の制御信号に基づいて制御されているものを「同期」という。

【0015】

演算処理部１２０は、光検出部１１０、１１１から入力された信号を処理する。演算処理部１２０は、進行方向解析部１２１、空間情報推定部（推定部）１２２、画像構成部１２３を有する。

【0016】

進行方向解析部１２１は、光検出部１１０、１１１から出力される複数フレームの２次元空間の光量分布情報から、パルスレーザ光の進行方向を解析する。すなわち、ｘ（Ｘ方向の情報），ｙ（Ｙ方向の情報），ｔ（時間情報）の情報から、撮像面（ＸＹ平面）における光の進行方向を求め、光の進行方向ごとに光跡をグルーピングする。

【0017】

空間情報推定部１２２は、進行方向解析部１２１により算出されたパルスレーザ光の進行方向ごとに、光の進行方向のうちＺ方向成分の空間情報を推定する。すなわち、ｘ，ｙ，ｔの３次元情報からｘ，ｙ，ｚ，ｔの４次元情報を求める。具体的な推定方法については後述する。

【0018】

画像構成部１２３は、空間情報推定部１２２から入力された４次元情報から所定の次元の情報から所望の画像を構成し、表示部１３０に情報を出力する。例えば、ｘ，ｙ，ｚ，ｔの４次元情報から、ｘ，ｙ，ｚの３次元情報を選択し、ＸＹＺ空間にパルスレーザ光の光跡を構成した情報を出力する。また、画像構成部１２３では、ＸＹＺ空間を座標変換して、所望の角度から光跡を視認できるように情報を処理する機能を有してもよい。画像構成部１２３は、ｘ，ｙ，ｚ，ｔの４次元情報から、ｘ，ｙ，ｔの３次元情報のように、２つの空間情報と時間情報を表示する画像を構成し、表示部１３０に情報を出力してもよい。

【0019】

画像構成部１２３は、光検出部１１０（第１の光検出部）から取得された情報（第１の情報）と、光検出部１１１（第２の光検出部）から取得された情報（第２の情報）の精度を取得して、どちらが高精度かを判定する。

【0020】

例えば、光の進行方向が複数あり、第１の進行方向の光跡の撮像は、光検出部１１０で取得した情報（第１の情報）が、光検出部１１１で取得した情報（第２の情報）よりも精度が高い場合がある。また、第２の進行方向の光跡の撮像は、光検出部１１１で取得した情報（第２の情報）の方が、光検出部１１０で取得した情報（第１の情報）よりも精度が高い場合がある。この状況においては、第１の進行方向の光跡は、光検出部１１０で取得した情報（第１の情報）に基づいて画像を構成し、第２の進行方向の光跡は光検出部１１１で取得した情報（第２の情報）に基づいて画像を構成する。

【0021】

すなわち、画像構成部１２３は、高精度の情報を選択するとともに、高精度の情報を統合して画像を構成する。

【0022】

表示部１３０は、画像構成部１２３から入力された信号に基づいて、画像を表示する。ユーザの操作により、画像構成部１２３から出力される情報を選択し、表示部１３０に画像を表示してもよい。

【0023】

なお、図示していないが、演算処理部１２０には、演算中の情報あるいは演算結果の情報を格納するメモリを有している。

【0024】

ところで、後述するように、演算処理の一形態では、進行方向解析部１２１で、各グループの光跡に対して高精度の情報を取得可能な光検出部を、複数の光検出部から選択することが可能である。この場合、空間情報推定部１２２では、高精度の情報を取得可能な光検出部からの情報に基づいて演算を行う。例えば、上記例であれば、第１の進行方向の光跡は、光検出部１１０で取得した情報（第１の情報）に基づいて、Ｚ方向成分の空間情報を取得し、光検出部１１１で取得した情報（第２の情報）を用いない。逆に、第２の進行方向の光跡は光検出部１１１で取得した情報（第２の情報）に基づいて、Ｚ方向成分の空間情報を取得し、光検出部１１０で取得した情報（第１の情報）は用いない。画像構成部１２３では、空間情報推定部１２２で演算された第１の進行方向の光跡の４次元情報と、第２の進行方向の光跡の４次元情報を統合する。

【0025】

また、上記では、第１の進行方向の光跡と第２の進行方向の光跡という２つの進行方向の光跡の例を示しているが、精度が高いと判定された光検出部からの情報に基づいて、１つの進行方向を有する光跡の分析を行ってもよい。

【0026】

（見かけの速度）
以下、ＸＹ平面の空間情報と時間情報から、Ｚ方向の空間情報を得るために用いる「見かけの速度」について説明する。

【0027】

図３は、光速よりも十分遅い動体の見かけの速度と、光速で進むパルス光との見かけの速度との違いを説明するための図である。

【0028】

図３（Ａ）は、光速よりも十分遅い動体の例として、ボールが移動する例を示している。動体の進む方向と同じ方向に設けられているカメラＣ（θ＝０°）と、動体の進む方向とは逆の方向に設けられているカメラＡ（θ＝１８０°）と、動体の進む方向と直交する方向に設けられているカメラＢ（θ＝９０°）が示されている。

【0029】

図３（Ｂ）は、動体の位置（被写体位置）と、動体からの散乱光を各カメラが検出している時間（検出時間）との関係を示したものである。動体からの散乱光がカメラに到達する間に動体はほぼ動かないため、動体の位置によらず、カメラＡ、Ｂ、Ｃの検出時間は、一緒の傾向を示す。

【0030】

図３（Ｃ）は、動体の進む方向に対するカメラが設けられている角度θと、見かけの速度との関係を示したものである。見かけの速度は、検出時間あたりの動体の移動量となる。図３（Ｂ）から、検出時間あたりの動体の移動量は、一定であるため、見かけの速度も一定となる。図３（Ｃ）は、この関係を示したものである。すなわち、動体の見かけの速度は、各カメラに対する動体の進行方向によらず、一定となる。

【0031】

他方、図３（Ｄ）は、光速で進むパルス光の例を示している。図３（Ａ）と同様に、パルス光の進む方向と同じ方向にカメラＣ（θ＝０°）、パルス光の進む方向とは逆の方向にカメラＡ（θ＝１８０°）、パルス光の進む方向と直交する方向にカメラＢ（θ＝９０°）がそれぞれ設けられている。

【0032】

図３（Ｅ）は、パルス光の位置（被写体位置）と、パルス光によって生じる散乱光が各カメラで検出されている時間（検出時間）との関係を示したものである。所定の位置で発生したパルス光の散乱光がカメラに到達する間に、散乱光を発生するパルス光自体も進むため、異なる位置に設けられているカメラＡ、Ｂ、Ｃの検出時間がそれぞれ異なることとなる。具体的には、カメラＣでは、Ｘ１からＸ４において生じた散乱光は、同時に検出される。他方、カメラＡでは、Ｘ１からＸ４において生じた散乱光は、Ｘ１、Ｘ２、Ｘ３、Ｘ４の順でカメラＡに到達するため、各位置からの散乱光の検出時間は異なる。カメラＢも、カメラＡと同様に、Ｘ１からＸ４において生じた散乱光は、Ｘ１、Ｘ２、Ｘ３、Ｘ４の順でカメラＡに到達するため、各位置からの散乱光の検出時間は異なる。但し、カメラＡが設けられた位置と比較すると、カメラＢが設けられた位置は、散乱光が発生する各地点からの距離がほぼ一定のため、各地点で発生する散乱光のカメラＢの検出時間の間隔は、カメラＡよりも短くなる。この結果、図３（Ｅ）に示すような関係となる。

【0033】

図３（Ｆ）は、パルス光の進む方向に対するカメラが設けられている角度θと、見かけの速度との関係を示したものである。図３（Ｅ）から、見かけの速度、すなわち、検出時間あたりの散乱光の移動量は、各カメラにおいて異なる。具体的には、カメラＢ（θ＝９０°）で検出される散乱光の見かけの速度は、カメラＡ（θ＝１８０°）よりも大きくなる。また、カメラＣ（θ＝０°）で検出される散乱光の見かけの速度は、無限大となる。図３（Ｆ）は、この関係を示したものである。すなわち、各カメラで観測されるパルス光の見かけの速度は、各カメラに対するパルス光の進行方向によって変化する。

【0034】

以上より、カメラにより観測される光の進行方向の速度を解析することにより、新たな次元の光の進行方向のベクトルを見積もることが可能となる。具体的には、カメラの光検出部で取得されたＸＹ平面（２次元平面）の光量分布情報と、この光量分布情報を取得した時間である時間情報とを複数備えたデータセットから、Ｚ方向（２次元平面と直交する方向）の情報を推定することが可能となる。これにより、３次元の時空間情報から４次元の時空間情報を取得することが可能となる。

【0035】

また、図３（Ｆ）により、光の進行方向に対するカメラの位置によって、見かけの速度は大きく異なる。例えば、カメラＣ（θ＝０°）で検出される散乱光の見かけの速度は、無限大となるため、時間分解能が高い撮像技術を用いても、検出が困難となる。この結果、取得される３次元の時空間情報の精度が低くなり、推定されるＺ方向の情報の精度も低くなる。他方、カメラＡ（θ＝１８０°）で検出される散乱光の見かけの速度は、相対的に遅いため、高い精度の３次元の時空間情報を取得できる。この結果、推定されるＺ方向の情報の精度も高くなる。このため、例えば、複数のカメラを用いて、光の進行方向ごとに、高精度の情報を取得できる方のカメラを選択し、選択された各情報を合成・統合することにより、精度の高い時空間情報を取得することが可能となる。

【0036】

（光検出部）
図４は、光検出部１１０を示したものである。画素領域には、ＳＰＡＤ画素１０３がＸＹ方向において２次元状に複数配されている。

【0037】

１つのＳＰＡＤ画素１０３は、光電変換部２０１（アバランシェダイオード）と、クエンチ素子２０２と、制御部２１０、カウンタ／メモリ２１１、読み出し部２１２を有する。

【0038】

光電変換部２０１のカソードにはアノードに供給される電位ＶＬよりも高い電位ＶＨに基づく電位が供給される。光電変換部２０１のアノードとカソードには、光電変換部２０１に入射したフォトンがアバランシェ増倍されるような逆バイアスがかかるように電位が供給される。このような逆バイアスの電位を供給した状態で光電変換することで、入射光によって生じた電荷がアバランシェ増倍を起こしアバランシェ電流が発生する。

【0039】

逆バイアスの電位が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きいときには、アバランシェダイオードはガイガーモード動作となる。ガイガーモード動作を用いて単一光子レベルの微弱信号を高速検出するアバランシェダイオードがＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）である。

【0040】

クエンチ素子２０２は、高い電位ＶＨを供給する電源と光電変換部２０１に接続される。クエンチ素子２０２は、Ｐ型ＭＯＳトランジスタまたはＰｏｌｙ抵抗などの抵抗素子により構成される。また、クエンチ素子２０２は、直列の複数のＭＯＳトランジスタにより構成されていてもよい。光電変換部２０１においてアバランシェ増倍により光電流が増倍されると、増倍した電荷によって得られる電流が、光電変換部２０１とクエンチ素子２０２との接続ノードに流れる。この電流による電圧降下により、光電変換部２０１のカソードの電位が下がり、光電変換部２０１は、電子なだれを形成しなくなる。これにより、光電変換部２０１のアバランシェ増倍が停止する。その後、電源の電位ＶＨがクエンチ素子２０２を介して光電変換部２０１のカソードに供給されるため、光電変換部２０１のカソードに供給される電位が電位ＶＨに戻る。つまり、光電変換部２０１の動作領域は再びガイガーモード動作となる。このように、クエンチ素子２０２は、アバランシェ増倍による電荷の増倍時に負荷回路（クエンチ回路）として機能し、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。また、クエンチ素子は、アバランシェ増倍を抑制した後に、アバランシェダイオードの動作領域を再びガイガーモードにする働きを持つ。

【0041】

制御部２１０は、光電変換部２０１からの出力信号をカウントするか否かを決定する。例えば、制御部２１０は光電変換部２０１とカウンタ／メモリ２１１との間に設けられたスイッチ（ゲート回路）である。スイッチのゲートは、パルス線１１４と接続されており、パルス線１１４に入力される信号に応じて、制御部のオンとオフが切り替えられる。例えば、図２において、水平走査回路部（不図示）からパルス線１１４に入力される信号は全列一括して制御される。これにより、全ＳＰＡＤ画素が一括して光検出の開始と終了が制御される。このような制御をグローバルシャッタ制御ということもある。

【0042】

また、制御部２１０は、スイッチではなく、論理回路で構成してもよい。例えば、論理回路として、ＡＮＤ回路を設け、ＡＮＤ回路の第１の入力を光電変換部２０１からの出力とし、第２の入力をパルス線１１４の信号とすれば、光電変換部２０１からの出力信号をカウントするか否かを切り替えることが可能となる。

【0043】

さらに、制御部２１０は、光電変換部２０１とカウンタ／メモリ２１１との間に設ける必要はなく、カウンタ／メモリ２１１のうち、カウンタの動作と非動作を切り替える信号を入力する回路であってもよい。

【0044】

カウンタ／メモリ２１１は、光電変換部２０１に入る光子の数をカウントして、デジタルデータとして保持する。リセット線２１３は各行に対応して設けられており、垂直走査回路部（不図示）からリセット線２１３に制御パルスが供給されたとき、保持されていた信号がリセットされる。

【0045】

読み出し部２１２は、カウンタ／メモリ２１１と読み出し信号線１１３に接続されている。読み出し部２１２には、垂直走査回路部（不図示）から、制御線を介して制御パルスが供給され、カウンタ／メモリ２１１のカウント値を読み出し信号線１１３に出力するか否かを切り替える。読み出し部２１２は、例えば、信号を出力するためのバッファ回路などを含む。

【0046】

読み出し信号線１１３は、光検出部１１０から演算処理部１２０に出力する信号線であっても、光検出部１１０内に設けられている信号処理部に出力する信号線であってもよい。また、水平走査回路部（不図示）と垂直走査回路部（不図示）は、ＳＰＡＤアレイが設けられている基板に設けてもよいし、ＳＰＡＤアレイが設けられている基板とは異なる基板に設けてもよい。

【0047】

また、上記では、カウンタを用いる構成を示したが、カウンタの代わりに、時間・デジタル変換回路（ＴＤＣ：Ｔｉｍｅ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を設けて、パルス検出タイミングを取得してメモリに情報を保持してもよい。

【0048】

（タイミングチャート）
図５には、光源１１２からのパルスレーザ光を発光するタイミング、パルスレーザ光が物体（例えば、水蒸気や塵）に照射され、パルスレーザ光の散乱光が光検出部１１０に到達するタイミングが示されている。また、図５には、光検出部１１０で光検出（光量カウント）するタイミングが示されている。

【0049】

第１フレームでは、時刻ｔ１１（ｔ１２）が、光照射の開始時刻と光検出の開始時刻であり、時刻ｔ１３が光検出の終了時刻である。図５に示す第１フレームでは、散乱光が光検出部１１０に到達する時刻には、光検出部１１０は光検出しておらず、散乱光は検出されていない。第１フレームで、光検出部１１０が複数回光検出しているのは、ＸＹ平面の光量分布を取得するためである。各フレーム内で複数回の光検出が終了すると、メモリに格納されている値が読み出される。

【0050】

ところで、図４に示すように、光検出部１１０には、アレイ状に複数のＳＰＡＤ画素が配されており、各行に配されている複数のＳＰＡＤ画素の光検出開始のタイミングは、全画素一括で制御される。すなわち、ＳＰＡＤの全画素において、図５に示す発光光のタイミングと、カウント期間のタイミングは同じである。

【0051】

第２フレームでは、時刻ｔ２１に発光光が照射され、時刻ｔ２２に光検出が開始され、時刻ｔ２３に光検出が終了する。第１フレームと比較して、第２フレームは、発光光が照射される時刻から光検出が開始される時刻までの期間が長くなっている。図５に示す第２フレームでは、散乱光が光検出部１１０に到達する時刻に、光検出部１１０は光検出しており、散乱光が検出される。

【0052】

その後、各フレームは、発光光の照射時刻と光検出開始時刻の間の期間が徐々に長くなるように設定され、第Ｎフレームでは、時刻ｔＮ１に発光光が照射され、時刻ｔＮ２に光検出が開始され、時刻ｔＮ３に光検出が終了するように構成されている。

【0053】

光検出部１１０は、２次元にＳＰＡＤ画素が配置されたＳＰＡＤアレイである。そのため、上記のようなタイミングチャートにより、フレームごとに、ＸＹ平面（撮像面）の光量分布情報と、この光量分布情報を取得した時間である時間情報を備えた１組のデータを複数取得できる。ここでは、所定の時間の光量分布情報をデータといい、各時間の光量分布情報をデータセットという。このデータセットから、ｘ，ｙ，ｔに関する情報を取得することができる。

【0054】

また、光検出部１１１についても、上記した光検出部１１０と同様の制御を行い、光量分布情報と時間情報を有するデータセットを取得する。もっとも、光検出部１１１は、光検出部１１０が配されている位置とは異なる位置に配されているため、図５に示した散乱光が光検出部１１０に到達するタイミングと、散乱光が光検出部１１１に到達するタイミングは異なる。

【0055】

上記した実施形態によれば、３次元の時空間情報から、４次元目の時空間情報を取得することを可能としている。これにより、２次元アレイの検出器から得られる情報では分離できなかった空間情報が取得できるようになり、より高機能の光検出システムが提供できる。

【0056】

また、複数の光検出部を有していることから、検出精度が相対的に高い方の光検出部からの情報を利用することが可能である。これにより、より高精度の光検出システムが提供できる。

【0057】

（演算処理のコンセプト）
図６は、演算処理部１２０で行う処理のコンセプトを説明する図である。

【0058】

図６（Ａ）において、符号４００は光検出部１１０、１１１の撮像面である。撮像面はＸＹ平面を有する。矢印で記載したのは、光の進行方向のベクトルである。（ｉ）撮像面４００に対して平行な方向に進む光、（ｉｉ）撮像面４００に対して遠ざかる方向に進む光、（ｉｉｉ）撮像面４００に対して向う方向に進む光、をそれぞれ示している。図４では、単純化するために、これらの光は、Ｘ方向とＺ方向のベクトル成分のみを有し、Ｙ方向のベクトル成分を有さないとしている。

【0059】

図６（Ｂ）は、時刻ｔ１～ｔ３について、撮像面４００で撮影される上記（ｉ）から（ｉｉｉ）の光の光跡を示したものである。フレームレートが遅い場合、光跡は線状のように観測される。また、見かけの速度が遅い光の場合、光跡はより尾を引いているように観測される。そのため、ここでは光の進行方向に対して光強度の立ち上がり部分（光跡の先頭部分）のみを表示している。

【0060】

図６（Ｂ）に示すように、光はＸ方向とＺ方向のベクトル成分を有するが、各時刻において撮影されるＸＹ平面には、Ｚ方向のベクトル成分はＸＹ平面に投影され、Ｚ方向の情報を取り出すことができない。図６（Ｂ）に示すように、進行方向（ｉ）の光に比べて、進行方向（ｉｉ）の光は、見かけの速度が遅くなり、逆に、進行方向（ｉ）の光に比べて、進行方向（ｉｉｉ）の光は、見かけの速度が速くなる。

【0061】

図６（Ｃ）は、時刻ｔ１～ｔ３と、撮像面の光跡の位置（Ｘ方向）との関係を示す図である。図６（Ｃ）において、進行方向（ｉ）～（ｉｉｉ）の光、すなわち、Ｚ方向のベクトル成分が異なる光は、異なる関数で記述されることになる。

【0062】

例えば、線形近似で記述する場合、Ｘ方向の位置（目的変数）＝ａ＋ｂ・時間（説明変数）となり、Ｚ方向のベクトル成分の違いによって、係数ａとｂの値が異なることとなる。

【0063】

実際の光跡を記述するためには、Ｙ方向のベクトル成分、散乱光が生じる位置と光検出の撮像面の距離、光検出部からパルス光への方向ベクトルがパルス光の進行とともに時間変化することに起因する非線形効果を考慮しなければならない。そのため、変数および係数が増加し、より複雑なモデルとなるが、光のＺ方向のベクトル成分によって、撮像面における光の位置情報と時間情報を記述する関数が異なることは変わらない。

【0064】

図６（Ｄ）は、光検出部１１０、１１１で実測されるデータ（計測値）について、図６（Ｃ）と同様に、時間軸と撮像面上の光の位置（Ｘ方向）の軸にプロットしたものである。各計測値にフィッティングする関数を探索し、その関数からＺ方向のベクトル成分を抽出できれば、Ｚ方向のベクトル成分を推定することができる。

【0065】

すなわち、２次元の空間情報（ＸＺ方向のベクトル情報）及び時間情報に基づき、光検出部上の１次元の位置情報（Ｘ方向のベクトル情報）及び時間情報を計算するモデルを作る。そして、実測データであるＸ方向情報と時間情報を十分に説明できる、ＸＺ方向のベクトル情報と時間情報が探索できれば、Ｚ方向のベクトル成分を推定できる。このような演算は、実測データから観測対象である光の動きを推定しているため、逆問題を解くと表現することも可能である。

【0066】

さらに、次元を拡張して、３次元の空間情報（ＸＹＺ方向のベクトル情報）及び時間情報から、光検出部上の２次元の空間情報（ＸＹ方向のベクトル情報）及び時間情報を計算するモデルを作る。そして、実測データであるＸＹ方向の情報と時間情報（データセット）を十分に説明できる、３次元の空間情報（ＸＹＺ方向のベクトル情報）と時間情報が探索できれば、Ｚ方向のベクトル成分を推定できる。より具体的には、計測値であるデータセットと、モデルを用いて計算した光検出部上の２次元の空間情報及び時間情報とをフィッティングすることにより、３次元の空間情報および時間情報を取得する。そして、取得された３次元の空間情報および時間情報から、Ｚ方向のベクトル成分を推定する。

【0067】

（演算処理のフロー）
（第１の演算処理）
図７は、図１の進行方向解析部１２１、空間情報推定部１２２、画像構成部１２３で行われる演算処理のフローを示した図である。

【0068】

演算処理が開始されると（Ｓ４１０）、進行方向解析部１２１は、光の進行方向を解析して、光跡を複数のグループに分ける（Ｓ４２０）。このグループ分けの処理は、光検出部１１０と１１１のそれぞれから取得された情報のそれぞれに対して行われる。

【0069】

次に、空間情報推定部１２２において、計測された撮像面における光跡の位置情報（ＸＹ平面の光量分布情報）と、各光跡の位置情報に対応した時間情報を用いて、フィッティングする関数をグループごとに探索する（Ｓ４３０）。グループごとに探索するのは、各グループに属する光跡間では、Ｚ方向のベクトルが異なり、フィッティングする関数が異なるからである。

【0070】

次に、空間情報推定部１２２において、探索した関数と計測値とのフィッティングを評価して、フィッティングが十分であるか否かを判断する（Ｓ４４０）。十分なフィッティングかを判断するためには、例えば最小二乗法を用いて、モデルの計算値と計測値との残差の二乗和が、所定の値以下になるかを判断する。あるいは、計算の繰り返し回数が所定回数に至ったら、十分フィッティングしたと判断してもよい。

【0071】

次に、空間情報推定部１２２において、全てのグループの計測値について、関数の探索が行われた否かを判断する（Ｓ４５０）。

【0072】

次に、空間情報推定部１２２において、探索が完了した各関数から、各時間における光跡のＺ方向のベクトル情報を推定する（Ｓ４６０）。

【0073】

次に、画像構成部１２３において、各グループの光跡に対して、各光検出部から得られた情報の検出精度を取得して判定する（Ｓ４７０）。

【0074】

具体的には、光の進行方向に対して、光検出部が設けられている角度を比較し、角度が大きい位置に設けられている光検出部から取得される情報の精度が高いと判定する。例えば、図３（Ｄ）を参照し、紙面右方向に進行する光に対して、θ＝９０°の位置に設けられているカメラＢと、θ＝４５°の位置に設けられているカメラＤ（不図示）があると仮定する。この場合、進行する光に対して、角度が大きい位置に設けられているカメラＢから取得される情報の方が、カメラＤから取得される情報の方が、高精度の情報である。そのため、紙面右方向に進行する光のグループについては、カメラＤではなく、カメラＢからの情報の精度が高いと判定する。他方、紙面左方向に進行する光のグループについては、カメラＤはθ＝１３５°の位置に設けられていることになるため、カメラＢではなく、カメラＤからの情報の精度が高いと判定する。

【0075】

また、その他の検出精度の判定方法としては、カメラの撮影方向の単位ベクトルと、光の進行方向の単位ベクトルの内積を算出し、最大となるカメラからの情報の精度が高いと判定する方法がある。なお、複数のダイオードが２次元平面に配された光検出部の場合、カメラの撮影方向とは、複数のダイオードが配されている２次元平面に対して法線方向となる。

【0076】

ここで、カメラ１の撮影方向と光の進行方向と一致する場合、見かけの速度が小さくなるため、精度が高くなる。他方、カメラ２の撮影方向と光の進行方向が逆の場合、見かけの速度が大きくなるため、精度が高くなる。ここで、撮影方向の第１のベクトルとし、光の進行を第２のベクトルとすると、第１のベクトルと第２のベクトルのなす角が０度の場合に最も精度が高く、１８０度の場合に最も精度が低くなる。また、９０度および２７０度の場合には、見かけの速度の影響がなくなり、０度と１８０度の中間程度の精度となる。すなわち、ｃｏｓθ（θ：第１のベクトルと第２のベクトルのなす角）の値が大きい方が相対的に高精度である。ｃｏｓθは、第１のベクトルの単位ベクトルと第２のベクトルの単位ベクトルの内積に相当するため、カメラの撮影方向の単位ベクトルと、光の進行方向の単位ベクトルの内積の大きさを比較すればよい。

【0077】

例えば、ＸＹ平面を進行する光について、カメラ１とカメラ２とで撮影する場合を考える。具体例を図１４に示す。図１４では、光の進行方向のベクトルＡ＝（１，２）とし、カメラ１の撮影方向のベクトルＢ＝（１，１）とし、カメラ２の撮影方向のベクトルＣ＝（０，１）とする。

【0078】

ここで、ベクトルＡの単位ベクトルａは、以下のとおりとなる。

【0079】

【数1】

【0080】

また、ベクトルＢの単位ベクトルｂは、以下のとおりとなる。

【0081】

【数2】

【0082】

さらに、ベクトルＣの単位ベクトルｃは、以下のとおりとなる。

【0083】

【数3】

【0084】

ここで、各単位ベクトル同士の内積を比較すると、以下のとおりとなる。

【0085】

【数4】

【0086】

すなわち、カメラ１の撮影方向の単位ベクトルと光の進行方向の単位ベクトルの内積が、カメラ２の撮影方向の単位ベクトルと光の進行方向の単位ベクトルの内積よりも大きいため、カメラ２からの情報の精度よりも、カメラ１からの情報の精度が高いと判定する。

【0087】

以上の説明は、２次元空間のベクトルを例にして説明したが、３次元空間においても同様であり、カメラの撮影方向の単位ベクトルと光の進行方向の内積を比較することにより、精度判定が可能である。

【0088】

また、精度判定には、進行する光に対する光検出部の位置に基づいて判定するだけでなく、モデルと実測値のフィッティング度合い（例：モデルによる計算値と計測値との残差の二乗和の値）を用いて判定してもよい。

【0089】

次に、画像構成部１２３において、各グループの光跡に対して、高い検出精度を有する光検出部からの情報を選択し、統合する（Ｓ４７０）。具体的には、第１の進行方向の光跡の撮像は、光検出部１１０で取得した情報（第１の情報）が、光検出部１１１で取得した情報（第２の情報）よりも精度が高い場合がある。また、第２の進行方向の光跡の撮像は、光検出部１１１で取得した情報（第２の情報）の方が、光検出部１１０で取得した情報（第１の情報）よりも精度が高い場合がある。この状況においては、第１の進行方向の光跡は、光検出部１１０で取得した情報（第１の情報）に基づいて画像を構成し、第２の進行方向の光跡は光検出部１１１で取得した情報（第２の情報）に基づいて画像を構成する。

【0090】

上記のステップを実行することにより、処理が終了する（Ｓ４８０）。

【0091】

なお、上記では、光の進行方向ごとにグループ化し、全てのグループについて関数を探索した後にＺ方向のベクトル情報を推定したが、グループごとに、関数の探索とＺ方向のベクトル情報の推定を行ってもよい。

【0092】

（第２の演算処理）
図８は、図７とは異なる演算処理のフローを示した図である。

【0093】

図７と同様に、進行方向解析部１２１において、光の進行方向を解析して光跡を複数のグループに分ける（Ｓ４２０）。このグループ分けの処理は、光検出部１１０と１１１のそれぞれから取得された情報のそれぞれに対して行われる。

【0094】

次に、進行方向解析部１２１において、各グループに対して、光検出部１１０で取得された情報と、光検出部１１１で取得された情報のどちらが高精度かを判定する（Ｓ４２１）。光検出部１１０と光検出部１１１では異なる位置から散乱光を撮像することになるが、光検出部１１０と光検出部１１１のそれぞれで、各グループに属する光跡を特定することが可能である。各検出部からは、光跡の位置情報（ＸＹ平面の光量分布情報）と時間情報を取得できるため、各グループに属する光跡の速度を取得することも可能である。図３（Ｄ）から（Ｆ）を用いて説明したように、見かけ上の速度が小さいほうが検出精度は高くなる。そのため、各グループに属する光跡について、光跡の速度が遅い方の光検出部からの情報を用いて、この後の処理ステップを行う。なお、光跡の速度自体の演算は必須ではなく、所定の進行方向を有する光跡の開始点の観測時刻と終了点の観測時刻の差を求め、当該差が大きい方の光検出部を、当該所定の進行方向を有する光跡に対する検出精度の高い光検出部とすればよい。

【0095】

次に、空間情報推定部１２２において、計測された撮像面における光跡の位置情報（ＸＹ平面の光量分布情報）と、各光跡の位置情報に対応した時間情報を用いて、フィッティングする関数をグループごとに探索する（Ｓ４３１）。図７に示したＳ４３０では、第１の進行方向を有する光跡について、光検出部１１０で取得されたデータセットと、光検出部１１１で取得されたデータセットのそれぞれについて、関数を探索する演算処理を行った。他方、図８に示したＳ４３２では、第１の進行方向を有する光跡について、光検出部１１０で取得されたデータセット、あるいは、光検出部１１１で取得されたデータセットの一方しか、関数を探索する演算処理を行わない。すなわち、前のステップで行った検出精度の判定において、第１の進行方向を有する光跡に関して高精度の情報を取得できると判定された光検出部からのデータセットしか演算を行わない。これにより、図７に示したフローに比べて、演算量と演算時間の削減を図ることができる。

【0096】

（光検出部の配置例）
図９は、光検出部１１０と光検出部１１１の配置例を示したものである。

【0097】

図９（Ａ）では、光検出部１１０と光検出部１１１は４次元イメージング対象空間を挟んで、対向して配置される。このように配置すれば、４次元イメージング対象空間を進行する光に対して、光の進行方向に対するカメラが設けられている角度θが９０°未満にならない。このため、光検出部１１０と光検出部１１１の両方から取得されるデータに関して、見かけの光の速度変化による検出精度の低下を抑制することができる。また、光の進行方向によって、光検出部１１０と光検出部１１１の検出精度が異なることから、検出精度が相対的に高い方の光検出部からの情報を利用することも可能である。これにより、より高精度の光検出システムが提供できる。

【0098】

図９（Ｂ）では、光検出部１１０と光検出部１１１は、並列して配置される。このように配置することにより、光の進行方向に対するカメラが設けられている角度θは、光検出部１１０と光検出部１１１とで大きな違いは生じない。しかし、両方の光検出部が見かけの速度が無限大となる０°という配置となることを避けることが可能となる。そのため、本実施形態は、このように光検出部同士が並列して配置されていてもよい。このような配置は、カメラを配置する空間が限定されている場合に有効な配置となる。

【0099】

その他、図９（Ａ）と（Ｂ）では、図示していないが、両光検出部を対向して配することを１８０°の関係で配置すると呼称することにすると、両光検出部を９０°の関係、あるいは、２７０°の関係で配置してもよい。

【0100】

（実施例）
図１０は、本実施例で用いるセットアップを示す図である。

【0101】

地点Ａにおいて光源１１２から照射されたパルスレーザ光は、光学素子である複数の反射鏡により反射されるように構成されている。具体的には、地点Ｂ、Ｃ、Ｄ、Ｅにおいてパルスレーザ光が反射するように、複数の反射鏡が設けられている。地点Ｆは、４次元イメージング対象空間において、光検出部１１０が検出できる最後の地点となる。

【0102】

光検出部１１０と１１１は、４次元イメージング対象空間を挟んで、対向して配されている。光源１１２と、光検出部１１０および１１１は、パルス生成器により、タイミングが制御されており、例えば、図５に示すタイミングチャートを実現するように構成されている。

【0103】

図１１は、光検出部１１０で取得される光跡のイメージ図である。地点Ａから地点Ｆまでの光跡の見かけの速度を、各線で示している。具体的には、実線は、見かけの速度が遅く、点線は見かけの速度が普通、一点鎖線は見かけの速度が速いことを意味している。見かけの速度が速いと、光検出部１１０で取得できる４次元情報（３次元空間情報と時間情報）の精度が低くなる。そこで、一点鎖線（見かけの速度が速い）の光跡、具体的には、地点ＥからＦまでの光跡に関する４次元情報については、光検出部１１０とは異なる位置に設けられている光検出部１１１から取得することとする。

【0104】

図１２は、光検出部１１１で取得される光跡のイメージ図である。地点Ａから地点Ｆまでの光跡の見かけの速度を、各線で示している。具体的には、実線は、見かけの速度が遅く、点線は見かけの速度が普通、一点鎖線は見かけの速度が速いことを意味している。見かけの速度が速いと、光検出部１１１で取得できる４次元情報（３次元空間情報と時間情報）の精度が低くなる。そこで、一点鎖線（見かけの速度が速い）の光跡、具体的には、地点ＡからＢ、および、地点ＣからＤまでの光跡に関する４次元情報については、光検出部１１１とは異なる位置に設けられている光検出部１１０から取得することとする。

【0105】

図１３は、複数の光検出部から、相対的に高精度の情報を選択して、光跡を合成した場合のイメージ図である。すなわち、光検出部１１０および１１０と、空間情報推定部１２２により取得されたｘ，ｙ，ｚ，ｔの４次元情報から、ｘ，ｙ，ｚ，の３次元情報を選択し、ＸＹＺ空間にパルスレーザ光の光跡を再構成した図を示すものである。空間情報推定部１２２により推定されたＺ方向ベクトルの成分の情報を基に、画像構成部１２３によって画像が生成され、生成された画像は表示部１３０に表示される。

【0106】

上記のように、地点ＡからＢ、地点ＣからＤまでの光跡は、光検出部１１０で取得される情報を選択する。他方、地点ＥからＦまでの光跡は、光検出部１１１で取得される情報を選択して、上記情報と統合する。情報の統合は画像構成部１２３で行われる。

【0107】

地点ＢからＣまでの光跡、地点ＤからＥまでの光跡は、光検出部１１０と１１１の精度が同程度であるため、どちらの光検出部で取得された情報を選択して統合してもよい。また、これらの地点間の光跡は、光検出部１１０と１１１の精度が同程度であるため、光検出部１１０と１１１でそれぞれ得られた情報の平均値を用いてもよい。あるいは、これらの地点間の光跡は、光検出部１１０と１１１の精度が同程度であるため、例えば、光検出部１１０から取得される情報の重みづけを大きくし、光検出部１１１から取得される情報の重みづけを小さくしてもよい。例えば、光検出部１１０の画素数が、光検出部１１１の画素数よりも多い場合には、光検出部１１０から取得される情報の重みづけを大きくし、光検出部１１１から取得される情報の重みづけを小さくしてもよい。

【0108】

（計算モデルの説明）
以下、計算に用いるモデルの一例について説明をする。下記モデルのかわりに、レンズの収差やセンサ特性の不均一性などを考慮した、より複雑なモデルを用いてもよい。また、最小二乗法を解く代わりに、ニューラルネットワークモデル等を用いたパラメータ推定を行ってもよい。

【0109】

レーザパルス位置の時間変化

【0110】

【数5】

【0111】

は、

【0112】

【数6】

【0113】

と記述できる。ここで、

【0114】

【数7】

【0115】

は、時間に依存しない定数ベクトル、ｃは、光の速度、

【0116】

【数8】

【0117】

は、光伝搬の方向を示す規格化ベクトルである。ここで、ｔは、

【0118】

【数9】

【0119】

にレーザパルスが到達したときの時間であり、ｔ’に対してオフセットを有している。ｔ’は、

【0120】

【数10】

【0121】

の位置にあるレーザパルスがカメラで検出される時間である。光検出器の撮像面（焦点面）に対して射影したレーザパルスの位置は、

【0122】

【数11】

【0123】

である。ここで、α（ｔ）は、時間に依存する係数、－ｚ_ｐは、焦点距離である。ｚ_ｐが時間に依存しないと仮定すると、α（ｔ）は、α（ｔ）＝ｚ_ｐ／（ｚ_０＋ｃｔ・ｎ_ｚ）と記述できる。光検出器の撮像面に幾何学的に射影されたレーザパルスの動きは以下の式１のように記述できる。

【0124】

【数12】

【0125】

【数13】

【0126】

から光検出器までの光伝搬時間を考慮すると、観測時間ｔ’は、以下の式２のように記述できる。

【0127】

【数14】

【0128】

上記式を解くと、以下の式３になる。

【0129】

【数15】

【0130】

式３を式１に代入し、観測時間ｔ’の関数である撮像面に射影されたレーザパルス光の位置は以下の式４のように記述できる。

【0131】

【数16】

【0132】

時間分解測定により、３次元データポイント（Ｘ_ｐ ^ｉ，Ｙ_ｐ ^ｉ，Ｔ^ｉ）のＮセットのデータが取得できる（ｉ＝１，２，…，Ｎ）。４次元の光を再現するために、６つのパラメータであるｘ_０，ｙ_０，ｚ_０，ｎ_ｘ，ｎ_ｙ，ｎ_ｚを設定し、以下の式５に示す最適化問題を解く。

【0133】

【数17】

【0134】

ここで、Ｎは測定データ点の全体の数、（Ｘ_ｐ ^ｉ，Ｙ_ｐ ^ｉ）はｉ番目のデータ点に関する撮像面の画素の位置、－ｚ_ｐは焦点距離、Ｔ’^ｉはｉ番目のデータ点に関する測定された観測時間、

【0135】

【数18】

【0136】

はｔ＝０におけるレーザ光の位置である。

【0137】

式５において、規格化された光伝搬ベクトルは、極座標系で表現すると、

【0138】

【数19】

【0139】

となる。式５を極座標に変換すると、以下の式６および式７となる。

【0140】

【数20】

【0141】

【数21】

【0142】

上記式６および式７では、５つのパラメータであるｘ_０，ｙ_０，ｚ_０，θ，φを設定して最適化問題を解く。

【0143】

上で説明したモデルの特徴は以下の３点である。

【0144】

すなわち、第１として、「光の直進性」と「光速不変の法則」を仮定していることである。第２として、撮像面上の２次元座標（Ｘｐ，Ｙｐ）は、パルス光の位置（ｘ，ｙ，ｚ）に対する撮像面への射影により算出していることである。第３として、検出時間Ｔ’は、パルス光が位置（ｘ，ｙ，ｚ）に到達する時間ｔに対し、散乱光がカメラに到達するまでにかかる時間を考慮して算出していることである。

【0145】

ところで、データ点数が少ない軌跡では、最適化問題を解く際に値が発散することや、誤った解に収束してしまう可能性がある。そこで、光の軌跡の連続性を仮定すれば、この問題を回避できることができる。具体的には、複数の軌跡があった場合に、第２の軌跡の開始点が、第１の軌跡の終了点であるという制約条件を追加する。

【0146】

より具体的には、第２の軌跡に関しては、コスト関数（損失関数）であるλ・｛（ｘ_ｃ－ｘ_０－ｃｔ_ｃ・ｎ_ｘ）^２＋（ｙ_ｃ－ｙ_０－ｃｔ_ｃ・ｎ_ｙ）^２＋（ｚ_ｃ－ｚ_０－ｃｔ_ｃ・ｎ_ｚ）^２｝を式５に追加すればよい。ここで、（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ，ｔ_ｃ）は、第１の軌跡の終了点の４次元座標である。あるいは、最小二乗法の式に追加するのではなく、第２の軌跡を推定する際の初期条件として第１の軌跡の終了点を設定してもよい。

【0147】

（その他の実施形態）
上記実施形態では、カメラの実測値（ｘ，ｙ，ｔ）にフィッティングする関数を探索し、フィッティングした関数から光の進行ベクトルのうちＺ方向のベクトル成分を復元した。他方、カメラの実測値（ｘ，ｙ，ｔ）から、見かけの光速の値を演算して、光の進行ベクトルのうちＺ方向のベクトル成分を復元してもよい。この場合においても、データセットから、観測対象である光の進行方向のベクトルのうち、Ｚ方向のベクトル成分を推定している。

【0148】

また、上記実施形態ではアバランシェダイオードを用いたＳＰＡＤカメラを前提として説明したが、高速撮像が可能なカメラがあれば、ＳＰＡＤカメラを用いなくてもよい。

【0149】

さらに、図１０では、複数の反射鏡による光跡の変更の撮像を説明したが、上記実施形態の適用は、このような撮像に限られず、以下のような分析にも適用できる。

【0150】

（３次元形状の推定）
反射体に入射する光の光跡と、反射体で反射する光の光跡を特定することにより、反射体における微小領域の法線ベクトルの情報も得ることができる。また、光源からのレーザ光を走査することにより、複数の微小領域の法線ベクトルの情報も得ることができる。さらに、ＸＹ方向の面内方向に複数のダイオードが配された光検出部からは、光量分布情報と、当該光量分布情報を取得した時間である時間情報とをデータを複数備えたデータセットを取得することができる。これらの情報から、観測対象である光の進行方向のベクトルのうち、ＸＹ平面に直交する方向（Ｚ方向）のベクトル成分を推定することもできる。これにより、前記微小領域の法線ベクトルのうち、Ｚ軸方向のベクトル成分も推定することができる。この結果、入射光と反射光のデータセットから、反射体の３次元形状を推定することも可能となる。特に、複数の光検出部を用いることにより、検出精度の高い光検出部を選択できるため、精度の高い反射体の３次元形状の推定ができる。

【0151】

（屈折率分布の推定）
物体を透過する光（正確には、物体を透過する光の散乱光）を観察することによって、物体の屈折率分布情報を取得することも可能である。例えば、第１の領域と第２の領域を有する物体において、第１の領域の屈折率と、第２の領域の屈折率が異なる場合には、光の進行速度が第１の領域と第２の領域とで異なる。ＸＹ方向の面内方向に複数のダイオードが配された光検出部からは、光量分布情報と、当該光量分布情報を取得した時間である時間情報とをデータを複数備えたデータセットを取得することができる。そのため、これらの情報に基づいて、物体の屈折率分布情報を取得することができる。特に、複数の光検出部を用いることにより、検出精度の高い光検出部を選択できるため、より精度の高い屈折率分布情報の取得が可能となる。

【0152】

また、上記データセットを用いて、観測対象である光の進行方向のベクトルのうち、ＸＹ平面に直交する方向（Ｚ方向）のベクトル成分を推定することもできる。そのため、Ｚ方向に屈折率分布が異なるような物体の屈折率分布情報も取得することができる。特に、複数の光検出部を用いることにより、検出精度の高い光検出部を選択できるため、より精度の高い屈折率分布情報の取得が可能となる。

【0153】

（その他）
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

【0154】

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0155】

１１０ 光検出部
１１１ 光検出部
１１２ 光源
１１６ タイミング制御部
１２０ 演算処理部
１２１ 進行方向解析部
１２２ 空間情報推定部（推定部）
１２３ 画像構成部
１３０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】