(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183170
(43)【公開日】2023-12-27
(54)【発明の名称】光検出素子および光検出システム
(51)【国際特許分類】
H04N 25/76 20230101AFI20231220BHJP
H04N 25/772 20230101ALI20231220BHJP
【ＦＩ】
H04N5/374
H04N5/3745 500
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022096652
(22)【出願日】2022-06-15
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】岡田 千丈
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CY16
5C024CY17
5C024CY26
5C024EX12
5C024GX03
5C024GX16
5C024GX18
5C024GY39
5C024GY41
5C024GY45
5C024HX01
5C024HX23
5C024HX29
5C024HX32
5C024HX57
(57)【要約】
【課題】良好な検出性能を有する光検出素子を提供する。
【解決手段】本開示の一実施形態の光検出素子は、光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部とを備える。
【選択図】図３Ａ
【解決手段】本開示の一実施形態の光検出素子は、光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部とを備える。
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、
前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、
光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、
前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部と
を備える光検出素子。
前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、
光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、
前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部と
を備える光検出素子。
【請求項2】
前記第１受光素子及び前記第２受光素子は、それぞれ、単一光子アバランシェダイオードである
請求項１に記載の光検出素子。
請求項１に記載の光検出素子。
【請求項3】
前記第１画素は、可視光を受光して第１光電流を出力可能な前記第１受光素子を有する画素であり、
前記第２画素は、非可視光を受光して第２光電流を出力可能な前記第２受光素子を有する画素である
請求項１に記載の光検出素子。
前記第２画素は、非可視光を受光して第２光電流を出力可能な前記第２受光素子を有する画素である
請求項１に記載の光検出素子。
【請求項4】
前記第１回路部は、前記第１信号として、前記第１光電流に基づく電圧信号の第１期間及び第２期間におけるパルス数の差分に基づく信号を出力可能である
請求項１に記載の光検出素子。
請求項１に記載の光検出素子。
【請求項5】
前記第１回路部は、前記第２信号として、前記第１期間及び前記第２期間における前記電圧信号のパルス数の和に基づく信号を出力可能である
請求項４に記載の光検出素子。
請求項４に記載の光検出素子。
【請求項6】
前記第１回路部は、前記第１期間における前記電圧信号のパルス数と前記第２期間における前記電圧信号のパルス数との差分に基づく信号を出力可能である第１カウンタ部を有し、
前記第１カウンタ部は、前記第１期間における前記電圧信号のパルス数が基準値に達したことを示す検出信号を出力可能である
請求項４に記載の光検出素子。
前記第１カウンタ部は、前記第１期間における前記電圧信号のパルス数が基準値に達したことを示す検出信号を出力可能である
請求項４に記載の光検出素子。
【請求項7】
前記第１カウンタ部は、アップダウンカウンタを有する
請求項６に記載の光検出素子。
請求項６に記載の光検出素子。
【請求項8】
前記第１回路部は、前記第１カウンタ部を制御可能な制御部を有し、
前記制御部は、前記第１期間の終了を示す前記検出信号に基づき、前記第２期間の終了を示す信号を前記第１カウンタ部へ出力可能である
請求項６に記載の光検出素子。
前記制御部は、前記第１期間の終了を示す前記検出信号に基づき、前記第２期間の終了を示す信号を前記第１カウンタ部へ出力可能である
請求項６に記載の光検出素子。
【請求項9】
前記制御部は、前記第１期間及び前記第２期間の各々の長さが同一となるように、前記第２期間の終了を示す信号を前記第１カウンタ部へ出力可能である
請求項８に記載の光検出素子。
請求項８に記載の光検出素子。
【請求項10】
前記制御部は、タイミングジェネレータを有する
請求項８に記載の光検出素子。
請求項８に記載の光検出素子。
【請求項11】
前記第１光電流に基づく電圧信号を生成可能な第１生成部と、
前記第２光電流に基づく電圧信号を生成可能な第２生成部と
を有する
請求項１に記載の光検出素子。
前記第２光電流に基づく電圧信号を生成可能な第２生成部と
を有する
請求項１に記載の光検出素子。
【請求項12】
前記第１生成部及び前記第２生成部は、それぞれインバータを有する
請求項１１に記載の光検出素子。
請求項１１に記載の光検出素子。
【請求項13】
複数の前記第１受光素子及び前記第２受光素子を有する第１基板と、
前記第１回路部及び前記第２回路部の少なくとも一部を有し、前記第１基板に積層される第２基板と
を有する
請求項１に記載の光検出素子。
前記第１回路部及び前記第２回路部の少なくとも一部を有し、前記第１基板に積層される第２基板と
を有する
請求項１に記載の光検出素子。
【請求項14】
光源を制御可能な光源制御部を有する
請求項１に記載の光検出素子。
請求項１に記載の光検出素子。
【請求項15】
前記第１回路部は、前記第１信号に基づいて、動く対象物の領域に関する第１領域信号を生成可能である
請求項１４に記載の光検出素子。
請求項１４に記載の光検出素子。
【請求項16】
前記光源制御部は、前記第１領域信号に基づいて、前記光源の発光位置、光密度、出力パワーの少なくとも一つを制御可能である
請求項１５に記載の光検出素子。
請求項１５に記載の光検出素子。
【請求項17】
前記第２回路部は、前記第２光電流に基づく電圧信号のパルス数をカウント可能な複数の第２カウンタ部を有し、
前記第２回路部は、前記光源の発光に応じて、前記電圧信号のパルス数に基づく前記第３信号を出力可能である
請求項１５に記載の光検出素子。
前記第２回路部は、前記光源の発光に応じて、前記電圧信号のパルス数に基づく前記第３信号を出力可能である
請求項１５に記載の光検出素子。
【請求項18】
前記第２回路部は、前記第１領域信号に基づいて、動く対象物までの距離に関する前記第３信号を出力可能である
請求項１５に記載の光検出素子。
請求項１５に記載の光検出素子。
【請求項19】
前記光源制御部は、前記第３信号に基づいて、前記光源の発光位置、光密度、出力パワーの少なくとも一つを制御可能である
請求項１７に記載の光検出素子。
請求項１７に記載の光検出素子。
【請求項20】
光源と、
光検出素子と、
前記光検出素子から出力される信号に基づいて前記光源を制御可能な光源制御部と
を備え、
前記光検出素子は、
光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、
前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、
光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、
前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部と
を有する光検出システム。
光検出素子と、
前記光検出素子から出力される信号に基づいて前記光源を制御可能な光源制御部と
を備え、
前記光検出素子は、
光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、
前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、
光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、
前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部と
を有する光検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光検出素子および光検出システムに関する。
【背景技術】
【0002】
ＳＰＡＤ（Single Photon Avalanche Diode：単一光子アバランシェダイオード）素子とカウンタ回路を含む複数の画素を備え、光検出を行う素子が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１６１５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
光検出素子では、検出性能の改善が求められている。
【0005】
良好な検出性能を有する光検出素子を提供することが望まれる。
【0006】
本開示の一実施形態の光検出素子は、光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部とを備える。
本開示の一実施形態の光検出システムは、光源と、光検出素子と、光検出素子から出力される信号に基づいて光源を制御可能な光源制御部とを備える。光検出素子は、光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部とを有する。
本開示の一実施形態の光検出システムは、光源と、光検出素子と、光検出素子から出力される信号に基づいて光源を制御可能な光源制御部とを備える。光検出素子は、光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部とを有する。
【図面の簡単な説明】
【0007】
【図1】本開示の実施の形態に係る光検出システムの概略構成の一例を示す図である。
【図2】本開示の実施の形態に係る光検出素子の構成例を説明するための図である。
【図3A】本開示の実施の形態に係る光検出素子の構成例を示す図である。
【図3B】本開示の実施の形態に係る光検出素子の構成例を示す図である。
【図4A】本開示の実施の形態に係る光検出システムによる光源の制御の一例を説明するための図である。
【図4B】本開示の実施の形態に係る光検出システムによる光源の制御の一例を説明するための図である。
【図5】本開示の実施の形態に係る光検出システムの動作例を示すタイミングチャートである。
【図6A】本開示の実施の形態に係る光検出システムの動作例を示すフローチャートである。
【図6B】本開示の実施の形態に係る光検出システムの動作例を示すフローチャートである。
【図7】本開示の実施の形態に係る光検出素子の断面構成の一例を示す模式図である。
【図8】本開示の変形例１に係る光検出素子の構成例を示す図である。
【図9A】本開示の変形例２に係る光検出素子の構成例を示す図である。
【図9B】本開示の変形例２に係る光検出素子の別の構成例を示す図である。
【図10】本開示の変形例２に係る光検出素子の画素の配置例を示す図である。
【図11】本開示の変形例２に係る光検出素子の画素の別の配置例を示す図である。
【図12】本開示の変形例２に係る光検出素子の画素の別の配置例を示す図である。
【図13】本開示の変形例２に係る光検出素子の画素の別の配置例を示す図である。
【図14】本開示の変形例２に係る光検出素子の画素の別の配置例を示す図である。
【図15】本開示の変形例３に係る光検出システムの動作例を示すタイミングチャートである。
【図16】本開示の変形例４に係る光検出素子の構成例を示す図である。
【図17】車両制御システムの概略的な構成の一例を示すブロック図である。
【図18】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図19】内視鏡手術システムの概略的な構成の一例を示す図である。
【図20】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0008】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
３．使用例
４．応用例
１．実施の形態
２．変形例
３．使用例
４．応用例
【0009】
＜１．実施の形態＞
図１は、本開示の実施の形態に係る光検出システムの概略構成の一例を示す図である。光検出システム２００は、光検出素子１と、光源制御部２１０と、光源２２０とを含む。光検出素子１は、入射する光を検出可能な素子である。光検出素子１は、受光素子を有する複数の画素Ｐを有し、入射した光を光電変換して信号を生成するように構成される。
図１は、本開示の実施の形態に係る光検出システムの概略構成の一例を示す図である。光検出システム２００は、光検出素子１と、光源制御部２１０と、光源２２０とを含む。光検出素子１は、入射する光を検出可能な素子である。光検出素子１は、受光素子を有する複数の画素Ｐを有し、入射した光を光電変換して信号を生成するように構成される。
【0010】
本実施の形態に係る光検出素子１は、イベントを検出可能なセンサであり、イベント駆動型のセンサ（ＥＶＳ（Event Vision Sensor）、ＥＤＳ（Event Driven Sensor）、ＤＶＳ（Dynamic Vision Sensor）等と呼ばれる）として適用され得る。また、光検出素子１は、ＴＯＦ（Time Of Flight）方式の距離計測が可能な測距センサでもある。
【0011】
図１に示す例では、光検出素子１は、複数の画素Ｐが行列状に２次元配置された領域（画素部１００）を有している。各画素Ｐの受光素子（受光部）は、例えばＳＰＡＤ素子である。光検出素子１は、光学レンズを含む光学系（不図示）を介して、計測対象からの入射光（像光）を取り込む。受光素子は、光を受光して、光電変換により電荷を生じ、光電流を生成し得る。
【0012】
光検出素子１は、信号処理を行うように構成された処理部１１０を備える。処理部１１０は、信号処理回路であり、信号処理（情報処理）を行う。処理部１１０は、各画素の信号に対して各種の信号処理を行い、信号処理後の画素の信号を出力する。処理部１１０は、後述するが、計測対象の動きに関する信号、階調値に関する信号、計測対象までの距離に関する信号を生成して出力し得る。
【0013】
処理部１１０は、制御部でもあり、光検出素子１の各部を制御可能に構成される。処理部１１０は、例えば、各種のタイミング信号を生成するタイミングジェネレータ、シフトレジスタ、アドレスデコーダ等を含む複数の回路によって構成される。処理部１１０は、画素Ｐを駆動するための信号を各画素Ｐに供給し、各画素Ｐの動作を制御し得る。また、処理部１１０は、光源制御部２１０を制御する信号を光源制御部２１０に供給し、光源制御部２１０の動作を制御し得る。
【0014】
光源２２０は、複数の発光素子を有する。発光素子は、例えばＬＥＤ（Light Emitting Diode）である。光源２２０では、複数の発光素子が行列状に２次元配置される。光源２２０は、例えばレーザ光を発生し、レーザ光を外部へ出射し得る。
【0015】
光源制御部２１０は、光源２２０を駆動するように構成される。光源制御部２１０は、駆動部（駆動回路）であり、光源２２０の動作の制御を行い得る。光源制御部２１０は、例えば、光源２２０の発光素子への電流、電圧を制御可能に構成される。光源制御部２１０は、例えば、ＤＡ変換部（ＤＡＣ：Digital to Analog Converter）、アンプ回路等を含む複数の回路により構成される。
【0016】
光源制御部２１０は、光源２２０の各発光素子を駆動するための電流及び電圧を光源２２０に供給し、光源２２０による発光を制御し得る。光源制御部２１０は、光源２２０の発光素子の駆動を制御可能な駆動部であり、ドライバＩＣ（ドライバ回路）ともいえる。
【0017】
図２は、実施の形態に係る光検出素子の構成例を説明するための図である。図２に示すように、光検出素子１は、第１基板１０１、第２基板１０２、及び第３基板１０３を備える。第１基板１０１、第２基板１０２、及び第３基板１０３は、互いに重なり合って積層される。
【0018】
光検出素子１は、第１基板１０１と、第２基板１０２と、第３基板１０３とがＺ軸方向に積層された構造（積層構造）を有している。なお、図２に示すように、計測対象である被写体からの光の入射方向をＺ軸方向、Ｚ軸方向に直交する左右方向をＸ軸方向、Ｚ軸及びＸ軸に直交する方向をＹ軸方向とする。以降の図において、図２の矢印の方向を基準として方向を表記する場合もある。
【0019】
第１基板１０１には、画素部１００が設けられる。画素部１００では、複数の画素Ｐが、第１方向である水平方向（行方向）、及び第１方向と直交する第２方向である垂直方向（列方向）に配置される。画素部１００の画素Ｐは、フィルタ１５を有する。フィルタ１５は、入射する光のうちの特定の波長域の光を選択的に透過させるように構成される。フィルタ１５は、ＲＧＢのカラーフィルタ、赤外光を透過するフィルタ等である。
【0020】
画素部１００の複数の画素Ｐには、複数の画素Ｐ１及び画素Ｐ２が含まれる。画素Ｐ１は、可視光を受光して光電流を出力可能な受光素子を有する画素である。画素Ｐ２は、非可視光を受光して光電流を出力可能な受光素子を有する画素である。複数の画素Ｐ１には、一例として、赤色の波長域の光を透過するフィルタ１５を有する画素（Ｒ画素）と、緑色の波長域の光を透過するフィルタ１５を有する画素（Ｇ画素）と、青色の波長域の光を透過するフィルタ１５を有する画素（Ｂ画素）とが含まれる。Ｒ画素、Ｇ画素、及びＢ画素は、例えば、いわゆるベイヤー配列に従って配置されている。
【0021】
Ｒ画素、Ｇ画素、及びＢ画素は、それぞれ、Ｒ成分の信号、Ｇ成分の信号、及びＢ成分の信号を生成するように構成される。Ｒ画素、Ｇ画素、及びＢ画素の各々で光電変換された電荷に基づき、ＲＧＢの画素信号を得ることができる。
【0022】
画素Ｐ２は、例えば、赤外光を透過するフィルタ１５を有する画素（ＩＲ画素）である。画素Ｐ２は、ＩＲ成分の信号を生成するように構成され、ＴＯＦ方式の距離計測に利用可能である。光検出システム２００では、光源２２０によって計測対象である被写体に光（例えば赤外光）を照射し、被写体から反射した光を光検出素子１の画素Ｐ２の受光素子によって受光する。画素Ｐ２の信号は、計測対象である被写体までの距離に応じた信号となる。光検出素子１は、画素Ｐ２毎に距離信号を得ることができる。
【0023】
なお、画素部１００の画素Ｐ１に設けられるフィルタは、原色系（ＲＧＢ）のカラーフィルタに限定されず、例えばＣｙ（シアン）、Ｍｇ（マゼンダ）、Ｙｅ（イエロー）等の補色系のカラーフィルタであってもよい。また、光検出素子１の一部又は全部の画素にフィルタ１５を設けないようにしてもよい。
【0024】
第２基板１０２及び第３基板１０３には、処理部１１０が設けられる。処理部１１０は、第２基板１０２と第３基板１０３とに分けて配置される。処理部１１０は、画素回路部１２０ａ及び信号処理部１３０ａを含む第１回路部１４０ａと、画素回路部１２０ｂ及び信号処理部１３０ｂを含む第２回路部１４０ｂとを有する。図２に示す例では、画素回路部１２０ａ及び画素回路部１２０ｂは、第２基板１０２に配置される。図２に示すように、画素回路部１２０ａは、画素Ｐ１に対して設けられ、画素回路部１２０ｂは、画素Ｐ２に対して設けられる。信号処理部１３０ａ及び信号処理部１３０ｂは、ロジック回路及びメモリ等により構成され、第３基板１０３に配置される。
【0025】
図３Ａ及び図３Ｂは、実施の形態に係る光検出素子の構成例を示す図である。図３Ａは、画素Ｐ１及び第１回路部１４０ａの構成例を示し、図３Ｂは、画素Ｐ２及び第２回路部１４０ｂの構成例を示している。図３Ａに示すように、光検出素子１は、受光素子１０ａを含む画素Ｐ１と、画素回路部１２０ａ及び信号処理部１３０ａを含む第１回路部１４０ａとを有する。図３Ａに示す例では、画素回路部１２０ａは、生成部２０ａと、供給部２５ａと、カウンタ部３０ａと、制御部３５と、判定部４０とを有し、画素Ｐ１毎に設けられる。
【0026】
受光素子１０ａは、光を受光して信号を生成するように構成される。受光素子１０ａは、ＳＰＡＤ素子であり、入射する光子を電荷に変換し、入射した光子に応じた電気信号である信号Ｓ１ａを出力し得る。なお、受光素子１０ａは、光を光電変換可能に構成された光電変換素子（光電変換部）ともいえる。
【0027】
受光素子１０ａは、例えば、所定の電圧を供給可能な電源線、電極等と電気的に接続される。図３Ａに示す例では、受光素子１０ａの一方の電極であるカソードは、供給部２５ａを介して、電源電圧が供給される電源線に電気的に接続される。受光素子１０ａの他方の電極であるアノードは、接地線側に電気的に接続される。
【0028】
受光素子１０ａのカソード及びアノード間には、供給部２５を介して供給される電圧によって、受光素子１０ａのブレークダウン電圧（降伏電圧）よりも大きい電位差となる電圧が印加され得る。即ち、受光素子１０ａの両端の電位差は、ブレークダウン電圧よりも大きい電位差に設定され得る。受光素子１０ａは、ブレークダウン電圧よりも大きい逆バイアス電圧が与えられると、ガイガーモードで動作可能な状態となる。ガイガーモード時の受光素子１０ａでは、光子の入射に応じてアバランシェ増倍現象を生じ、パルス状の電流を生じ得る。画素Ｐ１では、光子の入射に起因して受光素子１０ａを流れる光電流に応じた信号Ｓ１ａが、生成部２０ａへ出力される。
【0029】
生成部２０ａは、受光素子１０ａにより生成された信号Ｓ１ａに基づく信号Ｓ２ａを生成するように構成される。図３Ａに示す例では、生成部２０ａは、インバータにより構成される。生成部２０ａは、直列に接続されたＰＭＯＳトランジスタ及びＮＭＯＳトランジスタを用いて構成される。生成部２０ａの入力部は、受光素子１０ａのカソード及び供給部２５ａと電気的に接続され、生成部２０ａの出力部は、カウンタ部３０ａの入力部３１と電気的に接続される。
【0030】
生成部２０ａには、受光素子１０ａからの信号Ｓ１ａが入力される。信号Ｓ１ａの信号レベル、即ち信号Ｓ１ａの電圧（電位）は、受光素子１０ａを流れる電流に応じて変化する。生成部２０ａは、例えば、信号Ｓ１ａの電圧が閾値よりも高い場合、ローレベルの信号Ｓ２ａを出力する。また、生成部２０ａは、信号Ｓ１ａの電圧が閾値よりも小さい場合は、ハイレベルの信号Ｓ２ａを出力する。生成部２０ａは、信号Ｓ１ａの電圧に基づくパルス信号となる信号Ｓ２ａを、カウンタ部３０ａへ出力し得る。
【0031】
図３Ａに示す例では、生成部２０ａであるインバータは、受光素子１０ａにおける光子の受光に起因して、信号Ｓ１ａの電圧がインバータの閾値電圧より小さくなると、信号Ｓ２ａの電圧をローレベルからハイレベルに遷移させる。なお、生成部２０ａは、バッファ回路、ＡＮＤ回路等により構成されてもよい。
【0032】
供給部２５ａは、受光素子１０ａに電圧及び電流を供給可能に構成される。供給部２５ａは、電源電圧が与えられる電源線と電気的に接続され、受光素子１０ａに電圧及び電流を供給し得る。図３Ａに示す例では、供給部２５ａは、ＰＭＯＳトランジスタにより構成される。なお、供給部２５ａは、抵抗素子を用いて構成されてもよい。
【0033】
供給部２５ａは、アバランシェ増倍が生じて受光素子１０ａの電極間の電位差がブレークダウン電圧よりも小さい場合、受光素子１０ａに対して電流を供給し得る。供給部２５ａは、受光素子１０ａのリチャージを行い、受光素子１０ａを再びガイガーモードでの動作が可能な状態にさせる。供給部２５ａは、リチャージ部であり、受光素子１０ａに電荷をリチャージし、受光素子１０ａの電圧をリチャージするともいえる。
【0034】
カウンタ部３０ａは、入力される信号に応じてカウント（計数）を行うように構成される。カウンタ部３０ａは、１つの入力部３１（入力端子）を有し、入力部３１に入力される信号のパルスのカウントを行う。図３Ａに示す例では、カウンタ部３０ａの入力部３１には、パルス信号である信号Ｓ２ａが入力される。カウンタ部３０ａは、信号Ｓ２ａのパルスをカウントし、２つの期間における信号Ｓ２ａのパルス数の差分に基づく信号を出力可能に構成される。カウンタ部３０ａは、画素Ｐ１毎に設けられ、例えばアップダウンカウンタにより構成される。
【0035】
制御部３５は、カウンタ部３０ａを制御可能に構成される。制御部３５は、タイミングジェネレータを有し、画素Ｐ１毎に設けられる。制御部３５は、タイミング制御部であり、例えば、外部から入力されるクロック信号、同期信号等に基づいて、タイミング信号を生成し、カウンタ部３０ａの動作を制御する。
【0036】
制御部３５は、カウントの開始を指示（要求）する信号（スタート信号）をカウンタ部３０ａに出力し、カウンタ部３０ａがカウントを開始するタイミングを制御する。また、制御部３５は、カウントの終了を指示する信号（ストップ信号）をカウンタ部３０ａに出力し、カウンタ部３０ａがカウントを終了するタイミングを制御する。制御部３５は、供給部２５ａの制御も行い得る。なお、制御部３５とは別の制御回路によって、供給部２５ａの制御を行うようにしてもよい。
【0037】
図３Ａに示す例では、制御部３５には、カウンタ部３０ａから、カウンタ部３０ａのカウント値が基準値に達したことを示す信号（検出信号）としてオーバーフロー信号が入力される。オーバーフロー信号は、カウント値のオーバーフローを示す信号であり、受光素子１０ａの受光量のオーバーフローを示す信号ともいえる。制御部３５は、オーバーフロー信号に基づいて生成したストップ信号をカウンタ部３０ａに供給し、カウンタ部３０ａを制御する。
【0038】
一例として、スタート信号が制御部３５からカウンタ部３０ａに入力されると、カウンタ部３０ａは、第１期間Ｔａにおけるカウントを開始する。カウンタ部３０ａは、第１期間Ｔａにおける信号Ｓ２ａのパルス数をアップカウントする。カウンタ部３０ａのカウント値が基準値に達すると、カウンタ部３０ａは、カウント値が基準値に達したことを示すオーバーフロー信号を制御部３５に出力し、第２期間Ｔｂにおけるカウントを開始する。カウンタ部３０ａは、その基準値を初期値として用い、第２期間Ｔｂにおける信号Ｓ２ａのパルス数をダウンカウントする。検出信号であるオーバーフロー信号は、第１期間Ｔａの終了を示す信号であり、第２期間Ｔｂの開始を示す信号である。
【0039】
制御部３５は、カウンタ部３０ａから入力されるオーバーフロー信号に応じてストップ信号を生成し、カウンタ部３０ａに出力する。制御部３５は、第１期間Ｔａ及び第２期間Ｔｂの各々の長さが同一となるように、第２期間Ｔｂの終了を示すストップ信号をカウンタ部３０ａへ出力する。ストップ信号が制御部３５からカウンタ部３０ａに入力されると、カウンタ部３０ａは、第２期間Ｔｂにおけるカウントを終了する。
【0040】
カウンタ部３０ａは、第１期間Ｔａ及び第２期間Ｔｂにおける信号Ｓ２ａのパルス数の差分に基づく信号（差分信号Ｓ３）を生成して出力する。カウンタ部３０ａは、差分信号Ｓ３として、第１期間Ｔａにおける信号Ｓ２ａのパルス数と、第２期間Ｔｂにおける信号Ｓ２ａのパルス数との差に応じたカウント値を示す信号を出力し得る。例えば、差分信号Ｓ３の信号値、即ちカウント値は、アップカウントされたカウント値からダウンカウントされたカウント値を減じた値となる。
【0041】
判定部４０は、差分信号Ｓ３に基づいてパルス数の差分の大きさを判定可能に構成される。判定部４０は、例えば、差分信号Ｓ３の信号値が所定の閾値より大きいか否かを判定するように構成される。図３Ａに示す例では、判定部４０は、第１閾値判定部４１と第２閾値判定部４２を有する。
【0042】
第１閾値判定部４１は、差分信号Ｓ３の値と第１閾値とを比較可能に構成される。第２閾値判定部４２は、差分信号Ｓ３の値と第２閾値とを比較可能に構成される。例えば、第１閾値判定部４１は、差分信号Ｓ３の信号値、即ち第１期間Ｔａのカウント値から第２期間Ｔｂのカウント値を減じた値が、第１閾値より小さいか否かを判定するように構成される。第２閾値判定部４２は、差分信号Ｓ３の信号値が第２閾値より大きいか否かを判定するように構成される。
【0043】
第１閾値判定部４１は、差分信号Ｓ３の信号値が第１閾値を下回る場合、計測対象である被写体の動きにより正のイベントが発生したと判定する。第１閾値判定部４１は、差分信号Ｓ３の信号値が第１閾値を下回らない場合は、正のイベントは発生していないと判定する。第２閾値判定部４２は、差分信号Ｓ３の信号値が第２閾値を上回る場合、計測対象の動きにより負のイベントが発生したと判定する。第２閾値判定部４２は、差分信号Ｓ３の信号値が第２閾値を上回らない場合は、負のイベントは発生していないと判定する。
【0044】
このように、判定部４０は、差分信号Ｓ３に基づき、イベントの発生の有無を検出し得る。判定部４０は、差分信号Ｓ３の信号値が第１閾値より小さい場合、又は第２閾値より大きい場合、イベントが生じたと判定する。即ち、判定部４０は、計測対象物の動きに伴う受光量の変化に起因して、カウント値の変化量が上限又は下限の閾値を越えた場合、イベントが「有」と判断する。
【0045】
判定部４０は、第１閾値判定部４１及び第２閾値判定部４２による判定結果に基づき、計測対象物の動きに関する信号（動き信号）を生成して出力する。判定部４０は、例えば、動き信号Ｓ１１として、差分信号Ｓ３の信号値（カウント値）及びイベントの発生の有無を示す信号を、信号処理部１３０ａに出力する。動き信号Ｓ１１は、正のイベント及び負のイベントの発生の有無を示す信号を含み得る。
【0046】
信号処理部１３０ａは、各画素Ｐ１の差分信号Ｓ３及び動き信号Ｓ１１を取得し、信号処理を実行可能に構成される。信号処理部１３０ａは、信号処理回路であり、差分信号Ｓ３及び動き信号Ｓ１１を用いて、各種の信号処理を行い得る。図３Ａに示す例では、信号処理部１３０ａは、ビット反転部６０、加算部７０ａ、及びメモリ部７５ａを有する。
【0047】
ビット反転部６０は、入力される信号のビット値を反転可能に構成される。図３Ａに示す例では、ビット反転部６０には、カウンタ部３０ａから差分信号Ｓ３が入力される。ビット反転部６０は、差分信号Ｓ３のビット値を反転し、第１期間Ｔａ及び第２期間Ｔｂにおける信号Ｓ２のパルス数の和に基づく信号（階調信号）を生成する。
【0048】
階調信号Ｓ１２は、例えば、第１期間Ｔａのカウント値に第２期間Ｔｂのカウント値を加えた信号値を有し、階調を示す信号となる。ビット反転部６０は、差分信号Ｓ３を用いて画素における階調値を示す階調信号Ｓ１２を復元するともいえる。ビット反転部６０は、各画素Ｐ１の差分信号Ｓ３に対して反転処理を行い、各画素Ｐ１の階調信号Ｓ１２を生成する。
【0049】
加算部７０ａ及びメモリ部７５ａには、ビット反転部６０から各画素Ｐ１の階調信号Ｓ１２が入力される。また、加算部７０ａ及びメモリ部７５ａには、判定部４０から各画素Ｐ１の動き信号Ｓ１１が入力される。メモリ部７５ａは、各画素の信号を保持可能に構成される。メモリ部７５ａは、フレームメモリであり、画素毎の階調信号Ｓ１２及び動き信号Ｓ１１をフレーム単位で記憶（記録）し得る。
【0050】
加算部７０ａは、画素の信号の加算処理を実行可能に構成される。加算部７０ａは、例えば、各画素Ｐ１の動き信号Ｓ１１を用いて、動く対象物の移動方向を推定する。加算部７０ａは、推定結果に基づき、メモリ部７５ａに保持された階調信号Ｓ１２を参照して各画素Ｐ１の階調信号Ｓ１２の位置合わせを行い、複数の階調信号Ｓ１２を加算平均する処理を行う。
【0051】
加算部７０ａは、平均化部であり、上述のように複数の階調信号Ｓ１２を平均化し、平均化された階調信号Ｓ１２を生成する。複数の階調信号Ｓ１２を積算する処理が行われることで、階調信号Ｓ１２のＳ／Ｎ比を改善することができる。こうして、信号処理部１３０ａは、動き信号Ｓ１１、階調信号Ｓ１２、及び平均化された階調信号Ｓ１２を取得し、光検出素子１の外部へ出力し得る。
【0052】
図３Ｂでは、画素Ｐ２及び第２回路部１４０ｂを図示している。図３Ｂに示すように、光検出素子１は、受光素子１０ｂを含む画素Ｐ２と、画素回路部１２０ｂ及び信号処理部１３０ｂを含む第２回路部１４０ｂとを有する。図３Ｂに示す例では、画素回路部１２０ｂは、生成部２０ｂと、供給部２５ｂと、選択部２７と、カウンタ部３０ｂとを有する。例えば、画素Ｐ２毎または複数の画素Ｐ２毎に、複数の選択部２７及びカウンタ部３０ｂが設けられる。
【0053】
受光素子１０ｂ、生成部２０ｂ、及び供給部２５ｂは、上述した画素Ｐ１の受光素子１０ｂ、生成部２０ａ及び供給部２５ａと同様の構成である。受光素子１０ｂは、光を受光して信号を生成するように構成される。受光素子１０ｂは、ＳＰＡＤ素子であり、入射する光子を電荷に変換し、入射した光子に応じた電気信号である信号Ｓ１ｂを出力し得る。なお、受光素子１０ｂは、光を光電変換可能に構成された光電変換素子（光電変換部）ともいえる。
【0054】
生成部２０ｂは、受光素子１０ｂにより生成された信号Ｓ１ｂに基づく信号Ｓ２ｂを生成するように構成される。図３Ｂに示す例では、生成部２０ｂは、インバータにより構成される。生成部２０ｂは、受光素子１０ｂにより生成される信号Ｓ１ｂの電圧に基づくパルス信号となる信号Ｓ２ｂを、選択部２７へ出力し得る。なお、生成部２０ｂは、バッファ回路、ＡＮＤ回路等により構成されてもよい。供給部２５ｂは、リチャージ部であり、受光素子１０ｂに電圧及び電流を供給可能に構成される。
【0055】
選択部２７は、複数のカウンタ部３０ｂのうち選択したカウンタ部３０ｂに、生成部２０ｂからの信号Ｓ２ｂを出力するように構成される。選択部２７は、選択回路（Selector）であり、信号Ｓ２ｂの出力先を切り替え可能に構成される。選択部２７は、複数の生成部２０ｂから入力される信号Ｓ２ｂを各カウンタ部３０ｂに振り分けるともいえる。選択部２７は、時分割（例えばサブフレーム毎）に信号Ｓ２ｂの出力先を変更し得る。
【0056】
カウンタ部３０ｂは、入力される信号に応じてカウントを行うように構成される。カウンタ部３０ｂには、生成部２０ｂから選択部２７を介して、パルス信号である信号Ｓ２ｂが入力される。カウンタ部３０ｂは、信号Ｓ２ｂのパルスをカウントし、信号Ｓ２ｂのパルス数に基づく信号を出力する。例えば、カウンタ部３０ｂは、信号Ｓ２ｂのパルス数をカウント値としてアップカウントし、カウント値を示す信号Ｓ４を信号処理部１３０ｂへ出力する。
【0057】
信号処理部１３０ｂは、各画素Ｐ２の信号Ｓ４を取得し、信号処理を実行可能に構成される。信号処理部１３０ｂは、信号処理回路であり、信号Ｓ４を用いて、各種の信号処理を行い得る。図３Ｂに示す例では、信号処理部１３０は、演算部６５、加算部７０ｂ、及びメモリ部７５ｂを有する。
【0058】
演算部６５は、信号Ｓ４に対して信号処理を行うように構成される。演算部６５は、信号Ｓ４に基づき、計測対象物までの距離に関する信号（距離信号）を生成する。光検出素子１の各画素Ｐ２は、一例として、光源２２０によって計測対象に光（例えばレーザ光）が照射される場合に、計測対象から反射した光を受光する。画素Ｐ２毎に生成される信号Ｓ４は、計測対象までの距離に応じた信号となる。
【0059】
演算部６５は、例えば、生成された画素Ｐ２の信号Ｓ４に基づいて、照射光と反射光との位相差、即ち光の往復時間を推定し、光検出素子１と計測対象物との距離を算出する。光源２２０から照射された光が計測対象物に反射して光検出素子１に到達する時間に基づき、計測対象物までの距離が演算される。演算部は、画素Ｐ２毎に対象物までの距離を算出し、対象物までの距離に関する距離信号Ｓ１３を生成する。この場合、演算部６５は、ノイズ低減処理（例えば背景光の信号成分の除去処理等）を行い、各画素Ｐ２の距離信号Ｓ１３を生成し得る。
【0060】
加算部７０ｂ及びメモリ部７５ｂには、演算部６５から各画素Ｐ２の距離信号Ｓ１３が入力される。また、加算部７０ｂ及びメモリ部７５ｂには、第１回路部１４０ａの信号処理部１３０ａ（図３Ａ参照）から各画素Ｐ１の動き信号Ｓ１１が入力される。メモリ部７５ｂは、各画素の信号を保持可能に構成される。メモリ部７５ｂは、フレームメモリであり、例えば画素毎の距離信号Ｓ１３をフレーム単位で記憶し得る。
【0061】
加算部７０ｂは、画素の信号の加算処理を実行可能に構成される。加算部７０ｂは、例えば、各画素Ｐ１の動き信号Ｓ１１を用いて、動く対象物の移動方向を推定する。加算部７０ｂは、推定結果に基づき、メモリ部７５ｂに保持された距離信号Ｓ１３を参照して各画素Ｐ２の距離信号Ｓ１３の位置合わせを行い、複数の距離信号Ｓ１３を加算平均する処理を行う。
【0062】
加算部７０ｂは、平均化部であり、上述のように複数の距離信号Ｓ１３を平均化し、平均化された距離信号Ｓ１３を生成する。複数の距離信号Ｓ１３を積算する処理が行われることで、距離信号Ｓ１３のＳ／Ｎ比を改善することができる。こうして、信号処理部１３０ｂは、距離信号Ｓ１３、及び平均化された距離信号Ｓ１３を取得し、光検出素子１の外部へ出力し得る。
【0063】
また、本実施の形態では、図３Ａに示すように、光検出素子１の第１回路部１４０ａは、領域検出部８１と、距離検出部８２と、信号制御部９０とを有する。領域検出部８１は、計測対象の領域のうちの一部の領域を注目領域として検出可能に構成される。領域検出部８１は、例えば、各画素Ｐ１の動き信号Ｓ１１に基づいて、動く対象物の領域を含む領域を注目領域として検出する。領域検出部８１は、注目領域に関する信号（領域信号）を生成する。領域検出部８１は、生成した領域信号Ｓ１５を、第２回路部１４０ｂの信号処理部１３０ｂ（図３Ｂ参照）へ出力し得る。領域信号Ｓ１５は、関心領域（ＲｏＩ：Region of Interest）を示す信号となる。
【0064】
信号制御部９０は、信号制御回路であり、信号処理を行うように構成される。信号制御部９０は、光源制御部２１０（図１参照）の動作を制御可能に構成される。信号制御部９０は、領域検出部８１から出力される領域信号Ｓ１５に基づき、例えば光源２２０の発光位置、光密度、出力パワー等に関する信号を生成し、光源制御部２１０に出力する。
【0065】
信号制御部９０は、領域信号Ｓ１５に応じた制御信号を光源制御部２１０に供給することで、光源２２０による発光を制御し、光源２２０によって注目領域に対して発光を行わせることができる。信号制御部９０は、領域信号Ｓ１５に応じて、光源２２０の発光位置、光密度、出力パワー等を制御し得る。このため、注目領域に対する計測を精度よく行うことが可能となる。
【0066】
領域検出部８１は、例えば、判定部４０によりイベントの発生が検出された場合、動き信号Ｓ１１を用いて、イベントが生じた領域を含む領域を注目領域として決定し、注目領域を示す領域信号Ｓ１５を生成する。信号制御部９０は、領域信号Ｓ１５に応じて光源制御部２１０へ制御信号を出力し、計測に必要な光量が注目領域に導かれるように、光源２２０の発光位置、光密度、出力パワー等を調整する。光検出素子１によって光検出が行われ、注目領域についての階調信号Ｓ１２、動き信号Ｓ１１、及び距離信号Ｓ１３を取得することができる。
【0067】
領域信号Ｓ１５に応じて光源２２０による発光が行われた後、信号処理部１３０ｂの演算部６５は、信号処理部１３０ａから入力される領域信号Ｓ１５に応じて、各画素Ｐ２の信号Ｓ４を用いて画素Ｐ２毎の距離信号Ｓ１３を生成する。この場合、演算部６５は、領域信号Ｓ１５が示す注目領域からの反射光を受光した各画素Ｐ２の距離信号Ｓ１３を生成し、信号処理部１３０ａの距離検出部８２へ出力し得る。距離検出部８２には、信号処理部１３０ｂの演算部６５から、注目領域に対応する複数の画素Ｐ２の各々の距離信号Ｓ１３が入力される。
【0068】
距離検出部８２は、各画素Ｐ２の距離信号Ｓ１３に基づいて、注目領域までの距離を検出可能に構成される。距離検出部８２は、演算部６５により生成された画素Ｐ２毎の距離信号Ｓ１３を用いて、注目領域までの距離を抽出する。距離検出部８２は、抽出した注目領域までの距離に関する信号（距離信号Ｓ１６）を生成する。距離検出部８２は、生成した距離信号Ｓ１６を、信号制御部９０等へ出力し得る。
【0069】
信号制御部９０は、距離検出部８２から出力される距離信号Ｓ１６に基づき、光源２２０の発光位置、光密度、出力パワー等に関する制御信号を生成し、光源制御部２１０に出力する。信号制御部９０は、距離信号Ｓ１６に応じた制御信号を光源制御部２１０に供給し、注目領域に対する計測に適した発光が行われるように、光源２２０における発光位置、光密度等を変更し得る。このため、光検出素子１は、注目領域に対する計測を高精度に行うことが可能となる。
【0070】
信号制御部９０は、距離信号Ｓ１６が示す注目領域までの距離に応じて、光源制御部２１０による光源２２０の制御を変更してもよい。図４Ａに示すように、光源２２０（又は光検出素子１）から注目領域までの距離が短い場合、信号制御部９０は、近距離設定として、広い視野（ＦＯＶ：field of view）、低い光密度、及び低い出力パワーとなるように、光源制御部２１０及び光源２２０を制御してもよい。
【0071】
また、図４Ａに示すように、光源２２０から注目領域までの距離が長い場合、信号制御部９０は、遠距離設定として、狭いＦＯＶ、高い光密度、及び高い出力パワーとなるように、光源制御部２１０及び光源２２０を制御してもよい。これにより、注目領域までの距離が長い場合でも、精度よく測距を行うことが可能となる。なお、近距離設定又は遠距離設定に切り替える場合、図４Ｂに模式的に示すように、信号制御部９０は、出力パワー（レーザ出力強度）を徐々に変化させるようにしてもよい。また、信号制御部９０は、光密度、ＦＯＶ等を段階的に変化させてもよい。これにより、距離の誤検知が生じることを効果的に抑制することが可能となる。
【0072】
図５は、実施の形態に係る光検出システムの動作例を示すタイミングチャートである。図５では、同一の時間軸上に、同期信号、カウンタ部３０ａによるカウント値、オーバーフロー信号、スタート／ストップ信号、動き信号Ｓ１１、領域信号Ｓ１５等を模式的に図示している。同期信号は、例えば、撮像のフレームレートに基づいて生成され、メインフレーム内のサブフレームの時間間隔を示す。第１回路部１４０ａの制御部３５は、同期信号に同期して、スタート信号を生成し、カウンタ部３０ａに出力する。
【0073】
図５では、カウンタ部３０ａが８ビットのアップダウンカウンタ回路である場合の例を示している。時刻ｔ１～時刻ｔ２の期間、時刻ｔ７～時刻ｔ８の期間、時刻ｔ１３～時刻ｔ１４の期間は、それぞれ、上述した第１期間Ｔａ（図５では第１期間Ｔａ１～第１期間Ｔａｎ）であり、カウンタ部３０ａによる信号Ｓ２ａのパルス数のアップカウントが行われる期間となる。
【0074】
時刻ｔ２～時刻ｔ３の期間、時刻ｔ８～時刻ｔ９の期間、時刻ｔ１４～時刻ｔ１５の期間は、それぞれ、上述した第２期間Ｔｂ（図５では第２期間Ｔｂ１～第２期間Ｔｂｎ）であり、カウンタ部３０ａによる信号Ｓ２ａのパルス数のダウンカウントが行われる期間となる。図５では、第１期間Ｔａ１と第２期間Ｔｂ１は、同一の時間間隔となる。また、第１期間Ｔａ２と第２期間Ｔｂ２は同一の時間間隔となり、第１期間Ｔａｎと第２期間Ｔｂｎも同一の時間間隔となる。
【0075】
第１サブフレームの時刻ｔ１において、カウンタ部３０ａは、制御部３５から入力されるスタート信号に応じて、信号Ｓ２ａのパルスのアップカウントを開始する。時刻ｔ２においてカウント値が基準値である「２５５」に達すると、カウンタ部３０ａから制御部３５にオーバーフロー信号が出力される。また、ダウンカウントの初期値として「２５５」が設定される。オーバーフロー信号は、第１期間Ｔａ１の終了および第２期間Ｔｂ１の開始のタイミングを示す信号となる。
【0076】
時刻ｔ２において、カウンタ部３０ａは、信号Ｓ２ａのパルスのダウンカウントを開始する。制御部３５は、スタート信号及びオーバーフロー信号によって第１期間Ｔａ１の長さを把握し、第２期間Ｔｂ１の長さが第１期間Ｔａ１の長さと等しくなるように、ストップ信号を生成してカウンタ部３０ａに供給する。
【0077】
時刻ｔ３において、カウンタ部３０ａは、制御部３５から入力されるストップ信号に応じて、信号Ｓ２のパルスのダウンカウントを終了する。カウンタ部３０ａは、第１期間Ｔａ１におけるアップカウントによるカウント値と、第２期間Ｔｂ１におけるダウンカウントによるカウント値との差分値であるカウント値「－１００」を示す差分信号Ｓ３を出力する。
【0078】
時刻ｔ４～時刻ｔ５の期間において、判定部４０は、差分信号Ｓ３の値である「－１００」と閾値である「±４０」とを比較する。第１閾値判定部４１は、差分信号Ｓ３の信号値である「－１００」が第１閾値「－４０」よりも低いと判定し、計測対象の動きに起因する正のイベントが発生したことを検出する。なお、差分信号Ｓ３の信号値「－１００」は第２閾値「＋４０」を超えないため、第２閾値判定部４２は、負のイベントは発生していないと判定する。
【0079】
時刻ｔ５～時刻ｔ６の期間では、判定部４０は、第１閾値判定部４１及び第２閾値判定部４２による判定結果に応じて、差分信号Ｓ３の信号値と正のイベントの発生とを示す動き信号Ｓ１１を生成する。信号処理部１３０ａのビット反転部６０は、差分信号Ｓ３のビット値の反転処理を行い、階調信号Ｓ１２を生成する。信号処理部１３０ａは、第１サブフレームで生成された画素Ｐ１毎の動き信号Ｓ１１を外部に出力する。また、信号処理部１３０ａは、第１サブフレームで生成された画素Ｐ１毎の階調信号Ｓ１２を外部に出力し得る。信号処理部１３０ａは、第１サブフレームの各画素Ｐ１の階調信号Ｓ１２及び動き信号Ｓ１１を、メモリ部７５ａに保持させる。
【0080】
時刻ｔ６～時刻ｔ７の期間では、領域検出部８１は、各画素Ｐ１の動き信号Ｓ１１に基づいて関心領域（ＲｏＩ）、即ち注目領域を決定し、注目領域を示す領域信号Ｓ１５を生成する。信号制御部９０は、領域信号Ｓ１５に応じて光源制御部２１０へ制御信号を供給し、光源２２０の発光位置、光密度、出力パワー等を制御する。
【0081】
光源２２０によって注目領域に対する発光が行われる場合、信号処理部１３０ｂの演算部６５は、各画素Ｐ２により得られる信号Ｓ４を用いて注目領域までの距離を算出する処理（Depth演算処理）を行う。演算部６５は、画素Ｐ２毎の距離信号Ｓ１３を生成し、生成した距離信号Ｓ１３を出力し得る。
【0082】
第２サブフレームの時刻ｔ７では、カウンタ部３０ａのカウント値がリセットされ、スタート信号に応じて、カウンタ部３０ａによる信号Ｓ２ａのパルスのアップカウントが開始される。時刻ｔ８においてカウント値が基準値「２５５」に達すると、カウンタ部３０ａから制御部３５にオーバーフロー信号が出力される。ダウンカウントの初期値として「２５５」が設定される。
【0083】
時刻ｔ８において、カウンタ部３０ａは、信号Ｓ２ａのパルスのダウンカウントを開始する。制御部３５は、オーバーフロー信号を用いて第１期間Ｔａ２の長さを把握し、第２期間Ｔｂ２の長さが第１期間Ｔａ２の長さと同一になるように、ストップ信号を生成してカウンタ部３０ａに供給する。
【0084】
時刻ｔ９において、カウンタ部３０ａは、ストップ信号に応じて、信号Ｓ２ａのパルスのダウンカウントを終了する。カウンタ部３０ａは、第１期間Ｔａ２におけるカウント値と、第２期間Ｔｂ２におけるカウント値との差分値「＋２０」を示す差分信号Ｓ３を出力する。
【0085】
時刻ｔ９～時刻ｔ１０の期間において、判定部４０は、差分信号Ｓ３の値「＋２０」と閾値である「±４０」とを比較する。第１閾値判定部４１及び第２閾値判定部４２は、差分信号Ｓ３の値が閾値以内であると判断し、正のイベントと負のイベントが共に発生していないと判定する。
【0086】
時刻ｔ１０～時刻ｔ１２の期間では、判定部４０は、差分信号Ｓ３の信号値とイベントが発生していないことを示す動き信号Ｓ１１を生成する。ビット反転部６０は、差分信号Ｓ３のビット値の反転処理を行い、階調信号Ｓ１２を生成する。信号処理部１３０ａは、第２サブフレームで生成された画素Ｐ１毎の動き信号Ｓ１１を外部に出力する。信号処理部１３０ａは、第２サブフレームで生成された画素Ｐ１毎の階調信号Ｓ１２も外部へ出力し得る。また、信号処理部１３０ａは、第２サブフレームの各画素Ｐ１の階調信号Ｓ１２及び動き信号Ｓ１１を、メモリ部７５ａに保持させる。
【0087】
図５に示す第Ｎサブフレームの時刻ｔ１３では、カウンタ部３０ａのカウント値のリセット後、スタート信号に応じて、カウンタ部３０ａによる信号Ｓ２ａのパルスのアップカウントが開始される。時刻ｔ１４においてカウント値が基準値「２５５」に達すると、カウンタ部３０ａから制御部３５にオーバーフロー信号が出力される。ダウンカウントの初期値として「２５５」が設定される。
【0088】
時刻ｔ１４において、カウンタ部３０ａは、信号Ｓ２ａのパルスのダウンカウントを開始する。制御部３５は、オーバーフロー信号を用いて第１期間Ｔａｎの長さを把握し、第２期間Ｔｂｎの長さと第１期間Ｔａｎの長さとが同じになるように、ストップ信号をカウンタ部３０ａに供給する。
【0089】
時刻ｔ１５において、カウンタ部３０ａは、ストップ信号に応じて、信号Ｓ２ａのパルスのダウンカウントを終了する。カウンタ部３０ａは、第１期間Ｔａｎにおけるカウント値と、第２期間Ｔｂｎにおけるカウント値との差分値「－２０」を示す差分信号Ｓ３を出力する。
【0090】
時刻ｔ１６～時刻ｔ１７の期間において、判定部４０は、差分信号Ｓ３の値「－２０」と閾値である「±４０」とを比較する。第１閾値判定部４１及び第２閾値判定部４２は、差分信号Ｓ３の値が閾値以内であると判断し、正のイベントと負のイベントが共に発生していないと判定する。
【0091】
時刻ｔ１７～時刻ｔ１８の期間では、判定部４０は、差分信号Ｓ３の信号値とイベントが発生していないことを示す動き信号Ｓ１１を生成する。ビット反転部６０は、差分信号Ｓ３のビット値の反転処理を行い、階調信号Ｓ１２を生成する。信号処理部１３０ａは、第Ｎサブフレームで生成された画素Ｐ１毎の動き信号Ｓ１１を外部に出力する。信号処理部１３０ａは、第Ｎサブフレームで生成された画素Ｐ１毎の階調信号Ｓ１２も外部へ出力し得る。また、信号処理部１３０ａは、第Ｎサブフレームの各画素Ｐ１の階調信号Ｓ１２及び動き信号Ｓ１１を、メモリ部７５ａに保持させる。
【0092】
時刻ｔ１９～時刻ｔ２０の期間では、信号処理部１３０ａの加算部７０ａは、メモリ部７５ａに保持された各サブフレームの動き信号Ｓ１１を用いて、動く対象物の移動方向を算出する。加算部７０ａは、対象物の移動に合わせて、複数のサブフレームにおける各画素Ｐ１の階調信号Ｓ１２の位置合わせを行い、各サブフレームの階調信号Ｓ１２を加算平均する。信号処理部１３０ａは、加算部７０ａにより平均化された階調信号Ｓ１２を外部へ出力し得る。
【0093】
このように、本実施の形態に係る光検出素子１は、動き信号Ｓ１１及び階調信号Ｓ１２を出力可能な第１回路部１４０ａと、距離信号Ｓ１３を出力可能な第２回路部１４０ｂを有する。動き信号と階調信号と距離信号を得ることができ、高い検出性能を有する光検出素子を実現することが可能となる。
【0094】
また、本実施の形態では、受光素子としてＳＰＡＤ素子が用いられる。このため、低照度や低コントラストの計測時に検出精度が低下することを抑制することができる。精度よく計測対象物の動き検出と、階調値出力と、距離計測を行うことが可能となる。また、信号の平均化処理によってＳ／Ｎ比を向上させ、ノイズの少ない階調信号、距離信号を得ることができる。
【0095】
【0096】
図６Ａに示すステップＳ１００において、制御部３５からのスタート信号に応じてカウンタ部３０ａのカウント値がリセットされ、カウンタ部３０ａは、光子の受光に応じて生成される信号Ｓ２ａのパルスのアップカウントを開始する。カウント値が基準値（例えばフルコード値「２５５」）になると、カウンタ部３０ａは、オーバーフロー信号を制御部３５へ出力する。ステップＳ１１０において、カウンタ部３０ａは、信号Ｓ２ａのパルスのダウンカウントを開始する。
【0097】
ステップＳ１２０において、カウンタ部３０ａは、制御部３５からのストップ信号に応じてダウンカウントを停止する。カウンタ部３０ａは、カウント結果を示す差分信号Ｓ３を判定部４０と信号処理部１３０ａとに出力する。
【0098】
ステップＳ１３０において、判定部４０は、差分信号Ｓ３の信号値と閾値との比較によって、イベントの発生の有無を判定する。ステップＳ１４０では、判定部４０は、判定結果に応じて、差分信号Ｓ３の信号値とイベントの発生の有無とを示す動き信号Ｓ１１を、信号処理部１３０ａへ出力する。また、判定部４０は、動き信号Ｓ１１を光検出素子１の外部へ出力する。
【0099】
ステップＳ１５０において、ビット反転部６０は、差分信号Ｓ３に対してビット反転処理を行って階調信号Ｓ１２を生成する。ステップＳ１６０では、信号処理部１３０ａは、階調信号Ｓ１２の平均化処理を実行するか否かを把握する。平均化処理を行わない場合（ステップＳ１６０の「Ｎｏ」）の場合、処理はステップＳ１７０へ進む。ステップＳ１７０では、信号処理部１３０ａは、ビット反転部６０により生成される各画素Ｐ１の階調信号Ｓ１２を、光検出素子１の外部へ出力する。
【0100】
平均化処理を行う場合（ステップＳ１６０の「Ｙｅｓ」）の場合は、処理はステップＳ１８０へ進む。なお、平均化処理の有無は、光検出素子１により自動的に設定されてもよく、ユーザにより指定されてもよい。
【0101】
ステップＳ１８０において、加算部７０ａは、動き信号Ｓ１１により求められる対象物の移動方向に応じて、メモリ部７５ａに保持されるフレーム毎の各画素Ｐ１の階調信号Ｓ１２をシフトして加算平均する。ステップＳ１９０では、信号処理部１３０ａは、加算部７０ａによって平均化された階調信号Ｓ１２を外部へ出力し得る。
【0102】
上述したステップＳ１４０の後、処理は図６Ｂに示すステップＳ２００にも進む。ステップＳ２００において、信号処理部１３０ａの領域検出部８１は、各画素Ｐ１の動き信号Ｓ１１に基づき、注目領域を示す領域信号Ｓ１５を生成する。ステップＳ２１０において、信号制御部９０は、領域信号Ｓ１５に応じて光源制御部２１０に制御信号を出力し、光源２２０の発光位置等を制御する。
【0103】
ステップＳ２２０において、信号処理部１３０ｂの演算部６５は、各画素Ｐ２の信号Ｓ４に基づき、注目領域の距離を示す距離信号Ｓ１３を生成する。ステップＳ２３０では、信号処理部１３０ａは、距離信号Ｓ１３を利用して光源２２０の制御を行うか否かを把握する。光源２２０の制御を行う場合（ステップＳ２３０の「Ｙｅｓ」）の場合は、処理はステップＳ２４０へ進む。なお、距離信号Ｓ１３を用いた光源制御の実行の有無は、自動的に設定されてもよく、ユーザにより指定されてもよい。
【0104】
ステップＳ２４０において、距離検出部８２は、各画素Ｐ２の距離信号Ｓ１３を用いて注目領域を抽出し、注目領域までの距離を示す距離信号Ｓ１６を生成する。信号制御部９０は、距離信号Ｓ１６に応じて光源制御部２１０に制御信号を出力し、光源２２０の発光位置等を制御する。ステップＳ２４０の後、ステップＳ２００からステップＳ２２０までの処理を再び実行する。
【0105】
ステップＳ２３０の「Ｎｏ」の場合、即ち光源２２０の制御を行わない場合、処理はステップＳ２５０へ進む。ステップＳ２５０では、信号処理部１３０ｂは、各画素Ｐ２の距離信号Ｓ１３を光検出素子１の外部へ出力し得る。ステップＳ２５０の後、光検出システム２００は、フローチャートに示す処理を終了する。
【0106】
図７は、実施の形態に係る光検出素子の断面構成の一例を示す模式図である。光検出素子１は、第１基板１０１と、第２基板１０２と、第３基板１０３とがＺ軸方向に積層された構成を有している。第１基板１０１、第２基板１０２、及び第３基板１０３は、それぞれ、半導体基板（例えばシリコン基板）によって構成される。
【0107】
第１基板１０１、第２基板１０２、及び第３基板１０３は、図７に示すように、それぞれトランジスタが設けられる第１面１１Ｓ１，１２Ｓ１，１３Ｓ１と、第２面１１Ｓ２，１２Ｓ２，１３Ｓ２とを有する。第１面１１Ｓ１，１２Ｓ１，１３Ｓ１は、それぞれ、トランジスタ等の素子が形成される素子形成面である。第１面１１Ｓ１，１２Ｓ１，１３Ｓ１の各々には、ゲート電極、ゲート酸化膜等が設けられる。
【0108】
第１基板１０１には、受光素子１０ａ、１０ｂを有する複数の画素Ｐ１、Ｐ２が設けられる。画素Ｐ１及び画素Ｐ２は、それぞれ、図７に模式的に示すように、アバランシェ増倍が可能な増倍部１７（増倍領域）を有する。第１基板１０１の第２面１１Ｓ２側には、光を集光するレンズ部１６、フィルタ１５等が画素Ｐ毎に設けられる。図７では、緑色フィルタと赤外光を遮光するフィルタ（IR-Cut filter）を有するＧ画素である画素Ｐ１、赤色フィルタ及び青色フィルタを有するＩＲ画素である画素Ｐ２を図示している。
【0109】
第１基板１０１の第１面１１Ｓ１には、図７に示すように、配線層１１１が設けられる。また、第２基板１０２の第１面１２Ｓ１には配線層１２１が設けられ、第２基板１０２の第２面１２Ｓ２には配線層１２２が設けられる。第３基板１０３の第１面１３Ｓ１には、配線層１３１が設けられる。配線層１１１，１２１，１２２，１３１は、例えば、導体膜および絶縁膜を含み、複数の配線およびビア等を有する。配線層１１１，１２１，１２２，１３１の各々は、例えば２層以上の配線を含む。
【0110】
配線層１１１，１２１，１２２，１３１は、例えば、複数の配線が層間絶縁層（層間絶縁膜）を間に積層された構成を有している。配線層は、アルミニウム（Ａｌ）、銅（Ｃｕ）、タングステン（Ｗ）、ポリシリコン（Ｐｏｌｙ－Ｓｉ）等を用いて形成される。層間絶縁層は、一例として、酸化シリコン（ＳｉＯ）、窒化シリコン（ＳｉＮ）、及び酸窒化シリコン（ＳｉＯＮ）等のうちの１種よりなる単層膜、又はこれらのうちの２種以上よりなる積層膜により形成される。
【0111】
なお、第１基板１０１と配線層１１１とを併せて、第１基板１０１（又は第１の回路層）ということもできる。また、第２基板１０２と配線層１２１，１２２とを併せて、第２基板１０２（又は第２の回路層）ということもできる。第３基板１０３と配線層１３１とを併せて、第３基板１０３（又は第３の回路層）ということもできる。
【0112】
図７に示す例では、第１基板１０１と第２基板１０２とは、電極間の接合により、トランジスタ等の素子がそれぞれ形成される第１面１１Ｓ１と第１面１２Ｓ１が互いに対向するように積層される。即ち、第１基板１０１と第２基板１０２とは、各々の表面同士が互いに対向するように接合される。第２基板１０２と第３基板１０３とは、電極間の接合により、第２面１２Ｓ２とトランジスタ等の素子が形成される第１面１３Ｓ１とが互いに対向するように積層される。即ち、第２基板１０２及び第３基板１０３は、第２基板１０２の裏面と第３基板１０３の表面が互いに対向するように接合される。
【0113】
一例として、銅（Ｃｕ）からなる金属電極間の接合、即ちＣｕ－Ｃｕ接合によって、第１基板１０１と第２基板１０２とが貼り合わされる。また、第２基板１０２と第３基板１０３も、例えば、Ｃｕ－Ｃｕ接合によって貼り合わされる。なお、接合に用いる電極は、銅（Ｃｕ）以外の金属材料、例えばニッケル（Ｎｉ）、コバルト（Ｃｏ）、スズ（Ｓｎ）等により構成されてもよいし、他の材料により構成されてもよい。
【0114】
第２基板１０２及び配線層１２１，１２２は、複数の貫通電極８０を有する。貫通電極８０は、第２基板１０２を貫通する電極である。貫通電極８０は、Ｚ軸方向に延び、第２基板１０２の配線層１２２内に達するように形成される。貫通電極８０は、例えば、タングステン（Ｗ）、アルミニウム（Ａｌ）、コバルト（Ｃｏ）、モリブデン（Ｍｏ）、ルテニウム（Ｒｕ）等によって構成される。貫通電極８０によって、第２基板１０２の第１面１２Ｓ１側に設けられた回路と、第３基板１０３の第１面１３Ｓ１側に設けられた回路とが電気的に接続される。
【0115】
第１基板１０１では、パッド（ＰＡＤ）が設けられる。パッドは、例えばアルミニウム（Ａｌ）を用いて形成される電極である。なお、パッドは、他の金属材料を用いて構成されてもよい。光検出素子１には、複数のパッドが配置される。パッドは、例えば、外部から入力される電源電圧を、第１基板１０１～第３基板１０３の各回路に供給し得る。
【0116】
［作用・効果］
本実施の形態に係る光検出素子（光検出素子１）は、光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素（画素Ｐ１）と、第１光電流に基づく信号を取得し、対象物の動きに関する第１信号（動き信号Ｓ１１）と階調値に関する第２信号（階調信号Ｓ１２）を出力可能な第１回路部（第１回路部１４０ａ）と、光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素（画素Ｐ２）と、第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号（距離信号Ｓ１３）を出力可能な第２回路部（第２回路部１４０ｂ）とを備える。
本実施の形態に係る光検出素子（光検出素子１）は、光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素（画素Ｐ１）と、第１光電流に基づく信号を取得し、対象物の動きに関する第１信号（動き信号Ｓ１１）と階調値に関する第２信号（階調信号Ｓ１２）を出力可能な第１回路部（第１回路部１４０ａ）と、光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素（画素Ｐ２）と、第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号（距離信号Ｓ１３）を出力可能な第２回路部（第２回路部１４０ｂ）とを備える。
【0117】
本実施の形態に係る光検出素子１は、動き信号Ｓ１１及び階調信号Ｓ１２を出力可能な第１回路部１４０ａと、距離信号Ｓ１３を出力可能な第２回路部１４０ｂを有する。このため、各画素Ｐの動き信号、階調信号、及び距離信号を得ることができる。高い検出性能を有する光検出素子を実現することが可能となる。
【0118】
次に、本開示の変形例について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。
【0119】
（１－１．変形例１）
上述した実施の形態では、光検出素子１の構成例について説明したが、光検出素子１を２つの基板が積層された構成としてもよい。図８は、変形例１に係る光検出素子の構成例を示す図である。光検出素子１は、第１基板１０１及び第２基板１０２がＺ軸方向に積層された構成（２層構成）を有する。この場合、例えば、画素回路部１２０ａ，１２０ｂ、及び信号処理部１３０ａ，１３０ｂを、第２基板１０２に設けるようにしてもよい。
上述した実施の形態では、光検出素子１の構成例について説明したが、光検出素子１を２つの基板が積層された構成としてもよい。図８は、変形例１に係る光検出素子の構成例を示す図である。光検出素子１は、第１基板１０１及び第２基板１０２がＺ軸方向に積層された構成（２層構成）を有する。この場合、例えば、画素回路部１２０ａ，１２０ｂ、及び信号処理部１３０ａ，１３０ｂを、第２基板１０２に設けるようにしてもよい。
【0120】
（１－２．変形例２）
上述した実施の形態および変形例では、画素Ｐ１及び画素Ｐ２の配置例について説明したが、画素の配置はこれに限らない。例えば、図９Ａ又は図９Ｂに示す例のように、画素Ｐ１と画素Ｐ２を配置してもよい。図９Ａ、図９Ｂに示す例では、画素部１００において、画素Ｐ１と、ＩＲ画素である画素Ｐ２とが交互に配置される。
上述した実施の形態および変形例では、画素Ｐ１及び画素Ｐ２の配置例について説明したが、画素の配置はこれに限らない。例えば、図９Ａ又は図９Ｂに示す例のように、画素Ｐ１と画素Ｐ２を配置してもよい。図９Ａ、図９Ｂに示す例では、画素部１００において、画素Ｐ１と、ＩＲ画素である画素Ｐ２とが交互に配置される。
【0121】
画素Ｐ２の大きさ、数等は図示した例に限られず、適宜変更可能である。図１０～図１４は、変形例２に係る光検出素子の画素の配置例を示す図である。図１０に示すように、画素Ｐ１及び画素Ｐ２は、共に同じ大きさを有していてもよい。画素部１００において、複数の画素Ｐ２からなる画素ブロックを繰り返し配置してもよい。図１１に示すように、２×２の４個の画素Ｐ２からなる画素ブロックを配置してもよい。なお、画素Ｐ２は、図１２に示すように、４個分の画素Ｐ１に相当する大きさを有していてもよい。また、例えば、図１３に示すように、画素部１００において、４×４の１６個の画素Ｐ２からなる画素ブロックを配置するようにしてもよい。なお、画素Ｐ２は、図１４に示すように、１６個分の画素Ｐ１に相当する大きさを有していてもよい。
【0122】
（１－３．変形例３）
上述した実施の形態では、同期信号に同期してカウントを開始する例について説明した。しかし、光検出素子１は、同期信号とは非同期のスタート信号によってカウントを開始するようにしてもよい。光検出素子１は、同期信号に同期してカウント動作のタイミング制御を行う場合と比較して、高速動作を行うことが可能となる。
上述した実施の形態では、同期信号に同期してカウントを開始する例について説明した。しかし、光検出素子１は、同期信号とは非同期のスタート信号によってカウントを開始するようにしてもよい。光検出素子１は、同期信号に同期してカウント動作のタイミング制御を行う場合と比較して、高速動作を行うことが可能となる。
【0123】
図１５は、変形例３に係る光検出システムの動作例を示すタイミングチャートである。図１５に示す例では、光検出素子１の制御部３５は、同期信号とは非同期にスタート信号をカウンタ部３０ａに供給し得る。これにより、上述した図５の同期動作の場合と比較して、カウント動作の終了タイミングから次のカウント動作の開始タイミングまでの時間（図１５に示す時刻ｔ３～ｔ６の期間等）を短縮することができる。このため、動き信号、階調信号、距離信号の検出を高速に行うことが可能となる。
【0124】
（１－４．変形例４）
図１６は、変形例４に係る光検出素子の構成例を示す図である。図１６は、画素Ｐ１及び第１回路部１４０ａの構成例を示している。カウンタ部３０ａは、入力部３１に入力される信号Ｓ２ａをカウント可能な第１カウンタ３２及び第２カウンタ３３を有していてもよい。例えば、第１カウンタ３２は、第１期間Ｔａにおける信号Ｓ２ａのパルス数をカウント可能に構成される。また、第２カウンタ３３は、第２期間Ｔｂにおける信号Ｓ２ａのパルス数をカウント可能に構成される。カウンタ部３０ａは、第１カウンタ３２のカウント値と第２カウンタ３３のカウント値との差分に基づく差分信号Ｓ３を生成して出力し得る。本変形例の場合も、上記した実施の形態と同様の効果を得ることができる。
図１６は、変形例４に係る光検出素子の構成例を示す図である。図１６は、画素Ｐ１及び第１回路部１４０ａの構成例を示している。カウンタ部３０ａは、入力部３１に入力される信号Ｓ２ａをカウント可能な第１カウンタ３２及び第２カウンタ３３を有していてもよい。例えば、第１カウンタ３２は、第１期間Ｔａにおける信号Ｓ２ａのパルス数をカウント可能に構成される。また、第２カウンタ３３は、第２期間Ｔｂにおける信号Ｓ２ａのパルス数をカウント可能に構成される。カウンタ部３０ａは、第１カウンタ３２のカウント値と第２カウンタ３３のカウント値との差分に基づく差分信号Ｓ３を生成して出力し得る。本変形例の場合も、上記した実施の形態と同様の効果を得ることができる。
【0125】
＜３．使用例＞
上述した光検出素子１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
上述した光検出素子１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【0126】
＜４．応用例＞
（移動体への応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
（移動体への応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0127】
図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0128】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【0129】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0130】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0131】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0132】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0133】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0134】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【0135】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0136】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0137】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0138】
図１８は、撮像部１２０３１の設置位置の例を示す図である。
【0139】
図１８では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【0140】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0141】
なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0142】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0143】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0144】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0145】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0146】
以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、例えば、光検出素子１は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、高精細な撮影画像を得ることができ、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。
【0147】
（内視鏡手術システムへの応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【0148】
図１９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【0149】
図１９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【0150】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【0151】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0152】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ： Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。
【0153】
ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【0154】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【0155】
光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【0156】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【0157】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0158】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0159】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0160】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【0161】
【0162】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【0163】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【0164】
撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【0165】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【0166】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【0167】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【0168】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【0169】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
【0170】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【0171】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【0172】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【0173】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【0174】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【0175】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【0176】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0177】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【0178】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００のカメラヘッド１１１０２に設けられた撮像部１１４０２に好適に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、撮像部１１４０２を高感度化することができ、高精細な内視鏡１１１００を提供することができる。
【0179】
以上、実施の形態、変形例および適用例ならびに応用例を挙げて本開示を説明したが、本技術は上記実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上述した変形例は、上記実施の形態の変形例として説明したが、各変形例の構成を適宜組み合わせることができる。
【0180】
本開示の一実施形態の光検出素子は、光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部とを備える。このため、各画素の動き信号、階調信号、及び距離信号を得ることができ、高い検出性能を有する光検出素子を実現することが可能となる。
なお、本明細書中に記載された効果はあくまで例示であってその記載に限定されるものではなく、他の効果があってもよい。また、本開示は以下のような構成をとることも可能である。
（１）
光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、
前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、
光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、
前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部と
を備える光検出素子。
（２）
前記第１受光素子及び前記第２受光素子は、それぞれ、単一光子アバランシェダイオードである
前記（１）に記載の光検出素子。
（３）
前記第１画素は、可視光を受光して第１光電流を出力可能な前記第１受光素子を有する画素であり、
前記第２画素は、非可視光を受光して第２光電流を出力可能な前記第２受光素子を有する画素である
前記（１）または（２）に記載の光検出素子。
（４）
前記第１回路部は、前記第１信号として、前記第１光電流に基づく電圧信号の第１期間及び第２期間におけるパルス数の差分に基づく信号を出力可能である
前記（１）から（３）のいずれか１つに記載の光検出素子。
（５）
前記第１回路部は、前記第２信号として、前記第１期間及び前記第２期間における前記電圧信号のパルス数の和に基づく信号を出力可能である
前記（１）から（４）のいずれか１つに記載の光検出素子。
（６）
前記第１回路部は、前記第１期間における前記電圧信号のパルス数と前記第２期間における前記電圧信号のパルス数との差分に基づく信号を出力可能である第１カウンタ部を有し、
前記第１カウンタ部は、前記第１期間における前記電圧信号のパルス数が基準値に達したことを示す検出信号を出力可能である
前記（１）から（５）のいずれか１つに記載の光検出素子。
（７）
前記第１カウンタ部は、アップダウンカウンタを有する
前記（６）に記載の光検出素子。
（８）
前記第１回路部は、前記第１カウンタ部を制御可能な制御部を有し、
前記制御部は、前記第１期間の終了を示す前記検出信号に基づき、前記第２期間の終了を示す信号を前記第１カウンタ部へ出力可能である
前記（６）または（７）に記載の光検出素子。
（９）
前記制御部は、前記第１期間及び前記第２期間の各々の長さが同一となるように、前記第２期間の終了を示す信号を前記第１カウンタ部へ出力可能である
前記（８）に記載の光検出素子。
（１０）
前記制御部は、タイミングジェネレータを有する
前記（８）または（９）に記載の光検出素子。
（１１）
前記第１光電流に基づく電圧信号を生成可能な第１生成部と、
前記第２光電流に基づく電圧信号を生成可能な第２生成部と
を有する
前記（１）から（１０）のいずれか１つに記載の光検出素子。
（１２）
前記第１生成部及び前記第２生成部は、それぞれインバータを有する
前記（１１）に記載の光検出素子。
（１３）
複数の前記第１受光素子及び前記第２受光素子を有する第１基板と、
前記第１回路部及び前記第２回路部の少なくとも一部を有し、前記第１基板に積層される第２基板と
を有する
前記（１）から（１２）のいずれか１つに記載の光検出素子。
（１４）
光源を制御可能な光源制御部を有する
前記（１）から（１３）のいずれか１つに記載の光検出素子。
（１５）
前記第１回路部は、前記第１信号に基づいて、動く対象物の領域に関する第１領域信号を生成可能である
前記（１４）に記載の光検出素子。
（１６）
前記光源制御部は、前記第１領域信号に基づいて、前記光源の発光位置、光密度、出力パワーの少なくとも一つを制御可能である
前記（１５）に記載の光検出素子。
（１７）
前記第２回路部は、前記第２光電流に基づく電圧信号のパルス数をカウント可能な複数の第２カウンタ部を有し、
前記第２回路部は、前記光源の発光に応じて、前記電圧信号のパルス数に基づく前記第３信号を出力可能である
前記（１５）または（１６）に記載の光検出素子。
（１８）
前記第２回路部は、前記第１領域信号に基づいて、動く対象物までの距離に関する前記第３信号を出力可能である
前記（１５）から（１７）のいずれか１つに記載の光検出素子。
（１９）
前記光源制御部は、前記第３信号に基づいて、前記光源の発光位置、光密度、出力パワーの少なくとも一つを制御可能である
前記（１８）に記載の光検出素子。
（２０）
光源と、
光検出素子と、
前記光検出素子から出力される信号に基づいて前記光源を制御可能な光源制御部と
を備え、
前記光検出素子は、
光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、
前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、
光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、
前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部と
を有する光検出システム。
なお、本明細書中に記載された効果はあくまで例示であってその記載に限定されるものではなく、他の効果があってもよい。また、本開示は以下のような構成をとることも可能である。
（１）
光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、
前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、
光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、
前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部と
を備える光検出素子。
（２）
前記第１受光素子及び前記第２受光素子は、それぞれ、単一光子アバランシェダイオードである
前記（１）に記載の光検出素子。
（３）
前記第１画素は、可視光を受光して第１光電流を出力可能な前記第１受光素子を有する画素であり、
前記第２画素は、非可視光を受光して第２光電流を出力可能な前記第２受光素子を有する画素である
前記（１）または（２）に記載の光検出素子。
（４）
前記第１回路部は、前記第１信号として、前記第１光電流に基づく電圧信号の第１期間及び第２期間におけるパルス数の差分に基づく信号を出力可能である
前記（１）から（３）のいずれか１つに記載の光検出素子。
（５）
前記第１回路部は、前記第２信号として、前記第１期間及び前記第２期間における前記電圧信号のパルス数の和に基づく信号を出力可能である
前記（１）から（４）のいずれか１つに記載の光検出素子。
（６）
前記第１回路部は、前記第１期間における前記電圧信号のパルス数と前記第２期間における前記電圧信号のパルス数との差分に基づく信号を出力可能である第１カウンタ部を有し、
前記第１カウンタ部は、前記第１期間における前記電圧信号のパルス数が基準値に達したことを示す検出信号を出力可能である
前記（１）から（５）のいずれか１つに記載の光検出素子。
（７）
前記第１カウンタ部は、アップダウンカウンタを有する
前記（６）に記載の光検出素子。
（８）
前記第１回路部は、前記第１カウンタ部を制御可能な制御部を有し、
前記制御部は、前記第１期間の終了を示す前記検出信号に基づき、前記第２期間の終了を示す信号を前記第１カウンタ部へ出力可能である
前記（６）または（７）に記載の光検出素子。
（９）
前記制御部は、前記第１期間及び前記第２期間の各々の長さが同一となるように、前記第２期間の終了を示す信号を前記第１カウンタ部へ出力可能である
前記（８）に記載の光検出素子。
（１０）
前記制御部は、タイミングジェネレータを有する
前記（８）または（９）に記載の光検出素子。
（１１）
前記第１光電流に基づく電圧信号を生成可能な第１生成部と、
前記第２光電流に基づく電圧信号を生成可能な第２生成部と
を有する
前記（１）から（１０）のいずれか１つに記載の光検出素子。
（１２）
前記第１生成部及び前記第２生成部は、それぞれインバータを有する
前記（１１）に記載の光検出素子。
（１３）
複数の前記第１受光素子及び前記第２受光素子を有する第１基板と、
前記第１回路部及び前記第２回路部の少なくとも一部を有し、前記第１基板に積層される第２基板と
を有する
前記（１）から（１２）のいずれか１つに記載の光検出素子。
（１４）
光源を制御可能な光源制御部を有する
前記（１）から（１３）のいずれか１つに記載の光検出素子。
（１５）
前記第１回路部は、前記第１信号に基づいて、動く対象物の領域に関する第１領域信号を生成可能である
前記（１４）に記載の光検出素子。
（１６）
前記光源制御部は、前記第１領域信号に基づいて、前記光源の発光位置、光密度、出力パワーの少なくとも一つを制御可能である
前記（１５）に記載の光検出素子。
（１７）
前記第２回路部は、前記第２光電流に基づく電圧信号のパルス数をカウント可能な複数の第２カウンタ部を有し、
前記第２回路部は、前記光源の発光に応じて、前記電圧信号のパルス数に基づく前記第３信号を出力可能である
前記（１５）または（１６）に記載の光検出素子。
（１８）
前記第２回路部は、前記第１領域信号に基づいて、動く対象物までの距離に関する前記第３信号を出力可能である
前記（１５）から（１７）のいずれか１つに記載の光検出素子。
（１９）
前記光源制御部は、前記第３信号に基づいて、前記光源の発光位置、光密度、出力パワーの少なくとも一つを制御可能である
前記（１８）に記載の光検出素子。
（２０）
光源と、
光検出素子と、
前記光検出素子から出力される信号に基づいて前記光源を制御可能な光源制御部と
を備え、
前記光検出素子は、
光を受光して第１光電流を出力可能な第１受光素子を有する複数の第１画素と、
前記第１光電流に基づく信号を取得し、対象物の動きに関する第１信号と階調値に関する第２信号を出力可能な第１回路部と、
光を受光して第２光電流を出力可能な第２受光素子を有する複数の第２画素と、
前記第２光電流に基づく信号を取得し、対象物までの距離に関する第３信号を出力可能な第２回路部と
を有する光検出システム。
【符号の説明】
【0181】
１…光検出素子、１０ａ，１０ｂ…受光素子、２０ａ，２０ｂ…生成部、２５ａ，２５ｂ…供給部、３０ａ，３０ｂ…カウンタ部、３５…制御部、４０…判定部、６０…ビット反転部、７０ａ，７０ｂ…加算部、７５ａ，７５ｂ…メモリ部、１００…画素部、１１０…処理部、１２０ａ，１２０ｂ…画素回路部、１３０ａ，１３０ｂ…信号処理部、１４０ａ…第１回路部、１４０ｂ…第２回路部。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
