ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】信号処理装置、信号処理方法、および、測距装置
(51)【国際特許分類】
G01S 17/10 20200101AFI20240709BHJP
G01S 17/26 20200101ALI20240709BHJP
G01S 17/89 20200101ALI20240709BHJP
【ＦＩ】
G01S17/10
G01S17/26
G01S17/89
【請求項の数】
13
(21)【出願番号】P 2021565466
(86)(22)【出願日】2020-12-04
(86)【国際出願番号】 JP2020045171
(87)【国際公開番号】W WO2021124918
(87)【国際公開日】2021-06-24
【審査請求日】2023-10-12
(31)【優先権主張番号】P 2019227917
(32)【優先日】2019-12-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】三原 基
(72)【発明者】
【氏名】海津 俊
【審査官】藤田 都志行
(56)【参考文献】
【文献】特開２０１７－２０１７６０（ＪＰ，Ａ）
【文献】特表２０１５－５０１９２７（ＪＰ，Ａ）
【文献】特表２０１３－５３８３４２（ＪＰ，Ａ）
【文献】特開２０１８－０７７１４３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／００４９７６７（ＵＳ，Ａ１）
【文献】国際公開第２０１４／１４６９７８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／４８－ ７／５１
Ｇ０１Ｓ １７／００－１７／９５
Ｇ０１Ｃ ３／０６
(57)【特許請求の範囲】
【請求項13】
第１の周波数で照射光を照射したとき第１の位相差を検出するとともに、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき第２の位相差を検出する測距センサと、前記第１の位相差、または、前記第２の位相差を用いて、物体までの距離を算出する信号処理装置と
を備え、
前記信号処理装置は、
前記第１の位相差、または、前記第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定する条件判定部と、
前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する距離算出部と
を備える
測距装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、信号処理装置、信号処理方法、および、測距装置に関し、特に、２つの周波数で測距を行った結果をもとに周期数Nの不定性を解消する手法において、周期数Nの誤検出を防止することができるようにした信号処理装置、信号処理方法、および、測距装置に関する。
【背景技術】
【0002】
近年、半導体技術の進歩により、物体までの距離を測定する測距モジュールの小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距モジュールを搭載することが実現されている。
【0003】
測距モジュールにおける測距方法としては、例えば、Indirect ToF（Time of Flight）方式が知られている。Indirect ToF方式は、物体に向かって照射光が発光され、その照射光が物体の表面で反射され返ってくる反射光を検出し、照射光が発光されてから反射光が受光されるまでの時間を位相差として検出し、位相差に基づいて物体までの距離を算出する方式である。
【0004】
Indirect ToF方式の測距では、周期数Nが不明なことによる不定性が存在する。すなわち、検出される位相差は2πの周期で繰り返されるため、１つの位相差に対して、複数の距離が該当し得る。換言すれば、検出された位相差が、2πの周期を何周（N周）した状態の位相差であるのかが不明である。
【0005】
この周期数Nの不定性に対して、例えば、特許文献１では、輝度情報を利用して、例えば、輝度が高い場合は1周期目、輝度が低い場合は2周期目以降と判断する手法が開示されている。
【0006】
また、非特許文献１では、画像の空間的な連続性を仮定して、周期の変わり目となるエッジを検出し、検出したエッジがなめらかに接続されるように周期を設定する手法が開示されている。
【0007】
また、非特許文献２では、第１の周波数flで駆動させて得られたデプス画像と、第２の周波数fh（fl＜fh）で駆動させて得られたデプス画像を解析することにより、周期数Nの不定性を解消する手法が開示されている。
【先行技術文献】
【特許文献】
【0008】
【文献】特表２０１５－５０１９２７号公報
【非特許文献】
【0009】
【文献】Resolving depth measurement ambiguity with commercially available range imaging cameras, in Proceedings of SPIE, 2010
【文献】Analysis of Errors in ToF Range Imaging With Dual-Frequency Modulation, IEEE Transactions on Instrumentation and Measurement, 2011
【発明の概要】
【発明が解決しようとする課題】
【0010】
非特許文献２の技術では、剰余演算によって周期数Nを推定しているが、検出される位相差にノイズ等により誤差が一定値以上発生した場合、推定される周期が変わってしまう。その結果、最終的な測距の結果に数メートルもの大きな誤差が生じてしまう。
【0011】
本技術は、このような状況に鑑みてなされたものであり、２つの周波数で測距を行った結果をもとに周期数Nの不定性を解消する手法において、周期数Nの誤検出を防止することができるようにするものである。
【課題を解決するための手段】
【0012】
本技術の第１の側面の信号処理装置は、第１の周波数で照射光を照射したとき測距センサで検出される第１の位相差、または、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき測距センサで検出される第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定する条件判定部と、前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する距離算出部とを備える。
【0013】
本技術の第２の側面の信号処理方法は、信号処理装置が、第１の周波数で照射光を照射したとき測距センサで検出される第１の位相差、または、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき測距センサで検出される第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定し、前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する。
【0014】
本技術の第３の側面の測距装置は、第１の周波数で照射光を照射したとき第１の位相差を検出するとともに、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき第２の位相差を検出する測距センサと、前記第１の位相差、または、前記第２の位相差を用いて、物体までの距離を算出する信号処理装置とを備え、前記信号処理装置は、前記第１の位相差、または、前記第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定する条件判定部と、前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する距離算出部とを備える。
【0015】
本技術の第１乃至第３の側面においては、第１の周波数で照射光を照射したとき測距センサで検出される第１の位相差、または、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき測距センサで検出される第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかが判定され、前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数が判定され、前記第１の位相差および前記第２の位相差を用いて、物体までの距離が算出される。
【0016】
信号処理装置及び測距装置は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
【図面の簡単な説明】
【0017】
【図1】Indirect ToF方式の測距原理を説明する図である。
【図2】Indirect ToF方式の測距原理を説明する図である。
【図3】非特許文献２に開示の手法を説明する図である。
【図4】非特許文献２に開示の手法を説明する図である。
【図5】非特許文献２に開示の手法を説明する図である。
【図6】非特許文献２に開示の手法を説明する図である。
【図7】非特許文献２に開示の手法における問題を説明する図である。
【図8】本開示の手法を適用した測距システムの概略構成例を示すブロック図である。
【図9】測距装置の信号処理部の詳細構成例を示すブロック図である。
【図12】測距装置のチップ構成例を示す斜視図である。
【図13】本技術を適用した電子機器の構成例を示すブロック図である。
【図14】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図15】車両制御システムの概略的な構成の一例を示すブロック図である。
【図16】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0018】
以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．Indirect ToF方式による測距の原理
２．非特許文献２に開示の手法
３．本開示の手法
４．測距システムの概略構成例
５．信号処理部の詳細構成例
６．第１距離測定処理の処理フロー
７．第２距離測定処理の処理フロー
８．３周波数以上への適用
９．アプリケーション適用例
１０．測距装置のチップ構成例
１１．電子機器の構成例
１２．コンピュータの構成例
１３．移動体への応用例
１．Indirect ToF方式による測距の原理
２．非特許文献２に開示の手法
３．本開示の手法
４．測距システムの概略構成例
５．信号処理部の詳細構成例
６．第１距離測定処理の処理フロー
７．第２距離測定処理の処理フロー
８．３周波数以上への適用
９．アプリケーション適用例
１０．測距装置のチップ構成例
１１．電子機器の構成例
１２．コンピュータの構成例
１３．移動体への応用例
【0019】
＜１．Indirect ToF方式による測距の原理＞
本開示は、Indirect ToF方式による測距を行う測距モジュールに関する。
本開示は、Indirect ToF方式による測距を行う測距モジュールに関する。
【0020】
【0021】
図１に示されるように、発光源１は、所定の周波数（例えば、100MHzなど）で変調された光を照射光として発光する。照射光には、例えば、波長が約８５０ｎｍから９４０ｎｍの範囲の赤外光が用いられる。発光源１が照射光を発光する発光タイミングは、測距センサ２から指示される。
【0022】
発光源１から照射された照射光は、被写体としての所定の物体３の表面で反射され、反射光となって、測距センサ２へ入射される。測距センサ２は、反射光を検出し、照射光が発光されてから反射光が受光されるまでの時間を位相差として検出し、位相差に基づいて物体までの距離を算出する。
【0023】
測距センサ２から被写体としての所定の物体３までの距離に相当するデプス値ｄは、以下の式（１）で計算することができる。
【数1】
【0024】
式（１）のΔｔは、発光源１から出射された照射光が物体３で反射して測距センサ２に入射するまでの時間であり、ｃは、光速を表す。
【0025】
発光源１から照射される照射光には、図２に示されるような、所定の変調周波数ｆで高速にオンオフを繰り返す発光パターンのパルス光が採用される。発光パターンの１周期Tは１／ｆとなる。測距センサ２では、発光源１から測距センサ２に到達するまでの時間Δｔに応じて、反射光（受光パターン）の位相がずれて検出される。この発光パターンと受光パターンとの位相のずれ量（位相差）をφとすると、時間Δｔは、下記の式（２）で算出することができる。
【数2】
【0026】
したがって、測距センサ２から物体３までのデプス値ｄは、式（１）と式（２）とから、下記の式（３）で算出することができる。
【数3】
【0027】
次に、上述の位相差φの算出手法について説明する。
【0028】
測距センサ２に形成された画素アレイの各画素は、高速にON／OFFを繰り返し、ON期間のみの電荷を蓄積する。
【0029】
測距センサ２は、画素アレイの各画素のON／OFFの実行タイミングを順次切り替えて、各実行タイミングにおける電荷を蓄積し、蓄積電荷に応じた検出信号を出力する。
【0030】
ON／OFFの実行タイミングには、たとえば、位相０度、位相９０度、位相１８０度、および、位相２７０度の４種類がある。
【0031】
位相０度の実行タイミングは、画素アレイの各画素のONタイミング（受光タイミング）を、発光源１が出射するパルス光の位相、すなわち発光パターンと同じ位相とするタイミングである。
【0032】
位相９０度の実行タイミングは、画素アレイの各画素のONタイミング（受光タイミング）を、発光源１が出射するパルス光（発光パターン）から９０度遅れた位相とするタイミングである。
【0033】
位相１８０度の実行タイミングは、画素アレイの各画素のONタイミング（受光タイミング）を、発光源１が出射するパルス光（発光パターン）から１８０度遅れた位相とするタイミングである。
【0034】
位相２７０度の実行タイミングは、画素アレイの各画素のONタイミング（受光タイミング）を、発光源１が出射するパルス光（発光パターン）から２７０度遅れた位相とするタイミングである。
【0035】
測距センサ２は、例えば、位相０度、位相９０度、位相１８０度、位相２７０度の順番で受光タイミングを順次切り替え、各受光タイミングにおける反射光の輝度値（蓄積電荷）を取得する。図２では、各位相の受光タイミング（ONタイミング）において、反射光が入射されるタイミングに斜線が付されている。
【0036】
図２に示されるように、受光タイミングを、位相０度、位相９０度、位相１８０度、および、位相２７０度としたときに輝度値（蓄積電荷）を、それぞれ、p０、p９０、p１８
０、および、p２７０とすると、位相差φは、輝度値p０、p９０、p１８０、および、p２
７０を用いて、下記の式（４）で算出することができる。
【数4】
【0037】
式（４）のI＝p０－p１８０、Q＝p９０－p２７０は、照射光の変調波の位相を複素平面（IQ平面）上に変換した実部Iと虚部Qを表す。式（４）で算出された位相差φを上記の式（３）に入力することにより、測距センサ２から物体３までのデプス値ｄを算出することができる。
【0038】
また、各画素で受光される光の強度は、信頼度confと呼ばれ、以下の式（５）で計算することができる。この信頼度confは、照射光の変調波の振幅Aに相当する。
【数5】
【0039】
また、受信した反射光に含まれる環境光の大きさBは、次式（６）で推定することができる。
【数6】
【0040】
測距センサ２が、一般的なイメージセンサのように、画素アレイの各画素に１つの電荷蓄積部を備える構成では、以上のように受光タイミングを、位相０度、位相９０度、位相１８０度、および、位相２７０度と順番に各フレームで切り替え、各位相における蓄積電荷（輝度値p０、輝度値p９０、輝度値p１８０、および、輝度値p２７０）に応じた検出信号を生成するため、４フレーム分の検出信号が必要となる。
【0041】
一方、測距センサ２が、画素アレイの各画素に電荷蓄積部を２つ備える構成の場合には、２つの電荷蓄積部に交互に電荷を蓄積させることにより、例えば、位相０度と位相１８０度のように、位相が反転した２つの受光タイミングの検出信号を１フレームで取得することができる。この場合、位相０度、位相９０度、位相１８０度、および、位相２７０度の４位相の検出信号を取得するためには、２フレーム分の検出信号があればよい。
【0042】
測距センサ２は、画素アレイの画素ごとに供給される検出信号に基づいて、測距センサ２から物体３までの距離であるデプス値ｄを算出する。そして、各画素の画素値としてデプス値ｄが格納されたデプスマップと、各画素の画素値として信頼度confが格納された信頼度マップとが生成されて、測距センサ２から外部へ出力される。
【0043】
＜２．非特許文献２に開示の手法＞
以上のように、Indirect ToF方式による測距では、照射光が発光されてから反射光が受光されるまでの時間が位相差φとして検出される。位相差φは、距離に応じて０≦φ＜２πを周期的に繰り返すため、2πの周期数N、すなわち、検出された位相差が2πの周期を何周（N周）した状態の位相差であるのかが不明となる。この位相差φが何周目（N周目）の状態かが不明であることを、周期数Nの不定性と呼ぶことにする。
以上のように、Indirect ToF方式による測距では、照射光が発光されてから反射光が受光されるまでの時間が位相差φとして検出される。位相差φは、距離に応じて０≦φ＜２πを周期的に繰り返すため、2πの周期数N、すなわち、検出された位相差が2πの周期を何周（N周）した状態の位相差であるのかが不明となる。この位相差φが何周目（N周目）の状態かが不明であることを、周期数Nの不定性と呼ぶことにする。
【0044】
上述した非特許文献２には、発光源１の変調周波数を第１の周波数flに設定して得られたデプスマップと、第２の周波数fh（fl＜fh）に設定して得られたデプスマップを解析することにより、周期数Nの不定性を解消する手法が開示されている。
【0045】
ここで、測距センサ２が、非特許文献２に開示の手法を実行するセンサであるとして、非特許文献２に開示された、周期数Nの不定性を解消する手法について説明する。
【0046】
いま例として、発光源１の第１の周波数flを６０MHz、第２の周波数fh（fl＜fh）を１００MHzとする例について説明する。以下では、理解を簡単にするため、第１の周波数fl＝６０MHzを、低周波数flと称し、第２の周波数fh＝１００MHzを、高周波数fhと称して説明する場合がある。
【0047】
図３は、発光源１の変調周波数を低周波数fl＝６０MHzとした場合と、高周波数fh＝１００MHzとした場合に、測距センサ２において式（３）で算出されるデプス値ｄを示している。
【0048】
図３の横軸は、物体までの実際の距離D（以下、真の距離Dと称する。）を表し、縦軸は、測距センサ２で検出される位相差φから算出されるデプス値ｄを表す。
【0049】
図３に示されるように、変調周波数が低周波数fl＝６０MHzである場合、１周期は、２．５ｍとなり、デプス値ｄは、真の距離Dが増大するにしたがい、０ｍから２．５ｍの範囲を繰り返す。一方、変調周波数が高周波数fh＝１００MHzである場合、１周期は、１．５ｍとなり、デプス値ｄは、真の距離Dが増大するにしたがい、０ｍから１．５ｍの範囲を繰り返す。
【0050】
真の距離Dと、デプス値ｄとには、以下の式（７）の関係が成り立つ。
D＝ｄ＋N・ｄmax （N=0,1.2.3,・・・） ・・・・・（７）
ここで、ｄmaxは、デプス値ｄが取り得る最大値を表し、低周波数fl＝６０MHzのとき、ｄl max＝２．５であり、高周波数fh＝１００MHzのとき、ｄh max＝１．５である。Nは、２πを何周したかを表す周期数に対応する。
D＝ｄ＋N・ｄmax （N=0,1.2.3,・・・） ・・・・・（７）
ここで、ｄmaxは、デプス値ｄが取り得る最大値を表し、低周波数fl＝６０MHzのとき、ｄl max＝２．５であり、高周波数fh＝１００MHzのとき、ｄh max＝１．５である。Nは、２πを何周したかを表す周期数に対応する。
【0051】
式（７）の真の距離Dとデプス値ｄの関係が、周期数Nの不定性を表している。
【0052】
測距センサ２は、低周波数fl＝６０MHzのときのデプス値ｄlの最大値ｄl
max＝２．５と、高周波数fh＝１００MHzのときのデプス値ｄhの最大値ｄh
max＝１．５のそれぞれが整数となるように、２つの周波数の比で正規化する。
【0053】
図４は、低周波数fl＝６０MHzと高周波数fh＝１００MHzのそれぞれにおける、真の距離Dと、正規化後のデプス値ｄ’の関係を示している。
【0054】
正規化後の低周波数fl＝６０MHzによるデプス値ｄl’は、ｋｈ・Ｍｌと表すことができ、正規化後の高周波数fh＝１００MHzによるデプス値ｄh’は、ｋｌ・Ｍｈと表すことができ、ｋｈおよびｋｌは、以下の式（８）で表され、正規化後のデプス値ｄ’の最大値に対応する。
ここで、gcd(fh,fl)は、fhとflの最大公約数を演算する関数である。また、ＭｌとＭｈは、低周波数flにおけるデプス値ｄlと、その最大値ｄl
max、高周波数fhにおけるデプス値ｄhと、その最大値ｄh
maxを用いて、式（９）で表される。
【数7】
【数8】
【0055】
次に、測距センサ２は、図５に示されるように、正規化後の高周波数fhのデプス値ｄh’＝ｋｌ・Ｍｈから、正規化後の低周波数flのデプス値ｄl’＝ｋｈ・Ｍｌを減算した値ｅ＝｛ｋｌ・Ｍｈ－ｋｈ・Ｍｌ｝を算出する。
【0056】
図５の右側に示される減算値ｅを見て分かるように、正規化後の高周波数fhのデプス値ｄh’と、正規化後の低周波数flのデプス値ｄl’との関係性は、真の距離Dの区間内で一意に決定される。例えば、減算値ｅが－３となる距離は、真の距離Dが１．５ｍから２．５ｍの区間だけであり、減算値ｅが２となる距離は、真の距離Dが２．５ｍから３．０ｍの区間だけである。
【0057】
次に、測距センサ２は、以下の式（１０）を満たすｋ０を決定し、式（１１）により周期数Nｌを算出する。式（１０）および式（１１）において、％は、剰余を取り出す演算子を表す。ｋ０は、例えば、低周波数fl＝６０MHz、高周波数fh＝１００MHzのとき、２となる。
【数9】
【0058】
図６は、式（１１）により周期数Nｌを算出した結果を示している。
【0059】
図６を参照して分かるように、式（１１）により算出される周期数Nｌが、位相空間の何周目かを表す。式（１１）を、2πの周期数Nｌを判定する周期数判定式とも称する。
【0060】
非特許文献２に開示された手法では、以上のようにして、周期数Nｌを算出することにより、周期数Nの不定性を解消し、最終的なデプス値ｄが決定される。
【0061】
なお、図５に示した減算値ｅを、ｅ＝｛ｋｈ・Ｍｌ－ｋｌ・Ｍｈ｝、即ち、正規化後の低周波数flのデプス値ｄl’＝ｋｈ・Ｍｌから、正規化後の高周波数fhのデプス値ｄh’＝ｋｌ・Ｍｈを減算して算出した場合には、周期数Nは、式（１１）の低周波数flを基準とする周期数Nｌではなく、高周波数fhを基準とする次式（１１）’の周期数Nhで算出される。
【数10】
【0062】
ところで、測距センサ２で得られる観測値には、実際にはノイズが多少なりとも発生する。
【0063】
図７は、測距センサ２で得られる観測値にノイズが含まれた場合の正規化後のデプス値ｄ’、減算値ｅ、および、周期数Nｌの例を示している。
【0064】
【0065】
周期数Nｌは、ｋ０（ｋｌ・Ｍｈ－ｋｈ・Ｍｌ）を、ｋｌで除算した余りによって決定されるが、ｋｌで除算される部分ｋ０（ｋｌ・Ｍｈ－ｋｈ・Ｍｌ）に、ノイズにより±０．５以上の誤差が含まれてしまうと、図７の下段の周期数Nｌの例のように、繰り上がりまたは繰り下がりが発生してしまい、周期数Nｌに１周期分の誤りが発生する。低周波数fl＝６０MHzの場合の１周期は、２．５ｍであるので、１周期の誤りが発生すると、２．５ｍもの誤差が発生してしまう。
【0066】
＜３．本開示の手法＞
そこで、図８を参照して後述する測距装置１２は、上述した式（１１）の周期数判定式において、ノイズによる繰り上がりまたは繰り下がりが発生しない、換言すれば、ｋｌで除算される部分ｋ０（ｋｌ・Ｍｈ－ｋｈ・Ｍｌ）に、±０．５以上の誤差が含まれないように制御する。
そこで、図８を参照して後述する測距装置１２は、上述した式（１１）の周期数判定式において、ノイズによる繰り上がりまたは繰り下がりが発生しない、換言すれば、ｋｌで除算される部分ｋ０（ｋｌ・Ｍｈ－ｋｈ・Ｍｌ）に、±０．５以上の誤差が含まれないように制御する。
【0067】
また、逆に言えば、繰り上がりまたは繰り下がりが発生しない限度においては、ノイズを許容できるとも言えるので、繰り上がりまたは繰り下がりが発生しない限度で消費電力を低減するような制御を行うことも可能である。
【0068】
まず、図８の測距装置１２が実行する、本開示の手法について説明する。
【0069】
初めに、測距装置１２で観測される輝度値pに、平均が０、分散がσ２(p)の正規分布で表現される加法性ノイズ（光ショットノイズ）が生じると仮定する。分散σ２(p)は、式（１２）で表すことができ、定数ｃ０、ｃ１は、センサゲインなどの駆動パラメータによって決定される値であり、簡易な計測によって求めることができる。
σ２(p)＝ｃ０＋ｃ１・ｐ ・・・・・・・（１２）
σ２(p)＝ｃ０＋ｃ１・ｐ ・・・・・・・（１２）
【0070】
式（４）の実部I＝p０－p１８０、虚部Q＝p９０－p２７０にも、平均０、分散σ２(p)の正規分布N(０；σ２(p))で表現される加法性ノイズが生じる。実部Iに含まれるノイズをｎI、虚部Qに含まれるノイズをｎQとすると、ノイズを考慮した実部Iおよび虚部Qは、式（１３）および式（１４）のように定式化される。
【0071】
I＋ｎI＝ｐ０＋N(０；σ２(p０)) －ｐ１８０＋N(０；σ２(p１８０))
＝ｐ０＋N(０；ｃ０＋ｃ１・p０) －ｐ１８０＋N(０；ｃ０＋ｃ１・p１８０) ・・（１３）
Q＋ｎQ＝ｐ９０＋N(０；σ２(p９０)) －ｐ２７０＋N(０；σ２(p２７０))
＝ｐ９０＋N(０；ｃ０＋ｃ１・p９０) －ｐ２７０＋N(０；ｃ０＋ｃ１・p２７０) ・・（１４）
＝ｐ０＋N(０；ｃ０＋ｃ１・p０) －ｐ１８０＋N(０；ｃ０＋ｃ１・p１８０) ・・（１３）
Q＋ｎQ＝ｐ９０＋N(０；σ２(p９０)) －ｐ２７０＋N(０；σ２(p２７０))
＝ｐ９０＋N(０；ｃ０＋ｃ１・p９０) －ｐ２７０＋N(０；ｃ０＋ｃ１・p２７０) ・・（１４）
【0072】
さらに、正規分布の性質である
N(μ１；σ１)－N(μ２；σ２)＝N(μ１－μ２；σ１＋σ２)
を利用すると、式（１３）および式（１４）は、
I＋ｎI＝ｐ０－ｐ１８０＋N(０；ｃ０＋ｃ１・（p０＋p１８０)) ・・（１３A）
Q＋ｎQ＝ｐ９０－ｐ２７０＋N(０；ｃ０＋ｃ１・（p９０＋p２７０)) ・・（１４A）
と表現することができる。
N(μ１；σ１)－N(μ２；σ２)＝N(μ１－μ２；σ１＋σ２)
を利用すると、式（１３）および式（１４）は、
I＋ｎI＝ｐ０－ｐ１８０＋N(０；ｃ０＋ｃ１・（p０＋p１８０)) ・・（１３A）
Q＋ｎQ＝ｐ９０－ｐ２７０＋N(０；ｃ０＋ｃ１・（p９０＋p２７０)) ・・（１４A）
と表現することができる。
【0073】
すなわち、実部Iに生じるノイズｎIは分散V[I]＝ｃ０＋ｃ１・（p０＋p１８０)となる正規分布として記述することができ、虚部Qに生じるノイズｎQは分散V[Q]＝ｃ０＋ｃ１・（p９０＋p２７０)となる正規分布として記述することができる。
【0074】
次に、測距装置１２で検出される位相差φは式（４）で表されるが、式（１３A）の実部Iに生じるノイズｎIの分散V[I]と、式（１４A）の虚部Qに生じるノイズｎQの分散V[Q]から、測距装置１２で検出される位相差φの分散V[φ]への変換を考える。
【0075】
まず、平均μｘ、分散σ２
ｘである確率変数Xがあるとき、arctan（X）の分散を考える。arctan（X）の分散を、テイラー展開によって１次までの近似値として求めることとする。
【0076】
arctan（X）の微分（arctan（X））’は、
であるため、arctan（X）を１次近似すると、
となり、確率変数Xの分散は、σ２
ｘであるので、V[k・X]＝k２・V[X]（ｋは定数）から、arctan(X)の分散V[arctan(X)]は、
と近似することができる。式（１５）における2重の波線は近似を表す。
【数11】
【数12】
【数13】
【0077】
続いて、実部Iが平均μI、分散σI
２の確率変数、虚部Qが平均μQ、分散σQ
２の確率変数であるとして、確率変数X=Q/Iも、テイラー展開によって１次までの近似値として求めることとする。
【0078】
確率変数X=Q/Iのテイラー展開を１次まで記述すると、
で表される。このとき、確率変数X=Q/Iの分散V[X]＝V[Q/I]は、
となる。
【数14】
【数15】
【0079】
最終的に求めたい分散は、位相差φの分散V[φ]＝V[arctan(Q/I)]であるので、式（１５）に、確率変数X=Q/Iの平均μｘ＝μQ/μIと、式（１６）で得られた確率変数X=Q/Iの分散V[X]＝V[Q/I]を代入すると、
が得られる。このとき、実部Iと虚部Qの二乗和の平方根√（μI
２＋μQ
２）は、式（５）の振幅Aに等しく、分散V[I]およびV[Q]は、同じ分散σ２であると近似すると、分散V[φ]は、式（１８）で表すことができる。
ここで、式（１８）のAは、式（５）で表される反射光の振幅（信号強度）、Bは式（６）で表される、環境光の大きさである。
【数16】
【数17】
【0080】
以上より、測距装置１２で観測される輝度値pに、平均が０、分散がσ２(p)の正規分布で表現される加法性ノイズが生じると仮定した場合に、検出される位相差φにのるノイズｎの分散V[φ]を、式（１８）で表すことができた。
【0081】
次に、非特許文献２に開示の周期数Nの不定性を解消する手法において、式（１１）により算出される周期数Nｌにのるノイズ起因の誤差について検討する。
【0082】
図７で説明したように、ｋｌで除算される部分ｋ０（ｋｌ・Ｍｈ－ｋｈ・Ｍｌ）に、ノイズにより±０．５以上の誤差が含まれてしまうと繰り上がりまたは繰り下がりが発生してしまう。
【0083】
逆に言えば、ノイズが発生しない場合、ｋｌで除算される部分（以下、ｋｌ除算部とも称する。）である、
ｋ０（ｋｌ・Ｍｈ－ｋｈ・Ｍｌ） ・・・・・（１９）
は必ず整数値となる。
ｋ０（ｋｌ・Ｍｈ－ｋｈ・Ｍｌ） ・・・・・（１９）
は必ず整数値となる。
【0084】
低周波数flで検出されるデプス値ｄlに上記の正規分布のノイズｎlが、高周波数fhで検出されるデプス値ｄhに上記の正規分布のノイズｎhが生じる場合、式（１９）のｋｌ除算部は、
と表すことができる。このとき、ノイズ起因の誤差errは、
err＝ｋ０（ｋｌ・ｎh－ｋｈ・ｎl） ・・・・・（２０）
と表すことができる。
【数18】
err＝ｋ０（ｋｌ・ｎh－ｋｈ・ｎl） ・・・・・（２０）
と表すことができる。
【0085】
式（１９）のｋｌ除算部に、繰り上がりまたは繰り下がりが発生しないためには、ノイズ起因の誤差errに、±０．５以上の誤差が含まれなければよい。すなわち、
－０．５＜ err ＜０．５ ・・・・・（２１）
である。
－０．５＜ err ＜０．５ ・・・・・（２１）
である。
【0086】
ノイズｎlの発生は正規分布N(０；σ２
ｌ)にしたがい、ノイズｎhの発生は正規分布N(０；σ２
h)にしたがうと仮定しているので、ノイズ起因の誤差errの発生分布は、
err＝N(０；ｋ０ ２（ｋｌ ２・σ２ h＋ｋｈ ２・σ２ ｌ）) ・・・・・（２２）
の正規分布となる。
err＝N(０；ｋ０ ２（ｋｌ ２・σ２ h＋ｋｈ ２・σ２ ｌ）) ・・・・・（２２）
の正規分布となる。
【0087】
そこで、ノイズ起因の誤差errが９９．６％の確率で±０．５の範囲に収まることを条件とする。即ち、ノイズ起因の誤差errの±３σが±０．５の範囲内、
３σ[err] ＜ ０．５ ・・・・・（２３）
を計算する。
３σ[err] ＜ ０．５ ・・・・・（２３）
を計算する。
【0088】
σ[err]は、式（２２）より、
であるため、式（２３）は、
と表される。
【数19】
【数20】
【0089】
ここで、σｈ
２およびσl
２は、
で表され、σ２（φｈ）およびσ２（φl）は、式（１８）より、
で表されるから、式（２４）に、式（２５）および式（２６）を代入して変形すると、
となる。
【数21】
【数22】
【数23】
【0090】
したがって、式（２７）の条件を満たすとき、式（１１）により算出される周期数Nｌには、繰り上がりまたは繰り下がりが９９．６％の確率で発生しない。
【0091】
図８の測距装置１２は、式（２７）の条件を満たしているか否かを判定することで、周期数Nｌに繰り上がりまたは繰り下がりが発生していないかを確認した上で、真の距離Dl ＝ｄl＋Nl・ｄl
maxを算出することができる。
【0092】
すなわち、本開示の手法によれば、非特許文献２に開示の周期数Nの不定性を解消する手法において、周期数Nの誤検出を防止し、デプス値ｄを算出することができる。
【0093】
なお、式（２７）は、繰り上がりまたは繰り下がりが発生しない確率を正規分布の３σ以内である９９．６％とした条件式であるが、条件の緩和・厳密さを任意に設定可能とするため、正規分布のmσ以内（ｍ＞０）とするようなパラメータmを導入してもよい。その場合、式（２７）は、式（２８）のように表される。
【数24】
【0094】
＜４．測距システムの概略構成例＞
図８は、上述した本開示の手法を適用した測距システムの概略構成例を示すブロック図である。
図８は、上述した本開示の手法を適用した測距システムの概略構成例を示すブロック図である。
【0095】
図８に示される測距システム１０は、Indirect ToF方式による測距を行うシステムであり、光源装置１１、および、測距装置１２を有する。測距システム１０は、物体に対して光を照射し、その光（照射光）が物体３（図１）で反射されてきた光（反射光）を受光することにより、物体３までの距離情報としてのデプスマップを生成して出力する。より具体的には、測距システム１０は、２種類の周波数flおよびfh（低周波数flと高周波数fh）で照射光を照射し、その反射光を受光して、非特許文献２に開示の手法により周期数Nの不定性を解消し、物体３までの真の距離Dを算出する。
【0096】
測距装置１２は、発光制御部３１、測距センサ３２、および、信号処理部３３で構成されている。
【0097】
光源装置１１は、例えば、VCSEL（Vertical Cavity Surface Emitting Laser：垂直共振器面発光レーザ)を平面状に複数配列したVCSELアレイを発光源２１として含み、発光制御部３１から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。
【0098】
発光制御部３１は、所定の変調周波数（例えば、100MHzなど）となる発光制御信号を生成し、光源装置１１に供給することにより、光源装置１１を制御する。また、発光制御部３１は、光源装置１１における発光のタイミングに合わせて測距センサ３２を駆動させるために、発光制御信号を測距センサ３２にも供給する。発光制御信号は、信号処理部３３から供給される駆動パラメータに基づいて生成される。非特許文献２に開示の手法によれば、２種類の周波数flおよびfh（低周波数flと高周波数fh）を順に設定し、光源装置１１は、２種類の周波数flおよびfhそれぞれに対応した照射光の発光を順に行う。
【0099】
測距センサ３２は、複数の画素が２次元配置された画素アレイで、物体３からの反射光を受光する。そして、そして、測距センサ３２は、受光した反射光の受光量に応じた検出信号で構成される画素データを、画素アレイの画素単位で信号処理部３３に供給する。
【0100】
信号処理部３３は、２種類の周波数flおよびfhそれぞれの照射光に対応する反射光を受光し、非特許文献２に開示の手法により周期数Nの不定性を解消し、物体３までの真の距離Dを算出する。
【0101】
さらに、信号処理部３３は、測距センサ３２から画素アレイの画素ごとに供給される画素データに基づいて、測距システム１０から物体３までの距離であるデプス値を算出し、各画素の画素値としてデプス値が格納されたデプスマップを生成して、モジュール外へ出力する。また、信号処理部３３は、各画素の画素値として信頼度confが格納された信頼度マップも生成して、モジュール外へ出力する。
【0102】
＜５．信号処理部の詳細構成例＞
図９は、測距装置１２の信号処理部３３の詳細構成例を示すブロック図である。
図９は、測距装置１２の信号処理部３３の詳細構成例を示すブロック図である。
【0103】
信号処理部３３は、画像取得部４１、環境認識部４２、条件判定部４３、駆動パラメータ設定部４４、画像記憶部４５、および、距離算出部４６を有する。
【0104】
画像取得部４１は、測距センサ３２から画素アレイの画素ごとに供給される画素データをフレーム単位で蓄積し、フレーム単位のRaw画像として、環境認識部４２および画像記憶部４５に供給する。例えば、測距センサ３２が画素アレイの各画素に電荷蓄積部を２つ備える構成の場合には、位相０度と位相１８０度の２種類の検出信号、または、位相９０度と位相２７０の度２種類の検出信号が、画素データとして、順に画像取得部４１に供給される。画像取得部４１は、画素アレイの各画素の位相０度と位相１８０度の検出信号から、位相０度のRaw画像と位相１８０度のRaw画像とを生成し、環境認識部４２および画像記憶部４５に供給する。また、画像取得部４１は、画素アレイの各画素の位相９０度と位相２７０度の検出信号から、位相９０度のRaw画像と位相２７０度のRaw画像とを生成し、環境認識部４２および画像記憶部４５に供給する。
【0105】
環境認識部４２は、画像取得部４１から供給される４位相のRaw画像を用いて、測定環境を認識する。具体的には、環境認識部４２は、４位相のRaw画像を用いて、式（５）で計算される反射光の振幅Aと、式（６）で計算される環境光の大きさBとを画素単位に算出し、条件判定部４３に供給する。算出された反射光の振幅Aと環境光の大きさBとは、条件判定部４３に供給される。
【0106】
条件判定部４３は、環境認識部４２から供給される反射光の振幅Aと環境光の大きさBとを用いて、現在の測定環境が、非特許文献２に開示の式（１１）の周期数Nｌの演算（周期数判定式）において、ノイズによる繰り上がりまたは繰り下がりが発生しない条件式を満たしているかを判定する。すなわち、条件判定部４３は、式（２８）（ｍ＝３のとき式（２７））の条件を満たしているかを判定する。条件判定部４３は、判定結果に基づいて駆動パラメータを変更する必要があると判定した場合、駆動パラメータの変更指示を駆動パラメータ設定部４４に供給する。一方、条件判定部４３は、判定結果に基づいて駆動パラメータを変更する必要がないと判定した場合、マップの演算指示を距離算出部４６に供給する。
【0107】
駆動パラメータ設定部４４は、条件判定部４３から駆動パラメータの変更指示が供給された場合、変更後の駆動パラメータを設定し、発光制御部３１に供給する。ここで設定される駆動パラメータは、光源装置１１の発光源２１が照射光の発光を行う際の２種類の周波数flおよびfh、測距センサ３２が露光を行う際の１位相当たりの露光時間、光源装置１１が発光する際の発光期間および発光輝度、などである。発光期間は、測距センサ３２の露光時間とも対応する。発光輝度は発光期間を制御することによっても調整することができる。発光制御部３１は、駆動パラメータ設定部４４から供給される駆動パラメータに基づいて、発光制御信号を生成する。
【0108】
条件判定部４３から、式（２８）の条件を満たしていないという判定結果が供給された場合、駆動パラメータ設定部４４は、低周波数flと高周波数fhのうち、高周波数fhの照射光の発光量が小さくなるように駆動パラメータを設定（変更）する。低周波数fl＜高周波数fhのとき、式（２８）のｋｈおよびｋｌを比較すると、ｋｈ>ｋｌとなる。したがって、ｋｈを係数に持つ振幅Aｌを大きく変更した方が、ｋｌを係数に持つ振幅Aｈを変更するよりも、式（２８）の左辺を小さくしやすい。
【0109】
一方、式（２８）の条件を満たしているという判定結果が供給された場合に、駆動パラメータ設定部４４は、式（２８）の条件を満たしつつ、消費電力を低減させるように駆動パラメータを設定（変更）してもよい。この場合、駆動パラメータ設定部４４は、例えば、ｋｌを係数に持つ振幅Aｈを小さく変更する。
【0110】
画像記憶部４５には、低周波数flにおける各位相のRaw画像と、高周波数fhにおける各位相のRaw画像とが画像取得部４１から供給される。画像記憶部４５は、画像取得部４１から供給されるRaw画像を一時的に記憶する。画像記憶部４５は、距離算出部４６からの要求に応じて、記憶している低周波数flにおける各位相のRaw画像と、高周波数fhにおける各位相のRaw画像とを、距離算出部４６に供給する。駆動パラメータが変更され、変更後の駆動パラメータによるRaw画像が、画像取得部４１から供給された場合、画像記憶部４５は、低周波数flと高周波数fhの周波数毎に、最新のRaw画像を上書き記憶する。
【0111】
距離算出部４６は、条件判定部４３から、マップの演算指示が供給された場合、画像記憶部４５に記憶されている低周波数flにおける各位相のRaw画像と、高周波数fhにおける各位相のRaw画像とを取得する。取得されるRaw画像は、式（２８）の条件を満たした２種類の周波数fそれぞれの４位相のRaw画像となっている。距離算出部４６は、２種類の周波数fそれぞれの４位相のRaw画像を用いて、非特許文献２に開示の手法、具体的には、式（１１）により周期数Nｌを決定し、物体３までの真の距離Dを算出する。
【0112】
さらに、距離算出部４６は、各画素の画素値としてデプス値（真の距離D）が格納されたデプスマップと、信頼度confが格納された信頼マップを生成して、モジュール外へ出力する。
【0113】
＜６．第１距離測定処理の処理フロー＞
図１０のフローチャートを参照して、図８の測距システム１０による第１距離測定処理を説明する。この処理は、例えば、測距システム１０に対して、距離測定の実行が指示されたとき、開始される。
図１０のフローチャートを参照して、図８の測距システム１０による第１距離測定処理を説明する。この処理は、例えば、測距システム１０に対して、距離測定の実行が指示されたとき、開始される。
【0114】
初めに、ステップＳ１において、駆動パラメータ設定部４４は、駆動パラメータの初期値を設定し、発光制御部３１に供給する。駆動パラメータの初期値として、光源装置１１の発光源２１が照射光の発光を行う際の第１の周波数fl＿０（低周波数fl＿０）、および、第１の周波数fl＿０よりも高い周波数となる第２の周波数fh＿０（高周波数fh＿０）と、測距センサ３２が露光を行う際の１位相当たりの露光時間EXP０が設定され、発光制御部３１に供給される。
【0115】
ステップＳ２において、光源装置１１および測距センサ３２は、第１の周波数fl（低周波数fl）による発光および受光を行う。
【0116】
ステップＳ２の処理では、発光制御部３１は、第１の周波数fl（低周波数fl）の発光制御信号を生成し、光源装置１１および測距センサ３２へ供給する。光源装置１１は、第１の周波数flの発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。測距センサ３２は、第１の周波数flの発光制御信号に応じたタイミングで反射光を受光し、受光量に応じた検出信号で構成される画素データを、画素アレイの画素単位で信号処理部３３に供給する。
【0117】
測距センサ３２は、図２を参照して説明したように、光源装置１１の発光タイミングに対して、位相０度、位相９０度、位相１８０度、および、位相２７０度の４位相のタイミングで反射光を受光し、画素データを信号処理部３３に供給する。信号処理部３３は、第１の周波数flにおける４位相のRaw画像を生成し、環境認識部４２および画像記憶部４５に供給する。
【0118】
ステップＳ３において、光源装置１１および測距センサ３２は、第２の周波数fh（高周波数fh）による発光および受光を行う。ステップＳ３の処理は、変調周波数が、第１の周波数flから第２の周波数fhに変更される点を除いて、ステップＳ２の処理と同様である。なお、ステップＳ２とＳ３の処理は順番が逆でもよい。
【0119】
ステップＳ４において、環境認識部４２は、画像取得部４１から供給される４位相のRaw画像を用いて、測定環境を認識する。環境認識部４２は、４位相のRaw画像を用いて、式（５）で計算される反射光の振幅Aと、式（６）で計算される環境光の大きさBとを画素単位に算出し、条件判定部４３に供給する。算出された反射光の振幅Aと環境光の大きさBとは、条件判定部４３に供給される。
【0120】
ステップＳ５において、条件判定部４３は、非特許文献２に開示の式（１１）の周期数Nｌの演算において、ノイズによる繰り上がりまたは繰り下がりが発生しない条件式を演算する。
【0121】
ステップＳ６において、条件判定部４３は、ノイズによる繰り上がりまたは繰り下がりが発生しない条件式、すなわち、式（２８）（ｍ＝３のとき式（２７））の条件式を満たしているかを判定する。
【0122】
ステップＳ６で、ノイズによる繰り上がりまたは繰り下がりが発生しない条件式を満たしていないと判定された場合、処理はステップＳ７に進み、条件判定部４３は、駆動パラメータの変更指示を駆動パラメータ設定部４４に供給する。駆動パラメータの変更指示には、条件を満たすように変更すべき具体的な駆動パラメータの値も含まれている。条件を満たすように変更すべき具体的な駆動パラメータの種類としては、例えば、第１の周波数flで発光する際の発光輝度に対応する振幅Aｌ、第２の周波数fhで発光する際の発光輝度に対応する振幅Ah、第１の周波数flおよび第２の周波数fhに関係するパラメータｋｈおよびｋｌが挙げられる。例えば、振幅Aｌが大きくなるように、光源装置１１が第１の周波数flで発光する際の発光輝度が大きく変更される。駆動パラメータ設定部４４は、駆動パラメータの変更指示にしたがい、駆動パラメータを変更する。変更後の駆動パラメータが発光制御部３１に供給される。ステップＳ７の後、処理はステップＳ２に戻り、変更後の駆動パラメータを用いて、ステップＳ２以降の処理が再度実行される。
【0123】
一方、ステップＳ６で、ノイズによる繰り上がりまたは繰り下がりが発生しない条件式を満たしていると判定された場合、処理はステップＳ８に進み、条件判定部４３は、消費電力を低減する駆動パラメータの変更を行うかを判定する。
【0124】
ステップＳ８で、消費電力を低減する駆動パラメータの変更を行うと判定された場合、処理はステップＳ９に進み、条件判定部４３は、駆動パラメータの変更指示を駆動パラメータ設定部４４に供給する。駆動パラメータの変更指示には、式（２８）の条件を満たしつつ、消費電力を低減させる具体的なパラメータの値も含まれている。例えば、振幅Aｈが小さくなるように、光源装置１１が第２の周波数fhで発光する際の発光輝度が小さく変更される。駆動パラメータ設定部４４は、駆動パラメータの変更指示にしたがい、駆動パラメータを変更する。変更後の駆動パラメータが発光制御部３１に供給される。ステップＳ９の後、処理はステップＳ２に戻り、変更後の駆動パラメータを用いて、ステップＳ２以降の処理が再度実行される。
【0125】
一方、ステップＳ８で、消費電力を低減する駆動パラメータの変更を行わないと判定された場合、処理はステップＳ１０に進み、条件判定部４３は、マップの演算指示を距離算出部４６に供給する。距離算出部４６は、条件判定部４３からのマップの演算指示に基づいて、デプスマップと信頼度マップを生成する。具体的には、距離算出部４６は、画像記憶部４５に記憶されている低周波数flにおける各位相のRaw画像と、高周波数fhにおける各位相のRaw画像とを取得する。そして、距離算出部４６は、式（１１）により周期数Nｌを決定し、物体３までの真の距離Dを算出する。さらに、距離算出部４６は、各画素の画素値としてデプス値（真の距離D）が格納されたデプスマップと、信頼度confが格納された信頼マップを生成して、モジュール外へ出力する。
【0126】
以上により、第１距離測定処理が終了する。
【0127】
上述した第１距離測定処理によれば、第１の周波数fl（低周波数fl）、および、第１の周波数flよりも高い周波数となる第２の周波数fh（高周波数fh）の２つの周波数を用いて測距を行った結果をもとに周期数Nの不定性を解消する非特許文献２に開示の手法において、周期数Nの誤検出を防止し、正確なデプス値ｄを算出することができる。
【0128】
さらに、周期数Nの誤検出が発生しない範囲で、光源装置１１が発光する際の発光輝度および周波数、測距装置１２の露光時間などの駆動パラメータを、消費電力を低減させるように制御することで、周期数Nの誤検出を防止し、かつ、消費電力を低減させる測距を行うことができる。より小さな発光量および露出で測距できるため、消費電力を抑えた長距離測距が可能となる。また、露出オーバーで起こるScattering Effectの効果を低減することができる。
【0129】
＜HDR合成による測定距離の拡大＞
周波数の異なる２枚のデプスマップを用いた測距方法として、第１の周波数の第１のデプスマップと、第２の周波数の第２のデプスマップとを合成処理し、ダイナミックレンジ（測定範囲）が拡大されたデプスマップ（以下、HDRデプスマップという。）を生成する処理が知られている。HDRデプスマップの生成処理では、第１のデプスマップを取得する場合と、第２のデプスマップを取得する場合とで、発光輝度に輝度差が設定される。一般に、周波数が高いほど測距範囲が短くなること、光の強度が距離の２乗に反比例する性質から、高い変調周波数で発光する場合の発光輝度を小さくして短距離測定用とし、低い変調周波数で発光する場合の発光輝度を大きくして長距離測定用とされる。
周波数の異なる２枚のデプスマップを用いた測距方法として、第１の周波数の第１のデプスマップと、第２の周波数の第２のデプスマップとを合成処理し、ダイナミックレンジ（測定範囲）が拡大されたデプスマップ（以下、HDRデプスマップという。）を生成する処理が知られている。HDRデプスマップの生成処理では、第１のデプスマップを取得する場合と、第２のデプスマップを取得する場合とで、発光輝度に輝度差が設定される。一般に、周波数が高いほど測距範囲が短くなること、光の強度が距離の２乗に反比例する性質から、高い変調周波数で発光する場合の発光輝度を小さくして短距離測定用とし、低い変調周波数で発光する場合の発光輝度を大きくして長距離測定用とされる。
【0130】
測距装置１２も、上述したように、周波数の異なる２種類のそれぞれについてデプスマップと信頼度マップを生成することができるので、周波数の異なる２枚のデプスマップを用いて、ダイナミックレンジが拡大されたHDRデプスマップを生成することができる。
【0131】
具体的には、測距装置１２の距離算出部４６は、第１の周波数fl（低周波数fl）で発光する際の発光輝度を第１の発光輝度に制御して、第１のデプスマップを生成し、第２の周波数fh（高周波数fh）で発光する際の発光輝度を第１の発光輝度よりも小さい第２の発光輝度に制御して、第２のデプスマップを生成し、ダイナミックレンジが拡大されたHDRデプスマップを生成することができる。
【0132】
HDRデプスマップの生成処理においても、信号処理部３３は、式（２８）の条件を満たしているかを判定し、ノイズによる繰り上がりまたは繰り下がりが発生しないように、駆動パラメータを制御することができる。また、式（２８）の条件を満たしつつ、消費電力を低減させる駆動パラメータの制御も可能である。
【0133】
HDRデプスマップの生成処理における駆動パラメータの制御においても、ｋｈを係数に持つ振幅Aｌを大きく変更した方が、ｋｌを係数に持つ振幅Aｈを変更するよりも、式（２８）の左辺を小さくしやすい。また、式（２８）の条件を満たしつつ、消費電力を低減させるように駆動パラメータを変更する場合には、ｋｌを係数に持つ振幅Aｈを小さく変更することができる。低周波数flと高周波数fhとで感度差を大きく設定するHDRデプスマップの生成処理において、式（２８）の条件に基づいて、発光強度や露光期間をどれだけ小さくしてもよいかがわかるため、感度差を設けやすくなる。
【0134】
＜７．第２距離測定処理の処理フロー＞
次に、測距システム１０による第２距離測定処理を説明する。
次に、測距システム１０による第２距離測定処理を説明する。
【0135】
環境認識部４２は、４位相のRaw画像を用いて、式（５）で計算される反射光の振幅Aと、式（６）で計算される環境光の大きさBを算出する。環境光の大きさBが大きいときは振幅Aに対してノイズが相対的に大きくなるため、SN比が低下する。反対に、環境光の大きさBが小さいときは、SN比が良好となる。
【0136】
第１の周波数flを６０MHz、第２の周波数fh（fl＜fh）を１００MHzとすると、第１の周波数flの１周期は２．５ｍ（＝ｄl
max）であり、第２の周波数fhの１周期は１．５ｍ（＝ｄh
max）であるので、上述の２種類の周波数の組合せおよび周期数Nの不定性の解消により、例えば、第１の周波数flによる駆動を基準とすると、１周期目から３周期目を区別可能となるため、７．５ｍまで測距可能となる。この２種類の周波数の組合せおよび周期数Nの不定性の解消により実質的に測距可能な最大距離を実効距離ｄｅ
max＝７．５ｍと呼ぶことにする。実効距離ｄｅ
maxは、fhとflの最大公約数である実効周波数ｆｅ＝gcd(fh,fl)で決定され、ｄｅ
max＝ｃ／２ｆｅに等しい。実効距離ｄｅ
maxをさらに大きくしたい場合には、実効周波数ｆｅ＝gcd(fh,fl)を小さくするような第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝を採用すればよい。ただし、実効周波数ｆｅ＝gcd(fh,fl)が小さく、実効距離ｄｅ
maxが大きい場合ほど、ノイズによる誤差が発生した場合、周期数Nに生じる誤差が大きくなってしまう。
【0137】
測距システム１０による第２距離測定処理では、条件判定部４３が、式（２５）を変形した次式（２６）のScoreを評価値として算出し、Scoreによって環境光の影響を判断する。環境光の影響が大きいようなシーンでは、条件判定部４３は、実効周波数ｆｅを大きくするような第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝を採用して、実効距離ｄｅ
maxを短くする。一方、環境光の影響が小さいようなシーンでは、実効周波数ｆｅを小さくするような第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝を採用して、実効距離ｄｅ
maxを長くする。
【数25】
【0138】
【0139】
【0140】
【0141】
図１１のステップＳ２６で、ノイズによる繰り上がりまたは繰り下がりが発生しない条件式を満たしていると判定された場合、処理はステップＳ２８に進み、条件判定部４３は、式（２９）のScoreを演算する。
【0142】
続いて、ステップＳ２９において、条件判定部４３は、Scoreの演算結果が十分に大きいかを判定する。ステップＳ２９では、例えば、Scoreの演算結果が所定の閾値以上である場合に、Scoreの演算結果が十分に大きいと判定される。
【0143】
ステップＳ２９で、Scoreの演算結果が十分に大きいと判定された場合、処理はステップＳ３０に進み、条件判定部４３は、変更すべき駆動パラメータを決定し、駆動パラメータの変更指示を駆動パラメータ設定部４４に供給する。駆動パラメータの変更指示には、変更すべき具体的な駆動パラメータの値も含まれている。駆動パラメータ設定部４４は、駆動パラメータの変更指示に基づいて、第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝を変更する。より具体的には、実効周波数ｆｅ＝gcd(fh,fl)が小さく、実効距離ｄｅ
maxが大きくなるような、第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝に変更される。条件判定部４３は、実効距離ｄｅ
maxが異なる第１の周波数flと第２の周波数fhの複数種類の組合せ｛fl，fh｝を、予め内部のメモリに記憶しておくことができ、その中から、現在の組合せよりも実効距離ｄｅ
maxが大きくなる第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝を選択し、駆動パラメータ設定部４４へ指定する。ステップＳ３０の後、処理はステップＳ２２に戻り、変更後の駆動パラメータを用いて、ステップＳ２２以降の処理が再度実行される。
【0144】
一方、ステップＳ２９で、Scoreの演算結果が十分に大きくはないと判定された場合、処理はステップＳ３１に進み、条件判定部４３は、消費電力を低減する駆動パラメータの変更を行うかを判定する。ステップＳ３１乃至Ｓ３３は、図１０のステップＳ８乃至Ｓ１０と同一である。
【0145】
以上により、第２距離測定処理が終了する。
【0146】
上述した第２距離測定処理によれば、第１距離測定処理と同様に、周期数Nの不定性を解消する非特許文献２に開示の手法において、周期数Nの誤検出を防止し、正確なデプス値ｄを算出することができる。また、周期数Nの誤検出が発生しない範囲で、消費電力を低減させる測距を行うことができる。
【0147】
さらに、第２距離測定処理によれば、測定環境を認識し、環境光の影響が大きいようなシーンでは、実効周波数ｆｅを大きくするような第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝を採用して、実効距離ｄｅ
maxを短くし、環境光の影響が小さいようなシーンでは、実効周波数ｆｅを小さくするような第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝を採用して、実効距離ｄｅ
maxを長くすることができる。
【0148】
＜第２距離測定処理の変形例＞
上述した第２距離測定処理では、式（２９）のScoreの演算結果が十分に大きい場合に、実効距離ｄｅ maxが大きくなる第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝に変更したが、実効距離ｄｅ maxは変わらないが、ノイズが小さくなるような、換言すれば、SN比が良好となるような周波数の組合せ｛fl，fh｝に変更する処理としてもよい。
上述した第２距離測定処理では、式（２９）のScoreの演算結果が十分に大きい場合に、実効距離ｄｅ maxが大きくなる第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝に変更したが、実効距離ｄｅ maxは変わらないが、ノイズが小さくなるような、換言すれば、SN比が良好となるような周波数の組合せ｛fl，fh｝に変更する処理としてもよい。
【0149】
例えば、第１の周波数flを４０MHz、第２の周波数fh（fl＜fh）を６０MHzとする低周波数の組合せ｛fl，fh｝＝｛４０，６０｝と、第１の周波数flを６０MHz、第２の周波数fh（fl＜fh）を１００MHzとする高周波数の組合せ｛fl，fh｝＝｛６０，１００｝は、いずれも、実効周波数ｆｅ＝gcd(fh,fl)＝２０MHzとなるので、実効距離ｄｅ
max＝７．５ｍは同一となる。
【0150】
しかしながら、式（２９）のScoreの演算結果は、低周波数の組合せ｛fl，fh｝＝｛４０，６０｝の方が大きくなる。ただし、それはあくまで、周期数Nの不定性の解消能力が高いのであって、得られるデプス値ｄには、大きなノイズが生じる。一方、高周波数の組合せ｛fl，fh｝＝｛６０，１００｝は、周期数Nの不定性の解消に誤差が生じる可能性は、低周波数の組合せよりも高いものの、得られるデプス値ｄのノイズは、低周波数の組合せよりも小さくなる。
【0151】
ステップＳ２９で、Scoreの演算結果が十分に大きいと判定された場合に実行される、ステップＳ３０において、条件判定部４３は、実効距離ｄｅ
max（実効周波数ｆｅ）は変わらないが、ノイズが小さくなるような、換言すれば、SN比が良好となるような周波数の組合せ｛fl，fh｝に変更する駆動パラメータの変更指示を、駆動パラメータ設定部４４に供給する。
【0152】
この第２距離測定処理の変形例によれば、環境光の影響が小さいようなシーンでは、第１の周波数flと第２の周波数fhの少なくとも１つが変更前よりも高周波数となるような第１の周波数flと第２の周波数fhの組合せ｛fl，fh｝を採用することで、SN比が良好なデプスマップを取得することができる。
【0153】
＜８．３周波数以上への適用＞
上述した第１距離測定処理および第２距離測定処理と、その変形例は、第１の周波数flと第２の周波数fh（fl＜fh）の２種類の周波数を利用する処理の例であったが、３種類以上の周波数を利用する処理へ拡張することができる。
上述した第１距離測定処理および第２距離測定処理と、その変形例は、第１の周波数flと第２の周波数fh（fl＜fh）の２種類の周波数を利用する処理の例であったが、３種類以上の周波数を利用する処理へ拡張することができる。
【0154】
例えば、第１の周波数flおよび第２の周波数fh（fl＜fh）に、第３の周波数fｍ（fl＜fｍ＜fh）を追加した３種類の周波数で、上述した第１距離測定処理を実行する場合、測距システム１０は、次のように実行することができる。
【0155】
最初に、測距システム１０は、第１の周波数flと第３の周波数fｍを用いて、上述した第１距離測定処理を実行する。図１０の第１距離測定処理の第２の周波数fhが、第２の周波数fhに置き換えられて、第１距離測定処理が実行される。第１の周波数flと第３の周波数fｍを用いた場合、実効周波数ｆｅ（ｌ，ｍ）＝gcd(fl,fｍ)で測距を行ったデプスマップおよび信頼度マップが生成される。
【0156】
次に、測距システム１０は、実効周波数ｆｅ（ｌ，ｍ）と第２の周波数fhを用いて、上述した第１距離測定処理を実行する。図１０の第１距離測定処理の第１の周波数flが、実効周波数ｆｅ（ｌ，ｍ）に置き換えられて、第１距離測定処理が実行される。実効周波数ｆｅ（ｌ，ｍ）と第２の周波数fhを用いた場合、実効周波数ｆｅ＝gcd(fh,gcd(fl,fｍ))で測距を行ったデプスマップおよび信頼度マップが生成される。
【0157】
２段階で実行される第１距離測定処理のそれぞれにおいて、式（２８）の条件式を満たしているかを判定することで、周期数Nの誤検出を防止し、正確なデプス値ｄを算出することができる。また、周期数Nの誤検出が発生しない範囲で、消費電力を低減させるように駆動パラメータを制御した場合には、周期数Nの誤検出を防止し、かつ、消費電力を低減させる測距を行うことができる。
【0158】
＜９．アプリケーション適用例＞
測距システム１０による上述の距離測定処理は、例えば、室内空間の奥行き方向の距離を測定し、室内空間の３Dモデルを生成する３Dモデリング処理に適用することができる。HDR合成による測定距離の拡大により、部屋に加えて部屋の中の物体も同時に測距が可能となる。室内空間の奥行き方向の距離の測定においては、環境光等の影響に応じて、SN比が良好となるような周波数の組合せも設定可能となる。
測距システム１０による上述の距離測定処理は、例えば、室内空間の奥行き方向の距離を測定し、室内空間の３Dモデルを生成する３Dモデリング処理に適用することができる。HDR合成による測定距離の拡大により、部屋に加えて部屋の中の物体も同時に測距が可能となる。室内空間の奥行き方向の距離の測定においては、環境光等の影響に応じて、SN比が良好となるような周波数の組合せも設定可能となる。
【0159】
また、測距システム１０による上述の距離測定処理は、自律走行のロボットや移動運搬装置、ドローン等の飛行移動装置などが、SLAM（Simultaneous Localization and Mapping）等により自己位置推定を行う際の環境マッピング情報の生成に用いることができる。
【0160】
＜１０．測距装置のチップ構成例＞
図１２は、測距装置１２のチップ構成例を示す斜視図である。
図１２は、測距装置１２のチップ構成例を示す斜視図である。
【0161】
測距装置１２は、図１２のAに示されるように、第１のダイ（基板）９１と、第２のダイ（基板）９２とが積層された１つのチップで構成することができる。
【0162】
第１のダイ９１には、例えば、発光制御部３１と測距センサ３２が形成され、第２のダイ９２には、例えば、信号処理部３３が形成されている。
【0163】
なお、測距装置１２は、第１のダイ９１と第２のダイ９２とに加えて、もう１つのロジックダイを積層した３層で構成したり、４層以上のダイ（基板）の積層で構成してもよい。
【0164】
また、測距装置１２は、例えば、図１２のBに示されるように、発光制御部３１および測距センサ３２と、信号処理部３３とを別々の装置（チップ）で構成してもよい。測距センサとしての第１のチップ９５に、発光制御部３１および測距センサ３２が形成され、信号処理装置としての第２のチップ９６に信号処理部３３が形成され、第１のチップ９５と第２のチップ９６が、中継基板９７を介して電気的に接続される。
【0165】
＜１１．電子機器の構成例＞
上述した測距システム１０は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
上述した測距システム１０は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
【0166】
図１３は、測距システム１０を搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。
【0167】
図１３に示すように、スマートフォン２０１は、測距モジュール２０２、撮像装置２０３、ディスプレイ２０４、スピーカ２０５、マイクロフォン２０６、通信モジュール２０７、センサユニット２０８、タッチパネル２０９、および制御ユニット２１０が、バス２１１を介して接続されて構成される。また、制御ユニット２１０では、CPUがプログラムを実行することによって、アプリケーション処理部２２１およびオペレーションシステム処理部２２２としての機能を備える。
【0168】
測距モジュール２０２には、図８の測距システム１０が適用される。例えば、測距モジュール２０２は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。
【0169】
撮像装置２０３は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン２０１の背面にも撮像装置２０３が配置された構成としてもよい。
【0170】
ディスプレイ２０４は、アプリケーション処理部２２１およびオペレーションシステム処理部２２２による処理を行うための操作画面や、撮像装置２０３が撮像した画像などを表示する。スピーカ２０５およびマイクロフォン２０６は、例えば、スマートフォン２０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
【0171】
通信モジュール２０７は、通信ネットワークを介した通信を行う。センサユニット２０８は、速度や加速度、近接などをセンシングし、タッチパネル２０９は、ディスプレイ２０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。
【0172】
アプリケーション処理部２２１は、スマートフォン２０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ２０４に表示する処理を行うことができる。また、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
【0173】
オペレーションシステム処理部２２２は、スマートフォン２０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン２０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
【0174】
このように構成されているスマートフォン２０１では、上述した測距システム１０を適用することで、例えば、高精度にデプスマップを生成することができる。これにより、スマートフォン２０１は、測距情報をより正確に検出することができる。
【0175】
＜１２．コンピュータの構成例＞
次に、上述した信号処理部３３が実行する一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
次に、上述した信号処理部３３が実行する一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【0176】
図１４は、信号処理部３３が実行する一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【0177】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）３０４は、バス３０５により相互に接続されている。バス３０５には、さらに、入出力インタフェース３０６が接続されており、入出力インタフェース３０６が外部に接続される。
【0178】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、ROM３０２およびEEPROM３０４に記憶されているプログラムを、バス３０５を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU３０１）が実行するプログラムは、ROM３０２に予め書き込んでおく他、入出力インタフェース３０６を介して外部からEEPROM３０４にインストールしたり、更新したりすることができる。
【0179】
これにより、CPU３０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース３０６を介して、外部へ出力することができる。
【0180】
本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【0181】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0182】
＜１３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0183】
図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0184】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【0185】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0186】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0187】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0188】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0189】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0190】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADＡＳ（ADｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【0191】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0192】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0193】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0194】
図１６は、撮像部１２０３１の設置位置の例を示す図である。
【0195】
図１６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【0196】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0197】
なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0198】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0199】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0200】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0201】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0202】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距システム１０による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距システム１０による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。
【0203】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0204】
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【0205】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【0206】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0207】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【0208】
なお、本技術は、以下の構成を取ることができる。
（１）
第１の周波数で照射光を照射したとき測距センサで検出される第１の位相差、または、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき測距センサで検出される第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定する条件判定部と、
前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する距離算出部と
を備える信号処理装置。
（２）
前記条件を満たしていないと判定された場合に、前記照射光を照射する発光源および前記測距センサの駆動パラメータを変更する駆動パラメータ設定部をさらに備える
前記（１）に記載の信号処理装置。
（３）
前記駆動パラメータ設定部は、前記第１の周波数の照射光の発光量が大きくなるように駆動パラメータを変更する
前記（２）に記載の信号処理装置。
（４）
前記駆動パラメータ設定部は、前記条件を満たしていると判定された場合にも、前記照射光を照射する発光源および前記測距センサの駆動パラメータを変更する
前記（２）または（３）に記載の信号処理装置。
（５）
前記駆動パラメータ設定部は、前記条件を満たしていると判定された場合に、前記第２の周波数の照射光の発光量が小さくなるように駆動パラメータを変更する
前記（４）に記載の信号処理装置。
（６）
前記距離算出部は、前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、デプスマップを生成する
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
前記距離算出部は、前記条件を満たしていると判定された場合に、前記第１の周波数の第１のデプスマップと、前記第２の周波数の第２のデプスマップとを合成処理し、ダイナミックレンジが拡大されたデプスマップを生成する
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記条件判定部は、環境光の影響を判断する評価値を算出し、前記評価値に基づいて、前記第１の周波数と前記第２の周波数の組合せを決定する
前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
前記条件判定部は、前記評価値が所定の閾値以上である場合、実効距離が大きくなるように変更される前記第１の周波数と前記第２の周波数の組合せを決定する
前記（８）に記載の信号処理装置。
（１０）
前記条件判定部は、前記評価値が所定の閾値以上である場合、前記第１の周波数と前記第２の周波数の少なくとも１つが変更前より大きくなるように前記第１の周波数と前記第２の周波数の組合せを決定する
前記（８）に記載の信号処理装置。
（１１）
前記条件判定部は、前記第１の周波数および前記第２の周波数とも異なる第３の周波数も用いて、前記周期数判定式において、前記条件を満たしているかを判定し、
前記距離算出部は、前記第３の周波数で照射光を照射したとき測距センサで検出される第３の位相差も用いて、物体までの距離を算出する
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
信号処理装置が、
第１の周波数で照射光を照射したとき測距センサで検出される第１の位相差、または、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき測距センサで検出される第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定し、
前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する
信号処理方法。
（１３）
第１の周波数で照射光を照射したとき第１の位相差を検出するとともに、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき第２の位相差を検出する測距センサと、
前記第１の位相差、または、前記第２の位相差を用いて、物体までの距離を算出する信号処理装置と
を備え、
前記信号処理装置は、
前記第１の位相差、または、前記第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定する条件判定部と、
前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する距離算出部と
を備える
測距装置。
（１）
第１の周波数で照射光を照射したとき測距センサで検出される第１の位相差、または、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき測距センサで検出される第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定する条件判定部と、
前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する距離算出部と
を備える信号処理装置。
（２）
前記条件を満たしていないと判定された場合に、前記照射光を照射する発光源および前記測距センサの駆動パラメータを変更する駆動パラメータ設定部をさらに備える
前記（１）に記載の信号処理装置。
（３）
前記駆動パラメータ設定部は、前記第１の周波数の照射光の発光量が大きくなるように駆動パラメータを変更する
前記（２）に記載の信号処理装置。
（４）
前記駆動パラメータ設定部は、前記条件を満たしていると判定された場合にも、前記照射光を照射する発光源および前記測距センサの駆動パラメータを変更する
前記（２）または（３）に記載の信号処理装置。
（５）
前記駆動パラメータ設定部は、前記条件を満たしていると判定された場合に、前記第２の周波数の照射光の発光量が小さくなるように駆動パラメータを変更する
前記（４）に記載の信号処理装置。
（６）
前記距離算出部は、前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、デプスマップを生成する
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
前記距離算出部は、前記条件を満たしていると判定された場合に、前記第１の周波数の第１のデプスマップと、前記第２の周波数の第２のデプスマップとを合成処理し、ダイナミックレンジが拡大されたデプスマップを生成する
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記条件判定部は、環境光の影響を判断する評価値を算出し、前記評価値に基づいて、前記第１の周波数と前記第２の周波数の組合せを決定する
前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
前記条件判定部は、前記評価値が所定の閾値以上である場合、実効距離が大きくなるように変更される前記第１の周波数と前記第２の周波数の組合せを決定する
前記（８）に記載の信号処理装置。
（１０）
前記条件判定部は、前記評価値が所定の閾値以上である場合、前記第１の周波数と前記第２の周波数の少なくとも１つが変更前より大きくなるように前記第１の周波数と前記第２の周波数の組合せを決定する
前記（８）に記載の信号処理装置。
（１１）
前記条件判定部は、前記第１の周波数および前記第２の周波数とも異なる第３の周波数も用いて、前記周期数判定式において、前記条件を満たしているかを判定し、
前記距離算出部は、前記第３の周波数で照射光を照射したとき測距センサで検出される第３の位相差も用いて、物体までの距離を算出する
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
信号処理装置が、
第１の周波数で照射光を照射したとき測距センサで検出される第１の位相差、または、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき測距センサで検出される第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定し、
前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する
信号処理方法。
（１３）
第１の周波数で照射光を照射したとき第１の位相差を検出するとともに、前記第１の周波数よりも高い第２の周波数で照射光を照射したとき第２の位相差を検出する測距センサと、
前記第１の位相差、または、前記第２の位相差を用いて、物体までの距離を算出する信号処理装置と
を備え、
前記信号処理装置は、
前記第１の位相差、または、前記第２の位相差のいずれかの2πの周期数を判定する周期数判定式において、繰り上がりまたは繰り下がりが発生しない条件を満たしているかを判定する条件判定部と、
前記条件を満たしていると判定された場合に、前記周期数判定式により前記2πの周期数を判定し、前記第１の位相差および前記第２の位相差を用いて、物体までの距離を算出する距離算出部と
を備える
測距装置。
【符号の説明】
【0209】
１０ 測距システム， １１ 光源装置， １２ 測距装置， ２１ 発光源， ３１
発光制御部， ３２ 測距センサ， ３３ 信号処理部， ４１ 画像取得部， ４２
環境認識部， ４３ 条件判定部， ４４ 駆動パラメータ設定部， ４５ 画像記憶部， ４６ 距離算出部， ２０１ スマートフォン， ２０２ 測距モジュール
発光制御部， ３２ 測距センサ， ３３ 信号処理部， ４１ 画像取得部， ４２
環境認識部， ４３ 条件判定部， ４４ 駆動パラメータ設定部， ４５ 画像記憶部， ４６ 距離算出部， ２０１ スマートフォン， ２０２ 測距モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】