(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】測距装置及び測距装置の制御方法、並びに、電子機器
(51)【国際特許分類】
G01S 7/481 20060101AFI20240930BHJP
G01S 7/497 20060101ALI20240930BHJP
G01C 3/06 20060101ALI20240930BHJP
G06T 7/55 20170101ALI20240930BHJP
G06V 40/40 20220101ALI20240930BHJP
【FI】
G01S7/481 Z
G01S7/497
G01C3/06 120Q
G01C3/06 140
G06T7/55
G06V40/40
(21)【出願番号】P 2021565379
(86)(22)【出願日】2020-11-17
(86)【国際出願番号】 JP2020042746
(87)【国際公開番号】W WO2021124763
(87)【国際公開日】2021-06-24
【審査請求日】2023-10-03
(31)【優先権主張番号】P 2019230170
(32)【優先日】2019-12-20
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】馬原 久美子
(72)【発明者】
【氏名】上水流 隼人
(72)【発明者】
【氏名】鈴木 伸治
【審査官】藤田 都志行
(56)【参考文献】
【文献】特開2019-168397(JP,A)
【文献】特開2007-121083(JP,A)
【文献】特開2014-027386(JP,A)
【文献】特開2011-047740(JP,A)
【文献】米国特許出願公開第2018/0157376(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
G01C 3/06
G06T 7/521
G06T 7/55
G06V 40/40
(57)【特許請求の範囲】
【請求項1】
被写体に光を照射する光源部、
光源部を制御することが可能に構成され、被写体からの反射光を受光する受光装置、及び、
受光装置を制御する
ことが可能に構成されたアプリケーションプロセッサ、
を備え、
受光装置は、被写体までの距離を測定し、所定の距離以内に近づいたことを検出する物体検出機能を有し、検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、
アプリケーションプロセッサは、受光装置からの通知を受けて起動する、
測距装置。
【請求項2】
受光装置は、検出結果に基づいて、受光装置内部のステータスの切替えを行う、
請求項1に記載の測距装置。
【請求項3】
受光装置は、検出結果に基づいて、光源部のステータスの切替えを行う、
請求項2に記載の測距装置。
【請求項4】
受光装置は、受光素子を含む画素が配置されて成る撮像部を有し、撮像部の画素領域内の一部の領域の画素信号を用いて距離を測定する簡易測距を行う、
請求項1に記載の測距装置。
【請求項5】
光源部は、被写体に対して所定の周期で発光するパルス光を照射し、
受光装置は、被写体からの反射パルス光を受光し、発光の周期と受光の周期との位相差から光飛行時間を計測することによって簡易測距を行う、
請求項4に記載の測距装置。
【請求項6】
光源部は、発光するパルス光の周波数及び発光量の少なくとも一方が可変であり、簡易測距では、パルス光の発光周波数及び発光量の少なくとも一方を、距離マップ画像を取得する測距の場合よりも落とす、
請求項5に記載の測距装置。
【請求項7】
受光装置は、連続発光状態で撮像を行うことで、イメージ画像の取得が可能である、
請求項1に記載の測距装置。
【請求項8】
受光装置は、取得したイメージ画像に基づいて、顔の検出を行う、
請求項7に記載の測距装置。
【請求項9】
受光装置は、取得したイメージ画像に基づいて、顔の凹凸を検出し、あらかじめ登録してあるデータと比較することによってなりすまし確認を行う、
請求項8に記載の測距装置。
【請求項10】
アプリケーションプロセッサは、受光装置からの顔検出の通知を受けて、距離マップ画像を基に顔認証を行う、
請求項8に記載の測距装置。
【請求項11】
被写体に光を照射する光源部、
光源部を制御することが可能に構成され、被写体からの反射光を受光する受光装置、及び、
受光装置を制御する
ことが可能に構成されたアプリケーションプロセッサ、
を備える測距装置の制御に当たって、
受光装置によって、被写体までの距離を測定し、所定の距離以内に近づいたことを検出し、その検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、アプリケーションプロセッサを起動させる、
測距装置の制御方法。
【請求項12】
被写体に光を照射する光源部、
光源部を制御することが可能に構成され、被写体からの反射光を受光する受光装置、及び、
受光装置を制御する
ことが可能に構成されたアプリケーションプロセッサ、
を備え、
受光装置は、被写体までの距離を測定し、所定の距離以内に近づいたことを検出する物体検出機能を有し、検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、
アプリケーションプロセッサは、受光装置からの通知を受けて起動する、
測距装置を有する電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、測距装置及び測距装置の制御方法、並びに、電子機器に関する。
【背景技術】
【0002】
近年、個人認証システムの一つとして顔認証システムを搭載した、スマートフォン等の携帯端末(モバイル機器)が普及してきている。顔認証システムでは、顔の正確なデータを読み取るために、例えば、顔の凹凸といった三次元(3D)画像、即ち、距離マップ画像(深度マップ画像)を取得する処理が行われる。距離マップ画像を取得するために、スマートフォンなどの携帯端末には、被写体である顔までの距離を測定する測距装置が搭載されることになる。
【0003】
ところで、スマートフォン等の携帯端末では、その動作電源が電池であることから、携帯端末の低消費電力化が望まれる。そのため、携帯端末に近接センサ(近距離センサ)を搭載し、例えば、ユーザの顔が携帯端末に近づいたか否かの情報に基づいて、タッチパネルディスプレイのON/OFFの切替えを行うことで、携帯端末の消費電力の節約を図るようにしている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の特許文献1に記載の従来技術では、携帯端末の低消費電力化を図ることはできるものの、測距装置の他に、近接センサを搭載することになるため、部品点数が増え、携帯端末の小型化の妨げになるとともに、携帯端末の価格の上昇を招くことになる。
【0006】
本開示は、距離マップ画像(深度マップ画像)を取得する機能の他に、近接センサとしての機能を有する測距装置及びその制御方法、並びに、当該測距装置を有する電子機器を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するための本開示の測距装置は、
被写体に光を照射する光源部、
光源部を制御することが可能に構成され、被写体からの反射光を受光する受光装置、及び、
受光装置を制御することが可能に構成されたアプリケーションプロセッサ、
を備え、
受光装置は、被写体までの距離を測定し、所定の距離以内に近づいたことを検出する物体検出機能を有し、検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、
アプリケーションプロセッサは、受光装置からの通知を受けて起動する。
【0008】
上記の目的を達成するための本開示の測距装置の制御方法は、
被写体に光を照射する光源部、
光源部を制御することが可能に構成され、被写体からの反射光を受光する受光装置、及び、
受光装置を制御することが可能に構成されたアプリケーションプロセッサ、
を備える測距装置の制御に当たって、
受光装置によって、被写体までの距離を測定し、所定の距離以内に近づいたことを検出し、その検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、アプリケーションプロセッサを起動させる。
【0009】
上記の目的を達成するための本開示の電子機器は、
被写体に光を照射する光源部、
光源部を制御することが可能に構成され、被写体からの反射光を受光する受光装置、及び、
受光装置を制御することが可能に構成されたアプリケーションプロセッサ、
を備え、
受光装置は、被写体までの距離を測定し、所定の距離以内に近づいたことを検出する物体検出機能を有し、検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、
アプリケーションプロセッサは、受光装置からの通知を受けて起動する、
測距装置を有する。
【図面の簡単な説明】
【0010】
【
図1】
図1は、ToF方式を採用した測距装置の概念図である。
【
図2】
図2は、本開示の測距装置のシステム構成の一例を示すブロック図である。
【
図3】
図3は、光検出部における撮像部及びその周辺回路の構成の一例を示すブロック図である。
【
図4】
図4は、撮像部における画素の回路構成の一例を示す回路図である。
【
図5】
図5は、間接ToF方式による距離の算出について説明するためのタイミング波形図である。
【
図6】
図6Aは、距離マップ画像を取得する通常の測距についての説明図であり、
図6Bは、簡易測距についての説明図である。
【
図7】
図7は、実施例1に係る測距装置の基本的なシステム構成の一例を示すブロック図である。
【
図8】
図8は、実施例1に係る測距装置のシーケンスイメージを示す図である。
【
図9】
図9は、“LPブランク”ステートでの活性化ブロックイメージを示す図である。
【
図10】
図10は、“LP測距”ステートでの活性化ブロックイメージを示す図である。
【
図11】
図11は、“撮像”ステートでの活性化ブロックイメージを示す図である。
【
図12】
図12は、実施例2に係る光源部の動作モードのイメージを示す図である。
【
図13】
図13は、実施例3に係る近接物体検出シーケンスの処理の流れの一例を示すフローチャートである。
【
図14】
図14は、実施例4に係る測距装置の基本的なシステム構成の一例を示すブロック図である。
【
図15】
図15は、実施例4に係る測距装置のシーケンスイメージを示す図である。
【
図16】
図16は、実施例4に係る測距装置における受光装置の構成の一例を示すブロック図である。
【
図17】
図17は、実施例5に係る光源部の動作モードのイメージを示す図である。
【
図18】
図18は、実施例6に係る近接物体検出・顔検出シーケンスの処理の流れの一例を示すフローチャートである。
【
図19】
図19Aは、本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図であり、
図19Bは、裏面側から見た外観図である。
【発明を実施するための形態】
【0011】
以下、本開示に係る技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の測距装置及びその制御方法、並びに、電子機器、全般に関する説明
2.本開示の測距装置
2-1.システム構成
2-2.撮像部の構成例
2-3.画素の回路構成例
2-4.間接ToF方式による距離の算出について
2-5.イメージ画像の取得について
2-6.測距装置の消費電力について
3.本開示の実施形態
3-1.実施例1(起動タイミングの監視、及び、起動通知が、スタンドアロン・低消費電力で可能な受光装置の例)
3-2.実施例2(実施例1に係る測距装置における光源部の構成例)
3-3.実施例3(実施例1に係る測距装置における近接物体検出シーケンスの例)
3-4.実施例4(起動タイミングの監視、顔検出及び顔認証、並びに、起動通知が、スタンドアロン・低消費電力で可能な受光装置の例)
3-5.実施例5(実施例4に係る測距装置における光源部の構成例)
3-6.実施例6(実施例4に係る測距装置における近接物体検出・顔検出シーケンスの例)
4.変形例
5.本開示の電子機器(スマートフォンの例)
6.本開示がとることができる構成
【0012】
<本開示の測距装置及びその制御方法、並びに、電子機器、全般に関する説明>
本開示の測距装置及びその制御方法、並びに、電子機器にあっては、受光装置について、検出結果に基づいて、受光装置内部のステータスの切替えを行う構成とすることができる。また、受光装置について、検出結果に基づいて、受光装置内部のステータスの切替え、あるいは、光源部のステータスの切替えを行う構成とすることができる。
【0013】
上述した好ましい構成を含む本開示の測距装置及びその制御方法、並びに、電子機器にあっては、光源部について、被写体に対して所定の周期で発光するパルス光を照射する構成とすることができる。このとき、受光装置について、被写体からの反射パルス光を受光し、発光の周期と受光の周期との位相差から光飛行時間を計測することによって簡易測距を行う構成とすることができる。
【0014】
また、上述した好ましい構成を含む本開示の測距装置及びその制御方法、並びに、電子機器にあっては、光源部について、発光するパルス光の周波数及び発光量の少なくとも一方が可変であり、簡易測距では、パルス光の発光周波数及び発光量の少なくとも一方を、距離マップ画像を取得する測距の場合よりも落とす構成とすることができる。
【0015】
また、上述した好ましい構成を含む本開示の測距装置及びその制御方法、並びに、電子機器にあっては、受光装置について、連続発光状態で撮像を行うことで、イメージ画像の取得が可能な構成とし、取得したイメージ画像に基づいて、顔の検出を行う構成とすることができる。
【0016】
また、上述した好ましい構成を含む本開示の測距装置及びその制御方法、並びに、電子機器にあっては、受光装置について、取得したイメージ画像に基づいて、顔の凹凸を検出し、あらかじめ登録してあるデータと比較することによってなりすまし確認を行う構成とすることができる。また、アプリケーションプロセッサについて、受光装置からの顔検出の通知を受けて、距離マップ画像を基に顔認証を行う構成とすることができる。
【0017】
<ToF方式を採用した測距装置>
測距対象物(被写体)までの距離を測定する測距方式の一つとして、光源部から測距対象物に向けて照射した光が、当該測距対象物で反射されて戻ってくるまでの時間、即ち、飛行時間(Time of Flight)を計測するToF方式がある。
【0018】
ToF方式を採用した測距装置の概念図を
図1に示す。ToF方式による距離測定を実現するために、測距装置1は、被写体10に向けて光を出射する光源部20、及び、被写体10で反射されて戻ってくる光を受光する受光装置30を備える構成となっている。光源部20は、例えば、赤外の波長領域にピーク波長を有するレーザ光を出射するレーザ光源から成る。受光装置30は、被写体10からの反射光を検出する光検出部であり、ToF方式を採用したToFセンサである。
【0019】
<本開示の測距装置>
[システム構成]
図2は、本開示の測距装置のシステム構成の一例を示すブロック図である。本開示の測距装置1は、光源部20、受光装置30、及び、アプリケーションプロセッサ40によって構成されている。受光装置30とアプリケーションプロセッサ40との間におけるセンサステータスの変更などは、I2C/SPI等のインタフェース(I/F)を通して行われる。アプリケーションプロセッサ40は、光源部20及び受光装置30を制御する。
【0020】
本開示の測距装置1において、光源部20は、所定の周期で発光するパルス光を測距対象物(被写体)に照射する。受光装置30は、光源部20が照射したパルス光に基づく、測距対象物(被写体)からの反射パルス光を受光する。そして、受光装置30が反射パルス光を受光した際の周期を検出し、発光の周期と受光の周期との位相差から光飛行時間を計測することで、測距対象物までの距離を測定する。この測距方式は、間接(indirect)ToF方式である。本開示の測距装置1は、間接ToF方式を採用している。
【0021】
受光装置30は、後述する受光素子(光電変換素子)を含む画素が行列状(アレイ状)に2次元配置されて成る撮像部(画素アレイ部)31を備えている。受光装置30は、撮像部31の他に、撮像部31の周辺回路として、画素制御部32、画素変調部33、カラム処理部34、データ処理部35、近接物体検出部36、及び、出力I/F(インタフェース)37を備えている。
【0022】
撮像部31からは、画素制御部32及び画素変調部33による制御・変調の下に、2次元配置された各画素の信号が読み出される。撮像部31から読み出された画素信号は、カラム処理部34に供給される。カラム処理部34は、撮像部31の画素列に対応して設けられたAD(アナログ-デジタル)変換器を有し、撮像部31から読み出されたアナログの画素信号をデジタル信号に変換して、データ処理部35及び近接物体検出部36に供給する。
【0023】
データ処理部35は、カラム処理部34から供給されるデジタル化された画素信号に対して、CDS(Correlated Double Sampling:相関二重サンプリング)処理など、所定の信号処理を施した後、MIPIなどの高速の出力I/F37を通して、撮像フレームの単位で受光装置30の外部へ出力される。
【0024】
受光装置30から撮像フレームの単位で出力される複数フレーム分の画素信号を用いることで、顔認証システム等に応用可能な距離マップ(Depth Map:深度マップ)画像を生成することができる。距離マップ画像の生成は、例えば、アプリケーションプロセッサ40において、受光装置30から出力される複数フレーム分の画素信号に基づいて行われることになる。但し、距離マップ画像の生成については、アプリケーションプロセッサ40での生成に限られるものではない。
【0025】
近接物体検出部36は、アプリケーションプロセッサ40など、外部からの設定で近接物体検出モードとなる。近接物体検出モードは、例えば、物体がどの程度の距離にあるのかといった簡易な距離情報を得たい場合や、特定の距離レンジに物体があるかどうかを判定したい場合などに設定される動作モードである。
【0026】
近接物体検出部36は、近接物体検出モードが設定されたときに動作状態となり、撮像部31の一部の領域を距離算出の対象領域として指定し、当該対象領域の画素信号を用いて、測距対象物までの距離情報を算出し、且つ、算出した距離情報が予め設定された検出条件を満足するか否かを判定する。ここで、検出条件とは、あらかじめ設定された距離情報(距離値)である。近接物体検出部36は、算出した距離情報が検出条件を満足するとき、アプリケーションプロセッサ40に対して近接物体を検出した旨を通知する。
【0027】
受光装置30は、距離情報の算出機能、及び、検出条件の判定機能を有する近接物体検出部36を備えることで、近接センサと同等の機能を有することになる。換言すれば、受光装置30を具備する測距装置1は、距離マップ画像(深度マップ画像)を取得する機能の他に、近接センサとしての機能を有することになる。
【0028】
尚、近接物体検出モードが設定されたときは、距離算出の対象領域、即ち、撮像部31の一部の領域の画素信号を用いることになるため、画素制御部32、画素変調部33、カラム処理部34において、当該一部の領域の画素信号の読出しに関係する一部の回路部分のみを起動させるようにすることができる。換言すれば、一部の領域の画素信号の読出しに関係しない回路部分については動作を停止させることができる。
【0029】
一部の領域の画素信号の読出しに関係しない回路部分の動作停止については、当該回路部分をスタンバイ状態にしたり、当該回路部分へのクロック供給を停止したり、当該回路部分への電源供給を停止(遮断)したりすることで実現できる。一部の領域の画素信号の読出しに関係しない回路部分について動作を停止させることにより、当該回路部分での消費電力分だけ、受光装置30の消費電力を削減できる。
【0030】
受光装置30は、上述した撮像部31、画素制御部32、画素変調部33、カラム処理部34、データ処理部35、近接物体検出部36、及び、出力I/F37の他に、システム制御部38、発光タイミング制御部39、基準電圧・基準電流生成部41、PLL(Phase Locked Loop:位相ロックループ)回路42、光源部ステータス制御部43、及び、近接物体検出タイミング生成部44を備えている。
【0031】
システム制御部38は、例えば、CPU(Central Processing Unit)を用いて構成されており、受光装置30のシステム全体の通信・制御、起動・停止シーケンス制御、及び、ステータス制御などを行う。システム制御部38による制御には、光源部20の発光量や、発光周波数の切替えなどの制御も含まれる。
【0032】
発光タイミング制御部39は、システム制御部38による制御の下に、光源部20及び画素変調部33に対して発光トリガ(パルス)を与える。基準電圧・基準電流生成部41は、システム制御部38による制御の下に、受光装置30内で用いる各種の基準電圧や基準電流を生成する。PLL回路42は、システム制御部38による制御の下に、受光装置30内で用いる各種のクロック信号を生成する。
【0033】
光源部ステータス制御部43は、システム制御部38による制御の下に、光源部20に対してステータス変更の制御を行う。光源部ステータス制御部43から光源部20へのステータス変更は、I2C/SPI等のインタフェース、あるいは、制御線を通して行われる。近接物体検出タイミング生成部44は、近接物体検出を行うタイミングを管理するためのタイマーを有している。近接物体検出タイミング生成部44には、近接物体検出部36から近接物体検出通知が与えられる。
【0034】
[撮像部の構成例]
ここで、受光装置30における撮像部31の構成例について、
図3を用いて説明する。
図3は、受光装置30における撮像部31及びその周辺回路の構成の一例を示すブロック図である。
【0035】
撮像部31は、複数の画素51が行列状(アレイ状)に2次元配置されて成る画素アレイ部から成る。撮像部31において、複数の画素51はそれぞれ、入射光(例えば、近赤外光)を受光し、光電変換を行ってアナログ画素信号を出力する。撮像部31には、画素列毎に、2本の垂直信号線VSL1,VSL2が配線されている。撮像部31の画素列の数をM(Mは、整数)とすると、合計で(2×M)本の垂直信号線VSLが撮像部31に配線されている。
【0036】
複数の画素51はそれぞれ、第1のタップA及び第2のタップB(その詳細については後述する)を有している。2本の垂直信号線VSL1,VSL2のうち、垂直信号線VSL1には、対応する画素列の画素51の第1のタップAの電荷に基づくアナログの画素信号AINP1が出力される。また、垂直信号線VSL2には、対応する画素列の画素51の第2のタップBの電荷に基づくアナログの画素信号AINP2が出力される。アナログの画素信号AINP1,AINP2については後述する。
【0037】
撮像部31の周辺回路のうち、画素制御部32は、撮像部31の各画素51を画素行の単位で駆動し、画素信号AINP1,AINP2を出力させる行選択部である。すなわち、画素制御部32による駆動の下に、選択行の画素51から出力されたアナログの画素信号AINP1,AINP2は、2本の垂直信号線VSL1,VSL2を通してカラム処理部34に供給される。
【0038】
カラム処理部34は、撮像部31の画素列に対応して(例えば、画素列毎に)設けられた複数のAD(アナログ-デジタル)変換器52を有する。カラム処理部34において、AD変換器52は、垂直信号線VSL1,VSL2を通して供給されるアナログの画素信号AINP1,AINP2に対して、アナログ-デジタル変換処理を施す。
【0039】
カラム処理部34から出力されるデジタル化された画素信号AIN
P1,AIN
P2は、出力回路部54を通して、
図2に示すデータ処理部35に供給される。データ処理部35は、デジタル化された画素信号AIN
P1,AIN
P2に対して、CDS処理など、所定の信号処理を施した後、出力I/F37を通して受光装置30外へ出力する。
【0040】
タイミング生成部53は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これらの信号を基に、画素制御部32、カラム処理部34、及び、出力回路部54等の駆動制御を行う。
【0041】
[画素の回路構成例]
図4は、撮像部31における画素51の回路構成の一例を示す回路図である。
【0042】
本例に係る画素51は、受光素子(光電変換素子)として、例えば、フォトダイオード511を有している。画素51は、フォトダイオード511の他に、オーバーフロートランジスタ512、2つの転送トランジスタ513,514、2つのリセットトランジスタ515,516、2つの浮遊拡散層517,518、2つの増幅トランジスタ519、520、及び、2つの選択トランジスタ521,522を有する構成となっている。2つの浮遊拡散層517,518は、先述した
図3に示す第1,第2のタップA,B(以下、単に、「タップA,B」と記述する場合がある)に相当する。
【0043】
フォトダイオード511は、受光した光を光電変換して電荷を生成する。フォトダイオード511については、例えば、基板裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。但し、画素構造については、裏面照射型の画素構造に限られるものではなく、基板表面側から照射される光を取り込む表面照射型の画素構造とすることもできる。
【0044】
オーバーフロートランジスタ512は、フォトダイオード511のカソード電極と電源電圧VDDの電源ラインとの間に接続されており、フォトダイオード511をリセットする機能を持つ。具体的には、オーバーフロートランジスタ512は、撮像駆動部33から供給されるオーバーフローゲート信号OFGに応答して導通状態になることにより、フォトダイオード511の電荷をシーケンシャルに電源電圧VDDの電源ラインに排出する。
【0045】
2つの転送トランジスタ513,514は、フォトダイオード511のカソード電極と2つの浮遊拡散層517,518(タップA,B)のそれぞれとの間に接続されている。そして、転送トランジスタ513,514は、画素制御部32から供給される転送信号TRGに応答して導通状態になることで、フォトダイオード511で生成された電荷を、浮遊拡散層517,518にそれぞれシーケンシャルに転送する。
【0046】
第1,第2のタップA,Bに相当する浮遊拡散層517,518は、フォトダイオード511から転送された電荷を蓄積し、その電荷量に応じた電圧値の電圧信号に変換し、アナログの画素信号AINP1,AINP2を生成する。
【0047】
2つのリセットトランジスタ515,516は、2つの浮遊拡散層517,518のそれぞれと電源電圧VDDの電源ラインとの間に接続されている。そして、リセットトランジスタ515,516は、画素制御部32から供給されるリセット信号RSTに応答して導通状態になることで、浮遊拡散層517,518のそれぞれから電荷を引き抜いて、電荷量を初期化する。
【0048】
2つの増幅トランジスタ519、520は、電源電圧VDDの電源ラインと2つの選択トランジスタ521,522のそれぞれとの間に接続されており、浮遊拡散層517,518のそれぞれで電荷から電圧に変換された電圧信号をそれぞれ増幅する。
【0049】
2つの選択トランジスタ521,522は、2つの増幅トランジスタ519、520のそれぞれと垂直信号線VSL1,VSL2のそれぞれとの間に接続されている。そして、選択トランジスタ521,522は、画素制御部32から供給される選択信号SELに応答して導通状態になることで、増幅トランジスタ519、520のそれぞれで増幅された電圧信号を、アナログの画素信号AINP1,AINP2として2本の垂直信号線VSL1,VSL2に出力する。
【0050】
2本の垂直信号線VSL1,VSL2は、画素列毎に、カラム処理部34内の1つのAD変換器52の入力端に接続されており、画素列毎に画素51から出力されるアナログの画素信号AINP1,AINP2をAD変換器52に伝送する。
【0051】
尚、画素51の回路構成については、光電変換によってアナログの画素信号AIN
P1,AIN
P2を生成することができる回路構成であれば、
図3に例示した回路構成に限定されるものではない。
【0052】
[間接ToF方式による距離の算出について]
ここで、間接ToF方式による距離の算出について、
図5を用いて説明する。
図5は、間接ToF方式による距離の算出について説明するためのタイミング波形図である。
図1に示す測距装置1における光源部20及び受光装置30は、
図5のタイミング波形図に示すタイミングで動作する。
【0053】
光源部20は、所定の期間、例えば、パルス発光時間Tpの期間だけ、測距対象物に対してパルス光を照射する。光源部20から発せられたパルス光は、測距対象物で反射されて戻ってくる。この反射パルス光が、フォトダイオード511によって受光される。測距対象物へのパルス光の照射が開始されてから、フォトダイオード511が反射パルス光を受光する時間、即ち、光飛行時間は、測距装置1から測距対象物までの距離に応じた時間となる。
【0054】
図4において、フォトダイオード511は、パルス光の照射が開始された時点から、パルス発光時間T
pの期間だけ、測距対象物からの反射パルス光を受光する。1回の受光の際に、フォトダイオード511で光電変換された電荷が、タップA(浮遊拡散層517)に転送され、蓄積される。
【0055】
そして、タップAから、浮遊拡散層517に蓄積した電荷量に応じた電圧値の信号n0が取得される。タップAの蓄積タイミングが終了した時点で、フォトダイオード511で光電変換された電荷が、タップB(浮遊拡散層518)に転送され、蓄積される。そして、タップBから、浮遊拡散層518に蓄積した電荷量に応じた電圧値の信号n1が取得される。
【0056】
このように、タップA及びタップBに対して、蓄積タイミングの位相を180度異ならせた駆動(位相を全く逆にした駆動)が行われることで、信号n0及び信号n1がそれぞれ取得される。そして、このような駆動が複数回繰り返され、信号n0及び信号n1の蓄積、積算が行われることで、蓄積信号N0及び蓄積信号N1がそれぞれ取得される。
【0057】
例えば、1つの画素51について、1つのフェーズに2回受光が行われ、タップA及びタップBに4回ずつ、即ち、0度、90度、180度、270度の信号が蓄積される。このようにして取得した蓄積信号N0及び蓄積信号N1を基に、測距対象物までの距離Dを算出することができる。
【0058】
蓄積信号N0及び蓄積信号N1には、測距対象物で反射されて戻ってくる反射光(active光)の成分の他に、物体や大気などで反射・散乱された環境光(ambient光)の成分も含まれている。従って、上述した動作では、この環境光の成分の影響を除き、反射光の成分を残すために、環境光に基づく信号n2に関しても蓄積、積算が行われ、環境光成分についての蓄積信号N2が取得される。
【0059】
このようにして取得された、環境光成分を含む蓄積信号N0及び蓄積信号N1、並びに、環境光成分についての蓄積信号N2を用いて、以下の式(1)及び式(2)に基づく演算処理により、測距対象物までの距離Dを算出することができる。
【0060】
【0061】
【0062】
式(1)及び式(2)において、Dは測距対象物までの距離を表し、cは光速を表し、Tpはパルス発光時間を表している。
【0063】
距離Dを算出する演算処理は、受光装置30の外部に設けられたアプリケーションプロセッサ40において実行される。すなわち、アプリケーションプロセッサ40は、環境光成分を含む蓄積信号N0及び蓄積信号N1、並びに、環境光成分についての蓄積信号N2を用いて、上記した式(1)及び式(2)に基づく演算処理により、測距対象物までの距離Dを算出することができる。アプリケーションプロセッサ40は更に、受光装置30から出力される複数フレームの画素信号を基に、距離マップ画像を取得(生成)することができる。
【0064】
[イメージ画像の取得について]
以上説明した、間接ToF方式にて距離の検出が可能な受光装置30において、
図4に示す画素51の構成は、電荷をタップA、タップBに分ける以外については、通常のCMOSイメージセンサの画素の構成と同じである。従って、光源部20からのパルス光の照射無し、あるいは、所定の周期のパルス光ではなく、連続発光状態で撮像を行うことで、受光装置30によって白黒のイメージ画像を取得することも可能である。
【0065】
[測距装置の消費電力について]
ところで、上記の構成の測距装置1では、物体が近づいたことなどの条件を検知し、処理が必要な場合にのみ自動でシステム全体を起動させる技術が必要とされる。自動起動を行いたい場合、光源部20及び受光装置30をアプリケーションプロセッサ40から制御することになるため、アプリケーションプロセッサ40は常時起動している必要がある。また、物体が近づいたことなどの検知を受光装置30で行う場合、光源部20や受光装置30で常時電力が消費されることになるため、測距装置1の全体の消費電力が大きな課題になる。
【0066】
<本開示の実施形態>
そこで、本開示の実施形態では、物体(被写体)が所定の距離以内に近づいたことなどを検出し、処理が必要な場合にのみ、測距装置1のシステム全体を起動させる自動起動の仕組みを受光装置30で実現する。具体的には、自動起動のための物体検出、即ち、物体が近づいたことなどの条件の検出を、受光装置30で簡易測距にて行い、その検出結果をアプリケーションプロセッサ40へ通知するとともに、検出結果に基づいて、受光装置30内部のステータスの切替えや、光源部20のステータスの切替えを行うようする。アプリケーションプロセッサ40は、受光装置30からの通知を受けて起動する。
【0067】
ここで、簡易測距について説明する。測距装置1は、例えば、スマートフォン等のモバイル機器に搭載して、顔認証等に用いることができる。例えば、スマートフォンの場合を例に挙げると、おおよその距離(例えば、20cm~80cm程度)に物体(人の顔)が存在することが分かればよい。従って、被写体全体及び高解像度の距離マップ画像の取得は不要であり、自動起動のための物体検出については、簡易的な測距、即ち、簡易測距でよい。
【0068】
通常の測距では、
図6Aに示す画面全体の各画素の距離情報から、高解像度の距離マップ画像を算出(取得)することになる。これに対して、簡易測距では、画面全体から1~数点の画素を選択、あるいは、
図6Bに示すように、□の領域X(1~数領域)について画素加算(ビニング)及び間引きの組み合わせなどの処理によって1点分の情報にする。簡易測距のための情報取得の点数を少なくすることで、受光装置30内で、大規模な回路を必要とせずに簡易測距の実現が可能になる。
【0069】
自動起動の仕組みを受光装置30で実現することにより、アプリケーションプロセッサ40を常時起動状態にしておく必要はなく、スタンバイ状態にしておくことが可能になるため、アプリケーションプロセッサ40、ひいては、測距装置1の全体の消費電力の削減が可能になる。また、受光装置30による制御に合わせてリアルタイムに光源部20のステータスの切替えを、受光装置30がこまめに行うことにより、消費電力の更なる削減が可能になる。また、受光装置30の簡易測距結果を応用し、アプリケーションプロセッサ40が他の機能部の使用時の低消費電力化を図ることが可能になる。
【0070】
以下に、本開示の実施形態における測距装置1の低消費電力化のための具体的な実施例について説明する。
【0071】
[実施例1]
実施例1は、起動タイミングの監視、及び、起動通知が、スタンドアロン・低消費電力で可能な受光装置(ToFセンサ)の例である。実施例1に係る測距装置1の基本的なシステム構成の一例を
図7に示す。
図7において、受光装置30の内部の具体的な構成は、
図2における受光装置30の構成と同じである。
【0072】
図7において、実線の矢印は、システムスタンバイ中の制御を表しており、点線の矢印は、システム起動中のみの動作を表している。システムスタンバイ中の制御は、受光装置30からアプリケーションプロセッサ40に対する、近接物体検出通知(割り込み)や起動リクエストなどであり、受光装置30から光源部20に対する、ステータス制御や発光トリガである。システム起動中の制御は、受光装置30とアプリケーションプロセッサ40との間におけるデータのやり取りである。
【0073】
実施例1に係る測距装置1における光源部20、受光装置30、及び、アプリケーションプロセッサ40の各機能は、次の通りである。
【0074】
光源部20に必要な機能としては、モードに合わせて切替え可能なステータス、及び、外部制御インタフェース(I/F)の機能である。これらの機能を持つことで、光源部20では、レーザ発光時以外の低消費電力での動作が可能となる。
【0075】
受光装置30には、次のような機能が必要となる。
(1)スタンドアロンで近接物体検出を行えること、即ち、受光装置30内で簡易測距が可能であること。この機能は、
図2の近接物体検出部36の機能である。
(2)アプリケーションプロセッサ40や外部に対して近接物体検出時に通知する機能を持つこと。
(3)近接物体検出部36での近接物体検出動作時に低消費電力駆動が可能であること。これは、近接物体検出時以外、内部ブロックをスタンバイにしたり、不要な回路を動作停止にしたり、受光装置30の動作に合わせて、光源部20をスタンバイ状態にしたり、光源部20を低消費電力にて駆動したりすることで実現できる。光源部20を低消費電力駆動については、発光周波数を低くしたり、発光量(電流)を少なくしたりすることによって実現できる。
【0076】
アプリケーションプロセッサ40に必要な機能としては、受光装置30からの割込みを受け、スリープ状態から復帰する機能である。
【0077】
上記の構成の実施例1に係る測距装置1によれば、アプリケーションプロセッサ40を用いずに、光源部20及び受光装置30の各機能を用いることで、物体が近づいたことなどの条件を検出する簡易測距を行うことができる。
【0078】
実施例1に係る測距装置1のシーケンスイメージを
図8に示す。測距装置1のシーケンスは、「起動タイミング監視」→「システム起動シーケンス」→「システム起動」となっており、システム起動のタイミングで受光装置30の動作が完了となる。
【0079】
尚、
図8において、「LP」は、通常の撮像時に比べて低い消費電力(Low Power)を意味しており、「ブランク」はブランキング期間(スタンバイ状態)を表している。以下では、低消費電力でのブランキング期間を「LPブランク」と記述し、低消費電力での簡易測距を「LP測距」と記述する。
【0080】
受光装置30は、内部に起動用のタイマー(
図2の近接物体検出タイミング生成部44が有するタイマーに相当)を持っており、近接物体検出を行うタイミングを管理し、自身や光源部20の起動、簡易測距、近接物体検出時のアプリケーションプロセッサ40への通知を行う。受光装置30が起動のタイミングを知ることで、起動に時間がかかる受光装置30や光源部20内のブロックを停止し、低消費電力化を図ることができる。
【0081】
近接物体検出の動作開始に合わせて、受光装置30は、自身及び光源部20の起動を行う。簡易測距では、1~数か所のポイントを測距できればよく、データの出力も不要であるため、簡易測距に不要な回路については、動作停止が可能である。簡易測距に不要な回路について動作停止とすることにより、受光装置30、ひいては、測距装置1全体の低消費電力化を図ることができる。また、光源部20で発光されるパルス光の周波数及び発光量の少なくとも一方を可変とし、簡易測距のターゲットに合わせて、パルス光の発光周波数や発光量を、距離マップ画像を取得する測距の場合よりも落とすことによっても消費電力を削減できる。
【0082】
図8のシーケンスイメージは、1回目の簡易測距では近接物体の検出が行われず、2回目の簡易測距で近接物体の検出が行われるシーケンスとなっている。受光装置30は、近接物体検出した場合にのみ、アプリケーションプロセッサ40に近接物体検出の通知を行って、システムを起動させる。システム起動により、アプリケーションプロセッサ40においては、所望の動作、例えば、AR(Augmented Reality:拡張現実)などの処理を行い、受光装置30の動作完了のタイミングでスタンバイ状態に移行する。
【0083】
ここで、
図2に示した測距装置1の各機能ブロックにおける各ステート、具体的には、“LPブランク”ステート、“LP測距”ステート、及び、“撮像”ステートでの活性化ブロックイメージについて説明する。
【0084】
(“LPブランク”ステート)
“LPブランク”ステートでの活性化ブロックイメージを
図9に示す。
図9には、活性化ブロックについては白抜きブロックとして図示し、非活性化ブロックについては網掛けブロックとして図示している。“LPブランク”ステートでは、光源部20及びアプリケーションプロセッサ40が非活性化状態となる。
【0085】
また、受光装置30においては、近接物体検出タイミング生成部44のみが活性化状態となる。具体的には、近接物体検出タイミング生成部44において、“LPブランク”ステートでは、起動用のタイマーのみが動作状態となる。尚、データ処理部35において、リーク電流が高い箇所、例えば、ロジック処理箇所については、電源供給を遮断しておいてもよい。
【0086】
上述したように、光源部20及びアプリケーションプロセッサ40、並びに、受光装置30における近接物体検出タイミング生成部44を除くブロックについて非活性化状態とすることで、“LPブランク”ステートでの低消費電力化を図ることができる。
【0087】
(“LP測距”ステート)
“LP測距”ステートでの活性化ブロックイメージを
図10に示す。
図10には、活性化ブロックについては白抜きブロックとして図示し、非活性化ブロックについては網掛けブロックとして図示している。“LP測距”ステートでは、アプリケーションプロセッサ40、及び、受光装置30の一部のブロックが非活性化状態となる。
【0088】
LP測距(簡易測距)では、撮像部31の一部の領域の画素信号を用いて距離の算出が行われることから、受光装置30において、画素変調部33及びカラム処理部34は動作状態になるものの、画素信号を読み出さない回路については動作を停止する。すなわち、画素変調部33の画素信号の読出しに関係しない回路部分、カラム処理部34の画素信号の読出しに関係しない回路部分、データ処理部35、及び、出力I/F37が非活性化状態となり、それ以外は、活性化状態となる。尚、消費電力の大きい光源部20、及び、高周波数で動作する発光タイミング制御部39については、その動作を制限するようにしてもよい。
【0089】
“LP測距”ステートにおいて、近接物体検出部36では、周辺画素の画素信号を加算する処理などによって、1~数画素に圧縮したデータに対して測距のための演算処理が行われる。
【0090】
(“撮像”ステート)
“撮像”ステートでの活性化ブロックイメージを
図11に示す。
図11に白抜きのブロックとして示すように、“撮像”ステートでは、光源部20及びアプリケーションプロセッサ40、並びに、受光装置30の全てのブロックが活性化状態となる。そして、距離マップ画像を取得する“撮像”ステートでは、撮像の精度を上げるために、光源部20が大光量に設定され、受光装置30の発光タイミング制御部39が高周波数に設定される。
【0091】
[実施例2]
実施例2は、実施例1に係る測距装置1における光源部20の構成例である。実施例2に係る光源部20の動作モードのイメージを
図12に示す。
【0092】
実施例2に係る光源部20には、次のような機能が必要となる。
(1)パルス光の発光不要時に不要な電力消費を行わないステートを有すること。
(2)高周波数な発光要求(発光パルス)に合わせて発光可能なステートを有すること。
(3)必要な光量に合わせて発光量(出力電流)調整可能なステートを有すること。
(4)上記(1)~(3)を動的に切り替えられる通信インタフェースを有すること。
【0093】
そこで、実施例2に係る光源部20は、パルス発光、パルス発光準備、及び、LPブランク(スタンバイ)の各動作モードを有している。そして、パルス発光のモードとパルス発光準備のモードとの切替えは、受光装置30からパルスで送信される発光トリガによって行われる。また、パルス発光準備のモードとLPブランクのモードとの切替えは、受光装置30からI2C/SPI等のインタフェース、あるいは、制御線を通して送信されるステータス変更のための制御信号によって行われる。
【0094】
パルス発光のモードは、パルス光を発光中の状態のモードであり、パルス発光準備のモードは、発光トリガが到来したら即時発光できる状態のモード、具体的には、数十~数百MHzのパルスに応答して即時発光できる状態のモードである。簡易測距や撮像の際は、パルス発光準備のモードで即時発光できるようにしておき、発光トリガが到来したらパルス発光のモードに切り替えるようにする。パルス発光準備/LPブランクのモードは、簡易測距や撮像後に設定されるモードであり、外部との通信インタフェース以外動作していない極めて低消費電力のモードである。
【0095】
上記の構成の光源部20では、発光強度(ドライバ電圧)を可変にし、簡易測距を行う“LP測距”ステートでは、距離マップ画像を取得する通常測距時の“発光”ステートよりも出力電流を抑えて発光強度を落とすことにより、
図8のシーケンスイメージにおける『起動タイミング監視』での消費電力をより低消費電力にできる。
【0096】
[実施例3]
実施例3は、実施例1に係る測距装置1における近接物体検出シーケンスの例である。近接物体検出シーケンスの処理は、アプリケーションプロセッサ40から受光装置30に対して起動監視要求が出されることで、受光装置30において実行される。尚、アプリケーションプロセッサ40は、起動監視要求を出したら、スリープ状態となる。
【0097】
実施例3に係る近接物体検出シーケンスの処理の流れの一例を
図13のフローチャートに示す。近接物体検出シーケンスの処理は、
図2において、例えばCPUを用いて構成されるシステム制御部38が、受光装置30内の各機能ブロックを制御することによって実行される。
【0098】
システム制御部38は、アプリケーションプロセッサ40からの起動監視要求の発生を待機し(ステップS11)、起動監視要求が発せられると(S11のYES)、LPブランクのブランキング期間をカウントし、当該ブランキング期間が経過したら起動し、スタンバイ状態にある光源部20に対してステータス変更を要求する(ステップS12)。
【0099】
次に、システム制御部38は、撮像部31の画素領域の一部の領域の画素信号を基に距離計測を行うLP測距(簡易測距)を実行する(ステップS13)。“LP測距”ステートでは、発光タイミング制御部39から光源部20に対して発光トリガが与えられる。また、LP測距が終わると停止し、受光装置30から光源部20に対しステータス変更を要求する。ステータス変更の要求を受けて、光源部20はLPブランク(スタンバイ状態)のステートになる。
【0100】
次に、システム制御部38は、簡易測距結果が所定の閾値以内であるか否かを判断し(ステップS14)、所定の閾値以内でなければ(S14のNO)、ステップS12に戻る。ここで、所定の閾値とは、近接物体を検出する検出条件であり、例えば、あらかじめ設定された距離である。システム制御部38は、簡易測距結果が所定の閾値以内であれば(S14のYES)、近接物体の検出が行われた訳であるから、スリープ状態にあるアプリケーションプロセッサ40に対して近接物体検出通知を出力し(ステップS15)、近接物体検出シーケンスの一連の処理を終了する。
【0101】
[実施例4]
実施例4は、起動タイミングの監視、顔検出及び顔認証、並びに、起動通知が、スタンドアロン・低消費電力で可能な受光装置(ToFセンサ)の例である。尚、顔検出及び顔認証については、なりすまし確認を含む構成とすることもできるし、顔認証を除いて顔検出だけの構成とすることもできる。実施例4に係る測距装置1の基本的なシステム構成の一例を
図14に示す。
【0102】
図14において、実線の矢印は、システムスタンバイ中の制御を表しており、点線の矢印は、システム起動中の制御を表している。システムスタンバイ中の制御は、受光装置30からアプリケーションプロセッサ40に対する、近接物体検出通知(割り込み)や起動リクエストなどであり、受光装置30から光源部20に対する、ステータス制御や発光トリガである。システム起動中の制御は、受光装置30とアプリケーションプロセッサ40との間におけるデータのやり取りである。
【0103】
実施例4に係る測距装置1における光源部20、受光装置30、及び、アプリケーションプロセッサ40の各機能は、次の通りである。
【0104】
光源部20に必要な機能としては、モードに合わせて切替え可能なステータス、及び、外部制御インタフェース(I/F)の機能である。これらの機能を持つことで、光源部20では、レーザ発光時以外の低消費電力での動作が可能となる。これらの機能の他に、実施例4に係る測距装置1における光源部20は、顔検出、顔認証用の低消費電力での常時照射ステータスを有する。
【0105】
受光装置30には、次のような機能が必要となる。
(1)スタンドアロンで近接物体検出を行えること、即ち、受光装置30内で簡易測距が可能であること。この機能は、
図2の近接物体検出部36の機能である。
(2)アプリケーションプロセッサ40や外部に対して近接物体検出時に通知する機能を持つこと。
(3)近接物体検出部36での近接物体検出動作時に低消費電力駆動が可能であること。これは、近接物体検出時以外、内部ブロックをスタンバイにしたり、不要な回路を動作停止にしたり、受光装置30の動作に合わせて、光源部20をスタンバイ状態にしたり、光源部20を低消費電力にて駆動したりすることで実現できる。光源部20を低消費電力駆動については、発光周波数を低くしたり、発光量(電流)を少なくしたりすることによって実現できる。
(4)顔検出機能、顔認証機能、及び、なりすまし確認機能(顔検出機能まででもよい)を持つこと。
【0106】
ここで、顔検出、顔認証(顔認識)、及び、なりすまし確認については、周知の技術を用いて実現することができる。例えば、連続発光状態で撮像を行うことで、受光装置30によってイメージ画像を取得できることから、当該イメージ画像に基づいて、特定の位置の顔の検出を行うことができる。顔認証には、ニューラルネットワーク等の機械学習によるパターン認識技術、例えば、教師データ(マッチング用のマスタデータ)として与えられる顔の特徴点と、撮影した顔画像(距離マップ画像)の特徴点とを比較することによって認識処理を行う技術を用いることができる。また、イメージ画像に基づいて、顔の凹凸を検出し、あらかじめ登録してあるデータと比較することによってなりすまし確認を行うことができる。
【0107】
アプリケーションプロセッサ40に必要な機能としては、受光装置30からの割込みを受け、スリープ状態から復帰する機能である。
【0108】
上記の構成の実施例4に係る測距装置1によれば、顔認証でロックを解除するようなシステムの場合、近接物体を検出だけでなく顔検出や顔認証を受光装置30で行い、顔検出時や顔認証時にアプリケーションプロセッサ40に通知することで、より低消費電力でアプリケーションプロセッサ40に負荷の少ないシステムを構築することができる。このとき、光源部20に常時照射にて低消費電力で動作する機能を持たせることで、光源部20及び受光装置30によってIR(Infrared:赤外線)光を用いた顔検出の制御が可能となる。
【0109】
実施例4に係る測距装置1のシーケンスイメージを
図15に示す。測距装置1のシーケンスは、「起動タイミング監視」→「システム起動シーケンス」となっており、それ以降は、ユーザ制御により動作設定が行われることになる。
【0110】
顔検出及びなりすまし確認の処理の場合、受光装置30でイメージ画像を取得する必要があることから、光源部20は、高速照射が不要であり、常時照射モードで動作することになる。また、なりすまし確認の処理では、顔の凹凸を検出する必要があることから、受光装置30は、高精度で測距を行うことになる。受光装置30は、顔を検出すると、その旨をアプリケーションプロセッサ40に通知する。この通知を受けて、スタンバイ状態にあるアプリケーションプロセッサ40は起動し、距離マップ画像に基づいて顔認証を行う。
【0111】
実施例4に係る測距装置1における受光装置30の構成の一例を
図16に示す。ここで例示する受光装置30は、内部に顔認証を行う機能を持つ構成となっている。
【0112】
受光装置30において、データ処理部35は、撮像部31から出力される画素信号を用いて、顔検出、顔認証、及び、なりすまし確認のための処理を行う画像処理部351及び測距部352の機能部を有する構成となっている。画像処理部351は、撮像部31から出力される画素信号に基づいてイメージ画像を取得する処理を行う。測距部352は、なりすまし確認では顔の凹凸の検出が行われるため、高精度で測距を行う。
【0113】
受光装置30は、顔検出及び顔認証の処理を行うための顔検出/顔認証部45、及び、なりすまし確認の処理を行うためのなりすまし判定部46を備えている。顔検出/顔認証部45は、画像処理部351で取得されたイメージ画像に基づいて、顔検出及び顔認証のための処理(例えば、先述した処理)を行う。なりすまし判定部46は、測距部352の測距結果に基づいて、顔の凹凸を検出することによって、なりすまし確認のための処理を行う。
【0114】
受光装置30は更に、アプリケーションプロセッサ40に対して起動通知を行う起動通知タイミング選択部47を備えている。起動通知タイミング選択部47は、近接物体検出部36の検出結果、顔検出/顔認証部45の認証結果、又は、なりすまし判定部46の判定結果を受けて、アプリケーションプロセッサ40に起動通知を出す。
【0115】
受光装置30において、システム制御部38は、例えば、CPUを用いて構成されており、受光装置30のシステム全体の通信・制御、起動・停止シーケンス制御、及び、ステータス制御などを行う。システム制御部38が制御するステータスには、顔検出(イメージ画像)、顔認証(イメージ画像)、及び、なりすまし確認(測距による顔判断)の各ステータスが含まれる。また、システム制御部38による制御には、光源部20の発光量や、発光周波数の切替えなどの制御も含まれる。
【0116】
尚、ここでは、受光装置30として、顔検出、顔認証、及び、なりすまし確認の各機能を持つ構成を例に挙げたが、必ずしも3つの機能を持たない構成とすることもできる。但し、顔認証の機能を持つ構成は必須である。顔認証の機能だけを持つ構成とする場合、測距部352については、受光装置30の外部に設ける構成とすることもできる。
【0117】
[実施例5]
実施例5は、実施例4に係る測距装置1における光源部20の構成例である。実施例5に係る光源部20の動作モードのイメージを
図17に示す。
【0118】
実施例5に係る光源部20には、次のような機能が必要となる。
(1)発光不要時に不要な電力のかからないステートを有すること。
(2)高周波数な発光要求(発光パルス)に合わせて発光可能なステートを有すること。
(3)点滅ではなく、常時照射のステートを有すること。
(4)必要な光量に合わせて発光量(出力電流)調整可能な機能を有すること。
(5)上記(1)~(4)を動的に切り替えられる通信インタフェースを有すること。
【0119】
そこで、実施例5に係る光源部20は、パルス発光、パルス発光準備、常時照射、常時照射準備、及び、LPブランク(スタンバイ)の各動作モードを有している。そして、パルス発光のモードとパルス発光準備のモードとの切替えは、受光装置30からパルスで送信される発光トリガによって行われる。また、常時照射のモードと常時照射準備のモードとの切替え、及び、パルス発光準備のモードとLPブランクのモードとの切替えは、受光装置30からI2C/SPI等のインタフェース、あるいは、制御線を通して送信されるステータス変更のための制御信号によって行われる。
【0120】
パルス発光のモードは、パルス光が発光中の状態のモードであり、パルス発光準備のモードは、発光トリガが到来したら即時発光できる状態のモード、具体的には、数十~数百MHzのパルスに応答して即時発光できる状態のモードである。常時照射のモードは、高周波で発光を切り替える必要がないモードであり、常時照射準備のモードは、発光ステータスになったら即時発光ステータスに移行できる状態のモードである。LPブランクのモードは、外部との通信インタフェース以外動作していない極めて低消費電力のモードである。
【0121】
顔検出では、画像精度(解像度)は粗くてよく、顔認証では、高い画像精度、即ち、高解像度の画像が必要になる。従って、常時照射/常時照射準備の各モードでは、照射光の光量に合わせて発光電流を調整可能にする。これにより、光源部20の低消費電力での駆動が可能になる。
【0122】
[実施例6]
実施例6は、実施例4に係る測距装置1における近接物体検出・顔検出シーケンスの例である。近接物体検出・顔検出シーケンスの処理は、アプリケーションプロセッサ40から受光装置30に対して起動監視要求が出されることで、受光装置30において実行される。尚、アプリケーションプロセッサ40は、起動監視要求を出したら、スリープ状態となる。
【0123】
実施例6に係る近接物体検出・顔検出シーケンスの処理の流れの一例を
図18のフローチャートに示す。近接物体検出・顔検出シーケンスの処理は、
図2において、例えばCPUを用いて構成されるシステム制御部38が、受光装置30内の各機能ブロックを制御することによって実行される。
【0124】
システム制御部38は、アプリケーションプロセッサ40からの起動監視要求の発生を待機し(ステップS21)、起動監視要求が発せられると(S21のYES)、LPブランクのブランキング期間をカウントし、当該ブランキング期間が経過したら起動し、スタンバイ状態にある光源部20に対してステータス変更を要求する(ステップS22)。
【0125】
次に、システム制御部38は、撮像部31の画素領域の一部の領域の画素信号を基に距離計測を行うLP測距(簡易測距)を実行し(ステップS23)、次いで、簡易測距結果が所定の閾値以内であるか否かを判断し(ステップS24)、所定の閾値以内でなければ(S24のNO)、ステップS22に戻る。ここで、所定の閾値とは、近接物体を検出する検出条件であり、例えば、あらかじめ設定された距離である。
【0126】
システム制御部38は、簡易測距結果が所定の閾値以内であれば(S24のYES)、スタンバイ状態にある回路を起動し、撮像及び顔検出を行う(ステップS25)。次に、システム制御部38は、顔を検出したか否かを判断し(ステップS26)、検出していなければ(S26のNO)、ステップS22に戻り、検出していれば(S26のYES)、アプリケーションプロセッサ40に対して顔を検出した旨の通知を出力し(ステップS27)、近接物体検出・顔検出シーケンスの一連の処理を終了する。
【0127】
<変形例>
以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した測距装置の構成、構造は例示であり、適宜、変更することができる。
【0128】
例えば、上記の実施形態では、間接ToF方式を採用する測距装置を例に挙げて説明したが、間接ToF方式の採用に限られるものではなく、光の飛行時間差から被写体(測距対象物)までの距離を直接算出する直接(direct)ToF方式を採用することもできる。また、シーン変化時の起動を想定して、起動タイミングの監視として、近接物体検出機能ではなく、動物体検出機能を用いるようにしてもよい。
【0129】
<本開示の電子機器>
以上説明した本開示の測距装置は、種々の電子機器に搭載される測距装置として用いることができる。測距装置を搭載する電子機器としては、例えば、スマートフォン、デジタルカメラ、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。但し、モバイル機器に限定されるものではない。ここでは、本開示の受光装置を含む測距装置を搭載することができる電子機器(本開示の電子機器)の具体例として、スマートフォンを例示する。
【0130】
本開示の電子機器の具体例に係るスマートフォンについて、正面側から見た外観図を
図19Aに示し、裏面側から見た外観図を
図19Bに示す。本具体例に係るスマートフォン100は、筐体110の正面側に表示部120を備えている。また、スマートフォン100は、例えば、筐体110の裏面側の上方部に撮像部130を備えている。
【0131】
先述した本開示の実施形態に係る測距装置1は、例えば、上記の構成のモバイル機器の一例であるスマートフォン100に搭載して用いることができる。この場合、測距装置1の光源部20及び受光装置30については、例えば、
図19Aに示すように、表示部120の上方に配置することができる。但し、
図19Aに示す光源部20及び受光装置30の配置例は、一例であって、この配置例に限られるものではない。
【0132】
上述したように、本具体例に係るスマートフォン100は、本開示の受光装置30を含む測距装置1を搭載することによって作製される。そして、本具体例に係るスマートフォン100は、上記の測距装置1を搭載することにより、距離マップ画像を取得することができるため、顔認証システムに応用することができる。
【0133】
また、上記の測距装置1を搭載することで、例えば、ユーザが通話を行う際に、ユーザの耳がスマートフォン100に近づいたことを検知し、タッチパネルディスプレイをOFF状態にするような使い方ができる。これにより、スマートフォン100の消費電力を低減できるとともに、タッチパネルディスプレイの誤動作を防止することができる。また、上記の測距装置1は、低消費電力化を図ることができるため、スマートフォン100の消費電力を更に低減できる。
【0134】
<本開示がとることができる構成>
尚、本開示は、以下のような構成をとることもできる。
【0135】
≪A.測距装置≫
[A-1]被写体に光を照射する光源部、
被写体からの反射光を受光する受光装置、及び、
光源部及び受光装置を制御するアプリケーションプロセッサ、
を備え、
受光装置は、被写体までの距離を測定し、所定の距離以内に近づいたことを検出する物体検出機能を有し、検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、
アプリケーションプロセッサは、受光装置からの通知を受けて起動する、
測距装置。
[A-2]受光装置は、検出結果に基づいて、受光装置内部のステータスの切替えを行う、
上記[A-1]に記載の測距装置。
[A-3]受光装置は、検出結果に基づいて、光源部のステータスの切替えを行う、
上記[A-2]に記載の測距装置。
[A-4]受光装置は、受光素子を含む画素が配置されて成る撮像部を有し、撮像部の画素領域内の一部の領域の画素信号を用いて距離を測定する簡易測距を行う、
上記[A-1]乃至上記[A-3]のいずれかに記載の測距装置。
[A-5]光源部は、被写体に対して所定の周期で発光するパルス光を照射し、
受光装置は、被写体からの反射パルス光を受光し、発光の周期と受光の周期との位相差から光飛行時間を計測することによって簡易測距を行う、
上記[A-4]に記載の測距装置。
[A-6]光源部は、発光するパルス光の周波数及び発光量の少なくとも一方が可変であり、簡易測距では、パルス光の発光周波数及び発光量の少なくとも一方を、距離マップ画像を取得する測距の場合よりも落とす、
上記[A-5]に記載の測距装置。
[A-7]受光装置は、連続発光状態で撮像を行うことで、イメージ画像の取得が可能である、
上記[A-1]乃至上記[A-6]のいずれかに記載の測距装置。
[A-8]受光装置は、取得したイメージ画像に基づいて、顔の検出を行う、
上記[A-7]に記載の測距装置。
[A-9]受光装置は、取得したイメージ画像に基づいて、顔の凹凸を検出し、あらかじめ登録してあるデータと比較することによってなりすまし確認を行う、
上記[A-8]に記載の測距装置。
[A-10]アプリケーションプロセッサは、受光装置からの顔検出の通知を受けて、距離マップ画像を基に顔認証を行う、
上記[A-8]に記載の測距装置。
【0136】
≪B.測距装置の制御方法≫
[B-1]被写体に光を照射する光源部、
被写体からの反射光を受光する受光装置、及び、
光源部及び受光装置を制御するアプリケーションプロセッサ、
を備える測距装置の制御に当たって、
受光装置によって、被写体までの距離を測定し、所定の距離以内に近づいたことを検出し、その検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、アプリケーションプロセッサを起動させる、
測距装置の制御方法。
【0137】
≪C.電子機器≫
[C-1]被写体に光を照射する光源部、
被写体からの反射光を受光する受光装置、及び、
光源部及び受光装置を制御するアプリケーションプロセッサ、
を備え、
受光装置は、被写体までの距離を測定し、所定の距離以内に近づいたことを検出する物体検出機能を有し、検出結果を、スタンバイ状態にあるアプリケーションプロセッサに通知し、
アプリケーションプロセッサは、受光装置からの通知を受けて起動する、
測距装置を有する電子機器。
[C-2]受光装置は、検出結果に基づいて、受光装置内部のステータスの切替えを行う、
上記[C-1]に記載の電子機器。
[C-3]受光装置は、検出結果に基づいて、光源部のステータスの切替えを行う、
上記[C-2]に記載の電子機器。
[C-4]受光装置は、受光素子を含む画素が配置されて成る撮像部を有し、撮像部の画素領域内の一部の領域の画素信号を用いて距離を測定する簡易測距を行う、
上記[C-1]乃至上記[C-3]のいずれかに記載の電子機器。
[C-5]光源部は、被写体に対して所定の周期で発光するパルス光を照射し、
受光装置は、被写体からの反射パルス光を受光し、発光の周期と受光の周期との位相差から光飛行時間を計測することによって簡易測距を行う、
上記[C-4]に記載の電子機器。
[C-6]光源部は、発光するパルス光の発光周波数及び発光量の少なくとも一方が可変であり、簡易測距では、パルス光の周波数及び発光量の少なくとも一方を、距離マップ画像を取得する測距の場合よりも落とす、
上記[C-5]に記載の電子機器。
[C-7]受光装置は、連続発光状態で撮像を行うことで、イメージ画像の取得が可能である、
上記[C-1]乃至上記[C-6]のいずれかに記載の電子機器。
[C-8]受光装置は、取得したイメージ画像に基づいて、顔の検出を行う、
上記[C-7]に記載の電子機器。
[C-9]受光装置は、取得したイメージ画像に基づいて、顔の凹凸を検出し、あらかじめ登録してあるデータと比較することによってなりすまし確認を行う、
上記[C-8]に記載の電子機器。
[C-10]アプリケーションプロセッサは、受光装置からの顔検出の通知を受けて、距離マップ画像を基に顔認証を行う、
上記[C-8]に記載の電子機器。
【符号の説明】
【0138】
1・・・測距装置、10・・・被写体(測距対象物)、20・・・光源部、30・・・受光装置、31・・・撮像部、32・・・画素制御部、33・・・画素変調部、34・・・カラム処理部、35・・・近接物体検出部、36・・・データ処理部、37・・・出力I/F、38・・・システム制御部、39・・・発光タイミング制御部、40・・・アプリケーションプロセッサ、41・・・基準電圧・基準電圧生成部、42・・・PLL回路、43・・・光源部ステータス制御部、44・・・近接物体検出タイミング生成部、45・・・顔検出/顔認証部、46・・・なりすまし判定部、47・・・起動通知タイミング選択部