特許 6270813 複数の光源を有するモーションセンサ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6270813

(24)【登録日】2018年1月12日

(45)【発行日】2018年1月31日

(54)【発明の名称】複数の光源を有するモーションセンサ装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20180122BHJP

   G01B 11/00 20060101ALI20180122BHJP

【ＦＩ】

   G01C3/06 120R

   G01B11/00 H

【請求項の数】22

【全頁数】25

(21)【出願番号】特願2015-502984(P2015-502984)

(86)(22)【出願日】2014年6月25日

(86)【国際出願番号】JP2014003404

(87)【国際公開番号】WO2015001770

(87)【国際公開日】20150108

【審査請求日】2017年1月18日

(31)【優先権主張番号】特願2013-137792(P2013-137792)

(32)【優先日】2013年7月1日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100180529

【弁理士】

【氏名又は名称】梶谷 美道

(74)【代理人】

【識別番号】100125922

【弁理士】

【氏名又は名称】三宅 章子

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100184985

【弁理士】

【氏名又は名称】田中 悠

(72)【発明者】

【氏名】渕上 竜司

【審査官】 清水 靖記

(56)【参考文献】

【文献】 特開２００４−１１７２３５（ＪＰ，Ａ）

【文献】 特開平０６−０４２９１５（ＪＰ，Ａ）

【文献】 特開２００１−１６５６５５（ＪＰ，Ａ）

【文献】 特開２０１２−１２７８３５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００３５１７４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００ − ３／０６

Ｇ０１Ｂ １１／００ − １１／３０

(57)【特許請求の範囲】

【請求項1】

イメージセンサと、
第１および第２の光源と、
前記イメージセンサおよび前記第１および第２の光源を制御するように構成された制御回路と、
を備え、
前記制御回路は、
第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行う動作と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行う動作と、前記第１のフレームの撮像によって取得した第１の画像および前記第２のフレームの撮像によって取得した第２の画像に基づいて、対象物までの距離情報を生成する動作と、を繰り返し、
前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た情報に基づいて個別に制御するように構成されている、
モーションセンサ装置。

【請求項2】

前記制御回路は、前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の第１の輝度と、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の第２の輝度とに基づいて、前記対象物までの距離情報を生成するように構成されている、請求項１に記載のモーションセンサ装置。

【請求項3】

前記制御回路は、前記第１の輝度と前記第２の輝度との比に基づいて、前記距離情報を生成するように構成されている、請求項２に記載のモーションセンサ装置。

【請求項4】

前記制御回路は、前記第１の光源の発光量および前記第２の光源の発光量に応じて、前記第１の輝度および前記第２の輝度の少なくとも一方を補正して前記距離情報を生成するように構成されている、請求項２または３に記載のモーションセンサ装置。

【請求項5】

前記制御回路は、前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た前記第１および第２の画像のそれぞれにおけるＳ／Ｎ比に基づいて制御するように構成されている、請求項１から４のいずれかに記載のモーションセンサ装置。

【請求項6】

前記制御回路は、前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た前記第１および前記第２の画像のそれぞれにおける輝度分布に基づいて制御するように構成されている、請求項１から４のいずれかに記載のモーションセンサ装置。

【請求項7】

前記制御回路は、前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た前記第１および前記第２の画像のそれぞれにおける対象物の距離および運動量の少なくとも一方に基づいて制御するように構成されている、請求項１から６のいずれかに記載のモーションセンサ装置。

【請求項8】

前記制御回路は、前記第１および第２の画像の少なくとも一方に対象物の像が含まれていないとき、前記対象物の像を含まない画像を取得する際に発光していた前記第１および第２の光源の一方を消灯または低出力の状態に変更するように構成されている、請求項１から７のいずれかに記載のモーションセンサ装置。

【請求項9】

前記制御回路は、前記第１および第２の光源の一方を消灯または低出力状態に変更した状態で取得した前記第１および第２の画像の一方を、他方の画像から減算することにより、背景光の影響を低減させるように構成されている、請求項８に記載のモーションセンサ装置。

【請求項10】

前記制御回路は、
前記第１および第２の画像に対象物の像が含まれていないとき、待機モードに移行し、
前記待機モードでは、
前記第１の光源を発光させながら前記第１のフレームの撮像を行い、
前記第２の光源を消灯または低出力の状態にして前記第２のフレームの撮像を行い、
前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差分を示す値が、閾値よりも大きいとき、前記待機モードを解除するように構成されている、
請求項１から９のいずれかに記載のモーションセンサ装置。

【請求項11】

第３の光源をさらに備え、
前記制御回路は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行う動作と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行う動作と、第３の光源を発光させながら前記イメージセンサで第３のフレームの撮像を行う動作と、前記第１のフレームの撮像によって取得した第１の画像、前記第２のフレームの撮像によって取得した第２の画像、および前記第３のフレームの撮像によって取得した第３の画像に基づいて、前記対象物までの距離情報を生成する動作と、を繰り返し、
前記第１から第３の光源の発光量を、前回以前の撮像によって得た情報に基づいて個別に制御するように構成されている、
請求項１から１０のいずれかに記載のモーションセンサ装置。

【請求項12】

前記制御回路は、前記第１から第３の画像の少なくとも１つに対象物の像が含まれていないとき、前記対象物の像を含まない前記第１から第３の画像の少なくとも１つを取得する際に発光していた前記第１から第３の光源の少なくとも１つを消灯または低出力の状態に変更するように構成されている、請求項１１に記載のモーションセンサ装置。

【請求項13】

前記制御回路は、前記第１から第３の光源の少なくとも１つを消灯または低出力の状態に変更した後、その光源の発光時に取得されるフレームの撮像をスキップするように構成されている、請求項１２に記載のモーションセンサ装置。

【請求項14】

前記制御回路は、前記第１から第３の光源の少なくとも１つを消灯または低出力の状態に変更した後、その光源に対応するフレームの撮像によって取得した画像を、出力が変更されていない他の光源に対応するフレームの撮像によって取得した画像から減算するように構成されている、請求項１２に記載のモーションセンサ装置。

【請求項15】

前記制御回路は、前記第１から第３の光源の少なくとも１つを消灯または低出力の状態に変更した後、出力が変更されていない光源の発光時に取得される画像における対象物の距離および運動量の少なくとも１つの情報に基づいて、消灯または低出力の状態に変更した光源を通常の発光状態に復帰させるように構成されている、請求項１２から１４のいずれかに記載のモーションセンサ装置。

【請求項16】

前記制御回路は、前記第１のフレームの撮像によって取得した前記第１の画像から得られる前記対象物の輝度、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の輝度、および前記第３のフレームの撮像によって取得した第３の画像から得られる前記対象物の輝度に基づいて、前記対象物までの距離情報を生成するように構成されている、請求項１１から１５のいずれかに記載のモーションセンサ装置。

【請求項17】

前記制御回路は、
前記第１から第３の画像に対象物の像が含まれていないとき、待機モードに移行し、
前記待機モードでは、
前記第１の光源を発光させながら前記第１のフレームの撮像を行い、
前記第２の光源を消灯または低出力状態にして前記第２のフレームの撮像を行い、
前記第３のフレームの撮像を行わず、
前記第１のフレームの撮像によって取得した第１の画像と、前記第２のフレームの撮像によって取得した第２の画像との差分を示す値が、閾値よりも大きいとき、前記待機モードを解除するように構成されている、
請求項１１から１６のいずれかに記載のモーションセンサ装置。

【請求項18】

前記制御回路は、前記待機モードでは、撮影フレームレートを低下させるように構成されている、請求項１０または１７に記載のモーションセンサ装置。

【請求項19】

イメージセンサと、第１および第２の光源とを備えるモーションセンサ装置において用いられる回路であって、
第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行う動作と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行う動作と、前記第１のフレームの撮像によって取得した第１の画像および前記第２のフレームの撮像によって取得した第２の画像に基づいて、対象物までの距離情報を生成する動作と、を繰り返し、
前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た情報に基づいて個別に制御するように構成されている、
回路。

【請求項20】

イメージセンサと、第１および第２の光源とを備えるモーションセンサ装置において用いられる回路であって、
前記イメージセンサから画像を取得する画像入力部と、
前記第１および第２の光源のそれぞれの発光量を規定する情報を格納する発光量記憶部と、
前記情報に基づいて決定した第１の発光量で前記第１の光源を第１の時間で発光させ、前記情報に基づいて決定した第２の発光量で前記第２の光源を第２の時間で発光させる発光制御部と、
前記第１の時間の撮像によって前記イメージセンサによって取得された第１の画像、および前記第２の時間の撮像によって前記イメージセンサによって取得された第２の画像の少なくとも一方に、前記発光量記憶部に格納された前記情報に基づく輝度補正処理を行う輝度補正部と、
前記輝度補正処理後の前記第１の画像から得られる対象物の輝度と、前記輝度補正処理後の前記第２の画像から得られる前記対象物の輝度とに基づいて、前記対象物までの距離情報を生成して出力する距離情報生成部と、
前記第１および第２の画像の輝度情報、前記距離情報生成部の計算過程の精度情報、および前記距離情報生成部から出力された距離情報の少なくとも１つに基づいて、前記発光量記憶部に格納する前記情報を決定し、設定するセンサ制御部と、
を備え、
第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行う動作と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行う動作と、前記第１のフレームの撮像によって取得した第１の画像および前記第２のフレームの撮像によって取得した第２の画像に基づいて、対象物までの距離情報を生成する動作と、を繰り返し、
前記センサ制御部は、前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た情報に基づいて個別に制御する、
回路。

【請求項21】

イメージセンサと、第１および第２の光源とを備えるモーションセンサ装置において用いられる回路であって、
前記イメージセンサから画像を取得する画像入力部と、
前記第１および第２の光源のそれぞれの発光量を規定する情報を格納する発光量記憶部と、
前記画像入力部から得られる少なくとも２つの画像の１つを背景光画像として選択する背景光画像選択部と、
前記背景光画像選択部によって選択された画像を、他の画像から減算する背景光除去部と、
前記背景光除去部から出力された第１および第２の画像における輝度の関係から対象物までの距離情報を生成する距離情報生成部と、
前記第１および第２の画像の輝度情報、前記距離情報生成部の計算過程の精度情報、および前記距離情報生成部から出力された距離情報の少なくとも１つに基づいて、前記発光量記憶部に格納する前記情報を決定し、設定するセンサ制御部と、
を備え、
第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行う動作と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行う動作と、前記第１のフレームの撮像によって取得した第１の画像および前記第２のフレームの撮像によって取得した第２の画像に基づいて、対象物までの距離情報を生成する動作と、を繰り返し、
前記センサ制御部は、前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た情報に基づいて個別に制御する、
回路。

【請求項22】

再構成可能ロジックで実行可能な、請求項２０または２１に記載の回路情報を格納した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、複数の光源を備えたモーションセンサ装置に関する。特に、モーションセンサ装置の低消費電力化に関する。

【背景技術】

【0002】

撮像装置を用いた距離計測の方法には、様々な方法がある。例えば、２台の撮像装置（またはイメージセンサ）を用いて取得した２つの画像におけるステレオ視差から距離を推定する方法がある。他にも、特殊なドットパターンを空間に投影してその像を解析することによって距離を推定する方法がある。高い周波数で変調された光パルスを対象物に照射して往復の光パルスの位相差を計測することによって距離を推定するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法と呼ばれる方法もある。

【0003】

特許文献１は、距離計測技術の他の例を開示している。特許文献１に開示された装置は、静止または運動している物体(対象物)に、複数の光源から時分割で投光しながら１つのイメージセンサによって複数の画像を取得する。これらの画像の輝度の比に基づいて、対象物までの距離が測定される。

【0004】

特許文献１のように、複数フレームの撮像を必要とする方式は、動く物体を捕らえるモーションセンサには著しく不向きであった。しかし、例えば非特許文献１のようなセンサデバイスを用いれば、この課題を解決できる。非特許文献１は、制限されたフレーム枚数の範囲であるが、読み出し転送を行うことなく、殆ど時間差を発生させずに複数枚の画像を撮影できるセンサデバイスを開示している。

【0005】

特許文献１のような距離計測技術をモーションセンサ装置に適用する場合、計測に複数の光源の発光を伴うため、電力の消費が大きいという課題もある。

【0006】

電力の消費を抑えた距離計測技術の例として、以下のものがある。

【0007】

特許文献２は、ＴＯＦ方式の距離情報取得装置の一例を開示している。この装置は、計測対象物の距離に応じて光源装置の発光を抑えることにより、電力消費を低減する。

【0008】

特許文献３は、焦電センサを用いることにより、計測範囲内に検出対象物が存在しない場合に待機電力を低減する技術を開示している。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００１−１２９０９号公報

【特許文献2】特開２０１１−１７９９９７号公報

【特許文献3】特開２０１０−５４３６３号公報

【非特許文献】

【0010】

【非特許文献1】Gordon Wan, Xiangli Li, Gennadiy Agranov, Marc Levoy, and Mark Horowitz "CMOS Image Sensors With Multi‐Bucket Pixels for Computational Photography", IEEE JOURNAL OF SOLID‐STATE CIRCUITS, VOL. 47, NO.4, APRIL 2012

【非特許文献2】荻野真佑、右田剛史、尺長健、“Torrance‐Sparrowモデルに基づく反射特性・形状・光源位置の同時推定の検討", The Institute of Electronics, Information, and Communication Engineers, IEICE Technical Report IE2007‐347, PRMU2007‐331(2008‐03)

【非特許文献3】垂水秀行、伊東敏夫、金田悠紀夫、“照度差ステレオ法を用いた光源位置未知画像からの多面体の面認識”, The Institute of Electronics, Information, and Communication Engineers, 電子情報通信学会論文誌 D‐II Vol. J83‐D‐II No.9 pp.1895‐1904 2000年9月

【発明の概要】

【発明が解決しようとする課題】

【0011】

特許文献１の距離計測技術では、上述のように、複数の光源を連続的に発光させるため、電力の消費が大きい。電力の消費を抑えるため、例えば特許文献２、３に開示された技術を特許文献１の技術に適用した場合、距離計測精度の低下や、センサの追加によるコスト増加を招く。

【0012】

本開示の実施形態は、この問題を解決しうる新しいモーションセンサ装置を提供する。

【課題を解決するための手段】

【0013】

上記課題を解決するため、本開示の一態様に係るモーションセンサ装置は、イメージセンサと、第１および第２の光源と、前記イメージセンサおよび前記第１および第２の光源を制御するように構成された制御回路と、を備える。前記制御回路は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行う動作と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行う動作と、前記第１のフレームの撮像によって取得した第１の画像および前記第２のフレームの撮像によって取得した第２の画像に基づいて、対象物までの距離情報を生成する動作と、を繰り返し、前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た情報に基づいて個別に制御するように構成されている。

【0014】

本開示の他の態様に係る回路は、イメージセンサと、第１および第２の光源とを備えるモーションセンサ装置において用いられる。前記回路は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行う動作と、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行う動作と、前記第１のフレームの撮像によって取得した第１の画像および前記第２のフレームの撮像によって取得した第２の画像に基づいて、対象物までの距離情報を生成する動作と、を繰り返し、前記第１の光源の発光量と前記第２の光源の発光量とを、前回以前の撮像によって得た情報に基づいて個別に制御するように構成されている。

【0015】

本開示の他の態様に係る回路は、イメージセンサと、第１および第２の光源とを備えるモーションセンサ装置において用いられる。前記イメージセンサから画像を取得する画像入力部と、前記第１および第２の光源のそれぞれの発光量を規定する情報を格納する発光量記憶部と、前記情報に基づいて決定した第１の発光量で前記第１の光源を第１の時間で発光させ、前記情報に基づいて決定した第２の発光量で前記第２の光源を第２の時間で発光させる発光制御部と、前記第１の時間の撮像によって前記イメージセンサによって取得された第１の画像、および前記第２の時間の撮像によって前記イメージセンサによって取得された第２の画像の少なくとも一方に、前記発光量記憶部に格納された前記情報に基づく輝度補正処理を行う輝度補正部と、前記輝度補正処理後の前記第１の画像から得られる対象物の輝度と、前記輝度補正処理後の前記第２の画像から得られる前記対象物の輝度とに基づいて、前記対象物までの距離情報を生成して出力する距離情報生成部と、前記第１および第２の画像の輝度情報、前記距離情報生成部の計算過程の精度情報、および前記距離情報生成部から出力された距離情報の少なくとも１つに基づいて、前記発光量記憶部に格納する前記情報を決定し、設定するセンサ制御部と、を備える。

【0016】

本開示の他の態様に係る回路は、イメージセンサと、第１および第２の光源とを備えるモーションセンサ装置において用いられる。前記回路は、前記イメージセンサから画像を取得する画像入力部と、前記画像入力部から得られる少なくとも２つの画像の１つを背景光画像として選択する背景光画像選択部と、前記背景光画像選択部によって選択された画像を、他の画像から減算する背景光除去部と、前記背景光除去部から出力された第１および第２の画像における輝度の関係から対象物までの距離情報を生成する距離情報生成部と、前記第１および第２の画像の輝度情報、前記距離情報生成部の計算過程の精度情報、および前記距離情報生成部から出力された距離情報の少なくとも１つに基づいて、前記発光量記憶部に格納する前記情報を決定し、設定するセンサ制御部と、を備える。

【0017】

本開示の他の態様に係る記録媒体は、再構成可能ロジックで実行可能な、上記のいずれかに記載の回路情報を格納している。

【0018】

これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体によって実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせによって実現されてもよい。

【発明の効果】

【0019】

本開示のモーションセンサ装置の実施形態によれば、距離計測精度の低下やコストの増加を招くことなく、電力の消費を抑えることができる。

【図面の簡単な説明】

【0020】

【図1A】２個の光源を備えるモーションセンサ装置の断面を模式的に示す図である。

【図1B】図１Ａの装置の上面図である。

【図2】光源の放射角と相対放射強度との関係を示すグラフである。

【図3】光源の放射角を示す図である。

【図4A】第１の光源１０２から放射された光で対象物１０４が照射される様子を示す図である。

【図4B】第２の光源１０３から放射された光で対象物１０４が照射される様子を示す図である。

【図5】撮像データの１ラインの画素位置と輝度との関係を示すグラフである。

【図6】ある放射角における輝度比と距離との関係を示すグラフである。

【図7A】第１の光源１０２から放射された光で僅かに移動した対象物１０４が照射される様子を示す図である。

【図7B】第２の光源１０３から放射された光で僅かに移動した対象物１０４が照射される様子を示す図である。

【図8】２つの光源を有するモーションセンサ装置における低感度領域を模式的に示す図である。

【図9】３個の光源１０２、１０３、１０４を備えるモーションセンサ装置の一例を示す図である。

【図10】本開示の実施形態１のモーションセンサ装置の構成を示す図である。

【図11】実施形態１のモーションセンサ装置における光源とイメージセンサの制御タイミングを示すタイムチャートである。

【図12】撮像のある時点における対象物６０１の状態の例を示す図である。

【図13】撮像装置５０１の左側に対象物が位置する状態を示す図である。

【図14】実施形態１に係るモーションセンサ装置を搭載したディスプレイ１００１を示す図である。

【発明を実施するための形態】

【0021】

まず、本開示によるモーションセンサ装置によって対象物（被写体）までの距離を測定することができる基本原理を説明する。

【0022】

図１Ａは、モーションセンサ装置の断面を模式的に示す図である。図１Ｂは、図１Ａの上面図である。

【0023】

図１Ａおよび図１Ｂに示されている装置は、中央に位置するイメージセンサ１０１と、イメージセンサ１０１の両側に位置する２個の光源装置１０２、１０３とを備えている。図示されている例では、イメージセンサ１０１および光源装置１０２、１０３は、１個の基板１００に搭載されている。イメージセンサ１０１は、多数の微細な光検知セル(フォトダイオード)が行および列状に配列された固体撮像素子である。イメージセンサ１０１は、典型的にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型またはＣＭＯＳ型である。以下の説明では、光源装置を単に「光源」と称することがある。

【0024】

図１Ａには、第１の光源１０２から出た光１０２ａと第２の光源１０３から出た光１０３ａとが模式的に示されている。この装置は、光源１０２、１０３を交互に点灯させながら、撮像を行うことにより、計測対象物体（対象物）までの距離を測定することができる。なお、「距離の測定」は、イメージセンサから対象物までの距離の推定値、あるいは、空間内の対象物の位置の推定値を求めることを含む。対象物には、例えば、人の手、指、人が持つペンなどが含まれ得る。対象物は移動してもよい。高速で移動しつつある人の指先までの距離、または指先の位置の推定値をリアルタイムで取得することができる３次元モーションセンサ装置は、コンピュータ、タブレット端末、スマートフォン、ゲーム機器、および家電機器を含む多様な電子機器の「入力デバイス」として使用され得る。

【0025】

図２は、光源１０２、１０３の各々から出た光の放射パターン（配光特性）を表すグラフである。グラフの横軸は、図３に示されるように、放射の方向が基板１００の法線方向Ｎに対して形成する角度θである。グラフの縦軸は、相対放射強度である。以下、放射の角度θを「放射角」と称する場合がある。なお、相対放射強度の値は、光源から特定角度の方向に離れた位置に置かれた対象物の照度（放射照度）に対応している。

【0026】

図２からわかるように、光源１０２、１０３の各々から出た放射は、角度θが０°のとき、最も高い強度を示す。図２の例において、光源１０２、１０３は、その放射強度がＩ₀×ｃｏｓθで近似できるような配光特性を示している。ただし、これは一例であり、光源１０２、１０３の配光特性は図２の例に限定されない。また、光源１０２、１０３から出る放射は、可視光に限定されず、赤外線のように人間の視覚によって感じとれない波長域の電磁波であってもよい。本明細書では、簡単のため、光源から出る放射を単に「光」と称する場合がある。この「光」の用語は、可視光に限定されず、イメージセンサで検出可能な電磁波を広く含む。

【0027】

次に、上記の装置で対象物までの距離を測定する方法を説明する。

【0028】

まず、図４Ａおよび図４Ｂを参照する。図４Ａには、第１の光源１０２から放射された光で対象物１０４が照射され、対象物１０４で反射された光の一部がイメージセンサ１０１に入射する様子が示されている。一方、図４Ｂには、第２の光源１０３から放射された光で対象物１０４が照射され、対象物１０４で反射された光の一部がイメージセンサ１０１に入射する様子が示されている。対象物１０４の位置は、図４Ａおよび図４Ｂで実質的に同じであるとする。

【0029】

この装置によれば、第１の時刻において、図４Ａに示すように、光源１０２を点灯し、光源１０３を消灯させた状態でイメージセンサ１０１による第１の撮像を行う。次に、第２の時刻において、図４Ｂに示されるように、光源１０３を点灯し、光源１０２を消灯させた状態でイメージセンサ１０１による第２の撮像を行う。第１および第２の撮像の各々の期間（露光時間）は、対象物１０４が実質的に停止していると扱える程度に十分に短いと仮定する。

【0030】

第１の撮像を行うとき、光源１０２から出た光の一部が対象物１０４によって反射されてイメージセンサ１０１に入射するため、イメージセンサ１０１に入射する光の強度に応じた輝度画像が得られる。同様に、第２の撮像を行うときは、光源１０３から出た光の一部が対象物１０４によって反射されてイメージセンサ１０１に入射するため、イメージセンサ１０１に入射する光の強度に応じた輝度画像が得られる。

【0031】

第１および第２の撮像によって取得した２フレームの画像の各々に基づいて、対象物１０４の輝度（輝度分布または輝度像）を求めることができる。なお、本明細書における「輝度」とは、［カンデラ／ｍ²］の単位を有する心理物理量ではなく、イメージセンサの画素ごとに定まる「相対輝度」である。本明細書における「輝度」は、光量または放射量に相当する。各フレームの画像を構成する各画素は、受光量に応じた「輝度値」を有する。

【0032】

対象物１０４には大きさがあるため、各画像における対象物１０４の像は、通常、複数の画素によって構成される。対象物１０４の「輝度」は、対象物１０４の像を構成する複数の画素の輝度値から種々の方法によって決定することができる。対象物１０４の像のうち、最も明るい「画素」または「画素ブロック」の輝度を対象物１０４の輝度とすることも可能であるし、対象物１０４の像を構成する全ての画素の平均輝度を対象物１０４の輝度とすることもできる。

【0033】

図５は、上述の方法で取得した２フレームの画像の各々において、対象物１０４の像を横切る一本の水平ラインの輝度値を示すグラフである。横軸は画像内の特定の水平ライン上における画素位置であり、縦軸は相対輝度である。グラフ中の曲線３０１は光源１０２が点灯しているときの輝度であり、曲線３０２は光源１０３が点灯しているときの輝度である。ここで、「水平ライン」とは、画像の横方向のラインを意味する。この実施形態では、光源１０２、１０３の配列方向が、イメージセンサ１０１によって取得される画像の横方向に対応している。このため、画像内の対象物が存在する水平ライン上の相対輝度の分布を考える。光源１０２、１０３の配列方向が画像の横方向とは異なる方向に対応している場合は、その対応する方向についての相対輝度の分布を考慮すればよい。

【0034】

図５の例では、曲線３０１および曲線３０２は、それぞれ、単峰性のピークを有している。すなわち、曲線３０１は、ある画素位置で極値３０３を示し、曲線３０２は、他の画素位置で極値３０４を示している。

【0035】

前述したように、２フレームの間に対象物１０４は実質的に静止している。したがって、曲線３０１と曲線３０２との間にある相違は、光源１０２が作る放射のパターンと光源１０３が作る放射のパターンとが異なることに起因している。光源１０２から出た光が対象物１０４で反射されてイメージセンサ１０１に入射して取得される像の輝度と、光源１０３から出た光が対象物１０４で反射されてイメージセンサ１０１に入射して取得される像の輝度との比率は、光源１０２から対象物１０４までの距離と光源１０３から対象物１０４までの距離との関係に依存する。

【0036】

撮影した画像の輝度比から、物体の距離が計測できる。図６は、イメージセンサ１０１の撮像面の法線から４５度の角度の方向における距離と輝度比との関係の一例を示すグラフである。図６のグラフの横軸は、図２の特性を示す光源をイメージセンサ１０１から左右に所定の距離だけ離して配置した場合における対象物までの相対的な距離を示している。縦軸は、輝度比を示している。横軸の「距離」は、イメージセンサ１０１と光源との距離を基準としている。「１」の距離は、イメージセンサ１０１と光源との距離に等しい大きさを意味している。

【0037】

対象物の輝度（または照度）は、光源から対象物までの距離の二乗に反比例して減衰する。このため、距離に応じて輝度の比は変化する。図２に示す放射特性が既知であるため、この放射特性に基づいて、精度の高い距離の検出または推定が可能である。

【0038】

図６は、放射角θが４５度のときの距離と輝度比との関係の一例であるが、異なる複数の角度について、同様に距離と輝度比との関係を事前に得ることができる。対象物の角度は、イメージセンサで取得される対象物の撮像位置に基づいて求めることができる。

【0039】

図６からわかるように、対象物とイメージセンサとの距離が概ね１よりも離れている場合、極値３０３と極値３０４との比から距離を計測できる。

【0040】

対象物の輝度比の求め方には、多くの方法が存在する。最も簡単な方法は、図５に示す輝度の極大値３０３と他の極大値３０４との比をそのまま輝度値とする方法である。極値３０３の座標と極値３０４の座標とが必ずしも一致しなくとも、対象物の材質が対象領域内で概ね均一であり、局所的な距離差を微小なものとして無視すれば、距離計算の輝度比としてこれらの極値３０３、３０４の比を輝度比として用いることが可能である。

【0041】

また、撮像における光ショットノイズなどのノイズを抑える観点から、画像上の対象物の領域内の輝度値を積分した値の比を輝度比としてもよい。

【0042】

さらに、被写体の局所的な材質の違いまで考慮に入れる場合、例えば非特許文献２、３に開示されている照度差ステレオ法などの技術を用いることもできる。照度差ステレオ法の計算量は多いが、物体表面の法線ベクトル、即ち表面の傾きや、反射率や粗さなどの材質パラメータをある程度類推することにより、より精度の高い輝度比を求めることが可能である。照度差ステレオ法では、局所的な領域内の光量が不変であると仮定したり、物体が連続体であると仮定したりするなど、固定するパラメータを変えることにより、計算方法は変化する。モーションセンサ装置の用途に応じてターゲットとする面形状を、例えば特定の方程式で表される形状として近似することで効率的に計算することも可能である。

【0043】

上記の例では、放射角に応じて相対放射強度が変化する光源を用いている。しかし、この測定方法は、このような特性を有しない光源を用いても可能である。平行光線を発する光源以外であれば、光強度は３次元空間内で何らかの配光特性を示すため、そのような光源も距離測定に利用可能である。例えば、配光が等方的な「点光源」でも、対象物上の照度および輝度は、光源からの距離の２乗に反比例して減衰するため、３次元空間的に異なる輻射パターンを持つ光源と言える。

【0044】

次に、図７Ａおよび図７Ｂを参照する。これらの図は、図４Ａおよび図４Ｂに示される位置から移動した対象物１０４に対する撮像を行う様子を示している。高速な撮像および距離の推定を行うことができれば、移動する対象物１０４に対しても、前述した方法で距離の測定が可能である。光源１０２、１０３による交互の照明とイメージセンサ１０１による撮像を繰り返すことにより、移動する対象物１０４の位置を検出することができる。その結果、対象物１０４の位置の変化、または運動を検知することが可能になる。

【0045】

本発明者によると、上述した装置では、２個の光源１０２、１０３の各々から対象物１０４までの距離が等しくなる領域において、距離の測定精度が低下することがわかった。本明細書では、このような領域を「低感度領域」と称する。また、図６のグラフの横軸に示す距離が１以下のとき、距離が短くなるほど輝度比が上昇するため、輝度比だけでは、対象物体までの距離が１以下の「至近距離領域」にあるのか否かを判別できない。

【0046】

図８は、上記の装置による低感度領域を模式的に示す図である。図８には、距離が短すぎて発生する低感度領域５０４と、距離に関わらず輝度比が１に近くなることによって発生する低感度領域５０５とが示されている。

【0047】

本発明者の検討によれば、このような低感度領域の発生を回避するためには、光源の数を３個以上に増やせばよい。

【0048】

図９は、３個の光源１０２、１０３、１０４を備えるモーションセンサ装置の一例を示す図である。第２の光源１０３は、第１の光源１０２および第３の光源１０４よりもイメージセンサ１０１の近くに配置されている。このように、図９に示す例では、３つの光源１０２、１０３、１０４は、イメージセンサ１０１に対して非対称に配置されている。このような配置に限らず、光源１０２、１０３、１０４は、イメージセンサ１０１に対して対称的に配置されていてもよい。例えば、光源１０３がイメージセンサ１０１と同じ位置に設けられ、光源１０２、１０４がイメージセンサ１０１に対して対称的に配置されていてもよい。第１の光源１０２、第２の１０３、および第３の１０４を順次発光させながらイメージセンサ１０１でフレームの撮像を連続的に行うことにより、第１の画像、第２の画像、および第３の画像がそれぞれ取得される。

【0049】

図９には、第１および第２の画像から距離情報を求めた場合の低感度領域６０５と、第２および第３の画像から距離情報を求めた場合の低感度領域６０６とが模式的に示されている。第１および第２の画像に基づいて対象物の距離を算出する場合、光源１０２、１０３の各々からの距離が等しい領域を中心に低感度領域６０５が発生する。一方、第２および第３の画像に基づいて対象物の距離を算出する場合、光源１０３、１０４の各々から距離が等しい領域を中心に低感度領域６０６が発生する。この構成例では、光源１０３がイメージセンサ１０１の近傍に配置されているため、図８に示すような至近距離における低感度領域５０４は発生しない。

【0050】

図９に示すような構成を採用し、対象物の位置に応じて距離計測に用いる画像のペアを適切に選択することにより、低感度領域を除去することができる。具体的には、対象物がイメージセンサ１０１よりも右側に位置するときには、第１および第２の画像を選択し、対象物がイメージセンサ１０１よりも左側に位置するときには、第２および第３の画像を選択すればよい。

【0051】

以上のような複数の光源を連続的に発光させるセンサシング方式は、電力消費が大きいという課題がある。電力消費を抑える従来技術には、上述のように、特許文献２、３の技術がある。

【0052】

特許文献２の技術は、ＴＯＦ方式の距離計測に関している。この技術では、近距離に物体がある場合は、光源装置の発光を弱くすることにより、電力効率を高くすることができる。

【0053】

しかし、特許文献２の技術は、ＴＯＦ方式には有効であるが、本開示が主に対象とする上記の方式には適合しない。ＴＯＦ方式においては、出射光と反射光との時間差に基づいて距離を計測するため、発光装置の発光輝度レベルは計測範囲には大きく影響するが、計測精度にはそれほど影響しない。これに対し、本開示が主に対象とする、複数の画像における輝度の相互関係に基づいて距離計測を行う方式では、光源の発光輝度レベルの変動は、計測精度に大きく影響する。このため、発光輝度レベルの変動可能な範囲は、この計測精度に大きく制約を受ける。出力される複数の画像の輝度比を保ったまま輝度レベルを低下させた場合であっても、測定精度は対象物に最も遠い光源の出力に律速するので、その光源の発光量が低下すると、計測精度も低下する。

【0054】

また、待機時においても、対象物が再び計測可能範囲に入ることを監視するために、計測可能範囲全域の計測、即ち最大輝度での発光を続ける必要がある。

【0055】

特許文献３は、計測範囲内に対象被写体が存在しない場合に待機電力を低減する技術を開示している。特許文献３の装置は、測距センサに加えて、計測精度は低いが電力消費の少ない熱型赤外線センサ（焦電センサ）を備える。この装置は、対象被写体を見失った際に、電力の少ない焦電センサでの検知に切り替え、対象物が再び計測範囲に入るまで待機する。焦電センサで対象物が再び計測範囲内に入ったことを検知した場合、再び計測精度の高い測距センサによる計測を再開する。

【0056】

このような別のセンサを追加した構成であれば、待機時の電力消費を抑えることができる。しかし、追加したセンサの分だけコストが増加する。さらに、追加したセンサの検出範囲と距離計測用のセンサの検出範囲とが一致しない場合、期待しない動作を引き起こすという問題がある。この検出範囲不一致の問題は、モーションセンサ装置においては特に重大である。両センサの検出範囲が一致しない場合、計測可能な範囲内に対象物が入ったことを見過ごしたり、逆に、計測できない位置に対象物が存在するにも関わらず待機状態を終了したりすることがある。その結果、待機状態と動作検出状態との行き来を繰り返してしまうなどの期待しない動作を引き起こす。

【0057】

本願発明者は、上記の課題を見出し、本開示の技術を完成させた。本開示は、対象物の輝度比に基づく従来の距離計測方式を、リアルタイムに動作するモーションセンサ装置として構成した場合に好適な新たな発光制御方式を提案する。本開示の一態様に係るモーションセンサ装置は、複数の光源の発光量を、前回以前の撮像によって得た情報に基づいて個別に制御する。さらに、各光源の発光量に応じて、取得した複数の画像の輝度を補正した上で、距離情報を生成する。これにより、従来技術の単純な適用では回避できない課題を解決することができる。

【0058】

複数の画像における輝度比に基づいて対象物までの距離を求める場合、最終的な距離の計測精度は、輝度比の精度に強く依存する。輝度比は、２つの輝度の除算によって算出される。一般に、除算の結果の精度は、除数と非除数のうちの精度の低い方に律速される。このため、一方の輝度の精度が高くても他方の輝度の精度が低いと、輝度比の精度は低くなる。

【0059】

また、画像における輝度の精度は、主に光ショットノイズおよび暗電流によるノイズの影響を受ける。光ショットノイズは輝度の平方根に比例する。暗電流によるノイズは一定値である。これらのノイズの比率は事前に計測可能である。

【0060】

したがって、本開示のある実施形態におけるモーションセンサ装置は、これらのノイズを考慮して輝度の精度を逆算し、その結果に応じて各光源の発光量を個別に制御する。各光源の発光量は、輝度の精度を確保できる範囲で最低になるように調整され得る。このモーションセンサはさらに、複数の光源の発光量の変動に応じて、イメージセンサから出力される複数の画像の輝度を補正する。これにより、あたかも一定の輝度比率で複数の光源が発光したかのような輝度情報に基づいて距離計算を行うことができる。

【0061】

さらに、計測精度を高める上で必要性が低い光源に関しては個別に消灯したり、非常に弱い発光量の状態（低出力状態）に変更したりすることも可能である。消灯または低出力状態にした光源に対応するフレームの撮像に関しては、露光（すなわち撮像）そのものを取りやめることも可能である。露光を行った場合でも、その画像フレームを距離計算には用いずに、後述する背景光画像として利用することもできる。

【0062】

以上のような制御により、計測輝度を確保する上で最低限必要な発光量に抑えた最適化された動作が可能となる。

【0063】

本開示では、さらに、計測対象が存在しない場合に、最低限の発光のみで動作中の検出範囲と完全に一致する範囲を監視できる待機モードを実現できる。待機モードでは、最低限の発光によって対象物が検出範囲に入ったことを検知したときに待機モードを解除し、通常のモードに戻ることができる。

【0064】

また、本開示における条件依存で動的且つ選択的に利用可能になる背景光除去機能は、動作中に補助情報として利用することにより、検出精度のさらなる向上が可能である。特に、対象物の検出がなされていない待機状態で背景光除去機能を適用することは、ユーザーインターフェースとして利用されたときの利便性をさらに向上させる。

【0065】

以下、上記の検討に基づく本開示の具体的な実施形態を説明する。

【0066】

（実施形態１）
図１０は、本開示の実施形態１に係るモーションセンサ装置の構成を示す図である。このモーションセンサ装置は、イメージセンサ５０１と、３個の光源（第１の光源５０２、第２の光源５０３、および第３の光源５０４）と、これらを制御する制御回路（演算ブロック）５３１とを備えるモーションセンサ装置の構成を模式的に示す図である。イメージセンサ５０１および光源５０２〜５０４は、基板５００上に搭載されている。イメージセンサ５０１および光源５０２〜５０４をまとめて、「センサブロック５３０」と称することがある。

【0067】

制御回路５３１は、ＣＰＵもしくはその他の半導体集積回路、またはこれらの組み合わせによって構成され得る。制御回路５３１は、上述した３連続露光による３つの画像フレームの撮像の制御に加え、取得された３つの画像から背景光の成分を除去する処理、輝度を補正する処理、およびこれらの処理を経た３つの画像から選択した２つの画像に基づく距離算出処理を実行する。制御回路５３１は、これらの処理を実行するための機能ブロックとして、３つの発光制御部５１１、５１２、５１３と、露光制御部５１４と、画像入力部５１５と、背景画像選択部５１６と、背景画像除去部５１７、５１８、５１９と、輝度補正部５２０、５２１、５２２と、発光量記憶部５２３、５２４、５２５と、露光量記憶部５２６と、距離情報生成部５２７と、距離情報記憶部５２８と、センサ制御部５２９とを有する。制御回路５３１の少なくとも一部は、基板５００上に実装されていてもよいし、他の基板上に実装されていてもよい。また、制御回路５３１の機能の一部が、離れた位置に置かれた電子装置によって実現されていてもよい。

【0068】

図１１は、このモーションセンサ装置における光源とイメージセンサの制御タイミングを示すタイムチャートである。図１１に示される期間８０２、８０３、８０４は、それぞれ、光源５０２、５０３、５０４が点灯する期間に相当する。第１の露光期間８０５、第２の露光期間８０６、第３の露光期間８０７は、それぞれ、イメージセンサ７０１による第１フレーム、第２フレーム、および第３フレームの撮像に対応する。図１１に示すタイムチャートでは、光源７０２、７０３、７０４は、この順序で点灯しているが、点灯の順序は任意である。

【0069】

通常のイメージセンサは、１回の露光により１フレームの撮像を行い、得られた画像データを外部に読み出してから次のフレームの撮像を行う。すなわち、フレームごとに画像データの読み出し動作が実行される。そのようなイメージセンサによると、第ｎフレーム（ｎは整数）における露光が終了した後、第ｎ＋１のフレームの露光を開始するまでの間に、第ｎフレームの撮像によって得られた全部の電荷を転送して外部に出力する動作のための時間を要する。

【0070】

しかし、本実施形態では、図１１に示されるように、第１の露光期間８０５のあと、すぐに第２の露光期間８０６が始まり、その後、すぐに第３の露光期間８０７が始まる。第１の露光期間８０５において第１フレームの撮像が行われて生じた各画素の電荷は、第２の露光期間８０６が始まる前に記憶部に移され、その記憶部に蓄積される。第２の露光期間８０６において第２フレームの撮像が行われて生じた各画素の電荷は、第３の露光期間８０７が始まる前に記憶部に移され、その記憶部に蓄積される。その後、記憶部に蓄積されていた電荷および第３の露光期間８０７に発生した電荷の信号が期間Ｔｔに読み出され、外部に出力される。

【0071】

本実施形態では、第１〜第３の露光期間の各長さを「Ｔｅ」とするとき、「３×Ｔｅ＋Ｔｔ」に等しい長さＴｆの逆数（１／Ｔｆ）で決まるレートで、３枚のフレーム画像のデータが読み出される。

【0072】

時間Ｔｔは、画素数にも依存するが、データ転送レートを考慮して、例えば３０ミリ秒程度の大きさに設定され得る。一方、時間Ｔｅは、１ミリ秒以下の短い期間、例えば２５マイクロ秒に設定され得る。３枚のフレームの撮像を短い期間内に連続して実行すれば、対象物が人の指先のように高速に移動する場合でも、距離計測を行うことが可能になる。例えば３×Ｔｅが７５マイクロ秒の場合、対象物が１メートル／秒の速度で移動しても、第１〜第３の撮像中に対象物は０．０７５ミリメートルしか移動しない。一方、通常のフレームレート（例えば６０フレーム／秒）で撮像を行えば、対象物は５０ミリメートルも移動してしまう。仮に１０００フレーム／秒の高速度撮影を行っても、対象物は３ミリメートルも移動する。本実施形態では、第１のフレームの開始時点から第２のフレームの終了時点までの期間を例えば３ミリ秒以下に短縮できるため、モーションセンサ装置として各種の用途に実用的である。

【0073】

本実施形態の構成では、第１から第３のフレームの撮像で取得された３枚の画像に基づいて対象物までの距離を算出することができる。十分に短い時間に強い発光条件の元で撮影されたフレームの輝度は、ほぼ反射光の強度に比例する。ここで、第１のフレームに写った対象物の輝度を「第１の輝度」、第２のフレームに写った対象物の輝度を「第２の輝度」、第３のフレームに写った対象物の輝度を「第３の輝度」と呼ぶことにする。対象物と各光源との位置関係によって定まる角度および距離に応じて各輝度が決定される。前述のように、これらの輝度の比から対象物の距離を推定できる。

【0074】

本実施形態では、連続して３フレームの撮像が可能な、やや高価なイメージセンサを使用することにより、高速で移動する対象物までの距離、または対象物の３次元的な運動を検出することができる。計測対象である物体の移動速度が十分に低いことが想定される場合は、通常の１フレーム露光のイメージセンサを用いても良い。

【0075】

次に、再び図１０を参照して、本実施形態に係るモーションセンサ装置の構成および動作をより詳しく説明する。

【0076】

光源５０２、５０３、５０４は、例えばＬＥＤ光源などの、光強度が３次元空間的に異なる輻射パターンをもつ投射光を発光できる発光装置である。光源５０２、５０３、５０４は、可視光に限らず、近赤外線などの不可視光を発するように構成されていてもよい。光源５０２、５０３、５０４は、ＬＥＤ光源に限らず、点光源などの３次元的に強度分布に偏りのある光源であればどのような光源でも利用可能である。レーザー光源を利用することもできる。レーザー光源は平行光を出射するため、３次元的に光強度が変わらないが、拡散板と組み合わせて散乱光に変換することで利用可能になる。複数の発光デバイスを組み合わせて１つの光源装置としてもよい。

【0077】

イメージセンサ５０１は、例えば非特許文献１に開示されているような、フレーム読み出しを行うことなく複数枚の個別露光が行えるセンサであり得る。図示されていないが、イメージセンサ５０１には、撮像面に像を形成するようにレンズが対向して配置される。イメージセンサ５０１は、画素単位で電荷をいったん蓄積しておく記憶部を有している。従って、第ｎフレームの撮像によって得られた画像データの読み出しを待たずに第ｎ＋１フレームの撮像が行える。イメージセンサ５０１内の記憶部を増やすことにより、３フレーム以上の連続した露光が可能である。イメージセンサ５０１としては、偶数／奇数ラインで別々に露光できる特殊センサであってもよい。イメージセンサ５０１は、典型的にはＣＭＯＳイメージセンサまたはＣＣＤイメージセンサであるが、これらに限定されない。

【0078】

制御回路５３１は、センサブロック５３０の動作を制御するとともに、イメージセンサ５０１から出力された画像を示す信号（以下、単に「画像」と称する。）を処理して距離情報を生成する。以下、制御回路５３１の詳細な構成および動作を説明する。まず、通常のモーションセンシング動作中の制御回路５３１の各構成要素の動作を説明する。

【0079】

発光制御部５１１、５１２、５１３は、光源５０２、５０３、５０４を、発光量記憶部（メモリ）５２３、５２４、５２５に格納された発光量を示す情報（値）に基づいて駆動する。

【0080】

まず、第１の時間で、発光制御部５１１は、発光量記憶部５２３に格納された値が示す発光量で光源５０２を発光させる。同時にイメージセンサ５０１は露光を行い、第１のフレームの撮像を行う。

【0081】

続いて、第２の時間で、発光制御部５１２は、発光量記憶部５２４に格納された値が示す発光量で光源５０３を発光させる。同時にイメージセンサ５０１は露光を行い、第２のフレームの撮像を行う。

【0082】

第３の時間で、発光制御部５１３は、発光量記憶部５２５に格納された値が示す発光量で光源５０４を発光させる。同時にイメージセンサ５０１は露光を行い、第３のフレームの撮像を行う。

【0083】

ここで、「発光量」とは、イメージセンサ５０１の１回の露光時間中の発光エネルギの総量を意味する。発光量は、発光時間の増減や発光輝度の増減によって変化する。

【0084】

イメージセンサ５０１の露光時間は、露光量記憶部（メモリ）５２６に格納された露光量を示す情報にしたがって露光制御部５１４から送出される信号によって制御される。

【0085】

ここで「露光量」とは、１回の露光時間中にイメージセンサ５０１の撮像面に入射する光のエネルギの総量を意味する。露光量は、イメージセンサ５０１の露光時間と絞り量によって決定される。

【0086】

このようにして、センサブロック５３０で露光によって取得された第１、第２、第３のフレームは、制御回路５３１の画像入力部５１５に入力される。

【0087】

画像入力部５１５は、受け取った第１、第２、第３のフレームを、それぞれ背景画像除去部５１７、５１８、５１９と、背景画像選択部５１６とに送る。

【0088】

背景画像選択部５１６は、センサ制御部５２９からの信号に応じて、第１、第２、第３のフレームにおける輝度値、または固定値としての０を、背景画像フレームの輝度値として選択する機能を有する。この選択は、本実施形態では画像ごとに行われるが、画素ごとに行ってもよい。通常のモーションセンシング動作中の状態では、背景画像選択部５１６は、固定値としての０を選択する。これは、背景光の除去を行わないことを表す。一方、第１から第３のフレームのうち、いずれかを背景光画像として処理する場合には、センサ制御部５２９は、そのフレームの輝度値を選択するように背景画像選択部５１６に指示する。背景画像選択部５１６は、上記のように輝度値を選択することによって生成した背景光画像を示すフレームを、背景画像除去部５１７、５１８、５１９に送出する。

【0089】

背景画像除去部５１７、５１８、５１９は、画像入力部５１５から送られてきた撮影された画像のフレームから、背景画像選択部５１６から送られてきた背景画像フレームを減算する。ここで、第１のフレーム（または画像）から第２のフレームを減算するとは、第１のフレームの各画素の値から、第２のフレームの対応する画素の値を減算した値を輝度値とする新たなフレームを生成することを意味する。背景画像除去部５１７、５１８、５１９は、減算処理後のフレームをそれぞれ輝度補正部５２０、５２１、５２２へ送る。

【0090】

輝度補正部５２０、５２１、５２２は、背景画像除去部５１７、５１８、５１９からそれぞれ贈られてきた画像のフレームを、それぞれ発光量記憶部５２３、５２４、５２５に格納された情報が示す発光量に応じて補正する。具体的には、発光量の逆数を各画素の輝度値に乗じる。こうすることで光源５０２、５０３、５０４の発光量が異なる場合であっても、あたかも同じ発光量で撮影したかのような画像が得られる。

【0091】

しかし、この際に得られる輝度の信号精度は同一の発光量で撮影した場合とは異なるので注意が必要である。信号精度は、画像中の信号とノイズとの比（Ｓ／Ｎ比）で決定される。信号精度は、有効数字で表されるともいえる。画像中のノイズはさまざまな要因がある。特に大きい要因になり得るノイズには、センサデバイスの暗電流などに起因する常に一定量存在するノイズと、光ショットノイズと言われる輝度信号値の平方根に比例するノイズとがある。いずれのノイズもイメージセンサの特性によって決まるので、あらかじめ計測しておくことが可能である。

【0092】

輝度補正部５２０、５２１、５２２で処理された画像のフレームは距離情報生成部５２７に送られる。

【0093】

距離情報生成部５２７は、フレーム内から対象物が写っている領域を探索し、その領域のフレーム間の輝度の関係から対象物までの距離を算出する。算出された距離を示す情報は距離情報記録部（メモリ）５２８に格納される。この情報が、本実施の形態のモーションセンサ装置の出力となる。

【0094】

次に、図１２を参照しながら、本実施形態における制御のいくつかの例を説明する。

【0095】

図１２は、撮像のある時点における対象物６０１の状態の例を示している。イメージセンサ５０１から見た対象物６０１の方向の角度θは、対象物６０１の像がイメージセンサ５０１のどの画素の位置に形成されるかという情報から求めることができる。図１２に示す例では、対象物６０１は、イメージセンサ５０１の右側に位置している。したがって、第１の画像と第２の画像との輝度比を求めることにより、イメージセンサ５０１から対象物６０１までの距離を一意に特定することができる。角度θと距離とが求まれば、対象物６０１の３次元的位置が定まる。

【0096】

ここで考察すべき点として、対象物６０１は光源５０２よりも光源５０３に近い位置に存在する。その為、もし輝度補正部５２０、５２１が存在せず、発光量記憶部５２３と発光量記憶部５２４に格納された値が同じであった場合、第２のフレームに含まれる対象物６０１の像の部分の精度は、第１のフレームにおける精度よりも高くなる。しかしながら、距離情報生成部５２７が対象物６０１の距離を求める輝度比の精度は、精度の低い第１のフレームの輝度の精度に律速してしまう。

【0097】

そこで、本実施形態では、このような状況をセンサ制御部５２９が適切に検知し、発光量記憶部５２４に格納されている発光量を示す値を書き替える。上記の例では、発光量記憶部５２４における値が発光量記憶部５２３における値よりも小さくなるように、各値を設定する。このような制御により、２つの画像の対象物の領域における輝度比の精度、即ち距離情報生成部５２７で求められる距離情報の精度を保ったまま、光源装置５０３の発光量を減らすことができる。その結果、消費電力を削減することが可能になる。

【0098】

ここで、センサ制御部５２９が状況を検知する方法の例を３つ説明する。

【0099】

第１の方法は、多くの撮像装置が自動露光制御などに用いる方法と同様、撮像によって取得した画像フレーム内の輝度を監視し、そのヒストグラム（輝度分布）や最大値に基づいて処理する方法である。この方法は、電力の点では最適ではないが、撮像装置が自動露光制御などをすでに備えていた場合には処理が共通化できるため、簡易な方法としてメリットがある。

【0100】

第２の方法は、距離情報生成部５２７の途中の計算結果を参照する方法である。この方法は、輝度比計算の段階の値から逆算する方法であるといえる。精度という点ではもっとも確実で正確な値を求めることが出来る。

【0101】

第３の方法は、距離情報記憶部５２８に記録された距離情報を利用する方法である。位置情報から距離を考慮して光量を求めることが出来る。この方法の最大のメリットは、位置情報の変化、即ち対象物の運動量を考慮して次の対象物の位置を事前予測して発光量を設定できる点である。

【0102】

上記の例では、対象物が１つの場合を想定したが、複数の対象物が検出される場合は、各対象物の継続した検知に必要な最低限の発光量のうち、最も大きい発光量に設定すればよい。すなわち、輝度が最も低い対象物に合わせて発光量を設定すればよい。

【0103】

この際、必要な距離情報の精度に対して信号精度が十分であれば、特許文献２のようにすべての光源の発光量を一律に下げてもよい。この場合、センサ制御部５２９から露光量記憶部５２６に露光量の変更を指示する信号をあわせて送ってもよい。特に発光量を発光時間で制御している場合、露光時間を減らすことによって露光量を減らせば、外部の光源由来の背景光を減らす事が出来、計測精度が向上する。

【0104】

図１２に示すような対象物６０１の配置において特筆すべき点は、撮像装置５０１の左側に対象物が存在しておらず、光源５０４を利用しなくても計測が可能である点である。センサ制御部５２９は、距離情報記録部５２８の情報などから、このような状態を検知した場合、発光量記憶部５２５にゼロを書き込み、光源５０４を停止させることが出来る。

【0105】

さらに、この後に効果の異なる２種類の動作パターンが考えられる。

【0106】

第１の動作パターンは、第３のフレームの露光および読み出し転送を停止するパターンである。このパターンでは、画像転送に関する電力も削減することができる。

【0107】

第２の動作パターンは、光源５０４を停止させたまま、第３のフレームの画像を背景光画像として利用するパターンである。

【0108】

第３の時間で、モーションセンサ装置の光源をすべて消灯させた状態で露光を行うと、第３のフレームには外部光源による背景光のみが撮像される。これを第１のフレームおよび第２のフレームから減算すれば、第１のフレームおよび第２のフレームから背景光成分が除去されるため、計測精度が向上する。

【0109】

本実施形態のように３つの光源を有するモーションセンサ装置において、背景光除去を行うためには、従来技術によれば、全ての光源を消灯させた状態で４フレーム目の撮像を行う必要があった。これに対し、本実施形態では、３フレームの中から背景光除去用のフレームを選択的に割り当てることができる。連続して取得するフレーム数を増やす場合、撮像装置のコストも電力も増大することになる。本実施形態の制御は、これを不要にするという効果をもたらす。特に、被写体が遠方にあるなどの計測精度の低いシーンで背景光除去は高い効果を発揮する。そのようなケースですべての計測領域に個別の対象物が存在するというケースは多くないので、本実施形態の制御は高い効果をもたらす。

【0110】

次に、このまま動作を続けて、図１３に示すように、撮像装置５０１の左側に対象物が出現するケースを考える。

【0111】

このケースには２種類の場合がある。第１のケースは、対象物６０１とは異なる新たな対象物６０２が計測範囲内に進入するケースである。この場合、光源５０４は発光していない為、第３のフレームには新たな被写体はほとんど写らない、しかしながら第１のフレームと第２のフレームには、背景光を除去した形で対象物が写るため、検知できる。特にイメージセンサ５０１の左側の物体の距離計測には、光源５０３と５０４のペアに対応する画像の輝度比が重要である。このため、この場合には、第２のフレームに基づいて対象物を検知することが望ましい。

【0112】

このケースにおいて、第１のフレームおよび第２のフレームを直接的に画像解析しなくても、対象物６０２を検知することができる。例えば、対象物６０２の像をほとんど含まない第３のフレームをそのまま距離情報生成部５２７に送出した場合でも、第２のフレームと第３のフレームの対象物に該当する箇所の輝度比が約１：０となるため、零距離などの特殊ケースとして検知できる（逆に無限遠では１：１である）。新たな対象物６０２を検知した場合、センサ制御部５２９は、速やかに発光量記憶部５２４に有効な値を書き込み、次の撮像から発光制御部５１３の発光を復帰させることができる。

【0113】

第２のケースは、イメージセンサ５０１の右側にあった対象物６０１が左側に移動するケースである。この場合、対象物６０１が撮像装置５０１の左側に移動してから発光制御部５１３の発光を復帰させたのでは、対象物６０１の距離計測を少なくとも１回は行えないという問題が発生する。そこで、このようなケースにおいては、センサ制御部５２９は、対象物６０１が撮像装置５０１の右側に存在する間から、距離情報記録部５２８に格納された情報などを監視することが有効である。例えば、対象物６０１の距離および運動量の少なくとも一方を常時計算し、対象物６０１の左領域への接近を検知したときに、事前に発光量記憶部５２４に有効な値を書き込むことにより、発光制御部５１３による発光を復帰させておくことができる。

【0114】

このような動作により、対象物が計測期間において移動している途中で計測に失敗することなくシームレスな追跡が可能となる。

【0115】

次に、本実施の形態の特別なケースとして、第１から第３の全てのフレームにおける計測範囲外に対象物６０１が移動し、対象物が計測されなくなった場合の動作を説明する。

【0116】

このケースでは、例えば特許文献３のように別のセンサを設けるなどの対策をしなければ、発光量記憶部５２３、５２４、５２５、および露光量記憶部５２６は、それぞれ最大の値を設定して再び何らかの対象物が計測されるまで待機しなければならない。特に露光量記憶部５２６の値が最大値に設定されていると、イメージセンサ５０１で取得される外部光源による背景光画像の輝度も最大となり、対象物が存在しないにも関わらず存在すると誤検知する可能性が非常に高くなる。

【0117】

このような課題に対し、本実施形態のセンサ制御部５２９は、発光量記憶部５２４および露光量記憶部５２６にのみ最大値を書き込み、発光量記憶部５２３、５２５にはゼロ値を書き込む。このようにすることで、発光電力を抑えつつ、対象物が光源５０３の照射範囲に新たに出現した場合に、発光量記憶部５２３、５２５の値を元の値に戻し、距離計測を再開することができる。この場合、対象物の距離算出は初回のみできないが、多くのユースケースでこれは問題にならない。

【0118】

このケースでは、センサ制御部５２９は、さらに、背景画像選択部５１６に、第１のフレームまたは第３のフレームを背景光フレームとして選択するように指示することができる。これにより、光源５０３の照射範囲に物体が無い場合に、外部光源からの背景光で光源装置５０３の照射範囲に物体があると誤検知する可能性を低減させることができる。対象物が存在しないケースでの誤検知は、特にユーザーインターフェースとして利用する場合に非常に有害であり、大きな利便性の低下を招く。このため、既存のイメージセンサを用いながら、対象物が計測範囲内に存在しないときに、選択的に背景光除去機能が稼動を開始するという本実施形態の制御がもたらす効果は絶大である。

【0119】

本実施形態のモーションセンサ装置は、光源５０３（またはイメージセンサ５０１）よりも右の領域の検知には、光源５０２と５０３とのペアを用いて取得した画像を有力な情報として用いる。一方、左の領域の検知には光源５０３と５０４とのペアを用いて取得した画像を有力な情報として用いる。これらのいずれのペアにも光源５０３が含まれている。このため、対象物を検知できない待機状態のときに光源５０３の照射範囲のみを復帰のための検知に利用するのは非常に合理的である。

【0120】

このような制御により、再び計測範囲に対象物が進入するのを待機するときの検知範囲が、通常の動作状態における計測範囲と一致する。その為、特許文献３のような従来の技術で発生する、待機状態と動作状態を交互に行き来するような状態になりにくい。

【0121】

さらに、この待機状態においてセンサ制御部５２９は、イメージセンサ５０１に対して、３連続露光を２連続露光に切り替えたり、フレームレートを落としたり、動作を間欠的に行うように指示することもできる。このようにすることにより、さらなる電力の低減が可能である。

【0122】

なお、本実施形態では、３種類の撮像フレームの取得に第１の時刻から第３の時刻まで３回の露光を行っているが、このような形態に限定されない。非特許文献２の技術では、読み出し転送までの間にさらに順次の発光状態を繰り返しながら露光を行い、電荷を足しこむ技術も記載されている。このような繰り返し露光を行うことにより、動きによる像の残像が各露光で少なくなり、モーションセンサ装置として有効である。

【0123】

このような構成が取れない場合であっても、光源５０３の点灯を第２の時間に行う本実施形態の構成は、誤差を減らすために有効である。距離計測に用いる３種類の輝度比のうち、有効に利用しやすいのは、光源５０２と５０３とのペアの輝度比、および光源５０３と５０４とのペアの輝度比である。このため、光源５０３の点灯を第２の時間に行うことで、ペア内での時間誤差を減らすことができる。

【0124】

本実施形態における制御回路（演算ブロック）５３１は、例えば、ＣＰＵなどのプロセッサと、メモリに格納されたプログラム（ソフトウェア）との組み合わせによって実現することができる。しかし、図１０を参照して説明した動作を実行可能な専用の回路によって実現することにより、電力効率の向上や高速な処理が可能である。そのような回路は、例えば、前述した動作を実行可能な論理回路を実装した半導体集積回路や、ＦＰＧＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの再構成可能ロジックで実現され得る。再構成可能ロジックでは、再構成可能ロジック自体に不揮発メモリを備えているものや、フラッシュメモリなどの記憶装置に格納された回路情報を電源投入時に読み込んで動作したりするものがある。

【0125】

（他の実施形態）
以上、本開示の技術の例示として、実施形態１を説明した。しかし、本開示の技術はこれらの実施形態に限定されない。以下、他の実施形態を例示する。

【0126】

図１４は、実施形態１に係るモーションセンサ装置を搭載したディスプレイ１００１を示している。このディスプレイ１００１は、３つの光源５０２、５０３、５０４を搭載している。このため、ディスプレイ１００１に向かってジェスチャー入力を行うことができる。図１４には、参考のため、ジェスチャー入力を行う手が模式的に示されている。図示されている手は、矢印の方向に移動しつつある。図１４に示されるディスプレイでは、このような手の動きを高い感度で検知してジェスチャー入力を行うことができる。

【0127】

本実施形態に係るモーションセンサ装置をディスプレイなどに利用すれば、ジェスチャー入力によるチャンネルの切り替えなどのユーザーインターフェースに用いることもできる。また、人間の各部の動きを認識したダンスゲームなどへの応用も可能である。

【0128】

このように、本開示は、上記の実施形態に係るモーションセンサ装置と、当該モーションセンサ装置によって検出された対象物の運動に応答して表示内容を変化させるディスプレイとを備える電子装置を含む。

【0129】

本開示によるモーションセンサ装置の各実施形態によれば、距離計測の対象物以外の背景光の影響を除去し、より高精度な検出が可能になる。本開示によれば、リアルタイムな検出が求められる３Ｄモーションセンサ装置を提供できる。

【0130】

なお、本開示によるモーションセンサ装置の少なくとも一部の機能が有線または無線のネットワークを介して接続された他の装置によって実現されていてもよい。

【0131】

以上の実施形態では、３つの光源を備えた例を説明したが、光源の数は２つでもよいし、４つ以上であってもよい。また、光源およびイメージセンサの配置関係は、図示されるものに限らず、多様な配置が可能である。また、以上の実施形態では、対象物までの距離情報を得る方法として、複数の画像における当該対象物の輝度の比に基づく方法を説明した。しかし、輝度比によらず、例えば米国特許出願公開第２０１３／０１８２０７７号明細書に開示されているように、像の輪郭情報に基づいて対象物までの距離情報を得てもよい。米国特許出願公開第２０１３／０１８２０７７号明細書の開示内容全体を本願明細書に援用する。

【産業上の利用可能性】

【0132】

本開示によるモーションセンサ装置の実施形態は、リアルタイムに物体の３次元位置を計測できる機能を有する。このため、表示装置などの各種電気製品の非接触ジェスチャーユーザーインターフェースの用途に有用である。車載機器として搭乗者の状態、車外の人物や障害物の検知へも応用できる。ビデオカメラのオートフォーカス等の用途にも応用できる。

【符号の説明】

【0133】

１０１，５０１ 撮像装置
１０２，１０３，１０４，５０２，５０３，５０４ 光源装置
１０５，６０１ 対象物
３０１，３０２ 輝度
３０３，３０４ 輝度の極大値
５１１，５１２，５１３ 発光制御部
５１４ 露光制御部
５１５ 画像入力部
５１６ 背景画像選択部
５１７，５１８，５１９ 背景画像除去部
５２０，５２１，５２２ 輝度補正部
５２３，５２４，５２５ 発光量記憶部
５２６ 露光量記憶部
５２７ 距離情報生成部
５２８ 距離情報記録部
５２９ センサ制御部
５３０ センサブロック
５３１ 演算ブロック

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】