(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-08
(45)【発行日】2022-02-17
(54)【発明の名称】距離測定装置
(51)【国際特許分類】
G01S 17/89 20200101AFI20220209BHJP
G01C 3/06 20060101ALI20220209BHJP
G01B 11/00 20060101ALI20220209BHJP
【FI】
G01S17/89
G01C3/06 120Q
G01C3/06 140
G01B11/00 B
(21)【出願番号】P 2017174076
(22)【出願日】2017-09-11
【審査請求日】2020-08-27
(73)【特許権者】
【識別番号】501009849
【氏名又は名称】株式会社日立エルジーデータストレージ
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜特許業務法人
(72)【発明者】
【氏名】増田 浩三
【審査官】佐藤 宙子
(56)【参考文献】
【文献】米国特許出願公開第2014/0253688(US,A1)
【文献】特開2006-300616(JP,A)
【文献】特開2015-175712(JP,A)
【文献】特開2004-247461(JP,A)
【文献】国際公開第2014/002415(WO,A1)
【文献】特開2015-224965(JP,A)
【文献】特開2007-139594(JP,A)
【文献】特開2007-251343(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
G01C 3/00- 3/32
G01B 11/00-11/30
(57)【特許請求の範囲】
【請求項1】
複数の距離測定装置をコントローラに接続して被写体の距離画像を生成する距離測定システムにおいて、
前記複数の距離測定装置は、
発光部と受光部と距離計算部を有し、被写体までの距離を光の伝達時間に基づいて測定する距離測定部と、
前記距離測定部にて測定された距離データから被写体の距離画像を生成する画像処理部と、
前記発光部における光源からの出射光の強度を制御する発光強度制御部と、
前記受光部における隣接する画素信号の加算処理を制御する画素加算制御部と、を備え、
前記複数の距離測定装置の動作モードとして、
前記発光強度制御部により前記発光部における出射光の強度を大きくするとともに、前記画素加算制御部により前記受光部における隣接する画素信号の加算率を小さくする高精細モードと、
前記発光強度制御部により前記発光部における出射光の強度を小さくするとともに、前
記画素加算制御部により前記受光部における隣接する画素信号の加算率を大きくする省電力モードと、の切り替えが可能であり、
前記コントローラは、
前記各々の距離測定装置の設置位置や各々の距離測定装置で生成した被写体の距離画像に応じて、前記各々の距離測定装置の動作モードを連携して切り替えるよう指示
し、
前記複数の距離測定装置のうち、1台の距離測定装置が生成した距離画像に検出対象物が存在する場合には、前記コントローラは、前記1台の距離測定装置とともに、前記検出対象物の移動が予想される隣接した経路を検出対象範囲とする少なくとも1つの他の距離測定装置に対して、前記高精細モードに切り替えるよう指示することを特徴とする距離測定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体までの距離を距離画像として出力する距離測定装置に関する。
【背景技術】
【0002】
光の伝達時間に基づいて物体までの距離を測定し(以下、TOF法:タイム・オブ・フライト)、距離を表示した画像(距離画像)として出力する技術が知られる。例えば特許文献1に記載の人物位置検出装置は、TOF式距離画像センサからの距離情報に基づいて、室内空間の物体までの距離変位を検出する距離変位検出手段と、検出された距離変位領域の形状特定化によって人物かどうかを判別する人物判別手段とを有し、人物として形状特定化された距離変位領域までの方向および距離を人物位置として検出する構成が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術では、室内空間の物体までの距離を測定し、測定値の時間変化量から距離変位領域を検出するとともに、予め登録した人物形状の特徴と検出された距離変位領域の特徴とを比較することで、人物かどうかを判別するものである。
【0005】
TOF法による距離測定では、レーザ光源などから被写体に向けパルス光を照射し、被写体から反射したパルス光を受光してその時間差から被写体までの距離を計算するものである。その際、光源から出射する光の強度は一定であり、特に、店舗のように同一室内に複数の距離測定装置を備えて使用する測定システムにおいては、光源に対する全体の消費電力が増大する。例えば、測定対象が人物の場合、室内に測定対象である人物が存在しない場合でも出射光の強度は一定であり、電力の一部が無駄に消費されることになる。
【0006】
一方、消費電力を低減するため光源の出射光強度を小さくすると、被写体からの反射光の強度が低下して安定した距離測定動作が困難になる。特許文献1をはじめ従来技術では、光源の消費電力の低減と距離測定性能の確保については特に考慮されていなかった。
【0007】
本発明の目的は、光源の消費電力の低減と距離測定性能の確保を両立できる距離測定装置を提供することである。
【課題を解決するための手段】
【0008】
本発明は、被写体までの距離を測定し距離画像として出力する距離測定装置であって、発光部と受光部と距離計算部を有し、被写体までの距離を光の伝達時間に基づいて測定する距離測定部と、前記距離測定部にて測定された距離データから被写体の距離画像を生成する画像処理部と、前記発光部における光源からの出射光の強度を制御する発光強度制御部と、前記受光部における隣接する画素信号の加算処理を制御する画素加算制御部と、を備える。前記画像処理部は、生成した距離画像に検出対象物が存在するか否かを判定し、前記距離画像に前記検出対象物が存在する場合は、前記発光強度制御部は前記発光部における出射光の強度を大きくするとともに、前記画素加算制御部は前記受光部における隣接する画素信号の加算率を小さくする高精細モードに設定する。前記距離画像に前記検出対象物が存在しない場合は、前記発光強度制御部は前記発光部における出射光の強度を小さくするとともに、前記画素加算制御部は前記受光部における隣接する画素信号の加算率を大きくする省電力モードに設定する。
【発明の効果】
【0009】
本発明によれば、光源の消費電力の低減と距離測定性能の確保を両立できる距離測定装置を提供することができる。
【図面の簡単な説明】
【0010】
【
図2A】TOF法による距離測定の原理を説明する図。
【
図2B】TOF法による距離測定の原理を説明する図。
【
図5】被写体の状況に応じた動作モードの切り替えを説明する図。
【
図8】実施例2に係る距離測定システムを示す構成図。
【
図9】距離測定システムを適用した店舗の例を示す図。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を図面を用いて説明する。以下の例では被写体として人物を検出する場合について説明する。
【実施例1】
【0012】
図1は、実施例1に係る距離測定装置を示す構成図である。距離測定装置1では、人物を含む被写体までの3次元距離をTOF(タイム・オブ・フライト)方式で測定し、測定した被写体の各部までの距離を例えば色で表示し、2次元の距離画像として出力する。その際、被写体全体から人物以外の背景画像を除去することで、検出対象である人物の位置や姿勢を見やすく表示するものである。
【0013】
距離測定装置1は、TOF方式により被写体までの距離を測定して被写体画像A(3次元距離データ)を出力する距離測定部10(以下、TOFカメラとも呼ぶ)と、TOFカメラ10から被写体の中に検出対象である人物が存在しない状態の被写体画像(以下、背景画像Bと呼ぶ)を取り込む背景画像取込部14と、背景画像を保存する背景画像記憶部15と、被写体画像Aから背景画像Bを除去して人物などの物体を抽出した差分画像Cを生成する差分器16と、差分画像の各位置までの距離データに基づいて色相を変えるカラー化処理を行って距離画像Dを出力する画像処理部17と、を備える。
【0014】
距離測定部(TOFカメラ)10は、被写体にパルス光を照射するレーザダイオード(LD)や発光ダイオード(LED)などの発光部11と、被写体から反射したパルス光を受光するCCDセンサやCMOSセンサなどの受光部12と、発光部11を駆動するとともに受光部12の検出信号から被写体までの距離を計算する距離計算部13を含む。受光部12では被写体の2次元画像を撮影することで、距離計算部13は、被写体の2次元画像の距離データ、すなわち3次元の距離データを出力する。TOFによる距離測定の原理は後述する。
【0015】
発光強度制御部18は、発光部11における出射光の強度を制御し、画素加算制御部19は、受光部12における画素信号の加算処理を制御する。発光強度制御部18と画素加算制御部19は、画像処理部17にて得られた距離画像D内の被写体(人物)の状況に応じて、制御状態(動作モード)を切り替える。なお、各部の動作は図示しないCPUによって制御される。
【0016】
図2Aと
図2Bは、TOF法による距離測定の原理を説明する図である。TOF(タイム・オブ・フライト)法では、出射光信号と受光信号の時間差、すなわち光の伝達時間に基づいて距離を算出する。
【0017】
図2AはTOFカメラ10と被写体2(例えば人物)の関係を示す図である。TOFカメラ10は発光部11と受光部12を有し、発光部11から被写体2へ距離測定用の光31を出射する。出射光には赤外光を用いる。受光部12は、被写体2に出射された光の反射光32を受光するが、対物レンズ33を介してCCDなどの2次元センサ(2次元画素)34で受光する。被写体2は、発光部11および受光部12からL[m]離れた位置に存在する。ここで、光速をc[m/s]として、発光部11が光出射を開始してから受光部12が反射光を受光するまでの時間差(伝達時間)をt[s]とすると、被写体2までの距離L[m]は、
L[m]=c[m/s]×t[s]/2・・・(1)
で求められる。
【0018】
図2Bは時間差tの測定を示す図である。距離計算部13は、発光部11から出射した光31のタイミングと、受光部12で反射光32を受光したタイミングから、その時間差tを測定し、式(1)から被写体2との距離Lを算出する。また、2次元センサ34における各画素位置での受光タイミングのずれから、被写体各位置の距離の差、すなわち被写体の凹凸形状を求めることができる。
【0019】
図3は、差分器16による差分画像の生成を説明する図である。(a)はTOFカメラ10で得られる被写体画像Aの例であり、検出対象である人物とともに他の物体が写っている。(b)は被写体の中に検出対象である人物が存在しない背景画像Bの例である。例えば、店舗においては開店前の客がいない状態で背景画像Bを撮影しておく。(c)は差分器16により、被写体画像Aから背景画像Bを除去した差分画像Cである。差分化処理により人物以外の物体や背景の凹凸が除去されて、人物のみが抽出された画像となる。ただし、受光部12のCCDセンサ等で発生する電子ノイズのため、差分画像Cにノイズが重畳する場合がある。その場合は、予め設定した閾値以下のレベルの信号を無信号(無限遠の距離)とする閾値処理を追加するとよい。
【0020】
本実施例では、距離画像内の被写体(人物)の状況に応じて、発光部11と受光部12における動作モードを切り替えることに特徴がある。すなわち、画像処理部17にて得られた距離画像D内に検出対象である人物が存在するか否かに応じて、省電力動作モードと高精細動作モードを切り替えるようにした。具体的には、画像処理部17から発光強度制御部18と画素加算制御部19に対し制御信号を送り、発光強度制御部18は発光部11の出射光の強度を調整し、画素加算制御部19は受光部12における画素加算処理を切り替える。
【0021】
図4は、発光部11と受光部12の動作状態を説明する図である。動作モードとして(a)省電力モードと(b)高精細モードを設定する。
(a)の省電力モードでは光源の消費電力を抑えるため、発光部11では単位時間当たりの発光パルス数を低減する、あるいはパルス振幅を減少させる。受光部12では2次元センサの各画素での検出信号の低下を補うため、隣接する複数画素にて発生した電子を加算して、距離測定に必要な信号レベルを確保する。すなわち、2次元状に配列した画素について、水平方向または垂直方向または両方向に隣接する画素信号を加算する。図の例では2x2=4個の画素信号を加算して1画素の信号として扱っているが、加算率(加算方向)は被写体の状況に応じて適宜設定してもよい。例えば遠距離にある被写体については検出信号が低下するので、加算率をさらに大きくする。
【0022】
一方、(b)の高精細モードでは光源の出射光強度を高めるため、発光部11では単位時間当たりの発光パルス数を増加させる、あるいはパルス振幅を増大させる。これにより、画素当たりの単位時間の検出信号レベルが増大し、S/N比が向上する。受光部12では画素加算における加算率を小さくして、2次元方向の分解能を向上させる。図の例では各画素単位(1x1)で検出している。なお、画素加算処理は、画像内を被写体の位置等に応じて複数の領域に区分し、領域毎に加算率を異ならせてもよい。
【0023】
このように本実施例では、2つの動作モード(省電力モード/高精細モード)の切り替えにおいて、発光部11の発光パルスと、受光部12の画素加算処理の動作を組み合わせて実現しているが、組合せの内容はこれに限定することなく、適宜変更してもよい。
【0024】
図5は、被写体の状況に応じた動作モードの切り替えを説明する図である。通常の測定動作は
図4(a)の省電力モードで行い、画像処理部17にて距離画像を生成する。すなわち、出射光の強度を弱め光源の消費電力を抑える。距離画像の中に検出対象である被写体(例えば人物)が存在しない場合は、そのまま省電力モードでの測定を継続する。
【0025】
距離画像の中に検出対象である被写体(人物)が存在する場合は、
図4(b)の高精細モードに切り替えて測定する。すなわち出射光の強度を高め、高輝度で撮影する。これにより、通常時は消費電力を低減しつつ、被写体(人物)検出時は高精度で検出することが可能となる。ここで、被写体(例えば人物)の存否判定は差分画像で行うことも可能である。
【0026】
なお、高精細モードで測定中であって、距離測定装置1から被写体までの距離が近く、あるいは被写体の反射率が高いことにより受光部12のセンサが飽和する場合がある。このような場合には省電力モードに戻す、あるいは発光パルスまたは画素加算処理のいずれかを省電力モードの動作に戻すようにする。
【0027】
図6は、本実施例における距離測定の流れを示すフローチャートである。以下に示す画像処理は、距離測定装置1のCPUが
図1の各部の動作を制御することで実行される。以下、ステップ順に説明する。
【0028】
S101:初期状態の動作モードを省電力モードに設定する。すなわち、発光強度制御部18は発光部11の出射光の強度を小に、画素加算制御部19は受光部12の画素加算率を大に設定する。
S102:TOFカメラ10により、予め設定された範囲内にある被写体画像Aを取得する。
【0029】
S103:背景画像取込部14は、背景画像の取込み指示を受けたかどうか判定する。背景画像の取込み指示はユーザの操作で行うか、あるいは予め決められた時刻に自動的に指示するものでもよい。例えば店舗内の客の移動を検出する場合には、開店前の時刻に背景画像を取込めばよい。取込み指示があった場合はS104へ進み、指示がない場合はS105へ進む。
S104:現在の被写体画像Aを背景画像Bとして、背景画像記憶部15へ保存する。その後S102へ戻り、被写体画像Aの取得を繰り返す。
【0030】
S105:差分器16は、TOFカメラ10の被写体画像Aから背景画像記憶部15の背景画像Bを除去し、差分画像Cを生成する。その際、被写体画像に含まれるノイズ成分も除去する。
S106:画像処理部17は、差分画像Cの距離データに基づきカラー化処理などを行い、距離画像Dを生成して外部装置に出力する。
【0031】
S107:画像処理部17は、距離画像D(または差分画像C)に物体が存在するか否かを判定する。物体が存在すればS108に進み、物体が存在しなければS102に戻り、被写体画像Aの取得を繰り返す。
S108:物体が存在するときは、動作モードを省電力モードから高精細モードに切り替える。すなわち、発光強度制御部18は発光部11の出射光の強度を大に、画素加算制御部19は受光部12の画素加算率を小に設定する。これにより、後述のS112における物体が人物か否かの判定を容易にする。
【0032】
S109:TOFカメラ10により、高精細モードで被写体画像A’を取得する。
S110:差分器16により、TOFカメラ10の被写体画像A’から背景画像記憶部15の背景画像Bを除去し、差分画像C’を生成する。なお、被写体画像A’と背景画像Bの画素数が異なる場合は、被写体画像A’と同じ画素数になるように背景画像Bに拡大または縮小処理を施す。
【0033】
S111:画像処理部17は、差分画像C’の距離データに基づきカラー化処理などを行い、距離画像D’を生成して外部装置に出力する。
S112:画像処理部17は、距離画像D’(または差分画像C’)に存在する物体が検出対象の人物か否かを判定する。人物判定では、公知の画像認識技術を利用できる。人物であればS109に戻り、高精細モードにて被写体画像A’の取得を繰り返す。人物でなければS101に戻り、動作モードを省電力モードに切り替えて被写体画像Aの取得を繰り返す。
【0034】
以上のフローにより、被写体画像内に検出対象である人物が存在する場合には高精細モードで、存在しない場合には省電力モードで測定することができる。
なお、
図6では初期状態の動作モードを省電力モードに設定したが、高精細モードからスタートすることもできる。
【0035】
図7は、本実施例における距離測定の流れを示す他のフローチャートである。
S201:初期状態の動作モードを高精細モードに設定する。すなわち、発光強度制御部18は発光部11の出射光の強度を大に、画素加算制御部19は受光部12の画素加算率を小に設定する。
S202:TOFカメラ10により、予め設定された範囲内にある被写体画像Aを取得する。
【0036】
S203:背景画像取込部14は、背景画像の取込み指示を受けたかどうか判定する。取込み指示があった場合はS204へ進み、指示がない場合はS205へ進む。
S204:現在の被写体画像Aを背景画像Bとして、背景画像記憶部15へ保存する。その後S202へ戻り、被写体画像Aの取得を繰り返す。
【0037】
S205:差分器16は、TOFカメラ10の被写体画像Aから背景画像記憶部15の背景画像Bを除去し、差分画像Cを生成する。なお、被写体画像Aと背景画像Bの画素数が異なる場合は、被写体画像Aと同じ画素数になるように背景画像Bに拡大または縮小処理を施す。
S206:画像処理部17は、差分画像Cの距離データに基づきカラー化処理などを行い、距離画像Dを生成して外部装置に出力する。
【0038】
S207:画像処理部17は、距離画像D(または差分画像C)に物体が存在するか否かを判定する。物体が存在すればS208に進み、物体が存在しなければS209に進む。
S208:画像処理部17は、距離画像D(または差分画像C)に存在する物体が検出対象の人物か否かを判定する。人物であればS201に戻り、高精細モードにて被写体画像Aの取得を繰り返す。人物でなければS209へ進む。
【0039】
S209:距離画像D(または差分画像C)に物体が存在しない、あるいは物体が人物でない場合は、動作モードを高精細モードから省電力モードに切り替える。すなわち、発光強度制御部18は発光部11の出射光の強度を小に、画素加算制御部19は受光部12の画素加算率を大に設定する。その後S202に戻り、省電力モードにて被写体画像Aの取得を繰り返す。
【0040】
このフローにおいても、被写体画像内に検出対象である人物が存在する場合には高精細モードで、存在しない場合には省電力モードで測定することができる。
【0041】
実施例1によれば、被写体の状況に応じて高精細モードと省電力モードを切り替えるようにしたので、光源の消費電力の無駄をなくし、かつ必要な距離測定性能を確保できる距離測定装置を提供することができる。
【実施例2】
【0042】
実施例2では、複数の距離測定装置を連携して動作させる距離測定システムについて説明する。
【0043】
図8は、実施例2に係る距離測定システム6を示す構成図である。ここでは4台の距離測定装置1(TOF1~TOF4)をPCなどのコントローラ5に接続した構成を示す。各距離測定装置においては、実施例1で説明したように、動作モードとして省電力モードと高精細モードの切り替えが可能である。コントローラ5は、各距離測定装置1(TOF1~TOF4)で生成した距離画像を受信して、それぞれの距離測定装置に対し動作モードの切り替えを指示する。例えば、各距離測定装置の設置位置や各距離測定装置で検出した被写体の状況に応じて、それぞれの距離測定装置の動作モードを切り替え、距離測定システム6全体として消費電力を抑えつつ効率の良い測定を行うものである。
【0044】
図9は、
図8の距離測定システムを適用した店舗7の例を示す図である。この例では、店舗7内の4隅に4台の距離測定装置(TOF1~TOF4)を設置し、コントローラ5にて各距離測定装置を制御する。このうちTOF1は入口の近くに、TOF4はレジの近くに設置している。この例の場合、店舗7内の人物(客)を効率良く検出するため、コントローラ5は次のような制御を行う。
【0045】
(1)入口設置のTOF1だけが人物を検出している場合は、TOF1だけ高精細モードに移行し、他は省電力モードとする。
(2)入口のTOF1が人物を検出したら、全てのTOF1~4を高精細モードに移行する。
(3)TOF1が人物を検出した場合、TOF1を高精細モードに移行するとともに、これに連動させて、人物の移動が予想される隣接した経路を検出対象範囲とするTOF2とTOF4を高精細モードに移行する。
【0046】
(4)TOF1とTOF2は入口に近いことから、太陽光や車のヘッドライト等の外乱光を受けやすいので、常に高精細モードとする。
(5)レジに近いTOF4は、店員がいる確率が高く、レジ待ちの客が待機するため常に高精細モードとする。
(6)一番奥に設置したTOF3は最も人物検出頻度が低いので、寿命の短い安価な光源を使用する。
【0047】
このように実施例2によれば、複数の距離測定装置を用いる距離測定システムの場合、各距離測定装置の設置位置や各距離測定装置で検出した被写体の状況に応じて、それぞれの距離測定装置の動作モードを切り替えるようにしたので、システム全体として消費電力を抑えつつ効率の良い測定を行うことができる。
【0048】
以上述べた実施例では、被写体として人物を検出対象とする場合について説明したが、人物以外の物体を検出対象とする場合も同様に適用できる。
【符号の説明】
【0049】
1:距離測定装置、
5:コントローラ、
6:距離測定システム、
10:距離測定部(TOFカメラ)、
11:発光部、
12:受光部、
13:距離計算部、
14:背景画像取込部、
15:背景画像記憶部、
16:差分器、
17:画像処理部、
18:発光強度制御部、
19:画素加算制御部。