特許第6773724号(P6773724)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ファナック株式会社の特許一覧
<>
  • 特許6773724-精度情報を出力する測距装置 図000008
  • 特許6773724-精度情報を出力する測距装置 図000009
  • 特許6773724-精度情報を出力する測距装置 図000010
  • 特許6773724-精度情報を出力する測距装置 図000011
  • 特許6773724-精度情報を出力する測距装置 図000012
  • 特許6773724-精度情報を出力する測距装置 図000013
  • 特許6773724-精度情報を出力する測距装置 図000014
  • 特許6773724-精度情報を出力する測距装置 図000015
  • 特許6773724-精度情報を出力する測距装置 図000016
  • 特許6773724-精度情報を出力する測距装置 図000017
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6773724
(24)【登録日】2020年10月5日
(45)【発行日】2020年10月21日
(54)【発明の名称】精度情報を出力する測距装置
(51)【国際特許分類】
   G01S 7/497 20060101AFI20201012BHJP
   G01S 17/36 20060101ALI20201012BHJP
【FI】
   G01S7/497
   G01S17/36
【請求項の数】5
【全頁数】12
(21)【出願番号】特願2018-112665(P2018-112665)
(22)【出願日】2018年6月13日
(65)【公開番号】特開2019-215260(P2019-215260A)
(43)【公開日】2019年12月19日
【審査請求日】2019年11月12日
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100112357
【弁理士】
【氏名又は名称】廣瀬 繁樹
(72)【発明者】
【氏名】中村 稔
(72)【発明者】
【氏名】高橋 祐輝
(72)【発明者】
【氏名】渡邉 淳
【審査官】 ▲高▼場 正光
(56)【参考文献】
【文献】 特開2018−025474(JP,A)
【文献】 特開2010−071976(JP,A)
【文献】 国際公開第2018/042887(WO,A1)
【文献】 米国特許出願公開第2003/0223618(US,A1)
【文献】 米国特許出願公開第2016/0161610(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 − G01S 7/51
G01S 17/00 − G01S 17/95
(57)【特許請求の範囲】
【請求項1】
測定対象空間に照射される測定光を発光する発光部と、前記測定対象空間からの入射光に応じた電荷を蓄積する複数の受光素子と、前記測定光の発光タイミングに対して90°ずつ位相遅延した複数のタイミングで前記受光素子毎に電荷を蓄積させ、前記蓄積した各電荷量に基づいて画素毎に観測方向にある物体までの距離を算出する距離算出部と、を備え、算出した前記距離を出力する測距装置であって、
前記複数のタイミングで蓄積した各電荷量をそれぞれQ1、Q2、Q3、Q4とした場合に、Q1+Q3とQ2+Q4の差分を受光強度でスケール調整して画素毎に前記距離の精度を算出する精度算出部を備え、算出した前記精度が外部へ出力されることを特徴とする測距装置。
【請求項2】
前記複数のタイミングは、前記発光タイミングに対して、0°、90°、180°、270°の4種のタイミングであ、請求項1に記載の測距装置。
【請求項3】
さらに、前記精度が規定の精度を満たさない場合に精度不良と判定する精度判定部を備え、前記距離算出部は前記精度不良と判定された画素について前記距離の代わりに前記精度不良を示す特異値を出力する、請求項1又は2に記載の測距装置。
【請求項4】
前記特異値は、前記電荷を蓄積する間に発生した、ランダムノイズ、物体移動、外光変化、及びA/D変換による量子化誤差のうち少なくとも1つに起因する精度不良を示す、請求項3に記載の測距装置。
【請求項5】
さらに、前記精度に基づいて前記距離を補正する距離補正部を備える、請求項1から4のいずれか一項に記載の測距装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光の飛行時間に基づき物体までの距離を測定する測距装置に関し、特に精度情報を出力する測距装置に関する。
【背景技術】
【0002】
物体までの距離を測定する測距装置として、光の飛行時間に基づき距離を出力するTOF(time of flight)カメラが公知である。TOFカメラは、所定周期で強度変調した測定光を測定対象空間に照射し、照射した測定光と測定対象空間の物体からの反射光との間の位相差を検出する位相差方式を採用するものが多い。
【0003】
斯かるTOFカメラにおいて、至近距離にある物体や非常に高い反射率の物体を撮像した受光素子では、反射光が強過ぎ、サチュレーションが発生して測距不能となることがある。一方で、遼遠の物体や非常に低い反射率の物体を撮像した受光素子では、反射光が弱過ぎ、光強度不足となり測距不能となることがある。測距不能となった場合、典型的なTOFカメラでは、距離を出力する代わりに測距不能を示す特異値を出力する。従って、測距装置の使用者は、TOFカメラからの出力値が特異値でない場合に出力値を正しい測距値として取扱う。
【0004】
しかし、TOFカメラでは、前述した2つの測距不能の場合以外にも、ショットノイズ、暗電流ノイズ、熱雑音等の不可避なランダムノイズ、及びA/D変換による量子化誤差などに起因して測距値にバラツキが発生する。また、物体の移動、周囲光の極端な変化等に起因して測距値の精度が大きく低下する場合もある。斯かる測距異常を判定するため、測定光の発光タイミングに対して所定位相だけ遅延した複数のタイミングで受光素子に電荷を蓄積させ、蓄積した各電荷量の関係を用いる技術が公知である(例えば特許文献1−3)。
【0005】
特許文献1には、測定光の発光タイミングに対して0°、90°、180°、270°の4種の位相差で第1検出信号α、第2検出信号β、第3検出信号γ、第4検出信号δを取得し、第1検出信号αと第3検出信号γとの第1の和W1と、第2検出信号βと第4検出信号δとの第2の和W2と、を算出すると共に、第1の和W1と第2の和W2との差分ΔWが設定値A以上である場合には、外光等の外的要因によって正しい位相差の検出及び距離の算出を実行できないと判定する測距装置が開示されている。
【0006】
特許文献2には、互いに90°の位相差を有する4つの制御信号C1、C2、C3、C4によって取得した電荷量Q1、Q2、Q3、Q4のうち、Q1−Q2とQ3−Q4との関係が菱形状を示すことから、菱形の位置以外の領域に値が発生した場合に、物体、カメラ、背景等の動きに起因してブラーが発生していると判断するブラー処理装置が開示されている。
【0007】
特許文献3には、Hレベル及びLレベルの2値の継続期間を乱数的に変化させた方形波信号に測定光を変調し、変調信号の非反転信号である第1のタイミング信号、変調信号の反転信号である第2のタイミング信号、変調信号の非反転信号を1チップ長Tcだけ遅延させた第3のタイミング信号、変調信号の反転信号を1チップ長Tcだけ遅延させた第4のタイミング信号の4種類のタイミング信号によって電荷量A0、A1、A2、A3をそれぞれ取得し、A0−A2=0の条件を満たさない場合に、ショットノイズ等によって物体までの距離が測定可能範囲外であると判断する空間情報検出装置が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2009−079987号公報
【特許文献2】特表2014−528059号公報
【特許文献3】特開2011−022089号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
TOFカメラ自体はノウハウが多いため、TOFカメラを用いたアプリケーション装置を開発する場合には、ベンダーから購入したTOFカメラを装置に組込むことが多い。アプリケーション装置の開発側は、TOFカメラが出力する距離画像(各画素の測距値のデータ群)及び光強度画像(照射した測定光(一般に近赤外(NIR)光)によって得られる各画素の光強度値のデータ群。所謂、赤外(IR)画像、NIR画像等と呼ばれるもの。)を用いてアプリケーションを作成するものの、距離画像内の全画素の距離データに対して均一にTOFカメラの仕様書等で記載される大きな誤差が含まれる可能性があることを前提にする必要があった。
【0010】
しかし、前述した通り、TOFカメラは、測定原理上、ショットノイズ等のランダムノイズの影響を受け、画素毎に且つ撮像毎に(測距毎に)測距値にバラツキが発生する。また、物体移動、外光変化等の外的要因に起因して画素毎に且つ撮像毎に測距値が乱れる場合がある。これらは、仕様書等で記載されるTOFカメラの誤差値を大きくしている要因でもある。
【0011】
そこで、画素毎に距離の誤差を認識可能にした汎用性の高い測距装置が求められている。
【課題を解決するための手段】
【0012】
本開示の一態様は、測定対象空間に照射される測定光を発光する発光部と、測定対象空間からの入射光に応じた電荷を蓄積する複数の受光素子と、測定光の発光タイミングに対して90°ずつ位相遅延した複数のタイミングで受光素子毎に電荷を蓄積させ、蓄積した各電荷量に基づいて画素毎に観測方向にある物体までの距離を算出する距離算出部と、を備え、算出した距離を出力する測距装置であって、前記複数のタイミングで蓄積した各電荷量をそれぞれQ1、Q2、Q3、Q4とした場合に、Q1+Q3とQ2+Q4の差分を受光強度でスケール調整して画素毎に距離の精度を算出する精度算出部を備え、算出した精度が外部へ出力される、測距装置を提供する。
【発明の効果】
【0013】
本開示の一態様によれば、アプリケーションの開発者が、斯かる精度に基づき各距離値の誤差を認識できるようになり、物体検知、形状認識等のアプリケーションの精度向上に役立てることができる。ひいては、汎用性の高い測距装置を提供できる。
【図面の簡単な説明】
【0014】
図1】一実施形態における測距装置のブロック図である。
図2】測距装置の発光タイミング及び撮像タイミングの一例を示すタイミングチャートである。
図3】各撮像タイミングで取得される電荷量の一例を示す図である。
図4】撮像期間中の物体移動、外光変化等の外的要因に起因した反射光量、受光光量の変化を示す図である。
図5】物体移動、外光変化等に応じた電荷量の変化を示す図である。
図6】ランダムノイズ、量子化誤差等の影響による同一測距点の測距値のバラツキを示すヒストグラムである。
図7】撮像画素の配置に対応した各画素の精度データの配列を示す図である。
図8】特異値を出力した距離データを示す図である。
図9】距離のバラツキを示すグラフである。
図10】精度に基づく距離補正の一例を示す表である。
【発明を実施するための形態】
【0015】
以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。
【0016】
図1は、本実施形態における測距装置10のブロック図である。測距装置10は、例えば位相差方式により物体Oまでの距離を測定するTOFカメラであり、測定対象空間に照射される測定光L1を発光する発光部11と、測定対象空間からの入射光L2を受光する受光部12と、測定対象空間の物体Oまでの距離を算出する距離算出部13と、を備えている。
【0017】
発光部11は、例えばNIR光を発光する発光ダイオード(LED)、半導体レーザ(LD)等の光源で構成され、発光・撮像タイミング制御部14からの発光タイミング信号に基づいて所定周期で強度変調した測定光L1を発光する。変調した測定光L1は、正弦波でも矩形波でもよい。測定光L1は、拡散板15によって拡散され、測定対象空間に照射される。
【0018】
受光部12は、例えばNIRフィルタを設けたCCD、CMOS等のイメージセンサで構成され、集光レンズ等を含む光学系16を介して入射光L2を受光する。入射光L2は、物体Oで反射した測定光に加え、外光も含む。受光部12は、入射光L2に応じて電荷を蓄積する複数の受光素子17を有しており、1つの受光素子17が1つの画素に相当する。受光素子17は、例えばフォトダイオード、コンデンサ等で構成され、発光・撮像タイミング制御部14からの撮像タイミング信号に基づき測定光L1の発光タイミングに対して所定位相だけ遅延した複数の撮像タイミングで所定の撮像期間に亘って電荷を蓄積する。
【0019】
図2は、測距装置10の発光タイミング及び撮像タイミングの一例を示すタイミングチャートである。受光素子17は、例えば測定光L1の発光タイミングに対してそれぞれ0°、90°、180°、270°だけ位相をずらした4種の撮像タイミングで電荷Q1〜Q4を蓄積する。本実施形態では、空間解像度の向上を優先し、1つの受光素子17で撮像タイミングを分けてQ1〜Q4を順番に、即ち直列的に取得していく。発光パルスの周期Tpは、測距装置10の測距レンジに応じて予め定まり、典型的に数十ns前後である。例えば測距レンジが10mであれば、10m=c×Tp/2(cは光速(3×108m/s)である。)からTpは67nsとなる。1回の撮像では十分な電荷が得られないため、斯かる撮像を数千回連続で繰返し、適度な電荷を溜めてQ1〜Q4が得られる。従って、Q1〜Q4を取得する撮像期間には、数msを要する。
【0020】
図3は、各撮像タイミングEt1〜Et4で取得される電荷量Q1〜Q4の一例を示す図である。測定光L1が変調周期Tpで強度変調され、入射光L2が測定光の発光タイミングに対して位相差Tdを有しているとする。誤差の無い理想的な撮像では、電荷量Q1〜Q4が、4つの撮像タイミングEt1−Et4の位相関係から公知の下記式の関係を有することとなる。ここで、Dは第1電荷量Q1及び第3電荷量Q3の和と、第2電荷量Q2及び第4電荷量Q4の和との差分である。
【0021】
【数1】
【0022】
図1を再び参照すると、受光部12は、発光・撮像タイミング制御部14からの発光タイミング信号及び撮像タイミング信号によって規定回数の発光及び撮像を終えた後、受光部12に蓄えられた電荷量Q1〜Q4の電圧値を増幅部20で増幅し、A/D変換部21でA/D変換した値をバッファメモリ22に記憶する。
【0023】
サチュレーション判定部23は、バッファメモリ22に記憶された各電荷量Q1〜Q4の読出し値が1つでも規定値を超える場合、サチュレーション発生と判定し、判定結果を画素毎に且つ撮像毎に距離算出部13に出力する。
【0024】
光強度算出部24は、バッファメモリ22に記憶された各電荷量Q1〜Q4の読出し値に基づいて画素毎に且つ撮像毎に受光強度Iを算出する。受光強度Iは、例えば公知の下記式から算出される。算出した光強度データは、バッファメモリ28に記憶される。
【0025】
【数2】
【0026】
受光強度Iが規定値を下回る場合、光強度不足判定部25は、光強度不足と判定し、判定結果を画素毎に且つ撮像毎に距離算出部13に出力する。なお、光強度不足の判定には、バッファメモリ22に記憶した各電荷量Q1〜Q4の読出し値がいずれも規定値を下回るか否かで行う手法もある。
【0027】
さらに、図4に示すように、撮像期間中の物体移動、外光変化等の外的要因に起因して反射光量、受光光量が変化してしまう場合がある。図5は、撮像タイミングEt2〜Et4の撮像において、物体移動、外光変化等によって物体からの反射光量、受光光量が増加し、電荷量Q2〜Q4が変化した様子を示す図である。
【0028】
また、測距装置10は、測定原理上、ランダムノイズ、A/D変換による量子化誤差等、各電荷量Q1〜Q4及びその読出し値が異なる影響を受けることによって、測距値にはランダム性のあるバラツキが発生する。図6は、ランダムノイズ、量子化誤差等の影響による同一測距点の測距値のバラツキを示すヒストグラムである。
【0029】
そこで、本実施形態に係る測距装置10は、図1に示すように、誤差の無い理想的な撮像における各電荷量の関係と、実際に取得した各電荷量Q1〜Q4の関係に基づき、画素毎に且つ撮像毎に距離の精度を算出する精度算出部26を備えている。精度算出部26は、図1に示す他の算出部と同様に、例えば電算機のCPU(中央処理装置)等のプロセッサを機能させるためのソフトウェアとして構成可能である。或いは例えば、当該ソフトウェアの処理の少なくとも一部を実行可能なプロセッサ等のハードウェアとして実現可能である。
【0030】
精度算出部26は、例えば下記式から精度Pを算出する。ここで、Dは前述した第1電荷量Q1及び第3電荷量Q3の和と第2電荷量Q2及び第4電荷量Q4の和との差分であり、Iは前述した受光強度であり、hは補正係数であり、百分率化などにも使用される。eは構造誤差、部品特性、温度特性、経年変化、環境条件等から見込まれる他の誤差(即ち、マージン)である。eについては、ここで加算せず、測距装置10の仕様として明記し、測距装置の使用者側で必要に応じて加算してもよい。
【0031】
【数3】
【0032】
差分Dのスケールは撮像環境の明暗に応じて変動するため、精度Pにおいて、差分Dが受光強度Iに応じてスケール調整されている。また、eは0より大きい定数として予め規定される。理想とする各電荷量の関係では、差分Dが0であるため、精度Pが0に近くなれば精度は高く、精度Pが0から遠くなれば精度が低くなる異常度として表される。他の実施形態では、精度Pは正常度として表されてもよい。精度Pは百分率として算出されてもよい。算出した精度データは、バッファメモリ28に記憶される。
【0033】
図7は、撮像画素の配置に対応した各画素の精度データの配列を示す図である。斯かる精度データによれば、サチュレーション、光強度露光不足だけでなく、ランダムノイズ、物体移動、外光変化等が発生した画素においても、精度が低いことを認識できる。即ち、アプリケーションの開発者は、斯かる精度データに基づいて画素毎に且つ撮像毎に誤差を認識できるようになり、物体検知、形状認識等を行うアプリケーションの精度向上に役立てることができる。具体的なアプリケーションとしては、人の動線検知、ジェスチャ認識、入退場者カウントなどを挙げることができる。
【0034】
測距装置10はさらに、精度Pが規定の精度を満たさない場合に精度不良と判定し、判定結果を画素毎に且つ撮像毎に距離算出部13に出力する精度判定部27を備えている。精度不良か否かは、例えば下記式から判定される。ここで、kは0より大きい定数として予め定められる。
【0035】
【数4】
【0036】
距離算出部13は、バッファメモリ22に記憶された各電荷量Q1〜Q4の読出し値に基づいて画素毎に且つ撮像毎に観測方向にある物体までの距離を算出する。距離Lは、例えば公知の下記式から算出される。ここで、Tdは前述した位相差であり、cは前述した光速であり、fは周波数である。
【0037】
【数5】
【0038】
【数6】
【0039】
また、距離算出部13は、前述した3つの判定部、即ち、サチュレーション判定部23、光強度不足判定部25、及び精度判定部27から出力された判定結果を受け、距離Lの代わりにサチュレーションを示す特異値(例えば9999)、光強度不足を示す特異値(例えば9998)、及び精度不良を示す特異値(例えば9997)を出力する。なお、距離算出部13は、斯かる判定結果に基づき特異値を出力する場合、距離Lの算出処理を省略してもよい。特異値を出力した距離データは、バッファメモリ28に記憶される。
【0040】
図8は、特異値を出力した距離データを示す図である。斯かる距離データによれば、精度不良の場合には距離Lの代わりに精度不良を示す特異値(9997)が出力されるため、誤った距離Lが出力されなくなる。また、アプリケーションの開発者は、斯かる特異値に基づき、新たに加わった測距不能の種別(ランダムノイズ、物体移動、外光変化、A/D変換による量子化誤差等に起因する測距不能)を特定できるようになる。
【0041】
図1を再び参照すると、出力制御部29は、バッファメモリ28に記憶された3つのデータ、即ち、光強度データ、距離データ、及び精度データに基づき、光強度画像データ、距離画像データ、精度画像データをアプリケーション30に出力する。
【0042】
測距装置10はさらに、バッファメモリ28に記憶された精度データ及び距離データに基づいて距離Lを補正する距離補正部31を備えていてもよい。距離補正部31は、精度不良を示す画素を中心画素として、平均化フィルタ、メディアンフィルタ等の画像処理を行い、距離を補正してもよい。或いは、距離補正部31は、例えば1画素における複数回の測距値、又は、近傍の複数画素における複数の測距値に対して、それぞれ精度の逆数を重み付けした加重平均を算出し、距離を補正してもよい。
【0043】
図9は距離のバラツキを示すグラフであり、図10は精度に基づく距離補正の一例を示す表である。図9には、1000mm先にある物体を撮像した1画素における10回の測距値、又は、近傍の10画素における10個の測距値のバラツキの様子、並びに各測距値の精度(図下側の%で示された数値)から予想される各距離値の最大値と最小値が示されている。また、図10には、図9に示す測距値が示されている。このとき、距離補正部31は、各測距値に対して、それぞれ精度の逆数を重み付けした加重平均を算出し(1000.029mm)、1画素の距離又は10画素の距離を加重平均で補正する。
【0044】
斯かる例では、偶発的に小さい測距値が2個(980mm、970mm)含まれているため、その影響を受けて単純平均は、約996mmと小さくなってしまう。これに対して、精度の逆数に重み付けした加重平均は、約1000mmとなるため、精度の低い測距値の影響を低減できる。即ち、バラツキの少ない高精度な距離を取得できる。
【0045】
斯かる実施形態によれば、アプリケーション30の開発者は、より高精度な距離値を取得することが可能になり、アプリケーションの物体検知、形状認識等の精度向上に繋がる。また、アプリケーション30側の高精度化に関する処理が簡素化される。ひいては、汎用性の高い、また、より高精度な測距装置10を提供できる。
【0046】
本明細書において種々の実施形態について説明したが、本発明は、前述した実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。
【符号の説明】
【0047】
10 測距装置
11 発光部
12 受光部
13 距離算出部
14 発光・撮像タイミング制御部
15 拡散板
16 光学系
17 受光素子
20 増幅部
21 A/D変換部
22 バッファメモリ
23 サチュレーション判定部
24 光強度算出部
25 光強度不足判定部
26 精度算出部
27 精度判定部
28 バッファメモリ
29 出力制御部
30 アプリケーション
31 距離補正部
O 物体
L1 測定光
L2 入射光
1〜Q4 第1電荷〜第4電荷
Et1〜Et4 撮像タイミング
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10