(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023159835
(43)【公開日】2023-11-01
(54)【発明の名称】測距システム及び測距センサのキャリブレーション方法
(51)【国際特許分類】
G01S 7/497 20060101AFI20231025BHJP
G01C 3/06 20060101ALI20231025BHJP
【FI】
G01S7/497
G01C3/06 120Q
G01C3/06 140
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022069785
(22)【出願日】2022-04-20
(71)【出願人】
【識別番号】501009849
【氏名又は名称】株式会社日立エルジーデータストレージ
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】林 久紘
【テーマコード(参考)】
2F112
5J084
【Fターム(参考)】
2F112AD01
2F112BA20
2F112CA01
2F112CA12
2F112CA14
2F112DA21
2F112DA25
2F112DA26
2F112DA28
2F112EA05
2F112FA29
2F112FA35
2F112GA01
5J084AA05
5J084AB07
5J084AD01
5J084BA03
5J084BA20
5J084EA16
(57)【要約】
【課題】簡単かつ容易に測距センサのキャリブレーションを行うことができる測距システム及び測距センサのキャリブレーション方法を提供する。
【解決手段】測距システムは、複数の測距センサと、連携処理装置と、を含む。連携処理装置は、複数の測距センサを用いて測定領域の重複範囲に存在する人物の骨格及び人物の複数の所定部位である骨格点を表す骨格データを取得し、骨格データを用いて、骨格点の位置が、共通の座標系にて一致するように、少なくとも一つの測距センサの設置情報を調整することにより、測距センサのキャリブレーションを行う。
【選択図】
図4
【特許請求の範囲】
【請求項1】
光の伝達時間に基づいて対象物までの距離を測定する複数の測距センサと、
複数の前記測距センサの測定領域内に存在する前記対象物の距離データに基づいて前記対象物の距離画像を生成する連携処理装置と、
を含む、測距システムであって、
前記連携処理装置は、
複数の前記測距センサを用いて、前記測定領域の重複範囲に存在する前記対象物としての人物の骨格及び前記人物の複数の所定部位である骨格点を表す骨格データを取得し、
前記骨格データを用いて、前記人物の同一部位の前記骨格点の位置が共通の座標系にて一致するように、少なくとも一つの前記測距センサの設置位置及び測定方向を示す設置情報を調整することにより、前記測距センサのキャリブレーションを行う、
ように構成された、
測距システム。
【請求項2】
請求項1に記載の測距システムにおいて、
前記連携処理装置は、
前記骨格点の認識の信頼性を示す信頼度を更に取得し、前記信頼度が閾値信頼度以上の前記骨格点のみを前記キャリブレーションに用いる、
ように構成された、
測距システム。
【請求項3】
請求項2に記載の測距システムにおいて、
前記連携処理装置は、
前記信頼度が前記閾値信頼度以上の前記骨格点のうちの、前記信頼度が上位の所定数の前記骨格点のみを前記キャリブレーションに用いる、
ように構成された、
測距システム。
【請求項4】
請求項1に記載の測距システムにおいて、
前記連携処理装置は、
前記骨格データの類似度を更に取得し、前記類似度が近い骨格データ同士を前記キャリブレーションに用いる、
ように構成された、
測距システム。
【請求項5】
請求項1に記載の測距システムにおいて、
前記連携処理装置は、
前記キャリブレーションを行った後に、第1判定基準によりキャリブレーション結果が十分であるか否かを判定する第1判定を行い、前記キャリブレーション結果が十分ではない場合、再度、前記キャリブレーションを行う、
ように構成された、
測距システム。
【請求項6】
請求項5に記載の測距システムにおいて、
前記連携処理装置は、
前記キャリブレーションを行った後であり、且つ、前記第1判定を実行する前に、第2判定基準により前記キャリブレーション結果が大きくずれているか否かを判定する第2判定を行い、
前記キャリブレーション結果が大きくずれている場合、前記骨格データを新たに取得し、新たに取得した前記骨格データを用いて、再度、前記キャリブレーションを行う、
ように構成された、
測距システム。
【請求項7】
請求項5に記載の測距システムにおいて、
前記連携処理装置は、
前記キャリブレーションを行った後の前記骨格データの類似度が第1閾値類似度以上であるか否かを前記第1判定基準として、前記第1判定を行うように構成された、
測距システム。
【請求項8】
請求項6に記載の測距システムにおいて、
前記連携処理装置は、
前記キャリブレーションを行った後の前記骨格データの類似度が第1閾値類似度以上であるか否かを前記第1判定基準として、前記第1判定を行い、
前記キャリブレーションを行った後の前記骨格データの類似度が前記第1閾値類似度より小さい値に設定された第2閾値類似度より小さいか否かを前記第2判定基準として、前記第2判定を行う、
ように構成された、
測距システム。
【請求項9】
請求項1に記載の測距システムにおいて、
前記連携処理装置は、
前記人物の上半身のみの前記骨格データを取得し、上半身のみの前記骨格データを前記キャリブレーションに用いる、
ように構成された、
測距システム。
【請求項10】
請求項1に記載の測距システムにおいて、
前記連携処理装置に情報を入力可能な入力装置と、画像を表示可能な表示装置と、
を含み、
前記連携処理装置は、
前記骨格データを示す画像を前記表示装置に表示し、ユーザによって前記入力装置を介して入力された情報に基づいて、前記キャリブレーションを行う、
ように構成された、
測距システム。
【請求項11】
請求項10に記載の測距システムにおいて、
前記連携処理装置は、
前記骨格データを示す画像を、前記骨格点を示す画像が前記骨格点の部位毎に異なる態様となるように、前記表示装置に表示する、
ように構成された、
測距システム。
【請求項12】
請求項1に記載の測距システムにおいて、
調整用の前記測距センサを更に含み、
前記連携処理装置は、
調整用の前記測距センサを用いて前記測定領域の前記重複範囲に存在する前記人物の前記骨格データを取得し、
調整用の前記測距センサを用いて取得した前記骨格データを更に用いて、前記キャリブレーションを行う、
ように構成された、
測距システム。
【請求項13】
請求項1に記載の測距システムにおいて、
前記光を反射可能なマーカが、前記測定領域の前記重複範囲に存在する前記人物に取り付けられている、
測距システム。
【請求項14】
光の伝達時間に基づいて対象物までの距離を測定する複数の測距センサと、複数の前記測距センサの測定領域内に存在する前記対象物の距離データに基づいて前記対象物の距離画像を生成する連携処理装置と、を用いる、測距センサのキャリブレーション方法であって、
前記連携処理装置によって、
複数の前記測距センサを用いて、前記測定領域の重複範囲に存在する前記対象物としての人物の骨格及び前記人物の複数の所定部位である骨格点を表す骨格データを取得し、
前記骨格データを用いて、前記人物の同一部位の前記骨格点の位置が共通の座標系にて一致するように、少なくとも一つの前記測距センサの設置位置及び測定方向を示す設置情報を調整することにより、前記測距センサのキャリブレーションを行う、
測距センサのキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測距システム及び測距センサのキャリブレーション方法に関する。
【背景技術】
【0002】
光の伝達時間に基づいて対象物までの距離を測定する方式(TOF法:タイム・オブ・フライト法)による測距センサ(以下、「TOFセンサ」又は「TOF」とも称呼される場合がある。)が知られている。TOFセンサを利用した技術としては、例えば、TOFセンサによって取得した距離データの特徴量から人物等を検知し、検知した人物等の時間変化を追跡することにより、移動経路を求める技術がある。
【0003】
TOFセンサは、光源から出射した照射光が対象物にて反射し、受光部に戻ってくるまでの時間を計測することで対象物までの距離を算出する。TOFセンサには、1台で測定可能な距離及び視野角(画角)に限界がある。このため、広い空間を測定する場合には、複数台のTOFセンサを広い空間に配置し、複数台のTOFセンサにより広い空間を測定することが行われている。
【0004】
特許文献1は、測距センサのキャリブレーションを実行する測距システム(以下、「従来技術」と称呼される。)を開示する。従来技術は、複数の測距センサを設置して、複数の測距センサの測定領域内に存在する対象物の距離画像を生成する。従来技術は、連携処理装置を備える。連携処理装置は、各測距センサによって検出される対象物の位置にずれが生じないように測距センサ間の位置合わせを行い、複数の測距センサからの距離データを合成して対象物の距離画像を表示する。なお、この特許文献1には、従来は複数の測距センサ間の位置合わせを行うために、測距センサ間に、反射テープや目印を置くなどして位置の調整を行っていたことが記載されている。
【0005】
連携処理装置は、測距センサ間の位置合わせを行うため、複数の測距センサにより測定領域内を移動する人物の軌跡(「動線」と呼ぶ。)を取得し、各測距センサで取得した動線が共通の座標系で一致するように、各測距センサの設置情報を調整する測距センサのキャリブレーションを行う。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来技術は、各測距センサ(TOF)で検知した人の動線を取得し、動線を用いて測距センサ間の位置合わせのために、測距センサのキャリブレーションを実行する。
【0008】
しかし、従来技術では、動線を取得するために、キャリブレーション対象の複数の測距センサの測定範囲の重複範囲で人が歩く必要があるので、キャリブレーションの担当者の負担が大きくなる。更に、従来技術では、キャリブレーション対象の複数の測距センサの測定範囲の重複範囲が少ない場合、キャリブレーションに使用できる動線が不足することによって、測距センサのキャリブレーションを行うことが難しくなってしまうことが生じ得る。
【0009】
本発明は上記課題を解決するためになされた。即ち、本発明の目的の一つは、簡単かつ容易に測距センサのキャリブレーションを行うことができる測距システム及び測距センサのキャリブレーション方法を提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明の測距システムは、光の伝達時間に基づいて対象物までの距離を測定する複数の測距センサと、複数の前記測距センサの測定領域内に存在する前記対象物の距離データに基づいて前記対象物の距離画像を生成する連携処理装置と、を含む、測距システムであって、前記連携処理装置は、複数の前記測距センサを用いて、前記測定領域の重複範囲に存在する前記対象物としての人物の骨格及び前記人物の複数の所定部位である骨格点を表す骨格データを取得し、前記骨格データを用いて、前記人物の同一部位の前記骨格点の位置が共通の座標系にて一致するように、少なくとも一つの前記測距センサの設置位置及び測定方向を示す設置情報を調整することにより、前記測距センサのキャリブレーションを行う、ように構成されている。
【0011】
本発明の測距センサのキャリブレーション方法は、光の伝達時間に基づいて対象物までの距離を測定する複数の測距センサと、複数の前記測距センサの測定領域内に存在する前記対象物の距離データに基づいて前記対象物の距離画像を生成する連携処理装置と、を用いる、測距センサのキャリブレーション方法であって、前記連携処理装置によって、複数の前記測距センサを用いて、前記測定領域の重複範囲に存在する前記対象物としての人物の骨格及び前記人物の複数の所定部位である骨格点を表す骨格データを取得し、前記骨格データを用いて、前記人物の同一部位の前記骨格点の位置が共通の座標系にて一致するように、少なくとも一つの前記測距センサの設置位置及び測定方向を示す設置情報を調整することにより、前記測距センサのキャリブレーションを行う。
【発明の効果】
【0012】
本発明によれば、簡単かつ容易に測距センサのキャリブレーションを行うことができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は本発明の第1実施形態に係る測距システムの構成例を示す概略構成図である。
【
図2】
図2は測距センサの構成例を示す概略構成図である。
【
図3】
図3はTOF法による距離測定の原理を説明するための図である。
【
図4】
図4は連携処理装置の構成例を示す概略構成図である。
【
図5】
図5はコンピュータのハードウェア構成の一例を示すブロック図である。
【
図6A】
図6Aは動線データを用いたキャリブレーション方法を説明するための図である。
【
図6B】
図6Bは動線データを用いたキャリブレーション方法を説明するための図である。
【
図6C】
図6Cは動線データを用いたキャリブレーション方法を説明するための図である。
【
図6D】
図6Dは動線データを用いたキャリブレーション方法を説明するための図である。
【
図6E】
図6Eは動線データを用いたキャリブレーション方法を説明するための図である。
【
図7】
図7は骨格データを説明するための図である。
【
図8A】
図8Aは骨格データを用いたキャリブレーション方法を説明するための図である。
【
図8B】
図8Bは骨格データを用いたキャリブレーション方法を説明するための図である。
【
図8C】
図8Cは骨格データを用いたキャリブレーション方法を説明するための図である。
【
図9】
図9は連携処理装置が実行する処理フローを示すフローチャートである。
【
図10】
図10は本発明の第2実施形態に係る測距システムの連携処理装置が実行する処理フローを示すフローチャートである。
【
図11】
図11は本発明の第3実施形態に係る測距システムの連携処理装置が実行する処理フローを示すフローチャートである。
【
図12】
図12は本発明の第4実施形態に係る測距システムの構成例を示す概略構成図である。
【
図13A】
図13Aは骨格データを用いたキャリブレーション方法を説明するための図である。
【
図13B】
図13Bは骨格データを用いたキャリブレーション方法を説明するための図である。
【
図13C】
図13Cは骨格データを用いたキャリブレーション方法を説明するための図である。
【発明を実施するための形態】
【0014】
以下、本発明の各実施形態について図面を参照しながら説明する。なお、実施形態の全図において、同一又は対応する部分には同一の符号を付す場合がある。以下の説明では、機能ブロック又は連携処理装置を主語として処理を説明する場合があるが、処理の主語が、機能ブロック又は連携処理装置に代えて、CPUとされてもよい。
【0015】
<<第1実施形態>>
本発明の第1実施形態に係る測距システムついて説明する。
図1は第1実施形態に係る測距システムの構成を示す図である。
図1に示すように、測距システムは、複数台(本例において、2台)の測距センサ1a及び測距センサ1bと、これらを制御する連携処理装置2とを含む。
【0016】
測距センサ1a及び測距センサ1bと連携処理装置2とは、ネットワーク3を介して通信可能(情報を送受信可能)に接続されている。以下、測距センサ1a及び測距センサ1bは、これらを特に区別する必要がない場合、「測距センサ1」と称呼される。本例において、測距センサ1は、TOF(Time Of Flight)センサである。
【0017】
測距システムは、各測距センサ1によって測定される共通の座標系にて対象物9の位置のずれが生じないように測距センサ1の位置を合わせる測距センサ1間の位置合わせのために測距センサ1のキャリブレーションを実行する。測距センサ1のキャリブレーションでは、測定空間に存在する人物9の骨格データを、各測距センサ1を用いて取得し、取得した骨格データの骨格点(好ましくは少なくとも2つの骨格点)が共通の座標系で一致するように、各測距センサ1の設置情報の修正が行われる。なお、設置情報は、測距センサ1の共通の座標系での設置位置及び測定方向(方位角)を示す情報である。
【0018】
連携処理装置2は、各測距センサ1で取得した距離データを合成して1つの距離画像を生成する。この距離画像を精度よく生成するために、連携処理装置2は、各測距センサ1の設置情報を修正(調整)するキャリブレーション処理を行う。
【0019】
図1に示す例では、2台の測距センサ1a及び測距センサ1bが天井5に取り付けられ、床面4に存在する対象物9(ここでは人物(以下、対象物9は「人物9」とも称呼される場合がある。))までの距離が測定され、人物9の距離画像が作成される。1台の測距センサ1では測定可能距離や視野角が限られているので、測距センサ1を複数台配置することで、測定領域を拡大できるだけでなく、対象物9の位置を精度良く測定することができる。そのためには、各測距センサ1における測定値の座標変換が精度良くなされなければならない。従って、測距センサ1のキャリブレーションが必要になる。
【0020】
図2は測距センサ1の構成を示す図である。測距センサ1は、レーザダイオード(LD)や発光ダイオード(LED)などの光源から赤外光のパルス光を照射する発光部11、対象物9から反射したパルス光をCCDセンサやCMOSセンサなどで受光する受光部12、発光部11の点灯及び消灯と発光量の制御とを行う発光制御部13、並びに、受光部12の検出信号(受光データ)から対象物9までの距離を計算する距離計算部14を備える。距離計算部14で計算された距離データは、連携処理装置2へ送信される。測距センサ1の発光制御部13は、連携処理装置2からの測定指令信号に従い発光を開始させる。
【0021】
図3はTOF法による距離測定の原理を説明する図である。測距センサ1は、発光部11から対象物9に向けて距離測定用の照射光31を出射する。受光部12は、対象物9で反射された反射光32を2次元センサ12aで受光する。2次元センサ12aはCCDセンサなどの複数の画素を2次元配列したもので、各画素における受光データから距離計算部14は2次元状の距離データを算出する。
【0022】
対象物9は、発光部11および受光部12から距離Dだけ離れた位置に存在する。ここで、光速をcとして、発光部11が照射光31を出射してから受光部12が反射光32を受光するまでの時間差をtとすると、対象物9までの距離Dは、D=c×t/2で求められる。なお、距離計算部14の行う実用的な距離測定では、時間差tの代わりに、所定幅の照射パルスを出射し、これを2次元センサ12aで露光ゲートのタイミングをずらしながら受光する。そして、異なるタイミングにおける受光量(蓄積量)の値から距離Dを算出するようにしている(露光ゲート方式)。
【0023】
図4は連携処理装置2の構成例を示す図である。連携処理装置2は、測距センサ1a及び測距センサ1bのそれぞれからの距離データを入力するデータ入力部21、入力した各距離データを共通の座標系の位置データに変換する座標変換部22、各位置データを合成して1つの距離画像を生成する画像合成部23、及び、合成した距離画像を表示する表示部24を備える。
【0024】
更に、連携処理装置2は、測距センサ1のキャリブレーションを行うため、入力した各測距センサ1a及び測距センサ1bの各距離データからキャリブレーションに有効な人物9の骨格データを検知する人物検知部25、及び、合成画像の結果を基に座標変換部22で用いる変換パラメータ(設置情報)を修正するキャリブレーション部26を備える。更に、連携処理装置2は、各測距センサ1a及び測距センサ1bに対し測定指示信号を送信する図示しない送信部を有する。
【0025】
連携処理装置2は、例えばパソコン(PC(Personal Computer))、サーバ等のコンピュータで構成可能である。
図5はコンピュータのハードウェア構成の一例を示すブロック図である。
図5に示すように、コンピュータ50は、CPU51、ROM52、RAM53、データの読み出し及び書き込み可能な不揮発性の記憶装置(HDD)54、ネットワークインタフェース55及び入出力インタフェース56などを含む。これらは、バス57を介して互いに通信可能に接続されている。CPU51はROM52及び/又は記憶装置54に格納された図示しない各種プログラムをRAM53にロードし、RAM53にロードされたプログラムを実行することによって、各種機能を実現する。RAM53には、上述したようにCPU51が実行する各種プログラムがロードされ、CPU51が各種プログラムを実行する際に使用するデータが一時的に記憶される。ROM52及び/又は記憶装置54は、不揮発性の記憶媒体であり、各種プログラムが記憶されている。ネットワークインタフェース55は、コンピュータ50がネットワークに接続されるためのインタフェースである。入出力インタフェース56は、キーボード、マウスなどの入力装置(操作装置)及びディスプレイなどの表示装置に接続されるためのインタフェースである。
【0026】
例えば、データ入力部21は入出力インタフェース56で構成される。座標変換部22、画像合成部23、人物検知部25及びキャリブレーション部26は、CPU51で実行されるROM52及び/又は記憶装置54に格納された各種プログラムで構成される。表示部24は、入出力インタフェース56に接続された図示しないディスプレイで構成される。
【0027】
連携処理装置2では、人物検知処理、座標変換、画像合成及びキャリブレーション等の演算処理を行う。連携処理装置2は、演算処理に用いるプログラムをROM52及び/又は記憶装置54に格納(記憶、保持)しており、プログラムをRAM53に展開してCPU51により実行することで演算処理を実現する。なお、人物検知処理及びキャリブレーション処理に関しては、ユーザ調整部(図示せず)を介し、作業者(ユーザ)が表示部24に表示される骨格データの画像を見ながら適宜調整を行うことも可能である。
【0028】
次に、測距センサ1のキャリブレーション方法について説明する。第1実施形態では、キャリブレーションのために、対象物9(人物9)の骨格データを用いるが、比較のために、動線データを用いる方式から説明する。
【0029】
図6A及び
図6Bは、動線データを用いたキャリブレーション方法を説明する図である。
図6Aは、人物9が測定空間の床面4を移動している状態を示す。測距センサ1a及び測距センサ1bは、それぞれ、測定空間(xyz座標で示す)の水平位置(x1,y1)、(x2,y2)に設置している。両者の設置高さzは簡単のために同一としているが、異なっていても演算で補正が可能である。また、測距センサ1a及び測距センサ1bの測定方向(視野角の中心方向)の方位角をθ1,θ2で表す。なお、両者の仰俯角は同一としているが、異なっていても演算で補正が可能である。人物9は時刻t0からt2にかけて、床面4上を破線のように移動したものとする。
【0030】
図6Bは、測距センサ1a及び測距センサ1bにより人物9までの距離測定を行った状態を示す。なお、人物9までの距離として、例えば人物像から頭部を抽出し、頭部までの距離データで代表させる。そして、床面4を移動した人物9の移動軌跡(動線)のデータを取得する。測距センサ1aで測定した人物9の動線を9aで、測距センサ1bで測定した人物9の動線を9b(区別のため二重線で示す)で示す。この場合も、動線9a,9bは、それぞれの測距センサ1から得た距離データを、センサの設置位置(x1,y1)、(x2,y2)と方位角θ1,θ2を用いて座標変換し、共通の座標系上に表示したもので、人物9の動線の仮想の測定像である。同一の人物9が移動したのにもかかわらず、その動線(測定像)が9a,9bのように一致しない場合がある。これは、測距センサ1の設置位置(x1,y1)、(x2,y2)と方位角θ1,θ2の情報に誤差があるからである。また、測距センサ1の設置高さや仰俯角の情報に誤差があると、動線9a,9bは床面に一致しないことになる。
【0031】
キャリブレーション処理では、人物9の動線9a,9bが一致するよう、測距センサ1の設置位置及び方位角の情報(設置情報)を修正(調整)する。そして、修正した設置情報に基づいて座標変換して動線を再度表示して、これらが一致するまで繰り返す。以下、キャリブレーションの手順について説明する。
【0032】
図6Cは、視点変換を行った状態を示す。つまり、測定空間をz方向(真上)から見下ろしたときのxy面での動線9a,9bを示し、両者は位置と方向がずれている。なお、この例では、動線9aの開始時刻t0と、動線9bの開始時刻t1とが異なるため、動線の長さも異なっている。
【0033】
図6Dは、動線9a、9bの位置合わせのため、測距センサ1の方位角情報を回転修正させた状態を示す。ここでは、測距センサ1aの方位角θ1はそのまま固定し、測距センサ1bの方位角情報をθ2からθ2’に修正することで、動線9a,9bの方向を一致させている。その際、時刻情報を参照することで両者の動線の共通部分(すなわち時刻t1~t2の区間)が平行になるように修正する。
【0034】
図6Eは、動線9a,9bの位置合わせのため、測距センサ1の位置情報を移動修正させた状態を示す。測距センサ1aの位置(x1,y1)はそのまま固定し、測距センサ1bの位置情報を(x2,y2)から(x2’,y2’)に修正することで、動線9a,9bを一致させている。本例では、動線9a,9bの時刻t1~t2の区間が一致している。
【0035】
このように本比較例では、人物9の移動軌跡である動線データを利用してキャリブレーションが行われる。動線データを用いるキャリブレーション方法では、複数の測距センサ1間の位置合わせに関して、各測距センサ1で検知した人の動線を取得することで、測距センサ1のキャリブレーションに活用できる特徴的なデータを容易に取得できるものである。ただし、このキャリブレーション方法では主に測距センサ1(TOF)間の測定範囲の重なりが少ない場合など、動線だけでは情報量が少なくなることによって、調整が難しくなる場合がある。更に、動線を取得するために測距センサ1の測定範囲の重複範囲にて人が歩く必要があるため、キャリブレーションの担当者の負担が大きくなる。
【0036】
そこで、第1実施形態に係る測距システムでは、移動する人物9の動線データではなく、キャリブレーション対象の複数の測距センサ1の重複する測定範囲に存在する人物9の骨格データを利用するところに特徴がある。
【0037】
以下、人物9の骨格データを用いたキャリブレーション方法について説明する。まず、骨格データについて説明する。骨格データは、測距センサ1により取得された各距離データ(距離画像)に基づいて抽出(認識)される人物9の骨格及び人物9の所定の部位(以下、「骨格点」と称呼される。)に関する情報である。本例において、骨格点は、頭部、左手首、左肘、右肘、右手首、背中、左膝、左足首、右膝及び右足首である。なお、骨格点は、これらに限定されるものではない。
【0038】
図7はある時刻での人物9の骨格データを画像で表した図である。ある時刻での骨格データは、人物9の距離データ(距離画像)に基づいて取得(抽出、認識)された人物9の骨格及び骨格点を表す情報(例えば、線L10で表された骨格の位置情報と、点Ptで表された各骨格点J1乃至J10の位置情報と、骨格点J1乃至J10のそれぞれの信頼度と、骨格点の部位を識別するための識別情報と)を含む。なお、骨格点J1乃至J10は、これらを特に区別する必要がない場合、「骨格点Ji」と称呼される。
【0039】
位置情報は、所定の3次元座標空間におけるxyz座標(値)(=x、y、z)で表される。信頼度は、各骨格点Jiの認識結果の信頼性(認識位置)の程度を表すパラメータであり、周知のアルゴリズムにより算出可能である。信頼度は、例えば、0~1の数値で表され、その数値が大きくなるほど認識結果の信頼性が高くなることを示し、その数値が小さくなるほど認識結果の信頼性が低くなることを示す。
【0040】
図8A乃至
図8Cは、骨格データを用いたキャリブレーション方法を説明する図である。
図8Aは、人物9が測定空間の床面4に存在している状況を示す。
【0041】
測距センサ1a及び測距センサ1bは、測定空間(xyz座標で示す所定の3次元座標空間(共通の座標系))の水平位置(x1,y1)、(x2,y2)に設置している。両者の設置高さzは簡単のために同一としているが、異なっていても演算で補正が可能である。また、測距センサ1a及び測距センサ1bの測定方向(視野角の中心方向)の方位角をθ1,θ2で表す。なお、両者の仰俯角は同一としているが、異なっていても演算で補正が可能である。
【0042】
図8Bは、
図8Aに示す状況で各測距センサ1a及び測距センサ1bにより取得した、測距センサ1a及び測距センサ1bの測定範囲(照射範囲)の重複範囲に存在する人物9の骨格データSD1及び骨格データSD2を示す。骨格データSD1は、測距センサ1aにより取得された距離データに基づく距離画像から抽出された骨格及び骨格点を示すデータであり、骨格データSD2は、測距センサ1bにより取得された距離データに基づく距離画像から抽出された骨格及び骨格点を示すデータである。なお、骨格データSD1及び骨格データSD2は、これらを特に区別する必要がない場合、「骨格データSD」と称呼される。
図8Bに示すように、骨格データSD1及び骨格データSD2には、同一の人物9に対応する骨格データであるにも関わらず、共通の3次元座標空間上において、ずれが生じてしまっている。
【0043】
図8Cは骨格データSD1及び骨格データSD2の共通の3次元座標空間での位置を合わせるために、測距センサ1a及び測距センサ1bの設置情報を修正した状態を示す。本例では、測距センサ1aの位置(x1,y1)はそのまま固定し、測距センサ1bの設置情報である位置情報を(x2,y2)から(x2’,y2’)に修正し、測定方向などを修正することで、骨格データSD1の骨格点の位置と、骨格データSD2の骨格点の位置とを全て一致させている。なお、骨格点の位置の少なくとも2つを一致させるようにしてもよい。更に、人物9の位置によっては、少なくとも一方の測距センサ1による人物9の距離画像の骨格データSDの骨格点が全て検出されていない場合もある。この場合、検出されている距離画像の部分的な骨格データSD(骨格点)の位置を一致させるように、測距センサ1の設置情報を修正することで、キャリブレーションを行えばよい。
【0044】
第1実施形態に係る測距システムは、人物9の骨格データを利用して測距センサ1のキャリブレーションを行う。これにより、ユーザ(現地の担当者又は施設の利用者等)のデータを活用することで、背景技術の欄で述べた従来のキャリブレーションで行われていたような現場で反射テープなど目印を置く作業が不要となる。
【0045】
更に、第1実施形態に係る測距システムは、比較例に比べて、以下に述べる優れた作用効果を奏する。即ち、比較例は、複数の測距センサ1間の位置合わせに関して、各測距センサ1で検知した人の動線を取得することで、測距センサ1のキャリブレーションに活用できる特徴的なデータを容易に取得できる。しかし、この方式では、動線を取得するために測距センサ1の重複範囲を人が歩く必要があるため、キャリブレーションの担当者の負担が大きくなる。この方式では主に測距センサ1の測定範囲の重なりが少ない場合など、動線が不足して位置合わせのための調整が難しくなることが生じ得る。
【0046】
これに対して、第1実施形態に係る測距システムは、比較例のように、人物9が歩いて動線を取得する必要もない。更に、第1実施形態に係る測距システムは、骨格データの類似性に基づいて、骨格点の位置合わせを行うことで、自動でキャリブレーションを行うことができる。
【0047】
図9は連携処理装置2が実行する処理フローを示すフローチャートである。連携処理装置2は、ステップ900から処理を開始して以下に述べるステップ910乃至ステップ930の処理を順に実行した後、ステップ935に進む。なお、ステップ915乃至ステップ925は、連携処理装置2の人物検知部25により実行される。ステップ930は、連携処理装置2の座標変換部22により実行される。ステップ935、ステップ945、ステップ950及びステップ955は、連携処理装置2のキャリブレーション部26により実行される。ステップ940は、画像合成部23により実行される。
【0048】
ステップ905:連携処理装置2は、各測距センサ1のパラメータを設定する。パラメータは、設置情報等を含み、設置情報は、共通の3次元座標空間での測距センサ1の設置位置(x,y,z)及び測定方向(方位角)(θx,θy,θz)を含む。
【0049】
ステップ910:連携処理装置2からの指示で、各測距センサ1は測定空間の距離データを所定時間にわたって取得し、連携処理装置2に送信する。
【0050】
ステップ915:連携処理装置2は、受信した距離データから人物9を検知する。人物検知では、画像認識技術により人物9の頭部の位置を検出する。また、付随情報として、検出した人物9の時刻、身長、点群量(人物領域に含まれる画素数)などを取得し保持する。複数の人物9が検出されれば、それぞれの人物9について位置情報や付随情報を取得する。
【0051】
ステップ920:連携処理装置2は、ステップ915にて検知した人物9の骨格を検知することにより、各測距センサ1毎の骨格データを取得する。
【0052】
ステップ925:連携処理装置2は、骨格データの各骨格点の信頼度を評価する。信頼度は、0~1の範囲の数値であり、信頼度が高くなるほどその骨格点が正確に認識されている信頼性が高くなる。
【0053】
ステップ930:連携処理装置2は、各測距センサ1で検出された人物9の位置データを共通の座標空間(3次元座標空間)に変換する。座標変換では、ステップ905で設定した設置情報を用いる。
【0054】
連携処理装置2は、ステップ935に進むと、取得データは十分であるか否かを判定する。
【0055】
連携処理装置2は、以下の条件1及び条件2の両方が成立する場合、取得データは十分であると判定し、以下に述べる条件1及び条件2の両方が成立しない場合、取得データは十分ではないと判定する。
・条件1:条件1は、座標変換した人物データが十分である場合、成立する条件である。即ち、条件1は、各測距センサ1によって検出された人物9の付随情報(時刻及び身長)が、キャリブレーション対象の複数(本例において2つ)の測距センサ1間で一致している場合成立する条件である。
・条件2:条件2は、信頼度が十分である場合、成立する条件である。即ち、条件2は、各測距センサ1によって取得された骨格点の中で、部位が同一の骨格点の組が2つ以上あり、且つ、それらの骨格点の信頼度が、所定の閾値信頼度以上である場合、成立する条件である。
【0056】
取得データは十分ではない場合、連携処理装置2は、ステップ935にて「No」と判定してステップ910に戻る。
【0057】
一方、取得データは十分である場合、連携処理装置2は、ステップ935にて「Yes」と判定し、以下に述べるステップ940乃至ステップ950を順に実行した後、ステップ955に進む。
【0058】
ステップ940:連携処理装置2は、ステップ930にて座標変換された各測距センサ1からの人物9の位置データを、時刻の同期をとって共通の座標空間に合成して表示部24に描画する。即ち、各測距センサ1により取得された骨格データを示す画像(骨格及び骨格点を示す画像)が表示される。検知した人物9が複数あれば、複数組の骨格データを示す画像が表示される。
【0059】
ステップ945:連携処理装置2は、各測距センサ1で取得された骨格データを示す画像の類似度を算出する。すなわち、骨格の形状(パターン)が互いに類似している骨格データを抽出する。そのために、時刻が対応する各センサからの骨格の形状(パターン)を比較し、パターンマッチング法などにより骨格データを示す画像間の類似度を求める。
【0060】
ステップ950:連携処理装置2は、類似度が高い複数(本例において2つ)の骨格データについて、同一部位であり、且つ、信頼度が閾値信頼度以上である骨格点の位置が一致するように、少なくとも一つの測距センサ1の設置情報(設置位置及び測定方向(方位角)の少なくとも一つ)を調整する(即ち、測距センサ1間の位置合わせを行う。)。なお、連携処理装置2は、より精度よく調整を行うことが可能となる観点から、信頼度が閾値信頼度以上である骨格点の中から、信頼度が上位であり(例えば、同一部位の2つの骨格点の信頼度の平均値が上位であり)、且つ、同一部位の2つの骨格点の組を所定数だけ選択し、選択した骨格点のみ(選択した骨格点の組のみ)を用いて、各測距センサ1の設置情報を調整してもよい。
【0061】
ここで、仮に測距センサ1が複数(3台以上)存在する場合、基準となる測距センサ1を決め、これに対し他の測距センサ1を、1台ずつ位置合わせ(設置情報の調整)を行う、あるいは、修正済みの測距センサ1に対し、他の未修正の測距センサ1の位置合わせ(設置情報の調整)を順に行う。
【0062】
連携処理装置2は、ステップ955に進むと、キャリブレーション結果が十分であるか否かを判定する。例えば、連携処理装置2は、位置を一致させた骨格点を含む2つの骨格データを示す画像間の類似度を算出し、類似度が所定の第1閾値類似度以上であるか否かに基づいて、キャリブレーション結果が十分であるか否かを自動で判定する。即ち、連携処理装置2は、類似度が第1閾値類似度以上である場合、キャリブレーション結果が十分であると判定する。連携処理装置2は、類似度が第1閾値類似度より小さい場合、キャリブレーション結果が十分ではないと判定する。
【0063】
連携処理装置2は、キャリブレーション結果が十分ではないと判定した場合、ステップ955にて「No」と判定してステップ940に戻る。この場合、連携処理装置2は、ステップ940及びステップ945の処理を行った後、ステップ950に進み、再びキャリブレーションを行う。
【0064】
連携処理装置2は、キャリブレーション結果が十分であると判定した場合、ステップ955にて「Yes」と判定してステップ995に進んで本処理フローを終了する。
【0065】
<効果>
以上説明したように、本発明の第1実施形態に係る測距システムは、人物9の骨格を示す画像の類似性に基づいて、類似する画像の骨格点の位置が共通座標系で一致するように、自動で測距センサ1のキャリブレーションを行う。これにより、本発明の第1実施形態に係る測距システムは、ユーザ(例えば、現地の担当者又は施設の利用者等)のデータを活用することで、現場で反射テープなど目印を置く作業が不要であり、容易に測距センサ1のキャリブレーションを行うことができる。更に、第1実施形態に係る測距システムは、比較例のように、人物9が歩いて動線を取得する必要もなく、測定範囲の重複範囲に人物9が存在しているだけで、測距センサ1のキャリブレーションに必要な骨格データを取得できるので、より簡単(キャリブレーションの担当者の負担を軽減でき)かつ容易にキャリブレーションを行うことができる。
【0066】
<<第2実施形態>>
本発明の第2実施形態に係る測距システムついて説明する。第2実施形態に係る測距システムは、以下に述べる点のみにおいて、第1実施形態に係る測距システムと相違点を有する。
・第2実施形態に係る測距システムは、キャリブレーション後、キャリブレーション結果が大きくずれているか否かを判定し、判定結果に応じた処理を実行する。
【0067】
以下、この相違点を中心として説明する。
【0068】
図10は連携処理装置2が実行する処理フローを示すフローチャートである。
図10に示すフローチャートは、
図9のフローチャートのステップ950とステップ955との間にステップ1005が追加された点のみ、
図9のフローチャートと相違する。
【0069】
連携処理装置2(キャリブレーション部26)は、ステップ950のキャリブレーションを実行した後、ステップ1005に進むと、キャリブレーション結果が大きくずれているか否かを判定する。
【0070】
この判定は、位置を合わせた骨格点を含む2つの骨格データを示す画像間の類似度を算出し、類似度が所定の第2閾値類似度より小さいか否かに基づいて、キャリブレーション結果が大きくずれているか否かを自動で判定する。なお、第2閾値類似度は、第1閾値類似度より小さい値に設定されている。類似度が第2閾値類似度より小さい場合、キャリブレーション結果が大きくずれていると判定し、類似度が第2閾値類似度以上である場合、キャリブレーション結果が大きくずれていないと判定する。
【0071】
キャリブレーション結果が大きくずれている場合、連携処理装置2は、ステップ1005にて「Yes」と判定してステップ910に戻り、ステップ910から再び処理を開始する。即ち、連携処理装置2は、再び、別のタイミングでの距離データを取得し、ステップ915乃至ステップ950のうちの適当な処理を再度実行する。
【0072】
キャリブレーション結果が大きくずれていない場合、連携処理装置2は、ステップ1005にて「No」と判定してステップ955に進み、既述のステップ955の処理を実行する。
【0073】
<効果>
以上説明したように、本発明の第2実施形態に係る測距システムは、キャリブレーション結果が大きくずれている場合、再び距離データの取得を行い、取得した距離データに基づいて、キャリブレーションを行う。これにより、第2実施形態に係る測距システムは、より効率よく測距センサ1のキャリブレーションを行うことができる。
【0074】
<<第3実施形態>>
本発明の第3実施形態に係る測距システムついて説明する。第3実施形態に係る測距システムは、以下に述べる点のみにおいて、第1実施形態に係る測距システムと相違点を有する。
・第3実施形態に係る測距システムでは、自動でキャリブレーションを行うことに代えて、作業者により手動でキャリブレーションが行われる。
【0075】
以下、この相違点を中心として説明する。
【0076】
図11は連携処理装置2が実行する処理フローを示すフローチャートである。
図11に示すフローチャートは、
図9のフローチャートのステップ945乃至ステップ955が、ステップ1105に置換された点のみ、
図9のフローチャートと相違する。
【0077】
連携処理装置2は、ステップ1105に進むと、作業者(ユーザ)によって手動キャリブレーションが実行される。作業者は、ユーザ調整部(図示せず)を介し、表示部24に表示される骨格データの画像(人物9の骨格及び骨格点を示す画像)を見ながら適宜、測距センサ1の設置情報の調整を行う。手動キャリブレーションが実行された後、連携処理装置2は、ステップ1195に進んで本処理フローを終了する。
【0078】
<効果>
以上説明したように、本発明の第3実施形態に係る測距システムは、骨格データに基づいて、ユーザ(例えば、作業者)による手動でも、キャリブレーションを容易に行うことができる。
【0079】
<<第4実施形態>>
本発明の第4実施形態に係る測距システムについて説明する。第4実施形態に係る測距システムは、以下に述べる点のみにおいて、第1実施形態に係る測距システムと相違点を有する。
・第4実施形態に係る測距システムは、
図12に示すように、調整用測距センサ1cを更に備える。第4実施形態に係る測距システムは、必要に応じて、調整用測距センサ1cを利用して、キャリブレーションを行う。調整用測距センサ1cは、より広い範囲で、キャリブレーションに使用可能な人物9の骨格データを取得できた方が好ましいので、キャリブレーション対象の測距センサ1a及び測距センサ1bに比べて、その画角が広い方が好ましい。
【0080】
以下、この相違点を中心として説明する。
【0081】
図12に示すように、測距センサ1aと測距センサ1bとの測定範囲の重複範囲が少ない場合、測距センサ1a及び測距センサ1bのキャリブレーションに使用できる重複範囲に存在する人物9の骨格データ(骨格点)が十分に取得できないことが生じ得る。
【0082】
この場合において、測距センサ1a及び測距センサ1bの測定範囲の重複範囲と重複する測定範囲を有する調整用測距センサ1cによって取得された骨格データを用いてキャリブレーションを行う。
【0083】
図13Aに示す例では、骨格データSD1は、測距センサ1aによる人物9の骨格データであり、骨格データSD2は、測距センサ1bによる人物9の骨格データであり、骨格データSD3は、調整用測距センサ1cによる人物9の骨格データSD3である。なお、
図13A乃至
図13C中の骨格点は、全て、信頼度が閾値信頼度以上である骨格点である。
【0084】
この場合において、骨格データSD1及び骨格データSD2を用いて、測距センサ1a及び測距センサ1bを行おうとした場合、部位が同一の骨格点の数が不足しているため、キャリブレーションを行うことが難しくなる。
【0085】
そこで、連携処理装置2は、骨格データSD3を使用して、測距センサ1a及び測距センサ1bのキャリブレーションを行う。
【0086】
具体的に述べると、
図13Bに示すように、連携処理装置2は、骨格データSD1に骨格データSD3が一致するように測距センサ1a及び調整用測距センサ1c間の位置合わせを行う。即ち、連携処理装置2は、同一部位の骨格データSD1の骨格点の位置と骨格データSD3の骨格点の位置とが一致するように、測距センサ1a及び調整用測距センサ1cの少なくとも一つの設置情報(設置位置及び測定方向(方位角)の少なくとも一つ)を調整する。
【0087】
その後、
図13Bに示すように、連携処理装置2は、骨格データSD2に骨格データSD3が一致するように、測距センサ1b及び調整用測距センサ1c間の位置合わせを行う。即ち、連携処理装置2は、同一部位の骨格データSD2の骨格点の位置と骨格データSD3の骨格点の位置とが一致するように、測距センサ1bの設置情報(設置位置及び測定方向(方位角)の少なくとも一つ)を調整する。
【0088】
図13Cに示すように、測距センサ1間の位置合わせが終わると、調整用測距センサ1cによる骨格データSD3を取り外す。これにより、共通の3次元座標空間にて位置が一致した骨格データSD1及び骨格データSD2が残り、測距センサ1のキャリブレーションが完了する。なお、調整用測距センサ1cは、必要なときだけ(キャリブレーションを行うときだけ)設置するようにしてもよい。
【0089】
<効果>
以上説明したように、本発明の第4実施形態に係る測距システムは、調整用測距センサ1cを設置することにより、測距センサ1a及び測距センサ1bの測定範囲の重複範囲が少ない(小さい)場合でも、容易にキャリブレーションを実行することができる。
【0090】
<<変形例>>
本発明は上記各実施形態に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。例えば、上記各実施形態において、骨格データのうちの人物9の一部分の骨格データ(例えば、上半身の骨格データ)のみを用いて、キャリブレーションが行われるようにしてもよい。この変形例によれば、骨格データとして上半身だけを出力し、活用する。これにより、この変形例は、データ量を減らして演算負荷やキャリブレーションによる処理負荷を下げることができる。
【0091】
更に、上記各実施形態において、骨格点を示す画像は、全て共通の図形(丸)であるが、部位毎に骨格点を示す画像が異なる態様(形状、大きさ及び色の少なくとも一つが異なる態様)であってもよい。これにより、手動でキャリブレーションが実行される場合において、ユーザは、位置合わせを行う骨格点を容易に判別できる。上記各実施形態において、人物9の所定部位(例えば、頭や両腕)に、光を反射可能な(光を反射しやすい)マーカを取り付け、そのマーカに基づいて、人物9の骨格及び人物9の所定部位を示す骨格点を含む骨格データが取得されるようにしてもよい。これにより、この変形例は、座標がぶれにくく、簡単に骨格データを取得することができる。
【0092】
更に、上記第1実施形態及び第2実施形態において、キャリブレーション結果が十分であるか否かの判定は、ユーザによりキャリブレーション結果が十分であるか否かを判定された結果が連携処理装置2に入力され、入力された判定結果に基づいて行われるようにしてもよい。第2実施形態において、キャリブレーション結果が大きくずれているか否かの判定は、ユーザによりキャリブレーション結果が大きくずれているか否かを判定された結果が連携処理装置2に入力され、入力された判定結果に基づいて行われるようにしてもよい。
【0093】
更に、上記各実施形態は、本発明の範囲を逸脱しない限り、互いに組み合わせることが可能である。例えば、上記第4実施形態の特徴は、第2実施形態及び第3実施形態のそれぞれに適用されてもよい。
【符号の説明】
【0094】
1a,1b…測距センサ、2…連携処理装置、3…ネットワーク、4…床面、9…対象物(人物)、11…発光部、12…受光部、13…発光制御部、14…距離計算部、21…データ入力部、22…座標変換部、23…画像合成部、24…表示部、25…人物検知部、26…キャリブレーション部