特許 7286586 測距システム及び測距センサのキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-26

(45)【発行日】2023-06-05

(54)【発明の名称】測距システム及び測距センサのキャリブレーション方法

(51)【国際特許分類】

   G01S 17/87 20200101AFI20230529BHJP

   G01S 7/497 20060101ALI20230529BHJP

   G01S 17/894 20200101ALI20230529BHJP

   G01S 17/66 20060101ALI20230529BHJP

【ＦＩ】

G01S17/87

G01S7/497

G01S17/894

G01S17/66

【請求項の数】 12

(21)【出願番号】P 2020085253

(22)【出願日】2020-05-14

(65)【公開番号】P2021179376

(43)【公開日】2021-11-18

【審査請求日】2022-06-01

(73)【特許権者】

【識別番号】501009849

【氏名又は名称】株式会社日立エルジーデータストレージ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】林 久紘

(72)【発明者】

【氏名】市川 紀元

【審査官】▲高▼場 正光

(56)【参考文献】

【文献】特開２０１２－０８８１３５（ＪＰ，Ａ）

【文献】特開２０１７－１０６７４９（ＪＰ，Ａ）

【文献】特開２００９－０２０８００（ＪＰ，Ａ）

【文献】特開２０１８－１５９６９３（ＪＰ，Ａ）

【文献】特開２００９－１４００６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２５３６２１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － Ｇ０１Ｓ ７／５１

Ｇ０１Ｓ １７／００ － Ｇ０１Ｓ １７／９５

(57)【特許請求の範囲】

【請求項1】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する測距システムにおいて、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行い、前記複数の測距センサからの距離データを合成して対象物の距離画像を表示する連携処理装置を備え、
前記連携処理装置は、前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物の軌跡（以下、動線と呼ぶ）を取得し、各測距センサで取得した動線が共通の座標系で一致するように各測距センサの設置位置のキャリブレーションを行い、
前記連携処理装置は、
前記複数の測距センサのセンサ設置情報を用いて、前記複数の測距センサからの距離データを共通の座標系の位置データに変換する座標変換部と、
各測定データを合成して１つの距離画像を生成する画像合成部と、
合成した距離画像を表示する表示部と、
前記複数の測距センサから入力した距離データからキャリブレーションに有効な人物の動線を検知する人物検知部と、
前記人物の動線を合成した距離画像の結果を基に、前記座標変換部で用いる前記センサ設置情報を修正するキャリブレーション部と、
を備え、
前記人物検知部は、検知した人物の付随情報として人物の身長情報を取得し、
前記キャリブレーション部は、前記複数の測距センサで取得した人物の動線の位置合わせを行うとき、動線の類似度を算出するとともに、前記人物検知部で取得した人物の身長情報と距離データを取得した時刻情報とを参照し、該身長情報または該時刻情報が一致する動線の間で位置合わせを行うことを特徴とする測距システム。

【請求項2】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する測距システムにおいて、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行い、前記複数の測距センサからの距離データを合成して対象物の距離画像を表示する連携処理装置を備え、
前記連携処理装置は、前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物の軌跡（以下、動線と呼ぶ）を取得し、各測距センサで取得した動線が共通の座標系で一致するように各測距センサの設置位置のキャリブレーションを行い、
前記連携処理装置は、
前記複数の測距センサのセンサ設置情報を用いて、前記複数の測距センサからの距離データを共通の座標系の位置データに変換する座標変換部と、
各測定データを合成して１つの距離画像を生成する画像合成部と、
合成した距離画像を表示する表示部と、
前記複数の測距センサから入力した距離データからキャリブレーションに有効な人物の動線を検知する人物検知部と、
前記人物の動線を合成した距離画像の結果を基に、前記座標変換部で用いる前記センサ設置情報を修正するキャリブレーション部と、
を備え、
前記人物検知部は、検知した人物の付随情報として前記測距センサから人物までの距離を取得するとともに、検知した人物について、前記測距センサから人物までの距離に応じて動線の信頼度を評価し、
前記キャリブレーション部は、前記人物検知部により信頼度が高いと評価された動線の間で位置合わせを行うことを特徴とする測距システム。

【請求項3】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する測距システムにおいて、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行い、前記複数の測距センサからの距離データを合成して対象物の距離画像を表示する連携処理装置を備え、
前記連携処理装置は、前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物の軌跡（以下、動線と呼ぶ）を取得し、各測距センサで取得した動線が共通の座標系で一致するように各測距センサの設置位置のキャリブレーションを行い、
前記連携処理装置は、
前記複数の測距センサのセンサ設置情報を用いて、前記複数の測距センサからの距離データを共通の座標系の位置データに変換する座標変換部と、
各測定データを合成して１つの距離画像を生成する画像合成部と、
合成した距離画像を表示する表示部と、
前記複数の測距センサから入力した距離データからキャリブレーションに有効な人物の動線を検知する人物検知部と、
前記人物の動線を合成した距離画像の結果を基に、前記座標変換部で用いる前記センサ設置情報を修正するキャリブレーション部と、
を備え、
前記人物検知部は、検知した人物の付随情報として人物領域に含まれる点群量を取得するとともに、検知した人物について、人物領域に含まれる点群量に応じて動線の信頼度を評価し、
前記キャリブレーション部は、前記人物検知部により信頼度が高いと評価された動線の間で位置合わせを行うことを特徴とする測距システム。

【請求項4】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する測距システムにおいて、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行い、前記複数の測距センサからの距離データを合成して対象物の距離画像を表示する連携処理装置を備え、
前記連携処理装置は、前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物の軌跡（以下、動線と呼ぶ）を取得し、各測距センサで取得した動線が共通の座標系で一致するように各測距センサの設置位置のキャリブレーションを行い、
前記連携処理装置は、
前記複数の測距センサのセンサ設置情報を用いて、前記複数の測距センサからの距離データを共通の座標系の位置データに変換する座標変換部と、
各測定データを合成して１つの距離画像を生成する画像合成部と、
合成した距離画像を表示する表示部と、
前記複数の測距センサから入力した距離データからキャリブレーションに有効な人物の動線を検知する人物検知部と、
前記人物の動線を合成した距離画像の結果を基に、前記座標変換部で用いる前記センサ設置情報を修正するキャリブレーション部と、
を備え、
前記人物検知部は、検知した人物の付随情報として視野角内の人物の検出方向を取得するとともに、検知した人物について、視野角内の人物の検出方向に応じて動線の信頼度を評価し、
前記キャリブレーション部は、前記人物検知部により信頼度が高いと評価された動線の間で位置合わせを行うことを特徴とする測距システム。

【請求項5】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する測距システムにおいて、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行い、前記複数の測距センサからの距離データを合成して対象物の距離画像を表示する連携処理装置を備え、
前記連携処理装置は、前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物の軌跡（以下、動線と呼ぶ）を取得し、各測距センサで取得した動線が共通の座標系で一致するように各測距センサの設置位置のキャリブレーションを行い、
前記連携処理装置は、
前記複数の測距センサのセンサ設置情報を用いて、前記複数の測距センサからの距離データを共通の座標系の位置データに変換する座標変換部と、
各測定データを合成して１つの距離画像を生成する画像合成部と、
合成した距離画像を表示する表示部と、
前記複数の測距センサから入力した距離データからキャリブレーションに有効な人物の動線を検知する人物検知部と、
前記人物の動線を合成した距離画像の結果を基に、前記座標変換部で用いる前記センサ設置情報を修正するキャリブレーション部と、
を備え、
前記人物検知部は、検知した人物の付随情報として人物の手前に障害物が存在するか否かを取得するとともに、検知した人物について、人物の手前に障害物が存在するか否かに応じて動線の信頼度を評価し、
前記キャリブレーション部は、前記人物検知部により信頼度が高いと評価された動線の間で位置合わせを行うことを特徴とする測距システム。

【請求項6】

請求項２～５のいずれか１項に記載の測距システムにおいて、
前記人物検知部にて評価した動線の信頼度に応じて、前記表示部には、動線の濃度または色を変えて表示することを特徴とする測距システム。

【請求項7】

請求項１に記載の測距システムにおいて、
前記人物検知部により検知した人物の動線からキャリブレーションに有効な動線をユーザが選択し、前記キャリブレーション部により前記センサ設置情報を修正するときにユーザが微調整するためのユーザ調整部を備えることを特徴とする測距システム。

【請求項8】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する際の前記測距センサのキャリブレーション方法において、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物を検知しその軌跡（以下、動線と呼ぶ）を取得するステップと、
各測距センサで取得した動線が共通の座標系で一致するように各測距センサのセンサ設置情報のキャリブレーションを行うステップと、
を備え、
前記動線を取得するステップでは、検知した人物の付随情報として人物の身長情報を取得し、
前記キャリブレーションを行うステップでは、前記複数の測距センサで取得した動線の類似度を算出するとともに、前記検知した人物の身長情報と距離を測定した時刻情報とを参照し、該身長情報または該時刻情報が一致する動線の間で位置合わせを行うことを特徴とする測距センサのキャリブレーション方法。

【請求項9】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する際の前記測距センサのキャリブレーション方法において、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物を検知しその軌跡（以下、動線と呼ぶ）を取得するステップと、
各測距センサで取得した動線が共通の座標系で一致するように各測距センサのセンサ設置情報のキャリブレーションを行うステップと、
を備え、
前記動線を取得するステップでは、検知した人物の付随情報として前記測距センサから人物までの距離を取得するとともに、検知した人物について、前記測距センサから人物までの距離に応じて動線の信頼度を評価し、
前記キャリブレーションを行うステップでは、前記動線を取得するステップにて信頼度が高いと評価された動線の間で位置合わせを行うことを特徴とする測距センサのキャリブレーション方法。

【請求項10】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する際の前記測距センサのキャリブレーション方法において、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物を検知しその軌跡（以下、動線と呼ぶ）を取得するステップと、
各測距センサで取得した動線が共通の座標系で一致するように各測距センサのセンサ設置情報のキャリブレーションを行うステップと、
を備え、
前記動線を取得するステップでは、検知した人物の付随情報として人物領域に含まれる点群量を取得するとともに、検知した人物について、人物領域に含まれる点群量に応じて動線の信頼度を評価し、
前記キャリブレーションを行うステップでは、前記動線を取得するステップにて信頼度
が高いと評価された動線の間で位置合わせを行うことを特徴とする測距センサのキャリブレーション方法。

【請求項11】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する際の前記測距センサのキャリブレーション方法において、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物を検知しその軌跡（以下、動線と呼ぶ）を取得するステップと、
各測距センサで取得した動線が共通の座標系で一致するように各測距センサのセンサ設置情報のキャリブレーションを行うステップと、
を備え、
前記動線を取得するステップでは、検知した人物の付随情報として視野角内の人物の検出方向を取得するとともに、検知した人物について、視野角内の人物の検出方向に応じて動線の信頼度を評価し、
前記キャリブレーションを行うステップでは、前記動線を取得するステップにて信頼度が高いと評価された動線の間で位置合わせを行うことを特徴とする測距センサのキャリブレーション方法。

【請求項12】

複数の測距センサを設置して測定領域内の対象物の距離画像を生成する際の前記測距センサのキャリブレーション方法において、
前記測距センサは、光の伝達時間に基づいて対象物までの距離を測定する方式のものであって、
前記測距センサ間の位置合わせを行うため、前記複数の測距センサにより測定領域内を移動する人物を検知しその軌跡（以下、動線と呼ぶ）を取得するステップと、
各測距センサで取得した動線が共通の座標系で一致するように各測距センサのセンサ設置情報のキャリブレーションを行うステップと、
を備え、
前記動線を取得するステップでは、検知した人物の付随情報として人物の手前に障害物が存在するか否かを取得するとともに、検知した人物について、人物の手前に障害物が存在するか否かに応じて動線の信頼度を評価し、
前記キャリブレーションを行うステップでは、前記動線を取得するステップにて信頼度が高いと評価された動線の間で位置合わせを行うことを特徴とする測距センサのキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数台の測距センサを用いて対象物までの距離を測定する測距システム及び測距センサのキャリブレーション方法に関する。

【背景技術】

【0002】

光の伝達時間に基づいて対象物までの距離を測定する方式（以下、ＴＯＦ法：タイム・オブ・フライト法）による測距センサ（以下、ＴＯＦセンサとも呼ぶ）が知られる。ＴＯＦセンサで取得した距離データの特徴量から、例えば人物等を検知し、その検知した人物等の時間変化を追跡することで、移動経路を求めることができる。ＴＯＦセンサの原理は、光源から出射した照射光が対象物にて反射し、受光部に戻ってくるまでの時間を計測することで、対象物までの距離を算出するものである。ＴＯＦセンサには、１台で測定可能な距離と視野角（画角）には限界があるので、広い空間を測定する場合には、複数台のセンサを配置して測定する。

【0003】

これに関し、例えば特許文献１に記載の距離画像カメラは、複数のカメラユニット（ＴＯＦセンサ）を備え、単一の撮像部の画角よりも広い画角を有するとともに距離精度の高い距離画像を得ることを目的としている。その構成として、「距離情報置換部で求められた前記平均距離情報と前記各距離画像の各画素の２次元画素位置とに基づいて各画素の２次元位置情報を補正する２次元位置補正部と、この２次元位置補正部で補正された各画素の前記２次元位置情報と前記距離情報とを共通の３次元座標系に変換することによって前記各距離画像を合成した合成距離画像を求める距離画像合成部とを有する」ことが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－２４７２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１には、各カメラユニット（ＴＯＦセンサ）の距離画像を座標変換して合成する場合、「各カメラユニット１０の設置時のキャリブレーションによって得られたカメラパラメータ（内部および外部）にしたがって、各距離画像の各画素のＸ値、Ｙ値、Ｚ値をカメラ座標系または世界座標系にそれぞれ座標変換することで各距離画像を合成する」と記載されている。このキャリブレーションの一般的手法として、測定空間に特定の対象物（マーカ）を配置して各カメラユニット（ＴＯＦセンサ）でマーカの位置を測定し、共通の座標値となるように座標変換を行うことが知られている。しかし、現実にはマーカを適切に配置するのが困難な場合がある。

【0006】

例えばキャリブレーション用の前記マーカとして、再帰性反射材からなる反射テープを用いることが知られているが、この反射テープを測定現場の床面に貼り付ける作業が必要になる。この作業はＴＯＦセンサの台数が多くなるにつれ作業者の負荷が増大する。さらに、測定環境によっては床面に凹凸や障害物が存在し、反射テープを所望の位置に貼り付けることが困難な場合もありえる。

【0007】

また特許文献１に記載の技術は、複数のカメラユニットの距離画像を合成するものであるが、各カメラユニットは対象物（箱）から見て同一方向に設置され、その対象物（箱）は、各カメラユニットの照射方向に対して垂直な面を有している。このため、位置関係が限定された画像合成であり、これに必要なキャリブレーションも限定されたものとなる。

【0008】

本発明の目的は、測距センサのキャリブレーション作業のための作業者の負荷を軽減し、測定環境によらず、容易にキャリブレーションを実施できる測距システム及びキャリブレーション方法を提供することである。

【課題を解決するための手段】

【0009】

本発明は、複数の測距センサを設置して測定領域内の対象物の距離画像を生成する測距システムにおいて、測距センサ間の位置合わせを行い、複数の測距センサからの距離データを合成して対象物の距離画像を表示する連携処理装置を備える。連携処理装置は、測距センサ間の位置合わせを行うため、複数の測距センサにより測定領域内を移動する人物の軌跡（以下、動線と呼ぶ）を取得し、各測距センサで取得した動線が共通の座標系で一致するように各測距センサの設置位置のキャリブレーションを行う。

【0010】

また本発明は、複数の測距センサを設置して測定領域内の対象物の距離画像を生成する際の測距センサのキャリブレーション方法において、測距センサ間の位置合わせを行うため、複数の測距センサにより測定領域内を移動する人物を検知しその軌跡（動線）を取得するステップと、各測距センサで取得した動線が共通の座標系で一致するように各測距センサのセンサ設置情報のキャリブレーションを行うステップと、を備える。

【発明の効果】

【0011】

本発明によれば、測距センサのキャリブレーション作業のための作業者の負荷が軽減し、測定環境によらず、容易にキャリブレーションを実施できる効果がある。

【図面の簡単な説明】

【0012】

【図1】本実施例に係る測距システムの構成を示す図。

【図2】測距センサ（ＴＯＦセンサ）の構成を示す図。

【図3】ＴＯＦ法による距離測定の原理を説明する図。

【図4】連携処理装置の構成を示す図。

【図5A】反射テープを用いたキャリブレーション方法を説明する図。

【図5B】反射テープを用いたキャリブレーション方法を説明する図。

【図6A】動線データを用いたキャリブレーション方法を説明する図。

【図6B】動線データを用いたキャリブレーション方法を説明する図。

【図7】動線データの信頼度の評価とその表示例を示す図。

【図8】キャリブレーション処理の手順を示すフローチャート。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について説明する。本実施例の測距センサのキャリブレーションでは、測定空間を移動する人物の軌跡データ（動線データ）を各測距センサにて取得し、各測距センサで取得した軌跡データが共通の座標系で一致するように各センサ間の位置合わせ（設置位置情報の修正）を行うものである。

【0014】

図１は、本実施例に係る測距システムの構成を示す図である。測距システムは、複数台の測距センサ（以下、「ＴＯＦセンサ」、あるいは単に「センサ」とも呼ぶ）１ａ，１ｂとこれらを制御する連携処理装置２とがネットワーク３で接続されている。連携処理装置２は、各センサ１で取得した距離データを合成して１つの距離画像を生成するが、そのために、各センサ１の位置情報を修正するキャリブレーション処理を行う。連携処理装置２には、例えばパソコン（ＰＣ）やサーバを用いる。

【0015】

図１に示す例では、２台のセンサ１ａ，１ｂを天井５に取り付け、床面４に存在する対象物９（ここでは人物）までの距離を測定して、人物９の移動軌跡（動線）である距離画像を作成する。１台のセンサでは測定可能距離や視野角が限られているので、センサを複数台配置することで、測定領域を拡大できるだけでなく、対象物９の位置を精度良く測定することができる。そのためには、各センサにおける測定値の座標変換が精度良くなされなければならず、よってセンサ間のキャリブレーションが必要になる。

【0016】

図２は、測距センサ（ＴＯＦセンサ）１の構成を示す図である。測距センサ１は、レーザダイオード（ＬＤ）や発光ダイオード（ＬＥＤ）などの光源から赤外光のパルス光を照射する発光部１１、対象物から反射したパルス光をＣＣＤセンサやＣＭＯＳセンサなどで受光する受光部１２、発光部１１の点灯／消灯と発光量の制御を行う発光制御部１３、受光部１２の検出信号（受光データ）から対象物までの距離を計算する距離計算部１４を備える。距離計算部１４で計算された距離データは、連携処理装置２へ送信される。また測距センサ１の発光制御部１３は、連携処理装置２からの測定指令信号に従い発光を開始させる。

【0017】

図３は、ＴＯＦ法による距離測定の原理を説明する図である。測距センサ（ＴＯＦセンサ）１は、発光部１１から対象物９（例えば人物）に向けて距離測定用の照射光３１を出射する。受光部１２は、対象物９で反射された反射光３２を２次元センサ１２ａで受光する。２次元センサ１２ａはＣＣＤセンサなどの複数の画素を２次元配列したもので、各画素における受光データから距離計算部１４は２次元状の距離データを算出する。

【0018】

対象物９は、発光部１１および受光部１２から距離Ｄだけ離れた位置に存在する。ここで、光速をｃとして、発光部１１が照射光３１を出射してから受光部１２が反射光３２を受光するまでの時間差をｔとすると、対象物９までの距離Ｄは、Ｄ＝ｃ×ｔ／２で求められる。なお、距離計算部１４の行う実用的な距離測定では、時間差ｔの代わりに、所定幅の照射パルスを出射し、これを２次元センサ１２ａで露光ゲートのタイミングをずらしながら受光する。そして、異なるタイミングにおける受光量（蓄積量）の値から距離Ｄを算出するようにしている（露光ゲート方式）。

【0019】

図４は、連携処理装置２の構成を示す図である。連携処理装置２の構成は、各測距センサ１ａ，１ｂからの距離データを入力するデータ入力部２１、入力した各距離データを共通の座標系の位置データに変換する座標変換部２２、各位置データを合成して１つの距離画像を生成する画像合成部２３、合成した距離画像を表示する表示部２４、を備える。さらにセンサ１ａ，１ｂ間のキャリブレーションを行うため、入力した各センサの距離データからキャリブレーションに有効な人物（動線）を検知する人物検知部２５、及び合成画像の結果を基に座標変換部２２で用いる変換パラメータ（センサ設置情報）を修正するキャリブレーション部２６を備える。また、各センサ１ａ，１ｂに対し測定指示信号を送信する図示しない送信部を有する。

【0020】

連携処理装置２では、座標変換や画像合成やキャリブレーションといった演算処理を行うが、これに用いるプログラムをＲＯＭに格納し、これをＲＡＭに展開してＣＰＵにより実行することで上記機能を実現する（図示せず）。なお、人物検知処理とキャリブレーション処理に関しては、ユーザ調整部（図示せず）を介し、作業者（ユーザ）が表示部２４に表示される動線の画像を見ながら適宜調整を行うことも可能である。

【0021】

次に、キャリブレーション方法について説明する。本実施例ではキャリブレーション処理のための測定対象物（マーカ）として人物の動線を用いるが、比較のために、反射テープを用いる方式から説明する。

【0022】

図５Ａと図５Ｂは、反射テープを用いたキャリブレーション方法を説明する図である。
図５Ａ（１）は、反射テープ８を測定空間の床面４に配置（貼り付け）した状態を示す。センサ１ａ，１ｂは、測定空間（ｘｙｚ座標で示す）の水平位置（ｘ１，ｙ１）、（ｘ２，ｙ２）に設置している。両者の設置高さｚは簡単のために同一としているが、異なっていても演算で補正が可能である。また、センサ１ａ，１ｂの測定方向（視野角の中心方向）の方位角をθ１，θ２で表す。なお、両者の仰俯角は同一としているが、異なっていても演算で補正が可能である。反射テープ８は、入射した光を入射方向に向けて反射する特性を持つ再帰性反射材からなり、例えば床面４に十字状に貼り付ける。

【0023】

図５Ａ（２）は、センサ１ａ，１ｂにより反射テープ８の距離測定を行った状態を示す。センサ１ａで測定した反射テープ８の位置を８ａで、センサ１ｂで測定した反射テープ８の位置を８ｂ（区別のため二重線で示す）で示す。測定位置８ａ，８ｂは、それぞれのセンサから得た距離データを、センサの設置位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と方位角θ１，θ２を用いて座標変換し、共通の座標系上に表示したもので、言わば反射テープ８の仮想の測定像である。同一の反射テープ８でありながら、その測定位置（測定像）が８ａ，８ｂのように一致しない場合がある。これは、センサの設置位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と方位角θ１，θ２の情報に誤差があるからである。また、センサの設置高さや仰俯角の情報に誤差があると、測定位置８ａ，８ｂは床面４に一致しないことになる。

【0024】

キャリブレーション処理では、反射テープ８の測定位置８ａ，８ｂが一致するよう、センサの設置位置と方位角の情報を修正する。そして、修正した設置情報に基づいて座標変換して仮想の測定像を再度表示して、これらが一致するまで繰り返す。以下、キャリブレーションの手順について説明する。

【0025】

図５Ｂ（１）は、視点変換を行った状態を示す。つまり、測定空間をｚ方向（真上）から見下ろしたときのｘｙ面での測定位置（測定像）８ａ，８ｂを示し、両者は位置と方向がずれている。

【0026】

図５Ｂ（２）は、測定位置８ａ，８ｂの位置合わせのため、センサの方位角情報を回転修正させた状態を示す。ここでは、センサ１ａの方位角θ１はそのまま固定し、センサ１ｂの方位角情報をθ２からθ２’に修正することで、測定位置８ａ，８ｂの方向（十字の方向）を一致させている。

【0027】

図５Ｂ（３）は、測定位置８ａ，８ｂの位置合わせのため、センサの位置情報を移動修正させた状態を示す。センサ１ａの位置（ｘ１，ｙ１）はそのまま固定し、センサ１ｂの位置情報を（ｘ２，ｙ２）から（ｘ２’，ｙ２’）に修正することで、測定位置８ａ，８ｂを一致させている。

【0028】

以上の反射テープ８を用いるキャリブレーション方法では、マーカとなる反射テープを測定現場に貼り付ける作業が必要になる。その際、センサの台数が増加すると貼り付け作業の負荷が増大し、また測定環境によっては床面が平坦でなくあるいは障害物が存在して反射テープを貼るのが困難となる場合がある。そこで本実施例では、反射テープではなく、移動する人物の動線データを利用するところに特徴がある。以下、動線データを用いたキャリブレーション方法について説明する。

【0029】

図６Ａと図６Ｂは、動線データを用いたキャリブレーション方法を説明する図である。
図６Ａ（１）は、人物９が測定空間の床面４を移動している状態を示す。なお、センサ１ａ，１ｂの設定位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と測定方向（方位角）θ１，θ２は前記図５Ａと同様である。人物９は時刻ｔ０からｔ２にかけて、床面４上を破線のように移動したものとする。

【0030】

図６Ａ（２）は、センサ１ａ，１ｂにより人物９までの距離測定を行った状態を示す。なお、人物９までの距離として、例えば人物像から頭部を抽出し、頭部までの距離データで代表させる。そして、床面４を移動した人物９の移動軌跡（動線）のデータを取得する。センサ１ａで測定した人物９の動線を９ａで、センサ１ｂで測定した人物９の動線を９ｂ（区別のため二重線で示す）で示す。この場合も、動線９ａ，９ｂは、それぞれのセンサから得た距離データを、センサの設置位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と方位角θ１，θ２を用いて座標変換し、共通の座標系上に表示したもので、人物９の動線の仮想の測定像である。同一の人物９が移動したのにもかかわらず、その動線（測定像）が９ａ，９ｂのように一致しない場合がある。これは、センサの設置位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と方位角θ１，θ２の情報に誤差があるからである。また、センサの設置高さや仰俯角の情報に誤差があると、動線９ａ，９ｂは床面に一致しないことになる。

【0031】

キャリブレーション処理では、人物９の動線９ａ，９ｂが一致するよう、センサの設置位置と方位角の情報を修正する。そして、修正した設置情報に基づいて座標変換して動線を再度表示して、これらが一致するまで繰り返す。以下、キャリブレーションの手順について説明する。

【0032】

図６Ｂ（１）は、視点変換を行った状態を示す。つまり、測定空間をｚ方向（真上）から見下ろしたときのｘｙ面での動線９ａ，９ｂを示し、両者は位置と方向がずれている。なお、この例では、動線９ａの開始時刻ｔ０と、動線９ｂの開始時刻ｔ１とが異なるため、動線の長さも異なっている。

【0033】

図６Ｂ（２）は、動線９ａ、９ｂの位置合わせのため、センサの方位角情報を回転修正させた状態を示す。ここでは、センサ１ａの方位角θ１はそのまま固定し、センサ１ｂの方位角情報をθ２からθ２’に修正することで、動線９ａ，９ｂの方向を一致させている。その際、時刻情報を参照することで両者の動線の共通部分（すなわち時刻ｔ１～ｔ２の区間）が平行になるように修正する。

【0034】

図６Ｂ（３）は、動線９ａ，９ｂの位置合わせのため、センサの位置情報を移動修正させた状態を示す。センサ１ａの位置（ｘ１，ｙ１）はそのまま固定し、センサ１ｂの位置情報を（ｘ２，ｙ２）から（ｘ２’，ｙ２’）に修正することで、動線９ａ，９ｂを一致させている。本例では、動線９ａ，９ｂの時刻ｔ１～ｔ２の区間が一致している。

【0035】

このように本実施例では、人物の移動軌跡である動線データを利用してキャリブレーションを行うものであり、比較例のように、作業者が反射テープを床面に貼り付ける必要がない。よって、キャリブレーション作業のための作業者の負荷が軽減し、測定環境によらず、容易にキャリブレーションを実施できるようになる。また、様々な形状のキャリブレーション用の軌跡データを容易に得ることができるようになり、キャリブレーションの精度向上が期待できる。

【0036】

また本実施例では、人物の頭部の動線データを用いるようにしたので、人物の頭部の高さ位置でのキャリブレーションが可能となる。よって、比較例のように反射テープを貼り付ける床面上でのキャリブレーションに比較して、測定対象が人物である場合のキャリブレーションとしてより適切であり、また精度向上が期待できる。

【0037】

本実施例では、人物の動線データを取得するために、特定の人物を移動させてもよいが、任意の人物が測定空間を移動することを利用することもできる。よって、測距センサにより様々な動線データが得られることになり、その中からキャリブレーションに用いる有効な動線データを抽出する必要がある。また有効な動線データを作業者（ユーザ）が抽出する場合もあることを想定し、動線データの表示方法を工夫する必要がある。これらを考慮して、本実施例では以下のように処理を行う。

【0038】

（１）距離データから検知した人物の付随情報として身長情報を取得して、身長が一致する人物同士の動線データを抽出して動線の位置合わせを行う。これにより測定空間を不特定多数の人物が移動するような場合でも、同一人物に絞り込んで位置合わせを行うことができる。

【0039】

（２）動線データの付随情報として距離データを取得した時刻情報を参照し、時刻が一致する動線上の点の位置が一致するよう動線の位置合わせを行う。よって、動線データを表示するときは、時刻の同期をとってアニメーション表示を行う。

【0040】

（３）動線データの信頼度を評価して、信頼度の高い動線データを抽出する。ここでいう信頼度とは、検出した人物データの測定確度の高さであり、センサからの距離が近い人物、点群量が多い人物、また人物の検出方向が視野角内の中央寄りであれば、信頼度が高い。逆に、センサから遠くなるほど、また視野角内の端部位置ではＴＯＦ方式の受光強度が低下して測定値の信頼性が低下する。さらに、検知される人物の領域が小さくなると、点群量（受光部の検知画素数）が減少し、あるいは人物の手前に障害物が存在すると動線データの一部が欠落（隠蔽）される恐れがあるので（オクルージョン発生）、これも信頼性を低下させる。動線データの信頼度を評価したら、表示部２４には動線を評価結果に応じて区別して表示する。例えば、信頼度が高い動線は濃く表示し、信頼度の低い動線は薄く表示する（あるいは、表示色を変えてもよい）。

【0041】

（４）複数のセンサの動線データを表示部２４に表示するとき、センサごとに動線データの表示のＯｎ／Ｏｆｆ切替を可能にする。また、過去に測定した複数回分の動線データを保存しておき、これから所望のデータを読み出して表示する。キャリブレーション調整を複数回のデータを用いて行うことで、キャリブレーションの精度が向上する。

【0042】

上記（３）で述べた動線データの信頼度に関し、図面を用いて説明する。
図７は、動線データの信頼度の評価とその表示例を示す図である。センサ１ａで測定した動線データとして４つの例９１～９４を示す。動線９１はセンサ１ａから近い位置にあり、動線９２は検出位置が視野角の端部にある場合である。また、動線９３はセンサ１ａから遠い位置にあり、動線９４は移動経路の手前に障害物９５が存在する場合である。動線９１を基準に比較すると、動線９２は視野角の端部にあるため受光量が少なく、動線９３は遠い位置にあるため点群量が少なく、動線９４は動線の一部が欠落している。よってこれらの動線９１～９４を表示するとき、信頼度の高い動線９１は濃く表示し、信頼度の低い他の動線９２～９４は薄く表示する。あるいは、信頼度に応じて動線の色を変えて表示してもよい。これにより作業者は、複数の動線から信頼度の高い動線を選択し、キャリブレーションに使用することができる。

【0043】

また、動線データを利用する場合、動線の形状も考慮した方がよい。つまり、動線の長さが短いと方向（回転）の位置合わせが困難になるので、所定以上の長さが必要である。また、動線の形状が直線状である場合、それに垂直な方向の位置合わせは明確に行えるが、それに平行な方向の位置合わせは不明確になる。よって、動線の形状は曲線状のものが好ましく、信頼度が高いといえる。

【0044】

図８は、本実施例のキャリブレーション処理の手順を示すフローチャートである。キャリブレーション処理は、連携処理装置２が各測距センサに指示を出して実施する。以下、処理の内容をステップ順に説明する。

【0045】

Ｓ１０１：連携処理装置２は、各測距センサ１の設置パラメータを設定する。設置パラメータには、センサの設置位置（ｘ，ｙ，ｚ）と測定方向（方位角）（θｘ，θｙ，θｚ）などがある。
Ｓ１０２：連携処理装置２からの指示で、各センサ１は測定空間の距離データを所定時間にわたって取得し、連携処理装置２に送信する。

【0046】

Ｓ１０３：連携処理装置２の人物検知部２５では、受信した距離データから人物を検知する。人物検知では、画像認識技術により人物の頭部の位置を検出する。また、付随情報として、検出した人物の時刻、身長、点群量（人物領域に含まれる画素数）などを取得し保持する。複数の人物が検出されれば、それぞれの人物について位置情報や付随情報を取得する。
Ｓ１０４：さらに人物検知部２５では、検出した人物（動線データ）についてその信頼度を評価する。これは、キャリブレーション処理に用いる上で最も確度の高いデータを抽出するための評価であって、センサからの距離が近い人物、点群量が多い人物、また検出方向が視野角の中央寄りであること、などを条件に評価する。

【0047】

Ｓ１０５：座標変換部２２は、各センサで検出された人物の位置データを共通の座標空間に変換する。座標変換では、Ｓ１０１で設定した設置パラメータを用いる。
Ｓ１０６：座標変換した人物データは十分であるか否かを判定する。すなわち、各センサで検出した人物の付随情報（時刻、身長）がセンサ間で互いに一致しているかどうかを判定する。データが十分であればＳ１０７へ進み、十分でなければＳ１０２に戻り、再度距離データを取得する。

【0048】

Ｓ１０７：画像合成部２３は、Ｓ１０５で座標変換された各センサからの人物の位置データを、時刻の同期をとって共通の座標空間に合成して表示部２４に描画する。すなわち、各センサにより取得された動線が表示される。検知した人物が複数あれば、複数組の動線が表示される。
Ｓ１０８：キャリブレーション部２６は、各センサで取得された動線の類似度を算出する。すなわち、動線の形状（パターン）が互いに類似している箇所を抽出する。そのため、時刻が対応する各センサからの動線部分を比較し、パターンマッチング法により動線の類似度を求める。

【0049】

Ｓ１０９：キャリブレーション部２６は、動線の類似度（対応関係）が高い部分について、動線が一致するように各センサの位置合わせ（移動、回転）を行う。すなわち、各センサの設置パラメータを、設置位置（ｘ’，ｙ’，ｚ’）と測定方向（方位角）（θｘ’，θｙ’，θｚ’）に修正する。ここでセンサが複数（３台以上）存在するときは、基準となるセンサを決め、これに対し他のセンサを１台ずつ位置合わせを行う、あるいは、修正済みのセンサに対し、他の未修正センサの位置合わせを順に行う。
Ｓ１１０：キャリブレーション結果は、座標変換部２２により再度動線位置を座標変換し、表示部２４に描画される。作業者は修正後の動線位置を見て十分かどうかを判定する。十分であればこれでキャリブレーション処理を終了し、不十分であればＳ１０７に戻り、位置合わせを繰り返し行う。

【0050】

上記のフローにおいて、Ｓ１０４の信頼度の評価と、Ｓ１０９のキャリブレーションの工程では、ユーザ調整部により、作業者が表示部２４に表示された動線を見ながら補助的に行うことも可能である。すなわち、Ｓ１０４では動線の信頼度を作業者が判定して信頼度の高い動線を選択することで、以後のキャリブレーション処理の効率を向上させることができる。また、Ｓ１０９のキャリブレーション工程では、作業者が設置パラメータを手動で微調整し、キャリブレーション処理の精度をより向上させることができる。

【0051】

以上のように本実施例における測距センサのキャリブレーションでは、測定空間を移動する人物の軌跡データ（動線データ）を各測距センサにて取得し、各測距センサで取得した軌跡データが共通の座標系で一致するように各センサ間の位置合わせ（設置位置情報の修正）を行う。これによりキャリブレーション作業のために作業者がマーカ（反射テープ）を設置する負荷が軽減し、測定環境によらず、容易にキャリブレーションを実施できる。

【符号の説明】

【0052】

１，１ａ，１ｂ：測距センサ（ＴＯＦセンサ）、
２：連携処理装置、
３：ネットワーク、
４：床面、
８：反射テープ、
９：対象物（人物）、
９ａ，９ｂ、９１～９４：動線、
１１：発光部、
１２：受光部、
１３：発光制御部、
１４：距離計算部、
２１：データ入力部、
２２：座標変換部、
２３：画像合成部、
２４：表示部、
２５：人物検知部、
２６：キャリブレーション部。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】