特開 2023-111275 物体認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023111275

(43)【公開日】2023-08-10

(54)【発明の名称】物体認識システム

(51)【国際特許分類】

   G01S 17/89 20200101AFI20230803BHJP

   G01C 3/06 20060101ALI20230803BHJP

   G01S 17/87 20200101ALI20230803BHJP

【ＦＩ】

G01S17/89

G01C3/06 120Q

G01C3/06 140

G01S17/87

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022013054

(22)【出願日】2022-01-31

(71)【出願人】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】森本 宜樹

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112AD01

2F112BA03

2F112CA12

2F112DA09

2F112DA15

2F112DA21

2F112DA24

2F112EA05

2F112FA03

2F112FA21

2F112FA35

2F112FA45

2F112GA01

5J084AA04

5J084AA05

5J084AA10

5J084AA14

5J084AB17

5J084AC10

5J084AD01

5J084BA20

5J084BA50

5J084BB28

5J084CA31

5J084CA65

5J084EA07

5J084EA40

(57)【要約】

【課題】外部から情報を受けることなく、各三次元センサ間の相対位置関係を特定可能な構成を提供する。
【解決手段】認識装置２０の制御部２１にてなされる相対位置特定処理において、三次元センサ（１０ａ，１０ｂ）の位置を基準に当該三次元センサにて取得された点群データが基準平面に投影されるようにして俯瞰画像（Ｐａ，Ｐｂ）が生成され、複数の三次元センサごとに生成された複数の俯瞰画像に共通して含まれる物体の点群データからなる共通形状（Ｒａ，Ｒｂ）が抽出され、その共通形状が一致するように複数の俯瞰画像を移動及び回転させて位置合わせした結果に基づいて、複数の三次元センサの相対位置関係が特定される。
【選択図】図８

【特許請求の範囲】

【請求項1】

所定の計測範囲内にある物体の三次元形状の計測結果として点群データをそれぞれ取得する複数の三次元センサと、
前記複数の三次元センサにてそれぞれ取得される前記点群データを利用して前記物体を認識可能な認識部と、
を備える物体認識システムであって、
前記認識部は、
前記三次元センサの位置を基準に当該三次元センサにて取得された前記点群データの少なくとも一部が鉛直方向に直交する平面に投影されるようにして俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像生成部により前記複数の三次元センサごとに生成された複数の前記俯瞰画像に共通して含まれる物体の点群データからなる共通形状を抽出する抽出部と、
前記共通形状が一致するように複数の前記俯瞰画像を移動及び回転させて位置合わせした結果に基づいて、前記複数の三次元センサの相対位置関係を特定する相対位置特定部と、
を備えることを特徴とする物体認識システム。

【請求項2】

前記俯瞰画像生成部は、前記三次元センサにて取得された前記点群データのうち以前の計測結果を利用して移動が推定される物体の点群データを除いて前記俯瞰画像を生成することを特徴とする請求項１に記載の物体認識システム。

【請求項3】

前記俯瞰画像生成部は、前記三次元センサにて取得された前記点群データのうち前記所定の計測範囲における床面からの高さが所定値以下となる点群データを除いて前記俯瞰画像を生成することを特徴とする請求項１又は２に記載の物体認識システム。

【請求項4】

前記認識部は、
前記所定の計測範囲内に配置される各物体の配置図を予め取得する配置図取得部と、
前記配置図取得部により取得された前記配置図と前記三次元センサにて取得された前記点群データとを利用して当該三次元センサの前記所定の計測範囲内での位置を特定する絶対位置特定部と、
を備えることを特徴とする請求項１～３のいずれか一項に記載の物体認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元センサにて取得される点群データを利用して物体を認識する物体認識システムに関するものである。

【背景技術】

【0002】

従来、監視対象エリアを監視するシステム等では、その監視対象エリア内に配置される三次元センサにて取得される点群データを利用して、侵入者などの警戒すべき物体の有無を認識する。このように監視対象エリア内の物体の三次元形状を認識する三次元センサに関する技術として、例えば、下記特許文献１に開示されるレーザレーダ装置が知られている。このレーザレーダ装置は、投光部が投光したレーザ光を揺動ミラーにて外部に向けて偏向して照射する際に揺動ミラーによる偏向方向が上下方向及び左右方向に走査され、このレーザ光の照射に応じた外部反射光が揺動ミラーを介して受光部にて受光されることで、所定の計測範囲内にある物体の三次元形状の計測結果として点群データを取得するように構成されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７７２６６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、１つの三次元センサで監視できる範囲には限界があり、また柱などの障害物が存在する場合には監視できない死角となる範囲が発生してしまう。このため、複数の三次元センサを用いることで監視対象エリアの拡大および死角のカバーを行うことが考えられる。しかしながら、各三次元センサからの出力を利用して監視範囲内の物体を認識する認識処理等を行う認識部では、それぞれの三次元センサの出力を同じ座標系で取り扱えるように同期させる必要があり、このために各三次元センサ間の回転方向も含めた相対位置関係を正確に把握する必要がある。このため、ユーザが各三次元センサの設置時にそれらの相対位置関係に関する情報を認識部に入力操作することもできるが、ユーザにとって煩雑な作業になるだけでなく、誤った情報が入力されてしまうと認識処理等に支障をきたすという問題がある。

【0005】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、外部から情報を受けることなく、各三次元センサ間の相対位置関係を特定可能な構成を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
所定の計測範囲（Ｓ）内にある物体の三次元形状の計測結果として点群データをそれぞれ取得する複数の三次元センサ（１０ａ，１０ｂ，１０ｃ）と、
前記複数の三次元センサにてそれぞれ取得される前記点群データを利用して前記物体を認識可能な認識部（２０）と、
を備える物体認識システム（１）であって、
前記認識部は、
前記三次元センサの位置を基準に当該三次元センサにて取得された前記点群データの少なくとも一部が鉛直方向に直交する平面に投影されるようにして俯瞰画像（Ｐａ，Ｐｂ）を生成する俯瞰画像生成部（２１）と、
前記俯瞰画像生成部により前記複数の三次元センサごとに生成された複数の前記俯瞰画像に共通して含まれる物体の点群データからなる共通形状（Ｒａ，Ｒｂ）を抽出する抽出部（２１）と、
前記共通形状が一致するように複数の前記俯瞰画像を移動及び回転させて位置合わせした結果に基づいて、前記複数の三次元センサの相対位置関係を特定する相対位置特定部（２１）と、
を備えることを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0007】

請求項１の発明では、認識部において、三次元センサの位置を基準に当該三次元センサにて取得された点群データの少なくとも一部が鉛直方向に直交する平面（以下、基準平面ともいう）に投影されるようにして俯瞰画像が俯瞰画像生成部により生成され、複数の三次元センサごとに生成された複数の俯瞰画像に共通して含まれる物体の点群データからなる共通形状が抽出部により抽出され、その共通形状が一致するように複数の俯瞰画像を移動及び回転させて位置合わせした結果に基づいて、複数の三次元センサの相対位置関係が相対位置特定部により特定される。

【0008】

三次元センサの位置を基準に生成された複数の俯瞰画像を共通形状が一致するようにそれぞれ移動及び回転させて位置合わせすると、共通形状が含まれる上記基準平面上にて各三次元センサが点在する状態となる。例えば、第１の三次元センサの位置を基準とする俯瞰画像に対して共通形状が一致するように第２の三次元センサの位置を基準とする俯瞰画像を移動及び回転させて位置合わせすると、上記基準平面上に第１の三次元センサと第２の三次元センサとが実際の相対位置関係を反映するように点在する状態となる。このため、ユーザの入力操作による相対位置情報やＧＰＳ情報などの外部から情報を受けることなく、各三次元センサ間の相対位置関係を上述のように位置合わせした結果に基づいて特定することができる。

【0009】

請求項２の発明では、三次元センサにて取得された点群データのうち以前の計測結果を利用して移動が推定される物体の点群データを除いて俯瞰画像が俯瞰画像生成部により生成される。これにより、共通形状は、移動物体の点群データではなく静止物体の点群データから抽出されるので、位置合わせに適した点群データを抽出でき、各三次元センサ間の相対位置関係をより正確に特定することができる。また、データ取得ノイズによる影響を軽減できるだけでなく、情報量が限定されることで処理負荷を軽減することができる。

【0010】

請求項３の発明では、三次元センサにて取得された点群データのうち所定の計測範囲における床面からの高さが所定値以下となる点群データを除いて俯瞰画像が俯瞰画像生成部により生成される。これにより、共通形状は、比較的高さが低い物体（例えば、人や搬送物）の点群データではなく比較的高さが高い物体（例えば壁や柱）の点群データから抽出されるので、位置合わせに適した点群データを抽出でき、各三次元センサ間の相対位置関係をより正確に特定することができる。また、データ取得ノイズによる影響を軽減できるだけでなく、情報量が限定されることで処理負荷を軽減することができる。

【0011】

請求項４の発明では、認識部において、所定の計測範囲内に配置される各物体の配置図が配置図取得部により予め取得され、配置図取得部により取得された配置図と三次元センサにて取得された点群データとを利用して当該三次元センサの所定の計測範囲内での位置が絶対位置特定部により特定される。このように、三次元センサにて取得された点群データだけでなく所定の計測範囲内に配置される各物体の配置図をも利用することで、単にその三次元センサにて取得された点群データを利用する場合と比較して、三次元センサの所定の計測範囲内での位置をより正確に特定することができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る物体認識システムの概略構成を示すブロック図である。

【図2】監視対象エリア内に配置される２つの三次元センサの位置関係を概略的に説明する概略斜視図である。

【図3】図２の配置状態で取得される点群データのイメージを説明する説明図である。

【図4】第１実施形態において制御部にてなされる相対位置特定処理の流れを例示するフローチャートである。

【図5】図３の状態で三次元センサ１０ａの点群データから生成される俯瞰画像を説明する説明図である。

【図6】図３の状態で三次元センサ１０ｂの点群データから生成される俯瞰画像を説明する説明図である。

【図7】図５に示す俯瞰画像に対して図６に示す俯瞰画像を移動して共通形状のコーナーの位置を合わせた状態を説明する説明図である。

【図8】図７の状態から図６の俯瞰画像を回転させて位置合わせした状態を説明する説明図である。

【図9】監視対象エリアの一部に配置される各物体の配置図を説明する説明図である。

【図10】図９の配置図に対応するエリアを含むような監視対象エリア内に配置される三次元センサと各物体との位置関係を概略的に説明する概略斜視図である。

【図11】第２実施形態において制御部にてなされる絶対位置特定処理の流れを例示するフローチャートである。

【図12】図１０の状態で三次元センサの点群データから生成される俯瞰画像を説明する説明図である。

【図13】第１特徴形状と第２特徴形状との一致する度合いが高くなる位置候補が複数算出される場合を例示した説明図である。

【図14】図９の配置図から線分を除去するように補正した状態を例示する説明図である。

【発明を実施するための形態】

【0013】

［第１実施形態］
以下、本発明の物体認識システムを具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る物体認識システム１は、複数の三次元センサにてそれぞれ取得される点群データを利用して所定の計測範囲内にある物体を認識するシステムである。本実施形態では、物体認識システム１は、図１に示すように、上記所定の計測範囲に相当する監視対象エリアＳ内に配置される複数の三次元センサとして三次元センサ１０ａ，１０ｂと、両三次元センサ１０ａ，１０ｂにてそれぞれ取得される点群データを利用して監視対象エリアＳ内の物体を認識する認識部として機能する認識装置２０とを備え、監視対象エリアＳ内に侵入する侵入者等を検知可能に構成されている。

【0014】

三次元センサ１０ａは、投光部が投光した赤外線を揺動ミラーにて外部に向けて偏向して照射する際に揺動ミラーによる偏向方向が上下方向及び左右方向に走査され、この赤外線の照射に応じた外部反射光が揺動ミラーを介して受光部にて受光されることで、所定の計測範囲内にある物体の三次元形状の計測結果として点群データを取得するように構成されている。三次元センサ１０ｂも三次元センサ１０ａと同様に構成されており、その具体的な詳細構成は、例えば、特許第６７７２６６７号公報に開示されるレーザレーダ装置と同等とすることができる。

【0015】

このように構成される三次元センサ１０ａ及び三次元センサ１０ｂは、図２に示すように、監視対象エリアＳの全てを監視できるように所定の距離だけ離して、それぞれ監視対象エリアＳの天井等に設置される。三次元センサ１０ａ及び三次元センサ１０ｂは、取得した点群データをそれぞれ所定のタイミングにて認識装置２０に対して有線又は無線にて出力するように構成されている。

【0016】

認識装置２０は、例えば、パーソナルコンピュータ等であって、図１に示すように、ＣＰＵ等からなる制御部２１及び半導体メモリ等からなる記憶部２２に加えて、制御部２１によって表示内容が制御される表示部２３、入力操作に応じた操作信号を制御部２１に出力する操作部２４、監視サーバなどの外部機器と通信するための通信部２５などを備えている。

【0017】

認識装置２０は、三次元センサ１０ａ及び三次元センサ１０ｂからそれぞれ出力される点群データを利用して監視対象エリアＳ内の物体を認識する認識処理を行い、この認識処理中に侵入者等が検知されると、その検知結果等を通信部２５を介して監視サーバに送信する処理を行う。なお、図３では、図２の配置状態で三次元センサ１０ａ及び三次元センサ１０ｂからそれぞれ取得される点群データのイメージを例示している。

【0018】

上述したように、本実施形態では、１つの三次元センサではなく、複数の三次元センサ（三次元センサ１０ａ及び三次元センサ１０ｂ）を採用することで、監視対象エリアＳの拡大および死角のカバーを図っている。このように複数の三次元センサを採用する場合、それぞれの三次元センサの出力を同じ座標系で取り扱えるように同期させる必要があり、このためには、各三次元センサ間の回転方向も含めた相対位置関係を正確に把握する必要がある。

【0019】

そこで、本実施形態では、三次元センサ１０ａ及び三次元センサ１０ｂを監視対象エリアＳの天井等に設置した後に、認識装置２０の制御部２１にてなされる相対位置特定処理により、三次元センサ１０ａと三次元センサ１０ｂとの回転方向も含めた相対位置関係を特定する。このように特定された相対位置関係に関する情報（以下、相対位置関係情報ともいう）は、記憶部２２に記憶される。そして、その後に制御部２１にてなされる認識処理では、上述のように予め記憶部２２に記憶された相対位置関係情報を利用して両三次元センサ１０ａ，１０ｂにてそれぞれ取得される点群データを同じ座標系で取り扱えるように同期させ、このように同期させた点群データを利用して監視対象エリアＳ内の物体を認識するための処理を行う。

【0020】

以下、本実施形態において、認識装置２０の制御部２１にてなされる相対位置特定処理について、図４に示すフローチャート等を参照して具体的に説明する。
操作部２４に対する所定の操作等に応じて制御部２１にて相対位置特定処理が開始されると、まず、図４のステップＳ１０１に示す三次元座標情報変換処理がなされる。この処理では、まず、１番目の三次元センサである三次元センサ１０ａから取得した点群データが、当該三次元センサ１０ａの位置を原点（基準）とする三次元座標情報（ｘ，ｙ，ｚ）に変換される。

【0021】

次に、ステップＳ１０３に示す俯瞰画像生成処理がなされ、上述のように変換された三次元座標情報が、鉛直方向（ｚ軸）に直交する平面（基準平面）に投影されるようにして、俯瞰画像が生成される。図２のように配置される三次元センサ１０ａでは、例えば、図５に示すような俯瞰画像Ｐａが生成される。なお、上記俯瞰画像生成処理を行う制御部２１は、「俯瞰画像生成部」の一例に相当し得る。

【0022】

続いて、ステップＳ１０５に示す判定処理にて、全ての三次元センサについて俯瞰画像が生成されているか否かについて判定される。三次元センサ１０ｂについて俯瞰画像が生成されていないため（Ｓ１０５でＮｏ）、三次元センサ１０ｂについても、点群データが当該三次元センサ１０ｂの位置を原点とする三次元座標情報に変換され（Ｓ１０１）、このように変換された三次元座標情報が、鉛直方向に直交する平面（基準平面）に投影されるようにして、俯瞰画像が生成される（Ｓ１０３）。図２のように配置される三次元センサ１０ｂでは、例えば、図６に示すような俯瞰画像Ｐｂが生成される。

【0023】

上述のように全ての三次元センサについて俯瞰画像がそれぞれ生成されることで（Ｓ１０５でＹｅｓ）、ステップＳ１０７に示す共通形状抽出処理がなされる。この処理では、各俯瞰画像に共通して含まれる物体の点群データからなる共通形状が抽出される。上述のように俯瞰画像Ｐａ，Ｐｂが生成される場合には、図５及び図６に示す共通形状Ｒａ，Ｒｂが抽出される。なお、上記共通形状抽出処理を行う制御部２１は、「抽出部」の一例に相当し得る。

【0024】

続いて、ステップＳ１０９に示す位置合わせ処理がなされ、共通形状が一致するように複数の俯瞰画像を移動及び回転させて位置合わせするための処理がなされる。具体的には、例えば、図５の俯瞰画像Ｐａに対して上述のように抽出された共通形状Ｒａ，Ｒｂの認識容易な部位であるコーナーＲａｏ，Ｒｂｏの位置が一致するように図６の俯瞰画像Ｐｂを移動させて重ねる（図７参照）。さらに、コーナーＲａｏ，Ｒｂｏを中心に俯瞰画像Ｐａの共通形状Ｒａの面と俯瞰画像Ｐｂの共通形状Ｒｂの面とが重なるように俯瞰画像Ｐｂを回転させる（図８参照）。このように位置合わせした状態では、図８からわかるように、上記基準平面上に三次元センサ１０ａと三次元センサ１０ｂとが実際の相対位置関係を反映するように点在する状態となる。

【0025】

このため、上述のような点在状態から両三次元センサ１０ａ，１０ｂ間の回転方向も含めた相対位置関係を特定でき、ステップＳ１１１に示す相対位置関係情報記憶処理にて、上述のように特定された相対位置関係に関する相対位置関係情報が記憶部２２に記憶される。なお、上述のような点在状態から両三次元センサ１０ａ，１０ｂ間の回転方向も含めた相対位置関係を特定する処理を行う制御部２１は、「相対位置特定部」の一例に相当し得る。

【0026】

以上説明したように、本実施形態に係る物体認識システム１では、認識装置２０の制御部２１にてなされる相対位置特定処理において、三次元センサ（１０ａ，１０ｂ）の位置を基準に当該三次元センサにて取得された点群データが基準平面に投影されるようにして俯瞰画像（Ｐａ，Ｐｂ）が生成され、複数の三次元センサごとに生成された複数の俯瞰画像に共通して含まれる物体の点群データからなる共通形状（Ｒａ，Ｒｂ）が抽出され、その共通形状が一致するように複数の俯瞰画像を移動及び回転させて位置合わせした結果に基づいて、複数の三次元センサの相対位置関係が特定される。

【0027】

三次元センサ１０ａの位置を基準とする俯瞰画像Ｐａに対して共通形状Ｒａ，Ｒｂが一致するように三次元センサ１０ｂの位置を基準とする俯瞰画像Ｐｂを移動及び回転させて位置合わせすると、上記基準平面上に三次元センサ１０ａと三次元センサ１０ｂとが実際の相対位置関係を反映するように点在する状態となる。このため、ユーザの入力操作による相対位置情報やＧＰＳ情報などの外部から情報を受けることなく、各三次元センサ間の相対位置関係を上述のように位置合わせした結果に基づいて自動で特定することができる。

【0028】

なお、本実施形態の第１変形例として、上記俯瞰画像生成処理では、三次元センサにて取得された点群データのうち以前の計測結果を利用して移動が推定される物体の点群データを除いて俯瞰画像が生成されてもよい。具体的には、例えば、前回以前の計測結果との差分が所定値以下である点群データを静止物体の点群データ、前回以前の計測結果との差分が上記所定値を超える点群データを移動物体の点群データとして、移動物体の点群データ（移動が推定される物体の点群データ）を除いて静止物体の点群データのみで俯瞰画像を生成する。

【0029】

これにより、共通形状は、移動物体の点群データではなく静止物体の点群データから抽出されるので、位置合わせに適した点群データを抽出でき、各三次元センサ間の相対位置関係をより正確に特定することができる。また、データ取得ノイズによる影響を軽減できるだけでなく、情報量が限定されることで処理負荷を軽減することができる。

【0030】

また、本実施形態の第２変形例として、上記俯瞰画像生成処理では、三次元センサにて取得された点群データのうち監視対象エリア（所定の計測範囲）Ｓにおける床面からの高さが所定値以下となる点群データを除いて俯瞰画像が生成されてもよい。具体的には、例えば、上記所定値を２ｍに設定し、床面からの高さが２ｍ以下となる点群データを除いて、床面からの高さが２ｍを超える点群データのみで俯瞰画像を生成する。

【0031】

これにより、共通形状は、比較的高さが低い物体（例えば、人や搬送物）の点群データではなく比較的高さが高い物体（例えば壁や柱）の点群データから抽出されるので、位置合わせに適した点群データを抽出でき、各三次元センサ間の相対位置関係をより正確に特定することができる。また、データ取得ノイズによる影響を軽減できるだけでなく、情報量が限定されることで処理負荷を軽減することができる。

【0032】

なお、上記俯瞰画像生成処理では、三次元センサの位置を基準に当該三次元センサにて取得された全ての点群データが上記基準平面に投影されるようにして俯瞰画像が生成されることに限らず、三次元センサの位置を基準に当該三次元センサにて取得された点群データの一部（例えば、三次元センサから所定距離範囲内にある点群データ）が上記基準平面に投影されるようにして俯瞰画像が生成されてもよい。

【0033】

［第２実施形態］
次に、本発明の第２実施形態に係る物体認識システムについて、図面を参照して説明する。
本第２実施形態では、予め取得される配置図を利用して三次元センサの位置を特定する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0034】

監視対象エリアにおける三次元センサの天井等への設置位置を決める際、地図や実際の配置物を参考にすることがあるが、周囲に明確な目印がない場合（例えば、特徴的形状の配置物が少ない場合）などでは、監視対象エリアに対する三次元センサの設置位置を精度よく定めることが困難になる。このため、三次元センサの設置者と異なるシステム管理者等が、監視対象エリアのどの位置にどの回転角度（検出角度）で三次元センサが配置されているかを推定して登録すると、その設置位置や設置角度のずれのために計測誤差が生じてしまう可能性がある。

【0035】

そこで、本実施形態に係る物体認識システム１では、監視対象エリア（所定の計測範囲）Ｓ内に配置される少なくとも一部の物体の配置図Ｍが予め取得されて記憶部２２に記憶されることを前提に、認識装置２０の制御部２１にて、記憶部２２に予め記憶される配置図Ｍと三次元センサにて取得された点群データとを利用して当該三次元センサの監視対象エリアＳ内での位置を特定する絶対位置特定処理を行う。このように、各三次元センサについてそれぞれ監視対象エリアＳ内での位置を正確に特定することで、上記第１実施形態における相対位置特定処理にて取得される点群データの精度を高めることもできる。なお、本実施形態では、各物体の配置図Ｍは、例えば、図９に例示するような建築図面（俯瞰画像と同じ視点で作成される平面図）であり、単なる線分が集まってなり、制御部２１にてなされる配置図取得処理により通信部２５を介して監視サーバから取得されて、記憶部２２に記憶される。このように配置図取得処理を行う制御部２１及び通信部２５は、「配置図取得部」の一例に相当し得る。また、上記絶対位置特定処理を行う制御部２１は、「絶対位置特定部」の一例に相当し得る。

【0036】

以下、図９の配置図Ｍに対応するエリアを含むような監視対象エリアＳ内にて図１０に例示するように１つの三次元センサ１０ｃが設置される場合に、認識装置２０の制御部２１にてなされる絶対位置特定処理について、図１１に示すフローチャート等を参照して具体的に説明する。

【0037】

操作部２４に対する所定の操作等に応じて制御部２１にて絶対位置特定処理が開始されると、まず、図１１のステップＳ２０１に示す三次元座標情報変換処理がなされる。この処理では、上述したステップＳ１０１に示す三次元座標情報変換処理と同様に、絶対位置を特定すべき三次元センサである三次元センサ１０ｃから取得した点群データが、当該三次元センサ１０ｃの位置を原点（基準）とする三次元座標情報（ｘ，ｙ，ｚ）に変換される。

【0038】

次に、ステップＳ２０３に示す俯瞰画像生成処理がなされ、上述したステップＳ１０３に示す俯瞰画像生成処理と同様に、上述のように変換された三次元座標情報が、鉛直方向（ｚ軸）に直交する平面（基準平面）に投影されるようにして、俯瞰画像が生成される。図１０のように配置される三次元センサ１０ｃでは、例えば、図１２に示すような俯瞰画像Ｐｃが生成される。

【0039】

続いて、ステップＳ２０５に示す第１特徴形状抽出処理がなされる。この処理では、上述のように生成される俯瞰画像において認識容易な特徴形状（例えば、ほぼ９０°のコーナーを有する形状）が第１特徴形状として抽出される。上述のように俯瞰画像Ｐｃが生成される場合には、例えば、図１２に示す特徴形状Ｒ１が第１特徴形状として抽出される。

【0040】

次に、ステップＳ２０７に示す第２特徴形状抽出処理がなされる。この処理では、記憶部２２に予め記憶される配置図Ｍにおいて認識容易な特徴形状が第２特徴形状として抽出される。図９に例示するような配置図Ｍが記憶されている場合には、例えば、図９に示す特徴形状Ｒ２が第２特徴形状として抽出される。なお、第２特徴形状は、配置図Ｍから都度抽出されることに限らず、配置図Ｍが取得される際に予め抽出されて記憶部２２に記憶されてもよい。

【0041】

続いて、ステップＳ２０９に示すセンサ位置候補算出処理がなされる。この処理では、三次元センサ１０ｃの位置基準の俯瞰画像Ｐｃから抽出された第１特徴形状（特徴形状Ｒ１）と三次元センサ１０ｃの位置が考慮されていない配置図Ｍから抽出された第２特徴形状（特徴形状Ｒ２）とを元にマッチング処理がなされて、マッチング率が高くなる（両形状が一致する度合いが高くなる）三次元センサ１０ｃの配置図Ｍ上での拡大・縮小率及び回転方向を含めた位置候補が算出される。なお、上記マッチング率は、例えば、特徴形状に関して、一致しているとみなされる点データ数（センサ特徴マッチ数）を総点データ数（センサ特徴数）で除算した値に相当するものとして算出することができる。

【0042】

そして、位置候補が１つ算出される場合には（Ｓ２１１でＹｅｓ）、ステップＳ２１７に示す絶対位置情報記憶処理がなされる。この処理では、その位置候補に三次元センサが位置しているとして、配置図Ｍ中での位置候補の位置と監視対象エリアＳにて配置図Ｍが占める範囲との関係から求められる監視対象エリアＳ内での回転方向も含めた位置候補に関する情報が、三次元センサの監視対象エリアＳ内での位置に関する情報（絶対位置情報）として記憶部２２に記憶される。

【0043】

一方、マッチング率が高くなる三次元センサ１０ｃの配置図Ｍ上での位置候補が複数算出される場合、例えば、図１３に例示するように３つの位置候補Ｃ１～Ｃ３のうち２つの位置候補Ｃ１，Ｃ２がマッチング率１００％近くで算出される場合がある。配置図Ｍにおいて認識容易な特徴形状を抽出する場合、単に、線分で形状を判断して壁の厚み等を考慮しないと、図１３に例示するように複数の位置候補が算出されてしまうからである。なお、図１３では、説明の便宜上、各位置候補Ｃ１～Ｃ３をそれぞれ僅かにずらして図示している。

【0044】

このため、上述のように位置候補が複数算出される場合には（Ｓ２１１でＮｏ）、ステップＳ２１３に示す第２特徴形状補正処理がなされる。この処理では、配置図Ｍ上での三次元センサ１０ｃの概略位置は把握できているので、上述のように抽出された第２特徴形状のうち三次元センサ１０ｃの概略位置に対して奥側となる線分を除去するように配置図Ｍが補正され、この補正された配置図Ｍｃにおいて認識容易な特徴形状が新たに第２特徴形状Ｒ２ｃとして抽出される。例えば、図９に例示するような配置図Ｍが図１４に例示する配置図Ｍｃのように補正される。これにより、三次元センサ１０ｃから認識できない線分を配置図から除去することができる。

【0045】

上述のようにして配置図が補正されると、ステップＳ２１５に示すセンサ位置候補算出処理がなされて、俯瞰画像Ｐｃから抽出された第１特徴形状Ｒ１と補正された配置図Ｍｃから抽出された第２特徴形状Ｒ２ｃとを元にマッチング処理がなされる。これにより、マッチング率が高くなる三次元センサ１０ｃの配置図Ｍｃ上での回転方向も含めた位置候補が１つ算出され、この位置候補に関する情報が絶対位置情報として記憶部２２に記憶される（Ｓ２１７）。

【0046】

以上説明したように、本実施形態に係る物体認識システム１では、認識装置２０において、監視対象エリアＳ内に配置される各物体の配置図Ｍが予め取得され、このように取得された配置図Ｍと三次元センサにて取得された点群データとを利用して当該三次元センサの監視対象エリアＳ内での位置が制御部２１にてなされる絶対位置特定処理により特定される。このように、三次元センサにて取得された点群データだけでなく監視対象エリアＳに配置される各物体の配置図Ｍをも利用することで、単にその三次元センサにて取得された点群データを利用する場合と比較して、三次元センサの監視対象エリアＳ内での位置をより正確に特定することができる。

【0047】

なお、本発明は上記各実施形態等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）三次元センサ１０ａ～１０ｃは、監視対象エリア（所定の計測範囲）Ｓの天井等に設置されることに限らず、例えば、支柱の上部に取り付けられることで天井付近に設置されてもよい。

【0048】

（２）上記第１実施形態等では、複数の三次元センサとして２つの三次元センサ１０ａ及び三次元センサ１０ｂが採用されることに限らず、３つ以上の三次元センサが採用されて、それぞれの俯瞰画像を位置合わせするようにして各三次元センサ間の回転方向も含めた相対位置関係を特定してもよい。

【符号の説明】

【0049】

１…物体認識システム
１０ａ，１０ｂ，１０ｃ…三次元センサ
２０…認識装置（認識部）
２１…制御部（俯瞰画像生成部，抽出部，相対位置特定部，配置図取得部，絶対位置特定部）
Ｍ，Ｍｃ…配置図
Ｒａ，Ｒｂ…共通形状
Ｓ…監視対象エリア（所定の計測範囲）
Ｐａ，Ｐｂ，Ｐｃ…俯瞰画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】