特開 2025-130185 三次元位置特定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025130185

(43)【公開日】2025-09-08

(54)【発明の名称】三次元位置特定装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20250901BHJP

【ＦＩ】

G06T7/70 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2024027189

(22)【出願日】2024-02-27

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和５年度、総務省、「アクティブ空間無線リソース制御技術に関する研究開発委託契約（７４）代理人」に基づく産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】500327636

【氏名又は名称】株式会社ブレインズ

(74)【代理人】

【識別番号】100098729

【弁理士】

【氏名又は名称】重信 和男

(74)【代理人】

【識別番号】100204467

【弁理士】

【氏名又は名称】石川 好文

(74)【代理人】

【識別番号】100148161

【弁理士】

【氏名又は名称】秋庭 英樹

(74)【代理人】

【識別番号】100195833

【弁理士】

【氏名又は名称】林 道広

(74)【代理人】

【識別番号】100206656

【弁理士】

【氏名又は名称】林 修身

(72)【発明者】

【氏名】堀内 岳人

(72)【発明者】

【氏名】井深 真治

(72)【発明者】

【氏名】肥後 明豪

(72)【発明者】

【氏名】武田 和夫

(72)【発明者】

【氏名】梅津 和眞

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096CA02

5L096CA18

5L096DA02

5L096FA32

5L096FA60

5L096FA69

5L096GA34

5L096HA11

5L096KA04

(57)【要約】

【課題】距離画像用センサを用いて特定される三次元位置の精度を高めること。
【解決手段】二次元イメージセンサと、距離画像用センサと、二次元画像から物体を認識する物体認識手段と、認識された物体の領域に含まれる点群を抽出する点群抽出手段と、抽出された点群に対応するデータを用いて三次元位置を特定する三次元位置特定手段と、特定された物体の三次元位置情報を出力する三次元位置情報出力手段と、を備え、認識された各物体に固有に付与された物体特定情報に対応付けて、抽出された点群に対応するデータを、所定期間に亘って記憶を保持可能なリングバッファに順次書き込む。
【選択図】図６

【特許請求の範囲】

【請求項1】

特定空間の二次元画像を撮像可能な二次元イメージセンサと、
距離が特定された複数の点群を含む前記特定空間の三次元点群距離画像を生成可能な距離画像用センサと、
前記二次元イメージセンサにて撮像された二次元画像から、物体を認識する物体認識手段と、
前記距離画像用センサによって生成された三次元点群距離画像に含まれる点群の中から、前記物体認識手段にて認識された物体の領域に含まれる点群を抽出する点群抽出手段と、
前記点群抽出手段にて抽出された点群に対応するデータを用いて該物体の三次元位置を特定する三次元位置特定手段と、
前記三次元位置特定手段にて特定された物体の三次元位置情報を出力する三次元位置情報出力手段と、
を備える三次元位置特定装置であって、
前記物体認識手段にて認識された各物体に固有に付与された物体特定情報に対応付けて、当該物体の領域に含まれる点群として前記点群抽出手段によって抽出された点群に対応するデータを、所定期間に亘って記憶を保持可能なリングバッファに順次書き込む、
ことを特徴とする三次元位置特定装置。

【請求項2】

前記物体認識手段は、物体の種別を特定可能であって、
前記点群抽出手段によって抽出された点群に対応するデータを、前記物体認識手段にて認識された各物体の種別に対応した異なる記憶容量のリングバッファに順次書き込む、
ことを特徴とする請求項１に記載の三次元位置特定装置。

【請求項3】

前記特定空間におけるオクルージョンの発生を判定するオクルージョン判定手段を備え、
前記三次元位置特定手段は、前記オクルージョン判定手段によってオクルージョンの発生が判定されたときには、該発生時における点群に対応するデータに加えて発生前の期間において前記リングバッファに記憶されている点群に対応するデータを用いて三次元位置を特定する、
ことを特徴とする請求項１または２に記載の三次元位置特定装置。

【請求項4】

前記リングバッファの記憶状況にもとづいて前記三次元位置特定手段にて特定された位置の信頼度情報を生成可能な信頼度情報生成手段を備え、
前記三次元位置情報出力手段は、前記信頼度情報生成手段にて生成された信頼度情報を付加した前記三次元位置情報を出力する
ことを特徴とする請求項１または２に記載の三次元位置特定装置。

【請求項5】

前記物体が、無線通信が可能な無線通信端末であって、
前記三次元位置情報出力手段は、前記特定空間における電波伝搬を制御する電波伝搬制御手段に対して前記無線通信端末の三次元位置情報を出力する、
ことを特徴とする請求項１に記載の三次元位置特定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の三次元位置を特定するための三次元位置特定装置に関する。

【背景技術】

【0002】

従来、ネットワークカメラを用いて交差点や踏切、工場内などの特定空間をモニタリングする監視システムにおいて、特定空間内に存在する物体の位置を特定するために、距離画像用センサであるＬｉＤＡＲを使用することが開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１２４４９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、引用文献１に開示されている距離画像用センサであるＬｉＤＡＲは、レーザー光を放射して該レーザー光の反射を利用して反射点（点群）の距離を特定するものであるため、レーザー光の放射方向を高速で順次変更して特定領域をスキャンする必要があり、特定領域全体をスキャンするには、ある程度の時間を要するとともに、距離が特定される反射点（点群）が、２次元画像に比較して粗いものとなるため、スキャンの状況によっては、物体の範囲に含まれる反射点（点群）が極端に少なくなってしまう場合があり、このように物体の範囲に含まれる反射点（点群）が極端に少ないと、これら反射点（点群）の距離によって特定される物体の三次元位置の精度が非常に低いものとなってしまうという問題があった。

【0005】

本発明は、このような問題点に着目してなされたもので、距離画像用センサを用いて特定される三次元位置の精度を高めることのできる三次元位置特定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１の三次元位置特定装置は、
特定空間の二次元画像を撮像可能な二次元イメージセンサと、
距離が特定された複数の点群を含む前記特定空間の三次元点群距離画像を生成可能な距離画像用センサと、
前記二次元イメージセンサにて撮像された二次元画像から、物体を認識する物体認識手段と、
前記距離画像用センサによって生成された三次元点群距離画像に含まれる点群の中から、前記物体認識手段にて認識された物体の領域に含まれる点群を抽出する点群抽出手段と、
前記点群抽出手段にて抽出された点群に対応するデータを用いて該物体の三次元位置を特定する三次元位置特定手段と、
前記三次元位置特定手段にて特定された物体の三次元位置情報を出力する三次元位置情報出力手段と、
を備える三次元位置特定装置であって、
前記物体認識手段にて認識された各物体に固有に付与された物体特定情報に対応付けて、当該物体の領域に含まれる点群として前記点群抽出手段によって抽出された点群に対応するデータを、所定期間に亘って記憶を保持可能なリングバッファに順次書き込む、
ことを特徴としている。
この特徴によれば、所定期間において抽出された個々の物体の領域に含まれる点群のデータがリングバッファに順次書き込みされることで、より多くの点群がリングバッファに保持されるようになるので、特定される三次元位置の精度を高めることができるともに、データの消去の必要がないリングバッファを使用することで、これら精度を高めるための処理負荷が増大してしまうことも防ぐことができる。

【0007】

請求項２の三次元位置特定装置は、請求項１に記載の三次元位置特定装置であって、
前記物体認識手段は、物体の種別を特定可能であって、
前記点群抽出手段によって抽出された点群に対応するデータを、前記物体認識手段にて認識された各物体の種別に対応した異なる記憶容量のリングバッファに順次書き込む、
ことを特徴としている。
この特徴によれば、リングバッファの記憶容量が無駄に大きくなってしまうことを防ぐことができる。

【0008】

請求項３の三次元位置特定装置は、請求項１または２に記載の三次元位置特定装置であって、
前記特定空間におけるオクルージョンの発生を判定するオクルージョン判定手段を備え、
前記三次元位置特定手段は、前記オクルージョン判定手段によってオクルージョンの発生が判定されたときには、該発生時における点群に対応するデータに加えて発生前の期間において前記リングバッファに記憶されている点群に対応するデータを用いて三次元位置を特定する、
ことを特徴としている。
この特徴によれば、オクルージョンによって三次元位置の精度が著しく低下してしまうことを防ぐことができる。

【0009】

請求項４の三次元位置特定装置は、請求項１または２に記載の三次元位置特定装置であって、
前記リングバッファの記憶状況にもとづいて前記三次元位置特定手段にて特定された位置の信頼度情報を生成可能な信頼度情報生成手段を備え、
前記三次元位置情報出力手段は、前記信頼度情報生成手段にて生成された信頼度情報を付加した前記三次元位置情報を出力する
ことを特徴としている。
この特徴によれば、複数の三次元位置特定装置を使用したシステムにおいて、信頼度情報を比較することで、より精度の高い三次元位置情報を特定できる。

【0010】

請求項５の三次元位置特定装置は、請求項１に記載の三次元位置特定装置であって、
前記物体が、無線通信が可能な無線通信端末であって、
前記三次元位置情報出力手段は、前記特定空間における電波伝搬を制御する電波伝搬制御手段に対して前記無線通信端末の三次元位置情報を出力する、
ことを特徴としている。
この特徴によれば、電波伝搬制御手段に対して高精度の三次元位置情報を出力できることで、特定空間における電波伝搬を高精度に制御できる。

【0011】

尚、本発明は、本発明の請求項に記載された発明特定事項のみを有するものであって良いし、本発明の請求項に記載された発明特定事項とともに該発明特定事項以外の構成を有するものであっても良い。

【図面の簡単な説明】

【0012】

【図1】本発明の実施例としての三次元位置特定装置が適用された特定空間の一例である部屋を示す平面図である。

【図2】実施例の三次元位置特定装置を有する電波伝搬制御システムの構成を示すブロック図である。

【図3】実施例の三次元位置特定装置の構成を示すブロック図である。

【図4】実施例の三次元位置特定装置におけるＲＡＭの構成を示す説明図である。

【図5】実施例の三次元位置特定装置におけるリングバッファと物体種別との関係を示す図である。

【図6】実施例の三次元位置特定装置における処理の流れを示すフロー図である。

【図7】実施例の三次元位置特定装置における画像・点群データ統合処理の処理内容を示すフロー図である。

【図8】実施例の三次元位置特定装置に用いたＬｉＤＡＲによる点群の状況例を示す説明図である。

【図9】実施例の三次元位置特定装置に用いたＬｉＤＡＲによる点群と物体との関係を示す説明図である。

【発明を実施するための形態】

【0013】

本発明の三次元位置特定装置を実施するための形態を実施例に基づいて以下に説明する。尚、以下の実施例では、三次元位置特定装置を電波伝搬制御システムに適用した形態を例示しているが、本発明はこれに限定されるものではなく、電波伝搬制御システム以外のシステム等に適用できることは言うまでもない。

【実施例0014】

図１は、本発明の三次元位置特定装置を含む電波伝搬制御システムが適用された特定空間である部屋Ｒを示す図であり、図２は、本発明の三次元位置特定装置を含む電波伝搬制御システムの構成を示すブロック図である。

【0015】

図１に示すように、本実施例の特定空間である部屋Ｒは方形状とされているとともに、部屋Ｒ内に入室するためのドアが設けられている。

【0016】

部屋Ｒには、図１に示すように、電波の発信源となる無線ＬＡＮ（Ｗｉ－Ｆｉ）端末であるノートパソコン（ｎｏｔｅＰＣ）やスマートフォン等を載置可能な机Ｄ１、Ｄ２が配置されており、机Ｄ１、Ｄ２において作業や休息等を行うことができるようになっている。

【0017】

尚、部屋Ｒ内には、図示しない椅子等が配置されているともに、所定位置には、プリンタ等の事務用機器等も配置されている。

【0018】

部屋Ｒには、図１に示すように、部屋Ｒの対角となる隅部位置の壁面に、無線ＬＡＮ（Ｗｉ－Ｆｉ）のアクセスポイント端末（ＡＰ）１１、１２が配置されている。

【0019】

アクセスポイント端末（ＡＰ）１１、１２は、公知の無線ＬＡＮ（Ｗｉ－Ｆｉ）のアクセスポイント端末と同様に、２．４ＧＨｚ帯や５ＧＨｚ帯の電波を使用して、無線ＬＡＮ端末と双方向の無線通信を行うことができるものであって、特には、無線ＬＡＮ端末とのセッション状況（通信状況）のデータを後述する伝搬経路制御装置３に送信する機能や、該伝搬経路制御装置３からの指示によって指定された三次元位置に向けて指定された周波数（チャンネル）の電波を集中させる三次元ビームフォーミングの機能を有している。

【0020】

尚、これら三次元ビームフォーミングとしては、公知の方法、例えば、５Ｇの携帯電話にて使用が検討されている平面アンテナアレイによる三次元ビームフォーミングの技術を使用することができる。

【0021】

また、アクセスポイント端末ＡＰ１、ＡＰ２は、ＬＡＮケーブルとルータ機能を有するスイッチングＨＵＢとを介して外部ネットワークであるインターネットに接続されており、部屋Ｒ内部に存在する無線ＬＡＮ（Ｗｉ－Ｆｉ）端末は、アクセスポイント端末ＡＰ１、ＡＰ２、スイッチングＨＵＢを通じてインターネットに接続できるようになっている。

【0022】

部屋Ｒの出入口であるドアの反対となる隅部の天井付近の壁面には、図１に示すように、
二次元画像（ＲＧＢ画像ともいう）を撮像可能なＲＧＢカメラ（二次元イメージセンサ）１１とレーザー光を放射して該放射レーザー光を反射した点までの距離を計測可能なアクティブ距離センサであるレーザースキャナ（ＬｉＤＡＲ）１２とを有するセンサユニット１（図２参照）が、部屋Ｒ内部を見渡せることができるように設けられている。

【0023】

また、センサユニット１の近傍の壁面には、センサユニット１に接続された箱状の筐体を有する処理装置２と、部屋Ｒ内における電波の伝搬経路を制御してデータ通信環境を向上させるための伝搬経路制御装置３とが設けられており、処理装置２と伝搬経路制御装置３とは、双方向のデータ通信可能に接続されている。

【0024】

尚、本発明の三次元位置特定装置は、センサユニット１と処理装置２から構成される。

【0025】

処理装置２は、ハードウエアとしては、比較的処理能力に優れているとともに故障等が発生し難い高信頼度のものであって、ＬＡＮの通信ＩＦ等を有する公知の産業用ＰＣ（パーソナルコンピュータ）を好適に使用することができ、これら産業用ＰＣに、当該処理装置２に必要とされる機能を付与するための各種プログラムをインストールしたものを使用しているが、本発明はこれに限定されるものではなく、これら処理装置２としては、後述する処理装置２の各機能を提供できるものであれば、どのようなコンピュータであってもよい。

【0026】

具体的には、本実施例の処理装置２は、図３に示すように、データバス２０に、物体検知や検知した物体の三次元位置特定等の各種処理を演算にて行う中央演算処理回路（ＣＰＵ）２１、深層学習ニューラルネットワーク（ＤＮＮ）に関する演算処理を主に行う画像演算処理回路（ＧＰＵ）２８と、中央演算処理回路（ＣＰＵ）２１や画像演算処理回路（ＧＰＵ）２８が処理においてワークメモリ等として使用されるランダムアクセスメモリ（ＲＡＭ）２２、中央演算処理回路（ＣＰＵ）２１や画像演算処理回路（ＧＰＵ）２８が実行する各種処理の処理プログラムや初期設定に係わる各種パラメータ等が記憶されたフラッシュメモリ（Ｆ－ＭＥＭ）２３、時間情報の出力やシステム時刻を生成するリアルタイムクロック（ＲＴＣ）２６、レーザースキャナ（ＬｉＤＡＲ）１２との各データの入出力を行うレーザースキャナインターフェイス（Ｉ／Ｆ）２４、ＲＧＢカメラ１１との各データの入出力を行うカメラインターフェイス（Ｉ／Ｆ）２５、伝搬経路制御装置３とのデータ通信を行うための通信インターフェイス（Ｉ／Ｆ）２７が接続された比較的小型のコンピュータとされている。

【0027】

レーザースキャナインターフェイス（Ｉ／Ｆ）２４は、レーザースキャナ（ＬｉＤＡＲ）１２から出力されてくる点群データ（距離画像データともいう）を受け取って、データバス２０を介して中央演算処理回路（ＣＰＵ）２１に転送する機能を有している。また、カメラインターフェイス（Ｉ／Ｆ）２５は、ＲＧＢカメラ１１から出力されてくる二次元画像データを受け取って、データバス２０を介して中央演算処理回路（ＣＰＵ）２１に転送する機能を有している。

【0028】

尚、上記したレーザースキャナインターフェイス（Ｉ／Ｆ）２４やカメラインターフェイス（Ｉ／Ｆ）２５としては、具体的には、コンピュータにおいて周辺機器とのインターフェイス（Ｉ／Ｆ）として使用されている公知のＵＳＢインターフェイス（Ｉ／Ｆ）を好適に使用することができる。

【0029】

ＲＧＢカメラ１１は、通常の動画のフレームレートである３０ＦＰＳ（１秒間に３０フレーム）以上のフレームレート速度で二次元画像を撮像してカラー画像データを出力可能なものであって、公知の動画撮像が可能なＣＣＤカメラ等を使用することができる。

【0030】

また、レーザースキャナ（ＬｉＤＡＲ）１２も、公知のレーザースキャナ（ＬｉＤＡＲ）を使用することができるが、比較的高速なスキャンが可能なものを使用することが好ましい。

【0031】

また、処理装置２の近傍位置には、該処理装置２と通信接続されている伝搬経路制御装置３が配置されている。伝搬経路制御装置３には、アクセスポイント端末ＡＰ１、ＡＰ２が有線ＬＡＮにて接続されており、これらアクセスポイント端末ＡＰ１、ＡＰ２の三次元ビームフォーミング制御等を実行可能とされていることによって、伝搬経路制御装置３が、特定空間である部屋Ｒの電波伝搬をアクティブコントロールする。

【0032】

尚、伝搬経路制御装置３は、処理装置２と同様に、ハードウエアとしては、比較的処理能力に優れているとともに故障等が発生し難い高信頼度のものであって、ＬＡＮの通信ＩＦ等を有する公知の産業用ＰＣ等のコンピュータを好適に使用することができる。

【0033】

伝搬経路制御装置３には、図２に示すような各種の機能を付与するためのモジュールプログラム、並びにこれらのモジュールプログラムが使用する各種データが記憶されている。具体的には、伝搬経路制御装置３のオペレーションシステム（ＯＳ）にて動作可能なモジュールプログラムとして、アクセスポイント端末ＡＰ１、ＡＰ２と部屋Ｒ内の無線ＬＡＮ端末との伝搬経路を計算する伝搬経路計算モジュールプログラムと、伝搬経路計算モジュールプログラムにて計算された伝搬経路に対して最適化された三次元ビームフォーミングの方向制御を行うためのＡＰ制御モジュールプログラムとが記憶されている。尚、図２中で、方形状の太い破線がモジュールプログラムを示しており、円柱状の細い破線がデータを示している。

【0034】

また、これらのモジュールプログラムが使用するデータとしては、アクセスポイント端末ＡＰ１、ＡＰ２の部屋Ｒ内おける三次元位置座標、各アクセスポイント端末ＡＰ１、ＡＰ２が通信している部屋Ｒ内の無線ＬＡＮ端末のローカルＩＰアドレス、ＭＡＣアドレス、送受信に使用される各電波周波数（チェンネル）、通信レベル等の情報を含むセッション情報が記憶されている通信状況データベース（ＤＢ）、処理装置２において位置特定された部屋Ｒ内の無線ＬＡＮ端末である物体の三次元位置や該無線ＬＡＮ端末から発信される電波周波数の情報が逐次更新される端末データベース、端末ＤＢにおいて使用される端末ＩＤと通信状況データベースにおける端末識別情報となるＭＡＣアドレスとの対応関係が記憶される端末対応付テーブルデータ等が記憶されている。

【0035】

また、処理装置２には、図２に示すような各種の機能を付与するためのモジュールプログラム、並びにこれらのモジュールプログラムが使用する各種データが記憶されている。

【0036】

処理装置２のオペレーションシステム（ＯＳ）にて動作可能なモジュールプログラムとしては、図２に示すように、ＲＧＢカメラ１１から送信されてくる画像データを、行列式等からなる映像処理データを用いた計算により補正等を行うための映像処理モジュールプログラムと、物体の領域特定や物体の種類特定を行うための深層学習（Deep Neural Network；ＤＮＮ）を学習データによって行う深層学習（Deep Neural Network；ＤＮＮ）モジュールプログラムと、学習された深層学習（ＤＮＮ）を用いてＲＧＢカメラ１１にて撮像された画像データ（撮像画像）から部屋Ｒ内に存在している物体を検出する物体検出モジュールプログラムと、物体検出モジュールプログラムにて検出された物体の領域に対応するレーザースキャナ（ＬｉＤＡＲ）１２の点群データから部屋Ｒ内に存在する物体の三次元位置特定を行う検出物体位置特定モジュールプログラムが記憶されている。

【0037】

尚、データとしては、映像処理モジュールプログラムが映像の補正を行うために使用する各種のデータからなる映像処理用データ等が予め記憶されている。

【0038】

次に、処理装置２のＲＡＭ２２に記憶されるデータについて、図４を用いて簡潔に説明する。ＲＡＭ２２には、図４に示すように、フラッシュメモリ（Ｆ－ＭＥＭ）２３からブートされた処理プログラムが格納されているとともに、システム時刻が付与された二次元画像データ、システム時刻が付与されたＬｉＤＡＲ点群データ、二次元画像データから抽出された物体が登録される物体検知リストが主に記憶されているとともに、ＲＡＭ２２には、パラメータにもとづいて初期設定にて設定された所定フレーム分（例えば、５フレーム）の二次元画像データやＬｉＤＡＲ点群データを記憶可能なフレームリングバッファが設定されており、これらフレームリングバッファに二次元画像データやＬｉＤＡＲ点群データが順次オーバーライト記憶されることで、古い二次元画像データやＬｉＤＡＲ点群データを消去する処理を行うことなく、データが更新されるようになっている。

【0039】

また、ＲＡＭ２２には、二次元画像データから抽出された物体の領域内に存在する点群のデータが予め定められた蓄積時間において蓄積記憶される物体用個別リングバッファも設定されていて、これら物体用個別リングバッファにおいて、新たな点群のデータが順次オーバーライト記憶されていくことで、古い点群のデータを消去する処理を行うことなく、点群のデータが蓄積時間に亘って蓄積記憶されるようになっている。

【0040】

これら物体用個別リングバッファとしては、蓄積時間が異なる複数種類のリングバッファが定義されて設定されている。具体的には、図５に示す例のように、物体検知によって特定された物体の種別毎に異なる蓄積時間が定義されている。例えば、移動する可能性が非常に低い机であれば、６００秒が定義されており、椅子であれば３００秒が定義されており、プリンタであれば３００秒が定義されており、ノートパソコンであれば６０秒が定義されており、スマートフォンであれば１０秒が定義されており、移動する可能性が高い人であれば１秒が定義されている。

【0041】

このように、移動（動作）することで三次元位置が変化する可能性の低い物体である、例えば、机については、物体の位置が変化する可能性が低いことに伴って長い期間の点群データを利用できるようにすることで三次元位置の特定に使用される点群のデータを増やすことで特定される三次元位置の精度を高めることができる一方、移動（動作）することで三次元位置が変化する可能性が高い物体である、例えば、人については、物体の位置が変化する可能性が高いので、長い期間の点群データを利用すると移動前の点群データまで三次元位置の特定に使用されてしまうことで逆に三次元位置の精度が低下してしまう畏れがあるため、蓄積時間を短く定義すればよい。尚、図５に示した蓄積時間は、一例であって、特定空間の状況（屋内、屋外等）に応じて適宜に決定すればよい。

【0042】

また、これらの種別に対応するリングバッファは、種別毎に１つのみのリングバッファが設定されているのではなく、例えば、机であれば机Ｄ１の点群データが記憶される種別が机のリングバッファと、机Ｄ２の点群データが記憶される種別が机のリングバッファとが存在するように、各種別毎に複数のリングバッファが設定される。

【0043】

つまり、物体用個別リングバッファは、後述するように、物体検知にて新たに物体が検知されることで該物体に付与された物体ＩＤ毎に個別に割り当てられることで、物体ＩＤに対応付けて点群データが蓄積時間に亘って蓄積記憶されるようになっているが、本発明はこれに限定されるものではなく、これらリングバッファを種別毎に１つだけ設けておき、検出された物体である机が机Ｄ１と机Ｄ２の２つが検出された場合には、その時点のデータとして、机Ｄ１に付与された物体ＩＤとともに該机Ｄ１の領域内に位置している点群のデータを記憶するとともに、机Ｄ２に付与された物体ＩＤとともに該机Ｄ２の領域内に位置している点群のデータを記憶するようにしてもよい。

【0044】

尚、本実施例では、リングバッファを蓄積時間にて定義した形態を例示しているが、本発明はこれに限定されるものではなく、本実施例のように、物体毎に個別にリングバッファを割り当てる形態の場合には、蓄積時間の点群データを少なくとも記憶可能な記憶容量によってリングバッファを定義するようにしてもよい。

【0045】

次に、処理装置２において実行される処理について、図６、図７を用いて説明する。尚、以下の説明の処理は、ＣＰＵ２８が単独で実行するものもあれば、ＣＰＵ２８とＧＰＵ２８とが協働して行うものもある。

【0046】

処理装置２は、まず、ＲＧＢカメラ１１から二次元画像データを取得して時刻情報としてシステム時刻を付加する（ステップＳ１）。尚、これらシステム時刻が付与された二次元画像データは、前述したように、二次元画像データ用のリングバッファに記憶される。

【0047】

また、レーザースキャナ（ＬｉＤＡＲ）１２から点群データを取得して時刻情報としてシステム時刻を付加する（ステップＳ２）。尚、これらシステム時刻が付与された点群データは、前述したように、点群データ用のリングバッファに記憶される。

【0048】

次いで、ステップＳ１にて取得した二次元画像データを対象としたインスタンスセグメンテーションによる物体検知処理を実行して、二次元画像に含まれる物体を全て抽出し、抽出した各物体の種別を特定するとともに、各物体について検知領域（ＲＯＩ）とマスクを作成して、各物体に付与した検知番号に対応付けて物体検知リストに登録する（ステップＳ３）。

【0049】

尚、インスタンスセグメンテーションは、深層学習ニューラルネットワーク（ＤＮＮ）の物体検知の手法であって、二次元画像における画素単位で物体検知をリアルタイムで行うものであり、例えば、ＹＯＬＡＣＴ（Daniel Bolya Chong Zhou Fanyi Xiao Yong Jae Lee. YOLACT：Real-time Instance Segmentation.In ICCV,2019）を好適に使用することができる。

【0050】

また、本実施例では、高速で二次元画像における物体検知（抽出）を高精度にて実行できることから深層学習ニューラルネットワーク（ＤＮＮ）によるＹＯＬＡＣＴを使用した形態を例示しているが、本発明はこれに限定されるものではなく、測定対象の物体の移動速度が比較的遅く、二次元画像の撮像周期が比較的長い場合であって、物体検知（抽出）の処理に十分に長い時間を費やすことによって深層学習ニューラルネットワーク（ＤＮＮ）を用いない物体検知手法によって十分な精度にて物体検知（抽出）を行える場合にあっては、深層学習ニューラルネットワーク（ＤＮＮ）を使用しない形態としてもよいし、深層学習ニューラルネットワーク（ＤＮＮ）を用いる場合であっても、上記したＹＯＬＡＣＴ以外の手法を用いるようにしてもよく、これら二次元画像における物体検知（抽出）の手法としては、速度計測の対象となる物体の移動速度に対応する撮像周期にもとづく物体検知（抽出）の処理に利用できる時間と、必要とされる認識精度とから適宜に選択すればよい。

【0051】

尚、本実施例の深層学習ニューラルネットワーク（ＤＮＮ）においては、物体として無線端末となるノートパソコン、プリンタ、タブレット、スマートフォン、タブレットやスマートフォンを所持する人等を高精度にて抽出できるように、種々のノートパソコン、プリンタ、タブレット、スマートフォン等の画像を学習データとして入力して学習させることによって、特に、ノートパソコン、プリンタ、タブレット、スマートフォンの抽出精度が高められている深層学習ニューラルネットワーク（ＤＮＮ）を使用している。

【0052】

次で、図７に示す画像・点群データ統合処理を実行する。本実施例の画像・点群データ統合処理においては、図７に示すように、ステップＳ３において検出した物体の移動の有無を判定する移動検出処理を実行する（ステップＳ４０１）。

【0053】

本実施例の移動検出処理においては、その時点においてステップＳ１にて取得して二次元画像用フレームリングバッファに記憶した二次元画像と、直前のタイミングにて取得して二次元画像用フレームリングバッファに記憶した二次元画像（前フレームの二次元画像）とを比較して、２つの二次元画像の違いから検出した物体（インスタンス）の移動の有無を判定する。

【0054】

尚、この移動の有無の判定においては、前フレームの二次元画像を使用しているが、本発明はこれに限定されるものではなく、前述したように、二次元画像用フレームリングバッファには、今回のデータを含む５フレーム分の二次元画像が記憶されているので、直前よりも前のフレームの二次元画像も参照して移動の有無をより高精度に判定するようにしてもよい。

【0055】

そして、検出した物体が同一であるか否かを判定する同一物体判定処理を実行する（ステップＳ４０２）。この同一物体判定処理では、移動検出処理において移動が検出されていない物体（インスタンス）については、物体検知リストに登録されている検知領域（ＲＯＩ）が一致するか等により同一物体であるか否かを判定すればよい。一方、移動検出処理において移動が検出された物体（インスタンス）については、物体検知リストに登録されている種別やマスクの形状の一致度や検知領域（ＲＯＩ）の大きさの一致度等にもとづいて判定すればよい。

【0056】

そして、非同一の物体（インスタンス）、つまり、部屋Ｒ内に新たに入ってきた人や当該人が携行しているスマートフォン等のような新たな物体の検出があったか否かを判定する（ステップＳ４０３）。

【0057】

該判定において、非同一の物体（インスタンス）が存在しない場合には（ステップＳ４０３；Ｎ）、ステップＳ４０６に進む。尚、この場合、同一物体と判定された物体については、同一と判定された物体（インスタンス）に対して既に付与されている物体ＩＤと同一の物体ＩＤが継続して付与される。

【0058】

一方、非同一の物体（インスタンス）が存在する場合には（ステップＳ４０３；Ｙ）、非同一物体に対して新規な物体ＩＤを発行して割り当て、該物体ＩＤを、物体検知リストに当該物体のデータとして登録する（ステップＳ４０４）。

【0059】

次いで、新たな物体が検出されたことに伴い、物体ＩＤを発行した非同一物体の種別に対応した蓄積時間の物体用個別リングバッファを定義して割当てる（ステップＳ４０５）。

【0060】

このように物体検出処理において新たに検出されて新規な物体ＩＤが発行された物体についても物体用個別リングバッファが割当てられることで、物体用個別リングバッファには、物体検出処理において検出された全ての物体（インスタンス）に対応するリングバッファが設定されていることになる。

【0061】

そして、ステップＳ２において取得してＬｉＤＡＲ点群用フレームリングバッファに記憶したＬｉＤＡＲ点群データを参照して、検出した物体内の点群を各物体毎に全て抽出する（ステップＳ４０６）。

【0062】

これら物体内の点群を抽出は、例えば、図９（ａ）に示すノートパソコンの場合であれば、物体検知リストに記憶されている当該物体の検知領域（ＲＯＩ）が、図９（ａ）に示すノートパソコンの領域となるので、該検知領域（ＲＯＩ）内に存在する点群を抽出すればよい。

【0063】

そして、抽出したＬｉＤＡＲ点群データを該当する物体に割当てられている物体用個別リングバッファにオーバーライトにて追加して書き込む（ステップＳ４０７）。

【0064】

このようにすることで、物体用個別リングバッファには、検出された全物体について、その物体の検知領域（ＲＯＩ）内に存在する点群が順次追加記憶されていくことで、図９（ｂ）に示すように、個々の物体の領域内について抽出された点群の数が増えていくことで点群充填率（点群の数と画素との割合）が増加することになる。

【0065】

図６に戻り、画像・点群データ統合処理を実行後においては、検出された個々の物体の物体用個別リングバッファに蓄積記憶されている点群データを読み出して、該点群データから特定される距離等にもとづいて個々の物体の三次元位置を算出する三次元位置算出処理を実行する（ステップＳ５）。

【0066】

尚、物体の三次元位置としては、その物体の基準となる位置を三次元位置として算出し、これら基準となる位置は、例えば、点群から特定される三次元位置の平均位置としてもよいし、重心等であってもよい。また、これら基準となる位置を、物体の種別毎に異なるものとしてもよい。

【0067】

次いで、三次元位置算出処理にて算出した個々の物体の三次元位置と該三次元位置の信頼度情報とを含む三次元位置情報を、伝搬経路制御装置３に対して出力する出力情報処理を実行する（ステップＳ６）。

【0068】

尚、伝搬経路制御装置３に対しては、全ての物体の三次元位置情報を出力するのではなく、種別が電波端末に対応する種別である物体の三次元位置情報だけを出力するようにしているが、例えば、伝搬経路上に障害物が存在することが検出された場合において、アクセスポイント端末ＡＰ１からＡＰ２に切り替える等の制御を実行する場合にあっては、伝搬経路制御装置３において、伝搬経路上に障害物が存在することを検出できるようにするために、全ての物体の三次元位置情報を出力するようにしてもよい。

【0069】

また、信頼度情報は、三次元位置情報を算出した時点に物体用個別リングバッファに記憶されている点群の数にもとづく点群充填率、レーザースキャナ（ＬｉＤＡＲ）１２からの距離、物体種別（移動可能性の多い種別であるか否か）等をパラメータとして所定の計算式により算出すればよい。

【0070】

以上、本実施例の三次元位置特定装置によれば、個々の物体の領域に含まれる点群のデータが抽出されてリングバッファに順次書き込まれて蓄積されるようになるので、三次元位置の特定に使用される点群のデータ数を増やすことによってこれら点群のデータにより特定される三次元位置の精度を高めることができる。

【0071】

つまり、ＬｉＤＡＲ点群データは、図８に示すように、放射するレーザー光の放射方向を順次変更してスキャンを行うものであるため、二次元画像の画素に比較して点群の数は著しく少なく、点群による距離画像は粗いものとなってしまうとともに、物体の検知領域に含まれる点群の数は、例えば、物体が部屋Ｒ内においてレーザースキャンの密度が低い領域に位置している等の場合等には、著しく少なくなってしまう場合もあるが、このような場合であっても、物体用個別リングバッファを用いることによって、個々の物体の二次元画像における領域内について抽出された点群の数である点群充填率（点群の数と画素との割合）を増やすことができるので、これら点群のデータによって特定される物体の三次元位置の精度を向上させることができる。

【0072】

また、図９（ｃ）のように、ノートパソコンを人が操作することによってオクルージョンが発生した場合は、人の手の部分は、物体である人の領域として検知されるため、ノートパソコンの領域が狭くなるとともに、この狭くなったノートパソコンの領域に含まれる点群データだけを使用して三次元位置が特定されてしまうと、不正確な位置となってしまうが、本発明によれば、記憶手段となる物体用個別リングバッファに記憶されているオクルージョンの発生前のデータも使用されて三次元位置が特定されるようになるので、オクルージョンの発生による三次元位置の精度低下を防ぐこともできる。

【0073】

また、本実施例の三次元位置特定装置によれば、データの消去の必要がないリングバッファを使用しているので、古いデータを消去する処理を行う必要がないので、これら精度を高めるための点群データの蓄積に伴う処理負荷が増大してしまうことも防ぐことができる。

【0074】

以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

【0075】

例えば、上記実施例では、記憶手段として物体用個別リングバッファを使用した形態を例示しているが、本発明はこれに限定されるものではなく、これら記憶手段としては、リングバッファではない通常のバッファを使用する形態としてもよい。

【0076】

また、上記実施例では、ＲＧＢカメラ１１やレーザースキャナ（ＬｉＤＡＲ）１２から取得した画像データや点群データもフレームリングバッファに記憶するようにして、データ消去の処理負荷等を省くことができるようにしているが、本発明はこれに限定されるものではなく、これら画像データや点群データを通常のバッファに記憶するようにしてもよい。

【0077】

また、上記実施例では、物体の種別毎に異なる蓄積時間のリングバッファを定義することで、リングバッファの記憶容量（ＲＡＭの記憶容量）が無駄に大きくなってしまうことを防ぐことができるようにした形態を例示しているが、本発明はこれに限定されるものではなく、これらリングバッファとしては、最大の蓄積時間の種別のリングバッファのみとしてもよい。

【0078】

また、上記実施例では、オクルージョンの発生の有無を積極的に判定してはいないが、本発明はこれに限定されるものではなく、図９（ｃ）のようなオクルージョンの発生の有無を、例えば、同一物体判定処理（ステップＳ４０２）の処理において積極的に判定し（オクルージョン判定手段）、該判定でオクルージョンの発生がない場合には、そのときに取得した点群データだけを使用する一方、オクルージョンの発生がある場合には、そのときに取得した点群データに加えて物体用個別リングバッファに蓄積記憶している点群データを使用する形態としてもよいし、オクルージョンの発生がない場合には物体用個別リングバッファに蓄積記憶している点群データのうち短い第１期間の点群データを使用し、オクルージョンの発生がある場合には物体用個別リングバッファに蓄積記憶している点群データのうち第１期間よりも長い第２期間の点群データを使用して三次元位置を特定するようにしてもよい。

【0079】

また、上記実施例では、センサユニット１を１つだけ有する形態としているが、本発明はこれに限定されるものではなく、例えば、処理装置に複数のセンサユニット１を接続して、個々のセンサユニット１毎に、個々の物体の三次元位置と信頼度情報とを算出するとともに信頼度情報の比較を行い、信頼度が最も高いセンサユニット１による三次元位置を含む三次元位置情報を出力するようにしてもよい。

【0080】

また、上記実施例では、信頼度情報にオクルージョンの有無等の情報を含めてはいないが、これらオクルージョンの有無等の情報を信頼度情報に含めるようにしてもよい。

【0081】

また、上記実施例では、特定空間を屋内の部屋Ｒとした形態を例示しているが、本発明はこれに限定されるものではなく、これら特定空間は、例えば、駐車場や道路等の屋外であってもよく、管理対象とする物体は、無線端末ではなく電波を発信しない車輌等であってもよい。

【符号の説明】

【0082】

１ センサユニット
２ 処理装置
３ 伝搬経路制御装置
１１ ＲＧＢカメラ（二次元イメージセンサ）
１２ レーザースキャナ（ＬｉＤＡＲ）
Ｒ 部屋（特定空間）
ＡＰ１ アクセスポイント
ＡＰ２ アクセスポイント

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】