特開 2024-20677 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020677

(43)【公開日】2024-02-15

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240207BHJP

   G06T 7/00 20170101ALI20240207BHJP

   G06V 10/70 20220101ALI20240207BHJP

   G01B 11/24 20060101ALI20240207BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 350B

G06V10/70

G01B11/24 K

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022123029

(22)【出願日】2022-08-02

(71)【出願人】

【識別番号】521023539

【氏名又は名称】Ｃｅｌｌｉｄ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】呉 剣明

(72)【発明者】

【氏名】許 瀚文

(72)【発明者】

【氏名】鎌田 悠奨

(72)【発明者】

【氏名】岡部 真輔

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065DD03

2F065FF01

2F065FF05

2F065FF09

2F065JJ03

2F065JJ26

2F065MM06

2F065QQ21

2F065QQ31

5L096AA09

5L096EA14

5L096FA67

5L096FA69

5L096GA19

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】物体の認識精度を向上させる情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置１は、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する点群データ取得部１３２と、取得された点群データに基づいて、点群データを複数の物体それぞれを示す点群データである部分点群データに分割する分割部１３３と、分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する位置関係特定部１３４と、分割された複数の部分点群データそれぞれと、当該部分点群データに対して特定された位置関係とに基づいて、複数の部分点群データそれぞれに対応する物体を認識する認識部１３５と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する取得部と、
前記取得部が取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割する分割部と、
前記分割部により分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する位置関係特定部と、
前記分割部により分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識する認識部と、
を有する情報処理装置。

【請求項2】

前記位置関係特定部は、前記部分点群データが入力されると前記位置関係を示す位置関係情報を出力する位置関係特定モデルに対し、前記分割部により分割された前記部分点群データを入力し、前記位置関係特定モデルから出力された前記位置関係情報を取得することにより、前記部分点群データに対応する物体に対応する前記位置関係を特定する、
請求項１に記載の情報処理装置。

【請求項3】

前記位置関係が特定されている物体に対応する部分点群データと、当該位置関係を示す位置関係情報とを教師データとして学習することにより前記位置関係特定モデルを生成する学習部をさらに有し、
前記位置関係特定部は、前記分割部により分割された前記部分点群データを前記学習部が生成した前記位置関係特定モデルに入力し、前記位置関係特定モデルから出力された前記位置関係情報を取得することにより、前記部分点群データが示す物体に対応する前記位置関係を特定する、
請求項２に記載の情報処理装置。

【請求項4】

前記認識部は、前記部分点群データと、前記位置関係を示す位置関係情報とが入力されると、認識した物体を識別するためのラベルを出力する物体認識モデルに対し、前記分割部により分割された前記部分点群データと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係を示す位置関係情報とを入力し、前記物体認識モデルから出力された前記ラベルを取得することにより、当該部分点群データに対応する物体を認識する、
請求項１に記載の情報処理装置。

【請求項5】

予め認識されている物体に対応する前記部分点群データと、当該物体に対応する前記位置関係と、当該物体に対応する前記ラベルとを教師データとして学習することにより前記物体認識モデルを生成する学習部をさらに有し、
前記認識部は、前記分割部により分割された前記部分点群データと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係を示す位置関係情報とを前記学習部が生成した前記物体認識モデルに入力し、前記物体認識モデルから出力された前記ラベルを取得することにより、当該部分点群データに対応する物体を認識する、
請求項４に記載の情報処理装置。

【請求項6】

予め認識されている複数の物体に対応する点群データと、当該複数の物体のそれぞれに対応する、複数の部分点群データとを教師データとして学習することにより、点群データの入力に対して、複数の部分点群データを出力する分割モデルを生成する学習部をさらに有し、
前記分割部は、前記学習部が生成した前記分割モデルに対し、前記取得部が取得した前記点群データを入力し、前記分割モデルから一以上の前記部分点群データを取得することにより、当該点群データを複数の部分点群データに分割する、
請求項１に記載の情報処理装置。

【請求項7】

前記位置関係特定部は、前記位置関係として、前記物体が前記異なる物体と重なっていない位置関係、前記異なる物体が前記物体に隣接することにより前記物体の少なくとも一部が隠蔽されている位置関係、前記物体の上部に前記異なる物体が重なっている位置関係、前記物体の一部を前記異なる物体が覆っている位置関係、前記物体に前記異なる物体が含まれている位置関係のうち、いずれかの位置関係に特定する、
請求項１に記載の情報処理装置。

【請求項8】

前記位置関係特定部は、前記位置関係として、前記部分点群データに対応する点群の密度を特定する、
請求項１に記載の情報処理装置。

【請求項9】

前記認識部が認識した物体に対応する前記部分点群データに基づいて、前記物体の種類、前記物体の位置、前記物体が向いている方向、前記物体の形状、前記物体の面積、前記物体の体積、前記物体の状態の少なくともいずれかを前記物体の属性として特定する属性特定部と、
前記属性特定部が特定した前記物体の属性を記憶部に記憶させる記憶制御部と、
をさらに有する、
請求項１に記載の情報処理装置。

【請求項10】

前記取得部は、複数の異なる時刻それぞれの前記点群データを取得し、
前記分割部は、前記取得部が取得した前記複数の異なる時刻それぞれの前記点群データを複数の部分点群データに分割し、
前記位置関係特定部は、前記複数の異なる時刻それぞれに対して分割された複数の部分点群データそれぞれに対し前記位置関係を特定し、
前記認識部は、前記複数の異なる時刻に対応する前記複数の部分点群データそれぞれと、前記複数の異なる時刻に対応する当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の異なる時刻に対応する前記複数の部分点群データそれぞれに対応する物体を認識し、
前記属性特定部は、前記複数の異なる時刻に対応して前記認識部が認識した前記物体の属性を特定し、
前記複数の異なる時刻に対応して前記属性特定部が特定した前記物体の属性に基づいて、前記物体の属性の変化を検出する検出部と、
前記検出部が検出した前記物体の属性の変化を通知する通知部と、
をさらに有する、
請求項９に記載の情報処理装置。

【請求項11】

コンピュータが実行する、
複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得するステップと、
取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割するステップと、
分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定するステップと、
分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識するステップと、
を有する情報処理方法。

【請求項12】

コンピュータを、
複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する取得部、
前記取得部が取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割する分割部、
前記分割部により分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する位置関係特定部、及び、
前記分割部により分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識する認識部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、計測により得られた複数の三次元座標を含む点群データに基づいて物体を認識することが行われている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－１２８０７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数の物体が重なることにより、物体に対応する点群データの一部のデータが不足している場合、当該物体を精度良く認識することができないという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、物体の認識精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る情報処理装置は、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する取得部と、前記取得部が取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割する分割部と、前記分割部により分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する位置関係特定部と、前記分割部により分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識する認識部と、を有する。

【0007】

前記位置関係特定部は、前記部分点群データが入力されると前記位置関係を示す位置関係情報を出力する位置関係特定モデルに対し、前記分割部により分割された前記部分点群データを入力し、前記位置関係特定モデルから出力された前記位置関係情報を取得することにより、前記部分点群データに対応する物体に対応する前記位置関係を特定してもよい。

【0008】

前記情報処理装置は、前記位置関係が特定されている物体に対応する部分点群データと、当該位置関係を示す位置関係情報とを教師データとして学習することにより前記位置関係特定モデルを生成する学習部をさらに有し、前記位置関係特定部は、前記分割部により分割された前記部分点群データを前記学習部が生成した前記位置関係特定モデルに入力し、前記位置関係特定モデルから出力された前記位置関係情報を取得することにより、前記部分点群データが示す物体に対応する前記位置関係を特定してもよい。

【0009】

前記認識部は、前記部分点群データと、前記位置関係を示す位置関係情報とが入力されると、認識した物体を識別するためのラベルを出力する物体認識モデルに対し、前記分割部により分割された前記部分点群データと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係を示す位置関係情報とを入力し、前記物体認識モデルから出力された前記ラベルを取得することにより、当該部分点群データに対応する物体を認識してもよい。

【0010】

前記情報処理装置は、予め認識されている物体に対応する前記部分点群データと、当該物体に対応する前記位置関係と、当該物体に対応する前記ラベルとを教師データとして学習することにより前記物体認識モデルを生成する学習部をさらに有し、前記認識部は、前記分割部により分割された前記部分点群データと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係を示す位置関係情報とを前記学習部が生成した前記物体認識モデルに入力し、前記物体認識モデルから出力された前記ラベルを取得することにより、当該部分点群データに対応する物体を認識してもよい。

【0011】

前記情報処理装置は、予め認識されている複数の物体に対応する点群データと、当該複数の物体のそれぞれに対応する、複数の部分点群データとを教師データとして学習することにより、点群データの入力に対して、複数の部分点群データを出力する分割モデルを生成する学習部をさらに有し、前記分割部は、前記学習部が生成した前記分割モデルに対し、前記取得部が取得した前記点群データを入力し、前記分割モデルから一以上の前記部分点群データを取得することにより、当該点群データを複数の部分点群データに分割してもよい。

【0012】

前記位置関係特定部は、前記位置関係として、前記物体が前記異なる物体と重なっていない位置関係、前記異なる物体が前記物体に隣接することにより前記物体の少なくとも一部が隠蔽されている位置関係、前記物体の上部に前記異なる物体が重なっている位置関係、前記物体の一部を前記異なる物体が覆っている位置関係、前記物体に前記異なる物体が含まれている位置関係のうち、いずれかの位置関係に特定してもよい。
前記位置関係特定部は、前記位置関係として、前記部分点群データに対応する点群の密度を特定してもよい。

【0013】

前記情報処理装置は、前記認識部が認識した物体に対応する前記部分点群データに基づいて、前記物体の種類、前記物体の位置、前記物体が向いている方向、前記物体の形状、前記物体の面積、前記物体の体積、前記物体の状態の少なくともいずれかを前記物体の属性として特定する属性特定部と、前記属性特定部が特定した前記物体の属性を記憶部に記憶させる記憶制御部と、をさらに有してもよい。

【0014】

前記取得部は、複数の異なる時刻それぞれの前記点群データを取得し、前記分割部は、前記取得部が取得した前記複数の異なる時刻それぞれの前記点群データを複数の部分点群データに分割し、前記位置関係特定部は、前記複数の異なる時刻それぞれに対して分割された複数の部分点群データそれぞれに対し前記位置関係を特定し、前記認識部は、前記複数の異なる時刻に対応する前記複数の部分点群データそれぞれと、前記複数の異なる時刻に対応する当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の異なる時刻に対応する前記複数の部分点群データそれぞれに対応する物体を認識し、前記属性特定部は、前記複数の異なる時刻に対応して前記認識部が認識した前記物体の属性を特定し、前記情報処理装置は、前記複数の異なる時刻に対応して前記属性特定部が特定した前記物体の属性に基づいて、前記物体の属性の変化を検出する検出部と、前記検出部が検出した前記物体の属性の変化を通知する通知部と、をさらに有してもよい。

【0015】

本発明の第２の態様に係る情報処理方法は、コンピュータが実行する、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得するステップと、取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割するステップと、分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定するステップと、分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識するステップと、を有する。

【0016】

本発明の第３の態様に係るプログラムは、コンピュータを、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する取得部、前記取得部が取得した前記点群データに基づいて、前記点群データを複数の物体それぞれを示す点群データである部分点群データに分割する分割部、前記分割部により分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する位置関係特定部、及び、前記分割部により分割された前記複数の部分点群データそれぞれと、当該部分点群データに対して前記位置関係特定部が特定した前記位置関係とに基づいて、前記複数の部分点群データそれぞれに対応する物体を認識する認識部、として機能させる。

【発明の効果】

【0017】

本発明によれば、物体の認識精度を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0018】

【図1】情報処理装置の概要を示す図である。

【図2】情報処理装置の機能構成を示す図である。

【図3】６種類の位置関係を説明する図である。

【図4】物体情報の一例を示す図である。

【図5】情報処理装置が物体の状態の変化を検出する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0019】

［情報処理装置１の概要］
図１は、情報処理装置１の概要を示す図である。情報処理装置１は、複数の物体それぞれに対応する複数の三次元座標を含む点群データから物体を認識するコンピュータである。情報処理装置１は、認識する対象の物体を含む施設内を撮影する撮影装置２と、当該施設を管理する管理者が使用する端末３とに、無線ＬＡＮやインターネット等の通信ネットワークを介して通信可能に接続されている。

【0020】

情報処理装置１は、例えば、認識する対象の物体を含む施設内を移動する車両やドローン等の移動体に搭載された撮影装置２から、当該施設内の複数の視点位置で撮影して得られた映像データを取得する（図１における（１））。情報処理装置１は、取得した映像データに含まれる複数の画像に基づいて、複数の異なる視点位置それぞれに対応する、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する（図１における（２））。

【0021】

情報処理装置１は、映像データから取得した点群データを複数の物体それぞれを示す点群データ群である複数の部分点群データに分割する（図１における（３））。点群データ群を複数の部分点群データに分割する方法の詳細は後述する。分割された複数の部分点群データには、物体と撮影装置２の撮影位置との間に他の物体が配置されており、当該物体の全体を撮影できないことにより、当該物体の一部が表現されていない部分点群データが含まれることがある。

【0022】

情報処理装置１は、点群データから分割した複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する（図１における（４））。情報処理装置１は、予め、部分点群データと位置関係との関係について学習することにより作成された、部分点群データが入力されると位置関係を示す位置関係情報を出力する位置関係特定モデルを使用することにより、複数の物体の位置関係を特定する。情報処理装置１は、生成した位置関係特定モデルに対し、分割された部分点群データを入力し、位置関係特定モデルが出力する位置関係情報を取得することにより、部分点群データに対応する物体に対応する位置関係を特定する。

【0023】

情報処理装置１は、点群データから分割した部分点群データと、当該部分点群データに対して特定した位置関係とに基づいて、部分点群データに対応する物体を認識する（図１における（５））。情報処理装置１は、部分点群データが示す物体と、当該物体と異なる物体との複数の位置関係それぞれに対応して、部分点群データと当該部分点群データが示す物体との関係について学習することにより作成された物体認識モデルを使用することにより物体を認識する。情報処理装置１は、当該物体認識モデルに対し、分割された部分点群データと、当該部分点群データに対して特定された位置関係を示す位置関係情報を入力し、物体認識モデルが出力するラベルを取得することにより、部分点群データに対応する物体を認識する。

【0024】

情報処理装置１は、認識した物体の部分点群データに基づいて、物体の種類や物体の位置等の物体の属性を特定し、特定した属性を記憶する（図１における（６））。情報処理装置１は、記憶された属性を含む物体情報を端末３に通知する（図１における（７））。これにより、端末３を使用する施設を管理する管理者は、認識された物体の属性を確認し、物体の異常等を把握することができる。

【0025】

従来の物体認識処理では、物体の一部が表現されていない部分点群データに基づいて物体を認識しようとすると、物体を正しく認識できないという問題があった。これに対し、情報処理装置１は、部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定し、当該部分点群データと、特定した位置関係とに基づいて、部分点群データに対応する物体を認識する。このようにすることで、情報処理装置１は、部分点群データに対応する物体と、当該物体と異なる物体の位置関係を考慮せずに物体を認識する場合に比べて、物体の認識精度を向上させることができる。

【0026】

［情報処理装置１の機能構成］
続いて、情報処理装置１の構成の詳細を説明する。図２は、情報処理装置１の機能構成を示す図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３とを有する。
通信部１１は、インターネット等のネットワークを介して撮影装置２及び端末３とデータを送受信するための通信インターフェースである。

【0027】

記憶部１２は、各種のデータを記憶する記憶媒体であり、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及びハードディスク等を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。記憶部１２は、制御部１３を、学習部１３１、点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、属性特定部１３６、記憶制御部１３７、検出部１３８及び通知部１３９として機能させるプログラムを記憶する。

【0028】

また、記憶部１２は、分割モデル１２１と、位置関係特定モデル１２２と、物体認識モデル１２３と、物体ＤＢ１２４とを記憶する。
分割モデル１２１は、例えば、点群データが入力されると、当該点群データに対応する複数の部分点群データを出力するニューラルネットワークモデルのプログラムであり、学習部１３１が予め学習することにより生成される。例えば、分割モデル１２１は、点群データが入力されると、点群データに含まれる物体の数を特定し、点群データに含まれる特徴点それぞれが、特定した複数の物体のうち、どの物体に対応するかを示す確率を算出する。分割モデル１２１は、複数の物体それぞれに対し、算出した確率が所定の閾値を超える特徴点の集合を部分点群データとし、当該複数の物体それぞれに対応する部分点群データを出力する。分割モデル１２１は、分割部１３３が点群データを複数の部分点群データに分割するために用いられる。

【0029】

位置関係特定モデル１２２は、例えば、部分点群データが入力されると、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を示す位置関係情報を出力するニューラルネットワークモデルのプログラムであり、学習部１３１が予め学習することにより生成される。位置関係特定モデル１２２は、位置関係特定部１３４が、部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定するために用いられる。

【0030】

ここで、物体と異なる物体との位置関係について説明する。物体を示す部分点群データは、撮影装置２が撮影した映像データに基づいて生成される。撮影装置２の撮影位置と、物体との間に、異なる物体が配置されていたり、物体に異なる物体が隣接して設置されていたりすることにより、撮影装置２が撮影した映像データに、当該物体の全体が写らず、部分点群データが物体の全体を示していないことがある。これに対し、情報処理装置１は、物体と、当該物体とがどのような位置関係にあるかを特定する。

【0031】

物体と異なる物体との位置関係は、例えば、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎの６種類の位置関係に分類される。図３は、６種類の位置関係を説明する図である。図３に示すように、Ｄｉｓｊｏｉｎは、物体が異なる物体と重なっていない位置関係であり、物体の全体に対応する部分点群データを取得できている状態である。また、Ｉｎｓｉｄｅ、Ｍｅｅｔは、異なる物体が物体に隣接することにより物体の少なくとも一部が隠蔽されている位置関係であり、物体の全体に対応する部分点群データを取得できていない状態である。Ｉｎｓｉｄｅは、異なる物体により物体が隠蔽されることにより、物体が有する一つの面が残っている位置関係である。Ｍｅｅｔは、異なる物体により物体が隠蔽されることにより、物体が有する複数の面が残っている位置関係である。

【0032】

ＣｏｖｅｒｅｄＢｙは、物体の上部に異なる物体が重なっている位置関係であり、物体の全体に対応する部分点群データを取得できていない状態である。Ｏｖｅｒｌａｐは、物体の一部を異なる物体が覆っている位置関係であり、物体の全体に対応する部分点群データを取得できていない状態である。Ｃｏｎｔａｉｎは、物体に異なる物体が含まれていることにより、物体の一部のみが視認できる位置関係であり、物体の全体に対応する部分点群データを取得できていない状態である。

【0033】

物体認識モデル１２３は、例えば、部分点群データと、特定された位置関係を示す位置関係情報とが入力されると、当該部分点群データが示す物体を識別するためのラベルである物体名を出力するニューラルネットワークモデルのプログラムであり、学習部１３１が予め学習することにより生成される。物体認識モデル１２３は、部分点群データが示す物体を認識部１３５が認識するために用いられる。

【0034】

物体ＤＢ１２４は、部分点群データから認識された物体の属性を含む物体情報を記憶する。図４は、物体情報の一例を示す図である。図４に示すように物体情報は、物体ＩＤと、物体名と、物体の属性情報とを少なくとも関連付けた情報である。

【0035】

属性情報は、例えば、物体の設置位置、形状、長さ、体積、状態を示す情報である。物体の設置位置は、例えば、認識された物体に対応する部分点群データの設置位置を示す情報である。物体の形状は、例えば直方体、円柱等の形状を示す情報であるが、これに限らず、物体の形状として部分点群データが格納されてもよい。また、物体の状態は、物体が正常であるか、異常であるかを示す情報である。

【0036】

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、学習部１３１、点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、属性特定部１３６、記憶制御部１３７、検出部１３８及び通知部１３９として機能する。

【0037】

［モデルの生成］
まず、物体の認識に用いるモデルを生成する処理について説明する。学習部１３１は、情報処理装置１が物体を認識する処理を行う前に教師データに基づいて学習を行うことにより、分割モデル１２１、位置関係特定モデル１２２及び物体認識モデル１２３を生成し、生成したこれらのモデルを記憶部１２に記憶させる。

【0038】

具体的には、学習部１３１は、予め認識されている複数の物体に対応する点群データと、当該複数の物体のそれぞれに対応する、複数の部分点群データとのセットを教師データとして学習することにより、点群データの入力に対して、複数の部分点群データを出力する分割モデル１２１を生成する。

【0039】

例えば、教師データに含まれる点群データは、後述の点群データ取得部１３２により取得された点群データである。また、教師データに含まれる複数の部分点群データは、教師データに含まれる点群データから手動により分割された複数の部分点群データである。教師データに含まれる複数の部分点群データは、手動により分割された複数の部分点群データであることとしたが、これに限らず、後述の分割部１３３により当該点群データから分割された複数の部分点群データであって、正しく分割されていると判定された複数の部分点群データであってもよい。学習部１３１は、分割モデル１２１を生成すると、生成した分割モデル１２１を記憶部１２に記憶させる。

【0040】

また、学習部１３１は、他の物体との位置関係が特定されている物体に対応する部分点群データと、当該位置関係を示す位置関係情報とのセットを教師データとして学習することにより、部分点群データが入力されると、当該位置関係を示す位置関係情報を出力する位置関係特定モデル１２２を生成する。

【0041】

例えば、学習部１３１は、他の物体との位置関係が特定されている物体に対応する部分点群データと、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎのうち、当該部分点群データとして特定された位置関係とをセットにした複数の教師データに基づいて、位置関係特定モデル１２２の学習を行うことにより、位置関係特定モデル１２２を生成する。学習部１３１は、位置関係特定モデル１２２を生成すると、生成した位置関係特定モデル１２２を記憶部１２に記憶させる。

【0042】

また、学習部１３１は、予め認識されている物体に対応する部分点群データと、当該物体に対応する位置関係と、当該物体に対応するラベルとのセットを教師データとして学習することにより、部分点群データと、位置関係情報とが入力されると、認識した物体を識別するためのラベルである物体名を出力する物体認識モデル１２３を生成してもよい。

【0043】

例えば、学習部１３１は、予め認識されている物体に対応する部分点群データであって、他の物体との位置関係が特定されている部分点群データと、当該位置関係を示す位置関係情報と、当該物体に対して手動で設定された物体名とをセットにした複数の教師データに基づいて、物体認識モデル１２３の学習を行うことにより、物体認識モデル１２３を生成する。学習部１３１は、物体認識モデル１２３を生成すると、生成した物体認識モデル１２３を記憶部１２に記憶させる。

【0044】

［物体の認識］
続いて、制御部１３が物体を認識する処理について説明する。制御部１３の点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、及び属性特定部１３６及び記憶制御部１３７は、協働することにより物体を認識し、認識した物体の属性を示す情報を記憶部１２に記憶させる。以下、点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、属性特定部１３６及び記憶制御部１３７の物体の認識に係る機能の詳細を説明する。

【0045】

点群データ取得部１３２は、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得する。例えば、点群データ取得部１３２は、撮影された映像に含まれる複数の画像データから点群データを生成する技術であるＳｆＭ（Structure-from-motion）を用いて、取得した映像データから点群データを取得する。

【0046】

具体的にはまず、点群データ取得部１３２は、撮影装置２から、さまざまな視点位置から撮影して生成された映像データを取得し、取得した映像データに含まれる複数の視点位置に対応する複数の画像データそれぞれに含まれる特徴点を抽出する。点群データ取得部１３２は、複数の画像データから抽出した特徴点のマッチングを行う。点群データ取得部１３２は、複数の画像データのうち、例えば一致する特徴点が相対的に多い２つの画像データを選択し、選択した２つの画像データに含まれる、複数の一致する特徴点の位置関係に基づいて三次元空間座標系における、特徴点の三次元の座標位置を特定する。

【0047】

点群データ取得部１３２は、撮像位置及び撮像方向が未知の画像データを選択した場合、選択した画像データに含まれる特徴点と、三次元の座標位置を特定済みの特徴点とのＰｎＰ問題を解くことにより、選択した画像データの撮像位置及び撮像方向を推定する。点群データ取得部１３２は、選択した画像データの撮像位置及び撮像方向と、既に三次元の座標位置が特定されている特徴点の三次元の座標位置とに基づいて三角測量処理を行うことにより、選択した画像データに含まれる特徴点のうち、三次元の座標位置が特定されていない特徴点の三次元の座標位置を算出する。

【0048】

その後、点群データ取得部１３２は、新たな画像データを一つずつ追加し、三次元の座標位置が特定されていない特徴点の三次元の座標位置の算出を繰り返すことにより、三次元の座標位置が特定された複数の特徴点、すなわち、点群データを取得する。なお、特徴点には、三次元の座標位置の他に、カラーの色（Ｒ値、Ｇ値、Ｂ値）やグレースケールの色（２５６階調）、白黒の色（２階調）を示す画素値が関連付けられていてもよい。

【0049】

なお、点群データ取得部１３２は、複数の画像データと、複数の画像データから取得した点群データとを用いて、さらに密な点群データを復元する技術であるＭＶＳ（Multi-View Stereo）を用いて、ＳｆＭにより取得した点群データと、複数の画像データとから、密な点群データを復元してもよい。

【0050】

分割部１３３は、点群データ取得部１３２が取得した点群データに基づいて、当該点群データを複数の物体それぞれを示す点群データである部分点群データに分割する。例えば、分割部１３３は、学習部１３１が生成し、記憶部１２に記憶されている分割モデル１２１を実行し、分割モデル１２１に対し、点群データ取得部１３２が取得した点群データを入力し、分割モデル１２１から一以上の部分点群データを取得することにより、当該点群データを複数の部分点群データに分割する。

【0051】

位置関係特定部１３４は、分割部１３３により分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定する。位置関係特定部１３４は、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係として、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎのうち、いずれかの位置関係に特定する。

【0052】

例えば、位置関係特定部１３４は、学習部１３１が生成し、記憶部１２に記憶されている位置関係特定モデル１２２を実行し、位置関係特定モデル１２２に対し、分割部１３３により分割された複数の部分点群データを一つずつ入力し、位置関係特定モデル１２２から出力された位置関係情報を取得することにより、複数の部分点群データそれぞれに対応する物体に対応する位置関係を特定する。

【0053】

認識部１３５は、分割部１３３により分割された複数の部分点群データそれぞれと、当該部分点群データに対して位置関係特定部１３４が特定した位置関係とに基づいて、複数の部分点群データそれぞれに対応する物体を認識する。認識部１３５は、学習部１３１が生成し、記憶部１２に記憶されている物体認識モデル１２３に対し、分割部１３３により分割された部分点群データと、当該部分点群データに対して位置関係特定部１３４が特定した位置関係を示す位置関係情報とを入力し、物体認識モデル１２３から出力されたラベル（例えば物体名）を取得することにより、当該部分点群データに対応する物体を認識する。

【0054】

例えば、認識部１３５は、複数の部分点群データの中から一つ部分点群データを選択する。認識部１３５は、物体認識モデル１２３に対し、選択された一つの部分点群データと、当該一つの部分点群データに対して特定された位置関係を示す位置関係情報とのセットを入力することにより、物体認識モデル１２３から、当該一つの部分点群データに対応するラベルを取得する。認識部１３５は、複数の部分点群データの中から、未選択の一つの部分点群データを選択し、当該一つの部分点群データと、当該一つの部分点群データに対応する位置関係情報とのセットを物体認識モデル１２３に入力して、ラベルを取得する処理を繰り返すことにより、複数の部分点群データに対応する物体を認識する。

【0055】

なお、認識部１３５は、認識された物体の他の物体との位置関係が、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎのいずれかである場合、当該物体に対応して予め定められている三次元モデルの点群データと、当該物体の部分点群データとを比較して、当該部分点群データに対し、他の物体により取得できなかった点群を補うようにしてもよい。

【0056】

属性特定部１３６は、認識部１３５が認識した物体に対応する部分点群データに基づいて、物体の種類、物体の位置、物体が向いている方向、物体の形状、物体の面積、物体の体積、物体の状態の少なくともいずれかを物体の属性として特定する。例えば、属性特定部１３６は、認識部１３５が認識した物体に対応する部分点群データに基づいて物体の表面を推定し、当該物体の３次元モデルを生成する。属性特定部１３６は、生成した３次元モデルの表面の面積、体積、幾何学形状を特定するとともに、当該物体の位置、及び当該物体の正面方向が向いている方向を特定する。

【0057】

また、記憶部１２には、予め部分点群データと、物体の種類と、物体の状態とのセットを教師データとして学習した属性特定モデルが記憶されている。属性特定部１３６は、属性特定モデルに対し、認識された物体の部分点群データを入力し、属性特定モデルから、物体の種類、物体の状態を示す情報を出力することにより、物体の種類及び物体の状態を特定する。

【0058】

記憶制御部１３７は、属性特定部１３６が特定した物体の属性を記憶部１２に記憶させる。例えば、記憶制御部１３７は、認識部１３５が認識した物体を識別するための物体ＩＤを生成する。記憶制御部１３７は、生成した物体ＩＤと、認識部１３５が当該物体を認識した日付と、認識部１３５が取得したラベルと、属性特定部１３６が特定した物体の属性を示す属性情報とを関連付けて物体情報として記憶部１２の物体ＤＢ１２４に記憶させる。

【0059】

［物体の状態変化の検出］
続いて、制御部１３が物体の状態の変化を検出する処理について説明する。制御部１３の点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、及び属性特定部１３６、記憶制御部１３７、検出部１３８、及び通知部１３９は、協働することにより認識した物体の状態変化を検出し、施設のユーザ等に通知する。以下、物体の状態変化の検出に係る点群データ取得部１３２、分割部１３３、位置関係特定部１３４、認識部１３５、及び属性特定部１３６、記憶制御部１３７、検出部１３８、及び通知部１３９の機能の詳細を説明する。

【0060】

まず、点群データ取得部１３２は、複数の異なる時刻それぞれの点群データを取得する。
例えば、物体の状態の変化を毎日検出する場合、点群データ取得部１３２は、撮影装置２から映像データを毎日取得する。点群データ取得部１３２は、映像データを取得したタイミングで、当該映像データから点群データを取得する。これにより、点群データ取得部１３２は、毎日取得する映像データそれぞれに対応する点群データを取得する。

【0061】

続いて、分割部１３３は、点群データ取得部１３２が取得した、複数の異なる時刻それぞれの点群データを複数の部分点群データに分割する。例えば、分割部１３３は、点群データ取得部１３２が点群データを取得したことに応じて、当該点群データを分割モデル１２１に入力し、分割モデル１２１から複数の部分点群データを取得することにより、当該点群データを複数の部分点群データに分割する。

【0062】

続いて、位置関係特定部１３４は、複数の異なる時刻それぞれに対して分割された複数の部分点群データそれぞれに対し位置関係を特定する。例えば、位置関係特定部１３４は、分割部１３３が点群データを複数の部分点群データに分割したことに応じて、当該複数の部分点群データそれぞれを位置関係特定モデル１２２に入力し、位置関係特定モデル１２２から位置関係情報を取得することにより、位置関係を特定する。

【0063】

続いて、認識部１３５は、複数の異なる時刻に対応する複数の部分点群データそれぞれと、複数の異なる時刻に対応する当該部分点群データに対して位置関係特定部１３４が特定した位置関係とに基づいて、複数の異なる時刻に対応する複数の部分点群データそれぞれに対応する物体を特定する。例えば、認識部１３５は、位置関係特定部１３４が、複数の部分点群データそれぞれに対して位置関係を特定したことに応じて、当該部分点群データと、当該位置関係とを物体認識モデル１２３に入力し、物体認識モデル１２３から物体のラベルを取得することにより、物体を認識する。

【0064】

続いて、属性特定部１３６は、複数の異なる時刻に対応して認識部１３５が認識した物体の属性を特定する。例えば、属性特定部１３６は、認識部１３５が物体を認識したことに応じて、当該物体に対応する部分点群データに基づいて当該物体の属性を特定する。記憶制御部１３７は、認識された物体の物体ＩＤと、認識部１３５が当該物体を認識した日付と、認識部１３５が取得したラベルと、属性特定部１３６が特定した物体の属性を示す属性情報とを関連付けて物体情報として記憶部１２の物体ＤＢ１２４に記憶させる。これにより、複数の異なる時刻それぞれに対応する物体情報が物体ＤＢ１２４に記憶される。

【0065】

検出部１３８は、複数の異なる時刻に対応して属性特定部１３６が特定した物体の属性に基づいて、物体の属性の変化を検出する。例えば、検出部１３８は、物体ＤＢ１２４に記憶されている複数の異なる時刻それぞれに対応する物体情報を参照し、複数の異なる時刻それぞれにおいて検出された同一の物体を特定する。例えば、検出部１３８は、物体情報が示す物体の物体名、属性情報に含まれる設置位置、形状、長さ、体積の一致率に基づいて、複数の異なる時刻それぞれにおいて検出された同一の物体を特定する。検出部１３８は、最新の時刻において検出された物体の物体情報に含まれる物体の状態が、直前の時刻において検出された物体の物体情報に含まれる物体の状態と異なる場合に、物体の属性が変化したことを検出する。

【0066】

なお、検出部１３８は、複数の異なる時刻それぞれに対応する物体情報を参照し、新たに物体が認識されたことを検出したり、認識されていた物体が認識されなくなったりしたことを検出してもよい。

【0067】

通知部１３９は、検出部１３８が検出した物体の属性の変化を通知する。例えば、通知部１３９は、物体の属性が変化したことを検出部１３８が検出すると、当該物体に対応する最新の物体情報を、端末３に通知する。なお、通知部１３９は、新たに物体が認識されたこと又は認識されていた物体が認識されなくなったことを検出部１３８が検出した場合、当該物体の最新の物体情報を端末３に通知してもよい。

【0068】

［動作フロー］
続いて、情報処理装置１の処理の流れについて説明する。図５は、情報処理装置１が物体の状態の変化を検出する処理の流れを示すフローチャートである。なお、図５に係る処理の前に、分割モデル１２１、位置関係特定モデル１２２、物体認識モデル１２３が生成されて記憶部１２に記憶されているとともに、過去に認識された物体の物体情報が記憶部１２に記憶されているものとする。

【0069】

まず、点群データ取得部１３２は、撮影装置２から、映像データを取得すると、当該映像データに基づいて点群データを取得する（Ｓ１）。
続いて、分割部１３３は、点群データ取得部１３２が取得した点群データを複数の部分点群データに分割することにより、複数の点群データを取得する（Ｓ２）。

【0070】

続いて、位置関係特定部１３４は、分割された複数の部分点群データそれぞれに対し位置関係を特定する（Ｓ３）。
続いて、認識部１３５は、分割された複数の部分点群データと、分割された複数の部分点群データそれぞれに対して特定された位置関係とに基づいて、物体のラベルを特定することにより、物体を認識する（Ｓ４）。

【0071】

続いて、属性特定部１３６は、認識された物体に対応する部分点群データに基づいて、物体の属性を特定する（Ｓ５）。
続いて、記憶制御部１３７は、認識された物体の物体ＩＤと、認識部１３５が当該物体を認識した日付と、認識部１３５が特定したラベルと、属性特定部１３６が特定した物体の属性を示す属性情報とを関連付けて物体情報として物体ＤＢ１２４に記憶させる（Ｓ６）。

【0072】

続いて、検出部１３８は、物体ＤＢ１２４を参照し、複数の異なる時刻に対応して属性特定部１３６が特定した物体の属性に基づいて、状態が変化した物体があるか否かを判定する（Ｓ７）。検出部１３８は、状態が変化した物体があると判定すると（Ｓ７のＹＥＳ）、状態が変化した物体に対応する最新の物体情報を端末３に通知する（Ｓ８）。検出部１３８は、状態が変化した物体がないと判定すると（Ｓ７のＮＯ）、本フローチャートに係る処理を終了する。

【0073】

［変形例］
上述の実施の形態において、位置関係特定部１３４は、部分点群データに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係として、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎのうち、いずれかの位置関係を特定したが、これに限らない。位置関係特定部１３４は、部分点群データが示す物体と、当該物体と異なる物体との位置関係として、部分点群データに対応する点群の密度を特定してもよい。

【0074】

撮影装置２からの距離が相対的に近い物体は、撮影装置２からの距離が相対的に遠い物体に比べて、画像データに含まれる物体の領域が多くなることから、特徴点が多くなる。このため、撮影装置２からの距離が相対的に近い物体に対応する部分点群データの点群の密度は、撮影装置２からの距離が相対的に遠い物体に対応する部分点群データの点群の密度よりも高くなる。したがって、情報処理装置１は、部分点群データに対応する点群の密度は、部分点群データが示す物体と、当該物体と異なる物体との位置関係を示すこととなる。

【0075】

この場合、物体認識モデル１２３は、部分点群データと、当該部分点群データに対応する位置関係を示す点群の密度情報とが入力されると、認識した物体を識別するためのラベルを出力するものであってもよい。認識部１３５は、当該物体認識モデル１２３に対し、部分点群データと、密度情報とを入力し、認識した物体を識別するためのラベルを取得することにより、物体を認識してもよい。このようにすることで、認識部１３５は、位置関係として、Ｄｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎを特定し、当該位置関係に基づいて物体を認識する場合と同様に、物体の認識精度を向上させることができる。

【0076】

また、位置関係を示すＤｉｓｊｏｉｎ、Ｉｎｓｉｄｅ、Ｍｅｅｔ、ＣｏｖｅｒｅｄＢｙ、Ｏｖｅｒｌａｐ、Ｃｏｎｔａｉｎを第１位置関係情報とし、部分点群データに対応する点群の密度を示す密度情報を第２位置関係情報としてもよい。そして、物体認識モデル１２３は、部分点群データと、当該部分点群データに対応する位置関係を示す第１位置関係情報及び第２位置関係情報とが入力されると、認識した物体を識別するためのラベルを出力するものであってもよい。このような物体認識モデル１２３を用いて物体を認識することにより、物体の認識精度をさらに向上させることができる。

【0077】

また、上述の実施の形態において、情報処理装置１は、分割モデル１２１、物体認識モデル１２３を用いて、部分点群データの取得、物体の認識を行うこととしたが、これに限らない。予め分割する物体の種類、認識する物体のラベルが定められている場合、情報処理装置１は、ｋ－ｍｅａｎｓクラスタリングを用いて、部分点群データの取得、物体の認識を行うことしてもよい。

【0078】

［情報処理装置１による効果］
以上説明したように、本実施の形態に係る情報処理装置１は、複数の物体それぞれに対応する複数の三次元座標を含む点群データを取得し、取得した点群データを複数の物体それぞれを示す点群データである部分点群データに分割する。情報処理装置１は、分割された複数の部分点群データそれぞれに対し、当該部分点群データが示す物体と、当該物体と異なる物体との位置関係を特定し、分割された複数の部分点群データそれぞれと、当該部分点群データに対して特定した位置関係とに基づいて、複数の部分点群データそれぞれに対応する物体を認識する。このようにすることで、情報処理装置１は、物体の認識精度を向上させることができる。

【0079】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0080】

１ 情報処理装置
２ 撮影装置
３ 端末
１１ 通信部
１２ 記憶部
１３ 制御部
１２１ 分割モデル
１２２ 位置関係特定モデル
１２３ 物体認識モデル
１２４ 物体ＤＢ
１３１ 学習部
１３２ 点群データ取得部
１３３ 分割部
１３４ 位置関係特定部
１３５ 認識部
１３６ 属性特定部
１３７ 記憶制御部
１３８ 検出部
１３９ 通知部

【図1】

【図2】

【図3】

【図4】

【図5】