特許 7395705 推定装置、推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-01

(45)【発行日】2023-12-11

(54)【発明の名称】推定装置、推定方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231204BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 24

(21)【出願番号】P 2022197944

(22)【出願日】2022-12-12

(62)【分割の表示】P 2019158675の分割

【原出願日】2019-08-30

(65)【公開番号】P2023017091

(43)【公開日】2023-02-02

【審査請求日】2022-12-12

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】中村 徳裕

(72)【発明者】

【氏名】関 晃仁

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１９－００３５２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

第１点群データを取得する取得部と、
前記第１点群データから、所定の選択確率にしたがって、所定の数の観測点を選択する観測点選択部と、
前記第１点群データから、属性の推定対象として注目される注目点と、少なくとも１つの前記観測点と、が結合された第２点群データを生成する生成部と、
前記第２点群データを使用して、前記属性に属する所属確率を、前記属性毎に算出することによって、前記注目点の属性を推定する推定部と、を備え、
前記生成部は、
前記第１点群データから前記注目点を選択する注目点選択部と、
前記観測点毎に、前記観測点を表すベクトルの要素と、前記注目点を表すベクトルの要素とを結合した結合ベクトルを生成する結合部と、を備え、
前記第２点群データは、前記結合ベクトルの成分を配列したテンソルによって表される、
推定装置。

【請求項2】

前記推定部は、前記第２点群データが入力される入力層と、前記属性毎の所属確率を出力する出力層とを含むニューラルネットワークによって、前記属性毎に前記所属確率を算出する、
請求項１に記載の推定装置。

【請求項3】

前記生成部は、前記第２点群データの生成処理を所定の回数だけ繰り返し、
前記推定部は、所定の回数だけ生成された前記第２点群データ毎に、前記所属確率を算出し、
前記第２点群データ毎に算出された所属確率に基づいて、前記属性毎に統合確率を算出する統合部、
を更に備える請求項１に記載の推定装置。

【請求項4】

前記統合確率は、前記所定の回数だけ生成された第２点群データ毎に算出された複数の所属確率の平均である、
請求項３に記載の推定装置。

【請求項5】

前記統合確率がより大きい属性を、前記注目点の属性に決定する決定部、
を更に備える請求項３に記載の推定装置。

【請求項6】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出する算出部を更に備え、
前記決定部は、前記信頼度が信頼度閾値以下の場合、更に所定の追加回数、前記第２点群データの生成、及び、前記所属確率の算出を繰り返すことを決定し、前記所定の追加回数だけ更に算出された所属確率に更に基づいて算出された前記統合確率によって、前記注目点の属性を決定する、
請求項５に記載の推定装置。

【請求項7】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出する算出部と、
前記信頼度が信頼度閾値以下である、または、属性が決定されていない未決定注目点の属性及び信頼度を、前記未決定注目点との距離が距離閾値以下であり、かつ、前記信頼度が信頼度閾値より大きい注目点の属性及び信頼度によって補正する補正部と、
を更に備える請求項５に記載の推定装置。

【請求項8】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出する算出部と、
前記信頼度に基づいて、前記注目点に対応する第１点群データの点の信頼度を示す信頼度マップの表示制御をする表示制御部と、
を更に備える請求項５に記載の推定装置。

【請求項9】

第１点群データを取得するステップと、
前記第１点群データから、所定の選択確率にしたがって、所定の数の観測点を選択するステップと、
前記第１点群データから、属性の推定対象として注目される注目点と、少なくとも１つの前記観測点と、が結合された第２点群データを生成するステップと、
前記第２点群データを使用して、前記属性に属する所属確率を、前記属性毎に算出することによって、前記注目点の属性を推定するステップと、を含み、
前記生成するステップは、
前記第１点群データから前記注目点を選択するステップと、
前記観測点毎に、前記観測点を表すベクトルの要素と、前記注目点を表すベクトルの要素とを結合した結合ベクトルを生成するステップと、を含み、
前記第２点群データは、前記結合ベクトルの成分を配列したテンソルによって表される、
推定方法。

【請求項10】

前記推定するステップは、前記第２点群データが入力される入力層と、前記属性毎の所属確率を出力する出力層とを含むニューラルネットワークによって、前記属性毎に前記所属確率を算出する、
請求項９に記載の推定方法。

【請求項11】

前記第２点群データを生成するステップは、前記第２点群データの生成処理を所定の回数だけ繰り返し、
前記推定するステップは、所定の回数だけ生成された前記第２点群データ毎に、前記所属確率を算出し、
前記第２点群データ毎に算出された所属確率に基づいて、前記属性毎に統合確率を算出するステップ、
を更に含む請求項９に記載の推定方法。

【請求項12】

前記統合確率は、前記所定の回数だけ生成された第２点群データ毎に算出された複数の所属確率の平均である、
請求項１１に記載の推定方法。

【請求項13】

前記統合確率がより大きい属性を、前記注目点の属性に決定するステップ、
を更に含む請求項１１に記載の推定方法。

【請求項14】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出するステップを更に含み、
前記決定するステップは、前記信頼度が信頼度閾値以下の場合、更に所定の追加回数、前記第２点群データの生成、及び、前記所属確率の算出を繰り返すことを決定し、前記所定の追加回数だけ更に算出された所属確率に更に基づいて算出された前記統合確率によって、前記注目点の属性を決定する、
請求項１３に記載の推定方法。

【請求項15】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出するステップと、
前記信頼度が信頼度閾値以下である、または、属性が決定されていない未決定注目点の属性及び信頼度を、前記未決定注目点との距離が距離閾値以下であり、かつ、前記信頼度が信頼度閾値より大きい注目点の属性及び信頼度によって補正するステップと、
を更に含む請求項１３に記載の推定方法。

【請求項16】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出するステップと、
前記信頼度に基づいて、前記注目点に対応する第１点群データの点の信頼度を示す信頼度マップの表示制御をするステップと、
を更に含む請求項１３に記載の推定方法。

【請求項17】

コンピュータを、
第１点群データを取得する取得部と、
前記第１点群データから、所定の選択確率にしたがって、所定の数の観測点を選択する観測点選択部と、
前記第１点群データから、属性の推定対象として注目される注目点と、少なくとも１つの前記観測点と、が結合された第２点群データを生成する生成部と、
前記第２点群データを使用して、前記属性に属する所属確率を、前記属性毎に算出することによって、前記注目点の属性を推定する推定部、として機能させ、
前記生成部は、
前記第１点群データから前記注目点を選択する注目点選択部と、
前記観測点毎に、前記観測点を表すベクトルの要素と、前記注目点を表すベクトルの要素とを結合した結合ベクトルを生成する結合部と、を備え、
前記第２点群データは、前記結合ベクトルの成分を配列したテンソルによって表される、
プログラム。

【請求項18】

前記推定部は、前記第２点群データが入力される入力層と、前記属性毎の所属確率を出力する出力層とを含むニューラルネットワークによって、前記属性毎に前記所属確率を算出する、
請求項１７に記載のプログラム。

【請求項19】

前記生成部は、前記第２点群データの生成処理を所定の回数だけ繰り返し、
前記推定部は、所定の回数だけ生成された前記第２点群データ毎に、前記所属確率を算出し、
前記第２点群データ毎に算出された所属確率に基づいて、前記属性毎に統合確率を算出する統合部、
を更に備える請求項１７に記載のプログラム。

【請求項20】

前記統合確率は、前記所定の回数だけ生成された第２点群データ毎に算出された複数の所属確率の平均である、
請求項１９に記載のプログラム。

【請求項21】

前記統合確率がより大きい属性を、前記注目点の属性に決定する決定部、
を更に備える請求項１９に記載のプログラム。

【請求項22】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出する算出部を更に備え、
前記決定部は、前記信頼度が信頼度閾値以下の場合、更に所定の追加回数、前記第２点群データの生成、及び、前記所属確率の算出を繰り返すことを決定し、前記所定の追加回数だけ更に算出された所属確率に更に基づいて算出された前記統合確率によって、前記注目点の属性を決定する、
請求項２１に記載のプログラム。

【請求項23】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出する算出部と、
前記信頼度が信頼度閾値以下である、または、属性が決定されていない未決定注目点の属性及び信頼度を、前記未決定注目点との距離が距離閾値以下であり、かつ、前記信頼度が信頼度閾値より大きい注目点の属性及び信頼度によって補正する補正部と、
を更に備える請求項２１に記載のプログラム。

【請求項24】

前記統合確率に基づいて推定の信頼性を示す信頼度を算出する算出部と、
前記信頼度に基づいて、前記注目点に対応する第１点群データの点の信頼度を示す信頼度マップの表示制御をする表示制御部と、
を更に備える請求項２１に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は推定装置、推定方法及びプログラムに関する。

【背景技術】

【0002】

プラント・社会インフラの老朽化の進行に伴い、それらの維持管理、および修繕に対する要求が増加していることから、現状を計測してデジタル的に管理する試みが行われている。こういった試みは重要箇所を画像で管理するなどが主であったが、全体像の把握のしやすさや物理的な解析への適用可能性などから、近年では三次元データによる管理が行われ始めている。なかでも、レーザーレンジファインダの軽量化・低価格化などを背景に、点群データの蓄積が進んでいる。これらを実際に活用する際には、点群データを編集して不要なデータを削除したり、蓄積されたデータを元にＣＡＤで利用可能なデータを作成したりする必要がある。この作業は現在人手で行われており、非常に手間のかかる作業となっている。そこで、点群データの位置やそれに付随する色情報などから各点が何を表現するかを自動推定する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－００８５７１号公報

【非特許文献】

【0004】

【文献】Ｃ． Ｑｉ ｅｔ ａｌ．， ＰｏｉｎｔＮｅｔ： Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｏｎ Ｐｏｉｎｔ Ｓｅｔｓ ｆｏｒ ３Ｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ、ＣＶＰＲ ２０１７

【文献】Ｙ． Ｇａｌ ｅｔ ａｌ．， Ｄｒｏｐｏｕｔ ａｓ ａ Ｂａｙｅｓｉａｎ Ａｐｐｒｏｘｉｍａｔｉｏｎ：Ｒｅｐｒｅｓｅｎｔｉｎｇ Ｍｏｄｅｌ Ｕｎｃｅｒｔａｉｎｔｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、ＩＣＭＬ， ２０１６．

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、点群データの属性の推定精度を向上させることが難しかった。

【課題を解決するための手段】

【0006】

実施形態の推定装置は、取得部と観測点選択部と生成部と推定部とを備える。取得部は、第１点群データを取得する。観測点選択部は、前記第１点群データから、所定の選択確率にしたがって、所定の数の観測点を選択する。生成部は、前記第１点群データから、属性の推定対象として注目される注目点と、少なくとも１つの前記観測点と、が結合された第２点群データを生成する。推定部は、前記第２点群データを使用して、前記属性に属する所属確率を、前記属性毎に算出することによって、前記注目点の属性を推定する。前記生成部は、注目点選択部と結合部とを備える。注目点選択部は、前記第１点群データから前記注目点を選択する。結合部は、前記観測点毎に、前記観測点を表すベクトルの要素と、前記注目点を表すベクトルの要素とを結合した結合ベクトルを生成する。前記第２点群データは、前記結合ベクトルの成分を配列したテンソルによって表される。

【図面の簡単な説明】

【0007】

【図1】第１実施形態の推定装置の機能構成の例を示す図。

【図2】第１実施形態の第２点群データの例を示す図。

【図3】第１実施形態の推定部の動作例を説明するための図。

【図4】第１実施形態の推定方法の例を示すフローチャート。

【図5】第２実施形態の推定装置の機能構成の例を示す図。

【図6】第２実施形態の推定方法の例を示すフローチャート。

【図7】第３実施形態の推定装置の機能構成の例を示す図。

【図8】第３実施形態の補正部の動作例を説明するための図。

【図9】第３実施形態の推定方法の例を示すフローチャート。

【図10】第４実施形態の推定装置の機能構成の例を示す図。

【図11】第４実施形態の信頼度マップの例を示す図。

【図12】第１乃至第４実施形態の推定装置のハードウェア構成の例を示す図。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、推定装置、推定方法及びプログラムの実施形態を詳細に説明する。

【0009】

（第１実施形態）
はじめに、第１実施形態の推定装置１００の機能構成の例について説明する。

【0010】

［機能構成の例］
図１は第１実施形態の推定装置１００の機能構成の例を示す図である。第１実施形態の推定装置１００は、取得部１、入力データ生成部２及び推定部３を備える。入力データ生成部２は、注目点選択部２１、観測点選択部２２及び結合部２３を備える。

【0011】

図１に示す各機能は、別々の装置によって実現されていてもよい。この場合、各装置は、通信網を介して、直接的、又は間接的に通信可能な状態となっており、各装置は、点群データ等を相互に送受信することが可能である。通信網の種類は任意であり、例えば各装置は、建物内に設置されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、相互に通信可能な形態であってもよい。また、例えば各装置は、インターネット等のネットワーク（クラウド）を介して、相互に通信可能な形態であってもよい。

【0012】

取得部１は、外部記憶装置や３次元計測装置等から識別対象となる第１点群データＸを取得する。第１点群データＸは少なくとも３次元の位置座標（ｘ，ｙ，ｚ）を含む。なお、第１点群データＸには、計測方法によっては色情報（ｒ，ｇ，ｂ）、及びレーザーの反射強度情報ｉ等が含まれていてもよい。また、種々の方法で事前に計算された情報がある場合にはそれが含まれても良い。

【0013】

外部記憶装置としては、ハードディスクやＣＤなどの記憶メディアに限らず、通信網で接続されたサーバ装置が含まれる。３次元計測装置としては、レーザーレンジファインダや、ステレオカメラ等が挙げられる。ステレオカメラの場合には、画像ベースで各ピクセルの奥行を推定することで３次元点を得ることができる。

【0014】

注目点選択部２１は、取得部１で取得された第１点群データＸから、属性の推定対象として注目される注目点Ｃｐを選択する。属性は、例えば注目点Ｃｐが何を表す点であるのかを特定する情報を示す。

【0015】

説明の簡単のため、以降では注目点Ｃｐが１点であった場合を例にして説明するが、注目点選択部２１は、複数の注目点Ｃｐを選択することも可能である。複数の注目点Ｃｐが選択される場合には、各注目点Ｃｐに対し、個別に処理を適用すればよい。

【0016】

観測点選択部２２は、取得部１で取得された第１点群データＸから、あらかじめ決められた数ｍだけランダムに観測点ｓを選択する。以降では、選択された複数の観測点ｓの集合を観測点群Ｓと呼ぶ。なお、観測点群Ｓの選択方法はランダムに限定されるものではなく、ある一定の確率分布（選択確率）に従って無作為に選択されていればよい。そのため、観測点群Ｓは、均等な選択確率以外の選択確率で選択されてもよい。

【0017】

結合部２３は、注目点Ｃｐと観測点群Ｓとから、注目点Ｃｐの属性を推定するための入力データとして、第２点群データＸ’を生成する。

【0018】

図２は第１実施形態の第２点群データＸ’の例を示す図である。結合部２３は、図２に示すように、観測点群Ｓと注目点Ｃｐとを結合して、第２点群データＸ’を１つのデータ単位として構成する。具体的には、結合部２３は、観測点群Ｓの元ｓｉ（０≦ｉ＜ｍ，ｍはＳに含まれる観測点の数）と注目点Ｃｐとを結合する処理をＳの全ての元について行う。図中ではｃｈが結合される次元に対応し、結合後のｃｈは、観測点ｓｉの要素数と注目点Ｃｐの要素数とを合計した値となる。観測点ｓｉはｍ種類あるため、注目点Ｃｐ１つに対し、ｍ種類のベクトルが得られることになる。これをテンソルの形でまとめたものが第２点群データＸ’となる。

【0019】

なお、図２では、簡単のため、注目点Ｃｐが１点の場合で説明しているが、注目点Ｃｐがｎ個選択されている場合には、第２点群データＸ’は、ｎ×ｍ×ｃｈのテンソルになる。

【0020】

図１に戻り、推定部３では、結合部２３で生成された第２点群データＸ’を入力とした深層学習により、注目点Ｃｐの属性を推定する。

【0021】

図３は第１実施形態の推定部３の動作例を説明するための図である。Ｆ（Ｘ）は深層学習ネットワークを表現する関数である。図３に示すように、推定部３は、第２点群データＸ’をｎ方向に分割したＸ’１～Ｘ’ｎを、ニューラルネットワーク２００に入力する。ニューラルネットワーク２００は、例えばＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。

【0022】

推定部３は、Ｘ’１～Ｘ’ｎのｃｈ方向を、ニューラルネットワーク２００の全結合層により畳み込む。このとき、ｍ方向には畳み込まないことに注意する。これにより全結合層で畳み込まれた同じ長さの特徴ベクトル群ｆ１～ｆｍが得られる。

【0023】

推定部３は、この特徴ベクトル群ｆ１～ｆｍに対して対称関数を適用し、得られた特徴ベクトル群を考慮した１つの特徴ベクトルｆ’を得る。具体的には、推定部３は、要素ごとに最大値をとる操作ｍａｘｐｏｏｌｉｎｇを行い、１つのベクトルに変換することで最終的な注目点の特徴ベクトルｆ’１～ｆ’ｎを得る。これが、注目点ＣｐのＬｏｇｉｔとなる。

【0024】

推定部３が、このＬｏｇｉｔに対し、一般的な深層学習で行われているように、ｓｏｆｔｍａｘ関数で０～１の確率で扱える値に変換することで、属性に属する確率を示す所属確率を得る。すなわち、推定部３は、第２点群データＸ’が入力される入力層と、属性毎の所属確率を出力する出力層とを含むニューラルネットワーク２００によって、属性毎に所属確率を算出する。

【0025】

なお、ｆ’の要素数が属性数ｃと一致しない場合、ｆ’にさらに全結合層を適用し、あらかじめ想定していた属性数ｃと同じ長さのベクトルに調整すればよい。

【0026】

なお、深層学習による畳み込みの係数はあらかじめ学習等により決定されているものとする。例えば、第１実施形態と同様の手順で最終的に出力される所属確率を真値と比較し、そのずれに応じて係数を調整する操作を繰り返せばよい。そのほかにも、深層学習の分野で係数を学習する際に行われる種々の方法を用いて決定してよい。

【0027】

また、上記では対称関数としてｍａｘｐｏｏｌｉｎｇを用いたが、これに限定する必要はない。計算結果が特徴ベクトル群ｆ１～ｆｍの順序に左右されない対称関数であればよい。ｍａｘｐｏｏｌｉｎｇは、例えば要素ごとの合計、平均などで置き換えることが可能である。さらに、ｆ’を第１点群データＸにおける事前に計算された情報としてもよい。この場合、ｆ’を点群データＸの各点に付加した状態で前述した処理を行えばよい。

【0028】

次に第１実施形態の推定方法の例について説明する。

【0029】

［推定方法の例］
図４は第１実施形態の推定方法の例を示すフローチャートである。はじめに、取得部１が、外部記憶装置や３次元計測装置等から第１点群データを取得する（ステップＳ１）。次に、注目点選択部２１が、ステップＳ１の処理によって取得された第１点群データＸから、属性の推定対象として注目される注目点Ｃｐを選択する（ステップＳ２）。

【0030】

次に、観測点選択部２２が、ステップＳ１の処理のよって取得された第１点群データＸから、ｍ個の観測点ｓｉ（０≦ｉ＜ｍ）を含む観測点群Ｓを選択する（ステップＳ３）。

【0031】

次に、結合部２３が、注目点Ｃｐと観測点群Ｓとから、注目点Ｃｐの属性を推定するための入力データとして、第２点群データＸ’を生成する（ステップＳ４）。ｃｏｎｃａｔは、観測点ｓｉの座標成分と、前記注目点Ｃｐの座標成分とを結合したベクトルを生成する。第２点群データＸ’は、当該ベクトルの成分を配列したテンソルによって表される（図２参照）。

【0032】

次に、推定部３が、ニューラルネットワーク２００（ＤＮＮ）に第２点群データＸ’を入力し、出力ｙ’を得る（ステップＳ５）。出力ｙ’は、例えば属性毎の所属確率を示す０～１の範囲の値である。

【0033】

以上説明したように、第１実施形態の推定装置１００では、取得部１が、第１点群データＸを取得する。入力データ生成部２が、第１点群データＸから、属性の推定対象として注目される注目点Ｃｐと、少なくとも１つの観測点ｓと、が結合された第２点群データＸ’を生成する。そして、推定部３が、第２点群データＸ’を使用して、属性に属する所属確率を、属性毎に算出することによって、注目点Ｃｐの属性を推定する。

【0034】

第１実施形態の推定装置１００によれば、点群データＸにより表される形状全体を、リサンプリング（観測点群Ｓ）により近似し、それを注目点Ｃｐとあわせるように構成（第２点群データＸ’）することで、注目点Ｃｐの属性を決定する際に、明に計算に用いる点の選択範囲を設けず、形状全体を考慮することが可能となる。これにより第１実施形態の推定装置１００によれば、点群データＸの属性の推定精度を向上させることができる。

【0035】

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

【0036】

上述の第１実施形態では、形状をリサンプリングして近似することにより、実用的な処理コストで形状全体を考慮する方法について説明した。第２実施形態は、リサンプリングにより失われる情報を統計的に考慮することで、より正確に形状全体を考慮する部分が第１実施形態と異なる。

【0037】

［機能構成の例］
図５は第２実施形態の推定装置１００－２の機能構成の例を示す図である。第２実施形態の推定装置１００－２は、取得部１、入力データ生成部２、推定部３、統合部４及び決定部５を備える。入力データ生成部２は、注目点選択部２１、観測点選択部２２及び結合部２３を備える。

【0038】

第２実施形態では、統合部４及び決定部５が追加されている。以下に、第１実施形態と異なる処理について説明する。

【0039】

第２実施形態の観測点選択部２２、結合部２３及び推定部３は、所定の回数ＬｉｍＮだけ、上述のステップＳ３～ステップＳ５の処理を繰り返す点が第１実施形態と異なる。そのため、第２実施形態における推定部３の出力は、ＬｉｍＮ個のｃ次元のベクトルとなる。

【0040】

これは新規の点ｘが入力された場合の出力ｙの予測分布をベイズ推定していることと等価と考えることができる。また、非特許文献２のドロップアウトをＸに含まれる点を考慮しないことと置き換えると、同様の結論が導ける。

【0041】

ここで、上述のステップＳ３～ステップＳ５を繰り返す処理が、新規の点ｘが入力された場合の出力ｙの予測分布をベイズ推定していることと等価であることについて説明する。

【0042】

Ｎ個の入力データＸと出力Ｙが観測されているとき、新たなデータｘ＾（ｘ＾＜ｘハット＞はｘの上に＾のある記号を示す。）が与えられた場合に予測値ｙ＾（ｙ＾＜ｙハット＞はｙの上に＾のある記号を示す。）が従う分布は、下記式（１）で表される。

【0043】

【数1】

【0044】

このときのｐ（ｗ｜Ｘ，Ｙ）をそのまま求めるのは困難なため、パラメータθを持つ関数ｑ_θ（ｗ）を代わりに定義し、上記式（２）のように、その間の距離を最小化することで近似する。

【0045】

【数2】

【0046】

ここで定数項を整理し、ＶＩ（θ）を下記式（３）のように定義すると、下記式（４）が得られる。

【0047】

【数3】

【0048】

【数4】

【0049】

Ｘ，Ｙを独立と仮定し、ＶＩを全てのデータのうちのＭ個だけサンプルすると仮定するとともに、ｑ_θ（ｗ）をパラメータθを持たない分布ｐ（γ）で置き換えると、下記式（５）が得られる。

【0050】

【数5】

【0051】

上記式（５）の積分部分をモンテカルロ法で近似すると、下記式（６）が得られる。

【0052】

【数6】

【0053】

ここで、観測点が入力点群Ｘの全ての点とし、一般的なＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）を考えると、下記式（７）となる。なお、σは活性化関数である。

【0054】

【数7】

【0055】

さらに、対象関数部分を考慮に入れると、下記式（８）が得られる。

【0056】

【数8】

【0057】

実際にはある確率に従って観測点を選ぶので、下記式（９）のようになる。

【0058】

【数9】

【0059】

Ｚは観測点として選択された点に対応するｆ以外が０になるようなテンソルであり、第２実施形態の推定部３による上記の観測点選択と等価である。さらに活性化関数σにＲｅＬＵを選べば、下記式（１０）により表されるため、下記式（１１）が得られる。式（１１）中の中括弧内は関数で用いられるパラメータを示す。また、式中のｚは式（９）の観測点選択部分を個別の点ｘ向けに書き直したものであり、選択された場合には１、それ以外の場合には０となる。

【0060】

【数10】

【0061】

【数11】

【0062】

ｇ（θ，γ）を上記式（１１）の｛｝内のパラメータを作る関数と考えると、ｆ’がｙと一致するようにＷ，ｂを学習することは、前述したＶＩハットを最小化するパラメータを学習することと等価といえる。

【0063】

次に、統合部４及び決定部５の動作について説明する。

【0064】

統合部４は、第２点群データＸ’毎に算出された所属確率に基づいて、属性毎に統合確率を算出する。例えば統合部４は、推定部３から得られたＬｉｍＮ個のｃ次元ベクトルを平均することによって、ｃ次元ベクトルによって表された統合確率を得る。すなわち、統合確率は、例えば所定の回数だけ生成された第２点群データＸ’毎に算出された複数の所属確率の平均である。

【0065】

決定部５は、統合確率がより大きい属性を、注目点の属性に決定する。例えば決定部５は、統合部４から得られるｃ次元ベクトルの各要素（成分）のうち最大の値を持つ要素に対応する属性を、注目点の属性として出力する。

【0066】

次に第２実施形態の推定方法の例について説明する。

【0067】

［推定方法の例］
図６は第２実施形態の推定方法の例を示すフローチャートである。ステップＳ１１～ステップＳ１５の処理は、第１実施形態のステップＳ１～ステップＳ５の処理と同じなので、説明を省略する。

【0068】

統合部４は、ｙ’（または第２点群データＸ’）が所定の回数、生成されたか否かを判定する（ステップＳ１６）。所定の回数、ｙ’が生成されていない場合（ステップＳ１６，Ｎｏ）、ステップＳ１３の処理に戻る。

【0069】

所定の回数、ｙ’が生成された場合（ステップＳ１６，Ｙｅｓ）、統合部４は、ｙ’ｉ（０≦ｉ＜ＬｉｍＮ）を平均することによって、統合確率を算出する（ステップＳ１７）。

【0070】

第２実施形態の推論装置１００－２によれば、注目点Ｃｐの属性を推定する際に、統計的な枠組みを用いてより詳細に第１点群データＸの形状全体を考慮することが可能となる。

【0071】

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。

【0072】

上述の第２実施形態では、統計的な枠組みを用いて、より詳細に形状全体を考慮する方法について説明した。第３実施形態では、推定の信頼性を示す信頼度に基づいて、結果を補正する場合について説明する。

【0073】

［機能構成の例］
図７は第３実施形態の推定装置１００－３の機能構成の例を示す図である。第３実施形態の推定装置１００－３は、取得部１、入力データ生成部２、推定部３、統合部４、決定部５、算出部６及び補正部７を備える。入力データ生成部２は、注目点選択部２１、観測点選択部２２及び結合部２３を備える。

【0074】

第３実施形態では、算出部６及び補正部７が追加され、決定部５の動作が第２実施形態と異なる。以下に、第２実施形態と処理が異なる機能ブロックについて説明する。

【0075】

算出部６は、統合確率に基づいて推定の信頼性を示す信頼度を算出する。例えば、算出部６は、統合部４から出力されたｃ次元ベクトルに基づいて信頼度を算出する。信頼度の具体的な算出には、例えば下記式（１２）が用いられる。

【0076】

【数12】

【0077】

上記式（１２）は一般的なエントロピーであり、Ｐ（Ａ）がｃ次元ベクトルに対応する。エントロピーは大きいほどそれぞれの属性に対応する確率間に差がないことを示している。そのため、実際には、算出部６は、エントロピーに－１をかけて信頼度の形に変換する。

【0078】

決定部５は、信頼度が信頼度閾値以下の場合、更に所定の追加回数、第２点群データＸ’の生成、及び、所属確率の算出を繰り返すことを決定し、所定の追加回数だけ更に算出された所属確率に更に基づいて算出された統合確率によって、注目点Ｃｐの属性を決定する。

【0079】

補正部７は、未決定注目点の属性及び信頼度を、未決定注目点との距離が距離閾値以下であり、かつ、信頼度が信頼度閾値より大きい注目点の属性及び信頼度によって補正する。ここで、未決定注目点は、信頼度が信頼度閾値以下であるか、または、属性が決定されていない注目点である。補正部７の処理によって、第３実施形態の推定装置１００－３は、推定結果の信頼性をより安定させることができる。

【0080】

図８は第３実施形態の補正部７の動作例を説明するための図である。図８に示すように、補正部７は、未決定注目点（信頼度が閾値以下、または属性が未決定の点）の所属確率及び信頼度を破棄する。そして補正部７は、未決定注目点の近傍に存在し、かつ、信頼度が信頼度閾値より大きい注目点の属性によって、未決定注目点の所属確率及び信頼度を補正する。

【0081】

次に第３実施形態の推定方法の例について説明する。

【0082】

［推定方法の例］
図９は第３実施形態の推定方法の例を示すフローチャートである。ステップＳ２１～ステップＳ２７の処理は、第２実施形態のステップＳ１１～ステップＳ１７の処理と同じなので、説明を省略する。

【0083】

算出部６は、ステップＳ２７の処理によって算出された統合確率に基づいて、推定の信頼性を示す信頼度を算出する（ステップＳ２８）。

【0084】

次に、決定部５が、ステップＳ２８の処理によって算出された信頼度が、信頼度閾値以下であるか否かを判定する（ステップＳ２９）。信頼度閾値以下でない場合（ステップＳ２９，Ｎｏ）、処理を終了する。

【0085】

信頼度閾値以下である場合（ステップＳ２９，Ｙｅｓ）、推定装置１００－３は、更に所定の追加回数α、ステップＳ２３～ステップＳ２５の処理を実行する（ステップＳ３０）。次に、統合部４が、ｙ’ｉ（０≦ｉ＜ＬｉｍＮ＋α）を平均することによって、統合確率を算出する（ステップＳ３１）。

【0086】

次に、算出部６が、ステップＳ３１の処理によって算出された統合確率に基づいて、推定の信頼性を示す信頼度を算出する（ステップＳ３２）。

【0087】

次に、決定部５が、ステップＳ３２の処理によって算出された信頼度が、信頼度閾値以下であるか否かを判定する（ステップＳ３３）。信頼度が、信頼度閾値以下でない場合（ステップＳ３３，Ｎｏ）、処理を終了する。

【0088】

信頼度が、信頼度閾値以下である場合（ステップＳ３３，Ｙｅｓ）、補正部７が、注目点Ｃｐの属性及び信頼度を補正する（ステップＳ３４）。具体的には、補正部７が、注目点Ｃｐの近傍ｒの範囲で信頼度が信頼度閾値より大きい注目点Ｃｐを少なくとも１つ抽出する。次に、補正部７が、例えば抽出された注目点Ｃｐの属性のうち、最も多い属性により属性を補正し、当該属性の信頼度により信頼度を補正する。

【0089】

なお、上記では、抽出された注目点Ｃｐの属性のうち、最も多い属性の数を基準に補正したが、これに限るものではない。近傍の情報から補正を行う種々の方法を利用可能である。例えば補正部７は、抽出された注目点Ｃｐの属性ごとの統合確率を示すｃ次元ベクトルを平均し、平均されたｃ次元ベクトルに含まれる最も高い成分（要素）に対応する属性を、補正に用いる方法も考えられる。

【0090】

また、上述の図９のフローチャートの処理は一例であり、適宜、処理を変更してもよい。例えば、ステップＳ３０及びステップＳ３４の両方の処理を実行せずに、いずれか一方の処理を実行するようにしてもよい。

【0091】

以上説明したように、第３実施形態の推定装置１００－３によれば、注目点Ｃｐごとの信頼度に基づいて推定結果を補正し、より安定性の高い属性推定を行うことが可能となる。

【0092】

（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、第３実施形態と同様の説明については省略し、第３実施形態と異なる箇所について説明する。

【0093】

上述の第３実施形態では、注目点Ｃｐごとに算出された信頼度に基づいて推定結果を補正する方法について説明した。第４実施形態では、信頼度を元に推定の信頼度合いを一覧するマップの表示を制御する方法について説明する。

【0094】

［機能構成の例］
図１０は第４実施形態の推定装置１００－４の機能構成の例を示す図である。第４実施形態の推定装置１００－４は、取得部１、入力データ生成部２、推定部３、統合部４、決定部５、算出部６、補正部７及び表示制御部８を備える。入力データ生成部２は、注目点選択部２１、観測点選択部２２及び結合部２３を備える。

【0095】

第４実施形態では、表示制御部８が追加されている。表示制御部８は、信頼度に基づいて、注目点Ｃｐに対応する第１点群データＸの点ｘの信頼度を示す信頼度マップの表示制御をする。

【0096】

図１１は第４実施形態の信頼度マップ３００の例を示す図である。表示制御部８は、図１１に示すように第１点群データＸが存在する空間を、例えば４つの小空間に分割し、それぞれの小空間に含まれる点群の信頼度を平均して小空間の信頼度を表す。信頼度の表現の仕方は任意でよい。信頼度は、例えば点ｘの色、または点ｘを含む小空間の色によって表されていてもよい。

【0097】

また、小空間の信頼度を決定する方法は平均に限られるものではなく、データ要約の種々の方法が考えられる。例えば、小空間の信頼度の決定に、中央値や分散を採用する方法も考えられる。

【0098】

第４実施形態の推定装置１００－４によれば、例えば追加計測が必要な領域の判別が可能となる。第４実施形態の推定装置１００－４は、例えば追加撮影や計測品質の点検などの際に、計画立案の一助として利用することができる。

【0099】

最後に第１乃至第４実施形態の推定装置１００－１乃至１００－４のハードウェア構成の例について説明する。以下では、第４実施形態の推定装置１００－４の場合を例にして説明する。なお、第１乃至第３実施形態の推定装置１００－１乃至１００－３の場合も、第４実施形態の推定装置１００－４と同様である。

【0100】

［ハードウェア構成の例］
図１２は第１乃至第４実施形態の推定装置１００－１乃至１００－４のハードウェア構成の例を示す図である。以下では、第４実施形態の推定装置１００－４の場合を例にして説明する。なお、第１乃至第３実施形態の推定装置１００－１乃至１００－３の場合も、第４実施形態の推定装置１００－４と同様である。

【0101】

第４実施形態の推定装置１００－４は、制御装置２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６を備える。制御装置２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６は、バス２１０を介して接続されている。

【0102】

制御装置２０１は、補助記憶装置２０３から主記憶装置２０２に読み出されたプログラムを実行する。主記憶装置２０２は、ＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びメモリカード等である。

【0103】

表示装置２０４は、推定装置１００－４によって出力される情報（例えば上述の信頼度マップ等）を表示する。表示装置２０４は、例えば液晶ディスプレイ等である。入力装置２０５は、推定装置１００－４を操作するためのインタフェースである。入力装置２０５は、例えばキーボードやマウス等である。推定装置１００－４がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置２０４及び入力装置２０５は、例えばタッチパネルである。

【0104】

通信装置２０６は、外部記憶装置や３次元計測装置等と通信するためのインタフェースである。

【0105】

第１乃至第４実施形態の推定装置１００－１乃至１００－４で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

【0106】

また第１乃至第４実施形態の推定装置１００－１乃至１００－４で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第４実施形態の推定装置１００－１乃至１００－４で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

【0107】

また第１乃至第４実施形態の推定装置１００－１乃至１００－４のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0108】

第１乃至第４実施形態の推定装置１００－１乃至１００－４で実行されるプログラムは、上述した機能ブロック（図１，５，７及び１０）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置２０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置２０２上にロードされる。すなわち上記各機能ブロックは主記憶装置２０２上に生成される。

【0109】

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

【0110】

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

【0111】

また第１乃至第４実施形態の推定装置１００－１乃至１００－４の動作形態は任意でよい。第１乃至第４実施形態の推定装置１００－１乃至１００－４を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

【0112】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0113】

１ 取得部
２ 生成部
３ 推定部
４ 統合部
５ 決定部
６ 算出部
７ 補正部
８ 表示制御部
２１ 注目点選択部
２２ 観測点選択部
２３ 結合部
１００ 推定装置
２０１ 制御装置
２０２ 主記憶装置
２０３ 補助記憶装置
２０４ 表示装置
２０５ 入力装置
２０６ 通信装置
２１０ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】