(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-07-24
(45)【発行日】2024-08-01
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240725BHJP
G01S 17/89 20200101ALI20240725BHJP
【FI】
G06T7/00 C
G01S17/89
(21)【出願番号】P 2023117731
(22)【出願日】2023-07-19
【審査請求日】2023-09-25
(73)【特許権者】
【識別番号】518301154
【氏名又は名称】株式会社Ridge-i
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】小原 裕輝
(72)【発明者】
【氏名】井手 秀徳
(72)【発明者】
【氏名】柳原 尚史
【審査官】松永 隆志
(56)【参考文献】
【文献】国際公開第2017/168472(WO,A1)
【文献】特開2021-39426(JP,A)
【文献】特開2020-95342(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G01S 17/89
(57)【特許請求の範囲】
【請求項1】
複数の器械点それぞれから光又は音波を出力させて物体から反射した光又は音波を前記器械点で得ることにより点群情報を取得する取得部と、
前記取得部によって取得した点群情報に記録される複数の点を含む3次元空間をボクセル状に分割する分割部と、
前記分割部によって分割した複数のボクセルそれぞれにおいて、各ボクセル内の複数の点それぞれが複数の器械点のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する付与部と、
前記ボクセル内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、当該点の特徴量の平均値を算出する算出部と、
前記各ボクセル内の複数の点全てを、前記算出部によって算出された平均値の1点に置き換えて、当該1点に対して、前記1点を算出する際に特定した器械点ラベルを付与する置換部と、
を備える情報処理装置。
【請求項2】
前記取得部によって取得した点群情報に基づいて、前記複数の器械点のうちいずれの器械点に対応して取得された点を特定する第1特定部と、
前記複数の器械点それぞれを基準にした、第1特定部によって特定した器械点に対応する点の球面座標系の座標値を取得し、当該座標値を点の特徴量として設定し、当該特徴量を算出部に提供する第1設定部と、
を備える請求項1に記載の情報処理装置。
【請求項3】
前記置換部によって置き換えられた後のデータにある複数の点のうちいずれか1つをクエリとして特定すると共に、当該クエリに隣接する複数の点それぞれを近傍点として特定する第2特定部と、
複数の前記近傍点毎に、前記置換部によって付与された器械点ラベルに基づいて前記近傍点に対応する器械点を特定し、前記クエリを基準にした当該器械点の球面座標系の座標値を近傍点としての点の特徴量として適用する第2設定部と、
を備える請求項1又は2に記載の情報処理装置。
【請求項4】
コンピュータが、
複数の器械点それぞれから光又は音波を出力させて物体から反射した光又は音波を前記器械点で得ることにより点群情報を取得する取得ステップと、
前記取得ステップによって取得した点群情報に記録される複数の点を含む3次元空間をボクセル状に分割する分割ステップと、
前記分割ステップによって分割した複数のボクセルそれぞれにおいて、各ボクセル内の複数の点それぞれが複数の器械点のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する付与ステップと、
前記ボクセル内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、当該点の特徴量の平均値を算出する算出ステップと、
前記各ボクセル内の複数の点全てを、前記算出ステップによって算出された平均値の1点に置き換えて、当該1点に対して、前記1点を算出する際に特定した器械点ラベルを付与する置換ステップと、
を実行する情報処理方法。
【請求項5】
コンピュータに、
複数の器械点それぞれから光又は音波を出力させて物体から反射した光又は音波を前記器械点で得ることにより点群情報を取得する取得機能と、
前記取得機能によって取得した点群情報に記録される複数の点を含む3次元空間をボクセル状に分割する分割機能と、
前記分割機能によって分割した複数のボクセルそれぞれにおいて、各ボクセル内の複数の点それぞれが複数の器械点のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する付与機能と、
前記ボクセル内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、当該点の特徴量の平均値を算出する算出機能と、
前記各ボクセル内の複数の点全てを、前記算出機能によって算出された平均値の1点に置き換えて、当該1点に対して、前記1点を算出する際に特定した器械点ラベルを付与する置換機能と、
を実現させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
測定点からレーザ光を出射し、物体で反射された反射光を測定点で受光することにより、点群情報を生成するLiDAR測定がある。特許文献1のシステムでは、LiDAR測定により得られる点群が球面座標系で表される。そのシステムは、点群を表す球面座標系をデカルト座標系に変換する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載されたシステムは、点群の座標系を変換するものであるが、座標系で表される座標値の利用については言及されていない。
また、LiDAR測定では多数の点で表される点群が取得されるが、演算においては、点群を構成する複数の点の数を少なくして行うことが望まれる場合もある。
【0005】
本開示は、点群に含まれる点の代表を取得することができる情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【課題を解決するための手段】
【0006】
一態様の情報処理装置は、複数の器械点それぞれから光又は音波を出力させて物体から反射した光又は音波を器械点で得ることにより点群情報を取得する取得部と、取得部によって取得した点群情報に記録される複数の点を含む3次元空間をボクセル状に分割する分割部と、分割部によって分割した複数のボクセルそれぞれにおいて、各ボクセル内の複数の点それぞれが複数の器械点のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する付与部と、ボクセル内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、その点の特徴量の平均値を算出する算出部と、各ボクセル内の複数の点全てを、算出部によって算出された平均値の1点に置き換えて、その1点に対して、1点を算出する際に特定した器械点ラベルを付与する置換部と、を備える。
【発明の効果】
【0007】
一態様によれば、点群に含まれる点の代表を取得することができる。
【図面の簡単な説明】
【0008】
【
図1】一実施形態に係る情報処理装置について説明するための図である。
【
図2】点群についての処理の一例について説明するための図である。(A)はボクセル状に分割した際の図、(B)は平均値で置換した後の図である。
【
図3】一実施形態に係る情報処理装置について説明するためのブロック図である。
【
図4】第1の特徴量の設定手法について説明するための第1の図である。
【
図5】第1の特徴量の設定手法について説明するための第2の図である。
【
図6】第2の特徴量の設定手法について説明するための第1の図である。
【
図7】第2の特徴量の設定手法について説明するための第2の図である。
【
図8】一実施形態に係る情報処理方法について説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
以下、一実施形態について説明する。
【0010】
[情報処理装置100の概要]
まず、一実施形態に係る情報処理装置100の概要について説明する。
図1は、一実施形態に係る情報処理装置100について説明するための図である。
図2は、点群についての処理の一例について説明するための図である。
図2(A)はボクセル400状に分割した際の図、
図2(B)は平均値で置換した後の図である。
【0011】
情報処理装置100は、点群情報に含まれる点群のうち、複数の点(代表点)を特定する特定装置等として構成されてもよい。また、情報処理装置100は、点群情報に含まれる点群のうちのいくつかの点(複数の点)を1つの点(代表点)で置き換える置換装置等として構成されてもよい。また、情報処理装置100は、代表点を特定する際に利用される特徴量を各点に設定する設定装置等として構成されてもよい。情報処理装置100は、上述した一例の装置に限らず、種々の装置等を構成してもよい。
情報処理装置100は、例えば、サーバ、デスクトップ、ラップトップ、タブレット及びスマートフォン等のコンピュータであってもよい。
【0012】
情報処理装置100は、複数の器械点それぞれから光又は音波を出力させて物体から反射した光又は音波をその器械点で得ることにより点群情報を取得する。LiDAR測定は、発受光装置から出射された光(例えば、レーザ光)が物体で反射された場合、その反射された光(反射光)を発受光装置で受光することを繰り返して、複数の点300から構成される点群の情報(点群情報)を生成する。なお、LiDAR測定と同様に、光の代わりに音波を利用することによっても点群情報を得ることが可能である。なお、LiDAR測定と、音波を利用して点群情報を取得する測定とを合わせて、「点群測定」と言う場合がある。
本実施形態では、発受光装置が配される位置を器械点200とし、複数の器械点200それぞれでLiDAR測定を行うことにより、点群情報を生成する(音波についても同様)。
この場合、複数の器械点200それぞれで同時に点群測定を行うことにより点群情報が生成されてもよい。また、複数の器械点200のうち任意の器械点毎に順に点群測定を行うことにより、最終的に複数の器械点200それぞれで点群測定を行うことにより点群情報が生成されてもよい。
なお、器械点200は、
図1に例示するように2つに限定されることはなく、3つ以上であってもよい。
【0013】
点群情報は、例えば、各器械点200を基準にした、その器械点200で測定された点300の位置(例えば、座標等)と、その器械点200からの距離との情報を含んでもよい。したがって、点群情報に含まれる複数の点300それぞれは、3次元の位置関係を含む。
【0014】
情報処理装置100は、複数の点300を含む3次元の位置関係(3次元空間)をボクセル400状に分割する。一例として
図2(A)に示すように、情報処理装置100は、複数の点300についての3次元の位置関係(3次元空間)を正立方体等の空間(ボクセル400)で分割する。ボクセル400の数は、
図2に例示するように4つに限定されることはなく、2つ、3つ、5つ以上であってもよい。複数のボクセル400(例えば、正立方体等)それぞれは、点群測定で得られた複数の点300を含む。情報処理装置100は、各ボクセル400内の複数の点300それぞれがどの器械点200で取得されたかを示す器械点ラベルを各点300に付与する。この場合の一例として、点群情報には、器械点200と、その器械点200で取得された点300との関係を示す情報が記録される。したがって、情報処理装置100は、点群情報に基づいて、複数の点300それぞれに器械点ラベルを付与する。
図2に例示する場合、器械点ラベルは、点を「無地」で示す点300Aと、点を「斜線付き」で示す点300Bとで表される。
【0015】
情報処理装置100は、ボクセル400内の複数の点300のうち最も多い同一の器械点ラベルが付与された点300を特定する。情報処理装置100は、ボクセル400毎に、最も多い同一の器械点ラベルが付与された点300の特徴量の平均値を算出する。特徴量の一例は、点300の座標等であってもよい。情報処理装置100は、各ボクセル400内の複数の点300全てを上述した平均値の1点310に置き換える(
図2(B)参照))。情報処理装置100は、置き換えた平均値の1点310に対して、ボクセル400内で最も多い同一の器械点ラベルを付与する。
【0016】
[情報処理装置100の詳細]
次に、一実施形態に係る情報処理装置100について詳細に説明する。
図3は、一実施形態に係る情報処理装置100について説明するためのブロック図である。
【0017】
情報処理装置100は、例えば、通信部131、記憶部132、表示部133及び制御部等を備える。通信部131、記憶部132及び表示部133は、出力部の一実施形態であってもよい。制御部は、例えば、取得部111、分割部112、付与部113、算出部114、置換部115、出力制御部116、第1特定部117、第2特定部118、第1設定部119及び第2設定部120等を備える。制御部110は、例えば、情報処理装置100の演算処理装置等によって構成されてもよい。制御部110(例えば、演算処理装置等)は、例えば、記憶部132等に記憶される各種プログラム等を適宜読み出して実行することにより、各部(例えば、取得部111、分割部112、付与部113、算出部114、置換部115、出力制御部116、第1特定部117、第2特定部118、第1設定部119及び第2設定部120等)の機能を実現してもよい。
【0018】
通信部131は、例えば、情報処理装置100の外部にある装置(外部装置(図示せず))等との間で種々の情報の送受信が可能な通信インターフェースである。外部装置は、例えば、サーバ及びユーザ端末等であってもよい。ユーザ端末は、例えば、情報処理装置100のユーザが使用する端末であり、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。
【0019】
記憶部132は、例えば、種々の情報及びプログラムを記憶してもよい。記憶部132の一例は、メモリ、ソリッドステートドライブ及びハードディスクドライブ等であってもよい。なお、記憶部132は、例えば、クラウド上にある記憶領域及びサーバ等であってもよい。
【0020】
表示部133は、例えば、種々の文字、記号及び画像等を表示することが可能なディスプレイである。
【0021】
取得部111は、複数の器械点200それぞれから光又は音波を出力させて物体から反射した光又は音波をその器械点200で受光又は受信する点群測定により点群情報を取得する
点群情報は、例えば、外部メモリ(図示せず)及びサーバ(図示せず)等に記憶されてもよい。
取得部111は、例えば、通信部131を介して、サーバ等の外部装置から点群情報を取得してもよい。
又は、取得部111は、例えば、点群情報が記憶される外部メモリが情報処理装置100のインターフェースに接続された場合、その外部メモリから点群情報を取得してもよい。
【0022】
点群情報は、発受光装置(器械点200)毎に取得される複数の点300で構成される点群の情報である。点群情報は、例えば、器械点200を基準にした各点300の位置(座標)と、器械点200から各点300までの距離との情報を含んでもよい。また、点群情報は、器械点200と、その器械点200で取得された点300との関係(どの点300がどの器械点200により取得されたか)を示す情報を含んでもよい。
【0023】
分割部112は、取得部111によって取得した点群情報に記録される複数の点300を含む3次元空間をボクセル400状に分割する。分割部112は、複数の点300それぞれに記録される座標(3次元座標)に対応する3次元空間(3次元の座標位置の関係)をボクセル400状に分割する。具体的な一例として、分割部112は、正立方体、直方体、並びに、円錐、円柱及び多面体等の単位空間を複数利用して、ボクセル400状に分割する。複数のボクセル400(例えば、正立方体等)それぞれは、点群測定で得られた複数の点300を内部に含む。
【0024】
付与部113は、分割部112によって分割した複数のボクセル400それぞれにおいて、各ボクセル400内の複数の点300それぞれが複数の器械点200のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点300に付与する。付与部113は、各ボクセル400内の複数の点300それぞれがどの器械点200で取得されたかを示す器械点ラベルを各点300に付与する。付与部113は、例えば、点群情報に器械点200とその器械点200で取得された点300との関係を示す情報が記録される場合、その点群情報に基づいて、複数の点300それぞれに器械点ラベルを付与する。器械点ラベルは、例えば、器械点200を特定することができれば種々のタイプであってもよい。
【0025】
算出部114は、ボクセル400内の複数の点300のうち最も多い同一の器械点ラベルが付与された点300を特定し、その点300の特徴量の平均値を算出する。算出部114は、ボクセル400毎に、数が最も多い同一の器械点ラベルが付与された点の特徴量の平均値を算出する。平均値は、例えば、相加平均及び相乗平均等であってもよく、重心値及び中心値(本開示の「平均値」の概念に重心値及び中心値を含むもの)であってもよい。特徴量の一例は、点の座標等であってもよい。各点に対して特徴点を設定する手法については後述する。
【0026】
ここで
図2(A)に例示する場合、左上のボクセル400Aでは、器械点Aのラベルが付与された「無地」で示す点300A(2つ)と、器械点Bのラベルが付与された「斜線付き」で示す点300B(1つ)がある。ボクセル400Aでは器械点Aのラベルが付与された点300Aが最も多いので、2つの点300Aそれぞれの特徴量の平均値を算出する。
【0027】
置換部115は、各ボクセル400内の複数の点全てを、算出部114によって算出された平均値の1点310に置き換えて、その1点310に対して、1点310を算出する際に特定した器械点ラベルを付与する。置換部115は、ボクセル400毎に、そのボクセル400内の複数の点300全てを、上述したようにそのボクセル400で算出した平均値の1点310に置き換える。置換部115は、置き換えた平均値の1点310に対して、ボクセル400内で最も多い同一の器械点ラベルを付与する。すなわち、置換部115は、置き換えた平均値の1点310に対して、その平均値を算出する際に利用した点の器械点ラベルを付与する。
【0028】
ここで
図2(B)に例示する場合、左上のボクセル400Aでは、上述した算出部114によって2つの点300Aそれぞれの特徴量の平均値が算出されるので、その平均値の1点(点310(310A))で置き換える。また、点310Aには器械点Aのラベルを付与する(
図2(B)の例示では点310Aを「無地」で示す)。
なお、
図2(B)の左下に示すボクセル400Bについても同様にして、3つの点300B(
図2(A)参照)それぞれの特徴量の平均値が算出されると、その平均値の1点(点310(310B))で置き換えて、器械点Bのラベルを付与する(
図2(B)の例示では点310Bを「斜線付き」で示す)。
【0029】
出力制御部116は、ボクセル400、ボクセル400内の平均値の1点310、及び、その平均値(点310)に付与された器械点ラベルを出力するよう出力部を制御してもよい。ボクセル400、ボクセル400内の平均値の1点310、及び、その平均値(点310)に付与された器械点ラベルをまとめて「平均値」と言う場合がある。出力部は、例えば、通信部131、記憶部132及び表示部133等であってもよい。
すなわち、出力制御部116は、例えば、平均値の情報を外部装置(図示せず)に送信するよう通信部131を制御してもよい。外部装置は、サーバ及びユーザ端末等であってもよい。
出力制御部116は、例えば、平均値の情報を記憶するよう記憶部132を制御してもよい。
出力制御部116は、例えば、平均値を表示するよう表示部133を制御してもよい。
【0030】
(特徴量の設定機能)
次に、上述した特徴量を設定する機能について説明する。
特徴量を設定する手法は2種類あり、以下でそれぞれ説明する。
【0031】
(第1の特徴量の設定手法)
まず、第1の特徴量の設定手法について説明する。
図4は、第1の特徴量の設定手法について説明するための第1の図である。
図5は、第1の特徴量の設定手法について説明するための第2の図である。
【0032】
第1特定部117は、取得部111によって取得した点群情報に基づいて、複数の器械点200のうちいずれの器械点に対応して取得された点を特定する。点群情報は、例えば、器械点200を基準にした各点の位置(座標)と、器械点200から各点までの距離との情報を含んでもよい。また、点群情報は、器械点200と、その器械点200で取得された点との関係(どの点がどの器械点200により取得されたか)を示す情報を含んでもよい。したがって、第1特定部117は、点群情報に基づいて、その点群情報に含まれる点群(複数の点それぞれ)がどの器械点200により取得されたかを特定してもよい。
【0033】
図4に例示する場合、器械点200は2つあり、「無地」で示す器械点200Aと、「斜線付き」で示す器械点200Bとがある。また、複数の器械点200A,200Bそれぞれで取得された点300(300A,300B)については、器械点200Aで取得された点300Aを「無地」で示し、器械点200Bで取得された点300Bを「斜線付き」で示す。なお、器械点200及び点300の数は、
図4に例示する場合に限定されることはなく、それ以外の数であってもよい。
【0034】
第1設定部119は、複数の器械点200それぞれを基準にした、第1特定部117によって特定した器械点200に対応する点300の球面座標系の座標値(角度θ及び距離r)を取得し、その座標値(角度θ及び距離r)を点300の特徴量として設定し、その特徴量を算出部114に提供する。点群情報に記録される点群(複数の点それぞれ)の位置を示す座標(座標値)は、その点300を取得した器械点200を基準にした球面座標系で表される座標(座標値)等であってもよい。第1設定部119は、点群情報に基づいて、各点300の座標(球面座標系の座標値)を取得する。第1設定部119は、上述したように取得した点300の座標(球面座標系の座標値)をその点300の特徴量と設定してもよい。
【0035】
図4に例示する場合、球面座標系は、複数の器械点200A,200Bそれぞれを基準にした座標系であり、所定軸Sを基準にした角度θ、及び、器械点200A,200Bそれぞれとそれに対応する点300A,300Bとの距離rとで表される。
【0036】
なお、上述した
図4を用いて説明した内容は2次元的な説明になるが、
図5に例示するように3元に拡張されてもよい。
すなわち
図5に一例を示すように、3次元球面座標の座標値(角度θ,φ及び距離r)は、所定軸Sを基準に器械点200A,200B毎に算出され、所定軸Sに対して算出された座標値(角度θ,φ及び距離r)をその点300の特徴量と設定してもよい。
【0037】
(第2の特徴量の設定手法)
次に、第2の特徴量の設定手法について説明する。
図6は、第2の特徴量の設定手法について説明するための第1の図である。
図7は、第2の特徴量の設定手法について説明するための第2の図である。
【0038】
第2特定部118は、置換部115で置き換えられた後のデータにある複数の点のうちいずれか1つをクエリ320として特定すると共に、そのクエリ320に隣接する複数の点それぞれを近傍点330として特定する。クエリ320は、例えば、複数の点のうちの任意の1点であってもよい。近傍点330は、例えば、クエリ320周辺(例えば、クエリ320から所定距離内)にある、そのクエリ320近傍の点であってもよい。したがって、近傍点330は、クエリ320と隣り合う場合に限られず、そのクエリ320から相対的に離れた位置(上述したクエリ320周辺にある位置おいて)にある点であってもよい。
【0039】
第2設定部120は、複数の近傍点330毎に、置換部115によって付与された器械点ラベル
に基づいて近傍点330に対応する器械点200を特定し、クエリ320を基準にしたその器械点200の球面座標系の座標値を近傍点330としての点の特徴量として適用する。第2特定部118は、点群情報に基づいて、複数の近傍点330それぞれを取得した器械点200を特定する。
また、公知の演算を利用して、球面座標系の座標値と、直交座標系(XYZ座標系)の座標値とは、相互に変換可能である。第2設定部120は、例えば、点群情報に含まれる点群(複数の点それぞれの)座標が球面座標系で記録される場合、直交座標系に変換してもよい。
第2特定部118は、近傍点330毎を基準に、複数の近傍点330それぞれを取得した器械点200の直交座標系の座標値(XYZ座標)と、クエリ320の直交座標系の座標値(XYZ座標)との差分を取る。第2特定部118は、上述したように取得した差分(座標値)を、さらに球面座標系に変換して値(座標値)を得る。その値は、複数の近傍点330それぞれにおける、クエリ320を基準にしたその球面座標系の器械点200の位置(座標値)となる。
第2特定部118は、上述したように得られた値(座標値)を、近傍点330(点310)の特徴量として設定する。
【0040】
図6に例示する場合、器械点200は2つあり、「無地」で示す器械点200Aと、「斜線付き」で示す器械点200Bとがある。また、複数の器械点200それぞれで取得された点については、器械点200Aで取得された点(近傍点330A)を「無地」で示し、器械点200Bで取得された点(近傍点330B)を「斜線付き」で示す。なお、器械点200及び点(近傍点330)の数は、
図6に例示する場合に限定されることはなく、それ以外の数であってもよい。
【0041】
第2特定部118は、上述したようにクエリ320を基準にしたその器械点200の球面座標系の座標値を近傍点330(点310)の特徴量とする場合、直交座標系で差分を取り、その差分を球面座標系に変換すると、結果として、クエリ320における所定軸Sを基準にした器械点200の角度θと、クエリ320と器械点200との距離rとが近傍点330(点310)の特徴量(θ、r)となる。
図6に例示する場合、近傍点330(330A)(近傍点1,2)は、器械点200Aに対応する点300(310A)であり、特徴量は(θA,rA)で表される。ここで、θAはクエリ320に対する所定軸Sを基準にした器械点200Aの角度を示し、rAはクエリ320と器械点200Aとの距離を示す。
同様に
図6に例示する場合、近傍点330(330B)(近傍点3~5)は、器械点200Bに対応する点310(310B)であり、特徴量は(θB,rB)で表される。ここで、θBはクエリ320に対する所定軸Sを基準にした器械点200Bの角度を示し、rBはクエリ320と器械点200Bとの距離を示す。
【0042】
なお、上述した
図6を用いて説明した内容は2次元的な説明になるが、
図7に例示するように3次元に拡張されてもよい。すなわち、
図7においても
図6と同様に器械点200A,200B及び近傍点330を考えて3次元で表してもよい。近傍点330は
図7には図示していないが、近傍点330(330A)は
図7に特徴量を示す近傍点1,2に対応し、近傍点330(330B)は
図7に特徴量を示す近傍点3~5に対応する。
すなわち
図7に一例を示すように、近傍点330(330A)(
図7には図示せず)(近傍点1,2)は、器械点200Aに対応する点300(310A)であり、特徴量は(θA,φA,rA)で表される。ここで、θA,φAはクエリ320に対する所定軸Sを基準にした器械点200Aの角度を示し、rAはクエリ320と器械点200Aとの距離を示す。
同様に
図7に例示する場合、近傍点330(330B)(
図7には図示せず)(近傍点3~5)は、器械点200Bに対応する点310(310B)であり、特徴量は(θB,φB,rB)で表される。ここで、θB,φBはクエリ320に対する所定軸Sを基準にした器械点200Bの角度を示し、rBはクエリ320と器械点200Bとの距離を示す。
【0043】
なお、上述した第1,2の特徴量の設定手法それぞれにおける各特徴量(2つの特徴量)について、正規化を施す処理を行ってもよい。
【0044】
ここで正規化とは、大きな値をとるデータを一定の範囲(レンジ)のデータに変換する処理であってもよい。正規化の説明のために、例えば、0~100の値を取るデータを0~1の範囲のデータに変換する処理等であってもよい。
また、値の定義は、次の一例のようになる。すなわち、正規化したいN個の値をX={xn|n=0,…,N}とし、n番目の値をxnとした場合、「xnが取りうる最大値」、「xnが取りうる最小値」を、それぞれ、xmax、xminと定義する。ここで、xmin、xmax、xnは、xmin≦xn≦xmaxという制約を持つ。Xを正規化した後のN個の値をX’={x’n|n=0,…,N}とし、n番目の正規化後の値をx’nとした場合、「正規化後の最大値」、「正規化後の最小値」を、それぞれ、x’max、x’minと定義する。ここで、x’min≦x’n≦x’maxという制約を持つ。xmax、xmin、x’max、x’minは、それぞれの制約を満たす限り任意の値を設定可能である。
正規化の定義は、
x’n=((xn-xmin)/d)×(x’max-x’min)+x’min
となる。ここで、分母はレンジd=xmax-xminである。
【0045】
上記の正規化の定義を行う式において、上述した設定手法それぞれにおける各特徴量(2つの特徴量)に適用する際には、正規化を施す対象及びレンジdは以下(1),(2)の通りとなる。
【0046】
(1)器械点座標系の球面座標(第1の特徴量の設定手法)については、正規化を施す対象は球面座標の動径であり、器械点毎の動径のレンジdを正規化に使用する。
すなわち、具体的な第1例として、正規化を施す対象は球面座標の動径であり、0を最小値xminとし、器械点200のセンサが取りえる最大動径値を最大値xmaxとして正規化に使用してもよい。
また、具体的な第2例として、正規化を施す対象は球面座標の2つの角度及び動径であり、各値のレンジdは以下(i),(ii)の通りとなっていてもよい。
(i)2つの角度を、角度が取り得るレンジd(例えば、2π等)でそれぞれ正規化を行ってもよい。
(ii)動径を、0を最小値xminとし、器械点200のセンサが取りえる最大動径値を最大値xmaxとして正規化を行ってもよい。
【0047】
(2)クエリから見た器械点位置の球面座標(第2の特徴量の設定手法)については、正規化を施す対象は変換後の球面座標の動径であり、最小値xminをクエリから最も近い器械点の動径、最大値xmaxをクエリから最も遠い器械点の動径として、正規化に使用する。
すなわち、具体的な一例として、正規化を施す対象は変換後の球面座標の2つの角度及び動径であり、各値のレンジdは以下(i),(ii)の通りとなっていてもよい。
(i)2つの角度を、角度が取り得るレンジd(例えば、2π等)でそれぞれ正規化を行ってもよい。
(ii)動径については、最小値xminをクエリから最も近い器械点の動径とし、最大値xmaxをクエリから最も遠い器械点の動径として、正規化を行ってもよい。
【0048】
[情報処理方法]
次に、一実施形態に係る情報処理方法について説明する。
図8は、一実施形態に係る情報処理方法について説明するためのフローチャートである。
【0049】
ステップST101において、取得部111は、複数の器械点200それぞれから光又は音波を出力させて物体から反射した光又は音波をその器械点200で得ることにより点群情報を取得する。
【0050】
ステップST102において、分割部112は、ステップST101で取得した点群情報に記録される複数の点を含む3次元空間をボクセル400状に分割する。
【0051】
ステップST103において、付与部113は、ステップST102で分割した複数のボクセル400それぞれにおいて、各ボクセル400内の複数の点それぞれが複数の器械点200のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する。
【0052】
ステップST104において、制御部110は、複数の点それぞれに対して特徴量を設定する。第1特定部117は、ステップST101で取得した点群情報に基づいて、複数の器械点200のうちいずれの器械点に対応して取得された点300かを特定する。第1設定部119は、複数の器械点200それぞれを基準にした、第1特定部117によって特定した器械点200に対応する点300の球面座標系の座標値を取得し、その座標値を点300の特徴量として設定し、その特徴量を後述するステップST105に提供する。
【0053】
ステップST105において、算出部114は、ステップST103でボクセル400内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、その点の特徴量の平均値を算出する。算出部114は、特徴量として、ステップST104の第1例及び第2例のうち一方の設定手法を用いて設定された特徴量を用いてもよい。
【0054】
ステップST106において、置換部115は、各ボクセル400内の複数の点300全てを、ステップST105で算出された平均値の1点310に置き換えて、その1点310に対して、1点310を算出する際に特定した器械点ラベルを付与する。
【0055】
ステップST107において、第2特定部118は、ステップST106で置き換えられた後のデータにある複数の点310のうちいずれか1つをクエリ320として特定すると共に、そのクエリ320に隣接する複数の点310それぞれを近傍点330として特定する。第2設定部120は、複数の近傍点330毎に、ステップST106で付与された器械点ラベルに基づいて近傍点330に対応する器械点200を特定し、クエリ320を基準にしたその器械点200の球面座標系の座標値を近傍点330としての点310(330)の特徴量として適用する。
【0056】
ステップST107の後、出力制御部116は、ボクセル400、ボクセル400内の平均値の1点310、その平均値(点310)に付与された器械点ラベル、及び、特徴量を出力するよう出力部を制御してもよい。
【0057】
[機能及び回路について]
次に、上述した情報処理装置100の機能及び回路について説明する。
情報処理装置100の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置100の取得部111、分割部112、付与部113、算出部114、置換部115、出力制御部116、第1特定部117、第2特定部118、第1設定部119及び第2設定部120(制御部110)は、コンピュータの演算処理装置等による取得機能、分割機能、付与機能、算出機能、置換機能、出力制御機能、第1特定機能、第2特定機能、第1設定機能及び第2設定機能(制御機能)としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体等に記録されていてもよい。記録媒体は、例えば、非一時的なコンピュータ可読媒体と言い換えてもよい。
また、上述したように、情報処理装置100の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置100の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置100の取得部111、分割部112、付与部113、算出部114、置換部115、出力制御部116、第1特定部117、第2特定部118、第1設定部119及び第2設定部120(制御部110)は、コンピュータの演算処理装置等を構成する取得回路、分割回路、付与回路、算出回路、置換回路、出力制御回路、第1特定回路、第2特定回路、第1設定回路及び第2設定回路(制御回路)として実現されてもよい。
また、情報処理装置100の通信部131、記憶部132及び表示部133(出力部)は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能(出力機能)として実現されてもよい。また、情報処理装置100の通信部131、記憶部132及び表示部133(出力部)は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路(出力回路)として実現されてもよい。また、情報処理装置100の通信部131、記憶部132及び表示部133(出力部)は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置(出力装置)として構成されてもよい。
【0058】
情報処理装置100は、上述した複数の各部のうち1又は任意の複数を組み合わせることが可能である。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
【0059】
[本実施形態の態様及び効果]
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、以下に記載する各態様は出願時の一例であり、本実施形態は以下に記載する態様に限定されることはない。すなわち、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、下位の態様は、それよりも上位の態様のいずれでも引用できる場合がある。
また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。また、各態様は、例えば、以下に記載する少なくとも1つの効果を奏してもよい。
【0060】
(態様1)
一態様の情報処理装置は、複数の器械点それぞれから光又は音波を出力させて物体から反射した光又は音波を前記器械点で得ることにより点群情報を取得する取得部と、取得部によって取得した点群情報に記録される複数の点を含む3次元空間をボクセル状に分割する分割部と、分割部によって分割した複数のボクセルそれぞれにおいて、各ボクセル内の複数の点それぞれが複数の器械点のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する付与部と、ボクセル内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、その点の特徴量の平均値を算出する算出部と、各ボクセル内の複数の点全てを、算出部によって算出された平均値の1点に置き換えて、その1点に対して、1点を算出する際に特定した器械点ラベルを付与する置換部と、を備える。
情報処理装置は、点群に含まれる点の代表、すなわち、各ボクセル内での1つの平均値を得ることができる。
これにより、情報処理装置は、深層学習及び機械学習等の種々の演算を行う際には、各ボクセル内での1つの平均値(点群全体として複数の平均値)を利用して演算を行うことができ、点群を構成する全ての点を利用して演算を行う場合に比べて、演算の処理負担を軽減でき、また演算時間を短くすることができる。すなわち、情報処理装置は、演算コストを相対的に低くすることができる。
【0061】
また、情報処理装置は、点群と、教師データ及びラベル等の点群に関する種々の推定内容とを学習した学習済モデルと、置換部によって置き換えられた平均値及び当該平均値に付与されたラベルとに基づいて、点群情報に基づく点群について学習の上述した内容に応じた推定を行うことが可能になる。
この場合の推定内容は種々のものであってもよく、例えば、点群に含まれるノイズ及び物体等を推定してもよい。処理内容の具体的な一例は、以下のようなものであってもよい。
【0062】
すなわち、情報処理装置(第1推定部)は、点群と、点群のノイズとを学習した学習済モデル(第1学習済モデル)と、置換部によって置き換えられた平均値及び当該平均値に付与されたラベルとに基づいて、点群情報に基づく点群に含まれるノイズを推定してもよい。
また、情報処理装置(除去部)は、置換部によって置き換えられた平均値(ボクセルが複数あるため、複数の平均値)から、上述した第1推定部によって推定されたノイズの点(平均値)を除去してもよい。
また、情報処理装置(第2推定部)は、点群と、点群に含まれる物体(一例として、建物等を始めとする種々の物体)とを学習した学習済モデル(第2学習済モデル)と、上述した除去部によってノイズが除去された平均値(ボクセルが複数あるため、複数の平均値)とに基づいて、点群に含まれる物体を推定してもよい。
【0063】
又は、情報処理装置(第3推定部)は、点群と、点群に含まれる物体とを学習した学習済モデル(第3学習済モデル)と、置換部によって置き換えられた平均値及び当該平均値に付与されたラベルとに基づいて、点群情報に基づく点群に含まれる物体を推定してもよい。
【0064】
(態様2)
一態様の情報処理装置は、取得部によって取得した点群情報に基づいて、複数の器械点のうちいずれの器械点に対応して取得された点を特定する第1特定部と、複数の器械点それぞれを基準にした、第1特定部によって特定した器械点に対応する点の球面座標系の座標値を取得し、その座標値を点の特徴量として設定し、その特徴量を算出部に提供する第1設定部と、を備えることとしてもよい。
これにより、情報処理装置は、点群情報に含まれる複数の点それぞれの特徴量を得ることができる。情報処理装置は、その特徴量が座標値であるため、点群測定で得られた座標値(特徴量)を利用して、種々の演算、例えば、上述した学習(深層学習及び機械学習等)を用いた推定の演算を行うことができる。
【0065】
(態様3)
一態様の情報処理装置は、置換部によって置き換えられた後のデータにある複数の点のうちいずれか1つをクエリとして特定すると共に、当該クエリに隣接する複数の点それぞれを近傍点として特定する第2特定部と、複数の近傍点毎に、置換部によって付与された器械点ラベルに基づいて近傍点に対応する器械点を特定し、クエリを基準にした当該器械点の球面座標系の座標値を近傍点としての点の特徴量として適用する第2設定部と、を備える。
これにより、情報処理装置は、点群情報に含まれる複数の点それぞれの特徴量を得ることができる。情報処理装置は、その特徴量が座標値であるため、点群測定で得られた座標値(特徴量)を利用して、種々の演算、例えば、上述した学習を用いた推定の演算を行うことができる。
【0066】
(態様4)
一態様の情報処理方法では、コンピュータが、複数の器械点それぞれから光又は音波を出力させて物体から反射した光又は音波を器械点で得ることにより点群情報を取得する取得ステップと、取得ステップによって取得した点群情報に記録される複数の点を含む3次元空間をボクセル状に分割する分割ステップと、分割ステップによって分割した複数のボクセルそれぞれにおいて、各ボクセル内の複数の点それぞれが複数の器械点のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する付与ステップと、ボクセル内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、その点の特徴量の平均値を算出する算出ステップと、各ボクセル内の複数の点全てを、算出ステップによって算出された平均値の1点に置き換えて、その1点に対して、1点を算出する際に特定した器械点ラベルを付与する置換ステップと、を実行する。
これにより、情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏することができる。
【0067】
(態様5)
一態様の情報処理プログラムは、コンピュータに、複数の器械点それぞれから光又は音波を出力させて物体から反射した光又は音波を器械点で得ることにより点群情報を取得する取得機能と、取得機能によって取得した点群情報に記録される複数の点を含む3次元空間をボクセル状に分割する分割機能と、分割機能によって分割した複数のボクセルそれぞれにおいて、各ボクセル内の複数の点それぞれが複数の器械点のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する付与機能と、ボクセル内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、その点の特徴量の平均値を算出する算出機能と、各ボクセル内の複数の点全てを、算出機能によって算出された平均値の1点に置き換えて、その1点に対して、1点を算出する際に特定した器械点ラベルを付与する置換機能と、を実現させる。
これにより、情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。
【符号の説明】
【0068】
100 情報処理装置
110 制御部
111 取得部
112 分割部
113 付与部
114 算出部
115 置換部
116 出力制御部
117 第1特定部
118 第2特定部
119 第1設定部
120 第2設定部
131 通信部
132 記憶部
133 表示部
200 器械点
300(300A,300B) 点(点群)
310(310A,310B) 平均値の点
320 クエリ
330(330A,330B) 近傍点
400 ボクセル
【要約】
【課題】点群に含まれる点の代表を取得することができる情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置は、点群情報を取得する取得部と、取得部によって取得した点群情報に記録される複数の点を含む3次元空間をボクセル状に分割する分割部と、分割部によって分割した複数のボクセルそれぞれにおいて、各ボクセル内の複数の点それぞれが複数の器械点のうちいずれの器械点に対応して取得されたかを示す器械点ラベルを各点に付与する付与部と、ボクセル内の複数の点のうち最も多い同一の器械点ラベルが付与された点を特定し、その点の特徴量の平均値を算出する算出部と、各ボクセル内の複数の点全てを、算出部によって算出された平均値の1点に置き換えて、その1点に対して、1点を算出する際に特定した器械点ラベルを付与する置換部と、を備える。
【選択図】
図1