(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-13
(54)【発明の名称】データベースで使用する表面の走査情報からの抽出情報の抽出
(51)【国際特許分類】
G06T 7/70 20170101AFI20231206BHJP
G06T 7/00 20170101ALI20231206BHJP
【FI】
G06T7/70 A
G06T7/00 300F
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2023527223
(86)(22)【出願日】2021-11-05
(85)【翻訳文提出日】2023-07-05
(86)【国際出願番号】 EP2021080787
(87)【国際公開番号】W WO2022096653
(87)【国際公開日】2022-05-12
(31)【優先権主張番号】102020214002.2
(32)【優先日】2020-11-08
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100134119
【氏名又は名称】奥町 哲行
(72)【発明者】
【氏名】ベーリン・ヤン
(72)【発明者】
【氏名】ロットゲリ・マティアス
(72)【発明者】
【氏名】エメリッヒ・ヤンゾレン
(72)【発明者】
【氏名】ホゥーニン・ディルク
(72)【発明者】
【氏名】クロコフスキー・パトリック
(72)【発明者】
【氏名】ハンマーマイスター・クリスティアン
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA04
5L096FA69
5L096GA30
5L096GA40
5L096GA51
5L096JA11
(57)【要約】
表面の走査から、検出ユニットによって提供される走査情報であって、表面の固有の特徴に関する情報を含む走査情報を取得するように構成された処理ユニットを備える装置である。さらにまた、処理ユニットは、走査情報から固有の特徴についての抽出情報を抽出し、抽出情報に基づいてデータベースとの照合を実行するように構成され、表面の複数の固有の特徴についての抽出情報は、データベースに記憶される。さらにまた、処理ユニットは、照合に基づいて検出ユニットの位置を決定するように構成されている。
【特許請求の範囲】
【請求項1】
装置(100)であって、
処理ユニットであって、
表面(130)の走査(120a)から、検出ユニット(120)によって提供される走査情報(210)であって、前記表面(130)の固有の特徴(220)に関する情報を含む前記走査情報(210)を取得し、
前記走査情報(210)から前記固有の特徴(220)の抽出情報を抽出し、
前記抽出情報に基づいてデータベース(270)との照合を実行し、前記データベース(270)が、前記表面(130)の複数の固有の特徴についての抽出情報を記憶し、
前記照合に基づいて前記検出ユニット(120)の前記位置を決定するように構成されている、処理ユニットを備える、装置(100)。
【請求項2】
前記装置(100)が、前記走査情報(210)を提供するように構成された前記検出ユニット(120)を備える、請求項1に記載の装置(100)。
【請求項3】
前記処理ユニット(110)が、前記データベース(270)との前記照合に基づいて、前記表面(130)の前記固有の特徴(220)に対する空間内の前記検出ユニット(120)の位置を決定するように構成されている、請求項1から2のいずれか一項に記載の装置(100)。
【請求項4】
前記処理ユニット(110)が、前記検出ユニット(120)の光学的特性を考慮に入れて、前記走査情報(210)から前記固有の特徴(220)の前記抽出情報を抽出するように構成されている、請求項1から3のいずれか一項に記載の装置(100)。
【請求項5】
前記処理ユニット(110)が、前記走査情報(210)を検出するときに、空間内の前記検出ユニット(120)の位置に関する粗い情報に基づいて前記データベース(270)の抽出情報の選択された部分を選択し、前記選択された部分を照合に使用するように構成されている、請求項1から4のいずれか一項に記載の装置(100)。
【請求項6】
前記処理ユニット(110)が、
前記走査情報(210)から、前記表面(130)の前記固有の特徴(220)に基づく前記抽出情報の一部として記述子を決定し、
前記記述子に基づいて前記データベース(270)との照合を実行し、前記データベース(270)が、前記表面(130)の前記複数の固有の特徴についての記述子を記憶する、ように構成されている、請求項1から5のいずれか一項に記載の装置(100)。
【請求項7】
前記処理ユニット(110)が、前記表面(130)の前記固有の特徴(220)に基づく前記抽出情報の一部として回転不変記述子を決定するように構成されている、請求項6に記載の装置(100)。
【請求項8】
前記処理ユニット(110)が、Huモーメントおよび/またはORB特徴を含む記述子を決定するように構成されている、請求項6または7に記載の装置(100)。
【請求項9】
前記表面(130)の前記固有の特徴(220)が、確率的特性を有する確率的に分布した特徴である、請求項1から8のいずれか一項に記載の装置(100)。
【請求項10】
前記情報が、前記確率的に分布した特徴のランダムな幾何学的形状の記述を規定する、請求項9に記載の装置(100)。
【請求項11】
前記確率的に分布した特徴が、ランダムな面積およびランダムな外形を有する連続面を含み、
前記処理ユニット(110)が、ランダムな面積およびランダムな外形を有する連続領域に関する情報を含む前記抽出情報を抽出するように構成されている、請求項9または10に記載の装置(100)。
【請求項12】
前記処理ユニット(110)が確率的フィルタ(140)を備え、前記処理ユニット(110)が、前記確率的フィルタ(140)によって前記検出ユニット(120)の前記決定された位置のフィルタリングを実行して、前記検出ユニット(120)のフィルタリングされた位置を決定するように構成されている、請求項1から11のいずれか一項に記載の装置(100)。
【請求項13】
前記表面(130)の前記固有の特徴(220)が、複数のサブ特徴(220-1、220-2、220-3、310)を含み、前記処理ユニット(110)が、
前記複数のサブ特徴の各サブ特徴(220-1、220-2、220-3、310)についてサブ抽出情報のセット(230、240、250、320)を抽出し、
サブ抽出情報の各セット(230、240、250、320)から値を決定し、前記値が、前記サブ抽出情報のセット(230、240、250、320)に関連付けられた前記サブ特徴の情報コンテンツに関連付けられ、
各値を閾値(230-3、240-3、250-3、330)と比較し、
その関連付けられたサブ特徴(220-1、220-2、220-3、310)についてのそれらのサブ抽出情報のセットを選択し、前記決定された値が前記閾値(230-3、240-3、250-3、330)に少なくとも到達し、
前記選択されたサブ抽出情報のセットに基づいて前記データベース(270)との照合を実行する、ように構成されている、請求項1から12のいずれか一項に記載の装置(100)。
【請求項14】
前記抽出情報が前記データベースに記憶されている前記複数の固有の特徴の位置が既知である、請求項13に記載の装置。
【請求項15】
前記処理ユニット(110)が、
前記複数のサブ特徴の各サブ特徴(220-1、220-2、220-3、310)について、前記サブ抽出情報のセットの一部として記述子を決定し、
前記決定された記述子に基づいて前記データベース(270)との照合を実行し、前記複数のサブ特徴(220-1、220-2、220-3、310)の記述子が前記データベース(270)に記憶される、ように構成されている、請求項13または14のいずれか一項に記載の装置(100)。
【請求項16】
前記処理ユニット(110)が、前記関連付けられたサブ特徴(220-1、220-2、220-3、310)の発生確率に基づいて前記サブ抽出情報のセットを選択するように構成されている、請求項13から15のいずれか一項に記載の装置(100)。
【請求項17】
前記処理ユニット(110)が、サブ抽出情報の各セット(230、240、250、320)から、前記関連付けられたサブ特徴(220-1、220-2、220-3、310)の発生確率を前記情報コンテンツの値として決定するように構成されている、請求項13から16のいずれか一項に記載の装置(100)。
【請求項18】
前記処理ユニット(110)が、前記選択されたサブ抽出情報のセットから点群を決定し、点群照合アルゴリズムに基づいて前記データベース(270)との照合を実行するように構成されている、請求項13から17のいずれか一項に記載の装置(100)。
【請求項19】
前記処理ユニット(110)が、反復最近接点、カーネル相関、およびRANSAC法のうちの少なくとも1つに基づいて前記データベース(270)との照合を実行するように構成されている、請求項18に記載の装置(100)。
【請求項20】
前記処理ユニット(110)が、
検出ユニット(120)としてのカメラから画像として前記走査情報(210)を取得し、前記画像が、地面の走査(120a)であり、前記画像が、画像背景および画像前景に関する情報を含み、前記画像前景が、前記地面の複数の色スペックルに関する情報を含み、
前記画像から前記画像前景に関する前記情報を抽出し、
前記複数の色スペックルの各色スペックルについて、前記抽出された前記画像前景の情報からサブ抽出情報のセット(230、240、250、320)を抽出し、前記サブ抽出情報のセット(230、240、250、320)が、前記関連付けられた色スペックルの位置、ならびに形状、色、および面積パラメータのうちの少なくとも1つに関する情報を含み、
サブ抽出情報の各セット(230、240、250、320)から、前記サブ抽出情報セット(230、240、250、320)に関連付けられた前記色スペックルの発生確率に関連付けられた値を決定し、
各値を閾値(230-3、240-3、250-3、330)と比較し、
前記決定された値が少なくとも前記閾値(230-3、240-3、250-3、330)に到達するその関連付けられた色スペックルについてのそれらのサブ抽出情報のセットを選択し、
前記関連付けられた色スペックルの前記位置に関する情報を有する前記選択されたサブ抽出情報のセットから点群を決定し、
前記点群と前記選択されたサブ抽出情報のセットとに基づいて前記データベース(270)との照合を実行し、前記データベース(270)が、前記地面の色のスペックルの位置の所定の点群と、対応するサブ抽出情報のセットとを記憶し、
前記照合に基づいて前記カメラの前記位置を決定するように構成されている、請求項1から19のいずれか一項に記載の装置(100)。
【請求項21】
前記装置(100)が、自動移動車両であり、前記処理ユニット(110)が、前記自動移動車両の位置を特定するように構成されている、請求項1から20のいずれか一項に記載の装置(100)。
【請求項22】
前記装置(100)が、仕分けシステムなどのためのロボット車両である、請求項1から21のいずれか一項に記載の装置(100)。
【請求項23】
システムであって、
請求項1から22のいずれか一項に記載の装置(100)と、
前記固有の特徴(220)を含む前記表面(130)であって、前記装置(100)が、前記表面(130)に対して移動可能に配置され、前記表面(130)に対する前記検出ユニットの位置を決定するように構成されている、表面と、
前記データベース(270)と、を備える、システム。
【請求項24】
検出ユニット(120)の位置を決定するための方法であって、
前記検出ユニット(120)から走査情報(210)を取得することであって、前記走査情報(210)が、表面(130)の走査(120a)であり、前記走査情報(210)が、前記表面(130)の固有の特徴(220)に関する情報を含む、取得することと、
前記走査情報(210)から前記固有の特徴(220)の抽出情報を抽出することと、
前記抽出情報に基づいて、データベース(270)との照合を実行することであって、前記データベース(270)が、前記表面(130)の複数の固有の特徴についての抽出情報を記憶する、実行することと、
前記照合に基づいて前記検出ユニット(120)の前記位置を決定することと、を含む、方法。
【請求項25】
請求項1から22のいずれか一項に記載の装置(100)によって使用するためのデータベース(270)に抽出情報を記憶するための方法であって、
走査情報(210)を取得することであって、前記走査情報(210)が、表面(130)の走査(120a)であり、前記走査情報(210)が、前記表面(130)の固有の特徴(220)に関する情報を含む、取得することと、
前記走査情報から前記固有の特徴(220)の抽出情報を抽出することと、
前記表面(130)の前記固有の特徴(220)の前記抽出情報を前記データベース(270)に記憶することと、を含む、方法。
【請求項26】
前記固有の特徴(220)の情報コンテンツに関連付けられた値を決定することと、
前記値を閾値(230-3、240-3、250-3、330)と比較することと、
前記固有の特徴の前記決定された値が少なくとも前記閾値(230-3、240-3、250-3、330)に到達することを条件として、前記表面(130)の前記固有の特徴(220)の前記抽出情報を前記データベース(270)に記憶することと、
をさらに含む、請求項25に記載の方法。
【請求項27】
プログラムがコンピュータ上で実行されると、請求項24から26のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
【請求項28】
装置(100)であって、
処理ユニットであって、
走査情報(210)であって、表面(130)の走査(120a)から、検出ユニット(120)によって提供される、前記表面(130)の固有の特徴(220)に関する情報を含む前記走査情報(210)を取得し、
前記走査情報(210)から前記固有の特徴(220)の抽出情報を抽出し、
前記抽出情報に基づいてデータベース(270)との照合を実行し、前記データベース(270)が、前記表面(130)の複数の固有の特徴についての抽出情報を記憶し、
前記照合に基づいて前記検出ユニット(120)の前記位置を決定する、ように構成されている、処理ユニットを備え、
前記処理ユニット(110)が、
検出ユニット(120)としてのカメラから画像として前記走査情報(210)を取得し、前記画像が、地面の走査(120a)であり、前記画像が、画像背景および画像前景に関する情報を含み、前記画像前景が、前記地面の複数の色スペックルに関する情報を含み、
前記画像から前記画像前景に関する前記情報を抽出し、
前記複数の色スペックルの各色スペックルについて、前記抽出された前記画像前景の情報からサブ抽出情報のセット(230、240、250、320)を抽出し、前記サブ抽出情報のセット(230、240、250、320)が、前記関連付けられた色スペックルの位置、ならびに形状、色、および面積パラメータのうちの少なくとも1つに関する情報を含み、
サブ抽出情報の各セット(230、240、250、320)から、前記サブ抽出情報セット(230、240、250、320)に関連付けられた前記色スペックルの発生確率に関連付けられた値を決定し、
各値を閾値(230-3、240-3、250-3、330)と比較し、
前記決定された値が少なくとも前記閾値(230-3、240-3、250-3、330)に到達するその関連付けられた色スペックルについてのそれらのサブ抽出情報のセットを選択し、
前記関連付けられた色スペックルの前記位置に関する情報を有する前記選択されたサブ抽出情報のセットから点群を決定し、
前記点群と前記選択されたサブ抽出情報のセットとに基づいて前記データベース(270)との照合を実行し、前記データベース(270)が、前記地面の色のスペックルの位置の所定の点群と、対応するサブ抽出情報のセットとを記憶し、
前記照合に基づいて前記カメラの前記位置を決定するように構成されている、装置(100)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、抽出情報をデータベースと照合することに基づいて検出ユニットの位置を決定するための装置および方法に関する。特に、本発明は、スペックルを伴う根拠に基づく画像ベースの位置特定に関する。さらにまた、本発明は、抽出情報をデータベースに記憶するための方法に関する。
【背景技術】
【0002】
自由空間における位置特定は、移動ロボットの動作のための重要な基本構成ブロックを表す。例えば仕分けシステムにおける移動ロボットの効率的で安全な動作のために、ロボットは、自身の位置を確実に決定することができるべきである。ここでの潜在的な課題は、例えば棚または他の障害物の位置が変化するときの環境の変化である。さらに、例えば仕分け作業をより迅速に完了するために、ロボットをさらに高速で動作させることに関心が寄せられている。そのような一般的な条件は、対応するロボットおよびそれぞれの位置特定プロセスに高い要求を課す。
【0003】
従来技術
ロボットを位置特定するための以前のアプローチは、大きく異なる。位置特定の問題がインテリジェント追跡(「ライン追従」)によって回避される場合さえもある。外部位置特定と内部位置特定とを区別することができる。外部位置特定の場合、ロボットの外部に位置するシステムが使用されることができるが、内部位置特定の場合、センサ技術は、ロボット自体に位置することができる。
【0004】
既存の内部位置特定方法を分類する1つの方法は、使用されるセンサ技術およびその評価に基づくことができる。既知の方法は、以下を含む:
無線ベースの位置特定方法:ここで、1つまたは複数の基準送信機の信号は、基準送信機に対する相対位置特定を確立するために様々な方法で使用される。送信機の絶対位置が既知である場合、これらの方法は、絶対位置決めにも使用されることができる。無線ベースの解決策は、屋内および屋外で動作し、とりわけ、変調方法、帯域幅、周波数、使用されるアンテナ数(キーワード:MIMO)などの使用が異なる。無線ベースの位置特定方法の最もよく知られた代表例の1つは、おそらくGPSであるが、これは、例えば、屋外でのみ使用されることが好ましいか、または使用されることができる。
【0005】
距離測定に基づく位置特定方法:これは、距離が測定されることができる異なるセンサ技術に依存する全ての方法を指す。これらは、とりわけ、レーザ距離センサ、超音波センサ、飛行時間センサ、ステレオまたは深度カメラを含む。センサは、通常、距離情報が単一の測定点だけでなく、複数の(通常は連続した)点で利用可能であるように使用される。この目的のために、センサの種類に応じて、2つ以上の測定が行われることができ、または行われなければならず(例:回転ミラー付きレーザスキャナ)、あるいは2つ以上のセンサが使用されなければならない(例:超音波センサアレイ)。測定点は、一種の高さプロファイルであると理解されることができ、これは、情報が再構成されることができる一種のマップと比較され、空間内の位置においてこの高さプロファイルが記録されることができる。例えば、いわゆるSLAM(Simultaneous Localization and Mapping)アルゴリズムがしばしば使用され、これは、マッピングと位置特定のプロセスを組み合わせ、エージェントが未知の環境において道を見つけることを可能にする。
【0006】
カメラベースまたはマーカーベースの位置特定方法:他の2つの変形例と同様に、ここでは、位置は、環境内の既知のパターンに対して決定されることができるが、高さプロファイルまたは深度画像ではなくRGBカメラ画像に基づいて決定されることができる。一方では、(変化しない)環境の画像のみから特徴を抽出し、これらからマップを構築しようとする方法があり(例:ORB-SLAM)、他方では、環境に人工的に挿入されたマーカーによって機能する複数の方法がある。無線ベースの位置特定方法と同様に、システム自体は、空間内のマーカーの位置を認識し、それ自体の位置特定は、観察されたマーカーに対して実行される。これは、三角測量(画像内のいくつかのマーカーの互いに対する位置を計算する)、追加の深度情報(例えば、ステレオビジョンまたはTOF(飛行時間)カメラの追加の使用)、または画像内のマーカー位置を経時的に変更することによって行うことができる。例えばQRコード(登録商標、以下同じ)の形態のマーカーは、例えば地面に適用されることができる。
【0007】
他の方法は、オプティカルフローと特徴ベース検出との組み合わせを使用して地上カメラを使用する。
【0008】
さらにまた、上述した方法の組み合わせが形成されることもできる。特に、方法、方法の一部または従来技術からの個々の特徴は、以下に説明される本発明の概念と組み合わせて使用されることもできることに留意されたい。
【0009】
本発明者らは、移動ロボットの位置特定のための従来の解決策にはいくつかの欠点があることを認識した。例えば、位置特定の問題を回避するために追跡を使用する概念は、変化する環境に応答することが困難である。無線ベースの方法は、十分な信号強度に依存するため、例えば棚または機械の大きな金属表面の遮蔽特性が大規模な産業施設において考慮される必要がある。さらにまた、そのような位置特定は、基準送信機に大きく依存することがあり、基準送信機の障害は、システム全体を停止状態にする可能性がある。マッピングアルゴリズムを用いた距離測定に基づくシステムは、マップを記録し、またはマップを更新するための計算能力に対する高い要求を有する可能性がある。マーカーベースの方法は、特に動作中に摩耗する可能性がある、事前に適用されたマーカーにひいては依存し、これは、エラーにつながり得る。
【0010】
したがって、改善された位置特定概念が必要とされている。
【0011】
したがって、本発明の根底にある目的は、位置特定の速度、計算努力、および位置特定の信頼性の間の改善された妥協を可能にする装置を提供することである。
この目的は、独立請求項の主題によって達成される。
【発明の概要】
【0012】
本発明者らは、表面、特に車両が移動する地面または床の固有の特徴が、ランダムな分布において十分に大きな特徴の存在度を有することができ、これが位置特定に使用されることができることを認識した。本発明にかかる実施形態は、照合による位置特定を実行するために、例えばナビゲーションが実行されるべき環境のそのような固有の特徴についての抽出情報を抽出し、環境の複数の固有の特徴についての抽出情報が順に記憶されたデータベースとの照合を実行するという中核概念に基づいている。
【0013】
本発明の実施形態によれば、装置は、表面の走査から検出ユニットによって提供される走査情報を取得するように構成された処理ユニットを備え、走査情報は、表面の固有の特徴に関する情報を含む。さらにまた、処理ユニットは、走査情報から固有の特徴についての抽出情報を抽出し、抽出情報に基づいてデータベースとの照合を実行するように構成され、表面の複数の固有の特徴についての抽出情報は、データベースに記憶される。さらにまた、処理ユニットは、照合に基づいて検出ユニットの位置を決定するように構成されている。
【0014】
検出ユニットは、例えば、光学検出ユニット、例えばカメラであってもよい。表面の固有の特徴は、例えば、特に、表面の確率的に分布した特性を記述する特徴、すなわち、例えば、意図的にまたは組織的もしくは所定の方法で表面に導入されなかった特徴であってもよい。これに関連して、固有の特徴は、例えば、表面にわたって変化し、且つ好ましくは表面がそのための担体を有するかまたは担体として機能する材料などの表面の局所的に限定された可変の個々の特徴を介して区別可能な、視覚的に認識可能な区別可能な特徴を含むことができる。例えば、これは、色スペックルまたは他のコントラストの差または表面の高さプロファイルであってもよい。そのような特徴の形成は、測定マークまたはQRコードなどのマーカーの使用とは対照的に、製造プロセス中にランダムに行われてもよく、それらは具体的に適用されるため、本発明に関して固有の特徴であるとは考えられない。したがって、本発明の概念は、例えば、符号化された情報を導入する必要なく、環境の主要な特性の簡単な使用を可能にする。さらにまた、データベースとの照合によって位置を決定することによって、例えば、速度または加速度を測定する統合方法のように、基準位置または既知の自己開始情報との追加の照合なしに、例えば空間内の位置に対する絶対位置を決定することが可能である。しかしながら、本発明の概念は、そのようなさらなる位置特定方法または部分的な方法によって拡張されることもできることに留意されたい。
【0015】
本発明の実施形態によれば、システムは、先におよび以下にも説明される装置のうちの1つまたは複数を備え、表面は固有の特徴を有し、装置は、表面に対して移動可能に配置され、表面に対する検出ユニットの位置を決定するように構成されている。
【0016】
特に、装置は、例えば移動ロボットとして実装される装置が検出ユニットの位置を決定することによって自身の位置を決定することができるように、検出ユニットを有することができる。本発明の全体的なシステムは、例えば、仕分けシステムの一部として使用されることができ、表面は、例えば、移動ロボットが移動する地面である。本開示にかかる高速でロバストな位置特定のために、そのようなシステム全体のより高い効率は、例えば、以前の解決策よりも可能である。
【0017】
本発明の実施形態によれば、検出ユニットの位置を決定するための方法は、検出ユニットから走査情報を取得することを含み、走査情報は、表面の走査であり、走査情報は、表面の固有の特徴に関する情報を含む。さらに、本方法は、走査情報から固有の特徴についての抽出情報を抽出することと、抽出情報に基づいてデータベースと照合を実行することであって、データベースが、表面の複数の固有の特徴についての抽出情報を記憶する、実行することと、照合に基づいて走査ユニットの位置を決定することと、を含む。そのような方法は、検出ユニットの迅速且つロバストな位置特定、例えば、特にそれ自体の位置に関する事前情報なしの位置特定を可能にする。
【0018】
本発明の実施形態によれば、本発明の装置によって使用するために抽出情報をデータベースに記憶するための方法は、走査情報を取得することを含み、走査情報は、表面の走査であり、走査情報は、表面の固有の特徴に関する情報を含む。本方法は、走査情報から固有の特徴についての抽出情報を抽出することと、表面の固有の特徴についての抽出情報をデータベースに記憶することと、をさらに含む。
【0019】
抽出情報をデータベースに記憶することにより、本発明の検出ユニットの位置特定が可能にされることができる。例えば、抽出、情報コンテンツの閾値の任意の使用、記述子の任意の決定、ならびに例えば移動ロボットを使用する場合の抽出情報の評価に対する情報のアナログ処理に起因して、位置が正確に分かっている1つまたは複数のロボットによって、例えば追加のシステムによって、環境、例えば地面のマッピングが実行されることができる。
【0020】
本発明の実施形態によれば、コンピュータプログラムは、プログラムがコンピュータ上で実行されると、本発明の方法を実行するためのプログラムコードを含む。
【0021】
本発明の実施形態によれば、装置は、走査情報を提供するように構成された検出ユニットを備える。
【0022】
例えば、移動ロボットとして実装される装置への検出ユニットの統合は、装置の位置特定を可能にする。さらにまた、装置上の検出ユニットの定義された配置は、操作、例えば走査情報の改善、例えば表面に対する装置の位置を知るときの走査情報の光学的調整のために使用されることができる。
【0023】
本発明の実施形態によれば、処理ユニットは、データベースとの照合に基づいて、表面の固有の特徴に対する空間内の検出ユニットの位置を決定するように構成されている。
【0024】
検出ユニットの位置、例えば向き、したがって例えば装置の位置を決定することによって、例えば衝突回避および可能な速度の計算を伴うより高いレベルの軌道計画が可能にされることができる。
【0025】
本発明の実施形態によれば、処理ユニットは、走査ユニットの光学的特性を考慮に入れて、走査情報から固有の特徴についての抽出情報を抽出するように構成されている。
【0026】
検出ユニット、例えばカメラの光学的特性を考慮することは、抽出情報の品質の向上に寄与することができる。光学的特性は、例えば、焦点距離、開口角、または使用されるレンズなどの他のパラメータを含み得る。さらにまた、装置が検出ユニットを備える場合、装置に対する検出ユニットの位置および向きも考慮に入れることができる。
【0027】
本発明の実施形態によれば、処理ユニットは、スキャン情報を検出するときに、空間内の検出ユニットの位置に関する粗い情報に基づいてデータベースの抽出情報の選択された部分を選択し、選択された部分を照合に使用するように構成されている。
【0028】
粗い情報は、例えば、検出ユニットまたは装置の最後に決定された位置であり得る。現在の処理ステップのための事前情報を形成するこのような既知の情報によって、例えば、照合のために適格である、換言すれば、この処理ステップにおいて検出ユニットによって検出ユニットの最後の位置に関して到達されることができる固有の特徴に関する抽出情報を含むデータベースの領域が選択されることができる。これは、計算労力を低減し、および/または位置情報の精度を改善し得る。
【0029】
本発明の実施形態によれば、処理ユニットは、走査情報から、表面の固有の特徴に基づいて抽出情報の一部として記述子を決定し、記述子に基づいてデータベースとの照合を実行するように構成され、表面の複数の固有の特徴についての記述子は、データベースに記憶される。
【0030】
記述子は、固有の特徴または固有の特徴の一部、例えばサブ特徴の数学的記述とすることができる。例えば、地面上の色スペックルの場合、色スペックルの形状を記述する記述子が計算されることができる。例えば、Huモーメントがこの目的に使用されることができる。記述子は、例えば、固有の特徴のより正確な記述を可能にし、したがって、例えば、記憶された特徴へのより信頼できる関連付けを可能にするため、記述子は、固有の特徴の分類を可能にし、したがって、データベースとのより良好な照合を可能にする。さらにまた、回転変形記述子が使用されて、例えば、検出ユニットに対する固有の特徴の位置、したがって検出ユニット自体の位置を決定することができる。
【0031】
本発明の実施形態によれば、処理ユニットは、表面の固有の特徴に基づく抽出情報の一部として回転不変記述子を決定するように構成されている。
【0032】
回転不変記述子は、例えば抽出情報を抽出する過程で、例えば画像セグメンテーションの副産物として、少ない計算労力で決定されることができる。これは、ひいては固有の特徴の分類または記述を可能にし、これは、データベースとのより正確な照合によって位置決定を改善することができる。
【0033】
本発明の実施形態によれば、処理ユニットは、Huモーメントおよび/またはORB特徴を有する記述子を決定するように構成されている。
【0034】
Huモーメントおよび/またはORB特徴(ORB=Oriented Fast and Rotated BRIEF、専門用語)は、少ない計算労力で決定されることができる記述子の例を形成し、それらを移動ロボットでの使用に適したものにする。
【0035】
本発明の実施形態によれば、表面の固有の特徴は、確率的特性を有する確率的に分布した特徴である。
【0036】
確率的に分布した特徴は、例えば、移動ロボットが移動する地面のパターンであってもよく、サイズ、形状、色、またはテクスチャが異なっていてもよい。さらにまた、地面の高さプロファイルとすることもできる。そのような特徴に基づいて位置特定を実行することができることにより、本発明の概念は、例えばQRコードの形態で、無線ビーコンを設定したり符号化された情報を添付したりするなどの特別な準備なしに、様々な環境または用途において使用されることができる。
【0037】
本発明の実施形態によれば、情報は、確率的に分布した特徴のランダムな幾何学的形状の記述である。
【0038】
確率的に分布した特徴のランダムな幾何学的形状を検出ユニットによって検出することにより、例えば、幾何学的形状の形状を記述し、それをデータベースと関連付けるかまたは一致させることによって、位置に加えて検出ユニットの位置が決定されることができる。さらにまた、ランダムな幾何学的形状のデータベース照合は、例えば、固有の特徴の特にロバストな分類、したがってロバストな位置決定を可能にする。
【0039】
本発明の実施形態によれば、確率的に分布した特徴は、ランダムな表面領域およびランダムな外形を有する連続領域を有し、処理ユニットは、ランダムな表面領域およびランダムな外形を有する連続領域に関する情報を含む抽出情報を抽出するように構成されている。
【0040】
ランダムな外形のランダムな表面領域の連続領域は、例えば色スペックルまたは他のパターンの形態で、様々な産業的に使用される地面に見出されることができ、それにより、本発明の方法は、例えば構造変化なしに、様々な既存のプラントにおいて抽出情報を抽出することによって使用されることができる。
【0041】
本発明の実施形態によれば、処理ユニットは、確率的フィルタを備え、処理ユニットは、確率的フィルタによって検出ユニットの決定された位置のフィルタリングを実行して、検出ユニットのフィルタリングされた位置を決定するように構成されている。
【0042】
例えば、確率的フィルタを使用することにより、特に既知の開始位置または前の処理ステップにおける検出ユニットの位置、例えば粗い情報を使用して、検出ユニットの位置を決定することがさらに改善されることができる。さらにまた、例えば、加速度または位置センサからの追加情報は、例えば、改善されたまたは冗長な位置決定のために、カルマンフィルタなどのフィルタを介して使用されることもできる。
【0043】
本発明の実施形態によれば、表面の固有の特徴は、複数のサブ特徴を含み、処理ユニットは、複数のサブ特徴の各サブ特徴についてのサブ抽出情報のセットを抽出し、サブ抽出情報の各セットから値を決定するように構成され、値は、サブ抽出情報のセットに関連付けられたサブ特徴の情報コンテンツに関連付けられる。さらに、処理ユニットは、各値を閾値と比較し、関連付けられたサブ特徴について決定された値が少なくとも閾値に到達するサブ抽出情報のセットを選択し、選択されたサブ抽出情報のセットに基づいてデータベースとの照合を実行するように構成されている。
【0044】
サブ特徴は、例えば、地面などの表面の個々の標高範囲またはパターンとすることができる。次いで、各サブ特徴について、データベースとの照合に関してサブ特徴の記述を可能にする複数のサブ抽出情報が抽出されることができる。地面の色のスペックルの場合、サブ特徴は、単一の色のスペックルであってもよく、サブ抽出情報のセットは、色のスペックルの位置、色、形状、および他の特性に関する情報であってもよい。これに関して、上述した固有の特徴は、複数のサブ特徴を特に含んでもよい。具体的には、例えば、地面全体の色スペックルは、固有の特徴を形成することができ、個々の色スペックルは、サブ特徴を形成する。しかしながら、固有の特徴は、単色スペックルなどの走査情報の副態様のみによって形成されることもできることに留意されたい。環境または表面の走査情報の差別化された評価により、様々な情報がデータベースとの照合に利用可能であり、これは、例えば、検出ユニットの位置のより正確な決定をもたらすことができる。閾値比較は、例えば、高い情報コンテンツを有するサブ特徴のそのようなサブ抽出情報のみがデータベースとの照合に使用されるため、計算労力の低減を可能にし、その結果、多義性のリスクが低減されることができる。さらにまた、計算は、良好で区別可能な結果が期待される候補に集中することができ、これは、低い計算労力を可能にする。
【0045】
本発明の実施形態によれば、処理ユニットは、サブ抽出情報のセットの一部として複数のサブ特徴の各サブ特徴の記述子を決定し、決定された記述子に基づいてデータベースとの照合を実行するように構成され、複数のサブ特徴の記述子は、データベースに記憶される。
【0046】
固有の特徴の記述子を決定することと同様に、記述子はまた、各サブ特徴について決定されることもでき、これは、ひいてはサブ特徴を分類または記述するために使用され、データベースと照合することによって位置決定を改善することができる。
【0047】
本発明の実施形態によれば、処理ユニットは、関連付けられたサブ特徴の発生確率に基づいてサブ抽出情報のセットを選択するように構成されている。
【0048】
対応するサブ特徴が低い発生確率を有するサブ抽出情報のセットを選択することにより、少数のサブ抽出情報のみがデータベースと照合されるため、計算労力を低くすることができる。さらに、より低い発生確率に起因して、対応するサブ特徴は、検出ユニットの位置により明確に関連付けられることができ、これは、位置を正確および/またはロバストに決定させることができる。
【0049】
本発明の実施形態によれば、処理ユニットは、サブ抽出情報の各セットから、関連付けられたサブ特徴の発生確率を情報コンテンツについての値として決定するように構成されている。
【0050】
情報コンテンツを決定するために発生確率を使用することにより、本発明によれば、例えば、サブ抽出情報のセットの選択を実行するために、単純でよく解釈可能な可能性が提供される。
【0051】
本発明の実施形態によれば、処理ユニットは、選択されたサブ抽出情報のセットから点群を決定し、点群照合方法またはアルゴリズムに基づいてデータベースとの照合を実行するように構成されている。
【0052】
サブ抽出情報のセットおよびサブ抽出情報の一部であり得るサブ特徴の位置を使用して、関連付けられた点群が決定され、データベースと照合するために使用されることができる。点群照合アルゴリズムの複数の可能な実装が使用されることができ、利用可能な計算能力およびアーキテクチャに応じて、計算速度、計算労力、および精度の間の良好な妥協を可能にし、例えば、ロボット自体または中央計算ユニットによって移動ロボットの位置を計算する。
【0053】
本発明の実施形態によれば、処理ユニットは、反復最近接点、カーネル相関、およびRANSAC(ランダムサンプルコンセンサス)のうちの少なくとも1つに基づいてデータベース照合を実行するように構成されている。
【0054】
対応する方法は、少ない計算労力でモバイル処理ユニットにおいて使用されることができる。さらにまた、それらは、データベースとの十分に正確な照合を可能にし、自律型ロボットのナビゲーションを可能にすることができる。
【0055】
本発明の実施形態によれば、処理ユニットは、検出ユニットとしてのカメラから画像として走査情報を取得するように構成され、画像は、地面の走査であり、画像は、画像背景および画像前景に関する情報を含み、画像前景は、地面の複数の色スペックルに関する情報を含む。さらにまた、処理ユニットは、画像から画像前景に関する情報を抽出し、複数の色スペックルの各色スペックルについて、画像前景の抽出された情報からサブ抽出情報のセットを抽出するように構成され、サブ抽出情報のセットは、関連付けられた色スペックルの位置、形状、色、および面積パラメータのうちの少なくとも1つに関する情報を含む。
【0056】
さらにまた、処理ユニットは、例えば、サブ抽出情報のセットに関連付けられた色スペックルの発生確率に関連付けられた値をサブ抽出情報の各セットから決定し、各値を閾値と比較し、関連付けられた色スペックルが少なくとも閾値に到達するそれらのサブ抽出情報のセットを選択するように構成されている。さらにまた、実施形態の処理ユニットは、関連付けられた色スペックルの位置に関する情報を含む選択されたサブ抽出情報のセットから点群を決定し、点群および選択されたサブ抽出情報のセットに基づいてデータベースとの照合を実行するように構成され、地面の色スペックルの位置の所定の点群および対応するサブ抽出情報のセットがデータベースに記憶される。さらに、処理ユニットは、照合に基づいてカメラの位置を決定するように構成されている。
【0057】
色スペックルの位置に関する情報は、検出ユニットの基準系における位置に関する情報とすることができる。さらにまた、RGBカメラの使用は、例えば、関連付けられた色スペックルの色に関する情報を含むサブ抽出情報の容易な抽出を可能にする。さらに、記述子は、例えば、色スペックルのさらなる分類のために、例えばそれらの形状に関して計算されることができ、データベースとの照合は、データベースに記憶された複数の記述子に関して実行されることができる。この概念は、地面上のカメラ位置のロバスト且つ正確な位置特定を可能にする。
【0058】
本発明の実施形態によれば、装置は、自動運転車両および/または自律運転車両であり、処理ユニットは、自動運転車両の位置を特定するように構成されている。
【0059】
装置が自動運転車両として実装される場合、特に、検出ユニットの位置を決定することによって、車両上の規定の位置および場所に取り付けられることができる検出ユニットを統合することによって、車両が位置特定されることができる。自動運転車両の安全且つ効率的な使用のために、車両の本発明の実装は、ロバスト且つ迅速な位置特定を可能にする。
【0060】
本発明の実施形態によれば、装置は、仕分けシステムなどのためのロボット車両である。
【0061】
実施形態にかかる仕分けシステムは、好ましくは効率的且つ安全な動作のために自身の位置を決定することができるべきである複数のロボット車両を有し得る。本発明にかかる位置特定は、例えば、仕分けプロセスをスピードアップするために安全距離を短縮することができる。
【0062】
本発明の実施形態によれば、抽出情報をデータベースに記憶するための方法は、固有の特徴の情報コンテンツに関連付けられた値を決定することと、値を閾値と比較することと、固有の特徴の決定された値が少なくとも閾値に到達した場合、表面の固有の特徴についての抽出情報をデータベースに記憶することと、を含む。
【0063】
関連付けられた固有の特徴の情報コンテンツに関して抽出情報を選択することにより、データベースのサイズおよびデータベースとの照合のための計算量の双方が改善されることができ、同時に、例えば、不一致の回避による位置決定の品質を改善することができる。
【0064】
本開示にかかる実施例が添付の図面を参照して以下により詳細に説明される。示されている概略図に関して、示されている機能ブロックは、本開示にかかる装置の要素または特徴および本開示にかかる方法の対応する方法ステップの双方であると理解されるべきであり、本開示にかかる方法の対応する方法ステップもまた、そこから導出されることができることが指摘される。図面では、以下のとおりである:
【図面の簡単な説明】
【0065】
【
図1】本発明の実施形態にかかる装置の概略側面図を示している。
【
図2a】本発明の実施形態にかかる、表面の走査からの情報の走査および情報の抽出の例を示している。
【
図2b】本発明の実施形態にかかるデータベースとの照合の例を示している。
【
図3】本発明の実施形態にかかるさらなる走査情報を示している。
【
図4】本明細書に記載の実施形態に適した、スペックルのあるゴム床片の写真を示している。
【
図5】実施形態にかかる、
図4からのゴム床の画像における着色された「ブロブ」の形態の色スペックルのセグメンテーションの例示的な表現を示している。
【
図6】実施形態にかかる、低情報コンテンツを有するブロブを破棄した後のセグメンテーションの例示的な表現を示している。
【
図7】例えば
図6の説明にしたがって取得されることができる、参照される観察点群と、周囲点の基準セットとの概略比較を示している。
【
図8】実施形態にしたがって実行される位置特定の正規分布誤差のサンプルの概略表現を示している。
【
図9】ロボットによって2回横断される平面内の軌跡の概略表現を示している。
【
図10】フィルタリングなしの実施形態にかかる位置特定の結果の概略表現を示している。
【
図11】実施形態にかかるフィルタリング後の位置特定の結果の概略表現を示している。
【発明を実施するための形態】
【0066】
本発明の実施形態を図面を参照して以下に詳細に説明する前に、異なる実施形態に示されるこれらの要素の説明が交換可能または相互に適用可能であるように、同一の要素、物体および/もしくは構造、または同じ機能もしくは効果のものには、異なる図面において同じまたは類似の参照符号が付されていることが指摘される。
【0067】
以下に記載される実施形態は、複数の詳細の文脈において記載される。しかしながら、実施形態は、これらの詳細な特徴なしで実装されてもよい。さらにまた、明確にするために、詳細な表現の代わりにブロック図を使用して実施形態が記載される。さらにまた、個々の実施形態の詳細および/または特徴は、反対に明示的に記載されていない限り、互いに容易に組み合わせられることができる。
【0068】
図1は、本発明の実施形態にかかる装置の概略側面図を示している。
図1は、処理ユニット110を有する装置100を示している。処理ユニット110は、マイクロコントローラを備えることができるが、プロセッサ(中央処理ユニットCPU)および/またはグラフィカルプロセッサユニット(GPU)も備えることができる。
【0069】
装置100は、任意に、検出ユニット120を備える。検出ユニットは、例えば、エリアスキャンカメラまたはラインスキャンカメラなどのカメラを備えるが、例えば、RADAR(Radio Detecting and Ranging)またはLiDAR(Light Detecting and Ranging)による表面の他の、好ましくは光学的な走査のために実装されてもよい。処理ユニット110は、表面130の走査120aから検出ユニット120によって提供される走査情報を取得するように構成され、走査情報は、表面の固有の特徴に関する情報を含む。検出ユニット120が装置の一部ではない場合、この情報は、処理ユニット110によって、例えば光または無線ベースのデータ伝送、有線媒体、および/または記憶媒体などによって、そのようなデバイスから依然として取得されることができ、例えば、その後の位置特定を可能にする。
【0070】
処理ユニット110は、走査情報から固有の特徴についての抽出情報を抽出し、抽出情報に基づいてデータベースとの照合を実行するように構成され、データベースは、表面の複数の固有の特徴についての抽出情報を記憶する。さらに、処理ユニット110は、任意の確率的フィルタ140を含む。
【0071】
固有の特徴は、例えば、使用される走査技術によって認識可能な特徴、例えば、表面にわたって変化し、好ましくは表面の局所的に限定された可変の個々の特徴によって、例えば表面が有する材料の特性として、または少なくともそのための担体として機能する、光学的に認識可能な区別可能な特徴であると理解されることができる。例えば、光学的に認識可能な特徴は、まだ塗装されており、塗料が物理的に表面を形成するが、特徴を認識可能なままである場合、担体の一部であってもよい。そのような区別は、そのような例えば塗装された担体が依然として表面として理解されるような実施形態には必須ではない。例えば、特徴は、色スペックルまたは他のコントラスト差および/または高さプロファイルである。
【0072】
さらにまた、処理ユニット100は、照合に基づいて検出ユニットの位置を決定するように構成されている。装置は、例えば、
図1に示すような移動ロボットなどの車両であってもよい。ドローン、自動車、または他の、例えば移動可能な物体としての実装も可能であり、これは位置特定を可能にする。
【0073】
既知の方法とは異なり、実施形態は、例えばオプティカルフローを評価して絶対位置特定を提供することによって、地面などの表面に固有の特徴に基づいて検出ユニットの位置特定を実行することを可能にする。
【0074】
処理ユニット110は、表面130の固有の特徴に関して空間内の検出ユニットの位置を決定するようにさらに構成されてもよい。例えば、地面に対する検出ユニット120の既知の定義された位置に基づいて、例えば回転変形記述子および/または点群照合によるデータベース照合を介して、検出ユニットに対する固有の特徴の位置を認識する。さらなる改善のために、特に検出ユニット120、例えばカメラの光学的特性などの検出ユニットの特性が考慮に入れられて、例えば評価または情報抽出のための走査情報を準備することができる。
【0075】
処理ユニットは、例えば、おそらく後述する前処理の結果として、認識された固有の特徴をデータベースと照合するように構成されることができ、データベースは、例えば、特徴および割り当てられた位置を含み、その結果、照合に基づいて、割り当てられた位置が照合の結果として取得されることができ、したがって、位置特定は固有の特徴に基づく。例えば、QRコードと比較して、これは、そのようなコードを最初に表面に適用する必要がないため、労力の大幅な削減を意味することができる。位置に加えて、検出ユニットの回転は、例えば、記憶された特徴の対応する基準情報をデータベースに記憶することによって、比較から取得されることもできる。
【0076】
計算時間を短縮するために、処理ユニット110は、データベースの選択された部分のみを照合に使用するために、検出ユニットの位置、例えば最後に決定された位置に関する粗い情報をさらに考慮に入れてもよい。代替的または追加的に、車両がシステム全体の特定のセクションまたはセクタに位置しているという知識などのさらなる情報が使用されてもよく、例えば、予備情報を考慮して一致が可能であるかまたは可能性が高いデータベースエントリのみが比較に使用される。
【0077】
例えば、処理ユニット110は、記述子に基づいてデータベースとの照合を実行するために、表面の固有の特徴に基づく抽出情報の一部として記述子を決定してもよい。そのような記述子、すなわち記述識別子は、回転変形であってもよいが、回転不変であることが好ましい。回転不変記述子は、例えば、データベースとの照合中に、同じであるが回転された特徴の、データベースに記憶された記述子に対する記述子に関連付けられた特徴の回転の下で、例えば高い信頼性および/または精度で、それらが依然として確実に認識されるかまたは割り当てられることができるという利点を有することができる。これは、たとえ位置特定が特徴またはサブ特徴に対して異なる回転角度で行われたとしても、記述子に基づいて特徴を確実に認識することができることを意味する。回転不変記述子を使用する場合、本発明によれば、点群照合アルゴリズムが使用されて回転を決定するか、または検出ユニットの位置を精密に決定することができる。さらにまた、処理ユニット110はまた、配向勾配のヒストグラム(HOG)に基づいて固有の特徴の回転に関する情報を決定し、したがって、結論として、例えば、走査情報に対する検出ユニットの既知の位置および場所に基づいて検出ユニットの回転または位置に関する情報を決定するように構成されることができる。
【0078】
オプションの確率的フィルタ140は、例えば位置決定を改善するために、検出ユニットのフィルタリングされた位置を決定するために、検出ユニットの決定された位置をフィルタリングするために使用されてもよい。
【0079】
図2aは、例えば、表面の走査に由来し、本発明の実施形態にかかる情報を抽出するために使用されることができる情報の走査の可能な処理を示す例示的な概略図を示している。
図2aは、例えば、洗濯機のベース層として使用されることができる再生ゴム床から知られているような、例示的な色スペックル、すなわち表面の色差を有する床面の走査情報210を示している。
【0080】
したがって、固有の特徴220は、例えば、表面上の色スペックルの全体を形成し、関連付けられた抽出情報は、そこから抽出された情報の全体を形成し、例えば、走査情報210が情報を有する全ての色スペックルまたはその一部の全体的または相対的な配置、形状、色、面積および/または位置を含む。
【0081】
図示の場合、固有の特徴220は、個々の色のスペックルの形態などの複数のサブ特徴220-1、220-2、220-3(およびその他)を有する。単色の背景などの補色は、少なくとも部分的に、スペックルの形状、全体的または相対的な配置、および/または分離によって背景の一部として見ることができるスペックルの面積などに関して、同等の情報を有し得ることに留意されたい。各色スペックルについて、サブ抽出情報230、240、250のそれぞれのセットが抽出されてもよい。例として、3つのサブ特徴220-1、220-2、220-3の抽出が示されている。
【0082】
サブ特徴220-1の場合、サブ抽出情報のセット230が抽出され、サブ特徴220-2の場合、サブ抽出情報のセット240が抽出され、サブ特徴220-3の場合、サブ抽出情報のセット250が抽出される。
【0083】
サブ抽出情報は、それぞれ、関連付けられたサブ特徴の形状、色、面積パラメータ、および位置を含むセット上の少なくとも情報230-1、240-1、250-1を有してもよく、列挙、順序、および異なるカテゴリの数のコンテンツは、単なる例示として理解されるべきであり、必ずしも実施形態を限定するものではない。この情報は、様々なフォーマット230-2、240-2、250-2において記憶されてもよい。例えば、この情報は、形状に関する情報を記述する記述子を有してもよい。例えば、色に関する情報は、RGB値または「青」などの離散テキスト情報を使用して記述されてもよい。例えば、面積コンテンツを記述する面積パラメータは、z1などの単一のスカラを形成してもよい。位置は、例えば(pos x1,pos y1)など、座標のタプルとして決定されてもよい。
【0084】
値は、情報コンテンツに関連付けられた抽出情報から、サブ抽出情報関連サブ特徴のセットに決定されることができる。
図2aによれば、これは、例えば、面積パラメータとすることができる。例えば、大きな色スペックルは、小さな色スペックルよりも発生頻度が低く、またはその逆であり、あるいは1つの色または形状が別の色または形状よりも頻繁に表されると仮定されることができる。閾値比較230-3、240-3、250-3は、個々の選択されたサブ抽出情報の情報コンテンツを増やすことによって、その後データベースを照合するのに必要な計算労力を低減することができる。例えば、サブ特徴220-2は、その関連付けられた面積パラメータz
2が関連付けられた閾値240-3を満たさないため、考慮されない。これはまた、非常に確からしい、すなわち情報不足のサブ特徴が閾値決定によって排除または除外されることができるように表現されることができる。
【0085】
図2bは、本発明の実施形態にかかるデータベースとの照合の例を示している。
図2bは、ブロック220bにおいて、関連付けられたサブ抽出情報が閾値を満たすサブ特徴を有する
図2aの走査情報210のサブ特徴の表現を示している。データベース270は、表面の複数の固有の特徴または表面の固有のサブ特徴についての抽出情報またはサブ抽出情報を含む。関連付けられた(図示しない)サブ抽出情報は、データベース270内の図示されたサブ特徴のそれぞれに割り当てられる。例えば、サブ抽出情報の配置およびそれぞれの情報に関して照合することにより、サブ特徴220bは、データベース270内の情報と関連付けられて、検出ユニット位置を決定し得る。
【0086】
実施形態では、データベースとの照合によって検出ユニットの位置を決定することは、いくつかのステップを含み得る。例えば、第1のステップでは、サブ特徴の関連付けられたサブ抽出情報をデータベースのサブ抽出情報と照合することによって、サブ特徴の可能な位置のセットが取得され得る。これにより、例えばマッピングされた表面全体、例えば地面などの基準フィールド内のサブ特徴(例えば、ブロブ)の可能な位置が決定されることができる。
【0087】
さらなるステップでは、点群照合アルゴリズムがその後に使用されて、位置を決定する際の曖昧さを打ち消すか、換言すれば、可能な位置のセットからサブ特徴の真の位置または少なくとも可能性のある位置を決定することができる。
【0088】
サブ特徴の互いに対する位置など、追加の情報も考慮に入れられることができる。例えば、
図2bの5つの形状は、例えば、同様のサブ特徴が他の位置にマッピングされたため、空間データベース内の異なる同様の配置で表示され得る。この場合、どのサブ抽出情報が画像内に存在するかを知るだけでは不十分な場合がある。したがって、要素、例えば色スペックルまたはブロブの互いに対する配置を考慮することが有利または必要であり得る。この情報は、例えば明確な割り当てを可能にするために、点群照合アルゴリズムによって処理されることができる。
【0089】
本発明にかかるさらなる実施形態では、さらなるステップは省略されてもよい。実施形態では、例えば、単にデータベースを探索するだけで、サブ特徴の位置、したがって検出ユニットの位置を決定するのに十分であるほど明確な記述子が決定されることができる。
【0090】
図3は、本発明の実施形態にかかるさらなる走査情報を示している。
図3は、表面、例えば地面の走査情報の高さプロファイルを示し、地面のサブ特徴310は、例えば地面の個々の隆起および/または窪みであり、サブ抽出情報は、隆起の高さまたは幅情報320を有する。島構造として理解されるように、面積および/または形状、ならびに高さもまた、ここでは色の代替として、または色に加えて使用されることができる。
【0091】
サブ抽出情報を選択するための閾値は、例えば最小高さ330によって形成され、この例はまた、深さ方向に反転されることもできる。したがって、本発明にかかる実施形態は、画像情報および/または根拠に限定されない。さらにまた、例えば、環境の天井または壁に配置された環境特徴も使用可能である。例えば、本発明にかかるドローンの形成のために、環境の表面の固有の特徴の複数の抽出情報は、3次元空間において抽出可能である。
【0092】
本開示にかかるさらなる実施形態が、
図4、
図5、および
図6を参照して以下により詳細に記載される。
【0093】
この目的のために、
図4は、例えば、少なくとも部分的に固有の特徴220を表すことができる色スペックルを有する上述したゴム床片の写真または画像を示している。
【0094】
この実施形態の態様は、地面または地面の形態の表面に向けられたカメラの形態の検出ユニットを形成し、位置特定のために、記録された地面または特別なおよび/または固有の特徴に関する情報を有する走査情報から特別な特徴を抽出し、それを位置が既知である特徴のデータベースと比較するために、処理ユニットとともに試行または形成される。換言すれば、抽出情報は、データベースと比較される固有の特徴、例えば特殊な特徴に関する情報からカメラによって抽出され、表面の複数の固有の特徴についての抽出情報がデータベースに記憶される。
【0095】
マーカーベースシステムとは異なり、これは、例えばORB-SLAM(ORB=Oriented Fast and Rotated BRIEF、専門用語)の場合のように、地上にあるQRコードなどの特別に適用された特徴も、カメラ画像から特徴を独立して抽出してそれらをマッピングするSLAM(「Simultaneous Localization and Mapping」)プロセスも含まない。
【0096】
本発明の概念をよりよく理解するために、床面の例が、例えばアルゴリズムとは別に、以下により詳細に説明される。
図4に示すようなゴム床の製造のための標準的なプロセスは、リサイクル材料(例えば、EPDM-エチレンプロピレンジエン(モノマー)顆粒)を使用し、これは小さな着色「フレーク」の形態でベース化合物に添加される。次いで、プラスチック顆粒と混合されたベース化合物が押出および/または圧延される。このプロセスの結果は、例えば、ゴムマット(サイズに合わせて切断されるか、または巻き上げられる)であり、スペックル模様を有する。パターンの正確な外観は、添加された顆粒の種類および量に依存するが、得られる「スペックル」は、例えば、常に完全にランダムである(
図4を参照)。したがって、スペックルは、床に固有であり、同時に、それらのランダム性のために、位置特定のための情報源を形成する。本発明の方法は、特定の製造プロセスにかかるゴム床のクラスに限定されないことに留意されたい。例えば、本明細書に記載の床と同様の様々な床、または固有の特徴の異なるランダム性が使用されることができる。
【0097】
この実施形態の例にかかる方法の1つの考え方は、製造プロセス中に自動的に生成されるこのランダムスペックルパターンを位置特定に使用可能にすることである。この目的のために、実施形態は、以下に説明する画像処理のプロセスを実行することを提供し、これは必ずしもSLAMプロセスではないため、データベース内のばねなどの基準データベースを取得するために、少なくとも部分的に地面全体、または位置特定に使用可能にされる地面全体で事前に実行する。処理パイプライン全体は、順次実行され得る以下の要素からなるか、または以下の要素を含み得る:
画像をキャプチャした後の第1のステップは、必ずしも最初に実行されるものではないが、セグメンテーションを含んでもよく、その目的は、画像から連続する色セグメントを分離することである。これらの連続した着色領域は、「(色)ブロブ」または色の塗り付けと呼ばれることがあり、例えば、
図2aおよび
図2bの固有の特徴220-1、220-2および220-3の説明を参照されたい。換言すれば、例えば、抽出情報またはサブ抽出情報を抽出するための第1のステップでは、画像がセグメント化されて、例えば個々の色ブロブの色に関する抽出情報を抽出し得る。換言すれば、セグメンテーションは、例えば単色ブロブのサブ特徴についての抽出情報の抽出またはサブ抽出情報の抽出の例を形成する。
【0098】
本明細書に記載の実施形態にかかるシステムは、本明細書に記載の装置と、固有の特徴を有する表面とを備え、装置は、表面に対して移動可能に配置され、表面に対する検出ユニットの位置を決定するように構成されている。さらにまた、システムは、データベースを備える。
【0099】
このようなセグメンテーションの結果は、
図5に見ることができる。この点に関して、
図5は、画像内の着色された「ブロブ」の形態の色スペックルのセグメンテーションを示している。
【0100】
使用される地面のタイプに応じて、異なる数の異なるセグメンテーションレベルがここで使用されることができる。
図4および
図5の例では、地面は、4つの異なる色、すなわち赤、緑、青、黒からなり、支配的な色(黒)が背景を表している。この例におけるセグメンテーションの結果は、3つの2値画像であり、同じ色の連続領域(「ブロブ」)を残りから分離する。例えば1つの色または2つの色のみを使用して、このサブセット空間のみで評価を実行することが可能であるが、それは全ての情報源を使用する利点を提供する。
【0101】
さらなる処理のために全体をより使用可能にするために、または計算上の複雑さをより少なくするために、例えば、画像に存在する情報の一部が破棄される。示されている地面は、例えば、30%のEPDM粒子を有し、それぞれ赤色、緑色および青色について10%である。情報理論の基礎によれば、地面の最も広い部分(70%)は黒であるため、色は最も多くの情報を含む。地面または着色部分のそのような組成は、ここでは単に明確化のための例として意図されており、本発明にかかる実施形態は、そのような例に限定されないことに留意されたい。
【0102】
情報理論の基本によれば、シンボルはほとんどの情報を担持するため、その発生確率は低くなる。製造プロセスを考慮すると、例えば
図4および
図5に示す地面において、非常に大きな面積を有するブロブは、小さな面積を有するブロブよりも発生頻度が低いため、例えば、面積が小さすぎるブロブは、全て破棄される。この事実は、本発明にしたがって使用されることができる全ての根拠に必ずしも当てはまるわけではない。別のゴム床では、この比率が正確に反転されることがかなり可能である。ブロブのシフティングもしくは破棄、または換言すれば、サブ特徴またはそれらに関連付けられたサブ抽出情報のシードの選択は、必ずしも観察された画素面積に基づいて行われる必要はなく、むしろ、例えば、個々の要素の情報コンテンツを明確にし、改善および/または最大化する特徴または特徴に関連付けられた抽出情報またはサブ抽出情報にしたがって最適に行われることを理解することが重要である。どの特徴または閾値が適切であるかの識別は、例えば製造プロセスの表面を見ることによっておよび/または評価することによって、または既に存在する根拠を評価することによって決定されることができる。
【0103】
上述した処理の結果は、
図6の3つのセグメンテーション(R-G-B)全てについて見ることができる。
【0104】
図6は、例えば、セグメントを評価するために特徴220-3から220-11のみが残るが、特徴220-1および/または220-2などの他のものは無視されるかまたは除外されるように、低情報コンテンツを有するブロブを破棄した後のセグメンテーションの表現である。特徴の組み合わせ、例えば220-9、220-10および220-11も組み合わせ特徴と考えることができることに留意されたい。換言すれば、
図6は、関連付けられた抽出情報またはサブ抽出情報のセットから値が決定され、閾値と比較された特徴またはサブ特徴を示しており、関連付けられた選択されたブロブの決定された値は、少なくとも閾値を満たしている。
【0105】
次に、回転不変特徴記述子は、例えば抽出情報またはサブ抽出情報の一部として、1つ、いくつか、または全てのブロブに対して形成されることができる。この目的のために、例えば、ブロブの形状の数学的記述を簡略化して表すことができるいわゆるHuモーメントが使用されることができる。この時点で、他の数学的記述子も使用されてもよいが、Huモーメントは、色情報をセグメンテーションから副産物として、または換言すれば、自由に擬似的に抽出する過程で計算されることができるため、アルゴリズム的に非常に有利であり得る。
【0106】
各ブロブについて、その位置およびそのHuモーメントがここで記憶されることができる。次のステップは、別の抽象化レベルで再び実行されることができる。選択されたサブ抽出情報のセットから点群が決定されることができる。したがって、全てのセグメンテーションレベルの全てのブロブの位置は、1つの点群であると仮定されることができる。カメラ行列および例えば地面までの既知の距離を使用して、各ブロブの位置がピクセル座標から世界座標に変換されることができ、すなわち、ブロブから形成された点群内の点の距離は、例えば地面上のブロブの実際のまたは絶対的な物理的距離に対応する。カメラの形態の検出ユニットのさらなる光学的特性を考慮することによって、走査情報からの抽出情報のさらなる改善も達成されることができる。
【0107】
ここでの目標は、取得された画像の観察点群を、地面に存在し、データベースに記憶された全てのブロブ、または換言すれば以前にマッピングされたブロブから生じる点群にフィッティングさせることである。これについては
図7を参照されたい。
【0108】
図7は、左画像区間で参照される観察点群と、右画像区間(右)での周辺点の基準集合とを示している。右側の
図7は、データベースの一部の簡略図を表し得る。色ブロブの一致するグループ46が例示的に示されている。
【0109】
フィッティングは、点群照合アルゴリズム、例えば、「反復最近接点」-略してICPを使用して実装されることができる。手順は、反復最近接点アルゴリズムを使用することに限定されない。カーネル相関またはRANSACなどの他のアルゴリズムも存在し、これらもまた、点群をフィッティングするために使用されることができる。
【0110】
この時点で、
a.同じセグメンテーションレベル(すなわち、同じ色を有する)に位置する
b.特徴記述子に基づいて動作するメトリックにしたがって小さい距離を有する(単純に言えば、Huモーメントに関して、類似の形状を有する)場合、観察点群からの点が基準群内の点にフィッティングされることができることが利用されることができるため、以前に計算された記述子、例えば特徴記述子が再び使用されることができる。
【0111】
例えば、特にさらなる実施形態では、さらなる(サブ)抽出情報が使用されて(サブ)特徴を特徴付けることもでき、したがって、照合または換言すれば、フィッティングはまた、さらなる境界条件を有することもできることに留意されたい。
【0112】
観察点群を基準データにフィッティングさせることは、例えば空間内のロボットなどの検出ユニットの位置だけでなく、空間内のその回転または位置も1つのステップにおいて決定されることができることを保証する。
【0113】
以下では、
図8、
図9、
図10、および
図11が、本発明にかかるさらなる実施形態を説明するために使用される。実施形態は、確率的フィルタによる位置決定の改善を可能にし、例えば、特に地上カメラが検出ユニットとして使用されることができる。
【0114】
前述の発明概念のさらなる発展を形成することができるこの実施形態の発明の概念は、最初に一般的な用語で説明される。
【0115】
あらゆる種類の位置特定アルゴリズムにおいて、誤った位置特定が発生する可能性がある。本実施形態の文脈では、例えば、ロボットの特定の使用事例では、ロボットは、そうでなければ、短時間考えるため非常に不規則に運転し、換言すれば、位置特定は、ロボットが異なる位置にジャンプしたことを簡単にフィードバックするため、現実世界での使用のためにそのような誤差を最小限に抑えることが望ましい。最小化は、統計的フィルタリングを介して行うことができ、誤差は、既知の確率密度関数を有する確率変数としてモデル化される。
【0116】
フィルタは、統計モデルを介して(例えば、「再帰的最小二乗法」フィルタにおいて)データから純粋に機能するか、または他のセンサからの追加情報を使用することができる。ロボット工学では、このデータが例えば車輪の回転数を測定することによって容易に取得されることができるため、オドメトリ(例えば、簡単に言えば、「私はどのように運転しましたか」)を使用して位置特定アルゴリズムの結果をフィルタリングすることが確立されている。ここでも、これらの測定値は誤っている可能性があるが、車輪の回転数のセンサの誤差は、通常、位置特定アルゴリズムの誤差と相関しないため、2つの値が有用にマージされて現在位置のより良い推定値を得ることができる。このタスクのために最も一般的に使用される2つのフィルタは、カルマンフィルタおよび粒子フィルタである。
図8は、その原理を概略的に示すものである。
【0117】
図8は、2つの直交方向XおよびYに沿った誤差に関連する位置特定の正規分布誤差のサンプル48の概略図を示している。
【0118】
基本的に、様々なフィルタが使用されることができ、場合によっては、使用されるフィルタの種類は、例えば重要でさえないことがある。結果をフィルタリングすることが利点を有し得るか、または重要でさえある理由をよりよく理解するために、
図9、
図10、および
図11が以下に説明される。
【0119】
図9は、2回横断する平面におけるロボットの軌跡52を示している。単一点は、モーションキャプチャシステムによって測定された、X-Y平面内の車両の実際の位置(「グラウンドトゥルース」)を表す。グラフは、時間成分なしで(2回通過させた横断砂時計の形態で)カバーされる軌跡を反映する。
【0120】
図10は、フィルタリングを行わない場合の位置特定の結果を示している。位置特定アルゴリズムの結果が示されている。駆動された軌跡を依然として局所的な軌跡54として明確に見ることができるが、誤った推定56も明確に見ることができ、これは軌跡54上のギャップ58および/または外れ値62につながる可能性がある。
【0121】
図11は、フィルタリングされた個々の位置特定に基づくフィルタリングされた軌跡64としてフィルタリング後の位置特定結果を示している。データは、グラウンドトゥルースほどクリーンではない、すなわち、依然として偏差はあるが、実際の外れ値またはギャップもない。
【0122】
追加の確率的フィルタの使用は、例えば特に自律航法タスクに関する位置特定の改善を可能にすることが明らかになる。本発明にかかるロボットのオドメトリは、位置情報を改善するためのフィルタリングにも使用されることができる。これはまた、例えば誤った位置特定および事故の可能性を低減するために、特に安全上重要な、例えば冗長システムを作成するために使用されることもできる。
【0123】
結論およびさらなる意見
一般に、本発明にかかる実施形態は、本発明の方法が、例えば検出ユニット(現在のプロトタイプは、例えば5m/sを管理する)を有するロボットなど、非常に高速で多大な費用をかけずに正確に機能することができるという利点を有する。これは、最も重要な利点の1つであり得る。とりわけ、これはまた、使用されるアルゴリズムの計算時間が非常に短いという事実に起因し、これは本発明の装置の別の利点である。
【0124】
本発明の実施形態における特徴記述子の画像セグメンテーションおよび計算は、例えばグラフィックカード上で高度に並列化された方法で計算されることができ、点群照合のためのアルゴリズムはまた、低い計算複雑度(計算複雑度のオーダーの例:例示的なプロトタイプは、Nvidia(登録商標)Jetsonボードで毎秒50の位置特定を達成する)で実行されることができる。換言すれば、点群照合のためのアルゴリズムは、計算集約的ではほとんどない可能性がある。
【0125】
本発明にかかる地上ベースの位置特定は、一般に、自動倉庫などの変化する環境であってもロバストに機能するという利点(例えば、環境に基づく位置特定の前または位置特定に関して)を有する。
【0126】
既存の解決策を超える主な利点または最大の利点は、本発明の方法(既に上述したように)が依然として高速で確実に機能することであり得る。
【0127】
本発明の概念の別の利点は、例えばマーカーベースのアプローチと比較して、マーカー、例えばQRコードが最初に地面に適用されず、摩耗しすぎた場合に更新される必要がないことである。さらに、そのようなシステムの例は、マーカー、例えばQRコード間で認識が不可能であるため、「ギャップレス」位置特定を提供しない。対照的に、本発明の方法は、例えば床などの表面の製造プロセスにおいて既に自動的に適用された特徴を有するギャップのない位置特定を可能にする。
【0128】
一般に、本発明にかかる実施形態は、記述子、例えば色スペックルの特徴記述子を使用して、点群照合アルゴリズムを使用して、色スペックル、例えば地面のブロブをセグメント化し、照合またはフィッティングにおいて以前に抽出された抽出情報またはサブ抽出情報、例えば以前に抽出された特徴を考慮するという概念に基づいている。
【0129】
さらなる実施形態は、赤、緑、および青のスペックルのセグメンテーション、ゴム床のスペックルのセグメンテーション、特徴記述子としてのHuモーメントの使用、点群照合アルゴリズムとしてのICPの使用、およびICP照合におけるHuモーメントの考慮に基づき得る。さらにまた、例えばICPによるHuモーメントの代わりに、カーネル相関を有するORB特徴が使用されることができる。
【0130】
一般に、本発明にかかる実施形態は、産業で使用される基本的に任意の形態の移動ロボットに技術的に使用されることができる。前述のゴム床は、例えば、既に述べたように、多くの用途において絶対的な標準であり、例えば工業ホールの床として完全に使用されることができる。しかしながら、特に、例えば従来技術と比較して非常に高速で位置特定する能力のために、記載された本発明のアプローチは、例えば、車両ベースの仕分けシステムにおいて使用されることができる、またはより長い距離にわたる輸送に関連する、例えば高速移動モバイルロボットに特に適している。
【0131】
本開示にかかる実施形態は、SLAM方法に変換されることができ、換言すれば、SLAM方法に使用されることができる。SLAMの大きな利点は、例えば、変化する環境に対処できることである。椅子があるテーブルを含む部屋を例にとる。椅子の位置は、経時的に変化することができる。SLAM法は、椅子の新たな位置を再マッピングし、再び変更されるまでそれを基準として保持する。
【0132】
しかしながら、SLAM法と比較した本発明の方法の利点は、地面の固有の特徴、例えばゴム床の製造中に作成されたスペックルパターンが基準として使用されるため、本発明によれば、地面の変化がかなり小さく、場合によっては別の装置/車両(例えば、数年後に起こり得る摩耗の兆候に反応する)によってさえも、位置特定とは別のプロセスにおいて実行されることができるため、恒久的な再マッピングプロセスの必要がないことである。
【0133】
本発明にかかる実施形態は、内部位置特定システムを形成する検出ユニットの位置を決定するための装置を備える。
【0134】
実施形態にかかる検出ユニットの位置を決定するための方法は、以下のステップ、すなわち、
検出ユニットから走査情報を取得するステップであって、走査情報が表面の走査であり、走査情報が表面の固有の特徴に関する情報を含む、取得するステップと、
走査情報から固有の特徴についての抽出情報を抽出するステップと、
抽出情報に基づいて、データベースとの照合を実行するステップであって、データベースが、表面の複数の固有の特徴についての抽出情報を記憶する、実行するステップと、
照合に基づいて検出ユニットの位置を決定するステップと、を含む。
【0135】
本明細書に記載の実施形態にかかる装置によって使用するために抽出情報をデータベースに記憶するための方法は、以下のステップ、すなわち、
走査情報を取得するステップであって、走査情報が表面の走査であり、走査情報が表面の固有の特徴に関する情報を含む、取得するステップと、
走査情報から固有の特徴についての抽出情報を抽出するステップと、
表面の固有の特徴についての抽出情報をデータベースに記憶するステップと、を含む。
【0136】
そのような方法は、任意に、
固有の特徴の情報コンテンツと関連付けられた値を決定するステップと、
値を閾値と比較するステップと、
固有の特徴の決定された値が少なくとも閾値に到達することを条件として、表面の固有の特徴についての抽出情報をデータベースに記憶するステップと、をさらに含む。
【0137】
列挙された全ての材料、環境の影響、電気的特性および光学的特性は、例として見なされるべきであり、網羅的ではない。
【0138】
いくつかの態様が装置の文脈で説明されているが、これらの態様はまた、対応する方法の説明を表すため、装置のブロックまたは構成要素はまた、対応する方法ステップまたは方法ステップの特徴であると理解されるべきであることが理解される。同様に、方法ステップに関連してまたは方法ステップとして説明される態様はまた、対応する装置の対応するブロックまたは詳細または特徴の説明を表す。方法ステップの一部または全ては、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのいくつかまたは複数は、そのような装置によって実行されてもよい。
【0139】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されることができる。実装は、デジタル記憶媒体、例えばフロッピーディスク、DVD、ブルーレイディスク、CD、ROM、PROM、EPROM、EEPROM、フラッシュメモリ、ハードディスク、またはそれぞれの方法を実行するようにプログラム可能なコンピュータシステムと相互作用または相互作用することができる電子的に読み取り可能な制御信号が記憶された任意の他の磁気または光学記憶媒体を使用して実行され得る。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
【0140】
したがって、本発明にかかるいくつかの実施形態は、本明細書に記載の方法のいずれかが実行されるようにプログラム可能なコンピュータシステムと相互作用することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0141】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されてもよく、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに任意の方法を実行するように動作する。
【0142】
例えば、プログラムコードはまた、機械可読媒体に記憶されてもよい。
【0143】
他の実施形態は、本明細書に記載の方法のいずれかを実行するためのコンピュータプログラムを含み、コンピュータプログラムは、機械可読媒体に記憶される。
【0144】
換言すれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されると、本明細書に記載の方法のいずれかを実行するためのプログラムコードを含むコンピュータプログラムである。
【0145】
したがって、本発明の方法の別の実施形態は、本明細書に記載の方法のいずれかを実行するためのコンピュータプログラムが記録されるデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、またはコンピュータ可読媒体は、典型的には、有形および/または非一時的または非過渡的である。
【0146】
したがって、本発明の方法のさらなる例は、本明細書に記載の方法のいずれかを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信リンクを介して転送されるように構成されてもよい。
【0147】
別の実施形態は、本明細書に記載の方法のいずれかを実行するように構成または適合された、コンピュータまたはプログラマブル論理デバイスなどの処理デバイスを備える。
【0148】
別の実施形態は、本明細書に記載の方法のうちのいずれかを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを含む。
【0149】
本発明にかかる別の実施形態は、本明細書に記載の方法のうちの少なくとも1つを実行するためのコンピュータプログラムを受信機に送信するように構成された装置またはシステムを備える。送信は、例えば、電子的または光学的であってもよい。受信機は、例えば、コンピュータ、モバイルデバイス、記憶デバイス、または同様のデバイスであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に送信するためのファイルサーバを含んでもよい。
【0150】
いくつかの実施形態では、プログラマブルロジックデバイス(例えば、フィールドプログラマブルゲートアレイ、FPGA)が使用されて、本明細書に記載の方法の機能のいくつかまたは全てを実行してもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のいずれかを実行するためにマイクロプロセッサと相互作用してもよい。一般に、いくつかの実施形態では、本方法は、任意のハードウェア装置の一部において実行される。これは、コンピュータプロセッサ(CPU)などの汎用ハードウェア、またはASICなどの本方法に固有のハードウェアであってもよい。
【0151】
本明細書に記載された装置は、例えば、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装されてもよい。
【0152】
本明細書に記載された装置、または本明細書に記載された装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェア(コンピュータプログラム)で実装されてもよい。
【0153】
本明細書に記載された方法は、例えば、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装されてもよい。
【0154】
本明細書に記載された方法、または本明細書に記載された方法の任意の構成要素は、ハードウェアおよび/またはソフトウェアによって少なくとも部分的に実行されてもよい。
【0155】
上述した実施形態は、本発明の原理の単なる例示である。本明細書に記載された構成および詳細の変更および変形は、当業者にとって明らかであろうことが理解される。したがって、本発明は、以下に示される特許請求の範囲によってのみ限定され、本明細書の実施形態の説明および説明によって提示される特定の詳細によっては限定されないことが意図される。
【手続補正書】
【提出日】2022-10-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
装置(100)であって、
処理ユニットであって、
表面(130)の走査(120a)から、検出ユニット(120)によって提供される走査情報(210)であって、前記表面(130)の固有の特徴(220)に関する情報を含み、前記表面(130)の前記固有の特徴(220)が、複数のサブ特徴(220-1、220-2、220-3、310)を含む、前記走査情報(210)を取得し、
前記走査情報(210)から前記固有の特徴(220)の抽出情報を抽出し、前記処理ユニット(110)が、前記複数のサブ特徴の各サブ特徴(220-1、220-2、220-3、310)についてサブ抽出情報のセット(230、240、250、320)を抽出し、各サブ特徴(220-1、220-2、220-3、310)について前記サブ抽出情報のセットの一部としての記述子を決定し、
サブ抽出情報の各セット(230、240、250、320)から値を決定し、前記値が、前記サブ抽出情報のセット(230、240、250、320)に関連付けられた前記サブ特徴の情報コンテンツに関連付けられ、
各値を閾値(230-3、240-3、250-3、330)と比較し、
その関連付けられたサブ特徴(220-1、220-2、220-3、310)についてのそれらのサブ抽出情報のセットを選択し、前記決定された値が前記閾値(230-3、240-3、250-3、330)に少なくとも到達し、
前記選択されたサブ抽出情報のセットの決定された記述子に基づいてデータベース(270)との照合を実行し、前記データベース(270)が、位置が既知である、前記表面(130)の複数の固有の特徴についての抽出情報を記憶し、前記データベース(270)が、前記複数のサブ特徴(220-1、220-2、220-3、310)の記述子を記憶し、
前記照合に基づいて前記検出ユニット(120)の前記位置を決定するように構成されている、処理ユニットを備える、装置(100)。
【請求項2】
前記装置(100)が、前記走査情報(210)を提供するように構成された前記検出ユニット(120)を備える、請求項1に記載の装置(100)。
【請求項3】
前記処理ユニット(110)が、前記データベース(270)との前記照合に基づいて、前記表面(130)の前記固有の特徴(220)に対する空間内の前記検出ユニット(120)の位置を決定するように構成されている、請求項1から2のいずれか一項に記載の装置(100)。
【請求項4】
前記処理ユニット(110)が、前記検出ユニット(120)の光学的特性を考慮に入れて、前記走査情報(210)から前記固有の特徴(220)の前記抽出情報を抽出するように構成されている、請求項1から3のいずれか一項に記載の装置(100)。
【請求項5】
前記処理ユニット(110)が、前記走査情報(210)を検出するときに、空間内の前記検出ユニット(120)の位置に関する粗い情報に基づいて前記データベース(270)の抽出情報の選択された部分を選択し、前記選択された部分を照合に使用するように構成されている、請求項1から4のいずれか一項に記載の装置(100)。
【請求項6】
前記処理ユニット(110)が、前記表面(130)の前記固有の特徴(220)に基づく前記抽出情報の一部として回転不変記述子を決定するように構成されている、請求項1から5のいずれか一項に記載の装置(100)。
【請求項7】
前記処理ユニット(110)が、Huモーメントを含む記述子を決定するように構成されている、請求項1から6のいずれか一項に記載の装置(100)。
【請求項8】
前記表面(130)の前記固有の特徴(220)が、確率的特性を有する確率的に分布した特徴である、請求項1から7のいずれか一項に記載の装置(100)。
【請求項9】
前記情報が、前記確率的に分布した特徴のランダムな幾何学的形状の記述を規定する、請求項8に記載の装置(100)。
【請求項10】
前記確率的に分布した特徴が、ランダムな面積およびランダムな外形を有する連続面を含み、
前記処理ユニット(110)が、ランダムな面積およびランダムな外形を有する連続領域に関する情報を含む前記抽出情報を抽出するように構成されている、請求項8または9に記載の装置(100)。
【請求項11】
前記処理ユニット(110)が確率的フィルタ(140)を備え、前記処理ユニット(110)が、前記確率的フィルタ(140)によって前記検出ユニット(120)の前記決定された位置のフィルタリングを実行して、前記検出ユニット(120)のフィルタリングされた位置を決定するように構成されている、請求項1から10のいずれか一項に記載の装置(100)。
【請求項12】
前記処理ユニット(110)が、前記関連付けられたサブ特徴(220-1、220-2、220-3、310)の発生確率に基づいて前記サブ抽出情報のセットを選択するように構成されている、請求項1から11のいずれか一項に記載の装置(100)。
【請求項13】
前記処理ユニット(110)が、サブ抽出情報の各セット(230、240、250、320)から、前記関連付けられたサブ特徴(220-1、220-2、220-3、310)の発生確率を前記情報コンテンツの値として決定するように構成されている、請求項1から12のいずれか一項に記載の装置(100)。
【請求項14】
前記処理ユニット(110)が、前記選択されたサブ抽出情報のセットから点群を決定し、点群照合アルゴリズムに基づいて前記データベース(270)との照合を実行するように構成されている、請求項1から13のいずれか一項に記載の装置(100)。
【請求項15】
前記処理ユニット(110)が、反復最近接点、およびカーネル相関のうちの少なくとも1つに基づいて前記データベース(270)との照合を実行するように構成されている、請求項14に記載の装置(100)。
【請求項16】
前記処理ユニット(110)が、
検出ユニット(120)としてのカメラから画像として前記走査情報(210)を取得し、前記画像が、地面の走査(120a)であり、前記画像が、画像背景および画像前景に関する情報を含み、前記画像前景が、前記地面の複数の色スペックルに関する情報を含み、
前記画像から前記画像前景に関する前記情報を抽出し、
前記複数の色スペックルの各色スペックルについて、前記抽出された前記画像前景の情報からサブ抽出情報のセット(230、240、250、320)を抽出し、前記サブ抽出情報のセットの一部として記述子を決定し、前記サブ抽出情報のセット(230、240、250、320)が、前記関連付けられた色スペックルの位置、ならびに形状、色、および面積パラメータのうちの少なくとも1つに関する情報を含み、
サブ抽出情報の各セット(230、240、250、320)から、前記サブ抽出情報セット(230、240、250、320)に関連付けられた前記色スペックルの発生確率に関連付けられた値を決定し、
各値を閾値(230-3、240-3、250-3、330)と比較し、
前記決定された値が少なくとも前記閾値(230-3、240-3、250-3、330)に到達するその関連付けられた色スペックルについてのそれらのサブ抽出情報のセットを選択し、
前記関連付けられた色スペックルの前記位置に関する情報を含む前記選択されたサブ抽出情報のセットから点群を決定し、
前記点群と前記選択されたサブ抽出情報のセットとに基づいてデータベース(270)との照合を実行し、前記データベース(270)が、前記地面の色のスペックルの位置の所定の点群と、対応するサブ抽出情報のセットとを記憶し、前記データベース(270)が、前記複数の色スペックルの記述子を記憶し、
前記照合に基づいて前記カメラの前記位置を決定するように構成されている、請求項1から15のいずれか一項に記載の装置(100)。
【請求項17】
前記装置(100)が、自動移動車両であり、前記処理ユニット(110)が、前記自動移動車両の位置を特定するように構成されている、請求項1から16のいずれか一項に記載の装置(100)。
【請求項18】
前記装置(100)が、仕分けシステムなどのためのロボット車両である、請求項1から17のいずれか一項に記載の装置(100)。
【請求項19】
システムであって、
請求項1から18のいずれか一項に記載の装置(100)と、
前記固有の特徴(220)を含む前記表面(130)であって、前記装置(100)が、前記表面(130)に対して移動可能に配置され、前記表面(130)に対する前記検出ユニットの位置を決定するように構成されている、表面と、
前記データベース(270)と、を備える、システム。
【請求項20】
検出ユニット(120)の位置を決定するための方法であって、
前記検出ユニット(120)から走査情報(210)を取得することであって、前記走査情報(210)が、表面(130)の走査(120a)であり、前記走査情報(210)が、前記表面(130)の固有の特徴(220)に関する情報を含み、前記表面(130)の前記固有の特徴(220)が、複数のサブ特徴(220-1、220-2、220-3、310)を含む、取得することと、
前記走査情報(210)から前記固有の特徴(220)の抽出情報を抽出することであって、前記抽出情報を抽出することが、前記複数のサブ特徴の各サブ特徴(220-1、220-2、220-3、310)について、サブ抽出情報のセット(230、240、250、320)を抽出し、前記サブ抽出情報のセットの一部として各サブ特徴(220-1、220-2、220-3、310)の記述子を決定することをさらに含む、抽出することと、
サブ抽出情報の各セット(230、240、250、320)から値を決定することであって、前記値が、前記サブ抽出情報のセット(230、240、250、320)に関連付けられた前記サブ特徴の情報コンテンツに関連付けられる、決定することと、
各値を閾値(230-3、240-3、250-3、330)と比較することと、
その関連付けられたサブ特徴(220-1、220-2、220-3、310)が少なくとも前記閾値(230-3、240-3、250-3、330)の前記決定された値に到達するそれらのサブ抽出情報のセットを選択することと、
前記選択されたサブ抽出情報のセットの決定された記述子に基づいて、データベース(270)との照合を実行することであって、前記データベース(270)が、位置が既知である、前記表面(130)の複数の固有の特徴についての抽出情報の前記複数のサブ特徴(220-1、220-2、220-3、310)の記述子を記憶する、実行することと、
前記照合に基づいて前記検出ユニット(120)の前記位置を決定することと、を含む、方法。
【請求項21】
請求項1から18のいずれか一項に記載の装置(100)によって使用するためのデータベース(270)に抽出情報を記憶するための方法であって、
走査情報(210)を取得することであって、前記走査情報(210)が、表面(130)の走査(120a)であり、前記走査情報(210)が、前記表面(130)の固有の特徴(220)に関する情報を含み、前記表面(130)の前記固有の特徴(220)が、複数のサブ特徴(220-1、220-2、220-3、310)を含む、取得することと、
前記走査情報から前記固有の特徴(220)の抽出情報を抽出することであって、前記抽出情報を抽出することが、前記複数のサブ特徴の各サブ特徴(220-1、220-2、220-3、310)について、サブ抽出情報のセット(230、240、250、320)を抽出し、前記サブ抽出情報のセットの一部として各サブ特徴(220-1、220-2、220-3、310)の記述子を決定することを含む、抽出することと、
サブ抽出情報の各セット(230、240、250、320)から値を決定することであって、前記値が、前記サブ抽出情報のセット(230、240、250、320)に関連付けられた前記サブ特徴の情報コンテンツに関連付けられる、決定することと、
前記値を閾値(230-3、240-3、250-3、330)と比較することと、
前記固有のサブ特徴の前記決定された値が少なくとも前記閾値(230-3、240-3、250-3、330)に到達することを条件として、前記表面(130)の前記固有の特徴(220)の前記抽出情報を前記データベース(270)に記憶することと、を含む、方法。
【請求項22】
プログラムがコンピュータ上で実行されると、請求項20から21のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
【請求項23】
固有の特徴が、前記表面の特徴にわたって光学的に認識可能、区別可能、または変化することを含む、
請求項1から18のいずれか一項に記載の装置、請求項19に記載のシステム、請求項20から21のいずれか一項に記載の方法、または請求項22に記載のコンピュータプログラム。
【手続補正書】
【提出日】2023-07-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
装置(100)であって、
処理ユニットであって、
表面(130)の走査(120a)から、検出ユニット(120)によって提供される走査情報(210)であって、前記表面(130)の固有の特徴(220)に関する情報を含み、前記表面(130)の前記固有の特徴(220)が、複数のサブ特徴(220-1、220-2、220-3、310)を含む、前記走査情報(210)を取得し、
前記走査情報(210)から前記固有の特徴(220)の抽出情報を抽出し、前記処理ユニット(110)が、前記複数のサブ特徴の各サブ特徴(220-1、220-2、220-3、310)についてサブ抽出情報のセット(230、240、250、320)を抽出し、各サブ特徴(220-1、220-2、220-3、310)について前記サブ抽出情報のセットの一部としての記述子を決定し、
サブ抽出情報の各セット(230、240、250、320)から値を決定し、前記値が、前記サブ抽出情報のセット(230、240、250、320)に関連付けられた前記サブ特徴の情報コンテンツに関連付けられ、
各値を閾値(230-3、240-3、250-3、330)と比較し、
その関連付けられたサブ特徴(220-1、220-2、220-3、310)についてのそれらのサブ抽出情報のセットを選択し、前記決定された値が前記閾値(230-3、240-3、250-3、330)に少なくとも到達し、
前記選択されたサブ抽出情報のセットの決定された記述子に基づいてデータベース(270)との照合を実行し、前記データベース(270)が、位置が既知である、前記表面(130)の複数の固有の特徴についての抽出情報を記憶し、前記データベース(270)が、前記複数のサブ特徴(220-1、220-2、220-3、310)の記述子を記憶し、
前記照合に基づいて前記検出ユニット(120)の前記位置を決定するように構成されている、処理ユニットを備える、装置(100)。
【請求項2】
前記装置(100)が、前記走査情報(210)を提供するように構成された前記検出ユニット(120)を備える、請求項1に記載の装置(100)。
【請求項3】
前記処理ユニット(110)が、前記データベース(270)との前記照合に基づいて、前記表面(130)の前記固有の特徴(220)に対する空間内の前記検出ユニット(120)の位置を決定するように構成されている、請求項1から2のいずれか一項に記載の装置(100)。
【請求項4】
前記処理ユニット(110)が、前記検出ユニット(120)の光学的特性を考慮に入れて、前記走査情報(210)から前記固有の特徴(220)の前記抽出情報を抽出するように構成されている、請求項1から3のいずれか一項に記載の装置(100)。
【請求項5】
前記処理ユニット(110)が、前記走査情報(210)を検出するときに、空間内の前記検出ユニット(120)の位置に関する粗い情報に基づいて前記データベース(270)の抽出情報の選択された部分を選択し、前記選択された部分を照合に使用するように構成されている、請求項1から4のいずれか一項に記載の装置(100)。
【請求項6】
前記処理ユニット(110)が、前記表面(130)の前記固有の特徴(220)に基づく前記抽出情報の一部として回転不変記述子を決定するように構成されている、請求項1から5のいずれか一項に記載の装置(100)。
【請求項7】
前記処理ユニット(110)が、Huモーメントを含む記述子を決定するように構成されている、請求項1から6のいずれか一項に記載の装置(100)。
【請求項8】
前記表面(130)の前記固有の特徴(220)が、確率的特性を有する確率的に分布した特徴である、請求項1から7のいずれか一項に記載の装置(100)。
【請求項9】
前記情報が、前記確率的に分布した特徴のランダムな幾何学的形状の記述を規定する、請求項8に記載の装置(100)。
【請求項10】
前記確率的に分布した特徴が、ランダムな面積およびランダムな外形を有する連続面を含み、
前記処理ユニット(110)が、ランダムな面積およびランダムな外形を有する連続領域に関する情報を含む前記抽出情報を抽出するように構成されている、請求項8または9に記載の装置(100)。
【請求項11】
前記処理ユニット(110)が確率的フィルタ(140)を備え、前記処理ユニット(110)が、前記確率的フィルタ(140)によって前記検出ユニット(120)の前記決定された位置のフィルタリングを実行して、前記検出ユニット(120)のフィルタリングされた位置を決定するように構成されている、請求項1から10のいずれか一項に記載の装置(100)。
【請求項12】
前記処理ユニット(110)が、前記関連付けられたサブ特徴(220-1、220-2、220-3、310)の発生確率に基づいて前記サブ抽出情報のセットを選択するように構成されている、請求項1から11のいずれか一項に記載の装置(100)。
【請求項13】
前記処理ユニット(110)が、サブ抽出情報の各セット(230、240、250、320)から、前記関連付けられたサブ特徴(220-1、220-2、220-3、310)の発生確率を前記情報コンテンツの値として決定するように構成されている、請求項1から12のいずれか一項に記載の装置(100)。
【請求項14】
前記処理ユニット(110)が、前記選択されたサブ抽出情報のセットから点群を決定し、点群照合アルゴリズムに基づいて前記データベース(270)との照合を実行するように構成されている、請求項1から13のいずれか一項に記載の装置(100)。
【請求項15】
前記処理ユニット(110)が、反復最近接点、およびカーネル相関のうちの少なくとも1つに基づいて前記データベース(270)との照合を実行するように構成されている、請求項14に記載の装置(100)。
【請求項16】
前記処理ユニット(110)が、
検出ユニット(120)としてのカメラから画像として前記走査情報(210)を取得し、前記画像が、地面の走査(120a)であり、前記画像が、画像背景および画像前景に関する情報を含み、前記画像前景が、前記地面の複数の色スペックルに関する情報を含み、
前記画像から前記画像前景に関する前記情報を抽出し、
前記複数の色スペックルの各色スペックルについて、前記抽出された前記画像前景の情報からサブ抽出情報のセット(230、240、250、320)を抽出し、前記サブ抽出情報のセットの一部として記述子を決定し、前記サブ抽出情報のセット(230、240、250、320)が、前記関連付けられた色スペックルの位置、ならびに形状、色、および面積パラメータのうちの少なくとも1つに関する情報を含み、
サブ抽出情報の各セット(230、240、250、320)から、前記サブ抽出情報セット(230、240、250、320)に関連付けられた前記色スペックルの発生確率に関連付けられた値を決定し、
各値を閾値(230-3、240-3、250-3、330)と比較し、
前記決定された値が少なくとも前記閾値(230-3、240-3、250-3、330)に到達するその関連付けられた色スペックルについてのそれらのサブ抽出情報のセットを選択し、
前記関連付けられた色スペックルの前記位置に関する情報を含む前記選択されたサブ抽出情報のセットから点群を決定し、
前記点群と前記選択されたサブ抽出情報のセットとに基づいてデータベース(270)との照合を実行し、前記データベース(270)が、前記地面の色のスペックルの位置の所定の点群と、対応するサブ抽出情報のセットとを記憶し、前記データベース(270)が、前記複数の色スペックルの記述子を記憶し、
前記照合に基づいて前記カメラの前記位置を決定するように構成されている、請求項1から15のいずれか一項に記載の装置(100)。
【請求項17】
前記装置(100)が、自動移動車両であり、前記処理ユニット(110)が、前記自動移動車両の位置を特定するように構成されている、請求項1から16のいずれか一項に記載の装置(100)。
【請求項18】
前記装置(100)が、仕分けシステムなどのためのロボット車両である、請求項1から17のいずれか一項に記載の装置(100)。
【請求項19】
前記固有の特徴(220)が、前記表面のコントラストの差、色および/または高さプロファイルの差の形態で前記表面の特徴にわたって光学的に認識可能、区別可能、または変化することを含む、請求項1から18のいずれか一項に記載の装置。
【請求項20】
前記表面(130)の前記固有の特徴(220)が、前記表面のコントラストの差、色および/または高さプロファイルの差である、請求項1から19のいずれか一項に記載の装置。
【請求項21】
前記表面(130)の前記固有の特徴(220)が、確率的特性を有する確率的に分布した特徴であり、
前記特徴が、異なるサイズ、形状、色もしくは構造、および/または高さプロファイルを有する前記表面のパターンである、
請求項1から20のいずれか一項に記載の装置。
【請求項22】
システムであって、
請求項1から21のいずれか一項に記載の装置(100)と、
前記固有の特徴(220)を含む前記表面(130)であって、前記装置(100)が、前記表面(130)に対して移動可能に配置され、前記表面(130)に対する前記検出ユニットの位置を決定するように構成されている、表面と、
前記データベース(270)と、を備える、システム。
【請求項23】
検出ユニット(120)の位置を決定するための方法であって、
前記検出ユニット(120)から走査情報(210)を取得することであって、前記走査情報(210)が、表面(130)の走査(120a)であり、前記走査情報(210)が、前記表面(130)の固有の特徴(220)に関する情報を含み、前記表面(130)の前記固有の特徴(220)が、複数のサブ特徴(220-1、220-2、220-3、310)を含む、取得することと、
前記走査情報(210)から前記固有の特徴(220)の抽出情報を抽出することであって、前記抽出情報を抽出することが、前記複数のサブ特徴の各サブ特徴(220-1、220-2、220-3、310)について、サブ抽出情報のセット(230、240、250、320)を抽出し、前記サブ抽出情報のセットの一部として各サブ特徴(220-1、220-2、220-3、310)の記述子を決定することをさらに含む、抽出することと、
サブ抽出情報の各セット(230、240、250、320)から値を決定することであって、前記値が、前記サブ抽出情報のセット(230、240、250、320)に関連付けられた前記サブ特徴の情報コンテンツに関連付けられる、決定することと、
各値を閾値(230-3、240-3、250-3、330)と比較することと、
その関連付けられたサブ特徴(220-1、220-2、220-3、310)が少なくとも前記閾値(230-3、240-3、250-3、330)の前記決定された値に到達するそれらのサブ抽出情報のセットを選択することと、
前記選択されたサブ抽出情報のセットの決定された記述子に基づいて、データベース(270)との照合を実行することであって、前記データベース(270)が、位置が既知である、前記表面(130)の複数の固有の特徴についての抽出情報の前記複数のサブ特徴(220-1、220-2、220-3、310)の記述子を記憶する、実行することと、
前記照合に基づいて前記検出ユニット(120)の前記位置を決定することと、を含む、方法。
【請求項24】
請求項1から21のいずれか一項に記載の装置(100)によって使用するためのデータベース(270)に抽出情報を記憶するための方法であって、
走査情報(210)を取得することであって、前記走査情報(210)が、表面(130)の走査(120a)であり、前記走査情報(210)が、前記表面(130)の固有の特徴(220)に関する情報を含み、前記表面(130)の前記固有の特徴(220)が、複数のサブ特徴(220-1、220-2、220-3、310)を含む、取得することと、
前記走査情報から前記固有の特徴(220)の抽出情報を抽出することであって、前記抽出情報を抽出することが、前記複数のサブ特徴の各サブ特徴(220-1、220-2、220-3、310)について、サブ抽出情報のセット(230、240、250、320)を抽出し、前記サブ抽出情報のセットの一部として各サブ特徴(220-1、220-2、220-3、310)の記述子を決定することを含む、抽出することと、
サブ抽出情報の各セット(230、240、250、320)から値を決定することであって、前記値が、前記サブ抽出情報のセット(230、240、250、320)に関連付けられた前記サブ特徴の情報コンテンツに関連付けられる、決定することと、
前記値を閾値(230-3、240-3、250-3、330)と比較することと、
前記固有のサブ特徴の前記決定された値が少なくとも前記閾値(230-3、240-3、250-3、330)に到達することを条件として、前記表面(130)の前記固有の特徴(220)の前記抽出情報を前記データベース(270)に記憶することと、を含む、方法。
【請求項25】
プログラムがコンピュータ上で実行されると、請求項23から24のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
【国際調査報告】