特表 2024-527887 ターゲット物体の寸法を測るためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-26

(54)【発明の名称】ターゲット物体の寸法を測るためのシステム及び方法

(51)【国際特許分類】

   G01B 21/04 20060101AFI20240719BHJP

   G06T 7/62 20170101ALI20240719BHJP

【ＦＩ】

G01B21/04

G06T7/62

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024504162

(86)(22)【出願日】2022-07-21

(85)【翻訳文提出日】2024-03-01

(86)【国際出願番号】 US2022037788

(87)【国際公開番号】W WO2023003991

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】17/384,212

(32)【優先日】2021-07-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】519047200

【氏名又は名称】ゼブラ テクノロジーズ コーポレイション

【氏名又は名称原語表記】Ｚｅｂｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｒｐｏｒａｔｉｏｎ

【住所又は居所原語表記】３ Ｏｖｅｒｌｏｏｋ Ｐｏｉｎｔ， Ｌｉｎｃｏｌｎｓｈｉｒｅ， Ｉｌｌｉｎｏｉｓ ６００６９， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100144451

【弁理士】

【氏名又は名称】鈴木 博子

(74)【代理人】

【識別番号】100107537

【弁理士】

【氏名又は名称】磯貝 克臣

(72)【発明者】

【氏名】トリマウィタナ ラヴィーン ティー

【テーマコード（参考）】

2F069

5L096

【Ｆターム（参考）】

2F069AA04

2F069AA31

2F069AA66

2F069DD19

2F069GG04

2F069HH09

2F069JJ01

2F069QQ05

5L096AA09

5L096DA02

5L096FA64

5L096FA66

5L096GA06

5L096GA51

(57)【要約】

本方法は、センサからターゲット物体を表す深度データを取得する工程と、当該深度データに適合するモデルを選択する工程と、前記深度データの各データ点に対して、前記センサの位置から当該データ点までのレイを定義して、当該レイに沿った当該データ点から前記モデルまでの距離に基づいて誤差を決定する工程と、前記深度データが、決定された誤差に基づいて、前記モデルに対する類似性閾値を満たさない場合、新しいモデルを選択し、当該新しいモデルに基づいて前記深度データの誤差決定を繰り返す工程と、前記深度データが、前記モデルに対する類似性閾値を満たす場合、当該モデルを前記ターゲット物体を表すものとして選択する工程と、前記ターゲット物体を表す当該選択されたモデルを出力する工程と、を備える。

【特許請求の範囲】

【請求項1】

ターゲット物体の寸法を測る方法であって、
前記ターゲット物体を表す深度データを決定するように深度センサを制御する工程と、
前記深度データに基づいて物体モデルを選択する工程と、
前記深度データの各データ点に対して、前記センサの位置から前記データ点までのレイを定義する工程、及び、前記データ点から前記レイと前記物体モデルとの交点までの距離に基づいて誤差を決定する工程と、
１または複数の決定された誤差を集積する工程と、
前記深度データが前記物体モデルの類似性閾値を満たす時、当該物体モデルを前記ターゲット物体を表すものとして選択する工程と、
前記選択された物体モデルに基づいて物体の寸法を決定する工程と、
を備えたことを特徴とする方法。

【請求項2】

前記モデルは、前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項１に記載の方法。

【請求項3】

誤差閾値と前記データ点の前記誤差とに基づいて、各データ点をインライアーまたはアウトライアーとして分類する工程
を更に備えたことを特徴とする請求項１に記載の方法。

【請求項4】

前記センサからの前記データ点の距離に基づいて、前記データ点のための前記誤差閾値を選択する工程
を更に備えたことを特徴とする請求項３に記載の方法。

【請求項5】

前記深度データの閾値パーセンテージがインライアーとして分類される時、前記深度データは前記類似性閾値を満たすと判定される
ことを特徴とする請求項３に記載の方法。

【請求項6】

前記新しいモデルは、インライアーとして分類された前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項３に記載の方法。

【請求項7】

１または複数の更なるセンサから、前記ターゲット物体を表す更なる深度データを取得する工程と、
各データ点に対して、当該データ点についてのソースセンサを決定する工程と、
を更に備え、
前記レイは、前記データ点についての前記ソースセンサの位置から定義される
ことを特徴とする請求項１に記載の方法。

【請求項8】

前記モデルを出力する工程は、更に、
前記選択されたモデルを表示する工程と、
前記選択されたモデルをナビゲーションモジュールに送信して、モバイルオートメーションシステムが前記ターゲット物体を考慮してナビゲートすることを許容する工程と、
のうちの１または複数を含む
ことを特徴とする請求項１に記載の方法。

【請求項9】

前記集積された１または複数の決定された誤差に基づいて、前記深度データが前記物体モデルの類似性閾値を満たさない場合、新しい物体モデルを選択して当該新しい物体モデルに基づいて前記深度データの各データ点について前記誤差の決定を繰り返す工程
を更に備えたことを特徴とする請求項１に記載の方法。

【請求項10】

ターゲット物体を表す深度データを取得するように構成された深度センサと、
メモリと、
前記深度センサ及び前記メモリと相互接続されたプロセッサと、
を備え、
前記プロセッサは、
前記ターゲット物体を表す深度データを決定するように前記深度センサを制御し、
前記深度データに基づいて物体モデルを選択し、
前記深度データの各データ点に対して、前記センサの位置から前記データ点までのレイを定義して、前記データ点から前記レイと前記物体モデルとの交点までの距離に基づいて誤差を決定し、
１または複数の決定された誤差を集積し、
前記深度データが前記物体モデルの類似性閾値を満たす時、当該物体モデルを前記ターゲット物体を表すものとして選択し、
前記選択された物体モデルに基づいて物体の寸法を決定する
ように構成されている
ことを特徴とする装置。

【請求項11】

前記モデルは、前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項１０に記載の装置。

【請求項12】

前記プロセッサは、更に、誤差閾値と前記データ点の前記誤差とに基づいて各データ点をインライアーまたはアウトライアーとして分類するように構成されている
ことを特徴とする請求項１０に記載の装置。

【請求項13】

前記プロセッサは、更に、前記センサからの前記データ点の距離に基づいて前記データ点のための前記誤差閾値を選択するように構成されている
ことを特徴とする請求項１２に記載の装置。

【請求項14】

前記深度データの閾値パーセンテージがインライアーとして分類される時、前記深度データは前記類似性閾値を満たすと判定される
ことを特徴とする請求項１２に記載の装置。

【請求項15】

前記新しいモデルは、インライアーとして分類された前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項１２に記載の装置。

【請求項16】

前記プロセッサは、更に、１または複数の更なるセンサから前記ターゲット物体を表す深度データを取得して、各データ点に対して当該データ点についてのソースセンサを決定するように構成されており、
前記レイは、前記データ点についての前記ソースセンサの位置から定義される
ことを特徴とする請求項１０に記載の装置。

【請求項17】

前記選択されたモデルを受信してモバイルオートメーションシステムが前記選択されたモデルを考慮してナビゲートするためのパスを決定するように構成されたナビゲーションモジュール
を更に備えたことを特徴とする請求項１０に記載の装置。

【請求項18】

前記集積された１または複数の決定された誤差に基づいて、前記深度データが前記物体モデルの類似性閾値を満たさない場合、前記プロセッサは、更に、新しい物体モデルを選択して当該新しい物体モデルに基づいて前記深度データの各データ点について前記誤差の決定を繰り返すように構成されている
ことを特徴とする請求項１０に記載の装置。

【発明の詳細な説明】

【背景技術】

【0001】

サンプルコンセンサスモデルフィッティングが、ターゲット物体のためのモデルを決定するために使用され得る。このようなモデルフィッティング方法は、しばしば、データ点をモデルのインライアー（内側値）またはアウトライアー（外れ値）として分類するために、固定された誤差限界を使用する。しかしながら、これらの方法は、データを取得するために使用されるセンサの不正確さ、特にセンサの視野のエッジ近傍での不正確さ、を考慮しない可能性がある。

【発明の概要】

【0002】

添付の図面は、以下の詳細な説明と共に、本明細書に組み込まれて本明細書の一部を形成し、特許請求される発明を含む概念の実施形態を更に説明するのに役立ち、また、それら実施形態の様々な原理及び利点を説明するのに役立つ。添付図面において、同様の参照符号は、別個の図面を通して同一または機能的に類似の要素を指している。

【図面の簡単な説明】

【0003】

【図1】図１は、ターゲット物体の寸法を測るためのシステムの概略図である。

【0004】

【図2】図２は、図１の検出装置の特定の内部ハードウェア構成要素のブロック図である。

【0005】

【図3】図３は、ターゲット物体の寸法を測る方法のフローチャートである。

【0006】

【図4】図４は、図３の方法のブロック３２０、３２５におけるレイ定義及び誤差決定の例示的な実行を示す概略図である。

【0007】

【図5】図５は、図３の方法のブロック３２５における誤差決定に基づいて定義される例示的なインライアー包絡線の概略図である。

【0008】

【図6】図６は、図３の方法のブロック３２０、３２５におけるレイ定義及び誤差決定の別の例示的な実行を示す概略図である。

【発明を実施するための形態】

【0009】

当業者は、図面内の要素は簡潔及び明瞭に示されていて、必ずしも一定縮尺で描かれていない、ということを理解するであろう。例えば、図面内の幾つかの要素の寸法は、本発明の実施形態の理解を改善することを助けるべく、他の要素と比較して誇張されている可能性がある。

【0010】

装置及び方法の構成要素は、適切な場合、図面内で従来の符号によって示されており、当該図面は、詳細に関する開示を不明瞭にしないように、本発明の実施形態を理解することに関連する特定の詳細のみを示しており、当該詳細に関する開示は、本明細書の記載の利益を受ける当業者にとって容易に明らかである。

【0011】

本明細書に開示される実施例は、ターゲット物体の寸法を測る方法であって、前記ターゲット物体を表す深度データを決定するように深度センサを制御する工程と、前記深度データに基づいて物体モデルを選択する工程と、前記深度データの各データ点に対して、前記センサの位置から前記データ点までのレイを定義する工程、及び、前記データ点から前記レイと前記物体モデルとの交点までの距離に基づいて誤差を決定する工程と、１または複数の決定された誤差を集積する工程と、前記深度データが前記物体モデルの類似性閾値を満たす時、当該物体モデルを前記ターゲット物体を表すものとして選択する工程と、前記選択された物体モデルに基づいて物体の寸法を決定する工程と、を備えたことを特徴とする方法に向けられている。

【0012】

本明細書に開示される更なる実施例は、ターゲット物体を表す深度データを取得するように構成された深度センサと、メモリと、前記深度センサ及び前記メモリと相互接続されたプロセッサと、を備え、前記プロセッサは、前記ターゲット物体を表す深度データを決定するように前記深度センサを制御し、前記深度データに基づいて物体モデルを選択し、前記深度データの各データ点に対して、前記センサの位置から前記データ点までのレイを定義して、前記データ点から前記レイと前記物体モデルとの交点までの距離に基づいて誤差を決定し、１または複数の決定された誤差を集積し、前記深度データが前記物体モデルの類似性閾値を満たす時、当該物体モデルを前記ターゲット物体を表すものとして選択し、前記選択された物体モデルに基づいて物体の寸法を決定するように構成されていることを特徴とする装置に向けられている。

【0013】

図１は、本開示の教示に従ってターゲット物体の寸法を測る（決定する）ためのシステム１００を示す。当該システム１００は、当該実施例では無線リンクを含むものとして示されている通信リンク１０７を介してコンピューティングデバイス１０４（本明細書では検出デバイス１０４または単にデバイス１０４とも称される）と通信するサーバ１０１を備えている。例えば、リンク１０７は、１または複数のアクセスポイント（図示せず）によって展開される無線ローカルエリアネットワーク（ＷＬＡＮ）によって提供され得る。他の実施例では、サーバ１０１は、デバイス１０４から遠隔に位置し、従ってリンク１０７は、インターネットやモバイルネットワーク等の１または複数の広域ネットワークを含み得る。

【0014】

システム１００、より具体的にはデバイス１０４は、空間１１２（当該空間の壁及び床を含む）、棚１１６などの当該空間１１２内の構造的特徴、あるいは、ボックス１２０等の当該空間１１２内の物体、等の１または複数の物体の寸法を測る（決定する）ように展開される。当該デバイス１０４は、モバイルオートメーションシステムが空間１１２を横断することを許容するナビゲーションデバイス、または、ナビゲーションデバイスのコンポーネント（構成要素）、であり得る。例えば、モバイルオートメーションシステムは、小売施設の通路を横断して、価格を更新したり、在庫を確認したり、等する場合がある。従って、デバイス１０４は、空間１１２内でのナビゲーションを許容するために、棚１１６または他の通路特徴、並びに、空間１１２の壁及び床、を検出及びモデル化し得る。更に、デバイス１０４は、ボックス１２０などの障害物を検出及びモデル化し得て、モバイルオートメーションシステムがそのような障害物を回避するようにナビゲートすることを許容し得る。他の実施例では、デバイス１０４は、ボックス１２０などの障害物のサイズ及び形状を決定するための寸法測定デバイスまたは寸法測定デバイスのコンポーネント（構成要素）であり得る。例えば、デバイス１０４は、輸送及び物流施設に展開（配備）され得て、出荷前の荷物の寸法を決定し得る。理解されるように、デバイス１０４は、ターゲット物体を正確に検出及びモデル化するために他の使用ケースにも展開（配備）され得る。

【0015】

ターゲット物体を検出及びモデル化するために、デバイス１０４は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）法、または、他の適切なサンプルコンセンサスフィッティング方法、を採用して、関連するデータ点を使用してターゲット物体をモデル化し得て、一方、最終的なモデルの選択に影響しないように外側のデータ点を無視し得る。伝統的には、このような方法は、物体モデルを選択し、各データ点から当該モデルまでの直交距離を使用して、所与のデータ点の誤差を決定し得る。但し、深度センサは、一般に、視野の中心付近では精度が高くなるが、視野のエッジ乃至周縁では精度が低くなる。従って、そのような誤差判定は、深度センサの視野の外側範囲近くの除外されるべきデータ点を含み得る。

【0016】

従って、以下で更に詳細に説明されるように、デバイス１０４は、センサの位置からデータ点まで定義されるレイ（半直線）に沿って各データ点の誤差を決定する。従って、同一の閾値を使用した誤差判定が、深度センサの視野のエッジの近傍では、これらの領域での深度センサの精度の低下に対応するために、より厳密になるであろう。

【0017】

次に、図２を参照して、コンピューティングデバイス１０４の特定の内部コンポーネントが図示されている。デバイス１０４は、メモリ２０４等の非一時的なコンピュータ可読記憶媒体と相互接続されたプロセッサ２００を含む。メモリ２０４は、揮発性メモリ（ランダムアクセスメモリ、すなわちＲＡＭ、等）及び不揮発性メモリ（読み取り専用メモリ、すなわちＲＯＭ、電気的に消去可能なプログラム可能な読み取り専用メモリ、すなわちＥＥＰＲＯＭ、フラッシュメモリ、等）の組合せを含む。プロセッサ２００及びメモリ２０４は、各々、１または複数の集積回路を有し得る。

【0018】

メモリ２０４は、プロセッサ２００による実行のためのコンピュータ可読命令を記憶（格納）する。特に、メモリ２０４は、寸法決定アプリケーション２０８を記憶し、これは、プロセッサ２００による実行時に、以下でより詳細に説明されるデバイス１０４のターゲット（目標）の寸法決定動作に関連する様々な機能を実行するようにプロセッサ２００を構成する。当該アプリケーション２０８は、別個のアプリケーションのスイート（一揃い）としても実装され得る。

【0019】

当業者は、プロセッサ２００によって実装される機能が、他の実施形態において、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）や特定用途向け集積回路（ＡＳＩＣ）等の１または複数の特別に設計されたハードウェア構成要素及びファームウェア構成要素によっても実装され得ることを理解するであろう。一実施形態では、プロセッサ２００は、それぞれ、本明細書で説明される寸法決定動作の処理速度を高めるために、ＡＳＩＣやＦＰＧＡ等の専用論理回路を介して実装され得る専用プロセッサであり得る。

【0020】

メモリ２０４はまた、ターゲットの寸法決定動作のための規則及びデータを記憶（格納）するレポジトリ２１２を記憶する。例えば、レポジトリ２１２は、誤差閾値、インライアーパーセンテージ閾値、及び、ターゲットの寸法決定動作のための他の関連データ、を記憶し得る。

【0021】

デバイス１０４は、当該デバイス１０４がサーバ１０１などの他のコンピューティングデバイスとデータを交換することを可能にする通信インタフェース２１６をも含む。通信インタフェース２１６は、プロセッサ２００と相互接続されており、デバイス１０４がリンク１０７を介してサーバ１０１等の他のコンピューティングデバイスと通信することを許容する適切なハードウェア（例えば、送信機、受信機、ネットワークインタフェースコントローラ、等）を含む。通信インタフェース２１６の具体的なコンポーネント（構成要素）は、デバイス１０４がそれを介して通信するネットワークまたは他のリンクのタイプに基づいて選択される。デバイス１０４は、例えば、通信インタフェースを使用してリンク１０７を介してサーバ１０１と通信し、データをサーバ１０１に送信するように構成され得る。

【0022】

デバイス１０４は、プロセッサ２００と相互接続された深度センサ２２０を更に含む。プロセッサ２００は、深度センサ２２０を制御して、空間１１２、棚１１６、箱１２０等のターゲットを表すデータを捕捉するように、有効化される。例えば、深度センサ２２０は、深度データを捕捉することが可能な３Ｄデジタルカメラ、１または複数のＬＩＤＡＲセンサ、立体画像システム、等であり得る。

【0023】

デバイス１０４は、１または複数の入力及び／または出力デバイス２２４を更に含み得る。入力デバイス２２４は、オペレータからの入力を受信するための、１または複数のボタン、キーパッド、タッチ感知表示画面、等を含み得る。出力デバイス２２４は、オペレータに出力またはフィードバックを提供するための、１または複数の表示画面、音発生器、バイブレータ、等を更に含み得る。

【0024】

幾つかの実施例では、デバイス１０４は、ターゲット物体の選択された物体モデルを更なる動作のために使用するように、追加のモジュール（不図示）を更に含み得る。例えば、デバイス１０４は、選択された物体モデルを考慮して、モバイルオートメーションシステムがナビゲートするべき経路を決定するように構成されたナビゲーションモジュールを含み得る。代替的または追加的に、デバイス１０４は、選択された物体モデルに基づいてターゲット物体の寸法を更に決定するように構成された寸法決定モジュールを含み得る。

【0025】

次に、図３を参照して、デバイス１０４によって実装される機能が、より詳細に説明される。図３は、ターゲット物体の寸法を決定する（測る）方法３００を示す。当該方法３００は、システム１００における、特にはデバイス１０４による、アプリケーション２０８の実行を介した、当該方法の実行と関連して説明される。特に、方法３００は、図１及び図２のコンポーネントを参照して説明される。他の実施例では、方法３００は、サーバ１０１等の他の適切なデバイスまたはシステムによって実行され得る。

【0026】

方法３００は、ブロック３０５で開始され、そこで、センサ２２０が、寸法決定されるターゲット物体を含むシーンを表す深度データを取得する。例えば、ターゲット物体は、空間１１２の壁及び／または床、棚１１６の表面、または箱１２０、であり得る。深度データは、点群、すなわち、各々がセンサ２２０からの当該データ点の距離または深さを表すデータ点の集合、であり得る。深度データは、ターゲット物体の検出及びモデル化に関連するデータ点だけでなく、ターゲット物体のモデリングに寄与しないターゲット物体の周囲環境を表す追加のデータ点をも含んでしまう。

【0027】

ブロック３１０において、プロセッサ２００は、ブロック３１０で取得された深度データにフィットする（適合する）物体モデルを選択する。すなわち、プロセッサ２００は、データ点を当該物体モデルに大まかに一致させる物体モデルを選択する。物体モデルは、例えば、線、平面、直方体、または、点群の全体形状にフィットする他の幾何学的形状、であり得る。他の実施例では、プロセッサ２００は、深度データ内の全てのデータ点に基づいて物体モデルを選択するのではなく、まず深度データのサブセットを選択して当該サブセットに基づいて物体モデルを選択し得る。

【0028】

物体モデルを選択した後、プロセッサ２００は、物体モデルの深度データに対する全体的な類似性を判定し得て、選択された物体モデルが深度データを十分に表すか否か、を判定し得る。特に、全体的な類似性を判定するために、プロセッサ２００は、まず、物体モデルに対する各データ点の誤差を決定し得る。

【0029】

従って、ブロック３１５において、プロセッサ２００は、深度データからデータ点を選択する。特に、プロセッサ２００は、誤差が未だ計算されていないデータ点を選択する。

【0030】

ブロック３２０において、プロセッサ２００は、センサ２２０の位置から選択されたデータ点までのレイ（半直線）を定義する。すなわち、プロセッサ２００は、検出されたデータ点とセンサ２２０との間の既知の空間関係に基づいて、メモリ２０４からセンサ２２０の位置を取得し得る。次いで、当該レイが、取得された位置と選択されたデータ点とから定義され得る。

【0031】

幾つかの実施例では、深度データは、複数のセンサ２２０から取得されてもよい。例えば、デバイス１０４自体が複数のセンサ２２０を含み得るし、あるいは、深度データが、同時の位置特定及びマッピング（ＳＬＡＭ）実装等において、複数の異なるデバイス１０４からのデータ点の蓄積であり得る。このような実施例では、レイを定義する前に、プロセッサ２００は、まず、選択されたデータ点のソースセンサを識別し得る。次に、プロセッサ２００が、当該ソースセンサの位置から当該データ点までのレイを定義し得る。

【0032】

ブロック３２５において、プロセッサ２００は、ブロック３２０で定義されたレイに沿ったデータ点から物体モデルまでの距離に基づいて、当該データ点の誤差を決定する。すなわち、プロセッサ２００は、まず、レイと物体モデルとの間の交点を決定し得る。次に、プロセッサ２００は、例えば２点間のユークリッド距離に基づいて、当該交点とデータ点との間の距離を計算する。この距離が、当該データ点の誤差として定義され得る。プロセッサ２００は、更なる処理のために、決定された誤差をリポジトリ２１２に記憶（格納）し得る。

【0033】

例えば、図４は、センサ２２０によって捕捉された例示的な深度データ４００を示す。深度データ４００は、（複数の）データ点４０４を含み、そのうちの３つの例示的なデータ点４０４－１、４０４－２、４０４－３（総称的に（単数の）データ点４０４として、及び、集合的に（複数の）データ点４０４として、称される。この命名法は、本明細書の他の場所でも使用される）が特に注目される。プロセッサ２００は、物体モデル４０８を深度データ４００にフィット（適合）させる。この実施例では、物体モデル４０８は線である。例えば、深度データ４００及び物体モデル４０８は、物体または表面のエッジを表し得る。理解されるように、他の実施例では、床や壁や他の表面を表す平面、箱を表す直方体、あるいは、他の幾何学的物体など、他の物体モデルが考慮される。

【0034】

プロセッサ２００は、センサ２２０の既知の構成と、センサ２２０に対する検出された深度データ４００と、に基づいて、センサ２２０が位置４１２に位置していることを判定し得る。従って、ブロック３２０において、プロセッサ２００は、位置４１２から選択されたデータ点までのレイ４１６を定義する。この実施例では、データ点４０４－１、４０４－２、４０４－３にそれぞれ対応する３つのレイ４１６－１、４１６－２、４１６－３が図示されている。次いで、プロセッサ２００は、データ点４０４と、レイ４１６と物体モデル４０８とのそれぞれの交点と、の間の距離を決定し得る。これらの距離は、それぞれ、データ点４０４－１、４０４－２、４０４－３の誤差４２０－１、４２０－２、４２０－３を表す。

【0035】

幾つかの実施例では、ブロック３２５で選択されたデータ点の誤差を決定することに加えて、プロセッサ２００は、付加的に、ブロック３１０で選択された物体モデルのインライアーまたはアウトライアーとしてデータ点を分類し得る。例えば、データ点は、当該データ点の決定された誤差に基づいて、インライアーまたはアウトライアーとして分類され得る。プロセッサ２００は、データ点の誤差を（例えば、メモリ２０４から取得された）誤差閾値と比較し得る。誤差が誤差閾値を超える場合、プロセッサ２００は当該データ点をアウトライアーとして分類する。誤差が誤差閾値を下回る場合、プロセッサ２００は当該データ点をインライアーとして分類する。

【0036】

当該誤差がセンサ２２０の位置から当該データ点までのレイに沿って定義されるため、インライアーの包絡線は、センサ２２０の視野のエッジ近傍で狭く、センサ２２０の視野の中心に向かって広くなる。例えば、図５を参照すると、誤差閾値を表す包絡線５００の概略図が示されている。当該包絡線５００内のデータ点（黒丸で表す）は、インライアーとして分類され、当該包絡線の外側のデータ点（円の輪郭として表す）は、アウトライアーとして分類される。

【0037】

従って、センサ２２０の視野の中心近傍にある物体モデルから所定の直交距離を有するデータ点は、インライアーとして分類され得る一方、物体モデルからの直交距離は同一であるがセンサ２２０の視野のエッジに近いデータ点は、アウトライアーとして分類され得る。すなわち、レイトレース誤差は、センサ２２０の視野の中心近くでより高い直交距離誤差閾値を提供し、センサ２２０の視野のエッジ近くでより低い直交距離誤差閾値を提供する。これは、センサ２２０によって検出される深度測定の精度と一致している。一般に、センサ２２０は、その視野の中心に近いほど精度が高く、その視野のエッジに近いほど精度が低い。

【0038】

他の実施例では、データ点を分類するために使用される所定の（一定の）誤差閾値を有するのではなく、センサ２２０からのデータ点の距離に基づいて誤差閾値が動的に選択され得る。例えば、プロセッサ２００は、センサ２２０からより遠いデータ点に対して、より高い誤差閾値を選択し得る。従って、メモリ２０４は、データ点の距離範囲と、当該範囲内のデータ点に使用されるべき対応する誤差閾値と、の間の関連付けを記憶し得る。従って、データ点をインライアーまたはアウトライアーとして分類する前に、プロセッサ２００は、センサ２２０からのデータ点の距離に基づいて誤差閾値を取得する。次に、プロセッサ２００は、取得された誤差閾値とデータ点の誤差とを比較して、当該データ点をインライアーまたはアウトライアーとして分類する。

【0039】

図６を参照して、複数のセンサによって捕捉された例示的な深度データ６００が図示されている。センサは、位置６０４－１、６０４－２、６０４－３に位置している。理解されるように、所与のデータ点について、プロセッサ２００は、当該データ点のそれぞれのソースセンサ６０４の位置から当該データ点までのレイを定義する。次に、各データ点の誤差がこれらのレイに沿って計算される。従って、センサの各々が、データ点を分類するための独自の誤差閾値及び包絡線を有し得る。

【0040】

図３に戻って、データ点の誤差を決定した後、ブロック３３０において、プロセッサ２００は、誤差を決定すべき深度データまたは深度データのサブセットにおいて追加のデータ点が存在するか否か、を判定する。当該判定が肯定的である場合、プロセッサ２００は、ブロック３１５に戻り、次のデータ点を選択して、その誤差を決定する。

【0041】

ブロック３３０における判定が否定的である場合、プロセッサ２００は、ブロック３３５に進む。ブロック３３５において、プロセッサ２００は、データ点について決定された誤差に基づいて、深度データとブロック３１０で選択された物体モデルとが類似性閾値を満たすか否か、を判定する。すなわち、プロセッサ２００は、選択された物体モデルが当該深度データを十分に表しているか否か、を判定する。

【0042】

深度データと物体モデルとが類似性閾値を満たすか否かを判定するために、プロセッサ２００は、データ点のインライアー及びアウトライアーとしての分類を使用し得る。特に、深度データ内のデータ点の少なくとも閾値パーセンテージがインライアーである場合、プロセッサ２００はブロック３３５において肯定的な決定をなし得る。深度データ内の閾値パーセントよりも少ないデータ点がインライアーである場合、プロセッサ２００は、ブロック３３５において否定的な決定をなし得る。他の実施例では、他の類似性閾値が使用され得る。例えば、プロセッサ２００は、データ点のインライアー及びアウトライアーとしての分類を使用するのではなく、誤差値それ自身を使用して深度データ及び物体モデルが類似性閾値を満たすか否かを判定してもよい。

【0043】

ブロック３３５での判定が否定的である場合、プロセッサ２００は、ブロック３４０に進む。ブロック３４０において、プロセッサ２００は、当該深度データのための新しい物体モデルを選択し、ブロック３１０に戻って、当該新しい物体モデルを当該深度データにフィット（適合）させて、当該新しい物体モデルに基づく当該深度データの誤差決定を繰り返す。特に、新しい物体モデルは、深度データのサブセットに基づいて選択され得る。当該サブセットは、ランダムに選択されたサブセットであり得るし、あるいは、インライアーとして分類されたデータ点のセットであり得る。

【0044】

ブロック３３５において、プロセッサ２００が、深度データが当該物体モデルに対して類似性閾値を満たす、と判定する場合、プロセッサ２００は、ブロック３４５に進む。ブロック３４５において、プロセッサ２００は、当該ターゲット物体を表すものとして、当該物体モデルを選択する。次いで、当該ターゲット物体を表す当該選択された物体モデルが使用されて、当該ターゲット物体の物体寸法が決定される。付加的に、物体モデルは、更なる出力に使用され得る。例えば、プロセッサ２００は、ターゲット物体を表す物体モデルをデバイス１０４のディスプレイに表示し得る。

【0045】

他の実施例では、物体モデルは、更なる処理及び／または他の動作のために他の動作モジュールに送信され得る。例えば、物体モデルがナビゲーションモジュールに送信され得て、モバイルオートメーションシステムがターゲット物体をマッピングしてそれに応じてターゲット物体を迂回または通過するようにナビゲートすることを許容し得る。あるいは、当該モデルが寸法測定モジュールに送信され得て、寸法測定デバイスがターゲット物体の寸法を正確に測定することを許容し得る。

【0046】

付加的に、方法３００は、試行される反復回数など、他の停止条件を含み得る。新しいモデルの選択の反復回数の閾値が試行された場合、プロセッサ２００は、方法３００を終了し得て、エラー通知を出力し得る。

【0047】

前述の明細書において、特定の実施形態が説明された。しかしながら、当業者は、以下の特許請求の範囲で示す本発明の範囲から逸脱することなく、種々の改変及び変更を行うことができることを認識する。従って、明細書及び図面は、限定的な意味ではなく例示的なものであるとみなされるべきであり、このような改変の全てが、本教示の範囲内に含まれることが意図されている。

【0048】

利益、利点、課題の解決法、並びに、何らかの利益、利点または解決法を生じさせ得るかより顕著にし得るあらゆる要素は、特許請求の範囲の請求項のいずれかまたは全てにおける、決定的な、要求される、または必須の、特徴または要素として解釈されるべきではない。本発明は、添付の特許請求の範囲によってのみ規定され、本出願の係属中になされるあらゆる補正と、発行時の特許請求の範囲の全ての均等物と、を含む。

【0049】

更に、当該文書において、第１及び第２、上及び下、等のような関連語は、１つの実体または動作を他の実体または動作から区別するためにのみ用いられている可能性があり、必ずしもそのような実体または動作間の実際のそのような関係または順序を要求したり含意したりしていない可能性がある。用語「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｓ）」、「有している（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｓ）」、「含有している（ｃｏｎｔａｉｎｉｎｇ）」、あるいは、それらの他のあらゆる変形語は、非排他的な包含をカバーすることが意図されている。要素の列挙（リスト）を、備える、有する、含む、または、含有する、というプロセス、方法、物品、または、装置は、それらの要素のみを含むのではなく、明示的に列挙されていない他の要素や、そのようなプロセス、方法、物品、または、装置に固有の他の要素を含み得る。「を備える（ｃｏｍｐｒｉｓｅｓ．．．ａ）」、「を有する（ｈａｓ．．．）」、「を含む（ｉｎｃｌｕｄｅｓ．．．ａ）」、「を含有する（ｃｏｎｔａｉｎｓ．．．ａ）」の後に続く要素は、更なる制約条件が無ければ、当該要素を、備える、有する、含む、または、含有する、というプロセス、方法、物品、または、装置、における付加的な同一要素の存在を排除しない。用語「ａ」及び「ａｎ」は、明示的に他の言及が無い限り、１または複数として定義される。用語「実質的に」、「本質的に」、「およそ」、「約」、あるいは、それらの他のあらゆる変形語は、当業者に理解されるように、近い状態であるものとして定義され、１つの非限定的な実施形態において、当該用語は、１０％以内、別の実施形態においては５％以内、別の実施形態においては１％以内、及び、別の実施形態において０．５％以内、として定義される。本明細書で用いられる用語「結合された」は、接続されたものとして定義されるが、必ずしも直接的でなくてもよく、また、必ずしも機械的でなくてもよい。ある方式で「構成された」デバイスまたは構造は、少なくとも当該方式で構成されるが、挙げられていない方式で構成されてもよい。

【0050】

幾つかの実施形態は、マイクロプロセッサ、デジタル信号プロセッサ、カスタマイズドプロセッサ及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のような、１または複数の専用プロセッサ（又は「処理デバイス」）と、当該１または複数のプロセッサを制御して、特定の非プロセッサ回路と共に、本明細書で説明される方法及び／または装置の機能の一部、大部分、または、全て、を実装する、特有の記憶されたプログラム命令（ソフトウェア及びファームウェアの両方を含む）と、で構成され得ることが認識されるであろう。あるいは、一部または全ての機能が、記憶されたプログラム命令を有しない状態機械によって実装され得るし、または、各機能もしくは特定の機能の幾つかの組合せがカスタム論理として実装された１または複数の特定用途向け集積回路（ＡＳＩＣ）において実装され得る。勿論、２つの手法の組合せが用いられてもよい。

【0051】

更に、実施形態は、本明細書で説明されて特許請求される方法を実行するようにコンピュータ（例えばプロセッサを含む）をプログラミングするための、記憶されたコンピュータ可読コードを有する、コンピュータ可読ストレージ媒体として実装され得る。このようなコンピュータ可読ストレージ媒体の例は、ハードディスク、ＣＤ－ＲＯＭ、光学ストレージデバイス、磁気ストレージデバイス、ＲＯＭ（読出し専用メモリ）、ＰＲＯＭ（プログラマブル読出し専用メモリ）、ＥＰＲＯＭ（消去可能プログラマブル読出し専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブル読出し専用メモリ）、及び、フラッシュメモリ、を含むがこれらに限定されない。更に、例えば、利用可能な時間、現在の技術水準、及び、経済的考慮事項、によって動機付けされる、可能性ある顕著な努力や多くの設計選択肢にもかかわらず、本明細書に開示される概念及び原理によって導かれる時、当業者は、このようなソフトウェア命令及びプログラム並びにＩＣを最小限の実験で容易に生成可能になる、ということが期待される。

【0052】

本開示の要約は、読者が当該技術的開示の性質を素早く確認することを許容するために提供される。それは、特許請求の範囲の請求項の範囲または意味を解釈または制限するために用いられないという理解と共に提示される。また、前述の詳細な説明において、当該開示を円滑にする目的で、様々な実施形態において様々な特徴がまとめてグループ化されていることが認められ得る。この開示方法は、特許請求される実施形態が、各請求項で明示的に記載されている特徴よりも多くの特徴を必要とする、という意図を反映するものとして解釈されるべきでない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、単一の開示された実施形態の全ての特徴よりも少なく存在する。以下の特許請求の範囲は、ここで詳細な説明に組み入れられ、各請求項は、別個に特許請求される主題として、それ自身独立している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-03-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ターゲット物体の寸法を測る方法であって、
前記ターゲット物体を表す深度データを決定するように深度センサを制御する工程と、
前記深度データに基づいて物体モデルを選択する工程と、
前記深度データの各データ点に対して、前記センサの位置から前記データ点までのレイを定義する工程、及び、前記データ点から前記レイと前記物体モデルとの交点までの距離に基づいて誤差を決定する工程と、
１または複数の決定された誤差を集積する工程と、
前記深度データが前記物体モデルの類似性閾値を満たす時、当該物体モデルを前記ターゲット物体を表すものとして選択する工程と、
前記選択された物体モデルに基づいて物体の寸法を決定する工程と、
を備えたことを特徴とする方法。

【請求項2】

前記モデルは、前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項１に記載の方法。

【請求項3】

誤差閾値と前記データ点の前記誤差とに基づいて、各データ点をインライアーまたはアウトライアーとして分類する工程
を更に備えたことを特徴とする請求項１に記載の方法。

【請求項4】

前記センサからの前記データ点の距離に基づいて、前記データ点のための前記誤差閾値を選択する工程
を更に備えたことを特徴とする請求項３に記載の方法。

【請求項5】

前記深度データの閾値パーセンテージがインライアーとして分類される時、前記深度データは前記類似性閾値を満たすと判定される
ことを特徴とする請求項３に記載の方法。

【請求項6】

１または複数の更なるセンサから、前記ターゲット物体を表す更なる深度データを取得する工程と、
各データ点に対して、当該データ点についてのソースセンサを決定する工程と、
を更に備え、
前記レイは、前記データ点についての前記ソースセンサの位置から定義される
ことを特徴とする請求項１に記載の方法。

【請求項7】

前記集積された１または複数の決定された誤差に基づいて、前記深度データが前記物体モデルの類似性閾値を満たさない場合、新しい物体モデルを選択して当該新しい物体モデルに基づいて前記深度データの各データ点について前記誤差の決定を繰り返す工程
を更に備えたことを特徴とする請求項１に記載の方法。

【請求項8】

ターゲット物体を表す深度データを取得するように構成された深度センサと、
メモリと、
前記深度センサ及び前記メモリと相互接続されたプロセッサと、
を備え、
前記プロセッサは、
前記ターゲット物体を表す深度データを決定するように前記深度センサを制御し、
前記深度データに基づいて物体モデルを選択し、
前記深度データの各データ点に対して、前記センサの位置から前記データ点までのレイを定義して、前記データ点から前記レイと前記物体モデルとの交点までの距離に基づいて誤差を決定し、
１または複数の決定された誤差を集積し、
前記深度データが前記物体モデルの類似性閾値を満たす時、当該物体モデルを前記ターゲット物体を表すものとして選択し、
前記選択された物体モデルに基づいて物体の寸法を決定する
ように構成されている
ことを特徴とする装置。

【請求項9】

前記モデルは、前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項８に記載の装置。

【請求項10】

前記プロセッサは、更に、誤差閾値と前記データ点の前記誤差とに基づいて各データ点をインライアーまたはアウトライアーとして分類するように構成されている
ことを特徴とする請求項８に記載の装置。

【請求項11】

前記プロセッサは、更に、前記センサからの前記データ点の距離に基づいて前記データ点のための前記誤差閾値を選択するように構成されている
ことを特徴とする請求項１０に記載の装置。

【請求項12】

前記深度データの閾値パーセンテージがインライアーとして分類される時、前記深度データは前記類似性閾値を満たすと判定される
ことを特徴とする請求項１０に記載の装置。

【請求項13】

前記新しいモデルは、インライアーとして分類された前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項１０に記載の装置。

【請求項14】

前記プロセッサは、更に、１または複数の更なるセンサから前記ターゲット物体を表す深度データを取得して、各データ点に対して当該データ点についてのソースセンサを決定するように構成されており、
前記レイは、前記データ点についての前記ソースセンサの位置から定義される
ことを特徴とする請求項８に記載の装置。

【請求項15】

前記選択されたモデルを受信してモバイルオートメーションシステムが前記選択されたモデルを考慮してナビゲートするためのパスを決定するように構成されたナビゲーションモジュール
を更に備えたことを特徴とする請求項８に記載の装置。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００５２

【補正方法】変更

【補正の内容】

【0052】

本開示の要約は、読者が当該技術的開示の性質を素早く確認することを許容するために提供される。それは、特許請求の範囲の請求項の範囲または意味を解釈または制限するために用いられないという理解と共に提示される。また、前述の詳細な説明において、当該開示を円滑にする目的で、様々な実施形態において様々な特徴がまとめてグループ化されていることが認められ得る。この開示方法は、特許請求される実施形態が、各請求項で明示的に記載されている特徴よりも多くの特徴を必要とする、という意図を反映するものとして解釈されるべきでない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、単一の開示された実施形態の全ての特徴よりも少なく存在する。以下の特許請求の範囲は、ここで詳細な説明に組み入れられ、各請求項は、別個に特許請求される主題として、それ自身独立している。
なお、出願時の請求項は以下の通りである。
＜請求項１＞
ターゲット物体の寸法を測る方法であって、
前記ターゲット物体を表す深度データを決定するように深度センサを制御する工程と、
前記深度データに基づいて物体モデルを選択する工程と、
前記深度データの各データ点に対して、前記センサの位置から前記データ点までのレイを定義する工程、及び、前記データ点から前記レイと前記物体モデルとの交点までの距離に基づいて誤差を決定する工程と、
１または複数の決定された誤差を集積する工程と、
前記深度データが前記物体モデルの類似性閾値を満たす時、当該物体モデルを前記ターゲット物体を表すものとして選択する工程と、
前記選択された物体モデルに基づいて物体の寸法を決定する工程と、
を備えたことを特徴とする方法。
＜請求項２＞
前記モデルは、前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項１に記載の方法。
＜請求項３＞
誤差閾値と前記データ点の前記誤差とに基づいて、各データ点をインライアーまたはアウトライアーとして分類する工程
を更に備えたことを特徴とする請求項１に記載の方法。
＜請求項４＞
前記センサからの前記データ点の距離に基づいて、前記データ点のための前記誤差閾値を選択する工程
を更に備えたことを特徴とする請求項３に記載の方法。
＜請求項５＞
前記深度データの閾値パーセンテージがインライアーとして分類される時、前記深度データは前記類似性閾値を満たすと判定される
ことを特徴とする請求項３に記載の方法。
＜請求項６＞
前記新しいモデルは、インライアーとして分類された前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項３に記載の方法。
＜請求項７＞
１または複数の更なるセンサから、前記ターゲット物体を表す更なる深度データを取得する工程と、
各データ点に対して、当該データ点についてのソースセンサを決定する工程と、
を更に備え、
前記レイは、前記データ点についての前記ソースセンサの位置から定義される
ことを特徴とする請求項１に記載の方法。
＜請求項８＞
前記モデルを出力する工程は、更に、
前記選択されたモデルを表示する工程と、
前記選択されたモデルをナビゲーションモジュールに送信して、モバイルオートメーションシステムが前記ターゲット物体を考慮してナビゲートすることを許容する工程と、
のうちの１または複数を含む
ことを特徴とする請求項１に記載の方法。
＜請求項９＞
前記集積された１または複数の決定された誤差に基づいて、前記深度データが前記物体モデルの類似性閾値を満たさない場合、新しい物体モデルを選択して当該新しい物体モデルに基づいて前記深度データの各データ点について前記誤差の決定を繰り返す工程
を更に備えたことを特徴とする請求項１に記載の方法。
＜請求項１０＞
ターゲット物体を表す深度データを取得するように構成された深度センサと、
メモリと、
前記深度センサ及び前記メモリと相互接続されたプロセッサと、
を備え、
前記プロセッサは、
前記ターゲット物体を表す深度データを決定するように前記深度センサを制御し、
前記深度データに基づいて物体モデルを選択し、
前記深度データの各データ点に対して、前記センサの位置から前記データ点までのレイを定義して、前記データ点から前記レイと前記物体モデルとの交点までの距離に基づいて誤差を決定し、
１または複数の決定された誤差を集積し、
前記深度データが前記物体モデルの類似性閾値を満たす時、当該物体モデルを前記ターゲット物体を表すものとして選択し、
前記選択された物体モデルに基づいて物体の寸法を決定する
ように構成されている
ことを特徴とする装置。
＜請求項１１＞
前記モデルは、前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項１０に記載の装置。
＜請求項１２＞
前記プロセッサは、更に、誤差閾値と前記データ点の前記誤差とに基づいて各データ点をインライアーまたはアウトライアーとして分類するように構成されている
ことを特徴とする請求項１０に記載の装置。
＜請求項１３＞
前記プロセッサは、更に、前記センサからの前記データ点の距離に基づいて前記データ点のための前記誤差閾値を選択するように構成されている
ことを特徴とする請求項１２に記載の装置。
＜請求項１４＞
前記深度データの閾値パーセンテージがインライアーとして分類される時、前記深度データは前記類似性閾値を満たすと判定される
ことを特徴とする請求項１２に記載の装置。
＜請求項１５＞
前記新しいモデルは、インライアーとして分類された前記深度データのサブセットに基づいて選択される
ことを特徴とする請求項１２に記載の装置。
＜請求項１６＞
前記プロセッサは、更に、１または複数の更なるセンサから前記ターゲット物体を表す深度データを取得して、各データ点に対して当該データ点についてのソースセンサを決定するように構成されており、
前記レイは、前記データ点についての前記ソースセンサの位置から定義される
ことを特徴とする請求項１０に記載の装置。
＜請求項１７＞
前記選択されたモデルを受信してモバイルオートメーションシステムが前記選択されたモデルを考慮してナビゲートするためのパスを決定するように構成されたナビゲーションモジュール
を更に備えたことを特徴とする請求項１０に記載の装置。
＜請求項１８＞
前記集積された１または複数の決定された誤差に基づいて、前記深度データが前記物体モデルの類似性閾値を満たさない場合、前記プロセッサは、更に、新しい物体モデルを選択して当該新しい物体モデルに基づいて前記深度データの各データ点について前記誤差の決定を繰り返すように構成されている
ことを特徴とする請求項１０に記載の装置。

【国際調査報告】