IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ボディデータ インコーポレイテッドの特許一覧

特許7170365レーダースキャンの適用範囲および効率を改善するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-04
(45)【発行日】2022-11-14
(54)【発明の名称】レーダースキャンの適用範囲および効率を改善するためのシステムおよび方法
(51)【国際特許分類】
   G01S 13/89 20060101AFI20221107BHJP
   G01S 13/86 20060101ALI20221107BHJP
   A61B 5/107 20060101ALI20221107BHJP
【FI】
G01S13/89
G01S13/86
A61B5/107 100
【請求項の数】 30
(21)【出願番号】P 2022502429
(86)(22)【出願日】2020-07-14
(65)【公表番号】
(43)【公表日】2022-08-09
(86)【国際出願番号】 US2020041919
(87)【国際公開番号】W WO2021011530
(87)【国際公開日】2021-01-21
【審査請求日】2022-03-31
(31)【優先権主張番号】62/874,618
(32)【優先日】2019-07-16
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】516389330
【氏名又は名称】ボディデータ インコーポレイテッド
【氏名又は名称原語表記】BODIDATA,INC.
(74)【代理人】
【識別番号】110002675
【氏名又は名称】弁理士法人ドライト国際特許事務所
(72)【発明者】
【氏名】シャルペンティエ,アルバート
(72)【発明者】
【氏名】ボイラン,マイケル
(72)【発明者】
【氏名】ルオン,トゥオク
(72)【発明者】
【氏名】ファム,ホア ヴイ.
(72)【発明者】
【氏名】グェン,ロン
(72)【発明者】
【氏名】グェン,ハイ
(72)【発明者】
【氏名】ヴ,タン ヴイ.
【審査官】安井 英己
(56)【参考文献】
【文献】特表2017-528621(JP,A)
【文献】米国特許第08643654(US,B1)
【文献】米国特許出願公開第2018/0165870(US,A1)
【文献】米国特許出願公開第2018/0100927(US,A1)
【文献】特開2016-038820(JP,A)
【文献】米国特許第05923777(US,A)
【文献】国際公開第2015/031934(WO,A1)
【文献】米国特許出願公開第2015/0025788(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/42,
G01S 13/00-13/95,
A61B 5/107
(57)【特許請求の範囲】
【請求項1】
不規則な形状の対象の寸法を取得するための方法であって、
ハンドヘルドスキャナシステムのディスプレイによって、被写体の3D光像を表示し、
前記被写体の前記3D光像上に重ねられた2Dグリッドであって、行および列に配置された複数の2Dセルを定義する線を含む2Dグリッドを表示し、
前記複数の2Dセルの各々の中に、前記3D光像を定義するデータ以外のデータを含むマークを提供し、
前記ハンドヘルドスキャナシステムのレーダーモジュールによって、前記レーダーモジュールと、レーダー信号が通過する少なくとも1つのアイテムによって覆われる前記不規則な形状の対象の第1の部分の少なくとも表面との間の感知された間隔を特定する距離データを生成し、
前記ハンドヘルドスキャナシステムのプロセッサによって、前記被写体がスキャンされているときに前記レーダーモジュールから前記距離データを受信し、
前記プロセッサによって、前記距離データを分析し、レーダー深度データが受信された前記被写体上の位置に対応する前記複数の2Dセルに提供された前記マークの少なくとも1つの第1のマークを識別し、
前記プロセッサによって、前記第1のマークの少なくとも1つの第1の視覚的特徴の変化に基づいて最適化されたレーダーパターンを前記レーダーモジュールに生成させる、
方法。
【請求項2】
前記ハンドヘルドスキャナシステムの光学モジュールによって、前記不規則な形状の対象の少なくとも前記第1の部分を覆う前記少なくとも1つのアイテムの表面と、前記不規則な形状の対象の露出している表面の第2の部分の表面と、を表す3D点群データを生成することをさらに含む、
請求項1記載の方法。
【請求項3】
前記被写体がスキャンされているときに、前記プロセッサによって、前記光学モジュールから前記3D点群データを受信することをさらに含む、
請求項2記載の方法。
【請求項4】
前記プロセッサによって、前記3D点群データおよび前記レーダー深度データを使用して、前記不規則な形状の対象の身体の寸法を表すマップを作成することをさらに含む、
請求項3記載の方法。
【請求項5】
前記少なくとも1つの第1の視覚的特徴は、色、形状、またはサイズを含む、
請求項1記載の方法。
【請求項6】
距離情報は、前記ハンドヘルドスキャナシステムから前記被写体までの距離を特定する前記3D光像にも重ね合わされる、
請求項1記載の方法。
【請求項7】
前記プロセッサによって、複数の前記マークのうちの前記第1のマークまたは前記複数のマークのうちの別のマークの少なくとも1つの第2の視覚的特徴を変化させて、スキャンされている前記対象に対する前記ハンドヘルドスキャナシステムのポインティング方向を示すことをさらに含む、
請求項1記載の方法。
【請求項8】
前記少なくとも1つの第2の視覚的特徴が、前記少なくとも1つの第1の視覚的特徴とは異なる、
請求項7記載の方法。
【請求項9】
前記ハンドヘルドスキャナシステムのポインティング方向が変化したときに、前記プロセッサによって、前記第1またはのマークの前記少なくとも1つの第2の視覚的特徴を前の設定に変化させることをさらに含む、
請求項7記載の方法。
【請求項10】
前記対象の対応する領域について前記被写体のスキャン中に前記距離データが正常に受信されたときに、前記プロセッサによって、新しいマークを前記3D光像の上にさらに重ね合わせるようにすることをさらに含む、
請求項1記載の方法。
【請求項11】
前記不規則な形状の対象が個人であり、前記少なくとも1つのアイテムが前記個人によって着用されている衣服である、
請求項1記載の方法。
【請求項12】
プロセッサと、
ハンドヘルドスキャナシステムを使用して不規則な形状の対象の寸法を取得するための方法を前記プロセッサに実装させるように構成されたプログラミング命令を含む非一時的なコンピュータ可読記憶媒体と、を備え、
前記プログラミング命令は、
被写体の3D光像を表示する命令と、
前記被写体の3D光像に重ねられた2Dグリッドであって、行および列に配置された複数の2Dセルを定義する線を含む2Dグリッドを表示する命令と、
前記複数の2Dセルの各々の中に、前記3D光像を定義するデータ以外のデータを含むマークを提供する命令と、
レーダーモジュールに、前記レーダーモジュールと、レーダー信号が通過する少なくとも1つのアイテムで覆われている前記不規則な形状の対象の第1の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成させる命令と、
前記距離データを分析し、レーダー深度データが受信された前記被写体上の位置に対応する前記複数の2Dセルに提供された前記マークの少なくとも1つの第1のマークを識別する命令と、
前記第1のマークの少なくとも1つの第1の視覚的特徴の変化に基づいて最適化されたレーダーパターンを前記レーダーモジュールに生成させる命令とを含む、
システム。
【請求項13】
前記プログラミング命令は、光学モジュールに、前記不規則な形状の対象の少なくとも第1の部分を覆う少なくとも1つのアイテムの表面と、前記不規則な形状の対象の露出している表面の第2の部分の表面と、を表す3D点群データを生成させる命令をさらに含む、
請求項12記載のシステム。
【請求項14】
前記プログラミング命令は、前記プロセッサに、前記3D点群データおよび前記レーダー深度データを使用して、前記不規則な形状の対象の身体の寸法を表すマップを作成させる命令をさらに含む、
請求項13記載のシステム。
【請求項15】
前記少なくとも1つの第1の視覚的特徴は、色、形状、またはサイズを含む、
請求項12記載のシステム。
【請求項16】
距離情報は、前記ハンドヘルドスキャナシステムから前記被写体までの距離を特定する前記3D光像にも重ね合わされる、
請求項12記載のシステム。
【請求項17】
前記プログラミング命令は、複数の前記マークのうちの前記第1のマークまたは前記複数のマークのうちの別のマークの少なくとも1つの第2の視覚的特徴を変化させて、スキャンされている前記対象に対する前記ハンドヘルドスキャナシステムのポインティング方向を示す命令をさらに含む、
請求項12記載のシステム。
【請求項18】
前記少なくとも1つの第2の視覚的特徴が、前記少なくとも1つの第1の視覚的特徴とは異なる、
請求項17記載のシステム。
【請求項19】
前記プログラミング命令は、前記ハンドヘルドスキャナシステムのポインティング方向が変化したときに、前記第1またはのマークの前記少なくとも1つの第2の視覚的特徴を前の設定に変化させる命令をさらに含む、
請求項17記載のシステム。
【請求項20】
前記プログラミング命令は、前記対象の対応する領域について前記被写体のスキャン中に前記距離データが正常に受信されたときに、新しいマークを前記3D光像の上にさらに重ね合わせるようにする命令をさらに含む、
請求項12記載のシステム。
【請求項21】
前記不規則な形状の対象が個人であり、前記少なくとも1つのアイテムが前記個人によって着用されている衣服である、
請求項12記載のシステム。
【請求項22】
不規則な形状の対象の寸法を取得するためのハンドヘルドスキャナシステムであって、
ハウジングと、
(A)前記不規則な形状の対象の少なくとも第1の部分を覆う少なくとも1つのアイテムの表面と、(B)前記不規則な形状の対象の露出している表面の第2の部分の表面と、を表す3D点群データを生成する少なくとも1つの3D光学センサを含む光学モジュールと、
前記ハウジングと、レーダー信号が通過する前記少なくとも1つのアイテムによって覆われる前記不規則な形状の対象の前記第1の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成する少なくとも1つのレーダーセンサを含むレーダーモジュールと、
写体が前記光学モジュールおよび前記レーダーモジュールを使用してスキャンされている間、前記被写体の3D光像上に重ねられた2Dグリッドであって、行および列に配置された複数の2Dセルを含む2Dグリッドを表示するディスプレイと、
プロセッサと、を備え、
前記プロセッサは、
前記複数の2Dセルの各々の中に、前記3D光像を定義するデータ以外のデータを含むマークを提供し、
前記被写体がスキャンされているときに、前記光学モジュールから前記3D点群データと、前記レーダーモジュールから前記距離データを受信し、
前記距離データを分析し、レーダー深度データが受信された前記不規則な形状の対象上の位置に対応する前記2Dセルに提供された前記マークの少なくとも1つの第1のマークを識別し、
前記少なくとも1つの第1のマークの少なくとも1つの第1の視覚的特徴の変化に基づいて最適化されたレーダーパターンを前記レーダーモジュールに生成させ、
前記3D点群データと前記レーダー深度データを使用して、前記不規則な形状の対象の身体の寸法を表すマップを作成する、
ハンドヘルドスキャナシステム。
【請求項23】
前記少なくとも1つの第1の視覚的特徴は、色、形状、またはサイズを含む、
請求項22記載のハンドヘルドスキャナシステム。
【請求項24】
距離情報は、前記ハンドヘルドスキャナシステムから前記被写体までの距離を特定する前記3D光像にも重ね合わされる、
請求項22記載のハンドヘルドスキャナシステム。
【請求項25】
前記プロセッサは、さらに、前記複数のマークのうちの1つのマークの少なくとも1つの第2の視覚的特徴を変化させて、スキャンされている前記対象に対する前記ハンドヘルドスキャナシステムのポインティング方向を示す、
請求項22記載のハンドヘルドスキャナシステム。
【請求項26】
前記少なくとも1つの第2の視覚的特徴が、前記少なくとも1つの第1の視覚的特徴とは異なる、
請求項25記載のハンドヘルドスキャナシステム。
【請求項27】
前記プロセッサは、さらに、前記ハンドヘルドスキャナシステムのポインティング方向が変化したときに、前記マークの前記少なくとも1つの第2の視覚的特徴を前の設定に変化させる、
請求項25記載のハンドヘルドスキャナシステム。
【請求項28】
前記プロセッサは、さらに、前記対象の対応する領域について前記被写体のスキャン中に距離データが正常に受信されたときに、新しいマークを前記3D光像の上にさらに重ね合わせるようにする、
請求項22記載のハンドヘルドスキャナシステム。
【請求項29】
前記不規則な形状の対象が個人であり、前記少なくとも1つのアイテムが前記個人によって着用されている衣服である、
請求項22記載のハンドヘルドスキャナシステム。
【請求項30】
前記2Dグリッドは、前記レーダーモジュールを使用してスキャンされる必要がある前記対象の領域について、前記ハンドヘルドスキャナシステムのユーザにフィードバックを提供する、
請求項22記載のハンドヘルドスキャナシステム。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、2019年7月16日に出願された米国仮特許出願第62/874,618号からの優先権を主張する。この米国仮特許出願の内容は、参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、概して、データ処理システムに関する。より具体的には、本開示は、レーダースキャンの適用範囲および効率を改善するための実装システムおよび方法に関する。
【背景技術】
【0003】
今日の衣料品の買い物客は、衣料品のスタイル、カットおよびサイズの選択肢が膨大であるのに、それらのサイズや、現在のスタイルに彼/彼女らの身体の固有のプロポーションがどのようにフィットするのかについての十分な情報がないというジレンマに直面している。
【発明の概要】
【0004】
本開示は、不規則な形状の対象(例えば、個人)の寸法を取得するための実装システムおよび方法に関する。方法は、ハンドヘルドスキャナシステムのディスプレイによって、被写体の3D光像を表示し、対象の3D光像上に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示し、ハンドヘルドスキャナシステムのレーダーモジュールによって、レーダーモジュールと、少なくとも1つのアイテム(例えば、個人が着用している衣服)によって覆われる不規則な形状の対象の第1の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成し、ハンドヘルドスキャナシステムのプロセッサによって、被写体がスキャンされているときにレーダーモジュールから距離データを受信し、対応する距離データがプロセッサによって正常に受信されたときに、複数のマークのうちの第1のマークの少なくとも1つの第1の視覚的特徴(例えば、色、形状、またはサイズ)を変化させる。
【0005】
方法はまた、ハンドヘルドスキャナシステムの光学モジュールによって、不規則な形状の対象の少なくとも第1の部分を覆う少なくとも1つのアイテムの表面と、不規則な形状の対象の露出している表面の第2の部分の表面と、を表す3D点群データを生成し、対象がスキャンされているときに、プロセッサによって、光学モジュールから3D点群データを受信し、プロセッサによって、3D点群データおよびレーダーデータを使用して、不規則な形状の対象の身体の寸法を表すマップを作成することを含む。
【0006】
いくつかのシナリオでは、距離情報はまた、ハンドヘルドスキャナシステムから被写体までの距離を特定する3D光像にも重ね合わされる。追加的または代替的に、プロセッサは、複数のマークの第1のマークまたは第2のマークの少なくとも1つの第2の視覚的特徴を変化させて、スキャンされている対象に対するハンドヘルドスキャナシステムのポインティング方向を示す。第2の視覚的特徴が、少なくとも1つの第1の視覚的特徴とは異なる。プロセッサは、ハンドヘルドスキャナシステムのポインティング方向が変化したときに、第1または第2のマークの少なくとも1つの第2の視覚的特徴を前の設定に変化させてもよい。対象の対応する領域について被写体のスキャン中に距離データが正常に受信されたときに、新しいマークが3D光像の上にさらに重ね合わせられてもよい。
【0007】
実装システムは、プロセッサと、ハンドヘルドスキャナシステムを使用して不規則な形状の対象(例えば、個人)の寸法を取得するための方法をプロセッサに実装させるように構成されたプログラミング命令を含む非一時的なコンピュータ可読記憶媒体と、を備える。プログラミング命令は、被写体の3D光像を表示する命令、被写体の3D光像に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示する命令、レーダーモジュールに、レーダーモジュールと、少なくとも1つのアイテム(例えば、個人が着用している衣服)で覆われている不規則な形状の対象の第1の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成させる命令、および/または、対応する距離データがレーダーモジュールによって正常に生成されたときに、複数のマークの第1のマークの少なくとも1つの第1の視覚的特徴(例えば、色、形状、またはサイズ))を変化させる命令を備える。
【0008】
プログラミング命令は、光学モジュールに、不規則な形状の対象の少なくとも第1の部分を覆う少なくとも1つのアイテムの表面と、不規則な形状の対象の露出している表面の第2の部分の表面と、を表す3D点群データを生成させる命令、および/または、プロセッサに、3D点群データおよびレーダーデータを使用して、不規則な形状の対象の身体の寸法を表すマップを作成させる命令を備える。
【0009】
プログラミング命令は、距離情報をハンドヘルドスキャナシステムから被写体までの距離を特定する3D光像にも重ね合わせる命令、複数のマークの第1のマークまたは第2のマークの少なくとも1つの第2の視覚的特徴を変化させて、スキャンされている対象に対するハンドヘルドスキャナシステムのポインティング方向を示す命令、ハンドヘルドスキャナシステムのポインティング方向が変化したときに、第1または第2のマークの少なくとも1つの第2の視覚的特徴を前の設定に変化させる命令、および/または、対象の対応する領域について被写体のスキャン中に距離データが正常に受信されたときに、新しいマークを3D光像の上にさらに重ね合わせるようにする命令を備えてもよい。第2の視覚的特徴は、少なくとも1つの第1の視覚的特徴とは異なってもよい。
【0010】
本開示はまた、不規則な形状の対象(例えば、個人)の寸法を取得するためのハンドヘルドスキャナシステムに関する。ハンドヘルドスキャナシステムは、ハウジングと、不規則な形状の対象の少なくとも第1の部分を覆う少なくとも1つのアイテムの表面と、不規則な形状の対象の露出している表面の第2の部分の表面と、を表す3D点群データを生成する少なくとも1つの3D光学センサを含む光学モジュールと、ハウジングと、少なくとも1つのアイテム(例えば、個人が着用している衣服)によって覆われる不規則な形状の対象の第1の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成する少なくとも1つのレーダーセンサを含むレーダーモジュールと、被写体が光学モジュールおよびレーダーモジュールを使用してスキャンされている間、被写体の3D光像上に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示するディスプレイと、プロセッサと、を備える。プロセッサは、被写体がスキャンされているときに、光学モジュールから3D点群データと、レーダーモジュールから距離データを受信し、被写体のスキャン中に対応する距離データが正常に受信されたときに、各マークの少なくとも1つの第1の視覚的特徴(例えば、色、形状、またはサイズ)を変化させ、3D点群データとレーダーデータを使用して、不規則な形状の対象の身体の寸法を表すマップを作成する。
【0011】
いくつかのシナリオでは、距離情報は、ハンドヘルドスキャナシステムから被写体までの距離を特定する3D光像にも重ね合わされる。追加的または代替的に、プロセッサは、さらに、複数のマークのうちの1つのマークの少なくとも1つの第2の視覚的特徴を変化させて、スキャンされている対象に対するハンドヘルドスキャナシステムのポインティング方向を示し、ハンドヘルドスキャナシステムのポインティング方向が変化したときに、マークの少なくとも1つの第2の視覚的特徴を前の設定に変化させ、および/または、対象の対応する領域について被写体のスキャン中に距離データが正常に受信されたときに、新しいマークを3D光像の上にさらに重ね合わせるように構成されている。第2の視覚的特徴は、少なくとも1つの第1の視覚的特徴とは異なってもよい。
【図面の簡単な説明】
【0012】
本解決策は、以下の図を参照して説明され、図中の同様の数字は、図全体を通して同様の構成を表す。
図1】本解決策を実施する例示的なシステムの斜視図である。
図2】例示的なハンドヘルドスキャナシステムの正面斜視図である。
図3図3のハンドヘルドスキャナシステムの背面斜視図であり、ハウジングが透明に示されている。
図4】例示的なハンドヘルドスキャナシステムのブロック図である。
図5】例示的な波形レーダーユニットのブロック図である。
図6】例示的なレーダープロセッサのシステム図である。
図7】複数のアンテナ開口が同時に測距情報を捕捉するために使用される場合に使用されるターゲットに関するアンテナ形状のマルチラテレーションプロセスを示す概略図である。
図8】ワイヤメッシュマネキンおよび適用範囲マップを示す斜視図である。
図9図1に示される演算装置の例示的な構成の図である。
図10図1に示されるシステムの動作を理解するのに有用な図である。
図11A】(本明細書ではまとめて「図11」と呼ぶ)ハンドヘルドスキャナシステムを使用して3Dモデルを作成するための例示的な方法の流れ図である。
図11B】(本明細書ではまとめて「図11」と呼ぶ)ハンドヘルドスキャナシステムを使用して3Dモデルを作成するための例示的な方法の流れ図である。
図12】例示的なパラメトリック3Dモデルの図である。
図13】例示的な被写体点群の図である。
図14】パラメトリック3Dモデルおよび設定ベクトルを使用して、基準点群を感知された被写体点群に変形するための例示的なプロセスを示す。
図15】例示的な合成表面モデルの図である。
図16】対象をスキャンするための例示的な方法の流れ図である。
図17】被写体の光学画像の上に重ねられたグリッドを示す画像である。
図18】被写体の光学画像の上に重ねられたグリッドを示す画像である。
図19】被写体の光学画像の上に重ねられたグリッドを示す画像である。
図20】光学データから作成された情報を表す第1の点群、レーダーセンサから作成された情報を表す第2の点群、および光学データとレーダーデータの両方から作成された情報を表す第3の点群を示す図である。
【発明を実施するための形態】
【0013】
本明細書に概して記載され、添付の図に示されている実施形態の構成要素は、多種多様な異なる構成で配置および設計され得ることが容易に理解されよう。したがって、図に示されているように、以下の様々な実施形態のより詳細な説明は、本開示の範囲を限定することを意図するものではなく、単に様々な実施形態を代表するものである。実施形態の様々な態様が図面に示されているが、特に示されない限り、図面は必ずしも一定の縮尺で描かれているわけではない。
【0014】
本解決策は、その精神または本質的な特徴から逸脱することなく、他の特定の形態で具体化されてもよい。説明された実施形態は、すべての点で例示としてのみ考慮されるべきであり、限定的ではないと見なされるべきである。したがって、本解決策の範囲は、この詳細な説明ではなく、添付の特許請求の範囲によって示される。特許請求の範囲の意味および同等性の範囲内にあるすべての変更は、それらの範囲内に含まれるものとする。
【0015】
本明細書全体にわたる特色、利点、または同様の文言への言及は、本解決策で実現され得るすべての特色および利点が、本解決策の任意の単一の実施形態であるべきである、またはそうであることを意味するものではない。むしろ、特色および利点を指す文言は、一実施形態に関連して説明される特定の特色、利点、または特徴が、本解決策の少なくとも1つの実施形態に含まれることを意味すると理解される。したがって、本明細書全体にわたる特色および利点、ならびに同様の文言の議論は、必ずしもそうではないが、同じ実施形態を参照してもよい。
【0016】
さらに、本解決策の記載された特色、利点および特徴を、1つまたは複数の実施形態において任意の適切な方法で組み合わせてもよい。当業者は、本明細書の説明に照らして、本解決策が、特定の実施形態の特定の特色または利点のうちの1つまたは複数なしで実施できることを認識するであろう。他の例では、本解決策のすべての実施形態に存在しない可能性がある特定の実施形態において、追加の特色および利点が認識され得る。
【0017】
本明細書全体を通して「一実施形態」、「ある実施形態」、または同様の文言への言及は、示された実施形態に関連して説明される特定の特色、構造、または特徴が本解決策の少なくとも1つの実施形態に含まれることを意味する。したがって、「一実施形態において」、「ある実施形態において」という句、および本明細書全体にわたる同様の文言は、必ずしもそうではないが、すべてが同じ実施形態を指す場合がある。
【0018】
この文書で使用されるように、単数形「a」、「an」、および「the」は、文脈が明らかに他のことを示さない限り、複数形の参照を含む。別段の定義がない限り、本明細書で使用されるすべての技術的および科学的用語は、当業者によって一般的に理解されるのと同じ意味を有する。この文書で使用されているように、「備える」という用語は「含むがこれに限定されない」ことを意味する。
【0019】
複雑な実世界の対象から3D表面スキャンまたは点群を生成するために利用可能な多くのシステムが存在する。ラベルのない3Dサーフェスは、静的対象の描写には役立つが、既知の機能と意味を持つ特定の領域またはサブ対象で構成される複雑な対象の測定や相互作用する表示にはあまり役立たない。本解決策は、概して、複数のセンサを備えたハンドヘルドスキャン装置を使用して3Dデータを相互作用的にキャプチャし、領域とサブ対象の意味付けを提供するためのシステムおよび方法に関する。結果として得られるモデルは、スキャン対象の改善された測定値を導き出し、スキャン対象の機能的側面を表示し、および/または機能的側面に基づいてスキャン対象の他の対象への幾何学的適合を決定するために使用されてもよい。
【0020】
小売用途では、本解決策の目的は、光学およびレーダー技術を使用して、服を着た個人の3D点群表現を作成することによって、一連の身体測定値を確立することである。衣服は、GHz周波数で動作するレーダー信号に対して透過的であるため、入射レーダー信号は身体に反射し、下にある表面までの距離測定を提供する。レーダーのこの特色は、追加の距離情報を決定するために使用されるため、個人の正確な測定値のセットを取得することができる。身体までの距離と衣服までの距離とがわかっている場合は、距離の違いを考慮して正確な測定値の収集を取得できる。
【0021】
例示的なシステム
ここで、図1図4を参照すると、本解決策を実装するシステム150を理解するのに役立つ図が提供されている。システム150は、ハンドヘルドスキャナシステム100を備える。本解決策は、図2および図3に示されるハンドヘルドスキャナシステムの形状、サイズ、および他の幾何学的特徴に限定されない。他のシナリオでは、ハンドヘルドスキャナシステムの全体的な設計が異なる。
【0022】
図1において、ハンドヘルドスキャナシステム100は、不規則な形状の対象102(図示の用途では個人である)に対して位置して示されている。ハンドヘルドスキャナシステム100は、以下に説明する様々な構成要素が収容されるハウジング104を含む。ハウジング104は、様々な構成を有することができ、操作者の手に快適にフィットするように構成される。支柱または支持部品(図示せず)は、随意にハウジング104から延び、操作者が被写体102に対してハンドヘルドスキャナシステム100を支持するのを支援してもよい。動作中、ハンドヘルドスキャナシステム100は、被写体に極めて接近して(たとえば、被写体から12インチから25インチ)、被写体102の周りを移動する。ハウジング104は、耐久性のあるプラスチック材料で作ることができる。アンテナ要素の近くにあるハウジングセクションは、レーダーの動作周波数に対して透過的である。
【0023】
ハンドヘルドスキャナシステム100の例示的な構成が、図4図6に示されている。本解決策は、この構成に限定されない。ここでは、他のハンドヘルドスキャナ構成を制限なく使用できる。
【0024】
図4に示すように、小さなディスプレイ402は、スキャン中に操作者に見えるように、ハウジング104に組み込まれる、またはハウジング104の外部に組み込まれる。ディスプレイ402はまた、基本的なデータ入力タスク(プロンプトへの応答、顧客情報の入力、およびハンドヘルドスキャナシステム100の状態に関する診断情報の受信など)を実行するように構成することができる。さらに、ハンドヘルドスキャナシステム100はまた、操作者へのフィードバック(力覚、聴覚、視覚、触覚など)を組み込むことができ、これは、例えば、スキャンされる必要がある顧客の場所に操作者を導く。いくつかのシナリオでは、フィードバック(例えば、力覚、聴覚、視覚、および/または触覚)は、ハンドヘルドスキャナシステム100がスキャンされている被写体から近すぎるかまたは遠すぎることを操作者に示すことができる。
【0025】
ハンドヘルドスキャナシステム100は、充電式電池406または他の電源408によって電力を供給される。充電式電池406は、高エネルギー密度、および/または軽量電池(例えば、リチウムポリマー電池)を含むことができるが、これらに限定されない。充電式電池406は、長期または連続動作をサポートするために交換可能であり得る。ハンドヘルドスキャナシステム100は、使用されていないとき、クレードル(図示せず)にドッキングすることができる。ドッキングされている間、クレードルは、充電式電池406を再充電し、外部コンピュータ機器(例えば、演算装置106)への有線接続のためのインターフェースを提供する。ハンドヘルドスキャナシステム100は、有線および無線インターフェース410、412の両方をサポートする。ハウジング104は、電力、ネットワーク108(例えば、インターネットまたはイントラネット)を介したデータの高速転送、ならびに装置のプログラミングまたは更新を可能にする物理的インターフェース410を含む。無線インターフェース412は、802.11インターフェースを含んでもよいが、これに限定されない。無線インターフェース412は、測定データ(レーダーおよび画像データ)を補助コンピュータ機器106(例えば、外部ホストデバイス)に交換して、画像を操作者の端末のディスプレイに描写するための一般的な動作通信リンクを提供する。製造およびテストの目的で、RF回路の校正用にRFテストポートを含めてもよい。
【0026】
ハンドヘルドスキャナシステム100は、2つの測定モード、すなわち、光学モジュール414の測定モードおよびレーダーモジュール416の測定モードを利用する。両方のモジュール414、416からのデータは、中央処理装置(「CPU」)418にストリーミングされる。CPU418またはカメラモジュール上で、光およびレーダーデータストリームは、同時処理され、同期される。共処理の結果は、ネットワーク108を介してモバイル演算装置または他の補助コンピュータ機器106(例えば、ディスプレイ用)に配信される。デジタル信号プロセッサ(「DSP」)420もまた、ハンドヘルドスキャナシステム100に含まれてもよい。
【0027】
後続の測定抽出は、3Dデータに対して動作することができ、抽出された結果は、衣服フィッティングエンジンに供給することができる。あるいは、光学データは、レーダーモジュール416に送信される。レーダーモジュール416は、光学データにレーダーデータをはさみ、補助コンピュータ機器106への単一のUBS接続を提供する。光学データおよびレーダーデータはまた、光学データフレームを一時的に保存するために外部データ記憶装置110に書き込むことができる。
【0028】
電子メモリ422は、以前のスキャンからの距離情報を一時的に記憶する。以前のスキャンからの記憶されたデータは、レーダーモジュール416および光学モジュール414が対象の周りを動き、身体の改良された表現を取得し身体の特色を決定するときに、現在のサンプルで処理を増強することができる。いくつかのシナリオでは、ドップラー信号処理または移動目標指示器(「MTI」)アルゴリズムを使用して、身体の改良された表現を取得し、身体の特色を決定する。ドップラー信号処理およびMTIアルゴリズムは当技術分野で周知であり、したがって本明細書では説明しない。本明細書では、任意の既知のドップラー信号処理技術および/またはMTIアルゴリズムを使用することができる。本解決策は、この点に関して限定されない。ハンドヘルドスキャナシステム100は、ホストプラットフォームが光学システムおよびレーダーシステムの両方を使用して、個人の2つの表面(例えば、衣服の表面および着用者の身体の表面)を決定することを可能にする。レーダーモジュール416はまた、光学距離データを解析し、この情報を使用して、距離分解を解決し、多重像または距離の曖昧さを排除してもよい。
【0029】
光学モジュール414は、1つまたは複数のカメラ424および/またはセンサ450に結合されている。カメラには、3Dカメラ、RGBカメラ、および/または追跡カメラが含まれるが、これらに限定されない。センサには、レーザーおよび/または赤外線システムが含まれるが、これらに限定されない。列挙されたタイプのカメラおよび/またはセンサのそれぞれは当技術分野で知られており、したがって、本明細書では詳細に説明しない。
【0030】
3Dカメラは、統合された3Dデータ構造が、3D点群(衣服着および身体)、体積視差の領域(操作者によって特定される)、および両方の表面(例えば、衣服の表面及び身体の表面)の統計的表現を提供するように構成される。このような3Dカメラは当技術分野でよく知られており、多くのメーカーから広く入手できる(たとえば、Intel RealSense(登録商標) 3D光学カメラスキャナシステム)。
【0031】
光学モジュール414は、固定座標基準フレームに関して、および身体に関して、慣性状態ベクトルを維持することができる。状態情報(ユニットの向き、平行移動、回転を含む)は、ユニットの重心に対するアンテナ要素の既知の物理的オフセットとともに使用され、各仮想アンテナおよび光モジュールの補正と更新距離の推定値を提供する。慣性状態ベクトルを、随意のオンボード慣性測定ユニット(「IMU」)426からのセンサデータを使用して、またはマルチアンテナレーダーアレイ(例えば、3つ以上の要素を備える)によって取得してもよい。IMUおよびマルチアンテナレーダーアレイは当技術分野で周知であり、したがって本明細書では説明しない。本明細書では、任意の既知のまたは既知になるIMUおよび/またはマルチアンテナレーダーアレイを制限なく使用することができる。
【0032】
そのようなシステムの能力は、通常、近距離でミリメートルの精度と解像度を達成し、遠距離でセンチメートルの解像度に増加する。それらの優れた解像度にもかかわらず、服を着た個人の身体の次元を取得することは、衣服などの障害物によって制限される。被写体にパターンを投影するカメラシステムは、この用途に十分なパフォーマンスを提供する。
【0033】
図5に示すように、レーダーモジュール416は、概して、距離決定に適した波形を生成することができる波形発生器502と、少なくとも1つの送信要素(エミッタ)506および少なくとも1つの受信要素(受信機)508を備えた少なくとも1つのアンテナアセンブリ504と、周波数乗算器510と、送信選択スイッチ512と、受信されたターゲット波形の瞬時位相を送信信号の写しの瞬時位相と比較することによって直交出力514を介してビート周波数を提供するように構成された整合フィルタであるダウンコンバータ(ストレッチプロセッサ)を備える。一定の周波数シフトを与えるためにアップコンバージョンを実行するSSBミキサー516を含んでもよい。この機能ブロックは、フィードスルーの問題に対処するための設計の強化であり、必須ではない。
【0034】
所望の波形は、線形周波数変調(「LFM」)チャープパルスであることに留意されたい。ただし、他の波形を使用してもよい。高範囲の解像度を達成するために、レーダーモジュール416は、ブロードバンドシステムである。これに関して、レーダーモジュール416は、X/Kuバンド動作を備えたレーダーモジュールを含んでもよいが、これに限定されない。LFMシステムには、リターンパルスと比較するために、送信バーストの遅延写しが含まれる。ハンドヘルドスキャナシステム100を使用する操作者は、被写体からの固定された分離を確実に維持できないという事実のために、レーザー距離計、光学システムまたは他の近接センサが、被写体の外側の衣服に対しこの分離を追跡するのを助けることができる。この情報を、LFMシステムを使用して行われたレーダー測定を検証し、それに応じて遅延パラメータを補正するために使用してもよい。光学3Dカメラ424またはレーザー450は、衣服で覆われている身体を測定することができないので、超広帯域(「UWB」)レーダーモジュール416がこの測定の実行を担当する。
【0035】
図示のUWBレーダーモジュール416を用いて、波形発生器502は、衣料品を通過し、身体で反射し、そしてレーダー受信開口に散乱応答を返す低電力の非電離ミリメートル波(たとえば、58~64GHz)を放出する。範囲を解決するために、UWBレーダーモジュール416は、既知の空間的分離を有する2つ以上のアンテナ要素428、430からなる。この場合、1つまたは複数のアンテナ対が使用される。開口204は、関連する送信要素428と共に使用される。しかしながら、幾何学的目的およびコスト目的の両方を満たすために、異なる構成が可能である。送信の開口204が複数の場合、各要素は交代でエミッタとなり、他の要素は受信機である。
【0036】
単一の開口204は、送信および受信の両方に使用することができる。デュアル開口を使用して、特定のチャネルの送信要素と受信要素を高度に分離することもできる。さらに、アンテナ206は、特定の偏波で送信して、追加の分離を達成するように、またはターゲットによって決定される所与の偏波センスに対してより敏感になるように構成することができる。
【0037】
身体の方向に放出される波形は、数ギガヘルツの帯域幅にわたって掃引するLFMランプである。波形は、すべてのアンテナ対で同じにすることも、反射面の特色を表現するように変更することもできる。帯域幅は、レーダーモジュール416によって達成可能な明確な空間分解能を決定する。他のレーダー波形と実装を使用できるが、この場合、LFM三角波形を使用する。
【0038】
ここで図6を参照すると、DSP420は、概して、ADC用のプロセッサ、メモリ回路、およびサンプリングクロックを動作させるための正確な時間基準を提供し、レーダーデータを光フレームに時間合わせするクロック供給源604と、レーダーモジュール416の構成、未処理のレーダーデータの処理、および距離分解演算を担当するCPU(または他のプロセッサ)418と、未処理のレーダー波形を処理用に記憶すると共に校正情報および波形補正値を記憶する外部メモリ602と、アナログ-デジタル変換器(「ADC」)606と、ローパス(すなわち、第1のナイキストゾーン)またはバンドパス(すなわち、中間周波数(「IF」))サンプリングのためにアナログ信号をフィルタリングするために使用されるアンチエイリアシングフィルタ608と、デジタルおよびアナログマルチプレクサ電子機器610と、イベントのタイミングを調整する複合プログラム可能論理デバイス(「CPLD」)またはフィールドプログラマブルゲートアレイ(「FPGA」)612と、を含む。ヒルベルト変換器を使用して、保存された信号鎖に位相シフトを与え複素信号処理に必要な直角位相成分を得る場合には、直角位相チャネルの1つを削除し、それによって受信機ハードウェアを単純化し、単一のADCコンバータ鎖(要素606、608、610、614)を除去することも可能である。これらの処理技術は周知であり、レーダー処理に適用可能である。
【0039】
アンテナ対428、430のすべての組み合わせについて、距離決定を、要素の三辺測量(一対について)または多重測量(一組について)のプロセスを介して被写体に対して行うことができる。図7を参照すると、ハンドヘルドスキャナシステム100の正面に距離が不明のターゲットがある場合、その反射波形は、送信波形の写しと混合され、ビート周波数が生成される。このビート周波数は、ランプ波形の伝搬遅延を直接マッピングする。全経路長は、LFMレーダーの出力に対してフーリエ変換を実行してスペクトル周波数成分を抽出することによって分解される。代替の解析技法には、Prony法が含まれる。Prony法の出力は、均一にサンプリングされた信号から周波数、振幅、位相、および減衰パラメータを抽出することができる。Prony法の解析の利用により、ノイズが存在する場合のパラメータ抽出が可能になる。顕著なスペクトルピークは、さまざまな散乱表面までの往復距離を示す。この処理がどのように実行されるかは当技術分野で十分に確立されている。あるいは、他の方法を利用してもよい。たとえば、レーダーモジュールは、サイドスキャンレーダー(「SSR」)アルゴリズムを利用して、ターゲットまでの距離情報を決定することもできる。SSRアルゴリズムは、単独で使用することも、三辺測量と組み合わせて使用することもできる。
【0040】
操作者が個人をスキャンすると、図8に示されるように、適用範囲の領域を示すディスプレイ800が更新される。操作者は、身体の領域がスキャンされた場所と、身体がまだスキャンされる必要がある場所と、の画面上の表示802で、取得されたスキャンのリアルタイム更新を確認する。表示情報は、装置の操作者が身体のすべての表面がスキャンされたことを確認するのに役立つ。この概念の簡単な例は、スキャンされた身体の領域を示すために、身体のシルエットを白黒またはグレースケールで表示することである。
【0041】
例示的な用途では、ハンドヘルドスキャナシステム100は、大量の完全に服を着た顧客を迅速にスキャンすることを可能にする。この技術の重要な利点は、ハンドヘルドスキャナシステム100が被写体に対して固定された方向に拘束されないことであり、したがって、固定構造では実行することが困難である身体の領域に対して測定を挑むことができる。さらに、協調して動作する2つの空間測定システムの組み合わせにより、個人の次元をより忠実に再現できる。
【0042】
ハンドヘルドスキャナシステム100は、例示的な衣服フィッティング用途の文脈で本明細書に記載されているが、ハンドヘルドスキャナシステム100は、他の不規則な形状の対象のサイズ測定値を決定するために利用され、不規則な形状の対象のサイズ測定値を利用する他の用途で使用されてもよいことが認識される。
【0043】
ここで図9を参照すると、演算装置106の例示的な構成の詳細なブロック図が提供される。演算装置106には、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはスマートデバイス(例えば、スマートフォン)が含まれるが、これらに限定されない。
【0044】
演算装置106は、図9に示されるものよりも多いまたは少ない構成要素を含んでいてもよい。しかしながら、示される構成要素は、本解決策を実装する例示的な実施形態を開示するのに十分である。図9のハードウェア構成は、ハンドヘルドスキャナシステム100によって取得されたデータを使用して3Dモデルの生成を容易にするように構成された代表的な演算装置の一実施形態を表す。このように、図9の演算装置106は、本解決策に関連して本明細書に記載された方法の少なくとも一部を実装する。
【0045】
演算装置106のいくつかまたはすべての構成要素は、ハードウェア、ソフトウェア、および/またはハードウェアとソフトウェアの組み合わせとして実装することができる。ハードウェアには、1つまたは複数の電子回路が含まれるが、これらに限定されない。電子回路には、受動的構成要素(例えば、抵抗器およびコンデンサ)および/または能動的構成要素(例えば、増幅器および/またはマイクロプロセッサ)が含まれ得るが、これらに限定されない。受動的および/または能動的構成要素は、本明細書に記載の方法論、手順、または機能の1つまたは複数を実行するように適合、配置、および/またはプログラムすることができる。
【0046】
図9に示すように、演算装置106は、ユーザーインターフェース902と、CPU906と、システムバス910と、システムバス910を介して演算装置106の他の部分に接続されてアクセス可能なメモリ912と、システムバス910に接続されたハードウェア構成要素914と、を備える。ユーザーインターフェースは、演算装置106の動作を制御するためのユーザー-ソフトウェア相互作用を容易にする入力装置(例えば、キーパッド950)および出力装置(例えば、スピーカー952、ディスプレイ954、および/または発光ダイオード956)を含むことができる。
【0047】
少なくともいくつかのハードウェア構成要素914は、RAMおよび/またはディスクドライバであり得るメモリ912へのアクセスおよび使用を含むアクションを実行する。ハードウェア構成要素914は、本明細書に記載の方法論、手順、または機能の1つまたは複数を実装するように構成された命令920(例えば、ソフトウェアコード)の1つまたは複数の組が記憶されるコンピュータ可読記憶媒体918を備えるディスクドライブユニット916を含むことができる。命令920はまた、演算装置106によるその実行中に、メモリ912内および/またはCPU906内に完全にまたは少なくとも部分的に存在することができる。メモリ912およびCPU906はまた、機械可読媒体を構成することができる。本明細書で使用される「機械可読媒体」という用語は、命令920の1つまたは複数の組を記憶する単一の媒体または複数の媒体(例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバー)を指す。本明細書で使用される「機械可読媒体」という用語はまた、演算装置106によって実行するための命令920の組を記憶、符号化、または運ぶことができ、演算装置106に本開示の方法論のいずれか1つまたは複数を実行させる任意の媒体を指す。
【0048】
いくつかのシナリオでは、ハードウェア構成要素914は、ハンドヘルドスキャナシステム100によって取得されたデータを使用して3Dモデルの生成を容易にするようにプログラムされた電子回路(例えば、プロセッサ)を含む。これに関して、電子回路は、演算装置106にインストールされた1つまたは複数のアプリケーション924にアクセスして実行することができることを理解されたい。ソフトウェアアプリケーション924は、概して、パラメトリック3Dモデルの構築を容易にすること、パラメトリック3Dモデルを記憶すること、ハンドヘルドスキャナシステム100からの取得データを取得すること、取得データを使用して、スキャン対象が属する一般的な対象クラスまたはカテゴリを識別すること、スキャン対象と同じ一般的な対象クラスまたはカテゴリに属する対象を表す3Dモデルを識別すること、点群を生成すること、点群を変更すること、点群を比較すること、第2の点群に最適な第1の点群を特定すること、第1の点群に関連付けられた設定ベクトルを取得すること、設定ベクトルを使用して3Dモデルを設定すること、設定された3Dモデルから完全な3D表面モデルと領域ラベリングを取得すること、設定ベクトルからスキャン対象の特定の特徴のメトリックを取得すること、メトリックを改良すること、および/またはユーザに情報を提示することを目的に機能する。演算装置のこれらの動作を示す説明が図10に提供されている。図10はまた、ハンドヘルドスキャナシステムと演算装置との間の動作関係を示している。ソフトウェアアプリケーション924の他の機能は、議論が進むにつれて明らかになるであろう。
【0049】
改良3Dモデルを生成するための例示的な方法
ここで図11を参照すると、ハンドヘルドスキャナシステム(例えば、図1のハンドヘルドスキャナシステム100)によって取得されたデータを使用して改良3Dモデルを生成するための例示的な方法1100の流れ図が提供される。3Dモデルには、複数の意味のあるサブ領域がある。対象の各意味のあるサブ領域(例えば、図1の不規則な形状の対象102)は、キーおよび関連する値(意味タグ付け)で識別される。
【0050】
方法1100は、ブロック1102~1144に示される複数の動作を備える。これらの動作は、図11に示されるものと同じまたは異なる順序で実行することができる。例えば、1116~1118の動作は、図11Aに示されるように1109~1114の後ではなく、1109~1114の前に実行することができる。本解決策は、この点に関して限定されない。
【0051】
図11Aに示すように、方法1100は、1102で始まり、複数の合成3Dモデルが構築される1104に続く。合成3Dモデルは、ハンドヘルドスキャナシステムの外部および/または遠隔の演算装置(例えば、図1および図9の演算装置106)を使用して構築することができる。演算装置には、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、スマートデバイス、および/またはサーバーが含まれるが、これらに限定されない。列挙された演算装置のそれぞれは、当技術分野で周知であり、したがって、本明細書では説明しない。
【0052】
合成3Dモデルは、ハンドヘルドスキャナシステムを使用して感知される異なる対象(例えば、生物(例えば、人間(男性および/または女性)または動物)、衣料品、車両など)を表す。合成3Dモデルを構築するための方法は、当技術分野でよく知られている。合成3Dモデルを構築するための任意の既知のまたは既知になる方法を、本明細書で制限なしに使用することができる。たとえば、いくつかのシナリオでは、本解決策はコンピュータ支援設計(「CAD」)ソフトウェアプログラムを採用する。CADソフトウェアプログラムは当技術分野でよく知られている。追加的または代替的に、本解決策は、Blanzらによって書かれた「3D面の合成のための変形可能なモデル」というタイトルの文書(「Blanz」)に記載されている3Dモデリング技術を使用する。この3Dモデリング技術に従って生成された人間1200の例示的な合成3Dモデルが図12に示されている。本解決策は、この例の詳細に限定されない。次の1106において、複数の合成3Dモデルは、後で使用するためにデータ記憶装置(例えば、図4のメモリ422、および/または図6の外部メモリ602)に記憶される。
【0053】
各合成3Dモデルは、複数の変更可能な特徴を有する。これらの変更可能な特徴には、外観、形状、向き、および/またはサイズが含まれるが、これらに限定されない。特徴は、所与の一般的な対象クラスまたはカテゴリ(人間のクラスまたはカテゴリ)内のすべての対象に共通のパラメータ値(たとえば、高さパラメータ値、重量パラメータ値、胸囲パラメータ値、腰囲パラメータ値など)を設定または調整することによって変更できる。いくつかのシナリオでは、各パラメータ値を-1.0から1.0までの任意の値に調整できる。合成3Dモデルの離散パラメータ値設定の収集は、本明細書では「設定ベクトル」と呼ばれる。合成3Dモデルは、所与の一般的な対象クラスまたはカテゴリの知覚的に異なる形状と外観ごとに、形状と外観を最もよく表す設定ベクトルが存在するように設計される。合成3Dモデルの設定ベクトルの収集は、現実の世界で見られる可能性のある外観と形状の分布を表す、可能性のある形状と外観の分布を記述する。設定ベクトルのこの収集は、本明細書では「設定スペース」と呼ばれる。
【0054】
合成3Dモデルはまた、複数のサブ対象または領域(例えば、額、耳、目、口、鼻、あご、腕、脚、胸、手、足、首、頭、腰など)を備えてもよい。意味のある各サブ対象または領域には、キーと値の対のラベルが付される。キーと値の対は、2つのリンクされたデータアイテム、すなわち、キー(データの一部のアイテムの一意の識別子)と、値(識別されたデータ、またはデータがデータ記憶装置に記憶されている場所へのポインターのいずれか)の組である。キーには、数字シーケンス、英字シーケンス、英数字シーケンス、または数字、文字、及び/またはその他の記号のシーケンスを含めることができるが、これらに限定されない。
【0055】
再び図11Aを参照すると、方法1100は、合成3Dモデルのそれぞれが実際の3Dスキャンされた点群のデータセットと組み合わされてパラメトリック3Dモデルを生成する1107に続く。一例では、実際の(本当の)対象の3Dスキャンされた点群のデータセット(の一部)は、ハンドヘルドスキャナシステム100によって取得することができる。
【0056】
次に1108において、ハンドヘルドスキャナシステムの操作者は、連続的な動きで対象(例えば、個人)をスキャンする。スキャンの前に、追加の物理的特色を対象の実際の表面に追加して、スキャンデータを使用した被写体点群のその後の作成をより適切かつ迅速に行ってもよい。例えば、被写体は、その上に形成された所与の目に見えるパターンを備えたバンドを着用してもよい。バンドは、対象の周囲に外接または延びるように設計されている。バンドは、(a)バンドの上にある対象の一部の可視性、および(b)バンドの下にある対象の一部の可視性を可能にする幅を持っている。バンド(例えば、ベルト)の目に見えるパターンにより、点群データ、形状登録、および3Dポーズ推定での対象認識がより高速かつ正確になる。したがって、追加の物理的特色は、実装装置の機能を改善する。
【0057】
このスキャンの結果として、ハンドヘルドスキャナシステムは、スキャン対象(例えば、人)のレーダー深度データ(例えば、図4のレーダーモジュール416を介して)、光学カメラ深度データ(例えば、図4のカメラ424を介して)、色データ(例えば、図4のカメラ424を介して)、および/またはスペクトルデータ(例えば、図4のカメラ424を介して)を取得するための動作を実行する。取得データは、ハンドヘルドスキャナシステムにローカルな、またはハンドヘルドスキャナシステムから離れたデータ記憶装置(例えば、図1のデータ記憶装置110)に記憶される。これに関して、1108はまた、遠隔データ記憶装置に記憶するために、ネットワーク(例えば、図1のネットワーク108)を介して取得データを遠隔演算装置(例えば、図1および図9の演算装置106)に通信することを含んでもよい。
【0058】
取得データは、1109にて使用され、被写体の3D点群を構築する。本明細書で使用される「点群」という用語は、ある座標系におけるデータ点の組を指す。3D座標系では、これらの点はX、Y、およびZ座標で定義できる。より具体的には、光学キーポイントは、光学データから抽出される。あるシナリオでは、これらのキーポイントは、ORB特色を使用して抽出できるが、これに限定されない。キーポイントにはインデックスが付けられ、スキャンされたすべてのデータを被写体の3D点群に連結するために使用される。これらのキーポイントは、固定座標フレームに対するハンドヘルドスキャナシステム100の位置(回転および並進)を(継続的に)追跡するためにも使用される。キーポイントの数と質はスキャン環境に依存するため、ハンドヘルドスキャナシステム100は十分なキーポイントを収集できず、3D点群を構築できない場合がある。この問題を解決するために、追加のレイヤーを被写体の実際の表面に適用して、キーポイントの量とタイプを保証することができる。このレイヤーは、被写体が着用したり、被写体に投影したりするパターン(ベルト上)にすることができる。
【0059】
1110において、取得データは、スキャン対象が属する一般的な対象クラスまたはカテゴリ(例えば、人間)を識別するために使用される。例えば、画像処理は、画像内の対象を認識し、認識された対象に関する特色情報(例えば、認識された対象の全部または一部の形状および/または認識された対象の色)を画像から抽出するために使用される。対象認識および特色抽出技術は、当技術分野でよく知られている。本明細書では、任意の既知のまたは既知になる対象認識および特色抽出技術を制限なく使用することができる。次に、抽出された特色情報は、複数の一般的な対象クラスまたはカテゴリ(例えば、人間、動物、車両など)を定義する記憶された特色情報と比較される。一致(たとえば、ある程度まで)が存在する場合、対応する一般的な対象クラスまたはカテゴリが1110で識別される。本解決策は、この例の詳細に限定されない。1110の動作は、ハンドヘルドスキャナシステム100および/または遠隔演算装置(例えば、図1および図9の演算装置106)によって実行することができる。
【0060】
次に1112において、初期の3Dモデルは、スキャン対象の同じ一般的な対象クラスまたはカテゴリ(例えば、人間)に属する対象を表す複数のパラメトリック3Dモデルから識別される。様々なタイプのクエリに基づいて複数の3Dモデルから3Dモデルを識別するための方法は、当技術分野で周知であり、本明細書では説明されない。3Dモデルを識別するための任意の既知のまたは既知になる方法を、本明細書で制限なしに使用することができる。そのような方法の1つは、FunkHouserらによって書かれた「3Dモデルの検索エンジン」というタイトルの文書(「FunkHouser」)に記載されている。1112の動作は、ハンドヘルドスキャナシステム100および/または遠隔演算装置(例えば、図1および図9の演算装置106)によって実行することができる。
【0061】
1114では、初期の3Dモデルおよび複数の異なる設定ベクトルが使用され、複数の基準点群を生成する。点群を生成するための方法は、当技術分野でよく知られている。点群を生成するための任意の既知のまたは既知になる方法を、本明細書で制限なしに使用することができる。例示的な基準点群1200が図12に示されている。1114の動作は、ハンドヘルドスキャナシステム100および/または遠隔演算装置(例えば、図1および図9の演算装置106)によって実行することができる。
【0062】
その後、1116において、取得された光学カメラ深度データを使用して、スキャン対象の部分的または全体的な点群(「被写体点群」)が構築される。例示的な被写体点群が図14に示されている。
【0063】
被写体点群は、随意に、1118で示されるレーダー深度データ、1120で示される色データ、および/または1120で示されるスペクトルデータを使用して変更することができる。様々なタイプのカメラベースのデータを使用して点群を変更する方法は、当技術分野でよく知られており、したがって本明細書では説明しない。カメラベースのデータを使用して点群を変更するための任意の既知のまたは既知になる方法を、本明細書で制限なしに使用することができる。1116~1120の動作は、ハンドヘルドスキャナシステム100および/または遠隔演算装置(例えば、図1および図9の演算装置106)によって実行することができる。
【0064】
1118は、被写体点群の精度を向上させるので、重要な動作である。上記のように、GHz周波数は肌の水分に反射するため、レーダーは衣服を「透視」できる。レーダー深度測定値は、装置からレーダー距離が測定されたスキャンされた被写体のスポットまたは領域を識別するために、光学カメラデータに登録される。結果として、最終的にスキャンされた点群は、光学点群に加えて、そのように識別されたレーダースポットを備える。レーダー点群を使用して、対象の身体の3Dレーダー表現を再構築できる。次に、これらのレーダースポットを使用して、対象の少なくとも一部を覆うもの(たとえば、衣料品)で得られた光学点群を変更したり、基準点群(たとえば、人間のモデル)を被写体の実際の形に最もフィットするように変更したりすることもできる。変更された群は、光学群(衣料品を含む)と比較して、被写体の実際の形状(たとえば、衣料品を含まない人間の身体)をより適切に表すため、基準点群を識別および変形する処理が改善され、1122~1132に示すように、より改良された3Dモデルが得られるため、被写体の実際の形状によりよく適合する。ラベル付けされた領域の光学距離とレーダー距離の差をさらに利用して、1134に示すように、スキャン対象の特定の特徴(例えば、胸囲および/または腰囲など)のより正確なメトリックを取得できる。
【0065】
次に、1122において、被写体点群は、複数の基準点群と比較される。基準点群は、これらの比較動作の結果に基づいて1124において識別される。識別された基準点群(例えば、図12の基準点群1200)は、被写体点群に関して最良適合である基準点群である。点群に関する最良適合法は、当技術分野でよく知られている。本明細書では、点群に関して最良適合法を制限なく使用できる。例示の最良適合法は、Bardinetらによって書かれた「コンピュータビジョンと画像の理解」というタイトルの文書、およびCootesによって書かれた「医用画像内の構造を特定するためのアクティブ形状モデルの使用」というタイトルの文書に記載されている。1122~1124の動作は、ハンドヘルドスキャナシステム100および/または遠隔演算装置(例えば、図1および図9の演算装置106)によって実行することができる。また、1122~1124の動作は、あるいは、1118の被写体点群のレーダー変更の前に実行することができる。
【0066】
最良適合の基準点群が特定されると、方法1100は、図11Bの1126に続く。図11Bに示すように、1126は、最良適合の基準点群に関連する設定ベクトルを取得することを含む。その後、初期の3Dモデルは1128において改良された3Dモデルに変換される。改良された3Dモデルは、被写体点群によりよく適合するパラメトリック3Dモデルの例である。この変換は、初期の3Dモデルの変更可能なパラメータ値を設定ベクトルで指定された値に設定することによって実現される。設定された初期の3Dモデルは、その設定ベクトルの外観と形状の変化を記述する。設定された初期の3Dモデルには、意味のあるサブ対象または領域のラベル付けが含まれる。1126~1128の動作は、ハンドヘルドスキャナシステム100および/または遠隔演算装置(例えば、図1および図9の演算装置106)によって実行することができる。
【0067】
1130において、完全な3D表面モデルおよび領域ラベリングは、改良された3Dモデルから得られる。表面モデリング技術は当技術分野で周知であり、したがって本明細書では説明しない。本明細書では、任意の既知または既知になる表面モデリング技術を制限なく使用することができる。いくつかのシナリオでは、表面モデリング機能を備えたCADソフトウェアプログラムが1130で採用される。例示的な表面モデルが図15に示されている。1130の動作は、ハンドヘルドスキャナシステム100および/または遠隔演算装置(例えば、図1および図9の演算装置106)によって実行することができる。
【0068】
スキャン対象の外観は、1132において合成される。合成は、3D表面モジュールを、被写体点群(光学および/またはレーダー群、3Dレーダー再構築群)からの光学データおよび随意にレーダーデータに適合およびマッピングすることによって達成される。本明細書で使用される「適合およびマッピング」という句は、3D表面モデル内の点と被写体点群内の点との間の対応を見つけること、および随意に、3D表面モジュールを被写体点群に最良適合するように変更することを意味する。スキャン対象の特定の特徴(高さ、重量、胸囲、および/または腰囲など)のメトリックは、1134において、改良された3Dモデルの設定ベクトルから取得される。メトリックは、随意に、(a)改良された3Dモデルのラベル付けされた領域に関連付けられたレーダーデータを使用して、および/または(b)1136で示されるように、改良された3Dモデルでラベル付けされた領域の幾何学に基づいて改良される。スキャン対象の合成された外観は、1138に示すように、ハンドヘルドスキャナシステムの操作者および/または別の演算装置(たとえば、図1および図9の演算装置106)のユーザに提示される。いくつかのシナリオでは、スキャン対象の合成された外観は、図15に示される表面モデルと同じである。
【0069】
合成されたスキャン対象の外観および/またはメトリック(未改良および/または改良済)は、随意に、少なくとも1つの他の対象(例えば、シャツまたはズボンの対)へのスキャン対象の幾何学的適合を決定するために、またはスキャン対象に適合する少なくとも1つの他の対象を識別するために、1140で使用され得る。随意の1142では、さらなる情報が、ハンドヘルドスキャナシステムの操作者および/または別の演算装置(例えば、図1および図9の演算装置106)のユーザに提示される。さらなる情報は、決定されたスキャン対象の少なくとも1つの他の対象への幾何学的適合を特定し、および/または少なくとも1つの他の対象の識別情報を備える。たとえば、スキャンされた個人の衣料品の提案は、ハンドヘルドスキャナシステムおよび/または他の演算装置(たとえば、パーソナルコンピュータ、スマートフォン、および/またはリモートサーバー)から出力される。続いて、方法1100が終了する1144が実行されるか、または他の処理が実行される(例えば、1104に戻る)。
【0070】
本解決策は、図11の詳細に限定されない。たとえば、いくつかのシナリオでは、基準点群の近傍が識別される。補間された基準ベクトルは、関連する隣接基準ベクトルの寄与から累積される。初期の3Dモデルは、補間された基準ベクトルを使用して設定される。設定された初期の3Dモデルは、補間された基準ベクトルの外観と形状の変化を記述する。領域のラベル付けは、変換されたサブ領域を引き続き参照する。次に、完全な3D表面モデルと領域のラベル付けが、設定された初期の3Dモデルから取得される。
【0071】
上記の方法1100の以下の動作、すなわち、対象クラスを使用して、複数の3Dパラメトリックモデルから3Dパラメトリックモデルを選択すること、空間ハッシュによって検出された基準点群との設定ベクトルの関連付けを使用して、3Dパラメトリックモデルを検出された非構造化データに適合させる設定ベクトルを見つけること、見つかった設定ベクトルの近傍を使用して、3Dパラメトリックモデルの形状と外観をさらに改良すること、および/または3Dパラメトリックモデルのタグ付き領域の意味情報と同様に外観モデルを返すこと、は、新規であると見なされる。
【0072】
スキャンの適用範囲および効率を改善するための例示的な方法
上記のように、ハンドヘルドスキャナシステム100は、光学およびレーダー技術を利用して、服を着た被写体102をスキャンする。光学カメラ(例えば、図4の光学カメラ424)を使用して、服を着た被写体102の基本形状を決定する。次に、形状情報を使用して、衣料品の背後にあるレーダーセンサ形状のアルゴリズムを最適化し、測定値をより正確に決定できるようにする。
【0073】
操作者が被写体をスキャンしているとき、光学情報を画面上で見ることができる。操作者は、光学情報を使用してスキャナーを被写体上に移動させ、被写体の3D画像を描写できるようにする。ただし、操作者はディスプレイに光学情報を表示できるが、操作者はレーダーセンサデータの品質に関する情報を持っていない。操作者が視覚補助なしで被写体全体にわたって十分な量のレーダーデータを捕捉したかどうかを判断することは困難である。したがって、本解決策は、拡張現実を使用して光学ディスプレイに情報を追加し、レーダーデータの品質を向上させることによって操作者を支援する。
【0074】
ここで図16を参照すると、対象または被写体をスキャンするための改良された方法1600が提供される。方法1600は、図11の1108で実行することができる。方法1600は、図11に示される操作のいくつかまたはすべてを含むことができる。動作は、図16に示されるものと同じまたは異なる順序で実行されてもよい。方法1600では、動作は、概して、ハンドヘルドスキャナシステム(例えば、図1のハンドヘルドスキャナシステム100)によって実行され、スキャン対象のレーダー深度データ、光学カメラ深度データ、色データおよび/またはスペクトルデータを取得する。
【0075】
図16に示すように、方法1600は、1602で始まり、1604に続き、物理的特色が、随意に、対象または被写体の実際の表面に追加される。物理的特色を追加して、スキャンデータを使用した被写体点群のその後の作成をより適切かつ迅速に行うことができる。例えば、被写体は、その上に形成された所与の目に見えるパターンを備えたバンドを着用してもよい。バンドは、対象の周囲に外接または延びるように設計される。バンドは、(a)バンドの上にある対象の一部の可視性、および(b)バンドの下にある対象の一部の可視性を可能にする幅を持っている。バンド(例えば、ベルト)の目に見えるパターンにより、点群データ、形状登録、および3Dポーズ推定での対象認識がより高速かつ正確になる。したがって、追加の物理的特色は、実装装置の機能を改善する。
【0076】
1606において、ハンドヘルドスキャナシステムのスキャン動作が開始される(例えば、物理的または仮想的なボタンの作動を介して)。ハンドヘルドスキャナシステムは、1608によって示されるように、スキャンされる対象を表す光像を表示する。1610において、表示された光像の上にグリッドが重ね合わされる。光像は、3D光像(例えば、人間を表す光像)であってもよい。
【0077】
表示された光像1720の上に重ねられた例示的なグリッド1700の画像が図17に提供されている。グリッド1700は、グリッド領域1710を定義する複数の行1702および複数の列1704を備える。行および列のセルを定義するグリッドの線は、透明なフォーマットで示されている。複数のマーク1712が、グリッド1700の各行、列、および/またはグリッド領域に提供される。マーク1712は、色付きのドットとして示されているが、本解決策は、この点に関して限定されない。マーク1712は、任意の形状および/または色を有することができる。マーク1712の形状および/または色は、被写体の対応する領域のレーダーデータが正常に取得されたときに選択的に変更することができる。たとえば、被写体の対応する場所のレーダー情報がまだ取得されていない場合、マークは暗い色(たとえば、黒)で示される。被写体の対応する場所のレーダー情報が正常に取得されると、マークは中程度または明るい色(たとえば、緑または白)で示される。本解決策は、この例の詳細に限定されない。
【0078】
随意に、複数の基準点群からの基準点群は、スキャンされた被写体の基本情報(例えば、人間のスキャンのための高さおよび重量)に基づいて識別され得、次いで、蓄積された光学群は、基準点群に位置合わせして、関心領域(レーダースキャンが必要な領域)、スキャン方向と装置の向きなどに関する情報を含むがこれらに限定されない、操作者をガイドするのに役立つフィードバックと情報を提供する。3D(光学)点群を基準点群へ位置合わせする方法は、当技術分野で周知である。そのような方法の1つは、反復最接近点(「ICP」)アルゴリズムである。
【0079】
再び図16を参照すると、ハンドヘルドスキャナシステムと対象との間の距離を示す情報はまた、随意に、1612において光像の上に重ね合わされる。光像1720の上に重ねられた例示的な距離情報1708の画像が図17に提供されている。表示された光像1720、グリッド1700および/または距離情報1708は、スキャン処理を支援するために、ハンドヘルドスキャナシステム100の操作者によって使用される。
【0080】
次に、1614において、動作は、ハンドヘルドスキャナシステムによって実行され、ハンドヘルドスキャナシステムがスキャン目的で対象上のどこを指しているかを決定する。1604に追加された物理的特色は、この決定を容易にすることができる。この決定が行われると、グリッドの第1のマークは、1616で示されるように、ハンドヘルドスキャナシステムが現在指している対象上の位置に対応するマークとして識別される。第1のマークの少なくとも1つの視覚的特徴(たとえば、サイズおよび/または色)は、1618において変更される。
【0081】
対象に対するハンドヘルドスキャナシステムのポインティング方向を示すように変更されたマーク1706を示す画像が、図17に提供されている。図17に示すように、マーク1706は、グリッド1700の他のマークと視覚的に区別できるように、拡大され、比較的明るい色(例えば、緑または白)で示されている。本解決策は、この例の詳細に限定されない。マーク1706は、代替的または追加的に、他のマークとは異なる色を有するように、および/または他のマークとは異なる形状を有するように変更することができる。
【0082】
再び図16を参照すると、方法1600は、1620に続き、対象がスキャンされているときに、対象のレーダー深度データ、光学カメラ深度データ、色データ、および/またはスペクトルデータがハンドヘルドスキャナシステムによって取得される。レーダーデータは1622において分析され、1620においてレーダー深度データが正常に取得された対象上の位置に対応するグリッドの第2のマークを識別する。第2のマークの少なくとも1つの視覚的特徴(色など)が、1624において変更される。変更された第2のマーク1714を示す画像が、図17に提供されている。図17に示すように、第2のマーク1714の色は、暗い色(例えば、黒)から明るい色(例えば、灰色または緑)に変更されている。追加のマーク1716もグリッドに追加されて、対象の所与の領域についてのレーダー深度データ取得の成功を示している。本解決策は、図17の詳細に限定されない。
【0083】
次に、図16の1626において、十分な量のレーダー深度データが取得されているかについて、決定がなされる。その場合(1626においてYESの場合)、1630が実行され、方法1600が終了するか、他の処理が実行される。
【0084】
そうでない場合(1626においてNOの場合)、1628が実行され、第1のマークの視覚的特徴が以前の設定に変更される。たとえば、第1のマークのサイズが縮小されたり、第1のマークの色が暗い色に戻されたりして、第1のマークが他のマークと区別できなくなる。ハンドヘルドスキャナシステムがポインティング方向を変更してから、1628において第1のマークの視覚的特徴が変更されるまで、時間の遅れが生じる場合がある。これは、所与の期間におけるハンドヘルドスキャナシステムの動きを操作者に示すのに役立つ。続いて、方法1600は、1614に戻り、スキャン処理を対象の別の領域から繰り返すことができるようにする。
【0085】
ここで、図18および図19を参照すると、対象上の対応する位置についてレーダーデータが正常に取得されたことを示すために変更されたマークの数が増加したグリッド1700を示す図が提供されている。
【0086】
被写体が完全にスキャンされると、光学データを使用して、図11に関連して上記で論じたように、服を着た人の3D画像を作成する。この光学3D再構成は、グリッド情報に依存しない。次に、レーダー情報を使用して、衣料品のアウトライン内(背後)に新しい3D画像を作成する。グリッド支援スキャンは、より高密度で一貫性のあるレーダーパターンを作成する。レーダーパターンは、測定精度を大幅に向上させる、より正確な身体画像を作成するために使用される。
【0087】
図20は、3D点群を示す。第1の点群2000は、光学データから作成された情報を表す。第2の点群2002は、レーダーセンサから作成された情報を表す。第3の点群2004は、光学データとレーダーデータの両方から作成された情報を表す。第1点群と第3点群の分離は、衣料品の線と肌の線をはっきりと示す。
【0088】
本解決策は、1つまたは複数の実装に関して図示および説明されてきたが、本明細書および添付の図面を読んで理解すると、同等の変更および変更が当業者に生じる。さらに、本解決策の特定の特色は、いくつかの実装のうちの1つに関してのみ開示され得るが、そのような特色は、他の実装の1つまたは複数の他の特色と、任意の所与のまたは特定の用途に対して所望かつ有利であるように組み合わせることができる。したがって、本解決策の幅および範囲は、上記の実施形態のいずれによっても限定されるべきではない。むしろ、本解決策の範囲は、以下の特許請求の範囲およびそれらの同等物に従って定義されるべきである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図12
図13
図14
図15
図16
図17
図18
図19
図20