特表 2023-526196 ユーザの自動識別のための電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-21

(54)【発明の名称】ユーザの自動識別のための電子デバイス

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230614BHJP

   G06V 40/10 20220101ALI20230614BHJP

【ＦＩ】

G06T7/00 510B

G06V40/10

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022567905

(86)(22)【出願日】2021-06-28

(85)【翻訳文提出日】2022-11-08

(86)【国際出願番号】 US2021039327

(87)【国際公開番号】W WO2022005945

(87)【国際公開日】2022-01-06

(31)【優先権主張番号】16/914,809

(32)【優先日】2020-06-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506329306

【氏名又は名称】アマゾン テクノロジーズ インコーポレイテッド

(74)【代理人】

【識別番号】100106541

【弁理士】

【氏名又は名称】伊藤 信和

(72)【発明者】

【氏名】ラウ ホーウィー ホー ワイ

(72)【発明者】

【氏名】リー ジェニファー

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA09

5B043BA01

(57)【要約】

本開示は、ユーザに関連付けられた生体認証データを受信するときに命令を提供するための技術を記載する。例えば、電子デバイスは、手などの、ユーザの一部分を検出し得る。次いで、電子デバイスは、電子デバイスに対するユーザの一部分の場所を判定し得る。この場所に基づいて、電子デバイスは、視覚インジケータに、電子デバイスに対する目標場所にユーザの一部分を配置するための、ユーザに対する命令を提供させ得る。例えば、視覚インジケータは、ユーザの一部分が中心から外れている、角度が付けられている、低すぎる、及び／又は高すぎることを示す光を放射し得る。命令を提供し、ユーザの一部分が目標場所にあると判定した後、電子デバイスは、ユーザの一部分の少なくとも画像をキャプチャし、その画像を使用してアカウントを識別し得る。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

電子デバイスであって、
１つ以上のセンサと、
視覚インジケータと、
１つ以上のプロセッサと、
命令を記憶している１つ以上のコンピュータ可読媒体と、を備え、前記命令は、前記１つ以上のプロセッサによって実行されると、前記電子デバイスに、
前記１つ以上のセンサを使用して第１のセンサデータを生成することと、
前記第１のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が前記電子デバイスに対する第１の場所に位置していることを判定することと、
前記第１の場所に関連付けられた、視覚インジケータの第１の部分を識別することと、
第１の時間に、前記視覚インジケータの前記第１の部分に、前記ユーザの前記一部分が前記第１の場所に位置していることを示す第１の指標を出力させることと、
前記１つ以上のセンサを使用して第２のセンサデータを生成することと、
前記第２のセンサデータに少なくとも部分的に基づいて、前記ユーザの前記一部分が、前記電子デバイスに対する目標場所に位置していることを判定することと、
第２の時間に、前記視覚インジケータの前記第１の部分に、前記ユーザの前記一部分が前記目標場所に位置していることを示す第２の指標を出力させることと、
前記第２の時間に、前記視覚インジケータの第２の部分に、前記ユーザの前記一部分が前記目標場所に位置していることを示す第３の指標を出力させることと、を含む動作を実施させる、電子デバイス。

【請求項2】

前記第１のセンサデータを生成することは、
前記１つ以上のセンサのうちの第１のセンサを使用して、前記第１のセンサデータの第１の部分を生成することであって、前記第１のセンサは前記電子デバイスに対する前記第１の場所に関連付けられている、生成することと、
前記１つ以上のセンサのうちの第２のセンサを使用して、前記第１のセンサデータの第２の部分を生成することであって、前記第２のセンサは前記電子デバイスに対する第２の場所に関連付けられている、生成することと、を含み、
前記ユーザの前記一部分が前記電子デバイスに対する前記第１の場所に位置していることを判定することは、
前記第１のセンサデータの前記第１の部分に少なくとも部分的に基づいて、前記第１のセンサが前記ユーザの前記一部分を検出したことを判定することと、
前記第１のセンサデータの前記第２の部分に少なくとも部分的に基づいて、前記第２のセンサが前記ユーザの前記一部分を検出しなかったことを判定することと、を含む、請求項１に記載の電子デバイス。

【請求項3】

前記第２のセンサデータを生成することは、
前記１つ以上のセンサのうちの第１のセンサを使用して、前記第２のセンサデータの第１の部分を生成することであって、前記第１のセンサは前記電子デバイスに対する前記第１の場所に関連付けられている、生成することと、
前記１つ以上のセンサのうちの第２のセンサを使用して、前記第２のセンサデータの第２の部分を生成することであって、前記第２のセンサは前記電子デバイスに対する第２の場所に関連付けられている、生成することと、を含み、
前記ユーザの前記一部分が前記電子デバイスに対する前記目標場所に位置していることを判定することは、
前記第２のセンサデータの前記第１の部分に少なくとも部分的に基づいて、前記第１のセンサが前記ユーザの前記一部分を検出したことを判定することと、
前記第２のセンサデータの前記第２の部分に少なくとも部分的に基づいて、前記第２のセンサが前記ユーザの前記一部分を検出したことを判定することと、を含む、請求項１又は２に記載の電子デバイス。

【請求項4】

前記動作は、
前記第１のセンサデータに少なくとも部分的に基づいて、前記ユーザの前記一部分が前記電子デバイスに対する第２の場所の外側に位置していることを判定することと、
前記第１の時間に、前記視覚インジケータの前記第２の部分に、前記ユーザの前記一部分が前記第２の場所の外側に位置していることを示させることと、を更に含む、請求項１、２、又は３に記載の電子デバイス。

【請求項5】

前記視覚インジケータの前記第１の部分に、前記ユーザの前記一部分が前記第１の場所に位置していることを示す前記第１の指標を出力させることは、前記第１の時間に、前記視覚インジケータの前記第１の部分に、第１の光を出力させることを含み、
前記視覚インジケータの前記第２の部分に、前記ユーザの前記一部分が前記第２の場所の外側に位置していることを示させることは、前記第１の時間に、前記視覚インジケータの前記第２の部分に、第２の光の出力を控えさせることを含む、請求項４に記載の電子デバイス。

【請求項6】

前記動作は、
前記１つ以上のセンサを使用して第３のセンサデータを生成することと、
前記第３のセンサデータに少なくとも部分的に基づいて、前記ユーザの前記一部分に関連付けられた角度が目標角度の外側にあることを判定することと、
第３の時間に、前記視覚インジケータに、前記ユーザの前記一部分に関連付けられた前記角度が前記目標角度の外側にあることを示す第４の指標を出力させることと、を更に含む、請求項１、２、３、４、又は５に記載の電子デバイス。

【請求項7】

前記視覚インジケータに、前記ユーザの前記一部分に関連付けられた前記角度が前記目標角度の外側にあることを示す前記第４の指標を出力させることは、
前記第３の時間に、前記視覚インジケータの第３の部分に、第１の光色を出力させることと、
前記第３の時間に、前記視覚インジケータの第４の部分に、前記第１の光色とは異なる第２の光色を出力させることと、を含む、請求項６に記載の電子デバイス。

【請求項8】

前記動作は、
前記１つ以上のセンサを使用して第３のセンサデータを生成することと、
前記第３のセンサデータに少なくとも部分的に基づいて、前記ユーザの前記一部分が、前記電子デバイスへの目標垂直距離の外側に位置していることを判定することと、
第３の時間に、前記視覚インジケータに、前記ユーザの前記一部分が前記目標垂直距離の外側に位置していることを示す第４の指標を出力させることと、を更に含む、請求項１、２、３、４、５、６、又は７に記載の電子デバイス。

【請求項9】

前記視覚インジケータは、複数の光放射体を有する光リングを備え、
前記視覚インジケータの前記第１の部分に、前記ユーザの前記一部分が前記第１の場所に位置していることを示す前記第１の指標を出力させることは、
前記光放射体の第１の部分に、第１の光を放射させることであって、前記光放射体の前記第１の部分が前記第１の場所に関連付けられている、放射させることと、
前記光放射体の第２の部分に、第２の光の放射を控えさせることであって、前記光放射体の前記第２の部分が前記電子デバイスに対する第２の場所に関連付けられている、控えさせることと、を含む、請求項１、２、３、４、５、６、７、又は８に記載の電子デバイス。

【請求項10】

少なくとも１つのスピーカを更に備え、前記動作が、前記第２のセンサデータを生成する前に、前記少なくとも１つのスピーカを使用して、前記ユーザの前記一部分を前記目標場所に配置するための命令に関連付けられた音を出力することを更に含む、請求項１、２、３、４、５、６、７、８、又は９に記載の電子デバイス。

【請求項11】

前記動作は、
前記１つ以上のセンサを使用して画像データを生成することと、
ユーザプロファイルに関連付けられた第２の特徴データを参照して、前記画像データに対応する第１の特徴データを分析することと、
前記画像データが前記ユーザプロファイルに対応すると判定することと、を更に含む、請求項１、２、３、４、５、６、７、８、９、又は１０に記載の電子デバイス。

【請求項12】

方法であって、
電子デバイスを使用して第１のセンサデータを生成することと、
前記第１のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が前記電子デバイスに対する第１の場所に位置していることを判定することと、
前記第１の場所に関連付けられた、視覚インジケータの第１の部分を識別することと、
第１の時間に、前記視覚インジケータの前記第１の部分に第１の指標を出力させることと、
前記１つ以上のセンサを使用して第２のセンサデータを生成することと、
前記第２のセンサデータに少なくとも部分的に基づいて、前記ユーザの前記一部分が、前記電子デバイスに対する第２の場所に位置していることを判定することと、
前記第２の場所に関連付けられた、前記視覚インジケータの前記第１の部分を識別することと、
第２の時間に、前記視覚インジケータの前記第１の部分に第２の指標を出力させることと、
前記第２の場所に関連付けられた、前記視覚インジケータの第２の部分を識別することと、
前記第２の時間に、前記視覚インジケータの前記第２の部分に第３の指標を出力させることと、を含む、方法。

【請求項13】

前記第１のセンサデータを生成することは、
前記電子デバイスの第１のセンサを使用して前記第１のセンサデータの第１の部分を生成することであって、前記第１のセンサは、前記電子デバイスに対する前記第１の場所に関連付けられている、生成することと、
前記電子デバイスの第２のセンサを使用して前記第１のセンサデータの第２の部分を生成することであって、前記第２のセンサは、前記電子デバイスに対する第３の場所に関連付けられている、生成することと、を含み、
前記ユーザの前記一部分が前記電子デバイスに対する前記第１の場所に位置していることを判定することは、
前記第１のセンサデータの前記第１の部分に少なくとも部分的に基づいて、前記第１のセンサが前記ユーザの前記一部分を検出したことを判定することと、
前記第１のセンサデータの前記第２の部分に少なくとも部分的に基づいて、前記第２のセンサが前記ユーザの前記一部分を検出しなかったことを判定することと、を含む、請求項１２に記載の方法。

【請求項14】

前記第２のセンサデータを生成することは、
前記電子デバイスの第１のセンサを使用して前記第２のセンサデータの第１の部分を生成することであって、前記第１のセンサは、前記電子デバイスに対する前記第１の場所に関連付けられている、生成することと、
前記電子デバイスの第２のセンサを使用して前記第２のセンサデータの第２の部分を生成することであって、前記第２のセンサは、前記電子デバイスに対する第３の場所に関連付けられている、生成することと、を含み、
前記ユーザの前記一部分が前記電子デバイスに対する前記第２の場所に位置していることを判定することは、
前記第２のセンサデータの前記第１の部分に少なくとも部分的に基づいて、前記第１のセンサが前記ユーザの前記一部分を検出したことを判定することと、
前記第２のセンサデータの前記第２の部分に少なくとも部分的に基づいて、前記第２のセンサもまた前記ユーザの前記部分を検出したことを判定することと、を含む、請求項１２又は１３に記載の方法。

【請求項15】

前記第１のセンサデータに少なくとも部分的に基づいて、前記ユーザの前記一部分が前記電子デバイスに対する第３の場所の外側に位置していることを判定することと、
前記第１の時間に、前記視覚インジケータの前記第２の部分に、前記ユーザの前記一部分が前記第２の場所の外側に位置していることを示させることと、を更に含む、請求項１２、１３、又は１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年６月２９日に出願された「ＥＬＥＣＴＲＯＮＩＣ ＤＥＶＩＣＥ ＦＯＲ ＡＵＴＯＭＡＴＥＤ ＵＳＥＲ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ」と題された米国特許出願第１６／９１４，８０９号の優先権を主張し、その全内容は参照により本明細書に組み込まれる。

【背景技術】

【0002】

小売業者、卸売業者、及び他の製品販売業者は、多くの場合、レジ又は専用のセルフチェックアウトスタンドを使用して、顧客との取引を確定する実店舗を管理している。これらの従来のチェックアウトプロセスの間、顧客は、クレジットカード又はデビットカード、運転免許証、電話などの支払い又は識別のための物理的な対象物を携帯し、使用しなければならない場合がある。将来的に、実店舗は、様々なタイプのセンサを利用して、レジなし又は専用のセルフチェックアウトスタンドなしでユーザが商品を取得し、支払いを行うことを可能にし得る。いくつかの例では、物理的な対象物の使用を必要としない方法を使用して顧客を識別し、顧客が実店舗から取り出した商品に対して適切な顧客アカウントに請求することが望ましい場合がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公報２０１３－０２０５７７号公報

【図面の簡単な説明】

【0004】

詳細な説明が、添付図を参照して記載される。各図において、参照番号の左端数字は、参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、類似又は同一の項目又は特徴を示す。

【0005】

【図1A】生体認証データをキャプチャする際に命令を提供するための例示的なプロセスを集合的に示す。

【図1B】生体認証データをキャプチャする際に命令を提供するための例示的なプロセスを集合的に示す。

【図2A】生体認証認識技術を使用してユーザを識別するために使用され得る電子デバイスの様々な例を示す。

【図2B】生体認証認識技術を使用してユーザを識別するために使用され得る電子デバイスの様々な例を示す。

【図2C】生体認証認識技術を使用してユーザを識別するために使用され得る電子デバイスの様々な例を示す。

【図2D】生体認証認識技術を使用してユーザを識別するために使用され得る電子デバイスの様々な例を示す。

【図2E】生体認証認識技術を使用してユーザを識別するために使用され得る電子デバイスの様々な例を示す。

【図3A】手を水平方向に中央に置く命令を提供する電子デバイスの様々な例を示す。

【図3B】手を水平方向に中央に置く命令を提供する電子デバイスの様々な例を示す。

【図3C】手を水平方向に中央に置く命令を提供する電子デバイスの様々な例を示す。

【図3D】手を水平方向に中央に置く命令を提供する電子デバイスの様々な例を示す。

【図4A】手に角度を付ける命令を提供する電子デバイスの様々な例を示す。

【図4B】手に角度を付ける命令を提供する電子デバイスの様々な例を示す。

【図4C】手に角度を付ける命令を提供する電子デバイスの様々な例を示す。

【図4D】手に角度を付ける命令を提供する電子デバイスの様々な例を示す。

【図5A】電子デバイスが生体認証データをキャプチャできるようにユーザの手を配置するための目標場所の例を示す。

【図5B】電子デバイスが生体認証データをキャプチャできるようにユーザの手を配置するための目標場所の例を示す。

【図5C】電子デバイスが生体認証データをキャプチャできるようにユーザの手を配置するための目標場所の例を示す。

【図5D】電子デバイスが生体認証データをキャプチャできるようにユーザの手を配置するための目標場所の例を示す。

【図6】手のひらの中心を識別するために手を分析する例を示す。

【図7】ユーザがユーザ認識システムに登録したいことを判定する電子デバイスを含む例示的な環境を示す。

【図8】ユーザ認識システムの機能の少なくとも一部分をサポートするように構成された１つ以上のサーバのブロック図を含む例示的な環境、並びにユーザ認識システムにユーザを登録するための、システム内のデータの流れの例を示す。

【図9】ユーザ認識システムの機能の少なくとも一部分をサポートするように構成された１つ以上のサーバのブロック図を含む例示的な環境、並びにユーザ認識システムのユーザを識別するための、潜在的にはユーザの登録を更新するための、システム内のデータの流れの例を示す。

【図10】ユーザ認識システムの機能の少なくとも一部分をサポートするように構成された電子デバイスの例示的なコンポーネントを示す。

【図11A】電子デバイスに対する目標場所に手を配置することに関連付けられた命令を提供するための、例示的なプロセスのフロー図を集合的に示す。

【図11B】電子デバイスに対する目標場所に手を配置することに関連付けられた命令を提供するための、例示的なプロセスのフロー図を集合的に示す。

【図12】電子デバイスに対する目標場所にユーザの一部分を配置することに関連付けられた命令を提供するための、例示的なプロセスのフロー図を示す。

【図13】センサと、センサデータを使用して施設内で発生するイベントに関する出力を生成するように構成された在庫管理システムと、を含む例示的なマテリアルハンドリング施設のブロック図である。

【図14】施設の運用をサポートするように構成された１つ以上のサーバのブロック図を示す。

【発明を実施するための形態】

【0006】

本開示は、生体認証認識技術を使用してユーザを識別するための電子デバイスを対象とする。例えば、電子デバイスは、電子デバイスに対する目標場所に手を配置するようにユーザを誘導する視覚インジケータを含むことができる。ユーザを誘導するために、電子デバイスは、電子デバイスに対する手の場所を決定する１つ以上の距離センサ及び／又は撮像デバイスなどの１つ以上のセンサを含むことができる。次に、電子デバイスは、視覚インジケータに、目標場所に手を移動させるための、ユーザに対する命令を提供させることができる。目標場所に到達すると、電子デバイスは、撮像デバイスを使用して、手を表す（例えば、手のひらを表す）画像データを生成することができる。次いで、電子デバイスは、この画像データを使用して生成された特徴データを分析して、ユーザのアカウントと関連付けて記憶されたデータに関してユーザを識別することができる。

【0007】

より詳細には、電子デバイスは、電子デバイスに対する目標場所に手を配置するようにユーザに指示する視覚インジケータを含んでもよい。本明細書に記載されるように、電子デバイスに対する目標場所は、電子デバイスに対する目標垂直距離（例えば、ｚ方向）、及び電子デバイスに対する目標水平場所（例えば、ｘ方向及びｙ方向）の両方を含んでよい。いくつかの例では、目標垂直距離は、電子デバイスの上方８～５ミリメートルなど、電子デバイスの上方の距離に関連付けられてよい。ただし、他の例では、目標垂直距離は、電子デバイスの上方の任意の他の距離に関連付けられてよい。加えて、いくつかの例では、目標水平場所は、ｘ方向及びｙ方向の両方で、電子デバイスの中央に関連付けられてよい。

【0008】

場合によっては、目標垂直距離及び／又は目標水平場所はまた、生体認証データをキャプチャするときにいくつかのオフセットを可能にし得る。例えば、目標垂直距離は、手が電子デバイスの上方の範囲内（例えば、電子デバイスの上方７５ミリメートル～９５ミリメートル）に位置することを可能にし得る。加えて、目標水平場所は、手がｘ方向にある距離（例えば、２０ミリメートル）だけオフセットされること、及び／又はｙ方向にある距離（例えば、２０ミリメートル）だけオフセットされることを可能にし得る。場合によっては、ｘ方向の距離は、ｙ方向の距離と同じである。他の例では、ｘ方向の距離は、ｙ方向の距離とは異なる。

【0009】

場合によっては、視覚インジケータは、電子デバイスの表面上にパターンで配列された光放射体を含み得る。パターンには、円、三角形、正方形、五角形、六角形、及び／又は任意の他のパターンが挙げられ得るが、これらに限定されない。例えば、視覚インジケータは、電子デバイスの表面上に位置する光リングを含んでよい。追加的又は代替的に、場合によっては、視覚インジケータは、電子デバイスの表面上のパターンのような形状の表示部を含んでよい。いずれの場合においても、電子デバイスは、視覚インジケータを使用して、電子デバイスに対する目標場所にユーザの手を配置するための、ユーザに対する命令を提供する。

【0010】

例えば、電子デバイスは、最初に、視覚インジケータに、電子デバイスがユーザの手を検出していないという第１の視覚的指標を提供させてよい。場合によっては、この第１の視覚的指標は、オフになっている視覚インジケータを含み得る。例えば、視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第１の視覚的指標は、光放射体に光の放射を控えさせることを含んでよい。追加的又は代替的に、場合によっては、第１の視覚的指標は、特定の色、パターン、及び／又は光の明るさを出力する視覚インジケータを含んでよい。例えば、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第１の視覚的指標は、光放射体に白色などの特定の色の光を放射させることを含んでよい。

【0011】

第１の視覚的指標を表示している間、電子デバイスは、距離センサ及び／又は撮像デバイス（例えば、カメラ）を使用して、ユーザの手を検出し得る。次いで、電子デバイスは、距離センサ及び／又は撮像デバイスを使用して、電子デバイスに対する手の場所を判定し得る。場合によっては、電子デバイスは、設定された時間間隔でユーザの手の場所を判定してもよい。例えば、電子デバイスは、ミリ秒、秒、及び／又は同様の時間ごとにユーザの手の場所を判定してもよい。場合によっては、電子デバイスが撮像デバイスを使用して場所を判定しているときなどに、電子デバイスは、画像データによって表される各フレーム、画像データによって表される１つおきのフレーム、画像データによって表される５つおきのフレーム、及び／又は同様のものを使用して、手の場所を判定してもよい。

【0012】

場合によっては、電子デバイスは、最初に、電子デバイスに対する手の垂直距離を判定し得る。例えば、電子デバイスは、距離センサを使用して垂直距離を判定し得る。次いで、電子デバイスは、目標垂直距離に対する手の垂直距離を分析し得る。例えば、電子デバイスは、手の垂直距離が目標垂直距離に関連付けられた垂直範囲内にあるかどうかを判定し得る。電子デバイスが、手の垂直距離が電子デバイスの目標垂直距離の外側にある（例えば、垂直範囲よりも低い又は高い）と判定した場合、電子デバイスは、視覚インジケータを使用してユーザに対する命令を提供し得る。

【0013】

第１の例では、電子デバイスが、ユーザの手までの垂直距離が目標垂直距離よりも大きいと判定した場合、次いで電子デバイスは、視覚インジケータに、手が高すぎるという第２の視覚的指標を提示させてよい。場合によっては、第２の視覚的指標は、光パターンを点滅させる視覚インジケータを含んでよい。例えば、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第２の視覚的指標は、光放射体に所与の周波数で光を振動させることを含んでよい。追加的又は代替的に、場合によっては、第２の視覚的指標は、特定の色及び／又は明るさの光を出力する視覚インジケータを含んでよい。例えば、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第２の視覚的指標は、光放射体に赤色などの特定の色の光を放射させることを含んでよい。

【0014】

第２の例では、電子デバイスが、ユーザの手までの垂直距離が目標垂直距離よりも小さいと判定した場合、次いで電子デバイスは、視覚インジケータに、手が低すぎるという第３の視覚的指標を提示させてよい。場合によっては、第３の視覚的指標は、特定の色の光を出力する視覚インジケータを含んでよい。例えば、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第３の視覚的指標は、光放射体に赤色などの特定の色の光を放射させることを含んでよい。追加的又は代替的に、場合によっては、第３の視覚的指標は、パターンを点滅させる、かつ／又は光の明るさを変更する視覚インジケータを含んでよい。例えば、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第３の視覚的指標は、光放射体に所与の周波数で振動させることを含んでよい。追加的又は代替的に、場合によっては、

【0015】

電子デバイスは、電子デバイスが、手の垂直距離が目標垂直距離にある（例えば、垂直範囲内にある）と判定するまで、これらのプロセスを実施し続け得る。場合によっては、この判定に基づいて、電子デバイスは、視覚インジケータに、手が目標垂直場所に位置していることを示す第４の視覚的指標を提示させてよい。場合によっては、第４の視覚的指標は、特定の色の光を出力する視覚インジケータを含んでよい。例えば、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第４の視覚的指標は、光放射体に青色などの特定の色の光を放射させることを含んでよい。追加的又は代替的に、場合によっては、第４の視覚的指標は、光パターンを点滅させる、かつ／又は光の明るさを変更する視覚インジケータを含んでよい。例えば、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第４の視覚的指標は、光放射体に所与の周波数で光を振動させることを含んでよい。

【0016】

次に、電子デバイスは、手（例えば、手のひら）を電子デバイス上の中央に置くための、ユーザに対する命令を提供してよい。例えば、電子デバイスは、電子デバイスに対する手の水平場所を判定してよい。場合によっては、電子デバイスは、距離センサを使用して水平場所を判定する。例えば、各距離センサは、電子デバイス上のそれぞれの水平場所（例えば、水平位置）に関連付けられ得る。例えば、電子デバイスが８つの距離センサを含む場合、第１の距離センサは前部場所に関連付けられ得、第２の距離センサは前部右側場所に関連付けられ得、第３の距離センサは右側場所に関連付けられ得、第４の距離センサは後部右側場所に関連付けられ得、第５の距離センサは後部場所に関連付けられ得、第６の距離センサは後部左側場所に関連付けられ得、第７の距離センサは左側場所に関連付けられ得、第８の距離センサは前部左側場所に関連付けられ得る。この例では、前部／後部はｙ方向に関連付けられ得、左側／右側はｘ方向に関連付けられ得る。

【0017】

次いで、電子デバイスは、距離センサを使用して、電子デバイスに対する手の水平場所を判定してよい。第１の例では、電子デバイスは、第７の距離センサのみ（並びに／又は第６の距離センサ、第７の距離センサ、及び第８の距離センサのみ）が手を検出する場合に、手の水平場所が目標水平場所の左側にあると判定してよい。第２の例では、電子デバイスは、第１の距離センサのみ（並びに／又は第１、第２、及び第８の距離センサのみ）が手を検出する場合に、手の水平場所が目標水平場所の前方にあると判定してよい。更に、第３の例では、電子デバイスは、全ての距離センサが手を検出する場合に、手の水平場所が目標水平場所にあると判定してよい。

【0018】

追加的又は代替的に、場合によっては、電子デバイスは、撮像デバイスを使用してユーザの手の水平場所を判定してもよい。例えば、以下でより詳細に記載されるように、電子デバイスは、１つ以上の訓練されたモデルを使用して、ユーザの手を描写する画像データを使用して特徴データを生成し得る。特徴データは、限定されないが、手のひらの様々な場所、手のひらの中心の場所、指の場所（例えば、指の開始、指の関節の場所、指間の交わる部分など）、親指の場所、手の方向、手の姿勢、手の配向、及び／又は手に関連付けられた任意の他の属性など、手に関連付けられた少なくとも属性を示し得る。特徴データを使用して、電子デバイスは、電子デバイスに対するユーザの手の水平場所を判定し得る。例えば、電子デバイスは、手のひらの中心を使用して、撮像コンポーネントに対するユーザの手の水平場所を判定し得る。

【0019】

電子デバイスは、ユーザに対する命令を提供して、ユーザが目標水平場所に手を配置するのを助けてもよい。例えば、手の水平場所が目標水平場所の側面（例えば、左側）にある場合、電子デバイスは、視覚インジケータに、手が目標水平場所の側面にあることを示す第５の視覚的指標を提示させてもよい。第１の例では、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第５の視覚的指標には、側面上に位置する光放射体に光を放射させる一方で、側面上に位置しない光放射体には光の放射を控えさせることが含まれてよい。第２の例では、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第５の視覚的指標には、側面上に位置する光放射体に第１の色の光（例えば、青色）を放射させる一方で、側面上に位置しない光放射体には第２の異なる色の光（例えば、赤色）を放射させることが含まれてよい。

【0020】

場合によっては、電子デバイスが、目標水平場所に手を配置するためのユーザに対する命令を提供している間、電子デバイスはまた、ユーザが電子デバイスに対してほぼ平坦（例えば、水平）に手を維持するのを助ける命令を提供してもよい。例えば、指などの手の一部分が、目標垂直距離の外側にある場合、電子デバイスは、視覚インジケータに、手の一部分が低すぎる又は高すぎるという第６の視覚的指標を提示させ得る。第１の例では、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第６の視覚的指標には、手の部分が位置する側に位置する光放射体に光の放射を控えさせる一方で、その側に位置しない光放射体には光を放射させることが含まれてよい。第２の例では、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第６の視覚的指標には、手の部分が位置する側に位置する光放射体に第１の色の光（例えば、赤色）を放射させる一方で、その側に位置しない光放射体には第２の異なる色の光（例えば、青色）を放射させることが含まれてよい。

【0021】

電子デバイスは、電子デバイスがユーザの手が目標場所（例えば、目標垂直距離及び目標水平場所）に近接していることを検出するまで、ユーザに対する命令を提供し続けてよい。電子デバイスが、ユーザの手が目標場所に近接して位置していることを検出した後、電子デバイスは、視覚インジケータに、手が目標場所に位置していることを示す第７の視覚的指標を提示させてよい。例えば、ここで再び視覚インジケータが電子デバイスの表面上に一定のパターンで配列された光放射体を含む場合、第７の視覚的指標には、光放射体にある色の光、ある光パターン、又は光の明るさを放射させることが含まれてよい。更に、ユーザがユーザ認識システムに既に登録している場合では、ユーザ認識システムは、ユーザに関連付けられたユーザプロファイルを識別するために、本明細書に記載のプロセスを実施し得る。ユーザがまだユーザ認識システムに登録していない場合、電子デバイスは、ユーザ認識システムに登録するための追加情報を受信するための１つ以上の追加命令を提供し得る。

【0022】

例えば、以下に記載されるように、ユーザは、様々な生体認証に基づく認識技術を利用するユーザ認識システムに登録してもよく、これによりユーザは、ＩＤカードを示す、又はユーザの個人電話にアクセスするなどの従来の形態の身分証明を携行又は使用することなく、識別され得る。ユーザ認識システムは、マテリアルハンドリング施設（又は「施設」）における従来のチェックアウトエクスペリエンスを、施設に登録されたユーザが選んだ商品の購入を適切なユーザアカウントに課金することによって自動化するためなどの様々な目的で、登録されたユーザを認識又は識別することができる。

【0023】

１つの用例では、本システム及び技術は、在庫管理システムを含み得るか又はそれにアクセスし得る、マテリアルハンドリング施設内のユーザを認識又は識別するために使用される。在庫管理システムは、商品、ユーザ、施設の状態などに関する情報を維持するように構成されてもよい。例えば、在庫管理システムは、特定のユーザがどの商品を選択又は返却するか、特定のユーザの場所など、施設内で発生する異なるイベントの結果を示すデータを維持し得る。

【0024】

在庫管理システムの動作は、１つ以上のセンサによって取得されたセンサデータによってサポートされ得る。センサデータは、カメラなどの撮像デバイスによって取得された画像データ、無線周波数タグから取得された情報、重量センサなどを含み得る。例えば、在庫管理システムは、在庫場所から除去された商品、及び商品を除去したユーザを自動的に識別し得る。これに応答して、在庫管理システムは、ユーザの仮想ショッピングカートを自動的に更新し得る。

【0025】

従来、ユーザが買い物セッションを終了すると、ユーザはレジ係に商品をスキャンさせるか、専用のセルフチェックアウトスタンドを使用することにより、商品の支払いを行わなければならない。本明細書に記載される技術は、ユーザ認識システムの使用のために登録されたユーザを認識又は識別し、そのユーザの仮想ショッピングカートに含まれる商品の費用をそのユーザに関するユーザアカウントに請求することによって、従来のチェックアウトエクスペリエンスにおけるフリクションを低減する。本明細書に記載される技術によれば、ユーザ認識システムに登録されたユーザは、ユーザ認識システムによって識別されるために、例えば、撮像デバイスでユーザの手のひらをスキャンする、ユーザの指紋をスキャンする、施設内に位置する電子デバイスのカメラを見ることによって生体認証情報を提供するだけでよい。

【0026】

ユーザ認識システムを利用するために、ユーザは、施設内に位置決めされた電子デバイスと対話することによって登録を要求し得る。例えば、ユーザは、電子デバイスの表示部上で登録オプションを選び、登録されることを要求する音声又はＧＵＩベースのコマンドを発行し、ユーザＩＤカードを電子デバイスに挿入し、かつ／又は登録プロセスを促すために電子デバイスの前に単に手、若しくは手のひらを提示し得る。

【0027】

ユーザ認識システムに登録されることを要求すると、電子デバイスは、許可を得て、かつ／又はユーザによる明示的な要求に応じて、ユーザに関する様々なタイプの生体認証データ及び／又は他のデータの収集を開始し得る。例えば、電子デバイスは、ユーザの手のひら、ユーザの顔などのユーザの少なくとも一部分の画像データ（例えば、個々の画像、一連の画像、ビデオなど）のキャプチャを開始する撮像デバイスを含んでもよい。手のひらの例では、上述のように、電子デバイスは、電子デバイスが画像データをキャプチャする際、及び異なる照明条件下（例えば、フラッシュなし、フラッシュあり、異なる光の偏光など）で画像データをキャプチャし得る際に、異なる環境条件下でユーザの手のひらを表す画像データを生成するために、異なる角度及び／又は配向に手を動かすようにユーザに要求してもよい。

【0028】

いくつかの例では、ユーザは、買い物セッション中に選んだ商品の支払いのために、既に在庫管理システムに登録されたアカウントを有していてもよい。かかる例では、電子デバイスは、ユーザが個人ＩＤカード（例えば、運転免許証）を挿入すること、ユーザの電話の表示部に提示され得るバーコードをスキャンすること、ユーザのログイン認証情報でログインすることなどを要求することなどによって、ユーザが様々な方法で登録されているユーザアカウントを決定することができる。

【0029】

電子デバイスがユーザの手のひら又は他の薬を表す画像データを取得すると、電子デバイスは、このデータを利用して、ユーザをユーザ認識システムに登録し得る。いくつかの例では、ユーザ認識システムは、本明細書に記載の技術を実装するためのソフトウェア、ファームウェア、及び／又はハードウェアコンポーネントを含み得る電子デバイス上に完全に実装されてもよい。しかしながら、いくつかの例では、ユーザ認識システムは、電子デバイスがクライアント側の登録及び識別技術を実施する分割アーキテクチャに従って実装されてもよく、より集中的及び／又は高度な処理は、バックエンドの、サーバベースの実装を使用して実施されてもよい。例えば、ユーザ認識システムは、施設内の別個の場所、及び／又はリモートのクラウドベースの場所に位置決めされた１つ以上のネットワークベースのコンピューティングデバイスを含み得る。ネットワークベースのデバイスは、ユーザ認識システムを実装するための様々なコンポーネントを含み得る。

【0030】

かかる例では、電子デバイスは、画像データ、及び／又は画像データを使用してユーザ認識デバイスによって生成された特徴データをネットワークベースのデバイスに送信して、ユーザ認識システムのためにユーザを登録してもよい。ユーザ認識システムのネットワークベースのデバイスは、その後に受信した画像データ及び／又は特徴データからユーザを識別することができるように、画像データ及び／又は特徴データに対して様々な処理技術を実施してもよい。

【0031】

ユーザ認識システムは、画像データを分析してユーザの様々な特徴を判定し得る。例えば、ユーザ認識システムは、画像データに基づいて、ユーザの手のひらを表す手のひら特徴データを抽出及び／又は生成し得る。この手のひら特徴データは、ユーザの手のひらのしわのパターン、ユーザの手のひらの静脈のパターン、ユーザの手の１つ以上の部分の形状（例えば、指のサイズ／形状、手のひらのサイズ／形状など）、及び／又は同様のものなど、使用者の手のひらに潜在的に固有の情報を表し得る。ユーザ認識システムは、任意のタイプの処理技術を利用して手のひら特徴データを生成してよく、特徴ベクトルなどの様々なタイプのデータ構造を使用して、画像データに描写されるユーザの手のひらを表してよい。いくつかの例では、ユーザ認識システムは、入力としてユーザの画像データを受信するように訓練された１つ以上の訓練されたモデル（例えば、機械学習モデル）と、ユーザの手のひらを表す出力特徴ベクトルとを含み得る。概して、訓練されたモデルには、ユーザの手のひら及び／又はユーザの１つ以上の他の部分（例えば、顔など）を識別するように訓練されてもよい機械学習モデル（例えば、人工ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、分類子、ランダムフォレストモデルなど）などの任意のタイプのモデルが含まれ得る。

【0032】

ユーザの手のひらを表す特徴データを取得すると、ユーザ認識システムは、特徴データを登録データベースに記憶し、その特定のユーザのユーザプロファイルに特徴データを関連付け得る。このようにして、ユーザに関する後続の画像データが電子デバイスで受信されると、登録データベースに記憶された特徴データが後続の画像データから生成された特徴データと比較されて、後続の画像データ及び音声データで表されるユーザのユーザプロファイルを識別することができる。

【0033】

このようにして、ユーザは、ユーザ認識システムの使用のために登録されることができ、これにより、ユーザは、後続の買い物セッションを完了した後、電子デバイスの撮像コンポーネント上に自身の手のひらを置いて、ユーザ認識システムが自動的にユーザを認識できるようにすることによってチェックアウトできるようになる。電子デバイスは、ユーザの存在を検出し（例えば、手のひらを検出する、顔を検出する、発話を検出する、タッチ表示部を介してタッチ入力を検出するなど）、ユーザ認識システムのバックエンドデバイスへの画像データ及び音声データのストリーミングを開始し得る。次いで、ユーザ認識システムのバックエンドデバイスは、訓練されたモデルを利用して特徴データを抽出し、その特徴データを、登録されたユーザのユーザプロファイルについて記憶された特徴データと比較し得る。追加的に又は代替的に、ユーザは、施設に入るときに認識のために自身の手のひらをスキャンしてもよく、場合によっては、自身が選択した商品を携帯して再び自身の手のひらをスキャンすることなく、施設を単に退出してもよい。これらの場合、ユーザは、入場時に識別され得、ユーザが施設内を移動するときにシステムによって場所特定され得るため、ユーザは、施設の従業員又はデバイスとの更なる対話をすることなしに「ただ歩いて出て行く」ことができる。

【0034】

本明細書に記載される技術は、主として、マテリアルハンドリング施設から選ばれた商品について課金するためのユーザアカウントを識別する目的でユーザを識別することに関連するが、この技術は、ユーザ認識が役立ち得る任意の業界に等しく適用可能である。例えば、ユーザ認識システムは、ロックされた場所にアクセスすること、コンピューティングデバイスを介してユーザアカウントにアクセスすること、銀行口座にアクセスすることなどのセキュリティ目的のために実装されてもよい。更に、特定のタイプの機械学習モデル及びアルゴリズムが本明細書で論じられるが、これらの技術は、他のタイプの技術を使用して採用されてもよく、概して異なるコンピュータベースの実装に拡張可能である。

【0035】

加えて、上述した技術は、電子デバイスが手の場所を判定することを含むが、他の実施例では、バックエンドデバイスが手の場所を判定してもよい。例えば、電子デバイスは、１つ以上のセンサを使用して生成されたセンサデータを、バックエンドデバイスに送信し得る。次いで、バックエンドデバイスは、電子デバイスに関して本明細書に記載されるプロセスを実施して、手の場所を判定し得る。加えて、バックエンドデバイスは、電子デバイスに、手の場所を示すデータを送信し得る。次いで、電子デバイスは、このデータを使用して、ユーザに対する命令を提供するときにユーザインターフェースを更新し得る。

【0036】

以下の説明では、マテリアルハンドリング施設内での本技術の使用について記載する。本明細書に記載される施設としては、限定されないが、倉庫、配送センター、クロスドッキング施設、注文フルフィルメント施設、包装施設、出荷施設、レンタル施設、図書館、小売店舗、卸売店舗、博物館、又はマテリアル（在庫）ハンドリングの１つ以上の機能を実施するための他の施設又は施設の組み合わせ、が挙げられ得る。他の実装形態では、本明細書に記載される技術は、他の施設又は他の状況で実装されてもよい。

【0037】

本開示の特定の実装形態及び実施形態はここで、様々な態様が示されている添付の図を参照しながら、以下により完全に説明される。しかしながら、それらの様々な態様は、多くの異なる形態で実装され得、本明細書に記述される実施態様に限定されるものと解釈されるべきものではない。本開示は、本明細書に記載されるように、それらの実施形態のバリエーションを包含する。同じ番号は、全体を通じて、同じ要素を指す。

【0038】

図１Ａ～１Ｂは、生体認証データをキャプチャする際に命令を提供するための例示的なプロセス１００を集合的に示す。１０２において、電子デバイス１０４は、ユーザの手を検出し得る。例えば、電子デバイス１０４の視覚インジケータ１０８は、ユーザに電子デバイス１０４上に手１０６を配置するように指示する第１の視覚的指標を表示していてもよい。図１Ａ～１Ｂの例では、視覚インジケータ１０８は、電子デバイス１０４の上面の周りに位置する光リングを含む。ただし、他の例では、視覚インジケータ１０８は、電子デバイス１０４の１つ以上の表面上に任意の他の形状を含み得る。図１Ａ～１Ｂの例に示されているように、第１の視覚的指標は、光の放射を控えることを含み得る。ただし、他の例では、第１の視覚的指標は、ある色、ある明るさ、及び／又はあるパターンの光を放射することを含み得る。

【0039】

次いで、電子デバイス１０４は、図２Ａ～２Ｄに関してより詳細に論じられる１つ以上のセンサを使用して、手１０６を検出し得る。例えば、電子デバイス１０４は、１つ以上の距離センサを使用して、電子デバイス１０４上に位置する手１０６を検出し得る。別の例では、電子デバイス１０４は、１つ以上の撮像デバイスを使用して、手１０６を表す画像データを生成し得る。次に、電子デバイス１０４は、画像データを分析して、手１０６が電子デバイス１０４上に位置することを判定し得る。

【0040】

場合によっては、図１Ａ～１Ｂの例に示されるように、電子デバイス０４は、電子デバイス１０４が手１０６を検出したことを示す音１１０を出力し得る。第１の例では、音１１０は、電子デバイス１０４が手１０６を検出したことを示す１つ以上の単語（例えば、「手が検出されました」）を含み得る。第２の例では、音１１０は、手１０６が検出されたことをユーザに知らせる１つ以上のノイズ（例えば、ピーン音、ブーン音、一定のトーンなど）を含み得る。

【0041】

１１２において、電子デバイス１０４は、手１０６が高すぎるという第１の視覚的指標を表示し得る。例えば、電子デバイス１０４は、ユーザの手１０６が電子デバイス１０４の目標垂直距離よりも高いと判定し得る。場合によっては、電子デバイス１０４は、１つ以上の距離センサを使用して、手１０６の垂直距離を判定する。追加的又は代替的に、場合によっては、電子デバイス１０４は、１つ以上の撮像デバイスによって生成された画像データを分析することによって、手１０６の垂直距離を判定する。いずれの場合でも、次いで、電子デバイス１０４は、手１０６の垂直距離を、垂直範囲を含み得る目標垂直距離と比較して、手１０６の垂直距離が目標垂直距離よりも大きいことを判定する。

【0042】

次いで、電子デバイス１０４は、手１０６が高すぎるという第１の視覚的指標を表示し得る。場合によっては、図１Ａ～１Ｂの例に示されるように、第１の視覚的指標は、（円内の十字によって示される）光のパターンを点滅させる視覚インジケータ１０８を含んでよい。例えば、第１の視覚的指標は、視覚インジケータ１０８の光放射体に、所与の周波数で光を振動させることを含んでよい。追加的又は代替的に、場合によっては、第１の視覚的指標は、特定の色及び／又は明るさの光を出力する視覚インジケータ１０８を含んでよい。例えば、第１の視覚的指標は、視覚インジケータ１０８の光放射体に、赤色などの特定の色の光を放射させることを含んでよい。

【0043】

場合によっては、図１Ａ～１Ｂの例に示されるように、電子デバイス１０４は、手１０６が高すぎることを示す音１１４を出力し得る。第１の例では、音１１４は、手が高すぎることを示す１つ以上の単語（例えば、「手を下げてください」）を含み得る。第２の例では、音１１０は、手１０６が高すぎることをユーザに知らせる１つ以上のノイズ（例えば、ピーン音、ブーン音、一定のトーンなど）を含み得る。

【0044】

１１６において、電子デバイス１０４は、手が中心から外れていることを示す第２の視覚的指標を表示し得る。例えば、電子デバイス１０４は、ユーザの手１０６が電子デバイス１０４に対する目標水平場所の外側に位置していると判定し得る。場合によっては、電子デバイス１０４は、１つ以上の距離センサを使用して、手１０６の水平場所を判定する。追加的又は代替的に、場合によっては、電子デバイス１０４は、１つ以上の撮像デバイスによって生成された画像データを分析することによって、手１０６の水平場所を判定する。いずれの場合でも、電子デバイス１０４は次いで、手１０６の水平場所を、ｘ方向及び／又はｙ方向におけるある程度のオフセットを可能にし得る目標水平場所と比較して、手１０６の水平場所が目標水平場所の外側に位置していることを判定する。

【0045】

次いで、電子デバイス１０４は、手１０６が中心から外れていることを示す第２の視覚的指標を表示し得る。例えば、手１０６の水平場所が電子デバイス１０４の側面１１８に遠すぎるので、次いで電子デバイスは、視覚インジケータ１０８に、手１０６が側面１１８から離れすぎて位置していることを示す第２の視覚的指標を表示させてもよい。第１の例では、図１Ａ～１Ｂの例に示されるように、第２の視覚的指標は、側面１１８に位置する視覚インジケータ１０８の光放射体に光を放射させる（これは、塗りつぶした黒丸で示される）一方で、側面１１８に位置しない視覚インジケータ１０８の光放射体に光の放射を控えさせること（これは、塗りつぶした白丸で示される）を含み得る。第２の例では、第２の視覚的指標は、側面１１８に位置する視覚インジケータ１０８の光放射体に第１の色の光（例えば、青色）を放射させる一方で、側面１１８に位置しない視覚インジケータ１０８の光放射体に第２の異なる色の光（例えば、赤色）を放射させることを含み得る。

【0046】

場合によっては、図１Ａ～１Ｂの例に図示されるように、電子デバイス１０４は、手１０６が中心から外れていることを示す音１２０を出力し得る。第１の例では、音１１２は、手１０６が中心にあることを示す１つ以上の単語（例えば、「手が中心から外れています」又は「手を後ろに動かしてください」）を含み得る。第２の例では、音１２０は、手１０６が中心から外れていることをユーザに知らせる１つ以上のノイズ（例えば、ピーン音、ブーン音、一定のトーンなど）を含み得る。

【0047】

１２２において、電子デバイス１０４は、手１０６が角度を付けられていることを示す第３の視覚的指標を表示し得る。例えば、電子デバイス１０４は、ユーザの手１０６が、電子デバイス１０４に対して角度を付けられていると判定し得る。場合によっては、電子デバイス１０４は、１つ以上の距離センサを使用して、手１０６の角度を判定する。例えば、電子デバイス１０４は、手１０６が第２の距離センサよりも第１の距離センサの近くに位置していると判定し得る。追加的又は代替的に、場合によっては、電子デバイス１０４は、１つ以上の撮像デバイスによって生成された画像データを分析することによって、手１０６の角度を判定する。いずれの場合でも、次いで、電子デバイス１０４は、手１０６の角度を目標角度と比較する。比較に基づいて、電子デバイス１０４は、手１０６の角度が目標角度よりも大きいと判定し得る。

【0048】

次いで、電子デバイス１０４は、手１０６が角度を付けられていることを示す第３の視覚的指標を表示し得る。例えば、手１０６の角度が、手１０６が電子デバイス１０４の他方の側面よりも電子デバイス１０４の側面１１８に近いようなものであるため、次いで電子デバイス１０４は、手１０６が側面１１８に向かって角度を付けられているという第３の視覚的指標を視覚インジケータ１０８に表示させ得る。第１の例では、図１Ａ～１Ｂの例に図示されるように、第３の視覚的指標は、側面１１８に位置する視覚インジケータ１０８の光放射体に第１の色の光を放射させる（これは、塗りつぶした灰色の丸で示される）一方で、側面１１８に位置しない視覚インジケータ１０８の光放射体に第２の色の光を放射させること（これは、塗りつぶした黒丸で示される）を含み得る。第２の例では、第３の視覚的指標は、側面１１８に位置する視覚インジケータ１０８の光放射体に光の放射を控えさせる一方で、側面１１８に位置しない視覚インジケータ１０８の光放射体にある色の光を放射させることを含み得る。

【0049】

場合によっては、図１Ａ～１Ｂの例に図示されるように、電子デバイス１０４は、手１０６が角度を付けられていることを示す音１２４を出力し得る。第１の例では、音１２４は、手１０６が角度を付けられていることを示す１つ以上の単語（例えば、「手に角度が付いています」又は「手を平らにしてください」）を含み得る。第２の例では、音１１２４は、手１０６が角度を付けられていることをユーザに知らせる１つ以上のノイズ（例えば、ピーン音、ブーン音、一定のトーンなど）を含み得る。

【0050】

１２６において、電子デバイス１０４は、手１０６が目標場所にあることを示す第４の視覚的指標を表示し得る。例えば、電子デバイス１０４は、１つ以上の距離センサを使用して、手１０６の場所及び／又は角度を判定してもよい。追加的又は代替的に、場合によっては、電子デバイス１０４は、１つ以上の撮像デバイスによって生成された画像データを分析することによって、手１０６の場所及び／若しくは角度を判定する。いずれの場合でも、次いで、電子デバイス１０４は、手１０６の場所を目標場所と比較し、比較に基づいて、ユーザの手１０６が目標場所にあると判定する。更に、電子デバイス１０４は、手１０６の角度を目標角度と比較し、比較に基づいて、手１０６の角度が閾値角度を満たすと判定する。

【0051】

次いで、電子デバイス１０４は、手１０６が目標場所にあることを示す第４の視覚的指標を表示し得る。第１の例では、図１Ａ～１Ｂの例に図示されるように、第４の視覚的指標は、視覚インジケータ１０８の光放射体に、ある色の光を放射させること（これは、塗りつぶした黒丸で示される）を含み得る。第２の例では、第４の視覚的指標は、視覚インジケータ１０８の光放射体に、点滅する光パターンを放射させること、及び／又は特定の明るさで光を放射させることを含んでよい。

【0052】

場合によっては、図１Ａ～１Ｂの例に図示されるように、電子デバイス１０４は、手１０６が目標場所にあることを示す音１２８を出力し得る。第１の例では、音１２８は、手１０６が目標場所にあることを示す１つ以上の単語（例えば、「手は目標場所にあります」）を含み得る。第２の例では、音１１０は、手１０６が目標場所にあることをユーザに知らせる１つ以上のノイズ（例えば、ピーン音、ブーン音、一定のトーンなど）を含み得る。

【0053】

１３０において、電子デバイス１０４は、手１０６に関連付けられた生体認証データを使用してアカウントを識別し得る。例えば、電子デバイス１０４は、１つ以上の撮像デバイスを使用して、手１０６を表す画像データを生成し得る。次いで、電子デバイス１０４は、画像データを分析して、手１０６に対応する特徴データを判定し得る。加えて、電子デバイス１０４は、アカウントと関連付けて記憶された特徴データに関して特徴データを分析し得る。分析に基づいて、電子デバイス１０４は、手１０６に対応する特徴データが、アカウントと関連付けて記憶された特徴データとマッチングすると判定し得る。このように、電子デバイス１０４は、アカウントを識別することができる。

【0054】

場合によっては、図１Ａ～１Ｂの例に図示されるように、電子デバイス１０４は、アカウントが識別されたことを示す音１３２を出力し得る。第１の例では、音１３２は、アカウントが識別されたことを示す１つ以上の単語（例えば、「アカウントを識別しました」）を含み得る。第２の例では、音１３２は、アカウントが識別されたことをユーザに知らせる１つ以上のノイズ（例えば、ピーン音、ブーン音、一定のトーンなど）を含み得る。

【0055】

図２Ａ～２Ｄは、生体認証認識技術を使用してユーザを識別するために使用され得る電子デバイス２０２（１）～（４）の様々な例を図示する。場合によっては、電子デバイス２０２（１）～（４）のうちの１つ以上は、図１Ａ～１Ｂの例からの電子デバイス１０４に対応してもよい。

【0056】

図２Ａの例に示されるように、電子デバイス２０２（１）は、円形形状を含み得る。しかしながら、他の例では、電子デバイス２０２（１）（並びに電子デバイス２０２（２）～（４）のうちの１つ以上）は、円以外の形状を含んでよい。電子デバイス２０２（１）は、電子デバイス２０２（１）の表面の周りに円形に位置する距離センサ２０４（１）～（６）（「距離センサ２０４」とも称される）を含む。図２Ａの例は、６つの距離センサ２０４を図示しているが、他の例では、電子デバイス２０２（１）は、任意の数の距離センサ２０４を含んでもよい。加えて、図２Ａの例は、円形に、かつ互いに等しく離間されて配列された距離センサ２０４を図示しているが、他の例では、距離センサ２０４は、電子デバイス２０２（１）の表面上の任意の他の配列を含んでもよい。

【0057】

電子デバイス２０２（１）はまた、電子デバイス２０２（１）の表面の外縁の周りに位置する視覚インジケータ２０６も含む。視覚インジケータ２０６は、視覚インジケータ２０６の全体の周りに、離間された複数の光放射体２０８（ただし、明確にするため１つのみが例示されている）を含む。しかしながら、他の例では、視覚インジケータ２０６は、円以外の形状を含んでもよい。加えて、他の例では、視覚インジケータ２０６は、より多くの又はより少ない光放射体２０８を含んでもよい。更に、他の例では、視覚インジケータ２０６は表示部を含んでよい。

【0058】

電子デバイス２０２（１）はまた、電子デバイス２０２（１）の中心に位置する撮像デバイス２１０を含む。場合によっては、撮像デバイス２１０は、カメラ（例えば、赤緑青（ＲＧＢ）カメラ、赤外線カメラ、近赤外線カメラなど）を含み得る。図２Ａの例は、電子デバイス２０２（１）の中心に位置する撮像デバイス２１０を示しているが、他の例では、撮像デバイス２１０は、電子デバイス２０２（１）の異なる場所に位置してもよい。加えて、他の例では、撮像デバイス２１０は、２つ以上の撮像デバイスを含み得る。例えば、電子デバイス２０２（１）は、本明細書に記載される生体認証認識技術を実施するための第１の画像データを生成する、第１の撮像デバイスを含み得る。電子デバイス２０２（１）はまた、（例えば、生体認証スプーフィングから保護するために）ユーザの手が実際の手であることを検証するなどの他の処理目的で使用される第２の画像データを生成する、第２の撮像デバイスを含み得る。

【0059】

例えば、手が目標場所にあるときなどに、電子デバイス２０２（１）は、視覚インジケータ２０６に光を放射させてよい。場合によっては、光は、特定の色の光及び／又は特定のパターンの光（例えば、所与の周波数で光を点滅させる）を含み得る。光は、撮像デバイス２１０（及び／又は別の撮像デバイス）が、生体認証スプーフィングから保護するために、手が実際の手であるかどうかを判定するために分析することができる画像データを生成することができるように構成されてもよい。

【0060】

図２Ｂは、生体認証認識技術を使用してユーザを識別するために使用され得る別の電子デバイス２０２（２）を示す。図２Ｂの例において、電子デバイス２０２（２）もまた、視覚インジケータ２０６及び撮像デバイス２１０を含み得る。ただし、電子デバイス２０２（２）は、ここでは、電子デバイス２０２（２）の中心に近接して位置する単一の距離センサ２１２を含んでいる。図２Ｂの例では、電子デバイス２０２（２）の中心に近接して位置する単一の距離センサ２１２を示しているが、他の例では、電子デバイス２０２（２）は、電子デバイス２０２（２）の中心に近接して位置する任意の数の距離センサ２１２を含んでもよい。

【0061】

図２Ｃは、生体認証認識技術を使用してユーザを識別するために使用され得る別の電子デバイス２０２（３）を示す。図２Ｃの例において、電子デバイス２０２（３）もまた、視覚インジケータ２０６及び撮像デバイス２１０を含み得る。ただし、電子デバイス２０２（３）は、距離センサを含まない。むしろ、電子デバイス２０２（３）は、図６に関してより詳細に記載されるプロセスを使用して、撮像デバイス２１０を使用して手の場所を判定し得る。

【0062】

図２Ｄは、生体認証認識技術を使用してユーザを識別するために使用され得る別の電子デバイス２０２（４）を示す。図２Ｄの例では、電子デバイス２０２（４）は、距離センサ２０４及び撮像デバイス２１０を含み得る。しかしながら、他の例では、電子デバイス２０２（４）は、距離センサ及び／又は撮像デバイス２１０のための電子デバイス２０２（２）及び／又は電子デバイス２０２（３）のレイアウトを含んでもよい。電子デバイス２０２（４）はまた、電子デバイス２０２（４）の表面の外縁の周りに位置する視覚インジケータ２１４も含む。視覚インジケータ２１４は表示部デバイスを含み得る。しかしながら、他の例では、視覚インジケータ２１４は、円以外の形状を含んでもよい。

【0063】

図２Ｅは、生体認証認識技術を使用してユーザを識別するために使用され得る別の電子デバイス２０２（５）を示す。図２Ｅの例では、電子デバイス２０２（５）は、少なくとも第１の視覚インジケータ２１８（１）、第２の視覚インジケータ２１８（２）、及び第３の視覚インジケータ２１８（３）（「視覚インジケータ２１８」と総称される）を含み得る。電子デバイス２０２（５）は、様々な視覚インジケータ２１８を使用して、ユーザに対する命令を提供し得る。例えば、第３の視覚インジケータ２１８（３）は、ユーザの手が電子デバイス２０２（５）に近すぎるときに作動され得、第２の視覚インジケータ２１８（２）は、手が目標垂直距離にあるときに作動され得、第１の視覚インジケータ２１８（１）は、手が電子デバイス２０２（５）から遠すぎるときに使用され得る。このようにして、ユーザは、第２の視覚インジケータ２１８（２）が作動していることに基づいて、手が目標垂直距離にあるときを判定することができる。

【0064】

場合によっては、視覚インジケータ２１８の各々はまた、本明細書に記載されるプロセスを使用して、手を目標水平場所に移動させるための命令を提供するように構成され得る。追加的又は代替的に、場合によっては、第２の視覚インジケータ２１８（２）のみが、手を目標水平場所に移動させるための命令を提供するように構成されてよい。場合によっては、視覚インジケータ２１８の各々は、視覚インジケータ２０６と同様であり光放射体２０８を含み得る。

【0065】

図２Ａ～２Ｅの例は、電子デバイスに関するいくつかの例示的な構成を示しているが、他の例では、電子デバイスは、追加的及び／又は代替的な構成を含んでもよい。例えば、電子デバイスは、追加的又は代替的に、側面などの電子デバイスの他の表面上に位置する１つ以上の視覚インジケータを含んでもよい。このようにして、手が、上面に位置する視覚インジケータの一部分を塞いでいる場合でも、電子デバイスは依然として、１つ以上の他の視覚インジケータを使用して、ユーザに対する命令を提供することができる。

【0066】

図３Ａ～３Ｄは、手を水平方向に中央に置く命令を提供する電子デバイス１０４の様々な例を示す。例えば、図３Ａの例に示されるように、電子デバイス１０４は、ユーザの手の水平場所を判定し得る。場合によっては、電子デバイス１０４は、複数の距離センサ３０２（ただし、明確にするため１つのみにラベル付けされている）を使用して水平場所を判定する。例えば、示されているように、電子デバイス１０４の左側距離センサ３０２がユーザの手を検出する場合があり、これは、左側距離センサ３０２に関連付けられた斜線で表されている。ただし、電子デバイス１０４の他の距離センサ３０２は、ユーザの手を検出しない場合がある。このように、電子デバイス１０４は、ユーザの手が目標水平場所に位置していない、及び／又は電子デバイス１０４の左側に離れすぎて位置していると判定することができる。

【0067】

このように、電子デバイス１０４は、視覚インジケータ１０８に、ユーザに対する命令を提供させることができる。図３Ａの例では、視覚インジケータ１０８は、手が左側に離れすぎて位置していることをユーザに示すことによって、命令を提供し得る。示されるように、視覚インジケータ１０８は、視覚インジケータ１０８の左側に位置する光放射体３０４（ただし、明確にするため１つのみが例示される）に光を放射させることによってそのような命令を提供してもよく、これは塗りつぶした黒丸で示されるが、他の全ての光放射体３０４に光の放射を控えさせるようにしてもよく、これは塗りつぶした白丸で示される。場合によっては、各光放射体３０４は、距離センサ３０２が手を検出するときにそれぞれの光放射体３０４が光を放射するように、距離センサ３０２の少なくとも１つと関連付けられている。例えば、図３Ａの例において、光を放射している光放射体３０４は、少なくとも左側距離センサ３０２に関連付けられている。

【0068】

図３Ｂの例に示されるように、電子デバイス１０４は、ユーザの手の水平場所を再び判定し得る。場合によっては、電子デバイス１０４は、距離センサ３０２を使用して水平場所を判定する。例えば、示されているように、電子デバイス１０４の後方距離センサ３０２、後方左側距離センサ３０２、左側距離センサ３０２、前方左側距離センサ３０２、及び前方距離センサ３０２がユーザの手を検出する場合があり、これは、そのような距離センサ３０２と関連付けられた斜線で表されている。ただし、電子デバイス１０４の他の距離センサ３０２は、ユーザの手を検出しない場合がある。このように、電子デバイス１０４は、ユーザの手が目標水平場所に位置していない、及び／又は電子デバイス１０４の左側に離れすぎて位置していると、ここでも判定することができる。しかしながら、電子デバイス１０４はまた、手の水平場所が今度は図３Ａの例よりも目標水平場所の近くに位置していると判定し得る。

【0069】

このように、電子デバイス１０４は、視覚インジケータ１０８に、ユーザに対する命令を提供させることができる。図３Ｂの例では、視覚インジケータ１０８は、手が左側に離れすぎて位置していることをユーザに示すことによって、命令を提供し得る。示されるように、視覚インジケータ１０８は、視覚インジケータの後方、後方左側、左側、前方左側、及び前方に位置する光放射体３０４に光を放射させることによってそのような命令を提供してもよく、これは塗りつぶした黒丸で示されるが、他の全ての光放射体３０４に光の放射を控えさせるようにしてもよく、これは塗りつぶした白丸で示される。上で論じたように、場合によっては、各光放射体３０４は、距離センサ３０２が手を検出するときにそれぞれの光放射体３０４が光を放射するように、距離センサ３０２の少なくとも１つと関連付けられている。例えば、図３Ｂの例において、光を放射している光放射体３０４は、手を検出した距離センサ３０２に関連付けられ得る。

【0070】

図３Ｃの例に示されるように、電子デバイス１０４は、ユーザの手の水平場所を再び判定し得る。場合によっては、電子デバイス１０４は、距離センサ３０２を使用して水平場所を判定する。例えば、示されているように、電子デバイス１０４の後方距離センサ３０２、後方左側距離センサ３０２、左側距離センサ３０２、前方左側距離センサ３０２、前方距離センサ３０２、前方右側距離センサ３０２、及び右側距離センサ３０２がユーザの手を検出する場合があり、これは、そのような距離センサ３０２と関連付けられた斜線で表されている。ただし、電子デバイス１０４の後方右側距離センサ３０２は、ユーザの手を検出しない場合がある。このように、電子デバイス１０４は、ユーザの手が目標水平場所に位置していない、及び／又は電子デバイス１０４の前方左側に離れすぎて位置していると、ここでも判定することができる。しかしながら、電子デバイス１０４はまた、手の水平場所が今度は図３Ｂにおける目標水平場所のより近くに位置していると判定し得る。

【0071】

このように、電子デバイス１０４は、視覚インジケータ１０８に、ユーザに対する命令を提供させることができる。図３Ｃの例では、視覚インジケータ１０８は、手が電子デバイス１０４の前方左側に離れすぎて位置していることをユーザに示すことによって、命令を提供し得る。示されるように、視覚インジケータ１０８は、視覚インジケータの後方、後方左側、左側、前方左側、前方、前方右側、及び右側に位置する光放射体３０４に光を放射させることによってそのような命令を提供してもよく、これは塗りつぶした黒丸で示されるが、他の全ての光放射体３０４に光の放射を控えさせるようにしてもよく、これは塗りつぶした白丸で示される。上で論じたように、場合によっては、各光放射体３０４は、距離センサ３０２が手を検出するときにそれぞれの光放射体３０４が光を放射するように、距離センサ３０２の少なくとも１つと関連付けられている。例えば、図３Ｃの例において、光を放射している光放射体３０４は、手を検出した距離センサ３０２に関連付けられ得る。

【0072】

最後に、図３Ｄの例に示されるように、電子デバイス１０４は、ユーザの手の水平場所を再び判定し得る。場合によっては、電子デバイス１０４は、距離センサ３０２を使用して水平場所を判定する。例えば、示されているように、電子デバイス１０４の距離センサ３０２の全てがユーザの手を検出する場合があり、これは、距離センサ３０２と関連付けられた斜線で表されている。このように、電子デバイス１０４は、手の水平場所が今度は目標水平場所に位置していると判定し得る。このように、電子デバイス１０４は、視覚インジケータ１０８に、手が正しい水平場所に位置していることをユーザに通知させることができる。図３Ｄの例では、視覚インジケータ１０８は、全ての光放射体３０４に光を放射させることによって通知を提供してもよく、これは塗りつぶした黒丸で示される。

【0073】

場合によっては、電子デバイス１０４は次いで、ユーザの手を表す画像データを使用してユーザのアカウントを識別しようと試みてもよいことに留意されたい。場合によっては、ユーザがまだアカウントを登録していない場合など、電子デバイスがアカウントを識別できない場合、電子デバイス１０４は、エラーがあること及び／又はアカウントを作成すべきであることの通知を提供し得る。場合によっては、電子デバイス１０４は、本明細書に示される１つ以上の例と同様に、視覚インジケータ１０８に、ある色の光、ある光パターン、及び／又はある明るさの光を放射させることによって通知を提供してもよい。加えて、場合によっては、ユーザが既にアカウントを登録している場合など、電子デバイスがアカウントを識別する場合、電子デバイス１０４は、アカウントが識別されたことを通知してもよい。場合によっては、電子デバイス１０４は、本明細書に示される１つ以上の例と同様に、視覚インジケータ１０８に、ある色の光、ある光パターン、及び／又はある明るさの光を放射させることによって通知を提供してもよい

【0074】

図４Ａ～４Ｄは、電子デバイス１０４が手に角度を付けるための命令を提供する様々な例を示す。例えば、図４Ａの例に示されるように、電子デバイス１０４は、ユーザの手の角度を判定し得る。場合によっては、電子デバイス１０４は、距離センサ３０２を使用して角度を判定する。例えば、示されているように、電子デバイス１０４の後方左側距離センサ３０２、左側距離センサ３０２、及び前方左側距離センサ３０２がユーザの手の第１の垂直距離を検出する場合があり、これは斜線で表され、一方、他の距離センサ３０２がユーザの手の第２の垂直距離を検出する。次いで、電子デバイス１０４は、第１の垂直距離が目標垂直距離（例えば、垂直範囲）の外側にある一方で、第２の垂直距離が目標垂直距離内にあると判定し得る。

【0075】

このように、電子デバイス１０４は、視覚インジケータ１０８に、ユーザに対する命令を提供させることができる。図４Ａの例では、視覚インジケータ１０８は、手の左側部分が電子デバイス１０４に近すぎることをユーザに示すことによって、命令を提供し得る。示されるように、視覚インジケータ１０８は、視覚インジケータ１０８の後方左側、左側、及び上部左側に位置する光放射体３０４に第１の色の光を放射させることによってそのような命令を提供してもよく、これは塗りつぶした灰色の丸で示されるが、他の全ての光放射体３０４に第２の色の光を放射させてもよく、これは塗りつぶした黒丸で示される。しかしながら、他の例では、視覚インジケータ１０８は、視覚インジケータ１０８の後方左側、左側、及び上部左側に位置する光放射体３０４に光の放射を控えさせる一方で、他の全ての光放射体３０４に光を放射させることによって、命令を提供してもよい。

【0076】

図４Ｂの例に示されるように、電子デバイス１０４は、ユーザの手の角度を再び判定し得る。場合によっては、電子デバイス１０４は、距離センサ３０２を使用して角度を判定する。例えば、示されているように、電子デバイス１０４の上部左側距離センサ３０２、上部距離センサ３０２、及び上部右側距離センサ３０２がユーザの手の第１の垂直距離を検出する場合があり、これは斜線で表され、一方、他の距離センサ３０２がユーザの手の第２の垂直距離を検出する。次いで、電子デバイス１０４は、第１の垂直距離が目標垂直距離（例えば、垂直範囲）の外側にある一方で、第２の垂直距離が目標垂直距離内にあると判定し得る。

【0077】

このように、電子デバイス１０４は、視覚インジケータ１０８に、ユーザに対する命令を提供させることができる。図４Ｂの例では、視覚インジケータ１０８は、手の先端部分が電子デバイス１０４に近すぎることをユーザに示すことによって、命令を提供し得る。示されるように、視覚インジケータ１０８は、視覚インジケータ１０８の上部左側、上部、及び上部右側に位置する光放射体３０４に第１の色の光を放射させることによってそのような命令を提供してもよく、これは塗りつぶした灰色の丸で示されるが、他の全ての光放射体３０４に第２の色の光を放射させてもよく、これは塗りつぶした黒丸で示される。しかしながら、他の例では、視覚インジケータ１０８は、視覚インジケータ１０８の上部左側、上部、及び上部右側に位置する光放射体３０４に光の放射を控えさせる一方で、他の全ての光放射体３０４に光を放射させることによって、命令を提供してもよい。

【0078】

図４Ｃの例に示されるように、電子デバイス１０４は、ユーザの手の角度を再び判定し得る。場合によっては、電子デバイス１０４は、距離センサ３０２を使用して角度を判定する。例えば、示されているように、電子デバイス１０４の右側距離センサ３０２がユーザの手の第１の垂直距離を検出する場合があり、これは斜線で表され、一方、他の距離センサ３０２がユーザの手の第２の垂直距離を検出する。次いで、電子デバイス１０４は、第１の垂直距離が目標垂直距離（例えば、垂直範囲）の外側にある一方で、第２の垂直距離が目標垂直距離内にあると判定し得る。

【0079】

このように、電子デバイス１０４は、視覚インジケータ１０８に、ユーザに対する命令を提供させることができる。図４Ｃの例では、視覚インジケータ１０８は、手の右側部分が電子デバイス１０４に近すぎることをユーザに示すことによって、命令を提供し得る。示されるように、視覚インジケータ１０８は、視覚インジケータ１０８の右側に位置する光放射体３０４に第１の色の光を放射させることによってそのような命令を提供してもよく、これは塗りつぶした灰色の丸で示されるが、他の全ての光放射体３０４に第２の色の光を放射させてもよく、これは塗りつぶした黒丸で示される。しかしながら、他の例では、視覚インジケータ１０８は、視覚インジケータ１０８の右側に位置する光放射体３０４に光の放射を控えさせる一方で、他の全ての光放射体３０４に光を放射させることによって、命令を提供してもよい。

【0080】

最後に、図４Ｄの例に示されるように、電子デバイス１０４は、ユーザの手の角度を再び判定し得る。場合によっては、電子デバイス１０４は、距離センサ３０２を使用して角度を判定する。例えば、示されているように、電子デバイス１０４の右側距離センサ３０２、後方右側距離センサ３０２、後方距離センサ３０２、後方左側距離センサ３０２、及び左側距離センサ３０２がユーザの手の第１の垂直距離を検出する場合があり、これは斜線で表され、一方、他の距離センサ３０２がユーザの手の第２の垂直距離を検出する。次いで、電子デバイス１０４は、第１の垂直距離が目標垂直距離（例えば、垂直範囲）の外側にある一方で、第２の垂直距離が目標垂直距離内にあると判定し得る。

【0081】

このように、電子デバイス１０４は、視覚インジケータ１０８に、ユーザに対する命令を提供させることができる。図４Ｄの例では、視覚インジケータ１０８は、手の後方部分が電子デバイス１０４に近すぎることをユーザに示すことによって、命令を提供し得る。示されるように、視覚インジケータ１０８は、視覚インジケータ１０８の右側、後方右側、後方、後方左側、及び左側に位置する光放射体３０４に第１の色の光を放射させることによってそのような命令を提供してもよく、これは塗りつぶした灰色の丸で示されるが、他の全ての光放射体３０４に第２の色の光を放射させてもよく、これは塗りつぶした黒丸で示される。しかしながら、他の例では、視覚インジケータ１０８は、視覚インジケータ１０８の右側、後方右側、後方、後方左側、及び左側に位置する光放射体３０４に光の放射を控えさせる一方で、他の全ての光放射体３０４に光を放射させることによって、命令を提供してもよい。

【0082】

図５Ａ～５Ｂは、電子デバイス１０４が生体認証データをキャプチャできるように、手を配置するための目標場所の例を図示する。例えば、かつ図５Ａの例に示されるように、電子デバイス１０４は、上部表面５０２及び撮像デバイス５０４を含む。電子デバイス１０４が画像データなどの生体認証データをキャプチャするために、ユーザは、撮像デバイス５０４上の、かつ目標水平場所に、手（例えば、手のひらの中心点）を配置する。目標水平場所は、ｘ方向及びｙ方向の両方に関連付けられ得る。例えば、目標水平場所は、ｘ方向の第１の線５０６とｙ方向の第２の線５０８との交差によって示される、撮像デバイス５０４の中心を含み得る。

【0083】

場合によっては、電子デバイス１０４は、生体認証データをキャプチャするときに、手が目標水平場所に近接することを可能にし得る。例えば、電子デバイス１０４は、手が、目標水平場所の前方の第１の閾値距離５１０（例えば、目標水平場所から正のｙ方向に移動する）、目標水平場所の後方の第２の閾値距離５１２（例えば、目標水平場所から負のｙ方向に移動する）、目標水平場所の左側の第３の閾値距離５１４（例えば、目標水平場所から負のｘ方向に移動する）、及び／又は目標水平場所の右側の第４の閾値距離５１６（例えば、目標水平場所から正のｘ方向に移動する）にあることを可能にしてもよい。場合によっては、第１の閾値距離５１０、第２の閾値距離５１２、第３の閾値距離５１４、及び第４の閾値距離５１６は、同じ閾値距離を含んでもよい。場合によっては、第１の閾値距離５１０、第２の閾値距離５１２、第３の閾値距離５１４、及び第４の閾値距離５１６のうちの１つ以上は、異なる閾値距離を含んでもよい。本明細書に記載されるように、閾値距離は、５ミリメートル、１０ミリメートル、２０ミリメートル、及び／又は任意の他の距離を含んでもよいが、これらに限定されない。

【0084】

加えて、図５Ｂの例に示されるように、電子デバイス１０４は、撮像デバイス５０４の上方の距離５１８（例えば、ｚ方向）に位置する目標垂直距離を含んでよい。いくつかの例では、距離５１８は、８５ミリメートルを含む。しかしながら、他の例では、距離５１８は、任意の他の距離を含んでもよい。場合によっては、電子デバイス１０４は、手が目標垂直距離に近接することを可能にし得る。例えば、電子デバイス１０４は、手が目標垂直距離の上方の第１の閾値距離５２０及び／又は目標垂直距離の下方の第２の閾値距離５２２であることを可能にしてもよい。場合によっては、第１の閾値距離５２０は、第２の閾値距離５２２と同じである。他の場合では、第１の閾値距離５２０は、第２の閾値距離５２２とは異なる。

【0085】

図５Ｂの例に更に示されるように、電子デバイス１０４は、撮像デバイス５０４の上方の最小距離５２４と撮像デバイス５０４の上方の最大距離５２６との間でユーザの手を検出することができ得る。例えば、距離センサは、最小距離５２４と最大距離５２６との間で、手などの対象物を検出するように構成されてもよい。場合によっては、最小距離５２４は、５ミリメートル、１０ミリメートル、２０ミリメートル、及び／又は任意の他の距離を含んでもよいが、これらに限定されない。更に、最大距離５２６は、１００ミリメートル、１２０ミリメートル、１０５ミリメートル、及び／又は任意の他の距離を含んでもよいが、これらに限定されない。

【0086】

図５Ｃの例では、電子デバイス１０４は、撮像デバイス５０４の上方の円錐の体積形状などの体積形状５２８を含む目標場所を含んでよい。例えば、目標垂直距離は、依然として撮像デバイス５０４の上方の距離５１８に位置してよく、第１の閾値距離５２０及び第２の閾値距離５２２を含んでもよい。次いで、目標水平場所は、体積形状５２８内の、目標垂直距離内にある場所に位置してもよい。場合によっては、手のひらが目標場所内に位置する必要があり得る一方、他の例では、手全体が目標場所内に位置する必要があり得る。

【0087】

図５Ｄの例では、電子デバイス１０４は、撮像デバイス５０４の上方の体積形状５３０を含む目標場所を含んでよい。例えば、目標垂直距離は、依然として撮像デバイス５０４の上方の距離５１８に位置してよく、第１の閾値距離５２０及び第２の閾値距離５２２を含んでもよい。次いで、目標水平場所は、体積形状５３０内の、目標垂直距離内にある場所に位置してもよい。場合によっては、手のひらが目標場所内に位置する必要があり得る一方、他の例では、手全体が目標場所内に位置する必要があり得る。

【0088】

図６は、手６０２の手のひらの中心を識別するために手６０２を分析する例を示す。例えば、電子デバイス１０４は、手６０２を描写する画像６０４を表す画像データを生成してもよい。次いで、電子デバイス１０４は、画像データに対応する特徴データを生成することができ、特徴データは、手６０２に関連付けられた様々な属性を表す。様々な属性には、手６０２上に位置する点６０６～６１８を少なくとも含み得る。例えば、電子デバイス１０４は、手首の第１の端部に位置する点６０６と、第２の、手首の反対側の端部に位置する点６０８とを識別し得る。電子デバイス１０４は、更に、手の指６０２の基部に位置する点６１０～６１８を識別し得る。示されるように、点６１２～６１８は、指間の交わる部分に位置する。

【0089】

点６０６～６１８を識別した後、電子デバイス１０４は、識別された点６０６～６１８の全てを含む境界ボックス６２０を生成し得る。境界ボックス６２０は、境界ボックス６２０の角を表す４つの追加の点６２２～６２８に関連付けられ得る。次いで、電子デバイス１０４は、境界ボックス６２０を使用して、手のひら６０２の中心点６３０を識別してもよい。例えば、電子デバイス１０４は、手のひらの中心点６３０が境界ボックス６２０の中心を含むと判定してよい。このように、いくつかの例では、手のひらの中心点６３０は、手６０２の水平場所に対応し得る。

【0090】

場合によっては、本明細書に記載されるように、電子デバイス１０４は、画像６０４を使用して、手６０２に関連付けられた１つ以上の追加の属性を識別してもよい。例えば、手６０２はｙ方向に配向されているので、電子デバイス１０４は、手６０２の配向が満たされると判定してもよい。電子デバイス１０４は、手６０２がカップの形状、拳ではなく、かつ／又は手６０２がジェスチャを行っているため手６０２の平面形状が満たされると更に判定してもよい。むしろ、電子デバイス１０４が画像６０４を分析して属性を判定し得るように、手６０２は開いている。更に、電子デバイス１０４は、手６０２が電子デバイス１０４の撮像コンポーネントに平行であることを決定し得る。これは、撮像コンポーネントに対する手６０２の配向に基づいて、手のひら６０２が撮像コンポーネントに向けられているからであり得る。

【0091】

図６の例は、点６０６～６１８を識別し、次いで点６０６～６１８を使用して手のひらの中心点を判定することを記載しているが、他の例では、電子デバイス１０４は、手６０２上の追加の点及び／又は代替の点を識別し、次いで追加の点及び／又は代替の点を使用して、手のひらの中心点６３０を識別してもよい。

【0092】

図７は、ユーザの生体認証データをキャプチャするための電子デバイス１０４を含むマテリアルハンドリング施設７０２の例示的な環境７００を示す。この例では、電子デバイス１０４は、ユーザ７０４の手のひらを描写する画像データを生成し、画像データを、ユーザ認識システムを使用するためにユーザ７０４を登録するために使用される１つ以上のバックエンドサーバ７０６に送信する。概して、ユーザ認識システムは、電子デバイス１０４及び／又はサーバ７０６を含み得る。

【0093】

場合によっては、ユーザ認識システムの一部又は全ては、マテリアルハンドリング施設７０２から遠隔に常駐し、他の場合では、ユーザ認識システムの一部又は全ては、マテリアルハンドリング施設７０２内又はマテリアルハンドリング施設７０２に近接して常駐する。図７に描写されるように、ユーザ７０４は、マテリアルハンドリング施設７０２内の買い物セッションに関与していてもよく、又は関与しようとしていてもよい。例えば、ユーザ７０４は、在庫場所７１０（例えば、棚、通路など）から商品７０８を選び、商品７０８をトート７１２（例えば、ショッピングカート）に配置している場合がある。在庫場所７１０は、１つ以上の異なるタイプの商品７０８を収容し得、ユーザ７０４は、これらの商品７０８のうちの１つを選択する（すなわち、取る）ことができる。

【0094】

示されるように、マテリアルハンドリング施設７０２（又は「施設」）は、示される撮像センサ７１４などの１つ以上のセンサ、及び／又は在庫場所７１０上又はその近くに位置する他のセンサのアレイを含んでもよい。この例では、撮像センサ７１４は、ユーザ７０４による商品７０８の選択などのイベントに関連付けられた結果を判定する際に使用するために、施設７０２内のビデオデータをキャプチャするように構成されている。図７は、様々な例示的なセンサを示しているが、施設７０２内のセンサは、以下で詳細に記載するように、重量センサ（例えば、ロードセル）、マイクロフォン、及び／又は同様のものなどの任意の他のタイプのセンサを含んでもよい。図１３及び１４に関してより詳細に記載されるように、施設７０２は、ユーザ７０４が購入したい商品７０８を取るなど、ユーザ７０４に関連付けられた施設７０２内のイベントを判定するように構成された在庫管理システムによって監視され得、かつ／又は別様に関連付けられ得る。在庫管理システムは、ユーザ７０４によって選ばれた商品７０８を追跡し、ユーザ７０４によって取られた全ての商品７０８を含む仮想ショッピングカートを維持し得る。したがって、ユーザ７０４が取った商品７０８を伴って施設７０２を離れたいとき、在庫管理システムは、取った商品７０８の費用について、ユーザ７０４に関連付けられたユーザアカウントに請求することができる。

【0095】

図７に示すように、ユーザ７０４は、電子デバイス１０４に関連付けられたチェックアウト場所７１６に近づき得る。ユーザ７０４は、施設７０２のチェックアウトを行い、それらの商品７０８の支払いをするために、ユーザ認識システムの使用のために登録したいと決定してもよい。代替的又は追加的に、ユーザは、施設７０２に入ると、電子デバイス１０４と対話することができる。いずれの場合においても、ユーザ７０４は、ユーザ認識システムがユーザ７０４を識別するために使用可能なデータを収集することを望んでいることを決定し得る。このデータは、いったん登録されると、ユーザ７０４のユーザアカウントに商品７０８の購入を課金するために、ユーザ認識システムによって識別されるようにユーザ７０４が自身の手のひらをスキャンするだけでよいように、ユーザ認識システムによって利用されてもよい。

【0096】

図７は、ユーザ認識システムの使用のため、及びユーザ認識システムが経時的にユーザ７０４の登録を更新するために、ユーザ７０４を登録するための技術を高レベルで記載する、例示的な登録プロセス７１８を示している。電子デバイス１０４は、サーバと同様に、登録プロセス７１８の技術の少なくとも一部分を実施するためのコンポーネントを含み得る。サーバ７０６のコンポーネントは、後続の図を参照して以下で更に詳細に記載される。例えば、電子デバイス１０４は、電子デバイス１０４のコンポーネントに電力を供給するように構成された１つ以上のプロセッサ７２０を備え得、更に、プロセッサ７２０によって少なくとも部分的に実行可能なコンポーネント並びに他のデータ７２４を記憶する、メモリ７２２を含み得る。例えば、メモリ７２２には、ユーザ７０４の存在を検出する存在検出コンポーネント７２６、ユーザ認識システムの使用のためにユーザ７０４を登録するための様々な動作を実施するように構成されたフロントエンド登録コンポーネント７２８、及び視覚インジケータ１０８を介してユーザ７０４に提供される命令を制御するように構成されたユーザインターフェースコンポーネント７３０が含まれてよい。

【0097】

７３２において、フロントエンド登録コンポーネント７２８は、ユーザ認識システムの使用のためにユーザ７０４を登録する要求を受信し得る。要求には、登録プロセスを開始するためにＩ／Ｏインターフェース７３４（例えば、タッチスクリーン、マウス、キーボード、スピーカなど）を介して行われた選択など、様々なタイプの入力が含まれ得る。更に、フロントエンド登録コンポーネント７２８は、登録の要求を示すユーザ７０４からの発話（例えば、「私を登録してください」、「チェックアウトしたい」など）を検出し得る。別の要求例には、ユーザ７０４が、クレジットカード、運転免許証などのユーザＩＤカードを、Ｉ／Ｏインターフェース７３４にスライドさせることが含まれてもよい。ただし、要求として、任意のタイプの入力がフロントエンド登録コンポーネント７２８によって検出されてもよい。

【0098】

いくつかの例では、登録プロセス７１８の７３６において、存在検出コンポーネント７２６は、ユーザ７０４の存在を示すトリガーを検出するためにプロセッサ７２０によって実行可能であり得る。存在検出コンポーネント７２６によって検出されたトリガーは、１つ以上のタイプの入力を備え得る。例えば、存在検出コンポーネント７２６は、１つ以上の撮像コンポーネント７３８（例えば、撮像デバイス５０４を表し得る）及び／又は１つ以上の距離コンポーネント７４０（例えば、距離センサ３０２を表し得る）を使用して、電子デバイス１０４上の又はそれに近接するユーザ７０４の手のひらを検出するためのロジックを含んでもよい。ユーザ７０４の存在を示し得る存在検出コンポーネント７２６によって検出されたトリガーの他の例には、電子デバイス１０４の１つ以上のＩ／Ｏインターフェース７３４を介してタッチ入力（又はマウスクリックなどの他の入力）を受信することが含まれ得る。ただし、任意のタイプの入力が、７３６で存在検出コンポーネント７２６によってトリガーとして検出されてもよい。いくつかの例では、７３６でトリガー検出が実施されなくてもよく、登録するための要求を受信することに含まれるか、又は登録するための要求を受信することと同じであってよい。

【0099】

ユーザ７０４から登録する要求を受信した後、フロントエンド登録コンポーネント７２８は、７４２で、１つ以上の撮像コンポーネント７３８（例えば、カメラ）を使用して画像データ７４４の生成を開始し得る。例えば、フロントエンド登録コンポーネント７２８は、撮像コンポーネント７３８を利用して、画像若しくはピクチャ、連続した一連の画像、及び／又はビデオデータなどの画像データ７４４を取得し得る。画像データ７４４は、ユーザ７０４の手のひらを表し得、手のひらのしわ、手のひらの静脈、手のひら及び手の他の部分に関する幾何学的情報、若しくはユーザ７０４並びに／又は同様のものを識別するために使用されてもよい。場合によっては、画像データ７４４を取得している間に、ユーザインターフェースコンポーネント７３０は、電子デバイス１０４に、ユーザ７０４の手をどのように配置するかについての命令を提供させてもよい。フロントエンド登録コンポーネント７２８がユーザ７０４の手のひら又は他の部分を表す画像データ７４４を取得すると、電子デバイス１０４は、画像データ７４４を、１つ以上の通信インターフェース７４８を使用して１つ以上のネットワーク７４６を介してサーバ７０６に送信（例えば、アップロード、ストリーミングなど）し得る。

【0100】

ネットワーク７４６は、組織若しくは個人のイントラネットなどのプライベートネットワーク、インターネットなどのパブリックネットワーク、又はそれらの組み合わせを含んでもよい。ネットワーク７４６は、有線技術（例えば、電線、光ファイバーケーブルなど）、無線技術（例えば、無線周波数、赤外線、音響、光学など）、又は他の接続技術を利用してもよい。ネットワーク７４６は、データネットワーク又は音声ネットワークのうちの１つ以上を含む、任意のタイプの通信ネットワークを表す。ネットワーク７４６は、有線インフラストラクチャ（例えば、銅ケーブル、光ファイバーケーブルなど）、無線インフラストラクチャ（例えば、セルラ、マイクロ波、衛星など）、又は他の接続技術を使用して実装されてよい。

【0101】

通信インターフェース７４８は、パーソナルエリアネットワーク（ＰＡＮ）、有線及び無線ローカルエリアネットワーク（ＬＡＮ）、有線及び無線ワイドエリアネットワーク（ＷＡＮ）などに結合するように構成されたデバイスを含み得る。例えば、通信インターフェース７４８は、イーサネット、Ｗｉ－Ｆｉ（商標）などと互換性のあるデバイスを含み得る。いくつかの例では、通信インターフェース７４８は、使用されているプロトコル又は規格のタイプに従って、ネットワーク７４６を介して送信する前に、電子デバイス１０４によって生成された画像データ７４４及び／又は他のデータ７２４（例えば、距離センサからの距離データ）を符号化してもよい。

【0102】

画像データ７４４を受信すると、７５０において、バックエンドサーバ７０６の１つ以上のコンポーネントは、画像データ７４４を使用して特徴データを生成し得る。この特徴データは、ベクトル形態であってよく、手のひらを他のユーザの手のひらから区別するために使用され得るユーザの手のひらに関する特性を表し得る。この登録プロセス７５０は、特徴データを生成するサーバ７０６を記載するが、他の場合では、電子デバイス１０４が特徴データを生成するように構成されてもよく、画像データ７４４に加えて、又はむしろ画像データ７４４ではなく特徴データを、サーバに送信してもよいことを理解されたい。

【0103】

７５２において、サーバ７０６の１つ以上のコンポーネントは、ユーザ７０４のユーザプロファイルに関連付けられた特徴データを登録データベースに記憶する。すなわち、この手のひら特徴データは、後続の画像データから生成される特徴データと比較されて、後に施設７０２におけるユーザ７０４、又はユーザ認識システムに関連付けられた他の施設を識別するように、記憶される。

【0104】

例えば、７５４において、撮像コンポーネント７３８は、ユーザ７０４が後日、施設７０２に戻ったときなどに、ユーザ７０４の手のひらの追加の画像データ７４４を受信する。サーバ７０６が電子デバイス１０４から追加の画像データ７４４を受信した後、７５６において、サーバ７０６は、追加の画像データに基づいて追加の特徴データを生成し得る。この時点で、サーバ７０６の１つ以上のコンポーネントは、追加の画像データ７４４に関連付けられたユーザ７０４を識別する目的で、追加の特徴データを、それぞれのユーザプロファイルに記憶された特徴データと比較し得る。この例では、ユーザ認識システムは、７５６で生成された追加の特徴データを、７５０で生成され、かつユーザ７０４のユーザプロファイルと関連付けて記憶された特徴データと比較し、それにより、７５８でユーザプロファイルを識別する。場合によっては、ユーザプロファイルを識別することに加えて、ユーザ認識システムは次いで、追加の特徴データを、ユーザ７０４のユーザプロファイルに関連付けて、登録データベースに記憶してもよい。

【0105】

図８は、ユーザ認識システムの機能の少なくとも一部分をサポートするように構成されたサーバ７０６のブロック図を含む例示的な環境８００、並びにユーザ認識システムを使用するためにユーザ７０４を登録するためのシステム内の例示的なデータの流れを示す。

【0106】

示されるように、環境８００は、クライアント側８０２及びサーバ側８０４を含む。ただし、これは単なる例示であり、技術のうちのいくつか又は全ては、クライアント側８０２上で完全に、又はサーバ側８０４上で完全に実施され得る。「１」において、フロントエンド登録コンポーネント７２８は、ユーザ認識システムの使用のためにユーザ７０４を登録する要求を受信し得る。例えば、要求は、登録プロセスを開始するために表示部に提示されたユーザインターフェース要素のＩ／Ｏインターフェース７３４（例えば、タッチスクリーン、マウス、キーボードなど）を介して行われた選択など、様々なタイプの入力を含み得る。更に、フロントエンド登録コンポーネント７２８は、登録の要求を示すユーザ７０４からの発話（例えば、「私を登録してください」、「チェックアウトしたい」など）を検出し得る。別の要求例には、ユーザ７０４が、クレジットカード、運転免許証などのユーザＩＤカードを、Ｉ／Ｏインターフェース７３４にスライドさせることが含まれてもよい。ただし、要求として、任意のタイプの入力がフロントエンド登録コンポーネント７２８によって検出されてもよい。

【0107】

登録の要求を受信すると、フロントエンド登録コンポーネント７２８は、撮像コンポーネント７３８を作動させるか又は別様に利用して、ユーザ７０４の手のひらを表す画像データ７４４を生成し得る。次いで、「２」において、電子デバイス１０４は、画像データ７４４をキャプチャし、「３」において、画像データ７４４をサーバ７０６に送信する。例えば、電子デバイス１０４は、ネットワーク７４６を介して画像データ７４４を符号化し、サーバ７０６に送信してもよい。更に、場合によっては、一部の画像は、焦点が合っていない場合や、ユーザの手のひらの特性の閾値レベルの識別性を有さない場合などには削除され得る。この削除は、クライアント側８０２及び／又はサーバ側８０４で行われ得る。

【0108】

「４」において、サーバ７０６は画像データを受信し、「５」において、手のひら識別コンポーネント８０８の手のひら特徴生成コンポーネント８０６は、画像データ７４４から手のひら特徴データを抽出し得る。いくつかの例では、手のひら特徴データを抽出する前に、手のひら特徴生成コンポーネント８０６は、手のひら特徴データを抽出する前に画像データ７４４を処理するための様々な動作を実施し得る。例えば、手のひら特徴生成コンポーネント８０６は、最初にユーザ検出を実施して、画像データ７４４がユーザ７０４の手のひらを表すと判定してもよい。例えば、手のひら特徴生成コンポーネント８０６は、ハードウェアベースのユーザ検出技術を実施する統合センサプロセッサ（ＩＳＰ、Ｉｎｔｅｇｒａｔｅｄ Ｓｅｎｓｏｒ Ｐｒｏｃｅｓｓｏｒ）を利用してもよい。いくつかの例では、様々なソフトウェア技術が追加的又は代替的に実施され得る。いずれの場合においても、境界ボックスは、ユーザ７０４の少なくとも一部分を描写し、かつ画像データ７４４によって表される画像について、ユーザ７０４の検出された手の周りに出力され得る。更に、手のひら特徴生成コンポーネント８０６は、ユーザ７０４の手のひらを共通の座標系と位置合わせするために、手の姿勢推定を実施してもよい。手の画像を共通の座標部に位置合わせした後、手のひらに対応する画像データの一部分を識別してトリミングしてもよい。その後、画像データのこの残りの部分を使用して、例えば、画像データのトリミング部位上でニューラルネットワークを実行することによって、それらの残りの部分から特徴を抽出してもよい。いくつかの例では、手の姿勢推定は、ユーザ７０４の手のひらを表す特徴の抽出を改善し得る。ユーザ７０４の手が位置合わせされると、手のひら特徴生成コンポーネント８０６は、画像データ７４４から特徴（例えば、手のひら特徴データ）を抽出し得る。いくつかの例では、訓練されたモデルは、画像データ７４４をメトリック空間内の特徴埋め込み（例えば、手のひら特徴データ）に変換するトリプル損失関数を利用し得、これは、例えば、二乗距離計算を使用して、後続の特徴ベクトルとの比較を可能にし得る。

【0109】

「６」において、手のひら特徴集約コンポーネント８１０は、様々な画像データ７４４から特徴データ（例えば、手のひら特徴データ）を集約し得る。例えば、画像データ７４４は、異なる角度で、異なる照明条件下で、又は他の異なる特性でユーザ７０４の手を表すことができる。手のひら特徴集約コンポーネント８１０は、特徴ベクトルを平均化することなどにより、手のひら特徴データを一緒に集約し得る。

【0110】

「７」において、品質チェックコンポーネント８１２は、手のひら特徴データに対して品質チェックを実施し得る。例えば、品質チェックコンポーネント８１２は、訓練されたモデルを利用して、抽出された手のひら特徴データの品質の全体的なメトリックを判定してもよい。全体的なメトリックが貧弱である場合、又は閾値の品質レベル未満である場合、ユーザ認識システムは、追加の画像データ７４４を取得することを要求してもよい。追加的又は代替的に、品質チェックコンポーネント８１２は、手のひら特徴データに関連付けられたユーザが既にシステムに登録されていないことを確実にするために、重複排除（ｄｅ－ｄｕｐｉｎｇ）プロセスを実施し得る。全体的な品質メトリックが良好であるか又は許容される場合、及び重複排除プロセスがユーザが以前にシステムに登録したことを明らかにしない場合、バックエンド登録コンポーネント８１４は、「８」においてデータを集約し得る。

【0111】

例えば、「８」において、バックエンド登録コンポーネント８１４は、手のひら特徴データを集約し、「９」において登録データベース８１６にユーザを登録し得る。バックエンド登録コンポーネント８１４は、ユーザ認識システムの使用のために登録されることを要求するユーザ７０４の、ユーザプロファイルと手のひら特徴データと間の関連付け（例えば、マッピング）を記憶し得る。

【0112】

図９は、ユーザ認識システムの機能の少なくとも一部分をサポートするように構成されたサーバ７０６のブロック図を含む例示的な環境９００、並びにユーザ認識システムのユーザ７０４を識別し、潜在的にはユーザの登録を更新するためのシステム内の例示的なデータの流れを示す。示されるように、環境９００は、クライアント側９０２及びサーバ側９０４を含む。ただし、これは単なる例示であり、技術のうちのいくつか又は全ては、クライアント側９０２上で完全に、又はサーバ側９０４上で完全に実施され得る。

【0113】

「１」において、ユーザは、ユーザ認識システムでのサインインを要求する。例えば、存在検出コンポーネント７２６は、ユーザ７０４の存在を示すトリガーを検出するためにプロセッサ７２０によって実行可能であり得る。存在検出コンポーネント７２６によって検出されたトリガーは、１つ以上のタイプの入力を備え得る。例えば、存在検出コンポーネント７２６は、１つ以上の撮像コンポーネント７３８を使用してユーザ７０４の一部分（例えば、電子デバイス１０４の撮像コンポーネント７３８上の手）を検出するための、ロジックを含み得る。ユーザ７０４の存在を示し得る存在検出コンポーネント７２６によって検出されたトリガーの他の例には、電子デバイス１０４の１つ以上のＩ／Ｏインターフェース７３４を介してタッチ入力（又はマウスクリックなどの他の入力）を受信することが含まれ得る。ただし、任意のタイプの入力が、存在検出コンポーネント７２６によってトリガーとして検出されてもよい。

【0114】

ユーザからのサインイン要求を識別すると、「２」において、１つ以上の撮像コンポーネント７３８は、ユーザ７０４の手のひら及び／又はユーザの別の部分を表す画像データ７４４を生成し得る。「３」において、電子デバイス１０４は、画像データ７４４をサーバ７０６に送信し得る。例えば、電子デバイス１０４は、ネットワーク７４６を介して画像データ７４４を符号化し、サーバ７０６に送信してもよい。ここでも、一部の画像データ７４４は、焦点が合っていない、閾値未満の識別性を有する、及び／又は同様のことに基づいて破棄されてもよい。

【0115】

「４」において、サーバは画像データ７４４を受信し得、「５」において、手のひら特徴生成コンポーネント８０６は、画像データ７４４から手のひら特徴データを抽出し得る。いくつかの例では、手のひら特徴データを抽出する前に、手のひら特徴生成コンポーネント８０６は、手のひら特徴データを抽出する前に画像データ７４４を処理するための様々な動作を実施し得る。例えば、手のひら特徴生成コンポーネント８０６は、最初に手のひら検出を実施して、画像データ７４４がユーザ７０４の手を表すことを判定してもよい。例えば、手のひら特徴生成コンポーネント８０６は、ハードウェアベースのユーザ検出技術を実施する統合センサプロセッサ（ＩＳＰ）を利用してもよい。いくつかの例では、様々なソフトウェア技術が追加的又は代替的に実施され得る。いずれの場合においても、境界ボックスは、ユーザ７０４を描写し、かつ画像データ７４４によって表される画像について、ユーザ７０４の検出された手の周りに出力され得る。更に、手のひら特徴生成コンポーネント８０６は、手の姿勢推定を実施して、ユーザ７０４の顔を共通の座標系と位置合わせしてもよい。いくつかの例では、手の姿勢推定は、ユーザ７０４の手を表す特徴の抽出を改善し得る。ユーザ７０４の手が位置合わせされると、手のひら特徴生成コンポーネント８０６は、画像データ７４４から特徴（例えば、手のひら特徴データ）を抽出し得る。いくつかの例では、訓練されたモデルは、画像データ７４４をメトリック空間内の特徴埋め込み（例えば、手のひら特徴データ）に変換するトリプル損失関数を利用し得、これは、例えば、二乗距離計算を使用して、後続の特徴ベクトルとの比較を可能にし得る。

【0116】

「６」において、手のひら特徴集約コンポーネント８１０は、様々な画像データ７４４から特徴データ（例えば、手のひら特徴データ）を集約し得る。例えば、画像データ７４４は、異なる角度で、異なる照明条件下で、又は他の異なる特性でユーザ７０４の手を表すことができる。手のひら特徴集約コンポーネント８１０は、特徴ベクトルを平均化することなどにより、手のひら特徴データを一緒に集約し得る。

【0117】

「７」において、手のひら特徴対応コンポーネント９０６は、画像データ７４４に関連付けられた集約された特徴と、それぞれのユーザプロファイルに関連付けられて記憶されたそれぞれの特徴データとの間の類似性を示す１つ以上のスコアを生成し得る。いくつかの例では、これらの対応するスコアは、少なくとも部分的に、画像データに関連付けられた特徴ベクトルと、登録データベース８１６内のユーザプロファイルに関連付けられて記憶されたそれぞれの手のひら特徴データのそれぞれの特徴ベクトルとの間の「距離」に基づいて判定されてもよい。

【0118】

「８」において、個人情報判定コンポーネント９０８は、対応するスコアに基づいて、ユーザの個人情報を判定し得る。例えば、個人情報判定コンポーネント９０８は、画像データ７４４に関連付けられた特徴ベクトルに最も近い距離を有する特徴ベクトルに関連付けられたユーザプロファイルを識別してもよく、関連付けられたユーザを、画像データ７４４に関連付けられたユーザと見なしてもよい。

【0119】

「９」において、場合によっては、登録更新コンポーネント９１０は、画像データに関連付けられた最近受信された手のひら特徴データを使用して、識別されたユーザの登録を更新し得る。例えば、登録更新コンポーネント９１０は、登録データの更新をもたらす事前定義されたイベントの発生を検出してもよい。これには、画像データ７４４に関連付けられた施設で発生するトランザクションの特性（例えば、費用又は商品の数）に基づいて、現在の特徴データとユーザプロファイルに関連付けられた以前の特徴データとの間の変化量の閾値に基づいて、プロファイリングされたユーザに関連付けられたユーザからの明示的な要求に基づいて、及び／又は同様のものに基づいて、最新又は最も古い特徴データがプロファイルに関連付けられてから経過した事前定義された時間量が含まれ得る。場合によっては、事前定義されたイベントは、受信した手のひら特徴データが、以前に考察された高い閾値信頼レベルよりも大きい信頼レベルを有する識別されたユーザに対応することを判定する監査コンポーネントを含んでもよい。すなわち、ステップ「７」～「８」を参照して記載される認識プロセスは、登録データを参照して実施され得るが、監査コンポーネントは、登録データ及び以前の認識試行に関連付けられた画像及び／又は特徴データの両方を使用して信頼レベルを判定してもよい。その後、監査コンポーネントが比較的高い信頼レベルよりも大きい信頼レベルを計算する場合、登録更新コンポーネント９１０は、識別されたユーザの登録データを更新することを決定し得る。

【0120】

「１０」において、登録更新コンポーネント９１０は、登録データベース８１６内の対応するユーザプロファイルに関連付けられた登録データを更新する。上述したように、これは、特徴データ及び／又は画像データを、プロファイルに関連付けられた既存の特徴データ及び／又は画像データとともに記憶すること、既存の特徴データを新しい特徴データと平均化すること、及び／又は同様のことを含んでもよい。

【0121】

図１０は、ユーザ認識システムの機能の少なくとも一部分をサポートするように構成された電子デバイス１０４の例示的なコンポーネントを示す。いくつかの例では、本明細書に記載されるユーザ認識システムは、サーバ７０６と併せて電子デバイス１０４によって完全に、又は少なくとも部分的にサポートされ得る。サーバ１０４は、１つ以上の記憶された命令を実行するように構成された１つ以上のハードウェアプロセッサ７２０（プロセッサ）を含み得る。プロセッサ７２０は、１つ以上のコアを含み得る。電子デバイス１０４は、プロセッサ７２０、又は電子デバイス１０４の他の部分が他のデバイスと通信することを可能にするための１つ以上の入力／出力（Ｉ／Ｏ）インターフェース７３４を含み得る。Ｉ／Ｏインターフェース７３４は、インターインテグレイテッドサーキッツ（Ｉ２Ｃ）、シリアルペリフェラルインターフェースバス（ＳＰＩ）、ＵＳＢ Ｉｍｐｌｅｍｅｎｔｅｒｓ Ｆｏｒｕｍによって配布されたユニバーサルシリアルバス（ＵＳＢ）、ＲＳ－２３２などを含み得る。

【0122】

サーバ１０４はまた、１つ以上の通信インターフェース７４８を含み得る。通信インターフェース７４８は、電子デバイス１０４と、サーバ７０６、インターフェースデバイス、ルータなどの他のデバイスとの間の通信を提供するように構成されている。通信インターフェース７４８は、パーソナルエリアネットワーク（ＰＡＮ）、有線及び無線ローカルエリアネットワーク（ＬＡＮ）、有線及び無線ワイドエリアネットワーク（ＷＡＮ）などに結合するように構成されたデバイスを含み得る。例えば、通信インターフェース３０８は、イーサネット、Ｗｉ－Ｆｉ（商標）などと互換性のあるデバイスを含み得る。

【0123】

電子デバイス１０４は、１つ以上の距離コンポーネント７４０を更に含み得る。距離コンポーネント７４０は、限定されないが、ＩＲセンサ、ＬＩＤＡＲセンサ、及び／又は対象物の距離を検出し得る任意の他のタイプのセンサを含み得る。

【0124】

電子デバイス１０４はまた、電子デバイス１０４の様々なモジュールとコンポーネントとの間のデータの転送を可能にする１つ以上のバス又は他の内部通信ハードウェア若しくはソフトウェアを含み得る。

【0125】

図１０に示すように、電子デバイス１０４は、１つ以上のメモリ７２２を含む。このメモリ７２２は、１つ以上のコンピュータ可読記憶媒体（ＣＲＳＭ）を含む。このＣＲＳＭは、電子記憶媒体、磁気記憶媒体、光学記憶媒体、量子記憶媒体、機械的コンピュータ記憶媒体などのうちのいずれか１つ以上であってもよい。メモリ７２２は、電子デバイス１０４の動作のためのコンピュータ可読命令、データ構造、プログラムモジュール、及び他のデータの記憶装置を提供する。いくつかの例示的な機能モジュールが、メモリ７２２内に記憶されて示されているが、同じ機能性は、代替的に、ハードウェア、ファームウェアで、又はシステムオンチップ（ＳＯＣ）として実装され得る。

【0126】

メモリ７２２は、少なくとも１つのオペレーティングシステム（ＯＳ）１００４を含み得る。ＯＳ１００４は、Ｉ／Ｏインターフェース７３４、撮像センサ７１４、視覚インジケータ１０８、及び距離コンポーネント７４０などのハードウェアリソースデバイスを管理し、プロセッサ７２０上で実行されるアプリケーション又はモジュールに様々なサービスを提供するように構成されている。ＯＳ１００４は、ＦｒｅｅＢＳＤプロジェクトによって配布されたＦｒｅｅＢＳＤ（商標）オペレーティングシステムの変形例、他のＵＮＩＸ（登録商標）又はＵＮＩＸ（登録商標）のような変形例、Ｌｉｎｕｓ Ｔｏｒｖａｌｄｓによって配布されたＬｉｎｕｘ（登録商標）オペレーティングシステムの変形例、Ｒｅｄｍｏｎｄ，Ｗａｓｈｉｎｇｔｏｎ，ＵＳＡのＭｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓ（登録商標）サーバオペレーティングシステムなどを実装し得る。

【0127】

以下のコンポーネントのうちの１つ以上はまた、メモリ７２２内に記憶され得る。これらのモジュールは、フォアグラウンドアプリケーション、バックグラウンドタスク、デーモンなどとして実行され得る。

【0128】

通信コンポーネント１００６は、サーバ７０６及び／又は他のデバイスとの通信を確立するように構成されてもよい。これらの通信は、認証、暗号化などされ得る。

【0129】

登録コンポーネント１００８は、（例えば、バックエンド登録コンポーネント８１４と同様に）ユーザ認識システムの使用のためにユーザを登録するための様々な動作を実施するように構成されていてよい。例えば、登録コンポーネント１００８は、ユーザ認識システムにユーザを登録するために、様々な動作を実施してもよく、かつ／又は他のコンポーネントに様々な動作を実施させてもよい。場合によっては、登録コンポーネント１００８は、ユーザの手のひら又は他の部分を描写する画像データ７４４を分析するための動作を実施する、手のひら識別コンポーネント１０１０を少なくとも部分的に制御し得る。いくつかの例では、登録コンポーネント１００８は、手のひら識別コンポーネント１０１０に、画像データ７４４を分析させ、手のひら特徴データ１０１２などのユーザの手のひらを表す特徴を抽出させ得る。

【0130】

手のひら特徴データ１０１２を取得、判定、及び／又は生成した後、登録コンポーネント１００８は、ユーザがユーザ認識システムの使用のために登録されていることを示す登録データベース１０１４にユーザを登録してもよい。いくつかの例では、登録コンポーネント１００８は、様々なデータをユーザに関連付けられたユーザプロファイル／アカウント１０１６に関連付けるか又はマッピングし得る。例えば、登録コンポーネント１００８は、各登録ユーザについて、それぞれの手のひら特徴データ１０１２を、登録データベース１０１４内の対応するユーザプロファイル１０１６にマッピングしてもよい。したがって、登録データベース１０１４は、ユーザプロファイル１０１６の指標、並びにユーザプロファイル１０１６の各々に関連付けられたユーザについてのデータを記憶してもよい。ユーザがユーザ認識システムの使用のために登録されるとき、登録コンポーネント１００８は、ユーザの手のひら特徴データ１０１２とそのユーザについてのユーザプロファイル１０１６との間の関連付けをマッピング又は記憶してもよい。

【0131】

更に、登録コンポーネント１００８は、訓練コンポーネント１０１８に１つ以上の訓練されたモデル１０２０を訓練させ得る。訓練コンポーネント１０１８は、手のひら特徴データ１０１２を利用して、訓練されたモデル１０２０を訓練し、画像データ７４４から手のひら特徴データ１０１２を抽出及び／又は生成するための様々な動作を実施し得る。訓練されたモデル１０２０には、人工ニューラルネットワーク、分類子、決定木、サポートベクトルマシン、Ｂａｙｅｓｉａｎネットワークなどを含むがこれらに限定されない、機械学習モデルなどの任意のタイプのモデルが含まれ得る。

【0132】

具体例として、訓練されたモデル１０２０は、入力として受信された画像データ７４４を分析し、ユーザの手のひらを表す手のひら特徴データ１０１２を抽出、判定、識別、生成などするように訓練された、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク、及び／若しくは任意の他の人工ネットワークを含むか又は構成してもよい。具体例として、手のひら特徴データ１０１２は、ユーザの手のひらを表す１２８次元特徴ベクトルを含み得る。訓練されたモデル１０２０が１つ以上のＣＮＮを含む例では、様々な機能を利用して、画像データ７４４をトリプレット損失関数などのメトリック空間に変換してもよい。したがって、訓練コンポーネント１０１８は、入力された画像データ７４４から手のひら特徴データ１０１２を抽出、識別、又は別様に判定するために、トリプレット損失関数などの様々な機能を使用して、訓練されたモデル１０２０のＣＮＮを訓練してもよい。メトリクス空間に入ると、抽出された特徴データは、抽出された特徴データと登録データベース１０１４に記憶された特徴データとの間の距離を計算することによって比較又はマッチングされてもよい。例えば、訓練されたモデル１０２０によって、特徴データが画像データ７４４から手のひら特徴データ１０１２に抽出されると、次いで、抽出された手のひら特徴データ１０１２が登録データベース１０１４に記憶されたデータと比較されて、入力画像データ７４４で表されるユーザのユーザプロファイルを識別し得る。例えば、抽出された手のひら特徴データ１０１２は、記憶されたどのベクトルが抽出された特徴データ間の最小の「距離」を有するかを識別するために、登録データベース１０１４内の記憶されたベクトルと比較されるベクトルを含み得る。この距離が小さいほど、抽出された特徴データと、ユーザ認識システムの使用のために登録されているユーザを表す記憶された特徴データとの間の対応関係の強度が近くなる。いくつかの例では、訓練されたモデル１０２０によって利用されるネットワークに応じて、２つのベクトル間の角度の余弦を求めるなど、他の計算が実施されてもよい。ただし、任意のタイプのモデルが、訓練されたモデル１０２０のために利用されてもよい。

【0133】

手のひら識別コンポーネント１０１０は、様々な動作を実施するための様々なサブコンポーネントを含んでもよい。例えば、手のひら識別コンポーネント１０１０は、画像データ７４４から特徴データを抽出又は別様に生成するための手のひら特徴生成コンポーネント１０２２を含み得る（例えば、手のひら特徴生成コンポーネント８０６に類似している）。手のひら特徴生成コンポーネント１０１０は、任意のタイプの特徴抽出方法、又は埋め込みを実施して、画像データ７４４を分析し、手のひら特徴データ１０１２を抽出するために、訓練されたモデル１０２０を利用してもよく、かつ／又はアルゴリズムを含んでもよい。例えば、手のひら特徴生成コンポーネント１０２２は、クラスタリング、人工ニューラルネットワーク、スケール不変特徴変換、エッジ検出、又は任意の他のタイプの抽出若しくは埋め込み技術などの最先端モデルを利用して、画像データ７４４から手のひら特徴データ１０１２を抽出し得る。

【0134】

手のひら識別コンポーネント１０１０は、ユーザの特徴データを集約するように構成された、手のひら特徴集約コンポーネント１０２４を更に含んでもよい（例えば、手のひら特徴集約コンポーネント８１０に類似している）。例えば、手のひら特徴集約コンポーネント１０２４は、手のひら特徴データ１０１２における特徴を平均化するなどして、ユーザを描写する画像のグループから抽出された手のひら特徴データ１０１２を組み合わせてもよい。

【0135】

ユーザがユーザ認識システムの使用のために登録されると、個人情報判定コンポーネント１０２６を利用して、電子デバイス１０４と対話したユーザの個人情報を判定及び／又は検証することができる。例えば、電子デバイス１０４は、画像データ７４４及び個人情報判定コンポーネント１０２６（個人情報判定コンポーネント９０８に類似し得る）を使用して、ユーザの個人情報を判定してもよく、ここで、登録データベース１０１４は、例えば、そのユーザの個人情報に関連付けられたユーザプロファイル１０１６を示すことによって、ユーザの個人情報を示す。

【0136】

個人情報判定コンポーネント１０２６は、受信した画像データ７４４に手のひらが描写されているユーザを判定又は識別するための様々な動作を、手のひら特徴対応コンポーネント１０２８に実施させてもよい。例えば、手のひら特徴対応コンポーネント１０２８は、それぞれの手のひら特徴データ１０１２が抽出された手のひら特徴データ１０１２に対応する１人以上のユーザのユーザプロファイル１０１６を決定するために、受信された画像データ７４４の手のひら特徴データ１０１２を、ユーザ認識システムに登録されたユーザの異なるユーザプロファイル１０１６に関して登録データベース１０１４に記憶された手のひら特徴データ１０１２と比較してもよい。場合によっては、手のひら特徴対応コンポーネント１０２８によって計算されたスコアが閾値と比較され得、スコアが閾値よりも大きい場合、ユーザの識別をもたらし得る。複数のユーザプロファイルが閾値よりも大きいスコアに関連付けられている場合、最も高いスコアに関連付けられたユーザプロファイルが、画像データ７４４に関連付けられていると見なされてもよく、かつ／又は適切なユーザを識別するために更なる分析が実施されてもよい。更に、場合によっては、ユーザ認識システムは、初期比較に基づいて、それぞれの手のひら特徴データ１０１２が抽出された手のひら特徴データ１０１２に最も強く対応するユーザのユーザプロファイル１０１６のトップ「Ｎ」個のグループを識別するために、セット削減技術を採用し得る。いくつかの例では、単一のユーザプロファイル１０１６が、入力された手のひら特徴データ１０１２に対応するものとして判定され得る。しかしながら、いくつかの例では、トップ「Ｎ」個の候補のグループは、訓練されたモデル１０２０によって、抽出された手のひら特徴データ１０１２に対する強度の閾値量（例えば、５０％対応、１０５％対応など）に対応するものとして識別されてもよい。次いで、第２のレベルのより深い分析を実施して、「Ｎ」個の候補から単一のユーザを識別してもよい。

【0137】

更に、メモリ７２２は、古い特徴データの削除及びより最近の特徴データの使用を可能にするために、ユーザプロファイルと関連付けて記憶された手のひら特徴データ１０１２を更新するように構成された登録更新コンポーネント１０３０を記憶してもよい（例えば、登録更新コンポーネント９１０と類似している）。上で紹介したように、ユーザが経時的にユーザの手のひらの画像データを提供すると、登録更新コンポーネント１０３０は、この新しい画像データからの特徴データを使用して、ユーザに関連付けられた追加の特徴データを生成し、記憶してもよい。更に、登録更新コンポーネント１０３０は、より古い特徴データに関連付けられた重みを削除又は軽減し得る。

【0138】

加えて、メモリ７２２は、１つ以上の事前定義されたイベントの発生に応答して、１つ以上の監査プロセスを実施するように構成された監査コンポーネント１０３２を記憶してもよい。例えば、監査コンポーネント１０３２は、システムによって以前に行われたエラーを識別するために、それぞれのユーザプロファイルに関連付けられた手のひら特徴データを互いに豊富に比較することを含む夜間監査プロセスを実施してもよい。エラーを識別した後、システムはエラーを補正してもよく、また、この情報を使用して、登録コンポーネント１００８によって実施されるものと同様の技術を利用して、訓練されたモデル１０２０を更に訓練してもよい。

【0139】

更に、メモリ７２２は、抽出された手のひら特徴データ１０１２の品質の全体的なメトリックを決定する品質チェックコンポーネント１０３４を記憶してもよい。例えば、品質チェックコンポーネント１０３４は、様々な理由からユーザに関する追加の画像データ７４４を取得する必要があると判定し得る。

【0140】

また、メモリ７２２は、電子デバイス１０４（及び／又は電子デバイス１０４の撮像コンポーネント）に対する手の場所を判定するように構成された場所検出コンポーネント１０３６を記憶してもよい。例えば、本明細書に記載されるように、場所検出コンポーネント１０３６は、手に位置する１つ以上の点を判定し得る。次に、場所検出コンポーネント１０３６は、１つ以上の点を使用して、電子デバイス１０４に対する手のひらの中心を識別し得る。場合によっては、場所検出コンポーネント１０３６は、所与の時間間隔で手の場所を判定する。例えば、場所検出コンポーネント１０３６は、ミリ秒、秒、及び／又は同様の時間ごとにユーザの手の場所を判定してもよい。いくつかの例では、場所検出コンポーネント１０３６は、画像データ７４４によって表される各フレーム、画像データ７４４によって表される１つおきのフレーム、画像データ７４４によって表される５つおきのフレーム、及び／又は同様のものを使用して、ユーザの手の場所を判定する。

【0141】

メモリ７２２はまた、本明細書に記載のユーザインターフェースを生成及び／又は更新するように構成されたユーザインターフェースコンポーネント７３０を記憶してもよい。例えば、手が検出されると、ユーザインターフェースコンポーネント７３０は、視覚インジケータ１０８に手を配置するための命令を出力させてもよい。次に、ユーザインターフェースコンポーネント７３０は、場所検出コンポーネント１０３６によって判定された場所を使用して、手の現在の場所を示す視覚インジケータ１０８を提示及び／又は更新してもよい。場所検出コンポーネント１０３６が、手の場所が目標場所に近接していると判定すると、ユーザインターフェースコンポーネント７３０は、視覚インジケータ１０８に、電子デバイス１０４が生体認証データをキャプチャしたことを示すようにさせてもよい。

【0142】

図１１Ａ～１２は、生体認証データの入力に関連付けられた命令を提供するための様々なプロセスを示す。本明細書に説明されるプロセスは、動作のシーケンスを表す論理フロー図内のブロックの集合として例示され、それらの一部又は全部は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得る。ソフトウェアの文脈では、ブロックは、１つ以上のプロセッサによって実行されたときに、列挙される動作を実施するようにプロセッサをプログラムする、１つ以上のコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を表し得る。一般に、コンピュータ実行可能命令は、特定の機能を実施するか、又は特定のデータ型を実装する、ルーチン、プログラム、対象物、コンポーネント、データ構造などを含む。ブロックが説明される順序は、特に明記されない限り、限定的に解釈されるべきではない。任意の数の説明されたブロックは、プロセス、又は代替的なプロセスを実装するために任意の順序で及び／又は並列に組み合わせられてもよく、全てのブロックが実行される必要はない。

【0143】

図１１Ａ～１１Ｂは、電子デバイス１０４に対する目標場所に手を配置することに関連付けられた命令を提供するための、例示的なプロセス１１００のフロー図を示す。１１０２において、プロセス１１００は、第１の距離センサを使用して第１のセンサデータを生成することを含み得、１１０４において、プロセス１１００は、第１のセンサデータを分析して、第１の距離センサが電子デバイスの第１の部分上で手を検出したことを判定することを含み得る。例えば、電子デバイス１０４は、第１の距離センサを使用して第１のセンサデータを生成し得る。第１の距離センサは、電子デバイスの第１の部分に関連付けられ得る。次に、電子デバイス１０４は、第１のセンサデータを分析して、第１の距離センサが手を検出したことを判定し得る。このように、電子デバイス１０４は、手が電子デバイスの第１の部分上に位置していることを判定することができる。

【0144】

１１０６において、プロセス１１００は、第２の距離センサを使用して第２のセンサデータを生成することを含み得、１１０８において、プロセス１１００は、第２のセンサデータを分析して、第２の距離センサが電子デバイスの第２の部分上で手を検出しなかったことを判定することを含み得る。例えば、電子デバイス１０４は、第２の距離センサを使用して第２のセンサデータを生成し得る。第２の距離センサは、電子デバイスの第２の部分に関連付けられ得る。次に、電子デバイス１０４は、第２のセンサデータを分析して、第２の距離センサが手ではなかったことを判定し得る。このように、電子デバイス１０４は、手が電子デバイスの第２の部分上に位置していないことを判定することができる。

【0145】

１１１０において、プロセス１１００は、視覚インジケータの第１の部分に、手が電子デバイスの第１の部分上で検出されたことを示させることを含み得る。例えば、第１の距離センサが手を検出することに基づいて、電子デバイス１０４は、第１の時間に、視覚インジケータの第１の部分に、手が電子デバイス１０４の第１の部分上で検出されたという第１の指標を出力させ得る。視覚インジケータの第１の部分は、視覚インジケータの第１の部分が、手が第１の距離センサによって検出されるときに指標を提供するように、第１の距離センサに関連付けられてもよい。視覚インジケータが光放射体（例えば、光リング）を含むときなど、場合によっては、第１の指標は、視覚インジケータの第１の部分に位置する光放射体のうちの１つ以上を使用して光を放射することを含む。視覚インジケータが表示部を含むときなど、場合によっては、第１の視覚的指標は、表示部の第１の部分に第１の指標を提示させることを含む。

【0146】

１１１２において、プロセス１１００は、視覚インジケータの第２の部分に、手が電子デバイスの第２の部分上で検出されなかったことを示させることを含み得る。例えば、第２の距離センサが手を検出しないことに基づいて、電子デバイス１０４は、第１の時間に、視覚インジケータの第２の部分に、手が電子デバイス１０４の第２の部分上で検出されなかったことを示させ得る。視覚インジケータの第２の部分は、視覚インジケータの第２の部分が、手が第２の距離センサによって検出されるときに指標を提供するように、第２の距離センサに関連付けられてもよい。視覚インジケータが光放射体を含むときなど、場合によっては、視覚インジケータの第２の部分に関連付けられた光放射体のうちの１つ以上は、光の放射を控え得る。視覚インジケータが表示部を含むときなど、場合によっては、表示部の第２の部分はコンテンツの提示を控え得る。

【0147】

１１１４において、プロセス１１００は、第１の距離センサを使用して第３のセンサデータを生成することを含み得、１１１６において、プロセス１１００は、第３のセンサデータを分析して、第１の距離センサが電子デバイスの第１の部分上で手を検出したことを判定することを含み得る。例えば、電子デバイス１０４は、第１の距離センサを使用して第３のセンサデータを生成し得る。次に、電子デバイス１０４は、第３のセンサデータを分析して、第１の距離センサが手を検出したことを判定し得る。このように、電子デバイス１０４は、手が電子デバイスの第１の部分上に依然として位置していることを判定することができる。

【0148】

１１１８において、プロセス１１００は、第２の距離センサを使用して第４のセンサデータを生成することを含み得、１１２０において、プロセス１１００は、第４のセンサデータを分析して、第２の距離センサが電子デバイスの第２の部分上で手を検出したことを判定することを含み得る。例えば、電子デバイス１０４は、第２の距離センサを使用して第４のセンサデータを生成し得る。次に、電子デバイス１０４は、第４のセンサデータを分析して、第２の距離センサが手を検出したことを判定し得る。このように、電子デバイス１０４は、手が電子デバイスの第２の部分上に位置していることを判定することができる。

【0149】

１１２２において、プロセス１１００は、視覚インジケータの第１の部分に、手が電子デバイスの第１の部分上で検出されたことを示させることを含み得る。例えば、第１の距離センサが再び手を検出することに基づいて、電子デバイス１０４は、第２の時間に、視覚インジケータの第１の部分に、手が電子デバイス１０４の第１の部分上で検出されたという第２の指標を出力させ得る。視覚インジケータが光放射体を含むときなど、場合によっては、第２の指標は、視覚インジケータの第１の部分に位置する光放射体のうちの１つ以上を使用して光を放射することを含む。視覚インジケータが表示部を含むときなど、場合によっては、第２の視覚的指標は、表示部の第１の部分に第２の指標を提示させることを含む。

【0150】

１１２４において、プロセス１１００は、視覚インジケータの第２の部分に、手が電子デバイスの第２の部分上で検出されたことを示させることを含み得る。例えば、第２の距離センサが手を検出することに基づいて、電子デバイス１０４は、第２の時間に、視覚インジケータの第２の部分に、手が電子デバイス１０４の第２の部分上で検出されたという第３の指標を出力させ得る。視覚インジケータが光放射体を含むときなど、場合によっては、第３の指標は、視覚インジケータの第２の部分に位置する光放射体のうちの１つ以上を使用して光を放射することを含む。視覚インジケータが表示部を含むときなど、場合によっては、第３の視覚的指標は、表示部の第２の部分に第３の指標を提示させることを含む。

【0151】

１１２６において、プロセス１１００は、撮像デバイスを使用して画像データを生成することを含み得、１１２８において、プロセス１１００は、画像データに少なくとも部分的に基づいてアカウントを識別することを含み得る。例えば、手が電子デバイス１０４に対して目標場所に来ると（例えば、第１の距離センサ及び第２の距離センサが手を検出すると）、電子デバイス１０４は、画像データを生成し得る。次に、電子デバイス１０４は、画像データを分析してアカウントを識別し得る。例えば、電子デバイス１０４は、ユーザプロファイルと関連付けて記憶された特徴データを参照して、画像データに対応する特徴データを分析し得る。分析に基づいて、電子デバイス１０４は、画像データに対応する特徴データと、ユーザプロファイルに関連付けられた特徴データとの間のマッチングを識別し得る。電子デバイス１０４は、このマッチングを使用してユーザプロファイルを識別してもよい。

【0152】

図１２は、電子デバイス１０４に対する目標場所にユーザの一部分を配置することに関連付けられた命令を提供するための、例示的なプロセス１２００のフロー図を示す。１２０２において、プロセス１２００は、１つ以上のセンサを使用してセンサデータを生成することを含み得、１２０４において、プロセス１２００は、センサデータに少なくとも部分的に基づいて、ユーザの一部分の場所及び角度を判定することを含み得る。例えば、電子デバイス１０４は、１つ以上の距離センサ及び／又は１つ以上の撮像デバイスを使用してセンサデータを生成し得る。次に、電子デバイス１０４は、センサデータを分析して、ユーザの一部分が電子デバイス１０４に対する場所に位置していることを判定し得る。センサデータが１つ以上の距離センサを使用して生成されるときなど、場合によっては、電子デバイス１０４は、ユーザの一部分を検出した距離センサに基づいて場所を判定してもよい。センサデータが１つ以上の撮像デバイスを使用して生成されるときなど、場合によっては、電子デバイス１０４は、センサデータによって表される特徴を分析することに基づいて場所を判定してもよい。

【0153】

電子デバイス１０４はまた、センサデータを分析して、ユーザの一部分に関連付けられた角度を判定し得る。センサデータが１つ以上の距離センサによって生成されるときなど、場合によっては、電子デバイス１０４は、距離センサからユーザの一部分までの検出された距離に基づいて角度を決定してもよい。センサデータが１つ以上の撮像デバイスによって生成されるときなど、場合によっては、電子デバイス１０４は、センサデータによって表される特徴を分析することに基づいて角度を判定してもよい。

【0154】

１２０６において、プロセス１２００は、場所が目標垂直距離を満たすか否かを判定することを含み得る。例えば、電子デバイス１０４は、ユーザの一部分の場所が目標垂直距離を満たすかどうかを判定し得る。場合によっては、電子デバイス１０４は、場所が目標垂直距離に関連付けられた範囲内にあるときに場所が目標垂直距離を満たすと判定し、場所が目標垂直距離に関連付けられた範囲の外側（例えば、範囲より大きいか又は範囲未満）にあるときに場所が目標垂直距離を満たさないと判定し得る。

【0155】

１２０６において、場所が目標垂直距離を満たさないと判定された場合、次いで１２０８において、プロセス１２００は、ユーザの一部分を調整することに関連付けられた命令を視覚インジケータに提供させることを含み得る。例えば、電子デバイス１０４が、場所が目標垂直距離を満たさないと判定する場合、電子デバイス１０４は、ユーザの一部分が低すぎるか又は高すぎるかのいずれかであるという命令を提供し得る。視覚インジケータが複数の光放射体（例えば、光リング）を含むときなど、場合によっては、視覚インジケータは、ある色の光を放射し、ある光パターンを放射し、かつ／又はある明るさの光を放射することによって、命令を提供してもよい。視覚インジケータが表示部を含む場合など、場合によっては、視覚インジケータは、表示部上にコンテンツを表示することによって命令を提供してもよい。

【0156】

ただし、１２０６において、場所が目標垂直距離を満たすと判定される場合、１２１０において、プロセス１２００は、場所が目標水平場所を満たすかどうかを判定することを含み得る。例えば、電子デバイス１０４は、ユーザの一部分の場所が目標水平場所を満たすかどうかを判定し得る。場合によっては、電子デバイス１０４は、場所がｘ方向に関連付けられた第１の範囲内にあり、ｙ方向に関連付けられた第２の範囲内にあるときに、場所が目標水平場所を満たすと判定してもよい。加えて、電子デバイス１０４は、場所がｘ方向に関連付けられた第１の範囲又はｙ方向に関連付けられた第２の範囲の外側にあるときに、場所が目標水平場所を満たさないと判定してもよい。

【0157】

１２１０において、場所が目標水平場所を満たさないと判定された場合、１２０８において、プロセス１２００は、視覚インジケータに、ユーザの一部分を調整することに関連付けられた命令を提供させることを再び含み得る。例えば、電子デバイス１０４が、場所が目標水平場所を満たさないと判定する場合、電子デバイス１０４は、ユーザの一部分が左に離れすぎている、前に離れすぎている、右に離れすぎている、及び／又は後ろに離れすぎている、のいずれかであるという命令を提供し得る。視覚インジケータが複数の光放射体を含むときなど、場合によっては、視覚インジケータは、ユーザの一部分の場所に関連付けられた光放射体の一部分を使用して光を放射することによって、命令を提供してもよい。視覚インジケータが表示部を含むときなど、場合によっては、視覚インジケータは、ユーザの一部分の場所に関連付けられた表示部の一部分を使用してコンテンツを表示することによって、命令を提供してもよい。

【0158】

ただし、１２１０において、場所が目標水平場所を満たすと判定される場合、１２１２において、プロセス１２００は、角度が目標角度を満たすかどうかを判定することを含み得る。例えば、電子デバイス１０４は、ユーザの一部分の角度が目標角度を満たすかどうかを判定し得る。場合によっては、電子デバイス１０４は、角度が目標角度に関連付けられた範囲内にあるときに、角度が目標角度を満たすと決定してもよい。加えて、電子デバイス１０４は、角度が目標角度の外側にあるときに、角度が目標角度を満たさないと判定してもよい。

【0159】

１２１２において、角度が目標角度を満たさないと判定された場合、１２０８において、プロセス１２００は、視覚インジケータに、ユーザの一部分を調整することに関連付けられた命令を提供させることを再び含み得る。例えば、電子デバイス１０４が、角度が目標角度を満たさないと判定する場合、電子デバイス１０４は、ユーザの一部分の角度が付きすぎているという命令を提供し得る。視覚インジケータが複数の光放射体を含むときなど、場合によっては、視覚インジケータは、光放射体の第１の部分を使用して、第１の色の光、第１の光パターン、及び／又は第１の明るさの光を放射し、かつ光放射体の第２の部分を使用して、第２の色の光、第２の光パターン、及び／又は第２の明るさの光を放射することによって、命令を提供してもよい。視覚インジケータが表示部を含むときなど、場合によっては、視覚インジケータは、表示部の第１の部分を使用して第１のコンテンツを表示し、かつ表示部の第２の部分を使用して第２のコンテンツを表示することによって、命令を提供してもよい。

【0160】

ただし、１２１２において、角度が目標角度を満たすと判定された場合、１２１４において、プロセスは、視覚インジケータに、ユーザの一部分が目標場所にあることを示させることを含み得る。例えば、電子デバイス１０４が、角度が目標角度を満たすと判定する場合、電子デバイス１０４は、ユーザの一部分の場所が目標場所にあることを示し得る。視覚インジケータが複数の光放射体を含むときなど、場合によっては、視覚インジケータは、光放射体を使用して、ある色の光、ある光パターン、及び／又はある明るさの光を放射することによって指標を提供してもよい。視覚インジケータが表示部を含む場合など、場合によっては、視覚インジケータは、コンテンツを表示することによって指標を提供してもよい。

【0161】

図１２に示されるように、プロセスは、１２０８において命令を提供した後、１２０２に戻って繰り返してもよいことに留意されたい。また、場合によっては、１２０６、１２１０、及び／若しくは１２１２の順序は入れ替わってもよく、かつ／又はプロセス１２００は、１２０６、１２１０、若しくは１２１２のうちの１つ以上を含まなくてもよいことに留意されたい。

【0162】

図１３及び１４は、マテリアルハンドリング施設６０２などの例示的なマテリアルハンドリング環境を表し、そこでは、本明細書に記載の技術が、以下に説明されるように、環境を監視するカメラに適用され得る。ただし、以下の説明は、単に、本明細書に記載の技術が利用され得る業界及び環境の１つの例示的な例であるにすぎない。

【0163】

在庫商品を記憶及び管理するように構成されたマテリアルハンドリング施設１３０２（例えば、施設１３０２）の実装形態が図１３に示される。マテリアルハンドリング施設１３０２は、内部に１つ以上の商品１３０４（１）、１３０４（２）、…、１３０４（Ｑ）（概して１３０４として表記する）を保有し得る１つ以上の物理的構造又はエリアを含む。この開示で使用される場合、「（Ｑ）」などの括弧内の文字は、整数の結果を示す。商品１３０４は、本、医薬品、修理部品、電子機器、食料雑貨品などの物理的な品物を含む。

【0164】

施設１３０２は、在庫の取り扱いに関する様々な機能のために指定される１つ以上のエリアを含み得る。この説明図では、施設１３０２は、荷受けエリア１３０６、保管エリア１３０８、及び移行エリア１３１０を含む。荷受けエリア１３０６は、施設１３０２への受け取りのために、納入業者などから商品１３０４を受け入れるように構成され得る。例えば、荷受けエリア１３０６は、トラック又は他の貨物輸送装置が商品１３０４をおろす配送センターを含み得る。

【0165】

保管エリア１３０８は、商品１３０４を保管するように構成されている。保管エリア１３０８は、様々な物理的構成で整理され得る。一実施態様では、保管エリア１３０８は、１つ以上の通路１３１２を含み得る。通路１３１２は、通路１３１２の片側又は両側の在庫場所１３１４で構成され得るか、又はその在庫場所によって規定され得る。在庫場所１３１４は、棚、ラック、ケース、キャビネット、収納箱、床場所、又は商品１３０４を保有又は保管するための他の好適な保管機構のうちの１つ以上を含み得る。在庫場所１３１４は、床又は施設の構造の別の部分に設けられ得るか、又は通路１３１２の配置が再構成可能であり得るように、移動可能であり得る。いくつかの実施態様では、在庫場所１３１４は、外部の業者とは独立して移動するように構成され得る。例えば、在庫場所１３１４は、ラックを施設１３０２内のある場所から別の場所に移動させることができるように、コンピューティングデバイスによって動作可能である、電源及びモータ付きラックを含み得る。

【0166】

１人以上のユーザ１３１６（１）、１３１６（２）、…、１３１６（Ｕ）（概して１３１６として表記する）、トート１３１８（１）、１３１８（２）、…、１３１８（Ｔ）（概して１３１８として表記する）、又は他のマテリアルハンドリング装置が、施設１３０２内を移動し得る。例えば、ユーザ１３１６は、施設１３０２内の周りを移動して、様々な在庫場所１３１４内で商品１３０４を選択又は配置し、輸送を容易にするために、それらをトート１３１８上に置き得る。個々のトート１３１８は、１つ以上の商品１３０４を運搬又は別様に輸送するように構成されている。例えば、トート１３１８は、バスケット、カート、バッグなどを含み得る。他の実施態様では、ロボット、フォークリフト、クレーン、無人飛行機などの他の仲介物が、施設１３０２の周りを移動して、商品１３０４を選択し、配置し、又は別様に移動させ得る。

【0167】

１つ以上のセンサ１３２０が、施設１３０２内の情報を取得するように構成され得る。施設１３０２内のセンサ１３２０は、環境内に固定されたセンサ（例えば、天井取り付けカメラ）、又はそれ以外の場合では、ユーザが所有しているセンサなど（例えば、携帯電話、タブレットなど）を含み得る。センサ１３２０は、カメラ１３２０（１）、重量センサ、高周波（ＲＦ）受信機、温度センサ、湿度センサ、振動センサなどを含み得るが、これらに限定されない。センサ１３２０は、施設１３０２に対して、静止した状態でも、又は移動可能であってもよい。例えば、在庫場所１３１４は、施設１３０２内のユーザ１３１６（１）及び１３１６（２）などの、棚上の商品１３０４の選択又は配置の画像を取得するように構成されたカメラ１３２０（１）を含み得る。別の例では、施設１３０２の床は、ユーザ１３１６、又はそのユーザ上の他の対象物の重量を決定するように構成された重量センサを含み得る。

【0168】

施設１３０２の運用中、センサ１３２０は、対象物の新たな場所又は施設１３０２内での他の発生を特定するために好適な情報を提供するように構成され得る。例えば、カメラ１３２０（１）によって取得された一連の画像は、特定の在庫場所１３１４からの、ユーザ１３１６のうちの１人による商品１３０４の除去、及びトート１３１８のうちの１つに、又はその内部に少なくとも部分的に、商品１３０４を配置することを示し得る。

【0169】

保管エリア１３０８は、１つ以上の通路１３１２、商品１３０４を保管する在庫場所１３１４、センサ１３２０などを有するものとして示してあるが、荷受けエリア１３０６、移行エリア１３１０、又は施設１３０２の他のエリアは、同様に装備され得ることが理解される。更に、施設１３０２内の様々なエリアの配置は、概略的ではなく、機能的に図示してある。例えば、複数の異なる荷受けエリア１３０６、保管エリア１３０８、及び移行エリア１３１０は、施設１３０２内で分離されるのではなく、分散され得る。

【0170】

施設１３０２は、在庫管理システム１３２２を含むか、又はそれと結合し得る。在庫管理システム１３２２は、荷受けエリア１３０６、保管エリア１３０８、又は移行エリア１３１０のうちの１つ以上の中で、ユーザ１３１６との、及びセンサ１３２０、ロボット、マテリアルハンドリング装置、コンピューティングデバイスなどのデバイスとの対話、並びにそれらの間の対話を識別するように構成されている。これらの対話には、１つ以上のイベント１３２４が含まれ得る。例えば、イベント１３２４には、施設１３０２へのユーザ１３１６の入場、在庫場所１３１４における商品１３０４の備蓄、在庫場所１３１４からの商品１３０４の選択、在庫場所１３１４への商品１３０４の返却、トート１３１８内への商品１３０４の配置、ユーザ１３１６の互いに対する動き、ユーザ１３１６によるジェスチャなどが含まれ得る。ユーザ１３１６に関与する他のイベント１３２４には、ユーザ１３１６が施設１３０２内で認証情報を提供すること、施設１３０２にあるコンピューティングデバイスを使用して、個人情報を在庫管理システム１３２２に確認させることなどが含まれ得る。いくつかのイベント１３２４は、施設１３０２内の１つ以上の他の対象物に関与し得る。例えば、イベント１３２４は、車輪に取り付けられたカウンタなどの、在庫場所１３１４の施設１３０２内の移動を含み得る。イベント１３２４は、センサ１３２０のうちの１つ以上に関与し得る。例えば、センサの故障、位置合わせの変化などのセンサ１３２０の動作の変化は、イベント１３２４として指定され得る。この例を続けると、視野１３２８（例えば、カメラ）の配向の変化をもたらすカメラ１３２０（１）の動き（誰か又は何かがカメラ１３２０（１）に衝突して引き起こされることなど）が、イベント１３２４として指定されてもよい。

【0171】

イベント１３２４のうちの１つ以上の発生を判定することによって、在庫管理システム１３２２は、出力データ１３２６を生成し得る。この出力データ１３２６は、イベント１３２４についての情報を含む。例えば、イベント１３２４が、在庫場所１３１４から削除されている商品１３０４を含む場合、出力データ１３２６は、在庫場所１３１４から削除された特定の商品１３０４を示す商品識別子、及びその商品を削除したユーザのユーザ識別子を含み得る。

【0172】

在庫管理システム１３２２は、１つ以上の自動化システムを使用して、出力データ１３２６を生成し得る。例えば、人工ニューラルネットワーク、１つ以上の分類子、又は他の自動化機械学習技術を使用し、１つ以上のセンサ１３２０からのセンサデータを処理して、出力データ１３２６を生成し得る。この自動化システムは、確率的又は非確率的技術を使用して動作し得る。例えば、その自動化システムは、ベイズネットワークを使用し得る。別の例では、その自動化システムは、サポートベクトルマシンを使用して、出力データ１３２６又は暫定結果を生成し得る。自動化システムは、出力データ１３２６又は暫定的なデータが物理的な世界に対応する精度又は信頼性を示す情報を提供する信頼レベルデータを生成し得る。

【0173】

この信頼レベルデータは、使用中の自動化システムの種類に少なくとも部分的に基づいて、様々な技術を使用して生成され得る。例えば、ベイズネットワークを使用する確率的系は、その出力に割り当てられた確率を信頼レベルとして使用し得る。この例を続けると、ベイズネットワークは、画像データに描かれた商品が、メモリに以前記憶された商品に対応する確率が１３５％であることを示し得る。この確率は、画像データに描写されるように、その商品の信頼レベルとして使用され得る。

【0174】

別の例では、サポートベクトルマシンなどの非確率的技術からの出力は、商品の画像データ、及び以前記憶された商品の画像が分類された数学的空間内の距離に基づいて、信頼レベルを有し得る。以前記憶された画像などの基準点から、その発生中に取得された画像データまでの、この空間内の距離が大きいほど、信頼レベルが低くなる。

【0175】

更に別の例では、商品１３０４、ユーザ１３１６などの対象物の画像データは、以前記憶された画像のセットと比較され得る。画像データと、以前記憶された画像との間の差異が、評価されることが可能である。例えば、形状、色、画像内の特徴間の相対的割合などの差異である。それらの差異は、数学的空間との距離の観点から表現され得る。例えば、画像データに描写されるような対象物の色、及び以前記憶された画像に描写されるような対象物の色は、色空間内の座標として表現され得る。

【0176】

信頼レベルは、これらの差異に少なくとも部分的に基づいて、判定され得る。例えば、ユーザ１３１６は、在庫場所１３１４から、概して立方体形状である香水瓶などの商品１３０４（１）を選択し得る。近くの在庫場所１３１４にある他の商品１３０４は、圧倒的に球体であり得る。隣接する商品間の形状の違い（立方体対球体）、及び香水瓶商品１３０４（１）の以前記憶された画像との形状の一致（立方体及び立方体）に基づいて、ユーザ６０６が香水瓶商品１３０４（１）をピックアップしたという信頼レベルは高い。

【0177】

いくつかの状況では、自動化技術は、閾値結果を上回る信頼レベルを用いて出力データ１３２６を生成することができない場合がある。例えば、自動化技術は、ユーザ１３１６の群の中のどのユーザ１３１６が在庫場所１３１４から商品１３０４をピックアップしたかを区別することができない場合がある。他の状況では、イベント１３２４の人間による確認、又は出力データ１３２６の精度の人間による確認を提供することが望ましい場合がある。例えば、いくつかの商品１３０４は、それらが最小年齢閾値を超えるユーザ１３１６のみによって取り扱われ得るように、年齢制限されると見なされる場合がある。

【0178】

人間の確認が望まれる事例では、イベント１３２４に関連付けられたセンサデータは、問い合わせデータを生成するように処理され得る。この問い合わせデータは、イベント１３２４に関連付けられたセンサデータのサブセットを含み得る。この問い合わせデータはまた、自動化技術によって判定されるような１つ以上の暫定結果のうちの１つ以上、又は補足データも含み得る。センサデータのサブセットは、１つ以上のセンサ１３２０についての情報を使用して判定され得る。例えば、施設１３０２内のカメラ１３２０（１）の場所、カメラ１３２０（１）の配向、及びカメラ１３２０（１）の視野１３２８などのカメラデータを使用して、施設１３０２内の特定の場所が視野１３２８内にあるかどうか判定し得る。センサデータのサブセットは、在庫場所１３１４を示すことができるか、又は商品１３０４がしまい込まれたことを示すことができる画像を含み得る。センサデータのサブセットはまた、視野１３２８内にその在庫場所１３１４を有さなかった、他のカメラ１３２０（１）からの画像を省略し得る。視野１３２８は、センサ１３２０が周りでセンサデータを生成することができる、施設１３０２内の一部の場面を含み得る。

【0179】

この例を続けると、センサデータのサブセットは、商品１３０４を含む視野１３２８を有する１つ以上のカメラ１３２０（１）によって取得されたビデオクリップを含み得る。暫定結果は、どの商品１３０４がイベント１３２４に関与した可能性があるかに関する「最良の推測」を含み得る。例えば、暫定結果は、最小閾値を上回る信頼レベルを有する、自動化システムによって判定された結果を含み得る。

【0180】

施設１３０２は、様々な納入業者から異なる種類の商品１３０４を受け取り、顧客が商品１３０４のうちの１つ以上を注文し、又は取り出すまで、それらの商品を保管するように構成され得る。施設１３０２を通る商品１３０４の一般的な流れは、図１３の矢印によって示されている。具体的には、この例に示すように、商品１３０４は、荷受けエリア１３０６において、製造業者、販売業者、卸売り業者などの１つ以上の納入業者から取り出し得る。様々な実施態様では、商品１３０４は、施設１３０２を運営する企業の特質に応じて、製品、日用品、生鮮食料品、又は任意の好適な種類の商品１３０４を含み得る。商品１３０４の取り出しは、在庫管理システム１３２２が出力データ１３２６を生成し得る１つ以上のイベント１３２４を含み得る。

【0181】

荷受けエリア１３０６において、納入業者から受け取ると、商品１３０４は、保管のために準備され得る。例えば、商品１３０４は、開梱又は別様に再配置され得る。在庫管理システム１３２２は、開梱又は再配置に関連付けられたイベント１３２４に基づいて、在庫管理機能を提供するために、コンピュータシステム上で実行する１つ以上のソフトウェアアプリケーションを含み得る。これらの在庫管理機能は、商品１３０４に関する種類、数量、状態、費用、場所、重量、又は任意の他の好適なパラメータを示す情報を維持することを含み得る。商品１３０４は、パッケージ、カートン、枠箱、パレット、若しくは他の好適な集合体など、可算の個々の単位若しくは複数のものの観点から見て、備蓄され、管理され、又は払い出され得る。代替的に、大量製品、日用品などのいくつかの商品１３０４は、本質的に可算単位に編成することができない、連続的又は任意に分割可能な量で保管され得る。そのような商品１３０４は、長さ、面積、体積、重量、期間、持続時間、又は測定単位によって特徴付けられる他の寸法特性などの測定可能な量の観点から管理され得る。一般的に言えば、商品１３０４の数量は、商品１３０４の可算数の個々の単位か、若しくは集合単位かのどちらか、又は商品１３０４の測定可能な量のいずれかを適宜指し得る。

【0182】

荷受けエリア１３０６を通って到着した後、商品１３０４は、保管エリア１３０８内に保管され得る。いくつかの実施態様では、同様の商品１３０４は、収納箱の中、棚の上、ペグボードからの吊り下げなどの在庫場所１３１４にともに保管又は表示され得る。この実施態様では、所与の種類の全ての商品１３０４が、１つの在庫場所１３１４に保管される。他の実施態様では、同様の商品１３０４は、異なる在庫場所１３１４に保管され得る。例えば、大規模な物理的施設１３０２内に薄利多売の特定の商品１３０４の検索を最適化するために、それらの商品１３０４は、いくつかの異なる在庫場所１３１４内に保管されて、単一の在庫場所１３１４で発生する可能性がある混雑を減らし得る。商品１３０４及びそれらのそれぞれの在庫場所１３１４の記憶領域は、１つ以上のイベント１３２４を含み得る。

【0183】

１つ以上の商品１３０４を指定する顧客注文が受信されると、又は、ユーザ１３１６が施設１３０２を通って前進すると、対応する商品１３０４は、それらの商品１３０４を収容する在庫場所１３１４から選び、又は「選択」され得る。様々な実施態様では、商品の選択は、手動的選択から完全に自動化された選択までの範囲が広がり得る。例えば、一実施態様では、ユーザ１３１６は、所望の商品１３０４のリストを有し得、施設１３０２を通って進行して、保管エリア１３０８内の在庫場所１３１４から商品１３０４を選択し、それらの商品１３０４をトート１３１８に置き得る。他の実施態様では、施設１３０２の従業員は、顧客の注文から出ている書面又は電子的選択リストを使用して商品１３０４を選択し得る。これらの選択された商品１３０４は、従業員が施設１３０２を通って前進するときに、トート１３１８に置き得る。選択は、在庫場所１３１４に移動するユーザ１３１６、在庫場所１３１４からの商品１３０４の取り出しなど、１つ以上のイベント１３２４を含み得る。

【0184】

商品１３０４が選択された後、それらの商品は、移行エリア１３１０で処理され得る。移行エリア１３１０は、商品１３０４がある場所から別の場所に、又はあるエンティティから別のエンティティに移行される施設１３０２内の任意の指定されたエリアであり得る。例えば、移行エリア１３１０は、施設１３０２内の梱包ステーションであり得る。商品１３０４が移行エリア１３１０に到着すると、商品１３０４は、保管エリア１３０８から梱包ステーションに移行され得る。移行することは、１つ以上のイベント１３２４を含み得る。移行に関する情報は、それらのイベント１３２４に関連付けられた出力データ１３２６を使用して、在庫管理システム１３２２によって維持され得る。

【0185】

別の例では、商品１３０４が施設１３０２を出発している場合、商品１３０４のリストが在庫管理システム１３２２によって取得及び使用されて、商品１３０４の責任又は管理を、施設１３０２から別のエンティティに移行し得る。例えば、運送業者は、輸送のために商品１３０４を受け入れ得、その運送業者は、リストに示された商品１３０４に対する責任を受け入れる。別の例では、顧客は、商品１３０４を購入又は賃借し、施設１３０２から商品１３０４を削除し得る。この購入又は賃借は、１つ以上のイベント１３２４を含み得る。

【0186】

在庫管理システム１３２２は、施設１３０２、及びその中の内容物に関するセンサデータにアクセスするか、又はそのセンサデータを生成し得、そのセンサデータには、商品１３０４、ユーザ１３１６、トート１３１８などが含まれる。このセンサデータは、センサ１３２０のうちの１つ以上、他のシステムによって提供されるデータなどによって取得され得る。例えば、センサ１３２０は、施設１３０２内の場面の画像データを取得するように構成されたカメラ１３２０（１）を含み得る。この画像データは、静止画像、ビデオ、又はそれらの組み合わせを含み得る。この画像データは、在庫管理システム１３２２によって処理されて、ユーザ１３１６の場所、トート１３１８、ユーザ１３１６の個人情報などを判定し得る。本明細書で使用されるとき、ユーザの個人情報は、ユーザの一意の識別子（例えば、名前、ユーザに関連付けられた番号、ユーザ名など）、環境で識別される他のユーザ間でユーザを区別する識別子などを表し得る。

【0187】

在庫管理システム１３２２、又はそれに結合されたシステムは、ユーザ１３１６に関連付けられたプロファイルを識別し、同様に他の候補ユーザを判定するように構成され得る。一実施態様では、この判定は、センサデータを、以前に記憶された個人情報データと比較することを含み得る。ユーザ１３１６に関連付けられたプロファイルを識別することは、施設１３０２に入場する前、入場中、又は入場後に識別され得る。ユーザ１３１６に関連付けられたプロファイルの識別には、施設１３０２内のユーザ１３１６に関連付けられたセンサデータを、以前に記憶されたユーザデータと比較することが含まれ得る。

【0188】

いくつかの事例では、在庫管理システムは、施設内のユーザをそれぞれのセッションにグループ化する。すなわち、在庫管理システム１３２２は、センサデータを利用して、有効に「一緒に」（例えば、一緒に買い物をする）ユーザのグループを判定し得る。場合によっては、特定のセッションは、施設１３０２に一緒に入場した、かつ施設を一緒にナビゲートする可能性の高い複数のユーザを含み得る。例えば、２人の大人及び２人の子供の家族が一緒に施設に入るときに、在庫管理システムは、各ユーザを特定のセッションに関連付け得る。個々のユーザに加えてセッションの場所を特定することは、セッション内のユーザが個々に商品を選択若しくは返却するか又は別様に商品と対話し得るだけでなく、商品を互いの間でやり取りし得ることを考慮すると、個々のイベントの結果を判定するのに役立ち得る。例えば、上記の例の子供は、子供の母親に箱を手渡す前に、穀物の箱を選択し得、その母親は、そのトート１３１８にその箱を置き得る。子供及び母親を同じセッションに属しているものとして注目すると、その母親の仮想ショッピングカートに穀物の箱を首尾よく追加する機会を増やすことが可能になる。

【0189】

１つ以上のイベント１３２４、及びそれに関連付けられた出力データ１３２６の発生を判定することによって、在庫管理システム１３２２は、１つ以上のサービスを、施設１３０２のユーザ１３１６に提供することができる。１人以上の人間の関係者を利用し、問い合わせデータを処理し、次いで、出力データ１３２６を生成するために使用され得る応答データを生成することによって、システム全体の精度を向上させ得る。その向上した精度は、施設１３０２の１人以上のユーザ１３１６のユーザ経験を改善し得る。いくつかの例では、出力データ１３２６は、ネットワーク１３３０を介して、１つ以上のサーバ７０６に送信され得る。

【0190】

図１４は、１つ以上のサーバ７０６のブロック図を示す。サーバ７０６は、施設１４０２において物理的に存在し得るか、ネットワーク１４３０によってアクセス可能であり得るか、又は両方の組み合わせであり得る。サーバ７０６は、サービスを届けるシステムの物理的な場所及び構成について、エンドユーザの知識を必要としない。サーバ７０６に関連する共通の表現としては、「オンデマンドコンピューティング」、「サービスとしてのソフトウェア（ＳａａＳ）」、「クラウドサービス」、「データセンター」などが挙げられ得る。サーバ７０６によって提供されるサービスは、１つ以上の物理的又は仮想的デバイスにわたって分散され得る。

【0191】

サーバ７０６は、１つ以上の記憶された命令を実行するように構成された１つ以上のハードウェアプロセッサ１４０２（プロセッサ）を含み得る。このプロセッサ１４０２は、１つ以上のコアを含み得る。サーバ７０６は、プロセッサ１４０２、又はサーバ７０６の他の部分が他のデバイスと通信することを可能にするための１つ以上の入力／出力（Ｉ／Ｏ）インターフェース１４０４を含み得る。Ｉ／Ｏインターフェース１４０４は、インターインテグレイテッドサーキッツ（Ｉ２Ｃ）、シリアルペリフェラルインターフェースバス（ＳＰＩ）、ＵＳＢインプリメンターズフォーラムによって配布されたユニバーサルシリアルバス（ＵＳＢ）などを含み得る。

【0192】

サーバ７０６はまた、１つ以上の通信インターフェース１４０６を含み得る。この通信インターフェース１４０６は、サーバ７０６と、センサ１４２０、インターフェースデバイス、ルータなどの他のデバイスとの間の通信を提供するように構成されている。通信インターフェース１４０６は、パーソナルエリアネットワーク（ＰＡＮ）、有線及び無線ローカルエリアネットワーク（ＬＡＮ）、有線及び無線ワイドエリアネットワーク（ＷＡＮ）などに結合するように構成されたデバイスを含み得る。例えば、通信インターフェース１４０６は、イーサネット、Ｗｉ－Ｆｉ（商標）などと互換性のあるデバイスを含み得る。サーバ７０６はまた、サーバ７０６の様々なモジュールとコンポーネントとの間のデータ転送を可能にする１つ以上のバス又は他の内部通信ハードウェア若しくはソフトウェアを含み得る。

【0193】

サーバ７０６はまた、電力供給源１４４０を含み得る。電力供給源１４４０は、サーバ７０６内のコンポーネントを動作させるために好適な電力を提供するように構成されている。

【0194】

図１４に示されるように、サーバ７０６は、１つ以上のメモリ１４１０を含む。このメモリ１４１０は、１つ以上のコンピュータ可読記憶媒体（ＣＲＳＭ）を含む。このＣＲＳＭは、電子記憶媒体、磁気記憶媒体、光学記憶媒体、量子記憶媒体、機械的コンピュータ記憶媒体などのうちのいずれか１つ以上であってもよい。メモリ１４１０は、サーバ７０６の動作のためのコンピュータ可読命令、データ構造、プログラムモジュール、及び他のデータの記憶装置を提供する。いくつかの例示的な機能モジュールが、メモリ１４１０内に記憶されて示されているが、同じ機能性は、代替的に、ハードウェア、ファームウェアで、又はシステムオンチップ（ＳＯＣ）として実装され得る。

【0195】

メモリ１４１０は、少なくとも１つのオペレーティングシステム（ＯＳ）コンポーネント１４１２を含み得る。このＯＳコンポーネント１４１２は、Ｉ／Ｏインターフェース１４０４、通信インターフェース１４０８などのハードウェアリソースデバイスを管理し、プロセッサ１４０２上で実行するアプリケーション又はコンポーネントに様々なサービスを提供するように構成される。ＯＳコンポーネント１４１２は、ＦｒｅｅＢＳＤプロジェクトによって配布されたＦｒｅｅＢＳＤ（商標）オペレーティングシステムの変形例、他のＵＮＩＸ（登録商標）又はＵＮＩＸ（登録商標）のような変形例、Ｌｉｎｕｓ Ｔｏｒｖａｌｄｓによって配布されたＬｉｎｕｘ（登録商標）オペレーティングシステムの変形例、米国ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓ（登録商標）サーバオペレーティングシステムなどを実装し得る。

【0196】

以下のコンポーネントのうちの１つ以上はまた、メモリ１４１０内に記憶され得る。これらのコンポーネントは、フォアグラウンドアプリケーション、バックグラウンドタスク、デーモンなどとして実行され得る。通信コンポーネント１４１４は、センサ１３２０のうちの１つ以上、電子デバイス１０４のうちの１つ以上、関係者によって使用されるデバイスのうちの１つ以上、他のサーバ７０６、又は他のデバイスとの通信を確立するように構成され得る。これらの通信は、認証、暗号化などされ得る。

【0197】

メモリ１４１０は、在庫管理システム１４１６を記憶し得る。この在庫管理システム１４１６は、在庫管理システム１３２２に関して本明細書に記載されているような在庫機能を提供するように構成されている。例えば、在庫管理システム１４１６は、施設１２０２内の商品１３０４の動きを判定し、ユーザインターフェースデータを生成するなどを行い得る。

【0198】

在庫管理システム１４１６は、メモリ１４１０内の１つ以上のデータストア１４１８に記憶された情報にアクセスし得る。データストア１４１８は、フラットファイル、データベース、リンクされたリスト、ツリー、実行可能コード、スクリプト、又は他のデータ構造を使用して、情報を記憶し得る。いくつかの実施態様では、データストア１４１８、又はデータストア１４１８の一部分は、他のサーバ７０６、ネットワーク接続記憶デバイスなどを含む１つ以上の他のデバイスにわたって分散され得る。

【0199】

データストア１４１８は、物理レイアウトデータ１４２０を含み得る。この物理レイアウトデータ１４２０は、センサ１３２０、在庫場所１３１４などのデバイス及び対象物の物理レイアウト内の物理的な場所のマッピングを提供する。物理レイアウトデータ１４２０は、在庫場所１３１４の施設１３０２内の座標、その在庫場所１３１４の視野内のセンサ１３２０などを示し得る。例えば、物理レイアウトデータ１４２０は、カメラ１３２０（１）の施設１３０２内の場所、カメラ１３２０（１）の配向、動作可能な状態などのうちの１つ以上を含むカメラデータを含み得る。例を続けると、物理レイアウトデータ１４２０は、カメラ１３２０（１）の座標、視野１３２８が向けられる方向を示すパン及び傾斜情報、カメラ１３２０（１）が動作又は誤作動しているかどうかなどを示し得る。

【0200】

いくつかの実施態様では、在庫管理システム１４１６は、物理レイアウトデータ１４２０にアクセスして、イベント１３２４に関連付けられた場所が１つ以上のセンサ１３２０の視野１３２８内にあるかどうかを判定し得る。上の例を続けると、イベント１３２４の施設１３０２内の場所、及びカメラデータが与えられる場合、在庫管理システム１４１６は、イベント１３２４の画像を生成した可能性があるカメラ１３２０（１）を判定し得る。

【0201】

商品データ１４２２は、商品１３０４に関連付けられた情報を含む。この情報は、商品１３０４のうちの１つ以上が記憶されている１つ以上の在庫場所１３１４を示す情報を含み得る。商品データ１４２２はまた、注文データ、ＳＫＵ又は他の製品識別子、価格、在庫数量、重量、有効期限、商品１３０４の画像、詳細な説明情報、評価、ランク付けなども含み得る。在庫管理システム１４１６は、在庫管理機能と関連付けられた情報を商品データ１４２２に記憶し得る。

【0202】

データストア１４１８はまた、センサデータ１４２４を含み得る。このセンサデータ１４２４は、１つ以上のセンサ１３２０から取得された、又はそれに基づいて取得された情報を含む。例えば、センサデータ１４２４は、施設１３０２内の対象物についての３Ｄ情報を含み得る。上述したように、センサ１３２０は、カメラ１３２０（１）を含み得、そのカメラは、１つ以上の画像を取得するように構成されている。これらの画像は、画像データ１４２６として記憶され得る。画像データ１４２６は、複数の画像要素又は画素を記述する情報を含み得る。非画像データ１４２８は、マイクロフォン１３２０、重量センサ１３２０などからの入力などの、他のセンサ１３２０からの情報を含み得る。

【0203】

ユーザデータ１４３０はまた、データストア１４１８内に記憶され得る。ユーザデータ１４３０は、個人情報データ、プロファイルを示す情報、購入履歴、場所データ、ユーザ１３１６の画像、人口統計データなどを含み得る。個々のユーザ１３１６、又はユーザ１３１６のグループは、在庫管理システム１３２２による使用のために、ユーザデータ１４３０を選択的に提供し得る。個々のユーザ１３１６、又はユーザ１３１６のグループはまた、施設１３０２の使用中にユーザデータ１４３０の収集を許可するか、又は他のシステムから取得されたユーザデータ１４３０へのアクセスを許可し得る。例えば、ユーザ１３１６は、ユーザデータ１４３０の収集にオプトインして、施設１３０２を使用している間に強化されたサービスを受け得る。

【0204】

いくつかの実施態様では、ユーザデータ１４３０は、特別な取り扱いのためにユーザ１３１６を指定する情報を含み得る。例えば、ユーザデータ１４３０は、特定のユーザ１３１６が、出力データ１３２６に関して増加したエラーの数に関連付けられていることを示し得る。在庫管理システム１４１６は、この情報を使用して、このユーザ１３１６に関連付けられたイベント１３２４に追加の調査を適用するように構成され得る。例えば、閾値量を上回る費用又は結果を有する商品１３０４を含むイベント１３２４は、自動化システムによって生成されるように、出力データ１３２６における判定された信頼レベルとは関係なく、処理するために関係者に提供され得る。

【0205】

在庫管理システム１４１６は、場所特定コンポーネント１４３２、識別コンポーネント１４３４、イベント判定コンポーネント１４３６、及び問い合わせコンポーネント１４３８のうちの１つ以上を含み得る。

【0206】

場所特定コンポーネント１４３２は、在庫管理システム１４１６が特定のイベントを正しいユーザに割り当てることを可能にするために、施設の環境内の商品又はユーザの場所を特定するように機能する。すなわち、場所特定コンポーネント１４３２は、ユーザが施設に入場したときに、一意の識別子をユーザに割り当て得、ユーザの同意を得て、ユーザが施設１３２０内に留まる期間にわたって、施設１３０２全体にわたってユーザの位置を特定し得る。場所特定コンポーネント１４３２は、画像データ１４２６などのセンサデータ１４２４を使用して、この場所特定を実施し得る。例えば、場所特定コンポーネント１４３２は、画像データ１４２６を受信し得、画像からユーザに関連付けられたプロファイルを識別する技術を使用し得る。施設内で、ユーザに関連付けられた特定のプロファイルを識別した後、次いで場所特定コンポーネント１４３２は、ユーザが施設１３０２全体にわたって移動するときに、画像内でそのユーザの場所特定をしてもよい。更に、場所特定コンポーネント１４３２が特定のユーザを一時的に「見失う」場合、場所特定コンポーネント１４３２は、これらの技術に基づいて施設内のユーザに関連付けられたプロファイルを識別しようと再び試みてもよい。

【0207】

したがって、問題のイベントの時間及び場所の指標を受信した際に、場所特定コンポーネント１４３２は、データストア１４１８に問い合わせて、イベントの特定の時間に、１人以上のどのユーザがイベントの場所の閾値距離にいたか、又はその距離内にいたかを判定し得る。更に、場所特定コンポーネント１４３２は、異なる信頼レベルを異なるユーザに割り当て得、その信頼レベルは、それぞれ対応するユーザが、実際に関心のあるイベントに関連付けられているユーザである可能性がどれくらいあるかを示している。

【0208】

場所特定コンポーネント１４３２は、センサデータ１４２４にアクセスして、ユーザ及び／又は商品のこの場所データを判定し得る。場所データは、商品１３０４、ユーザ１３１６、トート１３１８などの対象物の場所を示す情報を提供する。その場所は、施設１３０２に対して、又は別の対象物若しくは基準点に対して、絶対的であり得る。絶対的という用語は、測地学上の基準点に対する緯度、経度、及び標高を含み得る。相対的という用語は、施設１３０２の間取り図によって指定されるように、ｘ軸に沿って２５．４メートル（ｍ）、及びｙ軸に沿って７５．２ｍ、１６９°の進行方向に沿って在庫場所１３１４から５．２ｍなどの場所を含み得る。例えば、場所データは、ユーザ１３１６（１）が通路１３１２（１）に沿って２５．２ｍのところにいて、在庫場所１３１４の前部に立っていることを示し得る。比較すると、相対場所は、ユーザ１３１６（１）がトート１３１８に対して７３°の進行方向でトート１３１８から３２ｃｍのところにいることを示し得る。場所データは、ユーザ１３１６がどの方向に面しているかなどの配向情報を含み得る。その配向は、ユーザ１３１６の身体が面している相対的な方向によって判定され得る。いくつかの実施態様では、配向は、インターフェースデバイスに対して相対的であってもよい。この例を続けると、場所データは、ユーザ１３１６（１）が進行方向０°で配向されているか、又は北を見ていることを示し得る。別の例では、場所データは、ユーザ１３１６がインターフェースデバイスに向かって面していることを示し得る。

【0209】

識別コンポーネント１４３４は、対象物を識別するように構成される。一実施態様では、識別コンポーネント１４３４は、商品１３０４を識別するように構成され得る。別の実施態様では、識別コンポーネント１４３４は、ユーザ１３１６に関連付けられたプロファイルを識別するように構成され得る。例えば、識別コンポーネント１４３４は、技術を使用して、画像データ１４２６を処理し、画像データ１４２６内の特性を、以前記憶された結果と比較することによって、画像に描写されるユーザ１３１６に関連付けられたプロファイルを識別し得る。識別コンポーネント１４３４はまた、ＲＦＩＤ読み取り機１３２０、ＲＦ受信機１３２０、指紋センサなどの他のセンサ１３２０からのデータにもアクセスし得る。

【0210】

イベント判定コンポーネント１４３６は、センサデータ１４２４を処理し、出力データ１３２６を生成するように構成されている。イベント判定コンポーネント１４３６は、データストア１４１８に記憶された情報にアクセスし得、その情報は、イベント記述データ１４４２、信頼レベル１４４４、又は閾値１４４６を含むが、これらに限定されない。

【0211】

イベント記述データ１４４２は、１つ以上のイベント１３２４を示す情報を含む。例えば、イベント記述データ１４４２は、「選択」のイベント１３２４を用いて在庫場所１３１４からの商品１３０４の動きを指定する事前定義されたプロファイルを含み得る。イベント記述データ１４４２は、手動的に生成され得るか、又は自動的に生成され得る。イベント記述データ１４４２は、施設１３０２内で発生するイベントに関連付けられたトリガーを示すデータを含み得る。イベントは、トリガーの検出時に発生するものとして、判定され得る。例えば、在庫場所１３１４における、重量センサ１３２０（６）からの重量の変化などのセンサデータ１４２４は、商品１３０４が追加されるか、又は在庫場所１３１４から除去されるかのイベントの検出をトリガーし得る。別の例では、トリガーは、ユーザ１３１６が在庫場所１３１４に向かって手を伸ばす画像を含み得る。更に別の例では、そのトリガーは、２人以上のユーザ１３１６が互いの閾値距離内に近づくことを含み得る。

【0212】

イベント判定コンポーネント１４３６は、人工ニューラルネットワーク、分類子、決定木、サポートベクトルマシン、Ｂａｙｅｓｉａｎネットワークなどを含むがこれらに限定されない１つ以上の技術を使用して、センサデータ１４２４を処理し得る。例えば、イベント判定コンポーネント１４３６は、決定木を使用して、センサデータ１４２４に基づいて、「選択」イベント１３２４の発生を判定し得る。イベント判定コンポーネント１４３６は、センサデータ１４２４を更に使用して、１つ以上の暫定結果１４４８を判定し得る。この１つ以上の暫定結果１４４８は、イベント１３２４に関連付けられたデータを含む。例えば、イベント１３２４がユーザ１３１６の曖昧性除去を含む場合、暫定結果１４４８は、可能性のあるユーザの個人情報のリストを含み得る。別の例では、イベント１３２４が商品間の曖昧性除去を含む場合、暫定結果１４４８は、可能性のある商品識別子のリストを含み得る。いくつかの実施態様では、暫定結果１４４８は、可能な作動を示し得る。例えば、その作動は、ユーザ１３１６が商品１３０４を選択し、置き、移動させ、商品１３０４を傷つけ、ジェスチャ入力を提供することなどを含み得る。

【0213】

いくつかの実施態様では、暫定結果１４４８は、他のコンポーネントによって、生成され得る。例えば、イベント１３２４に関与する、ユーザ１３１６の１つ以上の可能性のある個人情報又は場所などの暫定結果１４４８は、場所特定コンポーネント１４３２によって生成され得る。別の例では、イベント１３２４に関与した可能性があった商品１３０４などの暫定結果１４４８は、識別コンポーネント１４３４によって生成され得る。

【0214】

イベント判定コンポーネント１４３６は、暫定結果１４４８の判定に関連付けられた信頼レベル１４４４を提供するように構成され得る。信頼レベル１４４４は、暫定結果１４４８の精度の予測レベルに関する印を提供する。例えば、低い信頼レベル１４４４は、暫定結果１４４８がイベント１３２４の実際の環境に対応する低い確率を有することを示し得る。比較すると、高い信頼レベル１４４４は、暫定結果１４４８がイベント１３２４の実際の環境に対応する高い確率を有することを示し得る。

【0215】

いくつかの実施態様では、閾値結果１４４６を上回る信頼レベル１４４４を有する暫定結果１４４８は、十分に正確であると考えられ得、したがって、出力データ１３２６として使用され得る。例えば、イベント判定コンポーネント１４３６は、「選択」イベント１３２４に対応する３つの可能性のある商品１３０４（１）、１３０４（２）、及び１３０４（３）を示す暫定結果１４４８を提供し得る。可能性のある商品１３０４（１）、１３０４（２）、及び１３０４（３）に関連付けられた信頼レベル１４４４は、それぞれ、２５％、７０％、１４２％であり得る。この例を続けると、閾値結果は、１４０％の信頼レベル１４４４は十分に正確であると考えられるように設定され得る。その結果、イベント判定コンポーネント１４３６は、「選択」イベント１３２４を、商品１３０４（３）に関与するものとして指定し得る。

【0216】

問い合わせコンポーネント１４３８は、イベント１３２４に関連付けられたセンサデータ１４２４の少なくとも一部分を使用して、問い合わせデータ１４５０を生成するように構成され得る。いくつかの実施態様では、問い合わせデータ１４５０は、暫定結果１４４８又は補足データ１４５２のうちの１つ以上を含み得る。問い合わせコンポーネント１４３８は、問い合わせデータ１４５０を、１人以上の人間の関係者に関連付けられた１つ以上のデバイスに提供するように構成され得る。

【0217】

関係者ユーザインターフェースは、関係者のそれぞれのデバイス上に提示される。関係者は、特定の暫定結果１４４８を選択すること、新しい情報を入力すること、関係者が問い合わせに回答することができないことを示すことなどによって、応答データ１４５４を生成し得る。

【0218】

補足データ１４５２は、イベント１２２４に関連付けられた情報か、又はセンサデータ１４２４を解釈するのに有効であり得る情報を含む。例えば、補足データ１４５２は、商品１３０４の以前記憶された画像を含み得る。別の例では、補足データ１４５２は、１つ以上の画像オーバーレイを含み得る。例えば、画像オーバーレイは、関心のある対象物の印を描写するオーバーレイなどのグラフィカルユーザインターフェース要素を含み得る。これらの印は、強調表示、文字枠、矢印などを含み得、それらは、関係者に提示している間、画像データ１４２６の上に重ね合わせられるか、又は配置される。

【0219】

問い合わせコンポーネント１４３８は、１人以上の関係者によって提供された応答データ１４５４を処理する。この処理は、応答データ１４５４に関連付けられた１つ以上の統計結果を計算することを含み得る。例えば、統計結果は、関係者が特定の暫定結果１４４８を選択した回数のカウント、特定の暫定結果１４４８を選択した関係者のパーセンテージの判定などを含み得る。

【0220】

問い合わせコンポーネント１４３８は、応答データ１４５４に少なくとも部分的に基づいて、出力データ１３２６を生成するように構成される。例えば、関係者の大部分が、「選択」イベント１３２４に関連付けられた商品１３０４が商品１３０４（５）であることを示す応答データ１４５４を回答したことを考えると、出力データ１３２６は、商品１３０４（５）が選択されたことを示し得る。

【0221】

問い合わせコンポーネント１４３８は、特定の関係者に問い合わせを選択的に配布するように構成され得る。例えば、一部の関係者は、特定の種類の問い合わせに回答するのにより良好に適している可能性がある。関係者のパフォーマンスについての統計データなどのパフォーマンスデータは、関係者によって提供された応答データ１４５４から、問い合わせコンポーネント１４３８によって判定され得る。例えば、特定の関係者が、関係者の大部分に反対する応答データ１４５４を選択した異なる問い合わせのパーセンテージを示す情報が、維持される場合がある。いくつかの実施態様では、以前に知られた正しい回答を有するテスト又は実践用問い合わせデータ１４５０は、訓練又は品質保証の目的のために、関係者に提供され得る。関係者のセットが使用する判定は、パフォーマンスデータに少なくとも部分的に基づいている可能性がある。

【0222】

問い合わせコンポーネント１４３８を使用することによって、イベント判定コンポーネント１４３６は、イベント１３２４を正確に表す出力データ１３２６に高い信頼性を提供することが可能であり得る。問い合わせコンポーネント１４３８によって応答データ１４５４から生成された出力データ１３２６を再度使用して、在庫管理システム１４１６によって使用される自動化システムを更に訓練し得る。例えば、センサデータ１４２４及び出力データ１３２６は、応答データ１４５４に基づいて、プロセス改善の訓練のために、在庫管理システム１４１６のコンポーネントのうちの１つ以上に提供され得る。この例を続けると、この情報は、人工ニューラルネットワーク、ベイズネットワークなどに提供され得、これらのシステムを更に訓練し、その結果、同じ又は同様の入力について、将来生成される信頼レベル１４４４及び暫定結果１４４８が改善される。

【0223】

場合によっては、サーバ７０６は、電子デバイス１０４に関して図１０に示されるコンポーネントのうちの１つ以上を更に含んでもよい。そのような場合、サーバ７０６は、電子デバイス１０４に関して本明細書に記載されるプロセスのうちの１つ以上を実施し得る。更に、サーバ７０６は、実施されたプロセスに関連付けられたデータ（例えば、他のデータ７２４）を電子デバイス１０４に送信し得る。例えば、データは、ユーザが電子デバイス１０４を使用しているときのユーザの一部分の場所を示し得る。

【0224】

前述の発明は、具体的な例に関して説明されているが、本発明の範囲がこれらの具体的な例には限定されないことを理解されたい。特定の動作要件及び環境に適合するように変更された他の修正及び変更は、当業者に明らかであるため、本発明は、開示の目的で選択された実施例に限定されたとみなされず、本発明の真の概念及び範囲から逸脱しない全部の変更及び修正に及ぶ。

【0225】

本出願は、特定の構造的特徴及び／又は方法論的動作を有する実施形態を記載するが、特許請求の範囲は必ずしも説明される特定の特徴又は動作に限定されないことを理解されたい。むしろ、特定の特徴及び行為は、本出願の特許請求の範囲内にあるいくつかの実施形態を単に例示するものである。

【0226】

例示的な条項
Ａ：電子デバイスであって、距離センサと、撮像デバイスと、光放射体と、１つ以上のプロセッサと、命令を記憶している１つ以上のコンピュータ可読媒体と、を備え、命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、距離センサのうちの第１の距離センサを使用して、第１のセンサデータを生成することと、第１のセンサデータを分析して、第１の距離センサが、電子デバイスの第１の部分上で手を検出したことを判定することと、距離センサのうちの第２の距離センサを使用して、第２のセンサデータを生成することと、第２のセンサデータを分析して、第２の距離センサが、電子デバイスの第２の部分上で手を検出しなかったことを判定することと、第１の距離センサに少なくとも部分的に基づいて、電子デバイスの第１の部分上で手を検出し、第１の時間に、光放射体の第１の部分に、手が電子デバイスの第１の部分上に位置していることを示す第１の光を出力させることと、電子デバイスの第２の部分上で手を検出していない第２の距離センサに少なくとも部分的に基づいて、第１の時間に、光放射体の第２の部分に、手が電子デバイスの第２の部分上に位置していることを示す第２の光の出力を控えさせることと、第１の距離センサを使用して第３のセンサデータを生成することと、第３のセンサデータを分析して、第１の距離センサが、電子デバイスの第１の部分上で手を再び検出したことを判定することと、第２のセンサを使用して第４のセンサデータを生成することと、第４のセンサデータを分析して、第２の距離センサが、電子デバイスの第２の部分上で手を検出したことを判定することと、第１の距離センサが、電子デバイスの第１の部分上で手を再び検出し、第２の距離センサが、電子デバイスの第２の部分上で手を検出したことに少なくとも部分的に基づいて、第２の時間に、光放射体に、手が電子デバイス上の目標場所に位置していることを示す第３の光を出力させることと、撮像デバイスを使用して、手を表す画像データを生成することと、ユーザプロファイルに関連付けられた第２の特徴データを参照して、画像データに対応する第１の特徴データを分析することと、画像データがユーザプロファイルに対応すると判定することと、を含む動作を実施させる、電子デバイス。
Ｂ：動作は、第１の距離センサを使用して、第５のセンサデータを生成することと、第５のセンサデータを分析して、第１の距離センサが、手の第１の部分が電子デバイスへの目標垂直距離内に位置していることを検出したことを判定することと、第２の距離センサを使用して、第６のセンサデータを生成することと、第６のセンサデータを分析して、第２の距離センサが、手の第２の部分が電子デバイスへの目標垂直距離の外側に位置していることを検出したことを判定することと、第１の距離センサが、手の第１の部分が目標垂直距離内に位置していることを検出したことに少なくとも部分的に基づいて、第３の時間に、光放射体の第１の部分に、手の第１の部分が目標垂直距離内に位置していることを示す第４の光を出力させることと、第２の距離センサが、手の第２の部分が目標垂直距離の外側に位置していることを検出したことに少なくとも部分的に基づいて、第３の時間に、光放射体の第２の部分に、手の第２の部分が目標垂直距離の外側に位置していることを示す第５の光を出力させることと、を更に含む、段落Ａに記載の電子デバイス。
Ｃ：動作は、距離センサのうちの１つ以上を使用して、第５のセンサデータを生成することと、第５のセンサデータを分析して、手が電子デバイスへの目標垂直距離の外側に位置していることを判定することと、手が目標垂直距離の外側に位置していることに少なくとも部分的に基づいて、第３の時間に、光放射体に、手が目標垂直距離の外側に位置していることを示す第４の光を出力させることと、距離センサのうちの１つ以上を使用して、第６のセンサデータを生成することと、第６のセンサデータを分析して、手が電子デバイスへの目標垂直距離内に位置していることを判定することと、手が目標垂直距離内に位置していることに少なくとも部分的に基づいて、第４の時間に、光放射体に、手が目標垂直距離内に位置していることを示す第５の光を出力させることと、を更に含む、段落Ａ又は段落Ｂに記載の電子デバイス。
Ｄ：電子デバイスであって、１つ以上のセンサと、視覚インジケータと、１つ以上のプロセッサと、命令を記憶している１つ以上のコンピュータ可読媒体と、を備え、命令は、１つ以上のプロセッサによって実行されると、電子デバイスに、１つ以上のセンサを使用して第１のセンサデータを生成することと、第１のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が電子デバイスに対する第１の場所に位置していることを判定することと、第１の場所に関連付けられた、視覚インジケータの第１の部分を識別することと、第１の時間に、視覚インジケータの第１の部分に、ユーザの一部分が第１の場所に位置していることを示す第１の指標を出力させることと、１つ以上のセンサを使用して第２のセンサデータを生成することと、第２のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が、電子デバイスに対する目標場所に位置していることを判定することと、第２の時間に、視覚インジケータの第１の部分に、ユーザの一部分が目標場所に位置していることを示す第２の指標を出力させることと、第２の時間に、視覚インジケータの第２の部分に、ユーザの一部分が目標場所に位置していることを示す第３の指標を出力させることと、を含む動作を実施させる、電子デバイス。
Ｅ：第１のセンサデータを生成することは、１つ以上のセンサのうちの第１のセンサを使用して、第１のセンサデータの第１の部分を生成することであって、第１のセンサは電子デバイスに対する第１の場所に関連付けられている、生成することと、１つ以上のセンサのうちの第２のセンサを使用して、第１のセンサデータの第２の部分を生成することであって、第２のセンサは電子デバイスに対する第２の場所に関連付けられている、生成することと、を含み、ユーザの一部分が電子デバイスに対する第１の場所に位置していることを判定することは、第１のセンサデータの第１の部分に少なくとも部分的に基づいて、第１のセンサがユーザの一部分を検出したことを判定することと、前記第１のセンサデータの前記第２の部分に少なくとも部分的に基づいて、前記第２のセンサが前記ユーザの前記一部分を検出しなかったことを判定することと、を含む、段落Ｄに記載の電子デバイス。
Ｆ：第２のセンサデータを生成することは、１つ以上のセンサのうちの第１のセンサを使用して、第２のセンサデータの第１の部分を生成することであって、第１のセンサは電子デバイスに対する第１の場所に関連付けられている、生成することと、１つ以上のセンサのうちの第２のセンサを使用して、第２のセンサデータの第２の部分を生成することであって、第２のセンサは電子デバイスに対する第２の場所に関連付けられている、生成することと、を含み、ユーザの一部分が電子デバイスに対する目標場所に位置していることを判定することは、第２のセンサデータの第１の部分に少なくとも部分的に基づいて、第１のセンサがユーザの一部分を検出したことを判定することと、第２のセンサデータの第２の部分に少なくとも部分的に基づいて、第２のセンサがユーザの一部分を検出したことを判定することと、を含む、段落Ｄ又は段落Ｅのいずれかに記載の電子デバイス。
Ｇ：動作は、第１のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が電子デバイスに対する第２の場所の外側に位置していることを判定することと、第１の時間に、視覚インジケータの第２の部分に、ユーザの一部分が第２の場所の外側に位置していることを示させることと、を更に含む、段落Ｄ～Ｆのいずれか１つに記載の電子デバイス。
Ｈ：視覚インジケータの第１の部分に、ユーザの一部分が第１の場所に位置していることを示す第１の指標を出力させることは、第１の時間に、視覚インジケータの第１の部分に、第１の光を出力させることを含み、視覚インジケータの第２の部分に、ユーザの一部分が第２の場所の外側に位置していることを示させることは、第１の時間に、視覚インジケータの第２の部分に、第２の光の出力を控えさせることを含む、段落Ｇに記載の電子デバイス。
Ｉ：動作は、１つ以上のセンサを使用して第３のセンサデータを生成することと、第３のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が、電子デバイスへの目標垂直距離の外側に位置していることを判定することと、第３の時間に、視覚インジケータに、ユーザの一部分が目標垂直距離の外側に位置していることを示す第４の指標を出力させることと、を更に含む、段落Ｄ～Ｈのいずれか１つに記載の電子デバイス。
Ｊ：視覚インジケータに、ユーザの一部分に関連付けられた角度が目標角度の外側にあることを示す第４の指標を出力させることは、第３の時間に、視覚インジケータの第３の部分に、第１の光色を出力させることと、第３の時間に、視覚インジケータの第４の部分に、第１の光色とは異なる第２の光色を出力させることと、を含む、段落Ｉに記載の電子デバイス。
Ｋ：動作は、１つ以上のセンサを使用して第３のセンサデータを生成することと、第３のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が、電子デバイスへの目標垂直距離の外側に位置していることを判定することと、第３の時間に、視覚インジケータに、ユーザの一部分が目標垂直距離の外側に位置していることを示す第４の指標を出力させることと、を更に含む、段落Ｄ～Ｊのいずれか１つに記載の電子デバイス。
Ｌ：動作は、１つ以上のセンサを使用して第４のセンサデータを生成することと、第４のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が、電子デバイスへの目標垂直距離内に位置していることを判定することと、第３の時間よりも遅い第４の時間に、視覚インジケータに、ユーザの一部分が目標垂直距離内に位置していることを示す第５の指標を出力させることと、を更に含む、段落Ｋに記載の電子デバイス。
Ｍ：視覚インジケータは、複数の光放射体を有する光リングを備え、視覚インジケータの第１の部分に、ユーザの一部分が第１の場所に位置していることを示す第１の指標を出力させることは、光放射体の第１の部分に、第１の光を放射させることであって、光放射体の第１の部分が第１の場所に関連付けられている、放射させることと、光放射体の第２の部分に、第２の光の放射を控えさせることであって、光放射体の第２の部分が電子デバイスに対する第２の場所に関連付けられている、控えさせることと、を含む、段落Ｄ～Ｌのいずれか１つに記載の電子デバイス。
Ｎ：少なくとも１つのスピーカを更に備え、動作が、第２のセンサデータを生成する前に、少なくとも１つのスピーカを使用して、ユーザの一部分を目標場所に配置するための命令に関連付けられた音を出力することを更に含む、段落Ｄ～Ｍのいずれか１つに記載の電子デバイス。
Ｏ 動作は、１つ以上のセンサを使用して画像データを生成することと、ユーザプロファイルに関連付けられた第２の特徴データを参照して、画像データに対応する第１の特徴データを分析することと、画像データがユーザプロファイルに対応すると判定することと、を更に含む、段落Ｄ～Ｎのいずれか１つに記載の電子デバイス。
Ｐ：方法であって、電子デバイスを使用して第１のセンサデータを生成することと、第１のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が電子デバイスに対する第１の場所に位置していることを判定することと、第１の場所に関連付けられた、視覚インジケータの第１の部分を識別することと、第１の時間に、視覚インジケータの第１の部分に第１の指標を出力させることと、１つ以上のセンサを使用して第２のセンサデータを生成することと、第２のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が、電子デバイスに対する第２の場所に位置していることを判定することと、第２の場所に関連付けられた、視覚インジケータの第１の部分を識別することと、第２の時間に、視覚インジケータの第１の部分に第２の指標を出力させることと、第２の場所に関連付けられた、視覚インジケータの第２の部分を識別することと、第２の時間に、視覚インジケータの第２の部分に第３の指標を出力させることと、を含む、方法。
Ｑ：第１のセンサデータを生成することは、電子デバイスの第１のセンサを使用して第１のセンサデータの第１の部分を生成することであって、第１のセンサは、電子デバイスに対する第１の場所に関連付けられている、生成することと、電子デバイスの第２のセンサを使用して第１のセンサデータの第２の部分を生成することであって、第２のセンサは、電子デバイスに対する第３の場所に関連付けられている、生成することと、を含み、ユーザの一部分が電子デバイスに対する第１の場所に位置していることを判定することは、第１のセンサデータの第１の部分に少なくとも部分的に基づいて、第１のセンサがユーザの一部分を検出したことを判定することと、第１のセンサデータの第２の部分に少なくとも部分的に基づいて、第２のセンサがユーザの一部分を検出しなかったことを判定することと、を含む、段落Ｐに記載の方法。
Ｒ：第２のセンサデータを生成することは、電子デバイスの第１のセンサを使用して第２のセンサデータの第１の部分を生成することであって、第１のセンサは、電子デバイスに対する第１の場所に関連付けられている、生成することと、電子デバイスの第２のセンサを使用して第２のセンサデータの第２の部分を生成することであって、第２のセンサは、電子デバイスに対する第３の場所に関連付けられている、生成することと、を含み、ユーザの一部分が電子デバイスに対する第２の場所に位置していることを判定することは、第２のセンサデータの第１の部分に少なくとも部分的に基づいて、第１のセンサがユーザの一部分を検出したことを判定することと、第２のセンサデータの第２の部分に少なくとも部分的に基づいて、第２のセンサもまたユーザの部分を検出したことを判定することと、を含む、段落Ｐ又は段落Ｑのいずれかに記載の方法。
Ｓ：第１のセンサデータに少なくとも部分的に基づいて、ユーザの一部分が電子デバイスに対する第３の場所の外側に位置していることを判定することと、第１の時間に、視覚インジケータの第２の部分に、ユーザの一部分が第２の場所の外側に位置していることを示させることと、を更に含む、段落Ｐ～Ｒのいずれか１つに記載の方法。
Ｔ：電子デバイスを使用して第３のセンサデータを生成することと、第３のセンサデータに少なくとも部分的に基づいて、ユーザの一部分に関連付けられた角度が目標角度の外側にあることを判定することと、第３の時間に、視覚インジケータに、ユーザの一部分に関連付けられた角度が目標角度の外側にあることを示す第４の指標を出力させることと、を更に含む、段落Ｐ～Ｓのいずれか１つに記載の方法。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【国際調査報告】