特許 7288448 ショッピングアプリケーション用ユーザ支援ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-30

(45)【発行日】2023-06-07

(54)【発明の名称】ショッピングアプリケーション用ユーザ支援ロボット

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230531BHJP

   G06Q 30/06 20230101ALI20230531BHJP

【ＦＩ】

B25J13/08 A

G06Q30/06

【請求項の数】 15

(21)【出願番号】P 2020539207

(86)(22)【出願日】2019-01-14

(65)【公表番号】

(43)【公表日】2021-05-06

(86)【国際出願番号】 US2019013466

(87)【国際公開番号】W WO2019143554

(87)【国際公開日】2019-07-25

【審査請求日】2020-09-14

(31)【優先権主張番号】15/873,166

(32)【優先日】2018-01-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518102470

【氏名又は名称】トヨタ リサーチ インスティテュート，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】ステファニー ペプケ

(72)【発明者】

【氏名】ティファニー チェン

【審査官】國武 史帆

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０３６４７８５（ＵＳ，Ａ１）

【文献】国際公開第２００６／０５９６７６（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／０３０３７３７（ＵＳ，Ａ１）

【文献】特開平０３－０９５０２８（ＪＰ，Ａ）

【文献】特開２００７－１０９１４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００６６５９２（ＵＳ，Ａ１）

【文献】特開２０１７－２１０３０２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０３１７６４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｂ６５Ｇ ５７／００ － ５７／３２

６０／００ － ６１／００

Ｇ０６Ｑ ３０／００ － ３０／０８

Ｇ０７Ｇ １／００ － １／１４

Ｇ０５Ｄ １／００ － １／１２

(57)【特許請求の範囲】

【請求項1】

ロボットシステムであって、
プロセッサと、非一時的コンピュータ可読メモリと、を備える電子制御ユニットと、
ショッピングカートであって、
１つ以上のアイテムを搬送するように構成された保持コンテナと、
前記電子制御ユニットに通信可能に結合されたロボットアームと、
前記保持コンテナの環境の画像データをキャプチャするために前記ロボットアーム上に配置され、前記電子制御ユニットと通信可能に結合されたカメラと、
を有するショッピングカートと、
前記非一時的コンピュータ可読メモリに記憶された機械可読命令セットであって、前記プロセッサによって実行されると、前記ロボットシステムに少なくとも、
前記カメラから前記保持コンテナの環境の画像データを受信することと、
前記ロボットアームによって収集されたアイテムについての１組の取扱命令を決定することであって、前記１組の取扱命令は前記アイテムの取り扱いまたは保管条件のうちの少なくとも１つを定義する、ことと、
前記保持コンテナの環境の画像データと前記１組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンテナ内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンテナ内の決定された前記位置にアイテムを配置することと、
を実行させる機械可読命令セットと、
を備える、ロボットシステム。

【請求項2】

前記カメラは、ジェスチャーの画像データをさらにキャプチャし、前記機械可読命令セットは、前記プロセッサに、
ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための１つ以上の信号に変換することと、
を実行させる、請求項１に記載のロボットシステム。

【請求項3】

前記１組の取扱命令のうちの１つ以上の取扱命令が、前記アイテムについての分類に基づいており、前記１組の取扱命令のうちの１つ以上の取扱命令が、前記アイテムとは別に収納するアイテムの１つ以上の他の分類を特定する、請求項１から２のいずれか１つに記載のロボットシステム。

【請求項4】

前記機械可読命令セットはさらに前記プロセッサに、
前記ロボットアームが収集する１つ以上のアイテムのリストを備える買い物リストを受信すること、
を実行させる、請求項１から３のいずれか１つに記載のロボットシステム。

【請求項5】

前記機械可読命令セットはさらに前記プロセッサに、
前記買い物リストの１つ以上のアイテムのそれぞれについての前記１組の取扱命令に基づいて、前記買い物リストの１つ以上のアイテムを収集する順序を決定すること、
を実行させる、請求項４に記載のロボットシステム。

【請求項6】

前記保持コンテナおよび前記ロボットアームが電動ベースに結合され、前記電動ベースが前記電子制御ユニットに通信可能に結合され、前記機械可読命令セットがさらに前記プロセッサに、
前記買い物リストの少なくとも１つのアイテムの位置へのルートを決定することと、
前記買い物リストの前記少なくとも１つのアイテムの位置まで前記電動ベースを操作するための１つ以上の信号を生成することと、
前記買い物リストのアイテムを収集するためにロボットアームを操作するための１つ以上の信号を生成することと、
を実行させる、請求項４に記載のロボットシステム。

【請求項7】

前記ロボットアーム上に配置され、前記電子制御ユニットと通信可能に結合されたバーコードスキャナをさらに備える、請求項１から６のいずれか１つに記載のロボットシステム。

【請求項8】

前記バーコードスキャナおよび前記カメラのうちの少なくとも１つが、前記アイテムのバーコードを示す信号を前記電子制御ユニットに通信して、前記機械可読命令セットがさらに前記プロセッサに、
前記アイテムの識別を決定することと、
前記アイテムを電子チェックアウトリストに追加することと、
を実行させる、請求項７に記載のロボットシステム。

【請求項9】

ロボットシステムであって、
プロセッサと、非一時的コンピュータ可読メモリと、を備える電子制御ユニットと、
ショッピングカートであって、
１つ以上のアイテムを搬送するように構成された保持コンテナと、
前記電子制御ユニットに通信可能に結合され、前記保持コンテナに回転可能に結合されたロボットアームと、
前記保持コンテナの環境の画像データをキャプチャするために前記ロボットアーム上に配置され、前記電子制御ユニットと通信可能に結合されたカメラと、
を有するショッピングカートと、
前記ロボットアームおよび前記保持コンテナに結合された電動ベースと、
前記非一時的コンピュータ可読メモリに記憶された機械可読命令セットであって、前記プロセッサによって実行されると、前記ロボットシステムに少なくとも、
前記カメラから前記保持コンテナの環境の画像データを受信することと、
前記カメラから、収集すべきアイテムの画像データを受信することと、
前記カメラから受信した前記アイテムの画像データに基づいて、前記アイテムについての１組の取扱命令を決定することであって、前記１組の取扱命令は前記アイテムの取り扱いまたは保管条件のうちの少なくとも１つを定義する、ことと、
前記保持コンテナの環境の画像データと前記１組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンテナ内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンテナ内の決定された前記位置にアイテムを位置決めすることと、
を実行させる機械可読命令セットと、
を備える、ロボットシステム。

【請求項10】

前記機械可読命令セットはさらに前記プロセッサに、
前記ロボットアームが収集する１つ以上のアイテムのリストを備える買い物リストを受信することと、
前記買い物リストの１つ以上のアイテムのそれぞれについての前記１組の取扱命令に基づいて、前記買い物リストの１つ以上のアイテムを収集する順序を決定することと、
を実行させる、請求項９に記載のロボットシステム。

【請求項11】

前記保持コンテナおよび前記ロボットアームが前記電動ベースに結合され、前記電動ベースが前記電子制御ユニットに通信可能に結合され、前記機械可読命令セットがさらに前記プロセッサに、
前記ロボットアームが収集する１つ以上のアイテムのリストを備える買い物リストを受信することと、
前記買い物リストの少なくとも１つのアイテムの位置へのルートを決定することと、
前記買い物リストの前記少なくとも１つのアイテムの位置まで前記電動ベースを操作するための１つ以上の信号を生成することと、
前記買い物リストのアイテムを収集するためにロボットアームを操作するための１つ以上の信号を生成することと、
を実行させる、請求項９に記載のロボットシステム。

【請求項12】

保持コンテナ、ロボットアーム及びカメラを有するショッピングカートにアイテムを保管する方法であって、
前記保持コンテナの環境の画像データをキャプチャするために前記ロボットアーム上に配置された前記カメラから前記保持コンテナの環境の画像データを受信することと、
前記ロボットアームによって収集されたアイテムについての１組の取扱命令を決定することであって、前記１組の取扱命令は前記アイテムの取り扱いまたは保管条件のうちの少なくとも１つを定義する、ことと、
前記保持コンテナの環境の画像データと前記１組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンテナ内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンテナ内の決定された位置にアイテムを位置決めすることと、
を含む、方法。

【請求項13】

前記１組の取扱命令を決定するステップが、取扱命令のデータベースから前記１組の取扱命令を受信することをさらに含む、請求項１２に記載の方法。

【請求項14】

さらに、
前記カメラからジェスチャーの画像データを受信することと、
前記ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための１つ以上の信号に変換することと、
を含む、請求項１２から１３のいずれか１つに記載の方法。

【請求項15】

さらに、
前記ロボットアームが収集する１つ以上のアイテムのリストを備える買い物リストを受信すること、
前記買い物リストの１つ以上のアイテムのそれぞれについての前記１組の取扱命令に基づいて、前記買い物リストの１つ以上のアイテムを収集する順序を決定すること、
を含む、請求項１２から１４のいずれか１つに記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

相互参照
本出願は、２０１８年１月１７日に出願された米国特許出願番号１５／８７３，１６６号の利益を主張し、その全体は参照により組み込まれる。

【0002】

技術分野
本明細書は、概して、ロボットシステムおよび方法、より具体的には、保持コンパートメントのアイテムおよび画像データについての１組の取扱命令に応答して、保持コンパートメント内にアイテムを自動的に収集して配置するためのロボットシステムおよび方法に関する。

【0003】

背景
ショッピングは、一般的に、店舗の通路を歩きまわって、購入するアイテムをショッピングカートまたはバスケットに入れながら、ショッピングカートまたはバスケットを使用して多数のアイテムを収集することからなる。さらに、店舗は一般的に、店舗の全体的な面積を減らして最終的に製品価格を低く抑えるために、通路に可能な限り多くのアイテムを詰め込もうとする。その結果、いくつかの問題が発生する。高齢者または身体の不自由な買い物客にとって、多くのアイテムは手の届かないものであり、あるいは、危険すぎて彼ら／彼女らのショッピングカートまたはバスケットに集めて入れることができないものである。同様に、多くの買い物客が、オンラインストアを介してアイテムを購入するような、より近代的なショッピング方法に転換するにつれて、多くの通路を有しさらに多くのアイテムを有する店舗でのショッピング体験を最適化する必要性がある。

【0004】

したがって、購入のためのアイテムを店内で収集することについて買い物客を支援するための改善されたシステムおよび方法の必要性が存在する。

【0005】

概要
一実施形態では、ロボットシステムは、電子制御ユニットと、１つ以上のアイテムを搬送するように構成された保持コンパートメントとを含む。電子制御ユニットは、プロセッサと、機械可読命令セットを含む非一時的コンピュータ可読メモリとを含む。ロボットシステムはさらに、保持コンパートメントの環境の画像データをキャプチャするためのカメラと、電子制御ユニットに通信可能に結合されたロボットアームとを含む。機械可読命令セットは、プロセッサに、カメラから保持コンパートメントの環境の画像データを受け取ることと、ロボットアームによって収集されたアイテムについての１組の取扱命令を決定することと、保持コンパートメントの環境の画像データおよび１組の取扱命令に基づいて、ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、保持コンパートメント内の決定された位置にアイテムを配置するようにロボットアームを操作することと、を実行させる。

【0006】

別の実施形態では、ロボットシステムは、電子制御ユニットと、１つ以上のアイテムを搬送するように構成された保持コンパートメントとを含む。電子制御ユニットは、プロセッサと、機械可読命令セットを含む非一時的コンピュータ可読メモリとを含む。ロボットシステムはさらに、保持コンパートメントの環境の画像データをキャプチャするために電子制御ユニットに通信可能に結合されたカメラと、電子制御ユニットに通信可能に結合され、保持コンパートメントに回転可能に結合されたロボットアームとを含む。さらに、ロボットシステムは、ロボットアームおよび保持コンパートメントに結合された電動ベースを含む。機械可読命令セットは、プロセッサに、カメラから保持コンパートメントの環境の画像データを受信することと、収集されるべきアイテムの画像データをカメラから受信することと、カメラから受信したアイテムの画像データに基づいてアイテムについての１組の取扱命令を決定することと、保持コンパートメントの環境の画像データおよび１組の取扱命令に基づいて、ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、保持コンパートメント内の決定された位置にアイテムを配置するようにロボットアームを操作することと、を実行させる。

【0007】

別の実施形態では、アイテムを格納するための方法は、保持コンパートメントの環境のカメラから画像データを受信することと、ロボットアームによって収集されたアイテムについての１組の取扱命令を決定することと、を含む。方法はさらに、保持コンパートメントの環境の画像データおよび１組の取扱命令に基づいて、ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、ロボットアームを操作して、保持コンパートメント内の決定された位置にアイテムを配置することを含む。

【0008】

本開示に記載された実施形態によって提供されるこれらおよび追加の特徴は、図面と併せて、以下の詳細な説明の観点から、より完全に理解されるであろう。

【0009】

図面の簡単な説明
図面に記載された実施形態は、本質的に例示的であり、特許請求の範囲によって定義された主題を限定することを意図していない。例示的な実施形態の以下の詳細な説明は、以下の図面と組み合わせて読めば理解されるであろう。以下の図面では、類似の構造は類似の参照数字で示される。

【図面の簡単な説明】

【0010】

【図1】図１は、本開示に示され、記載されている１つ以上の実施形態に従った、ロボットシステムの構成要素を模式的に描写した図である。

【0011】

【図2】図２は、本開示に示され、記載されている１つ以上の実施形態に従ったショッピングアプリケーションのためのロボットシステムのための方法を描写したフローチャートである。

【0012】

【図3】図３は、本開示に示され、記載されている１つ以上の実施形態に従った、保持コンパートメントを有する典型的なショッピングカートを備えるロボットであって、保持コンパートメントにロボットアームが回転可能に結合されているロボットを例示する図である。

【0013】

【図4A】図４Ａは、本開示に示され、記載されている１つ以上の実施形態に従った、複数のグロッサリーバッグを備える保持コンパートメントを例示する図である。

【0014】

【図4B】図４Ｂは、本開示に示され、記載されている１つ以上の実施形態に従った、複数の折りたたみ可能なグロッサリーバッグを備える別の保持コンパートメントを例示する図である。

【0015】

【図5】図５は、本開示に示され、記載されている１つ以上の実施形態に従った、内部に格納された複数のアイテムを有するロボットの保持コンパートメントの画像データを例示する図である。

【0016】

【図6】図６は、本開示に示され、記載されている１つ以上の実施形態に従った、アイテムの特定の分類を保持するための４つのあらかじめ分割された部分を含む保持コンパートメントを例示する図である。

【0017】

【図7】図７は、本開示に示され、記載されている１つ以上の実施形態に従った、電動スクーターベースを有するように構成された別のロボットを例示する図である。

【0018】

詳細な説明
本開示に開示される実施形態は、ショッピングアプリケーションのためのロボットシステムおよび方法を含む。図を一般的に参照すると、本ロボットシステムおよび方法は、カメラ、ロボットアーム、および保持コンテナを含む。１組の機械可読命令はプロセッサに少なくとも、カメラから保持コンテナの環境の画像データを受信することと、ロボットアームによって収集されたアイテムのための１組の取扱命令を決定することと、保持コンテナの環境の画像データおよび１組の取扱命令に基づいて、ロボットアームによって収集されたアイテムを配置するために保持コンテナ内の位置を決定することと、ロボットアームを操作して保持コンテナ内の決定された位置にアイテムを配置することと、を実行させる。本開示では、ショッピングアプリケーションのための様々なロボットシステムおよび方法を、例示的ではあるが非限定的な実施形態として、対応する図面を具体的に参照しつつ、より詳細に説明する。

【0019】

さて、同種の符号が同種の構造を表している図面、特に図１を参照すると、ショッピングアプリケーションのためのロボットシステム１００が描かれている。ロボットシステム１００は、ロボット１１０を含む。ロボット１１０は、通信パス１２０と、プロセッサ１３２および非一時的コンピュータ可読メモリ１３４を備える電子制御ユニット１３０と、ディスプレイ１３６と、モーションセンサ１３８と、入力デバイス１４０と、スピーカ１４２と、マイク１４４と、１つ以上のカメラ１４６と、バーコードスキャナ１４８と、ロボットアーム１５０と、温度センサ１５４と、重量センサ１５６と、圧力センサ１５８と、ＬＩＤＡＲシステム１６０と、ネットワークインタフェースハードウェア１７０とを含む。ロボット１１０は、ネットワークインターフェースハードウェア１７０を介してネットワーク１８０に通信可能に結合される。ロボット１１０の構成要素は、物理的に一緒に結合されていてもよいし、通信パス１２０および／またはネットワーク１８０を介して通信可能にかつ作動可能に結合されていてもよい。ロボット１１０の様々な構成要素およびその相互作用を、以下に詳細に説明する。

【0020】

通信パス１２０を、例えば、導電性ワイヤ、導電性トレース、光導波路、などの信号を送信可能な任意の媒体から形成してもよい。また、通信パス１２０は、電磁放射およびそれらに対応する電磁波が横断する広がりを指してもよい。さらに、通信パス１２０を、信号を伝送することが可能な媒体の組み合わせから形成してもよい。一実施形態では、通信パス１２０は、プロセッサ、メモリ、センサ、入力デバイス、出力デバイス、および通信デバイスなどの構成要素への電気データ信号の伝送を可能にするように協力する、導電性トレース、導電性ワイヤ、コネクタ、およびバスの組み合わせを備える。したがって、通信パス１２０は、バスを備えてもよい。さらに、「信号」という用語は、直流、交流、正弦波、三角波、方形波、振動などのような、媒体を通過可能な波形（例えば、電気的、光学的、磁気的、機械的または電磁的）を意味することに留意されたい。通信パス１２０は、ロボット１１０の様々な構成要素を通信可能に結合する。ここでいう「通信可能に結合」とは、例えば、導電性媒体を介した電気信号、空気を介した電磁信号、光導波路を介した光信号などのように、結合されたコンポーネントが互いに信号を交換できることを意味する。

【0021】

さらに図１を参照すると、電子制御ユニット１３０は、プロセッサ１３２と非一時的コンピュータ可読メモリ１３４とを備える任意のデバイスまたはコンポーネントの組み合わせであってもよい。ロボット１１０のプロセッサ１３２は、非一時的コンピュータ可読メモリ１３４に記憶された１組の機械可読命令を実行可能な任意のデバイスであってもよい。したがって、プロセッサ１３２は、電気コントローラ、集積回路、マイクロチップ、コンピュータ、または他の任意のコンピューティングデバイスであってもよい。プロセッサ１３２は、通信パス１２０によってロボット１１０の他の構成要素と通信可能に結合される。したがって、通信パス１２０は、任意の数のプロセッサ１３２を互いに通信可能に結合してもよく、通信パス１２０に結合された構成要素が分散コンピューティング環境で動作することを可能にする。具体的には、構成要素の各々は、データを送信および／または受信しうるノードとして動作してもよい。図１に描かれた実施形態は、単一のプロセッサ１３２を含むが、他の実施形態は、１よりも多くのプロセッサ１３２を含んでもよい。

【0022】

ロボット１１０の非一時的コンピュータ可読メモリ１３４は、通信パス１２０に結合され、プロセッサ１３２に通信可能に結合される。非一時的コンピュータ可読メモリ１３４は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードドライブ、または機械可読命令を記憶可能な任意の非一時的メモリデバイスを備えてもよく、それにより、プロセッサ１３２は機械可読命令にアクセスして実行することができる。１組の機械可読命令は、例えば、プロセッサ１３２によって直接実行され得る機械語、または、機械可読命令にコンパイルまたはアセンブルされて非一時的コンピュータ可読メモリ１３４内に格納され得るアセンブリ言語、オブジェクト指向プログラミング（ＯＯＰ）、スクリプト言語、マイクロコードなどの、任意の世代のプログラミング言語（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ、または５ＧＬ）で書かれた論理またはアルゴリズム（単数又は複数）を備えてもよい。あるいは、１組の機械可読命令は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）構成または特定用途向け集積回路（ＡＳＩＣ）またはそれらの均等物のいずれかを介して実装されたロジックなどのハードウェア記述言語（ＨＤＬ）で記述されてもよい。したがって、本開示に記載された機能は、任意の従来のコンピュータプログラミング言語で、事前にプログラムされたハードウェア要素として、またはハードウェアおよびソフトウェアコンポーネントの組み合わせとして実装されてもよい。図１に描かれた実施形態は、単一の非一時的コンピュータ可読メモリ１３４を含むけれども、他の実施形態は、１よりも多くのメモリモジュールを含んでもよい。

【0023】

ロボット１１０は、例えば、買い物リスト、アイテムの位置、クーポン、広告、またはロボット１１０に関連する他の様々な状態、制御、もしくは通信を表示するなどの、視覚的な出力を提供するためのディスプレイ１３６を備える。ディスプレイ１３６は、通信パス１２０に結合される。したがって、通信パス１２０は、ディスプレイ１３６をロボット１１０の他のモジュールに通信可能に結合する。ディスプレイ１３６は、例えば、陰極線管、発光ダイオード、液晶ディスプレイ、プラズマディスプレイなどのような光出力を伝送可能な任意の媒体を含んでもよい。さらに、ディスプレイ１３６は、光学情報を提供することに加えて、ディスプレイ１３６の表面上またはディスプレイ１３６に隣接する表面上の触覚入力の存在および位置を検出するタッチスクリーンであってもよい。したがって、各ディスプレイ１３６は、ディスプレイ１３６が光学出力を提供したときに機械的な入力を直接受信してもよい。さらに、ディスプレイ１３６は、スマートフォン、タブレット、ラップトップ、または他の電子デバイスのような携帯型パーソナルデバイスのディスプレイ１３６であってもよい。さらに、ディスプレイ１３６は、保持コンパートメント１５２（例えば、図３の保持コンパートメント３１５）に統合されていてもよい。保持コンパートメント１５２がショッピングカートの保持コンパートメントである実施形態では、ディスプレイ１３６は、ユーザに視認可能でアクセス可能な、ショッピングカートのハンドルまたは別の部分に結合されてもよい。さらに、ディスプレイ１３６は、１つ以上のプロセッサおよび１つ以上の非一時的コンピュータ可読メモリを含むことができることに留意されたい。ロボット１１０は、図１に描かれた実施形態ではディスプレイ１３６を含むが、他の実施形態ではディスプレイ１３６を含まなくてもよい。

【0024】

さらに図１を参照すると、モーションセンサ１３８は、動きを検出し、検出された動きを示す出力信号を生成可能な任意のデバイスまたはコンポーネントの組み合わせであってもよい。モーションセンサ１３８は、光学センサ、音響センサ、マイクロ波センサ、または他の電磁センサと、センサによって検出可能な対応する信号を生成するための送信機とを備えてもよい。モーションセンサ１３８の近傍における光学音響センサ、マイクロ波センサ、または他の電磁場の変化は、通信可能に結合された電子制御ユニット１３０または信号処理のための別個のコントローラによって解釈される。いくつかの例示的なモーションセンサ１３８は、パッシブまたはアクティブ赤外線（ＡＩＲ／ＰＩＲ）、マイクロ波、超音波、断層撮影モーション検出、ビデオカメラシステムおよびソフトウェア、ジェスチャー検出器を含む。

【0025】

いくつかの実施形態では、モーションセンサ１３８は、黒体放射を検出し、温度プロファイルの変化を追跡することにより、温度の変動に敏感なパッシブ赤外線ベースのモーションセンサシステムである。いくつかの実施形態では、モーションセンサ１３８は、赤外線エミッタを含むアクティブ赤外線ベースのモーションセンサシステムの一部である。いくつかの実施形態では、アクティブ赤外線エミッタは、検出器がそのパターンの変動をマッピングまたは追跡することができるように、赤外線光のパターンを投影してもよい。例示的なシステムは、ワシントン州レドモンドのマイクロソフト社によって販売されているＫｉｎｅｃｔ（登録商標）光学センサで使用されているような相補的金属酸化物半導体（ＣＭＯＳ）センサと組み合わされた赤外線レーザプロジェクタを含んでもよい。いくつかの実施形態では、モーションセンサ１３８は、周囲の光条件の下で３次元（３Ｄ）のビデオデータをキャプチャし、オブジェクトまたは物体の深さおよび動きを決定するように適合される。そのようなシステムは、ジェスチャー検出を実装するために使用されてもよい。ジェスチャー検出は、手の動きおよびジェスチャーを検出するための電子制御ユニット１３０と共に、赤外線検出器または光検出器および赤外線照明要素を使用することを含んでもよい。いくつかの実施形態では、ジェスチャーは、ロボット１１０に対するコマンドに対応してもよい。ジェスチャー制御の例は、以下に記載される。

【0026】

さらに図１を参照すると、入力デバイス１４０は、通信パス１２０に結合され、プロセッサ１３２に通信可能に結合される。入力デバイス１４０は、ユーザの接触を、例えば、ボタン、レバー、スイッチ、ノブ、タッチセンシティブインターフェース、マイクなどのような、通信パス１２０を介して送信可能なデータ信号に変換可能な任意のデバイスであってもよい。いくつかの実施形態では、入力デバイス１４０は、ターン信号を作動させるためのレバー、電源ボタン、音量ボタン、起動ボタン、スクロールボタン、などを含む。いくつかの実施形態では、入力デバイス１４０は、圧力センサ、タッチ感応領域、圧力ストリップ、などを含む。いくつかの実施形態では、入力デバイス１４０は、入力デバイス１４０を含まなくてもよく、または１よりも多くの入力デバイス１４０を含んでもよいことが理解されるべきである。

【0027】

スピーカ１４２（すなわち、オーディオ出力デバイス）は、通信パス１２０に結合され、プロセッサ１３２に通信可能に結合される。スピーカ１４２は、電子制御ユニット１３０のプロセッサ１３２からの信号としてのオーディオメッセージデータを、音を生成する機械的振動に変換する。例えば、スピーカ１４２は、ロボット１１０からユーザに通信するために使用されてもよい。しかしながら、他の実施形態では、ロボット１１０は、スピーカ１４２を含まなくてもよいことが理解されるべきである。

【0028】

マイク１４４は、通信パス１２０に結合され、プロセッサ１３２に通信可能に結合される。マイク１４４は、音に関連する機械的振動を音を示す電気信号に変換可能な任意のデバイスであってもよい。マイク１４４は、ロボット１１０に対する口頭命令をキャプチャするために使用されてもよい。いくつかの実施形態はマイク１４４を含まなくてもよいことが理解されるべきである。

【0029】

さらに図１を参照すると、１つ以上のカメラ１４６は、通信パス１２０に結合され、プロセッサ１３２に通信可能に結合される。１つ以上のカメラ１４６は、紫外波長帯域、可視光波長帯域、または赤外波長帯域の放射を検出可能な感知デバイス（例えば、ピクセル）のアレイを有する任意のデバイスであってもよい。１つ以上のカメラ１４６は、任意の解像度を有してもよい。１つ以上のカメラ１４６は、全方位カメラであってもよく、またはパノラマカメラであってもよい。いくつかの実施形態では、ミラー、魚眼レンズ、または任意の他のタイプのレンズなどの１つ以上の光学部品が、１つ以上のカメラ１４６の各々に光学的に結合されていてもよい。本開示に記載される実施形態では、１つ以上のカメラ１４６は、ロボット１１０の周囲の環境および／または保持コンパートメント１５２およびその中に格納された任意のアイテムの画像データを電子制御ユニット１３０に提供してもよい。例えば、１つ以上のカメラ１４６は、空間をナビゲートする際にロボットアーム１５０の目として機能し、アイテムおよび保持コンパートメント１５２の画像データをキャプチャし、またはユーザからの視覚的コマンドを受信するために、ロボットアーム１５０上に配置されてもよい。いくつかの実施形態では、１つ以上のカメラ１４６は、内容物または周囲の環境を見るために、保持コンパートメント１５２上の様々な位置に配置されてもよい。１つ以上のカメラ１４６は、ロボット１１０が自律的または半自律的に動作してもよい実施形態において、ナビゲーションサポートを提供してもよい。

【0030】

動作時、１つ以上のカメラ１４６は、画像データをキャプチャし、画像データを電子制御ユニット１３０に通信する。画像データは、プロセッサ１３２によって受信されてもよく、プロセッサは、１つ以上の画像処理アルゴリズムを使用して画像データを処理してもよい。任意の既知または未開発のビデオおよび画像処理アルゴリズムは、アイテムを識別し、保持コンテナおよび他のアイテム、またはロボットアーム１５０および／またはロボット１１０のナビゲーション中に使用するためのより一般的な環境オブジェクトに対するアイテムの位置を決定するために、画像データに適用されてもよい。例示的なビデオおよび画像処理アルゴリズムは、カーネルベース追跡（平均シフト追跡）および輪郭処理アルゴリズムを含むが、これらに限定されない。一般に、ビデオおよび画像処理アルゴリズムの分析は、画像データの連続したフレームまたは個々のフレームからオブジェクトおよび動きを検出してもよい。一つ以上のオブジェクト認識アルゴリズムは、オブジェクトを抽出し、互いに相対的な位置を決定するために、画像データに適用されてもよい。任意の既知または未開発のオブジェクト認識アルゴリズムは、画像データから、オブジェクト、さらには光学的文字および画像、を抽出するために使用されてもよい。オブジェクト認識アルゴリズムの例としては、スケール不変特徴変換（「ＳＩＦＴ」）、スピードアップ・ロバスト特徴（「ＳＵＲＦ」）、エッジ検出アルゴリズムなどが挙げられるが、これらに限定されるものではない。

【0031】

いくつかの実施形態では、ロボット１１０は、電子制御ユニット１３０に通信可能に結合されたバーコードスキャナ１４８を含んでもよい。バーコードスキャナ１４８は、線形、２次元、絵文字、またはその他のバーコードを、電子制御ユニット１３０またはプロセッサ１３２によってデコードするための電子信号に変換可能な任意のデバイスであってもよい。典型的には、バーコードスキャナ１４８は、光の波長を放出し、反射を検出して、デコードされるバーコードのプロファイルを決定する。いくつかのバーコードスキャナは、画像処理技術を使用して処理される１つ以上のカメラ１４６からキャプチャされた画像データを使用することを含んでもよい。いくつかの実施形態では、バーコードスキャナ１４８または１つ以上のカメラ１４６は、アイテムのバーコードを示す信号を電子制御ユニット１３０に通信し、電子制御ユニット１３０は次いで、アイテムの識別を決定し、非一時的コンピュータ可読メモリ１３４内の電子チェックアウトリストにアイテムを追加する。電子チェックアウトリストは、保持コンパートメント１５２内の各アイテムがチェックアウト時に取り出され、スキャンされ、交換される必要がないように、レジ係またはチェックアウトのための他の手段に通信されてもよい。

【0032】

いくつかの実施形態では、意図されたアイテムを棚または保管場所から正しく収集するために、バーコードを使用して様々なアイテムの棚から特定のアイテムを決定することが、ロボットアーム１５０に必要である場合がある。しかし、いくつかの実施形態では、１つ以上のカメラ１４６によってキャプチャされた画像データは、アイテムの識別を決定するために、電子制御ユニット１３０によって分析されてもよい。その後、価格、在庫量、さらにはアイテムについての１組の取扱命令などのアイテムに関する情報が、ローカルに格納されたデータベースにアクセスするか、またはネットワークインターフェースハードウェア１７０を介してリモートデータベースに接続することによって決定されてもよい。さらに、バーコードスキャナ１４８でバーコードをスキャンすることにより、ロボット１１０が、アイテムが保管場所から選択されて保持コンテナ内に置かれるとすぐに、アイテムをチェックアウトリストに追加することができるようにしてもよい。

【0033】

さらに図１を参照すると、ロボットアーム１５０は、通信パス１２０に結合され、電子制御ユニット１３０に通信可能に結合される。ロボットアーム１５０は、サーボ、アクチュエータ、または運動学的連鎖を形成する他のタイプの関節によって一緒にリンクされた複数の機械的セグメントを備えてもよい。ロボットアーム１５０の一端は、アイテムを収集するためのエンドエフェクタを含んでもよい。ロボットアーム１５０の対向する端部は、保持コンパートメント１５２に取り付けられてもよい（例えば、図３参照）。ロボットアーム１５０に通信可能に結合される電子制御ユニット１３０は、その動きを操作するために、信号の形でロボットアーム１５０にコマンドを提供する。例えば、１つ以上のカメラ１４６からの画像データを使用する電子制御ユニット１３０は、エンドエフェクタをアイテムに近接して移動させ、アイテムを収集し、次いで、ロボットアーム１５０およびエンドエフェクタを、アイテムを配置するための保持コンテナ内の位置に近接して移動させるように、ロボットアーム１５０に信号を提供してもよい。ロボットアーム１５０は、人間の腕および手が同様の活動を行うのと同様の動作をシミュレートすることが意図されている。

【0034】

実施形態では、ロボット１１０は、保持コンパートメント１５２に操作可能に結合されたロボットアーム１５０を含む。いくつかの実施形態では、保持コンパートメント１５２は、車輪を有する典型的なショッピングカート（例えば、図３に描かれているように）の開放型収納コンパートメントであってもよく、これはまた、押すためのハンドルを含んでもよい。しかしながら、いくつかの実施形態では、保持コンパートメント１５２は、他の形態をとってもよいが、ロボットアーム１５０によって収集されたアイテムを格納する能力を維持する。保持コンパートメント１５２は、単一の開放コンテナとして構成されてもよいし、オプションとして、アイテムを配置するための開放コンテナ空間内に構成された仕切りを有してもよい。例えば、保持コンパートメント１５２は、輸送中にその温度を維持するために、冷たいアイテムのような温度制御されたアイテムを保持するために特別に構成されたセグメントを有してもよい。そのような一実施形態では、保持コンパートメント１５２は、断熱された部分を含んでもよい。さらに、保持コンパートメント１５２は、そうでなければ、より大きな、よりかさばるアイテムの間で失われる可能性のある小さなアイテムを格納するための棚またはスロットを含んでもよい。さらに、棚またはスロットは、卵、パン、農産物、などの壊れやすいアイテムを保管し、保護するために構成されてもよい。保持コンパートメント１５２は、家庭用品を消耗品から分離するようにさらに構成されてもよい。一般的に、保持コンパートメント１５２は、特定のアイテムが同種のアイテムと共に所定の保管場所を有するように構成されてもよい。他の実施形態では、保持コンパートメント１５２は、取り外し可能な収納ビンを含んでもよく、あるいは、レジで食料品を袋詰めする必要性を低減するために、買い物袋と一緒に構成されてもよい。

【0035】

再び図１を参照すると、ロボット１１０は様々なセンサをさらに含んでもよく、このセンサは、温度センサ１５４、重量センサ１５６、および圧力センサ１５８を含むが、これらに限定されない。温度センサ１５４は、温度センサ１５４によって感知された温度を示す温度信号を出力可能な任意のデバイスであってもよい。非限定的な例として、温度センサ１５４は、熱電対、抵抗温度デバイス、赤外線センサ、バイメタルデバイス、状態変化センサ、温度計、シリコンダイオードセンサなどを備えてもよい。重量センサ１５６は、ロボットアーム１５０によって収集された食料品の重量などの、オブジェクトの重量を示す重量信号を出力可能な任意のデバイスであってもよい。さらに、圧力センサ１５８は、ロボットアーム１５０のエンドエフェクタによってアイテムに加えられている圧力の量など、オブジェクトに加えられている圧力の量を示す圧力信号を出力可能な任意のデバイスであってもよい。圧力センサ１５８は、アイテムが確実に保持されているがロボットアーム１５０によって損傷されていないことを保証するために、エンドエフェクタのグリップ強度を較正するために使用されてもよい。

【0036】

いくつかの実施形態では、ロボット１１０は、ＬＩＤＡＲシステム１６０を含んでもよい。ＬＩＤＡＲシステム１６０は、ナビゲートされることを意図した環境を検出および／またはマッピングすることができる任意のシステムであってもよい。そのような実施形態では、ＬＩＤＡＲシステム１６０は、通信パス１２０および電子制御ユニット１３０に通信可能に結合される。ＬＩＤＡＲシステム１６０または光検出測距システムは、パルスレーザ光を使用して、ＬＩＤＡＲシステム１６０からパルスレーザ光を反射するオブジェクトまでの距離を測定する。ＬＩＤＡＲシステム１６０は、そのプリズムのような動作が、従来の回転するＬＩＤＡＲシステム１６０に関連する重量およびサイズの複雑さなしに広い視野を可能にする光フェーズドアレイデバイスとして構成されたものを含む、可動部分の少ないまたは全くないソリッドステートデバイスから形成されていてもよい。ＬＩＤＡＲシステム１６０は、飛行時間の測定に特に適しており、これを、ＬＩＤＡＲシステム１６０の視野内にあるオブジェクトとの距離測定に相関させることができる。ＬＩＤＡＲシステムｌ６０ａによって放出されたパルスレーザ光の様々な波長の戻り時間の差を計算することによって、ターゲットまたは環境のデジタル３Ｄ表現が生成されてもよい。ＬＩＤＡＲシステム１６０によって放出されるパルスレーザ光は、一実施形態では、電磁スペクトルの赤外線範囲内またはその近傍で動作してもよく、一例では、約９０５ナノメートルの放射を有する。ＬＩＤＡＲシステム１６０のようなセンサは、ロボット１１０によって使用されて、ロボット１１０の近くにあるオブジェクトの識別のための詳細な３次元空間情報を提供することができ、また、マッピング、ナビゲーション、および自律操作のためのシステムのサービスにおけるそのような情報の使用は、特に、ＧＰＳまたはジャイロスコープベースの慣性ナビゲーションユニット（ＩＮＵ、図示せず）または関連するデッドレコーニングシステムのようなジオリファレンスデバイスと組み合わせて使用される場合には、非一時的コンピュータ可読メモリ１３４（それ自身または電子制御ユニット１３０のメモリのいずれか）と同様に、ロボット１１０によって使用されてもよい。いくつかの実施形態では、ＬＩＤＡＲシステム１６０ではなく、またはＬＩＤＡＲシステム１６０に加えて、近接センサシステムを含んでもよい。

【0037】

いくつかの実施形態では、ＬＩＤＡＲシステム１６０は、ロボット１１０の周囲の環境のシミュレートされたモデルを生成するか、または洗練するために、１つ以上のカメラ１４６からの画像データでもって補間されてもよい。実施形態では、シミュレートされたモデルは、画像データから独立して生成されてもよい。さらに、レーダ、慣性測定ユニット（ＩＭＵ）などの他のセンサシステムおよびマッピングシステムは、ロボット１１０の環境内のオブジェクトおよび光源を決定するために画像データを処理するための電子制御ユニット１３０に追加のデータを提供するよう実装されてもよい。

【0038】

ネットワークインターフェースハードウェア１７０は、通信パス１２０に結合され、電子制御ユニット１３０と通信可能に結合される。ネットワークインターフェースハードウェア１７０は、ネットワーク１８０を介してデータを送信および／または受信することが可能な任意のデバイスであってよい。したがって、ネットワークインターフェースハードウェア１７０は、任意の有線または無線通信を送信および／または受信するための通信トランシーバを含むことができる。例えば、ネットワークインターフェースハードウェア１７０は、アンテナ、モデム、ＬＡＮポート、Ｗｉ－Ｆｉ（登録商標）カード、ＷｉＭａＸ（登録商標）カード、モバイル通信ハードウェア、近距離通信ハードウェア、衛星通信ハードウェア、および／または他のネットワークおよび／またはデバイスと通信するための任意の有線または無線ハードウェアを含むことができる。一実施形態では、ネットワークインターフェースハードウェア１７０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信プロトコルに従って動作するように構成されたハードウェアを含む。別の実施形態では、ネットワークインタフェースハードウェア１７０は、ネットワーク１８０との間でＢｌｕｅｔｏｏｔｈ（登録商標）通信を送受信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信モジュールを含んでもよい。ネットワークインターフェースハードウェア１７０はまた、ＲＦＩＤタグを尋問して読み取るように構成された無線周波数識別（「ＲＦＩＤ」）リーダを含んでもよい。

【0039】

いくつかの実施形態では、ロボット１１０は、ネットワーク１８０に通信可能に結合されてもよい。いくつかの実施形態では、ネットワーク１８０は、ロボット１１０を食料品在庫管理サーバ、ロボット制御サーバシステム、ユーザのパーソナルデバイス、または他のネットワーク接続可能なデバイスと通信可能に結合するためにＢｌｕｅｔｏｏｔｈ（登録商標）技術を利用する、パーソナルエリアネットワークである。他の実施形態では、ネットワーク１８０は、１つ以上のコンピュータネットワーク（例えば、パーソナルエリアネットワーク、ローカルエリアネットワーク、またはワイドエリアネットワーク）、セルラーネットワーク、衛星ネットワーク、および／または全地球測位システム、およびそれらの組み合わせを含むことができる。したがって、ワイヤを介して、ワイドエリアネットワークを介して、ローカルエリアネットワークを介して、パーソナルエリアネットワークを介して、セルラーネットワークを介して、衛星ネットワークなどを介して、ロボット１１０をネットワーク１８０に通信可能に結合することができる。好適なローカルエリアネットワークは、有線Ｅｔｈｅｒｎｅｔ（登録商標）および／または例えばワイヤレスフィデリティ（Ｗｉ－Ｆｉ（登録商標））などの無線技術を含んでもよい。適切なパーソナルエリアネットワークは、例えば、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ（登録商標）、および／または他の近距離通信プロトコルなどのワイヤレス技術を含んでもよい。適したパーソナルエリアネットワークは、同様に、例えば、ＵＳＢおよびＦｉｒｅａｙｏｎなどの有線コンピュータバスを含むことができる。好適なセルラーネットワークは、ＬＴＥ、ＷｉＭＡＸ（登録商標）、ＵＭＴＳ、ＣＤＭＡ、ＧＳＭ（登録商標）などの技術を含むが、これらに限定されない。

【0040】

以下のセクションでは、ロボット１１０の動作の実施形態およびショッピングアプリケーションのための方法を説明する。いくつかの実施形態では、ロボット１１０は、プロセッサ１３２および非一時的コンピュータ可読メモリ１３４を有する電子制御ユニット１３０と、１つ以上のカメラ１４６と、電子制御ユニット１３０に通信可能かつ作動可能に結合されたロボットアーム１５０とを含む。ロボット１１０は、保持コンパートメント１５２をさらに含む。いくつかの実施形態では、ロボット１１０は、本開示に記載されるようなセンサおよびシステムをさらに含む。

【0041】

さて、図２を参照すると、ショッピングアプリケーションのための方法のフローチャート２００が描かれている。図２に描かれたフローチャート２００は、非一時的コンピュータ可読メモリ１３４に格納され、電子制御ユニット１３０のプロセッサ１３２によって実行される１組の機械可読命令の表現である。図２のフローチャート２００のプロセスは、様々なタイミングで、電子制御ユニット１３０に通信可能に結合されたセンサからの信号に応答して実行されてもよい。本開示の範囲から逸脱することなく、ショッピングアプリケーションでユーザを支援するという同じ結果を達成するために、追加的または代替的なステップが実行されてもよい。

【0042】

図２に描かれたフローチャート２００の焦点は、保持コンパートメント１５２にアイテムを収集して配置することに関連しているが、ロボット１１０は、フローチャート２００で強調された具体的なステップとともに議論される追加の動作ステップを含んでもよい。ステップ２１０において、ロボット１１０は、保持コンパートメントの画像データを受信してもよい。電子制御ユニット１３０に通信可能に結合された１つ以上のカメラ１４６からの保持コンパートメント１５２の内容を見ることができる。１つ以上のカメラ１４６は、ロボットアーム１５０、保持コンパートメント１５２、または、少なくとも保持コンパートメント１５２内の内容物を見るように構成された別のデバイス、上に配置されてもよい。保持コンパートメント１５２内の内容物の画像データは、現在どのようなアイテムが保持コンパートメント１５２内にあるか、保持コンパートメント１５２内のアイテムの位置、保持コンパートメント１５２の構造、および他の関連する属性を描写する。保持コンパートメント１５２の画像データは、アイテムの追加、アイテムの除去、および保持コンパートメント１５２内のアイテムの任意の移動を考慮して継続的に更新されてもよい。いくつかの実施形態では、ロボットアーム１５０が保管場所からアイテムを収集する前に、電子制御ユニット１３０は、保持コンパートメント１５２の更新された画像データを受信してもよい。

【0043】

ステップ２２０において、ロボット１１０、より具体的にはロボット１１０の電子制御ユニット１３０は、アイテムのための１組の取扱命令を決定または受信する。いくつかの実施形態では、電子制御ユニット１３０は、通信可能に接続されたデータベースからアイテムについての１組の取扱命令を受信してもよい。そのような実施形態では、ロボット１１０は、まず、アイテムを識別する必要があり、接続されたデータベースからアイテムについての１組の取扱命令を要求するか、または非一時的コンピュータ可読メモリ１３４からアイテムについての１組の取扱命令をルックアップする。いずれの場合も、アイテムは、１つ以上のカメラ１４６によってキャプチャされた画像データを介して、またはバーコードスキャナ１４８でアイテムのバーコードをスキャンすることによって識別されてもよい。いくつかの実施形態では、アイテムは、アイテムが格納されている場所から識別されてもよい。いくつかの実施形態では、アイテムは、ロボットアーム１５０によって（例えば、ロボットアーム１５０でアイテムを把持または回収するようにユーザから指示を受けたことに応答して）、またはロボットアーム１５０によって到達可能なロボット１１０の環境内で、収集される。

【0044】

１組の取扱命令は、アイテムの重量、容積、寸法、アイテムの包装に特有の機械的詳細、例えば、材料組成、圧縮強度、耐衝撃性、耐水性などのようなアイテムの属性に対応してもよい。いくつかの実施形態では、アイテムの属性は、アイテムを他のアイテムの上、下、または隣に物理的に保管するための１つ以上の取扱命令を決定するためにロボット１１０によって利用されてもよい。例えば、卵のパックの取扱命令は、包装の圧縮強度よりも大きい重量を有するアイテムは、卵のパックの上に置かれてはならないことを述べてもよい。同様に、一般的に大きな容積を有するアイテム、例えば、ペーパータオル１２パックの容積に類似した容積を有するアイテムは、そのアイテムを保持コンパートメントの底部に格納することを要求する取扱命令を含んでもよい。

【0045】

１組の取扱命令はまた、アイテムの他の属性、例えば、アイテムが食品であるか、飲料であるか、家庭用品であるか、工具であるか、などの分類に対応していてもよい。アイテムの各分類は、アイテムについての１組の取扱命令を構成する１つ以上の取扱命令を定義してもよい。すなわち、分類は、取り扱いまたは保管温度、そのアイテムが生ものであるか調理済みのものであるか、そのアイテムが同種のアイテムと一緒にのみ保管されるように保管されるか、そのアイテムが他の特定のアイテムから遠ざけるべきであるかなどの１つ以上の取扱命令を含んでもよい。例えば、取扱命令は、生肉は、調理されたまたは包装されたアイテムの近くに保管または配置されるべきではないことを述べてもよい。同様に、家庭用に分類されたアイテムの取扱命令には、食品または飲料として分類されたすべてのアイテムから離して保管されるべきであることを示す取扱命令が含まれていてもよい。当業者は、保持コンパートメント１５２内のアイテムの取り扱いおよび保管を改善しうる他の取扱命令を識別可能であってよい。

【0046】

いくつかの実施形態では、１組の取扱命令は、アイテムの目視検査および／またはアイテムとの相互作用に基づいてロボット１１０によって決定されてもよい。例えば、いくつかの実施形態では、１つ以上のカメラ１４６は、アイテムの画像データを収集してもよい。画像データは、アイテムの寸法、容積などのアイテムの物理的特性を決定するために、電子制御ユニット１３０によって処理されてもよい。いくつかの実施形態では、ロボット１１０は、製品の付加的な属性を決定するために、エンドエフェクタおよび様々なセンサを用いてアイテムと相互作用してもよい。例えば、エンドエフェクタは、エンドエフェクタに配置または統合された温度センサ１５４を使用して、アイテムの温度に関するデータを収集してもよい。同様に、エンドエフェクタは、圧力センサ１５８を使用してアイテムの圧縮強度を決定し、重量センサ１５６を使用してアイテムの重量を決定するように構成されてもよい。ロボット１１０は、追加のセンサおよびシステムを用いて、データベースから利用できないまたはアイテムについて未知のさらなる属性であって、保持コンパートメント１５２内のアイテムの保管に影響を及ぼすおそれのある属性を決定するように、構成されてもよい。

【0047】

ロボット１１０がステップ２１０において保持コンパートメント１５２の画像データを受信し、ステップ２２０においてロボットアーム１５０によって収集されたアイテムについての１組の取扱命令を決定または受信すると、ロボット１１０は、ステップ２３０においてロボットアーム１５０によって収集されたアイテムを配置するための保持コンパートメント１５２内の位置を決定する。ロボット１１０は、様々な方法によって、ロボットアーム１５０によって収集されたアイテムを配置するための場所を決定してもよい。いくつかの実施形態では、ロボット１１０は、少なくとも保持コンパートメント１５２の画像データと１組の取扱命令に基づいて、ロボットアームによって収集されたアイテムを配置するための場所を決定してもよい。画像データから、電子制御ユニット１３０は、保持コンパートメント１５２の構成および寸法、現在保持コンパートメント１５２内にある任意のアイテムの存在、保持コンパートメント１５２のアイテムによって占有されていない部分、および保持コンパートメント１５２のアイテムによって占有されている部分を決定してもよい。例えば、前述のアイテムおよび部分を決定するために、画像データは、電子制御ユニット１３０または独立した画像処理ユニットによって処理されてもよい。いくつかの実施形態では、画像処理は、画像セグメンテーション、深度マッピング、サリエンシー、オブジェクト認識、検出および識別、などのようなアルゴリズムを適用することを含んでもよい。画像処理またはそれがまた知られているように、コンピュータビジョンは、ラベル付けされた画像データを生成してもよい。ラベル付けされた画像データは、アイテムの識別および／または関連する１組の処理命令を含むピクセルレベルのデータを含んでもよい。いくつかの実施形態では、電子制御ユニット１３０は、座標系を介して指定された領域および容積を有する画像データから、保持コンパートメント１５２の数学的表現（例えば、３Ｄモデル）を生成してもよい。領域および容積は、さらに、保持コンパートメント１５２内の特定のアイテム、アイテムのグループ、または空の空間としてラベル付けされてもよい。さらに、各領域および容積は、各アイテムについての１組の取扱命令への参照を含んでいてもよい。

【0048】

画像データに基づいて、電子制御ユニット１３０は、次に、ロボットアーム１５０によって収集されたアイテムが物理的に配置され得る保持コンパートメント１５２の１つ以上の部分を決定してもよい。例えば、電子制御ユニット１３０は、収集されたアイテムの寸法を受信するかまたは他の方法で決定して、そのアイテムが保持コンパートメント１５２内に物理的に収まる場所を決定してもよい。しかし、同時に、または少なくとも保持コンパートメント１５２内のアイテムの位置を決定する前に、電子制御ユニット１３０は、ロボットアーム１５０によって収集されたアイテムについての１組の取扱命令と、ロボットアーム１５０によって収集されたアイテムに隣接するおよび／またはその下にあるであろう保持コンパートメント１５２内の１つ以上のアイテムについての１組の取扱命令とを比較してもよい。いくつかの実施形態では、ロボット１１０は、保持コンパートメント１５２内に配置されるべきアイテムについての１組の取扱命令と、既に保持コンパートメント１５２内にあるアイテムについての１組の取扱命令との比較に基づいて、ロボットアーム１５０によって収集されたアイテムを配置するための場所を決定する。いくつかの実施形態では、１組の取扱命令は、現在保持コンパートメント１５２内にある他のアイテムに関して、または将来のアイテムに関して、アイテムの配置および保管に関連する規則およびパラメータのセットを提供する。

【0049】

上述したように、保持コンパートメント内に新しいアイテムを配置するときには、電子制御ユニット１３０は、ロボットアーム１５０によって収集されたアイテムが保持コンパートメント１５２内に置かれるべき場所を、アイテムが物理的に収まる場所、新しいアイテムのための１組の取扱命令、および／または既に保持コンパートメント１５２内にあるアイテムのそれぞれのための１組の取扱命令に基づいて決定してもよい。例えば、卵のパックが保持コンパートメント１５２内に存在し、１組の取扱命令が、卵のパックの上に何かを置くことを禁止する規則を含む場合、電子制御ユニット１３０は、卵の上の空間を、保持コンパートメント内に置かれるべき新しいアイテムが置かれてはならない場所として特定する。しかし、このような規則は、一定の重量を超える製品が卵のパックの上に置かれてはならないことを示すようにさらに洗練されてもよい。そのような場合、電子制御ユニット１３０は、卵のパックの上の空間に重量制限を割り当ててもよい。

【0050】

いくつかの実施形態では、例えば、電子制御ユニット１３０は、画像データから、アイテムが保持コンパートメント１５２内に物理的に置かれ得る１つ以上の場所を決定してもよい。次いで、電子制御ユニット１３０は、特定された１つ以上の場所に隣接するアイテムについての１組の取扱命令と、保持コンパートメント１５２内に配置されるアイテムについての１組の取扱命令とを比較してもよい。より具体的には、１ガロンの牛乳が、卵のパックの上に物理的に収まるか、または保持コンパートメントの底部にあるアイスクリームのタブに隣接して配置されると決定された場合であって、両方の１組の取扱命令の比較に基づいて、卵のパックの１組の取扱命令が、１ガロンの牛乳が超過する重量制限を含み、保持コンパートメントの底部にあるアイスクリームのタブに隣接して牛乳のガロンを配置するための制限がない場合、１ガロンの牛乳は、保持コンパートメントの底部にあるアイスクリームのタブに隣接して配置されることになる。

【0051】

別の例として、生のハンバーガーのパックが保持コンテナ内にあってよく、生のハンバーガーのパックに関連付けられた１組の取扱命令が、生のハンバーガーのパックに隣接して、または生のハンバーガーのパックの上に、農産物または調理済み食品を置かないという規則を含んでいてもよい。例えば、電子制御ユニット１３０は、画像データから識別されるように、生ハンバーガーのパックに隣接する領域および／または容積を定義する平面に、農産物または任意の調理済み食品の配置に対する制限をラベル付けしてもよい。その結果、生ハンバーガーのパックの１組の取扱命令に基づく制限を遵守しない将来のアイテムは、生ハンバーガーのパックに隣接して配置されない。

【0052】

いくつかの実施形態では、１組の取扱命令は、最適な保管温度に関する規則およびパラメータを含んでもよい。このように、いくつかの実施形態では、決定された温度範囲内のアイテムは、温度の上昇または低下を維持または低減するために、互いに近接して配置されてもよい。例えば、牛乳、アイスクリーム、および冷凍ピザは、それらの低い保存温度を維持するために互いに隣接して配置されてもよく、一方、ロティサリーチキンおよび生パスタのような調理済みの食事アイテムは、同様に、それらの暖かい温度を維持するために互いに隣接して配置されてもよい。さらに、いくつかの実施形態では、保持コンパートメント１５２は、暖かい、冷たい、および／または常温のアイテムを貯蔵するように設計された部分を含んでもよい。例えば、同じ保持コンパートメント１５２内に配置された、より暖かい環境温度または暖かいアイテムから冷たいアイテムを断熱するように設計されたクーラー部分が提供されてもよい。同様に、保持コンパートメント１５２には、暖かいアイテムを暖かい状態に保つための箔張りコンパートメントまたは同様に絶縁された部分が提供されてもよい。アイテムを暖めておくためのクーラー部分または断熱部分は、受動的または能動的であってもよい。いくつかの実施形態では、クーラー部分は、クーラー部分の環境を能動的に冷却する凝縮器を含んでもよい。クーラー部分は、クーラー部分の環境を受動的に冷却するように配置されたコールドパックまたはドライアイスをさらに含んでもよい。同様に、アイテムを暖かく維持するための断熱部分は、断熱部分の環境を暖めるように構成された熱源を含んでもよい。

【0053】

電子制御ユニット１３０が、ステップ２３０においてロボットアーム１５０によって収集されたアイテムを置くための保持コンパートメント１５２内の位置を決定すると、ステップ２４０において電子制御ユニット１３０は、決定された位置にアイテムを置くようにロボットアーム１５０を操作するための信号を生成してもよい。電子制御ユニット１３０は、ロボットアーム１５０の複数の機械的セグメントを一緒に運動学的連鎖で連結するサーボ、アクチュエータ、または他の電気機械デバイスと通信可能に結合されていてもよい。電子制御ユニット１３０は、電気機械デバイスの各々に直接信号を提供してもよいし、いくつかの実施形態では、ロボットアーム１５０の動作を制御するためにロボットアーム１５０に通信可能に結合されたロボットモータ駆動制御システムに信号を提供してもよい。

【0054】

新しいアイテムが保持コンパートメント１５２内に配置されると、保持コンパートメント１５２のための収集アイテムインベントリリストが更新されてもよい。収集アイテムインベントリリストは、電子制御ユニット１３０またはネットワーク１８０を介して接続されたデバイスの非一時的コンピュータ可読メモリ１３４に格納されてもよい。収集アイテムインベントリリストは、保持コンパートメント１５２に追加されたアイテムの識別子以上のものを含んでもよい。収集アイテムインベントリリストはまた、保持コンパートメント１５２内のアイテムの位置に関連するパラメータと、アイテムに関連付けられた１組の取扱命令とを含んでもよい。例えば、いくつかの実施形態では、保持コンパートメント１５２および各アイテムは、直交座標系を用いて電子的に定義されてもよい。直交座標系または類似のプロットシステムを用いて保持コンパートメント１５２および各アイテムを定義することにより、電子制御ユニット１３０は、アイテムが占有されているかまたはアイテムが空になっている保持コンパートメント１５２の容積または部分を定義することができる。さらに、収集アイテムインベントリリストからの情報を用いて、電子制御デバイスは、アイテムを識別し保持コンパートメント１５２内のアイテムの位置を決定する精度を向上させることができる。

【0055】

さて、図３から７を参照すると、ロボットおよび様々な構成要素のいくつかの例示的な実施形態が描かれている。図３は、保持コンパートメント１５２を有する典型的なショッピングカート３１５に基づく実施形態であって、保持コンパートメント１５２に回転可能に結合されたロボットアーム１５０を備えた実施形態を描いている。さらに、１つ以上のカメラ１４６がロボットアーム１５０上に配置され、ディスプレイ１３６がショッピングカート３１５に結合される。いくつかの実施形態では、ショッピングカート３１５は、ユーザによってショッピングセンターの周りを手動でナビゲートされてもよい。ロボットアーム１５０は、操縦のために１つ以上のカメラ１４６によってキャプチャされた画像データを使用して、本開示に開示されているように、アイテムを保管場所から収集し、保持コンパートメント１５２内に配置してもよい。ディスプレイ１３６は、任意に、ユーザに様々な情報および制御を提供してもよい。例えば、ディスプレイ１３６は、ユーザが１つ以上のアイテムを含む買い物リストを入力またはアップロードしてもよいグラフィカルユーザインタフェース（ＧＵＩ）を提供してもよい。いくつかの実施形態では、ディスプレイ１３６は、次に、店舗の地図を提供し、買い物リストのアイテムの位置、およびオプションで各アイテム間のルートを重ね合わせて、ユーザが買い物リストの各アイテムにナビゲートすることができるようにしてもよい。ロボット１１０が買い物リストのアイテムの位置に近づくと、ディスプレイ１３６は、ロボットアーム１５０がアイテムを収集し、保持コンパートメント１５２内の、本開示に記載されているような取扱命令に基づいて決定された位置にアイテムを配置するために操縦してもよいように、ショッピングカート３１５を位置決めするための特定のナビゲーション指示をユーザに提供してもよい。他の実施形態では、電子制御ユニット１３０は、買い物リストのアイテムのそれぞれについての１組の取扱命令に基づいて、買い物リストのアイテムを収集するための順序を決定し、提案された順序をユーザに提供してもよい。

【0056】

いくつかの実施形態では、ディスプレイ１３６は、ユーザがロボットアーム１５０の機能を直接制御するためのインタフェースを提供してもよい。例えば、ユーザは、ユーザが手の届かない場所からアイテムを収集するために、または移動するには扱いにくいもしくは重いアイテムを収集するために、ロボットアーム１５０を手動で操作してもよい。一旦、ロボットアーム１５０がアイテムを収集すると、ロボットアーム１５０は自動的にアイテムを保持コンパートメント１５２内に格納してもよい。さらに、いくつかの実施形態では、買い物リストの入力がない場合、ロボットアーム１５０は、ユーザがショッピングカート３１５をナビゲートし、ロボットアーム１５０が様々なアイテムを通過する際に、どのようなアイテムを収集すべきかについてユーザから指示を受けてもよい。いくつかの実施形態では、カメラ１４６は、棚または保管場所にあるアイテムの画像データをキャプチャし、ディスプレイ１３６またはスマートフォンやラップトップなどのネットワーク１８０に接続されたデバイスを介して、それらの画像をユーザと共有してもよい。次に、ユーザは、画像データに描写されたアイテムを仮想的に選択してもよく、ロボットアーム１５０は、アイテムを収集しアイテムを保持コンパートメント１５２内に配置するために自動的に操縦してもよい。

【0057】

いくつかの実施形態では、ロボットアーム１５０はまた、ユーザによってなされたジェスチャーに基づく指示を受信してもよい。ジェスチャーは、ロボット１１０に命令を提供することを意図したユーザからの物理的な動きであってもよい。電子制御ユニットは、ジェスチャーの画像データを分析して、ジェスチャーの意味を決定してもよい。例えば、１つ以上のカメラ１４６またはジェスチャー検出器は、収集すべきアイテムを指差しているユーザを検出してもよい。指差しジェスチャーに基づいて、電子制御ユニットは、ジェスチャーに応答してロボットアームを制御および操縦するための１つ以上の信号を生成してもよい。例えば、ロボットアーム１５０は、指差しジェスチャーから示されたアイテムを収集するように操縦し、次いでアイテムを保持コンパートメント１５２内に格納してもよい。他の実施形態では、ジェスチャー命令はまた、通信可能に結合されたマイク１４４を介して受信された言語プロンプトを含んでもよく、これは、モーションセンサ１３８、１つ以上のカメラ１４６、またはジェスチャーを検出するように構成された他のセンサによって検出された物理的な動作に関連付けられるように、電子制御ユニット１３０に言語命令を提供する。例えば、指差しジェスチャーは、「見て」や「取ってきて」のような言語プロンプトを含んでもよい。手で方向を指差すなどの物理的な動作が、言語命令「見て」と組み合わせて行われる場合、ロボットアーム１５０は、指差しジェスチャーの方向を見るために、そこに配置された１つ以上のカメラ１４６を単に操縦してもよい。同様に、手で方向を指差すなどの物理的な動作が、言語命令「取ってきて」との組み合わせで行われる場合、ロボットアーム１５０は、指差しジェスチャーによって示されたアイテムを収集するように操縦してもよい。いくつかの実施形態では、ユーザの物理的ジェスチャーをキャプチャするために使用されるジェスチャー検出器または１つ以上のカメラ１４６は、ロボットアーム１５０上に配置された１つ以上のカメラ１４６とは別個のものであってもよい。それらの実施形態では、１つ以上のカメラ１４６は、物理的ジェスチャーを見逃さないように、ユーザの位置を追跡するためのビジョン追跡ソフトウェアを含んでもよい。

【0058】

いくつかの実施形態では、ショッピングカート３１５は、ユーザがショッピングカート３１５を手動で押す必要なしに保持コンパートメント１５２およびロボットアーム１５０を操縦可能な、電動又は動力付きベースを含んでもよい。例えば、ショッピングカート３１５の車輪は、保持コンパートメント１５２およびロボットアーム１５０の正転、逆転および旋回運動を駆動するモータに結合されてもよい。いくつかの実施形態では、ネットワーク１８０に接続されたデバイスまたはジェスチャー制御システムが、保持コンパートメント１５２およびロボットアーム１５０の電動ベースを遠隔操縦するために提供されてもよい。例えば、携帯デバイスのディスプレイ１３６は、入力に応答して電動ベースおよびロボットアーム１５０を操作するように構成されたタッチコントロールを提供するように構成されてもよい。電子制御ユニット１３０は、半自律的または自律的な操作を容易にするために、電気信号を生成し、電気信号を電動ベースに通信してもよい。一実施形態では、ディスプレイ１３６は、ロボットアーム１５０に配置された１つ以上のカメラ１４６からの、保管場所にあるアイテムの光景を含んでもよい。例えば、ロボットアーム１５０は、ディスプレイ１３６上の画像データに対応するタッチ入力で構成されたディスプレイ１３６に触れることにより、バーチャルに選択されたアイテムに関連付けられたアイテムを収集するために操縦してもよい。

【0059】

ネットワーク１８０に接続された遠隔制御デバイスおよびジェスチャー制御システムを使用して半自律的な相互作用が可能であってもよいが、いくつかの実施形態では、ショッピングアプリケーションのためのロボット１１０は、自律的に店舗または貯蔵施設全体をナビゲートしてアイテムを収集し、収集経路および／または保持コンパートメント１５２内のアイテムの袋詰めを最適化してもよい。そのような実施形態では、電動ベースとともに保持コンパートメント１５２およびロボットアーム１５０を有するロボット１１０は、例えば、モーションセンサ１３８およびＬＩＤＡＲシステム１６０のような様々なセンサを含んでもよい。また、ロボット１１０は、ある場所から別の場所へナビゲートするための１つ以上のデバイスに接続されたネットワークインターフェースハードウェア１７０を含んでもよい。

【0060】

いくつかの実施形態では、ユーザは、ロボット１１０に直接アップロードされる、またはロボット１１０と通信するネットワーク１８０に接続されたコンピューティングデバイスにアップロードされる電子買い物リストを作成してもよい。買い物リストの内容および任意に買い物リストの各アイテムについての１組の取扱命令に基づいて、保持コンパートメント１５２内のアイテムの保管を最適化しうる順序でアイテムを収集するように買い物ルートが計画され最適化されてもよい。例えば、買い物ルートは、より大きく、より重い、および／またはよりかさばるアイテムが収集されて保持コンパートメント１５２内に格納された後に、壊れやすいアイテムまたはデリケートなアイテムを収集するように計画され、最適化されてもよい。すなわち、例えば、卵およびパンが牛乳および缶詰食品とともに買い物リストに含まれている場合、ショッピングルートは、卵およびパンよりも先に牛乳および缶詰食品を収集するように最適化されてもよい。さらに、買い物リストは、買い物リストに含まれるアイテムの理想的な保存温度に基づいて、買い物ルートをさらに最適化してもよい。例えば、シリアル、紙製品、缶詰等のような常温のアイテムを収集して保管した後に、通常は室温又は室温付近で保管されないアイテムを収集するように、ルートを計画して最適化してもよい。これにより、温度管理されていない環境へのアイテムの曝露を可能な限り短時間に抑えてもよい。

【0061】

前述の実施形態では、ロボットアーム１５０が、ユーザのために効率的かつ自動的にアイテムを収集するために、保持コンテナ内にアイテムを収集して配置することに焦点を当てているが、ロボットアーム１５０の使用は、保持コンパートメント１５２内にアイテムを収集して配置するための排他的な手段ではない。いくつかの実施形態では、ロボットアーム１５０は、ユーザの買い物活動を補完するだけであってもよい。すなわち、ユーザはまた、手動でアイテムを収集して保持コンパートメント１５２に追加してもよい。これは、保持コンパートメント１５２内にアイテムを配置する効率および最適化を低下させるかもしれないが、ロボットは、１つ以上のカメラ１４６によってキャプチャされた後続の画像データに基づいて、保持コンパートメント１５２内に新しいアイテムが導入されたことを認識し、ユーザが追加したアイテムを考慮して将来のアイテムの配置を調整してもよい。さらに、いくつかの実施形態では、ユーザが手動でアイテムを保持コンパートメント１５２に追加する場合、保持コンパートメント１５２上のディスプレイ１３６またはネットワーク１８０に接続されたデバイス上のディスプレイ１３６は、ユーザに対して、アイテムを識別するように、およびアイテムが保持コンパートメント１５２内のどこに配置されたかを確認するようにプロンプトを表示してもよい。これに応答して、電子制御ユニット１３０は、保管場所が、そのアイテムまたは隣接するアイテムのための１組の取扱命令と相反する場合に、代替保管場所を推奨するユーザへの応答を提供してもよい。

【0062】

ここで、図４Ａから７を参照すると、様々な保持コンパートメント構成が描かれている。図４Ａは、内部に配置された複数のグロッサリーバッグ４０５を備える保持コンパートメント４５２の一部を描いている。さらに、図４Ａは、そこに配置された１つ以上のカメラ１４６と、アイテム４１５を保持するロボットアーム１５０に結合されたエンドエフェクタ４５５とを有するロボットアーム１５０を描写している。図４Ａは、保持コンパートメント４５２が複数のグロッサリーバッグ４０５を含む実施形態を示し、電子制御ユニットは、１つ以上のカメラ１４６によってキャプチャされた画像データからこのグロッサリーバッグ４０５を識別することができる。動作において、ロボットアーム１５０を有するロボットは、エンドエフェクタ４５５によって収集されたアイテム４１５を直接袋詰めしてもよい。このような実施形態では、電子制御ユニットは、保持コンパートメント４５２を、複数のグロッサリーバッグ４０５のそれぞれの容積を備える複数の保持コンパートメントに割り当ててもよい。レジで食料品を袋から出す必要性をなくすために、ロボットはまた、アイテムが保管場所から収集されて、電子制御ユニットの非一時的コンピュータ可読メモリまたはネットワーク１８０に接続されたデバイス上に格納されたチェックアウトリストに追加されたときにアイテムをスキャンする、バーコードスキャナ１４８を備えて構成されてもよい。いくつかの実施形態では、アイテムのバーコードの識別および／またはスキャンは、１つ以上のカメラ１４６によってキャプチャされた画像データを分析するバーコード画像認識ソフトウェアによって達成されてもよい。

【0063】

図４Ｂを参照すると、取り外し可能な収納袋Ａ、Ｂ、およびＣを有する保持コンパートメント４５２’の別の実施形態が描かれている。この実施形態では、保持コンパートメント４５２’は、幅方向に保持コンパートメント４５２’を横切るように構成された取り外し可能な収納袋Ａ、Ｂ、およびＣを含み、任意に、ロボットアーム１５０によって収集されたアイテム４１５を収納するために追加の袋が必要になると、一緒に折り畳まれて開くように構成される。保持コンパートメントが複数のグロッサリーバッグを含む図４Ａから４Ｂに描かれているような実施形態では、ロボットはまた、食料品を袋詰めする機能を予め実行してもよく、したがって、チェックアウト時に必要とされる取扱量および時間が減少する。

【0064】

図５に目を向けると、内部に格納された複数のアイテムを有するロボット５１０の保持コンパートメント５５２の画像データを表す図が描かれている。描かれた実施形態では、保持コンパートメント５５２は、スープ缶５０１、冷凍ミール５０３、１ガロンの牛乳５０５、３箱のシリアル５０７、１斤のパン５０９、および１カートンの卵５１１を含む。この構成は、保持コンパートメント５５２の画像データと、保持コンパートメント５５２内のアイテムについての関連する１組の取扱命令の各々とに基づいて、ロボット５１０によってレイアウトされた保持コンパートメント５５２内のアイテムの構成を表してもよい。例えば、ロボット５１０は、冷蔵品、冷凍ミール５０３および１ガロンの牛乳５０５を互いに隣接させ、スープ缶５０１をシリアルの箱５０７および冷凍ミール５０３によって角に固定して、缶が輸送中に保持コンパートメント５５２の周りを転がる可能性を防止するように構成している。さらに、１斤のパン５０９および卵のカートン５１１は、互いに近くに配置され、他のより重くて損傷を与えるおそれのあるアイテムから分離される。さらなる実施形態は、例えば、図６に描かれているように、アイテムを互いに重ねるか、または保持コンパートメント６５２のあらかじめ分割（セグメント化）された部分内に積み重ねることを含んでもよい。

【0065】

図６を参照すると、保持コンパートメントは、１つ以上のあらかじめ分割された部分を含んでもよい。例えば、図６の保持コンパートメント６５２は、あらかじめ分割された部分Ａ、Ｂ、Ｃ、およびＤを描写しており、保持コンパートメント６５２のあらかじめ分割された部分Ａ、Ｂ、Ｃ、およびＤの各々は、特定の分類のアイテムを保持するように電子制御ユニット１３０によって指定されてもよい。例えば、あらかじめ分割された部分Ａは、小さいおよび／または壊れやすいアイテムを保持するように構成されてもよい。あらかじめ分割された部分Ｂは、冷たいアイテムを保持するように構成されてもよく、あらかじめ分割された部分Ｂは、そこに置かれたアイテムを断熱するか、または積極的に冷却するように構成されてもよい。あらかじめ分割された部分Ｃは、室温のアイテムを保持するように構成されてもよく、あらかじめ分割された部分Ｄは、暖かいアイテムを保持するように構成されてもよく、さらに、そこに置かれたアイテムを断熱するか、または積極的に暖めるように構成されてもよい。これは、あらかじめ分割された部分のそれぞれに配置された指定の一例に過ぎない。あらかじめ分割された部分は、代替的に、食品アイテム、家庭用クリーニング製品、衣類、および／またはペット用品を互いに保持し、分離するように構成されていてもよい。さらに、４つのあらかじめ分割された部分が描かれているが、より多くてもより少なくてもよく、あらかじめ分割された部分は、サイズおよび向きが異なっていてもよい。保持コンパートメント６５２の設計は、ロボットを実装する店舗のタイプにさらに依存してもよい。例えば、ハードウェアストアは、食料品店よりもより大きな、より堅牢な保持コンパートメント６５２を有してもよい。いくつかの実施形態では、保持コンパートメント６５２は、倉庫または包装施設で使用するための平台車であってもよい。

【0066】

図７は、ロボット７１０のさらなる実施形態を描写している。図７において、ロボット７１０は、保持コンパートメント７５２と、ロボットアーム１５０であってロボットアーム１５０に配置された１つ以上のカメラ１４６を有するロボットアーム１５０と、電動ベース７１３に統合されたロボットアーム１５０と対話するためのディスプレイ１３６とを含み、これは、手動でまたは自律的に店舗の通路をナビゲートしている間にユーザが座るための座席７５３を提供する。同様の実施形態では、ロボット７１０は、単に、買い物中にユーザが座って休む場所を提供するために、保持コンパートメント７５２から展開されるか、または保持コンパートメント７５２に結合される座席７５３を提供してもよい。

【0067】

上記の例では、ショッピングカートまたは電動スクータベースと一体化されたロボットシステムが記載されているが、保持コンパートメントおよびロボットアームは、電動化されているか否かにかかわらず、任意の移動ベースに結合されていてもよいことが理解されるべきである。さらに、自律的ナビゲーションを提供するための様々なセンサおよびシステムも、施設に関するロボットの自律的または半自律的な移動を容易にするために、当技術分野で知られているように統合されてもよい。

【0068】

本開示に記載された実施形態は、電子制御ユニットと、１つ以上のアイテムを搬送するように構成された保持コンパートメントとを含むロボットシステムに向けられていることが、理解されるべきである。電子制御ユニットは、プロセッサと、１組の機械可読命令を含む非一時的コンピュータ可読メモリとを含む。ロボットシステムは、保持コンパートメントの環境の画像データをキャプチャするためのカメラと、電子制御ユニットに通信可能に結合されたロボットアームとをさらに含む。１組の機械可読命令は、プロセッサに、カメラから保持コンパートメントの環境の画像データを受信させ、ロボットアームによって収集されたアイテムのための１組の取扱命令を決定させ、保持コンパートメントの環境の画像データおよび１組の取扱命令に基づいて、ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定させ、決定された位置にアイテムを保持コンパートメント内に配置するようにロボットアームを操作させる。いくつかの実施形態では、保持コンパートメントおよびロボットアームは、ロボットシステムが自律的または半自律的に施設内を移動することができるように、電動ベースに結合される。本開示では、用語「実質的に」および「約」が、任意の定量的比較、値、測定、または他の表現に帰することができる固有の不確実性の程度を表すために利用され得ることに留意されたい。これらの用語はまた、本開示では、定量的表現が、問題となっている主題の基本的な機能に変化をもたらすことなく、記載された参照から変化する可能性がある程度を表すために利用される。

【0069】

特定の実施形態が図示され、本開示に記載されているが、特許請求の範囲に記載された主題の真意および範囲から逸脱することなく、他の様々な変更および修正がなされ得ることが理解されるべきである。さらに、特許請求の範囲に記載された主題の様々な側面が本開示に記載されているが、そのような側面は、組み合わせて利用する必要はない。したがって、添付の特許請求の範囲は、特許請求の範囲に記載された主題の範囲内にあるそのような変更および修正をすべてカバーすることが意図されている。
［構成１］
ロボットシステムであって、
プロセッサと、非一時的コンピュータ可読メモリと、を備える電子制御ユニットと、
１つ以上のアイテムを搬送するように構成された保持コンパートメントと、
前記保持コンパートメントの環境の画像データをキャプチャするために、前記電子制御ユニットと通信可能に結合されたカメラと、
前記電子制御ユニットに通信可能に結合されたロボットアームと、
前記非一時的コンピュータ可読メモリに記憶された機械可読命令セットであって、前記プロセッサによって実行されると、前記ロボットシステムに少なくとも、
前記カメラから前記保持コンパートメントの環境の画像データを受信することと、
前記ロボットアームによって収集されたアイテムについての１組の取扱命令を決定することと、
前記保持コンパートメントの環境の画像データと前記１組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンパートメント内の決定された前記位置にアイテムを配置することと、
を実行させる機械可読命令セットと、
を備える、ロボットシステム。
［構成２］
前記カメラは、ジェスチャーの画像データをさらにキャプチャし、前記機械可読命令セットは、前記プロセッサに、
ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための１つ以上の信号に変換することと、
を実行させる、構成１に記載のロボットシステム。
［構成３］
前記１組の取扱命令のうちの１つ以上の取扱命令が、前記アイテムについての分類に基づいており、前記１組の取扱命令のうちの１つ以上の取扱命令が、前記アイテムとは別に収納するアイテムの１つ以上の他の分類を特定する、構成１に記載のロボットシステム。
［構成４］
前記機械可読命令セットはさらに前記プロセッサに、
前記ロボットアームが収集する１つ以上のアイテムのリストを備える買い物リストを受信すること、
を実行させる、構成１に記載のロボットシステム。
［構成５］
前記機械可読命令セットはさらに前記プロセッサに、
前記買い物リストの１つ以上のアイテムのそれぞれについての前記１組の取扱命令に基づいて、前記買い物リストの１つ以上のアイテムを収集する順序を決定すること、
を実行させる、構成４に記載のロボットシステム。
［構成６］
前記保持コンパートメントおよび前記ロボットアームが電動ベースに結合され、前記電動ベースが前記電子制御ユニットに通信可能に結合され、前記機械可読命令セットがさらに前記プロセッサに、
前記買い物リストの少なくとも１つのアイテムの位置へのルートを決定することと、
前記買い物リストの前記少なくとも１つのアイテムの位置まで前記電動ベースを操作するための１つ以上の信号を生成することとと、
前記買い物リストのアイテムを収集するためにロボットアームを操作するための１つ以上の信号を生成することと、
を実行させる、構成４に記載のロボットシステム。
［構成７］
前記ロボットアーム上に配置され、前記電子制御ユニットと通信可能に結合されたバーコードスキャナをさらに備える、構成１に記載のロボットシステム。
［構成８］
前記バーコードスキャナおよび前記カメラのうちの少なくとも１つが、前記アイテムのバーコードを示す信号を前記電子制御ユニットに通信して、前記機械可読命令セットがさらに前記プロセッサに、
前記アイテムの識別を決定することと、
前記アイテムを電子チェックアウトリストに追加することと、
を実行させる、構成７に記載のロボットシステム。
［構成９］
前記保持コンパートメントが複数の分割されたコンパートメントを備え、少なくとも１つ又は前記複数の分割されたコンパートメントは、低温貯蔵コンパートメントおよび温貯蔵コンパートメントのうちの少なくとも１つを備える、構成１に記載のロボットシステム。
［構成１０］
前記保持コンパートメントが、取り外し可能なグロッサリーバッグを含む、構成１に記載のロボットシステム。
［構成１１］
ロボットシステムであって、
プロセッサと、非一時的コンピュータ可読メモリと、を備える電子制御ユニットと、
１つ以上のアイテムを搬送するように構成された保持コンパートメントと、
前記保持コンパートメントの環境の画像データをキャプチャするために、前記電子制御ユニットと通信可能に結合されたカメラと、
前記電子制御ユニットに通信可能に結合され、前記保持コンパートメントに回転可能に結合されたロボットアームと、
前記ロボットアームおよび前記保持コンパートメントに結合された電動ベースと、
前記非一時的コンピュータ可読メモリに記憶された機械可読命令セットであって、前記プロセッサによって実行されると、前記ロボットシステムに少なくとも、
前記カメラから前記保持コンパートメントの環境の画像データを受信することと、
前記カメラから、収集すべきアイテムの画像データを受信することと、
前記カメラから受信した前記アイテムの画像データに基づいて、前記アイテムについての１組の取扱命令を決定することと、
前記保持コンパートメントの環境の画像データと前記１組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンパートメント内の決定された前記位置にアイテムを位置決めすることと、
を実行させる機械可読命令セットと、
を備える、ロボットシステム。
［構成１２］
前記カメラは、ジェスチャーの画像データをさらにキャプチャし、前記機械可読命令セットは、前記プロセッサに、
ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための１つ以上の信号に変換することと、
を実行させる、構成１１に記載のロボットシステム。
［構成１３］
前記１組の取扱命令のうちの１つ以上の取扱命令が、前記アイテムの分類に基づいており、前記１組の取扱命令のうちの１つ以上の取扱命令が、前記アイテムとは別に収納するアイテムの１つ以上の他の分類を特定する、構成１１に記載のロボットシステム。
［構成１４］
前記機械可読命令セットはさらに前記プロセッサに、
前記ロボットアームが収集する１つ以上のアイテムのリストを備える買い物リストを受信することと、
前記買い物リストの１つ以上のアイテムのそれぞれについての前記１組の取扱命令に基づいて、前記買い物リストの１つ以上のアイテムを収集する順序を決定することと、
を実行させる、構成１１に記載のロボットシステム。
［構成１５］
前記保持コンパートメントおよび前記ロボットアームが電動ベースに結合され、前記電動ベースが前記電子制御ユニットに通信可能に結合され、前記機械可読命令セットがさらに前記プロセッサに、
前記ロボットアームが収集する１つ以上のアイテムのリストを備える買い物リストを受信することと、
前記買い物リストの少なくとも１つのアイテムの位置へのルートを決定することと、
前記買い物リストの前記少なくとも１つのアイテムの位置まで前記電動ベースを操作するための１つ以上の信号を生成することとと、
前記買い物リストのアイテムを収集するためにロボットアームを操作するための１つ以上の信号を生成することと、
を実行させる、構成１１に記載のロボットシステム。
［構成１６］
アイテムを保管する方法であって、
カメラから保持コンパートメントの環境の画像データを受信することと、
ロボットアームによって収集されたアイテムについての１組の取扱命令を決定することと、
前記保持コンパートメントの環境の画像データと前記１組の取扱命令とに基づいて、前記ロボットアームによって収集されたアイテムを配置するための保持コンパートメント内の位置を決定することと、
前記ロボットアームを操作して、前記保持コンパートメント内の決定された位置にアイテムを位置決めすることと、
を含む、方法。
［構成１７］
前記１組の取扱命令を決定するステップが、取扱命令のデータベースから前記１組の取扱命令を受信することをさらに含む、構成１６に記載の方法。
［構成１８］
さらに、
前記カメラからジェスチャーの画像データを受信することと、
前記ジェスチャーの意味を決定することと、
前記ジェスチャーの意味を、少なくとも前記ロボットアームを操縦するための１つ以上の信号に変換することと、
を含む、構成１６に記載の方法。
［構成１９］
前記１組の取扱命令のうちの１つ以上の取扱命令が、前記アイテムの分類に基づいており、前記１組の取扱命令のうちの１つ以上の取扱命令が、前記アイテムとは別に収納するアイテムの１つ以上の他の分類を特定する、構成１６に記載の方法。
［構成２０］
さらに、
前記ロボットアームが収集する１つ以上のアイテムのリストを備える買い物リストを受信すること、
前記買い物リストの１つ以上のアイテムのそれぞれについての前記１組の取扱命令に基づいて、前記買い物リストの１つ以上のアイテムを収集する順序を決定すること、
を含む、構成１６に記載の方法。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】