(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-12
(54)【発明の名称】清掃ロボット
(51)【国際特許分類】
G05D 1/02 20200101AFI20230405BHJP
A47L 9/28 20060101ALI20230405BHJP
【ＦＩ】
G05D1/02 H
A47L9/28 E
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022551811
(86)(22)【出願日】2021-02-24
(85)【翻訳文提出日】2022-09-29
(86)【国際出願番号】 GB2021050470
(87)【国際公開番号】W WO2021171013
(87)【国際公開日】2021-09-02
(31)【優先権主張番号】2002784.3
(32)【優先日】2020-02-27
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】500024469
【氏名又は名称】ダイソン・テクノロジー・リミテッド
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100174023
【弁理士】
【氏名又は名称】伊藤 怜愛
(72)【発明者】
【氏名】チャールズ アンソニー ニールド コリス
(72)【発明者】
【氏名】ジェームズ トレバー クラークソン
【テーマコード（参考）】
3B057
5H301
【Ｆターム（参考）】
3B057DA00
5H301AA02
5H301BB05
5H301BB11
5H301CC03
5H301CC06
5H301CC10
5H301DD05
5H301DD17
5H301GG09
(57)【要約】
１つ又は複数のセンサを有するロボットの操作に用いる方策。ロボットにおいて、ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成する。表現は、ロボットが位置する表面以外の環境内の少なくとも１つの表面を含む。制御データを電子ユーザデバイスから受信する。制御データは、ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す。制御データの受信に応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させる。
【特許請求の範囲】
【請求項1】
１つ又は複数のセンサを有するロボットを操作する方法であって、前記ロボットにおいて、該ロボットの環境を表すパラメータのセットを感知するよう前記１つ又は複数のセンサを操作することにより、前記ロボットの前記環境の表現を生成するステップであり、前記表現は前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含むステップと、
前記ロボットにおいて、該ロボットの前記環境内の前記少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信するステップと、
前記制御データの受信に応答して、前記ロボットに該ロボットの前記環境内の前記少なくとも１つの表面で前記所望動作を実行させるステップと
を含む方法。
【請求項2】
請求項１に記載の方法であって、前記ロボットの前記環境を表すデータを前記電子ユーザデバイスに送信するステップを含む方法。
【請求項3】
請求項１又は２に記載の方法において、前記ロボットは表面清掃コンポーネントを備え、前記所望動作は清掃動作を含む方法。
【請求項4】
請求項３に記載の方法において、前記清掃動作は、真空清掃、
ワイピング、
モッピング、
整頓、及び
ダスティング
の１つ又は複数を含む方法。
【請求項5】
請求項２～４のいずれか１項に記載の方法において、前記生成するステップは、前記環境内の表面のリスト及び該リスト中の表面毎の関連する識別子を生成することを含み、方法は、前記生成されたリストを前記電子ユーザデバイスに送信するステップ
を含み、前記受信された制御データは、前記所望動作が実行される格納されたリスト上の少なくとも１つの表面の前記関連する識別子を含む方法。
【請求項6】
請求項１～５のいずれか１項に記載の方法において、前記ロボットの前記環境内の前記少なくとも１つの表面での前記所望動作の実行が完了すると、所望動作完了通知を前記電子ユーザデバイスに送信するステップを含む方法。
【請求項7】
請求項１～６のいずれか１項に記載の方法において、前記生成された表現を定期的に更新すること、及び
前記パラメータのセット中の１つ又は複数の変化を示す前記１つ又は複数のセンサの動作に応答して前記生成された表現を更新すること
の一方又は両方により、前記生成された表現を前記ロボット又は外部デバイスで維持するステップ
を含む方法。
【請求項8】
１つ又は複数のセンサを有するロボットの操作に用いる装置であって、前記ロボットにおいて、該ロボットの環境を表すパラメータのセットを感知するよう前記１つ又は複数のセンサを操作することにより、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含む前記ロボットの前記環境の表現を生成し、
前記ロボットにおいて、該ロボットの前記環境内の前記少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信し、且つ
前記制御データの受信に応答して、前記ロボットに該ロボットの前記環境内の前記少なくとも１つの表面で前記所望動作を実行させる
よう構成された装置。
【請求項9】
コンピュータ化されたデバイスにより実行されると、該コンピュータ化されたデバイスに１つ又は複数のセンサを有するロボットを操作する方法を実行させる命令のセットを含む、コンピュータプログラム製品であって、前記方法は、前記ロボットにおいて、該ロボットの環境を表すパラメータのセットを感知するよう前記１つ又は複数のセンサを操作することにより、前記ロボットの前記環境の表現を生成するステップであり、前記表現は前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含むステップと、
前記ロボットにおいて、該ロボットの前記環境内の前記少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信するステップと、
前記制御データの受信に応答して、前記ロボットに該ロボットの前記環境内の少なくとも１つの表面で前記所望動作を実行させるステップと
を含む、コンピュータプログラム製品。
【請求項10】
１つ又は複数のセンサを有するロボットであって、ロボットの環境を表すパラメータのセットを感知するよう前記１つ又は複数のセンサを操作することにより、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含むロボットの前記環境の表現を生成し、
ロボットの前記環境内の前記少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信し、且つ
前記制御データの受信に応答して、ロボットの前記環境内の前記少なくとも１つの表面で前記所望動作を実行する
よう構成されたロボット。
【請求項11】
ロボットを制御する方法であって、電子ユーザデバイスにおいて、ロボットの環境の表現データであり、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を示すデータを前記ロボットから受信するステップと、
前記表現データの受信に応答して、前記電子ユーザデバイスのグラフィカルディスプレイに前記ロボットの前記環境の表現を表示するステップと、
前記ロボットの前記環境内の前記少なくとも１つの表面で実行する所望動作を示す前記電子ユーザデバイスのユーザからの入力を受け付けるステップと、
前記ユーザ入力の受け付けに応答して、前記ロボットに該ロボットの前記環境内の前記少なくとも１つの表面で前記所望動作を実行させることが可能である制御データを前記ロボットに送信するステップと
を含む方法。
【請求項12】
請求項１１に記載の方法において、前記ユーザ入力は、前記電子ユーザデバイスの前記ディスプレイを介して受け付けられる方法。
【請求項13】
請求項１２に記載の方法において、前記ユーザ入力は、マイクロフォンを介して受け付けられ、前記入力は、前記ロボットの前記環境内の前記少なくとも１つの表面で実行する前記所望動作の可聴指示を含む方法。
【請求項14】
請求項１１～１３のいずれか１項に記載の方法において、前記ロボットの前記環境内の前記少なくとも１つの表面で前記所望動作が実行されたことを確認する確認データを前記ロボットから受信するステップと、
前記確認データの受信に応答して、前記ロボットの更新された環境を前記グラフィカルディスプレイに表示するステップであり、前記更新された環境は、前記所望動作が前記ロボットの前記環境内の前記少なくとも１つの表面で実行されたことを示すステップと
を含む方法。
【請求項15】
請求項１１～１４のいずれか１項に記載の方法において、前記ロボットの前記環境内の所与の表面の識別子を提供するよう前記ユーザに要求する要求データを前記ロボットから受信するステップと、
前記ロボットの前記環境内の前記所与の表面の所望の識別子を示す前記電子ユーザデバイスのユーザからの入力を受け付けるステップと、
前記所望の識別子を含む応答データを前記ロボットに送信するステップと
を含む方法。
【請求項16】
請求項１１～１５のいずれか１項に記載の方法において、前記所望動作は清掃動作を含む方法。
【請求項17】
請求項１６に記載の方法において、前記清掃動作は、真空清掃、
ワイピング、
モッピング、
整頓、及び
ダスティング
の１つ又は複数を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はロボットに関する。特に、限定はされないが、本開示は、ロボットを制御し且つロボットを操作するための方法、装置、及びコンピュータプログラム製品を含む対策に関する。
【背景技術】
【0002】
移動ロボットは、普及の一途を辿っており、家庭環境内で清掃及び整頓等の作業を行うのに用いることができる。
【0003】
ロボット清掃デバイス、特にロボット掃除機及びフロアモッピングロボットの分野が急速に発展しており、その主要目的は、床清掃中にユーザの家を自律的に且つ邪魔にならずに走行することである。これらのロボットは、できる限りユーザの手を借りない、好ましくは人手を介さないことが通常は望ましい。
【0004】
清掃又は整頓作業を行うにあたり、ロボットは清掃が必要な領域を走行しなければならない。好ましくは、ロボットは、その環境内で自律的に走行して障害物を迂回することができる。ロボットには、通常は環境内を走行できるようにする複数のセンサが設けられる。
【0005】
清掃ロボットによっては、「ランダムバウンス」方式を用いる基本走行システムが設けられており、この方式では、ロボットは障害物にぶつかるまで任意の方向に進み、障害物にぶつかると向きを変えて別の障害物にぶつかるまで別のランダムな方向に進むものがある。そのうちに、ロボットが清掃の必要な床空間を最大限に巡ったことになると見込まれる。残念ながら、これらのランダムバウンス走行方式は不十分であることが分かっており、清掃すべき床の大きな面積が完全に見落とされることが多い。これらの走行システムは、ロボットが大きな床面積を巡るのではなく特定の経路を辿る必要がある場合にも不適切である。
【0006】
自己位置推定及び地図作成の同時実行（ＳＬＡＭ）システムが、一部のロボットで採用され始めている。これらのＳＬＡＭ技術は、ロボットが周囲の領域を視認し、理解し、且つ認識することによってより体系的な走行パターンを採用することを可能にする。ＳＬＡＭ技術を用いて、より体系的な走行パターンを達成することができ、結果として、清掃ロボットの場合はロボットが必要な領域をより効率的に清掃することが可能となる。
【0007】
動作中に随時、ロボットは問題に直面することが予想される。例えば、ロボットが環境内で未知の物体に出会う場合があり、このような物体の処理の仕方を知らない場合があるか、又はロボットが特定の位置で立ち往生する場合がある。多くの場合、このような問題は人の介入を必要とする。しかしながら、人の介入は、特にユーザがロボットに手動で介入する必要がある場合には煩わしく感じられ得る。
【発明の概要】
【課題を解決するための手段】
【0008】
本開示の一態様によれば、ロボットを制御する方法であって、電子ユーザデバイスにおいて、
ロボットの環境の表現データであり、環境内の少なくとも１つの可動物体の位置を示すデータをロボットから受信するステップと、
表現データの受信に応答して、電子ユーザデバイスのグラフィカルディスプレイにロボットの環境の表現を表示するステップと、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す電子ユーザデバイスのユーザからの入力を受け付けるステップと、
ユーザ入力の受け付けに応答して、ロボットに少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようにすることが可能である制御データをロボットに送信するステップと
を含む方法が提供される。
ロボットの環境の表現データであり、環境内の少なくとも１つの可動物体の位置を示すデータをロボットから受信するステップと、
表現データの受信に応答して、電子ユーザデバイスのグラフィカルディスプレイにロボットの環境の表現を表示するステップと、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す電子ユーザデバイスのユーザからの入力を受け付けるステップと、
ユーザ入力の受け付けに応答して、ロボットに少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようにすることが可能である制御データをロボットに送信するステップと
を含む方法が提供される。
【0009】
実施形態では、ロボットの環境は家又は家の一領域である。実施形態では、電子ユーザデバイスは、例えばタブレット又はラップトップであり、これはユーザにより操作されると共に、ロボットの環境を表すデータを例えば家の部屋の画像としてユーザに対して表示するものであり、データは１つ又は複数の可動物体の現在の位置を示す。実施形態では、環境内の少なくとも１つの可動物体の位置を示すデータは、ユーザが整頓又は移動を望み得る生活用品の位置を示す。実施形態では、電子ユーザデバイスを用いて、ユーザはそれらの用品の所望位置を入力し、このユーザ入力に応答して、ロボットは用品を所望位置へ移動させるよう指示される。したがって、ロボットと電子ユーザデバイスとの間のデータ通信を用いて、ユーザはロボットに生活用品を整頓又は再構成するよう指示することができる。例えば、ユーザは、ロボットに衣服の整頓、キッチンの整頓、又は室内の家具の配置換えを指示し得る。実施形態では、制御データは所望位置への経路を指定し得る。他の実施形態では、制御データは所望の終了位置を指定することができ、ロボットは所望位置への経路を決定することができる。
【0010】
実施形態では、ユーザ入力は、電子ユーザデバイスのディスプレイを介して受け付けられる。実施形態では、ユーザは、ディスプレイと対話して表示された物体の所望位置を入力する。
【0011】
実施形態では、ユーザ入力は、少なくとも１つの可動物体の現在の位置から所望位置へのドラッグアンドドロップ動作を含む。実施形態では、ユーザは、グラフィカルディスプレイに表示されたロボットの環境内の可動物体を選択し、それらを同じくグラフィカルディスプレイに表示された環境内の異なる位置にドラッグして物体を所望位置で放す。これにより、ユーザがロボットに対して命令を与える直感的な対話方法が得られる。他の実施形態では、ユーザ入力はタイプされた命令を含む。ディスプレイを用いて、ユーザは所望位置へ移動させる物体をタイプすることができ、物体の所望位置をタイプすることができる。
【0012】
実施形態では、ユーザ入力はマイクロフォンを介して受け付けられ、入力は、少なくとも１つの可動物体の所望位置の可聴指示を含む。実施形態では、ユーザは、所望位置へ移動させる物体を口頭で指示することができ、所望位置を口頭で指示することができる。これにより、電子ユーザデバイスのハンズフリー操作が可能となり、ディスプレイとの視覚的対話の必要がない。
【0013】
実施形態では、本方法は、少なくとも１つの可動物体が所望位置へ移動したことを確認する確認データをロボットから受信するステップと、確認データの受信に応答して、ロボットの更新された環境をグラフィカルディスプレイに表示するステップであり、更新された環境は少なくとも１つの可動物体の位置を示すステップとを含む。実施形態では、ロボットが物体を所望位置へ移動させると、環境を表す更新画像、例えばロボットの新たな位置を示す家の部屋の更新画像が表示され得る。これにより、ユーザはロボットが物体を所望位置へ正確に移動させたか否かを判断することができると共に、さらに移動させる必要があり得るかを判断することができる。
【0014】
実施形態では、本方法は、環境内の１つ又は複数の物体の識別子を提供するようユーザに要求する要求データをロボットから受信するステップと、ロボットの環境内の少なくとも１つの物体の所望の識別子を示す電子ユーザデバイスのユーザからの入力を受け付けるステップとを含む。実施形態では、電子ユーザデバイスは、所望の識別子を含む応答データをロボットに送信する。実施形態では、ロボットは、制御データに応答していない空き時間中にその環境内の未知又は不特定の物体を識別する。実施形態では、電子デバイスのユーザは、電子ユーザデバイスのディスプレイを介して所望の識別子を入力する。識別子は、例えば特定の物体に固有の識別子であり得るか、又は同類の物体に共通の識別子であり得る。所望の識別子は、ロボットのメモリに格納されてもよく、代替として、識別子は、ロボット外に、例えば「クラウド」／外部デバイスに格納されてもよく、ユーザ及び／又はロボットが将来の動作でこれらの識別子を用いて物体を識別することができる。ユーザからのデータの要求は、ロボットが自律的に動作する能力を制限するが、ユーザに物体の識別を要求することで、ロボットが分類又は表面の既存の（又はそのような詳細な）知識を有する必要がないので、ロボットの必要な機能性を単純化することができる。ユーザ入力の要求は、特に、判断に迷う場合、新たな物体が識別された場合、又はロボットが不確実な場合に、ロボットによる誤分類を回避するのにも役立ち得る。ユーザは、カスタム識別子を入力することもでき、例えば、ユーザは「マグ」というより一般的な分類子ではなく識別子「ボブのマグ」を入力することができる。
【0015】
本開示の一態様によれば、電子ユーザデバイスでのロボットの制御に用いる装置であって、
ロボットの環境の表現データであり、環境内の少なくとも１つの可動物体の位置を示すデータをロボットから受信し、
表現データの受信に応答して、電子ユーザデバイスのグラフィカルディスプレイにロボットの環境の表現を表示し、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す電子ユーザデバイスのユーザからの入力を受け付け、且つ
ユーザ入力の受け付けに応答して、ロボットに少なくとも１つの可動物体をロボットの環境内の所望位置へ移動させるようにすることが可能である制御データをロボットに送信する
よう構成された装置が提供される。
ロボットの環境の表現データであり、環境内の少なくとも１つの可動物体の位置を示すデータをロボットから受信し、
表現データの受信に応答して、電子ユーザデバイスのグラフィカルディスプレイにロボットの環境の表現を表示し、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す電子ユーザデバイスのユーザからの入力を受け付け、且つ
ユーザ入力の受け付けに応答して、ロボットに少なくとも１つの可動物体をロボットの環境内の所望位置へ移動させるようにすることが可能である制御データをロボットに送信する
よう構成された装置が提供される。
【0016】
実施形態では、ロボッ及び電子ユーザデバイスは、無線ネットワークを介して対話するよう構成されるので、ユーザがロボットを遠隔制御できる。したがって、ユーザは、例えば勤務中に、外出中に、又は家の別の領域で自宅内のロボットを制御することが可能であり得る。
【0017】
本開示の別の態様によれば、コンピュータ化されたデバイスにより実行されると、コンピュータ化されたデバイスにネットワークを介してロボットを制御する方法を実行させる命令のセットを含む、コンピュータプログラム製品であり、方法は、電子ユーザデバイスにおいて、
ロボットの環境の表現データであり、環境内の少なくとも１つの可動物体の位置を示すデータを、ネットワークを介してロボットから受信するステップと、
表現データの受信に応答して、電子ユーザデバイスのグラフィカルディスプレイにロボットの環境を表示するステップと、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す電子ユーザデバイスのユーザからの入力を受け付けるステップと、
ユーザ入力の受け付けに応答して、ロボットに少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようにすることが可能である制御データを、ネットワークを介してロボットに送信するステップと
を含む、コンピュータプログラム製品が提供される。
ロボットの環境の表現データであり、環境内の少なくとも１つの可動物体の位置を示すデータを、ネットワークを介してロボットから受信するステップと、
表現データの受信に応答して、電子ユーザデバイスのグラフィカルディスプレイにロボットの環境を表示するステップと、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す電子ユーザデバイスのユーザからの入力を受け付けるステップと、
ユーザ入力の受け付けに応答して、ロボットに少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようにすることが可能である制御データを、ネットワークを介してロボットに送信するステップと
を含む、コンピュータプログラム製品が提供される。
【0018】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットを操作する方法であって、ロボットにおいて、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成するステップであり、表現は環境内の少なくとも１つの可動物体の位置を含むステップと、
ロボットの環境を表すデータを電子ユーザデバイスに送信するステップと、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようロボットを操作するステップと
を含む方法が提供される。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成するステップであり、表現は環境内の少なくとも１つの可動物体の位置を含むステップと、
ロボットの環境を表すデータを電子ユーザデバイスに送信するステップと、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようロボットを操作するステップと
を含む方法が提供される。
【0019】
実施形態では、ロボットは、イメージセンサ、近接センサ、及びタッチセンサの少なくとも１つを有する。実施形態では、少なくとも１つのセンサは、２次元又は３次元のポジションであり得る物体のポジション、又は物体の寸法を感知する。実施形態では、センサは、物体の形状及び／又は物体の表面性状を感知する。
【0020】
実施形態では、ロボットの環境の表現を生成するステップは、既知の物体のリスト及び関連する識別子を生成するステップと、既知の物体及のリスト及びリスト中の物体毎の識別子を格納するステップとを含む。実施形態では、生成するステップは、リストにない未知の物体を識別するステップと、識別に応じて、未知の物体を識別する要求を電子ユーザデバイスに送信するステップとを含む。実施形態では、生成するステップは、未知の物体の識別子を示すデータを電子ユーザデバイスから受信するステップと、識別子を示すデータの受信に応答して、リストを更新して識別子を未知の物体と関連付けるステップとを含む。
【0021】
実施形態では、ロボットは、感知した物体を、識別子と共にリストに格納することができる既知の物体と未知の物体とに区別する。実施形態では、既知の物体は、ユーザその他により以前に識別されておりロボットのメモリ又は「クラウド」／外部デバイスに格納された物体である。実施形態では、既知の物体及び関連する識別子のリストは格納され、ユーザが未知の物体を識別する毎にリストが増える。そのうち、ロボットはユーザ入力をさほど必要とせずにより多くの物体を識別しこれらと対話できるようになるので、これによりロボットのより容易な動作を促すことができる。
【0022】
実施形態では、本方法は、生成された表現を定期的に更新すること、及びセット内のパラメータの１つ又は複数の変化を示す１つ又は複数のセンサの動作に応答して表現を更新することの一方又は両方により、生成された表現をロボット又は外部デバイスで維持するステップを含む。
【0023】
実施形態では、ロボットは、制御データに応答していない空き時間中に表現を更新し、更新された表現を電子ユーザデバイスに送信する。実施形態では、ロボットは、固定の時間間隔で定期的に表現を更新し、更新された表現を電子ユーザデバイスに送信する。実施形態では、ロボットは、パラメータの変化がある場合に更新された表現を電子ユーザデバイスに送信する。これにより、ユーザが反応して、ユーザが環境の変化に応じて動作を実行するようロボットに知らせる場合は制御データをロボットに送信することができる。
【0024】
実施形態では、ロボットは表現を外部デバイスに送信し、外部デバイスは格納した表現を更新する。表現は、ユーザがアクセス可能な「クラウド」又はネットワークストレージに格納することができる。
【0025】
実施形態では、ロボットに格納されたリストは、リスト中の少なくとも１つの物体のホーム位置を含む。実施形態では、少なくとも１つの物体のホーム位置は、電子ユーザデバイスを用いてユーザにより以前に入力されている。実施形態では、ホーム位置は、他の所望位置が指定されない場合に物体のデフォルトの所望位置を指定する。したがって、ユーザは、特定の所望位置を入力するのではなく、物体をそのホーム位置に戻すことを要求することが可能である。
【0026】
実施形態では、リストは、同じ識別子を有する複数の物体を含み、その複数のうちの物体は同じホーム位置を有する。実施形態では、リストが既にリストにある物体と同じ識別子を有する新たな物体を含むよう更新された場合、新たな物体には同じホーム位置が自動的に割り当てられる。したがって、識別された物体のホーム位置は、ユーザ入力を追加する必要なく自動的に割り当てられ得る。
【0027】
実施形態では、電子ユーザデバイスに送信された要求は、未知の物体のホーム位置を指定する要求をさらに含み、ロボットで受信されたデータは、未知の物体のホーム位置を指定するデータを含む。実施形態では、リストの更新は、未知の物体の指定されたホーム位置を含むようリストを更新することを含む。
【0028】
実施形態では、少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようロボットを操作するステップは、少なくとも１つの物体をそのホーム位置へ移動させるようロボットを操作することを含む。実施形態では、ロボットを操作するステップは、複数の物体をそれらのホーム位置へ移動させるようロボットを操作することを含む。これにより、ユーザは、物体毎に個々の所望位置を指定する必要なく複数の物体を異なる「ホーム」位置へ移動させるようロボットを操作することができる。
【0029】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットを操作する装置であって、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、環境内の少なくとも１つの可動物体の位置を含むロボットの環境の表現を生成し、
ロボットの環境を表すデータを電子ユーザデバイスに送信し、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようロボットを操作する
よう構成された装置が提供される。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、環境内の少なくとも１つの可動物体の位置を含むロボットの環境の表現を生成し、
ロボットの環境を表すデータを電子ユーザデバイスに送信し、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようロボットを操作する
よう構成された装置が提供される。
【0030】
本装置は、ロボットに挿入することができるコンピュータチップ又は制御モジュールを備え得る。
【0031】
本開示の一態様によれば、コンピュータ化されたデバイスにより実行されると、コンピュータ化されたデバイスに１つ又は複数のセンサを有するロボットを操作する方法を実行させる命令のセットを含む、コンピュータプログラム製品であって、方法は、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成するステップであり、表現は環境内の少なくとも１つの可動物体の位置を含むステップと、
ロボットの環境を表すデータを電子ユーザデバイスに送信するステップと、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようロボットを操作するステップと
を含む、コンピュータプログラム製品が提供される。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成するステップであり、表現は環境内の少なくとも１つの可動物体の位置を含むステップと、
ロボットの環境を表すデータを電子ユーザデバイスに送信するステップと、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、少なくとも１つの物体をロボットの環境内の所望位置へ移動させるようロボットを操作するステップと
を含む、コンピュータプログラム製品が提供される。
【0032】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットであって、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、環境内の少なくとも１つの可動物体の位置を含むロボットの環境の表現を生成し、
ロボットの環境を表すデータを電子ユーザデバイスに送信し、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、少なくとも１つの物体をロボットの環境内の所望位置へ移動させる
よう構成されたロボットが提供される。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、環境内の少なくとも１つの可動物体の位置を含むロボットの環境の表現を生成し、
ロボットの環境を表すデータを電子ユーザデバイスに送信し、
ロボットの環境内の少なくとも１つの可動物体の所望位置を示す制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、少なくとも１つの物体をロボットの環境内の所望位置へ移動させる
よう構成されたロボットが提供される。
【0033】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットを操作する方法であって、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作すること、及び
環境内の物体のリスト及びリスト中の物体毎の関連する識別子を作成すること
によりロボットの環境の表現を生成するステップと、
生成されたリストのうち電子ユーザデバイスのユーザが環境内で位置特定を望む物体の識別子を含む制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、環境を探索して環境内の識別された物体の位置を決定するようロボット及び１つ又は複数のセンサを操作するステップと
を含む方法が提供される。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作すること、及び
環境内の物体のリスト及びリスト中の物体毎の関連する識別子を作成すること
によりロボットの環境の表現を生成するステップと、
生成されたリストのうち電子ユーザデバイスのユーザが環境内で位置特定を望む物体の識別子を含む制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、環境を探索して環境内の識別された物体の位置を決定するようロボット及び１つ又は複数のセンサを操作するステップと
を含む方法が提供される。
【0034】
したがって、ユーザの代わりにロボットの動作で物体を位置特定することができる。実施形態では、ロボットは、イメージセンサ及び／又は近接センサを用いてその環境内の物体のリストを決定する。実施形態では、物体のリストは、１つ又は複数の機械学習ツール、例えば従来のニューラルネットワークを用いて決定され得る。他の実施形態では、物体はユーザにより識別され得る。
【0035】
実施形態では、ユーザは、ロボットにより生成されたリストにあり得る識別子を電子ユーザデバイスに入力する。例えば、ユーザは、「車の鍵」を電子ユーザデバイスに入力し得る。実施形態では、ロボットは、その環境を探索し、イメージセンサ、近接センサ、及び／又はタッチセンサを用いて識別された物体を位置特定する。
【0036】
実施形態では、本方法は、生成された表現を定期的に更新すること、及びセット内のパラメータの１つ又は複数の変化を示す１つ又は複数のセンサの動作に応答して表現を更新することの一方又は両方により、生成された表現を維持するステップを含む。実施形態では、表現はロボットで維持される。実施形態では、表現は外部デバイスで維持される。実施形態では、外部デバイスは、「クラウド、」サーバ、又はネットワークエレメントである。
【0037】
実施形態では、本方法は、識別された物体の決定された位置の指示を電子ユーザデバイスに送信するステップを含む。したがって、ユーザは、自らの電子ユーザデバイスを介して物体の位置を通知され得る。実施形態では、ロボットは、識別された物体が環境内で位置特定できない場合に電子ユーザデバイスに指示を送信する。実施形態では、指示は、識別された物体の位置を示す画像の形態であり得る。
【0038】
実施形態では、本方法は、生成されたリストを電子ユーザデバイスに送信するステップを含む。したがって、ユーザは、ロボットが識別された物体のリストから既知の物体を位置特定することを要求することしかできない。実施形態では、リストはユーザに対してグラフィック表示され、ユーザは、電子ユーザデバイスのユーザインタフェースを用いて位置特定したい物体を選択することができる。
【0039】
実施形態では、ロボットの環境を表すパラメータのセットは、電子ユーザデバイスに送信される。実施形態では、ロボットの環境を表す画像が送信され、電子ユーザデバイスでグラフィック表示される。実施形態では、画像は、家のどの部屋にロボットが位置するか、又は家の何階にロボットがあるかをユーザが判断することを可能にする。実施形態では、パラメータのセットは、ロボットに近接しているか又はロボットがアクセス可能な表面を含む。
【0040】
実施形態では、物体のリストの作成は、リスト中の少なくとも１つの物体の最新の位置を決定することを含む。したがって、ユーザはリストを調べることができ、その際にユーザが物体を発見できる可能性が高まる。実施形態では、ロボットは、リスト中の少なくとも１つの物体の最新の位置を決定する。実施形態では、ユーザは、リスト中の少なくとも１つの物体の最新の位置を入力する。実施形態では、リストは、ロボットが把握しているロボットの現在の環境内の物体とそれらの現在の位置とを含む。例えば、リストは、識別子「鍵」と、「キッチンサイドボード」の現在の位置でもあり得る最新の位置とを含み得る。
【0041】
実施形態では、ロボットを操作するステップは、識別された物体の最新の位置に近接して移動するようロボットを操作することを含む。したがって、ユーザは、ロボットの位置から物体の最新の位置を決定することが可能であり得ると共に、ロボットが物体で動作を実行することを要求することができる。例えば、リストが「キッチンサイドボード」に最後に位置していた「鍵」を含む場合、ユーザは、電子ユーザデバイスに要求を入力することができ、電子ユーザデバイスは、キッチンサイドボードへ移動するようロボットを操作するための制御データを送信することができる。
【0042】
実施形態では、ロボットを操作するステップは、識別された物体を所与の位置へ移動させるようロボットを操作することを含む。したがって、ユーザは、所与の位置まで行って物体を見ようとすることができるか、又はユーザは、ロボットに物体を所与の位置へ運ばせようとすることができる。実施形態では、所与の位置は受信された制御データに含まれている。実施形態では、ロボットが識別された物体の最新の位置に到着したら、ロボットに送信された制御データは、識別された物体を移動させるようロボットを操作する。実施形態では、ロボットは、１つ又は複数のグラバを用いて物体を持ち上げる。実施形態では、所与の位置は、電子デバイスのユーザの現在の位置である。実施形態では、所与の位置は、識別された物体のホーム位置である。実施形態では、所与の位置は、電子デバイスのユーザの位置（又はユーザに隣接／近接した位置）である。
【0043】
実施形態では、ロボットは、識別された物体の位置で写真又は動画を撮影して、写真又は動画を電子ユーザデバイスに送信することができる。
【0044】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットの操作に用いる装置であって、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作すること、及び
環境内の物体のリスト及びリスト中の物体毎の関連する識別子を作成すること
によりロボットの環境の表現を生成し、
生成されたリストのうち電子ユーザデバイスのユーザが環境内で位置特定を望む物体の識別子を含む制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、環境を探索して環境内の識別された物体の位置を決定するようロボット及び１つ又は複数のセンサを操作する
よう構成された装置が提供される。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作すること、及び
環境内の物体のリスト及びリスト中の物体毎の関連する識別子を作成すること
によりロボットの環境の表現を生成し、
生成されたリストのうち電子ユーザデバイスのユーザが環境内で位置特定を望む物体の識別子を含む制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、環境を探索して環境内の識別された物体の位置を決定するようロボット及び１つ又は複数のセンサを操作する
よう構成された装置が提供される。
【0045】
本装置は、ロボットに挿入されるコンピュータチップ又はモジュールを備え得る。
【0046】
本開示の一態様によれば、命令のセットを含むコンピュータプログラム製品が提供される。コンピュータ化されたデバイスにより実行されると、命令は、コンピュータ化されたデバイスに１つ又は複数のセンサを有するロボットを操作する方法を実行させ、この方法は、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作すること、及び
環境内の物体のリスト及びリスト中の物体毎の関連する識別子を作成すること
によりロボットの環境の表現を生成するステップと、
生成されたリストのうち電子ユーザデバイスのユーザが環境内で位置特定を望む物体の識別子を含む制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、環境を探索して環境内の識別された物体の位置を決定するようロボット及び１つ又は複数のセンサを操作するステップと
を含む。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作すること、及び
環境内の物体のリスト及びリスト中の物体毎の関連する識別子を作成すること
によりロボットの環境の表現を生成するステップと、
生成されたリストのうち電子ユーザデバイスのユーザが環境内で位置特定を望む物体の識別子を含む制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、環境を探索して環境内の識別された物体の位置を決定するようロボット及び１つ又は複数のセンサを操作するステップと
を含む。
【0047】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットが提供される。ロボットは、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作すること、及び
環境内の物体のリスト及びリスト中の物体毎の関連する識別子を作成するか、又は電子ユーザデバイスから受信すること
によりロボットの環境の表現を生成し、
生成されたリストのうち電子ユーザデバイスのユーザが環境内で位置特定を望む物体の識別子を含む制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、環境を探索して環境内の識別された物体の位置を決定するようロボット及び１つ又は複数のセンサを操作する
よう構成される。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作すること、及び
環境内の物体のリスト及びリスト中の物体毎の関連する識別子を作成するか、又は電子ユーザデバイスから受信すること
によりロボットの環境の表現を生成し、
生成されたリストのうち電子ユーザデバイスのユーザが環境内で位置特定を望む物体の識別子を含む制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、環境を探索して環境内の識別された物体の位置を決定するようロボット及び１つ又は複数のセンサを操作する
よう構成される。
【0048】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットを操作する方法が提供される。本方法は、
ロボットにおいて、ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成するステップであり、表現はロボットが位置する表面以外の環境内の少なくとも１つの表面を含むステップと、
ロボットにおいて、ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させるステップと
を含む。
ロボットにおいて、ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成するステップであり、表現はロボットが位置する表面以外の環境内の少なくとも１つの表面を含むステップと、
ロボットにおいて、ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させるステップと
を含む。
【0049】
したがって、ロボットの動作は、環境内の表面での所望動作の実行を容易にすることができる。実施形態では、ロボットが位置する表面は、家の部屋の床である。実施形態では、表現は、少なくとも１つの床から離れた表面を含む（すなわち、床から離れた表面は床面ではない）。実施形態では、表現は、テーブルトップ、作業面、絨毯張り／布張り又はタイル張り領域、窓、ドア、及び窓敷居等の表面を含む。実施形態では、センサは、２次元又は３次元の表面の位置を感知し、したがって表面の高さを感知することができる。実施形態では、センサは表面の性状を感知し、例えば、絨毯張り／布張り面、タイル張り面、ガラス面、又は積層面を区別する。
【0050】
実施形態では、本方法は、ロボットの環境を表すデータを電子ユーザデバイスに送信するステップを含む。実施形態では、ロボットの環境の表現は、電子ユーザデバイスで画像としてグラフィック表示される。画像は、電子ユーザデバイスのユーザがロボットの現在の位置、例えばどの部屋にロボットがあるかを判断することを可能にし、且つ所望動作がいつ実行されたか及び実行されたか否かを判断することを可能にする。
【0051】
実施形態では、ロボットは、表面清掃コンポーネントを備え、所望動作は清掃動作を含む。したがって、ロボットの動作は、例えば家の室内の表面の清掃を容易にすることができる。実施形態では、ロボットは、他の清掃アームと交換可能な取り外し可能な清掃アームであり得る清掃アームを備える。
【0052】
実施形態では、清掃動作は、真空清掃、ワイピング、モッピング、整頓、及びダスティングの１つ又は複数を含む。したがって、様々な異なる清掃動作を実行することができ、実行される動作はユーザ入力に応じて変わり得る。実施形態では、所望動作は表面に応じて変わる。例えば、絨毯に対する所望動作は真空清掃であってもよく、テーブルに対する所望動作はワイピングであってもよい。実施形態では、ロボットは、真空清掃アーム、ワイピングアーム、モッピングアーム、整頓アーム、及びダスティングアームを含む、複数の取り外し可能な清掃アームを備える。取り外し可能なアームは交換可能であり得るので、取り外して交換することができる。
【0053】
実施形態では、環境の表現を生成するステップは、環境内の表面のリスト及びリスト中の表面毎の関連する識別子を生成することを含む。実施形態では、本方法は、生成されたリストを電子ユーザデバイスに送信するステップを含み、受信された制御データは、所望動作が実行される格納されたリスト上の少なくとも１つの表面の関連する識別子を含む。したがって、ユーザは、識別された表面のリストから既知の表面でロボットが動作を実行することを要求することしかできない。実施形態では、リストは、電子ユーザデバイスでユーザに対してグラフィック表示される。実施形態では、リスト中の表面は、例えばユーザにより又はロボットにより自動的にロボットに対して以前に識別された表面である。
【0054】
実施形態では、本方法は、ロボットの環境内の少なくとも１つの表面での所望動作の実行が完了すると、所望動作完了通知を電子ユーザデバイスに送信するステップを含む。実施形態では、通知は、表面の更新画像を電子ユーザデバイスでユーザに対して表示することを可能にするデータを含み得る。これにより、ユーザは、所望動作が完全に正しく且つ基準を十分に満たしていたかを判断することができるようになり得る。
【0055】
実施形態では、本方法は、生成された表現を定期的に更新すること、及びパラメータのセット内の１つ又は複数の変化を示す１つ又は複数のセンサの動作に応答して生成された表現を更新することの一方又は両方により、生成された表現を維持するステップを含む。したがって、ユーザは、例えば、所望動作が実行されたか又は環境内の表面で実行される必要があるかを識別するために、環境の変化を追跡することができる。実施形態では、空き時間中に、ロボットは生成された表現を更新し、その環境を表すデータをユーザに送信し得る。実施形態では、ロボットは、生成された表現を定期的な時間間隔で更新する。実施形態では、所望動作が完了すると更新された表現が生成される。実施形態では、例えば表面がきれいではなくなった場合、表面のパラメータが変わったことをセンサが感知する。実施形態では、更新された表現がこのような変化に応答して生成される。実施形態では、「クラウド」又はネットワークサーバにあり得る外部デバイスが生成された表現を更新する。
【0056】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットの操作に用いる装置であって、
ロボットにおいて、ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットが位置する表面以外の環境内の少なくとも１つの表面を含むロボットの環境の表現を生成し、
ロボットにおいて、ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させる
よう構成された装置が提供される。
ロボットにおいて、ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットが位置する表面以外の環境内の少なくとも１つの表面を含むロボットの環境の表現を生成し、
ロボットにおいて、ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させる
よう構成された装置が提供される。
【0057】
本開示の一態様によれば、命令のセットを含むコンピュータプログラム製品が提供される。コンピュータ化されたデバイスにより実行されると、命令は、コンピュータ化されたデバイスに１つ又は複数のセンサを有するロボットを操作する方法を実行させ、この方法は、
ロボットにおいて、ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成するステップであり、表現はロボットが位置する表面以外の環境内の少なくとも１つの表面を含むステップと、
ロボットにおいて、ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させるステップと
を含む。
ロボットにおいて、ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットの環境の表現を生成するステップであり、表現はロボットが位置する表面以外の環境内の少なくとも１つの表面を含むステップと、
ロボットにおいて、ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信するステップと、
制御データの受信に応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させるステップと
を含む。
【0058】
本開示の一態様によれば、１つ又は複数のセンサを有するロボットが提供される。ロボットは、
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットが位置する表面以外の環境内の少なくとも１つの表面を含むロボットの環境の表現を生成し、
ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、ロボットの環境内の少なくとも１つの表面で所望動作を実行する
よう構成される。
ロボットの環境を表すパラメータのセットを感知するよう１つ又は複数のセンサを操作することにより、ロボットが位置する表面以外の環境内の少なくとも１つの表面を含むロボットの環境の表現を生成し、
ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す制御データを電子ユーザデバイスから受信し、且つ
制御データの受信に応答して、ロボットの環境内の少なくとも１つの表面で所望動作を実行する
よう構成される。
【0059】
本開示の一態様によれば、ロボットを制御する方法が提供される。本方法は、電子ユーザデバイスにおいて、
ロボットの環境の表現データであり、ロボットが位置する表面以外の環境内の少なくとも１つの表面を示すデータをロボットから受信するステップと、
表現データの受信に応答して、電子ユーザデバイスのグラフィカルディスプレイにロボットの環境の表現を表示するステップと、
ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す電子ユーザデバイスのユーザからの入力を受け付けるステップと、
ユーザ入力の受け付けに応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させることが可能である制御データをロボットに送信するステップと
を含む。
ロボットの環境の表現データであり、ロボットが位置する表面以外の環境内の少なくとも１つの表面を示すデータをロボットから受信するステップと、
表現データの受信に応答して、電子ユーザデバイスのグラフィカルディスプレイにロボットの環境の表現を表示するステップと、
ロボットの環境内の少なくとも１つの表面で実行する所望動作を示す電子ユーザデバイスのユーザからの入力を受け付けるステップと、
ユーザ入力の受け付けに応答して、ロボットにロボットの環境内の少なくとも１つの表面で所望動作を実行させることが可能である制御データをロボットに送信するステップと
を含む。
【0060】
実施形態では、ロボットの環境は、家又は家の一領域である。実施形態では、電子ユーザデバイスは、例えばタブレット又はラップトップであり、ユーザにより操作され、ロボットの環境を表すデータをユーザに対して、例えば１つ又は複数の可動物体の現在の位置を示す家の部屋の画像として表示する。実施形態では、ロボットが位置する表面以外の環境内の少なくとも１つの表面を示すデータは、ユーザが清掃を望み得る表面を示す。実施形態では、電子ユーザデバイスを用いて、ユーザはそれらの表面で実行する所望動作を入力し、このユーザ入力に応答して、ロボットは表面で所望動作を実行するよう指示される。したがって、ロボットと電子ユーザデバイスとの間のデータ通信を用いて、ユーザは、ロボットの環境内の表面の清掃を指示し得る。例えば、ユーザは、絨毯に掃除機をかけるか、表面を拭くか、又は床にモップをかけるようロボットに指示し得る。
【0061】
実施形態では、所望動作を示すユーザ入力が電子ユーザデバイスのディスプレイを介して受け付けられる。したがって、ユーザは、電子デバイスを用いてロボットに対する命令を入力することができる。ユーザは、ロボットから遠隔で命令を入力することができる。実施形態では、ユーザは、ディスプレイと対話して表面で実行する所望動作を入力する。これにより、ユーザがロボットに対して命令を与える直感的な対話方法が得られる。他の実施形態では、ユーザ入力はタイプされた入力を含む。ディスプレイを用いて、ユーザは表面で実行する動作をタイプし得るか、又は例えば可能な動作のリストから動作を選択し得る。
【0062】
実施形態では、ユーザ入力はマイクロフォンを介して受け付けられ、入力は、ロボットの環境内の少なくとも１つの表面で実行する所望動作の可聴指示を含む。したがって、ユーザは、電子ユーザデバイスと物理的に接触せずに電子ユーザデバイスを用いてロボットに対する指示又は命令を入力可能であり得る。実施形態では、ユーザは、表面で実行する所望動作を口頭で指示し得る。これにより、電子ユーザデバイスのハンズフリー操作が可能となり、ディスプレイとの視覚的対話の必要がない。
【0063】
実施形態では、本方法は、ロボットの環境内の少なくとも１つの表面で所望動作が実行されたことを確認する確認データをロボットから受信するステップを含む。実施形態では、確認データの受信に応答して、ロボットの更新された環境がグラフィカルディスプレイに表示され、更新された環境は、所望動作がロボットの環境内の少なくとも１つの表面で実行されたことを示す。
【0064】
実施形態では、ロボットが表面で所望動作を実行した場合、例えば表面を示す環境を表す更新画像が表示され得る。これにより、ユーザは、ロボットが所望動作を十分に高い水準で正確に実行されたか否かを判断し、さらなる動作が必要であり得るか否かを判断することができる。
【0065】
実施形態では、本方法は、ロボットの環境内の所与の表面の識別子を提供するようユーザに要求する要求データをロボットから受信するステップを必要とする。実施形態では、本方法は、ロボットの環境内の所与の表面の所望の識別子を示す電子ユーザデバイスのユーザからの入力を受け付けるステップと、所望の識別子を含む応答データをロボットに送信するステップとを必要とする。
【0066】
ユーザからのデータの要求は、ロボットが自律的に動作する能力を制限するが、表面の識別子を提供するようユーザに要求することで、ロボットが分類又は物体の既存の（又はそのような詳細な）知識を有する必要がないので、ロボットの必要な機能性を単純化することができる。ユーザ入力の要求は、特に判断に迷う場合、新たな物体が識別された場合、又はロボットが不確実な場合に、ロボットによる誤分類を回避するのにも役立ち得る。ユーザは、カスタム識別子を入力することもでき、例えば、ユーザは「マグ」というより一般的な分類子ではなく識別子「ボブのマグ」を入力することができる。
【0067】
表面を識別するようユーザに要求することも、特に判断に迷う場合、新たな物体が識別された場合、又はロボットが不確実な場合に、ロボットによる誤分類を回避するのに役立ち得る。
【0068】
実施形態では、所望動作は清掃動作を含む。実施形態では、清掃動作は、真空清掃、ワイピング、モッピング、整頓、及びダスティングの１つ又は複数を含む。したがって、ロボットは、ユーザ入力に応じて様々な異なる清掃動作を実行することができる。
【0069】
本発明の一態様に関して記載される特徴が本発明の他の態様に組み込まれ得ることが、当然ながら理解されよう。例えば、本発明の方法は、本発明の装置に関して記載される特徴のいずれかを組み込むことができ、逆もまた同じである。
【0070】
次に、添付図面を参照して本発明の実施形態を単なる例として説明する。
【図面の簡単な説明】
【0071】
【図1】実施形態によるロボット及び電子ユーザデバイスシステム図である。
【図2】実施形態による電子ユーザデバイスのブロック図である。
【図3】実施形態によるロボットの概略図である。
【図4】実施形態によるロボットと電子ユーザデバイスとの間のデータ通信を示すメッセージフロー図である。
【図5】実施形態によるロボットと電子ユーザデバイスとの間のデータ通信を示すメッセージフロー図である。
【図6】実施形態によるロボットと電子ユーザデバイスとの間のデータ通信を示すメッセージフロー図である。
【図7】実施形態によるロボットと電子ユーザデバイスとの間のデータ通信を示すメッセージフロー図である。
【図8】実施形態によるロボットと電子ユーザデバイス１０５との間のデータ通信を示すメッセージフロー図である。
【発明を実施するための形態】
【0072】
図１は、実施形態によるロボット１０３及び電子ユーザデバイス１０５のシステム図を示す。実施形態では、電子ユーザデバイス１０５は、ロボット１０３の環境１０９の表現データをロボット１０３から受信する。受信されたデータは、環境１０９内の少なくとも１つの物体１０７の位置を示す。表現データの受信に応答して、ロボット１０３の環境１０９の表現が電子ユーザデバイス１０５のグラフィカルディスプレイに表示される。電子ユーザデバイス１０５は、ロボット１０３の環境１０９内の少なくとも１つの可動物体１０７の所望位置を示すユーザからの入力を受け付ける。ユーザ入力の受け付けに応答して、ロボット１０３に少なくとも１つの物体１０７をロボット１０３の環境１０９内の所望位置へ移動させるようにすることが可能な制御データが、ロボット１０３に送信される。データは、ロボット１０３と電子ユーザデバイス１０５との間で転送される。実施形態では、ロボット１０３及び電子ユーザデバイス１０５は、ネットワークを介して対話し、かかる実施形態では、ロボット１０３及び電子ユーザデバイス１０５は、通常は相互の近くに位置しない。ネットワークは、１つ又は複数の有線ネットワーク及び／又は１つ又は複数の無線ネットワークを含み得る。実施形態では、ロボット１０３及び電子ユーザデバイス１０５は、直接エアインタフェース（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉＦｉ Ｄｉｒｅｃｔ（登録商標）等の無線通信プロトコルによる通信）を介して対話し、かかる実施形態では、ロボット１０３及び電子ユーザデバイス１０５は、通常は相互の近くに位置する。実施形態では、ロボット１０３の環境１０９は、家等の建物、建物の１つ又は複数の階、及び／又は建物の１つ又は複数の部屋を含む。実施形態では、物体１０７は、生活用品、衣料品、又は家具等を含む。
【0073】
図２は、実施形態による電子ユーザデバイス１０５のブロック図を示す。電子ユーザデバイス１０５は、グラフィカルディスプレイ２０１を備える。電子ユーザデバイス１０５は、ユーザインタフェース２０３を備え、これはユーザ入力を可能にするタッチスクリーンディスプレイ２０４及び／又はマイクロフォン２０５を含み得る。実施形態では、グラフィカルディスプレイ２０１は、タッチスクリーンディスプレイ２０４を含み、ユーザ入力が電子デバイス１０５のタッチスクリーンディスプレイ２０４を介して受け付けられる。電子デバイス１０５は、ロボット１０３へのデータ（例えば制御データ）の送信及びロボット１０３からのデータ（例えば環境１０９を表すデータ）の受信用のトランシーバ２０９を備える。電子ユーザデバイス１０５は、実施形態による様々なデータ処理機能を実行するプロセッサシステム２０７を備える。電子ユーザデバイス１０５は、実施形態による様々なデータを格納する１つ又は複数のメモリ２１１を備える。
【0074】
実施形態では、電子ユーザデバイス１０５は、環境１０９内の少なくとも１つの可動物体１０７の位置を示すロボット１０３の環境１０９を表すデータをロボット１０３から受信する。電子ユーザデバイス１０５は、ロボット３の環境１０９の表現をグラフィカルディスプレイ２０１に表示する。実施形態では、ユーザ入力は、少なくとも１つの可動物体１０７の現在の位置から所望位置へのドラッグアンドドロップ動作を含む。実施形態では、ドラッグアンドドロップ動作は、タッチスクリーンディスプレイ２０４を介してユーザにより実行される。
【0075】
ユーザインタフェースはマイクロフォン２０５を含むことができ、ユーザ入力はマイクロフォン２０５を介して受け付けることができる。いくつかのかかる実施形態では、ユーザ入力は、少なくとも１つの可動物体１０７の所望位置の可聴指示を含む。
【0076】
実施形態では、電子ユーザデバイス１０５は、モバイルコンピュータ、パーソナルコンピュータシステム、無線デバイス、電話デバイス、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、ハンドヘルドコンピュータ、リモートコントロール、家庭用電子機器、又は概して任意のタイプのコンピューティング又は電子デバイスを含む。
【0077】
図３は、実施形態によるロボット１０３を示す。ロボット１０３は、１つ又は複数のセンサ３０１を備える。センサ３０１は、ロボット１０３の環境を表すパラメータのセットを感知する。ロボット１０３は、電子ユーザデバイス１０５からのデータの受信及び電子ユーザデバイス１０５からのデータの送信用のトランシーバ３０９を備える。ロボット１０３は、電子ユーザデバイス１０５からのデータを処理するプロセッサシステム３０７と、データを格納するデータ格納モジュール３１２とを備える。実施形態では、ロボット１０３は、イメージングセンサ３０２（例えばカメラ）を備え、ロボット１０３は、電子ユーザデバイス１０５に画像データを通信することができる。実施形態では、ロボット１０３は、トランシーバ３０９を用いてロボット１０３の環境９を表現する画像データを電子デバイス１０５に送信する。送信されたデータは、環境１０９内の物体１０７の３次元の位置又はポジションに関するものであり得る。送信されたデータは、物体が環境１０９内に配置される高さを示すデータを含み得る。
【0078】
実施形態では、ロボット１０３は、物体を移動させる１つ又は複数の機械アーム３１１を備える。機械アーム３１１は、物体を把持する（持ち上げるか又は他の方法で掴む）グラバを含み得る。制御データは、ロボット１０３のトランシーバ３０９で電子ユーザデバイス１０５から受信され得る。制御データは、機械アーム３１１に物体１０７をその現在の位置から所望位置へ移動させるようにすることができる。
【0079】
実施形態は、電子ユーザデバイス１０５を用いたロボット１０３の制御に用いる方法、装置、及びコンピュータプログラムを含む。実施形態では、図４に示すように、データ通信がロボット１０３と電子ユーザデバイス１０５との間で行われる。
【0080】
ステップ４０１において、ロボット１０３の環境１０９の表現データがトランシーバ２０９を介して電子ユーザデバイス１０５で受信される。受信されたデータは、環境１０９内の少なくとも１つの物体の位置を示す。
【0081】
ステップ４０２において、受信されたデータが電子ユーザデバイス１０５の処理システム２０７により処理される。表現データの受信に応答して、ロボット１０３の環境が電子ユーザデバイス１０５のグラフィカルディスプレイ２０１に表示される。
【0082】
ステップ４０３において、電子ユーザデバイス１０５は、ロボット１０３の環境１０９内の少なくとも１つの可動物体１０７の所望位置を示す電子ユーザデバイス１０５のユーザからのユーザ入力を受け付ける。
【0083】
実施形態では、電子ユーザデバイス１０５のユーザインタフェースはタッチスクリーンディスプレイを含み、ユーザ入力は、ユーザがディスプレイ１０９内で少なくとも１つの可動物体１０７を現在の位置から所望位置へドラッグして物体を所望位置でドロップすることにより行われる。
【0084】
実施形態では、電子ユーザデバイス１０５のユーザインタフェースはマイクロフォン２０５を含み、ユーザ入力は、ユーザが環境１０９内の物体の所望位置を可聴指示することにより行われる。
【0085】
ステップ４０５において、ロボット１０３の環境１０９内の少なくとも１つの可動物体１０７の所望位置を示す電子デバイス１０５のユーザからの入力の受け付けに応答して、データは処理システム２０７により処理され、制御データがトランシーバ２０９を用いてロボット１０３に送信される。制御データは、ロボット１０３に少なくとも１つの可動物体１０７をロボット１０３の環境１０９内の所望位置に移動させるようにすることが可能である。
【0086】
ステップ４０６において、制御データは、ロボット１０３のトランシーバ３０９で受信され、ロボット１０３のプロセッサシステム３０７により処理される。実施形態では、制御データは、環境１０９内の所望位置までのロボット１０３の経路を制御する。実施形態では、制御データは環境９中の所望の終了位置を含み、ロボット１０３はこの位置までの経路を決定する。
【0087】
ステップ４０７において、電子ユーザデバイス１０５トランシーバ２０７で、少なくとも１つの可動物体１０７が環境１０９内の所望位置へ移動したことを確認する確認データがロボット１０３から受信される。
【0088】
ステップ４０９において、確認データは電子ユーザデバイス１０５のプロセッサシステム２０７で処理され、確認データの受信に応答して、電子ユーザデバイス１０５は、ロボット１０３の更新された環境１０９をグラフィカルディスプレイ２０１に表示する。更新された環境１０９は、少なくとも１つの可動物体１０７の位置を示す。
【0089】
ステップ４１１において、電子ユーザデバイス１０５のトランシーバ２０９は、環境１０９内の１つ又は複数の物体１０７の識別子を提供するようユーザに要求する要求データをロボット１０３のトランシーバ３０９から受信する。
【0090】
実施形態では、物体１０７は、センサ３０３を用いてロボット１０３により感知されたがロボット１０３がまだ移動させていない物体である。実施形態では、物体１０７は、ロボット１０３が以前に移動させた物体１０７である。実施形態では、要求データは、ロボット１０３が物体１０７を所望位置へ移動させていないが環境１０９内の物体１０７を感知している空き時間中に電子ユーザデバイスに送信される。
【0091】
ステップ４１３において、電子ユーザデバイス１０５は、ロボット１０３の環境１０９内の少なくとも１つの物体１０７の所望の識別子を示すユーザからの入力を受け付ける。実施形態では、識別子は、物体に固有であり得るか又は物体を特定の群又はクラスに分類し得るラベルを含む。例えば、識別子は、「衣服」又は「家具」等の群ラベルで物体をラベル表示し得るか、又は「お気に入りのマグ」等の特定のラベルで物体をラベル表示し得る。物体のラベル及び／又は位置は、画像処理及び／又は機械学習を用いて決定することができる。例えば、「ボウル」の形状が教示され得ると共に、「ボウル」と「食器棚」との間の関連も教示され得る。
【0092】
実施形態では、ユーザは、例えばキーパッド若しくはキーボードを用いて、又はタッチスクリーンディスプレイ２０４を用いて、電子ユーザデバイス１０５に識別子をタイプすることにより、少なくとも１つの物体１０７の所望の識別子を入力する。実施形態では、ユーザは、電子ユーザデバイス１０５のマイクロフォン２０５で受け付けられた可聴コマンドを用いて所望の識別子を入力する。実施形態では、ユーザは、電子ユーザデバイス１０５のメモリ２１１に格納された識別子のリストから識別子を選択することができる。
【0093】
ステップ４１５において、提供された所望の識別子を含む応答データが電子ユーザデバイス１０５からロボット１０３に送信される。実施形態では、ステップ４１７において、応答データがロボット１０３のプロセッサシステム３０７により処理され、ロボット１０３の格納モジュール３１２に格納されることができるので、以後の使用時にロボット１０３が識別子を用いてこの物体１０７を識別することができる。
【0094】
実施形態は、１つ又は複数のセンサ３０３を有するロボット１０３の操作に用いる方法、装置、及びコンピュータプログラムを含む。図５に示すように、データ通信がロボット１０３と電子ユーザデバイス１０５との間で行われる。
【0095】
ステップ５０１において、ロボット１０３で、ロボット１０３の環境１０９を表すパラメータのセットを感知するようロボット１０３の少なくとも１つのセンサ３０１を操作することにより、ロボット１０３の環境１０９の表現が生成される。表現は、環境１０９内の少なくとも１つの可動物体１０７の位置を含む。
【0096】
ステップ５０２において、ロボット１０３の環境を表すデータが、ロボット１０３のトランシーバから電子ユーザデバイス１０５のトランシーバに送信される。ロボット１０３の環境１０９は、電子ユーザデバイス１０５のグラフィカルディスプレイ２０１に表示され得る。
【0097】
ステップ５０３において、ロボット１０３のトランシーバ３０９は、電子ユーザデバイス１０５のトランシーバ２０９から制御データを受信する。制御データは、ロボット１０３の環境１０９内の少なくとも１つの可動物体１０７の所望位置を示す。
【0098】
ステップ５０４において、電子デバイス１０５からの制御データの受信に応答して、ロボット１０３は、少なくとも１つの物体１０７をロボット１０３の環境１０９内の所望位置へ移動させるよう操作される。
【0099】
ステップ５０５において、ロボット１０３の環境の表現の生成は、ロボット１０３において既知の物体のリスト及び関連する識別子を生成することを含む。
【0100】
実施形態では、リストは、電子ユーザデバイス１０５からの物体１０７の所望の識別子を示すデータの受信に応答して、ロボット１０３のプロセッサシステム３０７により生成される。実施形態では、既知の物体１０７のリスト及びリスト中の物体１０７毎の識別子は、ロボット１０３の格納モジュール３１２に格納される。
【0101】
実施形態では、ロボット１０３でリストにない未知の物体１０７が識別される。ステップ５０７において、未知の物体の識別に応答して、未知の物体１０７を識別する要求がロボット１０３のトランシーバ３０９から電子ユーザデバイスのトランシーバ２０９に送信される。実施形態では、未知の物体１０７はグラフィカルユーザディスプレイ２０１に表示される。
【0102】
ステップ５０８において、ロボット１０３のトランシーバ３０９は、未知の物体１０７の識別子を示す電子ユーザデバイス１０５からのデータを受信する。実施形態では、識別子はユーザにより電子ユーザデバイス１０５に入力される。
【0103】
実施形態では、ステップ５０９において、識別子を示すデータの受信に応答して、ロボット１０３で識別子を未知の物体１０７に関連付けるためにリストが更新される。実施形態では、更新されたリストはロボット１０３の格納モジュール３１２に格納される。
【0104】
実施形態では、ロボット１０３の環境の生成された表現が維持される。ステップ５１１において、表現は定期的に更新される。実施形態では、表現は、セット内のパラメータの１つ又は複数の変化を示すセンサ３０１の１つ又は複数の動作に応答して更新される。
【0105】
実施形態では、更新された表現は電子ユーザデバイス１０５のグラフィカルディスプレイ２０１に表示される。
【0106】
実施形態では、リストは、リスト中の少なくとも１つの物体１０７のホーム位置を含む。実施形態では、リストは、物体１０７が何か（例えばマグ）を示す又は物体１０７のタイプ（例えば衣服）により物体１０７を分類するラベルと、ホーム位置とを含む（例えば、物体１０７はマグでありホーム位置は食器棚である）。
【0107】
実施形態では、リストは、同じ識別子を有する複数の物体１０７を含み、その複数の物体１０７は同じホーム位置を有する。例えば、複数の物体１０７がマグという識別子を有する場合があり、それらの物体のそれぞれが食器棚のホーム位置を有し得る。
【0108】
実施形態では、リストは、同じ識別子を有する物体又は複数の物体を含み、その物体は複数のホーム位置を有する。例えば、物体又は複数の物体がマグという識別子を有する場合があり、マグは、複数のホーム位置、例えば「食器棚１」及び「食器棚２」を有し得る。
【0109】
実施形態では、未知の物体１０７を識別する要求が送信されるステップ５０７は、未知の物体のホーム位置を指定する要求をさらに含む。実施形態では、データがロボット１０３で受信されるステップ５０８において、受信データは未知の物体１０７のホーム位置を指定するデータを含む。実施形態では、リストの更新を含むステップ５０９は、未知の物体１０７の指定されたホーム位置を含むようリストを更新することを含む。
【0110】
実施形態では、少なくとも１つの物体１０７をロボット１０３の環境１０９内の所望位置へ移動させるようロボット１０３を操作することを含むステップ５０４は、少なくとも１つの物体１０７をそのホーム位置へ移動させるようロボット１０３を操作することを含む。
【0111】
実施形態は、電子ユーザデバイス１０５を用いた１つ又は複数のセンサ３０１を有するロボット１０３の操作に用いる、ロボットを操作する方法、装置、及びコンピュータプログラムを含む。図１のシステム図に示すように、データがロボット１０３と電子ユーザデバイス１０５との間で転送される。実施形態では、電子ユーザデバイスは、図１に関して説明したような電子ユーザデバイスである。実施形態では、ロボット１０３は、図３に関して説明したようなロボット１０３である。図６に示すように、データ通信がロボット１０３と電子ユーザデバイス１０５との間で行われる。
【0112】
実施形態では、ステップ６０１において、ロボット１０３の環境１０９の表現がロボット１０３で生成される。表現は、ロボット１０３の環境１０９を表すパラメータのセットを感知するよう１つ又は複数のセンサ３０１を操作することにより生成される。実施形態では、イメージセンサ３０２を用いて表現が生成される。実施形態では、パラメータのセットは、ロボット１０３の位置、例えばロボット１０３がある部屋、又はロボット１０３が位置する家の階を記述する。
【0113】
ステップ６０３において、環境１０９内の物体１０７のリスト及びリスト中の物体毎の関連する識別子がロボット１０３で生成される。実施形態では、物体１０７及び関連する識別子は、ユーザによる以前の識別の結果としてロボット１０３が把握している物体１０７及び識別子である。実施形態では、物体及び関連する識別子は、ロボット１０３の格納モジュール３１２に格納される物体及び関連する識別子であり得る。
【0114】
ステップ６０５において、電子ユーザデバイス１０５からの制御データがロボット１０３のトランシーバ３０９で受信される。制御データは、電子デバイス１０５のユーザが環境内で位置特定を望む生成されたリスト中の物体１０７の識別子を含む。例えば、制御データは、ユーザが環境内で位置特定を望む物体として鍵のセット（例えば家の鍵又は車の鍵）を識別することができる。
【0115】
ステップ６０７において、制御データの受信に応答して、ロボット１０３及びセンサ３０１の１つ又は複数は、環境１０９を探索して環境１０９内の識別された物体１０７の位置を決定するよう操作される。
【0116】
実施形態では、ステップ６０９において、ロボット１０３は、環境１０９内の識別された物体１０７の決定された位置の指示を電子ユーザデバイス１０５に送信し得る。
【0117】
実施形態では、ステップ６０３の一部として、ステップ６０３’において、ロボット１０３又は外部デバイスは、物体の生成されたリストを電子ユーザデバイス１０５に送信する。
【0118】
実施形態では、ステップ６０１の一部として、ステップ６０１’において、ロボット１０３又は外部デバイスは、ロボット１０３の環境１０９を表すパラメータのセットを電子ユーザデバイス１０５に送信する。
【0119】
実施形態では、ステップ６０３の一部として、リスト中の少なくとも１つの物体の最新の位置が生成される。例えば、リストは、物体１０７及び識別子を「鍵」として含むことができ、最新の位置を「キッチン台」として載せることができる。
【0120】
実施形態では、ステップ６０７は、識別された物体１０７の最新の位置に近接移動するようロボット１０３を操作することを含む。例えば、ステップ６０７は、「鍵」の最新の位置である「キッチン台」に近接移動するようロボットを操作することを含み得る。
【0121】
実施形態では、ステップ６０７は、識別された物体１０７を所与の位置へ移動させるようロボット１０３を操作することを含む。位置は、環境内の最新の位置とは異なる位置であり得る。例えば、実施形態では、ステップ６０７は、「鍵」を「キーフック」へ移動させるようロボット１０３を操作することを含む。実施形態では、位置は、環境内のユーザの位置であり得るので、ステップ６０７は、「鍵」をユーザまで運ぶようロボット１０３を操作することを含む。
【0122】
実施形態では、ステップ６０５において、制御データは物体１０７の新たな所与の位置を含み得る。したがって、制御データは、「鍵」が「キーフック」という新たな位置を有することを指定し得る。この制御データに応答して、実施形態では、ロボット１０３は「鍵」を「キーフック」へ移動させるよう操作される。
【0123】
実施形態は、電子ユーザデバイス１０５を用いた１つ又は複数のセンサ３０１を有するロボット１０３の操作に用いる、ロボットを操作する方法、装置、及びコンピュータプログラムを含む。
【0124】
図１のシステム図に示すように、データがロボット１０３と電子ユーザデバイス１０５との間で転送される。実施形態では、電子ユーザデバイス１０５は、図２に関して説明したような電子ユーザデバイスである。実施形態では、ロボット１０３は、図３に関して説明したようなロボット１０３である。図７に示すように、データ通信がロボット１０３と電子ユーザデバイス１０５との間で行われる。
【0125】
ステップ７０１において、ロボット１０３の環境１０９を表すパラメータのセットを感知するよう１つ又は複数のセンサ３０１を操作することにより、環境１０９の表現がロボット１０３で生成される。表現は、ロボット１０３が位置する表面以外の環境内の少なくとも１つの表面を含む。実施形態では、表現はイメージセンサ３０２の操作により生成される。実施形態では、表現は、キッチンキャビネット表面、テーブルトップ、張地表面等の１つ又は複数の表面を含む。
【0126】
ステップ７０３において、ロボット１０３の環境１０９内の少なくとも１つの表面で実行する所望動作を示す制御データが、電子ユーザデバイス１０５のトランシーバ２０９からロボット１０３で受信される。
【0127】
ステップ７０５において、制御データの受信に応答して、ロボット１０３は、ロボット１０３の環境１０９内の少なくとも１つの表面で所望動作を実行させられる。
【0128】
実施形態では、ステップ７０１は、ステップ７０１’においてロボット１０３の環境１０９を表すデータを電子ユーザデバイス１０５に送信することを含む。実施形態では、データは、環境１０９のどの部屋にロボット１３０が現在あるか、又は環境１０９内の家の何階にロボットが現在位置するかをユーザに知らせる情報を含む。実施形態では、データは、ロボット１０３がアクセス可能な表面に関する情報を含む。
【0129】
実施形態では、ロボット１０３は、表面清掃コンポーネントを備える。実施形態では、ロボット１０３の機械アーム３１１が表面清掃コンポーネントを含む。実施形態では、表面清掃コンポーネントは、ロボット１０３の機械アーム３１１に取り付けることができるアタッチメントである。例えば、アタッチメントは、ポリッシングアタッチメント、真空清掃アタッチメント、モッピングアタッチメント、ワイピングアタッチメント、ダスティングアタッチメント等であり得る。
【0130】
実施形態では、所望動作は清掃動作を含む。実施形態では、清掃動作は、真空清掃、ワイピング、モッピング、整頓、及びダスティングの１つ又は複数を含む。
【0131】
実施形態では、ロボット１０３の環境１０９の表現を生成する第１ステップ７０１は、環境１０９内の既知の表面のリスト及びリスト中の表面毎の関連する識別子を生成することを含む。リストは、例えばロボット１０３と同じ環境１０９の部屋に現在ある既知の表面及び関連する識別子を含み得る。実施形態では、既知の表面及び関連する識別子は、電子デバイス１０５のユーザによりロボット１０３に対して以前に識別されたものとなる。実施形態では、既知の表面及び関連する識別子は、ロボット１０３の格納モジュール３１２に格納される。実施形態では、ステップ７０１は、ステップ７０１’’において、生成されたリストを電子ユーザデバイス１０５に送信することを含む。
【0132】
実施形態では、ステップ７０３において、ロボット１０３で受信された制御データは、所望動作が実行される格納されたリスト上の少なくとも１つの表面の関連する識別子を含む。例えば、格納されたリストは、キッチン内の表面及びそれらの関連する識別子を含むことができ、ロボット１０３で受信された制御データは、識別子「キッチン台」を含み得ると共に「キッチン台」を拭くべきであることを示し得る。
【0133】
ステップ７０７において、ロボット１０３の環境１０９内の少なくとも１つの表面で所望動作の実行が完了すると、所望動作完了通知が電子ユーザデバイス１０５に送信される。実施形態では、通知は、グラフィカルディスプレイ２０１で電子ユーザデバイス１０５のユーザに対して表示される。実施形態では、通知は、ロボット１０３の環境１０９の更新された表現を含む。
【0134】
実施形態では、ロボット１０３の環境１０９の生成された表現が維持される。実施形態では、生成された表現の維持は、生成された表現の定期的な更新と、パラメータのセット内の１つ又は複数の変化を示す１つ又は複数のセンサ３０１の動作に応答した生成された表現の更新とを含む。実施形態では、生成され更新された表現は、電子ユーザデバイス１０５に送信されてグラフィカルディスプレイ２０１に表示される。
【0135】
本開示の実施形態は、電子ユーザデバイスでのロボットの制御に用いる方法、装置、及びコンピュータプログラムを含む。図８に示すように、データ通信がロボット１０３と電子ユーザデバイス１０５との間で行われる。
【0136】
ステップ８０１において、電子ユーザデバイス１０５のトランシーバ２０９が、ロボット１０３の環境１０９の表現データをロボット１０３のトランシーバ３０９から受信する。受信されたデータは、ロボット１０３が位置する表面以外のロボット１０３の環境１０９内の少なくとも１つの表面を示す。
【0137】
ステップ８０２において、表現データの受信に応答して、ロボット１０３の環境１０９の表現が電子ユーザデバイス１０５のグラフィカルディスプレイ２０１に表示される。
【0138】
ステップ８０３において、ロボット１０３の環境内の少なくとも１つの表面で実行する所望動作を示す電子ユーザデバイス１０５のユーザからの入力が受け付けられる。
【0139】
ステップ８０５において、ユーザ入力の受け付けに応答して、制御データが電子ユーザデバイス１０５のトランシーバ２０９からロボット１０３のトランシーバ３０９に送信される。
【0140】
実施形態では、制御データはロボット１０３のトランシーバ３０９で受信され、ステップ８０６においてロボット１０３のプロセッサ３０７により処理される。実施形態では、制御データは、環境１０９内の所望位置までのロボット１０３の経路を制御する。実施形態では、制御データは環境９の所望の終了位置を含み、ロボット１０３はこの位置までの経路を決定する。
【0141】
実施形態では、制御データは、ロボット１０３にロボット１０３の環境１０９内の少なくとも１つの表面で所望動作を実行させることが可能である。
【0142】
ステップ８０３において、ユーザ入力が電子ユーザデバイス１０５のディスプレイを介して受け付けられる。実施形態では、電子ユーザデバイス１０５のユーザインタフェース２０３がタッチスクリーンディスプレイ２０４を含み、ユーザ入力は、ユーザがタッチスクリーンディスプレイを用いてロボット１０３を環境１０９内の表面に向けることにより提供される。実施形態では、キーパッド又はキーボードを用いてユーザにロボット１０３の所望動作を入力させることができる。
【0143】
実施形態では、電子ユーザデバイス１０５のユーザインタフェース２０３はマイクロフォン２０５を含み、ユーザ入力はマイクロフォン２０５を介して受け付けられる。かかる実施形態では、ユーザ入力は、ロボット１０３の環境内の少なくとも１つの表面で実行する所望動作の可聴指示を含む。
【0144】
ステップ８０７において、電子ユーザデバイス１０５のトランシーバ２０９が、ロボット１０３の環境１０９内の少なくとも１つの表面で所望動作が実行されたことを確認する確認データをロボット１０３のトランシーバ３０９から受信する。
【0145】
ステップ８０９において、確認データの受信に応答して、ロボット１３０の更新された環境１０９が電子ユーザデバイス１０５のグラフィカルディスプレイ２０１に表示される。更新された環境１０９は、所望動作がロボット１０３の環境１０９内の少なくとも１つの表面で実行されたことを示す。
【0146】
ステップ８１１において、電子ユーザデバイス１０５のトランシーバ２０９が、ロボット１０３の環境１０９内の所与の表面の識別子を提供するようユーザに要求する要求をロボット１０３から受信する。実施形態では、ロボット１０３のセンサ３０１が、未知の表面を感知し、これに応答して、ユーザがその表面の識別子を提供することを要求する要求を電子ユーザデバイス１０５に送信し得る。
【0147】
ステップ８１３において、電子ユーザデバイス１０５は、ロボット１０３の環境内の所与の表面の所望の識別子を示す電子ユーザデバイス１０５のユーザからの入力を受け付け得る。実施形態では、識別子は、表面に固有であり得るか又は物体を特定の群又はクラスに分類し得るラベルである。例えば、識別子は、「絨毯」又は「タイル」等の群ラベルで表面をラベル表示し得るか、又は「キッチンカウンタートップ」等の特定のラベルで物体をラベル表示し得る。
【0148】
ステップ８１５において、電子ユーザデバイス１０５のトランシーバ２０９は、所望の識別子を含む応答データをロボット１０３に送信する。
【0149】
実施形態では、所望の動作は清掃動作を含む。実施形態では、清掃動作は、真空清掃、ワイピング、モッピング、整頓、及びダスティングの１つ又は複数を含む。
【0150】
本開示の実施形態では、ロボット１０３及び電子ユーザデバイス１０５は処理システム（それぞれ３０７、２０７）を備える。各処理システムは、１つ又は複数のプロセッサ及び／又はメモリを含み得る。本明細書に記載の例のいずれかに関して説明した各デバイス、コンポーネント、又は機能、例えば電子ユーザデバイス１０５のグラフィカルディスプレイ２０１又はマイクロフォン２０５も同様にプロセッサを含み得るか、又はプロセッサを含む装置に含まれ得る。本明細書に記載の実施形態の１つ又は複数の態様は、装置により実行される処理を含む。いくつかの例では、装置は、これらのプロセスを実行するよう構成された１つ又は複数のプロセッサを備える。この点で、実施形態は、（非一時的）メモリに格納されてプロセッサにより実行可能なコンピュータソフトウェアにより、又はハードウェアにより、又は有形的に格納されたソフトウェア及びハードウェア（及び有形的に格納されたファームウェア）の組み合わせにより、少なくとも部分的に実施される。実施形態は、上述の実施形態を実現するようになされたコンピュータプログラム、特にキャリア上又はキャリア内のコンピュータプログラムにも及ぶ。プログラムは、実施形態によるプロセスの実施に用いるのに適した非一時的なソースコード、オブジェクトコードの形態、又は任意の他の非一時的な形態であり得る。キャリアは、ＲＡＭ、ＲＯＭ、又は光メモリデバイス等のプログラムを担持可能な任意の実体又はデバイスであり得る。
【0151】
処理システム３０７、２０７の１つ又は複数のプロセッサは、中央処理装置（ＣＰＵ）を含み得る。１つ又は複数のプロセッサは、グラフィックスプロセシングユニット（ＧＰＵ）を含み得る。１つ又は複数のプロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、又はコンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）の１つ又は複数を含み得る。１つ又は複数のプロセッサは、特定用途向け集積回路（ＡＳＩＣ）を含み得る。挙げた例に加えて、多くの他のタイプのデバイスを用いて１つ又は複数のプロセッサを提供することができることが、当業者には理解されよう。１つ又は複数のプロセッサは、複数の同一位置に位置するプロセッサ又は複数の全く異なる位置に位置するプロセッサを含み得る。１つ又は複数のプロセッサにより実行される動作は、ハードウェア、ファームウェア、及びソフトウェアの１つ又は複数により実行され得る。
【0152】
実施形態では、電子ユーザデバイス１０５及びプロセッサシステム３０７、２０７は、データストレージ（又は「メモリ」又は「データストレージモジュール３１２」）を含む。データストレージは、揮発性及び不揮発性メモリの一方又は両方を含み得る。データストレージは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、磁気若しくは光ディスク及びディスクドライブ、又はソリッドステートドライブ（ＳＳＤ）の１つ又は複数を含み得る。挙げた例に加えて、多くの他のタイプのメモリを用いて撮影動画を格納することができることが、当業者には理解されよう。処理システムが、記載のものより多い、少ない、且つ／又は記載のものとは異なるコンポーネントを含み得ることが、当業者には理解されよう。
【0153】
本明細書に記載の技術は、ソフトウェア又はハードウェアで実装され得るか、又はソフトウェア及びハードウェアの組み合わせを用いて実装され得る。これらの技術は、本明細書に記載の技術のいずれか又は全てを実行及び／又はサポートするよう装置を構成することを含み得る。図面を参照して本明細書に記載する例の少なくともいくつかの態様は、処理システム又はプロセッサで実行されるコンピュータプロセスを含むが、本明細書に記載の例は、これらの例を実現するようになされたコンピュータプログラム、例えばキャリア上又はキャリア内のコンピュータプログラムにも及ぶ。キャリアは、プログラムを担持可能な任意の実体又はデバイスであり得る。キャリアは、コンピュータ可読記憶媒体を含み得る。有形のコンピュータ可読記憶媒体の例として、限定はされないが、光学媒体（例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又はＢｌｕ－ｒａｙ）、フラッシュメモリカード、フロッピー若しくはハードディスク、又は少なくとも１つのＲＯＭ又はＲＡＭ又はプログラマブルＲＯＭ（ＰＲＯＭ）チップのファームウェア若しくはマイクロコード等のコンピュータ可動命令を格納可能な任意の他の媒体が挙げられる。
【0154】
上記説明において、既知の、自明の、又は予測可能な均等物を有する整数又は要素が言及される場合、上記均等物は個別に述べられているのと同様に本明細書に援用される。本開示の真の範囲を判断するためには特許請求の範囲を参照すべきであり、特許請求の範囲はいかなる均等物も包含するものと解釈されるべきである。好ましい、有利である、好都合である等と記載される本開示の整数又は特徴は任意選択的であり、独立請求項の範囲を制限しないことも読者には理解されよう。さらに、このような任意選択的な整数又は特徴は、本開示のいくつかの実施形態では有効な可能性があるが、望ましくない場合があり、したがって他の実施形態では存在しない場合がある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】