(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-17
(45)【発行日】2024-07-25
(54)【発明の名称】ロボット
(51)【国際特許分類】
G05D 1/43 20240101AFI20240718BHJP
【ＦＩ】
G05D1/43
【請求項の数】
6
(21)【出願番号】P 2022551809
(86)(22)【出願日】2021-02-24
(65)【公表番号】
(43)【公表日】2023-04-19
(86)【国際出願番号】 GB2021050468
(87)【国際公開番号】W WO2021171011
(87)【国際公開日】2021-09-02
【審査請求日】2022-10-24
(31)【優先権主張番号】2002780.1
(32)【優先日】2020-02-27
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】500024469
【氏名又は名称】ダイソン・テクノロジー・リミテッド
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100139491
【弁理士】
【氏名又は名称】河合 隆慶
(72)【発明者】
【氏名】チャールズ アンソニー ニールド コリス
(72)【発明者】
【氏名】ジェームズ トレバー クラークソン
【審査官】今井 貞雄
(56)【参考文献】
【文献】特開２００４－２６８１４８（ＪＰ，Ａ）
【文献】国際公開第２００８／１０４９１２（ＷＯ，Ａ２）
【文献】米国特許第１００５８９９７（ＵＳ，Ｂ１）
【文献】米国特許第１０３９１６３３（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／４３
(57)【特許請求の範囲】
【請求項1】
ロボットを制御する方法であって、電子ユーザ装置による、
前記ロボットから、前記ロボットの環境の表現データを受信するステップであって、受信した前記データは、前記環境内の少なくとも１つの可動オブジェクトの位置を示す、ステップと、
前記表現データの受信に応答して、前記ロボットの前記環境の表現を電子ユーザ装置のグラフィカルディスプレイに表示するステップと、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示す入力を受け付けるステップと、
前記ユーザの入力の受付けに応答して、制御データを前記ロボットに送信するステップであって、前記制御データは、前記ロボットに、既知のオブジェクトと当該既知のオブジェクト毎に対応付けられる関連識別子とのリストに含まれない未知のオブジェクトである前記少なくとも１つの可動オブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させるように動作させる、ステップと、
前記リストに前記少なくとも１つの可動オブジェクトとそれに対応付けられる関連識別子とを含めて当該リストを更新するステップと、
を含み、
前記ユーザの入力は、前記電子ユーザ装置の前記ディスプレイを介して受け付けられ、前記少なくとも１つの可動オブジェクトの現在位置から前記所望の位置へのドラッグアンドドロップ動作を含み、
前記関連識別子は対応付けられたオブジェクトのホームロケーションを示す情報を含む、
方法。
【請求項2】
前記ユーザの入力は、マイクロフォンを介して受信され、当該入力は、前記少なくとも１つの可動オブジェクトに対する前記所望の位置の音声指示を含む、
請求項１に記載の方法。
【請求項3】
前記ロボットから、前記少なくとも１つの可動オブジェクトが前記所望の位置に移動されたことを確認する確認データを受信するステップと、前記確認データの受信に応答して、前記ロボットの更新された環境を前記グラフィックディスプレイに表示するステップであって、当該更新された環境が前記少なくとも１つの可動オブジェクトの位置を示す、ステップと、
を含む、請求項１又は２に記載の方法。
【請求項4】
前記ロボットから、前記環境内の１つ以上のオブジェクトに対する識別子を提供するようにユーザに要求するリクエストデータを受信するステップと、前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つのオブジェクトに対する所望の識別子を示す入力を受け付けるステップと、
応答データを前記ロボットに送信するステップであって、前記応答データが前記所望の識別子を含む、ステップと、
を含む、
請求項１～３のいずれかに記載の方法。
【請求項5】
電子ユーザ装置においてロボットを制御する際に使用する装置であって、前記装置は、前記ロボットから、前記ロボットの環境の表現データを受け取り、前記受取ったデータが前記環境内の少なくとも１つの可動オブジェクトの位置を示し、
前記表現データの受信に応答して、前記ロボットの前記環境の表現を電子ユーザ装置のグラフィカルディスプレイに表示し、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示す入力を受け、
前記ユーザの入力の受付けに応答して、制御データを前記ロボットに送信し、当該制御データは、前記ロボットに、既知のオブジェクトと当該既知のオブジェクト毎に対応付けられる関連識別子とのリストに含まれない未知のオブジェクトである前記少なくとも１つの可動オブジェクトを前記ロボットの前記環境内の前記所望の位置に移動するように動作させ、
前記リストに前記少なくとも１つの可動オブジェクトとそれに対応付けられる関連識別子とを含めて当該リストを更新し、
前記ユーザの入力は、前記電子ユーザ装置の前記ディスプレイを介して受け付けられ、前記少なくとも１つの可動オブジェクトの現在位置から前記所望の位置へのドラッグアンドドロップ動作を含み、
前記関連識別子は対応付けられたオブジェクトのホームロケーションを示す情報を含む、
ように構成される、前記装置。
【請求項6】
コンピュータ化された装置によって実行されると、ネットワークを介してロボットを制御する方法を当該コンピュータ化された装置に実行させる命令のセットを含むコンピュータプログラム製品であって、前記方法は、電子ユーザ装置による、前記ロボットから、前記ロボットの環境の表現データを受信するステップであって、受信した前記データが前記環境内の少なくとも１つの可動オブジェクトの位置を示す、ステップと、
前記表現データの受信に応答して、前記ロボットの前記環境の表現を前記電子ユーザ装置のグラフィカルディスプレイに表示するステップと、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示す入力を受け付けるステップと、
前記ユーザの入力の受付けに応答して、制御データを前記ロボットに送信するステップであって、前記制御データは、前記ロボットに、既知のオブジェクトと当該既知のオブジェクト毎に対応付けられる関連識別子とのリストに含まれない未知のオブジェクトである前記少なくとも１つのオブジェクトを前記ロボットの前記環境内の前記所望の位置に移動するように動作させる、ステップと、
前記リストに前記少なくとも１つの可動オブジェクトとそれに対応付けられる関連識別子とを含めて当該リストを更新するステップと、
を含み、
前記ユーザの入力は、前記電子ユーザ装置の前記ディスプレイを介して受け付けられ、前記少なくとも１つの可動オブジェクトの現在位置から前記所望の位置へのドラッグアンドドロップ動作を含み、
前記関連識別子は対応付けられたオブジェクトのホームロケーションを示す情報を含む、
コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボットに関する。本開示は、特に限定されるものではないが、ロボットを制御するため及びロボットを操作するための方法、装置及びコンピュータプログラム製品を含む方策に関するものである。
【背景技術】
【0002】
移動型ロボットはますます一般的になりつつあり、家庭環境において掃除及び片付けなどの作業を行うために使用されることがある。
【0003】
ロボット掃除機の分野では、特にロボット掃除機及び床拭きロボットが急速に発展しており、その主な目的は、床を掃除しながらユーザの自宅を自律的かつ控えめにナビゲートすることである。これらのロボットは、通常、人間のユーザからの支援をできるだけ必要としないことが望ましく、好ましくは、人間の支援を全く必要としないことが望ましい。
【0004】
掃除又は片付けの作業を行う際、ロボットは掃除が必要なエリアをナビゲートする必要がある。ロボットは環境内で自律的にナビゲートし、障害物を回避することができることが好ましい。ロボットは通常、環境内をナビゲートできるようにするために、多くのセンサを備えている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
清掃ロボットの中には、初歩的なナビゲーションシステムを備えているものもあり、それによって、前記ロボットは「ランダムバウンス」方式を使用して、障害物に出会うまで任意の方向に移動し、障害物に出会った時にロボットはターンして、別の障害物に出会うまで別のランダムな方向に移動する。時間とともに、清掃が必要な床面を前記ロボットが可能な限りカバーすることが期待されている。残念なことに、このようなランダムバウンスナビゲーションシステムには欠点があることが判明しており、清掃すべき床の広い範囲を完全に見逃してしまうことがよくある。また、ロボットが広い床面積を掃除するのではなく、特定の経路をたどることが要求される場合にも、このようなナビゲーションシステムは適切ではない。
【0006】
SLAM（Simultaneous Localisation and Mapping）技術が、いくつかのロボットで採用され始めている。これらのSLAM技術は、ロボットがその周囲を見て、理解し、認識することで、より体系的なナビゲーションパターンを採用することを可能にする。SLAM技術を用いることで、より体系的なナビゲーションパターンを実現することが可能となり、その結果、清掃ロボットの場合は、必要なエリアをより効率的に清掃することができるようになる。
【0007】
時々、ロボットが動作中に問題が発生することが予想される。例えば、ロボットがある環境下で未知のオブジェクトに遭遇し、そのオブジェクトをどのように処理したらよいか分からない、あるいは、前記ロボットがある位置で動けなくなる場合がある。このような問題には、多くの場合、人為的介入が必要となる。しかし、特にユーザが手動でロボットに介入することを必要とする場合、人為的介入は迷惑であると認識されることがある。
【課題を解決するための手段】
【0008】
本開示の一態様によれば、ロボットを制御する方法が提供され、前記方法は、電子ユーザ装置による、
前記ロボットから当該ロボットの環境の表現データを受信するステップであって、受信した前記データが前記環境内の少なくとも１つの可動オブジェクトの位置を示す、ステップと、
前記表現データの受信に応答して、前記ロボットの前記環境の表現を前記電子ユーザ装置のグラフィカルディスプレイに表示するステップと、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境における前記少なくとも１つの可動オブジェクトに対する所望の位置を示す入力を受け付けるステップと、
前記ユーザ入力の受付けに応答して制御データを前記ロボットに送信するステップであって、当該制御データが前記ロボットに前記少なくとも１つのオブジェクトを当該ロボットの前記環境における前記所望の位置に移動させることが可能である、ステップと、
を含む。
前記ロボットから当該ロボットの環境の表現データを受信するステップであって、受信した前記データが前記環境内の少なくとも１つの可動オブジェクトの位置を示す、ステップと、
前記表現データの受信に応答して、前記ロボットの前記環境の表現を前記電子ユーザ装置のグラフィカルディスプレイに表示するステップと、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境における前記少なくとも１つの可動オブジェクトに対する所望の位置を示す入力を受け付けるステップと、
前記ユーザ入力の受付けに応答して制御データを前記ロボットに送信するステップであって、当該制御データが前記ロボットに前記少なくとも１つのオブジェクトを当該ロボットの前記環境における前記所望の位置に移動させることが可能である、ステップと、
を含む。
【0009】
実施形態において、前記ロボットの前記環境は、家又は家のエリアである。実施形態において、前記電子ユーザ装置は、例えば、ユーザによって操作されるタブレット又はラップトップコンピュータであって、前記ロボットの前記環境の表現データを、例えば、１つ以上の可動オブジェクトの現在の位置を示す家の部屋の画像として、前記ユーザに対して表示する。実施形態において、前記環境における少なくとも１つの可動オブジェクトの位置を示すデータは、前記ユーザが片付け又は移動させることを希望する可能性がある家庭用品の位置を示す。実施形態において、前記ユーザは、前記電子ユーザ装置を用いてこれらの家庭用品の所望の位置を入力し、このユーザ入力に応答して、前記ロボットは、前記家庭用品を前記所望の位置に移動させるように指示される。前記ロボットと前記電子ユーザ装置の間のデータ通信を使用して、前記ユーザは、したがって、前記ロボットに家庭用品の片付け又は再配置を指示してもよい。例えば、前記ユーザは、前記ロボットに、衣服を整頓すること、キッチンを整頓すること、又は部屋の家具を再配置することを指示してもよい。実施形態において、制御データは、所望の位置への経路を指定してもよい。他の実施形態において、前記制御データは、所望の終了位置を指定してもよく、前記ロボットは、前記所望の位置への経路を決定してもよい。
【0010】
実施形態において、ユーザ入力は、電子ユーザ装置のディスプレイを介して受け付けられる。実施形態において、ユーザは、表示されたオブジェクトに対する所望の位置を入力するために、ディスプレイと相互作用する。
【0011】
実施形態において、前記ユーザ入力は、前記少なくとも１つの可動オブジェクトの現在位置から前記所望の位置へのドラッグアンドドロップ動作を含む。実施形態において、前記ユーザは、グラフィカルディスプレイに表示される前記ロボットの前記環境における可動オブジェクトを選択し、これらを同様にグラフィカルディスプレイに表示された前記環境内の異なる位置にドラッグして、所望の位置で前記オブジェクトを解放する。これは、前記ユーザが前記ロボットに対して指示を与えるための直感的かつ対話的な方法を提供する。他の実施形態において、前記ユーザ入力は、タイプされた指示を含む。ディスプレイを使用して、ユーザは、所望の位置に移動させるべきオブジェクトをタイプ入力してもよく、前記オブジェクトに対する所望の位置をタイプ入力してもよい。
【0012】
実施形態において、前記ユーザ入力はマイクロフォンを介して受け付けられ、前記入力は、少なくとも１つの可動オブジェクトの所望の位置の音声指示を含む。実施形態において、ユーザは、所望の位置に移動させるべきオブジェクトを口頭で示してもよく、前記所望の位置を口頭で示してもよい。これにより、前記電子ユーザ装置のハンズフリー操作が可能になり、前記ディスプレイとの視覚的相互作用が不要になる。
【0013】
実施形態において、前記方法は、前記ロボットから、前記少なくとも１つの可動オブジェクトが前記所望の位置に移動されたことを確認する確認データを受信するステップと、前記確認データの受信に応答して、前記ロボットの更新された環境を前記グラフィカルディスプレイに表示するステップとを含み、前記更新された環境は、前記少なくとも１つの可動オブジェクトの位置を示す。実施形態において、前記ロボットが所望の位置にオブジェクトを移動したときに、前記環境を表す更新された画像、例えば、家の部屋の更新された画像が、前記ロボットの新しい位置を示すように表示されてもよい。これにより、ユーザは、前記ロボットが前記オブジェクトを所望の位置に正しく移動させたか否かを判断することができ、さらなる移動が必要である可能性があるか否かを判断することができる。
【0014】
実施形態において、前記方法は、前記ロボットから、前記環境内の１つ以上のオブジェクトに対する識別子を提供するよう前記ユーザに要求するリクエストデータを受信するステップと、前記電子ユーザ装置のユーザから、前記ロボットの環境内の少なくとも１つのオブジェクトに対する所望の識別子を示す入力を受け付けるステップと、を含む。実施形態において、前記電子ユーザ装置は、応答データを前記ロボットに送信し、前記応答データは、前記所望の識別子を含む。実施形態において、前記ロボットは、制御データに応答していないアイドルタイム中に、その環境内の未知又は未識別のオブジェクトを識別する。実施形態において、前記電子装置のユーザは、前記電子ユーザ装置のディスプレイを介して所望の識別子を入力する。前記識別子は、例えば、特定のオブジェクトに固有の識別子であってもよいし、オブジェクトのクラスに対する共通の識別子であってもよい。前記所望の識別子は、前記ロボットのメモリに格納されてもよく、あるいは、前記所望の識別子を代わりに前記ロボットの外部、例えば「クラウド」／外部装置に格納して、前記ユーザ及び／又は前記ロボットがこれらの識別子を使用して将来の行動で前記オブジェクトを識別できるようにしてもよい。ユーザからデータを要求することが前記ロボットの自律的な動作を制限する一方で、ユーザにオブジェクトの識別を要求することが、前記ロボットが分類又は外観に関する既存の（又はそのような詳細な）情報を必要としないために、前記ロボットに求められる機能は単純化される場合がある。また、ユーザ入力を要求することは、特に、境界線上の場合、新しいオブジェクトが識別された場合、又は前記ロボットの判断が不確実な場合において、前記ロボットによる誤った分類を回避するのに役立つことがある。また、ユーザは、カスタム識別子を入力してもよく、例えば、ユーザは、より一般的な分類子である「マグカップ」ではなく、識別子「ボブのマグカップ」を入力してもよい。
【0015】
本開示の一態様によれば、電子ユーザ装置においてロボットを制御する際に使用するための装置が提供され、当該装置は、
前記ロボットから当該ロボットの環境の表現データを受信し、受信した当該データが前記環境内の少なくとも１つの可動オブジェクトの位置を示し、
前記表現データの受信に応答して、前記ロボットの前記環境の表現を前記電子ユーザ装置のグラフィカルディスプレイに表示し、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトの所望の位置を示す入力を受け付け、
前記ユーザ入力の受付けに応答して、制御データを前記ロボットに送信し、当該制御データが前記ロボットに前記少なくとも１つの可動オブジェクトを当該ロボットの前記環境内の前記所望の位置に移動させることが可能である、
ように構成される。
前記ロボットから当該ロボットの環境の表現データを受信し、受信した当該データが前記環境内の少なくとも１つの可動オブジェクトの位置を示し、
前記表現データの受信に応答して、前記ロボットの前記環境の表現を前記電子ユーザ装置のグラフィカルディスプレイに表示し、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトの所望の位置を示す入力を受け付け、
前記ユーザ入力の受付けに応答して、制御データを前記ロボットに送信し、当該制御データが前記ロボットに前記少なくとも１つの可動オブジェクトを当該ロボットの前記環境内の前記所望の位置に移動させることが可能である、
ように構成される。
【0016】
実施形態において、前記ロボット及び前記電子ユーザ装置は、ユーザが前記ロボットを遠隔操作できるように、無線ネットワークを介して相互作用するように構成される。したがって、ユーザは、例えば、仕事中、外出中、又は家の別のエリアにいるときに、自宅にあるロボットを制御することが可能である。
【0017】
本開示の一態様によれば、命令のセットを含むコンピュータプログラム製品を提供され、このコンピュータプログラム製品は、コンピュータ化された装置によって実行されると、当該コンピュータ化された装置にネットワークを介してロボットを制御する方法を実行させる。当該方法は、電子ユーザ装置による、
前記ネットワークを介して前記ロボットから、前記ロボットの環境の表現データを受信するステップであって、受信された前記データが前記環境内の少なくとも１つの可動オブジェクトの位置を示す、ステップと、
前記表現データの受信に応答して、前記ロボットの前記環境を前記電子ユーザ装置のグラフィカルディスプレイに表示するステップと、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示す入力を受け付けるステップと、
前記ユーザ入力の受付けに応答して、前記ネットワークを介して前記ロボットに制御データを送信するステップであって、当該制御データが前記ロボットに前記少なくとも１つの可動オブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させることが可能である、ステップと、
を含む。
前記ネットワークを介して前記ロボットから、前記ロボットの環境の表現データを受信するステップであって、受信された前記データが前記環境内の少なくとも１つの可動オブジェクトの位置を示す、ステップと、
前記表現データの受信に応答して、前記ロボットの前記環境を前記電子ユーザ装置のグラフィカルディスプレイに表示するステップと、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示す入力を受け付けるステップと、
前記ユーザ入力の受付けに応答して、前記ネットワークを介して前記ロボットに制御データを送信するステップであって、当該制御データが前記ロボットに前記少なくとも１つの可動オブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させることが可能である、ステップと、
を含む。
【0018】
本開示の一態様によれば、ロボットが動作する方法が提供され、当該ロボットは１つ以上のセンサを有し、当該方法は、前記ロボットによる、
前記１つ以上のセンサを動作させて前記ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットの前記環境の表現を生成するステップであって、当該表現が前記環境内の少なくとも１つの可動オブジェクトに対する位置を含む、ステップと、
前記ロボットの前記環境の表現データを電子ユーザ装置に送信するステップと、
前記電子ユーザ装置から制御データを受信するステップであって、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトの所望の位置を示す、ステップと、
前記制御データの受信に応答して、前記ロボットが、前記少なくとも１つのオブジェクトを当該ロボットの前記環境内の前記所望の位置に移動させるよう動作するステップと、
を含む。
前記１つ以上のセンサを動作させて前記ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットの前記環境の表現を生成するステップであって、当該表現が前記環境内の少なくとも１つの可動オブジェクトに対する位置を含む、ステップと、
前記ロボットの前記環境の表現データを電子ユーザ装置に送信するステップと、
前記電子ユーザ装置から制御データを受信するステップであって、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトの所望の位置を示す、ステップと、
前記制御データの受信に応答して、前記ロボットが、前記少なくとも１つのオブジェクトを当該ロボットの前記環境内の前記所望の位置に移動させるよう動作するステップと、
を含む。
【0019】
実施形態において、前記ロボットは、画像センサ、近接センサ及びタッチセンサのうちの少なくとも１つを有する。実施形態において、少なくとも１つのセンサは、オブジェクトの位置を感知するが感知されるのは２次元又は３次元における位置であってもよいし、オブジェクトの寸法であってもよい。実施形態において、前記センサは、オブジェクトの形状、及び／又はオブジェクトの表面の質感を感知する。
【0020】
実施形態において、前記ロボットの環境の表現を生成する前記ステップは、既知のオブジェクトと関連識別子とのリストを生成することと、既知のオブジェクトのリストと当該リスト内の前記オブジェクトの各々に対する識別子を格納することと、を含む。実施形態において、前記生成するステップは、リストにない未知のオブジェクトを識別することと、当該識別に応答して、前記未知のオブジェクトを識別するリクエストを前記電子ユーザ装置に送信することと、を含む。実施形態において、前記生成するステップは、前記電子ユーザ装置から、前記未知のオブジェクトの識別子を示すデータを受信することと、前記識別子を示すデータの受信に応答して、前記リストを更新して前記識別子を前記未知のオブジェクトに関連付けることと、を含む。
【0021】
実施形態において、前記ロボットは、感知されたオブジェクトを、その識別子とともにリストに格納され得る既知のオブジェクトと、未知のオブジェクトとに区別する。実施形態において、既知のオブジェクトは、ユーザ又は他の方法で以前に識別されたオブジェクトであり、ロボットのメモリ又は「クラウド」／外部装置に格納される。実施形態において、既知のオブジェクトと関連識別子とのリストが保存され、ユーザがより多くの未知のオブジェクトを識別するにつれて、リストが増加する。これにより、時間の経過とともに、前記ロボットは、それほど多くのユーザ入力を必要とせずに、より多くのオブジェクトを識別して相互作用できるようになるため、前記ロボットのより容易な動作が可能になる。
【0022】
実施形態において、前記方法は、生成された表現を定期的に更新すること、及び前記セット内の１つ以上のパラメータの変化を示す１つ以上のセンサの動作に応答して表現を更新すること、のうちの１つ以上によって、前記生成された表現を前記ロボット又は外部装置において維持するステップを含む。
【0023】
実施形態において、前記ロボットは、制御データに応答していないアイドルタイム中に表現を更新し、更新された表現を前記電子ユーザ装置に送信する。実施形態において、前記ロボットは、一定時間間隔で定期的に前記表現を更新し、更新された表現を前記電子ユーザ装置に送信する。実施形態において、前記ロボットは、パラメータに変化がある場合に、更新された表示を電子ユーザ装置に送信する。これにより、ユーザが前記環境の変化に応答して前記ロボットに行動を実行するよう指示した場合に、ユーザは対応して前記ロボットに制御データを送信することができる。
【0024】
実施形態において、前記ロボットは表現を外部装置に送信し、当該外部装置は保存された表現を更新する。当該表現は、ユーザがアクセス可能な「クラウド」又は他のネットワークストレージに格納することができる。
【0025】
実施形態において、前記ロボットに格納された前記リストは、当該リスト内の少なくとも１つのオブジェクトのホームロケーションを含む。実施形態において、前記少なくとも１つのオブジェクトに対する前記ホームロケーションは、前記電子ユーザ装置を用いてユーザによって以前に入力されたものである。実施形態において、前記ホームロケーションは、他の所望のロケーションが指定されない場合に、オブジェクトのデフォルトの所望の位置を指定するものである。したがって、ユーザは、特定の所望の位置を入力するのではなく、オブジェクトをそのホームロケーションに戻すことを要求することができる。
【0026】
実施形態において、前記リストは、同一の識別子を有する複数のオブジェクトを含み、前記複数のオブジェクトは、同一のホームロケーションを有する。実施形態において、既にリストにあるオブジェクトと同じ識別子を有する新しいオブジェクトを含むように前記リストが更新されると、前記新しいオブジェクトは、同じホームロケーションを自動的に割り当てられる。したがって、識別されたオブジェクトに対するホームロケーションは、追加のユーザ入力を必要とすることなく、自動的に割り当てられることができる。
【0027】
実施形態において、前記電子ユーザ装置へ送信された前記リクエストは、前記未知のオブジェクトに対するホームロケーションを指定するリクエストをさらに含み、前記ロボットで受信されたデータは、前記未知のオブジェクトに対する前記ホームロケーションを指定するデータを含む。実施形態において、前記リストを更新することは、前記未知のオブジェクトに対する前記指定されたホームロケーションを含むように前記リストを更新することを含む。
【0028】
実施形態において、前記ロボットを動作させて前記少なくとも１つのオブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させることは、前記ロボットを動作させて前記少なくとも１つのオブジェクトをそのホームロケーションに移動させることを含む。実施形態において、前記ロボットを動作させることは、前記ロボットを動作させて複数のオブジェクトをそれらのホームロケーションに移動させることを含む。これにより、ユーザがロボットを動作させて、各オブジェクトに対して個々の所望の位置を指定する必要なしに、複数のオブジェクトを異なる「ホーム」ロケーションに移動させることが可能になる。
【0029】
本開示の一態様によれば、ロボットを操作するための装置が提供され、前記ロボットが１つ以上のセンサを有し、当該装置は、
前記１つ以上のセンサを動作させて前記ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットの前記環境の表現を生成し、当該表現が前記環境内の少なくとも１つの可動オブジェクトの位置を含み、
前記ロボットの前記環境の表現データを電子ユーザ装置に送信し、
前記電子ユーザ装置から制御データを受信し、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトの所望の位置を示し、
前記制御データの受信に応答して前記ロボットを動作させて、前記少なくとも１つのオブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させる、
ように構成される。
前記１つ以上のセンサを動作させて前記ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットの前記環境の表現を生成し、当該表現が前記環境内の少なくとも１つの可動オブジェクトの位置を含み、
前記ロボットの前記環境の表現データを電子ユーザ装置に送信し、
前記電子ユーザ装置から制御データを受信し、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトの所望の位置を示し、
前記制御データの受信に応答して前記ロボットを動作させて、前記少なくとも１つのオブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させる、
ように構成される。
【0030】
前記装置は、ロボットに挿入可能なコンピュータチップ又は制御モジュールを含んでもよい。
【0031】
本開示の一態様によれば、コンピュータプログラム製品が提供され、当該プログラム製品はコンピュータ化された装置によって実行されるときにロボットを動作させる方法を当該コンピュータ化された装置に実行させる命令のセットを含み、前記ロボットは１つ以上のセンサを有し、前記方法は、
前記１つ以上のセンサを動作させて前記ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットの環境の表現を生成するステップであって、前記表現が前記環境内の少なくとも１つの可動オブジェクトに対する位置を含む、ステップと、
前記ロボットの前記環境の表現データを電子ユーザ装置に送信するステップと、
前記電子ユーザ装置から制御データを受信するステップであって、前記制御データが前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示す、ステップと、
前記制御データの受信に応答して、前記ロボットを動作させて、前記少なくとも１つのオブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させるステップと、
を含む。
前記１つ以上のセンサを動作させて前記ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットの環境の表現を生成するステップであって、前記表現が前記環境内の少なくとも１つの可動オブジェクトに対する位置を含む、ステップと、
前記ロボットの前記環境の表現データを電子ユーザ装置に送信するステップと、
前記電子ユーザ装置から制御データを受信するステップであって、前記制御データが前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示す、ステップと、
前記制御データの受信に応答して、前記ロボットを動作させて、前記少なくとも１つのオブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させるステップと、
を含む。
【0032】
本開示の一態様によれば、１つ以上のセンサを有するロボットが提供される、当該ロボットは、
前記１つ以上のセンサを動作させて当該ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットの環境の表現を生成し、当該表現が前記環境内の少なくとも１つの可動オブジェクトに対する位置を含み、
前記ロボットの前記環境の表現データを電子ユーザ装置に送信し、
前記電子ユーザ装置から制御データを受信し、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示し、
前記制御データの受信に応答して、前記少なくとも１つのオブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させる、
ように構成される。
前記１つ以上のセンサを動作させて当該ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットの環境の表現を生成し、当該表現が前記環境内の少なくとも１つの可動オブジェクトに対する位置を含み、
前記ロボットの前記環境の表現データを電子ユーザ装置に送信し、
前記電子ユーザ装置から制御データを受信し、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの可動オブジェクトに対する所望の位置を示し、
前記制御データの受信に応答して、前記少なくとも１つのオブジェクトを前記ロボットの前記環境内の前記所望の位置に移動させる、
ように構成される。
【0033】
本開示の一態様によれば、ロボットを動作させる方法が提供され、当該ロボットが１つ以上のセンサを有し、前記方法は、
前記１つ以上のセンサを操作して前記ロボットの環境を表すパラメータのセットを感知させることと、前記環境内のオブジェクトのリストと当該リスト内の前記オブジェクトの各々に対する関連識別子を作成することにより、前記ロボットの環境の表示を生成するステップと、
前記電子ユーザ装置から制御データを受信するステップであって、当該制御データが、前記電子ユーザ装置のユーザが前記環境内で位置を特定することを希望する、前記生成されたリスト内のオブジェクトに対する識別子を含む、ステップと、
前記制御データの受信に応答して、前記ロボット及び前記１つ以上のセンサを動作させて前記環境を探索させ、前記環境内の前記識別されたオブジェクトの位置を決定するステップと、
を含む。
前記１つ以上のセンサを操作して前記ロボットの環境を表すパラメータのセットを感知させることと、前記環境内のオブジェクトのリストと当該リスト内の前記オブジェクトの各々に対する関連識別子を作成することにより、前記ロボットの環境の表示を生成するステップと、
前記電子ユーザ装置から制御データを受信するステップであって、当該制御データが、前記電子ユーザ装置のユーザが前記環境内で位置を特定することを希望する、前記生成されたリスト内のオブジェクトに対する識別子を含む、ステップと、
前記制御データの受信に応答して、前記ロボット及び前記１つ以上のセンサを動作させて前記環境を探索させ、前記環境内の前記識別されたオブジェクトの位置を決定するステップと、
を含む。
【0034】
したがって、前記ロボットの動作は、前記ユーザのためにオブジェクトを特定することを可能にする。実施形態において、前記ロボットは、画像センサ及び／又は近接センサを使用して、その環境内のオブジェクトのリストを判断する。実施形態において、前記オブジェクトのリストは、例えば畳み込みニューラルネットワークのような１つ以上の機械学習ツールを使用して判断してもよい。他の実施形態において、前記オブジェクトは前記ユーザによって識別されてもよい。
【0035】
実施形態において、ユーザは、前記ロボットによって生成されたリストに含まれ得る識別子を前記電子ユーザ装置に入力する。例えば、前記ユーザは、前記電子ユーザ装置に「車のキー」を入力してもよい。実施形態において、前記ロボットはその環境を探索し、画像センサ、近接センサ及び／又はタッチセンサを使用して、前記識別されたオブジェクトの位置を特定する。
【0036】
実施形態において、前記方法は、生成された前記表現を定期的に更新すること、及び前記セット内の１つ以上のパラメータにおける変化を示す１つ以上のセンサの動作に応答して前記表現を更新することのうちの１つ以上によって、前記生成された表現を維持することを含む。実施形態において、前記表現は、前記ロボットにおいて維持される。実施形態において、前記表現は、外部装置において維持される。実施形態において、前記外部装置は、「クラウド」、サーバ又はネットワーク要素にある。
【0037】
実施形態において、前記方法は、前記環境内の前記識別されたオブジェクトの前記特定された位置の表示を前記電子ユーザ装置に送信することを含む。したがって、ユーザは、前記電子ユーザ装置を介してオブジェクトの位置の通知を受けることができる。実施形態において、前記ロボットは、前記識別されたオブジェクトの位置を前記環境内で特定することができない場合、前記電子ユーザ装置に通知を送信する。実施形態において、前記通知は、前記識別されたオブジェクトの位置を示す画像の態様であってもよい。
【0038】
実施形態において、前記方法は、前記生成されたリストを前記電子ユーザ装置に送信することを含む。したがって、前記ユーザは、前記ロボットが識別されたオブジェクトの前記リストから既知のオブジェクトの位置を特定することを要求するのみである。実施形態において、前記リストは、ユーザに対してグラフィカルに表示され、ユーザは、前記電子ユーザ装置のユーザインターフェースを使用して、位置の特定を希望するオブジェクトを選択することができる。
【0039】
実施形態において、前記ロボットの環境を表す前記パラメータのセットは、前記電子ユーザ装置に送信される。実施形態において、前記ロボットの環境の表現画像は送信されて、前記電子ユーザ装置においてグラフィカルに表示される。実施形態において、前記画像は、前記ロボットが家のどの部屋にあるか、又は前記ロボットが家のどの階にいるかをユーザが判断することを可能にする。実施形態において、前記パラメータのセットは、前記ロボットに近接する又は前記ロボットがアクセス可能な表面を含む。
【0040】
実施形態において、前記オブジェクトのリストを作成することは、前記リスト内の少なくとも１つのオブジェクトの最後の既知の位置を特定することを含む。したがって、前記ユーザは前記リストを参照することができ、そのときに当該ユーザがオブジェクトを見つけることができる可能性が向上する。実施形態において、前記ロボットは、前記リスト内の少なくとも１つのオブジェクトに対する最後の既知の位置を特定する。実施形態において、前記ユーザは、前記リスト内の少なくとも１つのオブジェクトに対する最後の既知の位置を入力する。実施形態において、前記リストは、前記ロボットの現在の環境内にあって前記ロボットにとって既知のオブジェクトと、それらの現在位置とを含む。例えば、前記リストは、識別子「キー」と、「キッチンのサイドボード」の最後の既知の位置（現在の位置であってもよい）とを含んでもよい。
【0041】
実施形態において、前記ロボットを動作させることは、前記識別されたオブジェクトの最後の既知の位置に近接して移動するように前記ロボットを動作させることを含む。したがって、ユーザは、前記ロボットの位置から、オブジェクトの最後の既知の位置を判断することができ、ユーザは、前記ロボットがオブジェクトで動作を実行することを要求することができる。例えば、前記リストが「キッチンのサイドボード」に最後に位置した「キー」を含む場合、ユーザは前記電子ユーザ装置にリクエストを入力してもよく、前記電子ユーザ装置は、キッチンのサイドボードに移動するように前記ロボットを操作する制御データを送信してもよい。
【0042】
実施形態において、前記ロボットを動作させることは、前記識別されたオブジェクトを所与の位置に移動するように前記ロボットを動作させることを含む。したがって、ユーザは、所与の位置に行ってオブジェクトを見ることを期待することができる、又は、ユーザは、ロボットが所与の位置にいるユーザにオブジェクトを運んでくることを期待することができる。実施形態において、前記所与の位置は、受信された制御データにおいて構成される。実施形態において、前記ロボットが識別されたオブジェクトの最後の既知の位置に到達すると、前記ロボットに送信された前記制御データは、前記識別されたオブジェクトを移動させるように前記ロボットを動作させる。実施形態において、前記ロボットは、１つ以上のグラバーを使用して、オブジェクトを拾い上げる。実施形態において、前記所与の位置は、前記電子装置のユーザの現在位置である。実施形態において、前記所与の位置は、前記識別されたオブジェクトのホームロケーションである。実施形態において、前記所与の位置は、前記電子装置のユーザがいる位置（又は、ユーザの隣／近傍の位置）である。
【0043】
実施形態において、前記ロボットは、前記識別されたオブジェクトの位置で写真又はビデオを撮影し、前記写真又はビデオを前記電子ユーザ装置に送信することができる。
【0044】
本開示の一態様によれば、ロボットを動作させる際に使用する装置が提供され、当該ロボットは１つ以上のセンサを有し、前記装置は、
１つ以上のセンサを動作させて、前記ロボットの前記環境を表すパラメータのセットを感知させることと、前記環境内のオブジェクトのリストと当該リスト内の前記オブジェクトの各々に対する関連識別子を作成することにより、前記ロボットの環境の表現を生成し、
前記電子ユーザ装置から制御データを受信し、当該制御データが、前記電子ユーザ装置のユーザが前記環境内で位置を特定することを希望する、前記生成されたリスト内のオブジェクトの識別子を含み、
前記制御データの受信に応答して、前記ロボット及び前記１つ以上のセンサを動作させて前記環境を探索させ、前記環境内の前記識別されたオブジェクトの位置を特定する、
ように構成される。
１つ以上のセンサを動作させて、前記ロボットの前記環境を表すパラメータのセットを感知させることと、前記環境内のオブジェクトのリストと当該リスト内の前記オブジェクトの各々に対する関連識別子を作成することにより、前記ロボットの環境の表現を生成し、
前記電子ユーザ装置から制御データを受信し、当該制御データが、前記電子ユーザ装置のユーザが前記環境内で位置を特定することを希望する、前記生成されたリスト内のオブジェクトの識別子を含み、
前記制御データの受信に応答して、前記ロボット及び前記１つ以上のセンサを動作させて前記環境を探索させ、前記環境内の前記識別されたオブジェクトの位置を特定する、
ように構成される。
【0045】
前記装置は、前記ロボットに挿入するためのコンピュータチップ又はモジュールを含んでもよい。
【0046】
本開示の一態様によれば、コンピュータプログラム製品が提供される。このコンピュータプログラム製品は、コンピュータ化された装置によって実行されるときに、ロボットを動作させる方法を前記コンピュータ化された装置に実行させるための命令セットを含む。前記ロボットは１つ以上のセンサを有し、前記方法は、
前記１つ以上のセンサを動作させて前記ロボットの前記環境を表すパラメータのセットを感知させることと、前記環境内のオブジェクトのリストと当該リスト内の前記オブジェクトの各々に対する関連識別子を作成することによって前記ロボットの環境の表現を生成するステップと、
電子ユーザ装置から制御データを受信するステップであって、前記制御データが、前記電子ユーザ装置のユーザが前記環境内で位置を特定することを希望する、前記生成されたリスト内のオブジェクトの識別子を含む、ステップと、
前記制御データの受信に応答して、前記ロボット及び前記１つ以上のセンサを動作させて前記環境を探索させ、前記環境内の前記識別されたオブジェクトの位置を特定するステップと、
を含む。
前記１つ以上のセンサを動作させて前記ロボットの前記環境を表すパラメータのセットを感知させることと、前記環境内のオブジェクトのリストと当該リスト内の前記オブジェクトの各々に対する関連識別子を作成することによって前記ロボットの環境の表現を生成するステップと、
電子ユーザ装置から制御データを受信するステップであって、前記制御データが、前記電子ユーザ装置のユーザが前記環境内で位置を特定することを希望する、前記生成されたリスト内のオブジェクトの識別子を含む、ステップと、
前記制御データの受信に応答して、前記ロボット及び前記１つ以上のセンサを動作させて前記環境を探索させ、前記環境内の前記識別されたオブジェクトの位置を特定するステップと、
を含む。
【0047】
本開示の一態様によれば、１つ以上のセンサを有するロボットが提供され、当該ロボットは、
前記１つ以上のセンサを動作させて前記ロボットの前記環境を表すパラメータのセットを感知させることと、前記環境内のオブジェクトと前記オブジェクトの各々に対する関連識別子とのリストを作成若しくは電子ユーザ装置から受信することにより、前記ロボットの環境の表現を生成し、
前記電子ユーザ装置から制御データを受信し、当該制御データが、前記電子ユーザ装置のユーザが前記環境内で位置を特定することを希望する、生成されたリスト内のオブジェクトの識別子を含み、
前記制御データの受信に応答して、前記ロボット及び前記１つ以上のセンサを動作させて前記環境を探索させ、前記環境内の前記識別されたオブジェクトの位置を特定する、
ように構成される。
前記１つ以上のセンサを動作させて前記ロボットの前記環境を表すパラメータのセットを感知させることと、前記環境内のオブジェクトと前記オブジェクトの各々に対する関連識別子とのリストを作成若しくは電子ユーザ装置から受信することにより、前記ロボットの環境の表現を生成し、
前記電子ユーザ装置から制御データを受信し、当該制御データが、前記電子ユーザ装置のユーザが前記環境内で位置を特定することを希望する、生成されたリスト内のオブジェクトの識別子を含み、
前記制御データの受信に応答して、前記ロボット及び前記１つ以上のセンサを動作させて前記環境を探索させ、前記環境内の前記識別されたオブジェクトの位置を特定する、
ように構成される。
【0048】
本開示の一態様によれば、ロボットを動作させる方法が提供され、前記ロボットは１つ以上のセンサを有し、当該方法は、
前記ロボットにおいて、前記１つ以上のセンサを動作させて、前記ロボットの環境を表すパラメータのセットを感知させることによって、当該ロボットの前記環境の表現を生成するステップであって、当該表現が、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含む、ステップと、
前記ロボットにおいて、前記電子ユーザ装置から制御データを受信するステップであって、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示す、ステップと、
前記制御データの受信に応答して、前記ロボットの前記環境内の前記少なくとも１つの表面で前記所望の動作を実行するように前記ロボットに動作させるステップと、
を含む。
前記ロボットにおいて、前記１つ以上のセンサを動作させて、前記ロボットの環境を表すパラメータのセットを感知させることによって、当該ロボットの前記環境の表現を生成するステップであって、当該表現が、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含む、ステップと、
前記ロボットにおいて、前記電子ユーザ装置から制御データを受信するステップであって、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示す、ステップと、
前記制御データの受信に応答して、前記ロボットの前記環境内の前記少なくとも１つの表面で前記所望の動作を実行するように前記ロボットに動作させるステップと、
を含む。
【0049】
したがって、前記ロボットの動作は、前記環境内の表面における所望の動作の実行を容易にすることができる。実施形態において、前記ロボットが位置する表面は、家の部屋の床である。実施形態において、前記表現は、少なくとも１つの床外表面を含む（すなわち、床外表面は床表面ではない）。実施形態において、前記表現は、テーブルトップ、作業面、カーペット／布張り又はタイル張りのエリア、窓、ドア及び窓の桟等の表面を含む。実施形態において、前記センサは、前記表面の二次元又は三次元における位置を感知し、したがって、前記表面の高さを感知してもよい。実施形態において、前記センサは、表面の質感を感知して、例えば、カーペット敷き／布張り表面、タイル張り表面、ガラス表面又はラミネート表面を区別する。
【0050】
実施形態において、前記方法は、前記ロボットの前記環境の表現データを前記電子ユーザ装置に送信することを含む。実施形態において、前記ロボットの前記環境の表現は、前記電子ユーザ装置において画像としてグラフィカルに表示される。前記画像により、前記電子ユーザ装置のユーザは、前記ロボットの現在の位置、例えば、前記ロボットがどの部屋にいるかを判断し、所望の動作がいつ実行されたか、及び実行されたか否かを判断することが可能になる。
【0051】
実施形態において、前記ロボットは表面清掃部材を備えており、前記所望の動作は清掃動作を含む。したがって、前記ロボットの動作は、例えば、家の部屋内の表面の清掃を容易にすることができる。実施形態において、前記ロボットは、清掃アームを備えており、前記清掃アームは、他の清掃アームと交換可能な着脱式清掃アームであってもよい。
【0052】
実施形態において、前記掃除動作は、掃除機がけ、拭き掃除、モップがけ、整頓及び埃取りのうちの１つ以上を含む。したがって、様々な異なる清掃動作の実行ができ、前記実行される動作は、ユーザ入力に依存してもよい。実施形態において、前記所望の動作は、前記表面に依存する。例えば、カーペットに対する前記所望の動作は、掃除機がけであってもよく、テーブルに対する前記所望の動作は、拭き掃除であってもよい。実施形態において、前記ロボットは、掃除機がけアーム、拭き掃除アーム、モップ掛けアーム、整頓アーム及び埃取りアームを含む複数の着脱可能な掃除アームを備える。前記着脱可能なアームは、取り外し及び取り換えが可能なように、互換可能であってもよい。
【0053】
実施形態において、前記環境の表現を生成するステップは、前記環境内の表面と前記表面の各々に対する関連識別子とのリストを生成することを含む。実施形態において、前記方法は、前記生成されたリストを前記電子ユーザ装置に送信するステップを備え、受信された前記制御データは、所望の動作が実行されるべき格納されたリスト上の少なくとも１つの表面に対する関連識別子を含む。したがって、前記ユーザは、識別された表面の前記リストから既知の表面で前記ロボットが動作を実行することを要求するのみである。実施形態において、前記リストは、前記電子ユーザ装置において、前記ユーザに対してグラフィカルに表示される。実施形態において、前記リスト内の前記表面は、例えば、ユーザによって、又は自動的に前記ロボットによって、前記ロボットに以前に識別された表面である。
【0054】
実施形態において、前記方法は、前記ロボットの前記環境内の前記少なくとも１つの表面における前記所望の動作の完了時に、所望動作完了通知を前記電子ユーザ装置に送信するステップを含む。実施形態において、前記通知は、前記表面の更新された画像が前記電子ユーザ装置においてユーザに対して表示されることを可能にするデータを含んでもよい。これにより、ユーザは、前記所望の動作が完全に正しくかつ十分な基準で行われたかどうかを判断することができる。
【0055】
実施形態において、前記方法は、生成された前記表現を定期的に更新すること、及びパラメータのセットの１つ以上における変化を示す前記１つ以上のセンサの動作に応答して、生成された前記表現を更新することの１つ以上によって、生成された前記表現を前記ロボット又は外部装置において維持するステップを含む。したがって、ユーザは、例えば、前記環境内の表面において前記所望の動作が実行されたか、又は実行される必要があるかを識別するために、前記環境内の変化を追跡することができる。実施形態において、アイドルタイム中、前記ロボットは生成された前記表現を更新し、その環境を表すデータを前記ユーザに送信してもよい。実施形態において、前記ロボットは、生成された前記表現を定期的な時間間隔で更新する。実施形態において、更新された前記表現は、所望の動作の完了時に生成される。実施形態において、センサは、例えば、表面がもはやきれいでない場合など、表面のパラメータが変化したことを感知する。実施形態において、更新された表現は、そのような変化に応答して生成される。実施形態において、前記外部装置は、「クラウド」にあっても、又はネットワークサーバーであってもよく、生成された前記表現を更新する。
【0056】
本開示の一態様によれば、ロボットを動作させる際に使用される装置が提供され、当該ロボットは１つ以上のセンサを有し、前記装置は、
前記ロボットにおいて、前記１つ以上のセンサを動作させて、前記ロボットの環境を表すパラメータのセットを感知させることによって前記ロボットの前記環境の表現を生成し、前記表現が、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含み、
前記ロボットにおいて、電子ユーザ装置から制御データを受信し、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示し、
前記制御データの受信に応答して、前記ロボットに、当該ロボットの前記環境内の前記少なくとも１つの表面で前記所望の動作を実行させる、
ように構成される。
前記ロボットにおいて、前記１つ以上のセンサを動作させて、前記ロボットの環境を表すパラメータのセットを感知させることによって前記ロボットの前記環境の表現を生成し、前記表現が、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含み、
前記ロボットにおいて、電子ユーザ装置から制御データを受信し、当該制御データが前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示し、
前記制御データの受信に応答して、前記ロボットに、当該ロボットの前記環境内の前記少なくとも１つの表面で前記所望の動作を実行させる、
ように構成される。
【0057】
本開示の一態様によれば、コンピュータプログラム製品が提供される。当該コンピュータプログラム製品は、コンピュータ化された装置によって実行されるとき、前記コンピュータ化された装置にロボットを操作する方法を実行させるための命令のセットを含む。前記ロボットは１つ以上のセンサを有し、前記方法は、
前記１つ以上のセンサを操作して、前記ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットにおいて、前記ロボットの環境の表現を生成するステップであって、前記表現が、前記ロボットが位置する表面以外の環境内の少なくとも１つの表面を含む、ステップと、
前記ロボットにおいて、電子ユーザ装置から制御データを受信するステップであって、当該制御データが、前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示する、ステップと、
前記制御データの受信に応答して、前記ロボットに、前記ロボットの前記環境内の前記少なくとも１つの表面において前記所望の行動を実行させるステップと、
を含む。
前記１つ以上のセンサを操作して、前記ロボットの環境を表すパラメータのセットを感知させることによって、前記ロボットにおいて、前記ロボットの環境の表現を生成するステップであって、前記表現が、前記ロボットが位置する表面以外の環境内の少なくとも１つの表面を含む、ステップと、
前記ロボットにおいて、電子ユーザ装置から制御データを受信するステップであって、当該制御データが、前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示する、ステップと、
前記制御データの受信に応答して、前記ロボットに、前記ロボットの前記環境内の前記少なくとも１つの表面において前記所望の行動を実行させるステップと、
を含む。
【0058】
本開示の一態様によれば、１つ以上のセンサを有するロボットが提供される。当該ロボットは、
前記ロボットの環境を表すパラメータのセットを感知するように前記１つ以上のセンサを動作させることによって、前記ロボットの前記環境の表現を生成し、当該表現は、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含み、
電子ユーザ装置から制御データを受信し、当該制御データが、前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示し、
前記制御データの受信に応答して、前記ロボットの前記環境内の前記少なくとも１つの表面で前記所望の動作を実行する、
ように構成される。
前記ロボットの環境を表すパラメータのセットを感知するように前記１つ以上のセンサを動作させることによって、前記ロボットの前記環境の表現を生成し、当該表現は、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を含み、
電子ユーザ装置から制御データを受信し、当該制御データが、前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示し、
前記制御データの受信に応答して、前記ロボットの前記環境内の前記少なくとも１つの表面で前記所望の動作を実行する、
ように構成される。
【0059】
本開示の一態様によれば、ロボットを制御する方法が提供される。当該方法は、電子ユーザ装置において、
前記ロボットから、前記ロボットの環境の表現データを受信するステップであって、受信した前記データは、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を示す、ステップと、
前記表現データの受信に応答して、前記ロボットの前記環境の表示を前記電子ユーザ装置のグラフィックディスプレイに表示するステップと、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示す入力を受け付けるステップと、
前記ユーザ入力の受信に応答して、制御データを前記ロボットに送信するステップであって、当該制御データは、前記ロボットに前記ロボットの前記環境内の前記少なくとも１つの表面で前記所望の動作を実行させることが可能である、ステップと、
を含む。
前記ロボットから、前記ロボットの環境の表現データを受信するステップであって、受信した前記データは、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を示す、ステップと、
前記表現データの受信に応答して、前記ロボットの前記環境の表示を前記電子ユーザ装置のグラフィックディスプレイに表示するステップと、
前記電子ユーザ装置のユーザから、前記ロボットの前記環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示す入力を受け付けるステップと、
前記ユーザ入力の受信に応答して、制御データを前記ロボットに送信するステップであって、当該制御データは、前記ロボットに前記ロボットの前記環境内の前記少なくとも１つの表面で前記所望の動作を実行させることが可能である、ステップと、
を含む。
【0060】
実施形態において、前記ロボットの前記環境は、家又は家のエリアである。実施形態において、前記電子ユーザ装置は、例えば、ユーザによって操作されるタブレット又はラップトップコンピュータであり、前記ロボットの前記環境の表現データを、例えば、１つ以上の可動オブジェクトの現在の位置を示す家の部屋の画像として、前記ユーザに表示する。実施形態において、前記ロボットが位置する表面以外の前記環境内の少なくとも１つの表面を示すデータは、ユーザが清掃を希望する可能性がある表面を示す。実施形態において、前記電子ユーザ装置を使用して、ユーザは、これらの表面で実行されるべき所望の動作を入力し、当該ユーザ入力に応答して、前記ロボットは前記表面で前記所望の動作を実行するように指示される。前記ロボットと前記電子ユーザ装置との間のデータ通信を使用して、かくして前記ユーザは、ロボットの環境内の表面の清掃を指示することができる。例えば、前記ユーザは前記ロボットにカーペットの掃除機がけ、表面の拭き掃除、又は床のモップがけを指示してもよい。
【0061】
実施形態において、前記所望の動作を示すユーザ入力は、前記電子ユーザ装置のディスプレイを介して受け付けられる。したがって、ユーザは、電子装置を用いてロボットに対する指示を入力することができる。前記ユーザは、ロボットから離れて指示を入力することができる。実施形態において、前記ユーザは、前記ディスプレイと相互作用して、表面で実行されるべき所望の動作を入力する。これは、前記ユーザが前記ロボットに指示を与えるための直感的かつ相互作用的な方法を提供する。他の実施形態において、前記ユーザ入力は、タイプされた指示を含む。前記ディスプレイを使用して、ユーザは、表面で実行されるべき動作をタイプ入力してもよいし、又は、例えば、可能な動作のリストから動作を選択してもよい。
【0062】
実施形態において、ユーザ入力は、マイクロフォンを介して受け付けられ、当該入力は、前記ロボットの前記環境内の少なくとも１つの表面で実行されるべき所望の動作を示す音声を含む。したがって、前記ユーザは、前記電子ユーザ装置と物理的に接触することなく、前記電子ユーザ装置を使用してロボットに対する指示又は命令を入力することができる。実施形態において、前記ユーザは、表面で実行されるべき所望の動作を口頭で指示してもよい。これにより、前記電子ユーザ装置のハンズフリー操作が可能になり、ディスプレイとの視覚的な相互作用が不要になる。
【0063】
実施形態において、前記方法は、前記ロボットから、前記所望の動作が前記ロボットの環境内の少なくとも１つの表面で実行されたことを確認する確認データを受信するステップを含む。実施形態において、前記確認データの受信に応答して、前記ロボットの更新された環境が前記グラフィックディスプレイに表示される、ここで、前記更新された環境は、前記所望の動作が前記ロボットの前記環境内の前記少なくとも１つの表面で実行されたことを示す。
【0064】
実施形態において、前記ロボットが前記表面で所望の動作を実行したとき、例えば前記表面を示す前記環境の更新された画像が表示されてもよい。これにより、ユーザは、前記ロボットが前記所望の動作を十分に高い水準で正しく行ったか否かを判断し、さらなる動作が必要であるか否かを判断することができる。
【0065】
実施形態において、前記方法は、前記ロボットから、前記ロボットの環境内の所与の表面に対する識別子を提供するようにユーザに要求するリクエストデータを受信するステップを必要とする。実施形態において、前記方法は、前記電子ユーザ装置のユーザから、前記ロボットの環境内の前記所与の表面に対する所望の識別子を示す入力を受け取るステップと、応答データを前記ロボットに送信するステップとを必要とし、前記応答データは前記所望の識別子を含む。
【0066】
ユーザからのデータを要求することは前記ロボットが自律的に動作する能力を制限する一方で、ユーザに表面に対する識別子の提供を要求することにより、前記ロボットが分類又はオブジェクトに関する既存の（又はそのような詳細な）情報を有すること必要としないため、前記ロボットに求められる機能が単純化される場合がある。また、ユーザ入力を要求することは、特に、境界線上の場合、新しいオブジェクトが識別された場合、又は前記ロボットによる判定が不確かな場合において、前記ロボットによる誤った分類を回避するのに役立つことがある。また、ユーザは、カスタム識別子を入力することもでき、例えば、ユーザは、より一般的な分類子である「マグカップ」ではなく、識別子「ボブのマグカップ」を入力することができる。
【0067】
また、ユーザに表面の識別を要求することで、特に境界線上の場合、新たな表面を識別した場合、又は前記ロボットによる判定が不確かである場合に、前記ロボットによる誤分類を回避することができる。
【0068】
実施形態において、前記所望の動作は、掃除動作を含む。実施形態において、前記掃除動作は、掃除機がけ、拭き掃除、モップがけ、整頓及び埃取りのうちの１つ以上を含む。したがって、前記ロボットは、前記ユーザ入力に応じて、様々な異なる清掃動作を実行することができる。
【0069】
もちろん、本発明の一態様に関連して説明された特徴は、本発明の他の態様に組み込まれてもよいことが理解されよう。例えば、本発明の方法は、本発明の装置を参照して説明した特徴のいずれかを組み込んでもよく、その逆もまた然りである。
【図面の簡単な説明】
【0070】
次に、本開示の実施形態を、以下の添付図面を参照して例示的にのみ説明する。
【図1】実施形態に係るロボット及び電子ユーザ装置のシステム図である。
【図2】実施形態に係る電子ユーザ装置のブロック図である。
【図3】実施形態に係るロボットの模式図である。
【図4】実施形態に係るロボットと電子ユーザ装置との間のデータ通信を示すメッセージフロー図である。
【図5】実施形態に係るロボットと電子ユーザ装置との間のデータ通信を示すメッセージフロー図である。
【図6】実施形態に係るロボットと電子ユーザ装置との間のデータ通信を示すメッセージフロー図である。
【図7】実施形態に係るロボットと電子ユーザ装置との間のデータ通信を示すメッセージフロー図である。
【図8】実施形態に係るロボットと電子ユーザ装置１０５との間のデータ通信を示すメッセージフロー図である。
【発明を実施するための形態】
【0071】
図１は、実施形態による、ロボット１０３及び電子ユーザ装置１０５のシステム図である。実施形態において、電子ユーザ装置１０５は、ロボット１０３から、ロボット１０３の環境１０９の表現データを受信する。受信したデータは、環境１０９内の少なくとも１つの可動オブジェクト１０７の位置を示す。表現データの受信に応答して、ロボット１０３の環境１０９の表現が、電子ユーザ装置１０５のグラフィックディスプレイに表示される。電子ユーザ装置１０５は、ロボット１０３の環境１０９における少なくとも１つの可動オブジェクト１０７の所望の位置を示すユーザからの入力を受け付ける。ユーザ入力の受信に応答して、制御データがロボット１０３に送信され、前記制御データは、ロボット１０３に、ロボット１０３の環境１０９における前記所望の位置に少なくとも１つのオブジェクト１０７を移動させることが可能である。データは、ロボット１０３と電子ユーザ装置１０５との間で転送され、その逆もまた然りである。実施形態において、ロボット１０３及び電子ユーザ装置１０５は、ネットワークを介して相互作用し、そのような実施形態において、ロボット１０３及び電子ユーザ装置１０５は、典型的には、互いの近傍に配置されていない。ネットワークは、１つ以上の有線ネットワーク及び／又は１つ以上の無線ネットワークを含んでもよい。実施形態において、ロボット１０３及び電子ユーザ装置１０５は、ダイレクトエアインターフェース（例えば、Bluetooth（登録商標）又はWiFi Direct（登録商標）などの無線通信プロトコルを介した通信）を介して相互作用し、そのような実施形態において、ロボット１０３及び電子ユーザ装置１０５は、典型的には、互いの近傍に配置されている。実施形態において、ロボット１０３の環境１０９は、家などの建物、建物の１つ以上の階、及び／又は建物の１つ以上の部屋を含む。実施形態において、オブジェクト１０７は、家庭用品、衣類のアイテム、又は家具のアイテム等を含む。
【0072】
図２は、実施形態に係る電子ユーザ装置１０５のブロック図である。電子ユーザ装置１０５は、グラフィカルディスプレイ２０１を備える。電子ユーザ装置１０５は、ユーザインターフェース２０３を備え、前記インターフェースは、ユーザ入力を可能にするためのタッチスクリーンディスプレイ２０４及び／又はマイクロフォン２０５を含んでもよい。実施形態において、グラフィカルディスプレイ２０１は、タッチスクリーンディスプレイ２０４を備え、ユーザ入力は、電子装置１０５のタッチスクリーンディスプレイ２０４を介して受け付けられる。電子装置１０５は、ロボット１０３にデータ（例えば制御データ）を送信し、ロボット１０３からデータ（例えば環境１０９の表現データ）を受信するためのトランシーバ２０９を備える。電子ユーザ装置１０５は、実施形態による様々なデータ処理機能を実行するためのプロセッサシステム２０７を備える。電子ユーザ装置１０５は、実施形態による様々なデータを格納するための１つ以上のメモリ２１１を備える。
【0073】
実施形態において、電子ユーザ装置１０５は、ロボット１０３から、ロボット１０３の環境１０９における少なくとも１つの可動オブジェクト１０７の位置を示す、ロボット１０３の環境１０９の表現データを受信する。電子ユーザ装置１０５は、ロボット３の環境１０９の表現をグラフィカルディスプレイ２０１に表示する。実施形態において、ユーザ入力は、少なくとも１つの可動オブジェクト１０７の現在位置から所望の位置へのドラッグアンドドロップ動作を含む。実施形態において、前記ドラッグアンドドロップ動作は、タッチスクリーンディスプレイ２０４を介してユーザによって実行される。
【0074】
ユーザインターフェースは、マイクロフォン２０５を備えてもよく、ユーザ入力は、マイクロフォン２０５を介して受け付けることができる。いくつかのそのような実施形態において、ユーザ入力は、少なくとも１つの可動オブジェクト１０７に対する所望の位置の音声指示を含む。
【0075】
実施形態において、電子ユーザ装置１０５は、モバイルコンピュータ、パーソナルコンピュータシステム、無線装置、電話装置、デスクトップコンピュータ、ラップトップコンピュータ、ノートブック、ネットブックコンピュータ、携帯型コンピュータ、リモートコントロール、家電装置、又は一般に任意のタイプのコンピュータ装置若しくは電子装置を含む。
【0076】
図３は、実施形態に係るロボット１０３を示す図である。ロボット１０３は、１つ以上のセンサ３０１を備える。センサ３０１は、ロボット１０３の環境を表すパラメータのセットを感知する。ロボット１０３は、電子ユーザ装置１０５からデータを受信し、電子ユーザ装置１０５にデータを送信するためのトランシーバ３０９を備える。ロボット１０３は、電子ユーザ装置１０５からのデータを処理するためのプロセッサシステム３０７と、データを格納するためのデータ記憶モジュール３１２とを備える。実施形態において、ロボット１０３は、撮像センサ３０２（例えば、カメラ）を備え、ロボット１０３は、画像データを電子ユーザ装置１０５に伝達してもよい。実施形態において、ロボット１０３は、トランシーバ３０９を使用して、ロボット１０３の環境９を表す画像データを、電子装置１０５に送信する。送信されたデータは、環境１０９内のオブジェクト１０７の三次元位置又は場所に関するものであってもよい。送信されたデータは、環境１０９内にオブジェクトが配置されている高さを示すデータを含んでもよい。
【0077】
実施形態において、ロボット１０３は、オブジェクトを移動させるための１つ以上の機械アーム３１１を備える。機械アーム３１１は、オブジェクトを掴む（拾い上げる、又は他の方法で掴む）ためのグラバーを備えてもよい。制御データは、電子ユーザ装置１０５からロボット１０３のトランシーバ３０９で受信されてもよい。制御データは、機械アーム３１１に、オブジェクト１０７をその現在位置から所望の位置に移動させるようにしてもよい。
【0078】
実施形態は、電子ユーザ装置１０５を使用してロボット１０３を制御する際に使用する方法、装置及びコンピュータプログラムを含む。実施形態では、図４に示すように、ロボット１０３と電子ユーザ装置１０５との間でデータ通信が行われる。
【0079】
ステップ４０１において、ロボット１０３の環境１０９の表現データが、トランシーバ２０９を介して電子ユーザ装置１０５で受信される。受信されたデータは、環境１０９内の少なくとも１つのオブジェクトの位置を示す。
【0080】
ステップ４０２において、受信されたデータは、電子ユーザ装置１０５の処理システム２０７によって処理される。表現データの受信に応答して、ロボット１０３の環境が、電子ユーザ装置１０５のグラフィカルディスプレイ２０１に表示される。
【0081】
ステップ４０３において、電子ユーザ装置１０５は、電子ユーザ装置１０５のユーザから、ロボット１０３の環境１０９における少なくとも１つの可動オブジェクト１０７の所望の位置を示すユーザ入力を受け付ける。
【0082】
実施形態において、電子ユーザ装置１０５のユーザインターフェースは、タッチスクリーンディスプレイを含み、ユーザ入力は、ユーザが少なくとも１つの可動オブジェクト１０７を現在位置からディスプレイ１０９内の所望の位置までドラッグし、その所望の位置で前記オブジェクトをドロップすることによって提供される。
【0083】
実施形態において、電子ユーザ装置１０５のユーザインターフェースは、マイクロフォン２０５を含み、ユーザ入力は、ユーザが環境１０９内のオブジェクトの所望の位置を音声で示すことによって提供される。
【0084】
ステップ４０５において、ロボット１０３の環境１０９における少なくとも１つの可動オブジェクト１０７に対する所望の位置を示す入力を電子装置１０５のユーザから受け取ることに応答して、データはプロセッサシステム２０７によって処理され、制御データがトランシーバ２０９を用いてロボット１０３に送信される。制御データは、ロボット１０３に、ロボット１０３の環境１０９内の前記所望の位置に少なくとも１つの可動オブジェクト１０７を移動させることが可能である。
【0085】
ステップ４０６において、制御データは、ロボット１０３のトランシーバ３０９で受信され、ロボット１０３のプロセッサシステム３０７によって処理される。実施形態において、制御データは、環境１０９内の所望の位置へのロボット１０３の経路を制御する。実施形態において、制御データは、環境９における所望の終了位置を含み、ロボット１０３は、この位置への経路を決定する。
【0086】
ステップ４０７において、電子ユーザ装置１０５のトランシーバ２０７で、ロボット１０３から、少なくとも１つの可動オブジェクト１０７が環境１０９内の所望の位置に移動されたことを確認する確認データが受信される。
【0087】
ステップ４０９において、確認データは、電子ユーザ装置１０５のプロセッサシステム２０７で処理され、確認データの受信に応答して、電子ユーザ装置１０５は、ロボット１０３の更新環境１０９をグラフィカルディスプレイ２０１に表示する。更新環境１０９は、少なくとも１つの可動オブジェクト１０７の位置を示す。
【0088】
ステップ４１１において、電子ユーザ装置１０５のトランシーバ２０９は、ロボット１０３のトランシーバ３０９から、環境１０９内の１つ以上のオブジェクト１０７に対する識別子を提供するようユーザに要求するリクエストデータを受信する。
【0089】
実施形態において、オブジェクト１０７は、ロボット１０３によってセンサ３０３を使用して感知されたが、ロボット１０３によってまだ移動されていない。実施形態において、オブジェクト１０７は、ロボット１０３によって以前に移動させられたオブジェクト１０７である。実施形態において、リクエストデータは、ロボット１０３がオブジェクト１０７を所望の位置に移動していないが、環境１０９内のオブジェクト１０７を感知しているアイドルタイム中に、電子ユーザ装置に送信される。
【0090】
ステップ４１３において、電子ユーザ装置１０５は、ロボット１０３の環境１０９内の少なくとも１つのオブジェクト１０７に対する所望の識別子を示すユーザからの入力を受信する。実施形態において、識別子はラベルを含み、前記ラベルはオブジェクトに固有のものであってもよいし、又はオブジェクトを特定のグループ又はクラスに分類するものであってもよい。例えば、識別子は、オブジェクトに「衣類」又は「家具」などのグループラベルを付けてもよく、又はオブジェクトに「お気に入りのマグカップ」などの特定のラベルを付けてもよい。オブジェクトに対するラベル及び／又は位置は、画像処理及び／又は機械学習を用いて決定されてもよい。例えば、「ボウル」の形状を学習し、「ボウル」と「食器棚」の関連性を学習することができる。
【0091】
実施形態において、ユーザは、例えば、キーパッド若しくはキーボードを使用して、又はタッチスクリーンディスプレイ２０４を使用して、電子ユーザ装置１０５に識別子をタイプすることにより、少なくとも１つのオブジェクト１０７に対する所望の識別子を入力する。実施形態において、ユーザは、電子ユーザ装置１０５のマイクロフォン２０５で受信された音声コマンドを使用して、所望の識別子を入力する。実施形態において、ユーザは、電子ユーザ装置１０５のメモリ２１１に格納された識別子のリストから識別子を選択してもよい。
【0092】
ステップ４１５において、提供された所望の識別子を含む応答データは、電子ユーザ装置１０５からロボット１０３に送信される。実施形態において、ステップ４１７において、応答データは、ロボット１０３のプロセッサシステム３０７によって処理され、将来の使用中にロボット１０３が前記識別子を使用してこのオブジェクト１０７を識別できるように、ロボット１０３の記憶モジュール３１２に格納されても良い。
【0093】
実施形態は、ロボット１０３を動作させる際に使用するための方法、装置及びコンピュータプログラムを含み、ロボット１０３は１つ以上のセンサ３０３を有する。図５に示すように、ロボット１０３と電子ユーザ装置１０５との間でデータ通信が行われる。
【0094】
ステップ５０１では、ロボット１０３において、ロボット１０３の少なくとも１つのセンサ３０１を動作させてロボット１０３の環境１０９を表すパラメータのセットを感知させることによって、ロボット１０３の環境１０９の表現が生成される。表現は、環境１０９内の少なくとも１つの可動オブジェクト１０７に対する位置を含む。
【0095】
ステップ５０２において、ロボット１０３の環境の表現データが、ロボット１０３のトランシーバから電子ユーザ装置１０５のトランシーバに送信される。ロボット１０３の環境１０９は、電子ユーザ装置１０５のグラフィカルディスプレイ２０１に表示されてもよい。
【0096】
ステップ５０３において、ロボット１０３のトランシーバ３０９は、電子ユーザ装置１０５のトランシーバ２０９から制御データを受信する。制御データは、ロボット１０３の環境１０９における少なくとも１つの可動オブジェクト１０７に対する所望の位置を示す。
【0097】
ステップ５０４において、電子装置１０５からの制御データの受信に応答して、ロボット１０３は、少なくとも１つのオブジェクト１０７をロボット１０３の環境１０９内の所望の位置に移動させるよう動作する。
【0098】
ステップ５０５において、ロボット１０３の環境の表現を生成することは、ロボット１０３において、既知のオブジェクトと関連識別子のリストを生成することを含む。
【0099】
実施形態において、リストは、電子ユーザ装置１０５からオブジェクト１０７に対する所望の識別子を示すデータを受信することに応答して、ロボット１０３のプロセッサシステム３０７によって生成される。実施形態において、既知のオブジェクト１０７と前記オブジェクト１０７の各々の識別子とのリストは、ロボット１０３の記憶モジュール３１２に格納される。
【0100】
実施形態において、ロボット１０３において、リストにない未知のオブジェクト１０７が識別される。ステップ５０７において、未知のオブジェクトの識別に応答して、ロボット１０３のトランシーバ３０９から電子ユーザ装置のトランシーバ２０９に、未知のオブジェクト１０７を識別するためのリクエストが送信される。実施形態において、未知のオブジェクト１０７は、グラフィカルユーザディスプレイ２０１に表示される。
【0101】
ステップ５０８において、ロボット１０３のトランシーバ３０９は、電子ユーザ装置１０５から、未知のオブジェクト１０７に対する識別子を示すデータを受信する。実施形態において、前記識別子は、ユーザによって電子ユーザ装置１０５に入力される。
【0102】
実施形態において、ステップ５０９では、識別子を示すデータの受信に応答して、ロボット１０３で、前記識別子を未知のオブジェクト１０７と関連付けるために前記リストが更新される。実施形態において、更新されたリストは、ロボット１０３の記憶モジュール３１２に格納される。
【0103】
実施形態において、ロボット１０３の環境の生成された表現は、維持される。ステップ５１１において、表現は、定期的に更新される。実施形態において、表現は、セット内のパラメータのうちの１つ以上の変化を示すセンサ３０１のうちの１つ以上の操作に応答して更新される。
【0104】
実施形態において、更新された表現は、電子ユーザ装置１０５のグラフィカルディスプレイ２０１に表示される。
【0105】
実施形態において、前記リストは、リスト内の少なくとも１つのオブジェクト１０７に対するホームロケーションを含む。実施形態において、前記リストは、オブジェクト１０７が何であるかを示すラベル（例えば、マグカップ）、又はオブジェクト１０７のタイプによるオブジェクト１０７のグループ分け（例えば、衣類）、及びホームロケーション（例えば、オブジェクト１０７はマグカップであり、ホームロケーションは食器棚）を含む。
【0106】
実施形態において、前記リストは、同じ識別子を有する複数のオブジェクト１０７を有し、複数のオブジェクト１０７は、同一のホームロケーションを有する。例えば、複数のオブジェクト１０７は、識別子mugを有してもよく、これらのオブジェクトの各々は、食器棚というホームロケーションを有していてもよい。
【0107】
実施形態において、前記リストは、オブジェクト又は同一の識別子を有する複数のオブジェクトを有し、前記オブジェクトは、複数のホームロケーションを有する。例えば、オブジェクト又は複数のオブジェクトは、識別子mugを有してもよく、マグカップ（mug）は、例えば「食器棚１」及び「食器棚２」等の複数のホームロケーションを有してもよい。
【0108】
実施形態において、未知のオブジェクト１０７を特定するためのリクエストが送信されるステップ５０７は、未知のオブジェクトのホームロケーションを指定するためのリクエストをさらに備える。実施形態において、ステップ５０８においてロボット１０３でデータを受信し、受信したデータは、未知のオブジェクト１０７に対するホームロケーションを指定するデータを含む。実施形態において、ステップ５０９はリストの更新を含み、未知のオブジェクト１０７に対する指定されたホームロケーションを含むようにリストを更新することを含む。
【0109】
実施形態において、ロボット１０３を動作させて少なくとも１つのオブジェクト１０７をロボット１０３の環境１０９内の所望の位置に移動させることを含むステップ５０４は、ロボット１０３に少なくとも１つのオブジェクト１０７をそのホームロケーションに移動させるよう動作させることを含む。
【0110】
実施形態は、電子ユーザ装置１０５を使用してロボット１０３を動作させる際に使用するロボット、装置及びコンピュータプログラムを動作させる方法を含み、ロボットは１つ以上のセンサ３０１を有する。データは、図１のシステム図に示すように、ロボット１０３と電子ユーザ装置１０５の間で転送され、その逆も然りである。実施形態において、電子ユーザ装置は、図２に関連して説明されるような電子ユーザ装置である。実施形態において、ロボット１０３は、図３に関連して説明されるようなロボット１０３である。図６に示すように、ロボット１０３とユーザ装置１０５との間でデータ通信が行われる。
【0111】
実施形態において、ロボット１０３では、ステップ６０１で、ロボット１０３の環境１０９の表現が生成される。前記表現は、１つ以上のセンサ３０１を動作させてロボット１０３の環境１０９を表すパラメータのセットを感知させることによって生成される。実施形態において、前記表現を生成するために画像センサ３０２が使用される。実施形態において、前記パラメータのセットは、ロボット１０３の位置、例えば、ロボット１０３がいる部屋、又はロボット１０３が位置する家の階を記述する。
【0112】
ステップ６０３では、ロボット１０３において、環境１０９内のオブジェクト１０７のリストとそのリスト内のオブジェクトの各々に対する関連識別子が生成される。実施形態において、オブジェクト１０７及び関連識別子は、ユーザによる以前の識別の結果としてロボット１０３に既知のオブジェクト１０７及び識別子であってよい。実施形態において、オブジェクト及び関連識別子は、ロボット１０３の記憶モジュール３１２に格納されているオブジェクト及び関連識別子であってもよい。
【0113】
ステップ６０５において、電子ユーザ装置１０５からの制御データは、ロボット１０３のトランシーバ３０９で受信される。制御データは、電子装置１０５のユーザが環境内で位置を特定することを希望する、前記生成されたリスト内のオブジェクト１０７に対する識別子を含む。例えば、制御データは、ユーザが環境内で位置を特定することを希望するオブジェクトとして、キーのセット（例えば、家のキー又は車のキー）を識別してもよい。
【0114】
ステップ６０７において、制御データの受信に応答して、ロボット１０３及び１つ以上のセンサ３０１は、環境１０９を探索して環境１０９内の識別されたオブジェクト１０７の位置を判断するように動作する。
【0115】
実施形態において、ステップ６０９で、ロボット１０３は、環境１０９内の識別されたオブジェクト１０７の特定された位置の表現を電子ユーザ装置１０５に送信してもよい。
【0116】
実施形態において、ステップ６０３の一部として、ステップ６０３´で、ロボット１０３又は外部装置は、生成されたオブジェクトのリストを電子ユーザ装置１０５に送信する。
【0117】
実施形態において、ステップ６０１の一部として、ステップ６０１´で、ロボット１０３又は外部装置は、ロボット１０３の環境１０９を表すパラメータのセットを電子ユーザ装置１０５に送信する。
【0118】
実施形態において、ステップ６０３の一部として、リスト内の少なくとも１つのオブジェクトに対する最後の既知の位置が生成される。例えば、前記リストは、オブジェクト１０７及び「キー」という識別子を含んでもよく、前記最後の既知の位置を「キッチンのテーブル」としてリストしてもよい。
【0119】
実施形態において、ステップ６０７は、ロボット１０３を動作させて、識別されたオブジェクト１０７の最後の既知の位置に近接して移動させることを含む。例えば、ステップ６０７は、「キー」の最後の既知の位置である「キッチンのテーブル」に近接して移動するようにロボットを操作させることを含んでも良い。
【0120】
実施形態において、ステップ６０７は、ロボット１０３を操作して、識別されたオブジェクト１０７を所与の位置に移動させることを含む。前記位置は、環境内の最後に知られた位置とは異なる位置であってもよい。例えば、実施形態において、ステップ６０７は、「キー」を「キーフック」に移動させるようにロボット１０３を動作させることを含む。実施形態において、前記位置は環境内のユーザの位置であってもよく、ステップ６０７は、ロボット１０３に「キー」をユーザに持って来させるよう動作させることを含む。
【0121】
実施形態において、ステップ６０５では、制御データは、オブジェクト１０７に対する新しい、所与の位置を含んでもよい。したがって、制御データは、「キー」が「キーフック」の新しい位置を有するべきことを指定してもよい。実施形態において、この制御データに応答して、ロボット１０３は「キー」を「キーフック」に移動するように操作される。
【0122】
実施形態は、電子ユーザ装置１０５を用いてロボット１０３を動作させる際に使用するロボットを動作させる方法、装置及びコンピュータプログラムを含み、ここで、ロボット１０３は１つ以上のセンサ３０１を有する。
【0123】
図１のシステム図に示すように、データがロボット１０３と電子ユーザ装置１０５との間で送信され、その逆もまた然りである。実施形態において、電子ユーザ装置１０５は、図２に関連して説明されるような電子ユーザ装置である。実施形態において、ロボット１０３は、図３に関連して説明されるようなロボット１０３である。図７に示すように、ロボット１０３と電子ユーザ装置１０５との間でデータ通信が行われる。
【0124】
ステップ７０１において、ロボット１０３では、１つ以上のセンサ３０１を動作させてロボット１０３の環境１０９を表すパラメータのセットを感知させることによって、環境１０９の表現が生成される。前記表現は、ロボット１０３が位置する表面以外の環境内の少なくとも１つの表面を含む。実施形態において、表現は、画像センサ３０２を動作させることによって生成される。実施形態において、表現は、キッチンのキャビネットの表面、テーブルの上、室内装飾品の表面などの１つ以上の表面を含む。
【0125】
ステップ７０３では、ロボット１０３において、電子ユーザ装置１０５のトランシーバ２０９から制御データを受信し、制御データは、ロボット１０３の環境１０９内の少なくとも１つの表面で実行されるべき所望の動作を示す。
【0126】
ステップ７０５において、制御データの受信に応答して、ロボット１０３は、ロボット１０３の環境１０９内の少なくとも１つの表面で所望の動作を実行する。
【0127】
実施形態において、ステップ７０１は、ステップ７０１´において、ロボット１０３の環境１０９の表現データを電子ユーザ装置１０５に送信することを含む。実施形態において、データは、ロボット１０３が環境１０９のどの部屋に現在いるか、又はロボット１０３が環境１０９内の家のどの階に現在位置しているかをユーザに知らせる情報を含む。実施形態において、前記データは、ロボット１０３がアクセス可能な表面に関する情報を含む。
【0128】
実施形態において、ロボット１０３は、表面クリーニング部材を備える。実施形態において、ロボット１０３の機械アーム３１１は、表面クリーニング部材を備える。実施形態において、表面クリーニング部材は、ロボット１０３の機械アーム３１１に取り付け可能なアタッチメントである。例えば、前記アタッチメントは、研磨アタッチメント、掃除機アタッチメント、モップアタッチメント、拭き取りアタッチメント、埃取りアタッチメント等であってもよい。
【0129】
実施形態において、所望の動作は、掃除動作を含む。実施形態において、前記掃除動作は、掃除機がけ、拭き掃除、モップがけ、整頓及び埃取りのうちの１つ以上を含む。
【0130】
実施形態において、ロボット１０３の環境１０９の表現を生成する第１のステップ７０１は、環境１０９内の既知の表面のリストとその表面の各々の関連識別子を生成することを含む。リストは、例えば、環境１０９内のロボット１０３と現在同じ部屋にある既知の表面及び関連識別子を含んでもよい。実施形態において、前記既知の表面及び関連識別子は、電子装置１０５のユーザによってロボット１０３に以前に識別されたことになる。実施形態において、前記既知の表面及び関連識別子は、ロボット１０３の記憶モジュール３１２に格納されることになる。実施形態において、ステップ７０１は、ステップ７０１′′において、生成されたリストを電子ユーザ装置１０５に送信することを含む。
【0131】
実施形態において、ステップ７０３で、ロボット１０３で受信された制御データは、所望の動作が実行されるべき、格納されたリスト上の少なくとも１つの表面に対する関連識別子を含む。例えば、格納されたリストは、キッチン内の表面及びそれらの関連識別子を含んでもよく、ロボット１０３で受信された制御データは、識別子「キッチンのテーブル」を含んでよく、「キッチンのテーブル」が拭かれることを示してもよい。
【0132】
ステップ７０７において、ロボット１０３の環境１０９内の前記少なくとも１つの表面での所望の動作の実行が完了すると、所望動作完了通知が電子ユーザ装置１０５に送信される。実施形態において、通知は、グラフィカルディスプレイ２０１上で電子ユーザ装置１０５のユーザに対して表示される。実施形態において、前記通知は、ロボット１０３の環境１０９の更新された表現を含む。
【0133】
実施形態において、ロボット１０３の環境１０９の生成された表現は、維持される。実施形態において、生成された表現を維持することは、生成された表現を定期的に更新すること、及びパラメータのセットのうちの１つ以上の変化を示す１つ以上のセンサ３０１の動作に応答して、生成された表現を更新することを含む。実施形態において、生成され更新された表示は、電子ユーザ装置１０５に送信されて、グラフィカルディスプレイ２０１に表示される。
【0134】
本開示の実施形態は、電子ユーザ装置でロボットを制御する際に使用するための方法、装置、及びコンピュータプログラムを含む。図８に示すように、ロボット１０３と電子ユーザ装置１０５との間でデータ通信が行われる。
【0135】
ステップ８０１において、電子ユーザ装置１０５のトランシーバ２０９は、ロボット１０３のトランシーバ３０９から、ロボット１０３の環境１０９を表すデータを受信する。受信したデータは、ロボット１０３の環境１０９における、ロボット１０３が位置する表面以外の少なくとも１つの表面を示す。
【0136】
ステップ８０２において、表現データの受信に応答して、ロボット１０３の環境１０９の表示が電子ユーザ装置１０５のグラフィカルディスプレイ２０１に表示される。
【0137】
ステップ８０３において、電子ユーザ装置１０５のユーザから、ロボット１０３の環境内の前記少なくとも１つの表面で実行されるべき所望の動作を示す入力が受け付けられる。
【0138】
ステップ８０５において、ユーザ入力の受信に応答して、制御データが、電子ユーザ装置１０５のトランシーバ２０９からロボット１０３のトランシーバ３０９に送信される。
【0139】
実施形態において、制御データは、ロボット１０３のトランシーバ３０９で受信され、ステップ８０６においてロボット１０３のプロセッサ３０７によって処理される。実施形態において、制御データは、環境１０９内の所望の位置へのロボット１０３の経路を制御する。実施形態において、制御データは、環境９内の所望の終了位置で構成され、ロボット１０３は、この位置への経路を決定する。
【0140】
実施形態において、制御データは、ロボット１０３に、ロボット１０３の環境１０９内の前記少なくとも１つの表面で所望の動作を実行させることが可能である。
【0141】
ステップ８０３において、電子ユーザ装置１０５のディスプレイを介してユーザ入力が受け付けられる。実施形態において、電子ユーザ装置１０５のユーザインターフェース２０３は、タッチスクリーンディスプレイ２０４を含み、ユーザ入力は、ユーザがタッチスクリーンディスプレイを使用してロボット１０３を環境１０９内の表面に行かせることによって提供される。実施形態において、キーパッド又はキーボードが使用され、ユーザがロボット１０３に対する所望の動作を入力することを可能にする。
【0142】
実施形態において、電子ユーザ装置１０５のユーザインターフェース２０３は、マイクロフォン２０５を含み、ユーザ入力は、マイクロフォン２０５を介して受け付けられる。そのような実施形態において、ユーザ入力は、ロボット１０３の環境内の前記少なくとも１つの表面で実行されるべき所望の動作の音声指示を含む。
【0143】
ステップ８０７において、電子ユーザ装置１０５のトランシーバ２０９は、ロボット１０３のトランシーバ３０９から、ロボット１０３の環境１０９内の前記少なくとも表面上で所望の動作が実行されたことを確認する確認データを受信する。
【0144】
ステップ８０９において、確認データの受信に応答して、ロボット１０３の更新された環境１０９が電子ユーザ装置１０５のグラフィカルディスプレイ２０１に表示される。更新された環境１０９は、ロボット１０３の環境１０９内の前記少なくとも１つの表面で所望の動作が実行されたことを示す。
【0145】
ステップ８１１において、電子ユーザ装置１０５のトランシーバ２０９は、ロボット１０３から、ロボット１０３の環境１０９内の所与の表面に対する識別子を提供するようユーザに要求するリクエストを受信する。実施形態において、ロボット１０３のセンサ３０１は、未知の表面を感知してもよく、これに応答して、前記表面に対する識別子をユーザが提供することを要求するリクエストを電子ユーザ装置１０５に送信してもよい。
【0146】
ステップ８１３において、電子ユーザ装置１０５は、電子ユーザ装置１０５のユーザから、ロボット１０３の環境内の所与の表面に対する所望の識別子を示す入力を受信してもよい。実施形態において、識別子は、ラベルであり、前記表面に固有であってもよく、又はオブジェクトを特定のグループ又はクラスに分類してもよい。例えば、識別子は、「カーペット」又は「タイル」などのグループラベルで前記表面をラベル付けしてもよく、又は「キッチンのカウンタートップ」などの特定のラベルでオブジェクトをラベル付けしてもよい。
【0147】
ステップ８１５において、電子ユーザ装置１０５のトランシーバ２０９は、応答データをロボット１０３に送信し、前記応答データは、前記所望の識別子を含む。
【0148】
実施形態において、前記所望の動作は、掃除動作を含む。実施形態において、前記掃除動作は、掃除機がけ、拭き掃除、モップがけ、整頓及び埃取りのうちの１つ以上を含む。
【0149】
本開示の実施形態において、ロボット１０３及び電子ユーザ装置１０５は、処理システム（それぞれ３０７、２０７）を備える。各処理システムは、１つ以上のプロセッサ及び／又はメモリを備えてもよい。本明細書に記載された実施例のいずれかに関連して説明される各装置、部材、又は機能、例えば電子ユーザ装置１０５のグラフィカルディスプレイ２０１又はマイクロフォン２０５は、同様にプロセッサを備えていてもよく、又はプロセッサを含む装置に含まれてもよい。本明細書で説明される実施形態の１つ以上の態様は、装置によって実行される処理を含む。いくつかの例では、前記装置は、これらの処理を実行するように構成された１つ以上のプロセッサを備える。この点において、実施形態は、（非一時的な）メモリに格納されて、プロセッサ、ハードウェア又は有形に格納されたソフトウェアとハードウェアの組み合わせ（及び有形に格納されたファームウェア）によって実施されるコンピュータソフトウェアよって少なくとも部分的に実施されてもよい。実施形態はまた、上述した実施形態を実践するために適合されたコンピュータプログラム、特にキャリア上又はキャリア内のコンピュータプログラムにも及ぶ。前記プログラムは、非一時的なソースコード、オブジェクトコード、又は実施形態に係るプロセス実施の際の使用に適した他の任意の非一時的な形態であってよい。前記キャリアは、RAM、ROM又は光メモリ装置などの、プログラムを保持することができる任意の実体又は装置であってもよい。
【0150】
処理システム３０７、２０７の前記１つ以上のプロセッサは、中央処理装置（CPU）を含んでもよい。前記１つ以上のプロセッサは、グラフィックス処理ユニット（GPU）を含んでもよい。前記１つ以上のプロセッサは、フィールドプログラマブルゲートアレイ（FPGA）、プログラマブルロジックデバイス（PLD）、又はコンプレックスプログラマブルロジックデバイス（CPLD）のうちの１つ以上を含んでもよい。前記１つ以上のプロセッサは、特定用途向け集積回路（ASIC）を含んでもよい。提供された例に加えて多くの他のタイプの装置が、前記１つ以上のプロセッサを提供するために使用されてもよいことが、当業者には理解されるであろう。前記１つ以上のプロセッサは、複数の併置されたプロセッサ又は複数の離間して配置されたプロセッサを含んでもよい。前記１つ以上のプロセッサによって実行される動作は、ハードウェア、ファームウェア及びソフトウェアのうちの１つ以上によって実行されてもよい。
【0151】
実施形態において、ロボット１０３、電子ユーザ装置１０５、及びプロセッサシステム３０７、２０７は、データストレージ（又は「メモリ」、又は「データ記憶モジュール３１２」）を含む。データストレージは、揮発性メモリ及び不揮発性メモリのうちの１つ又は両方を含んでもよい。データストレージは、ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、磁気ディスク若しくは光ディスク及びディスクドライブ、又はソリッドステートドライブ（SSD）のうちの１つ以上を含んでもよい。提供された例に加えて、多くの他のタイプのメモリが、撮影されたビデオを格納するために使用されてもよいことが、当業者には理解されよう。処理システムは、記載されたものよりも多い、少ない、及び／又は記載されたものとは異なる部材を含んでもよいことが、当業者には理解されよう。
【0152】
本明細書に記載された技術は、ソフトウェア又はハードウェアにおいて実装されてもよく、又はソフトウェア及びハードウェアの組合せを用いて実装されてもよい。それらは、本明細書に記載された技術のいずれか又は全てを実施及び／又はサポートするように装置を構成することを含んでもよい。図面を参照して本明細書に記載された実施例の少なくともいくつかの態様は、処理システム又はプロセッサにおいて実行されるコンピュータプロセスを含むが、本明細書に記載された実施例はまた、実施例を実行するために適合されたコンピュータプログラム、例えばキャリア上又はキャリア内のコンピュータプログラムにも及ぶものである。前記キャリアは、プログラムを保持することができる任意の実体又は装置であってよい。前記キャリアは、コンピュータ可読記憶媒体を含んでもよい。有形のコンピュータ可読記憶媒体の例には、光媒体（例えば、CD-ROM、DVD-ROM又はブルーレイ）、フラッシュメモリカード、フロッピー若しくはハードディスク、又は少なくとも一つのROM、RAM若しくはプログラマブルROM（PROM）チップにファームウェア若しくはマイクロコードなどのコンピュータ可読命令を記憶することができる他の任意の媒体が含まれるが、これらに限定されない。
【0153】
前述の説明において、既知の、明白な、又は予見可能な等価物を有する整数又は要素が言及される場合、そのような等価物は、個別に記載されているかのように、本明細書に組み込まれる。本開示の真の範囲を決定するために特許請求の範囲を参照すべきであり、これはそのような等価物のいずれも包含すると解釈されるべきである。また、好ましい、有利な、便利である等と記載されている本開示の整数又は特徴は、任意であり、独立請求項の範囲を限定するものではないことが読者によって理解されるであろう。さらに、そのような任意の整数又は特徴は、本開示のいくつかの実施形態において有益である可能性がある一方で、他の実施形態においては望ましくないために存在しない可能性があることが理解されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
