(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-01
(45)【発行日】2023-12-11
(54)【発明の名称】状況認識のためのモバイル清掃ロボット人工知能
(51)【国際特許分類】
A47L 9/28 20060101AFI20231204BHJP
G05D 1/02 20200101ALI20231204BHJP
【ＦＩ】
A47L9/28 E
G05D1/02 J
【請求項の数】
27
【外国語出願】
(21)【出願番号】P 2022141348
(22)【出願日】2022-09-06
(62)【分割の表示】P 2018216426の分割
【原出願日】2018-11-19
(65)【公開番号】P2022173244
(43)【公開日】2022-11-18
【審査請求日】2022-09-28
(31)【優先権主張番号】15/863,591
(32)【優先日】2018-01-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】313013863
【氏名又は名称】アイロボット・コーポレーション
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100154922
【弁理士】
【氏名又は名称】崔 允辰
(72)【発明者】
【氏名】クリストファー・ヴイ・ジョーンズ
(72)【発明者】
【氏名】ゲイリー・エリス・ホール
(72)【発明者】
【氏名】スティーヴン・ジェイ・バロン
(72)【発明者】
【氏名】ブレント・ヒルド
(72)【発明者】
【氏名】ステファン・ジックラー
(72)【発明者】
【氏名】ジョン・シニゲン
【審査官】村山 達也
(56)【参考文献】
【文献】特開２００６－２０１８２９（ＪＰ，Ａ）
【文献】特開２０１３－２４８０６５（ＪＰ，Ａ）
【文献】特開２０１３－８５９５８（ＪＰ，Ａ）
【文献】特開２０１３－１２２００（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ４７Ｌ ９／２８
Ｇ０５Ｄ １／０２
(57)【特許請求の範囲】
【請求項1】
モバイル清掃ロボットであって、フロア表面を清掃するように構成された清掃ヘッドと、
環境についての情報を取得するように構成された1つまたは複数のセンサであって、前記環境からのオーディオ信号をキャプチャするように構成されたマイクロフォンを含む1つまたは複数のセンサと、
制御モジュールであって、
個人からの可聴コマンドに応答して、前記環境の少なくとも1つの部分を通って前記個人について行くように前記モバイル清掃ロボットを制御することであって、前記可聴コマンドは前記マイクロフォンによってキャプチャされる、ことと、
前記環境を通って前記個人について行く間に前記1つまたは複数のセンサによって取得された情報に少なくとも部分的に基づいて、前記環境のマップを生成することと
を行うように構成された制御モジュールと、
生成された前記環境の前記マップを記憶するように構成されたストレージデバイスと
を含み、
前記1つまたは複数のセンサは、
前記フロア表面上の前記環境の領域を含む画像をキャプチャするように構成された少なくとも1つのカメラ
を含み、
前記制御モジュールは、
前記環境の前記少なくとも1つの部分を通って前記個人について行くように前記モバイル清掃ロボットを制御することに続いて、前記環境内の1つまたは複数の部屋に戻って前記画像をキャプチャするように前記モバイル清掃ロボットを制御すること
を行うようにさらに構成される、モバイル清掃ロボット。
【請求項2】
前記環境のマップを生成することは、前記環境内の1つまたは複数の部屋にラベル付けすること
を含む、請求項1に記載のモバイル清掃ロボット。
【請求項3】
前記制御モジュールは、前記個人からの可聴信号に基づいて、前記環境内の1つまたは複数の部屋の各々に対するラベルを決定することであって、前記可聴信号は前記マイクロフォンによってキャプチャされる、こと
を行うように構成される、請求項2に記載のモバイル清掃ロボット。
【請求項4】
前記少なくとも1つのカメラは、前記モバイル清掃ロボットが前記環境の前記少なくとも1つの部分を通って前記個人について行くときに前記画像をキャプチャするように構成される、請求項1に記載のモバイル清掃ロボット。
【請求項5】
前記少なくとも1つのカメラによってキャプチャされた前記画像に基づいて、前記環境内の1つまたは複数のオブジェクトの各々のタイプを決定するように構成された認識モジュールを含む、請求項1に記載のモバイル清掃ロボット。
【請求項6】
前記認識モジュールは、前記1つまたは複数のオブジェクトの各々が位置する部屋のタイプに少なくとも部分的に基づいて、前記環境内の前記1つまたは複数のオブジェクトの各々の前記タイプを決定するように構成される、請求項5に記載のモバイル清掃ロボット。
【請求項7】
キャプチャされた前記画像は、前記環境内の特定のオブジェクトの画像を含み、前記少なくとも1つのカメラは、前記特定のオブジェクトに対する前記個人のジェスチャーに応答して、前記画像をキャプチャするように構成される、請求項1に記載のモバイル清掃ロボット。
【請求項8】
前記環境のマップを生成することは、前記特定のオブジェクトのタイプにラベル付けすることであって、前記特定のオブジェクトの前記タイプは前記個人からの可聴信号に基づいて決定され、前記可聴信号は前記マイクロフォンによってキャプチャされる、こと
を含む、請求項7に記載のモバイル清掃ロボット。
【請求項9】
キャプチャされた前記画像は、前記環境内の特定のオブジェクトの画像を含み、前記モバイル清掃ロボットの前記少なくとも1つのカメラは、前記個人がモバイルコンピューティングデバイスのカメラを前記特定のオブジェクトに向けたことに応答して、前記画像をキャプチャするように構成される、請求項1に記載のモバイル清掃ロボット。
【請求項10】
前記制御モジュールは、モバイルコンピューティングデバイスと通信して、前記モバイルコンピューティングデバイスに、前記環境のガイドツアーを要求するメッセージを表示させること
を行うように構成される、請求項1に記載のモバイル清掃ロボット。
【請求項11】
モバイル清掃ロボットによって実施される方法であって、前記モバイル清掃ロボットのマイクロフォンにより、個人からの可聴コマンドをキャプチャするステップと、
前記可聴コマンドをキャプチャしたことに応答して、環境の少なくとも１つの部分を通って前記個人について行くステップと、
前記モバイル清掃ロボットの1つまたは複数のセンサにより、前記環境についての情報を取得するステップであって、前記1つまたは複数のセンサは前記マイクロフォンを含む、ステップと、
前記環境を通って前記個人について行く間に前記1つまたは複数のセンサによって取得された情報に少なくとも部分的に基づいて、前記環境のマップを生成するステップと
を含み、
前記環境についての情報を取得する前記ステップは、
1つまたは複数のカメラにより、フロア表面上の前記環境の領域を含む画像をキャプチャするステップ
を含み、
前記方法は、
環境の少なくとも1つの部分を通って前記個人について行く前記ステップに続いて、前記環境内の1つまたは複数の部屋に戻って前記画像をキャプチャするステップ
をさらに含む、方法。
【請求項12】
前記環境のマップを生成する前記ステップは、前記環境内の1つまたは複数の部屋にラベル付けするステップ
を含む、請求項11に記載の方法。
【請求項13】
前記環境内の1つまたは複数の部屋にラベル付けする前記ステップは、前記個人からの可聴信号に基づいて、前記1つまたは複数の部屋にラベル付けするステップであって、前記可聴信号は前記モバイル清掃ロボットの前記マイクロフォンによってキャプチャされる、ステップ
を含む、請求項12に記載の方法。
【請求項14】
前記環境の前記少なくとも1つの部分を通って前記個人について行く間に前記画像をキャプチャするステップを含む、請求項11に記載の方法。
【請求項15】
前記画像をキャプチャする前に、前記個人が特定のオブジェクトに対してジェスチャーを行っていることを認識するステップを含む、請求項11に記載の方法。
【請求項16】
前記画像をキャプチャする前に、前記個人がモバイルコンピューティングデバイスのカメラを特定のオブジェクトに向けていると判定するステップを含む、請求項11に記載の方法。
【請求項17】
前記環境のマップを生成する前記ステップは、前記環境内の1つまたは複数のオブジェクトの各々のタイプを決定するステップ
を含む、請求項11に記載の方法。
【請求項18】
前記1つまたは複数のセンサによって取得された画像に基づいて、前記1つまたは複数のオブジェクトの各々の前記タイプを決定するステップを含む、請求項17に記載の方法。
【請求項19】
前記1つまたは複数のオブジェクトの各々が位置する部屋のタイプに少なくとも部分的に基づいて、前記1つまたは複数のオブジェクトの各々の前記タイプを決定するステップを含む、請求項17に記載の方法。
【請求項20】
前記環境内の1つまたは複数のオブジェクトの各々のタイプを決定する前記ステップは、前記個人からの可聴信号に基づいて、前記環境内の前記1つまたは複数のオブジェクトの各々の前記タイプを決定するステップであって、前記可聴信号は前記モバイル清掃ロボットの前記マイクロフォンによってキャプチャされる、ステップ
を含む、請求項17に記載の方法。
【請求項21】
モバイルコンピューティングデバイスと通信して、前記モバイルコンピューティングデバイスに、前記環境のガイドツアーを要求するメッセージを表示させるステップを含む、請求項11に記載の方法。
【請求項22】
モバイル清掃ロボットであって、フロア表面を清掃するように構成された清掃ヘッドと、
環境についての情報を取得するように構成された1つまたは複数のセンサと、
制御モジュールであって、
個人からのコマンドに応答して、前記環境の少なくとも1つの部分を通って前記個人について行くように前記モバイル清掃ロボットを制御することであって、前記コマンドは前記センサのうちの1つまたは複数によってキャプチャされる、ことと、
前記環境を通って前記個人について行く間に前記1つまたは複数のセンサによって取得された情報に少なくとも部分的に基づいて、前記環境のマップを生成することと
を行うように構成された制御モジュールと、
生成された前記環境の前記マップを記憶するように構成されたストレージデバイスと
を含み、
前記1つまたは複数のセンサは、
前記フロア表面上の前記環境の領域を含む画像をキャプチャするように構成された少なくとも1つのカメラ
を含み、
前記制御モジュールは、
前記環境の前記少なくとも1つの部分を通って前記個人について行くように前記モバイル清掃ロボットを制御することに続いて、前記環境の領域に戻って前記画像をキャプチャするように前記モバイル清掃ロボットを制御すること
を行うようにさらに構成される、モバイル清掃ロボット。
【請求項23】
前記環境のマップを生成することは、前記個人からの可聴信号に基づいて、前記環境内の1つまたは複数の部屋の各々に対するラベルを決定することであって、前記可聴信号は前記センサのうちの1つまたは複数によってキャプチャされる、ことと、
前記マップ内の前記1つまたは複数の部屋にラベル付けすることと
を含む、請求項22に記載のモバイル清掃ロボット。
【請求項24】
前記少なくとも1つのカメラは、前記モバイル清掃ロボットが前記環境の前記少なくとも1つの部分を通って前記個人について行くときに前記画像をキャプチャするように構成される、請求項22に記載のモバイル清掃ロボット。
【請求項25】
前記少なくとも1つのカメラによってキャプチャされた前記画像に基づいて、前記環境内の1つまたは複数のオブジェクトの各々のタイプを決定するように構成された認識モジュールを含む、請求項22に記載のモバイル清掃ロボット。
【請求項26】
キャプチャされた前記画像は、前記環境内の特定のオブジェクトの画像を含み、前記少なくとも1つのカメラは、前記特定のオブジェクトに対する前記個人のジェスチャーに応答して、前記画像をキャプチャするように構成される、請求項22に記載のモバイル清掃ロボット。
【請求項27】
キャプチャされた前記画像は、前記環境内の特定のオブジェクトの画像を含み、前記モバイル清掃ロボットの前記少なくとも1つのカメラは、前記個人がモバイルコンピューティングデバイスのカメラを前記特定のオブジェクトに向けたことに応答して、前記画像をキャプチャするように構成される、請求項22に記載のモバイル清掃ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、状況認識のための人工知能を有するモバイル清掃ロボットに関する。
【背景技術】
【0002】
多くの住宅環境は、住宅中で自律的にナビゲートし、コントローラに接続されたメモリに記憶されたプログラムを使用して、定められたエリア内で清掃動作を実行するモバイルロボットを含む。清掃ロボットは、ユーザが住宅であちこち清掃ロボットを手動で動かす必要なしに、住宅を清掃することができる。清掃ロボットは、手動入力デバイス、たとえば、ユーザが住宅内で自律的清掃動作を開始するために押すボタンを含むことができる。清掃ロボットは、清掃ロボットが移動したエリアのマップを確立する。ロボットが部屋のフロアエリアの大半をカバーしたとロボットが判断した後、ロボットは、再充電するために充電ステーションに戻り、次のスケジュールされた清掃セッションを待つ。
【先行技術文献】
【特許文献】
【0003】
【文献】米国出願第15/614,844号
【非特許文献】
【0004】
【文献】Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi，You Only Look Once: Unified, Real-Time Object Detection
【文献】Joseph Redmon, Ali Farhadi，YOLO9000: Better, Faster, Stronger
【発明の概要】
【課題を解決するための手段】
【0005】
一般態様では、本明細書は、モバイルロボットがその周囲を認識し、その周囲の特性を考慮してタスクを実行することを可能にするためのシステムを特記する。状況認識のための人工知能を有するモバイル清掃ロボットが提供される。ロボットは、環境内のフロア表面を清掃するように構成された清掃ヘッドと、フロア表面上に広がる視野を有する少なくとも1つのカメラとを有する。少なくとも1つのカメラは、フロア表面上の環境の部分を含む画像をキャプチャするように構成される。ロボットは、少なくとも1つのカメラによってキャプチャされた画像に基づいて環境内のオブジェクトを認識するように構成された認識モジュールを含み、認識モジュールは、少なくとも1つのカメラによってキャプチャされた画像を少なくとも部分的に使用してトレーニングされる。ロボットは、環境のマップを記憶するように構成されたストレージデバイスと、マップを使用して環境内でナビゲートするようにモバイル清掃ロボットを制御し、認識モジュールによって認識されたオブジェクトを考慮して清掃タスクを実行するように清掃ヘッドを動作させるように構成された制御モジュールとを含む。
【0006】
モバイル清掃ロボットの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。認識モジュールは、少なくとも1つのカメラによってキャプチャされた画像を少なくとも部分的に使用してトレーニングされるニューラルネットワークを含むことができる。
【0007】
ニューラルネットワークは、最初の時間にモバイル清掃ロボットが環境の画像をキャプチャし始める前に、オブジェクトの所定のグループに属するオブジェクトを認識するように事前にトレーニングされ得る。認識モジュールは、少なくとも1つのカメラによってキャプチャされた環境の画像を使用してニューラルネットワークを更新するように構成されてよく、更新されたニューラルネットワークは、事前にトレーニングされたニューラルネットワークよりも正確に環境内のオブジェクトを認識するように構成されてよい。
【0008】
制御モジュールは、認識モジュールが特定のオブジェクトを認識したことに応答して、特定の清掃モードを実行するように構成されてよく、清掃モードは、念入り清掃モードまたはノータッチ清掃モードのうちの少なくとも1つを含む。
【0009】
認識モジュールは、環境内のロボットの動きに対する障壁である複数のオブジェクトの各々に関して、ある時間期間にわたってキャプチャされたオブジェクトの画像に基づいて、オブジェクトがまれに動く半永久的障壁であるか、または頻繁に動く非永久的障壁であるか分類するように構成され得る。制御モジュールは、認識モジュールによって認識されたオブジェクトの各々が半永久的障壁であるか、または非永久的障壁であるかを考慮して、清掃タスクを実行するように清掃ヘッドを動作させるように構成され得る。
【0010】
制御モジュールは、複数のロケーションについての情報を記憶するようにマップを更新することができ、各ロケーションに関して、マップは、(i)ロケーションに半永久的障壁があるか、(ii)ロケーションに非永久的障壁があるか、または(iii)非永久的障壁がロケーションにどのくらいの頻度で現れるかのうちの少なくとも1つについての情報を記憶することができる。
【0011】
ストレージデバイスは、非永久的障壁のうちの少なくともいくつかの各々に関して、非永久的障壁に遭遇したときにモバイル清掃ロボットがどのように応答すべきかに関するユーザ選好についての情報を記憶することができる。
【0012】
制御モジュールは、ロケーションにおいて非永久的障壁に遭遇し、非永久的障壁に遭遇したときにモバイル清掃ロボットがどのように応答すべきかに関するユーザ選好についての情報をストレージデバイスが有しないと判断すると、非永久的障壁が存在することに対してどのように応答すべきかに関する指示を要求する通知をユーザに送るように構成され得る。
【0013】
通知は、(i)ロボットが他のロケーションに行き、事前に設定された時間量の後にロケーションに戻るオプション、(ii)次の清掃セッションでロケーションにおいて拡張清掃タスクを実行するオプション、(iii)非永久的障壁を動かすオプション、または(iv)ロケーションもしくはロケーションを包含する領域に対してノータッチモードを選択するオプションであって、ノータッチモードは、ロケーションもしくはロケーションを包含する領域において地上のオブジェクトに衝突しないようにロボットが制御されることを示す、オプションのうちの少なくとも1つを含む複数のユーザ選択可能なオプションを含むことができる。
【0014】
モバイル清掃ロボットは、衝突センサを含むことができ、認識モジュールは、衝突センサによって提供された情報にも基づいて、環境内のオブジェクトを認識するように構成される。
【0015】
認識モジュールは、環境内の1人または複数の個人の存在を認識するように構成されてよく、制御モジュールは、環境内でナビゲートするようにモバイル清掃ロボットを制御し、1人または複数の個人の存在も考慮して清掃タスクを実行するように構成されてよい。
【0016】
制御モジュールは、(i)部屋のドアが閉まっていること、および以前の清掃セッション以降に環境内で個人の存在が検出されていないことを検出すると、次の清掃セッションまで部屋の清掃を省略すること、または(ii)第1の時点で部屋のドアが閉まっていること、および第1の時点以降に環境内で1人もしくは複数の個人の存在が検出されていることを検出すると、戻って、第1の時点の後の時間期間である第2の時点に部屋のドアが開いているかどうかをチェックし、ドアが開いていると判断すると、部屋の中で清掃タスクを実行することのうちの少なくとも1つを実行するように構成され得る。
【0017】
認識モジュールは、環境内のドアを認識するように構成されてよく、制御モジュールは、モバイル清掃ロボットが遭遇したドアの各々の開状態または閉状態に基づいて清掃タスクをスケジュールするように構成され得る。
【0018】
制御モジュールは、ドアが閉まっていることを認識すると、他のエリアにおいて清掃タスクを実行するために他のエリアにナビゲートするようにモバイル清掃ロボットを制御するように構成され得る。ある時間期間の後、戻って、ドアが開いているかどうかをチェックし、ドアが開いていると判断すると、ドアに関連する戸口の向こう側のエリアに入り、戸口の向こう側のエリア内で清掃タスクを実行する。
【0019】
制御モジュールは、ドアが閉まっていることを認識すると、(i)ドアを開けることの支援を要求するメッセージを送ること、または(ii)ドアが閉まっていたのでドアの向こう側のエリアが清掃されなかったことを示すメッセージを送ることのうちの少なくとも1つを実行するように構成され得る。
【0020】
制御モジュールは、ドアが開いていることを認識すると、ドアの付近でナビゲートするときにドアに衝突するのを回避するためにドアからの距離を維持するように構成され得る。
【0021】
モバイル清掃ロボットは、ある時間期間にわたって少なくとも1つのカメラによってキャプチャされた画像に基づいて環境内の往来パターンを決定するように構成された学習モジュールを含むことができる。
【0022】
制御モジュールは、エリアにおける往来パターンを考慮してエリアにおいて実行される清掃タスクをスケジュールするように構成され得る。
【0023】
制御モジュールは、他の時間期間と比較してエリアにおける往来が少ない時間期間中にエリアにおいて実行される清掃タスクをスケジュールするように構成され得る。
【0024】
制御モジュールは、往来が少ない第2のエリアと比較して往来が多い第1のエリアにおいてより徹底的な清掃タスクを実行するように清掃ヘッドを動作させるように構成され得る。
【0025】
認識モジュールは、ペットの所定のグループに属するペットを認識するように構成され得る。制御モジュールは、ペットが第1のロケーションに位置することを認識すると、ペットからの距離を維持し、第1のロケーションから離れた第2のロケーションにナビゲートし、第2のロケーションにおいて清掃タスクを実行するように構成され得る。ある時間期間の後、ペットが第1のロケーションから出ているかどうかをチェックし、ペットが第1のロケーションから出ていると判断すると、第1のロケーションまたは第1のロケーションの付近で清掃タスクを実行するように清掃ヘッドを動作させる。
【0026】
別の一般態様では、状況認識を有するモバイル清掃ロボットが提供される。ロボットは、環境についての情報を取得するように構成された少なくとも1つのセンサと、少なくとも1つのセンサによって提供された情報に基づいて環境内のオブジェクトを認識するように構成された認識モジュールとを含む。ロボットは、環境のマップを記憶するように構成されたストレージデバイスを含む。ロボットは、位置が経時的に変動するオブジェクトを識別することと、オブジェクトのうちの少なくともいくつかの時間変動特性についての情報に基づいて、環境内の清掃タスクのスケジュールを決定することと、マップを使用して環境内でナビゲートし、スケジュールに従って清掃タスクを実行するようにモバイル清掃ロボットを制御することとを行うように構成された制御モジュールを含む。
【0027】
モバイル清掃ロボットの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。少なくとも1つのセンサは、環境の画像をキャプチャするように構成された少なくとも1つのカメラを含むことができ、認識モジュールは、少なくとも1つのカメラによってキャプチャされた環境の画像に基づいてオブジェクトを認識するように構成され得る。
【0028】
認識モジュールは、環境内のオブジェクトの複数の画像を使用してトレーニングされるニューラルネットワークを含むことができる。モバイルロボットは、清掃タスクを実行するプロセスにおいてモバイルロボットが環境内で移動する中でオブジェクトの画像をキャプチャすることができ、ニューラルネットワークは、新たにキャプチャされた画像を使用して更新され得る。
【0029】
認識モジュールは、オブジェクトの所定のグループに属するオブジェクトを認識するように事前にトレーニングされるニューラルネットワークを含むことができ、モバイル清掃ロボットは、清掃タスクを実行するプロセスにおいてモバイルロボットが環境内で移動する中でオブジェクトの画像をキャプチャすることができ、ニューラルネットワークは、新たにキャプチャされた画像を使用して更新されてよく、更新されたニューラルネットワークは、事前にトレーニングされたニューラルネットワークよりも正確に環境内のオブジェクトを認識するように構成され得る。
【0030】
認識モジュールは、環境内のドアを認識するように構成されてよく、制御モジュールは、ドアの各々の開状態または閉状態に基づいて清掃タスクのスケジュールを決定するように構成され得る。
【0031】
制御モジュールは、ドアが閉まっていることを認識すると、他のエリアにおいて清掃タスクを実行するために他のエリアにナビゲートし、ある時間期間の後、戻って、ドアが開いているかどうかをチェックし、ドアが開いていると判断すると、ドアに関連する戸口の向こう側のエリアに入り、戸口の向こう側のエリア内で清掃タスクを実行するように構成され得る。
【0032】
制御モジュールは、ドアが閉まっていることを認識すると、(i)ドアを開けることの支援を要求するメッセージ、または(ii)ドアが閉まっていたのでドアの向こう側の部屋が清掃されなかったことを示すメッセージのうちの少なくとも1つを送るように構成され得る。
【0033】
制御モジュールは、ドアが開いていることを認識すると、ドアの付近でナビゲートするときにドアに衝突するのを回避するためにドアからの距離を維持するように構成され得る。
【0034】
マップは、複数の位置の各々に関する、オブジェクトが位置にある可能性についての統計情報を含む、環境内のオブジェクトの時間変動特性についての情報を含むことができる。
【0035】
少なくとも1つのセンサは、環境の画像をキャプチャするように構成された少なくとも1つのカメラを含むことができ、認識モジュールは、少なくとも1つのカメラによって提供された情報に基づいて環境内の様々なエリアを認識し、異なる特性を有する少なくとも2つの異なるエリアに対して、異なるエリアの異なる特性に基づいて別様に清掃タスクを実行するように構成され得る。
【0036】
認識モジュールは、ロボットがダイニングルームに位置するか、キッチンに位置するか、ベッドルームに位置するか、またはバスルームに位置するかを、少なくとも1つのセンサによって提供された情報に基づいて判断し、ダイニングルーム、キッチン、ベッドルーム、またはバスルームのためにそれぞれ設計された清掃タスクを実行するように構成され得る。
【0037】
モバイル清掃ロボットは、清掃されている部屋のタイプに基づいて清掃タスクを適応的に実行するように構成されてよく、少なくとも2つの異なるタイプの部屋に関して、清掃タスクは、(i)異なる清掃強度レベル、(ii)異なる清掃パターン、(iii)単位フロアエリア当たりの異なる清掃持続時間、または(iv)異なる清掃ヘッドの使用のうちの少なくとも1つを有し得る。
【0038】
認識モジュールは、ダイニングテーブルまたはダイニングチェアのうちの少なくとも1つを、少なくとも1つのセンサによって提供された情報に基づいて認識し、制御モジュールは、ダイニングテーブルまたはダイニングチェアのうちの少なくとも1つの付近のエリアをテレビの付近のエリアよりも徹底的に清掃するようにモバイル清掃ロボットを制御するように構成され得る。
【0039】
別の一般態様では、モバイル清掃ロボットが提供される。ロボットは、環境の少なくとも1つのパラメータを感知するように構成された少なくとも1つのセンサと、環境のマップを記憶するストレージデバイスとを含む。ロボットは、少なくとも1つのセンサによって提供された情報に少なくとも部分的に基づいて、環境が経時的にどのように変化するかについての情報を含む環境のモデルを確立するように構成された学習モジュールを含む。ロボットは、マップに基づいて環境をナビゲートするようにモバイル清掃ロボットを制御し、環境のモデルに基づいて環境内で清掃タスクを実行するように構成された制御モジュールを含む。
【0040】
モバイル清掃ロボットの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。少なくとも1つのセンサは、環境の画像をキャプチャするように構成された少なくとも1つのカメラを含むことができ、学習モジュールは、少なくとも1つのカメラによってキャプチャされた環境の画像に基づいて環境のモデルを確立するように構成され得る。
【0041】
学習モジュールおよび制御モジュールは、1つまたは複数のデータプロセッサに学習モジュールおよび制御モジュールの機能を実施させるようにプロセッサ実行可能コードを実行する1つまたは複数のデータプロセッサを共有することができる。
【0042】
モバイル清掃ロボットは、環境についての情報を収集する環境内の少なくとも1つの他のデバイスと通信するように構成された通信モジュールを含むことができ、学習モジュールは、少なくとも1つの他のデバイスから提供された情報にも基づいて環境のモデルを確立するように構成され得る。
【0043】
少なくとも1つの他のデバイスは、環境に存在する1人または複数のユーザによってオーディオメディアデバイスがいつアクセスされるかについての情報を有するオーディオメディアデバイス、環境内の表面から反射されたワイヤレス信号のシグナチャに基づく環境に存在する1人または複数の個人についての情報を有するワイヤレスデバイス、時間および日の様々な期間における環境の温度についての情報を有するスマートサーモスタット、環境の画像をキャプチャすることができるロボットから離れて位置するカメラ、または照明器具がいつオンにされるかについての情報を有するスマート照明器具のうちの少なくとも1つを含むことができる。
【0044】
学習モジュールは、1週間、1カ月間、または1年間のうちの少なくとも1つの期間に少なくとも1つのセンサによって提供された情報に少なくとも部分的に基づいて環境のモデルを確立するように構成され得る。
【0045】
別の一般態様では、モバイル清掃ロボットが提供される。モバイル清掃ロボットは、環境のマップを記憶するように構成されたストレージデバイスと、清掃ヘッドと、環境内のイベントのカレンダーを有する外部コンピュータと通信するように構成されたワイヤレス通信モジュールとを含む。モバイル清掃ロボットは、ワイヤレス通信モジュールを使用してコンピュータと通信し、カレンダーにアクセスして、環境内の往来に影響を与えるイベントを識別することと、環境内の往来に影響を与えるイベントのタイミングを考慮して環境内の清掃タスクのスケジュールを決定することと、マップを使用して環境内でナビゲートし、スケジュールに従って清掃タスクを実行するようにモバイル清掃ロボットを制御することとを行うように構成された制御モジュールを含む。
【0046】
モバイル清掃ロボットの実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。制御モジュールは、カレンダーを分析し、パーティまたは集いが特定の日の特定の時間に開催される予定であると判断すると、パーティまたは集いの開始時間前に完了するように清掃タスクをスケジュールするように構成され得る。
【0047】
別の一般態様では、モバイル清掃ロボットを動作させるための方法が提供される。本方法は、モバイル清掃ロボット上の1つまたは複数のカメラを使用して、フロア表面上の環境の部分を含む画像をキャプチャするステップと、認識モジュールを使用して、キャプチャされた画像に基づいて環境内のオブジェクトを認識するステップであって、認識モジュールは、以前キャプチャされた画像を少なくとも部分的に使用してトレーニングされる、ステップと、環境のマップを作成するステップと、マップを使用して環境内でナビゲートするようにモバイル清掃ロボットを制御し、認識モジュールによって認識されたオブジェクトを考慮して清掃タスクを実行するように清掃ヘッドを動作させるステップとを含む。
【0048】
本明細書の他の特徴および利点は、以下の説明から、また特許請求の範囲から明らかになろう。
【0049】
別途定義されない限り、本明細書で使用するすべての技術用語および科学用語は、本発明が属する当業者によって一般に理解される意味と同じ意味を有する。参照により本明細書に組み込まれる特許または特許出願との不一致があった場合、定義を含め、本明細書が支配する。
【図面の簡単な説明】
【0050】
【図1】モバイル清掃ロボットが人工知能状況認識を有することを可能にする例示的なシステムのブロック図である。
【図2】モバイル清掃ロボットが人工知能状況認識を有することを可能にする例示的なシステムのブロック図である。
【図5】部屋の中のオブジェクトを認識する例示的なモバイル清掃ロボットを示す図である。
【図6】部屋の中のオブジェクトを認識する例示的なモバイル清掃ロボットを示す図である。
【図7】モバイル清掃ロボットの例の概略下面図である。
【図8】モバイル清掃ロボットに搭載されたセンサの例の概略図である。
【図9】オブジェクトを認識するための例示的な畳み込みニューラルネットワークの図である。
【図10】オブジェクトを認識するための例示的な畳み込みニューラルネットワークの図である。
【図11】モバイル清掃ロボットがその環境を理解するのを支援することができる部屋の中のオブジェクトの例を示す図である。
【図12】モバイル清掃ロボットがその環境を理解するのを支援することができる部屋の中のオブジェクトの例を示す図である。
【図13】モバイル清掃ロボットによって確立されたフロアマップ上に情報がオーバーレイされる例の図である。
【図14】モバイル清掃ロボットがユーザカレンダー情報を考慮してタスクをスケジュールする例の図である。
【図15】モバイル清掃ロボット状況認識を可能にするためのプロセスの流れ図である。
【図16】オブジェクトを認識するための例示的な畳み込みニューラルネットワークの図である。
【発明を実施するための形態】
【0051】
本書では、モバイルロボットがその環境について学習し、環境が経時的にどのように変化するかについての理解を含む、環境についての理解に基づいてタスクを実行することを可能にするための新規のシステムについて説明する。たとえば、モバイル清掃ロボットは、毎日使用されるダイニングルームを清掃するときには、まれに使用されるゲストルームを清掃するときよりも徹底的に清掃タスクを実行し得る。モバイル清掃ロボットは、住宅所有者への妨害を減らすために住宅に誰もいない時間で清掃タスクをスケジュールし得る。モバイルロボットは、1つまたは複数のカメラなど、環境についての情報を感知する1つまたは複数のセンサを有し得る。機械学習モジュールは、モバイルロボットが、1つまたは複数のセンサによって提供された情報に基づいて、環境内のロボットの位置を認識することのほか、環境内のオブジェクトを認識することを可能にする。機械学習モジュールはまた、モバイルロボットがタスクをスケジュールするのを助けるために、モバイルロボットが家の様々な部分における往来などの環境内のパターン、ならびにドアおよびチェアなどのオブジェクトの位置の変化について学習することを可能にする。
【0052】
モバイルロボットは、その環境について様々な方法で学習することができる。いくつかの実装形態では、モバイルロボットは、環境の画像をキャプチャする1つまたは複数のカメラを有し、機械学習モジュールは、カメラによってキャプチャされた画像に基づいてオブジェクトを認識するニューラルネットワークを含む。モバイルロボットは、環境のマップを作成し、マップ上にオブジェクトを配置する。モバイルロボットが環境内でナビゲートする中、カメラは、様々な視野角および距離からオブジェクトの画像をキャプチャし続け、ニューラルネットワークは、新しい画像を使用して(バッチ学習または継続学習のいずれかを使用して)更新される。モバイルロボットが環境内でより多くの時間を費やすのに伴って、ニューラルネットワークは、環境内のオブジェクトのより多くの画像によりトレーニングされ、オブジェクトを認識する精度は経時的に向上する。
【0053】
いくつかの実装形態では、モバイルロボットによって確立されたマップは、ユーザがマップをリセットするための命令を送るまで維持される永続マップである。永続マップを使用することによって、ロボットが連続的な清掃セッションにおいて学習した情報が蓄積され、モバイルロボットがより知的にタスクを実行できるようになる。
【0054】
いくつかの実装形態では、モバイルロボットの所有者が、モバイルロボットによってキャプチャされた画像中のオブジェクトをラベル設定することを可能にするユーザインターフェースが提供される。ユーザインターフェースは、モバイルロボット上のディスプレイ、またはモバイルロボットとワイヤレス通信する別のデバイス(たとえば、モバイルフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、スマートグラス、スマートウォッチ)のディスプレイに提供される。ユーザインターフェースは、たとえば、ダイニングルーム、リビングルーム、ファミリールーム、勉強部屋、キッチン、マスターベッドルーム、1番目の子のベッドルーム、2番目の子のベッドルーム、マスターバスルーム、および共通バスルームの画像を示すことがあり、モバイルロボットの所有者は部屋を、たとえば、それぞれ「ダイニングルーム」、「リビングルーム」、「ファミリールーム」、「ホームオフィス」、「キッチン」、「マスターベッドルーム」、「アリスの部屋」、「ボブの部屋」、「マスターバスルーム」、および「共通バスルーム」としてラベル設定することができる。モバイルロボットは、所有者が提供したラベルを使用して、家の中の状況について住宅所有者と通信することができる。たとえば、モバイルロボットは、所有者のデバイス(たとえば、モバイルフォン)に「清掃セッションは11:30amに完了しました。マスターベッドルームおよびマスターバスルームを除き、部屋はすべて清掃されました。マスターベッドルームへのドアは閉まっていました。」などのメッセージを送ることができる。
【0055】
ユーザインターフェースは、家の中の様々な部屋を含む家のマップを示すことができ、部屋は、モバイルロボットの所有者からの入力に従ってラベル設定される。モバイルロボットの所有者は、ユーザインターフェースを通じて、いくつかの部屋の中でいくつかのタスクを実行するようモバイルロボットに命令することができる。たとえば、モバイル清掃ロボットの所有者は、パーティを3時間後に開始する予定であることがあり、「1時間以内にダイニングルーム、キッチン、およびリビングルームを清掃してください」などの命令を清掃ロボットに送ることができる。
【0056】
いくつかの実装形態では、新しいモバイルロボットが消費者に提供され、ロボットのニューラルネットワークはトレーニングされていない。モバイル清掃ロボットが家で最初に起動するときなど、モバイルロボットが新しい環境に持って来られたとき、モバイルロボットは最初に、家の中のオブジェクトを認識することができない。モバイルロボットは、清掃タスクを実行するために家の中でナビゲートし、家の中のオブジェクトの画像をキャプチャし、オブジェクトの画像に基づいてオブジェクトを認識するようにニューラルネットワークをトレーニングする。この例では、モバイルロボットは、オブジェクトが何であるかを知らずにオブジェクトを認識する。たとえば、モバイルロボットは、家の中に3つの部屋があり、第1の部屋が、動かない1つのオブジェクトおよび時々動く4つのオブジェクトを有し、第2の部屋が、動かない1つのオブジェクトを有し、第3の部屋が、動かない2つのオブジェクトおよび時々動く1つのオブジェクトを有することを認識し得る。ユーザインターフェースは、3つの部屋および部屋の中のオブジェクトをモバイルロボットの所有者に示すことができ、所有者は、部屋およびオブジェクトにラベルを追加することができる。
【0057】
たとえば、所有者は、第1の部屋を「ダイニングルーム」、非モバイルオブジェクトを「ダイニングテーブル」、そして可動オブジェクトを「ダイニングチェア」にラベル設定することができる。所有者は、第2の部屋を「キッチン」、そして非モバイルオブジェクトを「キッチンアイランド」にラベル設定することができる。所有者は、第3の部屋を「ベッドルーム」、2つの非モバイルオブジェクトを「ベッド」および「デスク」、そしてモバイルオブジェクトを「チェア」にラベル設定することができる。
【0058】
いくつかの実装形態では、新しいモバイルロボットが消費者に提供され、ロボットのニューラルネットワークは事前にトレーニングされている。たとえば、ニューラルネットワークは、ダイニングルーム、リビングルーム、キッチン、ベッドルーム、およびバスルームなど、家の中のいくつかのタイプの部屋を認識するように事前にトレーニングされ得る。ニューラルネットワークはまた、多くの住宅によく見られるドア、窓、デスク、テーブル、チェア、冷蔵庫、およびトイレなどのオブジェクトを認識するように事前にトレーニングされ得る。モバイル清掃ロボットが家で最初に起動するときなど、モバイルロボットが新しい環境に持って来られたとき、モバイルロボットは、たとえば、家の中のダイニングルーム、リビングルーム、キッチン、ベッドルーム、およびバスルーム、ならびに家の中のドア、窓、デスク、テーブル、チェア、冷蔵庫、およびトイレなど、基本的な部屋およびオブジェクトを認識する能力がすでに備わっている。
【0059】
モバイルロボットは、清掃タスクを実行するために家の中でナビゲートし、家の中のオブジェクトの画像をキャプチャし、家の中の特定の部屋およびオブジェクトを認識するためにニューラルネットワークを更新する。部屋およびオブジェクトの構成が家ごとに異なるので、家の中でキャプチャされた画像を使用してモバイルロボットのニューラルネットワークを更新できるようにすることで、モバイルロボットがより正確に家の中の特定の部屋およびオブジェクトを認識できるようになる。家は、モバイルロボットのニューラルネットワークが認識するようにトレーンイングされていないオブジェクトを有し得る。この場合、ユーザインターフェースは、オブジェクトの一般的アイコンを示し、モバイルロボットの所有者がそれらのオブジェクトをラベル設定するのを待つことができる。
【0060】
いくつかの実装形態では、モバイルロボットが新しい家の中で最初に起動するとき、モバイルロボットの所有者はロボットに対して、家のガイド付きツアーをする。たとえば、モバイルロボットは、音声認識能力を有するように構成されてよく、音声コマンドを聞くことができる。モバイルロボットは、メッセージ「家のツアーをしてください」を示すディスプレイを有し得る。たとえば、モバイルロボットは、所有者のスマートフォンと通信し、メッセージ「家のツアーをしてください」がスマートフォンのディスプレイに示されるようにすることができる。所有者は、「ついて来てください」と言うことができ、モバイルロボットは、所有者が家の様々な部屋を歩くときに所有者について行く。所有者はキッチンで止まり、「これはキッチンです」と言うことができる。モバイルロボットは、一般的なキッチンが、注目し得るいくつかの器具を有することを理解するように事前にプログラムされ得る。たとえば、キッチンは、開いているときにモバイルロボットの経路を遮断し得るドアを有する皿洗い機を有する可能性が高い。キッチンは、ほとんどの時間は閉まっているべき冷蔵庫を有する可能性が高い。キッチンはゴミ箱を有することがあり、周囲のエリアが追加清掃を必要とし得る。
【0061】
いくつかの実装形態では、モバイルロボットは、モバイルロボットの移動方向とは無関係な様々な方向に向けられ得るカメラを有し得る。所有者がキッチン中でモバイルロボットをガイドするのに伴って、ロボットは、環境を走査し、キッチンの画像をキャプチャし、たとえば、冷蔵庫、皿洗い機、戸棚、およびゴミ箱など、キッチンの中のオブジェクトを識別することを試みる。住宅所有者がキッチンを少し歩くことがあり、モバイルロボットは、キッチンの中のオブジェクトを識別するのに十分な時間がないことがある。モバイルロボットは、所有者について行く中でマップを生成し、マップ上にキッチンを配置する。ロボットが清掃セッション中など次回キッチンに戻ったとき、ロボットは、キッチンの中でナビゲートし、キッチンの中のオブジェクトの画像をキャプチャし、キャプチャされた画像に基づいてオブジェクトを認識するのにより多くの時間を費やすことができる。
【0062】
部屋がキッチンであるという情報に基づいて、モバイルロボットは、キッチンに現れる可能性が高いオブジェクトを認識するように、その認識モジュールにバイアスをかけることができる。たとえば、いくつかのキッチン用器具は、キッチンの装飾と合致するように構成される。冷蔵庫のドアは、クローゼットのドアの木製パネルと同様の外観を有する木製パネルを有し得る。モバイルロボットがキッチンの中の木製ドアパネルを見たとき、認識モジュールは、クローゼットのドアがキッチンに現れる可能性は低いことがわかり、木製ドアパネルを冷蔵庫に属するものとして認識する。モバイルロボットは、キッチンの中の様々なオブジェクトのロケーションについての情報に基づいて、キッチンの中の清掃タスクをスケジュールすることができる。たとえば、モバイルロボットは、ゴミ箱の近くまたは冷蔵庫の前のエリアを、往来の多いエリアなので清掃するのにより多くの時間を費やし得る。モバイルロボットは、住宅所有者を妨害するのを回避するために、平日の朝食および夕食の時間前または時間中にキッチンおよびダイニングルームを清掃するのを回避し、週末の朝食、昼食および夕食の時間前または時間中にキッチンおよびダイニングルームを清掃するのを回避することができる。キッチンに誰もいないときに冷蔵庫のドアが開いていることをモバイルロボットが検出したとき、モバイルロボットは、冷蔵庫のドアが開いていることを示す警告メッセージを住宅所有者のモバイルフォンに送り得る。
【0063】
モバイルロボットは、様々なタイプの部屋の特性を示す情報を有するように事前にプログラムされ得る。たとえば、モバイルロボットは、キッチンおよびダイニングルームが、リビングルームおよびホームライブラリと比較してより徹底的な清掃を必要とする往来の多いエリアであることを示す情報を有するように事前にプログラムされ得る。
【0064】
いくつかの実装形態では、所有者は、オブジェクトを指し、オブジェクトを識別することがある。たとえば、所有者は、ダイニングテーブルを指し、「これはダイニングテーブルです」と言うことがある。モバイルロボットは、手および腕によるジェスチャーを認識するように構成され得る。モバイルロボットは、所有者がオブジェクトを指していること、および所有者がオブジェクトを「ダイニングテーブル」としてラベル設定していることを理解するように構成される。モバイルロボットは、オブジェクトの周りを動き、異なる視野角および距離からオブジェクトの画像をキャプチャし、オブジェクトを認識するようにニューラルネットワークをトレーニングすることができる。この例では、所有者は、ダイニングテーブルなどのオブジェクトを識別するためにモバイルロボットのカメラによってキャプチャされたあらゆる画像をラベル設定する必要はない。所有者は、オブジェクトがダイニングテーブルであることをモバイルロボットに1回伝えるだけでよく、モバイルロボットは、異なる視野角および距離から、異なる照明条件下で撮られた後続の画像においてオブジェクトをダイニングテーブルとして自動的にラベル設定する。
【0065】
いくつかの実装形態では、所有者は、モバイルフォンまたはタブレットコンピュータなどのモバイルデバイスを使用して、オブジェクトを識別し、モバイルロボットと通信することができる。以下の例では、モバイルデバイスはモバイルフォンである。モバイルフォンは、モバイルロボットおよび環境の画像をキャプチャすることができる1つまたは複数のカメラを備えている。モバイルフォンは、座標系を確立し、座標系内の環境内のモバイルロボットの位置およびオブジェクトの位置を決定するアプリケーションプログラム(たとえば、拡張現実ツールキット)を実行する。
【0066】
所有者は、モバイルフォンのカメラをフロアに向け、システムは、x-y平面がフロア表面上にある座標系を確立する。所有者は、カメラをモバイルロボットに向け、システムは、モバイルロボットの位置および方向を決定する。所有者は、カメラをダイニングテーブルに向け、システムは、ダイニングテーブルの位置を決定する。モバイルフォンは、モバイルロボットの座標および方向、ならびにダイニングテーブルの座標をモバイルロボットに送る。これによりモバイルロボットは、モバイルロボットに対するダイニングテーブルの位置を決定することが可能になる。モバイルロボットがダイニングテーブルの近くにある場合、モバイルロボットは、それ自体のカメラを使用してダイニングテーブルの画像をキャプチャし、それらの画像中のオブジェクトを「ダイニングテーブル」としてラベル設定する。モバイルロボットは次いで、ラベル設定された画像を使用して、そのニューラルネットワークを、次回ロボットがダイニングルームにナビゲートするときにダイニングルームを認識することができるようにトレーニングする。
【0067】
たとえば、住宅建設会社が新築の家を販売するとき、建設会社は、新しい家のいくつかの部屋を認識するように事前にトレーニングされた住宅サービス提供モバイルロボットを販売するオプションを提供することができる。たとえば、モバイルロボットは、リビングルーム、キッチン、食料品室、ダイニングルーム、ファミリールーム、ホームオフィス、マスターベッドルーム、マスターバスルーム、第1のベッドルーム、第2のベッドルーム、および共通バスルームのロケーションがわかるように構成され得る。モバイルロボットは、キッチンの中の冷蔵庫、皿洗い機、戸棚、およびアイランドなど、新しい家にすでに設置されている器具および備品を認識するように構成され得る。モバイルロボットは、バスルーム内のトイレ、シャワー室、浴槽、および戸棚を認識するように構成され得る。モバイルロボットは、新しい家の中のドア、窓、および階段を認識するように構成され得る。モバイルロボットは、新しい家の中の照明器具を認識するように構成され得る。
【0068】
清掃または巡回タスクを実行するなど、家の中でサービスを実行する事前にトレーニングされたモバイルロボットを提供するコストは、新しい家のコストと比較して小さい。新しい家の中の部屋およびオブジェクトを認識するようにモバイルロボットを事前にトレーニングすることで、新しい住宅の所有者に多くの便宜をもたらし、新しい住宅の所有者がモバイルロボットのトレーニングに費やす必要がある時間量を減らすことができる。
【0069】
住宅所有者が家具および器具を新しい家に追加するのに伴って、モバイルロボットはそのニューラルネットワークを相応に更新することができる。たとえば、モバイル清掃ロボットの所有者は、家を毎朝1回清掃するようにロボットを構成し得る。モバイル清掃ロボットはダイニングルーム内で、前日そこになかった新しいオブジェクトを発見することがある。モバイル清掃ロボットは、新しいオブジェクトをダイニングテーブルおよびダイニングチェアとして認識し得る。モバイル清掃ロボットは、ダイニングテーブルおよびダイニングチェアを永続マップに追加し得る。ユーザインターフェースは、ダイニングテーブルを表すアイコンおよびダイニングチェアを表すアイコンをキッチンが有する家のマップを示すことができる。モバイル清掃ロボットが新しいオブジェクトを認識しない場合、未知のオブジェクトのアイコンがユーザインターフェース上に示されてよく、システムは、住宅所有者が新しいオブジェクトをラベル設定するのを待つ。
【0070】
いくつかの実装形態では、数年後に、住宅所有者が家を売却するとき、住宅所有者は、家についての情報を、家にサービス提供してきたモバイルロボットから、家の購入者に属する第2のモバイルロボットに転送することができる。モバイルロボットの製造業者は、モバイルロボットの所有者がニューラルネットワークの構成をローカルストレージ(たとえば、住宅所有者に属するハードディスクドライブ)またはクラウドストレージにアップロードすることを可能にする機能を提供することができる。たとえば、クラウドストレージは、住宅所有者が家に移る前または移った直後に、モバイルロボットのニューラルネットワーク構成のコピーを記憶することができる。住宅所有者は家の購入者に、家の購入者に属する第2のモバイルロボットにニューラルネットワーク構成をダウンロードする許可を与えることができる。このようにして、家の購入者は、事前にトレーニングされたモバイルロボットの利益を享受することもでき、モバイルロボットのトレーニングに多くの時間を費やす必要なしにモバイルロボットを使用し始めることができる。
【0071】
モバイルロボットは、新しいオブジェクトを検出したとき、または壁を動かすため、もしくは追加の部屋を含めるために家が改造されるときなど、住宅構成が変化したとき、永続マップを更新する。いくつかの実装形態では、住宅所有者は、永続マップのバックアップバージョンを、クラウドストレージなどのストレージに周期的に記憶することができる。住宅所有者は、永続マップのどのバージョンを維持または削除すべきかを判断することができる。住宅所有者が家を売却するとき、住宅所有者は、永続マップのどのバージンを家の購入者に転送すべきかを判定することができる。
【0072】
図1を参照すると、いくつかの実装形態では、知能モバイルロボットシステム100は、深層機械学習に基づいてオブジェクトを認識するように構成されたモバイルロボット102、およびユーザがモバイルロボット102と対話することを可能にするためのユーザインターフェースを提供するモバイルコンピューティングデバイス104を含む。モバイルコンピューティングデバイス104は、モバイルロボット102にコマンド106を送ることができ、モバイルロボット102は、モバイルコンピューティングデバイス104に通知メッセージ108を送ることができる。
【0073】
モバイルロボット102は、たとえば、モバイルロボット102の様々な構成要素を制御する制御モジュール110を含む。制御モジュール110は、制御モジュール110に様々な動作を実行させるための命令を実行することができる1つまたは複数のデータプロセッサを含む。制御モジュール110は、モバイルロボット102によって実行される(清掃タスクなどの)様々なタスクをスケジュールするためのタスクスケジューラ112を含む。タスクスケジューラ112は、部屋に人が少ないか、もしくはまったくいない時間期間中で部屋の中の清掃タスクをスケジュールするか、または住宅での重要なイベントの前に完了するように清掃タスクをスケジュールするなど、環境についての情報に基づいてタスクをスケジュールするように構成される。
【0074】
モバイルロボット102は、ナビゲーションに使用されるマップ116、および制御モジュール110の1つまたは複数のデータプロセッサによって実行され得るプログラム命令またはプログラムコードを記憶するストレージデバイス114を含む。マップ116は、たとえば、永続マップであり得る。モバイルロボット102は、モバイルロボット102がマップ116に基づいて環境内でナビゲートすることを可能にするナビゲーションモジュール118を含む。モバイルロボット102は、周囲の画像をキャプチャするように構成された1つまたは複数のカメラ120を含み、それによりモバイルロボット102は、画像中のオブジェクトを認識できるようになる。これは、モバイルロボット102がその周囲の理解に基づいてより知的にタスクを実行することを可能にする。
【0075】
モバイルロボット102は、環境内のシーンおよびオブジェクトを認識するように構成された認識モジュール122を含む。たとえば、認識モジュール122は、モバイルロボット102がキッチンにあるか、ベッドルームにあるかをモバイルロボット102が判断することを可能にする。いくつかの実装形態では、認識モジュール122は、住宅でよく見られるシーンおよびオブジェクトの画像を使用してトレーニングされるニューラルネットワーク124を含む。ニューラルネットワーク124は、たとえば、畳み込みニューラルネットワークであり得る。認識モジュール122は、オブジェクトの様々なカテゴリーを分類するようにトレーニングされた複数のニューラルネットワーク124を含むことができる。たとえば、第1のニューラルネットワークは、シーンを認識し、どの部屋にモバイルロボット102が位置するかを判断するようにトレーニングされてよく、第2のニューラルネットワークは、部屋の中のオブジェクトを認識するようにトレーニングされてよく、第3のニューラルネットワークは、個人およびペットを認識するようにトレーニングされてよい。
【0076】
モバイルロボット102は、住宅内の往来など、環境内のパターンについて学習するように構成された学習モジュール126を含む。たとえば、学習モジュール126は、経時的にいくつかのパラメータ値を記憶し、データ中のパターンを検出するために、記憶されたパラメータ値の統計的分析を実行するように構成され得る。学習モジュール126は、週の日ごとにその日の時間期間ごとに、マップ上の各格子点における人間存在のカウントを記憶する。記憶されたデータを分析することによって、学習モジュール126は、たとえば、週の所与の日における所与の時間に、マップ上のどの格子点で往来が多い、または往来が少ないかを判断することができる。学習モジュール126は、たとえば、家の中の所与の部屋に関して、どの時間期間に往来が少ない、またはまったくないかを判断することができる。
【0077】
モバイルロボット102がモバイル清掃ロボットである例では、モバイルロボット102が清掃タスクを実行することができるように、清掃ヘッド128が設けられる。モバイルロボット102は、衝突センサなどの追加のセンサ150を含むことができる。
【0078】
モバイルコンピューティングデバイス104は、たとえば、モバイルフォン、タブレットコンピュータ、またはスマートグラスなどのウェアラブルコンピューティングデバイスであり得る。モバイルコンピューティングデバイス104は、1つまたは複数のデータプロセッサ130および1つまたは複数のカメラ132を含む。各カメラ132は、可視光および随意に赤外光に反応する1つまたは複数の画像センサを含む。モバイルコンピューティングデバイス104は、デバイス104の動きおよび方向の検出を可能にする1つまたは複数の動きセンサ134を含む。
【0079】
モバイルコンピューティングデバイス104は、拡張現実ツールキットまたはモジュール140のためのプログラム命令およびモバイルロボット管理プログラム142のためのプログラム命令を記憶するストレージデバイス138を含む。ロボット管理プログラム142は、ユーザがロボット102によって実行される清掃タスクをスケジュールすることなど、ロボット102の動作を管理することを可能にする。拡張現実モジュール140は、拡張現実セッションにおいて環境内のオブジェクトをユーザが識別できるようにするツールを提供する。様々なオブジェクトの識別についての情報がモバイルロボット102に送られ得る。
【0080】
モバイルコンピューティングデバイス104およびモバイル清掃ロボット102の各々は、ワイヤレス通信モジュールを有し、それによりモバイルコンピューティングデバイス104がモバイル清掃ロボット102と通信することが可能になる。モバイルコンピューティングデバイス104は、ユーザがモバイルロボット102の動作を管理することを可能にするユーザインターフェース136を示すタッチスクリーンディスプレイを含む。たとえば、ユーザインターフェース136は、住宅のマップ144を示すことができ、マップ144は、モバイルロボット102によって維持される永続マップ116に基づいて生成される。永続マップ116は、ロボット102が住宅内でナビゲートし、様々なタスクを実行するために有用である豊富な情報を含むが、永続マップ116における情報のすべてがユーザにとって有用であるわけではない。したがって、マップ144は、ユーザフレンドリな方法で提示された永続マップ116からの情報の一部分を含むことができる。
【0081】
たとえば、ユーザインターフェース136上に示されるマップ144は、住宅内の様々な部屋の壁の外形、ならびに戸口、階段、家具、および器具の表現を含むことができる。マップ144は、住宅内のモバイルロボット102の現在のロケーションを示すことができる。ロボット102によって最近清掃された領域、またはロボット102が割り当てられたタスクを実行するのを妨げる条件など、追加の有用な情報がマップ144上にオーバーレイされ得る。ユーザインターフェース136は、たとえば、ユーザがロボット102の動作モードを選択できるようにする、選択可能なオプションを有するメニュー146を示すことができる。ユーザインターフェース136は、清掃タスクが完了していること、特定の部屋が清掃されたこと、または清掃タスクが実行されるのを妨げる条件をユーザに知らせることなど、ロボット102からの通知148を示すことができる。
【0082】
図2を参照すると、いくつかの実装形態では、知能モバイルロボットシステム200が、モバイルロボット202、リモートコンピューティングシステム204、およびモバイルコンピューティングデバイス104を含む。システム200とシステム100との間の違いは、システム200では、オブジェクトを認識し、環境内のパターンについて学習する機能がリモートコンピューティングシステム204によって提供されることである。リモートコンピューティングシステム204は、計算集約的タスクを実行する。これによりモバイルロボット202は、さほど強力ではないデータプロセッサにより構成されることが可能になり、モバイルロボット202がより低いコストで作られることが可能になる。
【0083】
モバイルロボット202は、モバイルロボット202の様々な構成要素の動作を制御する制御モジュール206を含む。モバイルロボット202は、マップ116を記憶するストレージデバイス114を含む。モバイルロボット202は、ナビゲーションモジュール118、1つまたは複数のカメラ120、および追加のセンサ150を含む。モバイルロボット202がモバイル清掃ロボットである例では、清掃ヘッド128が設けられる。モバイルロボット202は、リモートコンピューティングシステム204と通信するための通信モジュール208を含む。
【0084】
リモートコンピューティングシステム204は、図1の例におけるそれぞれタスクスケジューラ112、認識モジュール122、および学習モジュール126と同様に機能するタスクスケジューラ210、認識モジュール212、および学習モジュール216を含む。認識モジュール212は、ニューラルネットワーク124と同様の1つまたは複数のニューラルネットワーク214を含む。
【0085】
システム200のモバイルコンピューティングデバイス104は、システム100のモバイルコンピューティングデバイス104と同様の構成要素を含む。システム200では、モバイルコンピューティングデバイス104はリモートコンピューティングシステム204と通信し、リモートコンピューティングシステム204はモバイルロボット202と通信する。たとえば、モバイルコンピューティングデバイス104は、リモートコンピューティングシステム204にコマンド218を送り、リモートコンピューティングシステム204は、モバイルロボット102にコマンド218を転送する。モバイルロボット102は、リモートコンピューティングシステム204に通知メッセージ220を送り、リモートコンピューティングシステム204は、モバイルコンピューティングデバイス104に通知メッセージ220を転送する。
【0086】
たとえば、リモートコンピューティングシステム204は、インターネットを通じてアクセスされるクラウドサーバコンピュータを含むことができる。ユーザは、住宅から離れていて、モバイルコンピューティングデバイス104を使用して、リモートコンピューティングシステム204を通じてモバイルロボット202にコマンドを送り、モバイルロボット202から通知を受信することがある。
【0087】
図1では、モバイルロボット102は、モバイルコンピューティングデバイス104と通信する。いくつかの実装形態では、モバイルロボット102が図2のリモートコンピューティングシステム204と通信してもよいことを理解されたい。図2では、モバイルロボット202は、リモートコンピューティングシステム204と通信する。いくつかの実装形態では、モバイルロボット202がモバイルコンピューティングシステム104と通信してもよいことを理解されたい。
【0088】
図3は、システム100(図1)が使用され得る環境の例の概略図を示す。以下の説明では、モバイルロボット102はモバイル清掃ロボットであるが、ここで説明する同じ原理が、ホームセキュリティモバイルロボットなどの他のタイプのモバイルロボットに使用されてよい。モバイル清掃ロボット102は、1つもしくは複数の囲い込み空間内または1つもしくは複数の囲い込み空間を含む環境内で動作することができる。環境は、たとえば、住宅環境、生活空間、職場環境、または他の環境を含む。囲い込み空間は、たとえば、環境内の部屋に対応する。図3に示す例示的な環境では、環境は、ユーザ10およびモバイル清掃ロボット102が位置する住宅300を含む。ユーザ10は、モバイルコンピューティングデバイス104を操作し、モバイルコンピューティングデバイス104は、たとえば、モバイルフォンまたはタブレットコンピュータであってよい。住宅300は、部屋302A、302B、302C、および302D(まとめて302と呼ばれる)を含む。図3に示す例では、モバイル清掃ロボット102は部屋302A内に位置し、ユーザ10は部屋302B内に位置する。部屋302Aは、戸口304Aによって部屋302Bに隣接し、接続されており、部屋302Bは、戸口304Bによって部屋302Cに隣接し、接続されており、部屋302Bは、戸口304Cによって部屋302Dに隣接し、接続されている。
【0089】
この例では、部屋302Aは、ベッド306およびエンドテーブル308、310を含むベッドルームである。部屋302Bは、ダイニングテーブル312およびダイニングチェア314を含むダイニングルームである。部屋302Cは、浴槽316、洗面台318、およびトイレ320を含むバスルームである。部屋302Dは、デスク322およびチェア324を含むホームオフィスである。
【0090】
図3に示す例では、モバイル清掃ロボット102は、部屋302Aのフロア表面を清掃するなど、清掃ミッションを実行するために部屋302A中で自律的にナビゲートする。モバイル清掃ロボット102は、そのミッションを実行する間に、部屋302Aに位置する障害物(たとえば、ベッド306およびエンドテーブル308、310)の周りでナビゲートする。モバイル清掃ロボット102がミッション中に住宅300であちこち動く中、モバイル清掃ロボット102は、そのセンサを使用して住宅300のマップを生成し、マップ内でモバイル清掃ロボット102を位置特定する。モバイル清掃ロボット102は、モバイル清掃ロボット102の構成要素のステータスまたはモバイル清掃ロボット102によって実行されているミッションもしくは動作のステータスなど、モバイル清掃ロボット102のステータスを示す信号を生成するセンサを含む。
【0091】
いくつかの実装形態では、モバイルコンピューティングデバイス104は、ユーザ10がモバイルコンピューティングデバイス104上で入力を行うことを可能にする。モバイルコンピューティングデバイス104は、たとえば、タッチスクリーンディスプレイ、ボタン、マイクロフォン、マウスパッド、トラックボール、キーボード、またはユーザ10によって行われた入力に応答する他のデバイスのうちの1つまたは複数など、ユーザ入力要素を含むことができる。モバイルコンピューティングデバイス104は、代替または追加として、ユーザ10がユーザ入力を行うために対話する没入型メディア(たとえば、仮想現実)を含む。これらの例におけるモバイルコンピューティングデバイス104は、たとえば、仮想現実ヘッドセットまたは頭部装着ディスプレイであり得る。ユーザ10は、モバイル清掃ロボット102に対するコマンドに対応する入力を行うことができる。いくつかの実装形態では、モバイルコンピューティングデバイス104がモバイル清掃ロボット102にワイヤレスコマンド信号を送信することを可能にするために、モバイルコンピューティングデバイス104とモバイル清掃ロボット102との間でワイヤレスリンク326が確立される。ユーザ10は、モバイルコンピューティングデバイス104へのコマンド信号を示すユーザ入力を行い、モバイルコンピューティングデバイス104は、ユーザ入力に対応するコマンド信号を送信する。通信リンク326を確立するために、様々なタイプのワイヤレスネットワーク(たとえば、Bluetooth(登録商標)、無線周波、光学ベースなど)およびネットワークアーキテクチャ(たとえば、網目状ネットワーク)が用いられ得る。
【0092】
他のデバイスも、モバイル清掃ロボット102にワイヤレスにリンクされてよい。図3の例では、住宅300は、リンクされたデバイス328Aおよび328Bを含む。いくつかの実装形態では、リンクされたデバイス328Aおよび328Bの各々は、たとえば、住宅300を監視すること、住宅300の占有者を監視すること、およびモバイル清掃ロボット102の動作を監視することのうちの1つまたは複数を実行するのに適したセンサを含む。これらのセンサは、たとえば、画像センサ、占有センサ、および環境センサのうちの1つまたは複数を含むことができる。
【0093】
リンクされたデバイス328A、328Bのための画像センサは、可視光カメラ、赤外線カメラ、および電磁スペクトルの他の部分を用いるセンサのうちの1つまたは複数を含むことができる。リンクされたデバイス328A、328Bのための占有センサは、たとえば、受動的もしくは能動的透過もしくは反射赤外線センサ、光、ソナー、もしくは無線周波数を使用する飛行時間もしくは三角測距センサ、占有の音もしくは音圧特性を認識するためのマイクロフォン、気流センサ、カメラ、十分に強い受信信号強度がないか周波数および/もしくはWi-Fi周波数を監視するための無線受信機もしくはトランシーバ、自然光、人工光、およびモバイルコンピューティングデバイス(たとえば、モバイルコンピューティングデバイス104)から放出された光を含む周辺光を検出することが可能な光センサ、ならびに/またはユーザ10もしくは住宅300内の他の占有者の存在を検出するための他の適切なセンサのうちの1つまたは複数を含む。占有センサは、代替または追加として、ユーザ10の動きまたは自律的モバイル清掃ロボット102の動きを検出する。占有センサが自律的モバイル清掃ロボット102の動きに十分に敏感である場合、リンクされたデバイス328A、328Bの占有センサは、モバイル清掃ロボット102の動きを示す信号を生成する。リンクされたデバイス328A、328Bのための環境センサは、たとえば、電子温度計、気圧計、湿度もしくは水分センサ、ガス検出器、または空中粒子計数器を含むことができる。
【0094】
図3に示す例では、第2のモバイル清掃ロボット103が部屋302Cに位置する。モバイル清掃ロボット102と同様に、第2のモバイル清掃ロボット103は、部屋302C内でミッション、たとえば、清掃ミッションを実行する。いくつかの例では、モバイルコンピューティングデバイス104は、モバイル清掃ロボット102および第2のモバイル清掃ロボット103を含む複数のロボットデバイスにワイヤレスに接続され、それによりユーザ10がモバイルコンピューティングデバイス104と対話して複数のロボットデバイス102、103を制御および監視することが可能になる。いくつかの例では、モバイル清掃ロボット102、103の各々のためのコントローラ、リンクされたデバイス328A、328B、および他のデバイスは、たとえば、モバイル清掃ロボット102または103とリンクされたデバイス328A、328Bのうちの1つとの間のワイヤレスリンクを開始し維持するために、ワイヤレスリンクを互いに直接開始し維持し得る。モバイルフォン、タブレット、ラップトップ、別のモバイルコンピューティングデバイス、1つもしくは複数の環境制御デバイス、または他のタイプの電子デバイスなど、他のリモート電子デバイスとの間でワイヤレスリンクが形成されてもよい。いくつかの実装形態では、ワイヤレスリンクは、限定はしないが、スマート電球、サーモスタット、ガレージドアオープナー、ドアロック、リモコン、テレビ、セキュリティシステム、セキュリティカメラ、煙検出器、ビデオゲーム機、他のロボットシステム、または他の通信対応感知および/もしくは駆動デバイスもしくは機器を含む、1つまたは複数のデバイスとの通信を可能にする。
【0095】
ワイヤレスリンクは、たとえば、Bluetooth classic、Wi-Fi、BLE、802.15.4としても知られるBluetooth-low-energy、Worldwide Interoperability for Microwave Access(WiMAX)、赤外チャネル、または衛星帯などの様々な通信方式およびプロトコルを利用し得る。いくつかの例では、ワイヤレスリンクは、限定はしないが、1G、2G、3G、または4Gとして適格である規格を含む、モバイルコンピューティングデバイスの間で通信するために使用される任意のセルラーネットワーク規格を含む。ネットワーク規格は、利用される場合、たとえば、国際電気通信連合によって維持される仕様などの仕様または規格を満たすことによってモバイル電気通信規格の1つまたは複数の世代として適格である。3G規格は、利用される場合、たとえば、International Mobile Telecommunications-2000(IMT-2000)仕様に対応し、4G規格は、International Mobile Telecommunications Advanced(IMT-Advanced)仕様に対応し得る。セルラーネットワーク規格の例には、AMPS、GSM(登録商標)、GPRS、UMTS、LTE、LTE Advanced、Mobile WiMAX、およびWiMAX-Advancedが含まれる。セルラーネットワーク規格は、様々なチャネルアクセス方法、たとえば、FDMA、TDMA、CDMA、またはSDMAを使用し得る。
【0096】
モバイルロボット102が部屋302Aの中でナビゲートするとき、モバイルロボット102は、ベッド306およびエンドテーブル308、310の画像をキャプチャし、認識モジュール122を使用してベッド306およびエンドテーブル308、310を識別することができる。代替的に、モバイルロボット102は、部屋302の中にオブジェクトがあると判断することができ、ユーザ10は、オブジェクトを「ベッド」および「エンドテーブル」として手動でラベル設定することができる。ロボット102は、ベッド306およびエンドテーブル308、310の境界を検出し、その情報をマップ116に記録する。次回ロボット102が部屋302Aを清掃するとき、ロボット102は、ベッド306およびエンドテーブル308、310への衝突を回避する部屋302Aを通る経路を計画することができる。モバイルコンピューティングデバイス104のディスプレイ上に示されるマップ144は、部屋302Aの壁の外形を示し、部屋302Aの内部のベッドおよび2つのエンドテーブルに関するアイコンを示すことができる。
【0097】
モバイルロボット102が他の部屋302B、302C、および302Dにナビゲートするとき、モバイルロボット102が部屋302B、302C、および302Dの中の1つもしくは複数のオブジェクトを認識することができるか、またはユーザ10が部屋302B、302C、および302Dの中の1つもしくは複数のオブジェクトを手動でラベル設定することができる。ロボット102によって維持されるマップ116は、部屋302B、302C、および302Dの中のオブジェクトの位置および境界を含めるために更新され得る。ユーザインターフェース136上に示されるマップ144は、部屋302B、302C、302Dの壁ならびに部屋302B、302C、および302Dの中のオブジェクトのアイコンを含めるために更新され得る。
【0098】
いくつかの実装形態では、住宅300は、自然音声を通じてユーザ10と対話する1つまたは複数のオーディオメディアデバイス330を含む。オーディオメディアデバイス330は、ユーザによって発せられた音声を受信することができ、ユーザ10によって聞かれるオーディオ放出を出力することができる。ユーザ10は、モバイルコンピューティングデバイス104を使用することの代替または追加として、オーディオメディアデバイス330を通じてモバイルロボット102にコマンドまたはクエリを送ることができる。オーディオメディアデバイス330は、画像キャプチャセンサ、動き検出センサ、光学センサ、全地球測位システム(GPS)トランシーバ、(たとえば、ジオフェンシングのための)デバイス存在センサおよびオーディオメディアデバイス330の環境の状況を検出することができる他のセンサなどの他のセンサを含むことができる。いくつかの例では、オーディオメディアデバイス330は、環境内の光の量を検出するためのセンサを含み、オーディオメディアデバイス330は、微光状況で環境を照明するためのランプをアクティブ化する。いくつかの場合では、オーディオメディアデバイス330は、オーディオメディアデバイス330からのユーザ10の距離および方向を検出するための、またはカメラを使用するテレビ会議動作を可能にするためのカメラを含む。オーディオメディアデバイス330の例は、2017年6月6日に出願された米国出願第15/614,844号において説明されるオーディオメディアデバイス400であり、その内容全体が参照により組み込まれる。
【0099】
オーディオメディアデバイス330のセンサは、デバイス330が住宅300についての情報を取得することを可能にする。そのような情報はモバイルロボット102に、住宅300において発生している事象に対するロボットの認識を高めるために提供され得る。たとえば、ユーザ10は、部屋302Bの中で音楽を流すためにオーディオメディアデバイス330にアクセスすることがある。オーディオメディアデバイス330が部屋302Bの中で音楽を流しているとき、1人または複数の個人が部屋302Bを使用している可能性が高い。この場合、モバイル清掃ロボット102は、他の時間で部屋302Bの中での清掃タスクをスケジュールする。オーディオメディアデバイス330とモバイルロボット102との間の情報の共有が事前にユーザ10によって承諾されていることを理解されたい。
【0100】
ロボット102が住宅300内のオブジェクトを認識した後、ロボット102は、オブジェクトの特性を考慮して、清掃タスクなどのタスクを実行することができる。ロボット102は、往来の多いエリアをより高い頻度で清掃し、往来の少ないエリアをより低い頻度で清掃し得る。たとえば、ベッドの下奥のエリアは、往来が少ない。ロボット102は、部屋302Aの中のオープンなフロアエリアおよびたとえばベッド306の下奥の1フィート以内のエリアを毎日清掃し、たとえばベッド306の下奥の1フィートを超えるフロアエリアを週1回、隔週で、または月1回清掃するように構成され得る。ロボット102は、ダイニングルーム302Bのダイニングテーブル312およびダイニングチェア314に近いフロアエリアを、ダイニングテーブル312およびダイニングチェア314から遠い他のエリアよりも注意深く清掃するように構成され得る。ダイニングルームを徹底的に清掃することが重要であるので、ロボット102は、他の部屋に移る前にダイニングルームを完全に清掃するように、清掃タスクをスケジュールし得る。ロボット103は、バスルーム302Cの中のトイレ320に近いフロアエリアを、トイレ320から遠いエリアよりも注意深く清掃するように構成され得る。
【0101】
たとえば、制御モジュール110は、認識モジュール122が特定のオブジェクトを認識したことに応答して、特定の清掃モードを実行するように構成される。清掃モードは、念入り清掃モードまたはノータッチ清掃モードのうちの少なくとも1つを含むことができる。たとえば、認識モジュール122がダイニングテーブルを認識するとき、制御モジュール110は念入り清掃モードを実行する。認識モジュール122が花瓶などの壊れやすいオブジェクトを認識したとき、制御モジュール110は、ノータッチ清掃モードを実行する。
【0102】
たとえば、認識モジュール122は、環境内のロボットの動きに対する障壁である複数のオブジェクトの各々に関して、ある時間期間にわたってキャプチャされたオブジェクトの画像に基づいて、オブジェクトがまれに動く半永久的障壁であるか、または頻繁に動く非永久的障壁であるか分類するように構成される。半永久的障壁は、たとえば、頻繁に動くものではないベッド、壁、および長椅子を含む。非永久的障壁は、たとえば、頻繁に動くドア、フロア上に置かれているアイテム、足台、およびチェアを含む。制御モジュール110は、認識モジュール122によって認識されたオブジェクトの各々が半永久的障壁であるか、または非永久的障壁であるかを考慮して、清掃タスクを実行するように清掃ヘッド128を動作させるように構成され得る。
【0103】
たとえば、認識モジュール122は、ペット、たとえば、犬および猫を認識するように構成される。制御モジュール110は、ペット(たとえば、犬または猫)が第1のロケーションに位置することを認識すると、ペットからの距離を維持し、第1のロケーションから離れた第2のロケーションにナビゲートするようにモバイルロボットを制御し、ペットの邪魔をするのを回避するために第2のロケーションにおいて清掃タスクを実行するように構成され得る。ある時間期間の後、ロボットは、ペットが第1のロケーションから出ているかどうかをチェックする。ペットが第1のロケーションから出ていると判断すると、制御モジュール110は、第1のロケーションまたは第1のロケーションの付近で清掃タスクを実行するように清掃ヘッド128を動作させる。
【0104】
たとえば、制御モジュール110は、位置が経時的に変動するドアなど、位置が経時的に変動するオブジェクトを識別するように構成され得る。タスクスケジューラ112は、各ドアがどのくらいの頻度で開けられる、もしくは閉められるか、またはどの時間期間中にドアが通常開いている、もしくは閉まっているかなど、オブジェクトのうちの少なくともいくつかの時間変動特性についての情報に基づいて、住宅300内の清掃タスクのスケジュールを決定する。タスクスケジューラ112は、部屋の中の清掃タスクを、その部屋のドアが通常開いている時間期間でスケジュールする。制御モジュール110は、マップを使用して環境内でナビゲートし、スケジュールに従って清掃タスクを実行するようにモバイル清掃ロボットを制御する。
【0105】
たとえば、ロボットが清掃タスクを実行するために部屋に入る必要があり、ロボットが部屋に入るのを妨げる障害物を発見すると仮定する。認識モジュール122は、障害物をドアとして認識する。ロボットは、ドアを非永久的なものとして分類する。ロボットは、ドアがどのくらいの頻度で開けられ、ドアがどのくらいの頻度で閉められるかなど、経時的にドアについての情報を収集することができる。ドアがほとんどの時間は開いているが、現在閉まっている場合、ロボットは、別のエリアを清掃しに行き、次いで事前に設定された時間期間の後に戻って、ドアが開いているかどうかをチェックすることができる。部屋がほとんどの時間は閉まっている場合、ロボットはユーザに、ドアが閉まっていたので部屋が清掃されなかったことを示すメッセージを送ることができる。
【0106】
たとえば、ストレージデバイス114は、非永久的障壁のうちの少なくともいくつかの各々に関して、非永久的障壁に遭遇したときにモバイル清掃ロボットがどのように応答すべきかに関するユーザ選好についての情報を記憶する。ユーザ選好は、たとえば、ロボットが戻って、閉まっていたドアが開けられているかどうかなど、障害物が除去されているかどうかをチェックすべきかどうかであり得る。
【0107】
図4は、システム200(図2)が使用され得る環境の例の概略図を示す。この例では、環境は、図3に示す例と同様の住宅400を含む。モバイルコンピューティングデバイス104は、リモートコンピューティングシステム204にコマンドを送り、リモートコンピューティングシステム204は、ロボット202にコマンドを転送する。ロボット202は、住宅400の画像をリモートコンピューティングシステム204に送り、リモートコンピューティングシステム204は、ニューラルネットワーク214を含む認識モジュール212、タスクスケジューラ210、および学習モジュール216を有する。リモートコンピューティングシステム204は、ロボット202によって提供された画像に基づいて住宅400内のオブジェクトを認識することができる。リモートコンピューティングシステム204は、認識されたオブジェクト、たとえば、ラベル「ベッド」、「エンドテーブル」、「ドア」、「浴槽」、「ダイニングテーブル」、「ダイニングチェア」についての情報をモバイルロボット202に送る。モバイルロボット202は、リモートコンピューティングシステム204に通知メッセージ220を送り、リモートコンピューティングシステム204は、モバイルコンピューティングデバイス104に通知メッセージ220を転送する。図4の例では、リモートコンピューティングシステム204は、クラウドサーバコンピュータである。
【0108】
いくつかの例では、ホームサーバコンピュータがユーザの住宅内に設けられることがあり、ホームサーバコンピュータは、ニューラルネットワーク(たとえば、214)を有する認識モジュール(たとえば、212)、タスクスケジューラ(たとえば、210)、および学習モジュール(たとえば、216)を有する。この例では、モバイルロボットは、オブジェクトの画像をホームサーバコンピュータに送る。ホームサーバコンピュータの認識モジュールは、画像を処理して画像中のオブジェクトを検出し、検出されたオブジェクトについての情報をモバイルロボットに送る。
【0109】
他のデバイスがリモートコンピューティングシステム204にワイヤレスにリンクされてもよい。たとえば、リンクされたデバイス328A、328Bは、画像センサによって生成された画像をリモートコンピューティングシステム204に送信する。リンクされたデバイス328A、328Bは、画像センサ、占有センサ、環境センサ、およびリンクされたデバイス328A、328Bに存在する他のセンサの組合せからのセンサ信号をリモートコンピューティングシステム204に送信する。これらの信号は、リモートコンピューティングシステム204がモバイル清掃ロボット102の動作を制御または監視するための入力データとしての働きをする。
【0110】
いくつかの例では、モバイルロボット202、103を含む複数のロボットデバイスにリモートコンピューティングシステム204が接続されており、そのため、ユーザ10がモバイルコンピューティングデバイス104と対話して、リモートコンピューティングシステム204を通じて複数のロボットデバイス202、103を制御および監視することが可能になる。モバイルロボット202、103の各々のためのコントローラ、リンクされたデバイス328A、328B、および他のデバイスは、リモートコンピューティングシステム204との通信のためのワイヤレスリンクを開始および維持し得る。
【0111】
図5を参照すると、いくつかの例では、ロボット102は、ダイニングルーム302Bにナビゲートし、ダイニングルーム302Bの中のオブジェクトの画像をキャプチャする。たとえば、ロボット102はカメラ120を使用して、ダイニングチェア314の画像をキャプチャする。ロボット102は認識モジュール122を使用して、画像中のオブジェクトがダイニングチェアであると判断する。ロボット102は、ダイニングチェア314を含めるためにマップ116を更新する。次に、ロボット102はカメラ120を使用して、ダイニングテーブル312、フロアランプ500、およびウォールアート502の画像をキャプチャし、認識モジュール122を使用して、画像中のオブジェクトが、それぞれダイニングテーブル、フロアランプ、およびウォールアートであると判断する。ロボット102は、ダイニングテーブル312、フロアランプ500、およびウォールアート502をそれぞれのロケーションで含めるためにマップ116を更新する。
【0112】
図6を参照すると、いくつかの例では、ロボット102は、リビングルームにナビゲートし、リビングルームの中のオブジェクトの画像をキャプチャする。たとえば、ロボット102はカメラ120を使用して、第1のソファー600、第2のソファー602、コーヒーテーブル604、暖炉606、棚608、およびグランドピアノ610の画像をキャプチャする。ロボット102は認識モジュール122を使用して、画像中のオブジェクトが、それぞれ第1のソファー、第2のソファー、コーヒーテーブル、暖炉、棚、およびグランドピアノであると判断する。ロボット102は、第1のソファー600、第2のソファー602、コーヒーテーブル604、暖炉606、棚608、およびグランドピアノ610をそれぞれのロケーションで含めるためにマップ116を更新する。
【0113】
以下では、モバイル清掃ロボットの例について説明する。モバイル清掃ロボット102(図1)、202(図2)、103(図3)は、駆動システムおよびセンサ一式を使用して環境、たとえば、住宅300、400であちこち自律的にナビゲートする。図7は、図1のモバイル清掃ロボット102の例の概略下面図を示す。図7は、モバイル清掃ロボット102に関して説明されるが、図7のモバイル清掃ロボットは追加または代替として、モバイル清掃ロボット202または103に対応する。モバイル清掃ロボット102は、駆動ホイール702を含む駆動システムを含む。いくつかの例では、キャスターホイール704がフロア表面上でモバイル清掃ロボット102を支えている。モバイル清掃ロボット102は、駆動ホイール702に接続された1つまたは複数のモータとともに動作可能なコントローラ706をさらに含む。モバイル清掃ロボット102のコントローラ706は、駆動ホイール702を駆動し、フロア表面中でモバイル清掃ロボット102をナビゲートするために、モータを選択的にアクティブ化する。
【0114】
コントローラ706はまた、感知システム708とともに動作可能である。感知システム708は、住宅300であちこちナビゲートするためにコントローラ706によって使用可能なセンサを含む。感知システム708は、たとえば、住宅内の障害物を検出するための、また住宅300のマップを生成するための信号を生成するためのセンサを有する。感知システム708は、障害物までの距離を検出するための飛行時間センサ、落ち込み(たとえば、階段)を検出するための崖検出センサ、モバイル清掃ロボット102に搭載されたバンパーに関連する衝突センサ、および接触センサなどの障害物検出センサを含むことができる。コントローラ706は、障害物検出センサが障害物を検出したときにモバイル清掃ロボット102が障害物の周りを動くように駆動システムを動作させる。
【0115】
コントローラ706は、そのセンサシステムからの信号を使用して、経時的にモバイル清掃ロボット102の位置および方向を追跡および更新することによって住宅300のマップを生成する。マッピングセンサは、たとえば、同時位置特定およびマッピング(SLAM:simultaneous localization and mapping)センサ、デッドレコニングセンサ、ならびに障害物検出および回避(ODOA:obstacle detection and avoidance)センサを含む。コントローラ706は、住宅300のフロア表面の2次元マップを作成し、マップ上のロボット位置を決定し、モバイル清掃ロボット102がトラバースすることができる住宅300の部分の位置(たとえば、占有されていない、トラバース可能なフロア)を決定する。デッドレコニングセンサ、接触センサ、および非接触障害物検出センサからの信号を使用して、コントローラ706は、フロア表面上またはフロア表面上の障害物のためにモバイル清掃ロボット102がトラバースすることができないフロアエリアを示す。一例では、コントローラ706は、通過する中で壁および障害物のマップを作成し、トラバース可能な占有された空間の占有格子を生成する。いくつかの実装形態では、マップは、直交座標系または極座標系を使用する。いくつかの例では、マップは、位相マップ、表現マップ、または確率マップである。
【0116】
いくつかの例では、同時位置特定およびマッピング(SLAM)技法を使用して、コントローラ706は、住宅300の2次元マップ内のモバイル清掃ロボット102の位置を決定する。SLAMセンサは、たとえば、マップ上のロボット位置を計算する際に使用される特徴およびランドマークの視覚的識別のための1つまたは複数のカメラを含む。モバイル清掃ロボット102は、モバイル清掃ロボット102が住宅300であちこち動くのに伴ってモバイル清掃ロボット102の位置および/または方向をコントローラ706が推定することを可能にするための信号を生成する追加のセンサを含む。これらのセンサは、単独で、またはSLAMセンサと組み合わせて、通過するモバイル清掃ロボット102によって作られたロボットマップ上のモバイル清掃ロボット102の位置を決定する。いくつかの実装形態では、コントローラ706は、追加のセンサからの信号を使用して、SLAMセンサによって決定された位置を検証または調整する。いくつかの実装形態では、追加のセンサは、オドメータ、加速度計、ジャイロスコープ、慣性測定ユニット、および/またはモバイル清掃ロボット102の移動距離、回転量、速度、もしくは加速を示す信号を生成する他のセンサを含む。たとえば、モバイル清掃ロボット102は、モバイル清掃ロボット102がヘッディングから回転した量を示す信号を生成するジャイロスコープなどの方向センサを含む。いくつかの実装形態では、感知システム708は、駆動ホイール702の回転を示す信号を生成するためのIRホイールエンコーダなどのデッドレコニングセンサを含み、コントローラ706は、検出された回転を使用して、モバイル清掃ロボット102が移動した距離を推定する。いくつかの実装形態では、感知システム708は、たとえば、環境内の観測された障害物およびオブジェクトまでの距離を決定するためのセンサ読取値を生成するレーザースキャナまたは飛行時間センサを含む。代替または追加として、感知システム708は、モバイル清掃ロボット102がヘッディングに対してフロア表面で横方向にドリフトした距離を決定するための、フロア表面に面している光学式マウスセンサを含む。
【0117】
いくつかの実装形態では、モバイル清掃ロボット102は、視覚的同時位置特定およびマッピング(VSLAM:visual simultaneous localization and mapping)を用いて、そのマップを作り、マップ上の現在の位置を決定する。感知システム708は、1つまたは複数の位置特定センサ、たとえば、環境内で検出された特徴に対するモバイル清掃ロボットのロケーションおよび方向をコントローラ706が決定するための信号を生成するカメラ710(画像キャプチャシステム)を含む。いくつかの実装形態では、モバイル清掃ロボット102は、ロボット本体の上面の下にあり、上方向に傾斜した、たとえば、モバイル清掃ロボット102がナビゲートするフロア表面から30度から80度の間の範囲で傾斜した画像キャプチャシステム710、たとえば、可視光カメラ710を含む。カメラ710は、窓枠、絵の額、戸口枠、ならびに線、隅および端などの可視的、検出可能な特徴を有する他のオブジェクトなど、静的要素が高度に集中している壁および天井のロケーションに向けられている。たとえば、カメラ710が上向きに傾斜しているとき、カメラ710のビューイングコーンの中心が、ビューイングコーンの中心が壁および天井のロケーションに向けられるように上向きに傾斜している。カメラ710によってキャプチャされた画像を使用して、コントローラ706は、モバイル清掃ロボット102が部屋または囲い込み空間、たとえば、一連の隣接した部屋302A、302B、302C、302D(まとめて囲い込み空間または部屋302と呼ばれる)であちこちナビゲートする中で作るマップ(たとえば、マップ116)上のロボット位置を決定する。
【0118】
位置特定センサは、いくつかの例では、トラバース不可能なフロア空間を占有する環境内の壁およびオブジェクトの検出に応答して信号を生成することが可能なモバイル清掃ロボット102上のセンサを含む。VSLAMカメラに加えて、これらの位置特定センサは、たとえば、衝突センサなどの接触センサ、ならびにレーザー、容量ポイントクラウドセンサ、ポイントラインセンサ(たとえば、PIXARTが作成するような飛行時間ラインセンサ)、IR近接性センサ、光検出および測距(LIDAR)センサ、および音響センサなどの非接触飛行時間センサを含む。位置特定センサは、特に、トラバース可能なフロア、またはモバイル清掃ロボット102がトラバースする中で拡大するロボットマップに追加されるトラバース可能なフロア空間とトラバース不可能なフロアとを区別する、一意のシグナチャ、パターン、または特徴が抽出される信号を生成する。これらの特徴が検出されているとコントローラ706が判断したとき、コントローラ706は、これらの検出された特徴に対するモバイル清掃ロボット102のロケーションおよび方向を使用して、住宅300のマップ上のモバイル清掃ロボット102の位置を決定する。コントローラ706は、特に、住宅300内のオブジェクトに対応する特徴を参照してモバイル清掃ロボット102の現在の位置を決定することによって、住宅300内のモバイル清掃ロボット102を位置特定する。抽出された特徴は、モバイル清掃ロボット102が位置する部屋を示す。
【0119】
抽出された特徴は、部屋302A、302B、302C、および302Dの各々に関する一意識別子を形成する。いくつかの実装形態では、モバイル清掃ロボット102は、抽出された特徴を使用して、特定の特徴または部屋識別子に関連する特徴を検出したことに応答して、部屋302A、302B、302C、および302Dのうちのどれにモバイル清掃ロボット102が現在位置しているかを判断する。いくつかの実装形態では、モバイル清掃ロボット102は、オブジェクト認識を通じて、事前に識別された部屋を認識する。モバイル清掃ロボット102は、たとえば、そのカメラ710を使用して、各部屋302に関連するオブジェクト(たとえば、ストーブ、皿洗い機、または冷蔵庫)の画像をキャプチャする。ユーザ10はモバイル清掃ロボット102に、それらの認識可能なオブジェクトに関連する特定の部屋識別子(たとえば、キッチン)を通信する。清掃ミッション中、モバイル清掃ロボット102がこれらのオブジェクトのうちの1つまたは複数を認識したとき、モバイル清掃ロボット102は、たとえば、モバイルコンピューティングデバイス104に可聴式アラートの生成を要求することによって、可聴式アラートの放出を生じさせること、またはたとえば、関連する記憶済み部屋識別子を示すテキスト通知をモバイルコンピューティングデバイス104上に表示することによって、視覚的アラートを発信させることによって、そのロケーションをユーザに通知する。
【0120】
いくつかの実装形態では、マップは永続的であり、1つまたは複数のモバイル清掃ロボット102、103によるアクセスのためにリモートコンピューティングシステム204またはホームサーバコンピュータに記憶される。各後続ランまたは清掃セッションにおいて、モバイル清掃ロボット102は、移動した家具などの住宅300内の変更状況に従って、永続マップを更新する。永続マップは、経時的に環境についての情報を蓄積する。いくつかの例では、モバイル清掃ロボット102は、標準的プロトコルを通じて住宅300内の接続済みデバイスを発見し、マップ上でそれらを位置特定する。これは、接続済みライトおよびスピーカー、通気口、ドアおよび窓センサ、ならびに住宅300内の他の接続済みデバイスの位置を含む。モバイル清掃ロボット102は、住宅300を動き回り、無線周波数(RF)シグナチャ、視覚的認識、受信信号強度および他の方法を使用して、住宅300内の接続済みデバイスを認識し、住宅300のロボットマップ上にそれらを自動的に配置する。たとえば、モバイル清掃ロボット102は、住宅300を探査し、リビングルーム内の壁のNEST(登録商標)サーモスタット、キッチン内のSAMSUNG(商標)冷蔵庫、ならびにファミリールームおよびベッドルーム内のPhilips(商標)HUE BLOOMライトを認識する。モバイル清掃ロボット102は、認識された接続済みデバイスをマップ上に配置し、ユーザ10が接続済みデバイスに関するこの空間的知識を利用できるようにする。
【0121】
感知システム708は、モバイル清掃ロボット102の動作を示す信号を生成する。いくつかの例では、感知システム708は、モバイル清掃ロボット102が住宅300内のフロア表面に沿って動くことができないモバイル清掃ロボット102の失速状況を示す信号を生成する駆動システムに統合された失速センサユニットを含む。失速センサユニットは、駆動システムのモータに供給されている電流の変化を示すための信号を生成する。電流の変化は、モバイル清掃ロボット102がその現在の位置から実質的に動くことができないモバイル清掃ロボット102の停滞状況を示し得る。失速センサユニットは、代替または追加として、ホイール、たとえば、キャスターホイール704または駆動ホイール702のうちの1つが、電力が駆動ホイール702のモータに供給されているときに動いているかどうかを示す信号を生成する光学センサを含む。失速センサユニットは、いくつかの例では、変化に関する連続画像を比較することによって、動き、または動きの欠如を追跡および検出するためのマウスセンサである。いくつかの実装形態では、モバイル清掃ロボット102は、モバイル清掃ロボット102の加速を示す信号を生成するために加速度計に依拠する。コントローラ706は、ホイールの動きがないことを検出すると、モバイル清掃ロボット102が失速状況にあると判断する。
【0122】
いくつかの実装形態では、モバイル清掃ロボット102は、図8の概略図に示すように他のセンサを含む。感知システム708は、いくつかの例では、モバイル清掃ロボット102の環境から可聴信号を受信するマイクロフォン714を含む。いくつかの例では、感知システム708は、温度センサ802、周辺光センサ804、空気中水分含量センサ806、ガス組成、空気質センサ808、または環境の他の特性を感知するセンサなどの環境センサを含む。感知システム708はまた、モバイル清掃ロボット102またはモバイル清掃ロボット102の構成要素の状況を示す状況センサを含む。これらのセンサは、たとえば、モバイル清掃ロボット102の電源の充電量または充電容量を検出するためのバッテリー充電状態センサ、構成要素のもちの良さまたは構成要素の残存寿命量を検出するためのホイールトレッドセンサなどの構成要素寿命センサを含む。
【0123】
モバイル清掃ロボット102は、モバイル清掃ロボット102が可聴信号を放出することを可能にするためのオーディオ放出システム712をさらに含む。コントローラ706は、可聴信号の放出により、たとえば、ユーザ10にモバイル清掃ロボット102のステータス、たとえば、モバイル清掃ロボット102の構成要素のステータス、モバイル清掃ロボット102の動作のステータス、またはモバイル清掃ロボット102によって実行されるミッションのステータスを通知する。
【0124】
モバイル清掃ロボット102は、図2および図4に示すようにモバイル清掃ロボット102がリモートコンピューティングシステム204と通信することを可能にするワイヤレス通信システム810をさらに含む。ワイヤレス通信システム810を使用して、コントローラ706は、リモートコンピューティングシステム204にデータを送信する。いくつかの例では、データは、感知システム708のセンサによって生成された信号を含む。画像キャプチャシステム710を含むモバイル清掃ロボット102のいくつかの実装形態では、キャプチャされた画像は、リモートコンピューティングシステム204に直接送信され得る。いくつかの例では、モバイル清掃ロボット102は、情報を収集し、住宅300のマップを作成し、コントローラ706は、リモートコンピューティングシステム204にマップを送信する。コントローラ706が状況センサを含む場合、コントローラ706は、モバイル清掃ロボット102の状況を示す情報もリモートコンピューティングシステム204に送信する。
【0125】
図3および図4に関して説明したように、モバイル清掃ロボット102は、住宅300であちこちナビゲーションしている間に、住宅300内で動作を実行し、ミッションを完了させる。実行される動作は、モバイル清掃ロボット102のタイプに依存する。本明細書で説明する実装形態の多くのタイプのモバイル清掃ロボットに存在し得る基本構成要素を示すことに加えて、図7は、本明細書で説明するプロセスから恩恵を受けることができる多くのタイプのモバイルロボットのうちの1つに対応する真空清掃ロボットに固有の構成要素を示す。他のモバイルロボットは、フロア洗浄ロボット、住宅監視ロボット、ロボット芝刈り機、モップがけロボット、コンパニオンロボット、または掃除機ロボットを含み得る。これらのロボットは、それぞれ、本書で説明するプロセスおよびシステムから恩恵を受けることができる。
【0126】
いくつかの例では、モバイル清掃ロボット102は、フロア表面上の屑を取り込むための清掃システムを含む真空清掃ロボットである。清掃システムは、たとえば、フロア表面からモバイル清掃ロボット102に搭載された屑箱(図示せず)に屑を激しく動かす(agitate)回転可能ローラーまたはブラシ720を含む。清掃システムは、アクティブ化すると、空気を動かし、それによってフロア表面上の屑を屑箱に動かすエアムーバーを含む。モバイル清掃ロボット102が清掃ミッション中にその環境であちこちナビゲートする中、モバイル清掃ロボット102は、その清掃システムをアクティブ化して屑を取り込み、それによってフロア表面を清掃する。
【0127】
いくつかの例では、モバイル清掃ロボット102が真空清掃ロボットである場合、ロボット102は、取り外し可能屑箱812を含み、感知システム708は、取り外し可能屑箱812に取り込まれた屑の量を検出する屑箱レベルセンサ814を含む。感知システム708は、真空清掃ロボットが屑を取り込むときに検出する1つもしくは複数の屑センサもしくは汚物センサ816を含むか、または屑取り込み率を検出する。いくつかの例では、モバイル清掃ロボット102は、屑用のフィルタを含み、感知システム708は、フィルタが清掃を必要とするかどうかを検出するためのフィルタセンサも含む。
【0128】
例示的なモバイル清掃ロボット102は、シャーシ818、バッテリー820、バッテリー充電器822、バッテリー820によって電力供給される電力モジュール824、電力モジュール824によって電力供給される1つまたは複数のモータ826、モータ826によって駆動される駆動システム828、マッピング/ナビゲーションシステム830、赤外線(IR)エミッタ832、赤外放射検出器834、動き検出器(たとえば、受動IRフォトダイオード)836、超音波センサ838、圧力センサ840、慣性測定ユニット(IMU)842、およびインジケータライト844を含む。コントローラ706は、任意の適切に構成されたプロセッサ846(たとえば、マイクロプロセッサ)または複数のプロセッサを含み得る。マイクロプロセッサ846は、コントローラ706、メモリ718、様々なセンサ、および駆動システム828と通信している。いくつかの実装形態では、カメラ710は、2D画像、全景、ビデオおよび/または3Dモデルを集める画像形成デバイスである。上記で説明したセンサは、ロボット102上に設けられ得るセンサのタイプを網羅したものではなく、いくつかのセンサは、ロボット102によって検出される環境パラメータに応じて省略されてよい。
【0129】
ワイヤレス通信システム810は、ワイヤレス通信送信機またはモジュール848(たとえば、Wi-Fiモジュール)および関連アンテナ850を含み、それによりロボット102とモバイルコンピューティングデバイス104、リモートコンピューティングシステム204、(Google OnHub(登録商標)Wi-Fiアクセスポイントなどの)ハブ、ネットワークルータ、および/またはプライベートネットワークとの間のワイヤレス通信が可能になる。
【0130】
いくつかの実装形態では、モバイル清掃ロボット102は、住宅300を通過している間の障害物検出および障害物回避(「ODOA」)のためのセンサを含む。これらのセンサは、静止した障害物に接触するとトリガされる機械的バンパースイッチセンサ852、ならびに超音波センサ838、赤外線エミッタ/検出器近接性センサ854、およびPixArtが作成するような構造化光センサ856などの非接触センサを含む。
【0131】
マッピング/ナビゲーションシステム830は、ロボット102が住宅300の自律的ナビゲーションおよびマッピングを実行すること可能にする。モバイル清掃ロボット102は、視覚的同時位置特定およびマッピング(「VSLAM」)のためのカメラ710、マウスセンサ858、3軸加速度計および3軸ジャイロスコープを有するIMU842、ならびに/または空間300に対するロボット102の位置を決定もしくは登録するための(すなわち、空間300内のロボット102を位置特定するための)ホイールオドメータ860など、自律的ナビゲーションのためのセンサを含む。ロボット102は、その搭載センサによって収集された読取値のロケーションを位置特定することができる。(たとえば、カメラ710および特徴認識またはクラス認識ソフトウェアを使用する)機械視覚、光ビーコン、または無線周波数受信信号強度インジケータ(RSSI)技術など、ロボット102を位置特定し登録するために任意の適切な技法および構成要素が使用され得る。
【0132】
ロボット102は、ユーザが様々な清掃モードなどのいくつかの動作モードのうちの1つを選択することを可能にするためのモードボタン862を含むことができる。ロボット102は、フロア表面と接触し、ロボットシャーシ818を支える被駆動推進部材864a、864bを含む。被駆動推進部材864a、864bは、モバイル清掃ロボット102に住宅300内のフロア表面をトラバースさせるようにコントローラ706によって命令可能である。マイクロプロセッサ846は、いくつかの例では、住宅300内の1つもしくは複数のマッピングされたロケーションに、または当該ロケーション中でモバイル清掃ロボット102をナビゲートする。ロボット102は、ロボット102の様々な動作を管理するオペレーティングシステム866を含む。
【0133】
コントローラ706は、センサによって収集された情報とモバイル清掃ロボット102に住宅300内で動作を実行させるようにコントローラ706によって実行可能なルーチンとを記憶するメモリ718にアクセスする。ルーチンは、たとえば、住宅300であちこちモバイル清掃ロボット102をナビゲートするためのナビゲーションルーチンを含む。コントローラ706は、たとえば、感知システム708からの信号またはワイヤレス通信システム810を通じてコントローラ706に送信されたワイヤレスコマンド信号に応答して、モバイル清掃ロボット102の動作を開始する。モバイル清掃ロボット102が手動操作可能なボタンなどのユーザ入力デバイスを含む場合、入力デバイスは、ユーザ10によって、コントローラ706にモバイル清掃ロボット102の1つまたは複数の動作を開始させるように操作され得る。手動操作可能なボタンは、たとえば、押しボタンまたはタッチスクリーンディスプレイ上のボタンアイコンに対応する。いくつかの例では、メモリ718はまた、住宅300中でモバイル清掃ロボット102をナビゲートするためにコントローラ706が実施する動きの確定的パターンを記憶する。パターンは、たとえば、直線的動きパターン、つる状パターン、コーンローパターン、らせん状パターン、ジグザグパターン、またはパターンの組合せを含む他のパターンを含む。メモリ718はまた、デッドレコニングセンサ、位置特定センサ、状況センサ、または感知システム708の他のセンサのいずれかを含む、感知システム708のセンサによって収集されたデータを記憶する。コントローラ706が住宅300のマップを作成した場合、コントローラ706は、随意にマップを、後の清掃セッションで再使用するために不揮発性ストレージデバイス868に記憶する。
【0134】
モバイル清掃ロボット102にとって利用可能な動作は、モバイル清掃ロボット102のタイプに依存する。たとえば、モバイル清掃ロボット102が真空清掃ロボットである場合、メモリ718は、フロア清掃動作を実行するためのルーチンを含む。真空清掃ロボットが清掃ミッションを開始するためのコマンドを受信した場合、真空清掃ロボットは、その環境であちこち自律的にナビゲートし、フロア表面から屑を取り込むことによってフロア清掃動作を実行する。フロア清掃動作は、1つの部屋または複数の部屋のフロア表面をカバーするように、あるパターン、たとえば、コーンローパターン、らせん状パターン、または他の適切な動きパターンでコントローラ706が真空清掃ロボットをナビゲートする部屋清掃動作を含む。
【0135】
いくつかの例では、フロア清掃動作はスポット清掃動作を含み、真空清掃ロボットが、スポット清掃動作を実行するためのコマンドを受信すると、その清掃動作を位置特定済みエリアに制限する。位置特定済みエリアは、屑センサによって検出された、より多くの量の検出済み屑を含み得る。スポット清掃動作の一部として、コントローラ706は、追加または代替として、真空清掃ロボットが屑をより容易に取り込めるように、真空清掃ロボットのエアムーバーに供給される電力を増大させる。スポット清掃動作を実行するために、コントローラ706は、真空清掃ロボットが既定のパターン、たとえば、らせん状パターンで位置特定済みエリア内で動くように、駆動システムを制御する。フロア清掃動作のいずれかの開始は、センサ信号に応答して発生し得る。真空清掃ロボットが屑センサを含む場合、コントローラ706は、屑センサによる屑の検出に応答してスポット清掃動作を実行するように真空清掃ロボットを制御することができる。
【0136】
いくつかの実装形態では、モバイル清掃ロボット102は、その環境内で他のデバイスと通信するか、またはさもなければ対話する。モバイル清掃ロボット102は、たとえば、バッテリーと電気的に接続可能なステーションで再充電され得る再充電可能バッテリーを含む。いくつかの例では、バッテリーは、ステーションに挿入される取り外し可能なバッテリーであり、他の例では、モバイル清掃ロボット102は、ステーションにドッキングし、それによってステーションはバッテリーを再充電できる。図3に示すように、ドッキングステーション332が部屋302Aに位置する。ドッキングステーション332は、モバイル清掃ロボット102がドッキングステーション332にドッキングされた、たとえば、ドッキングステーション332に物理的および/または電気的に接続されたときにモバイル清掃ロボット102のバッテリーを充電するように動作可能な充電器を含む。モバイル清掃ロボット102が真空清掃ロボットである場合、ドッキングステーション332は、追加または代替として、真空清掃ロボットの屑箱の屑を空にするための電動容器を含む排出ステーションとしての働きをする。
【0137】
図3に示す別の例では、戸口304Bに近接して位置する送信ユニット334は、少なくとも戸口304Bの長さにわたる軸方向抑制ビームを送信する。送信ユニット334は、放出された抑制ビームが部屋302Bと部屋302Cを分離するように位置付けられる。いくつかの例では、感知システム708は、放出された抑制ビームを検出する全方向検出器を含む。抑制ビームの検出に応答して、コントローラ706は、抑制ビームを横切るのを回避するようにモバイル清掃ロボット102をナビゲートし、それによって、部屋302Cの中または部屋302Cの外でのモバイル清掃ロボット102の自律的ナビゲーションが維持される。モバイル清掃ロボット102は、たとえば、全方向検出器が抑制ビームを検出したときに抑制ビームから離れる。第2のモバイル清掃ロボット103がそのような全方向検出器を含む場合、送信ユニット334は、第2のモバイル清掃ロボット103が抑制ビームひいては戸口304Bを横切ることなく部屋302C内で自律的にナビゲートするように、第2のモバイル清掃ロボット103を制限する。
【0138】
いくつかの例では、1つまたは複数の送信ユニットが、モバイル清掃ロボット102上の位置特定センサによって検出可能である信号を環境に放出する。信号は、たとえば、住宅300内で定常的である光学または音響信号である。たとえば、モバイル清掃ロボット102が住宅300中でナビゲートする間に送信ユニットが住宅300に狭方向音響信号を送信した場合、コントローラ706は、モバイル清掃ロボット102上の音響受信機が音響信号を受信したときにそれに対して位置特定する。音響信号は、音響受信機が反射された音響信号を検出するように、壁表面に向けられてよく、または音響信号は、音響受信機が音響信号の直接の放出を受信するように、フロア表面に向けられてよい。送信ユニットは、これらの信号のうちの1つまたは複数を住宅300に送信し、モバイル清掃ロボット102は、これらの信号の各々を位置特定特徴として使用する。いくつかの例では、送信ユニットは、感知システム708が検出し、コントローラ706が住宅300内のモバイル清掃ロボット102を位置特定するために使用する狭集束光学ビームを住宅300に放出する。
【0139】
モバイル清掃ロボット102、202、103のためのワイヤレス通信システムは、図1から図4に示すように、モバイル清掃ロボット102、202、103とリモートコンピューティングシステム204との間、またはモバイル清掃ロボット102、202、103とモバイルコンピューティングデバイス104との間のデータの送信を可能にする。リモートコンピューティングシステム204は、モバイル清掃ロボット102の環境から離れている、たとえば、住宅300から離れている計算リソースを含むように構成され得る。たとえば、図4に示すように、リモートコンピューティングシステム204は、モバイル清掃ロボット202、103の各々との通信リンクを確立する1つまたは複数のサーバコンピュータ402を含むことができる。1つまたは複数のサーバコンピュータ402は、いくつかの例では、1つまたは複数の離れて位置するサーバコンピュータのネットワーク(「クラウド」コンピューティングネットワーク404)に接続される。リモートコンピューティングシステム204は、たとえば、通信ネットワークを通じて維持されアクセス可能なプロセッサ、ストレージ、およびデータベースのコンピューティングインフラストラクチャとして実装されたネットワークアクセス可能コンピューティングプラットフォームの一部分を含む。リモートコンピューティングシステムは、システムの物理的ロケーションおよび構成をユーザ10が熟知していることを求めず、リモートコンピューティングシステムは、リモートコンピューティングシステム204によって実行されるルーチンまたはリモートコンピューティングシステム204によって提供されるサービスをユーザ10が熟知していることを求めない。リモートコンピューティングシステム204は、モバイルロボット識別データおよび関連ユーザデータを記憶するための1つまたは複数のデータベースを含むことができる。
【0140】
モバイル清掃ロボット102のためのデッドレコニングおよび/または位置特定センサは、モバイル清掃ロボット102を位置特定するために特徴が抽出され得る信号を生成するセンサを含むことができる。デッドレコニングおよび/または位置特定センサは、代替または追加として、モバイル清掃ロボット102から離れているセンサ、たとえば、リンクされたデバイス328A、328B上のセンサを含む。
【0141】
モバイル清掃ロボット102は、リモートデッドレコニングセンサによって検出可能な信号を放出することができ、それにより、モバイル清掃ロボット102が環境であちこちナビゲートする間のモバイル清掃ロボット102の相対的位置および/または方向の変化が、これらのセンサからの出力を使用して推定される。
【0142】
リンクされたデバイス328A、328B(たとえば、ネットワーク接続されたデバイス)は、いくつかの実装形態では、永続マップの正確性を改善するためにリモートコンピューティングシステム204およびモバイル清掃ロボット102によってアクセスされる情報を生成することができる。リンクされたデバイス328A、328Bは、音響センサ、画像キャプチャシステム、または特徴が抽出され得る信号を生成する他のセンサなど、住宅300内の特徴を検出するセンサを含む。いくつかの例では、リンクされたデバイス328A、328Bは、センサ信号から導出された情報をリモートコンピューティングシステム204に送信する。リモートコンピューティングシステム204は、これらの特徴に関係する情報を永続マップ上の特徴と相関付ける。
【0143】
いくつかの実装形態では、リンクされたデバイス328A、328Bは、ロボット102によって維持される永続マップと比較される住宅300の部分のそれら自体のマップを生成する。リンクされたデバイス328A、328Bは、たとえば、カメラ、光学センサ、測距センサ、音響センサ、またはリンクされたデバイス328A、328Bの環境のマップを形成するために使用される信号を生成する他のセンサを含む。いくつかの例では、リンクされたデバイス328A、328Bは、マップを形成するために互いに協力する。
【0144】
リンクされたデバイス328A、328Bはまた、モバイル清掃ロボット102上のセンサによって受信された信号を放出し得る。モバイル清掃ロボット102は、リンクされたデバイス328A、328Bからの信号に応答してそのセンサによって生成された信号を使用して、モバイル清掃ロボット102の位置を三角測量する。放出される信号は、たとえば、光学信号、音響信号、ワイヤレス信号、および環境中を伝搬するのに伴って強度が変化する他の検出可能信号であり得る。
【0145】
いくつかの実装形態では、モバイル清掃ロボット102の動作中、モバイル清掃ロボット102のための感知システムは、モバイル清掃ロボット102に関連するエラーステータスを検出し得る。リモートコンピューティングシステム116は、エラーステータスの指示を受信し、ユーザ10にメッセージを送り、エラーステータスの根本を是正するようユーザ10に提案することができる。
【0146】
本書で説明するプロセスの各々に関する動作は、分散的な方法で実行されてよい。たとえば、リモートコンピューティングシステム204、モバイル清掃ロボット102、およびモバイルコンピューティングデバイス104は、互いに協力して動作のうちの1つまたは複数を実行し得る。リモートコンピューティングシステム204、モバイル清掃ロボット102、およびモバイルコンピューティングデバイス104のうちの1つによって実行されるものとして説明される動作は、いくつかの実装形態では、リモートコンピューティングシステム204、モバイル清掃ロボット102、およびモバイルコンピューティングデバイス104のうちの2つ以上によって少なくとも部分的に実行され得る。
【0147】
図9は、認識モジュール122(図1)におけるニューラルネットワーク124として使用され得る畳み込みニューラルネットワーク900の例示的なアーキテクチャを示す。この例では、ニューラルネットワーク900は、4つの畳み込みレイヤ、3つの平均プーリングレイヤ、および2つの完全接続レイヤを含む。図9に示す例では、ネットワーク900への入力は、チェアのビューを含む画像である。ニューラルネットワーク900がチェアを認識するようにトレーニングされる場合、ネットワーク900の出力は、画像中のオブジェクトがチェアであることを示す。
【0148】
図10は、認識モジュール122(図1)におけるニューラルネットワーク124として使用され得る畳み込みニューラルネットワーク1000の別の例示的なアーキテクチャを示す。この例では、あらゆる特徴マップ出力は、画像にフィルタを適用した結果であり、新しい特徴マップは次の入力となる。ニューラルネットワークは、いくつかの畳み込みレイヤ、平均プーリングレイヤ、および完全接続レイヤを含む。図10の例では、入力画像1002は、チェアのビューを含む画像である。ネットワーク1000の出力1004は、画像中のオブジェクトがチェアである可能性が最も高いことを示す。
【0149】
いくつかの実装形態では、ロボット102がカメラ120を使用して住宅300内のロボット102の周囲の画像をキャプチャし、オブジェクトを認識することで、ロボット102が様々なタスクを実行するのを助けること、またはマップ116上のロボット102のロケーションを決定することができる。図11を参照すると、モバイルロボット102が住宅300であちこち動き、清掃タスクを実行するのに伴って、モバイルロボット102は、モバイルロボット102がカメラ120を通して見る様々な目印を含めるためにマップを更新する。たとえば、目印は、模様1100、QRコード(登録商標)1102、およびビーコン1104のうちの1つまたは複数を含み得る。モバイルロボット102は、目印を認識し、それらをマップ116上に配置する。
【0150】
いくつかの例では、ユーザ10はモバイルロボット102に、特定の目印(たとえば、1100、1102、1104)が特定の部屋にあることを知らせることができる。このようにして、ロボット102が特定の目印を見たとき、ロボット102は、それが特定の部屋にあることを知る。たとえば、第1の目印が部屋302Aに配置されていることがあり、第2の目印が部屋302Bに配置されていることがあり、第3の目印が部屋302Cに配置されていることがあり、第4の目印が部屋302Dに配置されていることがある。部屋302Aの中のベッド306がラベル「ベッド」に関連付けられることをユーザ10がロボット102に知らせたいと思っていると仮定する。ユーザ10は、モバイルコンピューティングデバイス104のカメラ132を使用して、部屋302Aの中の目印の第1の画像を撮り、ベッド306の第2の画像を撮り、画像中のオブジェクトが「ベッド」であることを識別するラベルを提供し、第1および第2の画像ならびにラベルをロボット102に送ることができる。ロボット102は、第1の画像中の目印を認識するので、第2の画像中のオブジェクトが部屋302Aにあることを知る。ユーザによって提供されたラベルに基づいて、ロボット102は、第2の画像中のオブジェクトが部屋302Aの中の「ベッド」であることを知る。
【0151】
モバイルコンピューティングデバイス104上で実行されている拡張現実モジュール140は、仮想空間を生成し、ユーザが存在する現実世界空間と視覚的仮想内容を有する仮想空間との間の対応関係を、視覚慣性オドメトリ技法を使用して追跡することができ、動きセンサからの情報が、1つまたは複数のカメラによってキャプチャされたシーン画像のコンピュータビジョン分析と結び付けられる。視覚的内容が生のカメラ画像とともに表示される場合、ユーザは、視覚的内容が現実世界の一部であるという錯覚により拡張現実を体験する。拡張現実モジュール140は、どのオブジェクトがユーザ10によってラベル設定されているかをロボット102が判断するのを助けるために使用され得る。拡張現実セッションでは、拡張現実モジュール140は、仮想空間の座標系を確立し、仮想空間と現実世界空間との間の対応関係を追跡する。
【0152】
いくつかの実装形態では、ユーザ10は、モバイルコンピューティングデバイス104上で実行されている拡張現実モジュール140を使用して、住宅300内のオブジェクト(たとえば、チェア)の仮想空間座標を決定し、モバイル清掃ロボット102の仮想空間座標を決定し、仮想空間におけるモバイル清掃ロボット102の方向角を決定することができる。仮想空間と現実世界との間の対応関係を理由に、モバイル清掃ロボット102は、モバイル清掃ロボット102に対する住宅300内のオブジェクト(たとえば、チェア)の現実世界位置を、モバイル清掃ロボット102に対するオブジェクトの仮想空間位置に基づいて決定することができる。同様に、モバイル清掃ロボット102は、現実世界における基準方向に対するモバイル清掃ロボット102の方向角を、仮想空間における対応する基準方向に対するモバイル清掃ロボット102の方向角に基づいて決定することができる。
【0153】
いくつかの例では、モバイルコンピューティングデバイス104は、モバイル清掃ロボット102に対するオブジェクト(たとえば、チェア)の位置を、仮想空間におけるオブジェクト(たとえば、チェア)の座標と仮想空間におけるモバイル清掃ロボット102の座標との間の差に基づいて決定する。モバイルコンピューティングデバイス104はモバイル清掃ロボット102に、オブジェクト(たとえば、チェア)の相対的位置についての情報およびモバイル清掃ロボット102の方向角についての情報を送る。オブジェクト(たとえば、チェア)の相対的位置についての情報およびモバイル清掃ロボット102の方向角についての情報に基づいて、モバイル清掃ロボット102は、オブジェクト(たとえば、チェア)の位置を決定し、オブジェクトにナビゲートすることができる。
【0154】
いくつかの例では、モバイルコンピューティングデバイス104は、オブジェクト(たとえば、チェア)の仮想空間座標、モバイル清掃ロボット102の仮想空間座標、および仮想空間における基準方向に対するモバイル清掃ロボット102の方向角をモバイル清掃ロボット102に送る。受信された情報に基づいて、モバイル清掃ロボット102は、オブジェクト(たとえば、チェア)の相対的座標を決定し、オブジェクトにナビゲートする。
【0155】
たとえば、モバイルコンピューティングデバイス104は、拡張現実モジュール140を使用して、フロア表面に対して平行で、フロア表面上にある仮想平面を決定する。仮想平面は、仮想空間の座標系におけるx-y平面に対応する。モバイルコンピューティングデバイス104は、拡張現実モジュール140を使用して、オブジェクト(たとえば、チェア)が仮想空間における座標(x1,y1,0)にあり、モバイル清掃ロボット102が仮想空間における座標(x2,y2,0)にあり、モバイル清掃ロボットの方向角が+x軸に対してθ度であると判断する。モバイルコンピューティングデバイス104は、モバイル清掃ロボット102に関連情報を送る。モバイル清掃ロボット102は、オブジェクトがロボット102の現在のヘッディングに対して時計回りで
度の方向にあり、ロボット102に対して
の距離にあると判断する。したがって、ユーザ10がオブジェクトを「チェア」として識別した場合、モバイルロボット102は、ロボット102の現在のヘッディングに対して時計回りで
度の方向にあり、ロボット102に対して
の距離にあるオブジェクトがラベル「チェア」に関連付けられることがわかる。拡張現実モジュール140は、ユーザ10が現実世界オブジェクトについての情報をモバイルロボット102に伝達するための便利な機構を提供する。
【数1】
【数2】
【数3】
【数4】
【0156】
いくつかの実装形態では、モバイルコンピューティングデバイス104は、ユーザ10が容易に住宅300内のオブジェクトを識別し、モバイル清掃ロボット102を識別することができるように、たとえば、タッチスクリーンディスプレイ上にユーザインターフェース1364を提供する。たとえば、ユーザ10は、モバイルコンピューティングデバイス104のカメラ132を、ユーザ10が識別する(すなわち、ロボット102にラベルを提供する)つもりであるオブジェクト(たとえば、チェア)に向け、オブジェクトを含むシーンの画像がタッチスクリーンディスプレイ上に示される。ユーザ10は、オブジェクトを識別するためにタッチスクリーンディスプレイ上の画像中のスポットをタッチすることによって、タッチ入力を行う。拡張現実モジュール140は、画像分析を実行して、ユーザ10によって識別された画像中のスポットに対応する現実世界における第1の点を決定し、仮想空間座標系における第1の点の座標を決定する。次いで、ユーザ10はモバイルコンピューティングデバイス104を、モバイル清掃ロボット102の近くに動かす。ユーザ10が、識別されるオブジェクト(たとえば、チェア)の近くからモバイル清掃ロボット102の近くに移動する中、拡張現実モジュール140は、カメラ132によってキャプチャされた画像および動きセンサ134によって提供された動き感知データを分析し続け、視覚慣性オドメトリ技法を使用して、現実世界におけるモバイルコンピューティングデバイス104の位置および方向を決定する。
【0157】
ユーザ10は、モバイルコンピューティングデバイス104のカメラ132をモバイル清掃ロボット102に向け、モバイル清掃ロボット102の画像がタッチスクリーンディスプレイ上に示される。いくつかの実装形態では、システムは、(たとえば、たとえばモバイルロボットを認識するようにトレーニングされているニューラルネットワークを有する深層機械学習モジュールを使用して)カメラ132によってキャプチャされたシーン画像を分析し、ユーザ10からのさらなる入力なしにモバイル清掃ロボット102を自律的に認識する。拡張現実モジュール140は、画像分析を実行して、画像中のモバイル清掃ロボット102の点、たとえば中心に対応する現実世界における第2の点を決定し、仮想空間の座標系における第2の点の座標を決定する。システムは、第1の点の座標および第2の点の座標をモバイル清掃ロボット102に送ることができ、モバイル清掃ロボット102は、第2の点に対する第1の点の位置を決定することができる。代替的に、システムは、第1の点の座標と第2の点の座標との間の差に基づいて、第2の点に対する第1の点の位置を決定し、相対的位置情報をモバイル清掃ロボット102に送ることができる。
【0158】
いくつかの実装形態では、システムは、モバイル清掃ロボット102がある方向、たとえば、+x軸および+y軸に整合するように、ユーザ10がモバイル清掃ロボット102を手動で回転してモバイル清掃ロボット102の方向角を変更することができるように、ユーザインターフェースを提供する。いくつかの実装形態では、システムは、カメラ132によってキャプチャされたシーン画像を分析し、ユーザからのさらなる入力なしにモバイル清掃ロボット102の方向角を自動的に認識する。モバイルコンピューティングデバイス104はモバイル清掃ロボット102に、識別されるオブジェクト(たとえば、チェア)の相対的位置(またはモバイル清掃ロボット102の座標およびオブジェクトの座標)についての情報およびモバイル清掃ロボット102の方向角についての情報を送る。オブジェクトの相対的位置(またはモバイル清掃ロボット102の座標およびオブジェクトの座標)についての情報およびモバイル清掃ロボット102の方向角についての情報に基づいて、モバイル清掃ロボット102は、オブジェクトのロケーションを決定し、オブジェクトにナビゲートし、ユーザが提供したラベルをそのオブジェクトに関連付けることができる。
【0159】
いくつかの実装形態では、モバイルコンピューティングデバイス104は、モバイル清掃ロボット102を認識するように構成された第1のニューラルネットワーク(たとえば、畳み込みニューラルネットワーク)を有する第1の画像検出モジュールを含む。第1のニューラルネットワークは、モバイル清掃ロボット102または同じモデルの他のモバイル清掃ロボットのいくつかの画像を使用してトレーニングされる。トレーニング画像は、モバイル清掃ロボット102に対する様々な距離、モバイル清掃ロボット102に対する様々な視野角から、様々な照明条件下で撮られたモバイル清掃ロボット102の画像を含む。これにより、トレーニングされたニューラルネットワークが、様々な照明条件下で、かつユーザがモバイル清掃ロボット102に対する(一定の範囲内の)任意の距離および任意の視野角でモバイルコンピューティングデバイス104のカメラ132を持つことができる様々な状況下で、モバイル清掃ロボット102を認識することが可能になる。
【0160】
いくつかの実装形態では、モバイルコンピューティングデバイス104は、モバイル清掃ロボット102の方向角を認識するように構成された第2のニューラルネットワークを有する第2の画像検出モジュールを含む。第2のニューラルネットワークは、モバイル清掃ロボット102が様々な角度で方向付けられている、モバイル清掃ロボット102または同じモデルの他のモバイル清掃ロボットのいくつかの画像を使用してトレーニングされる。トレーニング画像は、モバイル清掃ロボット102に対する様々な距離、モバイル清掃ロボット102に対する様々な視野角から、様々な照明条件下で撮られたモバイル清掃ロボット102の画像を含む。これにより、トレーニングされたニューラルネットワークが、様々な照明条件下で、かつユーザがモバイル清掃ロボット102に対する(一定の範囲内の)任意の距離および任意の視野角でモバイルコンピューティングデバイス104のカメラ132を持つことができる様々な状況下で、モバイル清掃ロボット102の方向角を認識することが可能になる。
【0161】
いくつかの実装形態では、拡張現実セッション中に、ユーザ10は、住宅300内の(同じ平面にない)3つ以上の目印およびオブジェクト(たとえば、チェア)を識別し、拡張現実モジュール140は、仮想空間における目印およびオブジェクト(たとえば、チェア)の座標を決定する。モバイルコンピューティングデバイス104はロボット102に、目印の座標およびオブジェクト(たとえば、チェア)の座標を送る。
【0162】
上記で説明したように、ロボット102が住宅300であちこち動き、清掃タスクを実行するとき、ロボット102は、ロボット102がカメラ120を通して見る様々な目印を含めるためにマップ116を更新する。ロボット102は、ロボット座標系における目印の座標がわかる。目印についての情報を使用することによって、ロボット102は、オブジェクトの位置を決定するために座標変換または三角測量を実行することができる。3D仮想空間座標系における3つ以上の目印の座標および3Dロボット座標系における目印の座標に基づいて、ロボット102は、3D仮想空間座標系と3Dロボット座標系との間の変換を決定することができる。仮想空間座標系におけるオブジェクト(たとえば、チェア)の座標を踏まえ、仮想空間座標系とロボット座標系との間の変換についての情報に基づいて、ロボット202は、ロボット座標系におけるオブジェクト(たとえば、チェア)の座標を決定することができる。したがって、ユーザが拡張現実モジュール140を使用してオブジェクトを「チェア」として識別した場合、ロボット102は、どのオブジェクトがユーザ10によって「チェア」としてラベル設定されているかを判断することができる。
【0163】
ロボット102が目印までのオブジェクトの距離を知っている場合、ロボット102は、3D三角測量を使用して3つ以上の目印に対するオブジェクトのロケーションを決定することができる。たとえば、仮想空間座標系における目印およびオブジェクト(たとえば、チェア)の座標の情報を使用して、ロボット102は、オブジェクト(たとえば、チェア)から各目印までの距離を決定することができる。ロボット座標系における目印の座標についての情報およびオブジェクト(たとえば、チェア)から目印の各々までの距離についての情報を使用して、ロボット102は、三角測量によってロボット空間座標系におけるオブジェクト(たとえば、チェア)の座標を決定することができ、したがって、どのオブジェクトがユーザ10によって「チェア」としてラベル設定されているかを判断することができる。
【0164】
図12を参照すると、いくつかの実装形態では、目印は小さくされ、目立たないロケーションに配置され得る。たとえば、天井に取り付けられた火災検出器1204上にQRコード1202が配置され得る。別の例として、埋め込み天井ライトの枠にQRコードが配置され得る。天井の選択されたロケーションに複数のQRコードが配置され得る。天井またはその近くにQRコード1202および他の目印を配置することによって、目印は、住宅300の装飾にほとんど影響を与えず、さほどユーザ10の気を散らさなくなる。ロボット102には、ロボット102が天井またはその近くにある目印を検出できるようにする高解像度カメラまたはズームレンズが設けられる。ロボット102が住宅300内で動くのに伴って、同時位置特定およびマッピング(SLAM)センサは、目印(たとえば、QRコード1202)を含む、天井またはその近くにあるオブジェクトのロケーションを追跡する。
【0165】
たとえば、ロボット102およびオブジェクトの座標を決定するために拡張現実モジュール140が使用されるとき、ロボット管理プログラム142がユーザ10に、天井のQRコード1202などの目印を走査するよう促す。拡張現実モジュール140は、天井の目印の座標を決定し、その情報を使用して、仮想空間座標系をロボット102と共有するのを支援する。このようにして、ユーザ10が仮想空間におけるオブジェクトを識別し、拡張現実モジュール140が仮想空間におけるオブジェクトの座標を決定したとき、ロボット102は、どのオブジェクトがユーザ10によって識別されているかを判断することができる。
【0166】
たとえば、拡張現実モジュール140を使用して、ユーザ10は、住宅300であちこち歩き、モバイルコンピューティングデバイス104のカメラ132を様々なオブジェクトに向けることができ、オブジェクトの画像がモバイルコンピューティングデバイス104のタッチスクリーンディスプレイ上に現れる。ユーザ10は、チェアなどの画像中のオブジェクトをタップし、ユーザインターフェース136を通じてラベル「チェア」を提供する。拡張現実モジュール140は、仮想空間におけるチェアの座標を決定する。モバイルコンピューティングデバイス104は、チェアの仮想空間座標およびラベル「チェア」をロボット102に送る。座標変換または三角測量を使用して、ロボット102は、「チェア」としてラベル設定されているオブジェクトのロボット空間座標を決定する。次回ロボット102がチェアの近くでナビゲートするとき、ロボット102は、ユーザ10によって提供されたラベル「チェア」にオブジェクトが関連付けられることを知っている。同様にして、ユーザは、住宅300内の他のオブジェクトにラベルを迅速に提供することができ、ロボット102は、どのラベルがどのオブジェクトに当てはまるかを判断することが可能になる。
【0167】
いくつかの実装形態では、ユーザ10は、住宅300内のオブジェクトに特性を割り当てることができ、モバイルロボット102は、特性を考慮してタスクを実行することができる。たとえば、ユーザ10は、花瓶またはある種の木製家具などのいくつかのオブジェクトが「ノータッチ」特性を有することを示すことができる。モバイルロボット102が「ノータッチ」特性に関連するオブジェクトに遭遇したとき、ロボット102は、ロボット102がオブジェクトの損傷を回避するためにオブジェクトに接触しないように、オブジェクトの近くで「ノータッチ」ナビゲーションモードを使用し得る。
【0168】
図13を参照すると、いくつかの実装形態では、ロボット管理プログラム142は、ユーザ10に示されるマップ144上に追加情報をオーバーレイする。たとえば、ロボット102が住宅300であちこち動く中、ロボット102は、住宅300内の様々なロケーションにおけるWi-Fi信号強度を決定し、その情報を記録する。ロボット102は、様々なロケーションにおけるWi-Fi信号強度についての情報をモバイルコンピューティングデバイス104に送信し、ロボット管理プログラム142は、その情報を使用して、Wi-Fiヒートマップ1302を生成する。Wi-Fiヒートマップ1302は、より強いWi-Fi信号を有する住宅300内の領域、およびより弱いWi-Fi信号を有する住宅300内の領域を示す。Wi-Fiヒートマップ1302は、ユーザ10が最適なロケーションにWi-Fiルータが配置されているかどうかを判断し、電子デバイスがより強いWi-Fi信号を受信できるようにデバイスを住宅300内のどこに配置すべきかを判断するのを助けることができる。
【0169】
図14を参照すると、ロボット102は、ユーザ10のカレンダー1402からの情報を使用してタスクを知的にスケジュールすることができる。いくつかの実装形態では、ロボット102は、ユーザ10のカレンダー1402へのアクセスを求める要求1404をモバイルコンピューティングデバイス104に送る。モバイルコンピューティングデバイス104は、カレンダー1402をロボット102に送る。ユーザ10は、モバイルコンピューティングデバイス104とロボット102との間のカレンダーの共有を以前に承諾していることを理解されたい。カレンダー1402は、12月31日、日曜日の5pmから1amの新年会、および1月6日、土曜日の12pmから3pmの家族の集いがあることを示すカレンダーエントリ1406を含む。
【0170】
タスクスケジューラ112は、カレンダー情報1402を考慮して清掃タスクをスケジュールする。たとえば、タスクスケジューラ112は、住宅が12月31日の5pmに新年会を開始する態勢を整えることができるように、その日の4pmまでに終了するように第1フロアの部屋の清掃タスクをスケジュールし得る。タスクスケジューラ112は、住宅が1月6日の正午に家族の集いを開始する態勢を整えることができるように、その日の11amまでに終了するように第1フロアの部屋の清掃タスクをスケジュールし得る。
【0171】
図15を参照すると、状況認識のための人工知能を有するモバイルロボットを動作させるためのプロセス1500が提供される。たとえば、モバイルロボットは、図1のロボット102などのモバイル清掃ロボットであり得る。プロセス1500は、モバイルロボット上の1つまたは複数のカメラを使用して、フロア表面上の環境の部分を含む画像をキャプチャすること1502を含む。たとえば、カメラは、カメラ120(図1)であってよく、画像は、住宅内の部屋の画像であってよい。
【0172】
プロセス1500は、認識モジュールを使用して、キャプチャされた画像に基づいて環境内のオブジェクトを認識すること1504を含み、認識モジュールは、以前キャプチャされた画像を少なくとも部分的に使用してトレーニングされる。たとえば、認識モジュールは、図1の認識モジュール122であり得る。
【0173】
プロセス1500は、環境のマップを生成することを含む。たとえば、マップはマップ116であり得る。
【0174】
プロセス1500は、マップを使用して環境内でナビゲートするようにモバイルロボットを制御し、認識モジュールによって認識されたオブジェクトを考慮してタスクを実行することを含む。たとえば、モバイルロボットは、清掃ヘッド128を含み、清掃されている部屋の中のオブジェクトを考慮して清掃タスクを実行することができる。
【0175】
いくつかの実装形態では、認識モジュール122は、ウェブアドレス「https://arxiv.org/pdf/1506.02640v5.pdf」で入手可能な、Joseph Redmon、Santosh Divvala、Ross Girshick、およびAli Farhadiによる記事「You Only Look Once: Unified, Real-Time Object Detection」で説明されているYOLO(You Only Look Once)検出システムに基づく。YOLO検出システムについての追加情報は、ウェブアドレス「http://pjreddie.com/yolo」で確認できる。
【0176】
認識モジュール122は、(たとえば、ニューラルネットワーク124による後続処理に適した画像サイズに)入力画像のサイズを変更し、複数のバウンディングボックスおよびそれらのボックスのクラス確率を同時に予測するために、画像上に畳み込みニューラルネットワークを適用し、モデルの信頼度に基づいて、得られた検出にしきい値を適用する。認識モジュール122の出力は、バウンディングボックスにおいて検出されたオブジェクトに関連するラベルを含む。ニューラルネットワーク124は、オブジェクトのビューを含む全画像に対してトレーニングされ、検出性能を直接最適化する。
【0177】
認識モジュール122は、予測を行うときに画像全体からの情報を使用する。ニューラルネットワーク124は、トレーニングおよびテストの時間中にオブジェクトのビューを含む画像全体を見るので、ニューラルネットワーク124は、オブジェクトのクラスおよびそれらの外観についての文脈情報を暗黙的に符号化する。認識モジュール122は、オブジェクト、たとえば、住宅でよく見られるテーブル、チェア、およびドアの一般化可能な表現を学習する。認識モジュール122は、各バウンディングボックスを予測するために画像全体からの特徴を使用する畳み込みニューラルネットワークを使用する。ニューラルネットワークは、同時に画像に対してクラスにわたってバウンディングボックスを予測する。ニューラルネットワークは、完全な画像および画像中の様々なオブジェクトについて大域的に推理する。
【0178】
認識モジュール122は、高い平均精度を維持しつつエンドツーエンドのトレーニングおよびリアルタイムの速度を可能にする。認識モジュール122は、入力画像を格子に分割する。オブジェクトの中心が格子細胞に入る場合、格子細胞は、オブジェクトを検出することを担当する。各格子細胞は、バウンディングボックスおよびボックスの信頼度スコアを予測する。信頼度スコアは、ボックスがオブジェクト(たとえば、チェア)を含むことについて、モデルがどのくらい確かであるか、また格子細胞によって何が予測されるかについて、ボックス内のオブジェクトがどのくらい正確であるかを反映する。オブジェクトが細胞に存在しない場合、信頼度スコアはゼロとなるはずであり、そうでない場合、信頼度スコアは、予測ボックスとグラウンドトゥルースとの間のIntersection Over Union(IOU)に等しい。
【0179】
各バウンディングボックスは、5つの予測であるx、y、w、h、および信頼度を含む。(x; y)座標は、格子細胞の境界に対するボックスの中心を表す。幅および高さは、画像全体に対して予測される。信頼度予測は、予測ボックスと任意のグラウンドトゥルースボックスとの間のIOUを表す。
【0180】
各格子細胞はまた、条件付きクラス確率を予測する。これらの確率は、格子細胞がオブジェクトを含むことを条件とする。格子細胞ごとに、クラス確率の1つのセットが予測される。
【0181】
テスト時間に、条件付きクラス確率と個々のボックスの信頼度予測とが乗算され、ボックスごとのクラス固有の信頼度スコアがもたらされる。これらのスコアは、クラスがボックスに現れる確率と予測ボックスがオブジェクト(たとえば、チェア)に適合する度合いの両方を符号化する。
【0182】
図16は、例示的なマルチレイヤ畳み込みニューラルネットワーク124の図である。図に示すネットワーク124の構成は例にすぎず、ネットワーク124のパラメータは、適用例に応じて変わり得る。たとえば、レイヤの数および入力画像サイズは、適用例ごとに異なり得る。ニューラルネットワーク124は、次のようにトレーニングされ得る。入力レイヤで開始して、トレーニングデータのパターンは、出力を生成するためにネットワークを通じて順方向伝搬される。ネットワークの出力に基づいて、コスト関数を使用して誤差が計算され、トレーニングプロセスは誤差を最小化しようとする。誤差は逆伝搬され、ネットワークにおける各重みに関する誤差の導関数が計算され、ネットワークは更新される。ニューラルネットワーク124がトレーニングされた後、1つまたは複数のオブジェクト(たとえば、チェアおよびテーブル)を含む新しい画像(たとえば、1602)が、ネットワークに入力として提供され、ネットワーク出力を計算するために順方向伝搬され、予測クラスラベル(たとえば、チェア、テーブル、ベッドなど)を取得するためにしきい値関数が適用される。出力画像1604は、予測ラベルを有するバウンディングボックス1606によって境界を画定されたオブジェクトを含む。
【0183】
以下では、ニューラルネットワーク124についてより詳細に説明する。オブジェクト検出は、画像ピクセルからバウンディングボックス座標およびクラス確率へ単回帰として処理される。一般に、入力画像は格子に分割され、格子細胞ごとに、バウンディングボックスが生成され、バウンディングボックスのクラス確率が決定される。ネットワークの最初の畳み込みレイヤは、画像から特徴を抽出する一方、完全接続レイヤは、出力確率および座標を予測する。ネットワークは、いくつかの(たとえば、24個の)畳み込みレイヤを有し、その後にいくつかの(たとえば、2個の)完全接続レイヤが続く。畳み込みレイヤは、様々なオブジェクト(たとえば、ベッド、チェア、テーブル、ソファー、冷蔵庫、ドア、窓、階段、テレビ)のビューを含む画像を使用して事前にトレーニングされる。オブジェクトごとに、様々な視野角、様々な見える距離から、様々な照明条件でいくつかの画像が計算されている。トレーニング画像は、一般的な住宅でオブジェクトが発見され得る多種多様な状況をカバーする。
【0184】
最後のレイヤは、クラス確率とバウンディングボックス座標の両方を予測する。バウンディングボックスの幅および高さは、0から1の間に入るように、画像の幅および高さによって正規化される。バウンディングボックスのxおよびy座標は、同じく0から1の間で境界を画定されるように、特定の格子細胞ロケーションのオフセットとなるようにパラメータ化される。線形活性化関数が最後のレイヤに使用され、他のレイヤは漏洩正規化線形活性化(leaky rectified linear activation)を使用する。モデルの出力は、出力における平方和誤差に対して最適化される。バウンディングボックス座標予測からの損失は増加し、オブジェクトを含まないボックスの信頼度予測からの損失は減少する。平方和誤差は、大きいボックスおよび小さいボックスにおける誤差を等しく重み付けする。誤差メトリックは、大きいボックスにおける小さい偏差が小さいボックスの場合ほど重要ではないことを反映する。バウンディングボックスの幅および高さの平方根が予測される。ニューラルネットワークは、格子細胞ごとに複数のバウンディングボックスを予測する。トレーニング時間に、1つのバウンディングボックス予測子が各オブジェクトを担当する。1つの予測子が、どの予測がグラウンドトゥルースとの最高の現在のIntersection Over Union(IOU)を有するかに基づいてオブジェクトを予測することを「担当する」ように割り当てられる。これは、バウンディングボックス予測子の間の特殊化につながる。各予測子は、オブジェクトのいくつかのサイズ、アスペクト比、またはクラスを予測するのがうまくなり、全体的な呼び起こし(recall)が改善される。オブジェクトが格子細胞に存在する場合、損失関数は分類誤差にペナルティを科す。また、予測子がグラウンドトゥルースボックスを「担当する」(すなわち、格子細胞における任意の予測子の最高IOUを有する)場合、損失関数は、バウンディングボックス座標誤差にペナルティを科す。
【0185】
上述の認識モジュール122のアーキテクチャは、例にすぎず、認識モジュール122は、いくつかの方法で変更されてよい。たとえば、畳み込みレイヤの数は変更され得る。いくつかの例では、認識モジュール122は、Fast YOLOアーキテクチャに基づいてよく、Fast YOLOアーキテクチャがより少ない畳み込みレイヤ(たとえば、24個の代わりに9個のレイヤ)およびレイヤにおけるより少ないフィルタを使用することで、認識速度が速くなる。認識モジュール122は、「https://arxiv.org/pdf/1612.08242v1.pdf」で入手可能な、Joseph RedmonおよびAli Farhadiによる記事「YOLO9000: Better, Faster, Stronger」において説明されているYOLOv2に基づき得る。認識モジュール122はまた、YOLOv2 544x544、YOLOv2 608x608、またはTiny YOLOモデルに基づき得る。
【0186】
認識モジュール122に他の機械学習技術が使用されてもよい。たとえば、認識モジュール122は、オブジェクト検出に対するスライディングウィンドウ手法を使用する変形可能パーツモデル(DPM:deformable parts model)を使用することができる。認識モジュール122は、画像中のオブジェクトを発見するためにスライディングウィンドウの代わりに領域提案を使用するR-CNNおよびその変形態を使用することができる。認識モジュール122は、Fast R-CNNおよびFaster R-CNNを使用することができ、これは、計算を共有することと、選択的検索の代わりに領域を提案するためにニューラルネットワークを使用することとによって、R-CNNフレームワークを高速化することに焦点を当てている。認識モジュール122は、畳み込みニューラルネットワークが注目領域を予測するようにトレーニングされるDeep MultiBoxを使用することができる。認識モジュール122は、畳み込みニューラルネットワークが位置特定を実行するようにトレーニングされ、ローカライザーが検出を実行するように適合されるOverFeatを使用することができる。認識モジュール122は、把持検出を使用するMultiGraspを使用することができる。
【0187】
本書で説明する自律的モバイルロボットは、1つもしくは複数のデータ処理装置、たとえば、プログラマブルプロセッサ、コンピュータ、複数のコンピュータ、および/もしくはプログラマブル論理構成要素による実行のために、またはそれらの動作を制御するために、1つまたは複数のコンピュータプログラム製品、たとえば、1つまたは複数の非一時的機械可読媒体などの1つまたは複数の情報担体に有形に具現化された1つまたは複数のコンピュータプログラムを少なくとも部分的に使用して制御され得る。
【0188】
本書で説明する自律的モバイルロボットを制御することに関連する動作は、本書で説明する機能を実行するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実行され得る。コンピュータプログラムは、コンパイルまたは翻訳された言語を含む任意の形式のプログラミング言語で書かれてよく、独立プログラムとしての形式、またはモジュール、構成要素、サブルーチンもしくはコンピューティング環境での使用に適した他のユニットとしての形式を含む、任意の形式で展開されてよい。本書で説明するロボットの全部または一部に対する制御は、専用論理回路、たとえばFPGA(フィールドプログラマブルゲートアレイ)および/またはASIC(特定用途向け集積回路)を使用して実装され得る。
【0189】
本書で説明するコントローラは、1つまたは複数のプロセッサを含むことができる。コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般に、プロセッサは、読取り専用記憶領域もしくはランダムアクセス記憶領域またはその両方から命令およびデータを受信する。コンピュータの要素は、命令を実行するための1つまたは複数のプロセッサならびに命令およびデータを記憶するための1つまたは複数の記憶領域デバイスを含む。一般に、コンピュータはまた、ハードドライブ、磁気ディスク、光磁気ディスクもしくは光ディスクなどの1つもしくは複数の機械可読記憶媒体を含み、またはかかる機械可読記憶媒体からデータを受信し、もしくはかかる機械可読記憶媒体にデータを転送し、もしくはその両方を行うように動作可能に接続される。コンピュータプログラム命令およびデータを具現化するのに適した機械可読記憶媒体は、例として、半導体ストレージデバイス、たとえば、EPROM、EEPROM、およびフラッシュストレージデバイス、磁気ディスク、たとえば、内部ハードディスクまたは取り外し可能ディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む、様々な形式の不揮発性記憶領域を含む。
【0190】
上記で説明した状況認識のためのロボット人工知能を可能にするためのプロセスは、1つもしくは複数のモバイルコンピューティングデバイス、1つもしくは複数のモバイルロボット、および/または1つもしくは複数のリモートコンピューティングシステム上での実行のためにソフトウェアを使用して実装され得る。たとえば、ソフトウェアは、各々が少なくとも1つのプロセッサ、(揮発性および不揮発性メモリおよび/または記憶要素を含む)少なくとも1つのデータストレージシステム、少なくとも1つのワイヤードまたはワイヤレス入力デバイスまたはポート、および少なくとも1つのワイヤードまたはワイヤレス出力デバイスまたはポートを含む、モバイルロボット、モバイルコンピューティングデバイス、または(分散型、クライアント/サーバ、または格子などの様々なアーキテクチャを有し得る)リモートコンピューティングシステムのいずれかにおける、1つまたは複数のプログラムされたコンピュータシステムまたはプログラマブルコンピュータシステム上で実行される1つまたは複数のコンピュータプログラムにおける手順を形成する。ソフトウェアは、たとえば、住宅の清掃セッションおよびセキュリティ監視など、住宅の動作を管理することに関係する他のサービスを提供する、より大きいプログラムの1つまたは複数のモジュールを形成し得る。
【0191】
ソフトウェアは、CD-ROM、DVD-ROM、ブルーレイディスクなど、汎用もしくは専用プログラマブルコンピュータによって読取り可能な媒体上に設けられること、またはソフトウェアが実行されるコンピュータにネットワークを介して配信される(伝搬される信号において符号化される)ことがある。機能は、専用コンピュータ上で、またはコプロセッサなどの専用ハードウェアを使用して実行され得る。ソフトウェアは、ソフトウェアによって指定された計算の異なる部分が異なるコンピュータによって実行される分散的な方法で実装され得る。そのような各コンピュータプログラムは好ましくは、汎用または専用プログラマブルコンピュータによって読取り可能な記憶媒体またはストレージデバイス(たとえば、ソリッドステートメモリもしくは媒体、または磁気もしくは光学媒体)に、本明細書で説明する手順を実行するためにコンピュータシステムによって記憶媒体またはストレージデバイスが読み取られるときにコンピュータを構成し動作させるために、記憶またはダウンロードされる。本発明のシステムはまた、コンピュータプログラムにより構成された、コンピュータ可読記憶媒体として実装されるものと見なされてよく、そのように構成された記憶媒体はコンピュータシステムに、本明細書で説明する機能を実行するために特定かつ既定の方法で動作させる。
【0192】
本明細書のいくつかの実施形態について説明した。とはいえ、本明細書の趣旨および範囲から逸脱することなく、様々な変更が行われてよいことが理解されよう。たとえば、上記で説明したステップのうちのいくつかは、順序に無関係であってよく、したがって、説明した順序とは異なる順序で実行されてよい。上記の説明は例示的なものであり、添付の特許請求の範囲によって規定される本発明の範囲を限定するものではないことを理解されたい。
【0193】
モバイルコンピューティングデバイス104は、たとえば、スマートウォッチ、スマートカメラ、スマートゴーグル、または上述したモバイルコンピューティングデバイスの機能を実行することが可能である任意の他のポータブルデバイスであり得る。ユーザ10は、様々な方法を使用してオブジェクトを識別することができる。たとえば、ユーザは、ホームロボットおよびモバイル清掃ロボットを有し得る。ホームロボットは、住宅内であちこち動き、自然言語を使用してユーザと対話し得る。ホームロボットは、セキュリティ監視機能ならびに音楽の再生、ユーザの質問への回答、ユーザカレンダーのセットアップ、および住宅内の様々なデバイスの制御などの他のサービスを提供し得る。ユーザは、オブジェクトを指し、ホームロボットに、「これはチェアです」と話しかけることができる。ホームロボットは、カメラを有しており、ユーザが指したオブジェクト(たとえば、チェア)を認識し、オブジェクトの座標を決定し、座標についての情報およびラベル(たとえば、「チェア」)をモバイル清掃ロボットに送ることができる。
【0194】
モバイル清掃ロボット102、103、202は、リモートコンピューティングシステム(たとえば、クラウドストレージデバイス)のストレージデバイスに永続マップを記憶することの代替または追加として、その内部不揮発性ストレージに永続マップを記憶することができる。
【0195】
認識モジュール122は、様々な機械学習技法を使用してトレーニングされ得る。たとえば、入力に対して既知である所望の出力にトレーニングが基づいている教師あり学習技法が実装され得る。教師あり学習は、入力を出力にマッピングし、次いで、以前使用されていない入力に対する出力を推定する試みと見なされ得る。トレーニングが既知の入力から行われるが、未知の出力から行われる教師なし学習技法が使用されてもよい。行われたアクションの結果からシステムが学習すると見なされ得る(たとえば、入力値は既知であり、フィードバックはパフォーマンス測定値を提供する)強化学習モジュールが用いられてもよい。いくつかの構成では、実装される技法は、これらの方法のうちの2つ以上を用い得る。
【0196】
上記で説明したように、ニューラルネットワーク技法は、ロボットおよびそれらの方向角を識別するように自動的に学習するためのトレーニングアルゴリズムを呼び出すためにモバイル清掃ロボットの様々なモデルの画像を使用して実装され得る。そのようなニューラルネットワークは通常、いくつかのレイヤを用いる。レイヤおよびレイヤごとのユニットの数が定義されると、ニューラルネットワークの重みおよびしきい値が通常、ネットワークのトレーニングを通じて予測誤差を最小化するように設定される。誤差を最小化するためのそのような技法は、トレーニングデータに(ネットワークによって表される)モデルを当てはめるものと見なされ得る。誤差を数量化する関数(たとえば、回帰技法において使用される2乗誤差関数)が定義され得る。誤差を最小化することによって、オブジェクト(たとえば、チェアまたはロボット)を識別することが可能である第1のニューラルネットワークが開発されてよく、オブジェクトの方向の角度を決定することが可能である第2のニューラルネットワークが開発されてよい。方向の角度を識別するように第2のニューラルネットワークをトレーニングするとき、方向角の誤差は循環的である(0°から360°の間の範囲にある値を有する)ので、ニューラルネットワークをトレーニングする際に(min(|Delta_error-360|,|360-Delta_error|)^2)などの循環的損失関数が使用され得る。ニューラルネットワーク開発中に他のファクターも考慮され得る。たとえば、モデルが、データを当てはめる(たとえば、関数全体のモデル化が劣化している範囲で曲線を当てはめる)ことをあまりにもきっちりと試みることがある。ニューラルネットワークのそのような過剰な当てはめがモデルトレーニング中に発生することがあり、その影響を低減するために1つまたは複数の技法が実装され得る。
【0197】
トレーニング画像から計算されたデータから認識モジュールをトレーニングするための1つまたは複数の技法が実装され得る。たとえば、認識モジュールのニューラルネットワークは、計算されたデータからコスト関数を定義することによってトレーニングされ得る。一般に、コスト関数は、最適解と比較した解の測定値を提供するものと見なされ得る。教師あり学習を用いる機械学習の場合、コスト関数は、出力とターゲットとの間の(たとえば、誤差を最小化することによる)マッピングを支援すると考えられ得る。教師なし学習を実装して、コスト関数が(たとえば、データの関数として)定義され、出力値を提供するために最小化され得る。人工ニューラルネットワークのトレーニングに関与する技法が、コスト関数を伴う技法を用いることもある。たとえば、コスト関数は、出力値を決定するために関数のパラメータに関して処理される(たとえば、導関数を計算する)ことがある。コスト関数に、関数による過剰な当てはめを打ち消すための正規化成分が追加され得る。機械学習を支援するために、コスト関数は、導関数とともにコストを提供する。
【0198】
通常、機械学習システム(たとえば、図1の認識モジュール122)を準備するために一連のトレーニングサイクルが実行される。トレーニングが完了すると、システムは、画像中のオブジェクト、およびオブジェクトの方向角を検出するために使用され得る。
【0199】
複数の非線形変換から構成される、複雑な構造などを有する、モデルアーキテクチャを使用することによって、データにおける高度抽象化をモデル化することをアルゴリズムのセットが試みる深層機械学習が、認識モジュール122に利用され得る。そのような深層学習技法は、データの表現を学習することに基づくものと見なされ得る。深層学習技法は、特徴抽出および変換のために非線形処理ユニットの多くのレイヤのカスケードを使用するものと見なされ得る。次のレイヤは、以前のレイヤからの出力を入力として使用する。アルゴリズムは、教師あり、教師なし、教師ありと教師なしとの組合せであり得る。本技法は、複数のレベルの特徴またはデータの表現(たとえば、モバイル清掃ロボットの特徴)の学習に基づく。表現の教師ありまたは教師なし学習とともに、非線形処理ユニットの複数のレイヤが各レイヤにおいて用いられてよく、レイヤは、低レベルから高レベルの特徴の階層を形成する。そのようなレイヤを用いることによって、いくつかのパラメータ化された変換が、入力レイヤから出力レイヤにデータが伝搬するのに伴って使用される。
【0200】
他の実施形態も、以下の特許請求の範囲内に入る。
【符号の説明】
【0201】
10 ユーザ
100 知能モバイルロボットシステム
102 モバイル清掃ロボット
103 第2のモバイル清掃ロボット
104 モバイルコンピューティングデバイス
106 コマンド
108 通知メッセージ
110 制御モジュール
112 タスクスケジューラ
114 ストレージデバイス
116 永続マップ
118 ナビゲーションモジュール
120 カメラ
122 認識モジュール
124 ニューラルネットワーク
126 学習モジュール
128 清掃ヘッド
130 データプロセッサ
132 カメラ
136 ユーザインターフェース
138 ストレージデバイス
140 拡張現実ツールキットまたはモジュール
142 モバイルロボット管理プログラム
144 マップ
146 メニュー
150 追加のセンサ
200 知能モバイルロボットシステム
202 モバイル清掃ロボット
204 リモートコンピューティングシステム
206 制御モジュール
210 タスクスケジューラ
212 認識モジュール
214 ニューラルネットワーク
216 学習モジュール
218 コマンド
220 通知メッセージ
300 住宅、空間
302A ベッドルーム
302B ダイニングルーム
302C バスルーム
302D ホームオフィス
304A 戸口
304B 戸口
304C 戸口
306 ベッド
308 エンドテーブル
310 エンドテーブル
312 ダイニングテーブル
314 ダイニングチェア
316 浴槽
318 洗面台
320 トイレ
322 デスク
324 チェア
326 通信リンク
328A リンクされたデバイス
328B リンクされたデバイス
330 オーディオメディアデバイス
332 ドッキングステーション
334 送信ユニット
400 住宅
402 サーバコンピュータ
404 「クラウド」コンピューティングネットワーク
500 フロアランプ
502 ウォールアート
600 第1のソファー
602 第2のソファー
604 コーヒーテーブル
606 暖炉
608 棚
610 グランドピアノ
702 駆動ホイール
704 キャスターホイール
706 コントローラ
708 感知システム
710 画像キャプチャシステム、可視光カメラ
712 オーディオ放出システム
714 マイクロフォン
718 メモリ
720 回転可能ローラーまたはブラシ
802 温度センサ
804 周辺光センサ
806 空気中水分含量センサ
808 ガス組成、空気質センサ
810 ワイヤレス通信システム
812 取り外し可能屑箱
814 屑箱レベルセンサ
816 屑センサまたは汚物センサ
818 シャーシ
820 バッテリー
822 バッテリー充電器
824 電力モジュール
826 モータ
828 駆動システム
830 マッピング/ナビゲーションシステム
832 赤外線(IR)エミッタ
834 赤外放射検出器
836 動き検出器(たとえば、受動IRフォトダイオード)
838 超音波センサ
840 圧力センサ
842 慣性測定ユニット(IMU)
844 インジケータライト
846 マイクロプロセッサ
848 ワイヤレス通信送信機またはモジュール
850 関連アンテナ
852 機械的バンパースイッチセンサ
854 赤外線エミッタ/検出器近接性センサ
856 構造化光センサ
858 マウスセンサ
860 ホイールオドメータ
862 モードボタン
864a 被駆動推進部材
864b 被駆動推進部材
866 オペレーティングシステム
868 不揮発性ストレージデバイス
900 畳み込みニューラルネットワーク
1000 畳み込みニューラルネットワーク
1002 入力画像
1004 出力
1100 模様
1102 QRコード
1104 ビーコン
1202 QRコード
1204 火災検出器
1302 Wi-Fiヒートマップ
1402 カレンダー
1404 要求
1410 イベント
1500 プロセス
1604 出力画像
1606 バウンディングボックス
100 知能モバイルロボットシステム
102 モバイル清掃ロボット
103 第2のモバイル清掃ロボット
104 モバイルコンピューティングデバイス
106 コマンド
108 通知メッセージ
110 制御モジュール
112 タスクスケジューラ
114 ストレージデバイス
116 永続マップ
118 ナビゲーションモジュール
120 カメラ
122 認識モジュール
124 ニューラルネットワーク
126 学習モジュール
128 清掃ヘッド
130 データプロセッサ
132 カメラ
136 ユーザインターフェース
138 ストレージデバイス
140 拡張現実ツールキットまたはモジュール
142 モバイルロボット管理プログラム
144 マップ
146 メニュー
150 追加のセンサ
200 知能モバイルロボットシステム
202 モバイル清掃ロボット
204 リモートコンピューティングシステム
206 制御モジュール
210 タスクスケジューラ
212 認識モジュール
214 ニューラルネットワーク
216 学習モジュール
218 コマンド
220 通知メッセージ
300 住宅、空間
302A ベッドルーム
302B ダイニングルーム
302C バスルーム
302D ホームオフィス
304A 戸口
304B 戸口
304C 戸口
306 ベッド
308 エンドテーブル
310 エンドテーブル
312 ダイニングテーブル
314 ダイニングチェア
316 浴槽
318 洗面台
320 トイレ
322 デスク
324 チェア
326 通信リンク
328A リンクされたデバイス
328B リンクされたデバイス
330 オーディオメディアデバイス
332 ドッキングステーション
334 送信ユニット
400 住宅
402 サーバコンピュータ
404 「クラウド」コンピューティングネットワーク
500 フロアランプ
502 ウォールアート
600 第1のソファー
602 第2のソファー
604 コーヒーテーブル
606 暖炉
608 棚
610 グランドピアノ
702 駆動ホイール
704 キャスターホイール
706 コントローラ
708 感知システム
710 画像キャプチャシステム、可視光カメラ
712 オーディオ放出システム
714 マイクロフォン
718 メモリ
720 回転可能ローラーまたはブラシ
802 温度センサ
804 周辺光センサ
806 空気中水分含量センサ
808 ガス組成、空気質センサ
810 ワイヤレス通信システム
812 取り外し可能屑箱
814 屑箱レベルセンサ
816 屑センサまたは汚物センサ
818 シャーシ
820 バッテリー
822 バッテリー充電器
824 電力モジュール
826 モータ
828 駆動システム
830 マッピング/ナビゲーションシステム
832 赤外線(IR)エミッタ
834 赤外放射検出器
836 動き検出器(たとえば、受動IRフォトダイオード)
838 超音波センサ
840 圧力センサ
842 慣性測定ユニット(IMU)
844 インジケータライト
846 マイクロプロセッサ
848 ワイヤレス通信送信機またはモジュール
850 関連アンテナ
852 機械的バンパースイッチセンサ
854 赤外線エミッタ/検出器近接性センサ
856 構造化光センサ
858 マウスセンサ
860 ホイールオドメータ
862 モードボタン
864a 被駆動推進部材
864b 被駆動推進部材
866 オペレーティングシステム
868 不揮発性ストレージデバイス
900 畳み込みニューラルネットワーク
1000 畳み込みニューラルネットワーク
1002 入力画像
1004 出力
1100 模様
1102 QRコード
1104 ビーコン
1202 QRコード
1204 火災検出器
1302 Wi-Fiヒートマップ
1402 カレンダー
1404 要求
1410 イベント
1500 プロセス
1604 出力画像
1606 バウンディングボックス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】