(58)【調査した分野】(Int.Cl.,DB名)
前記家のマップを生成するステップは、前記家の移動により得られる情報を用いて、各部屋識別情報に対して、該各部屋識別情報に対応する領域に隣接する領域の情報を、トポロジー隣接データとして取得するステップを含み、
前記トポロジー隣接データは、前記領域にトポロジー隣接する領域がある場合、どの領域が前記エリアにトポロジー隣接しているかを特定するものである、請求項1に記載の方法。
前記トポロジー隣接データを取得するステップは、走行距離計測法または位置特定データに従って、一以上のトポロジー経路を閉じるステップを含む、請求項2に記載の方法。
前記マップを分割するステップは、ユーザのフィードバックなしに、前記マップを分割するための自動分割発見法を用いるステップを含む請求項1から3のいずれか一項に記載の方法。
前記目的の領域に移動するステップは、トポロジー隣接データを用いて、第1の領域から、一以上のトポロジー的につながる領域を経由して、目的の領域に移動するステップを含む、請求項2を引用する請求項5に記載の方法。
【発明の開示】
【課題を解決するための手段】
【0006】
(発明の開示)
一側面では、本発明は、プロセッサと、プロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する薬剤投与量情報および投与計画事象に関する健康関連情報のうちの少なくとも1つを確認し、事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して周囲環境内でロボットを動かし、人に近い位置で停止させるプロセッサ上で実行可能な人探しルーティンと、投与計画ルーティンとの遵守を確実にするための投与計画遵守管理部とを含む、投与計画遵守管理のためのロボットに関する。
【0007】
一側面では、本発明は、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に、人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、投与される薬剤の場所に関する情報を含む、人が知覚可能な信号を人に送信し、人を薬剤に誘導する、プロセッサ上で実行可能な照合ルーティンとを含む、投与計画遵守管理のためのロボットに関する。上記側面のある実施形態では、通信インターフェースは、人から遵守または非遵守表示および延期規則を含むプロセッサによってアクセス可能なメモリを受信しており、人からの非遵守表示を認識すると、個人の薬剤投与量情報を確認し、延期規則と一致する新しい薬剤投与事象を設定する、投与計画遵守スヌーズルーティンをさらに含んでいる。
【0008】
その他の側面では、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、投与量を延期するための許容条件を定義する延期規則を含むメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、投与される薬剤に関する情報を含む、人が知覚可能な信号を人に送信するプロセッサ上で実行可能な照合ルーティンと、人からの非遵守表示を認識すると、個人の薬剤投与量情報を確認し、薬剤の延期が延期規則と一致すれば新しい薬剤投与事象を設定する、投与計画遵守スヌーズルーティンを含む、投与計画遵守管理のためのロボットに関する。
【0009】
その他の側面では、本発明は、ロボットによって運搬される、充填された薬剤を受ける薬剤貯蔵部と、プロセッサと、個人の薬剤投与量情報および延期規則を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、薬剤貯蔵部に運搬される薬剤に関する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な照合ルーティンとを含む、投与計画遵守管理のためのロボットに関する。上記側面のある実施形態では、ロボットは、今後の投与のために薬剤貯蔵部への充填に関する情報、および人を薬剤貯蔵部へ誘導する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な薬剤充填ルーティンを含む。
【0010】
さらにその他の側面では、本発明は、充填された薬剤を受ける薬剤貯蔵部、プロセッサ、個人の薬剤投与量情報および延期規則を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、ロボットを動かすプロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始するプロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、今後の投与のために薬剤貯蔵部への充填に関する情報、および人を薬剤貯蔵部へ誘導する情報を含む、人が知覚可能な信号を人に送信する、プロセッサ上で実行可能な薬剤充填ルーティンを有する、投与計画遵守管理のためのロボットシステムに関する。
【0011】
その他の側面では、本発明は、ロボットを、介助者がロボットを接続してもよい遠隔位置に接続するネットワークインターフェースと、プロセッサと、個人の薬剤投与量情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成し、人から遵守または非遵守表示を受信することができる通信インターフェースと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、薬剤投与事象に関する個人の薬剤投与量情報を確認し、薬剤投与事象より先に人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させる、プロセッサ上で実行可能な人探しルーティンと、人からの非遵守表示を認識すると、ネットワークインターフェースを介して介助者に連絡する、プロセッサ上で実行可能な投与計画遵守リマインダルーティンとを含む、投与計画遵守管理のためのロボットシステムに関する。上記側面のある実施形態では、ロボットは、介助者が、着信通信チャネル経由で、また通信インターフェースを介して人が知覚可能な信号を送信するための着信通信チャネルを含む。
【0012】
さらにその他の側面では、本発明は、ロボットを、介助者がロボットを接続できる遠隔位置に接続するネットワークインターフェースと、プロセッサと、健康関連の投与計画情報を含むプロセッサによってアクセス可能なメモリと、ロボットの検知範囲内に人の存在を検知することができるセンサと、人が知覚可能な信号を生成することができる通信インターフェースと、介助者が、着信通信チャネル経由で、また通信インターフェースを介して人が知覚可能な信号を送信するための着信通信チャネルと、ロボットを動かす、プロセッサに作動的に接続されるドライブと、投与計画事象に関する健康関連の投与計画情報を確認し、健康関連の投与計画事象より先に、人探しルーティンを開始する、プロセッサ上で実行可能なスケジューラルーティンと、ドライブに指示して住居周囲でロボットを動かし、人の存在に関してセンサパッケージを確認し、人の隣の位置に停止させるプロセッサ上で実行可能な人探しルーティンと、ネットワークインターフェースを介して通信セッションを介助者と接続するプロセッサ上で実行可能な投与計画遵守ガイドアクセスルーティンとを含む投与計画遵守管理のためのロボットシステムに関する。
【0013】
その他の側面では、本発明は、通信スクリプトセグメントを受信するステップと、通信スクリプトセグメントの可視コンポーネント、および通信スクリプトセグメントの可聴コンポーネントのうちの少なくとも1つを人に出力するステップと、出力コンポーネントに付随するロボット表現コンポーネント、および人による入力に対するロボット応答のうちの少なくとも1つを制御するステップとを含む、人間とロボットの相互交流の方法に関する。
【0014】
さらにその他の側面では、本発明は、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリーを含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップと、ロボットの表示部上の5つ以下のサブスクリプト応答文字列候補とともに、出力クエリーサブスクリプト文字列を表示するステップと、人の応答を可聴出力信号に記録するオーディオ入力信号を受信するステップと、オーディオ入力信号が、5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つに対応する音声を含むかどうかと、オーディオ入力信号が、4つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、ユーザに可聴出力信号に対する応答の通信の再試行を促進するために出力信号を発行する音声を含むことが認識されないかどうかと、オーディオ入力信号が、5つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、認識された5つ以下のサブスクリプト応答文字列候補のうちの1つの反復を含む出力信号を発行する音声を含むことが認識されるかどうかを認識するために、オーディオ入力信号を処理するステップと、を含む、人間とロボットの相互交流の方法に関する。上記側面の実施形態は、確認信号が発行された後、認識された4つ以下のサブスクリプト応答文字列候補の正確さまたは不正確さの確認のために監視するステップを含む。さらにその他の実施形態では、ユーザにオーディオ出力信号に対する応答の通信の再試行を促進するために出力信号を発行するステップは、ロボットの表示部上に表示されたサブスクリプト文字列を強調表示するステップと、表示部に関連付けられた手動作動制御を介して5以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つを選択する入力信号を受信するステップとを含む。さらなる実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの2つは、単純肯定応答および単純否定応答であり、オーディオ入力信号が、単純肯定応答に相当する肯定応答のファミリに対応する音声を含む、または単純否定応答に相当する肯定応答のファミリに対応する音声を含むかどうか認識するオーディオ入力信号を処理するステップをさらに含む。他の実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの1つは、通信スクリプトセグメントの大部分に共通している応答文字列である。さらにその他の実施形態では、5つ以下のサブスクリプト応答文字列候補のうちの2つは、単純肯定応答および単純否定応答ではなく、オーディオ入力信号が、単純肯定応答に相当する肯定応答のファミリに対応する音声を含む、または単純否定応答に相当する肯定応答のファミリに対応する音声を含むかどうか認識するオーディオ入力信号を処理するステップをさらに含む。ロボットのその他の実施形態では、応答ツリーは、3つ以下のサブスクリプト応答文字列候補の応答ツリーであり、応答文字列候補のうちのどれも単純肯定応答および単純否定応答ではない。その他の実施形態は、応答ツリー文字列サブスクリプトを、表示部に表示される一連のメニュー選択に変換するステップを含む。
【0015】
その他の側面では、本発明は、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリーを含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップと、ロボットの表示部上の5つ以下のサブスクリプト応答文字列候補とともに、出力クエリーサブスクリプト文字列を表示するステップと、人の応答を可聴出力信号に記録するオーディオ入力信号を受信するステップと、オーディオ入力信号が5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つに対応する音声を含むかどうかと、オーディオ入力信号が、5つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、認識された5つ以下のサブスクリプト応答文字列候補のうちの1つの反復を含む出力信号を発行する音声を含むことが認識されるかどうかと、オーディオ入力信号が、4つ以下のサブスクリプト応答文字列候補のうちのいずれか1つに対応し、ロボットの表示部上に表示されたサブスクリプト文字列を強調表示し、その後表示部に接続された手動作動制御を介して5つ以下の表示されたサブスクリプト応答文字列候補のうちのいずれか1つを選択する入力信号を受信する音声を含むことが認識されないかどうかを認識するために、オーディオ入力信号を処理するステップと、を含む、人間とロボットの相互交流の方法に関する。
【0016】
さらにその他の側面では、本発明は、事象に応答して運動行動を含む、複数の運動行動を非同期的に実行するステップと、ロボット音声プロンプト文字列と人間応答文字列との会話分岐を含む、通信スクリプトセグメントを受信するステップと、可聴ロボット音声プロンプトを生成する通信スクリプトセグメントを解釈するステップと、可聴ロボット音声プロンプトに対する応答として人から入力を受信するステップと、非同期応答を実行するために、複数の行動のうちの1つによって検知される事象に応えて会話分岐に割り込むステップと、非同期応答の実行後に会話分岐を回復するステップと、を含む、人間とロボットの相互交流の方法に関する。
【0017】
さらにその他の側面では、本発明は、ロボット音声プロンプト文字列と人間応答文字列との会話分岐を含む、通信スクリプトセグメントを受信するステップと、出力クエリー文字列を可聴出力信号に関連付けるステップと、音声クエリーとして可聴出力信号を人に出力するステップとをさらに含み、制御するステップは、上下軸頭部運動もしくは回転軸頭部運動、またはロボット全体の運動を含むロボット運動シーケンスとを含む頭部運動シーケンスから選択される少なくとも表現運動を追加することによって、通信スクリプトセグメントの間に所望の表現を示すように会話分岐を調節するステップと、を含む、人間とロボットの相互交流の方法に関する。
【0018】
その他の側面では、ロボット音声プロンプト文字列と人間応答文字列との会話分岐と、ロボット表現運動タグとを含む、通信スクリプトセグメントを受信するステップと、会話分岐により、可聴ロボット音声プロンプトを生成する通信スクリプトセグメントおよびロボット表現運動を解釈するステップと、可聴ロボット音声プロンプトに対する応答として人から入力を受信するステップと、事象により、ロボットを再配置する補正行動を実行するために、ロボットによって検知された事象に応えて表現運動に割り込むステップと、補正行動の実行後に会話分岐を回復するステップと、を含む、人間とロボットの相互交流の方法に関する。
【0019】
その他の側面では、本発明は、ロボットのためのロボット自己操縦の方法に関し、該方法は、センサおよび入力のうちの少なくとも1つを監視するステップと、センサおよび入力のうちの少なくとも1つからの信号を、少なくとも2つの所定の条件と比較するステップと、(a)信号が第1の条件に対応する場合の行為と、(b)信号が第2の条件に対応する場合の、ロボットの動きのうちの少なくもと1つを実行するステップとを含む。
【0020】
一側面では、本発明は、ロボットの検知範囲内に人の存在を検知することができるセンサを監視するステップと、人がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップと、存在得点が第2の閾存在得点まで更新する場合、人に近い場所にロボットを駐車するステップとを含む、ロボット自己操縦の方法に関する。
【0021】
その他の側面では、本発明は、ロボットの検知範囲内に検知可能な物体の存在を検知することができるセンサを監視するステップと、検知可能な物体がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップとを含む、ロボット自己操縦の方法に関する。ある実施形態では、センサパッケージは、人または充電局を含む検知可能な物体を検知することができ、存在得点が第2の閾存在得点まで更新する場合、該方法は、再充電するために係合する、人の近くに位置する充電局にロボットを駐車するステップをさらに含む。その他の実施形態では、運転するステップは、存在得点が第2の閾存在得点まで更新する場合、一連の異なる位置にロボットを移動させるステップを含む。
【0022】
さらにその他の側面では、本発明は、ロボットの検知範囲内に検知可能な物体の存在を検知することができるセンサパッケージを監視するステップであって、検知可能な物体は、人または充電局のいずれか一方または両方を含むステップと、検知可能な物体がロボットの検知範囲内に検知される場合、存在得点を更新するステップと、漸次悪化させるように存在得点を減少させるステップと、存在得点が第1の閾存在得点まで減少する場合、ロボットを異なる場所に移動させる方向に運転するステップと、存在得点が第2の閾存在得点まで更新する場合、再充電するために係合する、異なる場所および人の近くに位置する充電局にロボットを駐車するステップと、を含む、ロボット自己操縦の方法に関する。
【0023】
その他の側面では、本発明は、ロボットに近い第1の所定の空間内で、人または物体のうちの少なくとも1つを検知するための第1の検知器と、ロボットに近い第2の所定の空間内で、人または物体のうちの少なくとも1つを検知するための第2の検知器と、人および物体のうちの少なくとも1つとの接触を検知するための物理的接触装置であって、第1の検知器、第2の検知器、および接触装置のうちの少なくとも1つは、安全状態を引き起こす物理的接触装置と、安全状態が検知される場合にロボットを固定するように構成される制御器と、を含む人と相互交流するための移動ロボットに関する。
【0024】
さらにその他の側面では、本発明は、検知条件に応えてアナンシエータ活性化信号を生成するステップと、アナンシエータ活性化信号上でアナンシエータを活性化するステップと、人からの検知応答に関してセンサを監視するステップと、検知応答が目的の応答を含むかどうか確認するステップと、確認するステップが、検知応答が目的の応答を含むことを確信すると、探し出された人のサクセスルーティンを活性化するステップと、確認するステップが、検知応答が目的の応答を含むことを確信すると、現在の部屋からの経路を識別するステップと、現在の部屋から新しい部屋への経路経由でロボットを移動させる方向に運転するステップと、を含む、ロボット自己操縦の方法に関する。
【0025】
ロボットの機能は、自信、信頼、および同志的管理部として機能することが好ましい。ロボットは、ユーザの信頼および愛着を高めるように巧みに作られ、それ自体有益であり、また一般的利益をありとあらゆるその他の応用に提供し、それらの成功率を増加させる。この機能は、新しく、定着していない技術(特に自律的、自己制御的、移動技術)を一般人の生活に導入する課題に取り組む。
【0026】
その他の側面では、本発明は、人の存在を示す非雑音信号に関してセンサパッケージを監視するステップと、非雑音信号が目的の応答に対応すると、探し出された人のサクセスルーティンを活性化するステップと、非雑音信号が目的の応答に対応しない場合、または応答が識別されない場合、(i)現在の部屋から戸口を識別し、現在の部屋から新しい部屋へ戸口経由でロボットを操縦するステップ、あるいは(ii)アナンシエータを活性化するために移動ロボットを制御するステップとを含む、無人操縦で目的の人を探し出すための方法に関する。上記側面のある実施形態では、アナンシエータは、目的の人の名前を含む音を出し、該方法は、目的の応答のソースが目的の人の名前であることを確信するために、目的の応答を確認するステップをさらに含む。
【0027】
さらにその他の側面では、本発明は、部屋識別マーカーの遠隔ユーザの選択を代表する第1の操縦命令を受けるステップと、現在の部屋を認識するステップと、ロボットが、選択された部屋識別マーカーに対応する部屋識別性を有する部屋内にいると認識されるまで、第1の操縦命令により異なる部屋識別性から成る部屋の間を運転するステップと、部屋識別マーカーに対応する部屋識別性を有する部屋内の床の位置または部屋識別マーカーに対応する部屋識別性を有する部屋内の目印部位のうちの1つの遠隔ユーザの選択を代表する第2の操縦命令を受けるステップと、ロボットが、床の位置、または目印部位の隣のうちの1つにいると認識されるまで、第2の操縦命令により部屋識別性に対応する部屋内を運転するステップと、方向および方角を含み、遠隔ユーザの命令を代表する第3の操縦命令ストリームを受けるステップと、方向および方角を含み、遠隔ユーザの命令を代表する、受けた第3の操縦命令ストリームにより、部屋内、および床の位置から運転するステップと、を含む、ロボットを操縦するための方法に関する。
【0028】
さらにその他の側面では、住居内で利用可能な部屋識別性に対応する、部屋識別性の選択を受けるステップと、ロボットが、部屋識別性の中でトポロジー的隣接を捕捉し、住居のそれぞれの部屋識別性を、受けた部屋識別マーカーと相互に関連付けるまで、異なる部屋識別性の部屋の間を運転するステップと、住居のために利用可能な部屋識別性に対応する部屋識別マーカーを表示するステップであって、部屋識別マーカーは、対応する部屋識別性のトポロジー的隣接により表示され、家の見取り図の一部として表示されるステップとを含むロボットを遠隔制御するために、操縦命令を実行するための方法に関する。
【0029】
その他の側面では、本発明は、住居内の利用可能な部屋識別性に対応する部屋識別性の選択を受けるステップをさらに含み、ロボットが、部屋識別性の中でトポロジー的隣接を捕捉し、住居のそれぞれの部屋識別性を、受けた部屋識別マーカーと相互に関連付けるまで、異なる部屋識別性の部屋の間を運転するステップと、住居のために利用可能な部屋識別性に対応する部屋識別マーカーを表示するステップであって、部屋識別マーカーは、対応する部屋識別性のトポロジー的隣接により表示され、家の見取り図の一部として表示されるステップと、部屋識別マーカーの遠隔ユーザの選択を代表する第1の操縦命令として、表示する部屋識別マーカーに連結されるユーザインターフェースを介して部屋識別マーカーの選択を受けるステップと、現在の部屋を認識するステップと、ロボットが、選択された部屋識別マーカーに対応する部屋識別性を有する部屋内にいると認識されるまで、第1の操縦命令により異なる部屋識別性から成る部屋の間を運転するステップとを含む、ロボットを遠隔制御するために、操縦命令を実行するための方法に関する。
【0030】
さらにその他の側面では、本発明は、ロボットの存在を聞こえるように示すように構成されるアナンシエータと、ロボットの存在を光学的に示すように構成される可視性ビーコンと、ロボットの高さの大部分を覆うカーテン内で人を検知し、その後安全状態を引き起こすように構成される近接カーテン検知器と、人がロボットに衝突する衝撃を吸収し、人を検知し、安全状態を引き起こすように構成される物理的衝撃緩衝器と、高さが2インチ未満の物体を検知し、安全状態を引き起こすように構成される、床レベル近接リボンと、安全状態が検知される際、ロボットを固定するように構成される制御器とを含む、人と相互交流するための移動ロボットに関する。
【0031】
さらにその他の側面では、本発明は、地面から10インチ上のロボットの高さの実質的な一部を覆うロボットの前の領域内で物体を検知し、その後安全状態を引き起こすように構成される領域検知器と、物体がロボットに衝突する衝撃を吸収し、物体を検知し、また安全状態を引き起こすように構成される近距離領域衝撃バンパーと、地面から2−10インチの間のロボットの前の物体を検知し、安全状態を引き起こすように構成される近距離領域近接センサと、高さが2−4インチ未満のロボットの前の物体を検知するように構成される近距離領域低物体近接センサと、安全状態が検知される際、ロボットを固定するように構成される制御器とを含む、人と相互交流するための移動ロボットに関する。上記側面の実施形態では、近接カーテン検知器、物理的衝撃緩衝器、および床レベル近接リボン検知器のそれぞれは、ロボットの中心から異なる距離で人を検知するように構成される。ある実施形態では、ロボットは、制御器によって確認され、また物体の熱放射または音が低閾値より上であり、また任意に高閾値より下である場合、移動の方向に遭遇する物体が人であることを決定する、熱放射検知器または音検知器をさらに含む。その他の実施形態では、移動の方向にある物体が、熱放射検知器または音検知器によって人であると決定した場合は、ロボットは秒速10cm未満に減速するように構成される。
【0032】
その他の側面では、本発明は、ロボットが周囲環境にいて、居住者がセンサの範囲内にいる場合は、居住者を監視するように適合されるセンサと、センサからの監督データを監視するための制御器と、居住者が伝送のための許可を与える場合は、センサから周囲環境の外部の場所に監督データの伝送を可能にするように構成される伝送制御ルーティンと、少なくとも緊急状態で、センサから周囲環境の外部の場所に監督データの伝送を可能にするように構成されるオーバーライドルーティンと、を含む周囲環境で居住者と相互交流するためのロボットに関する。
【0033】
その他の側面では、本発明は、ロボットが居住者の家にいて、居住者がセンサの範囲内にいる場合は、居住者を監視することができるセンサと、センサからの監督データを監視するために接続される制御器と、居住者が伝送のための許可を与える場合は、センサから居住者の家の外部に監督データの伝送を可能にするように構成される伝送制御ルーティンと、(i)ロボットによって検知される緊急状態で、または(ii)遠隔地の委任介助者がロボットに、居住者によって事前に許可された
権限および緊急状態表示を送信した後に、センサから住居者の家の外部に監督データの伝送を可能とし、そうでない場合、居住者の家の外部のロボットによる監督データの伝送は禁止されるように構成されるオーバーライドルーティンとを含む、居住者の家で住居者と相互交流するためのロボットに関する。上記側面のある実施形態では、ロボットは、ロックアウト部材を受けることができるコネクタを含み、ロックアウト部材がコネクタに挿入される場合のみ、伝送制御ルーティンは、センサから居住者の家の外部に監督データの伝送を可能にする。他の実施形態では、センサはカメラを含み、プライバシーモードが選択された場合は、ロボットは、ロボットの本体の方を向くようにカメラの対物レンズを方向付けるように構成されるプライバシー制御器を含む。代替の実施形態では、プライバシーモードが選択された場合は、ロボットは、センサを、物理的にプラグを抜くように構成されるプライバシー部材を含む。
【0034】
さらにその他の側面では、本発明は、ロボットが居住者の家にいて、居住者がセンサの範囲内にいる場合は、居住者を監視することができるセンサと、センサからの監督データを監視するために接続される制御器と、ロックアウト部材を受けることができるコネクタと、居住者が伝送のための許可を与える場合は、またロックアウト部材がコネクタに挿入される場合のみ、センサから居住者の家の外部に監督データの伝送を可能にするように構成される伝送制御ルーティンと、緊急状態信号がロボットによって受信される場合のみ、センサから居住者の家の外部に監督データの伝送を可能にするように構成されるオーバーライドルーティンと、を含む、居住者の家で住居者と相互交流するためのロボットに関する。
【0035】
その他の実施形態では、本発明は、顔と、顔の近くに取り付けられる少なくとも1つのカメラと、第1の位置および第2の位置を有する位置付け可能な支持部であって、取り付け具は、顔の少なくとも1つおよび少なくとも1つのカメラを支持する支持部を含む頭部組立て部を含む、人間とロボットの相互交流ができるロボットに関する。
【0036】
さらにその他の側面では、本発明は、一面に顔を有する頭部と、顔と同じ方向に、カメラの対物レンズを方向付けるように顔に取り付けられる少なくとも1つのカメラと、顔および少なくとも1つのカメラが視界から隠れ、それによってカメラがロボットの周囲の領域を見ることを阻止するように、頭部に移動することを許可するために、頭部を支持する回転可能な枢軸とを含む、人間とロボットの相互交流ができるロボットに関する。上記側面の実施形態では、顔は、マトリクス要素から成る左右の目の異なる構成を示すために電子的に制御可能なマトリクスパネルをさらに含み、少なくとも1つのカメラは、マトリクス要素から成る左目に近い左のカメラおよびマトリクス要素から成る右のカメラに近い右のカメラを含む。
【0037】
その他の側面では、本発明は、一面に顔を有する頭部であって、顔がマトリクス要素から成る左右の目の異なる構成を示すために電子的に制御可能なマトリクスパネルを備える頭部と、左目に近い左のカメラおよび右目に近い右のカメラであって、それぞれは、顔と同じ方向に、カメラの対物レンズを方向付けるために、顔の近くに取り付けられる左のカメラおよび右のカメラと、ロボットの周囲の領域を見ることができない位置にそれぞれを移動させるために、左のカメラおよび右のカメラを支持する少なくとも1つの位置付け可能な取り付け具を含む頭部組立て部を含む、人間とロボットの相互交流ができるロボットに関する。
【0038】
さらにその他の側面では、本発明は、基地局と、ロボットとを含み、基地局は、ローカル無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバと、インターネットにアクセスするローカル有線Ethernet(登録商標)経由でTCP/IP伝送を通信するための有線Ethernet(登録商標)コネクタと、およびロボットにロックされる所定のIPアドレス、ロボットにロックされる所定のシェルレベル暗号化、およびロボットのみに開かれるインターネットへの所定ポートに限定されるローカル有線Ethernet(登録商標)とローカル無線プロトコルとの間でTCP/IP伝送を転送するためのアクセスポイント回路とを含み、ロボットは、ローカル無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバ、およびローカル無線プロトコル経由でTCP/IP伝送を転送するためのクライアント回路を含む、ロボットシステムに関する。上記側面の実施形態では、無線アクセスポイントは、複数のアンテナおよびアンテナダイバーシティ回路を含む。他の実施形態では、無線アクセスポイントは、複数のアンテナおよびアンテナダイバーシティ回路を含み、直交周波数分割多重を使用して無線伝送をエンコードする。
【0039】
本発明の実施形態によると、無人操縦で目的の人を探し出すための方法は、(a)アナンシエータをアナンシエータ活性化信号上で作動させるように移動ロボットを制御するステップと、(b)作動後一定時間内にアナンシエータへの非雑音(フィルター処理した雑音)のいかなる応答に対してもセンサパッケージを監視するステップと、(c)検知された任意の非雑音応答と目的の応答のライブラリとを比較するステップと、(d)非雑音応答が目的の応答に対応しないと、または応答が識別されないと、現在の部屋から戸口を識別するステップと、(e)現在の部屋から新しい部屋へ戸口を通ってロボットを操縦するステップと、(f)検知状態に応えて、アナンシエータ活性化信号を生成するステップと、(g)非雑音応答が目的の応答に対応するまで、(a)から(f)を繰り返すステップと、(h)探し出された人のサクセスルーティンを作動させるステップとを含んでもよい。
【0040】
戸口を識別するステップは、壁追跡の間にロボットの走行距離計測法および方位を分析するステップと、壁の端および/または戸口を横断したことを示す、走行距離計測法および方位の連続的な組み合わせを識別するステップを含んでもよい。さらに、戸口を識別するステップは、壁の隙間に向かう方位を察知し、識別するロボットの信号反射を分析するステップを含んでもよい。戸口を識別するステップは、動的に作成されたマップを分析するステップと、壁の隙間に向かう方位を識別するステップと、アーカイブに保管されたマップおよびロボットの位置を分析するステップと、壁の隙間に向かう方位を識別するステップと、ドアを指定するビーコンのビーコンセンサを分析するステップと、ドアビーコンによって指定されるドアに向かう方位を識別するステップと、および/または天井の形状または現在の部屋の天井にある兆候のパターンを分析するステップと、兆候または天井の形状を使用して認識された位置でドアに向かう方位を識別するステップと、をさらに含んでもよい。
【0041】
アナンシエータは、目的に人の名前を含む音を発してもよく、検知された任意の非雑音応答と目的の応答/非雑音応答のライブラリとを比較するステップは、非雑音応答のソースが目的の人であることを示す。該方法は、移動ロボットが移動する恣意的な方位および恣意的な距離に基づき、第2の場所を選択するステップと、障害または危険物に遭遇する場合、移動ロボットの方位を調整するステップと、移動ロボットが恣意的な距離を移動するまで前進させるステップとをさらに含む。新しい部屋は、現在の部屋と異なる部屋に位置してもよく、該方法は、光学的部屋特性認識、ソナー、RFID部屋タグ付け、IR方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、および/またはコンパス操縦のうちの1つ以上に基づき、現在の部屋の場所から新しい部屋へ移動ロボットを操縦するステップをさらに含んでもよい。
【0042】
また該方法は、目的の人を検知するように構成される少なくとも1つの二次検知システムを使用するステップを含んでもよく、少なくとも1つの二次検知システムは、赤外線検知、放射熱検知、音波探知、RFIDタグ付け検知、タンク回路検知、行動探知、およびまたは画像分析から選択され、または該方法は、移動ロボットが位置付けられる構造のマップを生成するステップ、および新しい部屋が現在の部屋から異なる部屋にある、あるいは少なくとも、現在の部屋から離れた閾値距離に位置する、生成されたマップに基づき、新しい部屋を選択するステップをさらに含む。
【0043】
マップを生成するステップは、ロボットの周辺を歩き回り、壁および障害を検知するように、移動ロボットを制御するステップを含んでもよく、マップは、ユーザによって移動ロボットに送信されてもよい。該方法は、閉まっているドアを見つけ出すステップと、ドアを通して可聴信号を送信するステップとをさらに含み、さらに、可聴信号を送信するステップは、閉まっているドアにノッキングの音を伝えるステップを含んでもよい。
【0044】
一実施形態によると、人と相互交流する移動ロボットは、ロボットの行動に基づき、可聴内容を生成するためのスピーカーと、スケジュールに従い、ロボットの行動を引き起こすように構成されるスケジューラと、当日遅くなって予定されている第2のロボットの行動に関して、人が目覚めた直後に、人と相互交流するための、朝のロボットの行動を含んでもよい。またロボットは、薬剤を分配するための錠剤ディスペンサを含み、第2のロボットの行動は、人に薬剤を分配するステップを含み、また朝のロボットの行動は、人に薬剤について注意喚起するステップおよび/または人が錠剤ディスペンサに薬剤を入れることを要求するステップを含む。薬剤がスケジュールに従い分配されない場合は、ロボットは、介助者に通知するための送信器をさらに含む。
【0045】
さらに、ロボットは、人を検知するためのセンサと、人を探し出すときにセンサを使用する探知器とをさらに含んでもよく、ロボットは、予定されたロボットの行動に先立ち、人を探し出すように試行する。さらに、それぞれのロボットの行動は、予定されたロボットの行動を人に注意喚起するスピーカーを使用するステップを含んでもよい。第2のロボットの行動は、人を所定の場所へ誘導するステップを含み、朝のロボットの行動は、来る第2のロボットの行動に関連する活動を人に口頭で注意喚起するステップを含み、朝のロボットの行動は、今後の第2のロボットに関連する活動に関して、人の認識の想起を促進してもよい。
【0046】
移動ロボットは、視覚的表示部をさらに含んでもよく、朝のまたは第2のロボットの行動のうちの少なくとも1つは、表示するステップおよび話すステップの両方を含む。人が介助者に通知する許可を与えない限り、移動ロボットは、介助者に伝送することを阻止するためのプライバシー制御器をさらに含む。さらに、ロボットは、管理人から命令を受信するための受信機を含んでもよく、ここでは命令が受信されると、プライバシー制御器がオーバーライドされる。
【0047】
ロボットの行動のうちの少なくとも1つは、人によってまたは介助者によって入力されてもよく、移動ロボットは、人によってまたは介助者によって停止するように指示されると、人との相互交流を中止してもよい。
【0048】
その他の実施形態によると、人と相互交流する移動ロボットは、少なくとも1つのセンサと、人がセンサに作動する許可を与えない限り、センサの作動を阻止するためのプライバシー制御器と、オーバーライドユニットがオーバーライド命令を受信すると、プライバシー制御にかかわらず、センサの作動を可能にするように構成されるオーバーライドユニットとを含んでもよい。移動ロボットに関して、センサは、カメラ、マイクロホン、近接検知器、熱検知器、またはタグ検知器のうちの少なくとも1つを含んでもよい。移動ロボットは、送信用およびセンサを出力するための無線送信器、またはセンサの出力を記録するように構成される記録ユニットをさらに含んでもよい。移動ロボットはまた、オーディオおよび/またはビデオデータを送信および受信するためのテレビ会議ユニットを含んでもよく、テレビ会議ユニットはセンサを含み、また人が許可を与えない限り、プライバシー制御器は、テレビ会議セッションの開始を阻止する。さらに、移動ロボットは、口頭入力を検知するための音声認識ユニットをさらに含んでもよく、センサと話す許可および音声認識ユニットによる入力が扱われる。移動ロボットは、人の住居内の物体を制御または操作してもよく(例えば、搭載されたIR送信器を使用して、特定の時間にテレビをつける)、またはロボット操作のコンポーネントとして、1日の特定の時間に、物体または場所に向かせてもよい。
【0049】
さらに、オーバーライドユニットは、遠隔介助者からオーバーライド命令を無線で受信するための受信機を含んでもよい。着信テレビ会議依頼を受信すると、移動ロボットは、人を探し出すように試行する場合がある。さらに、ロボットが緊急状態を検知したとき、例えば、人が意識を失う、危険状態である、病気である、または煙が出ている、もしくは火災警報器が始動したように見える場合は、プライバシー制御器は、オーバーライドされてもよい。センサは、作動するときは目立つように配置されてもよく、センサが作動していないときは、人に見られないように、センサを包む、覆う、または移動するようにしてもよい。さらに、センサはカメラを含んでもよく、カメラは、作動する許可が与えられない場合、作動できない位置に配置され、カメラのレンズは、作動できない位置で不透明な表面と向かい合う。
【0050】
移動ロボットは、コンピュータメモリに保存される行動プライバシーマトリクス、および複数のロボットの行動を、複数の許可の得点に相互に関連付けるステップをさらに含んでもよく、ロボットの行動が許可される場合は、プライバシー制御器は、ロボットの行動を許可し、またはロボットの行動が許可されない場合は、ロボットの行動を阻止する。
【0051】
さらにその他の実施形態では、人と相互交流するためのロボットは、ロボットの存在を聞こえるように示すためのアナンシエータと、ロボットの存在を光学的に示すためのビーコンと、安全状態を検知するためのセンサと、安全状態が検知されるとき、ロボットを固定するための制御器とを含んでもよい。ロボットが移動しているときは、アナンシエータは、継続的または周期的に特徴のある音を発してもよい。ロボットが移動しているときは、ビーコンはストロボを光らせてもよい。さらに、センサは、とりわけ、カメラ、光学的センサ、IRセンサ、鍵検知器、行動検知器、接触スイッチ、圧力検知器、近接センサ、ソナー、レーザーを使った障害検知器、雑音検知器、および/またはマイクロホンを含んでもよい。
【0052】
移動ロボットは、柄によってロボットの主胴体に取り付けられるプラットフォームをさらに含んでもよく、プラットフォームおよび柄は、脆性の印象を伝え、プラットフォームは、ロボットの主胴体の上の、人の腰の位置に及ぶ。柄およびロボットは、倒立振り子に類似した全体的な形状および/または質量の分布を有してもよい。移動ロボットは、人がうっかりプラットフォームと衝突しないようにする、柄に沿って位置付けられるチッパー環をさらに含んでもよい。
【0053】
移動ロボットはまた、人に関する情報を、介助者によって作動可能な遠隔端末
に送信するための通信ユニットを含んでもよい。人が許可を与えなければ、通信ユニットは情報を送信することができず、さらに、所定のスケジュールにより、情報を周期的に送信してもよい。さらに、情報が変更すれば、通信ユニットは情報を送信してもよい。別法として、例えば、通信ユニットは、コンピュータネットワークを介して指示を検索してもよい。
【0054】
その他の側面では、本発明は、居住者と移動ロボットとの間の人間とロボットの相互交流の方法に関し、該方法は、顔の表示部を備えるロボットおよび音声発生装置を提供するステップと、表示部を介して視覚素列の通信スクリプトセグメントを実行するステップと、視覚素列および音素列は、実質的および同期的に実行される、音声発生装置を介して音素列の通信スクリプトセグメントを実行するステップと、少なくとも居住者の行為およびロボットの柔軟な対応の投与計画に基づき相互交流を管理するステップとを含む。上記側面の一実施形態では、管理するステップは、事象に対するロボットの対応を示すための感情的な行動を含む。感情的な行動は、ロボットの可動式頭部での表示部を提供するステップと、事象が起こると、第1の位置から第2の位置に頭部を移動させるステップとを含んでもよい。上記の方法では、第1の位置は、居住者による観察を許可してもよく、また第2の位置は、驚きの応答、喜びの応答、混乱の応答、懸案の応答および落胆の応答のうちの1つに関連する。感情的な行動は、戯画を表示するステップをさらに含んでもよい。戯画は、驚きの応答、喜びの応答、混乱の応答、懸案の応答および落胆の応答に関連する、一連の戯画から選択される。
【0055】
上記側面のその他の実施形態では、管理するステップは、居住者による非同期応答に応答するための割り込み行動を含む。割り込み行動は非同期応答を受信するステップと、非同期応答を受信すると、視覚素列の実行および音素列の実行に割り込むステップと、割り込み列を実行するステップと、割り込み列の後で視覚素列の実行および音素列の実行を回復するステップとを含んでもよい。割り込み行動は、エラーメッセージを送達するステップを含んでもよい。エラーメッセージを送達するステップは、表示部を介してエラー視覚素列を実行するステップと、音声発生装置を介してエラー音素列を実行するステップとを含んでもよく、ここでエラー視覚素列の実行とエラー音素列の実行は、実質的に同期化される。回復するステップは、視覚素列を実行するステップと、音素列を実行するステップを反復するステップを含んでもよい。非同期性は、所定の一連の応答のうちの1つに対応しない場合がある。上記の方法はまた、応答を所定の一連の応答と比較するステップと、応答が、所定の一連の応答のうちの1つの応答に対応しない場合は、第2の視覚素列および第2の音素列を実行するステップをさらに含んでもよい。
【0056】
上記側面のその他の実施形態では、管理するステップは、居住者に指示を与えるための投与計画遵守行動を含んでもよい。投与計画遵守行動は、投与計画および投与計画に関連する遵守スケジュールを保存するステップと、遵守スケジュール間の所定の事象において、居住者にリマインダを提供するステップと、居住者からの応答を一連の所定の応答と比較するステップと、住居者からの応答に基づき行為を実行するステップとを含む。その他の実施形態では、実行するステップは、住居者に薬剤を提供するステップを含む。その他の実施形態では、実行するステップは、住居者に第2のリマインダを提供するステップを含む。実行するステップは、ロボットから遠隔の装置と通信するステップを含んでもよい。
【0057】
上記側面のその他の実施形態では、管理するステップは、居住者と居住者から遠隔に位置する第三者との間の通信のための、遠隔通信列を含んでもよい。その他の実施形態では、遠隔通信列は、ロボット上にカメラを提供するステップと、事象が発生すると、カメラの状況を第1の設定から第2の設定に変更するステップとを含む。第1の設定は、居住者を観察することを許可し、第2の設定は、プライバシーを守るカメラの位置付けを含む。該方法はまた、住居者にプライバシー信号を提供するステップを含んでもよい。事象は、居住者からの許可の拒絶を含んでもよい。第1の設定は、カメラの電源が入っていない状態を含み、第2の設定は、カメラの電源が入っている状態を含み、ここではカメラは住居者を観察するように位置付けられる。
【0058】
上記側面のさらにその他の実施形態では、管理するステップは、周囲環境内で移動ロボットを移動させるための操縦管理部を含む。操縦管理部は人間捜索列を含み、列は、複数の場所のうちの1番目でアナンシエータを作動させるステップと、非雑音応答のためにセンサパッケージを監視するステップと、非雑音応答と一連の所定の応答を比較するステップと、非雑音応答が、一連の所定の応答のうちの少なくとも1つの応答に対応する場合に、サクセスルーティンを作動させるステップと、ロボットを次の場所に操縦するステップと、アナンシエータを作動させるステップとを含む。操縦するステップは、戸口を識別するステップを含み、それは、(a)壁追跡モードの間の、ロボットの走行距離計測法および方位を分析し、壁の端と戸口のうちの1つの横断を示す、走行距離計測法および方位の組み合わせを識別するステップと、(b)信号反射を分析し、壁の隙間に向かう方位を識別するステップと、(c)動的に作成されたマップを分析し、壁の隙間に向かう方位を識別するステップと、(d)マップおよびマップに対するロボットの位置付けを分析し、壁の隙間に向かう方位を識別するステップと、(e)ビーコンを分析し、ビーコンに向かう方位を識別するステップと、(f)天井にある兆候のパターンを分析し、パターンを利用して認識された位置のドアに向かう方位を識別するステップからなるグループのうちの少なくとも1つを含む。該方法では、アナンシエータは、目的の居住者に関連する名前を含む音を発し、ここでは一連の所定の応答は、非雑音応答のソースを識別する。また該方法は、移動ロボットが移動する恣意的な方位および恣意的な距離に基づき、次の場所を選択するステップと、恣意的な方位の方向に移動させるステップと、障害を回避するために移動ロボットの移動方向を調整するステップと、障害を回避したとき、恣意的な方位に戻るステップと、移動ロボットが恣意的な距離を移動するまで、恣意的な方位の方向に継続して移動させるステップを含んでもよい。さらに、該方法は、光学的部屋特性認識、ソナー、RFID部屋タグ付け、IR方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、およびコンパス操縦のうちの少なくとも1つに基づき、次の場所へ移動ロボットを操縦するステップをさらに含んでもよい。また該方法は、人を検知するように構成される少なくとも1つの検知器を使用するステップを含んでもよく、少なくとも1つの検知器は、赤外線検知器、放射線検知器、音響検知器、RFID検知器、タンク回路検知器、行動検知器、および画像検知器より成るグループから選択される。さらに、該方法は、移動ロボットが位置付けられる構造のマップを作成するステップと、作成されたマップに基づき次の場所を選択するステップをさらに含み、次の場所は、少なくとも移動ロボットの現在の場所から離れた閾値距離に位置する。作成するステップは、障害を検知するステップ、または住居者から電子的にマップを受信するステップを含む。また該方法は、閉まっているドアを見つけ出すステップと、ドアを通して可聴信号を送信するステップとをさらに含んでもよい。送信するステップは、ドアにノッキングの音を伝えるステップを含む。
【0059】
上記側面のさらにその他の実施形態では、管理するステップは、居住者との連絡を制御するための安全管理部を含む。安全管理部は、ロボットの存在を示すアナンシエータを構成するステップと、ロボットの存在を示すビーコンを構成するステップと、安全状態を検知するセンサを構成するステップと、安全状態が検知されると、ロボットを固定する制御器を構成するステップを含む安全手順を開始する。ロボットが移動しているときは、アナンシエータは所定の音を発する。ビーコンはストロボを備える。センサは、カメラ、光学的センサ、IRセンサ、鍵検知器、行動検知器、接触スイッチ、圧力検知器、近接センサ、ソナー検知器、レーザーを使った障害検知器、雑音検知器、およびマイクロホンのうちの少なくとも1つを含む。上記の方法は、居住者とロボットの基部との接触を制限するように、ロボットの物理的形状を構成するステップをさらに含む。上記の方法は、居住者に関する情報を遠隔端末へ送信するための、通信ユニットを構成するステップをさらに含む。情報を送信するステップは、居住者からの許可を受けるステップを含み、情報に変更が発生すると所定のスケジュールにより送信されるか、コンピュータ上でやりとりが行われる。
【発明を実施するための形態】
【0061】
自律移動ロボット10の一実施形態を
図1Aおよび1Bに示す。ロボット10は、本体12、1つ以上の車輪14、および頭部16を有する。ロボット10の特定の部品(例えば、本体12、車輪14、および頭部16)は、互換性のある即行取り付け具および/または電気接点配置を介し、他の部品とそれぞれ容易に取り付け/取り外しされるように構成される。また、互換性のある方法において異なるバージョンを使用可能である。多数の周辺装置は、ロボット10、すなわち本体12、頭部16、またはそのほかの部位に取り付けてもよい。示される実施形態には、ユーザがロボット10と情報をやり取りし、ロボット10によって提示される質問に答え、ロボット10に命令を与えるためのタッチ画面18を含む。スピーカー20、またはそのほかの音声発生装置は、ロボット10に位置する。加えて、
図1Bに示されるように、ロボット10は、種々の環境条件を感知するため、実質上ロボット10のどの場所にでも取り付けられる多数のセンサ22を利用してもよい。例えば、センサ22は崖または端検知器、振動センサ、温度センサ、視覚感知用カメラ、タグ検知器、近接感知、壁追跡あるいは電源または基地局との接続用レーザー装置、自動誘導ビーコンまたは局所環境インディシア追跡用検知器を含んでもよい。
【0062】
本説明のため、ロボットは機能システムのいくつかのカテゴリを有する。各機能システムは、センサ、エフェクタ(アクチュエータ)、通信、およびコンピュータ制御のような構成部品を含む。本発明に記述されるロボットは、いくつかの応用システムを有し、応用システムはロボットにより遂行される全体の機能を達成するためのシステムである。コンパニオンロボットにとっては、強化された人間/ロボットの相互交流は主要機能であるため、人間/ロボットの相互交流には必要な重複がある。ロボットはユーザの信頼と愛着を増加させるため、一般的利益を有し、ありとあらゆるその他の応用の成功率を増加させるシステム(プライバシー保護、相互交流システム)を含んでいる。ロボットは、関連ユーザに対する健康、衛生状態、ならびに、または必要な特定の投与計画、注意喚起、伝言、および激励手法の1つまたは複数のスケジュールを保持する。
【0063】
ロボットは、音声命令、画面または表面への接触、動きおよび人間の存在の検知、(その他のもの)に応答し、ならびにロボットは音声合成、身振り、イアコン、文字列、画像、動き、および「周辺」色応答を介し通信してもよい。ロボットの頭部および胴の構造は、肩をすくめたり、うなずいたり、頭を振ったり、横を向いたり(対象を変える)、その他の身振りの合図を提供するよう設計されてもよく、すなわち移動システムによって、接近および後退の動き(個人空間および会話への留意の合図)ができ、顔のマトリクスパネルによって全種類の顔の表情を作ることができる。胸パネルは、コンテンツプレーヤー/エンジンのインターフェースであってもよい。ロボットの低レベル行動では、人による中断を受け入れてもよい。一実施形態では、行動によって割り込み、または引き起こすことができるスクリプトエンジンを用いてもよく、従来と異なる実施形態では、セルフプレイ(self play)、救助依頼、身振りの合図などのような一部の行動を、並列/調停行動として実行することができるよう意図している。ロボットは、短距離の対象回避および危険要因管理行動に応答する、2輪駆動および受動的脚輪のような車輪付き移動システムを含んでもよい。車輪付き移動システムは、中距離の障害回避計画(SLAM発生マップに基づく通路計画)および長距離の目的指向計画に応答する場合もある。
【0064】
頭部16は、ライザ13、柄、または首に取り付けてもよい。回転(または左右回転)軸A
Pは、通常首と平行で首の内側にある。上下軸A
Nは左右回転軸A
Pに対し直角で、実質的に頭部16を2等分してもよい。表示軸は通常、上下軸および左右回転軸のいずれか、または両方に対し直角に交差していてもよく、表示部26から垂直に突出していてもよい。頭部16もまた、顔の動画用に使用される表示部26を含有し、ビデオ会議、マルチメディアアプリケーション、メニュー入力などに適応することができる。
図1Bに図示するように、ロボット10の頭部16は、環境周辺でロボット10をナビゲートしたり、居住者またはその他の人を観察したり、ビデオ電話またはその他の通信装置として機能したりするなど、種々の機能を果たす、1つ以上のカメラ28を含有してもよい。アンテナ30、モデム、またはその他の無線通信装置によって、ロボット10および遠隔装置、基地局などの間で通信することができる。テレビ会議カメラ28を、ナビゲーションカメラ29とみなし、ナビゲーション、特徴抽出、および同類のものとして使用してもよく、または1つ以上の個別ナビゲーションカメラ29をそれぞれ備えてもよい(例えば、
図3A−3Bに図示するように天井の象徴、端、形、または基準を観察するために天井に向けられたり、あるいは
図22Fに図示するようにロボットの先頭の端または先頭部分を含み、床面または地面に向けられたりする)。
【0065】
頭部16は、略球形、または適切な一定の直径であるその他の固体の形をしていてもよい(これらの形は、頭部と首接合部または胴との間で指が挟まれないほど十分に小さな間隔を伴って、首または肩の空洞内に頭部を配置または収容できる)。
【0066】
頭部16を、左右回転モーターおよび位置エンコーダ314を含む左右回転接合部315、ならびに傾斜モーターおよび位置エンコーダ340を含む傾斜接合または中空枢軸302を介して連接してもよい。左右回転または傾斜接合部の片方または両方は、本明細書で論じるように、特定の利点を有するヨーク型接合部である場合がある。
図4に図示する実施形態では、例えば、傾斜接合部302は、顔マトリクスパネル26を首部へ向かって回転させ(すなわち、視界から隠す)、頭部16の後部を顔マトリクスパネル26に取って代わるように回転させることができる、ヨーク型接合部である。あるいは、1つのモーターを使用する差動駆動機構を使用して、2つの軸周辺で頭部を駆動してもよい。
【0067】
胴またはライザ13(ライザは一般に、センサおよび/または頭部要素を、カメラおよびセンサの視野が障害検知および遠隔操作に役立つ高さに持ち上げる)は、頭部16および左右回転接合部315を支持してもよい。ロボット
10には、美観上および機能上の選択として、胴13内よりむしろ、頭部16または移動プラットフォーム12内に、大部分の部品を含む。胴13から離して部品を位置させることで、ロボットは重々しいゴミ箱のような外観になることを避けられる。機能上も、いくつかの利点がある。より重い部品は移動プラットフォーム12内に置き、重心を下げる。そこに部品を置けない場合、胴13は、より簡単に種々の上昇または伸長(胴部分を旋回/接合/折り畳みまたは伸縮させること)に対応できる。移動プラットフォーム12は胴13を支持し、通常三角形の形をしていてもよく、または一定幅の曲線の形をしていてもよい(例えば、奇数の辺を持つルーローの多角形)。任意に、ロボット
10は、概ね底面に沿い延在する移動プラットフォーム12、概ね1つまたは2つの直角をなす面に沿い延在する胴13、および概ね頂点に位置する頭部16と共に、概ねピラミッド形または4面体の覆い内に収まる。この配置では、覆いの内部容量の多くが空いており、運搬用の盆または格納式遠隔操縦器(不図示)を収容し得る。さらに、頭部16の重量は、移動プラットフォーム12の中央に重心が置かれることに寄与するように、胴13を移動プラットフォーム12の1つの末端から、水平方向の中央に向かって延在するよう配置することもできる。重心に対するターゲットの高さは、床から約30cmである(頭部が高い位置にあるときには、必ずしも常にそうではない)。
【0068】
特定の実施形態では、ロボット10の頭部16はいくつかの機能を果たしてもよい。頭部16は、主要制御板(例えば、多くの回路およびサブ回路を含む、
図6Bに示すE20)を含んでもよい。カメラ28(電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)センサならびに互換性のある光学素子)を、立体視覚のために備え(2つが使用される場合)、熱分解(感熱性)センサ(S21)は、表示部26の方向に沿って向けてもよい(これらのうちの1つ以上を、前方、横、および後方へ向けて、胴または基地上の固定場所に置いてもよい)。カメラ28は、表示部26の近くの動画マトリクスまたはセグメント「目」304に近接(この場合4インチ未満)して置かれ得る。その結果、テレビ会議セッションの間、ロボットの頭部と目を見る人はカメラを凝視し、テレビ会議セッションを観察する遠隔ユーザは、カメラを真直ぐ見る居住者を見ることになり得る。会話中、特にロボット10がアバターとして機能し、遠隔ユーザに交信する際に、「目」を見るのは自然なことである一方、カメラを見るのは不自然であり(おそらく俳優を除いて)、テレビ会議セッションでは通常、参加者のほとんどは、カメラから目をそらすことになる。カメラを、内部ではなく、ロボットの動画化された目「304」から数インチ以内に置くことで、ビデオチャットまたはテレビ会議の際に、ロボットのユーザが基本的にカメラ28を直接見るような結果となりうる。「目」304全体を完全に動画化したり、顔のマトリクスパネル上で、異なる顔の異なる位置内に表示したりするためには、本実施形態ではカメラ28は目「304」内部にあるべきではない。
【0069】
頭部16の後部は、滑らかかつ/または半透明であり得、丸またはその他の外形を有し得、インディシアや装飾を含み得、あるいは追加の情報表示パネルを組み込み得る。音声データを収集し、言葉での命令を受信するためなどに、マイクロホン32を含んでもよい。好ましくは、音源を探し、到達時間およびその他のフィルター技術を使用して、周辺雑音を取り除くことができる多数のマイクロホンを持つ、ベクトル化マイクロホン配列305を備える。表示部26は、頭部16内に収納される主印刷回路基板(PCB)に固定してもよい。PCBはロボット10の制御電子回路のほとんどを含んでもよく、第2のPCBが第1のPCBに並列に取り付けられてもよい。主PCBは、低電圧差動信号(LVDS)インターフェース要素(
図6BのE10)を含んでもよく、本体12内の互換LVDSインターフェース要素E10に、多重LVDSペア線を介し接続されてもよい。
図6Bに図示するように、高周波LVDS信号と互換性のあるコネクタおよびケーブルを使用し、主PCBと本体12との間にLVDS信号を送信してもよい。対象のケーブルおよびコネクタの電気抵抗は、100オームの差動対であってよい。LVDSの使用によって、システム配線を簡素化し、放射妨害波を低減してもよい。
【0070】
ロボット10の本体12は、懸架システム付きまたはなしで、安定した3点接触を提供する、3つの車輪14上で支持されてもよい。3つの車輪14は、2つの差動前方駆動車輪と後方車脚輪とを共に配置してもよく、または反対により多くの車輪によって、動輪と遊動輪とを異なるように分配することも可能である。ハーモニックドライブ
(登録商標)、ダイレクトドライブ、または従来型の歯車列を駆動モーター(
図4)および車輪14の間に使用してもよい。車輪14は、約3cm高い敷居を踏み越えられる大きさであってよく、おおよそその大きさかまたはそれ以上に大きな半径を有してもよい。軸距Wの大きさ(特定の実施形態では、およそ32cm)は、必要な安定性に応じたものであり得、より低い重心またはより大きな数の車輪であれば、より短い軸距であってもよい。
【0071】
あるいは、車輪はホロノームまたは全方向車輪であってもよい。かかるシステムは米国特許第3,876,255号、第4,223,753号、および第5,374,879号に開示され、それらの開示は参照することにより本明細書に組み込まれる。あるいは、ロボットは、倒立振り子の動的平衡を持つわずか2つの車輪を使用してもよい(例えば、
図3A−3Bに図示する)。いくつかの配置では、ロボットは米国特許第6,535,793号、および第3,348,518号に記載の、障害を登る車輪または群車輪を使用してもよく、それらの開示は参照することにより本明細書に組み込まれる。
【0072】
ロボット10と1人以上の居住者またはユーザとの間を結び付けることを容易にする、さらなる特徴および機能性を提供するその他の部品が、ロボット10に含まれてもよい。「居住者」は、ロボットと共に住居で生活する人を記述するのに使用され、本明細書で他の方法で使用されていない場合は、用語「居住者」および「ユーザ」は同じ意味で使用されてもよい。居住者は、さらなる注意または監督が必要な高齢者または子供、家族の各一員、家庭のペット、居住者により特定される家への来客などである可能性がある。ロボット10および居住者の間を結びつける可能性を増すため、ロボット10は触覚センサ34、あるいはロボットの本体12または頭部16のいずれかまたは全てを覆う「デジタルスキン」を含む。これらの触覚センサ34により、ロボット10は居住者が自分に触っていると認識する(およびかかる接触に対し適切に応答する)ことができる。触覚感知センサ34によって、物理的に居住者を援助するために手助けするよう設計されていないロボットを、居住者が使用している際に、ロボットが認識して適切に反応する(活動しなかったり、音声警告を送信したりする)ことを可能としてもよいが、ロボット10が正常に機能しない場合は、そのような目を引く機能は緊急停止として機能してもよい。
【0073】
頭部16は可動式の首に取り付けるか、または首は固定または不動とし、その上を移動する頭部用の基地として機能してもよい。可動式頭部および首の両方の組み合わせもまた考えられる。可動式頭部16により、ロボット10は居住者により自然に反応できる。
図1A−1B、および5A−5Bに示す一実施形態では、頭部16を中空肩支持部12aにより空洞24a内で支持する。肩支持部12a内の回転可能なヨークは、回転軸A
Pの周りを回転することができる。ヨークによって、頭部16も上下軸A
Nの周囲を回転できるので、表示部26をある条件下では視界から隠してもよい(
図5Aおよび5B参照)。また、頭部16の動きにより、その上に位置付けられるカメラ28および表示部26は動くことができ、ロボット10に、カメラの広範な視界および表示部の広範な見やすさの両方を与える。特定の実施形態では、連結頭部/首の組み合わせにより、4つの自由度が提供される。
【0074】
一実施形態では、表示部26は、顔セグメントまたはマトリクスパネルであり、くすんだ灰色のフィールド上の顔貌部分として個々に形作られる、約100から約1000の間のセグメントを含む、モノクロ、バックライト付き、またはバックライトなしの液晶表示(LCD)である。LCDは永続的パターンのセグメントを持つ、四角、長方形、八角形などで、およそ幅10−15cmである。垂直走査周波数および更新速度のいずれも、必ずしも急速でなくてもよい。セグメントの任意の部分は、任意の瞬間に作動する(すなわち、暗くなる)ことができ、セグメントは約50ミリ秒から約1秒後に状態を変化または切り替えることができる。LCDガラスは頭部16の一部とみなされ、頭部16に対し、表示部26はあまり動くべきではない。
【0075】
表示部26は、音声および相互交流と同期して動画化される、目‐眉毛‐鼻‐口という対象の表示を実装し、ロボット10の変化する感情および非言語的行動を表現する。バックライトが希望より多くの電力を消費する場合は、表示部26は、居住者との相互交流の間にのみ、バックライト照射されてもよい。あるいは、表示部26は、反射パネルであってもよく、あるいは半透明の頭部16全体内でフィルターにかけられた部屋の周囲の光源によってバックライト照射されたり、1つ以上の発光ダイオード(LED)および適切な拡散器またはそれらの任意の組み合わせによって、バックライト照射されたりし得る。表示部26は、有機発光ダイオード(OLED)パネルであってもよく、表示部26はバックライトを必要としない場合もあり(使用されてもよいものもある)、暗いときにライトがつけられる顔のパターンを使用する場合は、より少ない電力消費が可能である。
【0076】
ロボット
10に対し、本明細書で論じられる設備が提供される場合、2つのバックライトの電力消費はいつでも、ロボット
10により消費される電力の半分以上となり得、ロボットの作動時間を2時間以下に制限する可能性がある(反対に、バックライトなしで作動すれば、この時間を4−5時間に増加することができる)。
【0077】
表示部26は、電気泳動、電子ボールの回転、電子インク、電子ペーパー表示、および/または混合電子インク/活性マトリクス表示のような、反射双安定(不揮発性)技術を使用して、構築してもよい。電気泳動または電子インク表示は、双安定で、電源が入っていない際に画像が残る高コントラスト、低電力技術により行われる(例えば、マサチューセッツ州ケンブリッジのE‐Ink Corporation製のE‐InkTM.高解像度マトリクス画像化フィルムまたはセグメント表示セル、またはXerox/3M製の電子インク/ジリコンシート)。この型の技術は、戯画化した顔の表情を満足に表示するのに、約0.5−1秒の切り替え時間を有する場合がある。混合電子インク/活性マトリクス表示では、鋼箔上の高分子エレクトロニクスに基づく画素駆動または従来のTFT技術を含む、薄膜トランジスタ(TFT)活性マトリクスの背面を、上記のような反射電子インクの前面(例えば、カリフォルニア州フレモントのSiPix Imaging社、またはオランダ、アイントホーフェンのPolymer Vision社製)と組み合わせる。識別される特性(反射性または透明、超低電力、双方向安定など)のうちの少なくとも一部を表示する、様々な原理で作動する表示型は、富士通の電子紙表示(日本の富士通よる、コレステリック選択反射膜の基板に基づく色表示)、またはNanoChromicsTM.表示(アイルランドのNTERAよる、ナノ構造膜電極/エレクトロクロミックビオロゲン分子表示)である。
【0078】
表示部26を説明する際、用語「セグメント」パネルは、一例では、X−Yマトリクス画素よりむしろ、離散的に形作られる要素からなるパネルである。用語「マトリクス」パネルを使用するときは、一例では、X−Yマトリクスパネル画素からなるパネルを意味する。マトリクスパネルの潜在的な利点は、代わりとなる(または唯一の)情報表示として使用でき、その上に表示される顔または顔の表情を、ソフトウェア、ダウンロード、またはユーザ設計で完全に変えられることである。しかし、セグメントパネルは、より簡単でより効率的であり、作動されたセグメントに対し極めて滑らかなアウトラインを与えることができ、ユーザまたは一連の表情の共同体用プログラミングに容易に適応することができる。
【0079】
本明細書の説明では、頭部16の円形パネル窓101の表面領域のほとんどを覆うことができる、八角形またはその他の辺を有する多角形パネル形を意図しているが、通常の4:3またはその他の長方形LCDパネルを、垂直または水平方向に使用してもよい。2つ以上のパネルを、円形パネル窓101内部に使用することもできる(例えば、垂直または水平方向の3つのパネルで、三角形パネルよりも円のより多くを埋めることができる)。
図10Aに図示するように、口、目、眉という対象を、マトリクス表示部を使用し、非常に多数の画素から適宜形成することができ、または、セグメント表示部を使用し、多数のセグメントの設定形で形成することができる。もちろん、
表示部26はセグメントおよびマトリクス部分の両方を組み込んでもよく、マトリクス画素は1種類のセグメントとみなすことができる。セグメントまたは顔マトリクスパネル
(表示部)26には、従来の製造技術によって、十分な数のセグメントまたは画素が提供されてもよい。
【0080】
図1Aおよび1Bのロボット10は、入力および出力それぞれに使用される、2つの画面18、26を示しているが、ロボットのその他の実施様態では、両方の機能に対し通常は両方の番号が付される(例えば、
図3A−
図3Bを参照すると、「18、26」)単一の画面のみを利用してもよい。例えば、単一タッチ画面を、入力および出力の両方を見るために使用してもよく、ロボットの頭部または本体のいずれかに位置付けてもよい。あるいは、ロボットとの入力相互交流は、複数のボタン、ノブ、触覚またはその他のセンサなどを介することも可能な一方で、単一表示部を出力に使用することもできる。画面上のポインタを動かすためのトラックボール装置またはその他の型の接触パッドも、利用してもよい。トラックボールまたは接触パッドを、ロボットまたはそこから離れた場所に位置付けてもよい。
【0081】
例示的な単一画面移動ロボットは、
図2に示される。示されるロボットR2は、ロボット
R2を歩行器またはガイドとして機能させる、V形またはU形の基部112を含んでもよい。ロボットR2は、ロボットR2の手助けで歩くため、従来の歩行器に非常に似た、(通常、ロボットR2の頭部116が、水平の位置にあるときに)ロボットR2の1組の取手136を握ったり、寄りかかったりするユーザを安定化させるための、少なくとも3つの車輪114を含む。ロボットR2は、1つ以上の車輪114の回転を制御し、ロボットを誘導したり、あるいはロボットR2および/またはユーザが、あまりにも速く滑ったり動いたりするのを防いだり、かつ/または、取手136を介し頭部116を回すことで、ロボットR2を誘導し得るユーザの歩行を調節してもよい。捻り、角度、位置、ひずみ、および/またはその他いずれの変位検知器が、柄124または軌道134(以下に記載)に対する頭部116のねじれを検知し、歩行中の人を手助けするために車輪114の動きを変えてもよい。
【0082】
柄124は、軌道134を含み、頭部116は(
図2に図示するように)これに沿って140を動かす。加えて、頭部116は回転可能でもよく、および/または旋回してもよい。軌道134は受動的でまたは電動化されていてもよい。頭部116は例えば、締め付けノブを回すことにより、軌道134に沿って特定の位置に固定されてもよく、またはモーター、ロッキングボルト、ケーブル、鎖、台、および小歯車、またはその他のいかなるシステムで特定の位置に自動的に調節および/または固定されてもよい。軌道134に沿った頭部116の動きも、例えば制御ユニットの制御下で電気モーターによって影響を受ける場合があり、種々のロボットの行動または機能性に従い、動いてもよい。
【0083】
軌道134は、軌道134に沿った最上部の点で、頭部116が平らに横たわる(すなわち、重力Gに垂直で、頭部116内の加速度計、ジャイロスコープ、デジタルレベルなどによって、任意に検知される)ことができる、「上死点」位置を有してもよい。あるいは、またはさらに、頭部116を反転し、図
2に図示される方向と反対の方向に向けてもよい。図
2に図示するように、軌道134は地面に向かって全方向に進み、表示部の顔側または盆(頭部116)側上のカメラを、地面の位置に移動させ、地面の表示を提供してもよい(ナビゲーションのため、または遺失物のためにソファその他の下を見るため)。
【0084】
ロボットR2は、頭部116上に表示部126を含み、上記に述べたような、タッチ画面および/または視覚出力画面のいずれかとして機能してもよい。スピーカー120を音声出力用に頭部116上に位置付けてもよく、マイクロホン132または配列132は音声入力用に利用してもよい。その上、ロボットR2は、適切なセンサ122、または指キャップ心拍監視装置などのその他の付属品のいずれかを含み、以下に記載する、遠隔介助者または医者に医学的フィードバックを提供してもよい。頭部116および/または表示部126は、盆上に置かれたアイテムの特性を検知したり、あちこちにアイテムを移動させたりする手段として、盆の適切な使用を容易にするために(例えば、高温すぎるアイテム、重すぎるアイテム、または中心から遠くに置かれたアイテムを検知するために)、1つ以上の温度、質量、重量、またはその他のセンサを含んでもよい。頭部116は、アイテム(例えば、食物または飲み物など)を運搬または保持するのに適し、食物または飲み物、および/あるいは薬剤のための、反応する、能動的な、クランプ、または受動的なホルダーあるいは容器を含んでもよい。
【0085】
図2はまた、安全機能を装備した移動ロボットR2の例を図示する。スピーカー120も、ロボットR2用のアナンシエータとして機能してもよく、あるいはロボットR2は別の「雑音源(noise−maker)」(必要以上に騒々しくなるように選択されているギアまたはその他の機械を含む)を含んでもよい。スピーカー120は、ロボットR2の存在を、居住者またはその他の人々に聞こえるように注意を呼びかけるために、特定の可聴プロファイルと組み合わせて使用してもよい。スピーカー/アナンシエータ120によって発せられる存在警告は、移動ロボットR2の存在を人々に聞こえるように注意を呼びかける、断続的なビープ音、継続的な送信音、音楽の一章節、滑らかな音、またはその他の適切な通知のいずれかであってもよい。しかし、雑音は騒々しすぎたり、煩わしすぎたりするべきではない。一実施形態では、床の通常の足音と同じ音の大きさの範囲ほどで聞き取れる。加えて、回転ライトバーのような、1つ以上の可視ビーコン138により、補助的な視覚的警告を提供する。ビーコン138によって発せられた視覚信号は、移動ロボットR2の存在について人々に注意を呼びかける、点滅する光源、ストロボ、色が継続的または変化する光線、表示部126上に表示される画像表示、あるいはその他の適切な可視信号であってよい。可視信号はまた、受動的なパターン(例えば、反射器または逆反射のパターンなど)であってもよい。
【0086】
図3A−3Cは、本発明の実施形態に従う、ロボットのいくつかの変形物R3−R7を示す。ロボットR3−R7のそれぞれは、RF通信を含んでもよく、ロボット基地局を使用してもよい(本明細書では、以下に説明するセットトップボックスSTBの上に位置するBSとして示される)。
【0087】
ロボットR3は、倒立振り子バランス(すなわち、ジャイロスコープ感知を使用した、車輪のサーボ制御を介した能動的または動的なバランス)を使用し、2つの同軸車輪(またはボール)上で平衡を保ち、自動的に復元する。本明細書で説明されるように、ロボット表示部またはテレビ会議画面18は、ロボットの上部近くにある。組合せカメラ28、29は、ロボットの上部で天井を向き、テレビ会議機能およびナビゲーション機能を操作する。組合せカメラは、天井および/または光源固定具および/または戸、ならびに角の端、特徴、インディシアまたは基準に沿うために、天井に向けられてもよく、例えば90度で傾斜し、テレビ会議またはさらなるナビゲーションモードのために前を向いていてもよい。ロボット全体の重心を、車輪または球の軸に可能な限り近くづけるため、ロボットの重量の半分以上は、車輪近くに配置される。膝またはそれ以上の水準で、チッパー環12は、ロボットの底のどの部分よりも著しく大きいので、ロボットの車輪またはつま先の高さの部分がつまずく(trip on)可能性が低くなり得る。同様に、チッパー環は円形で、人と同じくらいの幅であり(例えば、16−24インチ、好ましくは約18インチ)、膝の高さでほとんどの食卓および椅子の脚に遭遇する。
【0088】
ロボットR3は、ロボットの中間近く(3−4フィート)に、衝突を検知することができる加速度計のような内部センサを含んでもよい。ロボットの上部には、自動復元プラットフォームがある。またプラットフォームも、その上に運搬される部位が倒れたり、こぼれたりしないように、水平方向を維持するために、好ましくは動的に平衡する。さらに、対象検知および回避センサをロボットR3の上部に位置付ける。プラットフォームは薬剤ディスペンサ17を支持する。図示するように、薬剤ディスペンサは穴の円形カルーセルであり、各穴は錠剤を包含するのに適した小さな紙コップ、あるいは水の飲み下しなどに適した「Dixie」カップを保持する。ディスペンサまたは錠剤局は、固定され、手動またはモーターにより回転することがある。ディスペンサは移動式D形「ハンドバック」取手(図示せず)を含んでもよく、ロボットに取り付けられたり、またはロボットから取り外されたりすることができ、かつ/またはロボットにロックすることもできる。ディスペンサはまた、家の中の別の場所(例えば、浴室内、ネットワーク接続、およびディスペンサ充填用の錠剤カートリッジを含有する場所)に位置付けられ得る充填器に合致していてもよい。本明細書で論じる充填技術では、前充填された(現地外、薬局などにおいて)カートリッジ型充填器を使用して、ディスペンサを充填することができる。示すように、ディスペンサまたはMD17はまた、家の中の別の場所に配置してもよい。
【0089】
1つ、またはそれ以上のコンポーネントは必要ない。改良型R5は基本的には同様であるが、薬剤ディスペンサ17またはコンポーネントを、より低い重心で家の周りに移動させることができるように、延在または伸縮するライザ13Aを含む(伸縮シリンダー、ジャック、ねじ、はさみ、連結または接合腕を使用)。改良型R4は表示部26、18およびディスペンサ17を欠いているが、依然ナビゲーションカメラ28および多くの残りの設備を含み、表示画面を欠くロボットR4は、居住者をビデオチャットの目的のためセットトップボックスSTBおよびテレビに誘導してもよい。すなわち、テレビ会議カメラ28を有しないロボットに対して、またはテレビ会議カメラ28を有するロボットに対してでさえ、セットトップボックスSTBは、ロボットシステムの一部を形成することがある。セットトップボックスSTBは、ロボット基地局、またはロボット基地局ネットワーク上に特権的に与えられる個別コンポーネントで統合されてもよい。述べたように、基地局(および場合によりSTB)を、広帯域の入り口(典型的にはケーブル、xDSLモデムまたは光ファイバー端末だけでなく、WAN無線ネットワーク)で、家の中に置く。示すように、セットトップボックスには、セットトップボックスSTBが最も配置される可能性のあるテレビの正面に向けられたテレビ会議カメラを含む。通常の家庭用テレビ画面は、ロボットR3−R7によって運搬されることができる画面よりも非常に大きいので、テレビ会議モード(本明細書で論じるように、スケジューリングし、居住者を投与計画遵守対象、すなわちSTBおよびテレビに連れてくることを目的とした投与計画事象として取り扱われる場合もある)の際に、ロボットは(テレビの)大画面、安定した音響(モーターおよび機械の雑音の影響を受けないSTB上のマイクロホン配列)、安定したAC電源、安定したカメラ、および優先広帯域アクセスの利点を生かすビデオ会議セッションのため、居住者をSTBおよびテレビに連れてくることができる。
【0090】
2つのさらなる改良型を
図3Bおよび
図3Cに示す。
図3BのロボットR6の移動システムでは、前方から後方まで3組の車輪を使用し(全部で6車輪)、中央の車輪組が外側の2組よりわずかに低い。これにより、滑らかな表面上での低摩擦、柔らかい表面上での粘着摩擦、およびほとんどの表面上の適切な位置で迅速に回すことが可能となる。表示部26、18は、必要に応じてロボットから離れることのできるタブレットコンピュータモードパッドの形を取るが、ロボットR6が通常通りナビゲートする際は、本明細書で論じるその他の実施形態と同様の方向を向く。表示部パッド26、18自体が、基地局BSへの個別無線接続を有することもある。テレビ会議カメラはパッド26、18上にあり得るが(それを介して、取り外したパッドを発見することができる)、ナビゲーションカメラ28は、パッド26、18上にはないことが好ましい。この場合の薬剤ディスペンサは、取り外し可能な収納箱またはキットであり、ロボット上に「吊るされ」、それに係合する場合もある。この場合の「頭部」16は、主として表示部パッド26、18および薬収納箱17を取り付けるためのものである。
【0091】
図3CのロボットR7の移動システムでは、家庭用ロボット掃除機と同様の、差動駆動および前方または後方キャスターを使用する。大概は中央が空の逆円錐は、本明細書で論じるように構成されるチッパー環152に通じる。チッパー環の真ん中には、薬剤ディスペンサ17がある。この場合、薬剤ディスペンサ17は、円錐およびチッパー環152の中心以内で、基本的に吊り下がり、旋回し、自由に揺れる(基本的にほとんどは水平のまま)。薬剤ディスペンサ17もまた、水平に留まるように、アクティブに制御されることがある。改良型R7は、本明細書で論じる改良型のうち、実施費用が最も安価であることがあり、半ばランダムにナビゲートしたり(壁追跡技術およびその他の室内後半検知技術、または戸口等の限られた記憶を用いる)、本明細書で述べるように近接および存在得点を使用するがマップは使用しないことによって、居住者への近接を識別したりすることができる。この場合、R7の改良型は、その他の改良型より早く、例えば投薬計画事象前の15分から1時間早く、居住者を探そうとし始めるであろう。ロボットR7は、タグまたは灯台に基づくナビゲーションを有してもよく、赤外線によるロボットR7上でではなく、錠剤局または薬剤ディスペンサ17と通信してもよい。薬剤ディスペンサは、種々の対象を保持および運搬するための網で代替されたり、またはその下で網を有していたりしてもよい。また一方では、チッパー環152は基部より大きな直径を持つ。基地局BSは、RFに接続していてもよいが、この場合、その代わりに通常の電話線に接続していてもよく、限定的なデータサービスのみが提供される(そして、それから呼び出し側IDチャネル、ヒントおよび呼び出し音、ならびにその他電話線信号により、間接的に遠隔から通信され得る)。
【0092】
述べたように、
図1Bは、本体12の上部に三角形基部40、延長本体12、および頭部16を概して有する移動ロボットR1の実施形態を示す。この実施形態では、頭部16は動くことを可能にするヨーク組立て部42を含む。ロボットR1は、車輪14、センサ22、少なくとも1つのカメラ28、および1つ以上の画面18、26を含む。
センサ22は、車輪14に近接して置かれる。さらに、主電源/制御コンポーネント46を、基部40内に置く。電源/制御コンポーネント46の場所は、特定の応用に対し望ましいように変更してもよい。ある種の実施形態では、電源/制御コンポーネントを、電源コンポーネントおよび制御コンポーネントに分離し、電源コンポーネントをロボット基部または本体内に置き、頭部内に制御を置いてもよい。
【0093】
図4Aおよび4Bは、対象検知範囲が、区域に配置された複数の収束赤外線エミッタセンサ部品により提供される実施例を図示する。それらのセンサの中でも、いくつかは崖感知用に下を向き、いくつかは前を、いくつかは後ろを向き、およびいくつかは本明細書で説明する特別構造である。このセンサシステムは単独でも機能してもよく、またはその代わりとして、例えば代理機能性のために、1つ以上の追突スイッチとの組合せで機能してもよい。
【0094】
一例示的構造に従い、ロボット
10は、後退の際の障害回避のための3つの追突スイッチと共に、障害および吹き抜け回避のための6つの赤外線距離計を含む。
【0095】
赤外線センサは、例えば、崖検知器と互換性のある同期反射率エミッタ/検知器組のような、同様の電子的実装を好ましくは有する。赤外線距離計に関しては、限定されない実装例のように、エミッタ/検知器組は、下記のようないくつかの異なる構成に従い配備されてもよい。収束交差エミッタ/検知器組965は、崖センサで使用されるように、交差点で特定の検知区域を提供する、エミッタ/検知器組である。拡散並列部966、962A、962Bは、かかる対象の反射率に応じて、好ましくは30度の視野(+/−15度)を提供し、(例えば)約2cmから20cmの距離間で対象を検知する、共同設置エミッタ/検知器組である。接線センサ961は、ロボット
10の最前面にある陥凹面978に渡って創造される「破壊光線」トポロジーを利用してもよい。
【0096】
少なくとも1つの構成に従い、限定されない例として、関連するエミッタの照射パルスの間および後、センサは同期検知を実行することができ、そこではそれぞれの読み取りセンサは、周辺反射率および照射反射率を意味する2つのスカラー値を生成する。少なくとも8ビットの動的範囲で、センサそれぞれが、1秒当たり少なくとも100の当該サンプルを生成することができる。好ましい構成では、アナログ調節/フィルタリング/統合は、デジタル領域へと移行する前に、各検知器の信号で行われる。さらにまた、検知器コンポーネントは、独立型フォトダイオードであってもよく、または配線用ハーネスを通して信号対雑音比率を改善する、トランスインピーダンス増幅器を統合していることもある。
当該センサを含むロボット
10の例
を図4Bに図示する。
【0097】
好ましい構成は、7cm離れた間隔の6つの前を向いた拡散センサ
(拡散並列部)966を含むロボットに関係し、対象が範囲で検知されるのに十分反射的である場合、約14cmまで離れて対象へのセンサ範囲を提供することができる。移動する方向内の車輪14それぞれの前に、3つの下向き崖センサ965を置く。ロボット移動基部12の後方斜め側面にある2つの斜めの拡散センサ962A、962Bおよび963A、963Bは、反対方向の障害検知を提供し、例えばドック上のエミッタと連動して接続過程を誘導することができる。正面の2つの角収束センサ966により、例えば壁追跡または壁位置決めのため、ロボットの突き出した覆いの外のみの画定された検知区域を提供する。対象が表面のどこかの部分に触り、それに応じて衝突検知を促し、正確に対象の位置を決める際、ロボット基部の最前部978に渡る接線ビームによって、正確な接触情報を提供する。
【0098】
移動ロボット
10は、家庭環境で機能するので、家庭内安全の問題を色々な特徴のうちのどれかによって解決することができる。これらの特徴の中には、とりわけ、個人接触回避、障害回避(ロボット
10に関連する、考えられる高さおよび位置の広範な範囲に渡って存在する対象を検知および/または回避する能力を含む)、および例えば家、家内の対象(家具、固定器具、その他同様のもの)またはロボット自体のいずれかに対する損傷を回避および/または軽減する損傷回避がある。これらの特徴に関連して、ロボットは好ましくは障害の検知および/または回避における重複性を含む。
【0099】
個人接触回避に関して、かかる接触が回避不可能、または必要とする状況がない場合、ロボット
10は、好ましくは例えばユーザなどどんな人とも物理的に接触するのを避ける。しかし、限定されない例のように、とりわけ、考えられる医学的緊急事態にロボットがユーザの体温を測ることが必要とされる際、または遠隔地の委任ユーザが、ロボットに人との物理的接触を行うよう命令を出す際、医療ロボット
10は接触してもよい。
【0100】
少なくとも一側面に従い、ロボット
10は、監視空間を保護区域に分割した物理的空間の範囲に渡り、対象の存在または不在を検知するための1つ以上のセンサを含む。
図4Bに図示するように、例えば、ロボット
10を取り囲む領域には、地面水準から地面から上に約2インチまでに及ぶ「つま先区域」Z10、地面の上約2インチから約4インチまでに及ぶ「追突区域」Z20、地面の上約1インチから約12インチまでに及ぶ「近距離区域」Z30、およびロボットの顔26の正面にある領域に一致していて顔
(表示部)26を持ち上げたり低くしたり、または顔26を旋回または回転させるに従い変化する「顔区域」Z40を含む。それぞれの保護区域は、少なくとも1つのセンサ(例えば、フォトセンサまたは追突スイッチなど)で監視され、好ましくは2つ以上のセンサ間に監視区域の重複がある。結果として、重複領域を監視する1つのセンサが検知しない場合でさえ、同じ重複領域を監視する別のセンサがそれにもかかわらず障害を検知するので、障害検知の重複性を向上させ、検知されない障害の可能性を減少させる。
【0101】
図4Bに図示するように、追突区域Z20は、接触スイッチまたは圧力センサなどの、追突センサ957によって監視される。近距離区域Z30は、好ましくは、光線エミッタL21、L22および光線エミッタL21、L22によって発せられた対象の反射された光源を検出する光検出器956を含むことがある光源カーテンにより、(例えば)光源ロボット
10の全周囲の周りを監視される。地面の上から2−4インチ間の対象は、例えば、ロボット
10から側面に沿って外へ1から5インチの間で検出することができる。つま先またはドアの敷居のような低い対象もまた、検知することができる。また1つ以上の崖センサは、移動プラットフォーム12周辺に位置付けられて、ロボット
10の全周囲に渡り、地面の高さにおけるどんな突然または急な落下も検知することができる。
【0102】
ロボット
10正面の領域では、光のカーテンが、地面の上およそ1インチから12インチで、対象による侵入を検知することができる。顔26に向かい、近距離区域Z30もまた、赤外線または超音波障害センサにより監視されることがある。例えば、2フィートから20フィート以上などの遠方の範囲では、ロボット
10は、カメラ304によって生成されるデータに画像加工が適用される際、近距離および遠方対象の両方を検知することができるカメラ304を含んでもよい。
【0103】
ロボット
10正面の人々を検知するため、熱センサ、超音波対象センサ、または音声ベクトル検知配列を使用してもよい。例えば、ロボット
10は、音源の方向を決定され得るように配置された6つのマイクロホン配列(図示せず)を含んでもよく、すなわち、ロボットが音声と一致する音を「聞き」、音声ベクトル配列によって音源がロボットの正面にあると示される場合には、ロボットはそれに応じて応答することができる。加えて、ロボットに非常に近くに立っている人または接近する人々を検知し(衝突またはロボット先端部の損傷のため)、ふさわしく応答するために、ロボット
10は当該「人物検知器」を、ロボット
10の側面および/または背後に用いることがある。
【0104】
ロボットは2つ以上のセンサからデータを受信し、センサのデータを統合し、保護区域の1つに存在する障害の可能性を予見し、存在する障害の予見される可能性が閾値を越える際には、(例えば、とりわけ、減速、行き先の変更、および/または頭部16を低くすることによって)その行動を変更することができる。その上、閾値は経験に従い適応して変更できる。例えば、障害の存在を予見するのに失敗した後、ロボットが障害と衝突する際、ロボットは閾値を下げることができ、またはロボットが予見された障害が実際には存在しないと発見する際、ロボットは閾値を引き上げることができる。
【0105】
利点として、1つ以上のセンサおよび/または1つ以上の保護区域からの入力に基づき、ロボットの通路に入ってくる障害の存在を予見することによって、ロボットは主要保護区域へ障害が侵入するのを回避または軽減することができる。
【0106】
図4Bに図示するように、例えば、ロボットの顔26には、カメラ304正面の広範な距離にわたって、対象を監視しおよび検知できる前方向カメラ304を含んでもよい。ロボット
10はまた、光源L21の下方向光線を発する第1の光線源B21、および光源L22の上方向光線を発する第2の光線源B22を含んでもよい。光源L21およびL22の光線は、好ましくは領域に渡り交差し、いずれかの光線が対象に接触する際には、光源は対象に反射し、光検出器により検出される。光線源B21、B22および光検出器956によって監視される空間範囲は、概して近距離区域Z30に一致する。光源L21およびL22の異なる光線は、互いに異なる波長を有してもよく、または、例えば光検出器956によって検知される反射光源を、光線源B21またはB22のどちらが反射光源を発したかを決定するため、異なる信号でエンコードしてもよい。例えば、カメラ304が顔区域Z40の下方領域近くに横たわる、考えられる対象を検知し、また光検出器956が対象から反射する光源を検知する際には、ロボット
10は近距離区域Z30での障害の可能性が高いと決定し、ロボット
10が障害と衝突するのを回避するため、前方に動くのを中断することができる。
【0107】
加えて、ロボット
10は周辺の音または雑音のレベルを監視するマイクロホンを含んでもよい。マイクロホン入力が音声に一致する音を示す際に、例えば、ロボットは人がその付近にいる可能性があるかを決定し、それに応じて人と衝突する機会を減らすため自分の運動速度を落とすことができる。ロボット
10はまた、熱検知器(例えば、赤外線光検出器)またはカメラのような、他のセンサを監視し、1つ以上のセンサに基づく行動決定を行うこともできる。例えば、実際にはロボット付近に人はいないが、テレビの電源が入っている場合、その結果ロボットのマイクロホンは音声を検知するが、熱検知器は何の熱源も示さない。かかる場合、ロボット
10は代わりに人は存在しないと決定し、それに応じ自身の運動速度を落とさないことを決めることができる。
【0108】
ロボット
10が多くの潜在的な障害を包含する環境にいる際(例えば、雑然とした地下室内または人で一杯の部屋内)、ロボットは人や物と衝突しないように、遅い速度で作動することができる。遅い速度で作動する際、ロボットは、例えば光学カメラまたは光検出器よりも、追突センサにより依存し得る。
【0109】
例えば
図1Aおよび1Bの
符号28に示される、ロボット上のカメラにより、ロボットは環境内にいる居住者またはその他の人を見ることができる。通常、居住者が相互交流ロボットといることが快適である場合でさえ、ロボットのネットワーク接続(以下に記述)は、居住者のプライバシーに対する懸念を引き起こすことがある。居住者は、自分たちが第三者によって「見られて」いる、または想像上の「ハッカー」が自分たちの住居を見ることができると感じることがある。したがって、ロボットは、居住者のプライバシーが漏らされていないことを表示したり、または別の方法で保証したりする機能性を装備してもよい。この機能性には、プライバシーが失われることを避ける、カメラ/頭部位置制限、可視または可聴インディシア、またはデフォルト条件を含むがそれらに限定されない。
【0110】
図5Aでは、ロボットの頭部16内の作動位置にある可動カメラ28の側面概略図を示す。
図5Bでは、不作動位置にある同じカメラ28を示す。ここでは、カメラ28は枢軸302およびレンズ304を有する本体300を含む(あるいは、全体カメラ28を、ボイド24aを頭部16内に完全に入れることができるシールド306の後方に置いてもよい)。電力用および視覚画像供給用のワイヤは、支持構造内に包含され、中空枢軸302を通って本体に入ってもよい。あるいは、ワイヤを支持構造外部へ置いてもよいが、頭部16の動きが妨げられないのに十分な長さである必要がある。
図5Aでは、カメラ28を外部に向け、作動位置で遮るもののない前方の視覚を提供する。それゆえ、居住者はカメラ28が視覚データを録画(および潜在的に送信)できることを明確に確認することができる。しかし、
図5Bの不作動位置では、中空24aを形成する不透明な表面と直面するように、カメラ28を回転、または別の方法で位置付けてもよく、それによりカメラ28の視覚全域を網羅することができる。居住者が
図5Aの作動設定を認めない場合、
図5Bに示す不作動位置は、代わりにカメラ28用のデフォルト位置として機能してもよい。
【0111】
シールドを利用する場合、シールドは中空24a内でカメラ28が明瞭に見ることができるよう透明であってもよい。あるいは、全体に不透明であったり、カメラ28を覆う位置へ移動可能であったりして、その結果として、居住者が直接的にロボットの視覚データを見たり潜在的に送信したりする能力を制御してもよい。一実施形態では、カメラおよび/またはレンズは完全にロボット本体に引っ込められたり、またはロボット本体の隣にくるようにレンズを回されたりする。
【0112】
したがって、示されているように、ロボットは自分の周囲を録画できなくされるだけでなく、レンズを遮断、ロボット本体と実質的に直面するようにレンズの向きを変更、または視野を変えるために頭部を回すことによって、当該録画ができないことを容易に確認することができる。カメラが視覚データを録画している際、カメラまたは頭部位置の視覚合図を、薄暗いまたは薄暗くない電子光源で補ってもよい。従って、第三者による潜在的監督下にはないことを、はっきり見て確認することができる。同様の機構を、ロボットのマイクロホン305またはマイクロホン配列305と共に使用することができ、プライバシーモードに入る際、ロボットはマイクロホンを不通、閉鎖、またはその他の方法で無効にしてもよい。マイクロホン305を遮断するため頭部に沿って回すか、または別の方法で動かす場合、動作不能位置のエラストマーシールによってさらに音を消してもよい。同様に、外部アンテナを不通にすることもできる。それぞれの場合には、送信媒体が居住者を監視できなくされる。
【0113】
図5Cに図示するように、ロックアウト機構は、カメラ28またはマイクロホンを回す以外に他の形を取り、ローカル領域から隔離してもよい。一つのモデルにおいて、居住者またはユーザは、ローカル領域を監視する、ロボットの物理的能力に関する検証可能で完全な制御を有する。ロックアウト部材(鍵322、ドングルなどのような)を受け取ることができる鍵穴、プラグ、またはその他のコネクタ321を、ロボット10で容易にアクセス可能および見ることができるロックアウト局320に提供する。居住者がオーバーライドできない制御を有するモデルにおいてロボットを構築する場合、ロックアウト部材または鍵322の係合は、機械的に電気接触を閉ざし、カメラ28(およびマイクロホン)の作動を有効とし、プライベートな位置にある際にはカメラおよびマイクロホンを完全に無効にする。代替の配置では、可視電気ピン332を含むスライダ333のようなロックアウト部材をロックアウト局320内に配置する。重大な電気通路が開いているため、居住者はカメラおよびマイクロホンが全く動いていないことを容易に検証することができる。スライダ333が受入プラグ331に対して閉じている際、通知器は、容易に理解されるメッセージ(例えば、「オンエア中」)または信号(例えば、LRD点滅)を示し、ロボットが世界全体と接続していることについての通知を与える。この種の配置では、物理的にセンサのプラグを抜くよう構成されるプライバシー部材は、プライバシーモードが選択されている際には、居住者のカメラまたはマイクロホン監督に関し、家庭が「ハッカー防止」になっていると居住者に一定の自信を与えることができる。
【0114】
代替のモデルでは、鍵穴、プラグ、またはその他のコネクタ321が電気接触を機械的に閉じることはなく、緊急状況にオーバーライドさせることができる。この場合、ロックアウト部材をコネクタ321内に差し込む際のみ、ソフトウェア送信制御ルーティンによって、カメラ28からの監督データを居住者の住居の外に送信することを可能にしうる。このモデルでは、ロボット10は通常、カメラまたはマイクロホンに接続された自身の制御部を使用し、そのセンサからの監督データを監視してもよい。居住者が送信の許可を与える場合、ロボットはセンサから(介助者へ)監督データを居住者の住居外へ送信できるよう構成された送信制御ルーティンを動かしてもよい。しかし、オーバーライドルーティンは、(i)ロボットにより検知される緊急状態で、センサから居住者の住居の外に監督データを送信できるよう構成されていてもよい。あるいは、遠隔の委任介助者が、緊急条件と共に居住者によって認められた認証を送る場合、カメラおよび/またはマイクロホンを有効にすることができ、ロボットによる居住者の住居の外への監督データの送信は、それ以外禁止される。オーバーライドモードが、センサの「プラグを再び差す」ための機構または中継を使用する場合、プライバシーモードが選択される際、この種の配置は物理的にセンサのプラグを抜くよう構成されるプライバシー部材を使用してもよい。
【0115】
少なくとも一実施形態では、ロボットの周りの環境を観察または監視できるどのセンサ入力でも、
図5Dに図示するようなプライバシー装置350によって、道順が決められることがある。プライバシー制御部352は、居住者によって与えられたまたは拒否された許可をたどり、カメラ28、マイクロホン32、またはその他のセンサ22のようなセンサからのデータストリームを制御し、それによって、かかる記録または送信が、居住者によって与えられた許可に準拠する場合にのみ、センサ入力がデータ記録装置356によって記録され、かつ/またはアンテナ30によって遠隔のデータ記録装置に送信される。プライバシー制御部352は、離れたハードウェアアイテムまたは別のハードウェア部分の一部として実装してもよく、あるいはプライバシー制御部352をソフトウェアルーティンとして実行してもよい。一実施形態では、例えば
図5Cに図示するように、プライバシー制御部は、鍵、プラグ、ドングル、またはインストールされたときに限ってセンサを有効とするその他の物理的媒体の形を取る。
【0116】
オーバーライドユニット354は、プライバシー制御部352によって、発行されるプライバシー指令、または無効とされる監視能力をオーバーライドしてもよく、それによって、プライバシー制御部352によって実行された許可にもかかわらず、センサ入力を一時的に記録および/または送信できる。ある実施形態では、所定の事象が存在し、その事象が1つ以上のセンサの出力の閾値または制御部352によって検知されるような解釈されるデータのいずれかである際、あるいは、介助者のオーバーライド命令を移動ロボットが受信する際のいずれかのとき、オーバーライドユニット354は、プライバシー制御部352をオーバーライドのみすることがある。介助者からのオーバーライド命令は、暗号化されたコードまたはその他の安全な送信の形であってよく、例えばデジタル証明書、公開鍵暗号化、所定パスワード、またはその他の適切な機構のような、適切な方法のいずれかを使用してエンコードされ、デジタル署名される。
【0117】
例えば、脈拍、呼吸、医療、環境、または安全監視センサの損傷、あるいはその他の緊急状況を検知する際、オーバーライドユニット354により、一時的に監督または監視してもよい。窮状が検知される際、ロボットも介護人に居住者を調べるよう依頼し、外部への電話をかけることができる。また、移動ロボットはオーバーライド命令(例えば、介護人が作動することができる遠隔端末から)を無線で受信するための受信機を含んでもよい。加えて、安全または健康への考慮により、居住者によって与えられたか、または拒否された通常の許可を、一時的にオーバーライドすることを提案する事態があってもよい。マスタオーバーライド許可は、介助者は緊急状況において副次的な許可を一時的にオーバーライドする許可を受けることを可能にしたり、または医療監視装置またはデータ分析結果がこれらの許可をオーバーライドできるようにしたりし得る。
【0118】
プライバシー制御部352のオーバーライドを必要とすることがある事態には、居住者が応答しなくなった(ひいては、意識不明となった可能性がある)という、移動ロボットによる決定、あるいは火災報知器または煙検知器がロボット上でまたはその環境内で始動したときを含んでもよい。かかる事態には、オーバーライドユニット354は、プライバシー制御部352をオーバーライドし、カメラ28、マイクロホン32、またはその他のセンサ22からの入力を、介助者、警察または消防署、あるいは救急サービスが所有する遠隔端末に送信できることがある。それゆえ、介助者はかかる緊急事態に注意を呼びかけられ、居住者の近くにいる移動ロボットからの関連するビデオ、画像、またはオーディオ情報を受信することができる。
【0119】
図6A−6Dでは、本明細書で開示するように、ロボットの実施モードのソフトウェアアーキテクチャ、電子システム、およびネットワーク接続のいくつかを示す。これら全てが、本明細書で論じるロボットのいずれにも必要と言うわけではないが、説明は少なくとも一部分において、各実施形態に適用される。
【0120】
図6Aは、仕事および機能の基本アーキテクチャ分布を示す。行動に基づくロボットは、大概は行動システムに基づいて機能し、この場合は反応システム6A−1として示される。短距離ナビゲーションは部屋内の障害内またはそれらの間のナビゲーションであり、巡回行動および旋回行動の組合せにより、通常行われ得る。目的行動では、的を絞り、比較的簡単な目的物、例えば充電器、仮想の壁または灯台、ビーコン、音、強い信号を受信する領域を探索または捜索する。避難行動では、ロボットの静止状態、行き詰まり、滑り落ち、またはその他身動きが取れない状況である事象においてより高位の優先権を得る。回避行動では、崖、おそらく人々などの単純な危険を回避ことができる。壁追跡行動およびその他の行動では障害を追い、ナビゲーションおよび拡散を向上させる。これら行動の全ては、アクチュエータ6A−4の制御に対し、センサ6A−5(視覚、吹き抜け部または崖、近接、車輪エンコーダ、あるいはその他の走行距離計測法)の集合または一式に基づき、仲裁および競争させられる。
【0121】
より高水準の計画がいつも必要とは限らないが、行動に基づくシステムに影響を与えたり命令したりする特定の制御により、対処することができる。示すように、行動に基づくシステムは通常、計画ルーティン6A−2およびアクチュエータ6A−4の間に介入する。本明細書で論じるように、長距離ナビゲーションにより、ロボットを部屋から部屋へ移動させるか、または代替的な通路計画を使用する。マッパーにより、「直交(Cartesian)」空間マップ(本明細書で論じるルーティン、技術、および発明のほとんどは、直交または空間マップに依存しない)であってもよいが、またはそうでなくともよいマップを作ってもよい。ステレオ特徴は、目印またはラベルを識別するため、既知のルーティン(例えば、SIFTまたはSURFスケールの不変の特徴の抽出)に従い開始してもよい。必要な記録のいくつかを、サーバまたはデータベース6A−3に、遠隔保存してもよい。
【0122】
図6Bでは、少なくとも1つの本発明の実施形態に従い、コンポーネント組織の一実施例を図示し、図では、通信または電力伝達関係は、種々のコンポーネントブロックを相互接続する矢印で示される。一実施例では、頭部16、首または胴13、あるいは移動基部12に概して置かれるコンポーネントを、コンポーネント群E20、E30、およびE46それぞれに組織してもよい。これらのコンポーネント群には、電源供給部、モーター制御部、および/または集積回路のような、種々の電子または電気回路を含んでもよい。好ましくは、集積回路、CPU、制御部、および通信バスのようなコンポーネントを、PCB板に統合する。すなわち、制限されない実施例として、ロボット
10は、上部PCB板E20を頭部16に配置し、中間PCB板E30を胴13に配置し、および下部PCB板E46を移動基部12に配置する3つのPCB板を含んでいることがある。
【0123】
図6Bの実施例では、無電力信号は、好ましくは上部、中間、および下部PCBの間を、低電圧差動シリアルチャネル(LVDS)を介して送信され、とりわけ低レベルの電磁雑音のみを生成する(および電気雑音障害に対し低感受率を持つ)という利点を提供する。あるいは、平行または伝統的なシリアルバス(RC232のような)を用いてもよく、またはPCB間に信号を送信するために、WiFiまたはBluetooth
(登録商標)のような無線プロトコルでもよい。
【0124】
下部PCB E46は、1つ以上の電源供給部E90、および1つの電池および/または充電器E91を含み、電源供給チャネル(プラスチック層の銅線、または移動基部12から胴13を通過し頭部16への動力伝達に適する、その他のどんなコンポーネントでもよい)は、電源供給部E90から中間PCBE30および上部PCBE20へ電力を送る。下部PCBE46はまた、左右回転モーター増幅器E401および1つ以上の駆動モーター増幅器E402を含み、これらは共に、エンコーダE403および近接センサインターフェースE404、そしてまた、2次元加速度計E406、およびマイクロコンピュータE407(限定されない実施例として、マイクロ制御部、プログラム可能な論理配列、デジタル信号プロセッサ、および/または汎用CPUを含んでもよい)を含む。下部PCBE46は、近接センサ222(近接センサインターフェースE404へのかかる通信の道順を決める)、駆動モーター/エンコーダ46と、および左右回転モーター/エンコーダ314へ通信する。
【0125】
胴領域に関しては、本体表示パネル18およびスピーカーS31のような、局所からこの領域までの種々の特性が、中間PCB E30と通信する。またマイクロホンの配列を、音源の場所を決定するため、ロボット
10に並べてもよい。少なくとも1つの実施形態に従い、音源位置決めシステム(本明細書では「音響マジック」と呼ぶ)に使用するためのマイクロホンは、好ましくは現在の音の方向を示す継続的な8ビットのシリアルストリームを発信する。ストリームは音響マジックPCBを内蔵するDSPにより発信され、その同期シリアルポートを経由し、非同期シリアル信号をエミュレートする。
【0126】
シリアル信号は、配電盤上のHCS12によって受信され、8ビットはパケットストリームでは処理されず、CPU板へ配信されることがある。
【0127】
CPU板では、処理は、信号を受信し、(限定されない実施例として)10サンプル/秒にまで縮小し、共有メモリ環状バッファ内にストリームを記憶する。当該縮小は、例えば極が3Hzで、単極IIRローパスフィルタに先行される。バッファは、好ましくは少なくとも最後の5秒の観察を記録し、これらの観察のそれぞれは、オーディオサンプルを実際に聞いた分(信号チェーンを経由する全てのバッファリングを占めている)に対する真のタイムスタンプと共に時間が刻印される。
【0128】
推測される声の場所を、このベクトルを認識システムの音声検知器と組み合わせることにより生成する。音声検知器によって、好ましくは、生存する現状を示す通常のコールバックを発してもよい。これらのコールバックによって、検知された音声(真に実際の時間と一致する)が10hzの声の場所サンプルと関連があることがわかり、最近に検知された発話に対し推定された方向ベクトルを生成する。これらの発話方向ベクトルサンプルは、ユーザの場所および相互交流システムによって使用されるため、同様に共有メモリ環状バッファに記録される。かかる機能性および加工を、好ましくは中間PCB E30に配置された配列プロセッサE301によって提供する。
【0129】
頭部領域では、焦電センサS21または
タッチセンサS22のような、種々のセンサが左右画像センサ(カメラなど)28、29、および顔マトリクスパネル26だけでなく、上部PCB E20と通信してもよい。傾斜モーター/エンコーダ340もまた、上部PCB E20に接続する。
【0130】
上部PCB E20内では、顔マトリクスパネル26とインターフェースを取る(および/または制御する)ための顔制御部/インターフェースE210、
音声コーデック/増幅器E211、および/またはEthernet(登録商標)E202、USB E203、ならびに個別のチャネルに従い通信するための赤外線(IR)E204インターフェースコンポーネントのような、頭部16内に並ぶ装置に一致するコンポーネントを、PCB板に一体化してもよい。さらに、上部PCB E20には、上部PCB E20上に種々のサブコンポーネントを協調させ、かつ/または制御するための必要な指示を提供するために、埋め込みマイクロプロセッサE230(好ましくは1時間当たり1ワット未満を消費する)と、揮発性および不揮発性区分を備えるメモリE209とを含んでもよい。
【0131】
加えて、頭部16内の上部PCB E20を、CDMAモデムと共に使用するためのセルラー帯アンテナのようなアンテナE201に接続してもよく、アンテナE201にはPC板上に取り付けられる埋め込みアンテナコンポーネントを含む。利点として、かかるコンポーネントは携帯電話器用に設計され、小型で、正確に製造され、インピーダンスに整合され、かつ統合するのが簡単である。さらに、アンテナ設計には代わりに単純なワイヤーダイポールを使用し、追加として費用を削減してもよい。
【0132】
好ましくは、ダイポール設計が直接頭部16の上部PCB E20上で実装される。1つの例示的セルラーモデムスロットは、800mHzの携帯電話帯、特に824−849mHzの送信帯、および869−894mHzの受信帯で作動するモジュールをサポートする。ロボットの頭部16を、これらの周波数用の半波長ダイポールを収容するのに十分大きくなるよう選択してもよく、通常は163mmの長さである。しかし、その他多くの機械および電気コンポーネントを頭部に詰める場合、代わりにアンテナは水平に取り付けてもよい。別の選択肢として、水平ダイポールで、わずかに延在し(例えば、およそ4%)、および中間で曲がっている「逆V」構造を使用してもよい。逆Vは、より均一で全方向応答パターンという追加の利点を有する。
【0133】
好ましい構造によって、1つの「逆V」ダイポールを、空間多様性のため、頭部の上部および底に取り付けるように置く。各ダイポールは2つの脚を有し、好ましくはそれぞれ長さが85mm、直径が2mmである。この構成に対し計算されたVSWRは、824mHzでの1.7から、860mHzでの1.2、894mHzでの1.7までの範囲であってもよい。これらのアンテナを(例えば)CPU板の裏に置かれるプレキシグラス支持に添付される12ゲージワイヤーセグメントと共に、実装してもよく、この場合、50オーム同軸ケーブルにより、アンテナをCDMAモジュールに接続することができる。
【0134】
図6Cでは、1日のロボットにおける行動レベル間の推移を示す。これらの状態全てが、本明細書で論じる全ロボットに必要というわけではない。また示すように分割が必要であるというわけでもない。大概、これらの状態は電力節約に役立つ。ロボットが自身の周囲を「聞く」ことも「観察」することもしない(例えば、カメラおよびマイクロホンが無効になり、睡眠状態をプライバシーモードとみなし得る)、最大省電力のための電力睡眠状態では、なんらかの外的または内的な刺激事象でロボットは待機状態に入ってもよい(待機状態から、ロボットは相互交流スクリプトまたはその他の活動を開始してもよい)。電池が完全に充電されている場合、ロボットは睡眠状態よりはむしろ、監視状態で休んでもよく、音、熱、あるいは観察または検知された動きを含むいずれかの事象が検知されると、待機状態に入ることがある。電池の充電状態が低い場合、または音および行動も一定期間中(例えば、10分)検知されない場合には、ロボットは監視状態から睡眠状態に移行してもよい。睡眠状態から監視状態への変化を、明白な許可なしに避けてもよい。同様に、ロボットは非活動または充電が必要な事態では、待機状態から監視状態に入ってもよい。軌道モードは、ロボットが自身の周りの領域を照射する状態である。
【0135】
図6Dでは、1日のロボットにおける異なる機能間の推移を示す。これらの機能全てが、本明細書で論じる全ロボットに必要というわけではない。また示すように分割がある必要もない。睡眠機能および待機機能は
図6Cに関連して論じるような状態に類似している。電池が完全に充電されている場合、ロボットは、睡眠または待機状態よりはむしろ、その他の機能に着手する準備をするグローバル(準備)機能で休んでもよく、音、熱、あるいは観察または検知された動きを含むいずれかの事象が検知されると、待機状態に入ることがある。ロボットは、グローバル機能からアバター機能へ移行してもよい。アバター機能では、テレビ会議、遠隔操作、または遠隔出席セッションを開始してもよく、または一時停止から起動してもよい。コンパニオン機能では、本明細書で論じるような会話を開始してもよく、または一時停止から起動してもよい。アプリケーション機能では、ランタイムスタックを保存することにより一時停止された状態で保存可能ないずれのアプリケーションを開始してもよく、または一時停止から起動してもよい。スピーカーフォンまたはビデオチャットモードでは、ロボットは電話をかけ始めてもよく、または起動してもよい。
【0136】
図7Aでは、本発明のロボットによって使用され得る、通信を自然に流す、一般化された会話ルーティンを示す。ステップSD1により開始シーケンスを始め、ロボットは居住者と関与するように様々な会話の1つを選択することができる。シーケンスを事象の発生または時間に基づき、選択してもよい。例えば、居住者が住居に戻ってくる際、ロボットは挨拶シーケンスを開始してもよく、または居住者に食事をした後の午後の予定があるのかを尋ねてもよい。加えて、居住者との接触および結びつく機会を増加させるため、ロボットは無作為にシーケンスを生成してもよい。ロボットは居住者に接近し、およびロボットに保存されたゲームをすることに興味があるか尋ね、ゲームを選択するよう依頼するなどしてもよい。加えて会話シーケンスは、ロボットおよび居住者間で発生する必要はないが、ロボットの独り言を含んでもよい。一実施例では、ロボットが環境内で移動する間に対象に追突する場合、ロボットは驚きまたは怒りを表現するシーケンスを始めてもよい。
【0137】
ステップSD2は、1つの相互交流を示し、これは、アプリケーションによって、居住者への挨拶、ロボット自身への可聴コメントなどであり得る。ステップSD3で、ロボットは「今日はどうだった?(How was your day?)」「今夜の予定は?(Got plans tonight?)」「映画の時間を確認するよう頼まれた(You asked me to check movie times for you)」などの質問または肯定発言をしてもよい。質問は具体的には特定の数の居住者からの応答のうち1つを引き出すよう設計されることがあり、あるいは居住者は制約のない質問または発言に応答することがある。応答X(予想される応答のロボットのライブラリ外)によって、エラー、混乱、またはステップSDによりロボットからその他の応答を引き起こすことがあり、ロボットは相互交流を終了するか、またはステップSD3により質問または発言を再び提示する。所定のまたは期待される応答によって、ロボットからステップSD5により対応する返答を開始することができる。これらの応答には、例えば、驚きを示す感情として、聞こえるように「わあ(Wow)」、心配を示す感情として、聞こえるように「お気の毒に(That’s too bad)」、嬉しい感情として「いいね(Sounds great)」など、照合感情応答も含む。あるいは、ロボットの応答が第2の質問であってもよい。例えば、ロボットが居住者にどの映画を見たいのかを尋ねるとしたら、ロボットはそれから居住者にロボットが居住者のためにその映画を上映している劇場を探すかどうかなどを尋ねることもできる。
【0138】
SD5でのロボットの返答の後、ロボットはSD6で、多数の第2の相互交流を始めることができる。例えば、ロボットは居住者と一緒にゲームを始めるか、第2の、より特殊な質問または相互交流のセリフへ移行するか、または特定の応答を考慮し相互交流を終了させてもよい。ある種の相互交流により、その他の相互交流が導かれてもよい。これらの事態の下では、事態の要求に伴い、ロボットは長い時間の間居住者と相互交流し、話題、活動、または仕事を変えることもあり、居住者のために豊かな相互交流の経験を創造する。
【0139】
これらのルーティンに従い、ロボットは人とロボットの相互交流の効果的方法を行うことができる。基本的な動作行動の大部分は、非同期(または独立)の会話である。事象に対する避難または安全反応のような行動は、会話によって影響を受けない。通信スクリプトセグメント(クエリー、選択、返答)は、ロボットにより内部データベースまたは遠隔データベースから受信され、人応答文字列(人に対し繰り返すかまたは選ぶかの選択など)だけでなく、ロボット音声プロンプト文字列(会話クエリー、返答、および確認/フィードバック応答など)を含む。ロボットは、可聴ロボット音声プロンプトを生成するために、記録を参照するか、文字列
に伴う音声合成音素スクリプトを閲覧するか、またはオンザフライで文字列から音声への合成をするか(これらはそれぞれ、顔の動画を定義する視覚素タグ、強調音を定義するイアコン、またはロボットの強調動作を定義する「動画」スクリプトを同期化するスクリプトまたはタイムスタンプを含むことができる)のいずれかにより、通信スクリプトセグメントを解釈する。動画スクリプトは、通信スクリプトセグメントの間、上下軸頭部の動きまたは回転軸頭部の動きを含む頭部行動シーケンス、あるいはロボット全体の行動を含むロボット行動シーケンスの、大抵1つまたは両方の表現行動を追加することによって、所望の表現を定義する傾向がある。
【0140】
ロボットは、マイクロホン配列を介した人からの記録音声、あるいは選ばれた応答の選択を押しボタンまたはタッチ画面で識別した結果のいずれかの形で入力を受信する。この会話のどの時点であっても、ロボットが行動システムからの応答が必要な事象(例えば、表現行動への移行の際、食卓またはその他の障害に追突したりする、あるいは第2の人に向かって部分的に動く)を検知する場合、ロボットは複数の行動の1つによって検知した事象に反応して会話分岐に割り込み(例えば、それらの行動によって使用されるセンサを介し)、非同期応答を実行する(ロボットを停止させるなど)。どのような非同期応答(自身の行動または姿勢の変更に関するロボットからのさらなるコメント、あるいは変更および非同期応答を引き起こしたものを発見したことを含む)の後でも、非同期応答を実行した後、ロボットは会話分岐を回復させる。ロボットは、ロボットによって検知された事象に反応して、表現行動に割り込む。事象に従ってロボットを再び位置付けるため、ロボットを停止する(またはその他の正常な行動をとる)。
【0141】
図7Bでは、
図7Aの一般的ルーティンを使用し構築される会話ルーティンを示す。ステップSD1’では、居住者が住居に戻ってくるときを、ロボットは居住者の1日の仕事の終結と認識し、それが引き金となり、ロボットは挨拶シーケンスを開始する。ロボットはステップSD2’で居住者を住居で出迎え、それからステップSD3’で居住者のその日について尋ねる。この場合、例えば、ロボットはSD3’の質問を、質問および潜在的応答(この場合、「最高(Great)」「まあまあ(OK)」「最悪(Terrible)」または「忙しい(I’m in a rush)」)の入力画面上の表示部と組み合わせてもよい。ロボットの返答の多くはSD5’で示され、あるいは居住者にロボットと相互交流する時間または興味がない場合、ロボットは会話を終了してもよい。ステップSD6’で、ロボットは、居住者にその日のまたは今後の仕事について尋ねたり、予定された事象を思い出させたり、夜に良い睡眠を取るよう助言したりなど、多くのその他の相互交流シーケンスを始めてもよい。示唆したように、相互交流によってその他の相互交流、質問などを導いてもよい。ロボットが最終地点に到達する、または居住者が相互交流の終結を依頼するまでなど、これらの相互交流を無制限に続けてもよい。
【0142】
図7Cでは、
図7Aの一般的アルゴリズムを使用し構築される、追突相互交流アルゴリズムSD10を示す。ステップSD11で、ロボットが不意に対象に追突するときが引き金となり、ロボットは、追突シーケンスを始める。ロボットはステップSD12で、ビープ音、衝突音、または対象との接触を示すその他の音のような追突音を発する。ロボットは、それから追突分析シーケンスSD13を開始し、センサ事象の頻度を測定する(この場合、対象との接触)。例えば、ロボットはステップSD13a内のように1回、またはステップSD13bおよび/またはSD13c内のように所定期間内では数回、対象に衝突してもよい。ロボットが使用する表現に関する決定SD14は、センサ事象に依存するが、必ずしも移動応答の行動応答に影響しない。言い換えれば、ロボットはどんな表現、音、感情などを出力してもよいが、これらはロボットの行動移動システム(例えば、ロボットは怒りを表現している間、必要な場合はバックアップを行う)からは独立している。可聴(ロボット自身のスピーカー)出力、または可視(自身の表示部)表現、SD14aに加え、ロボットもSD14bでその他の動画または音を利用することがあるマッピング機能を使用することで、ロボットはまた、自分が過去のあるとき、この特定の場所で対象にぶつかったのかをSD15で測定することができ、したがって移動に関し問題を経験したことのある領域を回避することを学ぶことができる。POPステップによって、ロボットは追突相互交流シーケンスから抜け出ることができる。
図7Bの会話アルゴリズムと同様、この追突相互交流により、その他の相互交流が導かれてもよく、近くにいる居住者などに向けられる嘆願または質問を引き起こしてもよい。ロボットが最終地点に到達する、またはロボットに援助を申し出るなどするまで、これらの相互交流を無制限に続けてもよい。
【0143】
図7Dでは、ロボットが、限られた数(5つ以下、大抵3つ)の応答であって、これらの応答は単純肯定、否定返答に限定される質問を居住者に提示するルーティンを示す。ステップ7D−10で、ロボットはスクリプトセグメントを自分自身のデータベースまたは遠隔データベースから、検索または受信する。ロボットは搭載されている全ての会話または共通の会話を伝えることができるが、その他の実施形態でもまた、アドホックに基づいて(めったに出会うことのない会話ツリーを探索)、予測に基づいて(居住者が会話中に進む速度に先行して、会話ツリーにおける可能な分岐全てまたはいくつかを検索)、あるいは予定されるまたはオンデマンド更新手順の一部として、遠隔サーバから会話を検索してもよい。上記で説明したように、ロボットはそれから可聴クエリーまたは質問(ステップ7D−12、および7D−2に示す、記録、音素、または文字列から)を「話し」、同時にロボットがスクリプト化された会話ツリー内の次に続く分岐として聞くことを期待する回答および、文字列内で一致する質問を表示する(7D−1で示すように画面を使用し、任意で発音されるごとにクエリーの文の各単語をハイライトするか、またはクエリー文全てを1度でハイライトする)。
【0144】
続いて(ステップ7D−16)、ロボットは可聴応答を受信し、それを処理しようと試みる。
図7Dでは、検知される応答が全くない事象(例えば、居住者は歩き去った、ある理由で居住者が全く話さない)でのロボットの行動に対する処理を示さないが、その処理はこのルーティンと一致するであろう。加えて、人が質問に回答する方法として表示される選択肢のそばにあるボタンまたはタッチ画面に手を伸ばし押す場合、
図7Dの処理により、直ちに以下に述べるステップ7D−22(選ばれた選択肢の確認の繰り返し)に移行する。この場合の処理は音声認識であるが、一連の潜在的応答は画面上に示される回答に限定される(1つの例外は、より広い一連の可能性を有することができる肯定、否定応答である)。居住者は画面の応答文字列を声に出して読み選択してもよく、頻繁に使用する結果、典型的な応答を記憶していることもあり、あるいはタッチ画面またはソフトボタンを使用して入力し選択してもよい。図示するように、数を表示(および認識)してもよいが、数が話され認識されることができる根拠ごとに、ロボットが説明する必要は必ずしもないであろう。残りの仕事全ておよびロボットの作動に必要な計算と共有される、1000MIPs未満の埋め込み階級プロセッサで音声認識を行われるため、選択およびそれによって行われる処理は限定される。より多くの音声認識源が手に入る場合、それらはより万能な認識セットよりはむしろ、より高い成功率に寄与することがある。
【0145】
図7Dに図示するように、分析および処理された音声を、ステップ7D−16で会話ツリー内の期待される応答の1つとして認識しない場合、ロボットは居住者にステップ7D−18、7D−20で「再試行」(1つが示される)の指定された数を提供する。再試行メッセージは話されてもよく(7D−5に示す)、質問自体、または可能な回答は、共にかまたは連続してハイライトされるか点滅し(7D−4)、または居住者の注意を再度向けさせるよう試みる。一方、ステップ7D−16で、分析および処理された音声が認識される場合、ロボットはステップ7D−22で可聴繰り返し戻しフィードバックにより(ステップ7D−7に示されている)、および/または認識された回答をハイライトまたは点滅することにより(7D−6)、これを確認してもよい。
【0146】
この様式では、(データベースから)受信された通信スクリプトセグメントには、出力クエリーサブスクリプト文字列および5つ以下のサブスクリプト応答文字列候補の応答ツリー(しばしば「はい(yes)」、「いいえ(no)」、および「わからない(I don’t know)」のような選択肢、その他のときには、錠剤の型「赤のひし形」「緑」「白」「上記のどれでもない」のような一覧)が含まれる。一覧は、(1)極端な注意を回避する、(2)極端な表示画面「不動産」(すなわち、スクロールなしで、簡単に見直すのに十分大きい文字列)を回避する、および(3)音声認識に必要なリソースを制限するために、5つ以下に維持される。出力クエリー文字列(すなわち、尋ねられた質問)は、可聴出力信号(例えば、音素コード、圧縮記録オーディオ)および人に話されたクエリーのような出力に関連および付随する。出力クエリーサブスクリプト文字列および応答の制限数の両方は、ロボットの表示部に共に表示される。ロボットは、マイクロホン、あるいはベクトル化またはその他のマイクロホン配列を介し、オーディオ入力信号として人が発話した応答を受信し、表示されたもの(すなわち、質問に対し期待される応答全て)と一致するかどうかを確認/認識するために処理される。マイクロホンによって記録された信号が認識される場合、ロボットは出力信号(すなわち、声または文字列構成、ハイライトまたは点滅)を出し、認識された応答をフォードバックまたは繰り返し戻す。そうでない場合、出力信号、また声または文字列が、ハイライトまたは点滅プロンプトで、ユーザに応答の送信を再試行するよう、再び指示する。いくつかの場合、ロボットは認識した選択の正誤確認を監視することにより、居住者に確認を依頼することができる。
【0147】
オーディオ再試行の効果がない場合、再試行は、ロボットの表示部上に表示されるサブスクリプト文字列をハイライトする(点滅または同様のことを含む)、または同時に表示部に付随する手動で作動される制御(例えば、ソフトボタン、タッチ画面)を介する応答選択肢を受信する形を取ることができる。応答文字列候補の2つが単純な肯定および単純な否定応答の場合であって、処理が、その後、単純な肯定応答と同等の肯定応答の多くの異なる種類、すなわちファミリ(はい(yes)、うん(yeah)、ふうん(uh−huh)、もちろん(sure)など)に対応する音声を確認するか、または単純否定応答と同等の否定応答のファミリ(いいえ(no)、いや(nope)、え−(nah)、そうは思わない(I don’t think so)、うーん(uh−uh)など)に対応するする音声を含む場合には、いくつかの利点がある。その他のメッセージは、多くのスクリプト(わからない[I don‘t know]、戻って[please go back]など)の間で共通することができ、かかる場合、ロボットは画面上に示されない限定された一連の可能な応答(戻って[please go back]、後で帰ってきて[come back later]、やめて[quit]、スケジュールを見せて[show me my schedule]など)を認識することができる。はい、およびいいえの回答もない場合、回答の一覧を3つ以下に限定し、音声認識の仕事を有意に制限してもよい。
【0148】
独立型ネットワークアダプタにより、設定のためのユーザインタフェースを必要とせずに、ロボットのためのネットワークアクセスのファイアウォール迂回およびゼロ構成が提供される。これは、ロボットと独立して行われてもよく、ある実施形態では、住居で多数のロボットを潜在的に橋渡しすることができる。一実施形態では、WiFiはデフォルトおよび「ロック」により可能となる有線と同様のプライバシー/WiFi保護アクセス(WEP/WPA)を持つ、非放送型拡張サービスセット識別子(ESSID)である。ロボットおよびネットワークアダプタを、生成された固有のセキュリティ情報と共に工場で1対としてもよい。後に行われる追加の対の動作には、ロボットおよびネットワークアダプタ間の物理的近接または見通し線を必要とする(ペアリングケーブル、短距離BlueTooth
(登録商標)、ZigBee、無線USBのようなRF、または短距離IRにより検証される)。
【0149】
ネットワークアダプタはファイアウォールとして機能し、いずれの現存するインフラの外側へ入ってもよい。また、例えば、http://www.faqs.org/rfcs/rfc3489.htmlで定義される“Simple Traversal of User Datagram Protocol (UDP) Through Network Address Translators (NATs)”、を含み、この開示は参照することにより本明細書に含まれる。この機能性がドライブに組み込まれ、そしてネットワークアダプタがインターネットゲートウェイのように機能することを可能にし、家庭環境において認識されるロボットのインターネットアクセスを可能にし得る。例えば、既知の範囲内のMACアドレスをロボットが有することにより、ネットワークアダプタのファイアウォール迂回特性にアクセスする多くの方法がある。
【0150】
権限を付与する一般的なネットワークアーキテクチャを、
図8Aおよび8Bに示す。住居内のロボット10(多数のロボット、またはロボット基地局にアクセス可能なその他の埋め込み装置)それぞれは、異なるレベルのあらかじめインストールされたセキュリティおよび互換暗号鍵を介してロボット基地局にリンクされる。
図8Bに図示するように、接続8B−2は通常RFプロトコルのフレームまたはパケット内に運ばれ、この中でIPスタックプロトコル(TCP、UDP、HTTP)を使用し、この中で信頼できる境界(仮想私的ネットワークVPN、または安全ソケット層SSL境界)を有するであろう。通常、ロボット10は無線で接続され、ロボット基地局は、ロボット
10へまたはロボット
10から送信され得るデータに十分なRF帯域幅およびプロトコルを使用するRF局である。例えば、ビデオ会議が行えるロボット10に対しては、802.11a/b/g/nのような、比較的高い処理能力のRF様式が役立つであろう。ビデオデータもオーディオデータも送信しないロボット10には、Bluetooth
(登録商標)、無線USB、または専有のネットワークが使用できるであろう。基地局は、暗号をRFプロトコルに追加する(ネットワークへのアクセスを制限するため)ように、または追加せず(最も速い速度を許可するため)に構成できる。RFプロトコル自体が暗号化されていてもいなくても、最深部の信頼できる境界では、RF信号から盗聴されうるデータを暗号化および保護し、ロボットおよびその他の委任装置は、メディアアクセス制御MAC接続許可ホワイトリスト上にあり、ならびに/あるいはVPNまたはSSL接続用の適切な公開(public)および秘密(private)の暗号鍵を提供される。基地局8A−6によって、住居内のその他の装置のため一般的なRFプロトコルまたはWiFiネットワーク接続性を提供してもよく、ロボット(特に2つのトランシーバを与えられている場合)は、中継またはリピーターとして機能し、基地局8A−6の範囲を拡張してもよい。
【0151】
基地局(この図では、8A−6)は、いつもモデムまたはネットワーク端末(大抵、ケーブルモデム、xDSL、または光ネットワーク端末)を介し、インターネットサービスプロバイダー(図示せず)に、それから公共のインターネット(クラウド)へ接続する。ロボット基地局は、通常ルータの機能を有しおよびルータ(例えば、DHCPサーバ、NAT、ファイアウォールなど)を提供するので、ルータを通す必要はない。それにもかかわらず、本明細書で説明するように、ロボット基地局8A−6がファイアウォールまたはNATサービスの内側にあるいくつかの場合、またはマッチメイキングのためのいくつかの技術が、本明細書にて対処される。
【0152】
ロボット基地局8A−6は、定期的にまたは断続的にマッチメーカー8A−10(ウェブ、またはデータベースサーバ)に接続し、ロボット基地局
8A−6の現在のIPアドレスの最新記録を保持する(ほとんどの場合、動的に割り当てられると考えられる)。照合が1度行われる(例えば、介助者局8A−4およびロボット基地局8A−6にお互いのIPアドレスを通知する)と、安全なピアツーピア接続(
図8Bに図示するような、接続8B−8)を確立する。マッチメーカー8A−10は、ユビキタス固有IPアドレスを持つIPv6型においては必ずしも必須ではない。
図8Bの右側に図示するように、基地局はマッチメーカーまたはスーパーノードのアドレスを知り、ロボット基地局接続8B−2に類似するプロトコル層を介し、
8B−4に接続する。ただし、この場合の外側層が基地局からマッチメーカーにインターネットトラフィックを伝えるどんなメディアに対しても適切であるプロトコルである(例えば、Ethernet(登録商標)、ATM、X.25、またはその他のパケットネットワーク)場合は除く。マッチメーカー8A−10またはスーパーノードが、照合されたロボットまたはロボット10のIPアドレスを介助者の局に通知する。
【0153】
さらに、マッチメーカー8A−10は、いわゆるスーパーノードに頼るネットワークの一部であり、特権クライアントの間でルーティングを提供してもよく、またはマッチメイキング機能は、データネットワーク8A−8、8A−12、8A−14へのいかなるアクセスも持たないノードおよびスーパーノードのネットワークによって処理してもよい。例えば、スーパーノードは、ファイアウォールの内側ではなく、パブリックまたは固定IPアドレスを有するノードであってもよい。ユーザ識別およびパスワード用の暗号鍵は、ログインサーバのように、マッチメーカー8A−10上に保存される。ロボット基地局または介助者局のそれぞれは、STUN(rfc3489)プロトコルおよびTURNプロトコルと類似したプロトコルを使用して、どのような種類のNATまたはファイアウォール介入かを決定してもよい。開始するには、局は、ランダムポート番号および共通ポート番号(HTTPの80またはHTTPSの443)で聴取ポートを開いてもよい(TCPまたはUDP)。それぞれの局は、スーパーノードまたはマッチメーカーのキャッシュ、ならびにそれらのIPアドレスおよび既知のランダムポートを維持してもよい。インターネットに接続されると、局はスーパーノードか、または履歴ポート番号でのマッチメーカーIPアドレスへパケット(TCPまたはUDP)を送信し、応答を待ち、その後HTTPポート、次いでHTTPSポートへ接続するように試行してもよい。スーパーノードまたはマッチメーカーへ接続された後、このマッチメーカーまたはその他のマッチメーカー、Webサーバまたはセキュリティサーバは局を認証してもよい。スーパーノードまたはマッチメーカーはまた、十分な量のパケットをやりとりし、局に、異なるマッチメーカーのIPアドレス、またはその局を認証することができる特定のログイン認証のアドレスを通知してもよい。接続の間、それぞれの局は、そのキャッシュを、スーパーノード、ノード、マッチメーカー、およびそれらの最新で既知の(ランダム)オープンポートおよびIPアドレスに追加する。任意のノード(ロボット基地局、介助者局)またはスーパーノードは、どちらか一方または両方がポート規制のあるネットワークファイアウォールまたはNATの内側にある場合、照合ロボット基地局と介助者局との間にトラフィックを回送および転送するルータとして機能することがある。これは通常、「Skype」のピアツーピア回線ネットワークと類似しており、かかるネットワークと相互運用が可能となる。本配置では、スーパーノードに負担をかける傾向がなく、通常処理機能が低い(すわなち、消費者のルータとほぼ同様の)ロボット基地局ノードの使用を回避するので、好ましくは、使用していない介助者局(通常、普通のPCの起動承認ソフトウェア、VPN、および/またはクライアントソフトウェア)は、かかる場合にはルータとして機能する。
【0154】
図8Cに図示するように、これを、または修正システムを使用して、ロボットなどの承認装置、またはVOIP電話もしくはメディア局などの事前承認装置(すなわち、MACアドレス、公開鍵、署名など、ロボット基地局に知られている、暗号法もしくは固有の識別情報を有する、または直接有線接続、スキャン可能なID、直列接続、または同等物経由で局所的にこの情報を送信することができる)は、ロボット基地局によって、信頼できるネットワークの少なくとも一部に直接参加することが許可される。基地局は、認識されたノードになろうとする承認装置が、ランダムポートnn上で受信することを許可し、それによって装置がそのポートで使用可能であること(すなわち、ロボット基地局に対して指定されたIPアドレス、受信するポート、ロボットまたは事前承認装置に関連する識別性および/またはセキュリティ情報を含む)をマッチメーカーに通知する。別の場合には、基地局を介してアクセスする装置のそれぞれが、異なるランダムポートを有するので、識別情報は必要ではない。マッチメーカーおよびロボット/装置はその後、チャレンジレスポンス(セキュリティ、承認情報を含む)を実施し、マッチメーカーでロボット/装置を認証する。未承認装置が基地局の使用を試行する場合、装置は、基地局および承認サービスのリストを介して、その承認を交渉することによって認証されることになってもよい(例えば、基地局を介して、承認サーバに既に知られている署名および/または事前承認された特権コードを送信することによって登録する)。その後、装置またはロボットは、その基地局で承認されてもよい。介助者局が、スーパーノードまたはマッチメーカーに接続するように直ちに試行することを除いては、同様の処理が、介助者の局で行われる。さらに、ランダムポート戦略は、ロボット基地局または介助者局が、ファイアウォール、閉ポート、および/またはNATの内側にあるとき回送および転送する、HTTPポート、HTTPSポート、および/または介入ノードパケットを使用することによって補完される。
【0155】
基地局8A−6はまた、ロボット10において有用な種々のアプリケーションを受け入れる、Webサーバまたはサーバ8A−8に接続される。Webサーバ8A−8は、コンテンツがロボット10(例えば、マルチメディアコンテンツ)によって使用されるファイルシステム8A−12へのアクセスと、さらに一般化データベースへのアクセスを有する。データベースは、居住者のためのユーザプロファイル、ロボット10が使用可能な会話、スケジュールおよび同等物を保存してもよい。極秘または機密であると見なされる任意のデータは、暗号鍵による識別またはコンテンツに関して不明瞭にすることができる。データベースの所有者(居住者ではない)が調べない、または識別性を個人データに載せないような方法で、データは、データベースによって使用または処理してもよい。接続テーブルは、ロボットまたは基地局上に保存された記録を、介助者によって保存されたデータと一致させることができるので、一方がピアツーピア8B−8を接続するオンラインでない間に、他方から収集または送信されるデータは関連付けられてもよい。ロボット上のみに、または介助者によって、もしくは介助者のネットワークによって通常保存されるデータ(極秘の病歴および記録など)は、データベース8A−14に維持してもよいが、好ましくは、介助者、ロボット、ロボット基地局または委任者(例えば、居住者の家庭用PC)によってのみ復号可能な暗号化バックアップ形式に維持される。
【0156】
このようにして、ロボットシステムは、基地局8A−6およびロボット10の両方を含む。基地局は、ローカル無線プロトコル経由でTCP/IP伝送を通信できる無線トランシーバ、およびインターネットにアクセスするローカル有線Ethernet(登録商標)経由でTCP/IP伝送を通信するための有線Ethernet(登録商標)コネクタを含む。アクセスポイント回路(例えば、ロボット基地局における)は、ローカル有線Ethernet(登録商標)とローカル無線プロトコルとの間のTCP/IP伝送を転送し、またロボットに指定され、ロックされる(例えば、居住者または介助者が変更することは、承認なしでは、または全くできない)所定のIPアドレス、ロボットにロックされる所定のシェルレベル暗号化(論じたVPNおよび/またはSSLなど)、およびロボットのみに開かれるインターネットへの所定ポート(例えば、それぞれのロボットに指定されるおよび開かれる1つのランダムポート、または同じ言語下で、介入ランダムルーティングノードと組み合わせて、HTTPまたはHTTPSなどの共通ポート)に限定される。ロボット自体は、ローカルRFまたは無線プロトコル経由でTCP/IP伝送を通信することができる無線トランシーバ、およびローカル無線プロトコル経由でTCP/IP伝送を転送するためにクライアント回路(例えば、IPプロトコルスタックを有するCPUおよびOS)を含むことになる。
【0157】
好ましくは、ロボット基地局は、複数のアンテナを含み(ロボットも同様に含んでもよい)、802.11nマルチプルイン、マルチプルアウトアンテナの多様性および選択を使用し、2.4GHzの無免許周波数に限定されないが、例えば、900MHzから最大約10GHzの帯域での、家庭内のマルチプルパス伝搬の問題を克服する。さらに好ましくは、ロボット基地局は、直交周波数分割多重化を使用して、無線伝送をさらにエンコードする。このような場合には、ロボット基地局は携帯式であってもよく、介助者局の部品(遠隔操作用のカメラおよびビデオ情報を中継することができる画面、およびロボットを遠隔操作するための制御器など)を組み込んでもよく、実施形態は、ロボット用のプラットフォームは、搭載される監督カメラを用いて、踏みつけられ、スリップしながら操作される、ことが企図される。可能な限り高速、マルチパス抵抗、マルチプルイン、マルチプルアウトアンテナの多様性を使用したフレームレート、直交周波数分割多重化、エラー修正をしないIPまたはIPと互換性のあるパケットプロトコル(UDPなど)、および任意に、H.264AVCまたはMPEG4などの予測ウェーブレットベースのビデオ圧縮において、ロボットから基地局へビデオを送信してもよい。
【0158】
図8に示す実施形態では、ロボットは、上流サーバとやりとりするチャレンジレスポンスを介して認証する。ネットワークアダプタは、家の中の未認識ロボットのために、既知の認証サイトに小さな穴を開ける。この認証サイトは、未認識ロボットに対して課題を課す。ロボットが暗号法的に正当な応答に反応すると、認証トークンはネットワークアダプタに送信され、それはトークンを保存し、その地点からインターネットへのアクセスを可能にする。さらにその他の実施形態では、ロボットは、受信するためのランダムポート番号が与えられ、この情報はまた、マッチメイキングサービスへ転送される。
【0159】
中央サービスは、ダイナミックDNSサービスと類似しているマッチメイキングを提供することがあるが、それは特定のネットワークアダプタを利用する市販のロボット用である。これらの状況下では、所有者がマッチメーカーサービスに最初に接続するときに、それぞれのロボットは、所有者を装置にマッピングする固有のパスコードとともに消費者に出荷されることになる。この場合は、マッチメーカーサービスは、ロボット用の、ウェブにより受け入れられる集中型ユーザインターフェースである。サービスは、双方ともインターネットクライアントである、ロボットとユーザ間の構成およびユーザインターフェースをプロキシする。さらに、マッチメーカーサービスは、車両管理ツール(ソフトウェアの更新用)および特定の家の中のロボット用のポータルとして作動してもよい。この中央側から、ユーザはロボットに「接続する」ことができ、それはユーザを、ロボット上で受け入れるユーザインターフェースをリダイレクトする。
【0160】
図9Aは、安全上の懸念により遠隔端末へ情報の伝達が要求される状況において、移動ロボットによって実装してもよい報告ルーティンを図示する。ステップS1では、ロボットは、例えば、遠隔介助者が移動ロボットから受信したいと願う情報のリストをダウンロードすることによって、コンピュータネットワークから報告指示を検索する。かかる情報は、数ある中でも、何時にロボットが住居者の存在を最後に検知したか、居住者への薬剤の配給が成功したかどうかを含む。ステップS2では、ロボットはかかる情報を収集してもよい。ロボットはその後、現在の時間を確認し、それをステップS3でのスケジュールと比較し、
ステップS4において、スケジュールが情報を送信する時間になったと決定したら、ステップ
S5において、ロボットはその情報を遠隔端末に送信してもよい。さもなければ、例えば、制御は
ステップS2に戻ってもよい。
【0161】
終日にわたるスケジュールまたは事象に応えて、移動ロボットは、限定されないが、(a)薬剤遵守情報、(b)音のパターンまたは他の検知によって認識される、居住者の存在または不在、(c)状況または「異常なし」の報告、(d)来客についての報告、(e)計画されたスケジュールに関して、居住者によって入力された更新(「2時間外出するよ(I’ll be out for two hours)」)、(f)音の異常なパターン(耳障りな雑音、呼び出し雑音)または異常に大きな音についての報告、(g)介助者または他の家族から居住者への通信の要求を含む、居住者に関する更新情報を含む更新を作成する。これらの更新には、事象に応答する更新、データ変更の更新、状況更新、および定期的な更新が含まれる。
【0162】
ロボットは、プッシュ更新システムを使用して、プッシュサーバに統合される、またはそれと通信するコンピュータサーバに、最新情報をアップロードする。メールデリバリエージェントに類似しているプッシュサーバは、メールユーザエージェントに類似している更新クライアントに新しく受信した更新を送信(または転送)する。ロボットおよび介助者の端末の双方とも、更新クライアントとなり得る。プッシュサーバは、ロボットまたは介助者クライアントのネットワークを監視し、介助者に対する新しい更新を発見すると、更新を検索し、それを介助者の端末に転送する。同様に、プッシュサーバがロボットに対する新しい更新を発見すると、ロボットにメッセージを転送する。更新は個別に維持し、アーカイブに保管してもよく、またはしなくてもよい。
【0163】
図9Bに図示するように、インターネットIに備えられるプッシュサーバPは、ロボットからの報告および更新(クライアントロボットにより、クライアントモードで、プッシュサーバに報告される)が介助者の端末Cに転送されるような方法で、(基地局Bを介して)移動ロボットRおよび介助者の端末Cと通信する。介助者の端末Cは、電話、メッセージング装置(ブラックベリーまたは他の携帯情報端末)、もしくはコンピュータブラウザまたは他のクライアントであってもよい。このような状況では、プッシュサーバPからクライアント装置に配信される情報は、クライアント装置によってまとめられる一連の所定の要求パラメータに基づく。これは、遅延様式またはインスタントメッセージ様式であってもよい。プッシュサーバPは、介助者の端末CがプッシュサーバPから更新を記録する、またはそうでなければ要求することなく、介助者の端末Cにコンテンツを転送する。結果的に、移動ロボットRによって更新された情報は、インターネットI上のプッシュサーバPを介して介助者の端末Cに中継される。プッシュッサーバは、電子メールと同様に更新を転送してもよい。別法として、RSSなどのプル技術は、ロボットから始まるコンテンツの配信用に使用してもよい。このような場合には、介助者の端末Cは、例えば、日中に特定の間隔で、コンピュータサーバからの任意の最新情報を自動的に検索してもよい。
【0164】
本発明のロボットは、ある事象に対する応答を示す視覚合図を使用して、ユーザに豊かな相互交流体験を提供する。それらの合図は、少なくも、画面のうちの1つ以上での画面表示部および反応を伝えるための頭部または他の物的移動を含む。
図10Aは、移動ロボットの画面26上で表示される、典型的な種々の感情表現を示す。
図10Aに示された感情画像は、ロボットの頭部16の表示部26上に示されるが、感情画像はまた、本体に取り付けられる画面上に表示することも可能である。任意に、感情画面は表示部画面の一部のみを使用し、残部を他の相互交流および/または機能のために空けておいてもよい。
【0165】
表示するように、口、目、眉という対象物(
図10Aに示す典型的な表現など)は、マトリクス表示部を使用し、非常に多数の画素から適宜形成することができ、または、セグメント表示部を使用し、多数のセグメントの設定形で形成することができる。もちろん、表示部はセグメントおよびマトリクス部分の両方を内蔵してもよく、マトリクス画素は1種類のセグメントとみなしてもよい。セグメントまたは顔マトリクス表示部には、従来の製造技術によって、十分な数のセグメントまたは画素を提供してもよい。
【0166】
以下の論考は、適切な部分で顕著な差異を有するセグメントパネル、またはマトリクスパネルを説明する。マトリクスパネルについて論じる際は、MacromediaTMFlashTM、携帯用動画システムで動画を生成するために使用される技術が有用である。この専門用語では、「映画(movie)」は一連の場面であり得、場面は、一実施形態では、層を成して背景に入れてもよい、文字列の対象および画像の対象などの一連の対象である。映画および対象は事象に応答し、映画の外の行為を行ってもよく、同様に効果(物体の外観を変化させる動画)を適用してもよい。セグメントパネルの作動を論じる際は、物体は、順番に、または個別に作動または停止させてもよい単一のセグメントまたはセグメントのグループであってもよく、作動または停止させることにより、動きの印象または外観の変化を与えることができる。いずれにしても、「対象(object)」は動画化され、移行性動画状態に適応する。この専門用語の使用にもかかわらず、本発明は、論じた動画システムに限定されることはない。
【0167】
表示部26は、ロボットの変化する感情および非言語的行動を表現する音声および相互交流と同期して動画化される、目−鼻−口の表示を実行する。表示の動画化表現は、音声と同期化される非言語的行動、音声と同期化される音素動画化、会話および感情モジュールからの基本表現、およびいくつかの専門的表現手順などの、システム内の種々の変数に従い制御される。表現の機能要素には、いくつかの基本表現、視線方向、身振りを強調するためのいくつかの眉の位置、音素動画化のためのいくつかの口の形(視覚素)が含まれる。これらの要素、すなわち、音素動画化、注視移動、および眉吊り上げの作業は独立しており(直交)、これは、悲しい(軽度)、懸案、中立(肯定的)、幸せ(満足から喜びまで少なくとも4等級付け)、驚き(肯定的な驚きまたは否定的な驚きとは異なる提示)などを含む基本表現とは関係がない。状態から状態への平滑動画化移行のための、すべてこれらの要素において、「中間(in−between)」状態(トゥイーン(「tween」))が存在する。
【0168】
視線方向は、例えば、右から左への、16の異なる位置の直視を提供してもよい。2つの位置の左上方および右上方、および2つの位置の左下方および右下方をさらに提供してもよい。眼の反射表示器は省略されたり、室内照明の方向性に応じて設定されたり、または安定状態を保ったりしてもよい。少なくとも3つの眉の位置が提供され得、すなわち中立、中位に吊り上げ、高位に吊り上げ、さらに中間状態が提供され得る。眉もまた、基本表現の形成に関与する。
【0169】
音素動画化は、13の視覚素のサブセット(「視覚素」は、かかる音素を形成するために使用される人間の口の動きのタイミングおよび速度に応じて、音声合成音素に対応する位置での口の一連の動画フレームであり、「イアコン」は、アイコンに相当する可聴バージョンであり、すなわち、提案、物体、または話し言葉を使用しない行為を伝える、短い、意味のある音である)、毎秒5音素の標的発話速度に合わせて中間状態にされる。舌を示す表現は、このサブセットを減少するように除去されることがある。A、B、E、F、K、O、OO、R、THなど、一連の口を閉じた形は、基本の組の音素を備える。さらに大きな組は、P、B、M;W、UW;R;F、V;TH、DH;L;S、Z、D、T、N;SH、CH、JH、ZH;Y、IY、IH、IX、AW、H、K、G、NG;EY、EH、UH;AE、AX、AH、AA、AO、ER、AY;OY;およびOWなど、無音のうちのいずれかまたは全部を含んでもよい。
【0170】
特色のある表現は、ウインク、まばたき、好奇心の強い、探求心のある(横目の1つの平らな眉)、瞳孔を開く、笑う、号泣、眠い(ロボットの電池レベルが低くなる)、考える(何かをダウンロードする間に使用される、額の深いしわを含むことがある)を含んでもよい。
図10Aに示す表現は、必要に応じて、種々の頭部方向を併せて利用してもよい。
【0171】
図10Bは、ロボット10のための表現運動行為および位置を表す。頭部16の潜在的デフォルト位置(
図1Aに示すが、
図10Bには示さない)は、居住者に関するものであってもよい。
【0172】
本明細書に概して示すように、ロボットの頭部および胴の構造は、肩をすくめたり、うなずいたり、頭を振ったり、横を向いたり(対象を変える)、その他の身振りの合図を提供するよう設計されてもよく、すなわち移動システムによって、接近および後退の動き(個人空間および会話への留意の合図)ができる。ロボットは、頭部、または実際にはいかなる人間または動物の特性を有する必要がないことを留意することが重要である。人の頭部、肩または同等物の動きに関与する既知の身振りの合図については、人間の身振りの合図と同じまたは類似した会話のタイミングと合図に従い配置される場合は、類似した位置にあり、および/または類似したプロファイルのロボットの部分を使用した相似性運動は、ロボットの全身を使用して誇張される。これらの一部を
図10Bに示す。接近および後退の動きは、また、横を向いたりする事と、その他の身振りの合図を含んでもよい。概して、本明細書で論じたように、身振りの合図を提供する動きは、用語表現運動の中に含まれ、非同期的に、または定期的にスクリプトによって引き起こされる可能性がある。
図10Bに図示するように、ロボットは、特定の文化または人のために正確な距離に接近してもよい(これは、居住者との会話が、居住者をロボットから離れさすことを継続的に引き起こすことを、ロボットが検知することができるにつれ、記録され、徐々に適合することができる。)。これは身振りの合図の例であり、その他の典型的な身振りの合図は、会話の話題が変わる一瞬に、居住者からロボット全体またはロボットの頭部を、わずかに向きを変えることになる。
図10Bにさらに図示するように、居住者がある方向に移動し始めることがわかると、ロボットは、居住者の邪魔にならない場所に「丁重かつ優雅に」移動し、ロボットが、ドアの位置および/または通行経路および/または住居の障害を記録することは、道をあけておくことを容易にする。これは、ロボットの表現運動を介して、社会的相互交流をシミュレートするロボットの例である。
図10Bにさらに図示するように、ロボットは、「アニモーション(animotion)」、すなわち、表現を伝えるように設計される、ロボット全体(車輪を介して)の運動スクリプトを実行してもよい(これらはまた、ロボットの他の部分の動きおよび/または音などを含んでもよい)。これらの種類の表現運動のそれぞれは、表現運動および/または本明細書で論じている非同期ロボットの動きおよび非同期事象の一部と見なされる。
【0173】
本発明の実施形態によると、移動ロボットは、種々の仕事または活動の遵守を促進または保証するために、居住者との相互交流を提供してもよい。例えば、移動ロボットは、
図11Aに図示するように、多数の予定された事象のために、リマインダおよび他の刺激を提供してもよい。これは、日中の適切な時間に薬剤の服用の想起が困難である高齢者または他の居住者と相互交流することは特に有用となる。薬剤投与計画の支持に加えて、ロボットは、規定食計画を支持してもよく、慢性症状を管理するための提案(ストレッチをする、水を飲む、休憩する、など)の反復を提供し、また回復療法(療法士が推奨する運動など)の指示を提供してもよい。ロボットのプロセッサに保存されたスケジュール50は、居住者によってまたは遠隔オペレータもしくは介助者によって設定されてもよい。例えば、居住者は、コンピュータまたは携帯情報端末経由か、またはロボットのインターフェース能力を直接使用して、所望の事象を入力してもよい。さらに、居住者は、ある行動が直ちに実行されることを要求してもよい。同様に、ロボットスケジュール50はまた、重要な予約、医薬投与量などを記録するために、医者のコンピュータまたは携帯情報端末に連結されてもよい。さらに、または別法として、例えば、新しい薬剤が処方された場合に、スケジュール50は薬局から指示を受信してもよい。
【0174】
図11Aにおけるスケジュール50に示されるように、薬剤遵守ルーティン54は、朝の投与計画52に続いて予定されてもよく、それは、居住者の目を覚まさせるロボット、錠剤充填手順、ストレッチ計画、バイタルサインの確認などを含んでもよい。朝の行動はまた、その日の後に予定されている活動のいずれか、または後日の特定の予約に関してさえ、居住者に注意喚起するために使用してもよい。日周活動における居住者の認識および物理的関与(自分自身の日課表を計画する、および/または薬剤を充填するなど)を高めることによって、ロボットは、居住者自身の投与計画への関与、責任、および制御を高める。自分自身の介助におけるかかる関与は有益となることがある。
【0175】
さらなる投与計画は、類似するリマインダスキームとともに、移動ロボットによって支持されてもよい。例えば、ロボットは、すでにスケジュール50に入れられた、社交目的の訪問56、または娯楽事象58のためのリマンダを居住者に提供してもよい。薬剤遵守ルーティン54の間に、ロボットは、相互交流の目的を居住者に注意喚起し、投与する必要がある薬剤の量に留意し、また遵守ルーティンを進める許可を要求してもよい。本実例では、移動ロボットは、ロボットが、薬剤ディスペンサ、カートリッジ、または担体を含むかどうかに応じて、(i)薬剤が保管されている部屋へ行くように住居者に指図する、(ii)水と一緒に、ロボットが運ぶ1つのコップまたは複数のコップから薬剤を差し出す、(iii)居住者が薬剤を取り出し、服用できるように、錠剤ディスペンサの適切な部分を開くことがある。それに応じて、投与計画遵守の時間が来たことを単に居住者に注意喚起することによって、投与計画遵守の確率は増加する。しかしながら、この確率をさらに増加させるために、ロボットは種々の行為を行うことができる。例えば、ロボットは、関連した薬剤貯蔵部、担体、カートリッジ、またはディスペンサを備えてもよく、さらに、担体またはディスペンサを含んでもよい。遵守ルーティン54が、時間によって、または他の事象のトリガー(例えば、食後、遠隔介助者からの指図の時点など)によって開始されるときに、ロボットは、薬剤を居住者へ持って行く、または居住者を薬剤に連れてきてもよい。
【0176】
図11Bは、典型的な投与計画開始のルーティン、Iを図示し、移動ロボットは、投与計画ルーティンを始めるために追随してもよい。ステップSI1では、移動ロボットは、現在の時間を確認し(または事象の発生に留意する)、それとスケジュール50(図
11A)とを比較する。ステップSI2で、ロボットが、薬剤ルーティンまたは他の投与計画ルーティンを始める時間であると決定すると、ロボットは、ステップSI3で居住者を探し始める(そうでない場合は、制御工程はステップSI1にループバックすることがある)。探しルーティンを以下に説明する。ステップSI4では、移動ロボットは、居住者に問い合わせをし、その後ステップSI5で、相互交流の許可が与えられたかどうかを決定してもよい。そうであれば、移動ロボットは、
ステップSI6で相互交流の行動を実行し、そうでない場合は、ステップSI7で、ロボットは、ロボットが拒否に関して遠隔介助者に連絡してもよいかどうかを決定するために与えられた許可を確認する。別法として、投与計画が重大でない場合(例えば、社交または娯楽事象)には、ロボットは、ステップSI10に移動して、その領域から離れてもよい。ステップSI8では、ロボットとの相互交流に対する居住者の拒否を介助者に通知することが許容されることを移動ロボットが決定すると、その後ステップSI9に進み、介助者に通知を送信する。一方、許可が与えられなかった場合は、オーバーライド状態が存在しないと見なされ、ロボットはステップSI10でその領域から離れてもよい。
【0177】
典型的な投与計画遵守ルーティン、Cを
図11Cに示す。ロボットの表示画面またはスピーカーは、表示可能もしくは可聴な指示、または薬剤の投与もしくは他の投与計画実行方法の説明を提供してもよい。スケジュール50が、投与計画の遵守ルーティン(例えば、朝のルーティン52、薬剤遵守ルーティン54、社交目的の訪問56、娯楽事象58)が予定されていることを示す場合、ひいてはロボットは、
ステップSC1に示すように、居住者が投与計画の遂行方法および理由を理解することを助けることができる。例えば、ロボットは、時間、事象、または他の要因に基づくか否かにかかわらず、人が服用する薬剤および服用するスケジュールを含む個人の薬剤投与量情報についてを説明してもよい。ロボットはその後、ルーティンの間の遵守を追跡するために、
ステップSC2で、ステップ=0に遵守カウンターを設定し、次いで
ステップSC3で、投与計画を遂行するために、第1のリマインダを渡してもよい。リマインダが最初に拒否されなければ(SC4)、ロボットは要求に応じ(SC5)、錠剤を提供したり、錠剤を保存する場所に人を誘導したり、運動指示を表示したり、かつ/または言葉で表現したり、ビデオ会議接続を準備したりすることによって助力する。設定時間または事象後、ロボットは、質問か、または他の遵守確信行為(例えば、錠剤ディスペンサの内容を確認する)とともに遵守を確認し(SC6)、遵守が確認されると(SC7)、ルーティンは終了し、ロボットはスケジュール50を監視するステップに戻る(
図11A)。遵守が確認されると、ロボットは1だけ、遵守カウンターを増加させ(SC7’)、その後ルーティンが重大であるかどうかを決定する(SC9)。
ルーティンへの遵守がステップSC4で最初に拒否されると、遵守カウンターがステップSC8でS+1だけ増加した後、再びこのステップSC9に至る。
【0178】
遵守の確率を増加させるために、投与計画が重大でないときは、ロボットは、居住者が一時的に薬剤または投与計画を遅延することを許可する「スヌーズ」機能、
ステップSC9’を含んでもよい。スヌーズルーティンは、居住者、介助者、またはロボットによって、より重要ではあるが、重大ではないと見なされる特定の投与計画(例えば、薬剤遵守、治療遵守、など)のための再現に限定される。より重大ではない投与計画(例えば、社交および娯楽事象、予定された事象のない日の朝の起床、など)に関しては、スヌーズルーティンは、完全にタイムアウトし得る。スヌーズルーティンはまた、二次リマインダ(例えば、15分の遅延を許可する場合に、ロボットは、投与計画を有する遵守が間もなく要求されるというリマインダを発行してもよい)により修正可能であり、
ステップSC3に戻ってもよい。遵守の事情が好ましくない場合には(例えば、テレビ会議が予定されているときに、人が食事の準備をしている、など)、スヌーズ機能
ステップSC9’も同様に使用してもよい。投与計画遵守ルーティンが、必然的に居住者の制御によって中断または遅延する場合には、それは要求された遅延の後復活する。かかる遅延は、薬剤が何回およびどれくらいの期間遅延または拒否されてもよいか、介助者が遅延または拒否について通知されているか、またその通知方法に関して、指針を提供する延期規則によって管理されてもよい。
【0179】
ルーティンが重大であれば、ロボットは、遵守カウンターが所定の閾値を満たすかどうか決定し(SC10)、そうでなければ、ロボットは、
ステップSC3で最初のリマインダを反復する。閾値を超える場合には(居住者による持続的な拒否に起因する)、ロボットには、より断定的なリマインダが提供され(SC11)、ロボットに他の音声(「Bob、この薬剤を服用することは非常に重要ですよ(Bob,it is very important that you take this medicine)」)を使用可能にさせる。または居住者に投与計画を遵守することを納得させるように感情応答(立腹する、悲しい)を行う。増加した断定的なリマインダが拒否されると(SC12)、ロボットは、必要に応じて、ステップSC13、SC14、SC15、およびSC15’(上記のステップSC5から開始する支援サブルーティンに類似している)を含み、支援サブルーティン経由で移動する。ステップSC17で、第2の閾値に到達するまで、継続拒否SC12
’は、遵守カウンターを増加する。さらなる遵守ステップとして、ロボットは、アプリケーションに応じて、居住者の許可の有無にかかわらず、継続拒否を介助者に報告してもよい(SC18)。この場合も先と同様に、重大と見なされる投与計画は、居住者の許可なく介助者に報告されてもよく、より重大ではない投与計画は、居住者の許可を要求する、または全く報告されなくてもよい。さらに、介助者または居住者の分別において、介助者への報告は、例えば、介助者が居住者に投与計画を遂行するように促すためのテレビ会議電話を含み、介助者の介入を行使する機会を提供してもよい。別法として、テレビ会議システムへのアクセスのない介助者にとって、ロボットの表示部は、介助者のためのアバターとして機能してもよく、そこでは介助者から受信した音声は、居住者と通信し、遵守を納得させるために、ロボットの表示部上の視覚素(および、任意に、音素)列に変換される。
【0180】
ロボットはまた、意図的、または不注意に無視される場合においても遵守の確率を増加することができるように、その他の行動を取ることができる。非遵守に対する理由は、どんな行動を取るか、またはそれらの行動はいかに取られるかについて、単純なまたは条件に依存する忘れやすさを含む。その上、指定された時間、その他の時間またはスケジュール問題によって投薬が行われないこと、病状、完全な遵守投与計画に従う必要性への理解不足、および副作用に対する嫌悪またはその他の阻害要因のため、居住者が遵守できないことは、遵守に影響を及ぼすことがある。遵守投与計画に従わない場合、または連続動作中のいずれの時点でその他の問題が存在する、または生じる場合、ロボットは、助力を提供するために介助人を呼ぶオプションを提供することがある。介助人はまた、いずれの相互交流の実行を遠隔的に割り込むまたは決定することがある。
【0181】
移動ロボットのカメラおよびマイクロホンはまた、ロボットがビデオ/テレビ会議局として、動作することを可能にする。ビデオ会議局として、表示部は、相手のアバターとして機能してもよく(介助人アバターに関して上記に述べたように)、また、ロボットは、MPEG−4、H.264、またはAVCなどの高圧縮のビデオ、またはその他のビデオおよびサウンドファイルを処理できるビデオ・コプロセッサ(coprocessor)を含むことがある。
図12は、本発明の一実施形態に利用されることがある一般会議要求ルーティンVを示す。外部会議、すなわち、居住者主導の会議に関して、通話開始シーケンスで外部ビデオを提供する許可を提供することがある。しかしながら、通話の着信に関しては、居住者があまり要求しない場合、発信者は居住者を見ることができないことを保証するための許可が望ましい。
【0182】
移動ロボットは、ステップSV1で、会議要求を受けることがある(例えば、標準IEEE801.11、または802.15、またはBlueTooth
(登録商標)、UWBまたはその他のインパルス無線などの無線ネットワークプロトコルを使用したコンピュータネットワーク上で)。ロボットは、その後、ステップSV2で、居住者を見つける、または位置を特定する。居住者の捜索、および/または位置決めに対するナビゲーションの順序を下記の詳細を示す。移動ロボットが居住者を見つける場合、
ステップSV3で、例えば、「会議要求を受け入れましょうか(Shall I accept this conferencing request?)」という、可聴および/または可視クエリーを発行することがある。ステップSV4で、移動ロボットは、マイクロホン、カメラ28、および/または口頭、身振り、または居住者からのその他の応答に対するその他のセンサを監視することがある。さらに、居住者は、ロボットの画面の1つの「受領」ボタンに触れ、ロボットの表面にあるボタンを押し、または特定のセンサに触れてもよい。ステップSV5で、ロボットは、会議セッションを始めることが許可されたか否かを、上記事象のいずれの1つ以上から決定する。許可を与える場合、移動ロボットは、ステップSV6で会議セッションを始め、別法で、移動ロボットは、ステップSV7で、セッションを拒絶することがある(場合により、遠隔会議要求器に通知を送る)。
【0183】
居住者に役立つコンパニオンとして機能するために、ロボットは、予測不可能な家庭環境で操縦することができる。
図13Aは、典型的な住居の見取り図またはフロアプランを示すが、ロボットは、空間または設計「図」を必ずしも必要としない。実施形態では、ロボットおよび介助人または居住者は、ウェブブラウザ、またはロボット自体の画面を介して、住居において関心のあるアクセス可能な部屋を表す概念的なアイコンのみを含む、アイコンセット(マップ)を作成する。
【0184】
環境のトポロジーマップを構築する
際、ロボットは、住居を動き回り、部屋または環境の他の区画を観察することがあってよい。これらの区画は、空間、例えば、廊下、大きな空間の4分円またはその他の部分などの論理的な分割であってよい。ロボットは、
部屋の境界で「灯台」を介して、または視覚的識別形状(窓など)により
、空間を識別することが
できる。米国仮特許出願番号第60/741,442号に前記空間境界識別子が開示されており、それらの開示は、本明細書にてそれら全体を参照することによって組み込む。さらに、ロボットは、天井に突出する兆候、自己類似タグなど、部屋の基準を認識することがある。天井に突出する基準の例は、米国特許出願第11/176,048号に記載され、それらの開示は本明細書にてそれら全体を参照することによって組み込む。ロボットはまた、走行距離計測法、光学的または
高周波TOF(Time Of Flight)または到着角度測定の角度または三角測量により提供されるような位置情報を利用することもあり、部屋を識別するために、例えば、部屋の大きさの検出、最大対角線の大きさなどの空間的推定値を使用することがある。ロボット
は、環境内で種々の部屋/空間を探索
しながら部屋の隣接情報を獲得し、通常操作中、本情報を維持するために、トポロジーマップを構築することがある。ユーザ/居住者のインターフェースには、本マップ情報をキャッシュに入れ、オンラインサイトで保存してもよい。ロボットはまた、人または物により、処理され、認められ、または使われた無線周波数(RF)タグを認識することにより任意に人および物(充電局、戸、窓、鍵、ペットなど)を識別することがある。さらに、ロボットは、本明細書で説明されるように、署名、熱、音声、および/または視界パターンにより人を認識することも可能である。
【0185】
いったんロボットがすべてまたは一部のトポロジー(および居住者/エンティティ情報)を完成させると、またはロボットがすべてまたは一部のトポロジー(および居住者/エンティティ情報)を完成させたときに、本情報をローカルに保存したり、または既に論じたようにウェブサーバに本情報を送ったりすることがある(または内容自体を供給する)。アイコンと部屋識別性情報の組み合わせを使用するロボットナビゲーションのための方法に加えて、インターフェース、アイコンマップおよびマップとホームの間の有意の接続アイコンを構築するための方法を本明細書で論じる。ウェブクライアントは、ホームのアイコンマップを表示し、いくつかの実施形態では、実在の距離ではなく、トポロジーマップ上の距離により配列された部屋の収集として示すことがある。ウェブクライアントはまた、居住者または住宅内での他のエンティティに対する図またはその他のマーカーを画定し、表示してもよい。従って、住宅内でのいずれの特定された人または物の位置を追跡することができる。前記技術は、物または人がロボットに検出される場合、居住者または介助人が住宅内の物、人などの場所を監視することができる(タグまたは十分な認識資源を介して)。居住者またはその他のユーザは、「ここは浴室である」または「ここは寝室である」などのように、名前を変更したり、部屋を区別したりしてもよい。
【0186】
それぞれの部屋およびエンティティの場所および識別性は、ロボットメモリまたはローカルまたは遠隔データベース内に保存され、例えば、ロボット表示または遠隔介助人局またはウェブクライアントに要求に応じて居住者に示される。ロボットは、部屋の基本リストおよび識別された人、物などを表示してもよいが、好ましくは本明細書で論じるように、アイコンマップに位置付ける。必要に応じて、居住者は、その部屋に行くためにロボットに命令するための画面に表示されたいずれの部屋に触れてもよい。本明細書で論じるように、プライバシーモードは、ロボットを部屋から部屋へ自律的に操縦する場合、ロボットのカメラは、遠隔介助人にアクセスできないことを必要とし、ロボットが興味のある部屋に到着すると、起動させるために居住者の一時的または信頼レベルの許可を必要としてもよい。識別された部屋に入ると(許可が適切な場合)、ロボットは、空間のビデオまたは静止画像を撮り、本データを表示するために居住者のもとに戻るか、居住者のコンピュータ、ネットワークテレビ、携帯情報端末へ遠隔的に送信するかのいずれかを行うことができる。また、ボタンまたはリモコンなどのための検索ツールとしてロボットを使用することがある。適切な認識能力(例えば、物体認識、適切な学習およびデータベースルーティンに基づくスケール不変特徴変換)を装備する場合、ロボットは、環境内で(例えば、最後に観察された場所によって)、現在追跡している人または物のリストを維持することができる。それらの項目の1つを選択することにより、居住者は、特定の人または物がある場所へ進むためにロボットを指示することができる。
【0187】
図21A、21Bおよび22A−22Cは、ロボットを遠隔制御するために、操縦命令を実行するための方法を示す。本方法に従って、ローカルユーザ(居住者の住居でロボットを操作する居住者、介助人など、または設定技術者)は、部屋から部屋へのナビゲーションのために使用されるユーザホームの簡単なアイコンマップを構築することがある。本明細書に論じたようないくつかのステップは、トポロジー隣接性および/または住居を探索することを論じるが、基本的な方法は、トポロジーデータ、またはトポロジー隣接性を構築または理解するための探索を必要としない。すなわち、ロボットが、現在の部屋の固有性を識別でき、別の部屋の固有性を識別可能な部屋に移動するように命令される場合、ロボットは、トポロジーマップを厳密には必要としないが、探索する部屋を探すことができる最も近い部屋から部屋へのナビゲーションを使用して探索することができる。ユーザは、既知の部屋のトポロジー隣接性を識別することがあるが、好ましくは、ロボットがいずれかの隣接行列を構築するか、全く必要としないかのいずれかである。
【0188】
図21Aに図示するように、ステップTM2で、ロボットは住居を探索する。本ステップは、不連続であり、後の工程で実施することができる。本状況では、ロボットは、単に無作為にまたは部屋から部屋への指示された道を移動してもよいが、好ましいモードは、ロボットが作動する領域へ居住者または介助人について行くように、部屋から部屋へロボットが誘導されることである。同時に、ロボットは、それぞれの部屋がどんな部屋であるかなど、座って待機するための好ましい場所を伝えられることがある。しかしながら、本方法はまた、遠隔的に実施されることがあるため、本探索は、すべてのアクセス可能な部屋のロボットをテレビ操作またはウェブ検索することを含むことがある(米国特許第6,535,793号および第6,845,297号に開示されたように)。ロボットは、その後、アクセス可能な部屋を数える(人により、または少数の部屋などに統合される過度な数などより修正されることがある)。本実施例では、廊下は、オペレータの視野から部屋とは見なされず、アイコンを割り当てられない(主として廊下に駐車したロボットは、障害となるため)。しかしながら、廊下もまた部屋として見なされる場合がある。
【0189】
ステップTM4で、ロボットは、異なる部屋、ドックおよび充電器のトポロジー隣接を獲得する。ドックは、充電、および/またはデータ接続を提供することができ(例、ロボット基地局など)、充電器は、再充電することを目的とするが、データアクセスがあることもある。
ここでいう「獲得する」は、人によるデータ入力やフロアプラン分析からのデータ入力を含み得るが、一般に、ルーティン又は人からの補助により、走行距離計測法データや位置特定データに従って(トポロジー)パスやループを閉じることを意味する。ステップTM6で、ノードは、ロボットにより割り当てられる。簡易化とは、より少ないノード、例えば一部屋あたり1つを意味する。しかしながら、ベースおよび充電器は、それぞれノードを備え、廊下は、一般に、アイコンマップに出現しようがしまいが、ノードを備える。加えて、ステップTM6に示すように、戸口および興味深い位置(例、テレビに向いている位置、椅子の後ろ、窓の近くの邪魔にならない所)はまた、ノードを割り当てられることがある。ステップTM8で、部屋数(例えば、住宅にいる場合、居住者または介助人がロボットを入れる部屋の数)は、部屋識別の数(例えば、ロボットにより発見される、または別法で、ロボットにより記録される、またはロボットに知らされる部屋数)に比較される。部屋識別性が多すぎる場合、部屋数が部屋識別性数に等しくなるまで部屋識別性を組み合わせる。
【0190】
トポロジーマップおよび/または部屋数がロボットまたはシステムにあると、ユーザマップまたはアイコンマップを構築することができる。ユーザマップおよびトポロジーマップは、はっきりと識別できる。ローカルまたは遠隔クライアントまたはロボットの表示部(PC、専用、携帯電話表示)にユーザインターフェース表示を使用して、ユーザマップを構築する。部屋識別およびマーカー(またはアイコン)に関連する人の識別は、ロボットおよび人の世界観を統一する最も簡単かつ最も信頼できる方法を提供する。居住者または介助人は、トポロジーマップの内容に示されてもされなくても良く、接続性およびトポロジーマップからの隣接がユーザマップを表示する(または別々に重ねて表示する、またはユーザマップとともに表示する)ために使用されてもされなくても良い。
【0191】
図21Bに図示するように、ユーザマップを構築するために、ロボット、基地局、またはウェブアプリケーションは、ステップUM2のインターフェース経由でユーザに可能なマーカーを示す。
図22Aに図示するように(ユーザインターフェース画面を示す)、1つのシステムは、図像、それぞれの部屋のタイプの単純な写真を使用する。
図22Aに示した図では、事務所、居間、台所、寝室(1は寝室がまだ選択されていないことを示す)および浴室アイコンおよび/または文字列は、部屋識別マーカーとして示される。また、空の家のグラフィック表示(屋根付きの家の外観)を示す。この場合は、インターフェースは、識別される、残った部屋数を示す。ステップUM4で(UM2の前に来ることがあり、ノード次第ではないが部屋識別を決定するその他の方法によることがある)、ロボットは、部屋識別を照合することから新ノードに移動する。ステップUM6で、ロボットは、ユーザマップの構成を実施する人にロボットの視野を示す。
図22Aに図示するように、ロボットの視野(1つ以上のカメラ28から)は、ユーザインターフェース経由で遠隔ユーザに示されることがある。これをローカルに実施する場合、ユーザは、ロボットがいる現在の部屋を確認するが、ロボットの視野を示す必要はない。
【0192】
ステップUM8で、ロボット(またはウェブサーバなど)は、ロボットの視野または現在の部屋への部屋識別マーカーの1つの割り当てを要求する(
図22Aから「どの部屋にロボットがいるか、ご確認下さい。(Please confirm which room the robot is in?)」)。居住者またはマップを構成するその他は、その後、部屋識別マーカーを選択する。本情報を受け取る1つの方法は、
図22Bに図示するように、アイコンの1つの選択(カーソルマウスクリック、タッチスクリーン)を受け入れることにより、1つの部屋は、その後残りの部屋数から差し引かれ、選択した部屋の文字列確認が示される。さらに、今回またはその他の場合に、ルーティンは、ホームベース(充電器、ドック、RFアクセスポイント)を含む部屋を確認することがある。ステップUM12で、部屋識別性(
図22Bでは、「台所」の識別)は、台所アイコン部屋識別マーカーに関連する。ステップUM14では、割り当てられた部屋識別(「台所」)は、適切な部屋識別マーカーを備えるアイコンマップに割り当てられる。
【0193】
ステップUM14は、実際は蓄積されるものであり、すなわち、それぞれの割り当てられた部屋識別性をアイコンマップに追加し、マップを完成するために、ステップUM2−UM12は、ステップUM16が処理を終えるまで、ステップUM14のそれぞれの反復に対して実施される。
図22Cは、識別されるすべての部屋(5つ)がある、組立アイコンマップを示す。5つの部屋識別マーカーは、5つの割り当てられた部屋に対応し、5つの未知の部屋を説明する。完成したマップは、部屋識別性(部屋のタイプと機能)および、さらに、任意的に、部屋(1つ以上のトポロジーノードを含む)を備えるグラフィック(マーカー)の接続として保存されることがある。確認は、ユーザがアクセス可能なすべての部屋を識別するかどうかをチェックする。
図22Cおよび22Dは、部屋識別マーカーの間のラインとして部屋隣接を示すが、ユーザは必ずしもこれらを見なくても良い(同時に、マーカーまたはアイコンが、部屋から部屋への移動時間の直感的感覚があるロボットを人が作動することを提供するために、隣接および/または隣接ラインにしたがって、任意に配置される)。本明細書に記載されるように、ロボットは、遠隔ユーザの部屋識別マーカーの選択を代表する第1の操縦命令として表示された部屋識別マーカーにリンクされたユーザインターフェースを経由して部屋識別マーカーの選択を受け、現在の部屋を認識し、選択した部屋識別マーカーに対応する部屋識別を有する部屋内でロボットが認識するまで、第1の操縦命令に従って、異なる部屋識別のある部屋で、あらかじめ、同時に、またはその後に作動することがある。
【0194】
アイコンマップを経由する指示は、精度を下げて、マルチモード半自律ナビゲーションを提供することができる。第1に、ユーザは、部屋識別マーカーを使用して部屋を選択し、ロボットは、そこに位置するまで、部屋識別性がある部屋を検索するために部屋識別性、および/またはトポロジー情報を使用する(トポロジーマップを使用する場合、検索よりもむしろ経路を計画する)。
図19は、アイコンマップを使用し、第1モードを示す。ステップIN−2で、ロボットは、部屋識別性、および/またはユーザ(多くの場合には、介助者、その他の例外に加えて、居住者が家の一部に閉じ込められている場合には、居住者からも)からのナビゲーション命令を受ける。
図22Dに図示するように、オペレータは、部屋に対応するアイコンをクリックまたは選択することができる。
図22Dの例示的なインターフェースはまた、アイコンマップ上の重ね合わせに加えて文字列を伴うロボット10の現在の場所および状況(台所、充電)を識別する。
図22Dのインターフェースは、ロボットにより観察されたローカル場面をクリックする(または選択する)ために、すなわち、(地面の平面位置または目印の選択を介して)ロボットを位置付けたり、移動させたりするために、特定の部屋をクリックする(または別法で選択する)ために、それらの間で異なるオプションを提供する。確認ステップは示されないが、使用してもよい。
【0195】
ステップIN−4では、ロボットは、現在の部屋を認識し得る。本明細書で論じるように、RF経由のローカライゼーション、基準、走行距離計測法、推測航法、物体認識、パターン認識、表面認識、または特徴認識などを含む、種々の技法が利用可能である。検出された部屋が、ロボットがいる部屋でない場合(インターフェースにより避けられた選択である可能性がある)、ロボットは、ステップIN−6で部屋を検索し始めるであろう。ロボットは、トポロジーマップを追従したり、または壁面追従したり、またはSLAMまたはこの検索を開始したりするためのほかのナビゲーションを使用し得る。検索はまた、本質的に無作為であってよい。新しい部屋に入ると、ロボットは、所定のノードにおいて、または任意に、部屋の認識を可能または容易にする位置において、停止したり、一時停止したりし得る。しかしながら、ロボットが最終的に見つけた部屋が検索された部屋識別性に対応して見つけられたときに、検索された部屋をロボットが識別することが必要である。部屋を認識する方法もまた、本明細書で論じられ、ロボットがステップIN−8で正しい部屋にいることが確認できない場合、ロボットは、別の部屋に移動する。
図19は、故障モードを特定されないという意味で、単純化され、ロボットが目的の部屋を見つけない場合、多くの場合、介入を必要とするであろう。ステップIN−10で、ロボットは、ロボットが自律的に接近することを可能にするために、モードを「ウェブドライブ」に変更し、遠隔またはローカルユーザがカメラ視野で地面の位置または目印(landmark)を選択することを可能にする。
【0196】
ウェブドライブモードは、2つのサブモードを有する。
図22Eに図示するように、ユーザインターフェースは、室内で、ロボットのテレビ会議カメラ28またはナビゲーションカメラ29を経由して観察された特性をオペレータがクリックすることを可能にし得る。ユーザは、ロボットを「誘導」したいという要求を(
図22Eにおいては、ロボットの後部のプロファイルを表現しているアイコンをクリックするか選択することによって)示したり、すなわちジョイスティック命令のストリーミングを使用してロボットに直接的に命令したり、あるいはロボットを位置付けたいという要求を(
図22Eにおいては、場面の一点または目印をクリックするか選択することによって)示したり、すなわち場面内のターゲットとして解釈されたx−y地面平面の位置を使用して比較的自律的に移動させたり、あるいは「移動」させたいという要求を(
図22Eにおいては、アイコンマップのミニチュア表現をクリックまたは選択することによって)示したり、すなわちアイコンマップモードに戻り、新しい部屋を選択したりする。
図20に図示するように、ウェブドライブに、ロボットは、ステップWN−2での遠隔使用から床の位置、および/または目印部位(床の位置またはノードに変換されることがある)を受け取る。ステップWN−4で、ロボットは、現在の場所を認識する。現在の場所の解像度は粗い可能性がある。すなわち、部屋における認識できる別個の位置はわずかしかない。あるいは、現在の位置を認識することは、ロボットには必要ないが、その代わりに、ユーザにより場面内で行われた選択からの視差または三角測量を使用し、前進運動の量を単に推測するためにすぎず、運動が完了するのを防ぐことがあるいずれの危険物の寸前で止まるために行動対象物検知および回避に依存することにより、その位置に移動するように試行する。いずれにしても、ロボットは、ステップWN−6で、場所に近づき始め、望ましい場所すなわち、ステップWN−8で、到達した場所である位置を解釈する場合、移動を止める。
【0197】
図20は、新しい位置から、継続する工程、および地面の平面点によるウェブドライブから命令ストリームモードへの直接の移動を示すが、オペレータ(遠隔またはローカル介助人または居住者またはその他のユーザ)は、
図22Eに図示するように、アイコンマップモードに至るまで、または命令ストリームモードに至るまでのステップへの機会があることを示される。命令ストリームモードが選択されると、例示的なユーザインターフェースは、
図22Fに図示される形を取ることも可能となる。命令ストリームモードは、オペレータからのジョイスティックなどの(トラックボール、多角度パックコントローラ、マウス)運動命令を受けて、命令ストリームに従って、方向および方位でロボットを直接移動させる。直接運動の修正は、介在対象物検知および回避を経由する行動の監視、人または物に対する減速、スプライン曲線またはその他の移動予測、推定および平滑化、ならびに命令、実行およびフィードバックの間で待ち時間を処理するためのその他の規定を含むことができる。ping期間が極度に長い場合、地面の平面点ウェブドライブモードを有効にするために、このモードを無効にすることがある。
【0198】
図22Fに図示するように、命令ストリームモードは、ジョイスティックをシミュレートするために画面上の能動的矢印制御を使用することがあり、これらの矢印を使用または位置付ける操縦の選択を提供することができる(
図22Eに図示する図に戻ることにより)。
図22Eに図示するように、効率的に操縦するために、スケール、方向、操縦に対する基準点として場面に現れるロボットの本体または先端の一部を有することはしばしば有用である。人間オペレータによる隙間、角度および距離の推定が向上する。
図22Eでは、2つの異なるカメラの視野、すなわち地面の対象物を避けるために使用される地面の平面のカメラ、およびロボットの主要またはテレビ会議カメラ28から「目の高さ」の視野を示すためのロボット視野カメラの視野が示される。ロボットの本体、操縦基準、地面の平面視野は、別のカメラまたは同一のカメラからであってよい。ステップWN−10で命令ストリームモードへの変更で、ロボットは、上記で論じられるように、ステップWN−12およびWN−14を通してジョイスティックの命令ストリームまたはコントローラ命令を受け、ロボットは、命令ストリームWN−14に従って、実質的に直接に(待ち時間を伴うが)移動される。出口信号は、WN−16で、ユーザがロボットのその他の機能に戻ることを可能にする。
【0199】
本ナビゲーション能力はまた、家を留守にする居住者、または家の特定領域に限定されている居住者に遠隔的に利用可能である。このような場合には、居住者は、インターネット接続経由(または個人的デジタル装置経由)で、遠隔的にロボットインターフェースにアクセスすることがあり、居住者はステータス情報を望む部屋または物を選択することがある。例えば、居住者は、ロボットに正面玄関に鍵がかかっていることを確認させることができ、ウェブブラウザに表示されるマップの居間を選択する。まず、ロボットは、その現在の場所を識別する(例えば、寝室D)。その後、ロボットは、廊下Fを通って、正面玄関が位置する居間Bに到達するまで、寝室Dから移動する。その後、ロボットは、居住者が、ロボットに開始点に戻るまたは異なる場所に移動するとの指示を行う時点で、正面玄関の視覚画像を取り、遠隔居住者に視覚データを送信することができる。あるいは、居住者は、まず、ロボットを誘導したい部屋を選択し、その部屋内の部位またはさらに特定の場所にロボットを方向付け、異なる位置に移動するためにロボットを方向付けることができる。ロボットはまた、部屋中を移動する場合、居住者にストリーミングビデオを送信することができる。さらに、本マッピングおよび追跡の機能性は、本明細書で説明されるように、適切な許可を持つ遠隔介助者に利用可能であってよい。
【0200】
人間の居住者と相互交流する過程で、ロボットおよび居住者は、環境内で別々になることがある。遵守ルーティンの開始、テレビ会議の開始、または相互交流に起因して、ロボットが居住者との接触を必要とする場合、ロボットは、居住者を探し出すために環境を誘導することができるであろう。環境400の1つのナビゲーションパスの計画図を
図14Aに示す。環境400は、それぞれの部屋に相互接続する廊下402に加えて示すように、部屋1、2、3および4などの複数の部屋を含むことがある。それぞれの部屋の入口および出口は、戸404により提供され、開閉されることがある。移動ロボット10は、相互交流または居住者の存在を必要とするその他のロボットの動きを開始する前に、居住者を探し出すための位置決め行動を実施することがある。例えば、基地局または充電局406でロボット10をドックに入れ、投与計画を開始しなければならないスケジュールを決定する場合、居住者がいることを表示するためのロボットの即時環境を監視しながら、環境400内で部屋から部屋へロボット10は進むことがある。
【0201】
それぞれの部屋では、ロボット10は、人の存在に応答するセンサパッケージ(音検知、運動検知、脈拍検知、呼吸検知、および/または熱検知を含む)および/または可聴または可視クエリーを使用することがある。ロボット10はまた、ロボットの既知環境400の中央領域に移動することがあり、またはそのクエリーを開始するために、現在の場所(例えば、部屋の中央点)の観察領域へ移動することがある。この第1の初期集中型位置機能は、ロボットが、まだ現在位置おり、部屋を出る居住者を検知しなかった部屋または領域において、居住者と接触した場合、有用である。ロボットはまた、1回目の既知の部屋を巡回して、大きな領域の調査が可能な位置に停止し、あらゆる応答に対するセンサを監視する。誤った結果(コンロが熱すぎて居住者がいない、犬が低すぎて居住者がいないなど)を除くためにフィルタリングを使用することができる。
【0202】
代替の実施形態では、ロボットは、人を検知するためのセンサの使用の有無にかかわらず、呼び出しシステムを使用してもよい。また、ロボットがセンサまたはその他の不良状態を抱えている場合、このタイプのシステムを使用してもよい。人を呼び出す場合、ロボットは、最適な短い距離(1実施形態では、約5m未満)で居住者を呼び出すために、ロボットから居住者への直通電話がより起こり得る場所から、別の部屋または室への戸口を使用することができる。ロボットはまた、部屋の副部分(より小さい領域)または外部からの経路または部屋の間で、この呼び出しを使用してもよい。ロボットは、1つの呼び出しで2つの部屋に到達するために、ロボット自体が戸口から呼び出してもよい。
【0203】
人を検知する場合、ロボットは、スピーカーおよび/または録音された音声または音、または合成された音声または音を経由して、人がいるかどうか応える可聴または可視クエリーを使用することにより、人を識別するように試行してもよい。ロボットがすべての部屋を進む場合、
図14Aに図示するように、人を示す音、動き、熱源を位置付けることなく、ロボットは、第2回の巡回または部屋を通るその他の経路(現在の部屋でスタートする)を実施するが、今回は、それぞれの部屋の可聴または可視クエリーを使用して、実施してもよい。センサ故障がロボットに適切な作動をさせないようにする場合、本検索方法を使用することがある。その他の手段は、家の中で人の存在を示す場合(例えば、ロボットが居住者の個人的無線IC(RFID)タグの存在を検知するが、その他の兆候を検知しない場合)、または人の存在を確認するが、クエリーの応答がない場合(例えば、脈拍および呼吸を検知するが、クエリー応答がない)、ロボットは、矛盾を解決するための手順を実施することができる。これらの手順は、介助者の確認電話の要求を含んでもよく、ロボットは、電話を経由して同一のクエリーを行うために検索した環境に電話してもよく、または、ロボットは、緊急サービスに連絡してもよい。
【0204】
移動ロボットはまた、赤外線映像を分析する、または目的の人に対応する署名熱パターンを分析する、人の音声を認識するために音響分析を実施する、人に関連するまたは人に運ばれるRFIDまたは磁気タグを検知する、特定の運動または身振りを検知する、および/または、目鼻立ちまたは人により通常着装される記憶された服装のセットを認識するためにカメラにより生成されたビデオストリームまたは静止画像フレームの画像分析を実施するなど、人の身元を確認するために二次システムを使用することもある。
【0205】
検索を継続するために次の場所を選択するには、移動ロボットは、光学的部屋特性認識、ソナー、RFID部屋タグ付け、赤外線(IR)方向性ビーコン検知、走行距離計測法、慣性誘導、推測航法、部屋マッピング、および/またはコンパス操縦のうちの1つ以上を含むが、それらに限定されないいずれの適切な方法を使用してもよい。一実施形態では、ロボットは、戸口またはその他の壁の隙間に利用可能な方角(マッピングにより、戸口への方位を推測できるビーコンの受動検知により、または戸口自体の能動的センサ検知により、利用可能な方位)を使用してもよい。移動ロボットはまた、適当な時間に戸を見つけることを目的とする任意経路を選び(例えば、信号反射を使用する壁追跡)、行き来する場合、戸口を検知するまで進んでもよい。ロボットはまた、壁追跡モードの間は、走行距離計測法および方位を分析することにより、戸口を識別してもよい。連続する走行距離計測法/方位の組み合わせを識別することは、戸口を行き来することを示す場合がある。次の場所に移動する際に移動ロボットがいずれの障害に遭遇する場合、移動ロボットは、選択した次の位置の座標位置に進むために、障害を一周する、または移動経路を調整したり、あるいは、移動ロボットは、障害で単に中断し、再度、クエリーを開始したりしてもよい。ロボットが移動経路を調整する場合には、ロボットが障害を通過し、その前回の方位に遭遇すると、所定の距離に到達するまで継続してもよい。さらに、ロボットは、そのクエリーを開始する前に、別の部屋か同一の部屋のいずれかで終わる閾値距離を単に移動してもよい。
【0206】
さらに、
図14Aに図示するように、移動ロボットが壁および/または戸404(開閉のいずれか)に遭遇する場合、環境400の障害、幾何学的、優先、トポロジー、格子、ボロノイ、またはその他のマップを生成することがある。それ自体のマップを生成する代わりに、マップは、居住者により、あるいは、スタートアップまたは所有開始シーケンスの部分として、ロボットに送信されることがある。このような場合には、ロボットは、環境内の一時的要素の場所を識別することにより、送信したマップを補う事がある。さらに、移動ロボットは、天井の特性(例えば、天井の端または形状、天井にある、または天井に突出するインディシアのパターンなど)に基づく環境400内の姿勢および/または部屋を認識するために上方向きカメラを備えることがある。米国特許出願第11/176,048号に該システムを開示し、それらの開示は本明細書にてそれら全体を参照することによって組み込む。移動ロボットはまた、次の場所または既知の戸またはノード接続トポロジー分岐を経由して利用可能なノードを選択することにより、次の場所を選択する方法を調整することができる。いくつかの理由において、閉まっている戸により潜在的経路を閉鎖することが可能である。
【0207】
移動ロボットが閉まっている戸に遭遇する場合、可聴信号を閉まっている戸に適用することにより、反対側にいる人と連絡することを試行してもよい。例えば、移動ロボットは、ドアのノッカー(ソレノイドなど)、または閉まっている戸への可聴信号または告知を送信するために閉まっている戸に適用できるスピーカーを含んでもよい。それに応じて、移動ロボットは、人がロボットにアクセスできない領域にいる場合も、人に接触を試みることができる。
【0208】
また、移動ロボットは、能動的または受動的検知または環境400のマップに基づいて選択した次の場所への経路を計画することができる。または、移動ロボットは、誘導する場合、走行距離計測法、および/または慣性誘導を装備することができる。このような方法で、移動ロボットは、例えば、戸を行き来する場合を識別することができる。あるいは、移動ロボットは、例えば、赤外線ビーム検知(例、米国仮特許出願第60/741,442号に開示されるようなナビゲーションおよびビーコンシステム)、RFID部屋または戸のタグ付け、タンク回路またはアモルファス金属タグの誘導検知または共鳴検知、光学的特性検知または画像分析などのナビゲーション、マッピング、および部屋の識別に対するいずれの適切な方法を使用することがある。ロボットはまた、環境の視覚および走行距離計測法データを作成するために、機械視覚ベースの方法、計算資源、およびセンサを使用するSLAM手法(SLAM)を使用してもよい。米国仮特許出願第60/822,636号に該システムが開示され、それらの開示は本明細書にてそれら全体を参照することによって組み込まれる。
【0209】
図14Bに示す位置決めルーティンは、まず、(任意の)ステップSL0で居住者に対するローカル領域の確認(例、熱分解熱センサ、および/または音声、および/または動きまたは服装の視覚認識、および/またはタグまたは居住者により使用されたその他のエミッタ、および/または確認するために使用されたいずれか1つまたは少なくともほかの1つとの組み合わせ)を含んでもよい。居住者が、高い信頼があることを感じ取る場合、ルーティンは、成功ルーティンに直接進んでもよい。しかしながら、ルーティンはまた、その検知を確認しようとしてもよい。位置決めルーティンが、まず、居住者を確認しようがまたは直接クエリーに進もうが、ステップSLlでは、当該確認または直接のクエリーは、人を検知する場所で、またはまだ確認されていない位置でSLlに示すように、「いますか(Are you there?)」と、単純クエリーを必要としてもよい。代替として、クエリーは、追求された人の名前を特定してもよく、または例えば、単純トリル音、またはその他の感情的音声、または「メアリーはここですか(Mary here?)」などの認識能力の低いレベルで暗示することを目的とするメッセージであってもよい。移動ロボットは、その後、ステップSL2でタイマーの秒読みを始め、クエリーへのいずれの音声応答に対する音声センサSL3(マイクロホンなど)を監視してもよい。移動ロボットは、音声応答をステップSL4で検知したことを決定し、移動ロボットは、その後、次の仕事に進むことができる。一方、応答を検知しない場合、または非雑音応答がロボットのライブラリの応答に対応しない場合(例、居住者以外の人からの「退去」)、移動ロボットは、ステップSL7でタイマーを確認することができる。時間切れの場合(ステップSL7で決定する場合)、移動ロボットは、その後、次の場所のSL8に移動し、工程を繰り返すことができる。別法で、移動ロボットは、ステップSL3に戻り、タイマーがサイクルを完了するまで、応答に対する音声センサを監視し続けることができる。
【0210】
ロボットの音声告知は、「叫び」のような音を発てる、またはクラクションまたはその他の大きな音声を含む必要はない。それよりむしろ、アナンシエータの音声レベルは、通常、部屋または隣接の部屋で他人に不快感を与えないことである。一例として、通常の背景雑音は約35dBであり、アナンシエータは、約55dBから約65dBの通常会話の声の大きさ、または検知した背景雑音よりも少なくとも約15dB大きい音である。居住者が難聴であると見なされる場合、ロボットは、最大約75dBまたはいくつかの他の閾値に音量を増加することができ、可視信号を追加する、および/または居住者が携帯する遠隔振動器を起動することができる。アナンシエータの音量は、検知された背景雑音よりも大きい約10dBから約20dBに減少することができ、および/または高齢者または様々なタイプの難聴である人でさえ、通常は、可聴する周波数(すなわち、約500Hzから約5000Hzの範囲内)にピッチを調節することができる。
【0211】
居住者の必要性に対し、さらに迅速な応答を容易にするために、またはロボットが居住者から離れる時間量を制限するために(従って、さらにつながりを深める)、居住者周辺にロボットを保持する、または部屋から部屋への居住者を追跡しやすいセンサパッケージおよび反応行動をロボットは提供することができる。単に、部屋から部屋へ居住者について行くことは、ロボットの絶え間ない存在に居住者側に不快感を与えることがあり、従って、ロボットは代わりに、居住者の近くにロボットを置くようにするが、近づき過ぎないように、行動および仕事を引き受ける。行動は、(i)ロボットが居住者に近い可能性を高める、(ii)ロボットが部屋にいる、または居住者がいるまたはいる予定の部屋の近くにいる、および/または(iii)居住者がより短い時間で見つける可能性を高めることができる。
【0212】
このために、一実施形態では、ロボットは、快適得点または存在得点(または実行を別の視野から見た場合、不安得点)を維持することがあり、居住者の存在において増加する、増分する、または完全に満たすことがあり、時間が経過する、または事象が居住者を観察することなく生じる場合、ジャンプまたはステップにおいて減少する、減衰する、または縮小することがある。快適得点が閾値を過ぎて減衰する、またはある範囲または領域に入ると、ロボットは、不快として得点を出すことがあり、居住者捜し行動または居住者へのロボットの近接を向上するようなその他の行動を起動する、または変更することがある。直接クエリーを行う居住者を察知する、または居住者の存在と関連がありがちな事象(熱、音声、運動)を確認する時点で、居住者または事象の検知の特徴により、快適得点を満たす、または徐々に増分することがある。
【0213】
快適または存在得点を利用する例示的な追跡ルーティン(得点が居住者に近接することに関連する場合)を
図15に示す。好ましい実施形態では、得点を上げるおよび下げることは、別の工程であり、同一得点を得たとしても、別の理由を生じることがある。電池の状態、またはドック近接などのその他の要因もまた得点に影響を及ぼすことがある。初めに、ステップST2Aで、例えば、居住者が近接である場合、得点は、最大(十分に満たされる)となることがある、または居住者が近接である場合、一定量により向上または増分することがあるなど、改善
条件を設定する。これらは、異なる時刻または異なるユーザ選択により異なる場合がある。存在または快適得点の改善プロセッサ閾値は、その後、ステップST3Aで起動する。ステップST2Bで、例えば、居住者を検知しない場合、得点は、その日の初めに、半分(十分に満たされる)となることがある、または一定量、定速または加速により向上または増分することがあるなど、減衰状態を設定する。これらはまた、異なる時刻または異なるユーザ選択により異なる場合がある。存在または快適得点の減衰プロセッサ閾値は、その後、ステップST3Bで起動する。例えば、ロボットは、睡眠中の居住者の存在を検知し、最大値で快適得点を維持または再度増分するが、寝室で、アイドル、充電、または睡眠状態で、開始してもよい。ロボットは、停車または待ち状態を入力すること、またはそのセンサを監視することにより、居住者に近づいてもよい(ST7)。人が退室する場合、人についていくようにロボットを誘導しない場合、快適または存在得点が制御する閾値に従って、減衰するが、部屋にとどめてもよい。ロボットは、例えば、ロボットが充電局に近いか否かを測定する安全得点を追加するなど、競合得点を維持してもよいことに留意すべきである。快適得点が閾値内である、またはその他の得点と一緒である限り、ロボットは、捜し行動の優先順位を起動する、または変更することができない。これは、充電器で、または居住者を捜すために停止した最終の位置で駐車したロボットを生じる場合がある。閾値を超える場合(ST5)、居住者を見つけるおよび居住者に近づくために部屋を退出することにより、ロボットは、居住者を見つけようとし始める(ST6)。部屋に1つ以上の出口がある場合、ロボットは、居住者(図示せず)が使用した出口を記録し、再現することができる。いくつかの点で、ロボットは、居住者が存在する部屋を見つけてもよい。居住者を見つける場合、快適得点または存在得点は、
ステップST3Aの閾値に従って改善し、ステップST7では、再度、居住者に近接するロボットに近づき、停車するだろう。
【0214】
ロボットは、その後、静かに、または簡単なコメントまたは雑音を伴い、居住者と同室に、通行経路を妨げない位置で自ら駐車する。廊下および浴室などの非常に小さい部屋は、立ち入り禁止である場合があり、ロボットは代わりに、近くの部屋に自ら駐車することがある。この点で、快適得点が最大に到達するとすぐに、再度サイクルを開始する。ロボットが居住者を見つけない場合、充電局の安全性またはその他の快適を生じる事象を要求する場合がある。このように、ロボットは、居住者についていかないが、居住者との距離は、通常、あまり離れていないことがあり、ロボットは、しばしば、同室にいる場合がある。ロボットはまた、居住者から応答に反応する、および/または相互交流を招くために、連絡を取ってもよい。それに応じて、ロボットは、さらに自然のエンティティとして考えられ、居住者が即時に居場所を確認できることを確実にすることに加えて、招かざる不快な追跡行動がなく、居住者との近接を維持することができ、うまく人との交流を行う可能性を増進することができる。追跡行動を使用することにより、居住者を見つける場合、または居住者がロボットを呼ぶ場合、ロボットは、居住者の近くにいることの可能性を高める。検知範囲内に駐車することは、ロボットがそれほど頻繁に捜索する必要がないが、ロボットは、検知範囲内にいる必要はなく、捜し始める時より居住者に近いところにいる必要がある。充電局が近い場合、ロボットをドックに入れ、充電する。さらに、たとえ充電器が検知範囲外にあるとしても、ロボットが追加の電源を必要とすると決定する場合、ロボットをドックに入れ、近くの充電器で充電することができる。
【0215】
あるいは、または加えて、ロボットは、ロボットにより維持された得点よりもむしろ快適得点を割り当てられる部屋では、仮想フェロモンシステムに従って運転することができる。一方、居住者が特定の部屋または場所で観察されない場合、その部屋の快適得点は下がる。頻繁な使用のある部屋への入室は、快適得点を増分し、ロボットは、快適得点を増加する傾向にある部屋へ誘導しがちな場合がある。これらの特性は、時間に依存することであり、ロボットは、まず午後7時にポインタの部屋で見つけられ、就寝時間後、寝室で見つけられ、減衰率は、部屋の変更の回数(早朝の活動)または安定性(夜間余暇活動)と関連がある場合がある。従って、ロボットは、快適得点の低い場所を捜しに行く前に、快適得点が高い部屋に居住者を捜し出すことを選択することができ、従って、潜在的には人を捜す可能性および標準速度を高める。あるいは、または加えて、ロボットは、快適関連の空間利用マップ、目印マップ、またはトポロジーマップを形成することができ、象徴またはセルが居住者の隣接した、または居住者に使用されている可能性に従って、象徴またはセルを更新し、この場合は、それぞれのセルは、部屋、廊下、またはほぼ部屋の大きさの領域に対応する。
【0216】
あるいは、または加えて、ロボットは、モーター、ドライブ、または誘導目標空間に快適得点/ベクトルをマップする力、ベクトル、またはポテンシャル場に従って運転することができる。快適得点は、快適潜在性の高いベクトルまたは領域であり、時間とともに減衰する場合がある。ポテンシャル場の居住者の快適潜在性は、居住者がいる部屋にロボットが自らを駐車する場所を決定するために、充電器、基地局、または記録された無線信号強度の領域の快適または安全性の潜在性と比較することができる。領域は、ロボットが居住者に近いところにいるが、近すぎず、また、その部屋で利用可能な無線信号強度の強い領域にいるべきであると定義することができる。
【0217】
移動ロボットは、ある状況で居住者を追跡および尾行することにより居住者にうまく近接状態を維持する割合を向上することができ、例えば、居住者が退室した、および/またはある時刻の間、および/または居住者により行動のパターン後をロボットがうまく検知する時間の固定または可変の割合を向上することができる。例えば、居住者が就寝する準備を始めることをロボットが認識する場合、ロボットは、居間から寝室へついて行くことができる。さらに、または代替としては、ロボットは、居住者の日常のルーティンまたはスケジュールの記述を記録、解釈、または入力の受け入れをすることができ、居住者より前に適切な部屋を予測し、移動するための予定を使用することができる。
【0218】
ロボットは、居住者が存在の有無を尋ねる、積極的な応答を受ける、または、例えば、居住者または介助人からの通信、および/または入力を経由して、居住者を対象にするロボットへの注意を向けるなどによる、いずれの適切な方法で、居住者の存在に初めに気付くことがある。ロボットは、物理センサ、または赤外線センサ、熱センサ、運動センサ、光学的センサ、マイクロホンまたはその他の音響センサ、電気特性センサ(例、静電容量)またはいずれの他の適切な物理センサなどの種々のセンサからの入力を使用して、居住者の存在を検知することができる。あるいは、居住者は、能動的または受動的RFなどのタグ、またはRFIDタグ、タンク回路、音響エミッタ、光源、変調された信号などを運ぶことができるいずれかを運ぶことができ、ロボットは、居住者を識別し、捜すために使用することができる。医療呼び出しブレスレットなどの品目とともに使用する場合は、種々の医療の状況にロボットの反応時間を増加するためにその品目がとても有用になる。別例として、ロボットが仕事を実施するために居住者を捜す場合(上述の実施形態に記載されたように)、ロボットは、その後、居住者の場所を追跡し続け、居住者が環境内を移動する場合、居住者を追跡することができる。
【0219】
環境を誘導する間、ロボットは、種々の候補対象物(室温より高い、運転中、または雑音を発する対象物)に遭遇するが、追求された居住者であるかどうかは分からない。候補対象物が居住者である可能性が高いか否かを決定するために、ロボットは、居住者がいる特定のセンサ入力プロファイルを関連付け、居住者のセンサプロファイルを有するロボットの範囲内に来るあらゆる対象物と比較することができる。例えば、Annが介護を受けている居住者である場合、ロボットは、Annとともに、またはAnnのために仕事を実施する経過中、IRセンサを使用してAnnの平均体温、カメラおよび/または画像分析器を使用してAnnのおおよその大きさ、同じ方法で、Annが普段よく装着している服装の組み合わせ、マイクロホンまたは音響センサを使用してAnnの声の高さ、またはAnnの呼吸音などを記録することができる。これら、またはその他の入力に基づいて、ロボットは、Annの特徴であるセンサプロファイルを生成することができる。さらに、ロボットは、適切なモデルまたは認識モデル、例えば、ベイジアン分析、隠れマルコフモデル、これらの2つに依存する技法、またはフィルタリングおよび認識に対するその他の統計または発見的ルーティンを使用することにより、居住者の特徴センサプロファイルを分析、または引き出すことができる。
【0220】
ロボットはまた、複数のエンティティのグループ化された特性を追跡し、特定のエンティティ、および/または空間(トポロジー空間またはその他の概念上の代表的空間を含む)のエンティティの場所として表示されたグループ化された特性の持続的記録を維持することができる。ロボットが居住者の特性センサプロファイルに観察された対象を比較する場合、観察された対象である、つまり、居住者を概して可能性に関連付ける比較得点を生成することができる。観察された対象の比較得点が、閾値を越える場合、ロボットは、通常、居住者に近接を維持するために対象を追跡できる、または居住者である可能性が高いことを決定されるために、2つ以上の観察された対象の比較得点を順位付けすることができる、または比較が異なる上記の閾値をもたらす場合、1つの対象から別の対象へ追跡を切り替えることができる。ロボットは、居住者から直接の身元確認を捜すことなく、可能性分析に依存することがある。ロボットは、居住者からの特定の距離または距離範囲の維持を試みることができ、遅延または距離の閾値を超えた後のみ、反応することができる。
【0221】
環境内で、ロボットが電源を再充電または供給を得るために、1つ以上のドックまたは基地局(再充電ドックまたは再供給ドックなど)を配置することができる。かかる充電局のうちの1つの場所を
図14Aに示す。それぞれのドックは、壁にある電源出力に接続され、再充電のためにロボットがドックとインターフェースをとることを許容する。ロボットは、電源出力の高さおよび/またはドックターミナルの高さに、充電端子を有する。ドックは、1次元または2次元のバーコード、自己類似記号、または天井またはその他のすぐ目につく表面に投影されたその他の解釈可能な記号を認識するための上方向カメラまたはセンサを使用するロボットを用いて、天測ナビゲーションを採用可能である。解釈できる記号には、部屋のドックのタイプに対して解釈できる情報(充電、投与または消耗品の再補給など)、代表的な部屋(居間、食道、台所、寝室)、隣接した部屋、戸口の数および/または戸口の位置、および/またはドックに記録された情報を含むことができる。部屋の中でのドックの存在およびドックのタイプは、ロボットが実行可能な充電を維持する可能性を高めるためにロボットの快適得点、安全得点などを増分する、または変更することができる。ロボットは、ドックの記号を光学式走査する、RFIDタグがドックに付けられる場合にRFIDタグを検知する、ドック場所の最初から組み込まれているマップを用いるなど、いずれの他の適切な方法を用いて、ドックの存在を検知することができる。
【0222】
投与計画の遵守支援ルーティンを
図16に示す。ステップRC−2で、ロボットは、延期規則に加えて、居住者への薬物治療の投与計画に対応する薬剤投与量の情報など、個人的な投与計画の遵守情報のデータベース(ローカルに、遠隔的に)を確認する。データベースには、一回分の錠剤の数、投薬する時間および方法、食事の前後数分間または1時間の遅延が可能であるか否か、投薬がその他との併用が可能か否かなどを含む。本ルーティンは、健康志向の投与計画(運動、治療法、瞑想など)に適用可能であり、矛盾がない場合には、薬剤投与量情報および「投与量」の議論は、あらゆる種類の投与計画に関連する活動をも含む。
【0223】
ロボットは、将来のある時間に間で居住者の近くにいる必要があることを予想するのに十分な頻度で情報を確認する(例、スケジュールに変更を適応することよりも先に頻繁に確認すること、または事象よりも先に備忘録を設定することにより)。
ステップRC−4で、事象がもうすぐ生じる(備忘録/リマインダにより、予想される、または知られている)場合、ロボットは、人/居住者を捜索し始める。本明細書で論じるような近接のルーティンを維持する場合に、居住者がとても近くにいる可能性は有効である。しかしながら、近接のルーティンを維持しない場合でさえ、ロボットは、住居全体を行き来するためにあらかじめ、十分な時間を持って予定を立てることのみ必要であるが、ほとんどの場合、必要ないであろう。既に記載されたように近接事象を使用するよりもむしろ、ロボットは、事象を必要とするそれぞれの日および時間に、居住者を見つける部屋を記録することによりスケジュールを学習することができ、つまり、命令は、1日の所定時間に、居住者がいる確率が最も高い部屋、2番目に高い部屋などを学習するであろう。ステップRC−8で使用した人探しルーティンは、本明細書で説明されるようなものであり、人の識別性を確認するための検証ステップを含むことができる。
【0224】
居住者を位置付け、識別性を検証する場合、ロボットは、居住者の隣を位置に定める。居住者が他のことで忙しいため、ロボットは、好ましくは目立たない位置(例、壁際、すぐ近くの充電ドック、部屋の隅、居住者が座る椅子の肘掛けのそば)を取り、予定された事象を待つ。
ステップRC−16で、一般化した投与計画の遵守事象がある場合、居住者は、適用を期待される投与計画活動を思い出させられる。運動に関しては、ロボットは、コーチの役目を果たすことができ、画面に運動を表示することができる。また、ロボットは、生の運動セッションにリンクし、居住者により実施される運動に自身の動作を同期化することができる(本明細書で論じるように、特定のスクリプトされた事象またはスクリプトされない刺激に一致するために、変調および制御されたその他の適切な運動表現とともに)。治療法に関しては、ロボットは画面に治療法を表示でき、特定の装置に居住者を誘導する(または同一のものを運搬する)ことができ、生の、または録音されたセラピストにリンクすることができ、居住者の状況情報の報告をすることができる(例えば、運動および治療後、心拍数、血圧、呼吸数の報告、居住者に測定させるか、搭載対話型センサの使用のいずれかにより)。
【0225】
本明細書で説明されるように、ロボットは、十分な接続性、電源、ネットワークアクセス、安全性、および健康支援器具への可動性への支援を含み、カリフォルニア州レッドウッドシティーのHealth Hero Network社から入手できる「Health Buddy」の一例は、米国特許第5,307,263号に記載され、本明細書にてそれら全体を参照することによって組み込まれることに留意すべきである。典型的な装置は、小さいカラーLCD画面、ソフトボタン、医療機器、およびネットワークインターフェースを搭載する1.25ポンドの装置である。それには、USBポート、RJ−45のEthernet(登録商標)ネットワークポート、および組み込み用クラスメモリ(64MB)およびプロセッシング(ARMプロセッサ、Linux
(登録商標) OS)を含んでいてもよい。装置は、通常、ACアダプタを経由して5−24VDCにより駆動する。企図されるロボットは、さらに、器具や機器のために、頑丈で長時間(毎時2400−9000ミリアンペア)の電源、オンオフサイクルの高性能制御(必要な場合のみHealth Buddyを作動する)、機器および器具に供給するための移動性および患者の探索、追加の機器、無線装置、ポケベル、電気通信への追加のネットワーク接続性、全画面表示、全面的な支援、および生の個別指導および説明、ビデオ会議、遠隔観察、統計報告、強化制御およびインターフェースを提供することができる。当該器具は、血糖測定器、ピークフロー測定器、スケール、血圧計、パルス酸素濃度計などからデータを収集するために、ネットワークインターフェースを経由して接続することができる。ロボットは、傍受、分割、転送、また別法で、同一の機器にリンクすることができる。投与計画の遵守リマインダは、独立した、またはリンクしたスケジュール、その後に続く経路収集されたデータ、インターフェース事象、伝達、および本明細書に記載される器具の支援ネットワークまたはロボットネットワークを経由して本明細書に論じられるようにすべての他のデジタル処理で伝導できる情報に従って、Health Buddyまたは同等の装置へ委託を引き渡すまたは、それらから受け取ることができる。Health Buddyは、Linux
(登録商標)製の装置であり、本明細書で論じるように、接続性の限定されたサブセットおよびロボットのユーザインターフェース要素を有し、すべてのHealth Buddyの工程、ソフトウェアおよびインターフェースは、画面上に表示可能な、タッチ画面またはソフトボタンなどのユーザインターフェース要素により制御可能な、ユーザインターフェースを含み、本明細書で論じるように、ロボットにより直接起動することができる。本明細書で論じられる、投与計画遵守、スケジューリング、相互交流、報告およびすべての他の遵守および医療報告は、居住者または患者の探索、リマインダ、住居誘導、および居住者の場所認識、薬剤搭載および運搬、プライバシーおよび許可投与、および人間とロボット相互交流により支援されるように、本明細書に記載される移動ロボットにより支援、運搬、および/またはリンクされるようなHealth Buddyなどの器具のすべての使用を明確に含み、本明細書の特許請求は、明らかに、当該付属器具は、「ロボット」、「ロボットシステム」、あるいはロボットまたはロボットシステムの作用、誘導、または別の制御方法に該当するとみなす。
【0226】
遵守事象が薬物摂取に関与する場合、ステップRC−12およびRC−14は、特に適用可能である。これらの特許請求の範囲に照らし、「照合」は、薬剤投与と同一時刻に同一の場所に居住者を配置することが仕事であり、人への薬剤投与または人を薬剤へ誘導することを含むことができる。移動性が作動していない故障モードでは、照合は、単なるリマインダにより置換される。ステップRC−12では、人が知覚可能な信号(記録された音声、同期化された音声、表示された画像、または表示された文字列、閃光灯または点滅する光、ポインタ、または線画、またはハイライト)は、居住者へ「送信」されたものであり、居住者に薬剤を見つける場所(実際、ロボットにより携帯されるすぐ目の前にあることがあり、またはネットワーク化されたロボットシステムの一部である薬剤ディスペンサが保管される部屋にあることがあり、本明細書で論じられるようなその他の変化に加えて、居住者のために通常保存される薬剤の場所であることがある)を示す。ステップRC−14で論じられるように、誘導することは、薬剤の場所を居住者に示すまたは導く仕事であり、ロボットに薬剤の画像を示すことができ、ポインタまたは指示器にはロボットが携帯するディスペンサに対する注意を示すことができ、または居住者が語られたメッセージ、音、または表現行動によりロボットを同伴すべきであることを表わしながら、ディスペンサが位置する浴室またはその他の部屋に向かってロボットを実際に移動することができる。
【0227】
照合の1種を
図17Aに示す。本ルーティンでは、投与計画の支援対象は、
図3A−3Cに示すように、ロボットが携帯するディスペンサを含むことができ、該ディスペンサは、ロボットにより携帯される、またはロボットにより保存される場所に置くことができ、また、ロボットにより携帯される、またはロボットにより保存される場所にある医療機器(血圧計、グルコース、心拍数など)や治療機器を含むことができる。ロボットは、上記に記載されるように、ステップM−2で人が知覚可能な信号を送信し、投与計画の実施場所を示し、この場合には、ロボットのディスペンサ場所を示す。投与計画支援対象の外観(すなわち、絵による描写)は、対象をロボットに位置付ける場合、表示部またはその他に示す(近隣の表面に投影することもできる)。ロボットは、ステップM−4で動画を示すまたは投与計画支援対象に近い第2兆候を起動することにより、対象に居住者を誘導する。照合の第2種を
図17Bに示す。本ルーティンでは、ロボットは、上記に記載されるように、人が知覚可能な信号を送信し
(M6)、投与計画実施場所を示し、この場合には、薬剤を保管するまたはその他の遵守活動を実施する部屋またはその他の場所を示す。ロボットは、ステップM−8で居住者を場所に誘導する。
【0228】
図18Aは、リマインダルーティンを実施し、遠隔地の介助者に介入する機会を提供するためのルーティンを示す。このルーティンは、
図16のステップRC−16で行うことができる。本明細書のステップRC−16では、適切な期間後であって、本明細書で論じられる任意の方法によって実行されるリマインダの後に、ロボットは、非遵守の表示、例えば、居住者の拒否および/または失敗の記録を確認し、スケジュール投与計画事象の完了を成功させる。ロボットは、本明細書に論じる相互交流方法のいずれかを介してこれを記録してもよい。手順は、無事完了すると終了する。ステップRC−18では、ロボットはネットワーク(本明細書に論じる安全性および認証を使用して)、および好ましいチャネル(デスクトップビデオチャット、携帯電話、電子メール)を介して介助者に接続する。介助者は、ステップRC−20で介入する機会(一部の例では、介助者による投与計画遵守の介入を許可する、居住者が事前に与えた、または拒否した許可によって制御される)が得られる。介助者が介入することを選択する場合には、ロボットは、着信通信チャネル(例えば、ロボットと介助者が両方接続するネットワーク経由のチャネル)を介して、人が知覚可能な信号(電子メール、録音メッセージ、ライブチャットまたは通話、ロボットが話す文字列)の通信を受信する
(RC−22)。
【0229】
図18Bは、ロボットが制御または監視できる薬剤ディスペンサに薬剤を充填するためのルーティンを示す。既に論じたように、かかるディスペンサは簡単であっても、または複雑であってもよい。簡単な種類は、ロボットが装置を監視しないが、居住者と単に相互交流する場合、ロボットによって運搬される標準プラスチック区画装置である。ディスペンサのさらなる特性は、区画の電子機械的開閉および区画の提示;数日分の投与量または瓶一杯の錠剤のカートリッジ化;「Dixie」の紙コップ入り錠剤または水、充填可能な使い捨て浮袋の水、または水差しを運搬する、交換需要品の通信販売または他の配達便をスケジュールするために、居住者による支払いシステムおよび/または検証に任意に接続されるカートリッジの監視;薬剤の有無のセンサ検知;個々の区画またはディスペンサ容器全体の有無のセンサ検知;シリアルインターフェース、センサーバス、汎用入出力または有線もしくはRFネットワークとともに、簡単なマイクロプロセッサを介して、ロボットまたはロボット基地局に接続される上記のいずれかを含んでもよい。
【0230】
図18Bは、居住者−薬剤を必要とする人−が自分自身でディスペンサに充填するルーティンを記述する。先述のように、ディスペンサは、永続的にロボットに付随する、ロボットによって運搬される、ネットワーク化されるが浴室または同等物に設置されてもよく、さらにこれら後者2つの役割間で切り替えてもよい。ステップは機構的であり、いくらか検証する余地があるが、居住者がロボットおよびディスペンサと相互交流することに精通すると、時間を短縮できる。ロボットによる助手から大幅な利益を得ることができるほとんどの居住者は、どんな場合でも、自身の薬剤計画に対して責任があることになる。しかしながら、
図18Bにおけるすべての場合で、居住者は、介助者、付き添い人、他の家族などと交代してもよい。ステップML−2では、ロボットは、ローカルまたは遠隔メモリから、その日の薬物補足物を検索し、さらに補足物、投与量規則(ディスペンサがかかる能力を含む場合には、収集、充填、または水を以後供給するかどうかを決定するために)、および同等物に関して、薬物のローカルまたは遠隔メモリ画像を検索してもよい。
【0231】
ステップML−4では、居住者は、ディスペンサの充填が準備完了かどうか問われる。これは、本明細書に論じられる他の任意の遵守事象として任意に対処され、スヌーズの遅延、介助者への報告、および本明細書に詳述された同様の手順を受けることができる。ロボットが、居住者のディスペンサに使い残しの薬物があるかどうか確認する、および/または本人がすべての薬物を使用可能にしていることを期待するMSG−4に簡単な会話を示す。ステップML−6では、ロボットはそれぞれの薬物に対し、繰り返し話して進む。ロボットが薬剤のための特定の投与計画を計画し、薬剤の名前を使用し、薬剤の画像を示し、ユーザにチャンバ、区画、使い捨てコップ、または薬剤の他の入れ物に充填することを要求するための、簡単な会話をMSG−6に示される。より多くの薬剤が、同じ方法で進められる。ルーティンは、より顕著な相互交流(例えば、居住者が副作用または他の質問について尋ねたいなど)を示さないが、より応答性のある会話(本明細書に論じたように)はこれが起こることを可能にする。薬物がすべて充填されると、ロボットは居住者にその日の補足物に素早く進み、再度確認することを求める(ML−8)。介助者が薬物補足物を確認することを許可する、または指定すると(ML−10)、ロボットは介助者に通信チャネルを開き(ステップML−10、ステップRC−18およびステップRC−20の上記の論考と同じまたは類似する)、その後介助者が居住者についての質問をすることを許可する(または、計測機器が多いディスペンサは、状況を直接確認する)。ディスペンサは、ロボットのカメラに可視的であるように配置(透明またはオープンカバー付き)、また位置付けてもよく、居住者は、そのように構成されるディスペンサを、ロボットのカメラのうちの1つに向けて持ち上げてもよい。
【0232】
上記で識別した機能性に加えて、買い物などの手伝いをするためにRFIDまたはバーコードセンサを備えてもよい。実例では、ロボットは、売り物が識別用および棚卸用のRFIDタグ(もしくはバーコード、または他の適切な任意の識別スキーム)を含む、小売店またはスーパーマーケットへ居住者に同行してもよい。居住者が品物を購入したいと思うと、ロボットは、指示された製品のRFID情報をスキャンし、購入の手伝いをするために店にその情報を伝える。さらに、ロボットは、冷蔵庫または食料品室にある品物のRFIDタグまたはバーコードをスキャンすることによって、住居内の食品または供給在庫の経過を追ってもよい。品物が少なくなると、ロボットは、例えば、さらなる需要品および補充を検索してもよい。かかる機能性は、食料品または店の品物に限定されないが、同様に、例えば、服、自動車部品など、適切な任意の品物に適用してもよい。
【0233】
さらに、ロボットは、散乱物を監視することによって、または清掃スケジュールの経過を追うことによって、住居をきれいに保つのを手伝ってもよい。散乱物レベルは、例えば、(i)単位時間当たりまたは移動した距離単位当たり(これらは、センサデータに基づき、壁、家具、壁でない物の検知に分けることも可能である)の衝突または近接検知の数;および/または(ii)単位面積当たりの、ロボットの前の地面の平面を見るカメラによって検知される、異なるように着色したまたは異なるような質感にされた品物の数、および/または(iii)単位時間、距離、または領域当たりの、測距センサによって検知される中距離の障害の数により得点化することができる。このように、ロボットは、搭載されたカメラから得られた家の図に画像分析を適用し、家が乱雑になり過ぎているかどうか決定してもよく、または例えば、ロボットが、過程的にきれいであるべき、またはきれいである通路に沿って障害にあまりに頻繁に遭遇する場合は、散乱物が増加したかどうか決定してもよい。
【0234】
ロボットは、居住者と遠隔地の介助者との間の確認リストを共有することによって、請求書の支払いを容易にしてもよい。それに応じて、請求書の支払いまたは他の住居内の仕事が済むと、ロボットは、表示画面上で仕事の確認リストを居住者に対して提示してもよい(さらに、口頭でまたは聞こえるように人に連絡してもよい)。仕事が完了していない場合には、プライバシーに関する許可と一致すれば、ロボットは介助者に通知してもよい。さらに、仕事確認リストは、例えば、居住者によってか、または遠隔地の介助者がプログラムしてもよい。ロボットのカメラはまた、写真ならびに/またはOCR請求書および通知書に使用することができる。
【0235】
居住者が、住宅請負業者、販売員、または看護師もしくは看護助手などの外部第三者またはサービス提供者との対応に助力を要求する場合は、ロボットは、例えば、家にいる人々と遠隔地の介助者との間の現地テレビ会議を設けてもよい。さらに、遠隔可視的検査能力を備えているので、ロボットは、遠隔地の検査官(または介助者)に家の種々の場所を見ることを許可することによって、住居安全検査を容易にしてもよい。ロボットはまた、煙感知器、ラドンガス検知器、一酸化炭素またはCO
2センサ、または同等物などの安全センサを含んでもよい。
【0236】
ロボットは、テレビ、VCR、DVDプレーヤ、またはステレオシステムなど、1つ以上の家庭向け娯楽装置を制御するために赤外線エミッタを使用してもよい。例えば、ロボットは、装置調整者として機能してもよく、ロボットがテレビおよびDVDプレーヤの両方をつけることができるように、同時にまたは順番に応じて備品のいくつかの部品を制御してもよい(また、例えば、居住者がDVDを見たい場合には、ステレオミキサをDVDプレーヤからの入力に切り替える)。その他の特性として、ロボットは、小さなリモコンより探しやすい場合があり、ロボットはまた、種々の製品および製造者用のリモコンコードのデータベースを含んでもよく、居住者が複数の品物のためにリモコンをプログラムする必要性から解放する。
【0237】
さらに、ロボット(またはカメラおよびIR変調エミッタを有する他の器械)は、家庭向け備品上のRFID、バーコード、または銘柄商標を検知し、適切なリモコンコードを見分ける場合があるので、人からのさらなる入力を要求することがない。ロボット(リモコンまたはカメラおよびIR変調エミッタに接続される他の器械)は、遠隔操作される任意の備品(テレビ、ステレオ、ビデオ記録装置、ケーブル箱、CD/DVD/ディスクプレーヤ、ホームシアタ、アンプ、チューナー、照明、送風機、エアコン、ビデオゲームなど)の前方フェイスパネルの一部または全部を撮影してもよい。ロボットはその後、遠隔コンピュータに備品の画像を伝え、それは銘柄情報または型式情報のために画像を分析し、適切なリモコンコードをロボットに戻し伝え、従って、例えば、ロボットはローカルに画像処理能力を必ずしも必要としない。
【0238】
視覚パターン認識(ViPR
TMシステム、Evolution Robotics of Pasadena、カリフォルニアなどのスケール不変特徴変換「SIFT」システム、または「SURF」など他の既知のスケール不変特徴変換アルゴリズムを用いてもよい)は、特性または異なる領域を識別し、OEM変数を含み、備品の銘柄および型式(または型式ファミリ)を一意に識別するために組み合わせて使用してもよい、固有の視覚パターンの1−1000の記述子を算定してもよい。この工程の任意の部分は、ロボット上または遠隔的にサーバ上で遂行することができ、大抵の場合、ロボットは、分解および差し向けられた備品の画像のデータベースとの比較のために、サーバに画像を単に送信することになる。投票による、または確率的なルーティンは、差し向けられた画像での特性を、録画画像での類似した特性を相互に関連付けるために、特性の投票を用いることができる。投票は、備品のための最も有望な識別性、または備品の異なる品物を識別するために一覧にされる。ロボットは、撮影されたすべての装置(例えば、テレビ、DVDプレーヤ、およびケーブル箱のそれぞれのためのすべてのコード)とともに使用するために、リモコンIR変調コードの適切なライブラリを選択または受信する。単一の写真またはいくつかの写真を分解または分析し、1つの場所、部屋または住居における備品のあらゆる部品を識別してもよい。
【0239】
ロボットはその後、互換性ルーティンを用いて、入力および出力の互換性を調整することによって、居住者により特定される全体のタスクに応じて、装置を制御することができる(例えば、テレビを見る命令に応えて、ロボットは受信IRコード、テレビ オン、DVD オフ、ケーブルボックス オン、TVからCABLEへの入力を介して作動してもよく、DVDを見る命令に応えて、ロボットは、受信IRコード、テレビ オン、DVD オン、ケーブルボックス オフ、TVからS−VIDEOへの入力を介して作動してもよい)。このようにして、ロボットは、IRコードおよび製品の類似したデータベースを使用して、カリフォルニア州フレモントのLogitech Inc.社が販売しているHarmony
TM Remote Controlsのファミリと同様に作動することになる。Harmony装置は、ユーザによりプログラムされ、1つの制御装置が他のものともはや同期化されない場合の動向に悩まされ、入力/状態同期化を回復するために、すべての装置をデフォルト状態に初期化する無障害ルーティンを用いる。その一方で、本ロボットまたはリモコンもしくはカメラおよびIR変調エミッタに接続されるもしくは他の器械は、現在の入力の状態および他の機能に基づき、装置をお互い再同期化する代わりに、状態灯、状態表示(テレビの像)、状態メッセージ(テレビの画面または装置表示部)、または無障害ルーティンを使用して回避する他のパターン認識によって、任意の装置のオン、オフ、または他のアクティブ状態(例えば、選択された誤入力、低音量)を検知するために、カメラおよび先述の視覚パターン認識を使用してもよい。ロボットまたは他の装置はまた、例えば、人から口頭によるリモコン命令を受けるために、音声認識を使用してもよい。
【0240】
口頭入力および/出力に関して、ロボットが、特定の仕事に関連する口頭による入力を正確に解釈してもよいように、移動ロボットは、種々の事象および/または仕事のための口頭パターンのデータベースを含んでもよい。例えば、ロボットが薬剤関係の仕事を実行しているときは、ロボットは、医学用語を即時音声認識パターンメモリに充填してもよく、ロボットが買い物の仕事を後に行うならば、ロボットは服または食料品関係の音声パターンデータベースに切り替えてもよい。
【0241】
高齢者の世話に関係する多くの実例を本明細書に掲載する。しかしながら、本発明の同じ実施形態は、子供、限定された場合には、介助者の助力を要求する大人の世話に容易に適用することができる。人に精神的な刺激を与えるために、ロボットは、自然発生的に、または居住者もしくは介助者による要請に応えるように、または所定の日程に応じて、音、音楽および/またはゲームを使用してもよい。さらに、ロボットは、タッチスクリーンを使用してゲームをする;言葉遊びをする(オーディオのみ、もしくは表示部画面を介して、または両方);オーディオブックを聴く;物語を聞かせる、またはオーディオブックを朗読する;日刊ニュース記事、天気またはスポーツスコアを再生する;参考情報(百科事典、テレビガイド)を調べる(例えば、人からの口頭入力または質問に応えて);金融情報(株価、銀行残高)を調べる;電子メールおよびインスタントメッセージを受信する;家族および友人から送られたデジタル写真を見せる;家族および友人から送られたビデオを再生する;電話で話す;ビデオ会議に参加する;電子メールで介助者に送信する、居住者がその日に行った活動を記載した日報を作成する;居住者がロボットと話をしているオーディオクリップを再生する;家にいる居住者の写真を見せる;投与量および時間を含め、薬剤に関するリマインダを渡す;身体的活動に関するリマインダ(例えば、散歩に行く、ストレッチをする)を渡す;日常の行事に関するリマインダ(例えば、テレビの番組時間、予約、誕生日)を渡す;介助者にコンピュータから居住者と話をさせ会わせる;介助者に人の家周りにロボットを操縦させ、物事の確認をさせる;プライバシー規制を含む(カメラを回す、または遠隔地の介助者に仮想訪問をさせる前に、ロボットは居住者からの許可を要求する);つまずき検知器を含む(住居者がすぐ近くにいる場合ロボットは検知し、脇に寄り、音をたて、明かりを点滅させる);介助者による管理を含む;および/または最新版を渡す(新しいゲーム、音楽、ビデオおよび写真は、インターネットによる供給を介して、または具体的には遠隔位置からの介助者または第三者によって(電子メールまたはウェブインターフェースを介して)、自動的にロボットに送信してもよい)。
【0242】
種々の実施形態に関連して、本発明を詳細に説明してきた。しかしながら、これらの実施形態は単に例のためにすぎず、本発明はそれらに限定されることはない。当業者には、他の変形形態および修正形態が、添付の特許請求の範囲によって定義される、本発明の範囲内で容易に作出できることが理解されよう。