特許 7075935 自律型ロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-18

(45)【発行日】2022-05-26

(54)【発明の名称】自律型ロボットシステム

(51)【国際特許分類】

   G05D 1/02 20200101AFI20220519BHJP

【ＦＩ】

G05D1/02 H

【請求項の数】 18

(21)【出願番号】P 2019540008

(86)(22)【出願日】2018-01-18

(65)【公表番号】

(43)【公表日】2020-03-05

(86)【国際出願番号】 IB2018050317

(87)【国際公開番号】W WO2018134763

(87)【国際公開日】2018-07-26

【審査請求日】2021-01-13

(31)【優先権主張番号】109871

(32)【優先日】2017-01-20

(33)【優先権主張国・地域又は機関】PT

(73)【特許権者】

【識別番号】519261954

【氏名又は名称】フォロー インスピレーション，エセ．アー．

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】イナシオ デ マトス，ルイス カルロス

【審査官】牧 初

(56)【参考文献】

【文献】特開平０８－０８３１１０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０５２０４５０９（ＣＮ，Ａ）

【文献】中国特許出願公開第１０３９２６９２５（ＣＮ，Ａ）

【文献】特表２００９－５０９６７３（ＪＰ，Ａ）

【文献】特開２０１４－１７６９６３（ＪＰ，Ａ）

【文献】特開２０１４－１９５８６８（ＪＰ，Ａ）

【文献】特開２００４－０５４６３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００－ １／１２

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

自律型のロボットシステムであって、
中央処理モジュールと、
ロバストな範囲のセンサと、複数のカメラを含んだ表示システムと、を含む知覚モジュールと、
前記ロボットシステムの各モジュールに関連する状態およびパラメータを監視する監視モジュールと、
前記ロボットシステムと当該ロボットシステムのユーザと外部エージェントとの間の双方向通信を確立するための技術的手段を含む対話モジュールと、
少なくとも１つのバッテリと充電システムとを含む電源モジュールと、
前記ロボットシステムに搭載されたステアリングシステムに応じて動作する移動モジュールと、を備えており、
各モジュールは、データ処理動作を実行する少なくとも１つの処理ユニットを含んでおり、
各モジュールの前記少なくとも１つの処理ユニットは、各モジュール間の接続を確立する通信サブモジュールを含んでおり、
各モジュールの動作は、前記中央処理モジュールによって制御され、
前記知覚モジュールは、
前記ロバストな範囲のセンサおよび前記表示システムに新たにインストールされたコンポーネントを自動的に設定する較正ブロックを含んでおり、
相補的かつ冗長な構成を有する異なるタイプのセンサおよびカメラから収集された情報を組み合わせることによって、ユーザによって実行されるアクションを認識するために、人工知能（ＡＩ）および学習アルゴリズムに基づいて、前記ロボットシステムが配置されている周囲環境から知覚情報を収集するように、時間の経過に伴い適合され、
ＡＩアルゴリズムを実行する前記中央処理モジュールは、
前記ロボットシステムの各モジュールの全ての動作を制御し、
前記ロボットシステムが配置されている前記周囲環境から直接的に収集された、前記知覚モジュールからのデータのリアルタイム統合；
前記対話モジュールによって、ジェスチャーまたは音声を介してユーザから受信した指令に由来するデータのリアルタイム統合；
前記対話モジュールによって、外部エージェントから受信した指令に由来するデータのリアルタイム統合；
という３つの異なるタイプの情報源に基づいて、各モジュールにおいて実行すべき行動を決定し、
前記中央処理モジュールは、前記ロバストな範囲のセンサの状態と、処理の状態と、異なるレベルのロボットシステム間の協働による動作の状態と、についての情報を共有する、自立型のロボットシステム。

【請求項2】

前記知覚モジュールの前記表示システムは、水平軸および垂直軸に応じた動的挙動を伴う、ＲＧＢＤタイプ、ＲＧＢタイプ、サーマルタイプ、およびステレオタイプの複数のカメラを含んでいる、請求項１に記載のシステム。

【請求項3】

前記知覚モジュールの前記ロバストな範囲のセンサは、
少なくとも１つの距離センサと、
少なくとも１つのＲＧＢセンサと、
超音波周波数範囲または赤外線周波数範囲において動作する少なくとも１つのソナーと、
ＬＩＤＡＲ技術に関する少なくとも１つのセンサと、
少なくとも１つのレーザ距離計（ＬＲＦ）センサと、を含んでおり、
各センサは、前記知覚モジュールの前記処理ユニットとの通信に先立って知覚処理を実行する処理ユニットをさらに有している、請求項１に記載のシステム。

【請求項4】

前記知覚モジュールの前記処理ユニットは、画像処理アルゴリズムを実行する、請求項１～３のいずれか１項に記載のシステム。

【請求項5】

前記監視モジュールは、プロセッサ温度、速度および負荷、使用されるＲＡＭメモリ、並びにストレージスペースなどのパラメータを監視するために、ハードウェア通信プロトコルによって、前記ロボットシステムの残りの各モジュールの前記処理ユニットと通信する、請求項１に記載のシステム。

【請求項6】

前記監視モジュールは、前記ロボットシステムの前記移動モジュールと接続することによって、移動エンジンコントローラの温度と、前記ロボットシステムの速度と、を決定する、請求項５に記載のシステム。

【請求項7】

前記監視モジュールは、前記ロボットシステムの前記電源モジュールと接続することによって、前記ロボットシステムのバッテリレベルを決定する、請求項５に記載のシステム。

【請求項8】

前記対話モジュールは、
少なくとも１つのマイクロフォンと、
少なくとも１つのモニタと、
少なくとも１つのスピーカと、
通信サブモジュールと、を含んでおり、
前記通信サブモジュールは、外部エージェントとの双方向ポイント・トゥ・ポイント通信を確立し、かつ、無線通信技術に応じて動作する、請求項１に記載のシステム。

【請求項9】

前記通信サブモジュールは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＬＡＮ、およびＩＲ技術に応じて動作する、請求項８に記載のシステム。

【請求項10】

前記外部エージェントは、データサーバである、請求項８に記載のシステム。

【請求項11】

前記移動モジュールは、アッカーマン型、差動型、または全方向型の前記ステアリングシステムに応じて動作する、請求項１に記載のシステム。

【請求項12】

請求項１～１１に記載の前記ロボットシステムの前記中央処理モジュールを動作させるための方法であって、
知覚モジュールと監視モジュールと対話モジュールと移動モジュールとの間の双方向通信を確立するステップと、
知覚モジュールと監視モジュールと対話モジュールとからのデータをリアルタイムで統合するステップと、
追跡モード、案内モード、または２つの地点間のナビゲーションモードで動作するように、前記ロボットシステムの動作モードをプログラムするステップと、
３つのベクトル、すなわち速度、方向、および方位に応じて、前記移動モジュールに情報を送信するステップと、を含んでいる、方法。

【請求項13】

前記中央処理モジュールは、前記知覚モジュールと前記対話モジュールと前記監視モジュールとからの情報を、ステータスマシンまたはマルコフモデルアルゴリズムに応じて処理することにより、前記ロボットシステムの動作モードを設定する請求項１２に記載の方法。

【請求項14】

前記対話モジュールからの前記情報は、前記モニタ内における接触によって、または、マイクロフォンを介した音声情報によって、前記ユーザにより入力された入力パラメータである、請求項１３に記載の方法。

【請求項15】

前記対話モジュールからの前記情報は、外部エージェントによって前記ロボットシステムに送信される、請求項１３または１４に記載の方法。

【請求項16】

前記追跡モードは、前記知覚モジュールにおいて実行されるユーザ識別ステージを含んでおり、
前記ユーザ識別ステージは、深度センサおよびＲＧＢカメラからのデータの統合処理を含んでいる、請求項１２に記載の方法。

【請求項17】

ユーザ識別に学習アルゴリズムが用いられる、請求項１６に記載の方法。

【請求項18】

２つの地点間の案内およびナビゲーションモードの設定は、地理的マップをダウンロードするために、前記対話モジュールと前記外部エージェントとを接続することを含んでいる、請求項１２に記載の方法。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

［技術分野］
本出願は、自律型ロボットシステム（自律型のロボットシステム）を開示する。

【0002】

［背景］
現在、産業およびサービス提供と同じくらい多様なアプリケーションに関し、ロボットシステムへの関心が高まっている。しかし、（ｉ）経路および障害物迂回の計算などのタスクにおけるハードウェア概念化およびソフトウェアの開発から、（ｉｉ）最も抽象的かつ複雑なレベルのヒューマンマシン対話に至るまで、まだ解決されていない様々な課題がある。複数の重要な貢献がすでになされており、それらの一部を以下に要約する。

【0003】

ＵＳ２００５０２１６１２６Ａ１は、異常事象の発生を検出するために、特定の人物の習慣を識別し、追跡し、かつ学習する能力を有する自律型個人ロボットを開示している。この解決知覚モジュール策の主な目的は、高齢者および障害者を支援し、当該高齢者および障害者の周囲の状況だけでなく、当該高齢者および障害者の状況を報告することである。この思想は、具体的には、特定のユーザのために設計されているという点で、一部の態様にて本明細書において示されている思想とは異なる。

【0004】

ＵＳ２００６１０６４９６Ａ１において提案された思想は、移動ロボットの移動を制御するための方法を説明している。この研究は、構造が完全には特定されていない従来のロボットの存在を想定する方法に焦点を当てている。この研究は、当該文献においてロボットおよびそのセンサの説明において本質的に提案されている研究とは異なる。ＵＳ２００６１０６４９６Ａ１にはカメラが記載されているが、例えば当該文献にはＲＧＢカメラだけでなく、深度カメラ（デプスカメラ）の存在も示唆されている。

【0005】

ＷＯ２００７０３４４３４Ａ２は、ＲＧＢビデオを使用してオブジェクト（物体）または人物を追跡するためのシステムを開示している。ビデオは、ブロック間の対応についてのアルゴリズムを使用して、論理処理によって分析される。このアルゴリズムは画像内の画素ブロックを特定し、次のビデオ画像内のある探索領域内において同じブロックを発見しようと試みる。探索領域は、測定値の履歴に基づいて動的に適合される。しかし、使用される追跡アルゴリズムは、前記基準「オブジェクト」に対するロボットシステム自体の移動（変位）を考慮していない。

【0006】

ＵＳ２０１１００２６７７０Ａ１は、ステレオビジョンカメラを備えた遠隔車両を使用する方法を開示している。カメラは、人物の検出および追跡を可能にする。本方法の目的は、人物および遠隔車両が現実の環境において協働することを可能にするシステムを開発することである。その解決策はまた、遠隔車両を人物に対して適切な位置にナビゲーションすることを可能にするが、このことに関連してオブジェクトの追跡を提供してはいない。

【0007】

ＵＳ２０１１２２８９７６Ａ１に示された研究は、ジョイントベースの追跡システムのための自動学習アルゴリズムによって使用されることを目的として、合成画像を生成するための技術を説明している。本研究は、データおよび画像の処理のためのアルゴリズムのセットだけでなく、自律型ロボットシステムも含む。

【0008】

ＵＳ２０１３０３４２６５２Ａ１は、ＲＧＢカメラおよび深度カメラを有するロボットによって人物を追跡するために一般に使用される追跡方法を開示している。本出願で提案されている本発明との主な相違点の１つは、ＲＧＢカメラおよび深度カメラ（本明細書では２つ以上であると認められる）に加えて、障害物の追跡および輪郭付け（コンタリング）もまた、少なくとも１つのＬＲＦの使用をもたらすことである。安全性は、１つ以上のソナーによってさらに高めることができる。

【0009】

ＷＯ２０１４０４５２２５Ａ１は、障害物を避ける能力を有する個体を追跡するための自律型システムを開示している。この自律型システムは、この移動モードのみに限定されており、自律的に巡回することができない。さらに、オペレータの認識は、深度カメラのみに基づいて行われる。このことは、識別処理自体のロバスト性を低下させ、故障の影響を受けやすくする。さらに、前記自律型システムのアプリケーションは、人工光シナリオ（制御された光）に限定される。

【0010】

このように、ユーザとの対話のレベルおよび周囲環境の両方において、配置（挿入）される環境との完全な統合（一体化）を促進するロボットシステムの開発に関して、既知の解決策が除外されることが実際には見受けられる。

【0011】

［概要］
自立型ロボットシステムが開示されている。当該ロボットシステムは、
中央処理モジュールと、
表示システムと、前記ロボットシステムの外部から知覚情報を収集するための技術的手段と、を含む知覚モジュールと、
前記ロボットシステムの各モジュールに関連する状態およびパラメータを監視する監視モジュールと、
前記ロボットシステムと当該ロボットシステムのユーザと外部エージェントとの間の双方向通信を確立するための技術的手段を含む対話モジュールと、
少なくとも１つのバッテリと充電システムとを含む電源モジュールと、
前記ロボットシステムに搭載されたステアリングシステムに応じて動作する移動モジュールと、を備えており、
各モジュールは、共に接続されており、
各モジュールの動作は、前記中央処理モジュールによって制御され、
各モジュールは、データ処理動作を実行する少なくとも１つの処理ユニットを含んでおり、
前記少なくとも１つの処理ユニットは、各モジュール間の接続を確立する通信サブモジュールを含んでいる。

【0012】

前記システムの特定の実施形態では、前記知覚モジュールの前記表示システムは、水平軸および垂直軸に応じた動的挙動を伴う、ＲＧＢＤタイプ、ＲＧＢタイプ、サーマルタイプ、およびステレオタイプの複数のカメラを含んでいる。

【0013】

前記システムの特定の実施形態では、知覚情報を収集するための前記知覚モジュールの前記技術的手段は、
少なくとも１つの距離センサと、
少なくとも１つのＲＧＢセンサと、
少なくとも１つのソナー（超音波範囲または赤外線範囲の動作周波数を有する）と、
ＬＩＤＡＲ技術に関する少なくとも１つのセンサと、
少なくとも１つのレーザ距離計（ＬＲＦ）センサと、を含んでおり、
各タイプのセンサは、前記知覚モジュールの前記処理ユニットとの通信に先立って知覚処理を実行する、関連する処理ユニットを有している。

【0014】

前記システムの特定の実施形態では、前記知覚モジュールの前記処理ユニットは、画像処理アルゴリズムを実行する。

【0015】

前記システムの特定の実施形態では、前記監視モジュールは、プロセッサ温度、速度および負荷、使用されるＲＡＭメモリ、並びにストレージスペースなどのパラメータを監視するために、ハードウェア通信プロトコルによって、前記ロボットシステムの残りの各モジュールの前記処理ユニットと通信する。

【0016】

前記システムの特定の実施形態では、前記監視モジュールは、前記ロボットシステムの前記移動モジュールと接続（通信）することによって、移動エンジンコントローラの温度と、前記ロボットシステムの速度と、を決定する。

【0017】

前記システムの特定の実施形態では、前記監視モジュールは、前記ロボットシステムの前記電源モジュールと接続（通信）することによって、前記ロボットシステムのバッテリレベルを決定する。

【0018】

前記システムの特定の実施形態では、前記対話モジュールは、
少なくとも１つのマイクロフォンと、
少なくとも１つのモニタと、
少なくとも１つのスピーカと、
通信サブモジュールと、を含んでおり、
前記通信サブモジュールは、外部エージェントとの双方向ポイント・トゥ・ポイント通信を確立し、かつ、無線通信技術に応じて動作する。

【0019】

前記システムの特定の実施形態では、前記通信サブモジュールは、前記通信サブモジュールは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＬＡＮ、およびＩＲ技術に応じて動作する。

【0020】

前記システムの特定の実施形態では、前記外部エージェントは、データサーバである。

【0021】

前記システムの特定の実施形態では、前記移動モジュールは、アッカーマン型、差動型、または全方向型の前記ステアリングシステムに応じて動作する。

【0022】

さらに、開発された前記ロボットシステムの前記中央処理モジュールを動作させるための方法が開示されている。当該方法は、
知覚モジュールと監視モジュールと対話モジュールと移動モジュールとの間の双方向通信を確立するステップと、
知覚モジュールと監視モジュールと対話モジュールとからのデータをリアルタイムで統合する（リアルタイム統合する）ステップと、
追跡モード、案内モード、または２つの地点間のナビゲーションモードで動作するように、前記ロボットシステムの動作モードをプログラムするステップと、
３つのベクトル、すなわち速度、方向、および方位に応じて、前記移動モジュールに情報を送信するステップと、を含んでいる。

【0023】

前記方法の特定の実施形態では、前記中央処理モジュールは、前記知覚モジュールと前記対話モジュールと前記監視モジュールとからの情報を、ステータスマシンまたはマルコフモデルアルゴリズムに応じて処理することにより、前記ロボットシステムの動作モードを設定する。

【0024】

前記方法の特定の実施形態では、前記対話モジュールからの前記情報は、前記モニタ内における接触によって、または、マイクロフォンを介した音声情報によって、前記ユーザにより入力された入力パラメータである。

【0025】

前記方法の特定の実施形態では、前記対話モジュールからの前記情報は、外部エージェントによって前記ロボットシステムに送信される。

【0026】

前記方法の特定の実施形態では、前記追跡モードは、前記知覚モジュールにおいて実行されるユーザ識別ステージを含んでおり、前記ユーザ識別ステージは、深度センサおよびＲＧＢカメラからのデータの統合処理を含んでいる。

【0027】

前記方法の特定の実施形態では、ユーザ識別に学習アルゴリズムが用いられてよい。

【0028】

前記方法の特定の実施形態では、２つの地点間の案内およびナビゲーションモードの設定は、地理的マップをダウンロードするために、前記対話モジュールと前記外部エージェントとを接続することを含んでいる。

【0029】

［一般的な説明］
本出願は、ロボットシステムを、当該ロボットシステムの周囲の環境において完全な統合に有利な、より合理的かつ「意識的」にする必要性から生じている。

【0030】

この目的のために、自律型ロボットシステムは、３つの異なる種類の「情報源」（information sources）から得られるデータ、すなわち、（ｉ）当該ロボットシステムが配置される環境から直接的に収集される知覚情報、（ｉｉ）当該ロボットシステムのオペレータによって提供される入力、および、（ｉｉｉ）当該ロボットシステムの外部の情報システムによって送信される外部コンテキスト情報、に応じて、その動作を規定する能力を有するように開発されてきた。異なるエンティティから到来するこれらすべてのデータをリアルタイムで統合することは、上記システムに割り当てられた機能に従って、異なる動作モードに従って動作することを可能にする知能（インテリジェンス）を、上記システムに与える。それによって、上記システムは、（ｉ）当該システムのユーザに専ら追従（後続）して動作することを可能にするか、あるいは、（ｉｉ）特定の規定された点へと直接的に自律移動することを可能にする。

【0031】

本明細書では、開発されたロボットシステムは、技術的モジュール（テクニカルモジュール）に従って定義されるものとする。当該技術的モジュールは、上記ロボットシステムを構成し、かつ、必要な技術的複雑性をもたらす。これにより、当該ロボットシステムに、既に述べた原理に従って動作させることが可能となる。本明細書において示されるシステムのモジュール性は、ソフトウェアおよびハードウェアの両方に関して検証され、実用的な点で大きな利点を提供する。上記モジュール性は、特定のアプリケーションシナリオに適合された異なる動作機能をプログラミングすることを可能にし、かつ、上記モジュール性によれば、システムハードウェアに必要とされる任意の変更を、その全体的な動作に直接的な影響を与えることなく実施できるためである。例えば、人工光および自然光の両方について、ロボットシステムがユーザ追跡モードのためにプログラムされる場合、知覚モジュールは、よりロバスト性が高い範囲のセンサとして設けられうる。知覚モジュールによって提供される抽象化層（抽象化レイヤ）は、システムに導入される新しいセンサの統合に有利である。

【0032】

ロボットシステムは、以下の技術的モジュール、すなわち、知覚モジュール、監視モジュール、対話モジュール、中央処理モジュール、電源モジュール、および移動モジュール、によって構成される。このモジュール性は、必要に応じた構成を導入する場合に、より速い処理およびより優れた柔軟性（フレキシビリティ）を可能にする。

【0033】

これに則して、ロボットシステムには、モジュール毎に少なくとも１つの処理ユニット（すなわち複数の処理ユニット）が備えられている。このことは、単一のユニットを損なうため、必然的により複雑となるであろう。例えば、開発された分析および決定アルゴリズムの複雑性だけでなく、知覚モジュールによって提供されるデータを含む大量のデータに起因して、処理の分散化は、（ｉ）消費を許容可能な限界内に維持している間のエネルギー要求と、（ｉｉ）ロボットシステムが実際のアプリケーションシナリオにおいて、自身の機能を適切に実行するために従うべき空間的制限と、の両方に有利な開発アプローチを示す。このようにして、最初から、知覚データを処理することが予定されている処理ユニットを分離することが可能である。このことは、その他の計算的により要求の厳しいモジュールを表す。すべてのモジュール間の通信は、各モジュール内に存在する処理ユニットに関連する通信サブモジュールを介して確立される。当該モジュールは、ＣＡＮプロトコル、イーサネットプロトコル、または任意の他のハードウェア通信プロトコルに基づいて通信を確立するように構成される。

【0034】

このモジュール性にもかかわらず、ロボットシステムの全体の動作は中央処理モジュールによってプログラムされる。この場合、システムの移動（変位）を担う移動モジュールを駆動するために、知覚モジュール、対話モジュール、電源モジュール、および監視モジュールによって送信される情報を統合する適切な（合理的な）ステージ（rational stage）が処理される。

【0035】

次に、ロボットシステムを規定する各モジュールについて説明する。

【0036】

［中央処理モジュール］
本モジュール（中央処理モジュール）は、ロボットシステムの他のすべてのモジュールを制御する主モジュール（メインモジュール）である。

【0037】

本モジュールは、ユーザ追跡（いかなる識別装置をも必要としない）、ガイドモードでの移動（ユーザはロボットシステムに従う）、または２地点間の単純な移動などの、ロボットシステムの自律型行動を規定することに関して、ロボットシステムの動作モードに関する重要な決定がなされるモジュールである。ロボットシステムにおいて設定される動作モードにかかわらず、中央処理モジュールは、残りのモジュールからのデータを統合することによって、移動モジュールを起動する。どの行動を実行すべきかに関する決定は、（ｉ）知覚モジュール（すなわち、センサおよびカメラ）、および、（ｉｉ）対話モジュール（ユーザまたは外部エージェントのそれぞれからローカル指令またはリモート指令を受信する）、によって収集された情報に基づく。すべての情報の処理は、ステータスマシン、マルコフモデルなどの「ステータス」および「行動（ビヘイビア）」選択アルゴリズムに従って実行される。

【0038】

ロボットシステムの安全なナビゲーション（障害物の迂回および安全距離）は、中央処理モジュールが移動システムに正確に供給することを意味する。この目的のために、様々なセンサから到来するデータ（当該データは、相補的なだけでなく冗長な情報を提供するとともに、周囲環境の認識を可能にする）が統合される。さらに、対話モジュールを介して、中央処理モジュールは、障害物迂回を伴う経路を計算するためのアルゴリズムを実装するマップ（地図）を使用して、および／または、グローバル測位技術（全地球測位技術）を使用して、この情報を補完することができる。実際には、中央処理モジュールは、（ｉ）外部エージェントによって提供されるマップに基づいて経路を生成し、（ｉｉ）知覚モジュールによって収集された情報に基づいてローカルアルゴリズムおよび／またはグローバルアルゴリズムによってマップを構築し、かつ、（ｉｉｉ）周囲環境に関する情報をユーザに与えることが可能である。例えば、人が巡回ゾーン内にいるか駐車エリア内にいるかを特定するために、ロボットが通過できない狭い通路に近づいていることをユーザに示すことができる。また、サービス提供のためにロボットが存在している場所（空港における関心地点、リストの存在下での広告または購入サポート）を、ユーザに示すことも可能である。

【0039】

これに関連して、中央処理モジュールにおいて、人工知能（artificial intelligence，ＡＩ）アルゴリズムを実行することが可能である。これにより、ロボットにユーザの嗜好（好み）／履歴を報知でき、その結果、効果的な対話を提供することができる。例えば、リテール（小売）エリアとの関連では、ロボットシステムの位置に応じて、ユーザのショッピングプロファイルに応じて、当該ユーザ自身の好みに合う可能性のある特定の製品を提案することが可能である。

【0040】

言及された全ての例は、本明細書に示されているロボットシステムを構成する全てのモジュール間の相互通信によって可能である。それらのモジュールの各々に割り当てられた情報を効果的に統合することは、（ｉ）意図された機能、（ｉｉ）上記ロボットシステムのユーザ、および、（ｉｉｉ）上記ロボットシステムが配置される環境に関するコンテキスト情報、に由来する、システムの動作を最適化することを可能にする。

【0041】

知覚情報を使用することは、中央処理モジュールによってなされてもよい。これにより、ロボットシステムの移動を停止させ、近傍の障害物に起因する緊急停止を実行できる。この停止は、ロボットの本体（ボディ）に配置されたボタンを用いて、ハードウェアによって引き起こされてもよい。

【0042】

［知覚モジュール］
知覚モジュールは、ロボットシステムが配される（inserted）環境から情報を収集する役割を果たす。知覚モジュールは、ロボットシステムが処理するデータ量ゆえに、計算的により複雑なモジュールである。知覚モジュールは、以下の範囲のセンサを含む：
－少なくとも１つの距離センサ；
－少なくとも１つのＲＧＢセンサ；
－少なくとも１つのソナー（超音波範囲または赤外線範囲の動作周波数を有する）；
－ＬＩＤＡＲ技術に関する少なくとも１つのセンサ；
－少なくとも１つのレーザ距離計（レーザーレンジファインダ）（ＬＲＦ）センサ。

【0043】

さらに、知覚モジュールは、ロボットの表示システムも含む。当該表示システム（it）には、以下の異なるタイプ（種類）の、水平軸および垂直軸に応じた動的挙動を伴う複数のカメラが設けられている：
－ＲＧＢＤカメラ；
－ＲＧＢカメラ；
－サーマルカメラ；
－とりわけ、ステレオカメラ。

【0044】

知覚モジュールで扱われる知覚データの量に対処するために、知覚モジュールは、ロボットに適用されるセンサ／カメラの種類毎に処理ユニットを有する分散データ処理ストラテジーを有する。したがって、（例えば、ＣＡＮ、ｐｒｏｆｉＢＵＳ、ＥｔｈｅｒＣＡＴ、ＭｏｄＢｕｓ、またはＥｔｈｅｒｎｅｔタイプの）ハードウェア通信プロトコルを介してモジュールの主処理ユニットにデータを送信することに先立ち、事前の知覚処理ステップが存在する。当該知覚処理ステップは、収集されたすべての情報を中央処理モジュールに転送する前に、当該収集されたすべての情報を統合する。

【0045】

使用されるセンサ／カメラの数は、意図されたアプリケーションに応じて変更されてよい。センサ／カメラは、ロボットの本体に常に取り付けられるであろう。センサ／カメラの正確な位置決めが、意図されたアプリケーションに応じて変更される。このような適応性を可能にするために、知覚モジュールは、新たにインストールされたコンポーネントを自動的に設定（構成）するように設計された較正ブロックを統合する。これにより、ロボットシステムにおいて知覚モジュールによる統合に有利な抽象化層を生成できる。

【0046】

相補的でありかつ冗長でもある構成を有する異なるタイプのセンサ／カメラを組み合わせることは、障害物の検出、オブジェクトおよび人物の検出および識別、ならびにハードウェア障害に対するより高いロバスト性および保護に関して、より優れた性能をもたらす。実際、周囲の環境（人、障害物、他のロボットシステム、ゾーン、またはマーカー（標識））の認識は、画像処理アルゴリズムによって行われ、知覚モジュールの主処理ユニット内で実行される。その後、この情報は、移動モジュールを始動させる役割を担う中央処理モジュールに転送される。

【0047】

オペレータの識別に関する限り、深度情報に対して相補的なセンサを使用することは、この処理をより効率的にし、例えば、（特に）色特性を抽出するために、ＲＧＢ情報を使用することを可能にする。色特性は、現行の照明特性にかかわらずオペレータをより正確に特徴付けることを可能にする。この場合、ユーザおよびオブジェクトの両方を識別する処理は、深度情報および色情報から得られた特徴（構成）（feature）に基づいてモデルを生成する初期段階を経る。各々の瞬間に検出されたユーザ／オブジェクトに関する新しい情報は、既存のモデルと比較され、マッチングアルゴリズムに基づいて、当該新しい情報がユーザ／オブジェクトであるか否かが決定される。このモデルはＡＩおよび学習アルゴリズムに基づいて、時間の経過に伴い適合される。これにより、ユーザ／オブジェクトの視覚特性の調整を、時間の経過に伴い、その動作中に可能にする。

【0048】

また、このモジュールの構成により、ユーザによって実行されるアクションを認識することも可能である。これにより、他のアプリケーションの中でも、より高度な人間－ロボット対話が可能となる。また、ＲＧＢカメラおよびステレオカメラを設けることにより、自然光または人工光を伴う環境下においてロボットシステムを動作させることも可能である。

【0049】

［対話モジュール］
対話モジュールは、ロボットシステム、その（当該ロボットシステムの）ユーザ、および両方の外部エージェントとの間のインターフェースを確立する役割を担うモジュールである。

【0050】

ユーザとの対話は、
－少なくとも１つのマイクロフォン；
－少なくとも１つのモニタ；
－少なくとも１つのスピーカ；
によって処理される。これらは、例えば、ジェスチャーまたは音声によって対話を処理することを可能にする。前記ハードウェアを支援するために、画像処理アルゴリズム、すなわち、（ａ）深度情報および色情報（知覚モジュールは以下の技術的手段、すなわち、（ｉ）深度情報を捕捉するための少なくとも１つのセンサ、例えば、ＲＧＢＤ型センサおよび／またはステレオカメラ、（ｉｉ）ならびに、例えば、色情報を収集するための少なくとも１つのＲＧＢＤカメラ、を有することを前提とする）（ｂ）および単語認識がこのモジュールに関連付けられた処理ユニットにおいて処理（実行）される。これにより、ユーザとの対話が音声（マイクロフォンおよび／またはスピーカ）または視覚的態様（モニタを介して）によって行われることが可能となる。この例は、ロボットシステムを含むすべてのモジュールによって収集され、かつ、そのユーザまたは周囲環境との異なる種類のコンタクト（連絡）を提供する情報間の対話および統合を明らかにする。

【0051】

次に、ロボットシステムには、外部エージェントと対話する能力が付与される。この場合、外部エージェントは例えば、インターネット内に存在する（housed）情報サーバであると考慮される。ロボットシステムはコンテキスト情報を取得するために、当該外部エージェントを使用する。この目的のために、知覚モジュールは例えば、ＷＩ－ＦＩ、Ｂｌｕｅｔｏｏｔｈ、ＬＡＮまたはＩＲ（赤外）技術に応じて動作するように構成された、外部と通信するためのサブモジュールを含む。さらに、知覚モジュールは、以下の目的のために、システム自体の外部の他の機器との双方向ポイント・トゥ・ポイント接続を確立することを可能にする：
－遠隔制御またはステーションによってシステムを遠隔操作（teleoperation）すること。これにより、外部装置から指令を受け付け、さらにセンサおよびアクチュエータの状態または処理の状態に関する監視情報を共有することが可能となる；
－異なるレベルのロボットシステム間の協働によるチームの操作（チームオペレーション）。この機能は、所与のシナリオで動作可能な様々なロボット間で情報を交換するために、前のポイントで説明した通信性能を使用することが主体にある。複数のロボットは、自身が有するすべての情報を共有し、かつ、他のロボットからの指令を受け付ける／／他のロボットへの指令を与えることができる。一例として、使用されるロボットが、常に最も多くのバッテリを有するロボットであると考えることができる。この意味で、全てのロボットのバッテリ（電池）状態を認識していることが必要である。他の可能なアプリケーションは、作業の最適化である。この場合、各ロボットは他のロボットの経路（ルート）に応じた経路を生成する（例えば、２つのロボットがそれぞれ半分の負荷で同じ場所を通過する価値はない）；
－中央コマンド・コンピュータへの相互接続によって、自動的なまたは管理されたソフトウェア更新を実行すること。

【0052】

［監視モジュール］
監視モジュールは、ロボットシステムの他のすべてのモジュールの状態を監視するように意図されている。監視モジュールは、ロボットシステムに関連する異なるパラメータ（例：プロセッサ温度、既存の処理ユニットの速度および負荷、使用されるＲＡＭメモリおよびストレージスペース（記憶スペース）、移動モジュールのエンジンコントローラ温度、ロボットの速度および位置、バッテリの電力レベルなど）を制御する。

【0053】

この目的のために、監視モジュールは、ロボットシステムの他のモジュールの各々、特に、上述のパラメータに関する情報を共有するそれぞれの処理ユニットに接続される。

【0054】

［電源モジュール］
電源モジュール（パワーモジュール）は、少なくとも１つのバッテリと、有線および／または無線充電システムと、を備える。有線充電システムは、電源をロボットのバッテリに直接的に接続する接点プラグ（コンタクトプラグ）に基づく。一方、無線充電システムは、空気中において２点間でエネルギーを伝達するために、電磁気（無線信号、電磁波、または同等の事項）を使用することに基づいている。環境内には（複数の）固定された送信機が存在し、ロボットシステムの電源モジュールは、内蔵型の受信機を含む。受信機が送信機の近くに存在している場合（必ずしも接触している必要はない）、エネルギーの伝達が生じる。このシステムは、高い汚染環境（例えば、産業）、および、ロボットが自律的に充電ステーションに接続されなければならないアプリケーションにおいて、物理的接続に対する利点を有する（位置精度が必ずしも要求されないので、接続処理を簡単化できる）。送信機および受信機は、本質的には、コイルによって構成される。当該コイルの送信機側では、可変電場を発生させる時間内に、可変電流によって給電される。受信機側からは、発生した磁場に基づく励起によって、コイルに発生した電流が使用される。

【0055】

また、電源モジュールには、送信機を制御し、かつ、ロボットシステムの側の電荷の監視を制御するための処理能力（処理性能）が付与される。電源モジュールは、システムの他のモジュール、特に監視モジュールおよび中央処理モジュールと相互接続される。全てのモジュール間のこの対話によれば、例えば、ロボットシステムは、任意の時点において有する充電（electric charge）のレベルについての認識を有することができる。その結果、必要なときはいつでも、当該ロボットシステムを自律的に充電ベースに導くことができる。

【0056】

［移動モジュール］
移動モジュールは、ロボットを移動（変位）させる役割を担う。上述のように、当該移動モジュールは、３つのベクトル、すなわち、速度、方向（direction）、および方位（orientation）に従って、後の情報から受信する中央処理モジュールと通信する。処理ユニット内のソフトウェアレベルにおいて生成される抽象化層は、それぞれのハードウェア変更によって、すなわち、差動ステアリング、アッカーマンステアリング（ackermann steering）、および全方向ステアリング（omnidirectional steering）によって、異なる種類のステアリングシステムを適合させることを可能にする。

【0057】

［図面の簡単な説明］
本出願のより良い理解のために、好ましい実施形態を表す図が本明細書に添付されている。但し、これらの図は本明細書に開示されている技術を限定することを意図するものではない。

【0058】

図１は、開発されたロボットシステムを含む異なるブロックと、当該異なるブロック間に確立される対話とを示す。

【0059】

図２は、ロボットシステムの特定の実施形態を示す。当該実施形態は、リテールエリアにおいてユーザを支援するアプリケーションシナリオに特に適合されている。

【0060】

［実施形態の説明］
図面を参照して、複数の実施形態をより詳細に説明する。但し、これらの実施形態は、本出願の範囲を限定することを意図するものではない。

【0061】

本明細書にて開示されている自律型ロボットシステムの特定の実施形態は、リテールエリアでのアプリケーションシナリオを対象とする。アプリケーションコンテキストを規定する目的および特定性を考慮に入れると、選択された製品を運ぶユーザにロボットシステムが追従（後続）できるように、当該ロボットシステムには、積載能力を有するスケール（秤）と物理的サポート（物理的支持体）とが設けられている。次いで、コマーシャル（商業）エリア内のナビゲーションは、ユーザの追跡に従って規定されるであろう。その上、ロボットシステムが位置するエリアに応じて、当該ロボットシステムは、特別なプロモーション（宣伝）について、または、上記特定のエリアで入手可能な（アクセス可能な）特別な製品について、ユーザに通知することによって、ユーザと対話することができる。あるいは、ロボットシステムのナビゲーションは、周囲の環境に計画的に配置された個別のマーカーの識別および解釈から実行されてもよい。経路（corridor）の幾何学的特性に応じて、ロボットシステムは、移動モジュールにおいて全方向ステアリングシステムを統合してもよい。これにより、ロボットがより狭い空間において、より滑らかに移動することが可能となる。このシナリオでは、移動モジュールは、複数のより小さな車輪（ホイール）から構成される全方向車輪を備える。これらの車輪は、主車輪軸に垂直な軸を有する。これにより、車輪が特定の方向において摩擦係合することを可能にするとともに、他の方向への運動に対する抵抗をもたらさない。

【0062】

この特定の実施形態では、ロボットシステムの対話モジュールがナビゲートするコマーシャルエリアのマップ、特定の製品、プロモーション、および／またはユーザに関連する好ましいデータに関する情報をダウンロードするために、当該ロボットシステムは、モニタまたはサウンドスピーカーを介して当該ユーザ（the latter）と対話しながらリテールエリアサーバにアクセスする。ロボットシステム－ユーザ－リテールエリアのデータサーバ間の、３者間のプレーン接続（three-plane connection）は、ユーザがロボット自体と対話することによって、（ｉ）ユーザ自身のショッピングリストをローカルに作成すること、または、（ｉｉ）ユーザ自身のモバイル（携帯）デバイスから、もしくはリテールエリアデータサーバから、ユーザ自身のショッピングリストを直接的にアップロードすることを可能にする。

【0063】

サービスの提供の枠組み内で、ロボットシステムは、自動支払い端末を備えていてもよい。当該自動支払い端末は、支払い行為をロボットによってサポート可能とするために、バーコードリーダおよび課金ソフトウェアを含んでいる。

【0064】

さらに、コマーシャルエリアまたは産業的環境内では、ロボットシステムが、知覚情報、グローバル位置、および画像処理アルゴリズムを統合して、欠落した製品（missing product）を識別し、当該製品を特定の位置に集荷（upload）することにより、在庫補充を支援することができる。

【0065】

同様のアプリケーションは、例えば、空港で、乗客追跡、複数の地点間におけるスーツケースおよび乗客の自律的な運搬、または情報サービスの提供のために、本明細書に示される自律型ロボットシステムに応じて設計（デザイン）されてよい。

【0066】

別のアプリケーションシナリオでは、ロボットシステムを車両（ビークル）に統合することができ、当該車両を自律化できる。それゆえ、自動駐車、（交通標識の認識に基づく）自律運転、または車両自体もしくは他の車両のセットの統合された方法（プラトーニング，隊列走行）での遠隔制御などの動作を、運転者の介入を必要とせずに実行させることが可能となる。この目的のために、車両の中央制御ユニットは、当該中央制御ユニットに接続されたロボットシステムの中央処理モジュールから高次のレベルの指令（位置、方位、および速度）を受信するように適合されている。システムの残りのモジュール（すなわち、知覚モジュール、監視モジュール、および対話モジュール）もまた、車両への統合のために調整される。移動モジュールおよび電源モジュールは、車両自体のモジュールであり、ロボットシステムの中央処理モジュールによって統合および制御される。これに関連して、外部エージェントは、車両自体のドライバ（駆動部）またはたデータサーバであると考えることもできる。当該外部エージェントは、有用な道路情報を提供するロボットシステムと通信するように、または、モバイルアプリケーションを介して車両自体もしくは車両のセットの動作を制御するように構成されている。本例ではドライバの識別も可能であり、追跡動作の場合、現在開発されているロボットシステムを備えた車両は、（例えば）別の車両を追跡するようにプログラムされてよい。この場合、知覚システムによって別の車両の位置が検出される。

【0067】

当然ながら、本説明は、本明細書に示される実施形態に何ら限定されず、当業者は、特許請求の範囲に規定される一般的な概念から逸脱することなく、当該実施形態を変更する多くの可能性を提供することができる。上述の好ましい実施形態が互いに組み合わせ可能であることは、明らかである。以下の特許請求の範囲は、好ましい実施形態をさらに規定する。

【図面の簡単な説明】

【0068】

【図1】開発されたロボットシステムを含む異なるブロックと、当該異なるブロック間に確立される対話とを示す。

【図2】リテールエリアにおいてユーザを支援するアプリケーションシナリオに特に適合されている、ロボットシステムの特定の実施形態を示す。

【図1】

【図2】