特開 2019-109872 人工知能に基づくロボット、及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-109872(P2019-109872A)

(43)【公開日】2019年7月4日

(54)【発明の名称】人工知能に基づくロボット、及びその制御方法

(51)【国際特許分類】

   G05D 1/02 20060101AFI20190614BHJP

【ＦＩ】

   G05D1/02 H

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

【全頁数】10

(21)【出願番号】特願2018-12716(P2018-12716)

(22)【出願日】2018年1月29日

(31)【優先権主張番号】15/846,127

(32)【優先日】2017年12月18日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】517195273

【氏名又は名称】ボット３，インコーポレイテッド

【氏名又は名称原語表記】Ｂｏｔ３， ＩＮＣ．

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】チー−ミン ファン

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA01

5H301BB14

5H301CC03

5H301CC06

5H301CC10

5H301GG07

5H301GG09

(57)【要約】      （修正有）

【課題】インタラクション・サービス効果を向上させて、使用者に更に良いサービス経験を提供する。
【解決手段】画像信号及び／又は音声信号を受取るように配置される受取モジュールと、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、当該ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、制御信号を送信して、部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、モータの運転を制御して、当該ロボットが使用者の意図を実行させるように配置される移動モジュールと、を含むロボットを開示している。
【選択図】図４

【特許請求の範囲】

【請求項1】

ロボットが位置する画像信号及び／又は音声信号を受取るように配置される受取モジュールと、
前記受取モジュールにカップリングされて、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、
前記ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、
前記受取モジュールと前記ＡＩモジュールにカップリングされて、使用者の意図に基づいて、移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、
前記プロセッサモジュールにカップリングされて、制御信号を送信して、使用者の意図により、部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、
前記制御信号により、モータの運転を制御して、当該ロボットが使用者の意図を実行させる移動モジュールと、
を含む人工知能に基づくロボット。

【請求項2】

前記受取モジュールは前記ロボットの頂上に設けられ、天井画像を取り込むように配置される請求項１に記載のロボット。

【請求項3】

前記センサーモジュールは、障害物から前記ロボットの両側までの距離を感知するように配置される赤外線測距センサーと、前記ロボットの高度変化を感知して、前記高度変化による前記ロボットの落下を防止するように配置される赤外線崖センサーと、を含む請求項１に記載のロボット。

【請求項4】

前記プロセッサモジュールは画像信号と位置信号に基づいて、前記ロボットが第１位置から第２位置までの経路を計画するように配置される請求項１に記載のロボット。

【請求項5】

前記移動モジュールは低速度モーション、高速度モーションと往復モーションを行う請求項１に記載のロボット。

【請求項6】

使用者の意図を確定する前に、前記ＡＩモジュールはフロアの材料、部屋のタイプと家具を識別する請求項１に記載のロボット。

【請求項7】

フロアの材料がカーペットである場合、前記ロボットは低速度で前記移動モジュールを駆動させて、並びに清掃吸引力を向上させる請求項６に記載のロボット。

【請求項8】

使用者の意図を確定する前に、前記ＡＩモジュールは音声信号を識別して、前記音声信号と自然言語とをマッチングさせる請求項１に記載のロボット。

【請求項9】

受取モジュールにより使用者が入力した画像信号及び／又は音声信号を受取る工程と、
AIモジュールにより前記画像信号及び／又は音声信号に基づく使用者の意図を確定する工程と、
センサーモジュールによりロボットの一部から障害物や地面までの距離を示す位置情報を取り込む工程と、
プロセッサモジュールにより、使用者の意図に基づいて、移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行う工程と、
制御モジュールにより、使用者の意図に基づいて、制御信号を送信して、部屋にいるロボットを経路に沿って移動させるように制御する工程と、
移動モジュールにより、制御信号でモータの運転を制御して、当該ロボットを駆動させて、使用者の意図を実現させる工程と、
を含むロボットの制御方法。

【請求項10】

使用者の意図を確定する前に、フロアの材料、部屋のタイプと家具を識別する請求項９に記載のロボットの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット制御分野、特にホーム・インタラクション・サービスを提供できる人工知能に基づくロボット、及びその操作方法に関する。

【背景技術】

【0002】

スマートデバイスの普及に伴い、移動ロボットは、例えば物流、ホームケアなど様々な面で一般的になっている。人工知能（ＡＩ、Artificial Intelligence）とは、コンピューターサイエンス、モダンツールで、人間の思考と行為を模倣する技術である。ＡＩ技術の発展に伴い、生活の各方面に用いられている。しかし、ＡＩ技術を備える当該移動ロボットには、当該ロボットが位置する空間の構成やレイアウトに基づく移動経路を正す能力が足りない。従って、ＡＩ技術を備えるロボットを開発して、インタラクション・サービス効果を向上させて、使用者に更に良いサービス経験を提供する必要がある。

【発明の概要】

【0003】

本発明は、前記ロボットが位置する画像信号及び／又は音声信号を受取るように配置される受取モジュールと、前記受取モジュールにカップリングされて、前記画像信号及び／又は音声信号に基づいて、使用者の意図を確定するように配置されるＡＩモジュールと、当該ロボットの一部から障害物や地面までの距離を示す位置情報を取り込むように配置されるセンサーモジュールと、前記受取モジュールと前記ＡＩモジュールにカップリングされて、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行うように配置されるプロセッサモジュールと、前記プロセッサモジュールにカップリングされて、制御信号を送信して、使用者の意図により部屋にいるロボットの経路に沿った移動を制御するように配置される制御モジュールと、前記制御信号により、モータの運転を制御して、当該ロボットが使用者の意図を実行させるように配置される移動モジュールと、を含むロボットを開示している。

【0004】

本発明は、受取モジュールにより使用者が入力した画像信号及び／又は音声信号を受取る工程；AIモジュールにより前記画像信号及び／又は音声信号に基づく使用者の意図を確定する工程；センサーモジュールにより前記ロボットの一部から障害物や地面までの距離を示す位置情報を取り込む工程；プロセッサモジュールにより、使用者の意図に基づいて、当該移動ロボットが位置する部屋の地図を描いて、当該部屋の地図により、測位、ナビゲーションと経路計画を行う工程；制御モジュールにより、使用者の意図に基づいて、制御信号を送信して、部屋にいるロボットの経路に沿った移動を制御する工程；移動モジュールにより、モータの運転を制御して、前記制御信号により当該ロボットが使用者の意図を実行させる工程、を含むロボットの制御方法も提供する。

【0005】

本発明において、前記ロボットとその操作方法が、ホーム・インタラクション・サービスを提供できるのは有利である。

【図面の簡単な説明】

【0006】

【図1】本発明の一つの実施形態に係る人工知能技術に基づくロボットのブロック図を示す。

【0007】

【図2】本発明の一つの実施形態に係る人工知能技術に基づくロボットのプロセッサモジュールのブロック図を示す。

【0008】

【図3】本発明の一つの実施形態に係る人工知能技術に基づくロボットのＡＩモジュールのブロック図を示す。

【0009】

【図4】本発明の一つの実施形態により人工知能技術に基づくロボットの制御方法のフローチャートを示す。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を詳細に述べる。これらの実施形態により、本発明を説明するが、本発明をこれらの実施形態に限定しようとするわけではないと理解されるべきである。逆に、本発明は、本発明の精神及び範囲内に含まれ得る代替物、修正物及び均等物を含む旨とする。

【0011】

更に、本発明の以下の詳細な説明では、本発明の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかし、当業者は、これらの具体的な詳細がなくても、本発明を実施することができると認識する。本発明の実施形態を不必要に分かりにくくさせないために、別の実施形態では、熟知されている方法、手順、構成要素と回路は詳細に記載されていない。

【0012】

本開示は人工知能に基づく視覚ナビゲーション機能付きのロボットを提供しようとする。障害物（出会うと、当該ロボットが部屋での進行が阻まれる）を避けるために、センサーとマッピング機能の組み合わせで、本発明の実施形態のロボットは部屋を渡ることができる。

【0013】

図１は本発明の一つの実施形態に係る人工知能技術に基づくロボット１００のブロック図を示す。図１に示されるように、前記ロボット１００は受取モジュール１０１、プロセッサモジュール１０２、センサーモジュール１０３、制御モジュール１０４、補助モジュール１０５、移動モジュール１０６とＡＩ（Artificial Intelligence、以下はＡＩモジュールとする）モジュール１０７を含む。ここに記載の各モジュールは、コンピューティングデバイス（例えば、構造：ハードウェア、非一次的なコンピュータ可読媒体、ファームウェア）を含み得るロジックにより実施されてもよい。別の例として、前記ロジックは、例えば、ここに記載の動作を行うようにプログラムされたＡＳＩＣとして配置されてもよい。別の代替する実施形態により、前記ロジックは、コンピューター・プロセッサに示される、記憶されたコンピュータ実行可能命令として、一時的にメモリに記憶されてから、コンピューター・プロセッサに実行されるデータとして、配置されてもよい。

【0014】

一つの実施形態において、ロボット１００の前記受取モジュール１０１（例えば、画像収集ユニット及び／又は音声収集ユニット）は、周りの地図の構築に用いる周りの画像（画像信号とも呼ばれる。例えば、天井画像及び／又は前記ロボット１００の前方の画像）を取り込むように配置されてもよい。使用者又は周りから収集された音声信号は使用者の意図を確定するように配置されてもよい。前記受取モジュール１０１の前記画像収集ユニットは少なくとも、例えば、前方カメラ、頂上カメラを含む、１つのカメラを含むように配置されている。例えば、前記センサーモジュール１０３は測距センサー及び／又は崖センサーの少なくとも１つを含み、前記ロボット１００に関わる位置情報（例えば、障害物と地面からの距離）を取り込む制御回路を含んでも含まなくてもよいように配置される。前記センサーモジュール１０３は、ジャイロスコープ、赤外線センサー又は障害物の存在、ロボットの方向及び／又は回転の変化、及び他のロボット１００のナビゲーションに関わる特徴を感知するその他の適するタイプのセンサーを任意に含んでも良い。

【0015】

前記受取モジュール１０１と前記センサーモジュール１０３に取り込まれたデータにより、前記プロセッサモジュール１０２は、前記ロボットの部屋の地図を描いて、前記ロボットの現在の位置を記憶して、特徴点の座標及びそれに関わる描述情報を記憶して、測位、ナビゲーションと経路計画を行うことができる。例えば、前記プロセッサモジュール１０２は、ロボットに第１位置から第２位置までの経路を計画する。前記プロセッサモジュール１０２にカップリングされた前記制御モジュール１０４（例えば、マイクロ・コントローラーＭＣＵ）は制御信号を送信して、前記ロボット１００の移動を制御するように配置されてもよい。前記移動モジュール１０６は前記制御信号に従って移動するように配置される駆動モータ付きの駆動輪（例えば、キャスターと駆動輪）であってもよい。前記補助モジュール１０５は、使用者の命令により補助機能を提供する外部装置、例えば、トレーとＵＳＢインターフェースであってもよい（図１に示さず）。前記受取モジュール１０１とプロセッサモジュール１０２にカップリングされた前記ＡＩモジュール１０７は前記受取モジュール１０１に受取られた画像信号をマッチングさせて、テンソルフロー（tensorflow）ＡＩモジュールに基づいてモデルをトレーニングして、目標物のタイプを識別するように配置されてもよい。また、前記音声信号と記憶されたデータ命令とをマッチングさせて、命令信号を得て、当該命令信号が前記プロセッサモジュール１０２に送信されて、処理される。

【0016】

前記ロボット５００の移動方向と前記ロボット１００に期待される機能について、使用者１１０は命令を出すことができる。音声命令を含むが、これに限定されない。

【0017】

図２は本発明の一つの実施形態に係る前記ロボット１００における前記プロセッサモジュール１０２のブロック図を示す。図１の説明を組み合わせて図２を理解してもよい。図２に示されるように、前記プロセッサモジュール１０２は地図描画ユニット２１０、記憶ユニット２１２、計算ユニット２１４、経路計画ユニット２１６を含む。

【0018】

前記受取モジュール１０１（図１に示されるように）に取り込まれた画像信号により、前記ロボット１００の部屋の地図（特徴点と障害物などの情報を含む）を描くために、前記地図描画ユニット２１０は前記画像信号、プロセッサモジュール１０２又はそれらの組合せの一部として配置されてもよい。前記画像信号は、前記部屋の地図を描くために、前記地図描画ユニット２１０に任意に組み合わされてもよい。別の実施形態により、縁検出は前記受取モジュール１０１に取り込まれた画像信号から、障害物、基準点及び別の特徴を抽出して前記部屋の地図を描くために任意に行われてもよい。

【0019】

前記記憶ユニット２１２は前記地図描画ユニット２１０に描かれた部屋の地図における前記ロボットの現在の位置、特徴点の画像座標、及び特徴描述を記憶する。例えば、特徴描述はＯＲＢ（oriented fast and rotated brief）特徴点感知方法を使うことにより、特徴点の多次元的な描述を含み得る。

【0020】

前記計算ユニット２１４は前記記憶ユニットから特徴描述を抽出して、当該抽出された特徴描述と前記ロボットの現在の位置の特徴描述とをマッチングさせて、前記ロボット１００の確実な位置を計算する。

【0021】

前記経路計画ユニット２１６は現在の位置を前記ロボット１００の開始点にして、部屋の地図と目的地を参照して、前記ロボット１００の開始点に対する移動経路を計画する。

【0022】

図３は、本発明の一つの実施形態に係る人工知能技術に基づくロボットのＡＩモジュールのブロック図を示す。図３は図１の説明と組み合わせて理解されてもよい。図３に示されるように、前記ＡＩモジュール１０７は識別ユニット３１２、マッチングユニット３１４と記憶ユニット３１６を含む。

【0023】

前記識別ユニット３１２は、画像信号、例えば、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を識別するように配置されてもよい。具体的には、前記識別ユニット３１２は画像信号を使って、モデルをトレーニングして、トレーニングモデルを記憶することができる。前記マッチングユニット３１４は、前記画像信号と前記ロボットにおける前記トレーニングモデルとをマッチングさせて、前記画像信号に基づいて、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を確定するように配置されてもよいが、前記決定に限定されない。

【0024】

一つの実施形態において、前記受取モジュール１０１に受取られた前記画像信号はトレーニングモデルとして、その中に前記ＡＩモジュールに記憶されてもよい。所定時間内に、前記ＡＩモジュール１０７は、前記記憶された画像トレーニングモデル（前記画像信号により最適化された）に基づく識別能力を向上させることができる。一つの実施形態において、前記画像トレーニングモデルはローカル記憶ユニット又はクラウドに記憶される。

【0025】

更に、前記識別ユニット３１２は前記受取モジュール１０１に取り込まれた音声信号を識別するように配置されてもよい。一つの実施形態において、前記ロボットにおける音声収集ユニット、例えば、マイクロフォンは、前記ロボットの周りの音声信号、例えば、使用者の命令又は突然の音声信号などを取り込むように配置されてもよい。別の実施形態において、使用者の前記音声信号はマイクロフォンにより取り込まれる。前記マッチングユニット３１４は音声信号とローカル又はクラウドにおける自然言語とローカル音声トレーニングモデルをマッチングさせて、前記音声信号の意図を抽出するように配置されてもよい。前記マイクロフォンに取り込まれた前記音声信号は、音声トレーニングモデルとして、前記ＡＩモジュール１０７に記憶されてもよい。所定時間内に、前記ＡＩモジュール１０７は、記憶された音声トレーニングモデル（前記画像信号により最適化された）に基づく前記音声信号の識別機能を向上させることができる。一つの実施形態において、前記音声トレーニングモデルはローカル記憶ユニット又はクラウドに記憶される。

【0026】

前記記憶ユニット３１６は、以上に記載の画像トレーニングモデル、音声トレーニングモデル、画像信号と音声信号を記憶するように配置されてもよい。

【0027】

図４は、本発明の一つの実施形態により、人工知能技術に基づくロボットの制御方法４００のフローチャートを示す。図４は図１-３の説明を組み合わせて理解されてもよい。図３に示されるように、前記ロボット１００の前記制御方法４００は、以下のステップを含んでも良い。

【0028】

ステップ４０２：前記ロボット１００は画像信号及び／又は音声信号を受け取る。具体的には、前記ロボット１００における前記受取モジュール１０１はカメラとマイクロフォンのそれぞれで画像信号と音声信号を収集する。

【0029】

ステップ４０４：前記画像信号及び／又は音声信号に基づいて、前記ロボット１００は使用者の意図を確定する。具体的には、前記ロボット１００の前記ＡＩモジュール１０７は前記画像信号及び／又は音声信号を分析、処理して、使用者の意図を確定する。前記ＡＩモジュール１０７は画像信号及び／又は音声信号の一方又は画像信号及び／又は音声信号の組合せを分析、処理することができると説明すべきである。

【0030】

ステップ４０６：前記ロボット１００は前記使用者の意図を実行させる。

【0031】

一つの実施形態において、使用者は前記音声信号を通じて、前記ロボット１００に、フロアを掃除すると指示する。前記ロボット１００の前記受取モジュール１０１が前記画像信号を取り込むと同時に、前記ＡＩモジュール１０７は、前記画像信号に基づいて、フロアの材料、家具、部屋のタイプ、部屋に貯蔵の物体を識別して、部屋を掃除するプランを立てる。例えば、フロアの材料がカーペット又は類似物である場合、前記ロボット１００は前記移動モジュール１０６を低速度で駆動させて、清掃吸引力を向上させる。前記プロセッサモジュール１０２と前記制御モジュール１０４の組合せで前記移動モジュール１０６を駆動して、具体的な掃除プランを実行させる。低速度モーション、高速度モーション又は往復モーションで前記移動モジュールを駆動してもよい。例えば、フロアが汚れた場合、前記ロボットが駆動速度を落とす或は清掃吸引力を向上させる。

【0032】

別の実施形態において、前記音声信号を通じて、使用者は前記ロボット１００を指定区域、例えば、台所又は寝室へ行くように指示する。同時に、前記ＡＩモジュール１０７は音声信号を抽出して、処理して、処理された音声信号を前記プロセッサモジュール１０７に送信する。前記ＡＩモジュール１０２の前記経路計画ユニット２１６は指定区域への経路を計画する。さらに具体的には、前記制御モジュール１０４は前記計画経路により、制御信号を送信して、前記移動モジュール１０６を前記指定区域へ駆動させる。

【0033】

本発明において、人工知能とその制御方法に基づく前記ロボットがホーム・インタラクション・サービスを提供できるのは有利である。

【0034】

本発明の前記ロボット１００について、先の出願、即ちUS出願番号15/487,461に記載の掃除ロボットであってもよい。又は先の出願、即ちUS出願番号15/592,509に記載の携帯型移動ロボットであってもよい。

【0035】

以上の説明及び図面は、本発明の実施形態を示すものであるが、本発明の精神及び範囲から逸脱しない限り、さまざまな追加、変更及び置き換えが可能であることが理解できる。当業者であれば、本発明は形態、構造、配置、比率、材料、素子と構成要素の多くの変更（本発明の原則から逸脱することなく、特に特定の環境と操作上の必要に適合する）を使用することができて、また本発明の実践に使用することができると理解する。従って、ここに開示されている実施形態は、全ての点において、限定的なものではなくて、例示的なものであり、以上の説明を限定していないと考えるべきである。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】

2019109872000001.pdf