IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アクチエボラゲット エレクトロルックスの特許一覧

特許7035300ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品
<図1>
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図1
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図2a
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図2b
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図3a
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図3b
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図4
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図5
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図6
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図7
  • 特許-ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-07
(45)【発行日】2022-03-15
(54)【発明の名称】ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品
(51)【国際特許分類】
   G01S 17/93 20200101AFI20220308BHJP
   G01S 17/46 20060101ALI20220308BHJP
   A47L 9/28 20060101ALI20220308BHJP
   G01B 11/22 20060101ALI20220308BHJP
   G05D 1/02 20200101ALI20220308BHJP
【FI】
G01S17/93
G01S17/46
A47L9/28 E
G01B11/22 H
G05D1/02 K
【請求項の数】 16
(21)【出願番号】P 2018537617
(86)(22)【出願日】2016-03-15
(65)【公表番号】
(43)【公表日】2019-04-25
(86)【国際出願番号】 EP2016055547
(87)【国際公開番号】W WO2017157421
(87)【国際公開日】2017-09-21
【審査請求日】2019-01-10
(73)【特許権者】
【識別番号】516124465
【氏名又は名称】アクチエボラゲット エレクトロルックス
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】ヘーゲルマルク、アンデルス
(72)【発明者】
【氏名】フォルスベルグ、ペッテル
(72)【発明者】
【氏名】リンデ、マグヌス
【審査官】山下 雅人
(56)【参考文献】
【文献】特表2015-534048(JP,A)
【文献】特開2003-116758(JP,A)
【文献】米国特許出願公開第2015/0120056(US,A1)
【文献】米国特許出願公開第2005/0065662(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S17/00-17/95
A47L 9/22- 9/32
G01D 1/02
G01C 3/06- 3/08
(57)【特許請求の範囲】
【請求項1】
ロボット清掃デバイスのための、前記ロボット清掃デバイスが移動する表面に沿って断崖検出を遂行する方法であって、
前記表面を少なくとも1つの鉛直ラインレーザで照明することと、
前記少なくとも1つの鉛直ラインレーザで照明された前記表面について1つの画像を取り込むことと、
前記取り込まれた画像内の少なくとも1つの照明された区分を検出することと、
前記取り込まれた画像の前記少なくとも1つの照明された区分内で距離を決定することと、
前記決定された距離のうちの少なくとも2つを比較することと、
前記少なくとも2つの比較された決定された距離の間の関係が所定の増大基準に適合している場合には、前記取り込まれた画像内の物体を断崖として検出することと、
を含み、
前記取り込まれた画像内の少なくとも1つの照明された区分を検出する前記ステップが、前記取り込まれた画像内で、前記少なくとも1つの鉛直ラインレーザに対応するレーザ線を検出することを含み、
前記取り込まれた画像の前記少なくとも1つの照明された区分内の距離を決定する前記ステップが、検出された前記レーザ線に沿った複数の特徴点の各対の間の距離を取得することを含む、
方法。
【請求項2】
前記所定の増大基準が、前記少なくとも2つの比較された決定された距離の差が所定の閾値を超えることである、請求項1に記載の方法。
【請求項3】
前記取り込まれた画像の検出された物体から前記ロボット清掃デバイスの周囲状況の表現を作成することと、
前記検出された断崖の指示を前記作成された表現に追加することと、
をさらに含む、請求項1または2に記載の方法。
【請求項4】
前記検出された断崖を考慮することによって横断されるべき清掃経路を計画することをさらに含む、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記取り込まれた画像内の少なくとも1つの照明された区分を検出する前記ステップが、
前記取り込まれた画像内の前記少なくとも1つの照明された区分内に不連続が生じ、前記検出された不連続の向こう側では、前記少なくとも1つの照明された区分は前記画像内に生じないことを検出することをさらに含み、
前記取り込まれた画像の前記少なくとも1つの照明された区分内の距離を決定する前記ステップが、
前記不連続の前に決定される距離に値を付与し、それにより、前記付与された値が、十分に大きい増大を反映するようにすることをさらに含む、
請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記取り込まれた画像の前記少なくとも1つの照明された区分内の距離を決定する前記ステップが、前記取り込まれた画像の前記少なくとも1つの照明された区分内での前記物体までの距離を決定することを更に含み、
前記取り込まれた画像の前記少なくとも1つの照明された区分内での前記物体までの距離を決定する前記ステップは、前記ロボット清掃デバイスから近い順に、複数の前記決定された距離の中から急激な変化が検出されないものを累積することを含む、
請求項1から5のいずれか一項に記載の方法。
【請求項7】
ロボット清掃デバイスであって、前記ロボット清掃デバイスは、
前記ロボット清掃デバイスを清掃対象表面上で移動させるように構成された推進システムと、
前記表面を少なくとも1つの鉛直ラインレーザで照明するように構成された少なくとも1つの光源と、
前記少なくとも1つの鉛直ラインレーザで照明された前記表面について1つの画像を取り込むように構成されたカメラデバイスと、
前記推進システムを、前記ロボット清掃デバイスを移動させるよう制御し、前記カメラデバイスを、前記画像を取り込むよう制御するように構成されたコントローラと、
を備え、前記コントローラは、
前記取り込まれた画像内の少なくとも1つの照明された区分を検出すること、
前記取り込まれた画像の前記少なくとも1つの照明された区分内で距離を決定すること、
前記決定された距離のうちの少なくとも2つを比較すること、および
前記少なくとも2つの比較された決定された距離の間の関係が所定の増大基準に適合している場合には、前記取り込まれた画像内の物体を断崖として検出すること、
を行うようにさらに構成され、
前記取り込まれた画像内の少なくとも1つの照明された区分を検出することが、前記取り込まれた画像内で、前記少なくとも1つの鉛直ラインレーザに対応するレーザ線を検出することを含み、
前記取り込まれた画像の前記少なくとも1つの照明された区分内の距離を決定することは、検出された前記レーザ線に沿った複数の特徴点の各対の間の距離を取得することを含む、
ロボット清掃デバイス。
【請求項8】
前記所定の増大基準が、前記少なくとも2つの比較された決定された距離の差が所定の閾値を超えることである、請求項7に記載のロボット清掃デバイス。
【請求項9】
前記コントローラが、
前記取り込まれた画像の検出された物体から前記ロボット清掃デバイスの周囲状況の表現を作成すること、および
前記検出された断崖の指示を前記作成された表現に追加すること、
を行うようにさらに構成される、請求項7または8に記載のロボット清掃デバイス。
【請求項10】
前記コントローラが、
前記検出された断崖を考慮することによって横断されるべき清掃経路を計画するようにさらに構成される、請求項7~9のいずれか一項に記載のロボット清掃デバイス。
【請求項11】
前記コントローラが、
前記取り込まれた画像内の少なくとも1つの照明された区分を検出する際に、
前記取り込まれた画像内の前記少なくとも1つの照明された区分内に不連続が生じ、前記検出された不連続の向こう側では、前記少なくとも1つの照明された区分は前記画像内に生じないことを検出すること、および
前記取り込まれた画像の前記少なくとも1つの照明された区分内の距離を決定する際に、
前記不連続の前に決定される距離に値を付与し、それにより、前記付与された値が、十分に大きい増大を反映するようにすること、
を行うようにさらに構成される、請求項7~10のいずれか一項に記載のロボット清掃デバイス。
【請求項12】
前記取り込まれた画像の前記少なくとも1つの照明された区分内の距離を決定することが、前記取り込まれた画像の前記少なくとも1つの照明された区分内での前記物体までの距離を決定することを更に含み、
前記取り込まれた画像の前記少なくとも1つの照明された区分内での前記物体までの距離を決定することが、前記ロボット清掃デバイスから近い順に、複数の前記決定された距離の中から急激な変化が検出されないものを累積することを含む、
請求項7~11のいずれか一項に記載のロボット清掃デバイス。
【請求項13】
前記少なくとも1つの光源が、
前記表面を照明するように配置された第1および第2の鉛直ラインレーザを含む、請求項7~12のいずれか一項に記載のロボット清掃デバイス。
【請求項14】
前記第1および第2の鉛直ラインレーザが、前記カメラデバイスの光軸と垂直である軸に沿った前記カメラデバイスのそれぞれの側に配置される、請求項13に記載のロボット清掃デバイス。
【請求項15】
コンピュータ実行可能命令が、デバイス内に含まれるコントローラ上で実行されると、前記デバイスに、請求項1~6のいずれか一項に記載の方法を遂行させるための前記コンピュータ実行可能命令を含むコンピュータプログラム。
【請求項16】
コンピュータ可読媒体を含むコンピュータプログラム製品であって、前記コンピュータ可読媒体は、その上に組み込まれた請求項15に記載のコンピュータプログラムを有する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボット清掃デバイス、およびロボット清掃デバイスにおける、ロボット清掃デバイスが移動する表面に沿って断崖検出を遂行する方法に関する。
【背景技術】
【0002】
多くの技術分野において、あり得る障害物と衝突することなく空間を自由に動き回ることができるよう、自律的挙動を有するロボットを用いることが望まれる。
【0003】
当技術分野においては、掃除機を、清掃対象表面を横切って移動させるためのモータの形態の駆動手段を装備した、ロボット真空掃除機が知られている。ロボット真空掃除機は、ロボット真空掃除機が、例えば、床の形態の表面を自由に動き回り、清掃することができるよう、自律的挙動を可能にするための、マイクロプロセッサの形態の知能、および進路誘導手段をさらに装備する。それゆえ、これらの従来技術のロボット真空掃除機は、テーブルおよび椅子などの物体、ならびに壁および階段などの他の障害物が配置された部屋を多かれ少なかれ自律的に真空掃除する能力を有する。
【0004】
遭遇する特に問題となる障害物は、典型的には、下の階へ通じる階段の形態の、断崖である。このような断崖がロボット掃除機によって検出されない場合には、ロボットが棚部から落ち、断崖から落下し、永久的に損傷を受けるリスクがある。
【0005】
国際公開第02/101477号は、表面の自律的清掃を遂行するためのロボット掃除機を開示している。ロボット掃除機は、ロボットの下面に配置され、ロボットが移動する床を観察するように仕向けられた反射赤外線(IR)近接断崖センサを装備する。これらの断崖センサはIRビームを放射し、ロボットが移動する表面から反射されたIRビームを検出し、断崖に遭遇すると、IRビームは反射されず、ロボットは、断崖に遭遇したと推論する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、このアプローチの問題は、ロボットが、断崖に遭遇した時に断崖を検出することであり、このため、ロボットが、表面を効果的に清掃するために辿られるべき清掃経路を前もって計画することが難しくなる。
【0007】
本発明の目的は、当技術分野におけるこの問題を解決するか、または少なくとも緩和し、ロボット清掃デバイスにおける、断崖検出を遂行する改善された方法を提供することである。
【課題を解決するための手段】
【0008】
この目的は、本発明の第1の態様において、ロボット清掃デバイスのための、ロボット清掃デバイスが移動する表面に沿って断崖検出を遂行する方法によって達成される。本方法は、表面を少なくとも1つの光源で照明することと、表面の画像を取り込むことと、取り込まれた画像内の少なくとも1つの照明された区分を検出することと、取り込まれた画像の少なくとも1つの照明された区分内の物体までの距離を決定することと、を含む。さらに、本方法は、決定された距離のうちの少なくとも2つを比較することと、少なくとも2つの比較された決定された距離の間の関係が所定の増大基準に適合している場合には、取り込まれた画像内の物体を断崖として検出することと、を含む。
【0009】
この目的は、本発明の第2の態様において、ロボット清掃デバイスであって、このロボット清掃デバイスは、ロボット清掃デバイスを清掃対象表面上で移動させるように構成された推進システムと、表面を照明するように構成された少なくとも1つの光源と、表面の画像を取り込むように構成されたカメラデバイスと、推進システムを、ロボット清掃デバイスを移動させるよう制御し、カメラデバイスを、画像を取り込むよう制御するように構成されたコントローラと、を備えるロボット清掃デバイスによって達成される。コントローラは、取り込まれた画像内の少なくとも1つの照明された区分を検出すること、取り込まれた画像の少なくとも1つの照明された区分内の物体までの距離を決定すること、決定された距離のうちの少なくとも2つを比較すること、および少なくとも2つの比較された決定された距離の間の関係が所定の増大基準に適合している場合には、取り込まれた画像内の物体を断崖として検出すること、を行うようにさらに構成されている。
【0010】
それゆえ、ロボット清掃デバイスは、ロボット清掃デバイスが移動する表面を照明する光源を用い、その一方で、ロボット清掃デバイスのカメラを用いて、照明された表面の画像を取り込む。画像内に取り込まれた照明された物体を検出することによって、ロボット清掃デバイスは、清掃動作を遂行するために表面を自律的に走行して回ることが可能である。
【0011】
ここで、例えば、階段が下の階へ通じる戸口に遭遇すると、光源の光の一部分は、床、および下方へ通じる階段を指示する棚部上に落ちることになり、その一方で、棚部の向こう側へ落ちる光の別の部分は、例えば、下の階へ通じる階段吹抜けの壁に当たることになる。これは、取り込まれた画像の(照明された表面に対応する)照明された区分内に不連続を生じさせることになる。
【0012】
ロボット清掃デバイスに、取り込まれた画像内で照明されている物体までの距離を決定させることによって、1つの検出された物体から別のものまでの距離が予想外に増大するかどうかが判定され得る。階段を指示する棚部では、取り込まれた画像の(物体が検出された)照明された区分が不連続になるため、ロボット清掃デバイスから、棚部の向こう側に存在する物体-例えば、階段吹抜けの壁-までの距離は、棚部またはその近くに位置する直前の物体-例えば、床-と比べて、急激に増大することになる。
【0013】
距離を比較し、少なくとも2つの比較された決定された距離の間の関係が、棚部の向こう側の物体までの距離の増大が、棚部に位置する物体までの距離に対して十分に大きいことを規定する所定の増大基準に適合していると結論することによって、断崖が検出されたと有利に結論することができる。
【0014】
有利に、この断崖は、ロボットデバイスが棚部に遭遇するよりかなり前に検出される。
【0015】
一実施形態では、2つ以上の距離を比較する際、例えば、第1の距離d3を第2の距離d4と比較する際に、所定の閾値Tが、距離の増大が十分に大きいかどうかを判定するために利用され得る。それゆえ、少なくとも2つの比較された決定された距離d4、d3の間の関係が所定の増大基準に適合している場合には、増大は十分に大きいと見なされる。
【0016】
さらなる実施形態では、所定の増大基準は、少なくとも2つの比較された決定された距離の差が所定の閾値を超えることである。例えば、Δ=d4-d3≧Tであるかどうかが判定され得る。ここで、閾値Tは適切に選択される。そうである場合には、距離の増大は十分に大きいと見なされ、それゆえ、断崖が有利に検出された。
【0017】
代替的実施形態では、距離の増大が十分に大きいと結論するために、d4/d3≧Tであるかどうかが判定され得る。さらなる代替例では、d3/d4≦Tであるかどうかが判定され得る。距離の増大Δが十分に大きいかどうかを判定する他の代替例も想定することができる。
【0018】
別の実施形態では、ロボット清掃デバイスの周囲状況の表現が、取り込まれた画像の検出された物体から作成され、検出された断崖の指示が、作成された表現に追加される。
【0019】
この目的を達成するために、コントローラは、記録された画像の検出された物体から清掃対象表面に対するロボット清掃デバイスの位置データ、および関連する決定された距離を導出し、導出された位置データから周囲状況の3D表現を生成し、ロボット清掃デバイスを、生成された3D表現と、生成された3D表現を考慮することによって清掃対象表面が自律的に進路誘導され得るよう、ロボット清掃デバイスに供給された進路誘導情報とに従って、清掃対象表面を横切って移動するように制御する。
【0020】
それゆえ、カメラによって記録された画像から生成された3D表現は、ロボット清掃デバイスが避けて走行しなければならない、壁、フロアランプ、テーブル脚、ならびにロボット清掃デバイスが横断しなければならない、ラグ、じゅうたん、上り段などの形態の障害物の検出を促進する。それゆえ、ロボット清掃デバイスは、動作/清掃によってその環境または周囲状況について学習するように構成されている。
【0021】
ロボット清掃デバイスは、本実施形態では、検出された断崖の指示を、ロボット清掃デバイスの周囲状況の作成された表現に有利に追加することになる。
【0022】
さらに別の実施形態では、ロボット清掃デバイスは、検出された断崖を考慮することによって横断されるべき清掃経路を計画する。
【0023】
それゆえ、作成された表現に断崖の指示を追加することによって、ロボット清掃デバイスが、横断されるべき清掃経路を十分前もって計画し、さらに、断崖がロボット清掃デバイスの周囲状況の表現内に含まれるため、断崖の棚部の間近まで接近し、それに沿って移動することが有利に可能になる。
【0024】
さらに、断崖に接近する直前に断崖を検出し、したがって、断崖に落下するリスクを低減するためにゆっくりとした速さで移動する必要がある従来技術の断崖検出器とは対照的に、本発明は、ロボット清掃デバイスが、断崖がどこに位置するのかを前もって正確に知り、それに応じて、作成された表現に、および断崖の指示を追加するため、比較的高速で断崖に接近することを有利に促進する。
【0025】
さらに別の実施形態では、取り込まれた画像内の少なくとも1つの照明された区分を検出する際に、ロボット清掃デバイスは、取り込まれた画像の照明された区分内に不連続が生じ、検出された不連続の向こう側では、照明された区分は画像内に生じないことをさらに検出する。さらに、本実施形態では、取り込まれた画像の照明された区分内の物体までの距離を決定すると、不連続の前に決定される距離に値が付与され、それにより、付与された値が、十分に大きい増大を反映するようにする。
【0026】
それゆえ、レーザビームが、上述の例示された階段吹抜け内にどのように落ちるのかに依存して、階段吹抜けの棚部の向こう側の照明された区分が画像内に全く存在しなくなることが想定され得る。これは、断崖が存在することを指示し、本実施形態は断崖を有利に検出することになる。
【0027】
以下において、本発明の好ましい実施形態が説明される。
【0028】
概して、請求項において使用される全ての用語は、本明細書において別途明示的に定義されない限り、当技術分野におけるそれらの通常の意味に従って解釈されるべきである。「a/an/the element,apparatus,component,means,step,etc.(要素、装置、構成要素、手段、ステップなど)」への言及は全て、別途明示的に断りのない限り、要素、装置、構成要素、手段、ステップなどの少なくとも1つの例に言及するものとしてオープンに解釈される。本明細書において開示される任意の方法のステップは、明示的に断りのない限り、開示されている正確な順序で遂行される必要はない。
【0029】
次に、添付の図面を参照して本発明を例として説明する。
【図面の簡単な説明】
【0030】
図1図1は、本発明の一実施形態に係る、ロボット清掃デバイスが移動する表面上の物体の検出を示す。
図2a図2aは、一実施形態に係る、図1の位置P1にある時にロボットデバイスのカメラによって取り込まれた画像を示す。
図2b図2bは、一実施形態に係る、図1の位置P2にある時にロボットデバイスのカメラによって取り込まれた画像を示す。
図3a図3aは、一実施形態に係る、検出された物体を表現する特徴データが指示された、図2aの画像を示す。
図3b図3bは、一実施形態に係る、検出された物体を表現する特徴データが指示された、図2bの画像を示す。
図4図4は、一実施形態に係る、断崖を検出する方法のフローチャートを示す。
図5図5は、一実施形態に係る、さらなるシナリオにおける、検出された物体を表現する特徴データが指示された、図2bの画像を示す。
図6図6は、一実施形態に係る、断崖検出の結果としてのロボット清掃デバイスの移動を示す。
図7図7は、一実施形態に係るロボット清掃デバイスの図を示す。
図8図8は、一実施形態に係るロボット清掃デバイスのさらなる図を示す。
【発明を実施するための形態】
【0031】
次に、以下において、本発明の特定の諸実施形態が示された添付の図面を参照して、本発明をより完全に説明する。しかし、本発明は多くの異なる形態で具体化することができ、本明細書において説明されている諸実施形態に限定されるように解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的で完全になり、本発明の範囲を当業者に十分に伝えることになるよう、例として提供されている。本記載全体を通じて同様の番号は同様の要素を指す。
【0032】
本発明は、ロボット清掃デバイス、または換言すれば、表面を清掃するための自動自己推進式機械、例えば、ロボット真空掃除機、ロボットスイーパまたはロボット床洗浄機に関する。本発明に係るロボット清掃デバイスは、商用電源駆動式でコードを有するか、電池駆動式であるか、または任意の他の種類の好適なエネルギー源、例えば、太陽エネルギーを用いることができる。
【0033】
図1は、本発明の一実施形態に係る、ロボット清掃デバイスが移動する表面上の物体の検出を示す。
【0034】
この特定の例示的実施形態では、ロボットデバイス100は、ロボットデバイス100が移動する表面(すなわち、床31)を照明するために1つの鉛直ラインレーザ127を用いる。しかし、任意の適切な光源が、表面31を照明するために想定され得る。さらに、表面のより小さな、またはより大きな部分が照明されてもよい。
【0035】
図1において見ることができるように、ラインレーザ127はレーザビーム30aを清掃対象の部屋の床31および第1の壁32上に投影し、その一方で、ロボットデバイス100はそのカメラ123を用いて、照明された表面の画像を取り込む。
【0036】
図2aは、位置P1にある時にロボットデバイス100のカメラ123によって取り込まれた画像40aを示す。
【0037】
図から分かるように、レーザビーム30aは床31および壁32上に落ち、対応する照明された区分30a'を画像内に存在させることになる。床31が壁32と会する画像40a内の場所が例示目的のためのみに点線で指示されている。点線は、取り込まれた画像40a内には存在しない。取り込まれた画像40aから、ロボットデバイス100は、レーザビーム30aが、壁、ソファ、扉または同様のものなどの、障害物32に当たっていることを検出する。多数の画像を取り込むことによって、ロボットデバイス100は高い信頼性をもって特定の障害物32を識別する能力を有する。異なる種類の光源が用いられるであろう場合には、照明された区分が、取り込まれた画像全体を覆うことさえ想定され得る。図1に例示されるようにレーザビームを用いる利点は、ロボットデバイス100によって処理される必要のある画像データ量がより少なくてすむことである。
【0038】
次に、図1を再び参照すると、ロボット清掃デバイス100が位置P2内へ移動すると、ロボット清掃デバイス100は、階段が下の階へ通じる戸口33に遭遇する。この場合も先と同様に、ロボットデバイス100は、照明された表面の画像を取り込む。
【0039】
図2bは、位置P2にある時にロボットデバイス100のカメラ123によって取り込まれた画像40bを示す。
【0040】
この画像において、レーザビーム30bは、例示目的のために画像40b内において点線で指示される、床31および棚部34上に落ちることになる。さらに、棚部34の向こう側に落ちるレーザビーム30bの部分は、例えば、下の階へ通じる階段吹抜けの壁に入射することになり、これは、画像40bにおいて、レーザビームに対応する照明された区分30b'内の不連続として指示される。代替的に、レーザビーム30bが階段吹抜け内にどのように落ちるのかに依存して、棚部34の向こう側の照明された区分30b'は画像40b内に全く存在しなくなることが想定され得る。どちらにしても、照明された区分30b'は棚部34において不連続になる。
【0041】
それゆえ、従来技術の断崖検出器とは対照的に、投影されたレーザビームを表現する照明された区分30b'内の不連続が、棚部34に遭遇したことを指示するため、ロボット清掃デバイス100は、断崖の場所を指示する棚部34に実際に遭遇するよりも十分前もって断崖を検出する能力を有利に有する。
【0042】
この目的を達成するために、それぞれ図2aおよび図2bにおいて以前に示された画像40aおよび40bを示すが、さらに、検出された物体を表現する特徴データが画像内に指示された、図3aおよび図3bを参照する。図から分かるように、それぞれの画像40aおよび40b内の各々の検出された照明された区分30a'、30b'上に、画像内で検出された物体を表現する5つの特徴点FP1~FP5が示されている。
【0043】
それゆえ、まず図3aを参照すると、ロボットデバイス100のカメラ123は、図1の位置P1にある時に画像40aを取り込むよう制御される。この場合も先と同様に、レーザビーム30aは床31および壁32上に落ち、対応する照明された区分30a'を画像40a内に存在させることになる。
【0044】
図から分かるように、ロボットデバイス100は、画像40a内の検出されたレーザ線30a'に沿った特徴データ/点FP1~FP5によって表現されるとおりの物体までの距離を決定する。それゆえ、第1の特徴点FP1から第2の特徴点FP2まで、距離はd1であり、第2の特徴点FP2から第3の点FP3まで、距離はd2であり、第3の特徴点FP3から第4の点FP4まで、距離はd3である。図から分かるように、この特定の例では、特徴点の各対の間の距離d1、d2、d3はほぼ同じであり、距離の急激な変化は検出されない。それゆえ、ロボットデバイス100は、特徴点FP1~FP4は床31を表現していると結論することになる。
【0045】
さらに、ロボットデバイス100から第4の特徴点FP4までの距離、すなわち、累積された距離d1+d2+d3は、ロボットデバイス100から第5の特徴点FP5までの距離と大体同じである。それゆえ、FP4およびFP5が同じ平面内に位置するため、第5の特徴FP5は、ロボットデバイス100によって、床31から立ち上がる構造物の形態の物体を表現していると見なされることになる。すなわち、第4の特徴点FP4と第5の特徴点FP5との間の距離は事実上0である。(ロボットデバイス100から各々同じ距離上にある)照明された区分30a'に沿ったさらに多数の点を検出することによって、物体は、その検出された高さのゆえに、実は壁32であり、例えば、ソファまたは椅子ではないと結論され得る。
【0046】
次に、図3bを参照すると、ロボットデバイス100のカメラ123は、図1の位置P2にある時に画像40bを取り込むよう制御される。この場合も先と同様に、レーザビーム30bは床31、棚部34上に落ち、さらに、下の階壁32へ通じる階段の階段吹抜け内に落ち、対応する照明された区分30b'を画像40b内に存在させることになる。
【0047】
図3aを参照して説明されたシナリオと同様に、ロボットデバイス100は、画像40b内の検出されたレーザ線30bに沿った特徴データ/点FP1~FP5によって表現されるとおりの物体までの距離を決定する。それゆえ、第1の特徴点FP1から第2の特徴点FP2まで、距離はd1であり、第2の特徴点FP2から第3の点FP3まで、距離はd2であり、第3の特徴点FP3から第4の点FP4まで、距離はd3である。図から分かるように、この特定の例では、特徴点の各対の間の距離d1、d2、d3はほぼ同じであり、距離の急激な変化は検出されない。
【0048】
しかし、本実施形態では、照明された区分30b'は棚部34において不連続になっている。その結果、第4の特徴点FP4と第5の特徴点FP5との間の距離d4は、以前に決定された距離のうちの1つ以上と比べて増大する。第5の特徴点FP5までの距離d4の増大が、以前に決定された距離のうちの1つ以上と比べて十分に大きい場合には、特徴点FP5は断崖を表現すると見なされることになる。有利に、この断崖は、ロボットデバイス100が棚部34に遭遇するよりかなり前に検出される。
【0049】
一実施形態では、2つ以上の距離を比較する際、例えば、第3の距離d3を第4の距離d4と比較する際に、所定の閾値Tが、距離の増大が十分に大きいかどうかを判定するために利用され得る。それゆえ、少なくとも2つの比較された決定された距離d4、d3の間の関係が所定の増大基準に適合している場合には、増大は十分に大きいと見なされる。
【0050】
例えば、Δ=d4-d3≧Tであるかどうかが判定され得る。ここで、閾値Tは適切に選択される。そうである場合には、距離の増大は十分に大きいと見なされ、それゆえ、断崖が有利に検出された。
【0051】
代替的に、距離の増大が十分に大きいと結論するために、d4/d3≧Tであるかどうかが判定され得る。さらなる代替例では、d3/d4≦Tであるかどうかが判定され得る。距離の増大Δが十分に大きいかどうかを判定する他の代替例も想定することができる。
【0052】
図4は、一実施形態に係る、断崖を検出する方法のフローチャートを示す。ステップS101において、ロボットデバイス19は、ロボットデバイス100が移動する表面31を照明するために、光源、例えば、以前に説明されたとおりの鉛直ラインレーザ127(または任意の他の適切な光源)を用いる。
【0053】
ステップS102において、ロボットデバイス100はそのカメラ123を用いて、照明された表面の画像40a、40bを取り込む。
【0054】
レーザビーム30a、30bはそれぞれ床31/壁32および床31/戸口33上に落ち、対応する照明された区分30a'、30b'を画像40a、40b内に存在させることになる。この照明された区分はステップS103においてロボットデバイス100によって検出される。
【0055】
ステップS104において、ロボットデバイス100は、以上において図3bを参照して詳細に説明されたように、画像40b内の検出されたレーザ線30bに沿った特徴点FP1~FP5によって表現されるとおりの物体までの距離を決定する。
【0056】
その後、ステップS105において、画像40内の照明された物体までの決定された距離を比較し、比較された距離において十分に大きい増大Δが生じたかどうかを判定する。例えば、Δ=d4-d3≧Tであると決定されるかどうかである。ここで、閾値Tは、場合により、特定の適用および周囲状況に依存して、適切に選択される。
【0057】
ステップS106において、第5の特徴点FP5までの距離d4の増大が、第4の特徴点FP4までの距離d3と比べて十分に大きい場合には、特徴点FP5は断崖を表現すると見なされることになる。有利に、この断崖は、ロボットデバイス100が棚部34に遭遇するよりかなり前に検出される。
【0058】
図5を参照すると、さらなる実施形態では、レーザビーム30bが、それが画像40b内に取り込まれないような角度で階段室内に落ちる場合、すなわち、棚部34の向こう側に落ちるレーザビームの部分が、取り込まれた画像40bの外側に落ちる場合には、このようなレーザビーム30bに沿った任意の点までの距離は、無限であると見なされることになる(または実際には、大きな数値を与えられる)。
【0059】
それゆえ、画像40b内の検出された照明された区分30b'が不連続になり、且つ照明された区分30b'が不連続の後に生じなくなる場合には、不連続が生じる前に決定される距離に-例えば、距離d3に-値が付与され、それにより、付与された値が、断崖が有利に検出されるために十分に大きい増大Δを反映するようにする。
【0060】
さらなる実施形態では、カメラ123はマイクロプロセッサなどのコントローラによって、画像を取り込んで記録するように制御される。コントローラは、ロボット清掃デバイス100が清掃対象表面を横切って移動している間に、検出された物体を表現する画像から特徴点を抽出することによって、およびロボット清掃デバイス100からこれらの物体までの距離を測定することによって、画像から、ロボット清掃デバイス100が動作している周囲状況の表現またはレイアウトを作成する。それゆえ、コントローラは、記録された画像の検出された物体から清掃対象表面に対するロボット清掃デバイス100の位置データを導出し、導出された位置データから周囲状況の3D表現を生成し、駆動モータを、生成された3D表現と、生成された3D表現を考慮することによって清掃対象表面が自律的に進路誘導され得るよう、ロボット清掃デバイス100に供給された進路誘導情報とに従って、ロボット清掃デバイス100を、清掃対象表面を横切って移動させるように制御する。導出された位置データはロボット清掃デバイスの進路誘導のための基礎の役割を果たすことになるため、位置付けが正しいことが重要である。さもなければ、ロボットデバイスは、その周囲状況の、誤誘導を招く「地図」に従って走行することになる。
【0061】
それゆえ、カメラ123によって記録された画像から生成された3D表現は、ロボット清掃デバイスが避けて走行しなければならない、壁、フロアランプ、テーブル脚、ならびにロボット清掃デバイス100が横断しなければならない、ラグ、じゅうたん、上り段などの形態の障害物の検出を促進する。それゆえ、ロボット清掃デバイス100は、動作/清掃によってその環境または周囲状況について学習するように構成されている。
【0062】
ロボット清掃デバイス100は、検出された断崖の指示を、ロボット清掃デバイスの周囲状況の作成された表現に有利に追加することになる。それゆえ、作成された表現に棚部34の指示を追加することによって、ロボット清掃デバイスが、横断されるべき清掃経路を十分前もって計画し、さらに、棚部34がロボット清掃デバイス100の周囲状況の表現内に含まれるため、棚部34の間近まで接近し、それに沿って移動することが可能になる。
【0063】
図6にこれが示されている。同図において、ロボット清掃デバイスは位置P3から移動し、戸口33および棚部34がどこに位置するのかを十分前もって有利に知る。それゆえ、ロボットデバイス100は位置P4内へ移動し、棚部34と面一に(およびさらに、ロボットデバイスの本体の一部が棚部34から外へ突出した状態で)走行することになる。
【0064】
さらに、断崖に接近する直前に断崖を検出し、したがって、断崖に落下するリスクを低減するために、ゆっくりとした速さで移動する必要がある、従来技術の断崖検出器とは対照的に、本発明では、ロボット清掃デバイス100が、断崖がどこに位置するのかを前もって正確に知り、それに応じて、作成された表現に、および断崖の指示を追加するため、比較的高速で断崖に接近することが可能である。
【0065】
本発明は、十分な処理知能を具備する任意の適切なロボット清掃デバイスによって遂行され得ることが想定されているものの、図7は、本発明の一実施形態に係るロボット清掃デバイス100を下面図で示す。すなわち、ロボット清掃デバイスの底部側が示される。矢印は、ロボット真空掃除機の形態で示されるロボット清掃デバイス100の前方方向を指示する。
【0066】
ロボット清掃デバイス100は、清掃デバイスが清掃対象表面上を移動させられ得るよう駆動車輪112、113の運動を可能にするための2つの電気車輪モータ115a、115bの形態の駆動手段を備える推進システムなどの構成要素を収容する本体111を備える。各車輪モータ115a、115bは、ロボット清掃デバイス100を、清掃対象表面を横切って移動させるために、それぞれの駆動車輪112、113を互いに独立して回転するように制御する能力を有する。多数の異なる駆動車輪配置、および様々な車輪モータ配置が想定され得る。ロボット清掃デバイスは、より伝統的な円形状本体、または三角形状本体を有するデバイスなどの、任意の適当な形状を有し得ることに留意されたい。代替例として、軌道推進システム、またはさらに、ホバークラフト推進システムが用いられてもよい。推進システムは、ロボット清掃デバイス100に、ヨー、ピッチ、並進またはロール運動のうちの任意の1つ以上のものを遂行させるようにさらに構成されていてもよい。
【0067】
マイクロプロセッサなどのコントローラ116が、車輪モータ115a、115bを、ロボット清掃デバイスが避けて走行しなければならない、壁、フロアランプ、テーブル脚の形態の障害物を検出するための障害物検出デバイス(図7には示されていない)から受信された情報を考慮して必要とされるとおりに駆動車輪112、113を回転させるように制御する。障害物検出デバイスは、例えば、障害物を検出し、任意の検出された障害物についての情報をマイクロプロセッサ116へ通信するための3Dカメラ、レーザと組み合わせたカメラ、レーザスキャナなどを用いて実装される、障害物検出デバイスの周囲状況を登録する3Dセンサシステムの形態で具体化され得る。マイクロプロセッサ116は車輪モータ115a、115bと通信し、障害物検出デバイスによって提供された情報に従って、ロボット清掃デバイス100が所望に応じて清掃対象表面を横切って移動することができるように車輪112、113の運動を制御する。
【0068】
さらに、本体111には任意選択的に、ロボット掃除機100の底部における開口部118内に配置された回転ブラシロールの形態の、清掃対象表面からごみおよび塵を除去するための清掃部材117が配置されていてもよい。それゆえ、回転ブラシロール117は、清掃デバイス100の塵およびごみ捕集特性を向上させるために、開口部118内の水平軸に沿って配置されている。ブラシロール117を回転させるために、コントローラ116から受信された命令に沿ってその回転を制御するためのブラシロールモータ119がブラシロールに動作可能に結合されている。
【0069】
さらに、ロボット掃除機100の本体111は、本体111の底部側内の開口部118を介して、ごみを、本体内に収容された集塵袋またはサイクロン機構(図示されていない)へ輸送するための空気流を生み出す吸引ファン120を備える。吸引ファン120は、コントローラ116に通信可能に接続されたファンモータ121によって駆動される。ファンモータ121はコントローラ116から、吸引ファン120を制御するための命令を受信する。ごみを集塵袋へ輸送するために、回転ブラシロール117および吸引ファン120のどちらか一方を有するロボット清掃デバイスが想定され得ることに留意されたい。しかし、両者の組み合わせはロボット清掃デバイス100のごみ除去能力を向上させることになる。
【0070】
本体111またはロボット清掃デバイス100は、例えば、ジャイロスコープ、および/または加速度計、および/または磁力計、あるいは例えば、向き、回転速度、重力などの形態の、基準位置に対するロボット清掃デバイス100の変位を測定するための任意の他の適切なデバイスなどの、慣性測定ユニット(IMU)124をさらに装備してもよい。3軸ジャイロスコープは、ロボット清掃デバイス100のロール、ピッチおよびヨー運動における回転速度を測定する能力を有する。3軸加速度計は、全方向における加速度を測定する能力を有する。加速度は、ロボット清掃デバイスが突き当たっている、または持ち上げられているかどうか、あるいはそれが立ち往生しているかどうか(すなわち、たとえ、車輪が回っていても、移動していない)を判定するために主に用いられる。ロボット清掃デバイス100は、車輪が回る際にパルスを生成するエンコーダ(図7には示されていない)を各駆動車輪112、113上にさらに備える。エンコーダは、例えば、磁気式または光学式であり得る。コントローラ116においてパルスを計数することによって、各車輪112、113のスピードを決定することができる。車輪スピードの読み値をジャイロスコープ情報と組み合わせることによって、コントローラ116は、清掃デバイス100の位置および進行方向を決定するための、いわゆる推測航法を遂行することができる。
【0071】
本体111には、開口部118に隣接した回転サイドブラシ114がさらに配置されていてもよい。回転サイドブラシ114の回転は、駆動モータ115a、115b、ブラシロールモータ119、または代替的に、別個のサイドブラシモータ(図示されていない)によって制御され得るであろう。有利に、回転サイドブラシ114は清掃対象表面からごみおよび塵を掃きのけ、それにより、ごみは本体111の下において開口部118へ行き着き、それゆえ、ロボット清掃デバイスの集塵チャンバへ輸送され得る。さらに有利なことは、ロボット清掃デバイス100の到達範囲が改善されることになり、例えば、隅部、および床が壁と交わる区域がはるかにより効果的に清掃されることである。図7に示されるように、回転サイドブラシ114は、それがごみを開口部118に向けて掃きのけ、それにより、吸引ファン120がごみを集塵チャンバへ輸送することができるようにする方向に回転する。ロボット清掃デバイス100は、開口部118の両側において、開口部118に隣接して横方向に配置された2つの回転サイドブラシを備えてもよい。
【0072】
図7をさらに参照すると、1つ以上のマイクロプロセッサの形態で具体化されたコントローラ/処理ユニット116は、ランダムアクセスメモリ(RAM)、フラッシュメモリまたはハードディスクドライブなどの、マイクロプロセッサに関連付けられた好適な記憶媒体126にダウンロードされたコンピュータプログラム125を実行するように構成されている。コントローラ116は、コンピュータ実行可能命令を含む適切なコンピュータプログラム125が記憶媒体126にダウンロードされ、コントローラ116によって実行されると、本発明の諸実施形態に係る方法を実施するように構成されている。記憶媒体126はまた、コンピュータプログラム125を含むコンピュータプログラム製品であってもよい。代替的に、コンピュータプログラム125は、デジタル多用途ディスク(DVD)、コンパクトディスク(CD)またはメモリスティックなどの、好適なコンピュータプログラム製品を用いて記憶媒体126へ転送されてもよい。さらなる代替例として、コンピュータプログラム125は有線または無線ネットワークを通じて記憶媒体126にダウンロードされてもよい。コントローラ116は、代替的に、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブル論理デバイス(CPLD)などの形態で具体化されてもよい。
【0073】
図8は、カメラ123、ならびに水平または鉛直指向のラインレーザであり得る、第1および第2のラインレーザ127、128を少なくとも備える3Dセンサシステムの形態の、上述された障害物検出デバイスを示す、本発明の一実施形態における図7のロボット清掃デバイス100の正面図を示す。さらに図示されているのは、図6を参照して上述された、コントローラ116、本体111、駆動車輪112、113、および回転ブラシロール117である。コントローラ116は、ロボット清掃デバイス100の近傍の画像を記録するためのカメラ123に動作可能に結合されている。第1および第2のラインレーザ127、128は好ましくは鉛直ラインレーザであってもよく、カメラ123の側方に配置されており、ロボット清掃デバイス100の高さおよび幅よりも大きい高さおよび幅を照射するように構成されている。さらに、カメラ123の視野の角度は好ましくは、第1および第2のラインレーザ127、128によって照射される空間よりも小さい。カメラ123はコントローラ116によって、毎秒複数の画像を取り込んで記録するように制御される。画像からのデータがコントローラ116によって抽出され、データは通例、コンピュータプログラム125とともにメモリ126内に保存される。
【0074】
第1および第2のラインレーザ127、128は通例、カメラの光軸と垂直である軸に沿ったカメラ123のそれぞれの側に配置されている。さらに、ラインレーザ127、128は、それらのそれぞれのレーザビームがカメラ123の視野内で交差するように向けられている。通例、交点はカメラ123の光軸と一致する。
【0075】
第1および第2のラインレーザ127、128は、通常、ロボット清掃デバイス100の移動方向の、ロボット清掃デバイス100の近傍を、好ましくは鉛直の向きに、走査するように構成されている。第1および第2のラインレーザ127、128は、例えば、清掃対象の部屋の家具、壁およびその他の物体を照射する、レーザビームを送出するように構成されている。カメラ123はコントローラ116によって、画像を取り込んで記録するように制御される。コントローラ116は、ロボット清掃デバイス100が清掃対象表面を横切って移動している間に、画像から特徴を抽出することによって、およびロボット清掃デバイス100が走った距離を測定することによって、画像から、ロボット清掃デバイス100が動作している周囲状況の表現またはレイアウトを作成する。それゆえ、コントローラ16は、記録された画像から清掃対象表面に対するロボット清掃デバイス100の位置データを導出し、導出された位置データから周囲状況の3D表現を生成し、駆動モータ115a、115bを、生成された3D表現と、生成された3D表現を考慮することによって清掃対象表面が進路誘導され得るよう、ロボット清掃デバイス100に供給された進路誘導情報とに従って、ロボット清掃デバイスを、清掃対象表面を横切って移動させるように制御する。導出された位置データはロボット清掃デバイスの進路誘導のための基礎の役割を果たすことになるため、位置付けが正しいことが重要である。さもなければ、ロボットデバイスは、その周囲状況の、誤誘導を招く「地図」に従って走行することになる。
【0076】
それゆえ、3Dセンサシステムによって記録された画像から生成された3D表現は、ロボット清掃デバイスが避けて走行しなければならない、壁、フロアランプ、テーブル脚、ならびにロボット清掃デバイス100が横断しなければならない、ラグ、じゅうたん、上り段などの形態の障害物の検出を促進する。それゆえ、ロボット清掃デバイス100は、動作/清掃によってその環境または周囲状況について学習するように構成されている。
【0077】
それゆえ、カメラ123ならびに第1および第2の鉛直ラインレーザ127、128を備える3Dセンサシステムは、ロボット清掃の近傍の画像を記録するように構成されており、その画像から物体/障害物が検出され得る。コントローラ116は、記録された画像から位置データを導出することによって、ロボット清掃デバイス100を、検出された障害物、およびそれゆえ、清掃対象表面に対して位置付ける能力を有する。位置付けから、コントローラ116は、車輪駆動モータ115a、115bを介して車輪112、113を制御することによって、清掃対象表面を横切るロボット清掃デバイス100の移動を制御する。
【0078】
導出された位置データは、清掃デバイスが、物体のすぐそばへ接近し、物体のそばを動き回り、物体が配置されている表面からごみを除去するよう進路誘導され得るように、ロボット清掃デバイス100の移動の制御を促進する。それゆえ、導出された位置データは、例えば、椅子、テーブル、ソファ、厚いラグまたは壁である、物体にぴったりくっついて移動するために利用される。通例、コントローラ116は、ロボット清掃デバイス100が物体に接近して進路誘導されるよう、制御信号を継続的に生成し、駆動モータ115a、115bを介して駆動車輪112、113へ伝える。
【0079】
本発明の諸実施形態は、カメラと、ロボット清掃デバイス100が移動する表面を照明するための1つまたは2つのラインレーザとを用いるという状況で説明されたが、完全に照明されている画像の飛行時間測定を利用する周知の3Dセンサを用いることがさらに可能であろうことにさらに留意されたい。このような飛行時間3Dセンサを用いる場合、取り込まれた画像内の距離はピクセルごとに決定されることになり、検出された物体までの距離は上記のことに沿って決定され得る。
【0080】
本発明は以上において数個の実施形態を参照して主に説明された。しかし、当業者によって容易に理解されるように、添付の特許請求項によって定義されるように、以上に開示されているもの以外の実施形態も本発明の範囲内で同等にあり得る。
図1
図2a
図2b
図3a
図3b
図4
図5
図6
図7
図8