(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6202544
(24)【登録日】2017年9月8日
(45)【発行日】2017年9月27日
(54)【発明の名称】ロボット位置決めシステム
(51)【国際特許分類】
G01C 15/00 20060101AFI20170914BHJP
G01C 11/06 20060101ALI20170914BHJP
G05D 1/02 20060101ALI20170914BHJP
【FI】
G01C15/00 104C
G01C11/06
G05D1/02 K
【請求項の数】17
【全頁数】16
(21)【出願番号】特願2015-528969(P2015-528969)
(86)(22)【出願日】2013年8月23日
(65)【公表番号】特表2015-534048(P2015-534048A)
(43)【公表日】2015年11月26日
(86)【国際出願番号】EP2013067500
(87)【国際公開番号】WO2014033055
(87)【国際公開日】20140306
【審査請求日】2016年7月5日
(31)【優先権主張番号】1200514-6
(32)【優先日】2012年8月27日
(33)【優先権主張国】SE
(73)【特許権者】
【識別番号】593005057
【氏名又は名称】アクティエボラゲット エレクトロラックス
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】アンデシュ ハエゲルマルック
【審査官】
三好 貴大
(56)【参考文献】
【文献】
特表2009−509220(JP,A)
【文献】
特開2004−198212(JP,A)
【文献】
米国特許出願公開第2004/0167667(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 1/00− 1/14
3/06
5/00−15/14
G01B 11/00−11/30
G05D 1/00− 1/12
A47L 9/22− 9/32
B25J 1/00−21/02
(57)【特許請求の範囲】
【請求項1】
ロボットの位置決め方法において、
カメラの視野内で垂直レーザ線を投射する少なくとも第一のラインレーザにより空間を照明するステップ(S101)と、
前記垂直レーザ線により照明された空間の写真を前記カメラで記録するステップ(S102)と、
前記記録された写真から、前記空間内にある物体で反射された前記垂直レーザ線により形成された線を表す画像データを抽出するステップ(S103)と、
前記記録された写真の前記画像データを、以前に記録された少なくとも1つの写真の画像データと比較するステップ(S103b)と、
前記抽出された線を、デッドレコニングを使用することにより前記画像データの前記比較に基づいて調整するステップ(S103c)であって、それぞれの前記写真の記録時に前記ロボットの推定位置が記録されるステップと、
前記調整後の抽出された線から、前記投射されたレーザ線に沿った前記照明空間の表現を生成するステップ(S104')であって、前記ロボットが前記表現に関して位置決めされるステップと、
を含む方法。
【請求項2】
前記空間を照明するステップが、前記カメラの視野内で垂直レーザ線を投射する少なくとも第二のラインレーザにより前記空間を照明するステップをさらに含み、
前記記録された写真から線を表す画像データを抽出するステップが、前記第一と第二のラインレーザのそれぞれの前記垂直レーザ線により形成される線を表す画像データを抽出するステップをさらに含み、
前記抽出された線から表現を生成するステップが、前記第一と第二のラインレーザの前記抽出された線から、前記第一と第二のラインレーザの前記投射されたレーザ線に沿った前記照明空間の表現を生成するステップを含む、
請求項1に記載の方法。
【請求項3】
前記カメラの推定位置を取得するステップと、
前記推定位置を利用して前記照明空間の前記表現を生成するステップであって、前記表現が前記推定位置に基づいて座標に関連付けられるステップと、
をさらに含む、請求項1または2に記載の方法。
【請求項4】
前記カメラを垂直軸の周囲で回転させるステップと、
そこから前記表現が生成される写真を繰り返し記録するステップと、
をさらに含む、請求項1〜3のいずれか1項に記載の方法。
【請求項5】
前記画像データを前記カメラの固有のセンサアレイ座標にマッピングするステップと、
前記固有の座標を前記抽出された線に割り当てるステップであって、前記表現が前記固有の座標に関連付けられるステップと、
をさらに含む、請求項1〜4のいずれか1項に記載の方法。
【請求項6】
カメラ(12)と、
処理ユニット(15)と、
前記カメラの視野内で垂直レーザ線(23)を投射することによって空間(21)を照明するように構成された少なくとも第一のラインレーザ(13)と、
を含むロボット位置決めシステム(10)において、
前記カメラが前記垂直レーザ線により照明される前記空間の写真を記録するように構成され、
前記処理ユニットが、前記記録された写真から、前記空間内にある物体で反射された前記垂直レーザ線により形成される線を表す画像データを抽出し、前記記録された写真の前記画像データを、以前に記録された少なくとも1つの写真の画像データと比較し、前記抽出された線を、デッドレコニングを使用することにより前記画像データの前記比較に基づいて調整し、ロボットの推定位置がそれぞれの前記写真の記録時に記録され、さらに、前記調整後の抽出された線から、前記投射されたレーザ線に沿った前記照明空間の表現を生成し、前記ロボット位置決めシステムが搭載される前記ロボットが前記表現に関して配置されるように構成されているロボット位置決めシステム(10)。
【請求項7】
垂直レーザ線(22)を投射することによって前記カメラ(12)の視野内の前記空間(21)を照明するように構成された第二のラインレーザ(14)をさらに含み、
前記処理ユニット(15)が、前記記録された写真から、前記第一と第二のラインレーザの前記垂直レーザ線により形成されるそれぞれの線を表す画像データを抽出し、さらに、それぞれの前記抽出された線から、前記第一と第二のラインレーザの前記投射されたレーザ線に沿った前記照明空間の表現を生成するように構成されている、請求項6に記載のロボット位置決めシステム(10)。
【請求項8】
前記第一(13)と第二(14)のラインレーザがそれぞれ、前記カメラの光軸に垂直な軸に沿って前記カメラ(12)の両側に配置される、請求項7に記載のロボット位置決めシステム(10)。
【請求項9】
前記第一(13)と第二(14)のラインレーザが、それぞれのレーザビーム(23、22)が前記カメラ(12)の前記視野内で交差するように方向付けられるように構成されている、請求項7または8に記載のロボット位置決めシステム(10)。
【請求項10】
前記第一(13)と第二(14)のラインレーザの方向と前記カメラ(12)の視野(24)が、前記カメラの前記視野内にある前記照明空間(21)の幅(wC)が前記ロボット位置決めシステムの搭載される前記ロボットの幅(wR)より大きくなるように構成される、請求項7〜9のいずれか1項に記載のロボット位置決めシステム(10)。
【請求項11】
前記第一(13)と第二(14)のラインレーザの方向と前記カメラ(12)の視野(24)が、前記カメラの前記視野内にある前記照明空間(21)の高さ(hC)が前記ロボット位置決めシステムの搭載される前記ロボットの高さ(hR)より大きくなるように構成される、請求項7〜10のいずれか1項に記載のロボット位置決めシステム(10)。
【請求項12】
前記処理ユニット(15)が、
前記画像データを前記カメラ(12)の固有のセンサアレイ座標にマッピングし、
前記固有の座標を前記抽出された線に割り当て、前記表現が前記固有の座標に関連付けられるようにさらに構成されている、請求項7〜11のいずれか1項に記載のロボット位置決めシステム。
【請求項13】
前記第一(13)と第二(14)のラインレーザによって照明された粒子を、前記照明された粒子を示す画像データを抽出することによって検出するように構成されたダストセンサをさらに含み、ロボット位置決めシステムの搭載される前記ロボットの動作を前記検出された粒子に応答して制御できる、請求項7〜12のいずれか1項に記載のロボット位置決めシステム。
【請求項14】
前記処理ユニット(15)が、前記生成された表現を、前記ロボットが移動する表面に固定された座標系に関連付けるようにさらに構成されている、請求項7〜13のいずれか1項に記載のロボット位置決めシステム。
【請求項15】
コンピュータ実行可能コンポーネントを含み、これがある機器(10)に対し、前記コンピュータ実行可能コンポーネントが前記機器に含まれる処理ユニット(15)上で実行されるときに請求項1〜5のいずれか1項に記載のステップの少なくとも一部を実行させるコンピュータプログラム(17)。
【請求項16】
コンピュータ可読媒体を含み、前記コンピュータ可読媒体がその中に具体化された請求項15によるコンピュータプログラム(17)を有するコンピュータプログラム製品(16)。
【請求項17】
請求項6〜14のいずれか1項に記載のロボット位置決めシステム(10)を用いて構成されたロボット掃除機(20)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボット位置決めシステムとロボットの位置決め方法に関する。
【背景技術】
【0002】
多くの技術分野において、自律行動を行うロボットを使用して、障害物があっても衝突せずにこれらが空間を自由に動き回れるようにすることが望ましい。
【0003】
例えば、当業界には、テーブルや椅子等の家具および壁や階段等のその他の障害物のある部屋を多かれ少なかれ自律的に吸引掃除する能力を有するロボット掃除機が存在する。従来、これらのロボット掃除機は例えば超音波または光波等を利用して部屋の中を移動する。さらに、ロボット掃除機は一般に、正確に動作させるために、追加のセンサ、例えば階段センサ、壁追跡センサ、および各種トランスポンダを補わなければならない。
【0004】
先行技術の多数のロボット掃除機には、Simultaneous Localization and Mapping(SLAM)と呼ばれる技術が採用されている。SLAMは、移動ロボットによる未知の環境の地図を構築し、同時にこの地図を使って環境内で移動するという問題に関する。これには一般に、距離測定のための水平走査レーザを組み合わせる。さらに、走行距離計測法を使用して、ロボットの車輪の運動によって測定されたロボットの大体の位置を提供する。
【0005】
米国特許出願第2002/0091466号明細書は、部屋の天井に向けられ、天井の基準マークを認識する第一のカメラと、障害物に向けて線状の光ビームを発するラインレーザと、障害物からの反射された線状光ビームを認識するための第二のカメラと、を備える移動ロボットを開示している。ラインレーザは、移動ロボットの前に水平に延びる直線の形態のビームを発する。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、当業界における上記の問題を解決するか、少なくとも軽減させ、改良されたロボット位置決めシステムを提供することである。
【課題を解決するための手段】
【0007】
この目的は、本発明の第一の態様において、カメラと、処理ユニットと、少なくとも第一のラインレーザと、を含むロボット位置決めシステムによって達成される。第一のラインレーザは、カメラの視野内で垂直レーザ線を投射することによって空間を照明するように構成される。カメラは、垂直レーザ線によって照明された空間の写真を記録するように構成され、処理ユニットは、記録された写真から、空間内にある物体で反射された垂直レーザ線によって形成された線を表す画像データを抽出するように構成される。処理ユニットはさらに、抽出された線から、投射されたレーザ線に沿って照明された空間の表現を生成するように構成され、ロボットは前記表現に関して位置決めされる。
【0008】
この目的は、本発明の第二の態様において、ロボットの位置決め方法によって達成される。この方法は、カメラの視野内で垂直レーザ線を投射する少なくとも第一のラインレーザで空間を照明するステップと、垂直レーザ線によって照明された空間の写真をカメラで記録するステップと、を含む。さらに、この方法は、記録された写真から、空間内にある物体で反射された垂直レーザ線によって形成された線を表す画像データを抽出するステップと、抽出された線から、投射されたレーザ線に沿って照明された空間の表現を生成するステップと、を含み、ロボットは前記表現に関して位置決めされる。
【0009】
有利には、本発明の実施形態によるロボット位置決めシステムは、このシステムが動作するように設置される環境の表現を、照明された環境内にある物体で反射された光の結果である画像データを記録することによって生成する。先行技術の位置決めセンサは通常、1秒間に何千回も測定を行うことによって大量のデータを生成し、これを位置決めセンサを搭載したロボットの位置決めのために処理しなければならない。これに対して、本発明によるロボット位置決めシステムは、同等の回数の測定を行うが、その結果として得られたデータの少量だけを位置決めのために使用する。本発明のロボット位置決めシステムは、ラインレーザによって投射された垂直レーザ線によって得られる平坦面に沿って記録された画像データのみを考慮する。先行技術の位置決めセンサと比較したこのような違いは、その表現が生成されるべき環境が多くの物体を含んでいる場合、さらにより強調され、これは比較的少量の画像データの処理によって個々の小さい詳細点が表現されるからである。先行技術の多くのロボット位置決めシステムと異なり、例えばロボットが階段から予期せず落下するのを防止するための床センサは不要である。
【0010】
別の利点は、ロボット位置決めシステムを、位置決めシステムを搭載できるロボット掃除機の前の埃やゴミを検出するために使用できることである。床の上の小さい粒子であっても、ラインレーザによって照明されると、クリーンな床よりかなり多くの光を反射し、反射光の変化を記録することによって容易に検出できる。
【0011】
さらに他の利点は、写真の複雑な分析を行ったり、環境の完全な表現を構築したりせずに、記録された写真の画素/画像データを使って直接障害物、エッジ、壁を検出できることである。各画素は空間内の小さな点に関する障害物検出器とみなすことができ、各画素検出レーザ光はロボットが物体に当たるまでどれだけ移動できるかに容易に変換できる。それゆえ、本発明の実施形態によるロボット位置決めシステムは、近距離で障害物をかわして移動するための正確で関連性の高いデータを提供することができる。
【0012】
本発明の別の実施形態において、ロボット位置決めシステムは、垂直レーザ線を投射することによってカメラの視野内の空間を照明するように構成された第二のラインレーザをさらに含む。この具体的な実施形態において、処理ユニットは、記録された写真から、空間内にある物体で反射された第一と第二のラインレーザの垂直レーザ線によって形成されたそれぞれの線を表す画像データを抽出するように構成される。さらに、処理ユニットは、それぞれの抽出された線から、第一と第二のラインレーザの投射レーザ線に沿った照明空間の表現を生成するように構成される。
【0013】
有利には、2つの光源を使用した場合、位置決め精度が改善され、記録された写真には、ロボット位置決めシステムが動作する環境の詳細な表現の生成を容易にするためのより多くの情報が含まれることになる。
【0014】
本発明の別の実施形態において、第一と第二のラインレーザはそれぞれ、カメラの光軸に垂直な軸に沿ってカメラの両側に配置される。有利には、この配置により、それぞれのラインレーザはカメラからなるべく遠くに取り付けられ、それゆえ、最大限の空間を照明することができる。
【0015】
本発明のさらに他の実施形態において、光フィルタがカメラに配置され、この光フィルタは第一(と第二)のラインレーザにより発せられた光の波長に適応される。有利には、カメラを、ラインレーザによって使用される特定の波長に反応し、それゆえ、ラインレーザからの反射光のみを記録するようにすることができる。
【0016】
1つの実施形態において、カメラは相補型金属酸化膜半導体(CMOS)カメラである。
【0017】
本発明のさらにまた他の実施形態において、ロボット位置決めシステムは、垂直軸の周囲で回転可能に構成される。これは、ロボット位置決めシステムをロボット掃除機に固定して取り付け、掃除機を回転させることによって、または、ロボット位置決めシステムをロボット掃除機に回転可能に取り付けることによって実現できる。有利には、ロボット位置決めシステムを回転するように設置でき、カメラは掃除機が動作するように設置された環境全体の写真を記録する。それゆえ、環境の完全な表現を得ることができる。
【0018】
本発明のまた他の実施形態において、ロボットナビゲーションシステムは、ロボット位置決めシステムの瞬間位置を推定するための位置決めシステムをさらに含む。これは、記録された各写真に関する、およびそれゆえ、最終的には生成された表現に関する座標原点を確立できるため、有利である。
【0019】
本発明の別の実施形態において、画像データはカメラのセンサアレイの座標系にマッピングされる。有利には、それゆえ、センサアレイ座標系を使用することによって、記録された写真の各画像特徴を固有の座標に関連付けることができる。生成された表現はそれゆえ、ロボット掃除機の位置決めを容易にするために座標系に関連付けられる。
【0020】
尚、本発明は特許請求の範囲に記載された特徴のあらゆる可能な組み合わせに関する。本発明の他の特徴と利点は、付属の特許請求の範囲と以下の説明を読むことによって明らかとなるであろう。当業者であれば、本発明の様々に特徴を組み合わせて、以下に説明するもの以外の実施形態を創出できることに気付く。
【0021】
ここで、本発明を添付の以下のような図面を例として参照しながら説明する。
【図面の簡単な説明】
【0022】
【
図1】本発明のある実施形態によるロボット位置決めシステムを示す。
【
図2a】本発明のある実施形態によるロボット位置決めシステムを用いて構成されたロボット掃除機の上面図を示す。
【
図2b】本発明のある実施形態によるカメラの視野を明示した
図2aの上面図を示す。
【
図2c】本発明のある実施形態によるロボット位置決めシステムを用いて構成されたロボット掃除機の側面図を示す。
【
図3a-3b】本発明のある実施形態によるロボット位置決めシステムを使用することによってロボットが動作する環境の表現を生成する手順を示す。
【
図4】本発明のある実施形態によるロボット位置決め方法のフローチャートを示す。
【
図5】本発明の他の実施形態によるロボット位置決め方法のフローチャートを示す。
【
図6】本発明の別の実施形態によるロボット位置決めシステムを示す。
【発明を実施するための形態】
【0023】
ここで、本発明の特定の実施形態が示されている添付の図面を参照しながら、以下に本発明をより詳しく説明する。しかしながら、本発明は他の様々な形態で実施してもよく、本明細書に記載された実施形態に限定されると解釈するべきではない。むしろ、これらの実施形態は、この開示を完璧で完全なものとするように、また本発明の範囲を当業者に十分に伝えるための例として提供される。留意すべき点として、本発明の実施形態によるロボットナビゲーションシステムは、位置決めのためにSLAMを採用する。SLAMは当業界でよく知られているため、詳しくは説明しない。
【0024】
図1は、本発明のある実施形態によるロボット位置決めシステムを示す。ロボット位置決めシステム10は、CMOSカメラ等の光検出器12のほかラインレーザの形態の2つの光源13、14が配置された筐体11を含む。ラインレーザ13、14は、CMOSカメラ12の視野内で垂直レーザ線を投射するように構成される。CMOSカメラ12は、2つのラインレーザ13、14によって照明された空間の写真を繰り返し記録し、それによって、正確な位置決めのために照明空間の表現を生成することができる。留意すべき点として、本発明のある実施形態においてはロボット位置決めシステムが1つの光源を含む。しかしながら、2つの光源を使用した場合、位置決め精度が改善され、記録された写真には、ロボット位置決めシステムが動作する環境の詳細な表現の生成を容易にするための、より多くの情報が含まれる。説明文では一貫して、2つのラインレーザの使用を説明する。
【0025】
照明空間のデータ処理と表現の生成は一般に、1つまたは複数のマイクロプロセッサの形態で実施される処理ユニット15によって実行され、これはマイクロプロセッサに関連付けられた適当な記憶媒体17、例えばランダムアクセスメモリ(RAM)、フラッシュメモリまたはハードディスクドライブ等にダウンロードされたそれぞれのコンピュータプログラム16を実行するように構成される。処理ユニット15は、コンピュータ実行可能命令を含む適当なコンピュータプログラム16が記憶媒体17にダウンロードされ、処理ユニット15によって実行されたときに、本発明の実施形態による方法を少なくとも部分的に実行するように構成される。記憶媒体17はまた、コンピュータプログラム16を含むコンピュータプログラム製品であってもよい。あるいは、コンピュータプログラムは、適当なコンピュータプログラム製品、例えばフロッピディスクまたはメモリスティック等による記憶媒体に転送されてもよい。別の代替案として、コンピュータプログラム16は、ネットワークを通じて記憶媒体17にダウンロードされてもよい。処理ユニット15はあるいは、特定用途集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、コンプレックスプログラマブルロジックデバイス(CPLD)等の形態で実施されてもよい。さらに留意すべき点として、ロボット位置決めシステム10をロボット掃除機等の機器に統合する場合には、既にロボット位置決めシステム内で利用できるマイクロプロセッサを使用してもよい。
【0026】
ロボット位置決めシステム10は一般に、ロボット掃除機または床洗浄機等の器具に取り付けられる。ロボット機器に取り付けられた場合、ロボット位置決めシステムは、本発明のある実施形態においては、垂直軸の周囲で回転可能に構成される。これは、ロボット位置決めシステムをロボット掃除機に固定して取り付け、掃除機を回転させることによって、またはロボット位置決めシステム10をロボット掃除機に回転可能に取り付けることによって実現できる。
【0027】
図2aは、本発明のある実施形態によるロボット位置決めシステムを用いて構成されたロボット掃除機20の上面図を示しており、2つのラインレーザ13、14が各々、垂直レーザ線22、23によってCMOSカメラ12の視野の中にある空間21を照明する。それぞれのラインレーザ13、14は、CMOSカメラ12からなるべく遠くに取り付け、それゆえ最大限に空間21を照明するようにするべきである。さらに、ロボット位置決めシステムは、ロボット掃除機のできるだけ高い位置に設置して、ロボット掃除機が動作する環境の最良の概観が得られるようにするべきである。
【0028】
CMOSカメラ12と少なくとも1つのラインレーザ13、14により、カメラで撮影された各写真を使って、発せられたレーザビーム22、23に沿った照明空間の一部の表現を生成できる。ロボット位置決めシステムおよび/またはロボット位置決めシステムが搭載されたロボット掃除機全体が移動し、回転する間に、カメラ12は繰り返し写真を撮影し、その中に情報が含まれ、そこから画像データを抽出して、レーザによる照明空間21の中にある環境の表現を生成できる。ある実施形態において、ロボット位置決めシステムを360度回転させて、その間に繰り返し写真を撮影することによって、画像データの形態の情報を含む複数の写真が生成され、そこから環境の表面形状の極めて詳細な表現を生成できる。
【0029】
CMOSカメラ12はまた、環境内のビーコンとトランスポンダの位置を、それらがレーザと同じ波長で発信するかぎり、特定するために使用することもできる。
【0030】
ロボット掃除機は、空間を自由に動き回ることができなければならず、それゆえバッテリ式である。留意すべき点として、本発明の掃除機の充電ステーション上にアクティブビーコンは必要なく、これは、充電ステーションをその形状またはその前面の特定の反射パターンによって識別し、位置特定できるからである。
【0031】
図2bは、本発明のある実施形態によるロボット位置決めシステムを用いて構成されたロボット掃除機20の上面図を示し、2つのラインレーザ13、14は各々、垂直レーザ線22、23によってCMOSカメラ12の視野内にある空間21を照明する。
【0032】
図2aと同様に、第一のラインレーザ13と第二のラインレーザ14はそれぞれ、カメラ12の、カメラの光軸に垂直な軸に沿った両側に配置される。さらに、
図2aと2bからわかるように、ラインレーザ13、14は、それぞれのレーザビーム23、22がカメラ12の視野内で交差するように方向付けられる。一般に、交差点はカメラ12の光軸と一致する。
【0033】
有利には、ラインレーザ13、14の方向設定とカメラ12の視野24は、カメラ12の視野24内にある照明空間21の幅w
Cがロボット掃除機20の幅w
Rより大きくなるように構成される。したがって、ラインレーザ13、14は、選択された視野24を有するカメラ12がロボット掃除機20の幅w
Rより大きい幅w
Cの照明空間21を捕捉できる。これは、ロボット20が少なくともその幅w
R全体に沿って出現する障害物を認識できるため、障害物検出に有益である。
【0034】
図2cは、本発明の実施形態によるロボット位置決めシステムを用いて構成された、
図2aと2bに示されるロボット掃除機20の側面図を示す。
図2bに関連して述べたものと同様に、レーザビーム22、23の方向設定とカメラ12の視野24は、有利には、カメラ12の視野24の中にある照明空間21の高さh
Cがロボット掃除機20の高さh
Rより大きくなるように構成される。したがって、ラインレーザは、ある視野24を有するカメラ12がロボット掃除機20の高さh
Rより大きい高さh
Cの照明空間21を捕捉できる。再び、これは、ロボット20が少なくともその高さh
R全体に沿って出現する障害物を認識できるため、障害物検出に有益である。
【0035】
本発明の別の実施形態において、本発明のロボット位置決めシステムは、ラインレーザ13、14によって照明された埃、ゴミおよび/または粒子を検出するためのダストセンサを含む。ダストセンサは実際には前述のマイクロプロセッサ15によって実施されてもよく、これがロボット位置決めシステムを備えるロボット掃除機の埃検出機能を実現するための適当なコンピュータプログラムを実行する。それゆえ、ラインレーザ13、14はカメラによってその写真が記録される空間21を照明する。これらの写真から、照明された粒子を明瞭に示す画像データを抽出してもよい。ロボット掃除機が粒子を含む領域に遭遇すると、これらは明るくなり、それゆえ、画像処理を使用することによって、クリーンで粒子のない床から区別されうる。ロボット掃除機はそれゆえ、有利には、この情報に基づいて制御してもよい。例えば、大量の粒子を含む領域を通過する際には吸引能力を一時的に増大させてもよく、または、すべての埃とゴミを確実に取り除くようにその領域を何度か掃除するように掃除機を制御してもよい。
【0036】
図3aと3bを参照しながら、本発明の実施形態を、本発明のロボット位置決めシステムを使用することにより、ロボットが動作する環境の表現を生成し、この表現に関してロボットを位置決めすることができるような手順を示し、説明する。ラインレーザ13、14はそれぞれの垂直レーザ線22、23を生成するための光を発するように制御され、その一方でCMOSカメラ12は繰り返し写真を撮影するように操作される。外光の有害な影響を最小限にするために、ラインレーザは任意選択により、最大限の効果で光を発するように制御してもよい。さらに、光フィルタをCMOSカメラの前に配置して、カメラがラインレーザにより発せられる光をより認識しやすくなるようにすることができる。
【0037】
ロボットの推定位置は、デッドレコニングを適用することによって、それぞれの写真の撮影時に記録される。これは、以前に測定された位置に関するデータを使って現在位置を計算する周知の方法である。各写真の画像データをフィルタ処理によってノイズ除去し、それぞれの垂直レーザ線を画定する線を、例えばキャニーエッジ検出アルゴリズム等のいずれかの適当なエッジ検出方式を用いて抽出する。画像データから抽出されたそれぞれの線は粒子が粗い可能性があるため、画像処理を、例えばいわゆる重心位置評価法をそれぞれのエッジ検出レーザ線の中の隣接画素値に適用してレーザ線の中心を計算し、写真の中に存在するレーザ線の中心を抽出することによってさらに改善してもよい。
【0038】
CMOSカメラには光センサアレイが備えられており、そのアレイの中の個々の光センサ(すなわち画素)が各々、空間内の固有の位置から検出された光を表すため、記録された写真には、ラインレーザが照明した物体を表す画像データが含まれ、この画像データをさらに、固有の座標に関連付けることができる。続いて、レーザ線の中心がセンサアレイの中、すなわち記録された写真の中で延びる座標のリストが導き出される。有利には、各レーザ線の中心座標が複数の画素とこれらの画素すべてにおいて登録された光から計算されるため、これらの座標はそれらが抽出された写真よりはるかに高い解像度を有する。
【0039】
図3aと3bおよび本発明の実施形態による方法を示す
図4のフローチャートに関して、ステップS101で、ロボット掃除機20が掃除対象の部屋を動き回る間に、第一と第二のラインセンサ13、14がそれぞれ垂直レーザ線22、23によってCMOSカメラ12の視野内の空間21を照明する。ステップS102で、カメラ12が照明空間21の写真を記録する。その後、ステップS103で、それぞれ垂直レーザ線22、23によって形成される線を表す画像データを記録された写真から抽出する。
【0040】
抽出された線は空間21内の固有の座標に関連付けることができるため、ステップS104で、これらの抽出された線から投射されたレーザ線に沿った照明空間の表現を生成する。敷居31の形態の第一の障害物と壁32の形態の第二の障害物がラインレーザによって照明される。
図3bにおいて、CMOSカメラ12の個々の光センサの各々が空間内の固有の位置を表すため、記録された写真には、照明された物体と空間21内でのそれらの特定の座標を表す画像データが含まれる。それゆえ、投射されたレーザ線に沿った照明空間の表現は、発せられたレーザ線22、23によって形成された平坦面に沿った部屋の断面のように見える。わかるように、敷居31と壁32は
図3bで見ることができる。さらに、部屋の中のどこに物体が存在するかを高い精度で計算できる。例えば、敷居31までの距離が0.5m、敷居の高さが0.1m、幅が0.15m、等である。ロボットの位置は写真撮影時に記録されているため、複数のこのような2D表現を3D空間に変換して、ロボットが移動し、連続的にその部屋の別の断面を記録する間に部屋の3D地図全体を構築するために使用できる。
【0041】
図5は、それによって表現が生成される本発明の別の実施形態による方法を示す。ステップS101〜S103は
図4に関して説明したものと同じである。追加のステップS103bで、現在記録された写真の画像データを以前に記録された少なくとも1つの写真の画像データと比較する。これは、直前に記録された写真であっても、それより前に記録された写真であってもよい。さらにそれより前に記録された画像と比較することができる。次に、ステップS103cで、現在記録された写真から抽出さたれ線を、デッドレコニングを用いた異なる画像データ集合の比較に基づいて調整する。それゆえ、以前に知った位置に関する知識を使用することによって現在位置をよりよく推定でき、写真に障害(すなわちノイズ)がある場合、ノイズをフィルタ処理によって除去することができ、これはノイズが写真の中で、相互に関する既知の相対運動と写真を比較したときに予想されるような方法で移動する可能性が低いからである。
【0042】
最後に、ステップS104’で、投射されたレーザ線に沿った照明空間の表現を調整後の抽出線から生成する。それゆえ、現在記録された画像データを以前に記録された画像データから作られた表現と比較し、デッドレコニングを適用することによって、より正確な表現を生成でき、これに関してロボットをより正確に位置決めすることができる。
【0043】
任意選択により、写真の線の抽出に加えて、線の強度と幅を抽出してもよい。線幅と強度に関する情報を使い、擬似の可能性のある線をフィルタ処理により除去できる。1本の線に沿った強度の変動は、その線が床の典型である位置と傾斜を有する場合、ゴミ指標として使用できる。さらに、実際には、ロボットは床上を移動する際に前後および左右に若干傾くため、3D地図の形態の表現を生成するために使用される画像データを、例えばロボットが移動する床が平坦であると仮定することによって調整し、写真の中の画像データの線形調整を行わなければならないこともある。その結果、3D空間内で水平に高い長い線は完璧に水平になるように調整され、水平に近い線のための偏差パラメータが登録され、残りの線がそれに対応する偏差パラメータで調整される。
【0044】
3D空間内の点を表す大量のデータが生成される場合は、これらを圧縮して本発明の実施形態によるロボット位置決めシステムの処理ユニットの演算力に対する要求を減らすことができる。例えば、空間内の多数のコヒーレントの点(coherent points)を線により近似させることができ、線の始点と終点だけでメモリに登録されて、それゆえ空間内のコヒーレントの点のすべてを表し、空間内のコヒーレントの線を面により近似させることができる。
【0045】
図6は、本発明によるロボット位置決めシステムの別の実施形態を示す。ロボット掃除機20が例えばカーペット25等の障害物に遭遇して若干傾いた場合、ロボット掃除機が掃除対象の表面に平行であると仮定すると、生成された表現は不正確となりうる。これは、ロボット掃除機20がドアの敷居を通過する場合にはるかにより顕著であり、この場合、ロボット掃除機は、ドアの敷居をより乗り越えやすくするために、どの方向にも傾いてその重心を移動させることができる。それゆえ、この具体的な実施形態では生成された表現が、ロボット掃除機が移動する表面に関係する。したがって、生成された表現は床に固定された座標系に関係するものであり、それゆえロボットの傾きに対して不変である。
【0046】
本発明をその具体的な例示的実施形態に関して説明したが、当業者にとっては多くの様々な改変形態、改良形態等が明らかとなるであろう。したがって、説明した実施形態は、付属の特許請求の範囲によって定義される本発明の範囲を限定するものではない。
なお、本明細書によれば、以下の各項目もまた実施形態として開示される。
[項目1]
ロボットの位置決め方法において、
カメラの視野内で垂直レーザ線を投射する少なくとも第一のラインレーザにより空間を照明するステップ(S101)と、
前記垂直レーザ線により照明された空間の写真を前記カメラで記録するステップ(S102)と、
前記記録された写真から、前記空間内にある物体で反射された前記垂直レーザ線により形成された線を表す画像データを抽出するステップ(S103)と、
前記抽出された線から、前記投射されたレーザ線に沿った前記照明空間の表現を生成するステップ(S104)であって、前記ロボットが前記表現に関して位置付けられるステップと、
を含む方法。
[項目2]
前記空間を照明するステップが、前記カメラの視野内で垂直レーザ線を投射する少なくとも第二のラインレーザにより前記空間を照明するステップをさらに含み、
前記記録された写真から線を表す画像データを抽出するステップが、前記第一と第二のラインレーザのそれぞれの前記垂直レーザ線により形成される線を表す画像データを抽出するステップをさらに含み、
前記抽出された線から表現を生成するステップが、前記第一と第二のラインレーザの前記抽出された線から、前記第一と第二のラインレーザの前記投射されたレーザ線に沿った前記照明空間の表現を生成するステップを含む、
項目1に記載の方法。
[項目3]
前記カメラの推定位置を取得するステップと、
前記推定位置を利用して前記照明空間の前記表現を生成するステップであって、前記表現が前記推定位置に基づいて座標に関連付けられるステップと、
をさらに含む、項目1または2に記載の方法。
[項目4]
前記カメラを垂直軸の周囲で回転させるステップと、
そこから前記表現が生成される写真を繰り返し記録するステップと、
をさらに含む、項目1〜3のいずれか1項に記載の方法。
[項目5]
前記記録された写真の前記画像データを、以前に記録された少なくとも1つの写真の画像データと比較するステップ(S103b)と、
前記抽出された線を、デッドレコニングを使用することにより前記画像データの比較に基づいて調整するステップ(S103c)と、
をさらに含み、
前記調整後の抽出された線から、前記投射されたレーザ線に沿った前記照明空間の前記表現が生成され(S104')、それに関してロボットが位置決めされる、項目1〜4のいずれか1項に記載の方法。
[項目6]
前記抽出された画像データにエッジ検出を適用して、それぞれ前記第一と第二のラインレーザの前記垂直レーザ線により形成される線を特定するステップをさらに含む、項目1〜5のいずれか1項に記載の方法。
[項目7]
前記画像データを前記カメラの固有のセンサアレイ座標にマッピングするステップと、
前記固有の座標を前記抽出された線に割り当てるステップであって、前記表現が前記固有の座標に関連付けられるステップと、
をさらに含む、項目1〜6のいずれか1項に記載の方法。
[項目8]
カメラ(12)と、
処理ユニット(15)と、
前記カメラの視野内で垂直レーザ線(23)を投射することによって空間(21)を照明するように構成された少なくとも第一のラインレーザ(13)と、
を含むロボット位置決めシステム(10)において、
前記カメラが、前記垂直レーザ線により照明される前記空間の写真を記録するように構成され、
前記処理ユニットが、前記記録された写真から、前記空間内にある物体で反射された前記垂直レーザ線により形成される線を表す画像データを抽出し、さらに、前記抽出された線から、前記投射されたレーザ線に沿った前記照明空間の表現を生成するように構成され、前記ロボット位置決めシステムが搭載された前記ロボットが前記表現に関して位置決めされるように構成されているロボット位置決めシステム(10)。
[項目9]
垂直レーザ線(22)を投射することによって前記カメラ(12)の視野内の前記空間(21)を照明するように構成された第二のラインレーザ(14)をさらに含み、
前記処理ユニット(15)が、前記記録された写真から、前記第一と第二のラインレーザの前記垂直レーザ線により形成されるそれぞれの線を表す画像データを抽出し、さらに、それぞれの前記抽出された線から、前記第一と第二のラインレーザの前記投射されたレーザ線に沿った前記照明空間の表現を生成するように構成されている、項目8に記載のロボット位置決めシステム(10)。
[項目10]
前記第一(13)と第二(14)のラインレーザがそれぞれ、前記カメラの光軸に垂直な軸に沿って前記カメラ(12)の両側に配置される、項目9に記載のロボット位置決めシステム(10)。
[項目11]
前記第一(13)と第二(14)のラインレーザが、それぞれのレーザビーム(23、22)が前記カメラ(12)の前記視野内で交差するように方向付けられるように構成されている、項目9または10に記載のロボット位置決めシステム(10)。
[項目12]
前記第一(13)と第二(14)のラインレーザの方向と前記カメラ(12)の視野(24)が、前記カメラの前記視野内にある前記照明空間(21)の幅(wC)が前記ロボット位置決めシステムの搭載される前記ロボットの幅(wR)より大きくなるように構成される、項目9〜11のいずれか1項に記載のロボット位置決めシステム(10)。
[項目13]
前記第一(13)と第二(14)のラインレーザの方向と前記カメラ(12)の視野(24)が、前記カメラの前記視野内にある前記照明空間(21)の高さ(hC)が前記ロボット位置決めシステムの搭載される前記ロボットの高さ(hR)より大きくなるように構成される、項目9〜12のいずれか1項に記載のロボット位置決めシステム(10)。
[項目14]
前記カメラに配置された光フィルタをさらに含み、この光フィルタが前記第一(13)と第二(14)のラインレーザにより発せられる光の波長に適応される、項目8〜13のいずれか1項に記載のロボット位置決めシステム(10)。
[項目15]
前記カメラ(12)が相補型金属酸化膜半導体(CMOS)カメラである、項目8〜14のいずれか1項に記載のロボット位置決めシステム(10)。
[項目16]
さらに垂直軸の周囲で回転可能に構成される、項目8〜15のいずれか1項に記載のロボット位置決めシステム(10)。
[項目17]
前記処理ユニット(15)が、
前記記録された写真の前記画像データを、以前に記録された少なくとも1つの写真の画像データと比較し、
前記抽出された線を、デッドレコニングを使用することにより前記画像データとの前記比較に基づいて調整するようにさらに構成されており、前記処理ユニットが、前記調整後の抽出された線から、前記投射されたレーザ線に沿った前記照明空間の前記表現を生成するように構成され、それに関して前記ロボットが位置付けられる、項目8〜16のいずれか1項に記載のロボット位置決めシステム(10)。
[項目18]
前記ロボット位置決めシステムの瞬間位置を推定するための位置決めシステムをさらに含む、項目8〜17のいずれか1項に記載のロボット位置決めシステム(10)。
[項目19]
前記処理ユニット(15)が、
前記推定位置を利用して前記照明空間の前記表現を生成するようにさらに構成され、前記表現が前記推定位置に基づいて座標に関連付けられる、項目18に記載のロボット位置決めシステム(10)。
[項目20]
前記処理ユニット(15)が、
前記抽出された画像データにエッジ検出を適用して、それぞれ前記第一(13)と第二(14)のラインレーザの前記垂直レーザ線(17、18)により形成される線を特定するようにさらに構成されている、項目8〜16のいずれか1項に記載のロボット位置決めシステム(10)。
[項目21]
前記処理ユニット(15)が、
前記画像データを前記カメラ(12)の固有のセンサアレイ座標にマッピングし、
前記固有の座標を前記抽出された線に割り当て、前記表現が前記固有の座標に関連付けられるようにさらに構成されている、項目8〜20のいずれか1項に記載のロボット位置決めシステム。
[項目22]
前記第一(13)と第二(14)のラインレーザによって照明された粒子を、前記照明された粒子を示す画像データを抽出することによって検出するように構成されたダストセンサをさらに含み、ロボット位置決めシステムの搭載される前記ロボットの動作を前記検出された粒子に応答して制御できる、項目8〜21のいずれか1項に記載のロボット位置決めシステム。
[項目23]
前記処理ユニット(15)が、前記生成された表現を、前記ロボットが移動する表面に固定された座標系に関連付けるようにさらに構成されている、項目8〜22のいずれか1項に記載のロボット位置決めシステム。
[項目24]
コンピュータ実行可能コンポーネントを含み、これがある機器(10)に対し、前記コンピュータ実行可能コンポーネントが前記機器に含まれる処理ユニット(15)上で実行されるときに項目1〜7のいずか1項に記載のステップの少なくとも一部を実行させるコンピュータプログラム(17)。
[項目25]
コンピュータ可読媒体を含み、前記コンピュータ可読媒体がその中に具体化された項目24によるコンピュータプログラム(17)を有するコンピュータプログラム製品(16)。
[項目26]
項目8〜23のいずれか1項に記載のロボット位置決めシステム(10)を用いて構成されたロボット掃除機(20)。