(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-23
(45)【発行日】2022-08-31
(54)【発明の名称】移動ロボットのための視覚システム
(51)【国際特許分類】
G05D 1/08 20060101AFI20220824BHJP
【FI】
G05D1/08 Z
(21)【出願番号】P 2020567087
(86)(22)【出願日】2019-05-08
(86)【国際出願番号】 GB2019051263
(87)【国際公開番号】W WO2019234383
(87)【国際公開日】2019-12-12
【審査請求日】2020-12-01
(32)【優先日】2018-06-05
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】500024469
【氏名又は名称】ダイソン・テクノロジー・リミテッド
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(72)【発明者】
【氏名】ミゲル・ロペス・エステベス
(72)【発明者】
【氏名】ホセイン・ファリド・ガッセム・ニア
(72)【発明者】
【氏名】マルコ・ゼンティ
(72)【発明者】
【氏名】デイヴィッド・リチャーズ
(72)【発明者】
【氏名】デイヴィッド・ワイアット
【審査官】今井 貞雄
(56)【参考文献】
【文献】特開2013-252431(JP,A)
【文献】特開2000-337887(JP,A)
【文献】特開2005-324297(JP,A)
【文献】特表2018-500624(JP,A)
【文献】特表2006-514308(JP,A)
【文献】特表2010-526416(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/08
(57)【特許請求の範囲】
【請求項1】
移動ロボットのための視覚システムであって、
レンズモジュールと、
複数の光源を具備する照明システムと、
レンズモジュール保持部と、
を備えている前記視覚システムにおいて、
前記レンズモジュール保持部が、前記レンズモジュールの周
りに
嵌め込まれており、前記レンズモジュールから離隔するように前記照明システムから照射される光を反射するための反射面を備えていることを特徴とする視覚システム。
【請求項2】
移動ロボットのための視覚システムであって、
レンズモジュールと、
複数の光源を具備する照明システムと、
レンズモジュール保持部と、
を備えている前記視覚システムにおいて、
前記レンズモジュール保持部が、前記レンズモジュールの周囲に位置決めされており、前記レンズモジュールから離隔するように前記照明システムから照射される光を反射するための反射面を備えて
おり、
前記視覚システムが、前記視覚システムを前記移動ロボットに取り付けるための視覚システム取付部を備えており、
前記視覚システム取付部が、複数の光源を突出させるための複数の穴を備えていることを特徴とする視覚システム。
【請求項3】
前記視覚システム取付部が、複数の前記光源から脱熱するためのヒートシンクを備えていることを特徴とする請求項2に記載の視覚システム。
【請求項4】
移動ロボットのための視覚システムであって、
レンズモジュールと、
複数の光源を具備する照明システムと、
レンズモジュール保持部と、
を備えている前記視覚システムにおいて、
前記レンズモジュール保持部が、前記レンズモジュールの周囲に位置決めされており、前記レンズモジュールから離隔するように前記照明システムから照射される光を反射するための反射面を備えて
おり、
前記レンズモジュールが、前記レンズモジュール保持部の上方に突出しており、
複数の前記光源それぞれが、前記レンズモジュール保持部の前記反射面の下方に位置決めされていることを特徴とする視覚システム。
【請求項5】
移動ロボットのための視覚システムであって、
レンズモジュールと、
複数の光源を具備する照明システムと、
レンズモジュール保持部と、
を備えている前記視覚システムにおいて、
前記レンズモジュール保持部が、前記レンズモジュールの周囲に位置決めされており、前記レンズモジュールから離隔するように前記照明システムから照射される光を反射するための反射面を備えて
おり、
フィンが、複数の前記光源同士の間に設けられていることを特徴とする視覚システム。
【請求項6】
前記視覚システムが、前記視覚システムを前記移動ロボットに取り付けるための視覚システム取付部を備えており、
前記フィンそれぞれが
、前記視覚システム取付部に設けられていることを特徴とする請求項
5に記載の視覚システム。
【請求項7】
移動ロボットのための視覚システムであって、
レンズモジュールと、
複数の光源を具備する照明システムと、
レンズモジュール保持部と、
を備えている前記視覚システムにおいて、
前記レンズモジュール保持部が、前記レンズモジュールの周囲に位置決めされており、前記レンズモジュールから離隔するように前記照明システムから照射される光を反射するための反射面を備えて
おり、
前記視覚システムが、光透過性カバーを備えており、
前記光透過性カバーが、前記照明システムを覆っており、且つ、開口部を形成しており、
前記レンズモジュールの頂部が、前記開口部を通じて突出していることを特徴とする視覚システム。
【請求項8】
移動ロボットのための視覚システムであって、
レンズモジュールと、
複数の光源を具備する照明システムと、
レンズモジュール保持部と、
を備えている前記視覚システムにおいて、
前記レンズモジュール保持部が、前記レンズモジュールの周囲に位置決めされており、前記レンズモジュールから離隔するように前記照明システムから照射される光を反射するための反射面を備えて
おり、
前記レンズモジュール保持部が、前記移動ロボットの本体の上面の上方に突出していることを特徴とする視覚システム。
【請求項9】
移動ロボットのための視覚システムであって、
レンズモジュールと、
複数の光源を具備する照明システムと、
レンズモジュール保持部と、
を備えている前記視覚システムにおいて、
前記レンズモジュール保持部が、前記レンズモジュールの周囲に位置決めされており、前記レンズモジュールから離隔するように前記照明システムから照射される光を反射するための反射面を備えて
おり、
前記レンズモジュールが、画像センサに集光するための複数のレンズを備えていることを特徴とする視覚システム。
【請求項10】
移動ロボットのための視覚システムであって、
レンズモジュールと、
複数の光源を具備する照明システムと、
レンズモジュール保持部と、
を備えている前記視覚システムにおいて、
前記レンズモジュール保持部が、前記レンズモジュールの周囲に位置決めされており、前記レンズモジュールから離隔するように前記照明システムから照射される光を反射するための反射面を備えて
おり、
前記視覚システムが、それぞれ独立して制御可能とされる8つの前記光源を備えていることを特徴とする視覚システム。
【請求項11】
複数の前記光源が、前記レンズモジュールを中心としてリング状に配置されていることを特徴とする請求項1
から10のいずれか一項に記載の視覚システム。
【請求項12】
前記反射面が、環状の半放物面鏡とされることを特徴とする請求項1
から11のいずれか一項に記載の視覚システム。
【請求項13】
複数の前記光源それぞれが、前記移動ロボットの本体の上面の下方に位置決めされていることを特徴とする請求項1
から12のいずれか一項に記載の視覚システム。
【請求項14】
請求項1
から13のいずれか一項に記載の視覚システムを備えていることを特徴とする移動ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動ロボットのための視覚システムに関する。
【背景技術】
【0002】
例えば真空掃除機ロボットのような移動ロボットは、消極的に支援すると共に環境を理解するための、徐々に適応していく視覚システムである。視覚システムを利用することは、例えばロボットに当該ロボットが配置されている環境を良好に理解させることができること、及び系統的な(structured)移動経路を可能にすることのような、多くの利益を有している。しかしながら、視覚システムの利用に関する一の欠点が、当該視覚システムは低照度の条件において良好に機能しないことである。その結果として、視覚システムを利用する移動ロボットは、当該視覚システムによって捕捉された画像の質を改善するために、照明システム又はヘッドライトを必要とする場合がある。
【0003】
特許文献1は、照明システムを具備するロボットの一例を開示している。当該一例では、移動ロボットは、当該移動ロボットの側面に且つハンドルの内部に位置決めされている照明手段を備えている。
【0004】
移動ロボットのための視覚システムには多くの利点があるので、移動ロボットの分野では、視覚システム及び照明システムについて改善がなされてきた。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の第1の実施態様は、移動ロボットのための視覚システムであって、レンズモジュールと、複数の光源を具備する照明システムと、レンズモジュール保持部と、を備えている視覚システムを提供する。レンズモジュール保持部が、レンズモジュールの周囲に位置決めされており、レンズモジュールから離隔するように照明システムから照射される光を反射するための反射面を備えている。
【課題を解決するための手段】
【0007】
その結果として、レンズモジュール保持部は、照明からの光をレンズモジュールから離隔するように機能する。照明システムによって提供されるこのような照明は、レンズモジュールに直接入社することができないので、視覚システムを正確に動作させる妨げとなる。
【0008】
視覚システムが、視覚システムを移動ロボットに取り付けるための視覚システム取付部を備えており、視覚システム取付部が、複数の光源を突出させるための複数の穴を備えている。
【0009】
視覚システム取付部が、複数の光源から脱熱するためのヒートシンクを備えている。このことは、光源を過熱する危険性を低減することによって当該光源の耐用寿命を延ばすことに貢献し、潜在的に光源からの熱がレンズモジュールを損傷させることを防止する。
【0010】
複数の光源が、レンズモジュールを中心としてリング状に配置されている。このことは、特にスペース効率に優れた配置を実現するので、視覚システムの大きさを低減させることに貢献する。
【0011】
レンズモジュールが、レンズモジュール保持部の上方に突出しており、複数の光源それぞれが、レンズモジュール保持部の反射面の下方に位置決めされている。その結果として、レンズモジュールは、レンズモジュール保持部によって制限されない可能な範囲で最善の視野を実現し、複数の光源は、レンズモジュール保持部によって一定の程度で損傷から保護される。
【0012】
反射面が、環状の半放物面鏡とされる。
【0013】
フィンが、複数の光源同士の間に設けられている。これらフィンが、複数の光源が発生させる光を分割するように機能するので、光の指向性を一層強くすることができる。フィンそれぞれが、上述の視覚システム取付部に設けられている。
【0014】
視覚システムが、光透過性カバーを備えており、光透過性カバーが、照明システムを覆っており、レンズモジュールの頂部が開口部を通じて突出している開口部を形成している。その結果として、光透過性カバーが、照明システムが発生させる照明をぼやかしたり阻害することなく、照明システムを保護する。
【0015】
レンズモジュール保持部が、移動ロボットの本体の上面の上方に突出している。その結果として、レンズモジュールは、移動ロボットの本体に制限されない可能な範囲で最良の視野を実現する。さらに、反射面から反された光は、移動ロボットの本体の上面の上方に放出可能とされる。
【0016】
複数の光源それぞれが、移動ロボットの本体の上面の下方に位置決めされている。これにより、光源を損傷から堅固に保護することができる。
【0017】
レンズモジュールが、画像センサに集光するための複数のレンズを備えている。
【0018】
視覚システムが、それぞれ独立して制御可能とされる8つの光源を備えている。8つの光源によって、過度に複雑な制御をすることなく、照明領域において高いレベルの方向制御が可能となる。
【0019】
本発明の第2の実施態様は、上述の視覚システムのうち任意の視覚システムを備えている移動ロボットを提供する。
【0020】
本発明を一層良好に理解するために、本発明の実施例について、添付図面を参照しつつ例示的に説明する。
【図面の簡単な説明】
【0021】
【
図2】
図1に表わす移動ロボットの視覚システムの分解図である。
【
図3】
図2に表わす視覚システムを含む、
図1に表わす移動ロボットの一部分の断面図である。
【
図4】視覚システムのためのレンズモジュールの断面図である。
【
図5】
図2及び
図3に表わす視覚システムの一部分の断面図である。
【
図6】
図2及び
図3に表わす視覚システムから見た視覚システム取付部を表す。
【
図7A】
図2及び
図3に表わす視覚システムによって捕捉された球状の画像を示す。
【
図8】PCBに設けられているセンサ取付部を表わす。
【
図10】
図9に表わすセンサ取付部の断面図である。
【
図12】移動ロボットのための照明アルゴリズムの入力及び出力を示すフロー図である。
【
図13】
図12に示す照明アルゴリズムにおけるステップを表わすフロー図である。
【
図14】
図13に示す照明アルゴリズムの一部における代替的なステップを表わすフロー図である。
【発明を実施するための形態】
【0022】
図1は、本体2と分離装置4とを備えているロボット真空掃除機1を表わす。本体2は、連続的な履帯(tank tracks)の形態をした牽引ユニット5と、ブラシバーを収容している掃除機ヘッド6とを備えている。汚染空気は、掃除機ヘッド6を通じてロボット真空掃除機1に引き込まれ、分離装置4の内部に流入する。分離装置4の内部において汚染空気から塵埃が除去されると、塵埃が除去された空気が、空気流を発生させるためのモータ及びファンを収容している本体2を通じて、分離装置21から流出する。その後に、空気は、排出口を通じてロボット真空掃除機1から排出される。視覚システム8は、移動ロボット1の本体2の頂面3から突出している。視覚システム8は、カメラ12と照明システム14とを備えている。カメラ12は、ロボット真空掃除機1の周囲360°の環境をキャプチャーすることができる全方位カメラとされる。カメラ12としては、例えば魚眼レンズカメラやパノラマ環状レンズ(PAL)カメラが挙げられる。
【0023】
ロボット真空掃除機1は、ロボット真空掃除機1のソフトウェア及び電子機器から成る制御システムを備えており、制御システムは、システム8によってキャプチャーされた画像を処理するための同時位置決め地図作成(SLAM)法を利用することができる。制御システムによって、ロボット真空掃除機1は、局所環境を理解、解釈、及び自律航行することができる。また、制御システムは、ロボット真空掃除機1に設けられた複数の他のセンサ、例えばバンプセンサから収集された情報を利用しており、例えば位置検出素子(PSD)及び/又は飛行時間型(ToF)センサのような、複数の位置センサを備えている。PSD及び/又はToFセンサは、分離装置4の側方に配置されたセンサポッド10の内部に収容されている。センサポッド10は、透明カバーを備えており、PSD及びToFセンサは、透明カバーを介して、例えば赤外線(IR)光のような光を送受信することができる。センサポッド10は、障害物がロボット真空掃除機1の前方のみならず、その側方において検出可能とされるように、様々な方向に向けられているセンサアレイを収容している。また、下方に面しているセンサは、クリフセンサと呼称される場合があるが、ロボット真空掃除機1が停止することができるように、及び/又はロボット真空掃除機1が例えば階段のような段差(drop)を乗り越える前にロボット真空掃除機1がロボット真空掃除機1の移動方向を調整することができるように、床面の段差を検出することができる。ロボット真空掃除機1が物理的接触センサとして可動式バンパー部分を利用する場合がある一方、ロボット真空掃除機1は、障害物との物理的接触を記録するために、別体のシャーシと本体2の本体部分との間における相対的移動を検出するためのバンパーセンサを有している。
【0024】
図2は、移動ロボット1の視覚システム8の分解図である。視覚システム8の様々な部品が、軸線方向において一点破線Xに沿って互いから分離されている。視覚システム8は、カメラ12と照明システム14との両方を形成している複数の構成部品、例えばレンズモジュール20、レンズモジュール保持部22、視覚システム取付部24、画像センサ31が配設された印刷回路基板(PCB)30、センサ取付部32、光発光ダイオード(LED)27の形態をした複数の光源が配設された第2のPCB28、及び光透過性カバー34を備えている。レンズモジュール20は、魚眼レンズモジュールであって、センサ取付部32によって画像センサ31に取り付けられている。センサ取付部32は、ネジ33によって、画像センサ31を覆うようにPCB30に取り付けられている。センサ取付部32は、レンズモジュール20と画像センサ31とを位置合わせすることを目的として、画像センサ31とレンズモジュール20との間に据え付けられている機械的構成部品である。画像センサ31は、カメラで典型的に利用される任意のセンサとされる。画像センサ31としては、例えば電荷結合素子(CCD)センサや相補型金属酸化膜半導体(CMOS)が挙げられる。センサ取付部32の代替的なセンサ取付部の実施形態については、
図8、
図9、及び
図10に関連して以下に説明する。
【0025】
8つのLED27が、第2のPCB28に環状に配置されている。第2のPCB28は、LED27がレンズモジュール20の周りに環状に配置されるように、レンズモジュール20を挿入するための穴を形成している。言うまでもなく、LEDの数量が異なる場合があり、視覚システムの照明要件に従って視覚システムが2つ以上のLED27を備えている場合があることに留意すべきである。LEDは、電磁スペクトルの可視領域の光を生成するが、代替的な実施例では、例えば赤外線光や近赤外線光のようなスペクトルの他の領域の光を生成する場合もある。
【0026】
視覚システム取付部24は、組立済みの視覚システム8を移動ロボット1に取り付けるために利用される。視覚システム取付部24は、8つの穴26を備えており、8つのLED27は、8つの穴26を通じて突出している。また、穴26の数量が、LED26の数量に合わせるために変更可能であることに留意すべきである。さらに、視覚システム取付部24は、複数のフィン25を備えており、フィン25はそれぞれ、隣接する穴26同士の間に位置決めされている。フィン25は、LED27によって生成される光を分割するように機能し、これにより光の指向性が一層明確になる。視覚システム取付部24は、例えばマグネシウムのような金属材料から形成されており、LED27から放熱するためのヒートシンクとして機能する。これにより、LED27がオーバーヒートする危険性が低減され、LED27から発生する熱がレンズモジュール20を損傷させることが防止されるので、LED27の耐用寿命を延ばす助けとなる。ヒートシンクとしての視覚システム取付部24の効果を高めるために、ヒートシンク29は、ヒートシンク取付部24aを介して視覚システム取付部24に固定されている。
【0027】
レンズモジュール取付部22は、レンズモジュール20の周りに嵌め込まれており、レンズモジュール20を視覚システム取付部24に取り付けるように機能する。反射面23は、レンズモジュール保持部22の外面から径方向外方に突出している。反射面23は、LED27から外方に放射される光を反射するように機能する環状の半放物線面鏡を形成しているが、このことについては以下に詳述する。
【0028】
光透過性カバー34は、開口部35を形成しており、レンズモジュール保持部22及びレンズモジュール20の頂部が、開口部35を通じて突出している。従って、光透過性カバー34は、視覚システム8の照明システム14を覆っており、視覚システム8の照明システム14を保護しているが、可能な限り高品質の画像をキャプチャーするためにカメラ12を露出させたままになっている。
【0029】
図3は、視覚システム8と移動ロボット1の一部分との断面図である。視覚システム8は、移動ロボット1の頂面3の上方に部分的に突出している。画像センサ31は、移動ロボット1の頂面3の下方に位置決めされており、レンズモジュール20は、画像センサ31の頂面から視覚システム8の頂点に至るまで延在している。
図4は、例示的な魚眼レンズモジュールの断面図である。複数のレンズ42,44,46,48が、レンズモジュール本体40の内部に保持されている。
図3に表わすように、LED27は、移動ロボット1の頂面3の下方に位置決めされており、このことは、LED及びPCBの損傷を防止することに貢献する。しかしながら、LED27から放出された光は、領域Yのような移動ロボットの周囲の環境を照明するために、光透過性カバー35を通じて外側に向かって上方に方向づけられている。
【0030】
図5は、LED27からの光をレンズモジュール20から離隔するように方向づけるように機能するための、環状の半放物面鏡であるレンズモジュール保持部22の反射面23の役割を表わす。結論として、LED27からの光は、レンズモジュール20に直接進行することはできないので、過度の光度で視覚システムの視界を効果的に失わせるように作用する。反射面23は、レンズモジュール保持部22の外面からラジアル方向外方に突出しているフランジの下面に設けられており、フランジは、LED27からの光が真っすぐ上方に進行することができないように、LED27を越えてラジアル方向外方に延在している。LED27からの光が真っすぐ上方に進行することができる場合には、これにより、移動ロボット1の上方の天井における照明の集合である輝点が生じるので、再び過度の光度で視覚システムの視界を効果的に失わせるように作用する。その代わりに、例示的な照明光U,V,Wは、反射面23が光を移動ロボット1の周囲環境に向かってラジアル方向外方に反射する様子を表わす。
【0031】
さらに、
図3に表わすように、反射面23は、移動ロボット1の頂面3の僅かに上方に至るまで延在しているので、LED27からの光は、移動ロボット1の頂面3に対して平行とされる水平方向に延在可能とされる。その結果として、照明システムは、移動ロボットの両側面に対する領域さえ照明することができる。
【0032】
図6は、視覚システム取付部24の上面図である。LED27は、穴26それぞれを通じて突出している。LED27それぞれが、照明領域A~Hを照明するように作用する光を発生させる。例えば、LED27Aは照明領域Aを照明し、LED27Bは照明領域Bを照明する。このような分割効果は、フィン25によって際立てられる。フィン25の頂部は、視覚システム8が組み立てられた場合にフィンの頂部が反射面の湾曲形状に追従するように形成されているので、これにより特定のLEDの照明領域からの自身の光の漏れが低減される。LED27A~27Hそれぞれは個々に制御可能とされるので、必要とされる環境の一部のみに照明を形成することができる。このことは、無駄な電力を最小限に抑えることに、ひいては製品のバッテリー寿命を延ばすことに貢献する。バッテリー寿命を延ばすことによって、移動ロボットの稼働時間が長くなり、再充電のために充電ステーションに戻らなくてはならなくなるまでに清掃可能な床面積が拡大される。照明領域A~H全体の領域は、移動ロボット1全体の周囲360°に延在する完全な照明領域に達する。
【0033】
第2の実施例では、LEDは共に、制御を単純化するためにグループ化されている。例えば、LED27A,27Bが第1のグループとされ、LED27C,27Dが第2のグループとされ、LED27E,27Fが第3のグループとされ、LED27G,27Hが第4のグループとされる。これらグループは、独立して制御可能とされる。これにより、移動ロボットは、8つのLED27が独立して制御可能とされる八分円単位の照明制御とは対照的に、四分円単位の照明制御が可能となる。他のグループ分け及びLEDグループの数量は、視覚システム及び移動ロボットの仕様に従って選択可能とされることに留意すべきである。
【0034】
図7Aは、視覚システム8によってキャプチャーされた球状画像70の代表図である。球状画像70は、LED照明領域A~Hに対応する分割領域72の数量に分割可能とされる。処理の際に、球状画像70は、矢印Q,Rによって示すように分割及び展開され(unwrap)、展開された矩形状画像74は、移動ロボット1全体の周囲360°のビューを表わす。球状画像70の分割領域72は、矩形状画像74の分割画像76に対応している。移動ロボット1の動作中に、照明システム14は、カメラによってキャプチャーされた環境の、分割領域A~Hに対応する任意の領域の明度を上げるために利用可能とされる。例えば、移動ロボット1の前方の領域が暗い場合、例えば移動ロボット1が明るい部屋から暗い部屋に進行している場合には、前方に面している分割領域A,Bが、球状画像70及び矩形状画像74において一層暗く見える。従って、移動ロボット1の制御システムは、分割領域A,Bに対する照明を一層強くするために、LED27A,27Bに対する電力を増大させることができ、移動ロボットは動作し続けることができる。照明システムの制御については、
図11~
図14を参照して以下に詳述する。
【0035】
図8は、PCB80の画像センサに取り付けられているセンサ取付部82の代替的な実施例を表わす。
図2に関連して上述したセンサ取付部32は、ネジ33を介して、画像センサ31及びPCB30に取り付けられていた。ネジは、画像センサ31及びセンサ取付部32を、ひいてはレンズモジュールを良好に位置合わせされた状態に維持することに貢献する。しかしながら、
図8に表わす代替的な実施例では、ネジが、センサ取付部82を画像センサに取り付けるために利用されていない。従って、代替的な実施例のセンサ取付部82は、受動的位置合わせのセンサ取付部82とも呼称される。受動的位置合わせのセンサ取付部82は、レンズ又はレンズモジュールと係合可能とされる係合部分83を備えている。当該実施例では、係合部分83のネジ山は、レンズ又はレンズモジュールが受動的位置合わせのセンサ取付部82に螺合可能とされるように、レンズ又はレンズモジュールのネジ山に適合している。
【0036】
受動的位置合わせのセンサ取付部82は、画像センサとレンズ又はレンズモジュールとの間に据え付けられる機械的構成部品とされる。上述のセンサ取付部32と同様に、受動的位置合わせのセンサ取付部82の目的は、レンズ又はレンズモジュールと画像センサとを位置合わせすることである。しかしながら、当該例示では、受動的位置合わせのセンサ取付部82は、例えばネジを介した外部入力が無くとも、機械的手段のみによって、画像センサ上の中心で合焦した画像を生成する必要がある。また、センサ取付部82は、合焦のために必要な相対移動を可能とする必要がある。
【0037】
図9は、受動的位置合わせのセンサ取付部82の下面図である一方、
図10は、
図9に示す断面P-Pにおける受動的位置合わせのセンサ取付部82の断面図である。x軸方向における位置合わせが、画像センサの側面に作用する第1の変形可能なプラスチック要素84によって達成される。これにより、受動的位置合わせのセンサ取付部82の本体に一体化されている第1の垂直データム86に抗して画像センサを押圧する力が、矢印Mで表わすように発生する。同様に、y軸方向の位置合わせは、画像センサの別の側面に作用する第2の変形可能なプラスチック要素88によって達成される。これにより、受動的位置合わせのセンサ取付部82の本体に一体化されている第2の垂直データム89に抗して画像センサを押圧する力が、矢印Nで表わすように発生する。画像センサを第1の垂直データム86及び第2の垂直データム89に抗して押圧することによって、画像センサの軸線が、受動的位置合わせのセンサ取付部82の軸線に位置合わせされる。
【0038】
z軸に関しては、画像センサの最上層を第3のデータムとして利用し、レンズの“ピッチ”軸及び“ヨー”軸に対応するレンズの光軸と画像センサパッケージガラスの法線ベクトルとを位置合わせすることによって、受動的位置合わせのセンサ取付部82が、画像センサの最上層を形成する画像センサパッケージガラスの頂部に載置されている。“ロール”軸は、合焦を目的として回転するために自由な状態になっている。このような一連の応答が、レンズ、センサ取付部、及び画像センサ封止型の製造公差に至るまで誤差を最小限に抑えた状態で位置合わせを形成する。
【0039】
上述のように、受動的位置合わせのセンサ取付部82は、受動的な機械的手段のみによって、x軸方向及びy軸方向並びにピッチ軸及びロール軸におけるレンズと画像センサとの位置合わせを可能とする。受動的位置合わせのセンサ取付部82のさらなる利益は、第1の変形可能なプラスチック要素84及び第2の変形可能なプラスチック要素88の弾性に起因して、受動的位置合わせのセンサ取付部82が構成部品を損傷させることなく脱着可能とされることである。
【0040】
図11は、移動ロボット1の実施例の概略的な代表図である。照明制御アルゴリズムは、移動ロボット1の制御システム90で実行される。制御システム90は、プロセッサ91と画像処理ユニット92と航行ユニット93とを備えている。制御システム90は、移動ロボット1の他のシステムを制御するための、
図11に表わさない他のユニットを備えている場合がある。例えば、制御システムは、移動ロボットによって実行されるタスク、例えば真空清掃作業を制御するためのタスク制御ユニットをさらに備えている場合がある。
【0041】
視覚システム8は、カメラ12と照明システム14とを備えている。上述のように、カメラ12は、移動ロボット1を囲んでいる領域の画像をキャプチャーすることができる。例えば、カメラ12は、天井の画像をキャプチャーするために上方に方向づけられているカメラ、移動ロボット1の前進方向における画像をキャプチャーするために前方に面しているカメラ、移動ロボット1を囲んでいる領域の360°ビューをキャプチャーするパノラマ環状レンズ(PAL)カメラ、又は移動ロボット1を囲んでいる領域の360°ビューをキャプチャーすることができる魚眼レンズカメラとされる。
【0042】
照明システム14は、移動ロボット1が低照度状態の環境に、すなわちカメラ12によってキャプチャーされる画像の明暗差が乏しい場所に配置されている場合に、カメラ12によってキャプチャーされる画像の品質を向上させることができる。照明システム14は、図示の如く、従前の図面に表わすLEDに対応する複数のLED27A~27Hを備えている。LED27A~27Hそれぞれが、電力をLEDに送るために利用される対応するLEDドライバ94A~94Hを有している。LED27A~27Hは、カメラ12によってキャプチャーされた画像の品質を向上させるために、カメラのセンサが検出可能とされる帯域幅の光を放出する。例えば、LEDによって放出された光は、電磁スペクトルの可視領域内、近赤外線(NIR)領域内、又は赤外線(IR)領域内とされる。可視光は、特に照明システムが正確にかつ効果的に機能していることをロボットの所有者が一層容易に決定することができるので、特に有益であることが発見されている。
【0043】
また、制御システム90は、移動ロボット1の環境において移動ロボット1の運動を制御することに貢献する。視覚システム8によって収集された画像及び他のデータは、制御システム90の航行ユニット93に送られる。航行ユニット93は、例えば同時位置決め地図作成(SLAM)ユニットとされる。SLAMユニットは、画像に表わされた移動ロボット1を囲む領域内に目標物(landmark feature)を発見するために当該画像を分析するために利用される。目標物は、例えばテーブルの縁部や額縁の角部のような、画像内から容易に検出される高い明暗差を有している地物とされる。画像の分析の一部又はすべてが、画像処理ユニット92によって実行される。目標物は、航行ユニット93によって、環境内における移動ロボットの位置又は姿勢を三角測量し決定するために利用される。航行ユニット93は、移動ロボット1が当該環境を解釈及び航行するために利用する当該環境のマップを生成するために、移動ロボット1の他のセンサからキャプチャーされた画像及びデータからの情報を利用することができる。
【0044】
命令は、制御システム8から、移動ロボット1を移動させる駆動システム98に送られる。駆動システム98は、
図1に表わすように、左舷側(LHS)牽引ユニット99Aと右舷側(RHS)牽引ユニット99Bとを備えている。左舷側牽引ユニット99A及び右舷側牽引ユニット99Bそれぞれが、移動ロボット1が操縦可能とされるように、独立して制御可能とされる。例えば、RHS牽引ユニット99BがLHS牽引ユニット99Aより速く前方方向に駆動される場合には、移動ロボット1は、移動ロボット1が前方に移動するに従って左に転向する。また、さらなる例示として、LHS牽引ユニット99AとRHS牽引ユニット99Bとがそれぞれ同一の速度で逆方向に駆動される場合には、移動ロボット1はその場で回転する。
【0045】
また、移動ロボット1は、周囲環境と当該周囲環境における移動ロボット1の姿勢とに関する情報を移動ロボット1に付与するセンサ95から成るシステムを備えている。センサシステム95は、バンプセンサ96とジャイロ測定システム97とを含んでいる。ジャイロ測定システム97は、慣性計測ユニット(IMU)97Aと走行距離計97Bとを含んでいる。走行距離計97Bは、(例えば車輪の回転数を利用することによって)牽引ユニットが進行した距離を示すためのデータを、駆動システム98から受ける。バンプセンサ96は、障害物との物理的接触が発生した時期を移動ロボット1に知らせる。バンプセンサ96からの信号に応答して、移動ロボット1は、例えば停止し、及び/又は移動ロボット1の位置及び軌道を調整することができる。これにより、移動ロボット1が移動ロボット1又は移動ロボット1と接触している障害物を損傷させることが防止される。センサシステム95は、
図11に表わさない他のセンサを、例えばPSDセンサやToFセンサのような1つ以上の近接センサを備えている場合がある。近接センサは、移動ロボット1の近傍の障害物の情報を付与することができる。これにより、移動ロボット1は、障害物に接触することなく当該接触物を回避することができる。
【0046】
照明システムの制御方法について、以下に詳述する。
【0047】
図12は、移動ロボット1の照明システム14を制御するために利用されるアルゴリズム100の入力及び出力を表わすフロー図である。照明アルゴリズムは、LED制御値108を提供するために利用される3つの入力、すなわち露光時間102、カメラ12から得た画像104、及び移動ロボット1の回転に関する情報106を有している。
図12は、照明アルゴリズム100の出力としての単一のLED制御値を表わす。しかしながら、複数のLEDの制御が複数のLED制御値を必要とする場合には、2つ以上のLED制御値108が発生する場合があることに留意すべきである。
【0048】
照明アルゴリズム100は、暗い領域であっても航行ユニット93を確実に動作させることができるバランスされた光を提供するように、照明システム14を制御する。照明アルゴリズム100は、カメラ12によってキャプチャーされたフレームを1つずつ分析し、照明システム14からの照明を強くする必要性について評価する。アルゴリズムの実行周波数は、カメラ12によってフレームがキャプチャーされる周波数と同一である。
【0049】
露光時間102が計算され、照明アルゴリズム10に送られる。照明システム14は、計算された露光時間102が閾値を超えた場合に限り動作する。このことは、通常の照明条件下においては、電力の不要な浪費を防止することによって移動ロボットの稼働時間を低減させるために、典型的には照明システムが停止していることを意味する。露光時間102は、露光制御アルゴリズムによって計算されるが、露光制御アルゴリズムの詳細は、本発明の技術的範囲外である。しかしながら、例えば露光値を計算するために利用される計測アルゴリズムのような、多くの周知の方法が存在することに留意すべきである。適用される方法の詳細については、本明細書の目的に鑑みて不要である。
【0050】
移動ロボット1が回転する場合には、移動ロボット1の回転に関する情報106が、光をシフトさせるために、照明アルゴリズム100によって利用される。情報106は、ジャイロ測定システム97から得られる。移動ロボット1の回転に関する情報106を利用することなく、アルゴリズムは、照明を調整することができるが、アルゴリズムが新しい画像フレームを評価し、必要な調整をするのに時間を要する。このような調整時間の間に、画像の品質が、飽和したピクセル又は非常に暗いピクセルによって損なわれるので、当該画像は、移動ロボットの航行に悪影響を及ぼす。しかしながら、移動ロボット1の回転に関する情報106を利用することによって、アルゴリズムは、移動ロボット1の周囲環境の必要な領域において照明を維持するために、移動ロボットの回転方向の逆方向に光を遥かに高速にシフトさせることができる。
【0051】
図13は、照明アルゴリズム100の実行の際に行われるステップを表わすフロー図である。照明アルゴリズム100は、ステップ110で開始され、ステップ112における最初のアクションは、カメラ12から新しいフレーム102を獲得して、新しいフレーム102を分割領域に分割することである。フレーム102は、
図7Bに表わすような、画像処理ユニット92によって展開された矩形状画像である。分割領域は、
図6、
図7A、及び
図7Bに関連して上述した分割領域及び照明領域A~Hに対応する。
【0052】
ステップ114では、所定期間TXより長い間、計算された露光時間TEXP102が境界露光時間TTHRESHより短い場合に、照明システムが不要であると決定し、ステップ115において、LED電力LPが低減される。LED電力LPのこのような低減の結果として、TEXPがTXより小さい状態を維持している間、フレームそれぞれが分析されるので、LEDが徐々に暗くなり消灯される(dim to zero)。このことは、滑らかに且つ徐々に照明を変化させる効果が得られるように選択される。しかしながら、代替的には、LEDの電源を即座に落としても良い。
【0053】
所定の期間TXより長い間(すなわち、閾値より大きい)、計算された露光時間TEXP102が境界露光時間TTHRESHより短い場合に、照明システムが必要であることが決定され、アルゴリズムは、次のステップの間において次の分割領域A~Hが対象領域として選択されるステップ116に進む。
【0054】
150ミリ秒(0.15秒)の境界露光時間TTHRESHと3秒の所定の期間TXとが、最適なバランスを提供することが発見されている。しかしながら、50ミリ秒~300ミリ秒(0.05秒~0.3秒)のTTHRESHが選定され、1秒~5秒のTXが選定される場合がある。TTHRESH及びTXについて、移動ロボットの要件がこれら範囲外の他の値を必要とする場合には、これら範囲外の他の値が選定される場合もある。
【0055】
選択された分割領域の平均明度は、ステップ118において計算される。平均明度は、分割領域のピクセル強度の平均(mean average)を利用して計算される。
【0056】
分割領域それぞれについての平均強度すなわち明度は、(数式1)を利用して計算される。ここで、swは分割領域の幅であり、shは分割領域の高さである。例えば8つの分割領域から成る1024×128画像の場合には、sw=128且つsh=128である。また、4つの分割領域から成る異なる1024×128画像の実施例では、sw=256且つsh=128である。この(数式1)は、すべてのピクセルのついて強度の合計を計算し、強度の合計を分割領域の総ピクセル数で除算する。
【0057】
【0058】
(数式1)で計算された平均強度は、(数式2)を利用して平均明度として分類される。2つの所定のパラメータa,bは、画像の明度を決定するために利用される。分割領域についての平均強度がaとbとの間にある場合には、当該分割領域の明度は通常であるとみなされる。分割領域についての平均強度がbより大きい場合には、当該分割領域は明るいとみなされる。最後に、分割領域についての平均強度がaより小さい場合には、当該分割領域は暗いとみなされる。
【0059】
【0060】
ステップ120では、選択された分割領域についての分類された平均明度が“通常”である場合には、アルゴリズムは、分割領域が処理すべきフレームに残っているか否か決定するためのチェックを実行するステップ122に直接進行する。依然として分割領域が残っている場合には、アルゴリズムは、ステップ116に戻り、フレーム中の次の分割領域を対象領域として選択し、明度計算と分類化ステップとを繰り返す。
【0061】
代替的には、ステップ120において、選択された分割領域についての分類化された平均明度が“暗い”場合には、アルゴリズムは、代わりに、当該選択された分割領域を照明するためのLEDに対するLED電力LPが増大されるステップ121Aに進行する。このことは、増大されたLP値をLED27のためのLEDドライバ94に送ることによって実行される。その後に、上述のように、アルゴリズムはステップ122に進行する。
【0062】
代替的には、ステップ120において、選択された分割領域についての分類された平均明度が“明るい”場合には、当該選択された分割領域を照明するためのLEDに対するLED電力LPが低減される。このことは、低減されLP値をLED27のためのLEDドライバ94に送ることによって実行される。その後に、上述のように、アルゴリズムはステップ122に進行する。
【0063】
フレーム中のすべての分割領域が処理されると、ステップ122において、アルゴリズムは、ジャイロ測定システム97から得た移動ロボットの回転に関する情報106を利用することによって、移動ロボット1が回転しているか否か決定するステップ124に進行する。移動ロボットが回転してない場合には、アルゴリズムは、ステップ112に戻り、カメラから新しいフレーム104を取得し、処理を繰り返す。しかしながら、移動ロボットが回転している場合には、アルゴリズムは、ステップ126に進行し、移動ロボットの検出された回転角度に関して適切な数量の分割領域によって、移動ロボットの回転に対する逆方向にLED電力(LP)値をシフトさせる。例えば、8つのLED分割領域が存在する場合には、アルゴリズムは、関連するLP値を、回転方向に対する逆方向に45°当たり一の分割領域シフトさせる。
【0064】
例えば
図7A及び
図7Bに表わす画像分割領域と
図6に表わす対応するLED27A~27Hとを考慮すると、[表1]の第一列は、第1のロボットの姿勢における、LED27A~27HそれぞれのついてのLP値を表わす。当該姿勢では、移動ロボット1の前方に暗い領域が存在するので、移動ロボット1の前方に向かって方向づけられているLED27A,27Bがかなり明るくなっており、移動ロボット1の右端及び左端に向かって方向づけられているLED27C,27Dが僅かに明るくなっている。[表1]の第二列は、第2の移動ロボットの姿勢における、LED27A~27HそれぞれのついてのLP値を表わす。第2の移動ロボットの姿勢では、移動ロボットが時計回りに90°回転されていることを除いて、すべての因子は同一である。90°時計回りに回転した後に、移動ロボットの左側に向かって方向づけられているLED27C,27Dは、暗い領域に面しており、アルゴリズムがLP値を反時計回りに2つの分割領域分シフトさせることによって明るくなる。
【0065】
【0066】
言うまでもなく、移動ロボットが十分に低速で回転している場合には、アルゴリズムは光をシフトさせる必要が無い。明度計算によって、照明が十分に調整されるからである。回転速度が所定の閾値より高い場合には、回転のみが考慮される。
【0067】
ステップ126において、アルゴリズムによってLP値が必要な量シフトされると、アルゴリズムは、ステップ112に戻り、カメラから新しいフレーム104を獲得し、処理を繰り返す。
【0068】
図13に表わすフロー図に示すステップを利用するアルゴリズムは、照明システムが発生させる光の僅かな“変動”を結果として招く。変動は、照明システムが発生させる照明が急速に変化する場合に生じることがある。例えば、明るい環境から暗い領域に侵入する場合や急速に明るくなる場合に、結果として画像の明度が過剰に高くなることがある。このことを相殺するために、アルゴリズムは、照明を低下させるので、画像の明度が過剰に低くなる。このような変動効果を防止するために、周囲の光において検出された変化が持続的且つ連続的であることを確保するための僅かな遅延を、照明のレベルを変更する前に加えることが必要とされる。さらに、照明の遷移を僅かに遅らせ滑らかにすることが必要とされる。しかしながら、移動ロボットは、航行システムが継続的に妨害されないように十分急速に周囲の光の変化に応答することが必要とされる。
【0069】
図14は、変動の問題を処置する
図13に表わす照明アルゴリズムの一部についての代替的なステップを表わすフロー図である。ステップ118,120は
図13に表わす当該ステップと同一であるが、その他のステップは相違する。当該方法には、光量増加要求(LIR)と光量減少要求(LDR)とが導入されている。
【0070】
ステップ120において平均明度が“通常”として分類された場合には、アルゴリズムはステップ130に進行し、ステップ130では、LIR値及びLDR値が零にリセットされ、LED電力(LP)が一定に維持される。アルゴリズムは、画像分割領域それぞれについて、
図13に表わすアルゴリズムと同様に繰り返す。このことは、フロー図を単純化するために、
図14にステップ160として表わされている。
【0071】
ステップ120において平均明度が“暗い”として分類された場合には、アルゴリズムは、現在選択されている分割領域についてのLIR値が増加されるステップ140に進む。当該実施例では、LIR値は1増加する。その後に、ステップ142において、明度が“暗く”且つ現在のLIR値が所定の閾値thrLIRより大きいという条件が満たされる場合に、分割領域についてのLED電力LPが増加し(LP=LP+1)、LIR値は零にリセットされる(LIR=0)。その後に、ステップ160において、アルゴリズムは、画像分割領域それぞれについて繰り返す。
【0072】
ステップ120において平均明度が“明るい”として分類された場合には、アルゴリズムは、現在選択されている分割領域についてのLDR値が増加されるステップ150に進む。当該実施例では、LDR値は1増加する。その後に、ステップ152において、明度が“明るく”且つ現在のLDR値が所定の閾値thrLDRより大きいという条件が満たされる場合に、分割領域についてのLED電力LPが減少し(LP=LP-1)、LDR値は零にリセットされる(LDR=0)。その後に、ステップ160において、アルゴリズムは、画像分割領域それぞれについて繰り返す。
【0073】
現在のフレームすなわち画像についてのすべての分割領域が処理されると、アルゴリズムは、当該アルゴリズムが
図13に表わすステップ124,126に関連して説明した通りに移動ロボットの回転に関するLP値を調整するステップ162に進行する。LP値がロボットの回転のために調整されると、アルゴリズムは、すべてのLP値がLEDドライバそれぞれに送られるステップ164に進行する。アルゴリズムは、当該アルゴリズムのステップ112に再度戻り、新しいフレームを獲得する。
【0074】
従って、まとめると、(数式3)は、どのようにして明度が画像に干渉するのかを表わす。画像が暗い場合には、LIRが増加される。明度が通常である場合には、光量増加要求LIRと光量減少要求LDRとがリセットされる。明度が明るい場合には、LDRが増加される。
【0075】
【0076】
光量を変化させることによって、照明レベルの変化の移行が滑らかになる。さらに、照明の変化が発生する前にLIR値及びLDR値を閾値より大きくする必要性があるので、これにより当該変化の際に遅延が生じる。アルゴリズムについて当該方法を利用することによって、光量の変動が解消される。
【0077】
当該方法のさらなる利益は、増加/減少要求thrLIR,thrLDRの数について閾値を変化させることによって、照明の変化速度が容易に調整可能となることである。閾値が比較的高いと、変化の速度が減少する一方、閾値が比較的低いと、変化の速度が増加する。
【0078】
上述のアルゴリズムでは、LED電力の変化が+1又は-1として記述されていることに留意すべきである。このことは、光の変化についての一の段階に対応する。光の変化についての一の段階は、LEDドライバに適用可能とされる最小の変化量として定義されている。このことが、LEDドライバ及び電気的特性に依存していることは明白である。例えば、LED光が0%~100%の範囲内にある場合には、一の段階が1%の変化として定義されている。一の段階は、移動ロボットの仕様又は利用者の希望に従って異なるように定義されていても良い。照明レベルの段階は、所望の光出力と移行の滑らかさとのバランスで決定される。照明レベルは、利用者が光量の変化を知覚することができない程度に小さく、画像処理のために許容可能な時間内に最大光量に到達することができる。
【0079】
代替的には、LED電力の漸進的な変化の代わりに、LPの比較的大きい変化が計算された場合に、LPが、増加が滑らかであると利用者に印象を与えるように、別々のレベルでLEDドライバに送られる。
【0080】
特定の実施例について説明したが、特許請求の範囲によって定義される本発明の技術的範囲から逸脱しない限り、当該特定実施例を含む様々な変化例を実施可能であることに留意すべきである。
【符号の説明】
【0081】
1 ロボット真空掃除機
2 本体
3 (本体2の)頂面
4 分離装置
5 トラクションユニット
6 掃除機ヘッド
8 視覚システム
10 センサポッド
12 カメラ
14 照明システム
20 レンズモジュール
21 分離装置
22 レンズモジュール保持部
23 反射面
24 視覚システム取付部
24a ヒートシンク取付部
25 (視覚システム取付部24の)フィン
26 (視覚システム取付部24の)穴
27 光発光ダイオード(LED)
27A 光発光ダイオード(LED)
27B 光発光ダイオード(LED)
27C 光発光ダイオード(LED)
27D 光発光ダイオード(LED)
27E 光発光ダイオード(LED)
27F 光発光ダイオード(LED)
28 第2のPCB
29 ヒートシンク
30 印刷回路基板(PCB)
31 画像センサ
32 センサ取付部
33 ネジ
34 光透過性カバー
40 レンズモジュール本体
42 レンズ
44 レンズ
46 レンズ
48 レンズ
70 球状画像
72 分割領域
74 矩形状画像
76 分割画像
80 PCB
82 センサ取付部
83 係合部分
84 第1の変形可能なプラスチック要素
86 第1の垂直データム
88 第2の変形可能なプラスチック要素
89 第2の垂直データム
90 制御システム
91 プロセッサ
92 画像処理ユニット
93 航行ユニット
94A LEDドライバ
94B LEDドライバ
94C LEDドライバ
94D LEDドライバ
94E LEDドライバ
94F LEDドライバ
94G LEDドライバ
94H LEDドライバ
95 センサ(システム)
96 バンプセンサ
97 ジャイロ測定システム
97A 慣性計測ユニット(IMU)
97B 走行距離計
98 駆動システム
100 照明アルゴリズム
102 露光時間
104 カメラ12から得た画像
106 移動ロボット1の回転に関する情報