特開 2024-74658 自律走行型の掃除ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024074658

(43)【公開日】2024-05-31

(54)【発明の名称】自律走行型の掃除ロボット

(51)【国際特許分類】

   A47L 9/28 20060101AFI20240524BHJP

   G01N 21/359 20140101ALI20240524BHJP

   G01N 21/27 20060101ALI20240524BHJP

【ＦＩ】

A47L9/28 E

A47L9/28 L

G01N21/359

G01N21/27 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022185962

(22)【出願日】2022-11-21

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】山本 率矢

(72)【発明者】

【氏名】荒木 克典

(72)【発明者】

【氏名】勝浦 高明

【テーマコード（参考）】

2G059

3B057

【Ｆターム（参考）】

2G059AA05

2G059BB08

2G059CC09

2G059EE01

2G059EE02

2G059EE13

2G059FF01

2G059HH01

2G059HH02

2G059HH06

2G059KK04

2G059MM01

2G059MM05

2G059MM09

2G059MM10

3B057DA00

(57)【要約】

【課題】液体に接触しなくても濡れた場所を高い精度で検知して回避できるようにする。
【解決手段】自律走行型の掃除ロボット１である。床面の上を走行するロボット本体２の進路前方の床面を撮像し、光照射部１０が照射する赤外光のうち、水による吸光が認められる特定波長の赤外光を含む光を検出する特定赤外光撮像センサ１２、特定赤外光撮像センサ１２が出力する赤外光信号を受信する制御部２０などを備える。制御部２０が、ロボット本体２の進路前方の床面に存在する濡れ場所Ｗの有無を赤外光信号に基づいて判断し、それによって掃除ロボット１の運転を変更する。
【選択図】図６

【特許請求の範囲】

【請求項1】

自律走行型の掃除ロボットであって、
床面の上を走行するロボット本体と、
前記ロボット本体の下面に設けられて前記床面を掃除する掃除部と、
前記ロボット本体の進路前方に向けて、水による吸光が認められる特定波長を含む赤外光を照射する光照射部と、
前記ロボット本体の進路前方の前記床面を含む領域を撮像し、前記光照射部が照射する赤外光のうち、前記特定波長の赤外光を含む光を検出する特定赤外光撮像センサと、
前記特定赤外光撮像センサが出力する赤外光信号を受信する制御部と、
を備え、
前記制御部が、前記ロボット本体の進路前方の前記床面に存在する濡れ場所の有無を前記赤外光信号に基づいて判断し、それによって前記掃除ロボットの運転を変更する掃除ロボット。

【請求項2】

請求項１に記載の掃除ロボットにおいて、
前記特定波長が９３０ｎｍ以上１０３０ｎｍ以下である掃除ロボット。

【請求項3】

請求項２に記載の掃除ロボットにおいて、
前記特定赤外光撮像センサが、可視光を検出するカメラとすくなくとも前記特定波長の赤外光を含む光を透過し、可視光を遮断する光学フィルタを有し、当該光学フィルタで透過した赤外光を前記カメラで受光するように構成されている掃除ロボット。

【請求項4】

請求項１～３のいずれか１つに記載の掃除ロボットにおいて、
可視光を検出して前記ロボット本体の進路前方の前記床面を含む領域を撮像するカメラからなる可視光撮像センサを更に備え、
前記制御部が、前記可視光撮像センサが出力する可視光信号を受信し、前記赤外光信号と前記可視光信号とに基づいて前記濡れ場所の有無を判断する掃除ロボット。

【請求項5】

請求項１に記載の掃除ロボットにおいて、
前記制御部が、前記濡れ場所の有無を判断するために予め設定された学習済み機械学習モデルを有し、前記赤外光信号を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する掃除ロボット。

【請求項6】

請求項４に記載の掃除ロボットにおいて、
前記制御部が、前記濡れ場所の有無を判断するために予め設定された学習済み機械学習モデルを有し、前記赤外光信号および前記可視光信号を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する掃除ロボット。

【請求項7】

請求項６に記載の掃除ロボットにおいて、
前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像と前記可視光信号を処理して得られる可視光画像とを合成して合成画像を作成し、当該合成画像を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する掃除ロボット。

【請求項8】

請求項６に記載の掃除ロボットにおいて、
前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像を第１の前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する第１判断処理と、前記可視光信号を処理して得られる可視光画像を第２の前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する第２判断処理と、を実行し、
前記第１判断処理と前記第２判断処理の双方に基づいて前記濡れ場所の有無を総合的に判断する掃除ロボット。

【請求項9】

請求項４に記載の掃除ロボットにおいて、
前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像と前記可視光信号を処理して得られる可視光画像との差分を用いて前記濡れ場所を判断する掃除ロボット。

【発明の詳細な説明】

【技術分野】

【0001】

開示する技術は、一般家庭向けの自律走行型の掃除ロボットに関し、特に濡れた場所を検知する技術に関する。

【背景技術】

【0002】

近年、障害物を回避しながら走行し、床面を自動的に掃除するロボット（自律走行型の掃除ロボット、以下単に掃除ロボットともいう）が注目されている。掃除ロボットは、ブラシで塵埃を巻き上げ、吸引して掃除するタイプが一般的であるが、モップなどで汚れを拭き取って掃除するタイプやこれらを併用したタイプも実用化されている。

【0003】

コンピュータ技術の進歩により、掃除ロボットは、家具、家電製品、インテリアなどの室内に常備されている障害物については、比較的高い精度で検知でき、これらを回避して床面を走行できるようになってきている。

【0004】

しかし、ペットの尿や零れ落ちた飲料などにより、床面の一部が濡れている場合があり得る。

【0005】

濡れた場所を掃除ロボットが掃除すると、掃除ロボットが液体を吸い込んで故障するおそれがある。また、濡れた場所を通過して掃除ロボットが走行を続けると、その液体による汚れを拡散するおそれもある。従って、掃除ロボットは、走行経路に存在する濡れ場所を事前に検知して、回避する必要がある。

【0006】

濡れ場所を検知する従来技術は、例えば特許文献１に開示されている。具体的には、その実施の形態２に、電極間に所定の電圧を印加した一対の電極で液体の有無を検知する技術が開示されている。電極が液体に触れると電極間の抵抗値が変化する。その抵抗値を所定の閾値と比較し、液体の有無を検知する。

【0007】

なお、特許文献１の実施の形態１にカメラで撮影した画像から液体を検知することが記載されているが、その具体的な内容は開示されていない。

【0008】

特許文献２には、尿を含むペットの排泄物を検知する技術が開示されている。具体的には、赤外線カメラによって進路前方の熱画像を撮像し、その熱画像で所定以上の温度差がある領域が認められた場合、その領域に排泄物が有ると検知する。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０２２－０２５６７８号公報

【特許文献2】特表２０１８－５１５１９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

特許文献１の技術は、液体に電極を接触させる必要がある。従って、掃除ロボットが濡れた場所に到達しなければ検知できない。そのため、掃除ロボットが液体を検知して停止や方向転換しても、掃除ロボットが濡れた場所を回避できないおそれがある。

【0011】

特許文献２の技術は、液体と環境との間に所定以上の温度差が無ければ検知できない。すなわち、尿で濡れてからある程度時間が経過すると検知できないし、温度差の無い液体は検知できない。

【0012】

掃除ロボットの多くには、カラー画像やモノクロ画像を撮像するカメラが搭載されているが、そのようなカメラでは透明な液体は検知できない。すなわち、ペットの尿や水などで濡れた場所は検知できない。

【0013】

そこで、開示する技術は、液体に接触しなくても濡れ場所を高い精度で検知して回避できる掃除ロボットの実現を目的とする。

【課題を解決するための手段】

【0014】

開示する技術は、自律走行型の掃除ロボットに関する。

【0015】

前記掃除ロボットは、床面の上を走行するロボット本体と、前記ロボット本体の下面に設けられて前記床面を掃除する掃除部と、前記ロボット本体の進路前方に向けて、水による吸光が認められる特定波長を含む赤外光を照射する光照射部と、前記ロボット本体の進路前方の前記床面を含む領域を撮像し、前記光照射部が照射する赤外光のうち、前記特定波長の赤外光を含む光を検出する特定赤外光撮像センサと、前記特定赤外光撮像センサが出力する赤外光信号を受信する制御部と、を備える。そして、前記制御部が、前記ロボット本体の進路前方の前記床面に存在する濡れ場所の有無を前記赤外光信号に基づいて判断し、それによって前記掃除ロボットの運転を変更する。

【0016】

すなわち、この掃除ロボットによれば、ロボット本体の進路前方に向けて、水による吸光が認められる特定波長を含む赤外光を光照射部で照射する。その赤外光のうち、その特定波長の赤外光のみを検出する特定赤外光撮像センサでロボット本体の進路前方の床面を撮像する。そうして、制御部が、特定赤外光撮像センサが出力する赤外光信号を受信し、その赤外光信号に基づいてロボット本体の進路前方の床面に存在する濡れ場所の有無を判断する。

【0017】

従って、無色の水や尿でも、更にはその液体の温度に関係無く、水分を含む濡れ場所であれば、濡れ場所に達する前に、その有無を適切に判断できる。そして、制御部は、その判断に基づいて掃除ロボットの運転を変更するので、濡れ場所を精度高く回避できる。

【0018】

前記特定波長が９３０ｎｍ以上１０３０ｎｍ以下である、としてもよい。

【0019】

水による赤外吸収を考えた時、１９４０ｎｍ付近や１４５０ｎｍ付近に吸収の強いピークを持つ。しかしながら、１４５０ｎｍや１９４０ｎｍ付近の吸収を観測するにはＩｎＧａＡｓのような高価な撮像素子が必要になる。

【0020】

一方で、水による赤外吸収は上記と比べれば微弱ではあるが９７０ｎｍ付近にもピークを持つ。一般的なカメラの撮像素子はＳｉ半導体を用いており、可視域と比べて感度は劣るものの原理上１１００ｎｍ程度まで検知可能であり、上記波長域の赤外光を用いることで、一般的なカメラを用いた安価な構成が実現可能となる。

【0021】

前記特定赤外光撮像センサが、可視光を検出するカメラとすくなくとも前記特定波長の赤外光を含む光を透過し、可視光を遮断する光学フィルタを有し、当該光学フィルタで透過した赤外光を前記カメラで受光するように構成されている、としてもよい。

【0022】

また、一般的なカメラの素子は原理上、１１００ｎｍ程度までの光に感度を持つが、波長が長くなるにつれて感度は低くなり、相対的に影響が少なくなる。このため、バンドパスフィルタのかわりに、少なくとも可視光を遮断し、特定波長を含む赤外光を透過するロングパスフィルタを用いる構成としてもよい。

【0023】

そうすれば、一般的なカメラと光学フィルタ（バンドパスフィルタ）とによる簡素な構成で特定赤外光撮像センサを構成できる。従って、特定赤外光撮像センサをよりいっそう安価にできる。

【0024】

可視光を検出して前記ロボット本体の進路前方の前記床面を含む領域を撮像するカメラからなる可視光撮像センサを更に備え、前記制御部が、前記可視光撮像センサが出力する可視光信号を受信し、前記赤外光信号と前記可視光信号とに基づいて前記濡れ場所の有無を判断する、としてもよい。

【0025】

赤外光による濡れ場所の検知では、濡れ場所が相対的に暗く表示されるので、黒色のものや物体の影を誤検知し得る。それに対し、可視光撮像センサであれば、色の情報が加わるため黒色のものや陰の部分を検知できる。従って、これら双方の情報を含む赤外光信号と可視光信号とに基づいて濡れ場所の有無を判断すれば、誤検知を抑制でき、濡れ場所の有無の判断精度を向上できる。その結果、掃除ロボットは濡れ場所を精度高く回避できる。

【0026】

前記制御部が、前記濡れ場所の有無を判断するために予め設定された学習済み機械学習モデルを有し、前記赤外光信号を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する、としてもよい。

【0027】

前記制御部が、前記濡れ場所の有無を判断するために予め設定された学習済み機械学習モデルを有し、前記赤外光信号および前記可視光信号を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する、としてもよい。

【0028】

そうすれば、双方の情報で誤検知を抑制しながら、学習済み機械学習モデルで濡れ場所の有無の高度な判断が行える。その結果、掃除ロボットは濡れ場所を精度高く回避できる。

【0029】

前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像と前記可視光信号を処理して得られる可視光画像とを合成して合成画像を作成し、当該合成画像を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する、としてもよい。

【0030】

前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像を第１の前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する第１判断処理と、前記可視光信号を処理して得られる可視光画像を第２の前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する第２判断処理と、を実行し、前記第１判断処理と前記第２判断処理の双方に基づいて前記濡れ場所の有無を総合的に判断する、としてもよい。なお、前記制御部が、前記特定赤外光画像と前記可視光画像の２つの画像を入力とする機械学習モデルによって前記濡れ場所を判断する、としてもよい。

【0031】

これらの手法は画像の入力方法が異なるものの、すべて特定赤外光画像と可視光画像から濡れ場所を検知するものであり、いずれの手法においても濡れ場所を精度高く判断できる。

【0032】

前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像と前記可視光信号を処理して得られる可視光画像との差分を用いて特定赤外光画像の暗所、すなわち、濡れ場所を判断するする、としてもよい。

【0033】

これもまた上述したものとは別の判断手法である。この判断手法によれば、画像処理による判断が可能であり、機械学習モデルを用いる場合と比べて少ない計算リソースで高速な検知が期待できる。

【発明の効果】

【0034】

開示する技術によれば、液体に接触しなくても濡れた場所を高い精度で検知して回避できる掃除ロボットを実現できる。

【図面の簡単な説明】

【0035】

【図1】掃除ロボットの運転時の状態を示す概略斜視図である。

【図2】掃除ロボットの下面を示す概略図である。

【図3】特定赤外光撮像センサの構造を示す概略図である。

【図4】水の光の吸光スペクトルを説明するための図である。

【図5】制御部とその主な入出力装置のブロック図である。

【図6】濡れ場所の有無を判断する方法の一例を説明するための図である。

【図7】濡れ場所の有無の判断についての具体例を示す図である。

【図8】濡れ場所の有無の判断についての具体例を示す図である。

【図9】濡れ場所の有無の判断についての具体例を示す図である。

【図10】段差が有る場合での濡れ場所の有無の判断についての具体例を示す図である。

【図11】掃除ロボットの制御例を示すフローチャートである。

【図12】第２実施形態を説明するための図である。

【図13】第３実施形態を説明するための図である。

【発明を実施するための形態】

【0036】

以下、開示する技術について説明する。ただし、その説明は本質的に例示に過ぎない。

【0037】

＜掃除ロボット＞
図１、図２に、開示する技術を適用した自律走行型の掃除ロボット１を例示する。図１は、掃除ロボット１の運転時の状態を示す概略斜視図である。図２は、掃除ロボット１の下面を示す概略図である。

【0038】

掃除ロボット１は、扁平な箱形の外観を有するロボット本体２を備える。ロボット本体２の前端部分の下面には、左右方向に長い横長な吸込口３ａが設けられている。吸込口３ａの内部には、吸込口３ａに沿って延びるようにブラシ３ｂが軸支されている。

【0039】

ロボット本体２には、図示しないが吸引ポンプやダストボックスなどが内蔵されていて、掃除ロボット１の運転時には、床面の上に存在している塵埃などをブラシ３ｂで掻き上げながら吸込口３ａを通じてダストボックスに吸い込むように構成されている。すなわち、吸込口３ａやブラシ３ｂは床面を掃除する掃除部３を構成している。なお、掃除部３は、拭き掃除する機能を有していてもよい。

【0040】

ロボット本体２の下面の左右両側には、一対の駆動輪４ａ，４ａが設置されている。ロボット本体２の下面の横幅中央における前後には、従動輪４ｂ，４ｂが設置されている。各駆動輪４ａは、モータの駆動制御により、独立して前転および後転が自在にできるように構成されている。すなわち、一対の駆動輪４ａ，４ａや従動輪４ｂ，４ｂは床面を走行する走行部４を構成している。

【0041】

それにより、掃除ロボット１は、前進、後退、左または右への旋回などの動作が可能であり、床面の上を自在に走行できる。ただし、ロボット本体２は、前進を基本の運転状態とするものであり、常態では前方に向かって走行する。後退は、障害物を回避する時などに行われる。

【0042】

ロボット本体２の上部の前側には、その前方に臨む検知部５が設置されている。検知部５には、光照射部１０、可視光撮像センサ１１、および、特定赤外光撮像センサ１２が設けられている。詳細は後述するが、掃除ロボット１は、この検知部５を用いて進路前方の床面に存在する濡れ場所Ｗの有無を判断する。

【0043】

光照射部１０は、一対の光源１０ａ，１０ａで構成されており、これら光源１０ａ，１０ａの各々が左右方向に間隔を隔てて配置されている。これら光源１０ａ，１０ａは、ＬＥＤライトからなり、９７０ｎｍにピークがある赤外光を発生させる。

【0044】

各光源１０ａは、掃除ロボット１の斜め下前方に向けて放射状に広がるように赤外光を照射する。それにより、掃除ロボット１の進路前方が、赤外光によって略均一に照らされるように設定されている。

【0045】

可視光撮像センサ１１は、可視光を検出してカラー画像（ＲＧＢ画像）を撮像する一般的なカメラ（ＲＧＢカメラ）である。可視光撮像センサ１１は、ロボット本体２の進路前方の床面を含む領域を撮像できる方向に向いており、ロボット本体２の前方に拡がる走行領域を撮像するように構成されている。なお、可視光撮像センサ１１が撮像するのはカラー画像でなくグレースケール画像ないしモノクロ画像であってもよい。

【0046】

特定赤外光撮像センサ１２もまた、ロボット本体２の進路前方の床面を含む領域を撮像できる方向に向いており、ロボット本体２の前方に拡がる走行領域を撮像する。すなわち、可視光撮像センサ１１と特定赤外光撮像センサ１２の双方は、同じ走行領域を撮像するように設定されている。

【0047】

特定赤外光撮像センサ１２の主体は、図３に示すように、可視光を検出するカメラ１２ａと可視光を遮断し、すくなくとも特定波長の赤外光を含む光を透過する光学フィルタ１２ｂとで構成されている。特定赤外光撮像センサ１２は、濡れ場所Ｗを検知するためのセンサであり、水の吸光特性に基づいて構成されている。

【0048】

前記特定波長は一般的な可視光カメラにおけるＳｉ半導体素子で検知可能な１１００ｎｍ未満の領域において、水の吸収が見られる領域の波長である。特に、この掃除ロボット1では、９７０ｎｍ付近の光を用いている。

【0049】

ここで、可視光を検出するカメラは一般的にその用途から赤外光を遮断する光学フィルタを備えていることがあるが、本構成にて使用する可視光カメラ１２ａは上記フィルタを備えていない、もしくは、取り外したものとする。

【0050】

図４に、水の吸光スペクトルを示す。図４の上図に示すように、水は、１９４０ｎｍや１４５０ｎｍの波長に大きなピークが認められる。ただし、これらの波長域を検知するには安価なＳｉ半導体ではその原理上検知ができず、ＩｎＧａＡｓなどの高価な素子が必要となり、家電製品への搭載はコストの観点から難しい。

【0051】

それに対し、一般的な可視光カメラにおいて使用されるＳｉ半導体素子でも、波長が１１００ｎｍ程度までの近赤外領域の光を検出できる。図４の下図に、拡大して示すように、赤外線領域の吸収に比べると僅かではあるが、約９３０ｎｍから約１０３０ｎｍの範囲に吸収が認められ、約９７０ｎｍにそのピークが存在する。

【0052】

そこで、この掃除ロボット１では、このピーク波長を特定波長として利用する。すなわち、バンドパスフィルタ１２ｂに、９７０ｎｍの波長の赤外光を含む光を透過するものを採用し、そのバンドパスフィルタ１２ｂで透過した赤外光を一般的な可視光カメラ１２ａで受光する。それにより、高価な赤外光センサを用いることなく、一般的な可視光カメラ１２ａとバンドパスフィルタ１２ｂの組み合わせにより、特定赤外光撮像センサ１２を構成している。

【0053】

その結果、安価な掃除ロボット１でも、水の吸光を利用した濡れ場所Ｗの検知ができるようにしている。なお、特定波長は、吸収のピークである９７０ｎｍが好ましいが、比較的吸収の大きい９３０ｎｍ以上１０３０ｎｍ以下の範囲であればよい。

【0054】

特定赤外光撮像センサ１２は、上述したようにロボット本体２の進路前方の床面を含む領域を撮像する。それにより、光照射部１０が照射する赤外光のうち、特定波長の赤外光のみを検出し、特定波長の赤外光による画像を撮像する。そうすることで、水が有る部分は光の吸収によって相対的に暗くなるので、濡れ場所Ｗが検知できる。

【0055】

（制御部２０）
ロボット本体２の内部には、掃除ロボット１の動作を制御する制御部２０が設置されている。制御部２０は、いわゆるコンピュータである。プロセッサ、メモリ、インターフェースなどのハードウエアと、メモリに実装された制御プログラムやデータなどのソフトウエアとによって制御部２０は構成されている。

【0056】

図５に、制御部２０とその主な入出力装置のブロック図を示す。制御部２０には、機能的な構成として、ロボット本体２の動作を制御する動作制御部２１と、進路前方の床面に存在する濡れ場所Ｗの有無を判断する濡れ場所判断部２２とが設けられている。更に、制御部２０のメモリには、濡れ場所Ｗの有無を判断するために予め設定されたコンピュータプログラム（学習済み機械学習モデル２３）が実装されている。

【0057】

制御部２０は、可視光撮像センサ１１および特定赤外光撮像センサ１２と電気的に接続されている。制御部２０は、可視光撮像センサ１１が取得する可視光画像を受信し、特定赤外光撮像センサ１２が取得する特定赤外光画像を受信する。

【0058】

制御部２０はまた、掃除部３および走行部４と電気的に接続されている。制御部２０（動作制御部２１）は、制御部２０（動作制御部２１）は、掃除部３に制御信号を出力し、掃除動作を制御する。そして、走行部４に制御信号を出力し、掃除ロボット１の走行動作を制御する。

【0059】

開示する技術の主題とは異なるため説明は省略するが、動作制御部２１には、ＡＩなどの高度な制御プログラムが実装されている。それにより、ロボット本体２は、自律して走行し、家具やインテリアなどの障害物を避けながら走行できるように構成されている。

【0060】

更にこの掃除ロボット１の場合、ペットの尿や零れ落ちた飲料などによって床面の一部が濡れている場合があるが、ロボット本体２がそのような濡れ場所Ｗを回避して走行できるように構成されている。

【0061】

すなわち、可視光撮像センサ１１ではペットの尿や水などの透明な液体は検知できないが、特定赤外光撮像センサ１２であれば検知できる。一方、特定赤外光撮像センサ１２は、黒色のものや陰などの影響で誤検知する場合があり得る。そこで、この掃除ロボット１では、これらを組み合わせることで、濡れ場所Ｗを精度高く検知できるように工夫している。

【0062】

具体的には、制御部２０（濡れ場所判断部２２）が、赤外光画像と可視光画像とに基づいて、ロボット本体２の進路前方の床面に存在する濡れ場所Ｗの有無を判断する。より具体的には、赤外光画像および可視光画像を学習済み機械学習モデル２３に適用することによって濡れ場所Ｗの有無を判断する。

【0063】

それにより、制御部２０（動作制御部２１）が、掃除ロボット１の運転を変更するように構成されている。例えば、制御部２０が、進路前方の床面に濡れ場所Ｗが有ると判断すると、掃除ロボット１は、走行経路を変更し、濡れ場所Ｗを回避して走行する。

【0064】

（濡れ場所Ｗの有無の具体的な判断方法）
図６に、濡れ場所Ｗの有無を判断する方法の一例を示す。例示する方法では、制御部２０（濡れ場所判断部２２）は、特定赤外光画像と可視光画像とを合成して合成画像を作成する。そして、その合成画像を、濡れ場所Ｗの有無を判断するために予め設定された学習済みの機械学習モデルに適用する。そうすることによって濡れ場所Ｗの有無を判断する。

【0065】

図６の左側に、特定赤外光画像（イメージ１）および可視光画像（イメージ２）の一例を示す。なお、これらの画像はそれぞれのカメラを校正することで、それぞれの位置を合わせるようにしている。これら特定赤外光画像および可視光画像の下側部分６１は撮像視野から外れた部分であり、その上側部分６２が撮像視野である。特定赤外光画像の濡れ場所Ｗはその周辺よりも暗く図示される。一方、可視光画像の濡れ場所Ｗは、画像から識別することは難しい。

【0066】

本構成例では、図６に示す通り、特定赤外光画像を白黒化し、可視光画像のＲＧＢの各チャンネルのうち、Ｒのチャンネルの画像をその白黒画像で置換することで、特定赤外光画像と可視光画像を合成した３チャンネルの画像（イメージ３）を得ている。

【0067】

このようにして得られた合成画像に対して、水の位置をラベル付けした学習用のデータを大量に用意し、あらかじめ機械学習モデルの学習を行う。制御部２０には、そのようにして構築した学習済み機械学習モデル２３が実装されている。

【0068】

なお、本構成例では上述のように画像を合成しているが、合成の方法は本質的ではなく、特定赤外光画像と可視光画像双方の情報が得られる形であればよい。すなわち、Ｇ、もしくは、Ｂチャンネルを白黒化した特定赤外光画像で置き換えてもよいし、特定赤外光画像を透過度とした４チャンネル画像としてもよい。また、すでに述べたように特定赤外光画像と可視光画像の双方を入力する形としてもよい。

【0069】

それにより、制御部２０は、学習済み機械学習モデル２３を用いて濡れ場所Ｗの有無を判断する。すなわち、掃除ロボット１の走行中、特定赤外光撮像センサ１２および可視光撮像センサ１１の双方でその進路前方の床面が撮影される。そして、制御部２０は、これらセンサ１１，１２から受信する赤外光画像および可視光画像を処理して合成画像を作成する。その合成画像を、実装されている学習済み機械学習モデル２３に適用し、濡れ場所Ｗの有無を判断する。

【0070】

図６の右側に、学習済み機械学習モデル２３による判断結果を表した判断結果画像（イメージ４）を例示する。判断結果画像には、濡れ場所Ｗが有ると判断された場合、その濡れ場所Ｗが所定の枠６３でマーキングして表示される。

【0071】

図７～図９に、濡れ場所Ｗの有無の判断についての具体例を示す。これら図の各々は、機械学習に用いた所定の画像に対応したものであり、その特定赤外光画像（イメージ１）、可視光画像（イメージ２）、合成画像（イメージ３）、および判断結果画像（イメージ４）を表している。なお、これら画像はグレースケール化してあるので、実際の画像と異なる。

【0072】

床面に段差や障害物があるなど、撮像される床面の画像が一様でない場合でも、この掃除ロボット１によれば、濡れ場所Ｗの有無は精度高く判断できる。

【0073】

図１０に、その一例を示す。図１０の上図は、段差が有る合成画像（イメージ３）である。同図中、符号Ｄで示す部分が段差である。この図では識別できないが、段差の上側に濡れ場所Ｗが有る。図１０の下図は、その判断結果画像（イメージ４）である。濡れ場所Ｗが所定の枠でマーキングして表示されている。

【0074】

このように、撮像される床面の画像が一様でない場合でも、濡れ場所Ｗの有無を精度高く判断できる。特に、特定赤外光画像だけでなく、可視光画像を加えて判断するので、黒色のものや陰などの影響を低減できる。しかも、学習済み機械学習モデル２３を用いて判断するので、精度高く判断できる。

【0075】

＜掃除ロボット１の制御例＞
図１１に、掃除ロボット１が運転して濡れ場所Ｗを検知しながら回避する制御例（フローチャート）を示す。掃除ロボット１が運転を開始してロボット本体２が走行すると、制御部２０（濡れ場所判断部２２）に、赤外光信号および可視光信号が入力される（ステップＳ１）。掃除ロボット１の運転が終了していなければ（ステップＳ２でＮｏ）、制御部２０は、特定赤外光画像および可視光画像を同時に取得する（ステップＳ３，Ｓ４）。

【0076】

そして、制御部２０は、これら特定赤外光画像および可視光画像を、上述したように処理することにより、合成画像を作成する（ステップＳ５）。その合成画像を学習済み機械学習モデル２３に適用する（ステップＳ６）。

【0077】

その結果、制御部２０が濡れ場所Ｗが無いと判断すると（ステップＳ７でＮｏ）、制御部２０（動作制御部２１）は、走行部４に通常の制御信号を出力し、ロボット本体２がそのまま前進して走行するように制御する（ステップＳ８）。

【0078】

一方、制御部２０が濡れ場所Ｗが有ると判断すると（ステップＳ７でＹｅｓ）、制御部２０（動作制御部２１）が走行部４に運転を変更する制御信号を出力し、ロボット本体２が濡れ場所Ｗを回避して走行するように制御する（ステップＳ９）。

【0079】

掃除ロボット１の運転が終了するまで、これらステップＳ１～ステップＳ９を実行する（ステップＳ２）。それにより、ロボット本体２は、走行経路に濡れ場所Ｗが有っても、その濡れ場所Ｗを回避して走行する。従って、掃除ロボット１を適切に運転できる。

【0080】

＜第２実施形態＞
上述した実施形態では、特定赤外光画像と可視光画像とを合成して合成画像を作成し、その合成画像を学習済み機械学習モデル２３に適用することによって濡れ場所Ｗの有無を判断した。

【0081】

それに対し、この実施形態では、特定赤外光画像と可視光画像のそれぞれで濡れ場所Ｗの有無を判断する処理を行い、それらの判断結果から総合的に判断する。そうすることで、判断精度を向上させる。

【0082】

具体的には、制御部２０が、特定赤外光画像をそれに対応した学習済み機械学習モデル２３（第１の学習済み機械学習モデル２３ａ）に適用することによって濡れ場所Ｗの有無を判断する処理（第１判断処理）と、可視光画像をそれに対応した学習済み機械学習モデル２３（第２の学習済み機械学習モデル２３ｂ）に適用することによって濡れ場所Ｗの有無を判断する処理（第２判断処理）とを実行する。そして、第１判断処理と第２判断処理の双方に基づいて濡れ場所Ｗの有無を総合的に判断する。

【0083】

図１２に、その方法の具体例を示す。上述した実施形態と同様にして、既存の学習済み機械学習モデルを用いて特定赤外光画像および可視光画像の各々に対応した第１および第２の学習済み機械学習モデル２３ａ，２３ｂを構築する。そして、これら学習済み機械学習モデル２３ａ，２３ｂを制御部２０のメモリに実装する。

【0084】

そして、掃除ロボット１の走行中、特定赤外光撮像センサ１２および可視光撮像センサ１１の双方でその進路前方の床面が撮影される。制御部２０は、これらセンサ１１，１２から特定赤外光画像および可視光画像を受信する。

【0085】

そうして、制御部２０は、これら特定赤外光画像および可視光画像の各々に対し、第１判断処理および第２判断処理の各々を個別に実行する。第１判断処理および第２判断処理の双方の判断が一致する場合は、制御部２０は、これら判断通りに判断する。

【0086】

それに対し、第１判断処理での判断と第２判断処理での判断とが異なる場合、制御部２０は、これら判断に対する確度を評価して判断する。

【0087】

すなわち、学習済み機械学習モデルへの適用による判断には、その判断に対する確度が伴う。従って、第１および第２の学習済み機械学習モデル２３ａ，２３ｂに伴う確度を、リスクに応じた所定の基準値と比較したり、これら確度どうしを比較したりすることにより、いずれの判断を採用するか総合的に判断する。

【0088】

例えば、第１判断処理で濡れ場所Ｗが有ると判断され、第２判断処理で濡れ場所Ｗが無いと判断され、第１判断処理の確度よりも第２判断処理の確度の方が低い場合は、第１判断処理を優先し、濡れ場所Ｗが有ると総合的に判断する。

【0089】

また、第１判断処理で濡れ場所Ｗが無いと判断され、第２判断処理で濡れ場所Ｗが有ると判断され、第１判断処理の確度よりも第２判断処理の確度の方が低い場合は、リスクに応じて双方の判断を総合的に判断する。要するに、評価および総合判断の基準は、仕様に応じて適宜設定すればよい。

【0090】

＜第３実施形態＞
上述した実施形態では、学習済み機械学習モデル２３を用いて判断した。それに対し、この実施形態では、学習済み機械学習モデル２３を用いない判断方法を例示する。

【0091】

具体的には、制御部２０が、特定赤外光画像と可視光画像との差分を求め、その差分と所定の閾値とを比較することによって濡れ場所Ｗの有無を判断する。

【0092】

図１３に、その概要を示す。掃除ロボット１の走行中、特定赤外光撮像センサ１２および可視光撮像センサ１１の双方でその進路前方の床面が撮影される。制御部２０は、これらセンサ１１，１２から特定赤外光画像および可視光画像を受信する。

【0093】

そうして、制御部２０は、これら画像の差分を算出する。制御部２０は、算出した差分と所定の閾値とを比較する。その結果、差分が閾値以上の場合、濡れ場所Ｗが有ると判断し、閾値が閾値未満の場合、濡れ場所Ｗは無いと判断する。

【0094】

詳細な説明は省くが、実際には照明が不均一であるため特定赤外光画像の遠方が暗くうつり、可視光画像に関しても色の影響があるため、差分をとる前にこれらを考慮した処理が必要となる。

【0095】

特定波長画像では濡れ場所Ｗは暗く表示されるので、可視光画像で明るく表示される場所が濡れ場所Ｗである場合には、差分は大きくなる。従って、可視光画像で明るく表示される場所が濡れ場所Ｗである場合に、その濡れ場所Ｗの有無を精度高く判断できる。

【0096】

対して、黒色のものや陰の部分は、特定波長画像では、濡れ場所Ｗでなくても、暗く表示される。従って、特定波長画像のみでは、濡れ場所Ｗと区別がつかず、誤検知する可能性がある。一方、黒色のものや陰の部分は、可視光画像でも暗く表示される。従って、これらが重なる場所では差分は小さくなる。

【0097】

それにより、黒色のものや陰の部分が濡れ場所Ｗである場合には、濡れ場所Ｗで無いと判断する確率が高くなる。黒色のものや陰の部分のみが濡れ場所Ｗとなる場合は少ない。従って、濡れ場所Ｗの誤検知を抑制できる。

【0098】

なお、開示する技術は、上述した実施形態に限定されず、それ以外の種々の構成をも包含する。

【0099】

例えば、実施形態では、赤外光画像と可視光画像とに基づいて濡れ場所Ｗの有無を判断したが、赤外光画像のみに基づいて濡れ場所Ｗの有無を判断してもよい。その場合、実施形態と同様に、赤外光画像に対応した学習済み機械学習モデル２３を実装し、赤外光画像をその学習済み機械学習モデル２３に適用することによって濡れ場所Ｗの有無を判断するのが好ましい。

【符号の説明】

【0100】

１ 掃除ロボット
２ ロボット本体
３ 掃除部
３ａ 吸込口
３ｂ ブラシ
４ 走行部
４ａ 駆動輪
４ｂ 従動輪
５ 検知部
１０ 光照射部
１０ａ 光源
１１ 可視光撮像センサ
１２ 特定赤外光撮像センサ
１２ａ 可視光カメラ
１２ｂ バンドパスフィルタ
２０ 制御部
２１ 動作制御部
２２ 濡れ場所判断部
２３ 学習済み機械学習モデル
Ｗ 濡れ場所

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】