IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ みこらった株式会社の特許一覧

特開2024-12667電気掃除装置及び電気掃除装置用プログラム
<>
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図1
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図2
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図3
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図4
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図5
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図6
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図7
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図8
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図9
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図10
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図11
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図12
  • 特開-電気掃除装置及び電気掃除装置用プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012667
(43)【公開日】2024-01-30
(54)【発明の名称】電気掃除装置及び電気掃除装置用プログラム
(51)【国際特許分類】
   A47L 9/28 20060101AFI20240123BHJP
【FI】
A47L9/28 P
A47L9/28 E
【審査請求】有
【請求項の数】33
【出願形態】OL
(21)【出願番号】P 2023197890
(22)【出願日】2023-11-22
(62)【分割の表示】P 2021213590の分割
【原出願日】2014-04-15
(31)【優先権主張番号】P 2013116787
(32)【優先日】2013-06-03
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】514228217
【氏名又は名称】みこらった株式会社
(74)【代理人】
【識別番号】100091546
【弁理士】
【氏名又は名称】佐藤 正美
(74)【代理人】
【識別番号】100206379
【弁理士】
【氏名又は名称】丸山 正
(72)【発明者】
【氏名】鈴木 將洋
(72)【発明者】
【氏名】佐古 曜一郎
(57)【要約】
【課題】掃除対象物以外の異物を検出すると共に、検出した異物が何であるかと、どこにあったかを使用者に通知する電気掃除装置を提供する。
【解決手段】掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、吸い込み口から掃除対象物を吸引して取り込むようにするための吸引駆動部と、掃除対象物以外の異物を異物を検出する異物検出部と、自装置を自走させるための走行駆動部と、異物検出部で異物を検出した場合に、検出された異物を回避して走行するように走行駆動部を制御すると共に、検出された異物が何であるかと、異物がどこにあったかとを画像表示するための表示用情報を出力するように制御する制御部と、を備える。
【選択図】図4
【特許請求の範囲】
【請求項1】
掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、
前記吸い込み口から前記掃除対象物を吸引して取り込むようにするための吸引駆動部と、
前記掃除対象物以外の異物を検出する異物検出部と、
自装置を自走させるための走行駆動部と、
前記異物検出部で前記異物を検出した場合に、前記検出された前記異物を回避して走行するように前記走行駆動部を制御すると共に、前記検出された前記異物が何であるかと、前記異物がどこにあったかとを画像表示するための表示用情報を出力するように制御する制御部と、
を備えることを特徴とする電気掃除装置。
【請求項2】
前記異物検出部で前記異物を検出した場合に、前記異物を検出したことを知らせるアラームを出力する
ことを特徴とする請求項1に記載の電気掃除装置。
【請求項3】
1または複数個の撮像部を備え、
前記表示用情報として、前記撮像部で撮像された前記異物の撮像画像と、前記異物の周辺画像とを出力する
ことを特徴とする請求項1または請求項2に記載の電気掃除装置。
【請求項4】
表示画面と、
前記異物検出部で前記異物を検出した場合に、前記異物のサムネイル画像を表示する手段と、
前記サムネイル画像が選択指示された場合に、前記選択指示されたサムネイル画像に対応する異物の撮像画像と、前記異物の周辺画像を表示画面に表示する手段と、
を備えることを特徴とする請求項3に記載の電気掃除装置。
【請求項5】
前記異物検出部は、前記撮像部で撮像された撮像画像に基づいて前記異物を認識することで前記異物を検出する
ことを特徴とする請求項3または請求項4に記載の電気掃除装置。
【請求項6】
前記異物として検出すべき物の画像情報が記憶されている記憶部を備え、
前記異物検出部は、前記撮像部で撮像された撮像画像と、前記記憶部に記憶されている前記異物として検出すべき物の画像情報とを比較することで画像認識を行って、前記異物を認識して前記異物を検出する
ことを特徴とする請求項3~請求項5のいずれかに記載の電気掃除装置。
【請求項7】
前記記憶部には、前記異物として検出すべき物の画像情報と異物表示用情報とが対応付けられて記憶されており、
前記制御部は、前記異物検出部で検出された前記異物に対応する前記異物表示用情報を前記記憶部から取得して前記表示用情報として用いる
ことを特徴とする請求項6に記載の電気掃除装置。
【請求項8】
前記異物表示用情報は、前記撮像部で撮像された撮像画像または前記撮像画像の縮小画像である
ことを特徴とする請求項7に記載の電気掃除装置。
【請求項9】
前記記憶部には、前記異物として検出すべき物の画像情報と、前記異物表示用情報と、前記異物の前記吸引駆動部による吸引をするか否かの態様または吸引を停止するか否かの制御態様とが対応付けられて記憶されており、
前記異物検出部で検出された前記異物に対応付けられている前記制御態様が前記吸引駆動部による吸引をしない場合または吸引を停止する場合には、前記制御部は、前記吸引駆動部による吸引動作を停止するように制御する
ことを特徴とする請求項6~請求項8のいずれかに記載の電気掃除装置。
【請求項10】
前記異物として検出すべき物の画像情報は、Webサイトから取得されて前記記憶部に記憶される
ことを特徴とする請求項6~請求項9のいずれかに記載の電気掃除装置。
【請求項11】
前記異物として検出すべき物の画像情報をWebサイトから取得する手段を備え、
前記異物検出部は、前記撮像部で撮像された撮像画像と、前記Webサイトから取得した前記異物として検出すべき物の画像情報とを比較することで画像認識を行って、前記異物を認識して前記異物を検出する
ことを特徴とする請求項3~請求項5のいずれかに記載の電気掃除装置。
【請求項12】
前記異物検出部で前記異物が検出された掃除位置または前記異物の所在場所を取得及び/または出力する手段を備える
ことを特徴とする請求項1~請求項11のいずれかに記載の電気掃除装置。
【請求項13】
前記異物は、コード及びケーブルを含む紐状のものを含む
ことを特徴とする請求項1~請求項12のいずれかに記載の電気掃除装置。
【請求項14】
掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、前記吸い込み口から前記掃除対象物を吸引して取り込むようにするための吸引駆動部と、自機を自走させるための走行駆動部とを備える自走式の電気掃除機と、前記電気掃除機と通信ネットワークを通じて接続される別体の装置とを備えて構成される電気掃除装置であって、
前記掃除対象物以外の異物を検出する異物検出部を備え、
前記異物検出部で前記異物を検出した場合に、前記検出された前記異物が何であるかと、前記異物がどこにあったかとを画像表示するための表示用情報による表示画像が、前記電気掃除機または前記別体の装置のいずれか、または両方に設けられる表示部の表示画面に表示されると共に、前記電気掃除機では、前記検出された前記異物を回避して走行するように前記走行駆動部が制御される
ことを特徴とする電気掃除装置。
【請求項15】
前記別体の装置はスマートフォンを含む携帯電話端末である
ことを特徴とする請求項14に記載の電気掃除装置。
【請求項16】
前記異物検出部で前記異物を検出した場合に、前記異物を検出したことを知らせるアラームが、前記電気掃除機及び/または前記別体の装置で出力される
ことを特徴とする請求項14または請求項15に記載の電気掃除装置。
【請求項17】
前記電気掃除機または前記別体の装置は、前記異物検出部を備える
ことを特徴とする請求項14~請求項16のいずれかに記載の電気掃除装置。
【請求項18】
前記電気掃除機は、前記1または複数個の撮像部を備えると共に、第1の無線通信部を通じて、前記撮像部で撮像された撮像画像を前記別体の装置に送信し、
前記別体の装置は、第2の無線通信部を通じて前記電気掃除機から送信された前記撮像部で撮像された撮像画像を受信すると共に、受信した前記撮像画像に基づいて、前記異物を認識することで前記異物を検出する前記異物検出部を備え、前記第2の無線通信部を通じて前記異物検出部の検出結果を前記電気掃除機に送信する
ことを特徴とする請求項14~請求項16のいずれかに記載の電気掃除装置。
【請求項19】
前記電気掃除機は、1または複数個の撮像部を備え、
前記表示用情報として、前記撮像部で撮像された前記異物の撮像画像と、前記異物の周辺画像とを出力する
ことを特徴とする請求項14~請求項18のいずれかに記載の電気掃除装置。
【請求項20】
前記電気掃除機または前記別体の装置は、
前記異物検出部で前記異物を検出した場合に、前記異物のサムネイル画像を表示する手段と、
前記サムネイル画像が選択指示された場合に、前記選択指示されたサムネイル画像に対応する異物の撮像画像と、前記異物の周辺画像を表示画面に表示する手段と、
を備えることを特徴とする請求項19に記載の電気掃除装置。
【請求項21】
前記異物検出部は、前記撮像部で撮像された撮像画像に基づいて前記異物を認識することで前記異物を検出する
ことを特徴とする請求項19または請求項20に記載の電気掃除装置。
【請求項22】
前記電気掃除機または前記別体の装置は、
前記異物として検出すべき物の画像情報が記憶されている記憶部を備え、
前記異物検出部は、前記撮像部で撮像された撮像画像と、前記記憶部に記憶されている前記異物として検出すべき物の画像情報とを比較することで画像認識を行って、前記異物を認識して前記異物を検出する
ことを特徴とする請求項19~請求項21のいずれかに記載の電気掃除装置。
【請求項23】
前記記憶部には、前記異物として検出すべき物の画像情報と異物表示用情報とが対応付けられて記憶されており、
前記異物検出部で検出された前記異物に対応する前記異物表示用情報を前記記憶部から取得して前記表示用情報として用いる
ことを特徴とする請求項22に記載の電気掃除装置。
【請求項24】
前記異物表示用情報は、前記撮像部で撮像された撮像画像または前記撮像画像の縮小画像である
ことを特徴とする請求項23に記載の電気掃除装置。
【請求項25】
前記記憶部には、前記異物として検出すべき物の画像情報と、前記異物表示用情報と、前記異物の前記吸引駆動部による吸引をするか否かの態様または吸引を停止するか否かの制御態様とが対応付けられて記憶されており、
前記異物検出部で検出された前記異物に対応付けられている前記制御態様が前記吸引駆動部による吸引をしない場合または吸引を停止する場合には、前記電気掃除機は、前記吸引駆動部による吸引動作を停止するように制御する
ことを特徴とする請求項22~請求項24のいずれかに記載の電気掃除装置。
【請求項26】
前記異物として検出すべき物の画像情報は、Webサイトから取得されて前記記憶部に記憶される
ことを特徴とする請求項22~請求項25のいずれかに記載の電気掃除装置。
【請求項27】
前記電気掃除機または前記別体の装置は、
前記異物として検出すべき物の画像情報をWebサイトから取得する手段を備え、
前記異物検出部は、前記撮像部で撮像された撮像画像と、前記Webサイトから取得した前記異物として検出すべき物の画像情報とを比較することで画像認識を行って、前記異物を認識して前記異物を検出する
ことを特徴とする請求項19~請求項21のいずれかに記載の電気掃除装置。
【請求項28】
前記異物検出部で前記異物が検出された掃除位置または前記異物の所在場所を取得及び/または出力する手段を備える
ことを特徴とする請求項14~請求項27のいずれかに記載の電気掃除装置。
【請求項29】
前記異物検出部で前記異物が検出された掃除位置または所在場所を前記異物表示用情報と対応付けて前記表示部の表示画面に表示する手段を備える
ことを特徴とする請求項25に記載の電気掃除装置。
【請求項30】
前記異物は、コード及びケーブルを含む紐状のものを含む
ことを特徴とする請求項14~請求項29のいずれかに記載の電気掃除装置。
【請求項31】
前記別体の装置においては、
前記異物検出部における前記異物を検出する処理を実行する支援プログラムが、Webサイトからダウンロードされて記憶される
ことを特徴とする請求項14~請求項30のいずれかに記載の電気掃除装置。
【請求項32】
掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、前記吸い込み口から前記掃除対象物を吸引して取り込むようにするための吸引駆動部と、自装置を自走させるための走行駆動部と、を備える電気掃除装置が具備するコンピュータを、
前記掃除対象物以外の異物を検出する異物検出部、
前記異物検出部で前記異物を検出した場合に、前記検出された前記異物を回避して走行するように前記走行駆動部を制御すると共に、前記検出された前記異物が何であるかと、前記異物がどこにあったかとを画像表示するための表示用情報を出力するように制御する制御部
として機能させるための電気掃除装置用プログラム。
【請求項33】
掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、前記吸い込み口から前記掃除対象物を吸引して取り込むようにするための吸引駆動部と、自機を自走させるための走行駆動部とを備える自走式の電気掃除機と、前記電気掃除機と通信ネットワークを通じて接続される別体の装置とを備えて構成される電気掃除装置における前記電気掃除機及び/または前記別体の装置が備えるコンピュータを、
前記掃除対象物以外の異物を検出する異物検出部、
前記異物検出部で前記異物を検出した場合に、前記検出された前記異物が何であるかと、前記異物がどこにあったかとを画像表示するための表示用情報による表示画像を、前記電気掃除機または前記別体の装置のいずれか、または両方に設けられる表示部の表示画面に表示するように制御する表示制御部、
として機能させると共に、前記電気掃除機が備えるコンピュータを、
前記異物検出部で前記異物を検出した場合に、前記検出された前記異物を回避して走行するように前記走行駆動部を制御する走行制御部、
として機能させるための電気掃除装置用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、電気掃除装置及び電気掃除装置用プログラムに関する。
【背景技術】
【0002】
近年、CCD(Charge Coupled Device)撮像素子やCMOS(Complementary Metal Oxide Semiconductor)撮像素子など、非常に小型化されたカメラが普及しており、この小型カメラを吸い込み口近傍に配置して、吸い込まれた物を確認できるようにした電気掃除機が提案されている。
【0003】
例えば特許文献1(特開2003-164401号公報)には、吸い込み口近傍にCCDカメラを配置すると共に、このCCDカメラの撮像画像を表示する表示部を取っ手近傍に備える電気掃除機が記載されている。この特許文献1に記載の電気掃除機においては、使用者は、表示部の表示画面に表示されているCCDカメラの撮像画像を見ながら掃除を行うことができ、吸い込むごみを確認しながら作業することができる。
【0004】
また、この特許文献1に記載の電気掃除機は、CCDカメラで撮像された画像の輝度を測定することで、貴金属と推定される物体を検出して記録(記憶)しておく機能を備えている。使用者は、掃除終了後、再生指示操作をして、記録されている画像を再生し、その再生画像を注視することで、誤って吸い込んでしまった貴金属を確認することができる。
【0005】
また、特許文献2(特開2006-141836号公報)には、吸引ヘッドから吸引される物体を撮像するCCDカメラ等の撮像手段から出力される撮像画像データを、一定時間ごとに更新して記録し、また、一定サイズ以上の物体を吸い込んだと検知したときには、その撮像画像データを記録しておく電気掃除機が記載されている。
【0006】
この特許文献2の電気掃除機においては、使用者が、掃除機において吸引動作中に、塵埃以外の物体を吸引したと感じるときには、吸引停止ボタンを操作して、吸引動作を停止する。そして、この特許文献2に記載の電気掃除機においては、使用者の画像再生のための操作に応答して、撮像画像データが再生されて、表示モニターに撮像画像が表示される。使用者は、表示モニターに表示された撮像画像を注視することで、掃除機に誤って吸い込まれた物を確認することができる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2003-164401号公報
【特許文献2】特開2006-141836号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1の電気掃除機の場合、箪笥の上などをカメラで撮像して、ごみの存在を確認することができるが、床掃除などの掃除動作中は、使用者が表示画面を見ながら掃除をする態様は不自然であり、吸い込み口がある吸い込み部近傍を観ながら掃除をするのが通常である。このため、貴金属などの掃除対象物以外の異物を事前に認知して、吸い込まないようにすることはできず、吸い込んでしまうことは否めない。
【0009】
例えば、「レジ袋」や「ビニール袋」、「書類」、また、「コード」、「ピン、ネジ、釘」などの異物は、電気掃除機の吸い込み口で停止してしまったり、電気掃除機を故障や破損させたりする恐れがあるために、電気掃除機の故障や破損を避ける観点から、吸引すべきでないが、従来は、そのような制御は行われていなかった。また、例えば、「書類」、「マイクロSDカード」や「USBメモリ」などの異物は、異物の清浄性を確保したり、汚損、破損を避けたりする観点から、吸引すべきでないが、従来は、そのような制御は行われていなかった。
【0010】
また、異物が存在する場合に、その異物が吸い込まれて集塵室内にあるか、吸い込まれずに集塵室外にあるかを、判断することできれば便利であるが、従来は、そのような機能は実現されていなかった。
【0011】
この発明は、以上の問題点を改善することができる電気掃除装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記の課題を解決するために、この発明は、
掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、
前記吸い込み口から前記掃除対象物を吸引して取り込むようにするための吸引駆動部と、
前記掃除対象物以外の異物を検出する異物検出部と、
自装置を自走させるための走行駆動部と、
前記異物検出部で前記異物を検出した場合に、前記検出された前記異物を回避して走行するように前記走行駆動部を制御すると共に、前記検出された前記異物が何であるかと、前記異物がどこにあったかとを画像表示するための表示用情報を出力するように制御する制御部と、
を備えることを特徴とする電気掃除装置を提供する。
【0013】
上述の構成のこの発明の電気掃除装置においては、表示用情報が出力されて表示画面に表示されることにより、検出された異物が何であるか、どこにあったかが使用者に通知される。
【発明の効果】
【0014】
この発明による電気掃除装置によれば、検出された異物が何であるか、どこにあったかが使用者に通知されるので非常に便利である。
【図面の簡単な説明】
【0015】
図1】この発明による電気掃除装置に関連する電気掃除装置の第1の構成例を示す図である。
図2図1の例の電気掃除装置の電気的構成例を示すブロック図である。
図3図1の例の電気掃除装置の構成例の要部を説明するために用いる図である。
図4図1の例の電気掃除装置の構成例における表示画面の表示例を説明するための図である。
図5図1の例の電気掃除装置の処理動作例を説明するためのフローチャートを示す図である。
図6】この発明による電気掃除装置に関連する電気掃除装置の第2の構成例を示す図である。
図7図6の例の電気掃除装置の電気的構成例を示すブロック図である。
図8図6の例の電気掃除装置の処理動作例を説明するためのフローチャートを示す図である。
図9図6の例の電気掃除装置を構成する携帯機器の例としての携帯電話端末の処理動作例を説明するためのフローチャートを示す図である。
図10】この発明による電気掃除装置の実施形態の電気的構成例を示すブロック図である。
図11】この発明による電気掃除装置の実施形態を構成する自走式の電気掃除機の処理動作例を説明するためのフローチャートの一部を示す図である。
図12】この発明による電気掃除装置の実施形態を構成する自走式の電気掃除機の処理動作例を説明するためのフローチャートの一部を示す図である。
図13】この発明による電気掃除装置の実施形態を構成するサーバ装置の処理動作例を説明するためのフローチャートを示す図である。
【発明を実施するための形態】
【0016】
[この発明に関連する電気掃除装置の第1の構成例]
この発明に関連する電気掃除装置の第1の構成例を、使用者が操作しながら掃除を行う電気掃除装置に適用した場合について、図を参照しながら説明する。
【0017】
図1は、この構成例の電気掃除装置1の全体構成例を説明するための図である。この例の電気掃除装置1は、掃除機本体10と、吸引ホース11と、取っ手12と、継手管13と、吸い込み部14と、操作部15と、表示部16と、制御回路部20とからなる。
【0018】
掃除機本体10は、集塵室101及び吸引駆動部102を備え、吸引駆動部102の駆動により塵埃やごみなどの掃除対象物や掃除対象物以外の異物を、吸い込み部14から吸引して集塵室101に捕集する機能を有している。掃除機本体10は、使用者が掃除を実行する際に、自律的に移動できるようなローラ103を備えている。
【0019】
掃除機本体10の集塵室101は、吸引ホース11に連結されている。そして、取っ手12が吸引ホース11の掃除機本体10との連結側とは反対側に結合されている。さらに、取っ手12の吸引ホース11との連結側とは反対側は、継手管13に結合されている。継手管13の先端側には、吸い込み部14が設けられている。
【0020】
取っ手12には、操作部15、表示部16及び制御回路部20が設けられている。使用者は、この取っ手12を持って清掃を行う。操作部15は、複数個のキーボタンを含む。表示部16は、例えばLCD(Liquid Crystal Display;液晶ディスプレイ)からなり、画像を表示することができる表示画面16Dを備える。なお、操作部15は、この構成例では、図示は省略するが、表示部16の表示画面16Dに重畳されて配置されているタッチパネルを含む。
【0021】
使用者は、この取っ手12を清掃中に必要な時に操作部15のキーボタンを操作することができる。また、取っ手12を持って清掃をしながら、表示部16の表示画面16Dを見ることができる。制御回路部20は、操作部15及び表示部16と電気的に接続されていると共に、掃除機本体10の吸引駆動部102とも電気的に接続されている。
【0022】
吸い込み部14は、所定の大きさの面積(断面積)を有する吸い込み口141を有する。吸い込み口141は、吸い込み部14の筐体142の、床面などの掃除面と対向する面側に開口を有するように設けられている。掃除機本体10の吸引駆動部102を駆動すると、吸い込み口141から、前記断面積よりも小さい掃除対象物及び掃除対象物以外の異物が吸引され、継手管13及び取っ手12、吸引ホース11を通じて、集塵室101に吸引される。なお、レジ袋やビニール袋、コード類などの長尺物は、吸い込み口141に吸引されても、全体を吸引できない状態になることがある。
【0023】
この構成例の電気掃除装置1には、複数個のカメラ部が設けられている。すなわち、吸い込み部14の筐体142が床面などの掃除面と対向する面であって、吸い込み口141の近傍には2個のカメラ171及び172が設けられている。使用者は、掃除動作をするときには吸い込み部14を使用者から見て前後方向に移動させるが、カメラ171は、その吸い込み部14の移動方向において、吸い込み口141の前方向位置に設けられ、カメラ172は、吸い込み口141の後方向位置に設けられる。カメラ171及び172は、床などの掃除面に在る掃除対象物及び掃除対象物以外の異物を撮影する。なお、カメラ171及び172の近傍には、図1では図示は省略するが、撮影位置を明るく照射するための、例えばLED(Light Emitting Diode)からなる照明が設けられている。
【0024】
また、この構成例では、使用者が掃除動作をするときの前後移動方向の前方の、床などの掃除面に在る掃除対象物及び掃除対象物以外の異物を撮影することができるように、吸い込み部14には、床面などの掃除面と対向する面以外にもカメラ173が設けられている。図1の例においては、カメラ173は、吸い込み部14の筐体142の、掃除動作時に床面などの掃除面と対向する面と交差する面であって、掃除動作時の前後移動方向の前方側の面に取り付けられている。
【0025】
また、吸引ホース11と集塵室101との結合部近傍には、吸引されて集塵室101に捕集される掃除対象物及び掃除対象物以外の異物を撮影することができるように、カメラ174が取り付けられている。
【0026】
以上の4個のカメラ171~174は、例えばCCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子と撮像レンズを含んで構成されており、制御回路部20と電気的に接続されている。
【0027】
[制御回路部20の構成例の説明]
この構成例では、制御回路部20は、掃除動作中に、4個のカメラ171~174からの撮像画像について画像認識を行って、少なくとも、前記掃除対象物と前記掃除対象物以外の異物とを分離して認識する画像認識部を備える。そして、制御回路部20は、画像認識部で異物を認識したときには、その旨を使用者に知らせると共に、異物が何であるかを知らせるようにする機能を備える。さらに、この構成例では、制御回路部20は、認識した異物に応じて掃除動作を強制停止させるようにする機能も備える。
【0028】
図2は、制御回路部20の内部構成例と、この制御回路部20と電気的に接続されている各部との接続関係を示すブロック図である。
【0029】
図2に示すように、制御回路部20は、マイクロコンピュータからなる制御部201に対して、システムバス200を通じて、駆動制御部202、表示制御部203、操作部インターフェース204、カメラインターフェース205,206,207,208、撮像画像メモリ209、画像認識部210、画像登録メモリ211、外部インターフェース212、表示画像生成部213、アラーム駆動部214、の各部が接続されて構成されている。
【0030】
駆動制御部202には、掃除機本体10に配設されている吸引駆動部102が電気的に接続されている。制御回路部201は、使用者による操作部15を通じて掃除開始操作に応じて、吸引駆動部102に駆動開始制御信号を供給し、掃除停止操作に応じて駆動停止制御信号を供給する。
【0031】
表示制御部203は、ビデオRAM(Random Access Memory)を備え、表示部16の表示画面16Dに画像を表示するための表示コントローラの機能を有する。
【0032】
操作部インターフェース204には、操作部15が接続されている。前述したように、この構成例では、操作部15には、前述した複数個のキーボタンを含むほか、表示画面16Dに重畳して設けられるタッチパネルを含み、このため、操作部インターフェース204は、キーボタンに対するインターフェースの機能のほか、表示画面16D上でのタッチ操作位置を検出するためのタッチパネルインターフェースの機能をも含む。
【0033】
カメラインターフェース205,206,207,208のそれぞれには、カメラ171,172,173,174のそれぞれが接続されている。この構成例では、前述したように、カメラ171,172,173,174のそれぞれには、例えばLEDからなる照明部171L,172L,173L,174Lが付加されている。
【0034】
制御回路部20は、カメラインターフェース205,206,207,208のそれぞれを通じてカメラ171,172,173,174のそれぞれにカメラ制御信号を供給して、これらカメラ171,172,173,174のそれぞれの撮像開始、撮像停止を制御する。カメラ171,172,173,174のそれぞれは、撮像開始制御を受けて、撮像動作状態においては、撮像画像をカメラインターフェース205,206,207,208のそれぞれを通じてシステムバス200に供給する。
【0035】
照明部171L,172L,173L,174Lは、制御部201により点灯制御される。この場合に、制御回路部20の制御部201は、ソフトウエア処理により、カメラ171,172,173,174からの撮像画像の明るさ(撮像画像の輝度の平均値など)を測定し、撮像画像の明るさが所定以下のときに、制御回路部20がカメラインターフェース205,206,207,208を通じて点灯させるように制御するようにする。なお、制御部201は、カメラ171,172,173,174が撮像動作状態においては、常に、照明部171L,172L,173L,174Lを点灯するように制御してもよい。
【0036】
撮像画像メモリ209は、カメラインターフェース205,206,207,208のそれぞれを通じてカメラ171,172,173,174のそれぞれから送られてくる撮像画像情報を一時格納し、その一時格納した撮像画像情報を、画像認識用として画像認識部210に供給する。また、撮像画像メモリ209は、後述するように、画像認識部210で掃除対象物以外の異物が認識されたときに、画像認識結果に基づいて、その撮像画像情報を記憶保持する。
【0037】
この場合に、制御回路部20は、撮像画像情報を、撮像画像メモリ209のメモリ領域をカメラ171,172,173,174のそれぞれごとに予め分離して記憶する、カメラ171,172,173,174のそれぞれの識別情報と対応付けて撮像画像情報を記憶するなどして、カメラ171,172,173,174のそれぞれからの撮像画像を、互いに分離して識別可能な状態で記憶する。
【0038】
この例では、撮像画像メモリ209に一時記憶される撮像画像情報は、画像認識部210で画像認識処理に用いられ、画像認識結果が得られる処理時間分のフレーム数に余裕分を加算したフレーム数分とされる。画像認識部210で異物が認識されなかった撮像画像情報は廃棄され、新たな撮像画像情報に置き換えられる。画像認識部210で異物が認識された時には、当該異物が認識された撮像画像情報が、画像認識部210の画像認識結果に基づいて、撮像画像メモリ209から表示画像生成部213に転送されて、この表示画像生成部213に保持される。このとき、画像認識部210からの画像認識結果に含まれる後述する異物の識別情報(異物ID)に対応付けられて、異物が認識された撮像画像情報が表示画像生成部213に保持される。
【0039】
なお、撮像画像メモリ209の容量が大きい場合には、1回の掃除動作中の撮像画像情報の全てを撮像画像メモリ209に記憶保持するようにし、掃除動作終了時において、その一時記憶した撮像画像を消去してもよい。もちろん、複数回の掃除動作中の撮像画像の全てを撮像画像メモリ209に記憶保持するようにしてもよい。さらに、撮像画像メモリ209に記憶保持された撮像画像を、適宜、外部インターフェース212を通じて、例えばUSBメモリやSDカード(SDメモリーカード)などの記憶媒体に記録するように構成することもできる。
【0040】
この構成例においては、画像登録メモリ211には、後述するような方法で予め掃除対象物以外の異物として認識すべき物の画像情報が記憶されている。画像認識部210は、カメラ171,172,173,174のそれぞれからの撮像画像情報から、掃除対象物以外の異物を認識して検出するが、4個のカメラのうち、3個のカメラ171,172,173のそれぞれからの撮像画像情報については、画像登録メモリ211に記憶されている画像と比較してパターンマッチングを行い、両者の一致あるいは両者の所定の類似度レベル以上での類似を検出することで、掃除対象物以外の異物を認識する。
【0041】
そして、カメラ174からの撮像画像情報についても、登録された撮像画像とのパターンマッチングによる比較により画像認識するようにしてもよいが、カメラ174は、吸引ホース11と掃除機本体10、集塵室101との結合部における撮像画像であるので、画像認識が困難である可能性がある。そこで、この構成例では、カメラ174からの撮像画像情報については、画像認識部210は、吸引ホース11を通じて集塵室101に吸引されてくる掃除対象物及び掃除対象物以外の異物の大きさが予め設定された大きさ以上のものであるか否かを判定して、また、貴金属のように光を当てた時の反射光の光度が所定以上であるものであるか否かを判定して、掃除対象物以外の異物であるか否かを認識するようにする。
【0042】
画像登録メモリ211には、電気掃除装置1の製造会社側で工場出荷前に、予め、掃除対象物以外の異物として想定された物の撮像画像情報が登録されて記憶されている。この場合に、画像登録メモリ211には、一つの異物について登録画像情報として、カメラ171、172、173のそれぞれで撮影された複数個の画像情報が記憶される。また、カメラ171、172、173のそれぞれで撮影された画像情報のそれぞれについて、前から、後ろから、左横から、右横から、などの複数の撮像方向からの画像情報が画像登録メモリ211には記憶されている。これらの異物の登録画像情報は、それぞれの異物に付与されている識別情報(以下、異物IDと称する)に対応付けられて、画像登録メモリ211に記憶されている。
【0043】
そして、この構成例では、画像登録メモリ211には、異物の名称を表示画面16Dに異物の画像と共に表示するためのテキスト文字情報が、異物IDに対応付けられて記憶されている。さらに、画像登録メモリ211には、登録された異物を認識したときの電気掃除装置1の吸引駆動部102に対する吸引駆動制御の態様として、この構成例では、「吸引駆動停止」または「吸引駆動継続(制御不要)」が、登録された異物の異物IDに対応付けられて記憶される。なお、吸引駆動制御の態様としては、「吸引ターボ駆動」、「吸引駆動強め」または「吸引駆動弱め」、「吸引駆動最弱」など、その他種々の態様を設定するようにすることもできる。また、例えば、異物を認識したときに「吸引駆動停止」の代わりに、「吸引駆動弱め」あるいは「吸引駆動最弱」にし、その後、使用者が、表示画面16Dの画像を見て認識した異物が吸い込んでも良いものであると判断したときには、「吸引ターボ駆動」あるいは「吸引駆動強め」に制御して異物を吸引し、一方、表示画面16Dの画像を見て認識した異物が吸い込んではいけないものであるときには、吸引駆動を停止するように制御するようにすることもできる。
【0044】
また、この構成例では、予め製造会社側で用意された画像情報のみではなく、使用者が、電気掃除装置1で掃除対象物以外の異物として認識させたい物の画像を登録して、この画像登録メモリ211に記憶することができるように構成されている。
【0045】
すなわち、この構成例の電気掃除装置1においては、使用者による掃除対象物以外の異物の撮像画像の登録機能を備えている。使用者が、この異物の撮像画像の登録機能を選択すると、表示部16の表示画面16Dには、異物の登録画像の登録手順がメッセージやアニメーションにより表示される。使用者は、この表示画面16Dの登録手順のメッセージやアニメーションを観ながら異物の登録画像の登録処理を行うことができる。
【0046】
例えば、表示画面16Dには、まず、登録したい異物を被写体として、カメラ171、172,173により撮像するよう促す画面が表示される。そして、カメラ171、172,173のそれぞれ毎についてのカメラと被写体との位置関係の指示がなされ、それぞれのカメラで撮像するように促される。使用者が、表示画面16Dに表示される登録手順に従って、カメラ171、172,173により撮像をすると、それらは、付与された異物IDに関連付けられて、画像登録メモリ211に記憶される。最後に、表示画面16Dには、異物の名称をテキスト文字で入力するように促す指示が表示され、使用者が登録する異物の名称を入力すると、その入力されたテキスト文字情報が、登録された異物の異物IDと対応付けられて、画像登録メモリ211に記憶される。
【0047】
最後に、登録された異物を認識したときの電気掃除装置1の吸引駆動部102に対する吸引駆動制御についての設定入力をするように促す指示が表示画面16Dに表示され、使用者が、「吸引駆動停止」または「吸引駆動継続(制御不要)」を入力して指示すると、画像登録メモリ211に、その吸引駆動制御態様が、異物の登録画像に対応付けられて記憶される。
【0048】
以上の説明は、電気掃除装置1が備えるカメラ171~173を用いた異物の画像の登録処理である。この構成例では、異物の画像の登録処理は、このように電気掃除装置1が備えるカメラ171~173を用いて異物を撮像する方法のみではなく、外部インターフェース212を通じて、例えばUSBメモリやSDカードなどの記憶媒体を通じて、登録することもできるように構成されている。その場合に、USBメモリやSDカードなどの記憶媒体には、カメラ171~173で撮像したのと同様にして撮像した登録画像及び異物の名称、その吸引駆動制御態様が記憶され、その記憶された情報が、画像登録メモリ211に転送されて記憶される。
【0049】
なお、電気掃除装置1の製造会社等が運営するインターネット上のWebサイトに、種々の異物の撮像画像情報及びその異物の名称、その吸引駆動制御態様が用意しておくこともできる。この場合には、使用者は、例えばパーソナルコンピュータなどで、そのWebサイトにアクセスして、自分が登録したい異物の情報を取得して、USBメモリやSDカードに記憶し、外部インターフェース212を通じて画像登録メモリ211に転送して、異物の画像の登録をすることができる。もちろん、電気掃除装置1がネットワーク接続機能を備えていれば、パーソナルコンピュータがなくても、直接そのWebサイトにアクセスができる。
【0050】
図3に、画像登録メモリ211に記憶されている異物の例を示す。この図3の例において、画像登録メモリ211には、異物名称と、登録画像V01、V02、V03、・・・と、サムネイル画像SM01、SM02、SM03、・・・と、吸引駆動制御の態様とが、異物毎に割り当てられている異物の識別情報(異物ID)に対応付けられて記憶されている。この構成例では、吸引駆動部102に対する吸引駆動制御の態様は、「吸引駆動停止」または「吸引駆動継続(制御不要)」とされている。
【0051】
登録画像V01、V02、V03、・・・のそれぞれは、前述したように、複数個の撮像画像の画像情報からなり、異物IDに対応付けられて一つの集合として保持されている。サムネイル画像SM01、SM02、SM03、・・・は、画像認識部210により異物が認識された時に、その認識された異物が何であるかを表示画面16Dに画像表示するために用いられるもので、カメラ171~173の撮像画像のうちの、当該異物を表すものとして使用者が容易に認識可能な撮像画像の縮小画像からなる。
【0052】
なお、サムネイル画像は、画像登録メモリ211に予め登録しておくのではなく、画像認識部210で異物が認識されたときに、その認識結果に基づいて、表示画像生成部213が、その認識した異物について登録されている撮像画像を画像登録メモリ211から取得して、生成するようにしてもよい。
【0053】
図3の例では、それぞれの異物を認識したときの吸引駆動制御の態様は、電気掃除装置1の故障や破損を避ける観点からと、吸い込まれてしまう異物の清浄性を確保したり破損を避けたりする観点からの両方の観点から、「(吸引動作)停止」と、「(吸引駆動制御)不要」とが記憶されている。
【0054】
すなわち、図3の例では、「レジ袋」や「ビニール袋」、「書類」、また、「コード」、「ピン、ネジ、釘」は、吸い込み口141で停止してしまったり、継手管13や吸引ホース11の途中で引っかかって継手管13や吸引ホース11を破損させたりする恐れがあるために、電気掃除装置1の故障や破損を避ける観点から、吸引駆動制御の態様が「(吸引動作)停止」とされている。図3には例示していないが、「爪楊枝、針」なども同様である。
【0055】
また、図3の例においては、吸い込まれてしまう異物の清浄性を確保したり、汚損、破損を避けたりする観点から、「書類」、「マイクロSDカード」や「USBメモリ」は、吸引駆動制御の態様を「(吸引動作)停止」とされている。図3には例示していないが、「SDカード、SIMカード」なども同様である。図3の例においては、「紙幣」、「金貨、コイン」、「宝石」は、吸引駆動制御の態様を「(吸引駆動制御)不要」としたが、汚損や損傷をさけるために「(吸引動作)停止」としてもよい。図3には例示していないが、「小切手、切手」なども同様である。なお、吸引駆動制御の態様の設定は、使用者により変更可能とされるように構成してもよい。
【0056】
この構成例では、画像認識部210は、上述のように画像登録メモリ211に記憶保持されている異物の複数個の登録画像のそれぞれと、撮像画像メモリ209を通じて受け取ったカメラ171、172、173のそれぞれで撮像された撮像画像とを、パターンマッチング処理により比較し画像認識を行う。そして、画像認識部210は、一つの異物についての複数個の登録画像のうちの一つでも、カメラ171、172、173からの撮像画像と一致あるいは所定の類似度レベル以上の類似度を示している異物を認識したときに、その登録画像の異物を認識したと判定し、その登録画像の異物の異物IDを画像認識結果として、表示画像生成部213に出力するようにする。このとき、画像認識部210で、異物を認識したカメラの撮像画像が、撮像画像メモリ209から表示画像生成部213に供給されて、画像認識結果の異物IDに対応付けられて保持される。
【0057】
また、画像認識部210は、異物を認識したと判定したときに、さらに、カメラ171,172,173のいずれのカメラの撮像画像について異物を認識したと判定したかを検知するようにする。すなわち、画像認識部210は、画像認識した異物と、異物を認識したのはカメラ171、172、173のいずれの撮像画像であるかを判定する。そして、異物を認識した撮像画像がいずれのカメラであるかに基づいて、画像認識部210は、認識した異物が掃除機本体10の集塵室101に吸い込まれているか、あるいは、吸い込まれずに、電気掃除装置1の外部に存在しているかを判定する。
【0058】
すなわち、画像認識部210は、吸い込み口141の近傍に配設されているカメラ171または172からの撮像画像について異物を認識したと判定したときには、その判定された異物は、集塵室101に吸い込んだ可能性が高いと認定する。そして、この構成例では、画像認識部210は、カメラ174の撮像画像についての画像認識結果をさらに参照し、このカメラ174の撮像画像について異物を検出したか否かを判定して、認識された異物が集塵室101に実際に吸い込まれたか否かを判定するようにする。吸い込み口141の近傍に配設されているカメラ171または172からの撮像画像について異物を認識したと判定したときには、その判定された異物は、カメラ174の認識結果を参照せずに、集塵室101に吸い込んだと判定してもよいが、カメラ174からの撮像画像の認識結果を参照することで、集塵室101に吸い込まれているかどうかを、より高い確度で判定することができる。
【0059】
また、画像認識部210は、吸い込み部14の前方の画像を撮像するカメラ173からの撮像画像について、異物を認識したと判定したときには、さらに、カメラ174の撮像画像についての画像認識結果を常に参照して異物を検出したか否かを判定して、集塵室101に異物が吸い込まれたか否かを判定するようにする。
【0060】
以上のようにして、画像認識部210は、画像認識により異物を認識したときには、画像認識結果で認識した異物の異物IDに加えて、異物の所在地が内か外か、すなわち、集塵室101に吸い込まれているか(内か)、あるいは、吸い込まれずに、電気掃除装置1の外部に存在するか(外か)を判定する。そして、画像認識部210は、認識した異物の異物IDに、異物の所在地情報(内か外かの情報)を付加したものを画像認識結果として、表示画像生成部213に供給するようにする。
【0061】
さらに、この構成例では、前述したように、画像認識部210で異物が認識されたときには、そのタイミング時点におけるカメラ173の撮像画像を、撮像画像メモリ209から表示画像生成部213に供給するようにする。表示画像生成部213では、このとき画像認識部210から送られてくる画像認識結果の異物IDに対応付けて、このカメラ173の撮像画像を記憶保持する。
【0062】
この記憶保持されるカメラ173からの撮像画像は、異物が画像認識された位置における吸い込み部14の前方の撮像画像であり、異物が画像認識された位置がどこかを判断するための周辺画像となる。使用者は、このカメラ173で撮像された異物が認識された位置の周辺画像を見ることで、その異物を、掃除を行った部屋のどこで認識したかの、大体の見当をつけることができる。
【0063】
表示画像生成部213は、表示制御部203を通じて表示部16に表示する表示画像情報を生成する。この構成例では、前述した異物の登録処理の際のガイド画像を生成する機能のほか、画像認識部210から送られてくる画像認識結果の情報に基づいて、掃除動作中に認識した異物を使用者に報知する画像を生成するようにする。この構成例では、掃除動作中に認識した異物の画像としては、画像登録メモリ211に記憶されている撮像画像の縮小画像であるサムネイル画像が用いられる。
【0064】
すなわち、表示画像生成部213は、画像認識部210からの異物の認識結果としての異物IDと、その所在情報と、異物認識時点のカメラ173の撮像画像を受け取る。そして、表示画像生成部213は、画像認識部210から取得した異物IDに基づいて画像登録メモリ211から、当該異物IDに対応付けられているサムネイル画像情報SMi(i=01,02,・・・・のいずれか)を取得して、図4(A)に示すように、そのサムネイル画像情報によるサムネイル画像221を、表示制御部203を通じて表示画面16Dに表示するようにする。
【0065】
また、表示画像生成部213は、図4(A)に示すように、それぞれのサムネイル画像221の表示欄に異物の名称欄222を設ける。そして、表示画像生成部213は、画像認識部210から取得した異物IDに基づいて、画像登録メモリ211から異物の名称を受け取り、当該異物の名称を異物の名称欄222に表示する。
【0066】
さらに、表示画像生成部213は、図4(A)に示すように、それぞれのサムネイル画像221の表示欄に、異物の所在地の表示欄223を設ける。そして、表示画像生成部213は、異物IDと共に画像認識部210から送られてくる所在情報から、その異物の所在地が内か外かを表す付加表示情報を生成し、生成した所在地情報を、図4(A)に示すように、表示欄223に表示するようにする。図4(A)において、表示欄223に「内」と表示されている異物は、掃除機本体10の集塵室101内に存在することを示し、「外」と表示されている異物は、吸い込まれずに、外部に存在することを示している。
【0067】
表示画像生成部213は、掃除動作中に異物の認識結果を画像認識部210から受信するごとに上記の動作を行って、図4(A)に示すように、表示画面16Dに、認識した異物のサムネイル画像221を追加表示してゆく。これにより、図4(A)に示すように、掃除動作の終了時には、掃除動作中に認識された異物の一覧が、サムネイル画像の一覧として、表示画面16Dに表示される。
【0068】
前述したように、異物のそれぞれについて、吸引駆動制御の態様が画像登録メモリ211に登録されて記憶されており、画像認識部210で認識した異物の吸引駆動制御態様が「(吸引動作)停止」とされているときには、吸引駆動部102が強制的に駆動停止制御される。そこで、この構成例では、表示画像生成部213は、画像認識部210からの画像認識結果の異物IDに対応する異物の吸引駆動制御態様が「(吸引動作)停止」とされているときには、サムネイル画像221の表示欄に、吸引駆動停止制御の表示欄224を設け、その表示欄224に、吸引駆動停止制御がなされた旨を表す「停止」の文字を表示して、使用者に強制停止したときの異物が何であるかが分かるように報知するようにする。
【0069】
そして、この構成例では、使用者が、表示画面16Dに表示されているサムネイル画像の一つをクリックすると、制御部201の制御に基づいて、表示画像生成部213は、そのクリックされたサムネイル画像が対応する異物IDを認識し、その認識した異物IDに対応して記憶保持している画像認識部210で異物を認識した撮像画像241を、図4(B)に示すように、例えば表示画面16Dの半分の領域に表示する。さらに、表示画像生成部213は、認識した異物IDに対応して記憶保持しているカメラ173の撮影画像(周辺画像)242を、図4(B)に示すように、表示画面16Dの残りの領域に表示する。
【0070】
図4(B)の例は、指輪のサムネイル画像が使用者によりクリックされた場合を示しており、撮像画像241は、カメラ171または172のいずれかで撮影された指輪の撮像画像である。また、撮像画像242は、その指輪を電気掃除装置1が吸い込んだ位置の前方の周辺画像であり、図4(B)の例では、2つの家具の隙間を撮影している状態を示している。
【0071】
使用者は、撮像画像241を見ることで、画像認識された異物を正確に知ることができ、また、その異物がどこの場所を掃除しているときに画像認識したかを、撮像画像242から知ることができる。
【0072】
次に、アラーム駆動部214には、アラーム発生部215が接続される。アラーム駆動部214は、画像認識部210で異物が認識されたときに、その画像認識結果に基づいて、アラーム発生部215を制御して、アラームを発生させ、使用者に異物を認識したことを知らせるようにする。前述したように、画像認識部210で異物が認識されたときには、その画像認識結果に基づいて、認識された異物のサムネイル画像が表示画面16Dに表示されるので、この異物のサムネイル画像の表示に連動して(同期して)、アラーム発生部215からアラームが発生する。使用者は、アラームの発生により、画像認識部210での異物の認識を知り、表示画面16Dに表示されているサムネイル画像を見ることで、認識された異物が何であるかを知る。
【0073】
アラーム発生部215は、この例ではブザー音発生部からなる。なお、アラーム発生部215は、ブザー音の発生部に限らず、バイブレータなどの振動発生部で構成されていてもよいし、アラーム音声やアラーム音楽を放音するスピーカであってもよい。また、アラーム音と振動とを組み合わせてもよい。
【0074】
また、この構成例では、アラーム発生部215は、表示画面16Dに表示される画像認識された異物のサムネイル画像を、フラッシングさせるようにする。これにより、後述するように、表示画面16Dに、複数個の異物のサムネイル画像が表示されていても、当該タイミングで認識された異物が何であるかを、使用者が容易に認知することができるように構成されている。
【0075】
なお、図2に示した制御回路部20の構成において、画像認識部210、表示画像生成部213及びアラーム駆動部214は、制御部201を構成するマイコンが、そのソフトウエア機能として実現するようにすることもできる。
【0076】
[電気掃除装置1の制御回路部20における処理動作の説明]
図5は、第1の構成例の電気掃除装置1の制御回路部20での処理動作の流れを説明するためのフローチャートである。以下の図5のフローチャートの説明では、制御部201が、画像認識部210、表示画像生成部213及びアラーム駆動部214の機能をソフトウエア機能として実現した場合としている。
【0077】
まず、制御部201は、操作部インターフェース204を通じて操作部15を通じて使用者の操作入力を監視して、吸引駆動スタートボタンが押下されるのを待つ(ステップS101)。このステップS101で、吸引駆動スタートボタンが押下されたと判別したときには、制御部201は、駆動制御部202を通じて吸引駆動部102に吸引駆動開始制御信号を供給して、吸引駆動を開始させると共に、カメラ171~174のそれぞれに対して、カメラ撮影開始制御信号を供給して、カメラ撮影を開始させるようにする(ステップS102)。
【0078】
そして、制御部201は、カメラ171~174からの撮像画像情報に対して、上述したような画像認識処理を実行し(ステップS103)、異物を認識したか否か判別する(ステップS104)。このステップS104で、異物を認識してはいないと判別したときには、制御部201は、操作部インターフェース204を通じて操作部15を通じて使用者の操作入力を監視して、吸引駆動停止ボタンが押下されたか否か判別する(ステップS105)。
【0079】
そして、このステップS105で、吸引駆動停止ボタンが押下されてはいないと判別したときには、制御部201は、処理をステップS103に戻し、このステップS103以降の処理を繰り返す。また、ステップS105で、吸引駆動停止ボタンが押下されたと判別したときには、制御部201は、駆動制御部202を通じて吸引駆動部102に吸引駆動停止制御信号を供給して、吸引駆動を停止させると共に、カメラ171~174のそれぞれに対して、カメラ撮影停止制御信号を供給して、カメラ撮影を終了させるようにする(ステップS106)。そして、制御部201は、処理をステップS101に戻し、このステップS101以降の処理を繰り返す。
【0080】
そして、ステップS104で、異物を認識したと判別したときには、制御部201は、アラーム発生部215によりアラームを鳴らすと共に、認識した異物のサムネイル画像を、表示画面16Dに表示する。このとき制御部201は、上述したようにして、異物が集塵室101に在るか、吸い込まれずに外部に在るかを判定し、その判定結果を、図4(A)に示したように、サムネイル画像に付加表示する(ステップS107)。
【0081】
次に、制御部201は、画像登録メモリ211の記憶内容を参照して、認識した異物の異物IDに対応して記憶されている吸引駆動制御態様の情報を取得し、吸引動作の強制停止が必要か否か判別する(ステップS108)。
【0082】
このステップS108で、吸引動作の強制停止が必要ではないと判別したときには、制御部201は、吸引駆動部102の吸引動作を継続させ(ステップS109)、処理をステップS105に戻し、このステップS105以降の処理を繰り返す。
【0083】
なお、このとき、電気掃除装置1での処理としては吸引動作を継続するように制御するが、使用者は、ステップS107でのアラームの発生及び表示画面16Dのサムネイル画像を見て、必要に応じて、駆動停止ボタンを押下することができる。すると、制御部201は、その駆動停止ボタンの押下を、ステップS105で判別して、吸引駆動を停止させる。
【0084】
次に、ステップS108で、吸引動作の強制停止が必要であると判別したときには、制御部201は、吸引駆動部102の吸引動作を停止させる制御信号を吸引駆動部102に供給し、吸引動作を強制的に停止する。そして、この強制的な吸引動作の停止状態においては、操作部15を通じた吸引動作の再スタートなどの操作ができないようにロック状態とする(ステップS110)。
【0085】
このロック状態は、使用者が、吸い込み口141近傍にある異物を取り除いたり、集塵室101を開けて、異物を取り除いたりした後、操作部15を通じてロック解除の操作入力をすると、解除される。
【0086】
制御部201は、ステップS110の次には、ロック解除されたか否か判別し(ステップS111)、ロック解除されていないと判別したときには、再スタートなどの操作入力に対しては、無視する不感処理を行う(ステップS112)。このステップS112の次には、制御部201は、処理をステップS111に戻し、このステップS111以降の処理を繰り返す。
【0087】
また、ステップS111でロック解除されたと判別したときには、制御部201は、処理をステップS101に戻し、このステップS101以降の処理を繰り返す。
【0088】
なお、以上の説明では、異物の認識に応じて吸引駆動を停止させたときには、通常のスタートボタンによる操作に対しては不感状態とするロック状態とし、このロック状態を解除操作した後に、再スタートをさせるようにした。しかし、認識した異物によっては、吸い込み口141近傍にある異物を取り除いたり、集塵室101を開けて、異物を取り除いたりする必要がないものもある。そして、この構成例では、使用者は、電気掃除装置1が認識した異物を表示画面16Dで認識することができる。以上のことを考慮して、電気掃除装置1の操作部15に、表示画面16Dで確認した使用者が上述のようなロック解除操作をすることなく吸引駆動を再スタートさせることができるようにする一発掃除継続ボタンを、設けるようにすることもできる。
【0089】
[第1の構成例の効果]
以上説明したように、上述の第1の構成例の電気掃除装置1は、掃除動作中に、想定された掃除対象物以外の異物を画像認識により検出し、その検出した異物のサムネイル画像を表示画面16Dに表示すると共に、アラームにより異物の検出を報知するようにする。したがって、使用者は、アラームにより異物の検出を知り、表示画面16Dのサムネイル画像を見ることにより、その異物が何であるかを即座に知ることができる。この場合に、使用者は、冒頭で説明した先行文献の場合のような再生操作は全く不要であり、非常に便利である。
【0090】
そして、使用者は、サムネイル画像で検出された異物を確認した後、吸引動作を停止した方が良いかどうかを判断することができ、便利である。その上、この第1の構成例においては、予め強制的に吸引動作を停止した方が良い異物については、そのことを登録しておくことで、自動的に吸引動作を停止させることができ、電気掃除装置1の破損などを防止し、また、清浄に保ちたい異物が、集塵室101に吸引されてしまわないようにすることができる。
【0091】
また、認識された異物のサムネイル画像には、当該異物が集塵室101に吸引されて存在しているか、あるいは、吸い込まれずに外部に在るかを示す付加表示がなされているので、使用者は、容易に異物の存在場所を知ることができる。
【0092】
さらに、この構成例においては、表示画面16Dに表示されているサムネイル画像が使用者によりクリックされると、検出された異物の実際の撮像画像が表示されると共に、その異物が画像認識された掃除位置の吸い込み部14の前方の周辺撮像画像が表示される。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを知ることができて便利である。
【0093】
特に、家具の隙間やベッドの下などに隠れていた異物を認識したときには、異物が画像認識された掃除位置の吸い込み部14の前方の周辺撮像画像から、その異物を吸い込んでいなくても、異物の所在場所を認定することができる。そして、この構成例の電気掃除装置1は、カメラ173の撮像画像の認識結果から、電気掃除装置1が掃除対象としていない場所や掃除が不可能な場所における異物をも認識することができる。したがって、この構成例の電気掃除装置1は、使用者が紛失してしまったと思っていたものを、掃除対象床面などに在るか否かにかかわらず、異物として認識し、使用者にその存在位置と共に知らせることができ、非常に便利である。なお、家具の隙間やベッドの下などにおいては、カメラに付加されている照明部により明るく照明されて、カメラにより撮像されるものであることは言うまでもない。
【0094】
また、冒頭で説明した特許文献1の電気掃除機は、吸い込み口の面積より大きいと判断した物に対しては、吸引動作を停止することができるが、大きさが吸い込み口の面積と比較して大きいかどうかの判断が困難である電気コンセントコードやACアダプタケーブルなどの紐状の物や、レジ袋などは吸引を停止しない恐れがある。また、吸い込み口の面積よりも小さいものであっても、吸い込まない方がよいと考えられる異物、例えばマイクロSDカード、SDカードやSIMカードなどの小型のメディアや、尖ったネジや釘などを吸い込まないようにすることはできないという問題がある。
【0095】
これに対して、上述した第1の構成例の電気掃除装置によれば、電気コンセントコードやACアダプタケーブルなどの紐状の物や、レジ袋、マイクロSDカード、SDカードやSIMカードなどの小型のメディアや、ネジや釘などは、画像登録メモリに登録しておくと共に、吸引動作を停止制御するように定義しておくようにしているので、それらの吸引動作を停止制御すべき異物は画像認識により確実に認識して、停止制御することができるという効果がある。
【0096】
また、上述した第1の構成例の電気掃除装置によれば、掃除動作を終了したときには、その掃除動作中に画像認識した異物のサムネイル画像の一覧が表示画面に表示されるので、使用者は、その一覧画像を見ることで、集塵室から取り出す必要がある異物があるか否かを容易に知ることができる。しかも、サムネイル画像をクリックすると、実際に撮像された異物の画像が表示画面に拡大表示されるので、サムネイル画像では詳細が不明で不確かな異物であっても、その撮像画像の拡大画像により、異物を確実に確認することができる。
【0097】
[この発明に関連する電気掃除装置の第2の構成例]
この発明に関連する第2の構成例の電気掃除装置は、自走式の電気掃除機と、表示部を備える携帯機器、例えば携帯電話端末とからなる。この第2の構成例では、自走式の電気掃除機と、携帯電話端末とは無線通信路を通じて接続される。無線通信路は、以下の例では、Bluetooth(登録商標)規格の近距離無線通信路が用いられる。無線通信路は、これに限らず、Wi-Fi(登録商標)などの無線LAN(Local Area Network)や、その他の無線通信手段を用いることもできる。
【0098】
[電気掃除機30の概要]
図6は、第2の構成例の電気掃除装置を構成する自走式の電気掃除機30を説明するための図である。図6(A)は、この例の自走式の電気掃除機30を、その吸い込み口31を備える底面30a側を示す図、図6(B)は、この例の自走式の電気掃除機30を、掃除動作時の進行方向から見た図である。なお、図6(A)において、矢印ARは、自走式の電気掃除機30の掃除動作時の進行方向(前方方向)を示している。
【0099】
図6(A)に示すように、自走式の電気掃除機30は、ほぼ円盤形状の筐体を備え、その底面30aに吸い込み口31が設けられている。そして、電気掃除機30の筐体内には、図6(B)において点線で示すように、吸い込み口31に連通して、吸い込んだ掃除対象物及び掃除対象物以外の異物を捕集する集塵室32が設けられている。なお、図6では、図示を省略したが、電気掃除機30の筐体内には、集塵室32に掃除対象物及び掃除対象物以外の異物を吸い込むようにするための吸引駆動部が設けられている。
【0100】
この構成例の電気掃除機30は、図6(A)に示すように、吸い込み口31内に、フレキシブルブラシ33及びローリングブラシ34を備える。そして、電気掃除機30の筐体の底面30aの吸い込み口31位置に対して掃除動作時の進行方向の前方のほぼ中央には、ローラ35が設けられている。このローラ35は、その回転軸の軸方向が底面30aに平行な面内において回動可能に取り付けられている。このため、ローラ35の回転軸の軸心方向は、矢印ARに直交する方向のみならず、任意の方向を向くことが可能とされている。そして、底面30aの吸い込み口31の両側には、図6では図示を省略する走行駆動部により回転駆動される車輪(ホイール)36,37が設けられている。
【0101】
車輪36,37が走行駆動部により駆動されて回転することにより、電気掃除機30は自力走行するが、前述したように、ローラ35は任意の方向を回転軸方向として回動可能であるので、電気掃除機30は、矢印ARの方向に直進走行するだけでなく、回転運動したり、矢印ARに対して交差する任意の方向を進行方向として走行移動したりすることが可能とされている。また、走行駆動部による車輪の回転方向制御により、電気掃除機30は、矢印ARとは逆側に後ろ向き走行することもできる。
【0102】
そして、この構成例では、底面30aの吸い込み口31の近傍には、底面30aに垂直な方向を撮影方向(光軸方向)とするようにカメラ381及び382が設けられている。これらのカメラ381及び382は、第1の構成例の電気掃除装置1におけるカメラ171及び172に対応する。
【0103】
また、電気掃除機30のローラ35の前方の筐体側面には、撮影方向(光軸方向)が底面30aにほぼ平行な方向となるようにカメラ383が設けられている。さらに、電気掃除機30のローラ35の後方の筐体側面には、撮影方向(光軸方向)が底面30aにほぼ平行な方向となるようにカメラ384が設けられている。カメラ383は、自走式の電気掃除機30の走行方向の前方を所定の画角で撮影する。また、カメラ384は、自走式の電気掃除機30の走行方向の後方を所定の画角で撮影する。これらカメラ383,384は、第1の構成例の電気掃除装置1におけるカメラ173に対応する。
【0104】
すなわち、第2の構成例においては、異物を認識した位置の周辺画像は、電気掃除機30の進行方向の前方の撮像画像のみではなく、後方の撮像画像をも、認識した異物(異物ID)と対応付けて記憶するようにする。
【0105】
なお、カメラ383及び384は、所定の画角を有するので、少なくとも電気掃除機30の進行方向の清掃対象の床面を撮像可能であれば、その撮影方向(光軸方向)は底面30aに平行である必要はない。
【0106】
この第2の構成例では、電気掃除機30は画像認識機能を有せず、また、表示部も有しない。これらの画像認識機能及び表示部は、電気掃除機30と無線通信路を通じて接続される携帯電話端末が備えるものとされる。
【0107】
以上の4個のカメラ381~384は、第1の構成例と同様に、例えばCCD撮像素子や、CMOS撮像素子と撮像レンズを含んで構成されている。
【0108】
[第2の構成例の電気掃除装置の回路構成]
図7は、この第2の構成例の電気掃除機30と、当該電気掃除機30と無線接続される携帯電話端末40の電気的回路構成を示す図である。
【0109】
すなわち、電気掃除機30は、電気的回路構成として、図7に示すように、マイクロコンピュータを搭載する制御部301に対して、システムバス300を通じて、駆動制御部302と、送信画像情報生成部303と、操作部304と、無線通信部305と、カメラ381,382,383,384が接続されている。この図7では、説明を簡単にするために、カメラインターフェースは図示を省略してある。
【0110】
駆動制御部302に対しては、吸引駆動部306と、走行駆動部307が接続されている。吸引駆動部306は、吸い込み口31から掃除対象物及び吸い込み可能な掃除対象物以外の異物を吸引するためのものである。走行駆動部307は、車輪(ホイール)36,37を回転駆動させて、電気掃除機30を自分自身で走行(自走)させるようにする。
【0111】
制御部301は、操作部304に設けられている掃除開始ボタンの押下操作入力を受けたときには、駆動制御部302を通じて、駆動開始制御信号を吸引駆動部306及び走行駆動部307に供給して駆動を開始させ、電気掃除機30による自走しながらの自動掃除動作を開始させるようにする。また、制御部301は、操作部304に設けられている掃除停止ボタンの押下操作入力を受けたとき、あるいは、制御部301に内蔵するメモリに記憶されている掃除支援プログラムに基づいて掃除が完了したと判断したときには、駆動制御部302を通じて、駆動停止制御信号を吸引駆動部306及び走行駆動部307に供給して、吸引駆動部306及び走行駆動部307の駆動を停止させ、電気掃除機30による掃除動作を停止させるようにする。
【0112】
さらに、この第2の構成例においては、制御部301は、内蔵するメモリに記憶されている掃除支援プログラムに基づいて、無線通信部305を通じて携帯電話端末40から強制停止制御信号を受信したときには、当該強制停止制御信号を、駆動制御部302を通じて吸引駆動部306及び走行駆動部307に供給して、その駆動を強制停止させ、電気掃除機30による掃除動作を強制停止させるようにする。
【0113】
カメラ381~384のそれぞれは、第1の構成例と同様にして、制御部301により、掃除動作中は撮像動作を行うように制御される。なお、この第2の構成例においても、カメラ381,382,383,384のそれぞれには、例えばLEDからなる照明部381L,382L,383L,384Lが付加されており、第1の構成例と同様にして、制御部301により点灯制御される。
【0114】
送信画像情報生成部303は、電気掃除機30が掃除動作中において、カメラ381~384のそれぞれからの撮像画像情報の送信画像情報を生成する。この場合に、送信画像情報生成部303は、カメラ381~384のそれぞれからの撮像画像情報には、いずれのカメラの撮像画像情報であるかのカメラ識別情報(カメラID)を付与するようにする。また、送信画像情報生成部303は、カメラ381~384のそれぞれからの撮像画像情報を、適宜、データ圧縮などのエンコード処理を施して、送信画像情報を生成し、無線通信部305に転送する。
【0115】
無線通信部305は、前述したように、この構成例では、Bluetooth(登録商標)規格の近距離無線通信の機能を有する。無線通信部305は、送信画像情報生成部303からの送信画像情報を、携帯電話端末40に無線送信するようにする。無線通信部305は、また、携帯電話端末40から送られてくる画像認識結果に基づく強制停止制御信号を受信して、システムバス300を通じて制御部301に渡す。
【0116】
前述したように、制御部301は、無線通信部305を通じて強制停止制御信号を受信すると、当該強制停止制御信号を、駆動制御部302を通じて吸引駆動部306及び走行駆動部307に供給して、その駆動を強制停止させ、電気掃除機30による掃除動作を強制停止させるようにする。
【0117】
なお、図7の電気掃除機30の構成において、駆動制御部302及び送信画像情報生成部303の機能は、制御部301がソフトウエア機能として構成することができるものである。
【0118】
次に、この第2の構成例で用いられる携帯電話端末40の構成例を説明する。この構成例における携帯電話端末40は、いわゆるスマートフォン(図8ではスマホと略称した)と呼ばれる高機能携帯電話端末の構成である。すなわち、この例の携帯電話端末40は、マイクロコンピュータを備える制御部401により、後述する各部が制御される構成を備える。
【0119】
制御部401には、システムバス400を介して、無線通信部402と、表示制御部403と、タッチパネルインターフェース404と、撮像画像記憶部405と、画像認識部406と、画像登録メモリ407と、外部インターフェース408と、表示画像生成部409と、携帯電話機能部410と、カメラ部411とが接続されている。
【0120】
無線通信部402は、前述したように、この構成例では、Bluetooth(登録商標)規格の近距離無線通信機能を有し、電気掃除機30との間で無線通信する。この無線通信部402は、携帯電話端末40が携帯電話基地局を介して行う携帯電話通信とは全く独立した無線通信を行う。
【0121】
表示制御部403には、例えばLCDからなる表示部412が接続されている。タッチパネルインターフェース404には、タッチパネル413が接続されている。タッチパネル413は、指やペン型の位置指示器によるタッチ操作入力を受け付け、そのタッチ操作入力がなされた位置情報を出力する。タッチパネル413は、透明のもので、表示部412の表示画面、この例ではLCD画面に重畳されて配設されている。利用者は、このタッチパネル413を通じて、表示部412の表示画面に表示されている表示画像を観視することができ、このタッチパネル413に対して、あたかも表示画像に対してタッチ操作入力するように指示操作入力をすることができる。タッチパネル413からのタッチ操作入力の位置情報は、表示画面に表示されている表示画像上の位置情報に対応している。
【0122】
制御部401は、タッチパネルインターフェース404を通じてタッチパネル413からのタッチ操作入力の位置情報を受けて、利用者によるタッチパネル413での指示操作入力およびその操作位置に応じて設定された制御処理を判別して、その判別結果に応じた制御処理を実行する。なお、タッチパネル413からのタッチ操作入力の位置情報に応じた処理機能を制御部401が実行するための処理プログラムは、制御部401が内蔵するメモリに格納されている。
【0123】
表示制御部403は、第1の構成例における表示制御部203と同様の機能を備え、表示部412の表示画面に表示する表示画像データを格納するビデオRAMを有し、制御部401の制御に基づき、携帯電話端末40としての画像表示を行うと共に、後述する掃除支援プログラムを起動させたときには前述したサムネイル画像等を表示する。
【0124】
撮像画像記憶部405は、無線通信部402を通じて電気掃除機30から送られてくる送信画像情報から、カメラ381~384の撮像画像情報のそれぞれをデコードして分離して、画像認識部406での画像認識用として一時記憶する。そして、撮像画像記憶部406は、送信画像情報からカメラ381~384の撮像画像情報のそれぞれをデコードして分離する機能を除くと、第1の構成例の撮像画像メモリ209と同様の機能を備える。
【0125】
画像認識部406は、電気掃除機30における掃除動作を支援するプログラムが起動されているときに起動されて、前述した第1の構成例の画像認識部210と同様の処理動作を実行する。ただし、この第2の構成例においては、画像認識部406で異物が認識された時には、制御部301は、認識された異物の異物IDに対応して画像登録メモリ407に記憶されている吸引駆動制御態様を参照するが、当該吸引駆動制御態様が停止(強制停止)であったときには、強制停止制御信号を、無線通信部402を通じて電気掃除機30に無線送信するようにする。
【0126】
また、画像登録メモリ407も、前述した第1の構成例の画像登録メモリ211と同様の機能を有する。すなわち、この第2の構成例では、第1の構成例における表示部16の代わりに、携帯電話端末40の表示部412を用いることで、第1の構成例で説明したのと同様にして、カメラ381~384で撮像した異物の撮像画像を、画像登録メモリ407に登録して記憶させることができる。また、この第2の構成例においては、第1の構成例と同様に、外部インターフェース408を通じて、USBメモリやSDカードから異物の撮像画像を、画像登録メモリ407に登録して記憶させることができる。また、携帯電話端末40が備えるカメラ部411で異物を撮像して、画像登録メモリ407に登録して記憶させることもできる。さらには、携帯電話機能部410により、インターネットを通じて異物の撮像画像を保持しているWebサイトのサーバにアクセスして、当該サーバから必要な異物の撮像画像を取得して、それを画像登録メモリ407に登録して記憶させることもできる。
【0127】
以上の画像登録メモリ407への異物の画像の登録のための処理を支援するプログラムは、予め、インターネットを通じて電気掃除機30の機能を支援するWebサイトのサーバからダウンロードされて、携帯電話端末40の制御部401が内蔵するメモリに格納される。また、後述する電気掃除機30の掃除動作時の異物認識を実行する掃除支援プログラムも、同様にして、前記サーバからダウンロードされて、携帯電話端末40の制御部401が内蔵するメモリに格納される。
【0128】
表示画像生成部409は、電気掃除機30における掃除動作を支援するプログラムが起動されているときに起動されて、第1の構成例の表示画像生成部213と同様の処理動作を行う。
【0129】
携帯電話機能部410は、送話器部、受話器部を含み、携帯電話網を通じた通話や電子メールなどの携帯電話の機能を実行する処理機能部である。この構成例では、携帯電話の機能は、この発明とは直接には関係が無いので、この明細書では、その詳細な説明は省略する。
【0130】
なお、図7の携帯電話端末40の構成において、画像認識部406、撮像画像記憶部405のメモリを除く処理機能部分及び表示画像生成部409の機能は、制御部401がソフトウエア機能として構成することができるものである。
【0131】
[第2の構成例における掃除動作時の処理の説明]
この第2の構成例においては、使用者は、電気掃除機30の操作部304の掃除開始ボタンを押下するに先立ち、携帯電話端末40において、電気掃除機30における掃除動作を支援するプログラムを起動させるようにする。そして、使用者が、電気掃除機30の操作部304の掃除開始ボタンを押下すると、電気掃除機30及び携帯電話端末40において、以下に説明するような処理動作が実行される。
【0132】
図8は、この時の電気掃除機30における処理動作の流れの例を説明するためのフローチャートである。また、図9は、掃除支援プログラムが起動されているときの携帯電話端末40の処理動作の流れの例を説明するためのフローチャートである。
【0133】
まず、図8を参照して、電気掃除機30の処理動作について説明する。なお、以下の説明は、制御部301は、駆動制御部302及び送信画像生成部303の機能をソフトウエア機能として実行する場合としている。
【0134】
制御部301は、掃除スタートボタンが押下されたか否か判別して、掃除スタートされるのを待つ(ステップS301)。ステップS301で、掃除スタートボタンが押下されたと判別したときには、制御部301は、吸引駆動部306及び走行駆動部307を駆動開始させると共に、カメラ381~384のそれぞれに対して画像の撮像開始を指示する。さらに、無線通信部305により携帯電話端末40との無線通信路を生成して、携帯電話端末40と無線接続する(ステップS302)。
【0135】
そして、制御部301は、掃除動作中のカメラ381~384のそれぞれからの撮像画像を収集して、送信画像情報を生成し(ステップS303)、無線通信部305を通じて携帯電話端末40に送信する(ステップS304)。
【0136】
そして、制御部301は、無線通信部305の受信信号を監視して、携帯電話端末40から強制停止制御信号を受信したか否か判別する(ステップS305)。このステップS305で、強制停止制御信号を受信してはいないと判別したときには、制御部301は、掃除範囲の全ての掃除を完了したか否かにより、掃除の終了を検知したか否か判別し(ステップS306)、掃除の終了を検知していないときには、処理をステップS303に戻し、送信画像情報を生成して、携帯電話端末40に無線送信しながら、掃除動作を継続するようにする。
【0137】
そして、ステップS305で、強制停止制御信号を携帯電話端末40から受信したと判別したときには、制御部301は、吸引駆動部306及び走行駆動部307の駆動を停止させると共に、カメラ381~384のそれぞれに対して画像の撮影停止を指示する。さらに、無線通信部305により携帯電話端末40との無線通信路を切断する(ステップS307)。
【0138】
ステップS306で、掃除の終了を検知したときにも、制御部301は、処理をステップS307に進め、吸引駆動部306及び走行駆動部307の駆動を停止させると共に、カメラ381~384のそれぞれに対して画像の撮影停止を指示し、さらに、無線通信部305により携帯電話端末40との無線通信路を切断する。
【0139】
以上で、電気掃除機30での掃除動作時の処理は終了となる。
【0140】
次に、図9を参照して、携帯電話端末40での処理動作について説明する。なお、以下の説明は、制御部401は、画像認識部406、撮像画像記憶部405のメモリを除く処理機能部分及び表示画像生成部409の機能をソフトウエア機能として実行する場合としている。
【0141】
まず、制御部401は、掃除支援プログラムが起動されたか否か判別する(ステップS401)。このステップS401で、掃除支援プログラムが起動されてはいないと判別したときには、制御部401は、他の処理を実行し(ステップS402)、当該他の処理を終了した後、処理をステップS401に戻す。
【0142】
そして、ステップS401で、掃除支援プログラムが起動されたと判別したときには、制御部401は、無線通信部402により電気掃除機30との無線通信路を生成する(ステップS403)。その後、制御部401は、生成された無線通信路を通じて電気掃除機30から送られてくる送信画像情報を受信して、カメラ381~384のそれぞれからの撮像画像情報を分離して取得し、第1の構成例と同様にして、カメラ381~384のそれぞれからの撮像画像と、画像登録メモリ407に記憶されている異物の画像とのパターンマッチングによる比較により画像認識処理を実行する(ステップS404)。
【0143】
そして、制御部401は、ステップS404での画像認識の結果、異物を認識したか否か判別する(ステップS405)。このステップS405で、異物を認識してはいないと判別したときには、制御部401は、電気掃除機30により無線通信路が切断されたか否か判別する(ステップS409)。そして、このステップS409で、無線通信路が切断されたと判別したときには、制御部401は、電気掃除機30における掃除動作が停止したと判断して、この処理ルーチンを終了する。
【0144】
また、ステップS409で、無線通信路が切断されてはいないと判別したときには、制御部401は、電気掃除機30における掃除動作は継続していると判断して、処理をステップS404に戻し、このステップS404以降の処理を繰り返す。
【0145】
そして、ステップS405で、画像認識の結果、異物を認識したと判別したときには、制御部401は、アラームを鳴らすと共に、認識した異物のサムネイル画像を、表示部412の表示画面に表示する。アラームは、携帯電話機能部410が備える着信音のいずれかを用いたり、バイブレータによる振動を併用したりすることで行うことができる。このとき制御部401は、第1の構成例で説明したように、異物が集塵室32内に在るか、吸い込まれずに外部に在るかを判定し、その判定結果を、図4(A)に示したように、サムネイル画像に付加表示する(ステップS406)。
【0146】
次に、制御部401は、画像登録メモリ407の記憶内容を参照して、認識した異物の異物IDに対応して記憶されている吸引駆動制御態様の情報を取得し、掃除動作の強制停止が必要か否か判別する(ステップS407)。
【0147】
このステップS407で、掃除動作の強制停止が必要ではないと判別したときには、制御部401は、強制停止制御信号を生成せずに、電気掃除機30における掃除動作を継続させ、処理をステップS404に戻し、このステップS404以降の処理を繰り返す。
【0148】
次に、ステップS407で、掃除動作の強制停止が必要であると判別したときには、制御部401は、吸引駆動部306及び走行駆動部の駆動を停止させる強制停止制御信号を生成し、無線通信部402を通じて電気掃除機30に送信する(ステップS408)。その後、制御部401は、処理をステップS409に進め、このステップS409で、無線通信路が切断されたと判別するのを待って、この処理ルーチンを終了する。
【0149】
[第2の構成例の効果]
以上のようにして、この第2の構成例の電気掃除装置によれば、自走式の電気掃除機30による掃除動作中に、想定された掃除対象物以外の異物を画像認識により検出し、その検出した異物のサムネイル画像を、携帯電話端末40の表示部412の表示画面に表示すると共に、アラームにより異物の検出を報知することができる。
【0150】
したがって、使用者は、アラームにより自走式の電気掃除機30が異物を検出したことを知り、携帯電話端末40の表示画面のサムネイル画像を見ることにより、その異物が何であるかを即座に知ることができる。この場合に、使用者は、冒頭で説明した先行文献の場合のような再生操作は全く不要であり、非常に便利である。
【0151】
そして、この第2の構成例の場合には、表示部は、自走式の電気掃除機30に設けられているのではなく、当該電気掃除機30とは無線接続により離隔した位置にある携帯電話端末40の表示部412を用いるようにするので、掃除中の自走式の電気掃除機30のところに出向いて表示画面を見る必要がなく、便利である。
【0152】
そして、この第2の構成例においても、予め強制的に吸引動作を停止した方が良い異物については、そのことを登録しておくことで、自動的に吸引動作を停止させることができ、電気掃除機30の破損や故障などを防止し、また、清浄に保ちたい異物が、集塵室32に吸引されてしまわないようにすることができる。
【0153】
また、認識された異物のサムネイル画像には、当該異物が集塵室32に吸引されて存在しているか、あるいは、吸い込まれずに外部に在るかを示す付加表示がなされているので、使用者は、容易に異物の存在場所を知ることができる。
【0154】
なお、この第2の構成例においても、表示部412の表示画面に表示されているサムネイル画像が使用者によりクリックされると、検出された異物の実際の撮像画像が表示されると共に、その異物が画像認識された掃除位置の吸い込み部の前方及び後方の周辺撮像画像が表示されるようにされる。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを容易に知ることができて便利である。
【0155】
[第2の構成例の変形例]
なお、以上の第2の構成例の説明では、電気掃除機30の掃除開始及び停止は、当該電気掃除機30が備える操作部304に設けられる操作ボタンを操作することにより行うようにしたが、携帯電話端末40で掃除支援プログラムが起動されているときには、電気掃除機30の掃除開始及び停止も、携帯電話端末40のタッチパネル413を通じて指示することができるように構成することができる。
【0156】
また、上述の第2の構成例では、電気掃除機30は画像認識部を備えなかったが、電気掃除機30にも、画像認識部を設けてもよい。その場合には、電気掃除機30の画像登録メモリには、使用者が異物を画像登録するようにし、携帯電話端末40の画像登録メモリ407には、Webサイトのサーバに保持されている異物の画像を、インターネットを通じて取得して、登録保持するようにするとよい。このようにすれば、使用者は、自分が特に異物として認識させたい物の画像のみを、電気掃除機30に登録するようにすればよく、その他の一般的な異物は、使用者が登録しなくても、携帯電話端末40で認識されるようにすることができる。
【0157】
さらに、電気掃除機30に画像認識部を設けた場合には、携帯電話端末40には、画像認識部を設けずに、携帯電話端末40は、表示機能のみを用いるようにしてもよい。
【0158】
なお、上述の第2の構成例の説明では、携帯機器は、携帯電話端末40を用いた例としたが、表示部を備える携帯機器であればどのような携帯機器であってもよく、例えばパッド型携帯端末、タブレット型端末、ウェアラブル端末、パーソナルコンピュータであってもよい。また、携帯機器に限らず、デスクトップ型機器、据え置き型機器など、表示部を備える機器全般でも適用できる。
【0159】
また、第1の構成例においても、第2の構成例と同様、別体の表示部として、携帯電話端末を利用することもできる。一方、第2の構成例においても、電気掃除機30に表示部を持たせ、別体の携帯電話端末を利用せず、第1の構成例と同様の構成にすることもできる。
【0160】
なお、第2の構成例においては、吸引駆動部306の吸引駆動制御態様については停止(強制停止)の例を示したが、第1の構成例同様、「吸引ターボ駆動」、「吸引駆動強め」または「吸引駆動弱め」、「吸引駆動最弱」など、種々の態様が考えられる。
【0161】
また、第2の構成例においては、吸引駆動制御態様のみならず、走行駆動部307の走行駆動制御態様も独立して、あるいは、吸引駆動制御と並行した制御態様として考えられ、停止(強制停止)の他、「走行駆動高速」、「走行駆動低速」、「走行駆動超低速」などの制御態様を用いることができる。また、走行駆動部307の走行駆動制御態様としては、例えばカメラ383の撮像画像から画像認識により検知した異物に応じて、電気掃除機が認識した異物を回避するように、「走行駆動右折」、「走行駆動左折」、あるいは「走行駆動前進」、「走行駆動後進」、さらに「走行駆動停止して右回転」、「走行駆動停止して左回転」など、多様な態様で走行駆動制御するようにしてもよい。この異物を回避するように走行制御する場合には、吸引駆動部306の吸引駆動制御は、合わせて行っても、また、行わなくてもよい。
【0162】
[この発明の実施形態]
第2の構成例においては、画像認識処理が、電気掃除機30とは無線通信路を通じて接続された携帯機器で行われるために、接続された携帯機器の能力によっては、高度な画像認識処理ができない場合が想定される。この発明の実施形態は、インターネット上のサーバ(クラウド)を用いて、その問題点を改善することができるように構成した例である。
【0163】
図10は、この発明の実施形態の電気掃除装置の電気的構成例を示すものである。この発明の実施形態の電気掃除装置は、自走式の電気掃除機30Aと、当該電気掃除機30Aと通信ネットワーク50を介して接続されるサーバ装置60とから構成される。通信ネットワーク50は、この例では、インターネットと、当該インターネットに接続可能である家庭内無線LANを含む。サーバ装置60は、例えば電気掃除機30Aに、掃除支援プログラムを提供する当該電気掃除機30Aの販売会社が運営するサーバ装置であり、この発明の実施形態では、後述するように、電気掃除機30Aから送られてくるカメラ381~384のそれぞれからの撮像画像情報について、異物の画像認識処理をする機能を備えている。
【0164】
自走式の電気掃除機30Aは、吸引掃除機能と走行機能に関しては、第2の構成例の自走式の電気掃除機30と同様の構成を備える。しかし、この発明の実施形態の電気掃除機30Aは、画像認識された異物を表示するための表示部を備える点と、サーバ装置60からの画像認識結果を待って吸引制御及び走行制御を行うように構成した点が、第2の構成例における電気掃除機30とは異なる。
【0165】
図10に示す電気掃除機30Aの構成において、第2の構成例の電気掃除機30と同一部分には、同一参照符号を付して、その説明を省略する。すなわち、電気掃除機30Aにおいては、制御部301Aに対して、システムバス300を介して、第2の構成例と同様に、駆動制御部302と、送信画像生成部303と、操作部304とが接続されると共に、これに加えて、さらに、表示部312が接続されている表示制御部311と、無線通信部313と、非掃除対象物検出部314と、現在位置検出部315とが接続される。
【0166】
表示部312は、例えばLCDからなり、図示は省略するが、電気掃除機30Aの筐体の前記底面30a(図6参照)とは反対側の上面に、その表示画面が露呈するように設けられている。
【0167】
無線通信部313は、通信ネットワーク50に含まれる当該電気掃除機30Aが使用される家庭などに設けられている無線LANに接続され、インターネットを通じてサーバ装置60との間で、通信ネットワーク50を通じて画像データや画像認識結果のデータのやり取りをするための通信機能を備える。なお、この発明の実施形態の電気掃除機30Aは、掃除動作を開始したときには、記憶されているサーバ装置60と通信路を接続するために、サーバ装置60のアドレス情報などを保持している。
【0168】
非掃除対象物検出部314は、登録されている画像と比較して画像認識するまでの機能は有しないが、カメラ381~384のそれぞれからの撮像画像について、大きさが予め設定された大きさ以上のものであるか否か、また、貴金属のように光を当てた時の反射光の光度が所定以上であるものであるか否かなどを判定して、掃除対象物以外の非掃除対象物つまり異物であるか否かを認識するようにする機能を有する。すなわち、非掃除対象物検出部314は、異物検出部を構成する。非掃除対象物検出部314においては、カメラ383及び384のそれぞれからの撮像画像については、掃除対象の床面に存在する物のみを、検出対象とするように構成されている。床面以外に存在する物は、掃除動作において、吸引駆動及び走行駆動に影響を与えないからである。
【0169】
現在位置検出部315は、この実施形態では、GPS(Global Positioning System)測位機能部を備え、電気掃除機30Aの現在位置を検出する。この実施形態では、検出された現在位置情報は、後述するように、電気掃除機30Aからサーバ装置60に送信するカメラ381~384のそれぞれからの撮像画像情報に付加される。この現在位置情報は、サーバ装置60における画像認識において、紙幣や身の回り品など、国や地域に応じた特有の物があることを考慮するために用いられる。
【0170】
前述したように、サーバ装置60は、電気掃除機30Aから送られてくるカメラ381~384のそれぞれからの撮像画像情報について異物の画像認識処理をする機能を備えている。図10に示すサーバ装置60の構成は、便宜上、この異物の画像認識処理機能部のみの構成を示したものである。
【0171】
すなわち、サーバ装置60は、通信ネットワーク50に接続されて、電気掃除機30Aと通信するための通信インターフェース601と、撮像画像記憶部602と、画像認識部603と、画像登録メモリ604と、認識異物情報生成部605を備えている。
【0172】
撮像画像記憶部602は、前述の第2の構成例の携帯電話端末40における撮像画像記憶部405と同様の機能を備え、通信インターフェース601を通じて受信した電気掃除機30Aから送られてくる送信画像情報から、カメラ381~384の撮像画像情報のそれぞれをデコードして分離して、画像認識部603での画像認識用として一時記憶する。そして、撮像画像記憶部602は、送信画像情報からカメラ381~384の撮像画像情報のそれぞれをデコードして分離する機能を除くと、第1の構成例の撮像画像メモリ209と同様の機能を備える。
【0173】
画像認識部603は、前述の第2の構成例の携帯電話端末40における画像認識部406と同様の機能を備える。また、画像登録メモリ604も、前述した第1の構成例の画像登録メモリ211と同様の機能を有するが、この発明の実施形態の画像登録メモリ604は、多種多様な異物の画像を登録して記憶保持する。また、画像登録メモリ604には、国や地域によって異なる異物、例えば紙幣や硬貨などに関しては、それが発行される国などの情報も合わせて記憶されている。
【0174】
なお、電気掃除機30Aからサーバ装置60に送られてくる撮像画像情報には、電気掃除機30Aの現在位置の情報が含まれている。サーバ装置60は、この現在位置の情報から、電気掃除機30Aが掃除を行っている国や地域を認識し、国や地域によって異なる異物、例えば紙幣や硬貨について、画像登録メモリ604から、その現在位置により特定される国の紙幣や硬貨を、画像認識の比較用として読み出すようにする。すなわち、例えば日本ならば、1万円札、5千円札、2千円札、千円札、500円玉、100円玉、50円玉、10円玉、5円玉、1円玉、米国ならば、ドル札、ドル貨、セント貨、さらに、EU圏ならばユーロ、中国ならば元というように、各国毎の比較画像を利用する。もちろん、旧札や古銭を含め、全ての国の、あらゆる年代の紙幣や硬貨を、画像認識の比較用として読み出すようにすることもできる。
【0175】
認識異物情報生成部605は、画像認識部603からの画像認識結果に基づいて、画像認識部603が異物を画像認識したときに、画像登録メモリ604から、その認識した異物の異物IDと、サムネイル画像と、吸引駆動制御態様の情報とを取得して、それらを認識した異物の情報として、通信インターフェース601を通じて電気掃除機30Aに送信するようにする。また、認識異物情報生成部605は、画像認識部603から認識した異物が電気掃除機30Aの集塵室内に存在するか、吸い込まれずに外部に在るかの所在情報も、認識異物情報に含めて電気掃除機30Aに送るようにする。
【0176】
そして、認識異物情報生成部605は、電気掃除機30Aから、使用者が表示部312に表示されたサムネイル画像をクリックしたことによる詳細画像情報の要求を受けたときには、撮像画像記憶部602に記憶されている撮像画像情報を、その要求に対応する情報をして、通信インターフェース601を通じて電気掃除機30Aに送信するようにする。
【0177】
なお、この発明の実施形態における画像登録メモリ604には、図示は省略するが、登録された異物について、それが高価値の骨董品、高価値の古銭、プレミアのついた高価な切手などのプレミア情報も記憶されている。サーバ装置60は、認識異物情報に、これらのプレミア情報を含めて送信するようにする。
【0178】
[この発明の実施形態における掃除動作時の処理の説明]
この発明の実施形態においては、使用者は、電気掃除機30Aの操作部304の掃除開始ボタンを押下する。すると、電気掃除機30A及びサーバ装置60において、以下に説明するような処理動作が実行される。
【0179】
図11及び図12は、この時の電気掃除機30Aにおける処理動作の流れの例を説明するためのフローチャートである。また、図13は、サーバ装置60の処理動作の流れの例を説明するためのフローチャートである。
【0180】
まず、図11及び図12を参照して、電気掃除機30Aの処理動作について説明する。なお、以下の説明は、制御部301Aは、駆動制御部302、送信画像生成部303及び非掃除対象物検出部314の機能をソフトウエア機能として実行する場合としている。
【0181】
制御部301Aは、掃除スタートボタンが押下されたか否か判別して、掃除スタートされるのを待つ(ステップS311)。ステップS311で、掃除スタートボタンが押下されたと判別したときには、制御部301Aは、吸引駆動部306及び走行駆動部307を駆動開始させると共に、カメラ381~384のそれぞれに対して画像の撮像開始を指示する。さらに、無線通信部313によりサーバ装置60との通信路を生成する(ステップS312)。
【0182】
そして、制御部301Aは、掃除動作中のカメラ381~384のそれぞれからの撮像画像を収集して、送信画像情報を生成し、現在位置検出部315で検出した現在位置情報と共に、無線通信部313を通じてサーバ装置60に送信する(ステップS313)。
【0183】
次に、制御部301Aは、カメラ381~384のそれぞれからの撮像画像について、掃除対象物以外の異物を、前述したように、大きさや輝度に基づいて検出する処理を行う(ステップS314)。そして、制御部301Aは、掃除対象物以外の異物の存在を検出したか否か判別し(ステップS315)、異物の存在を検出したと判別したときには、駆動制御部302を通じて吸引駆動部306及び走行駆動部307に、一時停止指示信号を供給して、掃除動作を一時停止する(ステップS316)。そして、制御部301Aは、サーバ装置60からの認識異物情報を受信したか否か判別する(ステップS317)。
【0184】
ステップS315で、異物の存在を検出してはいないと判別したときにも、制御部301Aは、処理をステップS317にジャンプさせて、サーバ装置60からの認識異物情報を受信したか否か判別する。
【0185】
そして、ステップS317で、サーバ装置60からの認識異物情報は受信してはいないと判別したときには、制御部301Aは、掃除動作を一時停止してから一定時間以上経過したか否か判別し(ステップS318)、一定時間以上経過してはいないと判別したときには、処理をステップS317に戻し、このステップS317以降の処理を繰り返す。
【0186】
また、ステップS318で、掃除動作を一時停止してから一定時間以上経過したと判別したときには、制御部301Aは、駆動制御部302を通じて吸引駆動部306及び走行駆動部307に、駆動開始信号を供給して一時停止状態を解除し、掃除動作を再開させる(ステップS319)。そして、制御部301Aは、処理をステップS313に戻し、このステップS313以降の処理を繰り返す。
【0187】
また、ステップS317で、サーバ装置60からの認識異物情報を受信したと判別したときには、制御部301Aは、受信したサムネイル画像を、表示部312の表示画面に、その所在情報(集塵室内か、外部か)と共に表示する(ステップS320)。なお、この発明の実施形態では、電気掃除機30Aは、異物のサムネイル画像を表示部312の表示画面に表示したときに、アラームによる報知は行わないが、上述の第1の構成例及び第2の構成例と同様に、アラーム報知も合わせて行うようにしても勿論よい。
【0188】
次に、制御部301Aは、認識異物情報に強制停止制御信号が含まれているか否かにより掃除動作を停止するか否かを判別する(図12のステップS321)。このステップS321で、強制停止制御信号が含まれていないと判別したときには、制御部301Aは、掃除範囲の全ての掃除を完了したか否かにより、掃除の終了を検知したか否か判別し(ステップS322)、掃除の終了を検知していないときには、処理をステップS313に戻し、送信画像情報を生成して、サーバ装置60に無線送信しながら、掃除動作を継続するようにする。
【0189】
そして、ステップS321で、強制停止制御信号が含まれていると判別したときには、制御部301Aは、吸引駆動部306及び走行駆動部307の駆動を停止させると共に、カメラ381~384のそれぞれに対して画像の撮影停止を指示する。さらに、サーバ装置60との通信路を切断する(ステップS323)。
【0190】
ステップS322で、掃除の終了を検知したときにも、制御部301Aは、処理をステップS323に進め、吸引駆動部306及び走行駆動部307の駆動を停止させると共に、カメラ381~384のそれぞれに対して画像の撮影停止を指示し、さらに、サーバ装置60との通信路を切断する。
【0191】
以上で、電気掃除機30Aでの掃除動作時の処理は終了となる。
【0192】
次に、図13を参照して、サーバ装置60の処理動作について説明する。
まず、サーバ装置60は、電気掃除機30Aから、通信路の生成要求を受信したか否か判別し(ステップS601)、通信路の生成要求を受信したと判別したときには、通信ネットワーク50を通じた電気掃除機30Aとの通信路を生成する(ステップS602)。
【0193】
次に、サーバ装置60は、生成された無線通信路を通じて電気掃除機30Aから送られてくる送信画像情報を受信して、カメラ381~384のそれぞれからの撮像画像情報を分離して取得し、第1の構成例と同様にして、カメラ381~384のそれぞれからの撮像画像と、画像登録メモリ407に記憶されている異物の画像とのパターンマッチングによる比較により画像認識処理を実行する(ステップS603)。
【0194】
そして、サーバ装置60は、ステップS603での画像認識の結果、異物を認識したか否か判別する(ステップS604)。このステップS604で、異物を認識してはいないと判別したときには、サーバ装置60は、電気掃除機30Aにより通信路が切断されたか否か判別する(ステップS608)。そして、このステップS608で、通信路が切断されたと判別したときには、サーバ装置60は、電気掃除機30Aにおける掃除動作が停止したと判断して、この処理ルーチンを終了する。
【0195】
また、ステップS608で、通信路が切断されてはいないと判別したときには、サーバ装置60は、電気掃除機30Aにおける掃除動作は継続していると判断して、処理をステップS603に戻し、このステップS603以降の処理を繰り返す。
【0196】
そして、ステップS604で、画像認識の結果、異物を認識したと判別したときには、認識した異物のサムネイル画像と、異物IDと、所在情報と、プレミア情報を含めた認識異物情報を生成して、電気掃除機30Aに送信する(ステップS605)。
【0197】
また、サーバ装置60は、画像登録メモリ604の記憶内容を参照して、認識した異物の異物IDに対応して記憶されている吸引駆動制御態様の情報を取得し、掃除動作の強制停止が必要か否か判別する(ステップS606)。
【0198】
このステップS606で、掃除動作の強制停止が必要ではないと判別したときには、サーバ装置60は、強制停止制御信号を生成せずに、電気掃除機30Aにおける掃除動作を継続させ、処理をステップS603に戻し、このステップS603以降の処理を繰り返す。
【0199】
次に、ステップS606で、掃除動作の強制停止が必要であると判別したときには、サーバ装置60は、吸引駆動部306及び走行駆動部307の駆動を停止させる強制停止制御信号を生成し、電気掃除機30Aに送信する(ステップS607)。その後、サーバ装置60は、処理をステップS608に進め、このステップS608で、通信路が切断されたと判別するのを待って、この処理ルーチンを終了する。
【0200】
なお、この発明の実施形態においては、表示部312の表示画面に表示されているサムネイル画像が使用者によりクリックされると、そのサムネイル画像の異物IDと共に、サムネイル画像に対応する詳細な撮像画像情報の取得要求を、電気掃除機30Aはサーバ装置60に送る。サーバ装置60は、この取得要求に応じて、異物IDで特定される異物の実際の撮像画像情報及び周辺画像情報を撮像画像記憶部602から読み出して、その撮像画像情報を電気掃除機30Aに送信する。電気掃除機30Aは、受信した撮像画像情報を、表示部312の表示画面に表示すると共に、その異物が画像認識された掃除位置の吸い込み部の前方及び後方の周辺撮像画像が表示されるようにされる。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを容易に知ることができて便利である。また、電気掃除機30Aは、ステップS605で受信した認識異物情報にプレミア情報が含まれている場合、その異物のサムネイル画像の背景色を変えたり、表示画面を点滅させたり、アラームを報知することができる。これによって、使用者が、価値の高い異物や高額な異物を見逃さないようにできる。
【0201】
[この発明の実施形態の効果]
以上のようにして、この発明の実施形態の電気掃除装置においては、自走式の電気掃除機30Aが異物の存在を認識したときには、一時掃除動作を停止して、サーバ装置60からの認識異物情報の到来を待つ。そして、電気掃除機30Aは、一定時間以上待っても、サーバ装置60からの認識異物情報を受信しなかった時には、サーバ装置60では、異物を認識しなかったので、掃除動作を継続しても問題がないと判断して、そのまま掃除動作を継続する。そして、サーバ装置60で異物を認識したときには、認識異物情報が一定時間以内に送られて来るので、電気掃除機30Aは、その受信を待ち、その認識異物情報に強制停止制御信号が含まれる場合には、当該強制停止制御信号に応じて、掃除動作を停止するようにできる。
【0202】
以上のように、自走式の電気掃除機30Aは、サーバ装置60における画像認識処理の遅延を考慮して掃除動作を一時停止するので、サーバ装置60における画像認識処理の遅延にかかわらず、所期の通りの制御を行うことができる。このため、自走式の電気掃除機30Aが、本来、吸い込むべきでない異物を吸い込んでしまうことによる故障の発生を未然に防止することができる。
【0203】
なお、一時停止した後、電気掃除機30A自身での判断やサーバ装置60からの指示で、異物をズーム撮像したり、電気掃除機30Aが移動して異物を別の角度から撮像したりするようにしてもよい。また、電気掃除機30Aは、一時停止したら、自動的に異物をズーム撮像するように構成してもよい。このズーム撮像により撮像した撮像画像を、電気掃除機30Aから再度サーバ装置60に送信することで、サーバ装置60では、より高精度な画像認識を行うことができる。
【0204】
上記の効果に加えて、この発明の実施形態においても、上述した第1の構成例及び第2の構成例と同様の効果が得られることは言うまでもない。
【0205】
[この発明の実施形態の変形例]
上述の実施形態では、GPS測位機能部を備える現在位置検出部315を設けるようにしたが、要は、電気掃除機30Aが使用される国や地域をサーバ装置60に伝達することができればよいので、例えば使用者により、電気掃除機30Aを使用する場所の住所を入力してもらうようにして、その入力された住所情報を、サーバ装置60に送信するようにしてもよい。
【0206】
また、上述の実施形態では、電気掃除機30Aは、画像認識部を備えなかったが、電気掃除機30Aにも、画像認識部を設けてもよい。その場合には、電気掃除機30Aの画像登録メモリには使用者が異物を画像登録するようにして、電気掃除機30Aの画像認識部では、この画像登録メモリに登録された異物の認識を行い、サーバ装置60は、電気掃除機30Aの画像登録メモリに登録されてはいない異物をも認識するようにする。なお、サーバ装置は1台に限定されるものではなく、複数台のサーバ装置を連携させて利用することもできる。
【0207】
また、この発明の実施形態においても、表示部312は、電気掃除機30Aと無線接続される携帯電話端末などの携帯機器や、タブレット型端末、ウェアラブル端末、パーソナルコンピュータに設けるようにしてもよい。また、デスクトップ型機器、据え置き型機器など、各種表示部を備える機器に設けるようにしてもよい。
【0208】
[その他の実施形態又は変形例]
なお、以上の説明は、主として、家庭用の電気掃除装置を想定して説明したが、工場や商店、飲食店などで使用する業務用の電気掃除装置にも適用することができるものであることは言うまでもない。また、机の上専用の小型掃除機などの卓上用電気掃除装置や、ふとん専用クリーナーなど、各種形態の電気掃除装置にも適用できるのはもちろんである。
【0209】
以上の実施形態及び構成例では、カメラ撮影を連続撮影(動画撮影)で行っているが、静止画での間欠撮影でもよい。また、両者が混在していてもよい。
【0210】
また、カメラ撮影の手法や解像度も同一でなく、モードや状況に応じて異ならせてもよい。例えば、落し物モード(探し物モード)を設け、カメラ撮影開始時から継続して、あるいは、カメラ撮影開始後、掃除対象物以外の異物(落し物候補、探し物候補)発見時に、フラッシュ撮影をする、ズーム撮影をする、複数の角度から撮影する、解像度を高くする、複数のカメラを利用するなど、落し物モードのときは通常撮影と異なるカメラ撮影動作をさせて、落し物(探し物)を発見しやすくすることができる。また、カメラ撮影された撮像画像の画像認識の処理方法や精度をモードや状況に応じて変えてもよい。
【0211】
画像登録メモリに登録されている画像の内、落し物モードで探すよう指定された特定の異物については、多段階で画像認識してもよい。例えば、最初は、見落とし確率を極力下げるために、粗い画像を利用して、類似性の範囲を広げて探し、次に、見つかった対象物に対しては、絞り込むために、高精細な画像を利用して、複数の角度からの画像認識を行うようにする。また、画像認識のための特殊な処理を付け加えてもよい。例えば、輪郭(エッジ)抽出や強調、輝度抽出や強調、色相抽出や強調など、各種特徴抽出や各種フィルタリングを加えたり、各種強調処理をしたりして、画像認識に利用してもよい。さらに、撮像画像を圧縮せず、高精細画像のままで画像認識をしたり、画像認識処理時間を通常以上、例えば数倍の処理時間をかけることができる。
【0212】
落し物が指輪の場合、例えばルビーのプラチナリングであれば、ルビーの赤色や、プラチナリングの銀色(光沢のある灰白色)を発見するよう、選択的に色や光沢(光の反射)の識別能力を高めるようにする。また、ルビーの石の形状や、内径サイズで規定されるリングの大きさで検出精度を高めるよう、選択的に形状の識別能力を高めることができる。
【0213】
また、落し物が、サイズ等が規格化されている製品である場合が考えられる。例えばSDカードは、幅24mm、長さ32mm、厚さ2.1mm、マイクロSDカードは、幅11mm、長さ15mm、厚さ1.0mmであり、形状はSD規格で正確に規定されている。そのため、落し物がSDカードやマイクロSDカードの場合、その形状を元に、まず長方形の物体を探し、次に縦横比(長さと幅の比)が適合するか否かでフィルタリングした後、精密に画像認識すればよい。もちろん、距離計を用いれば、対象物の内径や長さ等の絶対値が計測できるので、その計測値を用いて識別が可能である。また、距離計がなくても、長さや大きさの基準となる比較対象物があれば、それとの相対比較で、長さや大きさの絶対値が把握できる。さらに、SDカードやマイクロSDカードの表面のロゴや文字を文字認識して、識別することもできる。
【0214】
また、落し物が透明なコンタクトレンズの場合は、カメラ撮影した場合、背景の色が透過して撮影されるので、輝度や色の差分検出を、精密に行ったり、フラッシュなど光を当ててキラッと光る反射光を検出したりして、検出精度を高めた上で、コンタクトレンズに特有である薄い非球面レンズの形状の識別を行うようにすればよい。なお、通常、ハードコンタクトレンズは直径9mm前後、ソフトコンタクトレンズは直径13mm前後であるため、落としたコンタクトレンズの種類がハードかソフトか指定することで、サイズに対する識別能力を高め、発見しやすくすることができる。
【0215】
さらに、異物の撮像画像が、落し物との類似度が低く、落し物でない可能性が高くても、落し物を見逃す危険度を下げるため、類似度レベルの閾値を可変にして、その異物を落し物として検出を行うようにすることもできる。
【0216】
なお、画像認識や類似度レベルの計算には、テンプレートマッチング、クラスタ分析、ニューラル・ネットワーク等、種々の手法が適用できることは言うまでもない。
【0217】
また、落し物モードのときは、吸引駆動制御の態様として、落し物を発見するまでは、「吸引駆動弱め」や「吸引駆動最弱」にしてもよい。さらに「吸引駆動停止」とすることもできる。また、自走式の電気掃除機の場合は、吸引駆動制御の態様のみならず、走行駆動制御の態様として、落し物を発見するまでは、「走行駆動低速」や「走行駆動超低速」などの制御態様を用いることができる。また、所定時間毎に、あるいは所定距離走行毎に「走行駆動停止(一時停止)」にしてもよい。この場合、一時停止の状態で、周囲を通常撮影のみならず、フラッシュ撮影やズーム撮影などを用いて、入念にカメラ撮影することができる。さらに、そこで回転駆動しながら、パノラマ撮影や360度撮影をし、落し物を探してもよい。
【0218】
なお、落し物モードで探す異物、例えば指輪、SDカードやマイクロSDカード、コンタクトレンズなどの画像は、画像登録メモリから読み出して、表示画面に表示させて指定するように構成することができる。
【0219】
また、以上の実施形態及び構成例では、掃除動作中の異物の認識(検出)は、カメラからの撮像画像情報を画像認識することによって行うようにしたが、例えば赤外線センサ、マイクロフォン、超音波センサ、触覚センサ、バイオセンサ、においセンサ、金属探知センサなど、他のセンサを用いることで、異物の認識(検出)を行うようにしてもよい。もちろん、これら複数種類のセンサを併用してもよい。
【0220】
センサとして、例えばマイクロフォンを用いる場合、マイクロフォンで音や音声を集音し、音や音声を発している対象物を検出したら、掃除対象物以外の異物であると認識することができる。この場合、図5図8図9図11図12または図13のフローチャートにおける「カメラで撮影した画像の認識結果に基づく異物検出」を「マイクロフォンで集音した音や音声の認識結果に基づく異物検出」に置き換えれば、音声認識による異物検出が可能な電気掃除機が実現可能となる。音声認識による異物検出を行う態様としては、掃除動作中に集音部で吸い込み部近傍の音を集音して、異物が電気掃除機内に吸い込まれる前に検知する態様のほか、金属や袋類の異物が電気掃除機内に吸い込まれた後に発する異音を集音し、異物を検知する態様が考えられる。音声認識による異物検出を行うと、画像認識による異物検出の場合と同様に、吸引駆動停止等の吸引駆動制御の態様が考えられる。また、アラーム報知を表示制御、音声制御、振動制御等によって行う態様が考えられる。なお、電気掃除機自体が発する騒音は、音源分離の処理により除去することができる。
【0221】
なお、カメラ171~174及びカメラ381~384として、赤外線カメラやビデオカメラを用いるようにしてもよい。また、それらを併用してもよい。以上の実施形態では、カメラが4個の例で説明したが、カメラの個数が限定されるものでないことはもちろんである。さらに、カメラの設置箇所も上述の実施形態及び構成例に限らず、各種態様が可能である。
【0222】
以上の実施形態及び構成例では、掃除対象物や掃除対象物以外の異物として、静止している物を例示したが、虫などの生き物、モーター駆動の玩具など、動いている物でよいのはもちろんである。
【0223】
以上、図面を参照しながらこの発明の好適な実施形態について詳細に説明したが、この発明は、かかる例に限定されない。この発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然にこの発明の技術的範囲に属するものと了解される。
【符号の説明】
【0224】
1:電気掃除装置
10:掃除機本体
11:吸引ホース
12:取っ手
13:継手管
14:吸い込み部
141:吸い込み口
15:操作部
16:表示部
16D:表示画面
101:集塵室
102:吸引駆動部
171~174:カメラ
20:制御回路部
201:制御部
202:駆動制御部
210:画像認識部
211:画像登録メモリ
213:表示画像生成部
214:アラーム発生部
30:自走式の電気掃除機
31:吸い込み部
32:集塵室
381~384:カメラ
406:画像認識部
407:画像登録メモリ
409:表示画像生成部
412:表示部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13