特開 2024-79775 清掃装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024079775

(43)【公開日】2024-06-11

(54)【発明の名称】清掃装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240604BHJP

   A47L 11/29 20060101ALI20240604BHJP

   A47L 11/282 20060101ALI20240604BHJP

   A47L 9/28 20060101ALI20240604BHJP

   G05D 1/43 20240101ALI20240604BHJP

   G05D 1/648 20240101ALI20240604BHJP

   G05D 1/224 20240101ALN20240604BHJP

【ＦＩ】

G06T19/00 600

A47L11/29

A47L11/282

A47L9/28 E

A47L9/28 K

A47L9/28 L

G05D1/43

G05D1/648

G05D1/224

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2024047979

(22)【出願日】2024-03-25

(62)【分割の表示】P 2020097351の分割

【原出願日】2020-06-04

(71)【出願人】

【識別番号】000101617

【氏名又は名称】アマノ株式会社

(74)【代理人】

【識別番号】100111202

【弁理士】

【氏名又は名称】北村 周彦

(74)【代理人】

【識別番号】100150304

【弁理士】

【氏名又は名称】溝口 勉

(72)【発明者】

【氏名】小野 貴史

(72)【発明者】

【氏名】仲野 綾華

(72)【発明者】

【氏名】下郡 祐美子

(57)【要約】

【課題】清掃作業の作業性を向上させて、質の高い清掃を効率的に実施する。
【解決手段】手動操作によって清掃部材（１６）を移動させながら被清掃面を清掃する清掃装置（１）は、清掃中に被清掃面を撮像部（６１）によって撮像し、清掃部材の現在位置を推定し、清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成し、清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成し、表示部（６３）によって自装置の現在位置を基準に、既清掃領域及び将来清掃領域を撮像画像内にＡＲ表示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

手動操作によって清掃部材を移動させながら被清掃面を清掃する清掃装置であって、
清掃中に被清掃面を撮像する撮像部と、
前記撮像部の撮像画像を表示する表示部と、
前記清掃部材の現在位置を推定する推定部と、
前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成する第１の作成部と、
前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成する第２の作成部と、を備え、
前記表示部は、自装置の現在位置を基準に、既清掃領域及び将来清掃領域を撮像画像内にＡＲ表示することを特徴とする清掃装置。

【請求項2】

手動操作によって清掃部材を移動させながら被清掃面を清掃する清掃装置であって、
清掃中に被清掃面を撮像する撮像部と、
前記撮像部の撮像画像を表示する表示部と、
前記清掃部材の現在位置を推定する推定部と、
前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成する第１の作成部と、
前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成する第２の作成部と、を備え、
前記表示部は、障害物までの距離、既清掃領域同士の重なり幅、既清掃領域と将来清掃領域の重なり幅の少なくとも１つを撮像画像内にＡＲ表示することを特徴とする清掃装置。

【請求項3】

学習モードにて手動操作によって前記清掃部材を移動させながら清掃プランを作成し、再現モードにて清掃プランを再現して被清掃面を自律走行清掃しており、
前記表示部は、学習モードにて既清掃領域及び将来清掃領域を撮像画像内にＡＲ表示することを特徴とする請求項１に記載の清掃装置。

【請求項4】

前記表示部は、前記清掃部材の移動方向、前記清掃部材の周辺の障害物、既清掃領域同士の重なり、既清掃領域と将来清掃領域の重なり、未清掃領域及び移動禁止区域の少なくとも１つを撮像画像内にＡＲ表示することを特徴とする請求項１から請求項３のいずれか１項に記載の清掃装置。

【請求項5】

前記表示部は、既清掃領域と将来清掃領域のＡＲ表示だけが有効な状態と、既清掃領域と将来清掃領域に加えて、前記清掃部材の移動方向、前記清掃部材の移動方向、前記清掃部材の周辺の障害物、既清掃領域同士の重なり、既清掃領域と将来清掃領域の重なり、未清掃領域及び移動禁止区域の少なくとも１つのＡＲ表示が有効な状態と、に切替可能であることを特徴とする請求項１から請求項４のいずれか１項に記載の清掃装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、清掃装置に関する。

【背景技術】

【0002】

従来、清掃済みエリアの清掃度合いをディスプレイに表示する電気掃除機が知られている（例えば、特許文献１参照）。特許文献１に記載の電気掃除機は、掃除機本体から延びる吸引ホースにハンドルが接続され、ハンドルに延長パイプを介して清掃ヘッドが装着されている。清掃ヘッドにはカメラと位置センサが設けられており、ハンドルにはディスプレイが設けられている。清掃中に位置センサの検出結果から清掃済みエリアが特定され、カメラの撮像画像から清掃度合いが求められて、清掃済みエリアが清掃度合いに応じて色分けされてディスプレイに表示される。

【0003】

また、清掃エリアの清掃状態を可視化する自律走行式の清掃装置が知られている（例えば、特許文献２参照）。特許文献２に記載の清掃装置は携帯端末に通信可能に接続されており、清掃装置にはゴミ検出センサが設けられ、携帯端末にはカメラが設けられている。ＳＬＡＭ（Simultaneous Localization and Mapping）等によって清掃エリアのマップが作成され、ゴミ検出センサの検出結果がマップに付加される。そして、清掃装置から携帯端末に清掃状態が反映されたマップが送信され、このマップがカメラの撮像画像に重ねられて携帯端末のディスプレイに表示される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－０２７３４５号公報

【特許文献2】特開２０１９－０８２８０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の電気掃除機では、清掃済みエリアが清掃度合いに応じて色分けされるため、清掃が途中で中断されても未清掃エリアを把握して清掃を再開することができる。しかしながら、実物と画面を見比べながら清掃しなければならず、作業者にとって煩わしい清掃作業になっていた。特許文献２に記載の清掃装置では、清掃後に撮像画像上に清掃状態が重ねられるため、作業者に清掃不足箇所を認識させて仕上げの清掃作業を促すことができる。しかしながら、清掃中に清掃不足箇所が表示されないため、作業者による清掃作業の効率を向上させることまでは難しい。

【0006】

そこで、本発明はかかる点に鑑みてなされたものであり、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる清掃装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の清掃装置は、手動操作によって清掃部材を移動させながら被清掃面を清掃する清掃装置であって、清掃中に被清掃面を撮像する撮像部と、前記撮像部の撮像画像を表示する表示部と、前記清掃部材の現在位置を推定する推定部と、前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成する第１の作成部と、前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成する第２の作成部と、を備え、前記表示部は、自装置の現在位置を基準に、既清掃領域及び将来清掃領域を撮像画像内にＡＲ表示する。

【0008】

この構成によれば、清掃中に撮像画像内の被清掃面に既清掃領域と将来清掃領域が自装置の現在位置を基準にして表示部にＡＲ表示され、実際の被清掃面と清掃済みの既清掃領域と清掃予定の将来清掃領域を表示部の同じ画面で視認することができる。このとき、既清掃領域と将来清掃領域を部分的に重ねるように清掃部材を手動操作することで、未清掃領域を生じさせることなく被清掃面を清掃部材によって清掃することができる。よって、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。

【0009】

本発明の清掃装置は、手動操作によって清掃部材を移動させながら被清掃面を清掃する清掃装置であって、清掃中に被清掃面を撮像する撮像部と、前記撮像部の撮像画像を表示する表示部と、前記清掃部材の現在位置を推定する推定部と、前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成する第１の作成部と、前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成する第２の作成部と、を備え、前記表示部は、障害物までの距離、既清掃領域同士の重なり幅、既清掃領域と将来清掃領域の重なり幅の少なくとも１つを撮像画像内にＡＲ表示する。この構成によれば、障害物までの距離、既清掃領域同士の重なり幅、既清掃領域と将来清掃領域の重なり幅の少なくとも１つを、より具体的な補助情報として作業者に認識させることができる。

【0010】

本発明の清掃装置において、学習モードにて手動操作によって前記清掃部材を移動させながら清掃プランを作成し、再現モードにて清掃プランを再現して被清掃面を自律走行清掃しており、前記表示部は、学習モードにて既清掃領域及び将来清掃領域を撮像画像内にＡＲ表示してもよい。この構成によれば、学習モードにて質が高く効率的な清掃プランを作成することができる。

【0011】

本発明の清掃装置において、前記表示部は、前記清掃部材の移動方向、前記清掃部材の周辺の障害物、既清掃領域同士の重なり、既清掃領域と将来清掃領域の重なり、未清掃領域及び移動禁止区域の少なくとも１つを撮像画像内にＡＲ表示してもよい。この構成によれば、清掃部材の移動方向、周辺の障害物、既清掃領域同士の重なり、既清掃領域と将来清掃領域の重なり、未清掃領域及び移動禁止区域の少なくとも１つを、補助情報として作業者に認識させることができる。

【0012】

本発明の清掃装置において、前記表示部は、既清掃領域と将来清掃領域のＡＲ表示だけが有効な状態と、既清掃領域と将来清掃領域に加えて、前記清掃部材の移動方向、前記清掃部材の移動方向、前記清掃部材の周辺の障害物、既清掃領域同士の重なり、既清掃領域と将来清掃領域の重なり、未清掃領域及び移動禁止区域の少なくとも１つのＡＲ表示が有効な状態と、に切替可能である。

【発明の効果】

【0013】

本発明によれば、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。

【図面の簡単な説明】

【0014】

【図1】第１の実施形態の清掃装置の斜視図である。

【図2】第１の実施形態の清掃装置の模式図である。

【図3】第１の実施形態の装置本体の制御ブロック図である。

【図4A】ＡＲ表示を無効にした表示画面の一例である。

【図4B】清掃領域をＡＲ表示した表示画面の一例である。

【図4C】清掃領域をＡＲ表示した表示画面の一例である。

【図5A】警告表示をＡＲ表示した表示画面の一例である。

【図5B】タグ表示をＡＲ表示した表示画面の一例である。

【図6】第１の実施形態のＡＲ表示処理のフローチャートの一例である。

【図7】第１の実施形態の凝視警告処理のフローチャートの一例である。

【図8】第２の実施形態の表示端末の模式図である。

【図9】第２の実施形態の表示端末の制御ブロック図である。

【図10】第２の実施形態の追加清掃のフローチャートの一例である。

【図11A】未清掃領域をＡＲ表示した表示画面の一例である。

【図11B】追加清掃領域をＡＲ表示した表示画面の一例である。

【図12】ウェアラブル型表示端末を用いた追加清掃の作業例を示している。

【図13】第２の実施形態の手動清掃のフローチャートの一例である。

【発明を実施するための形態】

【0015】

＜第１の実施形態＞
以下、図面を参照しつつ、第１の実施形態の清掃装置について説明する。図１は、第１の実施形態の清掃装置の斜視図である。図２は、第１の実施形態の清掃装置の模式図である。なお、本実施形態では、清掃装置として、自律走行式の清掃装置を例示して説明するが、清掃装置は、手押し式の清掃装置、搭乗式の清掃装置、手持ち式の清掃装置でもよい。

【0016】

図１に示すように、清掃装置１は、商業施設、製造施設、コンコース等の床面（被清掃面）Ｆを自動運転で清掃可能に構成されている。清掃装置１の装置本体１０の下部には、駆動輪としての前輪１２と補助輪としての後輪１３が設けられている。前輪１２と後輪１３の間に洗浄パッドや洗浄ブラシ等の清掃部材１６が設けられ、清掃部材１６の後側にはスキージ１７が設けられている。装置本体１０の上部後側にはハンドル２６が設けられ、ハンドル２６の前側には表示端末６０が着脱可能にセットされている。装置本体１０の前部の窪みには、障害物センサ２４が設けられている。

【0017】

図２に示すように、装置本体１０には、走行部１１、清掃部１５、無線通信部２１、計測部２３、操作部２５、記憶部５０、電源部２９、制御部３０が設けられており、表示端末６０には前カメラ６１、後カメラ６２、操作表示部６３が設けられている。走行部１１は、上記した前輪１２、後輪１３、走行モータ（不図示）、エンコーダ（不図示）等によって構成されている。走行部１１は、走行モータによって前輪１２を駆動させて清掃装置１を走行させている。なお、本実施形態には前輪駆動の清掃装置１を例示しているが、走行部１１によって後輪１３が駆動されてもよいし、走行部１１によって両輪が駆動されてもよい。

【0018】

清掃部１５は、例えば、湿式清掃によって床面Ｆを清掃するものであり、上記した清掃部材１６及びスキージ１７、洗浄モータ（不図示）、アクチュエータ（不図示）、洗浄液供給部（不図示）、汚水回収部（不図示）等によって構成されている。清掃部１５は、アクチュエータによって清掃部材１６を床面Ｆに押し付けて、清掃モータによって床面Ｆに対して清掃部材１６を回転させている。このとき、洗浄液供給部によって洗浄液タンクから床面Ｆに洗浄液が散布されて、スキージ１７に集められた汚水が汚水回収部によって汚水タンクに回収される。

【0019】

無線通信部２１は、装置本体１０と管理端末（不図示）を無線通信によって接続し、装置本体１０と表示端末６０を無線通信によって接続している。例えば、装置本体１０と管理端末はＷｉＦｉ（登録商標）等の無線ＬＡＮによって接続され、装置本体１０と表示端末６０はＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって接続されている。管理端末や表示端末６０によって装置本体１０の遠隔操作が可能になっている。なお、装置本体１０と表示端末６０は無線通信によって接続される構成に限らず、装置本体１０と表示端末６０は有線接続されていてもよい。

【0020】

計測部２３は、上記した障害物センサ２４を備えている。障害物センサ２４は、例えば、障害物や壁面からの距離及び角度を計測するＬＲＦ（Laser Range Finder）によって構成されている。障害物センサ２４から周囲にレーザー光が出射され、物体からの反射光を受光することで周辺の障害物センサ２４から障害物までの距離及び角度が計測されて、清掃装置１の周辺環境を認識することが可能になっている。また、障害物センサ２４は、レーザー光を用いた障害物検出の代わりに、周辺環境の撮像画像を用いた障害物検出を実施可能に構成されてもよい。

【0021】

操作部２５は、自動運転のためのティーチング作業等を実施する際に、作業員による手動操作を受け付けるものであり、上記したハンドル２６（図１参照）、スロットル等によって構成されている。操作部２５は、ハンドル２６の操舵量やスロットルの捻り量を電気信号に変換して、装置本体１０の走行モータの制御基板に出力して走行モータを駆動させる。操作部２５の操作によって、装置本体１０の走行速度の調整、左旋回、右旋回が実施される。また、装置本体１０には、操作部２５付近に電源スイッチ（不図示）、緊急停止スイッチ（不図示）が設けられている。

【0022】

記憶部５０は、用途に応じてＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の一つ又は複数の記憶媒体によって構成されている。ＲＯＭには、例えば、清掃装置１を制御するためのプログラムが記憶されている。ＨＤＤやフラッシュメモリには、例えば、自動運転の走行経路、走行速度、洗浄液の散布量、清掃部材１６の接触圧等を各種清掃条件が設定された清掃プランや、その他のパラメータが記憶されている。電源部２９は、バッテリ（不図示）及び充電回路等によって構成されている。電源部２９から装置各部に電力が供給されている。

【0023】

制御部３０は、装置各部を統括制御している。制御部３０の各種処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路（ハードウェア）によって実現されてもよい。プロセッサを用いる場合には、プロセッサが記憶部５０に記憶されているプログラムを読み出して実行することで各種処理が実施される。プロセッサとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）が使用される。なお、制御部３０及び記憶部５０の制御ブロックの詳細については後述する。

【0024】

表示端末６０は、タッチパネル式の表示画面を有するタブレット型の表示端末である。表示端末６０の前面には、清掃中に床面Ｆを撮像する前カメラ（撮像部）６１が設けられている。表示画面の後面には清掃中に作業者を撮像する後カメラ（他の撮像部）６２が設けられている。表示端末６０の後面に設けられた操作表示部（表示部、操作部）６３は、上記のタッチパネル式の表示画面によって構成されている。操作表示部６３は、前カメラ６１によって撮像された撮像画像（室内画像）を表示すると共に、各種情報の入力を受け付けている。

【0025】

また、表示端末６０は装置本体１０に対して電気的に接続されている。装置本体１０が起動すると、装置本体１０から表示端末６０にも電力が供給されて表示端末６０が起動する。表示端末６０の起動と同時に、表示端末６０の前カメラ６１及び後カメラ６２が撮像を開始して、前カメラ６１に撮像された撮像画像が表示画面に表示される。表示端末６０にはバッテリが内蔵されているため、装置本体１０から表示端末６０を分離して、表示端末６０を独立して起動させることができる。

【0026】

表示端末６０の各種処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路（ハードウェア）によって実現されてもよい。プロセッサを用いる場合には、プロセッサがメモリに記憶されているプログラムを読み出して実行することで各種処理が実施される。プロセッサとしては、例えば、ＣＰＵ、ＧＰＵが使用される。また、メモリは、用途に応じてＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリ等の一つ又は複数の記憶媒体によって構成されている。ＲＯＭには、例えば、表示端末６０を制御するためのプログラムが記憶されている。

【0027】

このような清掃装置１は、手動モード、学習モード、再現モードの３つの動作モードで動作する。手動モードは、手動操作によって清掃装置１を走行させて、清掃部材１６を移動させながら床面Ｆを清掃するモードである。学習モードは、手動操作によって清掃装置１を走行させて、清掃部材１６を移動させながら清掃プラン及び環境地図を作成するモードである。再現モードは、清掃プランを再現するように床面Ｆを自律走行清掃するモードである。手動モード及び学習モードでは、清掃装置１が手動操作されるため、高い作業性が求められている。

【0028】

そこで、本実施形態の清掃装置１が手動モード又は学習モードで動作する際に、表示端末６０に映された撮像画像内の床面Ｆに、清掃済みの既清掃領域Ａ１と清掃予定の将来清掃領域Ａ２が重ねられる（図４Ｂ参照）。既清掃領域Ａ１は清掃装置１が通過した床面Ｆ上の領域を示しており、将来清掃領域Ａ２はこれから清掃装置１が通過する床面Ｆ上の領域を示している。このため、表示端末６０の表示画面を視認しながら、撮像画像内の床面Ｆを既清掃領域Ａ１で塗り潰すように清掃装置１を動かすことで、高い質を維持しつつ床面Ｆを清掃装置１によって効率的に清掃することができる。

【0029】

以下、装置本体の制御部及び記憶部の詳細構成について説明する。図３は、第１の実施形態の装置本体の制御ブロック図である。なお、ここでは、説明の便宜上、学習モード及び再現モードで清掃装置が動作する際の制御ブロックを示している。

【0030】

図３に示すように、制御部３０には、学習清掃制御部３１、学習走行制御部３２、ＳＬＡＭ制御部３３、走行経路作成部３４、環境地図作成部３５、清掃プラン作成部３６、再現清掃制御部３７、再現走行制御部３８、既清掃領域作成部３９、将来清掃領域作成部４１、ＡＲ表示制御部４２、既清掃領域判定部４３、将来清掃領域判定部４４、未清掃領域判定部４５、顔認識部４６、凝視警告部４７、タグ付与部４８が設けられている。記憶部５０には、走行経路記憶部５１、環境地図記憶部５２、清掃プラン記憶部５３、清掃領域記憶部５４、タグ記憶部５５、装置設定記憶部５６が設けられている。

【0031】

学習清掃制御部３１は、学習モード中に作業者の操作に従った清掃装置１の手動清掃を制御している。学習清掃制御部３１による制御内容は、ティーチングデータとして清掃プラン作成部３６に出力される。このティーチングデータには、例えば洗浄液の散布量、清掃部材１６の接触圧、汚水の吸引力が含まれている。学習走行制御部３２は、学習モード中に作業者の操作に従った清掃装置１の手動走行を制御している。学習走行制御部３２による制御内容は、ティーチングデータとして清掃プラン作成部３６に出力される。このティーチングデータには、例えば走行速度が含まれている。

【0032】

ＳＬＡＭ制御部（推定部）３３は、学習モード中にリアルタイムでＳＬＡＭを実行して、計測部２３に計測された清掃装置１の周囲の障害物からの距離及び角度に基づいて、清掃装置１の自己位置（現在位置）を推定すると共に局所地図を作成する。走行経路作成部３４は、学習モード中に時系列に並んだ複数の自己位置を繋ぎ合わせて清掃装置１の走行経路を作成する。環境地図作成部３５は、学習モード中に時系列に並んだ複数の局所地図を繋ぎ合わせて環境地図を作成する。走行経路はティーチングデータとして走行経路記憶部５１に記憶され、環境地図は環境地図記憶部５２に記憶される。

【0033】

なお、計測部２３には、障害物センサ２４として２次元タイプのＬＲＦが用いられてもよいし、３次元タイプのＬＲＦが用いられてもよい。２次元タイプのＬＲＦによって２次元データが取得されてもよいし、３次元タイプのＬＲＦ又は２次元タイプのＬＲＦの揺動によって３次元データが取得されてもよい。すなわち、走行経路作成部３４によって２次元の走行経路が作成されてもよいし、３次元の走行経路が作成されてもよい。また、環境地図作成部３５によって２次元の環境地図が作成されてもよいし、３次元の環境地図が作成されてもよい。

【0034】

清掃プラン作成部３６は、各種ティーチングデータを学習モードの開始から終了までの所定時間間隔のステップ毎に関連付けて清掃プランを作成する。この場合、環境地図に清掃装置１の走行経路が反映されて、走行経路の開始地点から終了地点までの各地点における洗浄液の散布量、清掃部材１６の接触圧、汚水の吸引力、走行速度が設定されて清掃プランが作成される。清掃プランは清掃プラン記憶部５３に記憶されて、再現モード中に使用される。清掃プラン記憶部５３には複数の清掃プランが記憶されており、清掃プランを適宜選択することができる。

【0035】

再現清掃制御部３７は、再現モード中に清掃プラン記憶部５３から清掃プランを読み込み、清掃プランに従って清掃装置１の自動清掃を制御している。再現走行制御部３８は、再現モード中に清掃プラン記憶部５３から清掃プランを読み込み、清掃プランに従って清掃装置１の自律走行を制御している。清掃装置１が走行経路に沿って自律走行しながら、洗浄液を床面Ｆに散布して清掃部材１６によって床面Ｆを洗浄している。このようにして、学習モード中に清掃装置１に対してティーチングされた清掃プランが、再現モード中に清掃装置１によって再現される。

【0036】

既清掃領域作成部（第１の作成部）３９は、学習モード中に清掃装置１（清掃部材１６）の現在位置までの走行経路（移動軌跡）に基づいて既清掃領域Ａ１（図４Ｂ参照）を作成する。この場合、既清掃領域作成部３９によって走行経路記憶部５１から走行経路が読み込まれると共に、装置設定記憶部５６から清掃部材１６の幅が読み込まれる。そして、既清掃領域作成部３９によって現在位置までの走行経路と清掃部材１６の幅が組み合わせられて、清掃部材１６が床面Ｆを通過した清掃軌跡を示す清掃済みの既清掃領域Ａ１が作成される。既清掃領域Ａ１は清掃領域記憶部５４に記憶される。

【0037】

将来清掃領域作成部（第２の作成部）４１は、学習モード中に清掃装置１（清掃部材１６）の現在位置からの移動方向に基づいて将来清掃領域Ａ２（図４Ｂ参照）を作成する。この場合、将来清掃領域作成部４１によって現在位置からの移動方向から走行予定の走行経路が予測されると共に、装置設定記憶部５６から清掃部材１６の幅が読み込まれる。そして、将来清掃領域作成部４１によって走行予定の走行経路と清掃部材１６の幅が組み合わせられて、清掃部材１６が床面Ｆを通過する将来の清掃軌跡を示す清掃予定の将来清掃領域Ａ２が作成される。将来清掃領域Ａ２は清掃領域記憶部５４に記憶される。なお、現在位置からの移動方向はハンドルの操舵角によって求められる。また、将来清掃領域Ａ２は直線に限られず、旋回時にはハンドル操作に応じて円弧状に作成されてもよい。

【0038】

ＡＲ表示制御部４２は、表示端末６０の前カメラ６１から入力された撮像画像に既清掃領域Ａ１及び将来清掃領域Ａ２を重ね合わせて表示端末６０にＡＲ表示させる。例えば、環境地図の特徴点と撮像画像の特徴点がマッチングされて、撮像画像の撮像座標系（カメラ座標系）における清掃装置１の現在位置が特定される。この清掃装置１の現在位置を基準にした既清掃領域Ａ１と将来清掃領域Ａ２が撮像画像内の床面Ｆに重ねられる。既清掃領域Ａ１と将来清掃領域Ａ２は色付けされた仮想領域で表され、各仮想領域がそれぞれ異なる表示色で表されていてもよい。

【0039】

既清掃領域判定部４３は既清掃領域Ａ１同士の重なりを判定し、将来清掃領域判定部４４は既清掃領域Ａ１と将来清掃領域Ａ２の重なりを判定する。重なり箇所は、既清掃領域Ａ１及び将来清掃領域Ａ２とは異なる表示色で表されてもよいし、既清掃領域Ａ１及び将来清掃領域Ａ２よりも濃い表示色で表されてもよい。既清掃領域判定部４３は既清掃領域Ａ１同士の重なり幅を算出してもよいし、将来清掃領域判定部４４は既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅を算出してもよい。重なり幅は、例えば、既清掃領域Ａ１と将来清掃領域Ａ２を含む撮像画像に既知の画像処理が施されることで求められてもよい。

【0040】

未清掃領域判定部４５は、既清掃領域Ａ１同士の隙間を未清掃領域Ａ３（図１１Ａ参照）として判定する。未清掃領域Ａ３は、既清掃領域Ａ１及び将来清掃領域Ａ２とは異なる表示色で表されてもよい。さらに、撮像画像には、清掃動作のスタート位置、清掃装置１から障害物までの距離、清掃部材１６の移動方向、走行禁止区域がＡＲ表示されてもよい。清掃動作のスタート位置は、手動操作の開始直後に実行されたＳＬＡＭによって求められる。清掃装置１から障害物までの距離は、ＳＬＡＭの実行時に計測部２３によって計測される。移動方向はハンドル２６の操舵角によって求められ、走行禁止区域は手動によって予め設定される。

【0041】

ＡＲ表示については、手動操作の開始直後から自動的に有効にされていてもよいし、作業者の選択に応じて任意に有効にされてもよい。例えば、表示端末６０の操作表示部６３にＡＲ表示用のアプリケーションを表示し、このアプリケーションの起動によってＡＲ表示が有効にされてもよい。また、既清掃領域Ａ１と将来清掃領域Ａ２のＡＲ表示だけが有効にされてもよいし、上記全ての情報のＡＲ表示が有効にされてもよい。また、ＡＲ表示された既清掃領域Ａ１をオフセットできる補正部が設けられていてもよい。これにより、未清掃領域Ａ３が無くなるように、表示端末６０を見ながら清掃プランを修正することができる。

【0042】

既清掃領域Ａ１と将来清掃領域Ａ２のＡＲ表示を作業者が凝視し続けると前方不注意になる恐れがある。このため、清掃装置１には顔認識部（認識部）４６及び凝視警告部（警告部）４７による凝視警告機能が実装されている。顔認識部４６には、表示端末６０の後カメラ６２から表示端末６０を視認した作業者の撮像画像が入力される。顔認識部４６は、公知の顔認識処理によって撮像画像が解析されて作業者の顔を認識する。通常、顔認識処理では、顔の輪郭、目、鼻、口、眉毛等の特徴部分が認識されるが、本実施形態の顔認識処理では、目の瞳孔が認識されたときに作業者が表示端末６０を視認したと認識される。

【0043】

凝視警告部４７は、一定時間以上継続して作業者の顔が認識された場合に、作業者が表示端末６０を凝視し続けていると判定する。そして、凝視警告部４７は、音声警告、発光警告、表示警告又はこれらの組み合わせによって警告する。例えば、凝視警告部４７は、音声メッセージやビープ音等によって音声警告してもよいし、表示画面の明滅によって発光警告してもよいし、警告メッセージのＡＲ表示によって表示警告してもよい。また、凝視警告部４７による警告後にも作業者の顔が認識され続けた場合に、清掃装置１の走行動作が緊急停止されてもよい。

【0044】

清掃中には特別な指示や注意点のメモ書きをＡＲ表示させたいという要望がある。このため、清掃装置１には、タグ付与部（付与部）４８、操作表示部６３、タグ記憶部（記憶部）５５によって撮像画面に対するメモ書き機能が実装されている。タグ付与部４８は、作業者の入力操作に応じて撮像画像にタグＴ（図５Ｂ参照）を付与する。タグＴの付与時には、ＳＬＡＭが実行されて清掃装置１の自己位置が推定され、この自己位置を基準にした所定座標にタグＴが付与される。なお、Ｖ－ＳＬＡＭによって推定された清掃装置１の自己位置を基準にしてタグＴが付与されてもよい。

【0045】

タグＴには表示端末６０の操作表示部６３によってメモが入力される。操作表示部６３によってタグＴの保存操作が実行されると、タグＴの付与座標（付与位置）とタグＴへの入力内容が関連付けられてタグ記憶部５５に記憶される。なお、タグ記憶部５５には、例えばワールド座標系を基準にしたタグＴの付与座標が記憶される。これにより、再び学習モードで同じエリアを清掃する際に、表示端末６０を通してタグＴに記載されたメモを視認することができる。また、清掃装置１から表示端末６０を取り外して、表示端末６０を通して遠隔からでもタグＴに記載されたメモを確認することができる。

【0046】

ここで、清掃中の表示画面について説明する。図４Ａは、ＡＲ表示を無効にした表示画面の一例である。図４Ｂは、清掃領域をＡＲ表示した表示画面の一例である。図４Ｃは、清掃領域をＡＲ表示した表示画面の一例である。図５Ａは、警告表示をＡＲ表示した表示画面の一例である。図５Ｂは、タグ表示をＡＲ表示した表示画面の一例である。なお、ここでは、図２及び図３の符号を適宜使用して説明する。

【0047】

図４Ａに示すように、ＡＲ表示が無効な場合には、前カメラ６１に撮像された清掃装置１の前方の室内画像だけが表示端末６０の表示画面に表示される。作業者は清掃装置１の現在位置までの清掃軌跡を認識することができず、清掃済みの床面Ｆを視認しながら清掃作業を実施することができない。このため、学習モード中に床面Ｆを手動清掃する際には、床面Ｆに清掃箇所の抜けが発生するおそれがある。学習モード中に手動操作によって清掃装置１に効果的なティーチングができないため、再現モード中に自動運転によって清掃装置１に質が高い清掃作業を再現させることができない。

【0048】

図４Ｂに示すように、ＡＲ表示が有効になると、前カメラ６１に撮像された室内画像上に各種情報が表示端末６０の表示画面にＡＲ表示される。床面Ｆには清掃済みの既清掃領域Ａ１と清掃予定の将来清掃領域Ａ２がＡＲ表示されている。このため、既清掃領域Ａ１と将来清掃領域Ａ２を部分的に重ねるように清掃装置１を動かすことで、清掃箇所の抜けを発生させることなく床面Ｆを清掃することができる。学習モード中に手動操作によって清掃装置１に効果的なティーチングができるため、再現モード中に自動運転によって清掃装置１に質が高い清掃作業を再現させることができる。

【0049】

また、室内画像上には、清掃装置１の周辺の障害物、既清掃領域Ａ１同士の重なり、既清掃領域Ａ１と将来清掃領域Ａ２の重なり、走行禁止区域、清掃動作のスタート位置等を示す情報がＡＲ表示されている。さらに、室内画像上には、清掃装置１から障害物までの距離、清掃装置１の現在位置における既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅等の数値情報がＡＲ表示されている。既清掃領域Ａ１及び将来清掃領域Ａ２に加えて、これらの補助情報が作業者に認識されることで、手動操作によって床面Ｆに対して質の高い清掃を実施することができる。

【0050】

図４Ｃに示すように、既清掃領域Ａ１から将来清掃領域Ａ２が完全に外れる方向に清掃装置１が傾くと、清掃装置１の現在位置で既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅が小さくなる。このため、既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅が所定値以下になったときに、室内画像上に清掃装置１の軌道修正を促す警告メッセージＭ１がＡＲ表示されてもよい。既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅を略一定に維持した状態で清掃装置１を動かすことができる。作業者の技量に関わらず、清掃箇所の抜けを抑えて、より質の高い清掃作業を清掃装置１に実施させることができる。

【0051】

図５Ａに示すように、作業者が表示画面を凝視している場合には、室内画像上に注意を促す警告メッセージＭ２がＡＲ表示されてもよい。上記したように、表示画面を視認する作業者の顔が後カメラ６２によって撮像され、一定時間にわたって作業者の顔が認識され続けた場合に室内画像上に警告メッセージが表示される。作業者に警告メッセージＭ２を視認させて、清掃中に作業者に注意を促すことができる。また、図５Ｂに示すように、以前の学習モード中に付与されたタグＴが室内画像上に表示されてもよい。タグＴに入力されたメモを作業者に確認させることができる。

【0052】

清掃装置の処理動作について説明する。図６は、第１の実施形態のＡＲ表示処理のフローチャートの一例である。図７は、第１の実施形態の凝視警告処理のフローチャートの一例である。なお、ここでは、図２及び図３の符号を適宜使用して説明する。

【0053】

図６に示すように、学習モード中には、表示端末６０の前カメラ６１による撮像処理と装置本体１０のＳＬＡＭ制御部３３によるＳＬＡＭが並列に実行される。前カメラ６１によって装置前方が撮像され、前カメラ６１から装置本体１０のＡＲ表示制御部４２に撮像画像が出力される（ステップＳ０１）。撮像画像には被清掃面となる床面Ｆが含まれている。同時に、ＳＬＡＭ制御部３３によってＳＬＡＭが実行され（ステップＳ０２）、計測部２３によって清掃装置１から周辺の障害物までの距離と角度が計測されて、清掃装置１の自己位置（現在位置）が推定されると共に環境地図が作成される（ステップＳ０３）。

【0054】

次に、既清掃領域作成部３９によって清掃装置１の自己位置までの走行経路と清掃部材１６の幅から既清掃領域Ａ１が作成され、既清掃領域作成部３９からＡＲ表示制御部４２に既清掃領域Ａ１が出力される（ステップＳ０４）。将来清掃領域作成部４１によって清掃装置１の自己位置からの移動方向と清掃部材１６の幅から将来清掃領域Ａ２が作成され、将来清掃領域作成部４１からＡＲ表示制御部４２に将来清掃領域Ａ２が出力される（ステップＳ０５）。次に、ＡＲ表示制御部４２によって表示端末６０が制御されて、撮像画像内の床面Ｆ上に既清掃領域Ａ１及び将来清掃領域Ａ２がＡＲ表示される（ステップＳ０６）。

【0055】

このとき、撮像画像上には、清掃装置１の周辺の障害物、既清掃領域Ａ１同士の重なり、既清掃領域Ａ１と将来清掃領域Ａ２の重なり、走行禁止区域、清掃動作のスタート位置等を示す情報がＡＲ表示されてもよい。また、撮像画像上には、清掃装置１の軌道修正を促す警告メッセージＭ１や、表示画面の凝視を注意する警告メッセージＭ２がＡＲ表示されてもよい。さらに、撮像画像上には、メモが入力されたタグＴがＡＲ表示されてもよい。そして、清掃装置１による清掃作業が終了するまで、ステップＳ０１からステップＳ０６までの処理が繰り返される（ステップＳ０７）。

【0056】

また、図７に示すように、学習モード中には、表示端末６０の後カメラ６２によって作業者が撮像されて、後カメラ６２から装置本体１０の顔認識部４６に撮像画像が出力される（ステップＳ１１）。次に、顔認識部４６によって撮像画像に対して作業者の顔認識処理が実行される（ステップＳ１２）。顔認識処理では目の瞳孔によって作業者の顔が認識される。撮像画像から作業者の顔が認識されない場合（ステップＳ１２でＮｏ）、作業者が表示端末６０を視認していないため、作業者に対して警告処理が実施されることなくステップＳ１５に処理が移行する。

【0057】

撮像画像から作業者の顔が認識された場合（ステップＳ１２でＹｅｓ）、凝視警告部４７によって一定時間以上継続して作業者の顔が認識されたか否かが判定される（ステップＳ１３）。一定時間継続して作業者の顔が認識されない場合（ステップＳ１３でＮｏ）、作業者が表示端末６０を凝視していないため、作業者に対して警告処理が実施されることなくステップＳ１５に処理が移行する。なお、作業者の瞬き等によって瞬間的に瞳孔が認識されない場合であっても、凝視警告部４７によって作業者の顔が認識され続けていると判定される。

【0058】

一定時間継続して作業者の顔が認識された場合（ステップＳ１３でＹｅｓ）、作業者が表示端末６０を凝視し続けているため、凝視警告部４７によって表示端末６０の表示画面に警告メッセージＭ２がＡＲ表示される（ステップＳ１４）。これにより、清掃中に表示端末６０を凝視する作業者に対して注意が促される。なお、表示画面の明滅や音声メッセージの出力によって作業者に対して警告されてもよい。そして、清掃装置１による清掃作業が終了するまで、ステップＳ１１からステップＳ１４までの処理が繰り返される（ステップＳ１５）。

【0059】

以上、第１の実施形態によれば、清掃中に撮像画像内の床面Ｆに既清掃領域Ａ１と将来清掃領域Ａ２が重ねられて表示端末６０に表示され、実際の床面Ｆと清掃済みの既清掃領域Ａ１と清掃予定の将来清掃領域Ａ２を表示端末６０の同じ画面で視認することができる。このとき、既清掃領域Ａ１と将来清掃領域Ａ２を部分的に重ねるように清掃部材１６を手動操作することで、未清掃領域を生じさせることなく床面Ｆを清掃部材１６によって清掃することができる。よって、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。

【0060】

＜第２の実施形態＞
続いて、第２の実施形態の表示端末について説明する。第２の実施形態は、表示端末によって清掃作業の作業性を向上させることができる点で第１の実施形態と相違している。図８は、第２の実施形態の表示端末の模式図である。図９は、第２の実施形態の表示端末の制御ブロック図である。

【0061】

図８に示すように、表示端末７０には、前カメラ７１、後カメラ７２、操作表示部７３、無線通信部７４、電源部７５、Ｇセンサ７６、ビーコン受信部７７、制御部８０、記憶部９０が設けられている。第２の実施形態の前カメラ７１、後カメラ７２、操作表示部７３は、第１の実施形態の前カメラ６１、後カメラ６２、操作表示部６３と略同様に構成されている。無線通信部７４は、表示端末７０と装置本体１０（図２参照）を無線通信によって接続している。電源部７５は、端末各部に電力を供給しており、バッテリ（不図示）及び充電回路等によって構成されている。

【0062】

Ｇセンサ７６は表示端末７０の前後、左右、上下に取り付けられており、これらの方向に加速度や減速度がかかったときに、加速度及び減速度の大きさに応じた電気信号を出力する。この電気信号によって表示端末７０の姿勢変化（傾き）が求められる。Ｇセンサ７６から検出値が出力される度に検出値が足されることで、オドメトリによって表示端末７０の移動量が把握される。ただし、Ｇセンサ７６によるオドメトリは誤差が大きいため、清掃エリアにビーコンが設置されており、ビーコン受信部７７によってビーコンからの信号が受信されることで、ビーコンの設置位置を基準にして移動量が求められる。

【0063】

制御部８０は、装置各部を統括制御している。制御部８０の各種処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路（ハードウェア）によって実現されてもよい。プロセッサを用いる場合には、プロセッサが記憶部９０に記憶されているプログラムを読み出して実行することで各種処理が実施される。記憶部９０は、用途に応じてＲＯＭ、ＲＡＭ、フラッシュメモリ等の一つ又は複数の記憶媒体によって構成されている。ＲＯＭには、例えば、表示端末７０を制御するためのプログラムが記憶されている。プロセッサとしては、例えば、ＣＰＵ、ＧＰＵが使用される。

【0064】

図９に示すように、制御部８０には、Ｖ－ＳＬＡＭ制御部８１、移動経路作成部８２、環境地図作成部８３、既清掃領域作成部８４、将来清掃領域作成部８５、ＡＲ表示制御部８６、既清掃領域判定部８７、将来清掃領域判定部８８、未清掃領域判定部８９が設けられている。記憶部９０には、移動経路記憶部９１、環境地図記憶部９２、清掃領域記憶部９３、装置設定記憶部９４が設けられている。Ｖ－ＳＬＡＭ制御部８１以外の各制御ブロックについては、第１の実施形態の装置本体１０（図２参照）の各制御ブロックと略同一の構成である。このため、Ｖ－ＳＬＡＭ制御部８１以外の各制御ブロックの説明を省略する。

【0065】

Ｖ－ＳＬＡＭ制御部（推定部）８１は、リアルタイムでＶ－ＳＬＡＭを実行して、前カメラ７１から取得した撮像画像に基づいて、表示端末７０の自己位置（現在位置）を推定すると共に局所地図を作成する。Ｖ－ＳＬＡＭでは、前カメラ７１（図８参照）から逐次入力される撮像画像がスキャンされて特徴点が抽出され、この時間と共に変化する特徴点によって自己位置が推定される。また、既に環境地図が作成されている場合には、Ｖ－ＳＬＡＭによって撮像画像から求めた特徴点を環境地図の特徴点にマッチングすることによって、表示端末７０の自己位置を推定することも可能である。

【0066】

次に、第２の実施形態の表示端末を用いた作業例について説明する。本作業例は、自律走行式の清掃装置によって手動モードで清掃した後に、この清掃装置から表示端末を分離して、清掃抜けが生じた箇所について手動式の他の清掃装置を用いて追加清掃する一例である。図１０は、第２の実施形態の追加清掃のフローチャートの一例である。図１１Ａは、未清掃領域をＡＲ表示した表示画面の一例である。図１１Ｂは、追加清掃領域をＡＲ表示した表示画面の一例である。図１２は、ウェアラブル型表示端末を用いた追加清掃の作業例を示している。なお、ここでは、図８及び図９の符号を適宜使用して説明する。

【0067】

図１０に示すように、清掃装置１の手動モードによる清掃が終了して、手動式の他の清掃装置１００（図１２参照）による追加清掃が開始されると、表示端末７０には装置本体１０（図２参照）から移動経路、環境地図、既清掃領域Ａ１が入力される（ステップＳ２１）。なお、清掃装置１は手動モードであっても、バックグラウンドで移動経路、環境地図、既清掃領域Ａ１が作成されてもよい。移動経路、環境地図、既清掃領域Ａ１は、それぞれ表示端末７０の移動経路記憶部９１、環境地図記憶部９２、清掃領域記憶部９３に記憶される。次に、表示端末７０の前カメラ７１によってカメラ前方が撮像されて、Ｖ－ＳＬＡＭ制御部８１によって撮像画像に基づいてＶ－ＳＬＡＭが実行される（ステップＳ２２）。

【0068】

次に、Ｖ－ＳＬＡＭによって撮像画像の特徴点が抽出され、環境地図記憶部９２に記憶された環境地図の特徴点と撮像画像の特徴点がマッチングされて表示端末７０の現在位置が推定される（ステップＳ２３）。次に、ＡＲ表示制御部８６によって表示端末７０の現在位置を基準にして撮像画像内の床面Ｆ上に既清掃領域Ａ１がＡＲ表示される（ステップＳ２４）。次に、未清掃領域判定部８９によって既清掃領域Ａ１の重なり状況から未清掃領域Ａ３の有無が判定される（ステップＳ２５）。未清掃領域Ａ３が無い場合（ステップＳ２５でＮｏ）、追加清掃されることなく処理が終了する。

【0069】

一方、未清掃領域Ａ３がある場合（ステップＳ２５でＹｅｓ）、表示端末６０の表示画面を確認しながら、手動式の他の清掃装置１００によって追加清掃が実施される（ステップＳ２６）。このとき、図１１Ａに示すように、未清掃領域Ａ３がある場合には、ＡＲ表示制御部４２によって撮像画像上に警告メッセージＭ３がＡＲ表示されてもよい。これにより、未清掃領域Ａ３の追加清掃を作業者に対して促すことができる。なお、表示画面の明滅や音声メッセージの出力によって作業者に対して警告されてもよい。

【0070】

また、図１１Ｂに示すように、追加清掃済みの追加清掃領域Ａ４が撮像画像上にＡＲ表示されてもよい。例えば、Ｖ－ＳＬＡＭ制御部８１によって追加清掃中にリアルタイムでＶ－ＳＬＡＭが実行されて他の清掃装置１００の自己位置が推定される。移動経路作成部８２によって時系列に並んだ自己位置が繋ぎ合わされて他の清掃装置１００の移動経路が作成される。装置設定記憶部９４に記憶された清掃部材（不図示）の幅と移動経路が組み合わされて追加清掃領域Ａ４が作成される。そして、撮像画像上に追加清掃済みの追加清掃領域Ａ４がＡＲ表示される。なお、追加清掃時の移動経路は移動経路記憶部９１に記憶され、追加清掃領域Ａ４は清掃領域記憶部９３に記憶されてもよい。

【0071】

図１２に示すように、本作業例では表示端末７０としてタブレット型の表示端末７０ａの他に、ウェアラブル型の表示端末７０ｂを用いることも可能である。特に、ウェアラブル型の表示端末７０ｂとしてゴーグル型の表示端末を用いることで、作業者の両手が自由になるため追加清掃の作業性を向上させることができる。

【0072】

次に、第２の実施形態の表示端末を用いた他の作業例について説明する。他の作業例は、自律走行式の清掃装置１から表示端末を分離して、他の清掃装置（不図示）に表示端末を取り付けて手動清掃する場合について説明する。図１３は、第２の実施形態の手動清掃のフローチャートの一例である。なお、ここでは、図８及び図９の符号を適宜使用して説明する。

【0073】

図１３に示すように、他の清掃装置による手動清掃が開始されると、表示端末７０の前カメラ７１によってカメラ前方が撮像されて、Ｖ－ＳＬＡＭ制御部８１によって撮像画像に基づいてＶ－ＳＬＡＭが実行される（ステップＳ３１）。次に、前カメラ７１から逐次入力される撮像画像の特徴点が抽出され、各撮像画像の特徴点のマッチングによって表示端末７０の自己位置が推定される（ステップＳ３２）。このとき、Ｇセンサ７６の検出値とビーコンからの信号によって表示端末７０の移動量が求められ（ステップＳ３３）、表示端末７０の自己位置が移動量によって補正される（ステップＳ３４）。

【0074】

次に、既清掃領域作成部８４によって表示端末７０の自己位置までの走行経路と清掃部材の幅から既清掃領域Ａ１が作成され、既清掃領域作成部８４からＡＲ表示制御部８６に既清掃領域Ａ１が出力される（ステップＳ３５）。将来清掃領域作成部８５によって表示端末７０の自己位置からの移動方向と清掃部材の幅から将来清掃領域Ａ２が作成され、将来清掃領域作成部８５からＡＲ表示制御部８６に将来清掃領域Ａ２が出力される（ステップＳ３６）。次に、ＡＲ表示制御部８６によって撮像画像内の床面Ｆ上に既清掃領域Ａ１及び将来清掃領域Ａ２がＡＲ表示される（ステップＳ３７）。

【0075】

このとき、撮像画像上には、清掃装置１の周辺の障害物、既清掃領域Ａ１同士の重なり、既清掃領域Ａ１と将来清掃領域Ａ２の重なり、走行禁止区域、清掃動作のスタート位置等を示す情報がＡＲ表示されてもよい。また、撮像画像上には、清掃装置１の軌道修正を促す警告メッセージＭ１や、表示画面の凝視を注意する警告メッセージＭ２がＡＲ表示されてもよい。さらに、撮像画像上には、メモが入力されたタグＴがＡＲ表示されてもよい。そして、清掃装置１による清掃作業が終了するまで、ステップＳ３１からステップＳ３７までの処理が繰り返される（ステップＳ３８）。

【0076】

以上、第２の実施形態によれば、第１の実施形態と同様に、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。また、自律走行式の清掃装置１（図１参照）から表示端末７０を分離させて、他の清掃装置を用いた手動清掃に表示端末７０を利用することができる。この表示端末７０を用いることで、専用の清掃装置を開発する必要がなく、既存の清掃装置の作業性を向上させることができる。

【0077】

なお、各実施形態の清掃作業は、湿式の洗浄作業、乾式の掃除作業、研磨作業、艶出し作業を含んでいる。したがって、清掃部材は、被清掃面に対して清掃作業を実施可能な部材であればよく、例えば洗浄ブラシ、洗浄パッド、掃除ブラシ、研磨ブラシ、艶出しブラシでもよい。

【0078】

また、各実施形態では、作業者が清掃装置のハンドルを持って手動操作しているが、作業者が表示端末によって清掃装置を遠隔手動操作してもよい。

【0079】

また、各実施形態では、表示端末としてタブレット型、スマートフォン型、ウェアラブル型のいずれの表示端末が使用されてもよい。

【0080】

また、各実施形態では、床面清掃用の清掃装置及び表示端末のＡＲ表示処理について説明したが、当該ＡＲ表示処理は壁面、天井面、窓面、鏡面等の清掃に用いられる清掃装置及び表示端末に適用することもできる。すなわち、被清掃面とは、壁面、天井面、窓面、鏡面等を含んでいる。

【0081】

また、第１の実施形態の障害物センサはＬＲＦによって構成されたが、障害物センサは障害物を検出可能な構成であればよい。例えば、障害物センサは、Ｖ－ＳＬＡＭで用いるカメラやＬｉＤＡＲ－ＳＬＡＭで用いるＬｉＤＡＲ（Light Detection and Ranging）によって構成されてもよい。

【0082】

また、第１の実施形態の清掃装置には表示端末が着脱可能にセットされているが、装置端末に表示端末が一体的に設けられていてもよい。

【0083】

また、第１の実施形態の清掃装置には、推定部としてＳＬＡＭ制御部が設けられているが、推定部は清掃装置の自己位置を推定可能な構成であればよい。例えば、清掃装置にＧＰＳ（Global Positioning System）センサが設けられており、ＧＰＳ信号によって清掃装置の自己位置が推定されてもよい。

【0084】

また、第１の実施形態では、学習モード中のＡＲ表示処理について説明したが、当該ＡＲ表示処理は手動モードにも適用することができる。手動モードであっても、学習モードと同様に、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。

【0085】

また、第２の実施形態では、自律走行式の清掃装置から分離された表示端末が、他の清掃装置に用いられているが、表示端末は駆動機構を持たないモップやワイパー等の他の清掃用具に用いられてもよい。

【0086】

また、第２の実施形態の表示端末には、推定部としてＶ－ＳＬＡＭ制御部が設けられているが、推定部は表示端末の自己位置を推定可能な構成であればよい。例えば、表示端末にＧＰＳセンサが設けられており、ＧＰＳ信号によって表示端末の自己位置が推定されてもよい。

【0087】

また、清掃装置は、被清掃面を清掃可能な装置であればく、例えば、ロボット清掃機、洗浄機、ポリッシャー、路面清掃機、掃除機、バフィングマシンでもよい。

【0088】

また、各実施形態では、既清掃領域及び将来清掃領域が撮像画像内の被清掃面に重ねて表示されたが、既清掃領域又は将来清掃領域が撮像画像内の被清掃面に重ねて表示されてもよい。既清掃領域又は将来清掃領域を参照しながら清掃作業の作業性を向上することができる。

【0089】

また、上記した各実施形態及び変形例において、清掃装置又は表示端末にプログラムをインストールすることによって、清掃装置又は表示端末に撮像画像内の被清掃面に既清掃領域と将来清掃領域を重ねて表示させる機能を追加されてもよい。このプログラムは記憶媒体に記憶されている。記憶媒体は特に限定されないが、光ディスク、光磁気ディスク、フラッシュメモリ等の非一過性の記憶媒体であってもよい。

【0090】

なお、本実施形態を説明したが、他の実施形態として、上記実施形態及び変形例を全体的又は部分的に組み合わせたものでもよい。

【0091】

また、本発明の技術は上記の実施形態に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらには、技術の進歩又は派生する別技術によって、技術的思想を別の仕方によって実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。

【産業上の利用可能性】

【0092】

以上説明したように、自律走行式の洗浄装置等の作業エリアの自動作業に好適な産業用ロボットに有用である。

【符号の説明】

【0093】

１ ：清掃装置
１６ ：清掃部材
３３ ：ＳＬＡＭ制御部（推定部）
３９、８４：既清掃領域作成部（第１の作成部）
４１、８５：将来清掃領域作成部（第２の作成部）
４６ ：顔認識部（認識部）
４７ ：凝視警告部（警告部）
４８ ：タグ付与部（付与部）
５５ ：タグ記憶部（記憶部）
６０、７０：表示端末
６１、７１：前カメラ（撮像部）
６２、７２：後カメラ（他の撮像部）
６３、７３：操作表示部（表示部、操作部）
８１ ：Ｖ－ＳＬＡＭ制御部（推定部）
Ａ１ ：既清掃領域
Ａ２ ：将来清掃領域
Ｆ ：床面（被清掃面）
Ｔ ：タグ

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】