IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アマノ株式会社の特許一覧

<>
  • 特許-自律走行作業装置及び作業管理システム 図1
  • 特許-自律走行作業装置及び作業管理システム 図2
  • 特許-自律走行作業装置及び作業管理システム 図3
  • 特許-自律走行作業装置及び作業管理システム 図4
  • 特許-自律走行作業装置及び作業管理システム 図5
  • 特許-自律走行作業装置及び作業管理システム 図6
  • 特許-自律走行作業装置及び作業管理システム 図7
  • 特許-自律走行作業装置及び作業管理システム 図8
  • 特許-自律走行作業装置及び作業管理システム 図9
  • 特許-自律走行作業装置及び作業管理システム 図10
  • 特許-自律走行作業装置及び作業管理システム 図11
  • 特許-自律走行作業装置及び作業管理システム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-11
(45)【発行日】2024-09-20
(54)【発明の名称】自律走行作業装置及び作業管理システム
(51)【国際特許分類】
   G05D 1/43 20240101AFI20240912BHJP
   A47L 11/293 20060101ALI20240912BHJP
   G16Y 10/80 20200101ALI20240912BHJP
   G16Y 40/30 20200101ALI20240912BHJP
【FI】
G05D1/43
A47L11/293
G16Y10/80
G16Y40/30
【請求項の数】 5
(21)【出願番号】P 2020162979
(22)【出願日】2020-09-29
(65)【公開番号】P2022055515
(43)【公開日】2022-04-08
【審査請求日】2023-08-29
(73)【特許権者】
【識別番号】000101617
【氏名又は名称】アマノ株式会社
(74)【代理人】
【識別番号】100111202
【弁理士】
【氏名又は名称】北村 周彦
(74)【代理人】
【識別番号】100150304
【弁理士】
【氏名又は名称】溝口 勉
(72)【発明者】
【氏名】長田 翔一
(72)【発明者】
【氏名】小野 貴史
(72)【発明者】
【氏名】仲野 綾華
【審査官】影山 直洋
(56)【参考文献】
【文献】米国特許出願公開第2016/0135655(US,A1)
【文献】特開2015-027345(JP,A)
【文献】特開2018-139720(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/43
A47L 11/293
G16Y 10/80
G16Y 40/30
(57)【特許請求の範囲】
【請求項1】
自律走行しながら被作業エリアに対して作業を実施する自律走行作業装置であって、
作業プランに従って前記被作業エリアに対して作業を実施する作業部と、
作業プランに対して作業状況を比較可能な評価情報を生成する評価部と、
自律走行中に前記被作業エリアの撮像画像を撮像する撮像部と、
撮像画像を走行経路の各地点の位置情報に関連付けた状態で記憶する撮像画像記憶部と、を備え、
作業プランの作成時及び作業プランに従った作業中に撮像された複数の撮像画像から同一地点に関連付けられた撮像画像を抽出することによって撮像画像同士が比較可能であり、
前記評価部は、作業プランの作成時及び作業プランに従った作業中の撮像画像を比較することによって作業プランの作成時に存在しなかった障害物を検出し、
評価情報には作業プランに従った作業中に障害物を撮像した地点に関連付けられた撮像画像と作業プランの作成時の当該地点に関連付けられた撮像画像が含まれ、
表示装置に対して評価情報を含む評価画面を表示させることを特徴とする自律走行作業装置。
【請求項2】
自律走行中に前記被作業エリアの環境地図を作成する作成部を備え、
評価情報には、作業プランの作成時に作成された環境地図と比較可能に、作業プランに従った作業中に作成された環境地図が含まれていることを特徴とする請求項1に記載の自律走行作業装置。
【請求項3】
作業プランの作業内容を前記作業部に実施された作業内容に変更する変更部を備え、
評価画面には、前記変更部による作業内容の変更を受け付ける変更ボタンが含まれていることを特徴とする請求項1又は請求項2に記載の自律走行作業装置。
【請求項4】
自律走行しながら被作業エリアに作業を実施する自律走行作業装置と、前記自律走行作業装置を管理する管理サーバと、前記管理サーバに通信可能なユーザ端末と、を備えた作業管理システムであって、
前記自律走行作業装置が、作業プランに従って前記被作業エリアに作業を実施する作業部と、作業プランに対して作業状況を比較可能な評価情報を生成する評価部と、自律走行中に前記被作業エリアの撮像画像を撮像する撮像部と、撮像画像を走行経路の各地点の位置情報に関連付けた状態で記憶する撮像画像記憶部と、を有し、
作業プランの作成時及び作業プランに従った作業中に撮像された複数の撮像画像から同一地点に関連付けられた撮像画像を抽出することによって撮像画像同士が比較可能であり、
前記評価部は、作業プランの作成時及び作業プランに従った作業中の撮像画像を比較することによって作業プランの作成時に存在しなかった障害物を検出し、
評価情報には作業プランに従った作業中に障害物を撮像した地点に関連付けられた撮像画像と作業プランの作成時の当該地点に関連付けられた撮像画像が含まれ、
前記管理サーバが、前記自律走行作業装置から評価情報を取得して評価情報を含む評価画面を生成し、
前記ユーザ端末が、前記管理サーバから取得した評価画面を表示することを特徴とする作業管理システム。
【請求項5】
前記自律走行作業装置が、作業プランの作業内容を前記作業部に実施された作業内容に変更する変更部を有し、
前記管理サーバが、評価情報に加えて、前記変更部による作業内容の変更を受け付ける変更ボタンを含む評価画面を生成し、
前記ユーザ端末に表示された評価画面から変更ボタンが押されると、前記管理サーバから前記自律走行作業装置に作業プランの作業内容の変更指示が送信されることを特徴とする請求項4に記載の作業管理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律走行作業装置及び作業管理システムに関する。
【背景技術】
【0002】
昨今の自律走行作業装置として、LRF(Laser Range Finder)等の計測機器を用いて作成した環境地図に、ドライブレコーダー等のカメラを用いて撮像した画像を関連付けて、作業中の画像をオペレータ等に確認させるものが提案されている(例えば、特許文献1、2参照)。特許文献1の自律走行作業装置は、作業中に撮像した画像をホームサーバに転送して、ホームサーバを経由して携帯電話等の外部機器の表示画面に映した画像をオペレータに確認させている。特許文献2の自律走行作業装置は、障害物の一時的な侵入によって環境地図が更新されないように、環境地図の更新前にオペレータに対して更新箇所の画像を確認させている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2002-085305号公報
【文献】特開2009-169845号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のホームサーバは、表示画面に表示された画像の動画又は静止画をキャプチャする機能を有しているが、動画又は静止画からは自律走行作業装置の作業状況を十分に把握することができない。また、特許文献2の自律走行作業装置は、環境地図の変更箇所の画像をオペレータに確認させて、環境地図の更新の際に一時的な障害物を排除できるが、環境地図の変更箇所の画像からも十分な作業状況を把握することができない。
【0005】
そこで、本発明はかかる点に鑑みてなされたものであり、オペレータ等に対して作業状況を適切に把握させることができる自律走行作業装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の自律走行作業装置は、自律走行しながら被作業エリアに対して作業を実施する自律走行作業装置であって、作業プランに従って前記被作業エリアに対して作業を実施する作業部と、作業プランに対して作業状況を比較可能な評価情報を生成する評価部と、自律走行中に前記被作業エリアの撮像画像を撮像する撮像部と、撮像画像を走行経路の各地点の位置情報に関連付けた状態で記憶する撮像画像記憶部と、を備え、作業プランの作成時及び作業プランに従った作業中に撮像された複数の撮像画像から同一地点に関連付けられた撮像画像を抽出することによって撮像画像同士が比較可能であり、前記評価部は、作業プランの作成時及び作業プランに従った作業中の撮像画像を比較することによって作業プランの作成時に存在しなかった障害物を検出し、評価情報には作業プランに従った作業中に障害物を撮像した地点に関連付けられた撮像画像と作業プランの作成時の当該地点に関連付けられた撮像画像が含まれ、表示装置に対して評価情報を含む評価画面を表示させている。
【0007】
この構成によれば、表示装置に表示された評価画面がオペレータに視認され、評価画面に含まれる評価情報がオペレータ等に確認される。評価情報から作業プランと現在の作業状況がオペレータ等に比較されて、作業プランに従って作業が終始実施されたか否かが評価される。よって、オペレータ等に対して自律走行作業装置の作業状況を適切に把握させることができる。
【0008】
本発明の自律走行作業装置は、自律走行中に前記被作業エリアの撮像画像を撮像する撮像部を備え、評価情報には撮像画像が含まれている。この構成によれば、被作業エリアの撮像画像によって自律走行作業装置の作業状況をオペレータ等に適切に把握させることができる。
【0009】
本発明の自律走行作業装置において、評価情報には、作業プランの作成時に撮像された前記被作業エリアの撮像画像と比較可能に、作業プランに従った作業中に撮像された前記被作業エリアの撮像画像が含まれている。この構成によれば、作業プラン作成時の被作業エリアの撮像画像と現在の被作業エリアの撮像画像がオペレータ等に比較されて、自律走行作業装置の作業状況をオペレータ等に適切に把握させることができる。
【0010】
本発明の自律走行作業装置は、自律走行中に前記被作業エリアの環境地図を作成する作成部を備え、評価情報には、作業プランの作成時に作成された環境地図と比較可能に、作業プランに従った作業中に作成された環境地図が含まれている。この構成によれば、作業プラン作成時の環境地図と現在の環境地図がオペレータ等に比較されて、自律走行作業装置の作業状況をオペレータ等に適切に把握させることができる。
【0011】
本発明の自律走行作業装置は、作業プランの作業内容を前記作業部に実施された作業内容に変更する変更部を備え、評価画面には、前記変更部による作業内容の変更を受け付ける変更ボタンが含まれている。この構成によれば、評価画面の評価情報から作業プランの作業内容と現在の作業内容がオペレータ等に比較され、オペレータ等によって評価画面の変更ボタンが押されることで、作業プランの作業内容を変更することができる。
【0012】
本発明の作業管理システムは、自律走行しながら被作業エリアに作業を実施する自律走行作業装置と、前記自律走行作業装置を管理する管理サーバと、前記管理サーバに通信可能なユーザ端末と、を備えた作業管理システムであって、前記自律走行作業装置が、作業プランに従って前記被作業エリアに作業を実施する作業部と、作業プランに対して作業状況を比較可能な評価情報を生成する評価部と、自律走行中に前記被作業エリアの撮像画像を撮像する撮像部と、撮像画像を走行経路の各地点の位置情報に関連付けた状態で記憶する撮像画像記憶部と、を有し、作業プランの作成時及び作業プランに従った作業中に撮像された複数の撮像画像から同一地点に関連付けられた撮像画像を抽出することによって撮像画像同士が比較可能であり、前記評価部は、作業プランの作成時及び作業プランに従った作業中の撮像画像を比較することによって作業プランの作成時に存在しなかった障害物を検出し、評価情報には作業プランに従った作業中に障害物を撮像した地点に関連付けられた撮像画像と作業プランの作成時の当該地点に関連付けられた撮像画像が含まれ、前記管理サーバが、前記自律走行作業装置から評価情報を取得して評価情報を含む評価画面を生成し、前記ユーザ端末が、前記管理サーバから取得した評価画面を表示する。
【0013】
この構成によれば、管理サーバによって自律走行作業装置から評価情報が取得され、管理サーバによって評価情報を含む評価画面が生成される。ユーザ端末によって管理サーバから評価画面が取得されて、ユーザ端末に評価画面が表示される。オペレータ等によってユーザ端末から評価画面の評価情報が確認され、評価情報から作業プランと現在の作業状況がオペレータ等に比較されて、作業プランに従って作業が終始実施されたか否かが評価される。よって、オペレータ等に対して自律走行作業装置の作業状況を適切に把握させることができる。
【0014】
本発明の作業管理システムにおいて、前記自律走行作業装置が、作業プランの作業内容を前記作業部に実施された作業内容に変更する変更部を有し、前記管理サーバが、評価情報に加えて、前記変更部による作業内容の変更を受け付ける変更ボタンを含む評価画面を生成し、前記ユーザ端末に表示された評価画面から変更ボタンが押されると、前記管理サーバから前記自律走行作業装置に作業プランの作業内容の変更指示が送信される。この構成によれば、評価情報から作業プランと現在の作業状況がオペレータ等に比較されて、評価画面の変更ボタンがオペレータ等によって押されることで、自律走行作業装置の作業プランの作業内容を遠隔で変更することができる。
【発明の効果】
【0015】
本発明によれば、オペレータ等に対して自律走行作業装置の作業状況を適切に把握させることができる。
【図面の簡単な説明】
【0016】
図1】本実施形態の作業管理システムの構成図である。
図2】本実施形態の作業管理システムのブロック図である。
図3】本実施形態の清掃装置の制御ブロック図である。
図4】本実施形態の撮像部の撮像範囲と障害物センサの検出範囲を示す図である。
図5】本実施形態の清掃装置の走行経路を示す図である。
図6】本実施形態の清掃エリアを示す図である。
図7】本実施形態の撮像画像の一例を示す図である。
図8】本実施形態のお知らせメールの一例を示す図である。
図9】本実施形態の評価画面の一例を示す図である。
図10】画像セグメンテーションを施した撮像画像の一例を示す図である。
図11】3次元の環境地図の一例を示す図である。
図12】本実施形態の清掃装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、図面を参照しつつ、本実施形態の清掃装置について説明する。図1は、本実施形態の作業管理システムの構成図である。図2は、本実施形態の作業管理システムのブロック図である。なお、以下の説明では、自律走行作業装置として自律走行式の清掃装置を例示して説明するが、自律走行作業装置は自律走行によって被清掃エリア(被作業エリア)に対して、掃除作業、研磨作業、艶出し作業、ワックス塗布作業等の各種作業を実施する作業装置でもよい。
【0018】
図1に示すように、作業管理システム1は、自律走行しながら被清掃エリアを清掃する清掃装置30と、清掃装置30を管理する管理サーバ10と、清掃装置30を遠隔で操作可能なユーザ端末20とを備えている。ユーザ端末20は、オペレータ等が所持する携帯機器であり、例えば、スマートフォンやタブレット型端末である。清掃装置30、管理サーバ10、ユーザ端末20は、ネットワーク5を介して通信可能に接続されている。ユーザ端末20が管理サーバ10にアクセスすることで、清掃装置30の遠隔操作を受け付ける操作画面や清掃装置30の清掃状況がユーザ端末20に表示される。なお、オペレータ等とは、作業場所から離れた遠隔から作業装置30を操作・監視する係員や、作業装置30の移動・準備・点検等を通常おこなう作業員や、作業装置30のプログラムを作成・変更等おこなう技術員を含み、これ以降は全てオペレータと云う。
【0019】
清掃装置30は、商業施設、製造施設、鉄道駅コンコース等の床面を自律走行で清掃可能に構成されている。清掃装置30の装置本体31の下部には、駆動輪としての前輪32と補助輪としての左右一対の後輪33が設けられている。前輪32と後輪33の間に洗浄パッドや洗浄ブラシ等の清掃部材34が設けられ、清掃部材34の後側にはスキージ35が設けられている。装置本体31の上部後側にはハンドル36が設けられ、ハンドル36の前側には表示部37が設けられている。装置本体31の上部前側には撮像部38が設けられ、撮像部38の下方の窪みには障害物センサ39が設けられている。
【0020】
図2に示すように、管理サーバ10には、一般的なサーバと同様に、通信部11、記憶部12、制御部13が設けられている。通信部11は、管理サーバ10と清掃装置30の間の通信処理、管理サーバ10とユーザ端末20の間の通信処理を実施している。例えば、管理サーバ10と清掃装置30はインターネット等のネットワーク5を介しつつ作業現場では別途WiFi(登録商標)等の無線LANを介して接続され、管理サーバ10とユーザ端末20はLTE(登録商標)や4G、5G等の広域移動通信システムを介して接続される。記憶部12は各種記憶媒体で構成され、制御部13はCPU(Central Processing Unit)等で構成されている。記憶部12には、管理サーバ10を清掃装置30の監視サーバとして機能させるプログラムが記憶されている。
【0021】
ユーザ端末20には、一般的な携帯機器と同様に、通信部21、表示操作部22、記憶部23、制御部24が設けられている。通信部21は、ユーザ端末20と管理サーバ10の間の通信処理を実施している。表示操作部22は、いわゆるタッチパネル式のディスプレイであり、管理サーバ10から取得した各種情報を表示する他、清掃装置30に対する各種操作を受け付けている。記憶部23は各種記憶媒体で構成され、制御部24はCPU等で構成されている。記憶部23には、ユーザ端末20を清掃装置30のリモートコントローラとして機能させるプログラムが記憶されている。
【0022】
また、清掃装置30には、走行部41、清掃部(作業部)42、通信部43、撮像部38、表示部37、計測部46、操作部47、記憶部48、電源部49、制御部50が設けられている。走行部41は、上記した前輪32、後輪33、走行モータ(不図示)、操舵モータ(不図示)エンコーダ(不図示)等によって構成されている。走行部41は、走行モータによって前輪32を駆動させて清掃装置30を走行させている。なお、本実施形態には前輪駆動の清掃装置30を例示しているが、走行部41によって左右一対の後輪33を夫々独立で駆動される後輪駆動としてもよい。
【0023】
清掃部42は、例えば、湿式清掃によって床面の清掃エリアを清掃するものであり、上記した清掃部材34及びスキージ35、洗浄モータ(不図示)、アクチュエータ(不図示)、洗浄液供給部(不図示)、汚水回収部(不図示)等によって構成されている。清掃部42は、アクチュエータによって清掃部材34を床面Fに押し付けて、清掃モータによって床面に対して清掃部材34を回転させている。このとき、洗浄液供給部によって洗浄液タンクから床面に洗浄液が散布されて、スキージ35に集められた汚水がブロアモータ(不図示)を含む汚水回収部によって汚水タンクに回収される。
【0024】
通信部43は、清掃装置30と管理サーバ10の間の通信処理を実施している。通信部43によって管理サーバ10に清掃状況等に関する各種情報が送信される。また、通信部43によって管理サーバ10から清掃開始等の制御コマンドが受信される。撮像部38は、床面Fを含む前景を撮像可能なカメラであり、清掃装置30の走行方向の前方に存在する障害物を撮像することができる。なお、撮像部38は、パノラマ画像が撮像可能な全天球カメラでもよいし、清掃装置30の前方を撮像可能なステレオカメラでもよい。
【0025】
表示部37は、タッチパネル式の表示画面を有している。表示部37の表示画面には撮像部38に撮像された撮像画像が表示されると共に、清掃装置30に対する操作を受け付ける操作画面が表示される。なお、表示部37としては、装置本体31に対して着脱可能なタブレット型端末やスマートフォン等の携帯機器を用いることもできる。表示部37として携帯機器が用いられた場合には、通信部43の代わりに携帯機器の無線通信機能が用いられてもよい。また、表示部37はリモートコントロール可能な携帯機器として外部に持ち出すこともできる。この場合、表示部37には、清掃装置30を遠隔で操作するための操作機能が設けられていてもよい。
【0026】
計測部46は、上記した障害物センサ39を備えている。障害物センサ39は、例えば、障害物や壁面からの距離及び角度を計測するLRF(Laser Range Finder)によって構成されている。障害物センサ39から周囲にレーザー光が出射され、物体からの反射光を受光することで障害物センサ39から周辺の障害物までの距離及び角度が計測されて、清掃装置30の周辺環境を認識することが可能になっている。また、障害物センサ39は、レーザー光を用いた障害物検出の代わりに、超音波センサを用いた方式や、周辺環境の撮像画像を用いた障害物検出を実施可能に構成されてもよい。
【0027】
操作部47は、手動操作を受け付けており、上記したハンドル36(図1参照)、スロットル等によって構成されている。操作部47は、ハンドル36の操舵量やスロットルの捻り量を電気信号に変換して、装置本体31の走行モータ等の制御基板に出力して走行状態を制御させる。操作部47の操作によって、装置本体31の前後進及び走行速度の調整、左旋回、右旋回が実施される。また、装置本体31の操作部47付近には、電源のON/OFFを行う電源スイッチ(不図示)と、装置本体31の動作を全停止させる緊急停止スイッチ(不図示)が設けられている。
【0028】
記憶部48は、用途に応じてROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等の一つ又は複数の記憶媒体によって構成されている。ROMには、例えば、清掃装置30を制御するためのプログラムが記憶されている。HDDやフラッシュメモリには、例えば、自律走行の走行経路、走行速度、洗浄液の散布量、清掃部材34の押し付け力等が設定された清掃プラン(作業プラン)や、その他のパラメータが記憶されている。電源部49は、バッテリ(不図示)及び充電回路等によって構成されている。電源部49から装置各部に電力が供給されている。
【0029】
制御部50は、装置各部を統括制御している。制御部50の各種処理は、CPUを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路(ハードウェア)によって実現されてもよい。CPUを用いる場合には、CPUが記憶部48に記憶されているプログラムを読み出して実行することで各種処理が実施される。なお、後述する画像処理に関しては、例えば、CPUとは別に、GPU(Graphics Processing Unit)が使用されてもよい。なお、制御部50及び記憶部48の制御ブロックの詳細については後述する。
【0030】
清掃装置30には、清掃装置30に清掃プランを学習する学習モードと、清掃装置30に清掃プランを再現させる再現モードとが用意されている。学習モードでは、清掃装置30の手動操作によって清掃装置30に清掃エリア(被作業エリア)を覚え込ませている。再現モードでは、清掃プランに従って清掃装置30が清掃エリア内を自律走行しながら清掃する。学習モードで清掃エリアを設定するためには、清掃エリア全域を清掃部材34が通過するように清掃装置30を操作する必要がある。もちろん、清掃装置30によって清掃作業しながら清掃エリア全域を走行させることで、清掃経路及び清掃作業の変更操作等も学習させることができる。
【0031】
ところで、このような作業管理システム1では、清掃装置30の清掃状況をオペレータに確認させたいという要望がある。清掃装置30の撮像部38で撮像した撮像画像がユーザ端末20の表示操作部22に表示されることで、オペレータに清掃状況を確認させることができるが、清掃プランに従って清掃装置30が適切に清掃したか否かまではオペレータに確認させることができない。そこで、本実施形態の清掃装置30は、清掃プランの学習時の清掃状況と再現時の清掃状況を比較した評価情報を生成して、ユーザ端末20の表示操作部22に評価情報を表示させている。
【0032】
以下、清掃装置の制御部及び記憶部の詳細構成について説明する。図3は、本実施形態の清掃装置の制御ブロック図である。また、ここでは、図1及び図2の符号を適宜使用して説明する。
【0033】
図3に示すように、清掃装置30の制御部50には、学習モード及び再現モードで機能する清掃制御部51、走行制御部52、SLAM制御部53、走行経路作成部54、環境地図作成部55、撮像画像取得部56が設けられている。また、制御部50には、学習モードで機能する清掃プラン作成部57が設けられ、再現モードで機能する評価部58及び清掃プラン変更部(変更部)59が設けられている。さらに、清掃装置30の記憶部48には、走行経路記憶部61、環境地図記憶部62、清掃プラン記憶部63、装置設定記憶部64、撮像画像記憶部65が設けられている。
【0034】
清掃制御部51は、オペレータの手動操作に従った清掃装置30の手動清掃又は清掃プランに従った清掃装置30の自動清掃を制御している。手動清掃及び自動清掃の制御内容には、例えば、洗浄液の散布量、清掃部材34の押し付け力、汚水の吸引力が含まれている。走行制御部52は、オペレータの手動操作に従った清掃装置30の手動走行又は清掃プランに従った清掃装置30の自律走行を制御している。手動走行及び自律走行の制御内容には、例えば、走行速度が含まれている。さらに、自律走行の制御内容には、清掃エリアに設定された走行経路が含まれている。
【0035】
SLAM制御部53は、リアルタイムでSLAM(Simultaneous Localization Mapping)を実行して、計測部46に計測された清掃装置30の周囲の障害物からの距離及び角度に基づいて、清掃装置30の自己位置を推定すると共に局所地図を作成する。走行経路作成部54は、時系列に並んだ複数の自己位置を繋ぎ合わせて清掃装置30の走行経路を作成する。環境地図作成部55は、時系列に並んだ複数の局所地図を繋ぎ合わせて環境地図を作成する。走行経路は走行経路記憶部61に記憶され、環境地図は環境地図記憶部62に記憶される。
【0036】
撮像画像取得部56は、撮像部38から撮像画像を取得している。撮像部38が床面を含む前景を常時撮像しており、撮像画像取得部56が撮像画像に対して走行経路の開始地点から終了地点までの各地点の位置情報を関連付けて取得する。撮像画像は、走行経路の各地点に関連付けられていれば、動画像でもよいし、コマ撮りの静止画像でもよい。例えば、走行経路の開始地点からの経過時間が撮像画像のプロパティとして関連付けられ、経過時間から求めた走行経路の各地点の位置情報と撮像画像が関連付けられる。撮像画像は走行経路の各地点の位置情報に関連付けられた状態で撮像画像記憶部65に記憶される。
【0037】
清掃プラン作成部57は、学習モード中に清掃エリアや清掃条件等を含む清掃プランを作成(学習)する。清掃エリアは、清掃装置30(清掃部材34)が走行した走行経路(移動軌跡)に基づいて設定される。この場合、走行経路記憶部61から走行経路が読み出され、装置設定記憶部64から清掃部材34の幅が読み出されて、走行経路と清掃部材34の幅に基づいて床面上に清掃エリアが設定される。清掃条件には、清掃装置30の清掃中に、走行経路の開始地点から終了地点までの各地点の洗浄液の散布量、清掃部材34の押し付け力、汚水の吸引力、走行速度等が設定される。
【0038】
また、清掃プランの学習(生成)時には、清掃プラン作成部57によって清掃装置30の清掃状況が検出される。清掃状況には、清掃エリアの清掃面積及び清掃時間が含まれている。清掃面積は走行経路の長さ及び清掃部材34の幅等から求められ、清掃時間はタイマ(不図示)によって清掃開始からの経過時間が計時される。さらに、清掃プランの学習時にも、撮像画像取得部56によって撮像部38から撮像画像が取得され、環境地図作成部55によって環境地図が作成されている。なお、清掃プラン記憶部63には複数の清掃プランが記憶されている。
【0039】
評価部58は、再現モード中に、清掃プランに対して現在の清掃状況を比較可能な評価情報を生成する。評価部58は、学習プランの再現時の清掃状況として清掃エリアの清掃面積及び清掃時間を検出する。清掃面積及び清掃時間は、清掃プランの学習時と同様にして求められる。さらに、評価部58は、撮像画像取得部56を介して撮像部38から撮像画像を取得し、環境地図作成部55から環境地図を取得する。評価情報には、清掃プランの学習時の清掃状況に清掃プランの再現時の清掃状況が比較可能な各種情報が含まれている。
【0040】
評価情報には、清掃プランの学習時及び再現時の清掃面積及び清掃時間が含まれている。また、評価情報には、清掃プランの学習時及び再現時に撮像された撮像画像が含まれている。さらに、評価情報には、清掃プランの学習時及び再現時に作成された環境地図が含まれている。なお、上記したように撮像画像は走行経路の各地点に関連付けられているため、清掃プラン作成時及び清掃プランに従った清掃中に撮像された複数の撮像画像から、同一地点に関連付けられた撮像画像を抽出することによって撮像画像同士が比較可能である。
【0041】
また、評価部58は、障害物の検出機能を備えていてもよい。清掃プランの学習時の撮像画像と清掃プランの再現時の撮像画像を比較することによって、清掃プランの学習時には存在しなかった障害物が検出される。さらに、評価部58は、清掃プランの学習時の清掃面積と清掃プランの再現時の清掃面積の差分を評価情報に含めてもよい。これにより、清掃プランの学習時には存在しなかった障害物が清掃プランの再現時の清掃エリアに設置されたときに、回避動作(減速・停止・迂回走行等)によって生じた清掃面積及び清掃時間の変化量が評価情報に含められる。なお、評価情報の詳細については後述する。
【0042】
清掃プラン変更部59は、清掃プランの清掃内容(作業内容)を清掃部42に実施された清掃内容に変更する。清掃プランに含まれる清掃エリア及び清掃条件等が、清掃プランに従って清掃したときの清掃エリア及び清掃条件等に変更される。例えば、清掃プランの再現時の撮像画像に障害物が含まれており、障害物が移動不能な構造物等であった場合には、清掃プランを部分的又は全体的に変更する必要がある。このような場合には、清掃プラン変更部59によって清掃プランの再現時の清掃エリア(走行経路)、清掃条件等の一部又は全部が学習データに置き換えられて清掃プランが変更される。
【0043】
清掃装置30によって評価情報が生成されると、清掃装置30から管理サーバ10に評価情報が送信される。管理サーバ10の制御部13は、清掃装置30から評価情報を取得して評価情報を含む評価画面75(図9参照)を生成する。評価画面75はWebページ形式で生成される。評価画面75には、清掃プランの学習時と再現時の清掃状況が比較可能に配置されている。また、評価画面75には、清掃プランの学習時と再現時の撮像画像及び環境地図(図9では不図示)が比較可能に表示される。また、評価画面75には、変更部による清掃内容の変更を受け付けるプラン変更ボタン(変更ボタン)77(図9参照)が表示されている。
【0044】
管理サーバ10が評価画面を生成すると、管理サーバ10からユーザ端末20に対してお知らせメール73(図8参照)が自動的に通知される。メール本文には評価情報へのハイパーリンク74(図8参照)が記載されており、ユーザ端末20のオペレータによってハイパーリンク74が押されることで、ユーザ端末20によって管理サーバ10から評価画面75が取得される。ユーザ端末20の表示操作部22に評価画面75が表示されることで、評価情報から清掃プラン作成時の清掃状況と現在の清掃状況が比較されて、清掃装置30の清掃状況をオペレータに適切に把握させることができる。
【0045】
図4から図9を参照して、評価情報の生成処理について説明する。図4は、本実施形態の撮像部の撮像範囲と障害物センサの検出範囲を示す図である。図5は、本実施形態の清掃装置の走行経路を示す図であり、(A)は学習時の走行経路、(B)は再現時の走行経路を示している。図6は、本実施形態の清掃エリアを示す図であり、(A)は学習時の清掃エリア、(B)は再現時の清掃エリアを示している。図7は、本実施形態の撮像画像を示しており、(A)は学習時の撮像画像、(B)は再現時の撮像画像を示している。図8は、本実施形態のお知らせメールの一例を示す図である。図9は、本実施形態の評価画面の一例を示す図である。ここでは、図1から図3の符号を適宜使用して説明する。
【0046】
清掃装置30の装置本体31の前面中央に撮像部38及び障害物センサ39が設けられている。図4に示すように、撮像部38の撮像範囲(画角)S1は、清掃装置30の走行方向に延びる中心線Lを基準に対称になるような中心角が90度程度の扇状に設定されている。撮影範囲はさらに広角なレンズを用いれば広げることが可能であるが、広角にするほど画像のゆがみを補正する画像処理が増加されるため、適度な画角が選ばれる。障害物センサ39の検出範囲S2は中心線Lを基準に対称になるような中心角が180度以上の扇状に設定されている。撮像部38の撮像距離は0近辺から無限遠であるが、障害物センサ39の検出距離はレーザー光の検出距離が限られているため、実際には障害物センサ39の検出範囲S2は斜線に示すように略半円状に設定されている。
【0047】
図5(A)に示すように、清掃プランの学習時には、手動操作によって清掃装置30が開始地点Aから終了地点Bに向かってジグザグで動かされている。清掃装置30の移動軌跡によって一点鎖線に示す走行経路Rが形成される。撮像部38によって床面の撮像画像が常時撮像されており、二点鎖線に示す撮像範囲(図5では一部のみ図示)で撮像された各撮像画像が走行経路Rの各地点に関連付けられて記憶される。また、障害物センサ39を用いたSLAMが実行されており、破線に示す検出範囲(図5では一部のみ図示)で検出された壁等によって環境地図が作成される。
【0048】
図5(B)に示すように、清掃プランの再現時には、清掃プランの走行経路Rに沿って清掃装置30が自律走行している。走行経路Rの終了地点B付近には、学習時には存在しなかった障害物OBが壁面に沿って置かれている。障害物OBは、例えば段ボール箱であり、窓枠の高さよりも低く形成されている(図7参照)。清掃装置30が清掃プランに従って自律走行すると、地点Dにおいて回避動作が実行される。再現時には地点B´で清掃が終了して走行経路Rが一部重複される。再現時においても、清掃中に撮像画像が撮像されると共に環境地図が作成される。
【0049】
図6(A)に示すように、清掃プランの学習時の清掃状況として、清掃エリアA1の清掃面積と清掃時間が求められる。この場合、走行経路Rと清掃部材34の幅から清掃部材34の軌跡が求められ、清掃部材34の軌跡が積算されることで清掃面積が求められる。また、走行経路Rの開始地点Aから現在の走行地点までの経過時間がタイマによって計時されることで清掃時間が求められる。なお、清掃部材34の移動軌跡の一部がオーバラップするように移動軌跡がジグザグに蛇行している。この清掃部材34の移動軌跡のオーバラップ分の面積については無視して清掃面積が求められてもよい。
【0050】
図6(B)に示すように、清掃プランに従った再現時(作業中)の清掃状況として、清掃プランの学習時の清掃状況と同様に、清掃エリアA2の清掃面積と清掃時間が求められる。この場合、障害物OBを避けるように走行経路Rの一部が重複しているため、清掃プランの学習時の清掃エリアA1の清掃面積よりも、清掃プランの再現時の清掃エリアA2の清掃面積が小さくなっている。清掃プランの再現時には、障害物OBを迂回する回避動作が実施されるため、清掃プランの学習時の清掃開始地点Aから清掃終了地点Bまでの清掃時間よりも、清掃プランの再現時の清掃開始地点Aから清掃終了地点B´までの清掃時間が長くなっている。
【0051】
清掃プランの再現時の清掃面積と清掃時間が求められると、清掃プランの学習時及び再現時の清掃状況を含む評価情報が生成される。評価情報には、清掃プランの学習時の清掃面積と清掃プランの再現時の清掃面積の差分面積や、清掃プランの学習時の清掃時間と清掃プランの再現時の清掃時間の差分時間が含まれていてもよい。また、評価情報には、清掃プランの学習時の撮像画像及び環境地図が含まれると共に、清掃プランの再現時の撮像画像及び環境地図が含まれている。撮像画像及び環境地図は、障害物OBの有無を判定するための付加情報として利用される。
【0052】
図7(A)には、清掃プランの学習時に地点C(図5(B)参照)で撮像した撮像画像71が示されている。清掃プランの学習時の撮像画像71には障害物OBが含まれていない。図7(B)には、清掃プランの再現時に地点Cで撮像した撮像画像72が示されている。清掃プランの再現時の撮像画像72には障害物OBの全景が含まれている。清掃プランの再現時に障害物センサ39によって障害物OBが検出された地点Cの撮像画像72が抽出されると共に、清掃プランの学習時に地点Cで撮像された撮像画像71が抽出される。清掃プランの学習時と再現時の撮像画像71、72を比較することによって、学習時には存在していなかった障害物OBか否かが判定される。
【0053】
障害物OBの判定は、既知の画像認識処理によって実施されてもよい。この場合、障害物センサ39を用いた環境地図の作成時に障害物OBが検出されるため、障害物OBの検出地点Cにおける清掃プランの学習時と再現時の撮像画像71、72が抽出される。そして、清掃プランの学習時と再現時の撮像画像71、72の各画素値が比較されて、画素値の差分が所定以上の画素が一定以上ある場合に、清掃プランの学習時には存在していなかった障害物OBであると判定される。このように、清掃プランの再現時に障害物OBが含まれた撮像画像72と、この撮像画像72に対応した清掃プランの学習時の撮像画像71が抽出される。
【0054】
図8に示すように、管理サーバ10では、評価情報のお知らせメール73が生成される。お知らせメール73には、清掃日付、清掃開始の予約時刻、清掃終了時刻、評価情報へのハイパーリンク74が記載されている。ハイパーリンク74のリンク先には、管理サーバ10によって生成されたWebページ形式の評価画面75(図9参照)が設定されている。お知らせメール73がユーザ端末20に送信されて、お知らせメール73のハイパーリンク74から評価画面75が閲覧可能になっている。なお、お知らせメール73が評価画面として使用されてもよく、この場合にはメール本文に評価情報等が記載されている。
【0055】
図9に示すように、評価画面75の上半部には清掃プランの学習時に撮像した撮像画像71が表示されている。撮像画像71の隣には、清掃プランの作成日、撮像画像の撮像日時、撮像時の清掃面積、清掃最終時の総清掃面積、清掃終了までの清掃終了時間が表示されている。評価画面75の下半部には清掃プランの再現時に撮像した撮像画像72が表示されている。撮像画像72の隣には、作業日、撮像画像の撮像日時、撮像時の清掃面積、清掃最終時の総清掃面積、清掃終了までの清掃終了時間が表示されている。このように、評価画面75には、評価情報の各項目が比較可能に配置されている。
【0056】
清掃プランの学習時の撮像画像71には障害物OBが存在しておらず、清掃プランの再現時の撮像画像72には障害物OBが存在している。清掃装置30が回避動作するため、清掃プランの学習時の総清掃面積66.2[m]よりも、清掃プランの再現時の総清掃面積58.6[m]が小さくなっている。また、清掃プランの学習時の清掃終了時間45分50秒よりも、清掃プランの再現時の清掃終了時間48分15秒が長くなっている。よって、回避動作による総清掃面積及び清掃終了時間の変化量をオペレータに認識させることができる。
【0057】
評価画面75の最下部には終了ボタン76とプラン変更ボタン77が表示されている。終了ボタン76が押されることで評価画面75がクローズされる。プラン変更ボタン77が押されることで、管理サーバ10から清掃装置30に清掃プランの清掃内容の変更指示が送信される。清掃装置30の清掃プラン変更部59によって清掃プランの清掃内容が、現在の清掃内容に部分的又は全体的に変更される。障害物OBが移動不能な構造物等の場合には、清掃の度に障害物OBとして認識されることになるので、評価画面75から清掃プランの遠隔で変更して再学習を不要にしている。図の例では、評価画面75に環境地図が表示されていないが、画面の切り替え等によって清掃プランの学習時及び再現時の環境地図が表示されてもよい。
【0058】
なお、清掃プランの変更指示は、清掃終了後に管理サーバ10から清掃装置30に送信される構成に限定されない。例えば、障害物OBによって清掃が中断された状況であれば、清掃装置30によって障害物OBが検出された時点で、管理サーバ10からユーザ端末20にお知らせメール73が通知されて、清掃終了前にお知らせメール73によってユーザ端末20に評価画面75が表示されてもよい。これにより、清掃装置30が障害物OBに到達する前の段階で、評価画面75を閲覧したオペレータが清掃プランを変更したり、他の清掃プランに差し替えたりすることができる。
【0059】
また、図10に示すように、撮像画像75(図7(B)参照)に画像セグメンテーション(セグメント認識機能:セマンティック・セグメンテーション)が施されてセグメンテーション画像81が生成されてもよい。画像セグメンテーションは、撮像画像75の画素毎に物体を判別して識別可能に表示する技術である。この手法は、画像の各画素がどのカテゴリーに属するかを求める画像アノテーションの手法である。同一カテゴリーの画素が同一ラベルとして扱われて、床面、壁、人、他の障害物OB等が識別される。図では、特に床面Fと障害物OBが異なる色やハッチングで表示されている。上記の評価画面75でも、セグメンテーション画像81が表示されることで、オペレータに障害物OBを認識させ易くできる。
【0060】
また、図11(A)に示すように、環境地図が立体的に作成されてもよい。一般的に環境地図の作成時には、障害物センサ39として2次元のLRFを用いて壁82や障害物OBが検出される。この場合、清掃プランの学習時に作成した環境地図と清掃プランの再現時に作成した環境地図とを比較したときに、検出誤差による差異か障害物OBの有無による差異かを判別することが難しい。そこで、障害物センサ39として3次元のLRFを用いることで、清掃プランの学習時と清掃プランの再現時の環境地図を比較したときに、検出誤差による差異か障害物OBの有無による差異かを判別させることができる。
【0061】
より詳細には、図11(B)に示すように、3次元のLRFは物体の高さのファクターが加味されるため、窓枠83よりも低い障害物OBは壁82や柱等の移動不能な構造物ではないと判定される。一方で、ドア84が開いたときと閉じたときのように身長よりも高い位置での変化は、移動不能な構造物の変化、すなわちLRFの検出誤差であると判定される。図の例では、窓枠83よりも低い第2層の環境地図M2で検出された物体が、窓枠83付近の第6層の環境地図M6では検出されないため、この物体が移動可能な障害物OBであると判定される。3次元の環境地図は、2次元のLRFを上下にスライドさせたり、上下に揺動させたりして作成されてもよいし、3次元Lidarモジュールによって作成されてもよい。
【0062】
ここで、図12を参照して、清掃装置の動作について説明する。図12は、本実施形態の清掃装置の動作を示すフローチャートである。ここでは、図1から図3の符号を適宜使用して説明する。なお、ここでは、評価情報として撮像画像、清掃面積、清掃時間が生成される一例を示しているが、評価情報として環境地図が生成されてもよい。
【0063】
図12に示すように、清掃プランが選択されると(ステップS01)、清掃装置30によって自動清掃が開始される(ステップS02)。清掃装置30の清掃中には、障害物センサ39によって障害物OBが検出されたか否かが監視される(ステップS03)。障害物センサ39によって障害物OBが検出されない場合(ステップS03でNo)、ステップS07に処理が移行する。一方で、障害物センサ39によって障害物OBが検出された場合(ステップS03でYes)、清掃プランの再現時及び学習時に障害物OBの検出地点で撮像された撮像画像が抽出される(ステップS04)。
【0064】
次に、清掃プランの再現時と学習時の撮像画像の比較によって、清掃プランの学習時には存在しなかった障害物OBか否かが判定される(ステップS05)。清掃プランの再現時と学習時の撮像画像の差分が小さく、清掃プランの学習時にも障害物OBが存在していた場合(ステップS05でNo)、ステップS07に処理が移行する。清掃プランの再現時と学習時の撮像画像の差分が大きく、清掃プランの学習時に障害物OBが存在していない場合(ステップS05でYes)、清掃プランの再現時と学習時の撮像画像が評価部58によって取得される(ステップS06)。
【0065】
清掃プランが終了するまでステップS03-S06の各処理が繰り返される(ステップS07でNo)。清掃プランが終了すると(ステップS07でYes)、清掃装置30の自動清掃が終了する(ステップS08)。次に、評価部58によって清掃プランの再現時と学習時の清掃面積、清掃時間、撮像画像等を含む評価情報が生成される(ステップS09)。清掃プランの再現時の清掃面積及び清掃時間は清掃終了後に求められており、清掃プランの学習時の清掃面積及び清掃時間は清掃プランの学習時に求められている。そして、清掃装置30から管理サーバ10に向けて評価情報が送信される(ステップS10)。
【0066】
以上、本実施形態によれば、ユーザ端末20に表示された評価画面75がオペレータに視認され、評価画面75に含まれる評価情報がオペレータに確認される。評価情報から清掃プランと現在の清掃状況がオペレータに比較されて、清掃プランに従って清掃が終始実施されたか否かが評価される。よって、オペレータに対して清掃装置30の清掃状況を適切に把握させることができる。
【0067】
なお、本実施形態では、清掃プランの学習時と再現時の撮像画像や環境地図の比較によって清掃プランが変更されたが、異なる清掃プランの学習時の撮像画像や環境地図の比較によって清掃プランが変更されてもよい。この場合、各清掃プランで、同じ走行地点から同じ方向を撮像した撮像画像が記憶されている。また、各清掃プランの再現走行の結果の比較によって清掃プランが変更されてもよい。
【0068】
また、本実施形態の評価情報には清掃面積及び清掃時間が含まれているが、走行時の最高速度、速度の変化率、最大電力等のように、評価情報には清掃プランの学習時と再現時で比較可能な他の情報が含まれていてもよい。
【0069】
また、本実施形態では、清掃プランが清掃装置を手動操作して学習されたが、清掃プランには過去データから実験的、経験的、理論的に求められたパラメータ設定されてもよい。
【0070】
また、清掃プランの学習時と再現時の撮像画像のズレを補正してもよい。清掃プランの学習時と再現時で変化する可能性が低い天井の形状や照明の位置を基準にして画像の位置ズレが補正されてもよい。また、清掃プランの学習時と再現時の撮像画像に対して、上記の画像セグメンテーションを施すことで、照明や火災報知器等の位置を認識して、これらの位置の基準にして画像の位置ズレが補正されてもよい。
【0071】
また、本実施形態では、自律走行作業装置として清掃作業を実施する清掃装置を例示したが、自律走行作業装置は清掃装置に限定されない。自律走行作業装置は、乾式の掃除作業、研磨作業、艶出し作業、ワックス塗布作業等の他の作業を実施する作業装置でもよい。すなわち、自律走行作業装置はロボット清掃機、ポリッシャー、バフィングマシン、ワックス塗布機でもよい。したがって、自律走行作業装置にはパッド等の洗浄部材の代わりに、掃除ブラシ、研磨ブラシ、艶出しブラシ、剥離ブラシが用いられてもよいし、さらに洗浄液として研磨剤や艶出し剤等が用いられてもよい。
【0072】
また、本実施形態では、被作業エリアとして床面を例示しているが、被作業エリアは壁面、天井面、窓面、鏡面等でもよい。半屋外や屋外であっても構わないが、その場合は画像の深度が計測できるステレオカメラ等を用いたSLAM(V-SLAM)方式で本体の走行を制御するのが望ましい。
【0073】
また、本実施形態では、ユーザ端末に対して評価画面を表示させる構成にしたが、清掃装置の表示部に対して評価画面を表示させてもよいし、管理サーバのディスプレイに評価画面を表示させてもよい。
【0074】
また、本実施形態では、清掃装置の制御部に評価部を設けたが、これを管理サーバに担わせ、清掃装置が障害物を認識した際に、清掃装置が該当する画像を管理サーバに送信し、管理サーバの制御部により高速で高機能な画像認識処理を実行し、画像認識結果や演算結果を表示装置等に出力するようにしてもよい。さらに、清掃装置と管理サーバが協働で画像認識処理等を実行してもよい。
【0075】
なお、本実施形態を説明したが、他の実施形態として、上記実施形態及び変形例を全体的又は部分的に組み合わせたものでもよい。
【0076】
また、本発明の技術は上記の実施形態に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらには、技術の進歩又は派生する別技術によって、技術的思想を別の仕方によって実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。
【産業上の利用可能性】
【0077】
以上説明したように、自律走行式の洗浄装置等の作業エリアの自動作業に好適な産業用ロボットに有用である。
【符号の説明】
【0078】
1 :作業管理システム
10:管理サーバ
20:ユーザ端末(表示装置)
30:清掃装置(自律走行作業装置)
37:表示部(表示装置)
38:撮像部
42:清掃部(作業部)
55:環境地図作成部(作成部)
56:撮像画像取得部
57:清掃プラン作成部
58:評価部
59:清掃プラン変更部(変更部)
75:評価画面
77:プラン変更ボタン(変更ボタン)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12