(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023152026
(43)【公開日】2023-10-16
(54)【発明の名称】走行作業情報処理システムおよび自律走行作業装置
(51)【国際特許分類】
G05D 1/00 20060101AFI20231005BHJP
G05D 1/02 20200101ALI20231005BHJP
【FI】
G05D1/00 B
G05D1/02 H
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022061949
(22)【出願日】2022-04-01
(71)【出願人】
【識別番号】000101617
【氏名又は名称】アマノ株式会社
(74)【代理人】
【識別番号】100111202
【弁理士】
【氏名又は名称】北村 周彦
(74)【代理人】
【識別番号】100187562
【弁理士】
【氏名又は名称】沼田 義成
(72)【発明者】
【氏名】千木崎 俊太郎
(72)【発明者】
【氏名】亀谷 仁志
(72)【発明者】
【氏名】紺野 尚之
【テーマコード(参考)】
5H301
【Fターム(参考)】
5H301BB11
5H301DD06
5H301GG09
5H301KK10
5H301MM04
(57)【要約】
【課題】自律走行作業装置の遠隔操作機能を活用して自律走行作業装置を有効利用する。
【解決手段】
走行作業情報処理システム1は、自動走行清掃を実行可能な自律走行作業装置2と、利用者が自律走行作業装置2を操作する操作端末4と、自律走行作業装置2を管理する管理サーバ3とを備える。自律走行作業装置2は、撮影部を備えていて、撮影部で撮影した撮影データを管理サーバ3へと送信する。管理サーバ3は、撮影データとして、自律走行作業装置2の走行状況を撮影した第1撮影データ60と、自律走行作業装置2の作業状況を撮影した第2撮影データ61と、その他の第3撮影データと、を取得し、所定の判断に応じて、第1撮影データ60と第2撮影データ61と第3撮影データとのうち、少なくとも1つ以上の撮影データを操作端末4に閲覧表示させる。
【選択図】
図22
【特許請求の範囲】
【請求項1】
自律的に走行し自動で作業する自動走行作業を実行可能な自律走行作業装置と、利用者が前記自律走行作業装置を操作するための操作端末と、前記自律走行作業装置を管理するための管理サーバとを備えた走行作業情報処理システムにおいて、
前記自律走行作業装置は、撮影部を備えていて、前記撮影部で撮影した撮影データを前記管理サーバへと送信し、
前記管理サーバは、撮影データとして、
前記自律走行作業装置の走行状況を撮影した第1撮影データと、
前記自律走行作業装置の作業状況を撮影した第2撮影データと、
その他の第3撮影データと、を取得し、
所定の判断に応じて、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、少なくとも1つ以上の撮影データを前記操作端末に閲覧表示させる
ことを特徴とする走行作業情報処理システム。
【請求項2】
前記第3撮影データは、前記自律走行作業装置が走行する作業エリアを監視する監視カメラで撮像した画像、または前記自律走行作業装置に備わる清掃部の側方に取り付けたカメラで撮像した画像である
ことを特徴とする請求項1に記載の走行作業情報処理システム。
【請求項3】
前記自律走行作業装置は、前記自動走行作業に関するエラーを検出すると、エラー通知を前記管理サーバへと送信し、
前記管理サーバは、前記自律走行作業装置から前記エラー通知を受信していない場合、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、何れか1つの撮影データを前記操作端末に閲覧表示させ、前記自律走行作業装置から前記エラー通知を受信した場合、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、少なくとも2つ以上の撮影データを並列表示するように前記操作端末に閲覧表示させる
ことを特徴とする請求項1または2に記載の走行作業情報処理システム。
【請求項4】
前記管理サーバは、前記自律走行作業装置から前記エラー通知を受信していない場合、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、1つ以上の撮影データを大きく表示して並列表示するように前記操作端末に閲覧表示させ、前記自律走行作業装置から前記エラー通知を受信した場合、エラー通知前に大きく表示した撮影データとは異なる撮影データを大きく表示して並列表示するように前記操作端末に閲覧表示させる
ことを特徴とする請求項3に記載の走行作業情報処理システム。
【請求項5】
前記管理サーバは、撮影データの閲覧に関する閲覧設定を記憶していて、前記閲覧設定に従って、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、少なくとも1つ以上の撮影データを、前記操作端末に閲覧表示させる
ことを特徴とする請求項1または2に記載の走行作業情報処理システム。
【請求項6】
前記操作端末として、複数の操作端末を備えていて、
前記複数の操作端末は、それぞれ、前記管理サーバにログインする際に、遠隔操作する前記自律走行作業装置を選択するための選択要求を前記管理サーバへと送信し、
前記管理サーバは、ログインした2台以上の前記操作端末による一の前記自律走行作業装置の前記選択要求を受け付けて、一の前記自律走行作業装置から送信された前記撮影データを2台以上の前記操作端末に閲覧表示させる
ことを特徴とする請求項1または2に記載の走行作業情報処理システム。
【請求項7】
前記自律走行作業装置は、当該自動走行作業に関するエラーを検出すると、エラー通知を前記管理サーバへと送信し、
前記管理サーバは、前記自律走行作業装置から前記エラー通知を受信した場合、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、少なくとも1つ以上の撮影データを前記操作端末に閲覧表示させて、前記操作端末による前記自律走行作業装置の遠隔操作を受け付ける
ことを特徴とする請求項1または2に記載の走行作業情報処理システム。
【請求項8】
前記自律走行作業装置は、当該自律走行作業装置の走行状況に関するエラーを検出すると、前記エラー通知を前記管理サーバへと送信し、
前記管理サーバは、前記自律走行作業装置から前記エラー通知を受信した場合、走行状況を撮影した前記第1撮影データを前記操作端末に閲覧表示させて、前記操作端末による前記自律走行作業装置の遠隔操作を受け付ける
ことを特徴とする請求項7に記載の走行作業情報処理システム。
【請求項9】
前記自律走行作業装置は、床面の清掃作業を行う清掃部を備える
ことを特徴とする請求項1または2に記載の走行作業情報処理システム。
【請求項10】
前記撮影部は、前記清掃部の後方の清掃作業状況を含む画像を撮影して前記撮影データを取得し、
前記管理サーバは、清掃作業状況を撮影した前記撮影データに基づいて、前記清掃部の清掃作業状況を判断して、前記床面に対する前記清掃部の清掃作業に関するエラーを検出する
ことを特徴とする請求項9に記載の走行作業情報処理システム。
【請求項11】
前記清掃部は、洗浄液を用いて前記床面を清掃するように構成され、
前記撮影部は、前記清掃部の清掃作業状況を上方から撮影して前記第2撮影データを取得し、
前記管理サーバは、清掃作業状況を撮影した前記第2撮影データに基づいて、前記清掃部の清掃作業状況を判断して、前記床面に対する残水を検出する
ことを特徴とする請求項9に記載の走行作業情報処理システム。
【請求項12】
前記清掃部は、洗浄液を用いて前記床面を清掃するように構成され、
前記撮影部は、前記清掃部の清掃作業状況の細部を撮影して前記第3撮影データを取得し、
前記管理サーバは、清掃作業状況を撮影した前記第3撮影データに基づいて、前記清掃部の清掃作業状況を判断する
ことを特徴とする請求項9に記載の走行作業情報処理システム。
【請求項13】
前記清掃部は、洗浄液を用いて前記床面を清掃するように構成され、
前記撮影部は、前記自律走行作業装置の旋回走行中に、前記清掃部の清掃作業状況を撮影して前記撮影データを取得し、
前記管理サーバは、清掃作業状況を撮影した前記撮影データに基づいて、前記清掃部の清掃作業状況を判断して、前記床面に対する残水を検出する
ことを特徴とする請求項9に記載の走行作業情報処理システム。
【請求項14】
自律的に走行し自動で作業する自動走行作業を実行可能な自律走行作業装置であって、
当該自律走行作業装置の走行状況を撮影した第1撮影データを取得する第1撮影部と、
当該自律走行作業装置の作業状況を撮影した第2撮影データを取得する第2撮影部と、
を備えることを特徴とする自律走行作業装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、事前に入力されたプログラムに従って自律的に走行し自動で作業する自動走行作業を実行可能な自律走行作業装置を備えた走行作業情報処理システムおよび当該自律走行作業装置に関する。
【背景技術】
【0002】
従来、自律走行作業装置は、事前に入力されたプログラムに従って、環境地図、走行経路、走行設定および作業設定(清掃設定)を作成または設定して記憶し、その記憶結果に基づいて自律的に走行し自動で作業(清掃)する自動走行作業(自動走行清掃)を実行可能な機能を有する。例えば、自律走行作業装置は、商業施設、オフィス、ホテル、病院などの作業エリアの床面の清掃作業を行う産業用(業務用)自律走行作業装置(自律走行清掃装置)に適用される。
【0003】
複数の作業エリアや広大な作業エリアを有するオフィスなどの商業施設では、自律走行作業装置で構成される清掃ロボットを複数台運用して各作業エリアの自動走行作業を行うために、複数の自律走行作業装置をネットワークを介して管理する走行作業情報処理システムが適用されることがある。このような走行作業情報処理システムでは、各自律走行作業装置の自動走行作業において、環境地図に存在しない未知の障害物を検出した場合など、緊急状態が発生した場合には、自動走行作業を継続不能になるため、緊急状態の回避手段として、例えば、遠隔操作機能を用いるものがある。
【0004】
ところで、特許文献1によれば、濡れた床の通知を提供するシステムは、床をスクラビングし、液体を運搬するスクラビングロボットや、床の領域の周りのデータを収集するように配置されたセンサを備え、センサは、例えば、床の第1画像を撮像するイメージングデバイスである。また、このシステムは、データを分析することによって液体が床上にあることを判断するアプリケーションを備える。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載の技術を用いることによって、床面上の残水を検知することはできるが、この種のシステムでは、自律走行作業装置を遠隔操作する操作者に対して残水の状況を分かり易く知らせることができない。また、この種のシステムでは、床面上の残水を検知しても、残水が発生している原因を取り除くことができず、その後の残水の発生を止めることもできない。この種のシステムでは、単一の操作者のみが自律走行作業装置の遠隔操作機能を利用することができるが、複数の利用者が自律走行作業装置の遠隔操作機能を共用することはできない。更に、この種の装置を用いた情報処理システムでは、自律走行作業装置の遠隔操作機能を、緊急状態の回避手段以外に適用することが望まれていて、例えば、清掃業者などの作業者だけでなく、警備員や管理者などの他の利用者に遠隔操作機能を共有することなどが望まれている。このように、昨今の自律走行作業装置を用いた情報処理システムでは、自律走行作業装置の遠隔操作機能を活用することで自律走行作業装置の更なる有効利用が期待されている。
【0007】
本発明は、上記したような問題に鑑みなされたものであり、本発明の課題は、自律走行作業装置の遠隔操作機能を活用して自律走行作業装置を有効利用することができる走行作業情報処理システムおよび自律走行作業装置を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の第1の走行作業情報処理システムは、自律的に走行し自動で作業する自動走行作業を実行可能な自律走行作業装置と、利用者が前記自律走行作業装置を操作するための操作端末と、前記自律走行作業装置を管理するための管理サーバとを備えた走行作業情報処理システムにおいて、前記自律走行作業装置は、撮影部を備えていて、前記撮影部で撮影した撮影データを前記管理サーバへと送信し、前記管理サーバは、撮影データとして、前記自律走行作業装置の走行状況を撮影した第1撮影データと、前記自律走行作業装置の作業状況を撮影した第2撮影データと、その他の第3撮影データと、を取得し、所定の判断に応じて、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、少なくとも1つ以上の撮影データを前記操作端末に閲覧表示させることを特徴とする。
【0009】
本発明の第1の走行作業情報処理システムによれば、自律走行作業装置の利用者は、自律走行作業装置の様々な状況を撮影した撮影データを操作端末によって確認することができる。また、撮影データを閲覧表示させるために管理サーバを経由するため、自律走行作業装置や操作端末に掛かる負荷を軽減することができる。
【0010】
上記課題を解決するために、本発明の第2の走行作業情報処理システムにおいて、前記第3撮影データは、前記自律走行作業装置が走行する作業エリアを監視する監視カメラで撮像した画像、または前記自律走行作業装置に備わる清掃部の側方に取り付けたカメラで撮像した画像であることを特徴とする。
【0011】
本発明の第2の走行作業情報処理システムによれば、自律走行作業装置の走行状況や作業状況だけでなく、自律走行作業装置の周辺を俯瞰で視認できる監視カメラの画像や、自律走行作業装置の清掃部の細部を視認できる画像を第3撮影データとして取得することができ、利用者は必要に応じて、このような第3撮影データを参照することができる。
【0012】
上記課題を解決するために、本発明の第3の走行作業情報処理システムにおいて、前記自律走行作業装置は、前記自動走行作業に関するエラーを検出すると、エラー通知を前記管理サーバへと送信し、前記管理サーバは、前記自律走行作業装置から前記エラー通知を受信していない場合、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、何れか1つの撮影データを前記操作端末に閲覧表示させ、前記自律走行作業装置から前記エラー通知を受信した場合、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、少なくとも2つ以上の撮影データを並列表示するように前記操作端末に閲覧表示させることを特徴とする。
【0013】
本発明の第3の走行作業情報処理システムによれば、自動走行作業に関するエラーが検出された場合に、利用者は、並列に表示された第1撮影データや第2撮影データや第3撮影データを同時に確認することができる。これにより、利用者は、エラーの状況をより詳細に把握することが可能となる。
【0014】
更に、本発明の第4の走行作業情報処理システムにおいて、前記管理サーバは、前記自律走行作業装置から前記エラー通知を受信していない場合、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、1つ以上の撮影データを大きく表示して並列表示するように前記操作端末に閲覧表示させ、前記自律走行作業装置から前記エラー通知を受信した場合、エラー通知前に大きく表示した撮影データとは異なる撮影データを大きく表示して並列表示するように前記操作端末に閲覧表示させることを特徴とする。
【0015】
本発明の第4の走行作業情報処理システムによれば、自動走行作業に関するエラーが検出された場合に、利用者は、大きく表示された撮影データを確認することで、エラーの状況をより詳細に把握することが可能となる。
【0016】
上記課題を解決するために、本発明の第5の走行作業情報処理システムにおいて、前記管理サーバは、撮影データの閲覧に関する閲覧設定を記憶していて、前記閲覧設定に従って、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、少なくとも1つ以上の撮影データを、前記操作端末に閲覧表示させることを特徴とする。
【0017】
本発明の第5の走行作業情報処理システムによれば、管理サーバは、自律走行作業装置を利用する役割が利用者毎に異なって、操作者や管理者、警備員などの利用者種別が異なる場合でも、各利用者の役割に応じて適切な撮影データを操作端末に閲覧表示することができる。例えば、走行担当の操作者には、走行状況を撮影した第1撮影データを閲覧表示させ、清掃作業担当の操作者には、清掃作業状況を撮影した第2撮影データを閲覧表示させることで、自動走行清掃に問題が生じているか否かを正確に判断することができる。
【0018】
上記課題を解決するために、本発明の第6の走行作業情報処理システムは、前記操作端末として、複数の操作端末を備えていて、前記複数の操作端末は、それぞれ、前記管理サーバにログインする際に、遠隔操作する前記自律走行作業装置を選択するための選択要求を前記管理サーバへと送信し、前記管理サーバは、ログインした2台以上の前記操作端末による一の前記自律走行作業装置の前記選択要求を受け付けて、一の前記自律走行作業装置から送信された前記撮影データを2台以上の前記操作端末に閲覧表示させることを特徴とする。
【0019】
本発明の第6の走行作業情報処理システムによれば、一の自律走行作業装置で撮影した撮影データを、複数の利用者がそれぞれの操作端末で確認することができる。そのため、複数の利用者が撮影データを共有することができるので、自律走行作業装置の遠隔操作機能を活用して自律走行作業装置を有効利用することができる。
【0020】
上記課題を解決するために、本発明の第7の走行作業情報処理システムにおいて、前記自律走行作業装置は、当該自動走行作業に関するエラーを検出すると、エラー通知を前記管理サーバへと送信し、前記管理サーバは、前記自律走行作業装置から前記エラー通知を受信した場合、前記第1撮影データと前記第2撮影データと前記第3撮影データとのうち、少なくとも1つ以上の撮影データを前記操作端末に閲覧表示させて、前記操作端末による前記自律走行作業装置の遠隔操作を受け付けることを特徴とする。
【0021】
本発明の第7の走行作業情報処理システムによれば、利用者は、第1撮影データや第2撮影データや第3撮影データを確認しながら、自律走行作業装置の遠隔操作を行うことができる。
【0022】
上記課題を解決するために、本発明の第8の走行作業情報処理システムにおいて、前記自律走行作業装置は、当該自律走行作業装置の走行状況に関するエラーを検出すると、前記エラー通知を前記管理サーバへと送信し、前記管理サーバは、前記自律走行作業装置から前記エラー通知を受信した場合、走行状況を撮影した前記第1撮影データを前記操作端末に閲覧表示させて、前記操作端末による前記自律走行作業装置の遠隔操作を受け付けることを特徴とする。
【0023】
本発明の第8の走行作業情報処理システムによれば、利用者は、走行状況を撮影した第1撮影データを確認しながら、遠隔操作によって、走行状況に関するエラーの回避走行を行うことができ、エラーの回避が正確かつ容易になる。
【0024】
上記課題を解決するために、本発明の第9の走行作業情報処理システムにおいて、前記自律走行作業装置は、床面の清掃作業を行う清掃部を備えることを特徴とする。
【0025】
また、本発明の第10の走行作業情報処理システムにおいて、前記撮影部は、前記清掃部の後方の清掃作業状況を含む画像を撮影して前記撮影データを取得し、前記管理サーバは、清掃作業状況を撮影した前記撮影データに基づいて、前記清掃部の清掃作業状況を判断して、前記床面に対する前記清掃部の清掃作業に関するエラーを検出することを特徴とする。
【0026】
本発明の第9~第10の走行作業情報処理システムによれば、自動走行作業として床面の清掃作業を行うことができ、清掃部の清掃作業状況を適宜撮影した撮影データを利用することで、清掃部の異常動作を検出することができるので、清掃作業に関するエラーを正確に判断することができる。
【0027】
上記課題を解決するために、本発明の第11の走行作業情報処理システムにおいて、前記清掃部は、洗浄液を用いて前記床面を清掃するように構成され、前記撮影部は、前記清掃部の清掃作業状況を上方から撮影して前記第2撮影データを取得し、前記管理サーバは、清掃作業状況を撮影した前記第2撮影データに基づいて、前記清掃部の清掃作業状況を判断して、前記床面に対する残水を検出することを特徴とする。
【0028】
あるいは、本発明の第12の走行作業情報処理システムにおいて、前記清掃部は、洗浄液を用いて前記床面を清掃するように構成され、前記撮影部は、前記清掃部の清掃作業状況の細部を撮影して前記第3撮影データを取得し、前記管理サーバは、清掃作業状況を撮影した前記第3撮影データに基づいて、前記清掃部の清掃作業状況を判断することを特徴とする。
【0029】
若しくは、本発明の第13の走行作業情報処理システムにおいて、前記清掃部は、洗浄液を用いて前記床面を清掃するように構成され、前記撮影部は、前記自律走行作業装置の旋回走行中に、前記清掃部の清掃作業状況を撮影して前記撮影データを取得し、前記管理サーバは、清掃作業状況を撮影した前記撮影データに基づいて、前記清掃部の清掃作業状況を判断して、前記床面に対する残水を検出することを特徴とする。
【0030】
本発明の第11~第13の走行作業情報処理システムによれば、清掃部の清掃作業状況を適宜撮影した撮影データを利用することで、清掃部の異常動作を検出することができるので、床面に対する洗浄液や汚水の残水やその他の清掃作業に関するエラーを正確に判断することができる。
【0031】
上記課題を解決するために、本発明の自律走行作業装置は、自律的に走行し自動で作業する自動走行作業を実行可能な自律走行作業装置であって、当該自律走行作業装置の走行状況を撮影した第1撮影データを取得する第1撮影部と、当該自律走行作業装置の作業状況を撮影した第2撮影データを取得する第2撮影部と、を備えることを特徴とする。
【0032】
本発明の自律走行作業装置によれば、当該自律走行作業装置の利用者は、走行状況を撮影した第1撮影データや作業状況を撮影した第2撮影データを必要に応じて適宜利用することが可能となる。
【発明の効果】
【0033】
本発明によれば、走行作業情報処理システムおよび自律走行作業装置は、自律走行作業装置の遠隔操作機能を活用して自律走行作業装置を有効利用することができる。
【図面の簡単な説明】
【0034】
【
図1】本発明の第1の実施形態に係る走行作業情報処理システムの構成を示すブロック図である。
【
図2】本発明の第1の実施形態に係る走行作業情報処理システムにおける自律走行作業装置の構成を示す概要図である。
【
図3】本発明の第1の実施形態に係る走行作業情報処理システムにおいて自律走行作業装置が自動清掃作業を行う清掃エリアの例を示す平面図である。
【
図4】本発明の第1の実施形態に係る走行作業情報処理システムにおける自律走行作業装置の構成を示すブロック図である。
【
図5】本発明の第1の実施形態に係る走行作業情報処理システムにおける管理サーバの構成を示すブロック図である。
【
図6】本発明の第1の実施形態に係る走行作業情報処理システムにおける操作端末の構成を示すブロック図である。
【
図7】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、自律走行作業装置の走行状況を撮影した第1撮影データの例を示す平面図である。
【
図8】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、自律走行作業装置の清掃作業状況を撮影した第2撮影データの例を示す平面図である。
【
図9】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、各利用者の個人登録情報の例を示す表である。
【
図10】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、各自律走行作業装置の装置登録情報の例を示す表である。
【
図11】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、各利用者の閲覧設定の例を示す表である。
【
図12】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、第1撮影データを表示する遠隔操作画面の例を示す平面図である。
【
図13】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、第2撮影データを表示する遠隔操作画面の例を示す平面図である。
【
図14】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、第1撮影データおよび第2撮影データを並列表示する遠隔操作画面の例を示す平面図である。
【
図15】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、未知の障害物がある状態で、第1撮影データおよび第2撮影データを並列表示する遠隔操作画面の例を示す平面図である。
【
図16】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、未知の障害物がある状態で、第1撮影データおよび第2撮影データを並列表示する遠隔操作画面の例を示す平面図である。
【
図17】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、未知の障害物がある状態で、第1撮影データおよび第2撮影データを並列表示する遠隔操作画面の例を示す平面図である。
【
図18】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、未知の障害物がある状態で、第1撮影データを専用表示する遠隔操作画面の例を示す平面図である。
【
図19】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、未知の障害物がある状態で、第1撮影データを専用表示する遠隔操作画面の例を示す平面図である。
【
図20】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、未知の障害物がある状態で、第1撮影データを専用表示する遠隔操作画面の例を示す平面図である。
【
図21】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、操作端末のログイン画面の例を示す平面図である。
【
図22】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、遠隔操作画面を操作端末に表示する動作例を示すフローチャートである。
【
図23】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、自律走行作業装置の動作例を示すフローチャートである。
【
図24】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、管理サーバの動作例を示すフローチャートである。
【
図25】本発明の第1の実施形態に係る走行作業情報処理システムにおいて、操作端末の動作例を示すフローチャートである。
【
図26】本発明の第2の実施形態に係る走行作業情報処理システムにおける管理サーバの構成を示すブロック図である。
【
図27】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、第1撮影データを表示する遠隔操作画面の例を示す平面図である。
【
図28】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、清掃部を上方から撮影した第2撮影データを表示する遠隔操作画面の例を示す平面図である。
【
図29】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、清掃部を上方から撮影した第2撮影データを表示する遠隔操作画面の例を示す平面図である。
【
図30】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、清掃部を側方から撮影した第2撮影データを表示する遠隔操作画面の例を示す平面図である。
【
図31】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、清掃部を側方から撮影した第2撮影データを表示する遠隔操作画面の例を示す平面図である。
【
図32】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、清掃部が正常動作する場合の、自律走行作業装置の旋回走行の例を示す平面図である。
【
図33】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、清掃部が異常動作する場合の、自律走行作業装置の旋回走行の例を示す平面図である。
【
図34】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、清掃部を上方および側方から撮影した第2撮影データを並列表示する遠隔操作画面の例を示す平面図である。
【
図35】本発明の第2の実施形態に係る走行作業情報処理システムにおいて、清掃部を上方および側方から撮影した第2撮影データを並列表示する遠隔操作画面の例を示す平面図である。
【
図36】本発明の他の実施形態に係る走行作業情報処理システムにおいて、自律走行作業装置に紐付けられた複数の利用者を表示する遠隔操作画面の例を示す平面図である。
【発明を実施するための形態】
【0035】
以下、本発明の実施形態について図面を参照しながら説明する。以下の実施形態は、本発明の好適な具体例であって、種々の好ましい技術を開示しているが、本発明の技術範囲はこれらの態様に限定されるものではない。
【0036】
本発明の第1の実施形態による走行作業情報処理システム1について説明する。
図1に示すように、走行作業情報処理システム1は、自律走行作業装置2と、管理サーバ3と、複数の操作端末4とを備える。自律走行作業装置2は、自律的に走行し自動で作業する自動走行作業を実行可能に構成され、管理サーバ3は、自律走行作業装置2を管理するように構成され、各操作端末4は、自律走行作業装置2を操作するように構成されている。自律走行作業装置2は、所定のネットワーク5を介して管理サーバ3と通信可能に接続され、各操作端末4は、所定のネットワーク5を介して管理サーバ3と通信可能に接続される。
【0037】
なお、走行作業情報処理システム1は、1台の管理サーバ3に対して、同様の機能を有する複数台の自律走行作業装置2を備えてよいが、本実施形態では、1台の自律走行作業装置2を備える例を説明する。また、走行作業情報処理システム1は、1台の管理サーバ3に対して、同様の機能を有する複数台の操作端末4を備えてよいが、本実施形態では、2台の操作端末4を備える例を説明する。複数の操作端末4は、清掃業者などの操作者だけでなく、警備員や管理者などを含む複数の利用者がそれぞれ利用するものである。
【0038】
先ず、自律走行作業装置2について説明する。
図2に示すように、自律走行作業装置2は、各部を収容するための装置本体10と、装置本体10を走行させる走行部11とを備える。自律走行作業装置2は、所定の作業を実行する作業部として、例えば、装置本体10の下方の床面FLの清掃作業を実行する清掃部12を備えて、自律走行清掃装置として機能する。自律走行作業装置2は、例えば、ショッピングモールなどの商業施設、オフィス、ホテル、病院、学校、工場などの全部または一部の領域を清掃エリア(作業エリア)として、
図3に示すように、清掃エリアの床面FLを清掃対象(作業対象)とする。
【0039】
また、自律走行作業装置2は、装置本体10と周囲の壁や障害物(例えば、置物)などの非作業対象との位置関係を計測する計測部13と、所定距離内の壁や障害物を検知する障害物検知部14とを備える。自律走行作業装置2は、装置本体10の前方を撮影する第1撮影部15と、装置本体10の後方を撮影する第2撮影部16とを備える。自律走行作業装置2は、自律走行作業装置2の各種機能の操作や表示のためのタッチパネルなどからなる操作表示部17と、自律走行作業装置2の各部に電力を供給し、バッテリー(図示せず)の残量監視や充電を制御するための電源部18とを備える。
【0040】
更に、自律走行作業装置2は、自律走行作業装置2の各部および各種機能(走行部11による走行、清掃部12による清掃、計測部13による計測、第1撮影部15および第2撮影部16による撮影など)を統括制御する装置側制御部20と、走行部11の走行データや清掃部12の清掃データ(作業データ)からなる清掃プラン(作業プラン)を記憶する装置側記憶部21と、管理サーバ3や各操作端末4などの外部機器と通信するための装置側通信部22とを備える。
【0041】
次に、自律走行作業装置2の動作の概要を説明する。
【0042】
自律走行作業装置2は、手動操作による走行および自動操作による自律的な走行が可能な車両であって、学習モード、再現(自動)モードおよび手動モードの何れかの動作モードに切り替えられて動作する。自律走行作業装置2は、操作端末4や操作表示部17の操作に応じて動作モードを切り替え可能とする。
【0043】
自律走行作業装置2は、学習モードおよび手動モードでは、清掃係員などの作業者、操作者や管理者による操作端末4や操作表示部17の手動操作に応じて手動走行や手動清掃(手動作業)を行う学習走行清掃(学習走行作業)および手動走行清掃(手動走行作業)をそれぞれ実行する。また、学習走行清掃では、学習走行に伴って清掃エリアの環境地図を作成して記憶すると共に、学習走行時の走行経路や走行状態を示す走行データと、学習清掃時の清掃状態を示す清掃データとを取得して、走行データおよび清掃データを含む清掃プランを記憶する。
【0044】
自律走行作業装置2は、再現モードでは、自動走行清掃(自動走行作業)を行って、学習走行清掃で記憶された清掃プランのうちで、作業者に選択された清掃プランを再現するように、選択された清掃プランおよび対応する環境地図に基づいて、装置側制御部20による自動操作に応じて自動走行および自動清掃(自動作業)を行う。
【0045】
清掃プランは、走行経路に沿った複数のステップで構成され、各ステップには、走行データおよび清掃データが関連付けられる。ステップの間隔は、学習走行清掃を行う際に、所定の時間間隔(例えば、25ms)に設定されてもよく、あるいは、自律走行作業装置2の所定の移動距離(例えば、0.5m)に設定されてもよい。また、清掃プランは、上記した以外に、学習走行清掃開始からの経過時間をステップ毎に関連付けて記憶してもよい。
【0046】
走行データは、例えば、走行部11の走行経路上の自己位置データ(環境地図上の自己位置を示すX座標およびY座標、開始位置の向きに対する角度)、操舵フラグ(直進、左折、右折)、進行方向への走行速度[m/s]および旋回速度[deg/s]を含み、走行データに基づいて走行経路を図化することができる。あるいは、走行速度は、複数段階の速度の何れかに切り替えられてよく、走行データは、走行速度の段階的な速度を数字(例えば、0~7の8段階)に換算して記憶するとよい。
【0047】
清掃データは、例えば、清掃部材24のパッド圧、洗浄液供給部25の供給水量および吸引部26の吸引量を含む。パッド圧は、清掃部材24を床面FLに押し付ける力であり、供給水量は、洗浄液供給部25によって床面FLに供給される洗浄液(作業液)の量であり、吸引量は、吸引部26によって床面FLから洗浄後の汚水を吸引する際の吸引ブロア(図示せず)の稼働強度である。なお、パッド圧、供給水量および吸引量は、複数段階の強度の何れかに切り替えられてよく、清掃データは、パッド圧、供給水量および吸引量の段階的な強度を数字(例えば、0~2の3段階や、0~4の5段階など)に換算して記憶するとよい。なお、清掃データは、清掃部材24の作動/停止、回転速度を含んでもよい。
【0048】
次に、自律走行作業装置2の各部を説明する。
【0049】
走行部11は、装置本体10の下部に設けられていて、駆動輪として1つの前輪11aを備え、補助輪として一対の後輪11bを備え、前輪11aおよび一対の後輪11bには、それぞれ、タイヤが取り付けられる。前輪11aは、進行方向前側で装置幅方向中央に設けられ、走行駆動用モータ(図示せず)と前輪回転用エンコーダ(図示せず)とを備える。走行部11は、走行駆動用モータを駆動して前輪11aを回転させることで装置本体10を前進させ、前輪11aの回転を停止させることで装置本体10を停止させる。走行駆動用モータの駆動を制御することで、自律走行作業装置2(走行部11)の走行速度の調整(加減速)が行われる。なお、走行部11は、走行駆動用モータが前輪11aを逆転させることで装置本体10を後退させてもよい。
【0050】
また、前輪11aは、操舵軸(図示せず)と操舵用モータ(図示せず)と操舵回転用エンコーダ(図示せず)とを備える。走行部11は、操舵用モータを駆動して操舵軸を回転させることで前輪11aの向きを変えて装置本体10を操舵し、前輪11aの向きを変えながら装置本体10を前進させることで、自律走行作業装置2(走行部11)を左折(左旋回)や右折(右旋回)させる。操舵用モータの駆動を制御することで、自律走行作業装置2(走行部11)の操舵角が調整される。例えば、操舵軸を回転させて進行方向に対して操舵角を左側または右側に90度傾けるように操舵用モータを制御しながら、装置本体10を前方または後方へ旋回することで、装置本体10は左側または右側に信地旋回する。
【0051】
一対の後輪11bは、進行方向後側で装置幅方向(左右方向)に間隔を空けて設けられ、それぞれ走行距離を回転量から把握するためのエンコーダ(図示せず)を備える。一対の後輪11bは、前輪11aの駆動による装置本体10の移動に応じて従動回転する。自律走行作業装置2(走行部11)の走行速度の調整(加減速)と操舵は、後輪11bに備えられたエンコーダを用いて後輪11bの各々の回転量をフィードバックしながら走行駆動用モータと操舵用モータを制御することで行われてもよい。なお、本実施形態では、駆動輪の前輪11aと補助輪の後輪11bとを備える例を説明したが、本発明はこの例に限定されず、例えば、他の実施形態では、補助輪の前輪11aと一対の駆動輪の後輪11bとを備えてもよい。
【0052】
走行部11は、動作モードが学習モードまたは手動モードに設定されている場合、操作者や作業者による操作端末4や操作表示部17の手動操作に応じて動作する。また、走行部11は、動作モードが再現モードに設定されている場合、操作者や作業者に選択された清掃プランの走行データおよび環境地図に基づく装置側制御部20(再現制御部34)の制御に応じて動作する。
【0053】
清掃部12は、装置本体10の下部に設けられ、装置本体10の下方の床面FLを清掃するように構成される。清掃部12は、動作モードが学習モードまたは手動モードに設定されている場合、操作者や作業者による操作端末4や操作表示部17の手動操作に応じて動作する。また、清掃部12は、動作モードが再現モードに設定されている場合、操作者や作業者に選択された清掃プランの清掃データに基づく装置側制御部20(再現制御部34)の制御(自動操作)に応じて動作する。
【0054】
清掃部12は、例えば、洗浄液を用いて床面FLを清掃する湿式の清掃機構で構成され、床面FLに接触して床面FLを清掃する清掃部材24(作業部材)と、洗浄液を床面FLに供給する洗浄液供給部25と、床面FLを清掃した使用後の洗浄液、即ち、汚水を吸引する吸引部26とを備える。清掃部12は、清掃部材24を床面FL上で回転させる清掃部材用モータ(図示せず)と、清掃部材24を床面FLに対して上下方向に移動させると共にパッド圧を可変する清掃部材用アクチュエータ(図示せず)とを備える。清掃部12は、吸引部26で吸引された汚水を回収する汚水回収部(図示せず)を備える。なお、清掃部12は、床面FLがカーペットの場合には、洗浄液を使用せずに乾式の清掃作業を行うように構成されてよい。または、自律走行作業装置2は、洗浄液供給部25を備えずに床面FL上の塵埃を吸引除去する乾式の床面清掃機であってもよい。
【0055】
清掃部材24は、進行方向略中央で装置幅方向(左右方向)に並んで取り付けられた一対の洗浄パッドや一対の洗浄ブラシなどで構成される。左側の洗浄パッドまたは洗浄ブラシが上方視時計回りに回転し、右側の洗浄パッドまたは洗浄ブラシが上方視反時計回りに回転して、幅方向中央側で前方から後方へ向かうように回転する。これにより、一対の洗浄パッドまたは一対の洗浄ブラシの前方の汚水や塵埃を幅方向中央側に収集しつつ後方へ排出する。なお、洗浄パッドや洗浄ブラシは、一対の構成ではなく、1つで構成されてもよい。
【0056】
洗浄液供給部25は、供給ポンプ(図示せず)を用いて洗浄液タンク(図示せず)から床面FLに洗浄液を供給して散布するように構成される。
【0057】
吸引部26は、吸引ブロアなどで構成され、吸引した汚水を汚水回収部(図示せず)へと回収する。汚水回収部は、清掃部材24より後方で床面FLに接地して設けられたスキージ27によって、清掃部材24から後方に排出される汚水を受け止めて収集し、吸引部26に接続された汚水ダクト(図示せず)によって、収集された汚水を吸引部26の吸引力を利用して吸引し、吸引された汚水を、汚水ダクトに接続された汚水タンクへ回収する。
【0058】
計測部13は、装置本体10と周囲の壁や障害物などの非作業対象との位置情報(例えば、装置本体10の進行方向に対する角度や距離)を計測するレーザーレンジファインダ(LRF:Laser Range Finder)13aなどを備える。計測部13は、装置本体10が走行している間、例えば、所定のタイミング毎(例えば、25ms毎)に非作業対象との位置情報を計測する。LRF13aは、装置本体10の前側および左右両側に亘って検知範囲を有するように構成される。
【0059】
障害物検知部14は、装置本体10から所定距離内の壁や障害物の有無を検知する超音波センサなどの複数の近接センサ14a(検知部)や、装置本体10付近の床面FLの段差を検知する赤外線センサなどの段差センサ、装置本体10の前下側のバンパー(図示せず)に取り付けられて壁や障害物との接触を検知するバンパーセンサなどを備える。障害物検知部14は、装置本体10が走行している間、常時稼働していてよい。
【0060】
第1撮影部15は、自律走行作業装置2の走行状況を撮影するものであり、CCD(Charge Coupled Device)カメラなどの第1撮像装置15aを備える。第1撮像装置15aは、例えば、装置本体10の前上側に取り付けられて、装置本体10の前方を撮影することで、自律走行作業装置2の走行状況を撮影して、
図7に示すように、第1撮影データ60を取得する。なお、第1撮影部15は、一方向を撮影して1つの第1撮影データ60を取得するものに限定されず、複数方向を撮影して2つ以上の第1撮影データ60を取得するものでもよい。
【0061】
第2撮影部16は、自律走行作業装置2の清掃作業状況(作業状況)を撮影するものであり、CCDカメラなどの第2撮像装置16aを備える。装置本体10の後方を撮影するCCDカメラなどの第2撮像装置16aを備え、第2撮像装置16aは、例えば、装置本体10の後下側に取り付けられて、装置本体10の後下方を上方および側方の少なくとも一方から撮影することで、自律走行作業装置2の清掃作業状況を撮影して、
図8に示すように、第2撮影データ61を取得する。または、第2撮影部16は、装置本体10の後方に備えた広角カメラで構成されて、後上側から斜め後下方向に撮影してもよい。なお、第2撮像装置16aは、清掃部12(例えば、スキージ27)を含む画像を撮影するように配置されるとよい。また、第2撮影部16は、一方向を撮影して1つの第2撮影データ61を取得するものに限定されず、複数方向を撮影して2つ以上の第2撮影データ61を取得するものでもよい。
【0062】
操作表示部17は、装置本体10の後上側に設けられ、タッチパネルなどを有して構成され、操作表示部17の各部は、装置側制御部20に接続されている。操作表示部17は、例えば、自律走行作業装置2の稼働/停止を操作するためのキースイッチ(図示せず)や、自律走行作業装置2の緊急停止を操作するための緊急停止ボタン(図示せず)を有する。
【0063】
操作表示部17のタッチパネルは、装置側制御部20からの制御信号に応じて様々な画面を表示し、各画面でのタッチ操作に基づく操作信号を装置側制御部20へと送信する。例えば、操作表示部17のタッチパネルは、動作モードを選択可能なモード選択画面(図示せず)を表示したり、学習モードおよび手動モードにおいて、走行部11の走行速度、清掃部材24の清掃の稼働/停止およびパッド圧、洗浄液供給部25の洗浄液供給の稼働/停止および供給水量、吸引部26の吸引の稼働/停止および吸引量などを設定可能な設定画面(図示せず)を表示したりする。
【0064】
電源部18は、装置本体10内部に搭載されたバッテリー(電源)および充電回路を備え、外部電源に接続することでバッテリーが充電され、また、自律走行作業装置2の各部へと電力を供給する。電源部18は、バッテリーの残量を示す信号を装置側制御部20へと出力してもよい。
【0065】
装置側制御部20は、CPU(Central Processing Unit)などのコンピュータで構成され、
図2や
図4に示すように、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク、フラッシュメモリなどを含む装置側記憶部21および装置側通信部22に接続されている。また、装置側制御部20は、上記の走行部11、清掃部12、計測部13、障害物検知部14、第1撮影部15、第2撮影部16、操作表示部17および電源部18などの自律走行作業装置2の各部に接続されている。
【0066】
また、装置側制御部20は、装置側通信部22を介して外部機器と通信可能に接続される。装置側通信部22は、管理サーバ3や複数の操作端末4などの外部機器と、Wi-Fiなどの無線LAN通信規格によって無線通信を行う。装置側通信部22は、例えば、自律走行作業装置2が自動走行清掃を行っている間に、第1撮影部15が自律走行作業装置2の走行状況を撮影した第1撮影データ60や、第2撮影部16が自律走行作業装置2の清掃作業状況を撮影した第2撮影データ61と、計測部13の計測結果である計測結果とを管理サーバ3へと送信する。あるいは、第1撮影データ60や第2撮影データ61や、計測部13の計測結果としての環境地図データは、装置側記憶部21に記憶して、タイミングに応じて管理サーバ3へと送信する構成であってもよい。
【0067】
装置側記憶部21は、自律走行作業装置2の各部および各種機能を制御するためのプログラムやデータを記憶し、装置側制御部20が、装置側記憶部21に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各部および各種機能を統括制御する。例えば、装置側制御部20は、装置側記憶部21に記憶されたプログラムを実行することにより、
図4に示すように、モード切替部30、学習制御部31、地図作成部32、清掃プラン作成部33、再現制御部34および遠隔操作制御部35として動作する。これにより、自律走行作業装置2は、事前に記憶されたプログラムに従って自律的に走行し自動で作業することができる。また、装置側記憶部21は、1つ以上の清掃プランを記憶すると共に、各清掃プランに対応する環境地図も記憶する。
【0068】
モード切替部30は、各操作端末4や操作表示部17の操作に応じて、動作モードを学習モード、再現モードおよび手動モードの何れかに切り替える。
【0069】
学習制御部31は、学習モードにおいて、学習走行清掃が行われる間、所定のステップ間隔毎に、走行部11の走行データおよび清掃部12の清掃データを取得して装置側記憶部21に記憶する。
【0070】
学習制御部31は、例えば、走行データとして、計測部13が計測した位置情報に基づいて自己位置データ(X座標およびY座標、角度)を取得する。また、走行部11の前輪11aの前輪回転用エンコーダで前輪11aの走行回転数を検出し、その検出結果に基づいて走行部11の走行速度を取得する。更に、走行部11の前輪11aの操舵回転用エンコーダで前輪11aの操舵回転数を検出し、その検出結果に基づいて走行部11の旋回速度を取得する。学習制御部31は、例えば、清掃データとして、清掃部材24に対して設定された清掃の稼働/停止およびパッド圧、洗浄液供給部25に対して設定された洗浄液供給の稼働/停止および供給水量、吸引部26に対して設定された吸引の稼働/停止および吸引量を取得する。
【0071】
地図作成部32は、学習モードにおいて学習走行清掃が行われる間、SLAM(Simultaneous Localization and Mapping)などの技術を用いて、リアルタイムで自己位置の推定と環境地図の作成とを行う。
【0072】
具体的には、地図作成部32は、所定の清掃エリアの学習走行清掃の間に、計測部13の計測結果として、装置本体10と装置本体10の周囲の壁などの非作業対象との位置情報を取得し、この計測部13の計測結果に基づいて、所定の時間間隔毎または所定の距離間隔毎に、装置本体10の周囲の局所地図を作成する。また、地図作成部32は、局所地図と走行部11の各エンコーダによる検出結果(走行部11の移動量)とに基づいて、局所地図中の自律走行作業装置2の自己位置(座標)を推定する。
【0073】
そして、地図作成部32は、学習走行清掃を完了する際に、各局所地図をつなぎ合わせる(合成する)ことで清掃エリアの環境地図を作成する。また、地図作成部32は、局所地図中の自己位置(計測部13が計測した各位置情報)をつなぎ合わせる(合成する)ことで走行経路を作成する。この環境地図を用いることで、局所地図中の自己位置と、計測部13が計測した非作業対象の位置情報とに基づいて、作業エリア内の走行経路の状態(未知の障害物の有無など)を検出することができる。
【0074】
清掃プラン作成部33は、学習走行清掃が行われる間に学習制御部31が装置側記憶部21に記憶していた走行データおよび清掃データを、学習走行清掃を完了する際に、ステップ毎に関連付けて清掃プラン(作業プラン)を作成する。
【0075】
清掃プラン作成部33は、作成した清掃プランについてプラン名の入力を操作表示部17のタッチパネルの所定の入力画面(図示せず)で受け付けて、操作者などによって入力されたプラン名を、作成した清掃プランに付加する。清掃プラン作成部33は、作成した清掃プランを、同じ学習走行清掃で地図作成部32が作成した環境地図と関連付けて装置側記憶部21に記憶する。なお、清掃プラン作成部33は、学習走行清掃を行うことなく、自律走行作業装置2をコンピュータとして用いることによって、または管理サーバ3や各操作端末4などの外部機器によって、あるいは事前に入力されたプログラムに従って自動で走行経路を作成することによって、事前に環境地図、走行データおよび清掃データが作成された場合、これらの環境地図、走行データおよび清掃データについて清掃プランを作成してもよい。なお、清掃プラン作成部33は、自動走行清掃を行う清掃プランおよび環境地図を、装置側通信部22によって管理サーバ3へと送信することで、管理サーバ3に認識させておくとよい。
【0076】
再現制御部34は、動作モードが再現モードの場合に、清掃プランの選択を、操作表示部17のタッチパネルの所定の清掃プラン選択画面(図示せず)で受け付けて、選択された清掃プランを装置側記憶部21から読み出し、この清掃プランの走行データおよび清掃データ並びに清掃プランに対応する環境地図に基づいて、走行部11および清掃部12を制御して自動走行清掃を行う。
【0077】
このとき、再現制御部34は、清掃プランに対応する環境地図上の自律走行作業装置2の自己位置を推定しながら自動走行清掃を実行する。例えば、再現制御部34は、地図作成部32を利用してSLAMなどの技術を用いて局所地図を作成し、局所地図中の自律走行作業装置2の自己位置を推定して、局所地図を環境地図にマッチングさせることで、環境地図上の自己位置を推定する。
【0078】
そして、再現制御部34は、清掃プランの走行データのステップ毎の自己位置データと、環境地図上で推定される自己位置を合わせて走行部11を制御しつつ、清掃部12の清掃データに基づいてステップ毎に清掃作業を制御する。
【0079】
また、再現制御部34は、自動走行清掃において、計測部13のレーザーレンジファインダ13aおよび障害物検知部14の近接センサ14aによって障害物などの非作業対象の検知を行い、非作業対象との距離が所定の安全距離に近づくと減速するように走行部11を制御し、非作業対象との距離が所定の安全距離以下になると停止するように走行部11を制御するとよい。
【0080】
再現制御部34は、自動走行清掃において、第1撮影部15が自律走行作業装置2の走行状況を撮影した第1撮影データ60や、第2撮影部16が自律走行作業装置2の清掃作業状況を撮影した第2撮影データ61と、計測部13の計測結果である計測結果とを、装置側通信部22によって管理サーバ3へと送信する。
【0081】
再現制御部34は、自動走行清掃において、自律走行作業装置2が走行を続行不能となるエラーを検出すると、走行不能を示すエラー通知を、装置側通信部22によって管理サーバ3へと送信する。例えば、再現制御部34は、計測部13の計測結果に基づいて、環境地図に存在しない未知の障害物を進行方向に検出した場合には、自律走行作業装置2から障害物までの距離が所定の停止距離になるまで障害物に接近すると、自動走行清掃を停止して、手動操作や遠隔操作を待機する状態になる。再現制御部34は、未知の障害物を検出した場合、障害物に起因する走行不能を示すエラー通知を、装置側通信部22によって管理サーバ3へと送信する。
【0082】
また、再現制御部34は、自動走行清掃において、自律走行作業装置2が清掃作業を続行不能となるエラーを検出すると、作業不能を示すエラー通知を、装置側通信部22によって管理サーバ3へと送信する。例えば、再現制御部34は、清掃部12の清掃部材24、洗浄液供給部25、吸引部26などの各部の動作をセンサなどによって監視して、その監視結果に基づいて清掃作業の作業不良(例えば、汚水の吸引不具合に起因する床面FL上の残水)を検出した場合に、自動走行清掃を停止して、手動操作や遠隔操作を待機する状態になる。再現制御部34は、清掃部12の動作不良を検出した場合、動作不良に起因する作業不能を示すエラー通知を、装置側通信部22によって管理サーバ3へと送信する。
【0083】
遠隔操作制御部35は、動作モードが再現モードの場合に自律走行作業装置2が自動走行清掃を行っている間に、装置側通信部22が管理サーバ3や各操作端末4などの外部機器から遠隔操作命令を受信すると、自動走行清掃に代えて、遠隔操作走行を実行する。遠隔操作制御部35は、遠隔操作走行において、遠隔操作命令に対応する遠隔操作に従って自律走行作業装置2が走行するように走行部11および清掃部12を制御する。遠隔操作制御部35は、遠隔操作走行を実行するとき、自動走行清掃を一時中断し、遠隔操作走行を終了するとき、再現制御部34によって自動走行清掃を再開する。なお、再現制御部34は、遠隔操作走行の終了に応じて自動的に、あるいは、操作端末4を用いた再開操作(例えば、再開ボタンの操作)に応じて、自動走行清掃を再開するとよい。このとき、再現制御部34は、自律走行作業装置2の位置に最も近い走行経路上の位置から自動走行清掃を再開する。
【0084】
例えば、遠隔操作が前進、停止、右旋回または左旋回を指示する場合、遠隔操作制御部35は、自律走行作業装置2が前進、停止、右旋回または左旋回を行うように走行部11を制御し、また、遠隔操作によって走行部11の走行速度の設定を受け付けてよい。遠隔操作制御部35は、遠隔操作によって清掃部12による清掃作業の実行/停止の設定を受け付けてよく、また、清掃部材24の清掃の稼働/停止およびパッド圧、洗浄液供給部25の洗浄液供給の稼働/停止および供給水量、吸引部26の吸引の稼働/停止および吸引量などの個別設定を受け付けてよい。なお、遠隔操作制御部35は、遠隔操作に拘わらず、遠隔操作走行を行う場合には常に清掃作業を停止するように清掃部12を制御してもよい。
【0085】
更に、遠隔操作制御部35は、遠隔操作が障害物の回避を指示する場合には、上記の遠隔操作に従った走行部11の制御に加えて、計測部13の計測結果に基づいて、障害物から所定の安全距離を空けて走行するように、走行部11を制御するとよい。このとき、遠隔操作制御部35は、自律走行作業装置2の進行方向に障害物を検出している間、遠隔操作走行を継続し、障害物を検出しなくなると、遠隔操作走行を終了するとよい。あるいは、遠隔操作制御部35は、遠隔操作に応じて遠隔操作走行を終了してもよい。なお、遠隔操作制御部35は、遠隔操作が障害物の自動回避を指示する場合には、自動走行によって障害物を回避して、障害物を検出しなくなると自動走行による遠隔操作走行を終了するように、走行部11を制御してもよい。遠隔操作制御部35は、遠隔操作走行を終了すると、遠隔操作走行の終了通知を装置側通信部22によって管理サーバ3へと送信する。
【0086】
また、遠隔操作が第1撮影部15や第2撮影部16の撮影操作を指示する場合、遠隔操作制御部35は、第1撮影部15や第2撮影部16の撮影や、第1撮影部15が撮影した第1撮影データ60や第2撮影部16が撮影した第2撮影データ61の送信を制御する。なお、遠隔操作制御部35は、第1撮影部15や第2撮影部16の撮影について、撮影方向やズームを制御してもよい。遠隔操作制御部35は、上記した遠隔操作に限定されず、自律走行作業装置2の各部に対する様々な遠隔操作を受け付けて、各部を制御可能にしてよい。
【0087】
次に、管理サーバ3について説明する。管理サーバ3は、自律走行作業装置2を管理すると共に、各操作端末4を利用する操作者や管理者などの利用者の操作権限などを管理する。管理サーバ3は、
図5に示すように、サーバ側制御部40と、サーバ側記憶部41と、サーバ側通信部42とを備える。
【0088】
サーバ側制御部40は、管理サーバ3の各部および各種機能を統括制御するものであり、CPUなどのコンピュータで構成され、ROM、RAM、ハードディスク、フラッシュメモリなどを含むサーバ側記憶部41およびサーバ側通信部42に接続されている。
【0089】
また、サーバ側制御部40は、サーバ側通信部42を介して外部機器と通信可能に接続される。サーバ側通信部42は、自律走行作業装置2や操作者や管理者などの利用者の保有する各操作端末4などの外部機器と、Wi-Fiなどの無線LAN通信規格によって無線通信を行う。サーバ側通信部42は、例えば、自律走行作業装置2の第1撮影部15が自律走行作業装置2の走行状況を撮影した第1撮影データ60や、第2撮影部16が自律走行作業装置2の清掃作業状況を撮影した第2撮影データ61、自律走行作業装置2の計測部13の計測結果を自律走行作業装置2から受信し、また、当該第1撮影データ60や当該第2撮影データ61を表示する遠隔操作画面70(
図12~
図20など参照)を各操作端末4に閲覧表示させる。サーバ側通信部42は、各操作端末4から遠隔操作を受信し、また、当該遠隔操作に対応する遠隔操作命令を自律走行作業装置2へと送信する。
【0090】
サーバ側記憶部41は、管理サーバ3の各部および各種機能を制御するためのプログラムやデータを記憶し、サーバ側制御部40が、サーバ側記憶部41に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各部および各種機能を統括制御する。例えば、サーバ側制御部40は、サーバ側記憶部41に記憶されたプログラムを実行することにより、装置端末間紐付部45、画像閲覧制御部46、遠隔操作命令部47として動作する。
【0091】
管理サーバ3は、各操作端末4の操作者や管理者などの利用者を管理するところ、サーバ側記憶部41には、
図9に示すように、各利用者の個人登録情報として、個人識別情報(個人コード)、氏名、所属、利用者種別、パスワードなどが登録されている。管理サーバ3は、自律走行作業装置2を管理するところ、サーバ側記憶部41には、
図10に示すように、各自律走行作業装置2の装置登録情報として、装置識別情報(ロボット識別コード)、名称などが登録されている。また、管理サーバ3は、自律走行作業装置2が学習走行清掃で作成した清掃プランおよび環境地図や、作業者による操作端末4の操作内容をサーバ側通信部42によって受信し、その履歴をサーバ側記憶部41に記憶するとよい。
【0092】
更に、管理サーバ3は、自動走行清掃を行う自律走行作業装置2の遠隔操作のために各操作端末4に閲覧表示させる遠隔操作画面70(
図12~
図20など参照)などの画面の閲覧設定を、個人登録情報の登録された利用者毎に登録可能とし、サーバ側記憶部41には、例えば、
図11に示すように、各利用者の遠隔操作画面70の閲覧設定として、個人識別情報(個人コード)、画像閲覧設定などが登録されている。閲覧設定は、利用者の個人登録情報が登録される際に、予め登録されてよく、また、権限を有する管理者などにより操作端末4を用いた任意の操作に応じて登録・変更されてよい。
【0093】
遠隔操作画面70では、自律走行作業装置2の第1撮影部15が自律走行作業装置2の走行状況を撮影した第1撮影データ60や、第2撮影部16が自律走行作業装置2の清掃作業状況を撮影した第2撮影データ61などの撮影データを表示できるところ、画像閲覧設定は、何れの撮影データを表示させるかの表示種別を示す。表示種別には、第1撮影データ60を単一表示する「カメラ1」、第2撮影データ61を単一表示する「カメラ2」、第1撮影データ60および第2撮影データ61を並列表示する「カメラ1/カメラ2」などがある。なお、撮影データを並列表示する表示種別は、2つの撮影データに限定されず、3つ以上の撮影データを並列表示するものでもよい。また、2つ以上の撮影データを並列表示させる表示種別について、撮影データの並べ方は予め設定されてよく、若しくは、利用者により操作端末4を用いた任意の操作に応じて設定されてもよい。
【0094】
管理サーバ3では、各利用者の画像閲覧設定には、少なくとも1つ以上の表示種別が選択肢として設定され、遠隔操作画面70では、1つ以上の表示種別から選択された1つの表示種別に従って撮影データが表示される。なお、各利用者の画像閲覧設定に設定される1つ以上の表示種別は、各利用者の利用者種別や所属に応じて自動的に設定されてよく、若しくは、利用者により操作端末4を用いた任意の操作に応じて設定されてもよい。例えば、利用者種別が管理者の場合の画像閲覧設定には、「カメラ1」、「カメラ2」および「カメラ1/カメラ2」の表示種別が設定され、利用者種別が走行および清掃の両方を担当する操作者の場合の画像閲覧設定には、「カメラ1」および「カメラ2」の表示種別が設定され、利用者種別が走行のみを担当する操作者の場合の画像閲覧設定には、「カメラ1」の表示種別が設定され、利用者種別が清掃のみを担当する操作者の場合の画像閲覧設定には、「カメラ2」の表示種別が設定され、利用者種別が警備員の場合の画像閲覧設定には、「カメラ1」の表示種別が設定される。
【0095】
また、各利用者の画像閲覧設定には、1つ以上の表示種別のうち、1つの表示種別が優先表示として設定され、遠隔操作画面70では、初期状態として優先表示の表示種別が選択され、若しくは、利用者により操作端末4を用いた任意の操作に応じて優先表示以外の他の表示種別を選択可能としてもよい。なお、優先表示は、各利用者の利用者種別や所属に応じて自動的に設定されてよく、若しくは、利用者により操作端末4を用いた任意の操作に応じて設定されてもよい。
図11では、優先表示の利用者種別を白抜き楕円で囲んで示している。例えば、利用者種別が管理者の場合の優先表示は、「カメラ1/カメラ2」に設定され、利用者種別が走行および清掃の両方を担当する操作者の場合の優先表示は、「カメラ1」に設定され、利用者種別が走行のみを担当する操作者の場合の優先表示は、「カメラ1」に設定され、利用者種別が清掃のみを担当する操作者の場合の優先表示は、「カメラ2」に設定され、利用者種別が警備員の場合の優先表示は、「カメラ1」に設定される。
【0096】
装置端末間紐付部45は、操作端末4によって自律走行作業装置2を遠隔操作可能にするために、自律走行作業装置2と操作端末4とを紐付けるものである。例えば、装置端末間紐付部45は、管理サーバ3にログインした操作端末4から、遠隔操作を所望する自律走行作業装置2の選択要求を受け付けて、当該自律走行作業装置2と当該操作端末4とを紐付ける。なお、装置端末間紐付部45は、1つの自律走行作業装置2に対して1つの操作端末4を紐付けできることは勿論、1つの自律走行作業装置2に対して2つ以上の操作端末4から選択要求があった場合には、1つの自律走行作業装置2に対して2つ以上の操作端末4を紐付けることもできる。
【0097】
装置端末間紐付部45は、操作端末4が管理サーバ3にログインしている間、当該操作端末4と、当該操作端末4に紐付けた自律走行作業装置2とを関連付けた紐付情報をサーバ側記憶部41に記憶しておく。装置端末間紐付部45は、操作端末4と自律走行作業装置2とを紐付けると、当該操作端末4に対して、選択要求に対する成功通知を送信する。また、装置端末間紐付部45は、操作端末4が管理サーバ3からログアウトしたとき、あるいは、自律走行作業装置2の選択要求を解除したとき、若しくは、他の自律走行作業装置2に選択要求したとき、当該操作端末4と自律走行作業装置2との紐付情報をサーバ側記憶部41から削除する。
【0098】
画像閲覧制御部46は、自律走行作業装置2において第1撮影部15が撮影した第1撮影データ60や第2撮影部16が撮影した第2撮影データ61を選択して、操作端末4に閲覧表示させるものである。例えば、画像閲覧制御部46は、第1撮影データ60や第2撮影データ61を表示する遠隔操作画面70を作成して、遠隔操作画面70を操作端末4に提示する。画像閲覧制御部46は、基本的には第1撮影データ60や第2撮影データ61の動画を遠隔操作画面70に表示するが、利用者により操作端末4を用いた任意の操作に応じて、第1撮影データ60や第2撮影データ61から切り出した静止画を表示してもよい。なお、画像閲覧制御部46は、管理サーバ3で管理されるウェブサイト上で作成された画面として遠隔操作画面70を作成し、各操作端末4に対応する遠隔操作画面70を当該操作端末4のみにアクセス可能にするとよい。
【0099】
具体的には、画像閲覧制御部46は、自動走行清掃を実行する各自律走行作業装置2に対して紐付けられている1台以上の操作端末4のそれぞれに対して遠隔操作画面70を作成するために、当該1台以上の操作端末4のそれぞれが管理サーバ3にログインしたときの利用者の個人登録情報をサーバ側記憶部41から読み出す。画像閲覧制御部46は、読み出した各個人登録情報の個人識別情報に対応する閲覧設定をサーバ側記憶部41から読み出し、閲覧設定の画像閲覧設定に基づいて各利用者に閲覧する表示種別(撮影データ)を選択する。画像閲覧制御部46は、各利用者について選択した表示種別の撮影データを表示する遠隔操作画面70を作成し、当該利用者に対応する操作端末4に対して閲覧表示させる。なお、画像閲覧制御部46は、操作端末4に表示させる遠隔操作画面70において、撮影データについては常時表示させなくともよい。例えば、撮影データは、管理サーバ3がエラー通知を受信したタイミングで表示させる構成でもよく、あるいは、自動走行清掃後に、各利用者の遠隔操作画面70への指示入力に応じて、装置側記憶部21に記憶されている撮影データを読み出して表示させる構成でもよい。
【0100】
画像閲覧制御部46は、操作端末4に表示させる遠隔操作画面70において、
図12~
図20に示すように、当該操作端末4でログインした利用者を示すログイン名71と、当該操作端末4に紐付けられた自律走行作業装置2を示す装置名72とを表示する。また、画像閲覧制御部46は、遠隔操作画面70において、各利用者について選択した撮影データを表示する画像表示エリア73と、当該撮影データを撮影する第1撮影部15や第2撮影部16の撮影操作を行うためのカメラ操作欄74とを表示する。画像閲覧制御部46は、カメラ操作欄74において、第1撮影部15や第2撮影部16のズームを操作するズームボタン75および第1撮影部15や第2撮影部16の撮影方向を操作する撮影方向ボタン76を操作可能に表示する。なお、第1撮影部15や第2撮影部16として広角カメラで撮像した撮影データを画像表示エリア73に表示する場合には、注視したい箇所を画角の中心とした画像として表示させてもよいし、更に拡大して表示させてもよい。
【0101】
なお、画像閲覧制御部46は、遠隔操作画面70において、走行部11の走行操作を行うための走行操作欄(図示せず)を表示して、走行操作欄において、走行部11の走行速度や、走行部11の前進、停止、右旋回または左旋回などの遠隔操作を可能にしてもよい。また、画像閲覧制御部46は、遠隔操作画面70において、清掃部12の清掃作業操作を行うための清掃操作欄(図示せず)を表示して、清掃操作欄において、清掃部12の清掃部材24の稼働/停止やパッド圧、清掃部12の洗浄液供給部25の稼働/停止や供給水量、清掃部12の吸引部26の稼働/停止や吸引量などの遠隔操作を可能にしてもよい。
【0102】
画像閲覧制御部46は、画像閲覧設定から「カメラ1」の表示種別が選択されている場合(例えば、走行のみを担当する操作者や警備員の画像閲覧設定で優先表示の「カメラ1」が選択されている場合)には、
図12に示すように、第1撮影データ60のみを画像表示エリア73に単一表示する。画像閲覧制御部46は、画像閲覧設定から「カメラ2」の表示種別が選択されている場合(例えば、清掃のみを担当する操作者の画像閲覧設定で、優先表示の「カメラ2」が選択されている場合)には、
図13に示すように、第2撮影データ61のみを画像表示エリア73に単一表示する。画像閲覧制御部46は、画像閲覧設定から「カメラ1/カメラ2」の表示種別が選択されている場合(例えば、走行および清掃の両方を担当する操作者や管理者の画像閲覧設定で、優先表示の「カメラ1/カメラ2」が選択されている場合)には、
図14に示すように、第1撮影データ60および第2撮影データ61を画像表示エリア73に並列表示する。
【0103】
撮影データの並列表示は、一方の撮影データを大きく表示し、その他の撮影データを小さく表示してもよい。例えば、第1撮影データ60を大きくウィンドウ表示し、第2撮影データ61を第1撮影データ60の範囲内または範囲外に小さくウィンドウ表示するとよい。なお、何れの撮影データを大きく表示するかについては、予め閲覧設定に設定しておくとよい。あるいは、撮影データの並列表示は、初期段階では、同サイズで表示していて、一方の撮影データの選択操作に応じて一方の撮影データを大きく表示してその他の撮影データを小さく表示するように切り換えてもよい。
【0104】
更に、画像閲覧制御部46は、自律走行作業装置2からエラー通知を受信すると、操作端末4でログインした利用者の利用者種別に基づいて、画像閲覧設定から選択されている表示種別に拘わらず、画像表示エリア73に表示する撮影データを変更する。例えば、自律走行作業装置2が環境地図に存在しない未知の障害物を進行方向に検出した場合には、自律走行作業装置2は、未知の障害物を回避できず走行不能となり得る警告を示す通知や、走行不能を示すエラー通知を管理サーバ3へと送信することになり、このとき、画像閲覧制御部46は、
図15に示すように、未知の障害物を撮影した第1撮影データ60を画像表示エリア73に表示することになる。画像閲覧制御部46は、利用者種別が管理者または警備員である場合には、画像表示エリア73に表示する撮影データを変更しないが、利用者種別が操作者である場合には、
図14に示す管理者の遠隔操作画面70と同様に、第1撮影データ60および第2撮影データ61を画像表示エリア73に並列表示する。なお、自律走行作業装置2が未知の障害物の周囲を走行するとき、
図16に示すように、未知の障害物は第1撮影データ60に撮影されずに、第2撮影データ61に撮影されたりし、また、自律走行作業装置2が未知の障害物の周囲を通過した後、
図17に示すように、未知の障害物は第1撮影データ60にも第2撮影データ61にも撮影されなくなる。
【0105】
あるいは、画像閲覧制御部46は、利用者種別だけでなく、エラー通知の内容にも基づいて、画像表示エリア73に表示する撮影データを変更してもよい。例えば、画像閲覧制御部46は、利用者種別が走行のみを担当する操作者の場合に、エラー通知が事前に設定された障害物との所定の距離(安全距離)を保ったまま障害物を回避できず走行不能に起因する場合には、そのまま第1撮影データ60のみを画像表示エリア73に単一表示してよいが、エラー通知が作業不能に起因する場合には、第1撮影データ60および第2撮影データ61を画像表示エリア73に並列表示するように変更する。また、画像閲覧制御部46は、利用者種別が清掃のみを担当する操作者の場合に、エラー通知が作業不能に起因する場合には、そのまま第2撮影データ61のみを画像表示エリア73に単一表示してよいが、エラー通知が走行不能に起因する場合には、第1撮影データ60および第2撮影データ61を画像表示エリア73に並列表示するように変更する。
【0106】
エラー通知を受信した場合の撮影データの並列表示は、エラー通知前に大きく表示した撮影データとは異なる撮影データを大きく表示するとよい。例えば、エラー通知前に、第1撮影データ60を大きく表示して、第2撮影データ61を小さく表示していた場合に、エラー通知を受信したとき、第1撮影データ60を小さく表示して、第2撮影データ61を大きく表示するとよい。あるいは、エラー通知を受信した場合の撮影データの並列表示は、エラーが走行に起因する場合には、第1撮影データ60を大きく表示し、エラーが清掃作業に起因する場合には、第2撮影データ61を大きく表示するようにしてもよい。
【0107】
また、画像閲覧制御部46は、エラー通知が作業不能に起因する場合には、清掃部12(例えば、スキージ27)を注視箇所として、注視箇所を中心とした第2撮影データ61を画像表示エリア73に表示するように各部を制御するとよい。例えば、画像閲覧制御部46は、第2撮影データ61に基づいて注視箇所を検出し、その検出結果に基づいて、注視箇所を中心とした画像を第2撮影部16によって撮影するために、注視箇所が第2撮影データ61の画像の中心になるように、第2撮像装置16aの撮影方向を制御するとよい。また、画像閲覧制御部46は、操作端末4による遠隔操作に応じて遠隔操作命令部47が第2撮影部16を制御する場合に、撮影方向を制御した第2撮像装置16aで撮影した第2撮影データ61を画像表示エリア73に表示してもよい。
【0108】
また、画像閲覧制御部46は、エラー通知が走行不能に起因する場合には、走行不能の原因となる未知の障害物を注視箇所として、注視箇所を撮影した撮影データを画像表示エリア73に専用表示するように各部を制御してもよい。
【0109】
例えば、画像閲覧制御部46は、自律走行作業装置2から取得した環境地図と計測部13の計測結果とを取得し、これらに基づいて環境地図における未知の障害物の位置情報を把握する。また、画像閲覧制御部46は、ビジュアルSLAMなどを利用して第1撮影データ60の座標系を取得する。そして、画像閲覧制御部46は、環境地図の特徴点と第1撮影データ60の特徴点とを取得し、それぞれを照合(マッチング)して関連付けることで、環境地図と第1撮影データ60との各座標を対応付ける。画像閲覧制御部46は、このような対応付けに基づいて、環境地図における未知の障害物の、第1撮影データ60における位置情報を把握する。そして、画像閲覧制御部46は、第1撮影データ60における未知の障害物(即ち、注視箇所)の位置情報に基づいて、注視箇所を中心とした画像となるように第1撮影データ60を補正し、若しくは、注視箇所を中心とした画像を第1撮影部15によって撮影するために、注視箇所が第1撮影データ60の画像の中心になるように、第1撮像装置15aの撮影方向を制御するとよい。
【0110】
その他、第1撮像装置15aとして全方位(360°)カメラを用いて、未知の障害物を検知した方向の画角が中心となるように撮影して第1撮影データ60を取得し、画像閲覧制御部46は、このような第1撮影データ60の画像を画像表示エリア73に表示させてもよい。この場合、画像の周囲に歪みが生じているため、利用者が把握しやすいよう歪みを除去する補正を行った概念的な画像として、注視箇所を中心とした画像を表示させてもよい。
【0111】
例えば、画像閲覧制御部46は、
図18に示すように、第1撮影部15によって自律走行作業装置2の前方を通常通りに撮影した第1撮影データ60aと、未知の障害物を注視箇所として画像の中心になるように補正した第1撮影データ60bとを画像表示エリア73に表示してよい。
【0112】
また、画像閲覧制御部46は、自律走行作業装置2が未知の障害物の周囲を走行する場合には、
図19に示すように、第1撮影部15によって自律走行作業装置2の前方を通常通りに撮影した第1撮影データ60と、第2撮影部16によって未知の障害物を注視箇所として画像の中心になるように撮影した第2撮影データ61とを画像表示エリア73に表示してもよい。
【0113】
なお、画像閲覧制御部46は、基本的には第1撮影データ60や第2撮影データ61を遠隔操作画面70に表示するが、走行作業情報処理システム1が清掃エリア(作業エリア)を監視する監視カメラ(図示せず)などの撮影部と連携している場合には、監視カメラによって撮影した画像を第3撮影データとして、当該監視カメラから取得して遠隔操作画面70に表示してもよい。例えば、未知の障害物を注視箇所として撮影した撮影データを画像表示エリア73に専用表示する場合に、画像閲覧制御部46は、未知の障害物を含む領域を監視カメラによって撮影した画像を、当該監視カメラから取得して画像表示エリア73に表示してもよい。
【0114】
例えば、画像閲覧制御部46は、
図20に示すように、第1撮影部15によって自律走行作業装置2の前方を通常通りに撮影した第1撮影データ60と、未知の障害物を含む領域を監視カメラによって撮影した監視データ63(第3撮影データ)とを画像表示エリア73に表示してよい。
【0115】
遠隔操作命令部47は、自律走行作業装置2からエラー通知を受信すると、遠隔操作依頼をサーバ側通信部42によって操作端末4へと送信する。また、遠隔操作命令部47は、遠隔操作をサーバ側通信部42によって操作端末4から受信すると、当該遠隔操作に対応する遠隔操作命令を生成する。
【0116】
例えば、遠隔操作命令部47は、未知の障害物を検出した自律走行作業装置2から、障害物に起因する走行不能を示すエラー通知を受信すると、遠隔操作依頼をサーバ側通信部42によって操作端末4へと送信する。また、遠隔操作命令部47は、遠隔操作をサーバ側通信部42によって操作端末4から受信すると、当該遠隔操作に対応する遠隔操作命令を生成する。具体的には、自律走行作業装置2において第1撮影部15が撮影した第1撮影データ60と計測部13が計測した計測データとに基づいて、自律走行作業装置2の進行方向に障害物を検出した場合であって、遠隔操作が当該障害物の回避指示である場合には、遠隔操作命令部47は、自動走行清掃における所定の安全距離内を走行して当該障害物を回避して走行することを指示する遠隔操作命令を生成する。
【0117】
また、遠隔操作が前進、停止、右旋回または左旋回などの走行指示である場合、遠隔操作命令部47は、当該走行指示の遠隔操作命令を生成し、遠隔操作が走行部11の走行速度などの走行設定指示である場合、遠隔操作命令部47は、当該走行設定指示の遠隔操作命令を生成する。遠隔操作が清掃部12の清掃作業の実行/停止などの作業指示である場合、遠隔操作命令部47は、当該作業指示の遠隔操作命令を生成し、遠隔操作が清掃部材24の清掃の稼働/停止およびパッド圧、洗浄液供給部25の洗浄液供給の稼働/停止および供給水量、吸引部26の吸引の稼働/停止および吸引量などの個別設定指示である場合、遠隔操作命令部47は、当該個別設定指示の遠隔操作命令を生成する。
【0118】
遠隔操作が第1撮影部15や第2撮影部16の撮影操作指示である場合、遠隔操作命令部47は、当該撮影操作指示の遠隔操作命令を生成する。例えば、遠隔操作命令部47は、第1撮影部15や第2撮影部16に関して撮影方向の操作やズームインまたはズームアウトの操作を示す撮影操作指示を受け付けて遠隔操作命令を生成する。なお、遠隔操作命令部47は、各利用者の画像閲覧設定に基づいて遠隔操作画面70の画像表示エリア73に第1撮影データ60のみまたは第2撮影データ61のみを単一表示している場合に限り、撮影操作指示を受け付けて遠隔操作命令を生成するとよい。
【0119】
また、遠隔操作命令部47は、上記した遠隔操作に限定されず、自律走行作業装置2の各部に対する様々な遠隔操作を受け付けて、各部を制御するための遠隔操作命令を生成してよい。
【0120】
また、遠隔操作命令部47は、自律走行作業装置2が遠隔操作走行を終了した際に、遠隔操作走行の終了通知をサーバ側通信部42によって自律走行作業装置2から受信すると、遠隔操作走行の終了通知をサーバ側通信部42によって操作端末4へと送信する。
【0121】
次に、操作端末4について説明する。操作端末4は、自律走行作業装置2を利用する操作者や管理者、警備員などの利用者の保有するパーソナルコンピュータやタブレット端末などで構成される。操作端末4は、
図6に示すように、端末側制御部50と、端末側記憶部51と、端末側通信部52と、タッチパネルなどで構成される表示部53とを備える。
【0122】
端末側制御部50は、操作端末4の各部および各種機能を統括制御するものであり、CPUなどのコンピュータで構成され、ROM、RAM、ハードディスク、フラッシュメモリなどを含む端末側記憶部51、端末側通信部52および表示部53に接続されている。
【0123】
また、端末側制御部50は、端末側通信部52を介して外部機器と通信可能に接続される。端末側通信部52は、自律走行作業装置2や管理サーバ3などの外部機器と、Wi-Fiなどの無線LAN通信規格によって無線通信を行う。端末側通信部52は、例えば、遠隔操作を所望する自律走行作業装置2との紐付けを行うために、当該自律走行作業装置2の選択指示を管理サーバ3へと送信する。端末側通信部52は、管理サーバ3で管理されるウェブサイトにアクセスして、操作端末4に紐付けされた自律走行作業装置2を操作するための遠隔操作画面70を取得し、また、当該遠隔操作画面70を用いた遠隔操作を管理サーバ3へと送信する。
【0124】
端末側記憶部51は、操作端末4の各部および各種機能を制御するためのプログラムやデータを記憶し、端末側制御部50が、端末側記憶部51に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各部および各種機能を統括制御する。例えば、端末側制御部50は、端末側記憶部51に記憶されたプログラムを実行することにより、ログイン処理部55、装置選択部56、表示制御部57、操作入力部58として動作する。
【0125】
ログイン処理部55は、操作者や管理者による操作端末4を用いた管理サーバ3へのログイン処理を受け付けるものである。ログイン処理部55は、
図21に示すように、ログイン処理を行うためのログイン画面65を表示部53に表示し、ログイン画面65において、操作者や管理者などの各利用者の個人識別情報(個人コード)やパスワードの入力を受け付ける。ログイン画面65は管理サーバ3で管理されるウェブサイト上で作成された画面で構成されていてよい。個人識別情報やパスワードは、管理サーバ3において管理されている。ログイン処理部55は、入力された個人識別情報やパスワードを含むログイン要求を、端末側通信部52によって管理サーバ3へと送信する。
【0126】
管理サーバ3がログイン要求に基づいて個人識別情報およびパスワードを認証してログイン成功を操作端末4へと送信すると、装置選択部56は、ログイン成功に応じて、遠隔操作を所望する自律走行作業装置2を選択するための装置選択画面(図示せず)を表示部53に表示し、装置選択画面において、自律走行作業装置2の選択を受け付ける。装置選択画面は管理サーバ3で管理されるウェブサイト上で作成される画面で構成されていてよい。装置選択部56は、選択された自律走行作業装置2の選択指示を、端末側通信部52によって管理サーバ3へと送信する。これにより、管理サーバ3によって、自律走行作業装置2と操作端末4とが紐付けされる。
【0127】
表示制御部57は、操作端末4が管理サーバ3にログインして自律走行作業装置2を選択したとき、また、操作端末4と紐付けされた自律走行作業装置2が自動走行清掃を行うときに、
図12~
図20に示すように、自律走行作業装置2を遠隔操作するための遠隔操作画面70を、端末側通信部52によって取得して表示部53に表示する。遠隔操作画面70には、上記したように、操作端末4が選択した自律走行作業装置2の第1撮影部15が撮影した第1撮影データ60や第2撮影部16が撮影した第2撮影データ61が、操作端末4の利用者の閲覧設定に基づいて表示される。
【0128】
また、表示制御部57は、自律走行作業装置2が未知の障害物を検出した際に、管理サーバ3からの遠隔操作依頼を端末側通信部52によって受信すると、遠隔操作画面70において、自律走行作業装置2の遠隔操作の推奨通知を表示する。更に、表示制御部57は、自律走行作業装置2が遠隔操作走行を終了した際に、遠隔操作走行の終了通知を端末側通信部52によって管理サーバ3から受信すると、遠隔操作画面70において、遠隔操作走行の終了通知を表示する。
【0129】
操作入力部58は、遠隔操作画面70などの各種画面での入力操作を受け付けるもので、遠隔操作画面70を用いて入力された遠隔操作を端末側通信部52によって管理サーバ3へと送信する。例えば、自動走行清掃を行っている自律走行作業装置2が走行不能や作業不能のエラーを検出してエラー通知を送信し、管理サーバ3が遠隔操作依頼を操作端末4へと送信した場合に、操作入力部58は、遠隔操作画面70において、エラーを回避するための遠隔操作を受け付け可能にする。
【0130】
操作入力部58が遠隔操作画面70で受け付ける遠隔操作は、遠隔操作画面70の走行操作欄や清掃操作欄での走行部11や清掃部12の操作でよく、これにより、操作入力部58は、未知の障害物の回避操作や清掃の再実行操作などの遠隔操作を受け付ける。操作入力部58は、このような遠隔操作を管理サーバ3を介して自律走行作業装置2へ指示して、未知の障害物を回避して走行したり、汚水の吸引不具合に起因する床面FL上の残水や床面FL上の汚れ残りに対して清掃を再実行したりすることで、エラーを回避する。また、遠隔操作は、遠隔操作画面70のカメラ操作欄74での第1撮影部15や第2撮影部16の操作でよく、これにより、操作入力部58は、エラーの原因の注視箇所を中心に撮影する遠隔操作を受け付けて、このような遠隔操作を管理サーバ3を介して自律走行作業装置2へ指示することで、注視箇所を中心に撮影した撮影データを取得して画像表示エリア73で詳細に表示する。
【0131】
次に、走行作業情報処理システム1において自律走行作業装置2の遠隔操作画面70を操作端末4に表示する動作例を、
図22のフローチャートを参照しながら説明する。
【0132】
先ず、走行作業情報処理システム1では、清掃エリアの自動走行清掃を行うために、清掃業者などの作業者が自律走行作業装置2を清掃エリアの清掃開始位置(スタート位置)に配置する(ステップS1)。
【0133】
操作端末4は、自律走行作業装置2を操作する操作者によって操作されて、管理サーバ3にアクセスしてログイン画面65を表示する(ステップS2)。また、操作端末4では、ログイン画面65において個人識別情報やパスワードを入力してログイン処理を行うと(ステップS3)、入力されたログイン情報が管理サーバ3へと送信され、管理サーバ3は、個人識別情報やパスワードを認証することで、操作端末4のログインを受け付ける(ステップS4)。
【0134】
操作端末4は、管理サーバ3へのログインに成功すると、管理サーバ3にアクセスして装置選択画面(図示せず)を表示する。このとき、管理サーバ3は、ログイン成功に応じて、ログイン画面65から装置選択画面へと切り替えて操作端末4に提示する(閲覧表示させる)。また、操作端末4では、装置選択画面において自律走行作業装置2を選択すると(ステップS5)、自律走行作業装置2の選択要求が管理サーバ3へと送信され、管理サーバ3は、当該操作端末4と、当該自律走行作業装置2とを紐付けて管理する(ステップS6)。
【0135】
操作端末4は、選択要求に対する成功通知を管理サーバ3から受信すると、自律走行作業装置2を遠隔操作するために、遠隔操作画面70に関する画面要求を管理サーバ3へと送信する(ステップS7)。管理サーバ3は、このような画面要求に応じて、遠隔操作画面70の作成に要する撮影データなどの各種データに関するデータ要求を、操作端末4に紐付けられた自律走行作業装置2へと送信する(ステップS8)。なお、操作端末4と自律走行作業装置2は作業前に事前に紐付けが設定されてもよい。
【0136】
自律走行作業装置2は、このようなデータ要求に応じて、第1撮影部15が撮影した第1撮影データ60や第2撮影部16が撮影した第2撮影データ61などの各種データを取得して、管理サーバ3へと送信する(ステップS9)。管理サーバ3は、自律走行作業装置2から受信した第1撮影データ60や第2撮影データ61などの各種データと、操作端末4でログインした利用者の閲覧設定とに基づいて、遠隔操作画面70を作成し(ステップS10)、当該利用者に対応する操作端末4からアクセスできるようにする。
【0137】
このとき、管理サーバ3は、画面要求への応答として、装置選択画面から遠隔操作画面70へと切り替えて操作端末4に提示する(閲覧表示させる)(ステップS11)。なお、管理サーバ3は、操作端末4が自律走行作業装置2を選択している間、当該自律走行作業装置2の遠隔操作画面70を当該操作端末4に提示するようにしてよい。
【0138】
次に、走行作業情報処理システム1における自律走行作業装置2の自動走行清掃の動作例を、
図23~
図25のフローチャートを参照しながら説明する。
図23は、自律走行作業装置2の動作を示し、
図24は、管理サーバ3の動作を示し、
図25は、操作端末4の動作を示す。
【0139】
先ず、自律走行作業装置2は、自動走行清掃を開始すると(
図23のステップS21)、自動走行清掃を実行している間、第1撮影部15が撮影した第1撮影データ60や第2撮影部16が撮影した第2撮影データ61などの各種データを取得して、管理サーバ3へと送信する(
図23のステップS22)。
【0140】
このとき、動作例では
図24(a)のステップAに移行し、管理サーバ3は、自律走行作業装置2から第1撮影データ60や第2撮影データ61を受信すると(
図24(a)のステップS31)、第1撮影データ60や第2撮影データ61と、当該自律走行作業装置2に紐付けられている操作端末4の利用者の閲覧設定とに基づいて、当該操作端末4に対応する遠隔操作画面70を作成する(
図24(a)のステップS32)。なお、遠隔操作画面70では、利用者の閲覧設定に基づいて、自律走行作業装置2の走行状況を撮影した第1撮影データ60や自律走行作業装置2の清掃作業状況を撮影した第2撮影データ61が表示される。管理サーバ3は、作成した遠隔操作画面70を、対応する操作端末4に対してアクセス可能にして閲覧表示させる(
図24(a)のステップS33)。
【0141】
このとき、動作例では
図25のステップBに移行し、操作端末4は、管理サーバ3にアクセスして遠隔操作画面70を閲覧表示する(
図25のステップS41)。これにより、自律走行作業装置2が自動走行清掃を実行している間、操作端末4では、遠隔操作画面70によって、自律走行作業装置2の走行状況を撮影した第1撮影データ60や自律走行作業装置2の清掃作業状況を撮影した第2撮影データ61を確認することができる。
【0142】
ところで、自律走行作業装置2は、自動走行清掃の実行中に、走行不能や作業不能となるエラー(例えば、環境地図に存在しない未知の障害物)を検出しなければ(
図23のステップS23:No)、自動走行清掃を継続し、自動走行清掃を終了すると(
図23のステップS24:Yes)、走行作業情報処理システム1の動作を終了する。一方、自律走行作業装置2は、自動走行清掃の実行中に、走行不能や作業不能となるエラーを検出した場合(
図23のステップS23:Yes)、エラー通知を管理サーバ3へと送信し(
図23のステップS25)、自動走行清掃を停止して待機する(
図23のステップS26)。
【0143】
このとき、動作例では
図24(b)のステップCに移行し、管理サーバ3は、自律走行作業装置2からエラー通知を受信すると(
図24(b)のステップS34)、遠隔操作依頼を操作端末4へと送信する(
図24(b)のステップS35)。また、管理サーバ3は、エラー通知に応じて、操作端末4の利用者の利用者種別に基づいて、遠隔操作画面70に表示する撮影データを変更する。例えば、管理サーバ3は、利用者種別が管理者または警備員である場合には、撮影データを変更しないが、利用者種別が操作者である場合には、第1撮影データ60および第2撮影データ61の両方を並列表示する。
【0144】
また、動作例では
図25のステップDに移行し、操作端末4は、管理サーバ3から遠隔操作依頼を受信すると(
図25のステップS42)、自律走行作業装置2の遠隔操作の推奨通知を表示する(
図25のステップS43)。
【0145】
操作端末4では、遠隔操作画面70において、遠隔操作の推奨通知に対して許可応答が行われると(
図25のステップS44:Yes)、遠隔操作を管理サーバ3へと送信する(
図25のステップS45)。
【0146】
このとき、動作例では
図24(c)のステップEに移行し、管理サーバ3は、操作端末4から遠隔操作を受信すると(
図24(c)のステップS36)、当該遠隔操作に対応する遠隔操作命令を自律走行作業装置2へと送信する(
図24(c)のステップS37)。
【0147】
また、動作例では
図23のステップFに移行し、自律走行作業装置2は、自動走行清掃を停止して待機しているところ、管理サーバ3から遠隔操作命令を受信すると(
図23のステップS27:Yes)、マニュアルの遠隔操作に従ってエラーを回避するように動作し、例えば、障害物を回避して走行する(
図23のステップS28)。
【0148】
操作端末4による遠隔操作を終了すると、自律走行作業装置2は、遠隔操作走行を終了することになる。その後、操作端末4は、自動走行清掃を再開する再開操作が行われると、再開命令を管理サーバ3へと送信し、また、管理サーバ3は、このような再開命令を更に自律走行作業装置2へと送信する。自律走行作業装置2は、再開命令に応じて自動走行清掃を再開して、動作例では
図23のステップS22に移行する。
【0149】
上記のように、本実施形態によれば、走行作業情報処理システム1は、自律的に走行し自動で(清掃)作業する自動走行清掃(自動走行作業)を実行可能な自律走行作業装置2と、複数の利用者がそれぞれ自律走行作業装置2を操作するための複数の操作端末4と、自律走行作業装置2を管理するための管理サーバ3とを備える。自律走行作業装置2は、第1撮影部15や第2撮影部16などの撮影部を備えていて、撮影部で撮影した第1撮影データ60や第2撮影データ61などの撮影データを管理サーバ3へと送信する。複数の操作端末4は、それぞれ、管理サーバ3にログインする際に、遠隔操作する自律走行作業装置2を選択するための選択要求を管理サーバ3へと送信する。管理サーバ3は、ログインした2台以上の操作端末4による一の自律走行作業装置2の選択要求を受け付けて、一の自律走行作業装置2から送信された撮影データを2台以上の操作端末4に閲覧表示させる。
【0150】
このような構成により、走行作業情報処理システム1では、一の自律走行作業装置2で撮影した撮影データを、複数の利用者がそれぞれの操作端末4で確認することができる。そのため、複数の利用者が撮影データを共有することができるので、自律走行作業装置2の遠隔操作機能を活用して自律走行作業装置2を有効利用することができる。
【0151】
また、本実施形態では、走行作業情報処理システム1では、管理サーバ3は、撮影データの閲覧に関する閲覧設定を利用者毎に記憶していて、一の利用者に対応する閲覧設定に従って一の利用者に対応する操作端末4に撮影データを閲覧表示させる。
【0152】
このような構成により、走行作業情報処理システム1では、管理サーバ3は、自律走行作業装置2を利用する役割が利用者毎に異なって、操作者や管理者、警備員などの利用者種別が異なる場合でも、各利用者の役割に応じて適切な撮影データを操作端末4に閲覧表示することができる。例えば、走行担当の操作者には、走行状況を撮影した第1撮影データ60を閲覧表示させ、清掃作業担当の操作者には、清掃作業状況を撮影した第2撮影データ61を閲覧表示させることで、自動走行清掃に問題が生じているか否かを正確に判断することができる。
【0153】
また、本実施形態では、走行作業情報処理システム1では、第1撮影部15や第2撮影部16などの撮影部は、撮影データとして、自律走行作業装置2の走行状況を撮影した第1撮影データ60と自律走行作業装置2の作業状況を撮影した第2撮影データ61とを取得する。自律走行作業装置2は、自動走行作業に関するエラーを検出すると、エラー通知を管理サーバ3へと送信する。管理サーバ3は、自律走行作業装置2からエラー通知を受信していない場合、第1撮影データ60および第2撮影データ61の何れか一方を操作端末4に閲覧表示させ、自律走行作業装置2からエラー通知を受信した場合、第1撮影データ60および第2撮影データ61を並列表示するように操作端末4に閲覧表示させる。
【0154】
具体的には、自律走行作業装置2は、床面FLの清掃作業を行う清掃部12を備え、第2撮影部16は、清掃部12の清掃作業状況を撮影して第2撮影データ61を取得し、自律走行作業装置2は、清掃部12の清掃作業に関するエラーを検出すると、エラー通知を管理サーバ3へと送信する。管理サーバ3は、自律走行作業装置2からエラー通知を受信した場合、清掃作業状況を撮影した第2撮影データ61を一の操作端末4に閲覧表示させて、一の操作端末4による自律走行作業装置2の遠隔操作を受け付ける。
【0155】
あるいは、第1撮影部15は、自律走行作業装置2の走行状況を撮影して第1撮影データ60を取得し、自律走行作業装置2は、当該自律走行作業装置2の走行状況に関するエラーを検出すると、エラー通知を管理サーバ3へと送信する。管理サーバ3は、自律走行作業装置2からエラー通知を受信した場合、走行状況を撮影した第1撮影データ60を一の操作端末4に閲覧表示させて、一の操作端末4による自律走行作業装置2の遠隔操作を受け付ける。
【0156】
これらのような構成により、走行作業情報処理システム1では、操作者が走行状況を撮影した第1撮影データ60と清掃作業状況を撮影した第2撮影データ61とを同時に確認することができるので、遠隔操作でエラーの回避走行を行いながら、清掃作業も正確かつ容易に操作することができ、エラーの回避が正確かつ容易になる。
【0157】
次に、第2の実施形態の走行作業情報処理システム1について説明する。以下、第2の実施形態の説明において、第1の実施形態の走行作業情報処理システム1と同様の構成については、同一の符号を付し、詳細な説明を省略する。
【0158】
第2の実施形態では特に、走行作業情報処理システム1は、自律走行作業装置2の第1撮影部15が走行状況を撮影した第1撮影データ60や第2撮影部16が清掃作業状況を撮影した第2撮影データ61に基づいて清掃作業状況を判定するように構成される。
【0159】
第2の実施形態では、管理サーバ3のサーバ側制御部40は、サーバ側記憶部41に記憶されたプログラムを実行することにより、
図26に示すように、装置端末間紐付部45、画像閲覧制御部46、遠隔操作命令部47に加えて、作業状況判定部48として動作する。作業状況判定部48は、走行状況を撮影した第1撮影データ60や清掃作業状況を撮影した第2撮影データ61に基づいて清掃作業状況を判定するものである。
【0160】
作業状況判定部48は、自律走行作業装置2が自動走行清掃を行っている間に、第1撮影データ60や第2撮影データ61を、自律走行作業装置2からサーバ側通信部42によって受信すると、第1撮影データ60や第2撮影データ61に基づいて、床面FLの清掃作業状況(例えば、清掃後の床面FLの汚れ状況や、洗浄液や汚水の残水など)を判定する。
【0161】
具体的には、作業状況判定部48は、第1撮影データ60や第2撮影データ61から床面FLの床面画像を抽出し、きれいな状態の床面FLを示す基準画像と比較することで、清掃作業状況として床面FLが汚れているか否かを判定する。例えば、作業状況判定部48は、
図27に示すように、第1撮影データ60から床面画像を抽出し、また、床面画像を複数の領域に分割して、各領域の床面画像と基準画像とを比較することで、清掃作業状況として床面FLの各領域が汚れているか否かを判定する。なお、作業状況判定部48は、第2撮影データ61を用いても、同様に、床面FLの各領域が汚れているか否かを判定することができる。基準画像は、自律走行作業装置2が各清掃エリアを初めて清掃するとき、例えば、学習走行清掃を行うときや管理者が床面FLの状態をきれいであると判断したときに、管理サーバ3が、第1撮影部15が撮影した第1撮影データ60や第2撮影部16が撮影した第2撮影データ61から床面画像を抽出することで取得して、管理サーバ3のサーバ側記憶部41に記憶しておくとよい。
【0162】
また、作業状況判定部48は、第2撮影データ61から清掃部12の姿勢画像を抽出し、通常状態の清掃部12の姿勢を示す基準画像と比較することで、清掃作業状況として清掃部12が正常動作しているか否かを判定してもよい。例えば、作業状況判定部48は、
図28や
図29に示すように、第2撮影データ61によって清掃部12(スキージ27)を上方から撮影した姿勢画像を取得し、姿勢画像と基準画像とを比較することで、清掃作業状況として清掃部12(スキージ27)が正常動作しているか否かを判定する。清掃部12のスキージ27は、左右に回動可能になっていて、通常は、正常位置に維持されるが、異物の噛み込みや可動パーツの固着などの異常時に、正常位置から回動した位置に固定されてしまうことがある。なお、
図28では、清掃部12のスキージ27が正常位置に維持されて洗浄液や汚水を正常に収集して正常動作している例を示し、
図29では、清掃部12のスキージ27が正常位置から回動した位置にあるために洗浄液や汚水を収集しきれず正常動作していない(異常動作している)例を示す。基準画像は、自律走行作業装置2が清掃を開始する前に停止した状態で、管理サーバ3が、第2撮影部16が撮影した第2撮影データ61から姿勢画像を取得して、管理サーバ3のサーバ側記憶部41に記憶しておくとよい。
【0163】
あるいは、作業状況判定部48は、第2撮影データ61の解析結果や、清掃部12(スキージ27)に備えた振動計の計測結果、清掃部材24の清掃部材用モータの回転センサや清掃部材24の床面FLへの適正な押し圧力を制御するための清掃部材用モータの電流センサの計測結果、清掃部材24の清掃部材用アクチュエータの位置センサの検知結果、スキージ27の回転センサの検知結果などに基づいて、清掃部12の清掃作業状況を判断してもよい。例えば、作業状況判定部48は、振動計の計測値が所定の異常値以上である場合など、清掃部12(スキージ27)の振動などの異常を検出した場合に、清掃作業状況として清掃部12(スキージ27)が異常動作していると判定してもよい。また、このような清掃部12の異常動作を評価する解析結果や計測結果、検知結果を、画像閲覧制御部46が遠隔操作画面70に表示して操作端末4に閲覧表示させてもよい。
【0164】
また、作業状況判定部48は、例えば、清掃部12(スキージ27)の側方(例えば、側方先端)に備えたカメラなどの撮影部によって、
図30や
図31に示すように、清掃部12(スキージ27)を側方から撮影した撮影データを自律走行作業装置2から取得し、当該撮影データから清掃部12の姿勢画像を取得して、姿勢画像と基準画像とを比較することで、清掃作業状況として清掃部12(スキージ27)が正常動作しているか否かを判定してもよい。当該撮影データは、清掃細部撮影データ(第3撮影データ)として、第1撮影データ60や第2撮影データ61などの他の撮影データと同様に、サーバ側記憶部41に記憶されてもよい。なお、
図30では、清掃部12のスキージ27が正常位置に維持されて洗浄液や汚水を正常に収集して正常動作している例を示し、
図31では、清掃部12のスキージ27が異物を噛み込んで床面FLから浮いた位置にあるために洗浄液や汚水を収集しきれず正常動作していない(異常動作している)例を示す。
【0165】
また、作業状況判定部48は、装置本体10の側面などに備えたカメラなどの撮影部によって、装置本体10の側面の状態(水濡れ、汚れ具合や凸凹などの損傷具合)を撮影した機体撮影データ(第3撮影データ)や、清掃エリアの壁際の隅などの細部の清掃状況を撮影した清掃細部撮影データ(第3撮影データ)を自律走行作業装置2から取得してもよい。そして、作業状況判定部48は、このような清掃細部の清掃作業状況を撮影した第3撮影データに基づいて、清掃部12の清掃作業状況を判断してもよい。
【0166】
また、上記したような機体撮影データや清掃細部撮影データを第3撮影データとして、画像閲覧制御部46が遠隔操作画面70に表示して操作端末4に閲覧表示させるとよい。これにより、操作端末4の利用者は、装置本体10の損傷や清掃エリアの細部の清掃状況を確認することができる。従って、画像閲覧制御部46は、自律走行作業装置2の第1撮影部15が走行状況を撮影した第1撮影データ60と、第2撮影部16が清掃作業状況を撮影した第2撮影データ61と、上記した第3撮影データのうち、少なくとも1つ以上の撮影データを遠隔操作画面70に表示して操作端末4に閲覧表示させることができ、第1の実施形態と同様に、この遠隔操作画面70において自律走行作業装置2の遠隔操作を受け付けることができる。
【0167】
これにより、自律走行作業装置2の利用者は、自律走行作業装置2の様々な状況を撮影した撮影データを操作端末4によって確認することができる。また、撮影データを閲覧表示させるために管理サーバ3を経由するため、自律走行作業装置2や操作端末4に掛かる負荷を軽減することができる。また、自律走行作業装置2の走行状況や作業状況だけでなく、自律走行作業装置2の周辺を俯瞰で視認できる監視カメラの画像や、自律走行作業装置2の清掃部12の細部を視認できる画像を第3撮影データとして取得することができ、利用者は必要に応じて、このような第3撮影データを参照することができる。また、利用者は、第1撮影データ60や第2撮影データ61や第3撮影データを確認しながら、自律走行作業装置2の遠隔操作を行うことができる。
【0168】
この場合、遠隔操作画面70の閲覧設定における画像閲覧設定は、自律走行作業装置2の第1撮影部15が走行状況を撮影した第1撮影データ60と、第2撮影部16が清掃作業状況を撮影した第2撮影データ61とに加えて、上記した第3撮影データも含む。例えば、画像閲覧設定の表示種別には、第1撮影データ60を単一表示する「カメラ1」、第2撮影データ61を単一表示する「カメラ2」、第1撮影データ60および第2撮影データ61を並列表示する「カメラ1/カメラ2」に加えて、第3撮影データを単一表示する「カメラ3」、第1撮影データ60および第3撮影データを並列表示する「カメラ1/カメラ3」、第2撮影データ61および第3撮影データを並列表示する「カメラ2/カメラ3」、第1撮影データ60、第2撮影データ61および第3撮影データを並列表示する「カメラ1/カメラ2/カメラ3」が含まれ、各利用者の画像閲覧設定には、少なくとも1つ以上の表示種別が選択肢として設定される。
【0169】
このような閲覧設定を利用することにより、第1撮影データ60、第2撮影データ61および第3撮影データなどの複数の撮影データを利用可能な場合に、各利用者の役割に応じて適切な撮影データを操作端末4に閲覧表示することができる。
【0170】
また、画像閲覧制御部46は、第1の実施形態と同様に、自律走行作業装置2からエラー通知を受信していない場合、第1撮影データ60と第2撮影データ61と第3撮影データとのうち、何れか1つの撮影データを遠隔操作画面70に表示して操作端末4に閲覧表示させる一方、自律走行作業装置2からエラー通知を受信した場合、第1撮影データ60と第2撮影データ61と第3撮影データとのうち、少なくとも2つ以上のデータを並列表示するように遠隔操作画面70に表示して操作端末4に閲覧表示させることもできる。この場合、エラー通知を受信していない場合の表示種別と、エラー通知を受信した場合の表示種別とを、予め閲覧設定に設定しておくとよい。
【0171】
これにより、自動走行作業に関するエラーが検出された場合に、利用者は、並列に表示された第1撮影データ60や第2撮影データ61や第3撮影データを同時に確認することができる。これにより、利用者は、エラーの状況をより詳細に把握することが可能となる。
【0172】
また、画像閲覧制御部46は、第1の実施形態と同様に、自律走行作業装置2からエラー通知を受信していない場合、第1撮影データ60と第2撮影データ61と第3撮影データとのうち、1つ以上の撮影データを大きく表示して並列表示するように遠隔操作画面70に表示して操作端末4に閲覧表示させる一方、自律走行作業装置2からエラー通知を受信した場合、エラー通知前に大きく表示した撮影データとは異なる撮影データを大きく表示して並列表示するように遠隔操作画面70に表示して操作端末4に閲覧表示させることもできる。この場合、エラー通知を受信していない場合の表示種別および大きく表示する撮影データの種類を、予め閲覧設定に設定しておくとよい。
【0173】
これにより、自動走行作業に関するエラーが検出された場合に、利用者は、大きく表示された撮影データを確認することで、エラーの状況をより詳細に把握することが可能となる。
【0174】
ところで、自律走行作業装置2は、旋回しながら走行するときに、清掃部12のスキージ27が洗浄液や汚水の収集に失敗して残水が発生しやすくなる。そこで、作業状況判定部48は、自律走行作業装置2の旋回走行中に撮影した連続的な複数の第2撮影データ61に基づいて、清掃部12(スキージ27)の連続的な複数の姿勢画像を取得し、複数の姿勢画像とそれぞれ対応する基準画像とを比較することで清掃作業状況として清掃部12(スキージ27)が正常動作しているか否かを判定してもよい。
【0175】
すなわち、作業状況判定部48は、自律走行作業装置2の旋回走行において清掃部12(スキージ27)が正常動作しているか否かを判定する。この場合でも、基準画像は、自律走行作業装置2が清掃エリアを初めて走行するとき、例えば、学習走行清掃を行うときであって、自律走行作業装置2が旋回走行をするときに、管理サーバ3が、第2撮影部16が撮影した連続的な複数の第2撮影データ61からそれぞれ複数の姿勢画像を抽出することで取得して、管理サーバ3のサーバ側記憶部41に記憶しておくとよい。なお、
図32では、自律走行作業装置2の旋回走行において清掃部12のスキージ27が正常動作している例を示し、
図33では、自律走行作業装置2の旋回走行において清掃部12のスキージ27が正常動作していない(異常動作している)例を示す。
図32および
図33において、第2撮影部16が第2撮影データ61を撮影する撮像範囲を一点鎖線で示す。なお、旋回状態に対応する正常なスキージ27の姿勢範囲を予め規定しておくことで、スキージ27の正常動作を判定してもよい。
【0176】
作業状況判定部48は、清掃作業状況を判定して清掃部12(スキージ27)の異常動作を検出すると、清掃作業状況の異常通知をサーバ側通信部42によって操作端末4へと送信する。
【0177】
第2の実施形態では、画像閲覧制御部46は、
図28~
図31に示すように、清掃部12(スキージ27)を上方または側方から撮影した1つの第2撮影データ61を遠隔操作画面70に表示してもよいが、清掃部12(スキージ27)を撮影した2つ以上の第2撮影データ61を遠隔操作画面70に表示することで、清掃部12(スキージ27)を注視箇所として専用表示してもよい。例えば、画像閲覧制御部46は、
図34に示すように、清掃部12(スキージ27)を上方から撮影した第2撮影データ61aと、側方から撮影した第2撮影データ61bとを遠隔操作画面70で左右に並列表示してもよい。また、画像閲覧制御部46は、
図35に示すように、走行状況を撮影した第1撮影データ60を遠隔操作画面70に表示して更に、清掃部12(スキージ27)を上方から撮影した第2撮影データ61aと、側方から撮影した第2撮影データ61bとを遠隔操作画面70で上下に並列表示してもよい。
【0178】
また、2つ以上の第2撮影データ61を含む並列表示は、予め設定された画像閲覧設定の表示種別に従って行われてもよいが、自律走行作業装置2がエラーを検出した場合に、画像閲覧設定に拘わらず行われてもよい。例えば、画像閲覧制御部46は、作業不能に起因するエラー通知を自律走行作業装置2から管理サーバ3が受信した場合に、作業不能の原因となる清掃部12(スキージ27)を注視箇所として、注視箇所を撮影した撮影データを遠隔操作画面70に専用表示することにしてもよい。
【0179】
第2の実施形態では、操作端末4は、清掃作業状況の異常通知を管理サーバ3から端末側通信部52によって受信すると、清掃作業状況の異常を利用者に向けて報知する。例えば、操作端末4は、清掃作業状況の異常を、画面上の文字表記や、警告音や、警告ランプの点灯または点滅によって報知するとよい。
【0180】
上記のように、第2の実施形態によれば、走行作業情報処理システム1では、清掃部12は、洗浄液を用いて床面FLを清掃するように構成され、第2撮影部16は、清掃部12の清掃作業状況を上方から撮影して第2撮影データ61を取得し、管理サーバ3は、清掃作業状況を撮影した第2撮影データ61に基づいて、清掃部12の清掃作業状況を判断して、床面FLに対する洗浄液や汚水の残水を検出する。
【0181】
あるいは、走行作業情報処理システム1では、清掃部12は、洗浄液を用いて床面FLを清掃するように構成され、第2撮影部16は、清掃部12の清掃作業状況を側方から撮影して第2撮影データ61を取得し、管理サーバ3は、清掃作業状況を撮影した第2撮影データ61に基づいて、清掃部12の清掃作業状況を判断して、床面FLに対する洗浄液や汚水の残水を検出する。
【0182】
若しくは、走行作業情報処理システム1では、清掃部12は、洗浄液を用いて床面FLを清掃するように構成され、第2撮影部16は、自律走行作業装置2の旋回走行中に、清掃部12の清掃作業状況を上方から連続的に撮影して第2撮影データ61を取得し、管理サーバ3は、清掃作業状況を撮影した第2撮影データ61に基づいて、清掃部12の清掃作業状況を判断して、床面FLに対する洗浄液や汚水の残水を検出する。
【0183】
このような構成により、走行作業情報処理システム1は、清掃部12の清掃作業状況を適宜撮影して第2撮影データ61を利用することで、清掃部12の異常動作を検出することができるので、床面FLに対する洗浄液や汚水の残水などの清掃作業に関するエラーを正確に判断することができる。
【0184】
なお、上記した実施形態では、各操作端末4の遠隔操作画面70において、当該操作端末4でログインした利用者のみを示すログイン名71を表示する例を説明したが、本発明はこの例に限定されない。他の実施形態では、管理サーバ3において一の自律走行作業装置2に対して複数の操作端末4が紐付けられている場合には、画像閲覧制御部46は、
図36に示すように、各操作端末4の遠隔操作画面70において、同じ自律走行作業装置2に紐付けられた複数の操作端末4の各利用者を示すログイン名71を表示してもよい。このとき、画像閲覧制御部46は、各操作端末4の遠隔操作画面70において、当該操作端末4の利用者のログイン名71を強調表示するとよい。
【0185】
また、上記した実施形態では、自律走行作業装置2は、走行状況を撮影した第1撮影データ60と清掃作業状況を撮影した第2撮影データ61とを取得する例を説明したが、本発明はこの例に限定されない。他の実施形態では、自律走行作業装置2は、走行状況を撮影した第1撮影データ60と清掃作業状況を撮影した第2撮影データ61とに加えて、自律走行作業装置2が走行する清掃エリアを警備エリアとして警備するために、警備エリアを撮影した警備用撮影データを取得するように構成されてもよい。例えば、自律走行作業装置2は、警備エリアを撮影するための警備用撮像装置(図示せず)を備えて警備用撮影データを撮影してもよく、あるいは、警備エリアに向けた警備用カメラアングルで第1撮像装置15aが警備用撮影データを撮影するように第1撮影部15を制御してもよい。
【0186】
この場合、管理サーバ3の画像閲覧制御部46は、個人登録情報の利用者種別が警備員である操作端末4に対して、警備用撮影データを画像表示エリア73に表示するように遠隔操作画面70を作成する。
図36に示すように、画像閲覧制御部46は、操作端末4の遠隔操作画面70に表示された警備用撮影データ上に異常を感じた警備員の画像上での選択操作を受け付け、操作端末4は、選択操作箇所の警備用撮影データでの位置情報を管理サーバ3へと送信する。また、画像閲覧制御部46は、環境地図と計測部13の計測結果とに基づいて環境地図における座標系を把握すると共に、ビジュアルSLAMなどを利用して警備用撮影データの座標系を把握し、環境地図の特徴点と警備用撮影データの特徴点とを照合(マッチング)して関連付けることで、環境地図と警備用撮影データとの各座標を対応付ける。画像閲覧制御部46は、選択操作箇所の警備用撮影データでの位置情報と、上記した対応付けとに基づいて、選択操作箇所の環境地図での位置情報を取得し、この位置情報に基づいて清掃エリアにおける選択操作箇所の位置情報を把握して操作端末4へと送信する。操作端末4は、清掃エリアにおける選択操作箇所の位置情報を、画面上の文字表記などによって警備員に報知する。
【0187】
また、上記した実施形態では、管理サーバ3の装置端末間紐付部45は、操作端末4から、1台の自律走行作業装置2の選択要求を受け付けて、当該1台の自律走行作業装置2と当該操作端末4とを紐付ける例を説明したが、本発明はこの例に限定されない。他の実施形態では、装置端末間紐付部45は、操作端末4から、複数台の自律走行作業装置2の選択要求を受け付けて、当該複数台の自律走行作業装置2と当該操作端末4とを紐付けてもよい。この場合、装置端末間紐付部45は、操作端末4の利用者の個人登録情報の利用者種別が警備員などの場合に、複数台の自律走行作業装置2の選択要求を受け付けるようにしてよい。また、管理サーバ3の画像閲覧制御部46は、複数台の自律走行作業装置2に紐付けられた操作端末4に対して、当該複数台の自律走行作業装置2のうち、1台以上の自律走行作業装置2の撮影データを画像表示エリア73に表示するように遠隔操作画面70を作成するとよい。なお、撮影データを表示する1台以上の自律走行作業装置2については、利用者により操作端末4を用いた任意の操作に応じて選択可能にするとよい。このような構成により、利用者は、複数台の自律走行作業装置2が取得した各撮影データをそれぞれ選択に応じて参照できるので、施設の各清掃エリアにおけるレイアウトの変化や障害物の有無について容易に把握できる。
【0188】
また、上記した実施形態では、管理サーバ3の画像閲覧制御部46が遠隔操作画面70を作成してウェブサイト上の画面として提示し、管理サーバ3にログインした操作端末4に遠隔操作画面70を閲覧表示させる例を説明したが、本発明はこの例に限定されない。他の実施形態では、画像閲覧制御部46は、第1撮影データ60や第2撮影データ61などの撮影データと、各利用者の閲覧設定とを操作端末4へと送信し、操作端末4がこれらに基づいて遠隔操作画面70を作成して表示するように構成されてもよい。
【0189】
また、本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴う走行作業情報処理システムおよび自律走行作業装置もまた本発明の技術思想に含まれる。
【産業上の利用可能性】
【0190】
本発明は、自律的に走行し自動で作業する自動走行作業を実行可能な自律走行作業装置によって、ショッピングモールなどの商業施設の床面の清掃作業や、工場、鉄道ターミナルなどの作業エリアの自動作業を行う、自動床面洗浄・清掃装置やカメラで監視を行う警備装置などの産業用(業務用)作業ロボットを備えた走行作業情報処理システムに好適に利用することができる。
【符号の説明】
【0191】
1 走行作業情報処理システム
2 自律走行作業装置
3 管理サーバ
4 操作端末
11 走行部
12 清掃部(作業部)
13 計測部
15 第1撮影部
20 装置側制御部
22 装置側通信部
34 再現制御部
35 遠隔操作制御部
40 サーバ側制御部
42 サーバ側通信部
45 装置端末間紐付部
46 画像閲覧制御部
47 遠隔操作命令部
48 作業状況判定部
50 端末側制御部
52 端末側通信部
53 表示部
57 表示制御部
58 操作入力部
60 第1撮影データ
61 第2撮影データ
70 遠隔操作画面