IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オムロン株式会社の特許一覧

特許7505520作物の栽培管理のための装置、システム、方法、およびプログラム
<>
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図1
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図2
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図3
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図4
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図5
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図6
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図7
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図8
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図9
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図10
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図11
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図12
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図13
  • 特許-作物の栽培管理のための装置、システム、方法、およびプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-17
(45)【発行日】2024-06-25
(54)【発明の名称】作物の栽培管理のための装置、システム、方法、およびプログラム
(51)【国際特許分類】
   H04Q 9/00 20060101AFI20240618BHJP
   B25J 5/00 20060101ALI20240618BHJP
   B25J 13/08 20060101ALI20240618BHJP
   H04M 11/00 20060101ALI20240618BHJP
【FI】
H04Q9/00 301B
B25J5/00 E
B25J13/08 A
H04M11/00 301
【請求項の数】 16
(21)【出願番号】P 2022085083
(22)【出願日】2022-05-25
(62)【分割の表示】P 2021536593の分割
【原出願日】2019-08-01
(65)【公開番号】P2022126658
(43)【公開日】2022-08-30
【審査請求日】2022-05-26
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】唐子 征久
(72)【発明者】
【氏名】川上 真司
(72)【発明者】
【氏名】徳 隆宏
(72)【発明者】
【氏名】多田 有為
【審査官】谷岡 佳彦
(56)【参考文献】
【文献】特開2007-190659(JP,A)
【文献】米国特許出願公開第2015/0142250(US,A1)
【文献】特開2012-230506(JP,A)
【文献】特開2019-032589(JP,A)
【文献】特開2012-055207(JP,A)
【文献】国際公開第2019/003042(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04Q 9/00
B25J 5/00
B25J 13/08
H04M 11/00
(57)【特許請求の範囲】
【請求項1】
操作者が有する操作端末から接続要求を受け付け、前記操作端末の接続状態を管理する操作端末接続部と、
前記操作端末から、自律的に移動するロボットに対する操作指令を受け付ける受信部と、
前記ロボットから、前記ロボットに備わるカメラにより撮影された画像を含み、作物の栽培に関して前記操作者による判断を仰ぐべき事象が発生しているか否かを判断可能な前記ロボットの状態情報を受け付ける状態受付部と、
前記状態情報に基づいて前記事象が発生していると判断される場合に、接続が確立した操作端末の中から前記事象への対処要求を送信する対象の操作端末を決定する情報制御部と、
前記情報制御部により決定された操作端末に対して、前記画像および前記事象への対処要求を送信する送信部と、
を備え、
前記情報制御部は、前記ロボットに備わるカメラにより撮影された画像に対する画像認識により得られる前記作物の状態への対応が可能なスキルを有する操作者の操作端末を、前記対処要求を送信する対象の操作端末として決定する、
作物の栽培管理のための装置。
【請求項2】
前記状態受付部が受け付けた前記ロボットの状態情報に含まれる前記画像に対して、前記画像認識を行うことで前記作物の状態を判別する画像認識機能部を更に備える、
ことを特徴とする請求項1に記載の装置。
【請求項3】
前記作物の状態は、前記ロボットに備わるカメラにより撮影された画像、および前記ロボットに備わる距離センサにより得られる前記ロボットから前記作物までの距離に基づいて求められる、ことを特徴とする請求項1または2に記載の装置。
【請求項4】
前記情報制御部は前記操作者の操作内容、および/または、前記操作者が前記事象への対処に要した時間に基づき、前記操作者のスキルを評価する、
請求項2または3に記載の装置。
【請求項5】
前記情報制御部は、前記操作者の時間あたりの報酬と前記事象の対処に要した時間とに基づき、前記操作者に支払うべき報酬を計算する、
請求項2から4のいずれか1項に記載の装置。
【請求項6】
前記操作指令を前記ロボットに対して出力する出力部と、
前記ロボットの状態情報と前記操作者からの操作内容とを関連付けて記憶する対応情報記憶部と、
をさらに備え、
前記受信部は、前記事象に対する対処結果を前記操作端末から受信し、
前記対応情報記憶部は、前記対処結果を、前記事象および前記操作者と関連付けて記憶し、
前記情報制御部は、前記対応情報記憶部を参照して前記操作者のスキルを評価する、
請求項2から5のいずれか1項に記載の装置。
【請求項7】
前記ロボットに備わるカメラは、前記ロボットの周囲を撮影するカメラ、および/または、前記ロボットのアームに備えられるカメラである、
請求項1から6のいずれか1項に記載の装置。
【請求項8】
前記操作指令は、前記ロボットを移動させる指令、および前記ロボットのアームを移動させる指令を含む、
請求項1から7のいずれか1項に記載の装置。
【請求項9】
前記操作指令は、前記ロボットに備わるカメラによって撮影された画像、前記ロボットを移動させる指令を入力するための入力部、および前記ロボットのアームを移動させるための指令を入力するための入力部を備えるユーザインタフェースを介して、前記操作端末から入力される、
請求項1から8のいずれか1項に記載の装置。
【請求項10】
前記事象は、作物の収穫に関して判断を仰ぐべき事象である、
請求項1から9のいずれか1項に記載の装置。
【請求項11】
前記事象は、作物の剪定に関して判断を仰ぐべき事象である、
請求項1から9のいずれか1項に記載の装置。
【請求項12】
前記事象は、作物への農薬の散布に関して判断を仰ぐべき事象である、
請求項1から9のいずれか1項に記載の装置。
【請求項13】
ロボットと、
前記ロボットを遠隔操作するための操作端末と、
請求項1から12のいずれか1項に記載された装置と、
を備える作物の栽培管理のためのシステム。
【請求項14】
コンピュータによって実行される方法であって、
操作者が有する操作端末から接続要求を受け付け、前記操作端末の接続状態を管理するステップと、
前記操作端末から、自律的に移動するロボットに対する操作指令を受け付けるステップと、
前記ロボットから、前記ロボットに備わるカメラにより撮影された画像を含む、前記ロボットの状態情報を受け付けるステップと、
前記状態情報に基づいて作物の栽培に関して前記操作者による判断を仰ぐべき事象が発
生していると判断される場合に、接続が確立した操作端末の中から前記事象への対処要求を送信する対象の操作端末を決定するステップと、
前記操作端末を決定するステップにおいて決定された操作端末に対して、前記画像および前記事象への対処要求を送信するステップと、
を含み、
前記操作端末を決定するステップは、前記ロボットに備わるカメラにより撮影された画像に対する画像認識により得られる前記作物の状態への対応が可能なスキルを有する操作者の操作端末を、前記対処要求を送信する操作端末として決定する、
方法。
【請求項15】
コンピュータを請求項1から12のいずれか1項に記載の装置の各手段として機能させるためのプログラム。
【請求項16】
コンピュータに請求項14に記載の方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットに生じた作物の栽培に関して操作者の判断を仰ぐべき事象操作者に割り当てるための技術に関する。
【背景技術】
【0002】
近年の情報技術の進展に伴い、ロボットが周囲の状況を判断して自律的に処理を行えるようになっている。しかしながら、ロボットはあらゆる状況に対応できるようには自動化されていないため、ロボットが対応できないような例外的な状況に陥った場合には、人間がこの例外事象に対処しなければならない。
【0003】
ロボットは遠隔操作可能であることから、遠隔地にいるいずれかの操作者に遠隔操作によって例外事象に対処するよう依頼することが考えられる。このように例外事象に対して遠隔操作によって対応する技術として特許文献1,2が挙げられる。
【0004】
特許文献1は、サーバが、遠隔操作してもらうことを希望するタスクを公開し、遠隔操作者からの入札に応じて当該タスクを依頼する遠隔操作者を決定することを開示する。しかしながら、この手法では、遠隔操作者からの入札がなければタスクが実行されないため、即応性に欠けるという問題がある。
【0005】
特許文献2に開示される自律走行ロボットは、障害物が検出されたときに遠隔操作を促す信号を出力し、遠隔操作によって障害物を回避するように構成される。この自律走行ロボットは、過去に障害物を回避したときの操作情報を記憶しておき、新たに障害物を回避する必要があるときに参照可能に構成される。特許文献2では、自律走行ロボットと遠隔操作者があらかじめ対応づけられていることが想定されている。ロボットと遠隔操作者が1対1に対応させた場合は、多数の遠隔操作者が必要となるという問題がある。また一人の遠隔操作者が複数のロボットに対応づけられる場合は、遠隔操作が必要な事象が複数のロボットに同時に発生したときに対処できないという問題がある。
【先行技術文献】
【特許文献】
【0006】
【文献】国際公開第2008/140011号
【文献】特開2013-206237号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、ロボットにおいて発生した作物の栽培に関して操作者の判断を仰ぐべき事象に対処できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明は以下の構成を採用する。
【0009】
具体的には、本発明の第一態様は、操作者が有する操作端末の接続状態を管理する操作端末接続部と、ロボットから状態情報を受信する状態受付部と、前記状態情報に基づいて前記ロボットに例外事象が発生していると判断される場合に、当該例外事象に対処するための操作者を、利用可能な操作者の中から選択する情報制御部と、前記選択された操作者の操作端末に、前記ロボットの例外事象への対処要求を前記ロボットの状態情報とともに送信する送信部と、を備えるタスク配信装置である。
【0010】
本開示において、ロボットとは、何らかの動作を自律的に実行可能な任意の装置が含まれる。典型的には、ロボットは、センサとアクチュエータを含み、センサから得られる情報に基づいてアクチュエータを自律的に制御するように構成された装置である。ロボットは、自律移動可能なモバイルロボットであってもよいし、自律移動不可能な固定型ロボットであってもよい。
【0011】
ロボットの状態情報とは、少なくとも、ロボットの現在の状態が把握可能な情報であってよい。ロボットの状態情報の例として、ロボットが備えるセンサから得られるセンサ情報、センサ情報に基づいてロボットが解析した解析結果が含まれる。なお、ロボットの状態情報の全てがタスク配信装置に送信される必要はなく、少なくともロボットに例外事象が発生していると判断可能な状態情報が送信されればよい。また、ロボットから状態情報を受信するということは、ロボットから状態情報を受信することと、その他の装置を介して受信することの両方を含む。
【0012】
例外事象とは、ロボットが自動で処理を行えない、または、行うことが適切ではないと判断される事象である。あるいは、例外事象とは、人間による操作または確認が必要な事象と捉えることができる。例外事象は、状態情報に含まれていてもよいし、状態情報からタスク配信装置によって判断されてもよい。
【0013】
操作端末接続部が行う操作端末の接続状態の管理には、複数の操作端末のオンライン状態を確立することと、オンライン状態を監視することが含まれてもよい。なお、オンライン状態というのは、タスク配信装置からの通知に対して操作端末が即座に応答可能な状態を含む。
【0014】
情報制御部は、ロボットに例外事象が発生していると判断される場合に、この例外事象に対処するための操作者を選択する。例外事象が発生しているか否かは、状態情報の内容から判断可能である。ただし、例外事象が発生した場合のみに状態情報がタスク配信装置に通知される実施形態では、情報制御部は、状態情報を受信すれば、その内容を参照することなく、例外事象が発生していると判断可能である。情報制御部は、例えば、オンライン状態である操作端末に関連付けられた操作者を、受信した例外事象に対処するための操作者として選択してもよい。情報制御部は、さらに、他のロボットの例外事象に対処中ではないという条件を満たす操作者を選択するとよい。ただし、対処可能な操作者がいない場合にはこの限りではない。
【0015】
本態様は、上記のような構成を有するので、例外事象に対して迅速に対応可能な操作者を選択できる。言い換えると、ロボットに例外事象が発生したときに、この例外事象に迅速に対応することが可能となる。
【0016】
本態様にかかるタスク配信装置は、操作者のスキルを記憶する操作者情報記憶部をさらに有してもよい。また、情報制御部は、ロボットの種類および例外状態の少なくとも一方に合致するスキルを有する操作者を選択してもよい。
【0017】
このような構成によれば、発生した例外事象に対して適切な操作者を選択することができる。
【0018】
本態様にかかるタスク配信装置は、前記操作端末から前記ロボットに対する操作指令を受信する受信部と、前記操作指令を前記ロボットに対して出力する出力部と、前記ロボットの状態と前記操作者からの操作内容とを関連付けて記憶する対応記憶部と、さらに有してもよい。
【0019】
本態様において、前記受信手段は、前記ロボットの例外事象に対する対処結果を前記操作端末から受信し、前記対応記憶部は、前記対処結果を、前記ロボットの例外事象および前記操作者と関連付けて記憶してもよい。対処結果の内容は特に限定されず、例えば、例外事象が解決したかあるいは解決していないかを表すものであってもよいし、他のオペレータによる現場での確認を求めるものであってもよい。
【0020】
本態様において、前記情報制御部は、前記対応情報記憶部を参照して前記操作者のスキルを評価し、前記操作者情報記憶部を更新してもよい。
【0021】
本態様において、前記操作者情報記憶部は、前記操作者の利用費用を記憶しており、前記情報制御部は、前記対応記憶部を参照して前記操作者の対応履歴に応じて支払うべき報酬を決定してもよい。
【0022】
本態様において、前記情報制御部は、前記ロボットの例外事象を分類し、例外事象の種類に応じた操作者を、前記例外事象に対処するための操作者として選択してもよい。例えば、例外事象の種類ごとに、対応する操作者、あるいは操作者のグループをあらかじめ定めておいてもよい。このようにすれば、同じ種類の例外事象が特定の操作者によって対処されることになるので、これらの操作者は、当該種類の例外事象に対する習熟度が増す。
【0023】
本態様において、前記送信部は、前記操作者からの要求に応じて、前記ロボットが設置されている現場にいる管理者の操作端末に、前記ロボットの状態情報を送信してもよい。このようにすれば、ロボットの作業現場での処理が必要であると操作者が判断した場合に、現場の管理者が確認を行える。
【0024】
本態様において、状態情報には、ロボットに搭載されたカメラによって撮影された画像と、ロボットに備えられたセンサから得られるセンサ情報の解析結果が含まれてもよい。これらの情報を操作者が参照することで、例外事象への対処が容易になる。
【0025】
本発明の第二の態様は、ロボットと、前記ロボットを遠隔操作するための操作端末と、上述のタスク配信装置と、を備えるタスク配信システムである。
【0026】
本態様において、前記操作端末は、前記ロボットの例外事象への対処要求を受信すると、当該状態情報と前記ロボットを操作するためのグラフィカルユーザーインターフェース(GUI)とを表示部に表示するように構成されてもよい。
【0027】
本態様において、ロボットは、固定型ロボットであってもよいし、モバイルロボットであってもよい。モバイルロボットは、移動装置と、センサと、カメラとを有し、自律移動可能なモバイルロボットであってもよい。モバイルロボットの上にアーム型ロボットを搭載したロボットであってもよい。
【0028】
なお、本発明は、上記構成ないし機能の少なくとも一部を有するタスク配信装置またはタスク配信システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、タスク配信方法や、当該方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【0029】
本発明によれば、ロボットにおいて発生した作物の栽培管理に関して操作者の判断を仰ぐべき事象に対処できる。
【図面の簡単な説明】
【0030】
図1図1は、実施形態に係るタスク配信システムの構成例を示す図である。
図2図2は、実施形態においてタスク配信サーバが行う処理を示すフローチャートである。
図3図3は、実施形態においてタスク配信サーバが行う処理を示すフローチャートである。
図4図4は、実施形態において情報制御部が行う処理を説明する図である。
図5図5は、実施例1における操作者情報DBの例を示す図である。
図6図6は、実施例1における対応情報DBの例を示す図である。
図7図7は、実施例1におけるロボットが撮影する画像の例を示す図である。
図8図8は、実施例1におけるロボットが撮影する画像の例を示す図である。
図9図9は、実施例1における例外事象への対処結果を説明する図である。
図10図10は、実施例2に係るロボットの構成例を示す図である。
図11図11A図11Bは、実施例2におけるロボットが撮影する画像の例を示す図である。
図12図12は、実施例2における操作情報DBの例を示す図である。
図13図13は、実施例2における対応情報DBの例を示す図である。
図14図14は、実施例2における操作者端末に表示されるロボットの遠隔操作用のグラフィカルユーザーインターフェースを示す図である。
【発明を実施するための形態】
【0031】
<適用例>
図1は、本発明が適用されたタスク配信システムの構成例を示すブロック図である。タスク配信システムは、タスク配信サーバ(タスク配信装置)1、操作端末2、固定型ロボット3aやモバイルロボット3bのようなロボットを含んで構成される。以下、固定型ロボット3aとモバイルロボット3bを区別する必要がないときは、単にロボット3と称することもある。タスク配信サーバ1と操作端末2は、インターネットのような広域ネットワークを介して接続され、操作者はロボット3の作業位置から離れた遠隔地に所在する。
【0032】
本システムにおいて、タスク配信サーバ1(以下、単にサーバ1とも称する)は、ロボット3に例外事象が発生したときに、この例外事象に対応するための操作者を選択して、選択された操作者に例外事象への対処タスクを配信する。なお、サーバ1は、操作者ごとに、ロボット3の種類あるいは例外事象の種類ごとの対処スキルを情報として保持し、例外事象が発生したロボット3あるいはその例外事象に対処するスキルを有する操作者を選択するように構成されてもよい。
【0033】
操作者は操作端末2を用いて、ロボット3の操作を行って例外事象に対処する。なお、ロボット3に対する操作指示はサーバ1を介してロボット3に送信され、サーバ1は操作内容の履歴を格納可能である。
【0034】
[構成]
サーバ1は、CPU11、メモリ12、ストレージ13、ネットワークインタフェース(不図示)等を備えるコンピュータである。ストレージ13に格納されたプログラムをCPU11がメモリ12にロードして実行することにより、サーバ1は以下の機能を提供する。すなわち、サーバ1は、状態受付部101、情報制御部102、送信部103、操作端末接続部104、受信部105、出力部106、操作者情報DB107、対応情報DB108をその機能部として有する。DBとはデータベースを意味する。
【0035】
状態受付部101は、固定型ロボット3aやモバイルロボット3bから状態情報を受信
する。なお、状態受付部101は、固定型ロボット3aからはロボットコントローラ5aを介して状態情報を受信し、モバイルロボット3bからは無線通信装置6を介して状態情報を受信する。状態情報は、ロボット3に例外事象が発生したときのみロボット3からサーバ1に送信されてもよいし、例外事象の発生有無にかかわらずロボット3からサーバ1に送信されてもよい。
【0036】
情報制御部102は、ロボット3に例外事象が発生した際の当該例外事象に対処する操作者の選択、操作端末からの操作内容(対応履歴)の保存、操作者のスキル評価、操作者への報酬決定などの処理を行う。詳細は以下で説明する。
【0037】
送信部103は、ロボット3の例外事象への対処要求、およびロボット3の状態情報を操作端末2へ送信する。
【0038】
操作端末接続部104は、操作端末2とのあいだの接続の確立を行い、操作端末2のオンライン状態の監視を行う。ここでは、オンライン状態とは、操作端末2がサーバ1と即座に通信を行ってロボット3に操作指令を送信できる状態を意味する。また、オンライン状態とは、サーバ1と操作端末2のあいだの接続状態を意味するだけでなく、操作者が要求に対して即座に対応できることを意味してもよい。したがって、操作端末接続部104は、例えば、操作者による入力を表す情報を操作端末2から受信せず、操作者が即座に対応可能であるか不明な場合に、問い合わせを行ってもよい。なお、オンライン状態は、操作端末2へのプッシュ通知により接続を確立するものであってもよい。また、操作端末接続部104は、操作端末2のオンライン状態だけでなく、操作端末2がいずれかのロボット3の例外状態に対処中であるか否か、言い換えると、新たにロボット3の例外事象に対応可能であるか否かも管理する。操作端末2の状態に関する情報は、例えば、メモリ12に格納される。
【0039】
受信部105は、操作者が操作端末2に入力してサーバ1に送信した情報を受信する。操作端末2から送信される情報には、ロボット3に対する操作指令や、例外事象への対処結果が含まれる。ロボット3への操作指令は、出力部106を介してロボット3に送信されるとともに、対応情報DB108に対応履歴として保存される。また、例外事象への対処結果も、対応情報DBに対応履歴として保存される。
【0040】
操作者情報DB107は、操作者に関する情報を記憶する。対応情報DB108は、例外事象に対する対応履歴の内容を記憶する。これらのデータベースについては、図5図6を参照して、以下で説明する。
【0041】
出力部106は、操作端末2から入力されたロボット3の操作指令をロボット3に送信する。なお、固定型ロボット3aへの操作指令はロボットコントローラ5aに送信され、ロボットコントローラ5aがこの操作指令の内容に従ってロボット3aを制御する。モバイルロボット3bへの操作指令は無線通信装置6を介してモバイルロボット3b内のロボットコントローラ5bに送信され、ロボットコントローラ5bがこの操作指令の内容に従ってモバイルロボット3bを制御する。以下、ロボットコントローラ5aとロボットコントローラ5bを区別する必要がないときは、単にコントローラ5と称することもある。
【0042】
操作端末2は、サーバ1と通信可能であり、固定型ロボット3aおよびモバイルロボット3bを遠隔操作することが可能な任意のコンピュータである。操作端末2として、デスクトップPC、ラップトップ型PC、タブレット端末、スマートフォン端末が例示できる。操作端末2は、ロボットを遠隔操作するための、専用のティーチングペンダントであってもよい。操作端末2は、ロボット3の種類に応じて異なる種類の操作用GUIをユーザに提供する。このGUIは、操作端末2自身が生成したものであってもよいし、サーバ1
やその他の装置から提供されるものであってもよい。操作者は、操作端末2のGUIを介して、ロボット3の状態情報を把握可能である。この状態情報には、ロボット3のセンサから得られるセンサ情報、当該センサ情報の解析結果、ロボット3が有するカメラによって撮影された画像が含まれる。操作端末2は、処理が必要な状態の情報をサーバ1から受信し、これを画面に表示して、操作者に操作を促す。操作者は、操作端末2のGUIを介して、ロボット3に対する操作指令、およびロボット3に対する操作の結果を、入力・送信可能である。入力情報は、操作端末2からサーバ1の受信部105に送信される。
【0043】
ロボット3は、何らかの動作を自律的に実行可能な装置である。固定型ロボット3aは、アクチュエータとセンサを有しており、センサから得られる情報に従ってアクチュエータを制御することにより、処理を実行する。固定型ロボット3aの制御内容は、ロボットコントローラ5によって決定される。固定型ロボット3aの例として、FA用ロボット、NC工作機械、成形機、プレス機、飼育動植物への自動給餌装置、栽培植物への自動潅水施肥装置が挙げられるが、これらの例に限定はされない。
【0044】
モバイルロボット3bは、アクチュエータとセンサに加えて、移動装置、ロボットコントローラ5bを搭載しており、自律的に移動可能であり、移動先で何らかの動作を実行する装置である。モバイルロボット3bの例として、運搬ロボット、掃除ロボット、給仕ロボット、警備ロボット、アーム型ロボットと組み合わせたロボットなどが挙げられるが、これらの例に限定されない。
【0045】
固定型ロボット3a、モバイルロボット3bのいずれも、センサとしてカメラ(撮像手段)を有することも好ましい。カメラは、可視光カメラ、赤外カメラ、3次元カメラなど任意のカメラであってよい。
【0046】
ロボットコントローラ5は、ロボット3のセンサから得られる情報に基づいて、あらかじめ定義されたプログラムに従ってロボット3を制御する。なお、ロボットコントローラ5は、オンライン学習により、制御内容を動的に変更可能に構成されてもよい。
【0047】
ロボットコントローラ5は、ロボット3において自動で処理を行えない、または、自動で処理を行うことが適切ではない事象が発生しているかを判断可能に構成される。このような事象を、本開示では、例外事象と称する。例外事象の例として、ロボットコントローラ5からロボット3へ送信する操作指示とロボット3から返信される操作結果とが不一致であり、ロボット3が操作指示通りに動作していない事象が挙げられる。また、例外事象の例として、人間による確認が必要な事象の発生が挙げられる。このような事象として、ロボット3の異常な温度上昇や、異音の発生、操作対象物の異常が挙げられる。
【0048】
[データベース]
操作者情報DB107は、操作者に関する情報を記憶する。例えば、図5に示すように、操作者情報DB107は、操作者ID501、操作端末情報502、スキル情報503、時給504、および作業時間履歴505が格納される。これらは例示に過ぎず、操作者情報DB107はこれら全ての情報を記憶しなくてもよいし、その他の情報を記憶してもよい。
【0049】
操作者ID501は、操作者をシステム内で一意に特定するための識別子である。操作者は、この操作者IDと不図示のパスワードを用いてシステムにログインし、オンライン状態を保つ。操作端末情報502は、オンライン状態を保つ操作端末2に関する情報であり、サーバ1から操作端末2を特定して接続するために必要な情報、例えば、IPアドレスや、MACアドレスを含む。操作端末情報502は、PCやスマートフォン端末のような操作端末2自体の特性を示す情報、操作端末に接続された特殊なユーザインタフェース
(UI)の情報を含み、これらの情報はタスクのマッチングに用いられる。特殊UIは、例えば、エンドエフェクタの指の部分を操作するために手に装着するセンサなどである。
【0050】
スキル情報503は、スキル保有情報503a、スキル評価503bを含む。図に示す、スキル1、スキル2、・・・スキルNは、タスク配信システムに接続されたロボット3に関するスキルであり、これらをまとめてスキル情報503と呼ぶ。操作者がスキルNに対して操作できるスキルを持っていれば、スキル保有情報503aにはYESが登録され、そうでなければNOが登録されている。また、操作者がスキルNを有している場合、その評価がスキル評価503bとして登録される。スキル評価503bは、スキルNに対する経験回数、応答の速さ、システム内の評価者(管理者)による評価などにより値が決められる。例えば、1から10の値を設定でき、10が最高ランクとして設定できる。また、操作者の例外事象への対応結果に基づいて、サーバ1が操作者のスキル評価自動的に更新してもよい。
【0051】
時給504は、操作者が有するスキル等に設定される時間あたりの報酬である。雇用者の立場からは、時給504は操作者の利用費用を表す。ここでは、時給の単位をポイントとしているが、これは操作者の居住地域の最低賃金(あるいはその他の賃金レベル)に合わせて報酬計算をできるようにするためである。作業時間履歴505は、操作者が働いた時間の累計を記録する。作業時間履歴505は、日ごと、週ごと、月ごとなどで操作者が働いた時間を集計でき、報酬計算に利用できる。
【0052】
対応情報DB108は、例外事象に対する対応履歴の内容を記憶する。対応情報DB108には、例外事象ごとに、ロボット3の状態と操作者からの操作内容とが関連付けて記憶される。例えば、図6に示すように、対応情報DB108は、例外事象の発生時刻601、例外事象が発生したロボットID602、状態情報603、操作情報604、操作結果605、操作者ID606、対応時間607が格納される。これらは例示に過ぎず、操作者情報DB107はこれら全ての情報を記憶しなくてもよいし、その他の情報を記憶してもよい。
【0053】
例外事象の発生時刻601は、ロボット3に例外事象が発生し、ロボットコントローラ5からサーバ1(状態受付部101)が例外事象の状態情報を受け付けた時間を表す。ロボットID602は、例外事象が発生したロボット3をシステム内で一意に特定するための識別子である。
【0054】
状態情報603は、ロボット3から送られてくる例外状態およびステータスなどの情報である。操作情報604は、送られてきた状態情報を元に、操作者が例外状態を通常状態に戻すために、ロボット3に与える操作を指示する情報である。状態情報603および操作情報604については、実施例の説明の際に詳しく説明する。
【0055】
操作結果605は、操作情報によってロボット3が操作された結果を記録するための情報である。操作者ID606は、例外事象に対処した操作者を一意に特定するための識別子である。対応時間607は、例外状態を通常状態に戻すために要した時間を表す。通常状態に戻せなかった場合には、遠隔操作だけでは解決不可能であると操作者が判断するまでの時間を表す。
【0056】
[処理]
図2図3は、タスク配信システムにおいてサーバ1が行う処理を示したフローチャートである。
【0057】
ステップS101において、サーバ1の受信部105が操作端末2から接続要求を受け
付けると、ステップS102において、操作端末接続部104が操作端末2の接続管理、すなわち、接続の確立とオンライン状態の監視を行う。また、操作端末接続部104は、操作端末2がいずれかのロボット3の例外事象に対処中であるか否かも管理する。操作端末接続部104による接続管理は、ステップS102以降も操作端末2が接続を切断するまで継続する。
【0058】
ステップS103において、状態受付部101は、ロボット3(固定型ロボット3aまたはモバイルロボット3b)から状態情報を受信する。ここでは、ロボット3からサーバ1への状態情報の送信は例外事象が発生したときのみに行うことを想定しているので、状態情報を受信した場合にはロボット3に例外事象が発生していると自動的に判断できる。ただし、ロボット3は例外事象の有無にかかわらず状態情報をサーバ1に送信するように構成されてもよく、この場合は、情報制御部102が状態情報を参照してロボット3に例外事象が発生しているか判断して、例外事象が発生していると判断される場合にステップS104以降の処理を実行するようにしてもよい。
【0059】
ステップS104において、情報制御部102は、例外事象への対処タスクと操作者とのマッチング、すなわち、例外事象に対処する操作者の選択を行う。具体的には、情報制御部102は、利用可能な操作者の中から、操作者のスキルと例外事象とを考慮して、対処タスクを割り当てる操作者を選択する。図4に示すように、情報制御部102は、状態受付部101が受け取った状態情報に含まれるロボット3の種類(タイプ)および状態(不具合の状態)と、操作者情報DB107に含まれる情報を比較して、適切な操作者を抽出する。タスクがマッチングされる(割り当てられる)操作者の条件として、まず、オンライン状態であることが挙げられる。他の条件として、例外事象が発生しているロボット種類に対する対処スキル、または例外事象の種類に対する対処スキルが、要求される水準であるという条件も挙げられる。また、他のタスクを実行中でないという条件も採用するとよい。ただし、例外事象に対処可能な操作者の全てが他のタスクを実行中である場合には、他のタスクを実行中の操作者がマッチングされてもよい。さらに、操作者に対する報酬を考慮してマッチングする操作者が決定されてもよい。例えば、情報制御部102は、スキルが要求水準以上であるという条件を満たし、かつ、スキルと報酬に基づいて決定されるスコアが最も高い操作者を、マッチングする操作者として決定してもよい。ここで、スコアは、必要なスキルが高いほど高く、報酬が低いほど高く決定することが想定される。
【0060】
なお、情報制御部102は、ロボットの例外事象をいくつかの種類に分類し、例外事象の種類に応じて特定の操作者に各例外事象を割り当てるようにしてもよい。ここで、例外事象に応じた特定の操作者は典型的には複数の操作者である、情報制御部102は例外種類に応じた同一グループ内の操作者に例外事象を割り当てることが好ましい。ただし、ある種類の例外事象が特定の一人の操作者に割り当てられることを除外するものではない。
【0061】
ステップS105において、情報制御部102は、ステップS104にて選択された操作者の操作端末2を特定し、特定された操作端末2に対して例外処理への対処要求およびロボット3の状態情報とを送信する。図4に示すように、情報制御部102は、操作者情報DB107を参照して、選択された操作者の操作端末情報を取得する。操作端末情報は、操作端末2と通信を行うための情報であり、例えば、IPアドレスやMACアドレスである。操作端末情報には端末種別情報が含まれていてもよい。情報制御部102は、状態受付部101を介してロボット3から受信した状態情報と、操作端末情報とを、送信情報として送信部103に渡す。送信部103は、操作端末情報によって特定される操作端末2に対して、状態情報およびタスク実行依頼とを送信する。
【0062】
操作端末2は、例外事象への対処タスクおよびロボット3の状態情報を受信すると、こ
のロボット3を操作するためのGUIを表示部に表示する。このGUIでは、ロボット3の状態情報の確認、ロボット3に対する操作情報(操作指令)の入力、対処結果の入力、などが行える。ロボット3に対する操作情報は、ロボット3をリアルタイム制御で遠隔操作するための指令であってもよいし、一連の手順の処理を行わせる指令であってもよい。操作端末2に入力されたロボット3への操作情報は、操作端末2からサーバ1に送信されて、受信部105によって受信される。
【0063】
ステップS106において、受信部105は、操作端末2から情報を受信する。受信部105が受信する受信情報には、操作端末情報および操作情報が含まれる。
【0064】
ステップS107において、情報制御部102は、受信情報から操作情報を抽出し、出力部106から当該操作情報を対象のロボット3に送信する。これにより、ロボット3に対して、操作者が指示した動作を行わせることができる。
【0065】
なお、図2,3のフローチャートでは示していないが、操作端末2からの操作指令等によってロボット3の状態が更新された場合、ロボット3の状態情報がロボット3から直接またはサーバ1を介して操作端末2に送信されてもよい。このようにすれば、操作者はロボット3の最新の状態を把握可能となる。
【0066】
操作者からの操作指令に従ってロボット3が動作をした後、操作者はその操作の結果を評価して、操作端末2に入力してサーバ1に送信する。操作結果の例として、例外事象への対処が完了したか否か、管理者による現場での事後確認が必要か否か、が挙げられる。なお、対処完了には、正常状態に復帰した場合と、対処が不要である(異常ではない)と判断した場合が含まれる。なお、操作者からの操作指令に従ってロボット3が通常の動作に戻った状態情報を状態受付部101が受信することによって、例外事象への対処が完了したとしてもよい。この場合、タスク配信サーバ1が操作結果を操作端末2に送信する。
【0067】
ステップS108において、受信部105が、操作端末2から操作結果を受信する。
【0068】
ステップS109において、情報制御部102は、ロボット3から受信した状態情報と、操作端末2から受信した操作情報および操作結果を関連付けて、対応情報DB108に格納する。これにより、ロボット3がどのような状態の時に、操作者がどのような操作を行ったかを履歴として残せる。また、情報制御部102は、操作者による例外事象への対処タスクの開始から修了までに要した時間を、対応情報DB108に格納してもよい。これにより、操作者の作業時間を把握可能になり、操作者の報酬計算や、操作者のスキル評価に利用できる。なお、作業時間や報酬などの情報は、操作者情報DB107に格納してもよい。
【0069】
ステップS110では、情報制御部102は、例外事象への対処が完了したか否かを判断する。この判断は、操作端末2から送信される操作結果情報に基づいて行えばよい。対処が未完了である場合(S110-NO)には、ステップS105に戻って、操作者からの指示に基づくロボット3の操作を行う。なお、ここでは前回と同一の操作者に対して対処を依頼しているが、ステップS104に戻って対処する操作者の再選択を行ってもよい。この場合、必要に応じて、前回の操作者を候補から除外して、別の操作者を選択するようにしてもよい。また、対処が完了している場合(S110-YES)には、処理はステップS111に進む。
【0070】
ステップS111では、情報制御部102が、対応情報DB108に格納されている対応履歴および結果に基づいて操作者のスキルを評価し、操作者情報DB107に格納されているスキルを更新する。スキルの評価には、例外事象への対処結果、対処の内容、対処
に要した時間などが考慮される。
【0071】
ステップS112では、情報制御部102は、操作者情報DB107に格納されている操作者の時間あたりの報酬と、例外事象の対処に要した時間とに基づいて、操作者に支払うべき報酬額を決定する。
【0072】
なお、ここでは、例外事象への対処を行うたびに、スキル評価(S111)および報酬計算(S112)を行っているが、これらの処理は適当なタイミングで別途行われても構わない。
【0073】
また、上記の例において、ロボット3に例外事象が発生した場合に、操作者がロボット3に対して何らかの操作を行うように説明したが、実際には操作者はロボット3に対する操作を行わなくてもよい。例えば、ロボット3に例外事象が発生した場合であっても、操作者がロボット3の状態を確認して実際には異常が発生していないと確認できる場合もある。このような場合には、操作者は、ロボット3に対する操作指令を送信することなく、対処不要という旨を操作端末2からサーバ1に送信してもよい。
【0074】
[有利な効果]
本実施形態によれば、ロボット3で発生した例外事象を、遠隔地にいる操作者に対処してもらうことができる。ここで、タスク配信サーバ1は、操作端末2との接続管理を行っており、即座に対応可能な操作者を選択してタスク配信をするので、迅速な例外対応が可能である。また、操作者のスキルを考慮して、ロボットの種類や例外事象の種類に応じて適切な操作者を選択してタスク配信するので、適切な例外対応が可能である。
【0075】
操作者を工場等のロボットの作業位置に待機させる必要がなく、操作者は遠隔地から複数の場所のロボットを操作できる。したがって、本システムを導入すれば、ロボットの例外処理に対応する人員を自社工場に待機させる必要がないので、コスト削減が可能である。
【0076】
近年、少子高齢化に起因する労働力不足や地方での雇用不足などの問題が指摘されているが、本実施形態は工場(ロボットの作業場所)と遠隔地の労働力を結びつける社会インフラあるいはプラットフォームを提供するので、これらの問題解消に寄与する。本システムでは、操作者は特定の場所で勤務する必要は無くなり遠隔地から作業を行える。したがって長距離の通勤が困難な人であっても働きやすい環境を提供できるので、高齢者や地方在住者であっても作業が可能である。
【0077】
また、日本の労働力不足解消のために外国人労働やの日本への移民が議論されている。本システムにおける操作者は日本国内に所在する必要がなく外国に所在してもよい。操作端末のインタフェースを外国語にすれば、外国人が外国から操作することもでき、外国人を移民させることなく労働力の輸入が可能となるという効果もある。
【0078】
<実施例1>
ここでは、モバイルロボット3bが小包などを自動運転により配達する配達ロボットである場合を例として、本発明が適用されたタスク配信システムをより具体的に説明する。
【0079】
本実施例における配達ロボットは、移動機構として車輪を採用するモバイルロボットである。ここでは、対向2輪型の配達ロボットを例として説明するが、配達ロボットの移動機構は対向2輪型以外の車輪移動機構や、多脚式や無端軌道式の移動機構であってもよい。配達ロボットは、配送品を安定に収容するための収容部を有する。また、配達ロボットは、位置情報取得センサ、カメラ、LIDAR、ミリ波レーダ、超音波センサ、加速度セ
ンサ等の各種のセンサを有し、これらのセンサから得られるセンサ情報に基づいて、内蔵のロボットコントローラ5が配達ロボットの移動その他の運動を制御する。
【0080】
配達ロボットは、例外事象が発生したときに、状態情報をサーバ1に送信する。また、サーバ1を介して操作端末2から送信される操作指令に基づいて動作可能である。
【0081】
ここでは、配達ロボットが、無人すなわち自動運転での配達途中で、路上の穴に左車輪が落ち、脱輪状態で停止したという異常状態(例外事象)が発生したと仮定する。配達ロボットの周りの状態を把握しないで対処しようとすると、より危険な状態に陥る可能性がある。例えば、穴が配達ロボットよりも大きければ、配達ロボットが穴に落下する危険がある。そこで、配達ロボットは、加速度センサの情報から機体の水平が保たれていないと判断した時点で、例外事象が発生したと判断して、サーバ1に状態情報とともに例外事象の発生を通知する。なお、どの時点で例外事象が発生したと判断するかは、モバイルロボットの制御技術のレベルや要求される安全レベルに応じて変わるものであり、上記の基準はあくまでも一例に過ぎない。
【0082】
状態受付部101が、モバイルロボット3bから状態情報を受け付ける(S103)と、この情報は対応情報DB108に格納される。図6に示されるように、例外事象の発生時刻601、例外事象が発生したロボットID602、および状態情報603がデータベースに格納される。
【0083】
ここでの状態情報603は、位置情報、車体の傾き、車輪の状態、積荷、およびロボット3bに搭載されたカメラかが撮影した画像が含まれる。位置情報は、モバイルロボット3bが搭載するGPS装置(位置情報取得センサ)から得られる位置情報である。車体傾きは、モバイルロボット3bが搭載する傾きセンサ(加速度センサ)から得られる、車体の前後左右の傾きを表す情報である。例えば、4度(絶対値)を越える傾きが発生したときに異常と判断することができる。この例では、左右傾きが-5度(マイナスは左下がりを示す)であり、傾き角度の絶対値が閾値を超えたのでロボット3bは異常状態であると判断している。
【0084】
車輪の状態は停止状態である。これは、ロボット3bが異常を検出したため車輪の駆動を停止したためである。積荷情報は配送元で入力される情報である。操作者は、積荷情報に基づいて、どのような操作をどれだけ行ってよいかを判断できる。例えば、この例に示すように積荷が小包であれば多少乱暴に扱っても問題ないと考えられる。一方、積荷が飲食物であれば慎重に扱う必要があることがわかる。また、積荷が飲食物であり車体傾きが45度など大きい値であれば、異常状態を回復するよりも、配送元に連絡する方が得策であると考えることもできる。モバイルロボット3bのコンテナ内で、飲食物が横転し、配送先に届けられたとしても、意味のない状態になっていると考えられるからである。
【0085】
ロボットカメラからの画像は、モバイルロボット3bの車体に取り付けられたカメラによる画像である(図7参照)。カメラは、少なくとも進行方向前方を撮影するように取り付けられている。ロボットカメラは、車体の周囲に複数取り付けられて、車体周囲の撮影するアラウンドビュー画像を撮影してもよい。あるいは、全方位カメラ(360度カメラ)によって撮影される全方位画像(360度画像)であってもよい。
【0086】
サーバ1の情報制御部102は、配達ロボット(モバイルロボット)3bから送信される状態情報から配達ロボット3bに例外事象が発生していると判断でき、したがって、この例外事象に対処するための操作者を選択するタスクマッチングの処理を行う(ステップS104)。この例での例外事象は、配達ロボット3bに対する不具合であるので、情報制御部102は、オンライン状態であり、かつ他のタスクの処理を行っていない操作者の中から、この例外事象に対処するためのスキルを有する操作者を選択する。
【0087】
オンライン状態かつ他のタスクを処理していない操作者として、図5に示す操作者1と操作者2が存在する場合を考える。ここで、操作者1,2はいずれも、「モバイルロボット、配達、不具合対応」のスキルを有している。情報制御部102は、各操作者の当該スキルの評価や時給を考慮して、操作者を選択する。例えば、この例では、スキル2の評価がより高く、かつ、時給がより安い操作者2が選択される。
【0088】
情報制御部102は、配達ロボット3bに生じた異常事象への対処を求める要求と、配達ロボット3bの状態情報とを、選択した操作者の操作端末に対して送信する(ステップS105)。これらの情報を受信した操作端末2は、配達ロボット3bの状態情報と、配達ロボット3bを操作するためのGUIとを含む画面を表示する。操作端末2は、これらの情報を表示するための表示部と、ロボット3bへの操作指示を入力するためのユーザインタフェースが備えられている。操作情報の入力は、キーボードを介して行われてもよいし、画面へのタッチにより行われてもよい。他のユーザインタフェースの例として、モバイルロボット3bを動かすための簡単な指示(プログラム、コマンド列)を入力するインタフェースがある。
【0089】
操作端末2には、例えば、配達ロボットの状態情報(図6の状態情報603に示す情報)や、配達ロボット3bに搭載されたカメラによって撮影された画像(図7)が表示される。操作者は、これらの情報を元に、まず何らかの対処が必要な異常状態であるか否か、異常状態である場合は遠隔操作により対処が可能であるか否か、遠隔操作により対処が可能である場合にはどのような操作を行うべきか、などを判断する。
【0090】
本例では、図7に示す画像やその他のセンサ情報から、操作者は以下のことを読み取れる。
・風景全体が右下がりとなっているため、モバイルロボット3bは左に傾いている。
・傾きの角度から、左車輪が脱輪している可能性が高い。
・ガードレールに沿った側溝がないことから、不測の穴に脱輪している可能性が高い。
・左右にガードレールがあることから、モバイルロボット3bを操作して動かしても比較的安全な場所である。
・モバイルロボット3bの方向を変えてバックまたは直進させる際に、左右のガードレールに接触しないように操作する必要がある。
・左側のガードレールの方が近いため、脱輪状態から復帰するためには、右後方に1メートル以内でバックすることが安全である。
【0091】
例外事象の発生時に送られる状態情報や画像は千差万別であり、上記の事柄は人間には瞬時に把握できることであるが、コンピュータ(AI等)にとっては困難なことである。操作者は、モバイルロボット3bからの画像や、その他の状態情報に基づいて、配達ロボットの左車輪が穴に落ちたと結論できる。さらに、操作者は、周囲の状況から、モバイルロボット3bの進行方向右後ろに1メートル程度後退しても問題ないと判断し、モバイルロボット3bを動かすことが復旧に必要であると判断できる。このような状況判断やモバイルロボット3bの操作は、モバイルロボット3bにプログラミングされていなければ実行することができない。あらゆる状況に対応可能なプログラミングを事前に行うことは現実的ではなく、千差万別の状況に適切に対処して操作することは、いまだに人間(操作者)に判断させるのが適切である。
【0092】
操作者は、このような判断のもと、モバイルロボット3bに与える操作指令を以下のように決定する。まず、第1ステップとして、右車輪をロックしたまま、左車輪を-0.05m/sで回転させることを指示する。左車輪が穴に落ちている状況なので、操作者は、
穴の外にある右車輪をロックし、そこを軸として左車輪をゆっくりと後退させる動作を指示する。この動作により、落ちた穴の縁に左車輪が掛かり、ゆっくりと左車輪を引き上げることができる。
【0093】
第2ステップとして、車体傾きが0±2度(正常状態)になった時点で、右車輪速度を-0.05m/sに変更するよう指示する。車体の傾きが明らかに正常範囲になった時点で、左車輪が穴から引き揚げられたことを判断できる。その判断の後に、右車輪を左車輪と同じ速度で後退させ、モバイルロボット3bを穴から遠ざけるように動かす。なお、第1ステップの動作を一定時間継続しても車体傾きが正常状態にならない場合には異常終了するように指示してもよい。
【0094】
第3ステップとして、操作者は、10秒後に車輪動作を停止し、ロボット3bの前方カメラで画像を撮影し、かつ、通常状態に戻ったかを自己診断実行を指示する。第2ステップの後退動作を10秒間継続することで、穴に落ちた位置から0.5メートル離れた位置に移動したことになる。この値は周囲の状況に応じて設定するべき値であり、値の決定も人間(操作者)に行わせることが適切である。穴から0.5メートル離れることで、ロボット3bに搭載されたカメラが穴を撮影できると考えられる。
【0095】
第3ステップの操作として自己診断を実行するのは、再確認のためである。車体傾きが正常範囲になっただけでなく、モバイルロボット3bが機能的に問題ないか自己診断させ、通常状態に戻ったのであればそこから配達作業を続行することができる。モバイルロボット3bが自己診断の結果正常であると判断しても、操作者は異常状態が継続していると判断することもあり、このような場合は操作者による判断を優先させてもよい。
【0096】
操作者は、上記の第1から第3ステップからなる操作指令を、操作端末2からサーバ1を介してモバイルロボット3bに送信する(ステップS106,107)。本実施例では、操作者は、上記の第1から第3のステップの指示を一括でモバイルロボット3bに対して送信することを想定する。しかしながら、それぞれのステップの単位で指示を送信してもよいし、より細かい単位で指示を送信してもよい。また、モバイルロボットからの状態情報がリアルタイムで送信される場合には、操作者はリアルタイムでモバイルロボットを遠隔操作しても構わない。
【0097】
モバイルロボット3bは、上記の操作指令に従って動作して、その結果として得られる情報を、サーバ1を介して、または直接に、操作端末2に送信する。モバイルロボット3bは、第1から第3のステップの結果、脱輪状態から復帰し穴から後退して、図8に示すような、穴を撮影した画像を取得できる。
【0098】
本例では、操作者は図8に示す画像から、以下のことを読み取れる。
・風景全体からモバイルロボット3bが水平状態になっている。
・操作情報の指示通り、停止位置から右後方に移動した。
・画像から穴が認識でき、そこに左車輪が脱輪していたために異常状態となっていた。
・以上のことから、モバイルロボット3bは正常状態に復帰した。
【0099】
サーバ1は、道路上に穴があることをGPSの位置情報とともに記録することができる。これにより、図9に示すように道路上の穴の位置901が把握可能となり、今後この道路を走行するモバイルロボット3bが穴の位置901を参考にして走行経路902を決定することで、穴への落下をより確実に回避できるようになる。
【0100】
また、図8に示す画像以外にも、車体傾きが0度であり自己診断の結果が正常であることなどを示す情報が、操作端末2に送信されて表示される。
【0101】
操作者は、モバイルロボット3bから送信される状態情報を参照して、操作の結果を入力してサーバ1に送信する(ステップS108)。本例では、通常状態に復帰した旨を示す操作結果が入力される。サーバ1は、送信された操作結果を、行った操作内容、操作者ID、対応に要した時間とともに対応情報DB108に格納する(ステップS109)。このように、状態情報と操作情報とその結果情報とを関連付けて保存することで、どのような状況においてどのような操作により正常状態に復帰できるのかというノウハウを蓄積することができる。操作結果の情報は、操作者が手動で操作端末2に入力してもよいし、モバイルロボット3bに自己判断させてもよい。
【0102】
なお、1回の操作で通常状態に復帰せずに、通常状態に戻るために試行錯誤を繰り返す場合も想定される。この場合は、再度、操作者からの操作指令の入力が行われる。なお、サーバ1は、同一の操作者に引き続き対処を依頼してもよいが、新たな操作者を選択して別の操作者に異常事象への対処を行わせてもよい。
【0103】
<実施例2>
次に、モバイルロボット3bがトマトの栽培管理を行う農業ロボットである場合を例として、本発明が適用されたタスク配信システムを具体的に説明する。
【0104】
本実施形態におけるモバイルロボット3bは、少なくとも、自律的に移動して圃場やビニールハウス内を巡回可能であり、写真を撮影して転送する機能を有する。モバイルロボット3bは、図10に示すように、移動機構1011とロボットコントローラ1012と位置情報取得装置1013とカメラ1014と電源(不図示)を含む本体(走行部)と、農薬収容部1021と農薬散布部1022と照明部1023とカメラ1024を含むアーム1020を備える。ここでは、1つのアーム1020に画像撮影と農薬散布の機能を持たせているが、異なるアームに対して各機能を持たせてもよい。また、アーム1020は、実の収穫や、葉をかき分けたりつまみ上げたりすることができる。また、モバイルロボット3bは、図示した以外にも、距離センサや加速度センサなどのその他のセンタを備えていてもよい。
【0105】
移動機構1011は、車輪型や無端軌道式などの移動機構である。ロボットコントローラ1012は上述したものと同様である。位置情報取得装置1013は、圃場やビニールハウス内でのロボットの位置を特定するための装置である。位置情報取得装置1013はGPS装置であってもよいし、圃場やビニールハウスまたは株に取り付けられたバーコードやRFIDに読み込む装置であってもよい。カメラ1014は、ロボットの周囲を比較的広い範囲で撮影する。
【0106】
モバイルロボット3bは、農薬収容部1021と農薬散布部1022による農薬散布機能を有し、農薬散布が必要であるロボットが判断するときに自動で農薬を散布可能である。農薬は例えばアームから散布される。害虫がいる場合や病害がある場合には、アームカメラ1024の画像から害虫の種類や病状を判別でき、特定された害虫や病状に対して有効な農薬の種類が特定できる。例えば、ニジュウヤホシテントウがいる場合には、クロチアニジン水溶液が有効であると判断できる。複数の害虫や病状に対応できるように農薬収容部1021は、複数種類の農薬を搭載していてもよい。なお、カメラ1024から得られる画像から異常が発生している可能性があることはわかるが、実際に異常であるか、および異常である場合にどのように対処すべきであるかを、ロボットが自動的に判断するのが難しい場合がある。例えば、葉に変色がある場合、その原因は害虫、カビ、ウイルスなど様々であり、原因によって異なる農薬を使用すべきである。
【0107】
ロボットアーム1020は、前後左右に移動でき、茂った葉の中に挿入することができ
る。ロボットアーム1020の先端にはカメラ1024と照明部1023が搭載されており、アーム1020を回転させることでカメラ1024と照明部1023による撮影および照明の方向を変更可能である。例えば、カメラ1024および照明部1023を上向きとすることで、葉の裏側の撮影可能である(図11A参照)。
【0108】
図11Aは、モバイルロボット3bの本体カメラ1014が撮影した画像1101の例を示す図である。画像1101には、アーム1020を伸ばした状態であり、アーム1020が写っている。図示されるように、トマトの葉表の一部に変色部分1102が認められる。ロボットコントローラ1012は、葉表の変色部分1102の画像だけからでは変色の原因が特定できないと判断し、アーム1020を動作させて葉裏の画像を撮影する必要があると判断したと仮定する。ロボットコントローラ1012は、アームカメラ1024および照明部1023を上向きの状態で、アームを葉裏の位置まで伸ばしてカメラ1024による撮影を実施する。上記一連の動作はあくまでも一例であり、葉に変色部分が認められなくても、株全数に対して検査を行うようにロボット3bを制御してもよい。また、異常がない場合には画像を操作端末に送らなくてもよい。
【0109】
図11Bは、アームカメラ1024によって撮影された葉裏の画像1103を示す図である。画像1103に対して画像処理を施すことで、葉裏にも変色部分1104があり、また、その周囲に複数の同様の大きさの小さい斑点1105があることが認識できる。この画像処理は、ロボットコントローラ1012あるいはロボット3bに組み込まれたその他の処理装置によって行われてもよいし、ロボット3bから画像を送信された外部の装置によって行われてもよい。ロボットコントローラ1012は、この画像処理の結果から、異常が発生している可能性は高いが、どのように対処してよいかは不明であり、したがって操作者(人間)による判断を仰ぐべき事象、すなわち例外事象が発生したと判断する。したがって、ロボットコントローラ1012は、状態情報をサーバ1に送信する。
【0110】
サーバ1の状態受付部101が、モバイルロボット3bから状態情報を受け付ける(S103)と、この情報は対応情報DB108に格納される。図12に、本実施例における対応情報DB108の例を示す。テーブル形式自体は、実施例1(図6)と同様であるため、詳細な説明は省略する。この時点では、例外事象の発生日時1201、例外事象が発生したロボットID1202、および状態情報1203がデータベース108に格納される。
【0111】
本例では、状態情報1203に、位置情報、葉表の状態、葉裏の状態、葉の面積、葉の面積、実の直径、実の色、画像が含まれる。位置情報は、位置情報取得装置1013によって取得された緯度経度情報、ビニールハウス番号、株番号を含む。また、位置情報は高さ情報を含んでおり、この高さ情報はロボット本体1010に搭載されたカメラ1014で撮像される位置、またはアームカメラ1024によって画像が撮影されている場合にはアームカメラ1024またはアーム1020の高さである。アームカメラ1024またはアーム1020の高さは、アーム1020に備えられるエンコーダから取得可能である。高さ情報は、対象とする実または葉の高さを表す。
【0112】
葉表の情報は、画像認識技術による葉表の状態の判別結果を示す。葉表の情報の例として、「正常」「変色部分あり」「虫食い部分あり」「虫あり」などを例示できる。このような画像認識は、ディープラーニングなどの機械学習の手法により実現可能であり、公知であるため詳細な説明は省略する。
【0113】
葉裏の情報は、画像認識技術による葉裏の状態の判別結果を示す。本例では、葉表の状態が「変色部分あり」であったので、モバイルロボット3bは葉裏の画像を撮影し画像認識結果を得ている。葉裏の情報はこの認識結果であり、本例では「変色部分あり」かつ「
虫あり」という認識結果が得られている。なお、葉表の状態が「正常」となった場合は、葉裏の撮影および状態の判断を省略してもよい。また、葉表の状態が「正常」であっても葉裏には異常がある場合もあるので、葉表および葉裏の両方を撮影して状態を確認するようにしてもよい。
【0114】
葉の面積、実の直径、実の色は、本体カメラ1014の撮影画像および距離センサによる対象物(葉または実)までの距離に基づいて計算によって求められる。これらの情報は公知技術を用いて計算することができるので詳細な説明は省略する。
【0115】
ロボット本体に搭載したカメラ1014からの画像およびロボットアームに搭載したカメラ1024からの画像は、それぞれ図11Aおよび図11Bに示したものである。
【0116】
サーバ1の情報制御部102は、モバイルロボット3bから送信される状態情報から例外事象が発生していると判断でき、したがって、この例外事象に対処するための操作者を選択するタスクマッチングの処理を行う(ステップS104)。この例での例外事象は、トマトの病害診断に関するので、情報制御部102は、オンライン状態であり、かつ他のタスクの処理を行っていない操作者の中から、この例外事象に対処するためのスキルを有する操作者を選択する。
【0117】
本実施例における操作者情報DB107の例を図13に示す。操作者情報DB107の内容は実施例1と基本的に同様であるので、重複した説明は省略する。本実施例は農作業への応用であるので、各操作者の農作業に関するスキルが格納される。図10に示す例では、スキル情報の一つとして、「トマトの葉の病気、害虫の点検」が設定されている。このスキルは、トマトに発生する病気および害虫についての知識があり、発見した病気および害虫に対する適切な処置についての知識を意味する。適切な処置とは、病気および害虫に対する有効な農薬の選択または経過観察する判断能力である。他のスキルとして、「トマトの収穫」も設定される。このスキルは、ロボットから送信される画像を見て、収穫してよいか否かの判断、およびアームを遠隔操作して収穫できるスキルである。
【0118】
オンライン状態かつ他のタスクを処理していない操作者として、図13に示す操作者1と操作者2が存在する場合を考える。本例の例外事象はトマトの葉の病気や害虫の点検に関するので、対応できる操作者は操作者1のみである。したがって、サーバ1の情報制御部は、今回の例外事象と操作者1とをマッチングする(ステップS104)。
【0119】
情報制御部102は、例外事象への対処を求める要求と、モバイルロボット3bの状態情報とを、選択した操作者の操作端末に対して送信する(ステップS105)。これらの情報を受信した操作端末2は、配達ロボットの状態情報と、配達ロボットを操作するためのGUIとを含む画面を表示する。
【0120】
図14は、操作端末2に表示されるGUI1400の例を示す。GUI1400には、本体カメラ1014の画像1401、アームカメラ1024の画像1402、画像以外の状態情報1405が含まれる。GUI1400には、また、ロボット本体1010を操作(移動)させるための入力部1403、アーム1020を操作(移動)させるための入力部1404、一連の操作指令を入力するための入力部1406、操作結果を入力するための入力部1407、および入力内容をサーバ1に送信するための送信ボタン1408が含まれる。
【0121】
操作者は、GUI1400を用いてモバイルロボット3bに対する操作指令を入力してサーバ1に送信する。例えば、次のような2ステップの操作指令を入力することが考えられる。第1ステップは、葉の剪定処理である。操作者は、画像1401,1402や状態
情報1405から、葉に虫が付いていることを確認し、その処置として、虫による被害をこれ以上広げないようにするために葉を剪定して密閉箱に収納するよう指示する。なお、密閉箱はロボットが有しており、目標とする葉のロボットアームによる剪定処理および密閉箱への収納処理はロボットが自動で行えることを前提としている。
【0122】
第2のステップは、農薬の散布処理である。操作者は、虫がアブラムシの可能性が高いと判断し、農薬散布の項目に「YES」を入力し、続いて、アブラムシに効果のある農薬アセフェートを選択して入力する。ここでは、ロボットには複数種類の農薬が備えられており、農薬散布処理はロボットが自動で行えることを前提としている。
【0123】
操作者によって入力された操作指令は、サーバ1を介してモバイルロボット3bに送信される(ステップS106,S107)。モバイルロボット3bは、上記の操作指令に従って動作し、その結果として得られる情報を、サーバ1を介して、または直接に、操作端末2に送信する。操作者は、モバイルロボット3bから送信される画像や状態情報に基づいて、葉の剪定処理や農薬散布処理が正常に完了したか判断できる。正常に完了している場合には、操作結果として「処理完了」を入力する。また、操作者による判断は画像に基づくものであるため、判断が誤っている可能性があること、虫や病気がロボットの画像だけでは発見できない場所に広がっている可能性があることなどから、農場で直接確認できる人への連絡事項として、操作者は事後確認を「必要」と入力する。また、操作者は、判断結果として、発生している虫の種類として「アブラムシ」を入力してもよい。これらの操作結果の情報は、操作端末2からサーバ1に送信される(ステップS108)。
【0124】
サーバ1は、送信された操作結果を、操作指令内容、操作者ID、対応に要した時間とともに対応情報DB108に格納する(ステップS109)。この処理により、図12に示すように、対応情報DB108の操作情報1204,操作結果1205,操作者ID1206、対応時間1207が更新される。
【0125】
なお、本実施例では、操作結果として事後確認が必要とされていることから、サーバ1の情報制御部102は、現場(農場)にいる操作者の操作端末2に対して、例外事象の対応情報を送信して、どのような事象が発生し、どのような処置を行ったかを知らせるとともに、事後確認を行うように通知する。これを受けて、現場の操作者は、虫がついていた株を調べて周囲に虫が残っていないかや、モバイルロボット3bが剪定した葉を調べて虫が実際にアブラムシであるかなどを確認する。もし、遠隔操作者による判断が間違っていた場合には、現場操作者は別の処置をしたり、正しい結果をサーバ1に登録したりする。
【0126】
なお、本実施例において、モバイルロボット3bが農場で作業を行うのは夜の時間帯としてもよい。本実施例におけるモバイルロボット3bは、完全にロボット化あるいは自動化がされた農場で用いられることは想定していない。そのため、農作業者とモバイルロボット3bが同じ場所で作業をすることになるが、農作業者とロボットが混在して作業をするよりも、時間帯を分けて作業をする方が効率がよい。このような理由から、モバイルロボット3bによる作業は夜間に行ってもよい。例外事象への対処は夜間に行う必要があるが、遠隔操作者はネットワークでつながっていればどこにいても対応できるため、例えば、例外事象への対処タスクを時差の大きい外国にいる遠隔作業者に割り当てることも好ましい。
【0127】
また、夜の時間帯に農作業ロボットに写真撮影させた場合、ロボット本体またはロボットアームに搭載する照明を使用する。照明条件の変化する昼間ではなく照明条件が一定の夜間に作業を行うことで、同じ条件の画像撮影が可能である。遠隔作業者は同一条件下で作業を行えるため、スキルの習熟速度が向上することが期待できる。
【0128】
<実施例3>
モバイルロボット3bが店舗の商品管理を行うロボットである場合について簡単に説明する。モバイルロボット3bは、商品補充、検品、欠品の確認、値札の確認などの作業を自律的に行う。そのため、モバイルロボット3bには、マニプレータやカメラが搭載される。
【0129】
本実施例で想定される例外事象を例示する。まず、画像から物体認識を高精度で行えない場合が挙げられる。反射率の高い不定形のパッケージの商品や、アルミラミネートされたパッケージ、透過率の高い透明パッケージの商品は、物体認識を高精度に行えないか全く行えない場合がある。したがって、このような場合に、商品の認識を遠隔作業者に依頼することが想定される。
【0130】
次に、例外事象の例として、物体を把持する際のハンドリング位置を決定できない場合が挙げられる。不定形や重量バランスが偏っている商品については、モバイルロボット3bは商品のどの部分を掴んで把持すればよいか判断できない場合がある。このような時に、商品のどの部分を掴めば安定して把持ができるかを教示するよう遠隔作業者に依頼することが想定される。
【0131】
例外事象の別の例として、ハンドリング途中で商品を落とした場合が挙げられる。ロボット3bが品出しの自動作業中に商品を落とした場合、想定外の場所に商品が転がっていったりすると、その商品がどこへ行ったかを探すことは困難である。そこで、遠隔操作者に落とした商品の探索および回収を依頼することが想定される。また、商品を回収できたとして、その商品が傷ついたり凹んだりして売り物としての価値が損なわれている場合もある。この判断をロボット3bが自動的に行うのが困難であるので、遠隔作業者に確認作業を依頼することも想定される。
【0132】
例外事象のさらに別の例として、値札の読み取りを高精度で行えない場合が挙げられる。販売店では、販売日を限定して特定の商品を特価で販売することがあり、特価と通常価格の値札を付け替えることがある。値札を付け替えた場合、ロボット3bに搭載されたカメラで画像撮影し、画像認識によって値札の確認作業を行うことが想定される。値札の状態によっては、ロボットが値札の読み取りを高精度に行えない場合がある。このような場合に、値札の読み取りを遠隔作業者に依頼することが想定される。なお、遠隔操作者は、送られた画像から値札を読み取るだけでなく、照明の反射が起きないような方向から値札の再撮影を行うように指示してもよい。
【0133】
<実施例4>
モバイルロボット3bが掃除ロボットである場合について簡単に説明する。モバイルロボット3bは、移動機構、床の掃除機能、カメラ、無線通信機能を有しており、作業場所の地図データに基づいて自走および床掃除を行う。作業場所は、ビル、駅、空港などの広い場所である。モバイルロボット3bは、また、エレベータのボタンを押すマニプレータを有する。モバイルロボット3bは、また、マイクおよびスピーカを備えており、人間と対話を行う機能も有する。
【0134】
このようなモバイルロボット3bは、地図データで指定された場所を自走し、床の掃除作業を行う。地図データに存在しない障害物を検知した場合には、モバイルロボット3bは自動的に回避する必要がある。
【0135】
本実施例で想定される例外事象を例示する。まず、地図データにない障害物を検知したが、安全な回避方法が不明な場合が挙げられる。このような場合に、画像を操作端末に送って、遠隔操作者に安全な回避を行うように依頼することが想定される。
【0136】
例外事象の他の例として、床の汚れを検知したが、ロボット3bが清掃できるか否かを判断できない場合が挙げられる。このような場合に、操作端末2に画像を送り、ロボットに清掃をさせるか、清掃員を派遣させるかの指示を操作端末に入力するよう遠隔操作者に依頼することが想定される。例えば、ロボット3bは床面に落ちているごみの大きさ、種類などを操作端末に送信する。また、センサにより液体を検出した場合、それ以降の清掃を自動で続けるかどうかも重要である。液体の汚れの場合、ロボット3bの清掃用のブラシもしくは車輪で汚れを拡散する可能性があるからである。したがって、ロボット3bには液体の清掃を行わせずにその他の箇所の清掃を続けさせ、液体の清掃は清掃員に行わせることが望ましいこともある。
【0137】
例外事象の他の例として、移動ができない場合が挙げられる。ビルの掃除の場合、ロボット3bがフロア間を移動することが想定される。ロボット3bはフロア間の移動にエレベータを用い、マニプレータを用いて操作ボタンを押下する。しかしながら、エレベータの操作ボタンは千差万別であり、場合により階の表示がかすれて読みにくい場合もある。このようにロボットがどの操作ボタンを押すべきか自動で判断できない場合は、移動したい場所(フロア)と画像を操作端末に送って、遠隔操作者に判断を依頼することが想定される。
【0138】
例外事象のさらに他の例として、人間とコミュニケーションをとるべき場合が挙げられる。ロボット3bの周囲には人がいる可能性もあり、人がロボットに対して苦情を言っているような場合、人間(操作者)が直接話をした方が好ましい。なお、ロボット3bが人と会話を行うように自動化されている場合であっても、コミュニケーションが円滑に進んでいないとロボット3bが判断した場合に例外事象が発生したと判断してもよい。このような場合は、ロボットが受信した音声を操作端末に送信して、遠隔操作者に対応を依頼することが想定される。人がロボット3bに対して発した音声はロボットのマイクを介して操作端末のスピーカから出力され、遠隔操作者が発した音声は操作端末のマイクを介してロボットのスピーカから出力される。これにより、遠隔操作者と現場の人との会話が実現でき、例えば、苦情に対応できる。
【0139】
<実施例5>
以上の実施例ではモバイルロボット3bに生じた例外事象を遠隔操作者に対処してもらうことを想定していたが、対象のロボットは固定型ロボット3aであってもよい。このような固定型ロボット3aの例として、養殖生簀の管理ロボットが挙げられる。
【0140】
生け簀管理ロボット3aは、水温、気温、日射量などの値をセンシングし、養殖の管理を行う。ロボット3aによる自動処理の実現が困難な作業として、給餌量の決定がある。給餌量は、その日の魚の状態に応じて適量を与えることが必要であり、また環境汚染の問題やコストの問題から単に多くの量を給餌すればよいというわけではない。
【0141】
本実施例の生け簀管理ロボット3aは、餌投入装置、カメラ、無線通信装置、各種センサ(水温、気温、日射量)を備えており、センサによって取得されたデータを無線通信によって送信する。本実施例において、給餌量の決定には操作者(人間)による判断が必要となるため、給餌タイミングは常に例外事象が発生するとみなす。したがって、給餌タイミングでは、生け簀管理ロボット3aによって撮影された画像およびセンサによって取得されたデータが操作端末に送信されて、餌投入装置の制御を遠隔操作者に依頼する。遠隔操作者は、画像を見ながら餌投入装置を制御し、水面での魚の様子、つまり餌への食いつき具合を観察しながら投入する餌の量を調節することできる。
【0142】
なお、生け簀管理ロボット3aではなく、自動運転装置を備え付けられた船に搭載され
た餌投入装置を制御する場合にも同様に有効である。
【0143】
(その他)
上述した各実施形態は、本発明の例示に過ぎない。本発明は上記の具体的な形態に限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
【0144】
(付記1)
操作者が有する操作端末(2)の接続状態を管理する操作端末接続部(104)と、
ロボット(3a,3b)から状態情報を受信する状態受付部(101)と、
前記状態情報に基づいて前記ロボットに例外事象が発生していると判断される場合に、当該例外事象に対処するための操作者を、利用可能な操作者の中から選択する情報制御部(102)と、
前記選択された操作者の操作端末(2)に、前記ロボットの例外事象への対処要求を前記ロボットの状態情報とともに送信する送信部(103)と、
を備える、タスク配信装置(1)。
【0145】
(付記2)
コンピュータによって実行される方法であって、
操作者が有する操作端末(2)の接続状態を管理するステップ(S102)と、
ロボット(3a,3b)から状態情報を受信するステップ(S103)と、
前記状態情報に基づいて前記ロボットに例外事象が発生していると判断される場合に、当該例外事象に対処するための操作者を、利用可能な操作者の中から選択するステップ(S104)と、
前記選択された操作者の操作端末(2)に、前記ロボットの例外事象への対処要求を前記ロボットの状態情報とともに送信するステップ(S105)と、
を含む、方法。
【符号の説明】
【0146】
1:タスク配信サーバ 2:操作端末
3a:固定型ロボット 3b:モバイルロボット
101:状態受付部 102:情報制御部 103:送信部
104:操作端末接続部 105:受信部 106:出力部
107操作者情報DB 108:対応情報DB
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14