(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023008337
(43)【公開日】2023-01-19
(54)【発明の名称】情報処理装置、プログラム、及び情報処理方法
(51)【国際特許分類】
G05D 1/02 20200101AFI20230112BHJP
H04Q 9/00 20060101ALI20230112BHJP
B25J 5/00 20060101ALI20230112BHJP
G05D 1/00 20060101ALI20230112BHJP
【FI】
G05D1/02 H
H04Q9/00 351
B25J5/00 A
G05D1/00 B
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021111827
(22)【出願日】2021-07-05
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】川畑 尚也
【テーマコード(参考)】
3C707
5H301
5K048
【Fターム(参考)】
3C707CS08
3C707JS03
3C707JU12
3C707KS10
3C707KT01
3C707KT04
3C707LW12
3C707WA16
5H301AA01
5H301BB05
5H301BB10
5H301BB14
5H301CC03
5H301CC06
5H301CC10
5H301DD05
5H301DD15
5H301GG07
5H301GG08
5H301GG09
5K048BA41
5K048DB01
5K048DC01
5K048EB02
5K048EB08
5K048EB15
5K048FB15
5K048GA08
5K048HA01
5K048HA02
5K048HA03
5K048HA21
(57)【要約】
【課題】移動体を遠隔運用する遠隔運用システムの運用性をより向上することが可能な、新規かつ改良された情報処理装置、プログラム、及び情報処理方法を提供する。
【解決手段】自律制御、又はオペレータ制御にて動作する移動体に発生した事象に関し、前記移動体の前記自律制御による実行リスクを示す指標を算出する算出部と、前記移動体に発生した前記事象をインシデントとして、前記インシデントの情報と前記算出部により算出された前記指標とを管理するインシデント管理部と、前記算出部により算出された前記指標に基づき、前記移動体を管理するオペレータに対する通知を制御する通知制御部と、前記通知を受けた前記オペレータの操作に応じて、前記移動体の制御を前記自律制御から前記オペレータ制御に切り替える動作制御部と、を備える、情報処理装置。
【選択図】
図2
【特許請求の範囲】
【請求項1】
自律制御、又はオペレータ制御にて動作する移動体に発生した事象に関し、前記移動体の前記自律制御による実行リスクを示す指標を算出する算出部と、
前記移動体に発生した前記事象をインシデントとして、前記インシデントの情報と前記算出部により算出された前記指標とを管理するインシデント管理部と、
前記インシデント管理部で管理されている前記インシデントの情報と前記指標に基づき、前記移動体を管理するオペレータに対する通知を制御する通知制御部と、
前記通知を受けた前記オペレータの操作に応じて、前記移動体の制御を前記自律制御から前記オペレータ制御に切り替える動作制御部と、
を備える、情報処理装置。
【請求項2】
前記算出部は、
自律制御、又はオペレータ制御にて動作する複数の移動体に発生した各事象に関し、前記複数の移動体の各々の自律制御による実行リスクを示す指標を算出し、
前記動作制御部は、
前記通知を受けた前記オペレータの操作により、前記複数の移動体のうちの一の移動体が選択された場合、前記一の移動体の制御を前記自律制御から前記オペレータ制御に切り替える、
請求項1に記載の情報処理装置。
【請求項3】
前記通知制御部は、
前記指標が所定の基準を満たした事象に関する前記通知を制御する、
請求項2に記載の情報処理装置。
【請求項4】
前記通知制御部は、
前記指標が所定の基準を満たした事象に関し、前記指標が高い順に優先的に前記通知を制御する、
請求項3に記載の情報処理装置。
【請求項5】
前記算出部は、
前記事象および前記移動体の動作状況に係る情報に基づき、前記指標を算出する、
請求項1から請求項4までのうちいずれか一項に記載の情報処理装置。
【請求項6】
前記移動体の動作状況に係る情報は、前記移動体が動作する周囲の環境情報、又は前記移動体の特徴情報のうち少なくともいずれか一方を含む、
請求項5に記載の情報処理装置。
【請求項7】
前記算出部は、
前記事象および前記移動体の動作状況に係る情報と、前記指標との組を教師データとした機械学習により得られた算出モデルに基づき、前記指標を算出する、
請求項6に記載の情報処理装置。
【請求項8】
前記指標は、前記事象に関し、前記移動体の自律制御による実行難易度を示す指標、又は前記自律制御による実行失敗における損失度合を示す指標のうち少なくともいずれか一方を含む、
請求項1から請求項7までのうちいずれか一項に記載の情報処理装置。
【請求項9】
コンピュータを、
自律制御、又はオペレータ制御にて動作する移動体に発生した事象に関し、前記移動体の前記自律制御による実行リスクを示す指標を算出する算出機能と、
前記移動体に発生した前記事象をインシデントとして、前記インシデントの情報と前記算出機能により算出された指標とを管理するインシデント管理機能と、
前記インシデント管理機能により管理されている前記インシデントの情報と前記指標に基づき、前記移動体を管理するオペレータに対する通知を制御する通知制御機能と、
前記通知を受けた前記オペレータの操作に応じて、前記移動体の制御を前記自律制御から前記オペレータ制御に切り替える動作制御機能と、
して機能させることを特徴とするプログラム。
【請求項10】
自律制御、又はオペレータ制御にて動作する移動体に発生した事象に関し、前記移動体の前記自律制御による実行リスクを示す指標を算出することと、
前記移動体に発生した前記事象をインシデントとして、前記インシデントの情報と前記算出された実行リスクを示す指標とを管理することと、
管理されている前記インシデントの情報と前記指標に基づき、前記移動体を管理するオペレータに対する通知を制御することと、
前記通知を受けた前記オペレータの操作に応じて、前記移動体の制御を前記自律制御から前記オペレータ制御に切り替えることと、
を含む、コンピュータにより実行される情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム、及び情報処理方法に関する。
【背景技術】
【0002】
近年、ロボット関連技術の進歩に伴い、自律的に作業を行うロボットを運用するシステムの開発が進められている。このようなシステムは、人口減少に伴う人手不足を解消する手段として期待されている。
【0003】
例えば、人工知能(Artificial Intelligence:AI)等の技術や建物内、及び建物間の地図データを用いることで、ロボットを自律的に動作させ、ロボットに建物内、及び建物間を自律的に移動走行させることが可能なシステムや技術が開発されている。
【0004】
一方、現状ではロボットの作業中にロボットが自律的に対処、又は判断することが困難である事象が発生し得る。このような場合、ロボットは、遠隔地のオペレータに操作を依頼する通知を発信する。そして、当該通知を確認したオペレータは、当該通知を発信したロボットを自律的に動作している状態から手動操作可能な状態に切り替える。これにより、ロボットが対処、又は判断することが困難である事象を解決することが可能になり得る。
【0005】
例えば、下記特許文献1では、コミュニケーションロボットが自律制御だけで対応することが困難であると判断した際に、対話相手の音声から作成した条件リストに基づいて、当該対話相手が要求する条件を満たすオペレータの端末に接続し、当該オペレータが遠隔により対話する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1に記載した技術では、複数のロボット(以下、移動体とも称する。)で自律操制御だけで対応することが困難であると判断されると、発生した対応内容(以下、事象とも称する)の困難度合の高低に関わらず、事象が発生した順番でオペレータの端末に接続されるため、オペレータは困難度合が高い事象にすぐに対応できない可能性がある。
【0008】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、移動体を遠隔運用する遠隔運用システムの運用性をより向上することが可能な、新規、且つ改良された情報処理装置、プログラム、及び情報処理方法を提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のある観点によれば、自律制御、又はオペレータ制御にて動作する移動体に発生した事象に関し、前記移動体の前記自律制御による実行リスクを示す指標を算出する算出部と、前記移動体に発生した前記事象をインシデントとして、前記インシデントの情報と前記算出部により算出された前記指標とを管理するインシデント管理部と、前記インシデント管理部で管理されている前記インシデントの情報と前記指標に基づき、前記移動体を管理するオペレータに対する通知を制御する通知制御部と、前記通知を受けた前記オペレータの操作に応じて、前記移動体の制御を前記自律制御から前記オペレータ制御に切り替える動作制御部と、を備える、情報処理装置が提供される。
【0010】
前記算出部は、自律制御、又はオペレータ制御にて動作する複数の移動体に発生した各事象に関し、前記複数の移動体の各々の自律制御による実行リスクを示す指標を算出し、前記動作制御部は、前記通知を受けた前記オペレータの操作により、前記複数の移動体のうちの一の移動体が選択された場合、前記一の移動体の制御を前記自律制御から前記オペレータ制御に切り替えてもよい。
【0011】
前記通知制御部は、前記指標が所定の基準を満たした事象に関する前記通知を制御してもよい。
【0012】
前記通知制御部は、前記指標が所定の基準を満たした事象に関し、前記指標が高い順に優先的に前記通知を制御してもよい。
【0013】
前記算出部は、前記事象および前記移動体の動作状況に係る情報に基づき、前記指標を算出してもよい。
【0014】
前記移動体の動作状況に係る情報は、前記移動体が動作する周囲の環境情報、又は前記移動体の特徴情報のうち少なくともいずれか一方を含んでもよい。
【0015】
前記算出部は、前記事象および前記移動体の動作状況に係る情報と、前記指標との組を教師データとした機械学習により得られた算出モデルに基づき、前記指標を算出してもよい。
【0016】
前記指標は、前記事象に関し、前記移動体の自律制御による実行難易度を示す指標、又は前記自律制御による実行失敗における損失度合を示す指標のうち少なくともいずれか一方を含んでもよい。
【0017】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、自律制御、又はオペレータ制御にて動作する移動体に発生した事象に関し、前記移動体の前記自律制御による実行リスクを示す指標を算出する算出機能と、前記移動体に発生した前記事象をインシデントとして、前記インシデントの情報と前記算出機能により算出された前記指標とを管理するインシデント管理機能と、前記インシデント管理機能により管理されている前記インシデントの情報と前記指標に基づき、前記移動体を管理するオペレータに対する通知を制御する通知制御機能と、前記通知を受けた前記オペレータの操作に応じて、前記移動体の制御を前記自律制御から前記オペレータ制御に切り替える動作制御機能として機能させることを特徴とするプログラムが提供される。
【0018】
また、上記課題を解決するために、本発明の別の観点によれば、自律制御、又はオペレータ制御にて動作する移動体に発生した事象に関し、前記移動体の前記自律制御による実行リスクを示す指標を算出することと、前記移動体に発生した前記事象をインシデントとして、前記インシデントの情報と算出された前記指標とを管理することと、管理されている前記インシデントの情報と前記指標に基づき、前記移動体を管理するオペレータに対する通知を制御することと、前記通知を受けた前記オペレータの操作に応じて、前記移動体の制御を前記自律制御から前記オペレータ制御に切り替えることと、
を含む、コンピュータにより実行される情報処理方法が提供される。
【発明の効果】
【0019】
以上説明したように本発明によれば、オペレータが実行リスクを示す指標を確認してからオペレータ制御で対応する移動体を選択することで、指標が高い事象から対応することができ、移動体を遠隔運用する遠隔運用システムの運用性をより向上することが可能である。
【図面の簡単な説明】
【0020】
【
図1】本実施形態に係る情報処理システム1の概要図である。
【
図2】本実施形態に係る情報処理システム1の機能構成の一例を示すブロック図である。
【
図3】本実施形態に係る情報処理システム1のロボット10の動作処理の一例を示すフローチャート図である。
【
図4】本実施形態に係る情報処理システム1の遠隔操作端末20の動作処理の一例を示すフローチャート図である。
【発明を実施するための形態】
【0021】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0022】
また、本明細書及び図面では、N台のロボットをそれぞれロボット10-1、ロボット10-2、・・・、ロボット10-Nのように区別して表現する場合があるが、各ロボットを特に区別する必要がない場合は単にロボット10と称する。また、M台の遠隔操作端末20-1、20-2、・・・20-M及びM人のオペレータOP-1、OP-2、・・・OP-Mについても同様に、特に区別する必要がない場合は、単に遠隔操作端末20及びオペレータOPと称する。
【0023】
<実施形態>
<<1.情報処理システムの概要>>
まず、
図1を参照して、本実施形態に係る情報処理システムの概要について説明する。
【0024】
図1は、本実施形態に係る情報処理システム1の概要図である。
図1に示すように、本実施形態に係る情報処理システム1は、N台のロボット10―1、10-2、・・・10-Nと、M台の遠隔操作端末20―1、20-2、・・・20-Mと、情報処理サーバ30を有する。
【0025】
N、及びMは、互いに独立して選択された任意の整数である。ただし、ロボット10をより効率的に遠隔制御するためには、Mは、Nよりも小さい整数としてもよい。
【0026】
N台のロボット10-1、10-2、・・・10-Nと、M台の遠隔操作端末20―1、20-2、・・・20-Mと、情報処理サーバ30とは、それぞれネットワーク5を介して相互に接続される。
【0027】
ロボット10は、移動体の一例である。また、ロボット10は、自律的に移動走行することが可能であり、且つ遠隔操作端末20からの制御(遠隔操作とも称する)によっても移動走行することが可能である。さらに、ロボット10は、遠隔操作端末20への通知、及び遠隔操作端末20の要求に応じたデータ送信等を行うことが可能である。
【0028】
ここで、ロボットとは、いわゆる「人造人間」、「人間に類似した動作、又は作業を行う装置」、又は「指示に基づいてコンピュータ制御されることで動作、又は作業を行う装置」などと定義される機械装置である。例えば、ロボットは、「自動制御によるマニピュレーション機能、又は移動機能をもち、各種の作業をプログラムによって実行でき、産業に使用される機械」(JIS B 0134-1998)、「人間にサービスするロボット」(JIS B 0187:2005)、又は「センサ、知能・制御系、駆動系の3つの要素技術を有する、知能化した機械システム」(経済産業省ロボット政策研究会)にて定義される機械装置であってもよい。
【0029】
本実施形態に係る情報処理システム1では、ロボット10は、種々の用途、又は種々のオペレーションに用いられ得る。例えば、ロボット10は、警備対象施設における巡回監視などの警備用途、公共の施設、又は公共の設備の点検などの用途、製造現場(工場内の設備点検、又は製造部品若しくは材料の搬送など)、又は建設現場などの建築部品の搬送、又は施工状態の確認用途、旅客事業分野などの旅客若しくは荷物の搬送、観光地の案内、又は荷物の点検用途、物流事業分野の貨物若しくは貨物車両の点検、又は貨物の搬送用途などで用いられ得る。
【0030】
遠隔操作端末20は、オペレータOPがロボット10を監視及び遠隔操作する際に使用する装置である。例えば、遠隔操作端末20は、パーソナルコンピュータ(Personal Computer:PC)、又はスマートフォンなどの端末と、これら端末に接続される周辺機器とを含む装置である。遠隔操作端末20は、ロボット10の状態に関するデータ出力、オペレータOPの入力操作に基づくロボット10への移動指示、ロボット10からの通知の出力、又はオペレータOPの状態に関する監視等を行うことが可能である。
【0031】
本実施形態に係る情報処理システム1では、遠隔操作端末20は、種々の用途、又は種々のオペレーションに用いられ得る。例えば、遠隔操作端末20は、ロボット10と、ロボット10の周囲の環境と含む画像をオペレータOPに提示することで、オペレータOPにロボット10の周囲の環境を把握させることができる。これにより、遠隔操作端末20は、オペレータOPの入力に基づいて、ロボット10を遠隔操作で移動させることができる。
【0032】
また、遠隔操作端末20が複数台あった場合、一台の遠隔操作端末20に対して一人のオペレータOPが配置されてもよい。例えば、
図1に示すように、遠隔操作端末20-1は、オペレータOP-1に使用され、遠隔操作端末20-2は、オペレータOP-2に使用される。
【0033】
情報処理サーバ30は、情報処理システム1のメインシステムが動作する装置である。例えば、情報処理サーバ30は、N台全てのロボット10-1、10-2、・・・10-Nの各々の動作や状況に係る各種情報を管理し、当該情報を遠隔操作端末20に対して送信する。また、情報処理サーバ30は、M台全ての遠隔操作端末20-1、20-2、・・・20-Mと、当該遠隔操作装置を使用する全てのオペレータOP―1、OP-2、・・・OP-Mの各種情報を管理する。
【0034】
また、情報処理サーバ30は、任意の場所に配置されてもよい。例えば、情報処理サーバ30は、遠隔操作端末20と同じ場所に配置されてもよいし、異なる場所に配置されてもよい。
【0035】
ネットワーク5は、ロボット10と、遠隔操作端末20と、情報処理サーバ30とをそれぞれ接続する通信網である。ネットワーク5は、ロボット10、遠隔操作端末20及び情報処理サーバ30との間で相互にデータを送受信することを可能とする。ネットワーク5は、インターネット、衛星通信網、移動通信網、LAN(Local Area Network)、又はWAN(Wide Area Network)などであってもよい。
【0036】
また、ロボット10、遠隔操作端末20および情報処理サーバ30の各々のネットワーク5との間の通信方式は、同じ通信方式であってもよく、異なる通信方式であってもよい。例えば、ロボット10は、任意の位置でネットワーク5に接続可能なように無線LAN通信を用いてネットワーク5に接続してもよい。一方、遠隔操作端末20及び情報処理サーバ30は、所定の位置に設置してネットワーク5に接続可能なように有線LAN通信を用いてネットワーク5に接続してもよい。ただし、ロボット10とネットワーク5との間の通信方式、及び遠隔操作端末20および情報処理サーバ30とネットワーク5との間の通信方式は、上記に限定されず、他の通信方式であってもよい。
【0037】
情報処理システム1では、ロボット10は、オペレータOPにより割り当てられた作業(以下、タスクとも称する。)に関し、自律制御により実行する。しかしながら、ロボット10には、当該作業に際して、ロボット10自体で解決できる事象、又はロボット10自体で判断することが困難な事象が発生する可能性がある。
【0038】
ロボット10は、ある事象に遭遇した場合、発生した事象に関し、自律制御による実行リスクを示す指標を算出し、発生した事象をインシデントとし、発生したインシデントの内容と実行リスクを示す指標の算出結果を情報処理サーバ30に送信する。なお、ロボット10の自律制御による実行リスクを示す指標は、移動体の実行リスクを示す指標の一例であり、例えば、ロボット10の自律制御による実行難易度を示す指標、又は自律制御による実行失敗における損失度合を示す指標としてもよい。
【0039】
情報処理サーバ30は、ロボット10から送信されたインシデントの内容と実行リスクを示す指標を受信し、インシデントの内容と実行リスクを示す指標を蓄積して管理する。
【0040】
遠隔操作端末20は、情報処理サーバ30に蓄積されているインシデントの内容と実行リスクを示す指標をオペレータOPに通知する。当該指標に係る通知を受けたオペレータOPは、遠隔操作端末20を操作して、遠隔で対応するインシデントを選択する。
【0041】
また、遠隔操作端末20は、オペレータOPの操作でインシデントが選択されると、選択されたインシデントが発生しているロボット10に接続するように情報処理サーバ30に依頼する。
【0042】
情報処理サーバ30は、オペレータOPが選択したインシデントが発生しているロボット10と接続依頼があった遠隔操作端末20とを接続する。
【0043】
遠隔操作端末20は、ロボット10に搭載されているカメラ映像を表示し、オペレータOPは、ロボット10の制御を自律制御からオペレータ制御に切り替えるか判断し、オペレータ制御に切り替える場合は、遠隔操作端末20を介して遠隔操作に切り替え、遠隔操作端末20を介して遠隔操作を行い、ロボット10に発生したインシデントを解消することができる。
【0044】
以下、
図2を参照し、本実施形態に係る情報処理システム1の機能構成例の詳細を説明する。
【0045】
<<2.情報処理システム1の機能構成例>>
図2は、本実施形態に係る情報処理システム1の機能構成例を説明するための説明図である。
図2に示すように、本実施形態に係る情報処理システム1は、N台のロボット10-1、10-2、・・・10-Nと、M台の遠隔操作端末20-1、20-2、・・・20-Mと、情報処理サーバ30を有する。
【0046】
(ロボット10)
ロボット10は、情報処理装置の一例である。ロボット10は、ロボット制御部110と、LAN112と、カメラ部113と、センサ部114と、表示部115と、スピーカ116と、マイク117と、ロボット通信部118と、AI部119と、移動部120と、情報記憶部121と、バッテリー部122を備える。
【0047】
ロボット制御部110は、ロボット10にて取得された種々のデータを処理すると共に、ロボット10の動作全般を制御する。ロボット制御部110は、例えば、ロボット10の動作全般を制御するプログラムを含むソフトウェアと、該ソフトウェアをインストールしたプロセッサ及びメモリを含むハードウェアとによって構成されてもよい。ソフトウェアをインストールしたハードウェアとしては、PC(Personal Computer)、タブレット、マイクロコンピュータ、又はスマートフォンなどの端末を例示することができる。
【0048】
また、ロボット制御部110は、
図2に示すように、タスク管理部123と、事象検知部124と、リスク算出部125を備える。
【0049】
LAN112は、ロボット10内のネットワークである。ロボット制御部110、ロボット通信部118及びAI部119は、LAN112を介してそれぞれ接続され、通信やデータの送受信を行う。
【0050】
カメラ部113は、ロボット10の周囲の環境画像を取得可能な少なくとも1つ以上の撮像装置を含む。カメラ部113は、例えば、ロボット10の全周囲を撮像した環境画像を取得可能な360度カメラを含んでもよい。また、カメラ部113は、ロボット10の各方位に設けられた複数の魚眼カメラを含んでもよい。
【0051】
センサ部114は、ロボット10の周囲の環境の各パラメータをセンシング可能な少なくとも1種以上のセンサを含む。センサ部114は、対応するセンサによって、例えば、温度、湿度、照度、気圧、振動、ロボット10から対象物までの距離、又はロボット10の傾きの変化をセンシングしたセンシング情報を取得してもよい。また、センサ部114は、対応するセンサによって、煙、化学物質、及び静電気等の発生をセンシングしたセンシング情報を取得してもよい。なお、上記における「センシング」とは、ロボット10の周囲の環境の各種パラメータを検知することに加えて、検知したパラメータをさらに計測、判別、及び分析することをも含むものとする。
【0052】
センサ部114が含むセンサの種類は、特に限定されない。センサ部114は、例えば、温度計、湿度計、照度計、気圧計、LiDAR(Light Detection And Ranging)センサ、又は熱画像計測装置(サーモグラフィカメラ)の1種以上を含んでもよい。
【0053】
また、センサ部114は、ロボット通信部118を介して、ロボット10の外部に設けられたセンサ装置からロボット10の周囲の環境に対するセンシング情報を取得してもよい。このような場合、センサ部114は、例えば、920MHz帯マルチホップ無線通信によって、外部のセンサ装置からセンシング情報を取得してもよい。
【0054】
なお、カメラ部113により取得された画像およびセンサ部114により取得されるセンシング情報は、移動体が動作する周囲の環境情報の一例である。
【0055】
表示部115は、ロボット制御部110の制御に応じて、種々の情報を画像等にて出力する。表示部115は、例えば、種々の情報を画像にて出力するディスプレイ、又は種々の情報を発光にて出力するランプ等を含んでもよい。
【0056】
スピーカ116は、ロボット制御部110の制御に応じて、ロボット10の周囲に音声を出力する。例えば、スピーカ116は、ロボット10の動作に応じた効果音、ロボット10の動作に応じた合成音声、又はオペレータOPが入力した音声をロボット10の周囲に出力してもよい。
【0057】
マイク117は、ロボット10の周囲の音声を収音する。例えば、マイク117は、ロボット10の周囲に存在する人の音声、又はロボット10の周囲の環境音を収音してもよい。
【0058】
ロボット通信部118は、ネットワーク5に接続するための通信インターフェースである。例えば、ロボット通信部118は、ネットワーク5、又はネットワーク5に接続可能な基地局に無線又は有線で接続可能な通信インターフェースであってもよい。ただし、ロボット通信部118は、携帯電話通信網、又は無線LANなどのネットワークを介してネットワーク5に接続が可能な通信インターフェースであってもよい。
【0059】
ロボット通信部118は、例えば、タスク管理部123により管理されるインシデントに関する情報等を情報処理サーバ30に送信する。また、ロボット通信部118は、カメラ部113により取得されたロボット10の周囲の環境画像を遠隔操作端末20に送信する。また、ロボット通信部118は、遠隔操作に係る制御情報を遠隔操作端末20から受信する。
【0060】
AI部119は、カメラ部113で撮像したロボット10の周囲の環境画像、及びロボット10の周囲の環境の各パラメータをセンサ部114でセンシングしたセンシング情報に基づいて、ロボット10の周囲の環境を認識し、認識した環境に応じて判断し、且つ決定する。AI部119は、例えば、機械学習アルゴリズムを用いることで、環境画像とセンシング情報とからロボット10の周囲の環境を認識し、認識した環境に応じて判断し、且つ決定してもよい。
【0061】
事象検知部124は、AI部119のロボット10の周囲の環境認識結果をもとに、ロボット10に発生した事象を検知する。例えば、事象検知部124は、AI部119で人物検知を行い、人物が検知された場合、事象が発生したとしてもよいし、AI部119で物体検出を行い、特定の物体が検知された場合、事象が発生したとしてもよい。
【0062】
リスク算出部125は、算出部の一例であり、ロボット10に発生した事象に関し、ロボット10の自律制御による実行リスクを示す指標を算出する。そして、ロボット制御部110は、算出した実行リスクを示す指標が低ければ、ロボット10の自律制御で対応するように制御し、算出した実行リスクを示す指標が高ければ、発生した事象の内容と算出した実行リスクを情報処理サーバ30に送信する。例えば、リスク算出部125は、ロボット10に発生した事象と、ロボット10の動作状況に係る情報と、AI部119による判定結果に基づき、ロボット10の自律制御による実行リスクを示す指標を算出する。
【0063】
また、ロボット10の発生した事象と、ロボット10の動作状況に係る情報と、ロボット10の自律制御による実行リスクを示す指標との関係を含むリストが予め用意されてもよい。この場合、リスク算出部125は、予め用意されたリスト及びロボット10の動作状況に係る情報に基づき、ロボット10の自律制御による実行リスクを示す指標を算出してもよい。ロボット10の動作状況に係る情報は、移動体の動作状況に係る情報の一例であり、例えば、上述したロボット10が動作する周囲の環境情報、又はロボット10の特徴情報のうち少なくともいずれか一方を含む。さらに、AI部119で、ロボット10の発生した事象と、ロボット10の動作状況に係る情報を教師データとする機械学習技術により、リスク算出モデルを生成してもよい。
【0064】
移動部120は、ロボット制御部110による制御に基づいて、ロボット10を任意の位置に移動させることが可能な移動機構である。移動部120は、例えば、車輪式、脚式、無限軌道式、又はエアクッション式などの種々の方式の移動機構であってもよい。また、移動部120は、三次元的な移動が可能な移動機構であってもよい。例えば、移動部120は、回転翼などにより空中を移動可能な移動機構であってもよく、スクリューなどにより水上又は水中を移動可能な移動機構であってもよい。
【0065】
タスク管理部123は、ロボット10が実行するタスクに関する情報を管理する。また、タスク管理部123は、インシデント管理部の一例であり、インシデントの情報と、インシデントに関する自律制御による実行リスクを示す指標を管理してもよい。
【0066】
情報記憶部121は、移動体の特徴情報の一例として、ロボット10の特徴情報を記憶する。ロボット10の特徴情報は、例えば、ロボット10の大きさ、形状、全幅、又は高さ等の外観に関する情報を含む。また、ロボット10の特徴情報は、例えば、ロボット10の移動速度、移動範囲、又は移動可能領域等の移動特性に関する情報を含んでもよい。
【0067】
バッテリー部122は、ロボット10の各部に電力を供給する。バッテリー部122は、例えば、リチウムイオン二次電池などの二次電池を含んで構成されてもよい。
【0068】
(遠隔操作端末20)
遠隔操作端末20は、
図2に示すように、制御部210と、LAN211と、通信部212と、カメラ部213と、センサ部214と、表示部215と、スピーカ216と、マイク217と、操作部218と、電源部219を備える。
【0069】
制御部210は、遠隔操作端末20にて取得された種々のデータを処理すると共に、遠隔操作端末20の動作全般を制御する。制御部210は、例えば、遠隔操作端末20の動作全般を制御するプログラムを含むソフトウェアと、該ソフトウェアをインストールしたプロセッサ及びメモリを含むハードウェアとによって構成されてもよい。ソフトウェアをインストールしたハードウェアとしては、パーソナルコンピュータ(Personal Computer)、タブレット、マイクロコンピュータ、又はスマートフォンなどの端末を例示することができる。
【0070】
制御部210は、
図2に示すように、通知制御部220と、画像生成部221と、動作制御部222を備える。
【0071】
通知制御部220は、全ロボットインシデント管理部313に蓄積されたインシデントの指標に基づき、ロボット10を管理するオペレータOPに対する通知を制御する。
【0072】
通知制御部220のオペレータOPに対する通知方法は、種々の方法を適用することができる。例えば、通知制御部220は、全ロボットインシデント管理部313にインシデントが蓄積されたら、インシデント情報の通知画面を表示部215に表示させてもよいし、通知制御部220は、リスク算出部125により算出された指標が所定の条件を満たした際に、自律制御による実行リスクが高いことを知らせる通知音声をスピーカ216に出力させてもよい。
【0073】
また、通知制御部220は、N台のロボット10-1、10-2、・・・10-Nに発生した各インデントに関し、リスク算出部125により算出された指標が高い順に優先的に通知を制御してもよい。例えば、通知制御部220は、リスク算出部125により算出された指標が高いインシデント及びロボットの順に強調した表示画面を表示部215に表示させてもよい。
【0074】
画像生成部221は、ロボット10が備えるカメラ部113にて取得されたロボット10の周囲の環境画像にロボット10に対応する仮想画像を重畳することで表示画像を生成する。
【0075】
画像生成部221の表示画像を生成方法は、種々の方法を適用することができる。例えば、カメラ部113がロボット10の全周囲を撮像した画像を取得可能な360度カメラを含む場合、画像生成部221は、ロボット10の全周囲を撮像した画像を補正し、補正後の画像から環境画像を生成するようにしてもよいし、カメラ部113がロボット10の各方位に設けられた複数の魚眼カメラを含む場合、画像生成部221は、ロボット10の前後左右に設けられた複数の魚眼カメラにて撮像された画像を切れ目ない全方位の映像に合成することで、ロボット10の周囲の環境(ただし、ロボット10は含まず)を上空から俯瞰する環境画像を生成するようにしてもよい。
【0076】
ここで、上記の環境画像には、カメラ部113自体が設けられたロボット10の画像が含まれない。そのため、画像生成部221は、生成された環境画像内のロボット10に対応する位置にロボット10の仮想画像を重畳することで、ロボット10と、ロボット10の周囲の環境とを同時に視認可能な表示画像を生成することができる。
【0077】
なお、ロボット10の周囲の環境を示す環境画像の生成方法は、上記に限定されない。例えば、ロボット10の周囲の環境を示す環境画像は、ロボット10が存在する空間に設けられた監視カメラにて撮像された画像から生成されてもよいし、ロボット10の前後左右を撮影するように接続されたWebカメラにて撮像された画像から生成されてもよい。
【0078】
動作制御部222は、通知制御部220の制御により通知を受けたオペレータOPの操作に応じて、ロボット10の制御を自律制御からオペレータ制御に切り替える。
【0079】
動作制御部222の遠隔操作の切り替え方法は、種々の方法を適用することができる。例えば、オペレータOPによりインシデントが選択されると、該当インシデントが発生しているロボット10と接続するように情報処理サーバ30に依頼し、ロボット10に接続された状態で、オペレータOPが遠隔操作に切り替える操作をすると、ロボット10の制御を自律制御からオペレータ制御に切り替えるようにしてもよいし、オペレータOPによりインシデントが選択されると、該当インシデントが発生しているロボット10と接続するように情報処理サーバ30に依頼し、ロボット10に接続時に自律制御からオペレータ制御に切り替えるようにしてもよい。
【0080】
なお、オペレータOPによる選択の方法は、例えば、操作部218による操作に基づく方法でもよいし、マイク217による音声認識に基づく方法でもよいし、センサ部214を使用したジェスチャー操作に基づく方法でもよい。
【0081】
LAN211は、ロボット10内のネットワークである。制御部210及び通信部212は、LAN211を介してそれぞれ接続され、通信やデータの送受信を行う。
【0082】
通信部212は、ネットワーク5に接続するための通信インターフェースである。例えば、通信部212は、ネットワーク5、又はネットワーク5に接続可能な基地局に無線、又は有線で接続可能な通信インターフェースであってもよい。ただし、通信部212は、携帯電話通信網、又は無線LANなどのネットワークを介してネットワーク5に接続が可能な通信インターフェースであってもよい。
【0083】
カメラ部213は、遠隔操作端末20の周囲の画像を取得可能な撮像装置を含む。カメラ部213は、例えば、オペレータOP、又はオペレータOPの周囲を撮像する撮像装置を含んでもよい。
【0084】
センサ部214は、遠隔操作端末20の周囲の環境、又はオペレータOPの各パラメータをセンシング可能な少なくとも1種以上のセンサを含む。センサ部214は、対応するセンサによって、例えば、オペレータOPの体温、心拍数、血圧値、又は呼吸数などのバイタルサインをセンシングしたセンシング情報を取得してもよい。なお、センサ部214は、通信部212を介して、遠隔操作端末20の外部に設けられたセンサ装置から遠隔操作端末20の周囲の環境、又はオペレータOPの周囲の環境に対するセンシング情報を取得してもよい。
【0085】
表示部215は、制御部210に含まれる画像生成部221にて生成された環境画像を表示する。表示部215は、例えば、液晶ディスプレイ(Liquid Crystal Display:LCD)装置、OLED(Organic Light Emitting Diode)ディスプレイ装置、又はタッチパネルディスプレイ装置などの表示装置を含んでもよい。表示部215には、ロボット10のカメラ部113にて撮像された環境画像を用いて画像生成部221にて生成された表示画像が表示される。オペレータOPは、表示部215に表示された表示画像を視認することで、ロボット10の周囲の環境を把握することができる。
【0086】
また、表示部215は、通知制御部220の制御に従い、自律制御による実行難易度が高いことを知らせる通知画面を表示してもよい。自律制御による実行難易度が高いことを知らせる通知画面は、例えば、リスク算出部125により算出された指標が最も高いインシデント及び当該インシデントが生じたロボットに関する情報を含むポップアップ画面であってもよい。また、自律制御による実行難易度が高いことを知らせる通知画面は、リスク算出部125により算出された指標が高い順に整理された表示画面であってもよい。
【0087】
スピーカ216は、制御部210の制御に応じて、遠隔操作端末20の周囲に音響を出力する。例えば、スピーカ216は、制御部210による制御に伴う音声、又はロボット10を遠隔操作している際に、ロボット10のマイク117で収音されたロボット10の周囲の音声を遠隔操作端末20の周囲に出力してもよい。
【0088】
また、スピーカ216は、通知制御部220の制御に従い、自律制御による実行難易度が高いことを知らせる通知音声を出力してもよい。
【0089】
マイク217は、遠隔操作装置102の周囲の音声を収音する。例えば、マイク217は、遠隔操作端末20の周囲のオペレータOPが発話した音声を収音してもよい。
【0090】
操作部218は、オペレータOPからの操作を受け付けるための入力装置を含む。操作部218は、例えば、キーボード、マウス、タッチパネル、トラックパッド、十字キー、又は操作レバー等の入力装置を含んでもよい。これによれば、操作部218は、自律制御による実行難易度が高いことを知らせる通知を受けたオペレータOPから、自律制御からオペレータ制御に切り替える操作を受け付けることができる。
【0091】
電源部219は、外部電源から、又は内蔵電源から遠隔操作端末20の各部に電力を供給する。例えば、電源部219は、入力された電力を変圧等した上で、外部電源から入力された電力を遠隔操作端末20の各部に供給してもよい。
【0092】
(情報処理サーバ30)
情報処理サーバ30は、
図2に示すように、移動体運用システム部310と、全ロボット管理部311と、全ロボットタスク管理部312と、全ロボットインシデント管理部313を備える。
【0093】
移動体運用システム部310は、情報処理システム1のメインシステムが動作する装置である。移動体運用システム部310は、全ロボット管理部311へN台のロボット10-1、10-2、・・・10-Nの各タスクに関する情報の送受信の制御を行う。また、移動体運用システム部310は、M台の遠隔操作端末20-1、20-2、・・・20-M、及び各遠隔操作端末を操作している各オペレータOP-1、OP-2、・・・OP-M等の各種情報を管理する。
【0094】
全ロボット管理部311は、情報処理サーバ30に接続される全てのロボットの情報を管理する。例えば、全ロボット管理部311は、全てのロボットの情報を管理する。
【0095】
全ロボットタスク管理部312は、情報処理サーバ30に接続される全てのロボットのタスク情報を管理する。例えば、全ロボットタスク管理部312は、全てのロボットの動作状況に係る情報と、全てのロボットのタスクの一覧を管理する。
【0096】
全ロボットインシデント管理部313は、情報処理サーバ30に接続される全てのロボットのインシデント情報を管理する。例えば、全ロボットインシデント管理部313は、全てのロボットの各々に生じたインシデントの一覧、及び各インシデントに対応するロボット10の自律制御による実行リスクを示す指標の一覧を管理する。
【0097】
以上、本実施形態に係る情報処理システム1の機能構成例を説明した。続いて、
図3、及び
図4を参照し、本実施形態に係る情報処理システム1の遠隔操作に係る動作処理の一例を説明する。
【0098】
<<3.本実施形態に係る情報処理システムの動作処理例>>
図3は、本実施形態に係る情報処理システム1のロボット10の動作処理の一例を示すフローチャート図である。まず、ロボット10は、自律制御により、情報処理サーバ30の全ロボットタスク管理部312により割り当てられたタスクを実行する(S101)。
【0099】
続いて、ロボット10は、タスクが完了したか否かを判定する(S102)。タスクが完了した場合(S102/Yes)、本実施形態に係るロボット10の自律制御は完了し(S114)、ロボット10は、処理を終了する。一方、タスクが完了していない場合(S102/No)、ロボット10は、自律制御でタスクを実行する(S103)。
【0100】
ロボット10は、自律制御でタスクを実行中(S103)、事象が発生したか否かを判定する(S104)。事象が発生していない場合(S104/No)、処理は再びS102に戻る。一方、事象が発生した場合(S104/Yes)、ロボット10は、事象発生に係る情報に基づき、発生した実行リスクを示す指標を算出する(S105)。そして、ロボット10は、発生した事象をインシデントとし、インシデント発生に関する情報を情報処理サーバ30に送信する(S106)。このとき、ロボット10は、オペレータが判断するまで別のタスクを自律制御で継続する(S107)。
【0101】
ロボット10は、自律制御で別のタスクを実行中(S107)、情報処理サーバ30からインシデントを自律制御で対応する指示があるか否かを判定する(S108)。インシデントを自律制御で対応する指示がある場合(S108/Yes)、ロボット10は、自律制御によりインシデントを対応し(S115)、インシデント対応完了を情報サーバに送信(S116)し、自律制御によるタスクを再開し(S113)、再び102に戻る。一方、インシデントを自律制御で対応する指示がない場合(S108/No)、処理はS109に進められる。
【0102】
インシデントを自律制御で対応する指示がない場合(S108/No)、ロボット10は、遠隔操作端末20と接続依頼があるか否かを判定する(S109)。遠隔操作端末20と接続依頼がない場合(S109/No)、再びS107に戻る。一方、遠隔操作端末20と接続依頼がある場合(S109/Yes)、処理はS110に進められる。
【0103】
情報処理サーバ30から遠隔操作端末20と接続依頼がある場合(S109/Yes)、ロボット10は、情報処理サーバ30により遠隔操作端末20と接続され、自律制御による別タスクの対応を中断し、接続されたら遠隔操作端末20からロボット10への遠隔制御の入力を受信する(S110)。
【0104】
ロボット10は、オペレータOPの遠隔操作により、発生したインシデントを対応する(S111)。
【0105】
遠隔操作によりインシデント対応が完了すると、ロボット10は、遠隔操作端末20との接続を切断する(S112)。
【0106】
そして、ロボット10は、自律制御によるタスクを再開し(S113)、S102においてタスクが完了したと判定されるまで(S102/Yes)、S102~S113の処理が繰り返し行われる。
【0107】
以上、本実施形態に係る情報処理システム1のロボット10の動作処理の一例を説明した。続いて、
図4を参照し、
図3に示したS106において、インシデントが発生した場合における遠隔操作端末20の動作処理の一例を説明する。
【0108】
図4は、本実施形態に係る情報処理システム1の遠隔操作端末20の動作処理の一例を示すフローチャート図である。まず、遠隔操作端末20は、ロボット10の自律制御が完了したか否かを判定する(S201)。ロボット10の自律制御が完了した場合(S201/Yes)、遠隔操作端末20は処理を終了する。一方、ロボット10の自律制御が完了していない場合(S201/No)、遠隔操作端末20は、情報処理サーバ30に蓄積されているインシデント情報を情報処理サーバ30から取得する(S202)。
【0109】
そして、遠隔操作端末20は、取得したインシデント情報を遠隔操作端末20の表示部215に表示し、オペレータに通知する(S203)。
【0110】
そして、遠隔操作端末20は、オペレータOPにより、オペレータOPが遠隔操作対応するインシデントか否かを判定する(S204)。オペレータOPが対応するインシデントの場合は、(S204/Yes)、処理はS205に進められ、オペレータOPが対応しないインシデントの場合(S204/No)、遠隔操作端末20はロボット10に自律制御で事象を対応するように情報処理サーバ30に指示し(S212)、再びS201に進められる。
【0111】
オペレータOPが遠隔操作対応するインシデントと判定された場合(S204/Yes)、オペレータOPは、該当インシデントを選択する(S205)。
【0112】
そして、遠隔操作端末20は、ロボット10と遠隔操作端末20の接続依頼を情報処理サーバ30に送信する(S206)。情報処理サーバ30は、遠隔操作端末20と、該当インシデントが発生しているロボット10を接続する。
【0113】
そして、遠隔操作端末20は、ロボット10のカメラ部113で撮像されたロボット10の周囲の環境画像を受信し(S207)、画像生成部221で、ロボット10の周囲の環境画像にロボット10の仮想画像を重畳した表示画像を生成し、画像生成部221にて生成された表示画像を生成する(S208)。
【0114】
そして、表示部215は、画像生成部221により生成された表示画面を表示する(S209)。
【0115】
そして、遠隔操作端末20は、操作部218によるオペレータOPの操作に応じて、遠隔制御の信号を送信し、ロボット10を遠隔操作する(S210)。これにより、ロボット10は、自律制御からオペレータOPの遠隔制御に切り替えられ、S111のように、オペレータOPの遠隔制御により、インシデントを対応する。
【0116】
そして、操作部218によるオペレータOPの遠隔操作が完了すると、遠隔操作端末20は、オペレータOPの操作に応じて、遠隔操作端末20とロボット10の接続を切断し(S211)、本実施形態に係る遠隔操作端末20は、処理を終了する。一方、ロボット10は、S113のように、自律制御による作業を再開する。
【0117】
以上、本実施形態に係る情報処理システム1の動作処理例を説明した。続いて、本実施形態の作用効果を説明する。
【0118】
<<4.本実施形態の作用効果>>
以上説明した本実施形態によれば、多様な作用効果が得られる。例えば、本実施形態の遠隔操作端末20は、ロボット10にインシデントが生じた場合において、オペレータOPが自律制御からオペレータ制御に切り替えるか否かを選択することが可能となり、オペレータOPがオペレータ制御するインシデントを選択可能となるため、オペレータOPの負担を低減し得る。
【0119】
また、複数のロボット10の各々に発生したインシデントが増加した場合においても、ロボットの自律制御による実行リスクを算出することで、オペレータOPは、複数のインシデントのうち、特に遠隔操作によりオペレータOPが対応すべきインシデントをより容易に判断し得る。
【0120】
また、通知制御部220は、ロボット10の自律制御による実行リスクを示す指標が所定の基準を満たすインシデントに関する通知の制御を行う。これにより、自律制御による実行リスクが低いインシデントにおいては、ロボット10が自律制御により対応するため、情報処理システム1を利用する運用センターの運用効率を向上し得る。
【0121】
<<5.補足>>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例、又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0122】
例えば、本発明に係る情報処理装置は、本実施形態に係るロボット10であってもよいし、遠隔操作端末20であってもよいし、情報処理サーバ30であってもよい。また、本実施形態に係るロボット10、遠隔操作端末20、及び情報処理サーバ30の各構成は、他の装置の構成であってもよい。例えば、ロボット10が通知制御部220を備えてもよいし、遠隔操作端末20が事象検知部124やリスク算出部125を備えてもよい。
【0123】
また、本実施形態に係る情報処理システム1のロボット10および遠隔操作端末20の動作の処理におけるステップは、必ずしも説明図として記載された順序に沿って時系列に処理する必要はない。例えば、遠隔操作端末20の動作の処理における各ステップは、説明図として記載した順序と異なる順序で処理されてもよく、並列的に処理されてもよい。
【0124】
また、ロボット10、遠隔操作端末20、及び情報処理サーバ30に内蔵されるCPU、ROM及びRAMなどのハードウェアに、上述したロボット10、遠隔操作端末20、及び情報処理サーバ30の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記録したコンピュータに読み取り可能な記録媒体も提供可能である。
【符号の説明】
【0125】
1 情報処理システム
5 ネットワーク
10 ロボット
OP オペレータ
110 ロボット制御部
112 LAN
113 カメラ部
114 センサ部
115 表示部
116 スピーカ
117 マイク
118 ロボット通信部
119 AI部
120 移動部
121 情報記憶部
122 バッテリー部
123 タスク管理部
124 事象検知部
125 リスク算出部
20 遠隔操作端末
210 制御部
220 通知制御部
221 画像生成部
222 動作制御部
211 LAN
212 通信部
213 カメラ部
214 センサ部
215 表示部
216 スピーカ
217 マイク
218 操作部
219 電源部
30 情報処理サーバ
310 移動体運用システム部
311 全ロボット管理部
312 全ロボットタスク管理部
313 全ロボットインシデント管理部