(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-18
(45)【発行日】2022-03-01
(54)【発明の名称】ロボット制御装置、ロボット制御方法及びロボット
(51)【国際特許分類】
G06Q 10/06 20120101AFI20220221BHJP
G05B 19/418 20060101ALI20220221BHJP
B25J 5/00 20060101ALI20220221BHJP
【FI】
G06Q10/06
G05B19/418 Z
B25J5/00 E
(21)【出願番号】P 2021092523
(22)【出願日】2021-06-01
(62)【分割の表示】P 2019063939の分割
【原出願日】2019-03-28
【審査請求日】2021-06-02
【早期審査対象出願】
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100166006
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100124084
【氏名又は名称】黒岩 久人
(74)【代理人】
【識別番号】100153280
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】舛元 敦子
(72)【発明者】
【氏名】小池 昇治
(72)【発明者】
【氏名】蕨野 貴之
(72)【発明者】
【氏名】豊田 陽介
【審査官】田中 秀樹
(56)【参考文献】
【文献】特開2017-220109(JP,A)
【文献】特開2019-16088(JP,A)
【文献】特開2018-173917(JP,A)
【文献】特開2018-173911(JP,A)
【文献】特開2019-3296(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G05B 19/418
B25J 5/00
(57)【特許請求の範囲】
【請求項1】
作業者による作業の作業予定として、前記作業の作業場所と、
前記作業者が前記作業をする予定の作業期間と、前記作業
場所において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部と、
前記作業予定情報が画像の取得が必要であることを示す場合に、ロボットに前記作業場所を
前記作業期間に撮像した撮像画像を取得させる取得指示を、前記ロボットへ送信する取得指示送信部と、
前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記撮像画像を受信する作業状況受信部と、
を有する、ロボット制御装置。
【請求項2】
前記作業状況受信部は、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記作業者の作業状況を受信し、
前記作業状況が、前記作業予定情報が示す前記作業予定に沿っているか否かを判定する判定部をさらに有する、
請求項1に記載のロボット制御装置。
【請求項3】
前記判定部による前記作業状況が前記作業予定に沿っているか否かの判定結果を、前記作業予定情報と関連付けて出力する出力部をさらに有する、
請求項2に記載のロボット制御装置。
【請求項4】
前記出力部は、前記作業状況が前記作業予定に沿っていないと前記判定部が判定した場合に、前記作業予定と前記作業状況との間の差異を、前記作業予定情報と関連付けて出力する、
請求項3に記載のロボット制御装置。
【請求項5】
前記取得指示送信部は、前記ロボットの現在位置と、前記作業場所と、に基づいて、前記ロボットを前記作業場所に移動させるための移動情報を決定し、決定した移動情報を含む前記取得指示を前記ロボットへ送信する、
請求項1から4のいずれか一項に記載のロボット制御装置。
【請求項6】
前記取得指示送信部は、前記ロボットに前記作業者が前記作業場所にいるか否かを示す情報を取得させる前記取得指示を、前記ロボットへ送信し、
前記作業状況受信部は、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記作業者が前記作業場所にいるか否かを示す情報を受信する、
請求項1から5のいずれか一項に記載のロボット制御装置。
【請求項7】
プロセッサが実行する、
作業者による作業の作業予定として、前記作業の作業場所と、
前記作業者が前記作業をする予定の作業期間と、前記作業
場所において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部から、前記作業予定情報を取得するステップと、
前記作業予定情報が画像の取得が必要であることを示す場合に、ロボットに前記作業場所を
前記作業期間に撮像した撮像画像を取得させる取得指示を、前記ロボットへ送信するステップと、
前記送信するステップが前記取得指示を送信した前記ロボットから、前記撮像画像を受信するステップと、
を有する、ロボット制御方法。
【請求項8】
撮像部と、
作業者による作業の作業予定として、前記作業の作業場所と、
前記作業者が前記作業をする予定の作業期間と、前記作業
場所において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部と、
前記作業予定情報が画像の取得が必要であることを示す場合に、前記撮像部を用いて前記作業場所を
前記作業期間に撮像した撮像画像を取得する作業状況取得部と、
を有する、ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は作業者による作業を支援するロボットを制御するためのロボット制御装置、ロボット制御方法及びロボットに関する。
【背景技術】
【0002】
生産効率を高めるためにロボットと人間とが協働して作業をすることが提案されている。特許文献1には、生産効率の低下を防ぐために、ロボットが作業者に対してワーク(作業の対象物)を供給し、作業者の作業を監視することによって、作業者が疲労状態にあるか否かを判定するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
生産性を高めるには、予定どおりに作業を進めることが重要である。作業者が疲労していなくても作業が予定どおりに行われていないこともあるので、従来のシステムのように作業者の疲労状態を管理するだけでは、作業予定に沿って作業が行われているか否かを管理することはできないという問題があった。
【0005】
本発明はこれらの点に鑑みてなされたものであり、作業者が行う作業の作業予定を管理できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様のロボット制御装置は、作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部と、前記作業予定情報が画像の取得が必要であることを示す場合に、ロボットに前記作業場所を撮像した撮像画像を取得させる取得指示を、前記ロボットへ送信する取得指示送信部と、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記撮像画像を受信する作業状況受信部と、を有する。
【0007】
前記作業状況受信部は、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記作業者の作業状況を受信し、前記ロボット制御装置は、前記作業状況が、前記作業予定情報が示す前記作業予定に沿っているか否かを判定する判定部をさらに有してもよい。
【0008】
前記ロボット制御装置は、前記判定部による前記作業状況が前記作業予定に沿っているか否かの判定結果を、前記作業予定情報と関連付けて出力する出力部をさらに有してもよい。
【0009】
前記出力部は、前記作業状況が前記作業予定に沿っていないと前記判定部が判定した場合に、前記作業予定と前記作業状況との間の差異を、前記作業予定情報と関連付けて出力してもよい。
【0010】
前記取得指示送信部は、前記ロボットの現在位置と、前記作業場所と、に基づいて、前記ロボットを前記作業場所に移動させるための移動情報を決定し、決定した移動情報を含む前記取得指示を前記ロボットへ送信してもよい。
【0011】
前記取得指示送信部は、前記ロボットに前記作業者が前記作業場所にいるか否かを示す情報を取得させる前記取得指示を、前記ロボットへ送信し、前記作業状況受信部は、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記作業者が前記作業場所にいるか否かを示す情報を受信してもよい。
【0012】
【0013】
【0014】
【0015】
本発明の第2の態様のロボット制御方法は、プロセッサが実行する、作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部から、前記作業予定情報を取得するステップと、前記作業予定情報が画像の取得が必要であることを示す場合に、ロボットに前記作業場所を撮像した撮像画像を取得させる取得指示を、前記ロボットへ送信するステップと、前記送信するステップが前記取得指示を送信した前記ロボットから、前記撮像画像を受信するステップと、を有する。
【0016】
本発明の第3の態様のロボットは、撮像部と、作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部と、前記作業予定情報が画像の取得が必要であることを示す場合に、前記撮像部を用いて前記作業場所を撮像した撮像画像を取得する作業状況取得部と、を有する。
【発明の効果】
【0017】
本発明によれば、作業者が行う作業の作業予定を管理できるという効果を奏する。
【図面の簡単な説明】
【0018】
【
図1】実施形態に係るロボット制御システムの模式図である。
【
図2】実施形態に係るロボット制御システムのブロック図である。
【
図3】作業予定情報記憶部が記憶する作業予定情報及び作業者特定情報の模式図である。
【
図4】作業状況取得部が作業者を認識する方法の模式図である。
【
図5】作業情報画面を表示している表示部の正面図である。
【
図6】無人飛行装置が作業場所の撮像画像を取得する方法の模式図である。
【
図7】作業状況判定結果画面を表示している管理端末の正面図である。
【
図8】体調変化検知画面を表示している管理端末の正面図である。
【
図9】実施形態に係るロボット制御システムが実行するロボット制御方法のシーケンス図である。
【発明を実施するための形態】
【0019】
[ロボット制御システムSの概要]
図1は、本実施形態に係るロボット制御システムSの模式図である。ロボット制御システムSは、ロボット制御装置1と、ロボット2と、管理端末3とを含む。ロボット制御システムSは、その他のサーバ、端末等の機器を含んでもよい。
【0020】
ロボット制御装置1は、作業予定の設定を受け付け、作業者の作業状況をロボットに取得させるための取得指示を送信し、ロボットから受信した作業状況が作業予定に沿っているか否かの判定結果を出力するコンピュータである。作業者は、製造、工事、整備等の作業を行う人間である。ロボット制御装置1は、インターネット、ローカルエリアネットワーク等のネットワークを介して、ロボット2及び管理端末3と通信可能である。
【0021】
ロボット2は、ロボット制御装置1から受信した取得指示に従って作業場所に移動してから作業状況を取得し、取得した作業状況をロボット制御装置1へ送信する可動装置である。ロボット2は、空中を飛行可能な無人飛行装置(ドローン)であってもよい。
【0022】
管理端末3は、管理者の操作を受け付けるとともに、様々な情報を表示する通信端末である。管理者は、作業者が行う作業を管理する人間である。例えば管理端末3は、スマートフォン、タブレット端末等の携帯端末、又はパーソナルコンピュータである。管理端末3は、人間による操作を受け付け可能なタッチパネル等の操作部と、情報を表示可能な液晶ディスプレイ等の表示部とを有する。
【0023】
本実施形態に係るロボット制御システムSがロボットを制御する処理の概要を以下に説明する。まず管理者は、管理端末3を操作して、作業予定情報をロボット制御装置1に設定する(a)。作業予定情報は、作業者による作業の予定を示す情報であり、例えば作業内容、作業期間及び作業場所を含み、作業者を特定可能な作業者特定情報(作業者のID、顔、生体情報等)と関連付けられている。
【0024】
ロボット制御装置1は、管理者によって設定された作業予定情報に基づいて取得指示を生成し、ロボット2へ送信する(b)。取得指示は、ロボット2を作業場所へ移動させるための移動情報と、作業者特定情報とを含む。
【0025】
ロボット2は、ロボット制御装置1から受信した取得指示が含む移動情報に従って、作業場所へ移動する(c)。移動が完了した後、ロボット2は、ロボット制御装置1から受信した取得指示が含む作業者特定情報が示す作業者の作業状況を取得する(d)。そしてロボット2は、取得した作業状況をロボット制御装置1へ送信する(e)。ロボット制御装置1は、ロボット2から受信した作業状況が作業予定に沿っているか否かを判定し(f)、判定結果を作業予定情報と関連付けて出力する(g)。
【0026】
このように本実施形態に係るロボット制御システムSは、作業者の作業状況をロボット2に取得させ、作業状況が作業予定に沿っているか否かを判定し、判定結果を出力する。そのため、ロボット制御システムSは、ロボット2を利用して、作業者が行う作業の作業予定を管理することができる。
【0027】
[ロボット制御システムSの構成]
図2は、本実施形態に係るロボット制御システムSのブロック図である。
図2において、矢印は主なデータの流れを示しており、
図2に示していないデータの流れがあってよい。
図2において、各ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、
図2に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【0028】
ロボット制御装置1は、制御部11と、記憶部12とを有する。制御部11は、作業予定情報設定部111と、取得指示送信部112と、通知指示送信部113と、作業状況受信部114と、判定部115と、出力部116とを有する。記憶部12は、作業予定情報記憶部121と、作業情報記憶部122と、作業状況記憶部123とを有する。
【0029】
記憶部12は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクドライブ等を含む記憶媒体である。記憶部12は、制御部11が実行するプログラムを予め記憶している。記憶部12は、ロボット制御装置1の外部に設けられてもよく、その場合にネットワークを介して制御部11との間でデータの授受を行ってもよい。作業予定情報記憶部121は、作業者による作業の予定を示す情報を記憶する。作業情報記憶部122は、作業手順、作業の注意点等、作業に関連する情報を記憶する。作業状況記憶部123は、ロボット2が取得した作業状況を記憶する。作業予定情報記憶部121、作業情報記憶部122及び作業状況記憶部123は、記憶部12上の記憶領域であってもよく、あるいは記憶部12上で構成されたデータベースであってもよい。
【0030】
制御部11は、例えばCPU(Central Processing Unit)等のプロセッサであり、記憶部12に記憶されたプログラムを実行することにより、作業予定情報設定部111、取得指示送信部112、通知指示送信部113、作業状況受信部114、判定部115及び出力部116として機能する。制御部11の機能の少なくとも一部は電気回路によって実行されてもよい。また、制御部11の機能の少なくとも一部はネットワーク経由で実行されるプログラムによって実行されてもよい。
【0031】
ロボット2は、制御部21と、記憶部22と、駆動部23と、表示部24と、入力部25とを有する。制御部21は、指示受信部211と、駆動制御部212と、作業状況取得部213と、作業状況送信部214とを有する。入力部25は、操作部251と、撮像部252と、音声入力部253とを有する。
【0032】
操作部251は、キーボード、マウス等、人間の操作によって情報を入力可能な操作装置を備える。撮像部252は、所定の撮像範囲を撮像する撮像装置(カメラ)を備える。音声入力部253は、人間が発した声を入力可能な音声入力装置(マイクロフォン)を備える。入力部25は、ここに示した入力装置に限られず、取得する情報の種類に応じてその他の入力装置を有してもよい。例えば入力部25は、作業者の指紋を読み取る指紋スキャナを有してもよい。
【0033】
表示部24は、液晶ディスプレイ等、情報を表示可能な表示装置を含む。表示部24として人間による接触の位置を検出可能なタッチスクリーンを用いることによって、表示部24と操作部251とを一体に構成してもよい。
【0034】
駆動部23は、制御信号に従って所定の動力を発生させるモータ、アクチュエータ等の駆動機構を備える。駆動部23は、ロボット2を移動させるように駆動し、またロボット2又は入力部25の向きを変えるように駆動する。
【0035】
記憶部22は、ROM、RAM、ハードディスクドライブ等を含む記憶媒体である。記憶部22は、制御部21が実行するプログラムを予め記憶している。記憶部22は、ロボット2の外部に設けられてもよく、その場合にネットワークを介して制御部21との間でデータの授受を行ってもよい。
【0036】
制御部21は、例えばCPU等のプロセッサであり、記憶部22に記憶されたプログラムを実行することにより、指示受信部211、駆動制御部212、作業状況取得部213及び作業状況送信部214として機能する。制御部21の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部21の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
【0037】
本実施形態に係るロボット制御システムSは、
図2に示す具体的な構成に限定されない。ロボット制御装置1、ロボット2及び管理端末3は、それぞれ1つの装置に限られず、2つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。
【0038】
[ロボット制御方法の説明]
以下、本実施形態に係るロボット制御システムSが実行するロボット制御方法を詳細に説明する。まず管理者は、管理端末3において、作業者による作業の作業予定を示す作業予定情報と、作業者を特定可能な作業者特定情報とを入力する操作を行う。ロボット制御装置1の作業予定情報設定部111は、管理者によって入力された作業予定情報を、作業者特定情報と関連付けて作業予定情報記憶部121に記憶させる。
【0039】
図3は、作業予定情報記憶部121が記憶する作業予定情報W1及び作業者特定情報W2の模式図である。作業予定情報W1は、作業予定として、作業を識別するための識別情報(作業ID)と、作業場所と、作業期間と、画像取得の要否とを含む。作業予定情報W1は、作業を行う作業者を特定可能な作業者特定情報W2と関連付けられている。
【0040】
作業場所は、作業者が作業をする予定の場所であり、例えば3次元の座標によって表される。作業場所は、例えば管理端末3の表示部に表示された地図上で、管理者によって入力される。作業期間は、作業者が作業をする予定の期間であり、例えば開始時刻及び終了時刻によって表される。画像取得の要否は、画像の取得が必要か否かを示す情報であり、例えば「要」及び「否」の文字で表される。作業期間及び画像取得の要否は、例えば管理端末3の表示部に表示された画面上で、管理者によって入力される。
【0041】
作業者特定情報W2は、後述のロボット2が作業者を特定するために用いる情報である。
図3の例では、作業者特定情報W2は、作業者の識別情報(作業者ID)である。この場合に、作業者IDは、管理端末3の表示部に表示された画面上で、管理者によって入力される。ロボット2は、作業者が有するカードや携帯端末から近距離無線通信によって作業者IDを取得することによって、作業者を特定できる。
【0042】
作業者特定情報W2は、作業者の顔の画像であってもよい。この場合に、作業者の顔の画像は、管理端末3が作業者の顔を撮像することによって入力される。ロボット2は、撮像部252を用いて作業者の顔の撮像画像を取得し、作業者特定情報W2が示す画像と比較することによって、作業者を特定できる。
【0043】
作業者特定情報W2は、作業者の生体情報(声、指紋等)であってもよい。この場合に、作業者の生体情報は、管理端末3が作業者の生体情報を取得することによって入力される。ロボット2は、音声入力部253や指紋スキャナを用いて作業者の生体情報を取得し、作業者特定情報W2が示す生体情報と比較することによって、作業者を特定できる。また、作業者特定情報W2は、作業者ID、作業者の顔の画像及び作業者の生体情報のうち複数を含んでもよい。
【0044】
作業予定情報W1及び作業者特定情報W2は、
図3に例示した内容に限られず、その他の情報を含んでもよい。例えば作業予定情報W1は、作業を管理する管理者の識別情報(管理者ID)や、作業情報を取得するロボットの識別情報(ロボットID)にさらに関連付けられてもよい。
【0045】
図3において作業予定情報W1及び作業者特定情報W2は視認性のために文字列の表で表されているが、各データは任意の形式で記録されてもよく、例えば文字列データ、数値データおよびバイナリデータのいずれでもよい。作業予定情報W1及び作業者特定情報W2は、データベースとして記録されてもよく、あるいはデータを列挙したリストとして記録されてもよい。
【0046】
作業情報記憶部122は、作業IDに関連付けられた作業情報を予め記憶している。作業情報は、作業手順、作業の注意点等、作業に関連する情報である。作業手順は、例えば作業者が行う作業の内容を工程ごとに表す情報である。作業の注意点は、例えば過去の類似作業で発生したエラーや事故等を表す情報である。ロボット2は、作業場所において作業者を特定した場合に、特定した作業者が行う作業に関連する作業情報を、表示部24上に表示する。
【0047】
取得指示送信部112は、作業予定情報記憶部121に記憶された作業予定情報及び作業者特定情報に基づいて、作業予定情報が示す作業期間の前に、ロボット2に作業状況を取得させる取得指示を生成する。取得指示送信部112は、作業期間の所定時間前(例えば10分前)に取得指示を生成してもよく、あるいはロボット2の現在位置と作業場所との間の距離に基づいて決定された時刻に取得指示を生成してもよい。
【0048】
具体的には、取得指示送信部112は、取得指示を生成する際に、ロボット2の現在位置を取得する。このとき取得指示送信部112は、ロボット2が測定した現在位置をロボット2から受信してもよく、あるいはロボット2が配置されている建物内に設置されたカメラやビーコンが測定した情報に基づいてロボット2の現在位置を特定してもよい。
【0049】
取得指示送信部112は、ロボット2の現在位置と、作業予定情報記憶部121に記憶された作業予定情報が含む作業場所とを用いて、ロボット2を作業場所に移動させるための移動情報を決定する。例えば取得指示送信部112は、ロボット2の現在位置から作業場所までの移動経路と、ロボット2の移動後の位置を基準とした作業場所への向きとを、移動情報として決定する。
【0050】
さらに、取得指示送信部112は、ロボット2に取得させる取得対象の作業状況を決定する。取得対象の作業状況は、(1)作業者が作業場所にいるか否か、(2)作業者による作業情報の確認状況、(3)作業中の作業者の撮像画像又は声、及び(4)作業場所の撮像画像のうち少なくとも1つを示す情報である。
【0051】
取得指示送信部112は、(1)~(4)の全ての情報を、取得対象の作業状況として決定してもよい。また、取得指示送信部112は、作業予定情報に基づいて、作業者が行う作業ごとに取得対象の作業状況を決定してもよい。例えば、作業予定情報記憶部121に記憶された作業予定情報が、画像の取得が必要であることを示す場合に、取得指示送信部112は、作業場所の撮像画像を取得対象の作業状況として決定し、そうでない場合に作業場所の撮像画像を取得対象の作業状況として決定しない。作業予定情報が含む作業IDごとに、(1)~(4)のうちいずれの情報を取得対象の作業状況とするかが予め定義されてもよい。
【0052】
そして取得指示送信部112は、作業予定情報に基づいて決定した移動情報と、取得対象の作業状況と、作業予定情報に関連付けられた作業者特定情報とを含む取得指示を生成する。
【0053】
取得指示送信部112は、生成した取得指示を、ロボット2へ送信する。複数のロボット2が配備されている場合には、作業予定情報記憶部121において、ロボット2の識別情報(例えばロボットID)と、ロボット2が作業状況の取得対象とする作業予定情報とが予め関連付けられる。取得指示送信部112は、生成した取得指示を、取得指示の対象である作業予定情報に関連付けられたロボットIDのロボット2へ送信する。これにより、ロボット2ごとに作業状況の取得対象とする作業予定情報を割り当てることができる。
【0054】
取得指示送信部112が取得指示を生成した後、又は取得指示送信部112が取得指示を生成するのと並行して、通知指示送信部113は、ロボットに作業情報を作業者へ通知させる通知指示を生成する。具体的には、通知指示送信部113は、作業情報記憶部122において、取得指示が対象とする作業予定情報(作業ID)に関連付けられた作業情報を取得する。そして通知指示送信部113は、作業予定情報に関連付けられた作業情報と、作業予定情報に関連付けられた作業者特定情報とを含む通知指示を生成し、ロボット2へ送信する。
【0055】
通知指示送信部113は、ロボットに作業場所に関する環境情報を作業者へ通知させる通知指示を生成してもよい。例えば環境情報は、作業場所における天気、気温、風速等である。この場合に、通知指示送信部113は、外部サーバから取得した気象情報(天気予報等)、又はロボット2が備えるセンサ(降雨センサ、風速センサ等)による測定情報に基づいて、環境情報を特定する。これにより、ロボット2は、作業者に対して悪天候等の注意喚起を行うことができる。
【0056】
ロボット2において、指示受信部211は、ロボット制御装置1から取得指示及び通知指示を受信する。駆動制御部212は、取得指示が含む移動情報に従って駆動部23を駆動させることによって、ロボット2を移動させ、またロボット2又は入力部25の向きを変えさせる。ロボット2が移動情報に従って移動して向きを変えた後、すなわちロボット2が作業場所に到達した後、作業状況取得部213は、作業予定情報が示す作業期間に、作業予定情報が示す作業場所において、作業者を認識する。
【0057】
図4(a)~
図4(c)は、作業状況取得部213が作業者を認識する方法の模式図である。
図4(a)は、ロボット2が作業者の顔を撮像することによって作業者を認識する方法を表している。この場合に、取得指示及び通知指示が含む作業者特定情報は、作業者の顔の画像である。作業状況取得部213は、撮像部252に作業場所を撮像させる。作業状況取得部213は、既知の顔認識技術を用いて、作業者特定情報としての作業者の顔の画像に基づいて、撮像画像中で作業者の顔を認識する。作業状況取得部213は、撮像画像中に作業者の顔を認識した場合に、作業場所に作業者がいると判定し、そうでない場合に、作業場所に作業者がいないと判定する。
【0058】
図4(b)は、ロボット2が作業者の声、指紋等の生体情報を取得することによって作業者を認識する方法を表している。この場合に、取得指示及び通知指示が含む作業者特定情報は、作業者の生体情報である。作業状況取得部213は、音声入力部253や指紋スキャナに作業者の生体情報を取得させる。作業状況取得部213は、既知の生体認証技術を用いて、作業者特定情報としての生体情報が、取得した生体情報に対応しているか否かを判定する。作業状況取得部213は、作業者特定情報としての生体情報が、取得した生体情報に対応している場合に、作業場所に作業者がいると判定し、そうでない場合に、作業場所に作業者がいないと判定する。
【0059】
図4(c)は、作業者が有するカード又は携帯端末とロボット2が近距離無線通信することによって、作業者を認識する方法を表している。この場合に、取得指示及び通知指示が含む作業者特定情報は、作業者IDである。作業状況取得部213は、近距離無線通信によって、作業者が有するカードや携帯端末から作業者IDを取得する。作業状況取得部213は、作業者が有するカードや携帯端末に表された作業者IDを、撮像部252を用いて光学的に取得してもよい。作業状況取得部213は、作業者特定情報としての作業者IDと、取得した作業者IDとが一致した場合に、作業場所に作業者がいると判定し、そうでない場合に、作業場所に作業者がいないと判定する。
【0060】
作業状況取得部213は、ここに示した方法に限られず、その他の方法によって作業場所に作業者がいるか否かを判定してもよい。これにより、作業状況取得部213は、作業を行う作業者が作業場所にいるか否かを、自動的に判定することができる。
【0061】
そして作業状況取得部213は、取得指示が含む作業予定情報の作業期間に、取得指示が含む取得対象の作業状況を取得する。作業者が作業場所にいるか否かを示す情報が取得対象の作業状況である場合に、作業状況取得部213は、作業場所において作業者特定情報が示す作業者を認識したか否か、すなわち作業期間に作業者が作業場所にいるか否かを示す情報を、作業状況として取得する。
【0062】
作業者による作業情報の確認状況が取得対象の作業状況である場合に、作業状況取得部213は、通知指示が含む作業情報を含む作業情報画面を、表示部24に表示させる。
図5は、作業情報画面を表示している表示部24の正面図である。
【0063】
作業情報画面は、作業情報241と、確認ボタン242とを含む。作業情報241は、通知指示が含む作業情報を表す文字列である。作業情報241は、画像や図によって作業情報を表してもよい。また、作業情報241は、複数の項目を含んでもよい。この場合には、作業情報241が含む複数の項目それぞれに確認ボタン242が配置される。
【0064】
確認ボタン242は、作業者が押下可能な仮想的なボタン又はアイコンである。作業者は、作業情報241を確認した後に、ロボット2の操作部251を操作して、確認ボタン242を押下する。作業状況取得部213は、確認ボタン242が押下されたか否か、すなわち作業者が作業情報を確認したか否かを示す情報を、作業状況として取得する。作業状況取得部213は、確認ボタン242が押下された際に撮像部252を用いて撮像した作業者の撮像画像を、作業状況として取得してもよい。これにより、ロボット制御システムSは、意図した作業者が作業情報を確認したかどうかを記録することができる。
【0065】
ロボット2は、通知指示が含む作業情報を、スピーカを用いて声で出力してもよい。また、作業者は、作業情報を確認した後に、所定の声(例えば「OK」や「確認」等)を発してもよい。この場合に、ロボット2は、音声入力部253を用いて作業者が発した声を取得し、取得した声が所定の声であるか否か、すなわち作業者が作業情報を確認したか否かを示す情報を、作業状況として取得する。
【0066】
ロボット2は、作業者が発した声に対応する作業情報を出力してもよい。この場合に、作業者は、ロボット2に対して、作業情報を確認したい作業を示すキーワードを発声する。ロボット2は、音声入力部253を用いて作業者が発した声を取得し、既知の音声解析技術を用いて、取得した声に含まれるキーワードを抽出する。そしてロボット2は、通知指示が含む作業情報のうち、抽出したキーワードに対応する作業情報を出力する。ロボット2は、表示部24に表示された文字列、画像又は図によって作業情報を出力してもよく、あるいはスピーカを用いて声で作業情報を出力してもよい。
【0067】
また、ロボット2は、作業者と管理者との間のビデオ通話を実行してもよい。この場合に、作業者がロボット2の操作部251を用いて所定の操作を行うこと、又は管理者が管理端末3を用いて所定の操作を行うことによって、ロボット2は、ロボット制御装置1を介して管理端末3との間でビデオ通話を開始する。
【0068】
このとき、ロボット2は、撮像部252を用いて撮像した撮像画像と、音声入力部253を用いて取得した音声とを、ロボット制御装置1を介して管理端末3へ送信する。ロボット2は、作業者が操作部251を用いて行った操作に基づいて、撮像部252の撮像範囲を変更してもよい。また、ロボット2は、管理端末3が取得した撮像画像及び音声(又は音声のみ)を、管理端末3からロボット制御装置1を介して受信し、表示部24及びスピーカを用いて出力する。これにより、管理者は、ロボット2を介したビデオ通話によって直接的に作業者の作業状況を知ることができる。
【0069】
ロボット2は、撮像部252を用いて撮像した撮像画像に基づいて、作業者が作業手順に迷っているか否かを判定してもよい。例えばロボット2は、撮像画像に、迷い状態を示す特徴的な動作をしている作業者が含まれている場合に、作業者が作業手順に迷っていると判定する。ロボット2は、作業者が作業手順に迷っていると判定した場合に、表示部24に作業情報の確認や管理者への確認を促す情報を表示させ、あるいは作業手順に迷っている作業者を示す情報を管理端末3へ送信する。さらに作業者が操作部251を用いて管理者への確認をする操作を行った場合に、ロボット2は予め記憶された管理者のスケジュールに基づいて、管理者への確認の可否を示す情報を、表示部24に表示させる。管理者への確認が可能である場合に、ロボット2は自動的に管理者とのビデオ通話を開始してもよい。
【0070】
作業中の作業者の撮像画像又は声が取得対象の作業状況である場合に、作業状況取得部213は、撮像部252を用いて作業中の作業者を撮像して撮像画像を取得し、又は音声入力部253を用いて作業中の作業者が発した声を取得する。作業状況取得部213は、作業中の作業者を撮像した撮像画像、又は作業中の作業者が発した声を、作業状況として取得する。
【0071】
作業場所の撮像画像が取得対象の作業状況である場合に、作業状況取得部213は、撮像部252を用いて作業場所を撮像して撮像画像を取得する。作業状況取得部213は、作業場所を撮像した撮像画像を、作業状況として取得する。
【0072】
作業状況送信部214は、作業状況取得部213が取得した作業状況を示す情報を、ロボット制御装置1へ送信する。ロボット制御装置1において、作業状況受信部114は、取得指示送信部112が取得指示を送信したロボット2から作業状況を示す情報を受信し、作業状況記憶部123に記憶させる。
【0073】
作業状況受信部114は、ロボット2とは異なる無人飛行装置4が撮像した撮像画像を受信してもよい。
図6は、無人飛行装置4が作業場所の撮像画像を取得する方法の模式図である。無人飛行装置4は、ロボット制御装置1と通信可能であり、ロボット制御装置1から受信した情報に従って飛行し、所定の撮像範囲を撮像する撮像装置(カメラ)を備えるドローンである。作業状況受信部114は、上述の取得指示を、無人飛行装置4へ送信する。
【0074】
無人飛行装置4は、ロボット制御装置1から取得指示を受信する。無人飛行装置4は、取得指示が含む移動情報に従って作業場所へ飛行する。無人飛行装置4は、移動情報に従って飛行した後、撮像装置を用いて撮像場所を撮像する。無人飛行装置4は、作業者を撮像してもよい。そして無人飛行装置4は、撮像画像をロボット制御装置1へ送信する。作業状況受信部114は、無人飛行装置4から撮像画像を受信し、作業状況として作業状況記憶部123に記憶させる。これにより、作業状況受信部114は、ロボット2では撮像が難しい位置(例えば上空)から撮像した作業場所や作業者の撮像画像を取得できる。
【0075】
判定部115は、作業状況受信部114が受信した作業状況が、作業予定情報記憶部121に記憶された作業予定情報が示す作業予定に沿っているか否かを判定する。具体的には、判定部115は、作業状況が、作業期間に作業者が作業場所にいたことを示している場合に、作業状況が作業予定に沿っていると判定し、そうでない場合に、作業状況が作業予定に沿っていないと判定する。
【0076】
また、判定部115は、作業中の作業者の撮像画像又は声に基づいて作業の工程を特定し、特定した工程が作業予定に沿っているかを判定してもよい。この場合には、作業予定情報は、作業を構成する工程と、工程ごとの作業期間とを含む。例えば判定部115は、作業中の作業者の撮像画像(静止画像又は動画像)と、予め工程ごとに定義された作業の画像とを比較することによって、作業者が作業のいずれの工程を行っているかを特定する。作業ごとに作業者の体勢や動きが異なるため、撮像画像において作業中の作業者がどのような体勢や動きをしているかによって、作業の工程を特定できる。
【0077】
また、判定部115は、作業中の作業者が発した声と、予め工程ごとに定義された声とを比較することによって、作業者が作業のいずれの工程を行っているかを特定してもよい。作業ごとに作業者が特定の声(「抜去」、「電源ヨシ」等)を発することがあるため、作業者が特定の声を発したか否かによって、作業の工程を特定できる。
【0078】
そして判定部115は、特定した工程が行われた時刻(すなわち作業状況が取得された時刻)が、作業予定情報が含む工程ごとの作業期間に含まれている場合に、作業状況が作業予定に沿っていると判定し、そうでない場合に、作業状況が作業予定に沿っていないと判定する。これにより、判定部115は、作業の工程を特定して、作業状況をより細かく判定できる。さらに判定部115は、特定した工程が行われた時刻に基づいて、作業予定情報記憶部121に記憶された作業予定情報を更新してもよい。例えば判定部115は、特定した工程が行われた時刻が、作業予定情報が含む工程ごとの作業期間よりも早い場合に、作業予定情報記憶部121に記憶された作業予定情報が含む工程ごとの作業期間を早めるように更新する。これにより、ロボット制御装置1は、実際の作業の状況に作業予定を合わせることができる。
【0079】
また、判定部115は、作業中の作業者の撮像画像に基づいて、作業者が所定の禁止動作(例えばスマートフォンの操作や通話)をしているかを判定してもよい。作業者が禁止動作をしていると判定部115が判定した場合に、通知指示送信部113は、ロボット2に注意喚起の情報を作業者へ通知させる通知指示を生成し、出力部116は、禁止動作をした作業者を示す情報を管理端末3へ出力する。これにより、ロボット2は作業者に対して注意喚起をし、作業者が望ましくない動作を行うことを抑制できる。
【0080】
また、判定部115は、作業状況が、作業者が作業情報を確認したことを示している場合に、作業状況が作業予定に沿っていると判定し、そうでない場合に、作業状況が作業予定に沿っていないと判定してもよい。これにより、判定部115は、作業者が作業場所にいることだけでなく、作業者が作業手順や注意点を確認したか否かに基づいて、作業状況を判定できる。判定部115は、ここに示した基準に限られず、その他の基準によって作業状況が予定に沿っているか否かを判定してもよい。
【0081】
判定部115は、作業状況が作業予定に沿っていないと判定した場合には、作業状況が作業予定に沿っているか否かを示す情報に加えて、予定と作業状況との間の差異を、判定結果としてもよい。すなわち、判定部115は、作業期間に作業者が作業場所にいないこと、作業の工程が行われた時刻が作業期間外であること、及び作業者が作業情報を確認していないことの少なくとも1つを、予定と作業状況との間の差異を示す判定結果とする。
【0082】
さらに判定部115は、作業者の撮像画像又は声に基づいて、作業者の体調変化の有無を判定する。具体的には、作業状況取得部213が認識した作業者について、判定部115は、過去に作業状況記憶部123に記憶された作業者の撮像画像と、作業状況受信部114が受信した作業者の撮像画像とを比較し、それらの差異が所定の条件を満たす場合に作業者の体調変化が有ると判定し、そうでない場合に作業者の体調変化が無いと判定する。例えば判定部115は、過去に作業状況記憶部123に記憶された撮像画像における作業者の顔の色と、作業状況受信部114が受信した撮像画像における作業者の顔の色との差が所定範囲を超える場合に、体調変化があると判定する。作業者の顔が紅潮していると作業者が発熱等の状態である可能性があるため、判定部115は作業者の顔の色に基づいて体調変化の有無を判定する。
【0083】
また、作業状況取得部213が認識した作業者について、判定部115は、過去に作業状況記憶部123に記憶された作業者の声と、作業状況受信部114が受信した作業者の声とを比較し、それらの差異が所定の条件を満たす場合に作業者の体調変化が有ると判定し、そうでない場合に作業者の体調変化が無いと判定してもよい。また、判定部115は、サーモグラフィー機能を有する撮像部によって作業者の体温を取得し、体温の変化に基づいて作業者の体調変化の有無を判定してもよい。また、判定部115は、撮像画像に対して既知の推定技術を用いて作業者の体温又は脈拍数を推定し、体温又は脈拍数の変化に基づいて作業者の体調変化の有無を判定してもよい。
【0084】
また、例えば判定部115は、過去に作業状況記憶部123に記憶された作業者が発した声の周波数又は音量と、作業状況受信部114が受信した作業者が発した声の周波数又は音量との差が所定範囲を超える場合に、体調変化があると判定する。作業者の声が変化していると作業者が風邪等の状態である可能性があるため、判定部115は作業者が発した声に基づいて体調変化の有無を判定する。
【0085】
判定部115は、作業者の体調変化が有ると判定した場合には、作業者の体調変化の有無に加えて、作業者の体調変化の内容(顔色の変化、体温の変化、声の変化等)と、作業者の撮像画像とを、判定結果としてもよい。
【0086】
出力部116は、判定部115による作業状況が作業予定に沿っているか否かの判定結果を、作業予定情報及び作業者特定情報と関連付けて出力する。本実施形態において、出力部116は、判定結果を管理端末3へ送信することによって、管理端末3の表示部に表示させる。これに限られず、出力部116は、記憶媒体に記憶させること、ネットワークを介して送信すること、プリンタを用いて紙に印刷すること、又はスピーカを用いて音声を発生すること等によって、判定結果を作業予定情報と関連付けて出力してもよい。
【0087】
管理端末3は、ロボット制御装置1から判定結果、作業予定情報及び作業者特定情報を受信した場合に、作業状況判定結果画面を表示部に表示させる。
図7は、作業状況判定結果画面を表示している管理端末3の正面図である。作業状況判定結果画面は、作業予定情報31と、作業者特定情報32と、作業状況33とを含む。作業予定情報31は、例えば作業予定情報が含む作業IDである。作業予定情報31は、作業予定情報が含む作業期間、作業場所等のその他の情報を表してもよい。作業者特定情報32は、例えば作業者IDである。作業者特定情報32は、作業者の顔の画像、作業者の名前等のその他の情報を表してもよい。
【0088】
作業状況33は、作業状況が作業予定に沿っているか否かの判定結果を表す。
図7の例では、作業状況33は、判定結果が示す、予定と作業状況との間の差異を表している。ロボット制御装置1の判定部115が、作業期間に作業者が作業場所にいないと判定した場合に、作業状況33は「作業者不在」に設定される。ロボット制御装置1の判定部115が、作業の工程が行われた時刻が作業期間外であると判定した場合に、作業状況33は「工程遅れ」に設定される。ロボット制御装置1の判定部115が、作業者が作業情報を確認していないと判定した場合に、作業状況33は「手順未確認」に設定される。作業状況33は、作業状況が作業予定に沿っている場合には、「OK」に設定されてもよく、空欄に設定されてもよい。
【0089】
管理端末3は、
図7に例示した表示態様に限られず、その他の内容、配置及び外観の作業状況判定結果画面を表示してもよい。管理者は、作業状況判定結果画面を参照することによって、作業予定情報が示す作業それぞれについて作業状況が作業予定に沿っているか否かを把握できる。
【0090】
管理端末3は、ロボット制御装置1から作業者の体調変化が有ることを示す判定結果を受信した場合に、体調変化検知画面を表示部に表示させる。
図8は、体調変化検知画面を表示している管理端末3の正面図である。体調変化検知画面は、作業者特定情報34と、体調変化の内容35と、作業者の撮像画像36とを含む。作業者特定情報34は、例えば作業者IDである。
【0091】
体調変化の内容35は、ロボット制御装置1の判定部115が判定した体調変化の内容を表す。例えば、ロボット制御装置1の判定部115が、体温が変化したと判定した場合に、体調変化の内容35は「体温変化あり」に設定される。作業者の撮像画像36は、ロボット制御装置1において、過去に作業状況記憶部123に記憶された作業者の撮像画像、及び作業状況受信部114が受信した作業者の撮像画像である。
【0092】
管理端末3は、
図8に例示した表示態様に限られず、その他の内容、配置及び外観の体調変化検知画面を表示してもよい。管理者は、体調変化検知画面を参照することによって、体調変化が有ると推定された作業者を把握できる。
【0093】
[ロボット制御方法のシーケンス]
図9は、本実施形態に係るロボット制御システムSが実行するロボット制御方法のシーケンス図である。まず管理者は、管理端末3において、作業者による作業の予定を示す作業予定情報と、作業者を特定可能な作業者特定情報とを入力する。ロボット制御装置1において、ロボット制御装置1の作業予定情報設定部111は、管理者によって入力された作業予定情報を、作業者特定情報と関連付けて作業予定情報記憶部121に記憶させる(S11)。
【0094】
取得指示送信部112は、作業予定情報記憶部121に記憶された作業予定情報及び作業者特定情報に基づいて、作業予定情報が示す作業期間の前に、ロボット2に作業状況を取得させる取得指示を生成する(S12)。取得指示送信部112は、作業期間の所定時間前(例えば10分前)に取得指示を生成してもよく、あるいはロボット2の現在位置と作業場所との間の距離に基づいて決定された時刻に取得指示を生成してもよい。取得指示送信部112は、生成した取得指示を、ロボット2へ送信する。
【0095】
取得指示送信部112が取得指示を生成した後、又は取得指示送信部112が取得指示を生成するのと並行して、通知指示送信部113は、ロボットに作業情報を作業者へ通知させる通知指示を生成する(S13)。そして通知指示送信部113は、生成した通知指示を生成し、ロボット2へ送信する。
【0096】
ロボット2において指示受信部211は、ロボット制御装置1から取得指示及び通知指示を受信する。駆動制御部212は、取得指示が含む移動情報に従って駆動部23を駆動させることによって、ロボット2を移動させ、またロボット2又は入力部25の向きを変えさせる(S14)。ロボット2が移動情報に従って移動して向きを変えた後、すなわちロボット2が作業場所に到達した後、作業状況取得部213は、作業予定情報が示す作業期間に、作業予定情報が示す作業場所において、作業者を認識する(S15)。そして作業状況取得部213は、取得指示が示す取得対象の作業状況を取得する(S16)。
【0097】
ロボット制御装置1において、作業状況受信部114は、取得指示送信部112が取得指示を送信したロボット2から作業状況を示す情報を受信し、作業状況記憶部123に記憶させる。判定部115は、作業状況受信部114が受信した作業状況が、作業予定情報記憶部121に記憶された作業予定情報が示す作業予定に沿っているか否かを判定する(S17)。さらに判定部115は、作業者の撮像画像又は声に基づいて、作業者の体調変化の有無を判定する(S18)。
【0098】
出力部116は、判定部115による作業状況が作業予定に沿っているか否かの判定結果を、作業予定情報及び作業者特定情報と関連付けて出力する(S19)。
【0099】
[変形例]
上述の実施形態では、ロボット制御装置1が取得指示をロボット2へ送信することによってロボット2の移動及び作業状況の取得を制御しているが、ロボット2が自律的に移動及び作業状況の取得を行ってもよい。以下では、
図2のロボット制御システムSとの違いを説明する。
【0100】
本変形例において、ロボット2の制御部21は、指示受信部211、駆動制御部212、作業状況取得部213及び作業状況送信部214に加えて、作業予定情報設定部111、取得指示送信部112、通知指示送信部113、判定部115及び出力部116を有する。ただし、取得指示送信部112及び通知指示送信部113が生成する取得指示及び通知指示は、外部に送信されず、ロボット2自体の中で利用される。また、ロボット2の記憶部22は、作業予定情報記憶部121、作業情報記憶部122及び作業状況記憶部123を有する。すなわち、ロボット2は、
図2に示すロボット制御装置1の機能と、
図2に示すロボット2の機能とを合わせ持つ。
【0101】
このような構成により、本変形例に係るロボット制御システムSでは、ロボット2が自律的に作業予定情報に基づいて作業場所に移動し、作業者作業状況を取得し、作業状況が作業予定に沿っているか否かの判定結果を出力できる。
【0102】
[実施形態の効果]
本実施形態に係るロボット制御システムSは、管理者によって設定された作業予定情報に基づいて、ロボット2に作業者の作業状況を取得させ、作業状況が作業予定に沿っているか否かを判定し、判定結果を出力する。そのため、ロボット制御システムSは、ロボット2を利用して、作業者が行う作業の作業予定を管理することができる。管理者は作業場所に行って作業者の作業状況を収集する必要がないため、管理者の負担が軽減され、また管理者が複数の作業場所における作業状況を同時に把握することが可能になる。
【0103】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【0104】
ロボット制御装置1、ロボット2及び管理端末3のプロセッサは、
図9に示すロボット制御方法に含まれる各ステップ(工程)の主体となる。すなわち、ロボット制御装置1、ロボット2及び管理端末3のプロセッサは、
図9に示すロボット制御方法を実行するためのプログラムを記憶部から読み出し、該プログラムを実行してロボット制御システムSの各部を制御することによって、
図9に示すロボット制御方法を実行する。
図9に示すロボット制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。
【符号の説明】
【0105】
S ロボット制御システム
1 ロボット制御装置
11 制御部
112 取得指示送信部
113 通知指示送信部
114 作業状況受信部
115 判定部
116 出力部
12 記憶部
2 ロボット
21 制御部
213 作業状況取得部
22 記憶部
4 無人飛行装置