特開 2024-70031 センシングシステム、センシング方法及び作業ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070031

(43)【公開日】2024-05-22

(54)【発明の名称】センシングシステム、センシング方法及び作業ロボット

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240515BHJP

   G06Q 50/04 20120101ALI20240515BHJP

   G06T 7/20 20170101ALI20240515BHJP

   G06T 7/00 20170101ALI20240515BHJP

【ＦＩ】

B25J13/08 A

G06Q50/04

G06T7/20 300

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022180376

(22)【出願日】2022-11-10

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

3C707

5L049

5L050

5L096

【Ｆターム（参考）】

3C707AS06

3C707BS27

3C707CS08

3C707KS11

3C707KS13

3C707KS36

3C707KT02

3C707KT04

3C707LV02

3C707LV14

3C707LW12

3C707WA03

3C707WA16

5L049CC03

5L050CC03

5L096BA05

5L096DA02

5L096HA02

5L096KA04

(57)【要約】

【課題】従来のロボット制御方法では、作業ロボットの動作を確認し、適切な動作に調整することができない。
【解決手段】センシングシステムでは、第１センサにより取得される第１情報を参照して所定動作を学習する学習部と、学習部による所定動作の学習結果を参照して、作業ロボットに動作指示を与える動作制御情報を生成する動作情報生成部と、第１情報と第２センサにより取得される第２情報とを比較して、作業ロボットのロボット動作が所定動作に近似するように動作制御情報を調整する調整部と、を有する、ことを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

センシング対象の所定動作をセンシングするための第１センサと、
動作指示により動作する作業ロボットと、
前記作業ロボットのロボット動作をセンシングするための第２センサと、
前記第１センサ、前記第２センサ、及び、前記作業ロボットと通信可能な管理制御装置と、を備え、
前記管理制御装置は、
前記第１センサにより取得される第１情報を参照して前記所定動作を学習する学習部と、
前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成する動作情報生成部と、
前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する調整部と、を有する、
ことを特徴とするセンシングシステム。

【請求項2】

前記管理制御装置は、前記第１センサによる前記第１情報の取得と、前記第２センサによる前記第２情報の取得を同時に行う、請求項１に記載のセンシングシステム。

【請求項3】

前記管理制御装置は、前記第１センサによる前記第１情報の取得と、前記第２センサによる前記第２情報の取得を、別々に行う、請求項１に記載のセンシングシステム。

【請求項4】

前記管理制御装置は、前記第１情報、前記第２情報、及び、前記所定動作に関連する作業マニュアル情報を記憶する記憶部を更に有し、
前記動作情報生成部は、前記学習部による前記所定動作の学習結果、及び、前記作業マニュアル情報を参照して、前記動作制御情報を生成する、請求項１～３の何れか一項に記載のセンシングシステム。

【請求項5】

前記動作情報生成部は、前記作業マニュアル情報と相反する前記学習部による前記所定動作の学習結果を、動作制御情報を生成する際に採用しない、請求項４に記載のセンシングシステム。

【請求項6】

前記第１センサ又は前記第２センサは、移動機構を備える移動式ロボットに配置され、
前記移動式ロボットは、前記管理制御装置と通信可能である、
請求項１に記載のセンシングシステム。

【請求項7】

センシング対象の所定動作をセンシングするための第１センサと、
動作指示により動作する作業ロボットと、
前記作業ロボットのロボット動作をセンシングするための第２センサと、
前記第１センサ、前記第２センサ、及び、前記作業ロボットと通信可能な管理制御装置と、を備え、
前記管理制御装置は、
前記第１センサにより取得される第１情報を参照して前記所定動作を学習し、
前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成し、
前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する、
ことを特徴とするセンシング方法。

【請求項8】

動作指示により動作する作業ロボットであって、
センシング対象の所定動作をセンシングするための第１センサと、
前記作業ロボットのロボット動作をセンシングするための第２センサと、
前記第１センサ及び前記第２センサと通信可能な情報処理部と、を備え、
前記情報処理部は、
前記第１センサにより取得される第１情報を参照して前記所定動作を学習する学習部と、
前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成する動作情報生成部と、
前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する調整部と、を有する、
ことを特徴とする作業ロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センシングシステム、センシング方法及び作業ロボットに関する。

【背景技術】

【0002】

近年、例えば工場でのライン作業など、人による作業を作業ロボットに行わせる技術が検討されている。例えば、特許文献１には、作業情報を表現する２次元コードをセンサで読み取ると共に、作業物体を撮像するセンサで作業物体を撮像し、撮像した画像と作業情報とに基づいて、ロボットに作業をさせるための動作情報を生成し、動作情報に基づいてロボットに作業させるロボット制御方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０４２８６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のロボット制御方法では、作業情報に含まれる作業の内容どおりにロボットが動作しているか否かを確認することが困難であった。また、作業の内容を適切に行えていない場合に、ロボットの動作を適切な動作に調整することも困難であった。

【0005】

そこで、本発明は、作業ロボットの動作を確認し、適切な動作に調整することができるセンシングシステム、センシング方法及び作業ロボットを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係るセンシングシステムは、センシング対象の所定動作をセンシングするための第１センサと、動作指示により動作する作業ロボットと、前記作業ロボットのロボット動作をセンシングするための第２センサと、前記第１センサ、前記第２センサ、及び、前記作業ロボットと通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報を参照して前記所定動作を学習する学習部と、前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成する動作情報生成部と、前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する調整部と、を有する、ことを特徴とする。

【0007】

また、本発明に係るセンシング方法は、センシング対象の所定動作をセンシングするための第１センサと、動作指示により動作する作業ロボットと、前記作業ロボットのロボット動作をセンシングするための第２センサと、前記第１センサ、前記第２センサ、及び、前記作業ロボットと通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報を参照して前記所定動作を学習し、前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成し、前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する、ことを特徴とする。

【0008】

また、本発明に係る作業ロボットは、動作指示により動作する作業ロボットであって、センシング対象の所定動作をセンシングするための第１センサと、前記作業ロボットのロボット動作をセンシングするための第２センサと、前記第１センサ及び前記第２センサと通信可能な情報処理部と、を備え、前記情報処理部は、前記第１センサにより取得される第１情報を参照して前記所定動作を学習する学習部と、前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成する動作情報生成部と、前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する調整部と、を有する、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、作業ロボットの動作を確認し、適切な動作に調整することができるセンシングシステム、センシング方法及び作業ロボットが提供される。

【図面の簡単な説明】

【0010】

【図1】（ａ）本発明に係る実施形態１のセンシングシステムでの、システム構成の一例、及び（ｂ）（ａ）に示す人型ロボットの一例を示す図である。

【図2】本発明に係る実施形態１のセンシングシステムでの、構成及び機能の一例を示すブロック図である。

【図3】本発明に係る実施形態１のセンシングシステムでの、管理制御装置の機能の一例を示すブロック図である。

【図4】本発明に係る実施形態１のセンシングシステムでの、各センシング期間の一例を示す図である。

【図5】本発明に係る実施形態１のセンシングシステムの処理を示すフローチャートの一例である。

【図6】図５のステップＳ１０３で示される動作制御情報生成処理の、より詳細な処理を示すフローチャートの一例である。

【図7】図５のステップＳ１０６で示される動作制御情報調整処理の、より詳細な処理を示すフローチャートの一例である。

【図8】（ａ）本発明に係る実施形態１の変形例１に係るセンシングシステムでの、システム構成の一例、及び（ｂ）（ａ）に示す人型ロボットの一例を示す図である。

【図9】本発明に係る実施形態１の変形例１に係るセンシングシステムでの、人型ロボットの機能の一例を示すブロック図である。

【図10】本発明に係る実施形態１の変形例２に係るセンシングシステムでの、システム構成の一例を示す図である。

【図11】（ａ）本発明に係る実施形態１の変形例３に係るセンシングシステムでの、システム構成の一例、及び（ｂ）（ａ）に示すセンサ取付部材の一例を示す図である。

【図12】本発明に係る実施形態１の変形例３に係るセンシングシステムでの、構成及び機能の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、センシングシステム、センシング方法及び移動式ロボットについて説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0012】

（実施形態１）
図１は、センシングシステムを説明するための図である。

【0013】

図１（ａ）は、本発明に係る実施形態１のセンシングシステムでの、システム構成の一例を示す図である。センシングシステムでは、移動式ロボットとして機能する第１人型ロボット２０ａ及び第２人型ロボット２０ｂと、作業ロボットとして機能する第３人型ロボットと２０ｃと、を備える。なお、移動式ロボット及び作業ロボットとして機能する人型ロボットの数はこれに限定されない。

【0014】

第１人型ロボット２０ａは、後述する管理制御装置６０（図２参照）からの指示を受け、又は第１人型ロボット２０ａに設けられた第１情報処理装置２５ａ（図２参照）からの指示により、作業場２００の作業ライン２０１で作業する作業員４００の付近に移動する。センシングシステムは、第１人型ロボット２０ａに備えられた第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）により、作業員４００の所定動作をセンシングする。所定動作は多岐にわたり、例えば部品の組付けや部品の移動、製品の塗装、作業員自身の移動等が挙げられる。なお、作業員４００のセンシングにあたっては、既知の画像認識技術を用いてもよいし、学習部６６３（図３参照）による学習によって作業員４００やその所定動作を認識してもよい。後述する作業ロボットのセンシングについても同様である。

【0015】

センシングシステムは、第１センサとして機能する第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）により取得される第１情報を参照して、作業員４００の所定動作を学習する。また、センシングシステムは、所定動作の学習結果を参照して、第３人型ロボット２０ｃに動作指示を与える動作制御情報を生成する。

【0016】

第２人型ロボット２０ｂは、管理制御装置６０からの指示を受け、又は第２人型ロボット２０ｂに設けられた第２情報処理装置からの指示により、作業場２００の作業ライン２０１で作業する第３人型ロボット２０ｃの付近に移動する。同様に、第３人型ロボット２０ｃは、管理制御装置６０からの指示を受け、又は第３人型ロボット２０ｃに設けられた第３情報処理装置からの指示により、作業場２００の作業員４００の付近に移動する。

【0017】

センシングシステムは、動作制御情報を参照して第３人型ロボット２０ｃを作動させる。また、センシングシステムは、第２人型ロボット２０ｂに備えられた第２ロボット用センサ２３ｂ（第２ロボット用撮像装置２４ｂ）により、第３人型ロボット２０ｃのロボット動作をセンシングする。これにより、本センシングシステムでは、作業ロボットとして機能する第３人型ロボット２０ｃのロボット動作を確認することができる。

【0018】

センシングシステムは、第１情報と、第２センサとして機能する第２ロボット用センサ２３ｂ（第２ロボット用撮像装置２４ｂ）により取得される第２情報とを比較して、第３人型ロボット２０ｃのロボット動作が所定動作に近似するように動作制御情報を調整する。これにより、第３人型ロボット２０ｃのロボット動作を適切な動作に調整することが可能となる。

【0019】

図１（ｂ）は、（ａ）に示す人型ロボット２０の一例を示す図である。移動式ロボット及び作業ロボットとして機能する人型ロボット２０は、ロボット本体２１と、ロボット移動機構２２と、ロボット用センサ２３と、ロボット用センサ２３に含まれるロボット用撮像装置２４と、情報処理装置２５と、ロボット腕部２６と、を備える。

【0020】

人型ロボット２０は、ロボット本体２１の下方に設けられたロボット移動機構２２により移動することが可能であり、例えば管理制御装置６０といった人型ロボット２０の外部から指示を受けて、あるいは情報処理装置２５に記憶されたプログラムを参照して、作業場２００の作業ライン２０１付近に移動する。

【0021】

ロボット本体２１は、ロボット胴体２１１と、ロボット頭部２１２とを備える。ロボット胴体２１１とロボット頭部２１２とは、胴体／頭部駆動機構を構成し、ロボット用センサ２３（ロボット用撮像装置２４）のセンシング領域２３０（撮像領域２４０）を変更することが可能である。駆動機構の構成は特に限定されず、例えば図示しないサーボモータにより、ロボット頭部２１２がロボット胴体２１１に対して所定角度回転したり、ロボット胴体２１１がロボット移動機構２２に対して所定角度回転したりする構成であってもよい。

【0022】

ロボット胴体２１１の下方にはロボット移動機構２２、ロボット胴体２１１の側方にはロボット腕部２６、ロボット頭部２１２にはロボット用センサ２３がそれぞれ設けられている。また、ロボット本体２１の内部には、情報処理装置２５が設けられている。

【0023】

ロボット移動機構２２は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。一例として、ロボット移動機構２２を人の脚の形状に似せた構成にする場合、人の関節に相当する箇所にサーボモータを設けて、所定角度回転させることで移動機構を構成する。

【0024】

第１センサ及び第２センサとして機能するロボット用センサ２３は、好ましくはロボット頭部２１２に設けられ、作業員４００や作業ロボットをセンシングする。また、ロボット用センサ２３は、人型ロボット２０の周辺にある、人型ロボット２０が作業する物体とロボット腕部２６との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ２３の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・３６０度・高性能カメラ、レーダー、ソリッドステートＬｉＤＡＲ、ＬｉＤＡＲ、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置２４の一例でもある。また他には、ロボット用センサ２３の他の一例としては、振動計、硬度計、微小振動計、超音波測定器、振動測定器、赤外線測定器、紫外線測定器、電磁波測定器、温度計、湿度計、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、又はロングテールインシデントＡＩ ｄａｔａ等が挙げられる。

【0025】

ロボット用センサ２３から取得するセンサ情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、電波、紫外線、赤外線、湿度等が挙げられ、好ましくはロボット用撮像装置２４により、画像、距離の情報が取得される。ロボット用センサ２３（ロボット用撮像装置２４）は、これらのセンシングを、一例としてナノ秒毎に実施する。センサ情報は、例えば、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。

【0026】

ロボット腕部２６は、右腕部２６１と左腕部２６２とを備える。また、右腕部２６１は、右把持支持部２６３及び右把持部２６５を、左腕部２６２は、左把持支持部２６４及び左把持部２６６を、それぞれ備える。右把持支持部２６３は右把持部２６５を、左把持支持部２６４は左把持部２６６を、それぞれ支持するための機構であり、一例としては人の腕に形状を似せたものであってもよい。把持部２６５、２６６は、例えば作業用の部品等を把持するための機構であり、一例としては人の手の形状に似せたものであってもよい。

【0027】

ロボット腕部２６は、腕部駆動機構を構成する。駆動機構の構成は特に限定されず、例えば、ロボット腕部２６を人の形状に似せる場合、サーボモータを、人の肩に相当する箇所、肘に相当する箇所、手首に相当する箇所、指関節に相当する箇所等の各関節箇所に設け、所定角度回転させる構成を採用してもよい。

【0028】

なお、人型ロボット２０は、例えばロボット胴体部２１１にセンサをさらに設けてもよい（図８（ｂ）参照）。この場合、当該センサは、ロボット頭部２１２に設けられたロボット用センサ２３とは、その高さ位置が異なる。高さ位置が異なることで、センサは作業員４００の動作を異なる角度からセンシングすることができる。

【0029】

図２は、本実施形態のセンシングシステム１００での、構成及び機能の一例を示すブロック図である。

【0030】

センシングシステム１００は、第１人型ロボット２０ａと、第２人型ロボット２０ｂと、第３人型ロボット２０ｃと、管理制御装置６０と、を含んで構成されている。第１人型ロボット２０ａ、第２人型ロボット２０ｂ及び第３人型ロボット２０ｃは、管理制御装置６０の通信部６４と、各々無線又は有線通信を介して接続され、管理制御装置６０からの指示を受けると共に、各センサにより取得される情報を送信する。なお、各人型ロボット２０ａ～ｃ同士も、無線又は有線通信を介して接続され、各センサにより取得される情報や指示を送受信してもよい。

【0031】

移動式ロボットとして機能する第１人型ロボット２０ａは、第１移動機構２２ａと、第１センサとして機能する第１ロボット用センサ２３ａと、第１ロボット用センサ２３ａに含まれる第１ロボット用撮像装置２４ａと、第１情報処理装置２５ａと、第１胴体／頭部駆動機構２１ａと、第１腕部駆動機構２６ａと、を備える。本実施形態では、移動式ロボットとして機能する第２人型ロボット２０ｂ及び作業ロボットとして機能する第３人型ロボット２０ｃも、その構成は第１人型ロボット２０ａと同一である。

【0032】

本実施形態による第１情報処理装置２５ａは、ＣＰＵ（Central Processing Unit）１２１２、ＲＡＭ（Random Access Memory）１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。第１情報処理装置２５ａはまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。第１情報処理装置２５ａはまた、ＲＯＭ（Read Only Memory）１２３０及びキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0033】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0034】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、第１情報処理装置２５ａ内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。また、記憶装置１２２４は、第１情報及び第２情報を記憶してもよい。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0035】

ＲＯＭ１２３０はその中に、アクティブ化時に第１情報処理装置２５ａによって実行されるブートプログラム等、及び／又は第１情報処理装置２５ａのハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0036】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、第１情報処理装置２５ａに読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、第１情報処理装置２５ａの使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0037】

例えば、通信が第１情報処理装置２５ａ及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0038】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0039】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。

【0040】

上で説明したプログラム又はソフトウエアモジュールは、第１情報処理装置２５ａ上又は第１情報処理装置２５ａ近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して第１情報処理装置２５ａに提供する。

【0041】

本実施形態におけるフローチャート及び図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表してよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0042】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0043】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0044】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0045】

ここまで説明してきた内容は、第２人型ロボット２０ｂ及び第３人型ロボット２０ｃのそれぞれに備えられた情報処理装置についても同様である。

【0046】

管理制御装置６０は、センシングシステム１００を実現するため、人型ロボット２０ａ～ｃに対して指示を与える制御装置である。また、管理制御装置６０は、記憶装置１２２４に蓄積されたセンサ情報（第１情報及び第２情報）を取得する。

【0047】

管理制御装置６０は、ＣＰＵ６０Ａ、ＲＡＭ６０Ｂ、ＲＯＭ６０Ｃ、入出力部（Ｉ／Ｏ）６０Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス６０Ｅ、並びに通信部６８で構成されている。Ｉ／Ｏ６０Ｄには、記憶媒体６２が接続されている。

【0048】

また、Ｉ／Ｏ６０Ｄには、人型ロボット２０の制御系との間で、センサ情報や作業員４００の所定動作に関連する作業マニュアル情報、工程表情報等を送受信する通信部６４が接続されている。作業マニュアル情報には、例えば各作業項目の名称及び内容、作業項目の順序、各作業項目に要する標準的な作業時間の情報等が含まれる。また、工程表情報には、例えば作業全体の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業員を示す情報等が含まれる。

【0049】

図３は、本実施形態のセンシングシステムでの、管理制御装置６０の機能の一例を示すブロック図である。

【0050】

管理制御装置６０は、記憶媒体６２と、通信部６４と、処理部６６とを備える。

【0051】

記憶媒体６２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶媒体６２は、処理部６６での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶媒体６２は、第１情報及び第２情報を記憶する。また、記憶媒体６２は、作業員４００の作業マニュアル情報を記憶する。なお、記憶媒体６２は、工程表情報を記憶してもよい。

【0052】

通信部６４は、Ｗｉ－Ｆｉ（登録商標）等の無線の通信インタフェース回路及び／又はイーサネット（登録商標）等の有線の通信インタフェース回路を有する。通信部６４は、人型ロボット２０ａ～ｃと、インタフェース回路を通じて各種情報を送受信する。

【0053】

処理部６６は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部６６は、センシングシステム１００の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部６６は、記憶媒体６２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）を参照して処理を実行する。また、処理部６６は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

【0054】

処理部６６は、判定部６６１と、調整部６６２と、学習部６６３と、動作情報生成部６６４と、を備える。これらの各部は、処理部６６が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして処理部６６に実装されてもよい。

【0055】

判定部６６１は、所定動作に関連するマニュアル情報の有無を判定し、作業マニュアル情報がある場合に、所定動作の学習結果が作業マニュアル情報と相反するか判定する。

【0056】

調整部６６２は、第１情報と第２情報とを比較して、第３人型ロボット２０ｃのロボット動作が所定動作に近似するように動作制御情報を調整する。好ましくは、調整部６６２は、オーバーラップ期間に、ロボット動作が所定動作に近似するように動作制御情報を調整する。オーバーラップ期間は、第１センシング期間と第２センシング期間とが重なる期間である。ここで、第１センシング期間は、第１センサとして機能する第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）が作業員４００をセンシングして第１情報を取得する期間である。また、第２センシング期間は、第２センサとして機能する第２ロボット用センサ２３ｂ（第２ロボット用撮像装置２４ｂ）が第３人型ロボット２０ｃのロボット動作をセンシングして第２情報を取得する期間である。すなわち、オーバーラップ期間は、第１情報の取得と第２情報の取得とが同時に行われる期間である。

【0057】

学習部６６３は、記憶媒体６２及び／又は記憶装置１２２４に記憶された第１情報を参照して作業員４００の所定動作を学習する。この学習は、例えば、学習済みモデルを自動的に作成したり、学習済みモデルを使用して判定／解析を自動的に行ったりする学習である自動学習により行われる。

【0058】

動作情報生成部６６４は、学習部６６３による作業員４００の所定動作の学習結果を参照して、作業ロボットとして機能する第３人型ロボット２０ｃに動作指示を与える動作制御情報を生成する。動作情報生成部６６４は、動作制御情報を生成する際、作業マニュアル情報を参照してもよい。これにより、作業員４００の所定動作に不適切なものがあっても、その所定動作は反映させず、適切な動作（作業）を第３人型ロボット２０ｃに行わせることが可能となる。

【0059】

図４は、本センシングシステム１００での、各センシング期間の一例を示す図である。本センシングシステム１００では、オーバーラップ期間が生じるよう、第１センサがセンシングし、かつ第２センサがセンシングする。このようなセンシングは、管理制御装置６０の指示による。

【0060】

本センシングシステム１００では、作業員４００の所定動作のセンシング最中（すなわち第１センシング期間）から第３人型ロボット２０ｃのロボット動作を開始させると共に、第３人型ロボット２０ｃのロボット動作のセンシング最中（すなわち第２センシング期間）に、調整部６６２は、当該ロボット動作が作業員４００の所定動作に近似するように動作制御情報を調整する。これにより、作業用ロボットである第３人型ロボット２０ｃのロボット動作を、その場で調整していくことが可能となる。

【0061】

（本発明に係る実施形態１のセンシングシステムの処理）
図５は、本実施形態のセンシングシステムの処理を示すフローチャートの一例である。

【0062】

まず、管理制御装置６０の指示により、あるいは記憶媒体６２又は記憶装置１２２４に記憶されたプログラムの読み出し指示により、各人型ロボット２０の情報処理装置は、移動式ロボット及び作業ロボットとして機能する複数台（本実施形態では３台）の人型ロボット２０を作業場２００に移動するよう指示する（ステップＳ１０１）。移動は、各人型ロボット２０のロボット移動機構２２の作動による。

【0063】

移動に際しては、第１人型ロボット２０ａに備えられた第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）のセンシング領域２３０ａ（撮像領域２４０ａ）が作業員４００を対象とする一方、第２人型ロボット２０ｂに備えられた第２ロボット用センサ２３ｂ（第２ロボット用撮像装置２４ｂ）のセンシング領域２３０ｂ（撮像領域２４０ｂ）が第３人型ロボット２０ｃを対象とするよう、指示が与えられる。このような複数台の人型ロボット２０の配置は、例えば予め作業場２００のフロア図面を記憶装置１２２４及び／又は記憶媒体６２に記憶させ、各人型ロボット２０の位置を、当該記憶されたフロア図面に対応付けることにより行われる。あるいは、人型ロボット２０の配置は、機械学習を通じて最適化された位置に基づいてもよい。

【0064】

次に、第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）により、作業員４００の作業ライン２０１での所定動作がセンシングされる（ステップＳ１０２）。本実施形態では、処理部６６は、第１センサ２３ａ（第１撮像装置２４ａ）のセンシング領域２３０ａ（撮像領域２４０ａ）が作業員４００の所定動作を対象とするよう指示を与え、これを受けて第１情報処理装置２５ａは、第１人型ロボット２０ａの第１移動機構２２ａや胴体／頭部駆動機構２１ａを作動させる。

【0065】

第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）により取得される第１情報は、記憶装置１２２４及び／又は通信部６４を介して記憶媒体６２に記憶される。記憶装置１２２４及び記憶媒体６２は、記憶部として機能する。

【0066】

管理制御装置６０は、記憶部に蓄積された、言い換えると記憶された第１情報を参照して所定動作を学習し、学習結果を参照して、作業ロボットとして機能する第３人型ロボット２０ｃに動作指示を与える動作制御情報を生成する（ステップＳ１０３）。Ｓ１０３は、好ましくは第１センシング期間に実施される。これにより、センシングシステム１００は、作業のために作業員４００が所定動作している段階から、第３人型ロボット２０ｃを作動させることが可能となる。

【0067】

管理制御装置６０は、動作制御情報を参照して第３人型ロボット２０ｃを作動させる（ステップＳ１０４）。第３人型ロボット２０ｃは、動作制御情報により与えられた動作指示により動作する。

【0068】

動作制御情報による第３人型ロボット２０ｃのロボット動作（Ｓ１０４）に前後して、第２ロボット用センサ２３ｂ（第２ロボット用撮像装置２４ｂ）により、第３人型ロボット２０ｃのロボット動作がセンシングされる（ステップＳ１０５）。これにより、第３人型ロボット２０ｃのロボット動作を確認することができる。

【0069】

本実施形態では、処理部６６は、第２ロボット用センサ２３ｂ（第２ロボット用撮像装置２４ｂ）のセンシング領域２３０ｂ（撮像領域２４０ｂ）が第３人型ロボット２０ｃのロボット動作を対象とするよう指示を与え、これを受けて、第２人型ロボット２０ｂの第２情報処理装置は、第２人型ロボット２０ｂの第２移動機構や第２胴体／頭部駆動機構を作動させる。第２センサ２３ｂ（第２撮像装置２４ｂ）により取得される第２情報は、記憶部に記憶される。

【0070】

管理制御装置６０は、ロボット動作が所定動作に近似するように動作制御情報を調整する（ステップＳ１０６）。好ましくは、ステップＳ１０６は、オーバーラップ期間に実施される。これを実現するため、管理制御装置６０は、第１センサによる第１情報の取得と、第２センサによる第２情報の取得を同時に行う。これにより、センシングシステム１００は、作業員４００が所定動作している段階から、第３人型ロボット２０ｃのロボット動作を作業員４００の所定動作に近似するよう調整することができる。

【0071】

図６は、図５のステップＳ１０３で示される動作制御情報生成処理の、より詳細な処理を示すフローチャートの一例である。

【0072】

第１情報は記憶部に記憶される（ステップＳ２０１）ところ、学習部６６３は、記憶部に記憶された第１情報を参照して、作業員４００の所定動作を学習する（ステップＳ２０２）。学習においては、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析が行われ、自動学習により作業ロボットとしても機能可能な人型ロボット２０の最適な動作が学習される。これにより、作業員４００の所定動作を一度に多角的な面から分析することが可能となり、作業員４００の動作分析やプログラミングに掛かる時間及びコストを削減することができる。

【0073】

ここで、判定部６６１は、所定動作に関連するマニュアル動作情報の有無を判定する（ステップＳ２０３、Ｓ２０４）。所定動作に関連するマニュアル動作情報がない場合（Ｓ２０４－ＮＯ）、動作情報生成部６６４は、学習部６６３による所定動作の学習結果を参照して（ステップＳ２０８）、第３人型ロボット２０ｃに動作指示を与える動作制御情報を生成する（ステップＳ２０９）。そして、処理部６６は、動作制御情報を参照して第３人型ロボット２０ｃを作動させる（ステップＳ２１０）。これにより、第３人型ロボット２０ｃは、作業員４００の作業（所定動作）に対応するロボット動作を行うことが可能となる。

【0074】

他方、所定動作に関連するマニュアル動作情報がある場合（Ｓ２０４－ＹＥＳ）、判定部６６１は、所定動作の学習結果が作業マニュアル情報と相反するか判定する（ステップＳ２０５、Ｓ２０６）。判定部６６１により所定動作の学習結果が作業マニュアル情報と相反すると判定される場合（Ｓ２０６－ＹＥＳ）、作業員４００の動作が作業マニュアル情報に含まれる作業項目の内容に適さない動作となっていた可能性がある。そこで、所定動作の学習結果が作業マニュアル情報と相反すると判定される場合には、動作情報生成部６６４は、所定動作の学習結果を、動作制御情報を生成する際に採用しない（ステップＳ２０８）。この場合、動作情報生成部６６４は、作業マニュアル情報を参照して（ステップＳ２０７）動作制御情報を生成する（ステップＳ２０９）。そして、処理部６６は、動作制御情報を参照して第３人型ロボット２０ｃを作動させる（ステップＳ２１０）。これにより、作業員４００による不要ないしは不適切な所定動作が動作制御情報に反映されることを抑制し、適切な動作を第３人型ロボット２０ｃに行わせることが可能となる。

【0075】

図７は、図５のステップＳ１０６で示される動作制御情報調整処理の、より詳細な処理を示すフローチャートの一例である。

【0076】

第２情報は記憶部に記憶される（ステップＳ３０１）ところ、調整部６６２は、第１情報と第２情報と比較し（ステップＳ３０２）、ロボット動作が所定動作に近似するように動作制御情報を調整する（ステップＳ３０３）。すなわち、第３人型ロボット２０ｃのロボット動作が作業員４００の所定動作と近似するよう調整される。

【0077】

（実施形態１に係るセンシングシステムの作用効果）
本実施形態に係るセンシングシステム１００によれば、作業員４００の所定動作をセンシングする第１センサにより取得される第１情報と、作業ロボットをセンシングする第２センサにより取得される第２情報とを比較して、作業ロボットのロボット動作が所定動作に近似するように動作制御情報が調整される。これにより、作業ロボットのロボット動作を確認しつつ、作業ロボットの動作を適切なものに調整することができる。

【0078】

一例として、作業員４００が同じ所定動作を繰り返し行うような作業の場合、まず作業員４００に１回目の所定動作をさせ、センシングシステム１００は第１情報を取得する。そして、作業員４００が２回目の所定動作を行っている間に、センシングシステム１００は、動作制御情報を生成して作業ロボットを作動させる。この最中にも作業員４００が２回目の所定動作を行っていることから、センシングシステム１００は、２回目の所定動作による第１情報に基づいて動作制御情報を生成し、作業ロボットのロボット動作が作業員４００の所定動作に近似するように動作制御情報を調整する。これを繰り返すことで、センシングシステム１００は作業ロボットのロボット動作が作業員４００の所定動作に近似するようにロボット動作を調整することが可能となる。

【0079】

また、本実施形態に係るセンシングシステム１００によれば、管理制御装置６０は、第１情報の取得と、第２情報の取得を同時に行うことから、作業ロボットと作業員４００の所定動作を照合しながら、作業ロボットの動作をその場で調整することが可能なシステムを提供することができる。

【0080】

また、本実施形態に係るセンシングシステム１００によれば、動作制御情報生成の際に、作業マニュアル情報が参照された上で、動作制御情報が生成される。作業員４００は、いつでも作業に忠実な動作をするとは限らず、場合によっては無駄な動作をしたり、あるいは必要な動作を省いたりすることもある。そこで、作業マニュアル情報を参照することで、適切な動作情報を動作制御情報に反映させることができ、作業ロボットをより適切に動作させるよう調整することを可能とする。

【0081】

さらに、本実施形態に係るセンシングシステム１００によれば、作業マニュアル情報と相反する学習部６６３による所定動作の学習結果を、動作制御情報を生成する際に採用しない。これにより、作業員４００による不要ないしは不適切な所定動作が動作制御情報に反映されることを抑制することができる。

【0082】

（実施形態１の変形例１）
図８は、本実施形態の変形例１に係るセンシングシステムの一例を示す図である。

【0083】

図８（ａ）本発明に係る実施形態１の変形例１に係るセンシングシステムでの、システム構成の一例を示す図である。本センシングシステムでは、作業ロボットとして機能する人型ロボット２０'において、頭部センサ２３'（頭部撮像装置２４''）が第１センサとして機能すると共に、第２センサとして機能する胴体センサ２３''（胴体撮像装置２４''）が人型ロボット２０'に設けられている点が特徴となっている。また、本センシングシステムでは、管理制御装置６０は必ずしも必要ではなく、人型ロボット２０'単体でセンシングシステムを構成することができる。

【0084】

図８（ｂ）は、図８（ａ）に示す作業ロボットの一例を示す図である。作業ロボットとして機能する人型ロボット２０'は、胴体センサ２３''(胴体撮像装置２４''）を備える以外には、第１人型ロボット２０ａと同様の構成である。具体的には、人型ロボット２０'は、ロボット本体２１'と、ロボット移動機構２２'と、頭部センサ２３'と、頭部センサ２３'に含まれる頭部撮像装置２４'と、胴体センサ２３''と、胴体センサ２３''に含まれる胴体撮像装置２４''と、情報処理装置２５'と、ロボット腕部２６'と、を備える。

【0085】

ロボット本体２１'は、ロボット胴体２１１'と、ロボット頭部２１２'とを備える。ロボット胴体２１１'とロボット頭部２１２'とは、胴体／頭部駆動機構２１'（図９参照）を構成し、頭部センサ２３'（頭部撮像装置２４'）のセンシング領域２３０'（撮像領域２４０'）及び胴体センサ２３''（胴体撮像装置２４''）のセンシング領域２３０''（撮像領域２４０''）を変更することが可能である。

【0086】

頭部センサ２３'（頭部撮像装置２４'）は第１センサとして機能し、胴体センサ２３''（胴体撮像装置２４''）は第２センサとして機能する。胴体センサ２３''（胴体撮像装置２４''）は、例えば、ロボット動作としてロボット腕部２６'の動作をセンシングする。頭部センサ２３'（頭部撮像装置２４'）と胴体センサ２３''（胴体撮像装置２４''）とは、高さ位置が異なる箇所に配置されることから、第２センサとして機能する胴体センサ２３''（胴体撮像装置２４''）は、頭部センサ２３'（頭部撮像装置２４'）と異なる位置からセンシング対象の所定動作をセンシングすることとなる。なお、頭部センサ２３'（頭部撮像装置２４'）と胴体センサ２３''（胴体撮像装置２４''）との役割は、逆であってもよい。

【0087】

図９は、本センシングシステム１００'での、作業ロボットの機能の一例を示すブロック図である。センシングシステム１００'では、情報処理装置２５'は、情報処理部６６'と、通信インタフェース１２２２'と、記憶装置１２２４'とを備え、情報処理部６６'は、判定部６６１'と、調整部６６２'と、学習部６６３'と、動作情報生成部６６４'と、を備える。すなわち、センシングシステム１００'では、情報処理部６６'が管理制御装置６０の処理部６６と同様の処理を行う。なお、情報処理装置２５'は、頭部センサ２３'（頭部撮像装置２４'）、胴体センサ２３''（頭部撮像装置２４''）、第１移動機構２２'、頭部／胴体駆動機構２１'及び腕部駆動機構２６'と通信可能に構成されている。

【0088】

センシングシステム１００'の人型ロボット２０'は、情報処理装置２５'に情報処理部６６'が備えられていることから、人型ロボット２０'単体でセンシングシステムを構成する。

【0089】

図８を参照して、例えば人型ロボット２０'の調整部６６２'は、第１センサとして機能する頭部センサ２３'（頭部撮像装置２４'）が作業員４００の所定動作を、第２センサとして機能する胴体センサ２３''（胴体撮像装置２４''）が人型ロボット２０'の腕部２６'をそれぞれセンシングするよう指示する。そして、各センサで取得されるセンサ情報（第１情報及び第２情報）から、学習部６６３'の学習を通じて動作制御情報が生成され、調整部６６２'は、第１情報と第２情報とを比較し、人型ロボット２０'のロボット動作が作業員４００の所定動作に近似するように動作制御情報を調整する。

【0090】

（変形例１の作用効果）
本センシングシステムによれば、人型ロボット２０'は単独でセンシングシステムを構成することができることから、例えば、管理制御装置６０との通信ができないような場所においても、作業ロボットのロボット動作を確認しつつ、ロボット動作を適切な動作に調整することが可能となる。

【0091】

また、本人型ロボット２０'は、複数（本変形例では２つ）のセンサ（撮像装置）を備えていることから、例えば、作業員４００をセンシングするには狭い場所においても、作業ロボットのロボット動作を確認しつつ、ロボット動作を適切な動作に調整することが可能となる。

【0092】

なお、本センシングシステムにおいて、作業ロボットとして機能する人型ロボットは、必ずしも１台である必要はなく、複数台であってもよい。この場合、人型ロボットの数が増えるだけ、作業を行う人型ロボットが増えることとなり、一度に多くの作業を同時並行的に処理することができる。

【0093】

（実施形態１の変形例２）
図１０は、本実施形態の変形例２に係るセンシングシステムでの、システム構成の一例を示す図である。

【0094】

本センシングシステムでは、変形例１で説明した人型ロボット２０'と同一の機能を有する第１人型ロボット２０ａが、作業員４００及び作業ロボットとして機能する第３人型ロボット２０ｃをセンシングする点が特徴となっている。具体的には、第１人型ロボット２０ａの頭部センサ２３ａ１（頭部撮像装置２４ａ１）のセンシング領域２３０ａ１（撮像領域２４０ａ１）が第３人型ロボット２０ｃを、第１人型ロボット２０ａの胴体センサ２３ａ２（胴体撮像装置２４ａ２）のセンシング領域２３０ａ２（撮像領域２４０ａ２）が作業員４００を、それぞれ対象とするよう指示が与えられる。なお、本センシングシステムでも、第１人型ロボット２０ａと第３人型ロボット２０ｃとが通信可能に構成されていれば、管理制御装置６０は必ずしも必要ではない。また、頭部センサ２３ａ１（頭部撮像装置２４ａ１）と胴体センサ２３ａ２（胴体撮像装置２４ａ２）の各センシング領域は、上記と逆の構成であってもよい。

【0095】

本センシングシステムでは、第３人型ロボット２０ｃの全体をセンシングすることができるため、変形例１と比較すると、第３人型ロボット２０ｃのロボット動作をより確認しやすく、適切に制御しやすいという利点を有する。

【0096】

なお、変形例１も、第１人型ロボット２０ａを配置する空間がない場合には、変形例２よりもセンシングシステムを構成しやすいという利点を有する。また、第１人型ロボット２０ａと第３人型ロボット２０ｃとの通信構成を備える必要がなく、かつ人型ロボットを一体省略できる点でも、変形例２より利点を有する。

【0097】

（実施形態１の変形例３）
図１１は、本実施形態の変形例３に係るセンシングシステムの一例を示す図である。

【0098】

図１１（ａ）は、実施形態１の変形例３に係るセンシングシステムでの、システム構成の一例を示す図である。本センシングシステムでは、移動式ロボットとして機能する第１人型ロボット２０ａが、センサ取付部材３０を把持する点が特徴となっている。

【0099】

図１１（ｂ）は、（ａ）に示すセンサ取付部材の一例を示す図である。センサ取付部材３０は、取付部材本体３１と、取付部材移動機構３２と、取付部材用センサ３３と、取付部材用撮像装置３４と、を備える。センサ取付部材３０は、取付部材本体３１の下方に設けられた取付部材移動機構３２により移動することが可能である。もっとも、取付部材移動機構３２は設けられなくてもよい。

【0100】

取付部材本体３１は、例えば棒状ないしは杖状の部材であり、その材料は特に限定されない。取付部材本体３１の長さは、人型ロボット２０の高さ（背丈）よりも長く、例えば２．１メートルである。取付部材本体３１には、その下方、好ましくは下端に取付部材移動機構３２、取付部材本体３１の上方、好ましくは上端に取付部材用センサ３３が設けられている。

【0101】

取付部材移動機構３２は、例えばキャスター等の回転体を設けた構成からなり、人型ロボット２０の移動に合わせて、センサ取付部材３０が移動することを補助する。なお、本実施形態においては、センサ取付部材３０は自律して移動することを想定していないが、取付部材移動機構３２に指示を与える取付部材制御部（不図示）を設け、取付部材制御部からの信号に基づき取付部材移動機構３２を動かす構成であってもよい。

【0102】

図１１（ａ）も参照して、第１センサとして機能する取付部材用センサ３３（取付部材用撮像装置３４）は、取付部材本体３１の上方に設けられ、作業員４００をセンシングする。取付部材用センサ３３の一例は、ロボット用センサ２３と同様であり、また取付部材用撮像装置３４の一例も、ロボット用撮像装置２４の一例と同様である。加えて、取得されるセンサ情報の一例もロボット用センサ２３と同様であり、センサ情報のセンシングタイミングの一例もロボット用センサ２３と同様である。

【0103】

取付部材用撮像装置３４は、取付部材用センサ３３に含まれる。また、取付部材用撮像装置３４を含む取付部材用センサ３３は、人型ロボット２０の高さ（背丈）よりも高い位置に配置されている。これにより、取付部材用センサ３３はロボット用センサ２３よりも高い位置から作業員４００の動作をセンシングすることができる。

【0104】

図１２は、実施形態１の変形例３に係るセンシングシステムでの、構成及び機能の一例を示す図である。センシングシステム１００''において、センサ取付部材３０は、第１人型ロボット２０ａの第１情報処理装置と、無線又は有線を介して通信可能に構成される。もっとも、センサ取付部材３０は、第１情報処理装置の代わりに又は共に、管理制御装置６０の通信部６４と通信可能に構成されてもよい。なお、センシングシステム１００''の第１人型ロボット２０ａ、作業ロボットとして機能する第３人型ロボット２０ｃ及び管理制御装置６０の構成は、センシングシステム１００のそれらと同様である。

【0105】

図１１も参照して、第１人型ロボット２０ａは、腕部駆動機構を構成するロボット腕部の一部である右把持部（又は左把持部）により、センサ取付部材３０を把持する。センサ取付部材３０の取付部材用センサ３３（取付部材用撮像装置３４）は、腕部駆動機構によりそのセンシング領域３３０（撮像領域３４０）を変更することが可能である。

【0106】

センシングシステム１００''では、例えば、管理制御装置６０の処理部は、第１センサとして機能する取付部材用センサ３３（取付部材用撮像装置３４）が作業員４００を、第２センサとして機能する第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）が第３人型ロボット２０ｃをそれぞれセンシングするよう指示する。そして、各センサで取得されるセンサ情報（第１情報及び第２情報）から、管理制御装置６０の学習部の学習を通じて動作制御情報がそれぞれ生成され、管理制御装置６０の調整部は、第１情報と第２情報とを比較し、第３人型ロボット２０ｃのロボット動作が作業員４００の所定動作と近似するように動作制御情報を調整する。なお、取付部材用センサ３３（取付部材用撮像装置３４）と第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）との役割（第１センサ及び第２センサとしての機能）は、逆であってもよい。すなわち、第１ロボット用センサ２３ａ（第１ロボット用撮像装置２４ａ）が作業員４００を、取付部材用センサ３３（取付部材用撮像装置３４）が第３人型ロボット２０ｃを、それぞれセンシングするよう指示する構成であってもよい。

【0107】

（変形例３の作用効果）
本センシングシステムによれば、取付部材用センサ３３（取付部材用撮像装置３４）を第２センサとして構成していることから、例えば、作業員４００をセンシングする際に、移動式ロボットとして機能する人型ロボットを複数台設置するには狭い場所においても、作業ロボットの動作を確認しつつ、適切に制御することが可能となる。

【0108】

また、本センシングシステムによれば、センサ取付部材３０は、人型ロボット２０の高さ（背丈）よりも高い位置に取付部材用センサ３０（取付部材用撮像装置４０）が配置されている。そのため、作業員４００（あるいは作業ロボット）の動作を、より俯瞰的な位置からセンシングすることができ、例えば作業員４００や作業ロボットの背中によりセンシングしにくいといった事態を回避しやすく、作業員４００や作業ロボットの作業の学習に必要なデータを効率よく取得することができる。

【0109】

なお、本センシングシステムにおいても、移動式ロボットとして機能する人型ロボットは１台でなくてよく、センサ取付用部材も１つだけでなくてよい。例えば、２つのセンサ取付用部材を両保持部２６５、２６６により保持した人型ロボット２０を複数台備えていてもよい。この場合も、センサの数を増加させることができ、一度にセンサ情報を多く取得することが可能となる。また、作業ロボットとして機能する人型ロボットも、１台でなくてよい。

【0110】

以上、本発明の実施の形態について説明したが、本発明は、上述した本発明の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0111】

本実施形態のセンシングシステム１００では、センサと移動機構とを備える移動式ロボット（人型ロボット）は２台、作業ロボット（人型ロボット）は１台を用い、作業員４００一人及び作業ロボット１台に対してそれぞれ１台ずつ移動式ロボットが配置される構成を説明した。しかし、移動式ロボットと作業員４００及び作業ロボットとの関係はこれに限定されない。例えば、センサと移動機構とを備える移動式ロボットの台数が多ければ、それぞれ異なる位置、高さ及び／又は向きから作業員４００の所定動作及び作業ロボットのロボット動作をセンシングするよう複数のセンサを配置することが可能となる。これにより、作業員４００の所定動作及び作業ロボットのロボット動作の学習に必要な様々なデータを取得しやすくなると共に、作業員４００及び作業ロボットの各動作を全体的にカバーできるようにセンシングすることができる。

【0112】

また、本実施形態では、管理制御装置６０は、第１情報の取得と、第２情報の取得を同時に行うものとして説明した。しかし、管理制御装置６０は、第１情報の取得と、第２情報の取得を、別々に行うものであってもよい。言い換えると、作業員４００をセンシングして第１情報を取得する期間である第１センシング期間と、第３人型ロボット２０ｃのロボット動作をセンシングして第２情報を取得する期間である第２センシング期間とは、それら期間が重ならなくてもよい。これにより、作業ロボットを作業員４００と同時並行的に作動させなくてもよいこととなり、作業員４００の所定動作に応じた柔軟なロボット動作の調整を行うことが可能となる。

【0113】

また、本実施形態では、作業員の所定動作の学習を自動学習により行うものとして説明した。しかし、学習は必ずしも自動学習である必要はなく、他の既知の機械学習、例えばディープラーニング（深層学習）や教師なし／あり学習、強化学習等であってもよい。

【0114】

また、本実施形態では、移動式ロボットと作業ロボットとは同じ人型ロボットであるものして説明した。この場合、移動式ロボットを作業ロボットに併用するといったことが可能となり、ロボット作製に係る費用及びコストを節約できる。もっとも、移動式ロボットと作業ロボットとは、異なるロボットであってもよい。

【0115】

また、本実施形態では、センシング対象として作業員（人）を用いて説明した。しかし、これに限定されず、例えば作業員の所定動作を模倣可能なロボットをセンシング対象としてもよい。

【0116】

本実施形態では、作業ロボットは、作業員４００と同じ作業場２００で、かつ作業員４００の近くで作動されるものとして説明した。しかし、作業ロボットは作業員の近くに配置されなくてもよいし、作業員と同じ作業場に配置されなくてもよい。

【符号の説明】

【0117】

１００、１００'、１００'’ センシングシステム
２０、２０ａ、２０ｂ、２０ｃ、２０' 人型ロボット（移動式ロボット、作業ロボット）
２３、２３ａ、２３ｂ、２３'、２３''、２３ａ１、２３ａ２ ロボット用センサ
２３０、２３０ａ、２３０ｂ、２３０'、２３０''、２３０ａ１、２３０ａ２ センシング領域
２４、２４ａ、２４ｂ、２４'、２４''、２４ａ１、２４ａ２ ロボット用撮像装置
２４０、２４０ａ、２４０ｂ、２４０'、２４０''、２４０ａ１、２４０ａ２ 撮像領域
２５、２５ａ、２５' 情報処理装置
６０ 管理制御装置
６２ 記憶媒体（記憶部）
１２２４、１２２４' 記憶装置（記憶部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】