特開 2024-68441 センシングシステム、センシング方法及び移動式ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024068441

(43)【公開日】2024-05-20

(54)【発明の名称】センシングシステム、センシング方法及び移動式ロボット

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240513BHJP

   G06T 7/00 20170101ALI20240513BHJP

   B25J 5/00 20060101ALN20240513BHJP

【ＦＩ】

B25J13/08 A

G06T7/00 350B

B25J5/00 E

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022178895

(22)【出願日】2022-11-08

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(72)【発明者】

【氏名】孫 正義

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707BS27

3C707CS09

3C707HS27

3C707JU03

3C707KS04

3C707KS11

3C707KS36

3C707KS39

3C707KT02

3C707KT05

3C707KT06

3C707KT11

3C707KT16

3C707LW12

3C707WA13

5L096AA02

5L096AA06

5L096BA05

5L096CA04

5L096CA05

5L096FA64

5L096FA67

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】作業員の所定動作を充分にセンシングすることができない。
【解決手段】本発明に係るセンシングシステムは、センシング対象の所定動作をセンシングするための第１センサと、前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、前記第１センサと、第１移動機構とを備える第１移動式ロボットと、前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる制御部と、を有する、ことを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

センシング対象の所定動作をセンシングするための第１センサと、
前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、
前記第１センサと、第１移動機構とを備える第１移動式ロボットと、
前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、
前記管理制御装置は、
前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、
前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる制御部と、を有する、
ことを特徴とするセンシングシステム。

【請求項2】

前記第２センサは、第２移動機構を備える第２移動式ロボットに配置され、
前記制御部は、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構及び前記第２移動機構を作動させる、
請求項１に記載のセンシングシステム。

【請求項3】

前記制御部は、前記第１センサが前記所定部位の一部をセンシングするように前記第１移動機構を作動させ、且つ、前記第２センサが前記所定部位の他部をセンシングするように前記第２移動機構を作動させる、請求項２に記載のセンシングシステム。

【請求項4】

作業ロボットをさらに備え、
前記管理制御装置は、
前記第１情報、及び、前記第２情報を記憶する記憶部と、
前記記憶部に記憶された前記第１情報及び前記第２情報を参照して前記所定動作を学習する学習部と、
前記学習部による学習結果を参照して、前記作業ロボットに動作指示を与える動作情報を生成する動作情報生成部と、をさらに有する、
請求項１～３の何れか一項に記載のセンシングシステム。

【請求項5】

前記記憶部は、予め、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶し、
前記動作情報生成部は、前記学習部による学習結果、及び、前記センシング対象の作業マニュアル情報又は工程表情報を参照して、前記作業ロボットに動作指示を与える動作情報を生成する、請求項４に記載のセンシングシステム。

【請求項6】

センシング対象の所定動作をセンシングするための第１センサと、
前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、
前記第１センサと、第１移動機構とを備える第１移動式ロボットと、
前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、
前記管理制御装置は、
前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、
前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる、
ことを特徴とするセンシング方法。

【請求項7】

センシング対象の所定動作をセンシングするための第１センサと、
前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、
前記第１センサと、第１移動機構とを備える第１移動式ロボットと、
前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、
前記管理制御装置は、
前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、かつ前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であるか否かを判定する判定部と、
前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であると判定された場合、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが異なる様に前記第１移動機構を作動させる制御部と、を有する、
ことを特徴とするセンシングシステム。

【請求項8】

移動式ロボットであって、
移動機構と、
センシング対象をセンシングする第１センサと、
前記第１センサと異なる位置から前記センシング対象をセンシングする第２センサと、
前記第２センサの位置を移動させることが可能な駆動機構と、
前記第１センサ、前記第２センサ、前記移動機構、及び、前記駆動機構を制御する情報処理部と、を備え、
前記情報処理部は、
前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、
前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記移動機構又は前記駆動機構を作動させる制御部と、を有する、
ことを特徴とする移動式ロボット。

【請求項9】

移動式ロボットであって、
移動機構と、
センシング対象をセンシングする第１センサと、
前記第１センサと異なる位置から前記センシング対象をセンシングする第２センサと、
前記第２センサの位置を移動させることが可能な駆動機構と、
前記第１センサ、前記第２センサ、前記移動機構、及び、前記駆動機構を制御する情報処理部と、を備え、
前記情報処理部は、
前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、かつ前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であるか否かを判定する判定部と、
前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であると判定された場合、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが異なる様に前記移動機構又は前記駆動機構を作動させる制御部と、を有する、
ことを特徴とする移動式ロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センシングシステム、センシング方法及び移動式ロボットに関する。

【背景技術】

【0002】

近年、例えば工場でのライン作業など、人による作業を作業ロボットに行わせる技術が検討されている。人による作業を作業ロボットに行わせるには、その前提として、人による作業をセンサで検知（センシング）し、その動作を把握する必要がある。例えば、特許文献１には、セルカメラ３０から作業場画像Ｉｃ、天井カメラ８０から全体画像Ｉａを各々生成し、画像解析をする作業推定装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１１３０４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業員の作業には、例えば移動を伴ったり、大きな動作が伴ったりする場合もある。特許文献１の作業推定装置では、各センサ（カメラ）は固定的に配置されるため、作業員とセンサ位置との関係によっては作業員の作業（所定動作）を充分にセンシングできない場合もある。

【0005】

そこで、本発明は、作業員の所定動作を充分にセンシングすることができるセンシングシステム、センシング方法及び移動式ロボットを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係るセンシングシステムは、センシング対象の所定動作をセンシングするための第１センサと、前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、前記第１センサと、第１移動機構とを備える第１移動式ロボットと、前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる制御部と、を有する、ことを特徴とする。

【0007】

また、本発明に係るセンシング方法は、センシング対象の所定動作をセンシングするための第１センサと、前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、前記第１センサと、第１移動機構とを備える第１移動式ロボットと、前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる、ことを特徴とする。

【0008】

また、本発明に係るセンシングシステムは、センシング対象の所定動作をセンシングするための第１センサと、前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、前記第１センサと、第１移動機構とを備える第１移動式ロボットと、前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、かつ前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であるか否かを判定する判定部と、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であると判定された場合、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが異なる様に前記第１移動機構を作動させる制御部と、を有する、ことを特徴とする。

【0009】

また、本発明に係る移動式ロボットは、移動機構と、センシング対象をセンシングする第１センサと、前記第１センサと異なる位置から前記センシング対象をセンシングする第２センサと、前記第２センサの位置を移動させることが可能な駆動機構と、前記第１センサ、前記第２センサ、前記移動機構、及び、前記駆動機構を制御する情報処理部と、を備え、前記情報処理部は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記移動機構又は前記駆動機構を作動させる制御部と、を有する、ことを特徴とする。

【0010】

また、本発明に係る移動式ロボットは、移動機構と、センシング対象をセンシングする第１センサと、前記第１センサと異なる位置から前記センシング対象をセンシングする第２センサと、前記第２センサの位置を移動させることが可能な駆動機構と、前記第１センサ、前記第２センサ、前記移動機構、及び、前記駆動機構を制御する情報処理部と、を備え、前記情報処理部は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、かつ前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であるか否かを判定する判定部と、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であると判定された場合、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが異なる様に前記移動機構又は前記駆動機構を作動させる制御部と、を有する、ことを特徴とする。

【発明の効果】

【0011】

本発明によれば、作業員の所定動作を充分にセンシングすることができるセンシングシステム、センシング方法及び移動式ロボットが提供される。

【図面の簡単な説明】

【0012】

【図1】（ａ）本発明に係る実施形態１のセンシングシステムでの、システム構成の一例、及び（ｂ）（ａ）に示す移動式ロボットの一例を示す図である。

【図2】本発明に係る実施形態１のセンシングシステムでの、移動式ロボットが移動した際の一例を示す図である。

【図3】本発明に係る実施形態１のセンシングシステムでの、構成及び機能の一例を示すブロック図である。

【図4】本発明に係る実施形態１のセンシングシステムでの、管理制御装置の機能の一例を示すブロック図である。

【図5】本発明に係る実施形態１のセンシングシステムの処理を示すフローチャートの一例である。

【図6】図５のステップＳ１０３で示される所定部位センシング判定処理の、より詳細な処理を示すフローチャートの一例である。

【図7】図５のステップＳ１０４で示される動作情報生成処理の、より詳細な処理を示すフローチャートの一例である。

【図8】（ａ）本発明に係る実施形態１の変形例１に係るセンシングシステムでの、システム構成の一例、及び（ｂ）（ａ）に示す移動式ロボットの一例を示す図である。

【図9】本発明に係る実施形態１の変形例１に係るセンシングシステムでの、移動式ロボットの機能の一例を示すブロック図である。

【図10】（ａ）本発明に係る実施形態１の変形例２に係るセンシングシステムでの、システム構成の一例、及び（ｂ）（ａ）に示すセンサ取付部材の一例を示す図である。

【図11】本発明に係る実施形態１の変形例２に係るセンシングシステムでの、構成及び機能の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して、センシングシステム、センシング方法及び移動式ロボットについて説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0014】

（実施形態１）
図１は、センシングシステムを説明するための図である。

【0015】

図１（ａ）は、本発明に係る実施形態１のセンシングシステムでの、システム構成の一例を示す図である。センシングシステムでは、移動式ロボットとして機能する第１人型ロボット２０ａ及び第２人型ロボット２０ｂを備える。なお、人型ロボットの数は２台に限定されない。

【0016】

各人型ロボット２０ａ、２０ｂは、後述する管理制御装置６０（図３参照）からの指示を受け、又は各人型ロボット２０ａ、２０ｂに設けられた各情報処理装置２５ａ、２５ｂ（図３参照）からの指示により、作業場２００の作業ライン２０１で作業する作業員４００の付近に移動する。そして、センシングシステムは、第１人型ロボット２０ａに備えられた第１センサ２３ａ（第１撮像装置２４ａ）及び第２人型ロボット２０ｂに備えられた第２センサ２３ｂ（第２撮像装置２４ｂ）により、作業員４００の所定動作をセンシングする。第２センサ２３ｂ（第２撮像装置２４ｂ）は、第１センサ２３ａ（第１撮像装置２４ａ）と異なる位置から作業員４００の所定動作をセンシングする。

【0017】

図１（ｂ）は、（ａ）に示す移動式ロボットの一例を示す図である。移動式ロボットとして機能する人型ロボット２０は、ロボット本体２１と、ロボット移動機構２２と、ロボット用センサ２３と、ロボット用センサ２３に含まれるロボット用撮像装置２４と、情報処理装置２５と、ロボット腕部２６と、を備える。

【0018】

人型ロボット２０は、ロボット本体２１の下方に設けられたロボット移動機構２２により移動することが可能であり、例えば管理制御装置６０といった人型ロボット２０の外部から指示を受けて、あるいは情報処理装置２５に記憶されたプログラムを参照して、作業場２００の作業ライン２０１付近に移動する。

【0019】

ロボット本体２１は、ロボット胴体２１１と、ロボット頭部２１２とを備える。ロボット胴体２１１とロボット頭部２１２とは、第１駆動機構を構成し、ロボット用センサ２３（ロボット用撮像装置２４）のセンシング領域２３０（撮像領域２４０）を変更することが可能である。駆動機構の構成は特に限定されず、例えば図示しないサーボモータにより、ロボット頭部２１２がロボット胴体２１１に対して所定角度回転したり、ロボット胴体２１１がロボット移動機構２２に対して所定角度回転したりする構成であってもよい。

【0020】

ロボット胴体２１１の下方にはロボット移動機構２２、ロボット胴体２１１の側方にはロボット腕部２６、ロボット頭部２１２にはロボット用センサ２３がそれぞれ設けられている。また、ロボット本体２１の内部には、情報処理装置２５が設けられている。

【0021】

ロボット移動機構２２は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。一例として、ロボット移動機構２２を人の脚の形状に似せた構成にする場合、人の関節に相当する箇所にサーボモータを設けて、所定角度回転させることで移動機構を構成する。

【0022】

ロボット用センサ２３は、好ましくはロボット頭部２１２に設けられ、作業員４００をセンシングする。また、ロボット用センサ２３は、人型ロボット２０の周辺にある、人型ロボット２０が作業する物体とロボット腕部２６との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ２３の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・３６０度・高性能カメラ、レーダー、ソリッドステートＬｉＤＡＲ、ＬｉＤＡＲ、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置２４の一例でもある。また他には、ロボット用センサ２３の他の一例としては、振動計、硬度計、微小振動計、超音波測定器、振動測定器、赤外線測定器、紫外線測定器、電磁波測定器、温度計、湿度計、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、又はロングテールインシデントＡＩ ｄａｔａ等が挙げられる。

【0023】

ロボット用センサ２３から取得するセンサ情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、電波、紫外線、赤外線、湿度等が挙げられ、好ましくはロボット用撮像装置２４により、画像、距離の情報が取得される。ロボット用センサ２３（ロボット用撮像装置２４）は、これらのセンシングを、一例としてナノ秒毎に実施する。センサ情報は、例えば、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。

【0024】

ロボット腕部２６は、右腕部２６１と左腕部２６２とを備える。また、右腕部２６１は、右把持支持部２６３及び右把持部２６５を、左腕部２６２は、左把持支持部２６４及び左把持部２６６を、それぞれ備える。右把持支持部２６３は右把持部２６５を、左把持支持部２６４は左把持部２６６を、それぞれ支持するための機構であり、一例としては人の腕に形状を似せたものであってもよい。把持部２６５、２６６は、例えば作業用の部品等を把持するための機構であり、一例としては人の手の形状に似せたものであってもよい。

【0025】

ロボット腕部２６は、第２駆動機構を構成する。駆動機構の構成は特に限定されず、例えば、ロボット腕部２６を人の形状に似せる場合、サーボモータを、人の肩に相当する箇所、肘に相当する箇所、手首に相当する箇所、指関節に相当する箇所等の各関節箇所に設け、所定角度回転させる構成を採用してもよい。

【0026】

なお、人型ロボット２０は、例えばロボット胴体部２１１にセンサをさらに設けてもよい（図８（ｂ）参照）。この場合、当該センサは、ロボット頭部２１２に設けられたロボット用センサ２３とは、その高さ位置が異なる。高さ位置が異なることで、センサは作業員４００の動作を異なる角度からセンシングすることができる。

【0027】

図１（ａ）に戻り、ロボット用センサ（ロボット用撮像装置）である第１センサ２３ａ（第１撮像装置２４ａ）及び第２センサ２３ｂ（第２撮像装置２４ｂ）が作業員４００の動作をセンシングする場合、センシングシステムは、第２センサ２３ｂ（第２撮像装置２４ｂ）が、第１センサ２３ａ（第１撮像装置２４ａ）と異なる位置から作業員４００の所定動作をセンシングするよう、かつ、各センサのセンシング領域２３０ａ、２３０ｂ（撮像領域２４０ａ、２４０ｂ）がそれぞれ作業員４００の異なる所定部位をセンシングするよう、各人型ロボット２０ａ、２０ｂの移動機構や駆動機構を作動させる。ただし、各センサのセンシング領域２３０ａ、２３０ｂ（撮像領域２４０ａ、２４０ｂ）は、その領域全てが異なる必要はなく、一部分でも所定部位が異なるように設定されればよい。所定部位としては、例えば作業員の首、腕、手首等が挙げられる。また、各センサによる所定部位の認識については、既知の画像認識技術を用いてもよいし、学習部６６３（図４参照）による学習により所定部位を認識してもよい。

【0028】

本実施形態では、第１人型ロボット２０ａに設けられた第１センサ２３ａ（第１撮像装置２４ａ）のセンシング領域２３０ａ（撮像領域２４０ａ）が作業員４００の左腕を、第２人型ロボット２０ｂに設けられた第２センサ２３ｂ（第２撮像装置２４ｂ）のセンシング領域２３０ｂ（撮像領域２４０ｂ）が作業員４００の右腕を、それぞれセンシングするよう、各人型ロボットの移動機構２２や駆動機構が作動する。

【0029】

各センサによるセンシングが行われる間、センシングシステムは、第１センサ２３ａ（第１撮像装置２４ａ）により取得される第１情報及び第２センサ２３ｂ（第２撮像装置２４ｂ）により取得される第２情報から、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かを判定する。所定動作は多岐にわたり、例えば部品の組付けや部品の移動、製品の塗装、作業員自身の移動等が挙げられる。

【0030】

作業員４００が所定動作時に可動する所定部位が、センシングされていないと判定された場合、センシングシステムは、所定部位がセンシングされる様に、第１人型ロボット２０ａの第１移動機構２２ａ（図３参照）及び／又は第２人型ロボット２０ｂの第２移動機構２２ｂ（図３参照）を作動させる。

【0031】

図２は、本実施形態のセンシングシステムでの、移動式ロボットが移動した際の一例を示す図である。

【0032】

図２に示すように、作業員４００が所定動作を行うことで、例えば作業員４００の背中側から見た際に、作業員４００の左腕が背中に隠れてしまうといったことが生じ得る。そこで、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かが判定され、所定部位がセンシングされていないと判定された場合に、センシングシステムは、所定部位がセンシングされる様に第１人型ロボット２０ａの第１移動機構２２ａを作動させる。これにより、第１人型ロボット２０ａは第１センサ２３ａ（第１撮像装置２４ａ）のセンシングしやすい位置に移動することができ、第１センサ２３ａ（第１撮像装置２４ａ）は所定部位（本実施形態では左腕）を充分にセンシングすることが可能となる。なお、図２では、作業員４００の所定動作に伴い右腕の位置も異なっていることから、右腕をセンシングしていた第２人型ロボット２０ｂ（第２センサ２３ｂ（第２撮像装置２４ｂ））の第２移動機構２２ｂも作動させている。

【0033】

第１情報及び第２情報は記憶されるところ、センシングシステムは、記憶された第１情報及び第２情報に基づき作業員の所定動作を学習する。この学習は、例えば、学習済みモデルを自動的に作成したり、学習済みモデルを使用して判定／解析を自動的に行ったりする学習である自動学習により行われる。

【0034】

センシングシステムは、学習結果、並びに、作業員４００の作業マニュアル情報及び／又は工程表情報を参照して、作業員４００の作業を行う作業ロボットに動作指示を与える動作情報を生成する。これにより、人による作業を作業ロボットに行わせることが可能となる。なお、作業マニュアル情報には、例えば各作業項目の名称及び内容、作業項目の順序、各作業項目に要する標準的な作業時間の情報等が含まれる。また、工程表情報には、例えば作業全体の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業員を示す情報等が含まれる。

【0035】

図３は、本実施形態のセンシングシステム１００での、構成及び機能の一例を示すブロック図である。

【0036】

センシングシステム１００は、第１人型ロボット２０ａと、第２人型ロボット２０ｂと、管理制御装置６０と、を含んで構成されている。第１人型ロボット２０ａ及び第２人型ロボット２０ｂは、管理制御装置６０の通信部６４と、各々無線又は有線通信を介して接続され、管理制御装置６０からの指示を受けると共に、各センサにより取得される情報を送信する。また、第１人型ロボット２０ａと第２人型ロボット２０ｂ同士も、無線又は有線通信を介して接続され、各センサにより取得される情報や指示を送受信してもよい。

【0037】

第１人型ロボット２０ａは、第１移動機構２２ａと、ロボット用センサである第１センサ２３ａと、第１センサ２３ａに含まれるロボット用撮像装置である第１撮像装置２４ａと、第１情報処理装置２５ａと、第１駆動機構と、第２駆動機構と、を備える。また、第２人型ロボット２０ｂも、第２移動機構２２ｂと、ロボット用センサである第２センサ２３ｂと、第２センサ２３に含まれるロボット用撮像装置である第２撮像装置２４ｂと、第２情報処理装置２５ｂと、２つの駆動機構と、を備える。本実施形態では、第１人型ロボット２０ａと第２人型ロボット２０ｂとは、それら構成が同一である。

【0038】

本実施形態による第１情報処理装置２５ａは、ＣＰＵ（Central Processing Unit）１２１２、ＲＡＭ（Random Access Memory）１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。第１情報処理装置２５ａはまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。第１情報処理装置２５ａはまた、ＲＯＭ（Read Only Memory）１２３０及びキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0039】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0040】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、第１情報処理装置２５ａ内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。また、記憶装置１２２４は、第１情報及び第２情報を記憶してもよい。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0041】

ＲＯＭ１２３０はその中に、アクティブ化時に第１情報処理装置２５ａによって実行されるブートプログラム等、及び／又は第１情報処理装置２５ａのハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0042】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、第１情報処理装置２５ａに読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、第１情報処理装置２５ａの使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0043】

例えば、通信が第１情報処理装置２５ａ及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0044】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0045】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。

【0046】

上で説明したプログラム又はソフトウエアモジュールは、第１情報処理装置２５ａ上又は第１情報処理装置２５ａ近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して第１情報処理装置２５ａに提供する。

【0047】

本実施形態におけるフローチャート及び図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表してよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0048】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0049】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0050】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0051】

ここまで説明してきた内容は、第２情報処理装置２５ｂについても同様である。

【0052】

管理制御装置６０は、センシングシステム１００を実現するため、人型ロボット２０ａ、２０ｂに対して指示を与える制御装置である。また、管理制御装置６０は、記憶装置１２２４に蓄積されたセンサ情報（第１情報及び第２情報）を取得する。

【0053】

管理制御装置６０は、ＣＰＵ６０Ａ、ＲＡＭ６０Ｂ、ＲＯＭ６０Ｃ、入出力部（Ｉ／Ｏ）６０Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス６０Ｅ、並びに通信部６８で構成されている。Ｉ／Ｏ６０Ｄには、記憶媒体６２が接続されている。

【0054】

また、Ｉ／Ｏ６０Ｄには、人型ロボット２０の制御系との間でセンサ情報や作業マニュアル情報、工程表情報等を送受信する通信部６４が接続されている。

【0055】

図４は、本実施形態のセンシングシステムでの、管理制御装置６０の機能の一例を示すブロック図である。

【0056】

管理制御装置６０は、記憶媒体６２と、通信部６４と、処理部６６とを備える。

【0057】

記憶媒体６２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶媒体６２は、処理部６６での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶媒体６２は、第１情報及び第２情報を記憶する。また、記憶媒体６２は、作業員４００の作業マニュアル情報及び／又は工程表情報を記憶する。

【0058】

通信部６４は、Ｗｉ－Ｆｉ（登録商標）等の無線の通信インタフェース回路及び／又はイーサネット（登録商標）等の有線の通信インタフェース回路を有する。通信部６４は、人型ロボット２０ａ、２０ｂと、インタフェース回路を通じて各種情報を送受信する。

【0059】

処理部６６は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部６６は、センシングシステム１００の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部６６は、記憶媒体６２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）を参照して処理を実行する。また、処理部６６は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

【0060】

処理部６６は、判定部６６１と、制御部６６２と、学習部６６３と、動作情報生成部６６４と、を備える。これらの各部は、処理部６０が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして処理部６６に実装されてもよい。

【0061】

判定部６６１は、第１情報及び第２情報から、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かを判定する。また、判定部６６１は、第１センサ２３ａ（第１撮像装置２４ａ）によりセンシングされる所定部位と第２センサ２３ｂ（第２撮像装置２４ｂ）によりセンシングされる所定部位とが同一であるか否かを判定する。

【0062】

制御部６６２は、判定部６６１により作業員４００の所定部位がセンシングされていないと判定された場合に、所定部位がセンシングされる様に、人型ロボット２０ａの第１移動機構２２ａ及び／又は人型ロボット２０ｂの第２移動機構２２ｂを作動させる。また、制御部６６２は、第１センサ２３ａ（第１撮像装置２４ａ）によりセンシングされる所定部位と第２センサ２３ｂ（第２撮像装置２４ｂ）によりセンシングされる所定部位とが同一であると判定された場合に、第１センサ２３ａ（第１撮像装置２４ａ）によりセンシングされる所定部位と第２センサ２３ｂ（第２撮像装置２４ｂ）によりセンシングされる所定部位とが異なる様に、人型ロボット２０ａの第１移動機構２２ａ及び／又は人型ロボット２０ｂの第２移動機構２２ｂを作動させる。

【0063】

学習部６６３は、記憶媒体６２及び／又は記憶装置１２２４に記憶された第１情報及び第２情報を参照して作業員４００の所定動作を学習する。

【0064】

動作情報生成部６６４は、学習部６６３による学習結果を参照して、作業ロボットとして機能する人型ロボット２０に動作指示を与える動作情報を生成する。なお、動作情報生成部６６４は、動作情報を生成する際、作業マニュアル情報及び／又は工程表情報を参照してもよい。

【0065】

（本発明に係る実施形態１のセンシングシステムの処理）
図５は、本実施形態のセンシングシステムの処理を示すフローチャートの一例である。

【0066】

まず、管理制御装置６０の指示により、あるいは記憶媒体６２又は記憶装置１２２４に記憶されたプログラムの読み出し指示により、情報処理装置２５は、移動式ロボットとして機能する複数台（本実施形態では２台）の人型ロボット２０を作業場２００に移動するよう指示する（ステップＳ１０１）。移動は、各人型ロボット２０のロボット移動機構２２の作動による。

【0067】

移動に際しては、複数台のロボット用センサ２３（ロボット用撮像装置２４）の各センシング領域２３０（撮像領域２４０）が、それぞれ異なる向きから作業員４００をセンシングするよう、指示が与えられる。このような複数台の人型ロボット２０の配置は、例えば予め作業場２００のフロア図面を記憶装置１２２４及び／又は記憶媒体６２に記憶させ、各人型ロボット２０の位置を、当該記憶されたフロア図面に対応付けることにより行われる。あるいは、人型ロボット２０の配置は、機械学習を通じて最適化された位置に基づいてもよい。

【0068】

次に、複数のセンサ２３ａ、２３ｂ（複数の撮像装置２４ａ、２４ｂ）により、作業員４００の作業ライン２０１での所定動作がセンシングされる（ステップＳ１０２）。本実施形態では、制御部６６２は、第１センサ２３ａ（第１撮像装置２４ａ）のセンシング領域２３０ａ（撮像領域２４０ａ）が作業員４００の左腕を、第２センサ２３ｂ（第２撮像装置２４ｂ）のセンシング領域２３０ｂ（撮像領域２４０ｂ）が作業員４００の右腕を、それぞれセンシングするよう指示を与え、各人型ロボットの移動機構２２や駆動機構が作動する。

【0069】

第１センサ２３ａ（第１撮像装置２４ａ）により取得される第１情報及び第２センサ２３ｂ（第２撮像装置２４ｂ）により取得される第２情報は、記憶装置１２２４及び／又は通信部６４を介して記憶媒体６２に記憶される。記憶装置１２２４及び記憶媒体６２は、記憶部として機能する。

【0070】

第１情報及び第２情報が取得される際、作業員４００の所定部位がセンシングされているか否かを判定される（ステップＳ１０３）。判定部６６１により所定部位がセンシングされていないと判定された場合、制御部６６２は、所定部位がセンシングされる様に第１移動機構２２ａ及び／又は第２移動機構２２ｂを作動させる。

【0071】

管理制御装置６０は、記憶装置１２２４及び／又は記憶媒体６２に蓄積された、言い換えると記憶された第１情報及び第２情報を参照して所定動作を学習し、学習結果を参照して、作業ロボットとして機能する人型ロボット２０に動作指示を与える動作情報を生成する（ステップＳ１０４）。

【0072】

図６は、図５のステップＳ１０３で示される所定部位センシング判定処理の、より詳細な処理を示すフローチャートの一例である。

【0073】

第１情報及び第２情報が取得されると（ステップＳ２０１）、判定部６６１は、第１情報及び第２情報から、作業員４００が所定動作時に可動する所定部位がセンシングされているか否かを判定する（ステップＳ２０２、Ｓ２０３）。一例として、第１センサ２３ａ（第１撮像装置２４ａ）は作業員４００の左腕を、第２センサ２３ｂ（第２撮像装置２４ｂ）は作業員４００の右腕をセンシングするよう指示を受けているところ、作業員４００の所定動作時に左腕や右腕が背中に隠れるといった事態が発生する場合がある。そこで、判定部６６１は、第１情報及び第２情報を参照して、第１センサ２３ａ（第１撮像装置２４ａ）が所定部位としての左腕をセンシングしているか否かを判定する。

【0074】

センシングされていないと判定された場合（Ｓ２０３－ＮＯ）、制御部６６２は、所定部位がセンシングされる様に第１移動機構２２ａ及び／又は第２移動機構２２ｂを作動させる（ステップＳ２０６）。一例として、制御部６６２は、第１センサ２３ａ（第１撮像装置２４ａ）が作業員４００の所定部位の一部である左腕をセンシングできる様、第１移動機構２２ａを作動させ、第１人型ロボット２０ａを移動させる。また、制御部６６２は、第２センサ２３ｂ（第２撮像装置２４ｂ）が作業員４００の所定部位の他部である右腕をセンシングできる様、第２移動機構２２ｂを作動させ、第２人型ロボット２０ｂを移動させる。これにより、作業員４００の所定動作や移動により所定部位がセンシングされないといった事態を回避することができ、充分なセンシングを行うことが可能となる。加えて、各センサはそれぞれ所定部位の一部と他部とをセンシングすることとなるので、作業員４００の作業の学習に必要なデータ（情報）を効率よく取得することができる。

【0075】

他方、センシングされていると判定された場合（Ｓ２０３－ＹＥＳ）、判定部６６１は、第１センサ２３ａ（第１撮像装置２４ａ）によりセンシングされる所定部位と第２センサ２３ｂ（第２撮像装置２４ｂ）によりセンシングされる所定部位とが同一であるか否かを判定する（ステップＳ２０４、Ｓ２０５）。一例として、センシング開始時は、第１センサ２３ａ（第１撮像装置２４ａ）が作業員４００の左腕を、第２センサ２３ｂ（第２撮像装置２４ｂ）が作業員４００の右腕を、それぞれセンシングしていたが、作業員４００の所定動作により、同じ所定部位（例えば背中）をセンシングしてしまっているといった事態が生じ得る。そこで、判定部６６１は、各センサがセンシングする所定部位が同一であるか否かを判定する。

【0076】

各センサがセンシングする所定部位が同一であると判定された場合（Ｓ２０５－ＹＥＳ）、制御部６６２は、第１センサ２３ａ（第１撮像装置２４ａ）によりセンシングされる所定部位と第２センサ２３ｂ（第２撮像装置２４ｂ）によりセンシングされる所定部位とが異なる様に第１移動機構２２ａ及び／又は第２移動機構２２ｂを作動させる（Ｓ２０６）。一例として、第１センサ２３ａ（第１撮像装置２４ａ）と第２センサ２３ｂ（第２撮像装置２４ｂ）とが共に作業員４００の背中をセンシングしていた場合に、制御部６６２は、第１センサ２３ａ（第１撮像装置２４ａ）が作業員の左腕を、第２センサ２３ｂ（第２撮像装置２４ｂ）が作業員の右腕をセンシングするよう、第１移動機構２２ａ及び第２移動機構２２ｂを作動させる。これにより、複数のセンサが同一の所定部位をセンシングする事態を回避でき、効率よく作業の学習に必要なデータを取得することができる。

【0077】

図７は、図５のステップＳ１０４で示される動作情報生成処理の、より詳細な処理を示すフローチャートの一例である。

【0078】

第１情報及び第２情報は記憶装置１２２４及び／又は記憶媒体６２に記憶される（ステップＳ３０１）ところ、学習部６６３は、記憶装置１２２４及び／又は記憶媒体６２に記憶された第１情報及び第２情報を参照して、作業員４００の動作を学習する（ステップＳ３０２）。学習においては、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析が行われ、自動学習により作業ロボットとしても機能可能な人型ロボット２０の最適な動作が学習される。これにより、作業員４００の所定動作を一度に多角的な面から分析することが可能となり、作業員４００の動作分析やプログラミングに掛かる時間及びコストを削減することができる。

【0079】

その後、動作情報生成部６６４は、学習部６６３による学習結果を参照して（ステップＳ３０３）、作業ロボットとして機能する人型ロボット２０に動作指示を与える動作情報を生成する（ステップＳ３０４）。動作情報生成部６６４は、動作情報生成の際には、センシング対象の作業マニュアル情報及び／又は工程表情報を参照してもよい（Ｓ３０３）。生成された動作情報を参照することにより、作業ロボットとして機能する人型ロボット２０は、作業員４００の作業（所定動作）を行うことが可能となる。

【0080】

（実施形態１に係るセンシングシステムの作用効果）
本実施形態に係るセンシングシステム１００によれば、センシング対象である作業員４００が所定動作時に可動する所定部位がセンシングされていない場合に、所定部位がセンシングされるように第１移動機構２２ａが作動するため、作業員４００の所定動作により所定部位がセンシングされないといった事態を防ぐことができ、充分なセンシングを行うことが可能となる。

【0081】

また、本実施形態に係るセンシングシステム１００によれば、移動式ロボットである人型ロボット２０にセンサ２３（撮像装置２４）が備えられる一方、人型ロボット２０は、予め記憶されたプログラムや機械学習結果だけでなく、センシング結果に応じて適切な位置に移動する。そのため、作業場２００に固定的なセンサを配置する場合と比較して、センサの再配置やセンサ数を増加させるといった事態を生じさせることなく、充分なセンシング環境を整えることができる。

【0082】

また、本実施形態に係るセンシングシステム１００によれば、複数（本実施形態では２台）の移動式ロボットのそれぞれに移動機構が備えられ、センシング対象である作業員４００が所定動作時に可動する所定部位がセンシングされていない場合に、所定部位がセンシングされるように各移動機構が作動するため、複数の異なる角度から作業員４００の所定動作をセンシングすることができる。

【0083】

また、本実施形態に係るセンシングシステム１００によれば、複数（本実施形態では２つ）のセンサ２３（撮像装置２４）につき、その一つが作業員４００の所定部位の一部をセンシングするように移動機構を作動させ、且つ、他のセンサ（撮像装置）が所定部位の他部をセンシングするように移動機構を作動させることから、作業員４００の所定動作を、複数の異なる角度からかつ複数の所定部位をセンシングすることができることとなる。これにより、複数台の移動式ロボットが協働して移動しながらセンシングを行うことを可能とし、充分なセンシングを行うことができる。

【0084】

また、本実施形態に係るセンシングシステム１００によれば、各センサにより取得されるセンサ情報（本実施形態では、第１情報及び第２情報）が記憶され、記憶されたセンサ情報を参照して作業員４００の所定動作が学習され、かつ学習結果を参照して、作業ロボットとして機能する人型ロボットに動作指示を与える動作情報が生成されることから、充分なセンシング結果を反映した動作情報が生成されることとなる。これにより、作業員４００の作業を行うことのできる作業ロボット（人型ロボット２０）を効率よく作製することができる。

【0085】

また、本実施形態に係るセンシングシステム１００によれば、動作情報生成の際に、作業マニュアル情報及び／又は工程表情報が参照された上で、動作情報が生成される。作業員４００は、いつでも作業に忠実な動作をするとは限らず、場合によっては無駄な動作をしたり、あるいは必要な動作を省いたりすることもある。そこで、作業マニュアル情報と工程表情報とを参照することで、作業員４００による不要ないしは不適切な所定動作が動作情報に反映されることを抑制することができる。

【0086】

（実施形態１の変形例１）
図８は、本実施形態の変形例１に係るセンシングシステムの一例を示す図である。

【0087】

図８（ａ）本発明に係る実施形態１の変形例１に係るセンシングシステムでの、システム構成の一例を示す図である。本センシングシステムでは、移動式ロボットとして機能する人型ロボット２０ｃに、第２センサに相当する胴体センサ２３ｄ（胴体撮像装置２４ｄ）が設けられている点が特徴となっている。また、本センシングシステムでは、管理制御装置６０は必ずしも必要ではなく、人型ロボット２０ｃ単体でセンシングシステムを構成することができる。

【0088】

図８（ｂ）は、図８（ａ）に示す移動式ロボットの一例を示す図である。移動式ロボットとして機能する人型ロボット２０ｃは、ロボット本体２１ｃと、ロボット移動機構２２ｃと、頭部センサ２３ｃと、頭部センサ２３ｃに含まれる頭部撮像装置２４ｃと、胴体センサ２３ｄと、胴体センサ２３ｄに含まれる胴体撮像装置２４ｄと、情報処理装置２５ｃと、ロボット腕部と、を備える。

【0089】

ロボット本体２１ｃは、ロボット胴体２１１と、ロボット頭部２１２とを備える。ロボット胴体２１１とロボット頭部２１２とは、第１駆動機構２１ｃ（図９参照）を構成し、頭部センサ２３ｃ（頭部撮像装置２４ｃ）のセンシング領域２３０ｃ（撮像領域２４０ｃ）及び胴体センサ２３ｄ（胴体撮像装置２４ｄ）のセンシング領域２３０ｄ（撮像領域２４０ｄ）を変更することが可能である。ロボット移動機構２２ｃは、第１移動機構として機能する。

【0090】

頭部センサ２３ｃ（頭部撮像装置２４ｃ）は第１センサとして機能し、胴体センサ２３ｄ（胴体撮像装置２４ｄ）は第２センサとして機能する。頭部センサ２３ｃ（頭部撮像装置２４ｃ）と胴体センサ２３ｄ（胴体撮像装置２４ｄ）とは、高さ位置が異なる箇所に配置されることから、第２センサとして機能する胴体センサ２３ｄ（胴体撮像装置２４ｄ）は、頭部センサ２３ｃ（頭部撮像装置２４ｃ）と異なる位置からセンシング対象の所定動作をセンシングすることとなる。

【0091】

情報処理装置２５ｃの構成は、第１人型ロボット２０ａの第１情報処理装置２５ａと同様である。ロボット腕部についても第１人型ロボット２０ａと同様である。

【0092】

図９は、本センシングシステムでの、移動式ロボットの機能の一例を示すブロック図である。センシングシステム１００'では、情報処理装置２５ｃは、情報処理部６６ｃと、通信インタフェース１２２２ｃと、記憶装置１２２４ｃとを備え、情報処理部６６ｃは、判定部６６１ｃと、制御部６６２ｃと、学習部６６３ｃと、動作情報生成部６６４ｃと、を備える。すなわち、センシングシステム１００'では、情報処理部６６ｃが管理制御装置６０の処理部６６と同様の処理を行う。なお、情報処理装置２５ｃは、頭部センサ２３ｃ（頭部撮像装置２４ｃ）、胴体センサ２３ｄ（頭部撮像装置２４ｄ）、第１移動機構２２ｃ及び第１駆動機構２１ｃと通信可能に構成されている。

【0093】

センシングシステム１００'の人型ロボット２０ｃは、情報処理装置２５ｃに情報処理部６６ｃが備えられていることから、人型ロボット２０ｃ単体でセンシングシステムを構成する。

【0094】

図８を参照して、例えば人型ロボット２０ｃの制御部６６２ｃは、第１センサとして機能する頭部センサ２３ｃ（頭部撮像装置２４ｃ）が作業員４００の左腕を、第２センサとして機能する胴体センサ２３ｄ（胴体撮像装置２４ｄ）が作業員４００の右腕をそれぞれセンシングするよう指示する。そして、各センサで取得されるセンサ情報（第１情報及び第２情報）から、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かが判定部６６１ｃにより判定され、所定部位がセンシングされていないと判定された場合、制御部６６２ｃは、所定部位がセンシングされる様に第１移動機構２２ｃ及び／又は第１駆動機構２１ｃを作動させる。

【0095】

また、判定部６６１ｃは、頭部センサ２３ｃ（頭部撮像装置２４ｃ）によりセンシングされる所定部位と胴体センサ２３ｄ（胴体撮像装置２４ｄ）によりセンシングされる所定部位とが同一であるか否かを判定し、制御部６６２ｃは、各センサ（撮像装置）によりセンシングされる所定部位が同一であると判定された場合に、各センサ（撮像装置）によりセンシングされる所定部位が異なる様に、第１移動機構２２ｃ及び／又は第１駆動機構２１ｃを作動させる。

【0096】

（変形例１の作用効果）
本センシングシステムによれば、人型ロボット２０ｃは単独でセンシングシステムを構成することができることから、例えば、管理制御装置６０との通信ができないような場所においても、充分にセンシングを行うことが可能となる。

【0097】

また、本人型ロボット２０ｃは、複数（本変形例では２つ）のセンサ（撮像装置）を備えていることから、例えば、作業員４００をセンシングするには狭い場所においても、充分にセンシングを行うことが可能となる。

【0098】

なお、本センシングシステムにおいて、移動式ロボットとして機能する人型ロボットは、必ずしも１台である必要はなく、複数台であってもよい。この場合、人型ロボットの数が増えるだけ、センサの数は人型ロボットの倍数分増えることとなり、一度にセンサ情報を多く取得することができる。

【0099】

（実施形態１の変形例２）
図１０は、本実施形態の変形例２に係るセンシングシステムの一例を示す図である

【0100】

図１０（ａ）は、実施形態１の変形例２に係るセンシングシステムでの、システム構成の一例を示す図である。本センシングシステムでは、移動式ロボットとして機能する人型ロボット２０に加え、センサ取付部材３０を備える点が特徴となっている。

【0101】

図１０（ｂ）は、（ａ）に示すセンサ取付部材の一例を示す図である。センサ取付部材３０は、取付部材本体３１と、取付部材移動機構３２と、取付部材用センサ３３と、取付部材用撮像装置３４と、を備える。センサ取付部材３０は、取付部材本体３１の下方に設けられた取付部材移動機構３２により移動することが可能である。もっとも、取付部材移動機構３２は設けられなくてもよい。

【0102】

取付部材本体３１は、例えば棒状ないしは杖状の部材であり、その材料は特に限定されない。取付部材本体３１の長さは、人型ロボット２０の高さ（背丈）よりも長く、例えば２．１メートルである。取付部材本体３１には、その下方、好ましくは下端に取付部材移動機構３２、取付部材本体３１の上方、好ましくは上端に取付部材用センサ３３が設けられている。

【0103】

取付部材移動機構３２は、例えばキャスター等の回転体を設けた構成からなり、人型ロボット２０の移動に合わせて、センサ取付部材３０が移動することを補助する。なお、本実施形態においては、センサ取付部材３０は自律して移動することを想定していないが、取付部材移動機構３２に指示を与える取付部材制御部（不図示）を設け、取付部材制御部からの信号に基づき取付部材移動機構３２を動かす構成であってもよい。

【0104】

図１０（ａ）も参照して、第２センサとして機能する取付部材用センサ３３（取付部材用撮像装置３４）は、取付部材本体３１の上方に設けられ、作業員４００をセンシングする。取付部材用センサ３３の一例は、ロボット用センサ２３と同様であり、また取付部材用撮像装置３４の一例も、ロボット用撮像装置２４の一例と同様である。加えて、取得されるセンサ情報の一例もロボット用センサ２３と同様であり、センサ情報のセンシングタイミングの一例もロボット用センサ２３と同様である。

【0105】

取付部材用撮像装置３４は、取付部材用センサ３３に含まれる。また、取付部材用撮像装置３４を含む取付部材用センサ３３は、人型ロボット２０の高さ（背丈）よりも高い位置に配置されている。これにより、取付部材用センサ３３はロボット用センサ２３よりも高い位置から作業員４００の動作をセンシングすることができる。

【0106】

図１１は、実施形態１の変形例２に係るセンシングシステムでの、構成及び機能の一例を示す図である。センシングシステム１００''において、センサ取付部材３０は、人型ロボット２０の情報処理装置２５と、無線又は有線を介して通信可能に構成される。もっとも、センサ取付部材３０は、情報処理装置２５の代わりに又は共に、管理制御装置６０の通信部６４と通信可能に構成されてもよい。なお、センシングシステム１００''の人型ロボット２０及び管理制御装置６０の構成は、センシングシステム１００のそれらと同様である。

【0107】

図１０も参照して、人型ロボット２０は、第２駆動機構を構成するロボット腕部２６の一部である右把持部２６５（又は左把持部２６６）により、センサ取付部材３０を把持する。センサ取付部材３０の取付部材用センサ３３（取付部材用撮像装置３４）は、第２駆動機構によりそのセンシング領域３３０（撮像領域３４０）を変更することが可能である。

【0108】

センシングシステム１００''では、例えば、制御部６６２は、第１センサとして機能するロボット用センサ２３（ロボット用撮像装置２４）が作業員４００の左腕を、第２センサとして機能する取付部材用センサ３３（取付部材用撮像装置３４）が作業員４００の右腕をそれぞれセンシングするよう指示する。そして、各センサで取得されるセンサ情報（第１情報及び第２情報）から、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かが判定部６６１により判定され、所定部位がセンシングされていないと判定された場合、制御部６６２は、所定部位がセンシングされる様に第１移動機構２２及び／又は第２駆動機構２６を作動させる。また、判定部６６１によって各センサ（撮像装置）によりセンシングされる所定部位が同一であると判定された場合に、制御部６６２は、各センサ（撮像装置）によりセンシングされる所定部位が異なる様に、第１移動機構２２及び／又は第２駆動機構２６を作動させる。

【0109】

（変形例２の作用効果）
本センシングシステムによれば、取付部材用センサ３３（取付部材用撮像装置３４）を第２センサとして構成していることから、例えば、作業員４００をセンシングするには狭い場所においても、充分にセンシングを行うことが可能となる。

【0110】

また、本センシングシステムによれば、センサ取付部材３０は、人型ロボット２０の高さ（背丈）よりも高い位置に取付部材用センサ３０（取付部材用撮像装置４０）が配置されている。そのため、作業員４００の動作を、より俯瞰的な位置からセンシングすることができ、例えば作業員４００の背中によりセンシングしにくいといった事態を回避しやすく、作業員４００の作業の学習に必要なデータを効率よく取得することができる。

【0111】

なお、本センシングシステムにおいても、移動式ロボットとして機能する人型ロボットは１台でなくてよく、センサ取付用部材も１つだけでなくてよい。例えば、２つのセンサ取付用部材を両保持部２６５、２６６により保持した人型ロボット２０を複数台備えていてもよい。この場合も、センサの数を増加させることができ、一度にセンサ情報を多く取得することが可能となる。

【0112】

以上、本発明の実施の形態について説明したが、本発明は、上述した本発明の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0113】

本実施形態のセンシングシステム１００では、センサと移動機構とを備える移動式ロボット（人型ロボット）は２台用いるものとして説明した。しかし、移動式ロボットの数はこれ以上であってもよい。例えば、センサと移動機構とを備える移動式ロボットの台数が多ければ、それぞれ異なる位置、高さ及び／又は向きから作業員４００の所定動作をセンシングするよう複数のセンサを配置することが可能となる。これにより、作業員４００の所定動作の学習に必要な様々なデータを取得しやすくなると共に、作業員４００の各所定部位を全体的にカバーできるようにセンシングすることができる。

【0114】

また、本実施形態では、第１センサ（第１撮像装置）は作業員の左腕を、第２センサ（第２撮像装置）は作業員の左腕を、それぞれセンシングするものとして説明した。しかし、センシング対象となる所定部位はこれに限らず、また各センサがセンシングする所定部位もこれに限らない。例えば、第１センサ（第１撮像装置）は作業員の右手の指先をセンシングし、第２センサ（第２撮像装置）は作業員の首の動作をセンシングしてもよい。

【0115】

また、本実施形態では、作業員の所定動作の学習を自動学習により行うものとして説明した。しかし、学習は必ずしも自動学習である必要はなく、他の既知の機械学習、例えばディープラーニング（深層学習）や教師なし／あり学習、強化学習等であってもよい。

【0116】

また、本実施形態では、移動式ロボットと作業ロボットとは同じ人型ロボットであるものして説明した。この場合、移動式ロボットを作業ロボットに併用するといったことが可能となり、ロボット作製に係る費用及びコストを節約できる。もっとも、移動式ロボットと作業ロボットとは、異なるロボットであってもよい。

【0117】

また、本実施形態では、センシング対象として作業員（人）を用いて説明した。しかし、これに限定されず、例えば作業員の所定動作を模倣可能なロボットをセンシング対象としてもよい。

【符号の説明】

【0118】

１００、１００'、１００'’ センシングシステム
２０、２０ａ、２０ｂ、２０ｃ 人型ロボット（移動式ロボット、作業ロボット）
２２、２２ａ、２２ｂ、２２ｃ 移動機構
２３、２３ａ、２３ｂ、２３ｃ、２３ｄ ロボット用センサ
２３０、２３０ａ、２３０ｂ、２３０ｃ、２３０ｄ センシング領域
２４、２４ａ、２４ｂ、２４ｃ、２４ｄ ロボット用撮像装置
２４０、２４０ａ、２４０ｂ、２４０ｃ、２４０ｄ 撮像領域
２５、２５ａ、２５ｂ、２５ｃ 情報処理装置
６０ 管理制御装置
６２ 記憶媒体（記憶部）
１２２４ 記憶装置（記憶部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】