知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022050147
(43)【公開日】2022-03-30
(54)【発明の名称】ロボット
(51)【国際特許分類】
B25J 13/08 20060101AFI20220323BHJP
【ＦＩ】
B25J13/08 A
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2020156579
(22)【出願日】2020-09-17
(71)【出願人】
【識別番号】515130201
【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】鍋嶌 厚太
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS15
3C707BS10
3C707KS03
3C707KS10
3C707KS36
3C707KT01
3C707KT05
3C707LS15
(57)【要約】
【課題】環境中の作業対象の面を特定でき、特定した面に則した適切なエンドエフェクタの軌道生成が可能なロボットを提供する。
【解決手段】ロボット１００は、撮像装置１１０ｄと、マニピュレータ１１０と、マニピュレータ１１０を制御するコントローラ１５３と、を備える。コントローラ１５３は、撮像装置１１０ｄから取得されたセンサデータの少なくとも一部に基づいて、マニピュレータ１１０に設置されるエンドエフェクタ１１０ｂを沿わせる箇所を特定し、センサデータの少なくとも一部に基づいて特定された箇所の表面に沿ってエンドエフェクタ１１０ｂを動かすようマニピュレータ１１０を制御する。
【選択図】図２
【解決手段】ロボット１００は、撮像装置１１０ｄと、マニピュレータ１１０と、マニピュレータ１１０を制御するコントローラ１５３と、を備える。コントローラ１５３は、撮像装置１１０ｄから取得されたセンサデータの少なくとも一部に基づいて、マニピュレータ１１０に設置されるエンドエフェクタ１１０ｂを沿わせる箇所を特定し、センサデータの少なくとも一部に基づいて特定された箇所の表面に沿ってエンドエフェクタ１１０ｂを動かすようマニピュレータ１１０を制御する。
【選択図】図２
【特許請求の範囲】
【請求項1】
１以上のセンサと、
多関節アームと、
前記多関節アームを制御するコントローラと、
を備え、
前記コントローラは、
前記１以上のセンサから取得されたセンサデータの少なくとも一部に基づいて、前記多関節アームに設置されるエンドエフェクタを沿わせる箇所を特定し、
前記センサデータの少なくとも一部に基づいて特定された前記箇所の表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御する、
ロボット。
多関節アームと、
前記多関節アームを制御するコントローラと、
を備え、
前記コントローラは、
前記１以上のセンサから取得されたセンサデータの少なくとも一部に基づいて、前記多関節アームに設置されるエンドエフェクタを沿わせる箇所を特定し、
前記センサデータの少なくとも一部に基づいて特定された前記箇所の表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御する、
ロボット。
【請求項2】
前記コントローラは、
前記１以上のセンサから取得された前記センサデータに含まれる第１情報に基づいて、前記多関節アームに設置される前記エンドエフェクタを沿わせる箇所を特定し、
前記センサデータに含まれる前記第１情報に基づいて特定された前記箇所の前記表面に沿って前記エンドエフェクタを動かすよう、前記センサデータに含まれる第２情報に基づいて前記多関節アームを制御する、
請求項１に記載のロボット。
前記１以上のセンサから取得された前記センサデータに含まれる第１情報に基づいて、前記多関節アームに設置される前記エンドエフェクタを沿わせる箇所を特定し、
前記センサデータに含まれる前記第１情報に基づいて特定された前記箇所の前記表面に沿って前記エンドエフェクタを動かすよう、前記センサデータに含まれる第２情報に基づいて前記多関節アームを制御する、
請求項１に記載のロボット。
【請求項3】
前記コントローラは、
前記第１情報に基づいて特定された前記箇所の前記表面を、前記第２情報に基づいて特定し、前記特定された前記表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御する、
請求項２に記載のロボット。
前記第１情報に基づいて特定された前記箇所の前記表面を、前記第２情報に基づいて特定し、前記特定された前記表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御する、
請求項２に記載のロボット。
【請求項4】
前記第１情報は、前記センサデータに含まれるＲＧＢ画像であり、
前記第２情報は、前記センサデータに含まれるデプス画像である、
請求項２または３に記載のロボット。
前記第２情報は、前記センサデータに含まれるデプス画像である、
請求項２または３に記載のロボット。
【請求項5】
前記コントローラは、
前記センサデータの少なくとも一部の情報に基づいて特定された前記箇所の形状を、前記情報に基づいて推定し、前記特定された前記箇所の前記推定された前記形状に基づいて、前記特定された前記箇所の表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御する、
請求項１～４のいずれか１項に記載のロボット。
前記センサデータの少なくとも一部の情報に基づいて特定された前記箇所の形状を、前記情報に基づいて推定し、前記特定された前記箇所の前記推定された前記形状に基づいて、前記特定された前記箇所の表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御する、
請求項１～４のいずれか１項に記載のロボット。
【請求項6】
移動機構を備え、
前記コントローラは、
前記移動機構によって当該ロボットを空間内で移動させながら、前記１以上のセンサから取得された前記センサデータの少なくとも一部に基づいて、前記多関節アームの前記エンドエフェクタを沿わせる前記箇所を探す、
請求項１～５のいずれか１項に記載のロボット。
前記コントローラは、
前記移動機構によって当該ロボットを空間内で移動させながら、前記１以上のセンサから取得された前記センサデータの少なくとも一部に基づいて、前記多関節アームの前記エンドエフェクタを沿わせる前記箇所を探す、
請求項１～５のいずれか１項に記載のロボット。
【請求項7】
移動機構を備え、
前記コントローラは、
前記センサデータに基づいて特定された前記箇所の前記表面に沿って前記エンドエフェクタを動かすよう前記多関節アーム及び前記移動機構を制御する、
請求項１～６のいずれか１項に記載のロボット。
前記コントローラは、
前記センサデータに基づいて特定された前記箇所の前記表面に沿って前記エンドエフェクタを動かすよう前記多関節アーム及び前記移動機構を制御する、
請求項１～６のいずれか１項に記載のロボット。
【請求項8】
前記コントローラは、
前記エンドエフェクタを前記箇所の前記表面に接触させた状態を維持しながら、前記表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御し、前記エンドエフェクタによって前記表面を清拭させる、
請求項１～７のいずれか１項に記載のロボット。
前記エンドエフェクタを前記箇所の前記表面に接触させた状態を維持しながら、前記表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御し、前記エンドエフェクタによって前記表面を清拭させる、
請求項１～７のいずれか１項に記載のロボット。
【請求項9】
前記コントローラは、
前記エンドエフェクタを前記箇所の前記表面と所定距離を取った状態を維持しながら、前記表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御し、前記エンドエフェクタによって前記表面を処理させる、
請求項１～８のいずれか１項に記載のロボット。
前記エンドエフェクタを前記箇所の前記表面と所定距離を取った状態を維持しながら、前記表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御し、前記エンドエフェクタによって前記表面を処理させる、
請求項１～８のいずれか１項に記載のロボット。
【請求項10】
前記箇所にはマーカが付されており、
前記コントローラは、前記センサデータから前記マーカを抽出し、前記マーカが含まれる領域を前記箇所と特定する、
請求項１～９のいずれか１項に記載のロボット。
前記コントローラは、前記センサデータから前記マーカを抽出し、前記マーカが含まれる領域を前記箇所と特定する、
請求項１～９のいずれか１項に記載のロボット。
【請求項11】
前記コントローラは、前記センサデータから面の領域を抽出し、前記面の領域を前記箇所の前記表面と特定する、
請求項１～９のいずれか１項に記載のロボット。
請求項１～９のいずれか１項に記載のロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボットに関する。
【背景技術】
【0002】
人手で行っていた作業をロボットに行わせることが試みられている。特許文献１は、所定位置に配置される既知形状のワーク表面を塗装する塗装ロボットを開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－３１５１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、タスクの作業対象の位置あるいは表面の立体形状が未知の環境下において、従来の工業用ロボットの制御手法ではタスク遂行が難しい。
【0005】
本開示は、環境中の作業対象の面を特定でき、特定した面に則した適切なエンドエフェクタの軌道生成が可能なロボットを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の実施形態の一観点に係るロボットは、１以上のセンサと、多関節アームと、前記多関節アームを制御するコントローラと、を備え、前記コントローラは、前記１以上のセンサから取得されたセンサデータの少なくとも一部に基づいて、前記多関節アームに設置されるエンドエフェクタを沿わせる箇所を特定し、前記センサデータの少なくとも一部に基づいて特定された前記箇所の表面に沿って前記エンドエフェクタを動かすよう前記多関節アームを制御する。
【発明の効果】
【0007】
本開示によれば、環境中の作業対象の面を特定でき、特定した面に則した適切なエンドエフェクタの軌道生成が可能なロボットを提供することができる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るロボットの概略構成図
【図2】実施形態に係るロボットによる清拭作業の概要を説明する図
【図3】実施形態に係るコントローラの機能ブロック図
【図4】コントローラのハードウェア構成図
【図5】実施形態に係るロボットの清拭作業の動作制御のフローチャート
【図6】清拭作業におけるエンドエフェクタの動作を説明する図
【図7】薬剤噴霧作業におけるエンドエフェクタの動作を説明する図
【図8】作業面の全体を撮像できない事例の模式図
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
【0010】
図１は、実施形態に係るロボット１００の概略構成図である。図１に示すロボット１００は、カメラ画像に基づいて、多関節アーム１１０に取り付けられたエンドエフェクタ１１０ｂを利用して所定の作業を実行する。このエンドエフェクタ１１０ｂは、例えば多関節アーム１１０の先端に取り付けられてもよいし、多関節アーム１１０の途中に取り付けられてもよい。本実施形態では、ロボット１００は具体的には対象物の消毒作業を実行可能であり、その一例として薬品等を含ませた布などで対象物の表面を拭く清拭消毒を行う。ウイルス等の接触感染症及び飛沫感染症の拡大を防止するためには、感染者が高頻度で接触する環境表面（ドアの取っ手、手すり、照明スイッチ等）や、診察室等の環境表面の消毒が定期的に必要となる。消毒にはウイルスや細菌の物理的除去を兼ねた清拭が標準予防策として推奨されている。このような清拭による消毒作業をロボットに行わせることができると、作業員の安全性向上や負荷軽減が期待できる。この場合、必要なタスクとしては、清拭の対象面に沿ってエンドエフェクタを移動させるように多関節アームの軌道（および、必要に応じてロボット本体の移動経路）を生成することが考えられる。
【0011】
図１に示すように、ロボット１００は、垂直多関節型のマニピュレータ１１０（多関節アーム）と、移動機構１５０とを有する。
【0012】
このうち、移動機構１５０は、ロボット１００を移動させ、ロボット１００全体の位置を制御する。移動機構１５０は、支持部１５１と、駆動部１５２と、コントローラ１５３とを有する。
【0013】
支持部１５１は、垂直多関節型のマニピュレータ１１０を支持する基部である。駆動部１５２は、ロボット１００を任意の位置に移動させる。駆動部１５２は例えば車輪を有し、車輪により地上を走行する。コントローラ１５３は、垂直多関節型のマニピュレータ１１０の動作及び駆動部１５２の動作を制御する。
【0014】
一方、垂直多関節型のマニピュレータ１１０は、作業の対象物Ｂ（図２参照）に対して所定の操作を行う。このマニピュレータ１１０は、図１中の点線Ｌより下側に示したメインアーム部１１０ａ及びエンドエフェクタ１１０ｂと、点線Ｌより上側に示したサブアーム部１１０ｃ（分岐アームの一例）及び撮像装置１１０ｄと、に大別することができる。すなわち、コントローラ１５３は、撮像装置１１０ｄで撮影された撮影画像中から撮像対象を特定し、メインアーム部１１０ａ及びサブアーム部１１０ｃの動作を制御する。メインアーム部１１０a及びサブアーム部１１０ｃの動作の制御に、撮像画像を用いたビジュアルフィードバック制御が適用されてもよい。そしてメインアーム部１１０ａを制御することでエンドエフェクタ１１０ｂの位置及び姿勢を適切に制御したり、サブアーム部１１０ｃを制御することで撮像装置１１０ｄの位置及び姿勢を適切に制御したりする。
【0015】
メインアーム部１１０ａは、複数のリンク部（第１のリンク部１１１ａ、第２のリンク部１１２ａ、第３のリンク部１１３ａ、第４のリンク部１１４ａ、第５のリンク部１１５ａ）を有する。
【0016】
第１のリンク部１１１ａの一方の端部は、移動機構１５０に対して、回転部１２１を介して取り付けられる。また、第１のリンク部１１１ａは昇降する直動機構（直動関節）を有し、他端には、回転部１２２を介して第２のリンク部１１２ａの一方の端部が取り付けられる。
【0017】
本実施形態において、第２のリンク部１１２ａの他方の端部には、分岐部１４０が形成されており、分岐部１４０には、サブアーム部１１０ｃが取り付けられる。すなわち、サブアーム部１１０ｃは、エンドエフェクタ１１０ｂが取り付けられるメインアーム部１１０ａの途中から分岐するよう構成されている。また、分岐部１４０は、回転部１２３を有し、回転部１２３を介して、第３のリンク部１１３ａの一方の端部が取り付けられる。つまり、サブアーム部１１０ｃは、第３のリンク部１１３ａの根元から分岐する。
【0018】
第３のリンク部１１３ａの他方の端部には、回転部１２４を介して第４のリンク部１１４ａの一方の端部が取り付けられる。また、第４のリンク部１１４ａの他方の端部には、回転部１２５を介して、第５のリンク部１１５ａの一方の端部が取り付けられる。更に、第５のリンク部１１５ａの他方の端部には、回転部１２６を介して、エンドエフェクタ１１０ｂが取り付けられる。
【0019】
このように、メインアーム部１１０ａは、６個の回転関節（基部から順に回転部１２１～１２６）及び１個の直動関節（昇降機構）と、５個のリンク（基部から順に第１のリンク部１１１ａ～第５のリンク部１１５ａ）とを有する。メインアーム部１１０ａは、これら回転関節および直動関節の合計７軸を制御することで、エンドエフェクタ１１０ｂが物体表面に沿って動くようにエンドエフェクタ１１０ｂの位置及び姿勢を制御する。
【0020】
エンドエフェクタ１１０ｂは、ロボット１００の作業目的に応じて適切な要素を適用することができる。本実施形態では、ロボット１００は作業対象の作業面Ｃ（図２参照）をエンドエフェクタ１１０ｂで清拭して消毒する作業を行うので、エンドエフェクタ１１０ｂは作業面Ｃを清拭可能なモップ状の要素が適用されている。
【0021】
一方、分岐部１４０に取り付けられたサブアーム部１１０ｃは、第１のリンク部１１１ｃ、第２のリンク部１１２ｃを有する。リンク長は、第１のリンク部１１１ｃよりも第２のリンク部１１２ｃのほうが長く、回転部１３３と回転部１３２との間の距離は、回転部１３２と回転部１３１との間の距離よりも遠い。
【0022】
第１のリンク部１１１ｃの一方の端部は、分岐部１４０に対して、回転部１３１を介して取り付けられる。また、第１のリンク部１１１ｃの他方の端部には、回転部１３２を介して第２のリンク部１１２ｃの一方の端部が取り付けられる。更に、第２のリンク部１１２ｃの他方の端部には、回転部１３３を介して、撮像装置１１０ｄが取り付けられる。
【0023】
このように、サブアーム部１１０ｃは、３個の関節（分岐部１４０から順に回転部１３１～１３３）と、２個のリンク（分岐部１４０から順に第１のリンク部１１１ｃ～第２のリンク部１１２ｃ）とを有する。そして、サブアーム部１１０ｃは、先端に取り付けられた撮像装置１１０ｄが、撮像対象（作業対象物や周辺環境等）を撮影する。
【0024】
つまり、サブアーム部１１０ｃは、例えばビジュアルフィードバック制御により、３軸（３個の関節）を制御することで、撮像装置１１０ｄの位置及び姿勢を３自由度で制御する。このとき、サブアーム部１１０ｃは、メインアーム部１１０ａとの干渉を回避するように３軸を制御する。また、撮像装置１１０ｄは、サブアーム部１１０ｃにより制御された位置及び姿勢のもとで、撮像対象（作業対象物や周辺環境等）を撮影し、撮影画像を出力する。この撮像装置１１０ｄの撮影方向は、回転部１３１、１３２、１３３の回転角度に依存するが、図１の場合には左方向であるとする。
【0025】
撮像装置１１０ｄは、清拭作業の作業面Ｃを撮像する１以上のセンサの一例である。本実施形態の１以上のセンサはセンサデータを取得し、このセンサデータから、性質が互いに異なる第１情報（第１種データ）および第２情報（第２種データ）が取得可能である。撮像装置１１０ｄは、例えばＲＧＢ－Ｄカメラであり、作業面ＣのＲＧＢ画像（第１情報、第１種データ）とデプス画像（第２情報、第２種データ）とを撮像できる。デプス画像は、作業面Ｃまでの奥行き（深度）情報を含む。本実施形態では、「センサ」とは、作業面ＣのＲＧＢ画像やデプス画像を撮像でき、これらの画像情報（センサデータ）を取得できる要素を意味するものであり、ＲＧＢ―Ｄカメラや深度カメラなどのカメラ装置全体や、カメラ装置に内蔵されるＣＭＯＳセンサや深度センサなどのセンサ類や、単体で用いられるセンサを包含するものである。
【0026】
なお、マニピュレータ１１０は、多関節のアームであり、先端部に装着されるエンドエフェクタ１１０ｂを任意の位置や方向に制御できる構成であればよい。図１に示したマニピュレータ１１０の構成はあくまで一例であり、図１に示す構成と自由度や関節配置、リンク長が異なるものでもよい。サブアーム部１１０ｃを備えない構成でもよい。
【0027】
撮像装置１１０ｄは、エンドエフェクタ１１０ｂが清拭作業を行う対象の作業面Ｃを撮像できればよく、図１に示す構成のようにサブアーム部１１０ｃの先端に設置される構成とは異なるものでもよい。例えばロボット１００のサブアーム部１１０ｃ以外の要素に設置される構成でもよいし、ロボット１００の外部に設置され、ロボット１００のコントローラ１５３に画像情報（センサデータ）を無線通信等で送信する構成でもよい。撮像装置１１０ｄは、ＲＧＢ画像とデプス画像を取得できればよく、例えばＲＧＢカメラと深度カメラを個別に備え、複数の撮像装置を備える構成でもよい。
【0028】
図２は、実施形態に係るロボット１００による清拭作業の概要を説明する図である。図２に示すように、ロボット１００は、室内などの作業空間Ａに進入し、この作業空間Ａ内で対象物Ｂを特定し、特定した対象物Ｂの作業面Ｃの立体形状（３次元形状）を特定し、特定した作業面Ｃに沿ってエンドエフェクタ１１０ｂを用いて清拭作業を行う。図２の例では、対象物Ｂの一例として机を例示し、作業面Ｃの一例として机の上面を示している。
【0029】
ロボット１００は、撮像装置１１０ｄの撮像画像から作業面Ｃを特定する。作業面Ｃの特定手法は、例えば図２に示すように、撮像装置１１０ｄの撮像画像から検出可能な複数（図２では２つ）のマーカ２００が予め作業面Ｃに付けられており、このマーカ２００で囲まれる領域（図２では点線で示す）を作業面Ｃとして特定する手法が挙げられる。
【0030】
マーカ２００としては、例えば周知のＡＲマーカを使用できる。ＡＲマーカは、画像認識型ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）システムにおいて、標識となる決まったパターンの画像をいう。ＡＲマーカは、通常は矩形で、白黒２色の二次元ビットパターンになっており、単純な画像認識でマーカＩＤを認識出来るものである。ＡＲマーカは平面のものを使用し、カメラに写った時の歪み具合など、その形状からカメラに対する距離、角度などを計算する、また、取得した情報から、ＡＲマーカの位置に３ＤＣＧなどを表示するような使い方が一般的である。
【0031】
本実施形態でも、図２に例示するように、マーカ２００は矩形状の平面ビットパターンである。作業面Ｃの周囲に配置される複数のマーカ２００は、それぞれ別のビットパターンである。
【0032】
なお、撮像画像から対象物Ｂや作業面Ｃを特定する手法は、図２に示すＡＲマーカ２００を用いる手法とは別の手法でもよく、例えば深層学習によるセマンティックセグメンテーションを用いる手法でもよい。または、オペレータが例えば撮像画像を用いて、作業領域Ａ内の特定の面に対してアノテーション（注釈として付与）を行う手法でもよい。また、ＡＲマーカ以外の二次元マーカ（例えばＱＲコード（登録商標））を用いてもよい。
【0033】
また、対象物Ｂは、机以外にも部屋の壁面や、家具の特定の面、ドアノブなどを任意に選択してよい。作業面Ｃは、図２に示すような平面に限らず、曲面や、複数の平面や曲面が混在する複合的な面などでもよい。
【0034】
図３は、実施形態に係るロボット１００のコントローラ１５３の機能ブロック図である。コントローラ１５３は、上述の機能に関して対象物特定部１６１と、作業面特定部１６２と、軌道生成部１６３と、動作制御部１６４とを備える。
【0035】
対象物特定部１６１は、撮像装置１１０ｄにより撮像されたＲＧＢ画像に基づき清拭作業の対象物Ｂを特定する。
【0036】
作業面特定部１６２は、撮像装置１１０ｄにより撮像されたデプス画像（デプスマップとも呼ばれる）に基づき、対象物特定部１６１により特性された清拭作業の対象物Ｂにおいて、エンドエフェクタ１１０ｂで清拭を行う作業面Ｃの立体形状を特定する。
【0037】
軌道生成部１６３は、作業面特定部１６２により特定された作業面Ｃの立体形状に基づき、エンドエフェクタ１１０ｂが作業面Ｃに沿って移動して作業面Ｃの全体を清拭するように、マニピュレータ１１０の軌道を生成する。例えば、軌道生成部１６３は、マニピュレータ１１０の手先軌道を生成し、この手先軌道を実現する各関節の角度の時系列データを生成する。
【0038】
動作制御部１６４は、軌道生成部１６３により生成された軌道に基づいて、マニピュレータ１１０及び移動機構１５０を制御する。
【0039】
図４は、コントローラ１５３のハードウェア構成図である。図４に示すように、コントローラ１５３は、物理的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、主記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、入力デバイスであるキーボード及びマウス等の入力装置１０４、ディスプレイ等の出力装置１０５、ネットワークカード等のデータ送受信デバイスである通信モジュール１０６、補助記憶装置１０７、などを含むコンピュータシステムとして構成することができる。
【0040】
図３に示すコントローラ１５３の各機能は、ＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０６、入力装置１０４、出力装置１０５を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０７におけるデータの読み出し及び書き込みを行うことで実現される。すなわち、本実施形態に係るロボット１００の清拭作業の制御プログラムをコンピュータ上で実行させることで、コントローラ１５３は、図３の対象物特定部１６１と、作業面特定部１６２と、軌道生成部１６３と、動作制御部１６４として機能する。
【0041】
また、コントローラ１５３の各機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路であってもよい。また、各機能の制御を行う制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等によるものであってもよい。
【0042】
コントローラ１５３の各機能の少なくとも一部はハードウェアで構成されていてもよいし、ソフトウェアで構成され、ソフトウェアの情報処理によりＣＰＵ等が実施をしてもよい。ソフトウェアで構成される場合には、コントローラ１５３及びその少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記憶媒体であってもよい。すなわち、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実装されるものであってもよい。さらに、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、プロセッサ等のハードウェアが実行するものであってもよい。ジョブの実行は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のアクセラレータを使用して行ってもよい。
【0043】
例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。なお、メモリ、プロセッサ、コンピュータ等のハードウェアは、それぞれ１つ、または１つ以上備えられてもよい。
【0044】
コントローラ１５３は、図１では移動機構１５０の内部に搭載される構成が例示されているが、あくまで一例であり、ロボット１００の他の箇所に搭載される構成でもよいし、ロボット１００の外部に設置されてロボット１００と有線または無線で通信可能に接続される構成でもよい。
【0045】
【0046】
ステップＳ０１では、ロボット１００が作業領域Ａに進入する。
【0047】
ステップＳ０２では、ロボット１００は作業領域Ａ内を移動しながら対象物Ｂを探索する。対象物特定部１６１は、撮像装置１１０ｄにより撮像されたＲＧＢ画像を用いて対象物Ｂの検出を行う。本実施形態では、対象物特定部１６１は、図２に示したマーカ２００をＲＧＢ画像内で検出したときに、マーカ２００を含む領域を対象物Ｂとして特定する。また、複数のマーカ２００により区画される領域を大まかな作業面Ｃの位置としても特定する。動作制御部１６４は、移動機構１５０の動作を制御することで、ロボット１００を作業領域Ａ内で任意の位置や方向に移動させる。
【0048】
ステップＳ０３では、対象物特定部１６１が対象物Ｂを特定したか否かが判定される。対象物特定部１６１が対象物Ｂを特定できた場合（ステップＳ０３のＹｅｓ）にはステップＳ０４に進み、そうでない場合（ステップＳ０３のＮｏ）にはステップＳ０２に戻り、対象物特定部１６１が対象物Ｂを特定するまで作業領域Ａ内の移動と探索が継続される。
【0049】
ステップＳ０４では、動作制御部１６４により移動機構１５０が制御され、対象物Ｂの作業面Ｃがエンドエフェクタ１１０ｂの移動範囲内となるまで、ロボット１００が作業面Ｃに接近する。
【0050】
ステップＳ０５では、作業面特定部１６２により、撮像装置１１０ｄにより撮像されたデプス画像を用いて、作業面Ｃの立体形状が特定される。
【0051】
なお、ステップＳ０５の処理は、ステップＳ０４において作業面Ｃに接近する前の画像情報に基づいて予め実行しておいてもよい。この場合、例えばロボット１００が作業領域Ａ内の任意の位置で取得した画像情報からコントローラ１５３が作業領域Ａの三次元マップを作成する。作業面特定部１６２はこの三次元マップを利用して作業面Ｃの立体形状を特定できる。
【0052】
ステップＳ０６では、軌道生成部１６３により、エンドエフェクタ１１０ｂが作業面Ｃを清拭できる軌道が生成される。
【0053】
ステップＳ０７では、動作制御部１６４により、ステップＳ０６にて生成された軌道に沿ってマニピュレータ１１０の動作が制御される。
【0054】
ステップＳ０８では、作業面Ｃの清拭が完了したか否かが判定される。コントローラ１５３は、例えば生成軌道に沿ったエンドエフェクタ１１０ｂの移動が完了したときに清拭が完了したと判定できる。清拭が完了した場合（ステップＳ０８のＹｅｓ）にはステップＳ０９に進み、そうでない場合（ステップＳ０８のＮｏ）にはステップＳ０７に戻り生成軌道に沿った動作を継続する。
【0055】
なお、ステップＳ０８の処理は、エンドエフェクタ１１０ｂに六軸力センサを設け、六軸力センサの出力に基づく判定でもよい。この場合、コントローラ１５３は、六軸力センサの出力に基づき作業面Ｃとエンドエフェクタ１１０ｂとの接触有無の情報を取得し、この情報を利用してエンドエフェクタ１１０ｂが所定の作業面Ｃの全域を清拭したか否かを判定できる。また、この手法の場合、エンドエフェクタ１１０ｂの位置情報と、作業面Ｃとの接触有無の情報とを対応づければ、作業面Ｃの各位置における清拭作業の進捗状況を示す作業レポートも作成できる。このような作業レポートがあればロボット１００のユーザは清拭作業の進捗状況を精度良く把握できる。
【0056】
ステップＳ０９では、作業領域Ａ内に清拭作業の他の対象物Ｂがあるか否かが判定される。他の対象物がある場合（ステップＳ０９のＹｅｓ）にはステップＳ０２に戻り他の対象物の探索が行われる。一方、他の対象物が無い場合（ステップＳ０９のＮｏ）には、作業領域Ａ内でのすべての対象物Ｂの清拭作業が完了したので本制御フローを終了する。
【0057】
なお、本実施形態ではロボット１００が自動的に行う作業として清拭による消毒作業を例示しているが、清拭消毒作業をロボット１００に行わせるメリットは例えば以下のとおりである。
・清拭に関する消毒のエビデンス（消毒方法や消毒液などの医学的な知見）が十分にあるので、作業の教示や評価がしやすい。
・薬剤を対象物に噴霧せず、適量の薬剤で対象物の表面を拭く作業なので安全である。
・感染症予防のための消毒作業の場合、消毒作業者が作業領域に進入することが不要となるので、消毒作業者の感染源への暴露をゼロにできる。
・消毒作業者が着用する感染防護服の消費を抑えられる。
・清拭に関する消毒のエビデンス（消毒方法や消毒液などの医学的な知見）が十分にあるので、作業の教示や評価がしやすい。
・薬剤を対象物に噴霧せず、適量の薬剤で対象物の表面を拭く作業なので安全である。
・感染症予防のための消毒作業の場合、消毒作業者が作業領域に進入することが不要となるので、消毒作業者の感染源への暴露をゼロにできる。
・消毒作業者が着用する感染防護服の消費を抑えられる。
【0058】
また、本実施形態のロボット１００による清拭作業の客観的な評価方法としては、例えばカバレッジ（作業面Ｃのうち清拭できた表面積 ÷ 作業面Ｃ全体の表面積）や、清拭速度（清拭できた表面積 ÷ 清拭完了までにかかった時間）などの評価基準を用いることが挙げられる。
【0059】
図６、図７を参照して、本実施形態のロボット１００が実施する作業のバリエーションについて説明する。図６は、清拭作業におけるエンドエフェクタ１１０ｂの動作を説明する図である。図６に示すように、清拭作業では、モップ状のエンドエフェクタ１１０ｂが作業面Ｃとの接触を維持したままの状態で、マニピュレータ１１０により移動されることで、作業面Ｃの全体にわたって清拭が行われる。
【0060】
清拭作業を実現するためには、エンドエフェクタ１１０ｂは、例えば力制御により動作が制御される。この場合、マニピュレータ１１０にはエンドエフェクタ１１０ｂに付与される外力を計測する力センサが設けられる。コントローラ１５３は、力センサの計測値に基づいて、エンドエフェクタ１１０ｂと作業面Ｃとの接触力を所定値に維持しながら、生成軌道に沿ってエンドエフェクタ１１０ｂを移動させる。
【0061】
または、清拭作業を実現するためには、コントローラ１５３は、位置制御によりエンドエフェクタ１１０ｂの動作を制御してもよい。この場合、生成軌道は、作業面Ｃの位置よりも奥側（図６では下側）の所定深さの位置に設定される。また、この手法ではエンドエフェクタ１１０ｂにはばね性を持たせる。これにより、エンドエフェクタ１１０ｂは作業面Ｃを押圧しながら移動することができ、作業面Ｃを清拭することができる。
【0062】
また、エンドエフェクタは生成軌道を移動中に必ずしも作業面Ｃに接触しなくてもよい。要は、作業面Ｃに沿ってエンドエフェクタを動かすようマニピュレータ１１０を制御する構成であればよい。図７に示す薬剤噴霧作業はその一例である。
【0063】
図７は、薬剤噴霧作業におけるエンドエフェクタ１１０ｂ１の動作を説明する図である。薬剤噴霧作業の場合、エンドエフェクタ１１０ｂ１は、作業面Ｃに薬剤を噴霧するためのスプレー状の要素を適用できる。図７に示すように、薬剤噴霧作業では、コントローラ１５３は、スプレー状のエンドエフェクタ１１０ｂ１と作業面Ｃとの所定距離を取った状態を維持しながら、生成軌道に沿ってエンドエフェクタ１１０ｂ１を移動させる制御を行う。これにより、エンドエフェクタ１１０ｂ１は、作業面Ｃの全体にわたって薬剤の噴霧を行うことができる。
【0064】
図７に示す薬剤噴霧作業と同様に、エンドエフェクタと作業面Ｃとの距離を一定に維持しながら生成軌道に沿って移動する作業としては、例えば作業面Ｃに紫外線を照射する作業などが挙げられる。
【0065】
また、コントローラ１５３の作業面特定部１６２は、撮像装置１１０ｄにより対象物Ｂの作業面Ｃの全体を撮像できない状況の場合に、作業面Ｃを適宜補完することで全体を特定する構成としてもよい。図８は、作業面の全体を撮像できない事例の模式図である。図８に示すように、例えば対象物Ｂ１がドアノブであり、このドアノブＢ１を撮像装置１１０ｄが上方から撮像する場合を考える。この場合、ドアノブＢ１の略円柱形状の外周面（側面）である作業面のうち、上方に面する作業面Ｃ１は、撮像装置１１０ｄによりデプス画像を撮像することができる。一方、下方に面する作業面Ｃ２（図８ではハッチングを付した部分）は、カメラ側から視ると隠れているためデプス画像を撮像することができない。
【0066】
このように、ドアノブ、ハンドル、手すりなど、撮像される表面の裏側の面も清拭すべき対象を画像情報から認識（特定）した後の清拭動作としては、例えば以下の手法で実施できる。なお下記はドアノブを一例として記載しているが、ハンドルや手すりなども同様である。
（１）ドアノブを認識したら画像情報（デプス含む）からドアノブの表面形状を推定し、その推定されたドアノブ形状にしたがって、エンドエフェクタでドアノブ表面をぐるっと一周して清拭するよう、マニピュレータを制御する。
（２）ドアノブをすっぽりと覆うようなエンドエフェクタを使うことで対処する。
（１）ドアノブを認識したら画像情報（デプス含む）からドアノブの表面形状を推定し、その推定されたドアノブ形状にしたがって、エンドエフェクタでドアノブ表面をぐるっと一周して清拭するよう、マニピュレータを制御する。
（２）ドアノブをすっぽりと覆うようなエンドエフェクタを使うことで対処する。
【0067】
上記（１）の手法は、図８の例ではデプス画像を取得できる上側の作業面Ｃ１の立体形状を特定し、この特定できた作業面Ｃ１に基づき作業面全体にわたる手先軌道を推定できる。図８の例では作業面が略円柱形状または略円錐台形状の外周面（側面）であるので、例えば作業面Ｃ１の周方向の両端から同一の曲率で曲面を延長することで作業面Ｃ２に沿った軌道も生成できる。
【0068】
本実施形態に係るロボット１００は、コントローラ１５３により、撮像装置１１０ｄから取得された画像情報の少なくとも一部（ＲＧＢ画像）に基づいて、マニピュレータ１１０の先端に設置されるエンドエフェクタ１１０ｂを沿わせる箇所である対象物Ｂを特定する。そして、ＲＧＢ画像に基づいて特定された対象物Ｂの表面である作業面Ｃに沿ってエンドエフェクタ１１０ｂを動かすようマニピュレータ１１０を制御する。
【0069】
この構成により、ＲＧＢ画像に基づき清拭などの作業の対象物Ｂを特定できるので、事前に対象物Ｂの情報を持ち合わせていなくてもロボット１００が自力で対象物Ｂを探索することができ、未知の環境下においても環境中の作業対象の面を特定できる。また、対象物Ｂの作業面Ｃに沿ってエンドエフェクタ１１０ｂを動かすようマニピュレータ１１０を制御することで、特定した面に則した適切なエンドエフェクタ１１０ｂの軌道生成が可能となる。
【0070】
また、本実施形態に係るロボット１００は、コントローラ１５３により、ＲＧＢ画像に基づいて特定された対象物Ｂの作業面Ｃを、撮像装置１１０ｄから取得された画像情報の少なくとも一部（デプス画像）に基づいて特定し、特定された表面に沿ってエンドエフェクタ１１０ｂを動かすようマニピュレータ１１０を制御する。
【0071】
この構成により、デプス画像を用いて作業面Ｃの凹凸形状を高精度に特定できるので、作業面Ｃに沿ってエンドエフェクタ１１０ｂを動かす軌道をより高精度に作成することが可能となる。これにより、エンドエフェクタ１１０ｂにより精細な作業を行わせることが可能となる。
【0072】
また、本実施形態に係るロボット１００は、移動機構１５０によって当該ロボット１００を空間内で移動させながら、撮像装置１１０ｄから取得された画像情報の少なくとも一部（ＲＧＢ画像）に基づいて、マニピュレータ１１０のエンドエフェクタ１１０ｂを沿わせる箇所（対象物Ｂ）を探索する。
【0073】
この構成により、より広範囲にわたって対象物Ｂを探索することが可能となり、様々な広さの作業領域Ａで清拭などの作業が可能となるので、ロボット１００を適用できる作業領域Ａの選択肢が広がり、ロボット１００の汎用性を向上できる。また、従来のように作業者がロボット１００を遠隔操作する場合には、消毒作業の精度や信頼度が作業者の消毒作業やロボット操作の習熟度に依存する傾向が考えられるが、本実施形態ではロボット１００が移動機構１５０により自律移動して自動的に探索を行う。これにより、消毒作業に関わる作業者の拘束を軽減でき、また、作業者の習熟度に依存せずに消毒作業の精度や信頼度を安定化できる。
【0074】
また、本実施形態に係るロボット１００は、コントローラ１５３により、対象物Ｂに付されているマーカ２００を撮像装置１１０ｄの画像情報から抽出し、マーカ２００が含まれる領域を対象物Ｂと特定する。この構成により、対象物Ｂの特定をより高速かつ高精度に行わせることが可能となり、清拭などの作業の効率を向上できる。
【0075】
以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。
【0076】
上記実施形態では、ロボット１００のマニピュレータ１１０の関節は、回転関節あるいは直動関節のいずれでもよい。
【0077】
上記実施形態では、ロボット１００が実施する作業として清拭、薬剤噴霧、紫外線照射などの消毒作業を例示したが、これらの消毒作業に限られない。例えば、拭き掃除などの清掃作業、非破壊検査、研磨や塗装などの表面処理、などにも適用できる。
【0078】
上記実施形態では、ロボット１００が移動機構１５０を備え、自律的に移動可能な構成であり、ロボット１００が作業の対象物Ｂに接近するタスクを例示したが、これに限られない。例えばロボット１００が所定位置に固設され、コンベヤ等の搬送手段によって作業の対象物Ｂがロボット１００のエンドエフェクタ１１０ｂの作業範囲内に誘導される構成でもよい。
【0079】
撮像装置１１０ｄが取得する画像情報は、ＲＧＢ画像とデプス画像の組み合わせ以外でもよい。例えばＲＧＢ画像の代わりに輝度情報を取得する構成でもよいし、立体視の画像情報を取得する構成でもよい。
【0080】
また、デプス画像から作業面Ｃの立体形状を特定する構成を例示したが、これに限られない。例えば、作業面Ｃを近似的に特定する構成でもよい。具体的には、ＲＧＢ画像で特定された箇所の範囲内を数点サンプルしたデプス情報から、ベジェ曲面やＢスプライン曲面などでその箇所の表面を近似する近似曲面を算出し、その近似曲面をもとにマニピュレータ制御を行うこともできる。
【0081】
また、作業面Ｃの特定にデプス画像を用いずにＲＧＢ画像を用いる構成でもよい。この場合、例えばコントローラ１５３は２つのディープニューラルネットワークを有する。１つはＲＧＢ画像を入力するとセマンティックセグメンテーションやインスタンスセグメンテーションなど物体検出を行う第１モデルである。もう一方は対象物体のＲＧＢ画像を入力すると対象物体のＲＧＢ画像の各画素のデプス情報（すなわちデプス画像）を推定する第２モデルである。第１モデルにＲＧＢ画像を入力することでテーブルやドアノブなど消毒清拭対象を検出し、その検出された対象のＲＧＢ画像を第２モデルに入力することで対象のデプス画像を推定し、その推定されたデプス画像を基にマニピュレータ制御を行うことができる。
【符号の説明】
【0082】
１００ ロボット
１１０ マニピュレータ（多関節アーム）
１１０ｂ エンドエフェクタ
１１０ｄ 撮像装置（センサ）
１５０ 移動機構
１５３ コントローラ
２００ マーカ
Ａ 作業領域
Ｂ 対象物（箇所）
Ｃ 作業面（表面）
１１０ マニピュレータ（多関節アーム）
１１０ｂ エンドエフェクタ
１１０ｄ 撮像装置（センサ）
１５０ 移動機構
１５３ コントローラ
２００ マーカ
Ａ 作業領域
Ｂ 対象物（箇所）
Ｃ 作業面（表面）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】