知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023018668
(43)【公開日】2023-02-08
(54)【発明の名称】接触近接検知装置、ロボットアーム及び接触近接検知方法
(51)【国際特許分類】
G01L 5/00 20060101AFI20230201BHJP
B25J 19/06 20060101ALI20230201BHJP
【ＦＩ】
G01L5/00 Z
B25J19/06
G01L5/00 101Z
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022118796
(22)【出願日】2022-07-26
(31)【優先権主張番号】P 2021122314
(32)【優先日】2021-07-27
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「タッチＩｏＴ：触れるインターネット実現のための肌感覚送受信機の開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】304024430
【氏名又は名称】国立大学法人北陸先端科学技術大学院大学
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100173462
【弁理士】
【氏名又は名称】宮本 一浩
(72)【発明者】
【氏名】ホ アンヴァン
(72)【発明者】
【氏名】ルウ ハンクアン
(72)【発明者】
【氏名】グエン ニャンヒュー
【テーマコード（参考）】
2F051
3C707
【Ｆターム（参考）】
2F051AA10
2F051AB03
2F051BA07
3C707BS10
3C707HS27
3C707KS31
3C707MS08
3C707MS14
3C707MS15
3C707MS27
(57)【要約】
【課題】接触と近接とを検知する。
【解決手段】接触近接検知装置１は、複数のマーカを有する表皮部と、複数のマーカを含む領域の画像を取得するカメラ１１、１３と、カメラ１１、１３によって取得された画像におけるマーカの位置と表皮部に物体が接触していない場合におけるマーカの位置との差から、表皮部に接触している物体の有無、物体の位置、表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、カメラ１１、１３によって取得された画像から、表皮部に接触していない物体の有無、物体の位置又は速度を含む近接情報を検知する、接触検知部２１１及び近接検知部２１２と、表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替部２１３と、を備える。
【選択図】図２
【解決手段】接触近接検知装置１は、複数のマーカを有する表皮部と、複数のマーカを含む領域の画像を取得するカメラ１１、１３と、カメラ１１、１３によって取得された画像におけるマーカの位置と表皮部に物体が接触していない場合におけるマーカの位置との差から、表皮部に接触している物体の有無、物体の位置、表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、カメラ１１、１３によって取得された画像から、表皮部に接触していない物体の有無、物体の位置又は速度を含む近接情報を検知する、接触検知部２１１及び近接検知部２１２と、表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替部２１３と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数のマーカを有する表皮部と、
前記複数のマーカを含む領域の画像を取得する画像取得部と、
前記画像取得部によって取得された画像における前記マーカの位置と前記表皮部に物体が接触していない場合における当該マーカの位置との差から、前記表皮部に接触している前記物体の有無、前記物体の位置、前記表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、前記画像取得部によって取得された前記画像から、前記表皮部に接触していない前記物体の有無、前記物体の位置又は速度を含む近接情報を検知する、検知部と、
前記表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替部と、を備える、
接触近接検知装置。
前記複数のマーカを含む領域の画像を取得する画像取得部と、
前記画像取得部によって取得された画像における前記マーカの位置と前記表皮部に物体が接触していない場合における当該マーカの位置との差から、前記表皮部に接触している前記物体の有無、前記物体の位置、前記表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、前記画像取得部によって取得された前記画像から、前記表皮部に接触していない前記物体の有無、前記物体の位置又は速度を含む近接情報を検知する、検知部と、
前記表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替部と、を備える、
接触近接検知装置。
【請求項2】
前記検知部は、前記透明モード切替部によって切り替えられた前記透明モードが透明を示す値であるときに、前記近接情報を検知し、前記透明モード切替部によって切り替えられた前記透明モードが不透明を示す値であるときに、前記接触情報を検知する、
請求項１に記載の接触近接検知装置。
請求項１に記載の接触近接検知装置。
【請求項3】
請求項１に記載の接触近接検知装置によって構成されたリンク部材を備えるロボットアームであって、
前記検知部が検知した前記近接情報に基づいて前記リンク部材を移動させることで、前記物体と前記リンク部材との衝突を回避する制御を行うことが可能である、
ロボットアーム。
前記検知部が検知した前記近接情報に基づいて前記リンク部材を移動させることで、前記物体と前記リンク部材との衝突を回避する制御を行うことが可能である、
ロボットアーム。
【請求項4】
複数のマーカを有する表皮部から、当該複数のマーカを含む領域の画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された画像における前記マーカの位置と前記表皮部に物体が接触していない場合における当該マーカの位置との差から、前記表皮部に接触している前記物体の有無、前記物体の位置、前記表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、前記画像取得ステップにおいて取得された前記画像から、前記表皮部に接触していない前記物体の有無、前記物体の位置又は速度を含む近接情報を検知する、検知ステップと、
前記表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替ステップと、を含む、
接触近接検知方法。
前記画像取得ステップにおいて取得された画像における前記マーカの位置と前記表皮部に物体が接触していない場合における当該マーカの位置との差から、前記表皮部に接触している前記物体の有無、前記物体の位置、前記表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、前記画像取得ステップにおいて取得された前記画像から、前記表皮部に接触していない前記物体の有無、前記物体の位置又は速度を含む近接情報を検知する、検知ステップと、
前記表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替ステップと、を含む、
接触近接検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、接触近接検知装置、ロボットアーム及び接触近接検知方法に関する。
【背景技術】
【0002】
ロボットが人を補助する技術が知られている。例えば、アームで人を支える介護ロボットは、介護サービスの提供を受ける人に不快感を与えないため、接触近接検知を行い、検知した結果に基づいてアームを制御する。
【0003】
物体の接触を検知する接触検知装置として、抵抗センサ、容量性センサ、圧電センサ等の各種センサを用いたもの、光学的手法を用いて物体の接触を検知するもの、カメラで物体の接触を検知するものなどがある。
【0004】
カメラで物体の接触を検知する接触検知装置の例として、特許文献１に示すものが知られている。特許文献１に記載されている接触検知装置においては、弾性体に複数のマーカが埋め込まれている。２つのカメラがこれらのマーカの画像を取得し、コンピュータがこれらの画像の情報と予め記憶されたマーカの位置とを比較することで、特許文献１に記載されている接触検知装置は、物体の接触の有無、位置及びその程度を検知する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２０－１２５９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ロボットと人が接するサービスを提供する場面においては、サービスの提供を受ける人にロボットによる不快感を与え難くするため、接触している物体だけでなく、ロボットの周囲にある物体も比較的高い精度で検知する必要がある。
【0007】
特許文献１に記載された装置は、現に物体が接触した部分を画像によって検知するため、未だ接触していない、接近しつつある物体を検知することができない。
従って、特許文献１に記載された接触検知装置によっては、接触と近接とを検知することができないという問題がある。
従って、特許文献１に記載された接触検知装置によっては、接触と近接とを検知することができないという問題がある。
【0008】
本発明は、上記の問題点に鑑み、接触と近接とを検知する接触近接検知装置、ロボットアーム及び接触近接検知方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の第１の観点に係る接触近接検知装置は、
複数のマーカを有する表皮部と、
前記複数のマーカを含む領域の画像を取得する画像取得部と、
前記画像取得部によって取得された画像における前記マーカの位置と前記表皮部に物体が接触していない場合における当該マーカの位置との差から、前記表皮部に接触している前記物体の有無、前記物体の位置、前記表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、前記画像取得部によって取得された前記画像から、前記表皮部に接触していない前記物体の有無、前記物体の位置又は速度を含む近接情報を検知する、検知部と、
前記表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替部と、を備える。
複数のマーカを有する表皮部と、
前記複数のマーカを含む領域の画像を取得する画像取得部と、
前記画像取得部によって取得された画像における前記マーカの位置と前記表皮部に物体が接触していない場合における当該マーカの位置との差から、前記表皮部に接触している前記物体の有無、前記物体の位置、前記表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、前記画像取得部によって取得された前記画像から、前記表皮部に接触していない前記物体の有無、前記物体の位置又は速度を含む近接情報を検知する、検知部と、
前記表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替部と、を備える。
【0010】
前記検知部は、前記透明モード切替部によって切り替えられた前記透明モードが透明を示す値であるときに、前記近接情報を検知し、前記透明モード切替部によって切り替えられた前記透明モードが不透明を示す値であるときに、前記接触情報を検知してもよい。
【0011】
また、本発明の第２の観点に係るロボットアームは、
本発明の第１の観点に係る接触近接検知装置によって構成されたリンク部材を備え、
前記検知部が検知した前記近接情報に基づいて前記リンク部材を移動させることで、前記物体と前記リンク部材との衝突を回避する制御を行うことが可能である。
本発明の第１の観点に係る接触近接検知装置によって構成されたリンク部材を備え、
前記検知部が検知した前記近接情報に基づいて前記リンク部材を移動させることで、前記物体と前記リンク部材との衝突を回避する制御を行うことが可能である。
【0012】
また、本発明の第３の観点に係る接触近接検知方法は、
複数のマーカを有する表皮部から、当該複数のマーカを含む領域の画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された画像における前記マーカの位置と前記表皮部に物体が接触していない場合における当該マーカの位置との差から、前記表皮部に接触している前記物体の有無、前記物体の位置、前記表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、前記画像取得ステップにおいて取得された前記画像から、前記表皮部に接触していない前記物体の有無、前記物体の位置又は速度を含む近接情報を検知する、検知ステップと、
前記表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替ステップと、を含む。
複数のマーカを有する表皮部から、当該複数のマーカを含む領域の画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された画像における前記マーカの位置と前記表皮部に物体が接触していない場合における当該マーカの位置との差から、前記表皮部に接触している前記物体の有無、前記物体の位置、前記表皮部に加えられている力の大きさ及び向きを含む接触情報を検知し、又は、前記画像取得ステップにおいて取得された前記画像から、前記表皮部に接触していない前記物体の有無、前記物体の位置又は速度を含む近接情報を検知する、検知ステップと、
前記表皮部の少なくとも一部が透明な状態であるか不透明な状態であるかを示す透明モードを、透明を示す値と不透明を示す値との間で切り替える透明モード切替ステップと、を含む。
【発明の効果】
【0013】
本発明によれば、接触と近接とを検知する接触近接検知装置、ロボットアーム及び接触近接検知方法が提供される。
【図面の簡単な説明】
【0014】
【図2】実施の形態１に係る接触近接検知装置のシステム構成のブロック図
【図3】（Ａ）実施の形態１に係る表皮部が不透明のときの状態説明図、（Ｂ）表皮部が透明のときの状態説明図
【図4】実施の形態１に係る接触検知処理（学習フェーズ）のフローチャート
【図5】実施の形態１に係る接触検知処理（推論フェーズ）のフローチャート
【図6】実施の形態１に係る近接検知処理のフローチャート
【図7】実施の形態１に係るロボットの制御処理のフローチャート
【図8】（Ａ）試験装置の全体説明図、（Ｂ）試験装置の分解図、（Ｃ）試験装置に含まれる部品の位置関係の説明図
【図9】実験例１の実験結果を示す図
【図10】実験例２の実験結果を示す図
【図11】実験装置の全体説明図
【図23】実施の形態４に係る接触近接検知装置のシステム構成のブロック図
【図24】実施の形態４に係る接触検知処理のフローチャート
【図25】実施の形態４に係る近接検知処理のフローチャート
【図26】（Ａ）実施の形態５に係るロボットアームの全体説明図、（Ｂ）ジョイント部材の表皮部を取り除いたロボットアームの全体説明図
【図27】実施の形態５に係る接触近接検知装置のシステム構成のブロック図
【図28】実験例８の実験結果を示す図
【図29】実験例９の実験結果を示す図
【図30】実験例１０のロボットアーム及びマネキンの腕の説明図
【図31】（Ａ）実験例１０の測定距離と時間との関係を示すグラフ、（Ｂ）実験例１０の力と時間との関係を示すグラフ、（Ｃ）実験例１０の移動量と時間との関係を示すグラフ
【図32】実験例１１の第２リンクのカメラが撮像した人間の手の動きを示す画像
【図33】（Ａ）実験例１１の測定距離と時間との関係を示すグラフ、（Ｂ）実験例１１の移動速度と時間との関係を示すグラフ
【発明を実施するための形態】
【0015】
［実施の形態１］
以下に、本発明の実施の形態１に係る接触近接検知装置１を、図面を参照しつつ説明する。
図１（Ａ）に示すように、本実施の形態に係る接触近接検知装置１は、例えば、ロボットのアームに用いられ、アームに接触又は近接する物体を検知する装置である。
以下に、本発明の実施の形態１に係る接触近接検知装置１を、図面を参照しつつ説明する。
図１（Ａ）に示すように、本実施の形態に係る接触近接検知装置１は、例えば、ロボットのアームに用いられ、アームに接触又は近接する物体を検知する装置である。
【0016】
ここで、本願においては、表皮部１５に接触した物体の有無、物体が接触した位置、接触の程度等を検知することを「接触検知」ということがある。また、本願においては、表皮部１５に接触していない物体であって、表皮部１５に近接するものの有無、近接する物体の位置、近接する物体の速度等を検知することを「近接検知」ということがある。
【0017】
（実施の形態１に係る接触近接検知装置１について）
接触近接検知装置１は、後述するカメラ１１を固定する基部１２と、カメラ１１と共通の光軸を有し、カメラ１１に対向して配置される、後述するカメラ１３を固定する基部１４と、基部１２と基部１４との間に張られた表皮部１５と、を備える。基部１２、１４の外端面の中央部には内側に凹んだ凹部が設けられており、凹部には、カメラ１１、１３等を含む電子部品を、後述する情報演算装置２０と電気的に接続するコネクタ１６が配置されている。カメラ１１、１３は、画像取得部の一例である。
接触近接検知装置１は、後述するカメラ１１を固定する基部１２と、カメラ１１と共通の光軸を有し、カメラ１１に対向して配置される、後述するカメラ１３を固定する基部１４と、基部１２と基部１４との間に張られた表皮部１５と、を備える。基部１２、１４の外端面の中央部には内側に凹んだ凹部が設けられており、凹部には、カメラ１１、１３等を含む電子部品を、後述する情報演算装置２０と電気的に接続するコネクタ１６が配置されている。カメラ１１、１３は、画像取得部の一例である。
【0018】
図１（Ｂ）に示す基部１２、１４の凹部の底部には、それぞれ、画像を取得するカメラ１１、１３が固定されている。また、基部１２、１４の凹部の底部には、カメラ１１、１３を囲む複数の発光ダイオード（Light Emitting Diode、ＬＥＤ）１７が配置されている。
【0019】
表皮部１５は、より詳細には、図１（Ｃ）に示す構造、即ち、外皮部１５ａと外皮部１５ａに密着した高分子分散型液晶（Polymer Dispersed Liquid Crystal、ＰＤＬＣ）フィルム１５ｂの２層構造を有している。外皮部１５ａは、透明かつ柔軟な素材、例えば、透明なシリコーン樹脂を含むシートを円筒形に形成したものである。ＰＤＬＣフィルム１５ｂには、電圧を印加すると透明になり、電圧を印加しないと不透明である性質を有するノーマルタイプのフィルムか、又は電圧を印加すると不透明になり、電圧を印加しないと透明である性質を有するリバースタイプのフィルムの何れかが用いられる。例えば、後述する接触検知を多く実行する場合には、ＰＤＬＣフィルム１５ｂを不透明にする時間が透明にする時間に比べて長くなる。よって、この場合、ＰＤＬＣフィルム１５ｂとしてリバースタイプのフィルムを用いれば、ＰＤＬＣフィルム１５ｂの透明度を切り替えるために必要とされる電力の量を削減することができる。
【0020】
ＰＤＬＣフィルム１５ｂは、コネクタ１６を介して後述する情報演算装置２０と接続されており、情報演算装置２０によって電圧の印加状態を切り替え可能である。ＰＤＬＣフィルム１５ｂの内側には、規則的に間隔を空けて複数のマーカ１８が配置されている。各マーカ１８は、ＰＤＬＣフィルム１５ｂがなす円筒の内側に凸である半球状に形成された樹脂であり、再帰反射塗料が塗布されている。隣接するマーカ１８同士の間隔は、例えば、図１（Ａ）に示したＺ方向に１５ｍｍ、ＰＤＬＣフィルム１５ｂの円筒の周方向に２０ｍｍである。例えば、物体が表皮部１５に接触して外皮部１５ａを内側に撓ませると、ＰＤＬＣフィルム１５ｂのうち外皮部１５ａの撓んだ部分と接している部分も内側に撓み、撓んだ部分に配置されているマーカ１８は変位する。
基部１２と基部１４との間には、外皮部１５ａ及びＰＤＬＣフィルム１５ｂがなす円筒よりも直径の小さい円筒の形状に形成された透明のアクリル樹脂を含む支持部１９が配置されている。支持部１９は、表皮部１５よりも剛性が高くなるように形成されており、接触近接検知装置１をロボットのアームに用いた場合にロボットの骨格を構成する。
基部１２と基部１４との間には、外皮部１５ａ及びＰＤＬＣフィルム１５ｂがなす円筒よりも直径の小さい円筒の形状に形成された透明のアクリル樹脂を含む支持部１９が配置されている。支持部１９は、表皮部１５よりも剛性が高くなるように形成されており、接触近接検知装置１をロボットのアームに用いた場合にロボットの骨格を構成する。
【0021】
接触近接検知装置１は、図２に示す情報演算装置２０を含む。図２に示すように、カメラ１１、１３は、後述するドライバ回路ＤＣ、通信部２８を介して情報演算装置２０と接続されている。
情報演算装置２０は、例えば、コンピュータによって構成されており、算術演算や論理演算を行う演算部２１と、電力又は情報を入出力するインタフェースである通信部２８と、画像データや処理プログラムを一時的又は永続的に記憶する記憶部２９と、を備える。
演算部２１は、接触検知を行う接触検知部２１１と、近接検知を行う近接検知部２１２と、ＰＤＬＣフィルム１５ｂを透明にするか不透明にするかを示す透明モードを切り替える透明モード切替部２１３と、接触近接検知装置１の動作を制限する程度を示す制限モードを切り替える制限モード切替部２１４と、を含む。演算部２１は、例えば、中央演算処理装置（Central Processing Unit、ＣＰＵ）である。
記憶部２９は、透明モードを記憶する透明モード記憶部２９１と、制限モードを記憶する制限モード記憶部２９２と、後述する接触検知処理で用いる学習済みモデルを記憶する学習済みモデル記憶部２９３と、を含む。記憶部２９は、例えば、ランダムアクセスメモリ（Random Access Memory、ＲＡＭ）、ハードディスクドライブ（Hard Disk Drive、ＨＤＤ）、ソリッドステートドライブ（Solid State Drive、ＳＳＤ）である。
演算部２１、通信部２８及び記憶部２９は、バス２４によって相互に接続されている。
情報演算装置２０は、例えば、コンピュータによって構成されており、算術演算や論理演算を行う演算部２１と、電力又は情報を入出力するインタフェースである通信部２８と、画像データや処理プログラムを一時的又は永続的に記憶する記憶部２９と、を備える。
演算部２１は、接触検知を行う接触検知部２１１と、近接検知を行う近接検知部２１２と、ＰＤＬＣフィルム１５ｂを透明にするか不透明にするかを示す透明モードを切り替える透明モード切替部２１３と、接触近接検知装置１の動作を制限する程度を示す制限モードを切り替える制限モード切替部２１４と、を含む。演算部２１は、例えば、中央演算処理装置（Central Processing Unit、ＣＰＵ）である。
記憶部２９は、透明モードを記憶する透明モード記憶部２９１と、制限モードを記憶する制限モード記憶部２９２と、後述する接触検知処理で用いる学習済みモデルを記憶する学習済みモデル記憶部２９３と、を含む。記憶部２９は、例えば、ランダムアクセスメモリ（Random Access Memory、ＲＡＭ）、ハードディスクドライブ（Hard Disk Drive、ＨＤＤ）、ソリッドステートドライブ（Solid State Drive、ＳＳＤ）である。
演算部２１、通信部２８及び記憶部２９は、バス２４によって相互に接続されている。
【0022】
透明モード切替部２１３は、透明モード記憶部２９１に記憶された透明モードが透明を示す値である場合には、ＰＤＬＣフィルム１５ｂを透明に制御する。透明モード切替部２１３は、透明モード記憶部２９１に記憶された透明モードが不透明を示す値である場合には、ＰＤＬＣフィルム１５ｂを不透明に制御する。
例えば、透明モード切替部２１３は、透明モード記憶部２９１に記憶された透明モードを読み出す。次に、透明モード記憶部２９１は、読み出した値に応じて、通信部２８に接続されたドライバ回路ＤＣに制御信号を出力し、ドライバ回路ＤＣが図１（Ｂ）に示したコネクタ１６を介して、ＰＤＬＣフィルム１５ｂに対する電圧の印加をオン又はオフにする。また、透明モード切替部２１３は、透明モード記憶部２９１に記憶された透明モードが不透明を示す値である場合に、ドライバ回路ＤＣに制御信号を出力し、ドライバ回路ＤＣが図１（Ｂ）に示したコネクタ１６を介してＬＥＤ１７に電力を供給し、ＬＥＤ１７を発光させる。
例えば、透明モード切替部２１３は、透明モード記憶部２９１に記憶された透明モードを読み出す。次に、透明モード記憶部２９１は、読み出した値に応じて、通信部２８に接続されたドライバ回路ＤＣに制御信号を出力し、ドライバ回路ＤＣが図１（Ｂ）に示したコネクタ１６を介して、ＰＤＬＣフィルム１５ｂに対する電圧の印加をオン又はオフにする。また、透明モード切替部２１３は、透明モード記憶部２９１に記憶された透明モードが不透明を示す値である場合に、ドライバ回路ＤＣに制御信号を出力し、ドライバ回路ＤＣが図１（Ｂ）に示したコネクタ１６を介してＬＥＤ１７に電力を供給し、ＬＥＤ１７を発光させる。
【0023】
図３（Ａ）及び（Ｂ）は、透明モード記憶部２９１に記憶された透明モードが透明を示す値である場合と不透明を示す値である場合のそれぞれについて、表皮部１５の外観を説明するものである。図３（Ａ）に示した場合には、ＰＤＬＣフィルム１５ｂは不透明であり、接触近接検知装置１の外部からの光は接触近接検知装置１の表皮部１５の内側に入りにくい。このため、カメラ１１、１３は、ＬＥＤ１７に照らされたマーカ１８を認識し易い。図３（Ｂ）に示した場合には、ＰＤＬＣフィルム１５ｂは透明であり、接触近接検知装置１の外部からの光は接触近接検知装置１の表皮部１５より内側に入りやすい。このため、カメラ１１、１３は、マーカ１８よりも接触近接検知装置１の外部にある物体を認識し易い。
【0024】
【0025】
（実施の形態１に係る接触検知処理について）
接触検知処理は、後述する学習フェーズと推論フェーズの２つに分かれる。このうち、接触検知処理の学習フェーズは、表皮部１５に加えられている力及び力が加えられている位置と、カメラによって取得された画像から、ニューラルネットワークに機械学習を行わせ、後述する推論フェーズで用いる学習済みモデルを構築するものである。接触検知処理の推論フェーズは、学習済みモデルを用いて、カメラ１１、１３によって取得された画像から、表皮部１５に加えられている力及び位置を推論するものである。
接触検知処理においては、マーカ１８の画像を取得するため、ＰＤＬＣフィルム１５ｂは、透明モード切替部２１３によって、不透明な状態に制御されている。
接触検知処理は、後述する学習フェーズと推論フェーズの２つに分かれる。このうち、接触検知処理の学習フェーズは、表皮部１５に加えられている力及び力が加えられている位置と、カメラによって取得された画像から、ニューラルネットワークに機械学習を行わせ、後述する推論フェーズで用いる学習済みモデルを構築するものである。接触検知処理の推論フェーズは、学習済みモデルを用いて、カメラ１１、１３によって取得された画像から、表皮部１５に加えられている力及び位置を推論するものである。
接触検知処理においては、マーカ１８の画像を取得するため、ＰＤＬＣフィルム１５ｂは、透明モード切替部２１３によって、不透明な状態に制御されている。
【0026】
（実施の形態１に係る接触検知処理の学習フェーズについて）
まず、接触検知処理の学習フェーズについて説明する。
図４に示す流れで、まず、接触検知部２１１は、通信部２８を介して、カメラ１１、１３から、マーカ１８の画像を取得する（ステップＳ１１）。
まず、接触検知処理の学習フェーズについて説明する。
図４に示す流れで、まず、接触検知部２１１は、通信部２８を介して、カメラ１１、１３から、マーカ１８の画像を取得する（ステップＳ１１）。
【0027】
続いて、接触検知部２１１は、ステップＳ１１において取得した画像から特徴を抽出する（ステップＳ１２）。具体的には、接触検知部２１１は、例えば、ノイズを除去し、歪みを除去し、先鋭化フィルタを掛け、エッジ抽出をし、輪郭を検出し、特徴点を抽出し又はパターンマッチングを行い、特徴として全てのマーカの重心の座標値を求める。
【0028】
次に、接触検知部２１１は、例えば、ステップＳ１２において求められたマーカの重心の座標値、実際に表皮部１５に加えられている値からの大きさ、方向、位置を含むデータを学習データとして、ニューラルネットワークに学習させる（ステップＳ１３）。
【0029】
次に、接触検知部２１１は、学習が終了したか否かを判定し（ステップＳ１４）、まだ学習が終了していないと判定したときには（ステップＳ１４；Ｎｏ）、ステップＳ１１に戻って、ステップＳ１１からステップＳ１３を繰り返す。
【0030】
そして、接触検知部２１１は、学習が終了したと判定したときには（ステップＳ１４；Ｙｅｓ）、学習済みモデルを出力し（ステップＳ１５）、処理を終了する。なお、接触検知部２１１によって出力された学習済みモデルは、学習済みモデル記憶部２９３に記憶される。
以上の流れで、学習済みモデルが構築される。
以上の流れで、学習済みモデルが構築される。
【0031】
（実施の形態１に係る接触検知処理の推論フェーズについて）
次に、接触検知処理の推論フェーズについて説明する。
図５に示す流れで、まず、接触検知部２１１は、通信部２８を介して、カメラ１１とカメラ１３から、マーカ１８の画像を取得する（ステップＳ２１）。
次に、接触検知処理の推論フェーズについて説明する。
図５に示す流れで、まず、接触検知部２１１は、通信部２８を介して、カメラ１１とカメラ１３から、マーカ１８の画像を取得する（ステップＳ２１）。
【0032】
続いて、接触検知部２１１は、ステップＳ２１において取得した画像から特徴を抽出する（ステップＳ２２）。具体的には、接触検知部２１１は、学習フェーズのステップＳ１２と同様の方法、例えば、ノイズを除去し、歪みを除去し、先鋭化フィルタを掛け、エッジ抽出をし、輪郭を検出し、特徴点を抽出し又はパターンマッチングを行い、特徴として全てのマーカの重心の座標値を求める。
【0033】
次に、接触検知部２１１は、学習フェーズのステップＳ１５において出力された学習済みモデルを学習済みモデル記憶部２９３から取得して、取得した学習済みモデルにステップＳ２２において求められた全てのマーカの重心の座標値を入力して、力及び位置を推論し（ステップＳ２３）、処理を終了する。
【0034】
（実施の形態１に係る近接検知処理について）
以上説明した接触検知処理は、表皮部１５に加えられている力及び位置を推論する処理である。これに対し、以下説明する近接検知処理は、カメラ１１、１３によって取得される画像に基づいて、接触近接検知装置１の外側にある物体を検知する処理である。
近接検知処理においては、接触近接検知装置１の外部の画像を取得するため、ＰＤＬＣフィルム１５ｂは、透明な状態に制御されている。
以上説明した接触検知処理は、表皮部１５に加えられている力及び位置を推論する処理である。これに対し、以下説明する近接検知処理は、カメラ１１、１３によって取得される画像に基づいて、接触近接検知装置１の外側にある物体を検知する処理である。
近接検知処理においては、接触近接検知装置１の外部の画像を取得するため、ＰＤＬＣフィルム１５ｂは、透明な状態に制御されている。
【0035】
図６に示す流れで、まず、近接検知部２１２は、通信部２８を介して、カメラ１１、１３から、接触近接検知装置１の外部の画像を取得する（ステップＳ３１）。
【0036】
続いて、近接検知部２１２は、ステップＳ３１において取得した画像からノイズを除去する（ステップＳ３２）。
【0037】
次に、近接検知部２１２は、ステップＳ３２においてノイズを除去した画像から、画像に含まれている物体のカメラからの距離を含む情報である深度マップを構築する（ステップＳ３３）。
【0038】
次に、近接検知部２１２は、ステップＳ３３において構築した深度マップから、対象物体を検出する（ステップＳ３４）。
【0039】
次に、近接検知部２１２は、ステップＳ３３において構築した深度マップとステップＳ３４において検出した対象物体の座標から、カメラと対象物体の間の距離を計算する（ステップＳ３５）。なお、近接検知部２１２は、後続のステップで用いるため、ステップＳ３５において計算して求めた距離を、例えば、記憶部２９に記憶する。
【0040】
そして、近接検知部２１２は、対象物体の速度を推定し（ステップＳ３６）、処理を終了する。具体的には、近接検知部２１２は、例えば、ステップＳ３５において記憶部２９に記憶されている過去に求めたカメラと対象物体の間の距離を取得する。そして、近接検知部２１２は、現在検出されているカメラと対象物体の距離との差を求め、求めた差を、画像を取得した時間の差で割って、対象物体の速度を推定する。
【0041】
なお、接触検知部２１１及び近接検知部２１２は、検知部の一例である。接触検知部２１１によって検知された、表皮部１５に接触している対象物体の有無、対象物体の位置、表皮部１５に加えられている力の大きさ及び向きを含む情報は、接触情報の一例である。近接検知部２１２によって検知された、表皮部１５に接触していない対象物体の有無、対象物体の位置又は速度を含む情報は、近接情報の一例である。
【0042】
以上説明した接触検知部２１１による接触検知処理と近接検知部２１２による近接検知処理は、同時には行われず、透明モード記憶部２９１に記憶された透明モードを示す値によって、いずれか一方が行われる。そして、透明モードは、透明モード切替部２１３によって、透明と不透明の何れか一方に、例えば、以下の基準に従って切り替えられる。
【0043】
（実施の形態１に係るロボットの制御処理について）
なお、ロボットは、人、車等の対象物体を検知したか否か、対象物体との距離及び接触の有無に応じて、例えば、制限なく動作する無制限モード、緩い制限の下で動作する制限１モード、制限１モードより厳しい制限の下で動作する制限２モード、又は安全に停止する緊急モードの何れかの制限モードで動作する。ロボットが緊急モードで動作するか、それ以外の制限モードで動作するかは、接触検知部２１１が接触を検知したか否かの基準で分けられる。ロボットが制限１モードで動作するか、制限２モードで動作するかは、近接検知部２１２が検知した対象物体とロボットとの距離がＬ１より短いか否かの基準で分けられる。対象物体とロボットと距離は、例えば、近接検知部２１２が検知した距離を指すものとする。
なお、ロボットは、人、車等の対象物体を検知したか否か、対象物体との距離及び接触の有無に応じて、例えば、制限なく動作する無制限モード、緩い制限の下で動作する制限１モード、制限１モードより厳しい制限の下で動作する制限２モード、又は安全に停止する緊急モードの何れかの制限モードで動作する。ロボットが緊急モードで動作するか、それ以外の制限モードで動作するかは、接触検知部２１１が接触を検知したか否かの基準で分けられる。ロボットが制限１モードで動作するか、制限２モードで動作するかは、近接検知部２１２が検知した対象物体とロボットとの距離がＬ１より短いか否かの基準で分けられる。対象物体とロボットと距離は、例えば、近接検知部２１２が検知した距離を指すものとする。
【0044】
以下、図７に示すフローチャートを参照して、接触近接検知装置１をアーム部分に用いたロボットの制御処理の一例について説明する。
まず、カメラ１１、１３は、画像を取得する（ステップＳ４１）。次に、演算部２１は、透明モードが不透明か否かを判定する（ステップＳ４２）。透明モードが不透明を示す値である場合には（ステップＳ４２；Ｙｅｓ）、接触検知部２１１は、対象物体が接触しているか否かを検知する（ステップＳ４３）。接触検知部２１１が接触を検知した場合には（ステップＳ４３；Ｙｅｓ）、制限モード切替部２１４は、制限モードに緊急モードを示す値を代入して、制限モードを緊急モードに設定する（ステップＳ４４）。一方、ステップＳ４３において、接触検知部２１１が接触を検知しなかった場合には（ステップＳ４３；Ｎｏ）、透明モード切替部２１３は、透明モードに透明を示す値を代入して、透明モードを透明に切り替える（ステップＳ４５）。
まず、カメラ１１、１３は、画像を取得する（ステップＳ４１）。次に、演算部２１は、透明モードが不透明か否かを判定する（ステップＳ４２）。透明モードが不透明を示す値である場合には（ステップＳ４２；Ｙｅｓ）、接触検知部２１１は、対象物体が接触しているか否かを検知する（ステップＳ４３）。接触検知部２１１が接触を検知した場合には（ステップＳ４３；Ｙｅｓ）、制限モード切替部２１４は、制限モードに緊急モードを示す値を代入して、制限モードを緊急モードに設定する（ステップＳ４４）。一方、ステップＳ４３において、接触検知部２１１が接触を検知しなかった場合には（ステップＳ４３；Ｎｏ）、透明モード切替部２１３は、透明モードに透明を示す値を代入して、透明モードを透明に切り替える（ステップＳ４５）。
【0045】
また、ステップＳ４２において、透明モードが透明を示す値である場合（ステップＳ４２；Ｎｏ）又はステップＳ４５が実行された場合には、近接検知部２１２は、対象物体を検知したか否かを判定する（ステップＳ４６）。近接検知部２１２が対象物体を検知した場合には（ステップＳ４６；Ｙｅｓ）、近接検知部２１２は、対象物体との距離ｄを計算する（ステップＳ４７）。
次に、演算部２１は、Ｌ１＜ｄ＜Ｌ０の関係式を満たすか否かを判定し（ステップＳ４８）、制限モード切替部２１４は、Ｌ１＜ｄ＜Ｌ０の関係式を満たす場合には（ステップＳ４８；Ｙｅｓ）、制限モードに制限１モードを示す値を代入して、制限モードを制限１モードに切り替える（ステップＳ４９）。
一方、演算部２１は、Ｌ１＜ｄ＜Ｌ０の関係式を満たさない場合（ステップＳ４８；Ｎｏ）、ｄ＜Ｌ１の関係式を満たすか否かを判定し（ステップＳ５０）、ｄ＜Ｌ１の関係式を満たす場合には（ステップＳ５０；Ｙｅｓ）、透明モード切替部２１３は、透明モードに不透明を示す値を代入して、透明モードを不透明に切り替える（ステップＳ５１）。続いて、制限モード切替部２１４は、制限モードに制限２モードを示す値を代入して、制限モードを制限２モードに切り替える（ステップＳ５２）。
次に、演算部２１は、Ｌ１＜ｄ＜Ｌ０の関係式を満たすか否かを判定し（ステップＳ４８）、制限モード切替部２１４は、Ｌ１＜ｄ＜Ｌ０の関係式を満たす場合には（ステップＳ４８；Ｙｅｓ）、制限モードに制限１モードを示す値を代入して、制限モードを制限１モードに切り替える（ステップＳ４９）。
一方、演算部２１は、Ｌ１＜ｄ＜Ｌ０の関係式を満たさない場合（ステップＳ４８；Ｎｏ）、ｄ＜Ｌ１の関係式を満たすか否かを判定し（ステップＳ５０）、ｄ＜Ｌ１の関係式を満たす場合には（ステップＳ５０；Ｙｅｓ）、透明モード切替部２１３は、透明モードに不透明を示す値を代入して、透明モードを不透明に切り替える（ステップＳ５１）。続いて、制限モード切替部２１４は、制限モードに制限２モードを示す値を代入して、制限モードを制限２モードに切り替える（ステップＳ５２）。
【0046】
一方、ステップＳ５０において、ｄ＜Ｌ１の関係式を満たさない場合（ステップＳ５０；Ｎｏ）、又は近接検知部２１２が対象物体を検知しなかった場合（ステップＳ４６；Ｎｏ）には、制限モード切替部２１４は、制限モードに無制限モードを示す値を代入して、制限モードを無制限モードに切り替える（ステップＳ５３）。
【0047】
次に、演算部２１は、切り替えられた制限モード及び透明モードに従って、ロボットを動作させる（ステップＳ５４）。具体的には、演算部２１は、透明モード記憶部２９１に記憶されている透明モードと制限モード記憶部２９２に記載されている制限モードとを読み出して、読み出した制限モード及び透明モードに従って、図２に示した通信部２８を介してドライバ回路ＤＣに信号を出力し、又は電力を供給して、ロボットを動作させる。
続いて、演算部２１は、ロボットの動作を終了するか否かを判定し（ステップＳ５５）、動作を終了しない場合には（ステップＳ５５；Ｎｏ）、ステップＳ４１に戻って、以上の流れを繰り返す。一方、演算部２１は、動作を終了する場合には（ステップＳ５５；Ｙｅｓ）、処理を終了する。
続いて、演算部２１は、ロボットの動作を終了するか否かを判定し（ステップＳ５５）、動作を終了しない場合には（ステップＳ５５；Ｎｏ）、ステップＳ４１に戻って、以上の流れを繰り返す。一方、演算部２１は、動作を終了する場合には（ステップＳ５５；Ｙｅｓ）、処理を終了する。
【0048】
なお、画像を取得するステップＳ４１は画像取得ステップの一例であり、接触を検知するステップＳ４３又は対象物体を検知するステップＳ４６は検知ステップの一例であり、透明モードを切り替えるステップＳ４５、Ｓ５１は透明モード切替ステップの一例である。
【0049】
以上説明したように、本実施の形態に係る接触近接検知装置１によれば、演算部２１は、上述した接触検知処理及び近接検知処理を実行する。
このようにすることで、本実施の形態に係る接触近接検知装置１は、接触している対象物体の位置、力の大きさ、力の向きを検知できるだけでなく、近接しつつある対象物体の位置及び速度も検知できる。
このようにすることで、本実施の形態に係る接触近接検知装置１は、接触している対象物体の位置、力の大きさ、力の向きを検知できるだけでなく、近接しつつある対象物体の位置及び速度も検知できる。
【0050】
なお、上述した処理は、ロボットのアームに限られず、検知装置に広く適用することができるものである。また、ロボットの種類も限定されず、本発明は、例えば、移動するロボット、人型ロボットの上半身、飛行ロボットなどにも適用される。
ロボットの制御処理においては、上述した条件の一部を削除し、追加し、又は変更してもよく、上述した処理の一部を削除し、又は他の処理を付加してもよい。
ロボットの制御処理においては、上述した条件の一部を削除し、追加し、又は変更してもよく、上述した処理の一部を削除し、又は他の処理を付加してもよい。
【0051】
以下、接触近接検知装置１又はこれと同等の構成を備える後述する試験装置ＥＥを用いて行った実験例について説明する。
【0052】
（試験装置ＥＥについて）
実験例において、図８（Ａ）～図８（Ｃ）に示す試験装置ＥＥを作製した。試験装置ＥＥは、図８（Ａ）～図８（Ｃ）に示すように、上方を撮像するカメラが内部に収容された直方体のケースの上面に接触近接検知装置１と同一のＰＤＬＣフィルムが貼り付けられた装置である。
実験例において、図８（Ａ）～図８（Ｃ）に示す試験装置ＥＥを作製した。試験装置ＥＥは、図８（Ａ）～図８（Ｃ）に示すように、上方を撮像するカメラが内部に収容された直方体のケースの上面に接触近接検知装置１と同一のＰＤＬＣフィルムが貼り付けられた装置である。
【0053】
（実験例１）
実験例１では、試験装置ＥＥに直接太陽光が当たらない室内において、ＰＤＬＣフィルムを透明と不透明に切り替えて、マーカの検知を行った。
実験例１では、試験装置ＥＥに直接太陽光が当たらない室内において、ＰＤＬＣフィルムを透明と不透明に切り替えて、マーカの検知を行った。
【0054】
この結果、実験例１では、図９の上段に示すように、ＰＤＬＣフィルムを透明にした場合には、２５個のマーカのうち、２３個のマーカが検出された。この場合には、検出されなかった２個のマーカは、カメラからみて比較的強い光源である蛍光灯の付近にあったため、検出されなかったと考えられる。一方、実験例１では、図９の下段に示すように、ＰＤＬＣフィルムを不透明にした場合には、２５個のマーカが全て検出された。この場合には、蛍光灯から発せられた光が不透明のＰＤＬＣフィルムに遮られ、試験装置ＥＥの外の光の影響を受けることなく、ＰＤＬＣフィルムとマーカとのコントラストが維持されたものと考えられる。
【0055】
よって、上述した実験例１の結果から、接触近接検知装置１は、ＰＤＬＣフィルム１５ｂを不透明にしたときのほうが透明にしたときよりもマーカ１８の検出の精度が高まることが分かる。
【0056】
（実験例２）
次に、実験例２では、試験装置ＥＥと物体との距離を１０ｃｍと３０ｃｍの２通りに変えて、当該物体の検出を行った。なお、物体として、手で支えた紙の円筒を用いた。
次に、実験例２では、試験装置ＥＥと物体との距離を１０ｃｍと３０ｃｍの２通りに変えて、当該物体の検出を行った。なお、物体として、手で支えた紙の円筒を用いた。
【0057】
この結果、実験例２では、図１０の下段の左２つの画像に示すように、ＰＤＬＣフィルムを透明にした場合、試験装置ＥＥと物体との距離が１０ｃｍと３０ｃｍのいずれのときでも、物体が検出された。一方、図１０の下段の右２つの画像に示すように、実験例２では、ＰＤＬＣフィルムを不透明にした場合、試験装置ＥＥと物体の距離が１０ｃｍのときには、物体が検出されたが、距離が３０ｃｍのときには、物体は検出されなかった。なお、実験例２では、ＰＤＬＣフィルムが不透明な場合において試験装置ＥＥと物体との距離が３０ｃｍのときには、物体の画像が不明瞭であるため、物体が検出されなかったことが分かる。
【0058】
よって、実験例２では、異なる距離で比較すると、ＰＤＬＣフィルムが透明な場合には、物体との距離に関わらず物体の近接を検知できる一方、ＰＤＬＣフィルムが不透明な場合には、物体が３０ｃｍ程度まで離れると物体の近接を検知できないことが分かる。
【0059】
したがって、上述した実験例１、２の結果から、接触近接検知装置１は、ＰＤＬＣフィルム１５ｂの透明と不透明を切り替えることで、接触している物体だけでなく、近接する物体を検知することができることが分かる。
【0060】
（実験装置ＰＥについて）
また、実験例において、図１１に示す実験装置ＰＥも作製した。実験装置ＰＥは、図１１に示すように、接触近接検知装置１、接触近接検知装置１に電力を供給する電源装置ＰＵ、接触近接検知装置１及び電源装置ＰＵの状態を切り替える操作を受け付ける操作パネルＣＰを含む。
また、実験例において、図１１に示す実験装置ＰＥも作製した。実験装置ＰＥは、図１１に示すように、接触近接検知装置１、接触近接検知装置１に電力を供給する電源装置ＰＵ、接触近接検知装置１及び電源装置ＰＵの状態を切り替える操作を受け付ける操作パネルＣＰを含む。
【0061】
実験装置ＰＥは、接触近接検知装置１のＰＤＬＣフィルム１５ｂを透明と不透明の間で切り替えるとともに、カメラ１１、１３の露出を自動露出と制御された露出の間で切り替えて、カメラ１１、１３によって取得された画像を調べる装置である。
なお、露出とは、カメラ１１、１３に含まれるイメージセンサに到達する光の量を指定するパラメータである。自動露出は検出した光の強さに応じてパラメータを設定する露出のモードであり、制御された露出は手動でパラメータを設定する露出のモードである。
なお、露出とは、カメラ１１、１３に含まれるイメージセンサに到達する光の量を指定するパラメータである。自動露出は検出した光の強さに応じてパラメータを設定する露出のモードであり、制御された露出は手動でパラメータを設定する露出のモードである。
【0062】
（実験例３）
実験例３では、実験装置ＰＥのＰＤＬＣフィルム１５ｂを不透明に、カメラ１１、１３の露出を自動露出にそれぞれ設定して画像を取得した。図１２（Ａ）は、カメラ１１によって取得された第１の画像、図１２（Ｂ）は、カメラ１３によって取得された第２の画像である。図１２（Ｃ）、（Ｄ）は、図１２（Ａ）、図１２（Ｂ）の各画像に２値化処理を行った後の２値画像である。
実験例３では、実験装置ＰＥのＰＤＬＣフィルム１５ｂを不透明に、カメラ１１、１３の露出を自動露出にそれぞれ設定して画像を取得した。図１２（Ａ）は、カメラ１１によって取得された第１の画像、図１２（Ｂ）は、カメラ１３によって取得された第２の画像である。図１２（Ｃ）、（Ｄ）は、図１２（Ａ）、図１２（Ｂ）の各画像に２値化処理を行った後の２値画像である。
【0063】
この結果、実験例３では、図１２（Ｂ）において左上を楕円で囲んだように、検出されなかったマーカ１８の群があった。これは、実験装置ＰＥの外部に比較的強い光源があり、光源の近くに位置する画素の輝度が飽和してマーカ１８の形が見えにくくなったためと考えられる。
【0064】
（実験例４）
次に、実験例４では、実験装置ＰＥのＰＤＬＣフィルム１５ｂを透明に、カメラ１１、１３の露出を制御された露出にそれぞれ設定して画像を取得した。図１３（Ａ）は、カメラ１１によって取得された第１の画像、図１３（Ｂ）は、カメラ１３によって取得された第２の画像を示したものである。図１３（Ｃ）、図１３（Ｄ）は、図１３（Ａ）、図１３（Ｂ）に対応する２値画像である。
次に、実験例４では、実験装置ＰＥのＰＤＬＣフィルム１５ｂを透明に、カメラ１１、１３の露出を制御された露出にそれぞれ設定して画像を取得した。図１３（Ａ）は、カメラ１１によって取得された第１の画像、図１３（Ｂ）は、カメラ１３によって取得された第２の画像を示したものである。図１３（Ｃ）、図１３（Ｄ）は、図１３（Ａ）、図１３（Ｂ）に対応する２値画像である。
【0065】
この結果、実験例４では、図１３（Ｂ）において左上と右を楕円で囲んだように、検出されなかったマーカ１８の群があった。これは、接触近接検知装置１を含む実験装置ＰＥの外部に比較的強い光源があり、光源の近くに位置する画素の輝度が飽和してマーカ１８の形が見えにくくなったためと考えられる。
【0066】
（実験例５）
さらに、実験例５では、実験装置ＰＥのＰＤＬＣフィルム１５ｂを不透明に、カメラ１１、１３の露出を制御された露出にそれぞれ設定して画像を取得した。図１４（Ａ）は、カメラ１１によって取得された第１の画像、図１４（Ｂ）は、カメラ１３によって取得された第２の画像を示したものである。図１４（Ｃ）、図１４（Ｄ）は、図１４（Ａ）、図１４（Ｂ）に対応する２値画像である。
さらに、実験例５では、実験装置ＰＥのＰＤＬＣフィルム１５ｂを不透明に、カメラ１１、１３の露出を制御された露出にそれぞれ設定して画像を取得した。図１４（Ａ）は、カメラ１１によって取得された第１の画像、図１４（Ｂ）は、カメラ１３によって取得された第２の画像を示したものである。図１４（Ｃ）、図１４（Ｄ）は、図１４（Ａ）、図１４（Ｂ）に対応する２値画像である。
【0067】
この結果、実験例５では、図１４（Ａ）～図１４（Ｄ）に示すように、全てのマーカ１８が正しく検出された。これは、カメラ１１、１３のイメージセンサが外光から遮断されたためであると考えられる。また、実験例５は、実験例３、４との比較から、マーカ１８の検出のために最適であることが分かる。
【0068】
次に、実験例では、接触近接検知装置１の外部に様々な物体を配置して、ＰＤＬＣフィルム１５ｂを透明と不透明の間で切り替えて、近接検知を行った。
【0069】
（実験例６）
まず、実験例６では、ＰＤＬＣフィルム１５ｂを透明にして近接検知を実行した。
図１５（Ａ）、図１５（Ｂ）は、財布を接触近接検知装置１に近づけて取得した画像である。また、図１６（Ａ）、図１６（Ｂ）は、テープを接触近接検知装置１に近づけて取得した画像である。また、図１７（Ａ）、図１７（Ｂ）は、手を接触近接検知装置１に近づけて取得した画像である。図１５（Ａ）、図１６（Ａ）、図１７（Ａ）は、カメラ１１によって取得された第１の画像、図１５（Ｂ）、図１６（Ｂ）、図１７（Ｂ）は、カメラ１３によって取得された第２の画像である。また、図１５（Ｃ）、図１６（Ｃ）、図１７（Ｃ）は、図１５（Ａ）、図１６（Ａ）、図１７（Ａ）に対応する２値画像である。また、図１５（Ｄ）、図１６（Ｄ）、図１７（Ｄ）は、図１５（Ｂ）、図１６（Ｂ）、図１７（Ｂ）に対応する２値画像である。
まず、実験例６では、ＰＤＬＣフィルム１５ｂを透明にして近接検知を実行した。
図１５（Ａ）、図１５（Ｂ）は、財布を接触近接検知装置１に近づけて取得した画像である。また、図１６（Ａ）、図１６（Ｂ）は、テープを接触近接検知装置１に近づけて取得した画像である。また、図１７（Ａ）、図１７（Ｂ）は、手を接触近接検知装置１に近づけて取得した画像である。図１５（Ａ）、図１６（Ａ）、図１７（Ａ）は、カメラ１１によって取得された第１の画像、図１５（Ｂ）、図１６（Ｂ）、図１７（Ｂ）は、カメラ１３によって取得された第２の画像である。また、図１５（Ｃ）、図１６（Ｃ）、図１７（Ｃ）は、図１５（Ａ）、図１６（Ａ）、図１７（Ａ）に対応する２値画像である。また、図１５（Ｄ）、図１６（Ｄ）、図１７（Ｄ）は、図１５（Ｂ）、図１６（Ｂ）、図１７（Ｂ）に対応する２値画像である。
【0070】
この結果、実験例６では、図１５（Ｃ）～（Ｄ）、図１６（Ｃ）～（Ｄ）、図１７（Ｃ）～（Ｄ）に示すように、ＰＤＬＣフィルムを透明にした場合には、接触近接検知装置１は、外部にある物体の形状を認識できることが分かる。
【0071】
（実験例７）
次に、実験例７では、ＰＤＬＣフィルム１５ｂを不透明にして近接検知を実行した。
図１８（Ａ）、図１８（Ｂ）は、財布を接触近接検知装置１に近づけて取得した画像である。また、図１９（Ａ）、図１９（Ｂ）は、テープを接触近接検知装置１に近づけて取得した画像である。また、図２０（Ａ）、図２０（Ｂ）は、手を接触近接検知装置１に近づけて取得した画像である。図１８（Ａ）、図１９（Ａ）、図２０（Ａ）は、カメラ１１によって取得された第１の画像、図１８（Ｂ）、図１９（Ｂ）、図２０（Ｂ）は、カメラ１３によって取得された第２の画像である。また、図１８（Ｃ）、図１９（Ｃ）、図２０（Ｃ）は、図１８（Ａ）、図１９（Ａ）、図２０（Ａ）に対応する２値画像である。また、図１８（Ｄ）、図１９（Ｄ）、図２０（Ｄ）は、図１８（Ｂ）、図１９（Ｂ）、図２０（Ｂ）に対応する２値画像である。
次に、実験例７では、ＰＤＬＣフィルム１５ｂを不透明にして近接検知を実行した。
図１８（Ａ）、図１８（Ｂ）は、財布を接触近接検知装置１に近づけて取得した画像である。また、図１９（Ａ）、図１９（Ｂ）は、テープを接触近接検知装置１に近づけて取得した画像である。また、図２０（Ａ）、図２０（Ｂ）は、手を接触近接検知装置１に近づけて取得した画像である。図１８（Ａ）、図１９（Ａ）、図２０（Ａ）は、カメラ１１によって取得された第１の画像、図１８（Ｂ）、図１９（Ｂ）、図２０（Ｂ）は、カメラ１３によって取得された第２の画像である。また、図１８（Ｃ）、図１９（Ｃ）、図２０（Ｃ）は、図１８（Ａ）、図１９（Ａ）、図２０（Ａ）に対応する２値画像である。また、図１８（Ｄ）、図１９（Ｄ）、図２０（Ｄ）は、図１８（Ｂ）、図１９（Ｂ）、図２０（Ｂ）に対応する２値画像である。
【0072】
この結果、実験例７では、図１８（Ｃ）～（Ｄ）、図１９（Ｃ）～（Ｄ）、図２０（Ｃ）～（Ｄ）に示すように、ＰＤＬＣフィルムを不透明にした場合には、接触近接検知装置１は、外部にある物体を検出することができず、形状も認識できないことが分かる。
【0073】
したがって、述した実験例６、７の結果から、近接検知を行うためには、ＰＤＬＣフィルムを透明にすることが有効であることが分かる。
【0074】
［実施の形態２］
なお、実施の形態１に係る接触近接検知装置１では、支持部１９は、図３（Ｂ）に示すように、比較的直径が小さい円筒であるため、表皮部１５から離れているがこれに限定されない。以下、図２１を参照して、実施の形態２に係る接触近接検知装置２について、詳細に説明する。なお、実施の形態２では、実施の形態１と異なる構成について説明し、実施の形態１と同一の構成については冗長であるため説明を省略する。
なお、実施の形態１に係る接触近接検知装置１では、支持部１９は、図３（Ｂ）に示すように、比較的直径が小さい円筒であるため、表皮部１５から離れているがこれに限定されない。以下、図２１を参照して、実施の形態２に係る接触近接検知装置２について、詳細に説明する。なお、実施の形態２では、実施の形態１と異なる構成について説明し、実施の形態１と同一の構成については冗長であるため説明を省略する。
【0075】
（実施の形態２に係る接触近接検知装置２について）
図２１（Ａ）、（Ｂ）に示すように、本実施の形態に係る接触近接検知装置２は、実施の形態１の支持部１９に比べて直径が大きい円筒形状に形成された支持部１９ｃを備える。
図２１（Ａ）、（Ｂ）に示すように、本実施の形態に係る接触近接検知装置２は、実施の形態１の支持部１９に比べて直径が大きい円筒形状に形成された支持部１９ｃを備える。
【0076】
本実施の形態では、図２１（Ｂ）に示すように、表皮部２６は、外側から外皮部１５ａ、ＰＤＬＣフィルム１５ｂ及び内皮部１９ａの順に並んだ３層構造を有している。外皮部１５ａ、ＰＤＬＣフィルム１５ｂ及び内皮部１９ａは密着している。ＰＤＬＣフィルム１５ｂと支持部１９ｃは接しているが、密着していない。マーカ１８は、内皮部１９ａに覆われている。ここで、内皮部１９ａは、外皮部１５ａと同様に、例えば、透明のアクリル樹脂を円筒の形状に形成したものである。支持部１９ｃは、接触近接検知装置１の支持部１９と同様に、例えば、円筒の形状の透明のアクリル樹脂を含み、外皮部１５ａよりも高い剛性を有する条件で形成されている。
【0077】
以上説明したように、本実施の形態に係る接触近接検知装置２によれば、支持部１９ｃは、実施の形態１の支持部１９よりも太い。
このようにすることで、本実施の形態に係る接触近接検知装置２は、実施の形態１に係る接触近接検知装置１よりも機械的な強度が向上する。この結果、本実施の形態に係る接触近接検知装置２は、特に産業用ロボットに対して、重く、安定した構造を提供できる。
このようにすることで、本実施の形態に係る接触近接検知装置２は、実施の形態１に係る接触近接検知装置１よりも機械的な強度が向上する。この結果、本実施の形態に係る接触近接検知装置２は、特に産業用ロボットに対して、重く、安定した構造を提供できる。
【0078】
［実施の形態３］
なお、実施の形態２に係る接触近接検知装置２では、表皮部１５に配置されたマーカ１８は、半球状に形成されているがこれに限定されない。以下、図２２を参照して、実施の形態３に係る接触近接検知装置３について、詳細に説明する。なお、実施の形態３では、実施の形態１、２と異なる構成について説明し、実施の形態１、２と同一の構成については冗長であるため説明を省略する。
なお、実施の形態２に係る接触近接検知装置２では、表皮部１５に配置されたマーカ１８は、半球状に形成されているがこれに限定されない。以下、図２２を参照して、実施の形態３に係る接触近接検知装置３について、詳細に説明する。なお、実施の形態３では、実施の形態１、２と異なる構成について説明し、実施の形態１、２と同一の構成については冗長であるため説明を省略する。
【0079】
（実施の形態３に係る接触近接検知装置３について）
図２２（Ａ）、（Ｂ）に示すように、本実施の形態に係る接触近接検知装置３では、マーカ３８は、完全球状に形成されている。
図２２（Ａ）、（Ｂ）に示すように、本実施の形態に係る接触近接検知装置３では、マーカ３８は、完全球状に形成されている。
【0080】
マーカ３８は、内皮部１９ａに覆われている。マーカ３８の直径は、マーカ１８の直径よりも小さく、例えば、２ｍｍである。
【0081】
また、マーカ３８は、内皮部１９ａにおいて、規則正しく並んでおらず、ランダムに分散して配置されている。本実施の形態の接触検知部２１１は、マーカ３８が規則正しく並んでいなくても、例えば、以下の手順で、表皮部３６に加えられている力を計算できる。まず、接触検知部２１１は、表皮部３６に物体が接触しておらず、表皮部３６が撓んでいない状態において、マーカ３８を含む画像を取得する。次に、接触検知部２１１は、表皮部３６に物体が接触して、表皮部３６が撓んだ状態でマーカ３８を含む画像を取得し、マーカ３８の座標を比較することで、表皮部３６の変位を計算する。そして、接触検知部２１１は、表皮部３６の変位から、表皮部３６に加えられている力を計算する。
【0082】
【0083】
以上説明したように、本実施の形態に係る接触近接検知装置３によれば、表皮部３６には、マーカ３８が一つずつ規則正しく配置されていない。
このようにすることで、本実施の形態に係る接触近接検知装置３は、実施の形態１、２に係る接触近接検知装置１、２よりも表皮部３６を容易に形成することができる。
このようにすることで、本実施の形態に係る接触近接検知装置３は、実施の形態１、２に係る接触近接検知装置１、２よりも表皮部３６を容易に形成することができる。
【0084】
［実施の形態４］
なお、実施の形態１～３に係る接触近接検知装置１～３は、学習済みモデル記憶部２９３に記憶された学習済みモデルに基づいて機械学習により接触検知及び近接検知を行うものであるが、接触検知及び近接検知の方法はこれに限定されない。以下、図２３～図２５を参照して、実施の形態４に係る接触近接検知装置４について、詳細に説明する。なお、実施の形態４では、実施の形態１～３と異なる構成について説明し、実施の形態１～３と同一の構成については冗長であるため説明を省略する。
なお、実施の形態１～３に係る接触近接検知装置１～３は、学習済みモデル記憶部２９３に記憶された学習済みモデルに基づいて機械学習により接触検知及び近接検知を行うものであるが、接触検知及び近接検知の方法はこれに限定されない。以下、図２３～図２５を参照して、実施の形態４に係る接触近接検知装置４について、詳細に説明する。なお、実施の形態４では、実施の形態１～３と異なる構成について説明し、実施の形態１～３と同一の構成については冗長であるため説明を省略する。
【0085】
（実施の形態４に係る接触近接検知装置４について）
図２３に示すように、本実施の形態に係る接触近接検知装置４は、学習済みモデル記憶部２９３が省略されている。
図２３に示すように、本実施の形態に係る接触近接検知装置４は、学習済みモデル記憶部２９３が省略されている。
【0086】
また、接触近接検知装置４の情報演算装置４２０は、演算部４２１に接触検知部４１１及び近接検知部４１２を備える。
以下、接触検知部４１１による接触検知処理及び近接検知部４１２による近接検知処理について説明する。
以下、接触検知部４１１による接触検知処理及び近接検知部４１２による近接検知処理について説明する。
【0087】
（実施の形態４に係る接触検知処理について）
図２４に、接触検知部４１１による接触検知処理の流れを示す。この接触検知処理は、ＰＤＬＣフィルム１５ｂを不透明にして行われる。
まず、接触検知部４１１は、カメラ１１、１３から、画像を取得する（ステップＳ６１）。次に、接触検知部４１１は、取得した画像からマーカ１８の展開を行う（ステップＳ６２）。ここで、マーカ１８の展開とは、具体的には、各マーカ１８の座標を求めることをいう。
続いて、接触検知部４１１は、マーカ１８の登録を行う（ステップＳ６３）。ここで、マーカ１８の登録とは、画像における複数のマーカ１８の座標を、各マーカ１８を識別する情報と対応づけることをいう。
図２４に、接触検知部４１１による接触検知処理の流れを示す。この接触検知処理は、ＰＤＬＣフィルム１５ｂを不透明にして行われる。
まず、接触検知部４１１は、カメラ１１、１３から、画像を取得する（ステップＳ６１）。次に、接触検知部４１１は、取得した画像からマーカ１８の展開を行う（ステップＳ６２）。ここで、マーカ１８の展開とは、具体的には、各マーカ１８の座標を求めることをいう。
続いて、接触検知部４１１は、マーカ１８の登録を行う（ステップＳ６３）。ここで、マーカ１８の登録とは、画像における複数のマーカ１８の座標を、各マーカ１８を識別する情報と対応づけることをいう。
【0088】
次に、接触検知部４１１は、画像から、マーカ１８の偏差を計算する（ステップＳ６４）。次に、接触検知部４１１は、ステップＳ６４で求められた偏差から、力の分布のマッピングを行う（ステップＳ６５）。ここで、力の分布のマッピングとは、具体的には、表皮部１５に加えられている力を、表皮部１５の各点で求めることをいう。
次に、接触検知部４１１は、ステップＳ６５で求められた力の分布から、力と位置を推測する（ステップＳ６６）。そして、接触検知部４１１は、動作を終了するか否かを判定し（ステップＳ６７）、動作を終了するときには（ステップＳ６７；Ｙｅｓ）、処理を終了する。一方、接触検知部４１１は、動作を継続するときには（ステップＳ６７；Ｎｏ）、ステップＳ６１に戻り、動作を終了するまでステップＳ６１からステップＳ６７の処理を繰り返す。
次に、接触検知部４１１は、ステップＳ６５で求められた力の分布から、力と位置を推測する（ステップＳ６６）。そして、接触検知部４１１は、動作を終了するか否かを判定し（ステップＳ６７）、動作を終了するときには（ステップＳ６７；Ｙｅｓ）、処理を終了する。一方、接触検知部４１１は、動作を継続するときには（ステップＳ６７；Ｎｏ）、ステップＳ６１に戻り、動作を終了するまでステップＳ６１からステップＳ６７の処理を繰り返す。
【0089】
（実施の形態４に係る近接検知処理について）
図２５に、近接検知部４１２による近接検知処理の流れを示す。この近接検知処理は、ＰＤＬＣフィルム１５ｂを透明にして行われる。
まず、近接検知部４１２は、カメラ１１、１３から画像を取得する（ステップＳ７１）。次に、近接検知部４１２は、背景のキャリブレーションを行う（ステップＳ７２）。ここで、背景のキャリブレーションとは、具体的には、ステップＳ７１において取得された画像を基準となる画像とするため、例えば、ノイズを除去したり、歪みを補正したりすることをいう。次に、近接検知部４１２は、カメラ１１、１３から新たに画像を取得する（ステップＳ７３）。続いて、近接検知部４１２は、ステップＳ７３において取得した画像の前処理を行う（ステップＳ７４）。なお、画像の前処理とは、次のステップＳ７５に進む前に、例えば、画像のコントラスト、輝度等を調整したり、ノイズを除去したりすることを含む処理である。
図２５に、近接検知部４１２による近接検知処理の流れを示す。この近接検知処理は、ＰＤＬＣフィルム１５ｂを透明にして行われる。
まず、近接検知部４１２は、カメラ１１、１３から画像を取得する（ステップＳ７１）。次に、近接検知部４１２は、背景のキャリブレーションを行う（ステップＳ７２）。ここで、背景のキャリブレーションとは、具体的には、ステップＳ７１において取得された画像を基準となる画像とするため、例えば、ノイズを除去したり、歪みを補正したりすることをいう。次に、近接検知部４１２は、カメラ１１、１３から新たに画像を取得する（ステップＳ７３）。続いて、近接検知部４１２は、ステップＳ７３において取得した画像の前処理を行う（ステップＳ７４）。なお、画像の前処理とは、次のステップＳ７５に進む前に、例えば、画像のコントラスト、輝度等を調整したり、ノイズを除去したりすることを含む処理である。
【0090】
次に、近接検知部４１２は、背景を減算する（ステップＳ７５）。具体的には、近接検知部４１２は、ステップＳ７１において取得され、ステップＳ７２において背景のキャリブレーションをされた基準となる画像に含まれる各画素から、ステップＳ７３において取得され、ステップＳ７４において前処理をされた画像に含まれる各画素を引き算する。
【0091】
続いて、近接検知部４１２は、対象物体を検知する（ステップＳ７６）。具体的には、近接検知部４１２は、例えば、ステップＳ７５で得られた減算の結果から、差分が特定の閾値を超える画素に対応する座標には、対象物体が含まれるものとして、対象物体を検知する。
【0092】
そして、近接検知部４１２は、動作を終了するか否かを判定し（ステップＳ７７）、動作を終了する場合には（ステップＳ７７；Ｙｅｓ）、処理を終了する。一方、近接検知部４１２は、動作を継続する場合には（ステップＳ７７；Ｎｏ）、ステップＳ７３に戻り、動作を終了するまでステップＳ７３からステップＳ７７の処理を繰り返す。
【0093】
以上説明したように、本実施の形態に係る接触近接検知装置４によれば、演算部４２１は、上述した接触検知処理及び近接検知処理を実行する。
このようにすることで、本実施の形態に係る接触近接検知装置４は、機械学習を行わなくても実施の形態１に係る接触近接検知装置１と同様の作用効果を奏する。
このようにすることで、本実施の形態に係る接触近接検知装置４は、機械学習を行わなくても実施の形態１に係る接触近接検知装置１と同様の作用効果を奏する。
【0094】
［実施の形態５］
なお、実施の形態１では、１台の接触近接検知装置１をロボットのアーム部分に用いたときの制御について説明したが、複数台の接触近接検知装置１をロボットのアーム部分に用いてもよい。以下、図２６～図２８を参照して、実施の形態５に係るロボットアーム５について、詳細に説明する。なお、実施の形態５では、実施の形態１と異なる構成について説明し、実施の形態１と同一の構成については冗長であるため説明を省略する。
なお、実施の形態１では、１台の接触近接検知装置１をロボットのアーム部分に用いたときの制御について説明したが、複数台の接触近接検知装置１をロボットのアーム部分に用いてもよい。以下、図２６～図２８を参照して、実施の形態５に係るロボットアーム５について、詳細に説明する。なお、実施の形態５では、実施の形態１と異なる構成について説明し、実施の形態１と同一の構成については冗長であるため説明を省略する。
【0095】
（実施の形態５に係るロボットアーム５について）
図２６（Ａ）、図２６（Ｂ）に示すように、本実施の形態に係るロボットアーム５は、実施の形態１に係る接触近接検知装置１と同様に構成された２台の接触近接検知装置１を後述するリンク部材５１、５２として用いている。すなわち、ロボットアーム５は、１台目の接触近接検知装置１によって構成された第１リンク部材５１、２台目の接触近接検知装置１によって構成された第２リンク部材５２を備える。また、ロボットアーム５は、第１リンク部材５１の一端である下端と連結された第１ジョイント部材５３、第１リンク部材５１の他端である上端及び第２リンク部材５２の一端と連結された第２ジョイント部材５４を備える。また、ロボットアーム５は、上端が第１ジョイント部材５３と連結された支持部５５を備える。
図２６（Ａ）、図２６（Ｂ）に示すように、本実施の形態に係るロボットアーム５は、実施の形態１に係る接触近接検知装置１と同様に構成された２台の接触近接検知装置１を後述するリンク部材５１、５２として用いている。すなわち、ロボットアーム５は、１台目の接触近接検知装置１によって構成された第１リンク部材５１、２台目の接触近接検知装置１によって構成された第２リンク部材５２を備える。また、ロボットアーム５は、第１リンク部材５１の一端である下端と連結された第１ジョイント部材５３、第１リンク部材５１の他端である上端及び第２リンク部材５２の一端と連結された第２ジョイント部材５４を備える。また、ロボットアーム５は、上端が第１ジョイント部材５３と連結された支持部５５を備える。
【0096】
図２６（Ｂ）に示すように、第１ジョイント部材５３は、第１リンク部材５１の下端が固定された第１回転軸５３１、支持部５５が固定された第２回転軸５３２、第１回転軸５３１及び第２回転軸５３２を回転させるモータ５３３を含む。また、図２６（Ａ）に示すように、第１ジョイント部材５３は、第１回転軸５３１、第２回転軸５３２及びモータ５３３の外方を覆う表皮部５３４を含む。また、第２ジョイント部材５４は第１ジョイント部材５３と同様に、第１リンク部材５１の上端が固定された第１回転軸５４１、第２リンク部材５２の一端が固定された第２回転軸５４２、第１回転軸５４１及び第２回転軸５４２を回転させるモータ５４３を含む。また、第１ジョイント部材５３は、第１回転軸５４１、第２回転軸５４２及びモータ５４３の外方を覆う表皮部５４４を含む。
【0097】
よって、ロボットアーム５は、第１ジョイント部材５３のモータ５３３が第１回転軸５３１及び第２回転軸５３２を回転させるとともに、第２ジョイント部材５４のモータ５４３が第１回転軸５４１及び第２回転軸５４２を回転させることで、第１リンク部材５１及び第２リンク部材５２を移動させ、図２６（Ａ）に示すＸ軸方向、Ｙ軸方向、Ｚ軸方向の各位置を変化させることができる。
【0098】
（実施の形態５に係る接触近接検知装置１について）
図２７に示すように、本実施の形態に係る接触近接検知装置１は、演算部２１にロボットアーム５のリンク部材５１、５２としての接触近接検知装置１の移動を制御する移動制御部２１５が新たに追加されている。
図２７に示すように、本実施の形態に係る接触近接検知装置１は、演算部２１にロボットアーム５のリンク部材５１、５２としての接触近接検知装置１の移動を制御する移動制御部２１５が新たに追加されている。
【0099】
移動制御部２１５は、各ジョイント部材５３、５４のモータ５３３、５４３による第１回転軸５３１、５４１及び第２回転軸５３２、５４２の回転方向、回転速度及び回転量を制御することで、接触近接検知装置１の位置、移動方向及び移動速度を制御する。また、移動制御部２１５は、透明モード記憶部２９１に記憶されている透明モードと制限モード記憶部２９２に記載されている制限モードとに従って、通信部２８を介してドライバ回路ＤＣに信号を出力し、又は電力を供給してモータ５３３、５４３等を制御することで、接触近接検知装置１の移動を制御する。
【0100】
（実施の形態５に係るロボットの制御処理について）
本実施の形態では、ロボットアーム５は、透明モードが透明である場合において制限モードが制限１モードであるとき、近接検知処理によって検知した対象物体との距離、速度を含む情報に基づいて、対象物体との衝突を回避したり衝撃を低減したりする安全制御を行う。具体的には、移動制御部２１５は、例えば、ロボットアーム５の停止中に対象物体が何れかのリンク部材５１、５２に急に近づいてきた場合、対象物体と同一の方向に同一の速度で近づかれているリンク部材５１、５２を移動させて対象物体と当該リンク部材５１、５２との距離を保つことで、衝突を回避しようとする制御を行う。また、移動制御部２１５は、例えば、ロボットアーム５の動作中に対象物体が何れかのリンク部材５１、５２に急に近づいてきた場合、近づかれているリンク部材５１、５２の移動速度を低減させることで、対象物体との衝撃を低減しようとする制御を行う。
本実施の形態では、ロボットアーム５は、透明モードが透明である場合において制限モードが制限１モードであるとき、近接検知処理によって検知した対象物体との距離、速度を含む情報に基づいて、対象物体との衝突を回避したり衝撃を低減したりする安全制御を行う。具体的には、移動制御部２１５は、例えば、ロボットアーム５の停止中に対象物体が何れかのリンク部材５１、５２に急に近づいてきた場合、対象物体と同一の方向に同一の速度で近づかれているリンク部材５１、５２を移動させて対象物体と当該リンク部材５１、５２との距離を保つことで、衝突を回避しようとする制御を行う。また、移動制御部２１５は、例えば、ロボットアーム５の動作中に対象物体が何れかのリンク部材５１、５２に急に近づいてきた場合、近づかれているリンク部材５１、５２の移動速度を低減させることで、対象物体との衝撃を低減しようとする制御を行う。
【0101】
なお、移動制御部２１５は、上述した安全制御を行う場合、公知のアドミッタンス制御及びインピーダンス制御を用いて上述した制御を行ってもよい。この場合、移動制御部２１５は、例えば、外部からの仮想的な作用力に基づいて、ロボットアーム５の位置、移動方向、移動速度を決定する制御を行うことになる。なお、外部からの仮想的な作用力については、例えば、近接検知処理によって検知されたリンク部材５１、５２と対象物体との測定距離に比例定数を乗算した値を用いることができる。
【0102】
以上説明したように、本実施の形態に係るロボットアーム５によれば、１台目の接触近接検知装置１は、第１リンク部材５１を構成し、２台目の接触近接検知装置１は、第２リンク部材５２を構成する。
このようにすることで、本実施の形態に係るロボットアーム５は、２台の接触近接検知装置１を用いて動作することができる。
このようにすることで、本実施の形態に係るロボットアーム５は、２台の接触近接検知装置１を用いて動作することができる。
【0103】
また、本実施の形態に係るロボットアーム５によれば、移動制御部２１５は、透明モードが透明である場合において制限モードが制限１モードであるとき、近接検知処理によって検知された情報に基づいて、対象物体との衝突を回避したり衝撃を低減したりする安全制御を行う。
このようにすることで、本実施の形態に係るロボットアーム５は、安全制御を行わないロボットアームよりもサービスの提供を受ける人に不快感を与え難くすることができる。
その他、本実施の形態に係るロボットアーム５のリンク部材５１、５２は、実施の形態１に係る接触近接検知装置１と同様の作用効果を奏する。
このようにすることで、本実施の形態に係るロボットアーム５は、安全制御を行わないロボットアームよりもサービスの提供を受ける人に不快感を与え難くすることができる。
その他、本実施の形態に係るロボットアーム５のリンク部材５１、５２は、実施の形態１に係る接触近接検知装置１と同様の作用効果を奏する。
【0104】
以下、ロボットアーム５を用いて行った実験例について説明する。
【0105】
（実験例８）
実験例８では、ロボットアーム５の第２リンク部材５２を用いて対象物体であるマネキンの腕との距離を測定した。具体的には、第２リンク部材５２とマネキンの腕との実際の距離を１０ｍｍ毎に、２０ｍｍ、３０ｍｍ、…、１００ｍｍとなるように配置し、それぞれの距離において図６に示す近接検知処理を実行して距離を測定した。
実験例８では、ロボットアーム５の第２リンク部材５２を用いて対象物体であるマネキンの腕との距離を測定した。具体的には、第２リンク部材５２とマネキンの腕との実際の距離を１０ｍｍ毎に、２０ｍｍ、３０ｍｍ、…、１００ｍｍとなるように配置し、それぞれの距離において図６に示す近接検知処理を実行して距離を測定した。
【0106】
この結果、実験例８では、図２８に示すように、測定距離の中央値は、実際の距離に近似していることがわかる。具体的には、実際の距離が２０ｍｍのときの測定距離の中央値は約１０ｍｍ、実際の距離が３０ｍｍ、４０ｍｍのときの測定距離の中央値は約４２ｍｍ、実際の距離が５０ｍｍのときの測定距離の中央値は約６０ｍｍであることが分かる。また、実際の距離が６０ｍｍのときの測定距離の中央値は約７５ｍｍ、実際の距離が７０ｍｍのときの測定距離の中央値は約６８ｍｍ、実際の距離が８０ｍｍのときの測定距離の中央値は約８２ｍｍ、実際の距離が９０ｍｍのときの測定距離の中央値は約８８ｍｍ、実際の距離が１００ｍｍのときの測定距離の中央値は約８６ｍｍであることが分かる。なお、測定距離と実際の距離との二乗平均平方根誤差（ＲＭＳＥ、Root Mean Squared Error）は、１０．３５ｍｍであるため、許容できる程度の誤差であると考えられる。
【0107】
よって、上述した実験例８の結果から、ロボットアーム５の各リンク部材５１、５２は、対象物体との距離を精度良く測定できることが分かる。このため、ロボットアーム５の各リンク部材５１、５２は、対象物体が近づいてくる速度も精度良く測定できると考えられる。
【0108】
（実験例９）
次に、実験例９では、ロボットアーム５の第１リンク部材５１を対象物体である人の指で押したときの力の大きさを測定した。具体的には、第１リンク部材５１の表皮部１５の窪みの深さをｄ［ｍｍ］とし、ｄ＝１．２５［ｍｍ］、ｄ＝２．５［ｍｍ］、ｄ＝３．７５［ｍｍ］、ｄ＝５［ｍｍ］となるように指で押した状態とし、それぞれの窪みの深さｄにおいて図５に示す接触検知処理の推論フェーズを実行して力の大きさ［Ｎ］を測定した。
次に、実験例９では、ロボットアーム５の第１リンク部材５１を対象物体である人の指で押したときの力の大きさを測定した。具体的には、第１リンク部材５１の表皮部１５の窪みの深さをｄ［ｍｍ］とし、ｄ＝１．２５［ｍｍ］、ｄ＝２．５［ｍｍ］、ｄ＝３．７５［ｍｍ］、ｄ＝５［ｍｍ］となるように指で押した状態とし、それぞれの窪みの深さｄにおいて図５に示す接触検知処理の推論フェーズを実行して力の大きさ［Ｎ］を測定した。
【0109】
この結果、実験例９では、図２９に示すように、第１リンク部材５１を人の指で押したときの力の測定値は、実際の力の理論値に近似していることがわかる。具体的には、ｄ＝１．２５［ｍｍ］で実際の力の理論値が約０．１Ｎのときの測定値は約０．０５Ｎ、ｄ＝２．５［ｍｍ］で実際の力の理論値が約０．６Ｎのときの測定値は約０．５Ｎであることが分かる。また、ｄ＝３．７５［ｍｍ］で実際の力の理論値が約１．３Ｎのときの測定値は約１．１Ｎ、ｄ＝５［ｍｍ］で実際の力の理論値が約２．３Ｎのときの測定値は約１．８Ｎであることが分かる。
【0110】
よって、上述した実験例９の結果から、ロボットアーム５の各リンク部材５１、５２は、押圧している対象物体の力の大きさを信頼できる程度の正確さで測定できることが分かる。このため、ロボットアーム５の各リンク部材５１、５２は、接触している対象物体の位置、力の向きも信頼できる程度の正確さで測定できると考えられる。
【0111】
（実験例１０）
次に、実験例１０では、ロボットアーム５の停止中に安全制御が実際に行われるか否かの確認を行った。実験例１０では、図３０に示すように、マネキンの腕にＹ軸方向に沿ってロボットアーム５の第２リンク部材５２に向かって接近・離隔する動作を繰り返させた。そして、ロボットアーム５は、第２リンク部材５２を用いてマネキンの腕が上述した移動を行っているときの第２リンク部材５２からマネキンの腕までの距離、第２リンク部材５２を移動させるときに発生させる力の大きさ、第２リンク部材５２の停止位置からの移動量をそれぞれ測定した。
次に、実験例１０では、ロボットアーム５の停止中に安全制御が実際に行われるか否かの確認を行った。実験例１０では、図３０に示すように、マネキンの腕にＹ軸方向に沿ってロボットアーム５の第２リンク部材５２に向かって接近・離隔する動作を繰り返させた。そして、ロボットアーム５は、第２リンク部材５２を用いてマネキンの腕が上述した移動を行っているときの第２リンク部材５２からマネキンの腕までの距離、第２リンク部材５２を移動させるときに発生させる力の大きさ、第２リンク部材５２の停止位置からの移動量をそれぞれ測定した。
【0112】
図３１（Ａ）は、第２リンク部材５２からマネキンの腕までの測定距離［ｍｍ］を縦軸とし、時間［ｓ］を横軸としたときの測定距離と時間との関係を示すグラフである。なお、図３１（Ａ）では、測定距離の生データの値のグラフを細い実線で示すとともに、測定距離の生データの値をローパスフィルタによってフィルタリングした後の値のグラフを太い実線で示している。また、図３１（Ｂ）は、第２リンク部材５２を移動させるときに発生させる仮想的な作用力の大きさ［Ｎ］の絶対値を縦軸とし、時間［ｓ］を横軸としたときの力の大きさと時間との関係を示すグラフである。また、図３１（Ｃ）は、第２リンク部材５２の停止位置からの移動量［ｍ］を縦軸とし、時間［ｓ］を横軸としたときの移動量と時間との関係を示すグラフである。なお、図３１（Ｃ）では、第２リンク部材５２の停止位置からの図２６（Ａ）に示すＸ軸方向の移動量を１点鎖線で示し、Ｙ軸方向の移動量を実線で示し、Ｚ軸方向の移動量を２点鎖線で示している。
【0113】
この結果、実験例１０では、図３１（Ａ）に示すように、第２リンク部材５２からマネキンの腕までの測定距離は、０ｍｍにならずに約１２０ｍｍから約５ｍｍまでの間で変化することが分かる。具体的には、測定距離は、測定開始直後の約１００ｍｍから約１０秒後に約５ｍｍとなった後に長くなる。また、測定距離は、約１０秒後の約５ｍｍから約１４秒後に約１２０ｍｍとなった後に再び短くなる。また、測定距離は、約１４秒後の約１２０ｍｍ未満から約２０秒後に約５ｍｍとなった後に再び長くなる。そして、測定距離は、約２０秒後の約５ｍｍ未満から約２６秒後に約１２０ｍｍとなった後、３０秒後まで約１２０ｍｍとなる。
【0114】
また、実験例１０では、図３１（Ｂ）に示すように、第２リンク部材５２を移動させるときに発生させる力の大きさの絶対値は、０Ｎから約０．４５Ｎまでの間で変化していることが分かる。具体的には、仮想的な作用力の大きさの絶対値は、測定開始後から３秒後の０Ｎから大きくなり、約７秒後に約０．４５Ｎとなる。また、仮想的な作用力の大きさの絶対値は、約１２秒後の約０．４５Ｎから小さくなり、約１３秒後に約０Ｎとなる。また、力の大きさの絶対値は、約１５秒後の約０Ｎから再び大きくなり、約１８秒後に約０．４５Ｎとなる。そして、仮想的な作用力の大きさの絶対値は、約２３秒後の約０．４５Ｎから再び小さくなり、約２５秒後に約０Ｎとなった後、３０秒後まで約０Ｎとなる。また、実験例１０では、図３１（Ａ）、図３１（Ｂ）に示すように、仮想的な作用力の大きさの絶対値は、上述した測定距離が短くなるに連れて大きくなるとともに、測定距離が長くなるに連れて小さくなることが分かる。
【0115】
また、実験例１０では、図３１（Ｃ）に示すように、第２リンク部材５２の停止位置からの移動量は、Ｙ軸方向のみ約０．０２ｍから約０．４６ｍまでの間で変化する一方、Ｘ軸方向及びＺ軸方向については殆ど変化しないことが分かる。具体的には、Ｙ軸方向の移動量は、測定開始後の約０．０２ｍから長くなり、約１０秒後に約０．４６ｍとなる。また、Ｙ軸方向の移動量は、約１０秒後の約０．４６ｍから短くなり、約１６秒後に約０．０４ｍとなる。また、Ｙ軸方向の移動量は、約１６秒後の約０．０４ｍから再び長くなり、約２３秒後に約０．３６ｍとなる。そして、Ｙ軸方向の移動量は、約２３秒後の約０．３６ｍから再び短くなり、約３０秒後に約０．０２ｍとなる。また、実験例１０では、図３１（Ａ）、図３１（Ｃ）に示すように、Ｙ軸方向の移動量は、上述した測定距離が短くなるに連れて長くなるとともに、測定距離が長くなるに連れて短くなることが分かる。
【0116】
よって、上述した実験例１０の結果から、ロボットアーム５は、停止中に対象物体が急に近づいてきた場合、近接検知処理によって検知された情報に基づいて、対象物体との衝突を回避する安全制御を実際に行うことができると考えられる。
【0117】
（実験例１１）
そして、実験例１１では、ロボットアーム５の動作中に安全制御が実際に行われるか否かの確認を行った。実験例１１では、ロボットアーム５の第２リンク部材５２は、約０．０４８ｍ／ｓまで加速した後に減速して基準位置から＋Ｙ方向の目標位置で停止した後、約－０．０４８ｍ／ｓまで加速した後に減速して－Ｙ方向の基準位置まで戻って停止する動作を繰り返している。また、実験例１１では、図３２に示すように、対象物体である人の手を＋Ｙ方向に沿って第２リンク部材５２に向かって接近した後、－Ｙ方向に沿って第２リンク部材５２から離隔する動作を繰り返した。そして、ロボットアーム５は、第２リンク部材５２を用いて人の手が上述した移動を行っているときの第２リンク部材５２からマネキンの腕までの距離、第２リンク部材５２のＹ軸方向の移動速度をそれぞれ測定した。なお、実験例１１では、制限モードが無制限モードから制限１モードに切り替わる閾値となる第２リンク部材５２と人の手との距離Ｌ０が６０ｍｍに設定されている。
そして、実験例１１では、ロボットアーム５の動作中に安全制御が実際に行われるか否かの確認を行った。実験例１１では、ロボットアーム５の第２リンク部材５２は、約０．０４８ｍ／ｓまで加速した後に減速して基準位置から＋Ｙ方向の目標位置で停止した後、約－０．０４８ｍ／ｓまで加速した後に減速して－Ｙ方向の基準位置まで戻って停止する動作を繰り返している。また、実験例１１では、図３２に示すように、対象物体である人の手を＋Ｙ方向に沿って第２リンク部材５２に向かって接近した後、－Ｙ方向に沿って第２リンク部材５２から離隔する動作を繰り返した。そして、ロボットアーム５は、第２リンク部材５２を用いて人の手が上述した移動を行っているときの第２リンク部材５２からマネキンの腕までの距離、第２リンク部材５２のＹ軸方向の移動速度をそれぞれ測定した。なお、実験例１１では、制限モードが無制限モードから制限１モードに切り替わる閾値となる第２リンク部材５２と人の手との距離Ｌ０が６０ｍｍに設定されている。
【0118】
図３３（Ａ）は、第２リンク部材５２から人の手までの測定距離［ｍｍ］を縦軸とし、時間［ｓ］を横軸としたときの測定距離と時間との関係を示すグラフである。また、図３３（Ｂ）は、第２リンク部材５２の移動速度［ｍ／ｓ］を縦軸とし、時間［ｓ］を横軸としたときの移動速度と時間との関係を示すグラフである。
【0119】
この結果、実験例１１では、図３３（Ａ）に示すように、第２リンク部材５２から人の手までの測定距離は、０ｍｍから約１３０ｍｍまでの間で変化することが分かる。具体的には、測定距離は、測定開始直後から約３秒後まで約７０ｍｍから約１３０ｍｍまでの値となった後に短くなり、約４秒後に約１０ｍｍとなる。また、測定距離は、約４秒後から約１３秒後まで０ｍｍから約３０ｍｍまでの値となった後に再び長くなり、約１４秒後に約１３０ｍｍとなる。また、測定距離は、約１４秒後から約１７秒後まで約８０ｍｍから約１３０ｍｍまでの値となった後に再び短くなり、約１８秒後に約１０ｍｍとなる。そして、測定距離は、約１８秒後から３０秒後まで０ｍｍから約４０ｍｍとなる。
【0120】
また、実験例１１では、図３３（Ｂ）に示すように、第２リンク部材５２の移動速度は、約－０．０４８ｍ／ｓから約０．０４８ｍ／ｓまでの間で変化していることが分かる。具体的には、移動速度は、測定開始直後から約１秒後に約０．０４８ｍ／ｓとなった後に減少し、約４秒後に約－０．０４８ｍ／ｓとなった後に増加し、約４．５秒後に約－０．０２ｍ／ｓとなる。また、移動速度は、約４．５秒後に約－０．０２ｍ／ｓとなった後に緩やかに増加し、約１０秒後に約０．０２ｍ／ｓとなった後に緩やかに減少し、約１７秒後に再び約－０．０２ｍ／ｓとなる。
【0121】
また、移動速度は、約１７秒後に－０．０２ｍ／ｓとなった後に減少して約－０．０４ｍ／ｓとなった後に増加し、約１８秒後に再び約０．０４８ｍ／ｓとなる。また、移動速度は、約１８秒後に再び約０．０４８ｍ／ｓとなった後に減少し、約２２秒後に再び約－０．０４８ｍ／ｓとなった後に増加し、約２３秒後に再び約－０．０２ｍ／ｓとなる。また、移動速度は、約２３秒後に約－０．０２ｍ／ｓとなった後に緩やかに増加し、約２７秒後に約０．０２ｍ／ｓとなった後に緩やかに減少し、３０秒後に約０ｍ／ｓとなる。また、実験例１１では、図３１（Ａ）、図３１（Ｂ）に示すように、移動速度は、上述した測定距離がＬ０＝６０［ｍｍ］以上のときの最大速度が約０．０４８ｍ／ｓである一方、測定距離がＬ０＝６０［ｍｍ］未満のときの最大速度がおよそ半分となる約０．０２ｍ／ｓであることが分かる。
【0122】
よって、上述した実験例１１の結果から、ロボットアーム５は、移動中に対象物体が急に近づいてきた場合、近接検知処理によって検知された情報に基づいて、対象物体との衝撃を低減するために移動速度を半減する安全制御を実際に行うことができると考えられる。
【0123】
［変更例］
なお、上記の実施の形態５では、ボットアーム５のリンク部材５１、５２を実施の形態１に係る接触近接検知装置１によって構成したが、これに限定されず、実施の形態２～４に係る接触近接検知装置２～４によって構成してもよい。
なお、上記の実施の形態５では、ボットアーム５のリンク部材５１、５２を実施の形態１に係る接触近接検知装置１によって構成したが、これに限定されず、実施の形態２～４に係る接触近接検知装置２～４によって構成してもよい。
【0124】
なお、上記の実施の形態５では、移動制御部２１５は、制限モードが制限１モードであるときに安全制御を行っているが、これに限定されず、制限モードが制限２モードであるときにも安全制御を行ってもよい。この場合、制限２モードのときには透明モードを不透明としているが、移動制御部２１５が近接検知処理によって検知された情報に基づいて安全制御を行うために、制限モードが制限１モードのときだけでなく制限２モードのときにも透明モードを透明にする必要がある。
【0125】
なお、上記の実施の形態５では、ロボットアーム５のリンク部材５１、５２である接触近接検知装置１がそれぞれジョイント部材５３、５４を制御して自らの移動を制御しているが、リンク部材５１、５２の移動の制御についてはこれに限定されない。例えば、ロボットアーム５のメインコンピュータがジョイント部材５３、５４を制御することでリンク部材５１、５２の移動を制御してもよい。
【0126】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【0127】
本出願は、２０２１年７月２７日に出願された特願２０２１－１２２３１４号に基づく。本明細書中に特願２０２１－１２２３１４号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
【符号の説明】
【0128】
１，２，３，４…接触近接検知装置、５…ロボットアーム、１１，１３…カメラ、１２，１４…基部、１５，２６，３６，５３４，５４４…表皮部、１５ａ…外皮部、１５ｂ…ＰＤＬＣフィルム、１６…コネクタ、１７…ＬＥＤ、１８，３８…マーカ、１９，１９ｃ…支持部、１９ａ…内皮部、２０，４２０…情報演算装置、２１，４２１…演算部、２４…バス、２８…通信部、２９…記憶部、５１…第１リンク部材、５２…第２リンク部材、５３…第１ジョイント部材、５４…第２ジョイント部材、５５…支持部、２１１，４１１…接触検知部、２１２，４１２…近接検知部、２１３…透明モード切替部、２１４…制限モード切替部、２１５…移動制御部、２９１…透明モード記憶部、２９２…制限モード記憶部、２９３…学習済みモデル記憶部、５３１，５４１…第１回転軸、５３２，５４２…第２回転軸、５３３，５４３…モータ、ＣＰ…操作パネル、ＤＣ…ドライバ回路、ＥＥ…試験装置、ＰＥ…実験装置、ＰＵ…電源装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】