特許 7450837 固定状況判定システム、グローブ、情報処理装置、固定状況判定方法、および、固定状況判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-03-07

(45)【発行日】2024-03-15

(54)【発明の名称】固定状況判定システム、グローブ、情報処理装置、固定状況判定方法、および、固定状況判定プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240308BHJP

【ＦＩ】

G06F3/01 514

【請求項の数】 16

(21)【出願番号】P 2023579706

(86)(22)【出願日】2022-05-17

(86)【国際出願番号】 JP2022020458

【審査請求日】2023-12-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(73)【特許権者】

【識別番号】000236056

【氏名又は名称】三菱電機ビルソリューションズ株式会社

(74)【代理人】

【識別番号】110002491

【氏名又は名称】弁理士法人クロスボーダー特許事務所

(72)【発明者】

【氏名】福井 孝太郎

(72)【発明者】

【氏名】西川 敬士

【審査官】田川 泰宏

(56)【参考文献】

【文献】特開２０１９－１２８９４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１１７２７１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１７４８９７（ＵＳ，Ａ１）

【文献】特開２０１０－２２１３５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２９０２０２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

作業者が着用して対象物を把持するグローブを備える固定状況判定システムであって、前記対象物の固定状況を判定する固定状況判定システムにおいて、
前記グローブにおける前記対象物を把持する一対の指の間に相当する位置に配置され、前記一対の指により把持された前記対象物を対象画像として撮影する撮影装置と、
前記対象画像を用いて、前記対象物の位置および姿勢を推定する位置姿勢推定部と、
前記対象画像を用いて、前記作業者の指先の動きを分析し、前記作業者の各指の指先の位置の移動範囲である指先移動範囲を算出する範囲算出部と、
前記対象物の位置および姿勢と前記指先移動範囲とに基づいて、前記対象物における前記指先の接触位置を算出する接触位置算出部と、
前記指先の接触位置における前記対象物に対する加振力の情報である加振力情報と前記対象物の変位とに基づいて、前記対象物の固定状況を判定する判定部と
を備える固定状況判定システム。

【請求項2】

前記グローブは、
前記作業者の各指の基節骨の内側に相当する位置にマーカを備え、
前記撮影装置は、
前記グローブが前記対象物を把持する際の前記マーカの位置を含む前記対象画像を撮影し、
前記範囲算出部は、
前記対象画像における前記マーカの位置を用いて前記作業者の各指の基節骨の角度を算出し、前記作業者の各指の基節骨の角度に基づいて前記指先移動範囲を算出する請求項１に記載の固定状況判定システム。

【請求項3】

前記グローブは、
前記作業者の各指の指先の外側に、前記指先の動きを検知するモーションセンサを備え、
前記範囲算出部は、
前記作業者の各指の基節骨の角度と前記モーションセンサにより検知された前記指先の動きとに基づいて、前記指先移動範囲を算出する請求項２に記載の固定状況判定システム。

【請求項4】

前記固定状況判定システムは、
前記対象物における位置と姿勢の複数の組合せの各々の画像を画像候補として蓄積した対象物データベースを備え、
前記位置姿勢推定部は、
前記対象画像と前記対象物データベースに蓄積されている前記画像候補を比較することにより、前記対象物の位置および姿勢を推定する請求項１に記載の固定状況判定システム。

【請求項5】

前記グローブは、
前記作業者の指先の内側に対応する位置に接触力センサを備え、
前記判定部は、
前記接触力センサから前記指先の接触位置における前記対象物に対する加振力を取得し、前記対象画像から前記対象物の変位を取得する請求項１から請求項４のいずれか１項に記載の固定状況判定システム。

【請求項6】

作業者が着用して対象物を把持するグローブと前記グローブと通信する情報処理装置を備え、前記対象物の固定状況を判定する固定状況判定システムに備えられるグローブにおいて、
前記対象物を把持する一対の指の間に相当する位置に配置され、前記一対の指により把持された前記対象物を対象画像として撮影する撮影装置と、
前記対象画像を用いて前記対象物の位置および姿勢を推定し、前記対象画像を用いて前記作業者の各指の指先の位置の移動範囲である指先移動範囲を算出し、前記対象物の位置および姿勢と前記指先移動範囲とに基づいて前記対象物における前記指先の接触位置を算出する前記情報処理装置に、前記対象画像を送信する通信装置と
を備えるグローブ。

【請求項7】

前記グローブは、
前記作業者の各指の基節骨の内側に相当する位置にマーカを備え、
前記撮影装置は、
前記グローブが前記対象物を把持する際の前記マーカの位置を含む前記対象画像を撮影し、
前記情報処理装置は、
前記対象画像における前記マーカの位置を用いて前記作業者の各指の基節骨の角度を算出し、前記作業者の各指の基節骨の角度に基づいて前記指先移動範囲を算出する請求項６に記載のグローブ。

【請求項8】

前記グローブは、
前記作業者の各指の指先の外側に、前記指先の動きを検知するモーションセンサを備え、
前記情報処理装置は、
前記作業者の各指の基節骨の角度と前記モーションセンサにより検知された前記指先の動きとに基づいて、前記指先移動範囲を算出する請求項７に記載のグローブ。

【請求項9】

前記グローブは、
前記グローブにおける前記一対の指の各指に設けられ、前記撮影装置を固定する固定具を備える請求項７または請求項８に記載のグローブ。

【請求項10】

前記固定具は、
前記グローブにおける前記一対の指の各指に設けられた指輪と、前記指輪と前記撮影装置とを連結する剛体とを備える状である請求項９に記載のグローブ。

【請求項11】

前記マーカは、突起形状を有している請求項７に記載のグローブ。

【請求項12】

前記撮影装置は、複数備えられている請求項６に記載のグローブ。

【請求項13】

前記グローブは、
前記作業者の指先の内側に対応する位置に接触力センサを備え、
前記情報処理装置は、
前記接触力センサから前記指先の接触位置における前記対象物に対する加振力の情報を加振力情報として取得し、前記対象画像から前記対象物の変位を取得する請求項６に記載のグローブ。

【請求項14】

作業者が着用して対象物を把持するグローブと前記グローブと通信する情報処理装置を備え、前記対象物の固定状況を判定する固定状況判定システムに備えられる情報処理装置において、
前記グローブにおける前記対象物を把持する一対の指の間に相当する位置に配置され、前記一対の指により把持された前記対象物を対象画像として撮影する撮影装置により撮影された前記対象画像を用いて、前記対象物の位置および姿勢を推定する位置姿勢推定部と、
前記対象画像を用いて、前記作業者の指先の動きを分析し、前記作業者の各指の指先の位置の移動範囲である指先移動範囲を算出する範囲算出部と、
前記対象物の位置および姿勢と前記指先移動範囲とに基づいて、前記対象物における前記指先の接触位置を算出する接触位置算出部と、
前記指先の接触位置における前記対象物に対する加振の加振力と前記対象物の変位とに基づいて、前記対象物の固定状況を判定する判定部と
を備える情報処理装置。

【請求項15】

作業者が着用して対象物を把持するグローブを備え、前記対象物の固定状況を判定する固定状況判定システムに用いられる固定状況判定方法において、
前記グローブにおける前記対象物を把持する一対の指の間に相当する位置に配置された撮影装置が、前記一対の指により把持された前記対象物を対象画像として撮影し、
コンピュータが、前記対象画像を用いて、前記対象物の位置および姿勢を推定し、
コンピュータが、前記対象画像を用いて、前記作業者の指先の動きを分析し、前記作業者の各指の指先の位置の移動範囲である指先移動範囲を算出し、
コンピュータが、前記対象物の位置および姿勢と前記指先移動範囲とに基づいて、前記対象物における前記指先の接触位置を算出し、
コンピュータが、前記指先の接触位置における前記対象物に対する加振の加振力と前記対象物の変位とに基づいて、前記対象物の固定状況を判定する固定状況判定方法。

【請求項16】

作業者が着用して対象物を把持するグローブを備え、前記対象物の固定状況を判定する固定状況判定システムに用いられる固定状況判定プログラムにおいて、
前記グローブにおける前記対象物を把持する一対の指の間に相当する位置に配置され、前記一対の指により把持された前記対象物を対象画像として撮影する撮影装置により撮影された前記対象画像を用いて、前記対象物の位置および姿勢を推定する位置姿勢推定処理と、
前記対象画像を用いて、前記作業者の指先の動きを分析し、前記作業者の各指の指先の位置の移動範囲である指先移動範囲を算出する範囲算出処理と、
前記対象物の位置および姿勢と前記指先移動範囲とに基づいて、前記対象物における前記指先の接触位置を算出する接触位置算出処理と、
前記指先の接触位置における前記対象物に対する加振の加振力と前記対象物の変位とに基づいて、前記対象物の固定状況を判定する判定処理と
をコンピュータに実行させる固定状況判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、固定状況判定システム、グローブ、情報処理装置、固定状況判定方法、および、固定状況判定プログラムに関する。

【背景技術】

【0002】

機器の固定状況の検査を遠隔で行うために、現地作業者が着用するグローブがある。
既存のグローブでは、接触面で印加されている力の変位、および、指先の振動を計測することができる。しかし、グローブに対する対象物の位置および姿勢、あるいは、対象物における指先の位置といった情報を取得できない。このため、対象物にかかっている力の向き、および、対象物の正確な変位といった情報を把握することができない。

【0003】

特許文献１には、対象物との接触を検知するために、弾性体でカバーした指先部の内側にＣＣＤカメラを設置し、弾性体変形を計測するロボットハンド用フィンガが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２２１３５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

機器のがたつきといった機器の固定状況の検査を行うためには、現地作業者がグローブを着用し、グローブで対象物を把持して加振するといった作業を実施する。
このとき、対象物における指先の位置を正確に把握することで、より高精度に固定状況を判定することができる。
特許文献１の技術をグローブに適用したとしても、対象物における指先の接触位置を正確に取得することができず、対象物にかかっている力の向き、および、対象物の正確な変位といった情報を把握することができない。よって、対象物の固定状況を高精度に判定することができないという課題がある。

【0006】

本開示では、対象物における指先の接触位置を正確に取得することにより、対象物の固定状況をより高精度に判定することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る固定状況判定システムは、作業者が着用して対象物を把持するグローブを備える固定状況判定システムであって、前記対象物の固定状況を判定する固定状況判定システムにおいて、
前記グローブにおける前記対象物を把持する一対の指の間に相当する位置に配置され、前記一対の指により把持された前記対象物を対象画像として撮影する撮影装置と、
前記対象画像を用いて、前記対象物の位置および姿勢を推定する位置姿勢推定部と、
前記対象画像を用いて、前記作業者の指先の動きを分析し、前記作業者の各指の指先の位置の移動範囲である指先移動範囲を算出する範囲算出部と、
前記対象物の位置および姿勢と前記指先移動範囲とに基づいて、前記対象物における前記指先の接触位置を算出する接触位置算出部と、
前記指先の接触位置における前記対象物に対する加振力の情報である加振力情報と前記対象物の変位とに基づいて、前記対象物の固定状況を判定する判定部と
を備える。

【発明の効果】

【0008】

本開示に係る固定状況判定システムでは、対象物における指先の接触位置を正確に取得することにより、対象物の固定状況をより高精度に判定することを目的とする。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る固定状況判定システムの全体構成例を示す図。

【図2】実施の形態１に係る情報処理装置の構成例を示す図。

【図3】実施の形態１に係るグローブの構成例を示す図。

【図4】実施の形態１に係るグローブが対象物を把持した状態を示す図。

【図5】実施の形態１に係る固定状況判定システムの動作例を示すフローチャート。

【図6】実施の形態１に係る対象画像の例を示す図。

【図7】実施の形態１に係る範囲算出処理における各指の基節骨の角度のイメージを示す図。

【図8】実施の形態１に係る範囲算出処理における指先移動範囲のイメージを示す図。

【図9】実施の形態１に係る接触位置算出処理における接触位置のイメージを示す図。

【図10】実施の形態１の変形例１に係るグローブの構成例を示す図。

【図11】実施の形態１の変形例２に係るグローブの構成例を示す図。

【図12】実施の形態１の変形例３に係るグローブの構成例を示す図。

【図13】実施の形態１の変形例４に係るグローブの構成例を示す図。

【図14】実施の形態１の変形例５に係る情報処理装置の構成例を示す図。

【発明を実施するための形態】

【0010】

以下、本実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。図中の矢印はデータの流れまたは処理の流れを主に示している。また、以下の図では各構成部材の大きさの関係が実際のものとは異なる場合がある。また、実施の形態の説明において、上、下、左、右、前、後、表、裏といった向きあるいは位置が示されている場合がある。これらの表記は、説明の便宜上の記載であり、装置、器具、あるいは部品等の配置、方向および向きを限定するものではない。

【0011】

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る固定状況判定システム５００の全体構成例を示す図である。
固定状況判定システム５００は、作業者１０がグローブを着用して対象物３００を把持し、対象物３００に対して加振することにより、対象物３００の固定状況を判定するシステムである。
固定状況判定システム５００は、作業者１０が着用して対象物３００を把持するグローブ２００と、グローブ２００と通信する情報処理装置１００を備える。グローブ２００と情報処理装置１００との通信は、優先でもよいし無線でもよい。
情報処理装置１００とグローブ２００の詳細構成については以下に記述する。

【0012】

図２は、本実施の形態に係る情報処理装置１００の構成例を示す図である。
情報処理装置１００は、コンピュータである。情報処理装置１００は、プロセッサ９１０を備えるとともに、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、出力インタフェース９４０、および通信装置９５０といった他のハードウェアを備える。プロセッサ９１０は、有線通信あるいは無線通信により他のハードウェアと接続され、これら他のハードウェアを制御する。

【0013】

情報処理装置１００は、機能要素として、位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０と記憶部１６０とを備える。記憶部１６０には、対象物データベース１６１が記憶される。

【0014】

位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の機能は、ソフトウェアにより実現される。記憶部１６０は、メモリ９２１に備えられる。なお、記憶部１６０は、補助記憶装置９２２に備えられていてもよいし、メモリ９２１と補助記憶装置９２２に分散して備えられていてもよい。

【0015】

プロセッサ９１０は、固定状況判定プログラムを実行する装置である。固定状況判定プログラムは、位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の機能を実現するプログラムである。なお、固定状況判定プログラムには、後述するグローブの機能を実現するプログラムも含まれる。

【0016】

プロセッサ９１０は、演算処理を行うＩＣである。プロセッサ９１０の具体例は、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ乗る悪後である。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略語である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語である。

【0017】

メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ、あるいはＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略語である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略語である。
補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤである。また、補助記憶装置９２２は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬の記憶媒体であってもよい。なお、ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略語である。ＳＤ（登録商標）は、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略語である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）の略語である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略語である。

【0018】

入力インタフェース９３０は、マウス、キーボード、あるいはタッチパネルといった入力装置と接続されるポートである。入力インタフェース９３０は、具体的には、ＵＳＢ端子である。なお、入力インタフェース９３０は、ＬＡＮと接続されるポートであってもよい。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略語である。ＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略語である。

【0019】

出力インタフェース９４０は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）端子である。ディスプレイは、具体的には、ＬＣＤである。出力インタフェース９４０は、表示器インタフェースともいう。ＨＤＭＩ（登録商標）は、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略語である。ＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略語である。

【0020】

通信装置９５０は、レシーバとトランスミッタを有する。通信装置９５０は、ＬＡＮ、インターネット、ＷｉＦｉ（登録商標）、あるいは電話回線といった通信網に接続している。通信装置９５０は、具体的には、通信チップまたはＮＩＣである。ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略語である。

【0021】

固定状況判定プログラムは、情報処理装置１００において実行される。固定状況判定プログラムは、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。メモリ９２１には、固定状況判定プログラムだけでなく、ＯＳも記憶されている。ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略語である。プロセッサ９１０は、ＯＳを実行しながら、固定状況判定プログラムを実行する。固定状況判定プログラムおよびＯＳは、補助記憶装置９２２に記憶されていてもよい。補助記憶装置９２２に記憶されている固定状況判定プログラムおよびＯＳは、メモリ９２１にロードされ、プロセッサ９１０によって実行される。なお、固定状況判定プログラムの一部または全部がＯＳに組み込まれていてもよい。

【0022】

情報処理装置１００は、プロセッサ９１０を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、固定状況判定プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ９１０と同じように、固定状況判定プログラムを実行する装置である。

【0023】

固定状況判定プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ９２１、補助記憶装置９２２、または、プロセッサ９１０内のレジスタあるいはキャッシュメモリに記憶される。

【0024】

位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の各部の「部」を「回路」、「工程」、「手順」、「処理」、あるいは「サーキットリー」に読み替えてもよい。固定状況判定プログラムは、位置姿勢推定処理と範囲算出処理と接触位置算出処理と判定処理と画像設定処理を、コンピュータに実行させる。位置姿勢推定処理と範囲算出処理と接触位置算出処理と判定処理の「処理」を「プログラム」、「プログラムプロダクト」、「プログラムを記憶したコンピュータ読取可能な記憶媒体」、または「プログラムを記録したコンピュータ読取可能な記録媒体」に読み替えてもよい。また、固定状況判定方法は、情報処理装置１００が固定状況判定プログラムを実行することにより行われる方法である。
固定状況判定プログラムは、コンピュータ読み取り可能な記録媒体に格納されて提供されてもよい。また、固定状況判定プログラムは、プログラムプロダクトとして提供されてもよい。

【0025】

図３は、本実施の形態に係るグローブ２００の構成例を示す図である。
図４は、本実施の形態に係るグローブ２００が対象物３００を把持した状態を示す図である。
グローブ２００は、作業者１０が対象物３００を把持して加振する際に、対象物３００を把持する作業者１０の手に着用される。
図３では、作業者１０の右手に着用されたグローブ２００を示している。図３の左図は、掌側から見たグローブ２００の図である。図３の右図は、手の甲側から見たグローブ２００の図である。
また、図４では、作業者１０がグローブ２００を着用して、対象物３００を把持する様子を示している。

【0026】

グローブ２００は、撮影装置２０１、接触力センサ２０２、センサデータ収集モジュール２０３、およびマーカ２０４を備える。

【0027】

撮影装置２０１は、グローブ２００において対象物３００を把持する一対の指の間に相当する位置に配置され、一対の指により把持された対象物３００を対象画像２５として撮影する。
撮影装置２０１は、例えば、光学的撮像素子を有するモジュールを基板上に配置した装置である。撮影装置２０１は、例えば、ＣＣＤカメラである。
通常は、人は親指と親指以外の指とを使って物体を把持する。図３では、作業者１０は、親指と人差し指を含む指を使って物体を把持している。よって、撮影装置２０１は、グローブ２００において、掌側の親指と人差し指の間に相当する位置に配置される。なお、把持された対象物３００を撮影する位置であれば、その他の位置でもよい。いずれかの指の根元に配置されていればよい。あるいは、掌の中央付近に配置されていても構わない。

【0028】

マーカ２０４は、グローブ２００における作業者１０の各指の基節骨の内側に相当する位置に配置されている。具体的には、マーカ２０４は、グローブ２００における作業者１０の各指の基節骨の内側に相当する位置に印刷されている。
撮影装置２０１は、グローブ２００が対象物を把持する際のマーカの位置を含む対象画像２５を撮影する。すなわち、対象画像２５には、一対の指の各指に印刷されているマーカ２０４も含まれる。

【0029】

接触力センサ２０２は、グローブ２００において、作業者１０の指先の内側に対応する位置に配置される。接触力センサ２０２は、対象物３００への加振力の情報を加振力情報２６として取得する。加振力情報２６は、例えば、加振力の大きさである。

【0030】

センサデータ収集モジュール２０３は、各種のセンサデータを収集し、情報処理装置１００に送信する。具体的には、センサデータ収集モジュール２０３は、撮影装置２０１から対象画像２５を収集し、接触力センサ２０２から加振力情報２６を収集する。そして、センサデータ収集モジュール２０３は、対象画像２５および加振力情報２６を、有線通信、あるいは無線通信により情報処理装置１００へ送信する。

【0031】

センサデータ収集モジュール２０３は、対象画像２５および加振力情報２６といったセンサデータを収集し、情報処理装置１００に送信するコンピュータである。
例えば、情報処理装置１００は、センサデータを入力させるための入力インタフェース、プロセッサ、および情報処理装置１００と通信する通信装置といったハードウェアを備える。各ハードウェアについては、情報処理装置１００における説明と同様である。

【0032】

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る固定状況判定システム５００の動作について説明する。固定状況判定システム５００の動作手順は、固定状況判定方法に相当する。また、固定状況判定システム５００の動作を実現するプログラムは、固定状況判定プログラムに相当する。

【0033】

図５は、本実施の形態に係る固定状況判定システム５００の動作例を示すフローチャートである。

【0034】

＜撮影処理＞
ステップＳ１０１において、撮影装置２０１は、一対の指により把持された対象物３００を対象画像２５として撮影する。
具体的には、撮影装置２０１は、一対の指により把持された対象物３００とともに、一対の指の各指に印刷されているマーカ２０４を含むように撮影する。
センサデータ収集モジュール２０３は、対象画像２５を情報処理装置１００へ送信する。

【0035】

図６は、本実施の形態に係る撮影装置２０１により対象画像２５の例を示す図である。
図６に示すように、対象物３００の形状によっては、対象物３００と指先との接触部分が撮影できない場合がある。
なお、図示は無いが、対象画像２５には、一対の指の各指に印刷されているマーカ２０４も含まれる。

【0036】

＜位置姿勢推定処理＞
ステップＳ１０２において、位置姿勢推定部１１０は、対象画像２５を用いて、対象物３００の位置および姿勢を推定する。位置姿勢推定部１１０は、対象画像２５と対象物データベース１６１に蓄積されている画像候補６１を比較することにより、対象物３００の位置および姿勢を推定する。
具体的には、以下の通りである。

【0037】

対象物データベース１６１には、対象物３００における位置と姿勢の複数の組合せの各々の画像を画像候補６１として蓄積されている。
画像候補６１は、対象物３００を様々な角度および様々な位置の組み合わせで撮影した複数の３次元立体データである。
位置姿勢推定部１１０は、対象画像２５と画像候補６１とを比較し、最も類似度の高い画像候補６１を選定することにより、対象画像２５における対象物３００の位置および姿勢を推定する。

【0038】

＜範囲算出処理＞
ステップＳ１０３において、範囲算出部１２０は、対象画像２５を用いて、作業者１０の指先の動きを分析し、作業者の各指の指先の位置の移動範囲である指先移動範囲Ｒを算出する。ステップＳ１０３は、ステップＳ３１とステップＳ３２を有する。
具体的には、以下の通りである。

【0039】

図７は、本実施の形態に係る範囲算出処理における各指の基節骨の角度のイメージを示す図である。
ステップＳ３１において、範囲算出部１２０は、対象画像２５における基節骨上のマーカ２０４の位置を用いて、作業者１０の各指の基節骨の角度を算出する。図７の例では、親指の基節骨の角度θ１と、人差し指の基節骨の角度θ２を算出する様子を示している。

【0040】

図８は、本実施の形態に係る範囲算出処理における指先移動範囲Ｒのイメージを示す図である。
ステップＳ３２において、範囲算出部１２０は、作業者１０の各指の基節骨の角度に基づいて、指先移動範囲Ｒを算出する。範囲算出部１２０は、通常の指の関節構造の情報を用いて、各指の基節骨の角度に基づいて、各指の指先移動範囲Ｒを算出する。

【0041】

＜接触位置算出処理＞
ステップＳ１０４において、接触位置算出部１３０は、対象物３００の位置および姿勢と指先移動範囲Ｒとに基づいて、対象物３００における指先の接触位置Ｐを算出する。

【0042】

図９は、本実施の形態に係る接触位置算出処理における接触位置Ｐのイメージを示す図である。
接触位置算出部１３０は、対象物３００の位置および姿勢から対象物３００の表面位置を算出する。そして、接触位置算出部１３０は、対象物３００の表面位置と指先移動範囲Ｒとの交点から、対象物３００と指先との接触位置Ｐを算出する。

【0043】

＜判定処理＞
ステップＳ１０５において、判定部１４０は、指先の接触位置Ｐにおける対象物３００に対する加振力の情報である加振力情報２６と、対象物３００の変位とに基づいて、対象物３００の固定状況を判定する。ステップＳ１０５は、ステップＳ５１とステップＳ５２を有する。
具体的には、以下の通りである。

【0044】

ステップＳ５１において、作業者１０がグローブ２００を着用し、対象物３００を把持して対象物３００に対して加振を行う。センサデータ収集モジュール２０３は、接触力センサにより取得された加振力の大きさを加振力情報２６として情報処理装置１００に送信する。加振力情報２６は、接触力センサ２０２により取得され、センサデータ収集モジュール２０３を介して、グローブ２００から情報処理装置１００に送信される。

【0045】

ステップＳ５１において、判定部１４０は、接触位置Ｐと、加振力情報２６と、対象物３００の変位とに基づいて、対象物３００の固定状況を判定する。
対象物３００の変位は、判定部１４０により対象画像２５から取得される。
判定部１４０は、加振力の大きさと接触位置Ｐにおける加振力の向きとを算出し、対象物３００の応答である変位を取得し、これらの算出結果を統合することにより対象物３００の固定状況あるいは固定状態の判定を行う。
以上のように、対象物３００の変位と加振力の関係から、固定状況を指標として評価することができる。

【0046】

＊＊＊他の構成＊＊＊
＜変形例１＞
図１０は、本実施の形態の変形例１に係るグローブ２００の構成例を示す図である。
グローブ２００は、作業者１０の各指の指先の外側に、指先の動きを検知するモーションセンサを備えていてもよい。
範囲算出部１２０は、作業者１０の各指の基節骨の角度と、モーションセンサ２０５により検知された指先の動きとに基づいて、指先移動範囲Ｒを算出する。

【0047】

モーションセンサ２０５は、例えば、加速度を計測可能な加速度センサである。範囲算出部１２０は、初期位置からの変位量から指先位置を推定する。想定する把持方法のバリエーションを踏まえて、利用するモーションセンサの数を変化させてもよい。

【0048】

変形例１に係るグローブ２００によれば、指先の位置推定精度が向上し正確かつ、安定的に加振位置を推定できる。

【0049】

＜変形例２＞
図１１は、本実施の形態の変形例２に係るグローブ２００の構成例を示す図である。
グローブ２００は、グローブ２００における一対の指の各指に設けられ、撮影装置２０１を固定する固定具２０６を備えていてもよい。固定具２０６は、例えば、グローブ２００における一対の指の各指に設けられた指輪２６１と、指輪２６１と撮影装置２０１とを連結する剛体２６２とを備える。

【0050】

変形例２に係るグローブ２００によれば、指に固定する指輪２６１と撮影装置２０１とを剛体２６２で接続するので、指と撮影装置２０１の位置推定精度が向上し、指先位置の推定精度も向上する。

【0051】

＜変形例３＞
図１２は、本実施の形態の変形例３に係るグローブ２００の構成例を示す図である。
マーカ２０４は、突起形状を有していてもよい。
基節骨に対応するマーカとして、各指で形状の異なる立体物をグローブの表面に形成もしくは固定してもよい。基節骨の掌側に設置する位置検知用のマーカとして、突起として形状に特徴のあるものを用いることにより、カメラでマーカを検知できる基節骨の角度範囲が広がり、より安定的に指先位置推定を行うことができる。

【0052】

＜変形例４＞
図１３は、本実施の形態の変形例４に係るグローブ２００の構成例を示す図である。
撮影装置２０１は、複数備えられていてもよい。すなわち、グローブ上のカメラを複数台設置してもよい。光学的撮像素子として、２つ以上のカメラモジュールをグローブ上に配置することで、カメラでマーカを検知できる角度範囲が広がり、より安定的に指先位置推定を行うことができる。

【0053】

＜変形例５＞
本実施の形態では、位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の機能がソフトウェアで実現される。変形例として、位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の機能がハードウェアで実現されてもよい。
具体的には、固定状況判定システム５００は、プロセッサ９１０に替えて電子回路９０９を備える。

【0054】

図１４は、本実施の形態の変形例５に係る情報処理装置１００の構成例を示す図である。
電子回路９０９は、位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の機能を実現する専用の電子回路である。電子回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略語である。

【0055】

位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。

【0056】

別の変形例として、位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。また、位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の一部またはすべての機能がファームウェアで実現されてもよい。

【0057】

プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、位置姿勢推定部１１０と範囲算出部１２０と接触位置算出部１３０と判定部１４０の機能は、プロセッシングサーキットリにより実現される。
なお、グローブ２００に搭載されているコンピュータについても変形例５と同様である。

【0058】

＊＊＊本実施の形態の効果の説明＊＊＊
本実施の形態に係る固定状況判定システムでは、現地作業者が接触力センサを有するグローブを着用し、対象物を把持・加振し、その際のセンサ情報を元に、遠隔地の検査者に触力覚情報を提示する。
例えば、ロボットハンドで物体を把持する際に、ロボットハンド部に設置されたカメラで物体位置を検知するハンドアイシステムでは、把持中の指先は対象物による死角に入ってしまうため、指先の位置を把握できない。このため、指から対象物に印加される加振力の印加位置・向きを把握することができず、これにより判定精度が低下する恐れがあった。
一方、本実施の形態に係る固定状況判定システムによれば、対象物における指先の接触位置を正確に取得することができる。よって、対象物にかかっている力の向き、および、対象物の正確な変位といった情報を正確に把握することができる。よって、対象物の固定状況を高精度に判定することができる。

【0059】

本実施の形態に係る固定状況判定システムでは、掌側の、指の付け根の骨（基節骨）に対応する部分に指毎に異なるマーカを印刷し、親指と人差し指の間の空間に小型カメラを組み込んだグローブを利用する。そして、以下の処理を行う。
（１）検査対象の形状データを利用して、カメラにより対象物の位置を算出する。
（２）カメラに映る、マーカにより、各指の基節骨の角度を算出する。
（３）基節骨の角度情報を元に、指先位置の候補となる範囲を算出する。
（４）対象物の位置・形状情報と、指先位置の候補の関係から、接触位置を算出する。
（４）加振動作中の、指先の接触位置と接触力情報の変化から、３次元的な加振力の変化を算出し、対象物の変位の情報と統合することで、対象物の固定状況を算出する。
以上のように、本実施の形態に係る固定状況判定システムによれば、指先の位置推定精度が向上し正確かつ、安定的に加振位置を推定できる。

【0060】

以上の実施の形態１では、固定状況判定システムの各部を独立した機能ブロックとして説明した。しかし、固定状況判定システムの構成は、上述した実施の形態のような構成でなくてもよい。固定状況判定システムの機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、固定状況判定システムは、１つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態１のうち、複数の部分を組み合わせて実施しても構わない。あるいは、この実施の形態のうち、１つの部分を実施しても構わない。その他、この実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態１では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

【0061】

なお、上述した実施の形態は、本質的に好ましい例示であって、本開示の範囲、本開示の適用物の範囲、および本開示の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。例えば、フロー図あるいはシーケンス図を用いて説明した手順は、適宜に変更してもよい。

【符号の説明】

【0062】

１０ 作業者、２５ 対象画像、２６ 加振力情報、６１ 画像候補、１００ 情報処理装置、１１０ 位置姿勢推定部、１２０ 範囲算出部、１３０ 接触位置算出部、１４０ 判定部、１６０ 記憶部、１６１ 対象物データベース、２００ グローブ、２０１ 撮影装置、２０２ 接触力センサ、２０３ センサデータ収集モジュール、２０４ マーカ、２０５ モーションセンサ、２０６ 固定具、２６１ 指輪、２６２ 剛体、３００ 対象物、５００ 固定状況判定システム、９０９ 電子回路、９１０ プロセッサ、９２１ メモリ、９２２ 補助記憶装置、９３０ 入力インタフェース、９４０ 出力インタフェース、９５０ 通信装置。

【要約】

固定状況判定システム（５００）は、作業者（１０）が着用して対象物（３００）を把持するグローブ（２００）を備える。撮影装置（２０１）は、グローブ（２００）における対象物（３００）を把持する一対の指の間に相当する位置に配置され、対象画像（２５）を撮影する。位置姿勢推定部（１１０）は、対象物（３００）の位置および姿勢を推定する。範囲算出部（１２０）は、作業者（１０）の指先の動きの範囲である指先移動範囲を算出する。接触位置算出部（１３０）は、対象物（３００）の位置および姿勢と指先移動範囲とに基づいて、対象物（３００）における指先の接触位置を算出する。判定部（１４０）は、指先の接触位置における対象物（３００）に対する加振力の加振力情報（２６）と対象物（３００）の変位とに基づいて、対象物（３００）の固定状況を判定する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】