特開 2023-175264 作業支援装置、作業支援システム、作業支援プログラム、及び作業支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023175264

(43)【公開日】2023-12-12

(54)【発明の名称】作業支援装置、作業支援システム、作業支援プログラム、及び作業支援方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231205BHJP

   G06F 3/04815 20220101ALI20231205BHJP

【ＦＩ】

G06F3/01 560

G06F3/04815

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022087622

(22)【出願日】2022-05-30

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(72)【発明者】

【氏名】岩本 和世

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA27

5E555BA02

5E555BA03

5E555BA05

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA10

5E555CA41

5E555CB21

5E555CB45

5E555DA11

5E555DA24

5E555DB53

5E555DC09

5E555DC35

5E555DC61

5E555DD01

5E555EA06

5E555EA11

5E555FA00

(57)【要約】

【課題】部材等の消耗を抑制しつつ、実在する部材を使用する場合と同様の感覚で、作業訓練・作業シミュレーションを行うための作業支援装置、作業支援システム、作業支援プログラム、及び作業支援方法を提供すること。
【解決手段】空間情報生成手段と、指令処理手段と、を有する作業支援装置。空間情報生成手段は、対象領域に配置される実物体を画像化した実画像と、作業での取扱対象となる仮想部材と、を含み、対象領域に対応づけられた力覚空間を生成する。指令処理手段は、力覚空間において、実物体としての作業ツールが画像化されたツール画像が仮想部材に接触したとき、作業ツールを通じての力覚の提示が可能な力覚提示装置へ、力覚の提示を指示する力覚指令を送信する。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象領域に配置される実物体を画像化した実画像と、作業での取扱対象となる仮想部材と、を含み、前記対象領域に対応づけられた力覚空間を生成する空間情報生成手段と、
前記力覚空間において、実物体としての作業ツールが画像化されたツール画像が前記仮想部材に接触したとき、前記作業ツールを通じての力覚の提示が可能な力覚提示装置へ、力覚の提示を指示する力覚指令を送信する指令処理手段と、を有する、作業支援装置。

【請求項2】

前記空間情報生成手段は、
作業での取扱対象で前記実物体に含まれる実部材の取扱部位、及び前記仮想部材の取扱部位のうちの少なくとも一方に対応づけて、前記作業ツールの作用部を当該取扱部位に誘導するためのガイドを、前記力覚空間に生成するものである、請求項１に記載の作業支援装置。

【請求項3】

前記空間情報生成手段は、
作業での取扱対象で前記実物体に含まれる実部材の移動先、及び前記仮想部材の移動先のうちの少なくとも一方に対応づけて、前記作業ツールの作用部を当該移動先に誘導するためのガイドを、前記力覚空間に生成するものである、請求項１に記載の作業支援装置。

【請求項4】

前記指令処理手段は、
前記作用部が前記ガイドの内側に入ると、前記ガイドの外側への前記作用部の移動に制限を加えるための誘導指令を前記力覚提示装置へ送信するものである、請求項２又は３に記載の作業支援装置。

【請求項5】

前記指令処理手段は、
前記ツール画像が前記仮想部材に接触したとき、前記仮想部材の硬さの情報を含む仮想部材データと、前記作業ツールの速度に係る情報を含むツールデータとに基づいて、前記作業ツールが受けると予測される反力を求め、求めた反力を示す情報を前記力覚指令に含めて前記力覚提示装置へ送信するものである、請求項１に記載の作業支援装置。

【請求項6】

前記対象領域を撮像した画像に前記仮想部材を組み込んで表示用の拡張現実画像を生成する画像生成手段をさらに有する、請求項１に記載の作業支援装置。

【請求項7】

前記画像生成手段は、
前記作業ツールに前記仮想部材を捕捉させるための捕捉条件を満たしてから、前記作業ツールが前記仮想部材を捕捉している状態が解除される解除条件を満たすまでの間、生成する前記拡張現実画像における前記仮想部材を前記作業ツールの移動に追従させるものである、請求項６に記載の作業支援装置。

【請求項8】

前記画像生成手段は、
前記作業ツールに前記仮想部材を捕捉させるための捕捉条件を満たしたとき、前記仮想部材の移動先に強調画像を表示させるものである、請求項６に記載の作業支援装置。

【請求項9】

請求項６に記載の作業支援装置と、
前記対象領域を撮像する撮像装置と、
前記拡張現実画像を表示する表示装置と、
前記表示装置に表示された前記拡張現実画像を反射する調整ミラーと、
前記調整ミラーにおいて反射した像を写す視認用ミラーと、を有する、作業支援システム。

【請求項10】

右目用に設けられる前記撮像装置、前記表示装置、前記調整ミラー、及び前記視認用ミラーと、左目用に設けられる前記撮像装置、前記表示装置、前記調整ミラー、及び前記視認用ミラーと、を有し、
右目用の前記表示装置、前記調整ミラー、及び前記視認用ミラーと、左目用の前記表示装置、前記調整ミラー、及び前記視認用ミラーとは、前記対象領域を中心として左右対称に配置されている、請求項９に記載の作業支援システム。

【請求項11】

対象領域に配置される実物体を画像化した実画像と、取扱対象となる仮想部材と、を含み、対象領域に対応づけられた力覚空間を生成する空間情報生成手段、
及び、前記力覚空間において、実物体としての作業ツールが画像化されたツール画像が前記仮想部材に接触したとき、前記作業ツールを介しての力覚の提示が可能な力覚提示装置へ、力覚の提示を指示する力覚指令を送信する指令処理手段、として作業支援装置に搭載されたコンピュータを機能させるための、作業支援プログラム。

【請求項12】

対象領域に配置される実物体を画像化した実画像と、取扱対象となる仮想部材と、を含み、対象領域に対応づけられた力覚空間を支援処理部が生成し、
前記力覚空間において、実物体としての作業ツールが画像化されたツール画像が前記仮想部材に接触したとき、前記作業ツールを介しての力覚の提示が可能な力覚提示装置へ、力覚の提示を指示する力覚指令を支援処理部が送信する、作業支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者の訓練等を支援する作業支援装置、作業支援システム、作業支援プログラム、及び作業支援方法に関する。

【背景技術】

【0002】

製造業、機器のメンテナンス業、医療などの現場では、熟練の作業者等と、比較的経験の浅い作業者等との間の熟練度に大きな開きがある。そのため、熟練者不足を解消すべく、従来から、未習熟の作業者の作業習熟を支援するデバイスが開発されている（例えば、特許文献１参照）。特許文献１の作業支援装置は、振動や音の強弱、あるいは矢印の態様などにより、作業の実情を作業者へ伝達し、熟練作業者の習熟度に近づけようとするものである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／２０７７３２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、実物体だけを用いた作業訓練では、実物体又はこれと組み合わせる機器等を消耗する可能性がある。また、実物体を用い、訓練を兼ねて種々の作業を行うと、品質の不十分な製品の製造や、質の伴わないメンテナンスなどに繋がるおそれがある。したがって、部材等の消耗を抑制しつつ、実在する部材を用いる場合と同様の感覚で、仮想的な部材を用いた作業訓練・作業シミュレーションを実現できる環境が望まれている。

【課題を解決するための手段】

【0005】

本発明の一態様に係る作業支援装置は、対象領域に配置される実物体を画像化した実画像と、作業での取扱対象となる仮想部材と、を含み、対象領域に対応づけられた力覚空間を生成する空間情報生成手段と、力覚空間において、実物体としての作業ツールが画像化されたツール画像が仮想部材に接触したとき、作業ツールを通じての力覚の提示が可能な力覚提示装置へ、力覚の提示を指示する力覚指令を送信する指令処理手段と、を有するものである。

【0006】

本発明の一態様に係る作業支援システムは、上記の作業支援装置と、対象領域を撮像する撮像装置と、拡張現実画像を表示する表示装置と、表示装置に表示された拡張現実画像を反射する調整ミラーと、調整ミラーにおいて反射した像を写す視認用ミラーと、を有し、作業支援装置は、対象領域を撮像した画像に仮想部材を組み込んで表示用の拡張現実画像を生成する画像生成手段をさらに有するものである。

【0007】

本発明の一態様に係る作業支援プログラムは、対象領域に配置される実物体を画像化した実画像と、取扱対象となる仮想部材と、を含み、対象領域に対応づけられた力覚空間を生成する空間情報生成手段、及び、力覚空間において、実物体としての作業ツールが画像化されたツール画像が仮想部材に接触したとき、力覚の提示を指示する力覚指令を力覚提示装置へ送信する指令処理手段、として作業支援装置に搭載されたコンピュータを機能させるためのものである。

【0008】

本発明の一態様に係る作業支援方法は、対象領域に配置される実物体を画像化した実画像と、取扱対象となる仮想部材と、を含み、対象領域に対応づけられた力覚空間を支援処理部が生成し、力覚空間において、実物体としての作業ツールが画像化されたツール画像が仮想部材に接触したとき、力覚の提示を指示する力覚指令を支援処理部が力覚提示装置へ送信するようになっている。

【発明の効果】

【0009】

本発明は、力覚空間において、作業ツールに対応するツール画像が仮想部材に接触したとき、力覚提示装置へ力覚指令を送信する。そのため、ユーザが作業ツールを操作している状況下で、ツール画像が仮想部材に接触したとき、実在する部材と同様の反力等をユーザに伝達することができる。したがって、部材等の消耗を抑制しつつ、実在する部材を使用する場合と同様の感覚で、作業訓練・作業シミュレーションを行うことのできる環境の提供が可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態１に係る作業支援システム及びその周辺構成の概要を例示した模式図である。

【図2】図１の作業支援装置の機能的構成及び周辺構成を例示したブロック図である。

【図3】本発明の実施の形態１の実施例に係り、視認用ミラーに映る拡張現実画像と現実世界とがシームレスに繋がっている様子を例示した説明図である。

【図4】本発明の実施の形態１の実施例に係る、作業対象の実物体及びその周辺を例示した斜視図である。

【図5】本発明の実施の形態１の実施例に係り、力覚提示装置及び作業対象の外観例と共に、力覚提示装置の座標系と作業対象の座標系とを例示した説明図である。

【図6】図３のように捕捉した実部材を、作業ツールによって移動させている様子を例示した説明図である。

【図7】図６の状態から、実部材が移動先の穴に差し込まれた様子を例示した説明図である。

【図8】本発明の実施の形態１の実施例に係り、作業ツールによって仮想部材を捕捉した状態を例示した説明図である。

【図9】図８のように捕捉した仮想部材を、作業ツールによって移動させている様子を例示した説明図である。

【図10】図９の状態から、仮想部材が移動先の穴に差し込まれた様子を例示した説明図である。

【図11】本発明の実施の形態１に係る作業支援方法のうち、指令処理手段による処理を中心に例示したフローチャートである。

【図12】本発明の実施の形態２における力覚空間に生成される出現領域を例示した説明図である。

【図13】本発明の実施の形態２における力覚空間に生成される、実部材対応の捕捉ガイドを例示した説明図である。

【図14】本発明の実施の形態２における力覚空間に生成される、実部材対応の裁置ガイドを例示した説明図である。

【図15】本発明の実施の形態２における力覚空間に生成される、仮想部材対応の捕捉ガイドを例示した説明図である。

【図16】本発明の実施の形態２における力覚空間に生成される、仮想部材対応の裁置ガイドを例示した説明図である。

【図17】本発明の実施の形態２に係る作業支援方法のうち、指令処理手段による処理を中心に例示したフローチャートである。

【図18】図１７の処理に紐付く、実部材又は仮想部材が捕捉される前の誘導処理を例示したフローチャートである。

【図19】図１７の処理に紐付く、実部材が穴に差し込まれる前の誘導処理を例示したフローチャートである。

【図20】図１７の処理に紐付く、仮想部材が穴に差し込まれる前の誘導処理を例示したフローチャートである。

【図21】本発明の実施の形態３に係る作業支援装置の機能的構成及び周辺構成を例示したブロック図である。

【発明を実施するための形態】

【0011】

実施の形態１．
図１～図１０に基づき、本発明の実施の形態１における作業支援システム１００及びその周辺構成について説明する。なお、各図では、煩雑化を避けるため、適宜符号の一部を省略している。まず、図１を参照し、作業支援システム１００の全体的な構成例について説明する。

【0012】

図１に示すように、作業支援システム１００は、作業支援装置１０と、ユーザの右目１Ｒに画像を提供するための撮像表示ユニット２０Ｒと、ユーザの左目１Ｌに画像を提供するための撮像表示ユニット２０Ｌと、により構成されている。作業支援装置１０は、ユーザによる作業訓練又は作業シミュレーションなどを支援するものであり、ＰＣ（Personal Computer）などにより構成される。ＰＣには、デスクトップ型ＰＣの他、ノートＰＣ、タブレットＰＣなども含まれる。

【0013】

撮像表示ユニット２０Ｒと撮像表示ユニット２０Ｌとは、同様の構成部材の組み合わせからなり、図１の例のように、これらの各構成部材は、対象領域を中心として対称的に配置される。撮像表示ユニット２０Ｒ及び撮像表示ユニット２０Ｌは、それぞれ、撮像用ミラー２１と、撮像装置２２と、表示装置２５と、調整ミラー２６と、視認用ミラー２７と、を有している。すなわち、右目用の撮像用ミラー２１と、左目用の撮像用ミラー２１とは、対象領域を中心として左右対称に配置される。また、右目用の表示装置２５、調整ミラー２６、及び視認用ミラー２７と、左目用の表示装置２５、調整ミラー２６、及び視認用ミラー２７とは、対象領域を中心として左右対称に配置される。また、

【0014】

撮像用ミラー２１は、撮像装置２２に撮像させたい領域の像を反射させ、撮像装置２２に提供するよう配置された鏡である。撮像装置２２は、例えばデジタルハイビジョンビデオカメラからなり、撮像用ミラー２１で反射した像を撮像するよう配置されている。すなわち、撮像装置２２は、撮像用ミラー２１を介して、作業対象８０を含む対象領域の画像を撮像するように配置されている。撮像装置２２は、撮像した画像の情報である実画像データを作業支援装置１０へ送信するようになっている。

【0015】

表示装置２５は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）からなり、作業支援装置１０により制御され、種々の情報を表示するものである。調整ミラー２６は、表示装置２５に表示された画像を視認用ミラー２７に向けて反射するよう配置されている。視認用ミラー２７は、調整ミラー２６において反射した像を写す全反射ミラーである。かかる構成により、表示装置２５に表示された画像が調整ミラー２６と視認用ミラー２７とで反射される。ユーザは、視認用ミラー２７を見ることにより、表示装置２５に表示された画像を間接的に視認することができる。

【0016】

作業支援システム１００は、ユーザの目線の位置を定めるための位置決め具（図示せず）を有している。ユーザは、額を位置決め具に当てる等により、右目１Ｒが撮像表示ユニット２０Ｒの視認用ミラー２７に対向し、かつ左目１Ｌが撮像表示ユニット２０Ｌの視認用ミラー２７に対向するように位置決めを行う。なお、図１では、ユーザの右目１Ｒ及び左目１Ｌを模式的に例示している。

【0017】

図１では、作業対象８０として、ユーザにより作業ツール５８を介して取り扱われる実在の部材である実部材８１と、実部材８１をもとに作られる仮想的な部材であり、作業ツール５８を介しての取扱が可能な仮想部材８２と、実部材８１及び仮想部材８２に係る作業に関連する実在の部材である関連部材８５と、を例示している。関連部材８５は、例えば、実部材８１又は仮想部材８２が取り外されたり取り付けられたりするものである。仮想部材８２は、実在するものではなく、表示装置２５に表示される拡張現実画像に含まれ、視認用ミラー２７を介して視認されるものである。そのため、作業対象８０を直接的に見た場合、ユーザ等は仮想部材８２を視認することができない。

【0018】

図１に例示する力覚提示装置５０は、本体部５１と、水平駆動部５２と、駆動機構部５３と、制御部５４と、アーム部５５と、関節部５６と、作業ツール５８と、検出処理部５９（図２参照）と、を有している。本体部５１は、力覚提示装置５０の土台となる部分である。水平駆動部５２は、本体部５１に連結されており、本体部５１を中心とした水平方向の回転が可能となっている。アーム部５５は、水平駆動部５２に連結されており、その連結箇所を中心として回動可能となっている。図１等では、１つの関節部分をもつアーム部５５を例示しているが、これに限らず、アーム部５５の構造は、作業の種類や与えたい力覚などに応じ、適宜変更するとよい。

【0019】

駆動機構部５３は、例えばモータを含んで構成され、制御部５４の指令により、水平駆動部５２、アーム部５５、及び作業ツール５８を介してユーザに、仮想部材８２に係る力覚を提示するものである。制御部５４は、作業支援装置１０との連携により、駆動機構部５３の動作を制御するものである。より具体的に、制御部５４は、支援処理部１２からの指令に応じて、あるいは自身の判定処理に基づいて駆動機構部５３を動作させる。制御部５４は、メモリなどの記憶手段と、ＣＰＵなどの演算手段とを含んで構成される。記憶手段には、演算手段の動作用のプログラムが格納される。関節部５６は、アーム部５５の先端部に作業ツール５８を連結するものである。

【0020】

作業ツール５８は、ユーザの手で操作される部材であり、実部材８１に対する作業、及び仮想部材８２に対する仮想的な作業を行うためのツールである。作業ツール５８は、関節部５６を支点とした自在な動きが可能となっている。作業ツール５８には、作業での取扱対象となる実部材８１の取扱部位、及び作業での取扱対象となる仮想部材８２の取扱部位に作用する作用部５が設けられている。取扱部位とは、作業ツール５８によって取り扱われる部位である。

【0021】

作用部５は、実部材８１又は仮想部材８２を捕捉したり、移動させたり、穴などから取り外したり、取り付けたり、他の部材と連結させたりするための構成であり、作業内容に応じて、動作内容及び先端部の構造等を変更することができる。検出処理部５９は、例えばエンコーダからなり、６軸力覚センサなどの検出手段と、検出手段によって検出した情報を電気信号として出力する出力処理手段と、を含む。

【0022】

本実施の形態１において、検出処理部５９は、作業ツール５８の先端近傍又は関節部５６などに配設され、作業ツール５８の位置及び向き（姿勢・角度）などを示すツールデータを制御部５４へ出力する。制御部５４は、検出処理部５９から出力されたツールデータを作業支援装置１０へ送信する。なお、力覚センサとは、複数の向きに作用する力やトルクの大きさを検出するセンサであり、６軸力覚センサとは、垂直な３軸方向に働く力と、各軸周りのモーメントとを検出するセンサである。

【0023】

次に、図２を参照して、作業支援装置１０の機能的構成を中心に、作業支援装置１０と力覚提示装置５０との連携処理等について説明する。図２に示すように、作業支援装置１０は、通信部１１と、支援処理部１２と、記憶部１３と、を含む。通信部１１は、撮像装置２２、表示装置２５、及び力覚提示装置５０などとの間で有線又は無線による通信を行うためのインタフェースである。通信部１１は、撮像装置２２、表示装置２５、及び力覚提示装置５０などとの間で有線又は無線による通信を行うためのインタフェースである。

【0024】

記憶部１３には、作業支援プログラム１３ｐなどの支援処理部１２の動作プログラムの他、ツールデータなどの種々の情報が記憶される。記憶部１３には、現実世界に存在する対象領域に配置される実物体の情報である実物体データ、及び仮想現実空間に存在させる仮想物体の情報である仮想物体データが、予め格納される。実物体データは、実部材８１及び関連部材８５の形状、硬さ、重さ、位置などの情報を含む。仮想物体データは、仮想部材８２の形状、硬さ、重さ、位置などの情報を含む。記憶部１３は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）、フラッシュメモリ等のＰＲＯＭ（Programmable ＲＯＭ）、ＳＳＤ（Solid State Drive）、又はＨＤＤ（Hard Disk Drive）などにより構成することができる。

【0025】

支援処理部１２は、取得処理手段１２ａと、空間情報生成手段１２ｂと、指令処理手段１２ｃと、画像生成手段１２ｄと、表示処理手段１２ｅと、を有している。取得処理手段１２ａは、通信部１１を介して、撮像装置２２から送信される実画像データを取得し、記憶部１３に記憶させる。取得処理手段１２ａは、通信部１１を介して、力覚提示装置５０からツールデータを取得し、記憶部１３に記憶させる。

【0026】

空間情報生成手段１２ｂは、対象領域に配置される実物体を画像化した実画像と、取扱対象となる仮想部材８２と、を含み、対象領域に対応づけられた仮想的な空間の情報である力覚空間を生成するものである。より具体的に、空間情報生成手段１２ｂは、実画像データから所定の実物体を抽出し、抽出した実物体に基づく三次元画像（３Ｄ画像）である実物体画像を生成する。空間情報生成手段１２ｂは、予め記憶された実物体データをもとに、実物体画像に実物体の硬さや重さ等の情報を付加してもよい。そして、空間情報生成手段１２ｂは、生成した実物体画像と、仮想物体データに基づく仮想物体の三次元画像と、を組み合わせた力覚提示用の力覚空間を生成する。空間情報生成手段１２ｂは、実物体としての作業ツール５８の三次元画像であるツール画像を、力覚空間内に、ツールデータに基づいて生成してもよく、実画像データをもとに生成してもよく、両者を用いて生成してもよい。

【0027】

空間情報生成手段１２ｂは、実画像データ内の実物体の位置変化に応じて、実物体画像の位置を変化させる。空間情報生成手段１２ｂは、指令処理手段１２ｃからの通知又は指令処理手段１２ｃによるモード切替処理に応じ、適宜、力覚空間における仮想物体を移動させる機能を有している。

【0028】

指令処理手段１２ｃは、力覚空間を監視し、実物体と仮想物体との接触や衝突などを管理する。指令処理手段１２ｃは、力覚空間において、作業ツール５８が画像化されたツール画像が仮想部材８２に接触したとき、力覚の提示を指示する力覚指令を力覚提示装置５０へ送信する。指令処理手段１２ｃは、ツール画像が仮想部材８２に接触したとき、仮想部材８２の硬さの情報を含む仮想部材データと、作業ツール５８の速度に係る情報を含むツールデータとに基づいて、作業ツール５８が受けると予測される反力を求めでもよい。仮想部材データは、仮想部材８２の表面粗さの情報を含んでいてもよい。そして、指令処理手段１２ｃは、求めた反力を示す情報を力覚指令に含めて力覚提示装置５０へ送信してもよい。

【0029】

指令処理手段１２ｃは、作業ツール５８の作用部５が実部材８１を捕捉するための実捕捉条件を満たしたとき、実捕捉条件を満たした旨の実捕捉通知を力覚提示装置５０へ送信する。力覚提示装置５０は、実捕捉通知に応じて、実部材８１を捕捉するための処理を実行する。指令処理手段１２ｃは、作業ツール５８の作用部５が仮想部材８２を捕捉するための仮想捕捉条件を満たしたとき、仮想捕捉条件を満たした旨の仮想捕捉通知を力覚提示装置５０へ送信すると共に、ツール画像の移動に合わせて仮想部材８２を移動させる追従モードに設定する。また、指令処理手段１２ｃは、作業ツール５８が仮想部材８２を捕捉している状態が解除される解除条件を満たしたとき、解除条件を満たした旨の解除通知を力覚提示装置５０へ送信すると共に、追従モードを解除して通常モードに設定する。

【0030】

指令処理手段１２ｃは、仮想捕捉条件を満たした旨の仮想捕捉通知を空間情報生成手段１２ｂ及び画像生成手段１２ｄのうちの少なくとも一方へ出力するようにしてもよい。指令処理手段１２ｃは、解除条件を満たした旨の解除通知を空間情報生成手段１２ｂ及び画像生成手段１２ｄのうちの少なくとも一方へ出力するようにしてもよい。指令処理手段１２ｃは、通常モードと追従モードとの切替処理の代わりに、上記各通知の出力処理を行ってもよい。

【0031】

画像生成手段１２ｄは、対象領域を撮像した画像、つまり実画像データに、１又は複数の仮想部材８２を組み込んで表示用の拡張現実画像を生成するものである。例えば、画像生成手段１２ｄは、仮想部材８２が作業ツール５８によって捕捉されている状態であれば（例えば追従モードに設定されていれば）、生成する拡張現実画像における仮想部材８２を作業ツール５８の移動に追従させる。

【0032】

画像生成手段１２ｄは、撮像表示ユニット２０Ｒの撮像装置２２から取得した実画像データをもとに、撮像表示ユニット２０Ｒの表示装置２５に表示させる拡張現実画像を生成する。画像生成手段１２ｄは、撮像表示ユニット２０Ｌの撮像装置２２から取得した実画像データをもとに、撮像表示ユニット２０Ｌの表示装置２５に表示させる拡張現実画像を生成する。表示処理手段１２ｅは、撮像表示ユニット２０Ｒ及び撮像表示ユニット２０Ｌのそれぞれの表示装置２５に、画像生成手段１２ｄにおいて生成された拡張現実画像を表示装置２５に表示させる。

【0033】

支援処理部１２は、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）などの演算装置と、こうした演算装置と協働して上記又は下記の各機能を実現させる作業支援プログラム１３ｐとにより構成することができる。つまり、作業支援プログラム１３ｐは、取得処理手段１２ａ、空間情報生成手段１２ｂ、指令処理手段１２ｃ、画像生成手段１２ｄ、及び表示処理手段１２ｅとして、作業支援装置１０に搭載されたコンピュータを機能させるためのものである。なお、作業支援装置１０は、例えば、キーボードと、マウス又はトラックボールなどのポインティングデバイスとにより構成される入力部を含んでいてもよい。

【0034】

＜実施例＞
次に、図３～図１０に基づき、作業支援システム１００の具体的な実施例について説明する。図３は、図1に示した状況下で、ユーザの右目１Ｒがとらえる画像を例示したものである。なお、図３には、作業ツール５８によって実部材８１を捕捉した状態（実部材８１を捕捉可能な状態）を例示している。本実施例の構成は、図１の模式図に対応しており、ユーザ（オペレータ）は、全反射鏡である視認用ミラー２７の向こう側を見ることができない。

【0035】

ただし、表示装置２５に表示され、調整ミラー２６を介して視認用ミラー２７に反射される画像と、撮像装置２２とは、光学的に共役な位置関係にあるため、視認用ミラー２７が透明なガラスであるかのような感覚で、ユーザに拡張現実画像（ＡＲ画像）を視認させることができる。つまり、表示装置２５に表示された拡張現実画像は、調整ミラー２６と視認用ミラー２７とでの反射により、システム中央のエリアに表示され、その周囲に現実世界が見える状況となる。そして、図３に示すように、視認用ミラー２７と現実世界との境界において、視認用ミラー２７に映る画像と周囲の現実世界とがシームレスに接続されるよう調整されている。ユーザは、視認用ミラー２７において、自身の手と実物体の作業オブジェクトだけでなく、仮想オブジェクトも見ることができる。

【0036】

本実施例では、作業対象８０として、図３のような構成を採用している。すなわち、作業対象８０は、円柱状のペグである実部材８１と、実部材８１と同型状のペグである仮想部材８２と、ブロック状に形成され、実部材８１又は仮想部材８２の挿入用の穴８５ｈが形成された２つの関連部材８５とにより構成されている。本実施例の実部材８１は、少なくとも上端部が磁石につく材料により形成されている。本実施例において、実部材８１の取扱部位は、その上端部であり、仮想部材８２の取扱部位も、その上端部である。もっとも、図４及び図５に例示するように、現実世界に仮想部材８２は現れない。

【0037】

本実施例で紹介する作業は、右側の関連部材８５の穴８５ｈに挿入されている実部材８１及び仮想部材８２の全てを左側の関連部材８５の穴８５に移す、というものである。本実施例で用いた２つの関連部材８１は、何れも、幅６０ｍｍ、奥行き４０ｍｍ、高さ１０ｍｍのブロックであり、直径５．５ｍｍの穴８５ｈが２０ｍｍ間隔で６つ設けられている。初期状態において、右側の関連部材８１には、３つの実部材８１と３つの仮想部材８２が刺さっている。実部材８１は、直径は５ｍｍ、長さ２０ｍｍのペグであり、仮想部材８２は、実部材８１と同サイズに設定されている。

【0038】

図５等に例示する作業ツール５０は、先端部に作用部５としての電磁石が取り付けられており、コイル５ｂに電流が流れると作用部５の捕捉部５ａに磁力が発生する。作用部５は、導線などにより制御部５４に接続されている。作用部５は、磁力が発生するオン状態のとき、捕捉部５ａに実部材８１を吸着させて捕捉することができる。また、作用部５は、実部材８１が捕捉部５ａに吸着されている状態で、オフ状態になると、捕捉部５ａから実部材８１を解放することができる。これにより、ユーザは、右側の関連部材８５の穴８５ｈに挿入された実部材８１を作業ツール５０の作用部５に吸着させ、左側の関連部材８５の穴８５ｈに挿入する、という作業を繰り返すことができる。

【0039】

また、作業支援装置１０による画像処理により、ユーザは、仮想部材８２についても視覚上、実部材８１と同様に、右側の関連部材８５から左側の関連部材８５に移すことができる。そして、作業支援装置１０は、力覚提示装置５０との連携により、仮想部材８２の移動作業時にも、実部材８１の移動作業時と同様の力覚を作業ツール５０に発生させることができる。

【0040】

ここで、本変形例における支援処理部１２の一部の機能構成について具体的に説明する。指令処理手段１２ｃは、ツールデータと、実画像データと、仮想物体データとをもとに、少なくとも関連部材８５に対応する関連部材データと、実部材８１に対応する実部材データと、仮想部材８２に対応する仮想部材データとを含む情報である力覚空間を生成する。

【0041】

より具体的に、指令処理手段１２ｃは、撮像装置２２から送信される実画像データに画像処理を施し、関連部材８５の周囲に配置された複数のマーカー９５を検出する。そして、指令処理手段１２ｃは、各マーカー９５の位置及び向きを演算する。ここで、関連部材８５と複数のマーカー９５との相対位置は固定されているため、指令処理手段１２ｃは、複数のマーカー９５の位置及び向きに基づいて、関連部材８５の位置及び向きの情報を求める。上記同様、指令処理手段１２ｃは、複数のマーカー９５の位置及び向きに基づいて、あるいは関連部材８５の位置及び向きに基づいて、実部材８１の位置及び向きの情報を求める。本実施例において、指令処理手段１２ｃは、図５に例示する対象座標系（ｘ－ｙ－ｚ）により、実部材８１及び関連部材８５のそれぞれの位置及び向きを特定する。指令処理手段１２ｃは、撮像装置２２から実画像データを随時取得し、実部材８１の移動に合わせ、リアルタイムで実部材８１の位置及び向きの情報を更新する。

【0042】

また、指令処理手段１２ｃは、力覚提示装置５０から送信されるツールデータに基づいて、作業ツール５８の特定箇所の位置及び向きの情報である特定位置データを求める。特定箇所としては、捕捉部５ａの箇所、あるいは関節部５６に対応する箇所などが想定される。ここで、力覚提示装置５０は、図５に例示する力覚座標系（ｘ’－ｙ’－ｚ’）で作業ツール５８の特定箇所の位置及び向きを管理している。そのため、指令処理手段１２ｃは、ツールデータにおける特定箇所の位置及び向きの情報に、回転や平行移動等の座標変換処理を施すことにより、対象座標系（ｘ－ｙ－ｚ）に変換した特定位置データを求める。指令処理手段１２ｃは、力覚提示装置５０からツールデータを随時取得し、作業ツール５８の移動に合わせ、リアルタイムで特定位置データを更新する。

【0043】

指令処理手段１２ｃは、ツール画像と仮想部材８２との位置関係に基づいて、作業ツール５８の作用部５が仮想部材８２を捕捉するための仮想捕捉条件を満たすか否かを判定する。指令処理手段１２ｃは、仮想捕捉条件を満たしたとき、ツール画像の移動に合わせて仮想部材８２を移動させる追従モードに設定する。指令処理手段１２ｃは、解除条件を満たしたとき、追従モードの設定を解除する。例えば、指令処理手段１２ｃは、追従フラグを立てることにより追従モードの設定を行い、追従フラグを解除することにより通常モードに切り替える。

【0044】

画像生成手段１２ｄは、追従モードに設定されている場合、生成する拡張現実画像における仮想部材８２を作業ツール５８の移動に追従させる。したがって、ユーザは、作業ツール５８によって仮想部材８２を捕捉した後、仮想部材８２の移動が終わるまで、あるいは仮想部材８２の解放を指示するまでの間、作業ツール５８の移動と共に移動する仮想部材８２を視認することができる。

【0045】

本実施例では、仮想部材８２を目的の場所へ移動させる作業を例示している。かかる作業の場合、画像生成手段１２ｄは、目的の場所の目印となる強調画像Ｋを拡張現実画像に含めてもよい。図３の例において、画像生成手段１２ｄは、仮想部材８２の移動先（目的地）となる左側の関連部材８５の穴８５ｈの近傍に配置される強調画像Ｋを含む拡張現実画像を生成するとよい。強調画像Ｋとしては、後述する図６等のように、穴８５ｈの周囲に合わせた形状など、種々の態様が考えられる。いずれにせよ、強調画像Ｋは、関連部材８５とは異なる色彩を採用する等により、視覚的に目立つようにするとよい。このように、表示処理手段１２ｅが強調画像Ｋを含む拡張現実画像を表示装置２５に表示させると、移動先の位置を強調することができるため、ユーザの作業性の向上を図ることができる。

【0046】

続いて、図３、図６～図１０、及び図１１のフローチャートを参照し、本実施の形態１の作業支援方法に係る作業支援装置１０及び力覚提示装置５０の動作について説明する。ここでは、実施例の構成を用い、支援処理部１２が随時、ツールデータに基づく特定位置データと、実画像データに基づく実部材８１及び関連部材８５それぞれの位置及び向きの情報と、仮想物体データに基づく仮想部材８２の位置及び向きの情報とを更新しているものとする。また、支援処理部１２は随時、実部材８１に対応する三次元画像と、仮想部材８２に対応する三次元画像と、作業ツール５８に対応する三次元画像であるツール画像とを含む力覚空間を更新しているものとする。以下、説明を簡略化するため、力覚空間に存在する実物体及び仮想物体の三次元画像についても、実部材８１、仮想部材８２、関連部材８５、作業ツール５８のように、そのものの名称を用いることがある。

【0047】

支援処理部１２は、力覚空間における、作業ツール５８と、実部材８１、仮想部材８２、及び関連部材８５との位置関係を監視する（ステップＳ１０１）。支援処理部１２は、実捕捉条件を満たすか、あるいは作業ツール５８が仮想部材８２に接触するまで待機する（ステップＳ１０２／Ｎｏ、ステップＳ１０６／Ｎｏ）。

【0048】

実捕捉条件は、例えば、捕捉部５ａの先端と実部材８１の上端との接触面積などを基準として設定される。接触面積を基準とする場合、接触面積が設定割合を超えたときに、実捕捉条件を満たすことになる。設定割合は任意に設定し、適宜変更することができる。例えば図３のように、実部材８１の上端面の大部分と、捕捉部ａの先端面の大部分とが重なったとき、支援処理部１２はステップＳ１０３の処理へ移行する。図３では、実捕捉条件を具備したときに強調画像Ｋが表示される動作例を示している。これにより、ユーザは、一見して移動先を把握することができる。

【0049】

支援処理部１２は、実捕捉条件を満たしたとき（ステップＳ１０２／Ｙｅｓ）、力覚提示装置５０へ捕捉指令を送信する。力覚提示装置５０の制御部５４は、捕捉指令に応じて電磁石である作用部５に電流を流し、捕捉部５ａに磁力を発生させる。これにより、実部材８１が捕捉部５ａに捕捉される。これにより、ユーザは、作業ツール５８を上方へ移動させることにより、実部材８１を穴８５ｈから抜くことができ、図６のように、作業ツール５８と共に実部材８１を移動させることができる。なお、図６では、実部材８１の移動中、強調画像Ｋが継続的に表示される例を示している（ステップＳ１０３）。

【0050】

支援処理部１２は、実部材８１に対する作業が終了となる実終了条件を満たすまで待機する（ステップＳ１０４／Ｎｏ）。実終了条件は、実部材８１が関連部材８５の指定の穴８５ｈに挿入された、という条件に設定される。

【0051】

支援処理部１２は、図７のような状態となり、実終了条件を満たしたとき（ステップＳ１０４／Ｙｅｓ）、力覚提示装置５０へ解除指令を送信する。力覚提示装置５０の制御部５４は、解除指令に応じて電磁石である作用部５への電流供給を停止し、実部材８１が捕捉部５ａから解放される。すなわち、作業ツール５８を移動させても、実部材８１が移動しない状態となる。したがって、ユーザは、次の作業に移ることができる（ステップＳ１０５）。

【0052】

支援処理部１２は、力覚空間の監視を継続し（ステップＳ１０１）、右側の関連部材８５に実部材８１が残っている限り、ステップＳ１０２～Ｓ１０５の一連の処理を、ユーザによる作業ツール５８を用いた作業に応じて実行する。例えば、支援処理部１２は、左側へ移動させた実部材８１の数を示すＮ（初期値＝０）と、左側へ移動させた仮想部材８２の数を示すＭ（初期値＝０）とを管理する機能を有していてもよい。この場合、支援処理部１２は、力覚提示装置５０へ解除指令を送信したとき（ステップＳ１０５）、Ｎをインクリメントし（ステップＳ１０６）、Ｎが作業対象の実部材８１の数であるＳに到達したか否かを判定するとよい（ステップＳ１０７）。支援処理部１２は、ＮがＳに到達していなければ（ステップＳ１０７／Ｎｏ）、ステップＳ１０１の処理へ移行し、ＮがＳに到達していれば（ステップＳ１０７／Ｙｅｓ）、Ｍが作業対象の仮想部材８２の数であるＴに到達したか否かを判定する（ステップＳ１０８）。支援処理部１２は、ＭがＴに到達していなければ（ステップＳ１０８／Ｎｏ）、ステップＳ１０１の処理へ移行し、ＭがＴに到達していれば（ステップＳ１０８／Ｙｅｓ）、作業の終了を記録する（ステップＳ１０９）。

【0053】

支援処理部１２は、作業の開始から終了までの時間を計時する機能を有していてもよく、この場合、支援処理部１２は、作業の開始から終了までの経過時間を記録するようにしてもよい。作業支援装置１０が音又は音声を報知する報知部を有する場合、支援処理部１２は、作業が終了した際（ステップＳ１０８／Ｙｅｓ）、作業の終了を示す情報を報知部に報知させてもよい。

【0054】

一方、支援処理部１２は、作業ツール５８が仮想部材８２に接触したとき（ステップＳ１１０／Ｙｅｓ）、力覚提示装置５０へ力覚指令を送信する。力覚提示装置５０の制御部５４は、力覚指令に応じて駆動機構部５３を動作させ、作業ツール５８が実部材８１に接触したときと同様の力覚を発生させる。これにより、ユーザは、作業ツール５８が実部材８１に接触したような感覚を覚える（ステップＳ１１１）。

【0055】

支援処理部１２は、仮想部材８２に接触した状態の作業ツール５８が、仮想部材８２の表面をスライドするように動作している場合、力覚指令を継続的に力覚提示装置５０へ送信するようにしてもよい。支援処理部１２は、作業ツール５８が仮想部材８２に接触した瞬間と、作業ツール５８が仮想部材８２に接触した状態でスライドしている場合とで、異なる反力データを含む力覚指令を送信してもよい。このようにすれば、より現実に近い力覚を、力覚提示装置５０を介してユーザに提示することができる。

【0056】

支援処理部１２は、作業ツール５８の作用部５が仮想部材８２を捕捉するための仮想捕捉条件を満たすか否かを判定する（ステップＳ１１２）。仮想捕捉条件は、例えば、捕捉部５ａの先端面と仮想部材８２の上端面との仮想的な接触面積などを基準として設定される。支援処理部１２は、力覚空間におけるツール画像と仮想部材８２の三次元画像とに基づいて、仮想的な接触面積を演算する。判定基準の閾値となる設定割合は、実捕捉条件と同様に設定され、適宜変更することができる。例えば図８のような状態が、仮想捕捉条件を満たした状態に相当する。図８では、仮想捕捉条件を具備したときに強調画像Ｋが表示される動作例を示している。

【0057】

支援処理部１２は、仮想捕捉条件を満たさずに、作業ツール５８が仮想部材８２から離れた場合（ステップＳ１１２／Ｎｏ）、ステップＳ１０１の処理へ移行する。一方、支援処理部１２は、仮想捕捉条件を満たしたとき（ステップＳ１１２／Ｙｅｓ）、作業ツール５８の移動に合わせて仮想部材８２を移動させる追従モードに設定する。このとき、支援処理部１２は、力覚提示装置５０に捕捉通知を送信し、力覚提示装置５０の報知部（図示せず）から音又は音声を報知させるようにしてもよい。なお、仮想部材８２の捕捉に磁力は必要ないため、制御部５４は、作用部５のオフ状態を継続する。支援処理部１２は、追従モードにおいて、拡張現実画像における仮想部材８２を作業ツール５８の移動に追従させる。より具体的に、支援処理部１２は、ユーザが図８のような状態から作業ツール５８を上方へ移動させると、図９のように、視認用ミラー２７に映る仮想部材８２が作業ツール５８と共に移動するように拡張現実画像を生成する。支援処理部１２は、力覚空間における仮想部材８２も作業ツール５８と共に移動させる。なお、図９では、仮想部材８２の移動中、強調画像Ｋが継続的に表示される例を示している（ステップＳ１１３）。

【0058】

なお、作業ツール５８が仮想部材８２に接触すると同時に仮想捕捉条件を満たした場合（ステップＳ１１０／Ｙｅｓ、ステップＳ１１２／Ｙｅｓ）、支援処理部１２は、力覚指令を力覚提示装置５０へ送信すると共に、追従モードに設定する。

【0059】

支援処理部１２は、解除条件を満たすまで追従モードの状態を維持し（ステップＳ１１４／Ｎｏ）、解除条件を満たしたとき（ステップＳ１１４／Ｙｅｓ）、解除条件を満たした旨の解除通知を力覚提示装置５０へ送信すると共に追従モードを解除する（ステップＳ１１５）。

【0060】

支援処理部１２は、力覚空間の監視を継続し（ステップＳ１０１）、右側の関連部材８５に仮想部材８２が残っている限り、ステップＳ１１０～Ｓ１１５の一連の処理を、ユーザによる作業ツール５８を用いた作業に応じて実行する。すなわち、例えば支援処理部１２は、追従モードを解除したとき（ステップＳ１１５）、Ｍをインクリメントし（ステップＳ１１６）、ステップ１０７の処理へ移行する。

【0061】

上記の動作説明は、図１１に示すステップ番号の順に説明したが、各工程の順序は、作業支援方法の趣旨を逸脱しない範囲で変更することができる。本実施例では、実部材８１が３つ（Ｓ＝３）で、仮想部材８２も３つ（Ｔ＝３）の場合を例示したが、これらはあくまでも例示である。つまり、実部材８１の数と仮想部材８２の数とは異なっていてもよく、実部材８１は、２つ以下又は４つ以上であってもよく、仮想部材８２は、１つ、２つ、又は４つ以上であってもよい。なお、支援処理部１２は、上述した種々の条件を満たしたときに、該条件の具備を示す音又は音声を報知部に報知させてもよい。

【0062】

以上のように、本実施の形態１における作業支援装置１０は、力覚空間において、作業ツール５８に対応するツール画像が仮想部材８２に接触したとき、力覚の提示を指示する力覚指令を力覚提示装置５０へ送信する。そのため、ユーザが作業ツール５８を操作している状況下で、ツール画像が仮想部材８２に接触したとき、実在する部材と同様の反力等をユーザに伝達することができる。したがって、部材等の消耗を抑制しつつ、実在する部材を使用する場合と同様の感覚で、作業訓練・作業シミュレーションを行うことのできる環境の提供が可能となる。

【0063】

すなわち、ある製品等について、全ての部品が揃っていない状況下であっても、作業支援装置１０及び作業支援システム１００によれば、仮想部材８２で部品を代用することにより、早期のタスク訓練を行うことができる。また、製品の部品等の設計段階であっても、作業支援装置１０及び作業支援システム１００によれば、部品等の代用として仮想部材８２を用いることにより、例えば、製品の組み立てやすさや、メンテナンスのしやすさ等を確認しつつ、適宜設計変更することが可能となる。

【0064】

また、作業支援装置１０は、対象領域を撮像した画像に仮想部材８２を組み込んで表示用の拡張現実画像を生成する画像生成手段１２ｅを有している。そのため、画像生成手段１２ｅが生成した画像を撮像表示ユニット２０Ｒ及び撮像表示ユニット２０Ｌに適用することにより、視認用ミラー２７に映る画像と周囲の現実世界とがシームレスに接続された視認環境を提供することができる。よって、ユーザは、円滑な作業を実施することができる。

【0065】

ところで、実施例の構成により、ペグインホールタスクを複数人に実行してもらった結果、取扱対象が実部材８１であっても、仮想部材８２であっても、オペレーターがこれらを区別なく取り扱えることが確認できた。具体的な実験は、実物体と仮想物体とが混在する環境下で、右側のブロック（関連部材８５）の６つのペグ（実部材８１・仮想部材８２）を所定の順序で左側のブロック（関連部材８５）へ移す作業により行った。その際、１つ目のペグを吸着してから６つ目のペグの挿入が完了するまでの経過時間を、ペグごとの吸着から挿入までの時間（個別時間）と共に計時した。複数人による複数回の実験結果によると、実部材８１のペグの個別時間と、仮想部材８２のペグの個別時間とにほとんど差がないことを確認できた。このことから、実部材８１と仮想部材８２との双方が、高解像度の立体画像によって正しい位置に提示され、オペレーターがそれらの位置と姿勢を正確に認識していることがわかる。すなわち、実部材８１と仮想部材８２に対する作業のしやすさは、ほぼ同じであると推認される。

【0066】

したがって、本実施の形態１の作業支援システム１００を用いれば、仮想物体を用いた作業訓練及び作業シミュレーションを、実物体を用いた場合と同様に行うことができる。そして、作業訓練又は作業シミュレーションのときの力覚と、実物体を用いて作業を行うときの力覚とが同程度となるよう調整されているため、実際の作業への移行も円滑に行うことができる。

【0067】

画像生成手段１２ｅは、捕捉条件を満たしてから解除条件を満たすまでの間、生成する拡張現実画像における仮想部材８２を作業ツール５８の移動に追従させる。すなわち、拡張現実画像では、作業ツール５８によって捕捉された仮想部材８２が、実部材８１が捕捉された場合と同様に移動するため、ユーザは、視覚上、仮想部材８２を実部材８１と同様に移動させることができる。

【0068】

画像生成手段１２ｅは、実捕捉条件を満たしたとき、実部材８１の移動先に強調画像Ｋを表示させるようにしてもよい。同様に、画像生成手段１２ｅは、仮想捕捉条件を満たしたとき、仮想部材８２の移動先に強調画像Ｋを表示させるようにしてもよい。このようにすれば、実部材８１又は仮想部材８２を捕捉したタイミングで、移動先の位置を一見して把握することができるため、ユーザの作業性の向上を図ることができる。

【0069】

作業支援システム１００は、右目用に設けられる撮像用ミラー２１、撮像装置２２、表示装置２５、調整ミラー２６、及び視認用ミラー２７と、左目用に設けられる撮像用ミラー２１、撮像装置２２、表示装置２５、調整ミラー２６、及び視認用ミラー２７と、を有している。そして、右目用の表示装置２５、調整ミラー２６、及び視認用ミラー２７と、左目用の表示装置２５、調整ミラー２６、及び視認用ミラー２７とは、対象領域を中心として左右対称に配置されている。右目用の撮像用ミラー２１及び撮像装置２２の光軸と、左目用の撮像用ミラー２１及び撮像装置２２の光軸とも、対象領域を中心として左右対称に配置されている。すなわち、作業支援システム１００は、ＡＲ技術に基づく両眼立体映像提示ディスプレイシステムを採用することにより、画像の奥行きをリアルに表現することができるため、ユーザの操作性を高めることができる。もっとも、作業支援システム１００は、撮像用ミラー２１と、撮像装置２２と、表示装置２５と、調整ミラー２６と、視認用ミラー２７とを、１つずつ有する構成を採ってもよいが、ユーザの視認性の観点からは、右目用と左目用とを別々に設ける方が好ましい。

【0070】

実施の形態２．
図１２～図２０を参照して、本発明の実施の形態２に係る作業支援装置及び作業支援システムの構成例及び動作例について説明する。作業支援システム及びその周辺構成は、図１～図１０に例示する実施の形態１の構成と同様であるため、同等の構成部材については同一の符号を用いて重複する説明は省略する。

【0071】

本実施の形態２における空間情報生成手段１２ｂは、実部材８１の取扱部位、及び仮想部材８２の取扱部位のうちの少なくとも一方に対応づけて、作業ツール５８の作用部５を当該取扱部位に誘導するためのガイドを力覚空間に生成するようになっている。また、空間情報生成手段１２ｂは、実部材８１の移動先、及び仮想部材８２の移動先のうちの少なくとも一方に対応づけて、作業ツール５８の作用部５を当該移動先に誘導するためのガイドを力覚空間に生成するようになっている。そして、指令処理手段１２は、作用部５がガイドの内側に入ると、ガイドの外側への作用部５の移動に制限を加えるための誘導指令を力覚提示装置５８へ送信するようになっている。

【0072】

図１２～図１６を参照し、本実施の形態２のガイドに関する構成について具体的に説明する。図１２～図１６は、力覚空間の各部材を例示した説明図である。図１２に例示するように、空間情報生成手段１２ｂは、取扱対象の実部材８１又は仮想部材８２の端部から一定の長さ延伸させた柱状の出現領域Ｅを力覚空間に生成する。出現領域Ｅは、後述する捕捉ガイドＧ１又は捕捉ガイドＧ２を出現させる契機となるものである。また、空間情報生成手段１２ｂは、力覚空間における、実部材８１又は仮想部材８２の挿入対象となる穴８５ｈの延長線上に、柱状の出現領域Ｆを生成する。出現領域Ｆは、後述する裁置ガイドＨ１又は裁置ガイドＨ２を出現させる契機となるものである。図１２には、円柱状の出現領域Ｅ及び出現領域Ｆを例示したが、出現領域Ｅ及び出現領域Ｆの形状としては、角柱状など、種々の形状を採用することができる。

【0073】

空間情報生成手段１２ｂは、捕捉部５ａが実部材８１に紐付く出現領域Ｅと交わったとき、図１３の例のように、実部材８１の取扱部位に向けて先細りとなるように形成された漏斗状の捕捉ガイドＧ１を生成して力覚空間に出現させる。本実施の形態２において、捕捉ガイドＧ１は、捕捉部５ａが出現領域Ｅと交わると、捕捉部５ａが必然的に内側に入るよう形成されている。そして、指令処理手段１２ｃは、捕捉ガイドＧ１の外側への捕捉部５ａの移動に制限を加えるための誘導指令を力覚提示装置５８へ送信する。

【0074】

空間情報生成手段１２ｂは、捕捉部５ａが実部材８１に紐付く出現領域Ｆと交わったとき、図１４の例のように、移動先である穴８５ｈに向けて先細りとなるように形成された漏斗状の裁置ガイドＨ１を生成して力覚空間に出現させる。本実施の形態２において、裁置ガイドＨ１は、捕捉部５ａが出現領域Ｆと交わると、捕捉部５ａが必然的に内側に入るよう形成されている。そして、指令処理手段１２ｃは、裁置ガイドＨ１の外側への捕捉部５ａの移動に制限を加えるための誘導指令を力覚提示装置５８へ送信する。

【0075】

空間情報生成手段１２ｂは、捕捉部５ａが仮想部材８２に紐付く出現領域Ｅと交わったとき、図１５の例のように、仮想部材８２の取扱部位に向けて先細りとなるように形成された漏斗状の捕捉ガイドＧ２を生成して力覚空間に出現させる。本実施の形態２において、捕捉ガイドＧ２は、捕捉部５ａが出現領域Ｅと交わると、捕捉部５ａが必然的に内側に入るよう形成されている。そして、指令処理手段１２ｃは、捕捉ガイドＧ２の外側への捕捉部５ａの移動に制限を加えるための誘導指令を力覚提示装置５８へ送信する。

【0076】

空間情報生成手段１２ｂは、捕捉部５ａが仮想部材８２に紐付く出現領域Ｆと交わったとき、図１６の例のように、移動先である穴８５ｈに向けて先細りとなるように形成された漏斗状の裁置ガイドＨ２を生成して力覚空間に出現させる。本実施の形態２において、裁置ガイドＨ２は、捕捉部５ａが出現領域Ｆと交わると、捕捉部５ａが必然的に内側に入るよう形成されている。そして、指令処理手段１２ｃは、裁置ガイドＨ２の外側への捕捉部５ａの移動に制限を加えるための誘導指令を力覚提示装置５８へ送信する。なお、各出現領域及び各ガイドの形状、位置、及びサイズを示す情報は、記憶部１３に格納されている。

【0077】

次いで、図１７～図２０のフローチャートを参照し、本実施の形態２の作業支援方法に係る作業支援装置１０及び力覚提示装置５０の動作について説明する。図１１の各工程と同様の工程については同一のステップ番号を付し、重複する説明は省略又は簡略化する。支援処理部１２は、力覚空間に、出現領域Ｅ及び出現領域Ｆを生成しているものとする。もっとも、支援処理部１２は、実部材８１又は仮想部材８２が捕捉された以降の任意のタイミングで出現領域Ｆを生成してもよい。

【0078】

支援処理部１２は、力覚空間を監視し（ステップＳ１０１）、捕捉部５ａが、実部材８１もしくは仮想部材８２に紐付く出現領域Ｅと交わるまで待機する（ステップＳ２０１／Ｎｏ、ステップＳ２０４／Ｎｏ）。支援処理部１２は、捕捉部５ａが実部材８１に紐付く出現領域Ｅと交わると（ステップＳ２０１／Ｙｅｓ）、捕捉ガイドＧ１を出現させる（ステップＳ２０２）。そして、支援処理部１２は、例えば、捕捉ガイドＧ１の位置、形状、及び大きさを示すガイド情報を含む誘導指令を力覚提示装置５８へ送信する。力覚提示装置５８は、該誘導指令に応じて、捕捉ガイドＧ１の外郭の外側に、捕捉部５ａが現状以上に移動しないよう、作業ツール５８の動きに制限をかける。したがって、捕捉部５ａの下端部は、必然的に実部材８１の先端部に当接する（ステップＳ２０３）。すなわち、支援処理部１２は、ステップＳ１０２の処理へ移行する。

【0079】

支援処理部１２は、捕捉部５ａが仮想部材８２に紐付く出現領域Ｅと交わると（ステップＳ２０４／Ｙｅｓ）、捕捉ガイドＧ２を出現させる（ステップＳ２０５）。そして、支援処理部１２は、例えば、捕捉ガイドＧ２の位置、形状、及び大きさを示すガイド情報を含む誘導指令を力覚提示装置５８へ送信する。力覚提示装置５８は、該誘導指令に応じて、捕捉ガイドＧ２の外郭の外側に、捕捉部５ａが現状以上に移動しないよう、作業ツール５８の動きに制限をかける。したがって、捕捉部５ａの下端部は、必然的に仮想部材８２の先端部に当接する状態となる（ステップＳ２０６）。すなわち、支援処理部１２は、ステップＳ１１２の処理へ移行する。

【0080】

ステップＳ１０３の処理を経て待機した後（ステップＳ３０１／Ｎｏ）、支援処理部１２は、捕捉部５ａが、実部材８１に対応する穴８５ｈに紐付く出現領域Ｆと交わると（ステップＳ３０１／Ｙｅｓ）、裁置ガイドＨ１を出現させる（ステップＳ３０２）。そして、支援処理部１２は、例えば、裁置ガイドＨ１の位置、形状、及び大きさを示すガイド情報を含む誘導指令を力覚提示装置５８へ送信する。力覚提示装置５８は、該誘導指令に応じて、裁置ガイドＨ１の外郭の外側に、捕捉部５ａが現状以上に移動しないよう、作業ツール５８の動きに制限をかける。したがって、実部材８１の下端部は、必然的に穴８５ｈの位置に収束し、挿入される（ステップＳ３０３）。

【0081】

ステップＳ１１３の処理を経て待機した後（ステップＳ４０１／Ｎｏ）、支援処理部１２は、捕捉部５ａが、仮想部材８２に対応する穴８５ｈに紐付く出現領域Ｆと交わると（ステップＳ４０１／Ｙｅｓ）、裁置ガイドＨ２を出現させる（ステップＳ４０２）。そして、支援処理部１２は、例えば、裁置ガイドＨ２の位置、形状、及び大きさを示すガイド情報を含む誘導指令を力覚提示装置５８へ送信する。力覚提示装置５８は、該誘導指令に応じて、裁置ガイドＨ２の外郭の外側に、捕捉部５ａが現状以上に移動しないよう、作業ツール５８の動きに制限をかける。したがって、仮想部材８２の下端部は、必然的に穴８５ｈの位置に収束し、挿入された状態となる（ステップＳ４０３）。

【0082】

ところで、各図では、捕捉ガイドＧ１及び裁置ガイドＨ１が四角錐状又は四角錐台状に形成される例を示したが、これに限定されない。例えば、捕捉ガイドＧ１及び裁置ガイドＨ１は、他の角錐状または角錐台状に形成されてもよく、円錐状または円錐台状に形成されてもよい。また、各図では、捕捉ガイドＧ２及び裁置ガイドＨ２が円錐状又は円錐台状に形成される例を示したが、これに限定されない。例えば、捕捉ガイドＧ２及び裁置ガイドＨ２は、角錐状または角錐台状に形成されてもよい。上記の説明では、捕捉部５ａが出現領域と交わったとき、対応するガイドの内側に必然的に入る例を示したが、これに限定されない。捕捉部５ａが出現領域と交わったとき、指令処理手段１２ｃもしくは制御部５４が、対応するガイドの内側に捕捉部５ａを移動させるための処理を行ってもよい。出現領域Ｅ及び出現領域Ｆの位置、形状、及び大きさは、図１２の例に限定されない。出現領域Ｅ及び出現領域Ｆは、各ガイドとの関係で適切な位置、形状、及び大きさとなるように調整するとよい。他の構成、代替構成、及び動作内容は、実施の形態１及び２と同様である。

【0083】

以上のように、本実施の形態２における作業支援装置１０は、力覚空間において、作業ツール５８に対応するツール画像が仮想部材８２に接触したとき、力覚の提示を指示する力覚指令を力覚提示装置５０へ送信する。そのため、ユーザが作業ツール５８を操作している状況下で、ツール画像が仮想部材８２に接触したとき、実在する部材と同様の反力等をユーザに伝達することができる。よって、部材等の消耗を抑制しつつ、実在する部材を使用する場合と同様の感覚で、作業訓練・作業シミュレーションを行うことのできる環境の提供が可能となる。

【0084】

また、本実施の形態２における空間情報生成手段１２ｂは、実部材８１及び仮想部材８２の取扱部位のそれぞれに対応づけて、作業ツール５８の作用部５を当該取扱部位に誘導するためのガイドを力覚空間に生成する。そして、指令処理手段１２は、ガイドの外側への作用部５の移動に制限を加えるための誘導指令を力覚提示装置５８へ送信する。よって、力覚提示装置５８による動作誘導により、作用部５が実部材８１又は仮想部材８２を必然的に捕捉する状態となるため、ユーザの作業容易性を高めると共に、作業効率の向上を図ることができる。

【0085】

また、空間情報生成手段１２ｂは、実部材８１の移動先、及び仮想部材８２の移動先のそれぞれに対応づけて、作業ツール５８の作用部５を当該移動先に誘導するためのガイドを力覚空間に生成する。そして、指令処理手段１２は、ガイドの外側への作用部５の移動に制限を加えるための誘導指令を力覚提示装置５８へ送信する。よって、力覚提示装置５８による動作誘導により、関連部材８５における移動目的の箇所に、実部材８１又は仮想部材８２を裁置することができるため、ユーザの作業容易性を高めると共に、作業効率の向上を図ることができる。

【0086】

上記の通り、本実施の形態２の作業支援装置１０及び作業支援システム１００によれば、作業対象が仮想物体であるか、実物体であるかの区別なく、ユーザの好適な動作を誘導することができるため、ユーザビリティーの向上を図ることができる。上記の例では、空間情報生成手段１２ｂが、捕捉ガイドＧ１、捕捉ガイドＧ２、裁置ガイドＨ１、及び裁置ガイドＨ２の全てを生成する例を示したが、これに限定されない。例えば、空間情報生成手段１２ｂは、これら全てのうちの任意の３つ、２つ、又は１つを生成してもよい。指令処理手段１２ｃは、空間情報生成手段１２ｂによって生成されたガイドに係る誘導指令を力覚提示装置５８へ送信するとよい。他の効果等については、前述した実施の形態１と同様である。

【0087】

ところで、上記の説明では、各ガイドの出現の契機となる出現領域が生成される例を示したが、これに限定されない。支援処理部１２は、出現領域の代わりに、各ガイドをそのまま用いてもよい。つまり、支援処理部１２は、捕捉部５ａが各ガイドと交わったときに、該ガイドに係る誘導指令を力覚提示装置５８へ送信してもよい。なお、上記説明では、各ガイドが拡張現実画像に表示されない前提となっているが、支援処理部１２は、例えば、機能を発揮しているガイドについては、強調画像Ｋと同様、拡張現実画像に表示させてもよい。

【0088】

実施の形態３．
図２１に基づき、本発明の実施の形態３に係る作業支援システム２００の構成例及び動作例について説明する。作業支援システム及びその周辺構成は、図１～図１０に例示する実施の形態１の構成と同様であるため、同等の構成部材については同一の符号を用いて重複する説明については省略する。

【0089】

本実施の形態３の作業支援システム２００は、上述した作業支援装置１０と同様の構成をもつ作業支援装置１０Ａ及び作業支援装置１０Ｂを有している。作業支援装置１０Ａは、撮像表示ユニット２０Ｒに紐付けられており、作業支援装置１０Ｂは、撮像表示ユニット２０Ｌに紐付けられている。作業支援装置１０Ａの画像生成手段１２ｄは、撮像表示ユニット２０Ｒの撮像装置２２から取得した実画像データをもとに、撮像表示ユニット２０Ｒの表示装置２５に表示させる拡張現実画像を生成する。作業支援装置１０Ｂの画像生成手段１２ｄは、撮像表示ユニット２０Ｌの撮像装置２２から取得した実画像データをもとに、撮像表示ユニット２０Ｌの表示装置２５に表示させる拡張現実画像を生成する。

【0090】

図２０では、作業支援装置１０Ａがシステム全体を統括的に制御する例を示しており、作業支援装置１０Ａと作業支援装置１０Ｂとは通信可能に接続されている。作業支援装置１０Ａは、空間情報生成手段１２ｂと、指令処理手段１２ｃと、を有しており、力覚提示装置５０との間で有線又は無線による通信を行うようになっている。もっとも、統括制御を行う作業支援装置は、撮像表示ユニット２０Ｌに紐付けられてもよい。作業支援システム２００は、力覚提示装置５０を含むものであってよく、含まないものであってもよい。他の構成、代替構成、及び動作内容は、実施の形態１及び２と同様である。つまり、実施の形態２の構成についても、本実施の形態３の構成に適用することができる。

【0091】

以上のように、本実施の形態２における作業支援システム２００は、力覚空間において、作業ツール５８に対応するツール画像が仮想部材８２に接触したとき、力覚の提示を指示する力覚指令を力覚提示装置５０へ送信する。そのため、ユーザが作業ツール５８を操作している状況下で、ツール画像が仮想部材８２に接触したとき、実在する部材と同様の反力等をユーザに伝達することができる。よって、部材等の消耗を抑制しつつ、実在する部材を使用する場合と同様の感覚で、作業訓練・作業シミュレーションを行うことのできる環境の提供が可能となる。

【0092】

また、作業支援システム１００は、撮像表示ユニット２０Ｒに係る画像処理と、撮像表示ユニット２０Ｌに係る画像処理とを、別々の作業支援装置が行うように構成されている。よって、各画像処理の迅速化を図ることができることから、現実世界の各部材の動きに対する、拡張現実画像の各部材の動きの遅延を抑制することができるため、ユーザの違和感を低減させ、作業性の向上を図ることができる。他の効果等については、上述した実施の形態１及び２と同様である。

【0093】

ここで、上述した各実施の形態は、作業支援装置、作業支援システム、作業支援プログラム、及び作業支援方法における具体例であり、本発明の技術的範囲は、これらの態様に限定されるものではない。例えば、上記の各実施の形態では、作業支援システム１００及び２００が撮像用ミラー２１を有する例を示したが、これに限らず、作業支援システム１００及び２００は、撮像用ミラー２１を設けず、撮像装置２２が対象領域を直接的に撮像するよう構成してもよい。この場合、支援処理部１２は、撮像装置２２から送信される実画像データに座標変換処理を施して、表示装置２５への表示用の拡張現実画像及び力覚空間を生成するようにしてもよい。

【0094】

上記の各実施の形態で例示した実部材８１、仮想部材８２、及び関連部材８５の構造及びサイズは、あくまでも例示であり、各部材の構造及びサイズの他、作業対象８０における部材の組み合わせについても、適宜変更することができる。上記の実施例では、電磁石のオンオフにより実部材８１の捕捉と解放を行う例を示したが、実部材８１を捕捉する手法は、これに限定されない。例えば、作業ツール５８が物体を把持する作用部５を有する場合、所定位置に到達した捕捉部５ａが、実部材８１を把持して捕捉するようにしてもよい。この場合、仮想部材８２の捕捉に関しては、実部材８１を把持するときと同様に、捕捉部５ａを動作させ、力覚を提示するとよい。

【0095】

上記の実施例では、実部材８１又は仮想部材８２が所定位置に到達したとき、操作ツール５８によって自動的に捕捉される場合について説明したが、これに限定されない。実部材８１又は仮想部材８２が所定位置に到達し、ユーザによるキー操作などを受け付けたときに、作用部５が実部材８１又は仮想部材８２を捕捉するようにしてもよい。この場合、ユーザによるキー操作などによって、実捕捉条件又は仮想捕捉条件を満たすことになる。ユーザが捕捉を指示するための操作手段は、操作ツール５８に設けられてもよく、作業支援装置１０（１０Ａ・１０Ｂ）に設けられてもよく、作業支援装置１０（１０Ａ・１０Ｂ）又は力覚提示装置５０と通信可能な別の機器に設けられてもよい。

【0096】

実部材８１、仮想部材８２、及び関連部材８５の形状、構造、及び大きさは、作業の内容によって変更される。操作ツール５８の形状及び大きさは、実部材８１及び仮想部材８２と、作業の内容に応じて変更される。例えば、仮想部材８２がネジやボルト等に基づく場合、操作ツール５８の作用部５は、ドライバー状又はラチェットレンチ状のものとなる。そして、作業支援装置１０（１０Ａ）は、操作ツール５８の回転動作に応じた力覚を、力覚提示装置５０を通じてユーザに提示することになる。

【0097】

力覚提示装置５０は、制御部５４を設けずに構成し、支援処理部１２が種々の判定処理の後、駆動機構部５３を直接的に制御し、力覚を提示するようにしてもよい。この場合、駆動機構部５３は、支援処理部１２からの力覚指令及び誘導指令などの指令に応じて動作する。作業支援システム１００及び２００は、支援処理部１２が力覚提示装置５０に力覚空間の情報を随時送信するよう構成してもよい。この場合、力覚提示装置５０の制御部５４が、支援処理部１２の指令処理手段１２ｃが行う種々の判定処理を行った上で、操作ツール５８を介してのユーザへの力覚の提示を行うようにしてもよい。

【符号の説明】

【0098】

５ 作用部、５ａ 捕捉部、５ｂ コイル、１０ 作業支援装置、１１ 通信部、１２ 支援処理部、１２ａ 取得処理手段、１２ｂ 空間情報生成手段、１２ｃ 指令処理手段、１２ｄ 画像生成手段、１２ｅ 表示処理手段、１３ 記憶部、１３ｐ 作業支援プログラム、２０Ｒ、２０Ｌ 撮像表示ユニット、２１ 撮像用ミラー、２２ 撮像装置、２５ 表示装置、２６ 調整ミラー、２７ 視認用ミラー、５０ 力覚提示装置、５１ 本体部、５２ 水平駆動部、５３ 駆動機構部、５４ 制御部、５５ アーム部、５６ 関節部、５８ 作業ツール、５９ 検出処理部、８０ 作業対象、８１ 実部材、８２ 仮想部材、８５ 関連部材、８５ｈ 穴、９５ マーカー、１００、２００ 作業支援システム、Ｅ、Ｆ 出現領域、Ｇ１、Ｇ２ 捕捉ガイド、Ｈ１、Ｈ２ 裁置ガイド。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】