特許 7117182 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-03

(45)【発行日】2022-08-12

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G09B 9/00 20060101AFI20220804BHJP

   G06F 30/10 20200101ALI20220804BHJP

   G06T 19/00 20110101ALI20220804BHJP

【ＦＩ】

G09B9/00 Z

G06F30/10

G06T19/00 C

【請求項の数】 6

(21)【出願番号】P 2018133490

(22)【出願日】2018-07-13

(65)【公開番号】P2020012897

(43)【公開日】2020-01-23

【審査請求日】2021-04-08

(73)【特許権者】

【識別番号】000221096

【氏名又は名称】東芝システムテクノロジー株式会社

(74)【代理人】

【識別番号】100112003

【弁理士】

【氏名又は名称】星野 裕司

(74)【代理人】

【識別番号】100145344

【弁理士】

【氏名又は名称】渡辺 和徳

(74)【代理人】

【識別番号】100177312

【弁理士】

【氏名又は名称】辰己 雄一

(72)【発明者】

【氏名】平野 茂

(72)【発明者】

【氏名】滝沢 功

【審査官】宮本 昭彦

(56)【参考文献】

【文献】特開平１１－０５３５８５（ＪＰ，Ａ）

【文献】特開２０００－０９９７６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３１４７０４（ＵＳ，Ａ１）

【文献】村上 和也，力覚を伴うウェアラブルＡＲシステム，映像情報メディア学会技術報告，日本，一般社団法人 映像情報メディア学会，2012年06月19日，Vol.36 No.25，第119～124頁，ISSN 1342-6893

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００ － ９／５６

Ｇ０９Ｂ １７／００ － １９／２６

Ｇ０６Ｆ ３０／１０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

仮想表示される機器に部品を組み付ける教育・訓練のための情報処理装置であって、
前記機器の三次元データに組付基準位置が付加された機器データを格納する手段と、
前記機器に組み付ける部品本体の三次元データと、前記組付基準位置に対応して設けられ、前記部品本体の外側に付加され一定の空間領域の組付判定用三次元データとを有する組付部品データを格納する手段と、
前記組付基準位置と前記組付判定用三次元データとを用いて、前記機器に組み付ける部品が前記機器に正しく実装されたか否かを判定する手段と、
を備えたことを特徴とする情報処理装置。

【請求項2】

前記組付部品データは、一の部品本体の三次元データに対して、二以上の組付判定用三次元データが付加されていることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記機器の三次元データを表示装置に表示すると共に、前記組付部品データのうち、前記部品本体の三次元データのみを前記表示装置に表示する仮想データ表示手段を備えたことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記機器に組み付ける部品と前記機器との衝突を検知する手段と、
衝突を検知した場合は、衝突を検知した時刻、衝突位置、当該部品の識別情報、作業開始からの時間情報を保存する手段と、
を備えたことを特徴とする請求項１乃至３のいずれかに記載の情報処理装置。

【請求項5】

仮想表示される機器に部品を組み付ける教育・訓練のための情報処理装置であって、
前記機器の三次元データに組付基準位置が付加された機器データを格納する手段と、
前記機器に組み付ける部品本体の三次元データと、前記組付基準位置に対応して設けられ、前記部品本体の外側に付加され一定の空間領域の組付判定用三次元データとを有する組付部品データを格納する手段と、
二つの空間領域の干渉を検知する干渉検知手段を備え、
前記干渉検知手段は、前記機器の三次元データと前記部品本体の三次元データとを用いて部品組付作業時の機器と部品との干渉を検知して、機器と部品とが衝突あるいは接触したと判定する一方、
前記機器データの前記組付基準位置と、当該基準位置に対応して設けられた前記組付判定用三次元データとの干渉を検知して、部品が機器に正しく実装されたと判定することを特徴とする情報処理装置。

【請求項6】

仮想表示される機器に部品を組み付ける教育・訓練のための情報処理装置であって、前記機器の三次元データに組付基準位置が付加された機器データを格納する手段と、前記機器に組み付ける部品本体の三次元データと、前記組付基準位置に対応して設けられ、前記部品本体の外側に付加され一定の空間領域の組付判定用三次元データとを有する組付部品データを格納する手段とを有する情報処理装置上で動作するコンピュータ実行可能なプログラムであって、
前記機器データの前記組付基準位置と前記組付部品データの前記組付判定用三次元データとを用いて、前記機器に組み付ける部品が前記機器に正しく実装されたか否かを判定する処理を実行することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ（Virtual Reality，仮想現実）、ＡＲ（Augmented Reality，拡張現実）、あるいはＭＲ（Mixed Reality, 複合現実）の技術を用いてユーザが効率的に機器の組み立て作業を習得することのできる教育、訓練用の情報処理装置に関する。

【背景技術】

【0002】

従来、機器の組み立て作業の教育、訓練用のシステムが提案されている。
例えば、特許文献１では、ベテラン作業員の体に複数の反射マーカを付して作業を撮影し、反射マーカによる反射光より反射マーカの位置の三次元座標からベテラン作業者の３Ｄモデルを生成し、これを標準データとして登録しておく。そして、訓練対象者の作業データを同様に取得して、標準データと訓練対象者の作業データとの差異が閾値以上であると判定された場合は、その差異に応じて、作業の修正に関する指示画像を生成して作業者が装着している表示装置の表示部に表示するというものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６２２４８７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、機器に部品を組み付ける作業において、都度ベテラン作業者の作業時の歩行動線を採取して標準データとして登録するのは煩雑である。一方、作業の標準データを採取しない場合、三次元仮想空間上で部品や機器が衝突（干渉）すること無く適切に組み付けられたか否かを如何に判定するかが問題になる。

【0005】

本発明はかかる従来の事情に対処してなされたものであり、適正に組み付け作業が実行されたか否かを簡便に判定することができ、作業者に対して機器への部品の組付作業を効果的に教育、訓練することのできる情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本開示に係わる情報処理装置においては、
仮想表示される機器に部品を組み付ける教育・訓練のための情報処理装置であって、
前記機器の三次元データに組付基準位置が付加された機器データを格納する手段と、
前記機器に組み付ける部品本体の三次元データと、前記組付基準位置に対応して設けられ、前記部品本体の外側に付加され一定の空間領域の組付判定用三次元データとを有する組付部品データを格納する手段と、
前記組付基準位置と前記組付判定用三次元データとを用いて、前記機器に組み付ける部品（組付部品）が前記機器に正しく実装されたか否かを判定する手段と、
を備えたことを特徴とする。

【0007】

ここで、仮想表示される機器は、その全部が仮想表示される場合の他、一部が仮想表示される場合も含む。たとえば、機器の外枠である筐体は実物であり、仮想表示される部品の組付のたびに当該組み付けられた部品を備える機器データが筐体に重ね合わされて仮想表示されるような場合も含む。また、組付基準位置は、点，線分のほか，立体の位置を含む趣旨である。

【0008】

好ましくは、一の組付部品本体三次元データに対して、二以上（より好ましくは、３以上）の組付判定用三次元データを付加するのが望ましい。これにより機器に対する部品の組付方向が適正か否かも精度よく判定することができる。

【0009】

また、仮想データ表示手段は、機器の三次元データを表示装置に表示すると共に、組付部品データのうち、部品本体の三次元データのみを表示する。これにより、作業者には実際の組付部品と同一形態として認識させることができる。好ましくは、機器の組付基準位置や組付判定用三次元データのディスプレイへの表示／非表示は設定可能にするのが良い。これにより、作業初心者は部品をどこへ取り付けるべきかを容易に把握することができる。

【0010】

本開示の情報処理装置は、組付部品と機器との衝突を検知する手段（干渉検知手段）と、衝突を検知した場合は、衝突位置、組付部品の識別情報、および作業開始からの時間情報を保存する手段（部品衝突情報記憶部）と、を備えたことを特徴とする。

【0011】

また本開示に係わる情報処理装置は、仮想表示される機器に部品を組み付ける教育・訓練のための情報処理装置であって、
前記機器の三次元データに組付基準位置が付加された機器データを格納する手段と、
前記機器に組み付ける部品本体の三次元データと、前記組付基準位置に対応して設けられ、前記部品本体の外側に付加され一定の空間領域の組付判定用三次元データとを有する組付部品データを格納する手段と、
二つの空間領域の干渉を検知する干渉検知手段を備え、
前記干渉検知手段は、前記機器の三次元データと前記部品本体の三次元データとを用いて部品組付作業時の機器と部品との干渉を検知して、機器と部品とが衝突あるいは接触したと判定する一方、
前記機器データの前記組付基準位置と、当該基準位置に対応して設けられた前記組付判定用三次元データとの干渉を検知して、部品が機器に正しく実装されたと判定することを特徴とする。

【0012】

ここで、空間領域は空間位置を含む趣旨である。なお、機器や組付部品本体の三次元データは三次元メッシュデータであってもよく、また組付判定用三次元データは、特定の形状（例えば、立方体や円柱など）の三次元データを用いることができる。

【0013】

本開示では、機器と部品との衝突・接触を検知する干渉検知手段を用いて、部品が機器へ正しく実装されたことも検知するので、当該手段（プログラム）の共通化を図ることができる。なお、干渉検知手段は、従来技術を用いて実現することができる。たとえば、特開平09-311883号あるいは米国Unity Technologies社の物理衝突のためのオブジェクト形状を定義するコライダーコンポーネントを３Ｄオブジェクト（モデル）に設定して衝突判定を行うことができる。

【0014】

好ましくは、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）を用いて、実空間内に実寸大の機器や組付部品を仮想的に表示し、カメラや各種センサ（位置センサや距離センサなど）により作業者の手指や視線などの動きを検知し、これらの動きに連動して、機器や組付部品を表示・移動させるようにするのが良い。これにより実機を用いた教育、訓練と同様の臨場感のある教育、訓練が可能となる。

【発明の効果】

【0015】

本発明の情報処理装置においては、適正に組み付け作業が実行されたか否かを簡便に判定することができ、機器への部品の組付作業を効果的に教育、訓練することが可能となる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施の形態による情報処理装置の機能ブロック図である。

【図2】本発明の実施の形態における組付部品の選択・表示方法の一例を示す説明図である。

【図3】図１の情報処理装置１を用いて行う作業手順の説明図である。

【図4】図４の干渉検知手段の処理手順の一例を示すフローチャートである。

【図5】図１の機器３Ｄモデル情報記憶部のデータ構成例の説明図である。

【図6】図１の組付部品３Ｄモデル情報記憶部のデータ構成例の説明図である。

【図7】図５、図６の組付位置と判定用３Ｄデータの対応関係の説明図である。

【図8】図１の３Ｄモデル空間座標比較部の処理手順の一例を示すフローチャートである。

【図9】組付部品と機器本体との干渉状態（不正衝突状態）の説明図である。

【図10】組付部品の判定用３Ｄデータと機器本体の組付位置座標との干渉状態（正常組付状態）の説明図である。

【図11】仮想表示手段の手順を示すフローチャートである。

【図12】図１の他の実施例による機器３Ｄモデル情報記憶部のデータ構成例の説明図である。

【図13】図１の他の実施例による組付部品３Ｄモデル情報記憶部のデータ構成例の説明図である。

【図14】他の実施例による、組付部品の判定用３Ｄデータと機器本体の判定用３Ｄデータとの干渉状態（正常組付状態）の説明図である。

【図15】図１の作業手順記憶部のデータ構成例の説明図である。

【発明を実施するための形態】

【0017】

以下に本発明に係る情報処理装置の実施の形態を図面を参照しながら説明する。
本情報処理装置１は、教育・訓練対象の機器や組付部品を仮想表示するヘッドマウントディスプレイ装置（ＨＭＤ）を用いて実現することができる。

【0018】

図１において、本実施の形態は、ヘッドマウントに内蔵されたカメラ、センサ等の入力装置やディスプレイ（表示装置）、およびコンピュータ装置から構成されている。コンピュータ装置は、データを記憶する記憶部（メモリ）やデータの演算処理を実行する演算処理を実行する演算処理部を備えている。コンピュータ装置は、ＨＭＤに備え付けられていても良いし、通信手段を介して外部のコンピュータ装置と接続された形態であっても良い。

【0019】

（情報処理装置の構成）
次に、図１に基いて情報処理装置１の構成について詳述する。
情報処理装置１は、カメラからの映像信号を入力する映像情報入力部２、位置センサや赤外線距離センサなどを種々のセンサからの情報を入力するセンサ情報入力部３、これら映像情報入力部２、センサ情報入力部３から受け取る信号を用いてデータ処理を実行したり、データを記憶するコンピュータ装置４、および図示しないディスプレイ（表示装置）を備えている。この情報処理装置１は、ユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）を用いて実現することができる。

【0020】

コンピュータ装置４の記憶部は、仮想表示される作業対象の機器の三次元データ等を格納する機器３Ｄモデル情報記憶部２１、機器に組み付ける部品に関する情報を格納する組付部品３Ｄモデル情報記憶部２２、機器への部品組付時に不正な衝突が生じた場合にそのときの発生時刻や衝突箇所などを格納する部品衝突情報記憶部２３、作業時間や作業内容などを格納する作業時間記憶部２４、および作業単位ごとに、作業で使用する部品に関する情報を保存する作業手順記憶部２５を有している。

【0021】

また、コンピュータ装置４の演算処理部は、自位置（ＨＭＤを装着したユーザの位置）を計算する自位置（座標）計算部１１、仮想表示される機器の空間座標を自位置を基準として計算する機器空間座標計算部１２、自位置を基準として所定の実物までの位置を検出する位置識別情報取得部１３、所定の実物の形態や動きに応じて表示される組付対象の部品の空間座標を自位置を基準として計算する組付部品空間座標計算部１４、機器，組付部品の空間座標をもとに機器と組付部品の衝突の発生や正しく組み付けられたか否かを判定する３Ｄモデル空間座標比較部１５、機器および組付部品を表示装置上に仮想表示する機器３Ｄモデル表示部１６，組付部品３Ｄモデル表示部１７、および作業単位ごと作業に要した時間を計測する作業時間計測部１８を備えている。各要素１１～１８は、ＣＰＵの機能としてコンピュータプログラムによって実現することができる。

【0022】

本実施の形態は、作業手順にそって、仮想表示される機器へ部品を組み付けるものである。部品を仮想表示する方法の一例として作業者がマーカを表示したボードを保持し、ＨＭＤ１がボード上のマーカを認識することにより、当該マーカ上に組付部品を仮想表示することができる。このとき、マーカは組付部品に応じて異なるマーカを用いても良いし、図２に示すように同一マーカに対して、選択された組付対象の部品を割り付けて表示させるようにしても良い。図２においては、まずＨＭＤ１に仮想表示された部品選択画面において、マーカの読込みを選択すると（ａ１）、位置識別情報取得部１３が当該マーカを認識し（ａ２）、自位置からの相対座標を演算する。そして、部品選択画面において組付対象の部品を選択すると（ａ３）、組付部品空間座標計算部１４は、選択された部品の３Ｄデータをもとに当該マーカ位置になるように当該部品の空間座標を計算し、組付部品３Ｄモデル表示部１７を介して、ＨＭＤ１のディスプレイに表示する（ａ４）。マーカには、部品の装着方向を示すようなコードを含めておき、装着する向きに組込部品が表示されるようにしておくのが好ましい。なお、組付部品の表示方法は、マーカ認識に限らず、例えば、手指の特定の動作や視線等により表示させるようにしても良い。

【0023】

次に上記の構成を有する情報処理装置１を用いて行う作業手順について図３を用いて説明する。

【0024】

まず、作業者は作業手順記憶部２５に登録されている作業手順データの中から所望の作業を選択する。すると、自位置（座標）計算部１１、機器空間座標計算部１２、機器３Ｄモデル表示部１６により、作業対象の機器（機器本体）がディスプレイに表示される（Ｓ１）。

【0025】

次に、作業者は機器本体に組み付ける部品を選択（Ｓ２，Ｓ３）し、位置識別情報取得部１３により手に保持したマーカの認識を行う（Ｓ４）。これにより、組付部品空間座標計算部１４、組付部品３Ｄモデル表示部１７は、上述した手順によってマーカ上に部品を表示する（Ｓ５）。このとき、当該部品の組付作業の開始時刻が作業手順記憶部２５に保存される。

【0026】

次に作業者は、部品を操作するためマーカの移動や回転を行う（Ｓ６）。すると、位置識別情報取得部１３、組付部品空間座標計算部１４は、手に保持したマーカに合わせて部品を移動、回転させる（Ｓ７）、組付部品３Ｄモデル表示部１７を通してディスプレイに表示する。

【0027】

このように、部品が機器本体の組み付け位置に移動すると（Ｓ８）、３Ｄモデル空間座標比較部１５は、部品が正しい組付位置に移動したか否かを判定する（Ｓ９）。この結果、正しい組付位置に移動した場合は、３Ｄモデル空間座標比較部１５は、組付部品３Ｄモデル表示部１７を介して部品と組付位置を強調表示する（Ｓ１０）。また、作業時間計測部１８により、実作業時間や作業内容（作業ＮＯ．）を作業時間記憶部２４に保存する。
このときあらかじめ設定された手順により組付操作を行う場合は（Ｓ１１で「ＹＥＳ」）、部品の組み付きアニメーションを開始し、部品が機器に組み付く様子を表示する（Ｓ１２，Ｓ１３）。

【0028】

一方、ステップＳ１１で組付操作を行わないときは、ステップＳ６に戻り以降の処理を繰り返す。また、ステップＳ９で、部品が正しい組付位置にない場合は、３Ｄモデル空間座標比較部１５は、干渉検知手段１５ａを起動して間違った箇所への当たり判定を行う（Ｓ１５）。次に、図４を用いて干渉検知手段１５ａの処理手順を説明する。

【0029】

干渉検知手段１５ａは起動されると、機器の組付け箇所以外の場所に部品が当たったか否かを判定し（Ｓ２１）、ＹＥＳの場合は、機器３Ｄモデル表示部１６，組付部品３Ｄ表示モデル表示部１７を介して、機器本体と部品が衝突したことを示す衝突表示をする（Ｓ２２）。そして、衝突発生時刻，衝突箇所，部品の種類（組付部品ＩＤ），衝突発生時の作業内容（作業ＮＯ．）等の情報を部品衝突情報記憶部２３にログ出力する（Ｓ２３）。
その後、作業者によって部品の操作が行われることにより（Ｓ２４）、機器と部品が離れると（Ｓ２５で「ＹＥＳ」）、３Ｄモデル空間座標比較部１５は、部品の衝突表示を解除する（Ｓ２６）。

【0030】

上記の作業手順において、特に３Ｄモデル空間座標比較部１５の実行する処理である部品が正しい組付位置に移動したか否かを判定する処理（ステップＳ９の処理）と、間違った箇所への当たり判定（ステップＳ１５の処理）が重要になるので、以下、これらの処理について詳述する。

【0031】

まず、図５に示すように、機器３Ｄモデル情報記憶部２１には、機器ＩＤごとに、当該機器を構成する部品ＩＤ、当該部品ＩＤの３Ｄメッシュデータ、機器における部品の取り付け位置、組付位置情報、不正衝突フラグ、組付状態フラグを互いに関連付けて機器の基本データとして格納する。ここで、部品ＩＤは、組付対象の部品に限らず、任意に分割された機器の構成要素ごとに割り付けられる。例えば機器本体を構成する要素についても部品ＩＤを割り付けることができる。この場合は、不正衝突フラグや組付状態フラグは無効扱いとなる。

【0032】

組付位置情報としては、組付対象の部品ＩＤ、組付位置ＩＤおよびこれに関連付けて部品の基準位置に対する組付位置の相対座標を保存する。

【0033】

機器３Ｄモデル情報記憶部２１には、この他、自位置（座標）計算部１１、機器空間座標計算部１２によって計算される、システム起動時の位置座標、向き、傾きからの相対変位量が逐次リアルタイムで保存される。

【0034】

また、組付部品３Ｄモデル情報記憶部２２には、図６に示すように、組付対象の部品ごとに、当該部品ＩＤと組付判定用データが格納される。組付判定用データは、組付位置ＩＤごとに、正常に組み付けられたか否かを判定するための３Ｄデータ（判定用３Ｄデータ）が格納される。判定用３Ｄデータは、例えば円柱形状や立方体形状など任意の立体形状にすることができ、当該部品の外形の外側表面に付着されるように作成される。

【0035】

組付部品３Ｄモデル情報記憶部２２に保存される部品ＩＤと組付位置ＩＤは、機器３Ｄモデル情報記憶部２１に保存される部品ＩＤと組付位置ＩＤにそれぞれ対応している。

【0036】

図７に機器本体の組付位置と組付部品の判定用３Ｄデータの対応関係を示す。図７において、符合Ａは機器本体、符合Ｂは組付部品を示す。また、符合Ａ１，Ａ２は、組付部品Ｂの組付位置を示す。また符合Ｂ１，Ｂ２は、それぞれ組付位置Ａ１，Ａ２に対応して設けられた判定用３Ｄデータの領域を示す。

【0037】

図８は、３Ｄモデル空間座標比較部１５の処理手順を示すフローチャートである。
３Ｄモデル空間座標比較部１５はリアルタイムに周期的に起動されると、すべての組付対象部品について以下の処理を実行する（Ｓ１０１ａ、Ｓ１０１ｂ）。

【0038】

まず対象の組付部品について組付状態フラグがセットされているか否かを判定し（Ｓ１０２）、セットされている場合は次の組付対象部品の処理に移る。ステップＳ１０２で組付状態フラグがセットされていない場合は、機器本体の３Ｄデータと、組付部品本体の３Ｄデータを抽出して（Ｓ１０３，Ｓ１０４）、干渉検知手段１５ａを起動する（Ｓ１０５）。干渉検知手段１５ａは、２つの空間領域が干渉（衝突）しているか否かを判定する手段であり、その処理内容は図４に記載したとおりであるが、より具体的には、例えば特開平09-311883号の技術あるいは米国Unity Technologies社の物理衝突のためのオブジェクト形状を定義するコライダーコンポーネントを３Ｄオブジェクト（モデル）に設定して衝突判定を行うことができる。

【0039】

ステップＳ１０５の処理において、干渉ありと判定された場合は（Ｓ１０６で「ＹＥＳ」）、不正衝突フラグをセットする（Ｓ１０８）。この処理は、たとえば図９に示すように、機器本体Ａと、組付部品Ｂの空間領域が干渉していることを検出するものである。なお、不正衝突があった事実は、作業ＮＯ．，組付部品ＩＤ，衝突発生時刻，衝突箇所（座標情報）として、部品衝突情報記憶部２３に履歴保存される。

【0040】

ステップＳ１０６の処理の結果、干渉無しの判定の場合は（Ｓ１０６で「ＮＯ」）、不正衝突フラグをクリアする（Ｓ１０７）。続いて、当該組付対象部品の全ての組付位置ＩＤについて次の処理を実行する（Ｓ１０９ａ、Ｓ１０９ｂ）。まず、組付位置情報と、組付部品の判定用３Ｄデータを抽出して（Ｓ１１０、Ｓ１１１）、干渉検知手段１５ａを起動する（Ｓ１１２）。ステップＳ１１２の処理において干渉無しと判定された場合は（Ｓ１１３で「ＮＯ」）、次の組付対象部品に移行し、干渉ありと判定された場合は（Ｓ１１３で「ＹＥＳ」）、当該組付対象部品の次の組付位置ＩＤに移行する。

【0041】

ステップＳ１０９ａ～Ｓ１０９ｂの処理において、全ての組付位置ＩＤについて干渉ありの判定がなされた場合は、当該組付対象部品の組付状態フラグをセットする（Ｓ１１４）。この処理は、たとえば図１０（Ｂ）に示すように、組付部品Ｂの判定用３Ｄデータが対応する機器本体の組付位置座標と干渉していることを検出するものである。そして、組付部品Ｂの全ての判定用３Ｄデータが対応する機器本体の組付位置座標と干渉している場合は、正常に組み付けられたとして組付状態フラグがセットされるのである。

【0042】

次に、仮想表示手段の手順について図１１に基いて説明する。仮想表示手段は本実施の形態では、機器３Ｄモデル表示部１６の機能として設けることができるが、これに限らず組付部品３Ｄモデル表示部１７との共通機能として設けるようにしてもよい。

【0043】

仮想表示手段は起動されると、機器３Ｄモデル情報記憶部２１にアクセスして、作業対象の部品ＩＤの組付状態フラグを抽出する（Ｓ２０１）。そして、組付状態フラグがセットされている場合、すなわち組付完了の場合は（Ｓ２０２で「ＹＥＳ」）、３Ｄメッシュデータを用いて組付部品装着後の機器を表示する（Ｓ２０３）。なお、組付部品の表示は、当該組付部品のＩＤ（識別情報）に関連付けられた３Ｄメッシュデータにより行われるが、このとき、当該組付部品の判定用３Ｄデータについては表示しない。組み付ける側と組み付けられる側の組付位置を合わせておくとにより、図１０（ｃ）に示すように、組付部品が部品本体に装着された形態として表示させることができる。なお、予め、組付部品が装着された機器本体３Ｄデータを別に保存しておき、当該データに置き換えて表示させるようにしても良い。例えば、組付部品が装着される様子を表す画像（動画）を表示することができる。

【0044】

一方、ステップＳ２０２において、組付完了で無い場合は、衝突フラグがセットされているか否かを判定し（Ｓ２０４）、セットされている場合は、衝突表示を行うと共に衝突箇所や発生時刻等の情報を部品衝突情報記憶部２３へ保存する（Ｓ２０５）。衝突表示としては、組付部品を振動させたり、衝突箇所を識別表示したり、あるいは衝突音を出力させるようにしても良い。

【0045】

［他の実施例］
上述した各記憶部２１～２５のデータ構成は、図１２，図１３，図１５に示すように種々変形して実現することができる。
以下、上述したデータ構成との違いを説明する。

【0046】

（３Ｄメッシュデータの管理方法）
図５に示す機器３Ｄモデル情報記憶部２１では、機器本体とそれに組み付ける一または二以上の組付部品によって機器データを構成し、各組付部品は、組付部品ごとの基準位置からの座標で３Ｄメッシュデータを構成した。また、これに伴い、組付部品の取り付け位置として、機器本体の基準位置に対する組付部品の基準位置の相対座標を保存するものである。

【0047】

これに対して、本実施例による機器３Ｄモデル情報記憶部２１は、図１２に示すように、機器を構成する各組付部品の３Ｄメッシュデータは、機器本体の基準位置からの座標で表される。このため、取り付け位置のデータ管理は不要となる。一方、組付部品３Ｄモデル情報記憶部２２には、図６に示したデータに加え、図１３に示すように組付部品ごとに夫々の基準位置からの座標で表した組付部品の３Ｄメッシュデータを保存する。

【0048】

これにより、機器３Ｄモデル表示部１６は、専ら機器３Ｄモデル情報記憶部２１のデータを用いてディスプレイに機器を表示することができ、また組付部品３Ｄモデル表示部１７は、専ら組付部品３Ｄモデル情報記憶部２２のデータを用いて、組付部品を表示することができるので、両手段１６，１７の処理を単純化することが可能になる。

【0049】

（判定用３Ｄデータ）
図５，図６では、正常組付完了の判定を行うための立体（判定用３Ｄデータ）を、組付部品の外側表面に設けると共に、これに対応する機器本体側の組付位置を座標点として設けた場合について示した。これに対して、本実施例では、図１２，図１３に示すように、正常組付完了の判定を行うための立体（判定用３Ｄデータ）を、組付部品（組み付ける側）の外側表面、および機器本体（組み付けられる側）の外側表面の両方に互いに対応させて設けるようにしても良い。この場合は、組付部品３Ｄモデル表示部１７と同様に、機器３Ｄモデル表示部１６についても機器を表示する際、判定用３Ｄデータについては表示しないことは言うまでもない。なお、作業者のレベルに応じて、これら判定用３Ｄデータをディスプレイに表示するか否かをコンピュータ装置４に設定可能にするようにしても良い。なお、判定用３Ｄデータを表示する場合は、機器本体や組付部品本体とは識別可能に表示するのが好ましい。これにより、作業初心者は、どの位置を合わせれば良いのかを容易に視認することができる。

【0050】

本実施例では、機器本体側と組付部品側の両方に判定用３Ｄデータを持たせるので、干渉検知手段１５ａは、図１４（ａ），（ｂ）に示すように、機器本体Ａの外形外側に付加された判定用の立体Ａ１と，組付部品Ｂの外形外側に付加された判定用の立体Ｂ１が干渉したか否かを判定し、同様に対応する判定用の立体Ａ２，Ｂ２についても干渉したか否かを判定する。そして、作業対象の組付部品の全ての組付位置ＩＤの判定用立体が干渉した場合は、機器３Ｄモデル表示部１６は、機器３Ｄモデル情報記憶部２１の３Ｄメッシュデータを用いて、当該組付部品が組み付けられた状態の機器をディスプレイに表示する（図１４（ｃ））。

【0051】

（不正衝突フラグ、組付状態フラグの管理）
図５では、不正衝突フラグ、組付状態フラグを、部品ごとに機器３Ｄモデル情報記憶部２１に保存するようにしたが、これらのフラグは図１５に示すように作業手順記憶部２５に保存するようにしても良い。なお、作業手順記憶部２５の不正衝突フラグはリアルタイムに更新し、このフラグ状態によりディスプレイに衝突発生表示を行い、当該不正衝突フラグとは別に、不正衝突があった事実を示す履歴情報（衝突発生時刻，衝突箇所，作業ＮＯ．，組付部品ＩＤ、作業者ＩＤ等）を部品衝突情報記憶部２３に保存するのが望ましい。

【0052】

なお、作業手順記憶部２５では、部品を組み付ける順番ごとに（作業ＮＯ．）が付されている。このため、機器３Ｄモデル表示部１６は、作業手順記憶部２５を作業ＮＯ．順に組付状態フラグがセットされているか否かを検索する。そして、組付状態フラグがセットされている場合は機器３Ｄモデル情報記憶部２１の３Ｄメッシュデータを用いて、当該組付部品が組み付けられた状態の機器をディスプレイに表示する。これにより、常に外側に位置する部品が表示されるので効率の良い表示が可能になる。なお、部品が隠れる位置に後から装着するような場合は、作業の順番とは別に表示の順番を保持し、機器３Ｄモデル情報記憶部２１は表示の順番に従って組付状態フラグの状態を判別し、その判別結果に基いて表示処理を行うようにしても良い。

【0053】

以上、本実施の形態によれば、組付対象の部品が正常に組み付けられたか否かを判定するためのデータを当該部品の外側に立体領域（判定用３Ｄデータ）として持たせ、当該立体領域と、対応する組付位置座標との干渉、あるいは対応する立体領域同士の干渉を検知することにより組付完了の判定を行うので、適正に組み付け作業が行なわれたか否かを簡便に判定することができる。また、組付部品と機器本体との衝突検知の処理と共通ルーチン化することにより、メモリのプログラム領域の削減を図ることができる。

【0054】

本発明は、上述した実施の形態に限定されることなく、その要旨を逸脱しない範囲で種々変形して実現することができる。例えば各実施の形態で説明したコンピュータ装置４の機能、すなわち各手段１１～１８、２１～２５は、夫々単独あるいは任意の組み合わせで各実施の形態を跨って適用することができる。

【符号の説明】

【0055】

１ 情報処理装置（ＨＭＤ）
２ 映像情報入力部
３ センサ情報入力部
４ コンピュータ装置
１１ 自位置（座標）計算部
１２ 機器空間座標計算部
１３ 位置識別情報取得部
１４ 組付部品空間座標計算部
１５ ３Ｄモデル空間座標比較部
１５ａ 干渉検知手段
１６ 機器３Ｄモデル表示部
１７ 組付部品３Ｄモデル表示部
１８ 作業時間計測部
２１ 機器３Ｄモデル情報記憶部
２２ 組付部品３Ｄモデル情報記憶部
２３ 部品衝突情報記憶部
２４ 作業時間記憶部
２５ 作業手順記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】