特開 2024-71251 ＡＲ表示の作業シナリオ作成システム及びＡＲ表示の作業シナリオ作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024071251

(43)【公開日】2024-05-24

(54)【発明の名称】ＡＲ表示の作業シナリオ作成システム及びＡＲ表示の作業シナリオ作成方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240517BHJP

   G06F 3/0484 20220101ALI20240517BHJP

【ＦＩ】

G06T19/00 600

G06F3/0484

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022182093

(22)【出願日】2022-11-14

(71)【出願人】

【識別番号】302061130

【氏名又は名称】東芝ＩＴサービス株式会社

(74)【代理人】

【識別番号】110000235

【氏名又は名称】弁理士法人 天城国際特許事務所

(72)【発明者】

【氏名】尾形 克彦

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050EA07

5B050EA12

5B050EA19

5B050FA02

5E555AA07

5E555AA43

5E555AA63

5E555AA64

5E555AA76

5E555AA79

5E555BA38

5E555BA70

5E555BB38

5E555BC08

5E555BC17

5E555BE17

5E555CA24

5E555CB02

5E555DA08

5E555DA09

5E555DB41

5E555DB53

5E555DD02

5E555DD04

5E555DD06

5E555EA07

5E555EA08

5E555FA00

(57)【要約】

【課題】手作業による場合には、配置作業で複雑な構造の機器を対象とする場合や作業手順が多い作業シナリオの作成に、時間がかかるという課題があった。
【解決手段】作業の対象となる現実の対象機器およびＡＲ表示の作業シナリオに従って実施する作業を時系列として示す作業手順書から、前記対象機器の三次元構造データおよび仮想オブジェクトのＡＲ表示データを関連づけて作業シナリオを作成するＡＲ表示の作業シナリオ作成システム。
【選択図】図７

【特許請求の範囲】

【請求項1】

作業の対象となる現実の対象機器およびＡＲ表示の作業シナリオに従って実施する作業を時系列として示す作業手順書から、
前記対象機器の三次元構造データおよび仮想オブジェクトのＡＲ表示データを関連づけて作業シナリオを作成するＡＲ表示の作業シナリオ作成システム。

【請求項2】

前記対象機器の操作部位の部位タグに割り当てられた識別名称を、前記仮想オブジェクトの、オブジェクトタグに割り当てられた識別名称に関連付けて、前記作業シナリオを作成する請求項１記載のＡＲ表示の作業シナリオ作成システム。

【請求項3】

作業の対象となる現実の対象機器の機器形状データおよびＡＲ表示の作業シナリオに従って実施する作業を時系列として示す作業手順書に対して前記機器形状データとして三次元構造データを用いて、修正作業手順書を作成する前処理部と、
前記対象機器の表面上の部位と向きを算出する部位位置向き算出部と、仮想オブジェクトの位置座標と位置に合わせて前記仮想オブジェクトの表示座標と向きを決定してＡＲ表示仮想表示オブジェクトを作成し、ＡＲ表示の作業シナリオを作成する、作業シナリオ作成部と、
を有するＡＲ表示の作業シナリオ作成システム。

【請求項4】

前記前処理部は、
前記対象機器の三次元の機器形状データを入力する機器形状データ入力部と、
ＡＲ表示の作業シナリオに従って実施する作業を時系列として示す作業手順書を入力する作業手順書入力部と、
ＡＲ表示データを入力するＡＲ表示データ入力部と、
修正機器形状データを作成する修正機器形状データ作成部と、
前記作業手順書から修正作業手順書を作成する修正作業手順書作成部と、
を有する請求項３記載のＡＲ表示の作業シナリオ作成システム。

【請求項5】

前記作業シナリオ作成部は、
修正機器形状データを入力される修正機器形状データ入力部と、
修正作業手順書を入力される修正作業手順書入力部と、
ＡＲ表示データを入力されるＡＲ表示データ入力部と、
作業部位の位置座標と向きを算出する部位位置座標向き算出部と、
ＡＲ表示の仮想オブジェクトを作成するＡＲ表示仮想オブジェクト作成部と、
から成る請求項３記載のＡＲ表示の作業シナリオ作成システム。

【請求項6】

作業の対象となる現実の対象機器およびＡＲ表示の作業シナリオに従って実施する作業を時系列として示す作業手順書から、
前記対象機器の三次元構造データおよび仮想表示用ツールのＡＲ表示データを関連づけて作業シナリオを作成するＡＲ表示の作業シナリオ作成方法。

【請求項7】

前記対象機器の操作部位の部位タグに関連付けられた識別名称を、前記仮想オブジェクトの、オブジェクトタグに割り当てられた識別名称に関連付けて、作業シナリオを作成する請求項６記載のＡＲ表示の作業シナリオ作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、ＡＲ（拡張現実）表示の作業シナリオ作成システム及びＡＲ表示の作業シナリオ作成方法に関する。

【背景技術】

【0002】

作業の対象となる現実の対象機器の視覚情報に作業手順書に従う作業内容を重ね合わせて表示する、拡張現実（ＡＲ）の装置が開発されている。この作業シナリオを作成するにあたって、現在知られているシステムでは、作業シナリオの各ステップにおいて、ＡＲとして表示する仮想オブジェクトの配置をシナリオの作成者が手動で、行っている。

【0003】

例えば、特許文献１には、ユーザが一般的なＡＲコンテンツ作成プログラムをインタラクティブに操作して、ＡＲコンテンツを編集するオーサリング方法が記載されている。

【0004】

上述の方法によれば作業シナリオを作成する場合も、作成者が視界に見える作業対象となる対象機器に、仮想の視覚情報であるＡＲ表示が合成された映像を見ながら仮想オブジェクトの位置を調整することにより行う。

【0005】

この仮想オブジェクトの位置決めは、仮想オブジェクトと手指をカメラの視界に入れ仮想オブジェクトを視界の中で掴んで動かす操作により移動させるハンドトラッキング技術を用いて行われている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１２－１６８７９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述のような手動によるＡＲ表示の配置では、仮想オブジェクトの位置座標の精度は、ハンドトラッキングの精度に依存するので座標値を細かく制御できず、本来表示したい位置と実際に表示される位置との間にずれが生じやすくなる。したがって、作業対象部位の近くに類似の別の部位があったりすると、配置作業が複雑な構造の機器を対象とする場合や作業手順が多い作業シナリオの作成に、時間がかかるという課題が生ずる。

【課題を解決するための手段】

【0008】

上記した課題を解決するために、実施形態のＡＲ表示の作業シナリオ作成システムは、作業の対象となる現実の対象機器およびＡＲ表示の作業シナリオに従って実施する作業を時系列として示す作業手順書から、前記対象機器の三次元構造データおよび仮想オブジェクトのＡＲ表示データを関連づけて作業シナリオを作成する。

【図面の簡単な説明】

【0009】

【図1】一実施形態のＡＲ表示の作業シナリオの使い方を示す図である。

【図2】一実施形態であるＡＲ表示の作業シナリオ作成システムの全体構成を示す図である。

【図3】図２に示した、ＡＲ表示の作業シナリオ作成システムの前処理部の機能構成図である。

【図4】この作業シナリオ作成システムの操作対象機器と入力系データ、出力系データおよび識別名称を用いる場合に得られるデータなどを示す図である。

【図5】一実施形態の前処理のフローチャートを示す図である。

【図6】一実施形態の作業シナリオ作成部の機能構成図である。

【図7】図６に示す構成による動作の概要を示す図である。

【図8】一実施形態の作業シナリオ作成部の動作のフローチャートを示す図である。

【図9】一実施形態の前処理における座標計算を説明するための図である。

【発明を実施するための形態】

【0010】

（実施形態１）
一実施形態の具体的な説明の前に、ＡＲ表示の作業シナリオの使い方を図１により説明する。
図１は、ドライバでネジを外す作業を指示する作業シナリオの使い方を示した例である。

【0011】

作業者が作業を実施するに際して、当該作業に関する情報は通常、ウェアラブルデバイスや携帯端末、例えばグラス型の表示装置１１上に視覚的に提示される形態でなされる。

【0012】

このとき、表示装置１１が光学シースルータイプであれば、作業対象となる実際の対象機器１２の視覚情報は、現実の視界のまま作業者が認識する一方、仮想表示用ツールが作業者に提示する情報、例えば仮想ドライバ１３は現実の視覚情報に重ね合わせる形で表示装置１１に表示される。その結果、現実の視覚情報と仮想の視覚情報が合成され、表示例１４のような拡張現実として表示され、作業内容に関する手順書として提示される。

【0013】

作業手順書の情報は、各作業ステップにおいて作業対象機器のどの部位に対して何を行うかの情報を提示する。本出願においてＡＲ表示の作業シナリオとは、作業手順書の情報をＡＲとしての表現で処理する一連の情報である。どの部位であるかを示すために各作業ステップにおいて機器の該当する位置にＡＲで作業内容を示すアイコン等の情報を重ね合わせて表示する。現実の視覚情報に作業内容を指示するＡＲ情報が合成されて表示される。

【0014】

シナリオ作成者は作業ステップ毎にどの位置に何をＡＲ表示するかを定義する。それからそれらの一連の情報を時系列に並べてまとめたものを作業シナリオとする。

【0015】

近年、機器の形状を３Ｄ ＣＡＤを用いて設定することが一般的となっている。本出願はそのような作業対象機器の三次元構造を表す設計データと作業手順を組み合わせて作業手順に記述された作業内容から作業支援としてＡＲ表示をする情報を作成し、これを用いて作業シナリオを作成することにより、位置情報の精度を向上させるとともにシナリオを短時間で生成する。

【0016】

図２に、実施形態１の作業シナリオ作成システムの機能的な全体構成例を示す。この作業シナリオ作成システム２１は大きくは、入力データを入力され仮想表示用ツールのＡＲ表示データを作成し修正作業手順書を作成する前処理部２２と、修正作業手順書に基づき作業シナリオを作成し出力データを出力する作業シナリオ作成部２３から成る。実際の作業シナリオ作成システムでは、入力装置、出力装置、演算処理装置、記憶装置が含まれているが、この図では理解を容易にするため簡略化して示している。

【0017】

（前処理の説明）
前処理部２２は、図３に示すように、三次元構造の機器形状のデータを入力される機器形状データ入力部３１と、作業手順書を入力される作業手順書入力部３２と、仮想表示用ツールのＡＲ表示データを入力されるＡＲ表示データ入力部３３と、特徴点の座標データを抽出する特徴点座標抽出部３４と、この特徴点座標のリストから作業部位を選択する作業部位選択部３５と、選択された作業部位に一意の識別名称（部位タグ）を割り当てる識別名称割当部３６と、作業内容の記述に識別名称（オブジェクトタグ）と識別名称（部位タグ）を記載する作業内容タグ記述部３７と、修正機器形状データを作成する修正機器形状データ作成部３８と、修正作業手順書を作成する修正作業手順書作成部３９と、から成る。

【0018】

図４（ａ）に操作対象と前処理で扱うデータの概略を示す。作業者が実際に操作などの作業を行う対象が、対象機器としての作業対象機器１である。作業対象機器１には、例えばネジの取り付け位置である部位Ｂ１と部位Ｂ２がある。これら部位Ｂ１や部位Ｂ２のような部位を識別するための名称を識別名称とする。

【0019】

作業対象機器１を設計する際に３Ｄ ＣＡＤなどの三次元構造データを用いて作成した、外形を立体的に記述するデータが機器形状データ２である。３ＤＣＡＤではＳＴＹ形式などが利用される。機械が認識するデータであり、人間が部位の把握のために利用する識別名称は含まず、三次元座標により構造表現される。OpenDocument形式のＸＭＬベースのように意味を構造化した文書を利用することで、機械的に情報を加工しやすくするが、記述内容は人間が読んで理解できる表現を用い、操作対象は座標値でなく、名前で記述する。作業対象機器１への、ある作業内容を記述した文書が作業手順書３である。機器形状データ２および作業手順書３は、ＡＲ表示の作業シナリオを用いない場合にも準備されるデータである。

【0020】

機器形状データ２、作業手順書３およびＡＲ表示データ４（例えばドライバ）が入力されて、前処理がなされ、その後作業シナリオの作成処理がなされて出力データとして作業シナリオ５が出力される。

【0021】

本願の一実施形態では、識別名称を用いて前処理がなされる（図４（ｂ））。識別名称をもたない座標データである機器形状データ２を元に、ある識別名称とその座標データのマッピング情報をメタデータとしてもたせ、機器形状データ２を修正機器形状データ２＋に変更する。作業手順書３は、ネジの着脱の説明文において、操作対象ネジＸの記述にメタデータとして部位Ｂ１、ネジＹの記述にメタデータとして部位Ｂ２をマッピングさせ、ＸＭＬデータに要素を付加する。また、ネジを操作する工具としてドライバを表示するため、ＡＲ表示データ４のドライバ情報をマッピングさせ、ＸＭＬデータに要素を付加する。これにより、作業手順書３を修正業手順書３＋に変更する。

【0022】

修正作業手順書３＋には、例えば次のように、各ステップにおける作業内容（対象部位に対する操作）が時系列で記載されている。
ステップ１：〇〇を××する
ステップ２：△△を▽▽する
この作業手順書３の各ステップにおいて、ＡＲ表示データ４としてまとめられたデータから、そのステップにおける作業内容として表示する情報を選択し、ＡＲ表示して視覚的に作業内容を提示する。

【0023】

ＡＲ表示データ４は、ＡＲとして表示するための仮想オブジェクトのセットである。個々の仮想オブジェクトには、ＡＲ表示データに識別名称（オブジェクトタグ）が割り当てられている。仮想オブジェクト（仮想表示用ツール）としては例えば次のような形状データを用意する。
・矢印（作業対象を指示する、あるいは作業により部位を動かす方向を示す用途に用いる）
・数字（作業内容の説明と作業対象部位を番号で対応付ける、あるいは作業順序を示す用途に用いる）
・工具（そのステップで使用するドライバ等の道具を示す用途に用いる）
機器形状データ２と作業手順書３に対する前処理を実行して、修正機器形状データ２＋および修正作業手順書３＋を生成し、それを用いて作業シナリオを作成する。

【0024】

図５に示すフローチャートを用いて、前処理の動作を説明する。
ステップＳ５００において、まず作業対象機器１の三次元構造（３Ｄ ＣＡＤ）の機器形状データ２および作業手順書３を、図３の機器形状データ入力部３１および作業手順書入力部３２に入力する。

【0025】

機器形状データ２は、機器表面の形状を記述したデータである。記述方法としては表面の曲面を方程式により記述する、または曲面からある間隔でサンプリングした座標値の集合として表現されている。機器形状データ入力部３１にデータ入力されることで、この中から作業部位がどこにあるか、まず候補となる点を選び出す。作業部位となる点は、ネジ穴が開いていたり、移動の軸があったりするので、そのような形状が不連続となる点を特徴点としての座標を特徴点座標抽出部３４において抽出する。最初にこの抽出を行い、それを作業部位の候補リストとし、修正機器形状データ作成部３８の作業データとして保持する（ステップＳ５０１）。候補リストは、算出した候補点の三次元座標のリストである。

【0026】

次のステップＳ５０２では修正作業手順書作成部３９で業対象機器への作業において参照される部位を１つ選択する。ステップＳ５０３では、選択されたその部位に一意の識別名称（部位タグ）を割り当てる。例えば、図４（ｂ）に示すように、操作対象装置１に部位Ｂ１と部位Ｂ２に仮想ネジがあるとする。部位Ｂ１、Ｂ２のそれぞれに例えばネジＸ、ネジＹという識別名称を割り当てる。その場合には、ネジＸ（Ｂ１）、ネジＹ（Ｂ２）となる。その一意の識別名称（部位タグ）を機器形状データ２および作業手順書３においても対応付ける。
機器形状データへの対応付けのため、機器形状データからその機器を実際の形状にモデリングして作成システムの画面に表示する。その際、候補リストの各座標位置に候補点であることを示すマーカーを表示し、それらマーカー表示の中から作業対象として該当するネジ位置を、作成者が作成システムの制御操作により選択する。

【0027】

ステップＳ５０３では、ステップＳ５０２で選択された部位に一意の、部位タグに識別名称を識別名称割当部３６で、割り当てる。このような識別名称の部位タグへの割り当てを、識別名称（部位タグ）と記載する。修正作業手順書作成部３９により、作業手順書３の記述が識別名称を用いて作業手順書３＋となる。

【0028】

各識別名称（部位タグ）の部位について、候補リストのどの特徴点なのか、作業シナリオの作成者が検索する（ステップＳ５０４）。修正作業手順書作成部３９は作成者に候補を作成システムの画面に提示し、作成者の選択により決定する。そしてステップＳ５０５では、修正機器形状データ作成部３８がステップＳ５０４で検索された特徴点の座標を、上記識別名称（部位タグ）に関連づけて、データ更新する。
次のステップＳ５０６では、作業手順書３の作業内容の記述において上記該当部位を参照する箇所を検索する。

【0029】

次のステップＳ５０７では、作業内容の記述に、ＡＲ表示するオブジェクトタグに割り当てられた識別名称（以下、識別名称（オブジェクトタグ）と記載）と識別名称（部位タグ）を作業内容タグ記述部３７で明記する。すなわち、作業手順書３において、作業内容に対してＡＲ表示したい情報もこのステップＳ５０７で明記される。

【0030】

例えば「ＡＲ：『ネジＸ』を『ドライバ』で外す」という説明文が記述される。『ネジＸ』が前述の識別名称（部位タグ）であり（ステップＳ５０６）、ＡＲ表示させる部位としてマークアップする。ＡＲ表示する仮想オブジェクトが「ドライバ」であり、ＡＲ表示データ４から選択する識別名称（オブジェクトタグ）である。

【0031】

ステップＳ５０８では、作業する次の部位があるか調べられる。まだ作業する部位が残っている場合には、ステップＳ５０２に戻って再度上述の一連の処理を行う。
ステップＳ５０８において、作業する部位が残っていない場合には、次のステップＳ５０９に移る。このステップＳ５０９では、修正機器形状データ作成部３８で、識別名称（部位タグ）の座標リストを付加して、修正機器形状データ２＋とする。

【0032】

そして次のステップＳ５１０では、修正作業手順書作成部３９で更新した作業内容の記述により修正作業手順書３＋が作られる。このように識別名称を用いた表記により作業対象を明確化した修正作業手順書３＋が作成される。

【0033】

（作業シナリオ生成処理の説明）
作業シナリオ生成処理を実行する作業シナリオ作成部２３は、図６に示すように、修正機器形状データを入力される修正機器形状データ入力部６１と、修正作業手順書を入力される修正作業手順書入力部６２と、ＡＲ表示データを入力されるＡＲ表示データ入力部６３と、修正作業手順書から１ステップずつ作業内容を読み出し作業対象の部位を特定する作業対象部位特定部６４と、その作業対象部位を修正機器形状データの中から検索する作業対象部位検索部６５と、その作業部位の位置座標と向きを算出する部位位置座標向き算出部６６と、ＡＲ表示の仮想オブジェクトを作成するＡＲ表示仮想オブジェクト作成部６７と、その仮想オブジェクトに座標の位置と向きを設定するオブジェクト座標位置向き設定部６８と、作成された作業シナリオを出力する作業シナリオ出力部６９から成る。ＡＲ表示データは、ＡＲ表示データ入力部６３に入力され、ＡＲ表示仮想オブジェクト作成部６７において用いる。

【0034】

作業シナリオ生成処理は、図７に示すように、修正作業手順書３＋において、作業内容の説明文を１ステップずつ読み出し（例えば「ネジＸ」を「ドライバＺ」で外す）（７１）、作業対象機器の表面上の部位の位置座標と向きを算出し（７２）、その位置座標と向きに合わせて仮想オブジェクト（ドライバ）の表示座標と向きを決定し（７３）、ＡＲ表示仮想オブジェクト７を作成する点である。なお、図７において７５は座標原点のマーカーである。

【0035】

次に、図８に示すフローチャートを用いて、図６に示す作業シナリオ作成部２３の動作を説明する。まず、ステップＳ８０１において、修正機器形状データ２＋および修正作業手順書３＋を、各々修正機器形状データ入力部６１、修正作業手順書入力部６２に入力する。次のステップＳ８０２では、ＡＲ表示データ４をＡＲ表示データ入力部６３に入力する。

【0036】

ステップＳ８０３では、修正作業手順書３＋から１ステップ分の作業内容の説明文を読み出す。この処理を行う手順をステップＮとする。読み出した説明文から、作業対象部位に関連付けられた識別名称（識別名称（部位タグ））と、ＡＲ表示データの識別名称（識別名称（オブジェクトタグ））とを認識する。

【0037】

例えば、「『ネジＸ』を『ドライバＺ』で外す」という説明文の場合、ステップＳ８０４で、作業対象部位特定部６４において、作業対象部位の識別名称として「ネジＸ」を認識する。またステップＳ８０７で、ＡＲ表示データに関連付けられた識別名称（識別名称（オブジェクトタグ）として、「ドライバＺ」を認識する。

【0038】

ステップＳ８０５では、作業対象部位検索部６５において、修正機器形状データ入力部６１からの修正機器形状データ２＋の中から識別名称（部位タグ）を検索する。ステップＳ８０６では、部位位置座標向き算出部６６で、上記検索で見つけた部位である「ネジＸ」の座標と向きを算出する。

【0039】

ステップＳ８０７では、上述のように識別名称（オブジェクトタグ）として「ドライバＺ」を認識する。ステップＳ８０８では、作業内容Ｙを指示するための表示方法を検索し、表示オブジェクトＺを得る。すなわち、ＡＲ表示データ入力部６３からのＡＲ表示データ４の中から、識別名称（オブジェクトタグ）を検索する。検索で見つかった仮想オブジェクトである、「ドライバＺ」をステップＮにおいて、ＡＲ表示する仮想オブジェクトとして、ＡＲ表示仮想オブジェクト作成部６７でＡＲ表示の仮想オブジェクト７のデータを作成する。

【0040】

別のステップで同じ「ドライバＺ」を使用する場合でも、各ステップでの作業で「ドライバＺ」を表示する位置は異なるので、ステップ毎の表示情報としてＡＲ表示する仮想オブジェクトを用意する。

【0041】

ステップＳ８０９では、オブジェクト座標位置向き設定部６８で、作業シナリオのステップＮに、オブジェクトＺを取得した座標位置と向きを設定する。すなわち前段で算出した「ネジＸ」の向きを「ドライバＺ」の向きとして適用しＡＲ表示仮想オブジェクトの軸を回転させる。そして「ネジＸ」の位置に「ドライバＺ」のヘッドの位置が当たるように、ＡＲ表示仮想オブジェクト７の座標位置を移動させる。このように処理するので「ドライバＺ」のデータを用意する時点で、ヘッドの位置を基準的に設定しておく。

【0042】

作業シナリオ５のステップＮのデータとして、ＡＲ表示仮想オブジェクト７を格納する（ステップＳ８１０）。

【0043】

ステップＳ８１１において、修正作業手順書３＋に次のステップがあるか、調べる。まだステップがあれば、ステップＳ８０３に戻る。修正作業手順書３＋が最終手順に到達し、進める手順がなくなったら、ステップＳ８１２に移る。

【0044】

そして作業シナリオ出力部６９において作業シナリオ５のデータセットを出力、保存して作業シナリオ作成部２３における作業シナリオ生成処理を終了する。生成された作業シナリオは保存されて必要なときに用いられる。

【0045】

なお、上記ステップＳ８０８において、作業内容を元にＡＲ表示する仮想オブジェクトを選択、配置する場合に、ネジであれば構造設計上の部位とＡＲ表示したい位置がほぼ同じ場所になる。

【0046】

一方、開閉のために作業者が操作する部位は取手のような部分になるが、開閉機構の構造設計においては、取手よりも回転軸となるヒンジのような部位が特徴となることがある。そのため、図５の前処理のフローチャートのステップＳ５０１で特徴点を抽出する際に、回転軸となる構造とそれを操作する取手のように、部位間の関連付けを行う情報を修正機器形状データ３＋に持たせておくとよい。１つのデータは、開閉を実現する機構部位のデータ、作業者が開閉作業を行う部位のデータ、開状態の形状データ、閉状態の形状データ、平時の状態は開か閉かのデータなどである。

【0047】

また、作業手順書では、開閉操作を行う部位と、「開く」もしくは「閉じる」という操作を記述する。この実施形態のシステムでは、「開く」作業ならば閉じた状態の形状での取手に当たる作業部位に開いた状態への方向を指示する矢印を、ＡＲ表示する仮想オブジェクトとして配置する。また「閉じる」作業ならば開いた状態の形状での取手に当たる作業部位に閉じた状態への方向を指示する矢印を、ＡＲ表示する仮想オブジェクトとして配置する。

【0048】

（座標計算）
ここで、前処理における座標計算について図９を用いて説明する。

【0049】

機器形状データ２は、その機器の表面位置に関する三次元座標（x, y, z）の集合で表現される。機器表面に網目となるように点を設定し、それらの点に座標を与えることで、機器の形状を表現する。ここで、表面が曲面である場合でも、座標を与える点の数を十分に増やし、各点の間隔が十分に小さくするならば、二点間は直線で近似できる。

【0050】

機器表面のある一点にネジ穴があるとする。そして、ネジ穴を囲む四点の座標が (xm n, ym n, zm n)、(xm n+1, ym n+1, zm n+1)、(xm+1 n, ym+1 n, zm+1 n)、(xm+1 n+1, ym+1 n+1, zm+1 n+1) であるとする。点の間は直線で近似できるため、この四点から平面を近似できる。
三点を与えると、その三点を通る平面が一つ決まる。任意の四点を通る平面は存在しないので、平面と各点の距離の和が最小となる平面 ax+by+cz+d=0 を求める。ここで、ベクトル （a,b,c） は平面と垂直に交わる法線ベクトルとなる。

【0051】

また、これらの点を、z=0 の面に投影した平面図を用意する。作業手順書のような従来形式の媒体で参照する図は、このように二次元に投影された平面図を利用する。平面に投影されたネジ穴の座標が（xs, ys）であるならば、それを平面の方程式に代入して zs を計算し、ネジ穴の機器表面上の位置座標（xs, ys, zs）を得る。

【0052】

このネジ穴を指すネジはベクトル（a,b,c）で終端座標が（xs, ys, zs）である。表示するネジおよびドライバの長さを L とすれば、ベクトル（a,b,c）上で (xs-xt)²+(ys-yt)²+(zs-st)²=L² を満たす座標（xs, ys, zs）がドライバの始点座標となる。始点座標（xt, yt, zt）から終点座標（xs, ys, zs）への線分として、ネジおよびドライバの仮想オブジェクトのＡＲ表示位置を設定する。

【0053】

上記の座標値は、立体設計データの座標系に基づく値である。ＡＲとして表示する場合は、設計データの座標系と現実空間の座標系を対応付けて、設計データの座標値から現実空間の座標値を計算する必要がある。対応付けるためには、設計データと現実空間とで共通となる座標点および座標軸方向の基準点となるアンカーを設ける方法が一般的である。

【0054】

予め、対象機器の外見上において特徴がある位置を選出し、その設計データにおける座標（xa, ya, za）を求める。選出したその位置に、ＡＲ表示デバイスが目印として認識可能なアンカーを設置する。ＡＲ表示デバイスは、カメラやセンサーを装備しており、それによりアンカー位置を認識する。そして認識したアンカー位置を現実空間の座標原点とする。
設計データでのネジ穴座標（xs, ys, zs）にＡＲ表示する情報は、現実空間での座標 （xs-xa, ys-ya, zs-za）に表示する仮想オブジェクトとなる。

【0055】

（実施形態の効果）
上記実施形態によれば、テキスト記述の作業手順書に作業対象機器の三次元の構造設計データを形状データとして組み合わせることにより、ＡＲ表示の作業シナリオを自動的に作成できる。作業手順書と機器形状データで対象部位を参照するなどの処理はあるが、この処理は機械的な作業であり、作業熟練度なども不要であり、処理はある程度定まった短時間で終了させることができる利点がある。

【0056】

また、この実施形態によれば作業対象となる機器の構造設計データを機器形状データして利用することにより作業手順の中で作業者に対してＡＲで表示する仮想オブジェクトの座標や向きを演算により設定できる。したがって従来のように手作業によって配置する場合のような細かい位置合わせによる誤差は生じないという利点がある。

【0057】

また、この実施形態によれば、作業者が操作部位を正しく認識できるので、手作業による場合のような対象部位の誤認等の作業ミスを減らす効果もある。

【0058】

更に、ウェアラブルデバイスを利用して立体視する場合、人によって両眼距離等の身体誤差があるため、現実の物体とＡＲ表示の仮想オブジェクトの位置関係にバラツキが生ずる。それゆえデバイスの利用者は事前にキャリブレーションを行い、見え方の補正を行うことが一般的である。従来のシナリオ作成の方法では、仮想オブジェクトを配置する作成者のキャリブレーションが適切でなければ、ＡＲ表示の誤差要因となる。本願のこの実施形態によれば演算によるオブジェクト配置によるので、上記のような誤差要因を取り除くことができる。

【0059】

上記実施形態では、理解を容易にするために、図２、図３および図６の機能的構成図を用いて説明した。しかし、本発明はこのような構成に分けられる場合に限られず、一般的に、共通の制御装置、メモリ、演算装置など共用の回路を時分割的に用いて上述の機能を全体として達成する場合にも適用可能である。

【0060】

（その他の実施形態）
なお、本発明では従来の機器形状データと作業手順書を前提としないで、作業シナリオを作成することも可能である。

【0061】

以上、いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0062】

１１・・・表示装置、１２・・・対象機器、１３・・・仮想ドライバ、２１・・・作業シナリオ作成システム、２２・・・前処理部、２３・・・作業シナリオ作成部、３１・・・機器形状データ入力部、３２・・・作業手順書入力部、３３・・・ＡＲ表示データ入力部、３４・・・特徴点座標抽出部、３５・・・作業部位選択部、３６・・・識別名称割当部、３７・・・作業内容タグ記述部、３８・・・修正機器形状データ作成部、３９・・・修正作業手順書作成部、６１・・・修正機器形状データ入力部、６２・・・修正作業手順書入力部、６３・・・ＡＲ表示データ入力部、６４・・・作業対象部位特定部、６５・・・作業対象部位検索部、６６・・・部位位置座標向き算出部、６７・・・ＡＲ表示仮想オブジェクト作成部、６８・・・オブジェクト座標位置向き設定部、６９・・・作業シナリオ出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-03-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

作業の対象となる現実の対象機器に対して行う作業を時系列の作業ステップとして示す作業手順書と前記対象機器の三次元構造データを基にして
前記三次元構造データにより得られる空間情報を用いて、前記対象機器への仮想表示用ツールのＡＲ表示データを付加した作業手順書である作業シナリオに変換するＡＲ表示の作業シナリオ作成システム。

【請求項2】

作業の対象となる現実の対象機器に対して行う作業を時系列の作業ステップとして示す作業手順書に記載されている各作業ステップでの文章記述から前記対象機器の作業の対象となる作業部位及び作業内容を抽出し、前記作業部位を示す識別名称である部位タグと前記作業内容をアイコンとしてＡＲ表示する仮想オブジェクトの識別名称であるオブジェクトタグとを前記作業ステップにタグ付けした修正作業手順書を作成する前処理部と、
前記前処理部で作成された前記修正作業手順書について、前記各作業ステップで前記対象機器の前記部位タグの位置する空間座標とこの空間座標における前記対象機器の表面形状を算出し、前記オブジェクトタグで示されるＡＲ表示される仮想オブジェクトのデータにその位置と向きを適用して前記修正作業手順書に付加して作業シナリオを作成する作業シナリオ作成部と、
を有するＡＲ表示の作業シナリオ作成システム。

【請求項3】

前記前処理部は、
前記対象機器を設計する際に使用した三次元構造データから形状の特徴となる点を抽出し、この特徴点を前記部位タグの中から該当する部位を対応付ける請求項２記載のＡＲ表示の作業シナリオ作成システム。

【請求項4】

前記作業シナリオ作成部は、
前記対象機器の前記部位タグに割り当てられた識別名称を、前記仮想オブジェクトの、オブジェクトタグに割り当てられた識別名称に関連付けて前記作業シナリオを作成する、
請求項２又は３記載のＡＲ表示の作業シナリオ作成システム。

【請求項5】

作業の対象となる現実の対象機器の機器形状データおよびＡＲ表示の作業シナリオに従って実施する作業を時系列として示す作業手順書に対して前記機器形状データとして三次元構造データを用いて、修正作業手順書を作成する前処理部と、
前記対象機器の表面上の部位の位置座標と向きを算出しその位置座標と向きに合わせて前記仮想オブジェクトの表示座標と向きを決定してＡＲ表示オブジェクトを作成し、ＡＲ表示の作業シナリオを作成する、作業シナリオ作成部と、
を有するＡＲ表示の作業シナリオ作成システム。

【請求項6】

前記前処理部は、
前記対象機器の三次元の機器形状データを入力する機器形状データ入力部と、
ＡＲ表示の作業シナリオに従って実施する作業を時系列として示す作業手順書を入力する作業手順書入力部と、
ＡＲ表示データを入力するＡＲ表示データ入力部と、
修正機器形状データを作成する修正機器形状データ作成部と、
前記作業手順書から修正作業手順書を作成する修正作業手順書作成部と、
を有する請求項５記載のＡＲ表示の作業シナリオ作成システム。

【請求項7】

前記作業シナリオ作成部は、
修正機器形状データを入力される修正機器形状データ入力部と、
修正作業手順書を入力される修正作業手順書入力部と、
ＡＲ表示データを入力されるＡＲ表示データ入力部と、
作業部位の位置座標と向きを算出する部位位置座標向き算出部と、
ＡＲ表示の仮想オブジェクトを作成するＡＲ表示仮想オブジェクト作成部と、
から成る請求項５又は６記載のＡＲ表示の作業シナリオ作成システム。

【請求項8】

作業の対象となる現実の対象機器に対して行う作業を時系列の作業ステップとして示す作業手順書と前記対象機器の三次元構造データを基にして、
前記三次元構造データにより得られる空間情報を用いて前記対象機器への仮想表示用ツールのＡＲ表示データを付加した作業手順書である作業シナリオを作成するＡＲ表示の作業シナリオ作成方法。

【請求項9】

作業の対象となる現実の対象機器に対して行う作業を時系列の作業ステップとして示す作業手順書に記載されている各作業ステップでの文章記述から前記対象機器の作業の対象となる作業部位及び作業内容を抽出し、前記作業部位を示す識別名称である部位タグと前記作業内容をアイコンとしてＡＲ表示する仮想オブジェクトの識別名称であるオブジェクトタグとを前記作業ステップにタグ付けした修正作業手順書を作成する修正作業書作成ステップと、
前記修正作業書作成ステップにおいて前記部位タグに割り当てられた識別名称を、前記オブジェクトタグに割り当てられた識別名称に関連付けて前記作業シナリオを作成する作業シナリオ作成ステップと、
を有するＡＲ表示の作業シナリオ作成方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

上記した課題を解決するために、実施形態のＡＲ表示の作業シナリオ作成システムは、
作業の対象となる現実の対象機器に対して行う作業を時系列の作業ステップとして示す作業手順書と前記対象機器の三次元構造データを基にして前記三次元構造データにより得られる空間情報を用いて、前記対象機器への仮想表示用ツールのＡＲ表示データを付加した作業手順書である作業シナリオに変換する。