特開 2022-153717 技術伝承トレースシステム及び技術伝承トレース方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022153717

(43)【公開日】2022-10-13

(54)【発明の名称】技術伝承トレースシステム及び技術伝承トレース方法

(51)【国際特許分類】

   G09B 5/02 20060101AFI20221005BHJP

   G09B 9/00 20060101ALI20221005BHJP

   G09B 19/00 20060101ALI20221005BHJP

   G09B 19/24 20060101ALI20221005BHJP

   G06F 3/01 20060101ALI20221005BHJP

   G06Q 50/04 20120101ALI20221005BHJP

   G06Q 50/20 20120101ALI20221005BHJP

【ＦＩ】

G09B5/02

G09B9/00 Z

G09B19/00 Z

G09B19/24 Z

G06F3/01 510

G06Q50/04

G06Q50/20

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021056389

(22)【出願日】2021-03-30

(71)【出願人】

【識別番号】302060926

【氏名又は名称】株式会社フジタ

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】大田 真一郎

【テーマコード（参考）】

2C028

5E555

5L049

【Ｆターム（参考）】

2C028AA10

2C028BB04

2C028BC05

2C028BD01

5E555AA07

5E555AA64

5E555BA01

5E555BA04

5E555BB04

5E555BC08

5E555BD01

5E555BE09

5E555BE10

5E555CA29

5E555CA42

5E555CA44

5E555CB64

5E555CB66

5E555CB74

5E555DA08

5E555DA23

5E555DB39

5E555DB41

5E555DB53

5E555DC09

5E555DC13

5E555DC63

5E555DD02

5E555DD08

5E555EA02

5E555EA19

5E555EA22

5E555FA00

5L049CC03

5L049CC34

(57)【要約】

【課題】より高精度に熟練者の技術を後世に伝承すること。
【解決手段】技術伝承トレースシステム（１００）は、作業者に対する熟練者の技術の伝承を支援するものであり、対象者の姿勢及び状態を検出する状態検出装置（１）と、対象者の周囲環境を撮像する撮像装置（２）と、熟練者の所定作業において、予め状態検出装置及び撮像装置から取得した出力に基づいて熟練者の所定作業に関する動作モデルデータを生成する情報処理装置（３）と、を備える。情報処理装置は、作業者の所定作業において、状態検出装置及び撮像装置から取得した出力に基づいて作業者の実動作に対応した実動作データを生成し、動作モデルデータと実動作データとを比較し、動作モデルデータを実動作データに対応した形式に変換して表示装置（４）に表示させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業者に対する熟練者の技術の伝承を支援する技術伝承トレースシステムであって、
対象者の姿勢及び状態を検出する状態検出装置と、
前記対象者の周囲環境を撮像する撮像装置と、
前記熟練者の所定作業において、予め前記状態検出装置及び前記撮像装置から取得した出力に基づいて前記熟練者の前記所定作業に関する動作モデルデータを生成する前記情報処理装置と、を備え、
前記情報処理装置は、前記作業者の前記所定作業において、前記状態検出装置及び前記撮像装置から取得した出力に基づいて前記作業者の実動作に対応した実動作データを生成し、前記動作モデルデータと、前記実動作データと、を比較し、前記動作モデルデータを前記実動作データに対応した形式に変換して表示装置に表示させる、技術伝承トレースシステム。

【請求項2】

前記情報処理装置は、前記実動作データと変換後の前記動作モデルデータとを比較して前記作業者の前記所定作業が正しいか否かを判定する、請求項１に記載の技術伝承トレースシステム。

【請求項3】

前記情報処理装置は、前記対象者の周囲環境の撮像画像から前記周囲環境に関するオブジェクトを抽出し、前記対象者の姿勢及び状態に基づいて前記対象者の骨格に関する骨格３次元データを生成し、前記オブジェクトと前記骨格３次元データとを統合して前記動作モデルデータ又は前記実動作データを生成する、請求項１又は請求項２に記載の技術伝承トレースシステム。

【請求項4】

前記状態検出装置、前記撮像装置、前記情報処理装置、及び前記表示装置により、対象者が装着可能なウェアラブル端末が構成される、請求項１から請求項３のいずれかに記載の技術伝承トレースシステム。

【請求項5】

複数の前記所定作業毎に前記動作モデルデータを体系的に記憶するサーバ装置を更に備える、請求項１から請求項４のいずれかに記載の技術伝承トレースシステム。

【請求項6】

作業者に対する熟練者の技術の伝承を支援する技術伝承方法であって、
前記熟練者の所定作業において、予め対象者の姿勢及び状態を検出する状態検出装置及び前記対象者の周囲環境を撮像する撮像装置から取得した出力に基づいて前記熟練者の前記所定作業に関する動作モデルデータを生成するステップと、
前記作業者の前記所定作業において、前記状態検出装置及び前記撮像装置から取得した出力に基づいて前記作業者の実動作に対応した実動作データを生成するステップと、
前記動作モデルデータと、前記実動作データと、を比較するステップと、
前記動作モデルデータと前記実動作データとの比較結果に基づいて前記動作モデルデータを前記実動作データに対応した形式に変換して表示装置に表示させるステップと、を備える、技術伝承トレース方法。

【請求項7】

前記実動作データと変換後の前記動作モデルデータとを比較して前記作業者の前記所定作業が正しいか否かを判定するステップを更に備える、請求項６に記載の技術伝承トレース方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設現場などの特定作業における作業者の技術伝承トレースシステム及び技術伝承トレース方法に関する。

【背景技術】

【0002】

例えば、建設現場などにおける各種作業を未熟練者が行う場合、熟練者の直接的な指導を受けながら作業することが望ましい。しかしながら、実際の現場に熟練者が常にいるとは限らず、未熟練者が単独で作業しなければならない状況も想定される。

【0003】

例えば特許文献１では、使用者の外界の視野像と人工的な像とを重ね合わせて同時に見ることが可能なヘッドマウントディスプレイ装置を用いた動作教示装置について開示されている。特許文献１では、予め熟練者の所定動作に関する動画を用意しておき、当該動画をヘッドマウントディスプレイ装置上で使用者の外界の視野像と重ね合わせてみることが可能である。

【0004】

また、特許文献２では、熟練作業者の動作を未習熟作業者に対してコンピュータで指図する作業指図システムについて開示されている。特許文献２では、工具を用いた所定作業における熟練作業者の動作がセンサで検知され、動作データとして処理装置に転送される。処理装置は、出力装置において動作データを３ＤＣＧの虚像として立体的に表示する。これにより、未習熟作業者は、虚像を見ながら所定作業を行うことが可能である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平７－３３３５５０号公報

【特許文献2】特開２００１－３９３１８８公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、事前に用意した熟練者の画像は、必ずしも実際の作業者の視野画像に一致するものとは限らず、熟練者の技術を後世に伝承する観点からすれば、その精度向上には改善の余地があった。

【0007】

本発明は係る点に鑑みてなされたものであり、より高精度に熟練者の技術を後世に伝承可能な技術伝承システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一つの態様の技術伝承トレースシステムは、作業者に対する熟練者の技術の伝承を支援する技術伝承トレースシステムであって、対象者の姿勢及び状態を検出する状態検出装置と、対象者の周囲環境を撮像する撮像装置と、熟練者の所定作業において、予め状態検出装置及び撮像装置から取得した出力に基づいて熟練者の所定作業に関する動作モデルデータを生成する情報処理装置と、を備え、情報処理装置は、作業者の所定作業において、状態検出装置及び撮像装置から取得した出力に基づいて作業者の実動作に対応した実動作データを生成し、動作モデルデータと、実動作データと、を比較し、動作モデルデータを実動作データに対応した形式に変換して表示装置に表示させる。

【0009】

また、本発明の一つの態様の技術伝承トレース方法は、作業者に対する熟練者の技術の伝承を支援する技術伝承方法であって、熟練者の所定作業において、予め対象者の姿勢及び状態を検出する状態検出装置及び対象者の周囲環境を撮像する撮像装置から取得した出力に基づいて熟練者の所定作業に関する動作モデルデータを生成するステップと、作業者の所定作業において、状態検出装置及び撮像装置から取得した出力に基づいて作業者の実動作に対応した実動作データを生成するステップと、動作モデルデータと、実動作データと、を比較するステップと、動作モデルデータと実動作データとの比較結果に基づいて動作モデルデータを実動作データに対応した形式に変換して表示装置に表示させるステップと、を備える。

【発明の効果】

【0010】

本発明によれば、より高精度に熟練者の技術を後世に伝承することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る技術伝承システムの一例を示す概略構成図である。

【図2】実施形態に係るヘッドマウントディスプレイ装置の機能構成の一例を示すブロック図である。

【図3】実施形態に係る所定作業の一例を示す概念図である。

【図4】実施形態に係る熟練者の動作モデル作成フローを例示する図である。

【図5】実施形態に係るヘッドマウントディスプレイ装置の画像表示フローを例示する図である。

【図6】実施形態に係るヘッドマウントディスプレイ装置の画像表示例を示す図である。

【図7】実施形態に係るヘッドマウントディスプレイ装置の画像表示例を示す図である。

【図8】実施形態に係る情報処理装置及びサーバ装置を実現するためのコンピュータのハードウェア構成を例示する図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

【0013】

図１は、実施形態に係る技術伝承トレースシステムの一例を示す概略構成図である。本実施の形態に係る技術伝承トレースシステム１００（以下、単にシステム１００と呼ぶ）は、建設現場などの所定の作業現場における作業者が、所定の作業を行う際に、熟練者の作業を容易にトレースすることを実現するものである。例えば、システム１００は、熟練作業者（熟練者と呼ばれてもよい）の技術を比較的未熟な作業者（以下、単に作業者と呼ぶ）に伝承することを支援する。なお、本実施の形態では、建設現場における所定作業を例にして説明するが、これに限定されず、適宜変更が可能である。例えば、作業現場は、道路工事などの工事現場や介護施設における介護現場であってもよい。

【0014】

図１に示すように、システム１００は、所定の作業者が装着可能なヘッドマウントディスプレイ装置１０（以下、ＨＭＤ装置１０と呼ぶ）と、熟練者の所定作業に関する動作モデルデータを体系的に記憶・管理するサーバ装置２０と、を含んで構成される。ＨＭＤ装置１０とサーバ装置２０は、ネットワークを介して相互に通信が可能である。ＨＭＤ装置１０とサーバ装置２０は、有線及び／又は無線（例えば、ＬＴＥ（Long Term Evolution）、ＮＲ（New Radio）、Ｗｉ－Ｆｉ（登録商標）など）を介して、ネットワーク（インターネットなど）と通信してもよい。

【0015】

ＨＭＤ装置１０は、人の頭部に装着されるタイプのディスプレイ装置で構成される。ＨＭＤ装置１０は、目を完全に覆う非透過型や、現実の視覚に画面を通して画像（動画などのバーチャル画像）を重ね合わせる透過型のディスプレイ装置であってもよい。また、ＨＭＤ装置１０は、ウェアラブル端末と呼ばれてもよい。なお、ＨＭＤ装置１０の詳細については後述する。

【0016】

また、ＨＭＤ装置１０を装着する対象者は、上記のように、建設現場や工場などの現場で作業を行う作業者の他に、介護施設で生活する要介護者（被介護者）を介護する介護者が挙げられる。なお、本実施の形態では、対象者が作業者又は熟練者と呼ばれてもよい。

【0017】

サーバ装置２０は、作業現場における熟練者の所定作業に関する動作モデルデータを作業種別や時系列毎に体系的に記憶する。動作モデルデータについては後述する。なお、サーバ装置２０の機能は、ＨＭＤ装置１０に内蔵されてもよい。

【0018】

図２は、実施形態に係るヘッドマウントディスプレイ装置の機能構成の一例を示すブロック図である。図２に示すように、ＨＭＤ装置１０は、状態検出装置１、撮像装置２、情報処理装置３、表示装置４、及びヘルメット５（図３参照）を含んで構成される。状態検出装置１、撮像装置２、情報処理装置３、及び表示装置４の各種構成は、作業者が被るヘルメット５に搭載される。

【0019】

状態検出装置１は、ＨＭＤ装置１０を装着した作業者の状態や姿勢を検出するものである。作業者の「状態」とは、所定の動作（例えば歩行）の状態を表し、作業者の「姿勢」とは、作業者の現在の姿勢又はその変化（例えば直立姿勢や着座姿勢等）を表している。

【0020】

具体的に状態検出装置１は、ジャイロセンサや加速度センサなど、対象者の動作に応じた検出値を出力するセンサ１１と、メモリ１２とを備え、対象者が作業している間、センサ１１から出力される検出値を繰り返しメモリ１２に記憶させる。

【0021】

また、状態検出装置１は、センサ１１の検出値を例えば撮像装置２、又は情報処理装置３に出力（送信）する。なお、検出値の出力（送信）は、常時実施されてもよく、所定時間毎に実施されてもよい。詳細は後述するが、センサ１１から出力される検出値は、作業者の状態や姿勢を推定する場合に使用されるものとする。

【0022】

撮像装置２は、作業者の周囲環境を撮像するものであり、作業者の体、または、作業者の体以外の任意の場所に取り付けられる。例えば、撮像装置２が作業者の体に取り付けられる場合、撮像装置２は、上記したように、作業者が被るヘルメット５に取り付けられる。また、撮像装置２が対象者の体以外の任意の場所に取り付けられる場合、撮像装置２は、建設現場内や工場内や介護施設内の任意の場所に設置されたり、ドローンやロボットなどの無人移動体に搭載されたりしてもよい。

【0023】

また、撮像装置２は、カメラ２１と、メモリ２２とを備える。なお、撮像装置２が対象者の体に取り付けられる場合、カメラ２１は、アクションカメラや３６０度カメラなどであって、対象者の視界方向または対象者の周囲の画像（静止画像または動画像）を撮像し、その撮像した画像をメモリ２２に記憶させる。また、撮像装置２が対象者の体以外の任意の場所に設置される場合、カメラ２１は、建設現場や工場や介護施設に予め設置されている固定監視カメラ、または、無人移動体が備えるカメラなどであって、対象者を含む建設現場内や工場内や介護施設内の画像を撮像し、その撮像した画像をメモリ２２に記憶させる。

【0024】

撮像装置２は、カメラ２１により撮像された画像をメモリ２２から読み出し、その読み出した画像を情報処理装置３に出力（送信）する。なお、画像の出力（送信）は、常時実施されてもよく、所定時間毎に実施されてもよい。

【0025】

情報処理装置３は、上記した状態検出装置１及び撮像装置２の出力に基づいて所定のデータを生成し、後述する表示装置３の表示制御を実施するコンピュータで構成される。情報処理装置３は、作業者の状態・姿勢等を推定し、推定した状態・姿勢を画像として画面上に重ね合わせて表示させる。具体的に情報処理装置３は、機能ブロックとして、抽出部３１と、推定部３２と、統合部３３と、比較部３４と、を含んでいる。抽出部３１、推定部３２、統合部３３、及び比較部３４は、総じて制御部と呼ばれてもよい。なお、情報処理装置３は、これらの機能ブロックに限らず、他の機能ブロックを有してもよい。

【0026】

抽出部３１は、撮像装置２から送信される画像に基づいて、当該画像中の所定のオブジェクトを抽出・分析する。ここでオブジェクトとは、画像中に含まれる構造物として、例えば図３に示す「床」、「柱」、「階段」、及び「手摺」等が挙げられる。また、抽出部３１は、抽出したオブジェクトに対応した環境３次元データを生成してもよい。環境３次元データとは、所定作業中における作業者の周囲の環境を示す３次元データであり、上記したオブジェクトを３次元化したデータも含むものとする。抽出部３１は、任意の３次元空間において「床」、「柱」、「階段」、及び「手摺」等にそれぞれ対応するオブジェクトを抽出し、各オブジェクトに対応した環境３次元データを所定時間における時系列毎に生成してもよい。

【0027】

推定部３２は、状態検出装置１から送信される所定時間分の検出値と、撮像装置２から送信される所定時間分の画像とに基づいて、所定時間における作業者の動作（姿勢）を示す骨格３次元データを生成する。すなわち、推定部３２は、所定時間における作業者の状態・姿勢を推定する。ここで、骨格３次元データとは、任意の３次元空間において作業者が所定の作業を行っているときの作業者の骨格やその骨格の軌跡を示す３次元データである。骨格３次元データは、動作３次元データと呼ばれてもよい。

【0028】

図３は、実施形態に係る所定作業の一例を示す概念図である。図３に示すように、例えば建設現場において作業者が、所定作業として階段の手摺を溶接する作業を行っている場合を想定する。この場合、推定部３２は、作業者がしゃがんで溶接作業を行っている際の動作を示す骨格３次元データを生成する。推定部３２は、作業者の状態に基づくデータ（状態データ）と作業者の姿勢に基づくデータ（姿勢データ）とを統合して、骨格３次元データを所定時間における時系列毎に生成してもよい。なお、図３では、所定作業として、階段の手すりの溶接を例示して説明したが、これに限定されず、適宜変更が可能である。所定作業は、例えば他に、ねじ止め、板金の切断など、各種作業が例示できる。

【0029】

統合部３３は、上記のオブジェクト（又は環境３次元データ）と骨格３次元データとを統合して、動作モデルデータを生成する。動作モデルデータは、予めＨＭＤ装置１０を装着した熟練者に所定の作業を実施させ、状態検出装置１及び撮像装置２の出力に基づいて生成される。生成された動作モデルデータは、情報処理装置３内の記憶領域に記憶されてもよく、後述するサーバ装置２０のデータベース上に作業毎に体系的に記憶（保存）されてもよい。また、統合部３３は、作業者の所定作業において、状態検出装置１及び撮像装置２から取得した出力に基づいて実動作データを生成する。

【0030】

比較部３４は、熟練者の動作モデルデータと作業者の実動作データとを比較・照合して、上記のように生成された熟練者の動作モデルデータを前記実動作データに対応した形式に変換する。例えば比較部３４は、動作モデルデータをＭＲ（Mixed Reality）技術を用いて表示装置４に表示するための複合現実データに変換する。

【0031】

なお、情報処理装置３の各機能構成は、後述するサーバ装置２０で実現されてもよい。

【0032】

表示装置４は、ヘルメット５の正面下部に設けられたディスプレイで構成される。表示装置４は、例えば透過型のディスプレイで構成され、作業者の現実の視野像に対して上記の動作モデルデータ（複合現実データ）を重畳表示するように構成されている。また、表示装置４は、撮像装置２で撮像した画像を映像（動画）として表示してもよい。なお、本実施の形態では、表示装置４がヘルメット５に搭載されたいわゆるヘッドマウントディスプレイ装置の一構成である場合について説明するが、これに限らず適宜変更が可能である。例えば表示装置４は、スマートフォンやタブレット端末などのモバイル機器またはパーソナルコンピュータなどにより構成されてもよい。

【0033】

サーバ装置２０は、上記したように、作業現場における熟練者の所定作業に関する動作モデルデータを作業種別や時系列毎に体系的に記憶するデータベースを有している。
例えば、熟練者の所定作業に関する動作モデルデータは、
（１）作業名称（例えば溶接、ねじ止め、部品位置決め、等）
（２）作業順序（Ｓｔｅｐ１、Ｓｔｅｐ２、等）
（３）作業時間（＊＊時間、＊＊分、＊＊秒、等）
の項目が所定作業毎及び時系列毎に設定されている。

【0034】

このデータベースには、複数の作業について、各作業に対応した動作モデルデータが体系的に保存されている。これらの動作モデルデータは、実際の作業者が所定作業を行っている際に、正しい手順に沿って作業が実施されているか否かを判定するために基準データ（閾値）として用いられる。なお、動作モデルデータには、上記（１）－（３）以外に、例えば所定作業のコツや注意を要するポイントに関する情報を含めてもよい。

【0035】

ところで、建設現場などにおける各種作業を未熟練者が行う場合、熟練者の直接的な指導を受けながら作業することが望ましい。しかしながら、実際の現場に熟練者が常にいるとは限らず、未熟練者が単独で作業しなければならない状況も想定される。

【0036】

例えばこれまでは、作業者が紙のマニュアルを見ながら、または、ＯＪＴ（On the Job Training）などで熟練者の口頭による指示などをもとに、作業者が試行錯誤を繰り返しながら作業を学んでいく手法が一般的であった。

【0037】

一方で、昨今では、現場で作業者が見ている映像を遠隔地にいるベテラン（熟練者）などのオペレーターと共有することで、指示を受けながら作業をすることもある。また、作業工程を映像などに記録し、映像を見ることで作業者の作業内容を理解する取り組みが行われている。

【0038】

しかしながら、従来の技術では、新米の作業者が熟練者と同じような作業レベル・スピード・品質に達するまでには時間を要している。また、誤った作業を実施したことによる手戻り（作業のやり直し）の発生は、その後の工程（スケジュール）に影響を及ぼす要因となっている。

【0039】

そこで本件発明者は、比較的未熟な作業者であっても、熟練者の直接的な指導を受けることなく効果的に作業を学習することを目的として、本発明に想到した。例えば、本実施の形態では、予め熟練者にＨＭＤ装置１０を装着させた状態で所定の作業を行わせ、熟練者の動作モデルデータを生成してデータベースに保存する。そして、実際の作業者は、ＨＭＤ装置１０を装着した状態で実施する。このとき、ＨＭＤ装置１０は、カメラ映像やセンサデータから数秒後の作業者自身の姿勢及び動作（状態）を推定しつつ、熟練者の動作モデルデータに基づいて熟練者の正しい動作画像（バーチャルデータ）をディスプレイ上に表示する。

【0040】

これにより、実際の作業者は、特定の作業における熟練者の動作（正しい動作）を作業実空間に重畳表示された画像として見ることで、熟練者の正しい手順を確認しながら作業ができる。この結果、効率的かつ正確な作業が実現可能となる。また、作業者が熟練者の動きを実際にトレースしながら作業を行うことにより、作業の学習効率や技術習得スピードを上げると共に、比較的未熟な作業者であっても熟練者と同等の品質の作業を実現可能である。すなわち、熟練者の技術をより高精度に後世へと伝承することが可能である。

【0041】

より具体的に、本実施の形態に係るシステム１００は、作業者に対する熟練者の技術の伝承を支援するものであり、対象者の姿勢及び状態を検出する状態検出装置１と、対象者の周囲環境を撮像する撮像装置２と、熟練者の所定作業において、予め状態検出装置１及び撮像装置２から取得した出力に基づいて熟練者の所定作業に関する動作モデルデータを生成する情報処理装置３と、を備える。情報処理装置３は、作業者の所定作業において、状態検出装置１及び撮像装置２から取得した出力に基づいて作業者の実動作に対応した実動作データを生成し、動作モデルデータと実動作データとを比較し、動作モデルデータを実動作データに対応した形式に変換して表示装置４に表示させる。これにより、作業者は、画面上に重畳表示された熟練者の動作を確認しながら作業が可能であり、作業者の学習効率を高めることが可能である。

【0042】

また、本実施の形態において、情報処理装置３は、実動作データと変換後の動作モデルデータとを比較して作業者の所定作業が正しいか否かを判定する。この構成によれば、作業者の実動作と熟練者の動作との差分を明確に認識することができ、作業者の学習効率を更に高めることが可能である。

【0043】

また、本実施の形態において、情報処理装置３は、対象者の周囲環境の撮像画像から周囲環境に関するオブジェクトを抽出し、対象者の姿勢及び状態に基づいて対象者の骨格に関する骨格３次元データを生成し、オブジェクトと骨格３次元データとを統合して動作モデルデータ又は実動作データを生成する。この構成によれば、複数のデータから作業者の実際の動作を推定したデータを生成することが可能である。

【0044】

また、本実施の形態において、状態検出装置１、撮像装置２、情報処理装置３、及び表示装置４により、対象者が装着可能なＨＭＤ装置１０（ウェアラブル端末）が構成される。これらの構成が１つの装置で実現されることにより、作業者の作業を妨げることなく、簡易な構成で熟練者の動作を学習することが可能である。

【0045】

また、本実施の形態において、システム１００は、複数の所定作業毎に動作モデルデータを体系的に記憶するサーバ装置２０を更に備える。この構成により、作業現場のあらゆる作業を体系的に管理することが可能である。

【0046】

次に、図４から図７を参照して、本実施の形態に係る技術伝承トレース方法について説明する。図４は、実施形態に係る熟練者の動作モデル作成フローを例示する図である。図５は、実施形態に係るＨＭＤ装置の画像表示フローを例示する図である。図６及び図７は、実施形態に係るＨＭＤ装置の画像表示例を示す図である。なお、以下に示すフローにおいては、特に明示がない限り、動作の主体は情報処理装置３（制御部）とする。なお、以下に示すフローはあくまで一例を示すものであり、必要に応じて他の処理を追加してもよい。また、各処理（ステップ）は、矛盾が生じない限り順序を変更することが可能である。

【0047】

本実施の形態に係る技術伝承トレース方法は、作業者に対する熟練者の技術の伝承を支援する技術伝承方法であって、以下のステップを備える。
（１）熟練者の所定作業において、予め対象者の姿勢及び状態を検出する状態検出装置１及び対象者の周囲環境を撮像する撮像装置２から取得した出力に基づいて熟練者の所定作業に関する動作モデルデータを生成するステップ（図４のステップＳＴ１０１－１０４）。
（２）作業者の所定作業において、状態検出装置１及び撮像装置２から取得した出力に基づいて作業者の実動作に対応した実動作データを生成するステップ（図５のステップＳＴ２０１－２０４）。
（３）動作モデルデータと実動作データとを比較するステップ（図５のステップＳＴ２０５）。
（４）動作モデルデータと実動作データとの比較結果に基づいて動作モデルデータを実動作データに対応した形式に変換して表示装置に表示させるステップ（図５のステップＳＴ２０６）。
（５）実動作データと変換後の動作モデルデータとを比較して作業者の所定作業が正しいか否かを判定するステップ（図５のステップＳＴ２０７）。

【0048】

先ず、熟練者の動作モデル作成フローについて説明する。当該フローは、予めサーバ装置２０に所定作業に応じた熟練者の動作モデルデータを生成して用意しておくものである。この場合、熟練者がＨＭＤ装置１０を装着した状態で所定の作業を実施するものとする。

【0049】

図４に示すように、先ずステップＳＴ１０１において、情報処理装置３は、各種データを取得する。具体的に情報処理装置３は、状態検出装置１から熟練者の所定作業における姿勢・状態に関するデータを取得し、撮像装置２から熟練者の周囲環境に対応した画像データ（撮像画像）を取得する。

【0050】

次のステップＳＴ１０２において、情報処理装置３は、撮像装置２の撮像画像から現場環境に対応した所定のオブジェクト（Ａ）を時系列毎に抽出する。例えば、情報処理装置３は、撮像装置２に記録された熟練者の身体の動画像と、熟練者の周囲を映した動画像の双方に着目し、作業中に何のオブジェクト(例：柱・梁・工具等)がどのタイミングで関与しているかを抽出する。なお、オブジェクトの抽出にあたっては、予め現場の各オブジェクトを学習したＡＩモデルを活用することが可能である。

【0051】

次のステップＳＴ１０３において、情報処理装置３は、熟練者の所定作業における状態・姿勢を推定した骨格３次元データ（Ｂ）を生成する。例えば、情報処理装置３は、撮像装置２に記録された熟練者の身体の動画像と、熟練者の周囲を映した動画像の双方に着目し、熟練者の３次元姿勢（例：直立・しゃがむ・寝そべり等）を推定する。また、情報処理装置３は、先の動画像及びセンサ１１からのデータに着目し、熟練者の３次元状態（例：歩行・昇降・転倒等）を推定する。

【0052】

次のステップＳＴ１０４において、情報処理装置３は、オブジェクト（Ａ）と骨格３次元データ（Ｂ）とを統合して熟練者の動作モデルデータ（Ａ＋Ｂ）を生成する。生成された動作モデルデータは、所定の記憶領域（情報処理装置３又はサーバ装置２０）に記憶される。

【0053】

次に画面表示フローについて説明する。なお、図５のステップＳＴ２０１－２０４においては、図４のステップＳＴ１０１－１０４の「熟練者」を「作業者」に読み替え、「動作モデルデータ」を「実動作データ」に読み替えたものと同じである。

【0054】

図５に示すように、先ずステップＳＴ２０１において、情報処理装置３は、各種データを取得する。具体的に情報処理装置３は、状態検出装置１から作業者の所定作業における姿勢・状態に関するデータを取得し、撮像装置２から作業者の周囲環境に対応した画像データ（撮像画像）を取得する。

【0055】

次のステップＳＴ２０２において、情報処理装置３は、撮像装置２の撮像画像から現場環境に対応した所定のオブジェクト（Ｃ）を時系列毎に抽出する。例えば、情報処理装置３は、撮像装置２に記録された作業者の身体の動画像と、作業者の周囲を映した動画像の双方に着目し、作業中に何のオブジェクト(例：柱・梁・工具等)がどのタイミングで関与しているかを抽出する。なお、オブジェクトの抽出にあたっては、予め現場の各オブジェクトを学習したＡＩモデルを活用することが可能である。

【0056】

次のステップＳＴ２０３において、情報処理装置３は、作業者の所定作業における状態・姿勢を推定した骨格３次元データ（Ｄ）を生成する。例えば、情報処理装置３は、撮像装置２に記録された作業者の身体の動画像と、作業者の周囲を映した動画像の双方に着目し、作業者の３次元姿勢（例：直立・しゃがむ・寝そべり等）を推定する。また、情報処理装置３は、先の動画像及びセンサ１１からのデータに着目し、作業者の３次元状態（例：歩行・昇降・転倒等）を推定する。

【0057】

次のステップＳＴ２０４において、情報処理装置３は、オブジェクト（Ｃ）と骨格３次元データ（Ｄ）とを統合して作業者の実動作データ（Ｃ＋Ｄ）を生成する。

【0058】

次のステップＳＴ２０５において、情報処理装置３は、サーバ装置２０から熟練者の動作モデルデータを読み出し、作業者の実動作データと比較・照合する。

【0059】

次のステップＳＴ２０６において、情報処理装置３は、熟練者の動作モデルデータを作業者の状態（実動作データ）に応じて変換し、画面に重畳表示する。熟練者と作業者の作業現場は必ずしも一致するものではなく、実際の作業者の動作を熟練者の動作モデルデータに反映することにより、教示データ（変換後の動作モデルデータ）の現実空間における再現性を高めることが可能である。

【0060】

次のステップＳＴ２０７において、情報処理装置３は、変換後の動作モデルデータと実動作データとの比較結果を画面に重畳表示する。これにより、作業者の動作が熟練者と一致しているか否かがフィードバックされ、作業者の動作の正確性を作業者が視覚的に認識することが可能である。例えば情報処理装置３は、変換後の動作モデルデータと実動作データとの画面上でのズレ量が所定閾値内であるか否かに基づいて、その作業が正しい動作に基づくものか否かを判定してもよい。

【0061】

このような画面表示フローによれば、例えば図６及び図７に示すように、画面上に作業者の実動作データに基づく画像が実線で表示され、熟練者の変換後の動作モデルデータが二点鎖線で表示されている。画面の左上には、作業順序や作業時間が表示されている。また、図７に示すように、変換後の動作モデルデータと実動作データとの画面上でのズレ量が所定閾値内である場合、その作業は正しい動作に基づくものとして、「ＯＫ！」のメッセージが表示されている。例えば変換後の動作モデルデータと実動作データとの画面上でのズレ量が所定閾値を超える場合、その作業は正しい動作に基づくものではないとして、「ＮＧ！」のメッセージを表示してもよい。このようなメッセージ（アラート）は、画面上に表示される場合に限らず、音声によって報知されてもよい。また、情報処理装置３は、図６のＳｔｅｐ１の作業でＯＫの判定が出た場合に次の図７に示すＳｔｅｐ２に進むように画像表示を制御してもよい。

【0062】

以上説明したように、本実施の形態によれば、予め取得した熟練者の所定作業における動作モデルデータを現実の作業者の視覚空間に合わせて変換して画面に表示することにより、実際の作業者の学習効率を高めることが可能である。

【0063】

図８は、情報処理装置３又はサーバ装置２０を実現するためのコンピュータの一例を示す図である。説明の便宜上、情報処理装置３とサーバ装置２０とで共通の符号を付して説明する。

【0064】

図８に示すコンピュータ７０は、プロセッサ７１と、メモリ７２と、記憶装置７３と、読取装置７４と、通信インタフェース７５と、入出力インタフェース７６とを備える。なお、プロセッサ７１、メモリ７２、記憶装置７３、読取装置７４、通信インタフェース７５、及び入出力インタフェース７６は、バス７７を介して互いに接続されている。

【0065】

プロセッサ７１は、シングルプロセッサまたはマルチプロセッサまたはマルチコアなどにより構成される。また、プロセッサ７１は、記憶装置７３に格納されているプログラムを読み出し、メモリ７２を利用して、図４、５に示すフローチャートの手順を記述したプログラムを実行することにより、制御部（例えば抽出部３１、推定部３２、統合部３３、及び制御部３４）の一部または全部の機能を提供する。

【0066】

メモリ７２は、半導体メモリなどであり、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）領域およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）領域を含んでいてよい。

【0067】

記憶装置７３は、ハードディスクやフラッシュメモリなどの半導体メモリ、または、外部記憶装置である。

【0068】

読取装置７４は、プロセッサ７１の指示に従って着脱可能記憶媒体７８にアクセスする。着脱可能記憶媒体７８は、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどである。また、磁気的作用により情報が入出力される媒体は、磁気ディスクなどである。光学的作用により情報が入出力される媒体は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ（Ｂｌｕ－ｒａｙは登録商標）などである。

【0069】

通信インタフェース７５は、プロセッサ７１の指示に従って、他の装置と通信する。例えば、情報処理装置３は、通信インタフェース７５を介して状態検出装置１、撮像装置２及びサーバ装置２０から情報を収集する。

【0070】

入出力インタフェース７６は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、対象者や複合現実データ、拡張現実データ、又は仮想現実データを確認する管理者からの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、ディスプレイなどの表示装置、または、スピーカなどの音声装置である。

【0071】

実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置３に提供される。
（１）記憶装置７３に予めインストールされている。
（２）着脱可能記憶媒体７８により提供される。
（３）プログラムサーバなどのサーバから提供される。

【0072】

なお、図８を参照して述べた情報処理装置３又はサーバ装置２０を実現するためのコンピュータ７０のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の情報処理装置３の一部または全部の機能がＦＰＧＡ、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、または、ＰＬＤなどによるハードウェアとして実装されてもよい。

【0073】

以上において、実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

【符号の説明】

【0074】

１００ 技術伝承トレースシステム
１ 状態検出装置
２ 撮像装置
３ 情報処理装置
４ 表示装置
５ ヘルメット
１０ ヘッドマウントディスプレイ装置（ウェアラブル端末）
１１ センサ
１２ メモリ
２１ カメラ
２２ メモリ
３１ 抽出部
３２ 推定部
３３ 統合部
３４ 比較部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】