特許 6105180 作業支援装置、作業支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6105180

(24)【登録日】2017年3月10日

(45)【発行日】2017年3月29日

(54)【発明の名称】作業支援装置、作業支援方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20170316BHJP

【ＦＩ】

   G06T19/00 600

【請求項の数】17

【全頁数】16

(21)【出願番号】特願2016-567707(P2016-567707)

(86)(22)【出願日】2016年6月16日

(86)【国際出願番号】JP2016067866

【審査請求日】2016年11月11日

(31)【優先権主張番号】特願2015-166259(P2015-166259)

(32)【優先日】2015年8月25日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000191076

【氏名又は名称】新日鉄住金ソリューションズ株式会社

(74)【代理人】

【識別番号】100117857

【弁理士】

【氏名又は名称】南林 薫

(72)【発明者】

【氏名】井上 和佳

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１１−２４８８６０（ＪＰ，Ａ）

【文献】 特開２０１４−１１９７８６（ＪＰ，Ａ）

【文献】 特開２０１２−２３４４０６（ＪＰ，Ａ）

【文献】 特開２０１２−１９８６４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０９Ｂ １９／００

Ｇ０９Ｇ ５／００

Ｇ０５Ｂ １９／４１８

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

作業者が装着する光透過型の表示装置が、作業者による作業の支援画像候補を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、
前記作業に対する複数の支援画像候補それぞれと、各支援画像を表示した場合の前記作業結果と、を対応付けて記憶手段に記録する記録手段と、
前記作業結果に基づいて、前記複数の支援画像候補の中から前記作業の支援画像とする支援画像候補を決定する決定手段と
を有する作業支援装置。

【請求項2】

前記作業結果に基づいて、前記支援画像候補ごとの作業の成功率を特定する特定手段をさらに有し、
前記決定手段は、前記成功率に基づいて、前記支援画像候補を決定する請求項１に記載の作業支援装置。

【請求項3】

前記記録手段は、前記支援画像候補に対応付けて、前記支援画像候補を表示した場合に作業に要した作業時間をさらに記録し、
前記決定手段は、前記作業時間及び前記成功率に基づいて、前記支援画像候補を決定する請求項２に記載の作業支援装置。

【請求項4】

前記決定手段により決定された前記支援画像を前記表示装置に送信する送信手段をさらに有する請求項１乃至３何れか１項に記載の作業支援装置。

【請求項5】

作業者が装着する光透過型の表示装置が、作業者による作業の支援画像候補を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、
前記作業に対する複数の支援画像候補それぞれと、各支援画像候補を表示した場合の前記作業結果と、を記憶手段に記録する記録手段と、
前記支援画像候補ごとの前記作業結果を解析する解析手段と、
前記解析手段による解析結果を表示する表示手段と、
を有する作業支援装置。

【請求項6】

前記表示手段の表示に対応し、前記支援画像の選択指示を受け付ける受付手段と、
前記選択指示に係る前記支援画像候補を、前記作業の支援画像として決定する決定手段と
をさらに有する請求項５に記載の作業支援装置。

【請求項7】

作業者が装着する光透過型の表示装置が、作業者による作業の支援画像を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、
作業属性と、前記作業結果と、を対応付けて記憶手段に記録する記録手段と、
前記作業属性ごとの前記作業結果を解析する解析手段と、
前記解析手段による解析結果を表示する表示手段と
を有する作業支援装置。

【請求項8】

前記表示手段の表示に対応し、前記支援画像の編集指示を受け付ける受付手段と、
前記編集指示に従い、前記支援画像を編集する編集手段と
をさらに有する請求項７に記載の作業支援装置。

【請求項9】

作業者が装着する、現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置が、作業者による作業の支援画像候補を現実空間の撮影画像に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、
前記作業に対する複数の支援画像候補それぞれと、各支援画像を表示した場合の前記作業結果と、を対応付けて記憶手段に記録する記録手段と、
前記作業結果に基づいて、前記複数の支援画像候補の中から前記作業の支援画像とする支援画像候補を決定する決定手段と
を有する作業支援装置。

【請求項10】

作業者が装着する、現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置が、作業者による作業の支援画像候補を現実空間の撮影画像に重畳して表示した場合の、作業者による作業結果に関する情報を、前記作業に対する複数の支援画像候補それぞれを特定する情報と関連付けて記憶手段に記録する記録手段と、
前記支援画像候補ごとの前記作業結果を解析する解析手段と、
前記解析手段による解析結果を出力する出力手段と
を有する作業支援装置。

【請求項11】

作業者が装着する、現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置が、作業者による作業の支援画像を現実空間の撮影画像に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、
作業属性と、前記作業結果と、を対応付けて記憶手段に記録する記録手段と、
前記作業属性ごとの前記作業結果を解析する解析手段と、
前記解析手段による解析結果を表示する表示手段と
を有する作業支援装置。

【請求項12】

作業支援装置が実行する作業支援方法であって、
作業者が装着する光透過型の表示装置が、作業者による作業の支援画像候補を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付ステップと、
前記作業に対する複数の支援画像候補それぞれと、各支援画像を表示した場合の前記作業結果と、を対応付けて記憶手段に記録する記録ステップと、
前記作業結果に基づいて、前記複数の支援画像候補の中から前記作業の支援画像とする支援画像候補を決定する決定ステップと
を含む作業支援方法。

【請求項13】

作業支援装置が実行する作業支援方法であって、
作業者が装着する、現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置が、作業者による作業の支援画像候補を現実空間の撮影画像に重畳して表示した場合の、作業者による作業結果に関する情報を、前記作業に対する複数の支援画像候補それぞれを特定する情報と関連付けて記憶手段に記録する記録ステップと、
前記支援画像候補ごとの前記作業結果を解析する解析ステップと、
前記解析ステップによる解析結果を出力する出力ステップと
を含む作業支援方法。

【請求項14】

作業支援装置が実行する作業支援方法であって、
作業者が装着する光透過型の表示装置が、作業者による作業の支援画像を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付ステップと、
作業属性と、前記作業結果と、を対応付けて記憶手段に記録する記録ステップと、
前記作業属性ごとの前記作業結果を解析する解析ステップと、
前記解析ステップで得られた解析結果を表示する表示ステップと
を含む作業支援方法。

【請求項15】

コンピュータを、
作業者が装着する光透過型の表示装置が、作業者による作業の支援画像候補を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、
前記作業に対する複数の支援画像候補それぞれと、各支援画像を表示した場合の前記作業結果と、を対応付けて記憶手段に記録する記録手段と、
前記作業結果に基づいて、前記複数の支援画像候補の中から前記作業の支援画像とする支援画像候補を決定する決定手段と
して機能させるためのプログラム。

【請求項16】

コンピュータを、
作業者が装着する、現実空間の撮影画像に、他の画像を重畳して表示可能な表示装置が、作業者による作業の支援画像候補を現実空間の撮影画像に重畳して表示した場合の、作業者による作業結果に関する情報を、前記作業に対する複数の支援画像候補それぞれを特定する情報と関連付けて記憶手段に記録する記録と、
前記支援画像候補ごとの前記作業結果を解析する解析手段と、
前記解析手段による解析結果を出力する出力手段と
して機能させるためのプログラム。

【請求項17】

コンピュータを、
作業者が装着する光透過型の表示装置が、作業者による作業の支援画像を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、
作業属性と、前記作業結果と、を対応付けて記憶手段に記録する記録手段と、
前記作業属性ごとの前記作業結果を解析する解析手段と、
前記解析手段による解析結果を表示する表示手段と
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業支援装置、作業支援方法及びプログラムに関する。

【背景技術】

【0002】

近年、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下ＡＲ）技術を利用した作業支援技術が知られている。作業支援の技術として、特許文献１には、作業者が装着する装着型ＡＲ表示装置に、現実空間に重畳して、障害復旧作業に係る情報を表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−２４８８６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術においては、ＡＲ表示装置に表示された、作業支援情報が実際の作業の支援にどの程度貢献しているのか不明であり、必ずしも適切な情報が表示されているとは限らないという問題があった。

【0005】

本発明はこのような問題点に鑑みなされたもので、ＡＲ表示を利用した作業の更なる効率化を図ることを目的とする。

【課題を解決するための手段】

【0006】

そこで、本発明は、作業支援装置であって、作業者が装着する光透過型の表示装置が、作業者による作業の支援画像候補を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、前記作業に対する複数の支援画像候補それぞれと、各支援画像を表示した場合の前記作業結果と、を対応付けて記憶手段に記録する記録手段と、前記作業結果に基づいて、前記複数の支援画像候補の中から前記作業の支援画像とする支援画像候補を決定する決定手段とを有する。

【発明の効果】

【0007】

本発明によれば、ＡＲ表示を利用した作業の更なる効率化を図ることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、作業支援システムを示す図である。

【図2】図２は、ＡＲ表示装置を示す図である。

【図3】図３は、管理装置を示す図である。

【図4】図４は、作業テーブルの一例を示す図である。

【図5】図５は、支援画像テーブルの一例を示す図である。

【図6A】図６Ａは、支援画像候補の説明図である。

【図6B】図６Ｂは、支援画像候補の説明図である。

【図7】図７は、支援画像候補の説明図である。

【図8A】図８Ａは、支援画像候補の説明図である。

【図8B】図８Ｂは、支援画像候補の説明図である。

【図8C】図８Ｃは、支援画像候補の説明図である。

【図9】図９は、作業者テーブルの一例を示す図である。

【図10】図１０は、作業者属性テーブルの一例を示す図である。

【図11】図１１は、作業支援システムの処理を示すフローチャートである。

【図12】図１２は、作業結果テーブルの一例を示す図である。

【図13】図１３は、支援画像設定処理を示すフローチャートである。

【図14】図１４は、支援画像候補の平均作業時間と成功率の一例を示す図である。

【図15】図１５は、生体情報テーブルの一例を示す図である。

【図16】図１６は、第２の変更例に係る支援画像設定処理を示すフローチャートである。

【図17】図１７は、第４の変更例の説明図である。

【図18】図１８は、第６の変更例の説明図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面に基づいて説明する。

【0010】

図１は、本実施形態に係る作業支援システムを示す図である。作業支援システムは、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下ＡＲと称する）表示装置３００と、作業支援装置としての管理装置３１０とを有している。ＡＲ表示装置３００は、眼鏡型のデバイスである。本実施形態においては、工場において、作業者がＡＲ表示装置３００を装着して作業を行うものとする。作業としては、例えば、機器３２０の操作が挙げられる。

【0011】

ＡＲ表示装置３００はまた、光透過型の表示装置であり、眼鏡のレンズ部分に相当する位置には、光透過型の表示部３０５が設けられている。ＡＲ表示装置３００を装着した作業者は、ＡＲ表示装置３００の表示部３０５を介して、現実空間において、視線の先に存在する物体を見ることができる。さらに、表示部３０５には任意の画像が表示されるので、ＡＲ表示装置３００を装着した作業者は、表示部３０５を通して見ている現実空間に、任意の画像が重畳された状態、即ち拡張現実空間（ＡＲ空間）を認識することができる。ＡＲ表示装置３００は、現実空間に重畳して画像を表示可能な表示装置である。本実施形態に係るＡＲ表示装置３００は、作業者による作業時に、表示部３０５に作業を支援するための支援画像等を表示する。

【0012】

さらに、表示部３０５に隣接する位置に撮影部３０７が設けられている。撮影部３０７は、撮影方向がＡＲ表示装置３００の装着者の視線方向と、撮影部３０７の撮影方向とが一致する関係になるように設置されているものとする。これにより、撮影部３０７は、ＡＲ表示装置３００を装着する作業者が見ている現実空間の画像を撮影することができる。なお、他の例としては、撮影部３０７は、撮影方向と装着者の視線方向とが一定の関係になるように設置されていてもよい。

【0013】

管理装置３１０は、ＡＲ表示装置３００が表示する情報を管理する。ＡＲ表示装置３００は、ネットワークを介して管理装置３１０と通信可能であるものとする。管理装置３１０は、例えば、支援画像を記憶しており、支援装置をＡＲ表示装置３００に送信する。管理装置３１０はまた、支援画像の候補となる支援画像候補を記憶しており、支援画像候補を表示した場合の作業者による作業の成功又は失敗の作業結果に基づいて、支援画像候補の中から支援画像を選択し、これを作業に対する支援画像として設定する。

【0014】

図２は、ＡＲ表示装置３００を示す図である。ＡＲ表示装置３００は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、通信Ｉ／Ｆ３０４と、表示部３０５と、マイク３０６と、撮影部３０７と、を有している。ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、後述するＡＲ表示装置３００の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

【0015】

通信Ｉ／Ｆ３０４は、ネットワークを介して、管理装置３１０との通信処理を行う。表示部３０５は、各種情報を表示する。マイク３０６は、ＡＲ表示装置３００を装着した作業者の発話等の音声を入力する。なお、音声は、ＣＰＵ３０１に送られ、ＣＰＵ３０１において音声認識処理が行われる。ＣＰＵ３０１は、音声認識の結果から、ユーザによる各種指示を受け付けることができる。撮影部３０７は、現実空間の撮影を行う。

【0016】

図３は、管理装置３１０を示す図である。管理装置３１０は、コンピュータの一例であり、ＣＰＵ３１１と、ＲＯＭ３１２と、ＲＡＭ３１３と、通信Ｉ／Ｆ３１４と、表示部３１５と、入力部３１６と、ＨＤＤ３１７と、を有している。ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３及び通信Ｉ／Ｆ３１４は、それぞれＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３及び通信Ｉ／Ｆ３０４と同様である。表示部３１５は、各種情報を表示する。入力部３１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。ＨＤＤ３１７は、データや各種プログラム等を記憶する。後述する管理装置３１０の機能や処理は、ＣＰＵ３１１がＲＯＭ３１２又はＨＤＤ３１７に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

【0017】

次に、管理装置３１０がＨＤＤ３１７等の記憶部に記憶している情報について説明する。図４は、作業テーブル３３０の一例を示す図である。作業テーブル３３０は、作業ＩＤと、作業内容と、を対応付けて記憶している。ここで、作業内容とは、作業者が行う作業の内容を示す情報である。図４に示す例においては、機器操作、完成品組立、中間品組立、二次加工、検査・点検、洗浄・清掃が作業内容として記録されている。なお、作業ＩＤは、作業内容の識別情報である。なお、図４に示す機器操作Ａは、図１に示す機器３２０に対する操作を示すものとする。

【0018】

図５は、支援画像テーブル３３１の一例を示す図である。支援画像テーブル３３１は、作業ＩＤと、候補ＩＤと、支援画像候補とを対応付けて記憶している。ここで、支援画像候補とは、作業時にＡＲ表示装置３００の表示部３０５に表示させる支援画像の候補画像である。候補ＩＤは、支援画像候補の識別情報である。図５の例において、作業ＩＤ「Ｔ０１」に対し、複数の支援画像が対応付けられている。このように支援画像テーブル３３１は、１つの作業に対し、１又は複数の支援画像候補を対応付けて記憶している。ここで、支援画像候補は、１又は２以上の画像を含むものとする。また、本実施形態においては、支援画像候補は、静止画であるものとするが、他の例としては、支援画像候補は、動画やアニメーション画像であってもよい。本実施形態においては、支援画像候補「Ａ」、「Ｂ」は、１つの画像のみを含むのに対し支援画像候補「Ｃ」は、複数の画像を含んでいるものとする。

【0019】

ここで、支援画像候補について説明する。図６Ａは、「Ａ」の支援画像候補４００の一例を示す図である。支援画像候補４００は、機器３２０の操作を支援するための画像であり、作業者が機器３２０の前に立った際に、表示部３０５に表示される。図６Ａに示す支援画像候補は、支援内容を示す画像４０１を含んでいる。図６Ｂは、図６Ａに示す支援画像候補４００が現実空間に存在する機器３２０上に重畳されたＡＲ空間４１０を示す図である。作業者は、図６Ｂに示すようなＡＲ空間４１０を把握することができるので、視線を操作対象の機器３２０から移動させることなく、表示部３０５に表示された内容を参考に、操作（作業）を行うことができる。

【0020】

図７は、「Ｂ」の支援画像候補４２０の表示例を示す図である。なお、図７は、支援画像候補４２０が、現実空間に存在する機器３２０上に重畳された状態を示している。支援画像候補４２０は、機器３２０に対して行う３つの作業それぞれの支援内容を示す３つの画像４２１，４２２，４２３を含んでいる。各画像４２１，４２２，４２３は、それぞれ、操作対象物に近い位置に表示されている。

【0021】

図８Ａ、図８Ｂ及び図８Ｃは、それぞれ「Ｃ」の支援画像候補に含まれる３つの画像４３０，４４０，４５０を示す図である。作業内容「機器操作Ａ」が３つの作業を含んでおり、これに対応して、「Ｃ」の支援画像候補は、各作業に対応する３つの画像４３０，４４０，４５０を含んでいる。図８Ａに示す画像４３０は、１番目の作業内容を示す２つの画像４３１，４３２を含んでいる。図８Ｂに示す画像４４０は、２番目の作業内容を示す２つの画像４４１，４４２を含んでいる。図８Ｃに示す画像４５０は、３番目の作業内容を示す２つの画像４５１，４５２を含んでいる。

【0022】

なお、ＡＲ表示装置３００のＣＰＵ３０１は、操作時の画像（動画又は静止画）を撮影し、撮影画像に対するジェスチャ認識等の処理により、各作業の完了を検知するものとする。そして、ＣＰＵ３０１は、作業完了を検知したタイミングで、表示部３０５の表示を画像４３０から画像４４０へ、画像４４０から画像４５０へと、切り替えて表示する。以上のように、各支援画像候補は、互いに異なる方法、表示内容で作業を支援するための画像情報である。

【0023】

なお、作業テーブル３３０及び支援画像テーブル３３１は、例えば、管理装置３１０の設計時等に設計者等により設定登録されるものとする。また、作業テーブル３３０及び支援画像テーブル３３１のレコードは、ＣＰＵ３１１が、管理者等の操作に従い、適宜追加、変更、削除が可能であるものとする。

【0024】

図９は、作業者テーブル３３２の一例を示す図である。作業者テーブル３３２は、作業者ＩＤと、作業者情報と、を対応付けて記憶している。作業者情報は、作業者に関する情報である。本実施形態においては、作業者情報は、生年月日と、性別と、国籍と、作業開始年と含んでいる。作業開始年は、各作業を開始した年を示す情報である。図９に示す例では、「Ａ０１」の作業者は、「Ｔ０１」の作業を２０１４年に開始し、「Ｔ０２」の作業を２０１３年に開始したことを示している。なお、作業者テーブル３３２は、例えば、管理装置３１０の設計時等に設計者等により設定登録されるものとする。また、作業者テーブル３３２のレコードは、管理者等の操作により、適宜追加、変更、削除が可能であるものとする。例えば、作業者が新たな作業に従事するようになったとする。この場合、ＣＰＵ３１１は、管理者等の操作に従い、作業者テーブル３３２において、作業者の作業者ＩＤに対応付けて、新たに従事するようになった作業の作業ＩＤと作業開始年とを対応付けて作業者テーブル３３２に登録する。

【0025】

図１０は、作業者属性テーブル３３３の一例を示す図である。作業者属性テーブル３３３は、作業者属性コードと、作業者属性と、を対応付けて記憶している。ここで、作業者属性は、作業者を、作業者の特徴に応じて分類するための種別である。本実施形態においては、作業者属性は、年齢層、性別、国籍及び経験年数を含むものとするが、作業者属性の具体的な内容は実施形態に限定されるものではない。管理装置３１０は、作業者テーブル３３２に登録されている作業者情報と、作業者属性テーブル３３３に登録されている作業者属性とを比較することにより、各作業者がいずれの作業者属性に属するかを特定することができる。

【0026】

なお、作業者属性テーブル３３３は、例えば管理装置３１０の設計時等に、ＣＰＵ３１１による、設計者等の操作に従った処理により、設定登録されるものとする。また、作業者属性テーブル３３３のレコードは、ＣＰＵ３１１により、管理者等の操作に従い、適宜追加、変更、削除が可能であるものとする。

【0027】

図１１は、作業支援システムの処理を示すフローチャートである。ＡＲ表示装置３００を装着した作業者が作業を行う機器３２０に近付くと、ＡＲ表示装置３００のＣＰＵ３０１は、撮影部３０７により撮影された撮影画像から、機器３２０に付与された二次元コードを認識する。ここで、二次元コードには、機器３２０において行われる作業内容の作業ＩＤが示されている。Ｓ２００において、ＡＲ表示装置３００のＣＰＵ３０１は、二次元コードに対応する作業ＩＤを受け付ける。次に、Ｓ２０１において、ＡＲ表示装置３００のＣＰＵ３０１は、作業ＩＤと、作業者ＩＤとを対応付けて、管理装置３１０に送信する。なお、作業者ＩＤは、予めＡＲ表示装置３００のＲＯＭ３０２等に格納されているものとする。

【0028】

なお、ＡＲ表示装置３００が作業ＩＤを受け付けるための処理は、実施形態に限定されるものではない。他の例としては、ＣＰＵ３０１は、作業者による発話により入力された作業ＩＤを受け付けてもよい。

【0029】

次に、Ｓ２０２において、管理装置３１０のＣＰＵ３１１は、支援画像テーブル３３１を参照し、受信した作業ＩＤに対応付けられている複数の支援画像候補を特定する。そして、ＣＰＵ３１１は、特定した複数の支援画像候補の中から１つの支援画像候補を選択する。次に、Ｓ２０３において、管理装置３１０のＣＰＵ３１１は、Ｓ２０２において選択した支援画像候補をＡＲ表示装置３００に送信する。ＣＰＵ３１１は、例えば、作業ＩＤ「Ｔ０１」を受信した場合には、図５に示す支援画像テーブル３３１において、作業ＩＤ「Ｔ０１」に対応付けられた支援画像候補「Ａ」〜「Ｃ」を特定する。そして、ＣＰＵ３１１は、支援画像候補「Ａ」〜「Ｃ」の中から１つの支援画像候補を選択する。なお、いずれの支援画像候補を選択するかについては後に説明する。

【0030】

次に、Ｓ２０４において、ＡＲ表示装置３００のＣＰＵ３０１は、受信した支援画像候補を、現実空間に存在する機器３２０に重畳して表示する。具体的には、ＣＰＵ３０１は、撮影部３０７により撮影された撮影画像から画像認識により、作業対象物の画像を抽出し、作業対象物（機器３２０）の画像の撮影画像中の位置を特定する。そして、ＣＰＵ３０１は、撮影方向と視線方向の関係に基づいて、支援画像候補を機器３２０に重畳して表示する。

【0031】

次に、Ｓ２０５において、ＡＲ表示装置３００のＣＰＵ３０１は、作業開始日時を特定する。より具体的には、ＣＰＵ３０１は、作業者による「作業開始」等の作業開始を意味する予め定められた発話がマイク３０６に入力された場合に、この発話の入力タイミングを作業開始日時として特定する。次に、Ｓ２０６において、ＡＲ表示装置３００のＣＰＵ３０１は、作業終了日時を特定する。より具体的には、ＣＰＵ３０１は、作業者による「作業終了」等の作業終了を意味する予め定められた発話がマイク３０６に入力された場合に、この発話の入力タイミングを作業終了日時として特定する。

【0032】

次に、Ｓ２０７において、ＡＲ表示装置３００のＣＰＵ３０１は、作業者から入力された作業結果を受け付ける。ここで、作業結果は、作業の成功又は失敗を示す情報である。作業者は、作業が正常に完了した場合には、作業成功を入力し、作業が完了しなかった場合、誤った作業を行った場合等、作業が正常に完了しなかった場合には、作業失敗を入力するものとする。次に、Ｓ２０８において、ＡＲ表示装置３００のＣＰＵ３０１は、作業情報を管理装置３１０に送信する。ここで、作業情報は、作業開始日時、作業終了日時及び作業結果を含むものとする。これに対応し、管理装置３１０のＣＰＵ３１１は、作業情報を受信する。すなわち、Ｓ２０８の処理は、作業結果を受け付ける受付処理の一例である。次に、Ｓ２０９において、管理装置３１０のＣＰＵ３１１は、作業結果を、作業ＩＤに対応付けて作業結果テーブルに記録する。

【0033】

なお、管理装置３１０は、作業情報をＡＲ表示装置３００以外の装置から受信してもよい。例えば、作業対象の機器３２０が作業開始日時及び作業終了日時を検知可能な場合には、管理装置３１０は、作業対象の機器３２０から作業開始日時及び作業終了日時を受信してもよい。また、作業者が作業対象の機器３２０に作業結果を入力し、管理装置３１０は、機器３２０から作業結果を受信してもよい。また、他の例としては、作業を統括する統括者が、ＰＣ等の装置に結果を入力し、管理装置３１０は、ＰＣ等の装置から作業結果を、作業開始又は作業終了時間に対応付けて受信してもよい。

【0034】

図１２は、作業結果テーブル３３４の一例を示す図である。作業結果テーブル３３４は、作業ＩＤと、候補ＩＤと、作業開始日時と、作業終了日時と、作業時間と、作業者属性コードと、作業結果と、を対応付けて記憶している。Ｓ２０９において、ＣＰＵ３０１は、Ｓ２０１において受信した作業ＩＤに対応付けて、候補ＩＤ、作業開始日時、作業終了日時、作業時間、作業者属性コード及び作業結果を記録する。すなわち、ＣＰＵ３０１は、Ｓ２０２において特定した支援画像候補の候補ＩＤを記録する。また、ＣＰＵ３０１は、Ｓ２０８において受信した作業情報に含まれる、作業開始日時、作業終了日時及び作業結果を記録する。また、ＣＰＵ３０１は、Ｓ２０１において受信した作業者ＩＤに対応する作業者情報（図９）から作業者属性テーブル３３３を参照して、作業者属性ＩＤを特定し、特定した作業者属性ＩＤを記録する。また、ＣＰＵ３０１は、作業開始日時と作業終了日時から作業時間を求め、求めた作業時間を記録する。

【0035】

作業支援システムは、１又は２以上の作業者が機器３２０に対し、作業ＩＤ「Ｔ０１」により特定される「機器操作Ａ」の作業を行う度に、図１１に示す処理を行う。これにより、図１２に示すように、複数の支援画像それぞれに対応付けて、作業結果等の情報を記録することができる。

【0036】

なお、管理装置３１０は、支援画像テーブルに記録されている各支援画像候補に対する作業結果を記録するために、例えば以下のような処理を行う。すなわち、管理装置３１０のＣＰＵ３１１は、例えば、任意の日を開始日として、Ｓ２０２において、１週目は支援画像候補「Ａ」、２週目は支援画像候補「Ｂ」、３週目は支援画像候補「Ｃ」を選択するように設定しておくこととする。これにより、３週が経過した時点において、各支援画像候補に対する、１週間分の作業結果が記録された作業結果テーブルを得ることができる。ここで、Ｓ２０９の処理は、複数の支援画像候補それぞれと、各支援画像候補を表示した場合の作業結果と、を対応付けて記憶部に記録する記録処理の一例である。

【0037】

なお、図１２には、作業ＩＤ「Ｔ０１」で識別される作業内容「機器操作Ａ」に対する作業結果のみを示したが、他の作業が行われた場合には、作業結果テーブル３３４には、他の作業内容に対する作業結果についても同様に記録される。

【0038】

図１３は、管理装置３１０による支援画像設定処理を示すフローチャートである。管理装置３１０は、図１１に示す処理において、作業結果テーブル３３４に作業結果が記録された後に、Ｓ２１０において、管理者等から解析指示の入力を受け付ける。次に、Ｓ３１０のＣＰＵ３１１は、作業結果を解析する解析処理として、Ｓ２１１，Ｓ２１２の処理を行う。すなわち、Ｓ２１１において、管理装置３１０のＣＰＵ３１１は、作業結果テーブル３３４に記録されている情報に基づいて、支援画像候補ごとの成功率を特定する（成功率特定処理）。ここで、成功率とは、支援画像候補を表示して行われた作業の総数に対する、支援画像候補を表示した場合の作業結果が成功であった作業の数の割合である。管理装置３１０のＣＰＵ３１１は、より具体的には、各候補ＩＤに対応付けられているレコードの総数に対する、作業結果が成功の作業結果のレコードの数を成功率として算出する。

【0039】

次に、Ｓ２１２において、管理装置３１０のＣＰＵ３１１は、作業結果テーブル３３４において、各候補ＩＤに対応付けられている作業時間に基づいて、支援画像候補ごとの平均作業時間を算出する。図１４は、作業ＩＤ「Ｔ０１」の作業内容「機器操作Ａ」に対応付けられている３つの支援画像候補（候補ＩＤ「Ｉ０１」、「Ｉ０２」、「Ｉ０３」）それぞれに対して算出された、平均作業時間及び成功率の一例を示す図である。

【0040】

次に、Ｓ２１３において、管理装置３１０のＣＰＵ３１１は、平均作業時間と成功率を参照し、１つの作業に対応付けられている複数の支援画像候補の中から、作業に対する支援画像として設定する支援画像候補を決定する（決定処理）。より具体的には、ＣＰＵ３１１は、平均作業時間が短く、かつ高い成功率が得られた支援画像候補を、支援画像として決定するものとする。なお、ＣＰＵ３１１は、作業結果及び作業時間に基づいて、支援画像を決定すればよく、そのための処理は実施形態に限定されるものではない。さらに、ＣＰＵ３１１は、作業結果のみに基づいて、支援画像を決定してもよい。

【0041】

Ｓ２１３において、ＣＰＵ３１１は、さらに支援画像として決定した支援画像候補の候補ＩＤを作業ＩＤに対応付けて記録する。以上で支援画像設定処理が完了する。その後、管理装置３１０のＣＰＵ３１１は、ＡＲ表示装置３００から作業ＩＤを受信すると、作業ＩＤに対応付けて記録された支援画像をＡＲ表示装置３００に送信する（送信処理）。これにより、ＡＲ表示装置３００は、作業者による作業時に、作業に対して設定された適切な支援画像を表示することができる。

【0042】

以上のように、本実施形態においては、ＡＲ表示装置３００を装着した作業者に作業を行わせることとし、ＡＲ表示装置３００は、作業時に支援画像候補を現実空間に重畳して表示する。そして、管理装置３１０は、作業画像候補を表示した場合の、作業結果に基づいて、適切な支援画像を作業に対して設定することができる。これにより、作業者は、適切な支援画像を見ながら、作業を行うことができるようになる。すなわち、本実施形態に係る作業支援システムは、ＡＲ表示を利用した作業の更なる効率化を図ることができる。

【0043】

本実施形態の第１の変更例としては、管理装置３１０は、作業者の生体情報に基づいて、作業者の体調不良時の作業結果を除外した上で、解析処理（図１３の成功率算出処理（Ｓ２１１）及び平均作業時間の算出（Ｓ２１２））を行うこととしてもよい。より具体的には、作業者は、ＡＲ表示装置３００と共に、生体情報を検出する検出器（不図示）をさらに装着するものとする。本例においては、生体情報は、装着者の脈拍、最高血圧、最低血圧及び体温を含むものとするが、これらに限定されるものではない。

【0044】

そして、管理装置３１０のＣＰＵ３１１は、検出器から、定期的に作業者ＩＤと、検出日時と、装着者の生体情報を受信し、生体情報テーブル３３６に記録する。図１５は、生体情報テーブル３３６の一例を示す図である。生体情報テーブル３３６は、作業者ＩＤと、検知日時と、生体情報と、を対応付けて記憶している。また、管理装置３１０のＨＤＤ３１７等の記憶部には、生体情報に含まれる各値（脈拍、最高血圧、最低血圧及び体温）の正常範囲が予め設定されているものとする。管理装置３１０のＣＰＵ３１１は、正常範囲外の値を示す生体情報が得られた検知日時を特定する。そして、ＣＰＵ３１１は、作業結果テーブル３３４を参照し、正常範囲外の値を示す生体情報が得られた検知日時を作業時間帯に含むレコードを除外レコードとして特定する。そして、管理装置３１０のＣＰＵ３１１は、Ｓ２１１及びＳ２１２において、除外レコード以外のレコードを処理対象として、成功率及び平均作業時間を算出する。

【0045】

第２の変更例としては、管理装置３１０は、解析結果を表示部３１５に表示してもよい。さらに、管理装置３１０は、解析結果を確認したユーザからの入力に従い、作業の支援画像を設定してもよい。図１６は、第２の変更例に係る管理装置３１０による支援画像設定処理を示すフローチャートである。なお、図１６において、図１３に示す処理と同じ処理には、同じ番号を付している。本例においては、管理装置３１０のＣＰＵ３１１は、Ｓ２１２の処理の後、処理をＳ２２０へ進める。Ｓ２２０において、管理装置３１０のＣＰＵ３１１は、解析結果を表示する（表示処理）。すなわち、ＣＰＵ３１１は、候補ＩＤと、平均作業時間と、成功率と、を対応付けて表示部３１５に表示する。次に、Ｓ２２１において、管理装置３１０のＣＰＵ３１１は、ユーザから支援画像候補の選択指示を受け付ける（受付処理）。次に、Ｓ２２２において、管理装置３１０のＣＰＵ３１１は、選択指示に係る支援画像候補を、作業の支援画像として設定する（設定処理）。

【0046】

第３の変更例としては、管理装置３１０は、支援画像候補の中から選択され、設定された支援画像に対しても、Ｓ２０９の処理と同様に、作業結果を記録してもよい。そして、管理装置３１０は、支援画像に対する作業結果に対して、図１６に示す、Ｓ２１０〜Ｓ２１２、Ｓ２２０の処理を実行し、解析結果を表示する。そして、管理装置３１０は、ユーザから支援画像に対する編集指示を受け付けると（受付処理）、編集指示に従い、支援画像を編集する（編集処理）。編集処理としては、例えば、支援画像中に示される作業を案内するテキストの文章を変更する処理や、支援画像中に示されるテキスト等の表示位置を変更する処理等が挙げられる。

【0047】

第４の変更例としては、管理装置３１０は、作業結果テーブル３３４に含まれる作業時間帯、作業者属性コード等の作業属性ごとの作業結果に関する解析処理を行ってもよい。例えば、管理装置３１０のＣＰＵ３１１は、図１７に示すように、時間帯ごとの成功率を算出してもよい。また、他の例としては、管理装置３１０のＣＰＵ３１１は、作業者属性コードごとの成功率を算出してもよい。さらに、ＣＰＵ３１１は、これらの解析結果を表示部３１５に表示してもよい。

【0048】

第５の変更例としては、ＡＲ表示装置３００は、光学透過型の表示装置に限定されるものではない。他の例としては、ビデオ透過型の表示装置であってもよい。この場合、ＡＲ表示装置３００のＣＰＵ３０１は、図１１に示すＡＲ表示処理（Ｓ２０４）において、撮影部３０７を制御して検査対象物の画像を撮影し、撮影画像としての、現実空間の映像を表示部３０５に表示する。そして、ＡＲ表示装置３００のＣＰＵ３０１は、表示部３０５に表示中の、現実空間の検査対象物の映像に重畳して、支援画像候補を表示するものとする。また、ＡＲ表示装置３００は、支援画像の表示時も同様に、撮影画像としての現実空間の映像に重畳して、支援画像を表示する。

【0049】

また、第６の変更例としては、ＡＲ表示装置３００は、作業結果に関する情報（作業時間、作業成否、歩留など）や解析結果（成功率、平均作業時間、平均歩留など）を画面に表示させるだけでなく、図１８に示すように、帳票に出力したり、作業管理者等にメールで自動送信したりしてもよい。

【0050】

これにより、作業の管理者は、これらの結果等を参照し、ＡＲによる作業指示として適切な作業指示がどのようなものかを分析することができる。例えば、成功率の高い作業指示や作業時間が短い作業指示は、作業者にとって作業が行い易い作業指示であると判断できる。そして、作業管理者は、この分析に基づいて、ＡＲによる作業指示の内容を見直すべきものをピックアップすることもできる。これにより、作業指示を適切に改善することができるようになるため、作業者の作業精度の向上につながる。

【0051】

また、管理装置３１０のＣＰＵ３１１は、作業結果テーブルの作業属性コードに基づいて、作業者属性テーブルを参照することにより、作業者の属性ごとの作業結果について解析することができる。作業管理者は、作業者属性ごとの解析結果に基づいて、作業者属性ごとの分析を行うこともできる。

【0052】

例えば、全ての作業者についての解析結果では、作業支援画像として、Ｃ（動作単位）がよい場合であっても、一定以上の作業経験年数を有するベテランの作業者についてのみ見た場合には、作業支援画像として、Ａ（一括）のほうがよい結果の可能性もある。この結果に基づいて、作業経験年数ごとに作業支援画像を設定できる構成としてもよい。

【0053】

以上、上述した各実施形態によれば、ＡＲ表示を利用した作業の更なる効率化を図ることができる。

【0054】

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【要約】

作業者が装着する光透過型の表示装置が、作業者による作業の支援画像候補を現実空間に重畳して表示した場合の、作業者による作業の成功又は失敗の作業結果を受け付ける受付手段と、作業に対する複数の支援画像候補それぞれと、各支援画像を表示した場合の作業結果と、を対応付けて記憶手段に記録する記録手段と、作業結果に基づいて、複数の支援画像候補の中から作業の支援画像として設定する支援画像候補を選択する選択手段とを有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】