▶ 三菱重工業株式会社の特許一覧 ▶ サン電子株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-02
(45)【発行日】2024-08-13
(54)【発明の名称】拡張現実表示システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240805BHJP
G06F 3/01 20060101ALI20240805BHJP
G06F 3/04815 20220101ALI20240805BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
G06F3/04815
【請求項の数】
6
(21)【出願番号】P 2020033105
(22)【出願日】2020-02-28
(65)【公開番号】P2021135878
(43)【公開日】2021-09-13
【審査請求日】2023-02-06
(73)【特許権者】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(73)【特許権者】
【識別番号】000106690
【氏名又は名称】サン電子株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山▲崎▼ 慎介
(72)【発明者】
【氏名】長尾 哲史
(72)【発明者】
【氏名】鳥本 和孝
(72)【発明者】
【氏名】松久 昌和
(72)【発明者】
【氏名】伊奈 正倫
(72)【発明者】
【氏名】熊谷 貴士
(72)【発明者】
【氏名】梅田 有生
【審査官】渡部 幸和
(56)【参考文献】
【文献】国際公開第２０１６／２０３７９２（ＷＯ，Ａ１）
【文献】特開２０１４－０９３０３４（ＪＰ，Ａ）
【文献】特開２０１４－０７１８５０（ＪＰ，Ａ）
【文献】特開２０１６－２１８５９７（ＪＰ，Ａ）
【文献】特開２００４－０４６７３０（ＪＰ，Ａ）
【文献】特開２００６－２７９１３６（ＪＰ，Ａ）
【文献】特開２０１６－４２９２（ＪＰ，Ａ）
【文献】柴田 直樹，外１名，ＳｕｍｉＴａｇ：あまり目立たないＡＲマーカーとＧＰＧＰＵを利用した読み取り方法，情報処理学会研究報告 ２０１１（平成２３）年度▲４▼ ［ＣＤ－ＲＯＭ］ ，日本，一般社団法人情報処理学会，2011年，Vol.2011-DPS-149, No.7，p.1-9
【文献】Ryuhei Tenmoku，外４名，Visually Elegant and Robust Semi-Fiducials for Geometric Registration in Mixed Reality，2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality，IEEE，2007年，p.261-262，https://ieeexplore.ieee.org/document/4538857
【文献】Daniel Wagner，外２名，Robust and unobtrusive marker tracking on mobile phones，2008 7th IEEE/ACM International Symposium on Mixed and Augmented Reality，IEEE，2008年，p.121-124，https://ieeexplore.ieee.org/abstract/document/4637337
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８１５
(57)【特許請求の範囲】
【請求項1】
現実空間にコンテンツを重ねて表示することで、前記現実空間を仮想的に拡張する拡張現実表示システムにおいて、第１の識別マークが付されたバーチャルディスプレイと、
前記現実空間を撮像する撮像部と、
前記現実空間に重ねて前記コンテンツを表示する表示部と、
前記表示部への前記コンテンツの表示に関する表示制御を実行する制御部と、を備え、
前記制御部は、
前記撮像部により前記第１の識別マークが撮像されて、前記第１の識別マークを認識すると、前記バーチャルディスプレイの前記現実空間における位置に対応する前記表示部の表示領域に、前記コンテンツを表示しており、
前記現実空間は、作業者により作業が行われる作業空間を含み、
前記作業空間には、第２の識別マークが付されており、
前記制御部は、
前記撮像部により前記第２の識別マークが撮像されて、前記第２の識別マークを認識すると、前記作業空間の位置に応じた前記表示部の表示領域を、前記作業空間を視認可能な可視領域として設定し、
前記可視領域に応じた前記作業空間の位置において、前記第１の識別マークを認識すると、前記バーチャルディスプレイの位置に対応する前記表示部の前記可視領域に、前記コンテンツを表示する拡張現実表示システム。
【請求項2】
前記コンテンツは、３次元モデルを含み、前記制御部は、前記第１の識別マークの形状に基づいて、前記バーチャルディスプレイの傾きを算出し、算出した前記バーチャルディスプレイの傾きに応じて、前記コンテンツを傾けて表示する請求項１に記載の拡張現実表示システム。
【請求項3】
前記バーチャルディスプレイは、シート状の本体部と、
前記本体部の縁に沿って枠状に形成される前記第１の識別マークと、を有する請求項１または２に記載の拡張現実表示システム。
【請求項4】
作業者に付された識別情報を取得する識別情報取得部と、前記識別情報と前記コンテンツとを関連付けて記憶するコンテンツ記憶部と、をさらに備え、
前記制御部は、
前記識別情報取得部により取得した前記識別情報に基づいて、前記コンテンツ記憶部から前記コンテンツを取得し、取得した前記コンテンツを前記表示部に表示する請求項１から３のいずれか１項に記載の拡張現実表示システム。
【請求項5】
前記コンテンツは、作業者の作業工程に関するコンテンツであり、前記制御部は、
前記コンテンツに基づく前記作業者の前記作業工程が実行されたか否かを判定し、前記作業工程が実行されたと判定した場合、前記作業工程が完了したと判定する請求項１から４のいずれか１項に記載の拡張現実表示システム。
【請求項6】
前記作業者の前記作業工程に関する作業報告書を記憶する作業報告書記憶部を、さらに備え、前記制御部は、
前記作業者の前記作業工程に関する作業内容を時系列に沿って取得して前記作業報告書を生成し、生成した前記作業報告書を前記作業報告書記憶部に記憶する請求項５に記載の拡張現実表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、拡張現実表示システムに関するものである。
【背景技術】
【0002】
従来、３次元物体のモデルデータであるＡＲコンテンツを、撮像装置の一例であるカメラにより撮像された撮像画像に重ねて表示させるＡＲ技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１４－２１５６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、ＡＲ技術を作業現場において用いることが考えられている。特許文献１のＡＲ技術を用いる場合、表示部上に、ＡＲコンテンツとしての作業マニュアルを表示することが考えられる。しかしながら、表示部上に作業マニュアルを表示する場合、作業者は、作業マニュアルの表示に関する操作に慣れていないことから、操作を習熟するまでに時間を要し、作業効率の向上化を図ることが難しいものとなっている。
【0005】
そこで、本開示は、作業者に対して、直感的な操作を促すことができるユーザフレンドリーな拡張現実表示システムを提供することを課題とする。
【課題を解決するための手段】
【0006】
本開示の拡張現実表示システムは、現実空間にコンテンツを重ねて表示することで、前記現実空間を仮想的に拡張する拡張現実表示システムにおいて、第１の識別マークが付されたバーチャルディスプレイと、前記現実空間を撮像する撮像部と、前記現実空間に重ねて前記コンテンツを表示する表示部と、前記表示部への前記コンテンツの表示に関する表示制御を実行する制御部と、を備え、前記制御部は、前記撮像部により前記第１の識別マークが撮像されて、前記第１の識別マークを認識すると、前記バーチャルディスプレイの前記現実空間における位置に対応する前記表示部の表示領域に、前記コンテンツを表示する。
【発明の効果】
【0007】
本開示によれば、作業者に対して、直感的な操作を促すことができるユーザフレンドリーなものとすることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。
【0010】
［本実施形態］
本実施形態に係る拡張現実表示システム１は、現実空間となる作業空間Ｅ１において、作業者が作業対象物１６に対して各種作業を実施するときに用いられるシステムである。この拡張現実表示システム１は、作業者に対して各種情報を提供したり、作業内容を記録したりすることで、作業者を支援するシステムとなっている。拡張現実表示システム１は、作業空間Ｅ１に対して、コンテンツを重ねて表示するＡＲ（Augmented Reality：拡張現実）技術を用いている。
本実施形態に係る拡張現実表示システム１は、現実空間となる作業空間Ｅ１において、作業者が作業対象物１６に対して各種作業を実施するときに用いられるシステムである。この拡張現実表示システム１は、作業者に対して各種情報を提供したり、作業内容を記録したりすることで、作業者を支援するシステムとなっている。拡張現実表示システム１は、作業空間Ｅ１に対して、コンテンツを重ねて表示するＡＲ（Augmented Reality：拡張現実）技術を用いている。
【0011】
（拡張現実表示システム）
図１は、実施形態に係る拡張現実表示システムを模式的に示す概略構成図である。図２は、本実施形態に係る拡張現実表示システムを機能的に示す概略構成図である。図１及び図２に示すように、拡張現実表示システム１は、バーチャルディスプレイ１０と、ＡＲデバイス１１と、サーバ１２とを備えており、ＡＲデバイス１１とサーバ１２とは、双方向に通信可能なネットワーク１５を介して接続されている。なお、本実施形態の拡張現実表示システム１は、サーバ１２を含むシステム構成としたが、サーバ１２の機能をＡＲデバイス１１に統合して、サーバ１２を省いたシステム構成としてもよい。
図１は、実施形態に係る拡張現実表示システムを模式的に示す概略構成図である。図２は、本実施形態に係る拡張現実表示システムを機能的に示す概略構成図である。図１及び図２に示すように、拡張現実表示システム１は、バーチャルディスプレイ１０と、ＡＲデバイス１１と、サーバ１２とを備えており、ＡＲデバイス１１とサーバ１２とは、双方向に通信可能なネットワーク１５を介して接続されている。なお、本実施形態の拡張現実表示システム１は、サーバ１２を含むシステム構成としたが、サーバ１２の機能をＡＲデバイス１１に統合して、サーバ１２を省いたシステム構成としてもよい。
【0012】
バーチャルディスプレイ１０は、シート状の本体部１８と、本体部１８に付された第１の識別マークＭ１とを有している。本体部１８は、例えば、紙等を用いた方形状のシートであり、ラミネート加工されたものとなっている。第１の識別マークＭ１は、本体部１８の縁に沿って、四方枠状に形成されており、例えば、印刷によってマーキングされたものとなっている。このため、バーチャルディスプレイ１０の中央が物で遮られる場合であっても、第１の識別マークＭ１の認識を行うことが可能となる。第１の識別マークＭ１には、バーチャルディスプレイ１０を特定するためのディスプレイＩＤ情報が含まれている。また、詳細は後述するが、第１の識別マークＭ１は、認識される形状に基づいて本体部１８の傾きを導出するためのマークとなっている。なお、本実施形態では、シート状のバーチャルディスプレイ１０について説明したが、バーチャルディスプレイ１０は、従来の現実のマニュアルのように、複数のシートを見開き可能に束ねた冊子状になっていてもよい。これによれば、１シートのバーチャルディスプレイ１０が散在せずに、まとめて管理することができる。また、冊子状のバーチャルディスプレイ１０は、従来の現実のマニュアルと異なり、改訂した場合に改訂したページのコンテンツを差し替えることができる。さらに、複数人でコンテンツを見る場合には、ホワイトボードのような大型のボード形状となるバーチャルディスプレイ１０としてもよい。
【0013】
ＡＲデバイス１１は、例えば、ＡＲグラスであり、透明な表示レンズ上に、コンテンツを表示するデバイスであってもよいし、人の網膜に画像を投影するデバイスであってもよく、特に限定されない。また、表示レンズは透明であることから、ＡＲデバイス１１は、表示レンズを介して作業空間Ｅ１を視認することが可能なデバイスとなっている。このＡＲデバイス１１は、作業者に装着され、作業者は、ＡＲデバイス１１を介して、作業空間Ｅ１を視認する。
【0014】
ＡＲデバイス１１は、表示部２１と、撮像部２２と、赤外線センサ２３と、ＩＤ認識部（識別情報取得部）２４と、制御部２５と、記憶部２６とを有している。
【0015】
表示部２１は、例えば、表示レンズと、表示レンズに画像を投影するプロジェクタとを含んでいる。表示部２１は、表示レンズ上にプロジェクタから画像を投影することで、作業者に対して画像を表示している。画像としては、例えば、作業者に対して提供される作業マニュアルまたは三次元モデル等のコンテンツＣ（図４参照）である。なお、表示部２１は、作業者に対して画像を表示可能なものであればよく、作業者の目に直接画像を投影するプロジェクタを用いることで、表示レンズを省いた構成であってもよい。
【0016】
撮像部２２は、例えば、カメラであり、作業者の視野を含む範囲を撮像する。撮像部２２は、制御部２５に接続されており、制御部２５へ向けて撮像した画像の画像データを出力する。
【0017】
赤外線センサ２３は、作業者の操作を検知するものである。なお、赤外線センサ２３に特に限定されず、作業者の操作を検知するものであれば、いずれのデバイスを適用してもよい。作業者は、表示部２１に表示されたコンテンツＣに対する操作を現実空間において行う。操作としては、例えば、スワイプ等のジェスチャである。赤外線センサ２３は、制御部２５に接続されており、制御部２５へ向けて、検知した操作に関する操作データを出力する。なお、赤外線センサ２３は、作業者の視野（撮像部２２の視野）において、バーチャルディスプレイ１０と重なる位置で作業者が操作した場合に、操作が有効であるとして検知するようにしてもよい。
【0018】
ＩＤ認識部２４は、作業者に与えられたＩＤ情報（識別情報）Ｄ１を認識するものである。作業者には、作業者を識別するための固有のＩＤ情報Ｄ１が与えられている。ＩＤ情報Ｄ１は、例えば、ＩＤ情報Ｄ１が記録されたタグであってもよいし、作業者が記憶している記号であってもよく、特に限定されない。ＩＤ認識部２４は、作業者から入力されるＩＤ情報Ｄ１を取得する。ＩＤ認識部２４は、制御部２５に接続されており、制御部２５へ向けて、取得したＩＤ情報Ｄ１を出力する。
【0019】
記憶部２６は、制御部２５の処理結果を一時的に記憶する作業領域として利用される。記憶部２６は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含む。また、記憶部２６は、各種プログラム及び各種データを記憶している。例えば、記憶部２６は、各種プログラムとして、表示部２１の表示制御に関するプログラムが記憶されている。また、記憶部２６は、各種データとして、サーバ１２から提供されるコンテンツＣを記憶している。
【0020】
制御部２５は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。具体的に、制御部２５は、記憶部２６に記憶されているプログラムに含まれる命令を実行することによって各種機能を実現する。制御部２５は、例えば、表示制御に関するプログラムを実行することにより、表示部２１にコンテンツＣを表示する。
【0021】
サーバ１２は、ネットワーク１５を介してＡＲデバイス１１にコンテンツＣを提供したり、ＡＲデバイス１１で取得した各種データを取得したりする。サーバ１２は、処理部３１と、コンテンツ記憶部３２と、作業報告書記憶部３３とを有している。
【0022】
コンテンツ記憶部３２は、コンテンツＣを記憶している。コンテンツＣは、ＩＤ情報Ｄ１と対応付けられて記憶されており、作業者には、予め設定されたコンテンツＣが提供される。コンテンツＣとしては、例えば、作業者に対して作業工程及び作業手順に関する情報である作業マニュアル等である。
【0023】
作業報告書記憶部３３は、ＡＲデバイス１１により生成された作業報告書、またはＡＲデバイス１１から取得した情報に基づいてサーバ１２により生成された作業報告書を記憶している。作業報告書は、作業者の作業工程に関する作業内容を時系列に沿って取得したものである。作業報告書には、例えば、作業対象物１６に関する情報、作業結果、作業日時等が記録される。
【0024】
上記の拡張現実表示システム１が用いられる作業空間Ｅ１には、図１及び図２に示すように、作業対象物１６に対して、第２の識別マークＭ２が付されている。第２の識別マークＭ２には、作業対象物１６に関する情報が含まれている。作業対象物１６に関する情報としては、例えば、作業対象物１６を特定するための情報を含む。また、詳細は後述するが、第２の識別マークＭ２は、作業対象物１６の作業空間Ｅ１における位置及び範囲を特定するための情報を含んでもよい。ＡＲデバイス１１は、第２の識別マークＭ２を識別することで、作業対象物１６の作業空間Ｅ１における位置及び範囲を取得する。
【0025】
このように、拡張現実表示システム１は、バーチャルディスプレイ１０に付された第１の識別マークＭ１を識別することで、第１の識別マークＭ１に基づく表示制御を行ったり、作業対象物１６に付された第２の識別マークＭ２を識別することで、第２の識別マークＭ２に基づく表示制御を行ったりする。
【0026】
【0027】
拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、撮像部２２により作業空間Ｅ１の作業対象物１６に付された第２の識別マークＭ２を撮像すると、画像認識によって第２の識別マークＭ２を識別する。制御部２５は、第２の識別マークＭ２を識別すると、第２の識別マークＭ２に含まれる情報に基づいて、作業空間Ｅ１における作業対象物１６の位置及び範囲を取得する。
【0028】
制御部２５は、作業空間Ｅ１における作業対象物１６の位置及び範囲を取得すると、作業空間Ｅ１内における作業対象物１６の位置及び範囲に基づいて、表示部２１上における作業空間Ｅ１の位置を取得し、表示部２１上の表示領域Ｅ２と、表示部２１上の作業空間Ｅ１とが重なっているか否かを判定する。制御部２５は、表示領域Ｅ２と作業空間Ｅ１とが重なっていると判定すると、作業空間Ｅ１と重なった表示領域Ｅ２を、作業空間Ｅ１を視認可能な可視領域Ｅ２ａとして設定する（ステップＳ１）。可視領域Ｅ２ａは、作業対象物１６への作業を行うために、コンテンツＣの表示を抑制し、視認性を確保する領域となっている。
【0029】
また、制御部２５は、可視領域Ｅ２ａの外側の表示領域Ｅ２に、各種情報を表示している。作業者は、可視領域Ｅ２ａの外側の表示領域Ｅ２を視認する場合、作業空間Ｅ１に対する表示部２１の位置を変化させる。例えば、作業者は、作業空間Ｅ１に対してＡＲデバイス１１を図３の左側に移動させると、可視領域Ｅ２ａの左側の表示領域Ｅ２が広がる（ステップＳ２）。制御部２５は、可視領域Ｅ２ａの左側の表示領域Ｅ２に、コンテンツＣとして作業対象物１６に関する提供情報Ｄ２を表示する。提供情報Ｄ２としては、例えば、作業工程の手順等に関する情報である。
【0030】
また、例えば、作業者は、作業空間Ｅ１に対してＡＲデバイス１１を図３の右側に移動させると、可視領域Ｅ２ａの右側の表示領域Ｅ２が広がる（ステップＳ３）。制御部２５は、可視領域Ｅ２ａの右側の表示領域Ｅ２に、コンテンツＣとして、作業対象物１６の作業工程をチェックするためのチェック情報Ｄ３を表示する。チェック情報Ｄ３としては、例えば、作業工程が完了した場合に、作業工程が終了したことを入力するための情報である。
【0031】
次に、図４を参照して、拡張現実表示システム１において、ＡＲデバイス１１の表示部２１における表示制御の一例について説明する。図４は、バーチャルディスプレイを用いたＡＲデバイスの表示部に関する一例の説明図である。
【0032】
拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、撮像部２２によりバーチャルディスプレイ１０に付された第１の識別マークＭ１を撮像すると、画像認識によって第１の識別マークＭ１を識別する。制御部２５は、第１の識別マークＭ１を識別すると、第１の識別マークＭ１に含まれる情報に基づいて、バーチャルディスプレイ１０を特定する。ＡＲデバイス１１の制御部２５は、バーチャルディスプレイ１０を特定すると、第１の識別マークＭ１の枠内に、コンテンツＣを表示する。コンテンツＣとしては、例えば、作業マニュアルまたは三次元モデル等である。また、ＡＲデバイス１１の制御部２５は、識別した第１の識別マークＭ１の形状に基づいて、バーチャルディスプレイ１０の本体部１８の傾きを算出し、本体部１８の傾きに応じてコンテンツＣを傾けて、バーチャルディスプレイ１０の第１の識別マークＭ１の枠内に収まるように、表示部２１に表示する。
【0033】
なお、制御部２５は、表示部２１の可視領域Ｅ２ａ内に対応する作業空間Ｅ１おいて、第１の識別マークＭ１を認識した場合、表示部２１の可視領域Ｅ２ａ内に、コンテンツＣを表示する。
【0034】
【0035】
図５は、作業者に対応するコンテンツＣを、拡張現実表示システム１の表示部２１に表示するフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、ＩＤ認識部２４により作業者のＩＤ情報Ｄ１を認識して取得する（ステップＳ１１）。制御部２５は、取得したＩＤ情報Ｄ１に基づき、ネットワーク１５を介してサーバ１２のコンテンツ記憶部３２から、ＩＤ情報Ｄ１に関連付けられたコンテンツＣを取得する（ステップＳ１２）。そして、制御部２５は、取得したコンテンツＣを表示部２１に表示する（ステップＳ１３）。
【0036】
図６は、作業者のジェスチャに応じて、コンテンツＣの表示を切り替えるフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、表示部２１にコンテンツＣを表示した状態において、赤外線センサ２３により作業者のジェスチャ（操作）を検出する（ステップＳ２１）。すると、制御部２５は、検出した作業者のジェスチャに応じて、コンテンツＣの表示を切り替える（ステップＳ２２）。例えば、コンテンツＣとして、複数頁からなる作業マニュアルである場合、作業者は、スワイプ操作を行うことにより、制御部２５は、作業マニュアルの頁送りに関する表示を行う。なお、制御部２５は、検出されたジェスチャが、作業者の視野においてバーチャルディスプレイ１０の表示範囲での動作か否かを判断して、コンテンツ操作に反映することとしてもよい。
【0037】
図７は、図４に示すバーチャルディスプレイを用いたＡＲデバイス１１の表示部２１における表示制御のフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、バーチャルディスプレイ１０に付された第１の識別マークＭ１を識別する（ステップＳ３１）。制御部２５は、第１の識別マークＭ１を識別すると、識別した第１の識別マークＭ１の形状に基づいて、バーチャルディスプレイ１０の本体部１８の傾きを算出して取得する（ステップＳ３２）。この後、制御部２５は、本体部１８の傾きに応じた表示形態となるように、第１の識別マークＭ１に対応するコンテンツＣを表示する（ステップＳ３３）。なお、傾きに応じた表示形態としては、コンテンツＣを傾けて表示する形態であったり、コンテンツＣを回転させて表示する形態であったりする。
【0038】
図８は、図３に示すＡＲデバイス１１の表示部２１における表示制御のフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、作業空間Ｅ１の作業対象物１６に付された第２の識別マークＭ２を識別する（ステップＳ４１）。制御部２５は、第２の識別マークＭ２を識別すると、第２の識別マークＭ２に含まれる作業対象物１６の位置及び範囲の情報に基づいて、表示部２１上における作業空間Ｅ１の位置を取得し、表示部２１上の表示領域Ｅ２と、表示部２１上の作業空間Ｅ１とが重なっているか否かを判定する（ステップＳ４２）。制御部２５は、表示領域Ｅ２と作業空間Ｅ１とが重なっていると判定する（ステップＳ４２：Ｙｅｓ）と、作業空間Ｅ１と重なっている表示部２１の表示領域Ｅ２を可視領域Ｅ２ａとして設定する（ステップＳ４３）。一方で、制御部２５は、表示領域Ｅ２と作業空間Ｅ１とが重なっていないと判定する（ステップＳ４２：Ｎｏ）と、後述するステップＳ４６に進む。
【0039】
制御部２５は、ステップＳ４３の実行後、可視領域Ｅ２ａ以外の表示領域Ｅ２に、提供情報Ｄ２またはチェック情報Ｄ３を表示可能であるか否かを判定する（ステップＳ４４）。具体的に、ステップＳ４４では、可視領域Ｅ２ａ以外の表示領域Ｅ２が、提供情報Ｄ２またはチェック情報Ｄ３を表示可能な領域の広さとなっているか否かにより判定している。制御部２５は、提供情報Ｄ２またはチェック情報Ｄ３を表示可能であると判定する（ステップＳ４４：Ｙｅｓ）と、提供情報Ｄ２またはチェック情報Ｄ３を表示する（ステップＳ４５）。一方で、制御部２５は、提供情報Ｄ２またはチェック情報Ｄ３を表示可能でないと判定する（ステップＳ４４：Ｎｏ）と、後述するステップＳ４６に進む。
【0040】
制御部２５は、ステップＳ４５の実行後、バーチャルディスプレイ１０に付された第１の識別マークＭ１を識別する（ステップＳ４６）と、ステップＳ４３において可視領域Ｅ２ａを設定したか否かを判定する（ステップＳ４７）。制御部２５は、可視領域Ｅ２ａを設定していると判定する（ステップＳ４７：Ｙｅｓ）と、第１の識別マークＭ１に対応するコンテンツＣを、可視領域Ｅ２ａを含む表示領域Ｅ２に表示する（ステップＳ４８）。つまり、制御部２５は、可視領域Ｅ２ａを設定している場合であっても、コンテンツＣを優先して表示する。一方で、制御部２５は、可視領域Ｅ２ａを設定していないと判定する（ステップＳ４７：Ｎｏ）と、第１の識別マークＭ１に対応するコンテンツＣを、表示領域Ｅ２に表示する（ステップＳ４９）。制御部２５は、ステップＳ４８及びステップＳ４９の実行後、図８に示す制御を終了する。
【0041】
次に、図９を参照して、拡張現実表示システム１による作業報告書の生成に関する処理について説明する。図９は、本実施形態に係る拡張現実表示システムの作業報告書の生成に関する一例のフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、コンテンツＣに基づく作業工程が実行されたか否かを判定する（ステップＳ５１）。ステップＳ５１において、制御部２５は、例えば、図３に示すチェック情報Ｄ３に基づいて、作業工程が完了したか否かを判定してもよい。
【0042】
制御部２５は、作業工程が完了したと判定する（ステップＳ５２：Ｙｅｓ）と、完了した作業工程に関する作業内容を時系列に沿って取得して、作業報告書を自動で生成する（ステップＳ５３）。そして、制御部２５は、生成した作業報告書を、ネットワーク１５を介してサーバ１２の作業報告書記憶部３３に記憶する（ステップＳ５４）。ステップＳ５４の実行後、制御部２５は、作業報告書の生成に関する処理を終了する。
【0043】
一方で、制御部２５は、作業工程が完了していないと判定する（ステップＳ５２：Ｎｏ）と、作業途中の作業内容を記憶部２６に記憶し、再び、ステップＳ５１に進んで、作業工程が完了したか否かを判定する。
【0044】
なお、本実施形態では、作業報告書の生成を、ＡＲデバイス１１の制御部２５において実行したが、サーバ１２の処理部３１において作業報告書の生成を実行してもよく、特に限定されない。
【0045】
以上のように、本実施形態に記載の拡張現実表示システム１は、例えば、以下のように把握される。
【0046】
第１の態様に係る拡張現実表示システム１は、現実空間にコンテンツを重ねて表示することで、前記現実空間を仮想的に拡張する拡張現実表示システム１において、第１の識別マークＭ１が付されたバーチャルディスプレイ１０と、前記現実空間を撮像する撮像部２２と、前記現実空間に重ねて前記コンテンツＣを表示する表示部２１と、前記表示部２１への前記コンテンツＣの表示に関する表示制御を実行する制御部２５と、を備え、前記制御部２５は、前記撮像部２２により前記第１の識別マークＭ１が撮像されて、前記第１の識別マークＭ１を認識すると、前記バーチャルディスプレイ１０の前記現実空間における位置に対応する前記表示部２１の表示領域に、前記コンテンツＣを表示する。
【0047】
この構成によれば、バーチャルディスプレイ１０の第１の識別マークＭ１が認識されることで、ＡＲデバイス１１の表示部２１にコンテンツＣを表示することができる。このため、例えば、コンテンツＣとして作業マニュアルを表示する場合、バーチャルディスプレイ１０を仮想の作業マニュアルとして機能させることができ、現実の作業マニュアルと同等の使用方法で、使用することができる。このため、作業者に対して、直感的な操作を促すことができるユーザフレンドリーな拡張現実表示システム１とすることができる。具体的に説明すると、ＡＲ技術に慣れていない作業者は、何もない空間に対してジェスチャを行ってコンテンツＣを表示する操作を習得することに時間を要することから、作業効率が低下する。一方で、本開示において、作業者は、バーチャルディスプレイ１０を手で扱うことができ、バーチャルディスプレイ上でジェスチャを行うことで、コンテンツＣを表示させることができるため、より直感的な操作を行うことができる。また、現実空間とコンテンツＣとの重畳表示は、コンテンツＣの表示時間、表示条件、表示部２１上の位置を、バーチャルディスプレイ１０を用いることで特定することが可能となる。
【0048】
第２の態様として、前記コンテンツＣは、３次元モデルを含み、前記制御部２５は、前記第１の識別マークＭ１の形状に基づいて、前記バーチャルディスプレイ１０の傾きを算出し、算出した前記バーチャルディスプレイ１０の傾きに応じて、前記コンテンツＣを傾けて表示する。
【0049】
この構成によれば、第１の識別マークＭ１を、傾きを算出するためのマークとして機能させることができる。このため、第１の識別マークＭ１により、コンテンツＣの三次元的な表示を行うことができる。例えば、バーチャルディスプレイ１０上に並行してコンテンツＣとしての部品の３Ｄモデルを表示した場合、バーチャルディスプレイ１０の傾きを変えれば、部品の３Ｄモデルも傾きが変わるため、操作者が任意の角度から見ることができ、天地の方向も分かり易いものとなる。
【0050】
第３の態様として、前記現実空間は、作業者により作業が行われる作業空間Ｅ１を含み、前記作業空間Ｅ１には、第２の識別マークＭ２が付されており、前記制御部２５は、前記撮像部２２により前記第２の識別マークＭ２が撮像されて、前記第２の識別マークＭ２を認識すると、前記作業空間Ｅ１の位置に応じた前記表示部２１の表示領域を、前記作業空間Ｅ１を視認可能な可視領域Ｅ２ａとして設定する。
【0051】
この構成によれば、現実空間とコンテンツＣとの重畳表示は、作業を却って妨げる場合もあるが、可視領域Ｅ２ａを設定することで、作業空間Ｅ１の視界を確保することができるため、作業空間Ｅ１の位置に応じた表示部２１の表示領域にコンテンツＣが表示されることを抑制することができる。
【0052】
第４の態様として、前記制御部２５は、前記可視領域Ｅ２ａに応じた前記作業空間Ｅ１の位置において、前記第１の識別マークＭ１を認識すると、前記バーチャルディスプレイ１０の位置に対応する前記表示部２１の前記可視領域Ｅ２ａに、前記コンテンツＣを表示する。
【0053】
この構成によれば、バーチャルディスプレイ１０が用いられた場合は、可視領域Ｅ２ａであっても、バーチャルディスプレイ１０の表示を優先的に行うことができる。
【0054】
第５の態様として、前記バーチャルディスプレイ１０は、シート状の本体部１８と、前記本体部１８の縁に沿って枠状に形成される前記第１の識別マークＭ１と、を有する。
【0055】
この構成によれば、第１の識別マークＭ１を枠状に形成することで、第１の識別マークＭ１の枠内にコンテンツＣを表示することができる。ここで、コンテンツＣは不透明ではない場合があり、この場合、背景の現実空間が透けてしまうことから、コンテンツＣと第１の識別マークＭ１とが重なり合うと、視認性が低下してしまう。このため、第１の識別マークＭ１の枠内にコンテンツＣを表示することで、第１の識別マークＭ１とコンテンツＣとが重なり合うことを抑制することができるため、コンテンツＣの視認性を高めることができる。
【0056】
第６の態様として、作業者に付された識別情報を取得する識別情報取得部（ＩＤ認識部２４）と、前記識別情報（ＩＤ情報Ｄ１）と前記コンテンツＣとを関連付けて記憶するコンテンツ記憶部３２と、をさらに備え、前記制御部２５は、前記識別情報取得部２４により取得した前記識別情報Ｄ１に基づいて、前記コンテンツ記憶部３２から前記コンテンツＣを取得し、取得した前記コンテンツＣを前記表示部に表示する。
【0057】
この構成によれば、作業者に対応付けられたコンテンツＣのみを表示部２１に表示することができるため、作業者に対して必要なコンテンツＣを提供することができる。
【0058】
第７の態様として、前記コンテンツは、作業者の作業工程に関するコンテンツであり、前記制御部は、前記コンテンツに基づく前記作業者の前記作業工程が実行されたか否かを判定し、前記作業工程が実行されたと判定した場合、前記作業工程が完了したと判定する。
【0059】
この構成によれば、作業者による作業工程の実行を確認することができる。
【0060】
第８の態様として、前記作業者の前記作業工程に関する作業報告書を記憶する作業報告書記憶部３３を、さらに備え、前記制御部は、前記作業者の前記作業工程に関する作業内容を時系列に沿って取得して前記作業報告書を生成し、生成した前記作業報告書を前記作業報告書記憶部３３に記憶する。
【0061】
この構成によれば、作業者による作業内容に基づく作業報告書を自動で生成することができるため、作業報告書を作成する作業を低減することができる。
【符号の説明】
【0062】
１ 拡張現実表示システム
１０ バーチャルディスプレイ
１１ ＡＲデバイス
１２ サーバ
１５ ネットワーク
１６ 作業対象物
１８ 本体部
２１ 表示部
２２ 撮像部
２３ 赤外線センサ
２４ ＩＤ認識部
２５ 制御部
２６ 記憶部
３１ 処理部
３２ コンテンツ記憶部
３３ 作業報告書記憶部
Ｅ１ 作業空間
Ｅ２ 表示領域
Ｅ２ａ 可視領域
Ｍ１ 第１の識別マーク
Ｍ２ 第２の識別マーク
Ｄ１ ＩＤ情報
Ｄ２ 提供情報
Ｄ３ チェック情報
Ｃ コンテンツ
１０ バーチャルディスプレイ
１１ ＡＲデバイス
１２ サーバ
１５ ネットワーク
１６ 作業対象物
１８ 本体部
２１ 表示部
２２ 撮像部
２３ 赤外線センサ
２４ ＩＤ認識部
２５ 制御部
２６ 記憶部
３１ 処理部
３２ コンテンツ記憶部
３３ 作業報告書記憶部
Ｅ１ 作業空間
Ｅ２ 表示領域
Ｅ２ａ 可視領域
Ｍ１ 第１の識別マーク
Ｍ２ 第２の識別マーク
Ｄ１ ＩＤ情報
Ｄ２ 提供情報
Ｄ３ チェック情報
Ｃ コンテンツ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】