特許 7418870 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム

(51)【国際特許分類】

   H04N 5/66 20060101AFI20240115BHJP

   G09G 5/00 20060101ALI20240115BHJP

   G09G 5/36 20060101ALI20240115BHJP

   G09G 5/37 20060101ALI20240115BHJP

   G09G 5/10 20060101ALI20240115BHJP

【ＦＩ】

H04N5/66 Z

G09G5/00 550C

G09G5/00 530T

G09G5/00 530H

G09G5/36 500

G09G5/37 100

G09G5/10 B

【請求項の数】 10

(21)【出願番号】P 2022533258

(86)(22)【出願日】2020-06-29

(86)【国際出願番号】 JP2020025446

(87)【国際公開番号】W WO2022003752

(87)【国際公開日】2022-01-06

【審査請求日】2022-10-21

(73)【特許権者】

【識別番号】518325426

【氏名又は名称】株式会社青電社

(74)【代理人】

【識別番号】110001911

【氏名又は名称】弁理士法人アルファ国際特許事務所

(72)【発明者】

【氏名】北原 直樹

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１２－１５２０１６（ＪＰ，Ａ）

【文献】特開２０１８－０６６８２３（ＪＰ，Ａ）

【文献】特開２０１４－２２９０２０（ＪＰ，Ａ）

【文献】特開２０１５－１６７３４９（ＪＰ，Ａ）

【文献】特開２０１８－１５６２３９（ＪＰ，Ａ）

【文献】特開２０１０－０７９１２１（ＪＰ，Ａ）

【文献】特開２０１６－２２４０８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ７／１８

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／００－１９／００

Ｇ０２Ｂ ３０／００

Ｇ０３Ｂ ３５／００

(57)【特許請求の範囲】

【請求項1】

現実空間を表す現実画像を取得する、または、前記現実空間の視界を取得する取得部と、作業者が視認する表示部と、を備え、前記作業者が搬送するディスプレイ装置であって、
前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定部と、
前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像または前記現実空間の視界上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御部と、
を備える、ディスプレイ装置。

【請求項2】

請求項１に記載のディスプレイ装置であって、
前記近距離用画像は、前記作業基準画像が前記作業箇所画像よりも相対的に強調された画像であり、
前記遠距離用画像は、前記作業箇所画像が前記作業箇所画像よりも相対的に強調された画像である、
ディスプレイ装置。

【請求項3】

請求項１または請求項２に記載のディスプレイ装置であって、
前記作業箇所画像は、少なくとも一部分が前記作業対象箇所よりも手前に位置する立体画像である、
ディスプレイ装置。

【請求項4】

請求項１から請求項３までのいずれか一項に記載のディスプレイ装置であって、
前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を周囲の画像とは独立に変更する表示変更部を備える、
ディスプレイ装置。

【請求項5】

請求項４に記載のディスプレイ装置であって、
前記作業対象箇所に対する作業の完了を検知する完了検知部を備え、
前記表示変更部は、前記完了検知部が前記作業の完了を検知した場合、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を変更する、
ディスプレイ装置。

【請求項6】

請求項４または請求項５に記載のディスプレイ装置であって、
前記現実画像または前記現実空間の視界における前記現実物体の画像色の変化を検知する色検知部を備え、
前記表示変更部は、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を、前記色検知部により検知された変化後の画像色に対して視認性が高くなるように変更する、
ディスプレイ装置。

【請求項7】

請求項４から請求項６までのいずれか一項に記載のディスプレイ装置であって、
前記現実画像または前記現実空間の視界の明度の変化を検知する明度検知部を備え、
前記表示変更部は、前記明度検知部により検知される明度の低下に応じて、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の明度を低下させる、
ディスプレイ装置。

【請求項8】

請求項１から請求項７までのいずれか一項に記載のディスプレイ装置であって、
前記表示部に表示される前記作業対象箇所に対応付けて情報を付加する情報付加部を備える、
ディスプレイ装置。

【請求項9】

現実空間を表す現実画像を取得する、または、前記現実空間の視界を取得する取得部と、作業者が視認する表示部と、を備え、前記作業者が搬送するディスプレイ装置の表示制御方法であって、
前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定工程と、
前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像または前記現実空間の視界上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御工程と、
を含む、ディスプレイ装置の表示制御方法。

【請求項10】

現実空間を表す現実画像を取得する、または、前記現実空間の視界を取得する取得部と、作業者が視認する表示部と、を備え、前記作業者が搬送するディスプレイ装置が備えるコンピュータに、
前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定処理と、
前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像または前記現実空間の視界上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御処理と、
を実行させる、ディスプレイ装置の表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディスプレイ装置に関する。

【背景技術】

【0002】

複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ 以下、「ＭＲ」という）技術を用いて、例えばヘッドマウントディスプレイ（以下、「ＨＭＤ」という）を装着したユーザに対し、現実物体とコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ 以下「ＣＧ」という）により描画された仮想画像とを配置したＭＲ空間（現実空間と仮想空間とを重ね合わせた複合現実空間）の疑似体験を提供する技術が知られている。ＭＲ技術を用いて疑似体験を提供する従来の構成では、例えば、ＭＲ空間において仮想画像の背後に隠れて見えない現実物体とユーザとの衝突防止のための各種の対策が検討されている（例えば特許文献１～３参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１０３７８７号公報

【文献】特開２０１６－１２２３９２号公報

【文献】特開２０１８－６３５６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明者は、ＭＲ技術を、単なる疑似体験の提供ではなく、作業者が移動可能な作業現場（例えば工事現場等）で作業を行う場合に利用して作業効率の向上を図ることについて鋭意研究している。具体的には、作業現場で作業者にＨＭＤを装着させ、そのＨＭＤに、作業現場の現実空間を表す現実画像上に、作業対象箇所に対する作業情報を表示させたＭＲ空間を表示させる。これにより、作業者は、ＨＭＤを介して、作業情報を視認しつつ、作業対象箇所に対する作業を効率良く行うことができる。ところで、作業者が移動可能な作業現場では、作業者は、まず、作業対象箇所を見つけ出す必要がある。しかし、例えば作業者が作業対象箇所から離れた位置にいる場合、ＨＭＤの表示を通じて作業対象箇所を見つけ出すことが難しく、ＨＭＤを用いると却って、作業現場における作業者の作業効率が低下するおそれがある、という課題がある。

【0005】

なお、このような課題は、ＨＭＤに限らず、ＭＲ空間を表示可能なディスプレイ装置を作業者が移動可能な作業現場で利用する場合に共通の課題である。

【0006】

本発明は、上述した課題を解決することが可能な技術を開示する。

【課題を解決するための手段】

【0007】

（１）本明細書に開示されるディスプレイ装置は、現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置であって、前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定部と、前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御部と、を備える。

【0008】

本ディスプレイ装置では、ディスプレイ距離が基準距離以下である場合、近距離用画像が表示部に表示される。この近距離用画像は、取得部によって取得される現実画像上に、作業対象箇所に対する作業の基準位置を示す作業基準画像を含む画像である。一方、ディスプレイ距離が基準距離を超える場合、遠距離用画像が表示部に表示される。遠距離用画像は、近距離用画像に比べて視認性が高く、かつ、作業対象箇所の位置を示す作業箇所画像を含む画像である。このため、作業者は、作業対象箇所から比較的に遠い位置では、遠距離用画像を通じて、作業対象箇所を容易に見つけ出すことができる。一方、作業者は、作業対象箇所から比較的に近い位置では、遠距離用画像による視界の制限を抑制しつつ、近距離用画像を通じて、作業対象箇所に対する作業を行うことができる。このように、本本ディスプレイ装置によれば、作業対象箇所を容易に見つけ出しつつ作業対象箇所での作業性の向上を図ることができる。

【0009】

（２）上記ディスプレイ装置において、前記近距離用画像は、前記作業基準画像が前記作業箇所画像よりも相対的に強調された画像であり、前記遠距離用画像は、前記作業箇所画像が前記作業箇所画像よりも相対的に強調された画像である構成としてもよい。本ディスプレイ装置では、ディスプレイ距離が基準距離以下である場合、作業基準画像が前記作業箇所画像よりも相対的に強調された近距離用画像が表示部に表示される。一方、ディスプレイ距離が基準距離を超える場合、作業箇所画像が作業箇所画像よりも相対的に強調された遠距離用画像が表示部に表示される。このため、本ディスプレイ装置によれば、作業者は、作業対象箇所から比較的に遠い位置では、相対的に強調された作業箇所画像を通じて、作業対象箇所を、より容易に見つけ出すことができる。一方、作業者は、作業対象箇所から比較的に近い位置では、相対的に強調された作業基準画像を通じて、作業対象箇所に対する作業をより効率良く行うことができる。

【0010】

（３）上記ディスプレイ装置において、前記作業箇所画像は、少なくとも一部分が前記作業対象箇所よりも手前に位置する立体画像である構成としてもよい。本ディスプレイ装置では、作業箇所画像は、少なくとも一部分が作業対象箇所よりも手前に位置する立体画像である。このため、例えば作業箇所画像が平面画像であったり、作業対象箇所の背後に位置する画像であったりする場合に比べて、作業者が作業対象箇所を斜め方向から見た場合でも、作業箇所画像を通じて作業対象箇所を容易に見つけ出すことができる。

【0011】

（４）上記ディスプレイ装置において、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を周囲の画像とは独立に変更する表示変更部を備える構成としてもよい。本ディスプレイ装置では、近距離用画像と遠距離用画像との少なくとも一方の画像の表示態様を変更可能である。これにより、作業の進行や環境が逐次変わる作業現場においてディスプレイ装置の利便性を向上させることができる。

【0012】

（５）上記ディスプレイ装置において、前記作業対象箇所に対する作業の完了を検知する完了検知部を備え、前記表示変更部は、前記完了検知部が前記作業の完了を検知した場合、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を変更する構成としてもよい。本ディスプレイ装置では、作業の完了の検知に基づき、近距離用画像と遠距離用画像との少なくとも１つの表示態様が変更される。これにより、作業者は、近距離用画像や遠距離用画像の表示態様の変更に基づき、作業対象箇所に対する作業の完了の有無を把握することができる。

【0013】

（６）上記ディスプレイ装置において、前記現実画像における前記現実物体の画像色の変化を検知する色検知部を備え、前記表示変更部は、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を、前記色検知部により検知された変化後の画像色に対して視認性が高くなるように変更する構成としてもよい。本ディスプレイ装置では、周囲環境の変化が反映される現実物体の画像色の変化に基づき、近距離用画像と遠距離用画像との少なくとも一方の画像の表示態様が、色検知部によって検知された変化後の画像色に対して視認性がより高い表示態様に変更される。これにより、作業者の周囲環境の変化に起因して近距離用画像と遠距離用画像が見づらくなって作業効率が低下することを抑制することができる。

【0014】

（７）上記ディスプレイ装置において、前記表示部に表示される前記作業対象箇所に対応付けて情報を付加する情報付加部を備える構成としてもよい。本ディスプレイ装置では、表示部に表示される作業対象箇所に対応付けて情報を付加することができる。これにより、例えば、ディスプレイ装置の利便性を向上させることができる。

【0015】

（８）上記ディスプレイ装置において、前記現実画像の明度の変化を検知する明度検知部を備え、前記表示変更部は、前記明度検知部により検知される明度の低下に応じて、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の明度を低下させる構成としてもよい。本ディスプレイ装置では、現実画像の明度の低下に応じて、近距離用画像と遠距離用画像との少なくとも一方の画像の明度が低下する。これにより、現実画像の明度が低下しても近距離用画像等の明度が維持される構成に比べて、局所的に明度が高い画像を目にすることに起因する作業者の目への負担（目の疲れ等）を軽減することができる。

【0016】

（９）本明細書に開示されるディスプレイ装置の表示制御方法は、現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置の表示制御方法であって、前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定工程と、前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御工程と、を含む。

【0017】

（１０）本明細書に開示されるディスプレイ装置の表示制御プログラムは、現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置が備えるコンピュータに、前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定処理と、前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御処理と、を実行させる。

【0018】

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、ディスプレイ装置、互いに通信可能に接続されるディスプレイ装置と通信装置とを備える作業支援システム、ディスプレイ装置の表示制御方法、それらの装置、システムまたは方法の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することが可能である。

【図面の簡単な説明】

【0019】

【図1】本実施形態における作業支援システム１０の概略構成を示す説明図

【図2】工事現場選択画面Ｍを示す説明図

【図3】ボックス配置支援処理の内容を示すフローチャート

【図4】ボックス配置作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図

【図5】ボード開口支援処理の内容を示すフローチャート

【図6】ボード開口作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図

【図7】作業対象箇所Ｔを斜め方向から見たときの近距離用画像ＧＮ２を示す説明図

【図8】器具取付支援処理の内容を示すフローチャート

【図9】器具取付作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図

【図10】天井側を見たときのＨＭＤ１００の表示内容を示す説明図

【発明を実施するための形態】

【0020】

Ａ．実施形態：
Ａ－１．作業支援システム１０の構成：
図１は、本実施形態における作業支援システム１０の概略構成を示す説明図である。作業支援システム１０は、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ 以下、「ＭＲ」という）技術を用いて、作業現場における作業者Ｕ（例えば職人）の作業を支援するためのシステムである。すなわち、作業支援システム１０では、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）１００を通じて、現実空間（作業現場の現実画像）と仮想空間（作業対象箇所や作業基準を示す仮想画像）とを融合したＭＲ空間が作業者Ｕに提供される。本実施形態では、工事現場（例えば建築現場等）における電気工事に関する作業を例に挙げて説明する。

【0021】

図１に示すように、作業支援システム１０は、ＨＭＤ１００と、サーバ２００と、端末装置３００と、を備える。なお、作業支援システム１０では、ＨＭＤ１００と端末装置３００との少なくとも一方を複数備えることが可能である。すなわち、例えば複数のＨＭＤ１００が、サーバ２００から提供される３Ｄデータ等を共有できる構成としてもよい。また、複数の端末装置３００は、サーバ２００に対して個別に設計図面データ等を送信し、サーバ２００は、送信されたそれぞれの設計図面データ等を端末装置ごとにサーバ記憶部２２０に記憶する構成としてもよい。

【0022】

Ａ－１－１．ＨＭＤ１００の構成
ＨＭＤ１００は、工事現場で作業を行う作業者Ｕに装着されるディスプレイ装置である。ＨＭＤ１００は、ＨＭＤ制御部１１０と、ＨＭＤ記憶部１２０と、空間位置センサ１３０と、カメラ１４０、ＨＭＤ表示部１５０と、ＨＭＤ操作入力部１６０と、インターフェース部１７０と、を備える。これらの各部は、バス１９０を介して互いに通信可能に接続されている。

【0023】

空間位置センサ１３０は、現実空間におけるＨＭＤ１００の位置を検出するためのセンサである。カメラ１４０は、ＨＭＤ１００の視界内における現実空間の動画や静止画を撮像し、その撮像データを生成する。ＨＭＤ表示部１５０は、光学シースルー方式の表示部である。具体的には、ＨＭＤ表示部１５０は、ハーフミラー（図示しない）を備えており、作業者Ｕは、外部の様子（現実空間）を、ハーフミラーを介して見ることができる。また、ＨＭＤ表示部１５０は、液晶ディスプレイ等（図示しない）を備えており、作業者Ｕは、液晶ディスプレイに表示された仮想画像（例えば図形やテキスト等）を、ハーフミラーを介して視認することができる。なお、本実施形態のＨＭＤ表示部１５０では、ホログラフィック素子を用いたディスプレイが採用されている。ＨＭＤ表示部１５０は、特許請求の範囲における取得部と表示部との一例である。また、ＨＭＤ表示部１５０を介して作業者Ｕに視認される現実空間の情景（ＨＭＤ１００の視界内の外部の様子）は、特許請求の範囲における現実空間を表す現実画像の一例である。

【0024】

ＨＭＤ操作入力部１６０は、例えばボタンやマイク等により構成され、人の操作や指示（音声による指示を含む）を受け付ける。また、インターフェース部１７０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置（サーバ２００、端末装置３００）との通信を行う。

【0025】

ＨＭＤ記憶部１２０は、例えばＲＯＭやＲＡＭ、ＮＶＲＡＭ、フラッシュメモリ、ＨＤＤ、ＥＥＰＲＯＭなどの書き換え可能なメモリ等により構成され、各種のデータ、プログラムを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。具体的には、ＨＭＤ記憶部１２０には、作業支援ＰＧＭ１２１が格納されている。作業支援ＰＧＭ１２１は、ＨＭＤ１００のＨＭＤ表示部１５０の表示動作を制御するためのプログラムである。このプログラムは、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータによって読み取り可能な記録媒体（不図示）に格納された状態で提供され、ＨＭＤ１００にインストールすることによりＨＭＤ記憶部１２０に格納される。

【0026】

ＨＭＤ制御部１１０は、例えばＣＰＵ等により構成され、ＨＭＤ記憶部１２０から読み出したコンピュータプログラムを実行することにより、ＨＭＤ表示部１５０の表示動作を制御する。例えば、ＨＭＤ制御部１１０は、ＨＭＤ記憶部１２０から作業支援ＰＧＭ１２１を読み出して実行することにより、後述の作業支援処理等を実行する。このとき、ＨＭＤ制御部１１０は、距離特定部１１１と表示制御部１１２と表示変更部１１３と情報付加部１１４として機能する。これら各部の機能については、後述の処理の説明に合わせて説明する。

【0027】

Ａ－１－２．サーバ２００の構成
サーバ２００は、工事現場から離れた場所に配置されており、端末装置３００から工事現場の建築物の設計図面データ（ＣＡＤデータ等）を受信して３Ｄデータに変換して登録し、ＨＭＤ１００からの要求に応じて３ＤデータをＨＭＤ１００に随時送信する。サーバ２００は、サーバ制御部２１０と、サーバ記憶部２２０と、サーバ表示部２５０と、サーバ操作入力部２６０と、インターフェース部２７０と、を備える。これらの各部は、バス２９０を介して互いに通信可能に接続されている。

【0028】

サーバ表示部２５０は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。サーバ操作入力部２６０は、例えばキーボードやマウス、ボタン、マイク等により構成され、人の操作や指示を受け付ける。また、インターフェース部２７０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置（ＨＭＤ１００や端末装置３００）との通信を行う。

【0029】

サーバ記憶部２２０は、例えばＲＯＭやＲＡＭ、ハードディスクドライブ（ＨＤＤ）等により構成され、各種のデータ、プログラムを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。サーバ記憶部２２０には、３ＤデータＤＢ２２１が格納されており、３ＤデータＤＢ２２１には、端末装置３００から受信した設計図面データを３Ｄ変換して生成された３Ｄデータが登録される。３Ｄデータは、上記設計図面データに基づく３次元空間の図面データであり、例えば工事現場における電気工事の作業対象箇所や配線の位置情報等が含まれる。

【0030】

サーバ制御部２１０は、例えばＣＰＵ等により構成され、サーバ記憶部２２０から読み出したコンピュータプログラムを実行することにより、サーバ２００の動作を制御する。例えば、サーバ制御部２１０は、サーバ記憶部２２０から図面変換ＰＧＭ（図示しない）を読み出して実行することにより、データ変換処理を実行する。このとき、サーバ制御部２１０は、データ変換部２１１として機能する。具体的には、データ変換部２１１は、端末装置３００から受信した設計図面データを３Ｄ変換して３Ｄデータを生成すると共に、該３Ｄデータを解析して、電気工事の作業対象箇所の位置を特定する。特定された作業対象箇所の位置情報は、３Ｄデータと共に３ＤデータＤＢ２２１に記憶される。

【0031】

Ａ－１－３．端末装置３００の構成
端末装置３００は、例えば工事現場やサーバ２００の設置場所から離れた場所に配置されており、工事現場の設計図面データをサーバ２００に送信したり、ＨＭＤ１００での工事現場の撮像画像を、ＨＭＤ１００を介して受信したりする。端末装置３００は、端末制御部３１０と、端末記憶部３２０と、端末表示部３５０と、端末操作入力部３６０と、インターフェース部３７０と、を備える。これらの各部は、バス３９０を介して互いに通信可能に接続されている。

【0032】

端末表示部３５０は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。端末操作入力部３６０は、例えばキーボードやマウス、ボタン、マイク等により構成され、人の操作や指示を受け付ける。また、インターフェース部３７０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置（ＨＭＤ１００やサーバ２００）との通信を行う。例えば、ＨＭＤ１００のカメラ１４０に生成される撮像データがサーバ２００に送信され、ＨＭＤ１００の視界内の動画や静止画を端末表示部３５０に表示することができる。

【0033】

端末記憶部３２０は、例えばＲＯＭやＲＡＭ、ＨＤＤ等により構成され、各種のデータ、プログラムを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。端末記憶部３２０には、設計図面ＤＢ３２１が格納されており、設計図面ＤＢ３２１には、各工事現場の設計図面データ（各工事現場の建築物や構造物の位置や寸法等を含む）が格納されている。

【0034】

端末制御部３１０は、例えばＣＰＵ等により構成され、端末記憶部３２０から読み出したコンピュータプログラムを実行することにより、端末装置３００の動作を制御する。例えば、端末制御部３１０は、端末記憶部３２０から図面送信ＰＧＭ（図示しない）を読み出して実行することにより、設計図面データをサーバ２００に送信したり、工事現場での撮像画像を、ＨＭＤ１００を介して受信したりする。なお、作業支援システム１０において、端末装置３００からＨＭＤ１００に所定の指示や情報を送信可能な構成としてもよい。

【0035】

Ａ－２．準備処理：
まず、本実施形態のＨＭＤ１００の準備処理について説明する。まず、作業者Ｕは、工事現場にて、ＨＭＤ１００を装着し、ＨＭＤ操作入力部１６０を介して所定の操作を行ってＨＭＤ１００を起動させる。次に、作業者Ｕが、位置合わせの指示操作を行うと、ＨＭＤ制御部１１０は、現実空間上の基準位置と、サーバ２００からの３Ｄデータに基づく仮想空間上の基準位置とを合わせるための位置合わせ処理を行う。位置合わせ処理では、空間位置センサ１３０により検出されるＨＭＤ１００の現在位置と、カメラ１４０によって撮像されるＡＲマークを含む現実画像の解析結果とに基づき、現実空間上の基準位置と仮想空間上の基準位置とを一致させるよう、仮想空間上の基準位置を調整する。

【0036】

次に、ＨＭＤ１００のＨＭＤ表示部１５０には、図２に示す工事現場選択画面Ｍが表示される。工事現場選択画面Ｍには、複数の工事現場（部屋）の選択肢（Ａ室Ｒ１、Ｂ室Ｒ２・・・）が表示され、工事現場毎に、作業が完了していない未作業箇所の残数が表示されている。図２では、Ａ室Ｒ１では、未作業箇所の残数は３箇所であり、Ｂ室Ｒ２では、未作業箇所の残数は０箇所であることが例示されている。作業者Ｕは、所定の操作を行うことにより、任意の工事現場を選択できる。以下、Ａ室Ｒ１が選択された場合を例に挙げて説明する。

【0037】

Ａ－３．作業支援処理：
次に、本実施形態のＨＭＤ１００により実行される作業支援処理について説明する。作業支援処理は、次の３つの処理を含む。
「ボックス配置支援処理」：Ａ室Ｒ１を構成する骨組み２（柱や梁等）に後述のボード４を設置する前において、その骨組み２に電気ボックス３を配置するためのボックス配置作業を支援するための処理である。
「ボード開口支援処理」：上記ボックス配置作業後、骨組み２に設置されたボード４にボード開口４ａを形成するためのボード開口作業を支援するための処理である。
「器具取付支援処理」：上記ボード開口作業後、上記ボード開口４ａを覆うようにボード４の表面全体に貼り付けられた壁紙７に壁紙開口７ａを形成する壁紙開口作業を支援するための処理である。なお、壁紙開口作業後、壁紙開口７ａ内に位置する電気ボックス３と電気器具８（コンセントプレート等）とを電気的に接続し、電気器具８を壁紙開口７ａに取り付けることにより作業対象箇所Ｔに対する電気工事が完了する。以下、これらの処理を順番に説明する。

【0038】

Ａ－３－１．ボックス配置支援処理
図３は、ボックス配置支援処理の内容を示すフローチャートであり、図４は、ボックス配置作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図である。図４には、ボックス配置作業前の状態のＡ室Ｒ１を上方から見た模式図が示されている。該模式図には、方向を特定するための互いに直交するＸＹＺ軸が示されており、便宜的に、Ｚ軸正方向を上方向と呼ぶものとする（他の図面も同じ）。ボックス配置作業前の状態のＡ室Ｒ１では、複数本の骨組み２が配置されているが、これらの骨組み２にボード４は設置されていない。Ａ室Ｒ１には、例えば３箇所の作業対象箇所Ｔ（Ｔ１～Ｔ３）が存在するものとする。

【0039】

図４に示された近距離画面ＭＮ１は、一の作業対象箇所Ｔ（Ｔ１）の近傍の位置にいる作業者Ｕ（ＵＮ）が装着したＨＭＤ１００の表示画面である。図４の遠距離画面ＭＦ１は、一の作業対象箇所Ｔ（Ｔ１）から離れた位置（Ａ室Ｒ１の入口付近）にいる作業者Ｕ（ＵＦ）が装着したＨＭＤ１００の表示画面である。図４の作業後画面ＭＣ１は、一の作業対象箇所Ｔ（Ｔ１）に対するボックス配置作業が完了したときの表示画面である。

【0040】

ボックス配置支援処理が開示されると、図３に示すように、距離特定部１１１は、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔのディスプレイ距離を特定する（Ｓ１１０）。ディスプレイ距離は、現実空間に実在する現実物体（建築物の骨組み２）における作業対象箇所ＴとＨＭＤ１００との距離である。従って、ディスプレイ距離は、工事現場内での作業者Ｕの移動に伴って変動する。距離特定部１１１は、空間位置センサ１３０により検出されるＨＭＤ１００の現在位置情報と、サーバ２００から送信される３Ｄデータとに基づき、ディスプレイ距離を特定できる。

【0041】

次に、表示制御部１１２は、特定されたディスプレイ距離が基準距離以下であるか否かを判断する（Ｓ１２０）。なお、基準距離は、作業者Ｕが作業対象箇所Ｔに対して作業可能な距離（例えば作業者Ｕの手が作業対象箇所Ｔに届くなどして作業可能な距離）であることが好ましい。なお、工事現場（Ａ室Ｒ１）に複数の作業対象箇所Ｔが存在する場合、複数の作業対象箇所Ｔのうち、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔのみを対象として、Ｓ１２０の処理が実施される。換言すれば、作業者Ｕの視線が変わり、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔが変われば、Ｓ１２０の処理対象の作業対象箇所Ｔも変わる。

【0042】

表示制御部１１２は、ディスプレイ距離が基準距離以下であると判断した場合（Ｓ１２０：ＹＥＳ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔ（骨組み２の側面側）に近距離用画像ＧＮ１を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ１３０）。図４の近距離画面ＭＮ１に示すように、近距離用画像ＧＮ１は、作業基準画像ＧＡ１を含む。作業基準画像ＧＡ１は、作業対象箇所Ｔに対する作業の基準位置（例えば電気ボックス３の取付の中心位置）を示すライン画像である。具体的には、作業基準画像ＧＡ１は、縦ガイドラインＧＡ１１と横ガイドラインＧＡ１２とを有する。縦ガイドラインＧＡ１１は、上下方向（Ｚ軸方向）に延びる直線状のライン画像であり、横ガイドラインＧＡ１２は、水平方向（例えばＸ軸方向）に延びる直線状のライン画像である。縦ガイドラインＧＡ１１と横ガイドラインＧＡ１２との交点Ｐが、電気ボックス３の中心を配置すべき基準位置を意味し、作業者Ｕは、電気ボックス３の中心がＭＲ空間中の交点Ｐに一致するように電気ボックス３を配置して骨組み２に固定する。これにより、作業者Ｕは、現場での寸法測定や設計図面の確認等を行うことなく、ＨＭＤ１００に表示される作業基準画像ＧＡ１を頼りに電気ボックス３を作業対象箇所Ｔに精度良く配置できる。

【0043】

また、作業基準画像ＧＡ１は、さらに、外形画像ＧＡ１３を含む。外形画像ＧＡ１３は、作業対象箇所Ｔに取り付けるべき電気ボックス３の外形に応じた枠状のライン画像である。これにより、作業者Ｕが、間違ったサイズの電気ボックス３を作業対象箇所Ｔに配置することを抑制できる。また、例えば、１つの作業対象箇所Ｔに複数の電気ボックス３を配置する場合、外形画像ＧＡ１３を、複数の電気ボックス３のそれぞれの外形に応じた複数の枠状のライン画像としてもよい。これにより、作業者Ｕが、１つの作業対象箇所Ｔに配置すべき電気ボックス３の数やサイズを間違えることを抑制できる。

【0044】

一方、表示制御部１１２は、ディスプレイ距離が基準距離を超えたと判断した場合（Ｓ１２０：ＮＯ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに遠距離用画像ＧＦ１を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ１４０）。図４の遠距離画面ＭＦ１に示すように、遠距離用画像ＧＦ１は、近距離用画像ＧＮ１に比べて視認性が高い画像である。具体的には、遠距離用画像ＧＦ１は、上記作業基準画像ＧＡ１に加えて、作業箇所画像ＧＢ１を含む。作業箇所画像ＧＢ１は、作業対象箇所Ｔの位置を示す画像である。作業箇所画像ＧＢ１は、作業基準画像ＧＡ１に比べて視認性が高い画像である。ここで、画像の視認性が高いとは、ＨＭＤ１００の視界内において、作業者Ｕが視覚的に認識し易い表示方法（例えば、画像の濃淡、塗り潰し範囲、輝度、点滅周期等のうちの少なくとも１つを調整して視認性を調整）で表示されていることを言う。本実施形態では、作業箇所画像ＧＢ１は、ライン画像である作業基準画像ＧＡ１に比べて、単位面積当たりの塗りつぶし範囲が広い塗り潰し画像である。具体的には、作業箇所画像ＧＢ１は、上記外形画像ＧＡ１３に囲まれる領域全体を塗りつぶす不透明または半透明な画像である。このように、遠距離用画像ＧＦ１は、作業基準画像ＧＡ１に加えて作業箇所画像ＧＢ１を含むため、作業箇所画像ＧＢ１を含まない近距離用画像ＧＮ１に比べて視認性が高く、その結果、作業対象箇所Ｔから基準距離以上離れた位置でも作業者Ｕは作業対象箇所Ｔを容易に見つけ出すことができる。

【0045】

また、作業箇所画像ＧＢ１は、少なくとも一部分が作業対象箇所Ｔよりも手前に位置する立体画像である。具体的には、作業箇所画像ＧＢ１は、電気ボックス３の外形に応じた直方体の立体画像である。これにより、例えば作業箇所画像ＧＢ１が、平面画像や、作業対象箇所Ｔ（現実物体）の後ろ側に位置する画像である場合に比べて、例えば、作業者Ｕが作業対象箇所Ｔを斜め方向から見た場合でも、作業箇所画像ＧＢ１を通じて作業対象箇所Ｔを容易に見つけ出すことができる。なお、本実施形態では、作業箇所画像ＧＢ１の全体が作業対象箇所Ｔよりも手前に位置している。

【0046】

表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ１または近距離用画像ＧＮ１を表示させた後、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔに対する作業が完了したか否かを判断する（Ｓ１５０）。作業者Ｕは、所定の操作を行うことにより、該作業対象箇所Ｔに対するボックス配置作業が完了したことをＨＭＤ１００に認識させることができる。ここでいう所定の操作とは、例えばＨＭＤ１００の視界内に位置する上記近距離用画像ＧＮ１または遠距離用画像ＧＦ１に仮想的にタッチし、完了を意味する動作を行う操作である。このとき、表示制御部１１２は、カメラ１４０からの撮像データに基づき、現実空間の現実画像を常にスキャンしており、そのスキャン結果から、作業者Ｕの動作を検知する。このとき、カメラ１４０と表示制御部１１２とは、特許請求の範囲における完了検知部の一例である。また、作業者Ｕによる操作ではなく、作業者Ｕの声に基づき作業の完了の有無を判断してもよいし、カメラ１４０によって撮像した作業対象箇所Ｔの画像の解析結果に基づき作業の完了の有無を自動で判断してもよい。表示制御部１１２は、作業が完了していないと判断した場合（Ｓ１５０：ＮＯ）、Ｓ１１０の処理に戻る。すなわち、表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ１または近距離用画像ＧＮ１を表示させる動作を継続する。

【0047】

表示制御部１１２は、作業が完了したと判断した場合（Ｓ１５０：ＹＥＳ）、ディスタンス距離の長短に関係なく、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに完了画像ＧＣ１を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ１６０）。完了画像ＧＣ１は、作業基準画像ＧＡ１’と作業箇所画像ＧＢ１’とを含む。作業基準画像ＧＡ１’は、上記作業基準画像ＧＡ１と形状は同じであるが、色が異なる。また、作業箇所画像ＧＢ１’は、上記作業箇所画像ＧＢ１と形状は同じであるが、色が異なる。これにより、作業者Ｕは、作業基準画像ＧＡ１’や作業箇所画像ＧＢ１’の色によって、作業の完了の有無を容易に判断できる。なお、表示制御部１１２は、作業が完了したと判断した場合（Ｓ１５０：ＹＥＳ）、Ａ室Ｒ１におけるボックス配置作業についての未作業箇所の残数を更新する。また、未作業箇所の残数が、上記各画面ＭＮ１，ＭＦ１，ＭＣ１の少なくとも１つに表示される構成であってもよい。

【0048】

次に、表示制御部１１２は、メモ機能が選択されたか否かを判断する（Ｓ１７０）。作業者Ｕは、所定の操作を行うことにより、メモ機能が選択されたことをＨＭＤ１００に認識させることができる。ここでいう所定の操作とは、例えばＨＭＤ１００の視界内に位置する作業後画面ＭＣ１に仮想的にタッチし、メモ機能の選択を意味する動作を行う操作である。表示制御部１１２は、メモ機能が選択されたと判断した場合（Ｓ１７０：ＹＥＳ）、情報付加部１１４がメモ情報を取得する（Ｓ１８０）。具体的には、作業後画面ＭＣ１に示すように、作業後画面ＭＣ１にメモ画面Ｈが表示され、作業者Ｕがメモしたいメモ情報を話すと、その音声がＨＭＤ操作入力部１６０（マイク）に入力され、音声データに応じたテキスト情報がメモ画面Ｈに表示されると共に、ＨＭＤ記憶部１２０に記憶される。メモ情報とは、例えば、電気ボックス３を実際に配置した位置と設計図面上の位置とのずれや、後段の作業に役立つ情報などである。なお、メモ情報は、例えばＨＭＤ１００からサーバ２００または端末装置３００に送信されてフィードバックされることが好ましい。これにより、例えば一の作業者Ｕが入力したメモ情報がサーバ２００や端末装置３００にて設計図面等に反映され、ＨＭＤ１００を使用する他の作業者Ｕにも共有できる。

【0049】

表示制御部１１２は、メモ機能が選択されないと判断した場合（Ｓ１７０：ＮＯ）、Ｓ１８０の処理を行うことなく、Ｓ１１０の処理に戻る。なお、図３に示すボックス配置支援処理では、作業者Ｕが視線を変わり、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔが変わった場合、表示制御部１１２は、視線が変わる前の作業対象箇所Ｔに対する処理を中断し、視線が変わった後の新たな作業対象箇所Ｔに対してＳ１１０の処理から行う。

【0050】

以上の構成により、例えば、作業者Ｕ（ＵＦ）がＡ室Ｒ１の入口に立つと、各作業対象箇所Ｔに遠距離画面ＭＦ１が投影される。上述したように、遠距離画面ＭＦ１は、作業基準画像ＧＡ１に加えて、作業箇所画像ＧＢ１が含まれた画像であり、かつ、作業箇所画像ＧＢ１は、作業基準画像ＧＡ１に比べて、単位面積当たりの塗り潰し範囲が広い分だけ相対的に強調されている。このため、作業者Ｕ（ＵＦ）は、作業対象箇所Ｔから比較的に遠い位置では、相対的に強調された作業箇所画像ＧＢ１を通じて、作業対象箇所Ｔを、より容易に見つけ出すことができる。特にＨＭＤ１００を装着した作業者Ｕは、ＨＭＤ１００によって視界が制約されるため、特に本実施形態が有効である。

【0051】

次に、作業者Ｕ（ＵＮ）が作業対象箇所Ｔに近づくと、作業対象箇所Ｔに近距離画面ＭＮ１が投影される。近距離画面ＭＮ１は、作業基準画像ＧＡ１を含み、かつ、作業箇所画像ＧＢ１を含まない画像であり、作業箇所画像ＧＢ１に比べて、作業基準画像ＧＡ１が相対的に強調されている。このため、作業者Ｕ（ＵＮ）は、作業対象箇所Ｔから比較的に近い位置では、相対的に強調された作業基準画像ＧＡ１を通じて、作業対象箇所Ｔに対する作業をより効率良く行うことができる。

【0052】

Ａ－３－２．ボード開口支援処理
図５は、ボード開口支援処理の内容を示すフローチャートであり、図６は、ボード開口作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図である。図６には、ボード開口作業前の状態のＡ室Ｒ１を上方から見た模式図が示されている。ボード開口作業前の状態のＡ室Ｒ１では、骨組み２に電気ボックス３が配置されると共に、電気ボックス３（作業対象箇所Ｔ）の前面を覆うように骨組み２にボード４が設置されている。すなわち、Ａ室Ｒ１にいる作業者Ｕから見て、電気ボックス３はボード４の背後に隠れているため、ボード開口４ａを形成すべき作業対象箇所Ｔを見つけることが難しい。

【0053】

図６に示された近距離画面ＭＮ２は、一の作業対象箇所Ｔ（Ｔ１）の近傍の位置にいる作業者Ｕ（ＵＮ）が装着したＨＭＤ１００の表示画面である。図６の遠距離画面ＭＦ２は、一の作業対象箇所Ｔ（Ｔ１）から離れた位置（Ａ室Ｒ１の入口付近）にいる作業者Ｕ（ＵＦ）が装着したＨＭＤ１００の表示画面である。図６の作業後画面ＭＣ２は、一の作業対象箇所Ｔ（Ｔ１）に対するボード開口作業が完了したときの表示画面である。

【0054】

ボード開口支援処理が開示されると、図５に示すように、距離特定部１１１は、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔの上記ディスプレイ距離を特定する（Ｓ２１０）。表示制御部１１２は、ディスプレイ距離が基準距離以下であると判断した場合（Ｓ２２０：ＹＥＳ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔ（ボード４の内側表面の内、電気ボックス３の手前に位置する部分）に近距離用画像ＧＮ２を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ２３０）。図６の近距離画面ＭＮ２に示すように、近距離用画像ＧＮ２は、作業基準画像ＧＡ２を含む。作業基準画像ＧＡ２は、作業対象箇所Ｔに対する作業の基準位置（例えばボード４に形成すべきボード開口４ａの中心位置）を示すライン画像である。具体的には、作業基準画像ＧＡ２は、縦ガイドラインＧＡ２１と横ガイドラインＧＡ２２とを有する。縦ガイドラインＧＡ２１は、上下方向（Ｚ軸方向）に延びる直線状のライン画像であり、横ガイドラインＧＡ２２は、水平方向（例えばＸ軸方向）に延びる直線状のライン画像である。縦ガイドラインＧＡ２１と横ガイドラインＧＡ２２との交点Ｐが、ボード開口４ａの中心になるべき基準位置を意味し、作業者Ｕは、ボード開口４ａの中心がＭＲ空間中の交点Ｐに一致するようにボード開口４ａをボード４に形成する。これにより、作業者Ｕは、現場での寸法測定や設計図面の確認等を行うことなく、ＨＭＤ１００に表示される作業基準画像ＧＡ２を頼りにボード開口４ａを作業対象箇所Ｔに精度良く形成できる。

【0055】

また、作業基準画像ＧＡ２は、さらに、外形画像ＧＡ２３を含む。外形画像ＧＡ２３は、作業対象箇所Ｔに形成すべきボード開口４ａの輪郭線に応じた枠状のライン画像である。これにより、作業者Ｕが、間違ったサイズのボード開口４ａを作業対象箇所Ｔに形成することを抑制できる。

【0056】

一方、表示制御部１１２は、ディスプレイ距離が基準距離を超えたと判断した場合（Ｓ２２０：ＮＯ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに遠距離用画像ＧＦ２を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ２４０）。図６の遠距離画面ＭＦ２に示すように、遠距離用画像ＧＦ２は、近距離用画像ＧＮ２に比べて視認性が高い画像である。具体的には、遠距離用画像ＧＦ２は、上記作業基準画像ＧＡ２に加えて、作業箇所画像ＧＢ２を含む。作業箇所画像ＧＢ２は、作業対象箇所Ｔの位置を示す画像である。作業箇所画像ＧＢ２は、作業基準画像ＧＡ２に比べて視認性が高い画像である。本実施形態では、作業箇所画像ＧＢ２は、ライン画像である作業基準画像ＧＡ２に比べて、単位面積当たりの塗りつぶし範囲が広い塗り潰し画像である。具体的には、作業箇所画像ＧＢ２は、上記外形画像ＧＡ２３に囲まれる領域全体を塗りつぶす不透明または半透明な画像である。このように、遠距離用画像ＧＦ２は、作業基準画像ＧＡ２に加えて作業箇所画像ＧＢ２を含むため、作業箇所画像ＧＢ２を含まない近距離用画像ＧＮ２に比べて視認性が高く、その結果、作業対象箇所Ｔから基準距離以上離れた位置でも作業者Ｕは作業対象箇所Ｔを容易に見つけ出すことができる。

【0057】

また、作業箇所画像ＧＢ２は、少なくとも一部分が作業対象箇所Ｔよりも手前に位置する立体画像である。具体的には、作業箇所画像ＧＢ２は、ボード開口４ａの輪郭線に応じた矩形状で、かつ、厚みを有する立体画像である。ここで、図７は、作業対象箇所Ｔを斜め方向から見たときの近距離用画像ＧＮ２を示す説明図である。図７に示すように、作業者Ｕが上方から作業対象箇所Ｔを見たとき、近距離用画像ＧＮ２の作業箇所画像ＧＢ２は、厚みを有する板状体であり、ボード４から手前に浮かぶように配置されている。これにより、例えば作業箇所画像ＧＢ２が、ボード４上に位置する平面画像である場合に比べて、例えば、作業者Ｕが作業対象箇所Ｔを斜め方向から見た場合でも、作業箇所画像ＧＢ２を通じて作業対象箇所Ｔを容易に見つけ出すことができる。

【0058】

表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ２または近距離用画像ＧＮ２を表示させた後、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔに対する作業が完了したか否かを判断する（Ｓ２５０）。作業者Ｕは、所定の操作を行うことにより、該作業対象箇所Ｔに対するボード開口作業が完了したことをＨＭＤ１００に認識させることができる。ここでいう所定の操作とは、例えばＨＭＤ１００の視界内に位置する上記近距離用画像ＧＮ２または遠距離用画像ＧＦ２に仮想的にタッチし、完了を意味する動作を行う操作である。表示制御部１１２は、作業が完了していないと判断した場合（Ｓ２５０：ＮＯ）、Ｓ２１０の処理に戻る。すなわち、表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ２または近距離用画像ＧＮ２を表示させる動作を継続する。

【0059】

表示制御部１１２は、作業が完了したと判断した場合（Ｓ２５０：ＹＥＳ）、ディスタンス距離の長短に関係なく、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに完了画像ＧＣ２を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ２６０）。完了画像ＧＣ２は、作業基準画像ＧＡ２’と作業箇所画像ＧＢ２’とを含む。作業基準画像ＧＡ２’は、上記作業基準画像ＧＡ２と形状は同じであるが、色が異なる。また、作業箇所画像ＧＢ２’は、上記作業箇所画像ＧＢ２と形状は同じであるが、色が異なる。これにより、作業者Ｕは、作業基準画像ＧＡ２’や作業箇所画像ＧＢ２’の色によって、作業の完了の有無を容易に判断できる。なお、表示制御部１１２は、作業が完了したと判断した場合（Ｓ２５０：ＹＥＳ）、Ａ室Ｒ１におけるボード開口作業についての未作業箇所の残数を更新する。また、未作業箇所の残数が、上記各画面ＭＮ２，ＭＦ２，ＭＣ２の少なくとも１つに表示される構成であってもよい。図５におけるＳ１７０，Ｓ１８０の処理は、図３とほぼ同じであるため、説明を省略する。

【0060】

以上の構成により、例えば、作業者Ｕ（ＵＦ）がＡ室Ｒ１の入口に立つと、各作業対象箇所Ｔに遠距離画面ＭＦ２が投影される。上述したように、遠距離画面ＭＦ２は、作業基準画像ＧＡ２に加えて、作業箇所画像ＧＢ２が含まれた画像であり、かつ、作業箇所画像ＧＢ２は、作業基準画像ＧＡ２に比べて、単位面積当たりの塗り潰し範囲が広い分だけ相対的に強調されている。このため、作業者Ｕ（ＵＦ）は、作業対象箇所Ｔから比較的に遠い位置では、相対的に強調された作業箇所画像ＧＢ２を通じて、作業対象箇所Ｔを、より容易に見つけ出すことができる。次に、作業者Ｕ（ＵＮ）が作業対象箇所Ｔに近づくと、作業対象箇所Ｔに近距離画面ＭＮ２が投影される。近距離画面ＭＮ２は、作業基準画像ＧＡ２を含み、かつ、作業箇所画像ＧＢ２を含まない画像であり、作業箇所画像ＧＢ２に比べて、作業基準画像ＧＡ２が相対的に強調されている。このため、作業者Ｕ（ＵＮ）は、作業対象箇所Ｔから比較的に近い位置では、相対的に強調された作業基準画像ＧＡ２を通じて、作業対象箇所Ｔに対する作業をより効率良く行うことができる。

【0061】

Ａ－３－３．器具取付支援処理
図８は、器具取付支援処理の内容を示すフローチャートであり、図９は、器具取付作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図である。図９には、器具取付作業前の状態のＡ室Ｒ１を上方から見た模式図が示されている。器具取付作業前の状態のＡ室Ｒ１では、上記ボード開口４ａを覆うようにボード４の内側表面全体に壁紙７が貼り付けられている。すなわち、Ａ室Ｒ１にいる作業者Ｕから見て、ボード４に形成されたボード開口４ａが壁紙７の背後に隠れているため、電気器具８を取り付けるべき作業対象箇所Ｔを見つけることが難しい。

【0062】

図９に示された中距離画面ＭＭは、一の作業対象箇所Ｔ（Ｔ１）から少し離れた位置にいる作業者Ｕ（ＵＭ）が装着したＨＭＤ１００の表示画面である。図９に示された近距離画面ＭＮ３，ＭＮ３’は、一の作業対象箇所Ｔ（Ｔ１）の近傍の位置にいる作業者Ｕが装着したＨＭＤ１００の表示画面である。図９の遠距離画面ＭＦ３は、一の作業対象箇所Ｔ（Ｔ１）から離れた位置（Ａ室Ｒ１の入口付近）にいる作業者Ｕ（ＵＦ）が装着したＨＭＤ１００の表示画面である。図９の作業後画面ＭＣ３は、一の作業対象箇所Ｔ（Ｔ１）に対する器具取付作業が完了したときの表示画面である。

【0063】

器具取付支援処理が開示されると、図８に示すように、距離特定部１１１は、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔの上記ディスプレイ距離を特定する（Ｓ３１０）。表示制御部１１２は、ディスプレイ距離が、第１基準距離以下であり、かつ、第２基準距離を超えると判断した場合（Ｓ３２０：ＹＥＳ、かつ、Ｓ３４０：ＮＯ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔ（壁紙７の内側表面の内、ボード開口４ａの手前に位置する部分）に中距離用画像ＧＭを投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ３５０）。第２基準距離は、例えば作業者Ｕが作業対象箇所Ｔに対して作業可能な距離であり、第１基準距離は、第２基準距離よりも長く、例えば作業者Ｕの手が作業対象箇所Ｔに届く少し手前の距離であることが好ましい。図９の中距離画面ＭＭに示すように、中距離用画像ＧＭは、作業基準画像ＧＡ３を含む。作業基準画像ＧＡ３は、作業対象箇所Ｔに対する作業の基準位置（例えば壁紙７に形成すべき壁紙開口７ａの中心位置）を示すライン画像である。具体的には、作業基準画像ＧＡ３は、縦ガイドラインＧＡ３１と横ガイドラインＧＡ３２とを有する。縦ガイドラインＧＡ３１は、上下方向（Ｚ軸方向）に延びる直線状のライン画像であり、横ガイドラインＧＡ３２は、水平方向（例えばＸ軸方向）に延びる直線状のライン画像である。作業者Ｕは、縦ガイドラインＧＡ３１と横ガイドラインＧＡ３２との交点Ｐ付近に、ボード開口４ａが存在し、該交点Ｐ付近に壁紙開口７ａを形成すればよいことが分かる。

【0064】

表示制御部１１２は、ディスプレイ距離が、第２基準距離以下であると判断した場合（Ｓ３２０：ＹＥＳ、かつ、Ｓ３４０：ＹＥＳ）、図９の近距離画面ＭＮ３に示すように、作業対象箇所に対する画像（中距離用画像ＧＭ）を消去する（Ｓ３６０）。これにより、作業者Ｕは、画像に邪魔されることなく、図９の近距離画面ＭＮ３’に示すように壁紙７に壁紙開口７ａを形成し、その壁紙開口７ａおよびボード開口４ａを介して、電気器具８を電気ボックス３に電気的に接続しつつ取り付けることができる。

【0065】

一方、表示制御部１１２は、ディスプレイ距離が第１基準距離を超えたと判断した場合（Ｓ３２０：ＮＯ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに遠距離用画像ＧＦ３を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ３３０）。図９の遠距離画面ＭＦ３に示すように、遠距離用画像ＧＦ３は、中距離用画像ＧＭに比べて視認性が高い画像である。具体的には、遠距離用画像ＧＦ３は、上記作業基準画像ＧＡ３に加えて、作業箇所画像ＧＢ３を含む。作業箇所画像ＧＢ３は、作業対象箇所Ｔの位置を示す画像である。作業箇所画像ＧＢ３は、作業基準画像ＧＡ３に比べて視認性が高い画像である。本実施形態では、作業箇所画像ＧＢ３は、ライン画像である作業基準画像ＧＡ３に比べて、単位面積当たりの塗りつぶし範囲が広い塗り潰し画像である。このように、遠距離用画像ＧＦ３は、作業基準画像ＧＡ３に加えて作業箇所画像ＧＢ３を含むため、作業箇所画像ＧＢ３を含まない中距離用画像ＧＭに比べて視認性が高く、その結果、作業対象箇所Ｔから第１基準距離以上離れた位置でも作業者Ｕは作業対象箇所Ｔを容易に見つけ出すことができる。

【0066】

表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ３または中距離用画像ＧＭを表示させたり消去したりした後、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔに対する作業が完了したか否かを判断する（Ｓ３７０）。作業者Ｕは、所定の操作を行うことにより、該作業対象箇所Ｔに対する器具取付作業が完了したことをＨＭＤ１００に認識させることができる。ここでいう所定の操作とは、例えばＨＭＤ１００の視界内に位置する作業対象箇所Ｔ付近の位置に仮想的にタッチし、完了を意味する動作を行う操作である。表示制御部１１２は、作業が完了していないと判断した場合（Ｓ３７０：ＮＯ）、Ｓ３１０の処理に戻る。

【0067】

表示制御部１１２は、作業が完了したと判断した場合（Ｓ３７０：ＹＥＳ）、ディスタンス距離の長短に関係なく、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに完了画像ＧＣ３を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ３８０）。完了画像ＧＣ３は、作業基準画像ＧＡ３’と作業箇所画像ＧＢ３’とを含む。作業基準画像ＧＡ３’は、上記作業基準画像ＧＡ３と形状は同じであるが、色が異なる。また、作業箇所画像ＧＢ３’は、上記作業箇所画像ＧＢ３と形状は同じであるが、色が異なる。これにより、作業者Ｕは、作業基準画像ＧＡ３’や作業箇所画像ＧＢ３’の色によって、作業の完了の有無を容易に判断できる。なお、表示制御部１１２は、作業が完了したと判断した場合（Ｓ３８０：ＹＥＳ）、Ａ室Ｒ１における器具取付作業についての未作業箇所の残数を更新する。また、未作業箇所の残数が、上記各画面ＭＮ３，ＭＮ３’，ＧＭ，ＭＦ３，ＭＣ３の少なくとも１つに表示される構成であってもよい。図８におけるＳ１７０，Ｓ１８０の処理は、図３とほぼ同じであるため、説明を省略する。

【0068】

Ａ－４．表示変更処理：
表示変更部１１３は、上記各画像ＧＮ１，ＧＮ２，ＧＦ１～ＧＦ３，ＧＭ，ＧＣ１～ＧＣ３の少なくとも１つの画像の表示態様を、その周囲の画像とは独立に変更する。具体的には、表示変更部１１３は、カメラ１４０からの撮像データに基づき、現実画像のうち、作業対象箇所Ｔの周囲の現実物体（例えば骨組み２やその背景、ボード４、壁紙７）の画像を定期的にスキャンし、その現実物体の画像色の変化を検知する。例えば、工事現場に配置された灯光器や作業者Ｕが備えるヘッドライト等の影響により、ボード４の画像色が白色に近くなり、該ボード４に投影される近距離用画像ＧＮ２や遠距離用画像ＧＦ２が見づらくなる。

【0069】

ここで、近距離用画像ＧＮ２等の視認性に影響を与える周囲環境の変化は、周囲環境の変化を検知する専用のセンサ等を設けなくても、現実物体（ボード４）の画像色の変化に反映される。そこで、表示変更部１１３は、カメラ１４０からの撮像データに基づき、現実物体の画像色の変化を検知する。表示変更部１１３は、現実物体の画像色の変化を検知した場合、例えば近距離用画像ＧＮ２等の表示態様を、検知された変化後の画像色に対して、より視認性が高くなるように変更する。なお、画像色の変化には、異なる色に変化する場合に限らず、同じ色で輝度が変化する場合も含まれる。例えば、近距離用画像ＧＮ２等の画像色を、より濃度が濃い画像色に変えたり、塗りつぶし範囲を広げたり、点灯表示から点滅表示に変更したりする。これにより、作業者Ｕの周囲環境の変化に起因して近距離用画像ＧＮ２と遠距離用画像ＧＦ２が見づらくなって作業効率が低下することを抑制することができる。カメラ１４０と表示変更部１１３とは、特許請求の範囲における色検知部の一例である。

【0070】

Ｂ．変形例：
本発明は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。

【0071】

上記実施形態における作業支援システム１０の構成は、あくまで一例であり、種々変形可能である。例えば、ＨＭＤ１００は、光学シースルー方式に限らず、ビデオシースルー方式でもよい。また、ディスプレイ装置は、ゴーグル型（ＨＭＤ１００）に限らず、ヘルメット型、眼鏡型などでもよく、さらには、タブレットや携帯電話等の搬送可能な通信装置でもよい。上記実施形態では、取得部および表示部として、ＨＭＤ表示部１５０（ハーフミラー）を例示したが、例えばＨＭＤ１００がビデオシースルー方式である場合、カメラ１４０が特許請求の範囲における取得部の一例であり、カメラ１４０により撮像される現実空間の撮像画像が特許請求の範囲における現実空間を表す現実画像の一例であり、作業者が視認する液晶ディスプレイ等が特許請求の範囲における表示部の一例である。

【0072】

上記実施形態における各種の処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態において、近距離用画像ＧＮ１，ＧＮ２（作業基準画像ＧＡ１，ＧＡ２）は、縦ガイドラインＧＡ１１、横ガイドラインＧＡ１２、外形画像ＧＡ１３の少なくとも１つを含まない構成でもよく、ライン画像に限らず、点画像や所定の形状の塗りつぶし画像でもよい。遠距離用画像ＧＦ１～ＧＦ３（作業箇所画像ＧＢ１～ＧＢ３）は、塗りつぶし画像を備えなくてもよい。また、遠距離用画像ＧＦ１～ＧＦ３は、作業基準画像ＧＡ１～ＧＡ３を備えなくてもよい。また、近距離用画像ＧＮ１，ＧＮ２は、例えば作業箇所画像ＧＢ１，ＧＢ２よりも画像の濃度が薄い（透明性が高い）画像を含んでもよい。

【0073】

また、例えば上記実施形態において、遠距離用画像ＧＦ１（作業箇所画像ＧＢ１）は、近距離用画像ＧＮ１（作業基準画像ＧＡ１）に比べて、単位面積当たりの塗りつぶし範囲が広いことによって、視認性が高い画像であったが、これに限らず、例えば、画像の濃度が濃いこと、輝度が高いこと、点滅周期が短いこと等によって視認性が高い画像でもよい。また、上記実施形態では、遠距離用画像ＧＦ１と完了画像ＧＣ１とは互いの色が異なっていたが、これに限らず、濃淡、点灯周期、塗りつぶし範囲、輝度や形状等が異なることによって両画像ＧＦ１，ＧＣ１を区別可能としてもよい。

【0074】

図１０は、天井側を見たときのＨＭＤ１００の表示内容を示す説明図である。図１０には、複数の梁５にわたって天井ボード６が設置されている。また、２つの作業対象箇所Ｔ’が存在している。各作業対象箇所Ｔ’は、天井ボード６に対して円状のボード開口を形成するボード開口作業のための対象箇所である。各作業対象箇所Ｔ’に、遠距離用画像ＧＦ４が投影されている。遠距離用画像ＧＦ４は、作業基準画像ＧＡ４と作業箇所画像ＧＢ４とを含む。作業基準画像ＧＡ４は、作業対象箇所Ｔ’に対する作業の基準位置（例えば照明器具用の電気ボックス（図示しない）の取付の中心位置Ｐ’）を示すライン画像である。具体的には、作業基準画像ＧＡ４は、互いに直交する一対のガイドラインＧＡ４１，ＧＡ４２を有する。作業者Ｕは、ボード開口の中心がＭＲ空間中の交点Ｐ’に一致するようにボード開口を天井ボード６に形成する。作業基準画像ＧＡ４は、さらに、外形画像ＧＡ４３を含む。外形画像ＧＡ４３は、作業対象箇所Ｔ’に形成すべきボード開口の輪郭線に応じた枠状のライン画像である。これにより、作業者Ｕが、間違ったサイズのボード開口を作業対象箇所Ｔ’に形成することを抑制できる。作業箇所画像ＧＢ４は、上記外形画像ＧＡ４３に囲まれる領域全体を塗りつぶす不透明または半透明な画像である。作業箇所画像ＧＢ４は、少なくとも一部分が作業対象箇所Ｔよりも手前に位置する立体画像である。このように、近距離用画像や遠距離用画像の形状は、矩形や円形に限定されず、作業内容等に応じた各種の形状であってもよい。

【0075】

上記実施形態において、作業者ＵがＨＭＤ１００のＨＭＤ操作入力部１６０を入力操作することにより、作業の完了を検知してもよい。このとき、ＨＭＤ操作入力部１６０は、特許請求の範囲における完了検知部の一例である。

【0076】

例えば、作業対象箇所Ｔを照らしていた灯光器の光が遮られたりすると、ＨＭＤ１００に表示される現実画像の明度が大きく低下する。このような場合、表示変更部１１３は、現実画像の明度の低下に応じて、近距離用画像等ＧＮ１，ＧＮ２，ＧＦ１～ＧＦ３，ＧＭ，ＧＣ１～ＧＣ３の少なくとも１つの画像の明度を低下させてもよい。表示変更部１１３は、カメラ１４０からの撮像データに基づき、現実画像を定期的にスキャンし、その現実画像の撮像データをグレイスケールデータに変換し、そのグレイスケールデータに基づき、現実画像の明度の変化を検知する。このとき、表示変更部１１３は、特許請求の範囲における明度検知部として機能する。これにより、現実画像の明度が低下しても近距離用画像等の明度が維持される構成に比べて、局所的に明度が高い画像を目にすることに起因する作業者の目への負担（目の疲れ等）を軽減することができる。

【0077】

上記実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。

【0078】

上記実施形態では、作業現場として、工事現場を例示したが、これに限らず、例えば病棟など、所定の作業対象箇所に対してディスプレイ装置を備える作業者が移動可能な場所であれば本発明を提供して上記効果を得ることができる。また、作業として、電気工事に関する作業（ボックス配置作業、ボード開口作業、壁紙開口作業）を例示したが、これら以外の電気工事に関する作業であってもよく、また、例えば水道工事の配管作業や、エアコン設置工事における穴開け作業など、他の工事に関する作業であってもよく、さらには、工事以外の作業であってもよい。

【符号の説明】

【0079】

２：骨組み ３：電気ボックス ４：ボード ４ａ：ボード開口 ５：梁 ６：天井ボード ７：壁紙 ７ａ：壁紙開口 ８：電気器具 １０：作業支援システム １００：ＨＭＤ １１０：ＨＭＤ制御部 １１１：距離特定部 １１２：表示制御部 １１３：表示変更部 １１４：情報付加部 １２０：ＨＭＤ記憶部 １２１：作業支援ＰＧＭ １３０：空間位置センサ １４０：カメラ １５０：ＨＭＤ表示部 １６０：ＨＭＤ操作入力部 １７０，２７０，３７０：インターフェース部 １９０，２９０，３９０：バス ２００：サーバ ２１０：サーバ制御部 ２１１：データ変換部 ２２０：サーバ記憶部 ２５０：サーバ表示部 ２６０：サーバ操作入力部 ３００：端末装置 ３１０：端末制御部 ３２０：端末記憶部 ３５０：端末表示部 ３６０：端末操作入力部 ２２１：３ＤデータＤＢ ３２１：設計図面ＤＢ ＧＡ１～ＧＡ４：作業基準画像 ＧＢ１～ＧＢ４：作業箇所画像 ＧＣ１～ＧＣ３：完了画像 ＧＦ１～ＧＦ４：遠距離用画像 ＧＭ：中距離用画像 ＧＮ１，ＧＮ２：近距離用画像 Ｈ：メモ画面 Ｍ：工事現場選択画面 Ｔ，Ｔ’：作業対象箇所 Ｕ：作業者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】