(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-14
(45)【発行日】2023-12-22
(54)【発明の名称】透過型表示装置、作業支援システム、表示プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231215BHJP
G06F 3/0481 20220101ALI20231215BHJP
G09G 5/00 20060101ALI20231215BHJP
G09G 5/22 20060101ALI20231215BHJP
G09G 5/10 20060101ALI20231215BHJP
【ＦＩ】
G06F3/01 510
G06F3/0481
G09G5/00 510A
G09G5/00 530T
G09G5/00 530M
G09G5/22 630
G09G5/00 550B
G09G5/10 Z
G09G5/00 510V
G09G5/00 550C
【請求項の数】
13
(21)【出願番号】P 2020179619
(22)【出願日】2020-10-27
(65)【公開番号】P2022070516
(43)【公開日】2022-05-13
【審査請求日】2023-02-09
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】山本 将史
(72)【発明者】
【氏名】山崎 航史
(72)【発明者】
【氏名】中道 拓也
(72)【発明者】
【氏名】新岡 正彦
【審査官】▲高▼瀬 健太郎
(56)【参考文献】
【文献】特開２０１７－０１６５９９（ＪＰ，Ａ）
【文献】特開２０１５－０４９６９２（ＪＰ，Ａ）
【文献】特開２０１５－０６９４２３（ＪＰ，Ａ）
【文献】特開２０１２－１６４１５７（ＪＰ，Ａ）
【文献】特開２０１９－１１７３０８（ＪＰ，Ａ）
【文献】特開２０１６－１１０３７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８１
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／２２
Ｇ０９Ｇ ５／３７７
Ｇ０９Ｇ ５／１０
(57)【特許請求の範囲】
【請求項1】
対象物の像を透過する透過型表示装置であって、前記対象物の像が透過するとともに前記対象物に重畳して重畳画像を表示する表示部、 前記表示部が表示する第１コンテンツと前記表示部が表示する第２コンテンツを格納する記憶部、
前記表示部が表示する画像を制御する制御部、
前記制御部に対する指示入力を入力する指示入力部、
を備え、
前記第１コンテンツは、前記指示入力にしたがって、前記表示部が表示する内容を更新することができるように構成されており、
前記制御部は、前記表示部が前記第１コンテンツを表示しているとき、前記第１コンテンツの内容を更新するように指示する前記指示入力を受け取ると、前記指示入力にしたがって、前記表示部が表示する前記第１コンテンツの内容を更新し、
前記制御部はさらに、前記指示入力にしたがって更新した前記第１コンテンツの少なくとも一部を、前記表示部の最前面に表示し、
前記制御部は、前記指示入力を受け取ると、前記第１コンテンツと前記第２コンテンツが少なくとも部分的に前記表示部において重なり合っている場合であっても、前記第１コンテンツの前記少なくとも一部を前記表示部の最前面に表示し、さらに前記指示入力を受け取ってから第１時間が経過した時点で、前記指示入力にしたがって前記表示部が表示する前記第１コンテンツの内容を更新し、
前記制御部は、前記表示部が表示する前記第１コンテンツの内容を更新した後、さらに第２時間が経過した時点で、前記第１コンテンツの前記少なくとも一部を、前記表示部の最前面に表示する前の表示形式に戻す
ことを特徴とする透過型表示装置。
【請求項2】
前記第１コンテンツは、前記透過型表示装置を装着するユーザが実施すべき１以上の作業項目を文字列によって記述するとともに、前記ユーザが現在実施中である前記作業項目を前記表示部において他の前記作業項目とは異なる表示形式で表示することができるように構成された、手順書であり、前記第２コンテンツは、前記作業項目に関連する図面であり、
前記指示入力部は、前記ユーザが現在実施中である前記作業項目を前記表示部上において切り替えるように指示する前記指示入力を受け取り、
前記制御部は、前記指示入力にしたがって前記表示部上において前記作業項目を切り替えるとともに、前記第１コンテンツのうち少なくとも前記切り替えた前記作業項目を前記表示部の最前面に表示する
ことを特徴とする請求項１記載の透過型表示装置。
【請求項3】
前記記憶部は、前記第１コンテンツと前記第２コンテンツとの間の相対的な優先度を記述した優先度データを格納しており、前記制御部は、前記第１コンテンツの内容を更新するときを除き、前記優先度データが記述している前記優先度にしたがって、前記表示部上において前記第１コンテンツと前記第２コンテンツのうちいずれをより前面に表示するかを制御する
ことを特徴とする請求項１記載の透過型表示装置。
【請求項4】
前記制御部は、前記優先度データが記述している前記優先度にしたがって、前記表示部上において前記第１コンテンツと前記第２コンテンツが重なり合っている重畳部分の透過度を調整し、前記制御部は、前記重畳部分において表示する前記第１コンテンツと前記第２コンテンツの割合が、前記第１コンテンツの前記優先度と前記第２コンテンツの前記優先度との間の比率と対応するように、前記透過度を調整する
ことを特徴とする請求項３記載の透過型表示装置。
【請求項5】
前記記憶部は、前記表示部上において前記第１コンテンツと前記第２コンテンツが重なり合った場合における前記第１コンテンツと前記第２コンテンツそれぞれの透過度を記述した透過度データを格納しており、前記制御部は、前記透過度データが記述している前記透過度にしたがって、前記表示部上において前記第１コンテンツと前記第２コンテンツが重なり合っている重畳部分の透過度を調整する
ことを特徴とする請求項１記載の透過型表示装置。
【請求項6】
前記制御部は、前記表示部が表示することができる画面サイズよりも大きいサイズを有する仮想画面を生成するとともに、前記仮想画面のうち一部の部分領域のみを前記表示部に表示させ、前記制御部は、前記透過型表示装置を装着したユーザの動きを検出する動作センサから前記ユーザの動きを取得し、
前記制御部は、前記ユーザの動きが表している方向へ向かって、前記仮想画面のうち前記表示部が表示する前記部分領域を移動させる
ことを特徴とする請求項１記載の透過型表示装置。
【請求項7】
前記制御部は、前記表示部が前記第１コンテンツを表示していない場合において、前記第１コンテンツの内容を更新するように指示する前記指示入力を受け取ると、前記仮想画面のうち前記第１コンテンツを表示している部分へ前記部分領域を移動させることを特徴とする請求項６記載の透過型表示装置。
【請求項8】
前記制御部は、前記表示部とは異なる第２表示デバイスが表示する画像を制御し、前記制御部は、前記透過型表示装置を装着したユーザの視野内において、前記表示部が表示するコンテンツと前記第２表示デバイスとが重なり合っているか否かを判定し、
前記制御部は、前記表示部が表示するコンテンツと前記第２表示デバイスが前記視野内において重なり合っていると判定した場合は、前記表示部が表示するコンテンツの透過度を調整することにより、前記第２表示デバイスのほうが、前記表示部が表示するコンテンツよりも前記視野内においてより明瞭に視認できるようにする
ことを特徴とする請求項１記載の透過型表示装置。
【請求項9】
前記制御部は、前記第２表示デバイスの電源がＯＮでありかつ前記第２表示デバイスが操作されている場合は、前記第２表示デバイスが動作中であると判定し、
前記制御部は、前記第２表示デバイスが動作中であるか否かに基づき、前記表示部が表示するコンテンツと前記第２表示デバイスが表示するコンテンツを制御する
ことを特徴とする請求項８記載の透過型表示装置。
【請求項10】
作業者が実施する作業を支援する作業支援システムであって、対象物の像を透過する透過型表示装置、
前記透過型表示装置とは異なる第２表示デバイス、
を有し、
前記透過型表示装置は、
前記対象物の像が透過するとともに前記対象物に重畳して重畳画像を表示する表示部、 前記表示部が表示する第１コンテンツと前記第２表示デバイスが表示する第２コンテンツを格納する記憶部、
前記表示部が表示する画像を制御する制御部、
前記制御部に対する指示入力を入力する指示入力部、
を備え、
前記第１コンテンツは、前記指示入力にしたがって、前記表示部が表示する内容を更新することができるように構成されており、
前記制御部は、前記表示部が前記第１コンテンツを表示しているとき、前記第１コンテンツの内容を更新するように指示する前記指示入力を受け取ると、前記指示入力にしたがって、前記表示部が表示する前記第１コンテンツの内容を更新し、
前記制御部はさらに、前記指示入力にしたがって更新した前記第１コンテンツの少なくとも一部を、前記表示部の最前面に表示し、
前記制御部は、前記第２表示デバイスが表示する画像を制御し、
前記制御部は、前記指示入力を受け取ると、前記第１コンテンツと前記第２コンテンツが少なくとも部分的に前記表示部において重なり合っている場合であっても、前記第１コンテンツの前記少なくとも一部を前記表示部の最前面に表示し、さらに前記指示入力を受け取ってから第１時間が経過した時点で、前記指示入力にしたがって前記表示部が表示する前記第１コンテンツの内容を更新し、
前記制御部は、前記表示部が表示する前記第１コンテンツの内容を更新した後、さらに第２時間が経過した時点で、前記第１コンテンツの前記少なくとも一部を、前記表示部の最前面に表示する前の表示形式に戻す
ことを特徴とする作業支援システム。
【請求項11】
前記第１コンテンツは、前記透過型表示装置を装着するユーザが実施すべき１以上の作業項目を文字列によって記述するとともに、前記ユーザが現在実施中である前記作業項目を前記表示部において他の前記作業項目とは異なる表示形式で表示することができるように構成された、手順書であり、前記第２コンテンツは、前記作業項目に関連する図面であり、
前記指示入力部は、前記ユーザが現在実施中である前記作業項目を前記表示部上において切り替えるように指示する前記指示入力を受け取り、
前記制御部は、前記指示入力にしたがって前記表示部上において前記作業項目を切り替えるとともに、前記第１コンテンツのうち少なくとも前記切り替えた前記作業項目を前記表示部の最前面に表示する
ことを特徴とする請求項１０記載の作業支援システム。
【請求項12】
対象物の像を透過する透過型表示装置に画像を表示する処理を実行させる表示プログラムであって、前記透過型表示装置は、
前記対象物の像が透過するとともに前記対象物に重畳して重畳画像を表示する表示部、
前記表示部が表示する第１コンテンツと前記表示部が表示する第２コンテンツを格納する記憶部、
前記表示部が表示する画像を制御する制御部、
前記制御部に対する指示入力を入力する指示入力部、
を備え、
前記第１コンテンツは、前記指示入力にしたがって、前記表示部が表示する内容を更新することができるように構成されており、
前記表示プログラムは、前記表示部が前記第１コンテンツを表示しているとき、前記第１コンテンツの内容を更新するように指示する前記指示入力を受け取ると、前記指示入力にしたがって、前記表示部が表示する前記第１コンテンツの内容を更新するステップを、前記制御部に実行させ、
前記表示プログラムは、前記指示入力にしたがって更新した前記第１コンテンツの少なくとも一部を、前記表示部の最前面に表示するステップを、前記制御部にさらに実行させ、
前記表示プログラムは、前記指示入力を受け取ると、前記第１コンテンツと前記第２コンテンツが少なくとも部分的に前記表示部において重なり合っている場合であっても、前記第１コンテンツの前記少なくとも一部を前記表示部の最前面に表示し、さらに前記指示入力を受け取ってから第１時間が経過した時点で、前記指示入力にしたがって前記表示部が表示する前記第１コンテンツの内容を更新するステップを、前記制御部にさらに実行させ、
前記表示プログラムは、前記表示部が表示する前記第１コンテンツの内容を更新した後、さらに第２時間が経過した時点で、前記第１コンテンツの前記少なくとも一部を、前記表示部の最前面に表示する前の表示形式に戻すステップを、前記制御部にさらに実行させる
ことを特徴とする表示プログラム。
【請求項13】
前記第１コンテンツは、前記透過型表示装置を装着するユーザが実施すべき１以上の作業項目を文字列によって記述するとともに、前記ユーザが現在実施中である前記作業項目を前記表示部において他の前記作業項目とは異なる表示形式で表示することができるように構成された、手順書であり、前記第２コンテンツは、前記作業項目に関連する図面であり、
前記指示入力部は、前記ユーザが現在実施中である前記作業項目を前記表示部上において切り替えるように指示する前記指示入力を受け取り、
前記表示プログラムは、前記指示入力にしたがって前記表示部上において前記作業項目を切り替えるとともに、前記第１コンテンツのうち少なくとも前記切り替えた前記作業項目を前記表示部の最前面に表示するステップを、前記制御部に実行させる
ことを特徴とする請求項１２記載の表示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の像を透過する透過型表示装置に関するものである。
【背景技術】
【0002】
近年、透過型ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下ＨＭＤ）が製品化され、工場等現場での作業支援において利用されている。一般的に、透過型ＨＭＤを装着したユーザは、作業対象を見ながら透過型ＨＭＤの表示部に表示された作業支援に関する情報を視認することにより、作業手順を確認する。ユーザは、作業が完了するごとに、表示部に投影する情報を切り替える。作業支援に関する情報は、例えば作業項目を作業工程にしたがって記載した手順書や画像情報を含む図面である。作業者は作業項目を完了するごとに、画面内の作業手順書上において現在の作業項目として表示しているものを、次の作業項目へ進める。
【0003】
表示の切替手段に関する従来技術としては、音声コマンドを用いて手順書や画像を切り替えるものがある（特許文献１）。表示方法に関する従来技術としては、複数のコンテンツが表示される場面において、コンテンツの重なり状態を検出し、優先度の低いコンテンツを調整することにより重なり状態を回避するものがある（特許文献２）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－２２１５９７
【文献】ＷＯ２０１７／１０４１９８
【発明の概要】
【発明が解決しようとする課題】
【0005】
作業者は通常の作業において、以下のような手順で作業を実施する：作業手順の確認；機器または該当箇所の呼称を含めた作業対象の確認；操作の実施；操作完了後に音声コマンドによって手順書に作業完了を記録；ＨＭＤ上の手順書で該当の工程が記録されたことを確認；以上が完了すると次の工程に進む。
【0006】
上記作業工程において、手順書と図面がＨＭＤ上に併せて表示されている場合、特許文献２のような従来技術はあらかじめコンテンツの優先度が決まっているので、図面の優先度が高い場合は手順書が下のレイヤもしくはずれたところに配置されることになる。そのような状況下で該当箇所の呼称等により意図せず手順書上の作業項目が次の作業項目（または前の作業項目）へ遷移した場合、作業者は手順書上で作業項目が不意に遷移したことに気付かず、１つの工程を飛ばした状態で作業を継続する可能性がある。工程を飛ばすことは重大な事故につながる可能性があるので、防止する表示方法や仕組みが必要となる。またＨＭＤ画面の大きさは有限であるので、２つのコンテンツを重ならないようにＨＭＤ表示上に収めることは、画面内で手順書と図面を小さくすることにつながり、作業者の視認性を低下させることにつながる。
【0007】
以上に鑑みると、手順書と図面の視認性を維持向上し、コンテンツ優先度を設けるだけでなく、手順書上の作業項目が遷移した際には手順書の優先度を高くし、作業者が手順書の遷移を視認できるようにすることが望ましい。
【0008】
本発明は、以上のような課題に鑑みてなされたものであり、ＨＭＤ上に作業支援情報を表示する作業支援環境において、作業者の視認性を向上し、作業ミスを抑制することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る透過型表示装置は、第１コンテンツと第２コンテンツを格納しており、表示部が前記第１コンテンツを表示しているとき、前記第１コンテンツの内容を更新するように指示する指示入力を受け取ると、前記指示入力にしたがって更新した前記第１コンテンツの少なくとも一部を、前記表示部の最前面に表示する。
【発明の効果】
【0010】
本発明に係る透過型表示装置によれば、ＨＭＤ上に作業支援情報を表示する作業支援環境において、作業者の表示視認性を向上し、作業ミスを抑制することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態１に係る透過型表示装置の外観図である。
【図2】透過型表示装置１の全体構成を示したブロック図である。
【図3】音声入力時における手順書の表示を示した図である。
【図4】記憶部３０４の内部ブロックを示した図である。
【図5】表示部１００が２つのコンテンツを表示した状態を示す図である。
【図6】音声認識後において表示部１００が２つのコンテンツを表示した状態を示す図である。
【図7】音声認識後において表示部１００が２つのコンテンツを表示する他の表示例を示した図である。
【図8】音声認識後の遷移元の手順を明確にするコンテンツ表示方法を示した図である。
【図9】制御部３０５が第１コンテンツ３２０を遷移させる手順を示すフローチャートである。
【図10A】記憶部３０４に優先度格納部３５０を追加した図である。
【図10B】優先度格納部３５０に格納されている優先度の例を示す。
【図11】コンテンツの透過度を調整した例を示す図である。
【図12】コンテンツ重なり部３２５の透過率を格納する透過率格納部３５１を記憶部３０４に追加した構成を示す図である。
【図13】コンテンツ重なり部３２５の透過率を制御する制御部３０５の構成を示す図である。
【図14】３つ以上のコンテンツを含む表示例である。
【図15】３つ以上のコンテンツを含む記憶部３０４の構成を示す図である。
【図16】実施形態２に係る透過型表示装置１の構成図である。
【図17】仮想画面におけるコンテンツ配置を示す図である。
【図19】第１コンテンツ３２０を表示している例である。
【図21】仮想画面を用いた場合におけるコンテンツの重なり領域を検出する制御部３０５の構成を示す図である。
【図22】実施形態３に係る作業支援システムの構成図である。
【図23】表示部１００と第２表示デバイス６００がユーザの視野内で重なった状態を示す図である。
【図24】実施形態３における制御部３０５の構成図である。
【発明を実施するための形態】
【0012】
＜実施の形態１＞
図１は、本発明の実施形態１に係る透過型表示装置の外観図である。ＨＭＤを用いた作業支援においては、作業者はヘルメットを被ることが多いので、ヘルメットにＨＭＤを接続した例を用い説明する。透過型表示装置は、表示部１００、コントローラ２００、スマートフォン３００、を備える。
図１は、本発明の実施形態１に係る透過型表示装置の外観図である。ＨＭＤを用いた作業支援においては、作業者はヘルメットを被ることが多いので、ヘルメットにＨＭＤを接続した例を用い説明する。透過型表示装置は、表示部１００、コントローラ２００、スマートフォン３００、を備える。
【0013】
コントローラ２００とスマートフォン３００は有線接続されている。スマートフォン３００から送られた映像信号と操作信号をコントローラ２００が受信し、コントローラ２００が処理した映像を表示部１００上に表示する。図１は、コントローラ２００とスマートフォン３００の接続が有線接続されている例を示したが、映像信号と操作信号を無線通信してもよい。作業者５００の目４０の前には表示部１００が配置されている。作業者５００は、外界の作業対象４１と外界に重畳された表示部１００の作業内容を含む映像を確認し、作業対象４１の該当箇所に対して作業を実施する。
【0014】
図２は、透過型表示装置１の全体構成を示したブロック図である。コントローラ２００とスマートフォン３００は、入力インターフェースを介して、マイク４００、リモコン４０１、スピーカ４０２とそれぞれ接続されている。コントローラ２００は、入力インターフェース２０１、音声認識部２０２、無線通信部２０３、記憶部２０４、制御部２０５を備える。スマートフォン３００は、入力インターフェース３０１、音声認識部３０２、無線通信部３０３、記憶部３０４、制御部３０５、ジャイロスコープ３０６、タッチパネル３０７、表示部３０８、スピーカ３０９、マイク３１０を備える。
【0015】
マイク４００もしくはマイク３１０に対して入力した音声データは音声認識部３０２に送られる。音声認識部３０２は、どういった音声が入力されたかを解析し、解析結果をテキストデータで制御部３０５に出力する。音声認識部３０２が認識することが想定されている語彙が記憶部３０４内のリストに登録されており、音声認識部３０２による音声解析結果とリスト内の語彙が一致した場合、対応する語彙をテキストデータとして出力する。以下記載する「音声認識がされた」とは、入力された音声がリストに登録された語彙に一致したことと定義する。例えば音声データが「作業完了」であった場合、「作業完了」という語彙がリストに登録されていれば「作業完了」というテキストデータを出力する。
【0016】
制御部３０５はテキストデータに応じた処理を実施し、表示部３０８へ表示映像を送信し、スピーカ３０９またはスピーカ４０２へ音声を送信し、記憶部３０４に記録データを送信する。記録データは手順書の工程毎の完了記録や音声データ等である。
【0017】
表示部１００の表示映像の変更が発生する場合は、制御部３０５から入力インターフェース３０１と入力インターフェース２０１を介し、制御部２０５に映像信号を出力する。制御部２０５は入力された映像信号に応じ、表示の前処理を実施して表示部１００へ表示する。表示の前処理は、輝度、色の調整などの処理である。この際、前述した記録データを記憶部２０４に送信してもよいし、輝度、色等の前処理情報を記録してもよい。
【0018】
制御部３０５はジャイロスコープ３０６から出力されるデータを処理し、表示部３０８の映像表示に反映する。例えばスマートフォンを縦向きから横向き（ランドスケープ表示）に変更した際に表示部３０８の表示を横向きに変更してもよい。表示部１００の映像にも反映する場合は、制御部３０５から入力インターフェース３０１と入力インターフェース２０１を介し、制御部２０５に映像信号を出力し、適切な前処理をした上で表示部１００へ表示する。
【0019】
タッチパネル３０７は表示部３０８を操作する入力デバイスであり、タッチパネル３０７から入力されたデータに応じ、制御部３０５から表示部３０８に映像信号を出力する。
【0020】
マイク４００、リモコン４０１、スピーカ４０２は有線で接続してもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線で接続してもよい。またスマートフォン３００、コントローラ２００のどちらかだけにつないでもよいし、スマートフォン３００内のスピーカ３０９とマイク３１０のみで十分機能を満たせる場合、接続しなくてもよい。
【0021】
図２は、入力インターフェース３０１と入力インターフェース２０１を介してスマートフォン３００とコントローラ２００を接続する例を示したが、無線で接続する場合は、無線通信部３０３と無線通信部２０３を接続することにより同様の機能を実現可能である。無線通信部３０３と無線通信部２０３はクラウド等のサーバと接続し、データのアップロード／ダウンロードを実施してもよい。
【0022】
図２はスマートフォン３００が音声データを処理することを前提にしているが、音声データの処理をコントローラ２００側で実施してもよい。マイク４００とマイク３１０として指向性の高いマイクを用いてもよい。指向性の高いマイクを用いることにより、周囲の他の作業者の話し声などによる誤認識を防止でき、作業者５００の声のみを取得することが可能となる。音声認識部３０２と音声認識部２０２が作業者５００の声を個人識別する機能を設けることも、誤認識抑制には有効である。作業者５００の声を個人識別できることにより、周囲の話し声による誤認識を防ぐだけでなく、他の作業者による改ざんを防ぎ、然るべき作業者のみが作業可能な仕組みを作ることができる。
【0023】
図３は、音声入力時における手順書の表示を示した図である。表示部１００にはコンテンツ２２０が表示されており、コンテンツ２２０は手順書である。コンテンツ２２０のタイトル部にはＮｏ、項目、処置の内容が記載されており、作業者５００は各作業内容を確認し、順々に処置欄が記載している作業を実施する。例として現在実施している作業には下線を付した。現在の作業を明確に示すために、下線以外にも枠で囲む、文字色を変更する、背景色を変更するなどの手法を用いてもよい。文字色が白色、背景色が黒色の場合、文字色を緑色、黄色等に変更することも効果的である。また反対に背景色に色をつけても効果的である。
【0024】
作業手順は必要最小限の行数にしており、タイトル、前の作業、現在の作業、次の作業の４行表示としている。このような表示により情報量を絞り、現在の作業を明確にして、作業の抜け漏れによるヒューマンエラーを抑止する。さらにこのような表示とすることにより、作業者は実施すべき作業を即時確認できるので、作業内容を探す時間を短縮でき効率向上につながる。
【0025】
図３において、作業者５００は現在実施すべき作業であるＮｏ．２を実施している。作業者は作業項目と処置内容を確認し、対象４１に対して作業を実施する。作業が完了したら音声コマンドにより作業を完了する。作業者は、Ｎｏ．２の確認欄にチェックマークが入ったことを確認する。手順書は、図３下図のように次の項目であるＮｏ．３の作業に進む。このときコンテンツ２２０は、Ｎｏ．３の作業を中心としてその前後の作業を表示するように更新される。
【0026】
図４は、記憶部３０４の内部ブロックを示した図である。ここではスマートフォン３００が音声認識する場合の例を記載する。記憶部３０４は、第１コンテンツ３２０、第２コンテンツ３３０、語彙リスト３４０を格納している。制御部３０５は記憶部３０４にアクセスし、第１コンテンツ３２０と第２コンテンツ３３０を取得する。制御部３０５は、表示部１００に表示する前処理を実施した上で、表示部１００に各コンテンツを表示する。音声認識部３０２は音声データが入力されると、記憶部３０４の語彙リスト３４０を取得し、語彙リスト３４０に格納された語彙と音声データを比較する。第１コンテンツ３２０と第２コンテンツ３３０は、表示部１００に表示するための座標情報を含む。以下では第１コンテンツ３２０を手順書、第２コンテンツ３３０を図面とする。
【0027】
図５は、表示部１００が２つのコンテンツを表示した状態を示す図である。表示部１００上に第１コンテンツ３２０と第２コンテンツ３３０が表示されており、第１コンテンツが背面に配置され、第２コンテンツ３３０が前面に配置されている。第１コンテンツ３２０はＮｏ．２の作業が現在実施中の作業として表示しており、作業者５００は第２コンテンツ３３０の詳細を確認し、作業対象４１の処置を開始しようとしている。図５の状態において、第１コンテンツは内容が隠れているので、作業者はその内容を確認できない。
【0028】
図６は、音声認識後において表示部１００が２つのコンテンツを表示した状態を示す図である。音声認識が入ると、制御部３０５は第１コンテンツを前面に表示し、第２コンテンツを背面に表示する。第１コンテンツの手順はＮｏ．３に進む。このような表示とすることにより、積極的に作業記録した場合と誤認識により意図せず作業記録された場合いずれにおいても、作業者５００は第１コンテンツ３２０の内容が変わった（現在の作業項目が１つ進んだ）ことを確認できる。もし意図せず作業記録がされた場合には、元の正しい作業に戻り、正しい手順で作業を実行することができる。
【0029】
図７は、音声認識後において表示部１００が２つのコンテンツを表示する他の表示例を示した図である。第１コンテンツ３２０において重要な手順は、現在実施している作業（Ｎｏ．２）とその前後の作業（Ｎｏ．１、Ｎｏ．３）である。したがってタイトル部分は第１コンテンツ３２０の遷移を把握する目的においては不要である。そこで表示部１００は音声認識後に第１コンテンツ３２０の一部分のみ最前面に表示してもよい。具体的には、現在実施している作業（Ｎｏ．２）とその前後の作業（Ｎｏ．１、Ｎｏ．３）のみを最前面に表示してもよい。図７においては遷移後の状態を示した。
【0030】
図６～図７の例では音声認識時に第２コンテンツ３３０を背面に表示したが、前面に表示されている第１コンテンツ３２０に注目させるために、第２コンテンツ３３０を非表示にしてもよい。このような表示により、作業者５００は第１コンテンツ３２０の遷移をより視認しやすくなる。また元の作業がどの作業であったか明確にするために、第１コンテンツ３２０の遷移元を表示することも、作業ミス低減のためには有効である。
【0031】
図８は、音声認識後の遷移元の手順を明確にするコンテンツ表示方法を示した図である。音声認識によりＮｏ．２からＮｏ．３に現在の作業が進む際、Ｎｏ．２から遷移したことを明確にするための表示形式を用いてもよい。例えばＮｏ．２を点線で囲む、文字の色を変える、点線で示した領域を塗りつぶす、などが考えられる。例えば第１コンテンツ３２０の文字色が白、背景色が黒の場合、例えば点線の領域に色をつけることも有効であり、特に緑色や黄色等明るい色が好ましい。このように音声誤認識により次の作業に進んだのかそれとも前の作業に戻ったのか不明確だった場合でも、図８のような表示により作業者５００は元のやるべき作業を確実に把握でき、正しい手順で作業することができる。
【0032】
第１コンテンツ３２０が遷移する際に、視角だけでなく聴覚、触覚の五感を併用することにより、さらに作業者５００に遷移を気づかせることが可能となる。例えば視覚に加え、第１コンテンツ３２０が遷移する際にスピーカ３０９またはスピーカ４０２からビープ音を出力してもよい。出力する音声により第１コンテンツ３２０の遷移方向、遷移元を伝えてもよい。具体的には「前の作業に遷移しました」「次の作業に遷移しました」「Ｎｏ．２からＮｏ．３に遷移しました」「Ｎｏ．３からＮｏ．２に遷移しました」、という音声をスピーカ３０９またはスピーカ４０２から出力する。またスピーカ３０９またはスピーカ４０２に骨伝導スピーカを使用し、音だけでなく触覚を利用することも有効である。骨伝導スピーカは騒音レベルが高い作業現場においても骨を介し作業者５００に振動を把握させられる。言うまでもなく前述した表示方法と組み合わせることも可能である。
【0033】
図９は、制御部３０５が第１コンテンツ３２０を遷移させる手順を示すフローチャートである。ここでは音声認識前の状態を通常状態、音声認識後に第１コンテンツ３２０の遷移後の状態を手順書遷移状態とし、第１コンテンツ３２０の表示の通常状態から手順書遷移状態への遷移手順と手順書遷移状態から通常状態への遷移手順を説明する。
【0034】
（図９：ステップＳ９０１）
音声認識部２０２または音声認識部３０２は、手順書が表示している現在の作業項目を１つ進めるための音声コマンドが認識されたか否かを判断する。音声コマンドが認識されるとＳ９０２へ進む。音声コマンドが認識されなければ本ステップを継続する。
音声認識部２０２または音声認識部３０２は、手順書が表示している現在の作業項目を１つ進めるための音声コマンドが認識されたか否かを判断する。音声コマンドが認識されるとＳ９０２へ進む。音声コマンドが認識されなければ本ステップを継続する。
【0035】
（図９：ステップＳ９０２～Ｓ９０４）
制御部３０５は、第１コンテンツ３２０を最前面に表示する（Ｓ９０２）。制御部３０５は、第１コンテンツ３２０を最前面に表示してから所定時間ｔ１が経過したか否かを判断する（Ｓ９０３）。経過していなければ経過するまで待機し、経過後にＳ９０４へ進む。ｔ１経過後、制御部３０５は第１コンテンツが表示している現在の作業項目を１つ進める（Ｓ９０４）。
制御部３０５は、第１コンテンツ３２０を最前面に表示する（Ｓ９０２）。制御部３０５は、第１コンテンツ３２０を最前面に表示してから所定時間ｔ１が経過したか否かを判断する（Ｓ９０３）。経過していなければ経過するまで待機し、経過後にＳ９０４へ進む。ｔ１経過後、制御部３０５は第１コンテンツが表示している現在の作業項目を１つ進める（Ｓ９０４）。
【0036】
（図９：ステップＳ９０３：補足）
第１コンテンツ３２０の最前面への表示と手順の遷移を同時に実施すると、作業者５００は手順の遷移を見逃す可能性がある。そこで本ステップにおいて、第１コンテンツ３２０を最前面に表示し、作業者５００にその表示を認識させた上で、第１コンテンツ３２０の手順を遷移させる時間間隔としてｔ１を設ける。ｔ１は具体的には０．３～３秒の範囲で調整可能とする。これにより、時間が短すぎて作業者５００が気づかないことや、時間が長すぎて遷移を確認するまで待つことによる作業時間の増加を避けることができる。
第１コンテンツ３２０の最前面への表示と手順の遷移を同時に実施すると、作業者５００は手順の遷移を見逃す可能性がある。そこで本ステップにおいて、第１コンテンツ３２０を最前面に表示し、作業者５００にその表示を認識させた上で、第１コンテンツ３２０の手順を遷移させる時間間隔としてｔ１を設ける。ｔ１は具体的には０．３～３秒の範囲で調整可能とする。これにより、時間が短すぎて作業者５００が気づかないことや、時間が長すぎて遷移を確認するまで待つことによる作業時間の増加を避けることができる。
【0037】
（図９：ステップＳ９０５～Ｓ９０６）
制御部３０５は、Ｓ９０４の後に所定時間ｔ２が経過したか否かを判断する（Ｓ９０５）。経過していなければ経過するまで待機し、経過後にＳ９０６へ進む。ｔ２経過後、制御部３０５は第１コンテンツ３２０を、最前面に表示する前の状態（Ｓ９０２よりも前の状態）に戻す。
制御部３０５は、Ｓ９０４の後に所定時間ｔ２が経過したか否かを判断する（Ｓ９０５）。経過していなければ経過するまで待機し、経過後にＳ９０６へ進む。ｔ２経過後、制御部３０５は第１コンテンツ３２０を、最前面に表示する前の状態（Ｓ９０２よりも前の状態）に戻す。
【0038】
（図９：ステップＳ９０５：補足）
例えば通常状態で第１コンテンツ３２０が背面に配置され、第２コンテンツ３３０が前面に配置されていると仮定する。この場合、手順書が遷移するとき第１コンテンツ３２０が前面に配置され、第２コンテンツ３３０が背面に配置された状態になる。作業者が第２コンテンツ３３０を確認するためには通常状態に戻す必要がある。そこで第１コンテンツ３２０の手順遷移を前面で表示した後、ｔ２が経過した後に、Ｓ９０６において第１コンテンツ３２０を通常状態に戻す。ｔ２は具体的には１～５秒の範囲で調整可能とし、作業者５００が手順の遷移を確実に確認した後に通常状態に戻す。
例えば通常状態で第１コンテンツ３２０が背面に配置され、第２コンテンツ３３０が前面に配置されていると仮定する。この場合、手順書が遷移するとき第１コンテンツ３２０が前面に配置され、第２コンテンツ３３０が背面に配置された状態になる。作業者が第２コンテンツ３３０を確認するためには通常状態に戻す必要がある。そこで第１コンテンツ３２０の手順遷移を前面で表示した後、ｔ２が経過した後に、Ｓ９０６において第１コンテンツ３２０を通常状態に戻す。ｔ２は具体的には１～５秒の範囲で調整可能とし、作業者５００が手順の遷移を確実に確認した後に通常状態に戻す。
【0039】
（図９：ステップＳ９０３とＳ９０５：補足）
ｔ１とｔ２の時間設定は、リモコン４０１で調整できるようにしてもよいし、スマートフォン３００の表示部３０８の画面上でタッチパネル３０７により調整できるようにしてもよい。作業者５００によっては設定値より早く遷移させたい場合がある。その場合、音声によってｔ１とｔ２の値によらず第１コンテンツ３２０を遷移させてもよいし、リモコン４０１もしくはタッチパネル３０７上で入力する指示によって遷移させてもよい。
ｔ１とｔ２の時間設定は、リモコン４０１で調整できるようにしてもよいし、スマートフォン３００の表示部３０８の画面上でタッチパネル３０７により調整できるようにしてもよい。作業者５００によっては設定値より早く遷移させたい場合がある。その場合、音声によってｔ１とｔ２の値によらず第１コンテンツ３２０を遷移させてもよいし、リモコン４０１もしくはタッチパネル３０７上で入力する指示によって遷移させてもよい。
【0040】
（図９：ステップＳ９０２、Ｓ９０４、Ｓ９０６：補足）
これらステップにおける第１コンテンツ３２０の遷移は、コンテンツを瞬間的に切り替えてもよいし、徐々に変化するように切り替えてもよい。例えばＳ９０２において第１コンテンツ３２０を背面から前面に遷移させる場合、第１コンテンツ３２０の透過度を１００％（背面にある状態）＝＞５０％（半分見える状態）＝＞０％（前面にある状態）のように自然な形で遷移させてもよい。
これらステップにおける第１コンテンツ３２０の遷移は、コンテンツを瞬間的に切り替えてもよいし、徐々に変化するように切り替えてもよい。例えばＳ９０２において第１コンテンツ３２０を背面から前面に遷移させる場合、第１コンテンツ３２０の透過度を１００％（背面にある状態）＝＞５０％（半分見える状態）＝＞０％（前面にある状態）のように自然な形で遷移させてもよい。
【0041】
図１０Ａは、記憶部３０４に優先度格納部３５０を追加した図である。優先度格納部３５０は、第１コンテンツ３２０と第２コンテンツ３３０それぞれの作業工程ごとの優先度を格納している。制御部３０５は、第１コンテンツ３２０、第２コンテンツ３３０、優先度格納部３５０が格納している優先度を読み込み、優先度にしたがって、第１コンテンツ３２０と第２コンテンツ３３０のどちらを前面もしくは背面に表示するか決定する。
【0042】
図１０Ｂは、優先度格納部３５０に格納されている優先度の例を示す。手順書工程ごとに、その内容、図面名、優先度が対応づけられている。優先度は１００%が最も高く、０%が最も低い。
【0043】
優先度欄が１００／０である工程（＃１と＃２）においては、手順書を前面に表示するとともに図面を背面に表示し、手順書と図面が重なりあっている部分は手順書のみが見える表示となる。手順書が１００％の優先度であれば、通常状態と手順書遷移状態は同じ表示となるので、作業者５００は第１コンテンツ３２０の遷移を確実に見ることができ、手順を漏らすことなく作業することができる。
【0044】
工程＃Ｎは、図面上の配線へ赤線を引く作業であり、作業者は図面を見て作業をするので、図面を最前面に表示する必要がある。そこで＃Ｎにおける通常状態では最前面に図面を表示する。したがって優先度は０／１００となっている。ただし手順書遷移状態に遷移するときは、手順を最前面に配置するとともに図面を最背面に配置する点は変わらない。
【0045】
工程＃３は、手順書も図面も使用する作業である。そこで、手順書と図面ともに作業者５００に見える状態とするために、優先度は２０／８０とした。この場合、手順書と図面が重なり合っている部分は、手順書よりも図面のほうが明確に視認できるように、手順書と図面それぞれの透過度を調整する。具体的には、重なり合っている部分は手順書のほうが透過度を高くする。手順書の透過度と図面の透過度との間の比率は、例えば優先度比率の反対にすればよい。この例においては、手順書透過度：図面透過度＝４：１となる。
【0046】
図１１は、コンテンツの透過度を調整した例を示す図である。第１コンテンツ３２０と第２コンテンツ３３０の一部が重なり、コンテンツ重なり部３２５が作られる。図１１においては第１コンテンツ３２０を背面に配置するとともに第２コンテンツ３３０を前面に配置し、コンテンツ重なり部３２５の透過率を変更している。
【0047】
図１２は、コンテンツ重なり部３２５の透過率を格納する透過率格納部３５１を記憶部３０４に追加した構成を示す図である。コンテンツ重なり部３２５における各コンテンツの透過度の比率は、必ずしも優先度の比率にしたがってセットしなくともよい。例えば作業工程ごとに透過度をカスタマイズしたい場合がこれに該当する。このような場合は、作業工程ごとに各コンテンツの透過度を指定するデータを透過率格納部３５１に格納する。この場合の優先度は、いずれのコンテンツを前面に配置するのかを指定するために用いることになる。
【0048】
図１３は、コンテンツ重なり部３２５の透過率を制御する制御部３０５の構成を示す図である。制御部３０５は、重なり領域検出部３０５－１、視野イメージ作成部３０５－２を備える。重なり領域検出部３０５－１は、記憶部３０４の第１コンテンツ３２０と第２コンテンツ３３０それぞれの座標情報からコンテンツ重なり部３２５の座標を計算し、その座標を視野イメージ作成部３０５－２に出力する。視野イメージ作成部３０５－２は、コンテンツ重なり部３２５の座標、第１コンテンツ３２０、第２コンテンツ３３０、優先度、透過率を用いて、表示部１００の映像を生成する。透過率の制御はコンテンツ重なり部３２５に対してのみ適用し、それ以外の領域は各コンテンツを見ることができる状態とする。これにより、多くの情報を作業者５００に提供することができる。
【0049】
優先度と透過率は、作業者５００が調整可能なものとしてもよい。現場の知見として、初心者は図面の詳細部分を慎重に確認し作業することが多く、その場合は図面の優先度を高くしてもよい。優先度の切替は、例えば作業熟練度によりモードを設け、初心者モード、熟練者モードなどのように段階を設けてもよい。作業者５００が優先度を変更できてもよく、優先度の変更は音声、スマートフォンの画面操作などによって変更できるようにしてもよい。
【0050】
図１４は、３つ以上のコンテンツを含む表示例である。表示部１００は第１コンテンツ３２０と第２コンテンツ３３０以外に、第３コンテンツ３６０、第４コンテンツ３７０、第５コンテンツ３８０を表示する。第３コンテンツ３６０は作業進捗を示しており、例では６０項目のうち２５項目が終わったことを示している。第３コンテンツ３６０はパーセント表示など様々な表示方法が可能である。第４コンテンツ３７０は時刻、第５コンテンツ３８０はバッテリ容量を示している。各コンテンツの表示領域を分けて互いに干渉せずに済むようにしてもよい。あるいは、必要なコンテンツを必要なタイミングで表示し、画面サイズを最大限に使用することによって視認性を向上させてもよい。作業中は第１コンテンツ３２０と第２コンテンツ３３０の優先度を高くし、その他のコンテンツは背面に表示する。作業には時間制約があるので、作業終了時刻をあらかじめ記憶部３０４に格納しておき、作業終了時刻が近づくと、第１コンテンツ３２０と第２コンテンツ３３０よりも作業終了時刻を例えば数秒間だけ優先度を高くし、また文字色を変更し時刻が近づいていることを知らせてもよい。第５コンテンツ３８０のバッテリ容量が少なくなった際も同様に表示してもよい。
【0051】
図１５は、３つ以上のコンテンツを含む記憶部３０４の構成を示す図である。図１０と比較し、第３コンテンツ３６０、第４コンテンツ３７０、第５コンテンツ３８０、作業終了時刻格納部３９０を追加している。制御部３０５は、第１コンテンツ３２０、第２コンテンツ３３０、第３コンテンツ３６０、第４コンテンツ３７０、第５コンテンツ３８０、作業終了時刻格納部３９０、優先度格納部３５０の情報を読込み、どのコンテンツを前面または背面に配置するかを決定する。
【0052】
＜実施の形態２＞
図１６は、本発明の実施形態２に係る透過型表示装置１の構成図である。実施形態２は実施形態１に加え、頭部動作センサ１０１が追加されている。頭部動作センサ１０１は、加速度センサなどのようにユーザの頭の動きが取得できるものであればよく、表示部１００とともにユーザの頭部に装着する。頭部動作センサ１０１は、頭部の動きを表す検出信号を、制御部２０５と制御部３０５へ出力する。以下では頭部動作センサ１０１を用いることにより、作業者の視認性をさらに向上する表示方法を説明する。
図１６は、本発明の実施形態２に係る透過型表示装置１の構成図である。実施形態２は実施形態１に加え、頭部動作センサ１０１が追加されている。頭部動作センサ１０１は、加速度センサなどのようにユーザの頭の動きが取得できるものであればよく、表示部１００とともにユーザの頭部に装着する。頭部動作センサ１０１は、頭部の動きを表す検出信号を、制御部２０５と制御部３０５へ出力する。以下では頭部動作センサ１０１を用いることにより、作業者の視認性をさらに向上する表示方法を説明する。
【0053】
図１７は、仮想画面におけるコンテンツ配置を示す図である。制御部３０５は、表示部１００が表示することができる画面サイズよりも大きい仮想画面１０を生成する。表示部１００は仮想画面１０のうち一部のみを表示することができる。仮想画面１０は、表示部１００、第１コンテンツ３２０、第２コンテンツ３３０を含む。作業者５００が頭を振ると、頭部動作センサ１０１がその動きを検出して制御部３０５へ通知する。制御部３０５は、その動きの方向へ表示部１００を移動させる。これにより作業者５００は、所望のコンテンツを表示部１００内に表示することができる。仮想画面１０を用いることにより、表示部１００の大きさに捉われずコンテンツを大きく表示することができるので、高い視認性を提示するとともに、作業者５００が必要なとき必要なコンテンツを取得できる。
【0054】
図１８は、図１７の状態における表示部１００の映像を示す図である。図１７においては表示部１００内にコンテンツが表示されていなので、表示部１００には何も表示されておらず、作業対象４１に対して何も重畳されていない。
【0055】
図１９は、第１コンテンツ３２０を表示している例である。作業者５００は、頭部を動かすことによって第１コンテンツ３２０側に表示部１００を動かし、第１コンテンツ３２０を表示部１００に表示させることができる。
【0056】
図２０は、図１９の状態における表示部１００の映像を示す図である。図１９の状態においては表示部１００内に第１コンテンツ３２０が表示されており、作業者５００は第１コンテンツ３２０が作業対象４１に重畳された映像を見ている。
【0057】
仮想画面の適用により視認性向上を図れるが、他方で表示部１００内に第１コンテンツ３２０が見えなくなる場合がある。その状態で第１コンテンツ３２０内の作業項目が遷移すると、作業者５００はその遷移に気づかない場合がある。そこで実施形態１と同様に、仮想画面を用いた場合であっても、第１コンテンツ３２０が遷移する際には、表示部１００の前面に第１コンテンツ３２０を表示する。これにより、第１コンテンツ３２０の遷移を作業者５００に認識させることができる。遷移の手順については実施形態１と同様のものが適用可能である。
【0058】
第１コンテンツ３２０を表示部１００内に固定することも、作業者５００に認識させる上で有効である。例えば作業者５００が頭部を動かした際に必ず表示部１００に第１コンテンツ３２０を表示し、手順書の遷移を認識させる。
【0059】
図２１は、仮想画面を用いた場合におけるコンテンツの重なり領域を検出する制御部３０５の構成を示す図である。図２１の構成は、図１３と比較して、頭部回転角検出部３０５－３が追加されている。重なり領域検出部３０５－１は、頭部回転角検出部３０５－３から得られた仮想画面上の座標の移動量を取得し、第１コンテンツ３２０と第２コンテンツ３３０それぞれの座標情報から重なり領域を検出し、検出領域を視野イメージ作成部３０５－２に出力する。
【0060】
表示制御は、スマートフォン３００とコントローラ２００いずれが実施してもよい。第１コンテンツ３２０が手順書遷移状態に遷移した場合は、第１コンテンツ３２０を表示部１００の最前面に表示することは、実施形態１～２ともに共通である。
【0061】
＜実施の形態３＞
図２２は、本発明の実施形態３に係る作業支援システムの構成図である。図２２の作業支援システムは、透過型表示装置１と第２表示デバイス６００を用いた併用作業により、視認性だけでなく操作性も向上させることを図る。
図２２は、本発明の実施形態３に係る作業支援システムの構成図である。図２２の作業支援システムは、透過型表示装置１と第２表示デバイス６００を用いた併用作業により、視認性だけでなく操作性も向上させることを図る。
【0062】
本実施形態３において、実施形態２で説明した構成に加えて、透過型表示装置１内にカメラ１０２を配置するとともに、第２表示デバイス６００を追加した。第２表示デバイス６００は、タブレット、電子ペーパなどのように携帯可能でかつスマートフォン３００と比較し表示領域のサイズが大きいデバイスである。例えば図面の拡大表示を行う場合、透過型表示装置のみでは、音声によって拡大をしようとすると細かい調整が難しい。また図面内の線をなぞり記録するような作業もあり、そういった作業では透過型表示装置単体での音声操作による記録は困難である。そこで第２表示デバイスを使用することにより、細かな文字や図面を表示する際、ストレスなくレスポンスよく拡大縮小操作、手書きによる記録などを実施できる。第２表示デバイス６００として電子ペーパを用いることにより、屋外での視認性が向上し、発光を伴う透過型表示装置では視認性が低下する屋外での明るい環境でも作業できる。このように第２表示デバイス６００を用いることにより、操作性を向上し、作業適用範囲を拡大することが可能となる。特に第２表示デバイス６００には図面を表示することが好ましく、手順書を透過型表示装置に表示し音声操作することにより、それぞれのデバイスの特徴を活かした作業が可能となる。
【0063】
本実施形態３の作業支援システムにおいては、透過型表示装置１と第２表示デバイス６００が連携するので、最適なコンテンツを最適なデバイスに表示するシステムが必要となる。以下、透過型表示装置と第２表示デバイス６００を用いた併用作業における表示方法を説明する。以下ではスマートフォン３００が透過型表示装置１と第２表示デバイス６００を制御する例を説明する。
【0064】
制御部３０５は、第１コンテンツ３２０と第２コンテンツ３３０を読み出し、透過型表示装置１に対しては入力インターフェース３０１および入力インターフェース２０１を介し映像信号を送信する。制御部２０５は表示前の処理を実施した上で、表示部１００に表示させる。第２表示デバイス６００に対しては、制御部３０５から無線通信部３０３を介し第２表示デバイス６００に映像信号もしくはデータファイルを送信する。透過型表示装置１と第２表示デバイス６００は離して使用するので、無線での接続が多いと考えるが、有線接続でもよい。その場合、入力インターフェース３０１を介し接続し、同様の制御を実施する。
【0065】
上記ではスマートフォン３００が透過型表示装置１と第２表示デバイス６００を制御する例を記載したが、第２表示デバイス６００がマスタのデバイスとして、スマートフォン３００やコントローラ２００を制御し、第１コンテンツ３２０と第２コンテンツ３３０を送信してもよい。この場合、第２表示デバイス６００上での操作結果を表示部１００に反映してもよい。例えば第２表示デバイス６００上の図面で拡大操作を行った場合、表示部１００に表示している図面も拡大して表示する。このように第２表示デバイスと連携することにより、表示部１００の操作性を向上でき、表示部１００上でも図面内の詳細を確認することが可能となる。
【0066】
図２３は、表示部１００と第２表示デバイス６００がユーザの視野内で重なった状態を示す図である。このような状態では、第２表示デバイス６００の視認性が損なわれ、作業者５００の作業を妨げる状況となる。そこで、第２表示デバイスの稼働状況、もしくは表示部１００と第２表示デバイス６００の重なり状態を検出し、表示部１００の透過度を調整してもよい。
【0067】
図２４は、実施形態３における制御部３０５の構成図である。以下では、第２表示デバイスの稼働状況の検出、表示部１００と第２表示デバイス６００の重なり状態検出、表示部１００の透過度調整について説明する。
【0068】
制御部３０５は、実施形態２で説明した構成に加えて、カメラ画像認識部３０５－４、第２表示デバイス動作検出部３０５－５、コンテンツ制御部３０５－６を備える。記憶部３０４の構成は図１２と同様である。
【0069】
第２表示デバイス動作検出部３０５－５は無線通信部３０３を介し、第２表示デバイス６００が動作しているか否かを検出する。例えば第２表示デバイス６００の電源が入っているか、Ｓｌｅｅｐ状態でないか、ページ操作や手書き操作をしているか、に基づき動作しているか否かを判定できる。第２表示デバイス６００から定期的に状態を送信してもよいし、第２表示デバイス動作検出部３０５－５から通信可能か問いかけてもよい。第２表示デバイス６００が動作しているか否かは、ファイル情報を取得することによって判定してもよい。例えば第２表示デバイス動作検出部３０５－５は、定期的に第２表示デバイス６００のファイル情報を取得し、ファイル内に変更（例えば手書きのメモが追加されている）があれば動作中と判定する。ファイル情報は現在閲覧中のページ情報を含むようにし、現在閲覧中のページが取得前の状態と変化していたら動作中と判定する。情報を取得する周期は例えば２～３秒間隔とし、３０秒間何も変更がなかったら第２表示デバイス６００は動作していないとして判断してもよい。第２表示デバイス動作検出部３０５－５は以上のような判定を実施し、コンテンツ制御部３０５－６に第２表示デバイス６００の動作状態を出力する。
【0070】
コンテンツ制御部３０５－６は、第１コンテンツ３２０、第２コンテンツ３３０、優先度から、透過型表示装置１に表示するコンテンツと第２表示デバイス６００に表示するコンテンツを決定する。例えば図１０Ｂの＃３、＃Ｎのように図面を使用する作業であれば、必ず第２表示デバイス６００に図面を送信する。図面を使用しない図１０Ｂの＃１、＃２のような工程であれば送信しなくてもよい。少なくとも図面を使用する作業に関しては、第２表示デバイス６００に図面を表示する。コンテンツ制御部３０５－６は、表示するコンテンツを視野イメージ作成部３０５－２に送信するとともに、表示部１００に表示するコンテンツ情報を重なり領域検出部３０５－１に送信する。
【0071】
第２表示デバイス６００が故障した際には第２表示デバイス動作検出部３０５－５が状態を検出し、コンテンツ制御部３０５－６は作業に必要なコンテンツを視野イメージ作成部３０５－２に送信する。第２表示デバイス６００の電源が立ち上がった際の自動接続も実施してもよい。第２表示デバイス動作検出部３０５－５は常時第２表示デバイス６００を監視しているので、第２表示デバイス６００の電源が立ち上がった場合、第２表示デバイス動作検出部３０５－５から第２表示デバイス６００が動作中である信号をコンテンツ制御部３０５－６に送信することにより、自動接続が可能となる。
【0072】
デバイスの重なりをカメラによって検出してもよい。カメラ画像認識部３０５－４はカメラ１０２が取得した映像を取り込み、画像情報を重なり領域検出部３０５－１に出力する。カメラ１０２の取得映像は作業者５００の視線と同等のものであり、カメラ１０２の映像に第２表示デバイス６００が含まれていて、かつ表示部１００にコンテンツが表示されていれば重なっている可能性がある。重なり領域検出部３０５－１は、第１コンテンツ３２０と第２コンテンツ３３０それぞれの座標・サイズ情報、頭部回転角検出部３０５－３から得られる表示部１００のコンテンツ位置情報、カメラ画像認識部３０５－４が取得した第２表示デバイス６００の映像から、表示部１００のコンテンツと第２表示デバイスの重なりの有無と重なり領域を算出する。重なりが生じている場合、表示部１００のコンテンツ全体もしくは重なり部のみ透過率を調整する。透過率Ｔの範囲は、０＜Ｔ≦１００％としており、１００％とすれば完全にコンテンツをＯＦＦする。
【0073】
遠隔のサーバ等から無線通信部を介し指示を受けた場合、最適なデバイスにコンテンツを表示してもよい。例えば遠隔の管理者から現場の作業者５００に複数の形態、テキストデータ、図面によって指示が来た場合、テキストデータは透過型表示装置１、図面は第２表示デバイス６００に表示する。このようにすることにより、テキストはすぐに作業者５００がハンズフリーで確認でき、図面は操作性よく細かい部分を確認できる。
【0074】
実施形態３においても実施形態１～２と同様に、第１コンテンツ３２０内の作業項目が遷移する際は、表示部１００の最前面に第１コンテンツ３２０を表示する。
【0075】
＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0076】
以上の実施形態において、作業者が透過型表示装置に対してコマンドを送信する手段として音声コマンドを例示したが、透過型表示装置に対する指示入力を与える手段はこれに限るものではなく、任意の手段を用いることができる。例えば操作ボタンなどの指示入力手段が考えられる。
【0077】
以上の実施形態において、透過型表示装置１としてＨＭＤを例示したが、虚像を用いる透過型表示装置全般（例えばヘッドアップディスプレイ）に対して本発明を適用することもできる。
【符号の説明】
【0078】
１ 透過型表示装置
１０ 仮想画面
１００ 表示部
１０１ 頭部動作センサ
１０２ カメラ
２００ コントローラ
３００ スマートフォン
４１ 作業対象
４０ 目
５００ 作業者
２０１ ４００ マイク
４０１ リモコン
４０２ スピーカ
２０１ 入力インターフェース
２０２ 音声認識部
２０３ 無線通信部
２０４ 記憶部
２０５ 制御部
３０１ 入力インターフェース
３０２ 音声認識部
３０３ 無線通信部
３０４ 記憶部
３０５ 制御部
３０５－１ 重なり領域検出部
３０５－２ 視野イメージ作成部
３０５－３ 頭部回転角検出部
３０５－４ カメラ画像認識部
３０５－５ 第２表示デバイス動作検出部
３０５－６ コンテンツ制御部
３０６ ジャイロスコープ
３０７ タッチパネル
３０８ 表示部
３０９ スピーカ
３１０ マイク
２２０ コンテンツ
３２０ 第１コンテンツ
３２５ コンテンツ重なり部
３３０ 第２コンテンツ
３４０ 語彙リスト
３５０ 優先度格納部
３５１ 透過率格納部
３６０ 第３コンテンツ
３７０ 第４コンテンツ
３８０ 第５コンテンツ
３９０ 作業終了時刻格納部
６００ 第２表示デバイス
１０ 仮想画面
１００ 表示部
１０１ 頭部動作センサ
１０２ カメラ
２００ コントローラ
３００ スマートフォン
４１ 作業対象
４０ 目
５００ 作業者
２０１ ４００ マイク
４０１ リモコン
４０２ スピーカ
２０１ 入力インターフェース
２０２ 音声認識部
２０３ 無線通信部
２０４ 記憶部
２０５ 制御部
３０１ 入力インターフェース
３０２ 音声認識部
３０３ 無線通信部
３０４ 記憶部
３０５ 制御部
３０５－１ 重なり領域検出部
３０５－２ 視野イメージ作成部
３０５－３ 頭部回転角検出部
３０５－４ カメラ画像認識部
３０５－５ 第２表示デバイス動作検出部
３０５－６ コンテンツ制御部
３０６ ジャイロスコープ
３０７ タッチパネル
３０８ 表示部
３０９ スピーカ
３１０ マイク
２２０ コンテンツ
３２０ 第１コンテンツ
３２５ コンテンツ重なり部
３３０ 第２コンテンツ
３４０ 語彙リスト
３５０ 優先度格納部
３５１ 透過率格納部
３６０ 第３コンテンツ
３７０ 第４コンテンツ
３８０ 第５コンテンツ
３９０ 作業終了時刻格納部
６００ 第２表示デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
