(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133825
(43)【公開日】2023-09-27
(54)【発明の名称】表示制御装置、表示制御システム、表示制御プログラム
(51)【国際特許分類】
G09G 5/10 20060101AFI20230920BHJP
G09G 5/00 20060101ALI20230920BHJP
H04N 5/66 20060101ALI20230920BHJP
【FI】
G09G5/10 B
G09G5/00 555D
G09G5/00 510V
G09G5/00 520W
G09G5/00 550C
H04N5/66 B
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022039036
(22)【出願日】2022-03-14
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】大野 千代
(72)【発明者】
【氏名】中道 拓也
(72)【発明者】
【氏名】山崎 航史
(72)【発明者】
【氏名】松田 孝弘
(72)【発明者】
【氏名】新岡 正彦
(72)【発明者】
【氏名】金沢 満正
【テーマコード(参考)】
5C058
5C182
【Fターム(参考)】
5C058AA06
5C058BA26
5C182AA02
5C182AA03
5C182AB08
5C182AB35
5C182AC03
5C182BA06
5C182BA14
5C182BA35
5C182BA45
5C182BA46
5C182BB03
5C182BB11
5C182BB21
5C182BC01
5C182BC22
5C182BC25
5C182BC29
5C182CA01
5C182CB13
5C182CC13
5C182DA32
5C182DA66
(57)【要約】
【課題】透過型表示装置が表示する画像を制御する表示制御装置において、バッテリ残量にしたがって消費電力を適切に調整することができるように、表示制御装置上の画像を調整することを目的とする。
【解決手段】本発明に係る表示制御装置は、透過型表示装置の使用状態を検出するとともに、前記使用状態と前記表示制御装置のバッテリ残量にしたがって、表示部の消費電力モードを切り替える。低消費電力モードにおいては、輝度が低い画像または黒画面を表示し、前記透過型表示装置に対しては輝度が高い画像を送信する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
透過型表示装置が表示する画像を制御する表示制御装置であって、
画像を表示する表示部、
前記表示部が表示する画像を生成する表示制御部、
前記表示制御部が生成した画像を前記透過型表示装置に対して送信する通信部、
前記表示部、前記表示制御部、および前記通信部を制御する制御部、
を備え、
前記表示制御部は、前記表示部が表示する表示画像と前記透過型表示装置に対して送信する送信画像とのうち少なくともいずれかを切り替えることにより、第1消費電力モードと、前記第1消費電力モードよりも消費電力が低い第2消費電力モードとを切り替えることができるように構成されており、
前記制御部は、前記透過型表示装置の使用状態を検出するとともに、前記使用状態が前記表示制御装置のバッテリ残量に対して与える影響にしたがって、前記第1消費電力モードと前記第2消費電力モードのうちいずれを用いるかを切り替え、
前記制御部は、前記第1消費電力モードにおいては、前記表示画像として第1画像を生成するように前記表示制御部を制御するとともに、前記送信画像として前記第1画像を送信するように前記通信部を制御し、
前記制御部は、前記第2消費電力モードにおいては、前記バッテリ残量にしたがって前記表示画像として前記第1画像よりも輝度が低い第2画像または黒画面を生成するように前記表示制御部を制御するとともに、前記送信画像として前記第2画像よりも輝度が高い第3画像を送信するように前記通信部を制御する
ことを特徴とする表示制御装置。
【請求項2】
前記制御部は、前記使用状態として、作業者が前記透過型表示装置を用いて作業を開始したか否かを検出し、
前記制御部は、前記作業が開始されたことを検出した場合は前記第2消費電力モードを用い、検出しなかった場合は前記第1消費電力モードを用いる
ことを特徴とする請求項1記載の表示制御装置。
【請求項3】
前記透過型表示装置は、前記作業者が前記透過型表示装置を装着したことを検出するとその旨を前記表示制御装置に対して通知するように構成されており、
前記制御部は、前記透過型表示装置から前記通知を受け取るか、または、前記透過型表示装置に対して指示を送信する処理を実装したソフトウェアが前記表示制御装置上で起動されると、前記作業が開始されたと判断する
ことを特徴とする請求項2記載の表示制御装置。
【請求項4】
前記制御部は、前記第2消費電力モードにおいては、前記バッテリ残量にしたがって、
前記表示部の輝度を最小値にセットする、
前記表示画像として前記黒画面を生成する、
前記表示部の表示をOFFする、
のうちいずれかを実施するように前記表示制御部を制御する
ことを特徴とする請求項1記載の表示制御装置。
【請求項5】
前記表示制御部は、前記表示部が表示する画像の画素を全て黒色にセットすることにより、前記黒画面を生成する
ことを特徴とする請求項1記載の表示制御装置。
【請求項6】
前記表示部と前記透過型表示装置はともに、第1ピクセルサイズの画面サイズを有し、
前記表示制御部は、
前記表示画像として前記第1ピクセルサイズの画像を生成するとともに、前記送信画像として前記第1ピクセルサイズの画像を生成する、第1出力モード、
前記表示画像として前記第1ピクセルサイズの画像を生成するとともに、前記送信画像として前記第1ピクセルサイズよりも大きい第2ピクセルサイズの画像を生成する、第2出力モード、
を切り替えることができるように構成されており、
前記表示制御部は、前記第2出力モードを用いる場合は、前記第1ピクセルサイズを有する画面上で前記第2ピクセルサイズの画像を表示するように前記透過型表示装置に対して指示する
ことを特徴とする請求項1記載の表示制御装置。
【請求項7】
前記表示制御装置は、前記透過型表示装置に対して電力を供給することができるように構成されており、
前記制御部は、前記表示制御装置が前記透過型表示装置に対して電力を供給していることを検出した場合は前記第2消費電力モードを用い、検出しなかった場合は前記第1消費電力モードを用いる
ことを特徴とする請求項1記載の表示制御装置。
【請求項8】
前記表示制御装置と前記透過型表示装置は、USB Type-Cコネクタを介して互いに接続することにより、前記表示制御装置から前記透過型表示装置に対して電力を供給することができるように構成されており、
前記制御部は、前記USB Type-CコネクタにおけるCC1ピン信号またはCC2ピン信号を読み取ることにより、前記表示制御装置が前記透過型表示装置に対して電力を供給しているか否かを検出する
ことを特徴とする請求項7記載の表示制御装置。
【請求項9】
前記制御部は、前記表示制御装置の消費電力が閾値以上であれば前記表示制御装置が前記透過型表示装置に対して電力を供給していると判断し、前記閾値未満であれば供給していないと判断する
ことを特徴とする請求項7記載の表示制御装置。
【請求項10】
前記表示制御装置から前記透過型表示装置に対して電力を供給しているとき、
前記表示制御部は、前記バッテリ残量が閾値未満である場合は、前記透過型表示装置が表示する画像の輝度を下げることにより前記透過型表示装置が消費する電力を抑制するように、前記透過型表示装置に対して指示する
ことを特徴とする請求項1記載の表示制御装置。
【請求項11】
前記表示制御装置は第1撮像装置を備えるとともに、前記透過型表示装置は第2撮像装置を備え、
前記制御部は、作業者が前記透過型表示装置を装着して作業対象物に対して実施すべき作業の手順を記述した作業手順データを取得し、
前記作業手順データは、前記作業の内容にしたがって、前記第1撮像装置または前記第2撮像装置いずれを用いて前記作業対象物を撮影するかを規定しており、
前記表示制御装置または前記透過型表示装置は、前記作業手順データの記述にしたがって、前記第1撮像装置または前記第2撮像装置いずれかを用いて前記作業対象物を撮影する
ことを特徴とする請求項1記載の表示制御装置。
【請求項12】
前記第1撮像装置と前記第2撮像装置はそれぞれ、前記作業対象物を撮影する際に前記作業対象物に対して光を照射する光照射デバイスを備え、
前記表示制御装置と前記透過型表示装置はそれぞれ、周辺環境の照度を取得する照度センサを備え、
前記第1撮像装置が前記作業対象物を撮影するときは前記第1撮像装置が備える前記光照射デバイスを用いて前記作業対象物を照らし、
前記第2撮像装置が前記作業対象物を撮影するときは前記第2撮像装置が備える前記光照射デバイスを用いて前記作業対象物を照らし、
前記作業対象物の画像を前記表示制御装置が表示するときは、前記表示制御装置が備える前記照度センサの検出値にしたがって、前記表示制御装置が表示する画像の輝度を調整し、
前記作業対象物の画像を前記透過型表示装置が表示するときは、前記透過型表示装置が備える前記照度センサの検出値にしたがって、前記透過型表示装置が表示する画像の輝度を調整する
ことを特徴とする請求項11記載の表示制御装置。
【請求項13】
透過型表示装置が表示する画像を制御する表示制御装置、
前記透過型表示装置、
を有し、
前記表示制御装置は、
画像を表示する表示部、
前記表示部が表示する画像を生成する表示制御部、
前記表示制御部が生成した画像を前記透過型表示装置に対して送信する通信部、
前記表示部、前記表示制御部、および前記通信部を制御する制御部、
を備え、
前記表示制御部は、前記表示部が表示する表示画像と前記透過型表示装置に対して送信する送信画像とのうち少なくともいずれかを切り替えることにより、第1消費電力モードと、前記第1消費電力モードよりも消費電力が低い第2消費電力モードとを切り替えることができるように構成されており、
前記制御部は、前記透過型表示装置の使用状態を検出するとともに、前記使用状態が前記表示制御装置のバッテリ残量に対して与える影響にしたがって、前記第1消費電力モードと前記第2消費電力モードのうちいずれを用いるかを切り替え、
前記制御部は、前記第1消費電力モードにおいては、前記表示画像として第1画像を生成するように前記表示制御部を制御するとともに、前記送信画像として前記第1画像を送信するように前記通信部を制御し、
前記制御部は、前記第2消費電力モードにおいては、前記バッテリ残量にしたがって前記表示画像として前記第1画像よりも輝度が低い第2画像または黒画面を生成するように前記表示制御部を制御するとともに、前記送信画像として前記第2画像よりも輝度が高い第3画像を送信するように前記通信部を制御する
ことを特徴とする表示制御システム。
【請求項14】
前記表示制御装置は、前記透過型表示装置に対して電力を供給することができるように構成されており、
前記透過型表示装置は、前記表示制御装置が前記透過型表示装置に対して電力を供給していることを検出した場合、前記表示制御装置のバッテリ残量にしたがって前記透過型表示装置が備える表示部の輝度値を調整することにより、前記供給される電力を前記バッテリ残量にしたがって調整する
ことを特徴とする請求項13記載の表示制御システム。
【請求項15】
透過型表示装置が表示する画像を制御する処理をコンピュータに実行させる表示制御プログラムであって、前記コンピュータに、
前記コンピュータが表示する画像を生成するステップ、
前記生成した画像を前記透過型表示装置に対して送信するステップ、
を実行させ、
前記画像を生成するステップにおいては、前記コンピュータに、前記コンピュータが表示する表示画像と前記透過型表示装置に対して送信する送信画像とのうち少なくともいずれかを切り替えることにより、第1消費電力モードと、前記第1消費電力モードよりも消費電力が低い第2消費電力モードとを切り替えるステップを実行させ、
前記画像を生成するステップにおいては、前記コンピュータに、前記透過型表示装置の使用状態を検出するとともに、前記使用状態が前記コンピュータのバッテリ残量に対して与える影響にしたがって、前記第1消費電力モードと前記第2消費電力モードのうちいずれを用いるかを切り替えるステップを実行させ、
前記画像を生成するステップにおいては、前記コンピュータに、前記第1消費電力モードにおいては、前記表示画像として第1画像を生成するとともに、前記送信画像として前記第1画像を送信するステップを実行させ、
前記画像を生成するステップにおいては、前記コンピュータに、前記第2消費電力モードにおいては、前記バッテリ残量にしたがって前記表示画像として前記第1画像よりも輝度が低い第2画像または黒画面を生成するように前記コンピュータを制御するとともに、前記送信画像として前記第2画像よりも輝度が高い第3画像を送信するステップを実行させる
ことを特徴とする表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、透過型表示装置が表示する画像を制御する技術に関するものである。
【背景技術】
【0002】
近年、透過型ヘッドマウントディスプレイ(Head Mounted Display、以下HMD)が製品化され、工場現場などにおける作業支援のために利用されている。透過型HMDを装着したユーザが作業対象を見ながら、透過型HMDの画面上に作業支援に関する情報を投影表示することにより、ユーザにとって作業手順の確認や操作が可能となる。例えば作業者が携帯するスマートフォン(表示制御装置)と透過型HMDと接続し、表示制御装置から透過型HMDに対して作業手順書などを提供する。これにより作業者は、透過型HMD上で作業手順書を見ながら、透過型ディスプレイを介して作業対象を視認することにより、作業対象に対する作業を効率的に実施できる。
【0003】
下記特許文献1は、HMDとこれに接続する処理装置に関する技術を記載している。同文献は、『携帯情報端末等の処理装置とHMD等の表示装置との連携動作のユーザービリティを向上すること。』を課題として、『携帯情報端末である処理装置は、画像を表示する表示部と、外部の表示装置が接続されたことを検出する接続検出部と、上記表示装置が接続されたことに応じて、上記表示部に表示されている画像を上記表示装置に出力する画像出力部と、上記表示装置が接続されたことに応じて、上記表示部に表示されている画像を、所定の輝度値で、上記表示装置に出力される上記画像に関連する処理の実行を指示するためのユーザーインターフェイスの表示に切り替えるユーザーインターフェイス出力部と、を備える。』という技術を記載している(要約参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
透過型HMDに対して画像を送信する表示制御装置は、自身がディスプレイなどの表示デバイスを備えており、その表示デバイスが表示する画像を透過型HMDに対して転送することにより、透過型HMDに対して画像を提供する。作業手順書などの作業支援情報もこの画像として提供される。したがって、表示制御装置から透過型HMDに対して画像を供給する間は、表示制御装置のディスプレイを常にONしていなければならない。これにより表示制御装置のバッテリ消費が早く進むという課題がある。
【0006】
特許文献1においては、処理装置とHMDが接続されたことを処理装置において検出すると、処理装置が表示する画像の輝度値を調整する。これにより処理装置のバッテリ消費をある程度抑制することができると考えられる。しかしこの手法は、処理装置のバッテリが十分残っている場合においても一律に画像輝度を調整する。これにより、バッテリ使用可能時間に対する影響が小さい場合であっても表示輝度を低下させて、処理装置のディスプレイに対する視認性を損ねる可能性がある。
【0007】
本発明は、上記のような課題に鑑みてなされたものであり、透過型表示装置が表示する画像を制御する表示制御装置において、表示制御装置のバッテリ残量にしたがって消費電力を適切に調整することができるように、表示制御装置上の画像を調整することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る表示制御装置は、透過型表示装置の使用状態を検出するとともに、前記使用状態と前記表示制御装置のバッテリ残量にしたがって、表示部の消費電力モードを切り替える。低消費電力モードにおいては、輝度が低い画像または黒画面(主に有機EL(Electro-Luminescence)など自発光式パネルの場合)を表示し、前記透過型表示装置に対しては輝度が高い画像を送信する。
【発明の効果】
【0009】
本発明に係る表示制御装置によれば、透過型表示装置が表示する画像を制御する表示制御装置において、表示制御装置のバッテリ残量にしたがって消費電力を適切に調整することができるように、表示制御装置上の画像を調整することができる。
【図面の簡単な説明】
【0010】
【
図1A】実施形態1に係る透過型表示装置100と表示制御装置200の外観図である。
【
図2】透過型表示装置100の機能ブロック図である。
【
図3】表示制御装置200の機能ブロック図である。
【
図4A】出力モードテーブル260の構成とデータ例を示す。
【
図4B】出力モードの違いを説明する模式図である。
【
図5】作業者が透過型表示装置100を装着して作業対象に対する作業を開始するときにおける各装置の動作を説明するフローチャートである。
【
図6】S506の詳細を説明するフローチャートである。
【
図7】S511~S512の詳細を説明するフローチャートである。
【
図8】表示制御部204が表示部21の輝度値を切り替える仕組みを説明する機能ブロック図である。
【
図9】実施形態2におけるS511~S512の詳細を説明するフローチャートである。
【
図10】透過型表示装置100が他デバイスから電力を供給されているか否かを透過型表示装置100が判断する手順を説明するフローチャートである。
【
図11】通信中継基板150を介した接続形態を示す図である。
【
図12】作業者1500と作業対象1200の位置関係を例示する図である。
【
図15】作業手順データ1300を作成する手順を説明するフローチャートである。
【
図16】表示制御装置200と透過型表示装置100の使用態様を示す図である。
【発明を実施するための形態】
【0011】
<実施の形態1>
図1Aは、本発明の実施形態1に係る透過型表示装置100と表示制御装置200の外観図である。透過型表示装置100はHMDとして構成されている。HMDを用いた作業支援においては、作業者はヘルメット330を被ることが多いので、ヘルメット330にHMDを接続した例を用いて説明する。
【0012】
透過型表示装置100は、表示部11、カメラ12、を備える。表示部11は作業者の目の正面に配置され、これにより作業者の視線方向に映像が見えるようにする。カメラ12は外部から認識できる構造となっており、目の視線方向と同一方向を撮像するように設置する。カメラ12は、撮像時に周囲を照らすフラッシュライトを備える。後述するカメラ217も同様である。
【0013】
ヘルメット330に固定された固定治具310からアーム320を延伸して透過型表示装置100とアーム320を接続することにより、透過型表示装置100をヘルメット330に固定する。表示部11が目の最適な位置に配置されるように、アーム320は自由に曲げ伸ばしが可能である。
図1のように2箇所で透過型表示装置100を固定してもよい。1か所のみ固定すると、その箇所を支点として透過型表示装置100が回転しやすくなるので、目と表示部11の位置がずれやすくなる。位置がずれると映像の欠けやぼやけが発生するので、視認性の低下につながってしまう。2箇所で固定すれば回転しにくくなるので、視認性低下を抑制できる。固定位置は、表示部11の反対側端部、および透過型表示装置100がL字に折れ曲がる箇所とするのが有効である。これらの位置で固定することにより、カメラ12を遮らず、かつ目の視界にも影響しない構造になる。
【0014】
透過型表示装置100は、ケーブル30を介して、表示制御装置200と接続されている。表示制御装置200は、透過型表示装置100が表示する画像を制御する装置である。表示制御装置200は、作業者が携帯可能なデバイスであり、例えばスマートフォンによって構成することができる。表示制御装置200は、画像を表示する表示部21を備える。作業者は、透過型表示装置100の透過ディスプレイを介して作業対象を視認するとともに、透過型表示装置100が表示する画像(または表示部21が表示する画像)を見ながら、作業対象に対する作業を実施する。
【0015】
図1Bは、外付けバッテリ300を用いる例を示す。透過型表示装置100は、ケーブル30を介して、通信中継基板150と接続されている。通信中継基板150はさらに、(a)ケーブル31を介して表示制御装置200と接続され、(b)ケーブル32を介してバッテリ300と接続されている。バッテリ300は、透過型表示装置100と表示制御装置200それぞれに対して電力を供給することができる。
【0016】
図2は、透過型表示装置100の機能ブロック図である。電源部101は電源から受け取った電力を透過型表示装置100の各部に対して供給する。通信部102は他デバイスと通信する。操作部103はユーザからの操作入力を受け取る。装着状態検知部140はユーザが透過型表示装置100を装着したか否かを検知する。検知手順の例については後述する。表示部11は左右に分かれて構成されている(表示部11Aと11B)か、または左右いずれかの眼に対応する表示部分を有する。以下では左右に分かれていることを前提とするが、いずれの場合においても本発明を適用可能である。表示制御部104は表示部11が表示する画像を生成する。制御部120は透過型表示装置100の各部を制御する。記憶部130は制御部120が用いるデータを格納する。リモコン109、スピーカー108、マイク107は、ユーザが透過型表示装置100に対して操作入力または音声入力を与えるためのデバイスである。外部IF105はこれらデバイス(カメラ12を含む)と制御部120との間の通信インターフェースである。センサ群110は、加速度センサ111、角速度センサ112、照度センサ113などを含む。
【0017】
図3は、表示制御装置200の機能ブロック図である。電源部201は電源から受け取った電力を表示制御装置200の各部に対して供給する。通信部202は他デバイスと通信する。操作部203はユーザからの操作入力を受け取る。マイク205とスピーカー206は、ユーザが表示制御装置200に対して音声入力を与えるためのデバイスである。表示制御部204は表示部21が表示する画像を生成する。制御部220は表示制御装置200の各部を制御する。記憶部230は制御部220が用いるデータを格納する。センサ群210は、加速度センサ211、角速度センサ212、照度センサ213、LiDAR(Light Detection and Ranging)214、磁気センサ215、GPS(Global Positioning System)216、カメラ217、近接センサ218、などを含む。
【0018】
図4Aは、出力モードテーブル260の構成とデータ例を示す。出力モードテーブル260は、表示制御装置200から透過型表示装置100に対して画像を提供する際における画像サイズなどを定義するデータテーブルであり、記憶部230内に格納されている。各レコードはそれぞれが別個の出力モードを定義する。
【0019】
番号261はレコードの通番を示す。出力モード262は出力モードの名称を示す。使用IF263は、表示制御装置200から透過型表示装置100に対して画像を送信する際に用いる通信インターフェースの種別を示す。輝度264は、表示制御装置200(表示部21)と透過型表示装置100(表示部11)いずれの輝度を優先するかを示す。仮想サイズ265は、表示制御部204が生成する仮想画面のサイズを示す。仮想画面については後述する。表示サイズ266は、透過型表示装置100(表示部11)が表示する画像のサイズを示す。
【0020】
図4Bは、出力モードの違いを説明する模式図である。出力モード#1においては、表示制御装置200(表示部21)が表示する画像サイズと透過型表示装置(表示部11)が表示する画像サイズは同じ(640ピクセル×480ピクセル)である。出力モード#2においては、表示制御装置200は640ピクセル×480ピクセルの画像を表示するが、透過型表示装置100に対しては同じ画像を仮想サイズ(1920ピクセル×1080ピクセル)に変換した上で送信する。透過型表示装置100はその画像を表示サイズ(640ピクセル×480ピクセル)の画面上で表示する。表示部11は受信した仮想サイズの画像のうち一部のみを表示するので、作業者は頭部を動かす等の動作でウインドウをスクロールさせることによって画像全体を見ることができる。例えば透過型表示装置100上において作業図面を拡大表示したい場合は、このような仮想サイズを用いることが有用である。
【0021】
図5は、作業者が透過型表示装置100を装着して作業対象に対する作業を開始するときにおける各装置の動作を説明するフローチャートである。以下
図5の各ステップについて説明する。
【0022】
(
図5:ステップS501)
表示制御装置200(通信部202)と透過型表示装置100(通信部102)は、有線接続または無線接続により、互いに対する接続を確立する。本ステップは、例えば作業者が表示制御装置200を起動したとき自動的に実施してもよいし、有線接続であれば通信線を介して各デバイスが接続されたとき実施してもよい。その他適当なタイミングでもよい。
【0023】
(
図5:ステップS502~S504)
表示制御部204は、デフォルトの出力モード(例えば出力モード#1)で画像出力を開始する(S502)。通信部202は、その画像(第1画像)を透過型表示装置100に対して送信する(S503)。表示制御部104は、その出力モード(例えば出力モード#1)を用いて、表示部11上で画像を表示する(S504)。ここでは出力モード#1をデフォルトモードとしたが、デフォルトモードはいずれであってもよい。
【0024】
(
図5:ステップS505)
後述のステップS630において、作業者は表示制御装置200のマイク205あるいは透過型表示装置100のマイク107を用いて例えば所定の音声コマンドを発話する。制御部220は、その音声入力を認識するための処理を開始する。具体的には例えば音声認識プログラムを起動する。音声コマンドは、例えば作業開始を指示するコマンドなどである。
【0025】
(
図5:ステップS506)
制御部220は、作業者が透過型表示装置100を装着して作業対象に対する作業を開始したか否かを検出する。作業開始を検出するまで本ステップを繰り返す。検出手法の具体例については後述する。
【0026】
(
図5:ステップS507~S510)
制御部220は、作業時において実施すべき出力モード(例えば出力モード#2)を設定するように、表示制御部204に対して指示する(S507)。表示制御部204は透過型表示装置100に対してその出力モードを開始するように指示する(S508)。表示制御部204はその出力モードを用いて画像を透過型表示装置100に対して送信する(S509)。表示制御部104は、その出力モードを用いて、表示部11上で画像を表示する(S510)。
【0027】
(
図5:ステップS511~S513)
制御部220は、表示部21の輝度値を決定し、その輝度値を表示部21に対して設定する(S511)。制御部220は、表示部21上に表示する画面を決定し(S512)、その画面に切り替える(S513)。ここでいう画面とは、表示部21の消費電力を抑制できるように調整した画面表示のことである。S511~S512の詳細は後述する。
【0028】
図6は、S506の詳細を説明するフローチャートである。本フローチャートは全体として、処理ブロック610~640の4つに分かれている。各処理ブロックはそれぞれ、作業者が透過型表示装置100を装着して作業対象に対する作業を開始したか否かを検出する。検出手法は処理ブロックごとに異なる。
【0029】
(
図6:ステップS611~S613)
制御部120(装着状態検知部140)は、作業者が透過型表示装置100を装着している状態が変化したことを検出する(S611)。例えば加速度センサ111や角速度センサ112により、透過型表示装置100が所定位置にセットされたことを検出することが考えられる。制御部120は、装着状態が変化した旨およびその装着状態を、表示制御装置200に対して通知する(S612)。制御部220は、表示部11が作業者上の所定位置にセットされたことを確認する(S613)。作業者が表示部11を所定位置に装着したことは、作業者が作業対象に対する作業を開始したことを示唆している。したがって本処理ブロックは、作業開始を検出することができる。
【0030】
(
図6:ステップS611~S613:補足)
表示部11が所定位置にセットされたことを検出する仕組みは、これに限るものではない。例えば表示部11の透過ウインドウ部分(作業者の眼前に位置する部材)を回転させて眼前から外すことができるように表示部11を構成しておき、その回転動作を検出することにより、表示部11がセットされたことを検出してもよい。その他適当な手法を用いてもよい。
【0031】
(
図6:ステップS621~S622)
制御部220は、表示制御装置200上で作業支援アプリケーションが起動されたことを検出する(S621)。制御部220は、同アプリケーション上で作業実行画面が表示されたことを検出する(S622)。これらのアプリケーションおよび画面表示は、作業者が作業対象に対する作業を開始したことを示唆している。したがって本処理ブロックは、作業開始を検出することができる。
【0032】
(
図6:ステップS631)
作業者は作業端末上で、マイク205を用いて例えば所定の音声コマンドを発話する。制御部220は、作業者がマイク205を用いて発話した音声コマンドのなかに、特定のワードが含まれていることを認識する。このワードは例えば作業開始することを指示するコマンドである。これにより制御部220は、作業者が作業対象に対する作業を開始したことを検出できる。
【0033】
(
図6:ステップS641)
制御部220は、作業者が表示部21の画面に対して所定時間以上タッチしていないことを検出する。この場合、作業者は表示制御装置200を操作していないことになるので、作業対象に対する作業を実施している途中であると推測できる。したがって本処理ブロックは、作業開始を検出することができる。
【0034】
(
図6:ステップS611~S641:補足)
図6において、作業開始を検出する各ステップ(S613、S621、S622、S631、S641)は、それぞれが完了するまで次のステップに進まないこととしている。これに代えて、これらの検出ステップを並列的に実施してもよい。例えば、S613により作業開始を検出する処理は、S621~S622により作業開始を検出する処理と平行して実施することができる。すなわち、いずれかの検出ステップにおいて作業開始を検出することができれば、それにより作業が開始されたと判定してもよい。
【0035】
図7は、S511~S512の詳細を説明するフローチャートである。S701~S705、S706、S707、S709は、S511に対応する。S710はS512に対応する。
【0036】
(
図7:ステップS701~S703)
制御部220は、表示部21の画面表示の輝度値を取得する(S701)。制御部220は、電源部201からバッテリ残量を取得する(S702)。バッテリ残量が所定条件以下であればS704へ進み(S703:YES)、それ以外であれば本フローチャートを終了する(S703:NO)。バッテリ残量が十分であれば以後のステップによって輝度値を調整する必要はないからである。
【0037】
(
図7:ステップS704)
制御部220は、バッテリ残量に応じて、表示部21の消費電力レベルを決定する。3つの消費電力レベルのなかで、レベル3は消費電力が最も小さく、レベル1は消費電力が最も大きい。バッテリ残量が少ないほどレベルを高くする。レベル1を選択する場合はS706へ進み、レベル2を選択する場合はS707へ進み、レベル3を選択する場合はS709へ進む。
【0038】
(
図7:ステップS705:レベル1、S706)
制御部220は、表示部21の輝度値を最小値に設定する。ここでいう最小値は、必ずしも表示部21が用いることができる最小輝度でなくてもよい。少なくともレベル1~3を用いない場合と比較して低い輝度値であればよい。
【0039】
(
図7:ステップS705:レベル2、S707)
制御部220は、表示部21の消費電力を抑制するように、表示制御部204に対して指示する。表示制御部204は例えば以下のいずれかによってこれを実施する:(a)表示部21が有機ELなどの自発光パネルによって構成されている場合は、画面内の全ての画素値を黒色にセットする(黒画面にする)ことにより、素子の消費電力を抑制できる。表示輝度自体は必ずしも下げる必要はない。有機ELは、画素値が黒色であれば消費電力は非常に小さいからである。(b)表示部21が液晶デバイスによって構成されている場合は、液晶の表示輝度値をS706と同様に最小値に下げる。本ステップにより、表示部21が自発光パネルまたは液晶いずれによって構成されている場合であっても、消費電力をレベル1と同等以下に抑制できる。
【0040】
(
図7:ステップS705:レベル3、S709)
制御部220は、表示部21の動作をOFFする。例えば表示部21に対する電力供給をOFFする。これによりレベル3は、レベル1~2と同等またはそれ以下の消費電力となる。
【0041】
(
図7:ステップS710)
制御部220(表示制御部204)は、透過型表示装置100に対して、表示部11の輝度値を指示する。表示制御部104はその指示にしたがって、表示部11の輝度値を設定する。本フローチャートは表示部21の輝度を下げるためのものであるので、表示部11の輝度(第3画像)は、表示部21の輝度(第2画像)よりも高くてよい。
【0042】
図8は、表示制御部204が表示部21の輝度値を切り替える仕組みを説明する機能ブロック図である。制御部220が備える表示画面生成部221は、記憶部230が格納している黒画面231または作業画面232のうちいずれかを選択するように、表示制御部204に対して指示する。表示制御部204はその指示にしたがって、黒画面231のポインタ240Aまたは作業画面232のポインタ240Bいずれかを選択する。
【0043】
黒画面231を選択する場合、表示制御部204は画像情報をデコード処理(241)した上で、表示部21が備える表示素子(例えば自発光パネル)に対して、黒画面231を表示するように指示する。表示部21が液晶素子である場合は例えば制御部220が液晶のバックライトをOFFすることによって輝度値を下げる。作業画面232を選択する場合、通信部202は作業画面232をエンコード処理(242)した上で、通信パケット化(243)して透過型表示装置100に対し送信する。
【0044】
<実施の形態2>
実施形態1では、表示制御装置200のバッテリ残量にしたがって、表示部21の輝度値を調整する例を説明した。本発明の実施形態2ではこれに代えて、表示制御装置200が透過型表示装置100に対して電力を供給しているか否かにしたがって、表示部21の輝度値を調整する手順を説明する。この手順以外の構成は実施形態1と同様である。
【0045】
図9は、本実施形態2におけるS511~S512の詳細を説明するフローチャートである。
図9においては、S701~S703に代えて、S901~S904を実施する。その他の構成は実施形態1と同様である。
【0046】
(
図9:ステップS901~S904)
制御部220は、電源部201から他デバイスに対して電力を供給しているか否か、およびその供給先デバイスについての情報を取得する(S901)。他デバイスに対して電力を供給中でなければ本フローチャートを終了する(S902:NO)。供給中であればS903へ進む(S902:YES)。制御部220は、供給先が透過型表示装置100でなければ(S903:NO)、他デバイスに対する電力供給を停止する(S904)。透過型表示装置100に対して電力を供給している場合は(S903:YES)、S704以降を実施する。
【0047】
(
図9:ステップS902~S903:補足)
制御部220は、例えば後述するUSB信号を用いて、他デバイスへ電力供給中であるか否かおよびその供給先デバイスを特定することができる。あるいは表示制御装置200の消費電力が閾値以上であれば、他デバイス(または透過型表示装置100そのもの)に対して電力供給中であると判定してもよい。
【0048】
図10は、透過型表示装置100が他デバイスから電力を供給されているか否かを透過型表示装置100が判断する手順を説明するフローチャートである。表示制御装置200が
図9のフローチャートによって電力供給先を判断することに代えて、透過型表示装置100が本フローチャートによって電力供給元を判断してもよい。
図9と
図10いずれによって電力供給元を判定するかについては、例えば表示制御装置200があらかじめ指示することができる。
【0049】
(
図10:ステップS1001)
制御部120は、電源部101を介して、他デバイスから電力供給を受けているか否かについての情報を取得する。例えばUSB Type3のCC1ピン信号やCC2ピン信号を用いて、他デバイスからの電力供給の有無を判定することができる。制御部220も同様にこれらの信号を用いて、透過型表示装置100に対して電力を供給しているか否かを判定できることを付言しておく。
【0050】
(
図10:ステップS1002)
電力供給元が表示制御装置200であればS1003へ進み、それ以外であれば本フローチャートを終了する。例えばUSB信号のパケット内に、接続先デバイスのIDなどが記述されていれば、これを用いて供給元デバイスを識別することができる。その他適当な手法を用いてもよい。
【0051】
(
図10:ステップS1003)
制御部120は、表示制御装置200のバッテリ残量を表示制御装置200から取得する。取得したバッテリ残量が所定条件以下であればS1004へ進み、それ以外であれば本フローチャートを終了する。制御部220は、本ステップにおいてバッテリ残量を透過型表示装置100に対して通知するとともに、表示部11の輝度を下げるように指示してもよい。
【0052】
(
図10:ステップS1004)
制御部120は、表示部11の輝度値を現在の設定値よりも低い値に設定する。これにより透過型表示装置100の消費電力を抑制することができる。本ステップの時点において、透過型表示装置100は表示制御装置200から電力供給を受けているので、本ステップにより表示制御装置200の消費電力を抑制することになる。本ステップは、S1003において取得したバッテリ残量にしたがって実施要否を制御部120が判断してもよいし、S1003において表示制御装置200から本ステップを実施するように指示することにより実施してもよい。
【0053】
図11は、通信中継基板150を介した接続形態を示す図である。
図11上段は表示制御装置200から透過型表示装置100に対して電力を供給する場合における電力経路を示す。電源部201は、スイッチ250を介して、通信中継基板150に対する接続先を切り替えることができる。電力を出力する場合はポート250Bを介して電源入力ポート152と接続することにより、透過型表示装置100に対して電力を供給する。
図11下段はバッテリ300から透過型表示装置100および表示制御装置200に対して電力を供給する場合における電力経路を示す。電源部201は、ポート250Aを介して電源出力ポート151と接続することにより、バッテリ300から電力を受け取る。いずれの場合においても、透過型表示装置100は電源出力ポート151から電力を受け取る。
【0054】
<実施の形態3>
図12は、作業者1500と作業対象1200の位置関係を例示する図である。作業対象1200は例えば配電制御盤である。この例における作業対象1200は、計器類1201、表示パネル1202、ブレーカ1210、リレー1211、を備える。作業者1500は、作業手順書が指定する手順にしたがって、作業対象1200が備えるこれら各部に対して作業を実施する。透過型表示装置100と表示制御装置200それぞれの構成は実施形態1~2と同様である。
【0055】
図13は、作業手順データ1300の例である。作業手順データ1300は、作業手順を記述したデータであり、例えば記憶部230内に格納することができる。作業手順データ1300の各レコードは、1つの作業項目に対応する。作業手順データ1300は、作業番号1301、作業対象1302、作業内容1303、関連図面1304、使用カメラ1305、作業状態1306、完了日時1307、エビデンス1308を有する。作業者は関連図面1304を表示部11上で見ながら作業を実施する。
【0056】
図14は、作業手順の表示例を示す。ここでは作業者が作業対象1200の画像を撮影する作業を例示する。透過型表示装置100と表示制御装置200がいずれも撮像装置を備えている場合、作業手順データ1300は、いずれの撮像装置を使用すべきかを使用カメラ1305によって指示することができる。制御部220はその指示にしたがって、いずれかの撮像装置を起動し、その撮像装置の画像を表示部11上で表示するように透過型表示装置100に対して指示する。使用カメラ1305を定義する手順については後述する。便宜上、カメラ217のことを「内蔵カメラ」と呼称する場合がある。
【0057】
使用カメラ1305は、撮像するときに使用するフラッシュライト(光照射デバイス)として、透過型表示装置100のライトまたは表示制御装置200のライトいずれを用いるかを、併せて指定していることになる。透過型表示装置100のカメラを用いる場合は、透過型表示装置100の周辺を明るくすることが望ましいので、透過型表示装置100が備えているライトを用いる。同様に表示制御装置200のカメラを用いる場合は、表示制御装置200が備えているライトを用いる。フラッシュライトの光量についても同様である。すなわち、透過型表示装置100のカメラを用いる場合は、照度センサ113を用いて検出した透過型表示装置100周辺の照度にしたがって、フラッシュの光量を設定する。表示制御装置200のカメラを用いる場合は、照度センサ213を用いて検出した表示制御装置200周辺の照度にしたがって、フラッシュの光量を設定する。
【0058】
他方で、作業手順および撮像画像を表示する際には、表示デバイス周辺の照度にしたがって表示部の輝度を設定することが望ましい。表示制御装置200を低消費電力モードで動作させる(
図7または
図9におけるレベル1~レベル3)場合は、透過型表示装置100上で画面を見るほうが望ましいので、照度センサ113を用いて検出した透過型表示装置100周辺の照度にしたがって、表示部11の輝度を設定する。表示制御装置200が低消費電力モードでなければ、照度センサ213を用いて検出した表示制御装置200周辺の照度にしたがって、表示部21の輝度を設定する。
【0059】
作業内容によっては、例えば表示制御装置200を作業対象1200の内部に差し入れることにより、表示制御装置200のカメラを用いてその内部画像を撮影し、透過型表示装置100上でその内部画像を見る、といった作業形態も考えられる。このような場合はフラッシュライトについては照度センサ213を用い、表示輝度については照度センサ113を用いることになる。このような作業内容ごとのカメラ/フラッシュライト/照度センサの使い分けについても、使用カメラ1305と併せて定義してもよい。
【0060】
図15は、作業手順データ1300を作成する手順を説明するフローチャートである。本フローチャートは作業者が作業を開始する前にあらかじめ管理者(以下では単にユーザとする)などによって実施される。ここでは特に使用カメラ1305を定義する手順を説明する。本フローチャートは例えば、作業手順図面などを提供する作業支援アプリケーションを表示制御装置200が実行することによって実装することができる。
【0061】
(
図15:ステップS1501~S1503)
ユーザは、作業手順データ1300を作成する作業対象を決定する(S1501)。ユーザは、作業対象の外観や内部の3次元構造についての情報を取得する(S1502)。ユーザは作業対象の作業対象部位を選択する(S1503)。
【0062】
(
図15:ステップS1504~S1508)
作業対象部位が透過型表示装置100によって撮像するのに適していない場合、その作業対象部位は、表示制御装置200が備える撮像装置によって撮影するように、使用カメラ1305を定義する(S1508)。具体的には以下がこれに該当する:(a)作業対象部位の高さが所定値以下(例:70cm以下)である場合(S1504);(b)作業対象部位の奥行方向の位置が所定値以上(例:5cm以上)である場合(S1505);(c)作業対象部位が記載している文字サイズが所定値以下(例:6pt以下)である場合(S1506)。これらのいずれにも該当しなければ、透過型表示装置100が備える撮像装置を用いるように、使用カメラ1305を定義する(S1507)。
【0063】
(
図15:ステップS1509)
全ての作業対象部位についてS1504~S1508を繰り返す。
【0064】
図16は、表示制御装置200と透過型表示装置100の使用態様を示す図である。作業者は例えばスマートフォンとして構成された表示制御装置200を作業着のポケットに入れ、透過型表示装置100を装着して作業する。作業中において表示制御装置200の消費電力を抑制する場合、表示部21は黒画面または最小輝度となり、表示部11は仮想ディスプレイサイズによって画像を表示する。作業中でないときは、表示部21が表示する画像と表示部11が表示する画像は同じである。
【0065】
<本発明の変形例について>
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0066】
以上の実施形態において、制御部120、制御部220、表示制御部104、表示制御部204は、これらの機能を実装した回路デバイスなどのハードウェアによって構成することもできるし、これらの機能を実装したソフトウェアをCPU(Central Processing Unit)などの演算装置が実行することにより構成することもできる。
【符号の説明】
【0067】
100:透過型表示装置
11:表示部
12:カメラ
200:表示制御装置
21:表示部
300:バッテリ
310:固定治具
320:アーム
330:ヘルメット