特許 6874448 情報表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6874448

(24)【登録日】2021年4月26日

(45)【発行日】2021年5月19日

(54)【発明の名称】情報表示システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20210510BHJP

   G06F 3/0481 20130101ALI20210510BHJP

   G09G 5/00 20060101ALI20210510BHJP

   G09G 5/36 20060101ALI20210510BHJP

   G02B 27/02 20060101ALI20210510BHJP

   B25J 19/06 20060101ALI20210510BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/0481

   G09G5/00 550C

   G09G5/00 510C

   G09G5/00 550B

   G09G5/00 510H

   G09G5/36 530Y

   G02B27/02 Z

   B25J19/06

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2017-52713(P2017-52713)

(22)【出願日】2017年3月17日

(65)【公開番号】特開2018-156391(P2018-156391A)

(43)【公開日】2018年10月4日

【審査請求日】2020年2月7日

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】110000567

【氏名又は名称】特許業務法人 サトー国際特許事務所

(72)【発明者】

【氏名】渡邉 和則

【審査官】 円子 英紀

(56)【参考文献】

【文献】 特開２０１０−２１０８２２（ＪＰ，Ａ）

【文献】 特許第５８７６６０７（ＪＰ，Ｂ１）

【文献】 特開２０１５−２２８０９５（ＪＰ，Ａ）

【文献】 特開２００５−２０７７８３（ＪＰ，Ａ）

【文献】 特開２０１６−１０７３７９（ＪＰ，Ａ）

【文献】 特開２０１６−１９２０００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｂ２５Ｊ １９／０６

Ｇ０２Ｂ ２７／０２

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

(57)【特許請求の範囲】

【請求項1】

監視対象となるロボットの駆動を制御するロボットコントローラと、
前記ロボットコントローラから前記ロボットの動作状態及び制御状態を特定可能な情報を取得する安全装置と、
ユーザが装着可能であってユーザの視界内に情報を表示可能な装着型ディスプレイと、
前記安全装置から前記ロボットに関する情報である監視対象情報を取得可能な監視対象情報取得部と、
ユーザの視界を特定するための視界情報を取得する視界情報取得部と、
前記視界情報取得部で取得した前記視界情報に基づいてユーザの視界内に存在する監視対象を識別する監視対象識別部と、
ユーザの視界内に捉えた前記監視対象について前記監視対象情報が存在している場合に前記監視対象情報の存在を示すシンボル表示をユーザの視界内に表示すると共に、ユーザの視界内に設定された照準がユーザの視界内において前記シンボル表示と重なった場合にその前記シンボル表示に対応した前記監視対象情報をユーザの視界内に表示する表示制御部と、
を備える情報表示システム。

【請求項2】

前記表示制御部は、ユーザの視界内に捉えた前記監視対象のうちユーザから所定距離以上離れている前記監視対象については、前記照準が前記シンボル表示と重なっている場合であっても前記監視対象情報をユーザの視界内に表示しない、
請求項１に記載の情報表示システム。

【請求項3】

前記表示制御部は、前記照準をユーザの視界内に視認可能に表示する、
請求項１又は２に記載の情報表示システム。

【請求項4】

前記表示制御部は、前記照準が前記シンボル表示と重なってから所定期間経過した後に前記監視対象情報を表示する、
請求項１から３のいずれか一項に記載の情報表示システム。

【請求項5】

前記表示制御部は、ユーザの視界内において前記照準が前記シンボル表示と重なった場合に、その前記照準と重なった前記シンボル表示を、前記照準が重なっていない場合と異なる態様で表示する、
請求項１から４のいずれか一項に記載の情報表示システム。

【請求項6】

前記表示制御部は、ユーザの視界内に不透明な表示領域を表示すると共に、前記表示領域内に前記監視対象情報を表示する、
請求項１から５のいずれか一項に記載の情報表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの頭部に装着するタイプのディスプレイにより、ユーザの視界内に監視対象に関する情報を表示する情報表示システムに関する。

【背景技術】

【0002】

近年、ユーザの頭部に装着可能な頭部装着型ディスプレイいわゆるヘッドマウントディスプレイ（以下、ＨＭＤと称する）を用いて、例えば仮想現実の画像や様々な情報を表示する技術が提案されている。この技術の適用として、例えばロボットや搬送車の作業領域内やその近傍で作業するユーザに対して、そのロボットや搬送車の安全に関する情報を提示するために、その安全に関する情報を、ユーザが装着したＨＭＤに表示することが想定される。これによれば、ユーザは、ティーチィングペンダントやタブレット端末等を覗き込むことなく視線を上げたまま、ロボットや搬送車の安全に関する情報を取得することができるようになるため、安全性の向上が図られる。

【0003】

しかしながら、一般的なＨＭＤの多くは、ユーザの視界と重なる場所に透過型の表示部を配置し、その表示部に各種情報を表示させる構成である。この場合、表示部に表示される情報と、ユーザが表示部を通して見ている実景とが重なることになる。このため、例えばロボットや搬送車が複数存在している場合、その全てのロボットや搬送車の情報をユーザの視界内に同時に表示すると、ユーザの視界が遮られてしまう。更には、ユーザの注意が視界内のロボットや搬送車に向けられていないにもかかわらず、これらロボットや搬送車に関する情報が表示されて視界が塞がれてしまうと、その注意が向けられていないロボットや搬送車と衝突してしまうなどの思わぬ事態に発展する可能性がある。これらの結果、かえって安全性の低下が懸念される場面もある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−２２８２０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は上記事情に鑑みてなされたものであり、その目的は、装着型ディスプレイを用いてユーザに情報を提示するものにおいて、安全な情報提示が可能な情報表示システムを提供することにある。

【課題を解決するための手段】

【0006】

（請求項１）
請求項１の情報表示システムは、監視対象となるロボットの駆動を制御するロボットコントローラと、前記ロボットコントローラから前記ロボットの動作状態及び制御状態を特定可能な情報を取得する安全装置と、ユーザが装着可能であってユーザの視界内に情報を表示可能な装着型ディスプレイと、前記安全装置から前記ロボットに関する情報である監視対象情報を取得可能な監視対象情報取得部と、ユーザの視界を特定するための視界情報を取得する視界情報取得部と、前記視界情報取得部で取得した前記視界情報に基づいてユーザの視界内に存在する監視対象を識別する監視対象識別部と、ユーザの視界内に捉えた前記監視対象について前記監視対象情報が存在している場合に前記監視対象情報の存在を示すシンボル表示をユーザの視界内に表示すると共に、ユーザの視界内に設定された照準がユーザの視界内において前記シンボル表示と重なった場合にその前記シンボル表示に対応した前記監視対象情報をユーザの視界内に表示する表示制御部と、を備える。

【0007】

これによれば、ユーザは、視界内に表示されたシンボル表示を確認することで、自己の視界内に捉えた監視対象について監視対象情報が存在しているか否かを確認することができる。そして、ユーザは、頭部の向きつまり視線を変えて視界を動かし、これにより視界内に設定された照準を視界内においてシンボル表示と重ねることで、そのシンボル表示に対応した監視対象情報を視界内に表示させることができる。つまり、ユーザは、表示させたい監視対象情報に対応したシンボル表示に視線を合わせる動作を行うことで、その監視対象情報を視界内に表示させることができる。このため、視界内に複数の監視対象を捉えている場合であっても、多数の監視対象情報が視界内に同時に表示されて、ユーザの視界が遮られることがない。

【0008】

また、この構成によれば、ユーザが、視線を動かして照準をシンボル表示に重ねるという行為によって視界内の監視対象についての監視対象情報を見ようとする意思を示さない限り、ユーザの視界内にはその視界を占有して塞ぐ監視対象情報は表示されない。そのため、この構成によれば、ユーザの意図とは関係なく、監視対象情報が視界内に表示されて視界が塞がれるという事態を極力回避することができる。

【0009】

更には、ユーザが視線を動かして照準をシンボル表示に重ねることで、必然的にユーザの注意がそのシンボル表示、ひいてはそのシンボル表示に対応した監視対象に向く。そのため、ユーザの注意が、視界内の監視対象に向けられていないにもかかわらず、注意していない監視対象に関する監視対象情報によって視界が塞がれてしまうことを防止できる。したがって、本構成によれば、複数の監視対象情報が表示されることによって視界が埋められてしまったり、ユーザの注意が監視対象に向いていないにもかかわらずその監視対象に係る監視対象情報が表示されてしまったりすることを防止できる。その結果、ユーザの視界を妨げ難く安全性の高い情報提示が可能になる。

【0010】

（請求項３）
請求項３の情報表示システムにおいて、前記表示制御部は、前記照準をユーザの視界内に視認可能に表示する。これによれば、ユーザは、照準とシンボル表示とを目視で確認しながら両者を重ね合わせることができる。したがって、本構成によれば、ユーザは、照準とシンボル表示とを容易に重ね合わせることができ、その結果、操作性が向上する。

【0011】

（請求項４）
ここで、ユーザが監視対象情報を見るために視界を動かしたのではなく、例えば通常の作業に伴って視界が動いてしまった場合に、ユーザが意図していないにもかかわらず、視界内において照準とシンボル表示とが重なってしまうことが想定される。この場合、通常の作業で視界を動かした際に、視界内において照準がシンボル表示を通過して一時的に重なってしまったというだけで、ユーザの意図に反して視界内に監視対象情報が表示されると、かえってユーザの視界を妨げることになる。そこで、請求項４の情報表示システムにおいて、前記表示制御部は、前記照準が前記シンボル表示と重なってから所定期間経過した後に前記監視対象情報を表示する。

【0012】

これによれば、ユーザが、照準とシンボル表示とを所定期間以上重ねて見た場合に限り、つまりユーザが照準とシンボル表示とを重ねるという意図を明確に示した場合に限り、視界内に監視対象情報が表示される。つまり、これによれば、ユーザが意図していないにもかかわらず、視界内において照準がシンボル表示を通過して一時的に重なってしまったというだけで視界内に監視対象情報が表示されることを防ぐことができる。その結果、ユーザの視界を更に妨げ難く、より安全性の高い情報提示が可能になる。

【0013】

（請求項５）
請求項５の情報表示システムにおいて、前記表示制御部は、ユーザの視界内において前記照準が前記シンボル表示と重なった場合に、その前記照準と重なった前記シンボル表示を、前記照準が重なっていない場合と異なる態様で表示する。これによれば、ユーザは、シンボル表示の表示態様が変化するか否かを見ることで、照準がシンボル表示と重なっているか否かを確認することができる。

【0014】

すなわち、監視対象情報が表示される前の場面を想定すると、ユーザは、シンボル表示の表示態様の変化を見ることで、照準がシンボル表示と重なっているかを目視で確認することができる。また、視界内に複数の監視対象を捉えている場合、ユーザは、表示態様が変化しているシンボル表示を見ることで、自分がどのシンボル表示に対応した監視対象情報を見ようとしているのかを目視で確認することができる。

【0015】

更に、監視対象情報が表示された後の場面を想定すると、視界内に複数の監視対象を捉えている場合、表示されている監視対象情報に対応したシンボル表示は、監視対象情報が表示されていない他のシンボル表示と異なる態様で表示されていることになる。このため、ユーザは、視界内に複数の監視対象を捉えており視界内に複数のシンボル表示が表示されている場合であっても、他と異なる態様で表示されているシンボル表示を見ることで、現在表示されている監視対象情報が視界内のどのシンボル表示に対応したものであるかを一見して確認することができる。これらの結果、ユーザの確認がし易くなり、更に安全性の高い情報提示が可能になる。

【0016】

（請求項６）
請求項６の情報表示システムにおいて、前記表示制御部は、ユーザの視界内に不透明な表示領域を表示すると共に、前記表示領域内に前記監視対象情報を表示する。これによれば、不透明な表示領域内に監視対象情報を表示することで、表示領域内に表示された監視対象情報が、表示領域の後ろの実景に紛れ込む事を防ぐことができる。したがって、監視対象情報をより見易くすることができ、その結果、より安全性の高い情報提示が可能になる。

【0017】

（請求項２）
ここで、例えばユーザが移動する際には目標地点である遠方を見ていることが多いが、遠方にある監視対象は視界内において小さく映っているため、その移動中のユーザが監視対象自体を注視している可能性は低い。しかしながら、目標地点を見ながら移動しているユーザが、視線を動かした際に意図せずに照準が遠方の監視対象に対応したシンボル表示と重なってしまうことも想定される。この場合、ユーザの意図に反して、視界内に監視対象情報が表示されると、移動中のユーザの視界が塞がることになるため、かえって安全性の低下が懸念される。

【0018】

そこで、請求項２の情報表示システムにおいて、前記表示制御部は、ユーザの視界内に捉えた前記監視対象のうちユーザから所定距離以上離れている前記監視対象については、前記照準が前記シンボル表示と重なっている場合であっても前記監視対象情報をユーザの視界内に表示しない。

【0019】

これによれば、例えば移動中のユーザの視界内において、照準が、偶然にも遠方にある監視対象に対応したシンボル表示と重なってしまった場合であっても、視界内にそのシンボル表示に対応する監視対象情報は表示されない。又は、表示制御部は、監視対象が遠方に存在している場合には、シンボル表示自体を表示させない。このため、照準がシンボル表示に重なることもなく、したがって遠方の監視対象に関する監視対象情報も視界内に表示されない。これらの結果、例えば移動中のユーザが視界内に遠方の監視対象を捉えた場合であっても、その遠方の監視対象については監視対象情報が表示されることがない。したがって、移動中のユーザの視界が塞がることを低減することができ、その結果、更なる安全性の向上が図られる。

【図面の簡単な説明】

【0020】

【図1】一実施形態による情報表示システムの概略構成を模式的に示す図

【図2】一実施形態による情報表示システムの電気的構成を模式的に示すブロック図

【図3】一実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、視界内に監視対象を捉えた場合を示す図

【図4】一実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、視界内において照準と第１シンボル表示とを重ねた状態を示す図

【図5】一実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、視界内に第１監視対象情報が表示された状態を示す図

【図6】一実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、視界内において照準と第２シンボル表示とを重ねた状態を示す図

【図7】一実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、視界内に第２監視対象情報が表示された状態を示す図

【図8】一実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、視界内に遠方の監視対象を捉えた場合を示す図

【図9】一実施形態について、ディスプレイ制御装置の制御部で実行される処理内容を示すフローチャート

【発明を実施するための形態】

【0021】

以下、一実施形態について図面を参照しながら説明する。
図１及び図２に示すように、情報表示システム１０は、監視対象である少なくとも１台この場合２台のロボット１１と、各ロボット１１に対応して設けられたロボットコントローラ１２と、安全装置１３と、いわゆるヘッドマウントディスプレイと称される頭部装着型ディスプレイ２０（以下、ＨＭＤ２０と称する）と、ディスプレイ制御装置３０と、を含んで構成されている。

【0022】

以下の説明において、これら２台のロボット１１を区別する際には、第１ロボット１１１及び第２ロボット１１２と称する。また、第１ロボットロボット１１１及び第２ロボット１１２に対応するロボットコントローラ１２を、それぞれ第１ロボットコントローラ１２１及び第２ロボットコントローラ１２２と称する。

【0023】

ロボット１１は、例えば６軸の垂直多関節型ロボットで構成されている。一般的な構成につき詳しい説明は省略するが、ロボット１１は、サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。ロボット１１は、ロボットコントローラ１２に図示しない接続ケーブルを介して接続される。各軸のサーボモータは、このロボットコントローラ１２により制御される。

【0024】

各ロボットコントローラ１２は、それぞれ安全装置１３に通信可能に接続されている。安全装置１３は、ロボットコントローラ１２側からロボット１１の動作状態及びロボットコントローラ１２による制御状態を特定可能な各種の情報を取得可能に構成されている。そのため、安全装置１３は、ロボット１１のアームの回転角度やモータの通電状態等、ロボット１１の動作状態を示す動作情報、及びロボットコントローラ１２の制御状態を示す制御情報をリアルタイムで取得することができる。

【0025】

また、安全装置１３は、各ロボットコントローラ１２から取得した各ロボット１１の情報に基づいて、ロボット１１の現在の形態つまり姿勢を３次元的にモデリングした３Ｄモデル画像データを生成することができる。また、安全装置１３は、各ロボット１１が設置されている領域、例えば工場内における基準位置を原点とした２次元座標系における各ロボット１１の座標つまりはロボット１１の設置位置も記憶している。

【0026】

ＨＭＤ２０は、ユーザの頭部に装着可能な形態に構成されており、ユーザの視界内に各種情報を表示させることができる。ＨＭＤ２０は、両目を覆う両眼型、又は一方の目のみを覆う単眼型のいずれでも良いが、本実施形態は、ユーザの視界を奪い易い両眼型により適している。また、ＨＭＤ２０の形状は、眼鏡のように装着する眼鏡型や帽子のように装着する帽子型などが想定されるが、いずれも形状であっても良い。本実施形態のＨＭＤ２０は、眼鏡型を想定している。

【0027】

ＨＭＤ２０は、図２にも示すように、表示部２１及びカメラ２２を有している。表示部２１は、ユーザ９０がＨＭＤ２０を装着した状態において、そのユーザの視界と重なる位置に設けられている。本実施形態の場合、表示部２１は、眼鏡のレンズ部分に相当する部分であり、画像などの情報を表示することができるいわゆる透過型のディスプレイで構成されている。このため、ＨＭＤ２０に表示される画像は、ユーザの視界に重なって表示されることになる。換言すると、ユーザは、自身の目で見た現実の風景と、ＨＭＤ２０によって表示された仮想的な画像とを併せて見ることになる。

【0028】

カメラ２２は、小型のＣＣＤカメラやＣＭＯＳカメラで構成されており、ＨＭＤ２０に一体的に取り付けられている。このカメラ２２は、ユーザの顔の向きと一致するように、ＨＭＤ２０のフレームの一側部に設けられている。カメラ２２は、図１に示すように、ユーザ９０がＨＭＤ２０を頭部に装着した状態で、ユーザ９０の頭部正面が向いている方向の画像を撮像する。そのため、カメラ２２によって撮像される画像は、ユーザ９０の視界とほぼ同一の画角となっている。換言すると、カメラ２２は、ユーザ９０が見ている風景とほぼ同一の風景を撮像する。

【0029】

なお、表示部２１は、透過型のディスプレイに限られず、非透過型のディスプレイで構成しても良い。この場合、ＨＭＤ２０は、カメラ２２で撮影した画像をリアルタイムで表示部２１に表示させることで、カメラ２２が撮影した風景をユーザに対し仮想的に提示、すなわちユーザの視界を表示部２１に再現すれば良い。また、ＨＭＤ２０は、表示部２１を有するものに限られず、仮想的な画像をユーザの網膜に直接投影する網膜投影型であっても良い。

【0030】

ＨＭＤ２０は、ディスプレイ制御装置３０に無線又は有線で接続されている。なお、ディスプレイ制御装置３０は、ＨＭＤ２０と一体に構成されていても良い。図２に示すように、ディスプレイ制御装置３０は、マイクロコンピュータ等で構成された制御部３１を内蔵しており、ＨＭＤ２０の表示部２１に表示する画像データを送信したり、カメラ２２により撮影された画像データを受信したりする。また、ディスプレイ制御装置３０は、安全装置１３と有線又は無線通信が可能となっている。

【0031】

図２に示すように、ディスプレイ制御装置３０は、制御部３１の他、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、及び表示制御部３５を有している。制御部３１は、例えばＣＰＵ３１１や、ＲＯＭ、ＲＡＭ、及び書き換え可能なフラッシュメモリなどの記憶領域３１２を有するマイクロコンピュータを主体に構成されており、ＨＤＭ２０の全体の制御を司っている。

【0032】

記憶領域３１２は、情報表示プログラムを記憶している。制御部３１は、ＣＰＵ３１１において情報表示プログラムを実行することにより、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、及び表示制御部３５等を、ソフトウェア的に実現する。なお、これら監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、及び表示制御部３５は、例えば制御部３１と一体の集積回路としてハードウェア的に実現してもよい。

【0033】

監視対象情報取得部３２は、安全装置１３から、監視対象である各ロボット１１に関する情報として、監視対象情報をリアルタイムで取得することがでる。監視対象情報は、各ロボット１１の動作によって随時変化する情報等によって構成されている。例えば監視対象情報は、上述した３Ｄモデル画像データを含む各ロボット１１の動作状態を示す動作情報や、コントローラ１２の制御状態を示す制御情報を含んでいる。また、監視対象情報は、例えばユーザに対してロボット１１に関する警告や注意を提示するための警告注意情報等を含んでいる。

【0034】

また、監視対象情報取得部３２は、監視対象である各ロボット１１について、各ロボット１１とユーザ９０との距離を取得することができる。監視対象情報取得部３２は、例えば各ロボット１１の位置情報と、ユーザ９０の位置情報とに基づいて、各ロボット１１とユーザ９０との距離を取得することができる。ユーザ９０の位置情報は、ユーザ９０に装着されるＨＭＤ２０又はユーザ９０に携帯されるディスプレイ表示装置３０に小型のＧＰＳ（Global Positioning System）を設けることで取得することができる。また、ユーザ９０の位置情報は、ＧＰＳユニットのように直接的に位置を特定するものではなく、例えば工場の入り口等の基準位置からのユーザ９０の移動軌跡を取得し、基準位置に対する変位量に基づいて間接的に位置を特定するような構成としてもよい。

【0035】

視界情報取得部３３は、ＨＭＤ２０を装着したユーザ９０の視界を特定するための視界情報を取得する処理を行うことができる。ユーザ９０の視界とは、ユーザ９０がＨＭＤ２０を装着した状態においてユーザ９０の目に映る風景を意味する。本実施形態の場合、ユーザ９０の視界とは、眼鏡のレンズ部分である表示部２１を通してユーザ９０の目に映る風景を意味する。視界情報取得部３３は、例えばカメラ２２で撮像した画像から、ユーザ９０の視界情報を取得する。本実施形態では、例えば図３等に示すように、カメラ２２の撮像範囲２２１及び表示部２１の領域を、ユーザ９０の視界９１と擬制している。

【0036】

図２に示す監視対象識別部３４は、視界情報取得部３３で取得した視界情報に基づいて、ユーザ９０の視界９１内に存在する監視対象１１を識別する処理を行うことができる。監視対象識別部３４は、例えば次のようにして監視対象１１を識別することができる。すなわち、例えば各監視対象１１に、それぞれ個体を特定するためのマーカーを付しておく。そして、監視対象識別部３４は、カメラ２２で撮像された画像を基に監視対象１１に付されたマーカーを認識することで、各監視対象１１を識別することができる。

【0037】

表示制御部３５は、図３に示すように、ユーザ９０の視界９１内に捉えた監視対象１１について監視対象情報が存在している場合、つまり視界９１内に捉えた監視対象１１について監視対象情報取得部３２で監視対象情報を取得している場合には、監視対象情報の存在を示すシンボル表示４１をユーザ９０の視界９１内に表示する。例えば図３の例において、視界９１内に捉えられた２台のロボット１１１、１１２のそれぞれが監視対象情報を有しているとする。この場合、表示制御部３５は、各ロボット１１１、１１２に対応した２つのシンボル表示４１１、４１２を視界９１内に表示する。

【0038】

なお、以下の説明において、これら２つのシンボル表示４１１、４１２を区別する際には、第１ロボット１１１に対応するものを第１シンボル表示４１１と称し、第２ロボット１１２に対応するものを第２シンボル表示４１２と称する。表示制御部３５は、各シンボル表示４１を、各監視対象１１から吹き出されたような図形として各監視対象１１の近傍に表示する。また、表示制御部３５は、複数のシンボル表示４１を同時に表示する場合、各シンボル表示４１が相互に重ならないように表示する。

【0039】

ここで、シンボル表示４１とは、監視対象１１に関する監視対象情報が存在していることを示す表示である。シンボル表示４１は、ユーザに与える情報量を極力少なくするため、３文字以上の文字列を有さない図記号で構成されている。本実施形態の場合、シンボル表示４１は、例えばＩＳＯ７０１０で照準化された一般危険を示すマークに準じており、例えば吹出し図形の内部に「！」の記号を付した図記号で構成されている。なお、シンボル表示４１は、この図記号に限られない。例えば、「注」や「警」の１文字、又は「注意」や「警告」の２文字の文字列を有する構成であってもよい。

【0040】

図３等に示すように、ユーザ９０の視界９１内には、照準５１が設定されている。照準５１は、ユーザ９０の視界９１内においてユーザ９０の視線の先を仮想的に示すものである。本実施形態の場合、照準５１は、視界９１内において特定の場所、例えば視界９１の上下方向及び左右方向の中心部に設定されており、視認可能な例えば十字の図形で構成されている。

【0041】

照準５１は、ユーザ９０の頭部の向きに対して相対的に固定されている。すなわち、ユーザ９０の頭部の向きが変化しても、視界９１内における照準５１の位置は変化しない。照準５１は、例えば表示部２１に予め物理的に印刷されたものでも良いし、表示制御部３５によって表示部２１に表示されたものでも良い。また、照準５１は、視界９１内における特定箇所に規定しておけば、必ずしも視界９１内に視認可能に表示する必要はない。

【0042】

ユーザ９０は、視界９１内に捉えたロボット１１１、１１２のうち例えば第１ロボット１１１の監視対象情報４２１を確認したい場合、図４に示すように、第１ロボット１１１に対応した第１シンボル表示４１１に視線を向けて、視界９１内において照準５１と第１シンボル表示４１１とが重なるように視界９１を動かす。すると、表示制御部３５は、まず、照準５１と重なった第１シンボル表示４１１を、照準５１が重なっていない場合に対して色やサイズを変えるなどして異なる態様で表示する。これにより、ユーザ９０は、照準５１によって第１シンボル表示４１１を捉えていることがわかる。

【0043】

照準５１が第１シンボル表示４１１と重なってから所定期間経過すると、表示制御部３５は、図５に示すように、視界９１内に、第１ロボット１１１に対応した第１監視対象情報４２１を表示する。これにより、ユーザ９０は、第１ロボット１１１に関する第１監視対象情報４２１を確認することができる。なお、この場合、所定期間は、例えば１〜３秒程度であるが、ユーザの任意に設定しても良い。

【0044】

同様に、ユーザ９０は、図３の状態において、視界９１内に捉えたロボット１１１、１１２のうち第２ロボット１１２の監視対象情報４２２を確認したい場合、図６に示すように、第２ロボット１１２に対応した第２シンボル表示４１２に視線を向けて、視界９１内において照準５１と第２シンボル表示４１２とが重なるように視界９１を動かす。すると、表示制御部３５は、まず、照準５１と重なった第２シンボル表示４１２を、照準５１が重なっていない場合に対して色やサイズを変えるなどして異なる態様で表示する。これにより、ユーザ９０は、照準５１によって第２シンボル表示４１２を捉えていることがわかる。

【0045】

照準５１が第２シンボル表示４１２と重なってから所定期間例えば上述したように１〜３秒程度経過すると、表示制御部３５は、図７に示すように、視界９１内に、第２ロボット１１２に対応した第２監視対象情報４２２を表示する。これにより、上述した第１監視対象情報４２１の場合と同様に、ユーザ９０は、第２ロボット１１２に関する第２監視対象情報４２２を確認することができる。

【0046】

監視対象情報４２を表示する際、表示制御部３５は、図５及び図７に示すように、ユーザ９０の視界９１内に不透明な表示領域２１１を表示し、その不透明な表示領域２１１内に、監視対象情報４２を構成する文字情報や数字、図形、記号情報を表示する。本実施形態の場合、表示制御部３５は、表示領域２１１内を、例えば監視対象情報４２とは反対色で不透明に表示することで、表示領域２１１の後ろの実景を覆い隠している。これにより、表示領域２１１内に表示された監視対象情報４２が、表示領域２１１の後ろの実景に紛れ込む事を防ぐことができるため、監視対象情報４２が見易くなる。なお、表示領域２１１は、監視対象情報４２を表示させるための領域であるため、表示制御部３５は、表示領域２１１を示す枠及び表示領域２１１内を、必ずしも表示部２１に表示する必要はない。

【0047】

また、図８に示すように、監視対象情報取得部３２から取得した視界９１内の各ロボット１１からユーザ９０までの距離が所定以上離れていている場合、表示制御部３５は、次の処理を行う。すなわち、この場合、表示制御部３５は、照準５１が、例えば遠方にある第１ロボット１１１に対応する第１シンボル表示４１１と重なっている場合であっても、照準５１と重なった第１シンボル表示４１１に対応した第１ロボット１１１についての監視対象情報をユーザ９０の視界９１内に表示しない。

【0048】

制御表示部３５は、上記の処理に換えて、次のような処理を行っても良い。すなわち、制御表示部３５は、各ロボット１１からユーザ９０までの距離が所定以上離れていている場合、そもそも各ロボット１１についてのシンボル表示４１をユーザ９０の視界９１内に表示しないようにしても良い。

【0049】

次に、ディスプレイ制御装置３０の制御部３１において行われる制御フローについて、図９も参照して説明する。制御部３１は、情報表示プログラムを実行すると、図８に示す制御フローを実行する。制御部３１は、まず、ステップＳ１１において、監視対象情報取得部３２、視界情報取得部３３、及び監視対象識別部３４の処理により、視界９１内に捉えた監視対象１１について、視界９１内に表示すべき監視対象情報４２が存在しているか否かを判断する。なお、監視対象１１について監視対象情報４２の取得が無い場合とは、例えば監視対象１１の電源が落とされて動作が停止している場合、すなわち監視対象１１に接近しても危険が無い場合等である。

【0050】

視界９１内に捉えた監視対象１１について、視界９１内に表示すべき監視対象情報４２が存在していない場合（ステップＳ１１でＮＯ）、制御部３１は、ステップＳ１１へ処理を戻す。一方、視界９１内に捉えた監視対象１１について、視界９１内に表示すべき監視対象情報４２が存在している場合（ステップＳ１１でＹＥＳ）、制御部３１は、ステップＳ１２へ処理を移行する。

【0051】

次に、制御部３１は、表示制御部３５の処理により、視界９１内に捉えた各監視対象１１について、視界９１内にシンボル表示４１を表示する。次に、ステップＳ１３において、制御部３１は、視界９１内において照準５１と重なっているシンボル表示４１があるか否かを判断する。照準５１が、視界９１内に表示されたシンボル表示４１のいずれとも重なっていない場合（ステップＳ１３でＮＯ）、制御部３１は、ステップＳ１１へ処理を戻し、ステップＳ１１以降を繰り返す。

【0052】

一方、照準５１が、視界９１内に表示されたシンボル表示４１のいずれかと重なっている場合（ステップＳ１３でＹＥＳ）、制御部３１は、ステップＳ１４へ処理を移行する。ステップＳ１４において、制御部３１は、監視対象情報取得部３２の処理により、照準５１が重なったシンボル表示４１に対応する監視対象１１からユーザ９０までの距離を取得する。そして、制御部３１は、表示制御部３５の処理により、照準５１が重なったシンボル表示４１に対応する監視対象１１からユーザ９０までの距離が所定距離以下であるか否かを判断する。ユーザ９０から監視対象１１までの距離が所定距離を超えている場合（ステップＳ１４でＮＯ）、制御部３１は、ステップＳ１１へ処理を戻し、ステップＳ１１以降を繰り返す。

【0053】

一方、ユーザ９０から監視対象１１までの距離が所定距離以下である場合（ステップＳ１４でＹＥＳ）、制御部３１は、ステップＳ１５へ処理を移行する。制御部３１は、ステップＳ１５において、表示制御部３５の処理により、照準５１が重なっているシンボル表示４１を、照準５１が重なっていない場合と例えば色やサイズを変える等して異なる態様で表示する。

【0054】

次に、制御部３１は、ステップＳ１６において、ステップＳ１５を実行してから所定期間が経過したか否か、すなわち、照準５１と同一のシンボル表示４１とが所定期間連続して重なっていたか否かを判断する。所定期間連続して重なっていなかった場合（ステップＳ１６でＮＯ）、制御部３１は、ステップＳ１１へ処理を戻し、ステップＳ１１以降を繰り返す。一方、照準５１と同一のシンボル表示４１とが所定期間連続して重なっていた場合（ステップＳ１６でＹＥＳ）、制御部３１は、ステップＳ１７へ処理を移行する。そして、制御部３１は、表示制御部３５の処理により、照準５１が重ねられたシンボル表示４１に対応した監視対象情報４２をユーザ９０の視界９１内に表示する。

【0055】

そして、制御部３１は、ステップＳ１１へ処理を戻し、ステップＳ１１以降を繰り返す。なお、監視対象情報４２の表示は、例えば現在視界９１内に表示されている監視対象情報４２に対応したシンボル表示４１から照準５１が外されるまで、又は監視対象情報４２が表示されてから予め設定された所定期間経過まで、表示される。

【0056】

以上説明した実施形態によれば、情報表示システム１０において、表示制御部３５は、ユーザ９０の視界９１内に捉えた監視対象１１について、監視対象情報４２が存在している場合に監視対象情報４２の存在を示すシンボル表示４１をユーザ９０の視界９１内に表示する。そして、表示制御部３５は、ユーザ９０の視界９１内に設定された照準５１が、ユーザ９０の視界９１内においてシンボル表示４１と重なった場合に、そのシンボル表示４１に対応した監視対象情報４２をユーザ９０の視界９１内に表示する。

【0057】

これによれば、ユーザ９０は、視界９１内に表示されたシンボル表示４１を確認することで、自己の視界９１内に捉えた監視対象１１について監視対象情報４２が存在しているか否かを確認することができる。そして、ユーザ９０は、頭部の向きつまり視線を変えて視界９１を動かし、これにより視界９１内に設定された照準５１を視界９１内においてシンボル表示４１と重ねることで、そのシンボル表示４１に対応した監視対象情報４２を視界９１内に表示させることができる。このため、視界９１内に複数の監視対象１１を捉えている場合であっても、多数の監視対象情報４２が視界９１内に同時に表示されて、ユーザ９０の視界９１が遮られることがない。したがって、これによれば、視界９１内に複数の監視対象１１を捉えた場合であっても、視界９１内に表示される監視対象情報４２が視界９１を妨げないようにすることができ、その結果、ユーザ９０の視界９１を妨げ難い情報提示が可能になる。

【0058】

また、表示制御部３５は、照準５１をユーザ９０の視界９１内に視認可能に表示する。これによれば、ユーザ９０は、照準５１とシンボル表示４１と目視で確認しながら両者を重ね合わせることができる。したがって、これによれば、ユーザは、照準５１とシンボル表示４１と容易に重ね合わせることができ、その結果、操作性が向上する。

【0059】

ここで、ユーザ９０が監視対象情報４２を見るために視界９１を動かしたのではなく、例えば通常の作業に伴って視界９１が動いてしまった場合に、ユーザ９０が意図していないにもかかわらず、視界９１内において照準５１とシンボル表示４１とが重なってしまうことが想定される。この場合、通常の作業で視界９１を動かした際に、視界９１内において照準５１がシンボル表示４１を通過して一時的に重なってしまったというだけで、ユーザ９０の意図に反して視界９１内に監視対象情報４２が表示されると、かえってユーザ９０の視界９１を妨げることになる。そこで、本実施形態において、表示制御部３５は、照準５１がシンボル表示４１と重なってから例えば１〜３秒程度の所定期間を経過した後に、視界９１内に監視対象情報４２を表示する。

【0060】

これによれば、ユーザ９０が、照準５１とシンボル表示４１とを所定期間以上重ねて見た場合に限り、つまりユーザ９０が照準５１とシンボル表示４１とを重ねるという意図を明確に示した場合に限り、視界９１内に監視対象情報４２が表示される。つまり、これによれば、ユーザ９０が意図していないにもかかわらず、視界９１内において照準５１がシンボル表示４１を通過して一時的に重なってしまったというだけで視界９１内に監視対象情報４２が表示されることを防ぐことができる。その結果、ユーザ９０の視界９１を更に妨げ難く、より安全性の高い情報提示が可能になる。

【0061】

また、表示制御部３５は、ユーザ９０の視界９１内において照準５１がシンボル表示４１と重なった場合に、その照準５１と重なったシンボル表示４１を、照準５１が重なっていない場合と異なる態様で表示する。これによれば、ユーザ９０は、シンボル表示４１の表示態様が変化するか否かを見ることで、照準５１がシンボル表示４１と重なっているか否かを確認することができる。

【0062】

すなわち、例えば図４又は図６に示すように、監視対象情報４２が表示される前の場面を想定すると、ユーザ９０は、シンボル表示４１の表示態様の変化を見ることで、照準５１がシンボル表示４１と重なっているかを目視で確認することができる。また、視界９１内に複数の監視対象１１を捉えている場合、ユーザ９０は、表示態様が変化しているシンボル表示４１を見ることで、自分がどのシンボル表示４１に対応した監視対象情報４２を見ようとしているのかを目視で確認することができる。

【0063】

更に、図５又は図７に示すように、監視対象情報４２が表示された後の場面を想定すると、視界９１内に複数の監視対象１１を捉えている場合、例えば図５の例では、視界９１内に表示されている第１監視対象情報４２１に対応した第１シンボル表示４１１は、第２監視対象情報４２２が表示されていない第２シンボル表示４１２とは異なる態様で表示されている。

【0064】

このため、ユーザ９０は、視界９１内に複数の監視対象１１を捉えており視界９１内に複数のシンボル表示４１が表示されている場合であっても、他と異なる態様で表示されているシンボル表示４１を見ることで、現在表示されている監視対象情報４２が視界９１内のどのシンボル表示４１に対応したものであるかを一見して確認することができる。これらの結果、ユーザ９０の確認がし易くなり、更に安全性の高い情報提示が可能になる。

【0065】

また、表示制御部３５は、ユーザ９０の視界９１内に不透明な表示領域２１１を表示すると共に、表示領域２１１内に監視対象情報４２を表示する。これによれば、不透明な表示領域２１１内に監視対象情報４２を表示することで、表示領域２１１内に表示された監視対象情報４２が、表示領域２１１の後ろの実景に紛れ込む事を防ぐことができる。したがって、監視対象情報４２をより見易くすることができ、その結果、より安全性の高い情報提示が可能になる。

【0066】

ここで、例えばユーザ９０が移動する際には目標地点である遠方を見ていることが多いが、例えば図８に示すように遠方にある監視対象１１は視界９１内において小さく映っているため、その移動中のユーザ９０が監視対象１１自体を注視している可能性は低い。しかしながら、目標地点を見ながら移動しているユーザ９０が、視線を動かした際に意図せずに照準５１が遠方の監視対象１１に対応したシンボル表示４１と重なってしまうことも想定される。この場合、ユーザ９０の意図に反して、視界９１内に監視対象情報４２が表示されると、移動中のユーザ９０の視界が塞がることになるため、かえって安全性の低下が懸念される。

【0067】

そこで、本実施形態において、表示制御部３５は、ユーザ９０の視界９１内に捉えた監視対象１１のうちユーザ９０から所定距離以上離れている監視対象１１については、照準５１がシンボル表示４１と重なっている場合であっても監視対象情報４２をユーザ９０の視界９１内に表示しない。これによれば、図８に示すように、例えば移動中のユーザ９０の視界９１内において、照準５１が、偶然にも遠方にある監視対象１１に対応したシンボル表示４１と重なったしまった場合であっても、視界９１内にそのシンボル表示４１に対応する監視対象情報４２は表示されない。

【0068】

これによれば、図８に示すように、例えば移動中のユーザ９０の視界９１内において、照準５１が、偶然にも遠方にある監視対象１１に対応したシンボル表示４１と重なってしまった場合であっても、視界９１内にそのシンボル表示４１に対応する監視対象情報４２は表示されない。この結果、例えば移動中のユーザ９０が視界９１内の遠方に監視対象１１を捉えた場合であっても、その遠方の監視対象１１については監視対象情報４２が表示されることがない。したがって、移動中のユーザ９０の視界９１が塞がることを低減することができ、その結果、更なる安全性の向上が図られる。

【0069】

また、表示制御部３５は、ユーザ９０の視界９１内に捉えた監視対象１１のうちユーザ９０から所定距離以上離れている監視対象１１についてのシンボル表示４１をユーザ９０の視界９１内に表示しないようにしても良い。これによっても、上記と同様に、例えば移動中のユーザ９０が視界９１内の遠方に監視対象１１を捉えた場合であっても、その遠方の監視対象１１については監視対象情報４２が表示されることがない。したがって、移動中のユーザ９０の視界９１が塞がることを低減することができ、その結果、上記と同様に更なる安全性の向上が図られる。

【0070】

なお、本発明の実施形態は、上記し又図面に記載した態様に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形や拡張をすることができる。
例えば制御部３１、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、及び表示制御部３５を、それぞれ安全装置１３側又はＨＭＤ２０側に分散させて設けても良い。
ロボット１１は、特定の場所に固定されているものに限られず、例えば自走可能な構成であってもよい。更に、監視対象１１は、ロボットに限られず、例えばフォークリフト等のように人が運転する有人搬送車や、自動で走行可能な無人搬送車等の移動体等であっても良い。

【符号の説明】

【0071】

図面中、１０は情報表示システム、１１はロボット（監視対象）、２０はヘッドマウントディスプレイ（装着型ディスプレイ）、３２は監視対象情報取得部、３３は視界情報取得部、３４は監視対象識別部、３５は表示制御部、４１はシンボル表示、４２は監視対象情報、５１は照準、を示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】