特開 2022-178866 ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022178866

(43)【公開日】2022-12-02

(54)【発明の名称】ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体

(51)【国際特許分類】

   G09G 5/00 20060101AFI20221125BHJP

   G09G 5/38 20060101ALI20221125BHJP

   G09G 5/36 20060101ALI20221125BHJP

   G06F 3/0484 20220101ALI20221125BHJP

【ＦＩ】

G09G5/00 550C

G09G5/38 Z

G09G5/36 520E

G09G5/00 530T

G09G5/00 550X

G06F3/0484

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021085965

(22)【出願日】2021-05-21

(71)【出願人】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】久世 武知

【テーマコード（参考）】

5C182

5E555

【Ｆターム（参考）】

5C182AA02

5C182AA03

5C182AA22

5C182AA31

5C182AB35

5C182AC02

5C182AC03

5C182AC38

5C182BA01

5C182BA03

5C182BA56

5C182CB26

5C182CB41

5C182CB52

5C182CC21

5E555AA07

5E555AA25

5E555BA01

5E555BA38

5E555BB01

5E555BB38

5E555BC01

5E555BE17

5E555CA17

5E555CB65

5E555DA08

5E555DA09

5E555DB53

5E555DC09

5E555DC13

5E555DC14

5E555DD01

5E555FA00

(57)【要約】

【課題】主要コンテンツに加え付加的コンテンツをディスプレイ上に表示した時、付加的コンテンツが、ユーザが意図しない位置に表示、また、邪魔に感じる可能性がある。
【解決手段】ポップアップ表示制御装置１０は、主要情報に基づく画像が表示される表示画面上における利用者の視線位置を示す視線位置情報と、利用者の視線位置と盲点の位置との関係を示す盲点設定情報とから表示画面上における利用者の盲点の位置を検出する検出部１１と、検出部により検出された表示画面上の利用者の盲点の位置に、主要情報に基づく画像に対する付加情報に基づく画像をポップアップとして表示させる付加情報表示制御部１２とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

主要情報に基づく画像が表示される表示画面上における利用者の視線位置を示す視線位置情報と、前記利用者の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の盲点の位置を検出する検出部と、
前記検出部により検出された前記表示画面上の前記利用者の盲点の位置に、前記主要情報に基づく画像に対する付加情報に基づく画像をポップアップとして表示させる付加情報表示制御部と、
を備えるポップアップ表示制御装置。

【請求項2】

前記ポップアップとして表示させる付加情報は簡略情報と詳細情報の２種類があり、
付加情報表示制御部は、前記簡略情報に基づく画像をポップアップとして表示させる簡略情報表示制御部と、前記詳細情報に基づく画像を前記簡略情報に基づく画像に替えてポップアップとして表示させる詳細情報表示制御部を有する
請求項１に記載のポップアップ表示制御装置。

【請求項3】

前記簡略情報表示制御部は、表示させる簡略情報に基づく画像としてのポップアップの大きさは、前記利用者の盲点の大きさの範囲内に収まる大きさである請求項２に記載のポップアップ表示制御装置。

【請求項4】

前記検出部により検出される前記表示画面上の前記利用者の盲点の位置は、前記利用者の利き目の盲点の位置である請求項１から請求項３のいずれか１項に記載のポップアップ表示制御装置。

【請求項5】

前記検出部により検出される前記表示画面上の前記利用者の盲点の位置は、前記利用者の利き目の盲点の位置であり、
前記付加情報表示制御部は、前記検出部からの前記利用者の利き目でない目の視線位置情報による前記表示画面上における視線位置が、前記検出部からの前記利用者の利き目の盲点の位置情報による前記表示画面上における前記利用者の利き目の盲点の位置に移動すると、前記簡略情報表示制御部による簡略情報に基づく画像であるポップアップを前記詳細情報表示制御部による詳細情報に基づく画像であるポップアップへ切り替えて表示させる、
請求項２又は請求項３に記載のポップアップ表示制御装置。

【請求項6】

請求項１から請求項５のいずれか１項に記載のポップアップ表示制御装置と、盲点設定部と、コンテンツ格納部と備え、
前記盲点設定部は、前記利用者の視線位置を示す視線位置情報と前記利用者の盲点の位置を示す位置情報を受け、前記利用者の視線位置と盲点の位置との関係を示す盲点設定情報を生成する設定部と、前記設定部で生成された前記利用者の盲点設定情報を記憶し、前記ポップアップ表示制御装置の検出部により前記利用者の盲点設定情報が読みだされる記憶部とを有し、
前記コンテンツ格納部は、前記主要情報に対する作業支援を示す付加情報を記憶し、前記ポップアップ表示制御装置の付加情報表示制御部により記憶された付加情報が読みだされる、
作業支援装置。

【請求項7】

請求項６に記載の作業支援装置と、表示装置と、視線検知装置と、指示装置とを備え、
前記表示装置は、前記主要情報に基づく画像及び前記付加情報に基づく画像が表示される前記表示画面を有し、
前記視線検知装置は、前記表示装置の前記表示画面における利用者が見ている視線位置を検出し、当該検出した前記表示画面上における前記利用者の視線位置を示す視線位置情報を前記作業支援装置におけるポップアップ表示制御装置の検出部に出力し、
前記指示装置は、前記利用者の視線位置を示す視線位置情報と前記利用者の盲点の位置を示す位置情報を前記作業支援装置における盲点設定部に出力する、
作業支援システム。

【請求項8】

検出部が、主要情報に基づく画像が表示される表示画面上における前記利用者の視線位置を示す視線位置情報と、前記利用者の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の盲点の位置を検出するステップと、
付加情報表示制御部が、前記検出部により検出された前記表示画面上の前記利用者の盲点の位置に、前記主要情報に基づく画像に対する付加情報に基づく画像をポップアップとして表示させるステップと、
を備えたポップアップ表示方法。

【請求項9】

検出部が、主要情報に基づく画像が表示される表示画面上における前記利用者の利き目の視線位置を示す視線位置情報と、前記利用者の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の利き目の盲点の位置を検出するステップと、
付加情報表示制御部の簡略情報表示制御部が、前記検出部により検出された前記表示画面上の前記利用者の利き目の盲点の位置に、前記主要情報に基づく画像に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させるステップと、
前記検出部が、前記表示画面上における前記利用者の利き目でない目の視線位置が、前記表示画面上における前記利用者の利き目の盲点の位置に移動されたことを検出すると、前記付加情報に基づく画像の切り替えを指示するステップと、
前記付加情報表示制御部の詳細情報表示制御部が、前記付加情報に基づく画像の切り替えの指示を受けると、前記検出部により検出された前記表示画面上の前記利用者の利き目の盲点の位置に、前記簡略情報に基づく画像であるポップアップに替えて前記主要情報に基づく画像に対する付加情報の内の詳細情報に基づく画像をポップアップとして表示させるステップと、
を備えるポップアップ表示方法。

【請求項10】

主要情報が表示される表示画面上における利用者の利き目の視線位置と、前記利用者の利き目の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の利き目の盲点の位置を検出する手順と、
前記表示画面上の前記利用者の利き目の盲点の位置に、前記主要情報に基づく画像に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させる手順と、
前記表示画面上における前記利用者の利き目でない目の視線位置が、前記表示画面上における前記利用者の利き目の盲点の位置に移動されたことを検出すると、前記付加情報に基づく画像の切り替えを指示する手順と、
前記付加情報に基づく画像の切り替えの指示を受けると、前記表示画面上の前記利用者の利き目の盲点の位置に、前記簡略情報に基づく画像であるポップアップに替えて前記主要情報に基づく画像に対する付加情報の内の詳細情報に基づく画像をポップアップとして表示させる手順とを、
コンピュータに実行させるポップアップ表示プログラム。

【請求項11】

主要情報が表示される表示画面上における利用者の利き目の視線位置と、前記利用者の利き目の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の利き目の盲点の位置を検出する手順と、
前記表示画面上の前記利用者の利き目の盲点の位置に、前記主要情報に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させる手順と、
前記表示画面上における前記利用者の利き目でない目の視線位置が、前記表示画面上における前記利用者の利き目の盲点の位置に移動されたことを検出すると、前記付加情報に基づく画像の切り替えを指示する手順と、
前記付加情報に基づく画像の切り替えの指示を受けると、前記表示画面上の前記利用者の利き目の盲点の位置に、前記簡略情報に基づく画像であるポップアップに替えて前記主要情報に基づく画像に対する付加情報の内の詳細情報に基づく画像をポップアップとして表示させる手順とを、
コンピュータに実行させるプログラムを記憶してある記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、主要情報が表示される表示装置の表示画面に、主要情報に対する付加情報をポップアップとして表示させるポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体に関する。

【背景技術】

【0002】

特許文献１に、仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステムが示されている。
特許文献１に示されたシステムは、映画、テレビ番組、ビデオゲーム、仮想現実世界、メディアガイド画面である主要コンテンツに加え、株価情報、スポーツスコア情報、ニュース情報、気象情報、時計、イベントのスケジュールである付加的コンテンツをディスプレイ上に表示する。

【0003】

特許文献１に示されたシステムにおいて、付加的コンテンツは、ユーザの視線の中心が移動されると、生成される部分が変更され、ユーザの視線の中心の移動に基づいて、判定されたユーザの視野の前景面積に対応する主要コンテンツのユーザの視認に干渉しないように表示される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２０１９－５１５３６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に示されたシステムにあっては、付加的コンテンツは、ユーザの視線の動きによってユーザの視野の周辺面積に対応する仮想現実環境の一部内に生成されるため、ユーザが意図しない位置に表示されてしまう可能性があり、また、表示する付加的コンテンツの大きさによっては邪魔に感じる可能性もある。

【0006】

本開示は、上記した点に鑑みてなされたものであり、主要情報に基づく画像が表示される表示画面上に、主要情報に基づく画像に対する付加情報に基づく画像が利用者に目障りさをなくし、視界の邪魔にならずに表示されるように制御するポップアップ表示制御装置を得ることを目的とする。

【課題を解決するための手段】

【0007】

本開示に係るポップアップ表示制御装置は、主要情報に基づく画像が表示される表示画面上における利用者の視線位置を示す視線位置情報と、利用者の視線位置と盲点の位置との関係を示す盲点設定情報とから表示画面上における利用者の盲点の位置を検出する検出部と、検出部により検出された表示画面上の利用者の盲点の位置に、主要情報に基づく画像に対する付加情報に基づく画像をポップアップとして表示させる付加情報表示制御部とを備える。

【発明の効果】

【0008】

本開示によれば、表示画面上の利用者の盲点の位置に、主要情報に基づく画像に対する付加情報に基づく画像がポップアップとして表示されるように制御されるので、付加情報に基づく画像であるポップアップが利用者に目障りにならない。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る作業支援システムを示すブロック図である。

【図2】実施の形態１に係る作業支援システムにおける表示装置に視線検知装置を組み込んだヘッドマウントディスプレイのイメージを示す斜視図である。

【図3】実施の形態１に係る作業支援システムにおける指示装置のイメージを示す正面図である。

【図4】実施の形態１に係る作業支援システムのハード構成を示す構成図である。

【図5】実施の形態１に係る作業支援システムにおける盲点設定部に対する利き目を設定するための入力画面のイメージを示す図である。

【図6】実施の形態１に係る作業支援システムにおける盲点設定部に対する盲点の位置を設定するための入力画面のイメージを示す図である。

【図7】実施の形態１に係る作業支援システムの動作例を示すフローチャートである。

【図8】実施の形態１に係る作業支援システムにおける表示装置の表示画面上に主要情報に基づく画像が表示され、表示画面上に付加情報の内の簡略情報に基づく画像がポップアップとして表示された一例を示す図である。

【図9】実施の形態１に係る作業支援システムにおける表示装置の表示画面上に主要情報に基づく画像が表示され、表示画面上に付加情報の内の詳細情報に基づく画像がポップアップとして表示された一例を示す図である。

【発明を実施するための形態】

【0010】

実施の形態１．
実施の形態１に係る作業支援システムを図１から図９に基づいて説明する。
実施の形態１に係る作業支援システムは、ＭＲディスプレイである表示装置に、組立又は加工などの作業用コンテンツを表示し、表示された作業用コンテンツに基づき、仮想現実環境内で作業を行うＭＲ（Mixed Reality）システムである。

【0011】

実施の形態１に係る作業支援システムは、作業支援装置１と、表示装置２と、視線検知装置３と、指示装置４とを備える。
作業支援装置１は、主要情報に基づく画像（以下、主要情報画像と略称する。）が表示される表示装置２の表示画面上に、表示画面上に表示された主要情報画像に対する付加情報に基づく画像（以下、付加情報画像と略称する。）をポップアップとして表示させ、主要情報画像に基づく、仮想現実環境内での組立又は加工などの作業の支援を行うための装置である。

【0012】

主要情報画像は、作業者である利用者が組立又は加工などの作業を行う製造装置などに対する作業用コンテンツである。
付加情報画像は、利用者が表示装置２の表示画面上に表示された主要情報画像に基づく仮想現実環境内での作業を行う際に、当該作業の作業内容又は作業手順（以下、総称して作業手順と称す。）を利用者に示す作業手順用コンテンツであり、主要情報画像上にポップアップとして表示される。

【0013】

作業支援装置１は、ポップアップ表示制御装置１０と、盲点設定部２０と、コンテンツ格納部３０と備える。
ポップアップ表示制御装置１０は、視線位置及び盲点位置の検出部１１（以下、検出部と略称する。）と、付加情報表示制御部１２とを有する。
付加情報表示制御部１２は、表示情報選択・切替部１２１（以下、選択・切替部と略称する。）と、簡略情報表示制御部１２２と、詳細情報表示制御部１２３とを有する。
作業支援装置１の詳細については後述する。

【0014】

表示装置２は、主要情報画像及び付加情報画像が表示される表示画面を有する。
表示装置２は，ＭＲディスプレイであるヘッドマウントディスプレイ、あるいは透過型液晶画面又は有機ＥＬ画面などの画面表示機能を有するディスプレイ装置である。

【0015】

実施の形態１においては、表示装置２の一例として図２に示すようなヘッドマウントディスプレイを用いている。
図２に示すヘッドマウントディスプレイからなる表示装置２は、本体２ａと、本体２ａの前面に設けられたディスプレイである表示画面２ｂと、本体２ａに装着され、利用者の頭部に装着するためのストラップ２ｃと、本体２ａの内部に設けられ、表示画面２ｂに画像を表示させるための画像表示装置（図示せず）を有する。

【0016】

視線検知装置３は、表示装置２における本体２ａの内部に設けられる。
視線検知装置３は、表示装置２の表示画面２ｂにおける利用者が見ている視点である視線位置を検出し、当該検出した表示画面２ｂ上における利用者の視線位置を示す視線位置情報を作業支援装置１におけるポップアップ表示制御装置１０の検出部１１に出力する。
以下、視線位置を、特別の場合を除いて、視点と同義語として説明する。

【0017】

視線検知装置３は、利用者の瞳孔の位置を検知することにより、表示装置２の表示画面２ｂに表示された画像の利用者が見ている位置、つまり、視線位置を検出する。
視線位置の検出は、利用者の瞳孔と角膜反射との位置関係、あるいは利用者の目頭と虹彩との位置関係により視線位置を求めることにより行われる。
視線検知装置３は、利用者が表示装置２を使用している間、常時、利用者の視線位置を検出し、視線位置に基づいた視線位置情報を作業支援装置１におけるポップアップ表示制御装置１０の検出部１１に出力する。

【0018】

指示装置４は、利用者の盲点を設定する盲点設定情報を作業支援装置１における盲点設定部２０に出力する。
指示装置４は，操作ボタンなどを内蔵したＶＲ（Virtual Reality）デバイスのコントローラ、キーボード、マウス、あるいはポインタ装置である。

【0019】

実施の形態１においては、指示装置４の一例として図３に示すようなＶＲデバイスのコントローラを用いている。
図３に示すＶＲデバイスのコントローラからなる指示装置４は、棒状のリモコンのような形状をしたコントローラであり、操作ボタン４１を有する。

【0020】

指示装置４は、利用者が利用者の利き目を設定し、当該利用者の利き目に対する利き目設定情報として作業支援装置１における盲点設定部２０に出力する。
指示装置４は、利用者が、利き目により表示装置２の表示画面２ｂにおける視野の中心を見ながら、操作ボタン４１を操作して表示画面２ｂに表示したポインタを表示画面２ｂ上で移動させ、利用者の利き目の視野からポインタが消失した位置を利用者の利き目の盲点の位置として設定する。

【0021】

指示装置４は、視野の中心位置を視線位置情報として、視野からポインタが消失した位置を盲点の位置情報として盲点設定部２０に出力する。
同様に、利き目でない目に対しても、視野の中心位置を視線位置情報として、視野からポインタが消失した位置を盲点の位置情報として得てもよい。

【0022】

指示装置４は、ポップアップ表示制御装置１０における付加情報表示制御部１２の選択・切替部１２１に対して、初期設定において付加情報表示制御部１２の簡略情報表示制御部１２２を選択する選択信号と、簡略情報表示制御部１２２から付加情報表示制御部１２の詳細情報表示制御部１２３への切り替え及び詳細情報表示制御部１２３から簡略情報表示制御部１２２への切り替えの切替信号を選択・切替部１２１に出力する。

【0023】

作業支援装置１における盲点設定部２０は、利用者の利き目における視線位置に対する盲点の位置を設定し、利き目の盲点設定情報を含む盲点情報を記憶する部分であり、設定部２１と記憶部２２とを有する。
設定部２１は、指示装置４からの利き目設定情報と利き目に対する視線位置情報及び盲点の位置情報が入力され、利用者と利き目設定情報及び利き目の盲点設定情報を紐づけして盲点情報を生成し、生成した盲点情報を記憶部２２に格納する。

【0024】

盲点設定情報は、視線位置情報と盲点の位置情報とにより、盲点の位置とその時の視線の位置との関係を示す。
すなわち、盲点設定情報は、視点とされた視野の中心位置と視野からポインタが消失した位置との間の長さを算出した値を示す情報である。
盲点設定情報は、利用者の利き目に対する視線位置と盲点との関係を示しており、利用者の利き目の視線位置が分かれば、盲点設定情報により、当該視線位置に対する利用者の盲点の位置が一義的に求められる。

【0025】

なお、利用者が複数人である場合には、設定部２１が利用者毎に利き目設定情報及び利き目の盲点設定情報を紐づけして盲点情報を記憶部２２に格納する。
また、同様に、利き目でない目に対しても、利き目に対する情報と併せて、設定部２１が利用者毎に利き目でない設定情報及び盲点設定情報を紐づけして盲点情報を記憶部２２に格納してもよい。

【0026】

作業支援装置１におけるコンテンツ格納部３０は、表示装置２の表示画面２ｂ上に表示された作業用コンテンツ（主要情報画像）上に、作業手順用コンテンツ（付加情報画像）をポップアップとして表示するための簡略情報３１と詳細情報３２の２種類の付加情報を格納する。

【0027】

簡略情報３１は、作業手順を簡略に示す、例えば、項目名などの一単語もしくはイラストなどで一つの作業手順をシンボル的に示す画像情報である。
簡略情報３１は、例えば、作業用コンテンツの一工程ごとに一つの作業手順を示す画像情報がある。
詳細情報３２は、簡略情報３１と１対１に対応し、作業手順を詳細に示す画像情報である。

【0028】

作業支援装置１におけるポップアップ表示制御装置１０の検出部１１は、表示装置２の表示画面２ｂ上における利用者の利き目の視線位置に基づく視線位置情報及び利き目でない目の視線位置に基づく視線位置情報を視線検知装置３から受け、利き目の視線位置情報及び利き目でない目の視線位置情報を出力する。

【0029】

検出部１１は、設定された利用者の利き目の盲点の位置情報を盲点設定部２０の記憶部２２から読み出し、視線検知装置３からの利き目の視線位置情報と記憶部２２から読み出した盲点の位置情報とから表示画面２ｂ上における利用者の現在の利き目の盲点の位置を検出し、現在の盲点の位置情報を出力する。
検出部１１は、視線検知装置３からの視線位置情報に追従して利用者の現在の盲点の位置情報を出力する。

【0030】

ポップアップ表示制御装置１０における付加情報表示制御部１２は、検出部１１により検出された表示装置２の表示画面２ｂ上の利用者の盲点の位置に、表示装置２の表示画面２ｂに表示された主要情報画像に対する付加情報画像をポップアップとして表示させる。

【0031】

付加情報表示制御部１２は、簡略情報３１に基づく画像をポップアップとして表示させる簡略情報表示制御部１２２と、詳細情報３２に基づく画像を簡略情報３１に基づく画像に替えてポップアップとして表示させる詳細情報表示制御部１２３と、簡略情報表示制御部１２２と詳細情報表示制御部１２３の選択及び切り替えを行う選択・切替部１２１とを有する。

【0032】

選択・切替部１２１は、第１に、指示装置４からの初期設定における選択信号により、簡略情報表示制御部１２２を選択する。
選択・切替部１２１は、第２に、指示装置４からの切替信号により簡略情報表示制御部１２２から詳細情報表示制御部１２３への切り替え又は詳細情報表示制御部１２３から簡略情報表示制御部１２２への切り替えを簡略情報表示制御部１２２及び詳細情報表示制御部１２３へ指示する。

【0033】

選択・切替部１２１は、第３に、検出部１１からの利き目でない目の視線位置情報による表示装置２の表示画面２ｂ上における視線位置が、検出部１１からの利き目の盲点の位置情報による表示装置２の表示画面２ｂ上における利き目の盲点の位置に移動すると、簡略情報表示制御部１２２から詳細情報表示制御部１２３への切り替えを簡略情報表示制御部１２２及び詳細情報表示制御部１２３へ指示する。

【0034】

選択・切替部１２１による、表示画面２ｂ上において、利き目でない目の視線位置が利き目の盲点の位置にあるとの判定は、検出部１１が利き目の視線位置に追従させて利き目の盲点の位置情報を出力しているので、利き目でない目の視線位置情報を利き目の盲点の位置情報を遅延させた位置情報と比較することにより行う。

【0035】

選択・切替部１２１は、第４に、検出部１１からの利き目でない目の視線位置情報による表示装置２の表示画面２ｂ上における視線位置が、詳細情報表示制御部１２３からの詳細情報３２に基づく表示装置２の表示画面２ｂに表示された画像の範囲から逸脱すると、詳細情報表示制御部１２３から簡略情報表示制御部１２２への切り替えを簡略情報表示制御部１２２及び詳細情報表示制御部１２３へ指示する。

【0036】

簡略情報表示制御部１２２は、選択・切替部１２１により選択されると、作業手順信号５に基づいた作業手順に対応した簡略情報３１をコンテンツ格納部３０から読み出し、読みだした簡略情報３１に基づく画像を、表示装置２の表示画面２ｂに表示された主要情報画像における、検出部１１からの利き目の盲点の位置情報による利き目の盲点の位置にポップアップとして表示させるための簡略情報を表示装置２に出力する。
簡略情報表示制御部１２２から表示装置２に出力する簡略情報３１に基づく画像としてのポップアップの大きさが一般的な利用者の盲点の大きさの範囲内に収まる大きさである。

【0037】

簡略情報表示制御部１２２は、視線検知装置３からの視線位置情報に追従した検出部１１からの利用者の利き目における現在の盲点の位置情報に基づき、表示装置２の表示画面２ｂに表示された主要情報画像上におけるポップアップの位置も検出部１１からの盲点の位置情報に追従する簡略情報を表示装置２に出力する。

【0038】

簡略情報表示制御部１２２は、作業手順信号５の内容が変わるごとに作業手順に対応した簡略情報３１をコンテンツ格納部３０から読み出し、読みだした簡略情報３１に基づく画像を、検出部１１からの盲点の位置情報による利き目の盲点の位置にポップアップとして表示させるための簡略情報を表示装置２に出力する。

【0039】

詳細情報表示制御部１２３は、選択・切替部１２１により選択されると、表示装置２の表示画面２ｂに表示されている画像に対する簡略情報表示制御部１２２からの簡略情報３１に対応した詳細情報３２をコンテンツ格納部３０から読み出し、読みだした詳細情報３２に基づく画像を、簡略情報３１に基づく画像が表示された表示装置２の表示画面２ｂの主要情報画像上の位置にポップアップとして表示させるための詳細情報を表示装置２に出力する。

【0040】

作業支援装置１は、図４に示すように、入力インタフェース部と、出力インタフェース部と、ＣＰＵ（Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Digital Signal Processor）ともいう）と、半導体メモリであるＲＡＭ（Random Access Memory）と、記憶媒体である不揮発性半導体メモリのＲＯＭ（Read Only Memory）とを備える。

【0041】

作業支援装置１は、表示装置２としてヘッドマウントディスプレイを用いる場合、入力インタフェース部と、出力インタフェース部と、ＣＰＵと、ＲＡＭと、ＲＯＭが実装されたプリント基板により構成され、表示装置２の本体２ａの内部に収納される。
表示装置２として画面表示機能を有するディスプレイ装置を用いる場合、記憶媒体としてＲＯＭの代わりにＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）、ＨＤＤ（ハードディスクドライブ、Hard Disk Drive ）、ＵＳＢメモリを用いることができる。

【0042】

入力インタフェース部に、視線検知装置３からの視線位置情報と、指示装置４から盲点設定情報、視野の中心位置を示す視線位置情報、情報利き目設定情報、選択信号、及び切替信号が入力される。
出力インタフェース部からは、簡略情報表示制御部１２２からの簡略情報及び詳細情報表示制御部１２３からの詳細情報が表示装置２に出力される。
盲点設定部２０の記憶部２２はＲＡＭ又はＲＯＭにより構成され、コンテンツ格納部３０はＲＯＭにより構成される。

【0043】

ＣＰＵは、入力インタフェース部と、ＲＡＭと、ＲＯＭ、出力インタフェース部を制御、管理する。
作業支援装置１は、ＲＯＭに格納されたプログラムをＲＡＭにロードし、ＣＰＵがＲＡＭにロードされたプログラムに基づき各種処理を実行する。作業支援装置１は汎用的なＯＳ（Operating System）で駆動される。

【0044】

記憶媒体としてのＲＯＭに格納され、ＣＰＵに実行させるプログラムは、主要情報画像が表示される表示画面上における利用者の利き目の視線位置と、利用者の利き目の視線位置と盲点の位置との関係とから表示画面上における利用者の利き目の盲点の位置を検出する手順と、表示画面上の利用者の利き目の盲点の位置に、主要情報画像に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させる手順と、表示画面上における利用者の利き目でない目の視線位置が、表示画面上における利用者の利き目の盲点の位置に移動されたことを検出すると、付加情報に基づく画像の切り替えを指示する手順と、付加情報に基づく画像の切り替えの指示を受けると、表示画面上の利用者の利き目の盲点の位置に、簡略情報に基づく画像であるポップアップに替えて主要情報に基づく画像に対する付加情報の内の詳細情報に基づく画像をポップアップとして表示させる手順とを備える。

【0045】

次に、実施の形態１に係る作業支援システムの動作について説明する。
まず、事前準備として、盲点設定部２０の記憶部２２に、利用者毎の、利用者と利き目設定情報及び利き目の盲点設定情報を紐づけした盲点情報を記憶させる。
利き目設定情報は、指示装置４の操作ボタン４１の操作により表示装置２の表示画面２ｂに、図５に示すような利き目設定画面を表示させ、操作ボタン４１の操作により利き目を選択すると、盲点設定部２０の設定部２１により、利用者に紐づけされた利き目設定情報として設定される。

【0046】

利き目の盲点設定情報は、指示装置４の操作ボタン４１の操作により表示装置２の表示画面２ｂに、図６の上段に示すように、視野範囲FoVと視野の中心ＭとポインタＰが表示される盲点設定画面を表示させ、利用者が、利き目により視野の中心Ｍを見ている状態で、操作ボタン４１の操作によりポインタＰを表示画面２ｂ上で移動させ、利き目にてポインタＰが消失、つまり見えなくなった時に、操作ボタン４１の操作によりポインタＰの位置情報が盲点設定部２０の設定部２１により得られる。

【0047】

盲点設定部２０の設定部２１が、視野の中心Ｍの位置座標とポインタＰが消失したポインタＰの位置情報とにより距離を算出し、算出した値を示す利き目の盲点設定情報を利用者と紐づけして設定される。図６において、盲点をＢＳで示している。
盲点設定情報は、視野の中心Ｍの位置からＸ軸上でポインタＰが消失したポインタＰの位置までの長さと、視野の中心Ｍの位置からＹ軸上でポインタＰが消失したポインタＰの位置までの長さとを座標軸上で表した情報である。

【0048】

このようにして、盲点設定部２０の設定部２１が、設定された利き目設定情報と設定された利き目の盲点設定情報を利用者と紐づけして利き目の盲点情報を生成し、生成した盲点情報を盲点設定部２０の記憶部２２に記憶させる。
なお、利き目でない目に対しても、利き目と同様に、盲点設定部２０の設定部２１が利き目でない目の盲点情報を生成し、生成した盲点情報を盲点設定部２０の記憶部２２に記憶させてもよい。

【0049】

次に、作業支援システムにおける作業支援装置１によるポップアップ表示方法を中心に、図７に示したフローチャートに基づいて説明する。
表示装置２であるヘッドマウントディスプレイを装着し、電源を投入し、主要情報画像を表示装置２の表示画面２ｂに表示させる。

【0050】

すると、ステップＳＴ１において、検出部１１が視線検知装置３から利用者の利き目の視線位置を示す視線位置情報を取得し、盲点設定部２０の記憶部２２に格納された盲点情報を読み出し、視線位置情報と盲点情報の盲点設定情報とから表示装置２の表示画面２ｂ上における利用者の利き目の盲点の位置を検出し、ステップＳＴ２に進む。

【0051】

ステップＳＴ２では、付加情報表示制御部１２の選択・切替部１２１により簡略情報表示制御部１２２が選択され、簡略情報表示制御部１２２が、作業手順信号５に従い主要情報画像に対する付加情報の内の簡略情報３１をコンテンツ格納部３０から読み出し、検出部１１により検出された表示画面２ｂ上の利用者の利き目の盲点の位置に、読みだした簡略情報３１に基づく画像をポップアップＰ１として表示画面２ｂに表示させる。

【0052】

この状態を図８にポップアップＰ１の表示イメージとして示す。
図８に示した主要情報画像ＭＶは作業コンテンツの一例として参考までに示したものであり、主要情報画像ＭＶの表示内容に特徴があるものではない。

【0053】

図８は、表示装置２が右目用スクリーン２Ｒ及び左目用スクリーン２Ｌを有し、右目の視野範囲ＲＦｏＶと左目の視野範囲ＬＦｏＶと、右目用スクリーン２Ｒ及び左目用スクリーン２Ｌにより表示された主要情報画像ＭＶとポップアップＰ１と、主要情報画像ＭＶ上に位置する利用者の右目の視線位置（視点）ＲＰｏＶ及び盲点の位置（範囲）ＲＢＳと左目の視線位置（視点）ＬＰｏＶ及び盲点の位置（範囲）ＬＢＳを示している。

【0054】

なお、利用者の右目の視線位置（視点）ＲＰｏＶ及び盲点の位置（範囲）ＲＢＳと左目の視線位置（視点）ＬＰｏＶ及び盲点の位置（範囲）ＬＢＳは、説明の都合上、図８に示したが、表示画面２ｂに表示された主要情報画像ＭＶ上には表示されない。

【0055】

利用者は右目が利き目であり、図８において、右目の盲点の位置ＲＢＳにポップアップＰ１を表示している。ポップアップＰ１は右目の盲点の範囲（位置）ＲＢＳ内に収まって表示される。
従って、利用者は、利き目の盲点の範囲（位置）ＲＢＳ内にポップアップＰ１が表示されるため、利き目ではポップアップＰ１を視認及び認識できない。
利き目でない左目によりポップアップＰ１が視認されるものの、左目は利き目でないため、ポップアップＰ１が利用者の視界の邪魔にならず、目障りにならない。

【0056】

ステップＳＴ２は、最初に選択・切替部１２１が簡略情報表示制御部１２２を自動的に選択し、簡略情報表示制御部１２２が動作してポップアップＰ１を表示させるものとしたが、指示装置４の操作ボタン４１を操作することにより、指示装置４が付加情報表示制御部１２の選択・切替部１２１に簡略情報表示制御部１２２を選択する選択信号を出力することにより、ステップＳＴ２にてポップアップＰ１を表示させるものとしてもよい。

【0057】

ステップＳＴ３では、検出部１１が、視線検知装置３からの利用者の利き目の視線位置ＲＰｏＶの追跡に伴ない出力される視線位置情報を取得し、検出部１１及び簡略情報表示制御部１２２がステップＳＴ１及びステップＳＴ２と同様に動作し、利用者の視線の動きに合わせて、利用者の利き目の盲点の位置ＲＢＳにポップアップＰ１を表示させる。
すなわち、利用者の利き目の盲点の位置ＲＢＳに、常にポップアップＰ１が追従して表示され、常に、ポップアップＰ１が利用者の視界の邪魔にならず、目障りにならない。

【0058】

ステップＳＴ４では、検出部１１が、視線検知装置３から利用者の利き目でない目の視線位置ＬＰｏＶを示す視線位置情報を取得し、取得した視線位置情報による視線位置ＬＰｏＶが、ステップＳＴ３にて得た表示画面２ｂ上における利用者の利き目の盲点の位置ＲＢＳにあるか否かを判定する。

【0059】

利き目でない目の視線位置ＬＰｏＶが利用者の利き目の盲点の位置ＲＢＳに移動されていないと、ステップＳＴ３に戻る。
利き目でない目の視線位置ＬＰｏＶが利用者の利き目の盲点の位置ＲＢＳに移動されたことを検出すると、検出部１１が付加情報に基づく画像の切り替えを、付加情報表示制御部１２の選択・切替部１２１に指示してステップＳＴ５に進む。

【0060】

ステップＳＴ５では、選択・切替部１２１が、付加情報表示制御部１２の簡略情報表示制御部１２２から詳細情報表示制御部１２３への切り替えを簡略情報表示制御部１２２及び詳細情報表示制御部１２３へ指示する。
切り替えの指示を受けた詳細情報表示制御部１２３が、検出部１１により検出された表示画面２ｂ上の利用者の利き目の盲点の位置ＲＢＳに、簡略情報に基づく画像であるポップアップＰ１に替えて主要情報画像に対する付加情報の内の詳細情報に基づく画像をポップアップＰ２として表示させる。
ポップアップＰ２はポップアップＰ１に対応した詳細内容である。

【0061】

この状態を図９にポップアップＰ２の表示イメージとして示す。
図９中、図８と同一符号は同一又は相当部分を示す。
図９から明らかなように、ポップアップＰ２はポップアップＰ１が表示されていた位置に表示され、利用者の視線が移動した位置に、ポップアップＰ１の替わりにポップアップＰ２が表示される。
そのため、利用者が詳細な作業手順を知りたい時に、タイミングよく速やかに、しかも、視線を大きく動かすことなく、最小限の視線の移動によって詳細な作業手順を視認できる。

【0062】

なお、表示画面におけるポップアップＰ１からポップアップＰ２への表示切り替えを利き目でない目の視線位置ＬＰｏＶの検出により行っているのに加え、指示装置４の操作ボタン４１を操作することにより、指示装置４が付加情報表示制御部１２の選択・切替部１２１に簡略情報表示制御部１２２から詳細情報表示制御部１２３への切替信号を出力することによって行ってもよい。

【0063】

ステップＳＴ６では，検出部が、視線検知装置３からの利用者の利き目でない目の視線位置情報による視線位置ＬＰｏＶが、ステップＳＴ５により詳細情報表示制御部１２３が表示させたポップアップＰ２の位置（範囲）にあるか否かを判定する。

【0064】

利き目でない目の視線位置ＬＰｏＶがポップアップＰ２の位置（範囲）に存在すると、ポップアップＰ２の表示を継続する。
利き目でない目の視線位置ＬＰｏＶがポップアップＰ２の位置（範囲）から外れると、ステップＳＴ７に進む。

【0065】

ステップＳＴ７では、簡略情報表示制御部１２２が、表示画面２ｂに表示された主要情報画像ＭＶの状況により、ポップアップＰ２の表示が必要な場面かどうかを判定する。
例えば、簡略情報表示制御部１２２に入力される作業手順信号５が最後であると、ポップアップＰ２の表示は不要と判断し、終了する。
作業手順信号５が最後でない場合は、ステップＳＴ２に戻り、検出部１１及び簡略情報表示制御部１２２がポップアップＰ１を表示させる。

【0066】

ポップアップＰ１の表示に戻るか、ポップアップＰ１及びポップアップＰ２の表示を終了させるかは、指示装置４の操作ボタン４１を操作することにより、行ってもよい。

【0067】

実施の形態１に係る作業支援システムでは、表示装置２としてヘッドマウントディスプレイを用いた場合を主として説明したが、表示装置２として、画面表示機能を有すディスプレイ装置であっても基本的な考え方は同じである。

【0068】

以上のように、実施の形態１に係る作業支援システムにおける作業支援装置１のポップアップ表示制御装置１０は、表示画面上の利用者の盲点の位置に、主要情報に基づく画像に対する付加情報に基づく画像がポップアップとして表示されるように制御するので、表示画面に表示された主要情報に基づく画像にポップアップが表示されても、ポップアップが利用者に目障りにならない。
利用者の利き目の盲点の位置にポップアップを表示するように制御すれば、さらに、ポップアップが利用者に目障りにならない。

【0069】

ポップアップ表示制御装置１０は、ポップアップとして表示させる付加情報が簡略情報と詳細情報の２種類あり、表示させる簡略情報に基づく画像としてのポップアップの大きさが、利用者の盲点の大きさの範囲内に収まる大きさに制御するので、簡略情報に基づくポップアップは視界の邪魔をせず、必要な時に詳細情報に基づくポップアップにより、詳細な内容を知ることができる。

【0070】

ポップアップ表示制御装置１０は、利用者の利き目でない目の視線位置が利用者の利き目の盲点の位置に移動すると、簡略情報に基づく画像であるポップアップを詳細情報に基づくポップアップに切り替えるように制御するので、利用者が詳細内容を知りたい時に、タイミングよく速やかに、しかも、視線を大きく動かすことなく、最小限の視線の移動によって詳細内容を視認できる。

【0071】

実施の形態１に係る作業支援システムにおける作業支援装置１は、利用者の盲点位置を設定するための盲点設定部を有しているので、個人差がある盲点の位置を利用者毎に設定部２１により盲点情報を設定して記憶部２２に記憶させ、検出部１１が記憶部に記憶された盲点情報を用いて利用者の表示装置２の表示画面上での盲点位置を検出しているため、利用者の盲点位置に確実にポップアップＰ１を表示できる。
簡易かつ安価である。

【0072】

なお、実施の形態１における構成要素の自由な組み合わせ、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。

【産業上の利用可能性】

【0073】

本開示に係るポップアップ表示制御装置は、ＭＲシステム用いて、ＭＲディスプレイ上に作業用コンテンツを表示して仮想現実環境内で作業を行う作業支援システムに用いられるのに適している。
特に、ＭＲディスプレイとしてヘッドマウントディスプレイを用いたものに適用するのが好適である。

【符号の説明】

【0074】

１ 作業支援装置、１０ ポップアップ表示制御装置、１１ 検出部、１２ 付加情報表示制御部、１２１ 選択・切替部、１２２ 簡略情報表示制御部、１２３ 詳細情報表示制御部、２０ 盲点設定部、３０ コンテンツ格納部、２ 表示装置、３ 視線検知装置、４ 指示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】