IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機エンジニアリング株式会社の特許一覧

特許7672280ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体
<>
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図1
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図2
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図3
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図4
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図5
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図6
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図7
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図8
  • 特許-ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-24
(45)【発行日】2025-05-07
(54)【発明の名称】ポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体
(51)【国際特許分類】
   G09G 5/00 20060101AFI20250425BHJP
   G09G 5/38 20060101ALI20250425BHJP
   G09G 5/373 20060101ALI20250425BHJP
   G06F 3/0484 20220101ALI20250425BHJP
【FI】
G09G5/00 550C
G09G5/38
G09G5/373
G09G5/00 530T
G09G5/00 550X
G06F3/0484
【請求項の数】 7
(21)【出願番号】P 2021085965
(22)【出願日】2021-05-21
(65)【公開番号】P2022178866
(43)【公開日】2022-12-02
【審査請求日】2023-12-13
(73)【特許権者】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】久世 武知
【審査官】▲瀬▼戸井 綾菜
(56)【参考文献】
【文献】特開2017-058794(JP,A)
【文献】特開2009-098501(JP,A)
【文献】特開2014-086063(JP,A)
【文献】米国特許出願公開第2021/0112226(US,A1)
【文献】特開2015-232811(JP,A)
【文献】特開平11-174986(JP,A)
【文献】特開2016-024208(JP,A)
【文献】西垣 正勝 他,生体反射を利用した認証方式,情報処理学会論文誌,2006年08月,Vol.47, No.8,pp.2582-2592
【文献】西垣 正勝 他,生体反射型認証:対光反射と盲点位置を利用した認証方式,情報処理学会論文誌,2007年09月,Vol.48, No.9,pp.3039-3050
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
3/048-3/04895
G09G 3/00-5/42
(57)【特許請求の範囲】
【請求項1】
主要情報に基づく画像が表示される表示画面上における利用者の利き目の視線位置を示す視線位置情報と、前記利用者の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の利き目の盲点の位置を検出する検出部と、
前記検出部により検出された前記表示画面上の前記利用者の利き目の盲点の位置に、前記主要情報に基づく画像に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させる簡略情報表示制御部と、前記付加情報の内の詳細情報に基づく画像を前記簡略情報に基づく画像に替えてポップアップとして表示させる詳細情報表示制御部を有し、前記検出部からの前記利用者の利き目でない目の視線位置情報による前記表示画面上における視線位置が、前記検出部からの前記利用者の利き目の盲点の位置情報による前記表示画面上における前記利用者の利き目の盲点の位置に移動すると、前記簡略情報表示制御部による簡略情報に基づく画像であるポップアップを前記詳細情報表示制御部による詳細情報に基づく画像であるポップアップへ切り替えて表示させる付加情報表示制御部と、
を備えるポップアップ表示制御装置。
【請求項2】
前記簡略情報表示制御部は、表示させる簡略情報に基づく画像としてのポップアップの大きさは、前記利用者の盲点の大きさの範囲内に収まる大きさである請求項1に記載のポップアップ表示制御装置。
表示制御装置。
【請求項3】
請求項1または請求項2に記載のポップアップ表示制御装置と、盲点設定部と、コンテンツ格納部と備え、
前記盲点設定部は、前記利用者の視線位置を示す視線位置情報と前記利用者の盲点の位置を示す位置情報を受け、前記利用者の視線位置と盲点の位置との関係を示す盲点設定情報を生成する設定部と、前記設定部で生成された前記利用者の盲点設定情報を記憶し、前記ポップアップ表示制御装置の検出部により前記利用者の盲点設定情報が読みだされる記憶部とを有し、
前記コンテンツ格納部は、前記主要情報に対する作業支援を示す付加情報を記憶し、前記ポップアップ表示制御装置の付加情報表示制御部により記憶された付加情報が読みだされる、
作業支援装置。
【請求項4】
請求項3に記載の作業支援装置と、表示装置と、視線検知装置と、指示装置とを備え、
前記表示装置は、前記主要情報に基づく画像及び前記付加情報に基づく画像が表示される前記表示画面を有し、
前記視線検知装置は、前記表示装置の前記表示画面における利用者が見ている視線位置を検出し、当該検出した前記表示画面上における前記利用者の視線位置を示す視線位置情報を前記作業支援装置におけるポップアップ表示制御装置の検出部に出力し、
前記指示装置は、前記利用者の視線位置を示す視線位置情報と前記利用者の盲点の位置を示す位置情報を前記作業支援装置における盲点設定部に出力する、
作業支援システム。
【請求項5】
検出部が、主要情報に基づく画像が表示される表示画面上における利用者の利き目の視線位置を示す視線位置情報と、前記利用者の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の利き目の盲点の位置を検出するステップと、
付加情報表示制御部の簡略情報表示制御部が、前記検出部により検出された前記表示画面上の前記利用者の利き目の盲点の位置に、前記主要情報に基づく画像に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させるステップと、
前記検出部が、前記表示画面上における前記利用者の利き目でない目の視線位置が、前記表示画面上における前記利用者の利き目の盲点の位置に移動されたことを検出すると、前記付加情報に基づく画像の切り替えを指示するステップと、
前記付加情報表示制御部の詳細情報表示制御部が、前記付加情報に基づく画像の切り替えの指示を受けると、前記検出部により検出された前記表示画面上の前記利用者の利き目の盲点の位置に、前記簡略情報に基づく画像であるポップアップに替えて前記主要情報に基づく画像に対する付加情報の内の詳細情報に基づく画像をポップアップとして表示させるステップと、
を備えるポップアップ表示方法。
【請求項6】
主要情報が表示される表示画面上における利用者の利き目の視線位置と、前記利用者の利き目の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の利き目の盲点の位置を検出する手順と、
前記表示画面上の前記利用者の利き目の盲点の位置に、前記主要情報に基づく画像に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させる手順と、
前記表示画面上における前記利用者の利き目でない目の視線位置が、前記表示画面上における前記利用者の利き目の盲点の位置に移動されたことを検出すると、前記付加情報に基づく画像の切り替えを指示する手順と、
前記付加情報に基づく画像の切り替えの指示を受けると、前記表示画面上の前記利用者の利き目の盲点の位置に、前記簡略情報に基づく画像であるポップアップに替えて前記主要情報に基づく画像に対する付加情報の内の詳細情報に基づく画像をポップアップとして表示させる手順とを、
コンピュータに実行させるポップアップ表示プログラム。
【請求項7】
主要情報が表示される表示画面上における利用者の利き目の視線位置と、前記利用者の利き目の視線位置と盲点の位置との関係を示す盲点設定情報とから前記表示画面上における前記利用者の利き目の盲点の位置を検出する手順と、
前記表示画面上の前記利用者の利き目の盲点の位置に、前記主要情報に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させる手順と、
前記表示画面上における前記利用者の利き目でない目の視線位置が、前記表示画面上における前記利用者の利き目の盲点の位置に移動されたことを検出すると、前記付加情報に基づく画像の切り替えを指示する手順と、
前記付加情報に基づく画像の切り替えの指示を受けると、前記表示画面上の前記利用者の利き目の盲点の位置に、前記簡略情報に基づく画像であるポップアップに替えて前記主要情報に基づく画像に対する付加情報の内の詳細情報に基づく画像をポップアップとして表示させる手順とを、
コンピュータに実行させるプログラムを記憶してある記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、主要情報が表示される表示装置の表示画面に、主要情報に対する付加情報をポップアップとして表示させるポップアップ表示制御装置、作業支援装置、作業支援システム、ポップアップ表示方法、ポップアップ表示プログラム、及び記録媒体に関する。
【背景技術】
【0002】
特許文献1に、仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステムが示されている。
特許文献1に示されたシステムは、映画、テレビ番組、ビデオゲーム、仮想現実世界、メディアガイド画面である主要コンテンツに加え、株価情報、スポーツスコア情報、ニュース情報、気象情報、時計、イベントのスケジュールである付加的コンテンツをディスプレイ上に表示する。
【0003】
特許文献1に示されたシステムにおいて、付加的コンテンツは、ユーザの視線の中心が移動されると、生成される部分が変更され、ユーザの視線の中心の移動に基づいて、判定されたユーザの視野の前景面積に対応する主要コンテンツのユーザの視認に干渉しないように表示される。
【先行技術文献】
【特許文献】
【0004】
【文献】特表2019-515361号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に示されたシステムにあっては、付加的コンテンツは、ユーザの視線の動きによってユーザの視野の周辺面積に対応する仮想現実環境の一部内に生成されるため、ユーザが意図しない位置に表示されてしまう可能性があり、また、表示する付加的コンテンツの大きさによっては邪魔に感じる可能性もある。
【0006】
本開示は、上記した点に鑑みてなされたものであり、主要情報に基づく画像が表示される表示画面上に、主要情報に基づく画像に対する付加情報に基づく画像が利用者に目障りさをなくし、視界の邪魔にならずに表示されるように制御するポップアップ表示制御装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
本開示に係るポップアップ表示制御装置は、主要情報に基づく画像が表示される表示画面上における利用者の利き目の視線位置を示す視線位置情報と、利用者の視線位置と盲点の位置との関係を示す盲点設定情報とから表示画面上における利用者の利き目の盲点の位置を検出する検出部と、検出部により検出された表示画面上の利用者の利き目の盲点の位置に、主要情報に基づく画像に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させる簡略情報表示制御部と、付加情報の内の詳細情報に基づく画像を簡略情報に基づく画像に替えてポップアップとして表示させる詳細情報表示制御部を有し、検出部からの利用者の利き目でない目の視線位置情報による表示画面上における視線位置が、検出部からの利用者の利き目の盲点の位置情報による表示画面上における利用者の利き目の盲点の位置に移動すると、簡略情報表示制御部による簡略情報に基づく画像であるポップアップを詳細情報表示制御部による詳細情報に基づく画像であるポップアップへ切り替えて表示させる付加情報表示制御部とを備える。
【発明の効果】
【0008】
本開示によれば、表示画面上の利用者の盲点の位置に、主要情報に基づく画像に対する付加情報に基づく画像がポップアップとして表示されるように制御されるので、付加情報に基づく画像であるポップアップが利用者に目障りにならない。
【図面の簡単な説明】
【0009】
図1】実施の形態1に係る作業支援システムを示すブロック図である。
図2】実施の形態1に係る作業支援システムにおける表示装置に視線検知装置を組み込んだヘッドマウントディスプレイのイメージを示す斜視図である。
図3】実施の形態1に係る作業支援システムにおける指示装置のイメージを示す正面図である。
図4】実施の形態1に係る作業支援システムのハード構成を示す構成図である。
図5】実施の形態1に係る作業支援システムにおける盲点設定部に対する利き目を設定するための入力画面のイメージを示す図である。
図6】実施の形態1に係る作業支援システムにおける盲点設定部に対する盲点の位置を設定するための入力画面のイメージを示す図である。
図7】実施の形態1に係る作業支援システムの動作例を示すフローチャートである。
図8】実施の形態1に係る作業支援システムにおける表示装置の表示画面上に主要情報に基づく画像が表示され、表示画面上に付加情報の内の簡略情報に基づく画像がポップアップとして表示された一例を示す図である。
図9】実施の形態1に係る作業支援システムにおける表示装置の表示画面上に主要情報に基づく画像が表示され、表示画面上に付加情報の内の詳細情報に基づく画像がポップアップとして表示された一例を示す図である。
【発明を実施するための形態】
【0010】
実施の形態1.
実施の形態1に係る作業支援システムを図1から図9に基づいて説明する。
実施の形態1に係る作業支援システムは、MRディスプレイである表示装置に、組立又は加工などの作業用コンテンツを表示し、表示された作業用コンテンツに基づき、仮想現実環境内で作業を行うMR(Mixed Reality)システムである。
【0011】
実施の形態1に係る作業支援システムは、作業支援装置1と、表示装置2と、視線検知装置3と、指示装置4とを備える。
作業支援装置1は、主要情報に基づく画像(以下、主要情報画像と略称する。)が表示される表示装置2の表示画面上に、表示画面上に表示された主要情報画像に対する付加情報に基づく画像(以下、付加情報画像と略称する。)をポップアップとして表示させ、主要情報画像に基づく、仮想現実環境内での組立又は加工などの作業の支援を行うための装置である。
【0012】
主要情報画像は、作業者である利用者が組立又は加工などの作業を行う製造装置などに対する作業用コンテンツである。
付加情報画像は、利用者が表示装置2の表示画面上に表示された主要情報画像に基づく仮想現実環境内での作業を行う際に、当該作業の作業内容又は作業手順(以下、総称して作業手順と称す。)を利用者に示す作業手順用コンテンツであり、主要情報画像上にポップアップとして表示される。
【0013】
作業支援装置1は、ポップアップ表示制御装置10と、盲点設定部20と、コンテンツ格納部30と備える。
ポップアップ表示制御装置10は、視線位置及び盲点位置の検出部11(以下、検出部と略称する。)と、付加情報表示制御部12とを有する。
付加情報表示制御部12は、表示情報選択・切替部121(以下、選択・切替部と略称する。)と、簡略情報表示制御部122と、詳細情報表示制御部123とを有する。
作業支援装置1の詳細については後述する。
【0014】
表示装置2は、主要情報画像及び付加情報画像が表示される表示画面を有する。
表示装置2は,MRディスプレイであるヘッドマウントディスプレイ、あるいは透過型液晶画面又は有機EL画面などの画面表示機能を有するディスプレイ装置である。
【0015】
実施の形態1においては、表示装置2の一例として図2に示すようなヘッドマウントディスプレイを用いている。
図2に示すヘッドマウントディスプレイからなる表示装置2は、本体2aと、本体2aの前面に設けられたディスプレイである表示画面2bと、本体2aに装着され、利用者の頭部に装着するためのストラップ2cと、本体2aの内部に設けられ、表示画面2bに画像を表示させるための画像表示装置(図示せず)を有する。
【0016】
視線検知装置3は、表示装置2における本体2aの内部に設けられる。
視線検知装置3は、表示装置2の表示画面2bにおける利用者が見ている視点である視線位置を検出し、当該検出した表示画面2b上における利用者の視線位置を示す視線位置情報を作業支援装置1におけるポップアップ表示制御装置10の検出部11に出力する。
以下、視線位置を、特別の場合を除いて、視点と同義語として説明する。
【0017】
視線検知装置3は、利用者の瞳孔の位置を検知することにより、表示装置2の表示画面2bに表示された画像の利用者が見ている位置、つまり、視線位置を検出する。
視線位置の検出は、利用者の瞳孔と角膜反射との位置関係、あるいは利用者の目頭と虹彩との位置関係により視線位置を求めることにより行われる。
視線検知装置3は、利用者が表示装置2を使用している間、常時、利用者の視線位置を検出し、視線位置に基づいた視線位置情報を作業支援装置1におけるポップアップ表示制御装置10の検出部11に出力する。
【0018】
指示装置4は、利用者の盲点を設定する盲点設定情報を作業支援装置1における盲点設定部20に出力する。
指示装置4は,操作ボタンなどを内蔵したVR(Virtual Reality)デバイスのコントローラ、キーボード、マウス、あるいはポインタ装置である。
【0019】
実施の形態1においては、指示装置4の一例として図3に示すようなVRデバイスのコントローラを用いている。
図3に示すVRデバイスのコントローラからなる指示装置4は、棒状のリモコンのような形状をしたコントローラであり、操作ボタン41を有する。
【0020】
指示装置4は、利用者が利用者の利き目を設定し、当該利用者の利き目に対する利き目設定情報として作業支援装置1における盲点設定部20に出力する。
指示装置4は、利用者が、利き目により表示装置2の表示画面2bにおける視野の中心を見ながら、操作ボタン41を操作して表示画面2bに表示したポインタを表示画面2b上で移動させ、利用者の利き目の視野からポインタが消失した位置を利用者の利き目の盲点の位置として設定する。
【0021】
指示装置4は、視野の中心位置を視線位置情報として、視野からポインタが消失した位置を盲点の位置情報として盲点設定部20に出力する。
同様に、利き目でない目に対しても、視野の中心位置を視線位置情報として、視野からポインタが消失した位置を盲点の位置情報として得てもよい。
【0022】
指示装置4は、ポップアップ表示制御装置10における付加情報表示制御部12の選択・切替部121に対して、初期設定において付加情報表示制御部12の簡略情報表示制御部122を選択する選択信号と、簡略情報表示制御部122から付加情報表示制御部12の詳細情報表示制御部123への切り替え及び詳細情報表示制御部123から簡略情報表示制御部122への切り替えの切替信号を選択・切替部121に出力する。
【0023】
作業支援装置1における盲点設定部20は、利用者の利き目における視線位置に対する盲点の位置を設定し、利き目の盲点設定情報を含む盲点情報を記憶する部分であり、設定部21と記憶部22とを有する。
設定部21は、指示装置4からの利き目設定情報と利き目に対する視線位置情報及び盲点の位置情報が入力され、利用者と利き目設定情報及び利き目の盲点設定情報を紐づけして盲点情報を生成し、生成した盲点情報を記憶部22に格納する。
【0024】
盲点設定情報は、視線位置情報と盲点の位置情報とにより、盲点の位置とその時の視線の位置との関係を示す。
すなわち、盲点設定情報は、視点とされた視野の中心位置と視野からポインタが消失した位置との間の長さを算出した値を示す情報である。
盲点設定情報は、利用者の利き目に対する視線位置と盲点との関係を示しており、利用者の利き目の視線位置が分かれば、盲点設定情報により、当該視線位置に対する利用者の盲点の位置が一義的に求められる。
【0025】
なお、利用者が複数人である場合には、設定部21が利用者毎に利き目設定情報及び利き目の盲点設定情報を紐づけして盲点情報を記憶部22に格納する。
また、同様に、利き目でない目に対しても、利き目に対する情報と併せて、設定部21が利用者毎に利き目でない設定情報及び盲点設定情報を紐づけして盲点情報を記憶部22に格納してもよい。
【0026】
作業支援装置1におけるコンテンツ格納部30は、表示装置2の表示画面2b上に表示された作業用コンテンツ(主要情報画像)上に、作業手順用コンテンツ(付加情報画像)をポップアップとして表示するための簡略情報31と詳細情報32の2種類の付加情報を格納する。
【0027】
簡略情報31は、作業手順を簡略に示す、例えば、項目名などの一単語もしくはイラストなどで一つの作業手順をシンボル的に示す画像情報である。
簡略情報31は、例えば、作業用コンテンツの一工程ごとに一つの作業手順を示す画像情報がある。
詳細情報32は、簡略情報31と1対1に対応し、作業手順を詳細に示す画像情報である。
【0028】
作業支援装置1におけるポップアップ表示制御装置10の検出部11は、表示装置2の表示画面2b上における利用者の利き目の視線位置に基づく視線位置情報及び利き目でない目の視線位置に基づく視線位置情報を視線検知装置3から受け、利き目の視線位置情報及び利き目でない目の視線位置情報を出力する。
【0029】
検出部11は、設定された利用者の利き目の盲点の位置情報を盲点設定部20の記憶部22から読み出し、視線検知装置3からの利き目の視線位置情報と記憶部22から読み出した盲点の位置情報とから表示画面2b上における利用者の現在の利き目の盲点の位置を検出し、現在の盲点の位置情報を出力する。
検出部11は、視線検知装置3からの視線位置情報に追従して利用者の現在の盲点の位置情報を出力する。
【0030】
ポップアップ表示制御装置10における付加情報表示制御部12は、検出部11により検出された表示装置2の表示画面2b上の利用者の盲点の位置に、表示装置2の表示画面2bに表示された主要情報画像に対する付加情報画像をポップアップとして表示させる。
【0031】
付加情報表示制御部12は、簡略情報31に基づく画像をポップアップとして表示させる簡略情報表示制御部122と、詳細情報32に基づく画像を簡略情報31に基づく画像に替えてポップアップとして表示させる詳細情報表示制御部123と、簡略情報表示制御部122と詳細情報表示制御部123の選択及び切り替えを行う選択・切替部121とを有する。
【0032】
選択・切替部121は、第1に、指示装置4からの初期設定における選択信号により、簡略情報表示制御部122を選択する。
選択・切替部121は、第2に、指示装置4からの切替信号により簡略情報表示制御部122から詳細情報表示制御部123への切り替え又は詳細情報表示制御部123から簡略情報表示制御部122への切り替えを簡略情報表示制御部122及び詳細情報表示制御部123へ指示する。
【0033】
選択・切替部121は、第3に、検出部11からの利き目でない目の視線位置情報による表示装置2の表示画面2b上における視線位置が、検出部11からの利き目の盲点の位置情報による表示装置2の表示画面2b上における利き目の盲点の位置に移動すると、簡略情報表示制御部122から詳細情報表示制御部123への切り替えを簡略情報表示制御部122及び詳細情報表示制御部123へ指示する。
【0034】
選択・切替部121による、表示画面2b上において、利き目でない目の視線位置が利き目の盲点の位置にあるとの判定は、検出部11が利き目の視線位置に追従させて利き目の盲点の位置情報を出力しているので、利き目でない目の視線位置情報を利き目の盲点の位置情報を遅延させた位置情報と比較することにより行う。
【0035】
選択・切替部121は、第4に、検出部11からの利き目でない目の視線位置情報による表示装置2の表示画面2b上における視線位置が、詳細情報表示制御部123からの詳細情報32に基づく表示装置2の表示画面2bに表示された画像の範囲から逸脱すると、詳細情報表示制御部123から簡略情報表示制御部122への切り替えを簡略情報表示制御部122及び詳細情報表示制御部123へ指示する。
【0036】
簡略情報表示制御部122は、選択・切替部121により選択されると、作業手順信号5に基づいた作業手順に対応した簡略情報31をコンテンツ格納部30から読み出し、読みだした簡略情報31に基づく画像を、表示装置2の表示画面2bに表示された主要情報画像における、検出部11からの利き目の盲点の位置情報による利き目の盲点の位置にポップアップとして表示させるための簡略情報を表示装置2に出力する。
簡略情報表示制御部122から表示装置2に出力する簡略情報31に基づく画像としてのポップアップの大きさが一般的な利用者の盲点の大きさの範囲内に収まる大きさである。
【0037】
簡略情報表示制御部122は、視線検知装置3からの視線位置情報に追従した検出部11からの利用者の利き目における現在の盲点の位置情報に基づき、表示装置2の表示画面2bに表示された主要情報画像上におけるポップアップの位置も検出部11からの盲点の位置情報に追従する簡略情報を表示装置2に出力する。
【0038】
簡略情報表示制御部122は、作業手順信号5の内容が変わるごとに作業手順に対応した簡略情報31をコンテンツ格納部30から読み出し、読みだした簡略情報31に基づく画像を、検出部11からの盲点の位置情報による利き目の盲点の位置にポップアップとして表示させるための簡略情報を表示装置2に出力する。
【0039】
詳細情報表示制御部123は、選択・切替部121により選択されると、表示装置2の表示画面2bに表示されている画像に対する簡略情報表示制御部122からの簡略情報31に対応した詳細情報32をコンテンツ格納部30から読み出し、読みだした詳細情報32に基づく画像を、簡略情報31に基づく画像が表示された表示装置2の表示画面2bの主要情報画像上の位置にポップアップとして表示させるための詳細情報を表示装置2に出力する。
【0040】
作業支援装置1は、図4に示すように、入力インタフェース部と、出力インタフェース部と、CPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はDSP(Digital Signal Processor)ともいう)と、半導体メモリであるRAM(Random Access Memory)と、記憶媒体である不揮発性半導体メモリのROM(Read Only Memory)とを備える。
【0041】
作業支援装置1は、表示装置2としてヘッドマウントディスプレイを用いる場合、入力インタフェース部と、出力インタフェース部と、CPUと、RAMと、ROMが実装されたプリント基板により構成され、表示装置2の本体2aの内部に収納される。
表示装置2として画面表示機能を有するディスプレイ装置を用いる場合、記憶媒体としてROMの代わりにDVD(Digital Versatile Disc)、CD(Compact Disc)、HDD(ハードディスクドライブ、Hard Disk Drive )、USBメモリを用いることができる。
【0042】
入力インタフェース部に、視線検知装置3からの視線位置情報と、指示装置4から盲点設定情報、視野の中心位置を示す視線位置情報、情報利き目設定情報、選択信号、及び切替信号が入力される。
出力インタフェース部からは、簡略情報表示制御部122からの簡略情報及び詳細情報表示制御部123からの詳細情報が表示装置2に出力される。
盲点設定部20の記憶部22はRAM又はROMにより構成され、コンテンツ格納部30はROMにより構成される。
【0043】
CPUは、入力インタフェース部と、RAMと、ROM、出力インタフェース部を制御、管理する。
作業支援装置1は、ROMに格納されたプログラムをRAMにロードし、CPUがRAMにロードされたプログラムに基づき各種処理を実行する。作業支援装置1は汎用的なOS(Operating System)で駆動される。
【0044】
記憶媒体としてのROMに格納され、CPUに実行させるプログラムは、主要情報画像が表示される表示画面上における利用者の利き目の視線位置と、利用者の利き目の視線位置と盲点の位置との関係とから表示画面上における利用者の利き目の盲点の位置を検出する手順と、表示画面上の利用者の利き目の盲点の位置に、主要情報画像に対する付加情報の内の簡略情報に基づく画像をポップアップとして表示させる手順と、表示画面上における利用者の利き目でない目の視線位置が、表示画面上における利用者の利き目の盲点の位置に移動されたことを検出すると、付加情報に基づく画像の切り替えを指示する手順と、付加情報に基づく画像の切り替えの指示を受けると、表示画面上の利用者の利き目の盲点の位置に、簡略情報に基づく画像であるポップアップに替えて主要情報に基づく画像に対する付加情報の内の詳細情報に基づく画像をポップアップとして表示させる手順とを備える。
【0045】
次に、実施の形態1に係る作業支援システムの動作について説明する。
まず、事前準備として、盲点設定部20の記憶部22に、利用者毎の、利用者と利き目設定情報及び利き目の盲点設定情報を紐づけした盲点情報を記憶させる。
利き目設定情報は、指示装置4の操作ボタン41の操作により表示装置2の表示画面2bに、図5に示すような利き目設定画面を表示させ、操作ボタン41の操作により利き目を選択すると、盲点設定部20の設定部21により、利用者に紐づけされた利き目設定情報として設定される。
【0046】
利き目の盲点設定情報は、指示装置4の操作ボタン41の操作により表示装置2の表示画面2bに、図6の上段に示すように、視野範囲FoVと視野の中心MとポインタPが表示される盲点設定画面を表示させ、利用者が、利き目により視野の中心Mを見ている状態で、操作ボタン41の操作によりポインタPを表示画面2b上で移動させ、利き目にてポインタPが消失、つまり見えなくなった時に、操作ボタン41の操作によりポインタPの位置情報が盲点設定部20の設定部21により得られる。
【0047】
盲点設定部20の設定部21が、視野の中心Mの位置座標とポインタPが消失したポインタPの位置情報とにより距離を算出し、算出した値を示す利き目の盲点設定情報を利用者と紐づけして設定される。図6において、盲点をBSで示している。
盲点設定情報は、視野の中心Mの位置からX軸上でポインタPが消失したポインタPの位置までの長さと、視野の中心Mの位置からY軸上でポインタPが消失したポインタPの位置までの長さとを座標軸上で表した情報である。
【0048】
このようにして、盲点設定部20の設定部21が、設定された利き目設定情報と設定された利き目の盲点設定情報を利用者と紐づけして利き目の盲点情報を生成し、生成した盲点情報を盲点設定部20の記憶部22に記憶させる。
なお、利き目でない目に対しても、利き目と同様に、盲点設定部20の設定部21が利き目でない目の盲点情報を生成し、生成した盲点情報を盲点設定部20の記憶部22に記憶させてもよい。
【0049】
次に、作業支援システムにおける作業支援装置1によるポップアップ表示方法を中心に、図7に示したフローチャートに基づいて説明する。
表示装置2であるヘッドマウントディスプレイを装着し、電源を投入し、主要情報画像を表示装置2の表示画面2bに表示させる。
【0050】
すると、ステップST1において、検出部11が視線検知装置3から利用者の利き目の視線位置を示す視線位置情報を取得し、盲点設定部20の記憶部22に格納された盲点情報を読み出し、視線位置情報と盲点情報の盲点設定情報とから表示装置2の表示画面2b上における利用者の利き目の盲点の位置を検出し、ステップST2に進む。
【0051】
ステップST2では、付加情報表示制御部12の選択・切替部121により簡略情報表示制御部122が選択され、簡略情報表示制御部122が、作業手順信号5に従い主要情報画像に対する付加情報の内の簡略情報31をコンテンツ格納部30から読み出し、検出部11により検出された表示画面2b上の利用者の利き目の盲点の位置に、読みだした簡略情報31に基づく画像をポップアップP1として表示画面2bに表示させる。
【0052】
この状態を図8にポップアップP1の表示イメージとして示す。
図8に示した主要情報画像MVは作業コンテンツの一例として参考までに示したものであり、主要情報画像MVの表示内容に特徴があるものではない。
【0053】
図8は、表示装置2が右目用スクリーン2R及び左目用スクリーン2Lを有し、右目の視野範囲RFoVと左目の視野範囲LFoVと、右目用スクリーン2R及び左目用スクリーン2Lにより表示された主要情報画像MVとポップアップP1と、主要情報画像MV上に位置する利用者の右目の視線位置(視点)RPoV及び盲点の位置(範囲)RBSと左目の視線位置(視点)LPoV及び盲点の位置(範囲)LBSを示している。
【0054】
なお、利用者の右目の視線位置(視点)RPoV及び盲点の位置(範囲)RBSと左目の視線位置(視点)LPoV及び盲点の位置(範囲)LBSは、説明の都合上、図8に示したが、表示画面2bに表示された主要情報画像MV上には表示されない。
【0055】
利用者は右目が利き目であり、図8において、右目の盲点の位置RBSにポップアップP1を表示している。ポップアップP1は右目の盲点の範囲(位置)RBS内に収まって表示される。
従って、利用者は、利き目の盲点の範囲(位置)RBS内にポップアップP1が表示されるため、利き目ではポップアップP1を視認及び認識できない。
利き目でない左目によりポップアップP1が視認されるものの、左目は利き目でないため、ポップアップP1が利用者の視界の邪魔にならず、目障りにならない。
【0056】
ステップST2は、最初に選択・切替部121が簡略情報表示制御部122を自動的に選択し、簡略情報表示制御部122が動作してポップアップP1を表示させるものとしたが、指示装置4の操作ボタン41を操作することにより、指示装置4が付加情報表示制御部12の選択・切替部121に簡略情報表示制御部122を選択する選択信号を出力することにより、ステップST2にてポップアップP1を表示させるものとしてもよい。
【0057】
ステップST3では、検出部11が、視線検知装置3からの利用者の利き目の視線位置RPoVの追跡に伴ない出力される視線位置情報を取得し、検出部11及び簡略情報表示制御部122がステップST1及びステップST2と同様に動作し、利用者の視線の動きに合わせて、利用者の利き目の盲点の位置RBSにポップアップP1を表示させる。
すなわち、利用者の利き目の盲点の位置RBSに、常にポップアップP1が追従して表示され、常に、ポップアップP1が利用者の視界の邪魔にならず、目障りにならない。
【0058】
ステップST4では、検出部11が、視線検知装置3から利用者の利き目でない目の視線位置LPoVを示す視線位置情報を取得し、取得した視線位置情報による視線位置LPoVが、ステップST3にて得た表示画面2b上における利用者の利き目の盲点の位置RBSにあるか否かを判定する。
【0059】
利き目でない目の視線位置LPoVが利用者の利き目の盲点の位置RBSに移動されていないと、ステップST3に戻る。
利き目でない目の視線位置LPoVが利用者の利き目の盲点の位置RBSに移動されたことを検出すると、検出部11が付加情報に基づく画像の切り替えを、付加情報表示制御部12の選択・切替部121に指示してステップST5に進む。
【0060】
ステップST5では、選択・切替部121が、付加情報表示制御部12の簡略情報表示制御部122から詳細情報表示制御部123への切り替えを簡略情報表示制御部122及び詳細情報表示制御部123へ指示する。
切り替えの指示を受けた詳細情報表示制御部123が、検出部11により検出された表示画面2b上の利用者の利き目の盲点の位置RBSに、簡略情報に基づく画像であるポップアップP1に替えて主要情報画像に対する付加情報の内の詳細情報に基づく画像をポップアップP2として表示させる。
ポップアップP2はポップアップP1に対応した詳細内容である。
【0061】
この状態を図9にポップアップP2の表示イメージとして示す。
図9中、図8と同一符号は同一又は相当部分を示す。
図9から明らかなように、ポップアップP2はポップアップP1が表示されていた位置に表示され、利用者の視線が移動した位置に、ポップアップP1の替わりにポップアップP2が表示される。
そのため、利用者が詳細な作業手順を知りたい時に、タイミングよく速やかに、しかも、視線を大きく動かすことなく、最小限の視線の移動によって詳細な作業手順を視認できる。
【0062】
なお、表示画面におけるポップアップP1からポップアップP2への表示切り替えを利き目でない目の視線位置LPoVの検出により行っているのに加え、指示装置4の操作ボタン41を操作することにより、指示装置4が付加情報表示制御部12の選択・切替部121に簡略情報表示制御部122から詳細情報表示制御部123への切替信号を出力することによって行ってもよい。
【0063】
ステップST6では,検出部が、視線検知装置3からの利用者の利き目でない目の視線位置情報による視線位置LPoVが、ステップST5により詳細情報表示制御部123が表示させたポップアップP2の位置(範囲)にあるか否かを判定する。
【0064】
利き目でない目の視線位置LPoVがポップアップP2の位置(範囲)に存在すると、ポップアップP2の表示を継続する。
利き目でない目の視線位置LPoVがポップアップP2の位置(範囲)から外れると、ステップST7に進む。
【0065】
ステップST7では、簡略情報表示制御部122が、表示画面2bに表示された主要情報画像MVの状況により、ポップアップP2の表示が必要な場面かどうかを判定する。
例えば、簡略情報表示制御部122に入力される作業手順信号5が最後であると、ポップアップP2の表示は不要と判断し、終了する。
作業手順信号5が最後でない場合は、ステップST2に戻り、検出部11及び簡略情報表示制御部122がポップアップP1を表示させる。
【0066】
ポップアップP1の表示に戻るか、ポップアップP1及びポップアップP2の表示を終了させるかは、指示装置4の操作ボタン41を操作することにより、行ってもよい。
【0067】
実施の形態1に係る作業支援システムでは、表示装置2としてヘッドマウントディスプレイを用いた場合を主として説明したが、表示装置2として、画面表示機能を有すディスプレイ装置であっても基本的な考え方は同じである。
【0068】
以上のように、実施の形態1に係る作業支援システムにおける作業支援装置1のポップアップ表示制御装置10は、表示画面上の利用者の盲点の位置に、主要情報に基づく画像に対する付加情報に基づく画像がポップアップとして表示されるように制御するので、表示画面に表示された主要情報に基づく画像にポップアップが表示されても、ポップアップが利用者に目障りにならない。
利用者の利き目の盲点の位置にポップアップを表示するように制御すれば、さらに、ポップアップが利用者に目障りにならない。
【0069】
ポップアップ表示制御装置10は、ポップアップとして表示させる付加情報が簡略情報と詳細情報の2種類あり、表示させる簡略情報に基づく画像としてのポップアップの大きさが、利用者の盲点の大きさの範囲内に収まる大きさに制御するので、簡略情報に基づくポップアップは視界の邪魔をせず、必要な時に詳細情報に基づくポップアップにより、詳細な内容を知ることができる。
【0070】
ポップアップ表示制御装置10は、利用者の利き目でない目の視線位置が利用者の利き目の盲点の位置に移動すると、簡略情報に基づく画像であるポップアップを詳細情報に基づくポップアップに切り替えるように制御するので、利用者が詳細内容を知りたい時に、タイミングよく速やかに、しかも、視線を大きく動かすことなく、最小限の視線の移動によって詳細内容を視認できる。
【0071】
実施の形態1に係る作業支援システムにおける作業支援装置1は、利用者の盲点位置を設定するための盲点設定部を有しているので、個人差がある盲点の位置を利用者毎に設定部21により盲点情報を設定して記憶部22に記憶させ、検出部11が記憶部に記憶された盲点情報を用いて利用者の表示装置2の表示画面上での盲点位置を検出しているため、利用者の盲点位置に確実にポップアップP1を表示できる。
簡易かつ安価である。
【0072】
なお、実施の形態1における構成要素の自由な組み合わせ、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0073】
本開示に係るポップアップ表示制御装置は、MRシステム用いて、MRディスプレイ上に作業用コンテンツを表示して仮想現実環境内で作業を行う作業支援システムに用いられるのに適している。
特に、MRディスプレイとしてヘッドマウントディスプレイを用いたものに適用するのが好適である。
【符号の説明】
【0074】
1 作業支援装置、10 ポップアップ表示制御装置、11 検出部、12 付加情報表示制御部、121 選択・切替部、122 簡略情報表示制御部、123 詳細情報表示制御部、20 盲点設定部、30 コンテンツ格納部、2 表示装置、3 視線検知装置、4 指示装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9