(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179145
(43)【公開日】2024-12-26
(54)【発明の名称】画像表示装置及び画像表示方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20241219BHJP
G02B 30/00 20200101ALI20241219BHJP
H04N 5/66 20060101ALI20241219BHJP
G06F 3/04842 20220101ALI20241219BHJP
G06F 3/01 20060101ALI20241219BHJP
G02B 27/02 20060101ALN20241219BHJP
【FI】
G09G5/00 550C
G09G5/00 510D
G09G5/00 530M
G02B30/00
H04N5/66 Z
G06F3/04842
G06F3/01 510
G02B27/02 Z
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023097741
(22)【出願日】2023-06-14
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100111235
【弁理士】
【氏名又は名称】原 裕子
(74)【代理人】
【識別番号】100170575
【弁理士】
【氏名又は名称】森 太士
(72)【発明者】
【氏名】堀切 一輝
(72)【発明者】
【氏名】田所 一美
(72)【発明者】
【氏名】熊岡 泰佑
(72)【発明者】
【氏名】伊藤 優雅
(72)【発明者】
【氏名】岡 尚志
(72)【発明者】
【氏名】宗形 亮太
(72)【発明者】
【氏名】藤井 優美
【テーマコード(参考)】
2H199
5C058
5C182
5E555
【Fターム(参考)】
2H199CA23
2H199CA25
2H199CA92
2H199CA94
2H199CA96
2H199CA97
5C058BA35
5C182AA02
5C182AA03
5C182AA31
5C182AB33
5C182BA56
5C182BC26
5C182CA01
5C182CA32
5C182CA35
5C182CB03
5E555AA22
5E555AA27
5E555BA38
5E555BB38
5E555BC08
5E555BD01
5E555BE17
5E555CA42
5E555CB65
5E555CC05
5E555DB53
5E555DC11
5E555DC31
5E555DC35
5E555DC45
5E555DC63
5E555DC73
5E555DC84
5E555DD06
5E555EA11
5E555EA22
5E555FA00
(57)【要約】
【課題】ユーザが注目しているオブジェクトに視線を誘導することができる画像表示装置を提供する。
【解決手段】判定部2aが、注目オブジェクトの全てが注視領域内に位置していると判定すると、画像処理部6aは、仮想空間画像における注視領域外の画像の情報量を低減させ、かつ、注目オブジェクトを第1の強調方法で強調する。判定部2aが、注目オブジェクトの一部が注視領域内に位置し、注目オブジェクトの残りの一部が注視領域外に位置していると判定すると、画像処理部6aは、仮想空間画像における注視領域外の注目オブジェクトの残りの一部以外の画像の情報量を低減させ、注視領域内に位置する前目オブジェクトの一部を第1の強調方法で強調し、かつ、注目オブジェクトの残りの一部を第1の強調方法とは異なる第2の強調方法で強調する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
仮想空間画像を表示する表示部と、
ユーザが前記表示部に表示されている前記仮想空間画像を見ているときの視線を検出する視線検出部と、
前記仮想空間画像に含まれるオブジェクトのうちの注目オブジェクトに関する情報を記憶する注目オブジェクト記憶部と、
前記視線検出部が検出した前記ユーザの視線に基づく前記ユーザの注視領域内に前記注目オブジェクトが位置しているか否かを判定する判定部と、
前記判定部が、前記注目オブジェクトの全てが前記注視領域内に位置していると判定すると、前記仮想空間画像における前記注視領域外の画像の情報量を低減させ、かつ、前記注目オブジェクトを第1の強調方法で強調し、前記判定部が、前記注目オブジェクトの一部が前記注視領域内に位置し、前記注目オブジェクトの残りの一部が前記注視領域外に位置していると判定すると、前記仮想空間画像における前記注視領域外の前記注目オブジェクトの前記残りの一部以外の画像の情報量を低減させ、前記注視領域内に位置する前記注目オブジェクトの前記一部を前記第1の強調方法で強調し、かつ、前記注目オブジェクトの前記残りの一部を前記第1の強調方法とは異なる第2の強調方法で強調する画像処理部と、
を備える画像表示装置。
【請求項2】
仮想空間画像を表示する第1の表示部と、
第1のユーザが前記第1の表示部に表示されている前記仮想空間画像を見ているときの視線を検出する視線検出部と、
前記仮想空間画像に含まれるオブジェクトのうちの前記第1のユーザが設定している第1の注目オブジェクトに関する情報を記憶する注目オブジェクト記憶部と、
前記視線検出部が検出した前記第1のユーザの視線に基づく前記第1のユーザの第1の注視領域内に前記第1の注目オブジェクトが位置しているか否かを判定する判定部と、
第2のユーザが使用する画像表示装置の第2の表示部に表示されている前記仮想空間画像を見ているときの視線に基づく前記第2のユーザの第2の注視領域内に、前記第2のユーザが設定している第2の注目オブジェクトが位置しているときに、前記第2の注目オブジェクトに関する情報を受信する通信部と、
前記通信部が受信した前記第2の注目オブジェクトに関する情報を一時的に記憶する一時記憶部と、
前記判定部が、前記第1の注目オブジェクトが前記第1の注視領域内に位置していると判定すると、前記仮想空間画像における前記第1の注視領域外の画像の情報量を低減させ、かつ、前記第1の注目オブジェクトを第1の強調方法で強調し、前記一時記憶部に前記第2の注目オブジェクトに関する情報が記憶されていると、前記第2の注目オブジェクトが前記第1の注目オブジェクトとは異なり、前記第2の注目オブジェクトが前記第1の注視領域外に位置していても、前記第2の注目オブジェクトを前記第1の強調方法とは異なる第3の強調方法で強調する画像処理部と、
を備える画像表示装置。
【請求項3】
前記判定部が、前記第1の注目オブジェクトが前記第1の注視領域内に位置していると判定すると、前記通信部は、前記第1の注目オブジェクトに関する情報を前記第2のユーザが使用する前記画像表示装置に送信する請求項2に記載の画像表示装置。
【請求項4】
ユーザが表示部に表示されている仮想空間画像を見ているときの視線を検出し、
検出された前記ユーザの視線に基づく前記ユーザの注視領域内に、前記仮想空間画像に含まれるオブジェクトのうちの注目オブジェクトが位置しているか否かを判定し、
前記注目オブジェクトの全てが前記注視領域内に位置していると判定されると、前記仮想空間画像における前記注視領域外の画像の情報量を低減させ、かつ、前記注目オブジェクトを第1の強調方法で強調して表示し、
前記注目オブジェクトの一部が前記注視領域内に位置し、前記注目オブジェクトの残りの一部が前記注視領域外に位置していると判定されると、前記仮想空間画像における前記注視領域外の前記注目オブジェクトの前記残りの一部以外の画像の情報量を低減させ、前記注視領域内に位置する前記注目オブジェクトの前記一部を前記第1の強調方法で強調し、かつ、前記注目オブジェクトの前記残りの一部を前記第1の強調方法とは異なる第2の強調方法で強調して表示する
画像表示方法。
【請求項5】
第1のユーザが使用する第1の画像表示装置の第1の表示部に表示されている仮想空間画像を見ているときの視線を検出し、
検出された前記第1のユーザの視線に基づく前記第1のユーザの注視領域内に、前記仮想空間画像に含まれるオブジェクトのうちの前記第1のユーザが設定している第1の注目オブジェクトが位置しているか否かを判定し、
第2のユーザが使用する画像表示装置の第2の表示部に表示されている前記仮想空間画像を見ているときの視線に基づく前記第2のユーザの第2の注視領域内に、前記第2のユーザが設定している第2の注目オブジェクトが位置していると、前記第2の注目オブジェクトに関する情報を受信して一時記憶部に一時的に記憶し、
前記第1の注目オブジェクトが前記第1の注視領域内に位置していると判定されると、前記仮想空間画像における前記第1の注視領域外の画像の情報量を低減させ、かつ、前記第1の注目オブジェクトを第1の強調方法で強調して表示し、
前記一時記憶部に前記第2の注目オブジェクトに関する情報が記憶されていると、前記第2の注目オブジェクトが前記第1の注目オブジェクトとは異なり、前記第2の注目オブジェクトが前記第1の注視領域外に位置していても、前記第2の注目オブジェクトを前記第1の強調方法とは異なる第3の強調方法で強調して表示する
画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置及び画像表示方法に関する。
【背景技術】
【0002】
特許文献1には、画像におけるユーザが注視する領域に含まれているオブジェクトを強調し、それ以外の領域に含まれているオブジェクトをぼかすことにより、自然界での実際の見え方に近い立体感を得ることができる画像表示装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の画像表示装置では、ユーザが注目しているオブジェクトまたは他のユーザに注目してもらいたいオブジェクトに視線を誘導することはできない。
【0005】
本発明は、ユーザが注目しているオブジェクトまたは他のユーザに注目してもらいたいオブジェクトに視線を誘導することができる画像表示装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、仮想空間画像を表示する表示部と、ユーザが前記表示部に表示されている前記仮想空間画像を見ているときの視線を検出する視線検出部と、前記仮想空間画像に含まれるオブジェクトのうちの注目オブジェクトに関する情報を記憶する注目オブジェクト記憶部と、前記視線検出部が検出した前記ユーザの視線に基づく前記ユーザの注視領域内に前記注目オブジェクトが位置しているか否かを判定する判定部と、前記判定部が、前記注目オブジェクトの全てが前記注視領域内に位置していると判定すると、前記仮想空間画像における前記注視領域外の画像の情報量を低減させ、かつ、前記注目オブジェクトを第1の強調方法で強調し、前記判定部が、前記注目オブジェクトの一部が前記注視領域内に位置し、前記注目オブジェクトの残りの一部が前記注視領域外に位置していると判定すると、前記仮想空間画像における前記注視領域外の前記注目オブジェクトの前記残りの一部以外の画像の情報量を低減させ、前記注視領域内に位置する前記注目オブジェクトの前記一部を前記第1の強調方法で強調し、かつ、前記注目オブジェクトの前記残りの一部を前記第1の強調方法とは異なる第2の強調方法で強調する画像処理部とを備える画像表示装置を提供する。
【0007】
本発明は、仮想空間画像を表示する第1の表示部と、第1のユーザが前記第1の表示部に表示されている前記仮想空間画像を見ているときの視線を検出する視線検出部と、前記仮想空間画像に含まれるオブジェクトのうちの前記第1のユーザが設定している第1の注目オブジェクトに関する情報を記憶する注目オブジェクト記憶部と、前記視線検出部が検出した前記第1のユーザの視線に基づく前記第1のユーザの第1の注視領域内に前記第1の注目オブジェクトが位置しているか否かを判定する判定部と、第2のユーザが使用する画像表示装置の第2の表示部に表示されている前記仮想空間画像を見ているときの視線に基づく前記第2のユーザの第2の注視領域内に、前記第2のユーザが設定している第2の注目オブジェクトが位置しているときに、前記第2の注目オブジェクトに関する情報を受信する通信部と、前記通信部が受信した前記第2の注目オブジェクトに関する情報を一時的に記憶する一時記憶部と、前記判定部が、前記第1の注目オブジェクトが前記第1の注視領域内に位置していると判定すると、前記仮想空間画像における前記第1の注視領域外の画像の情報量を低減させ、かつ、前記第1の注目オブジェクトを第1の強調方法で強調し、前記一時記憶部に前記第2の注目オブジェクトに関する情報が記憶されていると、前記第2の注目オブジェクトが前記第1の注目オブジェクトとは異なり、前記第2の注目オブジェクトが前記第1の注視領域外に位置していても、前記第2の注目オブジェクトを前記第1の強調方法とは異なる第3の強調方法で強調する画像処理部とを備える画像表示装置を提供する。
【0008】
本発明は、ユーザが表示部に表示されている仮想空間画像を見ているときの視線を検出し、検出された前記ユーザの視線に基づく前記ユーザの注視領域内に、前記仮想空間画像に含まれるオブジェクトのうちの注目オブジェクトが位置しているか否かを判定し、前記注目オブジェクトの全てが前記注視領域内に位置していると判定されると、前記仮想空間画像における前記注視領域外の画像の情報量を低減させ、かつ、前記注目オブジェクトを第1の強調方法で強調して表示し、前記注目オブジェクトの一部が前記注視領域内に位置し、前記注目オブジェクトの残りの一部が前記注視領域外に位置していると判定されると、前記仮想空間画像における前記注視領域外の前記注目オブジェクトの前記残りの一部以外の画像の情報量を低減させ、前記注視領域内に位置する前記注目オブジェクトの前記一部を前記第1の強調方法で強調し、かつ、前記注目オブジェクトの前記残りの一部を前記第1の強調方法とは異なる第2の強調方法で強調して表示する画像表示方法を提供する。
【0009】
本発明は、第1のユーザが使用する第1の画像表示装置の第1の表示部に表示されている仮想空間画像を見ているときの視線を検出し、検出された前記第1のユーザの視線に基づく前記第1のユーザの注視領域内に、前記仮想空間画像に含まれるオブジェクトのうちの前記第1のユーザが設定している第1の注目オブジェクトが位置しているか否かを判定し、第2のユーザが使用する画像表示装置の第2の表示部に表示されている前記仮想空間画像を見ているときの視線に基づく前記第2のユーザの第2の注視領域内に、前記第2のユーザが設定している第2の注目オブジェクトが位置していると、前記第2の注目オブジェクトに関する情報を受信して一時記憶部に一時的に記憶し、前記第1の注目オブジェクトが前記第1の注視領域内に位置していると判定されると、前記仮想空間画像における前記第1の注視領域外の画像の情報量を低減させ、かつ、前記第1の注目オブジェクトを第1の強調方法で強調して表示し、前記一時記憶部に前記第2の注目オブジェクトに関する情報が記憶されていると、前記第2の注目オブジェクトが前記第1の注目オブジェクトとは異なり、前記第2の注目オブジェクトが前記第1の注視領域外に位置していても、前記第2の注目オブジェクトを前記第1の強調方法とは異なる第3の強調方法で強調して表示する画像表示方法を提供する。
【発明の効果】
【0010】
本発明の画像表示装置及び画像表示方法によれば、ユーザが注目しているオブジェクトまたは他のユーザに注目してもらいたいオブジェクトに視線を誘導することができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、一実施形態に係る画像表示装置を示すブロック図である。
【
図2】
図2は、仮想空間画像提供サーバが一実施形態に係る画像表示装置に送信する仮想空間画像の一例を示す図である。
【
図3】
図3は、一実施形態に係る画像表示装置が備える注目オブジェクト記憶部、注視領域内オブジェクト一時記憶部の第1及び第2の記憶領域に記憶されている、または一時的に記憶される情報の第1の例を示す図である。
【
図4】
図4は、収納家具を第1のユーザの注目オブジェクトとして、第1のユーザが窓の方向を見ているときに、第1のユーザが使用する画像表示装置の表示部に表示される仮想空間画像を示す図である。
【
図5】
図5は、収納家具を第1のユーザの注目オブジェクトとして、第1のユーザが収納家具の方向を見ているときに、第1のユーザが使用する画像表示装置の表示部に表示される仮想空間画像を示す図である。
【
図6】
図6は、収納家具の一部が第1のユーザの注視領域内に位置し、収納家具の残りの一部が第1のユーザの注視領域外に位置しているときに、第1のユーザが使用する画像表示装置の表示部に表示される仮想空間画像を示す図である。
【
図7】
図7は、一実施形態に係る画像表示装置が備える注目オブジェクト記憶部、注視領域内オブジェクト一時記憶部の第1及び第2の記憶領域に記憶されている、または一時的に記憶される情報の第2の例を示す図である。
【
図8】
図8は、写真立てを第2のユーザの注目オブジェクトとして、第2のユーザが収納家具の方向を見ているときに、第2のユーザが使用する画像表示装置の表示部に表示される仮想空間画像を示す図である。
【
図9】
図9は、写真立てを第2のユーザの注目オブジェクトとして、第2のユーザが写真立ての方向を見ているときに、第2のユーザが使用する画像表示装置の表示部に表示される仮想空間画像を示す図である。
【
図10】
図10は、一実施形態に係る画像表示装置が備える注目オブジェクト記憶部、注視領域内オブジェクト一時記憶部の第1及び第2の記憶領域に記憶されている、または一時的に記憶される情報の第3の例を示す図である。
【
図11】
図11は、収納家具を第1のユーザの注目オブジェクト、写真立てを第2のユーザの注目オブジェクトとして、第1のユーザが収納家具の方向を見ており、第2のユーザが写真立ての方向を見ているときに、第1のユーザが使用する画像表示装置の表示部に表示される仮想空間画像を示す図である。
【
図12】
図12は、一実施形態に係る画像表示装置が備える注目オブジェクト記憶部、注視領域内オブジェクト一時記憶部の第1及び第2の記憶領域に記憶されている、または一時的に記憶される情報の第4の例を示す図である。
【
図13】
図13は、写真立てを第2のユーザの注目オブジェクト、収納家具を第1のユーザの注目オブジェクトとして、第2のユーザが写真立ての方向を見ており、第1のユーザが収納家具の方向を見ているときに、第2のユーザが使用する画像表示装置の表示部に表示される仮想空間画像を示す図である。
【
図14】
図14は、一実施形態に係る画像表示装置の動作、及び画像表示装置で実行される一実施形態に係る画像表示方法を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、一実施形態に係る画像表示装置及び画像表示方法について、添付図面を参照して説明する。
図1において、仮想空間画像提供サーバ20は、ネットワーク30を介して、仮想空間画像の画像データを画像表示装置10A(第1の画像表示装置)及び画像表示装置10B(第2の画像表示装置)に送信する。画像表示装置10A及び10Bは、ヘッドマウントディスプレイで構成されている。仮想空間画像提供サーバ20は、仮想空間画像の画像データを3つ以上の画像表示装置に送信してもよい。
【0013】
画像表示装置10Aは、通信部1a、判定部2a、注目オブジェクト記憶部3a、視線検出部4a、注視領域内オブジェクト一時記憶部5a、画像処理部6a、表示部7a(第1の表示部)を備える。注視領域内オブジェクト一時記憶部5aは、第1の記憶領域51a及び第2の記憶領域52aを含む。画像表示装置10Bは、通信部1b、判定部2b、注目オブジェクト記憶部3b、視線検出部4b、注視領域内オブジェクト一時記憶部5b、画像処理部6b、表示部7b(第2の表示部)を備える。注視領域内オブジェクト一時記憶部5bは、第1の記憶領域51b及び第2の記憶領域52bを含む。
【0014】
第1のユーザは、画像表示装置10Aを使用して、表示部7aに表示される、仮想空間画像提供サーバ20から送信される仮想空間画像を見る。第2のユーザは、画像表示装置10Bを使用して、表示部7bに表示される、仮想空間画像提供サーバ20から送信される仮想空間画像を見る。画像表示装置10Aと画像表示装置10Bの構成及び動作は同じである。以下、画像表示装置10Aの構成及び動作を主として説明し、画像表示装置10Bの構成及び動作については抜粋して説明する。
【0015】
ネットワーク30は、典型的にはインターネットである。通信部1aは、IPプロトコルを採用する通信回路で構成することができる。判定部2aは、マイクロコンピュータまたはマイクロプロセッサで構成することができる。注目オブジェクト記憶部3aは、任意の不揮発性のメモリで構成することができる。注視領域内オブジェクト一時記憶部5aは、任意の一時記憶用のメモリで構成することができる。
【0016】
視線検出部4aは、一例として、第1のユーザの目に近赤外線を照射して、目で反射した近赤外線を撮影することによって、第1のユーザの視線を検出する。視線検出部4aは、他の例として、第1のユーザの目を可視光カメラによって撮影して、例えば目頭を基準点として基準点に対する虹彩の位置に基づいて第1のユーザの視線を検出する。画像処理部6aは、ハードウェアの画像処理回路で構成されていてもよいし、マイクロプロセッサで構成されていてもよい。表示部7aは、液晶パネルまたは有機エレクトロルミネッセンス(有機EL)パネルで構成することができる。
【0017】
図2は、仮想空間画像提供サーバ20が画像表示装置10A及び10Bに送信する仮想空間画像の一例を示している。
図2に示すように、仮想空間画像は、部屋の空間を示す背景100に、オブジェクトとして、窓101、ソファ102、シーリングライト103、時計104、収納家具105、扉106、棚107、写真立て108を重畳した三次元画像である。仮想空間画像の画像データは、各オブジェクトを特定するための情報の一例としての各オブジェクトの名称と、背景100に各オブジェクトを重畳する位置を示す位置情報とを含んで構成されている。
【0018】
注目オブジェクト記憶部3aには、
図2に示す複数のオブジェクトのうち、第1のユーザが注目しているオブジェクト(以下、第1の注目オブジェクト)のオブジェクト名が記憶されている。第1の注目オブジェクトは、第2のユーザに注目してもらいたいオブジェクトであってもよい。第1の注目オブジェクトのオブジェクト名は第1の注目オブジェクトに関する情報である。注目オブジェクト記憶部3aに記憶するオブジェクトのオブジェクト名は、図示していない操作部によって任意に設定可能である。
【0019】
判定部2aは、視線検出部4aが検出する第1のユーザの視線に基づいて、第1のユーザの視線を中心とする注視領域を設定する。人間が注視する領域の大きさは知られているから、判定部2aは所定の大きさの例えば円形の注視領域を設定する。注視領域は横長の楕円形であってもよく、形状は限定されない。判定部2aは、第1のユーザの視線に基づく第1のユーザの注視領域内に注目オブジェクト記憶部3aにオブジェクト名が記憶されている第1の注目オブジェクトが位置しているか否かを判定する。
【0020】
判定部2aが第1のユーザの注視領域内に第1の注目オブジェクトが位置していると判定すると、判定部2aは、注視領域内オブジェクト一時記憶部5aの第1の記憶領域51aに、注目オブジェクト記憶部3aに記憶されているオブジェクト名を記憶させる。また、判定部2aは、ネットワーク30を介して画像表示装置10Bに、第1のユーザの注視領域内に位置している第1の注目オブジェクトのオブジェクト名を送信する。
【0021】
第1のユーザが視線を動かすことにより、判定部2aが、第1のユーザの注視領域から第1の注目オブジェクトが外れたと判定すると、判定部2aは、第1の記憶領域51aに記憶されているオブジェクト名を消去する。また、判定部2aは、画像表示装置10Bに、第1のユーザの注視領域から第1の注目オブジェクトが外れた旨を通知する。
【0022】
画像表示装置10Bは、画像表示装置10Aにおける以上の動作と同様に動作する。画像表示装置10Bにおいて、判定部2bが第2のユーザの注視領域内に第2のユーザが注目しているオブジェクト(以下、第2の注目オブジェクト)が位置していると判定したとする。すると、判定部2bは、注視領域内オブジェクト一時記憶部5bの第1の記憶領域51bに、注目オブジェクト記憶部3bに記憶されているオブジェクト名を記憶させる。また、判定部2bは、ネットワーク30を介して画像表示装置10Aに、第2のユーザの注視領域内に位置している第2の注目オブジェクトのオブジェクト名を送信する。
【0023】
第2のユーザが視線を動かすことにより、判定部2bが、第2のユーザの注視領域から第2の注目オブジェクトが外れたと判定すると、判定部2bは、第1の記憶領域51bに記憶されているオブジェクト名を消去する。また、判定部2bは、画像表示装置10Aに、第2のユーザの注視領域から第2の注目オブジェクトが外れた旨を通知する。
【0024】
画像表示装置10Aにおいて、通信部1aが第2のユーザの注視領域内に位置している第2の注目オブジェクトのオブジェクト名を受信すると、通信部1aは、注視領域内オブジェクト一時記憶部5aの第2の記憶領域52aに、受信したオブジェクト名を記憶させる。通信部1aが第2のユーザの注視領域から第2の注目オブジェクトが外れた旨の通知を受信すると、通信部1aは、第2の記憶領域52aに記憶されているオブジェクト名を消去する。
【0025】
画像表示装置10Bにおいて、通信部1bが第1のユーザの注視領域内に位置している第1の注目オブジェクトのオブジェクト名を受信すると、通信部1bは、注視領域内オブジェクト一時記憶部5bの第2の記憶領域52bに、受信したオブジェクト名を記憶させる。通信部1bが第1のユーザの注視領域から第1の注目オブジェクトが外れた旨の通知を受信すると、通信部1bは、第2の記憶領域52bに記憶されているオブジェクト名を消去する。
【0026】
図3は、注目オブジェクト記憶部3a、第1の記憶領域51a、第2の記憶領域52aに記憶されている、または一時的に記憶される情報の例(第1の例)を示している。第1の注目オブジェクトは収納家具105であるとする。
図3の(a)に示すように、注目オブジェクト記憶部3aには第1の注目オブジェクトのオブジェクト名「収納家具」が記憶されている。第1の注目オブジェクトを2つ以上としてもよく、第1の注目オブジェクトが2つ以上であれば、注目オブジェクト記憶部3aには、各第1の注目オブジェクトのオブジェクト名が記憶される。
【0027】
図4に示すように、第1のユーザは窓101の方向を見ており、第1のユーザの注視領域200A(第1の注視領域)内に収納家具105は位置していない。判定部2aは
図4のような状態であると判定する。このとき、画像表示装置10Bから第2のユーザの注視領域200B(第2の注視領域)(
図8、
図9等参照)内に位置している第2の注目オブジェクトのオブジェクト名を受信していないとする。この場合、
図3の(a)に示すように、第1の記憶領域51a及び第2の記憶領域52aにはオブジェクト名は記憶されていない。
【0028】
画像処理部6aは、第1の記憶領域51a及び第2の記憶領域52aに所定の時間ごとにアクセスして、第1の記憶領域51a及び第2の記憶領域52aにオブジェクト名が記憶されているか否かを確認する。所定の時間は短時間であるほどよい。
図3の(a)に示す状態で、画像処理部6aは、第1の記憶領域51a及び第2の記憶領域52aにオブジェクト名が記憶されていないことを認識する。
【0029】
画像処理部6aは、入力された仮想空間画像のうち、判定部2aが設定する注視領域200A内の画像を加工せず、注視領域200A外の画像の情報量を低減させるよう画像を加工する。画像処理部6aは、注視領域200A外の画像の色を省いて輝度情報のみとしたり、複数の画素よりなるブロックごとに色及び輝度を平均化して解像度を低減させたり、ポリゴンを簡素化させたりする。画像の情報量を低減させる加工方法は任意である。
図4において、仮想空間画像のうちの注視領域200A外の画像は、情報量を低減されていることを示す破線で示されている。
【0030】
画像処理部6aは、注視領域200A内と注視領域200A外とで画像が急激に変化しないように、注視領域200Aの端部から外側に徐々に情報量を低減させるよう画像を加工するとよい。
【0031】
画像処理部6aは、
図4に示すように加工した仮想空間画像を表示部7aに表示する。画像処理部6aが仮想空間画像を加工することにより、画像処理部6aにおけるデータ処理量を低減させることができる。
【0032】
図5は、第1のユーザが収納家具105の方向に視線を移動させることにより、注視領域200A内に収納家具105の全てが位置する状態を示している。判定部2aは
図5のような状態であると判定する。このとき、画像表示装置10Bから第2のユーザの注視領域200B内に位置している第2の注目オブジェクトのオブジェクト名を受信していないとする。この場合、
図3の(b)に示すように、第1の記憶領域51aには、第1のユーザの注視領域200A内に位置する第1の注目オブジェクトのオブジェクト名「収納家具」が記憶される。
【0033】
画像処理部6aは、第1の記憶領域51aに「収納家具」が記憶されていることを認識し、第2の記憶領域52aにはオブジェクト名が記憶されていないことを認識する。
図5に示すように、画像処理部6aは、注視領域200A外の画像の情報量を
図4と同様に低減させるよう画像を加工する。これに加えて、画像処理部6aは、注視領域200A内に位置する収納家具105を第1の強調方法で強調する。
【0034】
第1の強調方法としては、収納家具105の輪郭(エッジ)を第1の強調量で強調してもよいし、輪郭に第1の色を付してもよいし、輪郭を第1の強調量で強調し、かつ第1の色を付してもよい。第1の色は赤または青のような特定の色でもよいし、収納家具105の色に応じて選択した色であってもよい。
図5において、収納家具105は、第1の強調方法で強調されていることを示す太い実線で示されている。
【0035】
画像処理部6aは、
図5に示すように加工した仮想空間画像を表示部7aに表示する。画像処理部6aが仮想空間画像を加工することにより、画像処理部6aにおけるデータ処理量を低減させることができ、かつ、第1の注目オブジェクトである収納家具105を目立させることができる。
図5に示す仮想空間画像によれば、収納家具105に第1のユーザの視線を誘導することができる。
【0036】
図6は、収納家具105の一部が注視領域200A内に位置し、収納家具105の残りの一部が注視領域200A外に位置している場合を示している。判定部2aは
図6のような状態であると判定する。画像処理部6aは、入力された仮想空間画像を次のように加工する。画像処理部6aは、注視領域200A外の収納家具105の残りの一部以外の画像の情報量を
図4と同様に低減させるよう画像を加工する。画像処理部6aは、注視領域200A内に位置する収納家具105の一部を第1の強調方法で強調する。さらに、画像処理部6aは、注視領域200A外の収納家具105の残りの一部を第1の強調方法とは異なる第2の強調方法で強調する。
【0037】
第2の強調方法としては、注視領域200A外の収納家具105の残りの一部における輪郭を第1の強調方法よりも小さい第2の強調量で強調してもよいし、その輪郭に第1の色とは異なる第2の色を付してもよいし、その輪郭を第2の強調量で強調し、かつ第2の色を付してもよい。
図6において、収納家具105の残りの一部は、第2の強調方法で強調されていることを示す太い破線で示されている。第1の色を赤とした場合には第2の色を橙、第1の青とした場合には第2の色を水色のように、暖色または寒色で統一するとよい。
【0038】
画像処理部6aは、
図6に示すように加工した仮想空間画像を表示部7aに表示する。画像処理部6aが仮想空間画像を加工することにより、画像処理部6aにおけるデータ処理量を低減させることができ、かつ、第1の注目オブジェクトである収納家具105を目立させることができる。
図6に示す仮想空間画像によれば、収納家具105に第1のユーザの視線を誘導することができる。さらに、収納家具105の残りの一部を、第1の強調方法とは異なる第2の強調方法で強調することにより、収納家具105の全てが注視領域200A内に位置しているわけではないことを認識させることができる。
【0039】
図7は、注目オブジェクト記憶部3b、第1の記憶領域51b、第2の記憶領域52bに記憶されている、または一時的に記憶される情報の例(第2の例)を示している。第2の注目オブジェクトは写真立て108であるとする。
図7の(a)に示すように、注目オブジェクト記憶部3bには第2の注目オブジェクトのオブジェクト名「写真立て」が記憶されている。第2の注目オブジェクトを2つ以上としてもよく、第2の注目オブジェクトが2つ以上であれば、注目オブジェクト記憶部3bには、各第2の注目オブジェクトのオブジェクト名が記憶される。
【0040】
図8に示すように、第2のユーザは収納家具105の方向を見ており、第2のユーザの注視領域200B内に写真立て108は位置していない。判定部2bは
図8のような状態であると判定する。このとき、画像表示装置10Aから第1のユーザの注視領域200A内に位置している第1の注目オブジェクトのオブジェクト名を受信していないとする。この場合、
図7の(a)に示すように、第1の記憶領域51b及び第2の記憶領域52bにはオブジェクト名は記憶されていない。画像処理部6bは、第1の記憶領域51b及び第2の記憶領域52bにオブジェクト名が記憶されていないことを認識する。
【0041】
画像処理部6bは、入力された仮想空間画像のうち、判定部2bが設定する注視領域200B内の画像を加工せず、注視領域200B外の画像の情報量を
図4または
図5と同様に低減させるよう画像を加工する。
【0042】
図9は、第2のユーザが写真立て108の方向に視線を移動させることにより、注視領域200B内に写真立て108の全てが位置する状態を示している。判定部2bは
図9のような状態であると判定する。このとき、画像表示装置10Aから第1のユーザの注視領域200A内に位置している第1の注目オブジェクトのオブジェクト名を受信していないとする。この場合、
図7の(b)に示すように、第1の記憶領域51bには、第2のユーザの注視領域200B内に位置する第2の注目オブジェクトのオブジェクト名「写真立て」が記憶される。
【0043】
画像処理部6bは、第1の記憶領域51bに「写真立て」が記憶されていることを認識し、第2の記憶領域52bにオブジェクト名が記憶されていないことを認識する。
図9に示すように、画像処理部6bは、注視領域200B外の画像の情報量を
図4または
図5と同様に低減させるよう画像を加工する。これに加えて、画像処理部6bは、注視領域200B内に位置する写真立て108を第1の強調方法で強調する。
【0044】
画像処理部6bは、
図9に示すように加工した仮想空間画像を表示部7bに表示する。画像処理部6bが仮想空間画像を加工することにより、画像処理部6bにおけるデータ処理量を低減させることができ、かつ、第2の注目オブジェクトである写真立て108を目立させることができる。
図9に示す仮想空間画像によれば、写真立て108に第2のユーザの視線を誘導することができる。
【0045】
写真立て108の一部が注視領域200B内に位置し、写真立て108の残りの一部が注視領域200B外に位置している場合、画像処理部6bは
図6と同様に仮想空間画像を加工する。
【0046】
図10は、注目オブジェクト記憶部3a、第1の記憶領域51a、第2の記憶領域52aに記憶されている、または一時的に記憶される情報の他の例(第3の例)を示している。
図10の(a)は、
図3の(a)と同じである。
【0047】
図11に示すように、第1のユーザの注視領域200A内に収納家具105の全てが位置する状態であるとする。このとき、通信部1aは、画像表示装置10Bから第2のユーザの注視領域200B内に位置している第2の注目オブジェクトのオブジェクト名「写真立て」を受信したとする。この場合、
図10の(b)に示すように、第1の記憶領域51aには、第1のユーザの注視領域200A内に位置する第1の注目オブジェクトのオブジェクト名「収納家具」が記憶される。第2の記憶領域52aには、第2のユーザの注視領域200B内に位置する第2の注目オブジェクトのオブジェクト名「写真立て」が記憶される。
【0048】
画像処理部6aは、第1の記憶領域51aに「収納家具」が記憶されていることを認識し、第2の記憶領域52aに「写真立て」が記憶されていることを認識する。
図11に示すように、画像処理部6aは、注視領域200A外の写真立て108を除く画像の情報量を
図5と同様に低減させるよう画像を加工する。これに加えて、画像処理部6aは、注視領域200A内に位置する収納家具105を第1の強調方法で強調する。
【0049】
さらに、画像処理部6aは、第2の注目オブジェクトが第1の注目オブジェクトとは異なっていて、第2の注目オブジェクトが注視領域200A外に位置していても、第2の注目オブジェクトである写真立て108を第1の強調方法とは異なる第3の強調方法で強調する。
【0050】
第3の強調方法としては、写真立て108の輪郭を第1の強調方法よりも小さい第3の強調量で強調してもよいし、輪郭に第1及び第2の色とは異なる第3の色を付してもよいし、輪郭を第3の強調量で強調し、かつ第3の色を付してもよい。第3の強調量は、第2の強調量よりも大きくてもよい。
図11において、写真立て108は、第3の強調方法で強調されていることを示す太い一点鎖線で示されている。第1の色を赤とした場合には第3の色を青、第1の色を青とした場合には第3の赤のように、暖色と寒色とで色を分けるとよい。
【0051】
画像処理部6aは、
図11に示すように加工した仮想空間画像を表示部7aに表示する。画像処理部6aが仮想空間画像を加工することにより、画像処理部6aにおけるデータ処理量を低減させることができ、かつ、第1の注目オブジェクトである収納家具105を目立させることができる。さらに、第2の注目オブジェクトである写真立て108を目立させることができる。
図11に示す仮想空間画像によれば、第1のユーザと第2のユーザとで、第2の注目オブジェクトを共有することができる。
図11に示す仮想空間画像によれば、第1のユーザに注目してもらいたい第2の注目オブジェクトに第1のユーザの視線を誘導することができる。
【0052】
図12は、注目オブジェクト記憶部3b、第1の記憶領域51b、第2の記憶領域52bに記憶されている、または一時的に記憶される情報の他の例(第4の例)を示している。
図12の(a)は、
図7の(a)と同じである。
【0053】
図13に示すように、第2のユーザの注視領域200B内に写真立て108の全てが位置する状態であるとする。このとき、通信部1bは、画像表示装置10Aから第1のユーザの注視領域200A内に位置している第1の注目オブジェクトのオブジェクト名「収納家具」を受信したとする。この場合、
図12の(b)に示すように、第1の記憶領域51bには、第2のユーザの注視領域200B内に位置する第2の注目オブジェクトのオブジェクト名「写真立て」が記憶される。第2の記憶領域52bには、第1のユーザの注視領域200A内に位置する第1の注目オブジェクトのオブジェクト名「収納家具」が記憶される。
【0054】
画像処理部6bは、第1の記憶領域51bに「写真立て」が記憶されていることを認識し、第2の記憶領域52bに「収納家具」が記憶されていることを認識する。
図13に示すように、画像処理部6bは、注視領域200B外の収納家具105を除く画像の情報量を
図9と同様に低減させるよう画像を加工する。これに加えて、画像処理部6bは、注視領域200B内に位置する写真立て108を第1の強調方法で強調する。
【0055】
さらに、画像処理部6bは、第1の注目オブジェクトが第2の注目オブジェクトとは異なっていて、第1の注目オブジェクトが注視領域200B外に位置していても、第1の注目オブジェクトである収納家具105を第3の強調方法で強調する。
【0056】
画像処理部6bは、
図13に示すように加工した仮想空間画像を表示部7bに表示する。画像処理部6bが仮想空間画像を加工することにより、画像処理部6bにおけるデータ処理量を低減させることができ、かつ、第2の注目オブジェクトである写真立て108を目立させることができる。さらに、第1の注目オブジェクトである収納家具105を目立させることができる。
図13に示す仮想空間画像によれば、第2のユーザと第1のユーザとで、第1の注目オブジェクトを共有することができる。
図13に示す仮想空間画像によれば、第2のユーザに注目してもらいたい第1の注目オブジェクトに第2のユーザの視線を誘導することができる。
【0057】
図14に示すフローチャートを用いて、画像表示装置10A及び10Bの動作、及び画像表示装置10A及び10Bで実行される画像表示方法を改めて説明する。ここでは、代表して、画像表示装置10Aの動作及び画像表示装置10Aで実行される画像表示方法を説明する。画像表示装置10Aにおける処理が開始されると、判定部2aは、ステップS1にて、第1のユーザの注視領域200Aを設定する。判定部2aは、ステップS2にて、注視領域200A内に注目オブジェクトが存在するか否かを判定する。
【0058】
ステップS2にて注視領域内に注目オブジェクトが存在しなければ(NO)、処理はステップS6に移行される。ステップS2にて注視領域200A内に注目オブジェクトが存在すれば(YES)、判定部2aは、ステップS3にて、注目オブジェクトの全てが注視領域200A内に存在するか否かを判定する。
【0059】
ステップS3にて注目オブジェクトの全てが注視領域200A内に存在すれば(YES)、画像処理部6aは、ステップS4にて、注視領域200A内の注目オブジェクトに第1の強調処理を施して、処理をステップS6に移行させる。ステップS3にて注目オブジェクトの全てが注視領域200A内に存在しなければ(NO)、画像処理部6aは、ステップS5にて、注目オブジェクトの注視領域200A内に位置する一部に第1の強調処理を施し、注目オブジェクトの注視領域200A外に位置する残りの一部に第2の強調処理を施して、処理をステップS6に移行させる。
【0060】
画像処理部6aは、ステップS6にて、第2の記憶領域52aにアクセスして、第2の記憶領域52aにオブジェクト名が記憶されていれば記憶されているオブジェクト名を取得する。画像処理部6aは、ステップS7にて、他のユーザ(ここでは第2のユーザ)の注視領域200B内に注目オブジェクトが存在するか否かを判定する。第2の記憶領域52aにオブジェクト名が記憶されていなければ、他のユーザの注視領域200B内に注目オブジェクトは存在しないということであり、第2の記憶領域52aにオブジェクト名が記憶されていれば、他のユーザの注視領域200B内に注目オブジェクトが存在するということである。
【0061】
ステップS7にて他のユーザの注視領域200B内に注目オブジェクトが存在しなければ(NO)、処理はステップS9に移行される。ステップS7にて他のユーザの注視領域200B内に注目オブジェクトが存在すれば(YES)、画像処理部6aは、ステップS8にて、他のユーザの注視領域200B内の注目オブジェクトに第3の強調処理を施して、処理をステップS9に移行させる。
【0062】
画像表示装置10Aは、ステップS9にて、仮想空間画像の表示を終了するか否かを判定する。仮想空間画像の表示を終了しなければ(NO)、画像表示装置10AはステップS1以降の処理を繰り返す。仮想空間画像の表示を終了すれば(YES)、画像表示装置10Aは処理を終了させる。
【0063】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。画像表示装置10A及び10Bは、中央処理装置(CPU)及びメモリを備えるコンピュータ機器で構成されていてもよく、CPUが
図14に示すような処理を実行させるコンピュータプログラムを実行することによって、
図1に示す構成が実現されてもよい。
【符号の説明】
【0064】
1a,1b 通信部
2a,2b 判定部
3a,3b 注目オブジェクト記憶部
4a,4b 視線検出部
5a,5b 注視領域内オブジェクト一時記憶部
6a,6b 画像処理部
7a,7b 表示部
10A,10B 画像表示装置
20 仮想空間画像提供サーバ
30 ネットワーク