特許 7595847 視線に基づくメディア表示装置の制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-29

(45)【発行日】2024-12-09

(54)【発明の名称】視線に基づくメディア表示装置の制御

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241202BHJP

   H04N 5/44 20110101ALI20241202BHJP

   G06F 3/04842 20220101ALI20241202BHJP

   G09G 5/00 20060101ALI20241202BHJP

   G09G 5/08 20060101ALI20241202BHJP

   G09G 5/377 20060101ALI20241202BHJP

   G09G 5/37 20060101ALI20241202BHJP

   G09G 5/38 20060101ALI20241202BHJP

【ＦＩ】

G06F3/01 570

H04N5/44 003

G06F3/04842

G09G5/00 510V

G09G5/00 510H

G09G5/00 550C

G09G5/00 550B

G09G5/08 D

G09G5/08 M

G09G5/377 100

G09G5/37 100

G09G5/00 530M

G09G5/38

G09G5/37 320

【請求項の数】 20

(21)【出願番号】P 2023547247

(86)(22)【出願日】2022-02-12

(65)【公表番号】

(43)【公表日】2024-03-19

(86)【国際出願番号】 IB2022051260

(87)【国際公開番号】W WO2022172224

(87)【国際公開日】2022-08-18

【審査請求日】2023-08-03

(31)【優先権主張番号】17/175,881

(32)【優先日】2021-02-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】キャンデロア ブラント

(72)【発明者】

【氏名】ネジャット マヤル マイク

(72)【発明者】

【氏名】シンタニ ピーター

(72)【発明者】

【氏名】ブランチャード ロバート

【審査官】槙 俊秋

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１５３７０１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０２０５４２７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１１／０２６７２９１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／００８１２９９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０２７０４４２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０００９３３４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００８／０１６５１５３（ＵＳ，Ａ１）

【文献】米国特許第９８２９７０８（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２００７／０２２６６５４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１－３／０４８９５

Ｈ０４Ｎ ５／３８－５／４６

Ｇ０９Ｇ ５／００－５／４２

(57)【特許請求の範囲】

【請求項1】

電子装置であって、
画像取り込み装置と、
複数のユーザインターフェイス（ＵＩ）要素を表示するように構成された第１のディスプレイ画面と、
前記画像取り込み装置及び前記第１のディスプレイ画面に結合された回路と、
を備え、前記複数のＵＩ要素の各々の選択が、前記電子装置に通信可能に結合されたメディア表示装置を制御し、前記回路は、
前記電子装置のユーザの第１の画像を取り込むように前記画像取り込み装置を制御し、
前記ユーザの前記取り込まれた第１の画像に基づいて、前記表示された複数のＵＩ要素のうちの第１のＵＩ要素上の前記ユーザの視線の位置を決定し、
一定の時間間隔にわたる前記第１のＵＩ要素上の前記視線の位置の決定に基づいて前記複数のＵＩ要素のうちの前記第１のＵＩ要素を選択し、
前記複数のＵＩ要素のうちの前記第１のＵＩ要素の前記選択に基づいて前記メディア表示装置に第１の制御信号を送信し、
前記送信された第１の制御信号に基づいて、前記送信された第１の制御信号に基づく前記メディア表示装置の制御を示すフィードバック画像を前記メディア表示装置から受け取り、
前記受け取られたフィードバック画像を前記表示された複数のＵＩ要素と共に表示するように前記第１のディスプレイ画面を制御する、
ように構成される、
ことを特徴とする電子装置。

【請求項2】

前記複数のＵＩ要素の各ＵＩ要素は、前記メディア表示装置に関連する異なる機能に関連する、
請求項１に記載の電子装置。

【請求項3】

前記回路は、前記複数のＵＩ要素上の前記ユーザの前記視線の位置の変化に対応する前記複数のＵＩ要素上のカーソルの移動を制御するようにさらに構成される、
請求項１に記載の電子装置。

【請求項4】

前記回路は、前記複数のＵＩ要素のうちの前記第１のＵＩ要素の前記選択に基づいて前記第１のＵＩ要素を強調表示するようにさらに構成される、
請求項１に記載の電子装置。

【請求項5】

前記メディア表示装置から受け取られた前記フィードバック画像は、前記送信された第１の制御信号に基づく前記メディア表示装置の制御を示すＵＩアイコンに対応する、
請求項１に記載の電子装置。

【請求項6】

前記メディア表示装置から受け取られた前記フィードバック画像は、前記送信された第１の制御信号に基づいて前記メディア表示装置の第２のディスプレイ画面上に表示されているメディアコンテンツに対応する、
請求項１に記載の電子装置。

【請求項7】

前記回路は、前記メディア表示装置の前記第２のディスプレイ画面上に表示されているメディアコンテンツに対応する前記表示されたフィードバック画像上の前記表示された複数のＵＩ要素のオーバーレイを制御するようにさらに構成される、
請求項６に記載の電子装置。

【請求項8】

前記回路は、前記表示されたフィードバック画像上にオーバーレイ表示される前記表示された複数のＵＩ要素の不透明度を制御するようにさらに構成される、
請求項７に記載の電子装置。

【請求項9】

前記回路は、前記複数のＵＩ要素のうちの１又は２以上のＵＩ要素の選択に基づいて、前記メディア表示装置の前記第２のディスプレイ画面上に表示されているメディアコンテンツに関連する情報を表示するように前記第１のディスプレイ画面を制御するようさらに構成される、
請求項６に記載の電子装置。

【請求項10】

前記回路は、前記複数のＵＩ要素を前記第１のディスプレイ画面の第１の部分に表示し、前記受け取られたフィードバック画像を前記第１のディスプレイ画面の前記第１の部分とは異なる第２の部分に表示するように前記第１のディスプレイ画面を制御するようさらに構成される、
請求項１に記載の電子装置。

【請求項11】

前記回路は、前記第１のディスプレイ画面上に表示された前記複数のＵＩ要素のうちの前記第１のＵＩ要素を選択するために、前記ユーザの顔の表情に関連するジェスチャ又は前記ユーザの頭に関連するジェスチャの少なくとも一方を決定するようにさらに構成される、
請求項１に記載の電子装置。

【請求項12】

前記回路は、前記第１のディスプレイ画面上に表示された前記複数のＵＩ要素のうちの１又は２以上のＵＩ要素を通じて前記メディア表示装置の１又は２以上の構成設定を制御するための案内情報を前記ユーザのためにレンダリングするようにさらに構成される、
請求項１に記載の電子装置。

【請求項13】

前記回路は、前記受け取られたフィードバック画像に基づいて、前記複数のＵＩ要素のうちの一連のＵＩ要素を前記第１のディスプレイ画面上に表示するように前記第１のディスプレイ画面を制御するようさらに構成される、
請求項１に記載の電子装置。

【請求項14】

画像取り込み装置と、複数のユーザインターフェイス（ＵＩ）要素を表示するように構成された第１のディスプレイ画面とを含む電子装置であって、前記複数のＵＩ要素の各々の選択が、前記電子装置に通信可能に結合されたメディア表示装置を制御する、電子装置において、
前記電子装置のユーザの第１の画像を取り込むように前記画像取り込み装置を制御することと、
前記ユーザの前記取り込まれた第１の画像に基づいて、前記表示された複数のＵＩ要素のうちの第１のＵＩ要素上の前記ユーザの視線の位置を決定することと、
一定の時間間隔にわたる前記第１のＵＩ要素上の前記視線の位置の決定に基づいて前記複数のＵＩ要素のうちの前記第１のＵＩ要素を選択することと、
前記複数のＵＩ要素のうちの前記第１のＵＩ要素の前記選択に基づいて前記メディア表示装置に第１の制御信号を送信することと、
前記送信された第１の制御信号に基づいて、前記送信された第１の制御信号に基づく前記メディア表示装置の制御を示すフィードバック画像を前記メディア表示装置から受け取ることと、
前記受け取られたフィードバック画像を前記表示された複数のＵＩ要素と共に表示するように前記第１のディスプレイ画面を制御することと、
を含むことを特徴とする方法。

【請求項15】

前記複数のＵＩ要素上の前記ユーザの前記視線の位置の変化に対応する前記複数のＵＩ要素上のカーソルの移動を制御することをさらに含む、
請求項１４に記載の方法。

【請求項16】

前記メディア表示装置から受け取られた前記フィードバック画像は、前記送信された第１の制御信号に基づいて前記メディア表示装置の第２のディスプレイ画面上に表示されているメディアコンテンツに対応する、
請求項１４に記載の方法。

【請求項17】

前記メディア表示装置の前記第２のディスプレイ画面上に表示されているメディアコンテンツに対応する前記表示されたフィードバック画像上の前記表示された複数のＵＩ要素のオーバーレイを制御することをさらに含む、
請求項１６に記載の方法。

【請求項18】

前記表示されたフィードバック画像上にオーバーレイ表示される前記表示された複数のＵＩ要素の不透明度を制御することをさらに含む、
請求項１７に記載の方法。

【請求項19】

前記複数のＵＩ要素を前記第１のディスプレイ画面の第１の部分に表示し、前記受け取られたフィードバック画像を前記第１のディスプレイ画面の前記第１の部分とは異なる第２の部分に表示するように前記第１のディスプレイ画面を制御することをさらに含む、
請求項１４に記載の方法。

【請求項20】

コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、画像取り込み装置と第１のディスプレイ画面とを含む電子装置によって実行された時に、前記電子装置に、
前記第１のディスプレイ画面を、複数のユーザインターフェイス（ＵＩ）要素を表示するように制御することであって、前記複数のＵＩ要素の各々の選択が、前記電子装置に通信可能に結合されたメディア表示装置を制御する、ことと、
前記電子装置のユーザの第１の画像を取り込むように前記画像取り込み装置を制御することと、
前記ユーザの前記取り込まれた第１の画像に基づいて、前記表示された複数のＵＩ要素のうちの第１のＵＩ要素上の前記ユーザの視線の位置を決定することと、
一定の時間間隔にわたる前記第１のＵＩ要素上の前記視線の位置の決定に基づいて前記複数のＵＩ要素のうちの前記第１のＵＩ要素を選択することと、
前記複数のＵＩ要素のうちの前記第１のＵＩ要素の前記選択に基づいて前記メディア表示装置に第１の制御信号を送信することと、
前記送信された第１の制御信号に基づいて、前記送信された第１の制御信号に基づく前記メディア表示装置の制御を示すフィードバック画像を前記メディア表示装置から受け取ることと、
前記受け取られたフィードバック画像を前記表示された複数のＵＩ要素と共に表示するように前記第１のディスプレイ画面を制御することと、
を含む動作を実行させる、ことを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照／引用による組み入れ〕
なし

【0002】

本開示の様々な実施形態は、ユーザの視線に基づくメディア表示装置の制御に関する。具体的には、本開示の様々な実施形態は、メディア表示装置に結合された電子装置上の視線に基づくメディア表示装置の制御のための装置及び方法に関する。

【背景技術】

【0003】

近年のメディアコンテンツ再生分野の進歩は、メディア表示装置（例えば、テレビ）を制御するための様々な技術の発展をもたらした。一般に、ユーザは、メディア表示装置のチャンネルの切り替え及びメディア表示装置の音量制御などのメディア表示装置の機能の制御のためにリモコン装置を利用することができる。いくつかの状況では、例えば運動障害などの神経発達障害などの身体障害を有するユーザがメディア表示装置にアクセスすることがある。ユーザは、例えばリモコンを介してメディア表示装置の機能を制御することに困難を覚える場合がある。従って、ユーザは、メディア表示装置を制御するために支援を必要とすることがある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。

【課題を解決するための手段】

【0005】

実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、視線に基づいてメディア表示装置を制御する電子装置、及びこのような電子装置を介したメディア表示装置の制御方法を提供する。

【0006】

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態による、ユーザ入力としての視線に基づくメディア表示装置の制御のための例示的なネットワーク環境を示すブロック図である。

【図2】本開示の実施形態による、図１の例示的な電子装置を示すブロック図である。

【図3A】本開示の実施形態による、図１のメディア表示装置の制御のための例示的なシナリオを図３Ｂと共に示す図である。

【図3B】本開示の実施形態による、図１のメディア表示装置の制御のための例示的なシナリオを図３Ａと共に示す図である。

【図4A】本開示の実施形態による、図１のメディア表示装置の制御のための他の例示的なシナリオを図４Ｂと共に示す図である。

【図4B】本開示の実施形態による、図１のメディア表示装置の制御のための他の例示的なシナリオを図４Ａと共に示す図である。

【図5A】本開示の実施形態による、図１のメディア表示装置の制御のための他の例示的なシナリオを図５Ｂと共に示す図である。

【図5B】本開示の実施形態による、図１のメディア表示装置の制御のための他の例示的なシナリオを図５Ａと共に示す図である。

【図6】本開示の実施形態による、ユーザ入力としての視線に基づくメディア表示装置の制御のための例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0008】

ユーザ入力としてのユーザの視線に基づいてメディア表示装置を制御する本開示の電子装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、ユーザ（例えば、身体障害のある又はないユーザ）が利用できる電子装置（例えば、電子タブレット又はスマートフォン）を提供する。電子装置は、複数のユーザインターフェイス（ＵＩ）要素（例えば、以下に限定するわけではないが、電源制御アイコン及び音量制御アイコンなどの制御アイコン、ナビゲーションアイコン、又は数字アイコン）を表示する第１のディスプレイ画面を含むことができる。電子装置は、ユーザによる複数のＵＩ要素の各々の選択に基づいて、電子装置に通信可能に結合されたメディア表示装置（例えば、テレビ）を制御することができる。電子装置は、電子装置のユーザの第１の画像を取り込むように画像取り込み装置（例えば、電子タブレットの内蔵フロントカメラ）を制御するよう構成することができる。ユーザの第１の画像は、第１のユーザの少なくとも顔の画像を含むことができる。電子装置は、取り込まれたユーザの第１の画像に基づいて、表示された複数のＵＩ要素のうちの第１のＵＩ要素上のユーザの視線の位置を決定するように構成することができる。例えば、第１のＵＩ要素は、選択時に、電子装置に通信可能に結合されたメディア表示装置上で現在レンダリングされているメディアコンテンツの音量を上げることができる、「音量増加アイコン」などの制御アイコンとすることができる。電子装置は、一定の時間間隔にわたる第１のＵＩ要素上の視線の位置の決定に基づいて、複数のＵＩ要素のうちの第１のＵＩ要素を選択するようにさらに構成することができる。例えば、この時間間隔は（３秒以上などの）数秒とすることができる。ある例では、複数のＵＩ要素のうちの第１のＵＩ要素の選択が、第１のＵＩ要素における３秒の時間間隔にわたる視線に基づくことができる。

【0009】

電子装置は、複数のＵＩ要素のうちの第１のＵＩ要素の選択に基づいて、メディア表示装置に第１の制御信号を送信するようにさらに構成することができる。第１の制御信号は、複数のＵＩ要素のうちの第１のＵＩ要素の選択時に、メディア表示装置に関連し得る（音量増加などの）機能を作動させることに対応することができる。ある例では、第１の制御信号が、「音量増加アイコン」などの第１のＵＩ要素の選択時に、メディア表示装置上でレンダリングされているメディアコンテンツの音量を上げることを示す短距離電波信号に対応することができる。電子装置は、送信された第１の制御信号に基づいて、メディア表示装置からフィードバック画像を受け取るようにさらに構成することができる。受け取られるフィードバック画像は、送信された第１の制御信号に基づくメディア表示装置の制御を示すことができる。ある実施形態によれば、受け取られるフィードバック画像は、現在レンダリングされているメディアコンテンツと、メディア表示装置上に表示されているレンダリング中のメディアコンテンツの音量の増加を示すＵＩアイコンとに対応することができる。電子装置は、受け取られたフィードバック画像を表示された複数のＵＩ要素と共に表示するように第１のディスプレイ画面を制御するようさらに構成することができる。

【0010】

例示的な実装では、電子装置を、ユーザがメディア表示装置を制御するために電子装置の複数のＵＩ要素を注視できる位置に配置することができる。電子装置は、ユーザがメディア表示装置に関連する異なる機能を制御するために電子装置上の複数のＵＩ要素の異なるＵＩ要素を選択することを可能にすることができる。本開示の電子装置は、ユーザ入力としての視線に基づいてメディア表示装置を制御する機能をユーザ（例えば、身体障害のある又はないユーザ）に提供することができる。従って、電子装置は、ユーザが視線に基づいてメディア表示装置を制御することを可能にし、従ってユーザが別のユーザからの支援を伴わずにメディア表示装置を制御することを可能にする。

【0011】

さらに、電子装置は、複数のＵＩ要素と、メディアコンテンツの一部を含むことができる受け取られたフィードバック画像とを同時に表示することができる。いくつかの実施形態では、フィードバック画像が、選択された第１のＵＩ要素に対応するＵＩアイコンを含むこともできる。電子装置上にフィードバック画像と複数のＵＩ要素とを同時に表示することで、ユーザは、メディアコンテンツ及び／又はＵＩアイコンを見ながら、選択された第１のＵＩ要素に視線を集中させることができ、この結果、電子装置を介してメディア表示装置を制御しながら電子装置とメディア表示装置との間で視線の位置を切り替える必要性をなくすことができる。従って、開示する電子装置は、（現在レンダリングされているメディアコンテンツの部分に対応する）フィードバック画像と複数のＵＩ要素とを電子装置上に同時に表示することにより、（例えば、身体障害のある）ユーザが電子装置上でメディアコンテンツを見続けながらメディア表示装置を制御することを可能にする。

【0012】

さらに、開示する電子装置は、短距離電波信号又は無線ローカルネットワークを使用してメディア表示装置を制御することにより、ユーザが電子装置を外部ネットワーク（例えば、インターネット）に接続する必要なくメディア表示装置を制御することを可能にすることもできる。

【0013】

図１は、本開示の実施形態による、ユーザ入力としての視線に基づくメディア表示装置の制御のための例示的なネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、電子装置１０２を含むことができる。電子装置１０２は、第１のディスプレイ画面１０４及び画像取り込み装置１０８を含むことができる。第１のディスプレイ画面１０４は、複数のＵＩ要素１０６及びフィードバック画像１１０を表示することができる。複数のＵＩ要素１０６は、第１のＵＩ要素１０６Ａ、第２のＵＩ要素１０６Ｂ、及び第ＮのＵＩ要素１０６Ｎを含むことができる。ネットワーク環境１００は、メディア表示装置１１２をさらに含むことができる。メディア表示装置１１２は、第２のディスプレイ画面１１４を含むことができる。第２のディスプレイ画面１１４は、メディアコンテンツ１１６をレンダリングすることができる。ネットワーク環境１００は、ユーザ１１８、サーバ１２０、及び通信ネットワーク１２２をさらに含むことができる。電子装置１０２、メディア表示装置１１２及びサーバ１２０は、通信ネットワーク１２２を介して互いに通信可能に結合することができる。いくつかのシナリオでは、ユーザ１１８を、例えば身体的移動のために車椅子を必要とすることがある神経発達障害（例えば、運動障害）などの身体障害のあるユーザとすることができる。このようなシナリオでは、電子装置１０２を介してメディア表示装置１１２を制御するために、車椅子の手すり及び／又はユーザ１１８の視野内の家具の一部に電子装置１０２を取り付けることができる。

【0014】

電子装置１０２は、メディア表示装置１１２を制御するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。電子装置１０２は、ユーザ１１８の視線をユーザ入力として利用することによってメディア表示装置１１２を制御するようにさらに構成することができる。電子装置１０２の例としては、以下に限定するわけではないが、電子タブレット、スマートフォン、コンピュータ装置、セルラー電話機、携帯電話機、ゲーム装置、メインフレーム機、サーバ、コンピュータワークステーション、及び／又は消費者電子（ＣＥ）装置を挙げることができる。なお、図１に示すような電子装置１０２の形状及び配置は一例として提示するものにすぎない。本開示は、その範囲から逸脱することなく、他の形状及び配置の電子装置１０２にも適用可能である。

【0015】

第１のディスプレイ画面１０４は、複数のＵＩ要素１０６及びフィードバック画像１１０を表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。電子装置１０２の第１のディスプレイ画面１０４は、ユーザ１１８の視線の形態のユーザ入力を受け取るように構成することができる。さらに、第１のディスプレイ画面１０４は、ユーザ１１８が第１のディスプレイ画面１０４を介してタッチ入力の形態のユーザ入力を提供することを可能にするタッチ画面とすることができる。タッチ画面は、抵抗膜式タッチ画面、静電容量式タッチ画面、又は感熱式タッチ画面のうちの少なくとも１つとすることができる。第１のディスプレイ画面１０４は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術のうちの少なくとも１つ、或いはその他のディスプレイ装置などの複数の既知の技術を通じて実現することができる。ある実施形態によれば、第１のディスプレイ画面１０４は、ヘッドマウント装置（ＨＭＤ）のディスプレイ画面、スマートメガネ装置、シースルーディスプレイ、投影型ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイを意味することができる。

【0016】

複数のＵＩ要素１０６は、メディア表示装置１１２を制御するための制御アイコン（例えば、ユーザ選択可能オプション）に対応することができる。例えば、複数のＵＩ要素１０６の各々は、（テレビなどの）メディア表示装置１１２を制御するために使用できるリモコン装置の制御アイコンなどのユーザ選択可能アイコンを表すことができる。複数のＵＩ要素１０６は、ユーザ１１８が自身の視線に基づく複数のＵＩ要素１０６の選択を介してメディア表示装置１１２に関連する異なる機能を制御することを可能にするように構成することができる。複数のＵＩ要素１０６の例としては、以下に限定するわけではないが、メディア表示装置１１２の電源設定、メディア表示装置１１２のホーム画面設定、メディア表示装置１１２上でレンダリングされているメディアコンテンツの（音量制御設定などの）オーディオ設定、メディア表示装置１１２上でレンダリングされているメディアコンテンツの（表示特性調整、ビデオモード選択などの）ビデオ表示設定、メディア表示装置１１２のネットワーク設定、メディア表示装置１１２のセキュリティ設定、又はメディア表示装置１１２のアクセシビリティ設定に対応する制御アイコンを挙げることができる。ある実施形態によれば、メディア表示装置１１２のホーム画面設定は、メディア表示装置１１２のホーム画面上のメニュー又はアイコンの配置に関連する選好に対応することができる。さらに、セキュリティ設定は、以下に限定するわけではないが、メディア表示装置１１２のユーザプライバシー設定、ペアレンタルコントロール設定、及びユーザアカウント設定を含むことができる。また、アクセシビリティ設定は、以下に限定するわけではないが、メディア表示装置１１２の音声ガイド設定、音声ベースのシーン説明設定、クローズドキャプション設定、ビデオ説明設定、及び色反転設定を含むことができる。

【0017】

画像取り込み装置１０８は、ユーザ１１８などのユーザの１又は２以上の画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態によれば、画像取り込み装置１０８は、複数のＵＩ要素１０６のうちの第１のＵＩ要素上のユーザ１１８の視線の位置を決定するために、少なくともユーザ１１８の顔を含むことができる１又は２以上の画像を取り込むことができる。画像取り込み装置１０８の例としては、以下に限定するわけではないが、イメージセンサ、広角カメラ、３６０度カメラ、アクションカメラ、閉回路テレビ（ＣＣＴＶ）カメラ、カムコーダ、デジタルカメラ、カメラフォン、飛行時間カメラ（ＴｏＦカメラ）、暗視カメラ、及び／又はその他の画像取り込み装置を挙げることができる。図１には電子装置１０２と一体化された画像取り込み装置１０８を示しているが、本開示はそのように限定されるものではない。いくつかの実施形態では、本開示の範囲から逸脱することなく、画像取り込み装置１０８を電子装置１０２から分離することもできる。

【0018】

メディア表示装置１１２は、視聴者の選好（例えば、ユーザ１１８の選好）に応じてメディアコンテンツをレンダリングするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある例では、メディア表示装置１１２を、サーバ１２０と通信してメディアコンテンツを受け取るように構成することができる。別の例では、メディア表示装置１１２を、放送コンテンツ又はストリーミングコンテンツをメディアコンテンツとして受け取るように構成することができる。ある実施形態によれば、メディア表示装置１１２を、サーバ１２０から受け取られたメディアコンテンツを記憶するようにさらに構成することができる。メディア表示装置１１２は、ユーザ入力としてのユーザ１１８の視線に基づいて選択された複数のＵＩ要素１０６に基づいてメディア表示装置１１２を制御するための第１の制御信号を、電子装置１０２を介して受け取るようにさらに構成することができる。メディア表示装置１１２の例としては、以下に限定するわけではないが、テレビ、ラップトップ、パーソナルコンピュータ、携帯電話機、スマートフォン、タブレットコンピュータ装置、ゲーム機、メディアプレーヤ、表示能力付きサウンドシステム、ホームシアターシステム、デジタルカメラ、自動車用電子装置、電子楽器、又はメディアレンダリング能力を有するその他の消費者電子装置を挙げることができる。なお、図１に示すようなメディア表示装置１１２の形状及び配置は一例として提示するものにすぎない。本開示は、その範囲から逸脱することなく、他の形状及び配置のメディア表示装置１１２にも適用可能である。

【0019】

第２のディスプレイ画面１１４は、メディアコンテンツを表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。第２のディスプレイ画面１１４は、以下に限定するわけではないが、ＬＣＤディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又はＯＬＥＤディスプレイ技術のうちの少なくとも１つ、或いはその他のディスプレイ装置などの複数の既知の技術を通じて実現することができる。ある実施形態によれば、第２のディスプレイ画面１１４は、スマートメガネ装置のディスプレイ画面、シースルーディスプレイ、投影型ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイを意味することができる。ある実施形態によれば、第２のディスプレイ画面１１４は、ユーザ１１８が第２のディスプレイ画面１１４を介してタッチ形態のユーザ入力を提供することを可能にするタッチ画面とすることができる。タッチ画面は、抵抗膜式タッチ画面、静電容量式タッチ画面、又は感熱式タッチ画面のうちの少なくとも１つとすることができる。

【0020】

レンダリングされるメディアコンテンツ１１６は、メディア表示装置１１２の第２のディスプレイ画面１１４上で現在レンダリングされているコンテンツに対応することができる。メディアコンテンツ１１６の例としては、以下に限定するわけではないが、メディア表示装置１１２のホーム画面、メディア表示装置１１２上でレンダリングされているアプリケーションのホーム画面、メディア表示装置１１２上でレンダリングされている画像コンテンツ、ビデオコンテンツ（例えば、ビデオ録画、放送コンテンツ、ストリーミングコンテンツ）、ゲームアプリケーションインターフェイス、又はメディア表示装置１１２の装置設定インターフェイスを挙げることができる。

【0021】

電子装置１０２のフィードバック画像１１０は、現在メディア表示装置１１２上でレンダリングされているメディアコンテンツ１１６の一部の複製画像に対応することができる。ある実施形態では、フィードバック画像１１０が、第２のディスプレイ画面１１４上に表示されている、複数のＵＩ要素１０６のうちのいずれかの選択を示すことができるＵＩアイコンの画像に対応することができる。１つの実施形態では、フィードバック画像１１０を、メディア表示装置１１２から受け取られたメディアコンテンツ１１６の画像セット（例えば、ビデオストリーム）とすることができる。例示的なシナリオでは、フィードバック画像１１０が、メディア表示装置１１２の第２のディスプレイ画面１１４上で現在レンダリングされている映画と、メディア表示装置１１２上に表示されているレンダリング中のメディアコンテンツ（例えば、映画）の音量の増加を示すことができるＵＩアイコンとに対応することができる。

【0022】

サーバ１２０は、通信ネットワーク１２２を介してメディア表示装置１１２と通信するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。サーバ１２０は、メディア表示装置１１２に配信されるメディアコンテンツを記憶するように構成することができる。サーバ１２０は、メディア表示装置１１２からコンテンツ要求を受け取り、受け取ったコンテンツ要求に基づいて、記憶されているメディアコンテンツをメディア表示装置１１２に提供することができる。サーバ１２０の例としては、以下に限定するわけではないが、アプリケーションサーバ、メディアコンテンツサーバ、クラウドサーバ、メインフレームサーバ、データベースサーバ、ファイルサーバ、ウェブサーバ、又はその他のタイプのサーバを挙げることができる。

【0023】

通信ネットワーク１２２は、メディア表示装置１１２、電子装置１０２及びサーバ１２０が互いに無線で通信できるようにする無線通信チャネルを含むことができる。通信ネットワーク１２２の例としては、以下に限定するわけではないが、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、近距離無線通信（ＮＦＣ）チャネル、又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信ネットワークなどの短距離通信技術を挙げることができる。ネットワーク環境１００内の電子装置１０２などの様々なエンティティは、様々な無線通信プロトコルに従って通信ネットワーク１２２に接続するように構成することができる。このような無線通信プロトコルの例としては、以下に限定するわけではないが、無線装置間通信プロトコル又はＢｌｕｅｔｏｏｔｈ（登録商標）通信プロトコルの少なくとも一方を挙げることができる。いくつかの実施形態では、通信ネットワーク１２２が、メディア表示装置１１２及びサーバ１２０が互いに通信できるようにする通信媒体を含むことができる。メディア表示装置１１２及びサーバ１２０が通信できるようにする通信ネットワーク１２２の有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、及び無線アクセスポイント（ＡＰ）を挙げることができる。

【0024】

動作時には、電子装置１０２を、メディア表示装置１１２の異なる機能を制御する複数のユーザインターフェイス（ＵＩ）要素を表示するように構成することができる。電子装置１０２は、電子装置１０２のユーザ１１８の第１の画像を取り込むように画像取り込み装置１０８を制御するよう構成することができる。第１の画像は、ユーザ１１８の視線を追跡するために少なくともユーザ１１８の顔の画像を含むことができる。いくつかの実施形態では、電子装置１０２が（身体障害のあるユーザ１１８などの）ユーザの車椅子に取り付けられて、ユーザ１１８の第１の画像を取り込むように画像取り込み装置１０８を制御することができる。電子装置１０２は、取り込まれたユーザ１１８の第１の画像に基づいて、表示された複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａ上のユーザ１１８の視線の位置を決定するようにさらに構成することができる。表示された複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａ上のユーザ１１８の視線の位置の決定の詳細については、例えば図３Ａでさらに説明する。ある実施形態によれば、複数のＵＩ要素１０６の各ＵＩ要素は、メディア表示装置１１２に関連する異なる機能に関連することができる。電子装置１０２は、一定の時間間隔にわたる第１のＵＩ要素１０６Ａ上の視線の位置の決定に基づいて複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａを選択するようにさらに構成することができる。この時間間隔は、例えば（３～５秒などの）数秒の範囲内で予め設定することも、又はユーザ入力に基づいて設定することもできる。例示的な実施形態では、第１のＵＩ要素１０６Ａの選択が、例えばユーザ１１８の目のまばたき、又は視線の後のまばたきなどの他のアイジェスチャに基づくことができる。従って、電子装置１０２は、第１のＵＩ要素１０６Ａ上の決定された視線の位置におけるユーザ１１８の目のまばたきを、第１のＵＩ要素１０６Ａを選択するためのユーザ入力として決定することができる。ある例では、第１のＵＩ要素１０６Ａが、メディア表示装置１１２のホーム画面の異なるアイコン（例えば、設定アイコン、アプリケーションアイコン、ゲームアイコン）をナビゲートするために使用できる「上に移動（ｍｏｖｅ ｕｐ）」ナビゲーションアイコンに対応することができる。

【0025】

電子装置１０２は、複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａの選択に基づいてメディア表示装置１１２に第１の制御信号を送信するようにさらに構成することができる。例えば、送信される第１の制御信号は、ＵＩアイコン間のナビゲーションを可能にすることができる。第１のＵＩ要素１０６Ａの選択に基づくＵＩアイコン間のナビゲーションの詳細については、例えば図３Ｂに示す。電子装置１０２は、送信された第１の制御信号に基づいてメディア表示装置１１２からフィードバック画像１１０を受け取るようにさらに構成することができる。例示的な実施形態では、フィードバック画像１１０を、メディア表示装置１１２のホーム画面のＵＩアイコンの選択を示す画像とすることができる。電子装置１０２は、受け取られたフィードバック画像１１０を表示された複数のＵＩ要素１０６と共に表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。従って、電子装置１０２は、電子装置１０２に提供されるユーザ入力としての視線を介してユーザ１１８がメディア表示装置１１２を制御することを可能にすることができる。ユーザ１１８の視線を介したメディア表示装置１１２の制御は、ユーザ１１８が他のユーザからの支援を伴わずにメディア表示装置１１２の異なる機能を見て制御することを可能にすることができる。電子装置１０２は、受け取られるフィードバック画像１１０の一部として、メディア表示装置１１２上で再生されているメディアコンテンツ１１６の少なくとも一部を表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。従って、電子装置１０２は、ユーザ１１８がメディアコンテンツ１１６を見続けながらメディア表示装置１１２を制御することを可能にすることができる。この結果、ユーザ１１８は、メディア表示装置１１２を制御するためのユーザ入力の提供中に、（テレビなどの）メディア表示装置１１２上で再生されているメディアコンテンツ１１６のフレーム又は一部を見逃すことがない。従って、ユーザ１１８にとってシームレスな視聴体験を達成することができる。

【0026】

ある実施形態によれば、電子装置１０２は、複数のＵＩ要素１０６上のユーザ１１８の視線の位置の変化に対応する電子装置１０２の複数のＵＩ要素１０６上のカーソルの移動を制御するように構成することができる。例えば、電子装置１０２は、第１のＵＩ要素１０６Ａ上のユーザ１１８の視線の位置の決定時にカーソルを第１のＵＩ要素１０６Ａに移動させ、第２のＵＩ要素１０６Ｂ上のユーザ１１８の視線の位置の決定時にカーソルを第２のＵＩ要素１０６Ｂにさらに移動させることができる。いくつかの実施形態では、電子装置１０２を、ユーザ１１８による複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａの選択に基づいて第１のＵＩ要素１０６Ａを強調表示するように構成することができる。カーソルの移動及び第１のＵＩ要素１０６Ａの強調表示の詳細については、例えば図３Ｂでさらに説明する。

【0027】

ある実施形態によれば、メディア表示装置１１２から受け取られるフィードバック画像１１０は、送信された第１の制御信号に基づくメディア表示装置１１２の制御を示すＵＩアイコンに対応することができる。ＵＩアイコンの例としては、以下に限定するわけではないが、「音量アップ」アイコン、「音量ダウン」アイコン、「輝度制御」アイコン、又は「モード選択」アイコンを挙げることができる。フィードバック画像１１０としてのＵＩアイコンの受信の詳細については、例えば図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５Ａ及び図５Ｂでさらに説明する。

【0028】

ある実施形態によれば、電子装置１０２は、第１のディスプレイ画面１０４の第１の部分に複数のＵＩ要素１０６を表示し、第１のディスプレイ画面１０４の第２の部分に受け取られたフィードバック画像１１０を表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。第１のディスプレイ画面１０４の第１の部分に複数のＵＩ要素１０６を表示し、第２の部分に受け取られたフィードバック画像１１０を表示することの詳細については、例えば図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５Ａ及び図５Ｂでさらに説明する。

【0029】

ある実施形態によれば、メディア表示装置１１２から受け取られたフィードバック画像１１０は、送信された第１の制御信号に基づいてメディア表示装置１１２の第２のディスプレイ画面１１４上に表示されるメディアコンテンツ１１６に対応することができる。フィードバック画像１１０としてのメディアコンテンツ１１６（又はメディアコンテンツ１１６の一部）の受信の詳細については、例えば図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５Ａ及び図５Ｂでさらに説明する。

【0030】

ある実施形態によれば、電子装置１０２は、メディア表示装置１１２の第２のディスプレイ画面１１４上に表示されているメディアコンテンツ１１６に対応できる表示されたフィードバック画像１１０上に表示される複数のＵＩ要素１０６のオーバーレイを制御するようにさらに構成することができる。さらに、電子装置１０２は、メディア表示装置１１２の制御中にレンダリングされているメディアコンテンツ１１６をユーザ１１８が電子装置１０２上で容易に見ることができるように、表示されたフィードバック画像１１０上にオーバーレイ表示される複数のＵＩ要素１０６の不透明度を制御するように構成することができる。表示されたフィードバック画像１１０上にオーバーレイ表示される複数のＵＩ要素１０６、及び表示された複数のＵＩ要素１０６の不透明度の制御の詳細については、例えば図４Ａでさらに説明する。

【0031】

ある実施形態によれば、電子装置１０２は、複数のＵＩ要素１０６のうちの１又は２以上のＵＩ要素の選択に基づいてメディア表示装置１１２の第２のディスプレイ画面１１４上に表示されているメディアコンテンツ１１６に関連する情報を表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。例えば、この表示情報は、メディア表示装置１１２上でレンダリングされているメディアコンテンツ１１６の短い説明に対応することができる。メディアコンテンツ１１６に関連する情報を表示するように第１のディスプレイ画面１０４を制御することの詳細については、例えば図４Ｂでさらに説明する。

【0032】

ある実施形態によれば、電子装置１０２は、第１のディスプレイ画面１０４上に表示された複数のＵＩ要素１０６のうちの１又は２以上のＵＩ要素を通じてメディア表示装置１１２の１又は２以上の構成設定を制御するための案内情報をユーザ１１８のためにレンダリングするようにさらに構成することができる。例示的な実施形態では、ユーザ１１８のための案内情報を、例えば複数のＵＩ要素１０６のうちの１又は２以上のＵＩ要素に関連する動作に関する情報とすることができる。ユーザ１１８のための案内情報の詳細については、例えば図５Ａでさらに説明する。

【0033】

ある実施形態によれば、電子装置１０２は、受け取られたフィードバック画像１１０に基づいて複数のＵＩ要素１０６の一連のＵＩ要素を第１のディスプレイ画面１０４上に表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。ある例では、複数のＵＩ要素１０６の一連のＵＩ要素が、メディア表示装置１１２のメディアコンテンツ１１６の制御設定に関連することができる。一連のＵＩ要素の表示の詳細については、例えば図５Ｂでさらに説明する。

【0034】

図２は、本開示の実施形態による、図１の例示的な電子装置を示すブロック図である。図２には、電子装置１０２のブロック図２００を示す。電子装置１０２は、回路２０２、メモリ２０４、及びネットワークインターフェイス２０６を含むことができる。電子装置１０２は、第１のディスプレイ画面１０４をさらに含むことができる。第１のディスプレイ画面１０４は、複数のＵＩ要素１０６を表示することができる。電子装置１０２は、画像取り込み装置１０８をさらに含むことができる。第１のディスプレイ画面１０４、画像取り込み装置１０８及び通信ネットワーク１２２の詳細な説明については図１を参照しながら行っており、従ってここでは簡潔にするために省略する。

【0035】

回路２０２は、電子装置１０２によって実行される異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。例えば、これらの動作の一部としては、第１のＵＩ要素１０６Ａ上のユーザ１１８の視線の位置の決定、ユーザ１１８の視線の位置の決定に基づく第１のＵＩ要素１０６Ａの選択、メディア表示装置１１２への第１の制御信号の送信、メディア表示装置１１２からのフィードバック画像の受信、及びフィードバック画像１１０を複数のＵＩ要素１０６と共に表示するための第１のディスプレイ画面１０４の制御を挙げることができる。回路２０２は、独立したプロセッサとして実装できる１又は２以上の特殊処理ユニットを含むことができる。ある実施形態では、１又は２以上の特殊処理ユニットを、１又は２以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装することができる。回路２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路２０２の実装例は、Ｘ８６ベースのプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。

【0036】

メモリ２０４は、回路２０２によって実行される１又は２以上の命令を記憶するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。メモリ２０４は、複数のＵＩ要素１０６の各ＵＩ要素に関連する機能に対応する情報を記憶するように構成することができる。いくつかの実施形態では、メモリ２０４を、ユーザ１１８に関連するユーザ入力を記憶するように構成することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードなどを挙げることができる。

【0037】

ネットワークインターフェイス２０６は、通信ネットワーク１２２を介してメディア表示装置１１２と電子装置１０２との間の通信を容易にするように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。ネットワークインターフェイス２０６は、電子装置１０２と通信ネットワーク１２２との有線又は無線通信をサポートする様々な既知の技術を使用して実装することができる。ネットワークインターフェイス２０６は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者ＩＤモジュール（ＳＩＭ）カード、又はローカルバッファ回路を含むことができる。

【0038】

当業者であれば、図２の電子装置１０２は、本開示の機能及び動作の説明及び解説のために本明細書に示すコンポーネント又はシステムに加えて、他の好適なコンポーネント又はシステムを含むこともできると理解するであろう。電子装置１０２の他のコンポーネント又はシステムの詳細な説明については、簡潔にするために本開示からは省略する。回路２０２の動作については、例えば図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５Ａ及び図５Ｂでさらに説明する。

【0039】

図３Ａ及び図３Ｂは、本開示の実施形態による、図１のメディア表示装置１１２の制御のための例示的なシナリオを集合的に示す図である。図３Ａ及び図３Ｂの説明は、図１及び図２の要素に関連して行う。図３Ａには、図１の電子装置１０２（例えば、電子タブレット又はスマートフォン）、第１のディスプレイ画面１０４、複数のＵＩ要素１０６、画像取り込み装置１０８（例えば、内蔵フロントカメラ）、メディア表示装置１１２（例えば、テレビ）、第２のディスプレイ画面１１４及びユーザ１１８を含む例示的なシナリオ３００Ａを示す。さらに、例示的なシナリオ３００Ａには、複数のＵＩ要素１０６（例えば、「音量制御」ＵＩ要素、「電源」ＵＩ要素、「ソース」ＵＩ要素、「再生制御」ＵＩ要素、「ナビゲーション」ＵＩ要素、「ホーム」ＵＩ要素、「数値」ＵＩ要素、「情報」ＵＩ要素、「戻る」ＵＩ要素、及び「終了」ＵＩ要素）のうちの（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６も示す。例示的なシナリオ３００Ａには、受け取られたフィードバック画像３０４、カーソル３０８、第１のディスプレイ画面１０４の第１の部分３１０、及び第１のディスプレイ画面１０４の第２の部分３１２をさらに示す。さらに、メディア表示装置１１２の第２のディスプレイ画面１１４上のメディアコンテンツ３０２及び「音量アップ」ＵＩアイコン３０２ａも示す。

【0040】

図３Ａに関しては、メディア表示装置１１２を、第２のディスプレイ画面１１４上に映画などのメディアコンテンツ３０２をレンダリングするように構成することができる。例示的な実施形態では、ユーザ１１８が、メディア表示装置１１２上にレンダリングされているメディアコンテンツ３０２の音量を上げる必要があるものとすることができる。このような場合、ユーザ１１８は、メディア表示装置１１２上でレンダリングされているメディアコンテンツ３０２の音量を上げるために、電子装置１０２の複数のＵＩ要素１０６の方を注視して（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６を選択することができる。電子装置１０２の回路２０２は、ユーザ１１８の第１の画像を取り込むように画像取り込み装置１０８を制御するよう構成することができる。画像取り込み装置１０８は、画像取り込み装置１０８の視野（ＦＯＶ）に基づいてユーザ１１８の第１の画像を取り込むことができる。画像取り込み装置１０８のＦＯＶは、ユーザ１１８の第１の画像（又はユーザ１１８の顔の画像）を正確に取り込むことができるように予め定めることができる。電子装置１０２は、画像取り込み装置１０８がユーザ１１８の顔の第１の画像をはっきりと取り込むことができるように配置することができる。例えば、電子装置１０２は、ユーザ１１８の近くに取り付けることができ、又はユーザ１１８の手の中に存在することができる。別の例では、電子装置１０２を、ユーザ１１８の車椅子（車椅子の手すり又はひじ掛けなど）に取り付けることができる。なお、図３Ａに示すような画像取り込み装置１０８が配置される電子装置１０２の取り付け場所又は位置は一例として提示するものにすぎない。画像取り込み装置１０８は、本開示の範囲から逸脱することなく、画像取り込み装置１０８のＦＯＶがユーザ１１８の第１の画像をはっきりと取り込むことができるように電子装置１０２の他の位置、場所又は表面に配置することもできる。画像取り込み装置１０８を配置できる電子装置１０２の他の位置、場所又は表面については、簡潔にするために本開示からは省略する。

【0041】

電子装置１０２の回路２０２は、取り込まれたユーザ１１８の顔の第１の画像から画像部分を抽出するようにさらに構成することができる。画像部分は、ユーザ１１８の顔の目を示すことができる。回路２０２は、当業で周知の異なる画像処理技術に基づいて、取り込まれた第１の画像から（例えば、目のサブ画像又は画素を含むことができる）画像部分を抽出することができる。回路２０２は、抽出された画像部分に基づいてユーザ１１８の目の動きを追跡するようにさらに構成することができる。いくつかの実施形態では、回路２０２が、画像取り込み装置１０８を、ユーザ１１８の顔の複数の画像を取り込み、取り込まれた複数の画像の各々における画像部分の分析に基づいてユーザ１１８の目の動きをさらに追跡するように一定期間にわたって制御することができる。目の動きは、ユーザ１１８がどこを注視していると考えられるか（例えば、電子装置１０２の方又はそれ以外の場所）を示すことができる。

【0042】

電子装置１０２の回路２０２は、追跡されたユーザ１１８の目の動きに基づいて、電子装置１０２の複数のＵＩ要素１０６のうちの（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６上のユーザ１１８の視線の位置を決定するようにさらに構成することができる。いくつかの実施形態では、回路２０２が、取り込まれた第１の画像に基づいて、電子装置１０２の複数のＵＩ要素１０６のうちのいずれかのＵＩ要素上の視線の位置を決定することができる。

【0043】

ある実施形態によれば、回路２０２は、複数のＵＩ要素１０６上のユーザ１１８の視線の位置の変化に対応する複数のＵＩ要素１０６上のカーソル３０８の動きをさらに制御することができる。回路は、複数のＵＩ要素１０６のうちの異なるＵＩ要素に対応する第１のディスプレイ画面１０４の第１の部分３１０上の異なる位置にユーザ１１８の視線が移動した時に、ユーザ１１８が現在見ていると考えられるＵＩ要素へのカーソル３０８の動きを制御することができる。例えば、回路２０２は、ユーザ１１８の視線が「上に移動」ナビゲーションＵＩ要素上にあると判定した時には、カーソル３０８を「上に移動」ナビゲーションＵＩ要素に配置することができる。さらに、回路２０２は、ユーザ１１８の視線が（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６上にあると判定した時には、カーソル３０８を「音量アップ」ＵＩ要素３０６に動かすことができる。複数のＵＩ要素１０６上のカーソル３０８の動きは、電子装置１０２上におけるユーザ１１８の視線の位置をユーザ１１８が視覚的に確認するのに役立つことができる。

【0044】

電子装置１０２の回路２０２は、（数秒間などの）一定の時間間隔にわたる（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６上のユーザ１１８の視線が決定されると、（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６をさらに選択することができる。例示的な実装では、回路２０２が、他のアイジェスチャに基づいて複数のＵＩ要素１０６のうちの（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６を選択することもできる。例えば、回路２０２は、視線が（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６上にあると判定されている間のユーザ１１８による目の「まばたき」の検出に基づいて「音量アップ」ＵＩ要素３０６を選択するように構成することができる。いくつかの実施形態では、回路２０２を、ユーザ１１８の顔の表情（例えば、笑顔）又はユーザ１１８の頭に関連するジェスチャ（例えば、ある方向へのユーザ１１８の頭の傾き）の少なくとも一方を、第１のディスプレイ画面１０４上に表示された複数のＵＩ要素１０６のうちの（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６を選択するためのユーザ入力として決定するように構成することができる。

【0045】

ある実施形態によれば、回路２０２は、複数のＵＩ要素１０６からの第１のＵＩ要素３０６（すなわち、「音量アップ」ＵＩ要素）の選択の確認として、図３Ａに示すように（「音量アップ」ＵＩ要素などの）第１のＵＩ要素３０６をさらに強調表示することができる。第１のＵＩ要素３０６（すなわち、「音量アップ」ＵＩ要素）の強調表示は、選択された第１のＵＩ要素３０６をユーザ１１８が識別するのに役立つことができる。１又は２以上の実施形態では、選択されたＵＩアイコンをユーザ１１８に見えやすくするために、回路２０２を、選択された第１のＵＩ要素３０６（すなわち、「音量アップ」ＵＩ要素）のサイズを制御する（例えば、増加させる）ように構成することができる。ある例では、回路２０２を、選択された第１のＵＩ要素３０６を第１のディスプレイ画面１０４上に「ポップアップ」ＵＩ要素として表示するようにさらに構成することができる。

【0046】

回路２０２は、ユーザ１１８による第１のＵＩ要素３０６（すなわち、「音量アップ」ＵＩ要素）の選択に基づいて、メディア表示装置１１２に第１の制御信号を送信するようにさらに構成することができる。回路２０２は、短距離電波信号（例えば、Ｂｌｕｅｔｏｏｔｈ）又は無線ローカルネットワーク（例えば、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ）を使用して第１の制御信号を送信するようにさらに構成することができる。第１の制御信号は、メディア表示装置１１２が電子装置１０２から第１の制御信号（すなわち、「音量アップ」ＵＩ要素に関連する制御信号）を受け取った時に、メディア表示装置１１２の第２のディスプレイ画面１１４上にレンダリングされているメディアコンテンツ３０２の音量を上げるように仕向けることができる。従って、回路２０２は、ユーザ１１８が自身の視線を利用することによって、メディア表示装置１１２上でレンダリングされているメディアコンテンツ３０２の音量を電子装置１０２を介して制御することを可能にすることができる。

【0047】

図３Ａに示すように、メディア表示装置１１２は、ユーザ入力に基づいて、メディア表示装置１１２上でレンダリングされているメディアコンテンツ３０２の音量の増加を示すことができる「音量アップ」ＵＩアイコン３０２ａを第２のディスプレイ画面１１４上に表示することができる。なお、図３Ａに示すような「音量アップ」ＵＩアイコン３０２ａの位置は一例として提示するものにすぎない。「音量アップ」ＵＩアイコン３０２ａは、本開示の範囲から逸脱することなく、第２のディスプレイ画面１１４のいずれかの部分に配置することができる。

【0048】

電子装置１０２の回路２０２は、送信された第１の制御信号に基づいて、メディア表示装置１１２からフィードバック画像３０４を受け取るようにさらに構成することができる。フィードバック画像３０４は、第２のディスプレイ画面１１４上に表示されている「音量アップ」ＵＩアイコン３０２ａの画像に対応することができる。例えば、ユーザ１１８は、メディアコンテンツ３０２の音量を制御するために電子装置１０２を注視している時に、メディア表示装置１１２上の「音量アップ」ＵＩアイコン３０２ａによって示される音量の変化を確認するために、電子装置１０２とメディア表示装置１１２との間で視線を切り替えることが必要になり得る。従って、電子装置１０２の回路２０２は、ユーザ１１８が音量の増加を確認するために電子装置１０２とメディア表示装置１１２との間で視線を往復させる必要なくフィードバック画像３０４によって音量の増加を確認できるように、フィードバック画像３０４として電子装置１０２上に「音量アップ」ＵＩアイコン３０２ａを表示することができる。

【0049】

回路２０２は、受け取られたフィードバック画像３０４を表示された複数のＵＩ要素１０６と共に表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。ある実施形態によれば、回路２０２は、第１のディスプレイ画面１０４の第１の部分３１０に複数のＵＩ要素１０６を表示し、第１のディスプレイ画面１０４の第２の部分３１２に受け取られたフィードバック画像３０４を表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。複数のＵＩ要素１０６及びフィードバック画像３０４を第１の部分３１０及び第２の部分３１２などの異なる部分にそれぞれ表示することで、ユーザ１１８は、メディア表示装置１１２上にレンダリングされているメディアコンテンツ３０２の音量を制御しながら、例えば「音量アップ」ＵＩアイコン３０２ａの画像などのＵＩアイコンの画像を見ることができるようになる。なお、図３Ａに示すような第１のディスプレイ画面１０４の第２の部分３１２におけるフィードバック画像３０４の位置は一例として提示するものにすぎない。フィードバック画像３０４は、本開示の範囲から逸脱することなく、第１のディスプレイ画面１０４の第２の部分３１２の異なる位置に存在することもできる。さらに、図３Ａに示すような第１のディスプレイ画面１０４の第１の部分３１０及び第２の部分３１２のサイズ及び位置も一例として提示するものにすぎない。第１のディスプレイ画面１０４の第１の部分３１０及び第２の部分３１２のサイズ及び位置は、本開示の範囲から逸脱することなく異なる形で提示することもできる。例えば、第１の部分３１０が第１のディスプレイ画面１０４上の第２の部分３１２の下方に存在することもできる。従って、開示する電子装置１０２は、ユーザ１１８が他のユーザからの支援を伴わずにユーザ入力としての視線に基づいてメディア表示装置１１２を効果的に制御することを可能にすることができる。また、開示する電子装置１０２は、ユーザ１１８が電子装置１０２を外部ネットワーク（例えば、インターネット）に接続する必要なくユーザ入力としての視線に基づいてメディア表示装置１１２を効果的に制御することを可能にすることもできる。

【0050】

図３Ｂには、例示的なシナリオ３００Ｂを示す。例示的なシナリオ３００Ｂには、メディアコンテンツ３１４、フィードバック画像３１６、「左に移動」ナビゲーションＵＩ要素３１８、「番組ガイド」ＵＩアイコン３２０、及び「番組ガイド」ＵＩアイコン３２０の対応する画像３２２を示す。

【0051】

メディア表示装置１１２は、ユーザ１１８のユーザ入力に基づいて、第２のディスプレイ画面１１４上にメディア表示装置１１２のホーム画面をメディアコンテンツ３１４として表示することができる。ユーザ１１８は、メディア表示装置１１２のホーム画面上に存在する一連のＵＩアイコンをナビゲートする必要があるものとすることができる。一連のＵＩアイコンは、例えば「アプリケーション」ＵＩアイコン、「ゲーム」ＵＩアイコン、「プレイリスト」ＵＩアイコン、「設定」ＵＩアイコン、「検索」バー、及び「情報」アイコンなどを含むことができる。従って、電子装置１０２の回路２０２は、複数のＵＩ要素１０６のナビゲーションＵＩ要素上のユーザ１１８の視線の位置を決定することができる。回路２０２は、複数のＵＩ要素１０６のうちの第１のＵＩ要素（すなわち、「左に移動」ナビゲーションＵＩ要素３１８）上のユーザ１１８の視線の位置を決定することができる。回路２０２は、「左へ移動」ナビゲーションＵＩ要素３１８上のユーザ１１８の視線の位置の決定に基づいて、「左へ移動」ナビゲーションＵＩ要素３１８を選択することができる。

【0052】

さらに、回路２０２は、一連のＵＩアイコンのうちの現在選択されているＵＩアイコンの左側に存在し得る（第２のディスプレイ画面１１４上の）ＵＩアイコンにナビゲートするために、メディア表示装置１１２に第１の制御信号を送信することができる。例えば、第１の制御信号は、ホーム画面の右側に存在する一連のＵＩアイコンのうちの「アプリケーション」ＵＩアイコンからホーム画面の左側に存在する「番組ガイド」ＵＩアイコン３２０へのナビゲーションによって、「番組ガイド」ＵＩアイコン３２０の選択を可能にすることができる。

【0053】

回路２０２は、送信された第１の制御信号に基づいてフィードバック画像３１６を受け取るようにさらに構成することができる。受け取られるフィードバック画像３１６は、メディア表示装置１１２のメディアコンテンツ３１４に関連する画像（例えば、図３Ｂに示すホーム画面の画像）に対応することができる。フィードバック画像３１６は、「番組ガイド」ＵＩアイコン３２０の対応する画像３２２を強調表示することによって「番組ガイド」ＵＩアイコン３２０の選択を示すことができる。従って、電子装置１０２は、ユーザ１１８が電子装置１０２とメディア表示装置１１２との間で視線を往復させる必要なくメディアコンテンツ３１４の一連のＵＩアイコン（例えば、ホーム画面）を効率的にナビゲートすることを可能にすることができる。従って、電子装置１０２は、ユーザ１１８がメディアコンテンツ３１４を見続けながらメディア表示装置１１２を制御することを可能にすることができる。この結果、ユーザ１１８は、メディア表示装置１１２を制御するためのユーザ入力の提供中に、（テレビなどの）メディア表示装置１１２上で再生されているメディアコンテンツ３１４のフレーム又は一部を見逃すことがない。従って、ユーザ１１８にとってシームレスな視聴体験を達成することができる。

【0054】

図４Ａ及び図４Ｂは、本開示の実施形態による、図１のメディア表示装置１１２の制御のための他の例示的なシナリオを集合的に示す図である。図４Ａ及び図４Ｂの説明は、図１及び図２の要素に関連して行う。図４Ａには例示的なシナリオ４００Ａを示す。例示的なシナリオ４００Ａには、メディアコンテンツ４０２、フィードバック画像４０４、及び（「音量アップ」ＵＩ要素などの）第１のＵＩ要素４０６を示す。なお、（「音量アップ」ＵＩ要素などの）第１のＵＩ要素４０６の機能は、例えば図３Ａで説明した（第１のＵＩ要素３０６として示す）「音量アップ」ＵＩ要素の機能と同じであることができる。

【0055】

回路２０２は、複数のＵＩ要素１０６のうちの（「音量アップ」ＵＩ要素などの）第１のＵＩ要素４０６上のユーザ１１８の視線の位置を決定することができる。さらに、回路２０２は、（「音量アップ」ＵＩ要素などの）第１のＵＩ要素４０６上のユーザ１１８の視線の位置の決定に基づいて、メディアコンテンツ４０２の音量を制御するために第１の制御信号を送信することができる。さらに、回路２０２は、メディア表示装置１１２から、図４Ａに示すようにメディアコンテンツ４０２上にオーバーレイ表示された「音量アップ」ＵＩアイコン４０２ａの画像を含むことができるようなフィードバック画像４０４を受け取ることができる。

【0056】

ある実施形態によれば、電子装置１０２の回路２０２は、表示された複数のＵＩ要素１０６が表示されたフィードバック画像４０４上にオーバーレイ表示されるように制御することができる。図４Ａに示すように、回路２０２は、電子装置１０２の第１のディスプレイ画面１０４の同じ部分においてフィードバック画像４０４を覆って複数のＵＩ要素１０６を表示するように第１のディスプレイ画面１０４を制御することができる。

【0057】

１又は２以上の実施形態では、回路２０２が、表示されたフィードバック画像４０４上にオーバーレイ表示される表示された複数のＵＩ要素１０６の不透明度を制御することができる。例えば、回路２０２は、受け取られたフィードバック画像４０４のメディアコンテンツ４０２が表示された複数のＵＩ要素１０６を通して容易に見えるように、表示された複数のＵＩ要素１０６の不透明度の量を減少させることができる。例えば、表示された複数のＵＩ要素１０６の不透明度は、フィードバック画像４０４のメディアコンテンツ４０２の表示がユーザ１１８に見えるように４０％の不透明度まで減少させることができる。フィードバック画像４０４上にオーバーレイ表示された不透明度の低い複数のＵＩ要素１０６をこのように配置することで、ユーザ１１８は、自身の視線を介してメディア表示装置１１２を制御しながら複数のＵＩ要素１０６と同時にフィードバック画像４０４を見ることができる。さらに、ユーザ１１８は、このような配置によって第１のディスプレイ画面１０４の全画面（又は特定の部分）上で複数のＵＩ要素１０６及びフィードバック画像４０４を見ることができる。別の実施形態では、フィードバック画像４０４上に複数のＵＩ要素１０６をオーバーレイ表示して、複数のＵＩ要素１０６の不透明度を制御する代わりにフィードバック画像４０４の不透明度が制御される（例えば、低減される）ようにすることもできる。従って、電子装置１０２は、電子装置１０２上にフィードバック画像４０４と複数のＵＩ要素１０６とを同時に表示することによって、ユーザが電子装置１０２上のメディアコンテンツ４０２を見続けながらメディア表示装置１１２を制御することを可能にする。

【0058】

図４Ｂには例示的なシナリオ４００Ｂを示す。例示的なシナリオ４００Ｂには、メディアコンテンツ４０８、複数のＵＩ要素１０６のうちの（第１のＵＩ要素などの）「情報」ＵＩ要素４１０、フィードバック画像４１２、第１の情報４１４、及び電子装置１０２の第１のディスプレイ画面１０４の第３の部分４１６を示す。

【0059】

いくつかの実施形態では、ユーザ１１８が、例えばメディア表示装置１１２上でレンダリングされているメディアコンテンツ４０８などのメディアコンテンツに関する情報を必要とすることができる。例えば、メディア表示装置１１２は、メディアコンテンツ４０８としてドキュメンタリーをレンダリングすることができる。ユーザ１１８は、例えばドキュメンタリーの名称又は概要などの、ドキュメンタリーのコンテンツに関する情報を必要とし、従って複数のＵＩ要素１０６のうちの「情報」ＵＩ要素４１０（すなわち、第１のＵＩ要素）上に視線の位置を動かすことができる。このような場合、回路２０２は、「情報」ＵＩ要素４１０上のユーザ１１８の視線の位置を決定することができる。

【0060】

さらに、回路２０２は、「情報」ＵＩ要素４１０上のユーザ１１８の視線の位置の決定に基づいて、複数のＵＩ要素１０６のうちの「情報」ＵＩ要素４１０を選択することができる。この結果、回路２０２は、メディア表示装置１１２上に表示されているメディアコンテンツ４０８に関する第１の情報４１４などの情報を受け取るために、メディア表示装置１１２に第１の制御信号を送信することができる。ある例では、第１の情報４１４を、メディア表示装置１１２上でレンダリングされているドキュメンタリーに関する情報とすることができる。ある実施形態では、回路２０２が、メディア表示装置１１２から、メディアコンテンツ４０８に対応するフィードバック画像４１２などのフィードバック画像及び第１の情報４１４を受け取ることができる。いくつかの実施形態では、回路２０２が、メディアコンテンツ４０８に関する第１の情報４１４を（図１に示す）サーバ１２０から受け取ることができる。

【0061】

ある実施形態によれば、回路２０２は、メディア表示装置１１２の第２のディスプレイ画面１１４上に表示されているメディアコンテンツ４０８に関する第１の情報４１４などの情報を表示するように第１のディスプレイ画面１０４を制御するよう構成することができる。回路２０２は、ユーザ１１８の視線による複数のＵＩ要素１０６のうちの「情報」ＵＩ要素４１０の選択に基づいて、第１の情報４１４を表示するように第１のディスプレイ画面１０４を制御することができる。ある実施形態では、回路２０２が、第１のディスプレイ画面１０４の第３の部分４１６（すなわち、図３Ａに示す第１の部分３１０及び第２の部分３１２とは異なる部分）に第１の情報４１４を表示することができる。さらに、回路２０２は、電子装置１０２の第１のディスプレイ画面１０４上にフィードバック画像４１２を表示するように第１のディスプレイ画面１０４を制御することができる。なお、図４Ｂに示す第１のディスプレイ画面１０４上の第３の部分４１６の位置は一例として提示するものにすぎない。本開示は、本開示の範囲から逸脱することなく、第１のディスプレイ画面１０４上の他の第３の部分４１６の位置にも適用可能である。

【0062】

１又は２以上の実施形態では、複数のＵＩ要素１０６、フィードバック画像４１２及び第１の情報４１４を、第１のディスプレイ画面１０４の３つの異なる部分に表示することができる。例示的な実施形態では、複数のＵＩ要素１０６、フィードバック画像４１２及び第１の情報４１４の表示位置を予め設定することができる。別の例示的な実施形態では、複数のＵＩ要素１０６、フィードバック画像４１２及び第１の情報４１４の表示位置をユーザ入力に基づいて設定することができる。例示的な実施形態では、複数のＵＩ要素１０６を、図４Ａを参照して説明したような低い不透明度などの制御された不透明度でフィードバック画像４１２及び第１の情報４１４上にオーバーレイ表示することができる。

【0063】

図５Ａ及び図５Ｂは、本開示の実施形態による、図１のメディア表示装置１１２の制御のための他の例示的なシナリオを集合的に示す図である。図５Ａ及び図５Ｂの説明は、図１及び図２の要素に関連して行う。図５Ａには例示的なシナリオ５００Ａを示す。例示的なシナリオ５００Ａには、複数のＵＩ要素１０６のうちの「ホーム」ＵＩ要素５０２（すなわち、第１のＵＩ要素）、案内情報５０４、及びメディアコンテンツ５０６を示す。図５Ａに示すように、メディアコンテンツ５０６は、メディア表示装置１１２上でレンダリングされているニュースに関連するコンテンツに関することができる。

【0064】

ある実施形態によれば、メディア表示装置１１２は、メディアコンテンツ５０６（例えば、ニュースコンテンツ）をレンダリングすることができる。ユーザ１１８は、メディア表示装置１１２上の別のメディアコンテンツに切り替えるためにメディア表示装置１１２のホーム画面を見る必要があり、従って「ホーム」ＵＩ要素５０２をさらに注視することができる。電子装置１０２の回路２０２は、複数のＵＩ要素１０６のうちの「ホーム」ＵＩ要素５０２上のユーザ１１８の視線の位置の決定に基づいて、ユーザ１１８がメディア表示装置１１２のホーム画面（例えば、メインページ）を見るための案内情報５０４（例えば、「ホーム」ＵＩ要素５０２などのＵＩ要素の動作に関する情報）をレンダリングするように構成することができる。従って、回路２０２は、「ホーム」ＵＩ要素５０２上のユーザ１１８の視線に基づいて「ホーム」ＵＩ要素５０２を選択して、メディア表示装置１１２の第２のディスプレイ画面１１４上に（図５Ａには示していない）ホーム画面を表示することができる。さらに、第１のディスプレイ画面１０４上に表示された複数のＵＩ要素１０６のうちの１又は２以上のＵＩ要素を通じてメディア表示装置１１２の１又は２以上の構成設定を制御するために案内情報５０４をレンダリングすることができる。例えば、案内情報５０４は、メディア表示装置１１２の特定の設定（例えば、限定するわけではないが、色の調整、アスペクト比の調整）を構成するための情報をユーザ１１８に提供することができる。ある実施形態では、複数のＵＩ要素１０６及び案内情報５０４を、電子装置１０２の第１のディスプレイ画面１０４の異なる部分に提供することができる。なお、図５Ａに示す第１のディスプレイ画面１０４上の案内情報５０４の位置は一例として提示するものにすぎない。本開示は、本開示の範囲から逸脱することなく、第１のディスプレイ画面１０４上の他の案内情報５０４の位置にも適用可能である。

【0065】

いくつかの実施形態では、回路２０２を、（図４Ｂに示す）「情報」ＵＩ要素４１０上のユーザ１１８の視線の決定によって、ユーザ１１８のために案内情報５０４をレンダリングするように構成することができる。例示的な実施形態では、図４Ｂの第１の情報４１４を、複数のＵＩ要素１０６の各ＵＩ要素の動作に関する情報、又はメディア表示装置１１２上で現在レンダリングされているメディアコンテンツ５０６に関する情報とすることができる。従って、案内情報５０４は、ユーザ１１８がメディア表示装置１１２の１又は２以上の構成設定又は異なる機能を制御するための適切なＵＩ要素を選択するのを支援することができる。

【0066】

図５Ｂには例示的なシナリオ５００Ｂを示す。例示的なシナリオ５００Ｂには、メディアコンテンツ５０８、フィードバック画像５１０、及び複数のＵＩ要素１０６のうちの「再生制御」ＵＩ要素（例えば、「巻き戻し」ＵＩ要素５１２）を示す。メディアコンテンツ５０８は、メディア表示装置１１２上でレンダリングされている映画を含むことができる。

【0067】

ある実施形態によれば、メディア表示装置１１２は、例えば映画などのメディアコンテンツ５０８をレンダリングすることができる。電子装置１０２の回路２０２は、受け取られたフィードバック画像５１０に基づいて、一連のＵＩ要素５１４（すなわち、図５Ａの第１のディスプレイ画面１０４上の複数のＵＩ要素１０６のサブセットとすることができる一連のＵＩ要素）を表示するように第１のディスプレイ画面１０４を制御するよう構成することができる。例えば、一連のＵＩ要素５１４は、図５Ｂに示すような「電源」ＵＩ要素、「ホーム」ＵＩ要素、「情報」ＵＩ要素、「音量アップ」ＵＩ要素、「音量ダウン」ＵＩ要素、「巻き戻し」ＵＩ要素５１２、「一時停止」ＵＩ要素、「再生」ＵＩ要素、及び「早送り」ＵＩ要素などを含むことができる。一連のＵＩ要素５１４は、メディア表示装置１１２上に表示されているメディアコンテンツ５０８のタイプ、及び電子装置１０２が受け取ったフィードバック画像５１０に基づいて表示することができる。さらに、回路２０２は、図５Ｂの第１のディスプレイ画面１０４の画面スペース（ｓｃｒｅｅｎ ｒｅａｌ ｅｓｔａｔｅ）が図５Ａの第１のディスプレイ画面１０４と比べて相対的にすっきりするように、レンダリングされているメディアコンテンツ５０８に基づいて複数のＵＩ要素１０６から重要でないＵＩ要素を隠し又は省略することもできる。この結果、回路２０２は、一連のＵＩ要素５１４のうちのいずれかの特定のＵＩ要素（すなわち、第１のＵＩ要素）上のユーザ１１８の視線の位置を効率的に決定することができる。ある例では、回路２０２が、映画の再生中に「ナビゲーション」ＵＩ要素及び「数値」ＵＩ要素などのＵＩ要素を隠し又は省略することができる。図５Ｂに示すように、回路２０２は、ユーザ１１８がメディア表示装置１１２上のメディアコンテンツ５０８（例えば、映画）の再生を制御するのに必要であると考えられる一連のＵＩ要素５１４を表示するように第１のディスプレイ画面１０４を制御することができる。

【0068】

例示的な実施形態では、ユーザ１１８が、メディア表示装置１１２上でレンダリングされているメディアコンテンツ５０８を巻き戻す必要があるものとすることができる。回路２０２は、一連のＵＩ要素５１４のうちの「巻き戻し」ＵＩ要素５１２（すなわち第１のＵＩ要素）上の一定の時間間隔（例えば、数秒間）にわたるユーザ１１８の視線の位置をさらに決定することができる。回路２０２は、「巻き戻し」ＵＩ要素５１２上のユーザ１１８の視線の決定に基づいて「巻き戻し」ＵＩ要素５１２を選択することができる。さらに、回路２０２は、ユーザ入力としての視線に基づいてメディア表示装置１１２上のメディアコンテンツ５０８を巻き戻すために、メディア表示装置１１２に第１の制御信号を送信することができる。さらに、回路２０２は、送信された第１の制御信号に基づいて、メディア表示装置１１２からメディアコンテンツ５０８の画像を含むフィードバック画像５１０を受け取ることができる。一連のＵＩ要素５１４及びフィードバック画像５１０は、第１のディスプレイ画面１０４の異なる部分に表示することができる。いくつかの実施形態では、一連のＵＩ要素５１４を、第１のディスプレイ画面１０４上のフィードバック画像５１０上にオーバーレイ表示することができる。従って、回路２０２は、ユーザ１１８が一連のＵＩ要素５１４を使用することによってメディア表示装置１１２上のメディアコンテンツ５０８のレンダリングを効率的に制御することを可能にすることができる。図５Ｂに示す一連のＵＩ要素５１４は一例として提示するものにすぎない。本開示は、本開示の範囲から逸脱することなく、第１のディスプレイ画面１０４上の他の一連のＵＩ要素にも適用可能である。

【0069】

図６は、本開示の実施形態による、電子装置を介したメディア表示装置の制御のための例示的な方法を示すフローチャートである。図６の説明は、図１、図２、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５Ａ及び図５Ｂの要素に関連して行う。図６にはフローチャート６００を示す。フローチャート６００の動作は、電子装置１０２又は回路２０２などのコンピュータシステムによって実行することができる。動作は、６０２から開始して６０４に進むことができる。

【0070】

６０４において、電子装置１０２のユーザの第１の画像を取り込むように画像取り込み装置１０８を制御することができる。１又は２以上の実施形態では、電子装置１０２の回路２０２を、例えば図３Ａで説明したように、電子装置１０２のユーザ１１８の第１の画像を取り込むように電子装置１０２の画像取り込み装置１０８を制御するよう構成することができる。

【0071】

６０６において、取り込まれたユーザ１１８の第１の画像に基づいて、表示された複数のＵＩ要素のうちの第１のＵＩ要素上のユーザ１１８の視線の位置を決定することができる。１又は２以上の実施形態では、電子装置１０２の回路２０２を、例えば図３Ａで説明したように、ユーザ１１８の取り込まれた第１の画像に基づいて、表示された複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａ上のユーザ１１８の視線の位置を決定するように構成することができる。

【0072】

６０８において、一定の時間間隔にわたる第１のＵＩ要素１０６Ａ上の視線の位置の決定に基づいて、複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａを選択することができる。１又は２以上の実施形態では、電子装置１０２の回路２０２を、例えば図３Ａで説明したように、一定の時間間隔にわたる第１のＵＩ要素１０６Ａ上の視線の位置の決定に基づいて複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａを選択するように構成することができる。いくつかの実施形態では、この時間間隔を（少なくとも３秒などの）数秒とすることができる。

【0073】

６１０において、複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａの選択に基づいて、メディア表示装置１１２に第１の制御信号を送信することができる。１又は２以上の実施形態では、電子装置１０２の回路２０２を、例えば図３Ａで説明したように、複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａの選択に基づいてメディア表示装置１１２に第１の制御信号を送信するように構成することができる。

【0074】

６１２において、送信された第１の制御信号に基づいて、メディア表示装置１１２からフィードバック画像を受け取ることができる。１又は２以上の実施形態では、電子装置１０２の回路２０２を、例えば図３Ａで説明したように、送信された第１の制御信号に基づいてメディア表示装置１１２からフィードバック画像３０４を受け取るように構成することができる。受け取られるフィードバック画像３０４は、送信された第１の制御信号に基づくメディア表示装置１１２の制御を示すことができる。

【0075】

６１４において、受け取られたフィードバック画像３０４を表示された複数のＵＩ要素１０６と共に表示するように第１のディスプレイ画面を制御することができる。１又は２以上の実施形態では、電子装置１０２の回路２０２を、例えば図３Ａで説明したように、表示された複数のＵＩ要素１０６と共に受け取られたフィードバック画像３０４を表示するように第１のディスプレイ画面１０４を制御するよう構成することができる。制御は終了に進むことができる。

【0076】

フローチャート６００は、６０４、６０６、６０８、６１０、６１２及び６１４などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、このような離散的動作を特定の実装に応じてさらなる動作にさらに分割し、より少ない動作に組み合わせ、又は削除することができる。

【0077】

本開示の様々な実施形態は、（画像取り込み装置１０８などの）画像取り込み装置と（第１のディスプレイ画面１０４などの）第１のディスプレイ画面とを含む電子装置（電子装置１０２）によって実行された時に電子装置１０２に動作を実行させるコンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体を提供することができる。これらの動作は、複数のユーザインターフェイス（ＵＩ）要素を表示するように第１のディスプレイ画面を制御することを含むことができる。複数のＵＩ要素の各々の選択は、電子装置に通信可能に結合された（メディア表示装置１１２などの）メディア表示装置を制御する。動作は、電子装置のユーザの第１の画像を取り込むように画像取り込み装置を制御することをさらに含む。動作は、取り込まれたユーザの第１の画像に基づいて、表示された複数のＵＩ要素のうちの第１のＵＩ要素上のユーザの視線の位置を決定することをさらに含む。動作は、一定の時間間隔にわたる第１のＵＩ要素上の視線の位置の決定に基づいて、複数のＵＩ要素のうちの第１のＵＩ要素を選択することをさらに含む。動作は、複数のＵＩ要素のうちの第１のＵＩ要素の選択に基づいて、メディア表示装置に第１の制御信号を送信することをさらに含む。動作は、送信された第１の制御信号に基づいて、メディア表示装置からフィードバック画像を受け取ることをさらに含む。受け取られるフィードバック画像は、送信された第１の制御信号に基づくメディア表示装置の制御を示す。動作は、受け取られたフィードバック画像を表示された複数のＵＩ要素と共に表示するように第１のディスプレイ画面を制御することをさらに含む。

【0078】

本開示の例示的な態様は、（電子装置１０２などの）電子装置を含むことができる。電子装置１０２は、（画像取り込み装置１０８などの）画像取り込み装置と、（複数のユーザインターフェイス（ＵＩ）要素１０６などの）複数のＵＩ要素を表示するように構成できる（第１のディスプレイ画面１０４などの）第１のディスプレイ画面とを含むことができる。複数のＵＩ要素１０６の各々の選択は、電子装置１０２に通信可能に結合された（メディア表示装置１１２などの）メディア表示装置を制御することができる。電子装置１０２は、画像取り込み装置１０８及び第１のディスプレイ画面１０４に結合された（回路２０２などの）回路をさらに含むことができる。回路２０２は、電子装置１０２のユーザ（例えば、ユーザ１１８）の第１の画像を取り込むように画像取り込み装置１０８を制御するよう構成することができる。回路２０２は、取り込まれたユーザ１１８の第１の画像に基づいて、表示された複数のＵＩ要素１０６のうちの第１のＵＩ要素（例えば、第１のＵＩ要素１０６Ａ）上のユーザ１１８の視線の位置を決定するようにさらに構成することができる。回路２０２は、一定の時間間隔にわたる第１のＵＩ要素１０６Ａ上の視線の位置の決定に基づいて、複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａを選択するようにさらに構成することができる。回路２０２は、複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａの選択に基づいて、メディア表示装置１１２に第１の制御信号を送信するようにさらに構成することができる。回路２０２は、送信された第１の制御信号に基づいて、メディア表示装置１１２からフィードバック画像（例えば、フィードバック画像１１０）を受け取るようにさらに構成することができる。受け取られるフィードバック画像１１０は、送信された第１の制御信号に基づくメディア表示装置１１２の制御を示すことができる。回路２０２は、受け取られたフィードバック画像１１０を表示された複数のＵＩ要素１０６と共に表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。

【0079】

ある実施形態によれば、複数のＵＩ要素１０６の各ＵＩ要素は、メディア表示装置１１２に関連する異なる機能に関連することができる。

【0080】

ある実施形態によれば、回路２０２は、複数のＵＩ要素１０６上のユーザ１１８の視線の位置の変化に対応する複数のＵＩ要素１０６上の（カーソル３０８などの）カーソルの移動を制御するようにさらに構成することができる。

【0081】

ある実施形態によれば、回路２０２は、複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａの選択に基づいて、第１のＵＩ要素１０６Ａを強調表示するようにさらに構成することができる。

【0082】

ある実施形態によれば、メディア表示装置１１２から受け取られたフィードバック画像３０４は、送信された第１の制御信号に基づくメディア表示装置１１２の制御を示す（ＵＩアイコン３０２ａなどの）ＵＩアイコンに対応することができる。

【0083】

ある実施形態によれば、メディア表示装置１１２から受け取られたフィードバック画像３１６は、送信された第１の制御信号に基づいてメディア表示装置１１２の（第２のディスプレイ画面１１４などの）第２のディスプレイ画面上に表示されている（メディアコンテンツ３１４などの）メディアコンテンツに対応することができる。

【0084】

ある実施形態によれば、回路２０２は、メディア表示装置１１２の第２のディスプレイ画面１１４上に表示されているメディアコンテンツ４０２に対応できる表示されたフィードバック画像４０４上の表示された複数のＵＩ要素１０６のオーバーレイを制御するようにさらに構成することができる。

【0085】

ある実施形態によれば、回路２０２は、表示されたフィードバック画像４０４上にオーバーレイ表示された複数のＵＩ要素１０６の不透明度を制御するようにさらに構成することができる。

【0086】

ある実施形態によれば、回路２０２は、複数のＵＩ要素１０６のうちの１又は２以上のＵＩ要素の選択に基づいて、メディア表示装置１１２の第２のディスプレイ画面１１４上に表示されているメディアコンテンツ４０８に関連する（第１の情報４１４などの）情報を表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。

【0087】

ある実施形態によれば、回路２０２は、第１のディスプレイ画面１０４の（第１の部分３１０などの）第１の部分に複数のＵＩ要素１０６を表示し、第１のディスプレイ画面１０４の（第２の部分３１２などの）第２の部分に受け取られたフィードバック画像３０４を表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。第１の部分３１０は、第２の部分３１２とは異なることができる。

【0088】

ある実施形態によれば、回路２０２は、第１のディスプレイ画面１０４上に表示された複数のＵＩ要素１０６のうちの第１のＵＩ要素１０６Ａを選択するために、ユーザ１１８の顔の表情に関連するジェスチャ又はユーザ１１８の頭に関連するジェスチャの少なくとも一方を決定するようにさらに構成することができる。

【0089】

ある実施形態によれば、回路２０２は、第１のディスプレイ画面１０４に表示された複数のＵＩ要素１０６のうちの１又は２以上のＵＩ要素を通じてメディア表示装置１１２の１又は２以上の構成設定を制御するための案内情報（例えば、案内情報５０４）をユーザ１１８のためにレンダリングするようにさらに構成することができる。

【0090】

ある実施形態によれば、回路２０２は、受け取られたフィードバック画像５１０に基づいて、複数のＵＩ要素１０６のうちの一連のＵＩ要素５１４を第１のディスプレイ画面１０４上に表示するように第１のディスプレイ画面１０４を制御するようさらに構成することができる。

【0091】

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

【0092】

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

【0093】

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

【符号の説明】

【0094】

１０２ 電子装置
１０４ 第１のディスプレイ画面
１０６ 複数のＵＩ要素
１０８ 画像取り込み装置
１１２ メディア表示装置
１１４ 第２のディスプレイ画面
１１８ ユーザ
４００Ａ シナリオ
４０２ メディアコンテンツ
４０２Ａ 「音量アップ」ＵＩアイコン
４０４ フィードバック
４０６ 第１のＵＩ要素

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】