特許 7601235 生活環境外の環境に基づく生活環境内のディスプレイ上でのコンテンツのレンダリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】生活環境外の環境に基づく生活環境内のディスプレイ上でのコンテンツのレンダリング

(51)【国際特許分類】

   H04N 21/266 20110101AFI20241210BHJP

   H04N 7/18 20060101ALI20241210BHJP

【ＦＩ】

H04N21/266

H04N7/18 U

【請求項の数】 20

(21)【出願番号】P 2023542973

(86)(22)【出願日】2022-01-21

(65)【公表番号】

(43)【公表日】2024-02-02

(86)【国際出願番号】 IB2022050558

(87)【国際公開番号】W WO2022157717

(87)【国際公開日】2022-07-28

【審査請求日】2023-07-14

(31)【優先権主張番号】17/156,060

(32)【優先日】2021-01-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】シンタニ ピーター

(72)【発明者】

【氏名】サボ クリストファー スコット

【審査官】醍醐 一貴

(56)【参考文献】

【文献】特開２０１６－０６６９１８（ＪＰ，Ａ）

【文献】特開２００６－２１１０６８（ＪＰ，Ａ）

【文献】特開２００１－００８１９７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１５７０６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

電子装置であって、
生活環境の内部の第１の画像取り込み装置から前記生活環境の１又は２以上の第１の画像を受け取り、
前記受け取った１又は２以上の第１の画像に基づいて、前記生活環境の内部に存在する第１のユーザの第１の顔領域を検出し、
前記検出された第１の顔領域に基づいて前記第１のユーザの第１の頭部位置又は第１の視線の少なくとも一方を追跡し、
前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて、前記生活環境の外部に存在して前記電子装置に通信可能に結合された複数の画像取り込み装置から第２の画像取り込み装置を選択し、
前記選択された第２の画像取り込み装置から１又は２以上の第２の画像を受け取り、
前記電子装置に関連する、前記生活環境の内部の第１のディスプレイ画面を、前記受け取った１又は２以上の第２の画像を表示するように制御する、
ように構成された回路を備える、
ことを特徴とする電子装置。

【請求項2】

前記回路は、前記第１のユーザの前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて、前記選択された第２の画像取り込み装置を、前記生活環境の外部の環境の１又は２以上の第２の画像を取り込むように制御するようさらに構成される、
請求項１に記載の電子装置。

【請求項3】

前記回路は、前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて前記第１のユーザの第１の視野方向を決定するようにさらに構成され、前記視野方向は前記生活環境の壁の方に向いており、前記選択された第２の画像取り込み装置は前記壁上に位置する、
請求項１に記載の電子装置。

【請求項4】

前記回路は、
前記受け取られた１又は２以上の第１の画像に基づいて、前記生活環境内に存在する第２のユーザの第２の顔領域を検出し、
前記検出された第２の顔領域に基づいて前記第２のユーザの第２の頭部位置又は第２の視線の少なくとも一方を追跡し、
前記第２のユーザの前記追跡された第２の頭部位置又は前記第２の視線の少なくとも一方に基づいて前記複数の画像取り込み装置から第３の画像取り込み装置を選択し、
前記第１のディスプレイ画面を、前記受け取った１又は２以上の第２の画像と前記第３の画像取り込み装置から受け取った１又は２以上の第３の画像とを表示するように制御する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項5】

前記回路は、前記第１のユーザの前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて複数のディスプレイ画面から前記第１のディスプレイ画面を選択するようにさらに構成される、
請求項１に記載の電子装置。

【請求項6】

前記複数の画像取り込み装置は、前記生活環境の外部に配置された複数のオーディオ取り込み装置に関連し、前記回路は、
前記選択された第２の画像取り込み装置に関連する第１のオーディオ取り込み装置を、前記生活環境の外部の環境内に存在する第１のオーディオを取り込むように制御し、
前記第１のオーディオ取り込み装置から、前記取り込まれた第１のオーディオに関連する第１のオーディオ情報を受け取り、
前記受け取った第１のオーディオ情報に基づいて、前記電子装置に関連するオーディオ再生装置を、前記第１のオーディオを再生するように制御する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項7】

前記回路は、
前記選択された第２の画像取り込み装置に関連する１又は２以上のセンサから、前記生活環境の外部の環境に関連する、光度情報、温度情報又は空気流情報のうちの少なくとも１つを含む環境情報を受け取り、
前記受け取った環境情報に基づいて、前記生活環境内の１又は２以上の電子装置の動作を制御する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項8】

前記１又は２以上の電子装置は、照明装置、電動ファン、又はエアコンシステム、電気ヒータ、サーモスタット装置、アロマディフューザ装置、又は暖房・換気及び空調（ＨＶＡＣ）システムのうちの少なくとも１つを含む、
請求項７に記載の電子装置。

【請求項9】

前記回路は、前記第１のディスプレイ画面又は前記電子装置に関連するオーディオ再生装置を、現在の時刻、前記第１のユーザの地理的位置、又は前記生活環境内に存在する１又は２以上の物体のうちの少なくとも１つに基づいてメディアコンテンツをレンダリングするように制御するようさらに構成される、
請求項１に記載の電子装置。

【請求項10】

前記メディアコンテンツは、１又は２以上の予め記憶された画像、１又は２以上の予め記憶されたオーディオコンテンツ、１又は２以上の予め記憶されたグラフィック／アニメーションコンテンツ、ユーザ装置から受け取られた第１のメディアコンテンツ、又はサーバから受け取られた第２のメディアコンテンツのうちの少なくとも１つを含む、
請求項９に記載の電子装置。

【請求項11】

前記回路は、
前記第１のユーザの前記検出された顔領域に基づいて前記第１のユーザの感情状態を決定し、
前記第１のユーザの前記決定された感情状態に基づいて、前記複数の画像取り込み装置から第３の画像取り込み装置を選択し、
前記第１のディスプレイ画面を、前記第３の画像取り込み装置から受け取られた１又は２以上の第３の画像を表示するように制御する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項12】

前記回路は、
前記電子装置の動作モードの選択を示すユーザ入力を受け取り、
前記選択された動作モードに基づいて前記電子装置の動作を制御する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項13】

前記回路は、
前記受け取られた１又は２以上の第１の画像に基づいて前記生活環境内における前記第１のユーザの存在を検出し、
前記検出された前記第１のユーザの存在に基づいて前記電子装置の省電力モードを制御する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項14】

前記回路は、前記第１のユーザの前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて前記電子装置の省電力モードを制御するようにさらに構成される、
請求項１に記載の電子装置。

【請求項15】

電子装置において、
生活環境の内部の第１の画像取り込み装置から前記生活環境の１又は２以上の第１の画像を受け取ることと、
前記受け取った１又は２以上の第１の画像に基づいて、前記生活環境の内部に存在する第１のユーザの第１の顔領域を検出することと、
前記検出された第１の顔領域に基づいて前記第１のユーザの第１の頭部位置又は第１の視線の少なくとも一方を追跡することと、
前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて、前記生活環境の外部に存在して前記電子装置に通信可能に結合された複数の画像取り込み装置から第２の画像取り込み装置を選択することと、
前記選択された第２の画像取り込み装置から１又は２以上の第２の画像を受け取ることと、
前記電子装置に関連する、前記生活環境の内部の第１のディスプレイ画面を、前記受け取った１又は２以上の第２の画像を表示するように制御することと、
を含むことを特徴とする方法。

【請求項16】

前記第１のユーザの前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて、前記選択された第２の画像取り込み装置を、前記生活環境の外部の環境の１又は２以上の第２の画像を取り込むように制御することをさらに含む、
請求項１５に記載の方法。

【請求項17】

前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて前記第１のユーザの第１の視野方向を決定することをさらに含み、前記視野方向は前記生活環境の壁の方に向いており、前記選択された第２の画像取り込み装置は前記壁上に位置する、
請求項１５に記載の方法。

【請求項18】

前記第１のユーザの前記検出された顔領域に基づいて前記第１のユーザの感情状態を決定することと、
前記第１のユーザの前記決定された感情状態に基づいて、前記複数の画像取り込み装置から第３の画像取り込み装置を選択することと、
前記第１のディスプレイ画面を、前記第３の画像取り込み装置から受け取られた１又は２以上の第３の画像を表示するように制御することと、
をさらに含む、請求項１５に記載の方法。

【請求項19】

前記選択された第２の画像取り込み装置に関連する１又は２以上のセンサから、前記生活環境の外部の環境に関連する、光度情報、温度情報又は空気流情報のうちの少なくとも１つを含む環境情報を受け取ることと、
前記受け取った環境情報に基づいて、前記生活環境内の１又は２以上の電子装置の動作を制御することと、
をさらに含む、請求項１５に記載の方法。

【請求項20】

コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、電子装置によって実行された時に、前記電子装置に、
生活環境の内部の第１の画像取り込み装置から前記生活環境の１又は２以上の第１の画像を受け取ることと、
前記受け取った１又は２以上の第１の画像に基づいて、前記生活環境の内部に存在する第１のユーザの第１の顔領域を検出することと、
前記検出された第１の顔領域に基づいて前記第１のユーザの第１の頭部位置又は第１の視線の少なくとも一方を追跡することと、
前記追跡された第１の頭部位置又は前記第１の視線の少なくとも一方に基づいて、前記生活環境の外部に存在して前記電子装置に通信可能に結合された複数の画像取り込み装置から第２の画像取り込み装置を選択することと、
前記選択された第２の画像取り込み装置から１又は２以上の第２の画像を受け取ることと、
前記電子装置に関連する、前記生活環境の内部の第１のディスプレイ画面を、前記受け取った１又は２以上の第２の画像を表示するように制御することと、
を含む動作を実行させる、ことを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照／引用による組み入れ〕
なし

【0002】

本開示の様々な実施形態は、ディスプレイ技術及びホームオートメーションに関する。具体的には、本開示の様々な実施形態は、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングすることに関する。

【背景技術】

【0003】

ディスプレイ技術及びホームオートメーションの進歩により、家庭又はオフィス空間などの生活環境の内部での（単複の）ディスプレイ装置の使用方法が多様化してきている。例えば、家庭内における伝統的なテレビの使用方法も変化してきている。テレビをデジタル壁紙として使用することを好むユーザも多く、従来の放送又はコンテンツストリーミングからアート及び美学へのシフトが進んでいる。ユーザのニーズによっては、生活環境におけるディスプレイの使用方法は他にも可能であると考えられる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。

【課題を解決するための手段】

【0005】

実質的に少なくとも１つの図に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングするための電子装置及び方法を提供する。

【0006】

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的な環境を示すブロック図である。

【図2】本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的な電子装置を示すブロック図である。

【図3A】本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的なシナリオを示す図である。

【図3B】本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的なシナリオを示す図である。

【図4】本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的なシナリオを示す図である。

【図5】本開示の実施形態による、生活環境内のディスプレイ上に外部環境の画像をレンダリングする例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0008】

開示する外部環境に基づいてメディアコンテンツをレンダリングする電子装置、及び電子装置をそのように制御する方法では、後述する実装を見出すことができる。本開示の例示的な態様は、生活環境の内部の電子装置に関連するディスプレイ画面を制御できる電子装置（例えば、テレビ（ＴＶ））を提供する。例えば、生活環境は、（アパート又は家などの）居住空間、（オフィス空間、ホテルの部屋、コンサートホールなどの）商業空間、及び居住空間又は商業空間内の特定の部屋又は空間などとすることができる。

【0009】

電子装置は、いずれかの時点で、生活環境の１又は２以上の画像から検出された顔領域に基づいて、生活環境内に存在するユーザの頭部位置又は視線を追跡するように構成することができる。このような画像は、電子装置に結合された第１の画像取り込み装置（例えば、閉回路テレビ（ＣＣＴＶ）カメラ又はその他の画像取り込み装置）から受け取ることができる。第１の画像取り込み装置は、生活環境の内部に存在することができる。例えば、第１の画像取り込み装置は、壁取り付け型カメラ又は電子装置の統合カメラユニットとすることができる。電子装置は、追跡された頭部位置及び／又は視線に基づいて、複数の画像取り込み装置から第２の画像取り込み装置を選択することができる。例えば、ユーザは特定の方向を向いており又は特定の方向を見ているものとすることができ、電子装置は、生活環境の外部の、ユーザの向き、視野（ＦｏＶ）、又は視線に一致する方向に存在し得る第２の画像撮影装置（例えば、ＣＣＴＶカメラ）を選択することができる。

【0010】

電子装置は、選択された第２の画像取り込み装置から画像を受け取り、受け取った画像を表示するようにディスプレイ画面を制御するよう構成することができる。生活環境によっては、そこに住んでいる又は滞在している人々が窓を有していなかったり、例えば外の景色が良くない場合又は光が非常にまぶしい場合などには窓を開けることができなかったりすることがある。いくつかの事例では、たとえ窓がある場合でも、望ましくない生活環境の側を向いている場合もある。例えば、窓が西側にあるのに東側の眺めの方が良い場合もある。この問題に対処するために、開示する電子装置（及びディスプレイ画面）は、外部環境の眺望を提供する人工窓又はデジタル窓として動作することができる。また、電子装置は、頭部位置又は視線を追跡することにより、生活環境内のディスプレイ画面を動的に選択して外部環境の眺望（すなわち、ライブの又は録画した画像／ビデオフィード）を表示するように制御することができる。

【0011】

図１は、本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的な環境を示すブロック図である。図１には環境１００の図を示す。環境１００は、生活環境１０２及び外部環境１０４を含む。生活環境１０２には、電子装置１０６、第１の画像取り込み装置１０８、複数のディスプレイ画面１１０、オーディオ再生装置１１２、及び１又は２以上の電子装置１１４を示す。外部環境１０４には、複数の画像取り込み装置１１６、複数のオーディオ取り込み装置１１８、及び複数のセンサ１２０を示す。複数の画像取り込み装置１１６は、例えば第２の画像取り込み装置１２２を含むことができる。また、生活環境１０２の内部には第１のユーザ１２４も示す。

【0012】

図１では、電子装置１０６、第１の画像取り込み装置１０８、複数のディスプレイ画面１１０、オーディオ再生装置１１２及び１又は２以上の電子装置１１４を独立装置として示す。いくつかの実施形態では、本開示の範囲から逸脱することなく、第１の画像取り込み装置１０８、複数のディスプレイ画面１１０、オーディオ再生装置１１２、或いは１又は２以上の電子装置１１４のうちの少なくとも１つの機能全体を電子装置１０６に組み込むこともできる。環境１００には、通信ネットワーク１２８を介して電子装置１０６及び／又は環境１００内の他の装置に通信可能に結合できるサーバ１２６をさらに示す。

【0013】

生活環境１０２は、様々な種類の社会的、文化的、宗教的、経済的又は政治的活動を営むことができる人々に提供できる構築環境とすることができる。生活環境１０２の例としては、以下に限定するわけではないが、（アパート又は家などの）居住空間、（オフィス空間、ホテルの部屋、又はコンサートホールなどの）商業空間、或いは居住空間又は商業空間内の特定の部屋又は空間を挙げることができる。外部環境１０２は、生活環境１０２の外部のいずれかの物理的空間とすることができる。外部環境１０２の例としては、以下に限定するわけではないが、テラス、屋根、バルコニー、庭、公園、道路、森、空、又はこれらの組み合わせを挙げることができる。

【0014】

電子装置１０６は、生活環境１０２の外部の眺望の１又は２以上の画像を表示するように（複数のディスプレイ画面１１０の中から）１又は２以上のディスプレイ画面を制御するよう構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。このような画像は、（第２の画像取り込み装置１２２などの）画像取り込み装置によって取得することができる。

【0015】

ある実施形態では、電子装置１０６を、生活環境１０２のいずれかの支持具又は支持構造（例えば、壁、屋根、ドア及び天井など）に配置し又は取り付けることができる。動作状態では、電子装置１０６及びディスプレイ画面が、生活環境１０２の外部の眺望への開口部（例えば、窓）であるように見え、又は開口部の機能を模倣することができる。電子装置（及びディスプレイ画面）は、非動作状態において開口部であるように見え、又は開口部として機能するように、生活環境１０２の開口部内に又は開口部を覆って配置し又は取り付けることができる。このような事例では、ディスプレイ画面をシースルー又は半透明又は透光性ディスプレイとして実装することができる。

【0016】

ある実施形態では、電子装置１０６にディスプレイ画面を統合することができる。ディスプレイ画面のサイズは、窓、ドア又は天窓などの開口部の典型的なサイズに一致できるほどの十分なものとすべきである。このような電子装置１０６の実装例としては、以下に限定するわけではないが、テレビ（ＴＶ）、ディスプレイモニタ又はコンピュータモニタ、電子看板、デジタルミラー（又はスマートミラー）、（１つの大画面を形成するために２又は３以上のディスプレイを連続してタイル状にしたもの又は重ね合わせたものから成る）ビデオウォールを挙げることができる。

【0017】

別の実施形態では、電子装置１０６が、好適なネットワーク又はＩ／Ｏ（入力／出力）インターフェイスを通じて１又は２以上のディスプレイ画面と通信することができる。このような電子装置１０６の実装例としては、以下に限定するわけではないが、携帯電話機、スマートフォン、タブレットコンピュータ装置、パーソナルコンピュータ、プロジェクタ、ゲーム機、メディアプレーヤ、サウンドシステム、セットトップボックス又はデジタルＴＶ受信機、スマートオーディオ装置、ホームシアターシステム、デジタルカメラ、或いはメディアレンダリング及び共有能力を有するその他の消費者電子装置を挙げることができる。

【0018】

第１の画像取り込み装置１０８は、生活環境１０２の１又は２以上の第１の画像を取り込むように構成できる好適なロジック、回路、コード及び／又はインターフェイスを含むことができる。ある実施形態では、第１の画像取り込み装置１０８が、取り込まれた１又は２以上の第１の画像に基づいて、生活環境１０２内に存在する第１のユーザ１２４の第１の顔領域を検出することができる。別の実施形態では、第１の画像取り込み装置１０８が、取り込まれた１又は２以上の第１の画像を電子装置１０６に送信し、電子装置１０６が第１のユーザ１２４の第１の顔領域を検出することができる。検出は、顔検出法、物体検出法、深層学習法及び当業者に周知のその他の方法などの１又は２以上の画像処理技術に基づくことができる。

【0019】

ある実施形態では、第１の画像取り込み装置１０８を、生活環境１０２内のいずれかの固定具又は支持構造に配置し、取り付け、又は固定することができる。別の実施形態では、第１の画像取り込み装置１０８を、電子装置１０６又は電子装置１０６に結合されたディスプレイ画面に統合することができる。第１の画像取り込み装置１０８の例としては、以下に限定するわけではないが、イメージセンサ、広角カメラ、アクションカメラ、閉回路テレビ（ＣＣＴＶ）カメラ、カムコーダ、デジタルカメラ、カメラ電話機、カメラドローン、ロボット（例えば、ロボット犬、掃除ロボット及び案内ロボット（ａｔｔｅｎｄａｎｔ ｒｏｂｏｔ）など）に組み込まれたカメラユニット、又はいずれかの消費者電子装置（例えば、以下に限定するわけではないが、冷蔵庫、照明器具、パーソナルコンピュータ、又は室内セキュリティ装置など）に組み込まれたカメラユニットを挙げることができる。

【0020】

複数のディスプレイ画面１１０は、電子装置１０６の出力を表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。複数のディスプレイ画面１１０は、選択された第２の画像取り込み装置１２２から取り込まれた１又は２以上の第２の画像を表示するために利用することができる。いくつかの実施形態では、複数のディスプレイ画面１１０を、電子装置１０６に関連する外部ディスプレイ画面とすることができる。複数のディスプレイ画面１１０は、（第１のユーザ１２４などの）ユーザが電子装置１０６の動作モードを選択するために複数のディスプレイ画面１１０を介してユーザ入力を提供することを可能にすることができるタッチ画面とすることができる。複数のディスプレイ画面１１０の各々は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術などの複数の既知の技術のうちの１つを通じて実現することができる。ある実施形態では、複数のディスプレイ画面１１０の各々を、シースルーディスプレイ、半透明又は透光性ディスプレイ、又は可変透明度を有する（すなわち、透明度を電子的に制御できる）ディスプレイのうちの１つとすることができる。

【0021】

オーディオ再生装置１１２は、オーディオを再生するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。オーディオ再生装置１１２は、（限定するわけではないが、複数のオーディオ取り込み装置１１８又はサーバなどの）オーディオソースから電気信号又は命令（すなわち、オーディオに関連するもの）を受け取ることができ、受け取った電気信号又は命令をオーディオ出力に変換することができる。オーディオ再生装置１１２は、電子装置１０６に関連することができる。

【0022】

ある実施形態では、オーディオ再生装置１１２を電子装置１０６に統合することができる。このような実装では、複数のオーディオ取り込み装置１１８が、電子装置１０６の内部コンポーネントを形成することができる。いくつかの実施形態では、複数のオーディオ取り込み装置１１８を電子装置１０６に通信可能に結合して生活環境１０２の内部に配置することができる。オーディオ再生装置１１２の例としては、以下に限定するわけではないが、通信ネットワーク１２８を通じて電子装置１０６に通信可能に結合できる、又は電子装置１０６に統合できる特定のスピーカレイアウト（例えば、Ｍ個のスピーカ及びＮ個のサブウーファを含むＭ：Ｎレイアウト）を有するサラウンドサウンドシステム、外部無線スピーカ、内部スピーカ、外部有線スピーカ、ウーファ、サブウーファ、ツイータ、ラウドスピーカ、モニタスピーカ、光オーディオ装置、又はサウンド出力装置を挙げることができる。

【0023】

１又は２以上の電子装置１１４の各電子装置は、電子装置１０６からの制御命令に基づいて機能するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。このような命令は、生活環境１０２の外部の（外部環境１０４などの）環境に関連する環境情報に基づいて１又は２以上の電子装置１１４に伝えることができる。環境情報は、例えば光度情報、温度情報、又は空気流情報を含むことができる。このような情報は、複数のセンサ１２０から受け取ることができる。ある実施形態では、１又は２以上の電子装置１１４を電子装置１０６に結合して生活環境１０２内に配置することができる。１又は２以上の電子装置１１４の各々の例としては、以下に限定するわけではないが、照明装置、電動ファン又はエアコンシステム、電気ヒータ、サーモスタット装置、アロマディフューザ装置、オーディオ／ビデオ再生装置、暖房・換気及び空調（ＨＶＡＣ）システム、又はその他の消費者電子装置を挙げることができる。

【0024】

複数の画像取り込み装置１１６の各々は、特定のカメラ視点及び／又はカメラ位置から外部環境１０４の１又は２以上の第２の画像を取り込むように構成できる好適なロジック、回路、コード及び／又はインターフェイスを含むことができる。複数の画像取り込み装置１１６の例としては、以下に限定するわけではないが、イメージセンサ、広角カメラ、アクションカメラ、ＣＣＴＶカメラ、カムコーダ、デジタルカメラ、カメラ電話機、カメラドローン、飛行時間カメラ（ＴｏＦカメラ）、暗視カメラ、及び／又はその他の画像取り込み装置を挙げることができる。

【0025】

複数の画像取り込み装置１１６は、生活環境１０２の外部（外部環境１０４など）に配置することができる。ある実施形態では、複数の画像取り込み装置１１６の少なくとも１つを、生活環境１０２の一部である（家の門、境界壁、又は生活環境１０２の周囲のフェンスの近くなどの）近隣の支持構造上の特定の場所に配置し、取り付け、又は固定することができる。例えば、支持構造が家の壁又は屋根である場合、特定の場所は、これらの壁又は屋根の外部環境１０４に面した側とすることができる。ある実施形態では、複数の画像取り込み装置１１６の少なくとも１つを、窓の眺望又は眺めに一致するように、ディスプレイ画面を配置できる（壁などの）支持構造の同じ部分に配置し、取り付け、又は固定することができる。このような実装では、ディスプレイ画面及び画像取り込み装置の両方を支持構造の同じ部分に配置することができるが、前者は生活環境１０２の内部に存在することができ、後者は生活環境１０２の外部に存在することができる。

【0026】

複数のオーディオ取り込み装置１１８の各々は、生活環境１０２外の環境に存在する第１のオーディオを取り込むように構成できる好適なロジック、回路、コード及び／又はインターフェイスを含むことができる。複数のオーディオ取り込み装置１１８は、複数のオーディオ取り込み装置１１８から取り込まれた第１のオーディオに関連する第１のオーディオ情報を生成することができる。複数のオーディオ取り込み装置１１８の例としては、以下に限定するわけではないが、エレクトレットマイク、ダイナミックマイク、カーボンマイク、圧電マイク、ファイバーマイク、微小電気機械システム（ＭＥＭＳ）マイク、又はその他のマイクを挙げることができる。

【0027】

複数のセンサ１２０は、生活環境１０２外の環境（外部環境１０４など）に関連する環境情報を生成するように構成できる好適なロジック、回路、コード及び／又はインターフェイスを含むことができる。環境情報は、例えば光度情報、温度情報、及び空気流情報などを含むことができる。複数のセンサ１２０は、環境情報を電子装置１０６に送信するようにさらに構成することができる。複数のセンサ１２０は、例えば、赤外線センサ、無線周波数識別（ＲＦＩＤ）センサ、モーションセンサ、温度センサ、超音波センサ、気流センサ及び光センサなどのうちの１つ又は２つ以上を含むことができる。複数のセンサ１２０に関する詳細については、例えば図３Ａで説明する。

【0028】

サーバ１２６は、メディアコンテンツを電子装置１０６に送信するように構成できる好適なロジック、回路、コード及び／又はインターフェイスを含むことができる。いくつかの実施形態では、サーバ１２６を、生活環境１０２内の１又は２以上の電子装置１１４の動作を制御できる環境情報を記憶して電子装置１０６に伝えるように構成することができる。サーバ１２６は、ウェブアプリケーション、クラウドアプリケーション、ＨＴＴＰリクエスト、リポジトリ操作及びファイル転送などを通じて動作を実行することができる。サーバ１２６の実装例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、ウェブサーバ、メディアサーバ、アプリケーションサーバ、メインフレームサーバ、又はクラウドサーバを挙げることができる。

【0029】

通信ネットワーク１２８は、電子装置１０６、生活環境１０２、外部環境１０４及びサーバ１２６が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１２８は、有線接続又は無線接続の一方とすることができる。通信ネットワーク１２８の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１２８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、第４世代ロングタームエボリューション（ＬＴＥ）、第５世代新無線（ＮＲ）、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。

【0030】

動作時には、電子装置１０６を、生活環境１０２の外部の眺望の（単複の）画像又はビデオを表示するように（単複の）ディスプレイ画面を制御するワークフローを実行するように構成することができる。このようなワークフローの実行は、イベントの検出、スケジュール、又はユーザ入力に基づくことができる。例えば、イベントは、（雪が降っているかどうか、雨が降っているどうかなどの）気象状況、（パーティ又はディナーなどの）社会的会合又は集まり、或いは（日の出、日没、満月、日食などの）時間依存状況に関連することができる。また、ユーザは、ワークフローの実行を特定の日時にスケジュールすることもできる。本明細書では、ワークフローについては簡単に説明する。

【0031】

電子装置１０６は、電子装置１０６に結合して生活環境１０２の内部に位置することができる第１の画像取り込み装置１０８から生活環境１０２の１又は２以上の第１の画像を受け取るように構成することができる。このような生活環境１０２の画像は、（ディスプレイ画面、家具アイテム、装飾アイテム、又は（単複の）ユーザなどの）複数の物体を含むことができる。電子装置１０６は、いずれかの時点で、受け取った１又は２以上の第１の画像に基づいて生活環境１０２内の第１のユーザ１２４の第１の顔領域を検出するように構成することができる。例えば図３Ａで説明するように、電子装置１０６は、以下に限定するわけではないが、顔検出法、物体検出法、深層学習モデル、又は他の画像処理法などの異なる画像処理技術に基づいて第１のユーザ１２４の第１の顔領域を検出することができる。

【0032】

電子装置１０６は、検出された第１の顔領域に基づいて第１のユーザ１２４の第１の頭部位置又は第１の視線の少なくとも一方を追跡するように構成することができる。例えば、第１の頭部位置又は第１の視線を追跡して、第１のユーザ１２４が生活環境１０２内に存在している間に見ている又は顔を向けていると考えられる特定の場所又は装置（又は特定の方向）を識別することができる。電子装置１０６は、第１の頭部位置及び／又は第１の視線の追跡に基づいて、（例えば、図３Ａで説明するように）複数の画像取り込み装置１１６から第２の画像取り込み装置１２２を選択するように構成することができる。複数の画像取り込み装置１１６は、生活環境１０２の外部（外部環境１０４など）に位置することができる。

【0033】

いくつかの実施形態では、電子装置１０６が、第１の頭部位置又は第１の視線に基づいて、第１のユーザ１２４が生活環境１０２内で見ている又は顔を向けていると考えられる場所、領域又は物理的構造を決定することができる。第２の画像取り込み装置１２２の選択は、これらの生活環境１０２内の場所、領域又は物理的構造においてディスプレイ画面が利用可能であるかどうか、又はその近くに存在するかどうかに基づいて行うことができる。これらの又はその他の実施形態では、複数の画像取り込み装置１１６の中で、これらの場所、領域又は物理的構造に対する第２の画像取り込み装置１２２の相対的距離が最小であるとの決定に基づいて第２の画像取り込み装置１２２を選択することができる。例えば、第１のユーザ１２４が右側の壁にあるテレビ画面を見ている場合、家の外に配置されてテレビ画面に最も近いカメラを選択することができる。

【0034】

電子装置１０６は、選択された第２の画像取り込み装置１２２から１又は２以上の第２の画像を受け取り、電子装置１０６に関連する（第１のディスプレイ画面１１０Ａなどの）ディスプレイ画面を、受け取った１又は２以上の第２の画像を表示するように制御することができる。このような画像は、外部環境１０４の眺望を含むことができる。開示する電子装置１０６は、頭部位置又は視線を追跡することによって、生活環境１０２内の複数のディスプレイ画面のうちの１つを自動的に選択して外部環境１０４の画像を表示するように制御することができる。

【0035】

図２は、本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的な電子装置を示すブロック図である。図２の説明は図１の要素に関連して行う。図２には、電子装置１０６のブロック図２００を示す。電子装置１０６は、回路２０２及びメモリ２０４を含むことができる。いくつかの実施形態では、電子装置１０６が、（第１の画像取り込み装置１０８などの）画像取り込み装置、（複数のディスプレイ画面１１０などの）ディスプレイ画面、及び／又はオーディオ再生装置１１２を含むこともできる。さらに、電子装置１０６は、電子装置１０６を通信ネットワーク１２８に接続できるようにするネットワークインターフェイス２０６を含むことができる。

【0036】

回路２０２は、電子装置１０６によって実行される異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。回路２０２は、独立したプロセッサとして実装できる１又は２以上の特殊処理ユニットを含むことができる。ある実施形態では、１又は２以上の特殊処理ユニットを、１又は２以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装することができる。回路２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路２０２の実装例は、Ｘ８６ベースのプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。

【0037】

メモリ２０４は、回路２０２によって実行されるプログラム命令を記憶するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。いくつかの実施形態では、メモリ２０４を、生活環境又は外部環境の画像、及び外部環境に関連する環境情報も記憶するように構成することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードなどを挙げることができる。

【0038】

ネットワークインターフェイス２０６は、通信ネットワーク１２８を介して電子装置１０６、生活環境１０２、外部環境１０４及びサーバ１２６間の通信を容易にするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０６は、電子装置１０６と通信ネットワーク１２８との有線又は無線通信をサポートする様々な既知の技術を使用して実装することができる。ネットワークインターフェイス２１０は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者ＩＤモジュール（ＳＩＭ）カード、又はローカルバッファ回路を含むことができる。

【0039】

ネットワークインターフェイス２０６は、インターネット、イントラネット、無線ネットワーク、セルラーネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）又はメトロポリタンエリアネットワーク（ＭＡＮ）などのネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、４Ｇ ＬＴＥ、５Ｇ ＮＲ、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（Ｗｉ－ＭＡＸ）などの複数の通信標準、プロトコル及び技術のうちの１つ又は２つ以上を使用するように構成することができる。

【0040】

当業者であれば、図２の電子装置１０６は、本開示の機能及び動作の説明及び解説のために本明細書に示すコンポーネント又はシステムに加えて、他の好適なコンポーネント又はシステムを含むこともできると理解するであろう。電子装置１０６の他のコンポーネント又はシステムの詳細な説明については、簡潔にするために本開示からは省略する。回路２０２の動作については、例えば図３Ａ、図３Ｂ及び図４でさらに説明する。

【0041】

図３Ａは、本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的なシナリオを示す図である。図３Ａの説明は、図１及び図２の要素に関連して行う。図３Ａには例示的なシナリオ３００Ａを示す。例示的なシナリオ３００Ａには、生活環境１０２及び外部環境１０４のそれぞれの例とすることができる部屋３０２及び外部環境３０４を示す。さらに、図１の第１の画像取り込み装置１０８の例示的な実装とすることができる第１の画像取り込み装置３０６も示す。さらに、（第２の画像取り込み装置３０８及び第３の画像取り込み装置３１０などの）複数の画像取り込み装置も示す。さらに、複数のディスプレイ画面１１０の例示的な実装とすることができる（第１のディスプレイ画面３１２及び第２のディスプレイ画面３１４などの）複数のディスプレイ画面も示す。さらに、１又は２以上の電子装置１１４の例示的な実装とすることができる（照明装置３２２及びエアコン３２４などの）１又は２以上の電子装置も示す。さらに、複数のセンサ１２０の例示的な実装とすることができる（温度センサ３２８及び光センサ３２６などの）複数のセンサも示す。

【0042】

シナリオ３００Ａには、部屋３０２を取り囲む壁３１６、３１８及び３２０をさらに示す。さらに、部屋３０２内に配置された第１のディスプレイ画面３１２の近くに立って壁３１６の方を向いている第１のユーザ３３０も示す。なお、照明装置３２２及びエアコン３２４は一例にすぎない。シナリオ３００Ａは、本開示の範囲から逸脱することなく他のタイプの電子装置を含むこともできる。また、温度センサ３２８及び光センサ３２６も一例にすぎない。シナリオ３００Ａは、本開示の範囲から逸脱することなく他のタイプのセンサを含むこともできる。

【0043】

回路２０２は、いずれかの時点で、（電子装置１０６に結合されて部屋３０２の内部に位置することができる）第１の画像取り込み装置３０６から部屋３０２の１又は２以上の第１の画像を受け取るように構成することができる。第１の画像取り込み装置３０６は、部屋３０２の１又は複数の画像を取り込むように構成することができる。ある実施形態では、第１の画像取り込み装置３０６を、取り込まれた１又は複数の画像に基づいて、部屋３０２内に存在する（家具アイテム、装飾アイテム又はユーザなどの）複数の物体を物体検出結果として検出するように構成することができる。ある実施形態では、第１の画像取り込み装置３０６が、取り込まれた画像及び物体検出結果を回路２０２に送信し、回路２０２が部屋３０２内の複数の物体を決定することができる。

【0044】

回路２０２は、受け取った１又は２以上の第１の画像に基づいて、部屋３０２内に存在する第１のユーザ３３０の第１の顔領域を検出するように構成することができる。ある実施形態では、回路２０２が、以下に限定するわけではないが、顔検出法、物体検出法、深層学習法及びその他の画像処理法などの画像処理技術に基づいて、受け取った１又は２以上の第１の画像内の第１のユーザ３３０の第１の顔領域を検出することができる。回路２０２は、検出された第１の顔領域に基づいて、第１のユーザ３３０の第１の頭部位置又は第１の視線の少なくとも一方を追跡するように構成することができる。第１の頭部位置又は第１の視線は、受け取られた部屋３０２の１又は２以上の画像内の検出された第１の顔領域に基づいて追跡することができる。第１の頭部位置又は第１の視線は、特定の時点で第１のユーザ３３０が見ている又は凝視していると考えられる部屋３０２内の場所又は領域を示すことができる。例えば、第１の頭部位置は、特定のヨー、ロール又はピッチの観点からのユーザの顔の向きに関連することができる。具体的には、いくつかの事例では、第１の頭部位置を、真っ直ぐな顔の位置、下を向いた位置、上を向いた位置、体の右側又は左側を向いた、或いは肩の上の顔の向きなどの位置の観点から決定することができる。

【0045】

ある実施形態では、回路２０２を、追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて第１のユーザ３３０の第１の視野方向（ｖｉｅｗｉｎｇ ｄｉｒｅｃｔｉｏｎ）を決定するように構成することができる。視野方向は、部屋３０２の（壁３１６、３１８及び３２０などの）壁の方を向いているものとすることができ、この壁には選択された第２の画像取り込み装置が位置することができる。例えば、シナリオ３００Ａでは、追跡された第１の頭部位置又は第１の視線の少なくとも一方が部屋３０２の壁３１６の方を向いているものとすることができる。ある実施形態では、第１のユーザ３３０の視野方向を、第１のユーザ３３０に関連する第１の頭部位置に基づいて決定することができる。視野方向は、頭部位置の変化によって変化することができる。いくつかのシナリオでは、第１のユーザ３３０の視野方向を、第１のユーザ３３０の第１の視線に基づいて決定することができる。視野方向は、第１の視線の変化によって変化できるのに対し、第１の頭部位置は、変化しないままであることも又は変化することもある。例えば、第１の時点では、第１のユーザ３３０の第１の頭部位置が真っ直ぐであって第１の視線が壁３１６の左隅に向いているものとすることができる。第２の画像取り込み装置３０８は、第１の時点における第１の頭部位置及び第１の視線に関連する視点に基づいて外部環境１０４の１又は２以上の第２の画像を取り込むことができる。

【0046】

ある実施形態では、回路２０２を、第１のユーザ３３０の追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて（生活環境内の）複数のディスプレイ画面から第１のディスプレイ画面３１２を選択するようにさらに構成することができる。例えば、シナリオ３００Ａでは、第１の頭部位置又は第１の視線が部屋３０２の壁３１６の方に向いていることを示す。この場合は、第１のディスプレイ画面３１２を選択することができる。

【0047】

回路２０２は、追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて、（第２の画像取り込み装置３０８及び第３の画像取り込み装置３１０などの）複数の画像取り込み装置から第２の画像取り込み装置を選択するように構成することができる。複数の画像取り込み装置は、（外部環境３０４などの）部屋３０２の外部に配置される。例えば、第１の頭部位置又は第１の視線が部屋３０２の壁３１６の方に向いている場合、回路２０２は、壁３１６の外部に配置された第２の画像取り込み装置３０８を選択することができる。

【0048】

回路２０２は、選択された第２の画像取り込み装置３０８から１又は２以上の第２の画像を受け取るように構成することができる。このような画像は、選択された第２の画像取り込み装置３０８によって取り込まれた外部環境３０４の眺望を含むことができる。ある実施形態では、回路２０２を、第１のユーザ３３０の追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて、選択された第２の画像取り込み装置３０８を、部屋３０２の外部の環境の１又は２以上の第２の画像を取り込むように制御するようさらに構成することができる。その後、回路２０２は、電子装置１０６に関連する選択された第１のディスプレイ画面３１２を、受け取られた１又は２以上の第２の画像を表示するように制御するよう構成することができる。

【0049】

ある実施形態では、回路２０２が、（気象関連イベントなどの）イベント情報又はユーザ入力／選好に基づいて、複数の事前設定テーマ又は構成可能テーマの中から事前設定テーマ又は構成可能テーマを選択することができる。回路２０２は、選択された事前設定テーマ又は構成可能テーマに基づいて、表示画像（すなわち、表示された１又は２以上の第２の画像）上にアニメーション又はグラフィックアイテムをオーバーレイ表示するように構成することができる。このようなテーマは、例えば（窓のスタイル又は設計、窓のアーキテクチャ、窓の形状、又は窓の材料を表す）グラフィック、ガラスの色及び効果、（雪、雨、又は爆竹などの）アニメーションオブジェクト、（色温度変化などの）色効果、又はこれらの組み合わせを含むことができる。また、このようなテーマは、表示画像上にオーバーレイ表示又は適用されると、第１のディスプレイ画面３１２を、まるで生活環境１０２の壁３１６（すなわち、支持構造）上に特定のタイプの窓が存在しているかのように見せることができる。これにより、電子装置１０６は、ユーザの視聴体験を維持及び／又は強化して生活環境１０２の全体的美観に加えることができる。

【0050】

第１のディスプレイ画面３１２は、第１のユーザ３３０の頭部位置及び／又は第１の視線に基づいて外部環境の画像を表示するように動的に制御することができる。第１のユーザ３３０は、ディスプレイ画面及び画像取り込み装置が存在するいずれかの特定の場所又は方向からの外部環境の所望の眺望を体験することができる。

【0051】

図３Ｂは、本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的なシナリオを示す図である。図３Ｂの説明は、図１、図２及び図３Ａの要素に関連して行う。図３Ｂには例示的なシナリオ３００Ｂを示す。例示的なシナリオ３００Ｂには、（例えば、図３Ａで説明したような）第１の画像取り込み装置３０６、第１のディスプレイ画面３１２、第２のディスプレイ画面３１４、照明装置３２２及びエアコン３２４を含むことができる部屋３０２を示す。例示的なシナリオ３００Ｂには、（例えば、図３Ａで説明したような）第２の画像取り込み装置３０８、第３の画像取り込み装置３１０、温度センサ３２８及び光センサ３２６を含むことができる外部環境３０４をさらに示す。

【0052】

図３Ｂには、部屋３０２内に立って壁３２０の方を向いているものとすることができる第１のユーザ３３０をさらに示す。ある実施形態では、回路２０２を、追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて、電子装置１０６に結合された第３の画像取り込み装置３１０を選択するように構成することができる。第３の画像取り込み装置３１０は、部屋３０２の外部（外部環境３０４）の壁３２０上に位置することができる。回路２０２は、選択された第３の画像取り込み装置３１０から１又は２以上の第３の画像を受け取り、電子装置１０６に関連する第２のディスプレイ画面３１４を、受け取った１又は２以上の第３の画像を表示するように制御するよう構成することができる。１又は２以上の第３の画像は、第３の画像取り込み装置３１０の視点から取り込むことができる。

【0053】

ある実施形態では、（第２の画像取り込み装置３０８及び第３の画像取り込み装置３１０などの）複数の画像取り込み装置が、（部屋３０２などの）生活環境の外部に配置された（複数のオーディオ取り込み装置１１８などの）複数のオーディオ取り込み装置に関連することができる。回路２０２は、選択された第２の画像取り込み装置３０８に関連する（第１のオーディオ取り込み装置１１８Ａなどの）第１のオーディオ取り込み装置を、部屋３０２の外部の環境内に存在する第１のオーディオを取り込むように制御するようさらに構成することができる。

【0054】

回路２０２は、第１のオーディオ取り込み装置１１８Ａから、取り込まれた第１のオーディオに関連する第１のオーディオ情報を受け取るように構成することができる。回路２０２は、受け取った第１のオーディオ情報に基づいて、第１のオーディオを再生するように（オーディオ再生装置１１２などの）オーディオ再生装置を制御するようさらに構成することができる。第１のユーザ３３０は、第２のディスプレイ画面３１４上の表示画像を見ながら、第１のユーザ３３０の体験を強化することができる部屋３０２の外部環境の音を聞くことができる。

【0055】

ある実施形態では、回路２０２を、現在の時刻、第１のユーザ３３０の地理的位置、或いは（部屋３０２などの）生活環境内に存在する１又は２以上の物体のうちの少なくとも１つに基づいてメディアコンテンツをレンダリングするように、電子装置１０６に関連する第１のディスプレイ画面３１２又はオーディオ再生装置１１２を制御するようさらに構成することができる。例えば、メディアコンテンツは、現在の時刻に基づいて朝のシーン、夕方のシーン又は夜のシーンなどをレンダリングすることができる。第１のディスプレイ画面３１２は、現在の時刻に対応するシーンを表示することができ、オーディオ再生装置１１２は、これに応じてオーディオ情報を再生することができる。別の例では、第１のユーザ３３０の地理的位置に基づいてメディアコンテンツをレンダリングすることができる。地理的位置は、例えば特定のビーチ、岩場、山、及びジャングルなどとすることができる。別の例では、部屋３０２内に存在する１又は２以上の物体に基づいてメディアコンテンツをレンダリングすることができる。例えば、回路２０２は、部屋３０２内の複数の物体を検出し、検出された複数の物体に基づいてメディアコンテンツを表示するように第１のディスプレイ画面３１２を制御することができる。検出された物体が部屋３０２内のコーヒーマグである場合、回路２０２は、コーヒーマグに関連し得るメディアコンテンツを表示することができる。このようなメディアコンテンツは、例えば朝のシーン、カフェのシーン、又はレストランのシーンを含むことができる。別の例では、回路２０２が、以下に限定するわけではないが、人物、装飾品、食品、又はこれらの組み合わせなどの物体を検出することができる。回路２０２は、このような物体について、以下に限定するわけではないが、パーティのシーン、ダンスのシーン又はロマンチックなシーンなどのメディアコンテンツを表示することができる。メディアコンテンツの他の例としては、以下に限定するわけではないが、１又は２以上の予め記憶された画像、１又は２以上の予め記憶されたオーディオコンテンツ、１又は２以上の予め記憶されたグラフィック／アニメーションコンテンツ、ユーザ装置から受け取られた第１のメディアコンテンツ、又は（サーバ１２６などの）サーバから受け取られた第２のメディアコンテンツを挙げることができる。ユーザ装置（図示せず）は、例えば携帯電話機、スマートフォン、タブレットコンピュータ装置、パーソナルコンピュータ、ゲーム機、メディアプレーヤ、サウンドシステム、スマートオーディオ装置、ホームシアターシステム、デジタルカメラ、又はメディアレンダリング能力を有するその他の消費者電子装置などの、第１のユーザ３３０に関連する装置を示すことができる。

【0056】

ある実施形態では、回路２０２を、選択された第２の画像取り込み装置３０８に関連する（光センサ３２６及び温度センサ３２８などの）１又は２以上のセンサから（部屋３０２などの）生活環境の外部の環境に関連する環境情報を受け取るようにさらに構成することができる。環境情報は、光度情報、温度情報、又は空気流情報のうちの少なくとも１つを含むことができる。回路２０２は、受け取った環境情報に基づいて部屋３０２内の（エアコン３２４及び照明装置３２２などの）１又は２以上の電子装置の動作を制御するように構成することができる。このような電子装置の例としては、以下に限定するわけではないが、照明装置、扇風機、エアコンシステム、電気ヒータ、サーモスタット装置、アロマディフューザ装置、又は暖房・換気及び空調（ＨＶＡＣ）システムを挙げることができる。例えば、照明装置３２２は、外部環境に基づいて部屋３０２の光度を調整することができる。電気ファン（図示せず）は、外部環境の空気流に基づいて部屋３０２の空気流を調整することができる。エアコン３２４は、外部環境３０４の温度に基づいて部屋３０２の温度を調整することができる。アロマディフューザ（図示せず）は、外部環境３０４の香りに一致する香りを部屋３０２内に放出することができる。ＨＶＡＣシステム（図示せず）は、部屋３０２内に高温空気、低温空気及び／又は除湿空気を導入できる１又は２以上の通気孔を含むことができる。

【0057】

ある実施形態では、回路２０２を、部屋３０２の外部の環境内に存在する光センサ３２６又は温度センサ３２８から環境情報を受け取るように構成することができる。環境情報は、（光センサ３２６又は温度センサ３２８などの）１又は２以上のセンサからアナログ信号又はデジタル信号の形態で受け取ることができる。光センサ３２６は、外部環境３０４の光度情報を検出するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。例えば、図３Ａに示すように、光センサ３２６は、選択された第２の画像取り込み装置３０８上に位置して部屋３０２の外部の環境の光度情報を検出することができる。光センサ３２６は、部屋３０２の外部の環境の光度を示す信号を回路２０２に送信することができる。回路２０２は、光センサ３２６から受け取られた信号に基づいて外部環境３０４の光度を決定するように構成することができる。光センサ３２６の例としては、以下に限定するわけではないが、フォトレジスタ、フォトダイオード、光電池、フォトトランジスタ、又は光電センサを挙げることができる。

【0058】

温度センサ３２８は、外部環境３０４の温度情報を検出するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。例えば、図３Ａに示すように、温度センサ３２８は、選択された第２の画像取り込み装置３０８上に位置して部屋３０２の外部の環境の温度情報を取得することができる。温度センサ３２８は、部屋３０２の外部の環境の温度（又は温度値の時系列データ）を示す信号を回路２０２に送信することができる。回路２０２は、温度センサ３２８から受け取られた信号に基づいて外部環境３０４の温度を決定するように構成することができる。例えば、回路２０２は、摂氏２２度としての温度情報、及びカテゴリ変数（例えば、薄暗い光又は低光）又は確定値（例えば、８００ルーメン）としての光度情報を受け取ることができる。回路２０２は、受け取った温度情報及び光度情報に基づいて、部屋の温度を３２℃に設定するようにエアコン３２４を制御して照明装置３２２をオンにするように構成することができる。

【0059】

ある実施形態では、回路２０２を、第１のユーザ３３０の検出された第１の顔領域に基づいて第１のユーザ３３０の感情状態を決定するようにさらに構成することができる。第１のユーザ３３０の第１の顔領域は、受け取られた部屋３０２の１又は２以上の第１の画像に基づいて検出することができる。感情状態の例としては、以下に限定するわけではないが、幸せな感情、悲しい感情、怒りの感情、穏やかな感情、恐怖の感情、中立の感情、わくわくする感情、混乱した感情、ストレスを受けた感情、むかついた感情、驚いた感情、興奮した感情、又は怯えた感情を挙げることができる。第１のユーザ３３０の第１の顔領域（例えば、顔エリア）は、第１のユーザ３３０のアイデンティティを示すことができる。ある実施形態では、メモリ２０４を、第１のユーザ３３０の（名前、サンプル画像及び／又はユーザプロファイルなどの）識別情報を記憶するように構成することができる。回路２０２は、検出された第１の顔領域及び記憶された識別情報に基づいて第１のユーザ３３０を認識することができる。認識された第１のユーザ３３０の識別情報に基づいて、第１のディスプレイ画面３１２上にメディアコンテンツを表示することができる。

【0060】

回路２０２は、第１のユーザ３３０の決定された感情状態に基づいて、複数の画像取り込み装置から（第３の画像取り込み装置３１０などの）第３の画像取り込み装置を選択するように構成することができる。その後、回路２０２は、第３の画像取り込み装置３１０から受け取られた１又は２以上の第３の画像を表示するように第１のディスプレイ画面３１２を制御することができる。例えば、回路２０２は、メディアコンテンツとして、幸せな感情には「風景映画」を、悲しい感情には「漫談（ｓｔａｎｄｕｐ－ｃｏｍｅｄｙ）のエピソード」を、穏やかな感情には「海辺のビデオブログ」を、わくわくする感情には「パーティビデオ」を決定することができる。

【0061】

ある実施形態では、回路２０２を、電子装置１０６の動作モードの選択を示すユーザ入力を受け取るようにさらに構成することができる。回路２０２は、選択された動作モードに基づいて電子装置１０６の動作を制御するように構成することができる。ユーザ入力は、電子装置１０６に関連する第１のディスプレイ画面３１２又はＴＶリモコンなどの入力装置、或いはモバイル装置を介して受け取ることができる。動作モードは、例えばＴＶモード又はウィンドウ（窓）モードを含むことができる。回路２０２は、ユーザ入力に基づいて、電子装置１０６の動作をＴＶモード又はウィンドウモードに切り替えるように制御するよう構成することができる。

【0062】

ある実施形態では、回路２０２を、受け取った１又は２以上の第１の画像に基づいて（部屋３０２などの）生活環境の内部における第１のユーザ３３０の存在を検出するように構成することができる。回路２０２は、検出された第１のユーザ３３０の存在に基づいて電子装置１０６の省電力モードを制御するようにさらに構成することができる。例えば、回路２０２は、受け取った１又は２以上の第１の画像に基づいて第１のユーザ３３０が（部屋３０２などの）生活環境の内部に存在しないことを検出した場合、電子装置１０６の省電力モードをオンにすることができる。開示する電子装置１０６は、生活環境１０２内にユーザが存在しない場合に省電力モードをオンにすることによって電力を節約することができる。

【0063】

ある実施形態では、回路２０２を、占有信号（ｏｃｃｕｐａｎｃｙ ｓｉｇｎａｌ）に基づいて（部屋３０２などの）生活環境の内部における第１のユーザ３３０の存在を検出するように構成することができる。具体的には、回路２０２は、第１の画像取り込み装置３０６から占有信号を受け取るように構成することができる。占有信号は、第１の画像取り込み装置３０６から電子装置１０６に送信される電気信号又はデジタル信号を意味することができる。占有信号は、生活環境１０２内における第１のユーザ３３０の存在を示すことができる。

【0064】

ある実施形態では、回路２０２を、第１のユーザ３３０の追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて電子装置１０６の省電力モードを制御するように構成することができる。一例として、回路２０２が（部屋３０２などの）生活環境の内部における第１のユーザ３３０の存在を検出したものの、規定の期間にわたって第１のユーザ３３０の第１の頭部位置又は第１の視線が変化しない場合がある。このことは、部屋３０２内で第１のユーザ３３０が居眠りしている可能性又は眠っている可能性を示唆することができる。このような場合には、回路２０２を、電子装置１０６の省電力モードをオンにするように構成することができる。

【0065】

図４は、本開示の実施形態による、生活環境外の環境に基づいて生活環境内のディスプレイ上にコンテンツをレンダリングする例示的なシナリオを示す図である。図４の説明は、図１、図２、図３Ａ及び図３Ｂの要素に関連して行う。図４には例示的なシナリオ４００を示す。例示的なシナリオ４００には、生活環境１０２の一例とすることができる部屋４０２を示す。さらに、図１の第１の画像取り込み装置１０８の例示的な実装とすることができる第１の画像取り込み装置４０４も示す。さらに、複数のディスプレイ画面１１０の例示的な実装とすることができる（第１のディスプレイ画面４０６及び第２のディスプレイ画面４０８などの）複数のディスプレイ画面も示す。さらに、複数の電子装置１１４の例示的な実装とすることができる（照明装置４１６及びエアコン４１８などの）複数の電子装置も示す。

【0066】

シナリオ４００には、第１のディスプレイ画面４０６の近くに立っていると考えられる第１のユーザ４２０をさらに示す。シナリオ４００には、第２のディスプレイ画面４０８の近くに立っていると考えられる第２のユーザ４２２をさらに示す。シナリオ４００には、（部屋４０２などの）生活環境を取り囲む壁４１０、４１２及び４１４をさらに示す。なお、照明装置４１６及びエアコン４１８は電子装置の一例にすぎない。シナリオ４００は、本開示の範囲から逸脱することなく他のタイプの電子装置に適用することもできる。

【0067】

ある実施形態では、回路２０２を、（電子装置１０６に結合して部屋４０２内に配置できる）第１の画像取り込み装置４０４から部屋４０２の１又は２以上の第１の画像を受け取るように構成することができる。回路２０２は、（例えば、図３Ａでも説明したように）受け取った１又は２以上の第１の画像に基づいて、部屋４０２内に存在する第１のユーザ４２０の第１の顔領域を検出するように構成することができる。また、回路２０２は、受け取った１又は２以上の第１の画像に基づいて、部屋４０２内に存在する第２のユーザ４２２の第２の顔領域を検出するように構成することもできる。

【0068】

回路２０２は、（例えば、図３Ａでも説明したように）検出された第１の顔領域に基づいて第１のユーザ４２０の第１の頭部位置又は第１の視線の少なくとも一方を追跡するように構成することができる。同様に、回路２０２は、検出された第２の顔領域に基づいて第２のユーザ４２２の第２の頭部位置又は第２の視線の少なくとも一方を追跡するように構成することができる。回路２０２は、（例えば、図３Ａでも説明したように）第１のユーザ４２０の第１の頭部位置又は第１の視線の少なくとも一方を追跡することに基づいて、複数の画像取り込み装置１１６から（第２の画像取り込み装置３０８などの）第２の画像取り込み装置を選択するように構成することができる。同様に、回路２０２は、第２のユーザ４２２の第２の頭部位置又は第２の視線の少なくとも一方を追跡することに基づいて、複数の画像取り込み装置１１６から（第３の画像取り込み装置３１０などの）第３の画像取り込み装置を選択するように構成することができる。

【0069】

回路２０２は、（例えば図３Ａでも説明したように）選択された第２の画像取り込み装置から１又は２以上の第２の画像を受け取るように構成することができる。同様に、回路２０２は、選択された第３の画像取り込み装置３１０から１又は２以上の第３の画像を受け取るように構成することができる。その後、回路２０２は、（例えば、図３Ａでも説明したように）電子装置１０６に関連する第１のディスプレイ画面４０６を、受け取った１又は２以上の第２の画像を表示するように制御するよう構成することができる。同様に、回路２０２は、第２のディスプレイ画面４０８を、第３の画像取り込み装置３１０から受け取った１又は２以上の第３の画像を表示するように制御するよう構成することができる。電子装置１０６は、第１のユーザ４２０及び第２のユーザ４２２のそれぞれの視野角又は頭部姿勢に基づくディスプレイ画面の動的制御を可能にする。

【0070】

図５は、本開示の実施形態による、生活環境の内部のディスプレイ上に外部環境の画像をレンダリングする例示的な方法を示すフローチャートである。図５の説明は、図１、図２、図３Ａ、図３Ｂ及び図４の要素に関連して行う。図５にはフローチャート５００を示す。フローチャート５００の動作は、図１又は図２の電子装置１０６などのコンピュータシステムによって実行することができる。動作は、５０２から開始して５０４に進むことができる。

【0071】

５０４において、（生活環境１０２などの）生活環境の１又は２以上の第１の画像を受け取ることができる。１又は２以上の実施形態では、例えば図３Ａで説明したように、回路２０２を、電子装置１０６に結合されて生活環境１０２内に配置された第１の画像取り込み装置１０８から生活環境１０２の１又は２以上の第１の画像を受け取るように構成することができる。

【0072】

５０６において、生活環境１０２内に存在する（第１のユーザ１２４などの）第１のユーザの第１の顔領域を検出することができる。１又は２以上の実施形態では、例えば図３Ａで説明したように、回路２０２を、受け取った１又は２以上の第１の画像に基づいて、生活環境１０２内に存在する第１のユーザ１２４の第１の顔領域を検出するように構成することができる。

【0073】

５０８において、第１のユーザ１２４の第１の頭部位置又は第１の視線の少なくとも一方を追跡することができる。１又は２以上の実施形態では、例えば図３Ａで説明したように、回路２０２を、検出された第１の顔領域に基づいて第１のユーザ１２４の第１の頭部位置又は第１の視線の少なくとも一方を追跡するように構成することができる。

【0074】

５１０において、（複数の画像取り込み装置１１６などの）複数の画像取り込み装置から（第２の画像取り込み装置１２２などの）第２の画像取り込み装置を選択することができる。１又は２以上の実施形態では、回路２０２を、追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて複数の画像取り込み装置１１６から第２の画像取り込み装置１２２を選択するように構成することができる。例えば図３Ａで説明したように、複数の画像取り込み装置１１６は生活環境１０２の外部に位置することができる。

【0075】

５１２において、選択された第２の画像取り込み装置１２２から１又は２以上の第２の画像を受け取ることができる。１又は２以上の実施形態では、例えば図３Ａで説明したように、回路２０２を、選択された第２の画像取り込み装置１２２から１又は２以上の第２の画像を受け取るように構成することができる。

【0076】

５１４において、（第１のディスプレイ画面１１０Ａなどの）第１のディスプレイ画面を制御することができる。１又は２以上の実施形態では、回路２０２を、受け取った１又は２以上の第２の画像を表示するように、電子装置１０６に関連する第１のディスプレイ画面１１０Ａを制御するよう構成することができる。制御は終了に進むことができる。

【0077】

フローチャート５００は、５０４、５０６、５０８、５１０、５１２及び５１４などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、このような離散的動作を特定の実装に応じてさらなる動作にさらに分割し、より少ない動作に組み合わせ、又は削除することができる。

【0078】

本開示の様々な実施形態は、機械及び／又はコンピュータ（例えば、電子装置１０６）が実行できる命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。これらの命令は、機械及び／又はコンピュータ（例えば、電子装置１０６）に、電子装置１０６に結合されて生活環境１０２内に位置することができる第１の画像取り込み装置（例えば、第１の画像取り込み装置１０８）から生活環境（例えば、生活環境１０２）の１又は２以上の第１の画像を検索することを含む動作を実行させることができる。動作は、受け取った１又は２以上の第１の画像に基づいて、生活環境１０２内に存在する第１のユーザ（例えば、第１のユーザ１２４）の第１の顔領域を検出することをさらに含むことができる。動作は、検出された第１の顔領域に基づいて第１のユーザ１２４の第１の頭部位置又は第１の視線の少なくとも一方を追跡することをさらに含むことができる。動作は、第１のユーザ１２４の追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて、電子装置１０６に結合された複数の画像取り込み装置（例えば、複数の画像取り込み装置１１６）から第２の画像取り込み装置（第２の画像取り込み装置１２２）を選択することをさらに含むことができる。複数の画像取り込み装置１１６は、生活環境１０２の外部に位置することができる。動作は、選択された第２の画像取り込み装置１２２から１又は２以上の第２の画像を検索することをさらに含むことができる。動作は、電子装置１０６に関連する第１のディスプレイ画面（例えば、第１のディスプレイ画面１１０Ａ）を、受け取った１又は２以上の第２の画像を表示するように制御することをさらに含むことができる。

【0079】

本開示の例示的な態様は、（回路２０２などの）回路を含むことができる（電子装置１０６などの）電子装置を含むことができる。回路２０２は、電子装置１０６に結合されて生活環境１０２内に位置することができる（第１の画像取り込み装置１０８などの）第１の画像取り込み装置から（生活環境１０２などの）生活環境の１又は２以上の第１の画像を受け取るように構成することができる。回路２０２は、受け取った１又は２以上の第１の画像に基づいて、生活環境１０２内に存在する（第１のユーザ１２４などの）第１のユーザの第１の顔領域を検出するように構成することができる。回路２０２は、検出された第１の顔領域に基づいて第１のユーザ１２４の第１の頭部位置又は第１の視線の少なくとも一方を追跡するように構成することができる。回路２０２は、第１のユーザ１２４の追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて、電子装置１０６に結合された（複数の画像取り込み装置１１６などの）複数の画像取り込み装置から（第２の画像取り込み装置１２２などの）第２の画像取り込み装置を選択するように構成することができる。複数の画像取り込み装置１１６は生活環境１０２の外部に位置することができる。回路２０２は、選択された第２の画像取り込み装置１２２から１又は２以上の第２の画像を受け取り、電子装置１０６に関連する（第１のディスプレイ画面１１０Ａなどの）第１のディスプレイ画面を、受け取った１又は２以上の第２の画像を表示するように制御するようさらに構成することができる。

【0080】

ある実施形態によれば、回路２０２は、第１のユーザ１２４の追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて、選択された第２の画像取り込み装置１２２を、生活環境１０２の外部の環境の１又は２以上の第２の画像を取り込むように制御するようさらに構成することができる。

【0081】

ある実施形態によれば、回路２０２は、追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて第１のユーザ１２４の第１の視野方向を決定するようにさらに構成することができる。視野方向は、（部屋３０２などの）生活環境の（壁３１８などの）壁の方に向いていることができ、壁３１８上には選択された第２の画像取り込み装置３０８が位置することができる。

【0082】

ある実施形態によれば、回路２０２は、受け取った１又は２以上の第１の画像に基づいて、（部屋４０２などの）生活環境の内部に存在する（第２のユーザ４２２などの）第２のユーザの第２の顔領域を検出するようにさらに構成することができる。回路２０２は、検出された第２の顔領域に基づいて第２のユーザ４２２の第２の頭部位置又は第２の視線の少なくとも一方を追跡するように構成することができる。回路２０２は、第２のユーザ４２２の追跡された第２の頭部位置又は第２の視線の少なくとも一方に基づいて、複数の画像取り込み装置１１６から第３の画像取り込み装置を選択するようにさらに構成することができる。回路２０２は、受け取った１又は２以上の第２の画像と、第３の画像取り込み装置から受け取った１又は２以上の第３の画像とを表示するように第１のディスプレイ画面１１０Ａを制御するよう構成することができる。

【0083】

ある実施形態によれば、回路２０２は、追跡された第１ユーザ１２４の第１の頭部位置又は第１の視線の少なくとも一方に基づいて、（複数のディスプレイ画面１１０などの）複数のディスプレイ画面から第１ディスプレイ画面１１０Ａを選択するようにさらに構成することができる。

【0084】

ある実施形態によれば、複数の画像取り込み装置１１６は、生活環境１０２の外部に配置された（複数のオーディオ取り込み装置１１８などの）複数のオーディオ取り込み装置に関連することができる。回路２０２は、選択された第２の画像取り込み装置１２２に関連する（第１のオーディオ取り込み装置１１８Ａなどの）第１のオーディオ取り込み装置を、生活環境１０２の外部の環境内に存在する第１のオーディオを取り込むように制御するよう構成することができる。回路２０２は、第１のオーディオ取り込み装置１１８Ａから、取り込まれた第１のオーディオに関連する第１のオーディオ情報を受け取るようにさらに構成することができる。回路２０２は、受け取った第１のオーディオ情報に基づいて、電子装置１０６に関連する（オーディオ再生装置１１２などの）オーディオ再生装置を、第１のオーディオを再生するように制御するようさらに構成することができる。

【0085】

ある実施形態によれば、回路２０２は、選択された第２の画像取り込み装置１２２に関連する（複数のセンサ１２０などの）１又は２以上のセンサから、生活環境１０２の外部の環境に関連する環境情報を受け取るようにさらに構成することができる。環境情報は、光度情報、温度情報又は空気流情報のうちの少なくとも１つを含むことができる。回路２０２は、受け取った環境情報に基づいて、生活環境１０２内の（１又は２以上の電子装置１１４などの）１又は２以上の電子装置の動作を制御するようにさらに構成することができる。

【0086】

ある実施形態によれば、１又は２以上の電子装置１１４は、照明装置、電動ファン、又はエアコンシステム、電気ヒータ、サーモスタット装置、アロマディフューザ装置、又は暖房・換気及び空調（ＨＶＡＣ）システムのうちの少なくとも１つを含むことができる。

【0087】

ある実施形態によれば、回路２０２は、電子装置１０６に関連する第１のディスプレイ画面１１０Ａ又はオーディオ再生装置１１２を、現在の時刻、第１のユーザ１２４の地理的位置、或いは生活環境１０２内に存在する１又は２以上の物体のうちの少なくとも１つに基づいてメディアコンテンツをレンダリングするように制御するようさらに構成することができる。ある実施形態によれば、メディアコンテンツは、１又は２以上の予め記憶された画像、１又は２以上の予め記憶されたオーディオコンテンツ、１又は２以上の予め記憶されたグラフィック／アニメーションコンテンツ、ユーザ装置から受け取られた第１のメディアコンテンツ、又は（サーバ１２６などの）サーバから受け取られた第２のメディアコンテンツのうちの少なくとも１つを含むことができる。

【0088】

ある実施形態によれば、回路２０２は、第１のユーザ１２４の検出された顔領域に基づいて第１のユーザ１２４の感情状態を決定するようにさらに構成することができる。回路２０２は、第１のユーザ１２４の決定された感情状態に基づいて、複数の画像取り込み装置１１６から第３の画像取り込み装置を選択するように構成することができる。回路２０２は、第３の画像取り込み装置から受け取った１又は２以上の第３の画像を表示するように第１のディスプレイ画面１１０Ａを制御するようさらに構成することができる。

【0089】

ある実施形態によれば、回路２０２は、電子装置１０６の動作モードの選択を示すユーザ入力を受け取るようにさらに構成することができる。回路２０２は、選択された動作モードに基づいて電子装置１０６の動作を制御するようにさらに構成することができる。

【0090】

ある実施形態によれば、回路２０２は、受け取った１又は２以上の第１の画像に基づいて、生活環境１０２内における第１のユーザ１２４の存在を検出するようにさらに構成することができる。回路２０２は、検出された第１のユーザ１２４の存在に基づいて電子装置１０６の省電力モードを制御するようにさらに構成することができる。ある実施形態によれば、回路２０２は、第１のユーザ１２４の追跡された第１の頭部位置又は第１の視線の少なくとも一方に基づいて電子装置１０６の省電力モードを制御するようにさらに構成することができる。

【0091】

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

【0092】

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

【0093】

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

【符号の説明】

【0094】

３００Ａ シナリオ
３０２ 部屋
３０４ 外部環境
３０６ 第１の画像取り込み装置
３０８ 第２の画像取り込み装置
３１０ 第３の画像取り込み装置
３１２ 第１のディスプレイ画面
３１４ 第２のディスプレイ画面
３１６ 壁
３１８ 壁
３２０ 壁
３２２ 照明装置
３２４ エアコン
３２６ 光センサ
３２８ 温度センサ
３３０ 第１のユーザ

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】