特許 7410659 ユーザを認識する電子装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-26

(45)【発行日】2024-01-10

(54)【発明の名称】ユーザを認識する電子装置及びその制御方法

(51)【国際特許分類】

   G06F 21/32 20130101AFI20231227BHJP

   G06T 7/00 20170101ALI20231227BHJP

   G06F 3/01 20060101ALI20231227BHJP

   G06F 16/53 20190101ALI20231227BHJP

【ＦＩ】

G06F21/32

G06T7/00 350B

G06F3/01 510

G06F16/53

G06T7/00 660Z

【請求項の数】 13

(21)【出願番号】P 2019124577

(22)【出願日】2019-07-03

(65)【公開番号】P2020009443

(43)【公開日】2020-01-16

【審査請求日】2022-05-26

(31)【優先権主張番号】10-2018-0076875

(32)【優先日】2018-07-03

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】劉 容 周

(72)【発明者】

【氏名】金 容 ウク

(72)【発明者】

【氏名】李 東 奎

(72)【発明者】

【氏名】權 起 ヨン

(72)【発明者】

【氏名】金 智 民

(72)【発明者】

【氏名】金 鐵 貴

【審査官】金沢 史明

(56)【参考文献】

【文献】特開２００９－０３２１１６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２１０５１３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０１７３９８６（ＵＳ，Ａ１）

【文献】特開２０１５－０７８７９３（ＪＰ，Ａ）

【文献】特開２０１６－０８１２５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ １６／５３

(57)【特許請求の範囲】

【請求項1】

電子装置であって、
通信インタフェースと、
オブジェクトの動きを感知してイベント信号を出力するＤＶＳ（ｄｙｎａｍｉｃ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）と、
一つ以上のイメージが保存されるデータベースを含むメモリと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
前記ＤＶＳを介して感知されたイベント信号に基づいて、光の変化が発生した前記ＤＶＳの複数のセンシングエレメントに対応する複数のマップエレメントを含むイベントマップに時間情報を保存し、
前記イベントマップに保存された時間情報のうちから指定された時間範囲内の時間情報に基づいて、オブジェクトの形状（ｓｈａｐｅ）が含まれるイメージを生成し、
外部電子装置からユーザを区別するための識別情報を受信した場合又は指定された空間でイベントが感知された場合、生成されたユーザの形状を含む複数のイメージを前記データベースに保存し、
前記ユーザの形状を確認するためにイメージの特徴を抽出し、前記抽出された特徴に基づいて生成されたイメージの提案領域を決定し、前記決定された提案領域のうちのユーザの形状が含まれる関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）（ＲＯＩ）を精製（ｒｅｆｉｎｅ）し、
前記データベースに保存された前記複数のイメージのそれぞれから、ユーザを認識する分類モデルを用いて前記関心領域に含まれる前記ユーザの形状を確認し、
前記確認されたユーザの形状の特徴を抽出し、前記抽出された特徴に基づいてユーザを認識するための形状情報を生成することを特徴とする電子装置。

【請求項2】

前記少なくとも一つのプロセッサは、
前記通信インタフェースを介して外部電子装置からユーザを区別するための識別情報を受信し、
前記識別情報を受信した時から指定された時間内に生成された前記複数のイメージを前記データベースに保存することを特徴とする請求項１に記載の電子装置。

【請求項3】

前記少なくとも一つのプロセッサは、前記複数のイメージのそれぞれに一つの前記ユーザの形状のみが含まれる場合、前記複数のイメージを前記データベースに保存することを特徴とする請求項２に記載の電子装置。

【請求項4】

前記外部電子装置は、ＲＦＩＣ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）を含むキー、ユーザ端末、又はビーコン（ｂｅａｃｏｎ）から前記識別情報を受信し、前記受信された識別情報に対応して指定された動作を行うことを特徴とする請求項３に記載の電子装置。

【請求項5】

前記指定された動作は、セキュリティ（ｓｅｃｕｒｉｔｙ）設定又は解除する動作であることを特徴とする請求項４に記載の電子装置。

【請求項6】

前記少なくとも一つのプロセッサは、
前記ＤＶＳを介して指定された空間で感知されたイベントに基づいて前記複数のイメージを生成し、
前記通信インタフェースを介して前記複数のイメージをユーザ端末に送信し、
前記通信インタフェースを介して前記ユーザ端末から前記複数のイメージに前記ユーザの形状が含まれるか否かを確認するためのフィードバック情報を受信し、
前記フィードバック情報に基づいて前記複数のイメージを前記データベースに保存することを特徴とする請求項１に記載の電子装置。

【請求項7】

前記少なくとも一つのプロセッサは、前記複数のイメージに指定された回数以上に前記ユーザの形状が含まれる場合、前記複数のイメージを前記ユーザ端末に送信することを特徴とする請求項６に記載の電子装置。

【請求項8】

前記少なくとも一つのプロセッサは、前記生成された形状情報に基づいて前記ＤＶＳを介して生成されたイメージに含まれる前記ユーザの形状を確認することにより、ユーザを認識することを特徴とする請求項１に記載の電子装置。

【請求項9】

前記少なくとも一つのプロセッサは、認識されたユーザに対応するサービスを提供することを特徴とする請求項１に記載の電子装置。

【請求項10】

前記少なくとも一つのプロセッサは、前記認識されたユーザに応じて少なくとも一つのＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇ）装置を制御することを特徴とする請求項９に記載の電子装置。

【請求項11】

前記少なくとも一つのプロセッサは、外部サーバを介して前記複数のイメージを処理して前記形状情報を獲得することを特徴とする請求項１に記載の電子装置。

【請求項12】

電子装置の制御方法であって、
オブジェクトの動きを感知してイベント信号を出力するＤＶＳ（ｄｙｎａｍｉｃ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）を介して感知されたイベント信号に基づいて、光の変化が発生した前記ＤＶＳの複数のセンシングエレメントに対応する複数のマップエレメントを含むイベントマップに時間情報を保存する段階と、
前記イベントマップに保存された時間情報のうちから指定された時間範囲内の時間情報に基づいて、オブジェクトの形状（ｓｈａｐｅ）が含まれるイメージを生成する段階と、
外部電子装置からユーザを区別するための識別情報を受信した場合又は指定された空間でイベントが感知された場合、生成されたユーザの形状を含む複数のイメージをデータベースに保存する段階と、
前記ユーザの形状を確認するためにイメージの特徴を抽出し、前記抽出された特徴に基づいて生成されたイメージの提案領域を決定し、前記決定された提案領域のうちのユーザの形状が含まれる関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）（ＲＯＩ）を精製（ｒｅｆｉｎｅ）する段階と、
前記データベースに保存された前記複数のイメージのそれぞれから、ユーザを認識する分類モデルを用いて前記関心領域に含まれる前記ユーザの形状を確認する段階と、
前記確認されたユーザの形状の特徴を抽出し、前記抽出された特徴に基づいてユーザを認識するための形状情報を生成する段階と、を有することを特徴とする方法。

【請求項13】

通信インタフェースを介して外部電子装置からユーザを区別するための識別情報を受信する段階を更に含み、
前記複数のイメージをデータベースに保存する段階は、前記識別情報を受信した時から指定された時間内に生成された前記複数のイメージを前記データベースに保存する段階を含むことを特徴とする請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ認識技術に関し、より詳細には、ユーザを認識する電子装置及びその制御方法に関する。

【背景技術】

【0002】

ユーザ認識技術は、登録されたユーザ情報を用いてユーザを認識する技術であって、セキュリティが必要な監視及びアクセス制御システムやユーザにカスタマイズされたサービスを提供するためのスマート装置など、広範囲に使用されている技術である。ユーザ認識装置は、身分証、キー、スマートカードなどの装置を介してユーザを認識するか、或いは指紋、虹彩などを用いた生体認識を介してユーザを認識することができる。

【0003】

イメージベースのユーザ認識装置は、イメージに含まれるユーザの顔、手、動作などの情報を獲得し、獲得された情報を用いてユーザを認識するために撮影されたイメージ上のユーザを認識することができる。

【0004】

イメージベースのユーザ認識装置は、フレームベースのビジョンセンサ（ｆｒａｍｅ－ｂａｓｅｄ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）を介して獲得された赤色、緑色、及び青色（ＲＧＢ）のイメージを用いてユーザを認識することができる。ユーザ認識装置は、ユーザ認識のためにＲＧＢイメージの全体領域又は特定領域に含まれる複数のレイヤの特徴を抽出する。ＲＧＢイメージを用いてユーザを認識する場合、ユーザの顔、体などの身体の特徴が抽出されることにより、ユーザのプライバシー（ｐｒｉｖａｃｙ）が侵害される虞がある。プライバシー問題は、正確な認識のためにユーザが含まれるＲＧＢイメージをサーバに転送する場合に更に問題となり得る。一方、ユーザ認識装置は、イベントベースのビジョンセンサ（ｅｖｅｎｔ－ｂａｓｅｄ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）を介して獲得されたオブジェクト（ｏｂｊｅｃｔ）の形状（ｓｈａｐｅ）（又は、輪郭線）のイメージを用いてユーザを認識する場合、プライバシー問題は解決され得るが、ユーザを正確に認識することは難しい場合がある。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開第２０１８／０１６１８９号

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、オブジェクトの形状が含まれるイメージを生成し、生成されたイメージに含まれるユーザの形状を学習してユーザを正確に認識することができる電子装置及びその制御方法を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するためになされた本発明の一態様による電子装置は、通信インタフェースと、ＤＶＳ（ｄｙｎａｍｉｃ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）と、一つ以上のイメージが保存されるデータベースを含むメモリと、少なくとも一つのプロセッサと、を備え、前記少なくとも一つのプロセッサは、前記ＤＶＳを介して感知されたイベントに基づいてオブジェクトの形状（ｓｈａｐｅ）が含まれるイメージを生成し、指定された条件で生成されたユーザの形状を含む複数のイメージを前記データベースに保存し、前記データベースに保存された前記複数のイメージのそれぞれに含まれる前記ユーザの形状を確認し、前記確認されたユーザの形状に基づいてユーザを認識するための形状情報を生成する。

【0008】

上記目的を達成するためになされた本発明の一態様による電子装置の制御方法は、ＤＶＳ（ｄｙｎａｍｉｃ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）を介してオブジェクトの形状（ｓｈａｐｅ）が含まれるイメージを生成する段階と、指定された条件で生成されたユーザの形状を含む複数のイメージをデータベースに保存する段階と、前記データベースに保存された前記複数のイメージのそれぞれに含まれる前記ユーザの形状を確認する段階と、前記確認されたユーザの形状に基づいてユーザを認識するための形状情報を生成する段階と、を有する。

【発明の効果】

【0009】

本発明によれば、ユーザ認識装置は、オブジェクトの形状のみが含まれるイメージを用いて指定されたユーザの形状を学習し、学習された情報に基づいて指定されたユーザを認識するための形状情報を生成し、生成された形状情報に基づいて指定されたユーザを認識することにより、プライバシーに対する問題がなく指定されたユーザを正確に認識することができる。

【図面の簡単な説明】

【0010】

【図1】多様な実施例によるユーザ認識システムを示した図である。

【図2】多様な実施例によるユーザ認識装置の構成を示したブロック図である。

【図3】多様な実施例によるユーザ認識装置のユーザ認識方法を示したフローチャートである。

【図4】一実施例によるユーザ認識装置が外部装置から受信されたユーザの識別情報を用いてユーザを認識することを示した図である。

【図5】一実施例による外部装置から受信されたユーザの識別情報を用いてイメージに含まれるユーザの形状を学習する方法を示したフローチャートである。

【図6】一実施例によるユーザ認識装置が指定された空間で感知されたイベントに基づいてユーザを認識することを示した図である。

【図7】一実施例によるフィードバック情報を受信するためにユーザ認識装置から受信されたイメージを表示したユーザ端末を示した図である。

【図8】一実施例による指定された空間で感知されたイベントに基づいてユーザの形状を学習する方法を示したフローチャートである。

【図9】一実施例によるユーザ認識装置が認識されたユーザに応じてＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇ）を制御することを示した図である。

【図10】多様な実施例によるネットワーク環境内の電子装置のブロック図を示す。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。しかし、これは、本発明を特定の実施形態に限定しようとするものではなく、本発明の実施形態の多様な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、均等物（ｅｑｕｉｖａｌｅｎｔ）、及び／又は代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものとして理解すべきである。

【0012】

図面の説明に関連し、同一又は類似の構成要素に対しては、同一又は類似の参照符号を使用する。

【0013】

図１は、多様な実施例によるユーザ認識システムを示した図である。

【0014】

図１を参照すると、ユーザ認識装置（又は、電子装置）１００は、指定された場所（例：自宅）１０でユーザ１を認識し、認識されたユーザに応じて指定されたサービスを提供することができる。

【0015】

ユーザ認識装置１００はビジョンセンサ（ｖｉｓｉｏｎ ｓｅｎｓｏｒ）を介してユーザ１を認識することができる。ユーザ認識装置１００は、ビジョンセンサを介してユーザ１を感知し、感知されたユーザ１が含まれるイメージ３を生成することができる。ユーザ認識装置１００は生成されたイメージを用いてユーザ１を認識することができる。

【0016】

ユーザ認識装置１００は、ユーザを認識した場合、認識されたユーザに対応されるサービスを提供することができる。例えば、ユーザ認識装置１００は、認識されたユーザが設定した状態を有するようにＩｏＴ装置２００を制御するか、又は指定された機能を行うようにＩｏＴ装置２００を制御する。ＩｏＴ装置２００は、例えばユーザ認識装置１００が配置された場所（例：自宅）１０に設置された装置である。

【0017】

ユーザ認識装置１００はクラウドサーバ２０を介して指定されたサービスを提供することができる。例えば、ユーザ認識装置１００はクラウドサーバ２０（例：ＩｏＴクラウドサーバ）を介してＩｏＴ装置２００を制御する。ユーザ認識装置１００はＩｏＴ装置２００を制御するための情報（又は、制御情報）をクラウドサーバ２０に送信する。制御情報は、例えば認識されたユーザに対応する状態情報又は動作情報を含む。クラウドサーバ２０は、制御情報を受信し、受信された制御情報によるコマンドをＩｏＴ装置２００に送信する。

【0018】

ユーザ認識装置１００はビジョンセンサを含む多様な電子装置で具現され得る。例えば、ユーザ認識装置１００は、ビジョンセンサを含むスマートフォン、タブレットＰＣ、デスクトップコンピュータ、ＴＶ、ウェアラブル装置などである。ユーザ認識装置１００は、セキュリティシステム、又はスマートホームシステムに含まれる。

【0019】

ユーザ認識装置１００は、フレームベースのビジョンセンサ（ｆｒａｍｅ－ｂａｓｅｄ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）を介して獲得されたＲＧＢイメージを用いてユーザ１を認識する場合、ユーザ１を正確に認識することができるが、ユーザ１の顔、体などの身体の特徴が抽出されることにより、ユーザ１のプライバシー（ｐｒｉｖａｃｙ）が侵害される虞がある。プライバシー問題は、ユーザが含まれるＲＧＢイメージをサーバに転送する場合に更に問題となり得る。また、ユーザ認識装置１００は、イベントベースのビジョンセンサ（ｅｖｅｎｔ－ｂａｓｅｄ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）を介して獲得されたオブジェクト（ｏｂｊｅｃｔ）の形状（ｓｈａｐｅ）（又は、輪郭線）のイメージを用いてユーザ１を認識する場合、プライバシー問題は解決され得るが、ユーザを正確に認識することは難しい場合がある。

【0020】

本発明の多様な実施例によるユーザ認識装置１００は、オブジェクトの形状が含まれるイメージを生成し、生成されたイメージに含まれるユーザの形状を学習してユーザを正確に認識することができる。

【0021】

図２は、多様な実施例によるユーザ認識装置の構成を示したブロック図である。

【0022】

図２を参照すると、ユーザ認識装置１００は、通信インタフェース１１０（例：トランシーバ（ｔｒａｎｓｃｅｉｖｅｒ））、メモリ１２０、ＤＶＳ（ｄｙｎａｍｉｃ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）モジュール１３０、及びプロセッサ（又は、少なくとも一つのプロセッサ）１４０を含む。

【0023】

通信インタフェース１１０は外部装置に連結されてデータを送信又は受信することができる。例えば、通信インタフェース１１０は、クラウドサーバ（例：図１のクラウドサーバ２０）に連結されてデータを受信する。他の例を挙げると、通信インタフェース１１０はユーザ端末に連結されてデータを送信又は受信する。通信インタフェース１１０は無線インタフェース及び有線インタフェースのうちの少なくとも一つを含み得る。無線インタフェースは、例えば、ブルートゥース（登録商標）（ｂｌｕｅｔｏｏｔｈ（登録商標））、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｗｉ－Ｆｉ（ｗｉｒｅｌｅｓｓ－ｆｉｄｅｌｉｔｙ）などを含む。有線インタフェースは、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、電力線通信、ＰＯＴＳ（ｐｌａｉｎ ｏｌｄ ｔｅｌｅｐｈｏｎｅ ｓｅｒｖｉｃｅ）を含む。

【0024】

メモリ１２０はデータを保存する少なくとも一つのデータベースを含み得る。例えば、メモリ１２０は、ユーザ認識装置１００で生成されたイメージを保存するデータベースを含む。データベースは、例えば指定されたユーザの形状を学習するためのイメージが保存されるデータベースである。メモリ１２０はデータを保存するための不揮発性メモリを含み得る。例えば、メモリ１２０は、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）などを含む。

【0025】

ＤＶＳモジュール１３０は発生したイベントに基づいてイベント信号（ｅｖｅｎｔ ｓｉｇｎａｌ）を出力することができる。例えば、ＤＶＳモジュール１３０はオブジェクト（例：ユーザ）の動きを感知してイベント信号を出力する。ＤＶＳモジュール１３０はレンズ１３１及びＤＶＳ１３２を含む。

【0026】

レンズ１３１はオブジェクトにより反射された光をＤＶＳ１３２に伝達する。例えば、レンズ１３１は、オブジェクトにより反射された光をユーザ認識装置１００の内部に入射させてＤＶＳ１３２に伝達する。

【0027】

ＤＶＳ１３２はレンズ１３１を介して入射された光を感知してイベント信号を出力することができる。ＤＶＳ１３２は複数のセンシングエレメントを含み得る。複数のセンシングエレメントのそれぞれは入射された光を感知してイベント信号を出力することができる。ＤＶＳ１３２は光の変化がある部分のセンシングエレメントからイベント信号を出力することができる。例えば、ＤＶＳ１３２の複数のセンシングエレメントのうち、光の強さが増加したセンシングエレメントはオンイベント信号（ｏｎ ｅｖｅｎｔ ｓｉｇｎａｌ）を出力し、光の強さが減少したセンシングエレメントはオフイベント信号（ｏｆｆ ｅｖｅｎｔ ｓｉｇｎａｌ）を出力する。ＤＶＳ１３２を介して感知された光の変化はオブジェクトの動きにより発生する。これにより、ＤＶＳ１３２はオブジェクトの動きを感知してイベント信号を出力することができる。

【0028】

プロセッサ１４０は、ＤＶＳモジュール１３０から出力されたイベント信号を受信し、受信されたイベント信号に基づいてイメージを出力することができる。

【0029】

プロセッサ１４０は、受信されたイベント信号に基づいて光の変化が発生した時間情報をイベントマップに保存することができる。イベントマップは、例えばＤＶＳ１３２の複数のセンシングエレメントに対応する複数のマップエレメントを含む。プロセッサ１４０はイベント信号に基づいて光の変化が発生したエレメントに対応するマップエレメントに時間情報を保存することができる。プロセッサ１４０は、最近光の変化が発生した時間情報をイベントマップ（例：２次元イベントマップ）に保存することができる。また、プロセッサ１４０は、最近光の変化が発生した時間情報だけでなく、過去に光の変化が発生した時間情報をイベントマップ（例：３次元イベントマップ）に保存することができる。

【0030】

プロセッサ１４０はイベントマップに基づいてイメージを生成することができる。例えば、プロセッサ１４０はイベントマップに保存された時間情報に基づいてイメージを生成する。プロセッサ１４０は、時間情報が保存されたマップのエレメントに対応するピクセルに指定された値を表示してイメージを生成することができる。プロセッサ１４０は、イベントマップに保存された時間情報のうち、指定された時間範囲内の時間情報に基づいてイメージを生成することができる。例えば、プロセッサ１４０は現在から指定された時間内の時間情報に基づいてイメージを生成する。

【0031】

プロセッサ１４０は生成されたイメージをメモリ１２０のデータベースに保存することができる。例えば、プロセッサ１４０は、指定されたユーザ（又は、特定のユーザ）の形状を学習するために、指定された条件で生成されたイメージをデータベースに保存する。

【0032】

プロセッサ１４０は、通信インタフェース１１０を介して外部電子装置からユーザを区別するための識別情報を受信した時に生成されたイメージをデータベースに保存することができる。外部電子装置は、例えば、指定された動作を行うためにＲＦＩＣ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）を含むキー（ｋｅｙ）、ユーザ端末、又はビーコン（ｂｅａｃｏｎ）から識別情報を受信する。指定された動作はセキュリティ（ｓｅｃｕｒｉｔｙ）の設定又は解除する動作である。これに対する詳細な内容は図４で説明する。

【0033】

他の実施例によると、プロセッサ１４０は指定された空間で感知されたイベントに基づいて生成されたイメージをデータベースに保存することができる。プロセッサ１４０はユーザのフィードバック情報に基づいて生成されたイメージをデータベースに保存することができる。これに対する詳細な内容は図６で説明する。

【0034】

プロセッサ１４０は、メモリ１２０のデータベースに保存された複数のイメージのそれぞれに含まれる指定されたユーザの形状を学習することができる。例えば、プロセッサ１４０は、データベースに保存された複数のイメージのそれぞれに含まれる指定されたユーザの形状を確認し、確認された形状に基づいて指定されたユーザを認識するための形状情報を生成する。

【0035】

プロセッサ１４０はイメージに含まれるユーザの形状を確認することができる。例えば、プロセッサ１４０は、人工領域コンボリューショナル神経網（ｒｅｇｉｏｎｓ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）（ＲＣＮＮ）、速い領域コンボリューショナル神経網（ｆａｓｔ ｒｅｇｉｏｎｓ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）（ＦＲＣＮＮ）などの方法を用いてユーザの形状を確認する。

【0036】

プロセッサ１４０はユーザの形状を確認するためにイメージの特徴を抽出することができる。プロセッサ１４０は、抽出された特徴に基づいて生成されたイメージの提案領域を決定し、決定された提案領域のうちのユーザの形状が含まれる関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）（ＲＯＩ）を精製（ｒｅｆｉｎｅ）することができる。プロセッサ１４０はユーザを認識する分類モデルを用いて関心領域に含まれるユーザの形状を確認することができる。例えば、プロセッサ１４０はサポートベクターマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）（ＳＶＭ）の分類機を用いてユーザの形状を確認する。プロセッサ１４０は複数のイメージに含まれるユーザの形状を追跡（ｔｒａｃｋｉｎｇ）することができる。

【0037】

プロセッサ１４０は確認されたユーザの形状情報に基づいて指定されたユーザを認識するための形状情報を生成することができる。例えば、プロセッサ１４０は、確認された形状の特徴を抽出し、抽出された特徴に基づいて指定されたユーザを認識するための形状情報を生成する。

【0038】

プロセッサ１４０は生成された形状情報を用いて指定されたユーザを認識することができる。例えば、プロセッサ１４０は生成された形状情報を用いてイメージに含まれたる指定されたユーザを認識する。イメージは、例えばＤＶＳモジュール１３０を介して感知されたイベントに基づいて生成されたイメージである。

【0039】

他の実施例によると、プロセッサ１４０はクラウドサーバ（又は、外部サーバ）を介して指定されたユーザを認識するための形状情報を生成することができる。プロセッサ１４０は、通信インタフェース１１０を介してクラウドサーバに生成されたイメージを送信し、クラウドサーバから生成された形状情報を受信することができる。クラウドサーバは、例えばプロセッサ１４０が形状情報を生成するための動作を同様に行う。クラウドサーバは、指定された条件で生成されたイメージに含まれるユーザの形状を学習することにより、ユーザを認識するための形状情報を生成することができる。ユーザ認識装置１００は、ユーザの形状を学習するのに限界があるため、クラウドサーバを介して更に正確な形状情報を生成することができる。

【0040】

プロセッサ１４０は認識されたユーザに対応するサービスを提供することができる。例えば、プロセッサ１４０は認識されたユーザに応じて少なくとも一つのＩｏＴ装置（例：図１のＩｏＴ装置２００）を制御する。例えば、プロセッサ１４０は、認識されたユーザに応じて少なくとも一つのＩｏＴ装置が指定された状態を有するように制御するか、又は指定された動作を行うように制御する。プロセッサ１４０はクラウドサーバ（例：図１のクラウドサーバ２０）を介して少なくとも一つのＩｏＴ装置を制御することができる。

【0041】

これにより、ユーザ認識装置１００は、オブジェクトの形状のみが含まれるイメージを用いて指定されたユーザの形状を学習して指定されたユーザを認識するための形状情報を生成し、生成された形状情報に基づいて指定されたユーザを認識することにより、プライバシーに対する問題なく指定されたユーザを正確に認識することができる。

【0042】

図３は、多様な実施例によるユーザ認識装置のユーザ認識方法を示したフローチャートである。

【0043】

図３を参照すると、ユーザ認識装置１００は、ＤＶＳモジュール１３０を介して感知されたイベントに基づいて生成されたイメージを用いて指定されたユーザを認識することができる。

【0044】

３１０段階において、ユーザ認識装置１００（例：プロセッサ１４０）はＤＶＳモジュール１３０からイベント信号を受信する。ＤＶＳモジュール１３０はオブジェクトの動きによる光の変化を感知してイベント信号を生成する。

【0045】

３２０段階において、ユーザ認識装置１００は受信されたイベント信号に基づいて複数のイメージを生成する。複数のイメージは、例えば動くオブジェクトの形状を含む。

【0046】

３３０段階において、ユーザ認識装置１００は指定された条件で生成されたイメージをデータベースに保存する。指定された条件は、例えば外部電子装置（例：セキュリティ設定装置）からユーザを区別するための識別情報を受信した場合であるか、又は指定された空間でイベントが感知された場合である。

【0047】

３４０段階において、ユーザ認識装置１００は複数のイメージのそれぞれに含まれる指定されたユーザの形状を確認する。例えば、ユーザ認識装置１００は、複数のイメージの特徴を抽出し、抽出された特徴を基に決定された関心領域（ＲＯＩ）に含まれるユーザの形状を確認する。

【0048】

３５０段階において、ユーザ認識装置１００は確認された形状に基づいて指定されたユーザを認識するための形状情報を生成する。ユーザ認識装置１００は、複数のイメージに含まれる指定されたユーザの形状を学習することにより、指定されたユーザを認識するための形状情報を生成することができる。

【0049】

３６０段階において、ユーザ認識装置１００は形状情報を用いて指定されたユーザを認識する。例えば、ユーザ認識装置１００は生成された形状情報を用いてイメージに含まれる指定されたユーザを認識する。イメージは、例えばＤＶＳモジュール１３０を介して感知されたイベントに基づいて生成されたイメージである。

【0050】

３７０段階において、ユーザ認識装置１００は認識されたユーザに応じて少なくとも一つのＩｏＴ装置を制御する。ユーザ認識装置１００は、例えばクラウドサーバを介して少なくとも一つのＩｏＴ装置を制御する。

【0051】

図４は、一実施例によるユーザ認識装置が外部装置から受信されたユーザの識別情報を用いてユーザを認識することを示した図である。

【0052】

図４を参照すると、ユーザ認識装置１００は、外部電子装置３０から受信されたユーザ１の識別情報（例：ＩＤ（ｉｄｅｎｔｉｔｙ））を用いて指定されたユーザ１の形状を学習することができる。

【0053】

外部電子装置３０は、指定された動作を行うためにユーザ識別情報を受信することができる。指定された動作は、例えば指定された場所（例：自宅）１０のセキュリティを設定又は解除するための動作である。外部電子装置３０はセキュリティシステムに含まれるユーザ認識装置である。外部電子装置３０は、ＲＦＩＣ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）を含むキー、ユーザ端末、又はビーコン（ｂｅａｃｏｎ）などからユーザ１の識別情報を受信することができる。外部電子装置３０は、例えばユーザ１のタギング（ｔａｇｇｉｎｇ）動作により識別情報を受信する。

【0054】

ユーザ認識装置１００は外部電子装置３０からユーザ１を区別するための識別情報を受信することができる。外部電子装置３０は、例えば指定された動作（例：セキュリティ設定又は解除）を行うためのユーザ入力を受信すると、ユーザ入力に含まれる識別情報をユーザ認識装置１００に送信する。

【0055】

ユーザ認識装置１００は、外部電子装置３０から識別情報を受信した時に生成されたイメージ３をデータベースに保存することができる。例えば、ユーザ認識装置１００は識別情報を受信した時から指定された時間内に生成された複数のイメージ３をデータベースに保存する。複数のイメージ３は、例えばＤＶＳモジュール（例：図２のＤＶＳモジュール１３０）を介して感知されたイベントに基づいて生成される。

【0056】

ユーザ認識装置１００は受信された識別情報に応じて生成されたイメージ３を区分して保存することができる。即ち、ユーザ認識装置１００は識別情報に対応するように生成されたイメージ３を保存することができる。これにより、ユーザ認識装置１００は指定された場所で認識される複数のユーザのそれぞれを区別して学習することができる。

【0057】

ユーザ認識装置１００は、生成されたイメージ３に一つのユーザの形状のみが含まれる場合、生成されたイメージ３をデータベースに保存することができる。ユーザ認識装置１００は、生成されたイメージ３に複数のユーザの形状が含まれる場合、受信された識別情報に対応するユーザの形状を区別することが難しい場合があるため、一つのユーザの形状のみが含まれるイメージをデータベースに保存する。

【0058】

これにより、ユーザ認識装置１００は指定されたユーザ（又は、特定のユーザ）の形状が含まれるイメージ３をデータベースに保存することができる。

【0059】

ユーザ認識装置１００はデータベースに保存された複数のイメージのそれぞれに含まれる指定されたユーザ１の形状を学習することができる。ユーザ認識装置１００は学習情報（又は、データ）に基づいて指定されたユーザ１を認識することができる形状情報を生成することができる。これにより、ユーザ認識装置１００は生成された形状情報を用いて指定されたユーザ１を高い確率で認識することができる。

【0060】

図５は、一実施例による外部装置から受信されたユーザの識別情報を用いてイメージに含まれるユーザの形状を学習する方法を示したフローチャートである。

【0061】

５１０段階において、ユーザ認識装置１００は外部電子装置３０からユーザ１の識別情報を受信する。

【0062】

５２０段階において、ユーザ認識装置１００は識別情報を受信した時から指定された時間内に複数のイメージ３を生成する。

【0063】

５３０段階において、ユーザ認識装置１００は生成された複数のイメージ３のそれぞれが一つのユーザの形状を含むか否かを確認する。ユーザ認識装置１００は複数のイメージ３のそれぞれに二つ以上のユーザの形状が含まれる場合（Ｎｏ）、ユーザ１の識別情報を受信するために待機する（５１０段階）。

【0064】

５４０段階において、ユーザ認識装置１００は、複数のイメージ３のそれぞれに一つのユーザの形状が含まれる場合（Ｙｅｓ）、複数のイメージ３をデータベースに保存する。

【0065】

これにより、ユーザ認識装置１００は、データベースに保存されたイメージに含まれるユーザの形状を学習して指定されたユーザ１を認識するための形状情報を生成することができる。ユーザ認識装置１００は形状情報を用いて指定されたユーザ１を認識することができる。

【0066】

図６は、一実施例によるユーザ認識装置が指定された空間で感知されたイベントに基づいてユーザを認識することを示した図である。

【0067】

図６を参照すると、ユーザ認識装置１００は、指定された空間で感知されたイベントに基づいてイメージ３を生成し、生成されたイメージ３を用いて指定されたユーザの形状を学習することができる。

【0068】

ユーザ認識装置１００は指定された空間（又は、特定の空間）で発生するイベントを感知することができる。指定された空間は、例えば指定されたユーザ（又は特定のユーザ）が出現する頻度の高い空間で発生したイベントを感知する。例えば、ユーザ認識装置１００は、自宅４０の第２部屋４０ａで発生するイベントを感知する。自宅４０の第２部屋４０ａは指定されたユーザの個人空間に該当し得る。自宅４０の他の空間（例：居間、台所、又は車庫）は、複数のユーザの共有空間に該当し得るため、ユーザ認識装置１００が指定されたユーザの形状のみが含まれるイメージを生成することが難い場合がある。

【0069】

ユーザ認識装置１００は指定された空間で発生したイベントに基づいて複数のイメージ３を生成することができる。

【0070】

ユーザ認識装置１００は生成された複数のイメージ３をユーザ端末５に送信することができる。例えば、ユーザ認識装置１００は、複数のイメージ３に指定された回数以上にユーザ１の形状が含まれる場合、複数のイメージ３をユーザ端末５に送信する。

【0071】

ユーザ端末５は、受信された複数のイメージ３に指定されたユーザ（例：ユーザ端末５のユーザ）１の形状が含まれるか否かを確認するためのフィードバックを受信することができる。ユーザ端末５は受信されたフィードバックに対する情報（又は、フィードバック情報）をユーザ認識装置１００に送信することができる。

【0072】

ユーザ認識装置１００は受信されたフィードバック情報に基づいて複数のイメージ３をデータベースに保存することができる。例えば、ユーザ認識装置１００は、複数のイメージ３が指定されたユーザ（例：ユーザ端末５のユーザ）１を含んでいることを確認したフィードバック情報を受信した場合、複数のイメージ３をデータベースに保存する。

【0073】

これにより、ユーザ認識装置１００は指定されたユーザ（又は、特定のユーザ）の形状が含まれるイメージ３をデータベースに保存することができる。

【0074】

ユーザ認識装置１００はデータベースに保存された複数のイメージに含まれる指定されたユーザ１の形状を学習することができる。ユーザ認識装置１００は、学習された情報（又は、データ）に基づいて指定されたユーザ１を認識することができる形状情報を生成することができる。これにより、ユーザ認識装置１００は生成された形状情報を用いて指定されたユーザ１を高い確率で認識することができる。

【0075】

図７は、一実施例によるフィードバック情報を受信するためにユーザ認識装置から受信されたイメージを表示したユーザ端末を示した図である。

【0076】

図７を参照すると、ユーザ端末５は、ユーザ認識装置１００から受信された複数のイメージ７１１をユーザに提供し、複数のイメージ７１１にユーザの形状が含まれるか否かを確認するフィードバック情報を受信することができる。

【0077】

ユーザ端末５はユーザのフィードバック入力を受信するためのアプリケーションプログラムを実行することができる。ユーザ端末５はユーザ入力を受信するためのＵＩ（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）７１０をディスプレイ７００に表示することができる。ユーザ端末５は、ＵＩ７１０を介して受信された複数のイメージ７１１を表示し、オブジェクト（例：仮想のボタン）７１３を介してユーザのフィードバック情報を受信することができる。

【0078】

図８は、一実施例による指定された空間で感知されたイベントに基づいてユーザの形状を学習する方法を示したフローチャートである。

【0079】

８１０段階において、ユーザ認識装置１００は指定された空間で発生したイベントを感知する。

【0080】

８２０段階において、ユーザ認識装置１００は指定された空間で感知されたイベントに基づいて複数のイメージ３を生成する。

【0081】

８３０段階において、ユーザ認識装置１００は指定された回数以上に複数のイメージ３にユーザの形状が含まれるか否か確認する。ユーザ認識装置１００は、複数のイメージ３に指定された回数未満にユーザの形状が含まれる場合（Ｎｏ）、ユーザ１の指定された空間に発生したイベントを感知するために待機する（８１０段階）。

【0082】

８４０段階において、ユーザ認識装置１００は指定された回数以上に複数のイメージ３にユーザの形状が含まれる場合（Ｙｅｓ）、ユーザ端末５に複数のイメージ３を送信する。

【0083】

８５０段階において、ユーザ認識装置１００はユーザ端末５から複数のイメージ３に指定されたユーザ１の形状が含まれるか否かを確認するフィードバック情報を受信する。指定されたユーザ１は、例えばユーザ端末５のユーザである。

【0084】

８６０段階において、ユーザ認識装置１００は受信されたフィードバック情報に基づいて複数のイメージ３をデータベースに保存する。

【0085】

これにより、ユーザ認識装置１００は、データベースに保存されたイメージに含まれるユーザ１の形状を学習して指定されたユーザ１を認識するための形状情報を生成することができる。ユーザ認識装置１００は形状情報を用いて指定されたユーザ１を認識することができる。

【0086】

図９は、一実施例によるユーザ認識装置が認識されたユーザに応じてＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇ）を制御することを示した図である。

【0087】

図９を参照すると、ユーザ認識装置１００は、指定されたグループ内のユーザ１を認識した時、認識されたユーザ１に応じてそれぞれ異なるようにＩｏＴ装置２００を制御することができる。

【0088】

ユーザ認識装置１００は、指定されたグループ内のユーザ１別に異なってＩｏＴ装置２００を制御するように設定され得る。指定されたグループは、例えば指定された空間で認識されるユーザのグループ（例：家族（ユーザＡ～Ｄ））である。ユーザ１別に異なるようにＩｏＴ装置２００を制御するために、ユーザ定義ルール（ｕｓｅｒ ｄｅｆｉｎｅｄ ｒｕｌｅ）がユーザ認識装置１００（例：メモリ１２０）に保存され得る。ユーザ定義ルールは、例えば、ＩｏＴ装置２００の電源（ＯＮ／ＯＦＦ）を制御することだけでなく、指定された状態（例：設定温度、再生音楽ジャンルなど）で動作するための設定値を保存する。

【0089】

ユーザ１は、ユーザ端末３０を介してユーザ定義ルールをユーザ認識装置１００に保存することができる。ユーザ端末３０は、例えば、ＩｏＴ装置２００の状態を設定するためのＵＩ（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）をディスプレイに表示し、ＩｏＴ装置２００を制御するためのルールを設定するためのユーザ入力（例：タッチ入力）を受信する。

【0090】

ユーザ認識装置１００はユーザ１別に定義されたルール（ｕｓｅｒ ｄｅｆｉｎｅｄ ｒｕｌｅ）に従って認識されたユーザ別にＩｏＴ装置２００を制御することができる。例えば、ユーザ認識装置１００は、ユーザＡを認識した時、第１ユーザ定義ルールに従ってエアコンを２４℃に設定された状態で動作するようにし、指定された空間の電灯をオフ（ＯＦＦ）させ、スピーカをジャズ（ＪＡＺＺ）音楽を再生するように制御する。ユーザ認識装置１００は、ユーザＢを認識した時、第２ユーザ定義ルールに従ってエアコンをオフ（ＯＦＦ）させ、指定された空間の電灯をオン（ＯＮ）させ、スピーカをクラシック（ＣＬＡＳＳＩＣ）音楽を再生するように制御する。ユーザ認識装置１００は、ユーザＣを認識した時、第３ユーザ定義ルールに従ってエアコンを２２℃に設定された状態で動作するようにし、指定された空間の電灯をオン（ＯＮ）させ、スピーカをオフ（ＯＦＦ）させるように制御する。また、ユーザ認識装置１００は、ユーザＤを認識した時、第４ユーザ定義ルールに従ってエアコンをオフ（ＯＦＦ）させ、指定された空間の電灯をオフ（ＯＦＦ）させ、スピーカをランダム（ＲＡＮＤＯＭ）音楽を再生するように制御する。

【0091】

これにより、ユーザ認識装置１００は、指定されたグループ内のユーザ１に応じてＩｏＴ装置２００を制御することにより、ユーザの嗜好に合わせたサービスを提供することができる。

【0092】

図１０は、多様な実施例によるネットワーク環境１０００内の電子装置１００１のブロック図である。

【0093】

本明細書に開示する多様な実施例による電子装置は、多様な形態の装置となり得る。電子装置は、例えば、携帯用通信装置（例：スマートフォン）、コンピュータ装置（例：ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ラップトップＰＣ（デスクトップＰＣ、ワークステーション、又はサーバ）、携帯用マルチメディア装置（例：電子ブックリーダ機又はＭＰ３プレーヤ）、携帯用医療機器（例：心拍、血糖、血圧、又は体温測定器）、カメラ、又はウェアラブル装置のうちの少なくとも一つを含む。ウェアラブル装置は、アクセサリ型（例：時計、指輪、ブレスレット、アンクレット、ネックレス、眼鏡、コンタクトレンズ、又は頭部装着型装置（ｈｅａｄ－ｍｏｕｎｔｅｄ－ｄｅｖｉｃｅ（ＨＭＤ））、織物又は衣類一体型（例：電子衣服）、身体付着型（例：スキンパッド又は入れ墨）、又は生体移植型回路のうちの少なくとも一つを含む。ある実施例において、電子装置は、例えば、テレビ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）プレーヤ、オーディオ装置、オーディオアクセサリ装置（例：スピーカ、ヘッドホン、又はヘッドセット）、冷蔵庫、エアコン、掃除機、オーブン、電子レンジ、洗濯機、空気清浄機、セットトップボックス、ホームオートメーションコントロールパネル、セキュリティコントロールパネル、ゲームコンソール、電子辞書、電子キー、カムコーダ、又は電子額縁のうちの少なくとも一つを含む。

【0094】

他の実施例において、電子装置は、ナビゲーション装置、衛星航法システム（ＧＮＳＳ（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ））、ＥＤＲ（ｅｖｅｎｔ ｄａｔａ ｒｅｃｏｒｄｅｒ）（例：車両／船舶／飛行機用ブラックボックス（ｂｌａｃｋ ｂｏｘ））、自動車インフォテインメント（例：車両用ヘッド－アップディスプレイ）、産業用又は家庭用ロボット、ドロン（ｄｒｏｎｅ）、ＡＴＭ（ａｕｔｏｍａｔｅｄ ｔｅｌｌｅｒ ｍａｃｈｉｎｅ）、ＰＯＳ（ｐｏｉｎｔ ｏｆ ｓａｌｅｓ）機器、計測機器（例：水道、電気、又はガス計測機器）、又はモノのインターネット装置（例：電球、スプリングクラ装置、火災報知機、温度調節機、又は街路灯）のうちの少なくとも一つを含む。本明細書の実施例による電子装置は上述の機器に限定されず、例えば、個人の生体情報（例：心拍又は血糖）の測定機能が具備されたスマートフォンの場合のように、複数の装置の機能を複合的に提供することができる。本明細書において、ユーザという用語は、電子装置を使用する者又は電子装置を使用する装置（例：人工知能電子装置）を指す。

【0095】

図１０を参照すると、ネットワーク環境１０００において、電子装置１００１（例：図１のユーザ認識装置１００）は、近距離無線通信１０９８を介して電子装置１００２と通信するか、又はネットワーク１０９９を介して電子装置１００４又はサーバ１００８と通信することができる。電子装置１００１はサーバ１００８を介して電子装置１００４と通信することができる。

【0096】

電子装置１００１は、バス、プロセッサ１０２０（例：図２のプロセッサ１４０）、メモリ１０３０（例：図２のメモリ１２０）、入力装置１０５０（例：マイク又はマウス）、表示装置１０６０、オーディオモジュール１０７０、センサモジュール１０７６（例：図２のＤＶＳモジュール１３０）、インタフェース１０７７、ハプティックモジュール１０７９、カメラモジュール１０８０、電力管理モジュール１０８８、及びバッテリ１０８９、通信モジュール１０９０（例：図２の通信インタフェース１１０）、並びに加入者識別モジュール１０９６を含む。ある実施例で、電子装置１００１は、構成要素のうちの少なくとも一つ（例：表示装置１０６０又はカメラモジュール１０８０）を省略するか、又は他の構成要素を更に具備する。

【0097】

バスは、構成要素１０２０～１０９０を互いに連結し、構成要素間の信号（例：制御メッセージ又はデータ）を伝達する回路を含む。

【0098】

プロセッサ１０２０は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ：ＡＰ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、カメラのＩＳＰ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、又はＣＰ（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）のうちの一つ又はそれ以上を含む。プロセッサ１０２０はＳｏＣ（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）又はＳｉＰ（ｓｙｓｔｅｍ ｉｎ ｐａｃｋａｇｅ）で具現され得る。プロセッサ１０２０は、例えば、運営体制（ＯＳ：オペレーティングシステム）１０４２又は応用（アプリケーション）プログラム１０４６を駆動してプロセッサ１０２０に連結された電子装置１００１の少なくとも一つの他の構成要素（例：ハードウェア又はソフトウェア構成要素）を制御し、各種データ処理及び演算を行う。プロセッサ１０２０は、他の構成要素（例：通信モジュール１０９０）のうちの少なくとも一つから受信されたコマンド又はデータを揮発性メモリ１０３２にロードして処理し、結果データを不揮発性メモリ１０３４に保存する。

【0099】

メモリ１０３０は、揮発性メモリ１０３２又は不揮発性メモリ１０３４を含む。揮発性メモリ１０３２は、例えばＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（例：ＤＲＡＭ、ＳＲＡＭ、又はＳＤＲＡＭ）で構成される。不揮発性メモリ１０３４は、例えば、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＯＴＰＲＯＭ（ｏｎｅ ｔｉｍｅ ＰＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ＰＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、ｍａｓｋ ＲＯＭ、ｆｌａｓｈ ＲＯＭ、フラッシュメモリ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、又はＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）で構成される。また、不揮発性メモリ１０３４は、電子装置１００１との連結形態によって、その中に配置された内蔵メモリ１０３６、又は必要時にのみ連結して使用可能なスタンド－アローン（ｓｔａｎｄ－ａｌｏｎｅ）形態の外付けメモリ１０３８で構成される。外付けメモリ１０３８は、フラッシュドライブ（ｆｌａｓｈ ｄｒｉｖｅ）、例えば、ＣＦ（ｃｏｍｐａｃｔ ｆｌａｓｈ）、ＳＤ（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）、Ｍｉｃｒｏ－ＳＤ、Ｍｉｎｉ－ＳＤ、ｘＤ（ｅｘｔｒｅｍｅ ｄｉｇｉｔａｌ）、ＭＭＣ（ｍｕｌｔｉ－ｍｅｄｉａ ｃａｒｄ）、又はメモリスティックを含む。外付けメモリ１０３８は有線（例：ケーブル又はＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ））又は無線（例：Ｂｌｕｅｔｏｏｔｈ（登録商標））を介して電子装置１００１と機能的に又は物理的に連結される。

【0100】

メモリ１０３０は、例えば、電子装置１００１の少なくとも一つの他のソフトウェア構成要素、例えば、プログラム１０４０に関係するコマンド又はデータを保存する。プログラム１０４０は、例えば、運営体制（ＯＳ）１０４２、ミドルウェア１０４４、アプリケーションフレームワーク又はアプリケーションプログラム（ｉｎｔｅｒｃｈａｎｇｅａｂｌｙ「アプリケーション」）１０４６を含む。

【0101】

入力装置１０５０は、マイク、マウス、又はキーボードを含む。キーボードは、物理的なキーボードで連結されるか、又は表示装置１０６０を介して仮想キーボードで表示され得る。

【0102】

表示装置１０６０は、ディスプレイ、ホログラム装置、又はプロジェクタ、及び当該装置を制御するための制御回路を含む。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、マイクロ電子機械システム（ＭＥＭＳ）ディスプレイ、又は電子ペーパ（ｅｌｅｃｔｒｏｎｉｃ ｐａｐｅｒ）ディスプレイを含む。ディスプレイは、柔軟に、透明に、又は着用可能に具現され得る。ディスプレイは、ユーザのタッチ、ジェスチャー、近接、又はホバリング（ｈｏｖｅｒｉｎｇ）入力を感知することができるタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）又はタッチに対する圧力の強さを測定することができる圧力センサ（ｉｎｔｅｒｃｈａｎｇｅａｂｌｙ 「ｆｏｒｃｅ ｓｅｎｓｏｒ」）を含む。タッチ回路又は圧力センサは、ディスプレイと一体型に具現されるか、又はディスプレイとは別途の一つ以上のセンサで具現される。ホログラム装置は光の干渉を用いて立体映像を空中に映し出す。プロジェクタはスクリーンに光を投射して映像を表示する。スクリーンは、例えば電子装置１００１の内部又は外部に位置する。

【0103】

オーディオモジュール１０７０は、例えば音及び電気信号を双方向に変換させる。オーディオモジュール１０７０は、入力装置１０５０（例：マイク）を介して音を獲得するか、又は電子装置１００１に含まれる出力装置（図示せず）（例：スピーカ又はレシーバ）、或いは電子装置１００１に連結された外部電子装置（例：電子装置１００２（例：無線スピーカ又は無線ヘッドホン）又は電子装置１００６（例：有線スピーカ又は有線ヘッドホン））を介して音を出力することができる。

【0104】

センサモジュール１０７６は、例えば、電子装置１００１の内部の作動状態（例：電力又は温度）、又は外部の環境状態（例：高度、湿度、又は明るさ）を計測又は感知して、その計測又は感知された状態情報に対応する電気信号又はデータ値を生成する。センサモジュール１０７６は、例えば、ジェスチャーセンサ、ジャイロセンサ、気圧センサ、マグネティックセンサ、加速度センサ、グリップセンサ、近接センサ、カラー（ｃｏｌｏｒ）センサ（例：ＲＧＢ（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ）センサ）、ＩＲ（ｉｎｆｒａｒｅｄ）センサ、生体センサ（例：虹彩センサ、指紋センサ、又はＨＲＭ（ｈｅａｒｔｂｅａｔ ｒａｔｅ ｍｏｎｉｔｏｒｉｎｇ）センサ、嗅覚（ｅｌｅｃｔｒｏｎｉｃ ｎｏｓｅ）センサ、ＥＭＧ（ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ）センサ、ＥＥＧ（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）センサ、ＥＣＧ（Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）センサ）、温度センサ、湿度センサ、照度センサ、又はＵＶ（ｕｌｔｒａ ｖｉｏｌｅｔ）センサを含む。センサモジュール１０７６は、その中に属する少なくとも一つ以上のセンサを制御するための制御回路を更に含み得る。ある実施例で、電子装置１００１は、プロセッサ１０２０又はプロセッサ１０２０とは別途のプロセッサ（例：センサハブ）を用いてセンサモジュール１０７６を制御する。別途のプロセッサ（例：センサハブ）を用いる場合、電子装置１００１は、プロセッサ１０２０がスリープ（ｓｌｅｅｐ）状態にある間、プロセッサ１０２０を起動させずに別途のプロセッサの作動によってセンサモジュール１０７６の動作又は状態の少なくとも一部を制御することができる。

【0105】

インタフェース１０７７は、ＨＤＭＩ（登録商標）（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）、ＵＳＢ、光インタフェース（ｏｐｔｉｃａｌ ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２（ｒｅｃｏｍｍｅｎｄｅｄ ｓｔａｎｄａｒｄ ２３２）、Ｄ－ｓｕｂ（Ｄ－ｓｕｂｍｉｎｉａｔｕｒｅ）、ＭＨＬ（ｍｏｂｉｌｅ ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ ｌｉｎｋ）インタフェース、ＳＤカード／ＭＭＣ（ｍｕｌｔｉ－ｍｅｄｉａ ｃａｒｄ）インタフェース、又はオーディオインタフェースを含む。連結端子１０７８は電子装置１００１と電子装置１００６とを物理的に連結させる。連結端子１０７８は、例えば、ＵＳＢコネクタ、ＳＤカード／ＭＭＣコネクタ、又はオーディオコネクタ（例：ヘッドホンコネクタ）を含む。

【0106】

ハプティックモジュール１０７９は電気的信号を機械的な刺激（例：振動又は動き）又は電気的な刺激に変換することができる。例えば、ハプティックモジュール１０７９はユーザに触覚又は運動感覚に関連する刺激を提供する。ハプティックモジュール１０７９は、例えば、モータ、圧電素子、又は電気刺激装置を含む。

【0107】

カメラモジュール１０８０は、例えば静止画及び動画を撮影する。カメラモジュール１０８０は、一つ以上のレンズ（例：広角レンズ及び望遠レンズ、又は前面レンズ及び後面レンズ）、イメージセンサ、イメージシグナルプロセッサ、又はフラッシュ（例：発光ダイオード又はキセノンランプ（ｘｅｎｏｎ ｌａｍｐ）など）を含む。

【0108】

電力管理モジュール１０８８は、電子装置１００１の電力を管理するためのモジュールであって、例えばＰＭＩＣ（ｐｏｗｅｒ ｍａｎａｇｅｍｅｎｔ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の少なくとも一部として構成される。

【0109】

バッテリ１０８９は、例えば、一次電池、二次電池、又は燃料電池を含んで外部電源により再充電されて、電子装置１００１の少なくとも一つの構成要素に電力を供給することができる。

【0110】

通信モジュール１０９０は、例えば、電子装置１００１と外部装置（例：第１外部電子装置１００２、第２外部電子装置１００４、又はサーバ１００８）との間の通信チャンネルの構築及び構築された通信チャンネルを介した有線又は無線通信の遂行を支援することができる。通信モジュール１０９０は、無線通信モジュール１０９２又は有線通信モジュール１０９４を含み、そのうちの該当する通信モジュールを用いて第１ネットワーク１０９８（例：Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＩｒＤＡ（ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）のような近距離通信ネットワーク）又は第２ネットワーク１０９９（例：セルラーネットワークのような遠距離通信ネットワーク）を介して外部装置と通信することができる。

【0111】

無線通信モジュール１０９２は、例えば、セルラー通信、近距離無線通信、又はＧＮＳＳ通信を支援する。セルラー通信は、例えば、ＬＴＥ（ｌｏｎｇ－ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（ＬＴＥ Ａｄｖａｎｃｅ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）（ｗｉｄｅｂａｎｄ ＣＤＭＡ）、ＵＭＴＳ（ｕｎｉｖｅｒｓａｌ ｍｏｂｉｌｅ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｓｙｓｔｅｍ）、ＷｉＢｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ）、又はＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）を含む。近距離無線通信は、例えば、Ｗｉ－Ｆｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ、Ｌｉ－Ｆｉ（ｌｉｇｈｔ ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） ｌｏｗ ｅｎｅｒｇｙ）、Ｚｉｇｂｅｅ（登録商標）、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＭＳＴ（ｍａｇｎｅｔｉｃ ｓｅｃｕｒｅ ｔｒａｎｓｍｉｓｓｉｏｎ）、ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）、又はＢＡＮ（ｂｏｄｙ ａｒｅａ ｎｅｔｗｏｒｋ）を含む。ＧＮＳＳは、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、Ｇｌｏｎａｓｓ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、Ｂｅｉｄｏｕ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ（以下、「Ｂｅｉｄｏｕ」）、又はＧａｌｉｌｅｏ（ｔｈｅ Ｅｕｒｏｐｅａｎ ｇｌｏｂａｌ ｓａｔｅｌｌｉｔｅ－ｂａｓｅｄ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ）を含む。本明細書において「ＧＰＳ」は「ＧＮＳＳ」と相互互換的に使用される。

【0112】

無線通信モジュール１０９２は、セルラー通信を支援する場合、例えば加入者識別モジュール１０９６を用いて通信ネットワーク内で電子装置１００１の区別及び認証を行うことができる。無線通信モジュール１０９２はプロセッサ１０２０（例：ＡＰ）とは別個のＣＰを含み得る。このような場合、ＣＰは、例えば、プロセッサ１０２０がインアクティブ（例：スリープ）状態にある間、プロセッサ１０２０の代わりに、又はプロセッサ１０２０がアクティブ状態にある間、プロセッサ１０２０と共に、電子装置１００１の構成要素（１０１０～１０９６）のうちの少なくとも一つの構成要素に関連する機能の少なくとも一部の機能を行う。無線通信モジュール１０９２は、セルラー通信モジュール、近距離無線通信モジュール、又はＧＮＳＳ通信モジュールのうちの該当する通信方式のみを支援する複数の通信モジュールで構成され得る。

【0113】

有線通信モジュール１０９４は、例えば、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、電力線通信、又はＰＯＴＳ（ｐｌａｉｎ ｏｌｄ ｔｅｌｅｐｈｏｎｅ ｓｅｒｖｉｃｅ）を含む。

【0114】

第１ネットワーク１０９８は、例えば、電子装置１００１と第１外部電子装置１００２との間の無線で直接連結を介してコマンド又はデータを送信又は受信することができるＷｉ－Ｆｉダイレクト又はＢｌｕｅｔｏｏｔｈ（登録商標）を含む。第２ネットワーク（１０９９）は、例えば、電子装置１００１と第２外部電子装置（１００４）との間のコマンド又はデータを送信又は受信することができるテレコミュニケーションネットワーク（例：ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）やＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）のようなコンピュータネットワーク、インターネット（ｉｎｔｅｒｎｅｔ）、又はテレフォン（ｔｅｌｅｐｈｏｎｅ）ネットワーク）を含む。

【0115】

多様な実施例によると、コマンド又はデータは、第２ネットワークに連結されたサーバ１００８を介して電子装置１００１と第２外部電子装置（１００４）との間で送信又は受信される。第１及び第２外部電子装置（１００２、１００４）のそれぞれは電子装置１００１と同一又は異なる種類の装置である。多様な実施例によると、電子装置１００１で実行される動作の全部又は一部は、他の一つ又は複数の電子装置（例：電子装置１００２、１００４）、又はサーバ１００８で実行される。電子装置１００１がある機能やサービスを自動的に又は要請により行わなければならない場合、電子装置１００１は、機能又はサービスを自体的に実行させる代わりに、又は追加的に、それに連関する少なくとも一部の機能を他の装置（例：電子装置１００２、１００４、又はサーバ１００８）に要請することができる。他の電子装置（例：電子装置１００２、１００４、又はサーバ１００８）は、要請された機能又は追加機能を実行し、その結果を電子装置１００１に伝達することができる。電子装置１００１は受信された結果をそのまま又は追加的に処理して要請された機能やサービスを提供することができる。このために、例えば、クラウドコンピューティング、分散コンピューティング、又はクライアント－サーバコンピューティング技術が用いられる。

【0116】

本明細書の多様な実施例及びここに使用した用語は、本明細書に記載した技術を特定の実施形態に限定しようとするものではなく、当該実施例の多様な変更、均等物、及び／又は代替物を含むものとして理解すべきである。図面の説明に関連して、類似の構成要素に対しては類似の参照符号が使用される。単数の表現は、文脈上、明らかに異なるものを意味しない限り、複数の表現を含み得る。本明細書において、「Ａ又はＢ」、「Ａ及び／又はＢのうちの少なくとも一つ」、「Ａ、Ｂ、又はＣ」又は「Ａ、Ｂ、及び／又はＣのうちの少なくとも一つ」などの表現は、共に並べられた項目の全ての可能な組み合わせを含み得る。「第１」、「第２」、「第一に」、又は「第二に」などの表現は、当該構成要素を、手順又は重要度に関係なく修飾することができ、一構成要素を他の構成要素と区分するために使用されるのみであり、当該構成要素を限定しない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的に又は通信的に）連結されて」いるか、「接続されて」いると言及するときには、ある構成要素が他の構成要素に直接的に連結されるか、又は他の構成要素（例：第３構成要素）を介して連結され得る。

【0117】

本明細書において、「～するように設定された（ａｄａｐｔｅｄ ｔｏ ｏｒ ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は、状況に応じて、例えば、ハードウェア的又はソフトウェア的に「～に適する」、「～する能力を有する」、「～するように変更された」、「～するように作られた」、「～ができる」、又は「～するように設計された」と相互互換的に（ｉｎｔｅｒｃｈａｎｇｅａｂｌｙ）使用され得る。ある状況では、「～するように構成された装置」という表現は、その装置が他の装置又は部品と共に「～できる」ことを意味し得る。例えば、語句「Ａ、Ｂ、及びＣを行うように設定された（又は構成された）プロセッサ」は、当該動作を実行するための専用プロセッサ（例：組込みプロセッサ）、又はメモリ装置（例：メモリ１０３０）に保存された一つ以上のプログラムを実行することにより、当該動作を行うことができる汎用プロセッサ（例：ＣＰＵ又はＡＰ）を意味し得る。

【0118】

本明細書において使用された用語「モジュール」は、ハードウェア、ソフトウェア、又はファームウェアから構成されるユニット（ｕｎｉｔ）を含み、例えば、ロジック、論理ブロック、部品、又は回路などの用語と相互互換的に使用される。「モジュール」は、一体に構成された部品、又は一つ又はそれ以上の機能を行う最小単位若しくはその一部となり得る。「モジュール」は、機械的に又は電子的に具現され、例えば、ある動作を行う公知又は今後開発されるＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）チップ、ＦＰＧＡｓ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、又はプログラム可能な論理装置を含む。

【0119】

多様な実施例による装置（例：モジュール又はその機能）又は方法（例：動作）の少なくとも一部は、プログラムモジュールの形態でコンピュータ読み取り可能な記録媒体（例：メモリ１０３０）に保存されたコマンド語として具現され得る。コマンド語がプロセッサ（例：プロセッサ１０２０）により実行される場合、プロセッサはコマンド語に該当する機能を行うことができる。コンピュータ読み取り可能な記録媒体は、ハードディスク、フロッピー（登録商標）ディスク、マグネティック媒体（例：磁気テープ）、光記録媒体（例：ＣＤ－ＲＯＭ、ＤＶＤ、磁気－光媒体（例：フロプティカルディスク）、内蔵メモリなどを含み得る。コマンド語はコンパイラにより作られるコード又はインタプリタにより実行され得るコードを含み得る。

【0120】

多様な実施例による構成要素（例：モジュール又はプログラムモジュール）のそれぞれは、単数又は複数の個体で構成され、上述の当該サブ構成要素のうちの一部のサブ構成要素が省略されるか、又は他のサブ構成要素を更に含み得る。代替的に又は追加的に、一部の構成要素（例：モジュール又はプログラムモジュール）は、一つの個体に統合されて、統合される前のそれぞれの当該構成要素により行われる機能を同一又は類似に行うことができる。多様な実施例によるモジュール、プログラムモジュール、又は他の構成要素により行われる動作は、順次的、並列的、反復的、又はヒューリスティック（ｈｅｕｒｉｓｔｉｃ）に実行されるか、或いは少なくとも一部の動作が他の順序で実行されるか、省略されるか、又は他の動作が追加され得る。

【0121】

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

【符号の説明】

【0122】

１ ユーザ
３ イメージ
５ ユーザ端末
１０ 指定された場所
２０ クラウドサーバ
３０ 外部電子装置
４０ 自宅
４０ａ 第２部屋
１００ ユーザ認識装置
１１０ 通信インタフェース
１２０、１０３０ メモリ
１３０ ＤＶＳ（ｄｙｎａｍｉｃ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）モジュール
１３１ レンズ
１３２ ＤＶＳ
１４０、１０２０ プロセッサ
２００ ＩｏＴ装置
７００ ディスプレイ
７１０ ＵＩ（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）
７１１ 複数のイメージ
７１３ オブジェクト
１０００ ネットワーク環境
１００１、１００２、１００４ 電子装置
１００８ サーバ
１０２１ メインプロセッサ
１０２３ 補助プロセッサ
１０３２ 揮発性メモリ
１０３４ 不揮発性メモリ
１０３６ 内蔵メモリ
１０３８ 外付けメモリ
１０４０ プログラム
１０４２ 運営体制（ＯＳ：オペレーティングシステム）
１０４４ ミドルウェア
１０４６ アプリケーションフレームワーク又はアプリケーションプログラム
１０５０ 入力装置
１０５５ 音響出力装置
１０６０ 表示装置
１０７０ オーディオモジュール
１０７６ センサモジュール
１０７７ インタフェース
１０７８ 連結端子
１０７９ ハプティックモジュール
１０８０ カメラモジュール
１０８８ 電力管理モジュール
１０８９ バッテリ
１０９０ 通信モジュール
１０９２ 無線通信モジュール
１０９４ 有線通信モジュール
１０９６ 加入者識別モジュール
１０９７ アンテナモジュール
１０９８ 近距離無線通信
１０９９ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】