(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-25
(45)【発行日】2022-12-05
(54)【発明の名称】電子装置、ユーザ端末装置及びその制御方法
(51)【国際特許分類】
H04N 21/436 20110101AFI20221128BHJP
H04L 67/00 20220101ALI20221128BHJP
【FI】
H04N21/436
H04L67/00
(21)【出願番号】P 2020530959
(86)(22)【出願日】2018-12-04
(86)【国際出願番号】 KR2018015275
(87)【国際公開番号】W WO2019112308
(87)【国際公開日】2019-06-13
【審査請求日】2021-09-29
(31)【優先権主張番号】10-2017-0166928
(32)【優先日】2017-12-06
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100154922
【氏名又は名称】崔 允辰
(72)【発明者】
【氏名】キョヒョン・チョ
(72)【発明者】
【氏名】サンヨン・イ
(72)【発明者】
【氏名】ヒソク・ジョン
(72)【発明者】
【氏名】ホヨン・キム
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開2011-172037(JP,A)
【文献】特開2015-015004(JP,A)
【文献】国際公開第2015/089913(WO,A1)
【文献】国際公開第2013/043534(WO,A1)
【文献】米国特許出願公開第2011/0138444(US,A1)
【文献】米国特許出願公開第2016/0249216(US,A1)
【文献】米国特許第09131478(US,B2)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
H04L 67/00
(57)【特許請求の範囲】
【請求項1】
通信部と、
保存部と、
ディスプレイと、
前記通信部を介してユーザ端末装置から予め設定された接続リクエスト信号が受信されると、前記ディスプレイを介して出力される第1映像を前記保存部に保存し、
前記通信部を介して前記ユーザ端末装置から第2映像が受信されると、前記第1映像に含まれたオブジェクトと同様のオブジェクトを前記第2映像で識別し、
前記第1映像に含まれた前記オブジェクトの変化パターン、及び前記第2映像で識別された前記オブジェクトの変化パターンが同様である場合、前記予め設定された接続リクエスト信号に対する認証情報を前記ユーザ端末装置に伝送するように前記通信部を制御するプロセッサと
を含む電子装置。
【請求項2】
前記プロセッサは、
前記ユーザ端末装置から前記通信部の接続されたネットワーク装置を介して伝送される前記予め設定された接続リクエスト信号を受信し、
前記認証情報に基づいた前記ユーザ端末装置の通信接続リクエストに応じて、前記ユーザ端末装置とP2P(Peer-to-Peer)通信を行うように前記通信部を制御することを特徴とする請求項1に記載の電子装置。
【請求項3】
前記オブジェクトは、
前記第1映像及び前記第2映像のそれぞれに含まれたテキスト情報、及び前記第1映像及び前記第2映像のそれぞれのRGB情報のうち、少なくとも1つであることを特徴とする請求項1に記載の電子装置。
【請求項4】
前記プロセッサは、
前記ユーザ端末装置から他電子装置に対する認証情報が受信されると、受信された認証情報に基づいて前記他電子装置と通信を行うことを特徴とする請求項1に記載の電子装置。
【請求項5】
前記プロセッサは、
前記他電子装置に前記他電子装置の機能情報をリクエストし、
前記機能情報が受信されると、前記電子装置の機能情報と前記他電子装置の機能情報に基づいて、前記他電子装置と連動可能な機能を識別し、前記識別された機能を行うことを特徴とする請求項4に記載の電子装置。
【請求項6】
前記プロセッサは、
前記電子装置の機能がディスプレイ機能を含み、前記他電子装置の機能情報にディスプレイ機能が含まれている場合、前記他電子装置とミラーリング機能が可能であると識別し、前記他電子装置にディスプレイされた映像を受信し、前記ミラーリング機能を行うことを特徴とする請求項5に記載の電子装置。
【請求項7】
入力部と、
撮影部と、
通信部と、
前記入力部を介して、ユーザ命令に応じて予め設定された接続リクエスト信号を電子装置に伝送し、
予め設定された時間が経過した後で、前記撮影部を介して撮影された映像を前記電子装置に伝送し、
前記電子装置から前記予め設定された接続リクエスト信号に対する認証情報が受信されると、前記認証情報に基づいて前記電子装置とP2P(Peer-to-Peer)通信を行うプロセッサと
を含むユーザ端末装置。
【請求項8】
前記プロセッサは、
前記通信部の接続されたネットワーク装置を介して、前記予め設定された接続リクエスト信号を前記電子装置にブロードキャストし、
予め設定された時間が経過した後で、前記ネットワーク装置を介して前記撮影された映像を前記電子装置にブロードキャストする前記通信部を制御することを特徴とする請求項7に記載のユーザ端末装置。
【請求項9】
前記プロセッサは、
前記予め設定された接続リクエスト信号を伝送した後、前記予め設定された時間の間、撮影を行うように前記撮影部を制御することを特徴とする請求項7に記載のユーザ端末装置。
【請求項10】
前記プロセッサは、
ユーザの撮影命令に応じて撮影を開始し、前記予め設定された接続リクエスト信号を伝送した後、前記撮影部を介して撮影された映像を前記電子装置に伝送することを特徴とする請求項7に記載のユーザ端末装置。
【請求項11】
ディスプレイと、
従来接続が行われた他電子装置に対する接続情報が保存された保存部と
を更に含み、
前記プロセッサは、
外部電子装置と接続を行うためのモードに移行すると、前記保存部に保存された情報に基づいて、前記他電子装置に対するイメージを前記ディスプレイ上にディスプレイすることを特徴とする請求項7に記載のユーザ端末装置。
【請求項12】
前記プロセッサは、
予め設定された命令に応じて、前記他電子装置に対する接続情報を前記電子装置に伝送するように前記通信部を制御し、
前記接続情報は、
前記電子装置が前記他電子装置とP2P通信を行うための認証情報を含むことを特徴とする請求項11に記載のユーザ端末装置。
【請求項13】
前記接続情報は、
前記電子装置が前記他電子装置とP2P通信を行うための認証情報及び前記他電子装置の機能情報を含み、
前記プロセッサは、
前記電子装置に前記電子装置の機能情報をリクエストし、
前記電子装置の機能情報及び前記他電子装置の機能情報に基づいて、前記電子装置と前記他電子装置と間で連動可能な機能を識別し、前記識別された機能を前記ディスプレイを介して提供することを特徴とする請求項11に記載のユーザ端末装置。
【請求項14】
前記撮影部を介して撮影された映像は、
前記電子装置に備えられたディスプレイが撮影された映像であることを特徴とする請求項7に記載のユーザ端末装置。
【請求項15】
ユーザ端末装置の制御方法において、
ユーザ命令に応じて予め設定された接続リクエスト信号を電子装置に伝送するステップと、
予め設定された時間が経過した後で、前記ユーザ端末装置の撮影部を介して撮影された映像を前記電子装置に伝送するステップと、
前記電子装置から前記予め設定された接続リクエスト信号に対する認証情報が受信されると、前記認証情報に基づいて前記電子装置とP2P(Peer-to-Peer)通信を行うステップと
を含む制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子装置、ユーザ端末装置及びその制御方法に関し、より詳細には、電子装置とユーザ端末装置との接続を行う電子装置、ユーザ端末装置及びその制御方法に関する。
【背景技術】
【0002】
電子技術の発達により、多様な電子製品が開発及び普及されている。特に、無線通信技術が発達するにつれ、家庭内の様々な電子装置に通信機能を組み込み、ネットワークで接続している。
【0003】
このように、電子装置をネットワークで接続することで、一つの端末装置で複数の電子装置を手軽に制御することができ、電子装置のステータス情報を確認することができる。
【0004】
一方、このような電子装置をネットワークに接続し、端末装置で識別するためには、それぞれの電子装置と端末装置との間の初期接続の設定段階が必要であり、このような設定段階は数多くの手順が求められる。
【0005】
なお、初期接続の設定段階の後も、従来の電子装置との接続解除後、新たな電子装置との接続の際には、ユーザはもう一度数段階の認証手順を経なければならないため、不都合であった。
【0006】
そのため、端末装置で手軽に電子装置を識別することができ、最初の接続又は再接続の際でも、複数の認証手順を必要としない方法が求められている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開第2017-102783号公報
【文献】特開第2016-194756号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザ端末装置からブロードキャストされた信号又は映像に基づいて、電子装置とユーザ端末装置との間で接続ができる電子装置、ユーザ端末装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【0009】
上述の目的を達成するための本発明の一実施形態に係る電子装置は、通信部と、保存部と、ディスプレイと、前記通信部を介してユーザ端末装置から予め設定された接続リクエスト信号が受信されると、前記ディスプレイを介して出力される第1映像を前記保存部に保存し、前記通信部を介して前記ユーザ端末装置から第2映像が受信されると、前記第1映像に含まれたオブジェクトと同様のオブジェクトを前記第2映像で識別し、前記第1映像に含まれた前記オブジェクトの変化パターン、及び前記第2映像で識別された前記オブジェクトの変化パターンが同様である場合、前記予め設定された接続リクエスト信号に対する認証情報を前記ユーザ端末装置に伝送するように前記通信部を制御するプロセッサとを含む。
【0010】
ここで、前記プロセッサは、前記ユーザ端末装置から前記通信部の接続されたネットワーク装置を介して伝送される前記予め設定された接続リクエスト信号を受信し、前記認証情報に基づいた前記ユーザ端末装置の通信接続リクエストに応じて、前記ユーザ端末装置とP2P(Peer-to-Peer)通信を行うように前記通信部を制御してよい。
【0011】
なお、前記オブジェクトは、前記第1映像及び前記第2映像のそれぞれに含まれたテキスト情報、及び前記第1映像及び前記第2映像のそれぞれのRGB情報のうち、少なくとも1つであってよい。
【0012】
なお、前記プロセッサは、前記ユーザ端末装置から他電子装置に対する認証情報が受信されると、受信された認証情報に基づいて前記他電子装置と通信を行ってよい。
【0013】
なお、前記プロセッサは、前記他電子装置に前記他電子装置の機能情報をリクエストし、前記機能情報が受信されると、前記電子装置の機能情報と前記他電子装置の機能情報に基づいて、前記他電子装置と連動可能な機能を識別し、前記識別された機能を行ってよい。
【0014】
ここで、前記プロセッサは、前記電子装置の機能がディスプレイ機能を含み、前記他電子装置の機能情報にディスプレイ機能が含まれている場合、前記他電子装置とミラーリング機能が可能であると識別し、前記他電子装置にディスプレイされた映像を受信し、前記ミラーリング機能を行ってよい。
【0015】
一方、本発明の一実施形態に係るユーザ端末装置は、入力部と、撮影部と、通信部と、前記入力部を介して、ユーザ命令に応じて予め設定された接続リクエスト信号を電子装置に伝送し、予め設定された時間が経過した後で、前記撮影部を介して撮影された映像を前記電子装置に伝送し、前記電子装置から前記予め設定された接続リクエスト信号に対する認証情報が受信されると、前記認証情報に基づいて前記電子装置とP2P(Peer-to-Peer)通信を行うプロセッサとを含む。
【0016】
ここで、前記プロセッサは、前記通信部の接続されたネットワーク装置を介して、前記予め設定された接続リクエスト信号を前記電子装置にブロードキャストし、予め設定された時間が経過した後で、前記ネットワーク装置を介して前記撮影された映像を前記電子装置にブロードキャストする前記通信部を制御してよい。
【0017】
なお、前記プロセッサは、前記予め設定された接続リクエスト信号を伝送した後、前記予め設定された時間の間、撮影を行うように前記撮影部を制御してよい。
【0018】
なお、前記プロセッサは、ユーザの撮影命令に応じて撮影を開始し、前記予め設定された接続リクエスト信号を伝送した後、前記撮影部を介して撮影された映像を前記電子装置に伝送してよい。
【0019】
なお、本発明の一実施形態に係るユーザ端末装置は、ディスプレイと、従来接続が行われた他電子装置に対する接続情報が保存された保存部とを更に含み、前記プロセッサは、外部電子装置と接続を行うためのモードに移行すると、前記保存部に保存された情報に基づいて、前記他電子装置に対するイメージを前記ディスプレイ上にディスプレイしてよい。
【0020】
ここで、前記プロセッサは、予め設定された命令に応じて、前記他電子装置に対する接続情報を前記電子装置に伝送するように前記通信部を制御し、前記接続情報は、前記電子装置が前記他電子装置とP2P通信を行うための認証情報を含んでよい。
【0021】
なお、前記接続情報は、前記電子装置が前記他電子装置とP2P通信を行うための認証情報及び前記他電子装置の機能情報を含み、前記プロセッサは、前記電子装置に前記電子装置の機能情報をリクエストし、前記電子装置の機能情報及び前記他電子装置の機能情報に基づいて、前記電子装置と前記他電子装置と間で連動可能な機能を識別し、前記識別された機能を前記ディスプレイを介して提供してよい。
【0022】
一方、前記撮影部を介して撮影された映像は、前記電子装置に備えられたディスプレイが撮影された映像であってよい。
【0023】
一方、本発明の一実施形態に係るユーザ端末装置の制御方法は、ユーザ命令に応じて予め設定された接続リクエスト信号を電子装置に伝送するステップと、予め設定された時間が経過した後で、前記ユーザ端末装置の撮影部を介して撮影された映像を前記電子装置に伝送するステップと、前記電子装置から前記予め設定された接続リクエスト信号に対する認証情報が受信されると、前記認証情報に基づいて前記電子装置とP2P(Peer-to-Peer)通信を行うステップとを含む。
【0024】
ここで、前記予め設定された接続リクエスト信号を前記電子装置に伝送するステップは、前記ユーザ端末装置の接続されたネットワーク装置を介して前記予め設定された接続リクエスト信号を前記電子装置にブロードキャストし、前記撮影された映像を前記電子装置に伝送するステップは、前記予め設定された時間が経過した後で、前記ネットワーク装置を介して前記撮影された映像を前記電子装置にブロードキャストしてよい。
【0025】
なお、前記撮影された映像を前記電子装置に伝送するステップは、ユーザの撮影命令に応じて撮影を開始し、前記予め設定された接続リクエスト信号を伝送した後、前記撮影部を介して撮影された映像を前記電子装置に伝送してよい。
【0026】
本発明の一実施形態に係る前記ユーザ端末装置は、従来接続が行われた他電子装置に対する接続情報を含み、制御方法は、外部電子装置と接続を行うためのモードに移行すると、前記他電子装置に対する接続情報に基づいて、前記他電子装置に対するイメージをディスプレイするステップを更に含んでよい。
【0027】
なお、予め設定された命令に応じて、前記他電子装置に対する接続情報を前記電子装置に伝送するステップを更に含み、前記接続情報は、前記電子装置が前記他電子装置とP2P通信を行うための認証情報を含んでよい。
【0028】
なお、前記接続情報は、前記電子装置が前記他電子装置とP2P通信を行うための認証情報及び前記他電子装置の機能情報を含み、前記電子装置に前記電子装置の機能情報をリクエストするステップと、前記電子装置の機能情報及び前記他電子装置の機能情報に基づいて、前記電子装置と前記他電子装置と間で連動可能な機能を識別するステップと、前記識別された機能を前記ディスプレイするステップとを含んでよい。
【発明の効果】
【0029】
以上説明したように、本発明によれば、数段階の認証手順又は初期設定を行うことなく、ユーザ端末装置が伝送した信号及び映像に基づいて、電子装置とユーザ端末装置との間の接続を行うことができるようになる。
【図面の簡単な説明】
【0030】
【
図1】本発明の一実施形態に係るホームネットワークシステムの例示図である。
【
図2】本発明の一実施形態に係る電子装置の構成を示すブロック図である。
【
図3A】本発明の一実施形態に係るユーザ端末装置の構成を示すブロック図である。
【
図3B】ユーザ端末装置の細部構成の一例を示すブロック図である。
【
図4】本発明の一実施形態に係る電子装置とユーザ端末装置との制御方法を説明するためのシーケンス図である。
【
図5】本発明の一実施形態に係る電子装置及びユーザ端末装置の間の制御方法を説明するための図である。
【
図6】本発明の一実施形態に係る電子装置及びユーザ端末装置の間の制御方法を説明するための図である。
【
図7】本発明の一実施形態に係る電子装置間の通信接続方法を説明するためのシーケンス図である。
【
図8】本発明の一実施形態に係る電子装置間の通信接続方法を説明するための図である。
【
図9】本発明の一実施形態に係る電子装置間の通信接続方法を説明するための図である。
【
図10】本発明の一実施形態に係る電子装置の制御方法を説明するための図である。
【
図11】本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。
【
図12】本発明の一実施形態に係るユーザ端末装置の制御方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0031】
本明細書で使われる用語について概略に説明し、本開示について具体的に説明する。
【0032】
本開示の実施形態で使われる用語は、本開示における機能を考慮しつつ、可能な限り、現在広く使われている通常の用語を選択しているが、それは、当分野に携わる技術者の意図又は判例、新たな技術の登場などにより、異なることもある。なお、特定の場合は、出願人が任意に選定した用語もあり、この場合、該当する開示の説明箇所で、その意味について詳細に説明する。そのため、本開示で使われる用語は、単なる用語の名称ではなく、その用語のもつ意味と、本開示の全般にわたる内容とを基に定義されるべきである。
【0033】
本開示の実施形態は、多様な変更を加えることができ、複数の実施形態を有することができるため、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかし、それは、特定の実施形態に対して範囲を限定するものではなく、発明された思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものとして理解されるべきである。実施形態を説明するうえで、関連する公知技術に対する具体的な説明が要旨を曖昧にするおそれがあると判断される場合には、その詳細な説明を省略する。
【0034】
第1、第2などの用語は、多様な構成要素を説明するのに使われてよいが、構成要素は用語によって限定されてはならない。用語は、一つの構成要素を他の構成要素から区別する目的としてのみ使われる。
【0035】
単数の表現は文脈上明白にそうでないことを意味しない限り、複数の表現を含む。本出願において、「含む」又は「構成される」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを指定するものであって、一つ又はそれ以上の他の特徴や、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないものとして理解されるべきである。
【0036】
本開示において、「モジュール」或いは「部」は、少なくとも1つの機能や動作を行い、ハードウェア又はソフトウェアで実現されたり、ハードウェアとソフトウェアとの組み合わせで実現されてよい。なお、複数の「モジュール」或いは複数の「部」は、特定のハードウェアで実現される必要のある「モジュール」或いは「部」を除いては、少なくとも一つのモジュールで一体化され、少なくとも1つのプロセッサ(図示せず)で実現されてよい。
【0037】
以下では、添付の図を参照し、本発明の実施形態について、本発明の属する技術分野で通常の知識を有する者が容易に実施できるように詳しく説明する。しかし、本開示は、複数の異なる形態で実現されてよく、ここで説明する実施形態に限定しない。そして、図面において、本発明を明確に説明するために、説明と関係のない部分は省略しており、明細書の全体を通して、類似する部分に対しては、類似する図面の符号を付している。
【0038】
図1は、本発明の一実施形態に係るホームネットワークシステムの例示図である。
図1によると、ホームネットワークシステムは、少なくとも1つの電子装置100及びユーザ端末装置200を含む。
【0039】
ここで、電子装置100は、ディスプレイ装置100-1、スピーカ100-2、冷蔵庫100-3、洗濯機100-4、ロボット掃除機100-5、エアコン、空気清浄機、セットトップボックスなどのような多様な家電製品(home appliance)で実現されてよい。ただ、それに限定されるものではなく、電子装置100は、各種医療機器や、モノのインターネット(internet of things)及び各種センサのような多様なタイプの電子装置で実現されてよい。
【0040】
電子装置100は、外部デバイスと通信を行うことができる。ここで、外部デバイスは、ネットワーク装置、他電子装置、サーバ、ユーザ端末装置200などであってよい。ここで、ネットワーク装置は、アクセスポイント(Access Point:AP)のように、ブリッジの役割を担う多様なタイプの装置で実現されてよい。一例として、ネットワーク装置は、ルータ、スイッチ、IP共有器及び無線ネットワークカードで実現されてよい。
【0041】
本発明の一実施形態によって、電子装置100は、ユーザ端末装置200が伝送する信号やデータなどを受信することができ、受信された信号及びデータに基づいて、ユーザ端末装置とP2P(Peer-to-Peer)通信を行うことができる。ユーザ端末装置200は、スマートフォン、タブレット、ポータブル端末装置、スマートウォッチ、ウェアラブルデバイスなどで実現されてよい。ただ、それに限定されるものではなく、ユーザ端末装置200は、カメラを含み、カメラを介して撮影された映像を外部デバイスに伝送可能な装置なら、如何なる装置でも構わない。
【0042】
ユーザ端末装置200は、外部デバイスと通信を行うことができる。ここで、外部デバイスは、上述のように、ネットワーク装置、電子装置100、サーバなどであってよい。
【0043】
本発明の一実施形態によって、ユーザ端末装置200は、電子装置100に予め設定された接続リクエスト信号及び映像を伝送することができる。一例として、ユーザ端末装置200は、電子装置100に予め設定された接続リクエスト信号を伝送した後、映像を伝送することができる。電子装置100は、ユーザ端末装置200から受信された信号及び映像に基づいて、ユーザ端末装置200に予め設定された接続リクエスト信号に対する認証情報を伝送することができる。例えば、ユーザ端末装置200は、ユーザ端末装置200に備えられたカメラを介して電子装置100を識別し、識別された電子装置100に予め設定された接続リクエスト信号、映像などを伝送することができる。この場合、映像を受信した電子装置100は、受信された映像に基づいて、ユーザ端末装置200に認証情報を伝送するか否かを識別することができる。ここで、ユーザ端末装置200は、拡張現実(AR:augmented reality)ベースの外部デバイス識別方法を用いて、電子装置100を識別し、識別された電子装置100に信号や映像などを伝送することができる。それに対する具体的な説明は、後述する。
【0044】
他の例として、ユーザ端末装置200は、ネットワーク装置を介してネットワーク装置に接続された電子装置に信号や映像などを伝送することもできる。一例として、ユーザ端末装置200は、予め設定された接続リクエスト信号及び映像をネットワーク装置を経由し、複数の電子装置100-1ないし100-5に伝送することができる。例えば、予め設定された接続リクエスト信号及び映像は、ネットワーク装置を介してブロードキャストされてよく、ネットワーク装置に接続された複数の電子装置100-1ないし100-5は、予め設定された接続リクエスト信号及び映像を受信することができるようになる。ここで、ブロードキャストとは、1:N又は1:Allでデータを伝送するものとして、データを受信する電子装置のMac Addressを特定しないまま、データを伝送する方法である。例えば、ユーザ端末装置200が映像をブロードキャストすると、APに接続された複数の電子装置100-1ないし100-5は、映像を受信することができる。本発明の一実施形態に係る電子装置100は、受信された信号及び映像に基づいて、ユーザ端末装置200に予め設定された接続リクエスト信号に対する認証情報を伝送することができる。ユーザ端末装置200は、認証情報に基づいて、電子装置100に通信接続をリクエストすることができ、電子装置100とユーザ端末装置200とは、P2P通信を行うことができる。ここで、電子装置100とユーザ端末装置200とが直接接続される多様なP2P通信は、Bluetooth、Wi-Fi P2P(Wi-Fi Peer-to-Peer)(又は、Wi-Fiダイレクト(Wi-Fi Direct)を意味してよい。以上では、電子装置100及びユーザ端末装置200の動作について概略に説明した。以下では、本発明の多様な実施形態に係る電子装置100及びユーザ端末装置200の制御方法について、具体的に説明する。
【0045】
図2は、本発明の一実施形態に係る電子装置100の構成を示すブロック図である。
【0046】
図2を参照すると、電子装置100は、通信部110、保存部120、ディスプレイ130及びプロセッサ140を含む。
【0047】
通信部110は、外部デバイスと通信を行う。本発明の一実施形態によって、通信部110は、BT(BlueTooth)、WI-FI(Wireless Fidelity)、Zigbee、IR(Infrared)、Serial Interface、USB(Universal Serial Bus)、NFC(Near Field Communication)などのような様々な通信方式を通じ、外部デバイスと通信を行うことができる。
【0048】
特に、通信部110は、ユーザ端末装置200から予め設定された接続リクエスト信号や映像を受信することができる。一例として、通信部110は、同じAPに接続されたユーザ端末装置200がAPを通してブロードキャスト(Broadcast)する予め設定された接続リクエスト信号及び映像を受信することができる。ただ、それに限定されるものではなく、予め設定された接続リクエスト信号及び映像は、APを経由することなく、ユーザ端末装置200が電子装置100に直接(Directly)伝送することもできる。ここで、予め設定された接続リクエスト信号は、ユーザ端末装置200が電子装置100とP2P(Peer-to-Peer)接続を行うために、電子装置100の認証情報をリクエストする信号であってよい。
【0049】
本発明の一実施形態に係るユーザ端末装置200から受信された映像は、ユーザ端末装置200が電子装置100に備えられたディスプレイ130を撮影した映像であってよい。それに関する具体的な説明は、後述する。
【0050】
保存部120は、電子装置100を駆動させるためのO/S(Operating System)ソフトウェアモジュール、各種通信モジュール、従来接続が行われた他電子装置に対する接続情報、映像分析ソフトウェアモジュール、各種コンテンツのような多様なデータを保存する。
【0051】
保存部120は、プロセッサ140に含まれたROM、RAMなどの内部メモリで実現されたり、プロセッサ140と別途のメモリで実現されてよい。この場合、保存部120は、データ保存の用途によって、電子装置100にエンベデッドされたメモリで実現されたり、電子装置100に着脱自在なメモリで実現されてよい。例えば、電子装置100の駆動のためのデータの場合、電子装置100にエンベデッドされたメモリに保存され、電子装置100の拡張機能のためのデータの場合、電子装置100に着脱自在なメモリに保存されてよい。一方、電子装置100にエンベデッドされたメモリの場合、非揮発性メモリ、揮発性メモリ、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SSD)などのような形態で実現され、電子装置100に着脱自在なメモリの場合、メモリカード(例えば、micro SDカード、USBメモリなど)、USBポートに接続可能な外部メモリ(例えば、USBメモリ)などのような形態で実現されてよい。
【0052】
ディスプレイ130は、多様なタイプの映像をディスプレイすることができ、液晶表示装置(LCD:Liquid Crystal Display)、有機発光ダイオード(OLED:Organic Light Emitting Display)又はプラズマ表示パネル(PDD:Plasma Display Panel)などで実現されてよい。ただ、それに限定されるものではなく、様々なタイプのディスプレイ130で実現されてよい。一例として、ディスプレイ130は、7セグメントディスプレイ(Seven-segment display)で実現されてよい。
【0053】
プロセッサ140は、電子装置100の動作を全体的に制御する。
【0054】
一実施形態によって、プロセッサ140は、中央処理装置(Central Processing Unit:CPU)、MCU(Micro Controller Unit)、MPU(Micro Processing Unit)、コントローラ(Controller)、アプリケーションプロセッサ(Application Processor:AP)又はコミュニケーションプロセッサ(Communication Processor:CP)、ARMプロセッサのうち、一つ又はそれ以上を含むか、当該用語で定義されてよい。なお、プロセッサ140は、プロセッシングアルゴリズムの内蔵されたSoC(System on Chip)、LSI(Large Scale Integration)で実現されてよく、FPGA(Field Programmable Gate Array)で実現されてよい。
【0055】
本発明の一実施形態によって、プロセッサ140は、通信部110を介して、ユーザ端末装置200から予め設定された接続リクエスト信号が受信されると、ディスプレイ130を介して出力される第1映像を保存部120に保存することができる。一例として、プロセッサ140は、電子装置100の位置する領域で接続可能なWi-Fi通信規格によるAPに接続されるように、通信部110を制御することができる。接続されたAPを利用して予め設定された接続リクエスト信号が通信部110を介して受信されると、ディスプレイ130を介して出力される第1映像を保存部120に保存することができる。ただ、予め設定された接続リクエスト信号は、APを経由することなく、ユーザ端末装置200から直接受信することもできる。
【0056】
本発明の一実施形態によって、保存部120に保存される第1映像は、ディスプレイ130を介して現在出力されている映像であってよい。一例として、プロセッサ140は、ディスプレイ130を介してマルチメディアコンテンツ、電子装置100のステータス情報、電子装置100の動作による情報、予め設定された映像などを出力することができる。予め設定された接続リクエスト信号が受信されることにより、プロセッサ140は、現在出力中の第1映像の録画を開始することができ、録画された映像は保存部120に保存されてよい。
【0057】
なお、プロセッサ140は、通信部110を介して第2映像が受信されると、保存部120に保存された第1映像と受信された第2映像とを比較することができる。ここで、第2映像は、ユーザ端末装置200が伝送した映像であってよい。
【0058】
本発明の一実施形態に係るプロセッサ140は、保存された第1映像に含まれたオブジェクトと同様のオブジェクトを受信された第2映像で識別することができる。ここで、オブジェクトは、第1及び第2映像のそれぞれに含まれたイメージ、テキスト情報、図形、及び第1及び第2映像のそれぞれのRGB情報などを意味することができる。一例として、第1映像に含まれたテキストと同様のテキストが第2映像に含まれているか否かを識別することができる。別の例として、第1映像に含まれた特定の図形と同様の図形が第2映像に含まれてるか否かを識別することができる。
【0059】
プロセッサ140は、第2映像で第1映像に含まれたオブジェクトと同様のオブジェクトが識別されると、第1映像に含まれたオブジェクトの変化パターンと識別されたオブジェクトの変化パターンとが同様か否かを判断することができる。一例として、第1映像に含まれた第1テキスト情報の変化パターン及び第2映像に含まれた第2テキスト情報の変化パターンが同様か否かを判断することができる。例えば、プロセッサ140は、第1映像から「残りの洗濯時間 01:30」及び「残りの洗濯時間 01:29」の変化パターンを識別し、第2領域から「残りの洗濯時間 01:30」及び「残りの洗濯時間 01:29」の変化パターンを識別し、両変化パターンが同様か否かを判断することができる。それに対する具体的な例は、
図5及び
図6を参照して行う。
【0060】
本発明の一実施形態に係るプロセッサ140は、識別結果に基づいて予め設定された接続リクエスト信号に対する認証情報をユーザ端末装置200に伝送するように、通信部110を制御することができる。一例として、プロセッサ140は、第1映像の変化パターン及び第2映像の変化パターンが同様なら、ユーザ端末装置200から受信された第2映像は、第1映像を出力中の電子装置100に備えられたディスプレイ130を撮影した映像であると識別することができる。続いて、プロセッサ140は、通信部110を制御し、ユーザ端末装置200に認証情報を伝送することができる。
【0061】
ここで、認証情報は、電子装置100のP2P通信を構成するための情報を含んでよい。ユーザ端末装置200は、認証情報に基づいて電子装置100にP2P通信接続をリクエストすることができる。それに対する具体的な説明は、ユーザ端末装置200に対する詳細図で行う。
【0062】
一方、以上では、通信部110が1つの構成要素であるとして説明しているが、実施形態によって、複数の通信部110は、複数の通信モジュールを含んでよい。一例として、第1通信部は、Wi-Fiモジュールで実現され、第2通信部はブルートゥース(登録商標)モジュールで実現されてよい。この場合、第1通信部を介して、ネットワーク装置と通信を行うことができ、第2通信部を介してユーザ端末装置200と通信を行うことができる。
【0063】
本発明の一実施形態に係るプロセッサ140は、第1映像と第2映像とを比較し、相互同様の映像フレームを含むか否かを識別することもできる。一例として、第1映像と第2映像とは、相互異なる再生時間を有してよく、プロセッサ140は、第1映像の特定区間から識別されたオブジェクトの変化パターンが第2映像の特定区間から識別されたオブジェクトの変化パターンと同様か否かを判断することもできる。それにより、第1映像及び第2映像のそれぞれの全ての再生区間を考慮し、オブジェクトの変化パターンを識別し、同様か否かを判断するものではない、特定の再生区間のみを考慮することもできる。
【0064】
本発明の一実施形態に係るプロセッサ140は、ユーザ端末装置200から他電子装置に対する認証情報が受信されると、受信された認証情報に基づいて、他電子装置と通信を行うように通信部110を制御することもできる。一例として、ディスプレイ装置100-1とユーザ端末装置200と接続された状態で、ユーザ端末装置200からスピーカ100-2に対する認証情報が受信されると、ディスプレイ装置は受信された認証情報に基づいてスピーカとP2P通信を行うことができる。
【0065】
なお、プロセッサ140は、接続された他電子装置に他電子装置の機能情報をリクエストすることができる。プロセッサ140は、電子装置100の機能情報と他電子装置の機能情報とに基づいて、他電子装置と連動可能な機能を識別し、識別された機能を行うことができる。一例として、電子装置100の機能がディスプレイ機能を含み、他電子装置の機能情報にディスプレイ機能が含まれている場合、他電子装置とミラーリング機能が可能であると識別し、他電子装置にディスプレイされた映像を受信し、ミラーリング機能を行うことができる。ただ、それは一実施形態に過ぎず、他の例として、スピーカ100-2は、ディスプレイ装置100-1と連動可能な機能を識別し、ディスプレイ装置100-1と音響出力に関するミラーリングが可能であると識別されると、ディスプレイ装置100-1が出力中のコンテンツの音響信号をディスプレイ装置100-1から受信して出力することができる。
【0066】
図3Aは、本発明の一実施形態に係るユーザ端末装置200の構成を示すブロック図である。
【0067】
図3Aを参照すると、ユーザ端末装置200は、入力部210、撮影部220、通信部230及びプロセッサ240を含む。
【0068】
入力部210は、ユーザ端末装置200を制御するための多様なユーザ命令を受信する。そのために、入力部210は、入力パネルで実現されてよい。入力パネルは、タッチパッド(Touch Pad)或いは各種機能キー、数字キー、特殊キー、文字キーなどを備えたキーパッド(Key Pad)又はタッチスクリーン(Touch Screen)方式で行われてよい。ただ、それに限定されるものではなく、入力部210は、音声入力装置、モーション入力装置などのような多様な入力装置で実現されてよい。
【0069】
撮影部220は、ユーザ端末装置200の周辺領域を撮影し、映像を獲得するための構成である。撮影部220は、カメラ、ビデオカメラなどを含んでよい。撮影部220は、ユーザ端末装置200の内部に含まれる一構成に限定されるものではなく、ユーザ端末装置200の外部端子に接続される外部装置で実現されてよい。
【0070】
特に、撮影部220は、ユーザ端末装置200の周辺領域に位置する電子装置100を撮影することができる。一例として、撮影部220は、電子装置100に備えられたディスプレイ130を撮影し、映像を獲得することができる。
【0071】
通信部230は、外部デバイスと通信を行うための構成である。例えば、通信部230は、BT(BlueTooth)、BLE(Bluetooth Low Energy)、WI-FI(Wireless Fidelity)、Zigbeeなどのように、多様な通信方法を利用し、外部デバイスと通信を行うことができる。ここで、外部デバイスは、ネットワーク装置、電子装置100、サーバで実現されてよい。
【0072】
プロセッサ240は、ユーザ端末装置200の動作を全体的に制御する。
【0073】
特に、プロセッサ240は、入力部210を介したユーザ命令に応じ、予め設定された接続リクエスト信号が電子装置100に伝送されるように通信部230を制御することができる。一例として、プロセッサ240は、ユーザ端末装置200の位置する領域で接続可能なWi-Fi通信規格によるネットワーク装置に接続されるように、通信部230を制御することができ、ネットワーク装置を介して予め設定された接続リクエスト信号をブロードキャストすることができる。この場合、同様のネットワーク装置に接続された複数の電子装置100-1ないし100-5は、予め設定された接続リクエスト信号を受信することができる。
【0074】
ここで、予め設定された接続リクエスト信号は、ユーザ端末装置200と電子装置100との間でP2P通信を構成するための電子装置100の認証情報リクエスト信号を意味することができる。
【0075】
ただ、それに限定されるものではなく、プロセッサ240は、特定の電子装置100に予め設定された接続リクエスト信号を直接伝送することもできる。一例として、プロセッサ240は、拡張現実ベースの外部デバイス識別方法を用いて、特定の電子装置100を識別し、識別された電子装置100に接続リクエスト信号を伝送することもできる。拡張現実ベースの外部デバイス識別方法は、電子装置100にマーカーが付着されている場合、マーカーに基づいて特定の電子装置100を識別することができ、識別された電子装置に接続リクエスト信号を伝送することができる。
【0076】
別の例として、プロセッサ240は、撮影部220を介して撮影されたイメージから特定の電子装置100を識別することもでき、識別された電子装置100に予め設定された接続リクエスト信号を伝送することができる。
【0077】
別の例として、プロセッサ240は、近距離無線通信法式に基づいて、特定の電子装置100に接続リクエスト信号を伝送することもできる。なお、プロセッサ240は、同様のネットワーク装置に接続された複数の電子装置のうち、ユーザの命令に応じて選択された電子装置又は予め設定された有線順位に応じた特定の電子装置としてのみ予め設定された接続リクエスト信号を伝送することもできる。
【0078】
プロセッサ240は、予め設定された接続リクエスト信号を伝送した後、ユーザ端末装置200の周辺領域を撮影するように撮影部220を制御することができる。一例として、ユーザの操作に対応し、撮影部220は電子装置100に備えられたディスプレイ130を撮影し、映像を獲得することができる。
【0079】
プロセッサ240は、予め設定された時間が経過した後、映像を通信部230を介して電子装置100に伝送することができる。一例として、映像は、ユーザ端末装置100の接続されたネットワーク装置を介してブロードキャストされ、複数の電子装置100-1ないし100-5に伝送されてよい。別の例として、プロセッサ240は、拡張現実ベースの外部デバイス識別方法又は近距離無線通信などに基づいて、特定の電子装置100に映像を伝送することもできる。
【0080】
一方、プロッサ240は、予め設定された時間の間、撮影を行うように撮影部220を制御した後、予め設定された接続リクエスト信号を電子装置100に伝送することもできる。即ち、撮影部220を介した撮影の開始と、通信部230を介した予め設定された接続リクエスト信号の伝送は、前後関係が定められているものではなく、本発明の多様な実施形態によって、前後関係が入れ替わることもできる。
【0081】
本発明の別の実施形態によって、プロセッサ240は、入力部210を介してユーザの撮影命令が入力されると、予め設定された時間の間、撮影を行うように撮影部220を制御することもできる。一例として、ユーザ端末装置200は、ユーザの撮影命令に応じて撮影を開始し、予め設定された接続リクエスト信号を伝送した後、撮影部220を介して撮影された映像を電子装置100に伝送することもできる。
【0082】
プロセッサ240は、映像が電子装置100に伝送された後、予め設定された接続リクエスト信号に対する認証情報が受信されると、電子装置100とP2P通信を行うように、通信部230を制御することができる。
【0083】
一例として、認証情報が受信されると、プロセッサ240は、認証情報を伝送した電子装置100とペアリング実行の有無、ブルートゥース(登録商標)モジュールの有効化の有無などに基づいて、電子装置100とブルートゥース(登録商標)規格によるP2P通信を行うことができる。別の例として、プロセッサ240は、電子装置100とWi-Fi P2P通信ネットワークを構成し、P2P通信を行うこともできる。
【0084】
一方、以上では、通信部230が一つの構成要素であるとして説明したが、一実施形態によって、複数の通信部230は、複数の通信モジュールを含んでよい。一例として、第1通信部は、Wi-Fiモジュールで実現され、第2通信部は、ブルートゥース(登録商標)モジュールで実現されてよい。この場合、第1通信部を介してネットワーク装置と通信を行うことができ、第2通信部を介して電子装置100と通信を行うこともできる。
【0085】
図3Bは、ユーザ端末装置200の細部構成の一例を示すブロック図である。
【0086】
図3Bによると、ユーザ端末装置200は、入力部210、撮影部220、通信部230、プロセッサ240、ディスプレイ250及び保存部260を含む。
図3Bに示す構成要素のうち、
図3Aに示す構成要素と重複する部分に対しては、詳細な説明を省略する。
【0087】
撮影部220は、カメラのように、レンズ、CCD、CMOSのような映像センサ及びアナログデジタルコンバータなどのモジュールを含んで構成されてよい。撮影部220は、被写体を捉えて生成される映像信号を獲得し、獲得された映像信号をデジタル信号を変換し、プロセッサ240に伝達する。プロセッサ240は、デジタル信号に変換された映像に対するノイズの除去、色合いの処理などの映像処理のためのイメージ処理動作を行うことができる。プロセッサ240は、撮影された映像をディスプレイ250を介してユーザに提供することができる。
【0088】
通信部230は、多様なタイプの通信方式のよって、AP、電子装置100、サーバと通信を行う構成である。通信部230は、Wi-Fiチップ、ブルートゥース(登録商標)チップ、無線通信チップ、NFCチップなどを含んでよい。
【0089】
Wi-Fiチップ、ブルートゥース(登録商標)チップは、それぞれWi-Fi方式、ブルートゥース(登録商標)方式で通信を行う。Wi-Fiチップやブルートゥース(登録商標)チップを利用する場合には、SSID及びセッションキーなどのような各種接続情報を先に送受信し、それを用いて通信接続した後、各種情報を送受信することができる。無線通信チップは、IEEE、Zigbee、3G(3rd Generation)、3GPP(3rd Generation Partnership Project)、LTE(Long Term Evolution)などのような多様な通信規格によって通信を行うチップを意味する。
【0090】
プロセッサ240は、ユーザ端末装置200の動作全般を制御する。プロセッサ240は、デジタルシグナルプロセッサ(Digital Signal Processor:DSP)、中央処理装置(Central Processing Unit:CPU)、コントローラ(Controller)、アプリケーションプロセッサ(Application Processor:AP)又はコミュニケーションプロセッサ(Communication Processor:CP)、ARMプロセッサのうち、一つ又はそれ以上を含むか、当該用語で定義されてよい。
【0091】
プロセッサ240は、CPU、ユーザ端末装置200の制御のための制御プログラムが保存されたROM(又は、非揮発性メモリ)及びユーザ端末装置200の外部から入力されるデータを保存するか、ユーザ端末装置200で行われる多様な作業に対応する保存領域として使われるRAM(又は、揮発性メモリ)を含んでよい。
【0092】
CPUは、保存部260にアクセスし、保存部260に保存されたO/Sを用いてブートを行う。そして、保存部260に保存された各種プログラム、コンテンツ、データなどを用いて、多様な動作を行う。
【0093】
ディスプレイ250は、多様な映像をディスプレイすることができ、液晶表示装置(LCD:Liquid Crystal Display)、有機発光ダイオード(OLED:Organic Light Emitting Display)又はプラズマ表示パネル(PDD:Plasma Display Panel)などで実現されてよい。
【0094】
特に、ディスプレイ250は、従来接続が行われた少なくとも一つの電子装置に対するイメージをディスプレイすることができる。本発明の一実施形態により、プロセッサ240は、保存部260に保存された接続情報に基づいて、複数の電子装置100に対するイメージをディスプレイ250を介してディスプレイすることができる。ここで、複数の電子装置100に対するイメージは、電子装置100に対応するサムネイルイメージ、電子装置100の形態を示すイメージなどを意味することができる。
【0095】
保存部260は、ユーザ端末装置200を駆動させるためのO/Sソフトウェアモジュール、各種マルチメディアコンテンツのような多様なデータを保存する。
【0096】
ここで、保存部260は、プロセッサ240に含まれたROM、RAMなどの内部メモリで実現されたり、プロセッサ240と別途のメモリで実現されてよい。この場合、保存部260は、データ保存の用途によって、ユーザ端末装置200にエンベデッドされたメモリで実現されたり、ユーザ端末装置200に着脱自在なメモリで実現されてよい。例えば、ユーザ端末装置200の駆動のためのデータの場合、ユーザ端末装置200にエンベデッドされたメモリに保存され、ユーザ端末装置200の拡張機能のためのデータの場合、ユーザ端末装置200に着脱自在なメモリに保存されてよい。一方、ユーザ端末装置200にエンベデッドされたメモリの場合、非揮発性メモリ、揮発性メモリ、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SSD)などのような形態で実現され、ユーザ端末装置200に着脱自在なメモリの場合、メモリカード(例えば、micro SDカード、USBメモリなど)、USBポートに接続可能な外部メモリ(例えば、USBメモリ)などのような形態で実現されてよい。
【0097】
特に、保存部260は、従来接続が行われた他電子装置に対する接続情報を保存することができる。一例として、従来他電子装置から認証情報を受信しており、認証情報に基づいて、他電子装置のP2P通信を行った場合、プロセッサ240は、他電子装置に対するMac Address、他電子装置を示すイメージなどのような接続情報を保存部260に保存することができる。
【0098】
ここで、他電子装置を示すイメージは、他電子装置のサムネイルイメージ、他電子装置の形態を示すイメージなどを意味することができる。プロセッサ240は、ユーザ端末装置200が外部電子装置と接続を行うためのモードに移行すると、他電子装置に対する接続情報に基づいて、イメージをディスプレイ250を介してディスプレイすることができる。
【0099】
一方、本発明の一実施形態に係るプロセッサ240は、予め設定された命令に応じて、ディスプレイされたイメージが選択されると、選択されたイメージに対応する他電子装置に対する接続情報をP2P通信を行っている電子装置100に伝送することができる。一例として、ディスプレイ装置100-1とP2P通信を行っている状態で、ディスプレイ250にディスプレイされたイメージのうちいずれか一つが選択されると、選択されたイメージに対応するスピーカ100-2に対する接続情報がディスプレイ装置100-1に伝送されてよい。ディスプレイ装置100-1は、受信された接続情報に基づいて、スピーカ100-2とP2P通信を行うことができる。ここで、接続情報は、電子装置100が他電子装置とP2P通信を行うための他電子装置に対する認証情報を含んでよい。
【0100】
本発明の一実施形態に係る接続情報は、電子装置が他電子装置とP2P通信を行うための認証情報及び他電子装置の機能情報を含んでよい。プロセッサ240は、P2P通信を実行中の電子装置に電子装置の機能情報をリクエストし、電子装置の機能情報及び他電子装置の機能情報に基づいて、電子装置と他電子装置と間で連動可能な機能を識別し、識別された機能をディスプレイ250を介して提供してよい。一例として、ディスプレイ装置100-1及びスピーカ100-2の間で連動可能な機能として音響出力機能を識別し、ディスプレイ装置100-1が出力中のコンテンツに含まれた音響信号がスピーカ100-2を介して出力可能であることをディスプレイ250を介して提供することもできる。それに対する具体的な説明は、後述する。
【0101】
図4は、本発明の一実施形態に係る電子装置とユーザ端末装置との制御方法を説明するためのシーケンス図である。
【0102】
図4に示すように、ユーザ端末装置200は、予め設定された接続リクエスト信号を電子装置100に伝送することができる(S411)。
【0103】
予め設定された接続リクエスト信号が受信されると、電子装置100は現在出力中の映像を保存することができる(S421)。
【0104】
ユーザ端末装置200は、ユーザ端末装置200の周辺領域を撮影することができる(S412)。一例として、ユーザ端末装置200は、ユーザの操作に対応し、電子装置100に備えられたディスプレイ130を撮影し、映像を獲得することができる。一方、ステップS411とステップS412とに、前後関係が特定されているものではない。
【0105】
ユーザ端末装置200は、予め設定された時間の間、撮影を行った後、映像を電子装置100に伝送することができる。一例として、ユーザ端末装置200は、映像を複数の電子装置100-1ないし100-5に伝送することができる。別の例として、映像は特定の電子装置100にのみ伝送されてよい。
【0106】
電子装置100は、ステップS421で保存された映像とユーザ端末装置200から受信された映像とを比較することができる(S422)。一例として、ディスプレイ装置100-1には、ディスプレイ装置100-1に備えられたディスプレイを介して出力された映像が保存されており、保存された映像と受信された映像とを比較することができる。電子装置100は、保存された映像に含まれたオブジェクトと同様のオブジェクトとを受信された映像で識別し、保存された映像に含まれたオブジェクトの変化パターン及び受信された映像で識別されたオブジェクトの変化パターンが同様か否かを識別することができる。
【0107】
電子装置100は、保存された映像に含まれたオブジェクトの変化パターン及び受信された映像で識別されたオブジェクトの変化パターンが同様である場合(S423:Y)、予め設定された接続リクエスト信号に対する認証情報をユーザ端末装置200に伝送することができる(S424)。
【0108】
本発明の一実施形態によって、予め設定された接続リクエスト信号及び撮影された映像が複数の電子装置100-1ないし100-5に伝送された場合、保存された映像及び受信された映像を比較するステップS422は、複数の電子装置100-1ないし100-5で行われてよい。一例として、ディスプレイ装置100-1は、ディスプレイ装置100-1に保存された映像と受信された映像とに基づいて、両映像間でオブジェクトの変化パターンが同様か否かを識別し、同様な変化パターンなら(S423:Y)、ユーザ端末装置200に認証情報を伝送することができる。この場合、残りの電子装置100-2ないし100-5は、各電子装置に保存された映像と受信された映像とに基づいて、同様のオブジェクトが含まれていないと識別するか、オブジェクトの変化パターンが同様ではないと識別してよい(S423:N)。そのため、残りの電子装置100-2ないし100-5に対する認証情報は、ユーザ端末装置200に伝送されなくてよい。
【0109】
図5及び
図6は、本発明の一実施形態に係る電子装置及びユーザ端末装置の間の制御方法を説明するための図である。
【0110】
図5によると、電子装置100は、ディスプレイ装置100-1で実現され、ディスプレイ装置100-1が映像を出力する場合を想定することができる。ユーザ端末装置200は、予め設定された接続リクエスト信号をディスプレイ装置100-1に伝送することができる。ディスプレイ装置100-1は、予め設定された接続リクエスト信号が受信されると、ディスプレイを介して出力中の映像を保存することができる。
【0111】
なお、ユーザ端末装置200は、ユーザの操作に対応し、ディスプレイ装置100-1に備えられたディスプレイを撮影することができる。予め設定された時間が経過した後、ユーザ端末装置200の撮影した映像は、ディスプレイ装置100-1に伝送されてよい。
【0112】
本発明の一実施形態によって、予め設定された接続リクエスト信号及び撮影された映像は、ディスプレイ装置100-1の他にも、スピーカ100-2、洗濯機100-4、エアコンなどに伝送されてよい。
【0113】
ディスプレイ装置100-1と残りの電子装置100-2ないし100-5とは、それぞれ保存された映像と受信された映像とを比較し、受信された映像が自分を撮影した映像に該当するか否かを識別することができえる。一例として、ディスプレイ装置100-1は、保存された映像に含まれたオブジェクト(例えば、キャラクタ、テキスト情報)と同様のオブジェクトを、第2映像で識別することができる。同様のオブジェクトが識別されると、第1映像に含まれたオブジェクトの変化パターンと第2映像で識別されたオブジェクトの変化パターンとが同様か否かを判断することができる。変化パターンが同様であると判断されると、ディスプレイ装置100-1は、ユーザ端末装置200から伝送された予め設定された接続リクエスト信号に対して認証情報をユーザ端末装置200に伝送してよい。
【0114】
例えば、ディスプレイ装置を介して出力される映像がコンテンツAであり、ユーザ端末装置200を介して受信された映像がコンテンツAを出力中のディスプレイ装置を撮影した映像である場合を想定することができる。ディスプレイ装置100-1は、受信された映像と保存された映像とを比較し、受信された映像にコンテンツAの一定区間が含まれており、保存された映像にコンテンツAの一定区間が含まれている場合、ディスプレイ装置100-1は、変化パターンが同様であると判断し、認証情報をユーザ端末装置200に伝送することができる。
【0115】
一方、本発明の一実施形態によって、電子装置100は、多様なオブジェクトに基づいて保存された映像及び受信された映像の変化パターンが同様か否かを識別することができる。一例として、電子装置100は、保存された映像の輝度、明度、RGB色相値のそれぞれに対する変化パターン及び受信された映像の輝度、明度、RGB色相値のそれぞれに対する変化パターンに基づいて、変化パターンが同一か否かを識別することができる。なお、電子装置100がOSD方式でチャネル番号、ボリューム値などのように、ステータス情報をディスプレイした場合、電子装置100は受信された映像でチャネル番号、ボリューム値などの変化パターンを識別し、保存された映像に含まれたチャネル番号、ボリューム値などの変化パターンと同様か否かを識別することができる。例えば、チャネル番号の変化パターン(例えば、チャネル9→チャネル10)、ボリューム値の変化パターン(例えば、ボリューム10→ボリューム15)が受信された映像と保存された映像との全てが同様である場合、電子装置100は、ユーザ端末装置200に認証情報を伝送することができる。認証情報がユーザ端末装置200に伝送されることで、ユーザ端末装置200は、電子装置100とP2P通信を行うことができる。
【0116】
本発明の一実施形態によって、電子装置100は、ユーザ端末装置200に制御権限を与えることもできる。この場合、ユーザ端末装置200を介して電子装置100を制御することができる。
【0117】
なお、本発明の一実施形態によって、電子装置100は、自分のステータス情報をユーザ端末装置200に伝送することができ、ユーザ端末装置200は、電子装置100のステータス情報(例えば、チャネル情報、ボリューム情報、コンテンツ情報など)をユーザに提供することができる。
図6によると、電子装置100は、洗濯機100-4で実現されてよい。本発明の一実施形態によって、洗濯機100-4は、装置のステータス情報をディスプレイを介してユーザに提供することができる。例えば、洗濯機100-4は、洗濯コードに関する情報、残りの洗濯時間、経過した洗濯時間などに関する情報をディスプレイすることができる。ユーザ端末装置200から接続リクエスト信号が受信されると、洗濯機100-4はディスプレイ中のステータス情報を保存することができる。
【0118】
図6を参照すると、洗濯機100-4は、洗濯コース及び残りの洗濯時間に関する情報をディスプレイすることができ、ユーザ端末装置200はユーザの操作によって、洗濯機100-4がディスプレイ中のステータス情報を撮影し、映像を獲得することができる。
【0119】
ユーザ端末装置200は、予め設定された時間が経過した後、映像を洗濯機100-4に伝送することができる。洗濯機100-4は、接続リクエスト信号に応じて保存された映像と、ユーザ端末装置200から受信された映像とを比較することができる。例えば、受信された映像で洗濯コース「標準」及び「01時間09分所要」が識別され、洗濯機100-4内に保存された映像で洗濯コース「標準」及び「01時間09分所要」が識別されると、洗濯機100-4はユーザ端末装置200に認証情報を伝送することができる。
【0120】
それにより、ユーザ端末装置200は、洗濯機100-4とP2P通信を行うことができる。
【0121】
図7は、本発明の一実施形態に係る電子装置間の通信接続方法を説明するためのシーケンス図である。
【0122】
本発明の一実施形態によって、ユーザ端末装置200は、従来接続が行われた他電子装置300に対する接続情報を保存することができる。ここで、接続情報は、他電子装置300のMac Address、他電子装置300との接続を行う際、要求されるセキュリティキー及び設定値のような認証情報及び他電子装置300の機能情報などを含んでよい。
【0123】
本発明の一実施形態によって、ユーザ端末装置200は、従来接続が行われた他電子装置300に対するイメージをディスプレイすることができる(S711)。一例として、ユーザ端末装置200は、予め保存された接続情報に基づいて、他電子装置300のサムネイルイメージ又は形態を示すイメージをディスプレイすることができる。
【0124】
ディスプレイされたイメージに対する予め設定された命令が受信されると(S712:Y)、ユーザ端末装置200はイメージに対応する他電子装置300に接続情報を電子装置100に伝送することができる(S713)。一例として、電子装置100とユーザ端末装置200との間で、P2P通信を行う途中にイメージを選択するユーザ命令が受信されると、イメージに対応する他電子装置300に対する接続情報を電子装置100に伝送することができる。
【0125】
電子装置100は、受信された他電子装置300に対する接続情報に基づいて、他電子装置300とP2P通信を行うことができる(S720)。
【0126】
図8及び
図9は、本発明の一実施形態に係る電子装置間の通信接続方法を説明するための図である。
【0127】
図8(a)によると、ユーザ端末装置200とディスプレイ装置100-1との間で接続が行われた後、ユーザ端末装置200はディスプレイ装置100-1の接続情報を保存することができる。
【0128】
図8(b)に示すように、ユーザ端末装置200は、外部電子装置と接続を行うためのモードに移行すると、ユーザ端末装置200は、従来接続が行われたディスプレイ装置100-1に対応するイメージをディスプレイすることができる。なお、ユーザ端末装置200の撮影部220を介し、ユーザ端末装置200の周辺領域を撮影することができる。
図8(b)は、説明の便宜上、スピーカ100-2が撮影される場合を想定するものである。
【0129】
ユーザ端末装置200に対する予め設定された命令に応じて、ユーザ端末装置200は、ディスプレイ装置100-1に対する接続情報をスピーカに伝送することができる。例えば、ディスプレイ装置100-1に対応するイメージとディスプレイ中のスピーカ100-2をピンチイン(Pinch in)すると、ユーザ端末装置200はディスプレイ装置100-1に対する接続情報をスピーカ100-2に伝送することができる。ただ、予め設定された命令は、ピンチイン動作に限定されるものではなく、多様なタッチ動作であってよい。
【0130】
図8(c)に示すように、スピーカ100-2は、ユーザ端末装置200からディスプレイ装置100-1の接続情報が受信されると、ディスプレイ装置100-1とP2P通信を行うことができる。即ち、ユーザがディスプレイ装置100-1又はスピーカ100-2を直接操作しなくても、ユーザ端末装置200に対する操作を通じ、相互異なる両電子装置がP2P通信を行うことができる。
【0131】
図9は、本発明の別の実施形態に係る電子装置間の通信接続方法を説明するための図である。
【0132】
図9(a)と
図9(b)によると、
図7に示すステップS711、S712、S713が行われることで、冷蔵庫100-3とディスプレイ装置100-1との間のP2P通信が行われてよい。即ち、電子装置100がディスプレイ装置100-1で実現され、従来接続が行われた他電子装置300が冷蔵庫100-3で実現された場合を想定したものである。
【0133】
本発明の一実施形態によって、ディスプレイ装置100-1と冷蔵庫100-3とでP2P通信が行われると、冷蔵庫100-3に設けられたディスプレイを介して出力されるステータス情報、コンテンツなどがディスプレイ装置100-1を介して出力されてよい。
【0134】
例えば、ディスプレイ装置100-1は、冷蔵庫100-3に冷蔵庫100-3の機能情報をリクエストし、ディスプレイ装置100-1の機能情報と冷蔵庫100-3の機能情報に基づいて、冷蔵庫100-3と連動可能な機能を識別することができる。一例として、冷蔵庫100-3の機能情報にディスプレイ機能が含まれている場合、ディスプレイ装置100-1は、冷蔵庫100-3とミラーリング機能が可能であると識別し、冷蔵庫100-3にディスプレイされた映像を受信してミラーリング機能を行ってよい。
【0135】
図10は、本発明の一実施形態に係る電子装置の制御方法を説明するための図である。
【0136】
ユーザ端末装置200が電子装置100から応答信号を受信すると、ユーザ端末装置200と電子装置100とは接続が行われてよい。
【0137】
本発明の一実施形態によって、ユーザ端末装置200は、接続が行われた電子装置100を制御することができる。一例として、
図10(c)に示すように、ユーザ端末装置200がロボット掃除機100-5と接続された場合を想定することができる。この場合、ユーザ端末装置200にディスプレイされた機能を選択し、ロボット掃除機100-5を制御することができる。例えば、ユーザ端末装置200を介してロボット掃除機100-5に充電復帰命令を伝送することもできる。
【0138】
一方、上述のように、ユーザ端末装置200は、従来接続が行われた電子装置に対するイメージをディスプレイすることができる。例えば、
図10(a)に示すように、ディスプレイ装置100-1と接続が行われた後、ユーザ端末装置200がロボット掃除機が接続されると、ディスプレイ装置100-1に対応するイメージをディスプレイすることができる。
【0139】
図10(d)に示すように、ディスプレイ装置100-1に対応するイメージに対するユーザ命令に応じて、ユーザ端末装置200は、ロボット掃除機100-5ではない、ディスプレイ装置100-1と再接続を行うことができる。この場合、ユーザ端末装置200は、上述のように、予め保存されたディスプレイ装置100-1に対する接続情報に基づいて再接続を行うことができる。ディスプレイ装置100-1と再接続が行われることで、ディスプレイ装置100-1の機能(例えば、ボリュームアップ又はダウン)を制御することができるUIがユーザ端末装置200にディスプレイされてよい。
【0140】
図11は、本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。
【0141】
本発明の一実施形態に係る電子装置は、ユーザ端末装置から予め設定された接続リクエスト信号が受信されると、ディスプレイを介して出力される第1映像を保存する(S1110)。
【0142】
そして、ユーザ端末装置から第2映像が受信されると、第1映像に含まれたオブジェクトと同様のオブジェクトを第2映像で識別する(S1120)。
【0143】
続いて、第1映像に含まれたオブジェクトの変化パターン及び第2映像で識別されたオブジェクトの変化パターンが同様である場合(S1130:Y)、予め設定された接続リクエスト信号に対する認証情報をユーザ端末装置に伝送する(S1140)。
【0144】
図12は、本発明の一実施形態に係るユーザ端末装置の制御方法を説明するためのフローチャートである。
【0145】
まず、ユーザ命令に応じて、予め設定された接続リクエスト信号を電子装置に伝送する(S1210)。
【0146】
続いて、予め設定された時間が経過した後、ユーザ端末装置の撮影部を介して撮影された映像を電子装置に伝送する(S1220)。
【0147】
更に、電子装置から予め設定された接続リクエスト信号に対する認証情報が受信されると、認証情報に基づいて、電子装置のP2P通信を行う(S1230)。
【0148】
ここで、予め設定された接続リクエスト信号を電子装置に伝送するステップS1120は、ユーザ端末装置の接続されたネットワーク装置を介し、予め設定された接続リクエスト信号を電子装置にブロードキャストし、撮影された映像を電子装置に伝送するステップS1220は、予め設定された時間が経過した後、ネットワーク装置を介して撮影された映像を電子装置にブロードキャストしてよい。
【0149】
なお、撮影された映像を電子装置に伝送するステップS1220は、ユーザの撮影命令に応じて撮影を介しし、予め設定された接続リクエスト信号を伝送した後、撮影部を介して撮影された映像を電子装置に伝送することができる。
【0150】
ここで、ユーザ端末装置は、従来接続が行われた他電子装置に対する接続情報を含み、本発明の一実施形態に係る制御方法は、外部電子装置と接続を行うためのモードに移行すると、他電子装置に対する接続情報に基づいて、他電子装置に対するイメージをディスプレイするステップを更に含んでよい。
【0151】
本発明の一実施形態に係る制御方法は、予め設定された命令に応じて、他電子装置に対する接続情報を電子装置に伝送するステップを更に含み、接続情報は、電子装置が他電子装置のP2P通信を行うための認証情報を含んでよい。
【0152】
別の例として、接続情報は、電子装置が他電子装置とP2P通信を行うための認証情報及び他電子装置の機能情報を含み、電子装置に電子装置の機能情報をリクエストするステップは、電子装置の機能情報及び他電子装置の機能情報に基づいて、電子装置と他電子装置との間に連動可能な機能を識別するステップ、及び識別された機能をディスプレイするステップを更に含んでよい。
【0153】
一方、以上で説明された多様な実施形態は、ソフトウェア(software)、ハードウェア(hardware)またはこれらの組み合わせを用いてコンピュータ又はそれに類似する装置で読み込むことができる記録媒体内で実現されてよい。一部の場合において、本明細書で説明される実施形態がプロセッサ120そのもので実現されてよい。ソフトウェア的な実現によると、本明細書で説明される手続き及び機能のような実施形態は、別途のソフトウェアモジュールで実現されてよい。ソフトウェアモジュールのそれぞれは、本明細書で説明される一つ以上の機能及び動作を行うことができる。
【0154】
一方、上述の本開示の多様な実施形態に係る処理動作を行うためのコンピュータ命令語(computer instructions)は、非一時的な読み取り可能な媒体(non-transitory computer readable medium)に保存されてよい。このような非一時的な読み取り可能な媒体に保存されたコンピュータ命令語は、プロセッサによって実行された際、上述の多様な実施形態に係る処理動作を特定機器が行うようにすることができる。
【0155】
非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り(Reading)が可能な媒体を意味する。非一時的な読み取り可能な媒体の具体的な例としては、CDやDVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROM等であってよい。
【0156】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0157】
100 電子装置
110 通信部
120 保存部
130 ディスプレイ
140 プロセッサ
200 ユーザ端末装置
210 入力部
220 撮影部
230 通信部
240 プロセッサ
250 ディスプレイ
260 保存部
300 他電子装置