(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】電子装置、サーバー及びその制御方法
(51)【国際特許分類】
H04M 11/00 20060101AFI20241021BHJP
G10L 15/00 20130101ALI20241021BHJP
G06F 3/16 20060101ALI20241021BHJP
H04Q 9/00 20060101ALI20241021BHJP
【ＦＩ】
H04M11/00 301
G10L15/00 200F
G10L15/00 200G
G10L15/00 200N
G10L15/00 200A
G06F3/16 630
G06F3/16 650
H04Q9/00 301D
【請求項の数】
13
(21)【出願番号】P 2019143757
(22)【出願日】2019-08-05
(65)【公開番号】P2020028129
(43)【公開日】2020-02-20
【審査請求日】2022-08-05
(31)【優先権主張番号】10-2018-0095111
(32)【優先日】2018-08-14
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100154922
【弁理士】
【氏名又は名称】崔 允辰
(74)【代理人】
【氏名又は名称】木内 敬二
(72)【発明者】
【氏名】尹 勝一
(72)【発明者】
【氏名】金 ▲寛▼永
(72)【発明者】
【氏名】金 東▲ウク▼
(72)【発明者】
【氏名】金 民燮
(72)【発明者】
【氏名】許 栽銘
(72)【発明者】
【氏名】金 廷燮
(72)【発明者】
【氏名】兪 浩濬
【審査官】山中 実
(56)【参考文献】
【文献】特開２０１７－１２３０４９（ＪＰ，Ａ）
【文献】特開２００８－１５４２１７（ＪＰ，Ａ）
【文献】特開２００４－２５４０６４（ＪＰ，Ａ）
【文献】特開２００６－０２５２０８（ＪＰ，Ａ）
【文献】特開２０１２－１９９９９７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｍ １１／００
Ｇ１０Ｌ １５／００
Ｇ０６Ｆ ３／１６
Ｈ０４Ｑ ９／００
(57)【特許請求の範囲】
【請求項1】
電子装置であって、動作実行部と、
サーバーとネットワーク通信を行うネットワーク通信部と、
赤外線通信部と、
所定動作を行うように前記動作実行部を制御し、
前記赤外線通信部を介して受信した外部装置の第１赤外線信号から前記外部装置の情報を取得し、
前記サーバーに前記取得した外部装置の情報を伝送して前記外部装置を制御対象として登録することを要請し、
前記サーバーから前記外部装置の制御命令を受信し、
前記外部装置が前記受信された制御命令に対応する動作を行うようにする命令情報を含む第２赤外線信号を送信するように前記赤外線通信部を制御するプロセッサと、
を備え、
前記電子装置の動作実行部、例えば、表示部が動作していない間に前記制御対象として登録されていない前記外部装置の第１赤外線信号を受信した場合、前記電子装置の動作実行部、例えば、表示部が動作していない待機状態を維持し、その後、ユーザが前記電子装置の動作実行部、例えば、表示部をオンさせると、前記外部装置を前記制御対象として登録するかに関するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する電子装置。
【請求項2】
前記プロセッサは、前記第１赤外線信号のあらかじめ定められたコードに基づいて前記外部装置の認識情報を取得することを特徴とする、請求項１に記載の電子装置。
【請求項3】
前記動作実行部は表示部を備え、前記プロセッサは、前記外部装置が制御対象として既に登録されているかを確認し、
前記外部装置が未登録制御対象であれば前記表示部に登録ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供し、前記登録ＵＩからのユーザ入力に応じて制御対象登録を行うことを特徴とする、請求項２に記載の電子装置。
【請求項4】
前記プロセッサは、前記外部装置の制御対象登録において外部装置の機能を前記電子装置の追加機能として登録することを特徴とする、請求項１に記載の電子装置。
【請求項5】
前記プロセッサは、前記外部装置の制御対象登録において外部装置の機能を前記電子装置を経由して制御するように登録することを特徴とする、請求項１に記載の電子装置。
【請求項6】
ユーザの音声命令を受信するユーザ命令受信部と、前記ユーザの音声命令から制御命令を認識する音声認識エンジンと、
をさらに備えることを特徴とする、請求項１に記載の電子装置。
【請求項7】
ユーザの音声命令を受信するユーザ命令受信部をさらに備え、前記プロセッサは、前記ユーザの音声命令を前記サーバーに伝送し、
前記ネットワーク通信部は、前記サーバーが前記ユーザの音声命令から認識した制御命令を受信することを特徴とする、請求項１に記載の電子装置。
【請求項8】
ユーザの音声命令を受信するユーザ命令受信部をさらに備え、前記プロセッサは、前記ユーザの音声命令を常に対話サーバーに伝送し、
前記ネットワーク通信部は、前記対話サーバーが前記ユーザの音声命令から認識した制御命令を、サーバーを経由して受信することを特徴とする、請求項１に記載の電子装置。
【請求項9】
電子装置であって、動作実行部と、
赤外線通信部と、
所定動作を行うように前記動作実行部を制御し、
前記赤外線通信部を介して受信した外部装置の第１赤外線信号から前記外部装置の情報を取得し、
前記取得した外部装置の情報に基づいて前記外部装置を制御対象として登録し、
前記外部装置が制御命令に対応する動作を行うようにする命令情報を含む第２赤外線信号を送信するように前記赤外線通信部を制御するプロセッサと、
を備え、
前記電子装置の動作実行部、例えば、表示部が動作していない間に前記制御対象として登録されていない前記外部装置の第１赤外線信号を受信した場合、前記電子装置の動作実行部、例えば、表示部が動作していない待機状態を維持し、その後、ユーザが前記電子装置の動作実行部、例えば、表示部をオンさせると、前記外部装置を前記制御対象として登録するかに関するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する電子装置。
【請求項10】
制御機器とネットワーク通信するネットワーク通信部をさらに備え、前記制御命令は、前記ネットワーク通信部を介して前記制御機器から受信することを特徴とする、請求項９に記載の電子装置。
【請求項11】
電子装置の制御方法であって、外部装置の第１赤外線信号を受信する段階と、
前記第１赤外線信号から前記外部装置の情報を取得する段階と、
サーバーに前記取得した外部装置の情報を伝送して前記外部装置を制御対象として登録することを要請する段階と、
前記サーバーから前記外部装置の制御命令を受信する段階と、
前記外部装置が前記受信された制御命令に対応する動作を行うようにする命令情報を含む第２赤外線信号を外部装置に送信する段階と、
前記電子装置の動作実行部、例えば、表示部が動作していない間に前記制御対象として登録されていない前記外部装置の第１赤外線信号を受信した場合、前記電子装置の動作実行部、例えば、表示部が動作していない待機状態を維持し、その後、ユーザが前記電子装置の動作実行部、例えば、表示部をオンさせると、前記外部装置を前記制御対象として登録するかに関するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する段階と、を含む方法。
【請求項12】
ユーザの音声命令を受信する段階と、前記ユーザの音声命令を対話サーバーに伝送する段階と、
前記対話サーバーが前記ユーザの音声命令から外部装置の制御命令を認識する段階と、
前記対話サーバーが認識した外部装置の制御命令を前記サーバーに伝送する段階と、
前記サーバーが、前記外部装置が制御対象であるか否か判断する段階と、
前記外部装置が制御対象であれば、前記サーバーが前記制御命令を前記電子装置に伝送する段階と、をさらに含む、請求項１１に記載の方法。
【請求項13】
前記判断する段階において、前記制御命令の外部装置が制御対象でなければ、前記サーバーが前記対話サーバーに“外部装置が制御対象でないことを示すメッセージ”を伝送する段階と、前記対話サーバーが前記制御命令を前記電子装置に伝送する段階と、をさらに含む、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、ネットワーク通信機能がないレガシー電子機器を遠隔又は音声制御可能にする電子装置、サーバー及びその制御方法に関する。
【背景技術】
【0002】
近年、ネットワーク通信技術の発展により、多くの電子装置をネットワークで制御するＩｏＴシステムが開発されている。最新の電子装置はこのようなＩｏＴシステムに適用されるようにネットワーク通信機能が搭載されている。
【0003】
現在、住居空間には、ネットワーク通信機能がないレガシー電子機器と、ネットワーク通信機能を持つ最新電子機器が混在している。また、ネットワーク通信機能を持つ最新電子装置でも、消費者がネットワーク設定をしないで使用する場合がある。
【0004】
ユーザは、レガシー又はネットワーク設定がされていない電子機器を制御するために、手動或いはリモコンで制御を行う。しかし、電子機器の手動制御は、ユーザに大きな不便をもたらす。その上、リモコンによる制御は、電子機器の種類別に多数のリモコンを具備しなければならない。特に、よく使用しないリモコンは、紛失されたり、ユーザがそれを探さなければならないという問題もある。ネットワーク通信機能がないレガシー電子機器又はネットワーク設定がされていない電子機器は、単にリモコンによる視野内の近距離制御が可能なだけで、視野から離れた遠隔地での制御は不可能である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、本発明の目的は、自動時点再生において、ネットワーク通信機能がないレガシー電子機器又はネットワーク設定がされていない電子機器を音声制御又は遠隔地制御可能にする電子装置、サーバー及びその制御方法を提供することである。
【課題を解決するための手段】
【0006】
上述した目的を達成するための電子装置及びその制御方法が提供される。電子装置は、動作実行部と、サーバーとネットワーク通信を行うネットワーク通信部と、赤外線通信部と、所定動作を行うように前記動作実行部を制御し、前記赤外線通信部を介して受信した外部装置の第１赤外線信号から前記外部装置の情報を取得し、前記サーバーに前記取得した外部装置の情報を伝送して前記外部装置を制御対象として登録することを要請し、前記サーバーから前記外部装置の制御命令を受信し、前記外部装置が前記受信された制御命令に対応する動作を行うようにする命令情報を含む第２赤外線信号を送信するように前記赤外線通信部を制御するプロセッサと、を備える。これによって、レガシー電子機器を周辺に位置している電子装置を用いて音声制御できる他、外部装置が視野になくても遠隔地で制御することができる。
【0007】
前記プロセッサは、前記第１赤外線信号のあらかじめ定められたコードに基づいて前記外部装置の情報を容易に取得することができる。
【0008】
前記動作実行部は表示部を備え、前記プロセッサは、前記外部装置が制御対象として既に登録されているか否か確認し、前記外部装置が未登録制御対象であれば、前記表示部に登録ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供し、前記ＵＩからのユーザ入力に応じて制御対象登録を行うことによって、ユーザが外部装置の制御対象登録を行うように指示することができる。
【0009】
前記プロセッサは、前記外部装置の制御対象登録において外部装置の機能を前記電子装置の追加機能として登録することによって、電子装置に外部装置の制御を追加機能として行わせることができる。
【0010】
前記プロセッサは、前記外部装置の制御対象登録において外部装置の機能を前記電子装置を経由して制御するように登録することによって、直接に制御されるＩｏＴ機器と区別して、電子装置を経由して外部装置を制御することができる。
【0011】
前記電子装置は、ユーザの音声命令を受信するユーザ命令受信部と、前記ユーザの音声命令から制御命令を認識する音声認識エンジンとをさらに備えることによって、外部装置の音声制御が可能である。
【0012】
前記電子装置は、ユーザの音声命令を受信するユーザ命令受信部をさらに備え、前記プロセッサは、前記ユーザの音声命令を常にサーバーに伝送し、前記ネットワーク通信部は、前記サーバーが前記ユーザの音声命令から認識した制御命令を受信することによって、サーバーに音声命令を認識させることができる。
【0013】
前記電子装置はユーザの音声命令を受信するユーザ命令受信部をさらに備え、前記プロセッサは、前記ユーザの音声命令を常に対話サーバーに伝送し、前記ネットワーク通信部は、前記対話サーバーが前記ユーザの音声命令から認識した制御命令をサーバーを経由して受信することによって、対話サーバーを介して音声命令を認識させることができる。
【0014】
本発明の他の一実施例に係る電子装置が提供される。電子装置は、動作実行部と、赤外線通信部と、所定動作を行うように前記動作実行部を制御し、前記赤外線通信部を介して受信した外部装置の第１赤外線信号から前記外部装置の情報を取得し、前記取得した外部装置の情報に基づいて前記外部装置を制御対象として登録し、前記外部装置が制御命令に対応する動作を行うようにする命令情報を含む第２赤外線信号を送信するように前記赤外線通信部を制御するプロセッサと、を備える。本発明の他の一実施例に係る電子装置は、ネットワーク機能がないレガシー機器やネットワーク設定がされていない赤外線信号をインターセプトして外部装置情報を取得し、外部装置を登録し、外部装置を制御することができる。
【0015】
電子装置は、制御機器とネットワーク通信するネットワーク通信部をさらに備え、前記制御命令は前記ネットワーク通信部を介して前記制御機器から受信することができる。
【0016】
本発明の一実施例に係るサーバーが提供される。サーバーは、電子装置とネットワーク通信するネットワーク通信部と、前記ネットワーク通信部を介して前記電子装置から外部装置の情報を受信し、前記受信した外部装置の情報に基づいて前記外部装置を制御対象として登録し、前記外部装置の制御命令を前記ネットワーク通信部を介して前記電子装置に伝送して前記電子装置に前記外部装置を制御させるプロセッサと、を備える。本発明のサーバーによれば、ネットワーク機能がないレガシー機器やネットワーク設定がされていない外部装置を想像ＩｏＴ機器として登録し、電子装置を介して外部装置を制御することができる。
【0017】
サーバーは、ユーザの音声命令を認識する音声認識エンジンをさらに備え、前記ユーザの音声命令は、前記ネットワーク通信部を介して前記電子機器から受信することができる。
【0018】
サーバーは、ユーザの音声命令を認識する音声認識エンジンをさらに備え、前記ネットワーク通信部は、制御機器とネットワーク通信を行い、前記ユーザの音声命令を前記ネットワーク通信部を介して制御機器から受信することができる。
【0019】
前記サーバーのプロセッサは、前記外部装置の制御対象登録において外部装置の機能を前記電子装置の追加機能として登録することによって、外部装置の制御を電子装置に追加機能として行わせることができる。
【0020】
前記サーバーのプロセッサは、前記外部装置の制御対象登録において外部装置の機能を、前記電子装置を経由して制御するように登録することによって、直接に制御されるＩｏＴ機器と区別して、電子装置を経由して外部装置を制御することができる。
【0021】
前記ネットワーク通信部は対話サーバーとネットワーク通信し、前記外部装置の制御命令は前記ネットワーク通信部で前記対話サーバーを介して受信することができる。
【0022】
前記プロセッサは、前記外部装置の制御命令に基づいて前記外部装置が制御対象として登録されているか否か判断し、前記外部装置が制御対象であれば、前記制御命令を前記電子装置に伝送し、前記制御対象でなければ“外部装置が未登録制御対象であることを示すメッセージ”を前記対話サーバーに伝送することができる。
【0023】
本発明の一実施例に電子装置の制御方法が提供される。電子装置の制御方法は、外部装置の第１赤外線信号を受信する段階と、前記第１赤外線信号から前記外部装置の情報を取得する段階と、サーバーに前記取得した外部装置の情報を伝送して前記外部装置を制御対象として登録することを要請する段階と、前記サーバーから前記外部装置の制御命令を受信する段階と、前記外部装置が前記受信された制御命令に対応する動作を行うようにする命令情報を含む第２赤外線信号を外部装置に送信する段階と、を含む。
【0024】
前記電子装置の制御方法は、ユーザの音声命令を受信する段階と、前記ユーザの音声命令を対話サーバーに伝送する段階と、前記対話サーバーが前記ユーザの音声命令から外部装置の制御命令を認識する段階と、前記対話サーバーが認識した外部装置の制御命令を前記サーバーに伝送する段階と、前記サーバーが前記外部装置が制御対象であるか否か判断する段階と、前記外部装置が制御対象であれば、前記制御命令を前記電子装置に伝送する段階と、をさらに含む。
【0025】
前記電子装置の制御方法は、前記制御命令の外部装置が制御対象でなければ、前記対話サーバーに“外部装置が制御対象でないことを示すメッセージ”を伝送する段階と、前記対話サーバーが前記制御命令を前記電子装置に伝送する段階と、をさらに含む。
【発明の効果】
【0026】
上記のように、本発明によれば、ネットワーク機能がないレガシー電子機器やネットワーク設定がされていない電子機器（外部装置）を、周辺の電子装置、ＩｏＴサーバー、対話サーバーなどを用いて仮想ＩｏＴ機器として登録した後、ＩｏＴ制御、すなわち音声制御又は遠隔地制御することができる。
【図面の簡単な説明】
【0027】
【図1】本発明の第１実施例に係る電子装置制御システムの模式図である。
【図2】本発明の第１実施例に係る電子装置制御システムを示すブロック図である。
【図3】本発明の第２実施例に係る電子装置制御システムを示すブロック図である。
【図4】本発明の第３実施例に係る電子装置制御システムを示すブロック図である。
【図5】本発明の第４実施例に係る電子装置制御システムを示すブロック図である。
【図6】本発明の第５実施例に係る電子装置制御システムを示すブロック図である。
【図7】本発明の第６実施例に係る電子装置制御システムを示すブロック図である。
【図8】本発明の第１実施例に係る外部装置の登録過程を示すフロチャートである。
【図9】赤外線信号の構造を示す図である。
【図10】ＴＶで外部装置の制御対象登録ＵＩを示す図である。
【図11】本発明の第４実施例に係る外部装置の制御対象登録過程を示すフロチャートである。
【図12】本発明の第１実施例に係る電子装置とサーバーを介した外部装置制御過程を示すフロチャートである。
【図13】本発明の第３実施例に係る電子装置、対話サーバー及びサーバーを介した外部装置の制御過程を示すフロチャートである。
【図14】本発明の第４実施例に係る電子装置を介した外部装置の制御方法を示すフロチャートである。
【発明を実施するための形態】
【0028】
以下、添付の図面を参照して、本発明に係る実施例に関して詳しく説明する。以下の実施例の説明では添付の図面に記載された事項を参照するが、各図面に提示された同一の参照番号又は符号は実質的に同一の機能を有する構成要素を表す。
【0029】
図１は、本発明の第１実施例に係る電子装置制御システム１を示す模式図である。本発明の第１実施例に係る電子装置制御システム１は、制御媒介体である電子装置１００、サーバー２００、制御機器３００、及び制御対象である外部装置４００を備える。電子装置１００は、例えば、ＴＶ、コンピュータ、ノートパソコン、スマートフォン、タブレット、モバイルフォン、スマートウォッチ、ウェアラブルデバイス、マルチメディア再生機、電子額縁、デジタル広告板、ＬＦＤ（Ｌａｒｇｅ Ｆｏｒｍａｔ Ｄｉｓｐｌａｙ）、デジタルサイネージ、セットトップボックスなどの様々な電子装置を含むことができる。同様に、サーバー２００はＩｏＴクラウドサーバーなどを含むことができる。同様に、制御機器３００は、モバイル装置、例えば、ノートパソコン、スマートフォン、タブレット、モバイルフォン、スマートウォッチ、ウェアラブルデバイス、リモコンなどを含むことができる。同様に、外部装置４００は、エアコン、オーディオ、冷蔵庫、照明灯、ドアロック、カメラなどを含めて、赤外線信号で制御可能であり、ネットワーク通信機能がないかネットワーク設定がされていない様々な外部装置を含むことができる。ここで、電子装置１００はサーバー２００にネットワークで接続されている。
【0030】
図２は、本発明の第１実施例に係る電子装置制御システム１を示すブロック図である。
【0031】
図示のように、電子装置１００は、動作実行部１１０、第１ＩＲ通信部１２０、第１ネットワーク通信部１３０、第１プロセッサ１４０、及び第１メモリ１５０などを備える。電子装置１００は、サーバー２００と外部装置４００との間の中間制御媒介体として位置する。すなわち、電子装置１００はサーバー２００の制御命令に応じて外部装置４００を制御する。
【0032】
動作実行部１１０は、電子装置１００の実質的な動作を行う、例えば表示部、映像受信部、映像処理部、音声処理部などを備えることができる。
【0033】
第１ＩＲ通信部１２０は、動作実行部１１０を制御するための電子装置１００のリモコン（図示せず）から赤外線信号を受信する。また、第１ＩＲ通信部は、外部装置４００のリモコン４０２から放射された第１ＩＲ信号をインターセプトし、外部装置４００を制御するための命令情報を含む第２ＩＲ信号を放射する。
【0034】
第１ネットワーク通信部１３０は、サーバー２００とネットワーク通信を行う。第１ネットワーク通信部１３０は、外部装置４００の情報、例えば装置プロファイルをサーバー２００に伝送したり、サーバー２００から外部装置４００の制御命令を受信することができる。第１ネットワーク通信部１３０は、例えば、サーバー２００と無線通信を行うためにＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）信号を送／受信するＲＦ回路を有することができ、Ｗｉ－ｆｉ、ブルトゥース、ジグビー（Ｚｉｇｂｅｅ）、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅ Ｂａｎｄ）、Ｗｉｒｅｌｅｓｓ ＵＳＢ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）のいずれか一つ以上の通信を行うように構成され得る。第１ネットワーク通信部１３０は有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してサーバー２００及びその他の装置と有線通信を行うことができる。有線接続のためのコネクター又は端子を有する接続部の他に、様々な通信方式によって具現されてもよい。
【0035】
第１プロセッサ１４０は、電子装置１００の諸般構成が動作するための制御を行う。第１プロセッサ１４０は、このような制御動作を行わせる制御プログラム（或いはインストラクション）及びロードされた制御プログラムを実行する少なくとも一つのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むことができる。
【0036】
制御プログラムは、ＢＩＯＳ、デバイスドライバ、運営体系、ファームウェア、プラットホーム及び応用プログラム（アプリケーション）のうち少なくとも一つの形態で具現されるプログラムを含むことができる。一実施例として、応用プログラムは、電子装置１００の製造に当たってあらかじめ設置又は格納したり、或いは将来の使用時に、外部から応用プログラムのデータを受信し、受信したデータに基づいて設置することができる。応用プログラムのデータは、例えば、アプリケーションマーケットのようなアプリサーバーから電子装置１００にダウンロードされてもよい。このようなアプリサーバーは、本発明のコンピュータプログラム製品の一例であり、これに限定されるものではない。
【0037】
第１プロセッサ１４０は、例えば、第１ＩＲ通信部でインターセプトした外部装置４００のリモコン４０２からの第１ＩＲ信号を分析し、第１ＩＲ信号の分析から、外部装置４００の情報、例えばメーカー及び機種のような装置プロファイルを得る。ここで、装置プロファイルは、外部装置４００が例えば“Ａ社エアコン”であるというメーカー及び製品名を示すことができる。
【0038】
第１プロセッサ１４０は、“Ａ社エアコン”が制御対象（仮想ＩｏＴ機器）として登録されているか確認する。もし“Ａ社エアコン”が制御対象未登録であり、且つ電子装置１００が動作中であれば、第１プロセッサ１４０はユーザに、動作実行部１１０、例えば表示部を介して、“Ａ社エアコン”を制御対象として登録するか否かを聞く。もし“Ａ社エアコン”が制御対象未登録であり、且つ電子装置１００が動作中でなければ、第１プロセッサ１４０はユーザに、動作実行部１１０、例えば表示部を起動させて、“Ａ社エアコン”を制御対象として登録するか否かを聞いたり、または、待機状態を維持するが、ユーザが電子装置１００をオン（ＯＮ）させると“Ａ社エアコン”を制御対象として登録するか否かを聞く制御対象登録イベントを表示する。このように、第１ＩＲ通信部１２０は、電子装置１００が作動中でない時も常に作動しており、周辺の外部装置４００のリモコン４０２から放射される第１ＩＲ信号をインターセプトすることができる。通常、ＩＲ信号は壁や障害物から反射されるので、第１ＩＲ通信部１２０は周辺の外部装置４００のリモコン４０２から放射される第１ＩＲ信号を容易にインターセプトすることができる。勿論、必要によって、ユーザは周辺の外部装置４００のリモコン４０２を電子装置１００に向かって直接に放射させることもできる。
【0039】
第１プロセッサ１４０は、ユーザが外部装置４００に対して制御対象登録を選択すると、第１ネットワーク通信部１３０を介して装置プロファイルをサーバー２００に伝送し、制御対象（仮想ＩｏＴ機器）登録を要請する。この時、第１プロセッサ１４０は、サーバー２００をして、外部装置４００の機能を電子装置１００自身の追加機能として登録させることができる。すなわち、サーバー２００は、電子装置１００を“Ａ社エアコン”の各種機能を行うものとして判断するように登録することができる。一方、第１プロセッサ１４０は、サーバー２００をして、電子装置１００を“Ａ社エアコン”を制御するために経由する媒介体として登録させることができる。第１プロセッサ１４０は、サーバー２００から外部装置４００の制御命令を受信すれば、当該制御命令に基づいて外部装置４００の動作制御のために第２ＩＲ信号を生成するように第１ＩＲ通信部１２０を制御する。
【0040】
第１メモリ１５０は、限定されないデータを格納する。第１メモリ１５０は第１プロセッサ１４０によってアクセスされ、それらによるデータの読出し、書込み、修正、削除、更新などが行われる。第１メモリ１５０に格納されるデータは、例えば収集された制御対象の装置プロファイルデータ、メーカー別製品別赤外線コードデータ、制御対象登録データなどを含む。勿論、第１メモリ１５０は、運営体制、運営体制上で実行可能な様々なアプリケーション、映像データ、付加データなどを格納する。第１メモリ１５０は、第１ＩＲ信号のコード分析及び制御命令に該当する第２ＩＲ信号変換などを行うプログラム（アプリケーション）を格納する。
【0041】
第１メモリ１５０は、制御プログラムが設置される不揮発性のメモリ、設置された制御プログラムの少なくとも一部がロードされる揮発性のメモリを含む。
【0042】
第１メモリ１５０は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤ又はＸＤメモリなど）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一タイプの記憶媒体を含むことができる。
【0043】
サーバー２００は、第２ネットワーク通信部２３０、第２プロセッサ２４０及び第２メモリ２５０などを備える。
【0044】
第２ネットワーク通信部２３０は、電子装置１００及び制御機器３００とネットワーク通信を行う。第２ネットワーク通信部２３０は、電子装置１００から外部装置４００の装置プロファイルを受信し、制御機器３００から外部装置４００の制御命令を受信することができる。第２ネットワーク通信部２３０はまた、制御機器３００から受信した外部装置４００の制御命令を電子装置１００に伝送することができる。
【0045】
第２ネットワーク通信部２３０は例えば、電子装置１００又は制御機器３００と無線通信を行うために、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）信号を送／受信するＲＦ回路を有することができ、Ｗｉ－ｆｉ、ブルトゥース、ジグビー（Ｚｉｇｂｅｅ）、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅ Ｂａｎｄ）、Ｗｉｒｅｌｅｓｓ ＵＳＢ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）のうち一つ以上の通信を行うように構成され得る。第２ネットワーク通信部２３０は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して電子装置１００、制御機器３００、及び他の装置と有線通信を行うことができる。有線接続のためのコネクター又は端子を有する接続部の他に、様々な他の通信方式によって具現されてもよい。
【0046】
第２プロセッサ２４０は、サーバー２００の諸般構成が動作するための制御を行う。第２プロセッサ２４０は、このような制御動作を行わせる制御プログラム（或いはインストラクション）及びロードされた制御プログラムを実行する少なくとも一つのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むことができる。
【0047】
第２プロセッサ２４０は、登録された多数の制御対象、例えば多数のＩｏＴ装置に対して、受信した制御命令に応じて通常の制御を行うことができる。
第２プロセッサ２４０はまた、電子装置１００が伝送した装置プロファイルに基づいて、外部装置４００、例えば“Ａ社エアコン”に対して制御対象（仮想ＩｏＴ機器）として登録されているか確認する。もちろん、第２プロセッサ２４０は、電子装置１００で確認した制御対象登録結果を適用してもよいが、別途に登録の有無を確認することが好ましい。確認の結果、もし“Ａ社エアコン”が制御対象未登録であれば、“Ａ社エアコン”を制御対象として登録する。この時、第２プロセッサ２４０は、外部装置４００の機能を電子装置１００の追加機能として登録することができる。すなわち、サーバー２００は、電子装置１００が“Ａ社エアコン”の各種機能を行うものとして登録できる。この場合、第２プロセッサ２４０は、“エアコン温度を上げて”という制御命令を受信すれば、電子装置１００の機能として判断し、電子装置１００に制御命令を伝達する。
第２プロセッサ２４０はまた、電子装置１００が伝送した装置プロファイルに基づいて、外部装置４００、例えば“Ａ社エアコン”に対して制御対象（仮想ＩｏＴ機器）として登録されているか確認する。もちろん、第２プロセッサ２４０は、電子装置１００で確認した制御対象登録結果を適用してもよいが、別途に登録の有無を確認することが好ましい。確認の結果、もし“Ａ社エアコン”が制御対象未登録であれば、“Ａ社エアコン”を制御対象として登録する。この時、第２プロセッサ２４０は、外部装置４００の機能を電子装置１００の追加機能として登録することができる。すなわち、サーバー２００は、電子装置１００が“Ａ社エアコン”の各種機能を行うものとして登録できる。この場合、第２プロセッサ２４０は、“エアコン温度を上げて”という制御命令を受信すれば、電子装置１００の機能として判断し、電子装置１００に制御命令を伝達する。
【0048】
一方、第２プロセッサ２４０は、電子装置１００を“Ａ社エアコン”を制御するために経由する媒介体として登録してもよい。このとき、第２プロセッサ２４０は、“Ａ社エアコン”を既存のＩｏＴ装置と区別して仮想ＩｏＴ装置として登録するとともに、“Ａ社エアコン”をＩＲ制御できる電子装置１００とマッチングさせて登録する。言い換えると、第２プロセッサ２４０は、ネットワーク通信機能がない“Ａ社エアコン”を、通信機能を持つ既存のＩｏＴ装置と区別することができる。この場合、第２プロセッサ２４０は、“ＴＶを用いてエアコン温度を上げて”という制御命令を受信すれば、電子装置１００を経由する媒介体とし、電子装置１００に制御命令を伝達する。
【0049】
もし、サーバー２００に他のエアコン（Ｂ社エアコン）がＩｏＴ機器としてさらに登録されていれば、第２プロセッサ２４０は、“エアコン温度を上げて”という制御命令を、他のエアコン（Ｂ社エアコン）に対する命令として判断し、制御命令を他のエアコン（Ｂ社エアコン）に伝送するだろう。
【0050】
もし、サーバー２００に他のエアコンがＩｏＴ機器として登録されていないと、第２プロセッサ２４０は、“エアコン温度を上げて”という制御命令を“ＴＶを用いてエアコン温度を上げて”という制御命令と解釈し、電子装置１００を経由媒介体とし、電子装置１００に制御命令を伝達する。
【0051】
第２プロセッサ２４０は、仮想ＩｏＴ装置としての“Ａ社エアコン”に対する制御命令を受信した場合、“Ａ社エアコン”を直接に無線で制御できない状態であるので、マッチングされた電子装置１００に制御命令を伝送し、電子装置１００に“Ａ社エアコン”をＩＲ制御させる。第２プロセッサ２４０は制御機器３００から、例えば“ＴＶを用いてＡ社エアコン温度＋”のような制御命令を受信すれば、ＴＶに“Ａ社エアコン温度＋”を伝送する。
【0052】
電子装置１００の第１プロセッサ１４０は、第１ネットワーク通信部１３０を介してサーバーから受信した“Ａ社エアコン温度＋”に基づいて第２ＩＲ信号コードを生成し、第１ＩＲ通信部１２０に伝達する。第１ＩＲ通信部１２０は、“エアコン温度＋”に該当する第２ＩＲ信号を放射して外部装置４００（Ａ社エアコン）を制御する。
【0053】
第２メモリ２５０は、限定されないデータを格納する。第２メモリ２５０は、第２プロセッサ２４０によってアクセスされ、それらによるデータの読出し、書込み、修正、削除、更新などが行われる。第２メモリ２５０に格納されるデータは、例えば制御対象の装置プロファイルデータ、電子装置１００から受信した装置プロファイルデータ、仮想登録された制御対象（外部装置）別にマッチングされた電子装置データなどを含む。もちろん、第２メモリ２５０は、運営体制、運営体制上で実行可能な様々なアプリケーション、付加データなどを格納する。
【0054】
第２メモリ２５０は、制御プログラムが設置される不揮発性のメモリ、設置された制御プログラムの少なくとも一部がロードされる揮発性のメモリを含む。
【0055】
制御機器３００は、制御命令を受信し、サーバー２００と電子装置１００を介して実質的に外部装置４００を制御する。すなわち、制御機器３００は、外部装置４００を制御するためのユーザの制御命令を受信する。
【0056】
制御機器３００は、第３ネットワーク通信部３３０、第３プロセッサ３４０、ユーザ命令受信部３６０、音声認識エンジン３７０などを備える。
【0057】
第３ネットワーク通信部３３０は、サーバー２００とネットワーク通信を行う。第３ネットワーク通信部３３０は、受信した外部装置４００の制御命令をサーバー２００に伝送することができる。
【0058】
第３ネットワーク通信部３３０は例えば、サーバー２００と無線通信を行うためにＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）信号を送／受信するＲＦ回路を有することができ、Ｗｉ－ｆｉ、ブルトゥース、ジグビー（Ｚｉｇｂｅｅ）、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅ Ｂａｎｄ）、Ｗｉｒｅｌｅｓｓ ＵＳＢ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）のうち一つ以上の通信を行うように構成され得る。
【0059】
第３プロセッサ３４０は、制御機器３００の諸般構成が動作するための制御を行う。第３プロセッサ３４０はそれらの制御動作を実行可能にする制御プログラム（或いはインストラクション）及びロードされた制御プログラムを実行する少なくとも一つのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むことができる。
【0060】
第３プロセッサ３４０は、ユーザ命令受信部３６０で受信した制御命令又は音声認識エンジンで認識した制御命令を、第３ネットワーク通信部３３０を介してサーバー２００に伝送する。
【0061】
ユーザ命令受信部３６０は、ユーザ入力を受信して第３プロセッサ３４０に伝達する。ユーザ命令受信部３６０はユーザ入力の方式に応じて様々な形態にすることができ、例えば、表示部に表示されたメニューボタン、リモコンから受信されるユーザ入力のリモコン信号を受信するリモコン信号受信部、表示部に設けられてユーザのタッチ入力を受信するタッチスクリーン（Ｔｏｕｃｈ－Ｓｃｒｅｅｎ）、ユーザのジェスチャー入力を感知するカメラ、ユーザの音声入力を認識するマイクなどにすることができる。
【0062】
音声認識エンジン３７０は、ユーザが発話したユーザの音声命令から外部装置４００の制御命令を認識する。例えば、音声認識エンジン３７０は、音声命令から外部装置４００の制御命令を抽出することができる。音声認識エンジン３７０の音声認識機能は、既知の音声認識アルゴリズムを用いて行うことができる。例えば、音声認識エンジン３７０は、音声信号の音声特徴ベクトルを抽出し、抽出された音声特徴ベクトルを、メモリに保存された音声認識対象情報と比較して、音声を認識することができる。また、抽出された音声特徴ベクトルとメモリに保存された音声認識対象情報とが一致しない場合、音声認識結果を類似度の高い情報に補正し、音声を認識することができる。ここで、類似度の高い音声認識対象情報が複数である場合、いずれか一つをユーザに選択させることができる。
【0063】
音声認識エンジン３７０は、限定されないＣＰＵに常駐するエンベデッド音声認識エンジン３７０とすることができる。例えば、音声認識エンジン３７０は、ＣＰＵと別個であるマイコン（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ）のような別のチップによって具現することができる。
【0064】
音声認識エンジン３７０が認識結果として、ＩｏＴ制御対象がＴＶである場合、“ボリュームアップ”、“ボリュームダウン”又は“音を上げて”、“音を下げて”などを認識すると、第３プロセッサ３４０はそれに対応する制御命令をサーバー２００に伝送し、サーバーにＴＶを制御させる。
【0065】
音声認識エンジン３７０が認識結果として、仮想ＩｏＴ制御対象が外部装置４００（Ａ社エアコン）である場合、“ＴＶを用いてエアコン温度を上げて”、“ＴＶを用いてエアコン温度を下げて”、“ＴＶを用いてエアコンの風量を強くして”又は“ＴＶを用いてエアコンの風量を弱くして”などを認識すれば、第３プロセッサ３４０はそれに対応する制御命令をサーバー２００に伝送し、これを電子装置（ＴＶ）１００にさらに伝達して外部装置（Ａ社エアコン）を制御させる。ここで、制御命令は、制御媒介体である“ＴＶ”と、仮想制御対象である“Ａ社エアコン”と、Ａ社エアコンの動作命令である“温度＋”、“温度－”、“風量＋”、“風量－”とがマッチングされた状態にすることができる。
【0066】
音声認識エンジン３７０で認識可能な音声は、制御媒介体としてＴＶの他にも、ノートパソコン、コンピュータなどの多数の電子装置を含むことができる。もちろん、電子装置と外部装置は、制御対象である一つの外部装置に、複数の媒介体である複数電子装置が接続されてもよく、複数の外部装置に一つの媒介体である電子装置が接続されてもよい。
【0067】
音声認識エンジン３７０で認識可能な音声は、制御対象として“Ａ社エアコン”の他にも、“冷蔵庫”、“ドアロック”、“オーディオ”、“照明灯”などの多数の外部装置を含むことができる。
【0068】
音声認識エンジン３７０で認識可能な音声は、制御命令として“温度＋”、“温度－”、“風量＋”、“風量－”の他にも、“運転停止／停止”、“亜熱帯”、“冷房運転／冷房”、“除湿運転／除湿”、“暖房運転／暖房”などを含め、エアコンで行われる様々な制御コマンドを含む。
【0069】
音声認識エンジン３７０は、ユーザ命令受信部３６０から入力された音声命令を電気的な音声信号に変換する音声変換部（図示せず）をさらに備えることができる。音声変換部で変換された音声信号は、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）状態又は圧縮された形態のオーディオ波形の形態を有する。ここで、音声変換部は、ユーザの音声命令をデジタルに変換するＡ／Ｄ変換部によって具現することができる。
【0070】
外部装置４００は、第４ＩＲ通信部４２０及び第４プロセッサ４４０を備える。外部装置４００は、ネットワーク機能を持たないか、ネットワーク設定がされていないものであり、レガシー機器と仮定する。外部装置４００は、リモコン４０２の第１ＩＲ信号又は電子装置１００の第２ＩＲ信号によって制御することができる。
【0071】
第４ＩＲ通信部４２０は、外部装置４００の動作を制御する命令情報を含む第１ＩＲ信号又は第２ＩＲ信号を受信する。
【0072】
第４プロセッサ４４０は、受信した第１ＩＲ信号又は第２ＩＲ信号に基づいて外部装置４００の動作を制御する。第４プロセッサ４４０は、外部装置４００の構成全般に対する動作を制御可能にする制御プログラム(或いは、インストラクション)及びロードされた制御プログラムを実行する少なくとも一つのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含むことができる。
【0073】
図３は、本発明の第２実施例に係る電子装置制御システムを示すブロック図である。同図に示すように、電子装置制御システム１'は、制御媒介体である電子装置１００、サーバー２００、制御機器３００、及び制御対象である外部装置４００を備える。以下、第２実施例に係る電子装置制御システム１'は、図２に示した第１実施例と異なる部分を中心に説明し、同一の部分については説明を省略する。
【0074】
図３で、音声認識エンジン２７０が制御機器３００ではなくサーバー２００に備えられている。実質的に制御機器３００としてはスマートフォンなどのような汎用のモバイル装置を使用するので、音声認識機能を装着するにはやや困難がある。これに対し、サーバー２００は様々な制御対象である多数の外部装置４００を制御するための専用の装置として使用するので、音声認識機能を装着しやすい。
【0075】
図３で、サーバー２００に外部装置４００が制御対象として仮想登録された状態で、制御機器３００はユーザ命令受信部３６０でユーザの音声命令を取得する。制御機器３００は、取得したユーザの音声命令をそのまま、第３ネットワーク通信部３３０からサーバー２００に伝達する。ここで、制御機器３００は単に、ユーザ命令、例えば“ＴＶを用いてエアコン温度を上げて”、“ＴＶを用いてエアコン温度を下げて”、“ＴＶを用いてエアコンの風量を強くして”又は“ＴＶを用いてエアコンの風量を弱くして”などといったユーザの音声命令を取得してサーバー２００に伝達する役割だけを担う。
【0076】
サーバー２００は、制御機器３００から受信したユーザの音声命令から、音声認識エンジン２７０で制御命令を認識する。例えば、サーバー２００は、音声命令から制御命令を抽出することができる。サーバー２００は、制御命令に含まれた制御媒介体、例えばＴＶに、制御命令、例えば“Ａ社エアコン温度＋”を伝送する。ここで、サーバー２００は、“Ａ社エアコン温度＋”に対する第２ＩＲ信号コードを直接に送ってもよく、制御命令内容だけをＴＶに送り、ＴＶに“Ａ社エアコン温度＋”に対する第２ＩＲ信号コードを生成させてもよい。
【0077】
図４は、本発明の第３実施例に係る電子装置制御システムを示すブロック図である。同図に示すように、電子装置制御システム１''は、電子装置１００、サーバー２００、外部装置４００、及び対話サーバー５００を備える。対話サーバー５００は、電子装置１００とサーバー２００との間に設けられる。また、第３実施例に係る電子装置制御システム１''は、ユーザの音声命令を制御機器３００で取得する第１実施例及び第２実施例と違い、ユーザの音声命令を電子装置１００で直接に受信する。外部装置４００の第１ＩＲ信号を分析して仮想制御対象として登録する過程は、図２及び図３に示した第１及び第２実施例と同様であり、その説明を省略する。
【0078】
外部装置４００の制御媒介体である電子装置１００は、動作実行部１１０、第１ＩＲ通信部１２０、第１ネットワーク通信部１３０、第１プロセッサ１４０、第１メモリ１５０及びユーザ命令受信部１６０を備える。
【0079】
ユーザ命令受信部１６０は、ユーザ命令を受信して第１プロセッサ１４０に伝達する。ユーザ命令受信部１６０は、方式に応じて様々な形態にすることができ、例えば、表示部に表示されたメニューボタン、リモコンから受信されるユーザ命令のリモコン信号を受信するリモコン信号受信部、表示部に設けられてユーザのタッチ入力を受信するタッチスクリーン（Ｔｏｕｃｈ－Ｓｃｒｅｅｎ）、ユーザのジェスチャー入力を感知するカメラ、ユーザの音声入力を認識するマイクなどによって具現することができる。
【0080】
第１プロセッサ１４０は例えば、ユーザ命令受信部１６０でユーザの音声命令を取得すると、それをそのまま第１ネットワーク通信部１３０から対話サーバー５００に伝達する。ここで、ユーザの音声命令は例えば、“ＴＶを用いてエアコン温度を上げて”、“ＴＶを用いてエアコン温度を下げて”、“ＴＶを用いてエアコンの風量を強くして”又は“ＴＶを用いてエアコンの風量を弱くして”などのようなユーザ発話を含む。
【0081】
対話サーバー５００は、第５ネットワーク通信部５３０、第５プロセッサ５４０、第５メモリ５５０、及び音声認識エンジン５７０を備える。
【0082】
第５ネットワーク通信部５３０は、電子装置１００の第１ネットワーク通信部１３０から受信したユーザの音声命令を受信して第５プロセッサ５４０に伝達する。
【0083】
第５プロセッサ５４０は、ユーザの音声命令を音声認識エンジン５７０に伝達する。
【0084】
音声認識エンジン５７０はユーザの音声命令を処理し、例えば“ＴＶを用いてエアコン温度＋”、“ＴＶを用いてエアコン温度－”，“ＴＶを用いてエアコン風量＋”、“ＴＶを用いてエアコン風量－”のような制御命令を認識し、第５プロセッサ５４０に伝達する。このようにユーザの音声命令から抽出した制御命令は、制御媒介体（ＴＶ）・制御対象（エアコン）・命令情報（温度＋、温度－、風量＋、風量－など）を含む。
【0085】
第５プロセッサ５４０は、認識した制御命令を第５ネットワーク通信部５３０からサーバー２００に伝達する。
【0086】
サーバー２００は、第２ネットワーク通信部２３０、第２プロセッサ２４０、及び第２メモリ２５０を備える。
【0087】
第２ネットワーク通信部２３０は、対話サーバー５００から伝達された制御命令を第２プロセッサ２４０に伝達する。
【0088】
第２プロセッサ２４０は、制御命令から、制御対象である外部装置、例えば“Ａ社エアコン”が仮想制御対象として登録されているかを確認する。第２プロセッサ２４０は、“Ａ社エアコン”が仮想制御対象として登録されていると、それを第２ネットワーク通信部２３０から電子装置１００に伝達する。第２プロセッサ２４０は、もし“Ａ社エアコン”が仮想制御対象として登録されていないと、第２ネットワーク通信部２３０から、“Ａ社エアコン”が未登録制御対象であるという“Ｆａｉｌ Ｒｅｔｕｒｎ Ｍｅｓｓａｇｅ”を対話サーバー５００にフィードバックする。
【0089】
対話サーバー５００の第５プロセッサ５４０は、第５ネットワーク通信部５３０でサーバー２００からの“Ｆａｉｌ Ｒｅｔｕｒｎ Ｍｅｓｓａｇｅ”を受信すると、制御命令を第５ネットワーク通信部５３０から電子装置１００に伝達する。
【0090】
電子装置１００の第１プロセッサ１４０は、第１ネットワーク通信部１３０でサーバー２００又は対話サーバー５００から受信した、例えば“エアコン温度＋”、“エアコン温度－”，“エアコン風量＋”、“エアコン風量－”のような制御命令に基づいて、命令情報に該当する第２ＩＲ信号コードを生成し、第１ＩＲ通信部１２０をして第２ＩＲ信号を放射させる。
【0091】
図５は、本発明の第４実施例に係る電子装置制御システムを示すブロック図である。第４実施例の電子装置制御システム１'''は、電子装置１００及び外部装置４００を備える。電子装置制御システム１'''は、電子装置１００が独自でサーバー２００に代えてサーバーの機能を果たすだけでなく、制御機器３００として働くこともできる。
【0092】
電子装置１００は、動作実行部１１０、第１ＩＲ通信部１２０、第１ネットワーク通信部１３０、第１プロセッサ１４０、第１メモリ１５０、ユーザ命令受信部１６０、及び音声認識エンジン１７０を備える。
【0093】
動作実行部１１０は、電子装置１００の実質的な動作を行う、例えば表示部、映像受信部、映像処理部、音声処理部などを備えることができる。
【0094】
第１ＩＲ通信部１２０は、動作実行部１１０を制御するための電子装置１００のリモコン（図示せず）から赤外線信号を受信する。また、第１ＩＲ通信部は、外部装置４００のリモコン４０２から放射された第１ＩＲ信号をインターセプトする。
【0095】
第１ネットワーク通信部１３０は、外部の他の装置とネットワーク通信を行う。
【0096】
第１プロセッサ１４０は、電子装置１００の諸般構成が動作するための制御を行う。第１プロセッサ１４０は、このような制御動作を実行可能にする制御プログラム（或いはインストラクション）及びロードされた制御プログラムを実行する少なくとも一つのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むことができる。
【0097】
第１プロセッサ１４０は、例えば、第１ＩＲ通信部１２０でインターセプトした外部装置４００のリモコン４０２の第１ＩＲ信号を分析し、第１ＩＲ信号の分析から、外部装置４００を示す装置プロファイルを得る。ここで、装置プロファイルは、外部装置４００が例えば“Ａ社エアコン”であることを示す。
【0098】
第１プロセッサ１４０は、“Ａ社エアコン”が制御対象（仮想ＩｏＴ機器）として登録されているかを確認する。もし“Ａ社エアコン”が制御対象未登録であり、且つ電子装置１００が動作中であれば、第１プロセッサ１４０は動作実行部１１０、例えば表示部を介してそれを制御対象として登録する否かをユーザに聞く。もし“Ａ社エアコン”が制御対象未登録であり、且つ電子装置１００が動作中でないと、第１プロセッサ１４０は動作実行部１１０、例えば表示部を起動させて、それを制御対象として登録するか否かをユーザに聞いたり、又は、待機状態を維持するが、ユーザが電子装置１００をオン（ＯＮ）させるとユーザに制御対象として登録するか否かを聞く制御対象登録イベントを表示する。
【0099】
第１プロセッサ１４０は、ユーザが外部装置４００に対して制御対象登録を選択すれば、装置プロファイルに基づいて外部装置４００（Ａ社エアコン）を制御対象（仮想ＩｏＴ機器）として登録する。
【0100】
第１メモリ１５０は、限定されないデータが保存される。第１メモリ１５０は、第１プロセッサ１４０によってアクセスされ、それらによるデータの読出し、書込み、修正、削除、更新などが行われる。第１メモリ１５０に保存されるデータは、例えば収集された制御対象の装置プロファイルデータ、メーカー別製品別赤外線コードデータ、制御対象登録データなどを含む。もちろん、第１メモリ１５０は、運営体制、運営体制上で実行可能な様々なアプリケーション、映像データ、付加データなどを格納する。第１メモリ１５０は、第１ＩＲ信号のコード分析及び制御命令に該当する第２ＩＲ信号変換などを行うプログラム（アプリケーション）を格納する。
【0101】
ユーザ命令受信部１６０は、ユーザ入力、例えば発話形態のユーザの音声命令を受信して第１プロセッサ１４０に伝達する。ユーザ命令受信部１６０は、ユーザ入力の方式に応じて様々な形態にすることができ、例えば、表示部に表示されたメニューボタン、リモコンから受信されるユーザ入力のリモコン信号を受信するリモコン信号受信部、表示部に設けられてユーザのタッチ入力を受信するタッチスクリーン（Ｔｏｕｃｈ－Ｓｃｒｅｅｎ）、ユーザのジェスチャー入力を感知するカメラ、ユーザの音声入力を認識するマイクなどによって具現することができる。
【0102】
第１プロセッサ１４０は例えば、ユーザ命令受信部１６０でユーザの音声命令を取得すればそれを音声認識エンジン１７０に伝達する。ここで、ユーザの音声命令は、例えば“ＴＶを用いてエアコン温度を上げて”、“ＴＶを用いてエアコン温度を下げて”、“ＴＶを用いてエアコンの風量を強くして”、又は“ＴＶを用いてエアコンの風量を弱くして”などのようなユーザ発話を含む。
【0103】
音声認識エンジン１７０はユーザの音声命令を処理して、例えば“ＴＶを用いてエアコン温度＋”、“ＴＶを用いてエアコン温度－”，“ＴＶを用いてエアコン風量＋”、“ＴＶを用いてエアコン風量－”のような制御命令を認識して第１プロセッサ１４０に伝達する。このようにユーザの音声命令から抽出した制御命令は、制御媒介体・制御対象・命令情報を含む。
【0104】
第１プロセッサ１４０は、制御命令に基づいて、外部装置４００（Ａ社エアコン）を制御するための第２ＩＲ信号コードを生成し、第１ＩＲ通信部１２０から第２ＩＲ信号を放射する。ここで、第１プロセッサ１４０は、制御命令体系（制御媒介体・制御対象・命令情報）において制御媒介体が自身と同じ場合には制御媒介体を無視する。
【0105】
電子装置１００は、一つの外部装置４００（Ａ社エアコン）に加えて他の複数の外部装置も仮想制御対象として登録した後、発話による音声命令又は遠隔地制御することが可能である。
【0106】
図６は、本発明の第５実施例に係る電子装置制御システムを示すブロック図である。第５実施例の電子装置制御システム１''''は、電子装置１００、制御機器３００及び外部装置４００を備える。電子装置制御システム１''''は、電子装置１００が独自でサーバー２００に代えてサーバーとして働く。第５実施例の電子装置制御システム１''''は、独自でユーザの音声命令を受信して制御命令を抽出する第４実施例と違い、制御機器３００で抽出された制御命令をネットワーク通信を介して受信する。電子装置１００、制御機器３００及び外部装置４００の構成と動作は第１実施例と同様であり、その説明を省略する。ただし、第５実施例に係る電子装置制御システム１''''は、制御機器３００がサーバー２００を経由して電子装置１００に制御命令を伝達する第１実施例と違い、制御機器３００が電子装置１００に制御命令を直接に伝達する。
【0107】
図７は、本発明の第６実施例に係る電子装置制御システムを示すブロック図である。第６実施例の電子装置制御システム１'''''は、電子装置１００、制御機器３００、外部装置４００、及び対話サーバー５００を備える。対話サーバー５００は、電子装置１００と制御機器３００との間に設けられ、制御機器３００から取得した発話形態のユーザの音声命令を処理して制御命令を抽出する。電子装置制御システム１'''''は、対話サーバー１００がサーバー２００の機能も担う。第６実施例の電子装置制御システム１'''''は、制御機器３００が発話形態のユーザの音声命令を取得して対話サーバー５００に伝達する。
【0108】
電子装置１００、制御機器３００及び外部装置４００の構成及び動作は第２実施例と同様であり、その説明を省略する。
【0109】
ただし、第６実施例に係る電子装置制御システム１'''''は第２実施例と対比して、対話サーバー５００がサーバー２００として働く点が異なる。もちろん、対話サーバー５００は単にユーザの音声命令から制御命令を認識する機能だけを有し、外部装置４００の仮想制御対象登録は電子装置１００が行ってもよい。
【0110】
以下、図８を参照して、本発明の第１実施例に係る電子装置１００とサーバーを介した外部装置の登録過程を説明する。
【0111】
段階Ｓ１０で、電子装置１００の第１ＩＲ通信部１２０は、外部装置４００のリモコン４０２から放射した第１ＩＲ信号を取得することができる。電子装置１００の１ＩＲ信号の取得は、ユーザが外部装置４００を制御する時に放射される信号をインターセプトしたり、ユーザが意図的に電子装置１００に向かて放射する信号を受信することを含む。
【0112】
段階Ｓ１１で、電子装置２００の第１プロセッサ１４０は、第１ＩＲ信号から外部装置４００の情報を取得することができる。図９は、第１ＩＲ信号の一例を示す波形である。同図に示すように、第１ＩＲ信号はＮＥＣコードであり、リーダコード、カスタムコード、カスタム反転コード、データコード、及びデータ反転コードで構成される。カスタムコードは、メーカーを識別できるコードであり、カスタム反転コードは、誤りチェック用カスタムコードである。データコードは、外部装置のリモコン制御データを示すコードであり、データ反転コードは、誤りチェック用データコードである。
【0113】
電子装置２００の第１プロセッサ１４０は、上述した構造の第１ＩＲ信号のカスタムコードから外部装置４００のメーカーが分かり、データコードから外部装置４００の種類が分かる。すなわち、データコードに含まれたコード値は外部装置４００の種類によって異なるので、外部装置４００の種類は、外部装置の種類別データコード値をマッチングさせたテンプレートから容易に分かる。
【0114】
段階Ｓ１２で、電子装置２００の第１プロセッサ１４０は、取得した外部装置の情報をサーバー２００に伝達する。
【0115】
段階Ｓ１３で、サーバー２００の第２プロセッサ２４０は、外部装置の情報、例えばメーカー及び製品名に基づいて、外部装置が既に登録された制御対象であるか否か確認する。
【0116】
もし、外部装置が制御対象として登録されていると、登録内容を電子装置１００にフィードバック伝送した後に終了する。もし外部装置が制御対象として登録されていないと、未登録メッセージを電子装置１００にフィードバックする。
【0117】
段階Ｓ１４で、電子装置１００の第１プロセッサ１４０は、外部装置が未登録であるというメッセージを受信すると、外部装置を制御対象として登録するか否かを問う登録ＵＩを表示部に表示する。図１０に示すように、表示部の画面には、既に制御対象として登録されたオーディオ、照明灯、冷蔵庫が表示されており、新しく感知された“Ａ社エアコン”に対して制御対象登録を問う登録ＵＩが表示される。登録ＵＩにおいてユーザが外部装置の制御対象登録を希望しないと、登録過程が終了する。
【0118】
段階Ｓ１５で、ユーザが“Ａ社エアコン”に対して制御対象登録を希望すると、サーバー２００に“Ａ社エアコン”に対する登録を要請する。
【0119】
段階Ｓ１６で、サーバー２００の第２プロセッサ２４０は、電子装置１００の登録要請によって“Ａ社エアコン”を仮想制御対象として登録する。
【0120】
この時、サーバー２００の第２プロセッサ２４０は、電子装置１００が“Ａ社エアコン”の各種機能を行うものとして登録することができる。この場合、第２プロセッサ２４０は、“エアコン温度を上げて”という制御命令を受信すれば、それを電子装置１００の機能として判断し、電子装置１００に制御命令を伝達する。
【0121】
一方、第２プロセッサ２４０は電子装置１００を、“Ａ社エアコン”を制御するために経由する媒介体として登録してもよい。第２プロセッサ２４０は、“Ａ社エアコン”を既存のＩｏＴ装置とは区別して仮想ＩｏＴ装置として、且つ“Ａ社エアコン”をＩＲ制御できる電子装置１００とマッチングさせて登録する。この場合、第２プロセッサ２４０は、“ＴＶを用いてエアコン温度を上げて”という制御命令を受信すると、電子装置１００を経由する制御媒介体とし、電子装置１００に制御命令を伝達する。
【0122】
以下、図１１を参照して本発明の第４実施例に係る電子装置を介した外部装置の登録過程を説明する。
【0123】
段階Ｓ２０で、電子装置１００の第１ＩＲ通信部１２０は、外部装置４００のリモコン４０２から放射した第１ＩＲ信号を受信する。
【0124】
段階Ｓ２１で、第１プロセッサ１４０は、第１ＩＲ信号から外部装置４００の情報を得る。言い換えると、第１プロセッサ１４０は、第１ＩＲ信号に基づいて外部装置４００の装置プロファイルを分析することができる。
【0125】
第１プロセッサ１４０は、上述した構造の第１ＩＲ信号のカスタムコードから外部装置４００のメーカーが分かり、データコードから外部装置４００の種類が分かる。すなわち、データコードに含まれたコード値は外部装置４００の種類によって異なるので、外部装置４００の種類は外部装置の種類別データコード値をマッチングさせたテンプレートから容易に分かる。
【0126】
段階Ｓ２２で、電子装置１００の第１プロセッサ１４０は、外部装置が既に登録された制御対象であるか否かを確認する。もし外部装置が制御対象として登録されていると、登録進行を終了する。
【0127】
段階Ｓ２３で、もし外部装置が制御対象として登録されていないと、外部装置を制御対象として登録するか否かを問う登録ＵＩを、表示部に表示する。登録ＵＩにおいてユーザが外部装置の制御対象登録を希望しないと、登録過程が終了する。
【0128】
段階Ｓ２４で、ユーザが外部装置４００（Ａ社エアコン）に対して制御対象登録を希望すると、“Ａ社エアコン”を仮想制御対象として登録する。
【0129】
図１２を参照して、本発明の第１実施例に係る電子装置とサーバーを介した外部装置の制御過程を説明する。
【0130】
段階Ｓ３０で、制御機器３００が外部装置４００に対する、例えば“ＴＶを用いてエアコン温度を上げて”というユーザの音声命令を受信する。
【0131】
段階Ｓ３１で、制御機器３００がユーザの音声命令から制御命令を抽出する。
【0132】
段階Ｓ３２で、制御機器３００が、抽出した制御命令をサーバーに伝達する。
【0133】
段階Ｓ３３で、サーバー２００が、制御命令の対象である外部装置４００が登録された制御対象であるか否かを判断する。もし、外部装置４００が未登録制御対象であれば、図８の段階Ｓ１４で登録過程を行う。
【0134】
段階Ｓ３４で、サーバー２００は、外部装置４００が登録制御対象であれば、電子装置１００に制御命令を伝達する。サーバー２００は必要によって、制御命令の代わりに第２ＩＲ信号コードの形態で伝送してもよい。
【0135】
段階Ｓ３５で、電子装置の第１プロセッサ１４０が、サーバーから受信した制御命令を外部装置４００の命令情報に該当する第２ＩＲ信号コードに変換する。
【0136】
段階Ｓ３６で、電子装置の第１ＩＲ通信部１２０が、第２ＩＲ信号コード（命令情報）
【0137】
図１３を参照して、本発明の第２実施例に係る電子装置１００、対話サーバー５００及びサーバー２００を介した外部装置４００の制御方法を説明する。
【0138】
段階Ｓ４０で、電子装置１００が外部装置４００に対する、例えば“ＴＶを用いてエアコン温度を上げて”というユーザの音声命令を受信する。
【0139】
段階Ｓ４１で、電子装置１００が対話サーバー５００に、外部装置４００に対する、例えば“ＴＶを用いてエアコン温度を上げて”というユーザの音声命令を伝達する。
【0140】
段階Ｓ４２で、対話サーバー５００が、ユーザの音声命令から外部装置の制御命令を認識する。例えば、対話サーバー５００は、音声命令から制御命令を抽出することができる。
【0141】
段階Ｓ４３で、対話サーバー３００が、サーバー２００で認識した制御命令を伝達する。
【0142】
段階Ｓ４４で、サーバー２００が、制御命令の対象である外部装置４００が登録された制御対象であるか否か判断する。
【0143】
段階Ｓ４５で、外部装置４００が登録された制御対象であれば、サーバー２００が電子装置１００に制御命令を伝達する。サーバー２００は必要によって、制御命令の代わりに第２ＩＲ信号コードの形態で伝送してもよい。
【0144】
段階Ｓ４６で、電子装置の第１プロセッサ１４０が、サーバーから受信した制御命令を外部装置４００の命令情報に該当する第２ＩＲ信号コードに変換する。
【0145】
段階Ｓ４７で、電子装置の第１ＩＲ通信部１２０が、第２ＩＲ信号コードに対応する第２ＩＲ信号を放射する。
【0146】
段階Ｓ４８で、段階Ｓ４４の判断の結果、外部装置４００が未登録制御対象であれば、サーバー２００が対話サーバー５００に、外部装置が未登録装置であることを示す“Ｆａｉｌ Ｒｅｔｕｒｎ Ｍｅｓｓａｇｅ”を伝達する。
【0147】
段階Ｓ４９で、対話サーバー５００は、サーバー２００から“Ｆａｉｌ Ｒｅｔｕｒｎ Ｍｅｓｓａｇｅ”を受信すると、認識した外部装置の制御命令を電子装置１００に伝達する。
【0148】
段階Ｓ５０で、電子装置の第１プロセッサ１４０が、対話サーバー５００から受信した制御命令を、外部装置４００の命令情報に該当する第２ＩＲ信号コードに変換する。
【0149】
段階Ｓ５１で、電子装置の第１ＩＲ通信部１２０が、第２ＩＲ信号コードに対応する第２ＩＲ信号を放射する。
【0150】
図１４を参照して本発明の第４実施例に係る電子装置を介した外部装置の制御方法を説明する。
【0151】
段階Ｓ２５で、電子装置１００が、外部装置４００に対する、例えば“ＴＶを用いてエアコン温度を上げて”というユーザの音声命令を受信し、ユーザの音声命令から外部装置４００の制御命令を認識する。例えば、音声命令から制御命令を抽出することができる。
【0152】
段階Ｓ２６で、電子装置の第１プロセッサ１４０が、認識した制御命令を、外部装置４００の命令情報に該当する第２ＩＲ信号コードに変換する。
【0153】
段階Ｓ２７で、電子装置の第１ＩＲ通信部１２０が、第２ＩＲ信号コードに対応する第２ＩＲ信号を放射する。
【0154】
以上では本発明の好ましい実施例について図示及び説明したが、本発明は上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨から逸脱することなく、当該発明の属する技術の分野における通常の知識を有する者にとって様々な変形実施が可能であることはもとより、それらの変形実施例は、発明の技術的思想や展望から離れて理解されてはならないだろう。
【符号の説明】
【0155】
１ 電子装置制御システム
１００ 電子装置（ＴＶ）
１１０ 動作実行部
１２０ 第１ＩＲ通信部
１３０ 第１ネットワーク通信部
１４０ 第１プロセッサ
１５０ 第１メモリ
２００ サーバー（ＩｏＴクラウドサーバー）
２３０ 第２ネットワーク通信部
２４０ 第２プロセッサ
２５０ 第２メモリ
３００ 制御機器（モバイル装置）
３３０ 第３ネットワーク通信部
３４０ 第３プロセッサ
４００ 外部装置（エアコン）
４０２ 外部装置リモコン
４２０ 第４ＩＲ通信部
４４０ 第４プロセッサ
５００ 対話サーバー
５３０ 第５ネットワーク通信部
５４０ 第５プロセッサ
５５０ 第５メモリ
１６０，３６０ ユーザ命令受信部
１７０，２７０，３７０，５７０ 音声認識エンジン
１００ 電子装置（ＴＶ）
１１０ 動作実行部
１２０ 第１ＩＲ通信部
１３０ 第１ネットワーク通信部
１４０ 第１プロセッサ
１５０ 第１メモリ
２００ サーバー（ＩｏＴクラウドサーバー）
２３０ 第２ネットワーク通信部
２４０ 第２プロセッサ
２５０ 第２メモリ
３００ 制御機器（モバイル装置）
３３０ 第３ネットワーク通信部
３４０ 第３プロセッサ
４００ 外部装置（エアコン）
４０２ 外部装置リモコン
４２０ 第４ＩＲ通信部
４４０ 第４プロセッサ
５００ 対話サーバー
５３０ 第５ネットワーク通信部
５４０ 第５プロセッサ
５５０ 第５メモリ
１６０，３６０ ユーザ命令受信部
１７０，２７０，３７０，５７０ 音声認識エンジン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】