特許 6681940 ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6681940

(24)【登録日】2020年3月26日

(45)【発行日】2020年4月15日

(54)【発明の名称】ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置

(51)【国際特許分類】

   G06F 3/16 20060101AFI20200406BHJP

   G10L 25/51 20130101ALI20200406BHJP

   G10L 15/22 20060101ALI20200406BHJP

   G10L 15/10 20060101ALI20200406BHJP

   G01S 15/42 20060101ALI20200406BHJP

   G10L 15/00 20130101ALN20200406BHJP

【ＦＩ】

   G06F3/16 600

   G06F3/16 630

   G10L25/51

   G10L15/22 453

   G10L15/10 300Z

   G01S15/42

   !G10L15/00 200F

【請求項の数】17

【全頁数】21

(21)【出願番号】特願2018-104651(P2018-104651)

(22)【出願日】2018年5月31日

(65)【公開番号】特開2018-206385(P2018-206385A)

(43)【公開日】2018年12月27日

【審査請求日】2018年5月31日

(31)【優先権主張番号】10-2017-0068963

(32)【優先日】2017年6月2日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(73)【特許権者】

【識別番号】501333021

【氏名又は名称】ＬＩＮＥ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】シン ミョンス

(72)【発明者】

【氏名】チャ セジン

【審査官】 酒井 優一

(56)【参考文献】

【文献】 国際公開第２０１７／０８５４８７（ＷＯ，Ａ１）

【文献】 特表２０１３−５３１７８５（ＪＰ，Ａ）

【文献】 特開２０１５−０５０４９３（ＪＰ，Ａ）

【文献】 特表２０１７−５１４１８２（ＪＰ，Ａ）

【文献】 米国特許第０８３４０９７５（ＵＳ，Ｂ１）

【文献】 特開２０１１−２５７９５０（ＪＰ，Ａ）

【文献】 特表２０１５−５１３７０４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／１６

Ｇ０１Ｓ １５／４２

Ｇ１０Ｌ １５／１０

Ｇ１０Ｌ １５／２２

Ｇ１０Ｌ ２５／５１

Ｇ１０Ｌ １５／００

(57)【特許請求の範囲】

【請求項1】

音声基盤の入力／出力インタフェース、及び
コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
室内の区画された複数の空間の中からユーザが位置する空間の種類を決定し、
前記音声基盤の入力／出力インタフェースで受信されるユーザの音声要請を、前記決定された空間の種類に応じた意味に解釈して、前記ユーザに提供する情報を決定し、該決定された情報を、前記音声基盤の入力／出力インタフェースを通じてユーザに提供すること
を特徴とする、情報提供装置。

【請求項2】

前記音声基盤の入力／出力インタフェースは、
音信号を出力するスピーカ、及び
マルチチャンネルマイク
を含み、
前記少なくとも１つのプロセッサは、
前記スピーカから出力される音信号と、前記出力された音信号が空間で反射することによって前記マルチチャンネルマイクにチャンネル別に入力される反射信号に基づき、前記複数の空間に関する情報を取得し、
前記取得した複数の空間に関する情報と、ユーザの発話に基づいて測定されるユーザの位置により、ユーザの位置と特定の空間をマッチングすること
を特徴とする、請求項１に記載の情報提供装置。

【請求項3】

ユーザの接近を感知するセンサを含む複数のサブ機器と通信する通信インタフェース
をさらに含み、
前記少なくとも１つのプロセッサは、
前記複数のサブ機器それぞれが位置する空間に関する情報を管理し、
前記通信インタフェースにより、前記複数のサブ機器から受信されるセンサ情報と、前記複数のサブ機器それぞれが位置する空間に関する情報に基づいてユーザが位置する空間を決定すること
を特徴とする、請求項１に記載の情報提供装置。

【請求項4】

前記少なくとも１つのプロセッサは、
前記ユーザが位置する空間別のユーザの発話内容と前記発話内容と関連するユーザの活動のうちの少なくとも一方のユーザ情報を時間帯別にパターン化し、
前記空間別及び時間帯別にパターン化されたユーザ情報に基づいて前記複数の空間それぞれの種類を決定すること
を特徴とする、請求項１に記載の情報提供装置。

【請求項5】

前記少なくとも１つのプロセッサは、
現在の時間帯及び現在ユーザが位置する空間でのユーザの予測状況又は予測行動を、前記空間別及び時間帯別にパターン化されたユーザ情報及び現在ユーザが位置する空間の種類に基づいて決定すること
を特徴とする、請求項４に記載の情報提供装置。

【請求項6】

前記少なくとも１つのプロセッサは、
前記決定されたユーザの予測状況又は予測行動に基づき、前記ユーザの発話内容を特定の単語の意味に解釈する確率を動的に調整するか、又は前記ユーザの発話内容に応じて前記ユーザに提供する情報を決定すること
を特徴とする、請求項５に記載の情報提供装置。

【請求項7】

前記少なくとも１つのプロセッサは、
前記決定されたユーザの予測状況又は予測行動に基づき、前記ユーザからの音声要請がなくても前記ユーザに提供する情報を能動的に決定すること
を特徴とする、請求項５に記載の情報提供装置。

【請求項8】

複数の出力メディアと通信する通信インタフェース
をさらに含み、
前記少なくとも１つのプロセッサは、
前記複数の出力メディアの位置とユーザの位置に基づいて前記複数の出力メディアの中から少なくとも１つの出力メディアを決定し、
ユーザに提供するための情報が前記決定された少なくとも１つの出力メディアから出力されるように、前記通信インタフェースによって前記ユーザに提供するための情報を前記決定された少なくとも１つの出力メディアに送信すること
を特徴とする、請求項１に記載の情報提供装置。

【請求項9】

前記少なくとも１つのプロセッサは、
ユーザの位置が変更される場合、前記変更されたユーザの位置に応じて出力メディアを変更し、
前記ユーザに提供するための情報が前記変更された出力メディアから連続的に出力されるように、前記通信インタフェースを通じて前記ユーザに提供するための情報を前記変更された出力メディアに送信すること
を特徴とする、請求項８に記載の情報提供装置。

【請求項10】

情報提供装置の情報提供方法であって、
室内の区画された複数の空間の中からユーザが位置する空間の種類を決定する段階、及び
前記情報提供装置に含まれる音声基盤の入力／出力インタフェースで受信されるユーザの音声要請を、前記決定された空間の種類に応じた意味に解釈して、前記ユーザに提供する情報を決定し、該決定された情報を、前記音声基盤の入力／出力インタフェースを通じてユーザに提供する段階
を含むことを特徴とする、情報提供方法。

【請求項11】

前記ユーザが位置する空間を決定する段階は、
前記音声基盤の入力／出力インタフェースが含むスピーカから出力される音信号と、前記出力された音信号が空間で反射することによって前記音声基盤の入力／出力インタフェースが含むマルチチャンネルマイクにチャンネル別に入力される反射信号に基づき、前記複数の空間に関する情報を取得する段階、及び
前記取得した複数の空間に関する情報と、ユーザの発話に基づいて測定されるユーザの位置により、ユーザの位置と空間をマッチングする段階
を含むことを特徴とする、請求項１０に記載の情報提供方法。

【請求項12】

前記ユーザが位置する空間を決定する段階は、
ユーザの接近を感知するセンサを含む複数のサブ機器それぞれが位置する空間に関する情報を管理する段階、及び
前記情報提供装置の通信インタフェースにより、前記複数のサブ機器から受信されるセンサ情報と、前記複数のサブ機器それぞれが位置する空間に関する情報に基づいてユーザが位置する空間を決定すること
を特徴とする、請求項１０に記載の情報提供方法。

【請求項13】

前記ユーザが位置する空間別のユーザの発話内容及び前記発話内容と関連するユーザの活動のうちの少なくとも一方のユーザ情報を時間帯別にパターン化する段階、及び
前記空間別及び時間帯別にパターン化されたユーザ情報に基づいて前記複数の空間それぞれの種類を決定する段階
をさらに含むことを特徴とする、請求項１０に記載の情報提供方法。

【請求項14】

現在の時間帯及び現在ユーザが位置する空間でのユーザの予測状況又は予測行動を、前記空間別及び時間帯別にパターン化されたユーザ情報及び現在ユーザが位置する空間の種類に基づいて決定する段階
をさらに含むことを特徴とする、請求項１３に記載の情報提供方法。

【請求項15】

前記決定されたユーザの予測状況又は予測行動に基づき、前記ユーザの発話内容を特定の単語の意味に解釈する確率を動的に調整するか、前記ユーザの発話内容に応じて前記ユーザに提供する情報を決定するか、又は前記ユーザからの音声要請がなくても前記ユーザに提供する情報を能動的に決定する段階
をさらに含むことを特徴とする、請求項１４に記載の情報提供方法。

【請求項16】

コンピュータと結合し、請求項１０〜１５のうちのいずれか一項に記載の方法をコンピュータに実行させる、コンピュータプログラム。

【請求項17】

請求項１０〜１５のうちのいずれか一項に記載の方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置、並びにコンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるコンピュータプログラムとそのコンピュータプログラムを格納する記録媒体に関する。

【背景技術】

【0002】

ホームネットワークサービスの人工知能スピーカのように音声を基盤として動作するインタフェースは、マイク（ｍｉｃｒｏｐｈｏｎｅ）でユーザの音声要請を受信し、音声要請に対応する応答情報を提供するために返答音声を合成してスピーカから提供し、あるいは応答情報として音楽コンテンツのようなオーディオコンテンツを提供することができる。例えば特許文献１は、ホームメディアデバイス及びこれを利用したホームネットワークシステムと方法に関する技術であって、移動通信網の他にＷｉ-Ｆｉのような第２通信網を利用してホームネットワークサービスを提供することが可能であり、ホーム内の複数のマルチメディア機器を、ユーザがボタン操作しなくても、音声命令に基づいてマルチコントロールすることができる技術について開示している。

【0003】

このようなホームネットワークサービスでは、ユーザの音声要請の応答として最適な情報を提供するために、室内の構造と人工知能スピーカのような機器が位置する空間に関する情報、ユーザが位置する空間に関する情報などを把握する必要がある。しかし、従来技術では、カメラで撮影したイメージを分析して室内の構造を把握したり、機器の位置する空間に関する情報及び位置をユーザが直接手動で入力したりしなければならなかった。さらに、カメラで撮影したイメージを活用して空間を自動で把握したとしても、カメラからは機器が配置された周辺空間のイメージしか得ることができず、このような空間の種類（一例として、リビング、キッチン、寝室、玄関など）のような情報はユーザが指定しなければならないという煩わしさがあった。これだけでなく、機器が位置変更した場合には、設定された空間や位置に関する情報をユーザが手動で再設定しなければならないという問題も抱えていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】韓国公開特許第１０−２０１１−０１３９７９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

室内の区画された空間の中からユーザが位置する空間を決定することができ、ユーザの位置する空間に適した情報を提供することができる情報提供方法及び装置、並びにコンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体を提供する。

【0006】

ユーザからの設定入力がなくても、室内の区画された空間を測位し、空間それぞれの種類を決定することができ、空間の種類とユーザの状況、及び／又は行動パターンに基づいて空間別にユーザコンテキストと関連性の高い情報／コンテンツを提供することにより、情報提供の有用性を向上させることができる情報提供方法及び装置、並びにコンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるコンピュータプログラムとそのコンピュータプログラムを格納する記録媒体を提供する。

【課題を解決するための手段】

【0007】

本発明の一態様では、音声基盤の入力／出力インタフェース、及びコンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサは、複数の空間の中からユーザが位置する空間を決定し、決定された空間に基づいて音声基盤の入力／出力インタフェースで受信されるユーザの音声要請を解釈するか、又は決定された空間に基づいて少なくとも１つのプロセッサで能動的に決定される情報を、音声基盤の入力／出力インタフェースを通じてユーザに提供することを特徴とする、情報提供装置を提供する。

【0008】

本発明の別の態様では、情報提供装置の情報提供方法であって、複数の空間の中からユーザが位置する空間を決定する段階、及び情報提供装置に含まれる音声基盤の入力／出力インタフェースで受信されるユーザの音声要請を解釈するか、又は決定された空間に基づいて能動的に決定される情報を、音声基盤の入力／出力インタフェースを通じてユーザに提供する段階を含むことを特徴とする、情報提供方法を提供する。

【0009】

本発明の別の態様では、情報提供方法をコンピュータに実行させるためのコンピュータプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体を提供する。

【0010】

本発明の別の態様では、コンピュータと結合して情報提供方法をコンピュータに実行させる、コンピュータプログラムを提供する。

【発明の効果】

【0011】

本発明によれば、室内の区画された空間の中からユーザが位置する空間を決定することができ、ユーザが位置する空間に適した情報を提供することができる。

【0012】

本発明によれば、ユーザから設定入力がなくても、室内の区画された空間を測位し、空間それぞれの種類を決定することができ、空間の種類とユーザの状況、及び／又は行動パターンに基づいて空間別にユーザコンテキストと関連性の高い情報／コンテンツを提供することにより、情報提供の有用性を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。

【図2】本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の他の例を示した図である。

【図3】本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。

【図4】本発明の一実施形態における、電子機器及びサーバの内部構成を説明するためのブロック図である。

【図5】本発明の一実施形態における、室内の区画された空間と位置に関する情報の例を示した図である。

【図6】本発明の一実施形態における、単一機器で物理的空間を把握する例を示した図である。

【図7】本発明の一実施形態における、複数のサブ機器を活用して物理的空間を把握する例を示した図である。

【図8】本発明の一実施形態における、複数の出力メディアから情報を提供する例を示した図である。

【図9】本発明の一実施形態における、出力メディアに関する情報の例を示した図である。

【図10】本発明の一実施形態における、電子機器の情報提供方法の例を示したフローチャートである。

【図11】本発明の一実施形態における、ユーザが位置する空間を決定する方法の例を示したフローチャートである。

【図12】本発明の一実施形態における、ユーザが位置する空間を決定する方法の他の例を示したフローチャートである。

【図13】本発明の一実施形態における、ユーザの状況及び／又は行動を予測し、予測した状況及び／又は行動に基づいて情報を提供する方法の例を示したフローチャートである。

【発明を実施するための形態】

【0014】

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

【0015】

本発明の実施形態に係る情報提供装置は、音声を基盤として動作するインタフェースを提供する電子機器によって実現されてよい。このような電子機器は、音声要請を直接に処理して応答情報を生成するか、別途のインタフェースコネクトを介して連結する外部プラットフォームによって音声要請を認識及び分析して処理してよい。例えば外部プラットフォームは、電子機器からユーザの音声要請を受信し、受信した音声要請を分析してユーザの意図に適したクエリ又は該当のクエリに対応する応答情報を生成するクラウド人工知能プラットフォームを含んでよい。このとき、電子機器は、室内に区画された複数の空間の中からユーザが位置する空間を決定してよく、このようなユーザの位置する空間に応じてユーザに能動的に情報を提供してよい。例えば電子機器は、ユーザの音声要請とは関係なくユーザが位置する空間に適した情報を提供し、ユーザの音声要請に対する返答を提供する過程において、ユーザが位置する空間に適した情報を追加でさらに提供してよい。他の例として、電子機器は、ユーザの位置する空間に応じて、ユーザの同じ音声要請を異なるように解釈してもよく、ユーザの音声要請に対する認識エラーを訂正してもよい。

【0016】

本発明の実施形態に係る情報提供方法は、上述した電子機器によって実行されてよい。このとき、電子機器には、本発明の一実施形態に係るコンピュータプログラムがインストール及び駆動されてよく、電子機器は、駆動するコンピュータプログラムの制御に従って本発明の一実施形態に係る情報提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器と結合して情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。

【0017】

図１は、本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）やホームネットワークサービスのように宅内の機器を連結して制御する技術において、音声基盤のインタフェース（一例として、マイクとスピーカ）を含む電子機器１００が、ユーザ１１０の発話「電気を消して」１２１をマイクで受信することによって音声要請を認識及び分析し、「リビングの電気を消しましょうか？」１２２のような応答情報をスピーカから出力する例を示している。さらに、図１の実施形態では、応答情報に対応するユーザ１１０の発話「うん」１２３に従って受信される音声要請を認識及び分析し、電子機器１００と内部ネットワークを介して連動する宅内照明機器１３０のライト電源を制御する例を示している。

【0018】

ここで、宅内の機器は、上述した宅内照明機器１３０の他にも、ＩＰＴＶ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろん、水道、電気、冷暖房機器などのようなエネルギー消費装置、ドアロックや監視カメラなどのような保安機器など、オンライン上で連結して制御可能な多様な機器を含んでよい。また、内部ネットワークは、イーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）、ＨｏｍｅＰＮＡ、ＩＥＥＥ １３９４のような有線ネットワーク技術、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＵＷＢ（ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）（登録商標）、Ｗｉｒｅｌｅｓｓ １３９４、Ｈｏｍｅ ＲＦのような無線ネットワーク技術などが活用されてよい。

【0019】

電子機器１００は、宅内の機器のうちの１つであってよい。例えば電子機器１００は、宅内に備えられた人工知能スピーカやロボット清掃機などのような機器のうちの１つであってよい。また、電子機器１００は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどのようなユーザ１１０のモバイル機器であってもよい。このように、電子機器１００は、ユーザ１１０の音声要請を受信して宅内の機器を制御するために宅内の機器と連結可能な機能を含む機器であれば、特に制限されることはない。また、実施形態によっては、上述したユーザ１１０のモバイル機器が宅内の機器として含まれてもよい。

【0020】

応答情報は、図１の実施形態のように、基本的に音声基盤インタフェースに対応するメインメディア（一例として、電子機器１００が含むスピーカ）から出力されてよいが、上述したように、本発明の実施形態において、応答情報は、さらに多様なメディアから出力されてもよく、電子機器１００は、音声要請及び／又は応答情報に応じて応答情報が出力されるメディアを決定してよい。例えば図１は、ＩＰＴＶ１４０とユーザ１１０のモバイル機器１５０をさらに示している。この場合、応答情報は、ＩＰＴＶ１４０やモバイル機器１５０のディスプレイから視覚的にユーザ１１０に出力されてよい。このとき、電子機器１００は、応答情報を出力するためのメディアの決定はもちろん、聴覚的出力と視覚的出力の効率性に基づいて応答情報を出力するためのメディアを決定してよい。

【0021】

図２は、本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の他の例を示した図である。図２は、音声基盤インタフェースを含む電子機器１００がユーザ１１０の発話「今日の天気」２１０を認識及び分析し、外部ネットワークを介して外部サーバ２２０から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」２３０のように音声で合成して出力する例を示している。例えば外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなど、ネットワークのうちの１つ以上の任意のネットワークを含んでよい。

【0022】

図２の実施形態でも、電子機器１００は、宅内の機器のうちの１つであるか、ユーザ１１０のモバイル機器のうちの１つであってよく、ユーザ１１０の音声要請を受信して処理するための機能と、外部ネットワークを介して外部サーバ２２０と通信して外部サーバ２２０が提供するサービスやコンテンツをユーザ１１０に提供するための機能を含む機器であれば、特に制限されることはない。このように、本発明の実施形態に係る電子機器１００は、ユーザ１１０の発話に従って受信される音声要請を音声基盤のインタフェースによって処理することのできる機器であれば、特に制限されることはない。例えば電子機器１００は、ユーザの音声要請を直接に認識及び分析して音声要請を処理してもよいが、実施形態によっては、電子機器１００と連係する外部のプラットフォーム（一例として、上述したクラウド人工知能プラットフォーム）によって音声要請を処理してもよい。

【0023】

このとき、電子機器１００は、ユーザの音声要請に対応する応答情報を出力するためのメディアを音声要請及び／又は応答情報に基づいて自動で決定してよい。図２では、電子機器１００が応答情報を「今日の天気は・・・」２３０のように聴覚的に出力すると同時に、ＩＰＴＶ１４０のディスプレイから視覚的にも出力する例を示している。このために、電子機器１００は、応答情報の出力が可能な複数のメディアに関する情報を管理してよく、音声要請及び／又は応答情報に基づいて複数のメディアの中から応答情報を出力するための少なくとも１つのメディアを選択し、応答情報を伝達してよい。

【0024】

図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０とクラウド人工知能プラットフォーム３２０、及びコンテンツ・サービス３３０を示している。

【0025】

一例として、電子機器３１０は、宅内に備えられる機器を意味してよく、少なくとも上述した電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０にインストール及び駆動されるアプリケーション（以下、アプリとする）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係してよい。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストール及び駆動されるアプリの開発のためのソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）及び／又は開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストール及び駆動されるアプリが、クラウド人工知能プラットフォーム３２０によって提供される機能を活用することを可能にするＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者がインタフェースコネクト３４０によって提供されるＳＤＫ及び／又は開発文書を利用して開発した機器やアプリは、インタフェースコネクト３４０によって提供されるＡＰＩを利用してクラウド人工知能プラットフォーム３２０によって提供される機能を活用することを可能にする。

【0026】

ここで、クラウド人工知能プラットフォーム３２０は、音声基盤のサービスを提供するための機能を提供してよい。例えばクラウド人工知能プラットフォーム３２０は、受信された音声を認識し、出力される音声を合成するための音声処理モジュール３２１、受信された映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信された音声に従って適した音声を出力するために適切な対話を決定するための対話処理モジュール３２３、受信された音声に適した機能を推薦するための推薦モジュール３２４、人工知能がデータ学習によって文章単位で言語を翻訳するように支援するニューラル機械翻訳（Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＮＭＴ）３２５などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。

【0027】

例えば図１及び図２の実施形態において、電子機器１００が、ユーザ１１０の音声要請を、インタフェースコネクト３４０で提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信したとする。この場合、クラウド人工知能プラットフォーム３２０は、受信された音声要請を上述したモジュール３２１〜３２５を活用して認識及び分析してよく、受信された音声要請に従って適切な返答音声を合成して提供するか、適切な動作を推薦してよい。

【0028】

また、拡張キット３５０は、第三者コンテンツ開発者又は会社が、クラウド人工知能プラットフォーム３２０に基づいて新たな音声基盤機能を実現することができる開発キットを提供してよい。例えば図２の実施形態において、電子機器１００は、受信したユーザ１１０の音声要請を外部サーバ２２０に送信してよく、外部サーバ２２０は、拡張キット３５０によって提供されるＡＰＩを利用してクラウド人工知能プラットフォーム３２０に音声要請を送信してよい。この場合、上述と同じように、クラウド人工知能プラットフォーム３２０は、受信される音声要請を認識及び分析して適切な返答音声を合成して提供するか、音声要請によって処理されるべき機能に関する推薦情報を外部サーバ２２０に提供してよい。一例として、図２において、外部サーバ２２０が、音声要請「今日の天気」をクラウド人工知能プラットフォーム３２０に送信すると、クラウド人工知能プラットフォーム３２０から、音声要請「今日の天気」の認識によって抽出されるキーワード「今日の」及び「天気」を受信したとする。この場合、外部サーバ２２０は、キーワード「今日の」及び「天気」に基づいて「今日の天気は・・・」のようなテキスト情報を生成し、生成されたテキスト情報をクラウド人工知能プラットフォーム３２０に再び送信してよい。このとき、クラウド人工知能プラットフォーム３２０は、テキスト情報を音声で合成して外部サーバ２２０に提供してよい。外部サーバ２２０は、合成された音声を電子機器１００に送信してよく、電子機器１００が合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ１１０から受信した音声要請「今日の天気」が処理されてよい。

【0029】

図４は、本発明の一実施形態における、電子機器及びサーバの内部構成を説明するためのブロック図である。図４の電子機器４１０は、上述した電子機器１００に対応してよく、本発明の実施形態に係る情報提供装置に対応してよい。また、サーバ４２０は、上述した外部サーバ２２０やクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。

【0030】

電子機器４１０及びサーバ４２０は、それぞれ、メモリ４１１、４２１、プロセッサ４１２、４２２、通信インタフェース４１３、４２３、及び入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、及びディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭとディスクドライブのような永久大容量記憶装置は、メモリ４１１、４２１とは区別される別の永久記憶装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器４１０にインストールされ、特定のサービスを提供するために電子機器４１０で駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータで読み取り可能な記録媒体からロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信インタフェース４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば少なくとも１つのプログラムは、開発者又はアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク４３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。

【0031】

プロセッサ４１２、４２２は、基本的な算術、ロジック及び入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１又は通信インタフェース４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えばプロセッサ４１２、４２２は、メモリ４１１、４２１のような記録装置に格納されたプログラムコードに従って受信される命令を実行するように構成されてよい。

【0032】

通信インタフェース４１３、４２３は、ネットワーク４３０を介して電子機器４１０とサーバ４２０とが互いに通信するための機能を提供してもよいし、電子機器４１０及び／又はサーバ４２０が他の電子機器又は他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２がメモリ４１１のような記録装置に格納されたプログラムコードに従って生成した要求が、通信インタフェース４１３の制御に従ってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信インタフェース４２３とネットワーク４３０を経て電子機器４１０の通信インタフェース４１３を通じて電子機器４１０に受信されてもよい。例えば通信インタフェース４１３を通じて受信したサーバ４２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０がさらに含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。

【0033】

入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば入力装置は、マイク、キーボード、又はマウスなどの装置を含んでよく、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０と連結するか、サーバ４２０が含むことのできる入力又は出力のための装置（図示せず）とのインタフェースのための手段であってもよい。

【0034】

また、他の実施形態において、電子機器４１０及びサーバ４２０は、図４の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合、一般的にスマートフォンに含まれる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が電子機器４１０にさらに含まれるように実現されてよい。

【0035】

本実施形態において、電子機器４１０は、ユーザの音声要請を受信するためのマイク（一例として、図４のマルチチャンネルマイク４１７）及び／又は応答情報を聴覚的に出力するためのスピーカ（一例として、図４のスピーカ４１６）を入力／出力装置４１５として含んでよい。

【0036】

このとき、本発明の実施形態は、室内の区画された空間をさらに考慮してよい。

【0037】

図５は、本発明の一実施形態における、室内の区画された空間と位置に関する情報の例を示した図である。図５の平面図５００は、室内の区画された空間の種類（リビング、キッチン、玄関、トイレ、寝室など）、室内での電子機器４１０の位置及びユーザの位置５１０、５２０、５３０の例を示している。例えばユーザの第１位置５１０による空間は「リビング」であり、第２位置５２０による空間は「キッチン」であり、第３位置５３０による空間は「玄関」であってよい。

【0038】

電子機器４１０は、室内の区画された空間の中からユーザが位置する空間を決定してよく、決定された空間に基づいて、電子機器４１０に含まれる音声基盤の入力／出力インタフェース（一例として、図４の入力／出力インタフェース４１４）で受信されるユーザの音声要請の解釈を動的に調整するか、あるいは決定された空間に基づいて、電子機器４１０によって能動的に決定された情報を、音声基盤の入力／出力インタフェースを通じてユーザに提供してよい。例えばユーザが第１位置５１０である「リビング」に位置する場合と第２位置５２０である「キッチン」に位置する場合に対し、電子機器４１０は、それぞれ異なる情報をユーザに提供してよい。他の例として、ユーザが第１位置５１０である「リビング」に位置する場合と第２位置５２０である「キッチン」に位置する場合に対し、電子機器４１０は、ユーザの発話が同じであっても、それぞれ異なるように解釈してもよい。

【0039】

より具体的な例として、第１位置５１０である「リビング」に位置するユーザの発話「たまねぎ」に対し、電子機器４１０は、「歌手たまねぎの歌」又は「たまねぎに関するＴＶ番組」を出力してよく、第２位置５２０である「キッチン」に位置するユーザの発話「たまねぎ」に対し、電子機器４１０は、「たまねぎ購入」又は「たまねぎを使ったレシピ」に関する情報をユーザに提供してよい。

【0040】

このように、空間に応じて適した情報を提供するために、電子機器４１０は、室内に区画された複数の物理的空間を把握してよく、このような物理的空間の把握及び／又はユーザの位置（電子機器４１０からの相対的な方向と距離）の把握は、ユーザが機器を使用中でないときでも周期的に実行されてよい。

【0041】

図６は、本発明の一実施形態における、単一機器で物理的空間を把握する例を示した図である。電子機器４１０は、音声基盤の入力／出力インタフェースに含まれるスピーカから音信号を出力してよい。このような音信号は、ユーザが認識することのできる音帯域であっても、ユーザが認識することのできない音帯域であってもよい。また、電子機器４１０は、出力された音信号が室内で反射することによって受信される反射信号の入力を、マルチチャンネルマイクでチャンネル別に受信してよい。１つのスピーカから出力された音信号は電子機器４１０の周囲に広がり、室内の区画された境界の壁面などで反射した後、電子機器４１０に再び伝達されるようになる。このような反射信号は、電子機器４１０のマルチチャンネルマイクのチャンネル別にそれぞれ入力されてよい。このとき、マルチチャンネルマイクに入力される反射信号の電子機器４１０を基準とする相対的な方向は、マルチチャンネルマイクのチャンネル別に入力される特定の反射信号の位相変位（ｐｈａｓｅ ｓｈｉｆｔ）に基づいて決定されてよい。複数のマイクに入力される同一の音信号の位相変位を利用して音信号の発生位置を測定する技術は、ビームフォーミング（ｂｅａｍ ｆｏｒｍｉｎｇ）技術のように周知の技術であるため、当業者であれば容易に理解することができるであろう。本実施形態において、電子機器４１０は、特定の反射信号がマルチチャンネルマイクのチャンネル別に入力され、このようなチャンネル別に入力された特定の反射信号の位相変位に基づいて該当の反射信号の方向を決定してよい。また、電子機器４１０は、音信号の出力時刻と該当の反射信号のチャンネル別の入力時刻に基づき、電子機器４１０と区画された空間の境界に関する情報（一例として、距離）を計算してよい。言い換えれば、電子機器４１０は、特定の反射信号に対する方向と距離を求めることが可能であるが、これは、電子機器４１０を基準として区画された空間の境界を測定することが可能であることを意味してよい。例えば電子機器４１０は、一定の距離内で空間的に閉鎖された場所の方向と開放された場所の方向を区分することが可能である。

【0042】

再び図５を参照すると、電子機器４１０は、第１位置５１０である「リビング」に位置するユーザの発話の方向が空間的に閉鎖された場所への方向であるため、ユーザが電子機器４１０と同じ空間に存在することを認識するようになる。この場合、ユーザの発話の方向も、上述したビームフォーミング技術によって決定されてよい。

【0043】

一方、電子機器４１０は、第２位置５２０である「キッチン」又は第３位置５３０である「玄関」に位置するユーザの発話の方向が空間的に開放されている方向であるため、ユーザが電子機器４１０とは異なる空間に存在することを認識してよい。

【0044】

図７は、本発明の一実施形態における、複数のサブ機器を活用して物理的空間を把握する例を示した図である。図７の平面図７００は、図５の平面図５００と類似する、室内の区画された空間の種類（居間、キッチン、玄関、トイレ、寝室など）、室内での電子機器４１０の位置及びユーザの位置５１０、５２０、５３０の例を示しており、複数のサブ機器７１０、７２０、７３０が追加された例を示している。複数のサブ機器７１０、７２０、７３０は、一例として、電子機器４１０と通信可能な複数のサブスピーカであってよく、ユーザの接近を感知するセンサ（一例として、近接センサ、ＩＲセンサなど）を含んでよい。この場合、電子機器４１０は、複数のサブ機器７１０、７２０、７３０それぞれが位置する空間に関する情報を管理してよく、このような空間に関する情報と複数のサブ機器７１０、７２０、７３０のセンサ情報に基づいてユーザが位置する空間を決定してよい。例えば電子機器４１０は、複数のサブスピーカそれぞれから出力されてマルチチャンネルマイクに入力されるチャンネル別の音信号に基づいて複数のサブスピーカそれぞれとの距離及び方向を決定してよく、決定された距離及び方向に基づき、複数のサブ機器それぞれが位置する空間に関する情報を生成してよい。

【0045】

より具体的な例として、第１サブ機器７１０から出力される音信号が電子機器４１０のマルチチャンネルマイクに入力されることにより、電子機器４１０は、第１サブ機器７１０が位置する方向と相対的な距離を決定してよい。このとき、電子機器４１０において、第１サブ機器７１０の方向は閉鎖されている場所への方向であり、第１サブ機器７１０が位置する方向との相対的な距離は空間の境界までの相対的な距離よりも遠いため、電子機器４１０は、一例として、第１サブ機器７１０が「時計の１時方向」の「電子機器４１０が位置する空間とは異なる空間」に位置していることを把握してよい。第１サブ機器７１０がセンサによってユーザの接近を知らせてきた場合、電子機器４１０は、ユーザが「時計の１時方向」の「電子機器４１０が位置する空間とは異なる空間」に位置していると決定してよい。

【0046】

以下では、電子機器４１０が把握した「電子機器４１０が位置する空間とは異なる空間」の種類を決定するための実施形態について説明する。例えば上述した図７の実施形態において、電子機器４１０は、第１サブ機器７１０の位置する空間にユーザが位置することは把握したが、このような空間の種類も把握する必要がある。このために、電子機器４１０は、ユーザが位置する空間別に、ユーザの発話内容と発話内容に関連するユーザの活動うちの少なくとも一方についてのユーザ情報を時間帯別にパターン化してよい。例えば電子機器４１０は、ユーザ情報を空間別さらには時間帯別にデータベースに格納及び累積してよく、累積情報を空間別にさらには時間帯別に分析してよい。ユーザが「時計の１時方向」の「異なる空間」で「レシピ」、「カロリー」、「料理の材料」などに関する内容の発話を頻繁に要請する場合、電子機器４１０は、「時計の１時方向」の「異なる空間」を「キッチン」と認識してよい。他の例として、「時計の４時方向」の「異なる空間」でユーザが室内の外部に出ていくか外部から入ってくる活動が感知される場合、電子機器４１０は、「時計の４時方向」の「異なる空間」を「玄関」と認識してよい。このようなユーザの活動は、ユーザの外出を意味するユーザの発話、ユーザの位置に対する感知の有無及び／又はユーザのスケジュールのような外部情報に基づいて決定されてよい。例えば電子機器４１０は、ユーザのスケジュールにおいて「午後７時」に約束があり、「午後６時半」に「時計の４時方向」の「異なる空間」でユーザの発話「全体消灯」が認識された後、ユーザの位置がそれ以上感知されなければ、ユーザが「時計の４時方向」の「異なる空間」から室内の外部に出ていったことを把握してよい。このようなユーザの行動により、電子機器４１０は、「時計の４時方向」の「異なる空間」が「玄関」であることを把握することが可能となる。他にも、電子機器４１０が、各空間が有する特殊性に基づいて該当する空間の種類を把握することが可能であることは、当業者であれば、上述した例を参照することによって理解できるであろう。

【0047】

また、電子機器４１０は、現在の時間帯及び現在ユーザが位置する空間でのユーザの予測状況又は予測行動を決定してよい。電子機器４１０は、このような予測に基づき、ユーザに適したコンテンツを能動的に提供してよい。このような予測状況又は予測行動は、現在ユーザが位置する空間の種類と、空間別及び時間帯別にパターン化されたユーザ情報を基盤としてよい。例えば図５及び／又は図７の実施形態において、第２位置５２０である「キッチン」に位置するユーザのパターン化されたユーザ情報に基づき、電子機器４１０は、該当のユーザは、主に、午後４時頃に夕食の準備のためのレシピを要請することを把握してよい。午後４時頃に現在のユーザの位置が「キッチン」と判断された場合、電子機器４１０は、ユーザの音声要請とは関係なく、夕食の準備ためのレシピの種類を自動でユーザに勧めてよい。他の例として、電子機器４１０は、「玄関」に位置するユーザが外出しようとしていると判断された場合（例えばユーザが登録した情報（一例として、ユーザのスケジュール情報）を活用するか、ユーザの移動方向などを利用して判断可能）、自動車の鍵や傘などを持っていくように助言してよい。さらに、ユーザが玄関から外出しようとしている状況で室内に電気が点いている場合、「電気を消しましょうか？」のように能動的に質問した後、ユーザの応答に応じて機器制御などの追加機能を実行させてもよい。

【0048】

このために、電子機器４１０は、スケジュール情報や天気情報のような外部情報をさらに活用してもよい。スケジュール情報は、ユーザと関連する別途の外部サービスから取得してもよいし、電子機器４１０がユーザから直接にスケジュール登録を受信して管理してもよい。他の例として、電子機器４１０は、「バルコニー」に位置するユーザに「植木に水をあげる時間」になったことを知らせたり、「キッチン」に位置するユーザに「卵」の残りの個数と共に「卵購入」と関連する情報を知らせたりすることも可能である。

【0049】

また他の例として、電子機器４１０は、決定されたユーザの予測状況又は予測行動に基づき、ユーザの発話内容を特定の単語に解釈する確率を動的に調整してもよい。例えば「犬と（韓国語の発音でケラン）」と「計量（韓国語の発音でケリャン）」のように類似する発音の発話に対し、「キッチン」では「犬と」という単語よりも「計量」という単語を発話する確率が相対的に高いことが予想される。これにより、「ケラン」と類似する発音の発話が受信された場合、「キッチン」に位置するユーザの場合には「計量」と認識するようにする反面、「リビング」に位置するユーザの場合には「犬と」と認識するように、ユーザの音声要請に対する解釈を調整することが可能である。このように、本実施形態に係る電子機器４１０は、ユーザからの設定入力がなくても、室内の区画された空間を測位し、空間それぞれの種類を決定してよく、空間の種類とユーザの状況及び／又は行動パターンに基づいて空間別にユーザコンテキストと関連性の高い情報／コンテンツを提供することにより、情報提供の有用性を向上させることができる。また、ユーザから明確な要請がなくても、ユーザが位置する空間とユーザの状況及び／又は行動パターンに基づいて電子機器４１０が能動的に特定の情報を決定し、ユーザに提供してもよい。

【0050】

また、電子機器４１０は、ユーザの位置に基づいて情報の出力メディアを決定してもよい。例えば電子機器４１０は、室内に位置する複数の出力メディアと通信する通信インタフェースを含んでよく、このような複数の出力メディアの位置とユーザの位置に基づき、複数の出力メディアの中から少なくとも１つの出力メディアを決定してよい。この場合、電子機器４１０は、ユーザに提供するための情報が決定された少なくとも１つの出力メディアから出力されるように、ユーザに提供するための情報を、通信インタフェースを通じて決定された少なくとも１つの出力メディアに送信してよい。

【0051】

図８は、本発明の一実施形態における、複数の出力メディアから情報を提供する例を示した図である。電子機器４１０は、複数の出力メディアと通信してよい。複数の出力メディアは、上述した宅内の機器（ユーザのモバイル機器を含む）のうち、視覚的及び／又は聴覚的に情報の出力が可能な機器であってよい。また、複数の出力メディアは、視覚的及び／又は聴覚的に情報の出力が可能な機器にインストールされたアプリケーションであってもよい。例えば電子機器４１０は、第２位置５２０である「キッチン」に位置するユーザに、「キッチン」に位置する第１サブ機器７１０を通じて情報を提供してよい。このような情報は、ユーザの音声要請に対する返答であっても、電子機器４１０が能動的にユーザに提供しようとする情報であってもよい。他の例として、電子機器４１０は、第１位置５１０である「リビング」に位置するユーザに、ＩＰＴＶ８１０を通じて情報を提供してもよい。このように、電子機器４１０は、ユーザが位置する空間に位置する出力メディアを選択してよく、選択された出力メディアからユーザに提供するための情報を出力してよい。

【0052】

他の実施形態として、電子機器４１０は、ユーザのモバイル機器に情報を提供してもよい。例えば現在、ユーザがモバイル機器を操作中である場合、電子機器４１０は、操作中であることに関する情報をモバイル機器から受信してよく、出力メディアをユーザが操作中のモバイル機器として決定してよい。

【0053】

情報を提供している途中にユーザが位置する空間の変更が認識された場合、出力メディアも変更されてよい。例えば電子機器４１０は、ユーザが位置する空間が「キッチン」から「寝室１」に変更された場合、出力メディアを第１サブ機器７１０から第２サブ機器７２０に変更してよい。

【0054】

また、電子機器４１０は、上述した宅内の機器（ユーザのモバイル機器を含む）を出力メディアとして活用するために、このような機器に関する情報を管理してもよい。

【0055】

図９は、本発明の一実施形態における、出力メディアに関する情報の例を示した図である。図９の表９００は、電子機器４１０と連動して通信可能な電子機器を識別するための機器項目９１０、他の電子機器の宅内位置を識別するための位置項目９２０、他の電子機器が含む出力メディアを識別するための出力メディア項目９３０、出力メディアに関する情報を含む詳細項目９４０及び出力メディアがどのような情報類型との連係が可能であるかを識別するための情報類型項目９５０を含む例を示している。電子機器４１０は、表９００のように、宅内で連動する他の電子機器に関する情報と共に、該当する他の電子機器の出力メディアに関する情報を管理してよい。また、このような情報は、音声要請及び／又は音声要請に対する応答情報の情報類型と予め連結されてよい。例えばユーザの音声要請や対応する応答情報が「外部の特定場所」と関連する情報類型として分析される場合、電子機器４１０は、表９００に基づき、電子機器Ａの地図アプリケーションを応答情報の出力メディアとして決定してよい。この場合、応答情報は、電子機器Ａに伝達されてよく、電子機器Ａは、電子機器Ａの地図アプリケーションを通じて応答情報に対応する地図サービスをユーザに提供してよい。他の例として、応答情報は、地図アプリケーションを通じて地図サービスを提供するサービスサーバに伝達されてよい。この場合、サービスサーバは、電子機器Ａにインストールされた地図アプリケーションを通じて地図サービスを提供してよい。このために、電子機器４１０は、サービスサーバにアクセスするための情報、及びサービスサーバがユーザの電子機器Ａを識別できるようにするためのユーザのアカウントなどのような情報をさらに管理してもよい。例えば電子機器４１０は、表９００が地図アプリケーションと関連してさらに格納しているＵＲＬを利用してサービスサーバにアクセスしてよく、ユーザのアカウントと共に応答情報を伝達することにより、サービスサーバがユーザのアカウントを参照した上で、電子機器Ａにインストールされた地図アプリケーションを通じて応答情報と連係するサービスを提供するようにしてよい。

【0056】

また、電子機器４１０は、表９００に基づき、ユーザが「キッチン」に位置する場合、電子機器Ｄのディスプレイ４から情報が視覚的に出力されるように、該当の情報を電子機器Ｄに送信してよい。他の例として、電子機器４１０は、１つの空間に複数の出力メディアが存在する場合、出力しようとする情報の類型に適した機器やユーザからより近くにある機器の出力メディアを選択してよい。このとき、１つの空間でユーザからより近くにある機器の出力メディアを選択するために、より具体的な機器の位置が表９００で管理されてよい。このような機器の位置は、ユーザの位置と同じように、電子機器４１０を基準とする相対的な位置であってよい。

【0057】

図１０は、本発明の一実施形態における、電子機器の情報提供方法の例を示したフローチャートである。本実施形態に係る情報提供方法は、上述した電子機器４１０のようなコンピュータ装置によって実行されてよい。このとき、電子機器４１０のプロセッサ４１２は、メモリ４１１が含むオペレーティングシステムのコードや、少なくとも１つのプログラムのコードによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ４１２は、電子機器４１０に格納されたコードにより提供される制御命令に従って電子機器４１０が図１０の情報提供方法に含まれる段階１０１０及び段階１０２０を実行するように電子機器４１０を制御してよい。

【0058】

段階１０１０において、電子機器４１０は、複数の空間の中からユーザが位置する空間を決定してよい。一例として、複数の空間は、ホームネットワークサービスが適用されたホームのような、室内の区画された空間を含んでよい。

【0059】

段階１０２０において、電子機器４１０は、決定された空間に基づいて、電子機器４１０に含まれる音声基盤の入力／出力インタフェースで受信されるユーザの音声要請を解釈するか、あるいは決定された空間に基づいて能動的に決定された情報を、音声基盤の入力／出力インタフェースを通じてユーザに提供してよい。例えば電子機器４１０は、同じユーザの音声要請を、決定された空間に応じて動的に調整して解釈するか、又はユーザからの要請がなくても能動的に空間と関連する情報をユーザに提供してよい。

【0060】

このように、本実施形態では、既に決定されている情報を提供するためにユーザの位置や空間を活用するのではなく、ユーザの位置や空間に応じて能動的にユーザからの要請を調整して解釈するか、又は電子機器４１０が優先的に空間別のユーザコンテキストと関連性の高い情報を能動的に提供することにより、情報提供の有用性を向上させることができる。

【0061】

図１１は、本発明の一実施形態における、ユーザが位置する空間を決定する方法の例を示したフローチャートである。図１１に示された段階１１１０及び段階１１２０は、図１０の段階１０１０に含まれ、電子機器４１０によって実行されてよい。

【0062】

段階１１１０において、電子機器４１０は、スピーカから出力される音信号及び出力された音信号が室内で反射することによってマルチチャンネルマイクにチャンネル別に入力される反射信号に基づき、区画された空間に関する情報を取得してよい。このために、電子機器４１０は、上述したように、マルチチャンネルマイクにチャンネル別に入力される特定の反射信号の位相変位に基づいて特定の反射信号の方向を決定し、音信号の出力時刻と、特定の反射信号が前記マルチチャンネルマイクに入力されるチャンネル別の入力時刻に基づいて、特定の反射信号の方向への空間の境界との相対的な距離を決定し、音信号に対応する反射信号それぞれに対して決定される方向と相対的な距離に基づいて区画された空間を認識してよい。

【0063】

段階１１２０において、電子機器４１０は、取得した空間に関する情報と、ユーザの発話に基づいて測定されるユーザの位置により、ユーザの位置と特定の空間をマッチングしてよい。ユーザの位置も、電子機器４１０でユーザの発話による音信号をマルチチャンネルマイクでチャンネル別に受信することにより、ユーザとの相対的な方向及び／又は距離を測定することによって得られてよい。

【0064】

このように、本実施形態によると、ユーザが空間に関する情報（空間の種類や構造、位置など）を設定しなくても、電子機器４１０が自動的に室内の区画された空間に関する情報を取得し、ユーザがどの種類の空間に位置しているかを把握することが可能となる。

【0065】

図１２は、本発明の一実施形態における、ユーザが位置する空間を決定する方法の他の例を示したフローチャートである。図１２に示された段階１２１０及び段階１２２０は、図１０の段階１０１０に含まれ、電子機器４１０によって実行されてよい。

【0066】

段階１２１０において、電子機器４１０は、複数のサブ機器それぞれが位置する空間に関する情報を管理してよい。ここで、複数のサブ機器は、ユーザの接近を感知するセンサを含んでよく、電子機器４１０に含まれる通信インタフェース４１３を介して、電子機器４１０と通信してよい。

【0067】

段階１２２０において、電子機器４１０は、通信インタフェース４１３により、複数のサブ機器から受信されるセンサ情報と複数のサブ機器それぞれが位置する空間に関する情報に基づいてユーザが位置する空間を決定してよい。一例として、複数のサブ機器は、複数のサブスピーカを含んでよい。この場合、電子機器４１０は、複数のサブスピーカそれぞれから出力されてマルチチャンネルマイクに入力されるチャンネル別の音信号に基づいて、複数のサブスピーカそれぞれとの距離及び方向を決定し、決定された距離及び方向に基づいて、複数のサブ機器それぞれが位置する空間に関する情報を生成してよい。実施形態によっては、図９を参照しながら説明したように、複数のサブ機器を含む多様な宅内の機器に関する位置情報がさらに活用されてもよい。

【0068】

本実施形態によると、ユーザが空間に関する情報（空間の種類や構造、位置など）を設定しなくても、電子機器４１０が、複数のサブ機器から提供されるセンサ情報と複数のサブ機器が位置する空間に関する情報に基づき、室内の区画された空間に関する情報を取得することができる。図１２の実施形態は、図１１の実施形態と組み合わせてより正確な空間に関する情報を取得するのに利用されてよく、これにより、ユーザが位置する空間に関する情報もより正確になる。

【0069】

図１３は、本発明の一実施形態における、ユーザの状況及び／又は行動を予測し、予測された状況及び／又は行動に基づいて情報を提供する方法の例を示したフローチャートである。

【0070】

段階１３１０において、電子機器４１０は、ユーザが位置する空間別のユーザの発話内容及びユーザの活動のうちの少なくとも一方のユーザ情報を時間帯別にパターン化してよい。

【0071】

段階１３２０において、電子機器４１０は、空間別及び時間帯別にパターン化されたユーザ情報に基づき、区画された空間それぞれの種類を決定してよい。

【0072】

段階１３３０において、電子機器４１０は、現在の時間帯及び現在ユーザが位置する空間でのユーザの予測状況又は予測行動を、空間別及び時間帯別にパターン化されたユーザ情報及び現在ユーザが位置する空間の種類に基づいて決定してよい。

【0073】

段階１３４０において、電子機器４１０は、決定されたユーザの予測状況又は予測行動に基づき、ユーザの発話内容を特定の単語に解釈する確率を動的に調整するか、ユーザの発話内容に応じて提供する情報を決定するか、又はユーザの発話とは関係なくユーザに提供する情報を能動的に決定してよい。

【0074】

このように、本実施形態によると、現在ユーザが位置している空間の種類と空間別及び／又は時間帯別にパターン化されたユーザ情報を活用することにより、ユーザの状況又は行動を予測することができ、空間別／時間帯別に予測された状況や行動に応じて電子機器４１０が能動的にユーザの発話の解釈を調節したり、又はユーザの音声要請とは関係なく能動的に情報をユーザに提供したりすることが可能となる。

【0075】

上述したシステム又は装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば実施形態で説明された装置及び構成要素は、例えばプロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、又は命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理及び生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素及び／又は複数種類の処理要素を含んでもよいことが理解できるであろう。例えば処理装置は、複数個のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0076】

ソフトウェアは、コンピュータプログラム、コード、命令又はこれらのうちの１つ以上の組み合わせを含んでもよく、所望のとおりに動作するように処理装置を構成したり、独立的又は集合的に処理装置に命令したりしてよい。ソフトウェア及び／又はデータは、処理装置に基づいて解釈されたり、処理装置に命令又はデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体又は装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散されてよく、分散された状態で格納されても実行されてもよい。ソフトウェア及びデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。

【0077】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含んでよい。媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであっても、実行又はダウンロードのために一時的に格納するものであってもよい。また、媒体は、単一又は複数個のハードウェアが結合した形態の多様な記録手段又は格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されてはならず、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が格納されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを流通するアプリストアや他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし格納媒体が挙げられてもよい。プログラム命令の例には、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを利用してコンピュータによって実行されることが可能な高級言語が含まれる。

【0078】

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正及び変形が可能であろう。例えば説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたり又は組み合わされたり、他の構成要素又は均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。

【0079】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【符号の説明】

【0080】

１００：電子機器
１１０：ユーザ
１４０：ＩＰＴＶ
１５０：モバイル機器
２２０：外部サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】