特許 7372693 個人化された仮想秘書を提供する装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-24

(45)【発行日】2023-11-01

(54)【発明の名称】個人化された仮想秘書を提供する装置

(51)【国際特許分類】

   G06F 3/16 20060101AFI20231025BHJP

   G06F 3/01 20060101ALI20231025BHJP

   G10L 13/00 20060101ALI20231025BHJP

   G10L 15/22 20060101ALI20231025BHJP

   G10L 17/00 20130101ALI20231025BHJP

【ＦＩ】

G06F3/16 650

G06F3/01 510

G10L13/00 100L

G10L15/22 300Z

G10L17/00 200C

【請求項の数】 16

(21)【出願番号】P 2021560902

(86)(22)【出願日】2020-08-21

(65)【公表番号】

(43)【公表日】2022-08-03

(86)【国際出願番号】 KR2020011156

(87)【国際公開番号】W WO2021080147

(87)【国際公開日】2021-04-29

【審査請求日】2021-10-13

【審判番号】

【審判請求日】2023-03-20

(31)【優先権主張番号】10-2019-0132838

(32)【優先日】2019-10-24

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】517419179

【氏名又は名称】株式会社ユニオンプレイス

【氏名又は名称原語表記】ＵＮＩＯＮＰＬＡＣＥ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】（Ｇｕｒｏ－ｄｏｎｇ， ＥＮＣ Ｖｅｎｔｕｒｅ Ｄｒｅａｍ Ｔｏｗｅｒ ２－ｃｈａ） ＃１３０３， ５５， Ｄｉｇｉｔａｌ－ｒｏ ３３－ｇｉｌ， Ｇｕｒｏ－ｇｕ， Ｓｅｏｕｌ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100166372

【弁理士】

【氏名又は名称】山内 博明

(72)【発明者】

【氏名】パン・ソンチョル

【合議体】

【審判長】中野 裕二

【審判官】野崎 大進

【審判官】富澤 哲生

(56)【参考文献】

【文献】特開２０１８－１８１３３０（ＪＰ，Ａ）

【文献】特表２０１７－５３０５６７（ＪＰ，Ａ）

【文献】特開２０１９－１６８６９６（ＪＰ，Ａ）

【文献】国際公開第２０１８／０６７４０４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F 3/16

G06F 3/01

G10L 13/00

G10L 15/22

G10L 17/00

(57)【特許請求の範囲】

【請求項1】

有線または無線通信インターフェースを提供する通信部と、
（ａ）音声特性情報、サービス識別情報および前記サービス識別情報に対応する仮想秘書プラットホーム識別情報を各々有する一つ以上のユーザプロファイルを管理する処理と、（ｂ）第１サービスに対する指示命令を含む音声信号を電子装置から前記通信部を通じて受信する処理と、（ｃ）前記音声信号を基に、前記一つ以上のユーザプロファイルの中から個人化ユーザプロファイルを獲得する処理と、（ｄ）前記音声信号、または前記個人化ユーザプロファイルのうち少なくとも一つを基に、一つ以上の仮想秘書の中から前記第１サービスに対する前記指示命令に対応する第１仮想秘書を選択する処理と、（ｅ）前記音声信号を前記第１仮想秘書に適する第１信号に変換する処理と、（ｆ）前記第１信号を、前記第１仮想秘書を提供する第１仮想秘書プラットホームへ前記通信部通じて転送し、前記第１仮想秘書プラットホームから前記第１信号に対応する第１応答信号を、前記通信部を通じて受信する処理と、（ｇ）前記第１応答信号を前記電子装置へ転送する処理と、を行う演算処理部
を有し、
前記処理（ｄ）は、
（ｄ－１）前記音声信号が前記第１仮想秘書に対応する起動命令をさらに有する場合に、前記起動命令に対応する前記第１仮想秘書を選択する処理と、
（ｄ－２）前記音声信号が前記第１仮想秘書に対応する起動命令をさらに有さない場合に、前記個人化ユーザプロファイルに含まれる前記サービス識別情報および前記仮想秘書プラットホーム識別情報を基に前記第１仮想秘書を選択する処理と、 を有する、個人化された仮想秘書を提供する装置。

【請求項2】

前記一つ以上のユーザプロファイルは、前記サービス識別情報に対応するサービス提供可否情報を各々さらに有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項3】

前記処理（ａ）は、
（ａ－１）ユーザ登録のためのインターフェースを基に正規ユーザプロファイルを生成し、前記一つ以上のユーザプロファイルに追加する処理を有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項4】

前記処理（ａ）は、
（ａ－２）サービス選好度情報を基に前記一つ以上のユーザプロファイルを管理する処理を有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項5】

前記処理（ａ）は、
（ａ－３）前記音声信号を基に臨時ユーザプロファイルを生成し、前記一つ以上のユーザプロファイルに追加する処理を有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項6】

前記処理（ａ）は、
（ａ－４）予め指定された条件を基に、前記臨時ユーザプロファイルを正規ユーザプロファイルに転換したり、前記臨時ユーザプロファイルを削除したりする処理を有する、請求項５に記載の個人化された仮想秘書を提供する装置。

【請求項7】

前記処理（ａ）は、
（ａ－５）前記第１仮想秘書を基に、前記個人化ユーザプロファイルを更新する処理を有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項8】

前記処理（ｃ）は、
（ｃ－１）前記音声信号と、前記一つ以上のユーザプロファイルの前記音声特性情報とを比較して、前記一つ以上のユーザプロファイルの中から前記個人化ユーザプロファイルを選択する処理を有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項9】

前記音声信号は電子装置起動命令をさらに有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項10】

前記処理（ｅ）は、
（ｅ－１）前記第１仮想秘書に対応する起動命令および前記指示命令を含む前記第１信号を生成する処理を有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項11】

前記処理（ｅ）は、
（ｅ－２）前記指示命令をＳＴＴ（ｓｐｅｅｃｈ ｔｏ ｔｅｘｔ）機能を用いてテキスト情報に変換する処理と、
（ｅ－３）前記テキスト情報を基に修正テキスト情報を生成する処理と、
（ｅ－４）前記修正テキスト情報をＴＴＳ（ｔｅｘｔ ｔｏ ｓｐｅｅｃｈ）機能を用いて変換した修正指示命令を含む前記第１信号を生成する処理を有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項12】

前記第１信号は、前記第１仮想秘書に対応する起動命令をさらに有する、請求項１１に記載の個人化された仮想秘書を提供する装置。

【請求項13】

前記修正指示命令は、標準音声特性を基に前記ＴＴＳを用いて生成される、請求項１１に記載の個人化された仮想秘書を提供する装置。

【請求項14】

前記一つ以上のユーザプロファイルは、ユーザ識別情報を各々さらに含み、
前記処理（ｆ）は、
（ｆ－１）前記個人化ユーザプロファイルのユーザ識別情報を、前記第１信号と共に、前記第１仮想秘書プラットホームへ前記通信部を通じて転送する処理を有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項15】

前記音声信号は、第２サービスに対する指示命令をさらに含み、
前記演算処理部は、
（ｈ）前記音声信号、または前記個人化ユーザプロファイルのうち少なくとも一つを基に、一つ以上の仮想秘書の中から前記第２サービスに対する前記指示命令に対応する第２仮想秘書を選択する処理と、
（ｉ）前記音声信号を前記第２仮想秘書に適する第２信号に変換する処理と、
（ｊ）前記第２信号を、前記第２仮想秘書を提供する第２仮想秘書プラットホームへ前記通信部を通じて転送し、前記第２仮想秘書プラットホームから前記第２信号に対応する第２応答信号を、前記通信部を通じて受信する処理と、
（ｋ）前記第２応答信号を前記電子装置へ転送する処理と、
をさらに行う、請求項１に記載の個人化された仮想秘書を提供する装置。

【請求項16】

前記一つ以上のユーザプロファイルを保存するユーザプロファイル保存部
をさらに有する、請求項１に記載の個人化された仮想秘書を提供する装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、個人化された仮想秘書を提供する装置に関する。
本願で説明される技術は、２００１年度科学技術情報通信部の財源で情報通信企画評価院（ＩＩＴＰ）の支援を受けて開発されたものである（Ｎｏ.２０２１－０－００４６８、ＮＩＳＴ固有番号１７１１１３４７９１、「ＡＩ認知推論基盤のＷＥＢ.ＡＰＰパブリッシングＡＩアシストプラットホーム技術開発」）。

【背景技術】

【0002】

一般的に、「仮想秘書」は命令語、或いは質問を基にユーザのための任務（ｔａｓｋ）、またはサービスを行うソフトウェアエージェントを指す。仮想秘書は、知能型仮想秘書（ｉｎｔｅｌｌｉｇｅｎｔ ｖｉｒｔｕａｌ ａｓｓｉｓｔａｎｔ）、または知能型個人秘書（ｉｎｔｅｌｌｉｇｅｎｔ ｐｅｒｓｏｎａｌ ａｓｓｉｓｔａｎｔ）とも呼ばれる。仮想秘書はテキストを基盤にして動作したり、または音声を基盤にして動作したりすることができる。例えば仮想秘書は、いわゆる「スマートスピーカ」および端末などの電子装置を通じて入力されるユーザの音声入力を基に、ユーザのための任務またはサービスを行うことができる。スマートスピーカは、例えばマイクロフォンのようにオーディオ信号を入力するためのオーディオ入力部、スピーカのようにオーディオ信号を出力するためのオーディオ出力部、および仮想秘書との有線または無線通信の連結のための通信部を有する。スマートスピーカは、ビデオ信号を出力するディスプレイ部をさらに有することもできる。端末はマイクロフォンなどのオーディオ入力部、スピーカなどのオーディオ出力部、有線または無線通信の連結を提供する通信部、および仮想秘書を実行するためのＣＰＵなどの演算処理部を有する。端末は、望ましくはビデオ信号を出力するディスプレイ部をさらに有する。端末は、例えばスマートフォンなどの移動通信端末、ノートパソコン、或いはタブレットパソコンなどの携帯端末、およびパーソナルコンピュータなどのコンピューティング装置を含むことができる。

【0003】

例えば、アップル社により出願され、２０１６年１１月３０日付で登録された「仮想秘書でコマンド処理を容易にするためのコンテクスト情報の利用」という名称の韓国登録特許第１０－１６８３０８３号（特許文献１）は、仮想秘書を開示している。

【0004】

仮想秘書を実現するために、例えばアップル社の「Ｓｉｒｉ」、グーグル社の「Ａｓｓｉｓｔａｎｔ」、アマゾン社の「Ａｌｅｘａ」およびサムスン電子の「Ｂｉｘｂｙ」などの人工知能を用いた仮想秘書プラットホームが提供されている。特に、人工知能技術の発達により、仮想秘書を利用するユーザの数が増加している。

【0005】

ところが、従来の仮想秘書は以下のような短所を持っている。

【0006】

まず、既存のスマートスピーカまたは端末の仮想秘書は、特定の仮想秘書プラットホームに従属的である。

【0007】

例えば、「Ｓｉｒｉ」仮想秘書のためのスマートスピーカまたは端末で実行される「Ｓｉｒｉ」仮想秘書は、アップル社で提供する「Ｓｉｒｉ」仮想秘書プラットホームに従属的である。従って、例えば「Ｓｉｒｉ」仮想秘書のためのスマートスピーカを用いて、他社で提供する仮想秘書プラットホーム、例えばサムスン電子の「Ｂｉｘｂｙ」仮想秘書プラットホームを利用することは非常に困難である。また、端末のユーザが「Ｓｉｒｉ」仮想秘書を利用するためには「Ｓｉｒｉ」仮想秘書を実行する必要があり、端末のユーザが「Ｂｉｘｂｙ」仮想秘書を利用するためには「Ｂｉｘｂｙ」仮想秘書を実行する必要がある。例えば、ユーザが、天気情報はグーグル社の「Ａｓｓｉｓｔａｎｔ」を、音楽情報はアップル社の「Ｓｉｒｉ」を、図書情報はアマゾン社の「Ａｌｅｘａ」を用いて提供を受けたくても、「Ｓｉｒｉ」仮想秘書のためのスマートスピーカまたは端末で実行される「Ｓｉｒｉ」仮想秘書は、アップル社で提供する「Ｓｉｒｉ」仮想秘書プラットホームを用いて獲得される情報のみを提供する。

【0008】

また、既存のスマートスピーカまたは端末の仮想秘書は、予め指定された起動命令（ｗａｋｅｕｐ ｃｏｍｍａｎｄ）などの音声命令語を基に活性化されている。起動命令は、トリガー命令（ｔｒｉｇｇｅｒ ｃｏｍｍａｎｄ）とも呼ぶ。例えば、「Ｓｉｒｉ」仮想秘書を用いて天気情報を確認するためには、ユーザは「Ｈｅｙ, ｓｉｒｉ（ヘイシリ）」などの起動命令、および「今日の天気を教えて」などといった指示命令を一緒に入力しなければならない。

【0009】

このような短所を改善するべく、例えばＬＧ電子株式会社により出願され、２０１９年２月２７日付で公開された「電子装置およびその制御方法」という名称の韓国公開特許第１０－２０１９－００１９４０１号（特許文献２）は、複数の人工知能サーバ（即ち、複数の仮想秘書プラットホーム）に音声を転送する構成を開示する。

【0010】

韓国公開特許第１０－２０１９－００１９４０１号によれば、起動命令および指示命令を含む音声が入力されたら、電子装置は複数の仮想秘書プラットホームに対応する複数の起動命令を生成して複数の起動命令に指示命令を結合する音声信号を生成した後、複数の仮想秘書プラットホームに各々転送する。その後、電子装置は、複数の仮想秘書プラットホームの各々からの指示命令に対応する結果情報を受信して出力する。

【0011】

また例えば、ハーマン・インターナショナル・インダストリーズ（Ｈａｒｍａｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｉｎｄｕｓｔｒｉｅｓ, Ｉｎｃｏｒｐｏｒａｔｅｄ）により出願され、２０１８年１０月２３日付で公開された「複数の知能型個人秘書サービスのための管理階層」という名称の韓国公開特許第１０－２０１８－０１１５６２８号（特許文献３）は、複数の仮想秘書プラットホームに起動命令および指示命令を転送する構成を開示している。

【0012】

しかし、韓国公開特許第１０－２０１９－００１９４０１号によれば、ユーザが望まない仮想秘書プラットホームにも指示命令が伝達され、またユーザが望まない仮想秘書プラットホームからの結果も受信および出力される短所がある。また韓国公開特許第１０－２０１８－０１１５６２８によれば、ユーザが、ユーザ本人の望む仮想秘書プラットホームを明示的に特定しなければならない短所がある。即ち、「グーグル、今日の私の日程は？それとシリー、私のプレーリストから音楽を再生して」のような形でユーザは音声を入力しなければならない。

【0013】

また、既存のスマートスピーカまたは端末の仮想秘書は、特定のユーザを仮定しているだけで、多数のユーザについては考慮していない。従って、既存のスマートスピーカまたは端末の仮想秘書を用いて多数のユーザの各々に適した仮想秘書を提供することは非常に困難である。

【0014】

例えば、家庭内に配置されたスマートスピーカの場合、家族構成員全員が使用できるにも関わらず、各ユーザに適した仮想秘書を提供することは困難である。例えば高齢者のように音声が不確かなユーザの場合、当該ユーザの音声を認識して仮想秘書を提供することは非常に困難である。また、家族構成員ではない一時訪問者にスマートスピーカを通じて仮想秘書を提供する場合、訪問者に提供してはいけない機能もスマートスピーカを通じて提供されてしまうことがあり得る。例えば、仮想秘書が家庭内の家電製品を制御する場合、訪問者に家庭内の家電製品を制御する機能が制限なしに提供されてしまうこともあり得る。

【先行技術文献】

【特許文献】

【0015】

【文献】韓国登録特許第１０－１６８３０８３号

【文献】韓国公開特許第１０－２０１９－００１９４０１号公報

【文献】韓国公開特許第１０－２０１８－０１１５６２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0016】

本願で説明される技術の目的は、ユーザ別に設定されるユーザプロファイルを用いて個人化された仮想秘書を提供することにある。

【課題を解決するための手段】

【0017】

前記技術的課題を達成するために、本願で説明される技術の一態様によれば、
有線または無線通信インターフェースを提供する通信部と、（ａ）音声特性情報、サービス識別情報および前記サービス識別情報に対応する仮想秘書プラットホーム識別情報を各々有する一つ以上のユーザプロファイルを管理する処理と、（ｂ）第１サービスに対する指示命令を含む音声信号を電子装置から前記通信部を通じて受信する処理と、（ｃ）前記音声信号を基に、前記一つ以上のユーザプロファイルの中から個人化ユーザプロファイルを獲得する処理と、（ｄ）前記音声信号、または前記個人化ユーザプロファイルのうち少なくとも一つを基に、一つ以上の仮想秘書の中から前記第１サービスに対する前記指示命令に対応する第１仮想秘書を選択する処理と、（ｅ）前記音声信号を前記第１仮想秘書に適する第１信号に変換する処理と、（ｆ）前記第１信号を、前記第１仮想秘書を提供する第１仮想秘書プラットホームへ前記通信部を通じて転送し、前記第１仮想秘書プラットホームから前記第１信号に対応する第１応答信号を、前記通信部を通じて受信する処理と、（ｇ）前記第１応答信号を前記電子装置へ転送する処理と、を行う演算処理部を有する、個人化された仮想秘書を提供する装置が提供される。

【発明の効果】

【0018】

本願で説明される技術によれば、ユーザ別に設定されるユーザプロファイルを基に、個人化された仮想秘書を提供することができる。例えば、スマートスピーカまたは端末から転送される音声信号を基に個人化ユーザプロファイルを獲得し、音声信号、または個人化ユーザプロファイルのうち少なくとも一つを基に、ユーザ別に個人化された仮想秘書を提供することができる。

【図面の簡単な説明】

【0019】

【図1】本願で説明される技術の第１実施例に係る個人化された仮想秘書を提供する装置の例示的な構成を示す図面である。

【図2】第１実施例に係る個人化された仮想秘書を提供する装置を有するシステム環境の例示的な構成を示す図面である。

【図3】第１実施例に係る個人化広告を提供する装置の演算処理部が行う処理を例示的に示す図面である。

【図4】第１実施例に係る個人化広告を提供する装置の演算処理部が行う処理を例示的に示す図面である。

【図5】第１実施例に係る個人化広告を提供する装置のユーザプロファイルを例示的に示す図面である。

【図6】第２実施例に係る個人化広告を提供する装置の演算処理部が行う処理を例示的に示す図面である。

【発明を実施するための形態】

【0020】

以下、本願で説明される技術に係る個人化された仮想秘書を提供する装置の実施例を、添付した図面を参照しながらより具体的に説明する。一方、本願で説明される技術の実施例を説明するための図面において、説明の便宜上、実際の構成の一部のみを図示したり、一部を省略して図示したり、変形して図示したり、または縮尺が異なって図示されることもある。

【0021】

＜第１実施例＞
図１は、本願で説明される技術の第１実施例に係る個人化された仮想秘書を提供する装置の例示的な構成を示す図面である。

【0022】

図１を参照すれば、個人化された仮想秘書を提供する装置１００は、通信部１１０および演算処理部１３０を有する。また、図１を参照すれば、個人化された仮想秘書を提供する装置１００は、ユーザプロファイル保存部１５０をさらに有することができる。以下、個人化された仮想秘書を提供する装置１００を、単に装置１００とも呼ぶ。

【0023】

【図1】本願で説明される技術の第１実施例に係る個人化された仮想秘書を提供する装置の例示的な構成を示す図面である。

【図2】第１実施例に係る個人化された仮想秘書を提供する装置を有するシステム環境の例示的な構成を示す図面である。

【図3】第１実施例に係る個人化された仮想秘書を提供する装置の演算処理部が行う処理を例示的に示す図面である。

【図4】第１実施例に係る個人化された仮想秘書を提供する装置個人化された仮想秘書を提供する装置個人化された仮想秘書を提供する装置の演算処理部が行う処理を例示的に示す図面である。

【図5】第１実施例に係る個人化された仮想秘書を提供する装置のユーザプロファイルを例示的に示す図面である。

【図6】第２実施例に係る個人化された仮想秘書を提供する装置の演算処理部が行う処理を例示的に示す図面である。

【0024】

通信部１１０は、有線または無線通信インターフェースを提供する。例えば通信部１１０は電子装置（図２の２００）との有線または無線通信インターフェースを提供する。また、通信部１１０は仮想秘書プラットホーム（図２の３００）との有線または無線通信インターフェースを提供する。通信部１１０は、有無線通信を行う半導体チップを用いて実現できる。

【0025】

演算処理部１３０は、例えばＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）などの半導体素子によって実現できる。演算処理部１３０の一部機能は、第１ＣＰＵにより実現され、演算処理部１３０の他の一部機能は第２ＣＰＵにより実現され得る。演算処理部１３０の詳しい構成については後述する。

【0026】

ユーザプロファイル保存部１５０は、一つ以上のユーザプロファイルを保存する。ユーザプロファイル保存部１５０は、例えば半導体メモリなどの半導体素子によって実現できる。

【0027】

図２は、第１実施例に係る個人化された仮想秘書を提供する装置を有するシステム環境の例示的な構成を示す図面である。

【0028】

図２を参照すれば、システム環境は個人化された仮想秘書を提供する装置１００と、電子装置２００と、一つ以上の仮想秘書プラットホーム３００とを有する。電子装置２００はスマートスピーカ２１０、または端末２３０を有する。

【0029】

スマートスピーカ２１０は、上述した通り、例えばマイクロフォンのようにオーディオ信号を入力するためのオーディオ入力部、スピーカのようにオーディオ信号を出力するためのオーディオ出力部および仮想秘書との有線または無線通信連結のための通信部を有する。端末２３０は、上述した通り、例えばマイクロフォンなどのオーディオ入力部、スピーカなどのオーディオ出力部、有線または無線通信連結を提供する通信部および仮想秘書を実行するためのＣＰＵなどの演算処理部を有する。

【0030】

一つ以上の仮想秘書プラットホーム３００は、例えば仮想秘書プラットホーム３００－１、仮想秘書プラットホーム３００－２～仮想秘書プラットホーム３００－ｎで構成され得る。ｎは、例えば３以上の自然数である。例えば、仮想秘書プラットホーム３００－１は、アップル社の「Ｓｉｒｉ」仮想秘書のためのプラットホームであり、仮想秘書プラットホーム３００－２はグーグル社の「Ａｓｓｉｓｔａｎｔ」仮想秘書のためのプラットホームであり、仮想秘書プラットホーム３００－ｎはサムスン電子の「Ｂｉｘｂｙ」仮想秘書のためのプラットホームである。

【0031】

以下、第１実施例に係る演算処理部１３０をより詳しく説明する。

【0032】

図３および図４は、第１実施例に係る個人化された仮想秘書を提供する装置の演算処理部が行う処理を例示的に示す図面である。

【0033】

図３を参照すれば、演算処理部１３０は、音声特性情報、サービス識別情報およびサービス識別情報に対応する仮想秘書プラットホーム識別情報を各々有する一つ以上のユーザプロファイルを管理する処理Ｓ１１０を行う。

【0034】

処理Ｓ１１０は、例えばユーザ登録のためのインターフェースを基に正規ユーザプロファイルを生成する処理を有することができる。正規ユーザプロファイルは、一つ以上のユーザプロファイルの一つとして管理される。

【0035】

例えば、電子装置２００を使用する第１ユーザは、電子装置２００のユーザ登録のためのインターフェースを用いて自身の音声を入力し、処理Ｓ１１０によって第１ユーザのユーザプロファイル、即ち、第１ユーザプロファイルを生成することができる。第１ユーザプロファイルは、ユーザ登録のためのインターフェースを基に生成されるため、正規ユーザプロファイルである。

【0036】

図５は、第１実施例に係る個人化された仮想秘書を提供する装置のユーザプロファイルを例示的に示す図面である。

【0037】

図５を参照すれば、第１ユーザプロファイル～第３ユーザプロファイルが例示的に図示される。

【0038】

図５の第１ユーザプロファイルは、即ちユーザ登録のためのインターフェースを基に生成された正規ユーザプロファイルである。

【0039】

第１ユーザプロファイルは、生成初期には音声特性情報に該当する項目のみを有することができる。その後、第１ユーザは、ユーザ登録のためのインターフェースを通じてサービス識別情報およびサービス識別情報に対応する仮想秘書プラットホーム識別情報を入力することができる。例えば、第１ユーザは「天気情報はＡｓｓｉｓｔａｎｔを利用して教えて。」などの音声入力を通じてサービス識別情報、およびサービス識別情報に対応する仮想秘書プラットホーム識別情報を入力することができる。

【0040】

一方、第１ユーザプロファイルは、生成初期にサービス選好度情報を基に自動生成されるサービス識別情報およびサービス識別情報に対応する仮想秘書プラットホーム識別情報を有することもできる。例えば、「天気情報」サービスに対して一般的なユーザが「Ａｓｓｉｓｔａｎｔ」を選好し、「映画前売り」サービスに対して一般的なユーザが「Ｓｉｒｉ」を選好する場合、図５に例示されるように、第１ユーザプロファイルのサービス識別情報および仮想秘書プラットホーム識別情報として、サービス識別情報および仮想秘書プラットホーム識別情報の対応関係は「天気情報、Ａｓｓｉｓｔａｎｔ」、「映画前売り、Ｓｉｒｉ」のように自動生成することもできる。

【0041】

一方、第１ユーザプロファイルが生成された後、第１ユーザが電子装置２００を用いることによって、第１ユーザプロファイルのサービス識別情報およびサービス識別情報に対応する仮想秘書プラットホーム識別情報を生成または更新することもできる。例えば、第１ユーザが「Ｓｉｒｉ、今日の天気は？」などの音声入力を電子装置２００を通じて装置１００へ転送した場合、第１ユーザプロファイルのサービス識別情報および仮想秘書プラットホーム識別情報の対応関係は「天気情報、Ｓｉｒｉ」のように生成または更新できる。即ち、後述する処理Ｓ１４０を通じて選択される第１仮想秘書を基に、サービス識別情報およびサービス識別情報に対応する仮想秘書プラットホーム識別情報を生成または更新することもできる。

【0042】

処理Ｓ１１０は、例えば音声信号を基に臨時ユーザプロファイルを生成する処理を有することができる。臨時ユーザプロファイルは、一つ以上のユーザプロファイルのうち一つとして管理される。

【0043】

例えば、電子装置２００が家庭内に設置され、家族構成員が使用する場合、正規ユーザプロファイルは家族構成員に対して生成され、臨時ユーザプロファイルは、例えば訪問者などの臨時的なユーザのために生成される。

【0044】

図５を参照すれば、第３ユーザプロファイルは、臨時ユーザプロファイルである。第３ユーザプロファイルは、生成初期には音声特性情報に該当する項目のみを有することができる。その後、臨時ユーザが電子装置２００を使用することによって、第３ユーザプロファイルのサービス識別情報およびサービス識別情報に対応する仮想秘書プラットホーム識別情報を生成または更新することもできる。例えば、第３ユーザが「Ｓｉｒｉ、今日の天気は？」などの音声入力を電子装置２００を通じて装置１００へ転送した場合、第３ユーザプロファイルのサービス識別情報および仮想秘書プラットホーム識別情報の対応関係は「天気情報、Ｓｉｒｉ」のように生成または更新できる。

【0045】

一方、ユーザプロファイルは、サービス識別情報に対応するサービス提供可否情報をさらに有することができる。例えば、図５を参照すれば、第３ユーザプロファイルは、「冷蔵庫温度制御」に対しては「使用不可」と定義されている。即ち、臨時ユーザは「冷蔵庫温度制御」のようなサービスは使用することができない。臨時ユーザだけでなく、例えば家族構成員、即ち、正規ユーザであっても「冷蔵庫温度制御」などのサービスを使用できないようにサービス提供可否情報を設定することもできる。例えば、子供は家族構成員であっても「冷蔵庫温度制御」などのサービスは使用できないように設定することができる。サービス提供可否情報は、例えば敏感な情報を提供するサービス、および危険性のある家電製品を制御するサービスに対して使用不可として設定することができる。

【0046】

再び図３を参照すれば、処理Ｓ１１０は、予め指定された条件を基に臨時ユーザプロファイルを正規ユーザプロファイルに転換したり、臨時ユーザプロファイルを削除したりする処理を有することができる。

【0047】

即ち、臨時ユーザであっても、ユーザ登録のためのインターフェースを通じて正規ユーザに転換できる。または臨時ユーザプロファイルとして登録された後に、周期的に臨時ユーザプロファイルに対応する臨時ユーザの音声入力が電子装置２００を通じて受信されれば、当該臨時ユーザプロファイルは正規ユーザプロファイルに転換できる。また、臨時ユーザプロファイルとして登録された後、一定期間以上臨時ユーザプロファイルに対応する臨時ユーザの音声入力がなかったら、臨時ユーザプロファイルを削除することができる。

【0048】

再び図３を参照すれば、演算処理部１３０は第１サービスに対する指示命令を含む音声信号を、電子装置２００から通信部１１０を通じて受信する処理Ｓ１２０を行う。音声信号を受信する処理は従来の構成と類似しているため、詳細な説明を省略する。

【0049】

その後、演算処理部１３０は処理Ｓ１２０を通じて受信した音声信号を基に、一つ以上のユーザプロファイルの中から個人化ユーザプロファイルを獲得する処理Ｓ１３０を行う。

【0050】

演算処理部１３０は、例えば処理Ｓ１２０を通じて受信した音声信号と、一つ以上のユーザプロファイルの音声特性情報とを比較して、一つ以上のユーザプロファイルの中から個人化ユーザプロファイルを選択することができる。

【0051】

再び図３を参照すれば、演算処理部１３０は、処理Ｓ１２０を通じて受信した音声信号、または処理Ｓ１３０を通じて獲得した個人化ユーザプロファイルのうち少なくとも一つを基に、一つ以上の仮想秘書の中から第１サービスに対する指示命令に対応する第１仮想秘書を選択する処理Ｓ１４０を行う。

【0052】

処理Ｓ１２０を通じて受信した音声信号が起動命令を含む場合、処理Ｓ１４０は起動命令に対応する第１仮想秘書を選択する処理を有することができる。

【0053】

例えば、音声信号が「Ｓｉｒｉ、今日の天気は？」のように「Ｓｉｒｉ」を第１サービス、即ち天気情報に対する仮想秘書として指定する起動命令を含んでいるのであれば、処理Ｓ１４０を通じて第１サービスに対応する第１仮想秘書として「Ｓｉｒｉ」が選択される。

【0054】

処理Ｓ１２０を通じて受信した音声信号が特定の起動命令を含まない場合は、処理Ｓ１４０は、処理Ｓ１３０を通じて獲得した個人化ユーザプロファイルに含まれるサービス識別情報および仮想秘書プラットホーム識別情報を基に、第１仮想秘書を選択する処理を有することができる。

【0055】

即ち、「今日の天気は？」などの音声信号を受信したら、演算処理部１３０は、個人化ユーザプロファイルに含まれるサービス識別情報および仮想秘書プラットホーム識別情報を基に第１仮想秘書を選択する。例えば個人化ユーザプロファイルが図５に図示される第１ユーザプロファイルである場合、演算処理部１３０は処理Ｓ１４０を通じて第１サービス、即ち「天気情報」に対応する第１仮想秘書として「Ａｓｓｉｓｔａｎｔ」を選択する。

【0056】

即ち、処理Ｓ１４０は、処理Ｓ１２０を通じて受信した音声信号が第１仮想秘書に対応する起動命令を含んでいれば、起動命令に対応する第１仮想秘書を選択し、処理Ｓ１２０を通じて受信した音声信号が第１仮想秘書に対応する起動命令を含んでいなければ、個人化ユーザプロファイルに含まれるサービス識別情報および仮想秘書プラットホーム識別情報を基に第１仮想秘書を選択することができる。

【0057】

一方、音声信号は、電子装置起動命令を含むこともできる。即ち、特定の仮想秘書を選択するためではなく、電子装置２００を駆動するために、音声信号は電子装置起動命令を含むことができる。例えばスマートスピーカ２１０の起動命令が「スピーカ」と定義されるなら、音声信号は「スピーカ、今日の天気は？」のように電子装置起動命令を含むことができる。音声信号が電子装置起動命令を含む場合、演算処理部１３０は処理Ｓ１３０を通じて獲得した個人化ユーザプロファイルに含まれるサービス識別情報および仮想秘書プラットホーム識別情報を基に第１仮想秘書を選択することができる。

【0058】

図４を参照すれば、演算処理部１３０は処理Ｓ１２０を通じて受信した音声信号を、第１仮想秘書に適する第１信号に変換する処理Ｓ１５０を行う。

【0059】

処理Ｓ１５０は、例えば第１仮想秘書に対応する起動命令および第１サービスに対する指示命令を含む第１信号を生成する処理を有することができる。

【0060】

例えば音声信号が「今日の天気は？」のように特定仮想秘書を指定していない形態であっても、演算処理部１３０は処理Ｓ１４０を通じて選択された第１仮想秘書に対応する起動命令を含む第１信号を生成することができる。例えば第１仮想秘書として「Ａｓｓｉｓｔａｎｔ」を選択した場合、演算処理部１３０は「Ａｓｓｉｓｔａｎｔ、今日の天気は？」のように第１仮想秘書に対応する起動命令および第１サービスに対する指示命令を含む第１信号を生成することができる。

【0061】

処理Ｓ１５０は、例えば指示命令をＳＴＴ（ｓｐｅｅｃｈ ｔｏ ｔｅｘｔ）機能を用いてテキスト情報に変換する処理と、テキスト情報を明確に修正した修正テキスト情報を生成する処理と、修正テキスト情報をＴＴＳ（ｔｅｘｔ ｔｏ ｓｐｅｅｃｈ）機能を用いて変換した修正指示命令を含む第１信号を生成する処理とを有することができる。

【0062】

例えば、指示命令が「天気今日」のように文法的に明確でない場合、または方言を含む場合にも、演算処理部１３０は指示命令を「天気今日」のようにテキスト情報に変換する。その後、演算処理部１３０はテキスト情報を分析して「今日の天気は？」のようにより自然かつ明確に修正テキスト情報を生成する。その後、演算処理部１３０は、修正テキスト情報をＴＴＳ機能を用いて変換した修正指示命令を含む第１信号を生成することができる。

【0063】

修正指示命令は、例えば標準音声特性を基にＴＴＳ機能を用いて生成できる。即ち、修正指示命令は、個人化ユーザプロファイルに含まれている音声特性情報を用いて、ユーザの本来の音声と類似に生成されることもあるが、標準音声特性を用いて生成されることもある。標準音声特性を用いて修正指示命令が生成される場合、第１仮想秘書プラットホームはより正確に第１信号を認識することができる。修正指示命令を含む第１信号は、第１仮想秘書に対応する起動命令をさらに有することもできる。

【0064】

また、標準音声特性を基に、ＴＴＳ機能を用いて修正指示命令を生成する場合、ユーザの音声特性情報は修正指示命令に含まれない。従って、第１仮想秘書プラットホームにはユーザの音声特性情報が伝達されないため、ユーザの音声特性情報を露出させずに、第１仮想秘書プラットホームを通じて第１仮想秘書が提供できる。

【0065】

演算処理部１３０は、人工知能プラットホームを用いて処理Ｓ１５０を行うことができる。即ち、演算処理部１３０は、音声認識処理、自然言語理解処理、自然言語生成処理およびＳＴＴ処理、ＴＴＳ処理などの処理を人工知能プラットホームを用いて行うことができる。人工知能プラットホームを用いて演算処理部１３０が処理を行うことによって、演算処理部１３０は第１信号をより効率的に生成することができる。

【0066】

図４を再び参照すれば、演算処理部１３０は処理Ｓ１５０を通じて生成された第１信号を第１仮想秘書プラットホームへ通信部１１０を通じて転送し、第１仮想秘書プラットホームから第１信号に対応する第１応答信号を、通信部１１０を通じて受信する処理Ｓ１６０を行う。

【0067】

例えば、第１仮想秘書として「Ａｓｓｉｓｔａｎｔ」を選択し、第１信号が「Ａｓｓｉｓｔａｎｔ、今日の天気は？」である場合、演算処理部１３０は第１仮想秘書プラットホームとして仮想秘書プラットホーム３００－２を指定し、仮想秘書プラットホーム３００－２へ第１信号を転送する。その後、演算処理部１３０は仮想秘書プラットホーム３００－２から第１応答信号を受信する。

【0068】

望ましくは、ユーザプロファイルはユーザ識別情報を有する。ユーザ識別情報は、ユーザを絶対的に識別する情報であっても良いが、電子装置２００のユーザを相対的に識別するために用いられる情報であっても良い。

【0069】

処理Ｓ１６０は、個人化ユーザプロファイルのユーザ識別情報を第１信号と共に、第１仮想秘書プラットホームへ通信部１１０を通じて転送する処理を有することができる。第１仮想秘書プラットホーム、例えば仮想秘書プラットホーム３００－２は、個人化ユーザプロファイルのユーザ識別情報を受信したら、電子装置２００のユーザ識別情報に該当するユーザがサービスを要請した旨を確認することができる。

【0070】

その後、演算処理部１３０は、処理Ｓ１６０を通じて受信した第１応答信号を電子装置２００へ転送する処理Ｓ１７０を行う。

【0071】

以上説明したとおり、第１実施例によれば、ユーザが仮想秘書に対する起動命令を入力しなくても、ユーザ別に設定されるユーザプロファイルを基に、個人化された仮想秘書が提供できる。また、仮想秘書プラットホームに伝達される仮想秘書に対する起動命令は、演算処理部１３０によって自動生成できる。

【0072】

＜第２実施例＞
図６は、第２実施例に係る個人化された仮想秘書を提供する装置の演算処理部が行う処理を例示的に示す図面である。

【0073】

第２実施例によれば、音声信号は、第２サービスに対する指示命令をさらに有する。例えば「今日の天気は？あと音楽再生して」のように、音声信号は第１サービスに対する指示命令、即ち「今日の天気は？」と、第２サービスに対する指示命令、即ち「音楽再生して」を有することができる。

【0074】

第１サービスに対する指示命令は、上述した第１実施例と同様に処理される。即ち、演算処理部１３０は、第１仮想秘書プラットホームから第１応答信号を受信して電子装置２００へ転送する。

【0075】

第２サービスに対する指示命令も、上述した第１実施例と同様に処理される。

【0076】

より具体的には、演算処理部１３０は、音声信号、または個人化ユーザプロファイルのうち少なくとも一つを基に、一つ以上の仮想秘書の中から第２サービスに対する指示命令に対応する第２仮想秘書を選択する処理Ｓ１８０と、音声信号を第２仮想秘書に適する第２信号に変換する処理Ｓ１９０と、第２信号を、第２仮想秘書を提供する第２仮想秘書プラットホームへ通信部１１０を通じて転送し、第２仮想秘書プラットホームから第２信号に対応する第２応答信号を通信部１１０を通じて受信する処理Ｓ２００と、第２応答信号を電子装置２００へ転送する処理Ｓ２１０をさらに行う。第２仮想秘書は、第１仮想秘書と同一であるか、または異なる。処理Ｓ１８０～処理Ｓ２１０は、図３～図４を参照にして説明された処理Ｓ１４０～処理Ｓ１７０と実質的に同一であるため、詳細な説明を省略する。

【0077】

以上説明した通り、第２実施例によれば、上述した第１実施例に係る効果に加えて、ユーザが複数のサービスの各々に対して仮想秘書に対する起動命令を入力しなくても、ユーザ別に設定されるユーザプロファイルを基に、複数のサービスの各々に対して個人化された仮想秘書が提供できる。また、複数の仮想秘書プラットホームに伝達される複数の仮想秘書に対する起動命令は、演算処理部１３０によって複数の仮想秘書別に自動生成できる。

【0078】

＜他の実施例＞
本願で説明される技術の実施例が具体的に説明されたが、これは単に本願で説明される技術を例示的に説明したに過ぎず、本願で説明される技術が属する技術分野において通常の知識を有する者であれば、本願で説明される技術の本質的な特性から逸しない範囲内で様々な変形が可能である。

【0079】

例えば、図５を参照にして例示されたサービス識別情報およびサービス識別情報に対応する仮想秘書プラットホーム識別情報は例示的なものであり、サービス識別情報は多様に変更され得る。

【0080】

従って、本明細書に説明される実施例は、本願で説明される技術を限定するためのものでなく説明するためのものであって、このような実施例によって本願で説明される技術の思想と範囲が限定されるわけではない。本願で説明される技術の権利範囲は、以下の請求範囲によって解釈されるべきであり、それ同等の範囲内にある全ての技術は、本願で説明される技術の権利範囲に含まれるものとして解釈されるべきである。

【産業上の利用可能性】

【0081】

本願で説明される技術によれば、ユーザ別に設定されるユーザプロファイルを基に、個人化された仮想秘書を提供することができる。例えば、スマートスピーカまたは端末から転送される音声信号を基に個人化ユーザプロファイルを獲得し、音声信号、または個人化ユーザプロファイルのうち少なくとも一つを基にユーザ別に個人化された仮想秘書を提供することができる。

【符号の説明】

【0082】

１００ 個人化された仮想秘書を提供する装置
１１０ 通信部
１３０ 演算処理部
１５０ ユーザプロファイル保存部
２００ 電子装置
２１０ スマートスピーカ
２３０ 端末
３００ 仮想秘書プラットホーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】