特開 2022-113569 スマートスピーカー、処理方法及び処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022113569

(43)【公開日】2022-08-04

(54)【発明の名称】スマートスピーカー、処理方法及び処理プログラム

(51)【国際特許分類】

   G10L 15/22 20060101AFI20220728BHJP

   G10L 15/06 20130101ALI20220728BHJP

   G10L 15/00 20130101ALI20220728BHJP

【ＦＩ】

G10L15/22 453

G10L15/06 400Z

G10L15/06 500Z

G10L15/00 200Z

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021009891

(22)【出願日】2021-01-25

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】佐藤 昌紀

(57)【要約】

【課題】ユーザの所定の音声命令や問いかけをトリガーとして限定することなく、柔軟に音声認識機能を実行することができる。
【解決手段】スマートスピーカー１０は、音声データの入力を受け付ける受付部１１と、受付部によって受け付けられた音声データを解析して会話の内容を特定する特定部１４と、特定部１４によって特定された会話の内容に応じて、所定の処理の開始と開始する処理の内容とを決定する決定部１５と、決定部１５によって決定された処理の内容に応じて、所定の処理を実行する実行部１６と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

音声データの入力を受け付ける受付部と、
前記受付部によって受け付けられた音声データを解析して会話の内容を特定する特定部と、
前記特定部によって特定された会話の内容に応じて、所定の処理の開始と開始する処理の内容とを決定する決定部と、
前記決定部によって決定された処理の内容に応じて、所定の処理を実行する実行部と、
を有することを特徴とするスマートスピーカー。

【請求項2】

前記実行部は、所定の遅延時間後に前記所定の処理の実行結果を出力することを特徴とする請求項１に記載のスマートスピーカー。

【請求項3】

それぞれ異なる特徴を有する音声データを解析して会話の内容を特定する複数のモデルと、
入力された前記音声データの特徴に応じて、前記複数のモデルのいずれかを選択する選択部と、
を有し、
前記特定部は、前記選択部によって選択されたモデルを用いて前記音声データを解析して会話の内容を特定することを特徴とする請求項２に記載のスマートスピーカー。

【請求項4】

前記複数のモデルは、入力された前記音声データに応じて前記遅延時間を推算する機能を有し、
前記決定部は、前記選択部によって選択されたモデルを用いて前記音声データに応じた遅延時間を決定し、
前記実行部は、前記決定部が設定した遅延時間後、前記会話の内容に応じて、前記所定の処理の実行結果を出力することを特徴とする請求項３に記載のスマートスピーカー。

【請求項5】

前記複数のモデルは、会話の内容及び次の発言が開始されるまでの時間をパラメータとして、前記遅延時間を学習することを特徴とする請求項４に記載のスマートスピーカー。

【請求項6】

前記複数のモデルは、前記所定の処理の実行結果を保持する保持時間を推算する機能を有し、
前記決定部は、前記選択部によって選択されたモデルを用いて前記音声データに応じた前記保持時間を決定し、
前記実行部は、前記決定部が決定した遅延時間後、前記保持時間に達した際に、前記所定の処理の実行結果を破棄することを特徴とする請求項４または５に記載のスマートスピーカー。

【請求項7】

スマートスピーカーが実行する処理方法であって、
音声データの入力を受け付ける受付工程と、
前記受付工程において受け付けられた音声データを解析して会話の内容を特定する特定工程と、
前記特定工程において特定された会話の内容に応じて、所定の処理の開始と開始する処理の内容とを決定する決定工程と、
前記決定工程において決定された処理の内容に応じて、所定の処理を実行する実行工程と、
を含んだことを特徴とする処理方法。

【請求項8】

音声データの入力を受け付ける受付ステップと、
前記受付ステップにおいて受け付けられた音声データを解析して会話の内容を特定する特定ステップと、
前記特定ステップにおいて特定された会話の内容に応じて、所定の処理の開始と開始する処理の内容とを決定する決定ステップと、
前記決定ステップにおいて決定された処理の内容に応じて、所定の処理を実行する実行ステップと、
をコンピュータに実行させるための処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートスピーカー、処理方法及び処理プログラムに関する。

【背景技術】

【0002】

音声認識を活用した技術群が様々な企業によりソフトウェアとして応用され、スマートスピーカー等の製品が多く世の中に出回っている。一般的に、スマートスピーカーに搭載されている音声認識エンジンの起動は、人間により問いかけることがトリガーとなっていることが一般的である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０６４２６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のスマートスピーカーは、ユーザの音声による所定の音声命令や問いかけによる音声入力がトリガーとなっているため、その他の音声データ、例えば、テレビの音声、雑談などを音声入力として扱うことができない。

【0005】

本発明は、上記に鑑みてなされたものであって、ユーザの所定の音声命令や問いかけをトリガーとして限定することなく、柔軟に音声認識機能を実行することができるスマートスピーカー、処理方法及び処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明のスマートスピーカーは、音声データの入力を受け付ける受付部と、受付部によって受け付けられた音声データを解析して会話の内容を特定する特定部と、特定部によって特定された会話の内容に応じて、所定の処理の開始と開始する処理の内容とを決定する決定部と、決定部によって決定された処理の内容に応じて、所定の処理を実行する実行部と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、ユーザの所定の音声命令や問いかけをトリガーとして限定することなく、柔軟に音声認識機能を実行することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態における処理内容を説明する図である。

【図2】図２は、実施の形態に係るスマートスピーカーの構成の一例を示すブロック図である。

【図3】図３は、モデルの学習処理について説明する図である。

【図4】図４は、実施の形態に係る処理方法の処理手順を示すフローチャートである。

【図5】図５は、プログラムを実行するコンピュータを示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係るスマートスピーカー、処理方法及び処理プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係るスマートスピーカー、処理方法及び処理プログラムが限定されるものではない。

【0010】

［実施の形態］
以下の実施の形態では、実施の形態に係るスマートスピーカー、処理方法及び処理プログラムの処理の流れを順に説明し、最後に実施の形態による効果を説明する。

【0011】

まず、実施の形態について説明する。図１は、実施の形態における処理内容を説明する図である。本実施の形態に係るスマートスピーカーは、ユーザによる所定の音声命令や問いかけに限らず、その他の各種音声データも入力として扱う。そして、本実施の形態に係るスマートスピーカーは、入力を受け付けた各音声データを基に自動的にトリガーを決定して音声認識処理を起動させ、補充情報等の音声出力を可能とする。

【0012】

例えば、本実施の形態に係るスマートスピーカーは、テレビ（ＴＶ）の音声を入力とし、ＴＶ視聴中に自動で音声認識を行い、ＴＶにおける放映内容を補充する補充情報（豆知識等）を解説する。例えば、ＴＶが天気予報を放映していた場合、ＴＶ音声で出力されていない天気に関する情報を補充情報として解説する。或いは、スマートスピーカーは、複数人による会話についても自動で音声認識を行い、会話内容に対する補充情報や、会話内容に適したバックミュージックを音声出力する。このように様々な音声データを処理するためには、各種音声データにそれぞれ対応した音声認識モデルにより、音声認識処理を実行させることが必要である。

【0013】

そこで、本実施の形態に係るスマートスピーカーは、各種音声データに対応する音声認識モデルを使い分けて音声認識を行う。例えば、図１に示すように、スマートスピーカーは、ＴＶの音声データを処理可能であるＴＶ音声用モデル、スマートスピーカーのユーザの音声を処理可能である音声用モデル、及び、複数人の会話の音声データを処理可能である会話用モデルを用いる。そして、スマートスピーカーは、音声データが入力されると、適切なモデルへルーティングする前処理を行うことによって、音声データの種別に応じたモデルを用いて音声認識を行い、高精度な音声認識処理を実現する。

【0014】

また、本実施の形態に係るスマートスピーカーは、会話に割り込むことができるようなタイミング、すなわち遅延時間経過後に、音声認識の処理結果を出力することで、不快な割込みが起こさないようにする。この際、スマートスピーカーは、遅延している処理が多い場合には、所定の保持時間に達した古い処理結果から破棄し、処理を円滑化している。

【0015】

［スマートスピーカーの構成］
実施の形態に係るスマートスピーカーの構成を説明する。図２は、実施の形態に係るスマートスピーカーの構成の一例を示すブロック図である。

【0016】

実施の形態に係るスマートスピーカー１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。スマートスピーカー１０は、それぞれ、ＮＩＣ（Network Interface Card）等を有し、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置との間の通信を行うことも可能である。また、スマートスピーカー１０は、音声データの入力を受け付ける音声入力デバイス、処理結果を音声で出力するスピーカーを有する。

【0017】

図１に示すように、スマートスピーカー１０は、受付部１１、モデル１２、選択部１３、特定部１４、決定部１５、実行部１６及び出力部１７を有する。

【0018】

受付部１１は、音声データの入力を受け付ける。本実施の形態では、ＴＶから出力されるＴＶ音声、スマートスピーカーのユーザの音声、複数人による会話の音声を、受付部１１が入力を受け付ける音声データの一例として説明する。

【0019】

モデル１２は、それぞれ異なる特徴を有する音声データを解析して会話の内容を特定する音声認識処理を行う複数のモデルを有する。例えば、モデル１２は、ＴＶ音声用モデル１２１、音声用モデル１２２及び会話用モデル１２３を有する。

【0020】

ＴＶ音声用モデル１２１は、ＴＶ音声を解析する。音声用モデル１２２は、スマートスピーカーユーザの音声を解析する。会話用モデル１２３は、複数による会話の音声を解析し、人ごとに音声を分類して会話の内容を特定する。ＴＶ音声用モデル１２１、音声用モデル１２２及び会話用モデル１２３は、会話の内容として、例えば、キーワード、会話の後の沈黙、雰囲気（声のトーン、波長帯域）を特定する。各モデルは、音声認識対象の音声データを予め学習しており、ユーザによる使用に応じて適宜再学習をすることで、カスタマイズされる。

【0021】

そして、ＴＶ音声用モデル１２１、音声用モデル１２２及び会話用モデル１２３は、入力された音声データに応じて遅延時間を推算してもよい。例えば、各モデルは、対象とする音声データごとに、特定された会話の内容（キーワード、会話の後の沈黙、雰囲気（声のトーン、波長帯域）に応じて、それぞれ遅延時間を推算する。さらに、ＴＶ音声用モデル１２１、音声用モデル１２２及び会話用モデル１２３は、出力対象の処理結果、すなわち、所定の音声認識の処理の実行結果を保持する保持時間を推算してもよい。なお、遅延時間及び保持時間は、会話に割り込んで出力する設定の場合に推算される。

【0022】

図３は、モデルの学習処理について説明する図である。図３に示すように、各モデルは、それぞれ解析対象となる音声の、会話の内容、及び、次の発言が開始されるまでの時間（話の間の時間）をパラメータとし、学習することで、解析対象となる音声ごとに、話者の話の間を推算し、遅延時間及び保持時間を算出する。各モデルは、ユーザによる使用に応じて適宜再学習をすることで、遅延時間及び保持時間についてもカスタマイズされる。

【0023】

選択部１３は、ノイズ、生活音等の除去を行う。そして、選択部１３は、入力された音声データの特徴に応じて、モデル１２における複数のモデルのいずれかを選択する。選択部１３は、入力された音声データの特徴に応じて、入力された音声データが、ＴＶ音声、スマートスピーカーのユーザの音声、複数人（ユーザを含む場合と含まない場合がある。）による会話の音声のいずれかであるかを判別し、判別した音声の種類に応じたモデルを選択する。選択部１３は、例えば、ＴＶ音声は、上下の周波数帯域が限られている等の特徴を基に判別する。

【0024】

例えば、選択部１３は、予めユーザの音声を登録する。ここで、選択部１３は、ユーザが複数人で会話している可能性もあるので、その点を考慮して判別処理を行う。例えば、選択部１３は、まず、入力された音声データが、ユーザの音声であるか否かを判別する。そして、選択部１３は、入力された音声データが、ユーザの音声でない場合には、ユーザを含む複数による会話の音声であるか否かを判別し、その後、ＴＶ音声であるか、ユーザを含まない複数人の会話の音声であるかを判別してもよい。例えば、選択部１３は、入力された音声データがユーザの音声である場合及び複数人の会話ではない場合には、音声用モデル１２２を選択する。なお、選択部１３は、ユーザを含む複数による会話の音声である場合であって会話からユーザの音声を分離できた場合には、音声用モデル１２２を選択して、分離したユーザ音声を処理させてもよい。選択部１３は、入力された音声データが、ＴＶ音声である場合には、ＴＶ音声用モデル１２１を選択する。選択部１３は、入力された音声データが、複数人（ユーザを含む場合と含まない場合がある。）の会話の音声である場合には、会話用モデル１２３を選択する。選択部１３は、入力された音声が、対象処理外の種別の音声である場合には、以降の処理を実行しないことを選択してもよい。

【0025】

また、選択部１３は、複数の音声データである場合には、それぞれの音声に分離して、優先的に処理する音声の種別を設定し、該音声の種別に応じたモデルを選択する。選択部１３は、例えば、会話とＴＶ音声が入力された場合には、ＴＶ音声を優先的に処理することを選択して、ＴＶ音声用モデル１２１を選択する。また、選択部１３は、例えば、会話とＴＶ音声が入力された場合には、会話を優先的に処理することを選択して、会話用モデル１２３を選択してもよい。

【0026】

特定部１４は、受付部１１によって受け付けられた音声データを解析して会話の内容（キーワード、会話の後の沈黙、雰囲気）を特定する。特定部１４は、選択部１３によって選択されたモデルを用いて、音声データを解析することで、的確に会話の内容を特定することができる。そして、決定部１５は、音声データ以外の情報、例えば、画像解析を行い、ユーザの表情や、盛り上がりの有無を特定してもよい。

【0027】

決定部１５は、特定部１４によって特定された会話の内容に応じて、所定の処理の開始と開始する処理の内容とを決定する。例えば、処理の内容は、会話の内容、例えば、キーワード、会話の後の沈黙、雰囲気に応じた、補充情報（豆知識等）の出力、音楽の出力等である。所定の処理の開始は、割り込んでよいと判断される遅延時間である。決定部１５は、例えば、決定部１５は、会話が続いていない場合（空白）、キーワード（盛り上がっている時に出てくるワード）、雰囲気（声のトーン、波長帯域）を基に、所定の処理の開始（トリガー）を決める。そして、決定部１５は、会話の内容、例えば、キーワード、会話の後の沈黙、雰囲気を基に、補充情報（豆知識等）の出力、音楽の出力等の処理の内容を決定する。

【0028】

決定部１５は、所定の遅延時間後に、所定の処理の開始を決定し、実行部１６（後述）に所定の処理の実行結果を出力させる。例えば、キーワードごとに予め遅延時間が設定されており、決定部１５は、特定部１４によって特定されたキーワードを基に、該キーワードに対して設定された遅延時間を、所定の処理の開始タイミングとなる遅延時間として決定する。また、会話の後の沈黙が続く場合に対しては、所定の遅延時間が設定され、会話が盛り上がっている場合には、沈黙時の場合よりも長い遅延時間が設定される。また、講義中である場合には、講師の講義の補助のために、沈黙時の場合よりも短い遅延時間が設定される。また、例えば、処理の内容やスマートスピーカー１０のリソースに応じて保持時間が予め設定されていてもよい。保持時間は、すぐに割り込めなかった際に、処理の実行結果の出力を待機し、実行結果を保持する時間である。

【0029】

また、決定部１５は、選択部１３によって選択されたモデルを用いて、音声データに応じた遅延時間を決定してもよい。そして、決定部１５は、選択部１３によって選択されたモデルを用いて、音声データに応じた保持時間を決定してもよい。

【0030】

実行部１６は、決定部１５によって決定された処理の内容に応じて、所定の処理を実行する。出力部１７は、実行部が実行した処理の実行結果を音声出力する。実行部１６は、所定の処理として、例えば、情報検索を行い、会話の内容やＴＶ音声で出力された情報に対する補充情報（豆知識等）を出力する。

【0031】

具体的には、特定部１４は、所定の処理として、キーワードを抽出し、実行部１６は、抽出されたキーワードをもとに情報検索を行う。特定部１４は、キーワードの抽出として、予め各種キーワードを学習済みのニューラルネットワーク等で構成されたモデルを用いてもよい。また、特定部１４は、形態素解析の実行や、文章の特徴、文章の形式（例えば、質問形式）、疑問の時に使う言葉などの検出を行う。そして、決定部１５は、「～かも」や疑問形の文章を認識し、その文章に出てくる単語をキーワードとして実行部１６に情報を検索させる。なお、決定部１５は、疑問形の文章の認識の際に、語尾が上がる部分を予め学習させたニューラルネットワーク等で構成されたモデルを用いてもよい。また、特定部１４は、ＴＶ音声の場合には、今検索が増加してきている傾向を見て、検索が増加しているキーワードを抽出し、決定部１５は、このキーワードで実行部１６に情報検索を実行させてもよい。例えば、特定部１４は、数式等を利用して、検索数の傾きが所定の傾きよりも急になっているかを判定して、傾向を判別してもよい。また、実行部１６は、信頼できるソースを選択して、情報検索を行い、取得した情報を成形して、出力部１７から出力する。また、実行部１６は、会話の内容に適した音楽をバックミュージックとして、出力部１７から出力する。

【0032】

実行部１６は、所定の遅延時間後に所定の処理の実行結果を出力する。実行部１６は、決定部１５が決定した遅延時間後、会話の内容に応じて、所定の処理の実行結果を出力する。実行部１６は、決定部１５が決定した遅延時間に達した際に、会話が行われていた場合には、割り込みを行わず、処理の実行結果の出力を待機し、実行結果を保持する。そして、実行部１６は、決定部１５が決定した遅延時間後、保持時間に達した際に、出力せずに保持していた所定の処理の実行結果を破棄する。

【0033】

［処理の流れ］
次に、スマートスピーカー１０における処理方法の流れについて説明する。図４は、実施の形態に係る処理方法の処理手順を示すフローチャートである。

【0034】

図４に示すように、音声データの入力を受け付けると（ステップＳ１）、選択部１３は、入力された音声データの特徴に応じて、モデル１２における複数のモデルのいずれかを選択する（ステップＳ２）。

【0035】

続いて、特定部１４は、受付部１１によって受け付けられた音声データを解析して会話の内容を特定する（ステップＳ３）。決定部１５は、特定部１４によって特定された会話の内容に応じて、所定の処理の開始と開始する処理の内容とを決定する（ステップＳ４）。続いて、決定部１５は、遅延時間及び保持時間を決定する（ステップＳ５）。決定部１５は、予め設定された遅延時間及び保持時間のうち、会話の内容に対応する遅延時間及び保持時間を選択する。或いは、決定部１５は、選択部１３によって選択されたモデルが推算した遅延時間及び保持時間を採用する。

【0036】

実行部１６は、決定部１５によって決定された処理の内容に応じて、所定の処理を実行し（ステップＳ６）、決定部１５によって決定された遅延時間に達したか否かを判定する（ステップＳ７）。実行部１６は、遅延時間に達していない場合には（ステップＳ７：Ｎｏ）、ステップＳ７の判定処理を繰り返す。

【0037】

遅延時間に達した場合（ステップＳ７：Ｙｅｓ）、実行部１６は、割込み可能であるかを判定する（ステップＳ８）。割込み可能である場合（ステップＳ８：Ｙｅｓ），実行部１６は、処理の実行結果の出力を音声で出力する（ステップＳ９）。

【0038】

これに対し、割込み可能でない場合（ステップＳ８：Ｎｏ）、実行部１６は、保持時間に達したか否かを判定する（ステップＳ１０）。そして、実行部１６は、保持時間に達していない場合（ステップＳ１０：Ｎｏ）、ステップＳ８に戻り、ステップＳ8の判定処理を行う。また、保持時間に達した場合（ステップＳ１０：Ｙｅｓ）、実行部１６は、出力せずに保持していた処理の実行結果を破棄する（ステップＳ１１）。

【0039】

［実施の形態の効果］
このように、本実施の形態では、受け付けられた音声データを解析して会話の内容を特定し、特定された会話の内容に応じて、所定の処理の開始と開始する処理の内容とを決定し、決定された処理の内容に応じて、所定の処理を実行する。

【0040】

したがって、本実施の形態では、ユーザの問いかけによる音声入力をトリガーとする必要がなく、他の音声、ＴＶ音声、雑談等の会話を入力として、自動的にトリガーを決定し、音声認識処理を起動させ、豆知識や音楽等を音声出力する。このため、本実施の形態によれば、ユーザの所定の音声命令や問いかけをトリガーとして限定することなく、柔軟に音声認識機能を実行することができるため、音声認識技術の用途をさらに拡張することが可能になる。

【0041】

そして、本実施の形態では、音声の種別ごとに、音声認識のモデルをそれぞれ用意し、入力された音声データの特徴に応じて、複数のモデルのいずれかを選択し、選択したモデルを用いて、音声認識処理を実行する。このように、本実施の形態では、各種音声データに対応する音声認識モデルを使い分けて音声認識を行うため、精度の高い音声認識処理を実行することが可能になる。

【0042】

また、本実施の形態では、所定の遅延時間後に豆知識や音楽等を音声出力する。この際、本実施の形態では、各モデルが、話者の話の間を推算し、会話に割り込むことができるタイミング（遅延時間）を推算することで、不快な割込みは起こらないように遅延させている。また、本実施の形態では、各モデルは、会話の内容及び次の発言が開始されるまでの時間をパラメータとして、遅延時間を学習するため、適切な割り込みタイミングを推算することができる。そして、本実施の形態では、複数のモデルが、所定の処理の実行結果、例えば、豆知識や音楽等の音声出力を保持する保持時間を推算することで、古い音声出力から削除して、会話の内容からずれた不要な出力が出力されることを抑制している。

【0043】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0044】

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0045】

［プログラム］
また、上記実施形態において説明したスマートスピーカー１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態におけるスマートスピーカー１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0046】

図５は、プログラムを実行するコンピュータを示す図である。図５に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

【0047】

メモリ１０１０は、図５に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図５に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0048】

ここで、図５に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

【0049】

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

【0050】

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0051】

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0052】

１０ スマートスピーカー
１１ 受付部
１２ モデル
１３ 選択部
１４ 特定部
１５ 決定部
１６ 実行部
１７ 出力部
１２１ ＴＶ音声用モデル
１２２ 音声用モデル
１２３ 会話用モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2022-04-14

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

音声データの入力を受け付ける受付部と、
それぞれ異なる特徴を有する音声データを解析して会話の内容を特定する複数のモデルと、
入力された前記音声データの特徴に応じて、前記複数のモデルのいずれかを選択する選択部と、
前記選択部によって選択されたモデルを用いて、前記受付部によって受け付けられた音声データを解析して会話の内容を特定する特定部と、
前記特定部によって特定された会話の内容に応じて、所定の処理の開始として、割り込んでよいと判断される遅延時間と、開始する処理の内容とを決定する決定部と、
前記決定部によって決定された処理の内容に応じて、所定の処理を実行し、前記割り込んでよいと判断される遅延時間後に前記所定の処理の実行結果を出力する実行部と、
を有し、
前記複数のモデルは、入力された前記音声データに応じて前記遅延時間を推算する機能を有し、
前記決定部は、前記選択部によって選択されたモデルを用いて前記音声データに応じた遅延時間を決定し、
前記実行部は、前記決定部が決定した遅延時間後、前記会話の内容に応じて、前記所定の処理の実行結果を出力することを特徴とするスマートスピーカー。

【請求項2】

前記複数のモデルは、会話の内容及び次の発言が開始されるまでの時間をパラメータとして、前記遅延時間を学習することを特徴とする請求項１に記載のスマートスピーカー。

【請求項3】

前記複数のモデルは、前記所定の処理の実行結果を保持する保持時間を推算する機能を有し、
前記決定部は、前記選択部によって選択されたモデルを用いて前記音声データに応じた前記保持時間を決定し、
前記実行部は、前記決定部が決定した遅延時間後、前記保持時間に達した際に、前記所定の処理の実行結果を破棄することを特徴とする請求項１または２に記載のスマートスピーカー。

【請求項4】

スマートスピーカーが実行する処理方法であって、
音声データの入力を受け付ける受付工程と、
入力された前記音声データの特徴に応じて、それぞれ異なる特徴を有する音声データを解析して会話の内容を特定する複数のモデルのいずれかを選択する選択工程と、
前記選択工程において選択されたモデルを用いて、前記受付工程によって受け付けられた音声データを解析して会話の内容を特定する特定工程と、
前記特定工程において特定された会話の内容に応じて、所定の処理の開始として、割り込んでよいと判断される遅延時間と、開始する処理の内容とを決定する決定工程と、
前記決定工程において決定された処理の内容に応じて、所定の処理を実行し、前記割り込んでよいと判断される遅延時間後に前記所定の処理の実行結果を出力する実行工程と、
を含み、
前記複数のモデルは、入力された前記音声データに応じて前記遅延時間を推算する機能を有し、
前記決定工程は、前記選択工程において選択されたモデルを用いて前記音声データに応じた遅延時間を決定し、
前記実行工程は、前記決定工程において決定された遅延時間後、前記会話の内容に応じて、前記所定の処理の実行結果を出力することを特徴とする処理方法。

【請求項5】

音声データの入力を受け付ける受付ステップと、
入力された前記音声データの特徴に応じて、それぞれ異なる特徴を有する音声データを解析して会話の内容を特定する複数のモデルのいずれかを選択する選択ステップと、
前記選択ステップにおいて選択されたモデルを用いて、前記受付ステップにおいて受け付けられた音声データを解析して会話の内容を特定する特定ステップと、
前記特定ステップにおいて特定された会話の内容に応じて、所定の処理の開始として、割り込んでよいと判断される遅延時間と、開始する処理の内容とを決定する決定ステップと、
前記決定ステップにおいて決定された処理の内容に応じて、所定の処理を実行し、前記割り込んでよいと判断される遅延時間後に前記所定の処理の実行結果を出力する実行ステップと、
をコンピュータに実行させ、
前記複数のモデルは、入力された前記音声データに応じて前記遅延時間を推算する機能を有し、
前記決定ステップは、前記選択ステップにおいて選択されたモデルを用いて前記音声データに応じた遅延時間を決定し、
前記実行ステップは、前記決定ステップにおいて決定された遅延時間後、前記会話の内容に応じて、前記所定の処理の実行結果を出力するための処理プログラム。