特許 7163103 情報処理装置、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-21

(45)【発行日】2022-10-31

(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20221024BHJP

   G06F 3/16 20060101ALI20221024BHJP

【ＦＩ】

G06Q50/10

G06F3/16 530

G06F3/16 650

G06F3/16 690

【請求項の数】 16

(21)【出願番号】P 2018154267

(22)【出願日】2018-08-20

(65)【公開番号】P2020030489

(43)【公開日】2020-02-27

【審査請求日】2020-08-19

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山本 学

(72)【発明者】

【氏名】坪内 孝太

(72)【発明者】

【氏名】岩▲瀬▼張 太士

(72)【発明者】

【氏名】中村 浩樹

【審査官】松田 岳士

(56)【参考文献】

【文献】特開２０１５－１３８５３４（ＪＰ，Ａ）

【文献】特開２０１１－１３８５３０（ＪＰ，Ａ）

【文献】特開２０１８－００５５３６（ＪＰ，Ａ）

【文献】特開２０１８－０４９３２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２９３７２７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

ユーザの周辺環境の環境音を取得する取得部と、
前記取得部により取得された環境音と、前記環境音に対応する前記ユーザのコンテキストとの関係性を分析する分析する分析部と、
前記ユーザのコンテキストのうち、前記分析部による分析結果が示すコンテキストであって、前記環境音に対して時間的傾向を示す関係性にあるコンテキストに基づいて、前記ユーザに対して所定の情報を出力するタイミングを決定する決定部と
を有し、
前記決定部は、前記所定の情報として、前記環境音に対して時間的傾向を示す関係性にあるコンテキストの中でユーザが要求している情報を出力するタイミングを決定する
ことを特徴とする情報処理装置。

【請求項2】

前記取得部は、前記ユーザの周辺環境の環境音として、前記ユーザの生活空間内での環境音を取得する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、前記ユーザの周辺環境の環境音として、前記ユーザのコンテキストが示す状況が起こるよりも前に発生した環境音を取得する
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記取得部は、前記ユーザのコンテキストが示す状況よりも前に発生した環境音として、前記ユーザのコンテキストが示す状況が起こるよりも前の所定時間内に発生した環境音を取得する
ことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記決定部は、前記環境音に対して時間的傾向を示す関係性にあるコンテキストとして、所定の出力装置に対する操作を示すコンテキストに基づいて、前記所定の情報を出力するタイミングを決定する
ことを特徴とする請求項１～４のいずれか１つに記載の情報処理装置。

【請求項6】

前記決定部は、前記所定の出力装置に対する操作として、前記所定の出力装置に対する音声操作を示すコンテキストに基づいて、前記所定の情報を出力するタイミングを決定する
ことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記決定部は、前記分析部による分析結果から、前記ユーザのコンテキストのうち、前記環境音に対して時間的傾向を示す関係性にあるコンテキストを特定し、特定したコンテキストに基づいて、前記ユーザに対して前記所定の情報を出力するタイミングを決定する
ことを特徴とする請求項１～６のいずれか１つに記載の情報処理装置。

【請求項8】

前記分析部は、前記環境音から抽出される特徴情報であって、前記ユーザの特徴を示す特徴情報と、前記ユーザのコンテキストとの関係性を分析する
ことを特徴とする請求項１～７のいずれか１つに記載の情報処理装置。

【請求項9】

前記分析部は、前記取得部により取得された環境音と、前記ユーザのコンテキストとの関係性を学習することにより、前記環境音が発生した後の所定時間内における前記ユーザのコンテキストの傾向を示すモデルを生成し、
前記決定部は、前記分析部により生成されたモデルに基づいて、前記ユーザに対して前記所定の情報を出力するタイミングを決定する
ことを特徴とする請求項１～８のいずれか１つに記載の情報処理装置。

【請求項10】

前記分析部は、前記ユーザ毎に前記モデルを生成し、
前記決定部は、前記ユーザ毎のモデルのうち、出力先のユーザ以外のユーザである他ユーザのモデルに基づいて、前記出力先のユーザに対して前記所定の情報を出力するタイミングを決定する
ことを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記分析部は、前記取得部により取得された環境音が発生した発生時刻と、当該環境音に対応するコンテキストが示す時刻とに基づいて、前記環境音と、前記環境音に対応する前記ユーザのコンテキストとの関係性を分析する
ことを特徴とする請求項１～１０のいずれか１つに記載の情報処理装置。

【請求項12】

前記決定部は、前記環境音に対して時間的傾向を示す関係性にあるコンテキストが示す発生時刻と、前記環境音の発生時刻との間での時間間隔に基づいて、前記ユーザに対して所定の情報を出力するタイミングを決定する
ことを特徴とする請求項１～１１のいずれか１つに記載の情報処理装置。

【請求項13】

前記決定部は、前記発生時刻に対応する時間帯において、前記コンテキストと時間的傾向を示す関係性にある環境音が検知された場合には、当該環境音が検知された時刻から前記時間間隔以内の時刻を、前記所定の情報を出力するタイミングとして決定する
ことを特徴とする請求項１２に記載の情報処理装置。

【請求項14】

前記決定部は、前記取得部により取得された環境音に対応する前記ユーザ毎のコンテキストに基づいて、前記所定の情報を出力するタイミングを前記ユーザ毎に決定する
ことを特徴とする請求項１～１３のいずれか１つに記載の情報処理装置。

【請求項15】

情報処理装置が実行する情報処理方法であって、
ユーザの周辺環境の環境音を取得する取得工程と、
前記取得工程により取得された環境音と、前記環境音に対応する前記ユーザのコンテキストとの関係性を分析する分析する分析工程と、
前記ユーザのコンテキストのうち、前記分析工程による分析結果が示すコンテキストであって、前記環境音に対して時間的傾向を示す関係性にあるコンテキストに基づいて、前記ユーザに対して所定の情報を出力するタイミングを決定する決定工程と
を含み、
前記決定工程は、前記所定の情報として、前記環境音に対して時間的傾向を示す関係性にあるコンテキストの中でユーザが要求している情報を出力するタイミングを決定する
ことを特徴とする情報処理方法。

【請求項16】

ユーザの周辺環境の環境音を取得する取得手順と、
前記取得手順により取得された環境音と、前記環境音に対応する前記ユーザのコンテキストとの関係性を分析する分析する分析手順と、
前記ユーザのコンテキストのうち、前記分析手順による分析結果が示すコンテキストであって、前記環境音に対して時間的傾向を示す関係性にあるコンテキストに基づいて、前記ユーザに対して所定の情報を出力するタイミングを決定する決定手順と
をコンピュータに実行させ、
前記決定手順は、前記所定の情報として、前記環境音に対して時間的傾向を示す関係性にあるコンテキストの中でユーザが要求している情報を出力するタイミングを決定する
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

近年、ユーザからの音声を取得し、取得した音声を音声認識することで、取得した音声に対応する動作を実行する情報機器が開発されている。

【0003】

例えば、特許文献１には、ユーザに不安を感じさせることなく、ユーザの行動をきっかけに起動する電子機器が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－４２３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の従来技術では、この先ユーザに起こり得る状況を先読みした情報出力により、ユーザの行動を手助けすることができるとは限らない。例えば、上記の従来技術では、家電に対するユーザの行動をきっかけに、音声認識部や音声取得部を起動させたことをユーザに通知する。

【0006】

このような上記の従来技術では、ユーザが発話した音声が間違いなく取得・認識されているのかどうかといった不安をユーザに感させなくすることができる。しかしながら、この先ユーザに起こり得る状況を先読みした情報出力により、ユーザの行動を手助けすることができるとは限らない。

【0007】

本願は、上記に鑑みてなされたものであって、この先ユーザに起こり得る状況を先読みした情報出力により、ユーザの行動を手助けすることができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本願にかかる情報処理装置は、ユーザの周辺環境の環境音を取得する取得部と、前記取得部により取得された環境音に対応する前記ユーザのコンテキストに基づいて、前記ユーザに対して所定の情報を出力するタイミングを決定する決定部とを有することを特徴とする。

【発明の効果】

【0009】

実施形態の一態様によれば、この先ユーザに起こり得る状況を先読みした情報出力により、ユーザの行動を手助けすることができるといった効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態にかかる情報処理の一例を示す図である。

【図2】図２は、実施形態にかかる情報処理システムの構成例を示す図である。

【図3】図３は、実施形態にかかる情報処理装置の構成例を示す図である。

【図4】図４は、実施形態にかかる環境音情報記憶部の一例を示す図である。

【図5】図５は、実施形態にかかるコンテキスト情報記憶部の一例を示す図である。

【図6】図６は、実施形態にかかる対象情報記憶部の一例を示す図である。

【図7】図７は、実施形態にかかる情報処理手順を示すフローチャートである。

【図8】図８は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0011】

以下に、本願にかかる情報処理装置、情報処理方法および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の実施形態において、同一の部位には同一の符号を付し、重複する説明は省略される。

【0012】

〔１．情報処理〕
まず、図１を用いて、実施形態にかかる情報処理の一例について説明する。図１は、実施形態にかかる情報処理の一例を示す図である。実施形態にかかる情報処理は、図１に示す情報処理装置１００によって行われる。

【0013】

図１の説明に先立って、図２を用いて、実施形態にかかる情報処理システムについて説明する。図２は、実施形態にかかる情報処理システム１の構成例を示す図である。実施形態にかかる情報処理システム１は、図２に示すように、端末装置１０と、出力装置３０と、情報処理装置１００とを含む。端末装置１０、出力装置３０、情報処理装置１００は、ネットワークＮを介して有線または無線により通信可能に接続される。なお、図１に示す情報処理システム１には、複数台の端末装置１０や、複数台の出力装置３０や、複数台の情報処理装置１００が含まれてよい。

【0014】

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等である。

【0015】

出力装置３０は、例えば、室内等に置かれる据置式のスマートスピーカーである。しかし、出力装置３０は、ユーザとの対話を実現する機能を有していれば、必ずしもスマートスピーカーである必要はなく、例えば、カーナビゲーション、可動式ロボット等であってもよい。ただし、本実施形態では、出力装置３０は、スマートスピーカーであるものとする。したがって、以下の実施形態では、出力装置３０を「スマートスピーカー３０」と表記する場合がある。

【0016】

ここで、実施形態にかかる情報処理の前提について説明する。例えば、ユーザは、日常生活の中で、ある行動を行った後には特定の行動を行う、といったように一連の行動がパターン化されている場合がある。より具体的には、ある時間帯において、ある行動を行ったすぐ後には特定の行動を行う、といったように一連の行動がパターン化されている場合がある。一例を示すと、あるユーザＵＸは、７時台に起床すると、毎朝まず、カーテンを開け、それからスマートスピーカー３０に対して「ニュースを流して」といった音声指示を出すとする。かかる例では、ユーザＵＸは、起床した後の一連の行動として、「カーテンを開けた後に、スマートスピーカー３０に対して、ニュースを流すよう音声操作する」といった一連の行動がパターン化されているといえる。

【0017】

また、カーテンを開ける行動以外にも、テレビをつける行動、コーヒーメーカーを起動させる行動、お湯を沸かす行動等、一連の行動の中の一つとしてユーザが行う行動は、ユーザによっても、また、同じユーザであっても時間帯によって千差万別である。とはいえ、日常生活の中では、ユーザ毎に、ある時間帯においてこの行動を行った場合には、そのすぐ後には、ある特定の行動を行う、といったことがパターン化されてくる。

【0018】

ここで、ユーザの行動には多くの場合、その行動に伴う環境音が生じる。例えば、カーテンを開ける行動には「シャッ、シャッ」といった特有（ならでは）の環境音が発生する。この例以外でも同様である。テレビをつける行動には「今日天気は・・・」といったテレビ動画による音声としての環境音が発生する（また、テレビのリモコンを操作することにより発生する環境音もある）。また、コーヒーメーカーを起動させる行動には「ガガガ」といった、コーヒー豆を挽くならではの環境音が発生する。また、お湯を沸かす行動には「ガチャ」といった、ガスコンロを操作するならではの環境音が発生する。

【0019】

このようなことから、上記ユーザＵＸの例であれば、７時台において環境音「シャッ、シャッ」が発生すれば、例えばこの先数秒後（あるいは数分後）には、「ユーザＵＸはスマートスピーカー３０に対して、ニュースを流すよう音声操作する」という行動に出ることを先読み（予測）することができる。これは、ユーザＵＸの一連のパターン化した行動により、７時台における環境音「シャッ、シャッ」の後に「ユーザＵＸはスマートスピーカー３０に対して、ニュースを流すよう音声操作する」という行動、すなわち環境音に対応するユーザＵＸのコンテキストの傾向が得られることに基づく。

【0020】

そして、このような場合、７時台においてユーザＵＸがカーテンを開けた後、スマートスピーカー３０がユーザＵＸからの音声操作を受ける前に動的にニュースを流すことができれば、ユーザＵＸはわざわざ音声操作を行わなくて済むため便利である。

【0021】

以上のような前提を踏まえて、実施形態にかかる情報処理装置１００は、環境音に対応するユーザのコンテキスト、より具体的には、環境音に対応するユーザのコンテキストの傾向を分析し、分析結果に基づいて、ウェイクアップ（情報提供）のタイミングを決定する。

【0022】

まとめると、実施形態にかかる情報処理装置１００は、ユーザの周辺環境の環境音を取得し、取得した環境音に対応するユーザのコンテキストに基づいて、ユーザに対して所定の情報（ウェイクアップの一例）を出力するタイミングを決定する。具体的には、情報処理装置１００は、ユーザの周辺環境の環境音として、前記ユーザのコンテキストが示す状況が起こるよりも前に発生した環境音を取得する。例えば、情報処理装置１００は、ユーザのコンテキストが示す状況が起こるよりも前の所定時間内に発生した環境音を取得する。

【0023】

そして、情報処理装置１００は、ユーザの周辺環境の環境音と、ユーザのコンテキストとの関係性を学習する。そして、情報処理装置１００は、環境音に対して時間的傾向を示す関係性にあるコンテキストに基づいて、ユーザに対して所定の情報を出力するタイミングを決定する。環境音に対して時間的傾向を示す関係性とは、例えば、カーテンを開ける環境音「シャッ、シャッ」が発生した数秒後に「スマートスピーカー３０に対して、ニュースを流すよう音声操作する」傾向にある、といったものである。以下、実施形態にかかる情報処理の一例について説明する。

【0024】

具体的な説明に入る前に、まず図１の概要を説明する。図１に示すホームＨＰ１には、ユーザＵ１、ユーザＵ２、ユーザＵ３、ユーザＵ４（ユーザＵ１～Ｕ４）といった四人のユーザが済んでいる。ユーザＵ１～Ｕ４の関係性は限定されないが、ここでは家族であるものとする。そして、図１の例では、ユーザＵ１は、ルームＲ１（寝室）に居る。ユーザＵ２は、ルームＲ２（ダイニング）に居る。ユーザＵ３は、ルームＲ３（リビング）に居る。ユーザＵ４は、ルームＲ４（キッチン）に居る。

【0025】

また、スマートスピーカー３０は、ルームＨＰ１内の所定の場所に置かれており、各ルームにいるユーザの発話音声を取得することが可能であるものとする。一般的に、スマートスピーカーは、各部屋に１台という形で設置される場合が多いが、本実施形態では、説明の便宜上、スマートスピーカー３０は、４つのルーム全ての音声を取得カバーできるものとする。なお、４つのルームそれぞれにスマートスピーカー３０が置かれている場合、１台のスマートスピーカー３０から当該スマートスピーカー３０によって検知された情報を取得するか、あるいは、４台のスマートスピーカー３０それぞれから当該スマートスピーカー３０によって検知された情報を取得するかの違いだけであって、情報処理装置１００が行う情報処理に違いは無い。

【0026】

まず、スマートスピーカー３０は、各ルームにおいて発生した環境音およびユーザのコンテキストを検知する（ステップＳ１）。ルームＲ１では、「２０１８年７月１日７時００分においてユーザＵ１がカーテンを開け」、その４分後「２０１８年７月１日７時０４分においてユーザＵ１がニュースを流すようスマートスピーカー３０に対して音声指示している」例を示す。かかる場合、スマートスピーカー３０は、ユーザＵ１の周辺環境を示す環境音として、「２０１８年７月１日７時００分においてカーテンを開ける環境音「シャッ、シャッ」」を検知する。また、スマートスピーカー３０は、ユーザＵ１のコンテキストとして、「２０１８年７月１日７時０４分においてユーザＵ１はニュースを流すよう音声指示する、といった行動に出る」というコンテキストを検知する。

【0027】

そして、スマートスピーカー３０は、検知した環境音およびコンテキストのデータ（環境音データおよびコンテキストデータ）を情報処理装置１００に送信する（ステップＳ２）。図１の例では、スマートスピーカー３０は、ルームＲ１で検知した環境音データＤＡ１１－１と、ルームＲ１で検知したコンテキストデータＤＡ１１－２とを情報処理装置１００に送信する。なお、ルームＲ１では、当然ながら、上記環境音およびコンテキスト以外の環境音およびコンテキストも発生し得る。よって、スマートスピーカー３０は、ルームＲ１で環境音およびコンテキストを検知する度に、これらのデータを情報処理装置１００に送信する。

【0028】

また、ルームＲ２では、「２０１８年７月１日７時３０分においてユーザＵ２がコーヒーメーカーを起動させ」、その３分後「２０１８年７月１日７時３３分においてユーザＵ２がラジオショッピングを流すようスマートスピーカー３０に対して音声指示している」例を示す。かかる場合、スマートスピーカー３０は、ユーザＵ２の周辺環境を示す環境音として、「２０１８年７月１日７時３０分においてコーヒーメーカーが動作する環境音「ガガガ」」を検知する。また、スマートスピーカー３０は、ユーザＵ２のコンテキストとして、「２０１８年７月１日７時３３分においてユーザＵ２はラジオショッピングを流すよう音声指示する、といった行動に出る」というコンテキストを検知する。

【0029】

ここでも、スマートスピーカー３０は、検知した環境音およびコンテキストのデータ（環境音データおよびコンテキストデータ）を情報処理装置１００に送信する（ステップＳ２）。図１の例では、スマートスピーカー３０は、ルームＲ２で検知した環境音データＤＡ２１－１と、ルームＲ２で検知したコンテキストデータＤＡ２１－２とを情報処理装置１００に送信する。なお、ルームＲ２では、当然ながら、上記環境音およびコンテキスト以外の環境音およびコンテキストも発生し得る。よって、スマートスピーカー３０は、ルームＲ２で環境音およびコンテキストを検知する度に、これらのデータを情報処理装置１００に送信する。

【0030】

また、ルームＲ３では、「２０１８年７月１日１８時００分においてユーザＵ３がテレビに天気予報をつけ」、その４分後「２０１８年７月１日１８時０４分においてユーザＵ３がＫ区の交通情報を流すようスマートスピーカー３０に対して音声指示している」例を示す。かかる場合、スマートスピーカー３０は、ユーザＵ３の周辺環境を示す環境音として、「２０１８年７月１日１８時００分においてテレビが天気予報番組を流している環境音「明日の天気は・・・」」を検知する。また、スマートスピーカー３０は、ユーザＵ３のコンテキストとして、「２０１８年７月１日１８時０４分においてユーザＵ３はＫ区の交通情報を流すよう音声指示する、といった行動に出る」というコンテキストを検知する。

【0031】

ここでも、スマートスピーカー３０は、検知した環境音およびコンテキストのデータ（環境音データおよびコンテキストデータ）を情報処理装置１００に送信する（ステップＳ２）。図１の例では、スマートスピーカー３０は、ルームＲ３で検知した環境音データＤＡ３１－１と、ルームＲ２で検知したコンテキストデータＤＡ３１－２とを情報処理装置１００に送信する。なお、ルームＲ３では、当然ながら、上記環境音およびコンテキスト以外の環境音およびコンテキストも発生し得る。よって、スマートスピーカー３０は、ルームＲ３で環境音およびコンテキストを検知する度に、これらのデータを情報処理装置１００に送信する。

【0032】

また、ルームＲ４では、「２０１８年７月１日８時００分においてユーザＵ４がガスコンロを操作し」、その５分後「２０１８年７月１日８時０５分においてユーザＵ４が料理番組を流すようスマートスピーカー３０に対して音声指示している」例を示す。かかる場合、スマートスピーカー３０は、ユーザＵ４の周辺環境を示す環境音として、「２０１８年７月１日８時００分においてガスコンロが操作される環境音「ガチャ」」を検知する。また、スマートスピーカー３０は、ユーザＵ４のコンテキストとして、「２０１８年７月１日８時０５分においてユーザＵ４は料理番組を流すよう音声指示する、といった行動に出る」というコンテキストを検知する。

【0033】

ここでも、スマートスピーカー３０は、検知した環境音およびコンテキストのデータ（環境音データおよびコンテキストデータ）を情報処理装置１００に送信する（ステップＳ２）。図１の例では、スマートスピーカー３０は、ルームＲ４で検知した環境音データＤＡ４１－１と、ルームＲ４で検知したコンテキストデータＤＡ４１－２とを情報処理装置１００に送信する。なお、ルームＲ４では、当然ながら、上記環境音およびコンテキスト以外の環境音およびコンテキストも発生し得る。よって、スマートスピーカー３０は、ルームＲ４で環境音およびコンテキストを検知する度に、これらのデータを情報処理装置１００に送信する。

【0034】

情報処理装置１００は、スマートスピーカー３０から取得した環境音データを環境音情報記憶部１２１に格納する。図１の例では、環境音情報記憶部１２１は、「ユーザＩＤ」、「日時」、「環境音データ」といった項目を有する。「ユーザＩＤ」は、ユーザまたはユーザの端末装置１０を識別する識別情報を示す。「日時」は、スマートスピーカー３０によって環境音が検知された日時を示す。なお、「日時」には「曜日」も含まれてよく、かかる場合、「日時」はカレンダー情報と解することもできる。「環境音データ」は、スマートスピーカー３０によって検知された環境音のデータを示す。

【0035】

図１に示すルームＲ１の例では、スマートスピーカー３０は、ユーザＵ１について「２０１８年７月１日７時００分においてカーテンを開ける環境音「シャッ、シャッ」」を検知している。そして、スマートスピーカー３０は、この検知結果を示す環境音データＤＡ１１－１を情報処理装置１００に送信している。したがって、情報処理装置１００は、ユーザＩＤ「Ｕ１」と、日時「２０１８年７月１日７時００分」と、環境音「シャッ、シャッ」を示す環境音データＤＡ１１－１とを対応付けて環境音情報記憶部１２１に格納する。ルームＲ２、Ｒ３、Ｒ４についてもこれまでの説明の通りであるため省略する。

【0036】

また、情報処理装置１００は、スマートスピーカー３０から取得したコンテキストデータをコンテキスト情報記憶部１２２に格納する。図１の例では、コンテキスト情報記憶部１２２は、「ユーザＩＤ」、「日時」、「コンテキストデータ」といった項目を有する。「ユーザＩＤ」は、ユーザまたはユーザの端末装置１０を識別する識別情報を示す。「日時」は、スマートスピーカー３０によって、ユーザのコンテキストが検知された日時を示す。なお、「日時」には「曜日」も含まれてよく、かかる場合、「日時」はカレンダー情報と解することもできる。「コンテキストデータ」は、スマートスピーカー３０によって検知されたコンテキストのデータを示す。

【0037】

図１に示すルームＲ１の例では、スマートスピーカー３０は、ユーザＵ１について「２０１８年７月１日７時０４分においてユーザＵ１はニュースを流すよう音声指示する、といった行動に出る」というコンテキストを検知している。そして、スマートスピーカー３０は、この検知結果のデータを示すコンテキストデータＤＡ１１－２を情報処理装置１００に送信している。したがって、情報処理装置１００は、ユーザＩＤ「Ｕ１」と、日時「２０１８年７月１日７時０４分」と、コンテキスト「ニュースを流すよう音声指示する」を示すコンテキストデータＤＡ１１－２とを対応付けてコンテキスト情報記憶部１２２に格納する。ルームＲ２、Ｒ３、Ｒ４についてもこれまでの説明の通りであるため省略する。

【0038】

次に、情報処理装置１００は、コンテキストが示す状況が発生する前において発生した環境音を取得する（ステップＳ３）。例えば、情報処理装置１００は、ユーザ毎に、コンテキストが示す状況が発生する前において発生した環境音を取得する。例えば、情報処理装置１００は、コンテキストが示す状況が起こるよりも前の所定時間内に発生した環境音を取得する。例えば、情報処理装置１００は、環境音情報記憶部１２１とコンテキスト情報記憶部１２２とを比較して、ユーザ毎に、コンテキストが示す状況が起こるよりも前の所定時間内に発生した環境音（環境音データ）を取得する。例えば、情報処理装置１００は、環境音情報記憶部１２１から環境音データを取得する。

【0039】

図１の例では、情報処理装置１００は、各「ユーザ」について、各「日付」の「時間帯」毎に、コンテキストが示す状況が起こるよりも前の所定時間内に発生した環境音の環境音データを取得する。本実施形態では、情報処理装置１００は、コンテキストが示す状況が起こるよりも前の５分以内に発生した環境音の環境音データを取得するものとする。この時間条件は、必ずしも５分以内である必要はない。

【0040】

なお、コンテキストが示す状況とは、コンテキストによって示されるユーザの行動状況である。したがって、例えば、コンテキストデータＤＡ１１－２が示す状況については、「２０１８年７月１日７時０４分においてユーザＵ１はニュースを流すよう音声指示する」という行動をする状況にあった、と言い換えることができる。また、例えば、コンテキストデータＤＡ２１－２が示す状況については、「２０１８年７月１日７時３３分においてユーザＵ２はラジオショッピングを流すよう音声指示する」という行動をする状況にあった、と言い換えることができる。また、例えば、コンテキストデータＤＡ３１－２が示す状況については、「２０１８年７月１日１８時０４分においてユーザＵ３はＫ区の交通情報を流すよう音声指示する」という行動をする状況にあった、と言い換えることができる。また、例えば、コンテキストデータＤＡ４１－２が示す状況については、「２０１８年７月１日８時０５分においてユーザＵ４は料理番組を流すよう音声指示する」という行動をする状況にあった、と言い換えることができる。

【0041】

そして、ルームＲ１の例では、環境音情報記憶部１２１とコンテキスト情報記憶部１２２とを比較すると、ユーザＵ１について「２０１８年７月１日の７時台」では、コンテキストデータＤＡ１１－２が示す状況が起こるよりも前の５分以内に、環境音データＤＡ１１－１が示す環境音（カーテンの音）が発生していることがわかる。また、このようなことから、コンテキストデータＤＡ１１－２が示すコンテキスト（ユーザ行動）は、環境音データＤＡ１１－１が示す環境音に対応するコンテキストといえる。したがって、かかる例では、情報処理装置１００は、「２０１８年７月１日の７時台」に合わせて、環境音情報記憶部１２１から環境音データＤＡ１１－１を取得する。また、情報処理装置１００は、「２０１８年７月１日の７時台」に合わせて、コンテキスト情報記憶部１２２からコンテキストデータＤＡ１１－２を取得する。そして、情報処理装置１００は、取得したデータを対象情報記憶部１２３に格納する。また、情報処理装置１００は、別の日付についても、同様にして時間帯毎にデータを取得し対象情報記憶部１２３に格納する。

【0042】

また、ルームＲ２の例では、ユーザＵ２ついて「２０１８年７月１日の７時台」では、コンテキストデータＤＡ２１－２が示す状況が起こるよりも前の３分以内に、環境音データＤＡ２１－１が示す環境音（コーヒー豆を挽く音）が発生していることがわかる。また、このようなことから、コンテキストデータＤＡ２１－２が示すコンテキストは、環境音データＤＡ２１－１が示す環境音に対応するコンテキストといえる。したがって、かかる例では、情報処理装置１００は、「２０１８年７月１日の７時台」に合わせて、環境音情報記憶部１２１から環境音データＤＡ２１－１を取得する。また、情報処理装置１００は、「２０１８年７月１日の７時台」に合わせて、コンテキスト情報記憶部１２２からコンテキストデータＤＡ２１－２を取得する。そして、情報処理装置１００は、取得したデータを対象情報記憶部１２３に格納する。

【0043】

また、ルームＲ３の例では、ユーザＵ３について「２０１８年７月１日の１８時台」では、コンテキストデータＤＡ３１－２が示す状況が起こるよりも前の４分以内に、環境音データＤＡ３１－１が示す環境音（テレビ音）が発生していることがわかる。また、このようなことから、コンテキストデータＤＡ３１－２が示すコンテキストは、環境音データＤＡ３１－１が示す環境音に対応するコンテキストといえる。したがって、かかる例では、情報処理装置１００は、「２０１８年７月１日の１８時台」に合わせて、環境音情報記憶部１２１から環境音データＤＡ３１－１を取得する。また、報処理装置１００は、「２０１８年７月１日の１８時台」に合わせて、コンテキスト情報記憶部１２２からコンテキストデータＤＡ３１－２を取得する。そして、情報処理装置１００は、取得したデータを対象情報記憶部１２３に格納する。

【0044】

また、ルームＲ４の例では、ユーザＵ４について「２０１８年７月１日の８時台」では、コンテキストデータＤ４１－２が示す状況が起こるよりも前の５分以内に、環境音データＤＡ４１－１が示す環境音（ガスコンロ音）が発生していることがわかる。また、このようなことから、コンテキストデータＤＡ４１－２が示すコンテキストは、環境音データＤＡ４１－１が示す環境音に対応するコンテキストといえる。したがって、かかる例では、情報処理装置１００は、「２０１８年７月１日の８時台」に合わせて、環境音情報記憶部１２１から環境音データＤＡ４１－２を取得する。また、情報処理装置１００は、「２０１８年７月１日の８時台」に合わせて、コンテキスト情報記憶部１２２からコンテキストデータＤＡ４１－２を取得する。そして、情報処理装置１００は、取得したデータを対象情報記憶部１２３に格納する。

【0045】

対象情報記憶部１２３は、後述する分析処理に用いられる情報を記憶する。ここで、図１の例では、対象情報記憶部１２３は、「ユーザＩＤ」、「日付」、「時間帯」、「コンテキストデータ」、「環境音データ」といった項目を有する。「ユーザＩＤ」は、ユーザまたはユーザの端末装置１０を識別する識別情報を示す。「日付」は、対応する「コンテキストデータ」および「環境音データ」が検知された日付を示す。「時間帯」は、対応する「コンテキストデータ」および「環境音データ」が検知された時間帯を示す。すなわち、情報処理装置１００は、コンテキスト情報記憶部１２２および環境音情報記憶部１２１から取得したデータを「ユーザＩＤ」、「日付」、「時間帯」に対応付けて、対象情報記憶部１２３に格納する。

【0046】

次に、情報処理装置１００は、対象情報記憶部１２３に格納されている環境音（環境音データ）、および、コンテキスト（コンテキストデータ）を用いて、環境音とコンテキストとの関係性を分析（学習）する分析処理（学習処理）を行う（ステップＳ４）。情報処理装置１００は、かかる分析処理として、例えば、相関分析（教師なし学習）を行うことができる。例えば、情報処理装置１００は、ユーザ毎に、当該ユーザに対応する環境音データおよびコンテキストデータを用いて、相関分析を行う。

【0047】

ユーザＵ１を例に挙げると、情報処理装置１００は、例えば、対象情報記憶部１２３格納されている各項目のうち、項目「時間帯」に対応するコンテキストデータと、環境音データとを変数（特徴情報）として、相関分析を行う。これにより、情報処理装置１００は、ある時間帯においては、どのような環境音の後（５分以内）には、ユーザＵ１はどのようなコンテキストの傾向にあるかといった、時間的傾向を捉えることができる。なお、ここでの特徴情報は、環境音から抽出される特徴情報であって、ユーザの特徴を示す特徴情報である。

【0048】

そして、図１の例では、情報処理装置１００は、ユーザＵ１～Ｕ４について、環境音とコンテキストとの間に次のような相関関係があるとの分析結果を得たとする。具体的には、情報処理装置１００は、「７時台にカーテン音を示す環境音が発生した場合、カーテン音の後５分以内に、ユーザＵ１はスマートスピーカー３０に対してニュースを流すよう音声指示する傾向にある」といった、環境音とコンテキストとの相関性を得たとする。また、情報処理装置１００は、「７時台にコーヒーメーカー音を示す環境音が発生した場合、コーヒーメーカー音の後５分以内に、ユーザＵ２はスマートスピーカー３０に対してラジオショッピングを流すよう音声指示する傾向にある」といった、環境音とコンテキストとの相関性を得たとする。

【0049】

また、情報処理装置１００は、「１８時台にテレビ音を示す環境音が発生した場合、テレビ音の後５分以内に、ユーザＵ３はスマートスピーカー３０に対してＫ区の交通情報を流すよう音声指示する傾向にある」といった、環境音とコンテキストとの相関性を得たとする。また、情報処理装置１００は、「８時台にガスコンロ音を示す環境音が発生した場合、ガスコンロ音の後５分以内に、ユーザＵ４はスマートスピーカー３０に対して料理番組を流すよう音声指示する傾向にある」といった、環境音とコンテキストとの相関性を得たとする。

【0050】

そうすると、情報処理装置１００は、ステップＳ４での分析結果に基づいて、ユーザに所定の情報を出力するタイミングを決定する（ステップＳ５）。例えば、情報処理装置１００は、ユーザのスマートスピーカー３０に対して、所定の情報を出力させるタイミングを決定する。例えば、情報処理装置１００は、ユーザのコンテキストのうち、環境音に対して時間的傾向を示す関係性にあるコンテキストに基づいて、ユーザに対して所定の情報を出力するタイミングを決定する。時間的傾向とは、上で説明した相関関係のことである。

【0051】

図１の例では、情報処理装置１００は、環境音と相関関係にあるコンテキストの発生時刻と、この環境音の発生時刻との間での時間間隔に基づいて、出力タイミングを決定する。ルームＲ１の例では、情報処理装置１００は、７時台におけるカーテン音と、７時台におけるユーザＵ１のコンテキスト（ニュースを流させる音声指示）とは相関関係にあるとの分析結果を得ており、この相関関係の中ではカーテン音発生から５分以内にかかるコンテキストは発生している。つまり、かかる例では、コンテキストが示す時刻と、環境音の発生時刻との間での時間間隔は「５分もしくはそれ以下」である。

【0052】

したがって、情報処理装置１００は、ルームＲ１において７時台にカーテン音が検知された場合には、そのカーテン音が検知された時刻から５分以内の時刻を、ユーザＵ１に向けてスマートスピーカー３０からニュースを出力させるタイミングとして決定する。例えば、「２０１８年７月２日７時０５分００秒」にスマートスピーカー３０によってカーテン音が検知されたとする。この場合、情報処理装置１００は、「２０１８年７月２日７時０５分１０秒」を、ユーザＵ１に向けてスマートスピーカー３０からニュースを出力させるタイミングとして決定する。

【0053】

次に、ルームＲ２の例では、情報処理装置１００は、７時台におけるコーヒーメーカー音と、７時台におけるユーザＵ２のコンテキスト（ラジオショッピングを流させる音声指示）とは相関関係にあるとの分析結果を得ており、この相関関係の中ではコーヒーメーカー音発生から３分以内にかかるコンテキストは発生している。つまり、かかる例では、コンテキストが示す時刻と、環境音の発生時刻との間での時間間隔は「３分もしくはそれ以下」である。

【0054】

したがって、情報処理装置１００は、ルームＲ２において７時台にコーヒーメーカー音が検知された場合には、そのコーヒーメーカー音が検知された時刻から３分以内の時刻を、ユーザＵ２に向けてスマートスピーカー３０からラジオショッピングを出力させるタイミングとして決定する。例えば、「２０１８年７月２日７時０６分００秒」にスマートスピーカー３０によってコーヒーメーカー音が検知されたとする。この場合、情報処理装置１００は、「２０１８年７月２日７時０６分１０秒」を、ユーザＵ２に向けてスマートスピーカー３０からニュースを出力させるタイミングとして決定する。

【0055】

次に、ルームＲ３の例では、情報処理装置１００は、１８時台におけるテレビ音と、１８時台におけるユーザＵ３のコンテキスト（Ｋ区の交通情報を流させる音声指示）とは相関関係にあるとの分析結果を得ており、この相関関係の中ではテレビ音発生から４分以内にかかるコンテキストは発生している。つまり、かかる例では、コンテキストが示す時刻と、環境音の発生時刻との間での時間間隔は「４分もしくはそれ以下」である。

【0056】

したがって、情報処理装置１００は、ルームＲ３において１８時台にテレビ音が検知された場合には、そのテレビ音が検知された時刻から４分以内の時刻を、ユーザＵ３に向けてスマートスピーカー３０から交通情報を出力させるタイミングとして決定する。例えば、「２０１８年７月２日１８時０７分００秒」にスマートスピーカー３０によってテレビ音が検知されたとする。この場合、情報処理装置１００は、「２０１８年７月２日１８時０７分１０秒」を、ユーザＵ３に向けてスマートスピーカー３０からニュースを出力させるタイミングとして決定する。

【0057】

次に、ルームＲ４の例では、情報処理装置１００は、８時台におけるガスコンロ音と、８時台におけるユーザＵ４のコンテキスト（料理番組を流させる音声指示）とは相関関係にあるとの分析結果を得ており、この相関関係の中ではガスコンロ音発生から５分以内にかかるコンテキストは発生している。つまり、かかる例では、コンテキストが示す時刻と、環境音の発生時刻との間での時間間隔は「５分もしくはそれ以下」である。

【0058】

したがって、情報処理装置１００は、ルームＲ４において８時台にテレビ音が検知された場合には、そのテレビ音が検知された時刻から５分以内の時刻を、ユーザＵ４に向けてスマートスピーカー３０から料理番組を出力させるタイミングとして決定する。例えば、「２０１８年７月２日８時０８分００秒」にスマートスピーカー３０によってガスコンロ音が検知されたとする。この場合、情報処理装置１００は、「２０１８年７月２日８時０８分１０秒」を、ユーザＵ４に向けてスマートスピーカー３０からニュースを出力させるタイミングとして決定する。

【0059】

さて、これまで説明してきたように、実施形態にかかる情報処理装置１００は、ユーザの周辺環境の環境音を取得し、取得した環境音に対して時間的傾向に基づく関係（相関関係）性にあるコンテキストに基づいて、ユーザに対して情報出力するタイミングを決定する。これにより、情報処理装置１００は、例えば、特定の時間帯において特定の環境音が発生した場合には、その後（例えば、数秒後や数分後）のユーザの行動（コンテキスト）はこうなると予測することができるため、ユーザがその行動を行う前にユーザがその行動を行う必要のないよう先回りした動作を実行することができる。このため、情報処理装置１００は、ユーザの行動を手助けすることができる。

【0060】

なお、図１の例では、情報処理装置１００は、コンテキストが示す状況が起こるよりも前の５分以内に発生した環境音の環境音データを取得する例を示した。しかし、情報処理装置１００は、コンテキストが示す状況が起こる直前（例えば、１０秒以内）に発生した環境音を取得してもよい。なぜなら、例えば、ユーザＵ１であれば、行動がパターン化されている場合、カーテンを開けるといった行動に連動して、そのあと直ぐ（例えば、１０秒以内）にニュースを流すよう指示することが多いと考えられるためである。また、こうした場合、情報処理装置１００は、上記の様に傾向が取得できれば、ある日、カーテン音が検出された場合には、検出された直後（例えば、３秒後）の時刻を情報提供のタイミングとして決定する。

【0061】

〔２．情報処理装置の構成〕
次に、図３を用いて、実施形態にかかる情報処理装置１００について説明する。図３は、実施形態にかかる情報処理装置１００の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。例えば、情報処理装置１００は、図１で説明した情報処理を行うサーバ装置である。

【0062】

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、例えば、出力装置３０との間で情報の送受信を行う。

【0063】

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、環境音情報記憶部１２１と、コンテキスト情報記憶部１２２と、対象情報記憶部１２３とを有する。

【0064】

（環境音情報記憶部１２１について）
環境音情報記憶部１２１は、スマートスピーカー３０によって検知された環境音に関する情報を記憶する。ここで、図４に実施形態にかかる環境音情報記憶部１２１の一例を示す。図４の例では、環境音情報記憶部１２１は、「ユーザＩＤ」、「日時」、「環境音データ」といった項目を有する。環境音情報記憶部１２１については、図１で既に説明しているため、ここでの詳細な説明は省略する。なお、環境音情報記憶部１２１は、図４に示す項目以外にも、スマートスピーカー３０によって環境音が検知された「曜日」、スマートスピーカー３０によって環境音が検知されたときの「天候」、スマートスピーカー３０によって環境音が検知されたときのユーザの「体調」等が含まれてもよい。

【0065】

例えば、情報処理装置１００は、スマートスピーカー３０によって環境音が検知されたときの「天候」情報を所定の外部のサーバ装置から取得することができる。また、ユーザが例えば、各種センサを備えたウェアラブル端末を装着している場合には、情報処理装置１００は、スマートスピーカー３０によって環境音が検知されたときのユーザの「体調」情報をウェアラブル端末から取得することができる。また、情報処理装置１００は、スマートスピーカー３０によって環境音が検知された前後において、ユーザが自身の体調に関して発話していた場合には、その発話情報が示す体調を、現在のユーザの体調として取得してもよい。

【0066】

（コンテキスト情報記憶部１２２について）
コンテキスト情報記憶部１２２は、スマートスピーカー３０によって検知されたユーザのコンテキストに関する情報を記憶する。ここで、図５に実施形態にかかるコンテキスト情報記憶部１２２の一例を示す。図５の例では、コンテキスト情報記憶部１２２は、「ユーザＩＤ」、「日時」、「環境音データ」といった項目を有する。コンテキスト情報記憶部１２２については、図１で既に説明しているため、ここでの詳細な説明は省略する。なお、コンテキスト情報記憶部１２２は、図５に示す項目以外にも、スマートスピーカー３０によって環境音が検知された「曜日」、スマートスピーカー３０によって環境音が検知されたときの「天候」、スマートスピーカー３０によって環境音が検知されたときのユーザの「体調」等が含まれてもよい。

【0067】

（対象情報記憶部１２３について）
対象情報記憶部１２３は、機械学習（相関分析）に用いられる情報を記憶する。例えば、対象情報記憶部１２３は、環境音情報記憶部１２１から取得された環境音データと、コンテキスト情報記憶部１２２から取得されたコンテキストデータとを対応付けて記憶する。また、ここで対応付けられる環境音データとコンテキストデータとは、例えば、「カーテンを開けた直後に、音声指示する」といったユーザの一連の行動の中で関連性を有するものである。

【0068】

ここで、図６に実施形態にかかる対象情報記憶部１２３の一例を示す。図６の例では、対象情報記憶部１２３は、「ユーザＩＤ」、「日付」、「時間帯」、「コンテキストデータ」、「環境音データ」といった項目を有する。対象情報記憶部１２３については、図１で既に説明しているため、ここでの詳細な説明は省略する。なお、対象情報記憶部１２３は、図６に示す項目以外にも、スマートスピーカー３０によって環境音が検知された「曜日」、スマートスピーカー３０によって環境音が検知されたときの「天候」、スマートスピーカー３０によって環境音が検知されたときのユーザの「体調」等が含まれてもよい。

【0069】

図１では、情報処理装置１００は、各ユーザについて、「時間帯」毎に環境音とコンテキストとの関係性を分析（学習）することで、ある時間帯においては、どのような環境音の後にはユーザはどのようなコンテキストの傾向にあるかといった、「時間帯」での傾向を捉えることができる例を示した。

【0070】

しかし、情報処理装置１００は、対象情報記憶部１２３が項目「曜日」を有することで、「天候」毎に「時間帯」での傾向を捉えることができる。また、情報処理装置１００は、対象情報記憶部１２３が項目「天候」を有することで、「天候」毎に「時間帯」での傾向を捉えることができる。また、情報処理装置１００は、対象情報記憶部１２３が項目「体調」を有することで、「体調」毎に「時間帯」での傾向を捉えることができる。

【0071】

図３に戻り、制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、決定装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0072】

図３に示すように、制御部１３０は、受信部１３１と、取得部１３２と、分析部１３３と、決定部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

【0073】

（受信部１３１について）
受信部１３１は、スマートスピーカー３０から送信された情報を受信する。例えば、受信部１３１は、スマートスピーカー３０によって検知された環境音の環境音データ、および、スマートスピーカー３０によって検知されたコンテキストのコンテキストデータを、スマートスピーカー３０から受信（取得）する。

【0074】

（取得部１３２について）
取得部１３２は、ユーザの周辺環境の環境音を取得する。例えば、取得部１３２は、ユーザの周辺環境の環境音をユーザ毎に取得する。例えば、取得部１３２は、ユーザの周辺環境の環境音として、ユーザの生活空間内での環境音を取得する。また、取得部１３２は、ユーザの周辺環境の環境音として、ユーザのコンテキストが示す状況が起こるよりも前に発生した環境音を取得する。また、取得部１３２は、ユーザのコンテキストが示す状況よりも前に発生した環境音として、ユーザのコンテキストが示す状況が起こるよりも前の所定時間内に発生した環境音を取得する。また、取得部１３２は、環境音として、スマートスピーカー３０により検知された環境音のデータ（環境音データ）を取得する。

【0075】

図１の例では、ユーザＵ１ついて「２０１８年７月１日の７時台」では、コンテキストデータＤＡ１１－２が示す状況が起こるよりも前の５分以内に、環境音データＤＡ１１－１が示す環境音（カーテンの音）が発生している。したがって、かかる例では、取得部１３２は、「２０１８年７月１日の７時台」に合わせて、環境音情報記憶部１２１から環境音データＤＡ１１－１を取得する。また、取得部１３２は、「２０１８年７月１日の７時台」に合わせて、コンテキスト情報記憶部１２２からコンテキストデータＤＡ１１－２を取得する。

【0076】

そして、情報処理装置１００は、取得したデータを対象情報記憶部１２３に格納する。ユーザＵ１以外のユーザＵ２～Ｕ４についても、取得部１３２は、同様にして環境音データを取得するが、図１の説明の通りであるため省略する。

【0077】

（分析部１３３について）
分析部１３２は、取得部１３２により取得された環境音と、ユーザのコンテキストとの関係性を分析（学習）する。例えば、分析部１３２は、環境音から抽出される特徴情報であって、ユーザの特徴を示す特徴情報と、前記ユーザのコンテキストとの関係性を分析する。また、分析部１３３は、学習部１３３と言い換えることができる。例えば、分析部１３２は、対象情報記憶部１２３に格納されている各項目をユーザの特徴情報として、環境音とコンテキストとの関係性を分析する。

【0078】

例えば、分析部１３３は、相関分析（教師なし学習）を行うことができる。例えば、分析部１３３は、ユーザ毎に、当該ユーザに対応する環境音データおよびコンテキストデータを用いて、相関分析を行う。ユーザＵ１を例に挙げると、分析部１３３は、対象情報記憶部１２３に格納に格納されている各項目のうち、項目「時間帯」に対応するコンテキストデータと、環境音データとを変数（特徴情報）として、相関分析を行う。これにより、情報処理装置１００は、ある時間帯においては、どのような環境音の後（５分以内）には、ユーザＵ１はどのようなコンテキストの傾向にあるかといった、時間的傾向を捉えることができる。

【0079】

なお、分析部１３２は、対象情報記憶部１２３の項目「時間帯」以外にも、「曜日」、「天候」、「体調」に対応するコンテキストデータと、環境音データデータとを変数（特徴情報）として、相関分析を行ってもよい。

【0080】

（決定部１３４について）
決定部１３４は、取得部１３２により取得された環境音に対応するユーザのコンテキストに基づいて、ユーザに対して所定の情報を出力するタイミングを決定する。例えば、決定部１３４は、ユーザのコンテキストとして、所定の出力装置（例えば、スマートスピーカー３０）に対する操作を示すコンテキストに基づいて、所定の情報を出力するタイミングを決定する。具体的には、決定部１３４は、所定の出力装置に対する操作として、所定の出力装置に対する音声操作を示すコンテキストに基づいて、所定の情報を出力するタイミングを決定する。

【0081】

また、例えば、決定部１３４は、所定の情報として、コンテキストが示す情報であって、ユーザがコンテキストの中で要求している情報を出力するタイミングを決定する。図１の例では、ユーザＵ１がスマートスピーカー３０に対してニュースの出力を要求している。このような要求が、ユーザがコンテキストの中で要求している情報に対応する。

【0082】

また、決定部１３４は、取得部１３２により取得された環境音が発生した発生時刻と、当該環境音に対応するコンテキストが示す時刻とに基づいて、ユーザに対して所定の情報を出力するタイミングを決定する。具体的には、決定部１３４は、分析部１３３による分析結果に基づき環境音と所定の関係性（時間的傾向の関係）にあるコンテキストが示す発生時刻と、環境音の発生時刻との間での時間間隔に基づいて、ユーザに対して所定の情報を出力するタイミングを決定する。

【0083】

一例を示すと、決定部１３４は、上記発生時刻に対応する時間帯において、コンテキストと所定の関係性にある環境音が検知された場合には、当該環境音が検知された時刻から時間間隔以内の時刻を、所定の情報を出力するタイミングとして決定する。

【0084】

図１の例では、分析部１３３は、７時台におけるカーテン音と、７時台におけるユーザＵ１のコンテキスト（ニュースを流させる音声指示）とは相関関係（時間的傾向の関係）にあるとの分析結果を得ている。したがって、決定部１３４は、ルームＲ１において７時台にカーテン音が検知された場合には、そのカーテン音が検知された時刻から５分以内の時刻を、ユーザＵ１に向けてスマートスピーカー３０からニュースを出力させるタイミングとして決定する。例えば、「２０１８年７月２日７時０５分００秒」にスマートスピーカー３０によってカーテン音が検知されたとする。この場合、決定部１３４は、「２０１８年７月２日７時０５分１０秒」（１０秒後）を、ユーザＵ１に向けてスマートスピーカー３０からニュースを出力させるタイミングとして決定する。

【0085】

〔３．処理手順〕
次に、図７を用いて、実施形態にかかる情報処理の手順について説明する。図７は、実施形態にかかる情報処理手順を示すフローチャートである。

【0086】

まず、受信部１３１は、スマートスピーカー３０から、スマートスピーカー３０を使用するユーザの周辺環境の環境音を示す環境音データと、このユーザのコンテキストを示すコンテキストデータとを受信したか否かを判定する（ステップＳ１０１）。受信部１３１は、データを受信していないと判定した場合には（ステップＳ１０１；Ｎｏ）、データを受信するまで待機する。

【0087】

一方、取得部１３２は、受信部１３１によりデータを受信したと判定された場合には（ステップＳ１０１；Ｙｅｓ）、ユーザのコンテキストが起こった時刻よりも前（例えば、３０秒前）に発生した環境音を示す環境音データを取得する（ステップＳ１０２）。受信部１３１は、環境音データを受信する度に、受信した環境音データを環境音情報記憶部１２１に格納する。また、受信部１３１は、コンテキストデータを受信する度に、受信したコンテキストデータをコンテキスト情報記憶部１２２に格納する。したがって、取得部１３２は、これらの記憶部内の格納データを比較することで、ユーザのコンテキストが起こった時刻よりも前（例えば、３０秒前）に発生した環境音を示す環境音データを環境音情報記憶部１２１から取得する。

【0088】

また、取得部１３２は、取得した環境音データに対応するコンテキストデータも同時に取得する。例えば、取得部１３２は、かかるコンテキストデータをコンテキスト情報記憶部１２２から取得する。そして、取得部１３２は、取得した環境音データとコンテキストデータとの組合せを時間帯に対応付けて対象情報記憶部１２３に格納する。

【0089】

次に、分析部１３３は、取得部１３２により取得された環境音と、ユーザのコンテキストを用いて、環境音とコンテキストとの関係性を分析（学習）する（ステップＳ１０３）。例えば、分析部１３３は、ユーザ毎に、当該ユーザに対応する環境音データおよびコンテキストデータを用いて、環境音とコンテキストとの関係性を分析する。例えば、分析部１３３は、対象情報記憶部１２３に格納に格納されている各項目のうち、項目「時間帯」に対応するコンテキストデータと、環境音データとを変数（特徴情報）として、各時間帯について相関分析を行う。

【0090】

次に、決定部１３４は、分析部１３３による分析結果に基づいて、スマートスピーカー３０に対して、ユーザがコンテキストの中で要求している情報を出力させる出力タイミングを決定する（ステップＳ１０４）。例えば、決定部１３４は、分析部１３３による分析結果に基づき環境音と所定の関係性（時間的傾向の関係）にあるコンテキストが示す発生時刻と、この環境音の発生時刻との間での時間間隔に基づいて、出力タイミングを決定する。例えば、決定部１３４は、ある日において、この環境音が検知された場合には、その後ユーザがパターン化していると考えられる行動（コンテキスト）に移行すると考えられる時刻よりも早い時刻を、このコンテキストで要求されている情報の出力タイミングとして決定する。

【0091】

また、決定部１３４は、決定したタイミングでスマートスピーカー３０が情報出力するようスマートスピーカー３０に対して出力制御する。スマートスピーカー３０は、決定部１３４による出力制御に応じて情報を出力する。

【0092】

〔４．変形例〕
上記実施形態にかかる情報処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置１００の他の実施形態について説明する。

【0093】

〔４－１．関係性分析について（１）〕
上記実施形態では、分析部１３３が、取得部１３２により取得された環境音と、ユーザのコンテキストとの関係性を分析する一例として、相関分析を行う例を示した。しかし、分析部１３３は、取得部１３２により取得された環境音と、ユーザのコンテキストとの関係性を学習することにより、環境音に対するコンテキストの傾向を示すモデルを生成してもよい。より具体的には、分析部１３３は、取得部１３２により取得された環境音と、ユーザのコンテキストとの関係性を学習することにより、検知された環境音とこの環境音の発生時刻とを入力すると、この環境音と相関関係にあるコンテキストに基づく情報を出力するタイミングを決定（出力）するモデルを生成してもよい。これにより、情報処理装置１００は、ある環境音が検知された場合、どんな情報をどのタイミングで出力させれば位よいかを捉えることができる。

【0094】

かかる場合、図１の例では、コンテキスト情報記憶部１２２に格納される「日時」と「コンテキストデータ」との組合せが、分析部１３３が生成するモデルの目的変数となる。また、環境音情報記憶部１２１に格納される「日時」と「環境音データ」との組合せが、説明変数となる。なお、説明変数（特徴情報）には、さらに「曜日」、「天候」、「体調」等が用いられてもよい。

【0095】

なお、分析部１３３が生成するモデルに関する学習手法は、下記の例に限らず、種々の既知の機械学習の手法が採用されてもよい。

【0096】

例えば、分析部１３３は、カーテン音を示す環境音データから抽出される個々の特徴情報が、例えば「ユーザＵ１がカーテン音が発生した後の５分以内にスマートスピーカー３０に対してニュースを流すよう音声指示する」という事象に対して、どのような重みを有するかを算出する。これにより、分析部１３３は、「ユーザＵ１がカーテン音が発生した後の５分以内にスマートスピーカー３０に対してニュースを流すよう音声指示する」という事象に対して、個々の特徴情報がどのくらい寄与するのかといった情報を得ることができる。そして、分析部１３３は、算出した情報を用いて、傾向を示すモデルを生成する。

【0097】

また、決定部１３４は、分析部１３３により生成されたモデルを用いて、出力タイミングを決定する。例えば、「２０１８年７月２日７時０５分００秒」にスマートスピーカー３０によってカーテン音が検知されたとする。この場合、決定部１３４は、「２０１８年７月２日７時０５分００秒」と、カーテン音を示す環境音データとを、上記生成されたモデルに入力する。例えば、このときの出力結果が「２０１８年７月２日７時０５分１０秒において、ニュースを出力させる」ことであるとすると、決定部１３４は、「２０１８年７月２日７時０５分１０秒」を出力タイミングとして決定する。

【0098】

〔４－２．関係性分析について（２）〕
上記実施形態では、分析部１３３が、取得部１３２により取得された環境音と、ユーザのコンテキストとの関係性を分析する一例として、相関分析を行う例を示した。しかし、分析部１３３は、取得部１３２により取得された環境音と、ユーザのコンテキストとの関係性を学習することにより、取得部１３２により取得された環境音が発生した後の所定時間内におけるユーザのコンテキストの傾向を示すモデルを生成してもよい。かかるモデルは、検知された環境音とこの環境音の発生時刻とを入力すると、この環境音と相関関係にあるコンテキストに基づく情報を出力するタイミングを決定（出力）するモデルと言い換えることができる。これにより、情報処理装置１００は、ある環境音が検知された場合、どんな情報をどのタイミングで出力させれば位よいかを捉えることができる。

【0099】

また、分析部１３３は、取得部１３２により取得された環境音であってユーザ毎に取得された環境音と、当該ユーザのコンテキストとの関係性を学習することにより、ユーザ毎にモデルを生成する。一方で、分析部１３３は、取得部１３２により取得された環境音であって所定の複数のユーザについて取得された環境音と、当該所定の複数のユーザのコンテキストとの関係性を学習することにより、当該所定の複数のユーザに対応するモデルを生成してもよい。かかる場合、分析部１３３は、所定の複数のユーザのコンテキストを、所定の複数のユーザのコンテキストを平均した平均コンテキストとして、モデルを生成することができる。

【0100】

また、決定部１３４は、所定の情報を出力する出力対象のユーザ以外のユーザである他ユーザのモデルに基づいて、出力対象のユーザに対して所定の情報を出力するタイミングを決定してもよい。ここで、分析部１３４が、出力対象のユーザ（例えば、ユーザＵ１）のモデルを生成する場合、ユーザＵ１について所定期間分のコンテキスト情報が蓄積されている必要がある。コンテキスト情報が十分な数蓄積されていないと、精度の高いモデルを生成できない場合があることも、背景の一つである。したがって、決定部１３４は、ユーザＵ１のコンテキスト情報が不足しているため分析部１３３によりユーザＵ１に対応するモデルが生成されていない場合には、例えば、十分な数のコンテキスト情報に基づき既にモデルが生成されている他ユーザ（例えば、ユーザＵ２）のモデルに基づいて、ユーザＵ１に所定の情報を出力するタイミングを決定する。

【0101】

なお、決定部１３４は、必ずしも、分析部１３３によりユーザＵ１に対応するモデルが生成されていない場合に限って、他ユーザ（例えば、ユーザＵ２）のモデルに基づいて、ユーザＵ１に所定の情報を出力するタイミングを決定する必要はない。

【0102】

〔４－３．環境音について〕
上記実施形態では、情報処理装置１００による情報処理に用いられる対象の環境音は、ユーザの周辺環境の環境音であり、これらは人物が物体に触れることにより発生する環境音であったり、機器から出力される機械音である例を示した。しかし、ユーザの周辺環境の環境音は、これらに限定される必要はなく、例えば、人物の話し声等であってもよい。例えば、複数の人物が会話していることによる、会話の雑音（ガヤガヤ音）が挙げられる。例えば、例えば、ホームＨＰ１のあるルームＲ１では、頻繁に２０時台にパーティーが行われ、このときユーザＵ１の音声指示により、スマートスピーカーからいつも特定の音楽（ＢＧＭ）が流されるものとする。

【0103】

かかる場合、情報処理装置１００は、２０時台において会話の雑音が検知されると、ユーザＵ１は特定のＢＧＭを流すとの傾向を学習結果により得ることができる。そうすると、これまで説明したきたように、例えば、情報処理装置１００は、次回のパーティーにて、２０時台において会話の雑音が検知されると、ユーザＵ１よる操作よりも先に、スマートスピーカー３０からＢＧＭを出力させることができる。

【0104】

〔４－４．スタンドアロン形式〕
上記実施形態では、情報処理装置１００が、スマートスピーカー３０と連携することにより、実施形態にかかる情報処理を行う例をしました。しかしながら、情報処理装置１００が行うものとして説明した情報処理は、スマートスピーカー３０側で単独（スタンドアロン）で行われてもよい。また、かかる場合、実施形態にかかる情報処理システム１には、情報処理装置１００は含まれず、また、スマートスピーカー３０は、情報処理装置１００を含め、他の外部装置に対して、検知した環境音やコンテキストのデータを送信することもない。また、そうすると、スマートスピーカー３０は、図３で説明した受信部１３１を有していなくともよい。

【0105】

〔４－５．タイミングについて〕
上記実施形態では、決定部１３４が、スマートスピーカー３０から情報出力（音声出力）させる例を示した。しかし、決定部１３４が情報出力させる対象の機器は、スマートスピーカー３０に限定されない。例えば、決定部１３４は、ユーザの端末装置１０からコンテンツを出力（表示）させるタイミングを決定してもよい。

【0106】

例えば、ユーザＵ１は毎朝７時に起床すると、端末装置１０を手に取り端末装置１０を起動させてから、端末装置１０で天気予報サイトを閲覧することがパターン化されているとする。端末装置１０を手に取る場合や、端末装置１０を起動させる場合には、環境音が発生する。そうすると、情報処理装置１００は、例えば、この環境音とコンテキスト（端末装置１０で天気予報サイトを閲覧する）との間に傾向を示す関係性があるとの学習結果を得られる場合がある。

【0107】

これにより、情報処理装置１００は、例えば、ユーザＵ１が起床して端末装置１０を起動させるとすぐに、動的に天気予報サイトを表示させることができる。あるいは、情報処理装置１００は、ユーザＵ１が天気予報サイトでどの地域の天気を調べる傾向にあるのかまで特定できている場合には、その地域の天気情報をプッシュ通知させてもよい。

【0108】

〔５．ハードウェア構成〕
また、上記実施形態にかかるスマートスピーカー３０および情報処理装置１００は、例えば図８に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図８は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0109】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0110】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、通信網５０を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信網５０を介して他の機器へ送信する。

【0111】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。

【0112】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0113】

例えば、コンピュータ１０００が実施形態にかかる情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを、記録媒体１８００から読み取って実行するが、他の例として、他の装置から、通信網５０を介してこれらのプログラムを取得してもよい。

【0114】

また、例えば、コンピュータ１０００が実施形態にかかるスマートスピーカー３０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３の機能を実現する。

【0115】

〔６．その他〕
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0116】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0117】

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0118】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0119】

１ 情報処理システム
１０ 端末装置
３０ 出力装置
１００ 情報処理装置
１２０ 記憶部
１２１ 環境音情報記憶部
１２２ コンテキスト情報記憶部
１２３ 対象情報記憶部
１３０ 制御部
１３１ 受信部
１３２ 取得部
１３３ 分析部
１３４ 決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】