特許 7430672 端末装置、送信方法、送信プログラム及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-02

(45)【発行日】2024-02-13

(54)【発明の名称】端末装置、送信方法、送信プログラム及び情報処理システム

(51)【国際特許分類】

   G10L 15/22 20060101AFI20240205BHJP

   G10L 15/06 20130101ALI20240205BHJP

   G10L 15/30 20130101ALI20240205BHJP

【ＦＩ】

G10L15/22 453

G10L15/06 300Z

G10L15/30

【請求項の数】 20

(21)【出願番号】P 2021132964

(22)【出願日】2021-08-17

(65)【公開番号】P2023027697

(43)【公開日】2023-03-02

【審査請求日】2023-03-15

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】磯 健一

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１０－１３９８４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２８７４０１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／２２

Ｇ１０Ｌ １５／３０

Ｇ１０Ｌ １５／０６

(57)【特許請求の範囲】

【請求項1】

ユーザに利用され、自装置で音声認識を行う端末装置であって、
前記ユーザが発話した音声と前記発話の前記音声認識による認識結果とを対応付けて自装置内の記憶部に収集する収集部と、
前記収集部により収集された前記音声が所定の条件を満たす場合、前記ユーザの許諾に応じて、前記音声に関する情報をサーバ装置に送信する送信部と、
を備えることを特徴とする端末装置。

【請求項2】

前記送信部は、
前記音声のデータを前記サーバ装置に送信する
ことを特徴とする請求項１に記載の端末装置。

【請求項3】

前記送信部は、
前記音声の波形データを前記サーバ装置に送信する
ことを特徴とする請求項１または請求項２に記載の端末装置。

【請求項4】

前記送信部は、
前記音声のデータを圧縮したデータを前記サーバ装置に送信する
ことを特徴とする請求項１～３のいずれか１項に記載の端末装置。

【請求項5】

前記送信部は、
前記音声から抽出した特徴情報を前記サーバ装置に送信する
ことを特徴とする請求項１～４のいずれか１項に記載の端末装置。

【請求項6】

前記送信部は、
前記収集部により収集された前記音声の数が所定数以上である場合、前記許諾に応じて前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１～５のいずれか１項に記載の端末装置。

【請求項7】

前記送信部は、
前記収集部により収集された前記音声の前記音声認識に関するスコアが所定の条件を満たす場合、前記許諾に応じて前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１～６のいずれか１項に記載の端末装置。

【請求項8】

前記送信部は、
前記収集部により収集された前記音声がノイズに関する条件を満たす場合、前記許諾に応じて前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１～７のいずれか１項に記載の端末装置。

【請求項9】

前記送信部は、
前記収集部により収集された前記音声に対応する発話が所定の内容を含む場合、前記許諾に応じて前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１～８のいずれか１項に記載の端末装置。

【請求項10】

前記送信部は、
前記サーバ装置により指定された前記所定の条件を満たす場合、前記許諾に応じて前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１～９のいずれか１項に記載の端末装置。

【請求項11】

前記ユーザによる前記許諾を受け付ける受付部、
を備えることを特徴とする請求項１～１０のいずれか１項に記載の端末装置。

【請求項12】

前記送信部は、
前記受付部により前記ユーザの前記許諾が受け付けられた後、所定のタイミングで前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１１に記載の端末装置。

【請求項13】

前記送信部は、
通信環境が所定の通信条件を満たしている間に、前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１２に記載の端末装置。

【請求項14】

前記送信部は、
前記ユーザによる前記端末装置の利用率が低いタイミングで、前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１２または請求項１３に記載の端末装置。

【請求項15】

前記サーバ装置へ送信する候補となる前記音声に関する情報を前記ユーザに通知する通知部、
をさらに備えることを特徴とする請求項１～１４のうちいずれか１つに記載の端末装置。

【請求項16】

前記送信部は、
前記通知部により通知された前記候補のうち、前記ユーザが許諾した前記音声に関する情報を前記サーバ装置に送信する
ことを特徴とする請求項１５に記載の端末装置。

【請求項17】

前記通知部は、
前記音声に関する情報が前記サーバ装置へ送信された場合に前記ユーザに提供されるインセンティブを示す情報を通知する
ことを特徴とする請求項１５または請求項１６に記載の端末装置。

【請求項18】

ユーザに利用され、自装置で音声認識を行う端末装置が実行する送信方法であって、
前記ユーザが発話した音声と前記発話の前記音声認識による認識結果とを対応付けて自装置内の記憶部に収集する収集工程と、
前記収集工程により収集された前記音声が所定の条件を満たす場合、前記ユーザの許諾に応じて、前記音声に関する情報をサーバ装置に送信する送信工程と、
を含むことを特徴とする送信方法。

【請求項19】

ユーザに利用され、自装置で音声認識を行う端末装置が実行する送信プログラムであって、
前記ユーザが発話した音声と前記発話の前記音声認識による認識結果とを対応付けて自装置内の記憶部に収集する収集手順と、
前記収集手順により収集された前記音声が所定の条件を満たす場合、前記ユーザの許諾に応じて、前記音声に関する情報をサーバ装置に送信する送信手順と、
を端末装置に実行させることを特徴とする送信プログラム。

【請求項20】

ユーザに利用され、自装置で音声認識を行う端末装置と、
サーバ装置と、
を有し、
前記サーバ装置は、
前記端末装置に情報送信を要求する音声を指定する所定の条件を示す情報を、前記端末装置に送信し、
前記端末装置は、
前記サーバ装置から受信した前記所定の条件を満たす音声に関する情報を、前記ユーザの許諾に応じて、前記サーバ装置に送信する
ことを特徴とする情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置、送信方法、送信プログラム及び情報処理システムに関する。

【背景技術】

【0002】

ユーザが発話した音声を認識する音声認識が様々なサービスで利用されている。例えば、発話情報とその発話情報の示す発話内容とを用いた学習により作成されたモデルを用いて、音声認識を行う技術が提供されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－０８１５２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、ユーザが発話した音声に関する情報を取得することが難しい場合がある。例えば、上記の従来技術では、ユーザの発話（音声）をサーバ装置で音声認識を行い、その認識結果をユーザが利用する端末装置へ送信する構成であるため、必然的にサーバ装置はユーザの発話（音声）データを取得することができる。一方で、端末装置自体で音声認識が行われる、いわゆるオンデバイス型の音声認識が行われる場合、端末装置からサーバ装置へユーザの発話（音声）データを送信することなく、音声認識が完了するため、ユーザが発話した音声に関する情報を、ユーザが利用する端末装置以外の装置であるサーバ装置等の他の装置が収集することが難しい。

【0005】

本願は、上記に鑑みてなされたものであって、端末装置が音声認識を行う場合であっても、端末装置で収集される音声に関する情報を他の装置へ適切に送信することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る端末装置は、ユーザに利用され、自装置で音声認識を行う端末装置であって、前記ユーザが発話した音声と前記発話の前記音声認識による認識結果とを対応付けて自装置内の記憶部に収集する収集部と、前記収集部により収集された前記音声が所定の条件を満たす場合、前記ユーザの許諾に応じて、前記音声に関する情報をサーバ装置に送信する送信部と、を備えることを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、端末装置が音声認識を行う場合であっても、端末装置で収集される音声に関する情報を他の装置へ適切に送信することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理の概要を示す説明図である。

【図2】図２は、実施形態に係る情報処理システムの構成例を示す図である。

【図3】図３は、実施形態に係る端末装置の構成例を示す図である。

【図4】図４は、モデル情報記憶部の一例を示す図である。

【図5】図５は、収集情報記憶部の一例を示す図である。

【図6】図６は、実施形態に係るサーバ装置の構成例を示す図である。

【図7】図７は、モデル情報記憶部の一例を示す図である。

【図8】図８は、学習用データ情報記憶部の一例を示す図である。

【図9】図９は、実施形態に係る処理手順を示すフローチャートである。

【図10】図１０は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る端末装置、送信方法、送信プログラム及び情報処理システムを実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る端末装置、送信方法、送信プログラム及び情報処理システムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

（実施形態）
〔１．情報処理〕
まず、図１を参照し、実施形態に係る情報処理システム１が行う情報処理の概要について説明する。図１は、実施形態に係る情報処理の概要を示す説明図である。図１では、サーバ装置１００が端末装置１０に情報送信を要求する音声を指定する条件の情報を端末装置１０に送信し、端末装置１０は、サーバ装置１００から受信した条件を満たす音声に関する情報をサーバ装置１００に送信する場合を一例として説明する。なお、端末装置１０からサーバ装置１００が音声に関する情報を取得可能であれば、サーバ装置１００が条件を指定することなく、端末装置１０は予め設定された条件を基にサーバ装置１００に音声に関する情報を送信してもよい。

【0011】

また、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。なお、図１では、端末装置１０がスマートフォンである場合を一例として説明するが、端末装置１０は、ユーザが発話した音声を収集し、サーバ装置１００へ送信可能であれば、スマートフォンに限らず任意の装置（機器）であってもよいが、この点についての詳細は後述する。また、図１では、端末装置１０が音声に関する情報として、音声データをサーバ装置１００へ送信する場合を一例として説明するが、端末装置１０がサーバ装置１００へ送信する音声に関する情報は、音声データに限らず、様々な情報であってもよいが、この点についての詳細は後述する。

【0012】

以下、図１を用いて、情報処理の一例を説明する。なお、図１では説明のため、１つの発話を対象として送信を行う場合を示すが、端末装置１０は、収集した発話（音声）の数が一定の閾値（例えば５０、１００等）を超えた場合に、ユーザの送信許諾を得て、送信を行ってもよい。

【0013】

図１では、ユーザがユーザＩＤ「Ｕ１」により識別されるユーザ（以下、「ユーザＵ１」とする場合がある）である場合を示す。ユーザＵ１が利用する端末装置１０は、音声認識モデルであるモデルＭ１を用いて、自装置内で音声認識を行い、音声認識の結果に応じたサービスをユーザＵ１に提供する。図１では、説明のためにモデルＭ１がユーザの発話の音声情報を文字に変換する場合を一例とするが、モデルＭ１は音声認識に関する処理を行うものであれば、発話をしたユーザ（話者）を識別する機能など、様々な機能を実行する音声認識モデルであってもよい。

【0014】

まず、サーバ装置１００は、端末装置１０に提供を要求する音声を指定する条件ＣＮ１を示す情報を端末装置１０に送信する（ステップＳ１１）。端末装置１０は、受信した条件ＣＮ１を示す情報を記憶部１２０（図３参照）に記憶する。例えば、端末装置１０は、記憶部１２０に記憶した条件ＣＮ１と、音声に関する情報とを比較し、音声が条件ＣＮ１を満たすか否かを判定し、条件ＣＮ１を満たす音声データをサーバ装置１００へ送信する。なお、以下では説明を簡単にするために条件ＣＮ１が特定の単語（以下「新語ＮＸ」とする）を含むことであるものとして説明し、他の条件の例示については後述する。

【0015】

まず、ユーザＵ１が「ＸＸＸＸ」と発話する。なお、「ＸＸＸＸ」は具体的な内容を含む発話であるものとする。端末装置１０は、ユーザＵ１の発話ＰＡを検知し、ユーザＵ１の発話ＰＡである「ＸＸＸＸ」の音声データを入力として受け付ける（ステップＳ１２）。

【0016】

そして、端末装置１０は、入力として受け付けた「ＸＸＸＸ」の音声データと、モデルＭ１とを利用して音声認識の処理を行う（ステップＳ１３）。端末装置１０は、「ＸＸＸＸ」の音声データをモデルＭ１に入力し、モデルＭ１に文字データを出力させることにより、音声を文字に変換する処理（音声認識処理）を行う。図１では、「ＸＸＸＸ」の音声データが入力されたモデルＭ１は、「ＸＸＸＸ」の文字データを出力する。なお、モデルＭ１は、入力された音声に対する文字とともに、その音声認識の確度を示すスコアを出力してもよい。また、「ＸＸＸＸ」の文字データには、新語ＮＸが含まれるものとする。

【0017】

そして、端末装置１０は、ユーザが発話した音声と発話の音声認識による認識結果とを対応付けて記憶部ＤＢに収集する（ステップＳ１４）。図１では、端末装置１０は、ユーザＵ１が発話した発話ＰＡと発話ＰＡの認識結果とを対応付けて記憶部１２０に収集する。例えば、端末装置１０は、発話ＰＡである「ＸＸＸＸ」の音声データと、その音声データの認識結果である「ＸＸＸＸ」の文字データとを対応付けて自装置内の収集情報記憶部１４２（図３参照）に格納する。

【0018】

そして、端末装置１０は、収集した音声が条件を満たすか否かを判定し、条件を満たすと判定した場合、ユーザに通知する（ステップＳ１５）。図１では、端末装置１０は、収集した発話ＰＡが条件ＣＮ１を満たすか否かを判定する。例えば、端末装置１０は、発話ＰＡの文字データと、条件ＣＮ１とを比較し、発話ＰＡが条件ＣＮ１を満たすか否かを判定する。このように、端末装置１０は、内容に関する条件（「内容条件」ともいう）である条件ＣＮ１を用いて発話ＰＡが所定の内容を含むか否かを判定する。端末装置１０は、収集した発話ＰＡの文字データには新語ＮＸが含まれるため、条件ＣＮ１を満たすと判定する。

【0019】

そのため、端末装置１０は、発話ＰＡをサーバ装置１００へ送信する候補となる情報としてユーザＵ１に通知する。例えば、端末装置１０は、発話ＰＡをサーバ装置１００へ送信する候補として表示する。例えば、端末装置１０は、文字列「ＸＸＸＸ」及びそれが候補であることを示す説明を画面に表示する。この場合、端末装置１０は、発話ＰＡが候補であることを示す情報とともに、ユーザＵ１の許諾の可否を示す情報を受け付けるための情報を表示してもよい。例えば、端末装置１０は、発話ＰＡが候補であることを示す情報とともに、その送信可否をユーザが指定するためのボタンを表示する。例えば、端末装置１０は、発話ＰＡが候補であることを示す情報とともに、「送信を許諾する」等と記載された許諾ボタン及び「送信を許諾しない」等と記載された拒絶ボタンを表示してもよい。このように、端末装置１０は、条件を満たした場合にユーザに許諾を確認する。

【0020】

この場合、端末装置１０は、許諾ボタンにより、発話ＰＡをサーバ装置１００へ送信することに対するユーザＵ１の許諾を受け付ける。例えば、端末装置１０は、許諾ボタンをユーザＵ１が選択した場合、発話ＰＡをサーバ装置１００に送信することをユーザＵ１が許諾したと判定する。また、端末装置１０は、拒絶ボタンをユーザＵ１が選択した場合、発話ＰＡをサーバ装置１００に送信することをユーザＵ１が許諾しなかったと判定する。なお、上記は一例に過ぎず、端末装置１０は、表示による通知や許諾の受付けに限らず、様々な態様（モーダル）により通知や許諾の受付けを行ってもよい。例えば、端末装置１０は、音声により発話ＰＡをサーバ装置１００へ送信する候補であることをユーザＵ１に対して通知（出力）してもよい。また、端末装置１０は、音声により発話ＰＡをサーバ装置１００へ送信することに対するユーザＵ１の許諾の可否を受け付けてもよい。

【0021】

端末装置１０は、発話ＰＡをサーバ装置１００へ送信することに対するユーザＵ１の許諾を受け付ける。（ステップＳ１６）。例えば、端末装置１０は、ユーザＵ１が許諾ボタンを選択する操作により、発話ＰＡをサーバ装置１００へ送信することに対するユーザＵ１の許諾を受け付ける

【0022】

そして、端末装置１０は、ユーザＵ１が送信を許諾した発話ＰＡに関する情報をサーバ装置１００へ送信する（ステップＳ１７）。図１では、端末装置１０は、発話ＰＡの音声データ及びその認識結果をサーバ装置１００へ送信する。すなわち、端末装置１０は、発話ＰＡである「ＸＸＸＸ」の音声データと、その音声データの認識結果である「ＸＸＸＸ」の文字データとをサーバ装置１００へ送信する。なお、上記は一例に過ぎず、端末装置１０は、発話ＰＡの音声データのみをサーバ装置１００へ送信してもよい。

【0023】

サーバ装置１００は、端末装置１０から受信した音声に関する情報を学習に用いるデータに追加する（ステップＳ１８）。図１では、端末装置１０から発話ＰＡである「ＸＸＸＸ」の音声データと、その音声データの認識結果である「ＸＸＸＸ」の文字データとの組合せ（以下「新規データＰＤＴ」ともいう）を受信したサーバ装置１００は、受信した新規データＰＤＴを学習用データセットであるデータセットＤＳ１に追加する。例えば、サーバ装置１００は、発話ＰＡである「ＸＸＸＸ」の音声データに、「ＸＸＸＸ」の文字データをラベルとして対応付けた新規データＰＤＴを、データセットＤＳ１のデータとして学習用データ情報記憶部１２２（図８参照）に格納する。

【0024】

そして、サーバ装置１００は、新規データＰＤＴが追加されたデータセットＤＳ１を用いて、モデルＭ１を学習する（ステップＳ１９）。サーバ装置１００は、データセットＤＳ１を用いて、モデルＭ１の重み等のパラメータを学習（更新）する。モデルＭ１の学習処理には、任意の手法が採用可能である。

【0025】

例えば、サーバ装置１００は、モデルＭ１が出力した文字データが、モデルＭ１に入力した音声データに対応する正解データ（ラベル）に近づくように、バックプロパゲーション（誤差逆伝播法）等の手法により学習処理を行う。例えば、サーバ装置１００は、学習処理によりノード間で値が伝達する際に考慮される重み（すなわち、接続係数）の値を調整する。このように、サーバ装置１００は、モデルＭ１における出力と、入力に対応する正解データとの誤差が少なくなるようにパラメータ（接続係数）を補正するバックプロパゲーション等の処理によりモデルＭ１を学習する。例えば、サーバ装置１００は、所定の損失（ロス）関数を最小化するようにバックプロパゲーション等の処理を行うことによりモデルＭ１を生成する。これにより、サーバ装置１００は、モデルＭ１のパラメータを学習する学習処理を行うことができる。

【0026】

上述したように、情報処理システム１は、端末装置１０が音声認識を行う場合であっても、端末装置１０で収集される音声に関する情報をサーバ装置１００へ適切に送信することができる。したがって、情報処理システム１は、端末装置１０が音声認識を行う場合であっても、モデルを学習するために必要なデータを収集することができる。

【0027】

例えば、情報処理システム１は、ユーザがオンデバイス音声認識を搭載したアプリケーション（単に「アプリ」ともいう）を端末装置１０で使用したときに、発話した音声と認識結果を端末装置１０内に保存（蓄積）する。例えば、情報処理システム１は、例えばカーナビアプリ、ショッピングアプリ等の任意のアプリがインストールされた端末装置１０でアプリを使用したときに、発話した音声と認識結果を端末装置１０内に保存（蓄積）する。そして、情報処理システム１は、蓄積（収集）された発話が所定の基準を満たしたら、ユーザにサーバ装置１００への送信許諾を確認し、ユーザの許諾が得られた場合に、許諾が得られた情報を端末装置１０からサーバ装置１００へ送信する。このような処理により、情報処理システム１は、端末装置１０が音声認識を行う場合であっても、端末装置１０で収集される音声に関する情報をサーバ装置１００へ適切に送信することができる。

【0028】

〔１－１．他の例〕
なお、図１に示した処理は一例に過ぎず、情報処理システム１は、様々な条件を用いて、様々な情報を端末装置１０からサーバ装置１００へ送信してもよい。この点について、以下各要素についての例示を記載する。

【0029】

〔１－１－１．送信する情報〕
図１では、端末装置１０からサーバ装置１００へ音声データが送信される場合を一例として説明したが、端末装置１０からサーバ装置１００へ送信される情報は、音声に関する情報であればどのような情報であってもよい。

【0030】

端末装置１０は、音声のデータをサーバ装置１００に送信してもよい。端末装置１０は、音声の波形データをサーバ装置１００に送信してもよい。端末装置１０は、音声のデータを圧縮したデータをサーバ装置１００に送信してもよい。端末装置１０は、音声から抽出した特徴情報をサーバ装置１００に送信してもよい。

【0031】

上述のように、端末装置１０からサーバ装置１００へ送信する情報は、音声波形またはその圧縮したもの等の様々な情報であってもよい。端末装置１０からサーバ装置１００へ送信する情報は、音声波形から抽出した特徴量であってもよい。ここでいう特徴量とは、例えば元となる音声データよりもサイズが小さいデータであり、個人性に関する情報を極力含まないスペクトル情報などであってもよい。また、端末装置１０からサーバ装置１００へ送信する情報は、発話内容を検聴確認可能なレベルで不可逆圧縮してサイズを極力小さくした音声等の圧縮音声のデータであってもよい。

【0032】

〔１－１－２．情報の条件〕
図１では、音声が特定の単語を含むか否かである条件ＣＮ１を一例と説明したが、サーバ装置１００へ送信する情報の条件（送信情報条件）は、音声が特定の単語を含むか否かに限らず、様々な条件であってもよい。

【0033】

送信情報条件は、収集した発話（音声）の数に関する条件（「数条件」ともいう）であってもよい。例えば、送信情報条件は、収集した発話（音声）の数が一定の閾値を超えたことであってもよい。この場合、端末装置１０は、収集した音声の数が所定数（例えば５０、１００等）以上であるか否かを判定する。例えば、端末装置１０は、収集した音声の数が所定数以上になった場合、条件を満たしたと判定し、ユーザの許諾に応じて音声に関する情報をサーバ装置１００に送信する。

【0034】

例えば、送信情報条件は、収集した発話（音声）の音声認識に関するスコアが所定の条件（「スコア条件」ともいう）を満たすことであってもよい。この場合、端末装置１０は、収集した音声の音声認識に関するスコアが所定の閾値（例えば０．５、０．７等）以上であるか否かを判定する。例えば、端末装置１０は、収集した音声の音声認識に関するスコアが所定の閾値以上である場合、条件を満たしたと判定し、ユーザの許諾に応じて音声に関する情報をサーバ装置１００に送信する。

【0035】

また、例えば、端末装置１０は、収集した音声の音声認識に関するスコアが所定の閾値（例えば０．５、０．７等）未満であるか否かを判定する。例えば、端末装置１０は、収集した音声の音声認識に関するスコアが所定の閾値未満である場合、条件を満たしたと判定し、ユーザの許諾に応じて音声に関する情報をサーバ装置１００に送信する。

【0036】

また、例えば、送信情報条件は、収集した音声がノイズに関する条件（「ノイズ条件」ともいう）を満たすことであってもよい。この場合、端末装置１０は、収集した音声の信号対雑音比（ＳＮ比）が所定値以上であるか否かを判定する。例えば、端末装置１０は、収集した音声のＳＮ比が所定値以上である場合、条件を満たしたと判定し、ユーザの許諾に応じて音声に関する情報をサーバ装置１００に送信する。

【0037】

また、例えば、端末装置１０は、収集した音声の信号対雑音比（ＳＮ比）が所定値未満であるか否かを判定する。例えば、端末装置１０は、収集した音声のＳＮ比が所定値未満である場合、条件を満たしたと判定し、ユーザの許諾に応じて音声に関する情報をサーバ装置１００に送信する。

【0038】

なお、上記は一例に過ぎず、情報処理システム１は、様々な条件を適宜用いてもよい。送信情報条件は、端末装置１０の種別であってもよい。例えば、情報処理システム１は、カーナビでのユーザの発話（音声）が不足している場合、端末装置１０の種別が「カーナビ」であることを条件（端末条件）としてもよい。送信情報条件は、ユーザの属性であってもよい。例えば、情報処理システム１は、子どもの発話（音声）が不足している場合、話者が「子ども」であることまたは音声（声）の基本周波数が所定値以上であることを条件（話者条件）としてもよい。なお、上記は一例に過ぎず、情報処理システム１は、子どもの発話（音声）を収集する場合、「成人・子供」や「年齢年代」の判別器を用いて、子どもの発話（音声）を収集してもよい。この場合、情報処理システム１は、特徴量として基本周波数だけでなくスペクトル情報なども利用する判別器を用いて、子どもの発話（音声）を収集してもよい。

【0039】

また、例えば、情報処理システム１は、上述した条件などを組み合わせて用いてもよい。例えば、端末装置１０は、内容条件、スコア条件、またはノイズ条件の少なくとも１つを満たす音声の数が数条件を満たす場合に、ユーザの許諾に応じて音声に関する情報をサーバ装置１００に送信してもよい。例えば、端末装置１０は、内容条件、スコア条件、またはノイズ条件の少なくとも１つを満たす音声を該当音声として収集する。そして、端末装置１０は、該当音声の数が所定の数（例えば３０や１５０等）に達した場合、ユーザの許諾に応じて音声に関する情報をサーバ装置１００に送信してもよい。

【0040】

このように、端末装置１０は、収集した音声（ユーザ発話）のうち、音声認識エンジンの改良に資すると判断される発話を選んで、それが一定数を超えた場合に送信許諾を得てもよい。例えば、音声認識エンジンの改良に資すると判定する基準として、音声認識エンジンが発話ごとに付与するスコアを利用してもよい。音声認識エンジンの改良に資すると判定する基準として、発話ごとの信号対雑音比（ＳＮＲ：signal-to-noise ratio）を利用してもよい。例えば、音声認識エンジンの改良に資すると判定する基準として、発話ごとの認識結果テキストを利用してもよい。例えば、情報処理システム１は、音声認識エンジンの改良のために欲しい単語を含んでいるような発話を選んでもよい。

【0041】

〔１－１－３．送信タイミング〕
図１では、ユーザの許諾が得られたタイミングで情報を送信する場合を一例と説明したが、サーバ装置１００へ送信するタイミングは、任意のタイミングが採用可能である。

【0042】

端末装置１０は、音声についてユーザの許諾を受け付けた後、その音声に関する情報を所定のタイミングでサーバ装置１００に送信する。端末装置１０は、音声についてユーザの許諾を受け付けた後、通信環境が所定の通信条件を満たしている間に、その音声に関する情報をサーバ装置１００に送信する。例えば、端末装置１０は、音声についてユーザの許諾を受け付けた後、Ｗｉ－Ｆｉ（登録商標）（Wireless Fidelity）による通信を行っている間に、その音声に関する情報をサーバ装置１００に送信する。

【0043】

また、端末装置１０は、音声についてユーザの許諾を受け付けた後、端末装置１０の利用率が低いタイミングで、その音声に関する情報をサーバ装置１００に送信する。例えば、端末装置１０は、音声についてユーザの許諾を受け付けた後、端末装置１０のプロセッサの利用率が所定の閾値未満となったタイミングで、その音声に関する情報をサーバ装置１００に送信する。例えば、端末装置１０は、音声についてユーザの許諾を受け付けた後、端末装置１０が充電されている間に、その音声に関する情報をサーバ装置１００に送信する。

【0044】

上記のように、端末装置１０は、ユーザの送信許諾を得た後、Ｗｉ－Ｆｉ接続されている場合、またはユーザの端末装置１０の利用率が低いタイミング（ＣＰＵ負荷が所定値以下や深夜自宅充電時など)にサーバ装置１００へ情報を送信する。

【0045】

また、端末装置１０は、各音声の価値に応じて、価値が高い音声に関する情報の優先送信を行ってもよい。端末装置１０は、音声認識のスコアに応じて優先度（順位）付けを行い、優先度が高い音声に関する情報から順に、サーバ装置１００へ送信する。例えば、端末装置１０は、音声認識のスコアが高い方から順に高い優先度（順位）を付して、優先度が高い音声に関する情報から順に、サーバ装置１００へ送信する。

【0046】

〔１－１－４．ユーザによる選択〕
上述したように、端末装置１０は、ユーザに通知した候補のうち、ユーザが許諾した音声に関する情報のみサーバ装置１００に送信する。例えば、端末装置１０は、ユーザに送信許諾を得る際に、送信する発話リスト（認識結果テキストと発話へのリンクなど）をユーザに提示して、ユーザが送信したくない発話を選択した場合、ユーザが選択した発話を送信対象から除外する。

【0047】

〔１－１－５．インセンティブ〕
情報処理システム１は、ユーザに送信許諾を得るために、ユーザにインセンティブを提供してもよい。例えば、情報処理システム１は、ユーザが音声の送信を許諾した場合、許諾した音声に応じた、電子マネー、ポイント、クーポン等の様々種別のインセンティブをユーザに提供してもよい。

【0048】

例えば、端末装置１０は、音声に関する情報がサーバ装置１００へ送信された場合にユーザに提供されるインセンティブを示す情報をユーザに通知してもよい。例えば、端末装置１０は、音声の価値が高い方がより良いインセンティブをユーザに提供することをユーザに通知してもよい。例えば、端末装置１０は、音声のスコアが高い方が多いポイントをユーザに提供することをユーザに通知してもよい。

【0049】

例えば、端末装置１０は、音声にユーザがラベル（正解）を付した場合に、インセンティブをユーザに提供することをユーザに通知してもよい。例えば、端末装置１０は、スコアが所定の閾値未満である音声の認識結果をユーザが確認し、誤っている場合に修正した場合に、インセンティブをユーザに提供することをユーザに通知してもよい。

【0050】

〔２．情報処理システムの構成例〕
次に、図２を用いて、実施形態に係るサーバ装置１００が含まれる情報処理システム１の構成について説明する。図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、複数の端末装置１０とサーバ装置１００とを含む。これらの各種装置は、ネットワークＮを介して、有線又は無線により通信可能に接続される。ネットワークＮは、例えば、ＬＡＮ（Local Area Network）や、インターネット等のＷＡＮ（Wide Area Network）である。

【0051】

また、図２に示す情報処理システム１に含まれる各装置の数は図示したものに限られない。例えば、図２では、図示の簡略化のため、端末装置１０－１、１０－２、１０－３の３台のみを示したが、これはあくまでも例示であって限定されるものではなく、４台以上であってもよい。

【0052】

端末装置１０は、ユーザにより利用され、自装置内での音声認識によりユーザに音声認識に基づくサービスを提供する情報処理装置（コンピュータ）である。端末装置１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）等の無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）等の近距離無線通信を介してネットワークＮに接続し、サーバ装置１００と通信することができる。

【0053】

図２では、端末装置１０－１は、ユーザにより利用されるスマートフォンである。なお、端末装置１０－１は、ユーザにより利用されるデバイスであれば、タブレット端末等のスマートデバイス、フィーチャーフォン、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、カーナビゲーションシステム、スマートウォッチやヘッドマウントディスプレイ等のウェアラブルデバイス（Wearable Device）、スマートグラス等であってもよい。

【0054】

図２では、端末装置１０－２は、ユーザにより利用されるスマートスピーカである。なお、端末装置１０－２は、ユーザにより利用されるデバイスであれば、テレビ、冷蔵庫等の任意のＩｏＴ（Internet of Things）であってもよい。

【0055】

図２では、端末装置１０－３は、カーナビゲーション（カーナビ）機能が搭載された自動車等の車両等の移動体である。なお、端末装置１０－３は、移動体に配置されたカーナビゲーション機能を提供するカーナビ装置であってもよい。

【0056】

サーバ装置１００は、端末装置１０から音声に関する情報を取得する情報処理装置（コンピュータ）である。また、サーバ装置１００は、取得した音声に関する情報を用いた機械学習により、音声認識に用いられるモデルを学習する学習装置である。また、サーバ装置１００は、端末装置１０にモデルを送信する。また、サーバ装置１００は、端末装置１０に送信してほしいデータを指定する条件を示す情報を端末装置１０に送信する。なお、サーバ装置１００は、端末装置１０から音声に関する情報を取得し、取得した情報を蓄積する機能のみを有してもよい。この場合、情報処理システム１には、サーバ装置１００が蓄積した情報を用いてモデルの学習を行う装置（学習装置）が含まれてもよい。すなわち、情報処理システム１において、端末装置１０から音声データ等の音声に関する情報を受信して蓄積する装置（例えばサーバ装置１００）と、音声認識モデルを保持して収集したデータで学習または更新行い、端末装置１０に送信（配布）する装置（例えば学習装置）とは別体であってもよい。この場合、学習装置は、音声認識モデルを保持し、サーバ装置１００から取得したデータを用いてモデルの学習や更新を行い、ユーザが利用する端末装置１０へモデルを送信してもよい。例えば、情報処理システム１では、サーバ装置１００が収集した音声データ等の音声に関する情報を、別途、人手で検聴して正解テキストを付与したり、機械的に選別して、新しい音声認識モデルを学習したり、更新したりしてもよい。また、情報処理システム１では、モデルの配布は、アプリのバイナリに添付して、アプリストア等、アプリケーションのダウンロードサービスを経由して、ユーザが利用する端末装置１０にバージョンアップとして配信されてもよい。なお、情報処理システム１の構成は、サーバ装置１００が端末装置１０から音声に関する情報を取得する構成であれば、上記に限らず任意の構成が採用可能である。

【0057】

〔３．端末装置の構成例〕
次に、図３を用いて、端末装置１０の構成について説明する。図３は、端末装置１０の構成例を示す図である。図３に示すように、端末装置１０は、通信部１１と、入力部１２と、出力部１３と、記憶部１４と、制御部１５と、センサ部１６とを有する。なお、端末装置１０は、データを収集し、サーバ装置１００へ提供可能な構成であれば、どのような装置構成であってもよい。例えば、端末装置１０は、サーバ装置１００と通信する通信部１１と、データを収集する処理を行う制御部１５とを有すれば、その他の構成は任意であってもよい。端末装置１０の種別によっては、例えば、端末装置１０は、入力部１２や出力部１３や記憶部１４やセンサ部１６のいずれかを有しなくてもよい。

【0058】

なお、端末装置１０は、どのような実現態様であるかに応じて、上記に限らず任意の構成を有してもよい。例えば、端末装置１０が移動体である場合、端末装置１０は、駆動部（モータ）等の移動を実現するための機構を有する構成であってもよい。

【0059】

（通信部１１）
通信部１１は、例えば、ＮＩＣや通信回路等によって実現される。通信部１１は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、サーバ装置１００等の他の装置等との間で情報の送受信を行う。

【0060】

（入力部１２）
入力部１２は、各種入力を受け付ける。入力部１２は、ユーザの操作を受け付ける。例えば、入力部１２は、音声によるユーザの入力をマイク等の音声センサ１６１を介して受け付ける。入力部１２は、ユーザの発話による各種操作を受け付ける。

【0061】

また、入力部１２は、ユーザの発話（音声）以外による端末装置１０への操作（ユーザ操作）をユーザによる操作入力として受け付けてもよい。入力部１２は、通信部１１を介して、リモコン（リモートコントローラー：remote controller）を用いたユーザの操作に関する情報を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスを有してもよい。

【0062】

例えば、入力部１２は、リモコンやキーボードやマウスと同等の機能を実現できるタッチパネルを有してもよい。この場合、入力部１２は、ディスプレイ（出力部１３）を介して各種情報が入力される。入力部１２は、各種センサにより実現されるタッチパネルの機能により、表示画面を介してユーザから各種操作を受け付ける。すなわち、入力部１２は、端末装置１０のディスプレイ（出力部１３）を介してユーザから各種操作を受け付ける。例えば、入力部１２は、端末装置１０のディスプレイ（出力部１３）を介してユーザの操作を受け付ける。

【0063】

（出力部１３）
出力部１３は、各種情報を出力する。出力部１３は、情報を表示する機能を有する。出力部１３は、端末装置１０に設けられ各種情報を表示する。出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。出力部１３は、音声を出力する機能を有してもよい。例えば、出力部１３は、音声を出力するスピーカーを有する。

【0064】

（記憶部１４）
記憶部１４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、データの収集に必要な各種情報を記憶する。記憶部１４は、モデル情報記憶部１４１と収集情報記憶部１４２とを有する。

【0065】

（モデル情報記憶部１４１）
実施形態に係るモデル情報記憶部１４１は、モデル（ネットワーク）の構造を示す情報（モデルデータ）を記憶する。図４は、モデル情報記憶部の一例を示す図である。図４に示した例では、モデル情報記憶部１４１は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。

【0066】

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図４では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルに含まれるネットワークに関する情報や関数等、そのモデルを構成する種々の情報が含まれる。

【0067】

図４に示す例では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「音声認識」であることを示す。モデルＭ１は、音声認識に用いられるモデルであることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。

【0068】

なお、モデル情報記憶部１４１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、モデル情報記憶部１４１は、学習処理により学習（生成）されたモデルのパラメータ情報を記憶する。

【0069】

（収集情報記憶部１４２）
実施形態に係る収集情報記憶部１４２は、端末装置１０が収集したユーザの発話（音声）に関する情報を記憶する。図５は、収集情報記憶部の一例を示す図である。図５に示した例では、収集情報記憶部１４２は、「音声ＩＤ」、「音声」、「認識結果」といった項目が含まれる。

【0070】

「音声ＩＤ」は、収集した音声を識別するための識別情報を示す。「音声」は、収集した音声を示す。図５では「音声」に「ＡＤＴ１」といった概念的な情報が格納される例を示したが、実際には、収集した音声データ、例えば音声の波形データ等、音声に関する種々の情報が含まれる。「認識結果」は、対応する音声の認識結果を示す。図５では「認識結果」に「ＲＳ１」といった概念的な情報が格納される例を示したが、実際には、音声の認識結果、例えば、音声データを文字データ（文字列）に変換した結果や、音声に含まれる内容等を示す情報が含まれる。

【0071】

図５に示す例では、音声ＩＤ「ＡＤ１」により識別される音声（音声ＡＤ１）の認識結果が、認識結果ＲＳ１あることを示す。

【0072】

なお、収集情報記憶部１４２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、収集情報記憶部１４２は、各音声にその音声がどのような状況で検知されたかを示す情報が対応付けて記憶する。例えば、収集情報記憶部１４２は、各音声にその音声のＳＮ比を対応付けて記憶する。

【0073】

（制御部１５）
図３に戻り、説明を続ける。制御部１５は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部に記憶されたプログラム（例えば、に係る送信プログラム等の情報処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１５は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0074】

図３に示すように、制御部１５は、受信部１５１と、音声認識部１５２と、収集部１５３と、通知部１５４と、受付部１５５と、判定部１５６と、送信部１５７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0075】

（受信部１５１）
受信部１５１は、各種情報を受信する。受信部１５１は、外部の情報処理装置から各種情報を受信する。受信部１５１は、サーバ装置１００等の他の情報処理装置から各種情報を受信する。

【0076】

受信部１５１は、サーバ装置１００が情報提供を要求する音声に関する条件を示す情報をサーバ装置１００から受信する。

【0077】

受信部１５１は、サーバ装置１００が学習したモデルをサーバ装置１００から受信する。受信部１５１は、サーバ装置１００から音声認識モデルを受信する。受信部１５１は、サーバ装置１００からモデルＭ１を受信する。

【0078】

（音声認識部１５２）
音声認識部１５２は、音声認識に関する各種処理を実行する。音声認識部１５２は、記憶部１４に記憶された情報を用いて、音声認識処理を実行する。音声認識部１５２は、音声認識モデルを用いて、音声認識処理を実行する。音声認識部１５２は、受信部１５１が受信した音声認識モデルを用いて、音声認識処理を実行する。音声認識部１５２は、受信部１５１が受信したモデルＭ１を用いて、音声認識処理を実行する。例えば、音声認識部１５２は、モデル情報記憶部１４１に記憶されたモデルＭ１を用いて、音声認識処理を実行する。

【0079】

音声認識部１５２は、モデルＭ１を用いて、ユーザの発話（音声）を文字情報（文字データ）に変換することにより、ユーザ発話の音声をテキスト化する。また、音声認識部１５２は、ユーザの発話の内容を分析する。音声認識部１５２は、種々の従来技術を適宜用いて、ユーザの発話を分析することにより、ユーザの発話の内容を推定する。例えば、音声認識部１５２は、自然言語理解（ＮＬＵ：Natural Language Understanding）や自動音声認識（ＡＳＲ：Automatic Speech Recognition）の機能により、ユーザの発話の内容を分析してもよい。

【0080】

（収集部１５３）
収集部１５３は、各種情報を収集する。収集部１５３は、各種情報の収集を決定する。収集部１５３は、外部の情報処理装置からの情報に基づいて、各種情報を収集する。収集部１５３は、記憶部１４に記憶された情報に基づいて、各種情報を収集する。収集部１５３は、モデル情報記憶部１４１に記憶されたモデルＭ１を用いたセンシングによりデータを収集する。

【0081】

収集部１５３は、ユーザが発話した音声と発話の音声認識による認識結果とを対応付けて自装置内の記憶部１４に収集する。収集部１５３は、音声とその音声の認識結果とを対応付けて収集情報記憶部１４２に格納する。収集部１５３は、ユーザが発話した音声と音声認識部１５２による音声認識の結果とを対応付けて収集情報記憶部１４２に登録する。

【0082】

（通知部１５４）
通知部１５４は、ユーザへの通知に関する処理を実行する。通知部１５４は、ユーザへの情報の通知を行う。通知部１５４は、出力部１３を介してユーザへの情報の通知を行う。

【0083】

通知部１５４は、サーバ装置１００へ送信する候補となる音声に関する情報をユーザに通知する。通知部１５４は、サーバ装置１００へ送信する候補の一覧情報を出力部１３に表示する。

【0084】

通知部１５４は、音声に関する情報がサーバ装置１００へ送信された場合にユーザに提供されるインセンティブを示す情報を通知する。通知部１５４は、音声に関する情報がサーバ装置１００へ送信された場合にユーザに提供されるインセンティブを示す情報を出力部１３に表示する。

【0085】

（受付部１５５）
受付部１５５は、各種情報を受け付ける。受付部１５５は、ユーザによる各種操作を受け付ける。例えば、受付部１５５は、入力部１２を介してユーザによる各種操作を受け付ける。

【0086】

受付部１５５は、ユーザによる許諾を受け付ける。受付部１５５は、通知部１５４により通知されたサーバ装置１００へ送信する候補に対する、ユーザによる許諾を受け付ける。

【0087】

（判定部１５６）
判定部１５６は、各種情報を判定する。例えば、判定部１５６は、受信部１５１により外部装置から受信された各種情報に基づいて、各種情報を判定する。例えば、判定部１５６は、記憶部１４に記憶された情報に基づいて、各種情報を判定する。例えば、判定部１５６は、記憶部１４に記憶されたデータの収集に関する条件を示す情報を用いて、判定を行う。

【0088】

判定部１５６は、サーバ装置１００へ送信する情報に関する判定を行う。判定部１５６は、音声がサーバ装置１００へ送信する情報に関する条件を満たすか否かを判定する。判定部１５６は、サーバ装置１００へ情報を送信するタイミングを判定する。

【0089】

判定部１５６は、収集部１５３により収集された音声が所定の条件を満たすか否かを判定する。判定部１５６は、収集部１５３により収集された音声の数が所定数以上であるか否かを判定する。判定部１５６は、収集部１５３により収集された音声の音声認識に関するスコアが所定の条件を満たすか否かを判定する。判定部１５６は、収集部１５３により収集された音声がノイズに関する条件を満たすか否かを判定する。判定部１５６は、収集部１５３により収集された音声に対応する発話が所定の内容を含むか否かを判定する。

【0090】

判定部１５６は、サーバ装置１００により指定された所定の条件を満たすか否かを判定する。判定部１５６は、サーバ装置１００から受信した所定の条件を満たすであるか否かを判定する。

【0091】

判定部１５６は、通知部１５４により通知された候補のうち、ユーザが許諾した音声に関する情報をサーバ装置１００に送信する。判定部１５６は、サーバ装置１００へ情報を送信するタイミングであるか否かを判定する。判定部１５６は、通信環境が所定の通信条件を満たしているか否かを判定する。判定部１５６は、ユーザによる端末装置の利用率が低いタイミングであるか否かを判定する。

【0092】

（送信部１５７）
送信部１５７は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１５７は、サーバ装置１００等の他の情報処理装置へ各種情報を送信する。送信部１５７は、記憶部１４に記憶された情報を送信する。

【0093】

送信部１５７は、サーバ装置１００等の他の情報処理装置からの情報に基づいて、各種情報を送信する。送信部１５７は、記憶部１４に記憶された情報に基づいて、各種情報を送信する。

【0094】

送信部１５７は、判定部１５６による判定結果に応じて、サーバ装置１００に情報を送信する。送信部１５７は、判定部１５６により情報送信の条件をみたすと判定された場合、サーバ装置１００に情報を送信する。送信部１５７は、収集部１５３により収集された音声が所定の条件を満たす場合、ユーザの許諾に応じて、音声に関する情報を音声認識に関するモデルを学習するサーバ装置１００に送信する。

【0095】

送信部１５７は、音声のデータをサーバ装置１００に送信する。送信部１５７は、音声の波形データをサーバ装置１００に送信する。送信部１５７は、音声のデータを圧縮したデータをサーバ装置１００に送信する。送信部１５７は、音声から抽出した特徴情報をサーバ装置１００に送信する。

【0096】

送信部１５７は、収集部１５３により収集された音声の数が所定数以上である場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。送信部１５７は、収集部１５３により収集された音声の音声認識に関するスコアが所定の条件を満たす場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。送信部１５７は、収集部１５３により収集された音声がノイズに関する条件を満たす場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。送信部１５７は、収集部１５３により収集された音声に対応する発話が所定の内容を含む場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。送信部１５７は、サーバ装置１００により指定された所定の条件を満たす場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。

【0097】

送信部１５７は、通知部１５４により通知された候補のうち、ユーザが許諾した音声に関する情報をサーバ装置１００に送信する。送信部１５７は、受付部１５５によりユーザの許諾が受け付けられた後、所定のタイミングで音声に関する情報をサーバ装置１００に送信する。送信部１５７は、通信環境が所定の通信条件を満たしている間に、音声に関する情報をサーバ装置１００に送信する。送信部１５７は、ユーザによる端末装置の利用率が低いタイミングで、音声に関する情報をサーバ装置１００に送信する。送信部１５７は、サーバ装置１００から受信した所定の条件を満たす音声に関する情報を、ユーザの許諾に応じて、サーバ装置１００に送信する。

【0098】

（センサ部１６）
センサ部１６は、様々なセンサ情報を検知するセンサを有する。図３の例では、センサ部１６は、音声センサ１６１を有する。

【0099】

（音声センサ１６１）
音声センサ１６１は、例えばマイク等であり、音声を検知する。例えば、音声センサ１６１は、ユーザの発話を検知する。なお、音声センサ１６１は、処理に必要なユーザの発話情報を検知可能であれば、どのような構成であってもよい。

【0100】

なお、センサ部１６は、上記に限らず、種々のセンサを有してもよい。センサ部１６は、画像センサ、位置センサ、加速度センサ、ジャイロセンサ、温度センサ、湿度センサ、照度センサ、圧力センサ、近接センサ、ニオイや汗や心拍や脈拍や脳波等の生体情報を受信のためのセンサ等の種々のセンサを有してもよい。また、センサ部１６における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。

【0101】

〔４．サーバ装置の構成例〕
次に、図６を用いて、実施形態に係るサーバ装置１００の構成について説明する。図６は、実施形態に係るサーバ装置１００の構成例を示す図である。図６に示すように、サーバ装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

【0102】

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。また、通信部１１０は、ネットワークＮ（図２参照）と有線又は無線で接続される。

【0103】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図６に示すように、記憶部１２０は、モデル情報記憶部１２１と、学習用データ情報記憶部１２２とを有する。なお、記憶部１２０は、上記に限らず、様々な情報を記憶する。記憶部１２０は、情報の送信に関する様々な条件を示す情報を記憶する。例えば、記憶部１２０は、サーバ装置１００へ送信する情報の条件を示す情報（情報条件情報）を記憶する。例えば、記憶部１２０は、サーバ装置１００へ送信するタイミングの条件を示す情報（タイミング条件情報）を記憶する。

【0104】

（モデル情報記憶部１２１）
実施形態に係るモデル情報記憶部１２１は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２１は、ユーザやコミュニティを対象として学習した共通モデル（グローバルモデル）を記憶する。図７は、実施形態に係るモデル情報記憶部の一例を示す図である。図７に示すモデル情報記憶部１２１は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。

【0105】

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図７では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルに含まれるネットワークに関する情報や関数等、そのモデルを構成する種々の情報が含まれる。

【0106】

図７に示す例では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「音声認識」であることを示す。モデルＭ１は、音声認識に用いられるモデルであることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。

【0107】

なお、モデル情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、モデル情報記憶部１２１は、学習処理により学習（生成）されたモデルのパラメータ情報を記憶する。なお、モデルの学習を他の装置（学習装置等）が行う場合は、サーバ装置１００は、モデル情報記憶部１２１を有しなくてもよい。

【0108】

（学習用データ情報記憶部１２２）
実施形態に係る学習用データ情報記憶部１２２は、学習に用いるデータに関する各種情報を記憶する。学習用データ情報記憶部１２２は、学習に用いるデータセットを記憶する。図８は、実施形態に係る学習用データ情報記憶部の一例を示す図である。例えば、学習用データ情報記憶部１２２は、学習に用いる学習用データや精度評価（算出）に用いる評価用データ等の種々のデータに関する各種情報を記憶する。図８に、実施形態に係る学習用データ情報記憶部１２２の一例を示す。図８の例では、学習用データ情報記憶部１２２は、「データセットＩＤ」、「データＩＤ」、「データ」、「ラベル」、「日時」といった項目が含まれる。

【0109】

「データセットＩＤ」は、データセットを識別するための識別情報を示す。「データＩＤ」は、データを識別するための識別情報を示す。また、「データ」は、データＩＤにより識別されるデータに対応するデータを示す。

【0110】

「ラベル」は、対応するデータに付されるラベル（正解ラベル）を示す。例えば、「ラベル」は、対応するデータ（音声）の認識結果を示す情報（正解情報）であってもよい。例えば、「ラベル」は、ユーザの発話を示す音声データを文字データ（文字列）に変換した結果を示す正解情報である。

【0111】

また、「日時」は、対応するデータに関する時間（日時）を示す。なお、図８の例では、「ＤＡ１」等で図示するが、「日時」には、「２０２１年８月８日１５時５２分１４秒」等の具体的な日時であってもよいし、「バージョンＸＸもモデル学習から使用開始」等、そのデータがどのモデルの学習から使用が開始されたかを示す情報が記憶されてもよい。

【0112】

図８の例では、データセットＩＤ「ＤＳ１」により識別されるデータセット（データセットＤＳ１）には、データＩＤ「ＤＩＤ１」、「ＤＩＤ２」、「ＤＩＤ３」等により識別される複数のデータが含まれることを示す。例えば、データＩＤ「ＤＩＤ１」、「ＤＩＤ２」、「ＤＩＤ３」等により識別される各データ（学習用データ）は、モデルの学習に用いられる音声情報（音声データ）等である。

【0113】

例えば、データＩＤ「ＤＩＤ１」により識別されるデータＤＴ１は、ラベルＬＢ１が付されたラベル有りデータであり、日時ＤＡ１でのモデルの学習から使用が開始されたことを示す。また、例えば、データＩＤ「ＤＩＤ４」により識別されるデータＤＴ４は、ラベル無しデータとして取集され、予測ラベルであるラベルＬＢ４が付されたデータであり、日時ＤＡ４でのモデルの学習から使用が開始されたことを示す。

【0114】

なお、学習用データ情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、学習用データ情報記憶部１２２は、各データが学習用データであるか、評価用データであるか等を特定可能に記憶してもよい。例えば、学習用データ情報記憶部１２２は、学習用データと評価用データとを区別可能に記憶する。学習用データ情報記憶部１２２は、各データが学習用データや評価用データであるかを識別する情報を記憶してもよい。サーバ装置１００は、学習用データとして用いられる各データと正解情報とに基づいて、モデルを学習する。サーバ装置１００は、評価用データとして用いられる各データと正解情報とに基づいて、モデルの精度を算出する。サーバ装置１００は、評価用データを入力した場合にモデルが出力する出力結果と、正解情報とを比較した結果を収集することにより、モデルの精度を算出する。

【0115】

（制御部１３０）
図６に戻り、説明を続ける。制御部１３０は、コントローラ（Controller）であり、例えば、ＣＰＵ、ＭＰＵ、ＡＳＩＣ、ＦＰＧＡ等によって、サーバ装置１００の内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等の記憶領域を作業領域として実行されることにより実現される。

【0116】

図６に示す例では、制御部１３０は、取得部１３１と、決定部１３２と、学習部１３３と、送信部１３４とを有する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0117】

（取得部１３１）
取得部１３１は、通信部１１０を介して、外部の情報処理装置から各種情報を受信する。取得部１３１は、端末装置１０から各種情報を受信する。取得部１３１は、端末装置１０から受信した音声に関する情報を記憶部１２０へ格納する。取得部１３１は、端末装置１０から受信した音声に関する情報を、モデルの学習に用いるデータ（学習データ）として学習用データ情報記憶部１２２に登録する。

【0118】

取得部１３１は、各種情報を取得する。取得部１３１は、記憶部１２０から各種情報を取得する。取得部１３１は、モデル情報記憶部１２１や学習用データ情報記憶部１２２から各種情報を取得する。

【0119】

（決定部１３２）
決定部１３２は、各種情報を決定する。例えば、決定部１３２は、取得部１３１により外部装置から取得された各種情報に基づいて、各種情報を決定する。例えば、決定部１３２は、端末装置１０から取得された各種情報に基づいて、各種情報を決定する。

【0120】

決定部１３２は、端末装置１０に提供を要求する情報に関する条件を決定する。例えば、決定部１３２は、記憶部１２０に記憶された情報に基づいて、端末装置１０に提供を要求する情報に関する条件を決定する。

【0121】

（学習部１３３）
学習部１３３は、各種情報を学習する。学習部１３３は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報を学習する。学習部１３３は、学習用データ情報記憶部１２２に記憶された情報に基づいて、各種情報を学習する。学習部１３３は、学習により生成したモデルをモデル情報記憶部１２１に格納する。学習部１３３は、学習により更新したモデルをモデル情報記憶部１２１に格納する。

【0122】

学習部１３３は、学習処理を行う。学習部１３３は、各種学習を行う。学習部１３３は、取得部１３１により取得された情報に基づいて、各種情報を学習する。学習部１３３は、モデルを学習（生成）する。学習部１３３は、モデル等の各種情報を学習する。学習部１３３は、学習によりモデルを生成する。学習部１３３は、種々の機械学習に関する技術を用いて、モデルを学習する。例えば、学習部１３３は、モデル（ネットワーク）のパラメータを学習する。学習部１３３は、種々の機械学習に関する技術を用いて、モデルを学習する。

【0123】

学習部１３３は、モデルＭ１を生成する。学習部１３３は、ネットワークのパラメータを学習する。例えば、学習部１３３は、モデルＭ１のネットワークのパラメータを学習する。

【0124】

学習部１３３は、学習用データ情報記憶部１２２に記憶された学習用データ（教師データ）に基づいて、学習処理を行う。学習部１３３は、学習用データ情報記憶部１２２に記憶された学習用データを用いて、学習処理を行うことにより、モデルＭ１を生成する。例えば、学習部１３３は、音声認識に用いられるモデルを生成する。学習部１３３は、モデルＭ１のネットワークのパラメータを学習することにより、モデルＭ１を生成する。

【0125】

学習部１３３による学習の手法は特に限定されないが、例えば、ラベルとデータ（画像）とを紐づけた学習用データを用意し、その学習用データを多層ニューラルネットワークに基づいた計算モデルに入力して学習してもよい。また、例えばＣＮＮ（Convolutional Neural Network）、３Ｄ－ＣＮＮ等のＤＮＮ（Deep Neural Network）に基づく手法が用いられてもよい。学習部１３３は、音声等のような時系列データを対象とする場合、再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）やＲＮＮを拡張したＬＳＴＭ（Long Short-Term Memory units）に基づく手法を用いてもよい。なお、モデルの学習を他の装置（学習装置等）が行う場合は、サーバ装置１００は、学習部１３３を有しなくてもよい。

【0126】

（送信部１３４）
送信部１３４は、通信部１１０を介して、各種情報を端末装置１０へ送信する。送信部１３４は、端末装置１０が自装置内で音声認識を行うために用いる音声認識モデルを端末装置１０へ送信する。送信部１３４は、モデルＭ１を端末装置１０に提供する。

【0127】

送信部１３４は、端末装置１０に情報送信を要求する音声を指定する所定の条件を示す情報を、端末装置１０に送信する。送信部１３４は、決定部１３２により決定された条件を示す情報を、端末装置１０に送信する。送信部１３４は、他の装置（学習装置等）に収集したデータを送信してもよい。

【0128】

〔５．処理手順〕
次に、図９を用いて実施形態に係る端末装置１０による処理手順について説明する。図９は、実施形態に係る処理手順を示すフローチャートである。

【0129】

図９に示すように、端末装置１０は、ユーザが発話した音声と発話の音声認識による認識結果とを対応付けて自装置内の記憶部１２０に収集する（ステップＳ１０１）。

【0130】

そして、端末装置１０は、収集した音声が所定の条件を満たす場合、ユーザの許諾に応じて、音声に関する情報をサーバ装置１００に送信する（ステップＳ１０２）。

【0131】

〔６．効果〕
上述してきたように、本願に係る端末装置１０は、ユーザに利用され、自装置で音声認識を行う端末装置１０であり、収集部１５３と、送信部１５７とを有する。収集部１５３は、ユーザが発話した音声と発話の音声認識による認識結果とを対応付けて自装置内の記憶部１４に収集する。送信部１５７は、収集部１５３により収集された音声が所定の条件を満たす場合、ユーザの許諾に応じて、音声に関する情報をサーバ装置１００に送信する。

【0132】

このように、端末装置１０は、自装置内でユーザの発話の音声の音声認識行い、その音声に関する情報を、条件を満たしかつユーザが許諾した場合にサーバ装置１００に送信する。これにより、端末装置１０は、端末装置１０が音声認識を行う場合であっても、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0133】

また、端末装置１０において、送信部１５７は、音声のデータをサーバ装置１００に送信する。このように、端末装置１０は、音声のデータをサーバ装置１００へ送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0134】

また、端末装置１０において、送信部１５７は、音声の波形データをサーバ装置１００に送信する。このように、端末装置１０は、音声の波形データをサーバ装置１００へ送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0135】

また、端末装置１０において、送信部１５７は、音声のデータを圧縮したデータをサーバ装置１００に送信する。このように、端末装置１０は、音声のデータを圧縮したデータをサーバ装置１００へ送信することにより、通信量の増大を抑制しつつ、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0136】

また、端末装置１０において、送信部１５７は、音声から抽出した特徴情報をサーバ装置１００に送信する。このように、端末装置１０は、音声のデータを圧縮したデータをサーバ装置１００へ送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0137】

また、端末装置１０において、送信部１５７は、収集部１５３により収集された音声の数が所定数以上である場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、収集した音声の数が所定数以上になった場合に、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0138】

また、端末装置１０において、送信部１５７は、収集部１５３により収集された音声の音声認識に関するスコアが所定の条件を満たす場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、収集した音声の音声認識に関するスコアが所定の条件を満たす場合に、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0139】

また、端末装置１０において、送信部１５７は、収集部１５３により収集された音声がノイズに関する条件を満たす場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、収集した音声がノイズに関する条件を満たす場合に、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0140】

また、端末装置１０において、送信部１５７は、収集部１５３により収集された音声に対応する発話が所定の内容を含む場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、音声に対応する発話が所定の内容を含む場合に、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0141】

また、端末装置１０において、送信部１５７は、サーバ装置１００により指定された所定の条件を満たす場合、許諾に応じて音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、サーバ装置１００により指定された条件を満たす場合に、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0142】

また、端末装置１０は、受付部１５５を有する。受付部１５５は、ユーザによる許諾を受け付ける。このように、端末装置１０は、ユーザによる許諾を受け付けることにより、ユーザの許諾があった場合にのみ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0143】

また、端末装置１０において、送信部１５７は、受付部１５５によりユーザの許諾が受け付けられた後、所定のタイミングで音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、ユーザの許諾後の所定のタイミングで、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切なタイミングで送信することができる。

【0144】

また、端末装置１０において、送信部１５７は、通信環境が所定の通信条件を満たしている間に、音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、通信環境が所定の通信条件を満たしている間に、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切なタイミングで送信することができる。

【0145】

また、端末装置１０において、送信部１５７は、ユーザによる端末装置の利用率が低いタイミングで、音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、ユーザによる端末装置１０の利用率が低いタイミングで、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切なタイミングで送信することができる。

【0146】

また、端末装置１０は、通知部１５４を有する。通知部１５４は、サーバ装置１００へ送信する候補となる音声に関する情報をユーザに通知する。このように、端末装置１０は、サーバ装置１００へ送信する候補となる音声に関する情報をユーザに通知することにより、ユーザにどのような情報がサーバ装置１００へ送信されるのかを認識させることができる。

【0147】

また、端末装置１０において、送信部１５７は、通知部１５４により通知された候補のうち、ユーザが許諾した音声に関する情報をサーバ装置１００に送信する。このように、端末装置１０は、ユーザに候補を通知し、その中でユーザが許諾した音声について、サーバ装置１００へ音声に関する情報を送信することにより、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0148】

また、端末装置１０において、通知部１５４は、音声に関する情報がサーバ装置１００へ送信された場合にユーザに提供されるインセンティブを示す情報を通知する。このように、端末装置１０は、情報提供の対価としてユーザに提供されるインセンティブをユーザに知らせることにより、ユーザが情報提供を行う動機づけを与えることができ、端末装置１０から他の装置へ送信される情報量を増大させることができる。

【0149】

上述してきたように、本願に係る情報処理システム１は、ユーザに利用され、自装置で音声認識を行う端末装置１０と、サーバ装置１００と、を有する。サーバ装置１００は、端末装置１０に情報送信を要求する音声を指定する所定の条件を示す情報を、端末装置１０に送信する。端末装置１０は、サーバ装置１００から受信した所定の条件を満たす音声に関する情報を、ユーザの許諾に応じて、サーバ装置１００に送信する。

【0150】

このように、情報処理システム１は、ユーザが利用する端末装置１０が自装置内でユーザの発話の音声の音声認識行い、サーバ装置１００から指定された条件を満たす音声に関する情報を、端末装置１０がサーバに送信する。これにより、情報処理システム１は、端末装置１０が音声認識を行う場合であっても、端末装置１０で収集される音声に関する情報を他の装置へ適切に送信することができる。

【0151】

〔７．ハードウェア構成〕
また、上述した実施形態に係る端末装置１０やサーバ装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。以下、サーバ装置１００を例に挙げて説明する。図１０は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力Ｉ／Ｆ（Interface）１０６０、入力Ｉ／Ｆ１０７０、ネットワークＩ／Ｆ１０８０がバス１０９０により接続された形態を有する。

【0152】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置１０３０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。

【0153】

一次記憶装置１０４０は、ＲＡＭ（Random Access Memory）等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等により実現される。二次記憶装置１０５０は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置１０５０は、ＵＳＢメモリやＳＤ（Secure Digital）メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置１０５０は、クラウドストレージ（オンラインストレージ）やＮＡＳ（Network Attached Storage）、ファイルサーバ等であってもよい。

【0154】

出力Ｉ／Ｆ１０６０は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力Ｉ／Ｆ１０７０は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。

【0155】

また、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０はそれぞれ出力装置１０１０及び入力装置１０２０と無線で接続してもよい。すなわち、出力装置１０１０及び入力装置１０２０は、ワイヤレス機器であってもよい。

【0156】

また、出力装置１０１０及び入力装置１０２０は、タッチパネルのように一体化していてもよい。この場合、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０も、入出力Ｉ／Ｆとして一体化していてもよい。

【0157】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。

【0158】

ネットワークＩ／Ｆ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0159】

演算装置１０３０は、出力Ｉ／Ｆ１０６０や入力Ｉ／Ｆ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0160】

例えば、コンピュータ１０００がサーバ装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器から取得したプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。

【0161】

〔８．その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【0162】

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0163】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【0164】

例えば、上述したサーバ装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。

【0165】

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0166】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0167】

１ 情報処理システム
１０ 端末装置
１１ 通信部
１２ 入力部
１３ 出力部
１４ 記憶部
１４１ モデル情報記憶部
１４２ 収集情報記憶部
１５ 制御部
１５１ 受信部
１５２ 音声認識部
１５３ 収集部
１５４ 通知部
１５５ 受付部
１５６ 判定部
１５７ 送信部
１６ センサ部
１６１ 音声センサ
１００ サーバ装置
１１０ 通信部
１２０ 記憶部
１２１ モデル情報記憶部
１２２ 学習用データ情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 決定部
１３３ 学習部
１３４ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】