特許 7456492 音声処理装置、音声処理システム、音声処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-18

(45)【発行日】2024-03-27

(54)【発明の名称】音声処理装置、音声処理システム、音声処理方法及びプログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20240319BHJP

【ＦＩ】

H04R3/00 310

H04R3/00 320

【請求項の数】 10

(21)【出願番号】P 2022510606

(86)(22)【出願日】2021-03-24

(86)【国際出願番号】 JP2021012288

(87)【国際公開番号】W WO2021193734

(87)【国際公開日】2021-09-30

【審査請求日】2022-09-07

(31)【優先権主張番号】P 2020056340

(32)【優先日】2020-03-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】皆川 暢徹

(72)【発明者】

【氏名】大橋 一範

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１６－０３３７６４（ＪＰ，Ａ）

【文献】特開２０１９－０３３４９７（ＪＰ，Ａ）

【文献】特開平０８－２０５２７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定する位置関係特定手段と、
前記フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得する音声取得手段と、
前記ユーザの向いている方向を判定する方向判定手段と、
特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定する注視位置判定手段と、
判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行う音声提供手段と、
を有し、
前記注視位置が前記フィールドの外の特定領域に対応する場合に、前記音声提供手段は、前記特定領域に対応し前記集音装置から取得された音声とは異なる予め定められた音声を、前記ユーザに提供するための処理を行う、
音声処理装置。

【請求項2】

前記音声取得手段は、前記複数の領域それぞれについて設けられた複数の前記集音装置から音声を取得する、
請求項１に記載の音声処理装置。

【請求項3】

前記注視位置が隣り合う２つ以上の前記領域の境界近傍に設けられた境界部分に対応する場合に、前記境界部分に対応する前記２つ以上の前記領域に関する前記音声を合成し、合成された音声である合成音声を生成する音声合成手段、
をさらに有し、
前記注視位置が前記境界部分に対応する場合に、前記音声提供手段は、前記合成音声を前記ユーザに提供するための処理を行う、
請求項１又は２に記載の音声処理装置。

【請求項4】

前記音声合成手段は、前記境界部分に対応する前記２つ以上の前記領域のうち、前記境界部分において前記注視位置に近い前記領域に関する音声の割合が大きくなるように、前記合成音声を生成する、
請求項３に記載の音声処理装置。

【請求項5】

前記特定領域に対応する音声は、前記フィールドで行われている前記イベントに関する音声である、
請求項１から４のいずれか１項に記載の音声処理装置。

【請求項6】

イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定する位置関係特定手段と、
前記フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得する音声取得手段と、
前記ユーザの向いている方向を判定する方向判定手段と、
特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定する注視位置判定手段と、
判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行う音声提供手段と、
を有し、
予め定められた数以上の前記ユーザである第１のユーザの注視位置が前記複数の領域のうちの第１の領域に対応する場合に、前記音声提供手段は、前記第１のユーザ以外の前記ユーザに対して、前記第１の領域に関する音声を提供するための処理を行う、
音声処理装置。

【請求項7】

イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置と、
音声処理装置と、
を有し、
前記音声処理装置は、
前記フィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定する位置関係特定手段と、
前記集音装置から音声を取得する音声取得手段と、
前記ユーザの向いている方向を判定する方向判定手段と、
特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定する注視位置判定手段と、
判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行う音声提供手段と、
を有し、
前記注視位置が前記フィールドの外の特定領域に対応する場合に、前記音声提供手段は、前記特定領域に対応し前記集音装置から取得された音声とは異なる予め定められた音声を、前記ユーザに提供するための処理を行う、
音声処理システム。

【請求項8】

イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定し、
前記フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得し、
前記ユーザの向いている方向を判定し、
特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定し、
判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行い、
前記注視位置が前記フィールドの外の特定領域に対応する場合に、前記特定領域に対応し前記集音装置から取得された音声とは異なる予め定められた音声を、前記ユーザに提供するための処理を行う、
音声処理方法。

【請求項9】

イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定し、
前記フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得し、
前記ユーザの向いている方向を判定し、
特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定し、
判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行い、
予め定められた数以上の前記ユーザである第１のユーザの注視位置が前記複数の領域のうちの第１の領域に対応する場合に、前記第１のユーザ以外の前記ユーザに対して、前記第１の領域に関する音声を提供するための処理を行う、
音声処理方法。

【請求項10】

イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定するステップと、
前記フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得するステップと、
前記ユーザの向いている方向を判定するステップと、
特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定するステップと、
判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行うステップと、
前記注視位置が前記フィールドの外の特定領域に対応する場合に、前記特定領域に対応し前記集音装置から取得された音声とは異なる予め定められた音声を、前記ユーザに提供するための処理を行うステップと、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声処理装置、音声処理システム、音声処理方法及びプログラムに関する。

【背景技術】

【0002】

ある方向の音源から音声を収集する技術がある。この技術に関連し、特許文献１は、指向方向を持つアレイマイクを有し、アレイマイクによって収音された音声を録音する電子機器を開示する。特許文献１にかかる電子機器は、アレイマイクによって収音された音声に基づいて音源方向を推定し、推定された音源方向に基づき、その音源方向を示す画像を表示部に表示する。また、特許文献１にかかる電子機器は、画像に対する入力操作を受け付けたとき、音源方向を特定し、特定された音源方向に基づいて、アレイマイクの指向方向を設定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２４００００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

スポーツイベント等のイベントが開催される大会場には、イベントが行われるフィールドと、その周囲に観客席とが設けられている。フィールドでは、複数のプレイヤーによって複数の音源が発生し得る。また、観客席では、複数の観客によって大きな歓声が発生し得る。大会場ではこのような状況であるので、特許文献１にかかる技術では、フィールドにおいてユーザが聴取することを望む領域にかかる音声を、適切にユーザに提供することは困難である。

【0005】

本開示の目的は、このような課題を解決するためになされたものであり、大会場のフィールドにおける所望の領域にかかる音声を適切にユーザに提供することが可能な音声処理装置、音声処理システム、音声処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示にかかる音声処理装置は、イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定する位置関係特定手段と、前記フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得する音声取得手段と、前記ユーザの向いている方向を判定する方向判定手段と、特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定する注視位置判定手段と、判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行う音声提供手段と、を有する。

【0007】

また、本開示にかかる音声処理システムは、イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置と、音声処理装置と、を有し、前記音声処理装置は、前記フィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定する位置関係特定手段と、前記集音装置から音声を取得する音声取得手段と、前記ユーザの向いている方向を判定する方向判定手段と、特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定する注視位置判定手段と、判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行う音声提供手段と、を有する。

【0008】

また、本開示にかかる音声処理方法は、イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定し、前記フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得し、前記ユーザの向いている方向を判定し、特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定し、判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行う。

【0009】

また、本開示にかかるプログラムは、イベントが行われ、周囲に複数の観客のための観客席が設けられたフィールドと、前記観客席にいる少なくとも１人のユーザとの位置関係を特定するステップと、前記フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得するステップと、前記ユーザの向いている方向を判定するステップと、特定された前記位置関係と、判定された前記方向とに基づいて、前記ユーザが見ている位置である注視位置を判定するステップと、判定された前記注視位置に対応する前記領域に関する前記音声を前記ユーザに提供するための処理を行うステップと、をコンピュータに実行させる。

【発明の効果】

【0010】

本開示によれば、大会場のフィールドにおける所望の領域にかかる音声を適切にユーザに提供することが可能な音声処理装置、音声処理システム、音声処理方法及びプログラムを提供できる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施の形態にかかる音声処理装置の概要を示す図である。

【図2】本開示の実施の形態にかかる音声処理装置によって実行される音声処理方法を示すフローチャートである。

【図3】実施の形態１にかかる音声処理システムを示す図である。

【図4】実施の形態１にかかる音声処理装置の構成を示す図である。

【図5】実施の形態１にかかる音声処理システムが適用されるフィールドを例示する図である。

【図6】実施の形態１にかかる音声処理装置によって実行される音声処理方法を示すフローチャートである。

【図7】実施の形態１にかかる、フィールド画像情報を用いて、フィールドと観客席にいるユーザとの位置関係を特定する方法を説明するための図である。

【図8】実施の形態１にかかる音声処理システムを用いて、ユーザが音声を聴取することを説明するための図である。

【図9】実施の形態２にかかる音声処理装置によって実行される音声処理方法を示すフローチャートである。

【図10】実施の形態２にかかるフィールドの外の特定領域を説明するための図である。

【図11】実施の形態３にかかる音声処理装置によって実行される音声処理方法を示すフローチャートである。

【発明を実施するための形態】

【0012】

（本開示にかかる実施の形態の概要）
本開示の実施形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図１は、本開示の実施の形態にかかる音声処理装置１の概要を示す図である。音声処理装置１は、例えば、サーバ等のコンピュータである。

【0013】

音声処理装置１は、ユーザの向いている方向に応じて、大会場におけるフィールドの各領域にかかる音声をユーザに提供する。ここで、「大会場」とは、イベントが行われるフィールドと、フィールドの周囲に複数の観客のための観客席とが設けられた大規模なイベント会場である。大会場は、スタジアム、競技場、サッカー場、野球場であるが、これに限られない。また、フィールドは、例えば、グラウンド、コート等であるがこれに限られない。また、フィールドは、屋外である必要はなく、屋内であってもよい。また、フィールドで行われるイベントは、例えばスポーツイベントであるが、スポーツイベントに限られない。

【0014】

音声処理装置１は、位置関係特定部２と、音声取得部４と、方向判定部６と、注視位置判定部８と、音声提供部１０とを有する。位置関係特定部２は、位置関係特定手段としての機能を有する。音声取得部４は、音声取得手段としての機能を有する。方向判定部６は、方向判定手段としての機能を有する。注視位置判定部８は、注視位置判定手段としての機能を有する。音声提供部１０は、音声提供手段としての機能を有する。

【0015】

図２は、本開示の実施の形態にかかる音声処理装置１によって実行される音声処理方法を示すフローチャートである。位置関係特定部２は、イベントが行われ、周囲に複数の観客のための観客席（スタンド等）が設けられたフィールドと、観客席にいる少なくとも１人のユーザとの位置関係を特定する（ステップＳ２）。つまり、本実施の形態において、「ユーザ」とは、観客であり得る。なお、位置関係を特定する方法については後述する。

【0016】

音声取得部４は、フィールドに関する予め定められた複数の領域それぞれの音声を収集する少なくとも１つの集音装置から音声を取得する（ステップＳ４）。つまり、音声取得部４は、フィールドの複数の領域の音声を取得する。なお、集音装置は、フィールドの複数の領域ごとに設置されていてもよい。また、フィールドの複数の領域については後述する。

【0017】

方向判定部６は、ユーザの向いている方向を判定する（ステップＳ６）。ここで、ユーザの向いている方向とは、例えば、ユーザの顔の向きであってもよいし、ユーザの視線の方向であってもよいし、これらの少なくとも一方から得られた方向であってもよい。注視位置判定部８は、Ｓ２の処理で特定された位置関係と、Ｓ６の処理で判定された方向とに基づいて、ユーザが見ている位置である注視位置を判定する（ステップＳ８）。

【0018】

音声提供部１０は、Ｓ８の処理で判定された注視位置に対応する領域に関する音声をユーザに提供するための処理を行う（ステップＳ１０）。ここで、「音声をユーザに提供するための処理」とは、例えば、ユーザに対して音声を出力する音声出力装置に対して、音声を示す音声データを送信する処理であってもよい。また、音声出力装置は、例えば、ユーザの近傍にあるスピーカ又はイヤホン等である。

【0019】

上述したように、大会場では、フィールドにおいて複数の音源が発生し、さらに観客席からも大きな歓声等が発生し得る。このような大会場のフィールドの特定の領域における音声を、個々のユーザが聴取したいことがある。しかしながら、上記のように、大会場では複数の音源があるので、個々のユーザが聴取したい領域の音声をユーザが聴取することは、困難である。

【0020】

これに対し、本開示にかかる音声処理装置１は、上記のように構成されているので、大会場のフィールドにおいてユーザが注視している領域に関する音声を、ユーザに提供することができる。ここで、ユーザが注視している領域は、そのユーザが興味を持った領域であり、その領域における音声を聴取したい可能性が高い。したがって、大会場のフィールドにおける所望の領域にかかる音声を、適切にユーザに提供することが可能である。つまり、個々のユーザが所望する領域の音声を、そのユーザに提供することができる。

【0021】

なお、音声処理装置１と、少なくとも１つの集音装置と、音声出力装置とを有する音声処理システムを用いても、大会場のフィールドにおける所望の領域にかかる音声を、適切にユーザに提供することが可能である。また、音声処理装置１で実行される音声処理方法及び音声処理方法を実行するプログラムを用いても、大会場のフィールドにおける所望の領域にかかる音声を、適切にユーザに提供することが可能である。

【0022】

（実施の形態１）
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0023】

図３は、実施の形態１にかかる音声処理システム５０を示す図である。音声処理システム５０は、少なくとも１つのユーザ機器６０と、少なくとも１つの集音装置７０と、音声処理装置１００とを有する。音声処理装置１００は、図１に示した音声処理装置１に対応する。ユーザ機器６０と音声処理装置１００とは、有線又は無線のネットワーク５２を介して、通信可能に接続されている。また、集音装置７０と音声処理装置１００とは、有線又は無線を介して、通信可能に接続されている。なお、集音装置７０と音声処理装置１００とがネットワーク５２を介して通信可能に接続されていてもよい。

【0024】

音声処理システム５０は、イベントが行われ周囲に複数の観客のための観客席（スタンド等）が設けられたフィールドの、予め定められた複数の領域の音声を収集する。そして、音声処理システム５０は、あるユーザの注視位置に対応する領域に関する音声を、そのユーザに提供する。

【0025】

集音装置７０は、例えばマイクロフォンである。集音装置７０は、フィールドの予め定められた複数の領域のそれぞれに設置され得る。つまり、好ましくは、複数の集音装置７０が、それぞれ、複数の領域のそれぞれに設置される。集音装置７０は、対応する領域の音声を収集する。集音装置７０は、対応する領域の音声を適切に収集するため、指向性マイクであることが好ましい。また、集音装置７０は、音声処理装置１００に対して、収集された音声に対応する音声信号を送信する。

【0026】

音声処理装置１００は、例えばサーバ等のコンピュータである。音声処理装置１００は、集音装置７０から各領域の音声を取得し、ユーザの注視位置に対応する領域に関する音声をユーザに提供するための処理を行う。具体的には、音声処理装置１００は、ユーザの注視位置に対応する領域に関する音声の音声データを、ユーザ機器６０に送信する。音声処理装置１００の詳細については後述する。

【0027】

ユーザ機器６０は、音声処理システム５０の各ユーザに装着され得るデバイスである。ユーザ機器６０は、例えば、ＡＲ（Augmented Reality）グラス等のスマートグラスで構成されてもよい。あるいは、ユーザ機器６０は、スマートフォン等の情報処理端末であってもよいし、情報処理端末を有する機器であってもよい。ユーザ機器６０は、ユーザの頭部に装着され得る。ユーザ機器６０は、少なくとも通信部６１及び音声出力装置６２を有する。また、ユーザ機器６０は、撮影装置６４、姿勢検出部６６、視線検出部６８、及び表示部６９を有してもよい。特に、ユーザ機器６０は、姿勢検出部６６及び視線検出部６８のいずれか一方を有さなくてもよい。また、ユーザ機器６０のこれらの構成要素は、互いに物理的に別個であってもよい。

【0028】

通信部６１は、ネットワーク５２を介して音声処理装置１００と通信を行うための処理を行う。音声出力装置６２は、音声処理装置１００から受信された音声データを再生する。音声出力装置６２は、例えば、イヤホン又はスピーカ等である。撮影装置６４は、例えば撮像素子又はカメラである。撮影装置６４は、ユーザの前方を撮影し、得られた撮影画像情報を、音声処理装置１００に送信する。撮影装置６４は、例えば、自身の席にいるユーザがユーザ機器６０を装着した状態で、フィールドを撮影してもよい。

【0029】

姿勢検出部６６は、例えばジャイロセンサである。姿勢検出部６６は、ユーザ機器６０の姿勢（傾き）を検出する。具体的には、姿勢検出部６６は、ＸＹＺの３次元座標系（３次元座標空間）における、ユーザ機器６０の傾き（角度）を検出する。姿勢検出部６６は、検出された姿勢を示す姿勢情報を、音声処理装置１００に送信する。

【0030】

視線検出部６８は、ユーザの視線方向を検出（推定）する。なお、視線方向の推定は、既存の手法によって実現できる。例えば、視線検出部６８は、ユーザの目及び瞳孔を検出することで、ユーザの視線方向を検出してもよい。視線検出部６８は、検出された視線方向を示す視線情報を、音声処理装置１００に送信する。

【0031】

表示部６９は、所定の画像を、ユーザが視認可能に出力する。例えば、表示部６９は、スマートグラスのグラス部分に、画像を投影してもよい。あるいは、表示部６９は、それ自身が画像を表示するディスプレイで構成されてもよい。

【0032】

図４は、実施の形態１にかかる音声処理装置１００の構成を示す図である。音声処理装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８（ＩＦ；Interface）とを有する。制御部１０２、記憶部１０４、通信部１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。なお、図３に示したユーザ機器６０も、図４に示したハードウェア構成を有し得る。

【0033】

制御部１０２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部１０４は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１０４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１０４は、制御部１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部１０４は、処理データ等を一時的に記憶するための機能を有する。記憶部１０４は、データベースを含み得る。

【0034】

通信部１０６は、ユーザ機器６０及び集音装置７０と通信を行うために必要な処理を行う。通信部１０６は、通信ポート、ルータ、ファイアウォール等を含み得る。インタフェース部１０８（ＩＦ；Interface）は、例えばユーザインタフェース（ＵＩ）である。インタフェース部１０８は、キーボード、タッチパネル又はマウス等の入力装置と、ディスプレイ又はスピーカ等の出力装置とを有する。インタフェース部１０８は、システム管理者によるデータの入力の操作を受け付け、システム管理者に対して情報を出力する。

【0035】

実施の形態１にかかる音声処理装置１００は、構成要素として、ユーザ情報格納部１１２、フィールド情報格納部１１４、位置関係特定部１２０、音声取得部１３０、及び、方向判定部１４０を有する。また、実施の形態１にかかる音声処理装置１００は、構成要素として、注視位置判定部１５０、音声合成部１５２、及び音声提供部１６０を有する。

【0036】

ユーザ情報格納部１１２は、ユーザ情報格納手段としての機能を有する。フィールド情報格納部１１４は、フィールド情報格納手段としての機能を有する。位置関係特定部１２０は、図１に示した位置関係特定部２に対応する。位置関係特定部１２０は、位置関係特定手段としての機能を有する。音声取得部１３０は、図１に示した音声取得部４に対応する。音声取得部１３０は、音声取得手段としての機能を有する。方向判定部１４０は、図１に示した方向判定部６に対応する。方向判定部１４０は、方向判定手段としての機能を有する。

【0037】

注視位置判定部１５０は、図１に示した注視位置判定部８に対応する。注視位置判定部１５０は、注視位置判定手段としての機能を有する。音声合成部１５２は、音声合成手段としての機能を有する。音声提供部１６０は、図１に示した音声提供部１０に対応する。音声提供部１６０は、音声提供手段としての機能を有する。

【0038】

なお、上述した各構成要素は、例えば、制御部１０２の制御によって、プログラムを実行させることによって実現できる。より具体的には、各構成要素は、記憶部１０４に格納されたプログラムを、制御部１０２が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。以上のことは、後述する他の実施の形態においても同様である。なお、ユーザ情報格納部１１２及びフィールド情報格納部１１４以外の構成要素の具体的な機能については、図６を用いて後述する。

【0039】

ユーザ情報格納部１１２は、ユーザに関する情報（ユーザ情報）を格納する。ユーザ情報は、自己の席にいる１人以上のユーザ（又はユーザ機器６０）の識別情報と、対応するユーザ（又はユーザ機器６０）の位置を示すユーザ位置情報とを含み得る。ユーザ位置情報は、３次元座標系におけるユーザの位置を示し得る。ユーザ位置情報の生成方法については後述する。また、ユーザ情報は、後述する処理によって判定された、対応するユーザが現在注視している領域の、識別情報を含んでもよい。

【0040】

フィールド情報格納部１１４は、イベントが行われるフィールドに関する情報（フィールド情報）を格納する。フィールド情報は、フィールドの複数の領域の識別情報と、各領域の位置（範囲）を示す領域位置情報と、各領域に対応する集音装置７０の識別情報とを含み得る。

【0041】

図５は、実施の形態１にかかる音声処理システム５０が適用されるフィールド９０を例示する図である。図５の例では、サッカーグラウンドであるフィールド９０が示されている。フィールド９０は、９個の領域９２Ａ～９２Ｉに区分されている。また、領域９２Ａ～９２Ｉには、それぞれ、集音装置７０（７０Ａ～７０Ｉ）が設けられている。集音装置７０Ａ～７０Ｉは、それぞれ、領域９２Ａ～９２Ｉの音声を収集し得る。集音装置７０は、対応する領域９２の音声を収集可能な位置に設置されている。例えば、集音装置７０は、対応する領域９２の地面（又は床）に設置されていてもよい。あるいは、集音装置７０は、対応する領域９２の上空に設置されていてもよい。

【0042】

また、領域９２Ａ～９２Ｉの位置（範囲）は、フィールド情報格納部１１４に格納されている領域位置情報によって、予め定められている。領域位置情報は、各領域９２について、ＸＹＺの３次元座標系における範囲を示し得る。これにより、フィールド９０において、ある位置を指定すると、その位置が領域９２Ａ～９２Ｉのどの領域９２に対応するのか、つまり、その位置がどの領域９２に含まれるのかを、把握することができる。

【0043】

また、隣り合う２つ以上の領域９２の境界９４の近傍に境界部分を設けてもよい。境界部分の範囲は、予め定められている。例えば、境界部分は、境界から５ｍ～数十ｍ程度の範囲を、境界部分としてもよい。フィールド情報格納部１１４は、境界部分について、３次元座標系における範囲を示す境界部分情報を格納してもよい。境界部分情報は、領域位置情報に含まれてもよい。例示として、図５には、領域９２Ｈと領域９２Ｉとの境界９４ＨＩの近傍に設けられた境界部分９６ＨＩが破線で示されている。このように、各境界９４の近傍には、境界部分９６が設けられ得る。なお、境界部分９６は、全ての境界９４に設けられている必要はない。

【0044】

図６は、実施の形態１にかかる音声処理装置１００によって実行される音声処理方法を示すフローチャートである。観客席に複数のユーザがいる場合、音声処理装置１００は、複数のユーザそれぞれについて、図６に示す処理を行う。

【0045】

位置関係特定部１２０は、フィールドとユーザとの位置関係を特定する（ステップＳ１００）。具体的には、位置関係特定部１２０は、ネットワーク５２を介して、フィールド９０と自己の席にいるユーザとの位置関係を特定するための情報を取得（受信）する。そして、位置関係特定部１２０は、取得された情報を用いて、フィールド９０と観客席にいるユーザとの位置関係を特定する。これにより、位置関係特定部１２０は、３次元座標系におけるユーザの位置を特定し、ユーザ位置情報を生成する。そして、位置関係特定部１２０は、ユーザ位置情報を、ユーザ情報格納部１１２に格納する。

【0046】

例えば、位置関係特定部１２０は、ユーザのチケット情報を、ユーザの識別情報とともに取得（受信）してもよい。チケット情報は、例えば、撮影装置６４によって撮影されたチケットの画像情報であってもよい。この場合、位置関係特定部１２０は、チケットの画像情報から、ユーザの座席番号を例えばＯＣＲ（Optical Character Recognition）によって認識する。これにより、位置関係特定部１２０は、フィールド９０と観客席にいるユーザとの位置関係を特定する。また、ユーザがオンライン決済によってチケットを購入した場合は、位置関係特定部１２０は、オンライン決済情報から、チケット情報を取得してもよい。

【0047】

また、位置関係特定部１２０は、自身の席にいるユーザがユーザ機器６０を装着した状態で撮影装置６４がフィールド９０を撮影して得られたフィールド画像情報を、ユーザの識別情報とともにユーザ機器６０から取得（受信）してもよい。この場合、位置関係特定部１２０は、フィールド画像情報を用いて、フィールド９０と観客席にいるユーザとの位置関係を特定する。

【0048】

図７は、実施の形態１にかかる、フィールド画像情報を用いて、フィールド９０と観客席にいるユーザとの位置関係を特定する方法を説明するための図である。図７には、撮影装置６４によって撮影されて得られた撮影画像Ｉｍが例示されている。撮影画像Ｉｍには、フィールド９０の画像であるフィールド画像９０Ｉｍが示されている。ここで、フィールド９０の形状は主に矩形であるが、ユーザ（ユーザの席）の位置によって、撮影画像Ｉｍにおけるフィールド画像９０Ｉｍの形状が異なる。図７の例では、フィールド画像９０Ｉｍの形状は台形である。また、ユーザの位置によっては、フィールド画像９０Ｉｍの形状は、矩形でも台形でもない四辺形となり得る。

【0049】

したがって、位置関係特定部１２０は、撮影画像Ｉｍからフィールド画像９０Ｉｍを認識し、認識されたフィールド画像９０Ｉｍの形状から、フィールド９０とユーザとの位置関係を特定する。例えば、位置関係特定部１２０は、撮影画像Ｉｍからフィールド９０に描かれた線の交点を認識し、交点間の距離から、フィールド画像９０Ｉｍの形状を特定する。そして、例えば、位置関係特定部１２０は、３次元空間において視点をどこにすれば特定されたフィールド画像９０Ｉｍの形状となるかを分析（シミュレーション）することで、フィールド９０とユーザとの位置関係を特定する。また、位置関係特定部１２０は、観客席の画像である観客席画像８０Ｉｍ等の、フィールド９０の外の画像を用いて、フィールド９０とユーザとの位置関係を特定してもよい。また、位置関係特定部１２０は、撮影画像Ｉｍから、機械学習アルゴリズムを用いて、フィールド９０とユーザとの位置関係を特定してもよい。

【0050】

図６の説明に戻る。音声取得部１３０は、フィールド９０の複数の領域９２それぞれの音声を取得する（ステップＳ１０２）。なお、Ｓ１０２の処理は、音声処理システム５０の動作中、ユーザの動作に関わらず、継続して行われ得る。言い換えると、Ｓ１０２の処理は、以降の処理に関わらず、継続して行われ得る。さらに言い換えると、Ｓ１０２の処理は、以降の処理とは独立して行われ得る。

【0051】

具体的には、音声取得部１３０は、領域９２Ａ～９２Ｉに設けられた集音装置７０Ａ～７０Ｉから、収集された音声に対応する音声信号を、集音装置７０の識別情報とともに取得（受信）する。なお、音声処理装置１００と集音装置７０とがそれぞれ別個のケーブルで接続されている場合、音声取得部１３０は、集音装置７０の識別情報を受信する必要はない。なお、音声取得部１３０は、受信された音声信号がアナログ信号である場合、音声信号をデジタル信号に変換してもよい。これにより、音声取得部１３０は、ＰＣＭ（pulse code modulation）音源を生成してもよい。

【0052】

方向判定部１４０は、３次元座標系における、ユーザの向いている方向を判定する（ステップＳ１０４）。具体的には、方向判定部１４０は、ユーザ機器６０から、姿勢情報を取得（受信）する。ここで、ユーザ機器６０がユーザの顔に装着されている場合、ユーザの顔の向きが変化することに伴って、ユーザ機器６０の姿勢も変化する。したがって、方向判定部１４０は、姿勢情報を用いて、ユーザの顔の向きを、ユーザの向いている方向（ユーザ方向）として判定してもよい。つまり、方向判定部１４０は、ユーザ機器６０つまりユーザの顔が３次元座標空間においてどの方向を向いているかを検出する。

【0053】

あるいは、方向判定部１４０は、ユーザ機器６０から、視線情報を取得（受信）する。方向判定部１４０は、視線情報を用いて、ユーザの視線の向きを、ユーザの向いている方向（ユーザ方向）として判定してもよい。つまり、方向判定部１４０は、ユーザの視線が３次元座標空間においてどの方向を向いているかを検出する。あるいは、方向判定部１４０は、ユーザ機器６０から、姿勢情報及び視線情報を取得（受信）し、これらの少なくとも一方を用いて、ユーザ方向を判定してもよい。例えば、方向判定部１４０は、姿勢情報を優先して用いることで、ユーザ方向を判定してもよい。このとき、方向判定部１４０は、姿勢情報を用いて判定されたユーザ方向を、視線情報を用いて補正してもよい。

【0054】

注視位置判定部１５０は、ユーザの注視位置を判定する（ステップＳ１０６）。具体的には、注視位置判定部１５０は、Ｓ１００の処理で特定された位置関係と、Ｓ１０４の処理で判定された方向とを用いて、注視位置を判定する。さらに具体的には、注視位置判定部１５０は、幾何学的手法によって、３次元座標系において、ユーザ位置情報で示されたユーザ位置を始点として、ユーザ方向に延長された直線が、フィールド９０又はフィールド９０の周囲のどこに交差するかを判定する。これにより、注視位置判定部１５０は、注視位置に対応する座標（注視座標）を判定する。

【0055】

注視位置判定部１５０は、注視位置がＴ秒間移動しないか否かを判定する（ステップＳ１０８）。このＳ１０８の処理は、ユーザに音声を提供するトリガとなり得る。ここで、Ｔは、予め定められた時間である。例えば、Ｔ＝２［秒］であるが、これに限られない。また、注視位置判定部１５０は、注視位置の移動範囲が予め定められた範囲以内であれば、注視位置が移動しないと判定してもよい。

【0056】

注視位置がＴ秒間の間に移動したと判定された場合（Ｓ１０８のＮＯ）、注視位置判定部１５０は、ユーザは特定の位置を注視していないと判定する。この場合、注視位置判定部１５０は、音声を提供しないと判定する。したがって、処理フローはＳ１０４に戻る。これにより、ユーザが音声の提供を望まないときに、音声を提供することを抑制することができる。

【0057】

一方、注視位置がＴ秒間移動しないと判定された場合（Ｓ１０８のＹＥＳ）、注視位置判定部１５０は、ユーザは特定の位置を注視していると判定する。この場合、注視位置判定部１５０は、注視位置がフィールド９０に対応するか否かを判定する（ステップＳ１１０）。このＳ１１０の処理は、ユーザに音声を提供するトリガとなり得る。具体的には、注視位置判定部１５０は、領域位置情報を用いて、注視位置に対応する注視座標がフィールド９０の領域９２Ａ～９２Ｉのいずれかに含まれるか否かを判定する。

【0058】

注視位置がフィールド９０に対応しないと判定された場合（Ｓ１１０のＮＯ）、注視位置判定部１５０は、ユーザがフィールド９０を注視していないと判定する。この場合、注視位置判定部１５０は、フィールド９０の音声をユーザに提供しないと判定する。この場合、実施の形態１では、処理フローはＳ１０４に戻る。これにより、ユーザが音声の提供を望まないときに、音声を提供することを抑制することができる。

【0059】

一方、注視位置がフィールド９０に対応すると判定された場合（Ｓ１１０のＹＥＳ）、注視位置判定部１５０は、ユーザがフィールド９０を注視していると判定する。この場合、注視位置判定部１５０は、フィールド９０の音声をユーザに提供すると決定する。そして、注視位置判定部１５０は、注視位置が境界部分９６に対応するか否かを判定する（ステップＳ１２０）。具体的には、注視位置判定部１５０は、境界部分情報を用いて、注視位置に対応する注視座標が境界部分９６に含まれるか否かを判定する。

【0060】

注視位置が境界部分９６に対応しないと判定された場合（Ｓ１２０のＮＯ）、注視座標は、境界部分９６以外の領域９２Ａ～９２Ｉのいずれかに含まれ得る。したがって、注視位置判定部１５０は、領域位置情報を用いて、注視位置が境界部分９６以外の領域９２Ａ～９２Ｉのいずれに対応するかを判定する。

【0061】

そして、音声提供部１６０は、注視位置に対応する領域９２の音声をユーザに提供する（ステップＳ１２２）。具体的には、音声提供部１６０は、注視位置に対応する領域９２に関する集音装置７０で収集された音声に対応する音声信号を、ユーザ情報を用いてユーザ機器６０に送信する。これにより、ユーザは、音声出力装置６２を用いて、注視位置に対応する領域９２に関する音声を聴取することができる。

【0062】

図８は、実施の形態１にかかる音声処理システム５０を用いて、ユーザが音声を聴取することを説明するための図である。注視位置Ｐ１が領域９２Ｂに対応する場合、方向判定部１４０は、ユーザ方向Ｄ１を判定する。そして、注視位置判定部１５０は、ユーザ方向Ｄ１からフィールド９０上の注視位置Ｐ１を判定し、注視位置Ｐ１が領域９２Ｂに対応すると判定する。音声提供部１６０は、領域９２Ｂに対応する集音装置７０Ｂによって収集された音声を提供する。これにより、ユーザは、領域９２Ｂにある仮想音源Ｓｂから出力された音声を聴取しているような体験をすることができる。

【0063】

これにより、ユーザの周囲に多数の観客の歓声が発生している場合であっても、ユーザが注目したフィールド９０上の領域９２の音声を、適切に聴取することができる。また、ユーザの周囲に多数の観客の歓声が発生していない場合であっても、フィールド９０上のユーザが注目していない領域９２以外の領域９２からの音声は、歓声と同様に雑音のように聴こえる可能性がある。これに対し、本実施の形態では、フィールド９０の複数の領域９２それぞれから音声が発生している場合であっても、ユーザが注目したフィールド９０上の領域９２の音声を、適切に聴取することができる。

【0064】

例えば、図８の例において、ユーザの席が領域９２Ｃの近くであるとする。そして、領域９２Ｃと、ユーザから遠い領域９２Ｂとから、音声が発生しているとする。この場合、本実施の形態にかかるシステムを用いないと、ユーザが領域９２Ｂの音声を聴取したい場合であっても、領域９２Ｃで発生した音声にかき消されて、領域９２Ｂの音声を適切に聴取できない可能性がある。これに対し、本実施の形態にかかるシステムを用いることで、ユーザに近い領域９２Ｃで音声が発生している場合であっても、ユーザから遠い領域９２Ｂの音声を、適切に聴取することが可能となる。

【0065】

さらに、ユーザＡは領域９２Ｂにいる人物（例えば審判等）の音声を聴取したいと望み、ユーザＢは領域９２Ｄにいる人物（例えばゴールキーパー等）の音声を聴取したいと望みことがあり得る。この場合、音声提供部１６０は、ユーザＡには領域９２Ｂの音声を提供し、ユーザＢには領域９２Ｄの音声を提供することができる。このように、本実施の形態にかかるシステムを用いることで、個々のユーザが所望する領域の音声を、そのユーザに提供することができる。

【0066】

図６の説明に戻る。注視位置が境界部分９６に対応すると判定された場合（Ｓ１２０のＹＥＳ）、音声合成部１５２は、境界部分９６に関する音声を合成する（ステップＳ１３０）。具体的には、音声合成部１５２は、境界部分９６に対応する２つ以上の領域９２に関する音声を合成し、合成された音声である合成音声を生成する。さらに具体的には、音声合成部１５２は、境界部分９６に対応する２つ以上の領域９２に関する集音装置７０から取得された音声を合成する。このとき、音声合成部１５２は、２つ以上の領域９２のうち、境界部分９６において注視位置に近い領域９２に関する音声の割合が大きくなるように、合成音声を生成してもよい。

【0067】

そして、音声提供部１６０は、境界部分９６に対応する合成音声をユーザに提供する（ステップＳ１３２）。具体的には、音声提供部１６０は、合成音声に対応する音声信号を、ユーザ情報を用いてユーザ機器６０に送信する。これにより、ユーザは、音声出力装置６２を用いて、注視位置に対応する境界部分９６に関する合成音声を聴取することができる。そして、注視位置が境界近傍にある場合に合成音声を聴取することで、ユーザは、注視位置に対応する音声を、より適切に聴取することができる。すなわち、境界９４の近傍では、境界９４に接する２つ以上の領域９２に関する音声が聴取され得る可能性が高い。したがって、ユーザは、境界近傍において違和感のない聴取体験をすることができる。

【0068】

Ｓ１３０～Ｓ１３２の処理について図８を用いて具体例を説明する。図８において、ユーザ方向Ｄ２の先の注視位置Ｐ２が、領域９２Ｈと領域９２Ｉとの間の境界部分９６ＨＩにあるとする。そして、注視位置Ｐ２が境界９４ＨＩ上にある場合、音声合成部１５２は、領域９２Ｈに対応する集音装置７０Ｈから取得された音声と、領域９２Ｉに対応する集音装置７０Ｉから取得された音声とを、１：１の割合で合成する。

【0069】

一方、注視位置Ｐ２が境界部分９６ＨＩの領域９２Ｈ側（つまり図８において境界部分９６ＨＩの左側の部分）にある場合、音声合成部１５２は、集音装置７０Ｈから取得された音声と、集音装置７０Ｉから取得された音声とを、２：１の割合で合成する。あるいは、音声合成部１５２は、境界部分９６ＨＩにおいて注視位置Ｐ２が境界９４ＨＩから離れて領域９２Ｈ側に近づくにつれて、集音装置７０Ｈから取得された領域９２Ｈの音声の割合を徐々に増加させるように、合成音声を生成してもよい。例えば、音声合成部１５２は、境界部分９６ＨＩにおいて境界９４ＨＩから注視位置Ｐ２までの距離に比例して、集音装置７０Ｈから取得された領域９２Ｈの音声の割合を増加させるように、合成音声を生成してもよい。

【0070】

このような処理を行うケースにおいて、例えば、注視位置Ｐ２が領域９２Ｉから境界９４を超えて領域９２Ｈに移動するとする。この場合、注視位置Ｐ２が境界部分９６ＨＩの外側の領域９２Ｉにあるときは、ユーザは、領域９２Ｉに関する音声のみを聴取する。そして、注視位置Ｐ２が境界部分９６ＨＩに進入すると、ユーザに提供される音声において、徐々に、領域９２Ｈに関する音声の割合が大きくなっていく。そして、注視位置Ｐ２が境界９４ＨＩ上に到達すると、ユーザに提供される音声において、領域９２Ｉに関する音声と領域９２Ｈに関する音声との割合が同じとなる。そして、さらに注視位置Ｐ２が領域９２Ｈ側に移動すると、ユーザに提供される音声において、領域９２Ｈに関する音声の割合の方が、領域９２Ｉに関する音声の割合よりも大きくなる。そして、ユーザに提供される音声において、徐々に、領域９２Ｈに関する音声の割合がさらに大きくなっていき、注視位置Ｐ２が境界部分９６ＨＩを脱出すると、ユーザは、領域９２Ｈに関する音声のみを聴取することとなる。このように、注視位置が境界部分９６にある場合に合成音声をユーザに提供することによって、注視位置が境界９４を跨いで移動するときに、ユーザが聴取している音声が急に変化するといった違和感を抑制することができる。

【0071】

図６の説明に戻る。ユーザに音声を提供した（Ｓ１２２又はＳ１３２）後、音声処理装置１００は、Ｓ１０４～Ｓ１０６の処理を行う（ステップＳ１４０）。つまり、方向判定部１４０は、ユーザの向いている方向を判定し（Ｓ１０４）、注視位置判定部１５０は、ユーザの注視位置を判定する（Ｓ１０６）。そして、注視位置判定部１５０は、注視位置が移動したか否かを判定する（ステップＳ１４２）。具体的には、注視位置判定部１５０は、今回のＳ１０６の処理で判定された注視位置が前回のＳ１０６の処理で判定された注視位置から変化したか否かを判定する。なお、注視位置判定部１５０は、注視位置の移動範囲が予め定められた範囲以内であれば、注視位置が移動していないと判定してもよい。

【0072】

注視位置が移動していないと判定された場合（Ｓ１４２のＮＯ）、音声提供部１６０は、前回の処理で判定された注視位置に対応する音声を、引き続き、ユーザに提供する（ステップＳ１４４）。つまり、前回の処理で注視位置が境界部分９６にないと判定された場合（Ｓ１２０のＮＯ）は、音声提供部１６０は、注視位置に対応する領域９２の音声をユーザに提供する（Ｓ１２２）。一方、前回の処理で注視位置が境界部分９６にあると判定された場合（Ｓ１２０のＹＥＳ）、音声提供部１６０は、境界部分９６に対応する合成音声をユーザに提供する（Ｓ１３２）。そして、処理フローはＳ１４０に戻る。

【0073】

一方、注視位置が移動したと判定された場合（Ｓ１４２のＹＥＳ）、処理フローはＳ１１０に戻る。つまり、注視位置判定部１５０は、注視位置がフィールド９０に対応するか否かを判定する（Ｓ１１０）。注視位置がフィールド９０に対応しないと判定された場合（Ｓ１１０のＮＯ）、注視位置判定部１５０は、フィールド９０の音声をユーザに提供しないと判定する。一方、注視位置がフィールド９０に対応すると判定された場合（Ｓ１１０のＹＥＳ）、注視位置判定部１５０は、フィールド９０の音声をユーザに提供すると決定する。そして、Ｓ１２０以降の処理が繰り返される。このようにして、ユーザは、フィールド９０を注視している場合は、注視位置に対応する音声を、継続して聴取することができる。

【0074】

（実施の形態２）
次に、実施の形態２について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。なお、実施の形態２にかかるシステム構成については、図３に示したものと実質的に同様であるので、説明を省略する。また、実施の形態２にかかる音声処理装置１００の構成は、図４に示したものと実質的に同様であるので、説明を省略する。実施の形態２は、ユーザがフィールド９０の外の特定の領域を注視した場合でもユーザに特定の音声を提供する点で、実施の形態１と異なる。

【0075】

図９は、実施の形態２にかかる音声処理装置１００によって実行される音声処理方法を示すフローチャートである。なお、Ｓ２００～Ｓ２４４の処理は、それぞれ、図６に示したＳ１００～Ｓ１４４の処理と実質的に同様であるので、説明を省略する。Ｓ２１０のＮＯの場合の処理が、実施の形態１の場合の処理と異なる。

【0076】

注視位置がフィールド９０に対応しないと判定された場合（Ｓ２１０のＮＯ）、注視位置判定部１５０は、ユーザがフィールド９０を注視していないと判定する。この場合、注視位置判定部１５０は、フィールド９０の音声をユーザに提供しないと判定する。ここで、実施の形態２では、注視位置判定部１５０は、さらに、注視位置がフィールド９０の外の特定領域に対応するか否かを判定する（ステップＳ２１２）。具体的には、注視位置判定部１５０は、特定領域の位置（範囲）を示す特定領域位置情報を用いて、注視位置に対応する注視座標が特定領域に含まれるか否かを判定する。

【0077】

注視位置がフィールド９０の外の特定領域に対応すると判定された場合（Ｓ２１２のＹＥＳ）、注視位置判定部１５０は、ユーザがフィールド９０の外の特定領域を注視していると判定する。この場合、注視位置判定部１５０は、注視している特定領域に対応する音声をユーザに提供すると決定する。音声提供部１６０は、特定領域に対応する音声をユーザに提供する（ステップＳ２１４）。そして、処理フローはＳ２４０に進む。

【0078】

ここで、特定領域に対応する音声は、集音装置７０から取得された音声とは異なる予め定められた音声であり得る。特定領域に対応する音声は、例えば、現在、フィールド９０で行われているイベントの解説に関する音声であってもよい。フィールド９０で行われているイベントがスポーツである場合、特定領域に対応する音声は、スポーツの解説、実況、試合経過、チーム紹介等を示す音声であってもよい。あるいは、特定領域に対応する音声は、例えば、イベントに関連しない広告等に関する音声であってもよい。

【0079】

一方、注視位置がフィールド９０の外の特定領域に対応しないと判定された場合（Ｓ２１２のＮＯ）、注視位置判定部１５０は、ユーザがフィールド９０も特定領域も注視していないと判定する。この場合、注視位置判定部１５０は、フィールド９０及び特定領域に対応する音声をユーザに提供しないと判定する。この場合、処理フローはＳ２０４に戻る。

【0080】

図１０は、実施の形態２にかかるフィールド９０の外の特定領域を説明するための図である。図１０には、フィールド９０と、フィールド９０の周囲に設けられたスタンドの観客席８０（８０Ａ～８０Ｃ）とが示されている。この場合、特定領域位置情報は、観客席８０の少なくとも一部を含む範囲を、特定領域８２（８２Ａ～８２Ｃ）としてもよい。したがって、フィールド９０の外のある位置を指定すると、その位置が特定領域８２Ａ～８２Ｃのいずれかに対応するか否かを、把握することができる。そして、ユーザが特定領域８２Ａ～８２Ｃのいずれかを注視すると、集音装置７０によって収集された音声とは異なる音声を聴取することができる。なお、特定領域は、観客席８０に対応するものである必要はない。

【0081】

なお、特定領域８２Ａ～８２Ｃについて同じ音声が対応付けられてもよいし、特定領域８２Ａ～８２Ｃそれぞれについて別の音声が対応付けられていてもよい。例えば、イベントがサッカーの試合である場合、特定領域８２Ａには、試合の途中経過を説明するための音声、又は実況の音声が対応付けられていてもよい。また、特定領域８２Ｂには、一方のチームの紹介又はそのチームの試合成績を説明するための音声が対応付けられていてもよい。一方、特定領域８２Ｃには、他方のチームの紹介又はそのチームの試合成績を説明するための音声が対応付けられていてもよい。また、図１０には示されていないが、フィールド９０の外に掲示された広告板の少なくとも一部を含む範囲を特定領域８２としてもよく、その特定領域８２には、その広告板に対応する広告を示す音声が対応付けられていてもよい。また、ユーザ機器６０がＡＲグラスである場合、ユーザ機器６０は、ユーザが特定領域８２Ａ～８２Ｃを注視したときに、注視した特定領域８２に対応する音声とともに、注視した特定領域８２に対応する映像を表示してもよい。

【0082】

実施の形態２にかかる音声処理装置１００は、フィールド９０の外の特定領域８２をユーザが注視している場合に、その特定領域８２に対応する音声をユーザに提供するように構成されている。これにより、ユーザは、フィールド９０の各領域９２の音声以外の、イベントの解説等の音声を聴取することができる。したがって、ユーザは、注視位置を変えるだけで、イベントの解説等の音声を選択的に聴取することができる。

【0083】

（実施の形態３）
次に、実施の形態３について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。なお、実施の形態３にかかるシステム構成については、図３に示したものと実質的に同様であるので、説明を省略する。また、実施の形態３にかかる音声処理装置１００の構成は、図４に示したものと実質的に同様であるので、説明を省略する。実施の形態３は、多数のユーザが注視している領域の音声を他のユーザにも提供する点で、他の実施の形態と異なる。

【0084】

図１１は、実施の形態３にかかる音声処理装置１００によって実行される音声処理方法を示すフローチャートである。音声処理装置１００は、複数のユーザについて、図６に示したＳ１００～Ｓ１４４の処理を行う（ステップＳ３０２）。次に、音声処理装置１００の音声提供部１６０（又は注視位置判定部１５０）は、ある任意の領域９２Ｘ（領域Ｘ；第１の領域）を注視するユーザがＮ人以上であるか否かを判定する（ステップＳ３０４）。つまり、音声提供部１６０（又は注視位置判定部１５０）は、Ｎ人以上のユーザが注視する領域９２が存在するか否かを判定する。ここで、Ｎは、予め定められた数である。Ｎは、固定値であってもよいし、観客数又は収容可能人数に応じて設定されてもよい。例えば、Ｎは、観客席の全観客数の５０％以上の数であり得る。つまり、Ｎは、イベントの観客数の半数以上の数であり得る。

【0085】

全ての領域９２Ｘ（領域Ｘ）について注視するユーザがＮ人未満である場合、つまりＮ人以上のユーザが注視する領域９２が存在しない場合（Ｓ３０４のＮＯ）、後述するＳ３０６の処理は実行されず、処理フローは終了する。この場合、処理フローはＳ３０２の処理に戻ってもよい。一方、ある領域９２Ｘを注視するユーザがＮ人以上である場合（Ｓ３０４のＹＥＳ）、音声提供部１６０は、領域９２Ｘを注視していない他のユーザに対して、領域９２Ｘに関する音声を提供する（ステップＳ３０６）。つまり、予め定められた数以上のユーザである第１のユーザの注視位置が複数の領域９２のうちの領域９２Ｘ（第１の領域）に対応する場合に、音声提供部１６０は、第１のユーザ以外のユーザに対して、領域９２Ｘに関する音声を提供するための処理を行う。

【0086】

例えば、図５の例において、Ｎ人以上のユーザが領域９２Ｂを注視していて、ユーザＹがフィールド９０を注視していないとする。また、この場合にユーザＺが領域９２Ｈを注視しているとする。この場合、音声提供部１６０は、ユーザＹ及びユーザＺに対して、領域９２Ｂの音声を提供する。ここで、ユーザＹ及びユーザＺの音声出力装置６２に複数のスピーカ又はイヤホン（右側及び左側のスピーカ又はイヤホン等）が備わっている場合、１つのスピーカ又はイヤホンから領域９２Ｂの音声が出力されるようにしてもよい。

【0087】

実施の形態３にかかる音声処理装置１００は、多数のユーザが注視している領域９２の音声を他のユーザにも提供するように構成されている。ここで、多数のユーザが注視している領域９２では、注目度が高く、極めて興味深い出来事が起こっている可能性が高い。したがって、実施の形態３にかかる構成により、注目度が高く、極めて興味深い出来事を見ていないユーザにも、その出来事に関する音声を提供することができる。

【0088】

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した複数の実施の形態は、相互に適用可能である。例えば、実施の形態３にかかる構成を実施の形態２に組み合わせてもよい。他の実施の形態についても同様である。

【0089】

また、上述したフローチャートにおいて、各処理（ステップ）の順序は、適宜、変更可能である。また、複数ある処理（ステップ）のうちの１つ以上は、省略されてもよい。例えば、図６のＳ１０８の処理はなくてもよい。また、図６のＳ１２０，Ｓ１３０，Ｓ１３２の処理はなくてもよい。つまり、注視位置が境界部分９６である場合でも合成音声をユーザに提供する必要はない。図９においても同様である。

【0090】

また、図６のＳ１４２の処理で、注視位置が移動したと判定された場合、その移動加速度が予め定められた値よりも大きい場合に、音声の提供を停止してもよい。注視位置の移動加速度が大きい場合、ユーザが音声の提供を望まない可能性があるからである。

【0091】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0092】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0093】

この出願は、２０２０年３月２６日に出願された日本出願特願２０２０－５６３４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0094】

１ 音声処理装置
２ 位置関係特定部
４ 音声取得部
６ 方向判定部
８ 注視位置判定部
１０ 音声提供部
５０ 音声処理システム
５２ ネットワーク
６０ ユーザ機器
６１ 通信部
６２ 音声出力装置
６４ 撮影装置
６６ 姿勢検出部
６８ 視線検出部
６９ 表示部
７０ 集音装置
８０ 観客席
８２ 特定領域
９０ フィールド
９２ 領域
９４ 境界
９６ 境界部分
１００ 音声処理装置
１１２ ユーザ情報格納部
１１４ フィールド情報格納部
１２０ 位置関係特定部
１３０ 音声取得部
１４０ 方向判定部
１５０ 注視位置判定部
１５２ 音声合成部
１６０ 音声提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】