特許 7550081 環境音自動切替装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-04

(45)【発行日】2024-09-12

(54)【発明の名称】環境音自動切替装置

(51)【国際特許分類】

   G10L 15/10 20060101AFI20240905BHJP

   G10L 15/00 20130101ALI20240905BHJP

【ＦＩ】

G10L15/10 500Z

G10L15/00 200Z

【請求項の数】 6

(21)【出願番号】P 2021034936

(22)【出願日】2021-03-05

(65)【公開番号】P2022135252

(43)【公開日】2022-09-15

【審査請求日】2023-12-13

(73)【特許権者】

【識別番号】000233295

【氏名又は名称】株式会社日立情報通信エンジニアリング

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】中嶋 啓

(72)【発明者】

【氏名】沖田 吉朗

【審査官】大野 弘

(56)【参考文献】

【文献】国際公開第２０２０／１８４１２２（ＷＯ，Ａ１）

【文献】特開２００６－２２９８６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／１０

(57)【特許請求の範囲】

【請求項1】

リモート環境でライブイベントを観戦する視聴者に配信する環境音を自動で切り替える環境音自動切替装置であって、
同一のリモート観戦グループの前記視聴者の会話音声のテキストデータに対する形態素解析により生成された形態素解析結果に基づいて、ライブイベント会場内における環境音採取場所を特定する、
環境音自動切替装置。

【請求項2】

請求項１に記載の環境音自動切替装置において、
前記形態素解析結果に含まれるそれぞれの形態素の発話回数をカウントし、前記形態素と発話回数とを関連付けた発話回数カウント結果を生成する単語発話回数カウント部と、
前記発話回数カウント結果、および所属グループとそれぞれの所属グループに関連する複数の単語とが対応付けられた単語表判定データに基づき、前記リモート観戦グループの所属グループを選定し、所属グループごとに設定された、複数の単語と複数の話題とのそれぞれの対応関係を示す単語表マトリクスから、選定した前記所属グループの単語表マトリクスを選択する単語表マトリクス選択部と、
前記形態素解析結果および選択された前記単語表マトリクスに基づき、前記形態素の重み付けを行い、単語重み付けデータを生成する単語分析部と、
前記発話回数カウント結果、選択した前記単語表マトリクス、および前記単語重み付けデータに基づき、前記リモート観戦グループについて選定した前記所属グループの話題ごとの会話得点を算出し、話題と総得点とを関連付けた話題総得点算出結果を生成する会話得点算出部と、
前記話題総得点算出結果、および前記ライブイベント会場内における環境音採取場所を特定する判定条件を規定する環境音採取場所表に基づき、環境音採取場所を特定する環境音採取場所特定部と、
特定された前記環境音採取場所の環境音を採取させる環境音採取部と、
採取した前記環境音を前記リモート観戦グループに配信する環境音配信部と、
を備える、
環境音自動切替装置。

【請求項3】

請求項２に記載の環境音自動切替装置において、
前記単語表マトリクス選択部は、前記発話回数カウント結果に含まれる前記形態素の発話回数を用いて、前記単語表判定データに含まれるそれぞれの前記単語の発話回数を前記所属グループごとにカウントし、発話回数が最も多い所属グループを前記リモート観戦グループの所属グループとして選定する、
環境音自動切替装置。

【請求項4】

請求項２に記載の環境音自動切替装置において、
前記会話得点算出部は、前記単語表マトリクス、および前記単語重み付けデータを用いて、前記話題ごとのそれぞれの前記単語の基礎得点を一覧にした単語基礎得点表マトリクスを生成し、前記単語基礎得点表マトリクス、および前記発話回数カウント結果を用いて前記話題ごとの総得点を算出する、
環境音自動切替装置。

【請求項5】

請求項２に記載の環境音自動切替装置において、
前記環境音採取場所表は、前記判定条件として、前記所属グループを規定する第１条件、複数の前記話題間における前記総得点の関係を規定する第２条件、および前記第１条件と前記第２条件との関係を規定する第３条件を含む、
環境音自動切替装置。

【請求項6】

請求項２に記載の環境音自動切替装置において、
前記リモート観戦グループに配信される前記環境音は、ＷＡＶ形式のデータである、
環境音自動切替装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、環境音自動切替装置に関する。

【背景技術】

【0002】

近年、新型コロナウィルスによるライブイベントの人数制限が行われ、ライブイベントのチケットの入手が困難になっている。そのため、ユーザは、自宅のＴＶやＷｅｂ配信等のリモート環境下でライブイベントを視聴する機会が多くなっている。従来、リモート環境下におけるライブイベントの臨場感向上には、優れた音響機器や、大画面・高画質の動画配信等のハードウェアを使って実現している。

【0003】

例えば特許文献１には、より臨場感のある高品質な音声を得ることができるようにしたテレビジョン受像機等が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－３８１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ライブイベントの雰囲気を得るためには、周りの応援団による盛り上げや、声援、拍手、ざわめき等の付随的な環境音が重要である。また、環境音は、スタジアム等の場所や、種目、対戦カード等によっても異なるため、環境音を取得する場所や対戦内容も重要となる。具体的には、ホーム応援席とビジター応援席とではイベントの進行状況に応じた盛り上がり方が全く異なるため、場所毎の環境音が応援の高揚感向上につながる。

【0006】

ところが、配信内容はＴＶ局やＷｅｂ配信事業者に一方的に選択決定され、ユーザは配信者側が設定した環境音を受け身で得ることしかできない。例えば、ＴＶ等の一方的な動画配信では、例えば放送席の音声やその周辺の環境音のみが再生されることが多い。このような形態は、既存の配信の延長であるため観戦しやすいが、視聴者の意向に沿ったライブイベントの雰囲気を感じることは難しい。

【0007】

そこで、本発明は、リモート環境においても視聴者の意向に沿ったライブイベントの雰囲気を感じさせることを目的とする。

【課題を解決するための手段】

【0008】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下の通りである。

【0009】

本発明の代表的な実施の形態による環境音自動切替装置は、リモート環境ＲＥＭでライブイベントを観戦する視聴者に配信する環境音を自動で切り替える。環境音自動切替装置４０は、同一のリモート観戦グループの視聴者の会話音声のテキストデータに対する形態素解析により生成された形態素解析結果に基づいて、ライブイベント会場内における環境音採取場所を特定する。

【発明の効果】

【0010】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

【0011】

すなわち、本発明の代表的な実施の形態によれば、リモート環境においても視聴者の意向に沿ったライブイベントの雰囲気を感じさせることが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施の形態に係る環境音自動切替装置を備えた環境音自動切替システムの構成の一例を示す図である。

【図2】本発明の一実施の形態に係る環境音自動切替装置の構成の一例を示す図である。

【図3】本発明の一実施の形態に係る環境音自動切替装置の動作の一例を説明する図である。

【図4】単語表判定データの一例を示す図である。

【図5】単語表マトリクスの一例を示す図である。

【図6】図５に対応する単語重み付けデータの一例を示す図である。

【図7】会話得点算出部による所属グループの話題ごとの会話得点の算出方法を説明する図である。

【図8】環境音採取場所表の一例を示す図である。

【図9】本発明の一実施の形態の実施例に係る会話内容の一例を示す図である。

【図10】本発明の一実施の形態の実施例に係る発話回数カウント結果を示す図である。

【図11】本発明の一実施の形態の実施例に係る単語表判定データを示す図である。

【図12】本発明の一実施の形態の実施例に係る単語表マトリクスを示す図である。

【図13】本発明の一実施の形態の実施例に係る単語重み付けデータを示す図である。

【図14】本発明の一実施の形態の実施例における会話得点算出部による所属グループの話題ごとの総得点の算出方法を説明する図である。

【図15】本発明の一実施の形態の実施例における環境音採取場所表を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態を、図面を参照しつつ説明する。以下で説明する各実施の形態は、本発明を実現するための一例であり、本発明の技術範囲を限定するものではない。なお、実施例において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は、特に必要な場合を除き省略する。

【0014】

（一実施の形態）
＜環境音自動切替システムの構成＞
図１は、本発明の一実施の形態に関わる環境音自動切替装置を備えた環境音自動切替システムの構成の一例を示す図である。図１に示すように、環境音自動切替システム１は、ネットワークＮＥＴを介して、リモート環境ＲＥＭと接続されている。

【0015】

図１の例では、リモート環境ＲＥＭに複数のリモート観戦グループＧＲ＿１、ＧＲ＿２が含まれている。それぞれのリモート観戦グループは、１または複数のユーザ（視聴者）で構成される。例えばリモート観戦グループＧＲ＿１には、３人のユーザＵ１、Ｕ２、Ｕ３が含まれる。ユーザは、例えばネットワーク等を介して所望のリモート観戦グループに接続する。また、ユーザは、ライブイベントの観戦中においても、リモート観戦グループから離れることが可能である。

【0016】

リモート観戦グループは、例えば、同一チームを応援するサポーターや、同一の会議や集会等の参加者等で構成される。同一のリモート観戦グループのユーザは、例えば電話による会話、ネットワークＮＥＴ等を介した会話、あるいは直接会話を行う。すなわち、同じリモート観戦グループのユーザは、互いに離れた場所に居てもよいし、近くに居てもよい。

【0017】

環境音自動切替システム１は、同じリモート観戦グループのユーザの会話を取得して解析し、解析結果に基づいて観戦しているライブイベント会場の複数箇所の環境音から、このリモート観戦グループに最適な環境音を選択し、選択した環境音をこのリモート観戦グループの各ユーザへ配信する。環境音自動切替システム１は、図１に示すように、会話音声採取装置１０、音声認識装置２０、形態素解析装置３０、環境音自動切替装置４０、集合環境５０等を含む。

【0018】

会話音声採取装置１０は、リモート観戦グループに接続しているユーザの会話音声を採取し、採取した会話音声をＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）化して音声ＲＴＰデータＤＡＴ＿１を生成する。会話音声採取装置１０は、生成した音声ＲＴＰデータＤＡＴ＿１を音声認識装置２０へ出力する。

【0019】

音声認識装置２０は、会話音声採取装置１０で生成された音声ＲＴＰデータＤＡＴ＿１を入力し、入力した音声ＲＴＰデータＤＡＴ＿１に対するＲＴＰ－テキスト変換処理をリアルタイムで行う。これにより、音声認識装置２０は、音声ＲＴＰデータＤＡＴ＿１から音声テキストデータＤＡＴ＿２を生成する。音声認識装置２０は、生成した音声テキストデータＤＡＴ＿２を形態素解析装置３０へ出力する。

【0020】

形態素解析装置３０は、音声認識装置２０で生成された音声テキストデータＤＡＴ＿２を入力し、入力した音声テキストデータＤＡＴ＿２に対する形態素解析を所定期間ごとに行う。形態素解析では、所定期間内に生成された、あるいは入力された、１または複数の音声テキストデータＤＡＴ＿２に対する形態素解析が行われる。形態素解析により、形態素解析装置３０は、音声テキストデータＤＡＴ＿２を形態素（以下、「単語」とも称する）ごとに分割し、複数の単語からなる形態素解析結果ＤＡＴ＿３を生成する。形態素解析装置３０は、生成した形態素解析結果ＤＡＴ＿３を環境音自動切替装置へ出力する。なお、形態素解析結果ＤＡＴ＿３は、後述するストレージ６０へ記憶されてもよい。なお、形態素解析は、ＲＴＰ－テキスト変換処理と同様、リアルタイムに行われてもよい。

【0021】

集合環境５０は、ライブイベント会場の複数箇所に配置されたマイクが採取する環境音を含む。マイクは、ライブイベントのさまざまな場所に設置される。例えば野球やサッカー等のスポーツイベントでは、対戦チームのそれぞれの応援団が集まる場所や、応援団から離れた場所等にマイクが設置される。また、例えば会議や集会では、演壇や傍聴席等にそれぞれマイクが設置される。また、同一のライブイベントであってもブースごとに異なるイベントが行われる場合には、メイン会場や各ブースにマイクが設置される。また、集合環境５０には、複数のライブイベントの環境音が含まれてもよい。

【0022】

環境音自動切替装置４０は、形態素解析結果ＤＡＴ＿３を分析し、形態素解析結果ＤＡＴ＿３の分析結果に基づき、形態素解析結果ＤＡＴ＿３に対応する会話を行ったリモート観戦グループに配信する環境音の選択や切り替えを行う。環境音自動切替装置４０は、例えば、形態素解析結果ＤＡＴ＿３の分析結果から、対応するリモート観戦グループが観戦するライブイベントを抽出する。さらに、環境音自動切替装置４０は、形態素解析結果ＤＡＴ＿３の分析結果から、抽出したライブイベントにおいて、リモート観戦グループに最適な場所を選択し、選択した場所の環境音を配信用音声データＳＯＵ＿２としてリモート観戦グループに配信する。環境音自動切替装置４０の詳細については後述する。

【0023】

＜＜環境音自動切替装置の詳細＞＞
図２は、本発明の一実施の形態に係る環境音自動切替装置の構成の一例を示す図である。
図３は、本発明の一実施の形態に係る環境音自動切替装置の動作の一例を説明する図である。

【0024】

環境音自動切替装置４０は、図２に示すように、単語発話回数カウント部４１、単語表マトリクス選択部４２、単語分析部４３、会話得点算出部４４、環境音採取場所特定部４５、環境音採取部４６、環境音配信部４７、ストレージ６０を備えている。

【0025】

これらのうち、単語発話回数カウント部４１、単語表マトリクス選択部４２、単語分析部４３、会話得点算出部４４、環境音採取場所特定部４５、環境音採取部４６、環境音配信部４７は、コンピュータＣＯＭでプログラムを実行することによりソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとを組み合わせて構成されてもよい。

【0026】

《ストレージ》
ストレージ６０は、図２に示すように、発話回数カウント結果ＤＡＴ＿１１を記憶する発話回数カウント結果記憶領域６１、単語表判定データＤＡＴ＿１２を記憶する単語表判定データ記憶領域６２、単語表マトリクスＤＡＴ＿１３を記憶する単語表マトリクス記憶領域６３、単語重み付けデータＤＡＴ＿１４を記憶する単語重み付け記憶領域６４、話題総得点算出結果ＤＡＴ＿１５を記憶する会話得点記憶領域６５、環境音採取場所表ＤＡＴ＿１６を記憶する環境音採取場所表記憶領域６６を備えている。

【0027】

また、ストレージ６０は、前述の形態素解析結果ＤＡＴ＿３を記憶する形態素解析結果記憶領域や、プログラム等を記憶する記憶領域を備えてもよい。なお、ストレージ６０は、環境音自動切替装置４０の外部に設けられてもよい。

【0028】

《単語発話回数カウント部》
単語発話回数カウント部４１は、ストレージ６０から形態素解析結果ＤＡＴ＿３を読み出し、形態素解析結果ＤＡＴ＿３に含まれる各単語の発話回数をカウントし、単語と発話回数とを関連付けた発話回数カウント結果ＤＡＴ＿１１を生成する。単語発話回数カウント部４１は、発話回数カウント結果ＤＡＴ＿１１を単語表マトリクス選択部４２へ出力する。また、単語発話回数カウント部４１は、発話回数カウント結果ＤＡＴ＿１１をストレージ６０へ記憶させる。なお、発話回数カウント結果ＤＡＴ＿１１は、単語表マトリクス選択部４２によりストレージ６０へ記憶されてもよい。

【0029】

《単語表マトリクス選択部》
単語表マトリクス選択部４２は、発話回数カウント結果ＤＡＴ＿１１および単語表判定データＤＡＴ＿１２に基づき、対応するリモート観戦グループの所属グループを選定する。ここで言う所属グループとは、例えば、リモート観戦グループが応援するチーム、参加する会議や集会等における参加資格（演壇者、観覧者等）を区別する情報である。

【0030】

単語表マトリクス選択部４２は、例えば、発話回数カウント結果ＤＡＴ＿１１に含まれる単語の発話回数を用いて、単語表判定データＤＡＴ＿１２に含まれる単語の発話回数を所属グループごとにカウントし、発話回数が最も多い所属グループをリモート観戦グループの所属グループとして選定する。

【0031】

そして、単語表マトリクス選択部４２は、選定した所属グループをストレージ６０へ通知する。ストレージ６０は、単語表マトリクス選択部４２から通知された所属グループに対応する単語表マトリクスＤＡＴ＿１３を、単語分析部４３へ出力する。

【0032】

図４は、単語表判定データの一例を示す図である。図４に示すように、単語表判定データＤＡＴ＿１２は、複数の所属グループと、それぞれの所属グループに関連する複数の単語とが対応付けられている。図４の例では、所属グループＸと単語Ｘ１～Ｘｍとが対応付けられ、所属グループＹと単語Ｙ１～Ｙｍとが対応付けられ、所属グループＺと単語Ｚ１～Ｚｍとが対応付けられている。単語表判定データＤＡＴ＿１２は、事前に登録され、ストレージ６０に記憶される。なお、所属グループごとに登録される単語数が異なってもよい。

【0033】

単語表マトリクスＤＡＴ＿１３は、対応する所属グループごとに、複数の単語と、複数の話題とのそれぞれの対応関係を示している。具体的に述べると、単語表マトリクスＤＡＴ＿１３には、それぞれの単語がどのような話題で使用される単語であるかが登録されたものである。

【0034】

図５は、単語表マトリクスの一例を示す図である。図５には、所属グループＸの単語表マトリクスＤＡＴ＿１３Ｘが例示されている。図５では、単語１～単語ｎが、所属グループＸの話題Ａ～話題Ｚのそれぞれに属するか否かが示されている。例えば、単語１は、話題Ａに属していないが、話題Ｚに属している。一方、単語３は、話題Ａに属しているが、話題Ｚに属していない。

【0035】

このように、単語表マトリクスＤＡＴ＿１３には、それぞれの単語がどの話題に属するかを、「０」、「１」の値からなるマトリクスとして登録されている。単語表マトリクスＤＡＴ＿１３は、事前に登録され、ストレージ６０に記憶される。なお、単語表マトリクスの単語は、単語表判定データの単語と同一ある必要はない。また、単語表判定データと単語表マトリクスとの間で、単語の個数が異なってもよい。

【0036】

《単語分析部》
単語分析部４３は、形態素解析結果ＤＡＴ＿３、および対応するリモート観戦グループに対し選定された所属グループに対応する単語表マトリクスＤＡＴ＿１３に基づき、単語ごとの重み付けを行う。ここで、重み付けの対象となる単語は、単語表マトリクスＤＡＴ＿１３に登録された単語である。

【0037】

単語分析部４３は、例えば、既存のテキストマイニング技術（例えばｂｏｗ : Bag of words等）を用いた単語のベクトル化や、ＴＦ－ＩＤＦ（Term Frequency - Inverse Document Frequency）等のアルゴリズムを用いて単語の重み付けを行う。このように、単語分析部４３は、単語表マトリクスＤＡＴ＿１３に登録された単語と、重み付けとを関連付けた単語重み付けデータＤＡＴ＿１４を生成し、生成した単語重み付けデータＤＡＴ＿１４を会話得点算出部４４へ出力する。また、単語重み付けデータＤＡＴ＿１４は、単語分析部４３または会話得点算出部４４からストレージ６０へ記憶される。

【0038】

図６は、図５に対応する単語重み付けデータの一例を示す図である。図６には、図５と対応させて、単語１～単語ｎと、それぞれの単語の重み付けとが関連付けた単語重み付けデータＤＡＴ＿１４Ｘが示されている。

【0039】

《会話得点算出部》
会話得点算出部４４は、発話回数カウント結果ＤＡＴ＿１１、単語表マトリクスＤＡＴ＿１３、および単語重み付けデータＤＡＴ＿１４に基づき、リモート観戦グループについて選定した所属グループの話題ごとの会話得点（総得点）を算出する。

【0040】

図７は、会話得点算出部による所属グループの話題ごとの会話得点の算出方法を説明する図である。図７には、前述した所属グループＸの話題特定方法が例示されている。以下、図７を用いて会話得点算出部４４の処理について説明する。

【0041】

会話得点算出部４４は、まず、例えば図７（ａ）に示す単語表マトリクスＤＡＴ＿１３Ｘ、および例えば図７（ｂ）に示す単語重み付けデータＤＡＴ＿１４Ｘを用いて、例えば図７（ｃ）に示す、話題ごとのそれぞれの単語の基礎得点を一覧にした単語基礎得点表マトリクスＤＡＴ＿２５Ｘ（ＤＡＴ＿２５）を生成する。

【0042】

会話得点算出部４４は、単語重み付けデータＤＡＴ＿１４Ｘにおける単語１の重み付け「０．４」と、単語表マトリクスＤＡＴ＿１３Ｘにおける、それぞれの話題Ａ～話題Ｚの単語１の各値とを乗算し、それぞれの話題Ａ～話題Ｚの単語１の基礎得点を算出する。図７では、話題Ａにおける単語１の値は「０」に設定されているので、話題Ａにおける単語１の基礎得点は「０」である。これに対し、話題Ｚにおける単語１の値は「１」に設定されているので、話題Ｚにおける単語１の基礎得点は「０．４」である。

【0043】

会話得点算出部４４は、単語２～単語ｎについて、対応する重み付け「０．３」、「０．７」・・・「Ｖｎ」をそれぞれ用いて、それぞれの話題Ａ～話題Ｚにおける、単語２～単語ｎの基礎得点をそれぞれ算出する。会話得点算出部４４は、これらの演算結果を用いて、単語基礎得点表マトリクスＤＡＴ＿２５Ｘ（ＤＡＴ＿２５）を生成する。

【0044】

次に、会話得点算出部４４は、単語基礎得点表マトリクスＤＡＴ＿２５Ｘ（ＤＡＴ＿２５）、および例えば図７（ｄ）に示す発話回数カウント結果ＤＡＴ＿１１Ｘ（ＤＡＴ＿１１）を用いて話題ごとの総得点を算出する。

【0045】

会話得点算出部４４は、話題ごとに、単語基礎得点表マトリクスＤＡＴ＿２５Ｘにおける各単語の基礎得点と、発話回数カウント結果ＤＡＴ＿１１Ｘにおける各単語の発話回数とを乗算し、各単語の得点を算出する。そして、会話得点算出部４４は、話題ごとにすべての単語の得点を加算することで、話題ごとの総得点をそれぞれ算出する。

【0046】

そして、会話得点算出部４４は、例えば図７（ｅ）に示すような、話題と総得点とを関連付けた話題総得点算出結果ＤＡＴ＿１５Ｘ（ＤＡＴ＿１５）を生成する。図７（ｅ）において、「ａ」は話題Ａの総得点（ａ＝５＊０＋２＊０＋１＊０．７・・・）を示し、「ｚ」は話題Ｚの総得点（ｚ＝５＊０．４＋２＊０．３＋１＊０・・・）を示している。会話得点算出部４４は、生成した話題総得点算出結果ＤＡＴ＿１５Ｘ（ＤＡＴ＿１５）を環境音採取場所特定部４５へ出力する。また、話題総得点算出結果ＤＡＴ＿１５Ｘ（ＤＡＴ＿１５）は、会話得点算出部４４または環境音採取場所特定部４５によりストレージ６０へ記憶される。

【0047】

《環境音採取場所特定部》
環境音採取場所特定部４５は、話題総得点算出結果ＤＡＴ＿１５、およびライブイベント会場内における環境音採取場所を特定する判定条件を規定する環境音採取場所表ＤＡＴ＿１６に基づき、リモート観戦グループに配信する環境音の採取場所を特定する。

【0048】

図８は、環境音採取場所表の一例を示す図である。図８の環境音採取場所表ＤＡＴ＿１６には、環境音採取場所の一覧（例えば場所１～場所７）とそれぞれに対応する判定条件とが関連付けて示されている。ライブイベント会場には、事前に所定の場所（例えば場所１～場所７）にマイクが設置されている。

【0049】

前述の環境音採取場所は、すなわちマイク設置場所である。図３には、ライブイベント会場として野球場が例示されている。野球場の場合、場所１は、レフトスタンドの応援団付近である。場所２は、３塁側の外野スタンドである。場所３は、３塁側の内野スタンドである。場所４は、バックネット付近である。場所５は、ライトスタンドの応援団付近である。場所６は、１塁側の外野スタンドである。場所７は、１塁側の内野スタンドである。

【0050】

図８には、判定条件として、所属グループを規定する第１条件、複数の話題間における総得点の関係を規定する第２条件、および第１条件と第２条件との関係を規定する第３条件がそれぞれ示されている。

【0051】

第１条件として、対応するリモート観戦グループに対し選定された所属グループが規定される。図８は、説明の便宜上、所属グループＸ、Ｙのみが示されているが、３つ以上の所属グループが規定されてもよい。第２条件として、話題間の総得点の関係が規定される。図８では、話題Ａおよび話題Ｚ間における総得点の関係が規定されているが、３つ以上の話題間における総得点の関係が規定されてもよい。第３条件として、第１条件と第２条件との関係が規定される。例えば「ＡＮＤ」は第１条件および第２条件の両方を満たせばよいことを規定し、「ＯＲ」は第１条件または第２条件を満たせばよいことを規定する。環境音採取場所表ＤＡＴ＿１６は、事前に登録され、ストレージ６０に記憶される。なお、判定条件は、この例に限定されるものではない。

【0052】

環境音採取場所特定部４５は、話題総得点算出結果ＤＡＴ＿１５、および環境音採取場所表ＤＡＴ＿１６に基づき環境音採取場所（例えば場所１～場所７のいずれか）を特定し、特定した環境音採取場所を環境音採取場所情報ＤＡＴ＿１７として環境音採取部４６へ出力する。

【0053】

《環境音採取部》
環境音採取部４６は、環境音採取場所情報ＤＡＴ＿１７を入力し、環境音採取場所情報ＤＡＴ＿１７に対応する場所から環境音を採取させる。初期状態ではすべてのマイクがオフになっており、環境音採取部４６は、環境音採取場所情報ＤＡＴ＿１７に対応する場所に設置されたマイクをオンする。このマイクが採取した環境音ＳＯＵ＿１は、環境音自動切替装置４０へ出力される。

【0054】

《環境音配信部》
環境音配信部４７は、環境音ＳＯＵ＿１を入力し、配信用音声データＳＯＵ＿２を生成する。配信用音声データＳＯＵ＿２は、特に限定されるものではないが、例えばＷＡＶ形式等のデータである。環境音配信部４７は、入力される環境音ＳＯＵ＿１から配信用音声データＳＯＵ＿２を逐次生成し、生成した配信用音声データＳＯＵ＿２を、対応するリモート観戦クループの各ユーザへ向けてリアルタイムに配信する。これにより、リモート観戦クループの各ユーザは、リモート観戦クループに最適なライブイベント会場の環境音を聞くことが可能となる。

【0055】

＜実施例＞
ここで、プロ野球を観戦する場合を例にした実施例について説明する。ここでは、チームＸとチームＹの試合をリモートで観戦するものとする。試合が行われる場所は、チームＸのホームグラウンドであるＺスタジアムである。リモート観戦グループの参加メンバーは、ユーザＡ、ユーザＢ、ユーザＣの３人とする。

【0056】

図９は、本発明の一実施の形態の実施例に係る会話内容の一例を示す図である。図９には、ユーザＡ、ユーザＢ、ユーザＣによる会話内容の音声テキストデータＤＡＴ＿２ｅｘが示されている。図９には、説明の便宜上、３人の会話内容がテキスト化されて示されている。図９において、太字は、単語表判定データに含まれる単語であり、下線が引かれた太字は、単語表マトリクスに含まれる単語である。

【0057】

図９には、チームＸの「Ｏ野」選手および「Ｍニキ」選手、チームＹの「Ｏ丸」選手、今回の対戦チームではないチームＷの「Ｍ山」選手、およびチームＳの「Ｓ島」選手を中心に、バッティング成績に関する３人の会話が含まれている。

【0058】

形態素解析装置３０は、図９の会話音声の音声テキストデータに対する形態素解析を行い、形態素解析結果（図示は省略）が環境音自動切替装置４０に入力され、単語ごとの発話回数がカウントされ、発話回数カウント結果が生成される。

【0059】

図１０は、本発明の一実施の形態の実施例に係る発話回数カウント結果を示す図である。図１０の発話回数カウント結果ＤＡＴ＿１１ｅｘには、主に野球選手や野球用語等の単語と、単語ごとの発話回数とが関連付けられている。

【0060】

次に、単語表マトリクス選択部４２は、ストレージ６０から単語表判定データＤＡＴ＿１２ｅｘを読み出し、発話回数カウント結果ＤＡＴ＿１１ｅｘ、および単語表判定データＤＡＴ＿１２ｅｘに基づき、リモート観戦グループの応援チーム（所属グループ）を選定する。

【0061】

図１１は、本発明の一実施の形態の実施例に係る単語表判定データを示す図である。図１２は、本発明の一実施の形態の実施例に係る単語表マトリクスを示す図である。単語表判定データＤＡＴ＿１２ｅｘには、例えばチームＸ、チームＹ、…、チームＷと、各チームに属する単語が示されている。なお、プロ野球等のスポーツイベントでは、選手名が観戦中に最もよく発話されるため、所属チーム（所属グループ）ごとに、選手名やニックネームを単語表判定データＤＡＴ＿１２ｅｘに登録することが好ましい。

【0062】

本実施例では、発話回数カウント結果ＤＡＴ＿１１ｅｘにチームＸの選手名が一番発話されているので、このリモート観戦グループの所属グループとしてチームＸが選択される。図１２には、所属グループがチームＸである場合の単語表マトリクスＤＡＴ＿１３ｅｘが示されている。単語表マトリクスＤＡＴ＿１３ｅｘには、それぞれの単語が、それぞれの話題（話題Ａ、話題Ｂ）に属するか否かの情報がマトリクスとして登録されている。話題Ａは、例えばチームＸやチームＸの所属選手に対する応援・野次に関するものであり、話題Ｂは、例えばチームＸやチームＸの所属選手の成績・指標に関するものである。

【0063】

単語分析部４３は、形態素解析結果および単語表マトリクスＤＡＴ＿１３ｅｘを入力し、例えばテキストマイニング技術を用いて図１０に示す各単語の重み付けを行う。図１３は、本発明の一実施の形態の実施例に係る単語重み付けデータを示す図である。図１３に示す単語重み付けデータＤＡＴ＿１４ｅｘは、単語ごとの重み付けが示されている。

【0064】

図１４は、本発明の一実施の形態の実施例における会話得点算出部による所属グループの話題ごとの総得点の算出方法を説明する図である。会話得点算出部４４は、図１３の単語重み付けデータＤＡＴ＿１４ｅｘおよび単語表マトリクスＤＡＴ＿１３ｅｘを用いて、図１４（ａ）に示す単語基礎得点表マトリクスＤＡＴ＿２５ｅｘを作成する。そして、会話得点算出部４４は、図１０の単語基礎得点表マトリクスＤＡＴ＿２５ｅｘおよび発話回数カウント結果ＤＡＴ＿１１ｅｘを用いて、話題Ａ、話題Ｂの総得点をそれぞれ算出し、図７（ｂ）に示すような話題総得点算出結果ＤＡＴ＿１５ｅｘを生成する。会話得点算出部４４は、生成した話題総得点算出結果ＤＡＴ＿１５ｅｘを環境音採取場所特定部４５へ出力する。

【0065】

図１５は、本発明の一実施の形態の実施例における環境音採取場所表を示す図である。図１５に示すように、本実施例では、環境音の採取場所（すなわちマイクの設置場所）は、「実況・解説席付近」、「ホーム応援団付近」、「ビジター応援団付近」、「ホーム外野スタンド」、「ビジター外野スタンド」、「ホーム内野スタンド」、「ビジター内野スタンド」である。 また、環境音採取場所表ＤＡＴ＿１６ｅｘには、それぞれの採取場所について、応援チーム（所属グループ、第１条件）、話題間の総得点関係（第２条件）、第１条件と第２条件との関係を規定する第３条件（ＡＮＤ、ＯＲ）が規定されている。

【0066】

第２条件の考え方は以下の通りである。「実況・解説席付近」、「ホーム内野スタンド」、および「ビジター内野スタンド」は、試合観戦において、例えば監督や選手の知見を聞きたい、ゲーム状況を正しく把握したい観戦者に好まれる傾向にある。このため、「応援・野次」の総得点よりも、「成績・指標」の総得点が高いリモート観戦グループに、これらの場所の環境音を配信する。また、テレビ放送やラジオ放送等においても、「実況・解説席付近」の位置の環境音を、応援しているチーム側のリモート観戦グループに配信する。

【0067】

一方、「ホーム応援団付近」、「ビジター応援団付近」、「ホーム外野スタンド」、および「ビジター外野スタンド」の環境音は、「成績・指標」よりも「応援・野次」の総得点が高いリモート観戦グループの各ユーザに配信される。また、このようなユーザは、当然ながら、応援しているチームを応援団とともに応援したいと考えているので、応援するチームの応援団付近や、外野スタンドの環境音が配信される。

【0068】

本実施例では、応援チームとして「チームＡ」が選定されている。すなわち、第１条件は「チームＡ」である。また、図７（ｂ）の話題総得点算出結果ＤＡＴ＿１５ｅｘに示すように、本実施例では、話題Ｂ（成績・指標）の総得点「１．４」は、話題Ａ（応援・野次）の総得点「０．７」より高くなっている。すなわち、第２条件は「応援・野次＜＝成績・指標」である。この結果から、このリモート観戦グループは、チームや選手の成績についての会話を主に行っていることがわかる。

【0069】

これらの条件を満たす環境音の採取場所は、「実況・解説席付近」、「ホーム内野スタンド」の２箇所である。なお、環境音の採取場所が「実況・解説席付近」である条件は、第１条件または第２条件を満たせばよいため、本条件を満たしている。また、この場合、応援チームを特に規定していないため、必ず第１条件を満たすこととなる。したがって、本実施例では、応援チームがホームチーム、ビジターチームであっても、「実況・解説席付近」は選択される。

【0070】

そして、環境音採取場所特定部４５は、「実況・解説席付近」、および「ホーム内野スタンド」のマイクをオンにする。これらのマイクが採取した環境音は、環境音採取部４６に入力される。環境音採取部４６は、入力された環境音から配信用音声データを生成し、リモート観戦グループのユーザＡ、ユーザＢ、ユーザＣへそれぞれ配信する。これにより、ユーザＡ、ユーザＢ、ユーザＣは、球場から離れた場所に居ながら、実況・解説の音声、および応援するチームＸ側の内野スタンドの環境音を聞くことが可能となる。

【0071】

＜本実施の形態による主な効果＞
本実施の形態によれば、同一のリモート観戦グループのユーザの会話音声に対応する形態素解析結果に基づいて、ライブイベント会場内における環境音採取場所が特定される。この構成によれば、リモート観戦グループに最適な環境音が選択されるので、リモート環境においてもユーザの意向に沿ったライブイベントの雰囲気を感じさせることが可能となる。

【0072】

また、本実施の形態によれば、単語表判定データＤＡＴ＿１２に含まれるそれぞれの単語の発話回数を所属グループごとにカウントし、発話回数が最も多い所属グループがリモート観戦グループの所属グループとして選定される。この構成によれば、数値判定により客観的にリモート観戦グループの所属グループを選定することが可能となる。

【0073】

また、本実施の形態によれば、単語基礎得点表マトリクスＤＡＴ＿２５、および発話回数カウント結果ＤＡＴ＿１１を用いて話題ごとの総得点が算出される。これにより、リモート観戦グループにおける主な話題を特定することが可能となる。

【0074】

また、本実施の形態によれば、環境音採取場所表ＤＡＴ＿１６は、判定条件として、所属グループを規定する第１条件、複数の話題間における総得点の関係を規定する第２条件、および第１条件と第２条件との関係を規定する第３条件を含む。この構成によれば、ライブイベント会場の環境音の採取場所を適切な特定することが可能となる。

【0075】

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。なお、図面に記載した各部材や相対的なサイズは、本発明を分かりやすく説明するため簡素化・理想化しており、実装上はより複雑な形状となる場合がある。

【符号の説明】

【0076】

１…環境音自動切替システム、４０…環境音自動切替装置、４１…単語発話回数カウント部、４２…単語表マトリクス選択部、４３…単語分析部、４４…会話得点算出部、４５…環境音採取場所特定部、４６…環境音採取部、４７…環境音配信部、６０…ストレージ、ＤＡＴ＿１１…発話回数カウント結果、ＤＡＴ＿１２…単語表判定データ、ＤＡＴ＿１３…単語表マトリクス、ＤＡＴ＿１４…単語重み付けデータ、ＤＡＴ＿１５…話題総得点算出結果、ＤＡＴ＿１６…環境音採取場所表、ＤＡＴ＿１７…環境音採取場所情報、ＤＡＴ＿２５…単語基礎得点表マトリクス、ＧＲ…リモート観戦グループ、ＲＥＭ…リモート環境。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】