特許 6095223 環境音合成装置、環境音伝送システム、環境音合成方法、環境音伝送方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6095223

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】環境音合成装置、環境音伝送システム、環境音合成方法、環境音伝送方法、プログラム

(51)【国際特許分類】

   G10L 19/00 20130101AFI20170306BHJP

   G10L 13/02 20130101ALI20170306BHJP

【ＦＩ】

   G10L19/00 250

   G10L13/02 110Z

【請求項の数】15

【全頁数】26

(21)【出願番号】特願2013-169037(P2013-169037)

(22)【出願日】2013年8月16日

(65)【公開番号】特開2014-63145(P2014-63145A)

(43)【公開日】2014年4月10日

【審査請求日】2015年7月24日

(31)【優先権主張番号】特願2012-186420(P2012-186420)

(32)【優先日】2012年8月27日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504145342

【氏名又は名称】国立大学法人九州大学

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】鎌本 優

(72)【発明者】

【氏名】守谷 健弘

(72)【発明者】

【氏名】尾本 章

(72)【発明者】

【氏名】河原 一彦

【審査官】 安田 勇太

(56)【参考文献】

【文献】 特開平０６−２０３１２７（ＪＰ，Ａ）

【文献】 特開平０５−０３７４７６（ＪＰ，Ａ）

【文献】 特開昭６０−１０７９３３（ＪＰ，Ａ）

【文献】 特開平０４−１４７１９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００ −１９／２６

Ｇ１０Ｌ １３／００ −１３／１０

Ｇ１０Ｌ ２５／００ −２５／９４

(57)【特許請求の範囲】

【請求項1】

環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
一人の人間によって発生される１フレーム分の環境音のテンプレート（以下、環境音素片テンプレートという）を記憶するテンプレート記憶部と、
前記テンプレート記憶部に記憶されている環境音素片テンプレートの音量に対応する情報を記憶するテンプレート音量記憶部と、
前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記環境音量パラメタと前記環境音素片テンプレートの音量に基づいて定まる時間間隔ごとに配置して合成し、環境音を生成する音源合成部と、
を備えることを特徴とする環境音合成装置。

【請求項2】

環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
一人の人間による一拍分の環境音のテンプレート（以下、環境音素片テンプレートという）を記憶するテンプレート記憶部と、
前記テンプレート記憶部に記憶されている環境音素片テンプレートの音量に対応する情報を記憶するテンプレート音量記憶部と、
前記環境音量パラメタの音量に対応する情報を前記環境音素片テンプレートの音量に対応する情報で除算した値を人数として出力する人数推定部と、
前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して合成し、環境音を生成する音源合成部と、
を備えることを特徴とする環境音合成装置。

【請求項3】

請求項２に記載の環境音合成装置であって、
前記テンプレート記憶部に、複数種類の環境音素片テンプレートと各環境音素片テンプレートの出力確率が対応付けて記憶され、
前記音源合成部は、
前記テンプレート記憶部から環境音素片テンプレートを前記出力確率に応じて１以上選択して合成すること
を特徴とする環境音合成装置。

【請求項4】

環境音分析装置と、環境音合成装置とを備える環境音伝送システムであって、
前記環境音分析装置は、
音響信号を取得して、当該音響信号の音量に対応する値を計算する音量計算部と、
前記音響信号の音量に対応する値を取得して、当該音響信号の音量に対応する値を量子化して、そのインデックスを環境音量パラメタとして出力するパラメタ変換部と、
前記環境音量パラメタを前記環境音合成装置に送信するデータ送信部とを備え、
前記環境音合成装置は、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
一人の人間によって発生される１フレーム分の環境音のテンプレート（以下、環境音素片テンプレートという）を記憶するテンプレート記憶部と、
前記テンプレート記憶部に記憶されている環境音素片テンプレートの音量に対応する情報を記憶するテンプレート音量記憶部と、
前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記環境音量パラメタと前記環境音素片テンプレートの音量に基づいて定まる時間間隔ごとに配置して合成し、環境音を生成する音源合成部と、
を備えることを特徴とする環境音伝送システム。

【請求項5】

環境音分析装置と、環境音合成装置とを備える環境音伝送システムであって、
前記環境音分析装置は、
音響信号を取得して、当該音響信号の音量に対応する値を計算する音量計算部と、
前記音響信号の音量に対応する値を取得して、当該音響信号の音量に対応する値を量子化して、そのインデックスを環境音量パラメタとして出力するパラメタ変換部と、
前記環境音量パラメタを前記環境音合成装置に送信するデータ送信部とを備え、
前記環境音合成装置は、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
一人の人間による一拍分の環境音のテンプレート（以下、環境音素片テンプレートという）を記憶するテンプレート記憶部と、
前記テンプレート記憶部に記憶されている環境音素片テンプレートの音量に対応する情報を記憶するテンプレート音量記憶部と、
前記環境音量パラメタの音量に対応する情報を前記環境音素片テンプレートの音量に対応する情報で除算した値を人数として出力する人数推定部と、
前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して合成し、環境音を生成する音源合成部と、
を備えることを特徴とする環境音伝送システム。

【請求項6】

請求項４または５に記載の環境音伝送システムであって、
前記環境音分析装置のパラメタ変換部が、
前記音響信号の音量に対応する値として平均エネルギーＥ_ｊ（ｊはフレームのインデックスを表す１以上の整数）を計算し、
前記平均エネルギーＥ_ｊから

【数12】

で表される列Ｆ_ｊを計算し、前記列Ｆ_ｊを２回、２で割って値Ｇ_ｊを求め、前記値Ｇ_ｊを符号に変換して前記値Ｇ_ｊの各々にシンボルを割り当て、前記値Ｇ_ｊに割り当てられたシンボルをｊ番目のフレームのパラメタＰ_ｊとして出力すること
を特徴とする環境音伝送システム。

【請求項7】

請求項５に記載の環境音伝送システムであって、
前記環境音分析装置が、
前記音響信号が拍手音であるか否かを判別し、判別結果が拍手音でない場合には、環境音量パラメタ＝０、および周期なしを示す周期情報を出力し、前記判別結果が拍手音である場合には、拍手音を示すフラグを出力する拍手区間検出部と、
前記拍手音を示すフラグを取得して、自己相関関数を用いて前記音響信号の周期を検出して、前記周期が検出された場合には自己相関関数のピーク間隔を周期情報として出力し、前記周期が検出されない場合には周期なしを示す周期情報を出力する周期性判定部とをさらに備え、
前記データ送信部が、前記環境音量パラメタとともに前記周期情報を前記環境音合成装置に送信し、
前記データ受信部が、前記環境音量パラメタとともに前記周期情報を前記環境音分析装置から受信し、
前記音源合成部が、前記環境音量パラメタが０でなく前記周期情報が周期なしを示す場合に、前記音響信号が拍手音であると判定し、前記環境音量パラメタが０でなく前記周期情報が周期ありを示す場合に、前記音響信号が手拍子音であると判定して、前記拍手音と判定された場合と比較して前記手拍子音と判定された場合の前記時間間隔が長くなるように前記環境音素片テンプレートを配置して合成すること
を特徴とする環境音伝送システム。

【請求項8】

伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
前記環境音量パラメタを受信するデータ受信ステップと、
一人の人間によって発生される１フレーム分の環境音のテンプレート（以下、環境音素片テンプレートという）を記憶するテンプレート記憶部と、前記テンプレート記憶部に記憶されている環境音素片テンプレートの音量に対応する情報を記憶するテンプレート音量記憶部とを参照して、前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記環境音量パラメタと前記環境音素片テンプレートの音量に基づいて定まる時間間隔ごとに配置して合成し、環境音を生成する音源合成ステップと、
を備えることを特徴とする環境音合成方法。

【請求項9】

伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
前記環境音量パラメタを受信するデータ受信ステップと、
一人の人間による一拍分の環境音のテンプレート（以下、環境音素片テンプレートという）の音量に対応する情報を記憶するテンプレート音量記憶部を参照して、前記環境音量パラメタの音量に対応する情報を前記環境音素片テンプレートの音量に対応する情報で除算した値を人数として出力する人数推定ステップと、
前記環境音素片テンプレートを記憶するテンプレート記憶部を参照して、前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して合成し、環境音を生成する音源合成ステップと、
を備えることを特徴とする環境音合成方法。

【請求項10】

環境音分析装置と、環境音合成装置とが実行する環境音伝送方法であって、
前記環境音分析装置は、
音響信号を取得して、当該音響信号の音量に対応する値を計算する音量計算ステップと、
前記音響信号の音量に対応する値を取得して、当該音響信号の音量に対応する値を量子化して、そのインデックスを環境音量パラメタとして出力するパラメタ変換ステップと、
前記環境音量パラメタを前記環境音合成装置に送信するデータ送信ステップとを実行し、
前記環境音合成装置は、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信ステップと、
一人の人間によって発生される１フレーム分の環境音のテンプレート（以下、環境音素片テンプレートという）を記憶するテンプレート記憶部と、前記テンプレート記憶部に記憶されている環境音素片テンプレートの音量に対応する情報を記憶するテンプレート音量記憶部とを参照して、前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記環境音量パラメタと前記環境音素片テンプレートの音量に基づいて定まる時間間隔ごとに配置して合成し、環境音を生成する音源合成ステップと、
を実行することを特徴とする環境音伝送方法。

【請求項11】

環境音分析装置と、環境音合成装置とが実行する環境音伝送方法であって、
前記環境音分析装置は、
音響信号を取得して、当該音響信号の音量に対応する値を計算する音量計算ステップと、
前記音響信号の音量に対応する値を取得して、当該音響信号の音量に対応する値を量子化して、そのインデックスを環境音量パラメタとして出力するパラメタ変換ステップと、
前記環境音量パラメタを前記環境音合成装置に送信するデータ送信ステップとを実行し、
前記環境音合成装置は、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信ステップと、
一人の人間による一拍分の環境音のテンプレート（以下、環境音素片テンプレートという）の音量に対応する情報を記憶するテンプレート音量記憶部を参照し、前記環境音量パラメタの音量に対応する情報を前記環境音素片テンプレートの音量に対応する情報で除算した値を人数として出力する人数推定ステップと、
前記環境音素片テンプレートを記憶するテンプレート記憶部を参照して、前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して合成し、環境音を生成する音源合成ステップと、
を実行することを特徴とする環境音伝送方法。

【請求項12】

請求項１０または１１に記載の環境音伝送方法であって、
前記環境音分析装置が実行するパラメタ変換ステップにおいて、
前記音響信号の音量に対応する値として平均エネルギーＥ_ｊ（ｊはフレームのインデックスを表す１以上の整数）を計算し、
前記平均エネルギーＥ_ｊから

【数13】

で表される列Ｆ_ｊを計算し、前記列Ｆ_ｊを２回、２で割って値Ｇ_ｊを求め、前記値Ｇ_ｊを符号に変換して前記値Ｇ_ｊの各々にシンボルを割り当て、前記値Ｇ_ｊに割り当てられたシンボルをｊ番目のフレームのパラメタＰ_ｊとして出力すること
を特徴とする環境音伝送方法。

【請求項13】

請求項１１に記載の環境音伝送方法であって、
前記環境音分析装置が、
前記音響信号が拍手音であるか否かを判別し、判別結果が拍手音でない場合には、環境音量パラメタ＝０、および周期なしを示す周期情報を出力し、前記判別結果が拍手音である場合には、拍手音を示すフラグを出力する拍手区間検出ステップと、
前記拍手音を示すフラグを取得して、自己相関関数を用いて前記音響信号の周期を検出して、前記周期が検出された場合には自己相関関数のピーク間隔を周期情報として出力し、前記周期が検出されない場合には周期なしを示す周期情報を出力する周期性判定ステップとをさらに実行し、
前記データ送信ステップにおいて、前記環境音量パラメタとともに前記周期情報を前記環境音合成装置に送信し、
前記データ受信ステップにおいて、前記環境音量パラメタとともに前記周期情報を前記環境音分析装置から受信し、
前記音源合成ステップにおいて、前記環境音量パラメタが０でなく前記周期情報が周期なしを示す場合に、前記音響信号が拍手音であると判定し、前記環境音量パラメタが０でなく前記周期情報が周期ありを示す場合に、前記音響信号が手拍子音であると判定して、前記拍手音と判定された場合と比較して前記手拍子音と判定された場合の前記時間間隔が長くなるように前記環境音素片テンプレートを配置して合成すること
を特徴とする環境音伝送方法。

【請求項14】

コンピュータを、請求項１から３のいずれかに記載の環境音合成装置として機能させるためのプログラム。

【請求項15】

コンピュータを、請求項４から７の何れかに記載の環境音伝送システムとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、伝送元で収音された環境音を、伝送先で再生する環境音合成装置、環境音伝送システム、環境音合成方法、環境音伝送方法、プログラムに関する。

【背景技術】

【0002】

実測データをもとに算出した個人差や、速度・大きさの揺らぎの程度を利用して、単独のユーザと同期するように複数の拍手音を合成し出力する技術が提案されている（非特許文献１）。また、ある地点の音を別の場所に伝送し再生する技術として、音響符号化技術が知られている。例えば、非特許文献２では、聴覚マスキングを巧みに利用し、また楽器の特性を利用して低域の成分を高域にコピーして使うという楽音の特性に合わせたモデルにより、低ビットレートで品質の高い音響符号化技術が提案されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】西村竜一、宮里勉、「仮想的集団による拍手音の合成」、電子情報通信学会技術研究報告、電子情報通信学会、1999年3月、MVE,マルチメディア・仮想環境基礎、98(684), p.17-24,

【非特許文献2】Stefan Meltzer and Gerald Moser,"MPEG-4 HE-AAC v2 - audio coding for today's digital media world," EBU technical review, Jan., 2006.

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献１は、ユーザと同調する複数の人がその場にいるような環境を仮想的に実現することを目的としたものであり、ユーザの拍手のピッチに合わせて仮想的な拍手音を合成する技術であり、実在する遠隔地の場の状況（拍手音や手拍子）を、別の場所に伝送し再現することはできなかった。また、声援・掛け声などの拍手音以外の環境音を伝送し再現することは対象としていない。また、拍手音や声援・掛け声などの環境音は純粋な音声や楽器音とは異なり白色雑音に近いため、非特許文献２のような従来の音響符号化技術ではうまく表現できず、音質が劣化していた。そこで本発明では、伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現することができる環境音合成装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の環境音合成装置は、環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成することを特徴とし、データ受信部と、テンプレート記憶部と、音源合成部とを備える。

【0006】

データ受信部は、環境音分析装置から環境音量パラメタを受信する。テンプレート記憶部は、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶する。音源合成部は、環境音量パラメタと同じ音量大きさのテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する。

【発明の効果】

【0007】

本発明の環境音合成装置によれば、伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の環境音伝送システムの構成例を示すブロック図。

【図2】実施例１の環境音分析装置の構成を示すブロック図。

【図3】実施例１の環境音分析装置の動作を示すフローチャート。

【図4】実施例２の環境音分析装置の構成を示すブロック図。

【図5】実施例２の環境音分析装置の動作を示すフローチャート。

【図6】実施例２のパラメタ変換部のパラメタ生成手順を例示する図。

【図7】実施例２の変形例１の環境音分析装置の構成を示すブロック図。

【図8】実施例２の変形例１の環境音分析装置の動作を示すフローチャート。

【図9】実施例３の環境音合成装置の構成を示すブロック図。

【図10】実施例３の環境音合成装置の動作を示すフローチャート。

【図11】実施例４の環境音合成装置の構成を示すブロック図。

【図12】実施例４の環境音合成装置の動作を示すフローチャート。

【図13】実施例４の音源合成部の環境音素片テンプレート合成手順を例示する図。

【図14】実施例５及びその変形例の環境音分析装置の構成を示すブロック図。

【図15】実施例５及びその変形例の環境音分析装置の動作を示すフローチャート。

【図16】拍手音や手拍子音の周波数成分の時間変化を例示する図。

【図17】実施例６の環境音合成装置の構成を示すブロック図。

【図18】実施例６の環境音合成装置の動作を示すフローチャート。

【図19】実施例７、８の環境音合成装置の構成を示すブロック図。

【図20】実施例７、８の環境音合成装置の動作を示すフローチャート。

【図21】テンプレート記憶部に環境音素片テンプレートと出力確率とを対応付けて記憶する例を例示する図。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0010】

拍手や手拍子音、声援・掛け声などの環境音の総音量は、観客の人数が多いほど大きくなる。本発明では、環境音そのものを伝送するのではなく、環境音の音量を表す情報だけを伝送する。そして、伝送先では予め記憶された環境音のテンプレートを、音量を表す情報に応じて変換することにより、伝送元の環境音（に類似した音）を再生する。

【0011】

また、拍手や手拍子音の一拍（一度両手を合わせて打つこと）は、音響パワーの個人差が小さい。また、一拍と一拍の時間間隔（以下、拍手間隔ともいう）の個人差も小さく、２００ｍｓ〜３００ｍｓ程度である。したがって、ある人の拍手音（一拍分）を環境音素片テンプレートとして用意しておき、それを個人差に応じたゆらぎ（２００ｍｓ〜３００ｍｓ）を持たせた間隔で繰り返し再生することにより、別の人の拍手音に類似した音を構成することができる。

【0012】

＜環境音伝送システム＞
以下、図１を参照して本発明の環境音伝送システムについて説明する。図１は本発明の環境音伝送システムの構成例を示すブロック図である。図１に示すように、本発明の環境音伝送システムは、伝送元の環境音分析装置と、伝送先の環境音合成装置から構成される。環境音分析装置は、入力された音響信号（環境音）の音量に対応する情報（環境音量パラメタＰ_ｊ、以下単にパラメタともいう）を抽出し、出力する。環境音合成装置は、予め記憶された環境音のテンプレートを用いて、入力された環境音量パラメタＰ_ｊに合わせてテンプレートを変換することにより環境音を合成し、出力する。以下、実施例１において環境音分析装置１、実施例２において環境音分析装置２、実施例２の変形例１において環境音分析装置２’、実施例３において環境音合成装置３、実施例４において環境音合成装置４、実施例５において環境音分析装置５、実施例６において環境音合成装置６、実施例７において環境音合成装置７、実施例８において環境音合成装置８、実施例９において環境音合成装置９、実施例１０において環境音合成装置１０をそれぞれ説明する。また、環境音分析装置１と環境音合成装置３との組み合わせを環境音伝送システム１０００、環境音分析装置２と環境音合成装置３との組み合わせを環境音伝送システム２０００、環境音分析装置２’と環境音合成装置３との組み合わせを環境音伝送システム２０００’、環境音分析装置１と環境音合成装置４との組み合わせを環境音伝送システム３０００、環境音分析装置２と環境音合成装置４との組み合わせを環境音伝送システム４０００、環境音分析装置２’と環境音合成装置４との組み合わせを環境音伝送システム４０００’、環境音分析装置５と環境音合成装置６との組み合わせを環境音伝送システム５０００と呼ぶ。

【実施例1】

【0013】

以下、図２、図３を参照して本発明の実施例１の環境音分析装置について説明する。図２は本実施例の環境音分析装置１の構成を示すブロック図である。図３は本実施例の環境音分析装置１の動作を示すフローチャートである。図２に示すように、本実施例の環境音分析装置１は、収音部１１と、音量計算部１２と、パラメタ変換部１３と、データ送信部１４とを備える。

【0014】

＜収音部１１＞
収音部１１は伝送元の音を収音する（Ｓ１１）。ここでは、収音部１１には伝送元の拍手音が入力されるものとする。

【0015】

＜音量計算部１２＞
音量計算部１２は、拍手音の音響信号を取得する。音量計算部１２が取得する拍手音の音響信号は、所定のサンプリング周波数でサンプリングされた信号列とする。ここで、Ｘ_ｊを第ｊフレームの音響信号とし、Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（Ｎ））（Ｎはフレームあたりのサンプル数）とする。例えば８ｋＨｚサンプリングのときに１フレーム２０ｍｓとすると、Ｎ＝１６０である。なお、遅延が短い方が良ければフレームの長さを短くし、遅延が長くなっても良ければ、フレームの長さを長くすれば良い。音量計算部１２は、フレーム毎に、入力された拍手音の音響信号の音量に対応する値（以下、「拍手音量に対応する値」ともいう）を求めて出力する。具体的には、音量計算部１２は、フレーム毎に、入力された拍手音の音響信号Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（Ｎ））の平均エネルギー

【0016】

【数1】

【0017】

を計算する（Ｓ１２）。

【0018】

＜パラメタ変換部１３＞
パラメタ変換部１３は、音量計算部１２から出力された拍手音量に対応する値を取得する。パラメタ変換部１３は、取得した拍手音量に対応する値を量子化し、環境音量パラメタを出力する。具体的には、パラメタ変換部１３は、平均エネルギーＥ_ｊの取りうる範囲（例えばｘ_ｊ（ｉ）（ｉ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が２＾３０となる）をあらかじめ定められた場合の数（例えば１６ｂｉｔ）に量子化し、そのインデックスを環境音量パラメタＰ_ｊとして出力する（Ｓ１３）。

【0019】

＜データ送信部１４＞
データ送信部１４は、パラメタ変換部１３が出力した環境音量パラメタＰ_ｊを伝送先の環境音合成装置３（または４）に送信する（Ｓ１４）。環境音合成装置３については実施例３に、環境音合成装置４については実施例４に記載する。

【0020】

このように、本実施例の環境音分析装置１によれば、伝送元において収音された拍手音を効率よく低遅延に伝送することができる。

【0021】

[実施例１の動作例２]
上述の実施例１では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置１の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。

【0022】

実施例１の動作例２における環境音分析装置１は、環境音分析装置１の収音部１１、音量計算部１２、パラメタ変換部１３、データ送信部１４の各部で取り扱われる拍手音および拍手音量が、環境音及び環境音の音量に置き換わる点を除いては、上述の動作例と同じである。

【0023】

拍手音や声援・掛け声、雑音などは、いずれも伝送元の会場の雰囲気を決定づける重要な要素である一方で、いろいろな音響信号が混合された白色雑音に近い信号である。前述したようにこれらの音を環境音と呼ぶ。伝送元で環境音が発せられたタイミング及び音量が保たれていれば、信号そのものは伝送元の環境音と全く同じ信号でなくとも、場の雰囲気を再現することができる。そこで、環境音分析装置１において、伝送元の環境音の音量に関するパラメタを抽出することで、伝送元において収音された環境音を効率よく低遅延に伝送することができる。

【実施例2】

【0024】

以下、図４、図５、図６を参照して本発明の実施例２の環境音分析装置について説明する。図４は本実施例の環境音分析装置２の構成を示すブロック図である。図５は本実施例の環境音分析装置２の動作を示すフローチャートである。図６は本実施例のパラメタ変換部２３のパラメタ生成手順を例示する図である。図４に示すように、本実施例の環境音分析装置２は、収音部１１と、音量計算部１２と、パラメタ変換部２３と、データ送信部１４とを備える。収音部１１、音量計算部１２、データ送信部１４は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから説明を適宜略する。

【0025】

＜音量計算部１２＞
音量計算部１２は、４８ｋＨｚサンプリングでサンプリングされた信号列であり、１フレーム６サンプル（Ｎ＝６）で構成される信号列Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（６））を取得する。音量計算部１２は、フレーム毎に、入力された拍手音響信号Ｘ_ｊ＝（ｘ_ｊ（１），ｘ_ｊ（２），…，ｘ_ｊ（６））から、平均エネルギー

【0026】

【数2】

【0027】

を計算する（Ｓ１２）。

【0028】

＜パラメタ変換部２３＞
パラメタ変換部２３は、求めた平均エネルギーＥ_ｊを以下の式により変形した列Ｆ_ｊを求める。

【0029】

【数3】

【0030】

つまり、図６に示すように、ガウス関数や床関数により整数値化されたＦ_ｊの取りうる値（０〜３２７６８）のうち、奇数の値に負の符号を与え、さらに１を減じる。これにより、Ｆ_ｊはすべて偶数の値を取ることになる。次に、全部偶数になったＦ_ｊの各々を２で割る（右に１ビットシフトでも構わない）。この値をＧ．７１１準拠の範囲に収めるために、μ−ｌａｗを使うのであればさらに２で割り（右に１ビットシフトでもよい）値Ｇ_ｊを求める。そして、Ｇに対して、ＩＴＵ−Ｔ＿Ｇ．７１１の符号化処理を行い、Ｇ_ｊをＧ．７１１の符号（番号）に変換する。４８ｋＨｚサンプリング６サンプル分を一塊（１フレーム）にすると８ｋＨｚの１サンプル分に相当するので、上記のＧ_ｊ毎にＧ．７１１のシンボル１つを割り当てることができる。割り当てられたシンボル列をパラメタＰ_ｊとして出力する（Ｓ２３）。パラメタＰ_ｊは通常の音声と同様に固定電話回線を用いて伝送すると遅延が短くすむ。式（１）のかわりに式（２）のように対数を用いてもよい。

【0031】

【数4】

【0032】

また、平方根演算や対数演算は多項式近似（テイラー展開など）で演算量を削減してもよい。

【0033】

[実施例２の変形例１]
以下、図７、図８を参照して実施例２のパラメタ変換部２３に変更を加えた変形例１の環境音分析装置について説明する。図７は本変形例の環境音分析装置２’の構成を示すブロック図である。図８は本変形例の環境音分析装置２’の動作を示すフローチャートである。図７に示すように、本変形例の環境音分析装置２’は、収音部１１と、音量計算部１２と、パラメタ変換部２３’と、データ送信部１４とを備える。収音部１１、音量計算部１２、データ送信部１４は実施例２の環境音分析装置２における同一番号の各構成部と同じであるから説明を適宜略する。

【0034】

＜パラメタ変換部２３’＞
パラメタ変換部２３’は、図６のようなマッピング演算の代わりに、Ｆ_ｊの取りうる０〜３２７６８の値を直接８ｂｉｔのシンボルにマッピングするマッピングテーブル２３Ａを予め備えており、マッピングテーブル２３Ａを参照してパラメタＰ_ｊを求める（Ｓ２３’）。または、パラメタ変換部２３’は、Ｆ_ｊの取りうる０〜３２７６８の値をあらかじめビットシフト等により場合の数を減らしてから、マッピングテーブル２３Ａを用いてパラメタＰ_ｊを求めてもよい。この場合はマッピングテーブル２３Ａの大きさを削減できる。Ｆ_ｊはデシベル単位に変換したものを用いてもよい。

【0035】

実施例２及び変形例１の環境音分析装置は以下の効果を有する。収音された拍手音の音響信号は正の値となるため、Ｅ_ｊの平方根の値の取りうる範囲は正の整数値、例えばｘ_ｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が３２７６８となる。このまま、パラメタ変換部でＩＴＵ−Ｔ＿Ｇ．７１１の符号化を行うと、符号化効率が悪くなるという問題がある。上記式（１）の変形を行うと、例えばｘ_ｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は、Ｆ_ｊの取りうる範囲は−１６３８４から１６３８４になる。そこで、パラメタ変換部においてＥ_ｊの取りうる範囲が負の整数値から正の整数値の範囲となるように変換した値Ｆ_ｊを用いることにより、符号化効率を向上させることができ、パラメタＰ_ｊの情報量を削減することができる。つまり、伝送遅延をより少なくすることが可能となる。

【0036】

[実施例２の動作例２]
上述の実施例２および実施例２の変形例１では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置２（２’）の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。

【0037】

実施例２の動作例２においては、環境音分析装置２（２’）の収音部１１、音量計算部１２、パラメタ変換部２３または２３’、データ送信部１４の各部で取り扱われる拍手音および拍手音量が、環境音及び環境音の音量に置き換わる点を除いては、上述の動作例と同じである。

【実施例3】

【0038】

以下、図９、図１０を参照して本発明の実施例３の環境音合成装置について説明する。図９は本実施例の環境音合成装置３の構成を示すブロック図である。図１０は本実施例の環境音合成装置３の動作を示すフローチャートである。図９に示すように、本実施例の環境音合成装置３は、データ受信部３１と、音源合成部３２と、テンプレート記憶部３３と、再生部３４とを備える。環境音合成装置３は環境音分析装置１（２、２’）から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する装置である。以下、実施例１、２で詳述した動作例に従い、環境音の例として拍手音を用いて説明を進める。

【0039】

＜データ受信部３１＞
データ受信部３１は、環境音分析装置から環境音量パラメタＰ_ｊを受信する（Ｓ３１）。

【0040】

＜テンプレート記憶部３３＞
テンプレート記憶部３３には、拍手音の各音量バリエーションに対して複数の拍手音（１フレーム分）のテンプレートが記憶されている。つまり、テンプレート記憶部３３には、ｉをフレームのインデックスとした場合に、１フレーム分の拍手音を含む環境音のテンプレートＴ_ｉと当該テンプレートの環境音の音量に対応する情報Ｅ’_ｉとが対応付けて記憶されているものとする。なお、テンプレートの環境音の音量に対応する値は、各テンプレートＴ_ｉを入力として、上記実施例１または２の音量計算部１２及びパラメタ変換部１３（２３）と同じ方法により求めることができる。なお、実施例１または２のどの方法を用いるかは、環境音分析装置と環境音合成装置との間で統一しておくものとする。

【0041】

＜音源合成部３２＞
音源合成部３２は、入力された環境音量パラメタＰ_ｊと同じ音量大きさのテンプレートのうちいずれか１つをテンプレート記憶部３３からランダムに選択する。つまり、Ｐ_ｊ＝Ｅ’_ｉを満たすＥ’_ｉに対応づけられているテンプレートＴ_ｉのうち、いずれか１つをランダムに選択する。音源合成部３２は、選択したテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ３２）。例えば、２０ｍｓのフレームあたり環境音量パラメタに８ｂｉｔのバリエーションがあったとすると、４００ｂｉｔ／ｓｅｃで拍手音を伝送できる。

【0042】

＜再生部３４＞
再生部３４は、音源合成部３２が合成した拍手音を再生する（Ｓ３４）。

【0043】

このように、本実施例の環境音合成装置３によれば、テンプレート記憶部３３に拍手音の各音量バリエーションに対して複数のテンプレートを保持しておき、音源合成部３２が音量の条件を充たす複数のテンプレートから１つのテンプレートをランダムに選択するため、合成された拍手音が定常的なパターンとして聞こえないようにすることができる。

【0044】

[実施例３の動作例２]
実施例３では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置３の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声や、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音とし、伝送元の環境音量パラメタが入力され、伝送先で環境音を合成してもよい。

【0045】

実施例３の動作例２では、実施例３の環境音合成装置３のデータ受信部３１と、音源合成部３２と、テンプレート記憶部３３と、再生部３４において、拍手音が環境音に置き換わる点を除いては、上述の動作例と同じである。

【実施例4】

【0046】

以下、図１１、図１２、図１３を参照して本発明の実施例４の環境音合成装置について説明する。図１１は本実施例の環境音合成装置４の構成を示すブロック図である。図１２は本実施例の環境音合成装置４の動作を示すフローチャートである。図１３は本実施例の音源合成部４２の環境音素片テンプレート合成手順を例示する図である。図１１に示すように、本実施例の環境音合成装置４は、データ受信部３１と、音源合成部４２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。データ受信部３１、再生部３４は実施例３の環境音合成装置３における同一番号の各構成部と同じであるから説明を省略する。

【0047】

＜テンプレート記憶部４３＞
テンプレート記憶部４３には、一人の人間による一拍分の拍手音（３００ｍｓ程度）のテンプレートの複数のバリエーションが記憶されている。本実施例では環境音の例として拍手音を扱うため、拍手音のテンプレートを環境音素片テンプレートのバリエーションのひとつとする。従って、以下では拍手音のテンプレートを環境音素片テンプレートともいう。例えば、異なる人の一拍分の拍手音をそれぞれ異なる環境音素片テンプレートとして記憶しておく。以下、単にテンプレートという場合には、所定フレーム長の複数人による拍手音（環境音）全体を収録したテンプレートを指すものとし、環境音素片テンプレートという場合には、一人の人間による一拍分の拍手音（環境音）のテンプレートを指すものとする。

【0048】

＜テンプレート音量記憶部４６＞
テンプレート音量記憶部４６には、テンプレート記憶部４３に記憶されている環境音素片テンプレートの音量に対応する情報（具体的には、実施例１または２の音量計算部１２により計算される、平均エネルギー）が記憶されている。なお、１人分の拍手音の音量の差は小さいので、テンプレート記憶部４３に記憶されている環境音素片テンプレートのいずれか一つについて計算された平均エネルギーを環境音素片テンプレートの音量に対応する情報として記憶しておいてもよい。また、テンプレート記憶部４３に記憶されている全環境音素片テンプレートの平均エネルギーの平均値を、環境音素片テンプレートの音量に対応する情報としてテンプレート音量記憶部４６に記憶しておいてもよい。あるいは、予め定めた定数を音量に対応する情報としてテンプレート音量記憶部４６に記憶しておいても良い。

【0049】

なお、テンプレート音量記憶部４６に予め環境音素片テンプレートの音量に対応する情報を記憶せず、その都度テンプレート記憶部４３からランダムに選択した環境音素片テンプレートについて計算した平均エネルギーを環境音素片テンプレートの音量に対応する情報として用いても良い。

【0050】

＜人数推定部４５＞
人数推定部４５は、環境音量パラメタＰ_ｊに応じて音量のゲイン調整を行うための構成である。人数推定部４５は、伝送元から出力された環境音量パラメタＰ_ｊを取得し、当該環境音量パラメタＰ_ｊから音量に対応する情報Ｅ’_ｊを求める。具体的には、実施例１または２のパラメタ変換部１３（２３）と逆の処理を行うことにより、音量に対応する情報Ｅ’_ｊを得る。人数推定部４５は、音量に対応する情報Ｅ’_ｊを環境音素片テンプレートの音量に対応する情報で除算した値の整数値（小数点以下を四捨五入、または切り捨てた値）を拍手の人数Ｍとして出力する（Ｓ４５）。

【0051】

＜音源合成部４２＞
音源合成部４２は、テンプレート記憶部４３から環境音素片テンプレートをランダムに選択して合成する（Ｓ４２）。環境音量パラメタにより一人分の拍手を合成する場合（人数推定部４５においてＭ＝１となった場合）は、図１３Ａのように、約３００ｍｓごとにランダムに選択された環境音素片テンプレートＴ_ｉを用いて合成した波形を拍手音として出力する。前述のように合成の時間間隔は約３００ｍｓでよいが、より好ましくは３００ｍｓを中心として時間間隔に揺らぎを持たせてもよい。時間間隔に揺らぎを持たせることによってさらに自然な拍手音を合成することができる。たとえば３００ｍｓを中心としてガウス分布にしたがう乱数により、±数１０ｍｓの揺らぎを持たせればよい。例えば音源合成部４２は

【0052】

【数5】

【0053】

によりテンプレートを変換した拍手音Ｙ_ｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ４２）。別の表現方法で書くと、時系列テンプレート信号Ｔ_ｉ＝（ｔ_ｉ［１］ ｔ_ｉ［２］ … ｔ_ｉ［Ｐ］）と拍手タイミングを表すインパルスδ（ｉ・τ＋σ_ｉ）の畳み込み演算でＹ_ｉを出力とする。

【0054】

【数6】

【0055】

ここで＊は畳み込み演算を表す。ここで、τ＝３００ｍｓであり、σ_ｉは−１０ｍｓ≦σ_ｉ≦＋１０ｍｓの範囲で生成した乱数である。環境音量パラメタによりＭ人分の拍手を合成する場合は、図１３Ｂのように、時間間隔を約３００／Ｍ（ｍｓ）ごとにランダムに選択された環境音素片テンプレートを用いて合成された波形を拍手音として出力する。人数Ｍの逆数を使って、時間間隔を約３００／Ｍ（ｍｓ）と設定することで、拍手の人数Ｍが増えるに従って時間間隔が小さくなるように設定することができる。この場合もガウス分布やラプラス分布に従う乱数によって、揺らぎを持たせることができる。例えば音源合成部４２は、

【0056】

【数7】

【0057】

によりテンプレートを変換した環境音Ｙ_ｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ４２）。

【0058】

このように、本実施例の環境音合成装置４によれば、実施例３のように音量ごとにテンプレートを用意しておく必要がなく、テンプレート記憶部４３に記憶しておく環境音素片テンプレートの数も少なくてよいため、環境音合成装置４のメモリ量を削減することができる。

【0059】

[実施例４の動作例２]
実施例４は、伝送元の伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置４を説明したが、これに限らず拍手音以外の環境音を対象としても良い。上述では、一人の人間による一拍分の拍手音（３００ｍｓ程度）のテンプレートを環境音素片テンプレートの例として示したが、これに限らず、たとえば、一人の人間による一拍分の声援、掛け声のテンプレートを環境音素片テンプレートとしてもよい。

【0060】

実施例４の動作例２では、実施例４の環境音合成装置４のデータ受信部３１と、音源合成部４２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６において取り扱われるデータが拍手音から環境音に置き換わる点を除いては、上述の動作例と同じである。

【0061】

なお、音源合成部４２において、式（３）の代わりに、時系列テンプレート信号Ｔ_ｉ＝（ｔ_ｉ［１］ ｔ_ｉ［２］ … ｔ_ｉ［Ｐ］）と環境音タイミングを表すインパルスδ（ｍ・τ＋σ_ｍ）の畳み込み演算でＹ_ｉを出力としても良い。

【0062】

【数8】

【0063】

ここで＊は畳み込み演算を表す。

【0064】

また、テンプレート記憶部４３に記憶しておく環境音素片テンプレートの波形のエネルギーをあらかじめ正規化してあってもよい。その場合は、人数推定部４５のパラメタに応じで、音量（ゲイン）を調整すればよい。この場合もメモリ量を少なくしながらバリエーションを増やすことができる。

【実施例5】

【0065】

以下、図１４、図１５、図１６を参照して本発明の実施例５及びその変形例の環境音分析装置について説明する。図１４は本実施例及びその変形例の環境音分析装置５の構成を示すブロック図である。図１５は本実施例及びその変形例の環境音分析装置５の動作を示すフローチャートである。図１６は拍手音や手拍子音の周波数成分の時間変化を例示する図である。図１６Ａは、拍手音が鳴りやんで無音状態に移行した場合の周波数成分の時間変化の例を示す図である。図１６Ｂは、手拍子が行われている場合の周波数成分の時間変化の例を示す図である。図１６Ｃは、拍手が行われている場合の周波数成分の時間変化の例を示す図である。図１４に示すように、本実施例の環境音分析装置５は、収音部１１と、音量計算部１２と、パラメタ変換部１３と、データ送受信部５４と、拍手区間検出部５５と、周期性判定部５６とを備える。本実施例の変形例としてパラメタ変換部１３をパラメタ変換部２３、２３’に適宜変更可能である。また、収音部１１、音量計算部１２、パラメタ変換部１３、２３、２３’は実施例１、実施例２、変形例１の環境音分析装置１、２，２’における同一番号の各構成部と同じであるから適宜説明を略する。

【0066】

＜拍手区間検出部５５＞
拍手区間検出部５５は、音響信号が拍手音であるか否かを判別する機能を有する。具体的には、拍手区間検出部５５は、ＶＡＤ（Ｖｏｉｃｅ＿Ａｃｔｉｖｉｔｙ＿Ｄｅｔｅｃｔｉｏｎ）やＳＡＤ（Ｓｏｕｎｄ＿Ａｃｔｉｖｉｔｙ＿Ｄｅｔｅｃｔｉｏｎ）を用いて入力された音響信号をフレーム毎に分析し、「無音区間」「音声（音楽）区間」「その他」のいずれに該当するかを判別し、音響信号が無音区間または音声区間と判別された場合には、環境音量パラメタＰ_ｊ＝０と設定する。例えば拍手区間検出部５５が、ＩＴＵ−Ｔ＿Ｇ．７２０．１を用いてＶＡＤ・ＧＳＡＤ分析する場合、拍手区間検出部５５は判別結果として０：無音、１：ノイズ、２：音楽、３：音声の何れかのフラグを生成する。この場合、拍手区間検出部５５は、判別結果が無音区間（フラグ０）、音声区間（フラグ２または３）である場合（つまり、拍手音でない場合）には、環境音量パラメタＰ_ｊ＝０と設定する。一方、拍手区間検出部５５は、判別結果がノイズ（フラグ１）である場合には、これを拍手音であるものとして、フラグ＝１と設定する。

【0067】

環境音量パラメタＰ_ｊ＝０の場合（Ｓ５Ｙ）、拍手区間検出部５５はデータ送信部５４に環境音量パラメタＰ_ｊ＝０、および周期情報Ｔ＝０、または周期なしを示す周期情報を出力し、ステップＳ５４に移行する。一方、環境音量パラメタＰ_ｊが０でない（フラグ＝１）場合（Ｓ５Ｎ）、フラグ＝１を出力してステップＳ５６に移行する。

【0068】

＜周期性判定部５６＞
周期性判定部５６は、環境音量パラメタＰ_ｊが０でない場合（Ｇ．７２０．１を用いてＶＡＤ・ＧＳＡＤ分析する場合、フラグ１：ノイズと判別された場合）当該フレームについて、１秒から数秒程度（例えば３００フレーム：３秒）の窓幅で分析を行う。分析したフレームが図１６Ｂに示すように一定の周期性がある場合には、周期性判定部５６は、当該フレームの音響信号を手拍子の音響信号と判断し、周期が検出された場合には、自己相関関数のピーク間隔を周期情報として出力する（Ｓ５６）。演算量削減のために、Ｇ．７２０．１の内部変数であるＲＭＳ値（フレームのパワーの平方根）を用いて、３００フレーム分の自己相関関数を求め、周期Ｔを求めてもよい（フレームの自己相関ではなく信号の自己相関を用いても良い）。

【0069】

周期情報の検出には、例えば次のような方法を用いる。Ｇ．７２０．１の内部変数である１０ｍｓ毎のＲＭＳ値（フレームのパワーの平方根）の自己相関関数をＲ（ｉ）（ｉ＝０，１，２，…，３００）とする。この例では３秒の分析フレームで分析したことになる。この例では、１００ｍｓ以上の周期を持つ場合には手拍子、そうでない場合には拍手と判定されることになる。手拍子の間隔が１００ｍｓ以上であるとすると、Ｒ（ｉ）のｉの値を大きくしていき、相関の値Ｒ（ｉ）が増加から減少に転じたときのｉをＴ１とする。さらにｉの値を増加させていき、相関の値Ｒ（ｉ）が増加から減少に転じたときのｉをＴ２とする。Ｔ２−Ｔ１の値が閾値の範囲内（例えば１１〜２６５）であれば、Ｔ２−Ｔ１を周期としてＴ＝Ｔ２−Ｔ１を出力する。なお、ピークの検出は、心電図のＲ−Ｒ間隔の検出など様々な方法があるので、既存の技術を適宜用いれば良い。

【0070】

周期が検出されない場合には、周期性判定部５６は、Ｔ＝０または周期なしを示す周期情報を出力する。周期を表すインデックスが上記のように例えば１１〜２６５であれば２５５通りの周期を表すことができ、周期が無いというインデックスを加えて２５６通りの条件を表す８ビットを伝送すればよい。

【0071】

音量計算部１２とパラメタ変換部１３（２３、２３’）は、環境音量パラメタＰ_ｊが０でない（Ｇ．７２０．１を用いてＶＡＤ・ＧＳＡＤ分析する場合、フラグ１：ノイズと判別された）フレームについて、実施例１または実施例２、あるいは変形例２の音量計算部１２とパラメタ変換部１３（２３、２３’）と同様の処理を行うことにより、環境音量パラメタＰ_ｊを計算し出力する（Ｓ１２、Ｓ１３、Ｓ２３、Ｓ２３’）。なお、音量計算部１２が出力するＥ_ｊとして、Ｇ．７２０．１の内部変数であるＲＭＳ値（フレームのパワーの平方根）を出力してもよい。

【0072】

＜データ送信部５４＞
データ送信部５４は、環境音量パラメタＰ_ｊとともに周期情報を後述する環境音合成装置６に送信する（Ｓ５４）。

【実施例6】

【0073】

以下、図１７、図１８を参照して本発明の実施例６の環境音合成装置について説明する。実施例６の環境音合成装置６は、実施例５の環境音分析装置５に対応する装置である。図１７は本実施例の環境音合成装置６の構成を示すブロック図である。図１８は本実施例の環境音合成装置６の動作を示すフローチャートである。図１７に示すように、本実施例の環境音合成装置６は、データ受信部６１と、音源合成部６２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。データ受信部６１と音源合成部６２以外の各構成部は実施例３、または実施例４の環境音合成装置３、４における同一番号の各構成部と同じであるから説明を省略する。

【0074】

＜データ受信部６１＞
データ受信部６１は、環境音量パラメタＰ_ｊとともに周期情報を環境音分析装置５から受信する（Ｓ６１）。

【0075】

＜音源合成部６２＞
音源合成部６２は、あるフレームの音響信号の環境音量パラメタＰ_ｊが０でなく（Ｓ６ＡＮ）、周期情報がＴ＝０、または周期が存在しないことを示している場合に（Ｓ６ＢＮ）、当該フレームの音響信号が拍手音であると判定して、実施例４の環境音合成装置４の音源合成部４２と同じ処理を行い、拍手音を出力する（Ｓ６２Ａ）。一方、音源合成部６２は、あるフレームの音響信号の環境音量パラメタＰ_ｊが０でなく（Ｓ６ＡＮ）、周期情報がＴ≠０である（周期情報ありを示す）場合に（Ｓ６ＢＹ）、当該フレームの音響信号が手拍子であると判定して、その周期（たとえば５００ｍｓ）が中心となるような実施例４の時よりも分散の小さいガウス分布やラプラス分布に従う揺らぎを持たせた波形を合成し、拍手音（実際は手拍子音）として出力する（Ｓ６２Ｂ）。音源合成部６２は、例えば上記式（３）または（４）において、τの値を周期情報（例えばτ＝５００ｍｓ）としてテンプレートを変換した拍手音Ｙ_ｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ６２Ｂ）。この例では、手拍子音におけるτ＝５００（ｍｓ）として前述の拍手音の合成の際に設定されたτ＝３００（ｍｓ）より長い時間間隔に設定しているため、拍手音と判定された場合と比較して手拍子音と判定された場合の時間間隔が長くなるように環境音素片テンプレートが配置され合成される。

【0076】

このように、実施例５の環境音分析装置５と本実施例の環境音合成装置６により構成される環境音伝送システム５０００によれば、周期性判定部５６がフレームを分析して周期情報を生成し、音源合成部６２において、周期情報の有無を考慮して拍手、手拍子の何れかの音響信号を生成するため、伝送元において収音された拍手や手拍子音を効率よく伝送する効果に加えて、拍手、手拍子の双方をより正確に合成することができる。

【実施例7】

【0077】

以下、図１９、図２０を参照して実施例４の変形実施例である本発明の実施例７の環境音合成装置について説明する。図１９は本実施例の環境音合成装置７の構成を示すブロック図である。図２０は本実施例の環境音合成装置７の動作を示すフローチャートである。図１９に示すように、本実施例の環境音合成装置７は、データ受信部３１と、音源合成部７２と、テンプレート記憶部７３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。実施例４との違いは、実施例４における音源合成部４２と、テンプレート記憶部４３が、本実施例においてそれぞれ音源合成部７２と、テンプレート記憶部７３に変更されている点のみである。よって、音源合成部７２、テンプレート記憶部７３以外の各構成については説明を省略する。

【0078】

実施例４では音源合成部４２においてテンプレート記憶部４３から環境音素片テンプレートをランダムに１つ選択して、伝送先での環境音を合成していたが、本実施例では、音源合成部４２に代わって、音源合成部７２が、テンプレート記憶部７３から環境音素片テンプレートを出力確率に応じて１以上選択して合成する（Ｓ７２）。

【0079】

特に、声援・掛け声は拍手音と比較すると個人差が大きく、その内容にいくつかバリエーションがある。例えば、出演者が複数人いる場合などは、出演者の個人名やニックネームが声援や掛け声に含まれることがあり、出演者毎に異なる声援・掛け声のパターンが存在する。

【0080】

ただし、声援や掛け声の音のパターン（ミックスを打つとも表現される）はコンテンツによりきめられていることが多く、声援や掛け声のセリフのバリエーションは多くない。また、ある曲の決められたタイミングで発せられることが多く、音響パワーの時間差が小さい。したがって、複数種類の声援や掛け声音の定型文を環境音素片テンプレートとして用意しておき、一つのテンプレートではなく、音量に応じたゆらぎを持たせた混合音にして再生することにより、毎回同じ声援や掛け声の音ではなく、発せられるタイミングにより別の環境音に類似した音を構成することができる。

【0081】

以下では、伝送元で複数の出演者を含むコンテンツが演じられている（もしくは再生されている）場合を例に、環境音を伝送元とは異なる伝送先の会場で合成する環境音合成装置７の動作例を説明する。

【0082】

前述したように、本実施例の環境音合成装置７は、実施例４における環境音合成装置４とほとんど同じ構成である。ただし、テンプレート記憶部７３に、複数種類の環境音素片テンプレートと各環境音素片テンプレートの出力確率とが対応付けて記憶されている点が異なる。複数種類の環境音素片テンプレートとは、例えば、コンテンツの出演者の各々の個人名やニックネームに対応する声援や掛け声の音響信号であり、予め用意しておくものとする。

【0083】

以下、図２１を参照して説明を続ける。図２１は、テンプレート記憶部に環境音素片テンプレートと出力確率とを対応付けて記憶する例を例示する図である。

【0084】

図２１のＡでは、環境音素片テンプレートの後のＰｉ（ｉ＝１，２，…，ｎ）、例えば「アリスー」の後のＰ１は、その対応する環境音素片テンプレートが出力される確率であり、Ｐ１＋Ｐ２＋…＋Ｐｎ＝１である。実施例４の動作例２はこの確率が共通であって（Ｐ１＝Ｐ２＝…＝Ｐｎ＝１／ｎ）環境音素片テンプレートをランダムに１つ選択して合成する場合に相当する。本実施例では、この確率がテンプレートごとに異なる。なお、図２１のＡは出演者ごとに１つの環境音テンプレートが記憶されている例であるが、図２１のＢのように出演者ごとに複数の環境音テンプレートが記憶されていて、各環境音テンプレートに出力確率が対応付けられていても良い。各テンプレートの確率は予め設定しておけば良い。例えば、伝送元や伝送先のコンサートホール等において各自が応援したい出演者を投票もしくは、事前に登録してもらうなどして、その会場の聴衆についての出演者の人気度のランキングを得ておき、その順位が高いほど出力確率が高くなるように、各テンプレートの出力確率を決定しておけば良い。あるいは、伝送先の聴衆に限らずに取得した人気度のランキングに基づいても良い。また、ある出演者の誕生日や引退など、特別なイベントを考慮して、該当出演者への環境音素片テンプレートの出力確率を高くするようにバイアスをかけてもよい。

【0085】

これらの出力確率は、このシステムを動作させながらリアルタイムで変更してもよい。例えば、受聴者がボタンを押すなどのリアルタイムの投票数に応じて、出力確率値を時間的に変化させてもよい。

【0086】

音源合成部７２では、テンプレート記憶部７３に記憶された出力確率に従って、テンプレートを１つ以上選択し、式（３’）または式（４）に従って環境音の音響信号を合成する。人数推定部４５で推定した人数Ｍが２名以上であって、テンプレートを２つ以上選択するとする。フレームｉについて選択するテンプレートの数をＳ_ｉ（Ｓは２以上の整数）とすると、音源合成部７２は、フレームｉごとに

【0087】

【数9】

【0088】

により合成した音響信号Ｙ_ｉを出力する。ここで、Ｔ_ｉ，ｋはフレームiについて選択したｋ番目のテンプレートであり、

【0089】

【数10】

【0090】

である。ここで、Ｍ_ｋは、テンプレートＴ_ｉ，ｋに対応する人数であり、

【0091】

【数11】

【0092】

となるように、テンプレートＴ_ｉ，ｋの出力確率に応じて各Ｍ_ｋの値を決定したものである。

【0093】

以上の構成によれば、出演者の人気が反映された音量で、各出演者に対応する環境音が合成されるので、より場の盛り上がりや雰囲気を反映した環境音を合成することができる。

【実施例8】

【0094】

引き続き、図１９、図２０、図２１を参照して実施例８の環境音合成装置８について説明する。図１９に示すように、本実施例の環境音合成装置８は、データ受信部３１と、音源合成部８２と、テンプレート記憶部８３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。実施例７との違いは、実施例７における音源合成部７２と、テンプレート記憶部７３が、本実施例においてそれぞれ音源合成部８２と、テンプレート記憶部８３に変更されている点のみである。

【0095】

実施例７ではテンプレートごとに確率値を決めていたが、本実施例では図２１のＣに示すテンプレート記憶部８３のように、テンプレートを出演者毎にクラスタリングし、クラスタごとに出力確率を決定しても良い。この場合、音源合成部８２では、テンプレート記憶部８３に記憶された出力確率に従って、出演者に対応するクラスタを１つ以上選択し、選択した各クラスタに対応する１以上の環境音素片テンプレートの中からランダムに１つまたは複数の環境音素片テンプレートを選択する。なお、クラスタ内で複数の環境音素片テンプレートを選択する場合には、そのテンプレートにより出力される音響信号の音量の総和が、当該クラスタに対して割り当てられる音量となるように、テンプレートごとの音量を決定する。

【実施例9】

【0096】

以下、実施例９の環境音合成装置９について説明する。本実施例の環境音合成装置９は、実施例７または８の環境音合成装置で合成した音声をヘッドマウントディスプレイに出力する。

【0097】

ここで、テンプレート記憶部７３（８３）に記憶しておく各テンプレートもしくは各クラスタの出力確率は、ヘッドマウントディスプレイを装着する使用者の好みに応じて予め設定しておく。これにより、個人ごとに好みの環境音を提示することができる。ヘッドマウントディスプレイの装着者毎にあらかじめ定めた確率値に応じて、テンプレート記憶部７３（８３）から環境音素片テンプレートをあらかじめ定められた確率に応じて選択して合成すると、個人個人に応じた環境音を別々に提示することができる。ヘッドマウントディスプレイに限らず、ユーザが音響的に独立の場所でこのシステムを利用する場合には、場所ごとに異なる確率値でテンプレート記憶部７３（８３）から環境音素片テンプレートをあらかじめ定められた確率に応じて選択して合成することができる。

【実施例10】

【0098】

以下、実施例１０の環境音合成装置１０について説明する。上述の実施例７、８、９では、演者ごとに異なる環境音素片テンプレートを対応させていたが、本実施例の環境音合成装置１０では、演者全員に共通な環境音素片テンプレートを定義する。例えば確率値もしくはランダムに選択された環境音素片テンプレートがいわゆるミックス（声援や掛け声の音のパターン）でもよい。

【0099】

なお、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

【0100】

また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

【0101】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

【0102】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0103】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

【0104】

なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図17】

【図18】

【図19】

【図20】

【図21】

【図16】