(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025101019
(43)【公開日】2025-07-07
(54)【発明の名称】音声出力システムおよび音声出力方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20250630BHJP
H04R 3/00 20060101ALI20250630BHJP
G10K 15/00 20060101ALI20250630BHJP
【FI】
H04S7/00 310
H04R3/00 310
G10K15/00 L
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023217559
(22)【出願日】2023-12-25
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山口 滉太
【テーマコード(参考)】
5D162
5D220
【Fターム(参考)】
5D162AA08
5D162CA04
5D162CA22
5D162CC18
5D162DA02
5D162EG04
5D220AA05
5D220AA12
5D220AB08
(57)【要約】
【課題】最適な音場でコンテンツ音声を出力すること。
【解決手段】複数のスピーカにより音場を再現してコンテンツ音声を出力する音声出力システム1は、複数のスピーカを有するスピーカユニット20と、耳掛け式で周辺の音声を収音するマイクロフォンユニット10と、スピーカユニット20からのコンテンツ音声の出力を制御する音声出力制御装置であるオーディオコントローラ50とを備え、オーディオコントローラ50は、マイクロフォンユニット10によって収音された、ユーザに聴こえるコンテンツ音声である収音音声の信号波形に基づいて、スピーカユニット20の複数のスピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整して、調整したコンテンツ音声を出力する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
複数のスピーカにより音場を再現してコンテンツ音声を出力する音声出力システムであって、
複数のスピーカを有するスピーカユニットと、
耳掛け式で周辺の音声を収音するマイクロフォンと、
前記スピーカユニットからのコンテンツ音声の出力を制御する音声出力制御装置と、
を備え、
前記音声出力制御装置は、
前記マイクロフォンによって収音された、ユーザに聴こえるコンテンツ音声である収音音声の信号波形に基づいて、前記スピーカユニットの複数の前記スピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整して、調整したコンテンツ音声を出力する、
音声出力システム。
【請求項2】
前記音声出力制御装置は、
前記マイクロフォンによって収音された前記収音音声の信号波形に基づいて、ユーザの位置の変化を解析し、調整したコンテンツ音声を出力する、
請求項1に記載の音声出力システム。
【請求項3】
前記音声出力制御装置は、
前記マイクロフォンによって収音された収音音声の音量が音量閾値以下になった場合、コンテンツ音声の出力を一時停止する、
請求項1に記載の音声出力システム。
【請求項4】
前記収音音声は、ユーザの右耳で聴こえる右収音音声と、ユーザの左耳で聴こえる左収音音声とを含み、
前記音声出力制御装置は、
前記マイクロフォンによって収音された右収音音声または左収音音声のいずれかの音量が音量閾値以下になった場合、コンテンツ音声の出力を一時停止、または、ユーザが耳に装着しているイヤホンからコンテンツ音声を出力する、
請求項1に記載の音声出力システム。
【請求項5】
複数のスピーカにより音場を再現してコンテンツ音声を出力する音声出力方法であって、
耳掛け式で周辺の音声を収音するマイクロフォンによって収音された収音音声の信号波形に基づいて、ユーザの位置の変化を解析することと、
解析結果に基づいて、スピーカユニットの複数のスピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整することと、
音場設定の調整結果を示す調整情報に基づいて、コンテンツ音声を調整して出力することと、
を、音声出力制御装置が実行する音声出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声出力システムおよび音声出力方法に関する。
【背景技術】
【0002】
受聴者の前方に配置された第1のスピーカユニット群と、受聴者の後方に配置された第2のスピーカユニット群と、を備えたスピーカシステムに再生信号を出力する再生装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来のオーディオサラウンドシステムのセットアップでは、例えば、鑑賞者であるユーザの座高で調整された三脚付き測定マイクによって、複数個所でテストトーンを測定し、音場を決定する。このため、ユーザの姿勢が変化したり移動したりした場合、最適な音場から外れることになる。最適な音場でコンテンツ音声を出力することに改善の余地がある。
【0005】
本発明は、上記に鑑みてなされたものであって、最適な音場でコンテンツ音声を出力することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る音声出力システムは、複数のスピーカにより音場を再現してコンテンツ音声を出力する音声出力システムであって、複数のスピーカを有するスピーカユニットと、耳掛け式で周辺の音声を収音するマイクロフォンと、前記スピーカユニットからのコンテンツ音声の出力を制御する音声出力制御装置と、を備え、前記音声出力制御装置は、前記マイクロフォンによって収音された、ユーザに聴こえるコンテンツ音声である収音音声の信号波形に基づいて、前記スピーカユニットの複数の前記スピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整して、調整したコンテンツ音声を出力する。
【0007】
本発明に係る音声出力方法は、複数のスピーカにより音場を再現してコンテンツ音声を出力する音声出力方法であって、耳掛け式で周辺の音声を収音するマイクロフォンによって収音された収音音声の信号波形に基づいて、ユーザの位置の変化を解析することと、解析結果に基づいて、スピーカユニットの複数のスピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整することと、音場設定の調整結果を示す調整情報に基づいて、コンテンツ音声を調整して出力することとを、音声出力制御装置が実行する。
【発明の効果】
【0008】
本発明によれば、最適な音場でコンテンツ音声を出力することができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施形態に係る音声出力システムの使用状態の一例を示す概略図である。
【
図2】
図2は、実施形態に係る音声出力システムの構成例を示すブロック図である。
【
図3】
図3は、実施形態に係る音声出力制御装置における処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、本発明に係る音声出力システムおよび音声出力方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【0011】
[実施形態]
<音声出力システム>
図1は、実施形態に係る音声出力システムの使用状態の一例を示す概略図である。音声出力システム1は、部屋などの空間Rに配置された複数のスピーカにより音場を再現してコンテンツ音声を出力する。音声出力システム1は、例えば、ホームシアターを含むいわゆるサラウンドオーディオシステムである。音声出力システム1は、コンテンツ音声の鑑賞中にリアルタイムで収音された収音音声の信号波形に基づいて、コンテンツ音声の鑑賞者であるユーザの位置の変化に応じて適切にコンテンツ音声を出力する。
【0012】
ユーザは、空間Rに配置された三人掛けソファSに着席するなどしてコンテンツ音声を聴く。ユーザは、コンテンツ音声を聴いているときに、ソファS上で着席位置を変化させたり、姿勢を変化させたりしてもよい。ユーザは、空間R内で位置を変えてもよい。
【0013】
図2は、実施形態に係る音声出力システムの構成例を示すブロック図である。本実施形態では、音声出力システム1は、マイクロフォンユニット10と、スピーカユニット20と、携帯端末装置30と、オーディオコントローラ(音声出力制御装置)50と、信号処理部60と、増幅器ユニット70と、を備える。
【0014】
<マイクロフォンユニット>
マイクロフォンユニット10は、ユーザの周辺で聴こえる音声を収音する。マイクロフォンユニット10は、ユーザの右耳および左耳で聴こえる音声を取得する。マイクロフォンユニット10は、例えば、耳に掛ける開放型のイヤホン形状である。マイクロフォンユニット10は、例えば、コンテンツ音声の出力が可能なイヤホン一体型のマイクロフォンでもよい。マイクロフォンユニット10は、例えば、Bluetooth(登録商標)などのような近距離無線通信によって、携帯端末装置30とデータを通信可能である。マイクロフォンユニット10と携帯端末装置30とは、ペアリングされている。マイクロフォンユニット10は、右マイクロフォン11と、左マイクロフォン12とを備える。マイクロフォンユニット10は、収音した右収音音声および左収音音声である収音音声を携帯端末装置30へ送信する。
【0015】
右マイクロフォン11は、ユーザの右耳の近傍に配置されている。右マイクロフォン11は、例えば、耳に掛ける開放型のイヤホン形状をしており、ユーザの右耳に装着される。右マイクロフォン11は、ユーザの右耳で聴こえる右収音音声を収音する。右マイクロフォン11は、収音した右収音音声を携帯端末装置30に出力する。
【0016】
左マイクロフォン12は、ユーザの左耳の近傍に配置されている。左マイクロフォン12は、例えば、耳に掛ける開放型のイヤホン形状をしており、ユーザの左耳に装着される。左マイクロフォン12は、ユーザの左耳で聴こえる左収音音声を収音する。左マイクロフォン12は、収音した左収音音声を携帯端末装置30に出力する。
【0017】
<スピーカユニット>
スピーカユニット20は、複数のスピーカを有する。スピーカユニット20は、複数のスピーカから出力されるコンテンツ音声の音量と出力タイミングとが信号処理部60によって制御されることにより、コンテンツ音声をサラウンドでユーザに聴取させる。本実施形態では、スピーカユニット20は、センタースピーカ21と、フロント右スピーカ22と、フロント左スピーカ23と、ウーファースピーカ24と、リア右スピーカ25と、リア左スピーカ26とを備える。センタースピーカ21と、フロント右スピーカ22と、フロント左スピーカ23と、ウーファースピーカ24と、リア右スピーカ25と、リア左スピーカ26とは、それぞれコンテンツ音声を出力する。スピーカユニット20の数及び組み合わせはこれに限定されない。
【0018】
センタースピーカ21は、ユーザの正面に配置されるスピーカである。
【0019】
フロント右スピーカ22は、ユーザの右前方に配置されるスピーカである。
【0020】
フロント左スピーカ23は、ユーザの左前方に配置されるスピーカである。
【0021】
ウーファースピーカ24は、ユーザの側方に配置されるスピーカである。
【0022】
リア右スピーカ25は、ユーザの右後方に配置されるスピーカである。
【0023】
リア左スピーカ26は、ユーザの左後方に配置されるスピーカである。
【0024】
<携帯端末装置>
携帯端末装置30は、音声出力システム1のユーザが使用する、例えば、スマートフォン、または、タブレット端末などのような携帯端末装置である。携帯端末装置30は、例えば、Bluetoothなどのような近距離無線通信によって、マイクロフォンユニット10及びオーディオコントローラ50とデータを通信可能である。携帯端末装置30およびマイクロフォンユニット10、携帯端末装置30およびオーディオコントローラ50は、ペアリングされている。携帯端末装置30は、マイクロフォンユニット10から収音音声を取得する。携帯端末装置30は、収音音声をオーディオコントローラ50へ出力する。
【0025】
携帯端末装置30は、端末コントローラ40を備える。携帯端末装置30は、あらかじめインストールされた音声出力システム1の専用アプリケーションソフトウェアによって、収音データをオーディオコントローラ50にリアルタイムで通信を行う。
【0026】
端末コントローラ40は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。端末コントローラ40は、通信制御部41を備える。
【0027】
通信制御部41は、マイクロフォンユニット10及びオーディオコントローラ50とのデータの通信を制御する。通信制御部41は、ペアリングされたマイクロフォンユニット10から収音音声を取得する。通信制御部41は、ペアリングされたオーディオコントローラ50へ収音音声を出力する。
【0028】
<音声出力制御装置>
オーディオコントローラ(音声出力制御装置)50は、スピーカユニット20からのコンテンツ音声の出力を制御する。オーディオコントローラ50は、スピーカユニット20の複数のスピーカにより音場を再現してコンテンツ音声を出力する。オーディオコントローラ50は、例えば、CPUなどで構成された演算処理装置である。
【0029】
オーディオコントローラ50は、マイクロフォンユニット10によって収音された、ユーザに聴こえるコンテンツ音声である収音音声の信号波形に基づいて、スピーカユニット20の複数のスピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整して、調整したコンテンツ音声を出力する機能を実装する。収音音声については、左右のうち、片側のみを用いてもよいし、両側の平均値を用いてもよい。
【0030】
本実施形態では、オーディオコントローラ50は、マイクロフォンユニット10によって収音された収音音声の信号波形に基づいて、ユーザの位置の変化を解析し、スピーカユニット20の複数のスピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整して、調整したコンテンツ音声を出力する機能を実装する。より詳しくは、信号波形の位相によって、各スピーカから出力されるコンテンツ音声の遅延量を算出し、ユーザの位置の変化を解析する。また、信号波形の振幅によって、各スピーカから出力されたコンテンツ音声の音圧の変化を解析する。この解析結果を元に調整を行う。
【0031】
本実施形態では、オーディオコントローラ50は、マイクロフォンユニット10によって収音された収音音声の音量が音量閾値以下になった場合、コンテンツ音声の出力を一時停止する機能を実装する。収音音声の音量が音量閾値以下になった場合は、例えば、ユーザが、スピーカユニット20が配置された空間Rから外へ出たような状況が想定される。
【0032】
本実施形態では、オーディオコントローラ50は、マイクロフォンユニット10によって収音された右収音音声または左収音音声のいずれかの音量が音量閾値以下になった場合、コンテンツ音声の出力を一時停止、または、ユーザが耳に装着しているマイクロフォンユニット10と一体型のイヤホンからコンテンツ音声を出力する機能を実装する。右収音音声または左収音音声のいずれかの音量が音量閾値以下になった場合は、例えば、ユーザが横になるなどして片側の耳が塞がった状況が想定される。イヤホンからコンテンツ音声を出力する場合は、塞がった片側の耳のイヤホンについてのみ行ってもよい。
【0033】
オーディオコントローラ50が上記の機能を実装する構成の一例を説明する。オーディオコントローラ50は、通信制御部(収音音声取得部)51と、解析部52と、調整部55と、音源データ取得部59と、を備える。
【0034】
通信制御部51は、携帯端末装置30及び信号処理部60とのデータの通信を制御する。通信制御部51は、ペアリングされた携帯端末装置30から収音音声を取得する。通信制御部51は、信号処理部60へコンテンツ音声および調整情報を出力する。
【0035】
解析部52は、携帯端末装置30から取得した収音音声の信号波形に基づいて、ユーザに聴こえるコンテンツ音声の聴こえ方の変化を解析する。聴こえ方の変化とは、音圧の変化または遅延のことである。解析部52は、収音音声から、スピーカユニット20の各スピーカから出力されたコンテンツ音声の成分ごとに音圧の変化、または、遅延を解析する。
【0036】
本実施形態では、解析部52は、携帯端末装置30から取得した収音音声の信号波形に基づいて、ユーザの位置の変化を解析してもよい。解析部52は、収音音声が示す、ユーザの耳で実際に聴こえる音声の音圧の変化に基づいて、ユーザの位置の変化を解析する。
【0037】
解析部52は、例えば、右収音音声と左収音音声とを比較して左収音音声の音圧が右収音音声の音圧よりも大きく変化したことを検出した場合、ユーザが左方へ移動したと解析する。
【0038】
解析部52は、例えば、右収音音声と左収音音声とを比較して右収音音声の音圧が左収音音声の音圧よりも大きく変化したことを検出した場合、ユーザが右方へ移動したと解析する。
【0039】
解析部52は、例えば、収音音声から、スピーカユニット20の各スピーカから出力されたコンテンツ音声の成分を解析可能である場合、コンテンツ音声の成分ごとに音圧の変化、または、遅延を検出して、ユーザが移動した方向を解析してもよい。
【0040】
解析部52は、例えば、収音音声から、フロント右スピーカ22、ウーファースピーカ24およびリア右スピーカ25から出力されたコンテンツ音声の成分の音圧が小さく変化し、フロント左スピーカ23およびリア左スピーカ26から出力されたコンテンツ音声の成分の音圧が大きく変化したことを検出した場合、ユーザが左方へ移動したと解析する。解析部52は、例えば、収音音声から、フロント右スピーカ22、ウーファースピーカ24およびリア右スピーカ25から出力されたコンテンツ音声の成分が、フロント左スピーカ23およびリア左スピーカ26から出力されたコンテンツ音声の成分より遅延したことを検出した場合、ユーザが左方へ移動したと解析する。ユーザが左方へ移動したとは、例えば、
図1において、ユーザが三人掛けソファS上のAの位置から、三人掛けソファS上のBの位置に移動したような場合である。
【0041】
解析部52は、例えば、収音音声から、フロント左スピーカ23およびリア左スピーカ26から出力されたコンテンツ音声の成分の音圧が小さく変化し、フロント右スピーカ22、ウーファースピーカ24およびリア右スピーカ25から出力されたコンテンツ音声の成分の音圧が大きく変化したことを検出した場合、ユーザが右方へ移動したと解析する。解析部52は、例えば、収音音声から、フロント左スピーカ23およびリア左スピーカ26から出力されたコンテンツ音声の成分が、フロント右スピーカ22、ウーファースピーカ24およびリア右スピーカ25から出力されたコンテンツ音声の成分より遅延したことを検出した場合、ユーザが右方へ移動したと解析する。
【0042】
解析部52は、例えば、収音音声から、フロント右スピーカ22およびフロント左スピーカ23から出力されたコンテンツ音声の成分の音圧が小さく変化し、リア右スピーカ25およびリア左スピーカ26から出力されたコンテンツ音声の成分の音圧が大きく変化したことを検出した場合、ユーザが後方へ移動したと解析する。解析部52は、例えば、収音音声から、フロント右スピーカ22およびフロント左スピーカ23から出力されたコンテンツ音声の成分が、リア右スピーカ25およびリア左スピーカ26から出力されたコンテンツ音声の成分より遅延したことを検出した場合、ユーザが後方へ移動したと解析する。ユーザが後方へ移動したとは、例えば、
図1において、ユーザが三人掛けソファS上のAの位置から、三人掛けソファSの後ろのCの位置に移動したような場合である。
【0043】
解析部52は、例えば、収音音声から、リア右スピーカ25およびリア左スピーカ26から出力されたコンテンツ音声の成分の音圧が小さく変化し、フロント右スピーカ22およびフロント左スピーカ23から出力されたコンテンツ音声の成分の音圧が大きく変化したことを検出した場合、ユーザが前方へ移動したと解析する。解析部52は、例えば、収音音声から、リア右スピーカ25およびリア左スピーカ26から出力されたコンテンツ音声の成分が、フロント右スピーカ22およびフロント左スピーカ23から出力されたコンテンツ音声の成分より遅延したことを検出した場合、ユーザが前方へ移動したと解析する。
【0044】
本実施形態では、解析部52は、収音音声の音量が音量閾値以下になったことを解析してもよい。
【0045】
本実施形態では、解析部52は、右収音音声または左収音音声のいずれかの音量が音量閾値以下になったことを解析してもよい。
【0046】
調整部55は、解析部52の解析結果に基づいて、スピーカユニット20の各スピーカから出力するコンテンツ音声の音量および遅延量を調整する。
【0047】
調整部55は、解析部52により解析されたコンテンツ音声の聴こえ方の変化を打ち消すように、各スピーカの音量および遅延量を調整する。調整部55は、音圧が低下したと解析されたスピーカの音量を上げ、音圧が増加したと解析されたスピーカの音量を下げるよう調整する。調整部55は、遅延が増加したと解析されたスピーカの遅延を抑え、遅延が減少したと解析されたスピーカの遅延を大きくするよう調整する。
【0048】
本実施形態では、調整部55は、解析部52によるユーザの位置の変化を解析した解析結果に基づいて、スピーカユニット20の複数のスピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整してもよい。より詳しくは、調整部55は、例えば、解析部52によりユーザが右方へ移動したと解析された場合、フロント右スピーカ22、ウーファースピーカ24およびリア右スピーカ25から出力するコンテンツ音声の音量を下げて、フロント左スピーカ23およびリア左スピーカ26から出力するコンテンツ音声の音量を上げるように各スピーカの音量を調整する。調整部55は、例えば、解析部52によりユーザが右方へ移動したと解析された場合、フロント右スピーカ22、ウーファースピーカ24およびリア右スピーカ25から出力するコンテンツ音声に比べて、フロント左スピーカ23およびリア左スピーカ26から出力するコンテンツ音声が遅延しないように各スピーカの遅延量を調整する。
【0049】
調整部55は、ユーザが左方へ移動した場合、各スピーカの音量および遅延量をこれと逆に調整する。
【0050】
調整部55は、例えば、解析部52によりユーザが前方へ移動したと解析された場合、フロント右スピーカ22およびフロント左スピーカ23から出力するコンテンツ音声の音量を下げて、リア右スピーカ25およびリア左スピーカ26から出力するコンテンツ音声の音量を上げるように各スピーカの音量を調整する。調整部55は、例えば、解析部52によりユーザが前方へ移動したと解析された場合、フロント右スピーカ22およびフロント左スピーカ23から出力するコンテンツ音声に比べて、リア右スピーカ25およびリア左スピーカ26から出力するコンテンツ音声が遅延しないように各スピーカの遅延量を調整する。
【0051】
調整部55は、ユーザが後方へ移動した場合、各スピーカの音量および遅延量をこれと逆に調整する。
【0052】
音源データ取得部59は、ユーザに鑑賞させるコンテンツ音声の音源データを取得する。音源データ取得部59は、例えば、図示しない記憶部に記憶された音源データ、または、外部の機器から転送された音源データを取得する。音源データ取得部59は、取得した音源データを、調整部55の音場設定の調整結果を示す調整情報とともに、信号処理部60へ出力する。
【0053】
本実施形態では、音源データ取得部59は、解析部52により収音音声の音量が音量閾値以下になったことが解析された場合、信号処理部60へのコンテンツ音声の出力を一時停止してもよい。
【0054】
本実施形態では、音源データ取得部59は、解析部52により右収音音声または左収音音声のいずれかの音量が音量閾値以下になったことが解析された場合、信号処理部60へのコンテンツ音声の出力を一時停止してもよい。または、音源データ取得部59は、解析部52により右収音音声または左収音音声のいずれかの音量が音量閾値以下になったことが解析された場合、ユーザが耳に装着している、マイクロフォンユニット10と一体型のイヤホンに対してコンテンツ音声を出力してもよい。イヤホンに対してコンテンツ音声を出力する場合は、収音音声の音量が音量閾値以下となったイヤホンについてのみ行ってもよい。
【0055】
<信号処理部>
信号処理部60は、音声出力制御部としての機能を実装する。信号処理部60は、ユーザの位置の変化に応じて、ユーザに対して適切な音像位置で聴こえるように、音場設定処理を行ったコンテンツ音声を、スピーカユニット20の複数のスピーカから出力させる音声出力制御部としての機能を有する。
【0056】
より詳しくは、信号処理部60は、音源データ取得部59が取得した音源データと、オーディオコントローラ50から取得した音場設定の調整結果を示す調整情報とに基づいて、コンテンツ音声に対して音場設定処理を行った音声信号を、増幅器ユニット70を介して、スピーカユニット20の複数のスピーカへ出力する。信号処理部60は、音量制御回路61と遅延回路62と多段フィルタ63とを有する。
【0057】
音量制御回路61は、センタースピーカ21と、フロント右スピーカ22と、フロント左スピーカ23と、ウーファースピーカ24と、リア右スピーカ25と、リア左スピーカ26とのそれぞれから出力する音の量の比率を制御する。音量制御回路61は、調整情報に含まれる、ユーザの位置において適切な音場設定で聴こえるように、音源データ取得部59から取得した音源信号データの音の量の比率を制御する回路である。
【0058】
遅延回路62は、センタースピーカ21と、フロント右スピーカ22と、フロント左スピーカ23と、ウーファースピーカ24と、リア右スピーカ25と、リア左スピーカ26とのそれぞれから出力する音の遅延処理を行う。遅延回路62は、調整情報に含まれる、ユーザの位置に基づく伝達時間差を考量して、音源信号データに遅延処理を行う。
【0059】
多段フィルタ63は、音源信号データに、フィルタの畳み込み処理を行う。
【0060】
<増幅器ユニット>
増幅器ユニット70は、信号処理部60から出力された音声信号を増幅する。本実施形態では、増幅器ユニット70は、増幅器71と増幅器72と増幅器73と増幅器74と増幅器75と増幅器76とを含む。増幅器71は、センタースピーカ21に出力する音声信号を増幅する。増幅器72は、フロント右スピーカ22に出力する音声信号を増幅する。増幅器73は、フロント左スピーカ23に出力する音声信号を増幅する。増幅器74は、ウーファースピーカ24に出力する音声信号を増幅する。増幅器75は、リア右スピーカ25に出力する音声信号を増幅する。増幅器76は、リア左スピーカ26に出力する音声信号を増幅する。
【0061】
<音声出力制御装置における情報処理>
次に、
図3を用いて、音声出力システム1における情報処理である音場設定処理について説明する。
図3は、実施形態に係る音声出力制御装置における処理の流れの一例を示すフローチャートである。コンテンツ音声を鑑賞する間、
図3に示すフローチャートの処理が実行されるものとする。
【0062】
図3のフローチャートを実行する際は、マイクロフォンユニット10と携帯端末装置30とがペアリングされているものとする。携帯端末装置30には、音声出力システム1の専用アプリケーションソフトウェアがインストールされているものとする。携帯端末装置30とオーディオコントローラ50とがペアリングされ、専用アプリケーションソフトウェアによって連携されているものとする。ユーザは、コンテンツ音声を鑑賞する空間Rにおいて、マイクロフォンユニット10を耳に装着して収音を開始する。
【0063】
オーディオコントローラ50は、通信制御部51によって、ユーザの耳で聴こえる音声を取得する(ステップS101)。より詳しくは、オーディオコントローラ50は、通信制御部51によって、ペアリングされた携帯端末装置30を介して、マイクロフォンユニット10が収音した収音音声を取得する。オーディオコントローラ50は、ステップS102へ進む。
【0064】
オーディオコントローラ50は、解析部52によって、取得した収音音声を解析する(ステップS102)。より詳しくは、オーディオコントローラ50は、解析部52によって、収音音声が示す、ユーザの耳で実際に聴こえる音声の音圧の変化または遅延の検出に基づいて、ユーザの位置の変化を解析する。オーディオコントローラ50は、ステップS103へ進む。
【0065】
オーディオコントローラ50は、調整部55によって、コンテンツ音声を調整する(ステップS103)。より詳しくは、オーディオコントローラ50は、調整部55によって、解析部52の解析結果に基づいて、スピーカユニット20の各スピーカから出力するコンテンツ音声の音量および遅延量を調整する。オーディオコントローラ50は、ステップS104へ進む。
【0066】
オーディオコントローラ50は、音源データ取得部59によって、信号処理部60を介して、調整したコンテンツ音声を出力する(ステップS104)。より詳しくは、オーディオコントローラ50は、音源データ取得部59によって、取得した音源データと、調整部55の音場設定の調整結果を示す調整情報とを信号処理部60に出力する。信号処理部60によって、音源データ取得部59が取得した音源データと調整情報とに基づいて、音場設定させた音声信号を、増幅器ユニット70を介して、スピーカユニット20へ出力する。オーディオコントローラ50は、ステップS105へ進む。
【0067】
オーディオコントローラ50は、本フローチャートの処理を終了するか否かを判定する(ステップS105)。オーディオコントローラ50は、例えば、ユーザの操作によってコンテンツ音声の鑑賞または音場設定処理を終了する操作が行われた場合、または、マイクロフォンユニット10または携帯端末装置30の電源がOFFされた場合などに、本フローチャートの処理を終了すると判定する。オーディオコントローラ50は、本フローチャートの処理を終了すると判定する場合(ステップS105でYes)、処理を終了する。オーディオコントローラ50は、本フローチャートの処理を終了すると判定しない場合(ステップS105でNo)、ステップS101の処理を再度実行する。
【0068】
<効果>
本実施形態では、マイクロフォンユニット10によって収音された収音音声の信号波形に基づいて、スピーカユニット20の複数のスピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整してコンテンツ音声を出力することができる。本実施形態によれば、ユーザに聴こえるコンテンツ音声をリアルタイムで解析して、常に適切な音場で聴こえるように、調整したコンテンツ音声をスピーカユニット20から出力することができる。本実施形態によれば、ユーザに実際に聴こえるコンテンツ音声を解析して、リアルタイムで音場処理を行うので、より高精度に、コンテンツ音声のサラウンドシステムをユーザ個人に合わせて最適化することができる。本実施形態によれば、従来のサラウンドシステムの音場初期設定時に用いる、三脚付きの測定マイクロフォンを用いた大掛かりなセットアップを行わずに、リアルタイムで音場処理ができる。
【0069】
本実施形態では、マイクロフォンユニット10によって収音された収音音声の信号波形に基づいて、ユーザの位置の変化を解析し、スピーカユニット20の複数のスピーカのそれぞれから出力するコンテンツ音声の音量および遅延量を調整して、調整したコンテンツ音声を出力することができる。本実施形態によれば、ユーザの位置の変化に応じて、常に適切な音場で聴こえるように、調整したコンテンツ音声をスピーカユニット20から出力することができる。
【0070】
本実施形態では、マイクロフォンユニット10によって収音された収音音声の音量が音量閾値以下になった場合、コンテンツ音声の出力を一時停止することができる。本実施形態によれば、ユーザが空間Rから離れたときなどに、コンテンツ音声の出力を一時停止することができる。
【0071】
本実施形態では、マイクロフォンユニット10によって収音された右収音音声または左収音音声のいずれかの音量が音量閾値以下になった場合、コンテンツ音声の出力を一時停止、または、ユーザが耳に装着している、マイクロフォンユニット10と一体型のイヤホンからコンテンツ音声を出力することができる。本実施形態によれば、寝そべってそのまま寝てしまった場合では、コンテンツ音声の出力を一時停止することができる。また、寝そべったままコンテンツ音声を聴取している場合では、塞がれている耳の方ではイヤホンから音声が流れ、開放されている耳の方ではスピーカから音声を聴取することができる。
【0072】
本開示に係る音声出力システムは、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。
【0073】
図示した音声出力システムの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【0074】
音声出力制御装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【0075】
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【0076】
マイクロフォンユニット10は、携帯端末装置30を介さずに、オーディオコントローラ50と直接収音音声を送信してもよい。
【0077】
オーディオコントローラ50の機能は、携帯端末装置30の端末コントローラ40にインストールされた専用アプリケーションの機能として実装されていてもよい。
【符号の説明】
【0078】
1 音声出力システム
10 マイクロフォンユニット
11 右マイクロフォン
12 左マイクロフォン
20 スピーカユニット
21 センタースピーカ
22 フロント右スピーカ
23 フロント左スピーカ
24 ウーファースピーカ
25 リア右スピーカ
26 リア左スピーカ
30 携帯端末装置
40 端末コントローラ
41 通信制御部
50 オーディオコントローラ(音声出力制御装置)
51 通信制御部(収音音声取得部)
52 解析部
55 調整部
59 音源データ取得部
60 信号処理部
61 音量制御回路
62 遅延回路
63 多段フィルタ
70 増幅器ユニット
71 増幅器
72 増幅器
73 増幅器
74 増幅器
75 増幅器
76 増幅器