(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について図面を参照して説明する。
図1は、実施形態に係る音場制御装置40aを含むシステム1の概略構成を示すブロック図である。
この図に示されるように、システム1は、再生信号を生成する再生部10と、モニタ20と、撮像部30と、再生信号に音場を付与する音場制御装置40と、音場が付与された再生信号を音響変換して出力するスピーカ50とを含んでいる。
【0009】
再生部10は、CD(compact disk)や、DVD(digital versatile disk)、BD(blu-ray disk)などの各種媒体を再生することによって、または、放送電波を受信することによって、再生信号を生成する。なお、再生信号には音声信号のほか、再生媒体によっては映像信号が含まれる場合がある。
モニタ20は、液晶表示装置やプラズマディスプレイなどであり、再生信号に含まれる映像信号に基づいた映像を表示する。
撮像部30は、レンズやイメージセンサを含むカメラであり、視聴者を含む周辺環境を撮影するとともに、撮影した画像を音場制御装置40に供給する。
【0010】
音場制御装置40は、再生信号に含まれる音声信号を、複数のチャンネルのオーディオ信号にデコードし、音場を付与して出力するものであり、解析部41、音場決定部42、音場付与部43および増幅部44を含んでいる。
このうち、解析部41は、撮像部30による画像に対して、後述する評価要素毎に解析を行う。なお、解析部41は、後述するようにネットワークに接続されたり、リアルタイムクロックから時間情報を取得したりする場合がある。
図1において解析部41に向かう始点のない矢印は、このような場合の情報の経路を示している。
【0011】
音場決定部42は、評価要素毎の解析から視聴状況を判別して、付与すべき音場に対応した信号処理の内容を決定して、音場付与部43に設定する。音場付与部43は、音場決定部42で設定された内容の信号処理を、オーディオ信号の各チャンネルにそれぞれ施す。
なお、音場に対応した信号処理の具体的な内容については、本実施形態では、広がり感および反響強度を段階的にそれぞれ強弱させるものとする。ここで、広がり感については、プレゼンス音場、サラウンド音場を広げることで強めることができ、また、反響強度については、後部残響音のレベルを大きく、減衰時間を長くし、直接音から後部残響音が生じるまでの時間を長くすることで、強めることができる。
もちろん、この処理内容だけに限定する趣旨ではなく、他の信号処理に関するパラメータ等を変更しても良い。また、音場決定部42および音場付与部43は、例えばDSP(Digital Signal Processor)機能を持ったマイコンによって実現される。
増幅部44は、チャンネル毎のアンプの集合体であり、信号処理が施されたオーディオ信号をチャンネル毎に増幅して、スピーカ50に出力する。
【0012】
図2は、モニタ20と撮像部30とスピーカ50との設置状態の一例を示す図であり、
図3は、撮像部30の撮像方向について、視聴者との位置関係で平面視した状態で示した図である。これらの図に示されるように、撮像部30は、例えばモニタ20の上部において、撮像部30におけるレンズの光軸がモニタ20の表示面に対しほぼ垂直方向であって、床面に対し水平方向に、視聴者L側に向くように設置されている。なお、撮像部30が撮影する画角θは、視聴者Lが含まれるような角度に設定されている。
【0013】
モニタ30の表示面のほぼ中心下部には、センター(C)チャンネルに対応したスピーカ50(C)が設置されている。また、視聴者Lからみて、モニタ30の左側にフロントレフト(FL)チャンネルに対応したスピーカ50(FL)が、同右側にフロントライト(FR)チャンネルに対応したスピーカ50(FR)が、それぞれ設置されている。さらに、視聴者Lからみて、後方左側にサラウンドレフト(SL)のチャンネルに対応したスピーカ50(SL)が、後方右側にサラウンドライト(SR)のチャンネルに対応したスピーカ50(SR)が、それぞれ設置されている。
【0014】
次に、音場制御装置40の動作について説明する。
図4は、音場制御装置40で実行される音場制御処理の動作を示すフローチャートである。
この音場制御処理は、例えば音場制御装置40において電源が投入されたとき、または、当該制御処理を開始させるような操作がなされたとき、当該音場制御装置40で実行される。
まず、音場制御装置40において解析部41は、撮像部30に対して画像を要求し、当該要求を受けて撮像部30は、視聴者を含む周辺環境を撮影するとともに、撮影した画像を解析部41に供給する(ステップSa11)。
【0015】
次に、解析部41は、当該画像を評価要素毎に解析する(ステップSa12)。
図3に示されるように視聴者Lがモニタ20(撮像部30)から見て左側に座っているときに撮像部30が撮影した画像は、例えば
図5に示されるようなものとなる。すなわち、撮像部30からみると、視聴者Lがソファーの左側に座わり、かつ、モニタ20などが設置されたリスニングルーム(部屋)の壁面、天井などが写り込んだ画像となる。
【0016】
このような画像を基に、解析部41は、
図6に示されるような各分類について、評価要素毎にしたがった解析を行う。
詳細には、解析部41は、第1に、撮像部30による画像から視聴者の人数、距離を解析し、これらの結果から視聴者の密集度を判別する。
まず、視聴者の人数については、例えば撮像部30による画像に対し顔認識アルゴリズムを適用して検出された顔画像の個数から人数が解析される。また、撮像部30から視聴者までの距離については、例えば
図7に示されるように、顔認識アルゴリズムで検出された顔の幅Wa、Wb(ドット数)から解析される。すなわち、顔の幅には、年齢にかかわらず大きな差がないので、標準的な顔の幅と距離との関係を予めテーブル化して記憶する一方で、検出された顔の幅に対応する距離を当該テーブルから読み出すことで、撮像部30から視聴者までの距離を求めることができる。もちろんテーブルではなく、検出された顔の幅を、計算式に代入して算出する方法でも良い。
視聴者が複数人数であることが検出されたときには、撮像部30に向かって距離が小さい方の値で代表値として採用する。また、上記顔認識において年齢判別アルゴリズムを適用して、撮影された人物の年齢を推定し、顔の幅が狭い年少者であれば、顔の幅で求めた距離を近い方向(手前側)に補正しても良い。
【0017】
そして、解析部41は、視聴者の人数と距離との関係から、
図11に示されるようなテーブルを参照して、視聴者の密集度を、疎、中、密、高密度の4段階のいずれかで判別する。例えば、視聴者の人数が3または4名であって、撮像部30に最も近い視聴者の距離が2メートル以上4メートル未満である場合、解析部41は、視聴者の密集度を「中」と判別する。
【0018】
解析部41は、第2に、撮像部30による画像から、モニタ20が設置されたリスニングルーム(部屋)について、床の材質、天井の高さ、壁の広さ(部屋幅)、カーテン、色調、家具を解析する。
まず、部屋における床の材質については、
図5において、例えば画像の下部領域Aを解析対象として定めて、当該下部領域Aと、代表的な画像テキスチャ(
図8参照)とのパターンマッチングによって判別される。なお、本実施形態においては、床の材質については、大理石、フローリング(木質系の素材)、畳、絨毯を候補とし、いずれにも該当しなければ、不明とする。
【0019】
次に、天井の高さについては、次のように解析される。すなわち、
図5において画像の上部領域Bを解析対象として定めて、当該上部領域Bにおいて壁面と天井との境界線や、天井の設置物などを認識できるか否かで判別される。
例えば、
図9(a)において、遠近に伴って画像の左上端から右下方向に向かう斜め線L1および画像の右上端から左下方向に向かう斜め線L2は、それぞれ天井と壁面との境界線である。また、天井に設置物、例えば室内灯Laがあれば、画像上部領域Bにおいて他の部分の模様、色彩と異なって認識される。
ここで、天井と壁面との境界線や天井の設置物が認識される場合、天井は比較的低いと判別できる。一方、
図9(b)に示されるように、天井と壁面との境界線や天井の設置物が認識されない場合、天井は比較的高いと判別できる。
【0020】
天井については低い/高い、のような相対的な判別に限られず、次のようにして高さを求めても良い。すなわち、
図5において、視聴者に対応する像領域の最下部位置を通過する仮想的な水平方向の直線H1と、床面および壁面との境界線L3との交点P1を求め、当該交点P1を起点として垂直方向に向かう仮想的な直線V1と境界線L1との交点P2を求める。視聴者に対応する像領域の最下部位置と最上部位置との距離S(視聴者Lがソファーに着座していれば、着座高)を既知として求めておけば、交点P1、P2間の距離である天井の高さについては、距離Sから換算して求めることができる。なお、天井の高さについては、閾値(例えば2.5メートル)以下であれば、天井は比較的低いと判別される。
【0021】
壁の広さ(部屋幅)については、画像において横壁が認識されるか否かで判別される。すなわち、
図5において床面と横壁との境界線L3、L4が認識できるか否かで判別できる。左右のどちらにも横壁が認識される場合、部屋幅が狭いと判別される。それ以外の場合、部屋幅が普通であると判別される。
なお、部屋幅については、狭い、普通の相対的な判別に限られず、次のようにして幅を求めても良い。
部屋幅が狭いと、
図9(b)において、境界線L3、L4における画像手前側の開始点Q3、Q4が画像下端側に現れるとともに、部屋幅が狭くなるにつれて点Q3、Q4間の距離R1が短くなる。一方、部屋幅が広いと、開始点Q3、Q4が画像左右端側に現れるとともに、部屋幅が広くなるにつれて、画像下端から開始点Q3、Q4までの距離R2が長くなる。ただし、これらの距離R1、R2は、撮像部30が設置される高さによっても変わる。このため、例えば撮像部30の設置高、および、距離R1またはR2に対応して部屋幅を記憶する二次元テーブルを作成しておけば、撮像部30の設置高、および、距離R1(またはR2)に対応して部屋幅を読み出すことで求めることができる。
【0022】
カーテンについては、有無に加えて、有であれば開閉状態が解析される。詳細には、撮像部30による画像のうち、壁面に相当する領域において他の部分と模様、色彩などが異なっている部分が連続的に所定の範囲以上広がっているか否で解析される。あれば、当該部分は、
図10(a)に示されるように閉状態のカーテンであるか、または、同図(b)に示されるように窓部分であって開状態のカーテンである、と判別される。閉状態のカーテンであるか、開状態のカーテンであるかについては、例えば当該部分をパターンマッチングによって布状の繊維であるかガラスであるかを認識して、繊維であれば、カーテンが閉状態であると判別され、ガラスであれば、カーテンが開状態であると判別される。なお、当該部分がなければ、カーテンの前提となる窓が存在しないと判別される。
【0023】
部屋の色彩(濃淡)については、画像における全部または一部の特定領域における画素値を平均化して判別される。ここで、部屋の色彩を判別しているのは、リスナーに対し膨張/収縮という心理的な効果を与えるので、この効果とは逆方向の音場を付与して、色彩による心理的な効果を相殺させるためである。本実施形態にあっては、暗くなるにつれて画素値が小さくなるのであれば、この平均値が閾値以下であるときに、暗いために収縮感(圧迫感)が働く、と判別される。
【0024】
家具についてはソファーを対象とし、画像において顔認識により検出された視聴者の周囲を探索することによって判別される。詳細には、視聴者の周囲において、同一のテクスチャが比較的広い面積にわたって連続する物体が存在する場合に、当該物体が、標準的な人物の面積と比較して例えば3倍以上であれば、当該物体が家具(ソファー)であると判別される。家具であると判別された物体が標準的な人物の面積比で5倍以上である場合、当該家具は大きいと判別され、それ以外の場合には、当該家具は通常サイズであると判別される。さらに、大きいと判別された家具の材質について、画像の該当部分のテクスチャと予め用意された画像テクスチャとのパターンマッチングによって判別される。本実施形態では、大きい家具についての材質については、革、ファブリック、または、それ以外(不明)のいずれかで判別される。
【0025】
現在日時が暑い季節であるか否かが解析部41によって判別される。ここで、季節を判別しているのは、気温が高いほど、暑苦しくなり、解放感が求められる傾向にあるからである。
季節は国(場所)によって異なるが、次のようにすれば、音場制御装置40が設置される国において暑い季節であるかを判別することができる。すなわち、音場制御装置40の仕向地の情報や、ネットワーク等から取得される場所情報、GPS(Global Positioning System)などの測位機能によって取得される位置情報などによって、音場制御装置40が設置された国を特定するとともに、特定した国と、リアルタイムクロックから出力される日時情報や、タイムサーバからネットワークを介して取得した時間情報とを照合することによって暑い季節であるか否かを判別することができる。
【0026】
解析部41は、このように要素毎の評価・判別を行うと、その結果を音場決定部42に通知する。この結果を受領した音場決定部42は、付与すべき音場の内容を次のようにして決定する(ステップSa13)。
すなわち、音場決定部42は、第1に、視聴者の密集度が高くなるほど、広がり感を強めるように音場を決定する。本実施形態では、視聴者の密集度を
図11に示したように4段階で判別しているので、例えば広がり感についても、密集度に応じて4段階で決定される。
【0027】
音場決定部42は、第2に、
図12に示されるように判別された部屋の床の材質に応じて反響強度を決定する。具体的には、床の材質が大理石であれば、ほとんど吸音することなく、ほぼ全反射することになるので、音場決定部42は、当該反射を相殺すべく、反響強度を弱めるように決定する。また、床の材質がフローリングであれば、大理石と比較ではないものの、反射成分が多く発生するので、音場決定部42は、当該反射を相殺すべく、反響強度を若干弱めるように決定する。一方、材質が畳であれば、ある程度吸音されるので、音場決定部42は、反響強度をやや強めるように決定する。また、床の材質が絨毯であれば、吸音の度合いが高いので、音場決定部42は、反響強度を強めるように決定する。
なお、音場決定部42は、床の材質が不明であると判別されたとき、床の材質に関しては反響強度を変更しない。ただし、他の要因(天井、カーテンなど)によって反響強度が変更される場合もあり得る。
【0028】
音場決定部42は、第3に、天井が低いと判別された場合、広がり感を強めるように決定し、第4に、部屋幅が狭いと判別された場合、広がり感を強めるように決定し、第5に、カーテンが閉じられた状態であると判別された場合、反響度を強めるように決定し、第6に、部屋の色調が暗いと判別された場合、広がり感を強めるように決定する。
また、音場決定部42は、第7に、大きな家具が配置していると判別された場合、反響強度を強めるように決定する。この場合に、大きな家具(ソファー)が、革やファブリックなどの吸音素材であるとき、反響強度をさらに強めるように決定する。音場決定部42は、第8に、暑い季節であると判別された場合、広がり感を強めるように決定する。
なお、音場決定部42は、2以上の異なる評価要素で互いに矛盾する方向に決定したとき、最終的には何も変更しないようにしても良い。例えば、床の材質が大理石であるために反響強度を弱めるように決定する一方で、 家具が大きく、かつ、吸音素材であるために反響強度を強めるように決定する場合、反響強度については、当初の設定から変更しないようにしても良い。
このような音場の決定の内容をまとめると、
図13に示される通りとなる。
【0029】
付与すべき音場の内容を決定した音場決定部42は、最終的にその決定内容を音場付与部43に設定する(ステップSa14)。これにより、再生部10による再生信号には、視聴者の周辺環境に対して適切な音場が付与されて、スピーカ50から放音されることになる。
【0030】
本実施形態によれば、周辺環境に応じて、より高い精度で音場を制御することができるのみならず、音場の設定制御にあたって、マイクロフォンの設置などが不要であり、また、基本的には画像解析処理などで済むので、制御に要する時間を短縮化することが可能になる。
【0031】
<応用例・変形例>
本発明は、上述した実施形態に限定されるものではなく、例えば次に述べるような各種の変形が可能である。なお、次に述べる応用・変形の態様は、任意に選択された一または複数を適宜に組み合わせることもできる。
【0032】
<モード設定>
音場については、教会、ホールなどのような場所や、シネマ、ミュージックなどのようにソース、シーンに対応したモードが予め複数用意されている場合に、いずれかのモードの音場が設定されているとき、視聴者の周辺環境に合わせた音場を付与しない構成にしても良いし、選択されたモードに対し、予め設定された制御方針にしたがって音場を付与する(しない)ように制御する構成としても良い。また、設定された音場、モードと視聴周辺環境を比較し、設定された音場を実現するような音場補正を行うような構成としても良い。
【0033】
例えば、視聴者の密集度が「高」であるとき、実施形態によれば、
図11および
図13にしたがって広がり感を強めるように音場が制御されるが、
図14に示されるように、目標音場として広がり感が強い「ホール1」というモードに設定されていた場合に、制御方針として「現状設定を優先」が選択されていれば、視聴者の周辺環境に依らずに、すでに設定されたモードの音場を変更しないような構成とする。または、制御方針として「変化の明確化」が選択されていれば、視聴者の周辺環境に合わせて広がり感を、さらに強めるように制御する構成とする。あるいは、特に図示しないが「周辺環境を優先」が選択されていれば、すでに設定されたモードの音場を無視して、視聴者の周辺環境に合わせて音場を制御する構成としても良い。
また、例えば、設定された音場が「反射強度が強い」ものであり、視聴周辺環境の床が「大理石」であった場合は、音場決定部42は、当該反射を相殺する必要は無く、反響強度として部屋の環境をそのまま利用できるように、反射強度を中程度に決定するようにしても良い。
【0034】
<スピーカアレイ装置への適用>
上述した実施形態では、視聴者を囲むように配置したスピーカ50によって音場を付与したが、 スピーカアレイ装置を用いて音場を付与する構成にも適用可能である。
スピーカアレイ装置では、線または面状に配置する複数のスピーカから同じオーディオ信号に係る音が、空間上の焦点に同時に到達するように、少しずつ異なる遅延時間を与えられて出力される。これにより、焦点周辺の音響エネルギーは同相加算により強められるので、焦点方向に強い指向性を有する音のビームがチャンネル毎に作り出される。
【0035】
図15は、スピーカアレイ装置の設置状況を示す平面図である。この図に示されるように、スピーカアレイ装置60は、モニタ20の表示面とほぼ平行方向に、スピーカ66の配列面がリスナーLに対向するように配置され、各チャンネルに係る音のビームをリスニングルームの壁面に反射させて視聴者に到達させる。このため、視聴者からみれば、音像が壁面方向で定位しているかのように知覚される。詳細には同図に示されるように、壁面における反射点461、463、464、465から、あたかもFL、FR、SL、SRチャンネルの再生音が発生しているかのように知覚されるので、良好なサラウンド効果を得ることができる。なお、Cチャンネルの再生音はスピーカアレイ装置60のほぼ中心で定位する。
【0036】
このようなスピーカアレイによって音場を付与する場合に、視聴者の存在する方向に、音のビームが向かうように指向性を制御することによって視聴者が聴き取り易い環境を提供することができる。ここで、複数の視聴者が密集している場合に、リヤ音場のビームを、視聴者を避けた方向に制御して、リヤ音場の明瞭度を向上させることができる。
また、横壁や天井の位置を検出することによって視聴者に向かう反射地点を特定し、当該反射地点に音のビームが向かうように制御することができる。
さらに、スピーカアレイに適用する場合、広がり感については、FL、FRチャンネルの開度によって制御するようにしても良い。