特許 7472091 オンライン通話管理装置及びオンライン通話管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-12

(45)【発行日】2024-04-22

(54)【発明の名称】オンライン通話管理装置及びオンライン通話管理プログラム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240415BHJP

   G10K 15/00 20060101ALI20240415BHJP

   G10K 15/02 20060101ALI20240415BHJP

   G10K 15/12 20060101ALI20240415BHJP

   H04M 3/56 20060101ALI20240415BHJP

【ＦＩ】

H04S7/00 320

G10K15/00 L

G10K15/02

G10K15/12

H04M3/56 Z

【請求項の数】 22

(21)【出願番号】P 2021151457

(22)【出願日】2021-09-16

(65)【公開番号】P2023043698

(43)【公開日】2023-03-29

【審査請求日】2023-03-15

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】江波戸 明彦

(72)【発明者】

【氏名】西村 修

(72)【発明者】

【氏名】蛭間 貴博

(72)【発明者】

【氏名】穂坂 倫佳

(72)【発明者】

【氏名】後藤 達彦

【審査官】中嶋 樹理

(56)【参考文献】

【文献】特開２００６－２７９４９２（ＪＰ，Ａ）

【文献】米国特許第５７５７９２７（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

Ｇ１０Ｋ １５／００

Ｇ１０Ｋ １５／０２

Ｇ１０Ｋ １５／１２

Ｈ０４Ｍ ３／５６

(57)【特許請求の範囲】

【請求項1】

再生機器を介して音像を再生する少なくとも１つの端末から前記再生機器の音響の再生環境に係る情報である再生環境情報をネットワーク経由で取得する第１の取得部と、
前記端末のユーザに対する前記音像の定位方向の情報である方位情報を取得する第２の取得部と、
前記再生環境情報と前記方位情報とに基づいて前記端末毎の音像の再生のための制御をする制御部と、
を具備するオンライン通話管理装置。

【請求項2】

前記制御部は、
前記端末において前記再生環境情報と前記方位情報とに基づく音像フィルタ係数が畳み込まれた音像信号を前記端末から受信し、
受信した音像信号をそれぞれの端末向けの音像信号に分離し、
同一の端末向けの音像信号を重ね合わせ、
重ね合わせた前記音像信号を対応する端末に送信する、
請求項１に記載のオンライン通話管理装置。

【請求項3】

前記制御部は、
前記再生環境情報と前記方位情報とに基づいて前記端末毎の前記音像の再生のための音像フィルタ係数を決定し、
前記端末から送信された音声信号から、決定した前記端末毎の音像フィルタ係数に基づいて前記端末毎の音像信号を生成し、
生成した前記端末毎の音像信号を対応する端末に送信する、
請求項１に記載のオンライン通話管理装置。

【請求項4】

前記端末は複数であり、
複数の前記端末のうちの１つはホストの端末に設定され、
前記第１の取得部は、それぞれの前記端末についての前記再生環境情報をそれぞれの前記端末から取得し、
前記第２の取得部は、それぞれの前記端末についての前記方位情報を前記ホストの端末から一括して取得する、
請求項１に記載のオンライン通話管理装置。

【請求項5】

前記第１の取得部は、それぞれの前記端末に前記再生環境情報を入力させるための第１の入力画面を表示させ、前記第１の入力画面における入力に応じてそれぞれの前記端末からそれぞれの前記端末についての前記再生環境情報を取得し、
前記第２の取得部は、前記ホストの端末にさらにそれぞれの前記端末についての前記方位情報を入力させるための第２の入力画面を表示させ、前記第２の入力画面における入力に応じて前記ホストの端末からそれぞれの前記端末についての前記方位情報を取得する、
請求項４に記載のオンライン通話管理装置。

【請求項6】

前記端末は複数であり、
前記第１の取得部は、それぞれの前記端末についての前記再生環境情報をそれぞれの前記端末から取得し、
前記第２の取得部は、それぞれの前記端末についての前記方位情報をそれぞれの前記端末から取得する、
請求項１に記載のオンライン通話管理装置。

【請求項7】

前記第１の取得部は、それぞれの前記端末に前記再生環境情報を入力させるための第１の入力画面を表示させ、前記第１の入力画面における入力に応じてそれぞれの前記端末からそれぞれの前記端末についての前記再生環境情報を取得し、
前記第２の取得部は、それぞれの前記端末にさらにそれぞれの前記端末についての前記方位情報を入力させるための第２の入力画面を表示させ、前記第２の入力画面における入力に応じてそれぞれの前記端末からそれぞれの前記端末についての前記方位情報を取得する、
請求項６に記載のオンライン通話管理装置。

【請求項8】

前記第１の入力画面は、前記再生機器のリストを含む、請求項５又は７に記載のオンライン通話管理装置。

【請求項9】

前記第２の入力画面は、前記音像としてそれぞれのユーザから発話される音声を定位させる方位を入力する入力欄を含む、請求項５又は７に記載のオンライン通話管理装置。

【請求項10】

前記第２の入力画面は、会議室を模した配置図におけるそれぞれの席にマーカを配置することで前記音像としてそれぞれのユーザから発話される音声を定位させる方位を入力する入力画面を含む、請求項５又は７に記載のオンライン通話管理装置。

【請求項11】

前記第２の入力画面は、前記マーカをドラッグすることによって前記席にマーカを配置するように構成されている、請求項１０に記載のオンライン通話管理装置。

【請求項12】

前記第２の入力画面は、前記端末のユーザの位置を中心とした円周上に他のユーザの位置を指定することで前記音像としてそれぞれのユーザから発話される音声を定位させる方位を入力する入力画面を含む、請求項５又は７に記載のオンライン通話管理装置。

【請求項13】

前記端末のユーザの前記音像の活用に関わる情報である活用情報を取得する第３の取得部をさらに具備し、
前記制御部は、前記活用情報にさらに基づいて前記端末毎の音像の再生のための制御をする請求項１乃至１２の何れか１項に記載のオンライン通話管理装置。

【請求項14】

前記第３の取得部は、それぞれの前記端末に前記活用情報を入力させるための第３の入力画面を表示させ、前記第３の入力画面における入力に応じてそれぞれの前記端末からそれぞれの前記端末についての前記活用情報を取得する請求項１３に記載のオンライン通話管理装置。

【請求項15】

前記活用情報は、それぞれのユーザに割り当てられる属性の情報を含み、
前記制御部は、前記属性の情報にさらに応じて前記端末毎の音像の再生のための制御をする請求項１４に記載のオンライン通話管理装置。

【請求項16】

前記活用情報は、前記端末のユーザ毎のグループの設定を含み、
前記制御部は、前記グループの設定にさらに応じて前記端末毎の音像の再生のための制御をする請求項１４又は１５に記載のオンライン通話管理装置。

【請求項17】

前記第３の入力画面は、前記活用情報に基づく前記音像の再生の設定を受け付けるための第１の入力部と、前記活用情報に基づく前記音像の再生の開始の指示を受け付けるための第２の入力部と、前記活用情報に基づく前記音像の再生の一時停止又は再開の指示を受け付けるための第３の入力部と、前記活用情報に基づく前記音像の再生の停止の指示を受け付けるための第４の入力部とを含む請求項１４乃至１６の何れか１項に記載のオンライン通話管理装置。

【請求項18】

前記活用情報は、前記音像の利用が想定される仮想的な環境の情報を含み、
前記制御部は、前記仮想的な環境の情報に応じた残響を前記端末毎の音像に付加する請求項１３乃至１７の何れか１項に記載のオンライン通話管理装置。

【請求項19】

前記制御部は、前記仮想的な環境に対応した実際の環境において予め計測された残響のテーブルデータに基づいて前記残響を前記端末毎の音像に付加する請求項１８に記載のオンライン通話管理装置。

【請求項20】

前記活用情報は、前記音像が再生される仮想的な音源と前記端末のユーザとの距離の情報を含み、
前記制御部は、前記距離に応じたレベル減衰を前記端末毎の音像に付加する請求項１３乃至１９の何れか１項に記載のオンライン通話管理装置。

【請求項21】

前記制御部は、無響室において予め測定されたレベル減衰のテーブルデータに基づいて前記レベル減衰を前記端末毎の音像に付加する請求項２０に記載のオンライン通話管理装置。

【請求項22】

再生機器を介して音像を再生する少なくとも１つの端末からネットワーク経由で、前記再生機器の音響の再生環境に係る情報である再生環境情報を取得することと、
前記端末のユーザに対する前記音像の定位方向の情報である方位情報を取得することと、
前記再生環境情報と前記方位情報とに基づいて前記端末毎の音像の再生のための制御をすることと、
をコンピュータに実行させるためのオンライン通話管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、オンライン通話管理装置及びオンライン通話管理プログラムに関する。

【背景技術】

【0002】

ユーザの前方に配置された２チャンネルのスピーカ、ユーザの耳部に装着されたイヤホン、ユーザの頭部に装着されたヘッドホン等の各種の音響の再生環境の異なる再生機器を利用してユーザの頭部の周囲の空間に音像を定位させる音像定位技術が知られている。音像定位技術により、本来の再生機器がある方向とは異なる方向から音が聞こえているかのようにユーザに錯覚させることができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－７４３８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、音像定位技術をオンライン通話に利用しようとする試みがなされている。例えば、オンライン会議の場においては、複数の発話者の音声が集中してしまって聞き分けることが困難な場合がある。これに対し、ユーザの頭部の周囲の空間の異なる方向にそれぞれの発話者の音像を定位させることで、ユーザは、それぞれの発話者の音声を聞き分けることができる。

【0005】

ここで、それぞれのユーザの頭部の周囲の空間に音像を定位させるためには、それぞれのユーザの再生機器の音響の再生環境の情報が既知である必要がある。ユーザ毎の音声再生機器の音響の再生環境が異なる場合、あるユーザに対しては適切に音像が定位され、別のユーザに対しては適切に音像が定位されないといったことが起こり得る。

【0006】

実施形態は、オンライン通話の場においてユーザ毎の音声再生機器の音響の再生環境が異なる場合であっても、ユーザ毎に適切に定位された音像が再生されるオンライン通話管理装置及びオンライン通話管理プログラムを提供する。

【課題を解決するための手段】

【0007】

実施形態のオンライン通話管理装置は、第１の取得部と、第２の取得部と、制御部とを有する。第１の取得部は、再生機器を介して音像を再生する少なくとも１つの端末から再生機器の音響の再生環境に係る情報である再生環境情報をネットワーク経由で取得する。第２の取得部は、端末のユーザに対する音像の定位方向の情報である方位情報を取得する。制御部は、再生環境情報と方位情報とに基づいて端末毎の音像の再生のための制御をする。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係るオンライン通話管理装置を備えたオンライン通話システムの一例の構成を示す図である。

【図2】図２は、端末の一例の構成を示す図である。

【図3】図３は、ホストの端末のオンライン通話時の一例の動作を示すフローチャートである。

【図4】図４は、ゲストの端末のオンライン通話時の一例の動作を示すフローチャートである。

【図5】図５は、再生環境情報及び方位情報の入力画面の一例を示す図である。

【図6】図６は、再生環境情報の入力画面の一例を示す図である。

【図7A】図７Ａは、複数のユーザの音声が集中して聴こえてしまっている状態の模式図である。

【図7B】図７Ｂは、正しく音像定位がされている状態の模式図である。

【図8】図８は、第２の実施形態に係るオンライン通話管理装置を備えたオンライン通話システムの一例の構成を示す図である。

【図9】図９は、サーバの一例の構成を示す図である。

【図10】図１０は、サーバのオンライン通話時の第１の例の動作を示すフローチャートである。

【図11】図１１は、サーバのオンライン通話時の第２の例の動作を示すフローチャートである。

【図12】図１２は、方位情報の入力画面の別の例を示す図である。

【図13】図１３は、方位情報の入力画面の別の例を示す図である。

【図14A】図１４Ａは、方位情報の入力画面の別の例を示す図である。

【図14B】図１４Ｂは、方位情報の入力画面の別の例を示す図である。

【図15】図１５は、方位情報の入力画面の別の例を示す図である。

【図16】図１６は、方位情報の入力画面の別の例を示す図である。

【図17】図１７は、方位情報の入力画面の別の例を示す図である。

【図18】図１８は、第２の実施形態の変形例２において、オンライン講演の際にそれぞれの端末に表示される表示画面の例である。

【図19】図１９は、発表者補助ボタンが選択された場合に端末に表示される画面の一例を示す図である。

【図20】図２０は、聴講者間議論ボタンが選択された場合に端末に表示される画面の一例を示す図である。

【図21】図２１は、第３の実施形態におけるサーバの一例の構成を示す図である。

【図22A】図２２Ａは、残響データに関わる活用情報を入力するための画面の例である。

【図22B】図２２Ｂは、残響データに関わる活用情報を入力するための画面の例である。

【図22C】図２２Ｃは、残響データに関わる活用情報を入力するための画面の例である。

【図22D】図２２Ｄは、残響データに関わる活用情報を入力するための画面の例である。

【発明を実施するための形態】

【0009】

以下、図面を参照して実施形態について説明する。
［第１の実施形態］
図１は、第１の実施形態に係るオンライン通話管理装置を備えたオンライン通話システムの一例の構成を示す図である。図１に示すオンライン通話システムでは、複数の端末、図１では４台の端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３が互いにネットワークＮＷを介して通信できるように接続され、それぞれの端末のユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３は、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３を介して通話を実施する。第１の実施形態では、端末ＨＴがオンライン通話を主催するホストのユーザＨＵが操作するホストの端末であり、端末ＧＴ１、ＧＴ２、ＧＴ３はオンライン通話にゲストとして参加するゲストのユーザＧＵ１、ＧＵ２、ＧＵ３がそれぞれ操作するゲストの端末である。端末ＨＴは、自身を含む各端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３を用いた通話の際のそれぞれのユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３の頭部の周囲の空間に音像を定位させるための制御を一括して行う。ここで、図１では、端末の数は４台であるが、これに限定されない。端末の数は、２台以上であればよい。端末が２台の場合、それらの２台の端末は、オンライン通話に用いられ得る。または、端末が２台の場合、１つの端末は音声の再生をせずに、他の１つの端末のユーザの頭部の周囲の空間に音像を定位させるための制御をするために用いられ得る。

【0010】

図２は、図１で示した端末の一例の構成を示す図である。以下では、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３は、基本的には同様の要素を有しているものとして説明がされる。図２に示すように、端末は、プロセッサ１と、メモリ２と、ストレージ３と、音声再生機器４と、音声検出機器５と、表示装置６と、入力装置７と、通信装置８とを有している。端末は、例えばパーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン等の通信できる各種の端末が想定される。なお、それぞれの端末は、必ずしも図２で示した要素と同一の要素を有している必要はない。それぞれの端末は、図２で示した一部の要素を有していなくてもよいし、図２で示した以外の要素を有していてもよい。

【0011】

プロセッサ１は、端末の全体的な動作を制御するプロセッサである。例えばホストの端末ＨＴのプロセッサ１は、例えばストレージ３に記憶されているプログラムを実行することによって、第１の取得部１１と、第２の取得部１２と、制御部１３として動作する。第１の実施形態では、ゲストの端末ＧＴ１、ＧＴ２、ＧＴ３のプロセッサ１は、必ずしも第１の取得部１１と、第２の取得部１２と、制御部１３として動作できる必要はない。プロセッサ１は、例えばＣＰＵである。プロセッサ１は、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等であってもよい。プロセッサ１は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

【0012】

第１の取得部１１は、オンライン通話に参加している端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３のそれぞれにおいて入力された再生環境情報を取得する。再生環境情報は、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３のそれぞれで使用される音声再生機器４の音響の再生環境に係る情報である。音響の再生環境に係る情報は、音声再生機器４として何が使用されるかを示す情報を含む。音声再生機器４として何が使用されるかを示す情報は、音声再生機器４として例えばステレオスピーカ、ヘッドホン、イヤホンの何れが使用されるかを示す情報である。また、音声再生機器４としてステレオスピーカが使用される場合、音響の再生環境に係る情報は、さらに例えば左右のスピーカの間隔を示す情報を含む。

【0013】

第２の取得部１２は、オンライン通話に参加している端末ＨＴにおいて入力された方位情報を取得する。方位情報は、端末ＨＴのユーザＨＵを含むそれぞれの端末のユーザに対する音像の定位方向の情報である。

【0014】

制御部１３は、再生環境情報及び方位情報に基づいて端末ＨＴを含むそれぞれの端末における音像の再生のための制御をする。例えば、制御部１３は、再生環境情報及び方位情報に基づいて、それぞれの端末に適した音像フィルタ係数を生成し、生成した音像フィルタ係数をそれぞれの端末に送信する。音像フィルタ係数は、音声再生機器４に入力される左右の音声信号に畳み込まれる係数であり、例えば、音声再生機器４とユーザの頭部（両耳）との間の音声の伝達特性である頭部伝達関数Ｃと、方位情報に応じて特定される仮想音源とユーザの頭部（両耳）との間の音声の伝達特性である頭部伝達関数ｄとに基づいて生成される。例えば、ストレージ３には、再生環境情報毎の頭部伝達関数Ｃのテーブル及び方位情報毎の頭部伝達関数ｄのテーブルが記憶されている。制御部１３は、第１の取得部１１で取得されたそれぞれの端末の再生環境情報及び第２の取得部１２で取得されたそれぞれの端末の方位情報に応じて頭部伝達関数Ｃ及び頭部伝達関数ｄを取得し、端末毎の音像フィルタ係数を生成する。

【0015】

メモリ２は、ＲＯＭ及びＲＡＭを含む。ＲＯＭは、不揮発性のメモリである。ＲＯＭは、端末の起動プログラム等を記憶している。ＲＡＭは、揮発性のメモリである。ＲＡＭは、例えばプロセッサ１における処理の際の作業メモリとして用いられる。

【0016】

ストレージ３は、例えばハードディスクドライブ、ソリッドステートドライブといったストレージである。ストレージ３は、オンライン通話管理プログラム３１等のプロセッサ１によって実行される各種のプログラムを記憶している。オンライン通話管理プログラム３１は、例えば所定のダウンロードサーバからダウンロードされるアプリケーションプログラムであり、オンライン通話システムにおけるオンライン通話に関わる各種の処理を実行するためのプログラムである。ここで、ゲストの端末ＧＴ１、ＧＴ２、ＧＴ３のストレージ３は、オンライン通話管理プログラム３１を記憶していなくてもよい。

【0017】

音声再生機器４は、音声を再生する機器である。実施形態における音声再生機器４は、ステレオ音声を再生できる機器であって、例えばステレオスピーカ、ヘッドホン、イヤホンを含み得る。音声信号に前述の音像フィルタ係数が畳み込まれた音声信号である音像信号が音声再生機器４によって再生されることにより、ユーザの頭部の周囲の空間に音像が定位される。実施形態では、それぞれの端末の音声再生機器４は、同一であってもよいし、異なっていてもよい。また、音声再生機器４は、端末に内蔵されている機器であってもよいし、端末と通信できる外部の機器であってもよい。

【0018】

音声検出機器５は、端末を操作するユーザの音声の入力を検出する。音声検出機器５は、例えばマイクロホンである。音声検出機器５のマイクロホンは、ステレオマイクロホンであってもよいし、モノラルマイクロホンであってもよい。また、音声検出機器５は、端末に内蔵されている機器であってもよいし、端末と通信できる外部の機器であってもよい。

【0019】

表示装置６は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置である。表示装置６には、後で説明する入力画面等の各種の画面が表示される。また、表示装置６は、端末に内蔵されている表示装置であってもよいし、端末と通信できる外部の表示装置であってもよい。

【0020】

入力装置７は、タッチパネル、キーボード、マウス等の入力装置である。入力装置７の操作がされた場合、操作内容に応じた信号がプロセッサ１に入力される。プロセッサ１は、この信号に応じて各種の処理を行う。

【0021】

通信装置８は、端末がネットワークＮＷを介して相互に通信するための通信装置である。通信装置８は、有線通信のための通信装置であってもよいし、無線通信のための通信装置であってもよい。

【0022】

次に、第１の実施形態におけるオンライン通話システムの動作を説明する。図３は、ホストの端末ＨＴのオンライン通話時の一例の動作を示すフローチャートである。図４は、ゲストの端末ＧＴ１、ＧＴ２、ＧＴ３のオンライン通話時の一例の動作を示すフローチャートである。図３の動作は、ホストの端末ＨＴのプロセッサ１によって実行される。また、図４の動作は、ゲストの端末ＧＴ１、ＧＴ２、ＧＴ３のプロセッサ１によって実行される。

【0023】

まず、端末ＨＴの動作を説明する。ステップＳ１において、端末ＨＴのプロセッサ１は、再生環境情報及び方位情報の入力画面を表示装置６に表示する。再生環境情報及び方位情報の入力画面を表示するためのデータは、例えば端末ＨＴのストレージ３に予め記憶されていてよい。図５は、端末ＨＴの表示装置６に表示される再生環境情報及び方位情報の入力画面の一例を示す図である。

【0024】

図５に示すように、再生環境情報の入力画面は、音声再生機器４としての使用が想定される機器のリスト２６０１を含む。端末ＨＴのユーザＨＵは、リスト２６０１から自身が用いる音声再生機器４を選択する。

【0025】

また、図５に示すように、方位情報の入力画面は、ユーザＨＵ自身を含むそれぞれのユーザの方位の入力欄２６０２を含む。図５では、例えば「Ａさん」がユーザＨＵ、「Ｂさん」がユーザＧＵ１、「Ｃさん」がユーザＧＵ２、「Ｄさん」がユーザＧＵ３である。なお、方位は、所定の基準方向、例えばそれぞれのユーザの正面方向を０度とした方位である。第１の実施形態では、ホストのユーザＨＵが他のユーザＧＵ１、ＧＵ２、ＧＵ３の方位情報も入力する。ここで、ユーザＨＵは、０度から３５９度の範囲でそれぞれのユーザの方位情報を指定することができる。ただし、方位情報が重複してしまうと、複数のユーザの音像が同一の方向に定位されることになる。したがって、複数のユーザについて同一の方位が入力された場合に、プロセッサ１は、表示装置６にエラーメッセージ等を表示してもよい。

【0026】

ここで、図５では、再生環境情報の入力画面と方位情報の入力画面は、１つの画面で構成されている。再生環境情報の入力画面と方位情報の入力画面は、別々の画面で構成されていてもよい。この場合、例えば最初に再生環境情報の入力画面が表示され、再生環境情報の入力が完了した後で、方位情報の入力画面が表示される。

【0027】

ステップＳ２において、プロセッサ１は、ユーザＨＵによる再生環境情報及び方位情報の入力又は他の端末ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報の受信があったか否かを判定する。ステップＳ２において、ユーザＨＵによる再生環境情報及び方位情報の入力又は他の端末ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報の受信があったと判定されたときには、処理はステップＳ３に移行する。ステップＳ２において、ユーザＨＵによる再生環境情報及び方位情報の入力及び他の端末ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報の受信がないと判定されたときには、処理はステップＳ４に移行する。

【0028】

ステップＳ３において、プロセッサ１は、入力又は受信された情報をメモリ２の例えばＲＡＭに記憶する。

【0029】

ステップＳ４において、プロセッサ１は、情報の入力が完了したか否か、すなわちそれぞれの端末についての再生環境情報及び方位情報を例えばＲＡＭに記憶し終えたか否かを判定する。ステップＳ４において、情報の入力が完了していないと判定されたときには、処理はステップＳ２に戻る。ステップＳ４において、情報の入力が完了したと判定されたときには、処理はステップＳ５に移行する。

【0030】

ステップＳ５において、プロセッサ１は、それぞれの端末についての再生環境情報及び方位情報に基づいて、それぞれの端末毎の、すなわちそれぞれの端末のユーザ向けの音像フィルタ係数を生成する。

【0031】

例えば、ユーザＨＵ向けの音像フィルタ係数は、ユーザＧＵ１によって入力された端末ＧＴ１の音声再生機器４の再生環境情報とユーザＨＵによって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数と、ユーザＧＵ２によって入力された端末ＧＴ２の音声再生機器４の再生環境情報とユーザＨＵによって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数と、ユーザＧＵ３によって入力された端末ＧＴ３の音声再生機器４の再生環境情報とユーザＨＵによって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数とを含む。

【0032】

また、ユーザＧＵ１向けの音像フィルタ係数は、ユーザＨＵによって入力された端末ＨＴの音声再生機器４の再生環境情報とユーザＨＵによって指定されたユーザＧＵ１の方位情報とに基づいて生成される音像フィルタ係数と、ユーザＧＵ２によって入力された端末ＧＴ２の音声再生機器４の再生環境情報とユーザＨＵによって指定されたユーザＧＵ１の方位情報とに基づいて生成される音像フィルタ係数と、ユーザＧＵ３によって入力された端末ＧＴ３の音声再生機器４の再生環境情報とユーザＨＵによって指定されたユーザＧＵ１の方位情報とに基づいて生成される音像フィルタ係数とを含む。

【0033】

ユーザＧＵ２向けの音像フィルタ係数及びユーザＧＵ３向けの音像フィルタ係数も同様にして生成され得る。つまり、ユーザＧＵ２向けの音像フィルタ係数は、ユーザＧＵ２によって入力された端末ＧＴ２の音声再生機器４の再生環境情報を除く他の端末の再生環境情報と、ユーザＨＵによって指定されたユーザＧＵ２の方位情報とに基づいて生成される。また、ユーザＧＵ３向けの音像フィルタ係数は、ユーザＧＵ３によって入力された端末ＧＴ３の音声再生機器４の再生環境情報を除く他の端末の再生環境情報と、ユーザＨＵによって指定されたユーザＧＵ３の方位情報とに基づいて生成される。

【0034】

ステップＳ６において、プロセッサ１は、ユーザＨＵ向けに生成した音像フィルタ係数を例えばストレージ３に記憶させる。また、プロセッサ１は、通信装置８を用いて、ユーザＧＵ１、ＧＵ２、ＧＵ３向けに生成した音像フィルタ係数をそれぞれの端末に送信する。これにより、オンライン通話のための初期設定が完了する。

【0035】

ステップＳ７において、プロセッサ１は、音声検出機器５を介してユーザＨＵの音声の入力があるか否かを判定する。ステップＳ７において、ユーザＨＵの音声の入力があると判定されたときには、処理はステップＳ８に移行する。ステップＳ７において、ユーザＨＵの音声の入力がないと判定されたときには、処理はステップＳ１０に移行する。

【0036】

ステップＳ８において、プロセッサ１は、音声検出機器５を介して入力されたユーザＨＵの音声に基づく音声信号に、ユーザＨＵ向けの音像フィルタ係数を畳み込んで他のユーザ向けの音像信号を生成する。

【0037】

ステップＳ９において、プロセッサ１は、通信装置８を用いて、他のユーザ向けの音像信号を端末ＧＴ１、ＧＴ２、ＧＴ３に送信する。その後、処理はステップＳ１３に移行する。

【0038】

ステップＳ１０において、プロセッサ１は、通信装置８を介して他の端末からの音像信号の受信があるか否かを判定する。ステップＳ１０において、他の端末からの音像信号の受信があると判定されたときには、処理はステップＳ１１に移行する。ステップＳ１０において、他の端末からの音像信号の受信がないと判定されたときには、処理はステップＳ１３に移行する。

【0039】

ステップＳ１１において、プロセッサ１は、受信した音像信号からユーザＨＵ向けの音像信号を分離する。例えば、端末ＧＴ１から音像信号が受信された場合、プロセッサ１は、ユーザＨＵによって入力された端末ＨＴの音声再生機器４の再生環境情報とユーザＨＵによって指定されたユーザＧＵ１の方位情報とに基づいて生成される音像フィルタ係数が畳み込まれた音像信号を分離する。

【0040】

ステップＳ１２において、プロセッサ１は、音声再生機器４により、音像信号を再生する。その後、処理はステップＳ１３に移行する。

【0041】

ステップＳ１３において、プロセッサ１は、オンライン通話を終了するか否かを判定する。例えば、ユーザＨＵの入力装置７の操作によってオンライン通話の終了が指示された場合には、オンライン通話を終了すると判定される。ステップＳ１３において、オンライン通話を終了しないと判定された場合には、処理はステップＳ２に戻る。この場合、オンライン通話中に再生環境情報又は方位情報の変更があった場合には、プロセッサ１は、その変更を反映して音像フィルタ係数を再生成してオンライン通話を継続する。ステップＳ１３において、オンライン通話を終了すると判定された場合には、プロセッサ１は、図３の処理を終了させる。

【0042】

次に、端末ＧＴ１、ＧＴ２、ＧＴ３の動作を説明する。ここで、端末ＧＴ１、ＧＴ２、ＧＴ３の動作は同一であるので、以下では端末ＧＴ１の動作が代表して説明される。

【0043】

ステップＳ１０１において、端末ＧＴ１のプロセッサ１は、再生環境情報の入力画面を表示装置６に表示する。再生環境情報の入力画面を表示するためのデータは、端末ＧＴ１のストレージ３に予め記憶されていてもよい。図６は、端末ＧＴ１、ＧＴ２、ＧＴ３の表示装置６に表示される再生環境情報の入力画面の一例を示す図である。図６に示すように、再生環境情報の入力画面は、音声再生機器４としての使用が想定される機器のリスト２６０１を含む。つまり、端末ＨＴの再生環境情報の入力画面と端末ＧＴ１、ＧＴ２、ＧＴ３の再生環境情報の入力画面とは同じでよい。ここで、端末ＧＴ１の再生環境情報の入力画面のデータは、端末ＨＴのストレージ３に記憶されていてもよい。この場合、図３のステップＳ１において、端末ＨＴのプロセッサ１は、端末ＧＴ１、ＧＴ２、ＧＴ３の再生環境情報の入力画面のデータを端末ＧＴ１、ＧＴ２、ＧＴ３に送信する。この場合、再生環境情報の入力画面を表示するためのデータは、端末ＧＴ１、ＧＴ２、ＧＴ３のストレージ３に予め記憶されていなくてもよい。

【0044】

ステップＳ１０２において、プロセッサ１は、ユーザＧＵ１による再生環境情報の入力があったか否かを判定する。ステップＳ１０２において、ユーザＧＵ１による再生環境情報の入力があったと判定されたときには、処理はステップＳ１０３に移行する。ステップＳ１０２において、ユーザＧＵ１による再生環境情報の入力がないと判定されたときには、処理はステップＳ１０４に移行する。

【0045】

ステップＳ１０３において、プロセッサ１は、通信装置８を用いて、入力された再生環境情報を端末ＨＴに送信する。

【0046】

ステップＳ１０４において、プロセッサ１は、端末ＨＴからユーザＧＵ１向けの音像フィルタ係数を受信したか否かを判定する。ステップＳ１０４において、ユーザＧＵ１向けの音像フィルタ係数を受信していないと判定されたときには、処理はステップＳ１０２に戻る。ステップＳ１０４において、ユーザＧＵ１向けの音像フィルタ係数を受信したと判定されたときには、処理はステップＳ１０５に移行する。

【0047】

ステップＳ１０５において、プロセッサ１は、受信したユーザＧＵ１向けの音像フィルタ係数を例えばストレージ３に記憶させる。

【0048】

ステップＳ１０６において、プロセッサ１は、音声検出機器５を介してユーザＧＵ１の音声の入力があるか否かを判定する。ステップＳ１０６において、ユーザＧＵ１の音声の入力があると判定されたときには、処理はステップＳ１０７に移行する。ステップＳ１０６において、ユーザＧＵ１の音声の入力がないと判定されたときには、処理はステップＳ１０９に移行する。

【0049】

ステップＳ１０７において、プロセッサ１は、音声検出機器５を介して入力されたユーザＧＵ１の音声に基づく音声信号に、ユーザＧＵ１向けの音像フィルタ係数を畳み込んで他のユーザ向けの音像信号を生成する。

【0050】

ステップＳ１０８において、プロセッサ１は、通信装置８を用いて、他のユーザ向けの音像信号を端末ＨＴ、ＧＴ２、ＧＴ３に送信する。その後、処理はステップＳ１１２に移行する。

【0051】

ステップＳ１０９において、プロセッサ１は、通信装置８を介して他の端末からの音像信号の受信があるか否かを判定する。ステップＳ１０９において、他の端末からの音像信号の受信があると判定されたときには、処理はステップＳ１１０に移行する。ステップＳ１０９において、他の端末からの音像信号の受信がないと判定されたときには、処理はステップＳ１１２に移行する。

【0052】

ステップＳ１１０において、プロセッサ１は、受信した音像信号からユーザＧＵ１向けの音像信号を分離する。例えば、端末ＨＴから音像信号が受信された場合、プロセッサ１は、ユーザＧＵ１によって入力された端末ＧＴ１の音声再生機器４の再生環境情報とユーザＨＵによって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数が畳み込まれた音像信号を分離する。

【0053】

ステップＳ１１１において、プロセッサ１は、音声再生機器４により、音像信号を再生する。その後、処理はステップＳ１１２に移行する。

【0054】

ステップＳ１１２において、プロセッサ１は、オンライン通話を終了するか否かを判定する。例えば、ユーザＧＵ１の入力装置７の操作によってオンライン通話の終了が指示された場合には、オンライン通話を終了すると判定される。ステップＳ１１２において、オンライン通話を終了しないと判定された場合には、処理はステップＳ１０２に戻る。この場合、オンライン通話中に再生環境情報の変更があった場合には、プロセッサ１は、その再生環境情報を端末ＨＴに送信してオンライン通話を継続する。ステップＳ１１２において、オンライン通話を終了すると判定された場合には、プロセッサ１は、図４の処理を終了させる。

【0055】

以上説明したように第１の実施形態では、再生環境情報及び方位情報に基づいて、ホストの端末ＨＴにおいてそれぞれの端末のユーザ向けの音像フィルタ係数が生成される。これにより、それぞれの端末における音声再生機器４の再生環境に応じて他のユーザの音像が定位され得る。例えば、複数の端末の間のオンライン通話の際に、複数のユーザが同時に発話してしまった場合に、本来であれば図７Ａに示すように複数のユーザの音声ＶＡ、ＶＢ、ＶＣ、ＶＤが集中して聴こえてしまう。これに対し、第１の実施形態では、ホストのユーザＨＵの指定によって複数のユーザの音声ＶＡ、ＶＢ、ＶＣ、ＶＤがそれぞれのユーザの頭部の周囲における異なる方位に定位される。これにより、図７Ｂに示すように複数のユーザの音声ＶＡ、ＶＢ、ＶＣ、ＶＤが異なる方位から聴こえたかのようにユーザに錯覚させることができる。したがって、ユーザは、複数のユーザの音声ＶＡ、ＶＢ、ＶＣ、ＶＤを聴き分けることができる。

【0056】

音像フィルタ係数の生成には再生環境情報及び方位情報が必要である。一方で、ホストの端末からはそれぞれのゲストの端末の音声再生機器の再生環境を直接的には確認することができない。これに対し、第１の実施形態では、ゲストの端末からホストの端末に再生環境情報を送信してもらい、それに基づいて、ホストの端末は、それぞれの端末毎の音像フィルタ係数を生成する。このように、第１の実施形態は、１つの端末で音像フィルタ係数を一括して管理するオンライン通話環境において特に好適である。

【0057】

ここで、実施形態では、ホストの端末は、再生環境情報及び方位情報を取得する毎に新たに音像フィルタ係数を生成している。これに対し、予め利用が想定される複数の音像フィルタ係数がホストの端末とゲストの端末とで共有されていて、ホストの端末は、再生環境情報及び方位情報を取得する毎にその予め共有されている音像フィルタ係数の中から必要な音像フィルタ係数を決定してもよい。そして、ホストの端末は、音像フィルタ係数をそれぞれのゲストの端末に送信する代わりに、決定した音像フィルタ係数を表すインデックスの情報だけをそれぞれのゲストの端末に送信してもよい。この場合、オンライン通話中に逐次に音像フィルタ係数が生成される必要はない。

【0058】

また、第１の実施形態では、オンライン通話中の音声以外の情報の送受信については特に言及されていない。第１の実施形態において、音声以外の例えば動画像の送受信が行われてもよい。

【0059】

また、第１の実施形態では、ホストの端末が音像フィルタ係数の生成をしている。これに対し、音像フィルタ係数の生成は、必ずしもホストの端末によって行われる必要はない。音像フィルタ係数の生成は、何れかのゲストの端末によって行われてもよいし、オンライン通話に参加する端末とは別の機器、例えばサーバ等で行われてもよい。この場合、ホストの端末は、それぞれのゲストの端末から取得した再生環境情報を含む、オンライン通話に参加するそれぞれの端末の再生環境情報及び方位情報をサーバ等に送信する。

【0060】

［第２の実施形態］
次に第２の実施形態を説明する。図８は、第２の実施形態に係るオンライン通話管理装置を備えたオンライン通話システムの一例の構成を示す図である。図８に示すオンライン通話システムでは、図１と同様に複数の端末、図８では４台の端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３が互いにネットワークＮＷを介して通信できるように接続され、それぞれの端末のユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３は、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３を介して通話を実施する。第２の実施形態においても、端末ＨＴがオンライン通話を主催するホストのユーザＨＵが操作するホストの端末であり、端末ＧＴ１、ＧＴ２、ＧＴ３はオンライン通話にゲストとして参加するゲストのユーザＧＵ１、ＧＵ２、ＧＵ３がそれぞれ操作するゲストの端末である。

【0061】

第２の実施形態では、さらに、サーバＳｖが端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３とネットワークＮＷを介して通信できるように接続されている。第２の実施形態では、サーバＳｖが、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３を用いた通話の際のそれぞれのユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３の頭部の周囲の空間に音像を定位させるための制御を一括して行う。ここで、図８におけるサーバＳｖは、クラウドサーバとして構成されていてもよい。

【0062】

図８で示した第２の実施形態のオンライン通話システムは、例えばオンライン会議又はオンライン講演における適用が想定される。

【0063】

図９は、サーバＳｖの一例の構成を示す図である。なお、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３は、図２で示した構成を有していてよい。したがって、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３の構成については説明が省略される。図９に示すように、サーバＳｖは、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信装置１０４とを有している。なお、サーバＳｖは、必ずしも図９で示した要素と同一の要素を有している必要はない。サーバＳｖは、図９で示した一部の要素を有していなくてもよいし、図９で示した以外の要素を有していてもよい。

【0064】

プロセッサ１０１は、サーバＳｖの全体的な動作を制御するプロセッサである。サーバＳｖのプロセッサ１０１は、例えばストレージ１０３に記憶されているプログラムを実行することによって、第１の取得部１１と、第２の取得部１２と、第３の取得部１４と、制御部１３として動作する。第２の実施形態では、ホストの端末ＨＴ、ゲストの端末ＧＴ１、ＧＴ２、ＧＴ３のプロセッサ１は、必ずしも第１の取得部１１と、第２の取得部１２と、第３の制御部１４と、制御部１３として動作できる必要はない。プロセッサ１０１は、例えばＣＰＵである。プロセッサ１０１は、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等であってもよい。プロセッサ１０１は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

【0065】

第１の取得部１１及び第２の取得部１２は、第１の実施形態と同様である。したがって、説明は省略される。また、制御部１３は、第１の実施形態で説明したのと同様に再生環境情報及び方位情報に基づいて端末ＨＴを含むそれぞれの端末における音像の再生のための制御をする。

【0066】

第３の取得部１４は、オンライン通話に参加している端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３のそれぞれにおける活用情報を取得する。活用情報は、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３のそれぞれで使用される音像の活用に関わる情報である。活用情報は、例えば、オンライン通話に参加するユーザに割り当てられる属性の情報を含む。また、活用情報は、オンライン通話に参加するユーザのグループ設定の情報を含む。活用情報は、その他の種々の音像の活用に関わる情報を含み得る。

【0067】

メモリ１０２は、ＲＯＭ及びＲＡＭを含む。ＲＯＭは、不揮発性のメモリである。ＲＯＭは、サーバＳｖの起動プログラム等を記憶している。ＲＡＭは、揮発性のメモリである。ＲＡＭは、例えばプロセッサ１０１における処理の際の作業メモリとして用いられる。

【0068】

ストレージ１０３は、例えばハードディスクドライブ、ソリッドステートドライブといったストレージである。ストレージ１０３は、オンライン通話管理プログラム１０３１等のプロセッサ１０１によって実行される各種のプログラムを記憶している。オンライン通話管理プログラム１０３１は、オンライン通話システムにおけるオンライン通話に関わる各種の処理を実行するためのプログラムである。

【0069】

通信装置１０４は、サーバＳｖがネットワークＮＷを介してそれぞれの端末と通信するための通信装置である。通信装置１０４は、有線通信のための通信装置であってもよいし、無線通信のための通信装置であってもよい。

【0070】

次に、第２の実施形態におけるオンライン通話システムの動作を説明する。図１０は、サーバＳｖのオンライン通話時の第１の例の動作を示すフローチャートである。ホストの端末ＨＴ、ゲストの端末ＧＴ１、ＧＴ２、ＧＴ３の動作については、基本的には図４で示した動作に準じている。

【0071】

ステップＳ２０１において、プロセッサ１０１は、再生環境情報及び方位情報の入力画面のデータをそれぞれの端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３に送信する。つまり、第２の実施形態では、ホストの端末ＨＴだけでなく、ゲストの端末ＧＴ１、ＧＴ２、ＧＴ３においても図５で示した再生環境情報及び方位情報の入力画面が表示される。これにより、ゲストのユーザＧＵ１、ＧＵ２、ＧＵ３も音像の定位方向を指定できる。なお、プロセッサ１０１は、さらに活用情報の入力画面のデータをそれぞれの端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３に送信してもよい。

【0072】

ステップＳ２０２において、プロセッサ１０１は、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報及び方位情報の受信があったか否かを判定する。ステップＳ２０２において、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報及び方位情報の受信があったと判定されたときには、処理はステップＳ２０３に移行する。ステップＳ２０２において、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報及び方位情報の受信がないと判定されたときには、処理はステップＳ２０７に移行する。

【0073】

ステップＳ２０３において、プロセッサ１０１は、受信された情報をメモリ１０２の例えばＲＡＭに記憶する。

【0074】

ステップＳ２０４において、プロセッサ１０１は、情報の入力が完了したか否か、すなわちそれぞれの端末についての再生環境情報及び方位情報を例えばＲＡＭに記憶し終えたか否かを判定する。ステップＳ２０４において、情報の入力が完了していないと判定されたときには、処理はステップＳ２０２に戻る。ステップＳ２０４において、情報の入力が完了したと判定されたときには、処理はステップＳ２０５に移行する。

【0075】

ステップＳ２０５において、プロセッサ１０１は、それぞれの端末についての再生環境情報及び方位情報に基づいて、それぞれの端末毎の、すなわちそれぞれの端末のユーザ向けの音像フィルタ係数を生成する。

【0076】

例えば、ユーザＨＵ向けの音像フィルタ係数は、ユーザＧＵ１によって入力された端末ＧＴ１の音声再生機器４の再生環境情報とユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３のそれぞれによって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数と、ユーザＧＵ２によって入力された端末ＧＴ２の音声再生機器４の再生環境情報とユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３のそれぞれによって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数と、ユーザＧＵ３によって入力された端末ＧＴ３の音声再生機器４の再生環境情報とユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３のそれぞれによって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数とを含む。

【0077】

また、ユーザＧＵ１向けの音像フィルタ係数は、ユーザＨＵによって入力された端末ＨＴの音声再生機器４の再生環境情報とユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３のそれぞれによって指定されたユーザＧＵ１の方位情報とに基づいて生成される音像フィルタ係数と、ユーザＧＵ２によって入力された端末ＧＴ２の音声再生機器４の再生環境情報とユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３のそれぞれによって指定されたユーザＧＵ１の方位情報とに基づいて生成される音像フィルタ係数と、ユーザＧＵ３によって入力された端末ＧＴ３の音声再生機器４の再生環境情報とユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３のそれぞれによって指定されたユーザＧＵ１の方位情報とに基づいて生成される音像フィルタ係数とを含む。

【0078】

ユーザＧＵ２向けの音像フィルタ係数及びユーザＧＵ３向けの音像フィルタ係数も同様にして生成され得る。つまり、ユーザＧＵ２向けの音像フィルタ係数は、ユーザＧＵ２によって入力された端末ＧＴ２の音声再生機器４の再生環境情報を除く再生環境情報と、ユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３のそれぞれによって指定されたユーザＧＵ２の方位情報とに基づいて生成される。また、ユーザＧＵ３向けの音像フィルタ係数は、ユーザＧＵ３によって入力された端末ＧＴ３の音声再生機器４の再生環境情報を除く再生環境情報と、ユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３のそれぞれによって指定されたユーザＧＵ３の方位情報とに基づいて生成される。

【0079】

ステップＳ２０６において、プロセッサ１０１は、通信装置１０４を用いて、ユーザＨＵ、ＧＵ１、ＧＵ２、ＧＵ３向けに生成した音像フィルタ係数をそれぞれの端末に送信する。これにより、オンライン通話のための初期設定が完了する。

【0080】

ステップＳ２０７において、プロセッサ１０１は、通信装置１０４を介して端末ＨＴ、ＧＵ１、ＧＵ２、ＧＵ３の少なくとも何れかからの音像信号の受信があるか否かを判定する。ステップＳ２０７において、何れかの端末からの音像信号の受信があると判定されたときには、処理はステップＳ２０８に移行する。ステップＳ２０７において、何れの端末からも音像信号の受信がないと判定されたときには、処理はステップＳ２１０に移行する。

【0081】

ステップＳ２０８において、プロセッサ１０１は、受信した音像信号からそれぞれのユーザ向けの音像信号を分離する。例えば、端末ＨＴから音像信号が受信された場合、プロセッサ１０１は、ユーザＧＵ１によって入力された端末ＧＴ１の音声再生機器４の再生環境情報とユーザＧＵ１によって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数が畳み込まれた音像信号をユーザＧＵ１向けの音像信号として分離する。同様に、プロセッサ１０１は、ユーザＧＵ２によって入力された端末ＧＴ２の音声再生機器４の再生環境情報とユーザＧＵ２によって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数が畳み込まれた音像信号をユーザＧＵ２向けの音像信号として分離する。また、プロセッサ１０１は、ユーザＧＵ３によって入力された端末ＧＴ３の音声再生機器４の再生環境情報とユーザＧＵ２によって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数が畳み込まれた音像信号をユーザＧＵ３向けの音像信号として分離する。

【0082】

ステップＳ２０９において、プロセッサ１０１は、通信装置１０４を用いて、それぞれの分離された音像信号を、対応する端末に送信する。その後、処理はステップＳ２１０に移行する。なお、それぞれの端末では、図４のステップＳ１２で示した処理と同様にして受信された音像信号が再生される。サーバＳｖにおいて音像信号が分離されているので、ステップＳ１１の処理は行われる必要はない。また、複数の音声信号が同一のタイミングで受信された場合、プロセッサ１０１は、同一の端末向けの音像信号を重ね合わせて送信する。

【0083】

ステップＳ２１０において、プロセッサ１０１は、オンライン通話を終了するか否かを判定する。例えば、すべてのユーザの入力装置７の操作によってオンライン通話の終了が指示された場合には、オンライン通話を終了すると判定される。ステップＳ２１０において、オンライン通話を終了しないと判定された場合には、処理はステップＳ２０２に戻る。この場合、オンライン通話中に再生環境情報又は方位情報の変更があった場合には、プロセッサ１０１は、その変更を反映して音像フィルタ係数を再生成してオンライン通話を継続する。ステップＳ２１０において、オンライン通話を終了すると判定された場合には、プロセッサ１０１は、図１０の処理を終了させる。

【0084】

図１１は、サーバＳｖのオンライン通話時の第２の例の動作を示すフローチャートである。第２の例では、サーバＳｖにおいて音像フィルタ係数の生成が行われるだけでなく、それぞれの端末毎の音像信号が生成される。なお、ホストの端末ＨＴ、ゲストの端末ＧＴ１、ＧＵ２、ＧＵ３の動作については、基本的には図４で示した動作に準じている。

【0085】

ステップＳ３０１において、プロセッサ１０１は、再生環境情報及び方位情報の入力画面のデータをそれぞれの端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３に送信する。なお、プロセッサ１０１は、さらに活用情報の入力画面のデータをそれぞれの端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３に送信してもよい。

【0086】

ステップＳ３０２において、プロセッサ１０１は、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報及び方位情報の受信があったか否かを判定する。ステップＳ３０２において、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報及び方位情報の受信があったと判定されたときには、処理はステップＳ３０３に移行する。ステップＳ３０２において、端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３からの再生環境情報及び方位情報の受信がないと判定されたときには、処理はステップＳ３０７に移行する。

【0087】

ステップＳ３０３において、プロセッサ１０１は、受信された情報をメモリ１０２の例えばＲＡＭに記憶する。

【0088】

ステップＳ３０４において、プロセッサ１０１は、情報の入力が完了したか否か、すなわちそれぞれの端末についての再生環境情報及び方位情報を例えばＲＡＭに記憶し終えたか否かを判定する。ステップＳ３０４において、情報の入力が完了していないと判定されたときには、処理はステップＳ３０２に戻る。ステップＳ３０４において、情報の入力が完了したと判定されたときには、処理はステップＳ３０５に移行する。

【0089】

ステップＳ３０５において、プロセッサ１０１は、それぞれの端末についての再生環境情報及び方位情報に基づいて、それぞれの端末毎の、すなわちそれぞれのユーザ向けの音像フィルタ係数を生成する。ステップＳ３０５において生成される音像フィルタ係数は、第１の例のステップＳ２０５において生成される音像フィルタ係数と同一であってよい。

【0090】

ステップＳ３０６において、プロセッサ１０１は、それぞれのユーザ向けの音像フィルタ係数を例えばストレージ１０３に記憶させる。

【0091】

ステップＳ３０７において、プロセッサ１０１は、通信装置１０４を介して端末ＨＴ、ＧＴ１、ＧＴ２、ＧＴ３の少なくとも何れかからの音声信号の受信があるか否かを判定する。ステップＳ３０７において、何れかの端末からの音声信号の受信があると判定されたときには、処理はステップＳ３０８に移行する。ステップＳ３０７において、何れの端末からも音声信号の受信がないと判定されたときには、処理はステップＳ３１０に移行する。

【0092】

ステップＳ３０８において、プロセッサ１０１は、受信した音声信号からそれぞれのユーザ向けの音像信号を生成する。例えば、端末ＨＴから音声信号が受信された場合、プロセッサ１０１は、ユーザＧＵ１によって入力された端末ＧＴ１の音声再生機器４の再生環境情報とユーザＧＵ１によって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数を受信された音声信号に畳み込んでユーザＧＵ１向けの音像信号を生成する。同様に、プロセッサ１０１は、ユーザＧＵ２によって入力された端末ＧＴ２の音声再生機器４の再生環境情報とユーザＧＵ２によって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数を受信された音声信号に畳み込んでユーザＧＵ２向けの音像信号を生成する。また、プロセッサ１０１は、ユーザＧＵ３によって入力された端末ＧＴ３の音声再生機器４の再生環境情報とユーザＧＵ２によって指定されたユーザＨＵの方位情報とに基づいて生成される音像フィルタ係数を受信された音声信号に畳み込んでユーザＧＵ３向けの音像信号を生成する。また、プロセッサ１０１は、活用情報がある場合には、活用情報に応じて生成した音像信号を調整してもよい。この調整については後で説明される。

【0093】

ステップＳ３０９において、プロセッサ１０１は、通信装置１０４を用いて、それぞれの生成された音像信号を、対応する端末に送信する。その後、処理はステップＳ３１０に移行する。なお、それぞれの端末では、図４のステップＳ１２で示した処理と同様にして受信された音像信号が再生される。サーバＳｖにおいて音像信号が分離されているので、ステップＳ１１の処理は行われる必要はない。また、複数の音声信号が同一のタイミングで受信された場合、プロセッサ１０１は、同一の端末向けの音像信号を重ね合わせて送信する。

【0094】

ステップＳ３１０において、プロセッサ１０１は、オンライン通話を終了するか否かを判定する。例えば、すべてのユーザの入力装置７の操作によってオンライン通話の終了が指示された場合には、オンライン通話を終了すると判定される。ステップＳ３１０において、オンライン通話を終了しないと判定された場合には、処理はステップＳ３０２に戻る。この場合、オンライン通話中に再生環境情報又は方位情報の変更があった場合には、プロセッサ１０１は、その変更を反映して音像フィルタ係数を再生成してオンライン通話を継続する。ステップＳ３１０において、オンライン通話を終了すると判定された場合には、プロセッサ１０１は、図１１の処理を終了させる。

【0095】

ここで、第２の実施形態の第１の例においても、予め利用が想定される複数の音像フィルタ係数がサーバと、ホストの端末と、ゲストの端末とで共有されていて、サーバは、再生環境情報及び方位情報を取得する毎にその予め共有されている音像フィルタ係数の中から必要な音像フィルタ係数を決定してもよい。そして、サーバは、音像フィルタ係数をホストの端末及びそれぞれのゲストの端末に送信する代わりに、決定した音像フィルタ係数を表すインデックスの情報だけをホストの端末及びそれぞれのゲストの端末に送信してもよい。また、第２の実施形態の第２の例において、サーバは、再生環境情報及び方位情報を取得される毎に予め利用が想定される複数の音像フィルタ係数の中から必要な音像フィルタ係数を決定してもよい。そして、サーバは、決定した音像フィルタ係数を音声信号に畳み込んでよい。

【0096】

以上説明したように第２の実施形態では、再生環境情報及び方位情報に基づいて、サーバＳｖにおいてそれぞれの端末のユーザ向けの音像フィルタ係数が生成される。これにより、それぞれの端末の音声再生機器４の再生環境に応じて他のユーザの音像が定位され得る。また、第２の実施形態では、ホストの端末ＨＴではなく、サーバＳｖにおいて音像フィルタ係数が生成される。したがって、オンライン通話の際のホストの端末ＨＴの負荷は低減され得る。

【0097】

また、第２の実施形態では、ホストの端末ＨＴだけでなく、ゲストの端末ＧＴ１、ＧＴ２、ＧＴ３においても再生環境情報と方位情報とが指定され、それらの再生環境情報と方位情報とに基づいて音像フィルタ係数が生成される。このため、オンライン通話の参加者のそれぞれが、自身の周囲の音像を再生したい方位を決めることができる。

【0098】

［第２の実施形態の変形例１］
次に、第２の実施形態の変形例１を説明する。前述した第１の実施形態及び第２の実施形態では、方位情報の入力画面として図５の方位の入力欄２６０２を含む入力画面が例示されている。これに対し、特にオンライン会議に適した方位情報の入力画面として、図１２等に示す入力画面が用いられてもよい。

【0099】

図１２に示す方位情報の入力画面は、オンライン会議の参加者のリスト２６０３を含む。参加者のリスト２６０３においては、それぞれの参加者を示すマーカ２６０４が配列されている。

【0100】

さらに、図１２に示す方位情報の入力画面は、会議室の模式図２６０５を含む。会議室の模式図２６０５は、会議机の模式図２６０６と、会議机の模式図２６０６の周囲に配置された椅子の模式図２６０７とを含む。ユーザは、マーカ２６０４を椅子の模式図２６０７にドラッグアンドドロップすることで配置する。これを受けて、サーバＳｖのプロセッサ１０１は、そのユーザに対する他のユーザの方位を決定する。つまり、プロセッサ１０１は、「自分」のマーカ２６０４と「他のユーザ」のマーカ２６０４との位置関係によって他のユーザの方位を決定する。これにより、方位情報が入力され得る。図１２に示した方位情報の入力画面への入力に従って音像が定位されることにより、ユーザは、あたかも実際の会議室で会議をしているかのような感覚で他のユーザの音声を聴くことができる。

【0101】

ここで、図１２では、椅子の数には限りがあるので、例えば会議のキーマンを個々のユーザが判断してそれに対応したマーカ２６０４を配置してよい。サーバＳｖのプロセッサ１０１は、椅子に配置されていないユーザの音声については定位の無いモノラル音声信号のままでそれぞれの端末に送信してよい。この場合において、椅子に配置されていない他のユーザの音声であっても重要そうな話をしていると判断したら、ユーザは、適宜にマーカを入れ替えることにより、他のユーザの音声を定位された状態で聴くことができる。

【0102】

また、図１２に示す方位情報の入力画面は、オンライン会議中も表示されてよい。オンライン会議中においてもユーザは、マーカ２６０４の配置を変更して他のユーザの方位を決定してよい。これにより、例えばユーザの周囲の環境の変化によって、特定の方位からの音声が聞きづらくなった場合等であっても対応ができる。さらに、図１２に示すように、発話をしたユーザのマーカが参照符号２６０８で示すように発光する等されてもよい。

【0103】

図１２は、ユーザが自由に他のユーザの配置を決める例である。これに対し、図１３、図１４Ａ及び図１４Ｂに示すように、予め決められた複数の配置の中からユーザが所望の配置を選択するような方位情報の入力画面が用いられてもよい。

【0104】

図１３は、オンライン会議の参加者が２名であり、会議机の模式図２６０９を挟んで２人のユーザ２６１０、２６１１が向かい合うように配置される例である。例えば、ユーザ２６１０が「自分」である。図１３の配置が選択された場合、プロセッサ１０１は、ユーザ２６１１の方位を「０度」に設定する。

【0105】

図１４Ａは、オンライン会議の参加者が３名であり、会議机の模式図２６０９を挟んで「自分」を示すユーザ２６１０と、２人の他のユーザ２６１１が向かい合うように配置される例である。図１４Ａの配置が選択された場合、プロセッサ１０１は、２人のユーザ２６１１の方位をそれぞれ「０度」、「θ度」に設定する。

【0106】

図１４Ｂは、オンライン会議の参加者が３名であり、会議机の模式図２６０９を挟んで「自分」を示すユーザ２６１０に対して±θ度の方位に２人の他のユーザ２６１１が配置される例である。図１４Ｂの配置が選択された場合、プロセッサ１０１は、２人のユーザ２６１１の方位をそれぞれ「－θ度」、「θ度」に設定する。

【0107】

なお、オンライン会議の参加者が２名又は３名の場合のそれぞれのユーザの配置は、図１３、図１４Ａ、図１４Ｂで示したものに限るものではない。また、図１３、図１４Ａ、図１４Ｂと同様の入力画面が、オンライン会議の参加者が４名以上の場合についても用意されていてよい。

【0108】

また、会議机の模式図２６０９の形状は、必ずしも四角形に限るものではない。例えば、図１５に示すように、円卓状の会議机の模式図２６０９に対して「自分」を示すユーザ２６１０及びその他のユーザ２６１１が配置されるものであってもよい。図１５は、図１２と同様にユーザがマーカ２６０４を配置できるような方位情報の入力画面であってもよい。

【0109】

また、図１２に会議室を模したものではなく、例えば図１６に示すように音声を聴くユーザ２６１２を中心とした円周上に他のユーザの模式図２６１３が配置され、この他のユーザの模式図２６１３に対してマーカ２６０４を配置することで方位情報の入力が行われるような入力画面であってもよい。この場合においても、発話をしたユーザのマーカが発光する等されてもよい。

【0110】

さらには、２次元ではなく、図１７に示すような３次元の模式図上で方位情報の入力が行われてもよい。例えば、音声を聴くユーザ２６１４の頭部を中心とした円周上に他のユーザの模式図２６１５が３次元的に配置され、この他のユーザの模式図２６１５に対してマーカ２６０４を配置することで方位情報の入力が行われるような入力画面であってもよい。この場合においても、発話をしたユーザのマーカが参照符号２６１６で示すようにして発光する等されてもよい。特に、ヘッドホンやイヤホンでは前方の定位精度が劣化しやすい。そこで、視覚を用いて発話をしたユーザの方向を誘導することにより定位精度の劣化が改善され得る。

【0111】

［第２の実施形態の変形例２］
次に、第２の実施形態の変形例２を説明する。第２の実施形態の変形例２は、オンライン講演の際に好適な例であり、活用情報が用いられる具体例である。図１８は、第２の実施形態の変形例２において、オンライン講演の際にそれぞれの端末に表示される表示画面の例である。ここで、オンライン講演中のサーバＳｖの動作は、図１０で示した第１の例と図１１で示した第２の例の何れで行われてもよい。

【0112】

図１８に示すように、第２の実施形態の変形例２においてオンライン講演中に表示される表示画面は、動画表示領域２６１７を含む。動画表示領域２６１７は、オンライン講演中に配信される動画像が表示される領域である。動画表示領域２６１７の表示は、ユーザが任意にオン又はオフできる。

【0113】

図１８に示すように、第２の実施形態の変形例２においてオンライン講演中に表示される表示画面は、さらに、自分に対する他のユーザの定位方向を示す模式図２６１８と、他のユーザを表すマーカ２６１９ａ、２６１９ｂ、２６１９ｃとを含む。第２の実施形態の変形例１と同様に、ユーザは、マーカ２６１９ａ、２６１９ｂ、２６１９ｃを模式図２６１８上にドラッグアンドドロップすることで配置する。さらに、第２の実施形態の変形例２においては、それぞれのマーカ２６１９ａ、２６１９ｂ、２６１９ｃに対して活用情報としての属性が割り当てられる。属性は、例えばオンライン講演におけるそれぞれのユーザの役割であって、例えばホストのユーザＨＵが任意に指定できる。属性が割り当てられた場合、その属性を表す名称２６２０が表示画面に表示される。図１８では、マーカ２６１９ａの属性は「発表者」であり、マーカ２６１９ｂの属性は「共同発表者」であり、マーカ２６１９ｃの属性は呼び鈴の音等の「機械音」である。このように、第２の実施形態の変形例２においては、ユーザは必ずしも人に限らない。また、属性は、図１８で示したもの以外に、「タイムキーパー」等、種々に指定され得る。

【0114】

例えばホストのユーザＨＵによって属性が指定された場合、サーバＳｖのプロセッサ１０１は、属性毎に音像の再生を調整してよい。例えば、「発表者」の音声信号とその他のユーザの音声信号とが同時に入力された場合に、プロセッサ１０１は、「発表者」の音声だけをそれぞれの端末に送信したり、「発表者」の音声が良く聴こえるように音像を定位させたりする等してもよい。また、この他、プロセッサ１０１は、「機械音」、「タイムキーパー」等の音声を「発表者」の端末にだけ送信したり、他の端末で聴こえないように音像を定位させたりする等してもよい。

【0115】

図１８に示すように、第２の実施形態の変形例２においてオンライン講演中に表示される表示画面は、さらに、発表者補助ボタン２６２１及び聴講者間議論ボタン２６２２を含む。発表者補助ボタン２６２１は、主にタイムキーパー等の発表者の補助者によって選択されるボタンである。発表者補助ボタン２６２１は、発表者の補助者の端末以外には表示されないように設定されていてもよい。聴講者間議論ボタン２６２２は、発表者の発表を聴いている聴講者間での議論を実施する際に選択されるボタンである。

【0116】

図１９は、発表者補助ボタン２６２１が選択された場合に端末に表示される画面の一例を示す図である。発表者補助ボタン２６２１が選択された場合、図１９に示すように、新たに、タイムキーパー設定ボタン２６２３と、スタートボタン２６２４と、停止ボタン２６２５と、一時停止／再開ボタン２６２６とが表示される。

【0117】

タイムキーパー設定ボタン２６２３は、発表の残り時間の設定、呼び鈴の間隔の設定等のタイムキーパーに必要とされる各種の設定をするためのボタンである。スタートボタン２６２４は、例えば発表の開始時に選択され、発表の残り時間の計測、呼び鈴を鳴らすといったタイムキープ処理を開始させるためのボタンである。停止ボタン２６２５は、タイムキープ処理を停止させるためのボタンである。一時停止／再開ボタン２６２６は、タイムキープ処理の一時停止／再開を切り替えるためのボタンである。

【0118】

図２０は、聴講者間議論ボタン２６２２が選択された場合に端末に表示される画面の一例を示す図である。聴講者間議論ボタン２６２２が選択された場合、図２０に示す画面に遷移する。図２０に示す画面は、自分に対する他のユーザの定位方向を示す模式図２６１８と、他のユーザを表すマーカ２６２７ａ、２６２７ｂとを含む。第２の実施形態の変形例１と同様に、ユーザは、マーカ２６２７ａ、２６２７ｂを模式図２６１８上にドラッグアンドドロップすることで配置する。さらに、それぞれのマーカ２６２７ａ、２６２７ｂに対して活用情報としての属性が割り当てられる。聴講者間議論ボタン２６２２が選択された場合の属性は、それぞれのユーザが任意に指定できる。属性が割り当てられた場合、その属性を表す名称が表示画面に表示される。図２０では、マーカ２６２７ａの属性は「発表者」であり、マーカ２６２７ｂの属性は「Ｄさん」である。

【0119】

また、図２０に示すように、第２の実施形態の変形例２において聴講者間議論ボタン２６２２が選択された場合に表示される表示画面は、さらに、グループ設定欄２６２８を含む。グループ設定欄２６２８は、聴講者間でのグループを設定するための表示欄である。グループ設定欄２６２８には、現在の設定済みのグループのリストが表示される。グループのリストは、グループの名称と、そのグループに属しているユーザの名称とを含む。グループの名称は、最初にグループを設定したユーザによって決められてもよいし、予め決められていてもよい。また、グループ設定欄２６２８において、それぞれのグループの名称の近傍には参加ボタン２６２９が表示される。参加ボタン２６２９が選択された場合、プロセッサ１０１は、そのユーザを該当するグループに所属させる。

【0120】

また、聴講者間議論ボタン２６２２が選択された場合に表示される表示画面は、さらに、グループ新規作成ボタン２６３０を含む。グループ新規作成ボタン２６３０は、グループ設定欄２６２８において表示されていない新たなグループを設定する際に選択されるボタンである。グループ新規作成ボタン２６３０を選択した場合、ユーザは、例えばグループの名称を設定する。また、グループの新規作成において、グループに参加させたくないユーザを指定できるように構成されていてもよい。グループに参加させないと設定されたいユーザについては、プロセッサ１０１は、表示画面において例えば参加ボタン２６２９を表示させないように制御する。図２０では、「グループ２」への参加が不可とされている。

【0121】

また、聴講者間議論ボタン２６２２が選択された場合に表示される表示画面は、スタートボタン２６３１と、停止ボタン２６３２とを含む。スタートボタン２６３１は、聴講者間議論を開始させるためのボタンである。停止ボタン２６３２は、聴講者間議論を停止させるためのボタンである。

【0122】

さらに、聴講者間議論ボタン２６２２が選択された場合に表示される表示画面は、音量バランスボタン２６３３を含む。音量バランスボタン２６３３は、「発表者」のユーザとグループに属している他のユーザとの音量バランスを指定するためのボタンである。

【0123】

例えばグループが設定され、スタートボタン２６３１が選択された場合、サーバＳｖのプロセッサ１０１は、グループに属しているユーザの間でだけ音声が聴こえるように音像を定位させる。また、プロセッサ１０１は、音量バランスの指定に従って、「発表者」のユーザの音量とその他のユーザの音量との調整をする。

【0124】

ここで、グループ設定欄２６２８は、例えば最初にグループを設定したユーザによってグループのアクティブ／非アクティブが切り替えできるように構成されていてもよい。この場合において、グループ設定欄２６２８において、アクティブのグループと非アクティブのグループが色分けして表示されてもよい。

【0125】

［第３の実施形態］
次に第３の実施形態を説明する。図２１は、第３の実施形態におけるサーバＳｖの一例の構成を示す図である。ここで、図２１において、図９と同一の構成についての説明は省略される。第３の実施形態においては、ストレージ１０３に残響テーブル１０３２が記憶されている点が異なる。残響テーブル１０３２は、音像信号に対して所定の残響効果を付加するための残響情報のテーブルである。残響テーブル１０３２は、小規模会議室、大規模会議室、半無響室において予め計測された残響データをテーブルデータとして有している。サーバＳｖのプロセッサ１０１は、ユーザによって指定された活用情報としての音像の利用が想定される仮想的な環境に対応した残響データを残響テーブル１０３２から取得し、取得した残響データに基づく残響を音像信号に付加した上で、それぞれの端末に送信する。

【0126】

図２２Ａ、図２２Ｂ、図２２Ｃ、図２２Ｄは、残響データに関わる活用情報を入力するための画面の例である。図２２Ａ－図２２Ｄの画面において、ユーザは、音像の利用が想定される仮想的な環境を指定する。

【0127】

図２２Ａは、最初に表示される画面２６３４である。図２２Ａに示す画面２６３４は、ユーザが自身で残響を選択するための「選びたい」欄２６３５及びサーバＳｖが残響を選択するための「おまかせ」欄２６３６を含む。例えばホストのユーザＨＴは、「選びたい」欄２６３５及び「おまかせ」欄２６３６のうち、自身の望むほうを選択する。「おまかせ」欄２６３６が選択された場合、サーバＳｖは自動的に残響を選択する。例えば、サーバＳｖは、オンライン会議の参加者の数に応じて小規模会議室において計測された残響データ、大規模会議室において計測された残響データ、半無響室において計測された残響データの何れかを選択する。

【0128】

図２２Ｂは、「選びたい」欄２６３６が選択された場合に表示される画面２６３７である。図２２Ｂに示す画面２６３７は、部屋の種類に応じた残響を選択するための「部屋種類で選ぶ」欄２６３８及び会話規模に応じた残響を選択するための「会話規模で選ぶ」欄２６３９を含む。例えばホストのユーザＨＴは、「部屋種類で選ぶ」欄２６３８及び「会話規模で選ぶ」欄２６３９のうち、自身の望むほうを選択する。

【0129】

図２２Ｃは、「部屋種類で選ぶ」欄２６３８が選択された場合に表示される画面２６４０である。図２２Ｃに示す画面２６４０は、ミーティングルーム、すなわち小規模会議室に応じた残響を選択するための「ミーティングルーム」欄２６４１、カンファレンスルーム、すなわち大規模会議室に応じた残響を選択するための「カンファレンスルーム」欄２６４２、あまり響かない部屋、すなわち無響室に応じた残響を選択するための「あまり響かない部屋」欄２６４３を含む。例えばホストのユーザＨＴは、「ミーティングルーム」欄２６４１、「カンファレンスルーム」欄２６４２及び「あまり響かない部屋」欄２６４３のうち、自身の望むものを選択する。

【0130】

サーバＳｖのプロセッサ１０１は、ユーザによって「ミーティングルーム」欄２６４１が選択された場合には、小規模会議室において予め計測された残響データを残響テーブル１０３２から取得する。また、プロセッサ１０１は、ユーザによって「カンファレンスルーム」欄２６４２が選択された場合には、大規模会議室において予め計測された残響データを残響テーブル１０３２から取得する。さらに、プロセッサ１０１は、ユーザによって「あまり響かない部屋」欄２６４３が選択された場合には、無響室において予め計測された残響データを残響テーブル１０３２から取得する。

【0131】

図２２Ｄは、「会話規模で選ぶ」欄２６３９が選択された場合に表示される画面２６４４である。図２２Ｄに示す画面２６４４は、中程度の会話規模に応じた残響を選択するための「メンバー内ミーティング」欄２６４５、比較的に大きな会話規模に応じた残響を選択するための「報告会など」欄２６４６、小さな会話規模に応じた残響を選択するための「極秘会議」欄２６４７を含む。例えばホストのユーザＨＴは、「メンバー内ミーティング」欄２６４５、「報告会など」欄２６４６及び「極秘会議」欄２６４７のうち、自身の望むものを選択する。

【0132】

サーバＳｖのプロセッサ１０１は、ユーザによって「メンバー内ミーティング」欄２６４５が選択された場合には、小規模会議室において予め計測された残響データを残響テーブル１０３２から取得する。また、プロセッサ１０１は、ユーザによって「報告会など」欄２６４６が選択された場合には、大規模会議室において予め計測された残響データを残響テーブル１０３２から取得する。さらに、プロセッサ１０１は、ユーザによって「極秘会議」欄２６４７が選択された場合には、無響室において予め計測された残響データを残響テーブル１０３２から取得する。

【0133】

以上説明したように第３の実施形態によれば、部屋の広さ、利用目的、ミーティングの雰囲気に対応させた残響情報がテーブルとしてサーバＳｖに保持されている。サーバＳｖはそれぞれのユーザに対する音声信号に残響テーブルから選択した残響を付加する。これにより、それぞれのユーザの音声が同レベルの音量で聴こえることによって生じる疲労感が軽減され得る。

【0134】

ここで、第３の実施形態では、残響テーブルは、３種類の残響データを含むとされている。残響テーブルは、１種類又は２種類の残響データだけを含んでいてもよいし、４種類以上の残響データを含んでいてもよい。

【0135】

［第３の実施形態の変形例］
第３の実施形態において、ストレージ１０３には、さらにレベル減衰テーブル１０３３が記憶されていてもよい。レベル減衰テーブル１０３３は、無響室で予め計測された音量の距離に応じたレベル減衰データをテーブルデータとして有している。この場合において、サーバＳｖのプロセッサ１０１は、音像の利用が想定される仮想音源とユーザとの仮想的な距離に応じたレベル減衰データを取得し、取得したレベル減衰データに応じたレベル減衰を音像信号に付加してよい。これによってもそれぞれのユーザの音声が同レベルの音量で聴こえることによって生じる疲労感が軽減され得る。

【0136】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0137】

１ プロセッサ、２ メモリ、３ ストレージ、４ 音声再生機器、５ 音声検出機器、６ 表示装置、７ 入力装置、８ 通信装置、１１ 第１の取得部、１２ 第２の取得部、１３ 制御部、１４ 第３の取得部、３１ オンライン通話管理プログラム、１０１ プロセッサ、１０２ メモリ、１０３ ストレージ、１０４ 通信装置、１０３１ オンライン通話管理プログラム、１０３２ 残響テーブル、１０３３ レベル減衰テーブル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22A】

【図22B】

【図22C】

【図22D】