IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧

特開2024-171272リモート会議システムおよびリモート会議プログラム
<>
  • 特開-リモート会議システムおよびリモート会議プログラム 図1
  • 特開-リモート会議システムおよびリモート会議プログラム 図2
  • 特開-リモート会議システムおよびリモート会議プログラム 図3
  • 特開-リモート会議システムおよびリモート会議プログラム 図4
  • 特開-リモート会議システムおよびリモート会議プログラム 図5
  • 特開-リモート会議システムおよびリモート会議プログラム 図6
  • 特開-リモート会議システムおよびリモート会議プログラム 図7
  • 特開-リモート会議システムおよびリモート会議プログラム 図8
  • 特開-リモート会議システムおよびリモート会議プログラム 図9
  • 特開-リモート会議システムおよびリモート会議プログラム 図10
  • 特開-リモート会議システムおよびリモート会議プログラム 図11
  • 特開-リモート会議システムおよびリモート会議プログラム 図12
  • 特開-リモート会議システムおよびリモート会議プログラム 図13
  • 特開-リモート会議システムおよびリモート会議プログラム 図14
  • 特開-リモート会議システムおよびリモート会議プログラム 図15
  • 特開-リモート会議システムおよびリモート会議プログラム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171272
(43)【公開日】2024-12-11
(54)【発明の名称】リモート会議システムおよびリモート会議プログラム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20241204BHJP
   H04M 3/56 20060101ALI20241204BHJP
   H04R 3/00 20060101ALI20241204BHJP
   H04R 3/12 20060101ALN20241204BHJP
【FI】
H04N7/15
H04M3/56 C
H04R3/00 310
H04R3/12 A
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023088257
(22)【出願日】2023-05-29
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】100108523
【弁理士】
【氏名又は名称】中川 雅博
(72)【発明者】
【氏名】中田 正樹
【テーマコード(参考)】
5C164
5D220
5K201
【Fターム(参考)】
5C164FA10
5C164PA41
5C164UD41S
5C164VA09P
5D220AA12
5D220AB08
5K201AA01
5K201BB09
5K201EC06
5K201ED07
(57)【要約】
【課題】 同一の音声が複数の音源から聞こえる事象を抑制すること。
【解決手段】 少なくとも3台の端末が通信可能に接続され、それらの端末で入力された音声を互いに他の端末へ配信するリモート会議システムであって、少なくとも3台の端末のうちの第1端末の音声について、少なくとも3台の端末のうちの第2端末での再生音量を、第3端末での再生音量より抑制するよう音声の配信または端末での再生を制御する音声抑制部31を有する。
【選択図】 図4
【特許請求の範囲】
【請求項1】
少なくとも3台の端末が通信可能に接続され、それらの端末で入力された音声を互いに他の端末へ配信するリモート会議システムにおいて、
前記少なくとも3台の端末のうちの第1端末の音声について、前記少なくとも3台の端末のうちの第2端末での再生音量を、第3端末での再生音量より抑制するよう音声の配信または端末での再生を制御する制御手段を有する、リモート会議システム。
【請求項2】
前記第1端末および前記第2端末は、前記少なくとも3台の端末のいずれかのユーザーによる操作に従って選択される、請求項1に記載のリモート会議システム。
【請求項3】
前記第1端末は、前記第2端末からの距離に基づいて選択される、請求項1に記載のリモート会議システム。
【請求項4】
前記制御手段は、前記第1端末の音声を前記第2端末へ配信または前記第2端末で再生せず、前記第1端末の音声を前記第3端末に配信または前記第3端末で再生する、請求項1に記載のリモート会議システム。
【請求項5】
前記制御手段は、前記第1端末の音声を前記第3端末に配信または前記第3端末で再生し、前記第1端末の音声を前記第3端末に配信される音声の音声レベルよりも低い音声レベルで前記第2端末へ配信または前記第1端末の音声を前記第3端末で再生される音量よりも低い音量で前記第2端末で再生する、請求項1に記載のリモート会議システム。
【請求項6】
前記制御手段は、前記第2端末の音声を他の端末に配信しないまたは前記他の端末で再生しない、請求項1に記載のリモート会議システム。
【請求項7】
前記少なくとも3台の端末と通信可能に接続されたサーバーをさらに備え、
前記サーバーは、前記制御手段を備える、請求項1に記載のリモート会議システム。
【請求項8】
前記少なくとも3台の端末それぞれは、前記制御手段を備える、請求項1に記載のリモート会議システム。
【請求項9】
少なくとも3台の端末が通信可能に接続されたコンピューターで実行されるリモート会議プログラムであって、
前記少なくとも3台の端末それぞれで入力された音声を他の端末へ配信する配信ステップを、前記コンピューターに実行させ、
前記配信ステップは、前記少なくとも3台の端末のうちの第1端末の音声の配信する場合に、前記少なくとも3台の端末のうちの第2端末での再生音量を第3端末での再生音量より抑制するステップを含む、リモート会議プログラム。
【請求項10】
少なくとも2台の第1端末および第2端末と通信可能に接続された端末を制御するコンピューターで実行されるリモート会議プログラムであって、
入力された音声を前記第1端末および前記第2端末へ配信する配信ステップと、
前記第1端末および前記第2端末のいずれかから配信される音声を再生する再生ステップと、を、前記コンピューターに実行させ、
前記再生ステップは、前記第1端末から配信される音声の再生音量を、前記第2端末から配信される音声の再生音量より抑制するステップを含む、リモート会議プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、リモート会議システムおよびリモート会議プログラムに関し、特に、3以上の端末を用いて実現されるリモート会議に適応されるリモート会議システム、そのリモート会議を実現するコンピューターで実行されるリモート会議プログラムに関する。
【背景技術】
【0002】
近年、離れた場所に位置する複数のユーザーがコンピューターを介して会議等の通話するリモート会議システムが普及している。リモート会議に参加する参加者は、同一の領域に位置する複数の参加者がリモート会議に参加する場合がある。この場合、複数の参加者は、互いの音声をシステムを介さず聞くとともに、システムを介して聞くことになる。
【0003】
特開2022-165101号公報には、複数の端末装置の間で音声を送受信する通信を管理する通信管理装置であって、前記複数の端末装置のうち、同じエリアにある端末装置の中から音声処理を実行する端末装置を決定する決定部と、前記同じエリアにある端末装置のうち、前記音声処理を実行する端末装置とは異なる端末装置に前記音声処理の中止を指示する端末制御部と、を有する通信管理装置が記載されている。
【0004】
特開2022-165101号公報に記載の通信管理装置においては、音声処理を実行する端末装置および音声処理を実行する端末装置とは異なる端末装置それぞれのマイクで集音された音声が他の場所からウェブ会議に参加している端末から何度も出力されることが防止される。
【0005】
しかしながら、音声処理を実行する端末装置とは異なる端末装置は、音声処理を実行する端末装置が決定されている間は音声処理が中止されるので、同じエリアにない他の端末装置で集音された音声を再生することができない。このため、会議に参加するすべての参加者の音声を聞くことができない場合があるといった問題がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2022-165101号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
この発明の目的の1つは、複数の参加者の音声を再生しつつ同一の音声が複数の音源から聞こえる事象を抑制したリモート会議システムを提供することである。
【0008】
この発明の他の目的は、複数の参加者の音声を再生しつつ同一の音声が複数の音源から聞こえる事象を抑制したリモート会議プログラムを提供することである。
【課題を解決するための手段】
【0009】
この発明のある局面によれば、リモート会議システムは、少なくとも3台の端末が通信可能に接続され、それらの端末で入力された音声を互いに他の端末へ配信するリモート会議システムにおいて、少なくとも3台の端末のうちの第1端末の音声について、少なくとも3台の端末のうちの第2端末での再生音量を、第3端末での再生音量より抑制するよう音声の配信または端末での再生を制御する制御手段を有する。
【0010】
この発明の他の局面によれば、リモート会議プログラムは、少なくとも3台の端末が通信可能に接続されたコンピューターで実行されるリモート会議プログラムであって、少なくとも3台の端末それぞれで入力された音声を他の端末へ配信する配信ステップを、コンピューターに実行させ、配信ステップは、少なくとも3台の端末のうちの第1端末の音声の配信する場合に、少なくとも3台の端末のうちの第2端末での再生音量を第3端末での再生音量より抑制するステップを含む。
【0011】
この発明のさらに他の局面によれば、リモート会議プログラムは、少なくとも2台の第1端末および第2端末と通信可能に接続された端末を制御するコンピューターで実行されるリモート会議プログラムであって、入力された音声を第1端末および第2端末へ配信する配信ステップと、第1端末および第2端末のいずれかから配信される音声を再生する再生ステップと、を、コンピューターに実行させ、再生ステップは、第1端末から配信される音声の再生音量を、第2端末から配信される音声の再生音量より抑制するステップを含む。
【図面の簡単な説明】
【0012】
図1】本発明の実施の形態の1つにおけるリモート会議システムのシステム構成の一例を示す図である。
図2】サーバーのハードウェア構成の一例を示すブロック図である。
図3】PCのハードウェア構成の一例を示すブロック図である。
図4】本実施の形態におけるサーバーが備えるCPUが有する機能の一例を示す図である。
図5】環境情報設定画面の一例を示す図である。
図6】端末組テーブルの一例を示す図である。
図7】本実施の形態におけるPCが備えるCPUが有する機能の一例を示す図である。
図8】サーバー側リモート会議処理の流れの一例を示すフローチャートである。
図9】音声抑制処理の一例を示すフローチャートである。
図10】音声遮断処理の一例を示すフローチャートである。
図11】端末側リモート会議処理の一例を示すフローチャートである。
図12】第2の実施の形態におけるサーバーが備えるCPUが有する機能の一例を示す図である。
図13】第2の実施の形態におけるPCが備えるCPUが有する機能の一例を示す図である。
図14】第2の実施の形態におけるサーバー側リモート会議処理の流れの一例を示すフローチャートである。
図15】第2の実施の形態における端末側リモート会議処理の流れの一例を示す第1のフローチャートである。
図16】第2の実施の形態における端末側リモート会議処理の流れの一例を示す第2のフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【0014】
図1は、本発明の実施の形態の1つにおけるリモート会議システムのシステム構成の一例を示す図である。図1を参照して、リモート会議システム1は、サーバー100と、パーソナルコンピューター(以下「PC」という)200-1,200-2,200-3,200-4~200-Nとを含む。但し、Nは、正の整数であり、ここでは5以上である。サーバー100およびPC200-1~Nそれぞれは、インターネット5に接続され、互いに通信可能である。
【0015】
PC200-1~Nそれぞれは、カメラ、音声を集音するマイクロホン、音を出力するスピーカーを備えている。PC200-1~Nそれぞれは、一般的なコンピューターであり、その主なハードウェア構成および機能は同じである。
【0016】
なお、PC200-1~Nに代えて、カメラ、マイクロホン、スピーカーおよび通信機能を備えた装置であれば、PDA(Personal Digital Assistance)またはスマートフォン等の情報通信装置であってもよい。また、インターネット5に限らず、サーバー100およびPC200-1~Nが互いに通信可能であれば他のネットワークであってもよい。ネットワークとしては、例えば、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)であってもよい。
【0017】
リモート会議システム1において、会議の参加者がPC200-1~Nのいずれかを操作して会議に参加する。PC200-1~Nをそれぞれ操作する参加者を、ユーザーP-1~Nという。換言すれば、ユーザーP-n(nは1以上N以下の整数)は、PC200-nを操作する。本実施の形態において、PC200-1、PC200-2およびPC200-3が拠点Aに配置され、PC200-4~Nが拠点Aとは別の場所に配置される場合を例に説明する。拠点Aは、例えば、建物の部屋を示す。以下、PC200-1~Nを総称してPC200という。
【0018】
PC200-1~Nそれぞれには、会議に参加するためのプログラムがインストールされており、PC200-1~Nそれぞれがサーバー100と通信することによって、会議が開催される。PC200-1~Nそれぞれにインストールされるプログラムは、サーバー100と通信するための専用のプログラムの他、サーバー100がWebサービスを提供している場合には、一般的なブラウザプログラムであってもよい。
【0019】
サーバー100が、リモート会議プログラムを実行することによりリモート会議システムが実現される。サーバー100は、PC200-1~Nと通信し、PC200-1~Nそれぞれから受信するデータを他のPC200-1~Nそれぞれに送信する。
【0020】
PC200-1~Nそれぞれとサーバー100との間で送受信されるデータは、音声を示す音声データ、画像を示す画像データおよびアプリケーションデータを含む。画像は、静止画像と動画像を含む。PC200-1~Nそれぞれとサーバー100との間で送受信されるデータは、圧縮されたデータであってもよいし、圧縮されていないデータであってもよい。
【0021】
サーバー100は、PC200-1~Nそれぞれに送信するデータを統括する。例えば、サーバー100は、PC200-1~Nそれぞれから受信される音声のデータを、PC200-1~Nすべてに送信することが可能である。また、サーバー100は、画像データについては、PC200-1~Nそれぞれから受信される画像のデータを集約し、PC200-1~Nそれぞれに送信することが可能である。
【0022】
サーバー100は、PC200-1~Nそれぞれからの要求に応じて、送信する音声データ、画像データおよびアプリケーションデータを決定し、送信する。したがって、PC200-1~Nそれぞれに表示される画像は、同じ場合もあれば異なる場合があり、PC200-1~Nそれぞれから出力される音声は、同じ場合もあれば異なる場合がある。なお、PC200-1~Nそれぞれが、サーバー100から受信される複数の音声データを加工して、出力してもよい。この場合、サーバー100は、音声データを加工する処理が不要になるので、負荷が低減する。また、PC200-1~Nそれぞれが、サーバー100から受信される複数の画像データを加工して、表示してもよい。この場合、サーバー100は、複数の画像データを加工する処理が不要になるので、負荷が低減する。
【0023】
図2は、サーバーのハードウェア構成の一例を示すブロック図である。図2を参照して、サーバー100は、演算処理を行うコンピューターであり、それぞれがバス113に接続された、サーバー100の全体を制御するための中央演算装置(CPU)101と、CPU101が実行するためのプログラムを記憶するROM(Read Only Memory)102と、CPU101の作業領域として使用されるRAM(Random Access Memory)103と、データを不揮発的に記憶するHDD104と、CPU101をインターネット5に接続する通信部105と、画像を表示する表示部106と、操作の入力を受け付ける操作部107と、外部記憶装置110と、を含む。
【0024】
通信部105は、サーバー100をインターネット5に接続するためのインターフェースである。このため、CPU101は、通信部105を介して、インターネット5に接続されたPC200-1~100Nと通信可能である。
【0025】
外部記憶装置110は、CD-ROM(Compact Disk Read Only Memory)111が装着される。CPU101は、外部記憶装置110を制御して、CD-ROM111に記憶されたデータを読み出す。
【0026】
本実施の形態においては、CPU101は、ROM102またはHDD104に記憶されたプログラムを実行する。また、CPU101は、外部記憶装置110を制御して、CD-ROM111からCPU101が実行するためのプログラムを読出し、読み出したプログラムをRAM103に記憶して実行してもよい。
【0027】
さらに、CPU101は、インターネット5に接続されたコンピューターからプログラムをダウンロードしてHDD104に記憶する。また、インターネット5に接続されたコンピューターがプログラムをHDD104に書込みする場合に、HDD104にプログラムが記憶される。CPU101は、HDD104に記憶されたプログラムをRAM103にロードして実行してもよい。
【0028】
なお、CPU101が実行するためのプログラムを記憶する記録媒体としては、CD-ROM111に限られず、フレキシブルディスク、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、ICカード、光カード、マスクROM、EPROM(Erasable Programmable ROM)等の半導体メモリ等の媒体でもよい。ここでいうプログラムは、CPU101により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0029】
図3は、PCのハードウェア構成の一例を示すブロック図である。図3を参照して、PC200は、演算処理を行うコンピューターであり、それぞれがバス213に接続された、PC200の全体を制御するためのCPU201と、CPU201が実行するためのプログラムを記憶するROM202と、CPU201の作業領域として使用されるRAM203と、データを不揮発的に記憶するHDD204と、CPU201をインターネット5に接続する通信部205と、画像を表示する表示部206と、ユーザーである参加者による操作の入力を受け付ける操作部207と、参加者を撮像するカメラ208と、音声を出力するスピーカー209と、操作者の音声を集音するマイクロホン210と、外部記憶装置211と、GPS受信器212と、を含む。
【0030】
外部記憶装置211は、CD-ROM211Aが装着される。CPU201は、外部記憶装置211を制御して、CD-ROM211Aに記憶されたデータを読み出す。
【0031】
カメラ208、スピーカー209およびマイクロホン210の少なくとも2つが一体となったモジュールがPC200に接続されてもよい。モジュールは、例えば、スピーカー209およびマイクロホン210が一体となったヘッドセットを含む。
【0032】
GPS受信器212は、複数のGPS(Global Positioning System)衛星が送信する信号を受信し、それらの信号を解析することにより、位置を算出する。GPS受信器212は、検出された位置を示す位置情報をCPU201に出力する。なお、PC200は、GPS受信器212を備えなくてもよい。この場合、ユーザーがPC200に位置情報を入力し、HDD204に位置情報が記憶されてもよい。
【0033】
図4は、本実施の形態におけるサーバーが備えるCPUが有する機能の一例を示す図である。図4に示す機能は、サーバー100が備えるCPU101が、ROM102、HDD104またはCD-ROM111に記憶されたサーバー側リモート会議プログラムを実行することにより、CPU101により実現される機能である。サーバー側リモート会議プログラムは、リモート会議プログラムの一部である。図4を参照して、CPU101は、音声受信部11と、音声変換部13と、音声転送部15と、環境検出部17と、端末組決定部19と、を含む。
【0034】
環境検出部17は、リモート会議に参加するユーザーP-1~Nの環境情報を検出する。環境情報は、リモート会議に参加する複数のユーザーP-1~N間の相対的な位置関係を特定することが可能な情報である。
【0035】
環境検出部17は、ユーザーP-1~Nそれぞれが決定する第1種類の情報に基づき環境情報を検出する。第1種類の情報は、ユーザーP-1~Nそれぞれが決定する情報である。環境検出部17は、第1種類の情報を、PC200-1~Nをそれぞれ操作するユーザーP-1~Nにより入力される操作を受け付けることにより取得する。ここでは、第1種類の情報を、二人の参加者の間で相手の声が聞こえることを示す相対位置情報とする場合を例に説明する。
【0036】
環境検出部17は、PC200-1に環境情報設定画面を表示させ、PC200-1を操作するユーザーP-1が、環状情報設定画面に従ってPC200-1に入力する相対位置情報を第1の種類の情報として取得する。
【0037】
図5は、環境情報設定画面の一例を示す図である。図5は、リモート会議に5人のユーザーP-1~P5が参加する場合にPC200-1に表示される環境情報設定画面を示している。ここでは、ユーザーP-1~5のアカウント名をそれぞれA,B,C,D,Eとしている。アカウント名の左にアイコンが表示される。アイコンは、ユーザーに固有の画像であり、例えば、ユーザーの顔写真である。なお、図においては、アイコンは、簡略化した同一の画像で示されるが、実際には異なる画像である。
【0038】
環境情報設定画面の最上段にユーザーP-1のアカウント名およびアイコンが表示され、ユーザーP-1が設定するための環境情報設定画面であることが示される。ユーザーP-2~5のアカウントの上段に「会議参加者から近くの人を選択して下さい」のメッセージが表示される。また、ユーザーP-1~5それぞれのアイコンの左にチェックボックスが表示される。
【0039】
ユーザーP-1は、他のユーザーP-2~5のうちに、ユーザーP-1から近くに位置するユーザーのチェックボックスにレ点を付加する操作を入力することにより、PC200-1に相対位置情報が入力される。ユーザーP-1から近くに位置するユーザーは、ユーザーP-1がその者が発声する音声を聞き取ることのできる距離に位置するユーザーである。図5においては、アカウント名がBのユーザーP-2のチェックボックスにレ点が付加されていることが示される。この場合、ユーザーP-1によりユーザーP-2のユーザー識別情報がPC200-1に入力される。PC200-1は、ユーザーP-1とユーザーP-2とので相手の声が聞こえることを示す相対位置情報を、サーバー100に送信する。この場合における相対位置情報は、ユーザーP-1とユーザーP-2それぞれを識別するためのユーザー識別情報を含む。
【0040】
本実施の形態においては、ユーザーP-1とユーザーP-2とユーザーP-3とが同一拠点Aに位置する。ここでは、ユーザーP-1は、ユーザーP-2が発声する声が聞こえるがユーザーP-3が発声する声が聞こえない場合、ユーザーP-2は、ユーザーP-1およびユーザーP-3それぞれが発声する声が聞こえる場合、ユーザーP-3は、ユーザーP-1が発声する声が聞こえるがユーザーP-1が発声する声が聞こえない場合について説明する。
【0041】
図4に戻って、環境検出部17は、PC200-1~3それぞれから相対位置情報が入力される。PC200-1から入力される相対位置情報は、ユーザーP-1およびユーザーP-2それぞれのユーザー識別情報を含む。PC200-2からは2つの相対位置情報が入力され、1つはユーザーP-2およびユーザーP-1それぞれのユーザー識別情報を含み、他の1つは、ユーザーP-2およびユーザーP-3それぞれのユーザー識別情報を含む。PC200-3から入力される相対位置情報は、ユーザーP-3およびユーザーP-1それぞれのユーザー識別情報を含む。PC200-2から入力される2つの相対位置情報のうち1つは、PC200-1から入力される相対位置情報と同じであり、他の1つはPC200-3から入力される相対位置情報と同じである。なお、ここでは、ユーザーP-1~3それぞれから相対位置情報が入力される例を示すが、複数の参加者の少なくとも1人により入力されてもよい。本例の場合は、ユーザーP-2が相対位置情報を入力することになる。
【0042】
ユーザーP-1~NとPC200-1~Nとを対応付けた対応テーブルが予めHDD104に記憶されている。環境検出部17は、対応テーブルを参照して、PC200-2から入力される相対位置情報に基づいて、ユーザーP-1が操作するPC200-1およびユーザーP-2が操作するPC200-2それぞれの装置識別情報を含む環境情報と、ユーザーP-2が操作するPC200-2およびユーザーP-3が操作するPC200-3それぞれの装置識別情報を含む環境情報と、を検出する。環境検出部17は、検出された環境情報を端末組決定部19に出力する。
【0043】
端末組決定部19は、環境検出部17から入力される環境情報に基づいて端末組を決定する。端末組は、PC200-1~Nのうちから選ばれた2つで構成される。端末組決定部19は、環境情報に含まれる2つの装置識別情報で特定される2つの装置を端末組に決定する。端末組決定部19は、2つの端末組を端末種別決定部21に出力する。
【0044】
本実施の形態においては、端末組決定部19は、環境検出部17から2つの環境情報が入力される。端末組決定部19は、1つの環境情報に基づいて、PC200-1とPC200-2からなる端末組を決定し、他の1つの環境情報に基づいて、PC200-2とPC200-3からなる端末組を決定する。端末組決定部19は、端末組を示す端末組テーブルをHDD104に記憶する。
【0045】
図6は、端末組テーブルの一例を示す図である。図6を参照して、縦および横にユーザーP-1~P-2それぞれのユーザー識別情報が並んで記載される。なお、ここでは、PC200-1、2,3およびNが記載され、PC200-4~(N-1)についての記載は省略されている。図6を参照して、PC200-1とPC200-2とが端末組であることが示され、PC200-2とPC200-3とが端末組であることが示され、他の任意の2つの組は端末組でないことが示される。
【0046】
図4に戻って、音声受信部11は、通信部105を制御し、PC200-1~Nのいずれかから音声データを受信する。音声受信部11は、音声データを受信することに応じて、その音声データを音声変換部13に出力する。また、音声受信部11は、PC200-1~Nのうち音声データを送信してきた装置を識別するための装置識別情報を音声変換部13および端末種別決定部21に出力する。音声受信部11は、PC200-1~Nのうちの2以上それぞれから同時に音声データを受信する場合がある。
【0047】
端末種別決定部21は、端末組決定部19から端末組が入力され、音声受信部11から音声データを送信してきた装置の装置識別情報が入力される。端末種別決定部21は、第1端末決定部23と、第2端末決定部25と、第3端末決定部27と、を含む。
【0048】
第1端末決定部23は、音声受信部11から装置識別情報が入力されることに応じて、装置識別情報で特定される装置を第1端末に決定する。第1端末決定部23は、第1端末を識別するための装置識別情報を音声変換部13に出力する。
【0049】
第2端末決定部25は、端末組決定部19から入力される端末組を参照して、第1端末と組みになる装置を第2端末に決定する。第2端末決定部25は、第2端末を識別するための装置識別情報を音声変換部13に出力する。
【0050】
第3端末決定部27は、PC200-1~Nのうち第1端末および第2端末以外の装置を第3端末に決定する。第3端末決定部27は、第3端末を識別するための装置識別情報を音声変換部13に出力する。
【0051】
端末種別決定部21は、音声データに相対して第1端末、第2端末および第3端末を決定する。ここで説明のために、PC200-1~Nからそれぞれ受信される音声データを音声データD-1~Nという。ここでは、PC200-1とPC200-2とが端末組に決定されており、PC200-2とPC200-3とが端末組に決定されている。音声データD-1に対してPC200-1が第1端末に決定され、PC200-2が第2端末に決定され、他のPC200-3~Nが第3端末に決定される。同様に、音声データD-2に対してPC200-2が第1端末に決定され、PC200-1およびPC200-3が第2端末に決定され、他のPC200-4~Nが第3端末に決定される。音声データD-3に対してPC200-3が第1端末に決定され、PC200-2が第2端末に決定され、他のPC200-1,4~Nが第3端末に決定される。
【0052】
端末組で特定される2つの装置から同時に音声データが受信される場合がある。同時に入力される2つの音声データをそれぞれ送信する2つの装置が端末組を構成する場合、2つの音声データのいずれか一方が優先される。2つの音声データのいずれを優先するかは、先に受信された一方としてもよいし、音量が大きな一方としてもよいし、任意の一方としてもよい。ここでは、端末種別決定部21は、受信されるタイミングが先の音声データを後の音声データよりも優先する場合を例に説明する。
【0053】
音声変換部13は、音声受信部11から音声データが入力され、端末種別決定部21からその音声データに対する第1端末、第2端末および第3端末それぞれの装置識別情報が入力される。音声変換部13は、音声受信部11から入力される音声データを、出力先ごとに変換する。
【0054】
音声変換部13は、音声抑制部31と、音声遮断部33と、を含む。音声抑制部31は、第1端末から受信される音声データであって第2端末に送信する音声データを抑制する。音声抑制部31は、第1端末から受信される音声データであって第3端末に送信する音声データを抑制しない。具体的には、音声抑制部31は、第1端末から受信される音声データを第2端末に送信しない設定にする。また、音声抑制部31は、第1端末から受信される音声データの音量レベルを第3端末に送信する音声データの音量レベルよりも小さき値に設定する。音量レベルは、音声データの一部であり、音声データの音声を再生する際の音量を示す値である。
【0055】
音声遮断部33は、第1端末から音声データが受信されている最中にその音声データに対する第2端末から受信される音声データを遮断する。具体的には、音声遮断部33は、第1端末から音声データが受信されている最中にその音声データに対する第2端末から受信される音声データを第1端末および第3端末に送信しない設定にする。
【0056】
端末組に含まれる2つの装置識別情報でそれぞれ特定される2つの装置は、それらを操作する2人のユーザーは、相手が発声した声が聞こえる位置関係にある。ここで、PC200-1とPC200-2とが端末組に含まれ、かつ、PC200-2とPC200-3とが端末組に含まれる場合を例に、具体的に説明する。この場合、ユーザーP-1およびユーザーP-3それぞれは、ユーザーP-2が発声した音声を直接聞くことになる。一方、ユーザーP-2がリモート会議で発声した音声は、PC200-2が備えるマイクロホン210で集音されるので、音声受信部11は、PC200-2からユーザーP-2が発声した音声を示す音声データD-2を受信する。この場合、音声データD-2に対してPC200-2が第1端末であり、PC200-1およびPC200-3が第2端末であり、PC200-4~Nが第3端末に決定される。
【0057】
音声データD-2に対してPC200-1およびPC200-3が第2端末なので、音声抑制部31は、PC200-2から受信される音声データD-2を、PC200-1およびPC200-3に送信しない設定にする。このため、PC200-1およびPC200-3が備えるスピーカー209から音声データD-2を再生した音声が出力されない。したがって、ユーザーP-1およびP-3それぞれに、2つの音源から同一の音声を聞かせないようにできる。また、音声抑制部31は、PC200-2から受信される音声データD-2であって、PC200-1およびPC200-3を出力先とする音声データD-2の音声レベルを低い値に設定する。このため、PC200-1およびPC200-3が備えるスピーカー209から音声データD-2を再生した音声が小さな音量で出力される。したがって、ユーザーP-1およびユーザーP-3に、2つの音源から同一の音声をそれぞれの音量を異ならせて聞かせることができる。
【0058】
また、ユーザーP-2がリモート会議で発声した音声は、PC200-2が備えるマイクロホン210で集音されるとともに、PC200-1およびPC200-3それぞれが備えるマイクロホン210でも集音される。このため、音声受信部11は、PC200-2からユーザーP-2が発声した音声を示す音声データD-2を受信するとともに、PC200-1からユーザーP-2が発声した音声を示す音声データD-1およびPC200-3からユーザーP-2が発声した音声を示す音声データD-3を受信する。音声遮断部33は、音声データD-2が受信されている最中に音声データD-2に対する第2端末であるPC200-1およびPC200-3それぞれから受信される音声データD-1および音声データD-3を、PC200-2,4~Nに送信しない設定にする。
【0059】
このため、PC200-2,4~Nそれぞれが備えるスピーカー209から音声データD-1および音声データD-3を再生した音声が出力されない。したがって、ユーザーP4~Nに、音声データD-2を再生した音声のみを聞かせることができる。また、音声遮断部33が音声データD-1および音声データD-3を遮断しない場合、音声データD-1が、ユーザーP-1が発声した音声と誤って認識されるとともに、音声データD-3が、ユーザーP-3が発声した音声と誤って認識される。特に、音声データを音声認識して得られる文字列を、発言者の氏名などと関連付けて表示または記録する処理が実行される場合に、関連付けに誤りが発生する。音声遮断部33は、音声データD-1に対する第2端末であるPC200-2から受信される音声データD-2を遮断するので、文字列と発言者の氏名の関連付けの誤りの発生を防止することができる。
【0060】
音声転送部15は、音声変換部13から音声データごとに、その音声データに対する第1端末、第2端末および第3端末と、その音声データを変換した音声データが入力される。音声転送部15は、通信部105を制御して、第1端末、第2端末および第3端末それぞれに、音声データを送信する。具体的には、音声転送部15は、第1端末から受信された音声データを、第1端末から受信された音声データに対する第3端末に送信し、第2端末に送信しないか、音声レベルを第3端末に送信する音声データの音声レベルより低下させて送信する。また、音声転送部15は、第1端末から受信された音声データに対する第2端末から受信された音声データを、第1端末から受信された音声データに対する第1端末および第3端末に送信しない。なお、音声転送部15は、PC200-1~Nのうち1つの装置に、複数の装置からそれぞれ受信された複数の音声データを送信してもよいし、複数の音声データを合成した1つの音声データを送信してもよい。
【0061】
図7は、本実施の形態におけるPCが備えるCPUが有する機能の一例を示す図である。図7に示す機能は、PC200が備えるCPU201が、ROM202、HDD204またはCD-ROM211Aに記憶された端末側リモート会議プログラムを実行することにより、CPU201により実現される機能である。端末側リモート会議プログラムは、リモート会議プログラムの一部である。図7を参照して、PC200が備えるCPU201は、端末側送信部251と、音声入力制御部253と、端末側受信部255と、音声出力制御部257と、位置情報送信部259と、位置情報受付部261と、を含む。
【0062】
音声入力制御部253は、マイクロホン210が出力するアナログの音声データが入力される。音声入力制御部253は、アナログの音声データをデジタルの音声データに変換し、変換後の音声データを端末側送信部251に出力する。なお、音声入力制御部253は、音声データを圧縮し、圧縮された音声データを端末側送信部251に出力してもよい。端末側送信部251は、通信部205を制御して、音声入力制御部253から入力される音声データをサーバー100に送信する。
【0063】
端末側受信部255は、通信部205を制御して、サーバー100から音声データを受信する。端末側受信部255は、サーバー100から受信された音声データを音声出力制御部257に出力する。音声出力制御部257は、音声データを再生する。具体的には、音声出力制御部257は、デジタル信号の音声データをアナログ信号に変換し、アナログの音声データをスピーカー209に出力する。これによりスピーカー209から音声データの音声が出力される。
【0064】
位置情報受付部261は、PC200の位置情報を受け付ける。位置情報受付部261は、サーバー100から図5に示した環境情報設定画面を受信し、表示部206に環境情報設定画面を表示する。位置情報受付部261は、ユーザーが操作部207に入力する相対位置情報を受け付ける。相対位置情報は、その者の発声する音声を聞き取ることのできるユーザーのユーザー識別情報である。位置情報受付部261は、相対位置情報を位置情報送信部259に出力する。位置情報送信部259は、通信部205を制御して、相対位置情報をサーバー100に送信する。
【0065】
図8は、サーバー側リモート会議処理の流れの一例を示すフローチャートである。サーバー側リモート会議処理は、サーバー100が備えるCPU101が、ROM102、HDD104またはCD-ROM111に記憶されたサーバー側リモート会議プログラムを実行することにより、CPU101により実行される処理である。図8を参照して、サーバー100が備えるCPU101は、参加者情報を取得し(ステップS01)、処理をステップS02に進める。CPU101は、ユーザーP-1~NそれぞれがPC200-1~Nそれぞれを操作してサーバー100にログインする操作をする場合に、ログインを許可したユーザーをリモート会議の参加者と判断する。CPU101は、参加者であるユーザーのユーザー識別情報を参加者情報として取得する。ここでは、ユーザーP-1~Nのログインを許可する場合を例に説明する。
【0066】
ステップS02においては、環境情報が取得され、処理はステップS03に進む。ユーザーP-1~Nがそれぞれ操作するPC200-1~Nに、環境情報設定画面を送信し、ユーザーP-1~Nが入力する操作に従ってPC200-1~Nそれぞれから送信される相対位置情報を取得する。そして、相対位置情報から環境情報が取得される。
【0067】
ステップS03においては、端末組が決定され、処理はステップS04に進む。環境情報は、互いの声が聞こえる2人のユーザーがそれぞれ操作するPC200を識別するための装置識別情報を含む。CPU101は、1以上の環境情報に基づいて1以上の端末組を決定する。CPU101は、端末組テーブルを生成し、HDD104に端末組テーブルを記憶する。ここでは、PC200-1とPC200-2との端末組と、PC200-2とPC200-3との端末組と、が決定される場合について説明する。
【0068】
ステップS04においては、音声データの受信が開始されたか否かが判断される。音声データの受信が開始されたならば処理はステップS05に進むが、そうでなければ処理はステップS08に進む。PC200-1~Nのいずれかから音声データが受信されたか否かにより判断される。
【0069】
ステップS05においては、音声抑制処理が実行され、処理はステップS06に進む。ステップS06においては、音声遮断処理が実行され、処理はステップS07に進む。
【0070】
図9は、音声抑制処理の一例を示すフローチャートである。音声抑制処理が実行される前の段階でPC200-1~Nのいずれかから音声データが受信されている。図9を参照して、音声データに対する第1端末が決定され(ステップS21)、処理はステップS22に進む。PC200-1~Nのうち音声データを送信してきた装置が第1端末に決定される。例えば、PC200-2が第1端末に決定される場合を例に説明する。
【0071】
ステップS22においては、音声データに対応する第2端末が存在するか否かが判断される。HDD104に記憶された端末組テーブルを参照して、第1端末であるPC200-2と端末組になる第2端末が存在するか否かが判断される。第1端末であるPC200-2の装置識別情報を含む端末組が端末組テーブルに含まれているか否かが判断される。第1端末であるPC200-2の装置識別情報を含む端末組が存在すれば、その端末組に基づいて第2端末が決定される。第1端末に対応する第2端末が存在すれば処理はステップS23に進むが、そうでなければ処理はサーバー側リモート会議処理に戻る。ここでは、PC200-2とPC200-1およびPC200-3とが端末組に設定されているので、第2端末としてPC200-1およびPC200-3が特定される。
【0072】
ステップS23においては、第2端末に対する音声データの送信方法が抑制送信に設定され、処理はサーバー側リモート会議処理に戻る。第2端末に対する音声データは第1端末であるPC200-2から送信された音声データである。抑制送信の送信方法は、音声データを送信しない処理、または、音声データをその音量レベルを小さくした音声データに変換して送信する処理のいずれかである。
【0073】
図10は、音声遮断処理の一例を示すフローチャートである。図10を参照して、第1端末から音声データを受信中か否かが判断される(ステップS31)。第1端末から音声データを受信中ならば処理はステップS32に進むが、そうでなければ処理はサーバー側リモート会議処理に戻る。
【0074】
ステップS32においては、第2端末から音声データが受信されたか否かが判断される。ここでの第2端末は、第1端末から送信された音声データに対して決定された第2端末であり、PC200-1またはPC200-3である。第2端末から音声データが受信されたならば(ステップS32でYES)、処理はステップS33に進むが、そうでなければ処理はサーバー側リモート会議処理に戻る。
【0075】
ステップS33においては第3端末が決定され、処理はステップS34に進む。第1端末から送信された音声データに対する第3端末が決定される。ここでは、PC200-4~Nが第3端末に決定される。
【0076】
ステップS34においては、第2端末に対する音声データの送信方法が遮断に設定され、処理はサーバー側リモート会議処理に戻る。
【0077】
図8に戻って、ステップS07においては、音声データが転送され、処理はステップS08に進む。CPU101は、第1端末から受信された音声データを第2端末に送信する送信方法が抑制送信に設定されている場合、第1端末から受信された音声データを第2端末に送信しないか、または、音量レベルを小さくした音声データに変換した音声データを送信する。ここでは、CPU101は、第1端末であるPC200-2から受信された音声データD-2を、音声データD-2に対する第2端末であるPC200-1およびPC200-3に送信しないか、音量レベルを小さくした音声データを送信する。また、CPU101は、第2端末から受信された音声データを送信する送信方法が遮断に設定されている場合、CPU101は、第2端末から受信された音声データを第1端末および第3端末に送信しない。
【0078】
ここでは、CPU101は、第2端末であるPC200-1から受信された音声データD-1を、音声データD-2に対する第1端末であるPC200-2および第3端末であるPC200-3~Nに送信しない。また、CPU101は、音声データD-2に対する第2端末であるPC200-3から受信された音声データD-3を、音声データD-2に対する第1端末であるPC200-2および第3端末であるPC200-1,4~Nに送信しない。CPU101は、第1端末から受信された音声データを、第3端末に、そのままの状態で送信する。ここでは、CPU101は、音声データD-2に対する第1端末であるPC200-2から受信された音声データD-2を、音声データD-2に対する第3端末であるPC200-4~Nそれぞれにそのままの状態で送信する。
【0079】
ステップS08においては、会議が終了したか否かが判断される。PC200-1~Nのいずれかから終了コマンドを受信する場合に会議が終了したと判断される。会議が終了したならば処理は終了するが、そうでなければ処理はステップS04に戻る。
【0080】
PC200-2と端末組を構成する2つのPC200-1およびPC200-3から同時に音声データが受信される場合がある。例えば、PC200-1から音声データD-1が受信されている最中に、PC200-3から音声データD-3が受信される場合がある。音声データD-3に対して、PC200-3が第1端末に決定され、PC200-2が第2端末に決定され、PC200-1、4~Nが第3端末に決定される。このため、音声データD-3は、音声データD-3に対する第2端末であるPC200-2には送信されないか、または、音量レベルが小さな音声データとして送信される。そして、音声データD-3に対する第2端末であるPC200-2から受信される音声データD-2は、音声データD-3に対する第1端末および第3端末であるPC200-3,1,4~Nには送信されない。CPU101は、音声データD-3を、音声データD-3に対する第3端末であるPC200-1、4~Nそれぞれにそのままの状態で送信する。
【0081】
図11は、端末側リモート会議処理の一例を示すフローチャートである。端末側リモート会議処理は、PC200が備えるCPU201が、ROM202、HDD204またはCD-ROM211Aに記憶された端末側リモート会議プログラムを実行することにより、CPU201により実行される処理である。端末側リモート会議プログラムは、リモート会議プログラムの一部である。
【0082】
図11を参照して、PC200が備えるCPU201は、表示部206に環境情報設定画面を表示し(ステップS51)、処理をステップS52に進める。CPU201は、通信部205がサーバー100から環境情報設定画面を受信することに応じて、環境情報設定画面を表示する。
【0083】
ステップS52においては、相対位置情報が受け付けられたか否かが判断される。ユーザーが操作部207に入力する操作に従って相対位置情報が受け付けられる。相対位置情報が受け付けられたならば(ステップS52でYES)、処理はステップS53に進むが、そうでなければ処理はステップS51に戻る。ステップS53においては、サーバー100に相対位置情報が送信され、処理はステップS54に進む。CPU201は、通信部205を制御して、サーバー100に相対位置情報を送信する。
【0084】
ステップS54においては、音声が入力されたか否かが判断される。CPU201は、スピーカー209の出力を解析しており、スピーカー209が出力する音声データから音声が検出されると音声が入力されたと判断される。音声が入力されたならば処理はステップS55に進むが、そうでなければ処理はステップS56に進む。ステップS55においては、サーバー100に音声データが送信され、処理はステップS58に進む。CPU201は、通信部205を制御して、音声データをサーバー100に送信する。
【0085】
ステップS56においては、サーバー100から音声データが受信されたか否かが判断される。通信部205がサーバー100から音声データを受信したか否かが判断される。音声データが受信されたならば処理はステップS57に進むが、そうでなければ処理はステップS58に進む。ステップS57においては、受信された音声データが、その音声データにおいて定められる音量レベルの音量で再生され、処理はステップS58に進む。
【0086】
ステップS58においては、会議が終了したか否かが判断される。CPU201は、通信部205がサーバー100から会議の終了を示す信号を受信すると会議が終了したと判断する。会議が終了していなければ処理はステップS54に戻るが、そうでなければ処理は終了する。
【0087】
<第1の変形例>
サーバー100が備えるCPU101が有する環境検出部17は、第2種類の情報に基づいて、PC200-1~Nをそれぞれ操作するユーザーP-1~Nにより入力される操作を必要とすることなく自動的に環境情報を検出してもよい。第2種類の情報は、PC200-1~Nにより検出される情報またはPC200-1~Nに対した予め定められた情報に基づき決定される情報である。
【0088】
PC200が備えるCPU201が有する位置情報受付部261は、GPS受信器212を制御して、絶対位置を取得する。位置情報送信部259は、位置情報受付部261により取得された絶対位置を示す絶対位置情報をサーバー100に送信する。
【0089】
また、環境検出部17は、PC200-1~Nが配置される位置が予め定められた位置テーブルが予め準備されている場合、環境検出部17は、位置テーブルを取得し、PC200-1~Nそれぞれの現在位置を示す絶対位置情報を第2種類の情報として取得する。位置テーブルは、ユーザーP-1~Nの座席を定める座席表であってもよい。
【0090】
環境検出部17は、PC200-1~Nそれぞれから絶対位置情報を取得する場合、PC200-1~Nのうちから相対距離が所定の距離L以下の2つの装置を特定し、特定された2つの装置それぞれの装置識別情報を含む環境情報を検出する。環境検出部17は、検出された環境情報を端末組決定部19に出力する。
【0091】
また、PC200-1~Nそれぞれが備える通信部205が、近距離無線通信機能を有する場合、環境検出部17は、PC200-1~Nそれぞれから、近距離無線通信機能で通信可能な装置を識別するための第1装置識別情報を第2種類の情報として取得してもよい。近距離無線通信機能は、例えば、WiFiまたはBluetooth(登録商標)である。また、近距離無線通信機能は、赤外線を用いた通信機能であってもよい。環境検出部17は、PC200-1~Nそれぞれから取得された第1装置識別情報と、第1装置識別情報を送信してきた装置を識別するための第2装置識別情報とを含む相対情報を決定する。
【0092】
環境検出部17は、PC200-1~Nのいずれかから入力される相対位置情報に基づいて、相対位置情報に含まれる2つの装置識別情報を含む環境情報を検出する。環境検出部17は、検出された環境情報を端末組決定部19に出力する。
【0093】
<第2の変形例>
サーバー100が備えるCPU101が有する環境検出部17は、第1種類の情報および第2種類の情報に基づいて、環境情報を検出してもよい。例えば、環境検出部17は、第2種類の情報に基づいて決定された環境情報のリストをPC200-1に表示させ、PC200-1を操作するユーザーP-1が、リストで表示された環状情報のうちから選択することにより、選択された環境情報を実際に使用する環境情報に確定させてもよい。
【0094】
<第2の実施の形態>
第1の実施の形態におけるリモート会議システム1は、サーバー100において音声データを変換する。第2の実施の形態におけるリモート会議システム1は、PC200-1~Nそれぞれで音声データを変換する。以下、第2の実施の形態におけるリモート会議システム1について、第1の実施の形態におけるリモート会議システム1と異なる点を主に説明する。
【0095】
第2の実施の形態におけるリモート会議システムのシステム構成は、図1に示したシステム構成と同じである。第2の実施の形態におけるサーバー100のハードウェア構成は、図2に示したハードウェア構成と同じである。第2の実施の形態におけるPC200-1~Nのハードウェア構成は、図3に示したハードウェア構成と同じである。したがって、これらについての説明は繰り返さない。
【0096】
図12は、第2の実施の形態におけるサーバーが備えるCPUが有する機能の一例を示す図である。図12を参照して、サーバー100が備えるCPU101は、音声受信部11と、音声転送部15と、を含む。音声受信部11は、PC200-1~Nのいずれかから音声データを受信し、音声転送部15に出力する。音声転送部15は、音声受信部11から入力された音声データを、PC200-1~Nのうちその音声データを送信してきた装置以外の全てに送信する。例えば、PC200-1から受信された音声データは、PC200-2~Nそれぞれに送信される。
【0097】
図13は、第2の実施の形態におけるPCが備えるCPUが有する機能の一例を示す図である。図13を参照して、図7に示した機能と異なる点は、音声変換部13A、環境検出部17A、端末組決定部19A、端末種別決定部21Aおよび位置情報受信部263が追加された点、音声出力制御部257および位置情報送信部259が音声出力制御部257Aおよび位置情報送信部259Aにそれぞれ変更された点である。その他の機能は、図7と同じなので、ここでは説明を繰り返さない。PC200-1~Nが有する機能は同じなので、ここではPC200-1の機能を例に説明する。
【0098】
図5に示した環境情報設定画面がPC200-1のHDD204に格納されている。位置情報受付部261は、図5に示した環境情報設定画面を表示部206に表示する。位置情報受付部261は、ユーザーが操作部207に入力する相対位置情報を受け付け、相対位置情報を位置情報送信部259Aに出力する。位置情報送信部259Aは、通信部205を制御して、相対位置情報を他のPC200-2~Nにそれぞれ送信する。なお、相対位置情報は、サーバー100を経由して他のPC200-2~Nに送信されてもよい。
【0099】
位置情報受信部263は、通信部205を制御して、他のPC200-2~Nそれぞれから相対位置情報を受信する。位置情報受信部263は、PC200-2~Nそれぞれから相対位置情報を環境検出部17Aに出力する。
【0100】
環境検出部17Aは、リモート会議に参加するユーザーP-1~Nの環境情報を検出する。本実施の形態においては、ユーザーP-1は、ユーザーP-2が発声する声が聞こえるがユーザーP-3が発声する声が聞こえない場合、ユーザーP-2は、ユーザーP-1およびユーザーP-3それぞれが発声する声が聞こえる場合、ユーザーP-3は、ユーザーP-1が発声する声が聞こえるがユーザーP-1が発声する声が聞こえない場合について説明する。
【0101】
環境検出部17Aは、HDD204に予め記憶されたユーザーP-1~NとPC200-1~Nとを対応付けた対応テーブルを参照して、位置情報受付部261から入力される相対位置情報と、位置情報受信部263から入力される相対位置情報とに基づいて、環境情報を検出する。環境検出部17Aは、検出された環境情報を端末組決定部19Aに出力する。
【0102】
端末組決定部19Aは、環境検出部17Aから入力される環境情報に基づいて端末組を決定する。端末組決定部19Aは、決定された端末組を端末種別決定部21Aに出力する。
【0103】
本実施の形態においては、端末組決定部19Aは、1つの環境情報に基づいて、1つの端末組を決定する。端末組決定部19Aは、図6に示した端末組を示す端末組テーブルをHDD204に記憶する。
【0104】
端末種別決定部21Aは、端末組決定部19Aから端末組が入力され、端末側受信部255から音声データを送信してきた装置の装置識別情報が入力され、音声入力制御部253から自装置の装置識別情報が入力される。端末種別決定部21は、第1端末決定部23と、第2端末決定部25と、第3端末決定部27と、を含む。
【0105】
第1端末決定部23Aは、音声入力制御部253または端末側受信部255のいずれから装置識別情報が入力されることに応じて、装置識別情報で特定される装置を第1端末に決定する。第1端末決定部23Aは、第1端末を識別するための装置識別情報を音声変換部13に出力する。音声入力制御部253からは自装置の装置識別情報が入力される。
【0106】
第2端末決定部25Aは、端末組決定部19Aから入力される端末組を参照して、第1端末と組になる装置を第2端末に決定する。第2端末決定部25Aは、第2端末を識別するための装置識別情報を音声変換部13に出力する。
【0107】
第3端末決定部27Aは、PC200-1~Nのうち第1端末および第2端末以外の装置を第3端末に決定する。第3端末決定部27Aは、第3端末を識別するための装置識別情報を音声変換部13Aに出力する。
【0108】
端末種別決定部21Aは、音声データに相対して第1端末、第2端末および第3端末を決定する。音声データに相対して決定される第1端末、第2端末および第3端末については、上述したのでここでは説明を繰り返さない。
【0109】
音声変換部13Aは、音声入力制御部253および端末側受信部255から音声データが入力され、端末種別決定部21Aからその音声データに対する第1端末、第2端末および第3端末それぞれの装置識別情報が入力される。音声変換部13は、音声受信部11から入力される音声データを、出力先ごとに変換する。
【0110】
音声変換部13Aは、音声抑制部31Aと、音声遮断部33Aと、を含む。音声抑制部31Aは、第1端末から受信される音声データに対して自装置が第2端末の場合、第1端末から受信される音声データを抑制する。具体的には、音声抑制部31Aは、第1端末から受信される音声データを再生しない設定にする。また、音声抑制部31Aは、第1端末から受信される音声データの音量レベルを通常設定されている音量レベルよりも低い値に設定する。音量レベルは、音声データの一部であり、音声データの音声を再生する際の音量を示す値である。
【0111】
音声遮断部33Aは、第2端末から受信される音声データを遮断する。具体的には、音声遮断部33Aは、端末側受信部255から入力される第2端末から受信された音声データを再生しない設定にする。
【0112】
端末組に含まれる2つの装置識別情報でそれぞれ特定される2つの装置は、それらを操作する2人のユーザーは、相手が発声した声が聞こえる位置関係にある。ここで、PC200-1とPC200-2とが端末組に含まれ、かつ、PC200-2とPC200-3とが端末組に含まれる場合を例に、具体的に説明する。この場合、ユーザーP-1およびユーザーP-3それぞれは、ユーザーP-2が発声した音声を直接聞くことになる。一方、ユーザーP-2がリモート会議で発声した音声は、PC200-2が備えるマイクロホン210で集音されるので、端末側受信部255は、PC200-2からユーザーP-2が発声した音声を示す音声データD-2を受信する。この場合、音声データD-2に対してPC200-2が第1端末であり、PC200-1およびPC200-3が第2端末であり、PC200-4~Nが第3端末に決定される。音声データD-2に対してPC200-1が第2端末なので、音声抑制部31Aは、音声データD-2を再生しない設定にする。このため、PC200-1が備えるスピーカー209から音声データD-2を再生した音声が出力されない。したがって、ユーザーP-1に、2つの音源から同一の音声を聞かせないようにできる。また、音声抑制部31Aは、音声データD-2の音声レベルを低い値に設定する。このため、PC200-1が備えるスピーカー209から音声データD-1を再生した音声が小さな音量で出力される。したがって、ユーザーP-1に、2つの音源から同一の音声をそれぞれの音量を異ならせて聞かせることができる。
【0113】
また、ユーザーP-2がリモート会議で発声した音声は、PC200-2が備えるマイクロホン210で集音されるとともに、PC200-3が備えるマイクロホン210でも集音される。このため、端末側受信部255は、PC200-3からユーザーP-2が発声した音声を示す音声データD-3を受信する。音声データD-2に対してPC200-3が第2端末なので、音声遮断部33Aは、第1端末であるPC200-2から音声データD-2を受信している最中に、音声データD-2に対する第2端末であるPC200-3から受信される音声データD-3を再生しない設定にする。
【0114】
このため、音声データD-3が再生されないので、PC200-1が備えるスピーカー209からユーザーP-2が発声した音声が出力されない。したがって、ユーザーP-1に、2つの音源からユーザーP-2が発声した同一の音声を聞かせないようにできる。
【0115】
音声出力制御部257Aは、音声変換部13により変換された音声データが入力される。音声出力制御部257Aは、再生しない設定がされた音声データを再生しない。また、音声出力制御部257Aは、音量レベルが低く設定された音声データを通常の音量レベルよりも低い音量レベルで再生する。
【0116】
図14は、第2の実施の形態におけるサーバー側リモート会議処理の流れの一例を示すフローチャートである。図14を参照して、図8に示した処理と異なる点は、ステップS02およびステップS03がステップS02AおよびステップS03Aに変更された点、ステップS05、ステップS06,が削除された点である。その他の処理は図8に示した処理と同じなので、ここでは説明を繰り返さない。ステップS02Aにおいて、相対位置情報が取得され、処理はステップS03Aに進む。ユーザーP-1~Nが入力する操作に従ってPC200-1~Nそれぞれから送信される相対位置情報が取得される。
【0117】
ステップS03Aにおいては、PC200-1~Nそれぞれに相対位置情報が送信され、処理はステップS04に進む。ステップS04において、音声データの受信が開始されると、処理はステップS07に進むが、そうでなければ処理はステップS08に進む。
【0118】
図15は、第2の実施の形態における端末側リモート会議処理の流れの一例を示す第1のフローチャートである。第2の実施の形態における端末側リモート会議処理が、図11に示した処理と異なる点は、ステップS53とステップS54との間にステップS61およびステップS62が追加された点、ステップS57がステップS63~ステップS66に変更された点である。その他の処理は図11に示した処理と同じなので、ここでは説明を繰り返さない。
【0119】
ステップS61においては、環境情報が取得され、処理はステップS62に進む。ステップS52において受け付けられた相対位置情報および他のPC200-1~Nそれぞれから受信される相対位置情報から環境情報が取得される。
【0120】
ステップS62においては、端末組が決定され、処理はステップS54に進む。環境情報は、互いの声が聞こえる2人のユーザーがそれぞれ操作するPC200を識別するための装置識別情報を含む。CPU201は、1以上の環境情報に基づいて1以上の端末組を決定する。CPU201は、端末組テーブルを生成し、HDD204に端末組テーブルを記憶する。ここでは、PC200-1とPC200-2との端末組と、PC200-2とPC200-3との端末組と、が決定される場合について説明する。
【0121】
ステップS56において、音声データが受信されたと判断される場合、処理はステップS63に進む。ステップS63においては、受信された音声データが第2端末の音声データか否かが判断される。ステップS56において受信された音声データに対して第1端末、第2端末および第3端末が決定されている。ステップS56において受信された音声データが第2端末から受信された音声データか否かが判断される。第2端末から送信された音声データが受信されたならば処理はステップS64に進むが、そうでなければ処理はステップS58に進む。したがって、第2端末から受信された音声データの音声は再生されない。
【0122】
ステップS63においては、第1端末の音声データでかつ自装置が第2端末か否かが判断される。ステップS56において受信された音声データに対して第1端末、第2端末および第3端末が決定されている。ステップS56において受信された音声データが第1端末から受信された音声データであって、かつ、その音声データに対して自装置が第2端末に該当するか否かが判断される。第1端末から送信された音声データが受信され、かつ、その音声データに対して自装置が第2端末に該当するならば処理はステップS65に進むが、そうでなければ処理はステップS66に進む。
【0123】
ステップS65においては、音声データが抑制再生され、処理はステップS58に進む。ステップS56において受信された音声データの音声が抑制した状態で再生される。具体的には、CPU201は、ステップS56において受信された音声データを再生しないか、または、音量レベルを通常の音量レベルよりも低い音量レベルで再生する。
【0124】
ステップS66においては、音声データが通常再生され、処理はステップS58に進む。ステップS56において受信された音声データが通常の音量レベルで再生される。
【0125】
なお、自装置が第2端末の場合に音声データを送信しないようにしてもよい。この場合におけるフローチャートの一例が図16に示される。図16を参照して、図15と異なる点は、ステップS63が削除された点、ステップS54とステップS55との間に、ステップS54AおよびステップS54Bが追加された点である。その他の処理は、図15に示した処理と同じなので、ここでは説明を繰り返さない。
【0126】
ステップS54において音声が入力されたことが検出される場合、処理はステップS54Aに進む、ステップS54Aにおいては、第1端末の音声データを受信中か否かが判断される。ステップS56において受信された音声データが第1端末の音声データであって、その音声データの受信が継続中ならば処理はステップS54Bに進むがそうでなければ処理はステップS55に進む。ステップS54Bにおいては、ステップS56において受信された音声データに対して自装置が第2端末か否かが判断される。ステップS56において受信された音声データに対して自装置が第2端末に該当するならば処理はステップS58に進み、そうでなければ処理はステップS55に進む。処理がステップS55に進む場合、ステップS54において入力された音声が音声データに変換され、通信部205を介してサーバー100に送信される。処理がステップS58に進む場合、ステップS54において入力された音声が音声データに変換されることなく、何も処理されない。
【0127】
以上説明したように、本実施の形態におけるリモート会議システム1は、PC200-1~Nがインターネット5に接続され、それらの端末で入力された音声を互いに他の端末へ配信するシステムである。PC200-1~Nのうちの第1端末の音声が、第2端末での再生音量を、第3端末での再生音量より抑制するよう音声の配信または端末での再生が制御される。このため、第1端末の音声について、第2端末での再生音量が第3端末での再生音量より抑制される。例えば、第1端末であるPC200-2を操作するユーザーP-2の音声が第2端末であるPC200-1を操作するユーザーP-1に直接伝わる場合がある。この場合、ユーザーP-1は、ユーザーP-2が発声する音声と、その音声がPC200-2に入力されてPC200-1で再生される音声と、を聞くことになる。また、PC200-1により再生されるユーザーP-2の音声は、ユーザーP-2が発声する音声よりも遅延して再生される。ユーザーP-2が発声する音声がPC200-2に入力されてPC200-1で再生される音声が抑制されるので、ユーザーP-1にユーザーP-2が発声する音声を優先して聞かせることができる。このため、同一の音声が複数の音源から聞こえる事象を抑制することができる。
【0128】
また、端末組と特定する情報として第1端末および第2端末は、PC200-1~Nのいずれかのユーザーによる操作に従って選択される。このため、同一の音声が複数の音源から聞こえる事象を確実に抑制することができるとともに、抑制する必要のない音声が抑制されないようにできる。
【0129】
また、第1端末は、第2端末からの距離に基づいて選択される。このため、第1端末と第2端末とを自動的に選択することができる。
【0130】
また、第1端末の音声は第2端末へ配信または第2端末で再生されず、第1端末の音声が第3端末に配信または第3端末で再生される。このため、第1端末であるPC200-2を操作するユーザーP-2が発声する音声が第2端末であるPC200-1で再生されないので、PC200-1を操作するユーザーP-1は、ユーザーP-2が発声する音声だけを直接聞くことができる。第3端末であるPC200-4~Nを操作するユーザーP4~Nは、PC200-4~Nそれぞれが、ユーザーP-2の発声する音声を再生するので、PC200-4~Nそれぞれから聞くことができる。
【0131】
また、第1端末であるPC200-2から受信される音声データの音声は、第3端末であるPC200-4~Nそれぞれで再生される場合における音量よりも低い音量で第2端末であるPC200-1およびPC200-3でそれぞれ再生される。このため、ユーザーP-2が発声する音声が第2端末であるPC200-1およびPC200-3において第3端末であるPC200-4~Nでそれぞれ再生される音量より低い音量で再生される。ユーザーP-1およびユーザーP-3は、ユーザーP-2が発声する音声についてユーザーP-2が発声する音声と第2端末であるPC200-1およびPC200-3それぞれが再生する音声とを聞くことになるが、低い音量で再生されるので、ユーザーP-2から直接聞く音声を優先して聞くことができる。
【0132】
また、第2端末であるPC200-1およびPC200-3から受信される音声データが他の端末であるPC200-2,4~Nに配信しないまたはPC200-2,4~Nで再生されない。このため、PC200-2,4~Nにおいて、第1端末であるPC200-2から受信された音声データの音声がユーザーP-2の音声として認識され、第2端末であるPC200-1およびPC200-3それぞれから受信される音声データD-1および音声データD-3の音声がユーザーP-1およびユーザーP-3それぞれの音声として認識される。この場合、PC200-1およびPC200-3それぞれから受信される音声データD-1、D―3の音声がユーザーP-2の音声であるにも係わらずユーザーP-1およびユーザーP-2それぞれの音声として認識されてしまう。第2端末であるPC200-1およびPC200-3それぞれから受信される音声データD-1,D-3の音声が他の端末に配信または他の端末で再生されないので、他の端末において話者が誤って特定されないようにできる。
【0133】
<実施の形態の総括>
(項1) 少なくとも3台の端末が通信可能に接続され、それらの端末で入力された音声を互いに他の端末へ配信するリモート会議システムにおいて、
前記少なくとも3台の端末のうちの第1端末の音声について、前記少なくとも3台の端末のうちの第2端末での再生音量を、第3端末での再生音量より抑制するよう音声の配信または端末での再生を制御する制御手段を有する、リモート会議システム。
【0134】
この局面に従えば、第1端末の音声について、第2端末での再生音量が第3端末での再生音量より抑制される。第1端末を操作する第1ユーザーの音声が第2端末を操作する第2ユーザーに直接伝わる場合がある。この場合、第2ユーザーは、第1ユーザーが発声する音声と、その音声が第1端末に入力されて第2端末で再生される音声と、を聞くことになる。また、第2端末により再生される第1ユーザーの音声は、第1ユーザーが発声する音声よりも遅延して再生される。第1ユーザーが発声する音声が第1端末に入力されて第2端末で再生される音声が抑制されるので、第2ユーザーに第1ユーザーが発声する音声を優先して聞かせることができる。このため、複数の参加者の音声を再生しつつ同一の音声が複数の音源から聞こえる事象を抑制したリモート会議システムを提供することができる。
【0135】
(項2) 前記第1端末および前記第2端末は、前記少なくとも3台の端末のいずれかのユーザーによる操作に従って選択される、項1に記載のリモート会議システム。
【0136】
この局面に従えば、第1端末および第2端末が、少なくとも3台の端末のいずれかのユーザーによる操作に従って選択されるので、同一の音声が複数の音源から聞こえる事象を確実に抑制することができるとともに、抑制する必要のない音声が抑制されないようにできる。
【0137】
(項3) 前記第1端末は、前記第2端末からの距離に基づいて選択される、項1に記載のリモート会議システム。
【0138】
この局面に従えば、第1端末は第2端末からの距離に基づいて選択されるので、第1端末と第2端末とを自動的に選択することができる。
【0139】
(項4) 前記制御手段は、前記第1端末の音声を前記第2端末へ配信または前記第2端末で再生せず、前記第1端末の音声を前記第3端末に配信または前記第3端末で再生する、項1~3のいずれかに記載のリモート会議システム。
【0140】
この局面に従えば、第1端末の音声は、第2端末で再生されず、第3端末で再生される。このため、第1端末を操作する第1ユーザーが発声する音声が第2端末で再生されないので、第2端末を操作する第2ユーザーは、第1ユーザーが発声する音声について第1ユーザーが発声する音声だけを直接聞くことができる。第3端末を操作するユーザーは、第3端末が第1端末を操作する第1ユーザーが発声する音声を再生するので、第3端末だけから聞くことができる。
【0141】
(項5) 前記制御手段は、前記第1端末の音声を前記第3端末に配信または前記第3端末で再生し、前記第1端末の音声を前記第3端末に配信される音声の音声レベルよりも低い音声レベルで前記第2端末へ配信または前記第1端末の音声を前記第3端末で再生される音量よりも低い音量で前記第2端末で再生する、項1~4のいずれかに記載のリモート会議システム。
【0142】
この局面に従えば、第1端末の音声は、第3端末で再生される音量よりも低い音量で第2端末で再生される。このため、第1端末を操作する第1ユーザーが発声する音声が第2端末で第3端末で再生される音量より低い音量で再生される。第2端末を操作する第2ユーザーは、第1ユーザーが発声する音声について第1ユーザーが発声する音声と第2端末が再生する音声とを聞くことになるが、第2端末が再生する音声が第3端末で再生する音声の音量よりも低い音量で再生されるので、第1ユーザーから直接聞く音声を優先して聞くことができる。
【0143】
(項6) 前記制御手段は、前記第2端末の音声を他の端末に配信しないまたは前記他の端末で再生しない、項1~5のいずれかに記載のリモート会議システム。
【0144】
この局面に従えば、第2端末の音声が他の端末に配信または他の端末で再生されないので、第2端末に入力される第1端末を操作するユーザーの音声が他の端末で再生されない。第1端末を操作するユーザーの音声が第2端末に入力されると、他の端末において、第1端末を操作するユーザーの音声が、第1端末の音声と第2端末の音声として再生される。このため、他の端末において、第1端末の音声が第1端末を操作する第1ユーザーの音声として認識され、第2端末の音声が第2端末を操作する第2ユーザーの音声として認識される場合、第2端末の音声が第1ユーザーの音声であるにも係わらず第2ユーザーの音声として認識されてしまう。第2端末の音声が他の端末に配信または他の端末で再生されないので、他の端末において話者が誤って特定されないようにできる。
【0145】
(項7) 前記少なくとも3台の端末と通信可能に接続されたサーバーをさらに備え、
前記サーバーは、前記制御手段を備える、項1~6のいずれかに記載のリモート会議システム。
【0146】
この局面に従えば、サーバーが制御手段を備えるので、サーバーにおいて複数の端末で再生する音声を制御することができる。このため、リモート会議システムの構成を簡略にすることができる。
【0147】
(項8) 前記少なくとも3台の端末それぞれは、前記制御手段を備える、項1~6のいずれかに記載のリモート会議システム。
【0148】
この局面に従えば、少なくとも3台の端末それぞれが制御手段を備えるので、少なくとも3台の端末それぞれで再生する音声を制御することができる。このため、少なくとも3台の端末それぞれを操作するユーザーが再生する音声を切り換えることができ、ユーザーによる利便性を向上させることができる。
【0149】
(項9) 少なくとも3台の端末が通信可能に接続されたコンピューターで実行されるリモート会議プログラムであって、
前記少なくとも3台の端末それぞれで入力された音声を他の端末へ配信する配信ステップを、前記コンピューターに実行させ、
前記配信ステップは、前記少なくとも3台の端末のうちの第1端末の音声の配信する場合に、前記少なくとも3台の端末のうちの第2端末での再生音量を第3端末での再生音量より抑制するステップを含む、リモート会議プログラム。
【0150】
この局面に従えば、複数の参加者の音声を再生しつつ同一の音声が複数の音源から聞こえる事象を抑制したリモート会議プログラムを提供することができる。
【0151】
(項10) 少なくとも2台の第1端末および第2端末と通信可能に接続された端末を制御するコンピューターで実行されるリモート会議プログラムであって、
入力された音声を前記第1端末および前記第2端末へ配信する配信ステップと、
前記第1端末および前記第2端末のいずれかから配信される音声を再生する再生ステップと、を、前記コンピューターに実行させ、
前記再生ステップは、前記第1端末から配信される音声の再生音量を、前記第2端末から配信される音声の再生音量より抑制するステップを含む、リモート会議プログラム。
【0152】
この局面に従えば、複数の参加者の音声を再生しつつ同一の音声が複数の音源から聞こえる事象を抑制したリモート会議プログラムを提供することができる。
【0153】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0154】
1 リモート会議システム、100 サーバー、PC200-1~NPC、5 インターネット、11 音声受信部、13,13A 音声変換部、15 音声転送部、17,17A 環境検出部、19,19A 端末組決定部、21,21A 端末種別決定部、23,23A 第1端末決定部、25,25A 第2端末決定部、27,27A 第3端末決定部、31,31A 音声抑制部、33,33A 音声遮断部、101 CPU、102 ROM、103 RAM、104 HDD、105 通信部、106 表示部、107 操作部、110 外部記憶装置、111 CD-ROM、201 CPU、202 ROM、203 RAM、204 HDD、205 通信部、206 表示部、207 操作部、208 カメラ、209 スピーカー、210 マイクロホン、211 外部記憶装置、211A CD-ROM、212 GPS受信器、213 バス、251 端末側送信部、253 音声入力制御部、255 端末側受信部、257,257A 音声出力制御部、259,259A 位置情報送信部、261 位置情報受付部、263 位置情報受信部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16