【解決手段】第一会場内で発話される発話音声を通訳者が同時通訳した同時通訳音声を含む同時通訳情報を取得する同時通訳情報取得部と、同時通訳情報を2以上の端末装置2に送信する送信部とを具備し、送信部は、第一会場内に存在する端末装置に少なくとも同時通訳音声を送信する第一の通信手段と、第一会場とは異なる1以上の各第二会場内に存在する端末装置に同時通訳情報を送信する第二の通信手段とを具備し、第一の通信手段と第二の通信手段とは、異なる通信手段であるサーバ装置により、同時通訳音声等の情報を、話者と聴者が居る第一会場と、聴者のみが居る第二会場とに対して、的確に配信できる。
前記同時通訳情報は、前記発話音声、または当該発話音声を1または2以上の通訳者が異なる言語に同時通訳した1または2以上の同時通訳音声、のうち2以上の音声を含み、前記2以上の音声を多重化し、多重化音声を取得する多重化部をさらに具備し、
前記第一の通信手段と前記第二の通信手段のうちの1以上の通信手段は、
前記多重化音声を1以上の端末装置に送信する請求項1から請求項6いずれか一項に記載のサーバ装置。
前記送信部による前記同時通訳情報の送信が行われる期間の長さを特定する通訳提供時間情報、前記送信部による前記同時通訳情報の送信先となる端末装置の数を特定する通訳享受者数情報のうちの1以上の通訳属性値を取得する通訳属性値取得部をさらに具備し、
前記報酬算定部は、
前記1以上の通訳属性値を用いて、前記通訳者への報酬を算定する請求項10記載のサーバ装置。
【発明を実施するための形態】
【0036】
以下、通訳システムの実施形態について、図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0037】
本実施の形態における通訳システムは、第一会場と、1または2以上の第二会場とに対して、同時通訳音声等を配信するシステムである。
【0038】
第一会場とは、話者と聴者が居る会場である。話者とは、話をする者である。話とは、言語の発声による情報の伝達である、といってもよい。本実施の形態における話は、通常、一の話者による講演であるが、例えば、2以上の話者による討論や対話でもよく、その態様は問わない。話者は、例えば、講演者であるが、公開番組や演劇等の出演者などでもよく、その種類は問わない。
【0039】
聴者とは、話者がする話を聴く者である。聴者は、例えば、第一会場への来場者であるが、第一会場の音声や映像をインターネット配信等で遠隔視聴する視聴者などであってもよい。
【0040】
第一会場は、例えば、講演会場であるが、公開番組のスタジオ、劇場などでもよく、話者と聴者が居る会場であれば、その種類は問わない。
【0041】
話者がする話を聴くことは、例えば、通訳者を介して、話者の話を聴く場合も含む。通訳者とは、通訳をする者である。通訳とは、ある言語(以下、「第一言語」と記す場合がある)の音声を聴きながら、別の言語(以下、「第二言語」)に訳出していくことである。第一言語とは、話者が発話する言語であり、かつ通訳者が聴き取る言語である。第二言語とは、通訳者が訳出する言語であり、かつ聴者が聴き取る言語である。
【0042】
通訳は、通常、同時通訳であるが、逐次通訳でもよい。同時通訳とは、話者の話を聞くとほぼ同時に訳出を行う方式である。逐次通訳とは、話者の話を適宜な長さに区切りつつ、順次訳出していく方式である。
【0043】
通訳者は、通常、同時通訳を行うが、一時的に逐次通訳を行ってもよい。ただし、両者の違いは、話者の発話に対する通訳者の訳出が、数語ほど遅延しているか、数文ほど遅延しているかの違いに過ぎず、逐次通訳は、同時通訳の一種と考えてもよい。
【0044】
また、一の話者に対して、通訳者が2人以上おり、各通訳者が一の話者の話を2以上の異なる言語に同時通訳してもよい。2以上の異なる言語とは、例えば、日本語、英語、中国語、韓国語、フランス語、ドイツ語等のうち、2以上の言語であるが、その種類や組み合わせは問わない。
【0045】
1または2以上の各通訳者は、例えば、第一会場内に居てもよいし、専用の居室(例えば、通訳ルーム等)に居てもよいし、自宅に居てもよく、その所在は問わない。
【0046】
第二会場とは、第一会場とは異なる会場であり、話者は居らず、聴者のみが居る会場である。第二会場は、例えば、遠隔会場である。遠隔会場とは、第一会場から離れた場所に位置する会場である。遠隔会場は、例えば、第一会場の音声や映像を遠隔で視聴可能にする設備(例えば、通信機器、音響機器等)を有する会場であることは好適である。または、第二会場は、例えば、会議場、電車等の公共交通機関でもよいし、自宅、会社などでもよく、聴者のみが居る会場であれば、その種類や所在は問わない。
【0047】
ただし、本実施の形態においては、第一および第二のいずれの会場も、同時通訳音声等の情報を、携帯端末等の端末装置で受信可能な場所である必要がある。端末装置は、例えば、スマートフォン、タブレット端末、携帯電話機、ノートPC等であるが、その種類は問わない。各会場は、端末による情報の受信が可能な場所であれば、野外の会場でも構わない。
【0048】
同時通訳音声とは、話者の話を通訳者が同時通訳した音声をマイクロフォン等で収音したデータである。同時通訳音声は、例えば、同時通訳情報の一種または一部である。同時通訳情報とは、同時通訳に関する情報である。同時通訳情報は、通常、前述した同時通訳音声を含む。
【0049】
または、同時通訳情報は、例えば、多重化音声を含んでもよい。多重化音声とは、2以上の音声を多重化したデータである。2以上の音声とは、例えば、発話音声と一の同時通訳音声でもよいし、2以上の同時通訳音声でもよいし、発話音声および2以上の同時通訳音声でも構わない。
【0050】
発話音声とは、話者が発話した音声をマイクロフォン等で収音したデータである。2以上の同時通訳音声とは、一の話者の話を2以上の通訳者が同時通訳した、2以上の音声のデータである。2以上の同時通訳音声は、例えば、「多言語の同時通訳音声」といってもよい。2以上の同時通訳音声は、通常、異なる言語の同時通訳音声であるが、同じ言語の同時通訳音声を含んでいてもよい。
【0051】
また、同時通訳情報は、例えば、第一会場内を撮影した映像も含んでもよい。映像は、通常、第一会場内で話をしている話者をカメラ等で撮影した映像のデータである。ただし、映像は、例えば、第一会場内の、話者も含む全景を撮影した映像でもよいし、話者以外の対象(例えば、板書された絵や文字、掲示または表示または投影された資料、観客席等)を撮影した映像でもよく、その内容は問わない。
【0052】
映像は、例えば、動画であるが、静止画でもよいし、コマ送りの画像などでもよく、その態様は問わない。動画には、通常、第一会場内の音声が付随しているが、付随していなくてもよい。なお、前述した発話音声は、例えば、第一会場内を撮影した動画に付随している音声でもよい。
【0053】
なお、以下では、一の話者のみが発話する講演会や独演会等を対象として、同時通訳音声等の配信を行う場合の処理を説明する。
【0054】
図1は、本実施の形態における情報システムの概念図である。この情報システムは、サーバ装置1、2以上の端末装置2、話者装置3、および1または2以上の通訳者装置4を備える。
【0055】
サーバ装置1は、例えば、LANやインターネット等のネットワーク、無線または有線の通信回線などを介して、2以上の端末装置2、話者装置3、および1以上の通訳者装置4の各々と通信可能に接続される。
【0056】
サーバ装置1は、例えば、通訳システムを運営する運営者のサーバである。サーバとは、例えば、クラウドサーバやASPサーバ等であるが、そのタイプや所在は問わない。
【0057】
端末装置2は、例えば、通訳システムを利用するユーザの携帯端末であり、第一または第二のいずれかの会場内に存在し得る。ユーザは、前述した聴者または視聴者になり得る。ただし、端末装置2は、据え置き型の端末でもよく、そのタイプは問わない。据え置き型の端末とは、例えば、会場内の演壇や各座席に設置されたタブレット端末、デスクトップPCなどであるが、その種類は問わない。
【0058】
話者装置3は、講演会等で話をする話者の端末装置であり、第一会場内に存在する。話者装置3は、例えば、携帯端末、マイクロフォン等であるが、据え置き型の端末でもよく、そのタイプは問わない。
【0059】
通訳者装置4は、通訳者の端末装置である。通訳者装置4は、例えば、携帯端末、ヘッドセット等であるが、据え置き型の端末でもよく、そのタイプは問わない。
【0060】
また、情報システムは、通常、第一会場内を撮影する1または2以上のカメラ5も備える。カメラ5は、例えば、話者装置3の内蔵カメラであり、主として話者を撮影する。または、カメラ5は、例えば、ネットワーク等に接続されたWebカメラであり、会場内の、話者を含む一部、または聴者等も含む全体を撮影してもよい。カメラ5は、第一会場内を撮影可能であれば、その種類や所在や撮影範囲等は問わない。
【0061】
なお、以下では、情報システムを構成する2以上の端末装置2のうち、1以上の端末装置2が第一会場に存在し、他の1以上の端末装置2は、1以上のいずれかの第二会場内に存在するものとする。また、サーバ装置1が2以上の端末装置2に同時通訳情報を送信することによって、話者が発話する言語の聴き取りが困難なユーザを支援するサービスを「通訳サービス」と記す場合がある。
【0062】
図2は、情報システムのブロック図である。情報システムは、前述したように、サーバ装置1、2以上の端末装置2、話者装置3、および1以上の通訳者装置4を備える。
【0063】
図3は、サーバ装置1のブロック図である。サーバ装置1は、格納部11、受信部12、処理部13、送信部14、受付部15、および出力部16を備える。格納部11は、ユーザ情報群格納部111、同時通訳関連情報格納部112、広告情報格納部113、および報酬算定情報格納部114を備える。処理部13は、同時通訳情報取得部131、多重化部132、映像取得部133、言語識別子取得部134、広告情報選択部135、通訳属性値取得部136、報酬算定部137、検査部138、およびアップロード部139を備える。送信部14は、第一の通信手段141、および第二の通信手段142を備える。出力部16は、報酬出力部161を備える。
【0064】
端末装置2のブロック図は、
図2に含まれている。端末装置2は、端末格納部21、端末受付部22、端末送信部23、端末受信部24、端末処理部25、および端末出力部26を備える。端末格納部21は、ユーザ情報格納部211を備える。端末処理部25は、逆多重化部251、および音声選択部252を備える。
【0065】
サーバ装置1を構成する格納部11は、各種の情報を格納し得る。各種の情報とは、例えば、後述するユーザ情報群、後述する同時通訳関連情報、後述する広告情報、および後述する報酬算定情報などである。
【0066】
また、格納部11には、例えば、会場種別情報群が格納されてもよい。会場種別情報群とは、1または2以上の会場種別情報の集合である。会場種別情報とは、会場の種別を示す情報である。会場の種別とは、第一会場または第二会場のいずれかである。
【0067】
会場種別情報は、例えば、会場識別子と種別情報とを有する。会場識別子とは、会場を識別する情報である。会場とは、ユーザが居る場所であり、端末装置2が存在する場所である。会場識別子は、例えば、会場名、住所、電話番号、ID等であるが、会場を識別し得る情報であれば何でもよい。種別情報とは、会場の種別を示す情報である。種別情報は、例えば、“第一会場”,“第二会場”等の種別名であるが、ID等でもよく、その構造は問わない。
【0068】
なお、格納部11には、例えば、イベント識別子に対応付けて、1または2以上の会場種別情報群が格納されてもよい。イベント識別子とは、イベントを識別する情報である。イベントとは、同時通訳サービスの対象となる催しである。イベントは、例えば、講演会、公開番組、演劇等であるが、その種類は問わない。イベント識別子は、例えば、イベント名、IDなどであるが、イベントを識別し得る情報であれば何でもよい。
【0069】
また、格納部11には、例えば、通訳者情報群が格納されてもよい。通訳者情報群とは、1または2以上の通訳者情報の集合である。通訳者情報とは、通訳者に関する情報である。通訳者情報は、通常、通訳者識別子を有する。通訳者識別子とは、通訳者を識別する情報である。通訳者識別子は、例えば、メールアドレス、携帯電話番号、氏名、ID等であるが、通訳者装置4を識別する端末識別子でもよく、通訳者を識別し得る情報であれば何でもよい。また、通訳者情報は、例えば、前述した第一言語を識別する言語識別子、および前述した第二言語を識別する言語識別子も有する。
【0070】
なお、格納部11には、例えば、イベント識別子に対応付けて、1または2以上の通訳者報群が格納されてもよい。
【0071】
さらに、格納部11には、例えば、後述する同時通訳音声、後述する同時通訳情報なども格納され得る。同時通訳音声および同時通訳情報の格納は、通常、一時的な格納であり、送信が終了すると、格納部11から削除されるが、削除されなくてもよい。なお、その他の情報については、適時説明する。
【0072】
ユーザ情報群格納部111には、ユーザ情報群が格納される。ユーザ情報群とは、1または2以上のユーザ情報の集合である。ユーザ情報とは、ユーザに関する情報である。ここでいうユーザとは、端末装置2の使用者であり、通訳システムによる通訳サービスの享受者である。ユーザは、通訳システムによって配信される同時通訳情報を視聴する視聴者といってもよい。
【0073】
ユーザ情報は、通常、ユーザ識別子を有する。ユーザ識別子とは、ユーザを識別する情報である。ユーザ識別子は、例えば、携帯電話番号、メールアドレスなどであるが、ID、住所・氏名などでもよく、ユーザを識別し得る情報であれば何でもよい。
【0074】
なお、ユーザ識別子は、例えば、端末識別子でもよい。端末識別子とは、端末装置2を識別する情報である。端末識別子は、例えば、MACアドレス、IPアドレス、IDなどであるが、端末装置2を識別し得る情報であれば何でもよい。
【0075】
また、ユーザ情報は、例えば、会場識別子を有していてもよい。ここでいう会場とは、ユーザが居る場所であり、端末装置2が存在する場所である。
【0076】
また、ユーザ情報は、例えば、言語識別子を有していてもよい。言語識別子とは、言語を識別する情報である。ここでいう言語とは、ユーザが聴く言語であり、通常、ユーザが話す言語でもある。言語識別子は、例えば、言語名、ID等であるが、言語を識別し得る情報であれば何でもよい。ただし、ユーザ情報の構造は問わない。
【0077】
同時通訳関連情報格納部112には、1または2以上の同時通訳関連情報が格納される。同時通訳関連情報とは、同時通訳に関連する情報である。同時通訳関連情報は、例えば、同時通訳情報、およびフラグを有する。ここでいうフラグとは、公開または非公開のいずれかを特定する情報である。公開とは、同時通訳情報を公開することであり、非公開とは、同時通訳情報を公開しいないことである。フラグは、通常、イベント識別子に対応付いている。フラグは、例えば、公開または非公開のいずれかを示す情報であり、具体的には、例えば、公開に対応する“1”、または非公開に対応する“0”等の数値でもよい。または、フラグは、例えば、公開する同時通訳情報または公開しない同時通訳情報のうち、いずれか一方に付され、他方には付されない情報でもよく、その形式は問わない。
【0078】
公開は、例えば、外部のサーバへのアップロードである。外部のサーバは、例えば、ブロードキャスト(つまり、不特定多数のユーザへの送信)を行うサーバであってもよい。外部のサーバは、具体的には、例えば、YouTube(登録商標)のサーバなどであるが、その種類は問わない。
【0079】
また、同時通訳関連情報は、例えば、イベント識別子を有していてもよく、その構造は問わない。
【0080】
同時通訳関連情報格納部112には、例えば、イベント識別子に対応付けて、1以上の同時通訳関連情報が格納されてもよい。
【0081】
広告情報格納部113には、1または2以上の広告情報が格納される。広告情報とは、広告に関する情報である。ここでいう広告とは、同時通訳音声等の視聴者に向けた宣伝である。宣伝の対象は、例えば、商品やサービスであるが、企業やブランド等でもよく、その種類は問わない。広告情報は、通常、音声と映像を含むが、例えば、音声または映像の一方を含み、他方を含まなくてもよい。
【0082】
なお、広告情報格納部113には、例えば、第一会場内の視聴者向けの第一広告情報と、第二会場内の視聴者向けの第二広告情報との、2種類の広告情報が格納されていてもよい。例えば、第一広告情報は、映像を含まず、音声を含み、第二広告情報は、音声と映像を含んでもよい。
【0083】
なお、広告情報格納部113には、例えば、言語識別子に対応付けて、2以上の広告情報が格納されてもよい。
【0084】
報酬算定情報格納部114には、報酬算定情報が格納される。報酬算定情報とは、1または2以上の各関係者への報酬を算定するための情報である。関係者とは、同時通訳情報の送信に関わる者である。関係者は、例えば、運営者、通訳者であるが、各会場内のスタッフ、サーバ装置1のオペレータなど、同時通訳情報の送信に関わる者であれば誰でもよい。
【0085】
報酬算定情報は、例えば、通訳者報酬算定情報を含む。通訳者報酬算定情報とは、通訳者への報酬を算定するための情報である。また、報酬算定情報は、例えば、運営者報酬算定情報も含む。運営者報酬算定情報とは、運営者への報酬を算定するための情報である。なお、報酬算定情報は、例えば、スタッフへの報酬を算定するためのスタッフ報酬算定情報などを含んでもよく、その構成は問わない。
【0086】
報酬算定情報は、例えば、関係者識別子と、1または2以上の通訳属性値をパラメータとする増加関数とを有する。関係者識別子とは、関係者を識別する情報である。関係者識別子は、例えば、“通訳者”や“運営者”等の関係者名であるが、IDなどでもよく、関係者を識別し得る情報であれば何でもよい。
【0087】
通訳属性値とは、通訳の属性を示す値である。通訳属性値は、例えば、通訳提供時間情報である。通訳提供時間情報とは、送信部14による同時通訳情報の送信が行われる期間の長さ(以下、「通訳提供時間」と記す場合ある)を特定する情報である。または、通訳属性値は、例えば、通訳享受者数情報であってもよい。通訳享受者数情報とは、送信部14による同時通訳情報の送信先となる端末装置2の数(以下、「通訳享受者数」)を特定する情報である。
【0088】
増加関数は、例えば、通訳提供時間情報、通訳享受者数情報のうちの1以上の通訳属性値をパラメータとする増加関数である。増加関数は、具体的には、例えば、“α×通訳提供時間+β×通訳享受者数”であってもよい。ここで、通訳提供時間情報に乗算される係数αは、例えば「時給」であり、通訳享受者数情報に乗算される係数βは、例えば「視聴者一人当たりの加算額」であるが、それぞれの属性は問わない。
【0089】
そして、通常、係数α,係数βのうち1以上が、関係者によって異なる。例えば、運営者に対応する係数の組(α1,β1)は(0円,100円)、通訳者に対応する係数の組(α2,β2)は(2000円,10円)、スタッフに対応する係数の組(α3,β3)は(1000円,0円)などであってもよい。ただし、各係数の数値は問わない。
【0090】
具体的には、運営者報酬算定情報は、例えば、“(運営者,α1×通訳提供時間+β1×通訳享受者数)”であり、通訳者報酬算定情報は、例えば、“(通訳者,α2×通訳提供時間+β2×通訳享受者数)”であってもよい。そして、例えば、格納部11に、運営者に対応する係数の組(α1,β1)を示す第一係数情報“(0円,100円)”、および通訳者に対応する係数の組(α2,β2)を示す第二係数情報(2000円,10円)が格納されていてもよい。
【0091】
なお、報酬算定情報を構成する増加関数は、例えば、通訳提供時間情報と通訳享受者数情報との組と報酬との対である対情報の集合(対情報群)に置き換えられてもよい。この場合は、同じ通訳提供時間情報と通訳享受者数情報との組でも、当該組と対になる報酬が、通常、関係者によって異なる。
【0092】
または、報酬算定情報は、例えば、関係者識別子と、割合情報との対の集合であってもよい。割合情報とは、2以上の全関係者への総報酬に占める、当該関係者への報酬の割合を特定する情報である。総報酬は、例えば、広告主からの広告料またはその一部であってもよい。報酬算定情報は、例えば、“(運営者,広告料のX割),(通訳者,広告料のY%),・・・”であってもよい。
【0093】
なお、割合情報は、例えば、定額部分と加算部分とを有していてもよい。例えば、関係者識別子“通訳者”と対になる割合情報は、“1万円+広告料のZ%”等であってもよい。
【0094】
なお、上例のX,Y,Zは、それぞれ、例えば、4,5,2等であるが、各々の数値は問わない。また、Xは十分率、Y,Zは百分率の形式で表現されているが、例えば、0以上1以下の数値で表現されてもよく、各々の形式も問わない。十分率等の形式で表現された数値は、広告料に乗算するために、0以上1以下の数値に換算される。例えば、上例の数値4,5,2は、それぞれ、0.4,0.05,0.02に換算される。
【0095】
なお、報酬算定情報は、例えば、一の通訳属性値に関する2以上の数値範囲と、当該2以上の各数値範囲に対応する2以上の報酬とが登録されたテーブルでもよい。テーブルは、例えば、通訳提供時間に関する2以上の数値範囲と、当該2以上の各数値範囲に対応する2以上の第一報酬とが登録された第一のテーブルと、通訳享受者数に関する2以上の数値範囲と、当該2以上の各数値範囲に対応する2以上の第二報酬とが登録された第二のテーブルとを含んでいてもよい。報酬は、第一報酬および第二報酬の合計でもよい。
【0096】
また、報酬算定情報は、機械学習による学習器などでもよく、その種類は問わない。学習器は、例えば、1または2以上の通訳属性値と報酬との組の集合を教師データとして、機械学習のアルゴリズムにより構成されてもよい。機械学習のアルゴリズムは、例えば、ディープラーニング、ランダムフォレスト、決定木、SVM等であるが、その種類は問わない。
【0097】
受信部12は、各種の情報を受信する。各種の情報とは、例えば、同時通訳音声、発話音声、映像などである。
【0098】
受信部12は、1または2以上の各通訳者装置4から同時通訳音声を受信する。なお、受信部12は、1以上の各通訳者装置4から、例えば、通訳者識別子、または前述した第二言語を識別する言語識別子のうち1以上の情報と対に、同時通訳音声を受信してもよい。
【0099】
受信部12は、通常、話者装置3から発話音声を受信する。なお、発話音声は、例えば、話者識別子、または前述した第一言語を識別する言語識別子のうち1以上の情報と対に送受信されてもよい。
【0100】
受信部12は、例えば、話者装置3から映像も受信してもよい。ただし、映像は、第一会場に設置されたWebカメラ等から受信されてもよく、その送信元は問わない。
【0101】
なお、受信部12は、例えば、1以上の各端末装置2からユーザ情報を受信してもよい。なお、ユーザ情報は、例えば、端末識別子と対に送受信されてもよい。または、ユーザ情報に含まれるユーザ識別子が端末識別子であってもよい。
【0102】
処理部13は、各種の処理を行う。各種の処理とは、例えば、同時通訳情報取得部131、多重化部132、映像取得部133、言語識別子取得部134、広告情報選択部135、通訳属性値取得部136、報酬算定部137、検査部138、アップロード部139などの処理である。
【0103】
また、処理部13は、例えば、受信部12が受信した同時通訳音声等の情報を格納部11に蓄積する処理(例えば、バッファリング)も行う。
【0104】
また、処理部13は、例えば、格納部11に格納されている同時通訳音声等の情報を用いて同時通訳情報取得部131が取得した情報を、格納部11に蓄積する処理も行う。
【0105】
また、処理部13は、例えば、同時通訳情報取得部131が取得した又は格納部11に格納されている同時通訳情報と、受付部15が受け付けたフラグとイベント識別子を用いて、同時通訳関連情報を構成し、同時通訳関連情報格納部112に蓄積する処理も行う。
【0106】
詳しくは、処理部13は、例えば、送信部14による同時通訳音声等の送信が終了した場合に、公開または非公開のいずれかを示すフラグとイベント識別子との入力の要求を出力部16を介して出力し、当該要求に応じて入力されたフラグとイベント識別子とを、受付部15を介して受け付け、当該取得された同時通訳情報と当該受け付けたフラグとを有する同時通訳関連情報を構成し、当該構成した同時通訳関連情報を、当該受け付けたイベント識別子に対応付けて、同時通訳関連情報格納部112に蓄積する。
【0107】
なお、同時通訳関連情報を構成するフラグとイベント識別子は、例えば、オペレータが入力するが、イベントの主催者の端末装置などから受信してもよい。または、フラグのみ、オペレータ等が入力し、イベント識別子は、処理部13が自動的に付与してもよい。ただし、イベント識別子の取得の方法は問わない。また、同時通訳サービスの対象となるイベントが1つだけの場合、イベント識別子はなくてもよい。
【0108】
または、フラグ等は、例えば、同時通訳音声等の送信が開始される前に受け付けられてもよい。例えば、同時通訳音声等の送信が開始される前に、フラグとイベント識別子がオペレータ等によって入力され、処理部13は、当該入力されたフラグとイベント識別子を受付部12を介して受け付け、格納部11に蓄積してもよい。そして、例えば、同時通訳音声等の送信が終了した後、処理部13は、格納部11に格納されている同時通訳情報とフラグとイベント識別子とを用いて、同時通訳関連情報を構成してもよい。
【0109】
ただし、フラグ等は、例えば、同時通訳音声等の送信中に受け付けられてもよく、受付部12がフラグ等の入力を受け付けるタイミングは問わない。
【0110】
また、同時通訳関連情報は、例えば、同時通訳音声等の送信が終了し、かつフラグ等が入力された後、同時通訳関連情報の構成を行う旨の指示が受け付けられたことに応じて構成されてもよい。
【0111】
または、同時通訳関連情報は、例えば、同時通訳音声等の送信中に、フラグ等が受け付けられたことに応じて構成されてもよい。または、例えば、格納部11に、同時通訳音声等の送信開始前に受け付けられたフラグ等が格納されており、フラグ等が入力された後であれば、同時通訳関連情報の構成を行うタイミングやトリガは問わない。
【0112】
さらに、処理部13は、例えば、フローチャートで説明する各種の判別などの処理も行う。なお、その他の処理については適時説明する。
【0113】
同時通訳情報取得部131は、同時通訳情報を取得する。前述したように、同時通訳情報は、同時通訳音声または多重化音声を含む。また、同時通訳情報は、通常、映像も含む。さらに、同時通訳情報は、例えば、話者音声も含んでもよい。
【0114】
例えば、処理部13が、受信部12が受信した1以上の同時通訳音声、多重化部132が取得した多重化音声、映像取得部133が取得した映像、受信部12が受信した話者音声などの情報を、格納部11に蓄積(例えは、バッファリング)する処理を行っており、同時通訳情報取得部131は、格納部11に格納されている同時通訳音声等の情報を用いて、かかる同時通訳情報をリアルタイムに取得する。
【0115】
多重化部132は、2以上の音声を多重化する。2以上の音声は、前述したように、例えば、2以上の同時通訳音声であるが、一の同時通訳音声と話者音声でもよいし、2以上の同時通訳音声と一の話者音声でもよい。
【0116】
多重化とは、2以上の音声を一の伝送路で伝送可能な態様に変換する処理である。多重化は、例えば、周波数分割多重化(FDM)、時分割多重化(TDM)、符号分割多重化(CDM)、空間分割多重(SDM)等であるが、その方式は問わない。多重化される2以上の音声は、例えば、発話音声および1以上の同時通訳音声を含むが、発話音声を含まず、2以上の同時通訳音声を含んでもよい。なお、各音声は、通常、デジタルのデータストリームであるが、アナログ信号でもよく、その態様は問わない。
【0117】
多重化部132は、通常、受信部12が受信した2以上の音声を多重化する。例えば、受信部12が話者音声と一の同時通訳音声を受信し、多重化部132は、当該発話音声と当該一の同時通訳音声を多重化してもよい。または、受信部12が2以上の同時通訳音声を受信し、多重化部132は、当該2以上の同時通訳音声を多重化しもよい。または、受信部12が発話音声と2以上の同時通訳音声を受信し、多重化部132は、当該発話音声および当該2以上の同時通訳音声を多重化しても構わない。
【0118】
ただし、例えば、図示しない再生機で再生されるBGMなと、受信部12が受信した以外の音声も多重化されてもよく、多重化の対象となる2以上の音声の種類や組み合わせは問わない。
【0119】
例えば、処理部13が、受信された2以上の音声を格納部11に蓄積(例えは、バッファリング)する処理を行っており、同時通訳情報取得部131は、格納部11に格納されている2以上の音声を用いて、多重化音声をリアルタイムに取得する。
【0120】
映像取得部133は、カメラ5を介して、第一会場内を撮影した映像を取得する。映像取得部133は、例えば、話者装置3の内蔵カメラで撮影された話者の映像を、話者装置3から話者音声と共に受信してもよい。または、映像取得部133は、例えば、第一会場内に設けられた1以上の各Webカメラから、会場内の一部または全体の映像を受信してもよい。
【0121】
言語識別子取得部134は、送信部14が送信している同時通訳音声の言語を識別する言語識別子を取得する。言語識別子取得部134は、例えば、受信部12を介して、通訳者の端末装置である通訳者装置4から、同時通訳音声と対に言語識別子を受信する。
【0122】
または、例えば、格納部11に、前述した通訳者情報群が格納されており、受信部12は、通訳者装置4から通訳者識別子と対に同時通訳音声を受信し、言語識別子取得部134は、当該格納されている通訳者情報から、当該受信された通訳者識別子に対応する言語識別子を取得してもよい。
【0123】
または、例えば、格納部11に、発話の特徴に関する1以上の特徴量(以下、特徴量群と記す場合がある)と言語識別子との対の集合が格納されており、処理部13は、同時通訳情報取得部131が取得した同時通訳情報に含まれる同時通訳音声から特徴量群を抽出する。言語識別子取得部134は、当該抽出された特徴量群に最も近似する特徴量群と対になる言語識別子を、格納部11から取得してもよい。
【0124】
なお、同時通訳情報が、発話音声および1以上の同時通訳音声を含む場合、言語識別子取得部134は、同時通訳情報に含まれる発話音声および1以上の同時通訳音声の各々について、言語識別子を取得することは好適である。
【0125】
広告情報選択部135は、広告情報格納部113に格納されている2以上の広告情報のうち、言語識別子取得部134が取得した言語識別子に対応付いた広告情報を選択する。
【0126】
例えば、言語識別子取得部134が言語識別子“英語”を取得した場合、広告情報選択部135は、格納されている2以上の広告情報のうち、当該取得された言語識別子“英語”に対応付いた広告を取得する。
【0127】
なお、同時通訳情報が、発話音声および1以上の同時通訳音声を含む場合、広告情報選択部135は、同時通訳情報に含まれる発話音声および1以上の同時通訳音声の各々について、言語識別子取得部134が取得した言語識別子に対応付いた広告情報を取得することは好適である。
【0128】
具体的には、例えば、同時通訳情報に発話音声と一の同時通訳音声とが含まれており、言語識別子取得部134が、話者音声について言語識別子“日本語”を取得し、一の同時通訳音声について言語識別子“英語”を取得した場合、広告情報選択部135は、話者音声について取得された言語識別子“日本語”に対応付いた広告情報と、一の同時通訳音声について取得された言語識別子“英語”に対応付いた広告情報とを選択する。
【0129】
なお、広告情報選択部135は、例えば、上記のようにして選択した1または2以上の広告情報を広告情報格納部113から取得し、送信部14に引き渡す。または、選択された1以上の各広告情報を特定する情報(例えば、ファイル名やID等)が、送信部14に引き渡されてもよい。
【0130】
通訳属性値取得部136は、通訳提供時間情報、通訳享受者数情報のうちの1以上の通訳属性値を取得する。前述したように、通訳提供時間情報とは、送信部14による同時通訳情報の送信が行われる期間の長さを特定する情報であり、通訳享受者数情報とは、送信部14による同時通訳情報の送信先となる端末装置2の数を特定する情報である。
【0131】
通訳属性値取得部136は、例えば、送信開始に応じて現在時刻を取得し、送信終了に応じて現在時刻を取得し、当該取得した2つの現在時刻の差分を算出する。現在時刻は、例えば、MPUの内蔵時計から取得されるが、NTPサーバ等から取得されてもよく、その取得先は問わない。
【0132】
なお、例えば、格納部11に、通訳提供時間情報が予め格納されおり、通訳属性値取得部136は、格納部11から通訳提供時間情報を取得してもよい。通訳享受者数情報も同様に取得されてもよい。
【0133】
また、通訳属性値取得部136は、例えば、ユーザ情報群格納部111に格納されている2以上のユーザ情報の数を計数することにより、通訳享受者数情報を取得する。
【0134】
なお、通訳属性値取得部136は、例えば、第一通訳享受者数情報と第二通訳享受者数情報とを取得してもよい。第一通訳享受者数情報とは、第一の通信手段141による同時通訳音声の送信先となる端末装置2の数(以下、「第一通訳享受者数」と記す場合がある)を特定する情報である。第二通訳享受者数情報とは、第二の通信手段142による同時通訳情報の送信先となる端末装置2の数(以下、「第二通訳享受者数」)を特定する情報である。
【0135】
例えば、ユーザ情報群格納部111に、2以上の各ユーザ情報に対応付けて会場識別子が格納され、格納部11には、会場識別子と種別情報との組である会場種別情報の集合(以下、「会場種別情報群」と記す場合がある)が格納されている。通訳属性値取得部136は、格納されている2以上のユーザ情報のうち、第一会場を示す識別情報と組になる会場識別子に対応付いたユーザ情報の数を計数することにより、第一通訳享受者数情報を取得する。また、通訳属性値取得部136は、格納されている2以上のユーザ情報のうち、第二会場を示す識別情報と組になる会場識別子に対応付いたユーザ情報の数を計数することにより、第二通訳享受者数情報を取得する。
【0136】
なお、第二通訳享受者数情報は、例えば、前述のようにして取得された通訳享受者数情報から、第一通訳享受者数情報を減算することにより取得されてもよい。
【0137】
通訳属性値取得部136は、例えば、1または2以上の各通訳者ごとに、通訳享受者数情報を取得することは好適である。
【0138】
詳しくは、例えば、格納部11に、前述した通訳者情報群が格納されており、通訳属性値取得部136は、当該通訳者情報群を構成する1または2以上の各通訳者情報ごとに、次のような処理を行う。すなわち、訳属性値取得部136は、当該通訳者情報から、第二言語を識別する言語識別子を取得し、ユーザ情報群格納部111に格納されている2以上のユーザ情報のうち、当該取得した言語識別子を有するユーザ情報の数を計数する。そして、通訳属性値取得部136は、当該通訳者情報から通訳者識別子を取得し、当該取得した通訳者識別子と、当該計数の結果とを有する通訳享受者数情報(以下、「通訳者別享受者数情報」と記す場合がある)を取得する。
【0139】
これによって、1または2以上の通訳者別享受者数情報(以下、「通訳者別享受者数情報群」と記す場合がある)が取得される。処理部13は、取得された通訳者別享受者数情報群を格納部11に蓄積する。
【0140】
報酬算定部137は、報酬算定情報格納部114に格納されている報酬算定情報を用いて、2以上の各関係者ごとの報酬を算定する。
【0141】
報酬算定情報を用いることは、例えば、通訳提供時間情報または通訳享受者数情報のうち1以上の通訳属性値と、格納されている報酬算定情報とを用いる場合(報酬算定方法1)を含む。
【0142】
報酬算定方法1の場合、報酬算定部137は、通常、通訳提供時間情報が示す時間が長いほど、通訳享受者数情報が示す数が多いほど、高い報酬を示す報酬情報を取得する。詳しくは、報酬算定情報格納部114に格納される報酬算定情報は、例えば、前述したような、関係者識別子と増加関数との対の集合である。この種の報酬算定情報は、例えば、“(運営者,α1×通訳提供時間+β1×通訳享受者数),(通訳者,α2×通訳提供時間+β2×通訳享受者数)・・・”等であってもよい。
【0143】
報酬算定部137は、例えば、かかる報酬算定情報と、通訳属性値取得部136が取得した、通訳提供時間情報通訳享受者数情報のうちの1以上の情報とを用いて、2以上の各関係者ごとの報酬を算定する。各関係者のへ報酬は、例えば、以下のように算定される。
【0144】
報酬算定部137は、取得された通訳提供時間情報と、取得された通訳享受者数情報と、格納されている報酬算定情報を構成する運営者報酬算定情報とを用いて、運営者への報酬を算定する。例えば、運営者報酬算定情報が(運営者,α1×通訳提供時間+β1×通訳享受者数)である場合、報酬算定部137は、取得された通訳提供時間情報と取得された通訳享受者数情報とを、運営者報酬算定情報が有する増加関数“α1×通訳提供時間+β1×通訳享受者数”に代入することにより、運営者への報酬を算定する。
【0145】
また、報酬算定部137は、取得された通訳提供時間情報と、取得された通訳享受者数情報と、報酬算定情報を構成する通訳者報酬算定情報とを用いて、通訳者への報酬を算定する。例えば、通訳者報酬算定情報が(通訳者,α2×通訳提供時間+β2×通訳享受者数)である場合、報酬算定部137は、取得された通訳提供時間情報と取得された通訳享受者数情報とを、通訳者報酬算定情報が有する増加関数“α2×通訳提供時間+β2×通訳享受者数”に代入することにより、通訳者への報酬を算定する。
【0146】
具体的には、例えば、取得された通訳提供時間情報が“2時間”であり、取得された通訳享受者数情報が“2000人”であるとすると、格納部11に格納されている第一係数情報“(α1=0円,β1=100円)”および第二係数情報“(α2=2000円,β2=10円)”を用いて、運営者への報酬は、“0円×2時間+100円×2000人=20万円”と算定され、通訳者への報酬は、“2000円×2時間+10円×2000人=2.4万円”と算定される。
【0147】
なお、上記報酬のうち、通訳享受者数に対応する部分は、第一通訳享受者数および第二通訳享受者数を用いて算定されてもよい。すなわち、例えば、上記報酬算定情報“(運営者,α1×通訳提供時間+β1×通訳享受者数),(通訳者,α2×通訳提供時間+β2×通訳享受者数)・・・”において、“β1×通訳享受者数”は、“β11×第一通訳享受者数+β12×第二通訳享受者数”であってもよい。同様に、“β2×通訳享受者数”は、“β21×第一通訳享受者数+β22×第二通訳享受者数”であってもよい。これによって、報酬をより一層、的確に算定できる。
【0148】
なお、通訳者報酬算定情報が、前述したような、通訳提供時間情報と通訳享受者数情報の組と報酬との対の集合である対情報群である場合、報酬算定部137は、取得された通訳提供時間情報と取得された通訳享受者数情報との組と対になる報酬を対情報群から取得することによって、通訳者への報酬を算定してもよい。なお、対になる報酬とは、例えば、対情報群を構成する1以上の対情報のうち、取得された通訳提供時間情報と取得された通訳享受者数情報の組と一致または最も近似する、通訳提供時間情報と通訳提供時間情報の組を有する対情報、に対応する報酬である。
【0149】
具体的には、例えば、運営者に対応する対情報群が“{(Null,1000人),10万円},(Null,2000人),20万円},・・・”であり、通訳提供時間情報“2時間”と通訳享受者数情報“2000人”とが取得されたとすると、通訳者への報酬は、当該取得された組(2時間,2000人)と一致する組(2時間、2000人)と対になる“20万円”と算定される。
【0150】
また、通訳者に対応する対情報群が“{(1時間,1000人),1.2万円},(1時間,2000人),2.2万円},・・・(2時間,1000人),1.4万円},(2時間,2000人),2.4万円}・・・”であり、通訳提供時間情報“2時間”と通訳享受者数情報“1800人”とが取得されたとすると、通訳者への報酬は、当該取得された組(2時間,1800人)と最も近似する組(2時間、2000人)と対になる“2.4万円”と算定される。
【0151】
なお、通訳者が2人以上いる場合、報酬算定部137は、2以上の各通訳者への報酬を、例えば、上記と同様に算定する。ただし、2以上の各通訳者への報酬のうち、通訳享受者数に対応する部分は、例えば、前述した通訳者別享受者数情報群を用いて算定されることは好適である。
【0152】
詳しくは、例えば、格納部11に、通訳者別享受者数情報群“(x,1200人),(y,800人)・・・)”が格納されており、報酬算定部137は、通訳者xへの報酬のうち、通訳享受者数に対応する部分を“β2×1200人”のように算定し、通訳者yへの報酬のうち、通訳享受者数に対応する部分を“β2×800人”のように算定してもよい。
【0153】
また、報酬算定情報を用いることは、例えば、広告料情報と報酬算定情報とを用いる場合(報酬算定方法2)を含んでもよい。
【0154】
報酬算定方法2の場合、例えば、格納部11は、図示しない広告料格納部を備える。広告料格納部には、上記広告の広告主からの広告料に関する広告料情報が格納される。広告料情報は、例えば、“50万円”等であるが、その形式は問わない。報酬算定情報格納部114に格納される報酬算定情報は、例えば、前述したような、関係者識別子と割合情報との対の集合である。この種の報酬算定情報は、例えば、“(運営者,広告料のX割),(通訳者,1万円+広告料のZ%)・・・”等であってもよい。
【0155】
報酬算定部137は、かかる広告料情報と報酬算定情報とを用いて、2以上の各関係者ごとの報酬を算定する。各関係者のへ報酬は、例えば、以下のように算定される。
【0156】
すなわち、報酬算定部137は、報酬算定情報を構成する運営者報酬算定情報“(運営者,広告料のX割)”と、広告料情報“50万円”とを用いて、運営者への報酬“50万円×(X/10)”を算定してもよい。また、報酬算定部137は、通訳者報酬算定情報“(通訳者,1万円+広告料のZ%)”と、広告料情報“50万円”とを用いて、通訳者者への報酬“1万円+50万円×(Z/100)”を算定してもよい。
【0157】
具体的には、例えば、X=4,Z=2とすると、運営者への報酬は、“50万円×0.4=20万円と算定され、通訳者への報酬は、1万円+50万円×0.02=2万円と算定される。
【0158】
なお、報酬算定情報を用いることは、例えば、通訳提供時間情報または通訳享受者数情報のうち1以上の通訳属性値と広告料情報と報酬算定情報とを用いる場合を含んでもよい。すなわち、報酬算定部137は、通訳属性値取得部136が取得した通訳提供時間情報または通訳享受者数情報のうち1以上の通訳属性値と、報酬算定情報格納部114に格納されている報酬算定情報と、広告料格納部に格納されている広告料情報とを用いて、1以上の各関係者への報酬を算定してもよく、報酬の算定方法は問わない。
【0159】
検査部138は、同時通訳関連情報格納部112に格納されている1以上の各同時通訳関連情報が有するフラグを検査し、検査結果を取得する。検査とは、例えば、フラグの値を読み取ることでもよいし、フラグの値が公開を示す値か非公開を示す値かを判別することでもよいし、フラグの有無を基に公開か非公開かを判別することでもよい。検査結果は、例えば、“公開”または“非公開”であるが、その形式は問わない。
【0160】
アップロード部139は、検査部138によるフラグの検査の結果が、同時通訳情報を公開するとの検査結果である場合に、当該フラグに対応する同時通訳関連情報を外部のサーバにアップロードする。
【0161】
これにより、同時通訳関連情報格納部112に格納されている1または2以上の同時通訳関連情報のうち、公開を示すフラグが対応付いた1または2以上の同時通訳関連情報が、外部のサーバにアップロードされる。なお、アップロードされる同時通訳関連情報は、格納されている同時通訳関連情報と同じでなくてもよい。例えば、アップロードされる同時通訳関連情報には、フラグは含まれていなくてもよい。また、例えば、格納されている同時通訳関連情報に含まれるイベント識別子はIDであり、アップロードされる同時通訳関連情報に含まれるイベント識別子はイベント名であってもよい。
【0162】
なお、上記のような検査およびアップロードは、例えば、予め決められたタイミングで実行されてもよい。詳しくは、例えば、格納部11に、アップロードのタイミングに関するタイミング情報が格納されている。処理部13は、例えば、MPUの内蔵時計やNTPサーバ等から現在時刻を取得し、当該取得した現在時刻が、当該タイミング情報の示すタイミングであるか否かの判別を、定期的または不定期に行っている。例えば、現在時刻が、タイミング情報の示すタイミングであると判断された場合に、検査部138は、格納されている1以上の各同時通訳関連情報について、当該同時通訳関連情報に公開を示すフラグが対応付いているか否かの判断を行い、アップロード部139は、公開を示すフラグが対応付いていると判断された1以上の同時通訳関連情報について、アップロードを実行する。
【0163】
なお、例えば、処理部13が、アップロード部139によってアップロードされた同時通訳関連情報に「アップロード済み」を示すフラグを付し、検査部138は、アップロード済みを示すフラグが付されていない1または2以上の各同時通訳関連情報についてのみ、公開を示すフラグが対応付いているかの上記判断を行ってもよい。
【0164】
または、検査およびアップロードは、例えば、新たな同時通訳関連情報が同時通訳関連情報格納部112に蓄積されたことに応じて、当該新たな同時通訳関連情報について行われてもよく、そのタイミングやトリガは問わない。
【0165】
ここで、新たな同時通訳関連情報が同時通訳関連情報格納部112に蓄積されたことに応じて、検査およびアップロードを行うことは、蓄積の完了後に検査およびアップロードを行う態様に限らず、例えば、蓄積の開始時に検査を行い、蓄積と並行してアップロードを行う態様も含む。なお、蓄積と並行してアップロードを行う態様は、例えば、リアルタイムなアップロードと称してもよい。
【0166】
すなわち、例えば、処理部13による新たな同時通訳関連情報の同時通訳関連情報格納部112への蓄積が完了したことに応じて、同時通訳関連情報格納部112に格納されている当該新たな同時通訳関連情報に対し、検査部138がフラグの検査を行い、当該検査の結果が公開を示す場合に、アップロード部139は、当該新たな同時通訳関連情報の外部のサーバへのアップロードを行ってもよい。
【0167】
または、例えば、送信部14による同時通訳音声等の送信が開始される前に、受付部12によってフラグ等が受け付けられ、格納部11に蓄積されており、同時通訳音声等の送信が開始されたことに応じて、処理部13は、現時点で格納部11に格納されている同時通訳音声等とフラグ等を用いて、新たな同時通訳関連情報を構成し、同時通訳関連情報格納部112に蓄積する処理(例えば、バッファリング)を開始する。
【0168】
検査部138は、新たな同時通訳関連情報の蓄積が開始されたことに応じて、フラグの検査を行う。処理部13は、蓄積が行われている間、同時通訳関連情報格納部112に格納されている同時通訳関連情報のデータ量(例えば、バッファ量)が、閾値を超えた又は閾値以上となったか否かの判別を、定期的または不定期に行う。アップロード部139は、例えば、バッファ量が閾値を超えた又は閾値以上となったと判別された場合に、当該新たな同時通訳関連情報の外部のサーバへのアップロードを開始してもよい。
【0169】
送信部14は、各種の情報を送信する。各種の情報とは、例えば、同時通訳情報、同時通訳音声、多重化音声、映像、広告情報などである。
【0170】
送信部14は、同時通訳情報取得部131が取得した同時通訳情報を、2以上の端末装置2に送信する。
【0171】
送信部14は、例えば、受信部12が受信した又は格納部11に格納されている同時通訳音声を、2以上の端末装置2に送信する。
【0172】
または、送信部14は、例えば、多重化部132が取得した又は格納部11に格納されている多重化音声を、2以上の端末装置2に送信してもよい。
【0173】
送信部14は、例えば、映像取得部133が取得した又は格納部11に格納されている映像を、2以上の端末装置2に送信してもよい。
【0174】
送信部14は、例えば、広告情報格納部113に格納されている広告情報を、2以上の端末装置2に送信してもよい。
【0175】
送信部14は、例えば、広告情報格納部113に格納されている1または2以上の広告情報のうち、広告情報選択部135が選択した広告情報を、2以上の端末装置2に送信してもよい。
【0176】
送信部14を構成する第一の通信手段141は、第一会場内に存在する端末装置2に少なくとも同時通訳音声を送信する。第二の通信手段142は、1以上の各第二会場内に存在する端末装置2に同時通訳情報を送信する。
【0177】
送信部14は、通常、少なくとも同時通訳音声を、第一会場内に存在する端末装置2には第一の通信手段141で送信し、第一会場から離れた場所に位置する1以上の各第二会場内に存在する端末装置2には第二の通信手段142で送信する。
【0178】
第一の通信手段141と第二の通信手段142とは、異なる通信手段である。
【0179】
第一の通信手段141は、通常、第二の通信手段142より低遅延な通信手段である。第一の通信手段141は、例えば、ユニキャスト方式による通信手段が好適であるが、マルチキャスト方式による通信手段でもよい。後者の場合は、例えば、通信速度を上げることで遅延を抑制してもよい。なお、第一の通信手段141は、具体的には、例えば、WebRTC(Web Real−Time Communication)などでもよい。WebRTCは、ピア・ツー・ピアの低遅延な通信が行える。
【0180】
また、第一の通信手段141は、通常、第二の通信手段142より狭域な通信手段である。第一の通信手段141は、具体的には、例えば、Bluetooth(登録商標)等の近距離無線通信、または無線LAN等の狭域ネットワークなどであるが、その種類は問わない。
【0181】
第二の通信手段142は、通常、第一の通信手段141より高品質な通信手段である。第二の通信手段142は、例えば、マルチキャスト方式による通信手段が好適であるが、ユニキャスト方式による通信手段でもよい。後者の場合は、例えば、通信速度を上げることで品質を高めてもよい。なお、第二の通信手段142は、具体的には、例えば、HLS(HTTP Live Streaming)などでもよい。HLSは、動画のストリーミング配信に対応しており、高品質な映像を送信できる一方、遅延が生じ易い。
【0182】
また、第二の通信手段142は、通常、第一の通信手段141より広域な通信手段である。第一の通信手段141は、具体的には、例えば、インターネット等の広域ネットワーク、携帯電話回線等の通信回線などであるが、その種類は問わない。
【0183】
第一の通信手段141と第二の通信手段142とは、例えば、異なる情報を送信することは好適である。すなわち、送信部14は、第一の通信手段141と第二の通信手段142とを用いて、通常、異なる情報を2以上の端末装置2に送信する。
【0184】
異なる情報とは、例えば、異なる種類の情報である。異なる種類の情報は、例えば、音声と映像などであるが、その組み合わせは問わない。
【0185】
または、異なる情報は、例えば、同じ種類で品質が異なる情報でもよい。同じ種類で品質が異なる情報は、例えば、高品質の映像と低品質の映像などであるが、その組み合わせは問わない。なお、高画質の映像とは、例えば、解像度が高い又は画素数が多い映像であり、低画質の映像とは、例えば、解像度が低い又は画素数が少ない映像である。または、例えば、高画質の映像は動画、低画質の映像は静止画でもよく、その組み合わせは問わない。
【0186】
または、異なる情報は、例えば、一の同時通訳情報の全部と一部であってもよい。具体的には、例えば、同時通訳音声と映像とを有する同時通訳情報に関し、異なる情報は、同時通訳音声および映像と、同時通訳音声であってもよい。
【0187】
詳しくは、例えば、同時通訳音声と映像とを有する同時通訳情報が取得され、送信部14は、第一の通信手段141では同時通訳音声のみを送信(つまり、映像を送信せず、同時通訳音声を送信)し、第二の通信手段142では同時通訳音声と映像とを送信することは好適である。
【0188】
なお、異なる情報は、例えば、同じ種類で内容が異なる情報でもよい。同じ種類で内容が異なる情報は、例えば、会場内を広く撮影した映像と、会場内の話者をアップで撮影した映像でもよいし、発話音声と同時通訳音声でもよく、その組み合わせは問わない。
【0189】
第一の通信手段141と第二の通信手段142のうちの1以上の通信手段は、例えば、多重化音声を1以上の端末装置2に送信してもよい。例えば、第一の通信手段141と第二の通信手段142の各々が、多重化音声を1以上の端末装置2に送信することは好適である。ただし、第一の通信手段141または第二の通信手段142のうちの一方が、多重化音声を1以上の端末装置2に送信し、他方は多重化音声の送信を行わなくてもよい。なお、多重化音声を送信することは、多重化音声を含む同時通訳情報を送信する場合も含む。
【0190】
すなわち、送信部14は、例えば、多重化部132が取得した多重化音声を、第一の通信手段141と第二の通信手段142とを用いて、第一会場内および1以上の第二会場内に存在する2以上の端末装置2に送信する。2以上の音声とは、前述したように、例えば、発話音声と一の同時通訳音声でもよいし、2以上の同時通訳音声でもよいし、発話音声および2以上の同時通訳音声でも構わない。
【0191】
また、送信部14は、例えば、広告情報格納部113に格納されている広告情報を、1または2以上の端末装置2に送信する。広告情報の送信先は、通訳システムを構成する2以上の端末装置2の全部でも、一部でもよい。一部とは、例えば、1以上の第二会場内に存在数する1以上の端末装置2であるが、第一会場内に存在数する1以上の端末装置2でもよい。
【0192】
第一の通信手段141と第二の通信手段142のうちの1以上の通信手段は、例えば、広告情報を1以上の端末装置2に送信してもよい。すなわち、送信部14は、例えば、第一の通信手段141と第二の通信手段142のうち1以上の通信手段を用いて、1以上の端末装置2に広告情報を送信する。
【0193】
例えば、第一の通信手段141と第二の通信手段142の各々が、広告情報を1以上の端末装置2に送信することは好適である。
【0194】
ただし、第一の通信手段141または第二の通信手段142のうちの一方が、広告情報を1以上の端末装置2に送信し、他方は広告情報の送信を行わなくてもよい。詳しくは、送信部14は、例えば、第一会場内に存在数する1以上の端末装置2には、広告情報を送信せず、第一の通信手段141を用いて、広告情報を送信せず、同時通訳情報を送信し、1以上の第二会場内に存在する1以上の端末装置2には、第二の通信手段142を用いて、同時通訳情報と広告情報を送信してもよい。
【0195】
送信される広告情報は、広告情報選択部135が選択した広告情報であることは好適である。
【0196】
詳しくは、例えば、広告情報格納部113に、言語識別子に対応付けて2以上の広告情報が格納されており、言語識別子取得部134が、送信部14が送信している同時通訳音声の言語を識別する言語識別子を取得し、広告情報選択部135が、格納されている2以上の広告情報のうち、言語識別子取得部134が取得した言語識別子に対応する広告情報を選択し、送信部14を構成する第一の通信手段141と第二の通信手段142のうち少なくとも1つの通信手段が、当該選択された広告情報を送信してもよい。
【0197】
受付部15は、各種の情報を受け付ける。各種の情報とは、例えば、フラグ、イベント識別子などである。受付部15による受け付けは、通常、キーボードやタッチパネル等の入力デバイスから入力された情報の受け付けであるが、例えば、ネットワーク等を介して送信された情報の受信、ディスクや半導体メモリ等の記録媒体から読み出された情報の受け付けなどでもよい。
【0198】
受付部15は、例えば、送信部14による同時通訳情報の送信が終了した後、フラグを受け付ける。なお、フラグと対に、イベント識別子も受け付けられてもよい。
【0199】
出力部16は、各種の情報を出力する。各種の情報とは、例えば、報酬情報である。また、出力部16は、例えば、フラグ等の入力の要求を出力してもよい。
【0200】
出力部16による出力は、通常、ディスプレイへの表示であるが、例えば、プリンタでのプリントアウト、スピーカからの音出力、記録媒体への蓄積、他のプログラムへの引渡し、他の装置への送信などでもよく、その態様は問わない。なお、かかる事項は、報酬出力部161にも当てはまる。
【0201】
報酬出力部161は、報酬算定部137が取得した報酬情報を出力する。報酬出力部161は、取得された報酬情報を、通常、ディスプレイ等の出力デバイスを介して出力するが、記録媒体に蓄積したり、他の装置に送信したりしてもよい。
【0202】
なお、出力される報酬情報は、取得された報酬情報と同じでなくてもよい。例えば、取得された報酬情報に含まれる関係者識別子が“1”,“2”等のIDであり、出力される報酬情報に含まれる関係者識別子は、“運営者”や“通訳者”等の関係者名であってもよい。また、例えば、取得された報酬情報がCSVやTSV等のテキスト形式であり、出力される報酬情報は、表形式であってもよい。
【0203】
端末装置2を構成する端末格納部21は、各種の情報を格納し得る。各種の情報とは、例えば、ユーザ情報である。なお、ユーザ情報は、前述したように、ユーザ識別子を含む。また、ユーザ情報は、言語識別子も含んでもよい。さらに、端末格納部21には、例えば、端末識別子が格納されてもよい。
【0204】
ユーザ情報格納部211には、ユーザ情報が格納される。ユーザ情報は、ユーザ識別子を有する。また、ユーザ情報は、例えば、言語識別子も有していてもよい。ただし、ユーザ情報の構造は問わない。
【0205】
端末受付部22は、各種の情報を受け付ける。各種の情報とは、例えば、音声選択指示である。音声選択指示とは、2以上の音声のうち一の音声を選択するための指示である。音声選択指示は、例えば、逆多重化部251が取得した2以上の音声に対応する2以上の言語識別子から選択された、一の言語識別子を有する。ただし、音声選択指示は、例えば、チャンネルの切り換えの指示などでもよく、その構造は問わない。また、音声選択指示は、必ずしも受け付けられなくてもよい。
【0206】
端末受付部22による受け付けは、通常、キーボードやタッチパネル等の入力デバイスから入力された情報の受け付けであるが、例えば、ネットワーク等を介して送信された情報の受信、ディスクや半導体メモリ等の記録媒体から読み出された情報の受け付けなどでもよい。
【0207】
端末送信部23は、各種の情報を送信する。各種の情報とは、例えば、ユーザ情報である。端末送信部23は、例えば、ユーザ情報格納部211に格納されているユーザ情報をサーバ装置1に送信する。なお、送信されるユーザ情報は、格納されているユーザ情報と同じでなくてもよい。例えば、ユーザ識別子と言語識別子とを有するユーザ情報が格納されている場合、言語識別子を有さず、ユーザ識別子を有するユーザ情報が送信されてもよい。
【0208】
端末受信部24は、各種の情報を受信する。各種の情報とは、例えば、同時通訳情報である。
【0209】
端末処理部25は、各種の処理を行う。各種の処理とは、例えば、逆多重化部251の処理である。また、端末処理部25は、例えば、フローチャートで説明する各種の判別などの処理も行う。
【0210】
端末処理部25を構成する逆多重化部251は、端末受信部24が受信した同時通訳情報に含まれている多重化音声を逆多重化し、2以上の音声を取得する。逆多重化は、多重化とは逆の処理であり、多重化音声から、元の2以上の音声を復元する処理である。
【0211】
音声選択部252は、逆多重化部251が取得した2以上の音声のうち一の音声を選択する。音声選択部252は、取得された2以上の音声のうち、例えば、端末受付部22が受け付けた音声選択指示に対応する一の音声を選択する。
【0212】
または、例えば、ユーザ情報格納部211に格納されているユーザ情報が言語識別子を有しており、音声選択部252は、当該言語識別子に対応する音声を選択してもよい。
【0213】
なお、ユーザ情報が有する言語識別子は、例えば、ユーザによって予め入力された情報でもよいし、デフォルトの情報でもよい。また、ユーザ情報が有する言語識別子は、例えば、音声選択指示に応じて変更されてもよい。
【0214】
詳しくは、例えば、端末出力部26が、取得された2以上の音声に対応する2以上の言語識別子を出力し、端末受付部22は、当該出力された2以上の言語識別子から選択された一の言語識別子を有する音声選択指示を受け付け、端末処理部25は、格納されているユーザ情報が有する言語識別子を、当該音声選択指示が有する言語識別子に変更する。
【0215】
これに応じて、当該変更後の言語識別子に対応する音声が音声選択部252によって選択され、当該選択された音声が端末出力部26によって出力される。
【0216】
端末出力部26は、各種の情報を出力する。各種の情報とは、例えば、同時通訳情報である。端末出力部26は、例えば、端末受信部24が受信した同時通訳情報を、スピーカやディスプレイ等の出力デバイスを介して出力する。なお、出力される同時通訳情報は、受信された同時通訳情報と同じでなくてもよい。
【0217】
端末出力部26による出力は、通常、スピーカからの音出力、またはディスプレイへの表示であるが、例えば、プリンタでのプリントアウト、記録媒体への蓄積、他のプログラムへの引渡し、外部の装置への送信などでもよく、その態様は問わない。
【0218】
例えば、同時通訳情報が多重化音声を含んでおり、逆多重化部251が2以上の音声を取得した場合、端末出力部26は、当該取得された2以上の音声のうち、音声選択部252が選択した一の音声を出力する。これにより、ユーザは、例えば、発話音声、および異なる言語の1以上の同時通訳音声を含む2以上の音声のうち、所望の音声を聴くことができる。
【0219】
なお、話者装置3は、例えば、図示しない話者格納部、図示しない話者受付部、および図示しない話者送信部などを具備してもよい。話者格納部には、例えば、前述した第一言語を識別する言語識別子が格納されており、話者受付部が、話者の発話音声をマイクロフォンを介して受け付け、話者送信部が、当該受け付けられた話者音声を、当該格納されている言語識別子と対にサーバ装置1に送信してもよい。または、話者格納部には、話者識別子が格納されており、話者送信部は、受け付けられた発話音声を、格納されている話者識別子と対にサーバ装置1に送信してもよい。
【0220】
また、通訳者装置4は、例えば、図示しない通訳者格納部、図示しない通訳者受付部、および図示しない通訳者送信部などを具備してもよい。通訳者格納部には、例えば、前述した第二言語を識別する言語識別子が格納されており、通訳者受付部が、通訳者の同時通訳音声をマイクロフォンを介して受け付け、通訳者送信部が、当該受け付けられた同時訳音声を、当該格納されている言語識別子と対にサーバ装置1に送信してもよい。または、通訳者格納部には、通訳者識別子が格納されており、通訳者送信部は、受け付けられた同時訳音声を、格納されている通訳者識別子と対にサーバ装置1に送信してもよい。
【0221】
なお、サーバ装置1において、送信部14は、話者装置3から受信された話者音声の通訳者装置4への送信も行ってもよい。通訳者装置4は、例えば、図示しない通訳者受信部をも備え、通訳者受信部が、サーバ装置1から話者音声を受信し、通訳者出力部は、当該受信された話者音声をスピーカを介して出力してもよい。これにより、通訳者は、第一会場の外に居ても、通訳者装置4から出力される発話音声を聴きながら、同時通訳を行える。
【0222】
格納部11、ユーザ情報群格納部111、同時通訳関連情報格納部112、広告情報格納部113、報酬算定情報格納部114、端末格納部21、およびユーザ情報格納部211は、例えば、ハードディスクやフラッシュメモリといった不揮発性の記録媒体が好適であるが、RAMなど揮発性の記録媒体でも実現可能である。
【0223】
格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11等で記憶されるようになってもよく、ネットワークや通信回線等を介して送信された情報が格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11等で記憶されるようになってもよい。入力デバイスは、例えば、キーボード、マウス、タッチパネル等、何でもよい。
【0224】
受信部12、および端末受信部24は、通常、有線または無線の通信手段(例えば、NIC(Network interface controller)やモデム等の通信モジュール)で実現されるが、放送を受信する手段(例えば、放送受信モジュール)で実現されてもよい。
【0225】
処理部13、同時通訳情報取得部131、多重化部132、映像取得部133、言語識別子取得部134、広告情報選択部135、通訳属性値取得部136、報酬算定部137、検査部138、アップロード部139、端末処理部25、逆多重化部251、および音声選択部252は、通常、MPUやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。ただし、処理手順は、ハードウェア(専用回路)で実現してもよい。
【0226】
送信部14、第一の通信手段141、第二の通信手段142、および端末送信部23は、通常、有線または無線の通信手段で実現されるが、放送手段(例えば、放送モジュール)で実現されてもよい。
【0227】
受付部15、および端末受付部22は、入力デバイスを含むと考えても、含まないと考えてもよい。受付部15等は、入力デバイスのドライバーソフトによって、または入力デバイスとそのドライバーソフトとで実現され得る。
【0228】
出力部16、報酬出力部161、および端末出力部26は、ディスプレイやスピーカ等の出力デバイスを含むと考えても含まないと考えてもよい。出力部16等は、出力デバイスのドライバーソフトによって、または出力デバイスとそのドライバーソフトとで実現され得る。
【0229】
次に、情報システムの動作について、
図4〜
図7のフローチャートを用いて説明する。
図4〜
図6は、サーバ装置1の動作を説明するフローチャートである。
【0230】
(ステップS401)処理部13は、受信部12が同時通訳音声等の情報を受信したか否かを判別する。受信部12は、例えば、一の同時通訳音声のみを受信してもよいし、一の同時通訳音声と話者音声とを受信してもよいし、異なる言語の2以上の同時通訳音声と話者音声とを受信してもよい。また、受信部12は、少なくとも一の同時通訳音声を含む1以上の音声に加えて、映像も受信してもよい。なお、このフローチャートにおいて、受信部12は、通常、映像も受信するものとする。
【0231】
受信部12が同時通訳音声等の情報を受信したと判別された場合はステップS402に進み、受信していないと判別された場合はステップS406に進む。
【0232】
(ステップS402)処理部13は、ステップS401で受信された同時通訳音声等の情報を格納部11に蓄積する。その後、ステップS401に戻る。
【0233】
なお、格納部11の、同時通訳音声が格納される領域は、例えば、「第一バッファ領域」と称してもよい。また、第一バッファ領域には、例えば、発話音声も蓄積されてもよい。さらに、同時通訳音声を第一バッファに蓄積することは、例えば、異なる言語の2以上の同時通訳音声を第一バッファに蓄積する場合や、1以上の同時通訳および発話音声を第一バッファに蓄積する場合も含む。
【0234】
(ステップS403)処理部13は、ステップS402で蓄積された情報に、音声が2以上含まれているか否かを判別する。蓄積された情報に、音声が2以上含まれていると判別された場合はステップS404に進み、音声が1つしか含まれていないと判別され場合はステップS405に進む。
【0235】
(ステップS404)多重化部132は、当該同時通訳情報に含まれている2以上の音声を多重化し、多重化音声を取得する。
【0236】
(ステップS405)同時通訳情報取得部131は、格納部11に格納されている一の同時通訳音声またはステップS404で取得された同時通訳音声と、格納部11に格納されている映像とを含む同時通訳情報を取得する。
【0237】
(ステップS406)処理部13は、ステップS405で取得された同時通訳情報を格納部11に蓄積する。その後、ステップS401に戻る。
【0238】
なお、格納部11内の、同時通訳情報が格納される領域は、例えば、「第二バッファ領域」と称してもよい。
【0239】
(ステップS407)処理部13は、第一会場への配信を行うか否かを判断する。例えば、格納部11の第一バッファ領域に格納されている同時通訳音声のデータ量(例えば、「第一バッファ量」と称してもよい)が、予め決められた閾値以上または閾値より大になった場合に、第一会場への配信を行うと判断し、未だ予め決められた閾値以上または閾値より大になっていない場合には、第一会場への配信を行わないと判断してもよい。第一会場への配信を行うと判断された場合はステップS408に進み、行わないと判断され場合はステップS409に進む。
【0240】
(ステップS408)送信部14は、第一の通信手段141を介して、第一会場内に存在する端末装置2に、少なくとも、格納部11に格納されている同時通訳音声を送信する。その後、ステップS401に戻る。
【0241】
なお、少なくとも同時通訳音声を送信することは、例えば、第一バッファ領域に格納されている一の同時通訳音声のみを送信する場合や、第一バッファ領域に格納されている異なる言語の2以上の同時通訳音声を送信する場合や、第二バッファ領域に格納されている同時通訳情報に含まれている多重化音声を送信する場合などを含む。
【0242】
(ステップS409)処理部13は、1以上の第二会場への配信を行うか否かを判断する。例えば、格納部11の第二バッファ領域に格納されている同時通訳情報のデータ量(例えば、「第二バッファ量」と称してもよい)が、予め決められた閾値以上または閾値より大になった場合に、1以上の第二会場への配信を行うと判断し、未だ予め決められた閾値以上または閾値より大になっていない場合には、1以上の第二会場への配信を行わないと判断してもよい。1以上の第二会場への配信を行うと判断された場合はステップS408に進み、行わないと判断され場合はステップS409に進む。
【0243】
(ステップS410)送信部14は、第二の通信手段142を介して、1以上の各第一会場内に存在する端末装置2に、格納部11に格納されている同時通訳情報を送信する。その後、ステップS401に戻る。
【0244】
なお、送信される同時通訳情報は、格納されている同時通訳情報と同じでなくてもよい。つまり、同時通訳情報を送信することは、通常、同時通訳情報に含まれている全ての情報を送信することであるが、送信されない情報があってもよい。
【0245】
(ステップS411)処理部13は、広告情報の送信を行うか否かを判断する。例えば、格納部11に、広告情報の送信のタイミングに関するタイミング情報が格納されており、処理部13は、当該タイミング情報と、内蔵時計等から取得される現在時刻と用いて、広告情報の送信を行うか否かの判断を行う。または、例えば、受付部15が、広告情報の送信を行う旨の指示を受け付けた場合に、処理部13は、広告情報の送信を行うと判断してもよく、広告情報の送信を行うトリガやタイミングは問わない。
【0246】
広告情報の送信を行うと判断された場合はステップS412に進み、行わないと判断された場合はステップS415に進む。
【0247】
(ステップS412)言語識別子取得部134は、同時通訳音声の言語識別子を取得する。なお、同時通訳音声の言語識別子を取得することは、2以上の各同時通訳音声ごとに、言語識別子を取得する場合も含む。
【0248】
(ステップS413)広告情報選択部135は、広告情報格納部113から、ステップS412で取得された言語識別子に対応する広告情報を取得する。なお、取得された言語識別子に対応する広告情報を取得することは、例えば、取得された2以上の各言語識別子に対応する広告情報を取得する場合も含む。
【0249】
(ステップS414)送信部14は、第一および第二の少なくとも1つの通信手段を介して、1以上の端末装置2に広告情報を送信する。広告情報は、例えば、第二の通信手段142を介して、1以上の各第二会場内の端末装置2にのみ送信されてもよいし、第一および第二の2つの通信手段を介して、第一会場内の端末装置2と1以上の各第二会場内の端末装置2との両方に送信されてもよいし、第一の通信手段141を介して、第一会場内の端末装置2にのみ送信されてもよい。その後、ステップS401に戻る。
【0250】
(ステップS415)処理部13は、報酬の算定を行うか否かを判断する。処理部13は、例えば、同時通訳情報の送信が完了した場合に、報酬の算定を行うと判断し、同時通訳情報の送信が完了していない場合には、報酬の算定を行わないと判断する。または、例えば、受付部15が、報酬の算定を行う旨の指示を受け付けた場合に、処理部13は、報酬の算定を行うと判断してもよいし、報酬の算定を行うタイミングに関するタイミング情報等を用いて判断を行ってもよく、報酬の算定を行うトリガやタイミングは問わない。
【0251】
報酬の算定を行うと判断された場合はステップS416に進み、行わないと判断された場合はステップS419に進む。
【0252】
(ステップS416)通訳属性値取得部136は、通訳提供時間情報または通訳享受者数のうち、1以上の通訳属性値を取得する。なお、通訳提供時間情報および通訳享受者数の取得方法については、前述したので繰り返さない。
【0253】
(ステップS417)報酬算定部137は、報酬算定情報格納部114に格納されている報酬算定情報と、ステップS416で取得された1以上の通訳属性値とを用いて、通訳者等の報酬を算定する。なお、通訳者等の報酬の算定方法については、前述したので繰り返さない。
【0254】
(ステップS418)報酬出力部161は、ステップS417で取得された報酬情報を、ディスプレイ等の出力デバイスを介して出力する。その後、ステップS401に戻る。
【0255】
(ステップS419)処理部13は、受付部15が、公開または非公開を示すフラグ等を受け付けたか否かを判別する。なお、受付部15は、フラグと対に、イベント識別子も受け付けてもよい。受付部15がフラグ等を受け付けたと判別された場合はステップS420に進み、受け付けていないと判別され場合はステップS421に進む。
【0256】
(ステップS420)処理部13は、格納部11に格納されている同時通訳情報と、ステップS419で受け付けられたフラグ等と有する同時通訳関連情報を構成し、同時通訳関連情報格納部112に蓄積する。その後、ステップS401に戻る。
【0257】
(ステップS421)処理部13は、アップロードを行うか否かを判断する。例えば、格納部11に、アップロードのタイミングに関するタイミング情報が格納さており、処理部13は、当該タイミング情報と、内蔵時計等から取得される現在時刻とを用いて、アップロードを行うか否かを判断する。または、例えば、受付部15が、アップロードを行う旨の指示を受け付けた場合に、処理部13は、アップロードを行うと判断してもよく、アップロードを行うトリガやタイミングは問わない。
【0258】
アップロードを行うと判断された場合はステップS422に進み、行わないと判断された場合はステップS401に戻る。
【0259】
(ステップS422)取得部131は、変数iに初期値0セットする。変数iとは、同時通訳関連情報格納部112に格納されている1以上の同時通訳関連情報のうち、未選択の同時通訳関連情報を順番に選択していくための変数である。
【0260】
(ステップS423)処理部13は、処理部13は、i番目の同時通訳関連情報があるか否かを判別する。i番目の同時通訳関連情報があると判別された場合はステップS424に進み、ないと判別された場合はステップS401に戻る。
【0261】
(ステップS424)検査部138は、i番目の同時通訳関連情報が有するフラグを検査する。
【0262】
(ステップS425)処理部13は、ステップS424での検査の結果が公開を示すか否かを判別する。検査結果が公開を示すと判別された場合はステップS426に進み、非公開を示すと判別され場合はステップS427に進む。
【0263】
(ステップS426)アップロード部139は、i番目の同時通訳関連情報を外部のサーバにアップロードする。
【0264】
(ステップS427)処理部13は、変数iをインクリメントする。その後、ステップS423に戻る。
【0265】
なお、
図4〜
図6のフローチャートにおいて、サーバ装置1の電源オンやプログラムの起動に応じて処理が開始し、電源オフや処理終了の割り込みにより処理は終了する。ただし、処理の開始または終了のトリガは問わない。
【0266】
図7は、端末装置2の動作を説明するフローチャートである。
【0267】
(ステップS701)端末処理部25は、端末受信部24がサーバ装置1から同時通訳音声または同時通訳情報を受信したか否かを判別する。端末受信部24がサーバ装置1から同時通訳音声または同時通訳情報を受信したと判別された場合はステップS702に進み、受信していないと判別され場合はステップS707に進む。
【0268】
(ステップS702)端末処理部25は、ステップS701で受信された同時通訳音声または同時通訳情報に多重化音声が含まれているか否かを判別する。受信された同時通訳音声または同時通訳情報に多重化音声が含まれていると判別された場合はステップS703に進み、含まれていないと判別された場合はステップS706に進む。
【0269】
(ステップS703)逆多重化部251は、当該多重化音声に対して逆多重化を行い、2以上の音声を取得する。
【0270】
(ステップS704)端末処理部25は、ステップS703で取得された2以上の各音声の言語識別子を取得する。
【0271】
(ステップS705)端末処理部25は、ステップS703で取得された2以上の音声のうち、ユーザ情報格納部211に格納されているユーザ情報が有する言語識別子に対応する音声を選択する。
【0272】
(ステップS706)端末出力部26は、ステップS705で選択された一の音声を、スピーカを介して出力する。なお、ステップS701で同時通訳情報が受信され、当該同時通訳情報に映像が含まれている場合は、当該映像がディスプレイを介してさらに出力される。その後、ステップS701に戻る。
【0273】
(ステップS707)端末処理部25は、端末受付部22が音声選択指示を受け付けたか否かを判別する。端末受付部22が音声選択指示を受け付けたと判別された場合はステップS708に進み、受け付けていないと判別され場合はステップS701に戻る。
【0274】
(ステップS708)端末処理部25は、ユーザ情報格納部211に格納されていうユーザ情報が有する言語識別子を、ステップS707で受け付けられた音声選択指示に応じた言語識別子に更新する。その後、ステップS701に戻る。
【0275】
なお、
図7のフローチャートにおいて、端末装置2の電源オンやプログラムの起動に応じて処理が開始し、電源オフや処理終了の割り込みにより処理は終了する。ただし、処理の開始または終了のトリガは問わない。
【0276】
以下、本実施の形態における情報システムの具体的な動作例について説明する。なお、以下の説明は、種々の変更が可能であり、本発明の範囲を何ら制限するものではない。
【0277】
(具体例1)
具体例1は、話者Aの講演を聴くイベントである「A講演会」を対象として、話者Aの日本語による発話音声と、当該発話音声を二人の通訳者xおよびyが英語および中国語の2か国語に同時通訳した2つの同時通訳音声と、話者Aを撮影した映像とを取得し、当該取得した3つの音声を多重化した多重化音声を、無線LAN等の第一の通信手段141で、話者Aと、ユーザaおよびユーザbを含む2以上の聴者とが居る第一会場である会場Xに配信し、多重化音声と映像と含む同時通訳情報を、インターネット等の第二の通信手段142で、ユーザcを含む1以上の聴者のみが居る第二会場である会場Yと、ユーザdを含む1以上の聴者のみが居る他の第二会場である会場Zとに配信する例である。
【0278】
なお、本例では、二人の通訳者xおよびyは、会場X内の通訳者ブースに居り、話者Aの発話を直に聴くことができるものとする。
【0279】
情報システムの概念図は
図1である。本例の情報システムは、サーバ装置1、4以上の端末装置2、話者装置3、および2つの通訳者装置4を備える。話者装置3は、会場X内の図示しない演壇に存在し、2つの通訳者装置4は、会場X内の図示しない通訳者ブースに存在している。
【0280】
4以上の端末装置2のうち、一の端末装置2(以下、端末装置2a)は、ユーザaの携帯端末であり、会場X内に存在している。4以上の端末装置2のうち、他の一の端末装置2(以下、端末装置2b)は、ユーザbの携帯端末であり、会場X内に存在している。4以上の端末装置2のうち、その他の一の端末装置2(以下、端末装置2c)は、ユーザcの携帯端末であり、会場Y内に存在している。4以上の端末装置2のうち、さらにその他の一の端末装置2(以下、端末装置2d)は、ユーザdの携帯端末であり、会場Z内に存在している。
【0281】
サーバ装置1を構成する格納部11には、例えば、
図8に示すように、イベント識別子に対応付けて、1または2以上の会場種別情報群が格納される。
図8は、会場種別情報群のデータ構造図である。会場種別情報は、会場識別子と種別情報とを有する。
【0282】
なお、会場種別情報群は、例えば、イベントの開始前に、受付部15によって、当該イベントを識別するイベント識別子と対に受け付けられ、処理部13によって、当該イベント識別子に対応付けて格納部11に蓄積される。ただし、イベント識別子と会場種別情報群との組の集合が、予め格納部11に格納されていてもよい。
【0283】
イベント識別子“A講演会”に対応する会場種別情報群は、3つの会場種別情報で構成される。これら3つの各会場種別情報には、ID(例えば、“1”,“2”等)が対応付いている。例えば、ID“1”が対応付いた会場種別情報(以下、会場種別情報1と記す場合がある)は、会場識別子“X”と種別情報“第一会場”とを有する。また、ID“2”が対応付いた会場種別情報2は、会場識別子“Y”と種別情報“第二会場”とを有する。同様に、会場種別情報3は、会場識別子“Z”と種別情報“第二会場”とを有する。
【0284】
ユーザ情報群格納部111には、例えば、イベント識別子“A講演会”に対応付けて、
図9に示すようなユーザ情報群が格納される。
図9は、ユーザ情報群のデータ構造図である。このユーザ情報群は、4以上のユーザ情報で構成されている。ユーザ情報群を構成するユーザ情報は、例えば、ユーザ識別子、会場識別子、および言語識別子を有する。ただし、ユーザ情報群を構成するユーザ情報は、言語識別子を有さなくてもよい。
【0285】
イベント識別子“A講演会”に対応するユーザ情報群を構成する4以上の各ユーザ情報には、ID(例えば、“1”,“2”等)が対応付いている。例えば、ID“1”が対応付いたユーザ情報(以下、ユーザ情報1と記す場合がある)は、ユーザ識別子“a”、会場識別子“X”、および言語識別子“英”を有する。
【0286】
また、ID“2”が対応付いたユーザ情報2は、ユーザ識別子“b”、会場識別子“X”、および言語識別子“中”を有する。同様に、ユーザ情報3は、ユーザ識別子“c”、会場識別子“Y”、および言語識別子“英”を有し、ユーザ情報4は、ユーザ識別子“d”、会場識別子“Z”、および言語識別子“英”を有する。
【0287】
なお、上記のようなユーザ情報群は、例えば、イベントの開始前に、受信部12によって2以上の端末装置2から受信され、処理部13によってユーザ情報群格納部111に蓄積されるが、予めユーザ情報群格納部111に格納されていてもよい。また、例えば、イベントの開始から終了までの間に、新たなユーザ情報が他の端末装置2から受信され、に格納されているユーザ情報群に追記されてもよい。
【0288】
端末装置2aのユーザ情報格納部211には、上記ユーザ情報1に対応するユーザ情報“(a,X,英)”が格納される。端末装置2bのユーザ情報格納部211には、上記ユーザ情報2に対応するユーザ情報“(b,X,中)”が格納される。端末装置2cのユーザ情報格納部211には、上記ユーザ情報3に対応するユーザ情報“(c,Y,英)”が格納される。端末装置2dのユーザ情報格納部211には、上記ユーザ情報4に対応するユーザ情報“(d,Z,英)”が格納される。
【0289】
なお、上記のようなユーザ情報は、例えば、イベントの開始前に、端末受付部22によって受け付けられ、端末処理部25によってユーザ情報格納部211に蓄積されるが、予めユーザ情報格納部211に格納されていてもよい。また、例えば、イベントの開始から終了までの間に、端末受付部22によって音声変更操作が受け付けられたことに応じて、格納されていているユーザ情報の言語識別子が変更されてもよい。
【0290】
いま、A講演会が始まり、同時通訳システムによる同時通訳音声等の配信が開始されたとする。サーバ装置1の処理部13は、送信部14による同時通訳音声等の送信が開始されたことに応じて、内蔵時計等から現在時刻を取得し、送信が開始された時刻を示す変数“送信開始時刻”に、当該取得した現在時刻をセットする。
【0291】
話者装置3は、話者Aの日本語による発話音声を内蔵マイクロフォンを介して受け付け、話者Aの映像を内蔵カメラで撮影し、当該受け付けた発話音声と当該撮影した映像とを、ネットワーク等を介してサーバ装置1に送信する動作を開始する。
【0292】
通訳者装置4xは、通訳者xの英語による同時通訳音声を受け付け、サーバ装置1に送信する動作を開始する。通訳者装置4yは、通訳者yの中国語による同時通訳音声を受け付け、サーバ装置1に送信する動作を開始する。
【0293】
サーバ装置1において、受信部12が、上記英語による同時通訳音声、上記中国語による同時通訳音声、上記日本語による発話音声、および上記映像等の情報を受信し、処理部13は、当該受信された情報を格納部11に蓄積する。ここで、当該受信された情報のうち、英語による同時通訳音声、中国語による同時通訳音声、および日本語による発話音声の、3つ音声は、第一バッファ領域に蓄積される。多重化部132は、第一バッファ領域に格納されている3つの音声を多重化し、多重化音声を取得する。処理部13は、当該取得されたド多重化音声で、第一バッファ領域の元の3つの音声を置き換える。
【0294】
なお、第一バッファ領域には、受信された情報のうち、英語による同時通訳音声、および中国語による同時通訳音声の、2つの同時通訳音声のみが蓄積され、日本語による発話音声は蓄積されなくてもよい。この場合、多重化部132は、当該2つの同時通訳音声を多重化し、多重化音声を取得する。または、多重化部132は、当該2つの同時通訳音声を多重化し、第一の多重化音声を取得すると共に、日本語による発話音声も含む3つの音声を多重化し、第二の多重化音声を取得してもよい。
【0295】
同時通訳情報取得部131は、多重化部132が取得した多重化音声と、格納部11に格納されている映像とを含む同時通訳情報を取得し、処理部13は、当該取得された同時通訳情報を、格納部11の第二バッファ領域に蓄積する。
【0296】
なお、同時通訳情報取得部131は、多重化部132が取得した第二の多重化音声と、格納部11に格納されている映像とを含む同時通訳情報を取得し、処理部13は、当該取得された同時通訳情報を、格納部11の第二バッファ領域に蓄積してもよい。
【0297】
処理部13は、第一バッファ領域に格納されている一の同時通訳音声または多重化音声のデータ量である第一バッファ量が、閾値以上または閾値より大になったか否かの判別を、定期的または不定期に行っており、バッファ量が閾値以上または閾値より大になると、第一会場への配信を行うと判断する。
【0298】
かかる判断結果を受け、送信部14は、第一の通信手段141を介して、第一会場である会場X内に存在する2以上の端末装置2aおよび2b等に、第一バッファ領域に格納されている一の同時通訳音声または多重化音声を送信する第一送信処理を開始する。
【0299】
なお、第一送信処理は、講演会Aが終わり、第一バッファ領域に格納されている未送信の同時訳音声または多重化音声がなくなると、終了される。
【0300】
端末装置2aにおいて、端末受信部24が、上記同時通訳音声または多重化音声を受信し、逆多重化部251は、多重化音声が受信された場合に、逆多重化を行い、元の2以上の音声を取得する。ここでは、多重化音声が受信され、英語による同時通訳音声、中国語による同時通訳音声、および日本語による発話音声の、3つの音声が取得されたとする。
【0301】
音声選択部252は、当該取得された3つの音声のうち、ユーザ情報格納部211に格納されているユーザ情報が有する言語識別子に対応する音声を選択し、端末出力部26は、当該選択された音声を、スピーカを介して出力する。ここでは、上記3つの音声のうち、ユーザ情報“(a,X,英)”が有する言語識別子“英”に対応する“英語による同時通訳音声”が選択され、出力される。
【0302】
これにより、端末装置2aのスピーカから、英語による同時通訳音声が出力され、ユーザaは、話者Aの話を英語で聴くことができる、
【0303】
端末装置2bにおいても、多重化音声が受信され、逆多重化によって、上記3つの音声が取得される。そして、当該取得された3つの音声のうち、格納されているユーザ情報“(b,X,中)”が有する言語識別子“中”に対応する“中国語による同時通訳音声”が選択され、当該選択された音声が出力される。これにより、端末装置2bのスピーカから、中国語による同時通訳音声が出力され、ユーザbは、話者Aの話を中国語で聴くことができる。
【0304】
また、処理部13は、第二バッファ領域に格納されている同時通訳情報のデータ量である第二バッファ量が、閾値以上または閾値より大になったか否かの判別を、定期的または不定期に行っており、第二バッファ量が閾値以上または閾値より大になったと判別されると、第二会場である2つの会場YおよびZへの配信を行うと判断する。かかる判断結果を受け、送信部14は、第二の通信手段142を介して、会場Y内に存在する1以上の端末装置2c等、および会場Z内に存在する1以上の端末装置2dに、第二バッファ領域に格納されている同時通訳情報を送信する第二送信処理を開始する。
【0305】
なお、第二送信処理は、講演会Aが終わり、第二バッファ領域に格納されている未送信の同時通訳情報がなくなると、終了される。
【0306】
端末装置2cにおいて、端末受信部24が上記同時通訳情報を受信し、逆多重化部251は、当該受信された同時通訳情報に多重化音声が含まれている場合に、逆多重化を行い、元の2以上の音声を取得する。ここでは、同時通訳情報に多重化音声が含まれており、上記3つの音声が取得されたとする。音声選択部252は、当該取得された3つの音声のうち、格納されているユーザ情報“(c,Y,英)”が有する言語識別子“英”に対応する音声を選択し、端末出力部26は、当該選択された音声を、スピーカを介して出力する。
【0307】
また、端末出力部26は、上記受信された同時通訳情報に含まれる映像を、ディスプレイを介して出力する。これにより、端末装置2cのディスプレイには、話者Aの映像が表示され、端末装置2cのスピーカから、英語による同時通訳音声が出力される。従って、ユーザcは、話者Aの映像を見ながら、話者Aの話を英語で聴くことができる。
【0308】
端末装置2dにおいても、上記と同様の処理が行われ、話者Aの映像が表示されると共に、英語による同時通訳音声が出力される。従って、ユーザdは、話者Aの映像を見ながら、話者Aの話を英語で聴くことができる。
【0309】
サーバ装置1において、送信部14による同時通訳音声等の送信が終了すると、受付部15が、公開または非公開を示すフラグの入力を受け付ける。処理部13は、格納部11に格納されている同時通訳音声と、当該受け付けられたフラグと、ユーザ情報群格納部111等に格納されているイベント識別子“A講演会”とを有する同時通訳関連情報を構成し、同時通訳関連情報格納部112に蓄積する。
【0310】
なお、同時通訳関連情報格納部112には、他のイベント(例えば、具体例2で説明する「B講演会」等)に関する同時通訳関連情報も蓄積され得る。同時通訳関連情報格納部112に格納されている1または2以上の同時通訳関連情報のうち、公開を示すフラグを有する1以上の同時通訳関連情報が、アップロード部139によって外部のサーバにアップロードされる。同時通訳関連情報のアップロードについては、具体例3で説明する。
【0311】
なお、同時通訳音声等の出力中に音声変更指示が入力された場合の処理は、以下のようになる。例えば、端末装置2aにおいて、英語による同時通訳音声の出力中に、ユーザaが、タッチパネル等の入力デバイスを介して、言語識別子“中”を有する音声変更指示を入力したとすると、端末受付部22が当該音声変更指示を受け付け、端末処理部25は、ユーザ情報格納部211に格納されているユーザ情報“(a,X,英)”が有する言語識別子“英”を、当該受け付けられた音声変更指示が有する言語識別子“中”に変更する。
【0312】
これに応じて、音声選択部252が、上記3つの音声のうち、変更後の言語識別子“中”に対応する“中国語による同時通訳音声”を選択し、端末出力部26は、当該選択された音声を出力する。これにより、端末装置2aから出力される音声が、英語による同時通訳音声から中国語による同時通訳音声に切り換わり、ユーザaは、話者Aの話を中国語で聴くことができる。
【0313】
なお、他の各端末装置2b〜2f等においても、上記と同様の処理によって、音声の変更が可能である。
【0314】
サーバ装置1において、送信部14による同時通訳情報等の送信が終了すると、処理部13は、内蔵時計等から現在時刻を取得し、送信が終了された時刻を示す変数“送信終了時刻”に、当該取得した現在時刻をセットする。次に、処理部13は、変数“送信終了時刻”の値から変数“送信開始時刻”の値を減算し、通訳提供時間を示す変数“通訳提供時間”に当該減算の結果をセットする。さらに、処理部13は、ユーザ情報群格納部111に格納されているユーザ情報の数を計数し、通訳享受数を示す変数“通訳享受者数”に当該計数の結果をセットする。
【0315】
なお、上記2つの変数“通訳提供時間”および“通訳享受者数”は、報酬を算出する際に用いられる。報酬の算出については、具体例4で説明する。
【0316】
(具体例2)
具体例2は、話者Bの講演を聴くイベントである「B講演会」を対象として、話者Bの英語による発話音声と、当該発話音声を一の通訳者zが日本語に同時通訳した一の同時通訳音声と、話者Bを撮影した映像とを取得し、当該取得した2つの音声を多重化した多重化音声を、無線LAN等の第一の通信手段141で、話者Bと、ユーザeを含む1以上の聴者とが居る第一会場である会場Pに配信し、多重化音声と映像と含む同時通訳情報を、インターネット等の第二の通信手段142で、ユーザfを含む1以上の聴者のみが居る第二会場である会場Qとに配信する例である。
【0317】
なお、本例では、通訳者zは、自宅に居り、通訳者装置4から出力される発話音声を聴きながら同時通訳を行う。また、「B講演会」は、「A講演会」の後に行われたものであるとする。
【0318】
本例における情報システムは、サーバ装置1、2以上の端末装置2、話者装置3、および一の通訳者装置4を備える。話者装置3は、会場P内に存在し、通訳者装置4は、通訳者zの自宅に存在している。2以上の端末装置2のうち、一の端末装置2(以下、端末装置2e)は、ユーザeの携帯端末であり、会場P内に存在している。2以上の端末装置2のうち、他の一の端末装置2(以下、端末装置2f)は、ユーザfの携帯端末であり、会場Q内に存在している。
【0319】
サーバ装置1の格納部11には、例えば、
図8に示すように、イベント識別子“B講演会”に対応付けて、2つ目の会場種別情報群が格納される。イベント識別子“B講演会”に対応する会場種別情報群を構成する2つの各会場種別情報には、IDが対応付いている。例えば、ID“1”が対応付いた会場種別情報1は、会場識別子“P”と種別情報“第一会場”とを有する。同様に、会場種別情報2は、会場識別子“Q”と種別情報“第二会場”とを有する。
【0320】
ユーザ情報群格納部111には、例えば、イベント識別子“B講演会”に対応付けて、
図9に示すような、2つのユーザ情報で構成された2つ目のユーザ情報群が格納される。イベント識別子“B講演会”に対応するユーザ情報群を構成する2以上の各ユーザ情報には、IDが対応付いており、例えば、ID“1”が対応付いたユーザ情報1は、ユーザ識別子“e”、会場識別子“P”、および言語識別子“日”を有する。同様に、ユーザ情報2は、ユーザ識別子“f”、会場識別子“Q”、および言語識別子“英”を有する。
【0321】
端末装置2eのユーザ情報格納部211には、上記ユーザ情報1に対応するユーザ情報“(e,P,日)”が格納される。端末装置2fのユーザ情報格納部211には、上記ユーザ情報2に対応するユーザ情報“(f,Q,英)”が格納される。
【0322】
いま、B講演会が始まり、同時通訳システムによる同時通訳音声等の配信が開始されたとする。サーバ装置1の処理部13は、例えば、第一の通信手段141による同時通訳音声の送信が開始されたことに応じて、内蔵時計等から現在時刻を取得し、変数“送信開始時刻”にセットする。
【0323】
話者装置3は、話者Bの英語による発話音声を内蔵マイクロフォンを介して受け付け、話者Bの映像を内蔵カメラで撮影し、当該け付けた発話音声と当該撮影した映像とを、ネットワーク等を介してサーバ装置1に送信する動作を開始する。通訳者装置4zは、通訳者zの日本語による同時通訳音声を受け付け、サーバ装置1に送信する動作を開始する。
【0324】
サーバ装置1において、受信部12が、上記日本語による同時通訳音声、上記英語による発話音声、および上記映像等の情報を受信し、処理部13は、当該受信された情報を格納部11に蓄積する。当該受信された情報のうち、日本語による同時通訳音声、および日本語による発話音声の、2つ音声は、第一バッファ領域に蓄積される。多重化部132は、第一バッファ領域に格納されている2つの音声を多重化し、多重化音声を取得する。処理部13は、当該取得された多重化音声で、第一バッファ領域の元の2つの音声を置き換える。
【0325】
なお、第一バッファ領域には、受信された情報のうち、日本語による同時通訳音声のみが蓄積され、英語による発話音声は蓄積されなくてもよい。この場合、多重化部132による多重化は行われない。
【0326】
同時通訳情報取得部131は、多重化部132が取得した多重化音声と、格納部11に格納されている映像とを含む同時通訳情報を取得し、処理部13は、当該取得された同時通訳情報を、格納部11の第二バッファ領域に蓄積する。
【0327】
なお、同時通訳情報取得部131は、日本語による同時通訳音声と映像とを含む同時通訳情報を取得し、処理部13は、当該取得された同時通訳情報を、格納部11の第二バッファ領域に蓄積してもよい。
【0328】
処理部13は、第一バッファ領域に格納されている一の同時通訳音声または多重化音声のデータ量である第一バッファ量が、閾値以上または閾値より大になると、第一会場である会場Pへの配信を行うと判断する。かかる判断結果を受け、送信部14は、第一の通信手段141を介して、会場P内に存在する1以上の端末装置2e等に、第一バッファ領域に格納されている一の同時通訳音声または多重化音声を送信する第一送信処理を開始する。なお、第一送信処理は、講演会Bが終わり、第一バッファ領域に格納されている未送信の同時訳音声または多重化音声がなくなると、停止される。
【0329】
端末装置2eにおいて、端末受信部24が、上記同時通訳音声または多重化音声を受信し、逆多重化部251は、多重化音声が受信された場合に、逆多重化を行い、元の2以上の音声を取得する。ここでは、多重化音声が受信され、日本語による同時通訳音声、および英語による発話音声の、2つの音声が取得されたとする。
【0330】
音声選択部252は、当該取得された2つの音声のうち、ユーザ情報格納部211に格納されているユーザ情報“(e,P,日)”が有する言語識別子“日”に対応する“日本語による同時通訳音声”を選択し、端末出力部26は、当該選択された音声を、スピーカを介して出力する。これにより、端末装置2eのスピーカから、日本語による同時通訳音声が出力され、ユーザeは、話者Bの話を日本語で聴くことができる、
【0331】
また、処理部13は、第二バッファ領域に格納されている同時通訳情報のデータ量である第二バッファ量が閾値以上または閾値より大になると、第二会場である会場Qへの配信を行うと判断する。かかる判断結果を受け、送信部14は、第二の通信手段142を介して、第二会場Q内に存在する1以上の端末装置2f等に、第二バッファ領域に格納されている同時通訳情報を送信する第二送信処理を開始する。なお、ここでは、多重化音声と映像とを含む同時通訳情報が送信されるとする。また、第二送信処理は、講演会Bが終わり、第二バッファ領域に格納されている未送信の同時通訳情報がなくなると、停止される。
【0332】
端末装置2fにおいて、端末受信部24が、上記同時通訳情報を受信し、逆多重化部251は、同時通訳情報に含まれる多重化音声を逆多重化し、上記2つの音声を取得する。音声選択部252は、当該取得された2つの音声のうち、格納されているユーザ情報“(f,Q,英)”が有する言語識別子“英”に対応する“英語による同時通訳音声”を選択し、端末出力部26は、当該選択された音声をスピーカを介して出力する。これにより、端末装置2fのスピーカから、英語による発話音声が出力され、ユーザbは、話者Bの映像を見ながら、話者Bの話を原語で(つまり、英語のまま)聴くことができる。
【0333】
サーバ装置1において、送信部14による同時通訳音声等の送信が終了すると、受付部15がフラグの入力を受け付け、処理部13は、格納部11に格納されている同時通訳音声と、当該受け付けられたフラグと、ユーザ情報群格納部111等に格納されているイベント識別子“B講演会”とを有する同時通訳関連情報を構成し、同時通訳関連情報格納部112に蓄積する。
【0334】
(具体例3)
具体例3は、上記具体例1において、同時通訳音声等の配信を行う際に、適時、広告情報を送信する例である。
【0335】
広告情報格納部113には、例えば、
図10に示すような、言語識別子と広告情報との対が3以上、格納される。
図10は、広告情報格納部113の内容を示す図である。言語識別子と広告情報との対とは、例えば、言語識別子“日”と広告情報“xx.mp4”との対、言語識別子“英”と広告情報“yy.mp4”との対、言語識別子“中”と広告情報“zz.mp4”との対などである。広告情報“xx.mp4”は、日本語による広告の情報であり、日本語の音声と映像を含む。広告情報“yy.mp4”は、英語による広告の情報であり、英語の音声と映像を含む。広告情報“zz.mp4”は、中国語による広告の情報であり、中国語の音声と映像を含む。
【0336】
なお、上記のような、音声および映像を含む広告情報は、第二の通信手段142による送信に好適であるが、第一の通信手段141によって送信されてもよい。ただし、広告情報は、映像を含まず、音声を含んでいてもよい。このような、音声のみを含む広告情報は、第一の通信手段141による送信に好適であるが、第二の通信手段142によって送信されてもよい。
【0337】
また、本例における映像は、例えば、2以上の広告情報の間で共通の映像であるが、異なる映像でもよい。
【0338】
サーバ装置1のオペレータは、同時通訳音声等の配信を開始する直前、休憩時、同時通訳音声等の配信を終了した直後などの適宜なタイミングで、キーボード等の入力デバイスを介して、広告情報の送信を行う旨の指示を入力する。
【0339】
サーバ装置1において、受付部15が上記指示を受け付け、言語識別子取得部134は、配信の対象である同時通訳音声の言語識別子を取得する。2以上の音声を多重化した多重化音声が配信される場合は、当該2以上の各音声の言語識別子が取得される。従って、例えば、具体例1のように、英語による同時通訳音声、中国語による同時通訳音声、および日本語による発話音声の、3つの音声を多重化した多重化した多重化音声が配信される場合は、当該3つの音声に対応する3つの言語識別子“英”,“中”,および“日”が取得される。
【0340】
広告情報選択部135は、広告情報格納部113から、当該取得された1または2以上の各言語識別子に対応する広告情報を取得する。従って、例えば、3つの言語識別子“英”,“中”,および“日”が取得された場合は、言語識別子“英”に対応する広告情報“yy.mp4”と、言語識別子“中”に対応する広告情報“zz.mp4”と、言語識別子“日”に対応する広告情報“xx.mp4”との、3つの広告情報が取得される。
【0341】
送信部14は、当該選択された1または2以上の広告情報を、1以上の端末装置2に送信する。1以上の広告情報は、第一の通信手段141または第二の通信手段142のうち1以上の通信手段によって送信される。本例では、第二の通信手段142が、当該選択された1以上の広告情報を、1以上の各第二会場内の端末装置2に送信し、第一の通信手段141は、広告情報の送信を行わないものとする。従って、当該取得された3つの広告情報は、会場Y内の1以上の端末装置2c等と、会場Z内の1以上の端末装置2c等とに送信される。
【0342】
端末装置2cにおいて、端末受信部24が、上記3つの広告情報を受信し、端末出力部26は、当該受信された3つの広告情報のうち、ユーザ情報格納部211に格納されているユーザ情報“(a,X,英)”が有する言語識別子“英”に対応する広告情報“yy.mp4”を、スピーカやディスプレイ等の出力デバイスを介して出力する。これによって、端末装置2cからは、広告が、同時通訳情報と同じ言語で出力される。同様に、端末装置2dからも、広告が、同時通訳情報と同じ言語で出力される。その結果、第二会場内に居るユーザに対する広告の効果を高めることができる。
【0343】
(具体例3の変形例)
広告情報格納部113には、一の言語識別子に対応付けて、映像を含まず、音声のみを含む第一の広告情報と、映像および音声を含む第二の広告情報との、2つの広告情報が格納されていてもよい。
【0344】
広告情報選択部135は、広告情報格納部113から、言語識別子取得部134によって取得された言語識別子に対応する、第一および第二の2つの広告情報を選択する。そして、第一の通信手段141が、当該選択された2つの広告情報のうち第一の広告情報を、第一会場内の端末装置2に送信する。また、第二の通信手段142が、当該選択された2つの広告情報のうち第二の広告情報を、1以上の各第二会場内の端末装置2に送信する。
【0345】
従って、3つの言語識別子“英”,“中”,および“日”が取得された場合は、言語識別子“英”に対応する第一および第二の2つの広告情報(例えば、“yy1.mp4”および“yy2.mp4”)と、言語識別子“中”に対応する第一および第二の2つの広告情報(例えば、“zz1.mp4”および“zz2.mp4”)と、言語識別子“日”に対応する第一および第二の2つの広告情報(例えば、“xx1.mp4”および“xx2.mp4”)とが選択される。
【0346】
第一の通信手段141は、当該選択された3つの第一広告情報(例えば、“yy1.mp4”,“zz1.mp4”,および“xx1.mp4”)を会場X内に存在する2以上の端末装置2aおよび2b等に送信する。第二の通信手段142は、当該選択された3つの第二広告情報(例えば、“yy2.mp4”,“zz2.mp4”,および“xx2.mp4”)を、会場Y内に存在する1以上の端末装置2c等、および会場Z内に存在する1以上の端末装置2d等に送信する。
【0347】
これによって、端末装置2a等からは、音声のみの広告が、同時通訳音声と同じ言語で出力され、端末装置2d等からは、音声と映像を含む広告が、同時通訳情報と同じ言語で出力される。その結果、通信量を抑制しながら、第一会場内に居るユーザおよび第二会場内に居るユーザの各々に対する広告の効果を高めることができる。
【0348】
(具体例4)
具体例4は、運営者および通訳者を含む2以上の各関係者に対する報酬を算定する例である。
【0349】
報酬算定情報格納部114には、例えば、
図11に示すような報酬算定情報が格納される。
図11は、報酬算定情報のデータ構造図である。この報酬算定情報は、運営者報酬算定情報“(運営者,α1×通訳提供時間+β1×通訳享受者数)”、および通訳者報酬算定情報“(運営者,α2×通訳提供時間+β2×通訳享受者数)”などを含む。
【0350】
報酬算定部137は、格納されている上記報酬算定情報と、具体例1で説明した2つの変数“通訳提供時間”および“通訳提供時間”とを用いて、運営者へのおよび通訳者への報酬を算定する。
【0351】
詳しくは、例えば、格納部11に、運営者に対応する係数の組(α1,β1)を示す第一係数情報“(0円,100円)”、および通訳者に対応する係数の組(α2,β2)を示す第二係数情報(2000円,10円)が格納されており、変数“通訳提供時間”が“2時間”であり、変数“通訳享受者数”が“2000人”であるとすると、報酬算定部137は、上記運営者報酬算定情報が有する増加関数“α1×通訳提供時間+β1×通訳享受者数”に対し、“α1=0円,β1=100円,通訳提供時間=2時間,通訳享受者数=2000人”を代入することにより、
運営者への報酬を“0円×2時間+100円×2000人=20万円”と算定し、算定結果“(運営者,20万円)”を取得する。
【0352】
また、報酬算定部137は、上記通訳者報酬算定情報が有する増加関数“α2×通訳提供時間+β2×通訳享受者数”に対し、“α2=2000円,β2=10円,通訳提供時間=2時間,通訳享受者数=2000人”を代入することにより、通訳者者への報酬を“2000円×2時間+10円×2000人=2.4万円”と算定し、算定結果“(通訳者,2.4万円)”を取得する。
【0353】
報酬出力部161は、取得された2つの算定結果を含む報酬情報“(運営者,20万円),(通訳者,2.4万円)”を、ディスプレイ等の出力デバイスを介して出力する。
【0354】
報酬出力部161は、例えば、取得された2つの算定結果等を用いて、報酬情報を含む画面を構成し、出力することは好適である。
【0355】
例えば、格納部11に、画面構成情報が格納されている。画面構成情報とは、画面を構成するための情報である。画面構成情報は、例えば、1または2以上の画像、1または2以上の文字列、およびレイアウト情報などを有する。画像は、例えば、表であるが、ボタン、ダイアログボックス等でもよく、その種類は問わない。
【0356】
文字列は、例えば、定型文である。定型文は、例えば、“関係者への報酬は以下の通りです。”等であるが、その内容は問わない。または、文字列は、例えば、雛形文でもよい。雛形文とは、変数{}を含む文である。雛形文は、例えば、“今回の通訳サービスの提供対象は{イベント識別子}です。”,“通訳サービスの提供時間は{通訳提供時間}でした。”,“通訳サービスの享受者数は{通訳享受者数}でした。”等であるが、その内容や構造は問わない。
【0357】
レイアウト情報とは、画面内における、図形や文字列等の2以上の各要素の配置を示す情報である。レイアウト情報は、例えば、2以上の座標の集合で構成されるが、その構造は問わない。
【0358】
報酬出力部161は、例えば、格納されている画面構成情報と、取得された2つの算定結果とを用いて、次のような処理を行う。すなわち、報酬出力部161は、2つの算定結果“(運営者,20万円)”および“(通訳者,2.4万円)”を、上記表中に配置することにより、報酬情報が記載された表を取得する。また、報酬出力部161は、3つの変数{イベント識別子},{通訳提供時間},および{通訳享受者数}を、上記3つの雛形文にそれぞれ代入することにより、3つの完成された文を取得する。そして、報酬出力部161は、上記報酬情報が記載された表、上記定型文、および上記3つの完成された文を、レイアウト情報に従って配置することにより画面を構成し、当該構成した画面をディスプレイを介して出力する。
【0359】
これによって、サーバ装置1のディスプレイに、例えば、
図12に示すような画面が表示される。
図12は、報酬情報の出力例を示す図である。オペレータは、「A講演会」を対象として提供した通訳サービスについて、提供時間、享受者数と併せて、各関係者への報酬を知ることができる。
【0360】
(具体例4の変形例)
格納部11が有する広告料格納部(図示しない)に、具体例3で説明した広告情報の送信に対する対価として広告主から支払われる広告料に関する広告料情報(例えば、“50万円”)が格納される。報酬算定情報格納部114に格納される報酬算定情報は、関係者識別子と割合情報との組の集合であり、例えば、運営者広告料算定情報“(運営者,広告料のX割)”、および通訳者広告料算定情報(通訳者,1万円+広告料のZ%)などを含む。また、格納部11に、“X=4,Z=2”が格納されている。
【0361】
報酬算定部137は、運営者報酬算定情報“(運営者,広告料のX割)”と、広告料情報“50万円”と、“X=1”を用いて、運営者への報酬“50万円×(4/10)”を算定し、算定結果“運営者,20万円”を取得する。また、報酬算定部137は、通訳者報酬算定情報“(通訳者,1万円+広告料のZ%)”と、広告料情報“50万円”と、“Z=2”とを用いて、通訳者者への報酬“1万円+50万円×(2/100)”を算定し、算定結果“通訳者,2万円”を取得する。
【0362】
報酬出力部161は、取得された2つの算定結果を含む報酬情報“(運営者,20万円),(通訳者,2万円)”を出力する。
【0363】
(具体例5)
具体例5は、具体例1等で同時通訳関連情報格納部112に蓄積された同時通訳関連情報のアップロードの例である。
【0364】
同時通訳関連情報格納部112には、例えば、
図13に示すような、2以上の同時通訳関連情報が格納されている。
図13は、同時通訳関連情報のデータ構造図である。同時通訳関連情報は、同時通訳情報、イベント識別子、およびフラグを有する。同時通訳情報は、1または2以上の同時通訳音声(例えば、英語による同時通訳音声1、および中国語による同時通訳音声2など)、発話音声(例えば、日本語による発話音声など)、および映像(例えば、話者Aを撮影した映像など)を含む。
【0365】
2以上の各同時通訳関連情報には、IDが対応付いている。例えば、ID“1”が対応付いた同時通訳関連情報1は、同時通訳音声1“aa1.mp3”、同時通訳音声2“aa2.mp3”、発話音声“aa3.mp3”、および映像“aa.mp4”を含む同時通訳情報“(aa1.mp3,aa2.mp3,aa3.mp3,aa.mp4)”と、イベント識別子“A講演会”と、フラグ“公開”とを有する。
【0366】
同様に、同時通訳関連情報2は、同時通訳情報“(bb1.mp3,bb2.mp3,bb3.mp3,bb.mp4)”と、イベント識別子“B講演会”と、フラグ“非公開”とを有する。
【0367】
格納部11には、タイミング情報“毎日21時”が格納されており、処理部13は、内蔵時計等から取得される現在時刻が、当該格納されているタイミング情報の示すタイミングであるか否かの判別を、定期的または不定期に行っている。現在時刻がタイミング情報の示すタイミングであると判別された場合、検査部138が、格納されている2つの同時通訳関連情報1および2の各々のフラグ(例えば、フラグ1,フラグ2)を検査し、当該2つの検査結果を含む検査結果情報“(フラグ1,公開),(フラグ2,非公開)”を取得する。
【0368】
アップロード部139は、検査部138が取得した検査結果情報を用いて、2つの検査結果の各々について、当該検査結果が、同時通訳情報を公開するとの検査結果であるか、同時通訳情報を公開しないとの検査結果であるかを判別し、同時通訳情報を公開しないとの検査結果である場合には、当該検査結果に対応する同時通訳関連情報をアップロードせず、同時通訳情報を公開するとの検査結果である場合にのみ、当該検査結果に対応する同時通訳関連情報を外部のサーバにアップロードする。これにより、非公開を示すフラグを有する同時通訳関連情報2はアップロードされず、公開を示すフラグを有する同時通訳関連情報1のみが、外部のサーバにアップロードされる。
【0369】
これにより、ユーザ情報群格納部111にユーザ情報が格納されている登録ユーザ(例えば、ユーザa〜f等)以外のユーザであっても、外部のサーバにアクセスすることで、同時通訳情報を視聴できる。
【0370】
以上、本実施の形態によれば、サーバ装置1は、第一会場内で発話される発話音声を通訳者が同時通訳した同時通訳音声を含む同時通訳情報を取得し、同時通訳情報を2以上の端末装置2に送信する。その際、サーバ装置1は、第一会場内に存在する端末装置2に、少なくとも同時通訳音声を第一の通信手段141で送信し、第一会場とは異なる1以上の各第二会場内に存在する端末装置2に、同時通訳情報を第二の通信手段142で送信する。そして、第一の通信手段141と第二の通信手段142とは、異なる通信手段である。これにより、同時通訳音声等の情報を、話者と聴者が居る第一会場と、聴者のみが居る第二会場とに、的確に配信できる。
【0371】
また、上記構成において、第一の通信手段141は、第二の通信手段142より低遅延な通信手段であることにより、話者と聴者が居る第一会場には、少なくとも同時通訳音声を、発話音声に対する遅延を低く抑えて配信できる。
【0372】
また、上記構成において、第二の通信手段142は、第一の通信手段141より高品質な通信手段であることにより、聴者のみが居る第二会場には、例えば、第一会場内の映像といった、同時通訳音声以外の情報をも含む同時通訳情報を、高い品質で配信できる。
【0373】
また、上記構成において、第一の通信手段141と第二の通信手段142とは、異なる情報を送信することにより、話者と聴者が居る第一会場には、少なくとも同時通訳音声を、発話音声に対する遅延を低く抑えて配信できる一方、聴者のみが居る第二会場には、同時通訳音声以外の情報も含む同時通訳情報を、高い品質で配信できる。
【0374】
また、サーバ装置1は、第一会場内を撮影した映像を取得し、同時通訳情報は、映像を含み、第一の通信手段141は、映像を送信せず、同時通訳音声を送信し、第二の通信手段142は、同時通訳音声と映像とを送信することにより、話者と聴者が居る第一会場には、少なくとも同時通訳音声を、発話音声に対する遅延を低く抑えて配信できる一方、聴者のみが居る第二会場には、第一会場内の映像をも含む同時通訳情報を、高い品質で配信できる。
【0375】
また、同時通訳関連情報格納部112に、同時通訳情報取得部131が取得した同時通訳情報と、公開または非公開のいずれかを示すフラグとを有する同時通訳関連情報が格納され、サーバ装置1は、フラグを検査し、フラグの検査の結果が同時通訳情報を公開するとの検査結果である場合に、フラグに対応する同時通訳関連情報を外部のサーバにアップロードすることにより、同時通訳情報の公開/非公開を管理できる。
【0376】
また、上記構成において、同時通訳情報は、発話音声、または発話音声を1または2以上の通訳者が異なる言語に同時通訳した1または2以上の同時通訳音声、のうち2以上の音声を含み、サーバ装置1は、2以上の音声を多重化し、多重化音声を取得し、第一の通信手段141と第二の通信手段142のうち1以上の通信手段は、多重化音声を1以上の端末装置2に送信することにより、多言語の同時通訳音声を配信できる。
【0377】
また、広告情報格納部113に、広告の情報である広告情報が格納され、第一の通信手段141と第二の通信手段142のうち1以上の通信手段は、広告情報を1以上の端末装置2に送信することにより、広告情報も的確に配信できる。また、広告主から、関係者への報酬の原資となる広告料が得られる。
【0378】
また、報酬算定情報格納部114に、同時通訳情報の送信に関わる2以上の各関係者への報酬を算定するための報酬算定情報が格納され、サーバ装置1は、報酬算定情報を用いて、2以上の各関係者ごとの報酬を算定し、報酬を特定する報酬情報を出力することにより、2以上の各関係者への報酬を自動的に算定できる。
【0379】
また、上記構成において、2以上の関係者は、通訳者を含み、報酬算定情報は、通訳者への報酬を算定するための通訳者報酬算定情報を含み、サーバ装置1は、通訳者報酬算定情報を用いて、通訳者への報酬を算定することにより、通訳者への報酬を自動的に算定できる。
【0380】
また、サーバ装置1は、同時通訳情報の送信が行われる期間の長さを特定する通訳提供時間情報、同時通訳情報の送信先となる端末装置2の数を特定する通訳享受者数情報のうちの1以上の通訳属性値を取得し、1以上の通訳属性値を用いて、通訳者への報酬を算定することにより、通訳者への報酬を的確に算定できる。
【0381】
なお、上記構成において、サーバ装置1は、例えば、通訳提供時間情報が示す間が長いほど、通訳享受者数情報が示す数が多いほど、高い報酬を取得することは好適である。
【0382】
また、広告情報格納部113には、言語を識別する言語識別子に対応付けて2以上の広告情報が格納され、サーバ装置1は、送信している同時通訳音声の言語を識別する言語識別子を取得し、2以上の広告情報のうち、取得した言語識別子に対応付いた広告情報を選択し、第一の通信手段141と第二の通信手段142のうち1以上の通信手段を用いて、1以上の端末装置2に、広告情報選択部135が選択した広告情報を送信することにより、広告の効果を高めることができる。
【0383】
また、本実施の形態の端末装置2は、サーバ装置1から送信された多重化音声を受信し、受信した多重化音声を逆多重化して、2以上の音声を取得し、2以上の音声のうち1以上の音声を出力することにより、多言語の同時通訳音声を受信して、1以上の言語の同時通訳音声を出力できる。
【0384】
なお、本実施の形態では、一の話者のみが発話する講演会等を対象に、同時通訳音声等の配信を行う場合について説明したが、情報システムは、2以上の話者が発話する討論会や演劇等を対象として、同時通訳音声等の配信を行うこともできる。後者の場合、2以上の各通訳者は、通常、2以上のいずれかの話者の話を通訳する。話者と通訳者は、例えば、1対1に対応しているが、1対多の対応でもよい。
【0385】
図1に示した情報システムを構成する話者装置3の数は、2以上である。2以上の各話者装置3は、当該話者装置3に対応する話者の発話音声を、当該話者を識別する話者識別子(例えば、話者名、ID、端末識別子等)と対に、サーバ装置1に送信する。
【0386】
サーバ装置1の格納部11には、例えば、一のイベント識別子に対応する会場種別情報(例えば、
図8に示した2つの会場種別情報のうち、イベント識別子“A講演会”に対応する1つ目の会場種別情報)が有する2以上の会場識別子(例えば“X”〜“Z”)のうち、“第一会場”を示す種別情報が対応付いた一の会場識別子(例えば、“X”)に対応付けて、1または2以上の話者識別子が格納される。また、格納部11には、例えば、話者識別子と通訳者識別子との対の集合である対応情報も格納される。
【0387】
受信部12は、2以上の各話者装置3から話者識別子と対に発話音声を受信し、送信部14は、上記対応情報を用いて、当該受信された発話音声を、当該発話音声と対に受信された話者識別子に対応する通訳者識別子で識別される通訳者の通訳者装置4に送信する。
【0388】
通訳者装置4は、上記話者音声等を受信し、当該受信した話者音声を出力する。そして、通訳者装置4は、当該出力した話者音声に対する同時通訳音声を受け付け、当該受け付けた同時通訳音声を、受信した話者識別子と対にサーバ装置1に送信する。
【0389】
サーバ装置1において、受信部12が上記同時通訳音声と話者識別子の対を受信し、処理部13は、当該受信した同時通訳音声を話者識別子に対応付けて格納部11に蓄積する。第一の通信手段141は、格納部11に格納されている2以上の同時通訳音声のうち、“第一会場”を示す会場種別情報が対応付いた会場識別子に対応付けられた1以上の話者識別子に対応する1以上の同時通訳音声を取得し、当該会場識別子で識別される第一会場内の端末装置2に送信する。
【0390】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。
【0391】
なお、サーバ装置1を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、第一会場内で発話される発話音声を通訳者が同時通訳した同時通訳音声を含む同時通訳情報を取得する同時通訳情報取得部131と、前記同時通訳情報を2以上の端末装置2に送信する送信部14として機能させ、前記送信部14は、前記第一会場内に存在する端末装置2に少なくとも前記同時通訳音声を送信する第一の通信手段141と、前記第一会場とは異なる1以上の各第二会場内に存在する端末装置2に前記同時通訳情報を送信する第二の通信手段142とを具備し、前記第一の通信手段141と前記第二の通信手段142とは、異なる通信手段であるプログラムである。
【0392】
なお、上記構成において、前記同時通訳情報は、前記発話音声、または当該発話音声を1または2以上の通訳者が異なる言語に同時通訳した1または2以上の同時通訳音声、のうち2以上の音声を含み、前記プログラムは、前記2以上の音声を多重化し、多重化音声を取得する多重化部132としてさらに機能させ、前記第一の通信手段141と前記第二の通信手段142のうち1以上の通信手段は、前記多重化音声を1以上の端末装置2に送信することは好適である。
【0393】
また、端末装置2を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、サーバ装置1から送信された多重化音声を受信する端末受信部24と、前記端末受信部24が受信した多重化音声を逆多重化し、2以上の音声を取得する逆多重化部251と、前記2以上の音声のうち1以上の音声を出力する端末出力部26として機能させるためのプログラムである。
【0394】
図14は、本実施の形態におけるプログラムを実行して、サーバ装置1や端末装置2等を実現するコンピュータシステム900の外観図である。本実施の形態は、コンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって実現され得る。
図14において、コンピュータシステム900は、ディスクドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、ディスプレイ904と、カメラ917と、マイクロフォン918と、スピーカ919とを備える。なお、キーボード902やマウス903やディスプレイ904やカメラ917やマイクロフォン918やスピーカ919をも含むシステム全体をコンピュータと呼んでもよい。
【0395】
図15は、コンピュータシステム900の内部構成の一例を示す図である。
図15において、コンピュータ901は、ディスクドライブ905に加えて、MPU911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM913と、アプリケーションプログラム、システムプログラム、およびデータを記憶するストレージ914と、MPU911、ROM912等を相互に接続するバス915と、外部ネットワークや内部ネットワーク等のネットワークへの接続を提供するネットワークカード916と、カメラ917と、マイクロフォン918と、スピーカ919とを備える。ストレージ914は、例えば、ハードディスク、SSD、フラッシュメモリなどである。
【0396】
コンピュータシステム900に、の機能を実行させるプログラムは、例えば、DVD、CD−ROM等のディスク921に記憶されて、ディスクドライブ905に挿入され、ストレージ914に転送されてもよい。これに代えて、そのプログラムは、ネットワークを介してコンピュータ901に送信され、ストレージ914に記憶されてもよい。プログラムは、実行の際にRAM913にロードされる。なお、プログラムは、ディスク921、またはネットワークから直接、ロードされてもよい。また、ディスク921に代えて他の着脱可能な記録媒体(例えば、DVDやメモリカード等)を介して、プログラムがコンピュータシステム900に読み込まれてもよい。
【0397】
プログラムは、コンピュータの詳細を示す901に、サーバ装置1や端末装置2の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
【0398】
なお、上述したコンピュータシステム900は、サーバまたは据え置き型のPCであるが、端末装置2は、例えば、タブレット端末やスマートフォンやノートPCといった、携帯端末で実現されてもよい。この場合、例えば、キーボード902およびマウス903はタッチパネルに、ディスクドライブ905はメモリカードスロットに、ディスク921はメモリカードに、それぞれ置き換えられてもよい。話者装置3や通訳者装置4も、基本的なハードウェア構成は、上記と同様でよい。ただし、以上は例示であり、サーバ装置1や端末装置2等を実現するコンピュータのハードウェア構成は問わない。
【0399】
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
【0400】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、一のコンピュータが集中処理を行ってもよく、あるいは複数のコンピュータが分散処理を行ってもよい。
【0401】
また、上記実施の形態において、一の装置に存在する2以上の通信手段(受信部12、送信部14など)は、物理的に一の媒体で実現されてもよいことは言うまでもない。
【0402】
また、上記実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0403】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。