IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社第一興商の特許一覧

<>
  • 特許-オンラインセッションサーバ装置 図1
  • 特許-オンラインセッションサーバ装置 図2
  • 特許-オンラインセッションサーバ装置 図3
  • 特許-オンラインセッションサーバ装置 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-10
(45)【発行日】2024-12-18
(54)【発明の名称】オンラインセッションサーバ装置
(51)【国際特許分類】
   G10K 15/04 20060101AFI20241211BHJP
【FI】
G10K15/04 302D
【請求項の数】 4
(21)【出願番号】P 2021010559
(22)【出願日】2021-01-26
(65)【公開番号】P2022114309
(43)【公開日】2022-08-05
【審査請求日】2023-10-24
(73)【特許権者】
【識別番号】390004710
【氏名又は名称】株式会社第一興商
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】鎌田 政之
【審査官】冨澤 直樹
(56)【参考文献】
【文献】特開2014-048471(JP,A)
【文献】特開2015-069046(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10K 15/04
G10H 1/00-7/12
(57)【特許請求の範囲】
【請求項1】
複数の利用者それぞれが使用する端末装置と、当該端末装置と通信可能に接続されたオンラインセッションサーバ装置とを含むオンライン会議システムであって、
前記オンラインセッションサーバ装置は、
前記端末装置毎に、担当する一のパートを設定する設定部と、
カラオケ演奏で使用されるある楽曲のカラオケ演奏データを処理することにより、設定された前記パートそれぞれに対応するパート別オーディオデータを生成する生成部と、
一のパートが設定された前記端末装置に対して、当該一のパートとは異なる他のパートに対応する前記パート別オーディオデータであるマイナスワンオーディオデータを送信する送信部と、
前記一のパートが設定された端末装置から、前記マイナスワンオーディオデータに基づく演奏に合わせて当該一のパートを実際に演奏して得られた演奏音に基づく生演奏データを取得する取得部と、
複数の前記端末装置それぞれから取得した前記ある楽曲の生演奏データを記憶させる記憶処理部と、
を有し、
前記端末装置は、
前記オンラインセッションサーバ装置に対し、前記担当する一のパートを送信し、
受信した前記マイナスワンオーディオデータに基づく演奏を行い、
当該演奏に合わせて前記一のパートを実際に演奏して得られた演奏音に基づく生演奏データを前記オンラインセッションサーバ装置に送信する、
ことを特徴とするオンライン会議システム。
【請求項2】
前記ある楽曲を構成する複数のパートのうち、前記設定部による設定がされていないパートがある場合、前記生成部は、前記パート別オーディオデータ、及び設定された前記パート以外の全てのパートに対応する伴奏オーディオデータを生成し、
前記送信部は、一のパートが設定された前記端末装置に対して、前記伴奏オーディオデータを含む前記マイナスワンオーディオデータを送信し、
前記記憶処理部は、前記ある楽曲の生演奏データ、及び前記伴奏オーディオデータを記憶させることを特徴とする請求項1記載のオンライン会議システム
【請求項3】
一のパートが設定された前記端末装置に対して前記マイナスワンオーディオデータを送信する際に、他の端末装置から他のパートを実際に演奏して得られた生演奏データを取得している場合、前記送信部は、他のパートに対応する前記パート別オーディオデータを、取得している生演奏データに置き換えた前記マイナスワンオーディオデータを送信することを特徴とする請求項1または2記載のオンライン会議システム。
【請求項4】
前記送信部は、前記ある楽曲を選択した利用者の端末装置に対し、他のパートに対応する前記パート別オーディオデータの全てを、当該他のパートが設定された端末装置から取得している生演奏データに置き換えた前記マイナスワンオーディオデータを送信することを特徴とする請求項3記載のオンライン会議システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はオンラインセッションサーバ装置に関する。
【背景技術】
【0002】
クラウド型サーバ装置によるオンライン会議システムが普及している。また、このようなオンライン会議システムを利用したオンラインイベントも行われている。
【0003】
特許文献1には、複数の端末、会議サーバ、及び端末に楽曲を配信できる楽曲サーバを備えるテレビ会議システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2010-074199号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
オンライン会議システムを利用したオンラインイベントとして、ある楽曲について、複数の利用者で合奏(所謂、セッション演奏)を行うことが可能である。
【0006】
ここで、特許文献1の技術を応用することにより、テレビ会議の参加者は、自己が使用する端末装置に配信される楽曲の演奏に合わせて、オンラインのカラオケ歌唱を行うことが可能である。しかしながら、特許文献1の技術を用いて行われる楽曲の演奏は、全ての楽器のパート(たとえば、ギターパート、ベースパート、ドラムパート)の演奏音が含まれている。従って、たとえば、セッション演奏においてギターパートを担当する利用者にとっては、楽曲の演奏に含まれるギターパートの演奏音が邪魔となり演奏し難い。
【0007】
本発明の目的は、カラオケ演奏で使用されるカラオケ演奏データを利用してオンラインでのセッション演奏を行うことを可能とするオンラインセッションサーバ装置を提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するための一の発明は、複数の利用者それぞれが使用する端末装置と通信可能に接続されたオンラインセッションサーバ装置であって、前記端末装置毎に、担当する演奏のパートを設定する設定部と、カラオケ演奏で使用されるある楽曲のカラオケ演奏データを処理することにより、設定された前記パートそれぞれに対応するパート別オーディオデータを生成する生成部と、一のパートが設定された前記端末装置に対して、当該一のパートとは異なる他のパートに対応する前記パート別オーディオデータであるマイナスワンオーディオデータを送信する送信部と、前記一のパートが設定された端末装置から、前記マイナスワンオーディオデータに基づく演奏に合わせて当該一のパートを実際に演奏して得られた演奏音に基づく生演奏データを取得する取得部と、複数の前記端末装置それぞれから取得した前記ある楽曲の生演奏データを記憶させる記憶処理部と、を有するオンラインセッションサーバ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
【発明の効果】
【0009】
本発明によれば、カラオケ演奏で使用されるカラオケ演奏データを利用してオンラインでのセッション演奏を行うことができる。
【図面の簡単な説明】
【0010】
図1】第1実施形態に係るオンラインセッションシステムの概略を示す図である。
図2】第1実施形態に係るオンライン会議サーバ装置を示す図である。
図3】第1実施形態に係るオンライン会議サーバ装置の処理を示すフローチャートである。
図4】第2実施形態に係るオンライン会議サーバ装置の処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
<第1実施形態>
図1図3を参照して、本実施形態に係るオンラインセッションサーバ装置について説明する。
【0012】
==オンラインセッションシステム==
図1に示すように、本実施形態に係るオンラインセッションシステム1は、オンライン会議システムS1及び通信カラオケシステムS2を含む。オンライン会議システムS1及び通信カラオケシステムS2は、たとえば、特許文献1に記載されたように通信可能に接続されている。
【0013】
[オンライン会議システム]
オンライン会議システムS1は、一般的なWeb会議やテレビ会議のようなオンライン会議を実施するためのシステムである。オンライン会議システムS1は、オンライン会議サーバ装置CS、及び複数の端末装置を含む。オンライン会議サーバ装置CSと複数の端末装置それぞれは、ネットワークを介して通信可能に接続されている。
【0014】
オンライン会議サーバ装置CSは、各種情報の管理、及び各種処理を実行するコンピュータである。本実施形態において、オンライン会議サーバ装置CSは、一般的なオンライン会議の仕組みを利用し、オンラインでのセッション演奏を実施可能とする(詳細は後述)。すなわち、本実施形態におけるオンライン会議サーバ装置CSは「オンラインセッションサーバ装置」として機能する。
【0015】
端末装置は、たとえば、家庭用のPCやタブレット端末、携帯端末等、利用者が使用するコンピュータである。図1では、端末装置T1~端末装置T3を示している。端末装置T1~端末装置T3は、それぞれ利用者U1~利用者U3が使用する。端末装置は、少なくとも2つあればよく図1の例に限られない。
【0016】
各端末装置は、利用者の演奏による演奏音を集音するためのマイク、マイナスワンオーディオデータ(詳細は後述)に基づく演奏等を放音させるためのスピーカ、利用者を撮影するためのカメラ、映像や各種情報を表示するためのディスプレイ、各種操作入力を行うための操作手段等を有する。なお、本実施形態における演奏は、楽器の演奏及び歌唱を含む。
【0017】
更に、本実施形態において、各端末装置には、オンラインセッション用のプロググラムが予めインストールされている。端末装置で当該プログラムを実行することにより、利用者は、オンライン会議の仕組みを利用して、オンラインによるセッション演奏を行うことができる。
【0018】
[通信カラオケシステム]
通信カラオケシステムS2は、カラオケ歌唱を行うための楽曲を配信し、カラオケ演奏を行うシステムである。通信カラオケシステムS2は、カラオケサーバ装置KS、及び複数のカラオケ装置(図示なし)を含む。カラオケサーバ装置KSと複数のカラオケ装置それぞれは、ネットワークを介して通信可能に接続されている。
【0019】
カラオケサーバ装置KSは、カラオケ演奏データや各種情報等の管理、及び楽曲の配信処理等を実行するコンピュータである。
【0020】
カラオケ演奏データは、カラオケ演奏で使用されるデータである。カラオケ演奏データは、個々の楽曲を特定するための楽曲識別情報が付与されている。楽曲識別情報は、楽曲を識別するための楽曲ID等、各楽曲に固有の情報である。本実施形態において、カラオケ演奏データは、伴奏データ及びガイドボーカルデータを含む。
【0021】
伴奏データは、楽曲のカラオケ演奏を行うためのデータである。具体的に、伴奏データは、楽曲のカラオケ演奏で使用される楽器のパート(たとえば、ギターパート、ベースパート、ドラムパート)毎のデータを含む。伴奏データは、MIDI形式のデータである。
【0022】
ガイドボーカルデータは、ガイドボーカル機能を実施するための歌唱音声に対応するデータである。ガイドボーカル機能は、カラオケ歌唱を補助する機能であり、予め登録されたガイドボーカル(プロの歌手等による歌唱)を楽曲のカラオケ演奏と併せて再生するものである。ガイドボーカルデータは、オーディオ形式のデータである。
【0023】
==オンライン会議サーバ装置==
図2は、オンライン会議サーバ装置CSの構成を示す図である。オンライン会議サーバ装置CSは、記憶手段10、通信手段20、及び制御手段30を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
【0024】
[記憶手段・通信手段]
記憶手段10は、各種のデータを記憶する大容量の記憶装置である。通信手段20は、各端末装置及び通信カラオケシステムS2との通信を行うためのインターフェースを提供する。
【0025】
[制御手段]
制御手段30は、オンライン会議サーバ装置CSにおける各種の制御を行う。制御手段30は、CPU及びメモリ(いずれも図示無し)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
【0026】
本実施形態においてはCPUがメモリに記憶されるプログラムを実行することにより、制御手段30は、設定部100、生成部200、送信部300、取得部400,及び記憶処理部500として機能する。
【0027】
(設定部)
設定部100は、端末装置毎に、担当する演奏のパートを設定する。
【0028】
オンラインのセッション演奏を希望する利用者は、自己の端末装置の操作手段を介し、演奏を担当するパートの入力を行う。端末装置は、入力されたパートの情報を自己の端末識別情報と紐付けて、オンライン会議サーバ装置CSに送信する。端末識別情報は、端末装置を識別するための端末ID等、各端末装置に固有の情報である。
【0029】
設定部100は、受信した情報に基づいて、当該端末装置に対して一の演奏のパートを設定する。なお、本実施形態において、演奏のパートは、楽器のパート及び歌唱のパートを含む。
【0030】
(生成部)
生成部200は、カラオケ演奏で使用されるある楽曲のカラオケ演奏データを処理することにより、パート別オーディオデータを生成する。パート別オーディオデータは、設定されたパートそれぞれに対応するオーディオ形式のデータである。
【0031】
パート別オーディオデータの生成は、DAW等の公知のレンダリング技術(たとえば特開2017-097289号公報)を用いることができる。
【0032】
オンラインのセッション演奏を希望する利用者のうち、一の利用者は、自己の端末装置の操作手段を介し、セッション演奏を希望する楽曲を選択する。端末装置は、選択された楽曲の楽曲識別情報をオンライン会議サーバ装置CSに送信する。
【0033】
生成部200は、受信した楽曲識別情報をカラオケサーバ装置KSに送信する。カラオケサーバ装置KSは、受信した楽曲識別情報に基づくカラオケ演奏データを記憶手段(図示なし)から読み出し、オンライン会議サーバ装置CSに送信する。
【0034】
生成部200は、受信したカラオケ演奏データから、設定部100で設定されたパート毎のデータをレンダリングすることにより、パート別オーディオデータを生成する。
【0035】
たとえば、選択された楽曲Xが、歌唱パート、ギターパート、ベースパート、及びドラムパートからなるとする。そして、設定部100は、端末装置毎に、歌唱パート、ギターパート、ベースパート、及びドラムパートを設定したとする。
【0036】
この場合、生成部200は、楽曲Xのカラオケ演奏データに含まれる伴奏データから、ギターパート、ベースパート、及びドラムパートをそれぞれレンダリングすることにより、ギターパート、ベースパート、及びドラムパートのパート別オーディオデータを生成する。具体的に、生成部200は、設定されたパートの情報をMIDI形式のデータにおける音色情報に変換し、当該音色情報に対応する一または複数パートの伴奏データをレンダリングする。たとえば、ギターパートのレンダリングでは、6パートの伴奏データにより6弦それぞれの楽音信号を生成させることができる。
【0037】
一方、上述の通り、本実施形態におけるガイドボーカルデータは、オーディオ形式のデータである。よって、生成部200は、楽曲Xのカラオケ演奏データに含まれるガイドボーカルデータをそのまま歌唱パートのパート別オーディオデータとする。
【0038】
また、公知の音声合成エンジンやガイドメロディ音源を利用することにより、伴奏データからガイドボーカルデータに相当するデータを構成することができる。この場合、生成部200は、構成した当該データをレンダリングすることにより、歌唱パートのパート別オーディオデータを生成することができる。このように、伴奏データからガイドボーカルデータに相当するデータを構成する場合、カラオケ演奏データは、ガイドボーカルデータを含まなくてもよい。
【0039】
なお、セッション演奏に参加する利用者の数や利用者が担当するパートの種類によっては、ある楽曲を構成する全てのパートが設定されるとは限らない。
【0040】
ある楽曲を構成する複数のパートのうち、設定部100による設定がされていないパートがある場合、生成部200は、パート別オーディオデータ、及び伴奏オーディオデータを生成することができる。伴奏オーディオデータは、設定されたパート以外の全てのパートに対応するオーディオ形式のデータである。
【0041】
伴奏オーディオデータの生成は、パート別オーディオデータと同様、公知のレンダリング技術を用いることができる。生成部200は、受信したカラオケ演奏データから、設定部100で設定されたパート以外のデータをレンダリングすることにより、伴奏オーディオデータを生成する(詳細は後述)。
【0042】
(送信部)
送信部300は、一のパートが設定された端末装置に対して、マイナスワンオーディオデータを送信する。マイナスワンオーディオデータは、一のパートとは異なる他のパートに対応するパート別オーディオデータである。
【0043】
たとえば、上述の楽曲Xのセッション演奏において、設定部100が、一の端末装置に対して歌唱パートを設定したとする。
【0044】
この場合、送信部300は、歌唱パートが設定された一の端末装置に対し、マイナスワンオーディオデータとして、歌唱パートとは異なる他のパート(ギターパート、ベースパート、及びドラムパート)に対応するパート別オーディオデータを送信する。なお、送信部300は、パートの情報に紐付けられている端末識別情報を参照して、マイナスワンオーディオデータを送信する端末装置を特定することができる。また、この例のようにマイナスワンオーディオデータが複数のパート別オーディオデータを含む場合、送信部300は、各データをミキシングして一の端末装置に送信する。
【0045】
同様に、送信部300は、ギターパートが設定された一の端末装置に対し、マイナスワンオーディオデータとして、ギターパートとは異なる他のパート(歌唱パート、ベースパート、及びドラムパート)に対応するパート別オーディオデータを送信する。また、送信部300は、ベースパートが設定された一の端末装置に対し、マイナスワンオーディオデータとして、ベースパートとは異なる他のパート(歌唱パート、ギターパート、及びドラムパート)に対応するパート別オーディオデータを送信する。また、送信部300は、ドラムパートが設定された一の端末装置に対し、マイナスワンオーディオデータとして、ドラムパートとは異なる他のパート(歌唱パート、ギターパート、及びベースパート)に対応するパート別オーディオデータを送信する。
【0046】
送信部300は、各端末装置に対するマイナスワンオーディオデータの送信を同時に行う。
【0047】
なお、上述の通り、生成部200が、パート別オーディオデータ、及び伴奏オーディオデータを生成することがある。この場合、送信部300は、一のパートが設定された端末装置に対して、伴奏オーディオデータを含むマイナスワンオーディオデータを送信する(詳細は後述)。
【0048】
また、送信部300は、一のパートが設定された端末装置に対して、マイナスワンオーディオデータと併せて、カウントインサウンドのデータを送信してもよい。カウントインサウンドは、マイナスワンオーディオデータに基づく演奏に合わせて実際の演奏を開始するタイミングを示す音声である。カウントインサウンドのデータは、たとえば生成部200が、カラオケ演奏データに含まれるテンポ情報に基づいて生成することができる。利用者は、端末装置のスピーカから放音されるカウントインサウンドを参照することにより、たとえば、前奏がないパートを演奏する場合であっても演奏を開始するタイミングを把握しやすくなる。
【0049】
(取得部)
取得部400は、一のパートが設定された端末装置から、生演奏データを取得する。生演奏データは、マイナスワンオーディオデータに基づく演奏に合わせて、一のパートを実際に演奏して得られた演奏音に基づくデータである。
【0050】
たとえば、上述の楽曲Xのセッション演奏において、送信部300が、歌唱パートが設定された一の端末装置に対し、他のパート(ギターパート、ベースパート、及びドラムパート)に対応するパート別オーディオデータを含むマイナスワンオーディオデータを送信したとする。
【0051】
この場合、一の端末装置は、受信したパート別オーディオデータの再生を開始する。一の端末装置の利用者は、パート別オーディオデータに基づく演奏音を聴きながら、楽曲Xの歌唱を行う。一の端末装置は、利用者の歌唱音声に基づく生演奏データを、自己の端末識別情報と紐付けて、オンライン会議サーバ装置CSに送信する。取得部400は、歌唱の生演奏データを取得する。なお、本実施形態において、歌唱音声は「演奏音」の一例である。
【0052】
同様に、送信部300は、ギターパートが設定された一の端末装置に対し、他のパート(ベースパート、ドラムパート、及び歌唱パート)に対応するパート別オーディオデータを含むマイナスワンオーディオデータを送信する。この場合、一の端末装置は、受信したパート別オーディオデータの再生を開始する。一の端末装置の利用者は、パート別オーディオデータに基づく演奏音を聴きながら、楽曲Xのギター演奏を行う。一の端末装置は、ギター演奏音に基づく生演奏データを、自己の端末識別情報と紐付けて、オンライン会議サーバ装置CSに送信する。取得部400は、ギター演奏の生演奏データを取得する。また、送信部300は、ベースパートが設定された一の端末装置に対し、他のパート(ギターパート、ドラムパート、及び歌唱パート)に対応するパート別オーディオデータを含むマイナスワンオーディオデータを送信する。この場合、一の端末装置は、受信したパート別オーディオデータの再生を開始する。一の端末装置の利用者は、パート別オーディオデータに基づく演奏音を聴きながら、楽曲Xのベース演奏を行う。一の端末装置は、ベース演奏音に基づく生演奏データを、自己の端末識別情報と紐付けて、オンライン会議サーバ装置CSに送信する。取得部400は、ベース演奏の生演奏データを取得する。また、送信部300は、ドラムパートが設定された一の端末装置に対し、他のパート(ギターパート、ベースパート、及び歌唱パート)に対応するパート別オーディオデータを含むマイナスワンオーディオデータを送信する。この場合、一の端末装置は、受信したパート別オーディオデータの再生を開始する。一の端末装置の利用者は、パート別オーディオデータに基づく演奏音を聴きながら、楽曲Xのドラム演奏を行う。一の端末装置は、ドラム演奏音に基づく生演奏データを、自己の端末識別情報と紐付けて、オンライン会議サーバ装置CSに送信する。取得部400は、ドラム演奏の生演奏データを取得する。
【0053】
なお、上述の通り、送信部300が各端末装置に対してパート別オーディオデータの送信を同時に行った場合であっても、通信状態により、各端末装置がパート別オーディオデータを受信するタイミングには遅延が生じることがある。同様に、取得部400が、各端末装置から送信される生演奏データを取得するタイミングにも遅延が生じることがある。
【0054】
(記憶処理部)
記憶処理部500は、複数の端末装置それぞれから取得したある楽曲の生演奏データを記憶手段10に記憶させる。
【0055】
たとえば楽曲Xについて、取得部400が、歌唱の生演奏データ、ギター演奏の生演奏データ、ベース演奏の生演奏データ、及びドラム演奏の生演奏データを取得したとする。
【0056】
この場合、記憶処理部500は、各生演奏データを取得する都度、記憶手段10に記憶させる。
【0057】
各利用者の演奏が終了した後、一の利用者は、自己の端末装置を介してセッション演奏の配信を指示することができる。オンライン会議サーバ装置CSは、当該指示に基づいて、記憶手段10に記憶されている全ての生演奏データを同期したセッション演奏を再生し、各端末装置に配信する。なお、オンライン会議サーバ装置CSは、パートに紐付けられている端末識別情報を参照して、セッション演奏を配信する端末装置を特定することができる。また、オンライン会議サーバ装置CSは、送信部300がマイナスワンオーディオデータを送信した全ての端末装置から生演奏データを受信した場合に、自動的にセッション演奏の配信を行ってもよい。
【0058】
また、上述の通り、生成部200が、パート別オーディオデータ、及び伴奏オーディオデータを生成することがある。この場合、記憶処理部500は、ある楽曲の生演奏データ、及び伴奏オーディオデータを記憶手段10に記憶させる(詳細は後述)。
【0059】
==オンライン会議サーバ装置の動作について==
次に、図3を参照して本実施形態におけるオンライン会議サーバ装置CSの動作の具体例について述べる。図3は、オンライン会議サーバ装置CSの動作例を示すフローチャートである。この例において、図1に示した利用者U1~利用者U3でオンラインのセッション演奏を行うとする。また、セッション演奏を行う楽曲として、歌唱パート、ギターパート、ベースパート、ドラムパート、及びキーボードパートからなる楽曲Yが選択されたとする。
【0060】
各利用者は、自己の端末装置の操作手段を介し、演奏を担当するパートの入力を行う。端末装置は、入力されたパートの情報を自己の端末識別情報と紐付けて、オンライン会議サーバ装置CSに送信する。
【0061】
オンライン会議サーバ装置CSの設定部100は、端末装置T1~端末装置T3に対して一のパートを設定する(各端末装置に対して一のパートを設定。ステップ10)。
【0062】
たとえば、利用者U1は、端末装置T1の操作手段を介し、演奏を担当するパートとしてベースパートの入力を行う。端末装置T1は、入力されたベースパートの情報を端末装置T1の端末識別情報ID***T1と紐付けて、オンライン会議サーバ装置CSに送信する。設定部100は、受信した情報に基づいて、端末装置T1に対してベースパートを設定する。
【0063】
同様に、利用者U2は、端末装置T2の操作手段を介し、演奏を担当するパートとしてギターパートの入力を行う。端末装置T2は、入力されたギターパートの情報を端末装置T2の端末識別情報ID***T2と紐付けて、オンライン会議サーバ装置CSに送信する。設定部100は、受信した情報に基づいて、端末装置T2に対してギターパートを設定する。利用者U3は、端末装置T3の操作手段を介し、演奏を担当するパートとして歌唱パートの入力を行う。端末装置T3は、入力された歌唱パートの情報を端末装置T3の端末識別情報ID***T3と紐付けて、オンライン会議サーバ装置CSに送信する。設定部100は、受信した情報に基づいて、端末装置T3に対して歌唱パートを設定する。
【0064】
生成部200は、選択された楽曲Yのカラオケ演奏データをレンダリングし、ステップ10で設定された、ギターパートに対応するパート別オーディオデータPA1、ベースパートに対応するパート別オーディオデータPA2、及び歌唱パートに対応するパート別オーディオデータPA3を生成する(設定されたパートに対応するパート別オーディオデータを生成。ステップ11)。
【0065】
また、楽曲Yを構成するパートのうち、設定部100による設定がされていないドラムパート及びキーボードパートについて、生成部200は、楽曲Yのカラオケ演奏データをレンダリングし、ドラムパート及びキーボードパートに対応する伴奏オーディオデータACを生成する(伴奏オーディオデータを生成。ステップ12)。
【0066】
送信部300は、端末装置T1~端末装置T3それぞれに対して、設定されたパートとは異なる他のパートに対応するパート別オーディオデータ、及び設定されたパート以外の全てのパートに対応する伴奏オーディオデータを含むマイナスワンオーディオデータを送信する(各端末装置に対してマイナスワンデータを送信。ステップ13)。
【0067】
たとえば、送信部300は、端末識別情報ID***T1を参照し、ベースパートが設定された端末装置T1に対して、パート別オーディオデータPA1及びPA3と、伴奏オーディオデータACと含むマイナスワンオーディオデータMA1を送信する。
【0068】
同様に、送信部300は、端末識別情報ID***T2を参照し、ギターパートが設定された端末装置T2に対して、パート別オーディオデータPA2及びPA3と、伴奏オーディオデータACと含むマイナスワンオーディオデータMA2を送信する。また、送信部300は、端末識別情報ID***T3を参照し、歌唱パートが設定された端末装置T3に対して、パート別オーディオデータPA1及びPA2と、伴奏オーディオデータACと含むマイナスワンオーディオデータMA3を送信する。なお、この例において、送信部300は、マイナスワンオーディオデータMA1~MA3をいずれも同じタイミングt(t=0)で送信を開始する。
【0069】
取得部400は、端末装置T1~端末装置T3から生演奏データを取得する(各端末装置から生演奏データを取得。ステップ14)。
【0070】
たとえば、端末装置T1は、オンライン会議サーバ装置CSからタイミングDt1で受信したマイナスワンオーディオデータMA1の再生を開始する。利用者U1は、マイナスワンオーディオデータMA1に基づく演奏音を聴きながら、楽曲Yのベース演奏を行う。端末装置T1は、ベース演奏音に基づく生演奏データLM1を、端末識別情報ID***T1と紐付けてオンライン会議サーバ装置CSに送信する。取得部400はタイミングDt2で生演奏データLM1の取得を開始する。
【0071】
同様に、端末装置T2は、オンライン会議サーバ装置CSからタイミングDt3で受信したマイナスワンオーディオデータMA2の再生を開始する。利用者U2は、マイナスワンオーディオデータMA2に基づく演奏音を聴きながら、楽曲Yのギター演奏を行う。端末装置T2は、ギター演奏音に基づく生演奏データLM2を、端末識別情報ID***T2と紐付けてオンライン会議サーバ装置CSに送信する。取得部400はタイミングDt4で生演奏データLM2の取得を開始する。また、端末装置T3は、オンライン会議サーバ装置CSからタイミングDt5で受信したマイナスワンオーディオデータMA3の再生を開始する。利用者U3は、マイナスワンオーディオデータMA3に基づく演奏音を聴きながら、楽曲Yの歌唱を行う。端末装置T3は、歌唱音声に基づく生演奏データLM3を、端末識別情報ID***T3と紐付けてオンライン会議サーバ装置CSに送信する。取得部400はタイミングDt6で生演奏データLM3の取得を開始する。
【0072】
なお、タイミングDt1~Dt6は、タイミングtよりも遅い時点を示している。タイミングDt1~Dt6は、オンライン会議サーバ装置CSと各端末装置との通信環境により変化する。
【0073】
記憶処理部500は、ステップ14で取得した楽曲Yの生演奏データ、及びステップ12で生成した伴奏オーディオデータを記憶手段10に記憶させる(生演奏データ及び伴奏オーディオデータを記憶。ステップ15)。
【0074】
たとえば、取得部400が楽曲Yのベース演奏の生演奏データLM1、楽曲Yのギター演奏の生演奏データLM2、及び楽曲Yの歌唱の生演奏データLM3を取得したとする。
【0075】
この場合、記憶処理部500は、生演奏データLM1~LM3、及び伴奏オーディオデータACを記憶手段10に記憶させる。
【0076】
各利用者の演奏が終了した後、オンライン会議サーバ装置CSは、パートに紐付けられた端末識別情報を参照し、生演奏データ及び伴奏オーディオデータに基づくセッション演奏を端末装置T1~端末装置T3に配信する(各端末装置にセッション演奏を配信。ステップ16)。
【0077】
たとえば、オンライン会議サーバ装置CSは、生演奏データLM1~LM3、及び伴奏オーディオデータACを同期したセッション演奏を再生し、端末識別情報ID***T1~端末識別情報ID***T3に基づいて端末装置T1~端末装置T3に配信する。
【0078】
以上から明らかなように、本実施形態に係るオンライン会議サーバ装置CSは、複数の利用者それぞれが使用する端末装置と通信可能に接続されている。オンライン会議サーバ装置CSは、端末装置毎に、担当する演奏のパートを設定する設定部100と、カラオケ演奏で使用されるある楽曲のカラオケ演奏データを処理することにより、設定されたパートそれぞれに対応するパート別オーディオデータを生成する生成部200と、一のパートが設定された端末装置に対して、当該一のパートとは異なる他のパートに対応するパート別オーディオデータであるマイナスワンオーディオデータを送信する送信部300と、一のパートが設定された端末装置から、マイナスワンオーディオデータに基づく演奏に合わせて当該一のパートを実際に演奏して得られた演奏音に基づく生演奏データを取得する取得部400と、複数の端末装置それぞれから取得したある楽曲の生演奏データを記憶させる記憶処理部500と、を有する。
【0079】
このようなオンライン会議サーバ装置CSによれば、カラオケ演奏データを用いてパート別オーディオデータを生成し、パートが設定された端末装置に対してマイナスワンオーディオデータを送信することができる。ある端末装置に送信されたマイナスワンオーディオデータは、ある端末装置に設定されたパート以外のパートに対応するパート別オーディオデータを含む。つまり、ある端末装置に送信されたマイナスワンオーディオデータに基づく演奏音は、当該ある端末装置に設定されたパートの演奏音が含まれていない。よって、利用者は、当該演奏音に合わせて自己のパートの演奏を行いやすくなる。すなわち、本実施形態に係るオンライン会議サーバ装置CSによれば、カラオケ演奏で使用されるカラオケ演奏データを利用してオンラインでのセッション演奏を行うことができる。
【0080】
また、本実施形態に係るオンライン会議サーバ装置CSにおいて、ある楽曲を構成する複数のパートのうち、設定部100による設定がされていないパートがある場合、生成部200は、パート別オーディオデータ、及び設定されたパート以外の全てのパートに対応する伴奏オーディオデータを生成する。送信部300は、一のパートが設定された端末装置に対して、伴奏オーディオデータを含むマイナスワンオーディオデータを送信する。記憶処理部500は、ある楽曲の生演奏データ、及び伴奏オーディオデータを記憶させる。このようなオンライン会議サーバ装置CSによれば、ある楽曲を構成する複数のパートのうち、設定されていない演奏のパートがある場合であっても、利用者の演奏するパートに適したマイナスワンオーディオデータを提供することができる。
【0081】
<第2実施形態>
次に、図4を参照して、第2実施形態に係るオンラインセッションサーバ装置について説明を行う。本実施形態では、マイナスワンオーディオデータに含まれるパート別オーディオデータのうち、一部のデータを生演奏データに置き換える例について述べる。第1実施形態と同様の構成については詳細な説明を省略する。
【0082】
(送信部)
本実施形態に係る送信部300は、一のパートが設定された端末装置に対してマイナスワンオーディオデータを送信する際に、他の端末装置から生演奏データを取得している場合、他のパートに対応するパート別オーディオデータを、当該他のパートが設定された端末装置から取得している生演奏データに置き換えたマイナスワンオーディオデータを送信する。
【0083】
たとえば、送信部300は、第1実施形態の楽曲Xの歌唱パートが設定されたある端末装置に対し、マイナスワンオーディオデータとして、歌唱パートとは異なる他のパート(ギターパート、ベースパート、及びドラムパート)に対応するパート別オーディオデータの送信を開始する。ある端末装置は、受信したパート別オーディオデータの再生を開始する。ある端末装置の利用者は、パート別オーディオデータに基づく演奏音を聴きながら、楽曲Xの歌唱を行う。ある端末装置は、歌唱音声に基づく生演奏データを、自己の端末識別情報と紐付けてオンライン会議サーバ装置CSに送信する。取得部400は、歌唱の生演奏データの取得を開始する。
【0084】
取得部400が歌唱の生演奏データの取得を開始すると、送信部300は、ギターパートが設定された別の端末装置に対し、マイナスワンオーディオデータとして、ギターパートとは異なる他のパート(歌唱パート、ベースパート、及びドラムパート)に対応するパート別オーディオデータを送信する。
【0085】
ここで、オンライン会議サーバ装置CSは、既に、ある端末装置から歌唱の生演奏データを取得している。この場合、送信部300は、別の端末装置に対し、歌唱パートに対応するパート別オーディオデータを、取得している歌唱の生演奏データに置き換えたマイナスワンオーディオデータを送信する。この例において、別の端末装置は「一のパートが設定された端末装置」に相当し、ある端末装置は「他の端末装置」に相当し、歌唱パートは、「他のパート」に相当する。
【0086】
==オンライン会議サーバ装置の動作について==
次に、図4を参照して本実施形態におけるオンライン会議サーバ装置CSの動作の具体例について述べる。図4は、オンライン会議サーバ装置CSの動作例を示すフローチャートである。この例において、図1に示した利用者U1~利用者U3でオンラインのセッション演奏を行うとする。また、セッション演奏を行う楽曲として、歌唱パート、ギターパート、ベースパート、ドラムパート、及びキーボードパートからなる楽曲Yが選択されたとする。
【0087】
オンライン会議サーバ装置CSの設定部100は、端末装置T1~端末装置T3に対して順番に一のパートを設定する(各端末装置に対して順番に一のパートを設定。ステップ20)。たとえば、利用者U1、利用者U2、利用者U3の順で演奏を担当するパートの入力を行ったとする。この場合、設定部100は、利用者U1(ベースパート)、利用者U2(ギターパート)、利用者U3(歌唱パート)の順番でパートを設定する。各端末装置に対するパートの設定の方法は、第1実施形態のステップ10と同様である。
【0088】
ステップ21及びステップ22は、第1実施形態のステップ11及びステップ12と同様である。
【0089】
送信部300は、最初にパートを設定した利用者U1が使用する端末装置T1に対して、設定されたパートとは異なる他のパートに対応するパート別オーディオデータ、及び設定されたパート以外の全てのパートに対応する伴奏オーディオデータを含むマイナスワンオーディオデータの送信を開始する(端末装置T1に対してマイナスワンデータの送信を開始。ステップ23)。
【0090】
具体的に、送信部300は、端末識別情報ID***T1を参照し、ベースパートが設定された端末装置T1に対して、パート別オーディオデータPA1及びPA3と、伴奏オーディオデータACと含むマイナスワンオーディオデータMA1について、タイミングt(t=0)で送信を開始する。
【0091】
取得部400は、端末装置T1から生演奏データの取得を開始する(端末装置T1から生演奏データの取得を開始。ステップ24)。
【0092】
端末装置T1は、オンライン会議サーバ装置CSからタイミングDt7で受信したマイナスワンオーディオデータMA1の再生を開始する。利用者U1は、マイナスワンオーディオデータMA1に基づく演奏音を聴きながら、楽曲Yのベース演奏を行う。端末装置T1は、ベース演奏音に基づく生演奏データLM1を、端末識別情報ID***T1と紐付けてオンライン会議サーバ装置CSに送信する。取得部400はタイミングDt8で生演奏データLM1の取得を開始する。
【0093】
送信部300は、利用者U1の次にパートを設定した利用者U2が使用する端末装置T2に対してマイナスワンオーディオデータの送信を開始する。
【0094】
この時点において、オンライン会議サーバ装置CSは、端末装置T1からベースパートを実際に演奏して得られた生演奏データを取得している。よって、送信部300は、ベースパートに対応するパート別オーディオデータを、取得しているベースパートの生演奏データに置き換えたマイナスワンオーディオデータの送信を開始する(端末装置T2に対し、一部のパート別オーディオデータを生演奏データに置き換えたマイナスワンデータの送信を開始。ステップ25)。
【0095】
具体的に、送信部300は、端末識別情報ID***T2を参照し、ギターパートが設定された端末装置T2に対して、パート別オーディオデータPA3、パート別オーディオデータPA1と置き換えた生演奏データLM1、及び伴奏オーディオデータACと含むマイナスワンオーディオデータMA2について、タイミングDt8で送信を開始する。
【0096】
取得部400は、端末装置T2から生演奏データの取得を開始する(端末装置T2から生演奏データの取得を開始。ステップ26)。
【0097】
端末装置T2は、オンライン会議サーバ装置CSからタイミングDt9で受信したマイナスワンオーディオデータMA2の再生を開始する。利用者U2は、マイナスワンオーディオデータMA2に基づく演奏音を聴きながら、楽曲Yのギター演奏を行う。端末装置T2は、ギター演奏音に基づく生演奏データLM2を、端末識別情報ID***T2と紐付けてオンライン会議サーバ装置CSに送信する。取得部400はタイミングDt10で生演奏データLM2の取得を開始する。
【0098】
送信部300は、利用者U2の次にパートを設定した利用者U3が使用する端末装置T3に対してマイナスワンオーディオデータの送信を開始する。
【0099】
この時点において、オンライン会議サーバ装置CSは、端末装置T1からベースパートを実際に演奏して得られた生演奏データを取得し、且つ端末装置T2からギターパートを実際に演奏して得られた生演奏データを取得している。よって、送信部300は、ベースパートに対応するパート別オーディオデータ及びギターパートに対応するパート別オーディオデータを、取得しているベースパートの生演奏データ及びギターパートの生演奏データに置き換えたマイナスワンオーディオデータの送信を開始する(端末装置T3に対し、一部のパート別オーディオデータを生演奏データに置き換えたマイナスワンデータの送信を開始。ステップ27)。
【0100】
具体的に、送信部300は、端末識別情報ID***T3を参照し、歌唱パートが設定された端末装置T3に対して、パート別オーディオデータPA1と置き換えた生演奏データLM1、パート別オーディオデータPA2と置き換えた生演奏データLM2、及び伴奏オーディオデータACと含むマイナスワンオーディオデータMA3について、タイミングDt10で送信を開始する。
【0101】
取得部400は、端末装置T3から生演奏データの取得を開始する(端末装置T3から生演奏データの取得を開始。ステップ28)。
【0102】
端末装置T3は、オンライン会議サーバ装置CSからタイミングDt11で受信したマイナスワンオーディオデータMA3の再生を開始する。利用者U3は、マイナスワンオーディオデータMA3に基づく演奏音を聴きながら、楽曲Yの歌唱を行う。端末装置T3は、歌唱音声に基づく生演奏データLM3を、端末識別情報ID***T3と紐付けてオンライン会議サーバ装置CSに送信する。取得部400はタイミングDt12で生演奏データLM3の取得を開始する。
【0103】
なお、タイミングDt7~Dt12は、タイミングtよりも遅い時点を示している。また、タイミングDt12は、タイミングDt11よりも遅い時点を示しており、タイミングDt11は、タイミングDt10よりも遅い時点を示しており、タイミングDt10は、タイミングDt9よりも遅い時点を示しており、タイミングDt9は、タイミングDt8よりも遅い時点を示しており、タイミングDt8は、タイミングDt7よりも遅い時点を示している。また、タイミングDt7~Dt12は、オンライン会議サーバ装置CSと各端末装置との通信環境により変化する。
【0104】
記憶処理部500は、ステップ24、26、及び28で取得を開始した楽曲Yの生演奏データ、及びステップ22で生成した伴奏オーディオデータを記憶手段10に記憶させる(生演奏データ及び伴奏オーディオデータを記憶。ステップ29)。
【0105】
各利用者の演奏が終了した後、オンライン会議サーバ装置CSは、パートに紐付けられた端末識別情報を参照し、生演奏データ及び伴奏オーディオデータに基づくセッション演奏を端末装置T1~端末装置T3に配信する(各端末装置にセッション演奏を配信。ステップ30)。
【0106】
以上から明らかなように、本実施形態に係るオンライン会議サーバ装置CSにおける送信部300は、一のパートが設定された端末装置に対してマイナスワンオーディオデータを送信する際に、他の端末装置から生演奏データを取得している場合、他のパートに対応するパート別オーディオデータを、当該他のパートが設定された端末装置から取得している生演奏データに置き換えたマイナスワンオーディオデータを送信する。
【0107】
このようなオンライン会議サーバ装置CSによれば、一部の端末装置に対しては、生演奏データを含むマイナスワンオーディオデータを送信することができる。よって、当該マイナスワンオーディオデータに基づく演奏音に合わせて自己のパートを演奏する際、利用者は、実際のセッション演奏を行っているような感覚を得ることができる。
【0108】
<第2実施形態の変形例>
送信部300は、ある楽曲を選択した利用者の端末装置に対し、他のパートに対応するパート別オーディオデータの全てを、当該他のパートが設定された端末装置から取得している生演奏データに置き換えたマイナスワンオーディオデータを送信することができる。
【0109】
たとえば、第2実施形態の例において、利用者U1が楽曲Yを選択したとする。
【0110】
この場合、送信部300は、利用者U1とは異なる利用者U2及び利用者U3が使用する端末装置T2及びT3に対して先にマイナスワンオーディオデータの送信を行う。
【0111】
たとえば、送信部300は、端末識別情報ID***T2を参照し、ギターパートが設定された端末装置T2に対して、パート別オーディオデータPA1及びPA3と、伴奏オーディオデータACと含むマイナスワンオーディオデータMA2の送信を開始する。
【0112】
端末装置T2は、オンライン会議サーバ装置CSから受信したマイナスワンオーディオデータMA2の再生を開始する。利用者U2は、マイナスワンオーディオデータMA2に基づく演奏音を聴きながら、楽曲Yのギター演奏を行う。端末装置T2は、ギター演奏音に基づく生演奏データLM2を、端末識別情報ID***T2と紐付けてオンライン会議サーバ装置CSに送信する。取得部400は生演奏データLM2の取得を開始する。
【0113】
送信部300は、端末識別情報ID***T3を参照し、歌唱パートが設定された端末装置T3に対して、パート別オーディオデータPA1、パート別オーディオデータPA2と置き換えた生演奏データLM2、及び伴奏オーディオデータACと含むマイナスワンオーディオデータMA3の送信を開始する。
【0114】
端末装置T3は、オンライン会議サーバ装置CSから受信したマイナスワンオーディオデータMA3の再生を開始する。利用者U3は、マイナスワンオーディオデータMA3に基づく演奏音を聴きながら、楽曲Yの歌唱を行う。端末装置T3は、歌唱音声に基づく生演奏データLM3を、端末識別情報ID***T3と紐付けてオンライン会議サーバ装置CSに送信する。取得部400は生演奏データLM3の取得を開始する。なお、この例では、端末装置T2、端末装置T3の順でマイナスワンオーディオデータを送信する例について述べたが、これに限られない。マイナスワンオーディオデータを送信する順番として、楽曲を選択した利用者の端末装置が最後になるような順番であれば、特に限定されない。
【0115】
送信部300は、ベースパートが設定された端末装置T1(楽曲Yを選択した利用者が使用する端末装置T1)に対して、パート別オーディオデータPA2と置き換えた生演奏データLM2、パート別オーディオデータPA3と置き換えた生演奏データLM3、及び伴奏オーディオデータACと含むマイナスワンオーディオデータMA1の送信を開始する。
【0116】
端末装置T1は、オンライン会議サーバ装置CSから受信したマイナスワンオーディオデータMA1の再生を開始する。利用者U1は、マイナスワンオーディオデータMA1に基づく演奏音を聴きながら、楽曲Yのベース演奏を行う。端末装置T1は、ベース演奏音に基づく生演奏データLM1を、端末識別情報ID***T1と紐付けてオンライン会議サーバ装置CSに送信する。取得部400は生演奏データLM1の取得を開始する。
【0117】
楽曲を選択した利用者は、当該楽曲のセッション演奏を積極的に行いたいと考えている可能性が高い。一方、このようなオンライン会議サーバ装置CSによれば、セッション演奏を行う楽曲を選択した利用者が使用する端末装置に対して、他の利用者の実際の演奏に基づいて得られた生演奏データ全てを含むマイナスワンオーディオデータを送信することができる。よって、楽曲を選択した利用者は、実際のセッション演奏を行っているような感覚をより強く得ることができる。
【0118】
<その他>
取得部400は、端末装置から、ある楽曲の生演奏データ及び当該端末装置を使用する利用者を撮影した映像データを取得することができる。
【0119】
映像データは、たとえば、端末装置が有するカメラにより、演奏中の利用者を撮影して得られる。端末装置は、オンライン会議サーバ装置CSに対し、生演奏データと併せて映像データを送信する。取得部400は、生演奏データ及び映像データを取得する。記憶処理部500は、生演奏データ及び映像データを記憶手段10に記憶させる。オンライン会議サーバ装置CSは、記憶させた映像データに基づく映像を、生演奏データを同期したセッション演奏と共に再生し、各端末装置に配信する。
【0120】
また、上記実施形態ではオンライン会議システムS1を利用する全ての利用者U1~利用者U3が何らかの演奏を行う例について説明した。一方、演奏を行わない利用者がいる場合もありうる。そこで、オンライン会議サーバ装置CSは、このような利用者が使用する端末装置に対し、生成部200が生成した全てのパート別オーディオデータ(または全てのパート別オーディオデータ及び伴奏オーディオデータ)を配信することができる。このようなデータを配信することにより、他の利用者がセッション演奏を行っている最中であっても、演奏を行わない利用者は退屈することがない。
【0121】
また、上記実施形態で説明した一部の構成をカラオケサーバ装置KSが有してもよい。たとえば、第1実施形態の例において、オンライン会議サーバ装置CSが設定部100、送信部300、取得部400、及び記憶処理部500を有し、カラオケサーバ装置KSが生成部200を有していてもよい。これらの場合、オンライン会議サーバ装置CS及びカラオケサーバ装置KSが「オンラインセッションサーバ装置」として機能する。
【0122】
更に、上記実施形態で説明したオンライン会議サーバ装置CS及びカラオケサーバ装置KSの機能を有する一のサーバ装置を設けてもよい。端末装置は、当該サーバ装置と直接通信が可能となるよう構成される。この場合、当該サーバ装置が「オンラインセッションサーバ装置」として機能する。
【0123】
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0124】
1 オンラインセッションシステム
100 設定部
200 生成部
300 送信部
400 取得部
500 記憶処理部
CS オンライン会議サーバ装置
KS カラオケサーバ装置
S1 オンライン会議システム
S2 通信カラオケシステム
T1~T3 端末装置
図1
図2
図3
図4