特開 2024-179858 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179858

(43)【公開日】2024-12-26

(54)【発明の名称】コントローラ、楽音発生システム、方法、プログラム及び記憶媒体

(51)【国際特許分類】

   G10H 1/00 20060101AFI20241219BHJP

   G06F 3/16 20060101ALI20241219BHJP

【ＦＩ】

G10H1/00 Z

G06F3/16 600

G06F3/16 620

G06F3/16 610

【審査請求】有

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2023099112

(22)【出願日】2023-06-16

(71)【出願人】

【識別番号】320005501

【氏名又は名称】株式会社電通

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】100106840

【弁理士】

【氏名又は名称】森田 耕司

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(74)【代理人】

【識別番号】100220423

【弁理士】

【氏名又は名称】榊間 城作

(72)【発明者】

【氏名】田中 直基

(72)【発明者】

【氏名】村上 晋太郎

(72)【発明者】

【氏名】九鬼 慧太

(72)【発明者】

【氏名】藍 耕平

(72)【発明者】

【氏名】武藤 将胤

【テーマコード（参考）】

5D478

【Ｆターム（参考）】

5D478CC22

5D478CC35

(57)【要約】      （修正有）

【課題】身体の動きが制限されたユーザが楽音発生装置を容易に制御するコントローラ、楽音発生システム、方法、プログラム及び記憶媒体を提供する。
【解決手段】楽音発生システム１において、楽音発生装置を制御するコントローラは、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、取得部により取得した視線情報に基づいて、操作子を選択するためのポインタを表示部に表示する表示制御部と、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置に送信する通信部と、を備え、複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

楽音発生装置を制御するコントローラであって、
ユーザの視線情報を取得する取得部と、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を備え、
前記複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む、コントローラ。

【請求項2】

前記少なくとも一つのフェーダー操作子は、軸部とノブを含むクロスフェーダー操作子を含み、前記クロスフェーダー操作子は、前記軸部上の前記ノブの位置に応じて前記第１音源と前記第２音源の各々の音量を連続的に変化させる、請求項１に記載のコントローラ。

【請求項3】

前記少なくとも一つのフェーダー操作子は、前記第１音源と前記第２音源の各々の音量を予め記憶したパターンで連続的に変化させるためのフェーダーパターン操作子を含む、請求項１に記載のコントローラ。

【請求項4】

前記複数の操作子は、前記第１音源に対する操作を行う第１操作子群と、前記第２音源に対する操作を行う第２操作子群と、を含む、請求項１から３のいずれかに記載のコントローラ。

【請求項5】

前記表示制御部は、前記第１音源の音量が前記第２音源の音量よりも大きい場合に前記第１操作子群を強調表示し、前記第２音源の音量が前記第１音源の音量よりも大きい場合に前記第２操作子群を強調表示する、請求項４に記載のコントローラ。

【請求項6】

前記決定部は、前記第１音源の音量が前記第２音源の音量よりも大きい場合に前記第１操作子群に含まれる操作子の選択を決定し、前記第２音源の音量が前記第１音源の音量よりも大きい場合に前記第２操作子群に含まれる操作子の選択を決定する、請求項４に記載のコントローラ。

【請求項7】

前記第１操作子群は、連続して再生される複数の音源のうち奇数番目の音源を選択するための音源選択操作子を含み、
記第１操作子群は、連続して再生される複数の音源のうち偶数番目の音源を選択するための音源選択操作子を含む、請求項４に記載のコントローラ。

【請求項8】

前記第１操作子群は、前記表示部の左側に表示され、
前記第２操作子群は、前記表示部の右側に表示される、請求項７に記載のコントローラ。

【請求項9】

前記複数の操作子は、音源の再生中に表示する映像クリップを選択するための複数のクリップ選択操作子を含み、該複数のクリップ選択操作子は、前記第１操作子群と前記第２操作子群との間に表示される、請求項８に記載のコントローラ。

【請求項10】

前記第１操作子群及び前記第２操作子群は、再生中の音源に対してエフェクトを適用するためのエフェクト操作子を含む、請求項４に記載のコントローラ。

【請求項11】

前記第１操作子群及び前記第２操作子群は、２種類のパラメータを同時に変更可能なＸＹパッドを含む、請求項４に記載のコントローラ。

【請求項12】

前記複数の操作子は、他の操作子が表示された画面に切り替えるための画面切替操作子を含む、請求項１に記載のコントローラ。

【請求項13】

入力装置を用いたユーザによる入力操作を受け付ける受付部をさらに有し、
前記決定部は、前記受付部が受け付けた入力操作に応じて前記操作子の選択を決定する、請求項１に記載のコントローラ。

【請求項14】

前記入力操作は、ユーザの体の一部によってスイッチを押下することであり、
前記決定部は、前記ユーザの視線情報と、前記スイッチの押下以外のユーザ操作なしで、前記操作子の選択を決定する、請求項１３に記載のコントローラ。

【請求項15】

前記決定部は、前記ポインタの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定する、請求項１に記載のコントローラ。

【請求項16】

前記決定部は、前記ポインタの基準位置と重なる操作子の選択を決定する、請求項１に記載のコントローラ。

【請求項17】

前記基準位置は、前記ポインタの略中心である、請求項１６に記載のコントローラ。

【請求項18】

前記表示制御部は、前記ポインタの近傍に演奏中の楽曲の拍と小節番号を表示する、請求項１に記載のコントローラ。

【請求項19】

前記決定部は、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定する、請求項１に記載のコントローラ。

【請求項20】

楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、
ユーザの視線情報を取得する取得部と、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を備え、
前記複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む、楽音発生システム。

【請求項21】

楽音発生装置を制御する方法であって、
ユーザの視線情報を取得するステップと、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有し、
前記複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む、方法。

【請求項22】

コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有し、
前記複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む、プログラム。

【請求項23】

請求項２２に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コントローラ、楽音発生システム、方法、プログラム及び記憶媒体に関する。

【背景技術】

【0002】

従来、楽音発生装置から発生される楽音を制御するための演奏制御情報を操作者の身体状況に応じて生成する演奏インターフェイスが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１－１９５０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来、ＡＬＳ患者等の身体の動きが制限されたユーザが使用することについては、何ら提案されていない。

【0005】

本発明が解決しようとする課題は、身体の動きが制限されたユーザが楽音発生装置を容易に制御可能にすることである。

【課題を解決するための手段】

【0006】

［１］
楽音発生装置を制御するコントローラであって、
ユーザの視線情報を取得する取得部と、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を備え、
前記複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む、コントローラ。

【0007】

［２］
前記少なくとも一つのフェーダー操作子は、軸部とノブを含むクロスフェーダー操作子を含み、前記クロスフェーダー操作子は、前記軸部上の前記ノブの位置に応じて前記第１音源と前記第２音源の各々の音量を連続的に変化させる、上記［１］に記載のコントローラ。

【0008】

［３］
前記少なくとも一つのフェーダー操作子は、前記第１音源と前記第２音源の各々の音量を予め記憶したパターンで連続的に変化させるためのフェーダーパターン操作子を含む、上記［１］又は［２］に記載のコントローラ。

【0009】

［４］
前記複数の操作子は、前記第１音源に対する操作を行う第１操作子群と、前記第２音源に対する操作を行う第２操作子群と、を含む、上記［１］から［３］のいずれかに記載のコントローラ。

【0010】

［５］
前記表示制御部は、前記第１音源の音量が前記第２音源の音量よりも大きい場合に前記第１操作子群を強調表示し、前記第２音源の音量が前記第１音源の音量よりも大きい場合に前記第２操作子群を強調表示する、上記［４］に記載のコントローラ。

【0011】

［６］
前記決定部は、前記第１音源の音量が前記第２音源の音量よりも大きい場合に前記第１操作子群に含まれる操作子の選択を決定し、前記第２音源の音量が前記第１音源の音量よりも大きい場合に前記第２操作子群に含まれる操作子の選択を決定する、上記［４］又は［５］に記載のコントローラ。

【0012】

［７］
前記第１操作子群は、連続して再生される複数の音源のうち奇数番目の音源を選択するための音源選択操作子を含み、
記第１操作子群は、連続して再生される複数の音源のうち偶数番目の音源を選択するための音源選択操作子を含む、上記［４］から［６］のいずれかに記載のコントローラ。

【0013】

［８］
前記第１操作子群は、前記表示部の左側に表示され、
前記第２操作子群は、前記表示部の右側に表示される、上記［７］に記載のコントローラ。

【0014】

［９］
前記複数の操作子は、音源の再生中に表示する映像クリップを選択するための複数のクリップ選択操作子を含み、該複数のクリップ選択操作子は、前記第１操作子群と前記第２操作子群との間に表示される、上記［８］に記載のコントローラ。

【0015】

［１０］
前記第１操作子群及び前記第２操作子群は、再生中の音源に対してエフェクトを適用するためのエフェクト操作子を含む、上記［４］から［９］のいずれかに記載のコントローラ。

【0016】

［１１］
前記第１操作子群及び前記第２操作子群は、２種類のパラメータを同時に変更可能なＸＹパッドを含む、上記［４］から［１０］のいずれかに記載のコントローラ。

【0017】

［１２］
前記複数の操作子は、他の操作子が表示された画面に切り替えるための画面切替操作子を含む、上記［１］から［１１］のいずれかに記載のコントローラ。

【0018】

［１３］
入力装置を用いたユーザによる入力操作を受け付ける受付部をさらに有し、
前記決定部は、前記受付部が受け付けた入力操作に応じて前記操作子の選択を決定する、上記［１］から［１２］のいずれかに記載のコントローラ。

【0019】

［１４］
前記入力操作は、ユーザの体の一部によってスイッチを押下することであり、
前記決定部は、前記ユーザの視線情報と、前記スイッチの押下以外のユーザ操作なしで、前記操作子の選択を決定する、上記［１３］に記載のコントローラ。

【0020】

［１５］
前記決定部は、前記ポインタの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定する、上記［１］から［１４］のいずれかに記載のコントローラ。

【0021】

［１６］
前記決定部は、前記ポインタの基準位置と重なる操作子の選択を決定する、上記［１］から［１５］のいずれかに記載のコントローラ。

【0022】

［１７］
前記基準位置は、前記ポインタの略中心である、上記［１６］に記載のコントローラ。

【0023】

［１８］
前記表示制御部は、前記ポインタの近傍に演奏中の楽曲の拍と小節番号を表示する、上記［１］から［１７］のいずれかに記載のコントローラ。

【0024】

［１９］
前記決定部は、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定する、上記［１］から［１８］のいずれかに記載のコントローラ。

【0025】

［２０］
楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、
ユーザの視線情報を取得する取得部と、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を備え、
前記複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む、楽音発生システム。

【0026】

［２１］
楽音発生装置を制御する方法であって、
ユーザの視線情報を取得するステップと、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有し、
前記複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む、方法。

【0027】

［２２］
コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有し、
前記複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子を含む、プログラム。

【0028】

［２３］
上記［２２］に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

【発明の効果】

【0029】

本発明によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。

【図面の簡単な説明】

【0030】

【図1】本実施形態に係る楽音発生システム１のシステム構成の一例を示す図である。

【図2】本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。

【図3】本実施形態に係る楽音発生システム１の機能構成の一例を示すブロック図である。

【図4】本実施形態に係る楽音発生システム１の動作の一例を示すフローチャートである。

【図5】本実施形態に係るコントローラ２のユーザインタフェースの一例を示す図である。

【図6】図５に示すポインタＰの拡大図である。

【図7】本実施形態に係るフェーダー操作子に対応付けられたフェーダーカーブの一例を示す図である。

【発明を実施するための形態】

【0031】

以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。

【0032】

（楽音発生システムの構成）
図１は、一実施の形態に係る楽音発生システム１の概略的な構成を示す図である。図１に示すように、本実施形態に係る楽音発生システム１は、コントローラ２と楽音発生装置３とを備えている。コントローラ２と楽音発生装置３とは後述の通信インタフェース（Ｉ／Ｆ）により通信可能に接続されている。

【0033】

コントローラ２は、楽音発生装置３をＭＩＤＩ規格に準拠した通信プロトコルに基づいて制御するための装置である。そして、コントローラ２は、ＡＬＳ患者等の身体の動きに制限のあるユーザが視線入力により各種情報をコントローラ２に入力するためのアイトラッキング装置２１と、ユーザが手動操作を行う入力装置２２に接続される（コントローラ２がアイトラッキング装置２１と入力装置２２とを備えていてもよい）。

【0034】

アイトラッキング装置２１は、ユーザの眼の動き（視線方向）を追跡し、視線情報をコントローラ２に出力する。視線情報は、例えば、ユーザの眼球像を逐次撮像した画像から瞳孔等の特徴的なパターンを抽出することにより生成することができる。本実施形態は、ＡＬＳ患者が視線を動かすことができることに着目し、視線情報を用いて楽音発生装置３を制御するものである。

【0035】

入力装置２２は、手動スイッチ、フットスイッチ等のユーザが操作可能な入力装置である。ユーザが入力装置２２を用いて操作を行うと、その操作に応じた信号が入力装置２２からコントローラ２に出力される。入力装置２２は、ＡＬＳ患者等の身体の動きが制限されたユーザが簡単に入力操作を行えるものであるのが望ましく、例えば入力操作はユーザの体によってスイッチを押下することである。

【0036】

楽音発生装置３は、コントローラ２から受信したＭＩＤＩ規格に準拠した信号に基づいて楽音を発生させるための装置である。例えば、ＤＡＷ（Digital Audio Workstation）と称される統合音楽ソフトウェアをパーソナルコンピュータにインストールして実行することにより当該パーソナルコンピュータを楽音発生装置として用いることができる。また、楽音発生装置３は、音響信号に基づいて放音するためのサウンドシステム３１を備えている。

【0037】

（ハードウェア構成）
次に、本実施形態に係る楽音発生システム１のハードウェア構成について説明する。図２は、本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。

【0038】

コントローラ２において、ＣＰＵ２３は、このコントローラ２全体の動作を制御する処理装置である。ＲＯＭ２４は、ＣＰＵ２３が実行する制御プログラムや各種のデータを格納する不揮発性メモリである。ＲＡＭ２５は、ＣＰＵ２３が実行するプログラムのロード領域やワーク領域に使用する揮発性メモリである。ディスプレイ２６は、各種の情報（ユーザインタフェース）を表示する表示装置である。記憶装置２７は、各種の情報を記憶するための記憶手段であり、コントローラ２本体に内蔵されているものでも、記憶媒体が着脱可能なものでもよい。通信インタフェース（Ｉ／Ｆ）２８は、楽音発生装置３と接続するためのインタフェースである。バス２９は、上記各構成要素を相互に接続するバスラインである。

【0039】

楽音発生装置３は、本実施形態ではＰＣにＤＡＷソフトウェアをインストールしたものである。該ＤＡＷソフトウェアを実行することにより、音楽制作の各種の機能（例えば、ハードディスクレコーディング機能、ＭＩＤＩデータやオーディオデータの作成編集機能、ミキシング機能、シーケンサ機能など）を実現することができる。なお、本実施形態では楽音発生装置３をＰＣとＤＡＷソフトウェアで構成した例で説明するが、単体のシーケンサ装置などでもよい。

【0040】

楽音発生装置３において、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、記憶装置３６、マウス・キーボード等の入力装置３７及びディスプレイ３８は、汎用のＰＣが備える基本構成である。通信Ｉ／Ｆ３５は、コントローラ２と接続するためのインタフェースである。なお、通信Ｉ／Ｆ２８と３５は、例えば、ＭＩＤＩなどの音楽専用有線Ｉ／Ｆ、ＵＳＢやＩＥＥＥ１３９４等の汎用有線Ｉ／Ｆや無線ＬＡＮやBluetooth(登録商標)等の汎用無線Ｉ／Ｆである。サウンドシステム３１は、デジタルアナログ（Ｄ／Ａ）変換機能などを備えるサウンドＩ／Ｏであるコーデックから渡されるアナログ音響信号を放音する。このサウンドシステム３１は、楽音発生装置３を構成するＰＣが備えるスロットにボードやカードを挿入する形式で付加された機能である。バス３９は、上記各構成要素を相互に接続するバスラインである。

【0041】

（機能構成）
次に、本実施形態に係る楽音発生システム１の機能構成について説明する。図３は、本実施形態に係る楽音発生システム１の機能構成の一例を示す図である。

【0042】

図３に示すように、コントローラ２は、制御部２００と、表示部２１０と、記憶部２１１と、通信部２１２とを有している。

【0043】

制御部２００は、取得部２０１と、受付部２０２と、決定部２０４と、表示制御部２０３とを有している。

【0044】

取得部２０１は、コントローラ２のユーザの視線情報を取得する。具体的には、取得部２０１はアイトラッキング装置２１から出力されるユーザの視線方向に関する情報（視線情報）を取得する。

【0045】

受付部２０２は、入力装置２２（手動スイッチ、フットスイッチ等）を用いたユーザによる入力操作を受け付ける。

【0046】

表示制御部２０３は、楽音発生装置３の制御コマンドに関連付けられた複数の操作子（アイコン）を各種の情報とともに表示部２１０（図２のディスプレイ２６に相当）に表示する。また、表示制御部２０３は、取得部２０１により取得したユーザの視線情報に基づいて、操作子を操作するためのポインタＰを表示部２１０に表示する。

【0047】

図５は、表示制御部２０３によって表示部２１０に表示されるユーザインタフェース５０の一例を示す図である。図５に示すように、ユーザインタフェース５０は、複数の操作子として、第１操作子群５１（DECK_A）と、第２操作子群５２（DECK_B）と、フェーダー操作子であるクロスフェーダー操作子（スクロールバー）５３及びフェーダーパターン操作子５４と、クリップ選択操作子５５と、停止操作子５６と、画面切替操作子５７と、を含む。これらの各操作子（操作子群に含まれる操作子を含む）は、楽音発生装置３（ＤＡＷ）の各制御コマンドに関連付けられており、各操作子をユーザが操作（選択）することにより楽音発生装置３が各制御コマンドに応じた処理を行う。

【0048】

第１操作子群５１（DECK_A）は、第１音源（連続して再生される予定の複数の音源のうち奇数番目の音源）に対してユーザが操作を行う操作子群であって、ユーザインタフェース５０が表示された画面に向かって左側に表示される。第１操作子群５１は、ＸＹパッド５１ａと、少なくとも一つの音源選択操作子５１ｂと、少なくとも一つのエフェクト操作子５１ｃと、を含む。

【0049】

ＸＹパッド５１ａは、ユーザが２次元的な入力操作を行うことが可能な操作子であって、２種類のパラメータを同時に変更可能な操作子である。ＸＹパッド５１ａ上でポインタＰを移動させることにより２種類のパラメータを同時に変更することができる。なお、ＸＹパッド５１ａの操作は、受付部２０２が入力装置２２による操作を受け付けている間に有効となるようにしてもよい。例えば、ユーザが手動スイッチ（入力装置２２）を押下した状態で視線入力によりポインタＰをＸＹパッド５１ａ上で移動させることでＸＹパッド５１ａの操作（２種類のパラメータの変更）ができるようにしてもよい。音源選択操作子５１ｂは、再生（演奏）する音源（楽曲）を選択するための操作子である。第１操作子群５１には、連続して再生される予定の複数の音源のうち奇数番目の音源（第１音源）を選択するための複数の音源選択操作子（Song_1、Song_3、Song_5、Song_7、Song_9）が含まれる。エフェクト操作子５１ｃは、音声エフェクトを実行するための操作子である。

【0050】

第２操作子群５２（DECK_B）は、第２音源（連続して再生される予定の複数の音源のうち偶数番目の音源）に対してユーザが操作を行う操作子群であって、ユーザインタフェース５０が表示された画面に向かって右側に表示される。第２操作子群５２は、ＸＹパッド５２ａと、少なくとも一つの音源選択操作子５２ｂと、少なくとも一つのエフェクト操作子５２ｃと、を含む。

【0051】

ＸＹパッド５２ａ及びエフェクト操作子５２ｃの機能は、上述のＸＹパッド５１ａ及びエフェクト操作子５１ｃの機能と同様であるため、詳細な説明は省略する。

【0052】

音源選択操作子５２ｂは、再生（演奏）する音源（楽曲）を選択するための操作子である。第２操作子群５２には、連続して再生される予定の複数の音源のうち偶数番目の音源（第２音源）を選択するための複数の音源選択操作子（Song_2、Song_4、Song_6、Song_8、Song_10）が含まれる。

【0053】

クロスフェーダー操作子５３は、再生中の音源を第１音源から第２音源に切り替えるための操作子（フェーダー操作子）である。クロスフェーダー操作子５３は、略水平の軸部５３ａと、この軸部５３ａを移動可能なノブ５３ｂとを含む。

【0054】

図７は、クロスフェーダー操作子５３のノブ５３ｂの水平方向の位置（軸部５３ａ上の位置）と第１音源及び第２音源の音量との関係（フェーダーカーブ）の一例を示す図である。図７に示すように、ノブ５３ｂが軸部５３ａ上を左端から右端に移動するのに伴って第１音源の音量が減少すると共に、第２音源の音量が増加する。すなわち、クロスフェーダー操作子５３のノブ５３ｂを左端から右端に移動させることにより、再生中の音源を第１音源から第２音源へ切り替えることができる。なお、ノブ５３ｂが軸部５３ａ上を左端から右端に移動するのに伴って、第１音源の音量（Ｖ１［ｄＢ］）と第２音源の音量（Ｖ２［ｄＢ］）を合わせた全体の音量（Ｖ１＋Ｖ２［ｄＢ］）に対する第２音源の音量の比率（Ｖ２／（Ｖ１＋Ｖ２））が大きくなるようにしてもよい。

【0055】

また、クロスフェーダー操作子５３は、軸部５３ａ上におけるノブ５３ｂの移動速度によって第１音源から第２音源への切り替え速度を変化させることができる。例えば、ノブ５３ｂを軸部５３ａ上でゆっくりと左端から右端に移動させた場合には、第１音源から第２音源にゆっくりと切り替えることができ、ノブ５３ｂを軸部５３ａ上で素早くと左端から右端に移動させた場合には、第１音源から第２音源にゆっくりと切り替えることができる。

【0056】

クロスフェーダー操作子５３によって、第１音源（例えば、図５に示す「Song_1」）から第２音源（例えば、図５に示す「Song_2」）に再生中の音源を切り替えた直後は、クロスフェーダー操作子５３のノブ５３ｂが右端に移動している。この状態で、クロスフェーダー操作子５３のノブ５３ｂを右端から左端に移動させると、第２音源から第１音源に再生中の音源を切り替えることができる。このとき、予め、第１操作子群５１の音源選択操作子５１ｂで任意の音源（例えば、図５に示す「Song_3」）を選択しておくことで、ユーザの意図に沿った音源の切り替え（例えば、「Song_1」、「Song_2」、「Song_3」の順の音源の切り替え）をシームレスに行うことができる。

【0057】

ここで、上述の第１操作子群５１を奇数番目の音源（第１音源）用とし、第２操作子群５２を偶数番目の音源（第２音源）用とした理由について説明する。クロスフェーダー操作子５３は、水平に表示された軸部５３ａ上でノブ５３ｂを左端から右端に向かって移動させることで、再生中の音源（楽曲）を第１音源から第２音源に切り替える（第１音源の音量よりも第２音源の音量を大きくする）ことができる。このため、クロスフェーダー操作子５３のノブ５３ｂの挙動（移動方向）に対応するように、画面左側に第１音源（奇数番目の音源）用の第１操作子群５１を配置し、画面右側に第２音源（偶数番目の音源）用の第２操作子群５２を配置することにより、クロスフェーダー操作子５３による音源切り替え後に、第２操作子群によって第２音源用の操作を行うための視線移動の距離が短くなり、スムーズに操作子を操作することができる。すなわち、ユーザは、画面の左側から、第１操作子群５１、クロスフェーダー操作子５３、第２操作子群５２の順に、円滑に操作子の選択操作を行うことができる。

【0058】

フェーダーパターン操作子５４は、予め記憶しておいた速度で音源を切り替えるための操作子（フェーダー操作子）である。上述のとおり、クロスフェーダー操作子５３は、略水平に配置された軸部５３ａ上でノブ５３ｂを移動させることによって再生中の音源を第１音源から第２音源に切り替えるものであるが、視線による入力操作でノブ５３ｂを軸部５３ａ上で移動させるためには、ある程度の慣れが必要となる。

【0059】

そこで、本実施形態のコントローラ２では、ユーザの好みの音源の切り替え速度のパターン（ゆっくり切り替えるパターン、素早く切り替えるパターン等）を記憶部２１１等に記憶しておき、記憶した各切り替えパターンを各フェーダーパターン操作子５４（図５に示す例では、「CF_1」、「CF_2」、「CF_3」の３種類）に割り当てている。これにより、ユーザは、所望の音源切替パターンが割り当てられたフェーダーパターン操作子５４を選択することにより、クロスフェーダー操作子５３の技巧的な操作をせずとも所望の音源切り替え速度で再生中の音源を切り替えることができる。

【0060】

フェーダーパターン操作子５４を用いて再生中の音源が第１音源から第２音源に切り替わった後は、再度、所望のフェーダーパターン操作子５４を選択することにより、第２音源から第１音源に再生中の音源を切り替えることができる。

【0061】

ここで、フェーダー操作子（クロスフェーダー操作子５３及びフェーダーパターン操作子５４）による音源の切り替えに連動した表示制御について説明する。第１音源から第２音源に切り替えた後は、第２操作子群５２を主に操作することになるため、第２操作子群５２を強調表示し、逆に、第２音源から第１音源に切り替えた後は、第１操作子群５１を主に操作することになるため、第１操作子群５１を強調表示するようにしてもよい。すなわち、表示制御部２０３が、第１音源の音量が第２音源の音量よりも大きい場合に第１操作子群を強調表示し、第２音源の音量が第１音源の音量よりも大きい場合に第２操作子群を強調表示するようにしてもよい。

【0062】

クリップ選択操作子５５は、音源の再生中に表示する映像クリップを選択するための操作子である。クリップ選択操作子５５（図５に示す例では、「FX_1」～「FX_10」の１０個の操作子）には、予め、記憶部２１１等に記憶された映像クリップが割り当てられており、ユーザが任意のクリップ選択操作子を選択することにより、所望の映像クリップを表示部２１０や不図示の外部表示部に表示することができる。

【0063】

停止操作子５６は、音源（楽曲）の再生を停止するための操作子であり、ユーザの所望のタイミングで音源の再生を停止し易くするために、他の操作子よりもサイズを大きくしてある。

【0064】

画面切替操作子５７は、ユーザインタフェース５０以外の他の操作子が表示された画面（不図示）に画面を切り替えるための操作子である。画面切替操作子５７を用いることで、より多くの操作子を選択可能とすることができる。

【0065】

また、ユーザインタフェース５０は、上記の各操作子を操作／選択するためのポインタＰを含む。ポインタＰは、取得部２０１が取得した視線情報に基づいて表示部２１０に表示される。具体的には、視線情報から表示部２１０の画面上における注視点の位置を求め、当該位置にポインタＰが表示される。

【0066】

図６は、図５に示すポインタＰの拡大図である。図６に示すように、ポインタＰは、基準位置Ｐ１と、該基準位置Ｐ１を略中心とした所定の大きさの円形領域Ｐ２とを有する。また、ポインタＰの円形領域Ｐ２の近傍に指標Ｑが表示される。指標Ｑは、演奏中の楽曲（再生中の音源）の拍と小節番号を「０００．００（拍．小節番号）」の形式で示す指標である。

【0067】

また、表示制御部２０３は、ユーザインタフェース５０のポインタＰを含む所定範囲を拡大表示することができる。これにより、各操作子の操作／選択をより確実に行うことができる。また、ポインタＰの近傍に指標Ｑが表示されるので、拡大表示時においてもユーザは演奏中の楽曲の拍と小節番号を常に確認しながら各操作子を操作することができる。

【0068】

図３に戻って、決定部２０４は、上記複数の操作子のうちポインタＰの少なくとも一部と重なる操作子の選択を決定する。これにより、アイトラッキング装置２１を用いた視線入力のみで操作子の選択を決定することができる。また、決定部２０４は、ポインタＰの基準位置Ｐ１と重なる操作子の選択を決定するようにしてもよい。これにより、操作子が隣接して配置されている場合に、操作子の誤操作（誤選択）を低減させることができる。また、決定部２０４は、ポインタＰの少なくとも一部と重なる状態が所定時間（例えば、２秒間）経過した操作子の選択を決定するようにしてもよい。これにより、より確実に操作子の選択を決定することができる。このような選択法は、視線情報のみで操作子を選択できるため、視線を動かすこと以外の動作が困難なユーザにも有用である。

【0069】

また、決定部２０４は、フェーダー操作子（クロスフェーダー操作子５３及びフェーダーパターン操作子５４）によって、音源の切り替えに応じて選択を決定する操作子を制限してもよい。すなわち、決定部２０４は、第１音源の音量が第２音源の音量よりも大きい場合に第１操作子群に含まれる操作子の選択を決定し、第２音源の音量が前記第１音源の音量よりも大きい場合に第２操作子群に含まれる操作子の選択を決定するようにしてもよい。これにより、第２音源の再生中に第１音源用の操作子（第１操作子群５１）を操作してしまう誤操作を防止できる。

【0070】

また、決定部２０４は、受付部２０２が受け付けたユーザによる入力装置２２を用いた入力操作に応じて操作子の選択を決定してもよい。すなわち、ユーザは、アイトラッキング装置２１を用いた視線入力で操作子を選択し、入力装置２２（手動スイッチ、フットスイッチ等）を用いて操作子の選択を決定することができる。このようにすることで、上述のポインタＰの少なくとも一部と重なる状態が所定時間経過した操作子の選択を決定する場合と比べてユーザは操作子の選択の決定をより迅速に行うことができる。このような選択法は、視線を動かすことに加え、手や足など体の一部で入力装置２２の操作を可能なユーザに有用である。

【0071】

記憶部２１１は、各操作子に関連付けた楽音発生装置３（ＤＡＷ）の各制御コマンドに関する情報を記憶する。

【0072】

通信部２１２は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報（制御コマンド情報、ＭＩＤＩイベント情報）を楽音発生装置３に送信する。

【0073】

次に、楽音発生装置３の機能構成について説明する。図３に示すように、楽音発生装置３は、オーディオ入力部３０１と、シーケンサ３０２と、レコーダ３０３と、音源３０４と、ミキサ３０５と、サウンドシステム３０６と、通信部３０７とを有する。

【0074】

オーディオ入力部３０１は、デジタルに変換したアナログ音響信号の入力や、デジタル音響信号そのものの入力を行う。

【0075】

シーケンサ３０２は、通信部３０７が受信したＭＩＤＩイベント情報を記録する。このＭＩＤＩイベント情報は、後述の音源３０４に供給される。

【0076】

音源３０４はソフトウェア音源である。音源３０４は、入力したＭＩＤＩイベント情報に応じてオーディオ信号を生成する。音源３０４から出力されたオーディオ信号は、レコーダ３０３やミキサ３０５に入力する。

【0077】

レコーダ３０３は、オーディオ入力部３０１により入力されたオーディオ信号や音源３０４から出力されたオーディオ信号を記録する。レコーダ３０３に記録されたオーディオ信号は、再生の指示に応じてミキサ３０５に出力される。

【0078】

ミキサ３０５は、音源３０４やレコーダ３０３から出力されるオーディオ信号をサウンドシステム３０６へと供給する。

【0079】

（動作の一例）
次に、楽音発生システム１の動作の一例について説明する。図４は、楽音発生システム１の動作の一例を示すフローチャートである。

【0080】

まず、コントローラ２において制御部２００の取得部２０１は、アイトラッキング装置２１から出力されるユーザの視線情報を取得する（ステップＳ１）。視線情報の取得は任意のタイミングで行われてよく、例えばリアルタイムに常時行われる。

【0081】

次に、制御部２００の表示制御部２０３は、楽音発生装置３（ＤＡＷ）の制御コマンドに関連付けられた複数の操作子を表示部２１０に表示する（ステップＳ２）。

【0082】

また、制御部２００の表示制御部２０３は、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する（ステップＳ３）。

【0083】

次に、制御部２００の決定部２０４は、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する（ステップＳ４）。

【0084】

続いて、通信部３０７は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する（ステップＳ５）。

【0085】

そして、楽音発生装置３において、コントローラ２から受信したＭＩＤＩ規格に準拠した情報に基づいて各種処理（制御コマンドの実行、ＭＩＤＩイベントの記録等）が行われる（ステップＳ６）。

【0086】

以上説明したとおり、本実施形態によれば楽音発生システム１が、ユーザの視線情報を取得する取得部２０１と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部２１０に表示するとともに、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタＰを表示部２１０に表示する表示制御部２０３と、複数の操作子のうちポインタＰの少なくとも一部と重なる操作子の選択を決定する決定部２０４と、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する通信部２１２と、を備え、複数の操作子は、再生中の音源を第１音源から第２音源に切り替える少なくとも一つのフェーダー操作子（クロスフェーダー操作子５３及び／又はフェーダーパターン操作子５４）を含むので、身体の動きが制限されたユーザが楽音発生装置３を容易に制御することができる。

【0087】

本明細書で述べた各機能部の任意の一部または全部をプログラムによって実現するようにしてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。

【0088】

上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

【0089】

例えば、本明細書において１台の装置（あるいは部材、以下同じ）として説明されるもの（図面において１台の装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置（例えばサーバ）に含まれるとした手段や機能の一部または全部が、他の装置（例えばユーザ端末）に含まれるようにしてもよい。

【0090】

また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。

【0091】

なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているにすぎず、本発明は必ずしも同文献公知発明における課題を解決することを目的とするものではないことにも留意されたい。本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。

【符号の説明】

【0092】

１ 楽音発生システム
２ コントローラ
２１ アイトラッキング装置
２２ 入力装置
２０１ 取得部
２０２ 受付部
２０３ 表示制御部
２０４ 決定部
２１０ 表示部
２１１ 記憶部
２１２ 通信部
３ 楽音発生装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】