特開 2024-2309 コントローラ、楽音発生システム、方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002309

(43)【公開日】2024-01-11

(54)【発明の名称】コントローラ、楽音発生システム、方法、プログラム及び記憶媒体

(51)【国際特許分類】

   G10H 1/34 20060101AFI20231228BHJP

   G10H 1/00 20060101ALI20231228BHJP

   G06F 3/0346 20130101ALI20231228BHJP

   G06F 3/038 20130101ALI20231228BHJP

   G06F 3/01 20060101ALI20231228BHJP

   G06F 3/048 20130101ALI20231228BHJP

【ＦＩ】

G10H1/34

G10H1/00 Z

G06F3/0346 421

G06F3/038 310A

G06F3/01 510

G06F3/048

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022101416

(22)【出願日】2022-06-23

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＭＩＤＩ

(71)【出願人】

【識別番号】320005501

【氏名又は名称】株式会社電通

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】100106840

【弁理士】

【氏名又は名称】森田 耕司

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(74)【代理人】

【識別番号】100220423

【弁理士】

【氏名又は名称】榊間 城作

(72)【発明者】

【氏名】田中 直基

(72)【発明者】

【氏名】村上 晋太郎

(72)【発明者】

【氏名】九鬼 慧太

(72)【発明者】

【氏名】藍 耕平

【テーマコード（参考）】

5B087

5D478

5E555

【Ｆターム（参考）】

5B087AA09

5B087CC33

5B087DD03

5D478CC22

5D478CC36

5D478HH02

5D478KK03

5D478KK12

5E555AA02

5E555AA03

5E555AA04

5E555AA64

5E555BA02

5E555BA16

5E555BB01

5E555BB16

5E555BC17

5E555CA17

5E555CA41

5E555CB65

5E555CC03

5E555DA01

5E555DA21

5E555DB03

5E555DB06

5E555DB18

5E555DC13

5E555DC25

5E555DC43

5E555DC57

5E555DC85

5E555DD02

5E555EA07

5E555EA25

5E555FA00

(57)【要約】      （修正有）

【課題】身体の動きが制限されたユーザが楽音発生装置を容易に制御するコントローラ、楽音発生システム、方法、プログラム及び記憶媒体を提供する。
【解決手段】楽音発生システム１において、楽音発生装置を制御するコントローラは、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、取得部により取得した視線情報に基づいて、操作子を選択するためのポインタを表示部に表示する表示制御部と、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置に送信する通信部と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

楽音発生装置を制御するコントローラであって、
ユーザの視線情報を取得する取得部と、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、
を有することを特徴とするコントローラ。

【請求項2】

前記表示制御部は、前記表示部に３次元空間の映像を表示し、前記３次元空間で移動するように前記複数の操作子を前記表示部に表示することを特徴とする請求項１に記載のコントローラ。

【請求項3】

前記表示制御部は、前記３次元空間の奥から手前に移動するように、前記複数の操作子のうちの少なくとも一つの操作子を前記表示部に表示することを特徴とする請求項２に記載のコントローラ。

【請求項4】

前記表示制御部は、前記ポインタの近傍に前記楽音発生装置により演奏される楽曲の１小節に対応する所定時間の経過を示すインジケータを表示することを特徴とする請求項１に記載のコントローラ。

【請求項5】

前記インジケータは、前記所定時間の経過に合わせて動的に変化する円形のメーターグラフを含むことを特徴とする請求項４に記載のコントローラ。

【請求項6】

前記インジケータは、前記所定時間をカウントダウン又はカウントアップするタイマを含むことを特徴とする請求項４に記載のコントローラ。

【請求項7】

前記タイマは、前記所定時間を１拍ずつカウントダウン又はカウントアップすることを特徴とする請求項６に記載のコントローラ。

【請求項8】

前記決定部は、前記所定時間の経過時に、前記ポインタの少なくとも一部と重なる操作子の選択を決定することを特徴とする請求項４から７のいずれかに記載のコントローラ。

【請求項9】

前記決定部は、前記ポインタの基準位置と重なる操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。

【請求項10】

前記基準位置は、前記ポインタの略中心であることを特徴とする請求項９に記載のコントローラ。

【請求項11】

前記決定部は、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定することを特徴とする請求項１に記載のコントローラ。

【請求項12】

楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、
ユーザの視線情報を取得する取得部と、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、
前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、
を有することを特徴とする楽音発生システム。

【請求項13】

楽音発生装置を制御する方法であって、
ユーザの視線情報を取得するステップと、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、
を有することを特徴とする方法。

【請求項14】

コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、
楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、
前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、
前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、
を有することを特徴とするプログラム。

【請求項15】

請求項１４に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コントローラ、楽音発生システム、方法、プログラム及び記憶媒体に関する。

【背景技術】

【0002】

従来、楽音発生装置から発生される楽音を制御するための演奏制御情報を操作者の身体状況に応じて生成する演奏インターフェイスが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１－１９５０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来、ＡＬＳ患者等の身体の動きが制限されたユーザが使用することについては、何ら提案されていない。

【0005】

本発明が解決しようとする課題は、身体の動きが制限されたユーザが楽音発生装置を容易に制御可能にすることである。

【課題を解決するための手段】

【0006】

第１態様に係るコントローラは、楽音発生装置を制御するコントローラであって、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を有する。

【0007】

この構成によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。

【0008】

第２態様に係るコントローラは、上記第１態様に係るコントローラにおいて、前記表示制御部が、前記表示部に３次元空間の映像を表示し、前記３次元空間で移動するように前記複数の操作子を前記表示部に表示する。

【0009】

この構成によれば、３次元空間で移動する操作子の動きに合わせてユーザが楽音発生装置を制御することができる。

【0010】

第３態様に係るコントローラは、上記第２態様に係るコントローラにおいて、前記表示制御部が、前記３次元空間の奥から手前に移動するように、前記複数の操作子のうちの少なくとも一つの操作子を前記表示部に表示する。

【0011】

この構成によれば、３次元空間の奥から手前に移動する操作子の動きに合わせて没入感を得ながらユーザが楽音発生装置を制御することができる。

【0012】

第４態様に係るコントローラは、上記第１から第３態様に係るコントローラにおいて、前記表示制御部が、前記ポインタの近傍に前記楽音発生装置により演奏される楽曲の１小節に対応する所定時間の経過を示すインジケータを表示する。

【0013】

この構成によれば、インジケータが示す所定時間の経過にタイミングを合わせてユーザが楽音発生装置を制御することができる。

【0014】

第５態様に係るコントローラは、第４態様に係るコントローラにおいて、前記インジケータが、前記所定時間の経過に合わせて動的に変化する円形のメーターグラフを含む。

【0015】

この構成によれば、ユーザが所定時間の経過を視覚的に容易に認識することができる。

【0016】

第６態様に係るコントローラは、上記第４又は第５態様に係るコントローラにおいて、前記インジケータが、前記所定時間をカウントダウン又はカウントアップするタイマを含む。

【0017】

この構成によれば、所定時間の経過に容易にタイミングを合わせてユーザが楽音発生装置を制御することができる。

【0018】

第７態様に係るコントローラは、上記第６態様に係るコントローラにおいて、前記タイマが、前記所定時間を１拍ずつカウントダウン又はカウントアップする。

【0019】

この構成によれば、楽曲のリズムに合わせてユーザが楽音発生装置を制御することができる。

【0020】

第８態様に係るコントローラは、上記第４から第７態様に係るコントローラにおいて、前記決定部が、前記所定時間の経過時に、前記ポインタの少なくとも一部と重なる操作子の選択を決定する。

【0021】

この構成によれば、所定時間の経過時に自動的に操作子の選択が決定されるため、楽曲のリズムに合わせた楽音発生装置の制御が容易となる。

【0022】

第９態様に係るコントローラは、上記第１から第８態様のいずれかに係るコントローラにおいて、前記決定部が、前記ポインタの基準位置と重なる操作子の選択を決定する。

【0023】

この構成によれば、操作子の選択をより正確に行うことができる。

【0024】

第１０態様に係るコントローラは、上記第９態様に係るコントローラにおいて、前記基準位置が、前記ポインタの略中心である。

【0025】

この構成によれば、より容易に操作子を選択することができる。

【0026】

第１１態様に係るコントローラは、上記第１から第１０態様のいずれかに係るコントローラにおいて、前記決定部が、前記ユーザの視線情報以外のユーザ操作なしで、前記操作子の選択を決定する。

【0027】

この構成によれば、ユーザの視線情報（視線入力）のみで操作子を選択できるため、身体の自由が制限されたユーザであっても容易に楽音発生装置を制御することができる。

【0028】

第１２態様に係る楽音発生システムは、楽音発生装置と該装置を制御するコントローラとを備えた楽音発生システムであって、ユーザの視線情報を取得する取得部と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記取得部により取得した前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示する表示制御部と、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定する決定部と、前記決定部が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信する通信部と、を有する。

【0029】

第１３態様に係る方法は、楽音発生装置を制御する方法であって、ユーザの視線情報を取得するステップと、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、前記視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有することを特徴とする方法。

【0030】

この構成によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。

【0031】

第１４態様に係るプログラムは、コンピュータに、楽音発生装置を制御する方法を実行させるためのプログラムであって、前記方法は、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部に動的に表示するとともに、ユーザの視線情報に基づいて、前記操作子を選択するためのポインタを前記表示部に表示するステップと、前記複数の操作子のうち前記ポインタの少なくとも一部と重なる操作子の選択を決定するステップと、前記決定した操作子に対応するＭＩＤＩ規格に準拠した情報を前記楽音発生装置に送信するステップと、を有することを特徴とするプログラム。

【0032】

第１５態様に係る記憶媒体は、上記第１４態様に係るプログラムを記憶したコンピュータで読み取り可能な記憶媒体である。

【発明の効果】

【0033】

本発明によれば、身体の動きが制限されたユーザが楽音発生装置を容易に制御することができる。

【図面の簡単な説明】

【0034】

【図1】本実施形態に係る楽音発生システム１のシステム構成の一例を示す図である。

【図2】本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。

【図3】本実施形態に係る楽音発生システム１の機能構成の一例を示すブロック図である。

【図4】本実施形態に係る楽音発生システム１の動作の一例を示すフローチャートである。

【図5A】本実施形態に係るコントローラ２の動的に変化するユーザインタフェースの表示例を示す図である。

【図5B】本実施形態に係るコントローラ２の動的に変化するユーザインタフェースの表示例を示す図であって図５Ａの後に変化した表示例を示す図である。

【図5C】本実施形態に係るコントローラ２の動的に変化するユーザインタフェースの表示例を示す図であって図５Ｂの後に変化した表示例を示す図である。

【図5D】本実施形態に係るコントローラ２の動的に変化するユーザインタフェースの表示例を示す図であって図５Ｃの後に変化した表示例を示す図である。

【図6】本実施形態に係るコントローラ２のユーザインタフェースに表示される複数の操作子の一例を示す図である。

【図7】図５Ａに示すユーザインタフェースのポインタの拡大図である。

【発明を実施するための形態】

【0035】

以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。

【0036】

（楽音発生システムの構成）
図１は、一実施の形態に係る楽音発生システム１の概略的な構成を示す図である。図１に示すように、本実施形態に係る楽音発生システム１は、コントローラ２と楽音発生装置３とを備えている。コントローラ２と楽音発生装置３とは後述の通信インタフェース（Ｉ／Ｆ）により通信可能に接続されている。

【0037】

コントローラ２は、楽音発生装置３をＭＩＤＩ規格に準拠した通信プロトコルに基づいて制御するための装置である。そして、コントローラ２は、ＡＬＳ患者等の身体の動きに制限のあるユーザが視線入力により各種情報をコントローラ２に入力するためのアイトラッキング装置２１と、ユーザが手動操作を行う入力装置２２に接続される（コントローラ２がアイトラッキング装置２１と入力装置２２とを備えていてもよい）。

【0038】

アイトラッキング装置２１は、ユーザの眼の動き（視線方向）を追跡し、視線情報をコントローラ２に出力する。視線情報は、例えば、ユーザの眼球像を逐次撮像した画像から瞳孔等の特徴的なパターンを抽出することにより生成することができる。本実施形態は、ＡＬＳ患者が視線を動かすことができることに着目し、視線情報を用いて楽音発生装置３を制御するものである。

【0039】

入力装置２２は、手動スイッチ、フットスイッチ等のユーザが操作可能な入力装置である。ユーザが入力装置２２を用いて操作を行うと、その操作に応じた信号が入力装置２２からコントローラ２に出力される。入力装置２２は、ＡＬＳ患者等の身体の動きが制限されたユーザが簡単に入力操作を行えるものであるのが望ましく、例えば入力操作はユーザの体によってスイッチを押下することである。

【0040】

楽音発生装置３は、コントローラ２から受信したＭＩＤＩ規格に準拠した信号に基づいて楽音を発生させるための装置である。例えば、ＤＡＷ（Digital Audio Workstation）と称される統合音楽ソフトウェアをパーソナルコンピュータにインストールして実行することにより当該パーソナルコンピュータを楽音発生装置として用いることができる。また、楽音発生装置３は、音響信号に基づいて放音するためのサウンドシステム３１を備えている。

【0041】

（ハードウェア構成）
次に、本実施形態に係る楽音発生システム１のハードウェア構成について説明する。図２は、本実施形態に係る楽音発生システム１のハードウェア構成の一例を示すブロック図である。

【0042】

コントローラ２において、ＣＰＵ２３は、このコントローラ２全体の動作を制御する処理装置である。ＲＯＭ２４は、ＣＰＵ２３が実行する制御プログラムや各種のデータを格納する不揮発性メモリである。ＲＡＭ２５は、ＣＰＵ２３が実行するプログラムのロード領域やワーク領域に使用する揮発性メモリである。ディスプレイ２６は、各種の情報（ユーザインタフェース）を表示する表示装置である。記憶装置２７は、各種の情報を記憶するための記憶手段であり、コントローラ２本体に内蔵されているものでも、記憶媒体が着脱可能なものでもよい。通信インタフェース（Ｉ／Ｆ）２８は、楽音発生装置３と接続するためのインタフェースである。バス２９は、上記各構成要素を相互に接続するバスラインである。

【0043】

楽音発生装置３は、本実施形態ではＰＣにＤＡＷソフトウェアをインストールしたものである。該ＤＡＷソフトウェアを実行することにより、音楽制作の各種の機能（例えば、ハードディスクレコーディング機能、ＭＩＤＩデータやオーディオデータの作成編集機能、ミキシング機能、シーケンサ機能など）を実現することができる。なお、本実施形態では楽音発生装置３をＰＣとＤＡＷソフトウェアで構成した例で説明するが、単体のシーケンサ装置などでもよい。

【0044】

楽音発生装置３において、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、記憶装置３６、マウス・キーボード等の入力装置３７及びディスプレイ３８は、汎用のＰＣが備える基本構成である。通信Ｉ／Ｆ３５は、コントローラ２と接続するためのインタフェースである。なお、通信Ｉ／Ｆ２８と３５は、例えば、ＭＩＤＩなどの音楽専用有線Ｉ／Ｆ、ＵＳＢやＩＥＥＥ１３９４等の汎用有線Ｉ／Ｆや無線ＬＡＮやBluetooth(登録商標)等の汎用無線Ｉ／Ｆである。サウンドシステム３１は、デジタルアナログ（Ｄ／Ａ）変換機能などを備えるサウンドＩ／Ｏであるコーデックから渡されるアナログ音響信号を放音する。このサウンドシステム３１は、楽音発生装置３を構成するＰＣが備えるスロットにボードやカードを挿入する形式で付加された機能である。バス３９は、上記各構成要素を相互に接続するバスラインである。

【0045】

（機能構成）
次に、本実施形態に係る楽音発生システム１の機能構成について説明する。図３は、本実施形態に係る楽音発生システム１の機能構成の一例を示す図である。

【0046】

図３に示すように、コントローラ２は、制御部２００と、表示部２１０と、記憶部２１１と、通信部２１２とを有している。

【0047】

制御部２００は、取得部２０１と、受付部２０２と、決定部２０４と、表示制御部２０３とを有している。

【0048】

取得部２０１は、コントローラ２のユーザの視線情報を取得する。具体的には、取得部２０１はアイトラッキング装置２１から出力されるユーザの視線方向に関する情報（視線情報）を取得する。

【0049】

受付部２０２は、入力装置２２（手動スイッチ、フットスイッチ等）を用いたユーザによる入力操作を受け付ける。

【0050】

表示制御部２０３は、楽音発生装置３の制御コマンドに関連付けられた複数の操作子（アイコン）を各種の情報とともに表示部２１０（図２のディスプレイ２６に相当）に動的に表示する。また、表示制御部２０３は、取得部２０１により取得したユーザの視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する。

【0051】

図５Ａ～図５Ｄは、表示制御部２０３によって表示部２１０に動的に表示されるユーザインタフェース５０の一例を示す図である。表示制御部２０３は、時間経過とともに図５Ａ、図５Ｂ、図５Ｃ、図５Ｄの順にユーザインタフェース５０の表示を変化させる。

【0052】

図５Ａ～図５Ｄに示すように、表示制御部２０３は、ユーザインタフェース５０として、３次元空間５１の映像を表示部２１０に表示する。そして、表示制御部２０３は、この３次元空間５１の奥から手前に向かって移動するように複数の操作子６０を表示する。複数の操作子６０は、３次元空間の最も手前まで移動すると消失するが、これと並行して新たな複数の操作子６０が画面上に生成されて画面奥から手前に移動するように表示される。このようにユーザインタフェース５０を表示することで、ユーザには複数の操作子６０が表示部２１０の画面奥からユーザに向かって近づいてくる、あるいは、ユーザが３次元空間５１を奥行方向に進んでいるかのような感覚が生じる。これにより、ユーザは没入感をもってコントローラ２を操作することができる。

【0053】

図６は、ユーザインタフェース５０に表示される複数の操作子６０の一例を示す図である。図６に示すように、複数の操作子６０は、操作子６１～６９の９個の矩形の操作子を含む。これらの各操作子６１～６９は、楽音発生装置３（ＤＡＷ）の各制御コマンドに関連付けられており、各操作子６１～６９をユーザが操作（選択）することにより楽音発生装置３が各制御コマンドに応じた処理を行う。

【0054】

図５Ａ～図５Ｄに戻って、ユーザインタフェース５０は、上記の各操作子を操作／選択するためのポインタＰを含む。ポインタＰは、取得部２０１が取得した視線情報に基づいて表示部２１０に表示される。具体的には、視線情報から表示部２１０の画面上における注視点の位置を求め、当該位置にポインタＰが表示される。

【0055】

図７は、図５Ａ～図５Ｄに示すユーザインタフェース５０に表示されるポインタＰの拡大図である。図７に示すように、ポインタＰは、水平方向の基準線Ｐｘと垂直方向の基準線Ｐｙとを含み、基準線Ｐｘと基準線Ｐｙとの交点が基準位置となる。この基準位置は、視線情報から得られるユーザの注視点の位置に配置される。また、ポインタＰは、矩形領域Ｐ１と、この矩形領域内に表示されるインジケータＰ２とを含む。矩形領域Ｐ１は、後述の決定部２０４によって操作子との重畳判定がされる領域である。インジケータＰ２は、楽音発生装置３によって演奏される楽曲の１小節に対応する所定時間の経過を示す指標である。このインジケータＰ２は、所定時間の経過に合わせて動的に変化する円形のメーターグラフＰ２１と、所定時間をカウントダウンするタイマＰ２２とを含む。タイマＰ２２は、例えば、４分の４拍子の楽曲の場合、１小節が４拍で構成されるため、４、３、２、１の順に１拍ずつカウントダウンする。なお、カウントダウンではなく、タイマＰ２２がカウントアップするようにしてもよいし、カウントダウン又はカウントアップは１拍ずつでなくてもよい。例えば、タイマＰ２２が、１秒ずつカウントダウン又はカウントアップするようにしてもよい。このように、ポインタＰが、楽音発生装置３によって演奏される楽曲の１小節に対応する所定時間の経過を示すインジケータＰ２を有することにより、コントローラ２のユーザは、楽曲のリズムに合わせて容易に楽音発生装置３を制御することができる。

【0056】

図３に戻って、決定部２０４は、前記タイマのカウントが満了するタイミング（所定時間の経過時）に上記複数の操作子のうちポインタＰの矩形領域Ｐ１の少なくとも一部と重なる操作子の選択を決定する。これにより、アイトラッキング装置２１を用いた視線入力のみで楽曲のリズムに合わせて操作子の選択を決定することができる。また、決定部２０４は、ポインタＰの基準位置と重なる操作子の選択を決定するようにしてもよい。これにより、操作子が隣接して配置されている場合に、操作子の誤操作（誤選択）を低減させることができる。このような選択法は、視線情報のみで操作子を選択できるため、視線を動かすこと以外の動作が困難なユーザにも有用である。

【0057】

また、決定部２０４は、受付部２０２が受け付けたユーザによる入力装置２２を用いた入力操作に応じて操作子の選択を決定してもよい。すなわち、ユーザは、アイトラッキング装置２１を用いた視線入力で操作子を選択し、入力装置２２（手動スイッチ、フットスイッチ等）を用いて操作子の選択を決定することができる。このようにすることで、楽音発生装置３により演奏される楽曲のリズムを体感しながらコントローラ２を操作することができる。このような選択法は、視線を動かすことに加え、手や足など体の一部で入力装置２２の操作を可能なユーザに有用である。

【0058】

記憶部２１１は、各操作子に関連付けた楽音発生装置３（ＤＡＷ）の各制御コマンドに関する情報を記憶する。

【0059】

通信部２１２は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報（制御コマンド情報、ＭＩＤＩイベント情報）を楽音発生装置３に送信する。

【0060】

次に、楽音発生装置３の機能構成について説明する。図３に示すように、楽音発生装置３は、オーディオ入力部３０１と、シーケンサ３０２と、レコーダ３０３と、音源３０４と、ミキサ３０５と、サウンドシステム３０６と、通信部３０７とを有する。

【0061】

オーディオ入力部３０１は、デジタルに変換したアナログ音響信号の入力や、デジタル音響信号そのものの入力を行う。

【0062】

シーケンサ３０２は、通信部３０７が受信したＭＩＤＩイベント情報を記録する。このＭＩＤＩイベント情報は、後述の音源３０４に供給される。

【0063】

音源３０４はソフトウェア音源である。音源３０４は、入力したＭＩＤＩイベント情報に応じてオーディオ信号を生成する。音源３０４から出力されたオーディオ信号は、レコーダ３０３やミキサ３０５に入力する。

【0064】

レコーダ３０３は、オーディオ入力部３０１により入力されたオーディオ信号や音源３０４から出力されたオーディオ信号を記録する。レコーダ３０３に記録されたオーディオ信号は、再生の指示に応じてミキサ３０５に出力される。

【0065】

ミキサ３０５は、音源３０４やレコーダ３０３から出力されるオーディオ信号をサウンドシステム３０６へと供給する。

【0066】

（動作の一例）
次に、楽音発生システム１の動作の一例について説明する。図４は、楽音発生システム１の動作の一例を示すフローチャートである。

【0067】

まず、コントローラ２において制御部２００の取得部２０１は、アイトラッキング装置２１から出力されるユーザの視線情報を取得する（ステップＳ１）。視線情報の取得は任意のタイミングで行われてよく、例えばリアルタイムに常時行われる。

【0068】

次に、制御部２００の表示制御部２０３は、楽音発生装置３（ＤＡＷ）の制御コマンドに関連付けられた複数の操作子を表示部２１０に動的に表示する（ステップＳ２）。

【0069】

また、制御部２００の表示制御部２０３は、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタを表示部２１０に表示する（ステップＳ３）。

【0070】

次に、制御部２００の決定部２０４は、複数の操作子のうちポインタの少なくとも一部と重なる操作子の選択を決定する（ステップＳ４）。

【0071】

続いて、通信部３０７は、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する（ステップＳ５）。

【0072】

そして、楽音発生装置３において、コントローラ２から受信したＭＩＤＩ規格に準拠した情報に基づいて各種処理（制御コマンドの実行、ＭＩＤＩイベントの記録等）が行われる（ステップＳ６）。

【0073】

以上説明したとおり、本実施形態によれば楽音発生システム１が、ユーザの視線情報を取得する取得部２０１と、楽音発生装置の制御コマンドに関連付けられた複数の操作子を表示部２１０に動的に表示するとともに、取得部２０１により取得した視線情報に基づいて、操作子を操作するためのポインタＰを表示部２１０に表示する表示制御部２０３と、複数の操作子のうちポインタＰの少なくとも一部と重なる操作子の選択を決定する決定部２０４と、決定部２０４が選択を決定した操作子に対応するＭＩＤＩ規格に準拠した情報を楽音発生装置３に送信する通信部２１２と、を有するので、身体の動きが制限されたユーザが楽音発生装置３を容易に制御することができる。
本明細書で述べた各機能部の任意の一部または全部をプログラムによって実現するようにしてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。

【0074】

上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

【0075】

例えば、本明細書において１台の装置（あるいは部材、以下同じ）として説明されるもの（図面において１台の装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置（例えばサーバ）に含まれるとした手段や機能の一部または全部が、他の装置（例えばユーザ端末）に含まれるようにしてもよい。

【0076】

また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。

【0077】

なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているにすぎず、本発明は必ずしも同文献公知発明における課題を解決することを目的とするものではないことにも留意されたい。本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。

【符号の説明】

【0078】

１ 楽音発生システム
２ コントローラ
２１ アイトラッキング装置
２２ 入力装置
２０１ 取得部
２０２ 受付部
２０３ 表示制御部
２０４ 決定部
２１０ 表示部
２１１ 記憶部
２１２ 通信部
３ 楽音発生装置

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】