特許 7565062 楽音入力装置、操作子の配置方法、楽譜の作成方法、楽譜、楽譜教示装置、入力装置、楽音入力方法、楽譜教示方法、及び入力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-02

(45)【発行日】2024-10-10

(54)【発明の名称】楽音入力装置、操作子の配置方法、楽譜の作成方法、楽譜、楽譜教示装置、入力装置、楽音入力方法、楽譜教示方法、及び入力方法

(51)【国際特許分類】

   G10H 1/34 20060101AFI20241003BHJP

   G10H 1/18 20060101ALI20241003BHJP

   G10G 1/02 20060101ALI20241003BHJP

   G10H 1/00 20060101ALI20241003BHJP

   G06F 3/02 20060101ALI20241003BHJP

   G06F 3/023 20060101ALI20241003BHJP

   G09B 15/00 20060101ALN20241003BHJP

【ＦＩ】

G10H1/34

G10H1/18 101

G10G1/02

G10H1/00 102Z

G10H1/00 Z

G06F3/02 460

G06F3/023 440

G09B15/00 C

【請求項の数】 15

(21)【出願番号】P 2020133490

(22)【出願日】2020-08-06

(65)【公開番号】P2021060572

(43)【公開日】2021-04-15

【審査請求日】2023-06-12

(31)【優先権主張番号】P 2019183557

(32)【優先日】2019-10-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100115255

【弁理士】

【氏名又は名称】辻丸 光一郎

(74)【代理人】

【識別番号】100154081

【弁理士】

【氏名又は名称】伊佐治 創

(74)【代理人】

【識別番号】100194515

【弁理士】

【氏名又は名称】南野 研人

(72)【発明者】

【氏名】三田 真志郎

(72)【発明者】

【氏名】佐藤 那由多

【審査官】土井 悠生

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０２０７８９０（ＵＳ，Ａ１）

【文献】特開２００３－１１４６７４（ＪＰ，Ａ）

【文献】特開２０００－１１６９３８（ＪＰ，Ａ）

【文献】特開２００１－０６６９８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１５７７６１（ＵＳ，Ａ１）

【文献】特開２０１１－２１５８５６（ＪＰ，Ａ）

【文献】実開昭６１－１９６２９７（ＪＰ，Ｕ）

【文献】特開昭５２－１１７１１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００－７／１２

Ｇ１０Ｇ １／０２

Ｇ０６Ｆ ３／０２

Ｇ０６Ｆ ３／０２３

Ｇ０９Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

操作子群と本体とを含み、
前記操作子群は、本体の上面に配置された５つの操作子を１単位とし、
前記各操作子は、少なくとも３段階の操作が可能であり、
前記本体は、基準音設定部、割り当て部、段階検出部、及び入力部を含み、
前記基準音設定部は、前記単位毎に異なる音高の５つの基準音を設定し、
前記割り当て部は、前記各操作子に対し、前記基準音のうちいずれか１つを重複しないように割り当て、且つ前記段階毎に対し、前記基準音に基づいた音を割り当て、
前記基準音と前記基準音に基づいた音とは、音高が異なり、
前記基準音が単音である場合に、前記基準音と、前記基準音と比較して短２度の差がある音とを前記段階毎に割り当て、
前記基準音が和音である場合に、隣接する操作子同士の少なくとも１組において、前記和音の根音の音高差が、完全４度となるように前記各操作子に前記基準音を割り当て、
前記段階検出部は、操作された前記操作子の段階を検出し、
前記入力部は、前記操作された操作子及び前記検出された段階に対応する、前記基準音及び前記基準音に基づいた音の少なくとも一方を入力する、楽音入力装置。

【請求項2】

前記操作子群は、前記５つの操作子に代えて、本体の上面に配置された６つの操作子を１単位とし、
前記各操作子は、少なくとも３段階の操作が可能であり、
前記６つの操作子は、前記本体の上面にユーザの左手を置いた場合にユーザの左手の第１指が当接する１つの操作子と、前記本体の上面にユーザの右手を置いた場合にユーザの右手の第１指が当接する１つの操作子と、ユーザの左手又は右手のいずれか一方の第２指～第５指が当接する４つの操作子からなり、
前記本体は、さらに、左右切替部を含み、
前記左右切替部は、左手演奏用又は右手演奏用に切替え、
前記割り当て部は、前記切替に基づき、５つの操作子に、前記基準音及び前記基準音に基づいた音を割り当て、
前記左手演奏用の場合、前記右手の第１指が当接する操作子には、前記基準音及び前記基準音に基づいた音を割り当てず、
前記右手演奏用の場合、前記左手の第１指が当接する操作子には、前記基準音及び前記基準音に基づいた音を割り当てない、請求項１記載の楽音入力装置。

【請求項3】

さらに、スライドスイッチ機構、及び裏板を含み、
前記スライドスイッチ機構は、前記裏板上に固定配置され、且つ前記本体の下面と前記裏板とをつなぎ、
前記本体は、前記スライドスイッチ機構により、少なくとも２つのシフト状態にシフト可能であり、
前記シフト状態は、アップシフト状態又はダウンシフト状態であり、
前記割り当て部は、さらに、一方のシフト状態に対し、前記基準音及び前記基準音に基づいた音を割り当て、且つ他方のシフト状態に対し、前記一方のシフト状態に割り当てた音と異なる音を割り当て、
前記段階検出部は、操作された前記操作子の段階及び前記シフト状態を検出し、
前記入力部は、前記操作された操作子と前記検出された段階及びシフト状態とに対応する音を入力する、請求項１または２に記載の楽音入力装置。

【請求項4】

前記スライドスイッチ機構に加えて又は代えて、少なくとも１つのシフト状態設定機構を含み、
前記シフト状態設定機構は、前記本体をアップシフト状態又はダウンシフト状態のいずれか一方のシフト状態に設定する機構であり、
前記シフト状態設定機構が作動している間、前記シフト状態設定機構は、前記本体をアップシフト状態又はダウンシフト状態のいずれか一方のシフト状態に設定する、請求項３記載の楽音入力装置。

【請求項5】

さらに、前記シフト状態は、ニュートラルシフト状態を含み、
前記割り当て部は、前記基準音が和音である場合に、前記ニュートラルシフト状態に対し、１単位目の前記基準音及び前記基準音に基づいた音を割り当て、前記アップシフト状態及び前記ダウンシフト状態の少なくとも一つに対し、２単位目の前記基準音及び前記基準音に基づいた音を割り当てる、請求項３又は４記載の楽音入力装置。

【請求項6】

第１操作子、第２操作子、第３操作子、第４操作子、及び第５操作子からなる５つの操作子を１単位とし、
前記操作子は、少なくとも３段階の操作が可能な装置における操作子の配置方法であって、
前記操作子の各段階に単音を割り当てる場合に、
前記第１操作子における各段階と、前記第２操作子における各段階との音高差を差Aとし、且つ前記第１操作子及び前記第２操作子は、隣接し、
前記第２操作子における各段階と、前記第３操作子における各段階との音高差を差Bとし、且つ前記第２操作子及び前記第３操作子は、隣接し、
前記第３操作子における各段階と、前記第４操作子における各段階との音高差を差Cとし、且つ前記第３操作子及び前記第４操作子は、隣接し、
前記第４操作子における各段階と、前記第５操作子における各段階との音高差を差Dとし、且つ前記第４操作子及び前記第５操作子は、隣接して本体の上面に配置し、
前記音高差の割り当てパターンは、
差Aが長２度、差Bが長２度、差Cが短３度、及び差Dが長２度となるパターンと、
差Aが長２度、差Bが短３度、差Cが長２度、及び差Dが短３度となるパターンと、
差Aが短３度、差Bが長２度、差Cが短３度、及び差Dが長２度となるパターンと、
差Aが長２度、差Bが短３度、差Cが長２度、及び差Dが長２度となるパターンと、又は差Aが短３度、差Bが長２度、差Cが長２度、及び差Dが短３度となるパターンと、
のいずれか１つの割り当てパターンであり、
前記操作子の各段階に和音を割り当てる場合に、
基準となる段階に割り当てる前記和音の根音同士の音高差が、完全４度である操作子同士の少なくとも１組を隣接して配置し、
前記各操作子は、本体の上面に配置する、操作子の配置方法。

【請求項7】

前記操作子の各段階に単音を割り当てる場合に、
各前記操作子において基準となる基準段階に割り当てる音高と前記基準段階に隣接する段階に割り当てる音高の差が短２度であり、
各前記操作子において前記基準段階に隣接する段階に割り当てる音高は異なる、請求項６記載の配置方法。

【請求項8】

音情報取得部、表示領域分割部、操作子指示オブジェクト表示処理部、記憶部、タイミング線表示処理部、及び移動表示処理部を含み、
前記音情報取得部は、少なくとも３段階の操作が可能な操作子を含む楽音入力装置から、各操作子及び前記各操作子の段階毎に割り当てられている音を示す音情報を取得し、
前記楽音入力装置は、操作子群と本体とを含み、
前記操作子群は、本体の上面に配置された５つの操作子を１単位とし、
前記本体は、基準音設定部、及び割り当て部を含み、
前記基準音設定部は、前記単位毎に異なる音高の５つの基準音を設定し、
前記割り当て部は、前記基準音が単音である場合に、前記基準音と、前記基準音と比較して短２度の差がある音とを前記段階毎に割り当て、
前記基準音が和音である場合に、隣接する操作子同士の少なくとも１組において、前記和音の根音の音高差が、完全４度となるように前記各操作子に前記基準音を割り当て、
前記表示領域分割部は、前記操作子毎に表示領域を縦又は横のいずれか一方の方向に分割し、
前記操作子指示オブジェクト表示処理部は、前記記憶部に記憶している楽譜データのリズム情報に沿って、前記楽譜データの音情報と同一の音情報が割り振られている前記操作子の前記表示領域内に、前記同一の音情報を操作子指示オブジェクトとして表示する処理を実行し、
前記操作子指示オブジェクト表示処理部は、さらに、長短調節部、及び段階情報付加部を含み、
前記長短調節部は、前記音情報における音毎の長短に基づき、表示する前記操作子指示オブジェクトの長短を調節し、
前記段階情報付加部は、前記同一の音情報が割り振られている前記操作子の段階を示す段階情報を前記操作子指示オブジェクトに付加し、
前記タイミング線表示処理部は、前記表示領域にタイミング線を表示し、
前記タイミング線は、前記操作子を操作するタイミングを示す線であり、
前記移動表示処理部は、前記表示領域に表示された前記操作子指示オブジェクトを前記タイミング線に向かって流れるように移動させる、楽譜教示装置。

【請求項9】

音情報取得部、撮像部、位置認識部、表示領域設定部、操作子指示オブジェクト表示処理部、記憶部、及び移動表示処理部を含み、
前記音情報取得部は、少なくとも３段階の操作が可能な操作子を含む楽音入力装置から、各操作子及び前記各操作子の段階毎に割り当てられている音を示す音情報を取得し、
前記撮像部は、前記楽音入力装置の本体の上面に配置されている拡張現実用位置マーカを撮像し、
前記位置認識部は、前記拡張現実用位置マーカに基づき、前記楽音入力装置の位置情報を認識し、
前記表示領域設定部は、前記各操作子を始点とした直線上の一定の現実空間を仮想画像表示領域と設定し、
前記操作子指示オブジェクト表示処理部は、前記記憶部に記憶している楽譜データのリズム情報に沿って、前記楽譜データの音情報と同一の音情報が割り振られている前記操作子の前記仮想画像表示領域内に、前記同一の音情報を操作子指示オブジェクトとして重畳して表示する処理を実行し、
前記操作子指示オブジェクトは、仮想画像であり、
前記操作子指示オブジェクト表示処理部は、さらに、長短調節部、及び段階情報付加部を含み、
前記長短調節部は、前記音情報における音毎の長短に基づき、表示する前記操作子指示オブジェクトの長短を調節し、
前記段階情報付加部は、前記同一の音情報が割り振られている前記操作子の段階を示す段階情報を前記操作子指示オブジェクトに付加し、
前記移動表示処理部は、前記仮想画像表示領域に表示された前記操作子指示オブジェクトを前記始点に向かって流れるように移動させる、頭部に装着可能な楽譜教示装置。

【請求項10】

前記操作子指示オブジェクト表示処理部は、さらに、シフト情報付加部を含み、
前記シフト情報付加部は、前記操作子のシフト状態を示すシフト情報を前記操作子指示オブジェクト及び前記表示領域の少なくとも一方に付加する、請求項８又は９記載の楽譜教示装置。

【請求項11】

基準音設定工程、割り当て工程、段階検出工程、及び入力工程を含み、
前記基準音設定工程は、５つの操作子を１単位とした操作子群に対し、前記単位毎に異なる音高の５つの基準音を設定し、
前記割り当て工程は、少なくとも３段階の操作が可能な前記各操作子に、それぞれ異なる基準音を割り当て、且つ前記段階毎に、前記基準音に基づいた音を割り当て、
前記基準音と前記基準音に基づいた音とは、音高が異なり、
前記基準音が単音である場合に、前記基準音と、前記基準音と比較して短２度の差がある音とを前記段階毎に割り当て、
前記基準音が和音である場合に、隣接する操作子同士の少なくとも１組において、前記和音の根音の音高差が、完全４度となるように前記各操作子に前記基準音を割り当て、
前記段階検出工程は、操作された前記操作子の段階を検出し、
前記入力工程は、前記検出された段階に対応する前記音を入力する、楽音入力方法。

【請求項12】

音情報取得工程、表示領域分割工程、操作子指示オブジェクト表示処理工程、タイミング線表示処理工程、及び移動表示処理工程を含み、
前記音情報取得工程は、少なくとも３段階の操作が可能な操作子を含む楽音入力装置から、各操作子及び前記各操作子の段階毎に割り当てられている音を示す音情報を取得し、
前記楽音入力装置は、操作子群と本体とを含み、
前記操作子群は、本体の上面に配置された５つの操作子を１単位とし、
前記本体は、基準音設定部、及び割り当て部を含み、
前記基準音設定部は、前記単位毎に異なる音高の５つの基準音を設定し、
前記割り当て部は、前記基準音が単音である場合に、前記基準音と、前記基準音と比較して短２度の差がある音とを前記段階毎に割り当て、
前記基準音が和音である場合に、隣接する操作子同士の少なくとも１組において、前記和音の根音の音高差が、完全４度となるように前記各操作子に前記基準音を割り当て、
前記表示領域分割工程は、前記操作子毎に表示領域をディスプレイに対し、縦又は横のいずれか一方の方向分割し、
前記操作子指示オブジェクト表示処理工程は、記憶部に記憶している楽譜データのリズム情報に沿って、前記楽譜データの音情報と同一の音情報が割り振られている前記操作子の前記表示領域内に、前記同一の音情報を操作子指示オブジェクトとして表示する処理を実行し、
前記操作子指示オブジェクト表示処理工程は、さらに、長短調節工程、及び段階情報付加工程を含み、
前記長短調節工程は、前記音情報における音毎の長短に基づき、表示する前記操作子指示オブジェクトの長短を調節し、
前記段階情報付加工程は、前記同一の音情報が割り振られている前記操作子の段階を示す段階情報を前記操作子指示オブジェクトに付加し、
前記タイミング線表示処理工程は、前記表示領域にタイミング線を表示し、
前記タイミング線は、前記操作子を操作するタイミングを示す線であり、
前記移動表示処理工程は、前記表示領域に表示された前記操作子指示オブジェクトを前記タイミング線に向かって流れるように移動させる、楽譜教示方法。

【請求項13】

音情報取得工程、撮像工程、位置認識工程、表示領域設定工程、操作子指示オブジェクト表示処理工程、及び移動表示処理工程を含み、
前記音情報取得工程は、少なくとも３段階の操作が可能な操作子を含む楽音入力装置から、各操作子及び前記各操作子の段階毎に割り当てられている音を示す音情報を取得し、
前記撮像工程は、前記楽音入力装置の本体の上面に配置されている拡張現実用位置マーカを撮像し、
前記位置認識工程は、前記拡張現実用位置マーカに基づき、前記楽音入力装置の位置情報を認識し、
前記表示領域設定工程は、前記各操作子を始点とした直線上の一定の現実空間を仮想画像表示領域と設定し、
前記操作子指示オブジェクト表示処理工程は、記憶部に記憶している楽譜データのリズム情報に沿って、前記楽譜データの音情報と同一の音情報が割り振られている前記操作子の前記仮想画像表示領域内に、前記同一の音情報を操作子指示オブジェクトとして重畳して表示する処理を実行し、
前記操作子指示オブジェクトは、仮想画像であり、
前記操作子指示オブジェクト表示処理工程は、さらに、長短調節工程、及び段階情報付加工程を含み、
前記長短調節工程は、前記音情報における音毎の長短に基づき、表示する前記操作子指示オブジェクトの長短を調節し、
前記段階情報付加工程は、前記同一の音情報が割り振られている前記操作子の段階を示す段階情報を前記操作子指示オブジェクトに付加し、
前記移動表示処理工程は、前記楽譜データに基づいて演奏ができるように、前記仮想画像表示領域に表示された前記操作子指示オブジェクトを前記始点に向かって流れるように移動させる、楽譜教示方法。

【請求項14】

請求項１１から１３のいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。

【請求項15】

請求項１から５のいずれか一項に記載の楽音入力装置と、請求項８から１０のいずれか一項に記載の楽譜教示装置とを含み、
前記楽音入力装置と前記楽譜教示装置とは、通信回線網を介して、接続可能である、演奏システム装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽音入力装置、操作子の配置方法、楽譜の作成方法、楽譜、楽譜教示装置、入力装置、楽音入力方法、楽譜教示方法、及び入力方法に関する。

【背景技術】

【0002】

キーボードのキーやピアノの鍵盤等の操作子において、本体（キーボードやピアノ等）に配置する前記操作子の数を減らし、本体のサイズを小型化した技術が報告されている（特許文献１等）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－４４０４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１等の技術は、ユーザが、各操作子の組合せと音との対応関係を覚える必要がある。そのため、ユーザに認知的負荷がかかり、操作が困難という問題がある。この問題は、ピアノ等の楽器に限らず、キーボード等の装置においても同様である。

【0005】

そこで、本発明は、操作の容易性に優れた楽音入力装置、操作子の配置方法、楽譜の作成方法、楽譜、楽譜教示装置、入力装置、楽音入力方法、楽譜教示方法、及び入力方法の提供を目的とする。

【課題を解決するための手段】

【0006】

前記目的を達成するために、本発明の楽音入力装置は、
操作子群と本体とを含み、
前記操作子群は、本体の上面に配置された５つの操作子を１単位とし、
前記各操作子は、少なくとも３段階の操作が可能であり、
前記本体は、基準音設定部、割り当て部、段階検出部、及び入力部を含み、
前記基準音設定部は、前記単位毎に異なる音高の５つの基準音を設定し、
前記割り当て部は、前記各操作子に対し、前記基準音のうちいずれか１つを重複しないように割り当て、且つ前記段階毎に対し、前記基準音に基づいた音を割り当て、
前記基準音と前記基準音に基づいた音とは、音高が異なり、
前記段階検出部は、操作された前記操作子の段階を検出し、
前記入力部は、前記操作された操作子及び前記検出された段階に対応する、前記基準音及び前記基準音に基づいた音の少なくとも一方を入力する、装置である。

【0007】

本発明の楽音入力方法は、
基準音設定工程、割り当て工程、段階検出工程、及び入力工程を含み、
前記基準音設定工程は、５つの操作子を１単位とした操作子群に対し、前記単位毎に異なる音高の５つの基準音を設定し、
前記割り当て工程は、少なくとも３段階の操作が可能な前記各操作子に、それぞれ異なる基準音を割り当て、且つ前記段階毎に、前記基準音に基づいた音を割り当て、
前記基準音と前記基準音に基づいた音とは、音高が異なり、
前記段階検出工程は、操作された前記操作子の段階を検出し、
前記入力工程は、前記検出された段階に対応する前記音を入力する、方法である。

【発明の効果】

【0008】

本発明によれば、操作の容易性に優れた楽音入力装置、操作子の配置方法、楽譜の作成方法、楽譜、楽譜教示装置、入力装置、楽音入力方法、楽譜教示方法、及び入力方法を提供できる。

【図面の簡単な説明】

【0009】

【図1】図１（Ａ）は、実施形態１における楽音入力装置の一例の構成を示す斜視図であり、図１（Ｂ）は、図１（Ａ）に示す楽音入力装置の上面図である。

【図2】図２（Ａ）は、実施形態１における操作子の一例の構成を示す模式図であり、図２（Ｂ）は、ポイントとＯＮ／ＯＦＦ状態との対応関係の一例を示す模式図である。

【図3】図３は、操作子の上面に表示された指識別情報及び段階情報の一例の構成を示す模式図である。

【図4】図４は、実施形態２における操作子の配置方法を用いた操作子の配置の一例を示す模式図である。

【図5】図５は、実施形態１における本体の一例の構成を示すブロック図である。

【図6】図６は、実施形態１における本体のハードウエア構成の一例を示すブロック図である。

【図7】図７（Ａ）は、実施形態１の楽音入力装置において、第１モードとして単音モードを選択した一例を示す模式図であり、図７（Ｂ）は、第２モードとして和音モードを選択した一例を示す模式図である。

【図8】図８は、実施形態１の楽音入力装置における処理の一例を示すフローチャートである。

【図9】図９は、実施形態２における操作子の一例の構成を示す模式図である。

【図10】図１０（Ａ）は、一般的な楽譜の一例の構成を示す模式図であり、図１０（Ｂ）は、実施形態３における楽譜の一例の構成を示す模式図である。

【図11】図１１は、変形例１－１における操作子の配置方法を用いた操作子の配置の一例を示す模式図である。

【図12】図１２は、操作子において、各方向の境界が識別可能な表面形状の一例を示す模式図である。

【図13】図１３は、変形例１－２における楽音入力装置の一例の構成を示す模式図である。

【図14】図１４は、変形例１－３におけるライドスイッチ機構及び裏板を含む楽音入力装置の一例の構成を示す模式図である。

【図15】図１５は、変形例１－３における接着機構を含む楽音入力装置の一例の構成を示す模式図である。

【図16】図１６は、変形例１－３における固定バンド機構を含む楽音入力装置の一例の構成を示す模式図である。

【図17】図１７は、変形例１－３におけるアーム機構を含む楽音入力装置の一例の構成を示す模式図である。

【図18】図１８（Ａ）は、実施形態４－１の楽譜教示装置の一例の構成を示すブロック図であり、図１８（Ｂ）は、変形例４－１における楽譜教示装置の一例の構成を示すブロック図である。

【図19】図１９（Ａ）は、実施形態４－１の楽譜教示装置のハードウエア構成の一例を示すブロック図であり、図１９（Ｂ）は、変形例４－１における楽譜教示装置のハードウエア構成の一例を示すブロック図である。

【図20】図２０（Ａ）は、実施形態４－１の楽譜教示装置における処理の一例を示すフローチャートであり、図２０（Ｂ）は、変形例４－１の楽譜教示装置における処理の一例を示すフローチャートである。

【図21】図２１は、表示領域の一例を示す模式図である。

【図22】図２２は、変形例４－１における操作子指示オブジェクト及び仮想画像表示領域の一例を示す模式図である。

【発明を実施するための形態】

【0010】

本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

【0011】

［実施形態１］
本発明の楽音入力装置及び操作子の配置方法について説明する。図１（Ａ）は、本実施形態の楽音入力装置１の一例の構成を示す斜視図であり、図１（Ｂ）は、図１（Ａ）に示す楽音入力装置１の上面図である。図１に示すように、本装置１は、操作子群２０と本体３０とを含む。また、本装置１は、例えば、任意の構成として、さらに、スライドスイッチ機構４０、裏板５０、接着機構６０、固定バンド機構７０、アーム機構８０、拡張現実用位置マーカ９０等を含んでもよい。本発明の操作子の配置方法として、本発明の楽音入力装置の操作子２を例に挙げて説明するが、これに限定されない。

【0012】

操作子群２０は、図１に示すように、本体３０の上面に配置された５つの操作子２（操作子２ａ～２ｅ）を１単位とする。本体３０の上面に配置される操作子群２０は、１単位でもよく、２単位以上でもよい。本装置１は、例えば、操作子群２０を２単位以上とすることで、オクターブ違いの音を入力できる。操作子群２０は、例えば、後述するように、５つの操作子２ａ～２ｅに代えて、本体の上面に配置された６つの操作子を１単位としてもよい。

【0013】

各操作子２は、少なくとも３段階の操作が可能である。具体的には、例えば、押圧によって多方向に操作可能なスイッチ（方向性スイッチともいう）、及び異なる押圧の強さによって少なくとも３段階の押し込み操作が可能なスイッチ等が挙げられる。操作子２として、３方向に操作可能な方向性スイッチの一例の構成を、図２（Ａ）に示す。図２（Ａ）に示すように、操作子２の下面側には、３つのセンサ２１が配置されている。センサ２１は、操作子２が押圧操作されることによって、ＯＮ／ＯＦＦ状態を切替えられる。特に、センサ２１は、操作子２上面の押圧するポイントを変えることにより、ＯＮ／ＯＦＦ状態を個別に切り替えることができる。図２（Ｂ）に、前記ポイントと前記ＯＮ／ＯＦＦ状態との対応関係の一例を示す。これにより、操作子２は、ボトム状態、ミドル状態、及びトップ状態の３段階の操作が可能である。なお、操作子２を操作していない状態（無操作状態）は、例えば、すべてのセンサの状態がＯＦＦとなっている。後述の段階検出部３３は、例えば、センサ２１の状態を検出することで、操作された操作子２の段階を検出することができる。以下、操作子２として、図２に記載の方向性スイッチを例に挙げて説明するが、例示であって、これに限定されない。

【0014】

操作子２は、例えば、操作子２の上面に、識別可能な操作子情報が表示されていることが好ましい。前記操作子情報は、特に制限されず、例えば、文字、符号、及び絵等の記号がある。具体的には、例えば、図１において、前記操作子情報は、操作子２の段階を示す段階情報として、前記ボトム状態となる押圧するポイントを「▼」で示し、前記トップ状態となる押圧するポイントを「▲」で示す。また、前記操作子情報として、図３に示すように、操作子２を操作する指に付与された指番号を操作子２の上面に表示してもよい。また、前記操作子情報として、後述の割り当て部３２によって割り当てられた音を表示してもよい。前記操作子情報は、２つ以上の操作子情報を組み合わせて表示してもよい。

【0015】

操作子２は、例えば、操作子側表示部を含んでもよい。前記操作子側表示部は、識別可能な操作子情報を表示する。前記操作子情報は、前述と同様である。前記操作子側表示部を含む操作子２とは、例えば、操作子に液晶パネルが内蔵された液晶キーボード等である。これにより、前記操作子情報の表示を容易に変更及び切り替えることができる。

【0016】

操作子２は、例えば、発光部を含んでもよい。前記発光部は、前記各段階に対応した色を発光する。前記発光部は、例えば、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）等の発光装置により発光可能である。前記発光装置は、特に制限されず、例えば、単色の発光が可能な装置でもよく、多色の発光が可能な装置でもよい。また、前記発光装置の数は、特に制限されず、１つでもよいし、２つ以上でもよい。前記色は、特に制限されない。本装置１が後述する楽譜教示装置６と接続した場合、例えば、後述のタイミング線５又は始点のいずれか一方に、操作子指示オブジェクト４が到達した瞬間に、操作子指示オブジェクト４と対応する操作子２の前記発光部が発光してもよい。

【0017】

操作子２が方向性スイッチである場合、例えば、操作子２は、前記各方向の境界が識別可能な表面形状を有していてもよい。前記表面形状の一例を図１２に示す。図１２は、操作子２の端部が中央部と比べて傾斜がある形態、前記各方向の境界に凹凸がある形態を挙げているが、例示であって、これに限定されない。前記表面形状は、例えば、ユーザが指で操作子２を触った場合に、前記境界を識別可能であればよい。これにより、本装置１を用いて、ブラインドタッチでの演奏が容易になる。

【0018】

操作子２ａ～操作子２ｅの配置は、例えば、本発明の操作子の配置方法で本体３０の上面に配置されていることが好ましい。具体的には、例えば、図４に示すように、操作子２の各段階に単音を割り当てる場合に、操作子２ａにおける各段階と、操作子２ｂにおける各段階との音高差（差Ａ）が、長2度（すなわち、全音１つ分）であり、且つ操作子２ａ及び操作子２ｂは、隣接して配置されている。また、操作子２ｂにおける各段階と、操作子２ｃにおける各段階との音高差（差Ｂ）が、長2度であり、且つ操作子２ｂ及び操作子２ｃは、隣接して配置されている。さらに、操作子２ｃにおける各段階と、操作子２ｄにおける各段階との音高差（差Ｃ）が、短3度（すなわち、全音１つ及び半音１つ分）であり、且つ操作子２ｃ及び操作子２ｄは、隣接して配置されている。また、操作子２ｄにおける各段階と、操作子２ｅにおける各段階との音高差（差Ｄ）が、長2度であり、且つ操作子２ｄ及び操作子２ｅは、隣接して配置されている。すなわち、操作子２ａにおける各段階と、操作子２ｅにおける各段階との音高差が、長6度（全音４つ及び半音１つ分）となる。なお、上述のパターンに限定されず、差Aが長２度、差Bが短３度、差Cが長２度、及び差Dが短３度となるパターンでもよいし、差Aが短３度、差Bが長２度、差Cが短３度、及び差Dが長２度となるパターンでもよいし、差Aが長２度、差Bが短３度、差Cが長２度、及び差Dが長２度となるパターンでもよいし、差Aが短３度、差Bが長２度、差Cが長２度、及び差Dが短３度となるパターンでもよい。具体的には、例えば、「ドレミソラ」、「レミソラド」、「ミソラドレ」、「ソラドレミ」、「ラドレミソ」等のパターンが挙げられる。一方で、操作子２の各段階に和音を割り当てる場合には、例えば、基準となる段階に割り当てる前記和音の根音同士の音高差が、完全４度である操作子同士の少なくとも１組を隣接して配置する。操作子群２０が、２単位以上である場合には、すべての単位において、上述の和音を割り当てる場合の配置を満たしていてもよいし、少なくとも１単位において、上述の和音を割り当てる場合の配置を満たしていてもよい。５つの操作子２は、本体３０の上面において、例えば、５つの操作子２を線で結んだ形が、直線状、及び円弧状（放射状）等の形状になるように配置されてもよいし、本体３０の横方向及び縦方向のいずれか一方の方向に配置されてもよい。前記配置は、特に制限されず、各操作子２の間隔をあけて配置してもよいし、各操作子２の境界が、境界線、輝度差、色相差等により認知可能な配置でもよい。また、後述のように、前記基準音が割り当てられている段階と隣接する段階に、前記基準音と比較して短２度の差がある音を割り当てて配置されていることが好ましい。

【0019】

操作子２の各段階に単音を割り当てる場合には、例えば、さらに、各操作子２において基準となる基準段階（例えば、ミドル状態等）、に割り当てる音高と前記基準段階に隣接する段階（例えば、トップ状態及びボトム状態等）に割り当てる音高の差が短２度であり、各操作子２において前記基準段階に隣接する段階に割り当てる音高は異なる、ことが好ましい。前記基準段階は、特に制限されず、任意に設定できるが、例えば、後述の基準音が割り当てられた段階であることが好ましい。

【0020】

図５は、本実施形態の本体３０の一例の構成を示すブロック図である。本体３０は、基準音設定部３１、割り当て部３２、段階検出部３３、及び入力部３４を含む。本体３０は、例えば、任意の構成として、さらに、操作子表示部３５、モード選択部３６、左右切替部３７等を含んでもよい。

【0021】

図６に、本体３０のハードウエア構成のブロック図を例示する。本体３０は、例えば、中央演算装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７等を有する。本体３０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。

【0022】

中央演算装置（中央処理装置）１０１は、本体３０の全体の制御を担う。本体３０において、中央演算装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央演算装置１０１が、基準音設定部３１、割り当て部３２、段階検出部３３、入力部３４、及びモード選択部３６、左右切替部３７として機能する。

【0023】

バス１０３は、例えば、外部機器とも接続できる。前記外部機器は、例えば、外部記憶装置（外部データベース等）、プリンター、後述の楽譜教示装置６等があげられる。本体３０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（通信回線網）に接続でき、外部ネットワークを介して、他の装置又は機器と接続することもできる。他の装置としては、例えば、管理者の端末（ＰＣ、サーバ、スマートフォン、タブレット等）がある。前記外部ネットワークとしては、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）等がある。通信デバイス１０７による通信は、有線でも無線でもよい。無線通信としては、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、アクセスポイントを介した間接通信のいずれであってもよい。

【0024】

メモリ１０２は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。

【0025】

記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられ、前記ドライブは、特に制限されない。記憶装置１０４は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）であってもよい。

【0026】

本装置１において、メモリ１０２及び記憶装置１０４は、後述の入力した音、管理者からのアクセス情報及びログ情報、並びに、外部データベース（図示せず）から取得した情報を記憶することも可能である。

【0027】

本装置１は、例えば、さらに、入力装置１０５、表示装置１０６を含んでもよい。入力装置１０５は、例えば、タッチパネル、キーボード、マウス等である。表示装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等が挙げられる。表示装置１０６は、例えば、操作子表示部３５として機能する。

【0028】

つぎに、本実施形態の楽音入力方法の一例を、図８のフローチャートに基づき説明する。本実施形態の楽音入力方法は、例えば、図１の楽音入力装置１を用いて、次のように実施する。なお、本実施形態の楽音入力方法は、図１の楽音入力装置１の使用には限定されない。

【0029】

まず、基準音設定部３１により、前記単位毎に異なる音高の５つの基準音を設定する（Ｓ２０）。前記基準音は、特に制限されず、任意に設定でき、例えば、前記基準音は、単音でもよいし、和音でもよい。また、十二平均律の「ド、レ、ミ、ソ、ラ」等の音階順でもよいし、十二平均律の順でもよいし、使用頻度の高い音の順でもよい。基準音設定部３１は、例えば、前記単位毎に異なる基準音を設定してもよいし、同一の基準音を設定してもよい。基準音設定部３１は、前記単位毎に、オクターブ違いの基準音を設定してもよい。

【0030】

次に、割り当て部３２により、各操作子２に対し、前記基準音のうち１つを重複しないように割り当て、且つ前記段階毎に対し、前記基準音に基づいた音を割り当てる（Ｓ２）。前記工程（Ｓ２）において、前記基準音と前記基準音に基づいた音とは、音高が異なる。前記基準音は、各操作子２において同一の段階に割り当てることが好ましい。基準音が割り当てられた段階を基準段階ともいう。また、割り当て部３２は、例えば、前記基準音が単音である場合に、前記基準音と比較して、短２度の差がある高い音を、トップ状態に割り当ててもよい。また、割り当て部３２は、例えば、前記基準音が単音である場合に、前記基準音と比較して、短２度の差がある低い音を、ボトム状態に割り当ててもよい。具体的に、図４を用いて説明する。図４は、割り当て部３２によって、各操作子２及び段階に割り当てられた音の一例を示す。図４において、基準音設定部３１は、前記基準音として、十二平均律の「ド、レ、ミ、ソ、ラ」を設定した。そして、割り当て部３２は、各操作子２に、「ド、レ、ミ、ソ、ラ」のうちいずれか１つを割り当てた。図４に示すように、操作子２ａのミドル状態には、基準音「ド」が割り当てられている。すなわち、操作子２ａのミドル状態が、基準段階である。図示するように、他の操作子２においても同様に、ミドル状態が、基準段階である。また、操作子２ａのトップ状態には、前記ドと比較して、短２度の差がある高い音「ド＃」が割り当てられている。さらに、操作子２ａのボトム状態には、前記ドと比較して、短２度の差がある低い音「シ」が割り当てられている。図４において、上段の操作子群２０ａと下段の操作子群２０ｂとは、前記基準音がオクターブ違いとなっている。一方で、割り当て部３２は、例えば、前記基準音が和音である場合に、隣接する操作子同士の少なくとも１組において、前記和音の根音の音高差が、完全４度となるように前記各操作子に前記基準音を割り当ててもよい。操作子群２０が、２単位以上である場合には、すべての単位において、上述の前記基準音が和音の根音である場合の割り当てを実行してもよいし、少なくとも１単位において、上述の前記基準音が和音の根音である場合の割り当てを実行してもよい。

【0031】

次に、段階検出部３３により、操作された操作子２の段階を検出する（Ｓ３）。具体的には、例えば、前述のように、センサ２１の状態を検出することで、操作された操作子２の段階（例えば、トップ状態、ミドル状態、及びボトム状態等）を検出することができる。

【0032】

そして、入力部３４により、前記操作された操作子及び前記検出された段階に対応する、前記基準音及び前記基準音に基づいた音（以下、まとめて「音」ともいう）の少なくとも一方を入力し（Ｓ４）、終了する（ＥＮＤ）。前記入力は、特に制限されず、例えば、通信回線網を介して、電子楽器やスピーカー等の音発生装置、外部の表示装置（ＬＥＤディスプレイ、液晶ディスプレイ等）、及び外部の端末装置（パーソナルコンピュータ、スマートフォン等）に入力してもよい。また、本装置１が、例えば、図１に示すように、さらに、スピーカー４０を含み、前記入力された音を発生させてもよい。入力部３４は、例えば、操作子２を操作（押圧等）している間、一貫して前記音を入力してもよいし、予め前記音がスピーカー１１０等から発生される時間の長さを定めていてもよい（例えば、１秒等）。

【0033】

本体３０は、例えば、さらに、操作子表示部３５を含んでもよい。操作子表示部３５は、前記本体の上面に配置され、操作子２を画像として表示する。すなわち、操作子表示部３５は、タッチパネル等の形態である。

【0034】

本装置１は、例えば、表示装置１０６、及び操作子表示部３５等に、楽譜を表示してもよい。前記楽譜は、特に制限されないが、後述の本発明の楽譜であることが好ましい。また、本装置１が、例えば、さらに、楽譜を表示する楽譜用表示部を含んでもよい。

【0035】

本体３０は、例えば、さらに、モード選択部３６を含んでもよい。モード選択部３６は、例えば、前記工程（Ｓ１）の前に、第１モード及び第２モードの少なくとも１つのモードを選択する。前記第１モードは、割り当て部３２によって単音のみが割り当てられた単音モードであり、前記第２モードは、割り当て部３２によって和音のみが割り当てられた和音モードである。具体的には、例えば、図１に示すように、本装置１は、本体３０に配置された切替ボタン１２０により、任意のモードを選択することができる。切替ボタン１２０の配置は、特に制限されず、例えば、本体３０の上面、側面、及び下面に配置される。この場合において、前記工程（Ｓ３）は、さらに、選択された前記モードを検出し、前記工程（Ｓ４）は、前記検出されたモードにおける前記音を入力する。

【0036】

図７（Ａ）に、前記第１モードとして単音モードを選択し、図７（Ｂ）に前記第２モードとして和音モードを選択した一例を示す。この場合において、段階検出部３３は、さらに、選択された前記モードを検出し、入力部３４は、前記検出されたモードにおける前記音を入力する。すなわち、図７において、第１操作子２ａのミドル状態は、単音モードの時に「ド」を入力し、和音モードの時に「Ｅ７」を入力する。

【0037】

本装置１は、例えば、図１に示すように、さらに、本装置１のＯＮ／ＯＦＦ状態を切替える電源ボタン１３０を含んでもよい。電源ボタン１３０の配置は、特に制限されず、例えば、本体３０の上面、側面、及び下面に配置される。

【0038】

本実施形態によれば、操作子の数が少なく、且つピアノにおける指くぐりや弦楽器における複数の指で弦を同時に制御する等の複雑な操作を必要としないため、操作（運指ともいう）の容易性及び携帯性に優れる。特に、本実施形態によれば、片手での操作を容易にする。また、一般的に、操作子には、それぞれに特有の音が設定されている。そのため、操作子の数が多いほど、入力可能な音が増えるが、本体のサイズが大型化する。しかしながら、本実施形態によれば、本体のサイズを小型化でき、且つ多種の音を入力可能であるため、表現の自由度が損なわれない。

【0039】

（変形例１―１）
本装置１は、例えば、操作子群２０（第１の操作子群ともいう）に代えて、第２の操作子群を含んでもよい。前記第２の操作子群は、３つの操作子（第２の操作子ともいう）を１単位とし、前記第２の操作子群は、本体３０の上面に少なくとも５単位配置している。すなわち、前記第２の操作子の数は、少なくとも１５つとなる。変形例１－１において、第２の操作子は、少なくとも１段階の操作が可能である。また、各前記第２の操作子群内において、隣接する前記第２の操作子同士の隙間は、例えば、少なくとも２ｍｍ未満となるように配置されていることが好ましい。さらに、各前記第２の操作子群同士の隙間は、例えば、少なくとも２ｍｍ以上となるように配置されていることが好ましい。

【0040】

変形例１－１における前記第２の操作子の配置方法は、特に制限されないが、例えば、本発明の操作子の配置方法で本体３０の上面に配置されていることが好ましい。具体的には、図１１を用いて説明する。なお、図１１は、例示であって、これに限定されない。図１１において、５単位の操作子群（７０ａ～７０ｅ）は、それぞれ、第１操作子７１、第２操作子７２、及び第３操作子７３を１単位としている。第１操作子７１は、操作子群（７０ａ～７０ｅ）における一端に配置され、第２操作子７２は、操作子群（７０ａ～７０ｅ）における中央に配置され、第３操作子７３は、操作子群（７０ａ～７０ｅ）における他端に配置されている。そして、前記各操作子に単音を割り当てる場合には、１単位目における操作子群７０ａと、２単位目における操作子群７０ｂとの各操作子間の音高差を差Aとし、且つ前記１単位目及び２単位目の各操作子群（７０ａ及び７０ｂ）は、隣接して本体の上面に配置する。また、２単位目における操作子群７０ｂと、３単位目における操作子群７０ｃとの各操作子間の音高差を差Bとし、且つ前記２単位目及び３単位目の各操作子群（７０ｂ及び７０ｃ）は、隣接して本体の上面に配置する。また、３単位目における操作子群７０ｃと、４単位目における操作子群７０ｄとの各操作子間の音高差を差Cとし、且つ前記３単位目及び４単位目の各操作子群（７０ｃ及び７０ｄ）は、隣接して本体の上面に配置する。そして、４単位目における操作子群７０ｄと、５単位目における操作子群７０ｅとの各操作子間の音高差を差Dとし、且つ前記４単位目及び５単位目の各操作子群（７０ｄ及び７０ｅ）は、隣接して本体の上面に配置する。差Ａ～差Ｄにおける前記音高差の割り当てパターンは、前述と同様である。一方で、前記各操作子に和音を割り当てる場合には、各操作子群（７０ａ～７０ｅ）の第２操作子７２に割り当てる和音の根音同士の音高差が、完全４度である操作子群同士の少なくとも１組を隣接して配置し、前記各操作子群（７０ａ～７０ｅ）は、本体の上面に配置する。

【0041】

特に、前記操作子に単音を割り当てる場合には、例えば、さらに、各操作子群（７０ａ～７０ｅ）において第１操作子７１と第２操作子７２の音高差は短２度であり、各操作子群（７０ａ～７０ｅ）において第２操作子７２と第３操作子７３の音高差は短２度であり、各操作子群（７０ａ～７０ｅ）において第１操作子７１と第３操作子７３の音高は異なる、ことが好ましい。また、各操作子群（７０ｄ及び７０ｅ）は、５本の指に対応するように、本体３０の横方向及び縦方向のいずれか一方の方向に配置されることが好ましい。また、さらに、５つの操作子２は、各操作子２が並んだ形状が直線状又は放射状のいずれか一方の形状となるように配置されることが好ましい。

【0042】

変形例１－１における本装置１は、例えば、図１１に示すように、６単位目～１０単位目の操作子群７０ｆ～７０ｊを含むことで、操作子群７０ａ～７０ｅとオクターブ違いの音を入力できる。

【0043】

変形例１－１における本体３０は、基準音設定部３１、割り当て部３２、段階検出部３３、及び入力部３４に代えて、第２の基準音設定部、第２の割り当て部、第２の段階検出部、及び第２の入力部を含む。変形例１－１の本装置１において、前記第２の基準音設定部は、前記第２の操作子群のうち、２つの操作子の間に介在する操作子に基準音を設定する。前記第２の割り当て部は、前記２つの操作子に前記基準音に基づいた音を割り当てる。前記第２の段階検出部は、前記第２の操作子のＯＮ／ＯＦＦ状態を検出する。また、前記第２の入力部は、前記操作された操作子がＯＮ状態である場合に、対応する前記基準音及び前記基準音に基づいた音を入力する。

【0044】

本変形例によれば、前述と同様に、例えば、操作の容易性及び携帯性に優れる。

【0045】

（変形例１－２）
図１３に、本変形例における楽音入力装置１の一例の構成を示す。図１３では、２つの楽音入力装置１ａ及び１ｂを図示している。本変形例における本装置１は、５つの操作子２に代えて、６つの操作子２を１単位とする。前記６つの操作子２は、５つの操作子２と同様に、少なくとも３段階の操作が可能であり、その配置は、例えば、本発明の操作子の配置方法で本体３０の上面に配置されていることが好ましい。具体的には、例えば、図１３に示すように、前記６つの操作子２は、本体３０の上面にユーザの左手を置いた場合にユーザの左手の第１指（１）が当接する１つの操作子（本装置１ａにおける（１）又は本装置１ｂにおける（６））と、本体３０の上面にユーザの右手を置いた場合にユーザの右手の第１指（１）が当接する１つの操作子（本装置１ａにおける（６）又は本装置１ｂにおける（１））と、ユーザの左手又は右手のいずれか一方の第２指（２）～第５指（５）が当接する４つの操作子（（２）～（５））からなる。前記６つの操作子２の配置は、図１３に示すように、本装置１の中央部に左手及び右手の少なくとも一方の掌を置いた場合に、両方の各指に対応するように、配置されている。以下、図１３の各楽音入力装置１における（１）～（６）を操作子番号ともいう。

【0046】

本変形例において、本装置１の本体３０は、さらに、左右切替部３７を含む。左右切替部３７は、例えば、図８に示す工程（Ｓ２）の前に、左手演奏用又は右手演奏用に切替える処理を実行する。前記切替は、例えば、本装置１に含まれる左手演奏用又は右手演奏用に切替える切替ボタンや切替スイッチ等（図示せず）により、切替可能である。前記切替ボタンや切替スイッチ等の配置は、特に制限されず、例えば、本体３０の上面、側面、及び下面に配置される。

【0047】

本変形例において、割り当て部３２は、前記切替に基づき、５つの操作子２に、前記音を割り当てる。具体的に、前記左手演奏用の場合、前記右手の第１指が当接する操作子２以外の５つの操作子２に、前記音を割り当てる。また、前記右手演奏用の場合、前記左手の第１指が当接する操作子２以外の５つの操作子２に、前記音を割り当てる。これにより、左手演奏用と右手演奏用との切り替えを可能にし、演奏する手（左手及び右手）に限らず、手の形状に合わせた演奏が可能になる。

【0048】

（変形例１－３）
楽音入力装置１が、さらに、スライドスイッチ機構４０及び裏板５０と、シフト状態設定機構４１と、接着機構６０と、固定バンド機構７０と、アーム機構８０と、拡張現実用位置マーカ９０との少なくとも一つを含む形態について説明する。以下において、特に言及しない限り、本変形例の楽音入力装置１は、変形例１－１～１－２記載の楽音入力装置１の形態として示すが、これに限られず、実施形態１及び変形例１記載の楽音入力装置１の形態であってもよい。

【0049】

まず、楽音入力装置１が、さらに、スライドスイッチ機構４０及び裏板５０を含む形態について説明する。図１４に、本変形例におけるライドスイッチ機構４０及び裏板５０を含む楽音入力装置１の一例の構成を示す。楽音入力装置１は、例えば、スライドスイッチ機構４０に加えて又は代えて、少なくとも２つのシフト状態設定機構４１を含んでもよい。

【0050】

図１４左上側において、楽音入力装置１の上面図を示し、前記上面図の下側に、後述の各シフト状態の楽音入力装置１をＡ－Ａ’方向からの側面図を示す。スライドスイッチ機構４０は、裏板５０上に固定配置され、且つ本体３０の下面と裏板５０とをつなぐ。スライドスイッチ機構４０の一端は、例えば、裏板５０の中心部に固定されることが好ましい。そして、本体３０は、図１４に示すように、スライドスイッチ機構４０により、アップシフト状態、ニュートラルシフト状態、及びダウンシフト状態の少なくとも２つのシフト状態にシフト可能である。具体的に、前記シフト状態は、例えば、アップシフト状態、ニュートラルシフト状態、及びダウンシフト状態等がある。スライドスイッチ機構４０は、例えば、ばね機構を含み、前記ばね機構によるばねの力を利用して、前記アップシフト状態又は前記ダウンシフト状態から前記ニュートラルシフト状態に戻る力が働く機構であってもよい。

【0051】

裏板５０は、スライドスイッチ機構４０を固定配置可能であればよく、特に制限されない。裏板５０は、例えば、本体３０と向かう合う面との反対側の面（以下、反対面ともいう）に滑り止め部を含んでもよい。前記滑り止め部は、例えば、布地、紙、レーヨン及び綿等の天然繊維；シリコンゴム、ウレタンゴム等のゴム材料；ナイロン系エラストマー、スチレン系エラストマー、オレフィン系エラストマー、ポリエステル系エラストマー、シリコーン等のエラストマー；ポリエチレン及びポリプロピレン等のオレフィン重合体、ポリエステルテレフタラート（ＰＥＴ）等のポリエステル、ならびにエチレン－酢酸ビニル共重合体（ＥＶＡ）等のビニルアルコール系樹脂等を含む合成繊維；天然皮革及び人造皮革等の皮；等から構成される。前記滑り止め部は、例えば、メッシュ地であってもよいし、メッシュ地以外であってもよい。また、前記滑り止め部の範囲は、例えば、前記反対面の一部分であってもよいし、前記反対面の全面であってもよい。前記反対面以外は、特に制限されず、例えば、前述の前記反対面の素材と同一の素材から構成されていてもよいし、前記反対面の素材と同一の素材から構成されていなくともよい。これにより、例えば、前記反対面と接する面（例えば、机の表面等）との摩擦係数が大きくなり、前記シフトを容易にする。

【0052】

本変形例において、割り当て部３２は、例えば、さらに、前記基準音が単音である場合に、一方のシフト状態（例えば、前記ニュートラルシフト状態）に対し、前記音を割り当て、且つ他方のシフト状態に対し、前記一方のシフト状態に割り当てた音と異なる音を割り当てる。具体的に、他方のシフト状態に対する音の割り当ては、例えば、前記アップシフト状態に対し、前記音よりも１オクターブ上の音を割り当て、前記ダウンシフト状態に対し、前記音よりも１オクターブ下の音を割り当ててもよい（図１４記載の「単音モード」参照）。また、割り当て部３２は、例えば、前記基準音が和音である場合に、前記ニュートラルシフト状態に対し、１単位目の前記音を割り当て、前記アップシフト状態及び前記ダウンシフト状態の少なくとも一つに対し、２単位目の前記音を割り当てる（図１４記載の「和音モード」参照）。前記アップシフト状態及び前記ダウンシフト状態は、同一の前記音を割り当ててあってもよい。

【0053】

また、本変形例において、段階検出部３３は、操作された前記操作子の段階及び前記シフト状態を検出する。そして、入力部３４は、前記操作された操作子と前記検出された段階及びシフト状態とに対応する音を入力する。

【0054】

本変形例において、本装置１は、例えば、前述のように、スライドスイッチ機構４０に加えて又は代えて、少なくとも１つのシフト状態設定機構４１を含んでもよい。具体的に、シフト状態設定機構４１は、例えば、ボタン及びスイッチ等の形態である。シフト状態設定機構４１は、本体３０を前記アップシフト状態又はダウンシフト状態のいずれか一方のシフト状態に設定する機構である。そして、シフト状態変更機構４１が作動している間、シフト状態変更機構４１は、本体３０をアップシフト状態又はダウンシフト状態のいずれか一方のシフト状態に設定する。一方で、本装置１は、例えば、シフト状態設定機構４１が作動していない間、本体３０を前記ニュートラルシフト状態にしてもよい。すなわち、シフト状態設定機構４１（ボタン）を押下している間は、本体３０がアップシフト状態又はダウンシフト状態のいずれか一方のシフト状態になり、シフト状態設定機構４１（ボタン）を押下していない間は、本体３０が前記ニュートラルシフト状態に戻るということになる。また、本装置１は、例えば、本体３０を前記ニュートラルシフト状態に設定する３つ目のシフト状態設定機構４１を含んでもよい。

【0055】

すなわち、本装置１は、前記単音モードの場合、スライドスイッチ機構４０（及び／又はシフト状態設定機構４１。以下同様）により、容易にオクターブを切り替えることができ、前記和音モードの場合、スライドスイッチ機構４０により、和音の配列を一括で切り替えることができる。また、本変形例のスライドスイッチ機構４０及び裏板５０を含む楽音入力装置１によれば、前記各シフト状態毎に音を割り当てることで、操作子２の数をより少なくでき、より操作の容易性に優れる。

【0056】

次に、楽音入力装置１が、さらに、接着機構６０を含む形態について説明する。図１５に、本変形例における接着機構６０を含む楽音入力装置１の一例の構成を示す。図１５右図には、２台の楽音入力装置１ａ及び１ｂを示す（図１５左図に示す楽音入力装置１のＢ－Ｂ’方向からみた図）。

【0057】

本変形例において、本装置１は、さらに、他の楽音入力装置との接着及び剥離が可能な接着機構６０を含んでもよい。接着機構６０は、前述のように、接着及び剥離が可能であればよく、特に制限されず、例えば、磁石、面ファスナー等がある。すなわち、楽音入力装置１ａ及び１ｂは、それぞれ、対となる接着機構６０を有する。接着機構６０は、本体３０の下面又は裏板５０の前記反対面のいずれか一方に配置される。図１５では、裏板５０の前記反対面に接着機構６０が配置されている一例について説明する。接着機構６０は、図１５に示すように、裏板５０の前記反対面の一部分に配置されていてもよく、前記反対面の全面に配置されていてもよい。また、接着機構６０が磁石である場合、接着機構６０は、図１５に示すように、裏板５０内に埋め込まれていてもよい。楽音入力装置１ａの使用時には、例えば、接着機構６０により、他の音入力装置１ｂと剥離させた状態で使用してもよいし、他の音入力装置１ｂと接着した状態で使用してもよい。

【0058】

本変形例の接着機構６０を含む楽音入力装置１によれば、２台の楽音入力装置１を１セットとして持ち運ぶことが容易になる。また、楽音入力装置１が２台あることで、例えば、１人で２台の楽音入力装置１を用いて両手で演奏を行う、２人で２台の楽音入力装置１をシェアして各々１台ずつ楽音入力装置１を用いて合奏する、等の用途に活用することができる。さらに、楽音入力装置１が２台あることで、例えば、左手演奏用の楽音入力装置１を和音モードにして、且つ右手演奏用の楽音入力装置１を単音（メロディー）モードにして、演奏することも可能である。

【0059】

次に、楽音入力装置１が、さらに、固定バンド機構７０を含む形態について説明する。図１６に、本変形例における固定バンド機構７０を含む楽音入力装置１の一例の構成を示す。固定バンド機構７０は、本体３０の上面に配置される。固定バンド機構７０は、ユーザの第１指～第５指が前記各操作子２上に置かれた状態で、ユーザの掌を固定可能である。固定バンド機構７０は、前述のように、ユーザの掌を固定可能であればよく、例えば、留め具を有するベルトの形態でもよいし、面ファスナーの形態でもよいし、ゴム素材によりユーザの掌を締め付けて固定する形態でもよい。固定バンド機構７０は、例えば、楽音入力装置１から取り外し可能な形態であることが好ましい。本変形例の固定バンド機構７０を含む楽音入力装置１によれば、ユーザの掌を固定することができる。これにより、ユーザは、例えば、立ちながら演奏する等の演奏手法が可能になる。

【0060】

また、楽音入力装置１は、例えば、さらに、図１６に示すように、凸部１００を含んでもよい。凸部１００は、本体３０の上面に凸状に配置され、ユーザの第１指～第５指が前記各操作子２上に置かれた状態のときに、ユーザの掌を支持する。凸部１００は、例えば、クッション性を有する素材等から構成される。具体的には、例えば、シリコーン、ウレタン、布等が挙げられる。

【0061】

次に、楽音入力装置１が、さらに、アーム機構８０を含む形態について説明する。図１７に、本変形例におけるアーム機構８０を含む楽音入力装置１の一例の構成を示す。図１７に示すように、アーム機構８０の一方の端部は、例えば、裏板５０の側面に取り付けられる。なお、これに限定されず、アーム機構８０の一方の端部は、例えば、本体３０の側面に取り付けられてもよい。具体的に、アーム機構８０の一方の端部は、例えば、ヒンジ機構等の軸機構により、各側面の少なくとも一方に取り付けられていてもよい。アーム機構８０は、図１７に示すように、前記一方の端部（前記軸機構）を支点として、水平方向に旋回可能である。そして、前記各側面に接しないように旋回したアーム機構８０は、スマートフォンやタブレット等の端末を保持可能である。具体的に、アーム機構８０は、例えば、前記端末を嵌める凹部を有する。前記端末は、楽譜を表示可能であり、例えば、後述の楽譜教示装置であってもよい。本変形例の、アーム機構８０を含む楽音入力装置１によれば、ユーザが端末に表示された楽譜を見ながら演奏することを可能にする。特に、裏板５０の側面にアーム機構８０の一方の端部を取り付けることで、例えば、演奏時に前記シフト状態を切替えても、前記シフト状態に応じて前記端末が動くことない。これにより、シフト状態の切替えによる端末の移動、及びユーザの視線移動が不要になり、より容易に演奏可能になる。

【0062】

また、アーム機構８０は、例えば、磁石等のアーム用接着機構を有していてもよい。また、アーム機構８０の一方の端部が取り付けられている前記側面は、前記アーム用接着機構と対になる側面用接着機構を有していてもよい。前記アーム用接着機構は、例えば、アーム機構８０の他方の端部に配置されていてもよい。また、前記側面用接着機構は、例えば、各側面に接するように旋回したアーム機構８０の前記アーム用接着機構が接する部分に設置されていればよい。これにより、各側面に接するように旋回したアーム機構８０は、前記アーム用接着機構及び前記側面用接着機構により、水平方向に旋回しないように接着可能である。そのため、例えば、楽音入力装置１の持ち運びが容易になる。また、楽音入力装置１の使用時には、前述のように、前記アーム用接着機構及び前記側面用接着機構を剥離させて、アーム機構８０を旋回させることが可能である。

【0063】

本装置１は、例えば、図１３～図１７に示していたように、さらに、拡張現実用位置マーカ９０を含んでもよい。拡張現実用位置マーカ９０は、本体３０の上面に配置されている。具体的には、例えば、ユーザの第１指～第５指が前記各操作子２上に置かれた状態のときに、ユーザの指や掌等に覆われない位置に配置されている。より具体的には、例えば、図１３～図１７に示していたように、ユーザ左手及び右手の第１指と第２指との間である本体３０の上面に配置される。拡張現実用位置マーカ９０の数は、例えば、１つでもよいし、２つでもよいし、２つ以上でもよい。これにより、例えば、後述する楽譜教示装置等の拡張現実画像表示装置を使用して楽譜を表示する場合、本装置１の位置情報（例えば、横幅、縦幅、奥行き等）を認識することができる。

【0064】

［実施形態２］
本実施形態の入力装置は、前記実施形態１記載の楽音入力装置１及び操作子の配置方法における前記基準音及び前記基準音に基づいた音を、第１入力情報及び第２入力情報に置換えた形態である。特に言及がない限り、前記実施形態１記載の前記基準音及び前記基準音に基づいた音を、第１入力情報及び第２入力情報に置換えることで、互いの説明を援用できる。また、特に言及がない限り、前記実施形態１記載の楽音入力装置１の構成を、本実施形態の入力装置の構成とすることもできる。すなわち、本実施形態の入力装置は、例えば、スライドスイッチ機構４０、裏板５０、接着機構６０、固定バンド機構７０、アーム機構８０、及び拡張現実用位置マーカ９０等を含んでもよい。

【0065】

本実施形態の入力装置は、操作子と本体とを含む。前記操作子は、本体の上面に複数配置され、且つ少なくとも３段階の操作が可能である。前記本体は、入力情報設定部、割り当て部、段階検出部、及び入力部を含む。

【0066】

つぎに、本実施形態の入力方法の一例を説明する。本実施形態の入力方法は、例えば、前記入力装置を用いて、次のように実施する。なお、本実施形態の入力方法は、前記入力装置の使用には限定されない。

【0067】

まず、前記入力情報設定部により、前記操作子毎に第１入力情報及び第２入力情報を設定する。前記第１入力情報及び前記第２入力情報とは、例えば、文字、符号、及び絵等の記号がある。好ましくは、例えば、前記第１入力情報は、数字又は文字のいずれか一方であり、前記第２入力情報は、前記操作子の段階を示す記号である。より好ましくは、例えば、前記第２入力情報は、前記操作子の段階を示す文字及び数字以外の記号である。本実施形態の入力装置によれば、後述の楽譜における指番号及び段階情報を示す記号を入力することができる。前記第１入力情報及び前記第２入力情報は、１つの記号でもよいし、２つ以上の記号であってもよい。具体的に、本実施形態の入力装置について、日本語を入力する場合を例に挙げて説明する。図９に、操作子２の構成の一例を示す。図９における操作子２は、４方向に操作可能な十字状の方向性スイッチである。図９において、前記情報入力設定部は、前記第１入力情報として、子音の「Ｋ」を設定し、前記第２入力情報として、母音の「ａ、ｉ、ｕ、ｅ、ｏ」を設定する。次に、前記割り当て部により、操作子２に対し、前記「Ｋ」を割り当てる。また、前記割り当て部は、操作子２の左部、上部、右部、下部に対し、前記「ａ、ｉ、ｕ、ｅ、ｏ」を割り当てる。操作子２の左部が操作された場合は、前記段階検出部により左部が操作されたことを検出する。そして、前記入力部は、操作子２に対応する子音「Ｋ」と、操作子２の左部に対応する母音「ａ」とに基づき、文字「か」を入力し、終了する。なお、母音の「ａ、ｉ、ｕ、ｅ、ｏ」を入力したい場合は、例えば、前記情報入力設定部において、前記第２入力情報として、「なし」等を設定してもよい。上述のように、日本語を入力する場合を例に挙げて説明したが、例示であって、これに限定されない。本実施形態の入力装置によれば、入力される記号として、例えば、アルファベット等の文字、符号、及び絵等の記号を入力可能である。

【0068】

また、本実施形態の入力装置における前記操作子の数は、特に制限されず、１つでもよいし、２つ以上でもよい。図９に示す操作子２の場合は、操作子２の数を１０個とすることで、日本語の仮名文字である五十音を入力可能である。

【0069】

本実施形態の入力装置における前記本体は、例えば、さらに、モード選択部を含んでもよい。前記モード選択部は、例えば、前記段階検出部よる処理前に、少なくとも１つのモードを選択する。前記モードは、特に制限されず、例えば、前記入力によって平仮名のみが入力される平仮名モード、片仮名のみが入力される片仮名モード、英数字のみが入力される英数字モード等がある。この場合において、前記入力情報設定部は、例えば、さらに、前記モード毎に前記第１入力情報及び前記第２入力情報を設定してもよい。また、前記割り当て部は、例えば、さらに、前記モード毎に前記第１入力情報及び前記第２入力情報を割り当ててもよい。前記段階検出部は、さらに、選択された前記モードを検出し、前記入力部は、前記検出されたモードにおいて、前記第１情報及び前記第２情報に基づいた記号を入力する。

【0070】

本実施形態の入力装置及び入力方法によれば、操作子の数が少なく、且つ複雑な操作を必要としないため、例えば、操作の容易性及び携帯性に優れる。特に、本実施形態の入力装置は、片手での操作を容易にする。また、本体のサイズを小型化でき、且つ多種の記号を入力可能である。

【0071】

［実施形態３］
本実施形態の楽譜は、主旋律領域、及び和音領域の少なくとも一方を含む。また、本実施形態の楽譜は、例えば、さらに、歌詞領域を含んでもよい。前記主旋律領域は、主旋律を表示する領域であり、前記和音領域は、和音を表示する領域である。前記主旋律及び前記和音は、操作する操作子と紐づけられた指番号、及び前記操作子の段階を示す段階情報を前記指番号に隣接して表示される。前記歌詞領域は、楽曲の歌詞を表示する領域である。また、前記指番号は、前記主旋律領域及び前記和音領域において、楽曲の拍子と対応した位置に一定の間隔をあけて配置される。前記歌詞は、例えば、前記楽曲の拍子と対応した位置に配置されることが好ましい。

【0072】

本実施形態の楽譜の作成方法は、主旋律を表示する主旋律領域、及び和音を表示する和音領域の少なくとも一方を含む楽譜において、前記主旋律及び前記和音は、操作する操作子と紐づけられた指番号、及び前記操作子の段階を示す段階情報を前記指番号に隣接して表示し、前記指番号は、前記主旋律領域及び前記和音領域において、楽曲の拍子と対応した位置に一定の間隔をあけて配置される。本実施形態の楽譜の作成方法は、例えば、さらに、前記楽曲の歌詞を表示する歌詞領域に対し、前記歌詞を、前記楽曲の拍子と対応した位置に配置してもよい。

【0073】

本実施形態の楽譜及び本実施形態の楽譜の作成方法によって作製された楽譜（以下、まとめて実施形態３における楽譜ともいう）の構成の一例を図１０に示す。図１０（Ａ）は、一般的な楽譜であり、図１０（Ｂ）は、実施形態３における楽譜の構成の一例である。図１０（Ａ）及び（Ｂ）は、同じ楽曲である。実施形態３における楽譜は、例えば、図１の楽音入力装置１を用いて、次のように実施する。なお、実施形態３における楽譜は、図１の楽音入力装置１の使用には限定されない。実施形態３における楽譜は、各種音符記号で記譜された一般的な楽譜の主旋律譜及び和音譜に対し、操作する操作子と紐づけられた指番号及び前記操作子の段階を示す段階情報を用いて表示される。前記指番号及び前記段階情報は、特に制限されず、例えば、文字、符号、及び絵等の記号等がある。前記指番号とは、例えば、前述と同様である。また、図３に示すように、同じ指に２つ以上の指番号が付与されていてもよい。前記段階情報とは、例えば、前述と同様である。図３に示したポイント「▼」を操作する場合は、例えば、図１０（Ｂ）に示すように、前記段階情報として、前記指番号の下部に記号「Ｖ」を表示する。なお、操作子のポイントの記号と前記段階情報の記号とは、完全同一であってもよいし、上述のように記号の意味合いが変わらない程度の差異があってもよい。また、前記各指番号は、各指番号間に楽曲の拍子と対応した位置に、一定の間隔を設けている。また、実施形態３における楽譜は、例えば、小節線が引かれていてもよい。

【0074】

（変形例３－１）
変形例３－１における楽譜及び楽譜の作成方法は、実施形態３における前記指番号及び前記段階情報に代えて、前記主旋律及び前記和音は、操作する操作子群と紐づけられた指番号、及び前記操作子群のうち操作する操作子の配置を示す配置情報を前記指番号に隣接して表示する、こと以外、実施形態３における楽譜と同様である。

【0075】

本実施形態における楽譜によれば、操作子を操作する指が分かりやすく、操作の容易性に優れる楽譜を提供できる。そのため、例えば、五線譜やタブ譜等の一般的な楽譜が読めなくとも、本実施形態における楽譜によって演奏することが可能である。

【0076】

［実施形態４－１］
図１８（Ａ）は、本実施形態の楽譜教示装置６の一例の構成を示すブロック図である。図１８（Ａ）に示すように、本装置６は、音情報取得部１１１、表示領域分割部１１２、操作子指示オブジェクト表示処理部１１３、記憶部１１４、タイミング線表示処理部１１５、及び移動表示処理部１１６を含む。操作子指示オブジェクト表示処理部１１３は、さらに、長短調節部１１３１、段階情報付加１１３２、シフト情報付加部１１３３、及び文字情報付加部１１３４を含む。シフト情報付加部１１３３、及び文字情報付加部１１３４は、任意の構成であり、本装置６に含まれなくてもよい。

【0077】

本装置６は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、前記通信回線網を介して接続可能な装置でもよい。また、本装置６は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、例えば、前述と同様である。また、本装置６は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。

【0078】

図１９（Ａ）に、本装置６のハードウエア構成のブロック図を例示する。本装置６のハードウエア構成は、例えば、図１９（Ａ）に示すように、中央処理装置１０１が音情報取得部１１１、表示領域分割部１１２、操作子指示オブジェクト表示処理部１１３、タイミング線表示処理部１１５、及び移動表示処理部１１６として機能し、記憶部１１４がメモリ１０２及び記憶装置１０４を使用できる点を除き、図６に示す楽音入力装置１のハードウエア構成と同様である。

【0079】

つぎに、本実施形態の楽譜教示方法の一例を、図２０（Ａ）のフローチャートに基づき説明する。本実施形態の楽譜教示方法は、例えば、図１８（Ａ）の楽譜教示装置６を用いて、次のように実施する。なお、本実施形態の楽譜教示方法は、図１８（Ａ）の楽譜教示装置６の使用には限定されない。

【0080】

まず、音情報取得部１１１により、少なくとも３段階の操作が可能な操作子を含む楽音入力装置から、各操作子及び前記各操作子の段階毎に割り当てられている音を示す音情報を取得する（Ｓ１１）。前記楽音入力装置は、特に制限されないが、例えば、前記実施形態１及び前記変形例１－１～１－３の少なく一つに記載の楽音入力装置１であることが好ましい。以下、前記楽音入力装置として、前記実施形態１及び前記変形例１－１～１－３の少なく一つに記載の楽音入力装置１を例に挙げて説明する。前記音情報は、例えば、単音及び和音等がある。取得の形式は、特に制限されず、例えば、前記通信回線網を介して取得してもよい。

【0081】

次に、表示領域分割部１１２により、操作子２毎に表示領域を縦又は横のいずれか一方の方向に分割する（Ｓ１２）。図２１に、前記表示領域の一例を示す。表示領域３は、例えば、ディスプレイ（表示装置１０６）内の領域である。また、表示領域分割部１１２は、例えば、楽音入力装置１の数に応じて、前記表示領域を分割してもよい。具体的に、図１２の例では、左手演奏用（和音モード）の楽音入力装置１と右手演奏用（単音モード）の楽音入力装置１の２つに応じて、表示領域３を２分割し、さらに、各楽音入力装置１の前記操作子ごとに表示領域３を５分割している（左手演奏用操作子番号及び右手演奏用操作子番号）。各表示領域３の境界は、例えば、線で示してもよいし、各表示領域３毎に異なる模様、色、及びそれらの組み合わせの少なくとも一つを有することより示してもよい。

【0082】

次に、図２１に示すように、操作子指示オブジェクト表示処理部１１３により、記憶部１１４に記憶している楽譜データのリズム情報に沿って、前記楽譜データの音情報と同一の音情報が割り振られている前記操作子の表示領域３内に、前記同一の音情報を操作子指示オブジェクト４として表示する処理を実行する（Ｓ１３）。また、長短調節部１１３１により、前記音情報における音毎の長短に基づき、表示する操作子指示オブジェクト４の長短を調節する（Ｓ１３１）。そして、段階情報付加部１１３２により、前記同一の音情報が割り振られている前記操作子の段階を示す段階情報を操作子指示オブジェクト４に付加する（Ｓ１３２）。前記楽譜データは、例えば、前記通信回線網を介して、外部の装置から取得してもよい。また、外部の装置から取得した前記楽譜データは、例えば、前記工程（Ｓ１３）～（Ｓ１３２）により、図２１に示すような操作子指示オブジェクト４を含む楽譜の表示形式に変換してもよい。操作子指示オブジェクト４の形状は、特に制限されず、例えば、四角形でもよいし、楕円形でもよい。長短調節部１１３１は、例えば、音の長さ（拍）が全音符である場合の操作子指示オブジェクト４の長さを設定し、この設定に基づき、音の長さ（拍）が二分音符、四分音符、八分音符、十六分音符等である場合の操作子指示オブジェクト４の長さを設定してもよい。段階情報付加部１１３２は、例えば、図２１に示すように、操作すべき操作子の段階が「トップ状態」である場合、操作子指示オブジェクト４内に段階情報として「▲」を付加して表示する。また、操作すべき操作子の段階が「ボトム状態」である場合、操作子指示オブジェクト４内に段階情報として「▼」を付加して表示する。一方で、操作すべき操作子の段階が「ミドル状態」である場合、操作子指示オブジェクト４内に段階情報を付加せず表示してもよい。このように、前記段階情報は、記号でもよいし、文字でもよい。また、段階情報を付加する場所は、特に制限されず、例えば、図２１に示すように、操作子指示オブジェクト４内でもよいし、操作子指示オブジェクト４外の（例えば、後述するタイミング線側の操作子指示オブジェクト４の端部外の表示領域３）でもよい。前記工程（Ｓ１３１）及び前記工程（Ｓ１３２）の処理は、例えば、並行して処理してもよいし、順番に処理してもよい。前記順番は、特に制限されない。

【0083】

次に、図２１に示すように、タイミング線表示処理部１１５により、表示領域３にタイミング線５を表示する（Ｓ１４）。タイミング線５は、前記操作子を操作するタイミングを示す線である。すなわち、ユーザは、後述の移動表示処理部１１６によって、操作子指示オブジェクト４がタイミング線５に到達するタイミングで、該当する操作子を操作することで、前記楽譜データにおける楽曲を演奏できる。

【0084】

そして、移動表示処理部１１６により、表示領域３に表示された操作子指示オブジェクト４をタイミング線５に向かって流れるように移動させ（Ｓ１５）、終了する（ＥＮＤ）。「操作子指示オブジェクト４をタイミング線５に向かって流れるように移動」とは、例えば、表示領域３（ディスプレイ）の上から下方向、下から上方向、左から右方向、右から左方向等の平面空間における方向への移動でもよいし、奥から手前方向、手前方向から奥方向等の３次元空間における方向への移動でもよい。また、移動表示処理部１１６は、例えば、タイミング線５を通過した操作子指示オブジェクト４を表示領域３から消してもよい。具体的には、例えば、操作子指示オブジェクト４の一方の端部から他方の端部までタイミング線５を通過したときに、当該操作子指示オブジェクト４を消してもよいし、タイミング線５を通過した操作子指示オブジェクト４の一方の端部から徐々に消してもよい。すなわち、操作子指示オブジェクト４は、例えば、操作する操作子２を教示する。一方で、移動表示処理部１１６は、例えば、ユーザが操作子指示オブジェクト４に対応する操作子２を操作するまで、操作子指示オブジェクト４がタイミング線５を通過する直前で前記移動を停止させてもよい。そして、移動表示処理部１１６は、例えば、ユーザが操作子指示オブジェクト４に対応する操作子２を操作した場合に、前記移動を再開させる。なお、「操作子指示オブジェクト４に対応する操作子２」とは、例えば、当該操作子２の表示領域上の操作子指示オブジェクト４のことである。これにより、本装置６は、楽音入力装置１の操作に不慣れなユーザに対しても操作する操作子２を効率よく教示することができる。このため、ユーザは、前記楽曲データに基づく演奏を効率よく練習することができる。

【0085】

本装置６は、例えば、スピーカー等の再生機構を含んでもよい。前記再生機構は、楽音入力装置１から入力された音を再生する。また、本装置６は、例えば、外部の再生装置（スピーカー、イヤホン、ヘッドフォン等）と接続し、楽音入力装置１から入力された音を前記外部の再生装置から再生してもよい。

【0086】

操作子指示オブジェクト表示処理部１１３が、さらに、シフト情報付加部１１３３を含む場合について説明する。この場合、前記工程（Ｓ１３）において、図２１に示すように、シフト情報付加部１１３３により、前記操作子のシフト状態を示すシフト情報を操作子指示オブジェクト４及び表示領域３の少なくとも一方に付加する（Ｓ１３３）。図２１では、例えば、操作すべき操作子のシフト状態が「アップシフト状態」である場合、それに対応する操作子指示オブジェクト４の表示領域内にシフト情報として「＜＜」を付加して表示する。また、操作すべき操作子のシフト状態が「ダウンシフト状態」である場合、それに対応する操作子指示オブジェクト４の表示領域内にシフト情報として「＞＞」を付加して表示する。一方で、操作すべき操作子のシフト状態が「ニュートラルシフト状態」である場合、それに対応する操作子指示オブジェクト４の表示領域内にシフト情報を付加せず表示してもよい。このように、前記シフト情報は、記号でもよいし、文字でもよい。また、シフト情報を付加する場所は、特に制限されず、例えば、図２１に示すように、他の操作子に対応する操作子指示オブジェクト４の表示領域内にも表示してもよいし、操作すべき操作子に対応する操作子指示オブジェクト４の表示領域内のみに表示してもよいし、操作子指示オブジェクト４内でもよいし、操作子指示オブジェクト４外の（例えば、タイミング線５側の操作子指示オブジェクト４の端部外）でもよい。前記工程（Ｓ１３３）は、例えば、前記工程（Ｓ１３１）及び前記工程（Ｓ１３２）の処理と並行して処理してもよいし、順番に処理してもよい。前記順番は、特に制限されない。

【0087】

操作子指示オブジェクト表示処理部１１３が、さらに、文字情報付加部１１３４を含む場合について説明する。この場合、前記工程（Ｓ１３）において、図２１に示すように、文字情報付加部１１３４により、前記音情報又は前記楽譜データの歌詞情報の少なくとも一方を文字情報として操作子指示オブジェクト４及び表示領域３の少なくとも一方に付加する（Ｓ１３４）。前記音情報は、具体的に、例えば、前記単音モードの時の音情報は、階名であり、前記和音モードの時の音情報は、和音名である。前記文字情報を付加する場所は、特に制限されず、例えば、図２１に示すように、操作子指示オブジェクト４内でもよいし、操作子指示オブジェクト４外の（例えば、タイミング線５側の操作子指示オブジェクト４の端部外の表示領域３）でもよい。前記工程（Ｓ１３４）は、例えば、前記工程（Ｓ１３１）から前記工程（Ｓ１３３）の処理と並行して処理してもよいし、順番に処理してもよい。前記順番は、特に制限されない。

【0088】

操作子指示オブジェクト表示処理部１１３は、例えば、移動表示処理部１１６により、操作子指示オブジェクト４がタイミング線５に操作子到達した場合、操作子指示オブジェクト４の視覚特徴を変化させてもよい。前記視覚特徴の変化として、具体的に、例えば、操作子指示オブジェクト４の輝度、枠線等の色等がある。

【0089】

［実施形態４―２］
ユーザが前記楽曲データによらず、自由に演奏する場合の本装置６の形態について説明する。特に言及しない場合は、前述の各部の記載を援用できる。具体的に、例えば、前記音情報を、「入力音情報」と読み替えることで、本変形例に適用可能である。音情報取得部１１１は、例えば、さらに、前記楽音入力装置から前記操作子を介して入力された音を示す入力音情報を取得してもよい。前記入力音情報は、例えば、音情報履歴ともいう。前記音履歴情報は、例えば、本装置６に記憶されてもよい。操作子指示オブジェクト表示処理部１１３は、前記入力音情報を取得した順序（すなわち、入力された順序）に沿って、前記入力音情報を入力した前記操作子の表示領域３内に、操作子指示オブジェクト４を表示する処理を実行する。具体的に、操作子指示オブジェクト４は、例えば、操作子指示オブジェクト表示処理部１１３により、タイミング線５から出現する。長短調節部１１３１は、前記入力音情報における音毎の長短に基づき、表示する操作子指示オブジェクト４の長短を調節する。段階情報付加部１１３３は、前記操作子の段階を示す段階情報を操作子指示オブジェクト４に付加する。移動表示処理部１１６は、前記表示領域に表示された操作子指示オブジェクト４をタイミング線５と反対方向に流れるように移動させる。すなわち、操作子指示オブジェクト４は、タイミング線５から離れていく。本実施形態によれば、例えば、ユーザ自身または他のユーザが音情報履歴を視覚的に把握することができる。

【0090】

（変形例４－１）
楽譜教示装置６の別の形態について説明する。以下において、特に言及しない限り、本変形例の楽譜教示装置６は、前述の楽譜教示装置６の記載を援用できる。

【0091】

図１８（Ｂ）は、本実施形態の楽譜教示装置６の一例の構成を示すブロック図である。図１８（Ｂ）に示すように、本装置６は、音情報取得部２１１、撮像部２１２、位置認識部２１３、表示領域設定部２１４、操作子指示オブジェクト表示処理部２１５、記憶部２１６、及び移動表示処理部２１７を含む。操作子指示オブジェクト表示処理部１１３は、さらに、長短調節部１１３１、段階情報付加１１３２、シフト情報付加部１１３３、及び文字情報付加部１１３４を含む。シフト情報付加部１１３３、及び文字情報付加部１１３４は、任意の構成であり、本装置６に含まれなくてもよい。

【0092】

図１９（Ｂ）に、本装置６のハードウエア構成のブロック図を例示する。本装置６のハードウエア構成は、例えば、図１９（Ｂ）に示すように、中央処理装置１０１が音情報取得部２１１、位置認識部２１３、表示領域設定部２１４、操作子指示オブジェクト表示処理部２１５、及び移動表示処理部２１７として機能し、記憶部２１６がメモリ１０２及び記憶装置１０４を使用でき、撮像部２１２として機能する撮像装置１０８を含む点を除き、図６に示す楽音入力装置１のハードウエア構成と同様である。撮像装置１０８は、例えば、カメラ等である。

【0093】

本装置６は、ユーザの頭部に装着可能な装置である。具体的には、例えば、ゴーグル型、メガネ型、ヘッドセット型等のＡＲ（Augmented Reality）装置が挙げられる。すなわち、本装置６は、例えば、前記ユーザが本装置６を頭部に装着した状態で、画像（操作子指示オブジェクト４等）を前記ディスプレイ（表示装置１０６）に表示可能である。また、本装置６がメガネ型の場合は、例えば、レンズにプロジェクタ（表示装置１０６）で映像を映すことで、前記ユーザに画像（操作子指示オブジェクト４等）を表示可能であってもよい。撮像装置１０８は、例えば、前記ユーザが本装置６を頭部に装着した状態において、前記ユーザの正面方向を撮像する。本装置６は、例えば、スタンドアロン型の装置でもよいし、スタンドアロン型の装置でなくともよい。

【0094】

つぎに、本変形例の楽譜教示方法の一例を、図２０（Ｂ）のフローチャートに基づき説明する。本変形例の楽譜教示方法は、例えば、図１８（Ｂ）の楽譜教示装置６を用いて、次のように実施する。なお、本変形例の楽譜教示方法は、図１８（Ｂ）の楽譜教示装置６の使用には限定されない。

【0095】

まず、音情報取得部２１１により、少なくとも３段階の操作が可能な操作子を含む楽音入力装置から、各操作子及び前記各操作子の段階毎に割り当てられている音を示す音情報を取得する（Ｓ２１）。具体的には、図２０（Ａ）に示す前記工程（Ｓ１１）と同様である。

【0096】

次に、撮像部２１２により、楽音入力装置１の本体３０の上面に配置されている拡張現実用位置マーカ９０を撮像する（Ｓ２２）。前記撮像の形式は、特に制限されず、例えば、静止画として撮像してもよいし、動画として撮像してもよい。

【0097】

次に、位置認識部２１３により、拡張現実用位置マーカ９０に基づき、楽音入力装置１の位置情報を認識する（Ｓ２３）。前記位置情報は、例えば、楽音入力装置１の位置に限らず、操作子２の位置、楽音入力装置１及び操作子２の横幅、縦幅、奥行き等を含む情報である。

【0098】

次に、表示領域設定部２１４により、各操作子２を始点とした直線上の一定の現実空間を仮想画像表示領域と設定する（Ｓ２４）。前記仮想画像表示領域の範囲は、特に制限されず、例えば、各操作子２を始点として、１ｍ以内、２ｍ以内、５ｍ以内、１０ｍ以内等であり、任意に設定できる。以下、本変形例における本装置６は、前記実施形態４－１及び前記実施形態４－２における前記表示領域を、前記仮想画像表示領域と読み替えることで、各記載を援用可能である。

【0099】

前記工程（Ｓ２１）と、前記工程（Ｓ２２）～前記工程（Ｓ２４）は、例えば、並行して処理してもよいし、順番に処理してもよい。前記順番は、特に制限されない。

【0100】

次に、操作子指示オブジェクト表示処理部２１５により、記憶部２１６に記憶している楽譜データのリズム情報に沿って、前記楽譜データの音情報と同一の音情報が割り振られている操作子２の前記仮想画像表示領域内に、前記同一の音情報を操作子指示オブジェクト４として重畳して表示する処理を実行する（Ｓ２５）。すなわち、操作子指示オブジェクト４は、仮想画像である点を除き、前述と同様である。図２２に、本変形例における操作子指示オブジェクト４及び仮想画像表示領域の一例を示す。図２２において、本装置６は、ゴーグル型の装置として示すが、前述のように、これに限定されない。操作子指示オブジェクト４は、例えば、図２２に示すように、立体形状でもよいし、平面形状でもよい。また、操作子指示オブジェクト４は、例えば、四角柱（四角形）でもよいし、楕円形でもよいし、その他の形状でもよい。操作子指示オブジェクト４以外は、例えば、撮像部２１２を介して、前記ディスプレイに表示される現実空間の画像であってもよいし、前記レンズを通してユーザが視認できる現実空間そのものであってもよい。

【0101】

また、前述と同様に、長短調節部１１３１による操作子指示オブジェクト４の長短の調節（Ｓ２５１）、段階情報付加部１１３２による前記段階情報の付加（Ｓ２５２）、を実行する。さらに、例えば、シフト情報付加部１１３３による前記シフト情報の付加（Ｓ２５３）、及び文字情報付加部１１３４による前記文字情報の付加（Ｓ２５４）等を実行してもよい。

【0102】

そして、移動表示処理部２１７により、図２２に示すように、前記楽譜データに基づいて演奏ができるように、前記仮想画像表示領域に表示された操作子指示オブジェクト４を前記始点に向かって流れるように移動させ（Ｓ２６）、終了する（ＥＮＤ）。「操作子指示オブジェクト４を前記始点に向かって流れるように移動」とは、例えば、図２２に示すように、仮想画像表示領域の上から下方向（すなわち、操作子２上に操作子指示オブジェクト４を降らすともいう）、下から上方向、左から右方向、右から左方向等の平面空間における方向への移動でもよいし、奥から手前方向、手前方向から奥方向等の３次元空間における方向への移動でもよい。また、移動表示処理部２１７は、例えば、前記始点を通過した操作子指示オブジェクト４を前記仮想画像表示領域から消してもよい。具体的には、例えば、操作子指示オブジェクト４の一方の端部から他方の端部まで前記始点を通過したときに、当該操作子指示オブジェクト４を消してもよいし、前記始点を通過した操作子指示オブジェクト４の一方の端部から徐々に消してもよい。すなわち、操作子指示オブジェクト４は、例えば、操作する操作子２を教示する。一方で、移動表示処理部２１７は、例えば、ユーザが操作子指示オブジェクト４に対応する操作子２を操作するまで、操作子指示オブジェクト４が前記始点を通過する直前で前記移動を停止させてもよい。そして、移動表示処理部２１７は、例えば、ユーザが操作子指示オブジェクト４に対応する操作子２を操作した場合に、前記移動を再開させる。なお、「操作子指示オブジェクト４に対応する操作子２」とは、例えば、当該操作子２の仮想画像表示領域上の操作子指示オブジェクト４のことである。これにより、本装置６は、楽音入力装置１の操作に不慣れなユーザに対しても操作する操作子２を効率よく教示することができる。このため、ユーザは、前記楽曲データに基づく演奏を効率よく練習することができる。

【0103】

操作子指示オブジェクト表示処理部２１５は、例えば、移動表示処理部２１７により、操作子指示オブジェクト４が前記始点に操作子到達した場合、操作子指示オブジェクト４の視覚特徴を変化させてもよい。前記視覚特徴の変化として、例えば、前述と同様である。

【0104】

（変形例４－２）
ユーザが前記楽曲データによらず、自由に演奏する場合の本装置６の形態について説明する。特に言及しない場合は、前述の各部の記載を援用できる。具体的に、例えば、前記音情報を、「入力音情報」と読み替えることで、本変形例に適用可能である。音情報取得部２１１は、例えば、さらに、前記楽音入力装置から前記操作子を介して入力された音を示す入力音情報を取得してもよい。前記入力音情報は、例えば、音情報履歴ともいう。前記音履歴情報は、例えば、本装置６に記憶されてもよい。操作子指示オブジェクト表示処理部２１５は、前記入力音情報を取得した順序（すなわち、入力された順序）に沿って、前記入力音情報を入力した前記操作子の前記仮想画像表示領域内に、操作子指示オブジェクト４を表示する処理を実行する。具体的に、操作子指示オブジェクト４は、例えば、操作子指示オブジェクト表示処理部２１５により、前記始点から出現する。長短調節部１１３１は、前記入力音情報における音毎の長短に基づき、表示する操作子指示オブジェクト４の長短を調節する。段階情報付加部１１３３は、前記操作子の段階を示す段階情報を操作子指示オブジェクト４に付加する。移動表示処理部２１７は、前記仮想画像表示領域に表示された操作子指示オブジェクト４を前記始点と反対方向に流れるように移動させる。すなわち、操作子指示オブジェクト４は、前記始点から離れていく。本変形例によれば、例えば、ユーザ自身または他のユーザが音情報履歴を視覚的に把握することができる。

【0105】

本実施形態及び変形例によれば、操作子指示オブジェクト４によって操作する操作子２を教示できる。そして、本実施形態及び変形例によれば、操作子指示オブジェクト４による教示に応じて、ユーザが操作子２を押下することで、演奏を可能にする。また、拡張現実空間内で操作する操作子２を教示することで、より視認性の高い教示が可能になる。

【0106】

［実施形態５］
本実施形態の演奏システム装置は、前記実施形態１及び前記変形例１－１～１－３記載の楽音入力装置１と、前記実施形態４、前記実施形態４－２、前記変形例４－１、及び前記変形例４－２記載の楽譜教示装置６とを含み、楽音入力装置１と楽譜教示装置６とは、通信回線網を介して、接続可能である。前記通信回線網は、特に制限されず、例えば、前述と同様である。

【0107】

［実施形態６］
本実施形態のプログラムは、前記各実施形態及び前記各変形例記載の方法を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。

【0108】

以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。

【0109】

この出願は、２０１９年１０月４日に出願された日本出願特願２０１９－１８３５５７を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

【産業上の利用可能性】

【0110】

本発明によれば、例えば、操作子の操作が容易性になる。このため、本発明は、例えば、楽器演奏やタイピング等に不慣れなユーザにおいて極めて有用である。

【符号の説明】

【0111】

１ 楽音入力装置、２ 操作子、２０ 操作子群、３０ 本体、１１０ スピーカー、１２０ 切替ボタン、１３０ 電源ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】