特開 2022-135214 演奏制御装置、演奏制御方法及び演奏制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022135214

(43)【公開日】2022-09-15

(54)【発明の名称】演奏制御装置、演奏制御方法及び演奏制御プログラム

(51)【国際特許分類】

   B25J 9/18 20060101AFI20220908BHJP

【ＦＩ】

B25J9/18

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021034873

(22)【出願日】2021-03-05

(71)【出願人】

【識別番号】390029805

【氏名又は名称】ＴＨＫ株式会社

(74)【代理人】

【識別番号】100112140

【弁理士】

【氏名又は名称】塩島 利之

(74)【代理人】

【識別番号】100119297

【弁理士】

【氏名又は名称】田中 正男

(72)【発明者】

【氏名】永塚 正樹

(72)【発明者】

【氏名】奥 成郁

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS36

3C707BS27

3C707ES01

3C707ES04

3C707HS27

3C707JU02

3C707KS39

3C707KT15

3C707LS00

3C707LV14

3C707MT01

3C707MT14

3C707WA03

3C707WM11

3C707WM25

(57)【要約】

【課題】ユーザの簡単な操作入力によってロボットに楽器を演奏させることができる演奏制御装置を提供する。
【解決手段】演奏制御装置は、ロボットの手部の位置及びロボットの手部が楽器を操作するタイミングを含む演奏モーションを表す図形（５０ａ～５４）を表示装置に表示する表示制御部と、ユーザによる図形（５０ａ～５４）の操作入力に応じて、演奏モーションを編集する編集部と、編集部によって編集された演奏モーションの情報に基づいて、ロボットを動作させるジョブプログラムを生成するジョブ生成部と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

ロボットに楽器を演奏させるための演奏制御装置であって、
前記ロボットの手部の位置及び前記ロボットの手部が楽器を操作するタイミングを含む演奏モーションを表す図形を表示装置に表示する表示制御部と、
ユーザによる前記図形の操作入力に応じて、前記演奏モーションを編集する編集部と、
前記編集部によって編集された前記演奏モーションの情報に基づいて、前記ロボットを動作させるジョブプログラムを生成するジョブ生成部と、を備える演奏制御装置。

【請求項2】

前記ロボットの手部が楽器を操作するタイミングは、前記ロボットの少なくとも一つの指部が楽器を押すタイミングであることを特徴とする請求項１に記載の演奏制御装置。

【請求項3】

前記演奏モーションは、前記ロボットの複数の指部のうち楽器を押す少なくとも１つの指部の選択を含むことを特徴とする請求項２に記載の演奏制御装置。

【請求項4】

前記演奏モーションは、前記ロボットの少なくとも１つの指部が楽器を押した状態の持続時間を含むことを特徴とする請求項２又は３に記載の演奏制御装置。

【請求項5】

前記演奏モーションは、前記ロボットの少なくとも１つの指部が楽器を押すタイミングの前に、前記ロボットの少なくとも１つの指部が楽器を押す動作を開始してから実際に楽器を押すまでの前処理時間を含むことを特徴とする請求項２ないし４のいずれか一項に記載の演奏制御装置。

【請求項6】

前記演奏モーションは、前記ロボットの手部を移動させるタイミングを含むことを特徴とする請求項１ないし５のいずれか一項に記載の演奏制御装置。

【請求項7】

前記演奏モーションは、演奏に無関係なロボットの一部を動作させる振付けモーションを含むことを特徴とする１ないし６のいずれか一項に記載の演奏制御装置。

【請求項8】

前記表示制御部は、前記編集部によって編集された前記演奏モーションの情報に基づいて、前記表示装置に押下中の指部の音階を表示することを特徴とする請求項２ないし５のいずれか一項に記載の演奏制御装置。

【請求項9】

前記演奏制御装置は、前記編集部によって編集された前記演奏モーションの情報に基づいて、シミュレーション用の音を鳴らすようにサウンドシステムを制御するサウンド制御部を備えることを特徴とする請求項８に記載の演奏制御装置。

【請求項10】

ロボットに楽器を演奏させるための演奏制御方法であって、
前記ロボットの手部の位置及び前記ロボットの手部が楽器を操作するタイミングを含む演奏モーションを表す図形を表示装置に表示する表示ステップと、
ユーザによる前記図形の操作入力に応じて、前記演奏モーションを編集する編集ステップと、
前記編集部によって編集された前記演奏モーションの情報に基づいて、前記ロボットを動作させるジョブプログラムを生成するジョブ生成ステップと、を備える演奏制御方法。

【請求項11】

ロボットに楽器を演奏させるための演奏制御プログラムであって、
コンピュータに、
前記ロボットの手部の位置及び前記ロボットの手部が楽器を操作するタイミングを含む演奏モーションを表す図形を表示装置に表示する表示機能と、
ユーザによる前記図形の操作入力に応じて、前記演奏モーションを編集する編集機能と、
前記編集部によって編集された前記演奏モーションの情報に基づいて、前記ロボットを動作させるジョブプログラムを生成するジョブ生成機能と、を実現させる演奏制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットに楽器を演奏させるための演奏制御装置、演奏制御方法及び演奏制御プログラムに関する。

【背景技術】

【0002】

特許文献１には、ロボットに楽器を演奏させるための演奏制御装置が開示されている（特許文献１参照）。演奏制御装置は、演奏制御プログラムが組み込まれたコンピュータからなる。

【0003】

演奏制御装置は、演奏制御プログラムを実行することにより、音楽に応じた多数のモーション（姿勢）指令を順次ロボットに送信する。ロボットは、演奏制御装置から送信された多数のモーション（姿勢）指令に基づいて、その手部と指部を順次動作させる。具体的には、ロボットは、その手部を楽器（ピアノの鍵盤）の所定位置まで移動させ、指部で楽器（ピアノの鍵盤）を押す。これにより、ロボットが楽器を演奏する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平８－１５６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の演奏制御装置においては、ユーザが楽器の各音階に対応するロボットのモーション（姿勢）をあらかじめ登録しておき、ユーザが音楽に応じた多数のモーション（姿勢）指令を作成する必要がある。

【0006】

このため、例えば指が３本あるロボットで２オクターブ（２４音）の音階を持つ楽器を演奏するためには、７２種類のモーション（姿勢）を登録しておく必要があり、全姿勢を管理するのが大変であるという課題がある。また、ロボットの操作入力に精通しているユーザしかモーション（姿勢）指令を作成できないという課題もある。

【0007】

本発明は、上記の課題を鑑みてなされたものであり、ユーザの簡単な操作入力によってロボットに楽器を演奏させることができる演奏制御装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明の一態様は、ロボットに楽器を演奏させるための演奏制御装置であって、前記ロボットの手部の位置及び前記ロボットの手部が楽器を操作するタイミングを含む演奏モーションを表す図形を表示装置に表示する表示制御部と、ユーザによる前記図形の操作入力に応じて、前記演奏モーションを編集する編集部と、前記編集部によって編集された前記演奏モーションの情報に基づいて、前記ロボットを動作させるジョブプログラムを生成するジョブ生成部と、を備える演奏制御装置である。

【0009】

本発明の他の態様は、ロボットに楽器を演奏させるための演奏制御方法であって、前記ロボットの手部の位置及び前記ロボットの手部が楽器を操作するタイミングを含む演奏モーションを表す図形を表示装置に表示する表示ステップと、ユーザによる前記図形の操作入力に応じて、前記演奏モーションを編集する編集ステップと、前記編集部によって編集された前記演奏モーションの情報に基づいて、前記ロボットを動作させるジョブプログラムを生成するジョブ生成ステップと、を備える演奏制御方法である。

【0010】

本発明のさらに他の態様は、ロボットに楽器を演奏させるための演奏制御プログラムであって、コンピュータに、前記ロボットの手部の位置及び前記ロボットの手部が楽器を操作するタイミングを含む演奏モーションを表す図形を表示装置に表示する表示機能と、ユーザによる前記図形の操作入力に応じて、前記演奏モーションを編集する編集機能と、前記編集部によって編集された前記演奏モーションの情報に基づいて、前記ロボットを動作させるジョブプログラムを生成するジョブ生成機能と、を実現させる演奏制御プログラムである。

【発明の効果】

【0011】

本発明によれば、ロボットの手部に焦点を当てたユーザインターフェースを使用して演奏モーションを作成するので、ロボットの手部の位置や手部の楽器操作のタイミングが分かり易く、ユーザの簡単な操作入力によってロボットに楽器を演奏させることができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態の演奏制御装置によって制御されるロボットの斜視図である。

【図2】上記ロボットの手部の詳細図である。

【図3】本実施形態の演奏制御装置のハードウェア構成例を示すブロック図である。

【図4】本実施形態の演奏制御装置の機能構成例を示すブロック図である。

【図5】演奏モーションを表す図形の例を示す図である。

【図6】演奏モーションを表す図形の例を示す図である。

【図7】演奏モーションを表す図形とロボットの指部の動作との対応関係を示す図である（図７（ａ）は演奏モーションを表す図形を示し、図７（ｂ１）～（ｂ３）はロボットの指部の動作を示す）。

【図8】演奏モーションを表す図形とロボットの指部の動作との対応関係を示す図である（図８（ａ）は演奏モーションを表す図形を示し、図８（ｂ１）（ｂ２）はロボットの指部の動作を示す）。

【図9】演奏モーションを表す図形とロボットの動作との対応関係を示す図である（図９（ａ）（ｂ）は演奏モーションを表す図形を示し、図９（ｃ１）（ｃ２）はロボットの指部の動作を示す）。

【図10】図１０（ａ）は楽譜を表す図形の例を示し、図１０（ｂ）は演奏モーションを表す図形の例を示す。

【図11】初期設定画面の例を示す図である。

【図12】ロボットの手部の移動範囲を示す図である。

【図13】図１３（ａ）はロボットの左側の手部が指板を持つ例を示し、図１３（ｂ）はロボットの右側の手部が指板を持つ例を示す。

【図14】初期設定画面の他の例を示す図である。

【図15】ロボットの手部の移動範囲を示す図である。

【発明を実施するための形態】

【0013】

以下、添付図面に基づいて、本発明の実施形態の演奏制御装置、演奏制御方法及び演奏制御プログラムを説明する。ただし、本発明は種々の形態で具体化することができ、本明細書に記載される実施形態に限定されるものではない。本実施形態は、明細書の開示を十分にすることによって、当業者が発明を十分に理解できるようにする意図をもって提供されるものである。
＜ロボットの構成＞

【0014】

図１は、本実施形態の演奏制御装置２１によって制御されるロボット１の斜視図である。ロボット１は、例えば人間型ロボットであり、腰部２と、腰部２に腰関節３を介して連結される胴部４と、胴部４に肩関節５を介して連結される左右（ロボット側からみ見た左右）２本の腕部６と、胴部４に首関節１０を介して連結される頭部１１と、を備える。各腕部６は、上腕部７と、上腕部７に肘関節９を介して連結される下腕部８と、を備える。下腕部８には、手首関節１２を介して手部１４が連結される。手部１４は、手平部１３（図２参照）と、手平部１３に指関節１６を介して連結される指部１５を有する。ロボット１の各関節は、サーボモータによって駆動される。なお、ロボットは、手部１４を有して楽器を演奏するものであれば、人間型ロボットに限定されるものではない。

【0015】

図２は、ロボット１の手部１４の詳細図である。手平部１３には、円盤１７を回転させるサーボモータ１８が設けられる。各円盤１７と各指部１５は、ロッド１９を介して連結される。サーボモータ１８を駆動させることによって、指部１５が指関節１６を中心にして回転し、指部１５が楽器２０を押し下げたり、楽器２０から指部１５を離したりする。１４ｂは楽器の保持部である。なお、図２では、複数本（３本）の指部１５が動作可能に構成されているが、動作可能な指部１５は１本でもよい。また、手部１４は楽器に合わせて適宜構成すればよい。

【0016】

図１に示すように、楽器２０は指板２０ａを有する。楽器２０は、例えば電子楽器である。この楽器２０では、ロボット１の手部１４の指部１５が指板２０ａを押すだけで音が出て、指部１５が指板２０ａを押す位置を変えることで音階が変わる。なお、楽器は電子楽器に限られることはなく、ピアノ等の鍵盤楽器でもよいし、リコーダ等の吹奏楽器でもよく、ギター等の弦楽器でもよいし、太鼓等の打楽器でもよい。

【0017】

ロボット１は、演奏制御装置２１によって制御される。演奏制御装置２１は、人間と同様にロボット１が音楽に合わせて楽器を演奏するように、ロボット１の各関節のサーボモータ１８を制御する。すなわち演奏制御装置２１は、ロボット１の手部１４が楽器２０に沿って移動し（この実施形態では、手部１４が指板２０ａに沿って移動し）、かつロボット１の手部１４が楽器２０を操作する（この実施形態では、指部１５が指板２０ａを押す）ように、ロボット１の各関節のサーボモータ１８を制御する。なお、ロボット１の手部１４による楽器２０の操作は、上記実施形態に限られることはなく、例えば、鍵盤楽器の場合、ロボット１の指部１５が鍵盤を押してもよく、吹奏楽器の場合、ロボット１の指部１５が音孔を塞いでもよく、弦楽器の場合、ロボット１の手部１４が直接又は弓等を用いて弦を引いてもよく、打楽器の場合、ロボット１の手部１４が直接又はばち等を用いて打楽器を叩いてもよい。
＜演奏制御装置のハードウェア構成＞

【0018】

図３は、本実施形態の演奏制御装置２１のハードウェア構成例を示すブロック図である。演奏制御装置２１のハードウェアは、例えばパーソナルコンピュータ等の汎用情報処置装置である。

【0019】

図３に示すように、演奏制御装置２１は、ＣＰＵ２２、ＲＯＭ２３、ＲＡＭ２４、表示装置２５、キーボード２６、マウス２７、記憶装置２８、通信インターフェース２９、ＶＲＡＭ３０、キースキャン回路３１、マウススキャン回路３２、音源部３３、サウンドシステム３４、バス３５を備える。表示装置２５は、ＶＲＡＭ３０を介してバス３５に接続される。キーボード２６は、キースキャン回路３１を介してバス３５に接続される。マウス２７は、マウススキャン回路３２を介してバス３５に接続される。マウス２７は、タブレット、タッチスクリーン、タッチパネル等であってもよい。

【0020】

表示装置２５は、液晶ディスプレイ、有機ＥＬディスプレイ等である。表示装置２５には、後述する演奏モーションを表す図形が表示される。ユーザは、マウス２７を操作することにより、表示装置２５上に表示されるカーソルを移動させ、指示を行うことができる。マウススキャン回路３２は、マウス２７の移動及び操作を検出し、バス３５を介して検出信号をＣＰＵ２２に出力する。キーボード２６は、文字、数字、記号等を入力するためのキーを有する。キースキャン回路３１は、キーボード２６のオン・オフを検出し、検出信号をＣＰＵ２２に出力する。

【0021】

記憶装置２８は、例えばハードディスク、ＣＤ－ＲＯＭ、ＤＶＤ、又はメモリーカード等である。記憶装置２８には、後述する演奏制御プログラム、後述する演奏モーションを表す図形の描画情報、後述する編集部によって編集された演奏モーションの情報、後述するロボット１の姿勢の情報等が記憶される。

【0022】

ＣＰＵ２２は、記憶装置２８に記憶されている演奏制御プログラムをＲＡＭ２４に展開し、ＲＡＭ２４に展開された演奏制御プログラムを実行することにより、演奏制御装置２１の全体を制御する。ＲＡＭ２４は、ＣＰＵ２２の処理に使用される情報を一次的に記憶する。

【0023】

通信インターフェース２９は、ＵＳＢ、ＬＡＮ、又はインターネット等の通信ネットワークに接続されるインターフェースである。通信インターフェース２９には、有線又は無線でロボット１が接続される。通信インターフェース２９はロボット１に信号を送信し、ロボット１から信号を受信する。

【0024】

音源部３３は、音源としてのソフトウェアや効果付与のためのＤＳＰを含む。音源部３３は、後述する編集部によって編集された演奏モーションの情報に基づいてサウンド信号を生成し、サウンド信号をサウンドシステム３４に出力する。サウンドシステム３４は、Ｄ／Ａ変換器、アンプ及びスピーカを有し、サウンド信号に基づいてシミュレーション用の音を鳴らす。
＜演奏制御装置の機能構成＞

【0025】

図４は、本実施形態の演奏制御装置２１の機能構成例を示すブロック図である。演奏制御装置２１は、表示制御部４１、編集部４２、ジョブ生成部４３、サウンド制御部４４を備える。これらの機能構成は、ＣＰＵ２２が演奏制御プログラムを実行することにより実現される。

【0026】

表示制御部４１は、ロボット１の手部１４の位置及びロボット１の手部１４が楽器２０を操作するタイミングを含む演奏モーションを表す図形を表示装置２５に表示する。編集部４２は、ユーザによる図形の操作入力に応じて、演奏モーションの情報を編集する。ジョブ生成部４３は、編集部４２によって編集された演奏モーションの情報に基づいて、ロボット１を動作させるジョブプログラムを生成する。ジョブ生成部４３が生成したジョブプログラムは、通信インターフェース２９を介してロボット１に送信される。サウンド制御部４４は、編集部４２によって編集された演奏モーションの情報に基づいて、シミュレーション用の音を鳴らすように音源部３３とサウンドシステム３４を制御する。
＜演奏制御装置の具体的な処理＞

【0027】

上記のように構成された演奏制御装置２１における具体的な処理及びユーザの操作入力について図５ないし図９を参照して説明する。

【0028】

まず、演奏制御装置２１の表示制御部４１は、演奏モーションを表す図形を表示装置２５に表示する。図５は、表示装置２５に表示される演奏モーションを表す図形５０ａ～５４の例を示す。図６に示すように、演奏モーションを表す図形５０ａ～５４は、表示装置２５の演奏モーション表示領域１０１に表示される。

【0029】

図５の図形５０ａは、楽器２０の指板２０ａを表す。３つの〇５１ａ～５１ｃは、ロボット１の３つの指部１５を表す。３つの○５１ａ～５１ｃを代表する１番上の〇５１ａの上下方向の位置が指板２０ａ上のロボット１の手部１４の位置を表す。●５１ｃは、３つの指部１５のうち、ユーザの操作入力によって選択された指部１５（楽器２０を押す指部１５）を表す。●５１ｃがロボット１の指部１５が楽器２０を押すタイミングを表す。●５１ｃから右側に延びる斜線の帯５２がロボット１の指部１５が楽器２０を押した状態の持続時間を表す。●５１ｃから左側に延びる斜線の帯５３は、ロボット１の指部１５が楽器２０を押す動作を開始してから実際に楽器２０を押すまでの前処理時間を表す。ドットが附された矩形ゾーン５４は、ロボット１の手部１４を移動させる（ロボット１の腕部６を動かす）タイミングを表す。図５の横軸が時間を示し、図５の縦軸が指板２０ａ上の手部１４の位置を示す。図形５５は、音楽の速度に合わせたタイミングインジケータである。

【0030】

次に、編集部４２は、ユーザによる図形５０ａ，５１～５４の操作入力に応じて、演奏モーションを編集する。例えばユーザがマウス２７で複数の○５１ａ，５１ｂ，５１ｃのうちの１つの〇５１ｃをクリックすると、編集部４２は、楽器２０を押す指部１５として、〇５１ｃが表す、ロボット１の一番下の指部１５を選択する。表示制御部４１は、ユーザによって選択された○５１ｃを●５１ｃに変更する。

【0031】

また、例えばユーザがマウス２７で図形５０ａと●５１ｃをドラッグ＆ドロップすると、編集部４２は、●５１ｃが表す、ロボット１の指部１５が楽器２０を押すタイミングを決定する。表示制御部４１は、図形５０ａと●５１ｃの左右方向の位置を変更して表示する。

【0032】

さらに、例えばユーザがマウス２７で帯５２の右端をドラッグ＆ドロップすると、編集部４２は、帯５２が表す、ロボット１の指部１５が楽器２０を押した状態の持続時間を決定する。表示制御部４１は、帯５２の長さを変更して表示する。

【0033】

さらに、例えばユーザがマウス２７で帯５３の左端をドラッグ＆ドロップすると、編集部４２は、帯５３の長さが表す、ロボット１の指部１５が楽器２０を押す動作を開始してから実際に楽器２０を押すまでの前処理時間を決定する。表示制御部４１は、帯５３の長さを変更して表示する。

【0034】

さらに、例えばユーザがマウス２７で矩形ゾーン５４をドラッグ＆ドロップすると、編集部４２は、矩形ゾーン５４が表す、ロボット１の手部１４が移動するタイミングを決定する。表示制御部４１は、矩形ゾーン５４を変更して表示する。

【0035】

図７は、演奏モーションを表す図形である●５１ｂ，帯５２，帯５３とロボット１の指部１５の動作との対応関係を示す図である。図７（ａ）の帯５３は、図７（ｂ１）（ｂ２）に示すように、ロボット１の指部１５が楽器２０を押す動作を開始してから実際に楽器２０を押すまでの前処理時間（指部１５の移動時間）を表す。帯５３の長さを調節することで、●５１ｂの時点で確実に音を鳴らすことが可能になる。また、帯５３の長さを調節することで、指部１５の速度を調節できる（例えば帯５３の長さが短いと、指部１５が素早く動作する）ので、鍵盤楽器や打楽器で音の強弱を調節できる。

【0036】

図７（ａ）の●５１ｂは、図７（ｂ２）に示すように、ロボット１の指部１５が楽器２０を押すタイミングを表す。図７（ａ）の帯５２は、ロボット１の指部１５が楽器２０を押した状態の持続時間を表す。図７（ａ）の領域１０２（帯５２がない区間）は、図７（ｂ３）に示すように、指部１５が楽器２０から離れている時間を表す。ユーザの操作入力により、●５１ｂの位置と帯５２の長さを調節することで、音が鳴るタイミング、音の持続時間を調節することができる。

【0037】

●５１ｂの上下方向の位置は、楽器２０の指板２０ａ上の指部１５の位置を表すので、ユーザの操作入力により、●５１ｂの上下方向の位置を調節することで、音階を調節することができる。

【0038】

図８は、演奏モーションを表す図形である矩形ゾーン５４とロボット１の指部１５の動作との対応関係を示す図である。図８（ａ）の矩形ゾーン５４は、ロボット１の手部１４を移動させるタイミングを表す。矩形ゾーン５４の幅が広いと、ロボット１の手部１４がゆっくり移動し、矩形ゾーン５４の幅が狭いと、ロボット１の手部１４が素早く移動する。

【0039】

図８（ａ）に示すように、帯５２と矩形ゾーン５４を重ねると、図８（ｂ１）（ｂ２）に示すように、ロボット１の指部１５が楽器２０を押しながらロボット１の手部１４を移動させることができる。このため、音を鳴らしながら音階を滑らかに変化させるスライド演奏が可能になる。図８（ａ）の領域１０３に示すように、●５１ｂの左側の帯５３の長さをゼロにして、一つ前の●５１ｂの右側の帯５２を●５１ｂに近づけると、●５１ｂが表す指部１５で楽器２０を押し続けることができる。

【0040】

図９は、演奏モーションを表す図形である●５１ｂ，●５１ｃ，帯５２，帯５３とロボット１の動作との対応関係を示す図である。図９（ａ）に示すように、隣り合う●５１ｂが同じ指部１５であれば、帯５２と帯５３を重なるように配置することはできない。同じ指部１５が楽器２０を押す状態と楽器２０から離れた状態を両立できないからである。

【0041】

図９（ｂ）に示すように、隣り合う●５１ｂと●５１ｃが違う指部１５であれば、帯５２と帯５３を重なるように配置することができる。この場合、図９（ｃ１）に示すように、●５１ｂが表す指部１５（指２）が押下げ中に●５１ｃが表す指部１５（指３）が押下げ準備をし、図９（ｃ２）に示すように、指３が楽器２０を押すと同時に、指２が楽器から離れる。このように、帯５２と帯５３を重なるように配置することで、素早い指部１５の切り替えが可能になる。

【0042】

次に、ジョブ生成部４３は、編集部４２によって編集された演奏モーションの情報に基づいて、ロボット１を動作させるジョブプログラムを生成する。演奏モーションには、ロボット１の手部１４の位置及びロボット１の指部１５が楽器２０を押すタイミング等が含まれるので、ロボット１に楽器２０を演奏させることができる。
＜音階の表示、シミュレーション用の音の発生＞

【0043】

図６の領域１０４に示すように、表示制御部４１は、編集部４２によって編集された演奏モーション（手部１４の上下方向の位置、後述する指同士の距離、及び手部１４の位置と音階との関係）の情報に基づいて、表示装置２５にロボット１の押下中の指部１５の音階、例えばＣ４を表示すると共に、表示装置２５に指板２０ａ上の手部１４の位置、例えば０．１１０を表示する。

【0044】

サウンド制御部４４は、編集部４２によって編集された上記演奏モーションの情報に基づいて、シミュレーション用の音を鳴らすように音源部３３とサウンドシステム３４を制御する。これにより、編集した演奏モーションを実際のロボット１を動作させることなく、シミュレーション上で再生して確認できる。再生処理が開始されると、表示制御部４１は、タイミングインジケータを表す図形５５を右方向に移動させる。
＜振付けモーション＞

【0045】

演奏モーションには、演奏に無関係なロボット１の一部（頭部１１、胴部４等）を動作させる振付けモーションが含まれる。図６に示すように、表示制御部４１は、表示装置２５に振付けモーションを表す図形５６ａ，５６ｂを表示する。振付けモーションを表す図形５６ａ，５６ｂは、振付けモーション表示領域１０５に表示される。

【0046】

例えば、図形５６ａは、ロボット１の胴部４を左方向に回転させる動作を表し、図形５６ｂは、ロボット１の胴部４を右方向に回転させる動作を表す。振付けモーションは、予め登録、すなわち記憶装置２８に記憶されている。

【0047】

編集部４２は、ユーザによる操作入力、例えばマウス２７で図形５６ａ，５６ｂをドラッグ＆ドロップに応じて、振付けモーションを編集する。編集部４２は、演奏モーションを編集した後に、振付けモーションを追加編集する。なお、ロボット１の腕部６の動作振付けモーションは、ロボット１の腕部６の演奏モーションによって上書きされる。編集部４２は、ロボット１関節角度の時系列データ等の振付けモーションであっても、演奏モーションとの合わせ込みが可能である。

【0048】

振付けモーションとして、指板２０ａを持つ手部１４と逆側の手部１４を動作させることもできる。この場合、編集部４２は、ユーザの操作入力、例えばユーザがマウス２７を用いて楽器２０の保持部２０ｂ（図１参照）を表す図形５０をクリックする等により、図形５０が現れるタイミングで逆側の手部１４の指部１５が閉じる等の振付けモーションを作成する。

【0049】

ジョブ生成部４３は、編集部４２によって編集された振付けモーションの情報に基づいて、ロボット１を動作させる。これにより、ロボット１に演奏に合わせた振付けモーションをつけることができる。
＜楽譜を表すユーザインターフェース＞

【0050】

図１０（ａ）に示すように、表示制御部４１は、５線譜上に音符を配置した楽譜を表す図形６１を表示装置２５に表示してもよい。編集部４２は、ユーザの操作入力によって楽譜を編集する。楽譜を表す図形６１は一般的な音楽の楽譜に対応しているので、ユーザはより簡単に音楽を作成できる。

【0051】

表示制御部４１は、編集部４２によって編集された楽譜の情報に基づいて、図１０（ａ）に示す楽譜を表す図形６１を、図１０（ｂ）に示す演奏モーションを表す図形に変換する。手部１４の位置の微調整、手部１４を移動させるタイミング、楽器２０を押す指部１５の選択等は、図１０（ｂ）に示す演奏モーションを表す図形を用いて行われる。
＜初期設定＞

【0052】

図１１は、表示制御部４１が表示装置２５に表示する初期設定画面の例を示す。表示装置２５には、ロボット１の基準姿勢を設定するためのダイアログ６２が表示される。ユーザは、予め登録しておいたロボット１の姿勢を基準姿勢としてダイアログ６２に入力する。編集部４２は、演奏モーションを作成する際、設定されたロボット１の基準姿勢を加味する。ユーザが設定するロボット１の基準姿勢はこれだけでよく、音楽に応じて多数の姿勢を設定する必要はない。

【0053】

表示装置２５には、指板２０ａの長さを設定するためのダイアログ６３が表示される。図１２に示すように、指板２０ａの長さは、ロボット１の手部１４の移動範囲（腕部６の動作範囲）を表す。ユーザは、このダイアログ６３に手部１４の移動範囲を入力する。なお、編集部４２は、ロボット１の手部１４を移動させる演奏モーションを作成する際、ロボット１の指板２０ａを持つ手部１４をその甲に平行に移動させるように演奏モーションを作成する。編集部４２は、指板２０ａを持つ手部１４を、楽器２０を固定する方の手部１４に近づけるように演奏モーションを作成してもよい。

【0054】

表示装置２５には、楽器２０の指板２０ａを持つ手部１４と楽器２０を固定する手部１４を設定するためのダイアログ６６ａ，６６ｂが表示される。ユーザがダイアログ６６ａを選択すると、表示制御部４１がダイアログ６６ａに指板２０ａを持つ手部１４の選択肢（手部１４ａ又は手部１４ｂ（図１３（ａ）（ｂ）参照））を表示する。また、ユーザがダイアログ６６ｂを選択すると、表示制御部４１がダイアログ６６ａに指板２０ａを固定する手部１４の選択肢（手部１４ａ又は手部１４ｂ）を表示する。編集部４２は、ユーザの操作入力に応じて、図１３（ａ）に示すように、ロボット１の左側の手部１４ａが指板２０ａを持ち、右側の手部１４ｂが楽器２０を固定するように演奏モーションを作成するか、又は図１３（ｂ）に示すように、ロボット１がその反対に動作するように演奏モーションを作成する。これにより、ロボット１の、楽器２０を弾く手部１４と固定する手部１４をそれぞれ設定することができる。また、演奏モーション作成後であっても、ダイアログ６６ａ，６６ｂにて反対の手部１４に切り替えた上で、基準姿勢を切り替えることにより、ロボット１に反対側の手部１４で楽器２０を演奏させることができる。

【0055】

図１１に示すように、表示装置２５には、ロボット１の指部１５同士の距離を設定するためのダイアログ６７が表示される。また、表示装置２５には、手部１４の位置（ハンド位置）と音階（一番上の指の音名）との関係を設定するためのダイアログ６８が表示される。ダイアログ６８中のＣ３、Ｄ３、Ｅ３等は、ド、レ、ミ等の音階を表す。この設定を元に、表示制御部４１は、表示装置２５に押下中の指部１５の音階を表示する。

【0056】

図１４に示すように、初期設定画面において、指板２０ａの長さを設定する替わりに、ロボット１の基準姿勢１（符号６４）、基準姿勢２（符号６５）を設定するようにしてもよい。図１５に示すように、基準姿勢１はロボット１の手部１４の上端位置を表し、基準姿勢２はロボット１の手部１４の下端位置を表す。この場合、編集部４２は、基準姿勢１と基準姿勢２との間を按分して手部１４を移動させる演奏モーションを作成する。
＜本実施形態の演奏制御装置の効果＞

【0057】

以上に本実施形態の演奏制御装置２１の構成例、機能例、具体的な処理例を説明した。本実施形態の演奏制御装置２１によれば、以下の効果を奏する。

【0058】

ロボット１の手部１４に焦点を当てたユーザインターフェースを使用して演奏モーションを作成するので、ロボット１の手部１４の位置や手部１４の楽器操作のタイミングが分かり易く、ユーザの簡単な操作入力によってロボット１に楽器２０を演奏させることができる。

【0059】

ロボット１の姿勢を多数登録する必要がないので、ロボット１の姿勢の管理が容易である。

【0060】

ロボット１の指部１５が楽器２０を押すタイミングを設定することができる。

【0061】

複数の指部１５があるロボット１において、どの指部１５で指板２０ａを押すかを選択可能であり、指部１５の切り替えによる素早い演奏が可能である。

【0062】

演奏モーションを表す図形が帯５２を含むので、ロボット１の指部１５が楽器２０を押した状態の持続時間を設定することができる。

【0063】

演奏モーションを表す図形が帯５３を含むので、前処理時間を設定することができ、楽譜に合わせた最適なタイミングで音を鳴らすことが可能である。

【0064】

演奏モーションを表す図形が矩形ゾーン５４を含むので、スライド演奏等の、指板２０ａを持つ楽器２０の特性を活かした演奏が可能である。

【0065】

演奏モーションに振付けモーションを合わせ込むことも可能である。

【0066】

表示装置２５にロボット１の押下中の指部１５の音階を表示するので、実際にロボット１を動かさなくても演奏の確認が可能である。

【0067】

サウンド制御部４４がシミュレーション用の音を鳴らすので、実際にロボット１を動かさなくても演奏の確認が可能である。

【符号の説明】

【0068】

１…ロボット、１４…手部、１５…指部、２０…楽器、２１…演奏制御装置、３４…サウンドシステム、４１…表示制御部、４２…編集部、４３…ジョブ生成部、４４…サウンド制御部、５０ａ～５４…演奏モーションを表す図形

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】