知財求人 - 知財ポータルサイト「IP Force」
特開2024-81546オブジェクトの配置方法、音声の再生方法、オブジェクトの配置装置、音声の再生装置および演奏装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024081546
(43)【公開日】2024-06-18
(54)【発明の名称】オブジェクトの配置方法、音声の再生方法、オブジェクトの配置装置、音声の再生装置および演奏装置
(51)【国際特許分類】
G10L 21/10 20130101AFI20240611BHJP
G10G 1/00 20060101ALI20240611BHJP
【ＦＩ】
G10L21/10
G10G1/00
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022195249
(22)【出願日】2022-12-06
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】100108523
【弁理士】
【氏名又は名称】中川 雅博
(74)【代理人】
【識別番号】100125704
【弁理士】
【氏名又は名称】坂根 剛
(74)【代理人】
【識別番号】100187931
【弁理士】
【氏名又は名称】澤村 英幸
(72)【発明者】
【氏名】入山 達也
【テーマコード（参考）】
5D182
【Ｆターム（参考）】
5D182AA13
(57)【要約】 （修正有）
【課題】音声を表すオブジェクトを省スペースで配置するオブジェクトの配置方法、音声の再生方法、オブジェクトの配置装置、音声の再生装置及び演奏装置を提供する。
【解決手段】音声オブジェクトの表示領域における位置決定方法であって、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトに対して第１方向に関して負の方向に配置し、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して表示領域上の第１方向と交差する第２方向に配置する。
【選択図】図２０
【解決手段】音声オブジェクトの表示領域における位置決定方法であって、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトに対して第１方向に関して負の方向に配置し、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して表示領域上の第１方向と交差する第２方向に配置する。
【選択図】図２０
【特許請求の範囲】
【請求項1】
音声を表す複数のオブジェクトをコンピュータを用いて表示領域に配置する方法であって、
前記音声の第１部分に対応し、前記第１部分の代表音高を有する第１オブジェクトの前記表示領域における位置を取得することと、
前記音声の前記第１部分の後続の第２部分に対応し、前記第２部分の前記代表音高を有する第２オブジェクトを前記表示領域の決定された位置に配置することと、
を含み、
前記表示領域の決定された位置に配置することは、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より高い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の第１方向に関して正の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より低い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記第１方向に関して負の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の前記第１方向と交差する第２方向に配置する、オブジェクトの配置方法。
前記音声の第１部分に対応し、前記第１部分の代表音高を有する第１オブジェクトの前記表示領域における位置を取得することと、
前記音声の前記第１部分の後続の第２部分に対応し、前記第２部分の前記代表音高を有する第２オブジェクトを前記表示領域の決定された位置に配置することと、
を含み、
前記表示領域の決定された位置に配置することは、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より高い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の第１方向に関して正の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より低い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記第１方向に関して負の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の前記第１方向と交差する第２方向に配置する、オブジェクトの配置方法。
【請求項2】
前記第２の方向は、前記第１の方向と垂直に交わる方向である、請求項１に記載のオブジェクトの配置方法。
【請求項3】
前記第１方向は前記表示領域における垂直方向であり、前記第２方向は前記表示領域における水平方向である、請求項１に記載のオブジェクトの配置方法。
【請求項4】
２以上の音節が時間的に近接している場合、または、２以上の音節が１拍で発音される場合、これら２以上の音節を１つのオブジェクトで表す、請求項１に記載のオブジェクトの配置方法。
【請求項5】
前記複数のオブジェクトは、前記表示領域上にフレーズ単位でまとまった領域に表示される、請求項１に記載のオブジェクトの配置方法。
【請求項6】
音声を表す複数のオブジェクトをコンピュータを用いて表示領域に配置することと、
前記音声を再生することと、
を含み、
前記表示領域に配置することは、
前記音声の第１部分に対応し、前記第１部分の代表音高を有する第１オブジェクトの前記表示領域における位置を取得することと、
前記音声の前記第１部分の後続の第２部分に対応し、前記第２部分の前記代表音高を有する第２オブジェクトを前記表示領域の決定された位置に配置することと、
を含み、
前記表示領域の決定された位置に配置することは、
前記第２部分の代表音高が前記第１部分の前記代表音高より高い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の第１方向に関して正の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より低い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記第１方向に関して負の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の前記第１方向と交差する第２方向に配置し、
前記再生することは、
前記表示領域上に配置された前記複数のオブジェクトのいずれかが選択される操作に応じて、各オブジェクトに対応付けられた部分音声を再生すること、
を含む、音声の再生方法。
前記音声を再生することと、
を含み、
前記表示領域に配置することは、
前記音声の第１部分に対応し、前記第１部分の代表音高を有する第１オブジェクトの前記表示領域における位置を取得することと、
前記音声の前記第１部分の後続の第２部分に対応し、前記第２部分の前記代表音高を有する第２オブジェクトを前記表示領域の決定された位置に配置することと、
を含み、
前記表示領域の決定された位置に配置することは、
前記第２部分の代表音高が前記第１部分の前記代表音高より高い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の第１方向に関して正の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より低い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記第１方向に関して負の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の前記第１方向と交差する第２方向に配置し、
前記再生することは、
前記表示領域上に配置された前記複数のオブジェクトのいずれかが選択される操作に応じて、各オブジェクトに対応付けられた部分音声を再生すること、
を含む、音声の再生方法。
【請求項7】
音声を表す複数のオブジェクトを表示領域に配置させる装置であって、
前記音声の第１部分に対応し、前記第１部分の代表音高を有する第１オブジェクトの前記表示領域における位置を取得する位置取得部と、
前記音声の前記第１部分の後続の第２部分に対応し、前記第２部分の前記代表音高を有する第２オブジェクトを前記表示領域の決定された位置に配置する配置部と、
を備え、
前記配置部は、
前記第２部分の代表音高が前記第１部分の前記代表音高より高い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の第１方向に関して正の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より低い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記第１方向に関して負の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の前記第１方向と交差する第２方向に配置する、オブジェクトの配置装置。
前記音声の第１部分に対応し、前記第１部分の代表音高を有する第１オブジェクトの前記表示領域における位置を取得する位置取得部と、
前記音声の前記第１部分の後続の第２部分に対応し、前記第２部分の前記代表音高を有する第２オブジェクトを前記表示領域の決定された位置に配置する配置部と、
を備え、
前記配置部は、
前記第２部分の代表音高が前記第１部分の前記代表音高より高い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の第１方向に関して正の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より低い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記第１方向に関して負の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の前記第１方向と交差する第２方向に配置する、オブジェクトの配置装置。
【請求項8】
音声を表す複数のオブジェクトをコンピュータの表示領域に配置する配置制御部と、
前記音声を再生する再生部と、
を備え、
前記配置制御部は、
前記音声の第１部分に対応し、前記第１部分の代表音高を有する第１オブジェクトの前記表示領域における位置を取得する位置取得部と、
前記音声の前記第１部分の後続の第２部分に対応し、前記第２部分の前記代表音高を有する第２オブジェクトを前記表示領域の決定された位置に配置する配置部と、
を含み、
前記配置部は、
前記第２部分の代表音高が前記第１部分の前記代表音高より高い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の第１方向に関して正の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より低い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記第１方向に関して負の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の前記第１方向と交差する第２方向に配置し、
前記再生部は、
前記表示領域上に配置された前記複数のオブジェクトのいずれかが選択される操作に応じて、各オブジェクトに対応付けられた部分音声を再生する、音声の再生装置。
前記音声を再生する再生部と、
を備え、
前記配置制御部は、
前記音声の第１部分に対応し、前記第１部分の代表音高を有する第１オブジェクトの前記表示領域における位置を取得する位置取得部と、
前記音声の前記第１部分の後続の第２部分に対応し、前記第２部分の前記代表音高を有する第２オブジェクトを前記表示領域の決定された位置に配置する配置部と、
を含み、
前記配置部は、
前記第２部分の代表音高が前記第１部分の前記代表音高より高い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の第１方向に関して正の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高より低い場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記第１方向に関して負の方向に配置し、
前記第２部分の前記代表音高が前記第１部分の前記代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、
前記第２オブジェクトを前記第１オブジェクトに対して前記表示領域上の前記第１方向と交差する第２方向に配置し、
前記再生部は、
前記表示領域上に配置された前記複数のオブジェクトのいずれかが選択される操作に応じて、各オブジェクトに対応付けられた部分音声を再生する、音声の再生装置。
【請求項9】
コンピュータの表示領域において、音高が高くなる方向に対応する第１方向に関する正の方向、音高が低くなる方向に対応する前記第１方向に関する負の方向および時間方向に対応する前記第１方向と交差する第２方向に複数のオブジェクトを配置する配置制御部と、
前記複数のオブジェクトに対する選択操作に応答して、楽曲の再生を行う再生部と、
を備え、
前記複数のオブジェクトは、前記楽曲を構成する複数の部分に対応しており、前記複数のオブジェクトを順に選択する操作に応じて楽曲が再生される、演奏装置。
前記複数のオブジェクトに対する選択操作に応答して、楽曲の再生を行う再生部と、
を備え、
前記複数のオブジェクトは、前記楽曲を構成する複数の部分に対応しており、前記複数のオブジェクトを順に選択する操作に応じて楽曲が再生される、演奏装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オブジェクトの配置方法、音声の再生方法、オブジェクトの配置装置、音声の再生装置および演奏装置に関する。
【背景技術】
【0002】
特許文献１には、演奏の知識や技術を有しない人であっても楽曲を演奏可能とすることを目的とした音楽療法具が開示されている。演奏者は、表示部に表示された歌詞を操作することで、楽曲の演奏を行うことができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第２７００８７４公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１で開示された音楽療法具を用いた場合、楽曲の音域が広くなれば、それだけ楽曲を表示させるための領域の面積が広くなる。また、楽曲の長さが長くなればなるほど楽曲を表示させるために広い面積が必要である。
【0005】
本発明の目的は、音声を表すオブジェクトを省スペースで配置することである。
【課題を解決するための手段】
【0006】
本発明の一局面に従うオブジェクトの配置方法は、音声を表す複数のオブジェクトをコンピュータを用いて表示領域に配置する方法であって、音声の第１部分に対応し、第１部分の代表音高を有する第１オブジェクトの表示領域における位置を取得することと、音声の第１部分の後続の第２部分に対応し、第２部分の代表音高を有する第２オブジェクトを表示領域の決定された位置に配置することとを含み、表示領域の決定された位置に配置することは、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトに対して表示領域上の第１方向に関して正の方向に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトに対して第１方向に関して負の方向に配置し、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して表示領域上の第１方向と交差する第２方向に配置する。
【発明の効果】
【0007】
本発明によれば、音声を表すオブジェクトを省スペースで配置することができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態に係る演奏装置の構成図である。
【図2】実施の形態に係る演奏装置の機能ブロック図である。
【図3】音声オブジェクトの基本配置ルールを示す図である。
【図4】音声オブジェクトの基本配置ルールを示す図である。
【図5】音声オブジェクトの基本配置ルールを示す図である。
【図6】音声オブジェクトの基本配置ルールを示す図である。
【図7】音声オブジェクトの基本配置ルールを示す図である。
【図8】複数音節に対応した音声オブジェクトを示す図である。
【図9】複数音節に対応した音声オブジェクトを示す図である。
【図10】複数音節に対応した音声オブジェクトを示す図である。
【図11】省スペース化のための音声オブジェクトの配置プロセスを示す図である。
【図12】省スペース化のための音声オブジェクトの配置プロセスを示す図である。
【図13】省スペース化のための音声オブジェクトの配置プロセスを示す図である。
【図14】省スペース化のための音声オブジェクトの配置プロセスを示す図である。
【図15】省スペース化のための音声オブジェクトの配置プロセスを示す図である。
【図16】省スペース化のための音声オブジェクトの配置プロセスを示す図である。
【図17】音声オブジェクトの配置態様の別の例を示す図である。
【図18】音声オブジェクトの配置態様の別の例を示す図である。
【図19】音声オブジェクトの配置方法を示すフローチャートである。
【図20】音声オブジェクトの表示領域における位置決定方法を示すフローチャートである。
【図21】音声の再生方法を示すフローチャートである。
【図22】ディスプレイに表示された音声オブジェクトの具体例を示す図である。
【図23】ディスプレイに表示された音声オブジェクトの具体例を示す図である。
【図24】ユーザが楽曲を演奏している様子を示す図である。
【図25】音声オブジェクトの配置方法の変形例を示す図である。
【図26】音声オブジェクトの配置方法の変形例を示す図である。
【図27】音声オブジェクトの配置方法の変形例を示す図である。
【図28】音声オブジェクトの配置方法の変形例を示す図である。
【図29】音声オブジェクトの配置方法の変形例を示す図である。
【図30】音声オブジェクトの配置方法の変形例を示す図である。
【図31】音声オブジェクトの配置方法の変形例を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照してこの発明の実施の形態に係るオブジェクトの配置方法、音声の再生方法、オブジェクトの配置装置、音声の再生装置および演奏装置について説明する。
【0010】
｛１．システムの構成｝
図１は、本実施の形態に係る演奏装置１の構成を示すブロック図である。演奏装置１は、本発明に係るオブジェクトの配置装置および音声の再生装置としても機能する。演奏装置１は、例えば、パーソナルコンピュータによって構成される。図１に示すように演奏装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２、記憶装置２３、操作部２４、ディスプレイ２５、音源部２６、サウンドシステム２７、通信インタフェース（Ｉ／Ｆ）２８およびデバイスインタフェース（Ｉ／Ｆ）２９を備える。これら各装置がシステムバス３０を介して接続される。
図１は、本実施の形態に係る演奏装置１の構成を示すブロック図である。演奏装置１は、本発明に係るオブジェクトの配置装置および音声の再生装置としても機能する。演奏装置１は、例えば、パーソナルコンピュータによって構成される。図１に示すように演奏装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２、記憶装置２３、操作部２４、ディスプレイ２５、音源部２６、サウンドシステム２７、通信インタフェース（Ｉ／Ｆ）２８およびデバイスインタフェース（Ｉ／Ｆ）２９を備える。これら各装置がシステムバス３０を介して接続される。
【0011】
ＣＰＵ２０は、演奏装置１の全体的な動作を制御する。ＲＯＭ２１には、ＣＰＵ２０が実行する制御プログラムや、各種のデータが記憶される。ＲＡＭ２２は、ＣＰＵ２０のワークエリアとして使用される。記憶装置２３には、プログラムＰＲ、音声オブジェクトＳＪおよび音声データＳＤが保存される。ここでは、説明を分かりやすくするために、音声オブジェクトＳＪが記憶装置１６に保存されているとしているが、実際には、音声データＳＤが読み込まれたときに、複数の音声オブジェクトＳＪを構成するための定義データが保存される。この定義データが読み込まれることにより、オブジェクトが作成され、オブジェクトの配置ルールに従ってディスプレイ２５にオブジェクトが配置される。記憶装置２３は、ハードディスク、半導体メモリなど、様々な記憶媒体で構成可能である。プログラムＰＲは、音声オブジェクトＳＪを表す画像を表示領域に配置する処理、音声オブジェクトＳＪに対する操作に応答して、音声データＳＤを再生する処理などを実行する。音声オブジェクトＳＪの内容については後述する。
【0012】
操作部２４は、ユーザが、音声の再生などに関する各種操作を行うためのインタフェースである。ディスプレイ２５は、音声オブジェクトＳＪを表す画像の表示などに用いられる。音源部２６およびサウンドシステム２７は、ユーザによる音声オブジェクトＳＪの操作に応じて、音声データＳＤの再生を実行する機能部である。通信インタフェース２８は、他のコンピュータとの間で有線または無線による通信を行うインタフェースである。デバイスインタフェース２９は、ＣＤ、ＤＶＤ、半導体メモリなどの記憶媒体３１にアクセスするインタフェースである。
【0013】
｛２．機能構成｝
図２は、演奏装置１の機能構成を示すブロック図である。図２において、制御部１０は、ＣＰＵ２０がＲＡＭ２２をワークエリアとして使用しつつ、プログラムＰＲを実行することにより実現される機能部である。制御部１０は、配置制御部１１および再生部１２を備える。配置制御部１１は、位置取得部１１１および配置部１１２を備える。配置制御部１１、位置取得部１１１、配置部１１２および再生部１２は、プログラムＰＲの実行により実現される機能部である。言い換えると、各機能部１１，１１１，１１２，１２は、ＣＰＵ２０が備える機能部である。
図２は、演奏装置１の機能構成を示すブロック図である。図２において、制御部１０は、ＣＰＵ２０がＲＡＭ２２をワークエリアとして使用しつつ、プログラムＰＲを実行することにより実現される機能部である。制御部１０は、配置制御部１１および再生部１２を備える。配置制御部１１は、位置取得部１１１および配置部１１２を備える。配置制御部１１、位置取得部１１１、配置部１１２および再生部１２は、プログラムＰＲの実行により実現される機能部である。言い換えると、各機能部１１，１１１，１１２，１２は、ＣＰＵ２０が備える機能部である。
【0014】
位置取得部１１１は、音声を時間軸上のある期間で切り取った部分（第１部分とする。）に対応する音声オブジェクトＳＪ（第１オブジェクト）を表す画像の表示領域における位置を取得する。配置部１１２は、音声の第１部分の時間軸上で後続の第２部分に対応する音声オブジェクトＳＪ（第２オブジェクト）を表す画像の表示領域における位置を決定し、第２オブジェクトを表す画像を決定された位置に配置する。再生部１２は、表示領域上に配置された複数の音声オブジェクトＳＪのいずれかが選択される操作に応じて、各音声オブジェクトＳＪに対応付けられた音声データＳＤを再生する。
【0015】
プログラムＰＲは、記憶装置２３に保存されている場合を例として説明する。他の実施の形態として、プログラムＰＲは、記憶媒体３１に保存されて提供されてもよい。ＣＰＵ２０は、デバイスインタフェース２９を介して記憶媒体３１にアクセスし、記憶媒体３１に保存されたプログラムＰＲを、記憶装置２３またはＲＯＭ２１に保存するようにしてもよい。あるいは、ＣＰＵ２０は、デバイスインタフェース２９を介して記憶媒体３１にアクセスし、記憶媒体３１に保存されたプログラムＰＲを実行するようにしてもよい。あるいは、ＣＰＵ２０は、通信インタフェース２８を介してネットワーク上のサーバからプログラムＰＲをダウンロードし、ダウンロードしたプログラムＰＲを、記憶装置２３またはＲＯＭ２１に保存するようにしてもよい。あるいは、ＣＰＵ２０は、通信インタフェース２８を介して、ネットワーク上のサーバに保存されたプログラムＰＲを直接実行してもよい。
【0016】
｛３．音声オブジェクト｝
音声オブジェクトＳＪは、楽曲の一部に対応するオブジェクトデータである。１つの楽曲は、複数の楽曲部分（楽曲部分は、時間軸上のある期間で切り取った部分）で構成され、複数の楽曲部分がそれぞれ複数の音声オブジェクトＳＪ，ＳＪ・・・に対応する。各音声オブジェクトＳＪは、対応する楽曲部分の音声データＳＤ（部分音声）と対応付けられている。つまり、複数の音声オブジェクトＳＪ１，ＳＪ２・・・がそれぞれ複数の音声データＳＤ１，ＳＤ２・・・に対応する。音声データＳＤは、例えばＷＡＶファイルなどである。各音声オブジェクトＳＪを表す画像が、配置部１１２によってディスプレイ２５上の表示領域に表示される。以下の説明において、音声オブジェクトＳＪを表す“画像”を表示領域に配置することを、適宜、「音声オブジェクトＳＪを表示領域に配置する」、「音声オブジェクトＳＪを表示する」などと表現する。
音声オブジェクトＳＪは、楽曲の一部に対応するオブジェクトデータである。１つの楽曲は、複数の楽曲部分（楽曲部分は、時間軸上のある期間で切り取った部分）で構成され、複数の楽曲部分がそれぞれ複数の音声オブジェクトＳＪ，ＳＪ・・・に対応する。各音声オブジェクトＳＪは、対応する楽曲部分の音声データＳＤ（部分音声）と対応付けられている。つまり、複数の音声オブジェクトＳＪ１，ＳＪ２・・・がそれぞれ複数の音声データＳＤ１，ＳＤ２・・・に対応する。音声データＳＤは、例えばＷＡＶファイルなどである。各音声オブジェクトＳＪを表す画像が、配置部１１２によってディスプレイ２５上の表示領域に表示される。以下の説明において、音声オブジェクトＳＪを表す“画像”を表示領域に配置することを、適宜、「音声オブジェクトＳＪを表示領域に配置する」、「音声オブジェクトＳＪを表示する」などと表現する。
【0017】
各音声オブジェクトＳＪは、対応する楽曲部分の代表音高の情報を有している。例えば、音声オブジェクトＳＪが１音節からなる楽曲部分に対応している場合、代表音高は、１音節を構成する音高である。音声オブジェクトＳＪが２以上の音節からなる楽曲部分に対応している場合、代表音高は、２以上の音節を構成する２以上の音高から決定される音高である。例えば、２以上の音高の平均音高が代表音高とされる。あるいは、２以上の音高のうち、最初に発音される音高が代表音高とされる。あるいは、２以上の音高のうち、最も高い音高や最も低い音高が代表音高とされる。各音声オブジェクトＳＪは、また、対応する楽曲部分の歌詞の情報を有している。各音声オブジェクトＳＪの表示領域における位置情報は、各音声オブジェクトＳＪが保有してもよいし、別の定義ファイルに記録されてもよい。
【0018】
｛４．配置ルール｝
次に、配置部１１２によって実行される、音声オブジェクトＳＪの表示領域における位置の決定方法について説明する。以下の説明では、楽曲部分として第１部分と第２部分を例に説明する。第１部分とは、楽曲全体を複数の部分に分割したときの、ある１つの部分を示す。第１オブジェクトは、第１部分に対応する音声オブジェクトＳＪであり、第２オブジェクトは、第２部分に対応する音声オブジェクトＳＪである。第２部分は第１部分の後続の楽曲部分である。配置部１１２が第２オブジェクトの位置を決定するために、位置取得部１１１が、第１オブジェクトの表示領域における位置を取得する。配置部１１２は、第１部分の代表音高と第２部分の代表音高の関係に基づき、第２オブジェクトの位置を決定する。これにより、配置部１１２は、先頭となる楽曲部分に対応する音声オブジェクトＳＪの位置が与えられると、全ての楽曲部分に対応する音声オブジェクトＳＪの位置を決定することができる。
次に、配置部１１２によって実行される、音声オブジェクトＳＪの表示領域における位置の決定方法について説明する。以下の説明では、楽曲部分として第１部分と第２部分を例に説明する。第１部分とは、楽曲全体を複数の部分に分割したときの、ある１つの部分を示す。第１オブジェクトは、第１部分に対応する音声オブジェクトＳＪであり、第２オブジェクトは、第２部分に対応する音声オブジェクトＳＪである。第２部分は第１部分の後続の楽曲部分である。配置部１１２が第２オブジェクトの位置を決定するために、位置取得部１１１が、第１オブジェクトの表示領域における位置を取得する。配置部１１２は、第１部分の代表音高と第２部分の代表音高の関係に基づき、第２オブジェクトの位置を決定する。これにより、配置部１１２は、先頭となる楽曲部分に対応する音声オブジェクトＳＪの位置が与えられると、全ての楽曲部分に対応する音声オブジェクトＳＪの位置を決定することができる。
【0019】
図３～図１６は、音声オブジェクトＳＪの配置ルールを示す図である。図３～図１６において、符号ＳＪ，ＳＪ（ｎ）で示すブロックは、音声オブジェクトＳＪを表す画像の表示領域ＤＡにおける位置を示している。符号ＳＪ（ｎ）において、数字ｎは、音声オブジェクトＳＪに対応する楽曲部分の順番を示している。表示領域ＤＡは、ディスプレイ２５に設定される領域である。また、図３～図１６において、符号ＳＪまたはＳＪ（ｎ）で示すブロックには、音階が示されているが、音階の表示は任意である。音階に変えて歌詞などを表示させてもよい。
【0020】
図３～図１６において、表示領域ＤＡにおける垂直方向を第１方向、水平方向に関して右方向を第２方向とする。また、表示領域ＤＡにおける垂直方向に関して上方向を、第１方向に関して正の方向とし、垂直方向に関して下方向を、第１の方向に関して負の方向とする。
【0021】
（４－１：基本配置ルール）
まず、配置部１１２より決定される第２オブジェクトの配置の基本ルールについて説明する。配置部１１２は、第２部分の代表音高が第１部分の代表音高よりも高い場合、表示領域ＤＡにおいて、第２オブジェクトを第１オブジェクトの上方向（第１方向に関して正の方向）に近接して配置する。ここで、実施の形態においては、各オブジェクトを接触させて配置させているが、オブジェクト同士が接触している必要はない。オブジェクト同士が少し間隔を空けて配置されてもよい。図３は、表示領域ＤＡに配置された３つの音声オブジェクトＳＪ（１）～ＳＪ（３）を示す。この例では、代表音高がド、レ、ミの３つの楽曲部分に対応する３つの音声オブジェクトＳＪ（１）～ＳＪ（３）が第１方向に関して正の方向に順に近接して配置される。
まず、配置部１１２より決定される第２オブジェクトの配置の基本ルールについて説明する。配置部１１２は、第２部分の代表音高が第１部分の代表音高よりも高い場合、表示領域ＤＡにおいて、第２オブジェクトを第１オブジェクトの上方向（第１方向に関して正の方向）に近接して配置する。ここで、実施の形態においては、各オブジェクトを接触させて配置させているが、オブジェクト同士が接触している必要はない。オブジェクト同士が少し間隔を空けて配置されてもよい。図３は、表示領域ＤＡに配置された３つの音声オブジェクトＳＪ（１）～ＳＪ（３）を示す。この例では、代表音高がド、レ、ミの３つの楽曲部分に対応する３つの音声オブジェクトＳＪ（１）～ＳＪ（３）が第１方向に関して正の方向に順に近接して配置される。
【0022】
ここで、第２オブジェクトを第１オブジェクトの第１方向に関して正の方向に配置するとは、第２オブジェクトを表す画像と第１オブジェクトを表す画像とが少なくとも第１の方向から見たときにオーバーラップして配置されることを含む。本実施の形態では、第１部分の代表音高と第２部分の代表音高との音高の差によらず、あるいは、第１部分と第２部分との間の時間差によらず、音声オブジェクトＳＪは第１方向に関して正の方向に一定の距離（図３の例では接触させているので、距離０）で近接して配置される。
【0023】
配置部１１２は、第２部分の代表音高が第１部分の代表音高よりも低い場合、表示領域ＤＡにおいて、第２オブジェクトを第１オブジェクトの下方向（第１方向に関して負の方向）に近接して配置する。図４は、表示領域ＤＡに配置された３つの音声オブジェクトＳＪ（１）～ＳＪ（３）を示す。この例では、代表音高がド、シ、ラの３つの楽曲部分に対応する３つの音声オブジェクトＳＪ（１）～ＳＪ（３）が第１方向に関して負の方向に順に近接して配置される。
【0024】
ここで、第２オブジェクトを第１オブジェクトの第１方向に関して負の方向に配置するとは、第２オブジェクトを表す画像と第１オブジェクトを表す画像とが少なくとも第１の方向から見たときにオーバーラップして配置されることを含む。本実施の形態では、第１部分の代表音高と第２部分の代表音高との音高の差によらず、あるいは、第１部分と第２部分との間の時間差によらず、音声オブジェクトＳＪは第１方向に関して負の方向に一定の距離（図４の例では接触させているので、距離０）で近接して配置される。
【0025】
配置部１１２は、第２部分の代表音高が第１部分の代表音高と同じ場合、表示領域ＤＡにおいて、第２オブジェクトを第１オブジェクトの右方向（第２方向）に近接して配置する。図５は、表示領域ＤＡに配置された２つの音声オブジェクトＳＪ（１），ＳＪ（２）を示す。この例では、代表音高がド、ドの２つの楽曲部分に対応する２つの音声オブジェクトＳＪ（１），ＳＪ（２）が第２方向に順に近接して配置される。
【0026】
ここで、第２オブジェクトを第１オブジェクトの第２方向に配置するとは、第２オブジェクトを表す画像と第１オブジェクトを表す画像とが少なくとも第２の方向から見たときにオーバーラップして配置されることを含む。本実施の形態では、第１部分と第２部分との間の時間差によらず、音声オブジェクトＳＪは一定の距離（図５の例では接触させているので、距離０）で近接して配置される。
【0027】
配置部１１２は、決定された位置に既に他のオブジェクトが配置されている場合、表示領域ＤＡにおいて、第２オブジェクトを第１オブジェクトの右方向（第２方向）に近接して配置する。図６において、音声オブジェクトＳＪ（３），ＳＪ（４）が有する代表音高は、ミ、レであり、図４で示したルールに従えば、音声オブジェクトＳＪ（４）は、音声オブジェクトＳＪ（３）の下方向（第１方向に関して負の方向）に隣接して配置される。しかし、その位置には既に音声オブジェクトＳＪ（２）が配置されている。そこで、音声オブジェクトＳＪ（４）は、音声オブジェクトＳＪ（３）の右方向（第２方向）に配置される。
【0028】
図７において、音声オブジェクトＳＪ（２），ＳＪ（３）が有する代表音高は、ド、レであり、図３で示したルールに従えば、音声オブジェクトＳＪ（３）は、音声オブジェクトＳＪ（２）の上方向（第１方向に関して正の方向）に隣接して配置される。しかし、その位置には既に音声オブジェクトＳＪ（１）が配置されている。そこで、音声オブジェクトＳＪ（３）は、音声オブジェクトＳＪ（２）の右方向（第２方向）に配置される。
【0029】
ここで、第２オブジェクトを第１オブジェクトの第２方向に配置するとは、第２オブジェクトを表す画像と第１オブジェクトを表す画像とが少なくとも第２の方向から見たときにオーバーラップして配置されることを含む。本実施の形態では、第１部分の代表音高と第２部分の代表音高との音高の差によらず、あるいは、第１部分と第２部分との間の時間差によらず、音声オブジェクトＳＪは一定の距離（図６、図７の例では接触させているので、距離０）で近接して配置される。
【0030】
（４－２：複数音節に対応した音声オブジェクト）
配置部１１２は、２以上の音節が時間的に近接している場合、または、２以上の音節が１拍で発音される場合、これら２以上の音節を１つの音声オブジェクトＳＪで表す。図８において、音声オブジェクトＳＪ（１）に対応する楽曲部分の次には、代表音高ラを有する楽曲部分と代表音高ファを有する楽曲部分が時間的に近接している、または、これら２つの楽曲部分が１拍で発音される。そこで、この２つの楽曲部分が１つの音声オブジェクトＳＪ（２）で表されている。
配置部１１２は、２以上の音節が時間的に近接している場合、または、２以上の音節が１拍で発音される場合、これら２以上の音節を１つの音声オブジェクトＳＪで表す。図８において、音声オブジェクトＳＪ（１）に対応する楽曲部分の次には、代表音高ラを有する楽曲部分と代表音高ファを有する楽曲部分が時間的に近接している、または、これら２つの楽曲部分が１拍で発音される。そこで、この２つの楽曲部分が１つの音声オブジェクトＳＪ（２）で表されている。
【0031】
図９においては、音声オブジェクトＳＪ（１），ＳＪ（２），ＳＪ（４）のそれぞれが、２つの楽曲部分が１つの音声オブジェクトＳＪとして表されている。なお、音声オブジェクトＳＪ（４）は２つの音高ラ・ファを有しているが、ここでは代表音高がラに設定されるため、音声オブジェクトＳＪ（４）は、音声オブジェクトＳＪ（３）の上方向（第１方向に関して正の方向）に配置される。
【0032】
図１０においても、音声オブジェクトＳＪ（１），ＳＪ（２），ＳＪ（４）のそれぞれが、２つの楽曲部分が１つの音声オブジェクトＳＪとして表されている。なお、音声オブジェクトＳＪ（４）は２つの音高ラ・ファを有しているが、ここでは代表音高が音高ラ・ファの平均音高としてソに設定されるため、音声オブジェクトＳＪ（４）は、音声オブジェクトＳＪ（３）の右方向（第２方向）に配置される。図８～図１０で示した例では、２つの音節からなる２つの楽曲部分が１つの音声オブジェクトＳＪに統合される場合を例に説明したが、３つ以上の音節からなる３つ以上の楽曲部分が１つの音声オブジェクトＳＪに統合されてもよい。
【0033】
（４－３：省スペース化のための音声オブジェクトの配置プロセス）
次に、本発明における音声オブジェクトＳＪの配置によって、どのようにして省スペース化を実現しているかについて複数のプロセスに分けて説明する。図１１の上側は、従来のピアノロールと同様、音高と音の長さを考慮した音声オブジェクトＳＪの配置を示す。ドとレの間など全音に相当する音階の間隔は、ミとファの間などの半音に相当する音階の間隔より広くなるように、音声オブジェクトＳＪが垂直方向に間隔を空けて配置される。また、音声オブジェクトＳＪの水平方向の幅は音の長さに対応しているため、ソの音に対応する音声オブジェクトＳＪの水平方向の幅が長くなっている。
次に、本発明における音声オブジェクトＳＪの配置によって、どのようにして省スペース化を実現しているかについて複数のプロセスに分けて説明する。図１１の上側は、従来のピアノロールと同様、音高と音の長さを考慮した音声オブジェクトＳＪの配置を示す。ドとレの間など全音に相当する音階の間隔は、ミとファの間などの半音に相当する音階の間隔より広くなるように、音声オブジェクトＳＪが垂直方向に間隔を空けて配置される。また、音声オブジェクトＳＪの水平方向の幅は音の長さに対応しているため、ソの音に対応する音声オブジェクトＳＪの水平方向の幅が長くなっている。
【0034】
図１１の上側の音声オブジェクトＳＪの配置より省スペース化を図るため、配置部１１２は、図１１の下側に示すように音声オブジェクトＳＪを配置する（プロセス１）。図１１の下側に示すように、音階の間隔が全音であるか半音であるかに関わらず、音声オブジェクトＳＪは垂直方向に近接して配置される。これにより、垂直方向に関して音声オブジェクトＳＪを省スペースで配置することができる。このように、配置部１１２は、音声オブジェクトＳＪを表す画像を音高方向(垂直方向)に圧縮して表示する。
【0035】
プロセス１の次に、配置部１１２は、図１２に示すように音声オブジェクトＳＪを配置する（プロセス２）。図１２に示す例は、図８～図１０で示した例と同様であり、連続して現れる時間の短い複数の楽曲部分が１つの音声オブジェクトＳＪにまとめられる。
【0036】
プロセス２の次に、配置部１１２は、図１３に示すように音声オブジェクトＳＪを表す画像の幅（水平方向の長さ）を均一化する（プロセス３）。図１３で示す例では、楽曲部分の音の長さに関わらず音声オブジェクトＳＪを表す画像の水平方向の長さを均一化させている。
【0037】
プロセス３の次に、配置部１１２は、図１４で示すように音声オブジェクトＳＪを表す画像を時間方向（水平方向）に圧縮して配置する（プロセス４）。プロセス４の次に、配置部１１２は、図１５で示すように音声オブジェクトＳＪを表す画像を音高方向（垂直方向）にさらに圧縮して配置する（プロセス５）。このプロセス４，５は、上述により、上述の基本配置ルールが適用される。
【0038】
プロセス５の次に、配置部１１２は、図１６で示すように、フレーズごとに音声オブジェクトＳＪを配置する（プロセス６）。図１６で示す例では、フレーズ１～フレーズ４の４つのフレーズにまとめて音声オブジェクトＳＪが配置される。プロセス１～５が、省スペース化を目的としたプロセスであるのに対して、プロセス６はユーザが楽曲の構成を理解し易いようにすることを目的としている。
【0039】
図１７は、図１６で示した音声オブジェクトＳJの配置態様の別の例である。図１６とは異なり、図１７では音声オブジェクトＳＪを表す画像の横の幅に対する縦の高さの比率が大きくなっている。これにより、ユーザは、音声オブジェクトＳＪの操作が行い易いというメリットがある。図１８は、図１６で示した音声オブジェクトＳJの配置態様のさらに別の例である。図１８においては、音声オブジェクトＳＪが円形の画像として表示されており、ユーザは音声オブジェクトＳＪの操作が行い易い。
【0040】
｛５．オブジェクト配置方法および音声の再生方法｝
次に、図１９、図２０を参照しながら音声オブジェクトＳＪの配置方法について説明する。図１９，図２０で示すフローチャートは、プログラムＰＲがＣＰＵ２０上で実行されることにより実現される処理である。図１９を参照する。まず、ステップＳ１において、位置取得部１１１が、音声の第１部分に対応し、第１部分の代表音高を有する第１オブジェクトの表示領域ＤＡにおける位置を取得する。次に、ステップＳ２において、配置部１１２が、音声の第１部分の後続の第２部分に対応し、第２部分の代表音高を有する第２オブジェクトを表示領域ＤＡの決定された位置に配置する。
次に、図１９、図２０を参照しながら音声オブジェクトＳＪの配置方法について説明する。図１９，図２０で示すフローチャートは、プログラムＰＲがＣＰＵ２０上で実行されることにより実現される処理である。図１９を参照する。まず、ステップＳ１において、位置取得部１１１が、音声の第１部分に対応し、第１部分の代表音高を有する第１オブジェクトの表示領域ＤＡにおける位置を取得する。次に、ステップＳ２において、配置部１１２が、音声の第１部分の後続の第２部分に対応し、第２部分の代表音高を有する第２オブジェクトを表示領域ＤＡの決定された位置に配置する。
【0041】
図２０は、図１９で示すステップＳ２を詳細に説明するフローチャートである。配置部１１２は、ステップＳ２１において、第２部分の代表音高が第１部分の代表音高より高いか否かを判定する。第２部分の代表音高が第１部分の代表音高より高い場合、配置部１１２は、ステップＳ２２において、第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に既に他のオブジェクトが配置されているか否かを判定する。既に他のオブジェクトが配置されていない場合、配置部１１２は、ステップＳ２３において、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に配置する。
【0042】
ステップＳ２１において、第２部分の代表音高が第１部分の代表音高より高くないと判定された場合、配置部１１２は、ステップＳ２４において、第２部分の代表音高が第１部分の代表音高より低いか否かを判定する。第２部分の代表音高が第１部分の代表音高より低い場合、配置部１１２は、ステップＳ２５において、第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して負の方向に既に他のオブジェクトが配置されているか否かを判定する。既に他のオブジェクトが配置されていない場合、配置部１１２は、ステップＳ２６において、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して負の方向に配置する。
【0043】
ステップＳ２４において、第２部分の代表音高が第１部分の代表音高より低くないと判定された場合、つまり、第１部分と第２部分の代表音高が同じ場合、処理はステップＳ２７に移行する。また、ステップＳ２２，２５において、既に他のオブジェクトが配置されていると判定された場合、処理はステップＳ２７に移行する。配置部１１２は、ステップＳ２７において、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向と交差する第２方向に配置する。
【0044】
次に、図２１を参照しながら音声の再生方法について説明する。図２１で示すフローチャートは、プログラムＰＲがＣＰＵ２０上で実行されることにより実現される処理である。ステップＳ３において、再生部１２は、表示領域ＤＡ上に配置された複数の音声オブジェクトＳＪのいずれかが選択されたか否かを判定する。ユーザによる操作部２４を用いた操作により、いずれかの音声オブジェクトＳＪが選択された場合、再生部１２は、ステップＳ４において、選択された音声オブジェクトＳＪに対応付けられた音声データＳＤ（部分音声）を再生する。
【0045】
｛６．具体例｝
図２２，図２３は、演奏装置１のディスプレイ２５に表示された音声オブジェクトＳＪの配置態様の具体例を示す図である。図２２は、図１８で示した配置態様と同様の態様で、音声オブジェクトＳＪをディスプレイ２５に表示した例を示す。音声オブジェクトＳＪは、ディスプレイ２５に表示されたウィンドウＷＤを表示領域として配置されている。ユーザは、操作部２４（例えばマウスなどのポインティングデバイス）を操作して、いずれかの音声オブジェクトＳＪにポインタを合わせることで、音声オブジェクトＳＪに対応する音声データＳＤを再生させることができる。ユーザは、左下に位置する楽曲の先頭部分に対応する音声オブジェクトＳＪから順番にマウスのポインタを合わせることで、部分音声である音声データＳＤを順番に再生させることができる。これによりユーザは、簡単な操作で楽曲を演奏することが可能である。あるいは、タッチパネルディスプレイを利用することにより、ユーザは、指やペンで音声オブジェクトＳＪをタッチすることで、音声データＳＤを順番に再生させることができる。あるいは、ジャスチャーや視線の認識デバイスを利用することで、ユーザの指示に応じて楽曲を演奏させてもよい。なお、ユーザが、音声オブジェクトＳＪを元の楽曲と同じ順番で辿る操作（一筆書きのように辿る操作）を行うことで、元の楽曲を正しく演奏できる。
図２２，図２３は、演奏装置１のディスプレイ２５に表示された音声オブジェクトＳＪの配置態様の具体例を示す図である。図２２は、図１８で示した配置態様と同様の態様で、音声オブジェクトＳＪをディスプレイ２５に表示した例を示す。音声オブジェクトＳＪは、ディスプレイ２５に表示されたウィンドウＷＤを表示領域として配置されている。ユーザは、操作部２４（例えばマウスなどのポインティングデバイス）を操作して、いずれかの音声オブジェクトＳＪにポインタを合わせることで、音声オブジェクトＳＪに対応する音声データＳＤを再生させることができる。ユーザは、左下に位置する楽曲の先頭部分に対応する音声オブジェクトＳＪから順番にマウスのポインタを合わせることで、部分音声である音声データＳＤを順番に再生させることができる。これによりユーザは、簡単な操作で楽曲を演奏することが可能である。あるいは、タッチパネルディスプレイを利用することにより、ユーザは、指やペンで音声オブジェクトＳＪをタッチすることで、音声データＳＤを順番に再生させることができる。あるいは、ジャスチャーや視線の認識デバイスを利用することで、ユーザの指示に応じて楽曲を演奏させてもよい。なお、ユーザが、音声オブジェクトＳＪを元の楽曲と同じ順番で辿る操作（一筆書きのように辿る操作）を行うことで、元の楽曲を正しく演奏できる。
【0046】
図２３は、楽曲「きよしこの夜」の音声オブジェクトＳＪが、ディスプレイ２５に表示されたウィンドウＷＤを表示領域として配置されている。この例では、音声オブジェクトＳＪには、各楽曲部分の歌詞が表示されている。また、楽曲の先頭部分には、先頭であることを示す「Ｓ」のフラグが表示され、楽曲の終了部分には、終了であることを示す「Ｇ」のフラグが表示されている。音声オブジェクトＳＪが上述したルールに従って配置されているので、ユーザは、例えばマウスを操作して、フラグ「Ｓ」に対応する楽曲の先頭部分に対応する音声オブジェクトＳＪから一筆書きの経路を順に辿るようにマウスのポインタＭＰを合わせることで、楽曲を演奏することが可能である。図２３において、ユーザが矢印ＤＬに沿ってマウスを操作することで、楽曲が演奏される。音声オブジェクトＳＪには、歌詞が表示されているので、ユーザは、楽曲の進行を理解し易い。図２４は、図２３で示したウィンドウＷＤがディスプレイ２５に表示され、ユーザが楽曲を演奏している様子を示す図である。ユーザは、マウスを操作して順番に音声オブジェクトＳＪを選択することで、楽曲の演奏を楽しんでいる。
【0047】
｛７．実施の形態の特徴と効果｝
本発明の一態様に係るオブジェクトの配置方法は、音声を表す複数の音声オブジェクトＳＪをコンピュータを用いて表示領域ＤＡに配置する方法であって、音声の第１部分に対応し、第１部分の代表音高を有する第１オブジェクトの表示領域ＤＡにおける位置を取得することと、音声の第１部分の後続の第２部分に対応し、第２部分の代表音高を有する第２オブジェクトを表示領域ＤＡの決定された位置に配置することとを含み、表示領域ＤＡの決定された位置に配置することは、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトに対して第１方向に関して負の方向に配置し、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向と交差する第２方向に配置する。
本発明の一態様に係るオブジェクトの配置方法は、音声を表す複数の音声オブジェクトＳＪをコンピュータを用いて表示領域ＤＡに配置する方法であって、音声の第１部分に対応し、第１部分の代表音高を有する第１オブジェクトの表示領域ＤＡにおける位置を取得することと、音声の第１部分の後続の第２部分に対応し、第２部分の代表音高を有する第２オブジェクトを表示領域ＤＡの決定された位置に配置することとを含み、表示領域ＤＡの決定された位置に配置することは、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトに対して第１方向に関して負の方向に配置し、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向と交差する第２方向に配置する。
【0048】
第１～２方向において省スペースでオブジェクトが配置されるので、音声全体を表示させる領域を小さくすることができる。
【0049】
第２の方向は、第１の方向と垂直に交わる方向であってもよい。
【0050】
時間方向と音高方向が視覚的に表現されるので、ユーザは音声の構造を理解し易い。
【0051】
第１方向は表示領域ＤＡにおける垂直方向であり、第２方向は表示領域ＤＡにおける水平方向であってもよい。
【0052】
時間方向と音高方向が視覚的に表現されるので、ユーザは音声の構造を理解し易い。
【0053】
２以上の音節が時間的に近接している場合、または、２以上の音節が１拍で発音される場合、これら２以上の音節を１つのオブジェクトで表してもよい。
【0054】
音声が発音されるタイミングが分かりやすく表示される。
【0055】
複数の音声オブジェクトＳＪは、表示領域ＤＡ上にフレーズ単位でまとまった領域に表示されてもよい。
【0056】
音声が発音されるまとまりが分かりやすく表示される。
【0057】
本発明の他の態様に係る音声の再生方法は、音声を表す複数のオブジェクトＳＪをコンピュータを用いて表示領域ＤＡに配置することと、音声を再生することとを含み、表示領域ＤＡに配置することは、音声の第１部分に対応し、第１部分の代表音高を有する第１オブジェクトの表示領域ＤＡにおける位置を取得することと、音声の第１部分の後続の第２部分に対応し、第２部分の代表音高を有する第２オブジェクトを表示領域ＤＡの決定された位置に配置することとを含み、表示領域ＤＡの決定された位置に配置することは、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトに対して第１方向に関して負の方向に配置し、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向と交差する第２方向に配置し、再生することは、表示領域ＤＡ上に配置された複数のオブジェクトＳＪのいずれかが選択される操作に応じて、各オブジェクトに対応付けられた音声データＳＤを再生することを含む。
【0058】
省スペースで配置されたオブジェクトを選択することにより、音声が再生される。ユーザは、一筆書きのような操作でオブジェクトを選択する操作を行うことで音声を再生することができる。
【0059】
本発明の他の態様に係るオブジェクトの配置装置は、音声を表す複数のオブジェクトを表示領域ＤＡに配置させる装置であって、音声の第１部分に対応し、第１部分の代表音高を有する第１オブジェクトの表示領域ＤＡにおける位置を取得する位置取得部と、音声の第１部分の後続の第２部分に対応し、第２部分の代表音高を有する第２オブジェクトを表示領域ＤＡの決定された位置に配置する配置部とを備え、配置部は、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトに対して第１方向に関して負の方向に配置し、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向と交差する第２方向に配置する、オブジェクトの配置装置。
【0060】
第１～２方向において省スペースでオブジェクトが配置されるので、音声全体を表示させる領域を小さくすることができる。
【0061】
本発明の他の態様に係る音声の再生装置は、音声を表す複数のオブジェクトをコンピュータの表示領域ＤＡに配置する配置制御部と、音声を再生する再生部とを備え、配置制御部は、音声の第１部分に対応し、第１部分の代表音高を有する第１オブジェクトの表示領域ＤＡにおける位置を取得する位置取得部と、音声の第１部分の後続の第２部分に対応し、第２部分の代表音高を有する第２オブジェクトを表示領域ＤＡの決定された位置に配置する配置部とを含み、配置部は、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向に関して正の方向に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトに対して第１方向に関して負の方向に配置し、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して表示領域ＤＡ上の第１方向と交差する第２方向に配置し、再生部は、表示領域ＤＡ上に配置された複数のオブジェクトのいずれかが選択される操作に応じて、各オブジェクトに対応付けられた部分音声を再生する、音声の再生装置。
【0062】
省スペースで配置されたオブジェクトを選択することにより、音声が再生される。
【0063】
本発明の他の態様に係る演奏装置は、コンピュータの表示領域ＤＡにおいて、音高が高くなる方向に対応する第１方向に関する正の方向、音高が低くなる方向に対応する第１方向に関する負の方向および時間方向に対応する第１方向と交差する第２方向に複数のオブジェクトを配置する配置制御部と、複数のオブジェクトに対する選択操作に応答して、楽曲の再生を行う再生部とを備え、複数のオブジェクトは、楽曲を構成する複数の部分に対応しており、複数のオブジェクトを順に選択する操作に応じて楽曲が再生される、演奏装置。
【0064】
隣接して配置されたオブジェクトを操作することにより楽曲が再生される。
【0065】
｛８．その他の実施の形態｝
上記実施の形態においては、第２部分の代表音高が第１部分の代表音高より高い（または低い）場合、第２オブジェクトを第１オブジェクトの垂直方向で上または下（第１方向に関して正または負の方向に）配置するようにした。第１方向として、垂直方向は一例であり、垂直方向から傾いた方向であってもよいし、第１方向が水平方向であってもよい。
上記実施の形態においては、第２部分の代表音高が第１部分の代表音高より高い（または低い）場合、第２オブジェクトを第１オブジェクトの垂直方向で上または下（第１方向に関して正または負の方向に）配置するようにした。第１方向として、垂直方向は一例であり、垂直方向から傾いた方向であってもよいし、第１方向が水平方向であってもよい。
【0066】
上記実施の形態にいては、第２部分の代表音高が第１部分の代表音高と同じ場合または決定された位置に既に他のオブジェクトが配置されている場合、第２オブジェクトを第１オブジェクトに対して水平方向に関して右方向（第２方向）に配置した。第２方向として、水平方向に関して右方向（垂直方向と直角に交わる方向）は一例であり、第１方向と交差する他の方向であってもよい。第１方向が水平方向である場合、第２方向を垂直方向に関して上方向または下方向としてもよい。
【0067】
図３～図１０で示した例では、音声オブジェクトＳＪを接触させて配置させた。音声オブジェクトＳＪは、接触させて配置させるのは一例であり、楽曲の連続性が把握し易いように近接して配置させればよい。例えば、図２２，図２３で示したように、音声オブジェクトＳＪ間に少しスペースを空けて近接し配置させてもよい。いずれにしても、音声オブジェクトＳＪを近接して配置させることで、省スペース化を向上させることができる。
【0068】
【0069】
図３，図４を用いて説明した基本ルールでは、音声オブジェクトＳＪを垂直方向で上または下（第１方向に関して正または負の方向）に配置した。他の実施の形態として、第２部分の代表音高が第１部分の代表音高より高い場合、第２オブジェクトを第１オブジェクトの右斜め上に配置し、第２部分の代表音高が第１部分の代表音高より低い場合、第２オブジェクトを第１オブジェクトの右斜め下に配置してもよい。これにより、ユーザにとって楽曲の進行が視覚的に理解し易くなる。図２５で示す例では、音声オブジェクトＳＪ（２）が、音声オブジェクトＳＪ（１）の右斜め上に配置され、音声オブジェクトＳＪ（５）が、音声オブジェクトＳＪ（４）の右斜め下に配置されている。なお、音声オブジェクトＳＪ（４）については、音声オブジェクトＳＪ（３）の垂直方向で下に配置することで省スペース化を図っているが、音声オブジェクトＳＪ（４）を、音声オブジェクトＳＪ（３）の右斜め下に配置してもよい
【0070】
他の実施の形態として、連続して音高が上がる場合、または、連続して音高が下がる場合に、変則ルールを適用させてもよい。図２６で示す例では、音声オブジェクトＳＪ（１）～ＳＪ（３）に対応する音高は、ド、レ、ミと連続して上がる。このため、音声オブジェクトＳＪ（２）は、音声オブジェクトＳＪ（１）の右に配置し、垂直方向について省スペース化を図っている。同様に、音声オブジェクトＳＪ（４）～ＳＪ（６）に対応する音高は、ド、シ、ラと連続して下がる。このため、音声オブジェクトＳＪ（５）は、音声オブジェクトＳＪ（４）の右に配置し、垂直方向について省スペース化を図っている。
【0071】
図２７～図３２を参照して、変形例に係るオブジェクトの配置方法について説明する。図２７は、分岐経路を有するオブジェクト配置を示す。「Ｈｏｗ」に対応する音声オブジェクトＳＪ（Ｂ）の代表音高は、「－ｓｔａｒ」に対応する音声オブジェクトＳＪ（Ａ）の代表音高よりも低いため、音声オブジェクトＳＪ（Ｂ）は、基本配置ルールに従い、音声オブジェクトＳＪ（Ａ）の下方向（第１方向に関して負の方向）に配置される。これに対して、「Ｈｏｏｏｏｗ」（音を延ばすリズム）に対応する音声オブジェクトＳＪ（Ｃ）が、音声オブジェクトＳＪ（Ａ）の右方向（第２方向）に配置され、別経路を形成している。ユーザは、ＳＪ（Ａ）→ＳＪ（Ｂ）を通る経路（図で白矢印で示す経路）とＳＪ（Ａ）→ＳＪ（Ｃ）（図で黒矢印で示す経路）を通るルートを選択して演奏を行うことができる。
【0072】
図２７においては、さらに、音声オブジェクトＳＪ（Ｋ）→ＳＪ（Ｌ）を通る経路（図で白矢印で示す経路）と、音声オブジェクトＳＪ（Ｋ）→ＳＪ（Ｍ）を通る経路（図で黒矢印で示す経路）とが配置されている。ユーザは、「ｃｈｕ」と発音する音声オブジェクトＳＪ（Ｌ）と「ｙｏｕ」と発音する音声オブジェクトＳＪ（Ｍ）を選択して演奏を実行することができる。
【0073】
図２８は、複数の経路を有するオブジェクト配置を別の例を示す。「ｌｏｓｔ」に対応する音声オブジェクトＳＪ（Ａ）に続く音声オブジェクトとして、ＳＪ（Ｂ）とＳＪ（Ｃ）の２通りの経路が用意される。音声オブジェクトＳＪ（Ｂ），ＳＪ（Ｃ）は、いずれも「ｌｏｓｔ」に続く歌詞「ｂｕｔ」に対応しているが、それぞれの代表音高が異なる。音声オブジェクトＳＪ（Ｂ）の代表音高は、音声オブジェクトＳＪ（Ａ）の代表音高より低いため、基本配置ルールに従い、音声オブジェクトＳＪ（Ａ）の下方向（第１方向に関して負の方向）に配置される。これに対して、音声オブジェクトＳＪ（Ａ）の次に、音声オブジェクトＳＪ（Ｃ）を選択することにより、「ｌｏｓｔ」に続く「ｂｕｔ」を同じ音高で歌うようなアドリブ演奏を行うことができる。「ｌｏｓｔ」、「ｂｕｔ」、「ｎｏｗ」と全て同じ音高で歌いたい場合には、ＳＪ（Ａ）→ＳＪ（Ｃ）→ＳＪ（Ｄ）を通る経路（図で白矢印で示す経路）を辿ればよい。あるいは、音声オブジェクトを、ＳＪ（Ａ）→ＳＪ（Ｃ）→ＳＪ（Ｅ）→ＳＪ（Ｆ）を通る経路（図で黒矢印で示す経路）で辿ることで、「ｌｏｓｔ」、「ｂｕｔ」は同じ音程で、その後、「ｎｏｗ」、「Ｉ’ｍ」と音高が下降するように歌うことができる。図２９は、複数の経路を有する音声オブジェクト配置の変形例である。図２８に比べて音声オブジェクトが斜め右方向に配置される。
【0074】
図３０～図３１は、音声オブジェクトの配置方法の別の例を示す。例えば、ユーザインタフェースのスペースが限られており、３×３のオブジェクトしか配置できないようなケースでは、音声オブジェクトの再配置を行ってもよい。図３０は、再配置の具体例を示す。「ｎｏｗ」に対応する最下段の音声オブジェクトＳＪ（Ｂ）がユーザにより選択された後、最下段には、新たな次の音声オブジェクトＳＪ（Ｃ）が配置される。これに伴い、音声オブジェクトＳＪ（Ａ），ＳＪ（Ｂ）は、上段に再配置される。これにより、図３１に示すように、音声オブジェクトを、３×３のテンキー配列のように限られたスペースで配置することができる。図３１の上段の状態で、「ｎｏｗ」に対応する音声オブジェクトＳＪ（Ｂ）が選択されると、図３１の下段に示すように、３×３の配列の中で、音声オブジェクトの再配置が行われる。このようにして、順に音声オブジェクトがスクロールするように再配置され、ユーザの操作に応じて楽曲が進行していく。
【符号の説明】
【0075】
１…演奏装置（オブジェクトの配置装置，音声の再生装置）、２０…ＣＰＵ、２１…ＲＯＭ、２２…ＲＡＭ、２３…記憶装置、２４…操作部、２５…ディスプレイ、２６…音源部、２７…サウンドシステム、１０…制御部、１１…配置制御部、１１１…位置取得部、１１２…配置部、１２…再生部、ＰＲ…プログラム、ＳＪ，ＳＪ（ｎ）…音声オブジェクト、ＳＤ…音声データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】