特許 7559792 楽譜編集装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】楽譜編集装置

(51)【国際特許分類】

   G10G 1/04 20060101AFI20240925BHJP

【ＦＩ】

G10G1/04

【請求項の数】 12

(21)【出願番号】P 2022044477

(22)【出願日】2022-03-18

(65)【公開番号】P2023138003

(43)【公開日】2023-09-29

【審査請求日】2023-06-01

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100108523

【弁理士】

【氏名又は名称】中川 雅博

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100187931

【弁理士】

【氏名又は名称】澤村 英幸

(72)【発明者】

【氏名】植村 教裕

【審査官】大野 弘

(56)【参考文献】

【文献】特開２００９－０９８１６１（ＪＰ，Ａ）

【文献】特開２００４－０９３９００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／０４

(57)【特許請求の範囲】

【請求項1】

移調前の楽譜の画像を第１の画像データとして認識する画像認識部と、
移調前の調と移調後の調との差を示すピッチ量の指定を受け付けるピッチ受付部と、
前記第１の画像データにおける音符を認識する音符認識部と、
前記第１の画像データから前記音符が削除された第２の画像データを出力する音符削除部と、
前記ピッチ受付部に指定されたピッチ量に基づいて、移調後の前記音符の画像を示す第３の画像データを出力する音符移調部と、
前記第２の画像データと前記第３の画像データとを合成することにより、移調後の楽譜の画像を示す第４の画像データを出力する合成部とを備える、楽譜編集装置。

【請求項2】

前記ピッチ受付部は、移調後の調の指定を受け付け、移調前の楽譜から移調前の調を検出し、検出された移調前の調と指定された移調後の調とに基づいてピッチ量の指定を受け付ける、請求項１記載の楽譜編集装置。

【請求項3】

前記音符認識部は、前記第１の画像データにおける五線をさらに認識し、
前記音符削除部は、前記第１の画像データから前記五線がさらに削除された前記第２の画像データを出力する、請求項１または２記載の楽譜編集装置。

【請求項4】

前記音符移調部は、前記ピッチ受付部に指定されたピッチ量に基づいて、認識された前記音符と前記五線とを相対的に移動させることにより、前記五線と移調後の前記音符の画像とを示す前記第３の画像データを出力する、請求項３記載の楽譜編集装置。

【請求項5】

前記音符認識部は、前記第１の画像データにおける音部記号、調号および拍子記号をさらに認識し、
前記音符削除部は、前記第１の画像データから前記音部記号、前記調号および前記拍子記号がさらに削除された前記第２の画像データを出力する、請求項３または４記載の楽譜編集装置。

【請求項6】

前記音符移調部は、移調後の前記調号と、前記音部記号および前記拍子記号とを異なる濃さまたは異なる色にして前記第３の画像データを出力する、請求項５記載の楽譜編集装置。

【請求項7】

前記音符移調部は、移調後の前記調号を前記音部記号と前記拍子記号との間の隙間に配置して前記第３の画像データを出力する、請求項５記載の楽譜編集装置。

【請求項8】

前記合成部は、前記五線の上方または下方に前記五線の間隔と等しい間隔でガイド直線を追加して前記第４の画像データを出力する、請求項３～７のいずれか一項に記載の楽譜編集装置。

【請求項9】

前記音符削除部は、音符、臨時記号、五線、音部記号、調号および拍子記号以外の音楽記号を周辺情報として含む前記第２の画像データを出力する、請求項１～８のいずれか一項に記載の楽譜編集装置。

【請求項10】

前記音符削除部は、移調後の前記音符に追従する位置に前記周辺情報を配置して前記第２の画像データを出力する、請求項９記載の楽譜編集装置。

【請求項11】

前記第４の画像データにおけるいずれかの音符の指定と、当該音符のピッチ量の指定とを受け付ける修正受付部をさらに備え、
前記合成部は、前記修正受付部に指定されたピッチ量に基づいて、指定された前記音符を修正して前記第４の画像データを更新する、請求項１～１０のいずれか一項に記載の楽譜編集装置。

【請求項12】

前記音符削除部は、前記第１の画像データから楽譜要素が削除された前記第２の画像データを出力する際、削除を行うためのマスク画像を膨張または回転させることにより前記第１の画像データに含まれる前記楽譜要素を削除する、請求項１～１１のいずれか一項に記載の楽譜編集装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽譜を編集する楽譜編集装置に関する。

【背景技術】

【0002】

画像形式の楽譜を認識する技術が知られている。例えば、特許文献１に記載された楽譜認識装置においては、予め記憶された複数のパートテンプレートからスキャナで読み取られた楽譜に応じたパートテンプレートが選択される。選択されたパートテンプレートを用いて、スキャナで読み取られた楽譜に対し、自動的に修正が行われる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－９８１６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された楽譜認識装置によれば、スキャナで読み取られた楽譜が移調楽器を反映した楽譜である場合には、調号の修正を行うことができる。しかしながら、特許文献１に記載された技術においては、移調された楽譜を生成することは困難である。

【0005】

本発明の目的は、移調された楽譜を生成することが可能な楽譜編集装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一局面に従う楽譜編集装置は、移調前の楽譜の画像を第１の画像データとして認識する画像認識部と、移調前の調と移調後の調との差を示すピッチ量の指定を受け付けるピッチ受付部と、第１の画像データにおける音符を認識する音符認識部と、第１の画像データから音符が削除された第２の画像データを出力する音符削除部と、ピッチ受付部に指定されたピッチ量に基づいて、移調後の音符の画像を示す第３の画像データを出力する音符移調部と、第２の画像データと第３の画像データとを合成することにより、移調後の楽譜の画像を示す第４の画像データを出力する合成部とを備える。

【発明の効果】

【0007】

本発明によれば、移調された楽譜を生成することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施の形態に係る楽譜編集装置を含む処理システムの構成を示すブロック図である。

【図2】楽譜編集装置の構成を示すブロック図である。

【図3】画像認識部により認識された第１の画像データに基づく楽譜の画像の例を示す図である。

【図4】第１のテキストデータから生成された画像データに基づく楽譜要素の画像の例を示す図である。

【図5】第２の画像データに基づく楽譜の画像の例を示す図である。

【図6】第３の画像データに基づく移調後の楽譜要素の画像の例を示す図である。

【図7】第４の画像データに基づく移調後の楽譜の画像の例を示す図である。

【図8】第１の変形例における移調後の楽譜の画像の例を示す部分拡大図である。

【図9】第２の変形例における移調後の楽譜の画像の例を示す部分拡大図である。

【図10】第３の変形例における移調後の楽譜の画像の例を示す部分拡大図である。

【図11】第４の変形例を説明するための図である。

【図12】第４の変形例における移調後の楽譜の画像の例を示す図である。

【図13】第４の変形例における移調前後の楽譜の画像の例を示す部分拡大図である。

【図14】第５の変形例における移調後の楽譜の画像の例を示す部分拡大図である。

【図15】第６の変形例における移調後の楽譜の画像の例を示す部分拡大図である。

【図16】図２の楽譜編集装置による楽譜編集処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

（１）処理システムの構成
以下、本発明の実施の形態に係る楽譜編集装置について図面を用いて詳細に説明する。図１は、本発明の一実施の形態に係る楽譜編集装置を含む処理システムの構成を示すブロック図である。図１に示すように、処理システム１００は、ＲＡＭ（ランダムアクセスメモリ）１１０、ＲＯＭ（リードオンリメモリ）１２０、ＣＰＵ（中央演算処理装置）１３０、記憶部１４０、操作部１５０および表示部１６０を備える。

【0010】

処理システム１００は、パーソナルコンピュータ、タブレット端末、スマートフォンまたはスマートグラス等のコンピュータにより実現される。あるいは、処理システム１００は、イーサネット等の通信路により接続された複数のコンピュータの共同動作により実現されてもよいし、電子ピアノ等の演奏機能を備えた電子楽器により実現されてもよい。

【0011】

ＲＡＭ１１０、ＲＯＭ１２０、ＣＰＵ１３０、記憶部１４０、操作部１５０および表示部１６０は、バス１７０に接続される。ＲＡＭ１１０、ＲＯＭ１２０およびＣＰＵ１３０により楽譜編集装置１０が構成される。

【0012】

ＲＡＭ１１０は、例えば揮発性メモリからなり、ＣＰＵ１３０の作業領域として用いられる。ＲＯＭ１２０は、例えば不揮発性メモリからなり、楽譜編集プログラムを記憶する。ＣＰＵ１３０は、ＲＯＭ１２０に記憶された楽譜編集プログラムをＲＡＭ１１０上で実行することにより楽譜編集処理を行う。楽譜編集処理の詳細については後述する。

【0013】

楽譜編集プログラムは、ＲＯＭ１２０ではなく記憶部１４０に記憶されてもよい。あるいは、楽譜編集プログラムは、コンピュータが読み取り可能な記憶媒体に記憶された形態で提供され、ＲＯＭ１２０または記憶部１４０にインストールされてもよい。あるいは、処理システム１００がインターネット等のネットワークに接続されている場合には、当該ネットワーク上のサーバ（クラウドサーバを含む。）から配信された楽譜編集プログラムがＲＯＭ１２０または記憶部１４０にインストールされてもよい。

【0014】

記憶部１４０は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。記憶部１４０には、楽譜の画像（いわゆる静的楽譜）を示す画像データに含まれる種々の音楽記号を特定するためのテンプレート（楽譜描画用の記譜フォントを含む。）または深層学習等で使用される学習モデルの重みパラメータが予め記憶されている。

【0015】

操作部１５０は、マウス等のポインティングデバイスまたはキーボードを含み、楽譜編集装置１０に所定の指定を行うために使用者により操作される。表示部１６０は、例えば液晶ディスプレイを含み、楽譜編集装置１０による楽譜編集処理の結果を表示する。操作部１５０および表示部１６０は、タッチパネルディスプレイにより構成されてもよい。

【0016】

（２）楽譜編集装置の構成
図２は、楽譜編集装置１０の構成を示すブロック図である。図２に示すように、楽譜編集装置１０は、機能部として、画像認識部１１、音符認識部１２、音符削除部１３、ピッチ受付部１４、音符移調部１５、合成部１６および修正受付部１７を含む。図１のＣＰＵ１３０が楽譜編集プログラムを実行することにより、楽譜編集装置１０の機能部が実現される。楽譜編集装置１０の機能部の少なくとも一部は、電子回路等のハードウエアにより実現されてもよい。

【0017】

画像認識部１１は、記憶部１４０に記憶されたテンプレートまたは深層学習等による重み学習モデルに基づいて、与えられた楽譜の画像における種々の音楽記号を特定することにより、楽譜の画像を示す第１の画像データを認識する。図３は、画像認識部１１により認識された第１の画像データに基づく楽譜の画像の例を示す図である。

【0018】

なお、本例では、移調に関係する音楽記号のみが認識されればよい。例えば、小節線または繰り返し記号等の移調に関係しない音楽記号は認識されなくてもよい。一方で、移調に関係しない音楽記号が認識されて図３の描画が行われることにより、後述する音符削除部１３により他の記号と重なる線の一部が削除される場合であっても、線の明瞭な楽譜を生成することができる。線が歪んでいると認識および再描画が困難であるため、認識機能の性能または処理対象の楽譜の品質を考慮して、認識する記号と削除する記号とが決定されてもよい。

【0019】

使用者は、移調前の所望の楽譜の画像を画像認識部１１に与えることができる。移調前の楽譜の画像は、スマートデバイスまたはスマートグラス等を通して視認可能なＡＲ（拡張現実）における画像であってもよい。移調後の楽譜の画像についても同様である。図３の例では、ブルグミュラー２５の練習曲第１０番「Ｔｅｎｄｒｅ ｆｌｅｕｒ（やさしい花）」の楽譜が画像認識部１１に与えられる。楽譜中の音符の上方または下方に付された数字は、当該音符をピアノにより演奏する際に使用する指を示す指番号である。

【0020】

音符認識部１２は、画像認識部１１により認識された第１の画像データにおける音符、臨時記号、五線、音部記号、調号または拍子記号（以下、楽譜要素と呼ぶ。）を認識する。また、音符認識部１２は、認識された楽譜要素と、楽譜要素の座標とを示す第１のテキストデータを生成する。図４は、第１のテキストデータから記譜フォントまたは線等を描画して生成された画像データに基づく楽譜要素の画像の例を示す図である。図４に示すように、第１のテキストデータに基づいて、楽譜要素の画像を示すＰＮＧ（Portable Network Graphics）形式等の画像データを生成することが可能である。

【0021】

音符削除部１３は、音符認識部１２により生成された第１のテキストデータに基づいて、画像認識部１１により認識された第１の画像データから楽譜要素が削除された第２の画像データを出力する。図５は、第２の画像データに基づく楽譜の画像の例を示す図である。図５に示すように、第２の画像データにおいては、第１の画像データに含まれていた音符、臨時記号、五線、音部記号、調号および拍子記号以外の音楽記号が周辺情報として残存する。周辺情報の例としては、演奏記号、書き込み、解説等があり、図５の例では、曲名および演奏記号（速度、強弱、発想標語、アーティキュレーション（スラーまたはスタッカート）および奏法（指番号またはペダル）等）が該当する。

【0022】

図５の楽譜の画像は、図３の楽譜の画像と図４の楽譜要素の画像との残差として生成することができる。すなわち、図４の画像は、図３の画像から楽譜要素を削除するためのマスク画像として用いられ、図３の画像の各画素と図４の画像の各画素との重複部分が削除される。なお、図３の画像から不要な部分を確実に削除するために、音符削除部１３は、図４の画像データにおける音符、臨時記号、五線、音部記号、調号および拍子記号の部分がわずかに膨張するように、図４の画像データを生成してもよい。

【0023】

画像を膨張させる方法として、モルフォロジー演算（膨張処理）、または楽譜認識時に得られた記号ごとのバウンディングボックス（記号を囲む矩形）の領域をマスク画像に利用する方法が例として挙げられる。また、記号によっては斜めに傾いている場合がある（例：ト音記号、符頭またはセーニョ）ので、より精度の高いマスク画像（図４の画像）を生成するために回転処理を組み合わせてもよい。

【0024】

ピッチ受付部１４は、ピッチ量の指定を使用者から受け付ける。使用者は、操作部１５０を操作することにより、移調前の調と移調後の調との差を示すピッチ量をピッチ受付部１４に与えることができる。ピッチ量は、半音の数として与えられてもよいし、調号におけるシャープまたはフラットの数として与えられてもよい。

【0025】

あるいは、ピッチ受付部１４は、調の指定を使用者から受け付けてもよい。この場合、ピッチ受付部１４は、図２の点線の矢印で示すように、移調前の楽譜において音符認識部１２により認識された音符から移調前の調を検出する。また、ピッチ受付部１４は、検出された移調前の調と指定された移調後の調とを比較することにより、上記のピッチ量の指定を受け付ける。

【0026】

音符移調部１５は、ピッチ受付部１４により指定されたピッチ量に基づいて、移調後の楽譜要素と、楽譜要素の座標とを示す第２のテキストデータを生成する。本例においては、各音符が指定されたピッチ量だけ五線に対して上下方向に移動した位置に配置されるように、第１のテキストデータにおける各音符の座標が書き換えられることにより、第２のテキストデータが生成される。また、音符移調部１５は、生成された第２のテキストデータに基づいて、移調後の楽譜要素の画像を示す第３の画像データを出力する。図６は、第３の画像データに基づく移調後の楽譜要素の画像の例を示す図である。

【0027】

合成部１６は、音符削除部１３により出力された第２の画像データ（図５参照）と、音符移調部１５により出力された第３の画像データ（図６参照）とを合成することにより、移調後の楽譜を示す第４の画像データを出力する。図７は、第４の画像データに基づく移調後の楽譜の画像の例を示す図である。合成部１６は、出力された図７の第４の画像データに基づいて、移調後の楽譜の画像を表示部１６０に表示させることが可能である。

【0028】

修正受付部１７は、合成部１６により出力された第４の画像データにおけるいずれかの音符の指定と、当該音符のピッチ量の指定とを使用者から受け付ける。使用者は、操作部１５０を操作することにより、表示部１６０に表示された移調後の楽譜の画像において、所望の音符と、当該音符のピッチ量とを指定することができる。

【0029】

修正受付部１７に音符とピッチ量とが指定された場合、合成部１６は、指定されたピッチ量に基づいて、第２のテキストデータにおける指定された音符の座標を修正する。これにより、第４の画像データが更新され、移調後の楽譜において、指定された音符が指定されたピッチ量だけ上下方向に移動した位置に配置される。

【0030】

（３）変形例
移調後の楽譜の画像においては、周辺情報と楽譜要素とが重なり合うことにより、楽譜の可読性が低下することがある。そこで、楽譜の可読性を向上させるための種々の処理が実行されてもよい。

【0031】

図８は、第１の変形例における移調後の楽譜の画像の例を示す部分拡大図である。第１の変形例においては、合成部１６は、周辺情報の画像を示す第２の画像データと、楽譜要素の画像を示す第２の画像データとを排他的論理和により合成して第４の画像データを出力する。この処理によれば、第４の画像データが２値データである場合でも、図８に示すように、移調後の楽譜の画像において、周辺情報と楽譜要素との重複部分が白抜きで示される。これにより、楽譜の可読性が向上する。第４の画像データが２値データでない場合には、移調後の楽譜の画像において、周辺情報と楽譜要素とが互いに異なる色で表示されてもよい。

【0032】

図９は、第２の変形例における移調後の楽譜の画像の例を示す部分拡大図である。第２の変形例においては、音符移調部１５は、移調後の調号と、音部記号および拍子記号とを異なる濃さにして第３の画像データを出力する。この処理によれば、図９に示すように、移調後の楽譜の画像において、調号が音部記号および拍子記号よりも薄く表示される。これにより、調号が音部記号または拍子記号に重なる場合でも、楽譜の可読性が向上する。移調後の楽譜の画像において、調号が音部記号または拍子記号と異なる色で表示されてもよい。

【0033】

図１０は、第３の変形例における移調後の楽譜の画像の例を示す部分拡大図である。第３の変形例においては、音符移調部１５は、移調後の調号を音部記号と拍子記号との間の隙間に配置して第３の画像データを出力する。この処理によれば、図１０に示すように、移調後の楽譜の画像において、調号が音部記号および拍子記号とは重ならないように配置される。これにより、楽譜の可読性が向上する。

【0034】

移調後の楽譜の画像においては、各音符に対応する周辺情報が当該音符の近傍に配置されてもよい。図１１は、第４の変形例を説明するための図である。図１１に点線で示すように、音符削除部１３は、第２の画像データにおいて、移動領域Ｒを特定する。移動領域Ｒは、五線が配置されるべき領域の所定距離だけ上の位置から、五線が配置されるべき領域の所定距離だけ下の位置までの領域である。移動領域Ｒの左端および右端は、五線が配置されるべき領域の左端および右端とそれぞれ等しい。

【0035】

音符削除部１３は、第２の画像データにおける周辺情報のうち、特定された移動領域Ｒに含まれる周辺情報を移調後の音符に追従する位置に配置して第２の画像データを出力する。合成部１６は、上記の第２の画像データを用いて移調後の楽譜を示す第４の画像データを出力する。図１２は、第４の変形例における移調後の楽譜の画像の例を示す図である。図１２に示すように、上記の処理によれば、移調後の楽譜の画像において、当該音符の近傍に配置することができる。

【0036】

図１３は、第４の変形例における移調前後の楽譜の画像の例を示す部分拡大図である。図１３の上段には移調前の楽譜の画像が示され、図１３の下段には移調後の楽譜の画像が示される。図１３に示すように、第４の変形例においては、演奏記号（スラーまたは運指番号等）、または書き込み等の周辺情報を、音符との位置関係を維持したまま移動させることができる。また、認識エラー等の理由により第２の画像データが周辺情報として装飾音符を含む場合でも、移調後の楽譜の画像において、装飾音符を適切な位置に配置することができる。このように、楽譜認識が部分的に誤っていたとしても、視覚的に楽譜が正しく移調される。これは、本発明の有効性を示す一例である。

【0037】

図１４は、第５の変形例における移調後の楽譜の画像の例を示す部分拡大図である。図１４に示すように、上記の移動領域Ｒに含まれる周辺情報は、楽譜要素等の他の記号と異なる色で表示されてもよい。この場合、音符の近傍の周辺情報が楽譜要素に重なる場合でも、楽譜の可読性が向上する。移動領域Ｒに含まれる周辺情報は、楽譜要素等の他の記号よりも薄く表示されてもよい。

【0038】

図１５は、第６の変形例における移調後の楽譜の画像の例を示す部分拡大図である。図１５に示すように、合成部１６は、五線の上方または下方に五線の間隔と等しい間隔で１以上のガイド直線Ｇを追加して第４の画像データを出力してもよい。この処理によれば、移調された楽譜において、楽譜認識エラー等により加線がない状態で装飾音符が五線から離れた位置に配置された場合でも、使用者はガイド直線Ｇを基準として装飾音符のピッチを容易に認識することができる。これにより、装飾音符の認識エラー等が理由で装飾音符に加線を追加できない場合においても、音の高さを正しく認識することができる。なお、ここでは装飾音符の例を示したが、通常の音符にガイド直線Ｇを利用してもよい。

【0039】

図１５の例では、ガイド直線Ｇの数は３本であるが、実施の形態はこれに限定されない。ガイド直線Ｇの数は、使用者により任意に指定されてもよい。また、図１５の例では、ガイド直線Ｇは点線で表示されるが、ガイド直線Ｇは、五線と区別可能である限り、点線で表示されなくてもよい。例えば、ガイド直線Ｇは、五線とは異なる太さで表示されてもよいし、五線とは異なる色で表示されてもよい。

【0040】

（４）楽譜編集処理
図１６は、図２の楽譜編集装置１０による楽譜編集処理の一例を示すフローチャートである。図１６の楽譜編集処理は、図１のＣＰＵ１３０が楽譜編集プログラムを実行することにより行われる。

【0041】

まず、画像認識部１１は、楽譜の画像が与えられたか否かを判定する（ステップＳ１）。使用者は、画像認識部１１に楽譜の画像を与えることができる。楽譜の画像が与えられない場合、画像認識部１１は、楽譜の画像が与えられるまで待機する。楽譜の画像が与えられた場合、画像認識部１１は、ステップＳ１で与えられた楽譜の画像を示す第１の画像データを認識する（ステップＳ２）。

【0042】

次に、音符認識部１２は、ステップＳ２で認識された第１の画像データにおける楽譜要素を認識する（ステップＳ３）。また、音符認識部１２は、ステップＳ３で認識された楽譜要素と、楽譜要素の座標とを示す第１のテキストデータを生成する（ステップＳ４）。続いて、音符削除部１３は、ステップＳ４で生成された第１のテキストデータに基づいて、ステップＳ２で認識された第１の画像データから楽譜要素が削除された第２の画像データを出力する（ステップＳ５）。

【0043】

その後、ピッチ受付部１４は、移調前の調と移調後の調との差を示すピッチ量の指定が受け付けられたか否かを判定する（ステップＳ６）。使用者は、ピッチ量をピッチ受付部１４に指定することができる。あるいは、使用者は、ピッチ量に代えて、調をピッチ受付部１４に指定することができる。ピッチ量の指定が受け付けられない場合、ピッチ受付部１４は、ピッチ量の指定が受け付けられるまで待機する。

【0044】

ピッチ量の指定が受け付けられた場合、音符移調部１５は、当該ピッチ量に基づいて、移調後の楽譜要素と、楽譜要素の座標とを示す第２のテキストデータを生成する（ステップＳ７）。また、音符移調部１５は、ステップＳ７で生成された第２のテキストデータに基づいて、移調後の楽譜要素の画像を示す第３の画像データを出力する（ステップＳ８）。

【0045】

次に、合成部１６は、ステップＳ５で出力された第２の画像データと、ステップＳ８で出力された第３の画像データとを合成することにより、移調後の楽譜を示す第４の画像データを出力する（ステップＳ９）。続いて、修正受付部１７は、楽譜の修正の指示が受け付けられたか否かを判定する（ステップＳ１０）。使用者は、ステップＳ９で出力された第４の画像データにおけるいずれかの音符と、当該音符のピッチ量とを指定することにより、楽譜の修正を修正受付部１７に指示することができる。

【0046】

楽譜の修正が指示された場合、合成部１６は、ステップＳ１０で指定された音符およびピッチ量に基づいて、第２のテキストデータを修正する（ステップＳ１１）。具体的には、第２のテキストデータにおいて、指定されたピッチ量に基づいて、指定された音符の座標が修正される。その後、合成部１６は、ステップＳ８に戻る。これにより、第３の画像データと第４の画像データとが更新され、移調後の楽譜において、指定された音符が指定されたピッチ量だけ上下方向に移動した位置に配置される。

【0047】

ステップＳ１０で楽譜の修正の指示が受け付けられない場合、合成部１６は、終了の指示が受け付けられたか否かを判定する（ステップＳ１２）。使用者は、操作部１５０を用いて所定の操作を行うことにより、楽譜編集処理を終了することを合成部１６に指示することができる。終了の指示が受け付けられない場合、合成部１６はステップＳ１０に戻る。終了の指示が受け付けられた場合、合成部１６は、楽譜編集処理を終了する。

【0048】

（５）実施の形態の効果
以上説明したように、本実施の形態に係る楽譜編集装置１０は、移調前の楽譜の画像を第１の画像データとして認識する画像認識部１１と、移調前の調と移調後の調との差を示すピッチ量の指定を受け付けるピッチ受付部１４と、第１の画像データにおける音符を認識する音符認識部１２と、第１の画像データから音符が削除された第２の画像データを出力する音符削除部１３と、ピッチ受付部１４に指定されたピッチ量に基づいて、移調後の音符の画像を示す第３の画像データを出力する音符移調部１５と、第２の画像データと第３の画像データとを合成することにより、移調後の楽譜の画像を示す第４の画像データを出力する合成部１６とを備える。

【0049】

この構成によれば、楽譜の画像から移調された楽譜を生成することができる。そのため、使用者は、所望の楽譜の画像を用いて移調楽譜を生成することができ、例えば、移調楽器との合奏を容易に行うことが可能になる。

【0050】

ピッチ受付部１４は、移調後の調の指定を受け付け、移調前の楽譜から移調前の調を検出し、検出された移調前の調と指定された移調後の調とに基づいてピッチ量の指定を受け付けてもよい。この場合、移調後の調からピッチ量の指定を受け付けることができる。

【0051】

音符認識部１２は、第１の画像データにおける五線をさらに認識し、音符削除部１３は、第１の画像データから五線がさらに削除された第２の画像データを出力してもよい。この構成によれば、移調前の楽譜の画像が五線譜である場合でも、移調された楽譜を生成することができる。

【0052】

音符移調部１５は、ピッチ受付部１４に指定されたピッチ量に基づいて、認識された音符を五線に対して移動させることにより、五線と移調後の音符の画像とを示す第３の画像データを出力してもよい。この場合、移調された楽譜を容易に生成することができる。

【0053】

音符認識部１２は、第１の画像データにおける音部記号、調号および拍子記号をさらに認識し、音符削除部１３は、第１の画像データから音部記号、調号および拍子記号がさらに削除された第２の画像データを出力してもよい。この構成によれば、楽譜の画像に音部記号、調号および拍子記号が含まれる場合でも、移調された楽譜を生成することができる。

【0054】

音符削除部１３は、第１の画像データから音符等が削除された第２の画像データを出力する。このときの削除を行うためのマスク画像（図４の画像データ）においては、第１の画像データに含まれる音符等よりも少し大きくなるように図４の音符等の部分が膨張されてもよい。この場合、第２の画像データにより示される楽譜の画像から音符等を確実に削除することができる。

【0055】

音符移調部１５は、移調後の調号と、音部記号および拍子記号とを異なる濃さまたは異なる色にして第３の画像データを出力してもよい。この場合、移調後の楽譜において、調号が音部記号および拍子記号とは異なる態様で表示される。これにより、調号が音部記号または拍子記号に重なる場合でも、使用者は、調号を容易に認識することができる。

【0056】

音符移調部１５は、移調後の調号を音部記号と拍子記号との間の隙間に配置して第３の画像データを出力してもよい。この場合、移調後の楽譜において、調号が音部記号および拍子記号とは重ならないように配置される。調号の記号（シャープまたはフラット）の数が移調前の調の記号の数よりも増える場合（図１０の例は、ニ長調（シャープ２個）からホ長調（シャープ４個）に移調する場合）には、音部記号と拍子記号との間のスペースが足りなくなるので、調号のスペースを確保するために、音部記号とその周辺の五線等とを左に移動および延長した第３の画像データが生成されてもよい。これにより、使用者は、調号を容易に認識することができる。

【0057】

合成部１６は、五線の上方または下方に五線の間隔と等しい間隔でガイド直線Ｇを追加して第４の画像データを出力してもよい。この構成によれば、移調後の楽譜において、装飾音符が五線から離れた位置に配置された場合でも、使用者は、ガイド直線Ｇを基準として装飾音符のピッチを容易に認識することができる。

【0058】

音符削除部１３は、演奏記号、書き込みまたは解説等を周辺情報として含む第２の画像データを出力してもよい。この場合、移調前の楽譜の画像に記載されていた周辺情報を移調後の楽譜に維持することができる。

【0059】

音符削除部１３は、移調後の音符に追従する位置に周辺情報を配置して第２の画像データを出力してもよい。この場合、移調後の楽譜において、音符と周辺情報との対応関係を容易に認識することができる。

【0060】

楽譜編集装置１０は、第４の画像データにおけるいずれかの音符の指定と、当該音符のピッチ量の指定とを受け付ける修正受付部１７をさらに備え、合成部１６は、修正受付部１７に指定されたピッチ量に基づいて、指定された音符を修正して第４の画像データを更新してもよい。この場合、移調後の楽譜において、一音単位で音符を編集することができる。

【0061】

（６）他の実施の形態
（ａ）上記実施の形態において、楽譜要素として五線、音部記号、調号および拍子記号が第３の画像データに含まれるが、実施の形態はこれに限定されない。五線、音部記号、調号および拍子記号の一部または全部が第３の画像データに含まれなくてもよい。また、音部記号、調号および拍子記号の一部または全部は、第３の画像データではなく第２の画像データに含まれてもよい。この場合、第２の画像データに基づく楽譜の画像には、五線、音部記号、調号および拍子記号の一部または全部が表示される。

【0062】

（ｂ）上記実施の形態において、音符が五線に対して移動されることにより第３の画像データが出力されるが、実施の形態はこれに限定されない。音符と五線とが相対的に移動されることにより第３の画像データが出力されてもよい。したがって、五線が音符に対して移動されることにより第３の画像データが出力されてもよい。

【0063】

（ｃ）上記実施の形態において、楽譜編集装置１０は修正受付部１７を含むが、実施の形態はこれに限定されない。移調後の楽譜において、一音単位で音符を編集する必要がない場合には、楽譜編集装置１０は修正受付部１７を含まなくてもよい。

【0064】

（ｄ）上記実施の形態において、音符認識部１２および音符移調部１５は、テキストデータを生成し、生成されたテキストデータに基づいて画像データを生成するが、実施の形態はこれに限定されない。音符認識部１２また音符移調部１５は、テキストデータを生成することなく、画像認識部１１等により認識された音符等のラスタ画像またはベクタ画像を処理することにより移調された画像データを生成してもよい。

【符号の説明】

【0065】

１０…楽譜編集装置，１１…画像認識部，１２…音符認識部，１３…音符削除部，１４…ピッチ受付部，１５…音符移調部，１６…合成部，１７…修正受付部，１００…処理システム，１１０…ＲＡＭ，１２０…ＲＯＭ，１３０…ＣＰＵ，１４０…記憶部，１５０…操作部，１６０…表示部，１７０…バス，Ｇ…ガイド直線，Ｒ…移動領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】