特開 2024-158708 楽譜を描画するための情報処理装置、楽譜生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024158708

(43)【公開日】2024-11-08

(54)【発明の名称】楽譜を描画するための情報処理装置、楽譜生成方法およびプログラム

(51)【国際特許分類】

   G10G 1/00 20060101AFI20241031BHJP

   G09B 15/00 20060101ALI20241031BHJP

【ＦＩ】

G10G1/00

G09B15/00 B

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023074118

(22)【出願日】2023-04-28

(71)【出願人】

【識別番号】523161457

【氏名又は名称】宅間 大介

(74)【代理人】

【識別番号】110000420

【氏名又は名称】弁理士法人ＭＩＰ

(72)【発明者】

【氏名】宅間 大介

【テーマコード（参考）】

5D182

【Ｆターム（参考）】

5D182AA12

(57)【要約】

【課題】 高い自由度でのデザイン性のある楽譜を描画するための情報処理装置を提供すること。
【解決手段】 情報処理装置１００は、少なくとも音高を表す情報を含む楽譜データ１０２に基づいて、五線の領域の位置情報および複数の音符の位置情報を抽出する抽出部１２２を備える。情報処理装置１００は、また、五線の領域の位置情報および複数の音符の位置情報に基づいて、複数の音符のうちの五線の領域外に延在する１または複数の五線外部分および五線の領域を包含し、内側に配置される音楽記号を背景から視覚的に区別する五線コンテナを描画するコンテナ描画部１４１を備える。情報処理装置１００は、さらに、五線コンテナおよび楽譜データに基づく複数の音楽記号が描画された楽譜の画像を生成する画像生成部１４５を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも音高を表す情報を含む楽譜データに基づいて、五線の領域の位置情報および複数の音符の位置情報を抽出する抽出部と、
前記五線の領域の位置情報および前記複数の音符の位置情報に基づいて、前記複数の音符のうちの前記五線の領域外に延在する１または複数の五線外部分および前記五線の領域を包含し、内側に配置される音楽記号を背景から視覚的に区別する五線コンテナを描画するコンテナ描画部と、
前記五線コンテナおよび前記楽譜データに基づく複数の音楽記号が描画された楽譜の画像を生成する画像生成部と
を含む、情報処理装置。

【請求項2】

前記抽出部は、音部記号、変化記号および複数の五線を連結する括弧の位置情報をさらに抽出し、前記コンテナ描画部は、前記五線の領域外に延在する前記音部記号、前記変化記号および前記括弧の部分の領域、前記１または複数の五線外部分の領域および前記括弧により連結される複数の五線の領域を結合して結合領域を生成し、前記結合領域に基づいて前記五線コンテナを描画することを特徴とする、請求項１に記載の情報処理装置。

【請求項3】

前記コンテナ描画部は、（１）前記五線に平行な線分が含まれないことを条件として前記結合領域を囲む輪郭線を画定すること、（２）前記結合領域の輪郭の近傍に複数のオブジェクトを配置すること、（３）前記結合領域を囲むよう画定された輪郭線に対し作図上の操作を施すこと、または（４）前記結合領域が被覆される確率が高くなるように確率的にオブジェクトを繰り返し配置すること、によって前記五線コンテナを描画することを特徴とする、請求項２に記載の情報処理装置。

【請求項4】

前記楽譜の画像は、背景画像を含み、前記五線コンテナは、前記背景画像の前景への画像の配置および前記背景画像における前記五線コンテナに対応した領域への画像加工の適用の少なくとも１つを規定する、請求項２に記載の情報処理装置。

【請求項5】

前記楽譜データに対して、（１）複数の音符間の音高の差分に対する許容範囲の指定および（２）指定したサンプルの音型との音高に基づく類似度または相違度の指定の一方または両方に基づいて、複数の音型を照合し、それぞれ前記複数の音型のいずれかに合致する複数の音符を含む１または複数の音符集合を抽出する音型照合部と、
前記１または複数の音符集合各々について、該音符集合に含まれる複数の音符の位置情報に基づいて、該音符集合に含まれる複数の音符を修飾する音型ハイライトを描画するハイライト描画部と
をさらに含む、請求項２に記載の情報処理装置。

【請求項6】

前記複数の音型は、それぞれ、事前定義された音型照合ルールに基づく指定音型、前記楽譜データから逆生成された音型照合ルールに基づく頻出音型、前記事前定義された音型照合ルールおよび前記逆生成された音型照合ルールに対し、照合項目の許容幅の拡張および照合項目の一部の省略の少なくとも１つを適用した音型照合ルールに基づく前記指定音型または前記頻出音型に類似する類似音型のいずれかである、請求項５に記載の情報処理装置。

【請求項7】

前記音型ハイライトは、前記音符集合に含まれる複数の音符の画像の変更、前記音符集合に含まれる複数の音符の符頭、符尾、または、符頭もしくは符尾を結ぶ線に基づく画像の配置、および、前記音符集合に含まれる複数の音符の符頭、符尾、または、符頭もしくは符尾を結ぶ線に基づく画像加工の適用の少なくとも１つを規定する、請求項５に記載の情報処理装置。

【請求項8】

前記楽譜データに基づいて統計処理をし、１または複数の曲想抽出ルールのいずれかに合致する所定単位に対し、該所定単位の曲想を示す曲想属性を付与する曲想情報抽出部をさらに含み、前記曲想属性を判定するための情報は、テンポ、音数、音量、アーティキュレーション、音価の分布、音高の分布、音高の差分または音程の分布または発想記号に基づいた統計情報を含み、前記コンテナ描画部は、前記曲想属性に基づいて、前記五線コンテナにおける前記所定単位に対応する領域に配置する画像または適用する画像加工を変化させることを特徴とする、請求項２に記載の情報処理装置。

【請求項9】

前記楽譜データに基づいて統計処理をし、１または複数の曲想抽出ルールのいずれかに合致する所定単位に対し、該所定単位の曲想を示す曲想属性を付与する曲想情報抽出部をさらに含み、前記曲想属性を判定するための情報は、テンポ、音数、音量、アーティキュレーション、音価の分布、音高の分布、音高の差分または音程の分布または発想記号に基づいた統計情報を含み、前記ハイライト描画部は、前記曲想属性および前記所定単位に含まれる複数の音楽記号の位置情報に基づいて、前記所定単位に含まれる複数の音楽記号を修飾する曲想ハイライトを描画して、前記曲想ハイライトは、前記所定単位に含まれる複数の音楽記号を基準とした画像の配置および画像加工の適用の少なくとも１つを規定する、請求項５に記載の情報処理装置。

【請求項10】

１または複数のコンピュータが、
少なくとも音高を表す情報を含む楽譜データに基づいて、五線の領域の位置情報および複数の音符の位置情報を抽出するステップと、
前記五線の領域の位置情報および前記複数の音符の位置情報に基づいて、前記複数の音符のうちの前記五線の領域外に延在する１または複数の五線外部分および前記五線の領域を包含し、内側に配置される音楽記号を背景から視覚的に区別する五線コンテナを描画するステップと、
前記五線コンテナおよび前記楽譜データに基づく複数の音楽記号が描画された楽譜の画像を生成するステップと
を実行する、楽譜生成方法。

【請求項11】

前記抽出するステップは、音部記号、変化記号および複数の五線を連結する括弧の位置情報をさらに抽出するステップを含み、前記描画するステップは、前記五線の領域外に延在する前記音部記号、前記変化記号および前記括弧の部分の領域、前記１または複数の五線外部分の領域および前記括弧により連結される複数の五線の領域を結合して結合領域を生成するステップと、前記結合領域に基づいて前記五線コンテナを描画するステップと
を含む、請求項１０に記載の楽譜生成方法。

【請求項12】

前記描画するステップは、（１）前記五線に平行な線分が含まれないことを条件として前記結合領域を囲む輪郭線を画定すること、（２）前記結合領域の輪郭の近傍に複数のオブジェクトを配置すること、（３）前記結合領域を囲むよう画定された輪郭線に対し作図上の操作を施すこと、または（４）前記結合領域が被覆される確率が高くなるように確率的にオブジェクトを繰り返し配置すること、によって前記五線コンテナを描画するステップを含む、請求項１１に記載の楽譜生成方法。

【請求項13】

プロセッサにより読取可能かつ実行可能なプログラムであって、前記プロセッサにより読み取られ、実行された場合に、前記プロセッサに、
少なくとも音高を表す情報を含む楽譜データに基づいて、五線の領域の位置情報および複数の音符の位置情報を抽出させ、
前記五線の領域の位置情報および前記複数の音符の位置情報に基づいて、前記複数の音符のうちの前記五線の領域外に延在する１または複数の五線外部分および前記五線の領域を包含し、内側に配置される音楽記号を背景から視覚的に区別する五線コンテナを描画させ、
前記五線コンテナおよび前記楽譜データに基づく複数の音楽記号が描画された楽譜の画像を生成させる、プログラム。

【請求項14】

前記プログラムは、前記プロセッサに、さらに
音部記号、変化記号および複数の五線を連結する括弧の位置情報を抽出させ、
前記五線の領域外に延在する前記音部記号、前記変化記号および前記括弧の部分の領域、前記１または複数の五線外部分の領域および前記括弧により連結される複数の五線の領域を結合して結合領域を生成させ、
前記結合領域に基づいて前記五線コンテナを描画させる、
請求項１３に記載のプログラム。

【請求項15】

前記プログラムは、前記プロセッサに、
（１）前記五線に平行な線分が含まれないことを条件として前記結合領域を囲む輪郭線を画定すること、（２）前記結合領域の輪郭の近傍に複数のオブジェクトを配置すること、（３）前記結合領域を囲むよう画定された輪郭線に対し作図上の操作を施すこと、または（４）前記結合領域が被覆される確率が高くなるように確率的にオブジェクトを繰り返し配置することによって、前記五線コンテナを描画させる、請求項１４に記載のプログラム。

【請求項16】

少なくとも音高を表す情報を含む楽譜データに基づいて、複数の音符の位置情報を抽出する抽出部と、
前記楽譜データに対して、（１）複数の音符間の音高の差分に対する許容範囲の指定および（２）指定したサンプルの音型との音高に基づく類似度または相違度の指定の一方または両方に基づいて、複数の音型を照合し、それぞれ前記複数の音型のいずれかに合致する複数の音符を含む１または複数の音符集合を抽出する音型照合部と、
前記１または複数の音符集合各々について、該音符集合に含まれる複数の音符の位置情報に基づいて、該音符集合に含まれる複数の音符を修飾する音型ハイライトを描画するハイライト描画部と、
前記音型ハイライトとともに前記楽譜データに基づく複数の音楽記号が描画された楽譜の画像を生成する画像生成部と
を含む、情報処理装置。

【請求項17】

少なくとも音高を表す情報を含む楽譜データに基づいて、複数の音符の位置情報を抽出する抽出部と、
前記楽譜データに基づいて統計処理をし、１または複数の曲想抽出ルールのいずれかに合致する所定単位に対し該所定単位の曲想を示す曲想属性を付与する曲想情報抽出部と、
前記複数の音符の位置情報および前記曲想属性に基づいて、視覚的なオブジェクトを描画する画像描画部と、
前記オブジェクトとともに前記楽譜データに基づく複数の音楽記号が描画された楽譜の画像を生成する画像生成部と
を含む、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、楽譜生成方法およびプログラムに関し、より詳細には、高い自由度でのデザイン性のある楽譜を描画するための情報処理装置、楽譜生成方法およびプログラムに関する。

【背景技術】

【0002】

近年、楽譜は、楽曲の表現だけでなく、そのデザインからも人々の注目を集めており、楽譜以外でも、音符や音楽記号を用いたデザインも多く存在する。楽譜の収集家も存在し、視覚的な美しさ、面白さを意識して描かれた楽譜も存在する。また、演奏動画投稿の広まりにより、個人からアーティストまで、作曲およびアレンジ楽譜を提供するケースが増加しており、楽譜に付加価値やブランディング要素としての価値を生み出し始めている。

【0003】

楽譜の視覚的な魅力が認識される一方で、出版されている大半の楽譜は、白黒でデザインも画一的なものとなっている。その主な理由としては、背景画像を使用すると、音符などの音楽記号の視認性が著しく低下し、演奏に適さなくなるため、必然的に白背景となっていることが考えられる。また、音符の描画範囲が上下にばらつくため、楽譜内の描画対象は、楽曲に対してオーダーメードでデザインする必要があり、手間となっていることも理由として考えられる。さらに、楽譜中の音符の数が膨大なため、個別の音符の位置に依存するデザインを行うためには、膨大な作業が必要となり、人が手作業で行うことが非常に困難であることも理由として考えられる。

【0004】

現在提供されている楽譜としては、可読性を重視した従来からの白黒の楽譜と、非可読なアート作品に二極化している。楽譜作成のために、ｆｉｎａｌｅ（非特許文献１）やＭｕｓｅＳｃｏｒｅ（非特許文献２）などのいくつかの楽譜作成ソフトウェアが知られているが、可読性重視の白黒の楽譜を作成するためのものである。楽譜作成ソフトウェアにおいては、種々の記譜用フォントが提供されているが、フォント選定以外にはデザイン要素は少なく、作成可能な楽譜のデザイン性の観点から、充分なものではなかった。また、非可読なアート作品に関しては、通常、単一ページの抜粋であり、非特許文献３のように、楽譜以外の描画対象をオーバーレイする表現方法の場合は、楽譜の一部が隠れて、楽譜情報が失われていることが多い。あるいは、非特許文献４のように、背景が描かれているものでは、楽譜情報は保たれつつも、可読性が低くなる傾向にある。

【0005】

その他、楽譜作成に関連し、例えば特開２００９－１５３０６８号公報（特許文献１）は、旋律の連続性を認識することが可能な楽譜を容易に作成することを目的とした技術を開示する。特許文献１は、楽譜の画像データの加工する小節などの単位をユーザが用いて設定し、単位ごとに楽譜の画像データを分割し、単位で同一の画像データが連続するか否かを判断し、同一の画像データが連続すると判断された場合、連続すると判断された画像データに、該画像データが表現する楽譜においてユーザが連続する旋律を容易に認識することが可能なよう背景画像を着色する情報など情報を付加する構成を開示する。また、特許文献１には、音符を音階ごとに割り当てた色でそれぞれ着色して表現する方法、楽譜に矢印を記載する方法、演奏の速さや強さ等に関する演奏記号、あるいはその背景を音符の色と異なる色に着色して表現する方法について言及がある。しかしながら、上記特許文献１の従来技術や特許文献１中で言及されている従来技術は、音符の色や、小節などの単位で背景部分の色を変更するといった限定的なものであり、上述した背景がある場合に楽譜の可読性が低下してしまうという点を解消する観点で開示するものではなかった。また、特許文献１の従来技術は、画像の照合をベースとしているため、入力パラメータによって指定された旋律またはその音階上の平行移動に一致する個所のみが画像加工の対象となる。一方、音楽表現における音型（モチーフ）は、音型の出現ごとに微修正が加わるケースが一般的であるため、音楽表現における音型を抽出する観点から充分なものではなかった。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００９－１５３０６８号公報

【非特許文献】

【0007】

【非特許文献1】ｆｉｎａｌｅ，［online］，［令和５年４月５日検索］，インターネット＜URL：https://www.finalemusic.jp/＞

【非特許文献2】ＭｕｓｅＳｃｏｒｅ，［online］，［令和５年４月５日検索］，インターネット＜https://musescore.org/ja＞

【非特許文献3】Ｅｔｓｙ，［online］，［令和５年４月５日検索］，＜URL：https://www.etsy.com/jp/listing/572404942/mary-poppins-silhouette-disney＞

【非特許文献4】Ｅｔｓｙ，［online］，［令和５年４月５日検索］，＜URL：https://www.etsy.com/jp/listing/267200594/original-watercolor-pen-artwork-on＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

本開示は、上記従来技術における上記点に鑑みてなされたものであり、本開示は、人手による少ない作業量で、楽譜情報の可読性を維持しながら、自由度の高いデザインの楽譜を作成することが可能な情報処理装置、楽譜生成方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示では、上記課題を解決するために、下記特徴を有する、楽譜データに基づいて楽譜の画像を生成するための情報処理装置が提供される。情報処理装置は、少なくとも音高を表す情報を含む楽譜データに基づいて、五線の領域の位置情報および複数の音符の位置情報を抽出する抽出部を備える。情報処理装置は、また、上記五線の領域の位置情報および複数の音符の位置情報に基づいて、複数の音符のうちの五線の領域外に延在する１または複数の五線外部分および五線の領域を包含し、内側に配置される音楽記号を背景から視覚的に区別する五線コンテナを描画するコンテナ描画部を備える。情報処理装置は、さらに、五線コンテナおよび楽譜データに基づく複数の音楽記号が描画された楽譜の画像を生成する画像生成部を備える。

【0010】

また、本開示によれば、下記特徴を有する、楽譜データに基づいて楽譜の画像を生成する楽譜生成方法が提供される。楽譜生成方法は、１または複数のコンピュータが、少なくとも音高を表す情報を含む楽譜データに基づいて、五線の領域の位置情報および複数の音符の位置情報を抽出するステップを含む。楽譜生成方法は、１または複数のコンピュータが、また、上記五線の領域の位置情報および複数の音符の位置情報に基づいて、複数の音符のうちの五線の領域外に延在する１または複数の五線外部分および五線の領域を包含し、内側に配置される音楽記号を背景から視覚的に区別する五線コンテナを描画するステップを含む。楽譜生成方法は、１または複数のコンピュータが、五線コンテナおよび楽譜データに基づく複数の音楽記号が描画された楽譜の画像を生成するステップをさらに含む。

【0011】

また、本開示によれば、上記特徴を有する情報処理装置を実現するためのプロセッサにより読取可能かつ実行可能なプログラムが提供される。

【発明の効果】

【0012】

上記構成により、人手による少ない作業量で、楽譜情報の可読性を維持しながら、自由度高いデザインの楽譜を作成することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態による楽譜作成アプリケーションが動作するコンピュータを示すハードウェアブロック図。

【図2】本発明の実施形態による楽譜作成システムの機能ブロック図。

【図3】本発明の実施形態による楽譜作成処理を示すフローチャート。

【図4】本発明の実施形態による楽譜作成処理で使用されるデータ構造を示す図。

【図5】本発明の実施形態による楽譜作成処理における五線コンテナ生成処理を説明する図。

【図6】本発明の実施形態による楽譜作成処理における五線コンテナ生成処理の変形例を説明する図。

【図7】本発明の実施形態による楽譜作成処理における音型ハイライト処理を説明する図。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態を説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、ユーザの操作を受けて、楽譜データに基づいて楽譜の画像を生成し、生成された楽譜の画像を表示するアプリケーション（楽譜作成アプリケーション）が動作する情報処理装置を一例に説明する。

【0015】

以下、楽譜作成アプリケーションの詳細を説明する前に、図１を参照しながら、楽譜作成アプリケーションが動作する情報処理装置１０のハードウェア構成について説明する。図１に示す情報処理装置１０は、特定の実施形態においては、デスクトップ・コンピュータ、ラップトップ・コンピュータなどの汎用コンピュータで実装される。情報処理装置１０は、中央処理ユニット（ＣＰＵ）１２と、ＢＩＯＳ（Basic Input Output System）などを格納するＲＯＭ１６と、ＣＰＵ１２によるプログラム処理を可能とする実行記憶空間を提供するＲＡＭ（Random Access Memory）１６とを含む。

【0016】

ＣＰＵ１２は、内部バス２８を介して、ＨＤＤ（ハード・ディスク・ドライブ）またはＳＳＤ（ソリッド・ステート・ドライブ）などのストレージ１８に接続される。ストレージ１８は、オペレーティング・システム（ＯＳ）３０と、詳細を後述する楽譜作成アプリケーションのプログラム３２とを格納する。上記ＯＳとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）、ＣｈｒｏｍｅＯＳ（登録商標）、ＭａｃＯＳ（登録商標）など、任意のＯＳであってよい。ＣＰＵ１２は、ＵＳＢ（ユニバーサル・シリアル・バス）など適切なインタフェースを介して、キーボード、マウスなどの入力装置２２と通信し、ユーザからの入力を受け取る。情報処理装置１０は、さらに、ディスプレイ装置２０を備え、楽譜を作成するためのグラフィカル・ユーザ・インタフェースおよび生成した楽譜の画像を表示する。ＣＰＵ１２は、また、内部バス２８を介してネットワーク・インタフェース（Ｉ／Ｆ）２４と接続し、これにより、情報処理装置１０をインターネットなどのネットワークに接続する。

【0017】

情報処理装置１１０は、ＲＯＭ１６やストレージ１８などの記憶装置に格納されたＯＳ３０および楽譜作成アプリケーションのプログラム３２を読み出し、ＲＡＭ１４のメモリ領域に展開する。これにより、ＯＳのもとで、後述する各機能部および各処理を実現する。なお、説明する実施形態では、情報処理装置として、デスクトップ・コンピュータなどの汎用コンピュータを例に説明したが、これに限定されず、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）、ｉＰａｄＯＳ（登録商標）など適切なＯＳを用いて、スマートフォン、タブレット・コンピュータなどの携帯情報端末で実装されてもよい。

【0018】

以下、図２～図７を参照しながら、本発明の実施形態による楽譜作成機能について説明する。図２は、本実施形態による楽譜作成システム１００の全体構成を示す機能ブロック図である。楽譜作成システム１００は、図１に示す情報処理装置１０上で楽譜作成アプリケーションのプログラム３２を実行することにより実現される。図２に示す楽譜作成システム１００は、対象楽譜データ１０２の入力を受けて、楽譜デザイン画像１０６を出力するよう構成されており、種々のコンポーネント（ソフトウェア・モジュール）およびデータ構造を備える。

【0019】

入力される対象楽譜データ１０２は、対象となる楽譜を記述するデータであり、音符の音高（キー）や音価（長さ）、楽譜内の水平方向の位置などの情報を含む。対象楽譜データ１０２は、特に限定されるものではないが、ＭｕｓｉｃＸＭＬ（Music eXtensible Markup Language）やＭＩＤＩ（Musical Instrument Digital Interface）その他の楽譜作成アプリケーション（例えばＦｉｎａｌｅ（登録商標）やＭｕｓｅＳｃｏｒｅ（登録商標）など）用の楽譜ファイルであってもよい。あるいは、対象楽譜データ１０２は、スキャナにより楽譜の原稿をスキャンして得られたデータであってもよい。なお、後述する音型の抽出を行う観点からは、対象楽譜データ１０２は、画像データとしてよりも、楽譜を記述したＭｕｓｉｃＸＭＬなどの楽譜データとして提供されることが好ましい。

【0020】

楽譜作成システム１００は、それを構成するコンポーネントとして、情報抽出部１２０と、描画部１４０とを含み構成される。情報抽出部１２０は、対象楽譜データ１０２から種々の情報を抽出するよう構成されており、サブコンポーネントとして、位置情報抽出部１２２と、曲想情報抽出部１２４と、音型照合部１２６とを含み構成される。

【0021】

位置情報抽出部１２２は、対象楽譜データ１０２に基づいて、描画対象となる楽譜に含まれる種々の音楽記号の位置情報を抽出し、位置情報１１３として描画部１４０に出力する。ここで、位置情報が抽出される音楽記号には、楽譜データに含まれる、音高（キー）を表す情報に基づく複数の音符、五線、音部記号、変化記号および複数の五線を連結する括弧が含まれる。音楽記号の位置情報には、音楽記号の位置および音楽記号の部分の位置（例えば、音符を構成する符頭、符幹および符尾の位置）の情報が含まれる。位置情報としては、音楽記号またはその部分の中心、上端、下端、左端および右端の座標、長さ、方向などの挙げることができる。音符の位置は、五線の位置に相対して定められ、より具体的には、音符は、それぞれ、音高に応じた垂直方向の位置および指定された水平方向の位置で五線上に配置される。すなわち、音符の位置情報には、音楽的な位置情報と、楽譜画像上の物理的な位置情報との両方の意味を持つ。

【0022】

楽譜作成システム１００は、データ構造として、曲想抽出ルール１１１と、音型照合ルール１１２とを備える。曲想抽出ルール１１１は、小節などの所定単位に対して曲想属性を付与するためのルールを定義する。音型照合ルール１１２は、複数の音符に当てはめるための音型（モチーフ）を定義する。

【0023】

曲想情報抽出部１２４は、対象楽譜データ１０２に基づいて統計処理をし、曲想抽出ルール１１１内の複数のルールのいずれかに合致する所定単位に対し、対応する曲想を示す曲想属性を付与し、その情報を曲想情報１１４として描画部１４０に出力する。ここで、所定単位は、上記で例示したように小節の単位であってよいが、特に限定されるものではなく、ページの単位、五線の段の単位または音符の集合の単位であってもよい。

【0024】

音型照合部１２６は、対象楽譜データ１０２に対し、音型照合ルール１１２内の複数の音型と照合し、それぞれ複数の音型のいずれかに合致する音符集合を抽出し、その情報を音型情報１１５として描画部１４０に出力する。音型照合部１２６は、より具体的には、対象楽譜データに対して、（１）複数の音符間の音高の差分に対する許容範囲の指定および（２）指定したサンプルの音型との音高に基づく類似度または相違度の指定の一方または両方に基づいて、複数の音型を照合する。（１）許容範囲の指定および（２）類似度または相違度の指定のいずれを用いるか、あるいは両方を用いるかは、ユーザ指定されてもよい。音型照合ルール１１２内で定義される音型としては、（１）事前定義された音型（指定音型）、（２）対象楽譜データ１０２内で頻出する音型（頻出音型）、（３）上述した指定音型または頻出音型に類似する音型（類似音型）が含まれる。これらの音型のうち、ユーザにより指定された音型が抽出対象となる。

【0025】

好ましい実施形態において、楽譜作成システム１００は、音型照合ルール１１２を生成するために、さらに、頻出音型抽出部１３０と、類似音型生成部１３２とを含んでもよい。音型照合ルール１１２、頻出音型抽出部１３０および類似音型生成部１３２については、詳細を後述する。

【0026】

描画部１４０は、入力される各音楽記号の位置情報１１３、曲想情報１１４および音型情報１１５に基づいて、楽譜を描画し、楽譜デザイン画像１０６を生成する。描画部１４０は、サブコンポーネントとして、コンテナ描画部１４１と、ハイライト描画部１４２と、背景描画部１４３と、音楽記号描画部１４４と、画像合成部１４５とを含み構成される。

【0027】

コンテナ描画部１４１は、入力される各音楽記号の位置情報１１３に基づいて、五線の領域および五線の領域外に延在する音楽記号の部分を包含する五線コンテナを描画する。ここで、五線コンテナは、その内側に配置される音楽記号を背景（例えば背景の画像や模様）から視覚的に区別するための音楽記号以外のオブジェクトであり、ユーザにより指定された生成ロジックおよび生成パラメータに基づいて生成される。また、好ましくは、五線コンテナ自体も背景から視覚的に区別される。五線コンテナは、背景画像の前景かつ音楽記号の後景への画像（例えば白などの輝度の高い画素値での塗りつぶしや、音楽記号の可読性を妨げない程度の模様）の配置および背景画像における五線コンテナに対応する領域への画像加工（例えば、五線コンテナの領域の背景画像に対する明度を高くする調整）の適用の少なくとも１つを規定する。五線コンテナへのどのような処理（画像の配置および画像加工の適用の少なくとも１つ）を行うかは、デフォルト値で指定されてもよいし、またはユーザ指定されてもよい。五線コンテナは、内部に配置される音楽記号との干渉を避けながら、背景画像に自由度を与えるために生成されるものであり、好ましくは、その輪郭は、五線および五線に沿って配置される音楽記号の可読性を低下させない観点から、五線と略平行な線分を含まない、または生じさせない、あるいは主要なものとなはならないように画定される。

【0028】

好ましい実施形態では、コンテナ描画部１４１は、各音楽記号の位置情報１１３に加えて、所定単位に付される曲想情報１１４に基づいて、五線コンテナを描画してもよい。例えば、コンテナ描画部１４１は、小節などの所定単位に付与された曲想属性に基づいて、五線コンテナにおける所定単位に対応する領域に対する処理（画像の配置、画像加工の適用）を変化させることができる。例えば、曲想情報１１４に応じて、塗りつぶしの画素値を変えたり（例えば、３部形式（ＡＢＡ）の中間部（Ｂ）の背景色を前後の部分（Ａ）の色から変化させるなど）、適用する明るさ調整の程度を変化させたり（中間部（Ｂ）を、前後の部分（Ａ）より明度を高くするなど）することができる。五線コンテナの描画の詳細については、後述する。

【0029】

ハイライト描画部１４２は、音型情報１１５および音型情報１１５が付与された音符集合に含まれる各音符の位置情報に基づいて、音符集合に含まれる複数の音符を修飾する音型ハイライトを描画する。ここで、音型ハイライトは、音符の集合を、好ましくは可読性の劣化を回避しながら修飾し、目立させるためのエフェクトであり、ユーザにより事前指定された生成ロジックおよび生成パラメータに基づいて生成される。音型ハイライトは、所定の音型に合致する複数の音符の画像自体の変更（例えば音符のフォントを変更するなど）、音符集合に含まれる複数の音符の符頭、符尾、または、符頭もしくは符尾を結ぶ線に基づく画像の配置（例えば、一連の音符の符頭を中心とした画像や図形の配置など）または画像加工の適用を規定してもよい。例えば、音型ハイライトとして、所定の音型に合致する複数の音符それぞれの周り（例えば音符の符頭の周り）に同心円状の図形オブジェクトを配置することができる。また好ましい実施形態において、ハイライト描画部１４２は、曲想属性および曲想属性が付された所定単位に含まれる複数の音楽記号の位置情報に基づいて、所定単位に含まれる複数の音楽記号を修飾する曲想ハイライトを描画することもできる。曲想ハイライトは、修飾の対象が、曲想属性が付与された所定単位であるほかは音型ハイライトと同様であり、所定単位に含まれる複数の音楽記号の位置に基づく画像の配置または画像加工を含んでもよい。

【0030】

背景描画部１４３は、ユーザ指定に基づいて、楽譜の背景画像を描画し、背景画像の画像レイヤを生成する。背景描画部１４３による背景画像の生成は、特に限定されるものではないが、例えば、指定の画像を楽譜１ページ全体のサイズに適合するように拡大または縮小すること、指定の画像を楽譜１ページにタイリングすることによって、または、ユーザ指定されるパラメータに基づいてオブジェクト（図形や模様）を描画することによって、実行される。あるいは、背景描画部１４３は、ユーザ指定の背景描画ロジックに基づいて、オブジェクトを描画することによって背景画像の画像レイヤを生成してもよい。なお、背景画像は、白あるいは輝度の高い色での塗りつぶしである場合を排除しないが、白あるいは単一色以外の自由度の高いデザイン性が導入された画像を好適に対象とすることができる。

【0031】

音楽記号描画部１４４は、抽出された音楽記号の位置情報１１３、その他ユーザ指定の基本情報に基づいて、楽譜データに基づく複数の音楽記号（上記五線、音符などを含む。）を描画し、音楽記号の画像レイヤを生成する。

【0032】

画像合成部１４５は、生成された背景画像の画像レイヤ、上述した五線コンテナ、必要に応じて音型ハイライトおよび曲想ハイライトおよび音楽記号の画像レイヤを重ね合わせて合成し、最終的な楽譜デザイン画像１０６を生成する。五線コンテナは、背景画像の画像レイヤおよび音楽記号の画像レイヤの間に配置され得る。音型ハイライトおよび曲想ハイライトは、背景画像の画像レイヤおよび音楽記号の画像レイヤの間に配置されてもよいし、あるいは、音楽記号の可読性を劣化させない範囲で、音楽記号の画像レイヤの前景に配置されてもよい。画像合成部１４５は、本実施形態による画像生成部を構成する。

【0033】

あるいは、五線コンテナが、背景画像に対する画像加工の適用を規定する場合、五線コンテナに対応する背景画像の領域、または、五線コンテナが重なる、背景画像を構成するオブジェクトに対し、画像加工を適用してもよい。例えば、背景画像が、円盤オブジェクトをランダムな大きさおよび位置で配置する水玉模様を規定する場合に、五線コンテナが重なる円盤オブジェクトの色を相対的に明るくする処理を適用してもよい。

【0034】

上記楽譜デザイン画像１０６は、上記画像合成部１４５により生成される楽譜を描画した静止画である。楽譜デザイン画像１０６は、ビットマップ、ＪＰＥＧ（Joint Photographic Experts Group）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＰＤＦ（Portable Document Format）などの種々の画像または文書フォーマットで構成される。上記楽譜デザイン画像１０６の使用の目的は、特に限定されるものではなく、紙やシートなどの転写媒体に印刷されてもよいし、パーソナル・コンピュータやスマートフォン、タブレット、電子楽譜専用端末などの表示画面上に表示されてもよいし、動画データ中に挿入されてもよい。

【0035】

なお、上記楽譜デザイン画像１０６は、上述したように、静止画とすることができるが、必ずしも静止画に限定されない。例えば、上記楽譜デザイン画像１０６は、背景画像がアニメーションとして構成され、上記楽譜デザイン画像１０６も複数フレームで構成されてもよい。その場合でも、五線コンテナは、動きのある背景と音楽記号とを視覚的に区別することができる。楽譜デザイン画像１０６が複数フレームからなる場合、音型ハイライトに動きがあってもよいし、五線コンテナにも音楽記号の可読性を劣化させない範囲で形状（形状がフレーム間で微小に変化する）や画像（例えば塗りつぶしの色や模様がフレーム間で微小に変化する）に変化があってもよい。また、音楽付きの動画やアニメーションに楽譜デザイン画像を挿入する場合など、音型ハイライトは、紐づけられている音符が再生されるタイミングに合わせてアニメーションを開始することもできる。

【0036】

ＵＩ部１９０は、上述した楽譜デザイン画像１０６を作成するためにユーザＵが入力操作するためのユーザ・インタフェースを提供する。楽譜デザイン画像１０６を作成するための操作としては、読み込む対象楽譜データ１０２の指定、背景画像の指定（画像データの指定および配置の仕方の指定）のほか、上述した五線コンテナの生成ロジックおよび生成パラメータの指定、音型および曲想ハイライトの生成ロジックおよび生成パラメータ、抽出する音型や曲想の指定などを設定する操作を挙げることができる。ＵＩ部１９０は、また、楽譜デザイン画像１０６の作成が完了すると、ユーザＵが閲覧可能に表示する。

【0037】

図２に示す楽譜作成システム１００を構成する各コンポーネントは、単一のコンピュータのＣＰＵ１２などのプロセッサが、楽譜作成アプリケーションのプログラム３２をストレージ１８から読み出して、ＲＡＭ１４の実行空間に展開することによって、単一のコンピュータ上で実現することができる。しかしながら、このような実施形態に限定されるものではない。他の実施形態では、図２に示すコンポーネントが複数のコンピュータに分散実装されてもよい。また、上述した説明では、楽譜作成システム１００は、ユーザが操作するコンピュータ上で実行される楽譜作成アプリケーションによって実現されるものとして説明した。しかしながら、他の実施形態では、例えば、リモートでアクセスするクライアントに対し、ｗｅｂブラウザで表示かつ操作可能なユーザ・インタフェースを提供するとともに、ネットワークを介した要求に応答して、指定の対象楽譜データに基づいて楽譜の画像を生成して、生成した楽譜デザイン画像１０６を応答するｗｅｂアプリケーションを提供する、サーバとして構成されてもよい。その場合に、ＳａａＳ（Software as a Service）などのクラウドサービスとして楽譜作成機能が提供されてもよい。

【0038】

以下、図３～図７を参照しながら、本発明の実施形態による楽譜画像作成処理について、生成される画像を参照しながら、より具体的に説明する。図３は、本発明の実施形態による情報処理装置１０が実行する楽譜作成処理を示すフローチャートである。図３に示す各処理は、例えば、図２に示す楽譜作成システム１００のすべてのまたは対応するコンポーネントを担当するプロセッサによって実行される。

【0039】

図３に示す処理は、例えば、対象楽譜データ１０２を指定した楽譜デザイン画像の生成が指示されたことに応答して、ステップＳ１００から開始される。なお、事前にユーザやシステムのデフォルトとして、対象楽譜データ１０２の指定、背景画像の指定、五線コンテナの生成ロジックおよび生成パラメータの指定、ハイライトの生成ロジックおよび生成パラメータ、抽出する音型の指定などが設定されているものとする。ステップＳ１０１では、プロセッサは、後述する処理のために、音型照合ルール１１２および曲想抽出ルール１１１を読み込む。

【0040】

ステップＳ１０２では、プロセッサは、位置情報抽出部１２２により、対象楽譜データ１０２から、種々の音楽記号の位置情報を抽出する。ここで、音楽記号には、線、音部記号、音符、休符、拍子記号、変化記号および演奏記号が含まれる。線は、五線、加線、小節線、終止線を含む。音部記号は、ト音記号、ヘ音記号、ハ音記号を含む。音符は、音を書き表すのに使われる符号であり、相対的な音の長さ（音価）と時間的な位置および高さ（音高）を表す。休符は、音符の対になるものであり、音の出ないことを表す。拍子記号は、楽譜の初めに位置し、曲の全体または拍子が変わるまでの拍子を示す。変化記号は、シャープ、フラット、ダブルシャープ、ダブルフラット、ナチュラルなどの調号および臨時記号を含む。演奏記号は、強弱記号（フォルテ、ピアノ、メゾフォルテ、メゾピアノ、フォルテシモ、ピアニッシモ、クレッシェンド、デクレッシェンドなど）、速度記号、発想記号（ａｎｉｍａｔｏ，ｄｅｌｃｅなど）、反復記号および修飾記号を含み、より具体的には、スラー、オクターブシフト、ペダル指示、スタッカート、アクセント、テヌート、フォルマータ、指使い、装飾音、テンポ指示（Ａｌｌｅｇｒｏ，ｖｉｖａｃｅなど）などを含み、五線記譜法による楽譜において、演奏をするために必要な種々の記号のうち、上記五線、音部記号、拍子記号、音符、休符、調号、臨時記号などを除く、重要であるが記譜法上必要不可欠な要素ではない記号をいう。

【0041】

図４は、本発明の実施形態による楽譜作成処理で使用されるデータ構造を示す。図４（Ａ）は、一例としての対象楽譜データ２００のデータ構造を示し、図４（Ａ）に示す対象楽譜データ２００は、ＭｕｘｉｃＸＭＬ形式で記述された楽譜データである。対象楽譜データ２００の内容について説明すると、図４（Ａ）の吹き出し４０１には、システム（同時に読まれ演奏される五線のグループ）のレイアウトが記述されており、システムの最も上の線と、前システムの最も下の線との間の距離が記述されている。図４（Ａ）の吹き出し４０２には、五線のレイアウトが記述されており、前の五線の最も下の線から指定の五線の最も上の線の間の距離が記述されている。図４（Ａ）の矢印２０３には、１つの声部に２つの五線があることが記述され、吹き出し２０４で示す部分には、音符の情報が記述される。吹き出し２０４で示す部分について詳しく見てみると、音符の情報として、声部の最上段の五線の音符であり、Ｘ軸が座標で「１１３」と指定され、Ｙ軸がキー「Ｄ４」であり、長さが「６」の８分音符のタイプ（ｅｉｇｈｔｈ）であり、符幹が上向きであり、符幹の終端のデフォルトの垂直位置が１０であり、８部音符の連桁の開始点であることが示されている。また、吹き出し２０２で示す部分には、上部にスラーが開始タイプで付されることが示されている。楽譜データがＭｕｘｉｃＸＭＬ形式である場合は、ステップＳ１０２では、ＭｕｘｉｃＸＭＬの標準的な描画ロジックに基づいて描画対象の音楽記号（五線および音符を含む）の位置が特定される。

【0042】

再び図３を参照すると、引き続き、プロセッサは、ステップＳ１０３で、対象楽譜データ２００から曲想情報１１４を抽出し、ステップＳ１０４では、対象楽譜データ２００から音型情報１１５を抽出する。曲想情報および音型情報の抽出については、詳細を後述する。

【0043】

ステップＳ１０５～ステップＳ１０９は、システムを構成する１または複数の五線の段ごとに処理が行われる。図４（Ａ）の対象楽譜データ２００のように、１つの声部に２つの五線が含まれる、ピアノ譜ないし大譜表の場合は、五線２段の単位で処理が行われ、以下、２つの五線を単位として処理が行われるものとして説明を続ける。

【0044】

ステップＳ１０６では、プロセッサは、コンテナ描画部１４１により、１または複数の五線（説明する例では２つ）、音部記号、五線を束ねる括弧（説明する例では２つの五線を束ねる中括弧）、複数の音符、臨時記号など音楽記号の部分（例えば音符の符頭など）を囲む長方形領域を生成する。ステップＳ１０６では、より具体的には、音楽記号の位置からそれぞれの音楽記号またはその部分の上端、下端、左端および右端が算出され、これらの点を通る長方形領域が生成される。ここで、五線の領域外に延在する音楽記号の部分を五線外部分と参照し、特定の実施形態においては、ステップＳ１０６では、特に、音符の五線外部分、音部記号の五線外部分、変化記号の五線外部分および五線を連結する括弧の五線外部分の長方形領域が生成される。

【0045】

図４（Ｂ）および図４（Ｃ）は、音符の五線外部分を抽出する際に生成されるデータ構造を示す。図４（Ｂ）は、対象楽譜データ１０２から抽出される音符の集合の情報を含む音符リストのデータ構造を示し、図４（Ｃ）は、音符リストから選定される、五線外部分を有する音符の部分集合を含む部分リストのデータ構造を示す。図４（Ｂ）に示すように、対象楽譜データ１０２では、音符の音高（キー）、音価（長さ）および符幹（ｓｔｅｍ）の向き（ｕｐ／ｄｏｗｎ）が記述されるが、その情報から、五線からの突出方向およびその距離が計算され、付加情報として付与され、音高（キー）、音価（長さ）および符幹（ｓｔｅｍ）の向きから、五線からはみ出る音符のみが選定され、領域が特定される。

【0046】

図５は、本発明の実施形態による楽譜作成処理における五線コンテナ生成処理を説明する。図５（Ａ）は、五線コンテナを生成するための長方形領域を生成する処理を示しており、図５（Ａ）には、音楽記号および音楽記号の部分を囲む長方形領域が示されている。図５（Ａ）には、長方形領域としては、システムを構成する２段の五線を合わせた五線領域２１０と、五線領域外にある２段の五線を連結する中括弧の領域２１１と、音部記号の五線領域外に突出する部分の領域２１２と、音符記号の五線領域外に突出する領域（連桁の五線外部分２１３ａ～２１３ｆ、符幹および符尾の五線外部分２１４ａ～２１４ｆ、符頭の五線外部分２１５ａ～２１５ｆ）とが示されている。なお、図５（Ａ）に示すように、五線外部分の長方形領域は、音楽記号をいくつかの部分に分けて、各部分対して長方形領域が設定されてもよいが、他の実施形態では、音楽記号全体に対して長方形領域が設定されてもよい。また、図５（Ａ）に示す例では、演奏記号であるスラーは、五線コンテナ内に配置しなくても可読性が大きく損なわれないため、長方形領域が生成されていない。しかしながら、他の実施形態では、スラーにも長方形領域が定義されてもよい。また、図５（Ａ）に示す例では、システムを構成する２段の五線を合わせた五線領域２１０に対して長方形領域が設定されているが、各段の五線ごとに長方形領域が設定されてもよい。

【0047】

ステップＳ１０７では、プロセッサは、コンテナ描画部１４１により、これら五線および五線外部分の長方形領域を結合し、五線の領域２１０およびこれらの五線外部分２１１～２１５を包含する輪郭領域（結合領域）を生成する。ここで、輪郭領域は、五線および五線外部分の長方形領域を結合した領域であってもよいし、その領域に所定の上下左右に所定のサイズの余白を加えた領域であってもよい。ステップＳ１０８では、プロセッサは、コンテナ描画部１４１により、輪郭領域と、必要に応じて曲想情報とに基づいて五線コンテナを描画する。コンテナ描画部１４１は、五線に平行な線分が含まれないことを条件として輪郭領域を囲む輪郭線を画定することによって、五線コンテナを描画することができる。

【0048】

図５（Ｂ）は、所定の描画ロジックで描画された五線コンテナ２２０の描画例を示す。なお、図５（Ｂ）は、五線コンテナ２２０に加えて、五線コンテナ２２０上に音楽記号２２２が描画された状態を示している（音楽記号２２２が重ねて表示されている）点に留意されたい。図５（Ｂ）に示す五線コンテナ２２０は、ジグザグ形に線分が配置された境界線（折れ線）２２１によって画定されている。なお、図５（Ｂ）の描画例には、音型ハイライト２２４ａ，２２４ｂも描画されているが、音型ハイライトについては、詳細を後述する。図５（Ｂ）に示す描画例では、輪郭領域を折れ線２２１で囲む五線コンテナが、以下の条件（１）～（４）を満たすように生成される：
（１）折れ線２２１の線分の角度が五線に対し所定範囲（例えば１５度～３０度）のランダムな値または、五線に垂直（つまり９０度）とする。
（２）折れ線２２１の線分と五線との垂直方向の距離は一定値以上、一定値以下とする。
（３）五線との角度が所定範囲（例えば１５度～３０度）の折れ線２２１の線分の長さは、一定値以上、一定値以下とする。
（４）五線に垂直な折れ線２２１の線分の個所は最小限とする。

【0049】

上記所定範囲、垂直方向の距離の範囲および線分の長さの範囲は、例えば、ユーザにより生成パラメータとして与えられてもよいし、システム値やデフォルト値として与えられてもよい。

【0050】

図５（Ｂ）に示す描画例では、上述したように五線コンテナの形状が画定された後、上記で画定された五線コンテナ内に画像（薄いグレーの塗りつぶし）が配置され、五線コンテナの境界部分に所定の画像（折れ線に沿った帯状の塗りつぶしおよび記号）が配置されている。図５（Ｃ）は、図５（Ｂ）に示す五線コンテナ２２０が、背景画像および音楽記号の画像レイヤ間に挿入され、合成されて得られる楽譜デザイン画像２３０を例示する。

【0051】

白以外の背景を描画する場合、簡便には、五線および音楽記号の黒の画像領域を範囲指定し、一定の余白で範囲を拡張し、白などで縁取りする方法も考えられる。その場合、五線に平行な境界（明示の線あるいは明暗を有する２つの領域の境界）が生じ、これにより、五線や加線との誤読を招き、楽譜としての可読性を低下させる。これに対して、五線に平行な線分が含まれないことを条件として輪郭線を画定することによって、図５（Ｂ）および（Ｃ）で示されるように、楽譜の可読性を低下させてしまうことを防止しながら、内部に配置される音楽記号を背景画像から視覚的に区別することを可能する。ひいては、全体として楽譜の可読性を維持しながら、背景画像に自由度の高いデザイン性を導入することが可能となる。また、好ましくは、五線コンテナ自体も背景から視覚的に区別され、五線コンテナの形状を、輪郭領域を被覆するよう制約を与えながらも自由度の高い形状とすることで、デザイン性を向上させることができる。

【0052】

以下、図６を参照しながら、五線コンテナ生成処理のバリエーションを説明する。図６は、本発明の実施形態による楽譜作成処理における五線コンテナ生成処理の変形例を説明する。楽譜の可読性を低下させることを防止しながら五線コンテナを描画する方法（生成ロジック）としては、上述したように（１）五線に平行な線分が含まれないことを条件として輪郭領域を囲む輪郭線を画定するほか、例えば、（２）輪郭領域の輪郭の近傍に複数のオブジェクトを配置すること、（３）輪郭領域を囲むよう画定された輪郭線に対し作図上の操作を施すこと、または（４）輪郭領域が被覆される確率が高くなるように確率的にオブジェクトを繰り返し配置することを挙げることができる。以下、図６（Ａ）～図６（Ｆ）を参照しながら、上記（２）～（４）の五線コンテナの生成ロジックについて説明する。

【0053】

図６（Ａ）および（Ｂ）は、上記（２）輪郭領域（結合領域）の輪郭の近傍に複数のオブジェクトを配置する方法を説明する。図６（Ａ）は、（２）の描画例の五線コンテナ上に音楽記号が描画された状態を示しており、図６（Ｂ）は、その生成ロジックを説明する図である。図６（Ａ）および（Ｂ）で説明する生成ロジックでは、コンテナ描画部１４１は、上記ステップＳ１０７で求められた輪郭領域（長方形２４１を結合した領域）から外側に一定距離のマージンを加えた範囲を被覆し、かつ、輪郭領域から五線コンテナの境界までが一定距離Ｄ以内になるように、図６（Ｂ）の点線で示すように所定の図形オブジェクト２４２（この例では円盤）を配置することによって、五線コンテナを生成する。この例では、輪郭領域まわりに複数の円盤オブジェクト２４２を並べて配置することによって、五線コンテナのすべての境界を曲線としている。

【0054】

図６（Ｃ）および（Ｄ）は、上記（３）輪郭領域を囲むよう画定された輪郭線に対し作図上の操作を施す方法を説明する。図６（Ｃ）は、（３）の描画例の五線コンテナ上に音楽記号が描画された状態を示しており、図６（Ｄ）は、その生成ロジックを説明する図である。図６（Ｃ）および（Ｄ）で説明する生成ロジックでは、コンテナ描画部１４１は、輪郭領域２６１または輪郭領域２６１を一定の角度（この例では０度、１２０度、２４０度）の折れ線２６２（図６（Ｄ）中、点線で示す。）で囲って得られた領域の各折れ線の線分に対し、外側に向かって突出するように一定の作図上の操作を施すことによって、五線コンテナの境界線２６４を生成する。また、突出部分が大きくなりすぎないようにするため、折れ線が長い場合は、一定の長さに区切って突出部分の描画を行っている。図６（Ｃ）および（Ｄ）の例では、各折れ線の線分に対し外側に向かって突出するように所定の操作を繰り返し行うことによってフラクタル図形（コッホ曲線）を描画することで、折れ線２６２が五線と平行になる個所も、平行な輪郭線を出さずに五線コンテナを描画している。ここで、コッホ曲線は、線分を３等分し、分割した２点を頂点とする正三角形の作図を繰り返し作図することによって得られる図形である。

【0055】

図６（Ｅ）および（Ｆ）は、上記（４）輪郭領域が被覆される確率が高くなるように確率的にオブジェクトを繰り返し配置する方法を示す。図６（Ｅ）は、（４）の描画例の五線コンテナ上に音楽記号が描画された状態を示しており、図６（Ｆ）は、その生成ロジックを説明する図である。図６（Ｅ）および（Ｆ）で説明する生成ロジックでは、コンテナ描画部１４１は、輪郭領域が被覆される確率が高くなるように輪郭領域（特に五線、音符の周辺）に図形オブジェクトを繰り返し描画することにより、五線コンテナを生成する。図６（Ｅ）および（Ｆ）の例では、半透明の膨張型吹き出しのオブジェクトをランダムに移動、回転、拡大または縮小させながら輪郭領域に描画することによって得た五線コンテナである。

【0056】

図５および図６を参照して説明した生成ロジックまたは他の生成ロジックのうちのいずれを用いるかは、ユーザが適宜設定すればよい。また、各生成ロジック内の詳細な生成パラメータ（例えば、配置するオブジェクト（例えば円盤、吹き出し）の種類やサイズ、距離Ｄなど）は、デフォルトで指定されてもよいし、ユーザ指定としてもよい。また、生成ロジックは、ステップＳ１０７で生成された輪郭領域のデータ（または結合前の複数の長方形領域のデータでもよい。）および生成パラメータを入力として、五線コンテナの輪郭の作成、五線コンテナへの画像の配置または画像加工の適用を行う、アプリケーションに組み込まれた、または、（アプリケーションのベンダやサードパーティが提供する、ユーザ個人が独自に記述した）プラグインなどとしてアプリケーションに追加された、プログラムとして提供されてもよい。また、生成ロジックにより生成された五線コンテナをベースとして、ユーザが手作業で形状のパスを調整したり、配置する画像を変更したり、色を変更したりできるように構成されてもよい。その際に、上記輪郭領域を被覆することや、基準以上の長さの五線に水平な線分を含まないことを制約条件として、ユーザによる形状の変更を受け入れの可否を判定することができる。

【0057】

図５および図６を参照して説明したいずれの生成ロジックでも、五線コンテナは、それが楽譜の可読性を低下させてしまうことを防止しながら、内部に配置される音楽記号を背景画像から視覚的に区別することを可能とし、全体として楽譜の可読性を維持しながら、背景画像に自由度の高いデザイン性を導入することを可能とする。また、五線コンテナ自体も背景から視覚的に区別され、五線コンテナのデザインを、輪郭領域を被覆するよう制約を与えながらも自由度の高い形状とすることで、デザイン性を向上することができる。

【0058】

なお、図５および図６に例示する五線コンテナは、ピアノ譜において２段の五線を包含する単一の輪郭を有するものであった。しかしながら、このような実施形態に限定されるものではなく、例えば、２段の五線の間の小節線や終止線の間に穴が設けられ、そこに背景が描画される形態としてもよい。ただし、その場合でも、可読性の観点から、単一の五線内には穴が設けられないことが望ましい。

【0059】

上述した描画例は、輪郭領域に応じて五線コンテナを描画する場合を例示したが、上述したように、ステップＳ１０８では、輪郭領域に加えて曲想情報に基づいて五線コンテナを描画してもよい。以下、ステップＳ１０３の曲想情報の抽出処理および曲想情報に応じた五線コンテナの処理について、説明する。

【0060】

曲想情報抽出部１２４は、上述したように、対象楽譜データ１０２に基づいて統計処理をし、曲想抽出ルール１１１に基づいて、所定単位に対しその曲想を示す曲想属性を付与する。曲想属性を判定するための情報は、テンポ、音数、音量、アーティキュレーション、音価の分布、音高の分布、音高の差分または音程の分布または発想記号に基づいた統計情報を含む。曲想属性は、長調や短調、コード、コードを想起される感情に読み替えた情報（例えば楽しい、悲しい、おしゃれなど）、音の長さの分布またはアーティキュレーションを曲想に読み替えた情報（例えば軽快、重厚、厳格、なめらかなど）を含む。

【0061】

曲想抽出ルール１１１としては、例えば、所定単位（例えば小節）の音符のうちスタッカートの割合を統計情報として、スタッカートの割合が一定値（例えば２０％）以上の場合にその所定単位（例えば小節）に「軽快」の曲想属性を付与するといったルールや、小節の音符のうちスラー内の音符の割合を統計情報として、スラー内の音符の割合が一定値（例えば５０％）以上の場合に所定単位（例えば小節）に「なめらか」の曲想属性を付与するといったルールを挙げることができる。曲想情報抽出部１２４は、そのような曲想抽出ルール１１１に基づき、評価すべき統計情報としてスタッカートの割合およびスラー内の音符の割合を抽出し、条件に合致する小節に、対応する曲想属性を付与することができる。

【0062】

この場合、ステップＳ１０８では、プロセッサは、コンテナ描画部１４１により、曲想属性に基づいて、五線コンテナにおける所定単位に対応する領域に配置する画像または適用する画像加工を変化させることができる。各曲想属性に対応付けて、配置する画像または適用する画像加工が定義され、例えば、五線コンテナ内の「軽快」の曲想属性が付与された小節に対応する領域の明るさを、それ以外の領域の明るさよりも明るくするように変化させることができる。なお、上記の例では、小節を単位としたが、これに限定されるものではなく、ページ、五線の段または音符リストに対して属性を付与し、ページ全体の背景画像、五線コンテナ、小節近傍への効果として描画してもよい。これにより、楽曲構造などの音楽的特徴を可視化することができる。例えば、３部形式（ＡＢＡ）の中間部（Ｂ）だけ、背景やオブジェクトの描画方法を変更することで、どこからどこまでが中間部かを視覚的に伝えることができるようになる。また、上述した曲想情報に応じた五線コンテナの描画方法の変化に加えて、所定単位で音符の画像（形状やフォント）を変更してもよい。

【0063】

再び図３を参照すると、ステップＳ１１０～ステップＳ１１２は、音型情報または曲想情報が付された音符集合ごとに処理が行われる。ステップＳ１１１では、プロセッサは、ハイライト描画部１４２により、ハイライト（音型ハイライトまたは曲想ハイライト）を描画する。

【0064】

以下、図２、図４（Ｄ）および図７を参照しながら、ステップＳ１０４の音型情報の抽出処理およびステップＳ１１１の音型情報に応じた音型ハイライトの描画処理について、説明する。

【0065】

音型照合ルール１１２としては、音高（４４１Ｈｚ付近の「ラ」の音のような絶対値の指定、起点となる音または前後の音からの相対値の指定を含む）、音の長さ、小節内の時間的位置、スラーの有無、パート（楽器、ピアノの右手、左手等）の同一性、声部（同一パート内の主旋律、副旋律など）の同一性およびその他の音符の属性を用いて定義される。音型照合ルール１１２としては、より具体的には、各音ごとに以下の照合属性を指定する、図４（Ｄ）に示すデータ構造により定義することができる。図４（Ｄ）に示す音型照合ルール１１２は、それぞれ基準音（音高の基準）、基準音からの最低キー、最高キー、最小レングスおよび最大レングスの項目を有する複数の行から構成される。基準音は、音程の照合がないことを示す「Ｎｏｎｅ」、最初の音を基準とすることを示す「Ｆｉｒｓｔ」、最後の音を基準とすることを示す「Ｌａｓｔ」、直前の音を基準とすることを示す「Ｐｒｅｖ」、直後の音を基準とすることを示す「Ｎｅｘｔ」の値が設定される。最低キーおよび最高キーは、基準音に対する相対キーを半音数で、基準音からの許容する音高の幅を指定する。最小レングスおよび最大レングスは、音符長を小節の倍率で、基準音からの許容される音の長さの幅を指定する。例えば、０．１２５は、八分音符を意味し、０．５は、２分音符を意味する。

【0066】

ステップＳ１０４では、音型照合部１２６は、対象楽譜データ１０２に定義される音符リストに対し、図４（Ｄ）に示すような音型抽出ルールに当てはめて、各照合属性に合致する音符集合に対し音型属性を付与する。なお、必ずしもすべての照合属性が合致するものに限定されず、音型照合ルール１１２は、基準音を「Ｎｏｎｅ」とする起点から数えて一定数（例えば４）の音符を必須マッチ対象とし、その他を任意のマッチ対象とすることができる。ここで、必須マッチは、音型として抽出する際に必ずマッチしなければならない条件をいい、任意のマッチ対象は、マッチした場合に、その範囲まで、音型として抽出される条件を示す。音型照合ルール１１２を対象楽譜データ１０２の各声部ごとの音符に照合することによって、合致した音符集合が抽出される。図７（Ａ）は、音型照合ルールの照合結果３００を一例として示す。図７（Ａ）において、いずれかの音型にマッチした音符の集合には、長方形３０２ａ～３０２ｄが付されており、長方形に関連付けられる吹き出し中には、マッチした音符の音名および始点を基準としたキーが記載されている。

【0067】

上述したように、音楽表現における音型（モチーフ）は、音型の出現ごとに微修正が加わるケースが一般的である。そのため、画像ベースの照合では不十分であり、音型（モチーフ）網羅的に抽出するには、音の長さ、音の高さに関する曖昧性を吸収可能なやり方での照合が望ましい。そこで、音型の照合は、（１）複数の音符間の音高の差分に対する許容範囲の指定および（２）指定したサンプルの音型との音高に基づく類似度または相違度の指定の一方または両方に基づくことが望ましい。例として、バッハ平均律クラヴィーア曲集第１巻プレリュードにおいては、右手の「ソドミソドミ」という音型（モチーフ）は全体で６４回出現する。しかしながら、特許文献１の方法のように音高の曖昧性を考慮しない方法では、一致する個所は１２か所に止まる。これに対し、本実施形態による音型照合では、楽譜ファイルを用いて、前後の音との相対的なキーの差分を範囲指定することによってより曖昧性を許容することで、上記楽曲例で、６４か所すべてを抽出することが可能である。

【0068】

ステップＳ１１１では、プロセッサは、ハイライト描画部１４２により曲想情報１１４および音型情報１１５が付与された音符集合に含まれる各音符の位置情報に基づいて、音符集合に含まれる複数の音符を修飾する音型ハイライトを描画する。付与される曲想属性および音型属性には、事前に対応するハイライトの修飾が関連付けられる。図７（Ｂ）および（Ｃ）は、一例としての音型ハイライト３１０を示す。図７（Ｂ）および（Ｃ）に示す音型ハイライト３１０は、所定の音符集合（フレーズ）を装飾するものであり、音符集合内の各音符３１２の符頭を起点に同心円状に「くの字」形状ないし２つの円弧が合わさった形状のオブジェクト３１４を配置したものである。なお、図７（Ｂ）および（Ｃ）に示す同心円状の音型ハイライトは、一例であり、特に限定されるものではない。他の実施形態では、任意の音符ペアを結ぶ線分や隣接する音符ペアを結ぶ線分の位置情報を使用して画像を配置してもよい。あるいは、装飾の代わりに音符画像そのものを変更する形で装飾を行ってもよい。図７（Ｄ）は、図７（Ｂ）に示す音型ハイライト３１０が、背景画像および音楽記号の間に挿入して合成して得られる楽譜デザイン画像３２０を例示する。このように、所定の音型に合致する音符の集合を修飾することによって、楽譜データにカスタマイズされた音符を修飾するデザインを可能とする。なお、ハイライトについても、音符集合の各音符の位置情報を入力として所定のオブジェクトを描画する生成ロジックが、五線コンテナと同様に、アプリケーションに組み込まれ、あるいは、プラグインとして提供されてもよい。なお、上述したように、ハイライトの描画も周辺の音楽記号の可読性に影響を与えるので、指定の画像や生成された画像の可読性を判定するツールが提供されてもよい。

【0069】

ここで、再び図２を参照すると、上述したように、好ましい実施形態において、楽譜作成システム１００は、頻出音型抽出部１３０および類似音型生成部１３２を含む。上述したように、音型照合ルール１１２内で定義される音型としては、（１）指定音型、（２）頻出音型、（３）類似音型が含まれる。指定音型は、アプリケーションに事前定義された音型、または、ユーザ定義の音型を含む。頻出音型抽出部１３０は、対象楽譜データ１０２を用いて頻出音型を抽出することができる。頻出音型は、対象楽譜データ１０２から逆生成された音型照合ルールに基づくものである。例えば、対象楽譜データ１０２または一般楽譜データ１０４で出現する音符のシーケンス（音高（高さ）または所定基準（小節の先頭など）からの音高の差分（音程）および音価（長さ）で構成されるシーケンス）の出現頻度を計数し、一定以上の頻度のものを候補として抽出したりすることによって音型照合ルールを逆生成することができる。ここで、一般楽譜データ１０４は、上記対象楽譜データ１０２と同様のフォーマットである多数の楽譜データのコレクションである。頻出音型抽出部１３０は、対象楽譜データ１０２内に出現した音符から音型照合ルールを逆生成し、逆生成された音型照合ルールの該当箇所の数が絶対値として多い音型、逆生成された音型照合ルールの音符数の観点で相対的に多い音型または一般楽譜データ１０４における出現率と比較して多い音型を、頻出音型として抽出する。

【0070】

類似音型生成部１３２は、音型照合ルール１１２の上記指定音型および頻出音型などの既存の音型に類似する音型を定義するルールを生成する。類似音型生成部１３２は、事前定義された音型照合ルールおよび逆生成された音型照合ルールに対し、照合項目の許容幅の拡張（最高キーおよび最低キーで規定されるキーの範囲の拡張、最小レングスおよび最大レングスで規定される長さの範囲の拡張またはその両方）および照合項目の一部の省略（必須マッチ対象の削減など）の少なくとも１つを適用し、指定音型または頻出音型に類似する類似音型を生成する。

【0071】

また、上述まででは、音型ハイライトを中心に説明したが、上述した曲想情報に基づいて、段（行）単位、小節単位、拍単位または音符単位で音符の集合に対して曲想ハイライトを描画してもよい。

【0072】

図３を再び参照すると、ステップＳ１１３では、プロセッサは、背景描画部１４３により、背景を描画し、背景の画像レイヤを生成する。ステップＳ１１４では、プロセッサは、音楽記号描画部１４４により、種々の音楽記号の位置情報に基づいて音楽記号を描画し、楽譜データに基づく音楽記号の画像レイヤを描画する。ステップＳ１１５では、プロセッサは、画像合成部１４５により、背景、五線コンテナ、音型ハイライトおよび音楽記号の画像レイヤを合成し、楽譜デザイン画像１０６を生成し、ステップＳ１１６で本処理を終了する。

【0073】

なお、図３には、楽譜作成処理について、特定の順序で説明したが、楽譜作成処理の各処理の順序は、図３に示す順序で実行されることに限定されるものではなく、一部の処理の順序が入れ替わってもよいし、実質的に同時に行われてもよい。また、図３に示す処理の一部が省略されてもよいし、図３に示す処理以外の処理が、任意のタイミングで実行されてもよい。例えば、上述までの実施形態では、五線コンテナおよびハイライトの生成ロジックおよび生成パラメータが、事前に指定されるものとして説明したが、一度楽譜デザイン画像１０６が生成された後に、五線コンテナ、音型ハイライト、曲想ハイライトの一部のものについて変更が行われ、変更後の条件で楽譜デザイン画像１０６を更新する処理が行われてもよいし、ユーザによる五線コンテナのパスの手動調整や、ハイライトの座標の手動調整や、修飾の変更が行われてもよい。

【0074】

以上説明したように、本発明の実施形態によれば、人手による少ない作業量で、楽譜情報の可読性を維持しながら、自由度高くデザインの楽譜を作成することが可能な情報処理装置、楽譜生成方法およびプログラムを提供することが可能となる。

【0075】

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

【0076】

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0077】

１０…情報処理装置、１２…ＣＰＵ、１４…ＲＡＭ、１６…ＲＯＭ、１８…ストレージ、２０…ディスプレイ、２２…入力装置、２４…ネットワーク・インタフェース、３０…ＯＳ、３２…楽譜作成アプリケーション・プログラム、１００…楽譜作成システム、１０２…対象楽譜データ、１０４…一般楽譜データ、１０６…楽譜デザイン画像、１１１…曲想抽出ルール、１１２…音型照合ルール、１１３…位置情報、１１４…曲想情報、１１５…音型情報、１２０…情報抽出部、１２２…位置情報抽出部、１２４…曲想情報抽出部、１２６…音型情報抽出部、１３０…頻出音型抽出部、１３２…類似音型生成部、１４０…描画部、１４１…コンテナ描画部、１４２…ハイライト描画部、１４３…背景描画部、１４４…音楽記号描画部、１４５…画像合成部、２０００…対象楽譜データ、２１０…五線領域、２１１～２１５…五線外部分の長方形領域、２２０…五線コンテナ、２２１…境界線、２２２…音楽記号、２３０…楽譜デザイン画像、２４１，２６１，２８１…長方形、２４２…円盤オブジェクト、２６２…折れ線、２６４…境界線、２８２…吹き出しオブジェクト、３００…照合結果、３０２…長方形、３１０…音型ハイライト、３１２…音符、３１４…同心円パターンのオブジェクト、３２０…楽譜デザイン画像３２０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】