特許 5765848 音再生プログラム及び音再生装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5765848

(24)【登録日】2015年6月26日

(45)【発行日】2015年8月19日

(54)【発明の名称】音再生プログラム及び音再生装置

(51)【国際特許分類】

   G06K 9/00 20060101AFI20150730BHJP

   G10G 3/04 20060101ALI20150730BHJP

   G10H 1/00 20060101ALI20150730BHJP

【ＦＩ】

   G06K9/00 N

   G10G3/04

   G10H1/00 102Z

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2011-79293(P2011-79293)

(22)【出願日】2011年3月31日

(65)【公開番号】特開2012-215960(P2012-215960A)

(43)【公開日】2012年11月8日

【審査請求日】2014年3月11日

(73)【特許権者】

【識別番号】000001410

【氏名又は名称】株式会社河合楽器製作所

(74)【代理人】

【識別番号】100084870

【弁理士】

【氏名又は名称】田中 香樹

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】勝田 雅則

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２００８−２４２７１４（ＪＰ，Ａ）

【文献】 特開２００８−０５４２３６（ＪＰ，Ａ）

【文献】 特開２００７−１８８２９７（ＪＰ，Ａ）

【文献】 特開平１１−１９４７６２（ＪＰ，Ａ）

【文献】 特開平１０−３３４１７９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／００９５１４４（ＵＳ，Ａ１）

【文献】 米国特許第０６５８０８０５（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／００

Ｇ１０Ｇ ３／０４

Ｇ１０Ｈ １／００

(57)【特許請求の範囲】

【請求項1】

撮像部と表示部とを備えた端末に対して、
前記撮像部により楽譜画像を所定時間ごとにサンプリング画像として読み取る機能と、
前記サンプリング画像から五線を簡易的に検出する機能と、
簡易的に検出された前記五線の検出五線レベルが所定条件を満たしているか否かを判定する機能と、
前記サンプリング画像と前記簡易検出された五線とを対応付けて前記表示部に表示する機能と、
前記サンプリング画像における音楽記号情報検出を指示する機能と、
前記音楽記号情報検出の指示があった後に、前記判定機能により初めて所定条件を満たしたと判定された前記サンプリング画像から音楽記号情報を検出する機能と、
前記検出された音楽記号情報に基づいて発音する機能と
をコンピュータに実行させることを特徴とする音再生プログラム。

【請求項2】

前記サンプリング画像は、予め設定された閾値を境に自動２値化された２値化画像から前記五線の簡易検出が行われ、前記サンプリング画像と前記２値化画像とを対応付けて前記表示部に表示する請求項１に記載の音再生プログラム。

【請求項3】

前記サンプリング画像における前記簡易検出された五線自体を判別可能な態様で表示する請求項１に記載の音再生プログラム。

【請求項4】

前記サンプリング画像における前記簡易検出された五線領域とそれ以外の領域とを判別可能な態様で表示する請求項１に記載の音再生プログラム。

【請求項5】

前記サンプリング画像から五線を簡易検出した際、所定の検出条件を満たした場合にのみ音楽記号情報の検出を自動的に指示する請求項１に記載の音再生プログラム。

【請求項6】

楽譜画像を撮像する撮像手段と、
前記楽譜画像を所定時間ごとにサンプリング画像として記録するサンプリング画像記録手段と、
前記サンプリング画像から五線を簡易的に検出する簡易五線検出手段と、
簡易的に検出された前記五線の検出五線レベルが所定条件を満たしているか否かを判定する判定手段と、
五線が簡易検出されたサンプリング画像について五線、音符音部記号等の音楽記号情報の検出を指示する音楽記号検出スイッチと、
前記音楽記号情報検出の指示があった後に、前記判定手段により初めて所定条件を満たしたと判定されたサンプリング画像から音楽記号情報を検出する音楽記号検出手段と、
前記音楽記号情報を表示する楽譜表示手段と、
前記楽譜表示手段で表示された音楽記号情報に基づき楽音を再生する楽音再生手段と
を備えたことを特徴とする音再生装置。

【請求項7】

前記簡易五線検出手段は、前記サンプリング画像を２値化した２値化画像から五線検出を行うとともに、前記サンプリング画像と前記２値化画像とを対応付けて前記表示部に表示する手段を備える請求項６に記載の音再生装置。

【請求項8】

前記音楽記号検出スイッチは、前記簡易五線検出手段がサンプリング画像から五線を簡易検出するに際し、検出五線が所定の検出条件を満たした場合にのみ音楽記号情報の検出を自動的に指示する手段を備えて成る請求項６に記載の音再生装置。

【請求項9】

前記サンプリング画像を２値化するに際し、２値化の閾値を調整設定する閾値設定手段を備えて成る請求項７に記載の音再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ等の撮像部で撮像した楽譜画像を読み取って音楽情報を検出する楽譜認識技術に関し、特に、読み取った音楽情報から楽音を再生する音再生プログラム及び音再生装置に関する。

【背景技術】

【0002】

従来、印刷楽譜についてイメージスキャナで楽譜画像として読み取る楽譜認識装置が提案されている。この楽譜認識装置は、例えば特許文献１に開示されているように、楽譜画像を読み取り、読み取った楽譜画像から五線、音符、音符の音高に係る記号等を検出することで、演奏に必要な音楽情報を認識するものである。

【0003】

また、印刷楽譜は、特別な音楽的素養の無い一般の人にとっては、楽譜を見て旋律や音高をイメージするのが困難であった。
その一方、近年ではカメラ搭載の携帯端末が普及したことで、手軽に楽譜を撮影し、その場で直ぐに演奏したり、旋律や音程を確認したりすることが可能なツールの存在が望まれていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第２９７９４０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、携帯端末に装着されている低解像度のカメラで撮影した楽譜画像の場合、撮影環境の光源の種類や明るさ、カメラ性能や撮影設定、譜面の湾曲や明暗、撮影距離や角度等、様々な撮影状況に起因して、読取画像に色や明暗のムラ、ぼやけ、ゆがみ、ブレなどが生じてしまうため、印刷楽譜をスキャナで読み取った高解像度の楽譜画像に比較して、五線や音符を含む音楽情報の検出精度も期待できず、よほど撮影条件がよい場合を除いて、楽譜画像の正確な旋律や音程の再生が困難であるという課題が存在した。

【0006】

本発明は上記実情に鑑みて提案されたもので、高解像度を要求されない撮像部を使用して楽譜画像を読み取りつつ、譜面の旋律や音程が再生可能な音再生装置及び音再生プログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

上記目的を達成するため本発明は、楽譜の撮影者に撮影時に撮影条件の良し悪しをリアルタイムに把握させることで、撮影条件が良い場合の撮像画像のみを取り込むことができる点に着目したものである。
すわなち、請求項１の発明は、撮像部及び表示部を備えた端末に対して格納される音再生プログラムであって、前記撮像部により楽譜画像を所定時間ごとにサンプリング画像として読み取る機能と、前記サンプリング画像から五線を簡易的に検出する機能と、簡易的に検出された前記五線の検出五線レベルが所定条件を満たしているか否かを判定する機能と、前記サンプリング画像と前記簡易検出された五線とを対応付けて前記表示部に表示する機能と、前記サンプリング画像における音楽記号情報検出を指示する機能と、前記音楽記号情報検出の指示があった後に、前記判定機能により初めて所定条件を満たしたと判定された前記サンプリング画像から音楽記号情報を検出する機能と、前記検出された音楽記号情報に基づいて発音する機能とをコンピュータに実行させることを特徴としている。
理想的には、所定時間ごとにサンプリング画像から音楽記号情報を検出することが望まれるが、この処理にはどうしても時間がかかる。そのため、五線のみを簡易的に検出するようにして処理時間を短くし、サンプリング周期をできるだけ短くしている。

【0008】

請求項２は、請求項１の音再生プログラムにおいて、前記サンプリング画像は、予め設定された閾値を境に自動２値化された２値化画像から前記五線の簡易検出が行われ、前記サンプリング画像と前記２値化画像とを対応付けて前記表示部に表示することを特徴としている。

【0009】

請求項３は、請求項１の音再生プログラムにおいて、前記サンプリング画像における前記簡易検出された五線自体を判別可能な態様で表示することを特徴としている。

【0010】

請求項４は、請求項１の音再生プログラムにおいて、前記サンプリング画像における前記簡易検出された五線領域とそれ以外の領域とを判別可能な態様で表示することを特徴としている。

【0011】

請求項５は、請求項１の音再生プログラムにおいて、前記サンプリング画像から五線を簡易検出した際、所定の検出条件を満たした場合にのみ音楽記号情報の検出を自動的に指示することを特徴としている。

【0012】

請求項６は、音再生装置であって、楽譜画像を撮像する撮像手段と、前記楽譜画像を所定時間ごとにサンプリング画像として記録するサンプリング画像記録手段と、前記サンプリング画像から五線を簡易的に検出する簡易五線検出手段と、簡易的に検出された前記五線の検出五線レベルが所定条件を満たしているか否かを判定する判定手段と、五線が簡易検出されたサンプリング画像について五線、音符音部記号等の音楽記号情報の検出を指示する音楽記号検出スイッチと、前記音楽記号情報検出の指示があった後に、前記判定手段により初めて所定条件を満たしたと判定されたサンプリング画像から音楽記号情報を検出する音楽記号検出手段と、前記音楽記号情報を表示する楽譜表示手段と、前記楽譜表示手段で表示された音楽記号情報に基づき楽音を再生する楽音再生手段とを備えたことを特徴としている。

【0013】

請求項７は、請求項６の音再生装置において、前記簡易五線検出手段は、前記サンプリング画像を２値化した２値化画像から五線検出を行うとともに、前記サンプリング画像と前記２値化画像とを対応付けて前記表示部に表示する手段を備えることを特徴としている。

【0014】

請求項８は、請求項６の音再生装置において、前記音楽記号検出スイッチは、前記簡易五線検出手段がサンプリング画像から五線を簡易検出するに際し、検出五線が所定の検出条件を満たした場合にのみ音楽記号情報の検出を自動的に指示する手段を備えて成ることを特徴としている。

【0015】

請求項９は、請求項７の音再生装置において、前記サンプリング画像を２値化するに際し、２値化の閾値を調整設定する閾値設定手段を備えて成ることを特徴としている。

【発明の効果】

【0016】

本発明（請求項１及び請求項６）によれば、端末のユーザが楽譜を撮影するに際し、撮像部が読み取る楽譜画像のサンプリング画像について、五線が簡易検出された場合に、サンプリング画像と検出五線とを対応付けて表示させることにより、撮影時における撮影条件の良し悪しをリアルタイムに把握することができる。そして、五線が簡易検出されたサンプリング画像からの音楽記号情報検出を指示するに際して、検出五線が所定の検出条件を満たした場合にのみ、音楽記号情報の検出を自動的に指示することで、撮影条件が良い場合のサンプリング画像から音楽記号情報を検出することができるので、楽譜画像を正確な音楽情報として読み取ることができる。

【0017】

請求項２及び請求項７の発明によれば、２値化された画像をサンプリング画像と対応付けて表示することで、撮影環境の良し悪しを把握することができる。

【0018】

請求項３の発明によれば、サンプリング画像に検出された五線自体が判別可能な態様で表示されるので、五線が簡易検出されていることを確認することができ、楽譜画像が正確な音楽情報として読み取り可能であることを端末のユーザが容易に判断することができる。

【0019】

請求項４の発明によれば、サンプリング画像に検出された五線領域とそれ以外の領域とが判別可能な態様で表示されるので、五線が簡易検出されていることを確認することができ、楽譜画像が正確な音楽情報として読み取り可能であることを端末のユーザが容易に判断することができる。

【0020】

請求項５及び請求項８の発明によれば、サンプリング画像から五線が簡易検出された場合に、自動的に音楽記号情報検出の指示が行われることで、ユーザによる操作を必要とすることなく、サンプリング画像から音楽記号情報を検出することができる。

【0021】

請求項９の発明によれば、撮像データ（サンプリング画像）から五線を簡易検出するに際し、２値化の閾値を調整設定する閾値設定手段を備えることで、撮像手段について撮影環境に合わせた感度調整を行うことができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る音再生プログラムを携帯端末に格納して音再生装置とした場合における携帯端末の表示部の画面を示すもので、（ａ）はメニュー画面、（ｂ）は撮像画面、（ｃ）は演奏画面をそれぞれ示す。

【図2】本発明の一実施形態に係る音再生装置の構成を示すブロック図である。

【図3】本発明の音再生プログラムによる楽譜画像読込から楽音再生の処理手順を示すフローチャート図である。

【発明を実施するための形態】

【0023】

以下、図面を参照しながら本発明の音再生装置の実施形態の一例について説明する。
本発明の音再生装置は、図１に示すようなスマートフォン等の携帯端末１に構築される。携帯端末１は、ＣＰＵ、ＲＯＭやＲＡＭやハードディスクなどの記憶部を有し、ＬＣＤなどの表示部３、表示部３内にタッチパネルとして設定される入力部、楽音を再生するための音源及びスピーカ部を備えて構成されている。そして、携帯端末１の記憶部に、例えばインターネットを介して音再生プログラムが予め格納されることで音再生装置として機能させる。

【0024】

音再生装置は、楽譜画像を読み取る撮像モード、楽譜画像を演奏する演奏モード、楽譜画像の編集を行う編集モードの各モードに切り換え可能に構成される。
本実施例では、プログラムが起動した直後は、表示部３は図１（ｂ）の撮像モード画面へ遷移する。また、図１（ｂ）の右下にあるオプションメニューアイコン４により、図１（ａ）のオプションメニュー画面を呼び出す。さらに、図１（ｂ）の下部にあるツールバー５以外の領域内にタッチすることにより、音楽記号情報を直ちに検出して図１（ｃ）の演奏モード画面へと遷移する。図１（ｃ）の下部のツールバー５にある鉛筆アイコン６で編集モードに切り替わり、音符演奏アイコン７で演奏モードに切り替わる。
音再生装置を使用して音再生を行う手順については後述する。

【0025】

音再生装置は、図２に示すように、撮像手段としてのカメラ装置１１と、撮像データを記録する画像サンプリング部１２と、撮像データから五線を検出する簡易五線検出部１３と、撮像データを記録する楽譜画像記憶部１４と、撮像データから音楽記号を検出する音楽記号検出部１５と、撮像データの音楽記号を記録する音楽記号情報記録部１６と、サンプリング画像、検出された簡易五線および音楽情報等を表示する表示装置（楽譜表示手段）１７と、音楽記号検出スイッチ１８を備えて構成されている。

【0026】

カメラ装置１１は、携帯端末１に内蔵され、楽譜原稿に記載された楽譜画像を撮像するものであり、例えば解像度３０万画素程度のものが使用される。この値は、公知の楽譜認識装置においてイメージスキャナで読み取った楽譜画像の解像度（１０００万画素程度）と比べて桁違いに低いものが使用される。

【0027】

画像サンプリング部１２は、所定時間毎に楽譜画像をサンプリング画像として撮像する。サンプリング画像の最新データは、楽譜画像記憶部１４に順次書き換えて出力されるとともに、簡易五線検出部１３において予め設定された閾値により、この閾値を境に自動的に白画素データと黒画素データとに２値化された２値化画像により簡易五線検出処理がなされる。２値化を行うことで、五線検出を容易とすることに加え、さらにサンプリング画像に対応付けて表示することで撮像条件の良し悪しをより把握し易くすることができる。

【0028】

また、簡易五線検出部１３は、自動２値化の閾値を調整可能に設定できる閾値設定手段を備えていてもよい。閾値の調整は、例えば、図１（ｂ）の撮像画面において、携帯端末１の表示部３下方に表示された閾値調整バー８の左右位置をユーザが調整することで、可変するようになっている。閾値調整バー８は、サンプリング画像の取り込み時である撮像画面のモードにのみ表示部３の下方のツールバー５内に表示するようになっている。
自動２値化の閾値を調整設定する閾値設定手段を備えることで、楽譜原稿を読み取るに際して、撮影環境に合わせた感度調整をユーザ自身が手動で行うことができ、楽譜画像の読取精度の向上を図ることができる。

【0029】

簡易五線検出部１３では、サンプリング画像から楽譜における五線が簡易的に検出される。五線の検出は、従前に行われている公知の方法を採用できる。例えば特開２００３−２４２４３８に記載されるように、入力された楽譜画像に対して、横方向での黒画素数を加算した加算ヒストグラムに基づいて五線が含まれると推定される矩形を検出し、矩形内の楽譜画像データから五線を検出することが行われる。簡易五線検出とは、五線検出に要する処理時間をできるだけ短くするための検出方法であり、上記の方法に限らず検出精度が多少悪くても、五線が大雑把に検出できるような簡易的な方法でよい。例えば、白画素と黒画素の縦方向の周期性のみから五線領域を検出してもよい。

【0030】

音楽記号検出部１５は、楽譜画像記憶部１４に記録されたサンプリング画像から、公知の楽譜認識装置において行われている方法により、五線、小節線、音符、音部記号、調号、臨時記号等の音楽記号を検出する。五線の情報は、サンプリング画像における五線位置座標が検出され、五線以外の音楽記号の情報は、少なくとも五線に対するＸ軸（横方向）及びＹ軸（縦方向）の位置が検出される。
音楽記号情報記録部１６は、サンプリング画像から検出された音符、音部記号等の音楽記号情報を記録する。

【0031】

表示装置１７は、簡易五線検出部１３で五線が検出された際に、図１（ｂ）に示すように、表示部３に表示されるサンプリング画像における五線領域の色をサンプリング画像と異なる色で表示（例えば、その領域だけサンプリング画像の赤色成分だけを強くして表示）し、五線領域とそれ以外の領域とが判別可能な態様で表示する処理が行われる。また、五線が検出された場合に表示部３に表示される五線自体をサンプリング画像とは異なる色（例えば、赤線）で表示するようにしてもよい。さらに、五線検出前に行われる２値化処理によって得られた２値化画像を、上記の画像にオーバーラップさせて表示してもよい。
このような処理が行われ、表示部３において、五線領域や２値化画像が示されることで、サンプリングされた楽譜画像から正確な音楽記号情報を読み取り可能であることを携帯端末のユーザが容易に判断することができる。

【0032】

音楽記号検出スイッチ１８は、五線が検出されたサンプリング画像が表示部３に表示されている場合（図１（ｂ）の撮像画面）において、サンプリング画像から音楽記号情報検出を指示するものであり、オン（指示）状態とすることにより、音楽記号検出部１５において、楽譜画像記憶部１４に記録されたサンプリング画像から音楽記号情報が検出され、音楽記号情報記憶部１６に記憶される。
音楽記号検出スイッチ１８（シャッターボタン）による検出指示は、ユーザの操作（例えば、図１（ｂ）の下部にあるツールバー以外の領域にタッチする）により行われる。この例ように、検出指示のためのシャッターボタンは、ユーザがシャッターチャンスを逃さないためにも、できるだけ大きくすると効果的である

【0033】

また、音楽記号検出スイッチ１８は、簡易五線検出部１３がサンプリング画像から五線を簡易的に検出するに際し、検出五線が所定の検出条件を満たした場合にのみ、音楽記号検出部１５における音楽記号情報の検出を自動的に指示する指示手段を備えるものであってよい。
所定の検出条件は、例えば、サンプリング画像の面積に対する検出五線領域の面積の割合であってもよいし、サンプリング画像における検出五線領域の分布傾向であってもよい。この場合、簡易五線検出部１３からの五線検出情報が点線で表示される信号線を介して音楽記号検出スイッチ１８に入力され、音楽記号検出スイッチ１８内の指示手段により検出五線レベルが所定条件を満たして五線が検出された場合に自動的にオン（指示）状態となるようにする。

【0034】

あるいは、ユーザが表示部を確認しながら、ここぞというタイミングでシャッターボタンを操作した際、音楽記号検出スイッチ１８内の指示手段が即座に検出指示をオンにするのではなく、検出指示以降に簡易五線検出部１３からの五線検出情報が所定の検出条件を満たしたときに初めて検出指示をオンにしてもよい。こうすることにより、ここぞというタイミングと実際にシャッターボタンを操作したタイミングとのタイムラグによる撮影条件の悪化を防止できるし、シャッターボタンを操作した際のカメラのわずかな動きによるサンプリング画像のブレによる検出精度の悪化も防止できる。

【0035】

また、表示部３において演奏位置を示す演奏ポインタを表示するため、演奏ポインタ設定部２１、タッチパネル装置２２、タッチ位置検出部２３を備えている。表示部３に表示される演奏ポインタは、演奏位置が確認できるものであればよく、例えば、指マーク、矢印、五線を跨ぐ縦線等で構成することが考えられる。
すなわち、表示装置１７では、表示される音楽記号情報に対して演奏ポインタ設定部２１が設定する位置に演奏ポインタが表示される。表示部３全体がタッチパネル装置２２を構成し、携帯端末１のユーザが指で表示部３をタッチすることでその位置をタッチ位置検出部２３が検出し、タッチした位置を演奏ポインタ設定部２１が認識し、表示部３に演奏ポインタの位置を表示するとともに、演奏ポインタに対応する音楽記号情報（音符）に基づいて楽音を再生する楽音再生手段に出力する。
また、タッチ位置検出部２３は、表示部３が演奏モード画面（図１（ｃ））である場合において、後述する演奏モードスイッチ４１、編集モードスイッチ５１についての検出も行う。

【0036】

楽音再生手段は、音楽記号情報の音符に基づいて音を生成する楽音生成部３１と、音を再生する楽音再生部３２と、スピーカ部等のサウンド出力装置３３で構成されている。楽音生成部３１へは、カメラ装置１１により撮像され音楽記号が検出されて音楽記号情報記録部１６に記憶された音楽記号情報のデータが入力される。
また、楽音生成部３１は、演奏モードスイッチ４１により演奏モード選択時において、タッチ位置検出部２３からの信号を受けて、楽音生成部３１において入力された音楽記号情報に対する演奏ポインタ設定部２１で指定された音符に基づいて音を生成する。

【0037】

また、音再生装置は、表示部３において表示された音楽記号情報を編集するため、編集モードスイッチ５１と、音楽記号情報編集部５２を備えている。
すなわち、編集モードスイッチ５１による編集モード選択時に、表示部３に表示されている音楽記号情報における音符の音高の位置（五線上の位置と音符に付加される臨時記号）の修正や、音符が誤認識された場合（楽譜画像に無い音符が表示された場合）の音符の削除、あるいは音符が認識されなかった場合（楽譜画像にある音符が表示されなかった場合）の音符の追加について行う。この修正は、例えば、修正する音符を指定し、希望の位置に移動する、音符自体を削除する、あるいは指定した任意の位置に新たな音符を追加することで行われる。音楽記号情報編集部５２における音符の移動先や削除、追加等に関する修正情報は、音楽記号情報記録部１６に出力され、編集後の音楽記号情報に書き換えられ、表示装置１７の表示部３で表示される。

【0038】

次に、上述した音再生装置（携帯端末１）を使用して楽譜原稿の楽譜画像を撮像し、演奏させる手順について、主として図３のフローチャートを参照しながら説明する。楽譜原稿１枚（１ページ）分に記載されている楽譜画像に対して、その全体若しくは一部分の楽譜画像を読み取る例について説明する。

【0039】

プログラムが起動されると、表示部３の撮像画面（図１（ｂ））へ遷移する。
この状態で携帯端末１のカメラ装置１１を楽譜原稿に向けることで、楽譜画像の全体または一部分の楽譜画像についてのサンプリング画像を取り込む（ステップ１０１）。
画像サンプリング部１２は、サンプリング画像を楽譜画像として一時的に記憶する（ステップ１０２）。サンプリング画像の読取及び記憶は、所定時間ごとに、例えば、毎秒３〜４回行われる。また、このサンプリング画像は、五線検出前のサンプリング画像として表示部３に所定時間ごとに書き換えられて連続的に表示される。

【0040】

次に、簡易五線検出部１３において、記録されたサンプリング画像について予め設定された閾値を境に２値化し、２値化されたサンプリング画像から五線を簡易的に検出する（ステップ１０３）。
そして、表示部３にサンプリング画像及び五線を表示する（ステップ１０４）。

【0041】

次に、サンプリング画像から五線、小節線、ト音記号やヘ音記号等の音部記号、及び、音符、調号、臨時記号等の音楽記号の検出が指示されたか否かを判断する（ステップ１０５）。音楽記号の検出が指示されない場合は、ステップ１０１に戻ってサンプリング画像の取り込みが行われ、以後、音楽記号の検出が指示されるまでこの処理が繰り返して行われる。また、この段階では、五線の簡易検出（ステップ１０３）が行われ、表示部３に楽譜画像（サンプリング画像）および簡易検出された五線を表示する（ステップ１０４）。これにより、撮影条件の良し悪しをユーザにリアルタイムで知らせることができ、少しでも検出精度に有利なタイミングで音楽記号の検出をユーザが指示できるようにする。

【0042】

音部記号情報の検出が指示された場合（ステップ１０５）、直ちに音楽記号情報を検出（ステップ１０６）し、図１（ｃ）の演奏画面へと遷移する。この画面では、表示部３において五線、音符、音部記号等の情報を含む音楽記号情報を表示する（ステップ１０７）。このとき、検出された音楽記号情報を、サンプリング画像にオーバーラップさせて表示するようにすると、演奏操作や編集操作がやり易くなる。
以上の操作で楽譜画像の読取作業が終了する。

【0043】

ところで、楽譜画像の一部分のみを撮像する場合、音部記号や調号が含まれないことも考えられる。
このような場合、音符における絶対的な音高の値が確定するには、音部記号や調号の情報が必要になる。そのようなときには、以前に音部記号や調号が含まれた部分の楽譜画像を読み取った際に、音楽記号検出部１５により音部記号や調号を含む音楽記号を検出して音楽記号情報記録部１６に記憶し、後の楽譜原稿の一部分の読み取りに際しては、既に読み取った音部記号や調号の情報を反映するようにしてもよい。あるいは、ユーザに音部記号や調号を設定させる手段を画面上に設けてもよい。

【0044】

続いて、読み取られた楽譜画像についての演奏処理について説明する。
表示部３演奏画面（図１（ｃ））において、ユーザが指で演奏したい五線部分を触れると、記憶した音楽記号情報における位置をタッチ位置として検出する（ステップ１０８）。
このタッチ位置に応じて位置が更新された演奏ポインタを表示部３に表示する（ステップ１０９）。演奏ポインタ位置における発音対象の音符の有無を判断し（ステップ１１０）、無い場合は、ステップ１０８のタッチ位置の検出を繰り返し行って、演奏ポインタ位置更新及び表示を行う（ステップ１０９）。演奏ポインタ位置における発音対象の音符の有無は、例えば演奏ポインタの更新前のＸ位置と更新後のＸ位置との間に、タッチ位置に応じた五線内にある音符が存在するか否かの判断により行われる。

【0045】

この処理が繰り返して行われ、演奏ポインタの位置に発音対象の音符が有った場合（ステップ１１０）は楽音生成し（ステップ１１１）、楽音に基づいて楽音再生が行われ（ステップ１１２）、楽譜演奏終了が選択されるまで（ステップ１１３）上述した処理が繰り返して行われる。五線における同位置に発音対象の音符が複数存在する場合は、和音として楽音再生が行われる。

【0046】

このように音符を発音することにより、ユーザが演奏したい五線上で連続的に指をすべらせれば、すべらせた通りに楽譜の旋律を再生させることができる。例えば、五線上を右から左へと指をすべらせることで楽譜を逆方向に演奏させたり、特定場所で繰り返して指をすべらせたりすることで、即興演奏を楽しむこともできる。
楽譜を苦手としているような合唱や楽器の練習者にとっては、特定部分の音符だけを何度も鳴らすことで、歌う前や楽器を演奏する前に音の高さを確認することができるので、まことに都合が良い。

【0047】

この例では、ユーザが指で演奏したい五線部分を連続的に触れることで、触れた速度に応じて楽譜の旋律を再生させるようにしたが、楽譜画像が読み取られて音楽記号情報が表示された場合（ステップ１０７）、例えば携帯端末１の表示部３内に表示された再生ボタン（音再生開始）を選択し、読み取られた音楽記号情報の音符の全てを発音することで、旋律を自動的に再生するようにしてもよい。その際、楽譜に表示された正確な旋律を再生するため、音符の長さ（２分音符、４分音符、８分音符等）や休符の種類を音楽記号情報として検出するようにするのが好ましい。音符や休符の長さは、音符を検出する場合の画像データ（音符の種類）で判定することができる。

【0048】

上述した音再生装置によれば、ユーザが楽譜原稿を撮影するに際し、撮像部が読み取る楽譜画像のサンプリング画像について、五線が検出された場合（ステップ１０７）は五線領域や五線自体を判別可能な態様で表示することで、撮影時における撮影条件の良し悪しをリアルタイムに把握することができる。
撮影条件が良い場合のサンプリング画像を自動的に、又は、スイッチの操作によりユーザの判断で取り込むことで、楽譜画像を正確な音楽記号情報として読み取ることができるので、比較的に低解像度のカメラ装置（撮像部）を使用した場合においても、楽譜認識の精度を向上させることができる。
携帯端末１に内蔵されたカメラ装置１１で楽譜画像から読み取った音楽記号情報から楽音を再生することで、楽譜に表示された旋律、音程、和音を簡単な操作で即座に容易に確認することができる。

【符号の説明】

【0049】

１…携帯端末、 ３…表示部、 ８…閾値調整バー、 １１…カメラ装置、 １２…画像サンプリング部、 １３…簡易五線検出部、 １４…楽譜画像記憶部（記録手段）、 １５…音楽記号検出手段、 １６…音楽記号情報記録部、 １７…表示装置（楽譜表示手段）、 １８…音楽記号検出スイッチ、 ２１…演奏ポインタ設定部、 ２３…タッチ位置検出部、 ３１…楽音生成部、 ３２…楽音再生部、 ５２…音楽記号情報編集部。

【図1】

【図2】

【図3】