特許 7568892 携帯端末機器を用いた音楽演奏玩具

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】携帯端末機器を用いた音楽演奏玩具

(51)【国際特許分類】

   G10H 1/00 20060101AFI20241009BHJP

   A63F 13/814 20140101ALI20241009BHJP

   G10G 1/00 20060101ALI20241009BHJP

【ＦＩ】

G10H1/00 101A

A63F13/814

G10G1/00

【請求項の数】 2

(21)【出願番号】P 2020210850

(22)【出願日】2020-12-19

(65)【公開番号】P2022097319

(43)【公開日】2022-06-30

【審査請求日】2023-09-20

(73)【特許権者】

【識別番号】720010877

【氏名又は名称】太田 享寿

(72)【発明者】

【氏名】太田 享寿

【審査官】大野 弘

(56)【参考文献】

【文献】特開平０６－３３２４４３（ＪＰ，Ａ）

【文献】実開昭５５－０６５６８８（ＪＰ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００

Ｇ１０Ｇ １／００

Ａ６３Ｆ １３／８１４

(57)【特許請求の範囲】

【請求項1】

動画から静止画像を切り出して入力する画像入力手段と、入力された静止画像を画像処理することにより被撮影媒体に記録された音符を検出する画像処理手段とを備え、検出された音符に基づいて演奏を行うことを特徴とする音楽演奏玩具。

【請求項2】

前記被撮影媒体上に音符の位置を検出するためのマーカーを設け、前記画像処理手段により前記静止画像上のマーカーの位置を検出し、検出したマーカーの位置に基づいて被撮影媒体に記録される音符の位置を特定し、特定された音符の位置から前記音符を検出することを特徴とする請求項１に記載の音楽演奏玩具。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートフォン等の携帯端末機器を用いた音楽演奏玩具に関するものである。

【背景技術】

【0002】

従来よりたとえば特許文献１で示されるようにロール紙に音符に対応した小孔を開けて装置専用の楽譜とし、これをモーター等で巻き取りながら小孔を通過した空気の圧力により鍵盤を殴打することにより自動演奏を行う自動演奏ピアノが知られている。

【0003】

これらの装置は１９世紀に発明されたものであり、現在では特許文献２、３、４で示されるように奏者の楽器練習などの目的のために前記自動演奏ピアノ用のロール紙に記録された楽譜と演奏の様子を電子的に模擬し、ピアノロールと呼んでモニター等の表示手段に表示する技術が知られている。このピアノロールは別途用意されたデジタル演奏データに基づいて、電子楽器の自動演奏に伴って表示されるものである。

【0004】

一方で、近年の携帯電話機にはタッチ式液晶パネルによる画像出力機能、同パネルによる情報の入力機能、カメラによる動画撮影機能、スピーカーあるいはヘッドフォンによるサウンド出力機能等様々な機能を有したスマートフォンとよばれるものがある。また同様な機能を備えたスマートフォンよりも一回り大きなタブレット端末と呼ばれるものがある（以後両者をまとめて携帯端末機器と呼ぶ）。これら携帯端末機器は装置上の液晶パネルに同装置上のカメラによって撮影された動画をリアルタイムに表示したり、同動画を別途記憶手段に記録したり、同装置により記録した動画あるいはインターネット等からダウンロードした動画を表示、再生したりする機能を有している。さらにこれらの装置はサウンド出力機能によりMP3フォーマットなどで記録された音楽ファイルを再生したり、あるいは音楽の演奏情報をデータ化したMIDIデータ等から音楽を再生する機能を有している。またこれらの携帯端末機器に対しては、各種アプリケーションと呼ばれるソフトウェアプログラムが提供されており、インターネット経由でこれらをダウンロードして装置本体にインストールすることにより新たな機能を追加することができるようになっている。

【0005】

しかしながらこれらの多機能な携帯端末機器であっても、従来の自動演奏ピアノを模擬するようなアプリケーションあるいは音楽演奏玩具は知られていない。ここで言う自動演奏ピアノを模擬するとは、穿孔や印刷等の方法により音符を記録した装置専用の楽譜から、同楽譜を移動させながらそこに記録された音符等を検出し、検出した音符に基づいて音符に対応する音を出して前記楽譜を演奏する事を言う。

【先行技術文献】

【特許文献】

【0006】

【文献】実全昭５２－０６３０２２

【文献】特開２００７－２７９４７０

【文献】特開２０１５－０６９１５１

【文献】特開２００１－５１５８６

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、携帯端末機器等の電子装置により、音符等を記録したロール紙等の専用の楽譜から、同楽譜を移動させることにより記録された音符等を検出し、検出した音符に基づいて音符に対応する音を出して同楽譜を演奏するための簡便で実用的な方法、装置を提供することである。

【課題を解決するための手段】

【0008】

本発明は、音符等を記録したロール紙等の楽譜の移動を撮影、記録あるいはそれ以外の方法により作成したデジタル動画データから、連続して静止画像を切り出して入力とする画像入力手段と、入力した静止画像から画像処理により記録されている音符を検出する画像処理手段とを設けたことを最も主要な特徴とする。

【発明の効果】

【0009】

本発明によれば、音符等を記録したロール紙等の楽譜の移動を撮影、記録あるいはそれ以外の方法により作成したデジタル動画データから、連続して静止画像を切り出して入力とする画像入力手段と、入力した静止画像から画像処理により記録されている音符を検出する画像処理手段とを設けることにより、検出した音符に基づいて対応する音符の音を出して同楽譜を演奏することが可能となり、携帯端末機器等の電子装置により従来の自動演奏ピアノを模擬する音楽演奏玩具を提供できるという利点がある。

【図面の簡単な説明】

【0010】

【図1】図１は第１の実施方法を示した説明図である。（実施例１）

【図2】図２は実施例１におけるスマートフォンの画面を示した説明図である。

【図3】図３は実施例１におけるハードウェアおよびソフトウェアの構成を示した説明図である。

【図4】図４は実施例１におけるソフトウェアの動作を示したフローチャートである。

【図5】図５は実施例１における画像処理の内容を説明するための説明図１である。

【図6】図６は実施例１における画像処理の内容を説明するための説明図２である。

【図7】図７は第２の実施方法を示した説明図である。（実施例２）

【図8】図８は第３の実施方法を示した説明図である。（実施例３）

【発明を実施するための形態】

【0011】

従来の自動演奏ピアノを模擬する音楽演奏玩具を実現するという目的を、音符等を記録したロール紙等の楽譜の移動を携帯端末機器等によって撮影し、その撮影した動画から画像処理により音符等を検出し、検出した音符に基づいて対応する音符の音を出して楽譜を演奏するという方法で実現した。

【実施例】

【0012】

図１は、本発明装置の第1の実施例の全体図であって、１００はスマートフォン本体、１０１は液晶パネルによる画像出力部である。同液晶パネルはタッチパネルになっており、ユーザー操作による情報入力部１０２も兼ねている。２００は音符が記録された楽譜であるところのロール紙であり、２００１、２００２、２００３はロール紙２００上に黒い線として印刷記録された音符、２０１０、２０１１は音符の位置検出用にロール紙２００上の両端に同様に記録されたマーカー線である。ここで前記２００１、２００２、２００３などの音符はピアノの鍵盤に対応して左から右に向かって高音となり、ロール紙が一定速度で送られることを想定してその長さが音符の長さとなっている。３００、３０１はロール紙２００を６００の矢印の方向に送るためのローラーで駆動手段（図示せず）により駆動され、ロール紙２００を一定速度で矢印６００方向に送る。４００，４０１は同ロール紙２００を巻き取るためのリールである。

【0013】

図２は、本発明装置の同実施例のスマートフォン本体１００の画像出力部である液晶パネル１０１の表示画面を示す図である。１０１１の破線の枠で示される部分はスマートフォン本体の裏面に備えられたカメラ（図示せず）で撮影されたロール紙２００上に記録された音符等からなる楽譜の移動する様子をリアルタイムに表示する楽譜表示部で、従来の自動演奏ピアノにおける演奏に伴ってロール紙が巻き取られる様子を見ることができるガラス窓の部分を模擬している。１０２０の破線は移動するロール紙２００上に記録された音符がその線上に来たときに演奏されるということを表す仮想的なタイミング線であり、実際の画面には表示してもしなくても構わない。２００１、２００２、２００３は液晶パネル１０１上に表示されたロール紙２００上に記録された音符、２０１０、２０１１は同パネル１０１上に表示された音符の位置検出用にロール紙２００上の両端に記録されたマーカー線であり、カメラにより撮影されたロール紙２００の映像が後述の各種処理を経てここに表示される。１０１２の破線の枠で示される部分は鍵盤表示部で、ロール紙２００の移動によりタイミング線１０２０上に音符が来たことを前記画像処理手段によって検出した場合には、音符に対応する鍵盤が押されたことを示すために白鍵、黒鍵それぞれの色を灰色に変えて表示する。

【0014】

図３は、本発明装置の同実施例のハードウェアおよびソフトウェアを示す構成図である。１はＣＰＵ（中央処理ユニット）であり、不揮発性メモリ（図示せず）に記憶されたプログラムに従って、各種処理を行ったり各種手段に対する命令を発行したりすることにより、本発明を実現する。２はカメラ等により構成される画像入力手段であり、音符等が印刷されたロール紙２００の移動を動画として撮影し、プログラムにより例えば１／３０秒毎に一連の静止画像として切り出してＣＰＵ１に渡す。３は液晶パネル１０１などで構成される画像出力手段であり、ＣＰＵ１は画像入力手段２から渡された静止画像を、表示に必要なサイズにトリミングして画像出力手段３に渡し、画像出力手段３はＣＰＵ１から渡された静止画像を楽譜表示部１０１１に表示する。ＣＰＵ１はまた画像入力手段２から受け取った静止画像を画像処理手段４に対して画像処理に必要な部分にトリミングして送り、画像処理手段４はＣＰＵ１から渡された静止画像から画像処理により音符の位置を特定し、特定された位置に音符があるかないかを検出する。音符があるかないかを検出した画像処理手段４はその情報をＣＰＵ１に返し、ＣＰＵ１は５の鍵盤状態記憶手段から一つ前の静止画像が渡されたタイミングでの音符に対応する鍵盤の状態を読み出して、鍵盤の状態が「押されていない」状態でかつ現在渡された静止画像においては音符ありと判断された場合には対応する音符の音を出すと判断し、また同様に一つ前の処理タイミングにおける鍵盤の状態が「押されている」状態でかつ現在は音符なしと判断された場合には対応する音符の音を止めると判断し、鍵盤状態記憶手段５の内容を最新の状態に書き換える。そしてその判断に基づいてＣＰＵ１は６のサウンド出力手段に対応する音符の音を出すあるいは止めるという指示をする。サウンド出力手段６はＣＰＵ１の指示に従って予め設定された音色で対応する音符の音を出したり止めたりする機能を有し、これにより楽譜に従った音楽を奏でることができる。またＣＰＵ１は対応する音符の音を出したり止めたりするという判断に従って、対応する鍵盤の色を変更するという処理を画像出力手段３に指示し、画像出力手段３は同指示に従って鍵盤表示部１０１２の対応する鍵盤の色を変更させる。

【0015】

図４は本発明装置の同実施例のソフトウェアの動作を示すフローチャートである。まずＣＰＵ１はＳ１において画像入力手段２から動画を一連の静止画像として切り出した画像が入力されるのを待つ。入力された場合にはＳ２に進み入力された同静止画像を表示に必要なサイズにトリミングして画像出力手段３に渡し、同画像を液晶はパネル１０１の楽譜表示部１０１１に表示するように画像出力手段３に指示する。更にＣＰＵ１はＳ３において同静止画像を画像処理に必要な部分にトリミングする。Ｓ４においてトリミングされた同静止画像は画像処理手段４に渡され画像処理手段４には音符を検出するように指示する。Ｓ５において画像処理手段４は渡された同静止画像から音符の位置を特定し、特定された位置に音符があるかないかを検出しその結果をＣＰＵ１に返す。Ｓ６においてＣＰＵ１は同静止画像から検出された音符と、鍵盤状態記憶手段５に記憶してある一つ前に入力された静止画像から判断された同音符に対応した鍵盤が押されているかいないかの状態を記憶した情報に基づいて新たに鍵盤が押されたか離されたかを判断し、その状態を鍵盤状態記憶手段５に更新記憶しておく。Ｓ７においてはＳ６の新たに鍵盤が押されたか離されたかの判断に基づいて、サウンド出力手段６に同鍵盤に対応した音符の音を出すあるいは止めるという指示をする。またＳ８においてＣＰＵ１はＳ６の新たに鍵盤が押されたか離されたかの判断に基づいて、画像出力手段３に対して対応する鍵盤の色を変更するように指示をする。以上により、画像入力手段２から入力された一連の静止画像として切り出した画像１つに対する処理は終了するので、再びＳ１に戻り、画像入力手段２から次の静止画像が入力されるのを待つ。

【0016】

図５および図６はそれぞれ画像処理手段４によるロール紙２００上に記録された音符を検出する画像処理の内容を説明するための説明図１、説明図２である。両者は異なる画像処理方法であるが、どちらもロール紙２００上に記録された音符を検出するという目的は同一のものでり、従って実施例１においてはどちらを採用することも可能である。

【0017】

まず図５を使った説明をする。ＣＰＵ１は画像入力手段２から受け取った静止画像を図４のＳ３において画像処理手段４における画像処理に必要な部分にトリミングする。これは図２のタイミング線１０２０に相当する部分の画像を切り出すことを意味し、それをグラフに表したものが図５である。このグラフにおいて横軸はタイミング線１０２０上の位置を表しており、プロットされた０－９５９の０は画像上の左端、９５９が同右端の位置を表している。縦軸はタイミング線１０２０上にある画素の明るさを示しており、０－２５５がプロットされていて、数値が大きほど明るいことを意味する。この切り出した画像をＣＰＵ１は画像処理手段４に送り、切り出した画像を受け取った画像処理手段４は受け取った画像に対する画像処理により特徴検出を行う。

【0018】

画像処理手段４による画像処理の詳細を述べる前に、図５に示されるグラフの特徴を見る。このグラフには明るさのレベルが５５以下となるような暗い部分が特徴的に４箇所あり、これは図２における楽譜表示部１０１１に表示されるロール紙２００上に記録された音符２００１、２００３およびロール紙２００の両端に記録されたマーカー線２０１０、２０１１に対応している事がわかる。従ってマーカー線２０１０、２０１１の位置が検出できれば、それらから相対的に各音符の位置が特定できる。

【0019】

例えば、タイミング線１０２０上にあるマーカー線２０１０、２０１１の位置をそれぞれPｌ、Pｒとし、演奏可能な音階の数（＝表示される鍵盤の数）が例えば７オクターブ＋１キーであれば８５鍵が利用されるので、マーカー線２０１０、２０１１の間に均等に８５鍵が配置されるとすれば、タイミング線１０２０上における各鍵盤の位置、すなわち対応する各音符の位置P（ｉ）｛ｉ＝０,１．．．８４｝は以下の式により求められる。

【数1】

【0020】

従って、数１で求められた音符の位置P（ｉ）における画素の明るさが予め定めた閾値以下であれば、そこには音符が記録されていると判断可能である。

【0021】

このようにして画像処理手段４はＣＰＵ１から渡された１画像に対して、タイミング線１０２０上の各鍵盤に対する音符の有無を判断して、その結果をＣＰＵ１に返す。ＣＰＵ１からはロール紙２００の移動に伴って、一定の周期で次々と切り出した静止画像が渡されるので、画像処理手段４は同様の処理を繰り返すことにより、楽譜上の音符の有り無しを判断することが可能となる。

【0022】

つぎに実施例１におけるロール紙２００上に記録された音符を検出する別の方法について、図６を用いて説明する。

【0023】

本方法は、ＣＰＵ１が切り出した画像を画像処理手段４に送り、これを画像処理手段４が受け取るところまでは上記図５による方法と同じであるが、受け取った画像の各画素に対して、一つ隣の画素との差分を取るところが異なる。

【0024】

図６は図５で示される画像に対して、着目点ｉ（０－９５８）の位置にある画素の値との着目点ｉ＋１の位置にある画素の値との差分をとったものである。このグラフの位置０から順に右にその値を見ていくとほぼ０に近い値が続き、大きく＋３０以上に振れ、直ぐに－３０以下に振れてまた０に近い値に戻るという特徴的な部分が４箇所あり、これらも図５の場合と同様に、楽譜表示部１０１１に表示されるロール紙２００上に記録された音符２００１、２００３およびロール紙２００の両端に記録されたマーカー線２０１０、２０１１に対応している事がわかり、これらから図５で説明した方法と同様の方法でタイミング線１０２０上の各鍵盤に対する音符の有無を判断することが可能である。

【0025】

本方法の場合、前記図５の場合と異なるのは隣接画素の差分をとっているので、処理の対象となる画像の照明ムラなどによる影響が少ない点である。例えば図５のグラフに示されるロール紙２００の地の白の部分（特徴的な４箇所以外の部分）のグラフの線は右肩上がりとなっている。これは照明により照らされる紙面の明るさが、画像の左りよりも右のほうが相対的に明るいために照明ムラが発生しているためで、場合によっては音符の部分の明るさにも影響を与える場合がある。一方、図６のように隣接が画素との差分により特徴点を検出する方法であれば、ロール紙２００の地の白の部分はグラフ中ではほぼ０近辺に集中しているので照明ムラによる画像への影響を抑えることが可能となる。

【0026】

なお、本実施例１においてはＣＰＵ１から画像処理手段４に画像処理すべき静止画像が渡されるたびにマーカー線２０１０、２０１１の位置を検出して、そこからタイミング線１０２０上における各鍵盤の位置、すなわち対応する各音符の位置P（ｉ）を求めており、これはロール紙２００の移動に伴う移動方向と直行する方向へのロール紙２００のブレの影響を抑えるためであるが、カメラとロール紙２００との距離がロール紙２００の移動に伴って変化することも考えられるのでその影響を抑えるためにも有効である。従ってこれらの影響が少ないような装置においては、マーカー線２０１０、２０１１の位置の検出はＣＰＵ１から画像処理手段４に画像処理すべき静止画像が最初に渡されたときに一度だけ行い、そのときに検出された値を次回からの画像処理に常に使うという構成にすることも可能である。

【0027】

また本実施例では音符はロール紙上に印刷された黒い線としているが、画像処理で検出可能であればロール紙上に穿孔したものであっても構わない。またロール紙の幅が一定であるならばロール紙とロール紙の背景とコントラスト比を使ってロール紙の幅を検出することが可能であり、これを２本のマーカー線の代わりに利用することも可能である。

【0028】

以上の様に本実施例によれば音符等を印刷したロール紙からなる楽譜の移動を携帯端末機器等によって撮影し、その撮影した動画から静止画像を切り出し、切り出された静止画像から画像処理により印刷された音符等を検出し、検出した音符に基づいて対応する音符の音を鳴らすという方法を採用することにより、従来の自動演奏ピアノを模擬する音楽演奏玩具を実現可能とした。

【0029】

図７は本発明の第２の実施例を示すもので、実施例１では音符等が印刷されたロール紙２００を２軸により巻き取る方式を示したが、本実施例は１軸のロール４０２にロール紙２００を巻きつけて回転させるオルゴールタイプのものであり、可動部分を除いてはほぼ実施例１と同じ構成を取るものである。本実施例によれば演奏時間が実施例１に比べて短くなるという欠点はあるが、可動部分が少ないため実施例１より、より簡易に音楽演奏玩具を実現できる。

【0030】

図８は本発明の第３の実施例を示すものでの、本実施例は２０１で示される回転盤に音符を印刷したレコード盤タイプのものであり、こちらも実施例２と同様に実施例１よりもより簡易に音楽演奏玩具を実現できる。

【0031】

最後に第４の実施例を示す。実施例１－３における画像入力手段２は構成上カメラ等の撮像手段を含めたものであったが、別途音符等が印刷されたロール紙２００を巻き取る様子や実際の自動演奏ピアノのロール紙が演奏により巻き取られる様子をビデオ撮影したMP4フォーマット等の動画、あるいは電子的に作られた同様の動画を入力する手段であっても良い。このような構成にすれば、実施例１－３で示した可動部分無しで簡易に従来の自動演奏ピアノを模擬する音楽演奏玩具が実現できる。

【0032】

特に従来の自動演奏ピアノのロール紙が巻き取られる様子を撮影した動画を入力ソースとする場合、カメラを固定して撮影を行えば、ロール紙の移動に伴う移動方向と直行する方向へのロール紙のブレはほとんど無視できるため、実施例１－３においてロール紙２００上に記録したマーカー線２０１０、２０１１を不要とし、あらかじめ定められたタイミング線１０２０上の小孔の位置を不揮発性メモリ上のプログラムに記憶しておき、記憶された小孔の位置に基づいて画像処理手段４により小孔を検出することにより、同様の機能を実現できる。なお、あらかじめ不揮発性メモリ上のプログラムに記憶された小孔の位置は、画像出力部１０１でかつ情報入力部１０２でもあるタッチパネル上に位置調整用のインターフェースを表示させ、ユーザーに操作させることにより、調整可能としても良い。また本実施例の場合、小孔を検出することになるが、実施例１の図６で示したような画像処理手段４による隣接画素の差分による特徴点抽出方法を採用すれば、容易に実現可能である。

【0033】

また電子的に作られた同様の動画を入力とする場合には、そもそも楽譜の移動に伴う移動方向と直行する方向へのブレはないので、前記カメラを固定して自動演奏ピアノのロール紙が巻き取られる様子を撮影するのと同様にマーカー線２０１０、２０１１を不要とすることができる。

【産業上の利用可能性】

【0034】

画像入力手段により入力される動画から画像処理により画像上の音符の位置を検出し、検出した音符に基づいて対応する音符の音を鳴らすことにより、携帯端末機器のみならずパーソナルコンピューターによる装置、あるいは単体で動作する音楽演奏玩具などにも適用可能である。

【符号の説明】

【0035】

１ ＣＰＵ（中央処理ユニット）
２ 画像入力手段
３ 画像出力手段
４ 画像処理手段
５ 鍵盤状態記憶手段
６ サウンド出力手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】