特許 6756472 音響処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6756472

(24)【登録日】2020年8月31日

(45)【発行日】2020年9月16日

(54)【発明の名称】音響処理装置

(51)【国際特許分類】

   G10H 3/18 20060101AFI20200907BHJP

【ＦＩ】

   G10H3/18 Z

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2015-209044(P2015-209044)

(22)【出願日】2015年10月23日

(65)【公開番号】特開2017-83531(P2017-83531A)

(43)【公開日】2017年5月18日

【審査請求日】2018年10月16日

(73)【特許権者】

【識別番号】515290343

【氏名又は名称】医療法人社団皓有会

(74)【代理人】

【識別番号】100081972

【弁理士】

【氏名又は名称】吉田 豊

(74)【代理人】

【識別番号】100154380

【弁理士】

【氏名又は名称】西村 隆一

(72)【発明者】

【氏名】小山 和泉

【審査官】 須藤 竜也

(56)【参考文献】

【文献】 特表２００９−５１６２１３（ＪＰ，Ａ）

【文献】 特開２０１５−１２７７５９（ＪＰ，Ａ）

【文献】 特開２０１０−２１０７５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｈ ３／１８

(57)【特許請求の範囲】

【請求項1】

楽器の弦が振動によって発する楽音を処理する音響処理装置であって、
前記弦の長さ方向に直交し、互いに異なる第１撮影方向および第２撮影方向から振動中の前記弦を長さ方向にわたって撮影し、前記弦の長さ方向にわたる振動波形の画像データを生成する撮影手段と、
前記画像データに基づいて前記弦の振動の波長と振幅とを特定する処理を行う画像処理手段と、を備え、
前記撮影手段は、
光学像を結像するレンズ部と、
２次元に配列された複数の画素ごとに区画され、前記レンズ部によって結像された光学像の光量に応じた電荷を生成する光電変換部と、
前記光電変換部によって生成された電荷を前記画素の行ごとに順次読み出す読み出し部と、を有し、
前記画像処理手段は、前記第１撮影方向から撮影された前記画像データに基づいて前記弦の振動の第１振幅成分を特定し、前記第２撮影方向から撮影された前記画像データに基づいて前記弦の振動の第２振幅成分を特定し、前記第１振幅成分と前記第２振幅成分とに基づいて前記振幅を算出することを特徴とする音響処理装置。

【請求項2】

請求項１に記載の音響処理装置において、
前記レンズ部は、
前記第１撮影方向から見た振動中の前記弦の光学像を結像する第１レンズ部と、
前記第２撮影方向から見た振動中の前記弦の光学像を結像する第２レンズ部と、を有することを特徴とする音響処理装置。

【請求項3】

請求項１に記載の音響処理装置において、
前記レンズ部は、前記第１撮影方向から見た振動中の前記弦の光学像を結像し、
前記撮影手段は、
前記第２撮影方向から見た振動中の前記弦の光学像を前記第１撮影方向に反射させる反射部をさらに有し、
前記レンズ部は、前記反射部によって反射された反射像を介して、前記第２撮影方向から見た振動中の前記弦の光学像をさらに結像することを特徴とする音響処理装置。

【請求項4】

請求項１〜３のいずれか１項に記載の音響処理装置において、
前記第２撮影方向は、前記第１撮影方向に直交することを特徴とする音響処理装置。

【請求項5】

請求項１〜４のいずれか１項に記載の音響処理装置において、
前記画像処理手段によって特定された前記波長と前記振幅とに基づいて前記楽音の音高と音量とを算出する音高音量算出手段と、
前記楽音を再生するときの音色を設定する音色設定手段と、
前記音高音量算出手段によって算出された音高および音量と、前記音色設定手段によって設定された音色とを含む音響データを生成する音響データ生成手段と、をさらに備えることを特徴とする音響処理装置。

【請求項6】

請求項５に記載の音響処理装置において、
前記音高音量算出手段は、前記弦が前記楽音を発するときの前記波長と、基準音高と、前記弦が前記基準音高の基準音を発するときの基準波長とに基づいて、前記楽音の音高を算出することを特徴とする音響処理装置。

【請求項7】

請求項１〜６のいずれか１項に記載の音響処理装置において、
前記楽器に前記撮影手段を着脱可能に取り付けると共に、取り付け時の位置を規制するアタッチメントをさらに有することを特徴とする音響処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽器の楽音を処理する音響処理装置に関する。

【背景技術】

【0002】

従来、楽器の弦の振動を撮影して得た画像データを処理して、楽音の音高を検出する音響処理装置が知られている（例えば特許文献１参照）。この特許文献１記載の装置は、弦の長さ方向に直交する方向から、ＣＣＤ画像センサを使用して弦の振動を撮影し、得られた画像データを処理して弦の振動の波長を特定することで、弦が発する楽音の音高を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１９１１５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１記載の装置で使用するＣＣＤ画像センサは、光電変換部と、電荷転送用のＣＣＤ転送路とで構成されるため、画像センサ自体の小型軽量化が難しく、楽器に搭載する場合には演奏の妨げとなるおそれがある。

【課題を解決するための手段】

【0005】

本発明の一態様は、楽器の弦が振動によって発する楽音を処理する音響処理装置であって、弦の長さ方向に直交し、互いに異なる第１撮影方向および第２撮影方向から振動中の弦を長さ方向にわたって撮影し、弦の長さ方向にわたる振動波形の画像データを生成する撮影手段と、画像データに基づいて弦の振動の波長と振幅とを特定する画像処理手段とを備え、撮影手段は、光学像を結像するレンズ部と、２次元に配列された複数の画素ごとに区画され、レンズ部によって結像された光学像の光量に応じた電荷を生成する光電変換部と、光電変換部によって生成された電荷を画素の行ごとに順次読み出す読み出し部とを有する。画像処理手段は、第１撮影方向から撮影された画像データに基づいて弦の振動の第１振幅成分を特定し、第２撮影方向から撮影された画像データに基づいて弦の振動の第２振幅成分を特定し、第１振幅成分と第２振幅成分とに基づいて振幅を算出する。

【発明の効果】

【0006】

本発明によれば、電荷転送用のＣＣＤ転送路が不要なＣＭＯＳ画像センサを使用して、楽器の弦の振動を撮影するように構成したので、楽器に搭載する撮影部を小型軽量化することが可能で、楽器の演奏を妨げることなく楽音を処理することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る音響処理装置が適用される楽器の正面図

【図2】本発明の実施形態に係る音響処理装置の構成を概略的に示す図。

【図3】図１の側面図。

【図4】図２の撮影部に含まれるＣＭＯＳ画像センサの構成を示す図。

【図5】図１の楽器が発する楽音の音高を示す図。

【図6】図２の撮影部による、図１の弦の撮影画像の一例を示す図。

【図7】図２の撮影部による撮影方向を示す、最大振幅状態にある図１の弦を長さ方向に垂直な平面で切断したときの断面図。

【図8】図２の撮影部による異なる撮影方向を示す、図７と同様の図１の弦の断面図。

【図9】図２の撮影部の一例を示す断面図。

【図10】図９の変形例を示す図。

【図11】図２の画像処理部による画像処理を説明するための図。

【図12】図２の制御部で実行される処理のうち、較正モードの処理の一例を示すフローチャート。

【図13】図１の制御部で実行される処理のうち、記録モードの処理の一例を示すフローチャート。

【発明を実施するための形態】

【0008】

以下、図１〜図１２を参照して本発明の実施形態について説明する。本発明の実施形態に係る音響処理装置は、主として弦に垂直な方向の弦振動によって楽音を発するギターや三味線、ピアノなどの撥弦楽器や打弦楽器（楽器）に適用することができる。以下では、本実施形態に係る音響処理装置をアコースティックギターに適用した例について説明する。図１は、本実施形態に係る音響処理装置が適用されるアコースティックギター１（以下、単に楽器と称する場合もある）の正面図であり、図２は、本発明の実施形態に係る音響処理装置の構成を概略的に示す図、図３は、図１の側面図である。

【0009】

図１に示すように、楽器１には複数（例えば６本）の弦２が備えられ、弦２が演奏者によって弾かれて振動するとき、弦振動によって楽音を発する。楽器１は、ヘッド１Ａと、ボディ１Ｂと、ヘッド１Ａとボディ１Ｂとを接続するネック１Ｃとを有する。弦２は、長さ方向一端部がヘッド１Ａとネック１Ｃとの境界部に設けられたナット３で、長さ方向他端部がボディ１Ｂに設けられたサドル４で支承される。ナット３とサドル４との間のネック１Ｃの上面には、複数のフレット５が設けられる。ナット３、サドル４、フレット５は、弦２の長さ方向に対して垂直な方向に延在し、互いに平行に突設される。

【0010】

弦２は、演奏者によって弾かれるとき、ナット３とサドル４との間、または演奏者によって押さえられたフレット５とサドル４との間で振動して楽音を発する。弦２の張力やフレット５の間隔は、適宜な音高の楽音に対応した振動を生じるように、楽器製作者によって予め設定される。弦２の張力は、演奏者がペグ６によって微調整することができる。アコースティックギターの楽音には、弦２の振動（弦振動）によって空気が振動することで発せられる音（便宜上、第１音と称する）と、弦振動がボディ１Ｂの表面に伝播して振動することで発せられる音（便宜上、第２音と称する）と、ボディ１Ｂのサウンドホール７を通じて発せられる音（便宜上、第３音と称する）とが含まれる。

【0011】

図２に示すように、音響処理装置１０は、撮影部１１と、制御部１２とを備える。撮影部１１は、動画撮影可能なデジタルカメラなどにより構成される。本実施形態では、一対の撮影部１１（第１撮影部１１Ａ、第２撮影部１１Ｂ）を有する。以下、まず撮影部１１の構成について説明する。なお、第１撮影部１１Ａと第２撮影部１１Ｂの構成は互いに同一である。撮影部１１は、撮像素子としてＣＭＯＳ画像センサを有する。

【0012】

図４は、撮影部１１に含まれるＣＭＯＳ画像センサの構成を示す図である。図４に示すように、ＣＭＯＳ画像センサ１１０は、２次元に配列された複数の画素１１１と、読み出し回路１１２とを有する。各画素１１１には、光を受光して電荷に変換（光電変換）するフォトダイオード（光電変換部）１１１１と、フォトダイオード１１１１によって光電変換された電荷を電圧に変換して増幅する増幅器１１１２とが設けられる。

【0013】

読み出し回路（読み出し部）１１２は、各増幅器１１１２に接続された選択スイッチ１１２１と、同一列に配置された増幅器１１１２に選択スイッチ１１２１を介して接続された信号線１１２２とを備える。読み出し回路１１２は、同一列上に配置された隣接する選択スイッチ１１２１を順次オンさせることにより、増幅器１１１２によって増幅された電圧を２次元に配列された画素１１１のライン（行）ごとに順次読み出す。

【0014】

ＣＭＯＳ画像センサ１１０は、上述したようにＣＣＤ画像センサのようにＣＣＤ転送路を必要としないため、システム構成全体を１つの半導体チップ上に搭載することができる（システムオンチップ）。したがって、画像センサ自体の小型軽量化を容易に実現可能となる。また、本実施形態では、撮影部１１にＣＭＯＳ画像センサを用いるため、画像センサ自体を安価に構成することができる。

【0015】

ところで、ＣＭＯＳ画像センサを使用した撮影では、上述したように選択スイッチのオンオフにより、画像データがラインごとに時間差をもって順次読み出される。このため、高速で運動中の被写体の撮影画像が歪む。この現象をローリングシャッタと呼ぶ。

【0016】

図５は、楽器１が発する楽音の音高（周波数、単位：Ｈｚ）を示す図である。より具体的には、音名ごとの周波数を示している。オクターブの違いを表すために、ＭＩＤＩノート番号も示している。本実施形態では、楽器１の基準音として、例えばＭＩＤＩノート番号６９の、音名Ａの音を用いる。このとき、基準音の周波数は４４０Ｈｚとなる。すなわち、基準音を発するとき、弦２は１秒間に４４０回振動する。

【0017】

ところで、一般的なビデオカメラが１秒間に撮影する画像の枚数は例えば３０枚である（フレームレート：３０ｆｐｓ）。このため、１秒間に４４０回振動する弦２を一般的なビデオカメラを用いて撮影し、その画像から振動の状態を特定することは難しい。これに対し、１秒間に数百〜数万枚の画像を撮影可能なハイスピードカメラ（フレームレート：数百〜数万ｆｐｓ）を用いて１秒間に４４０回振動する弦２を撮影し、その画像から振動の状態を特定することは可能である。しかしながら、ハイスピードカメラは大型で重量が大きく、しかも高価である。

【0018】

一方、ＣＭＯＳ画像センサを使用した撮影では、ローリングシャッタの現象により、３０ｆｐｓなどの比較的低いフレームレートでも、高速で振動中の弦の波形を明瞭に視覚化することができる。例えば、ＣＭＯＳ画像センサを用いて演奏中のギターの弦を撮影すると、撮影画像は、発している楽音に対応した波形となる。すなわち、演奏中の弦の波形は、楽音の音高が低いほど波長が長く、高いほど波長が短くなり、音量の大小によって振幅の大小も変化する。

【0019】

なお、図５に示すように、楽器１が発する楽音の周波数は、いずれも３０（フレームレートに相当）の公倍数ではないので、カメラの撮影周期と重なることがない。このため、カメラの撮影周期と振幅ゼロのタイミングとが仮に重なったとしてもその重なりは連続することはない。よって、本実施形態の音響処理装置１０によれば、撮影部１１で弦２の振動波形を確実に撮影することができる。

【0020】

図６は、本実施形態に係る音響処理装置１０に含まれる撮影部１１による、弦２の撮影画像の一例を示す図である。この図は、振動中の弦２を、弦２の長さ方向に垂直な方向から、ＣＭＯＳ画像センサ１１０を使用した撮影部１１によって撮影したときの波形に相当する。図中、振動中の弦２を実線で、参考までに非振動時の弦２を破線でそれぞれ示す。楽器１の演奏中における弦２の振動は、発する楽音の音高ＰＩＴに対応した波長λおよび音量ＶＯＬに対応した振幅Ａの正弦波として撮影される。

【0021】

図７は、撮影部１１による撮影方向を示す、最大振幅状態にある弦２を、弦２の長さ方向（ｚ軸）に垂直な平面ｘｙで切断したときの断面図である。なお、図には非振動時の弦２を仮想線（二点鎖線）で示す。弦２の振動方向は、演奏者が弦２を弾く方向に応じて変化する。図７に示すように、非振動時の弦２の座標をＰ_０（０，０）、振動中のある時点での弦２の座標をＰ_１（ｘ，ｙ）とすると、弦２の振幅Ａは、ｘ軸方向（第１撮影方向）から見たときの見かけの振幅Ａ_１（第１振幅成分）と、ｙ軸方向（第２撮影方向）から見たときの見かけの振幅Ａ_２（第２振幅成分）とを合成して算出することができる。具体的には、図７に示すようにｘ＝見かけの振幅Ａ_２、ｙ＝見かけの振幅Ａ_１であるから、振幅Ａは、見かけの振幅Ａ_１の二乗と見かけの振幅Ａ_２の二乗との和の平方根として算出することができる。

【0022】

図８は、撮影部１１による異なる撮影方向を示す、図７と同様の弦２の断面図である。図８に示すように、振幅Ａは、ｘ軸方向（第１撮影方向）から見たときの見かけの振幅Ａ_１と、ｘ軸とのなす角がα（０＜α＜π／２）の方向（第２撮影方向）から見たときの見かけの振幅Ａ_２とに基づいて算出することもできる。具体的には、図８に示すように点Ｐ_１を通り第２撮影方向に平行な直線と、点Ｐ_０を通り第２撮影方向に垂直な直線との交点の座標は、（Ａ_２ｓｉｎα，−Ａ_２ｃｏｓα）で表される。よって、点Ｐ_１を通り第２撮影方向に平行な直線の式は、ｙ−（−Ａ_２ｃｏｓα）＝ｔａｎα（ｘ−Ａ_２ｓｉｎα）で表される。ｙ＝見かけの振幅Ａ_１であるから、ｘ＝（Ａ_１ｃｏｓα＋Ａ_２）／ｓｉｎαとなる。従って、振幅Ａは、見かけの振幅Ａ_１の二乗と{（Ａ_１ｃｏｓα＋Ａ_２）／ｓｉｎα}の二乗との和の平方根として算出することができる。

【0023】

図２に示すように、本実施形態に係る音響処理装置１０の制御部１２は、機能的構成として、画像処理部１２１と、音高／音量算出部１２２と、音色設定部１２３と、音響データ生成部１２４とを有する。制御部１２は、パーソナルコンピュータや携帯電話端末等により構成することができる。

【0024】

図２において、撮影部１１と制御部１２との間は、有線または無線で接続されて、撮影部１１で撮影された画像データを含む信号を制御部１２に送信することができる。撮影部１１にデータ格納部を設けて画像データを格納し、メモリカードなどを介して制御部１２に入力するようにしてもよい。

【0025】

制御部１２は、有線または無線で音響再生装置１３に接続可能に構成され、音響処理装置１０で処理された音響データを含む信号を音響再生装置１３に送信することができる。制御部１２にデータ格納部を設けて音響データを格納し、メモリカードなどを介して音響再生装置１３に入力するようにしてもよい。

【0026】

音響再生装置１３としては、例えば、ＭＩＤＩ音源モジュールなどの音源モジュールと、スピーカやヘッドホンなどの音響出力部とを組み合わせて使用し、音響処理装置１０で処理された音響データを音響として再生することができる。尚、音響再生装置１３に代えて、楽譜作成ソフトウェアをインストールしたコンピュータなどを使用すれば、音響処理装置１０で処理された音響データに基づく記譜データを作成することもできる。

【0027】

図９に、撮影部１１の一例を示す。撮影部１１は、ＣＭＯＳ画像センサ１１０を使用したフレームレート３０ｆｐｓの小型カメラで、レンズ部１１３を備える。なお、第１撮影部１１Ａのレンズ部を第１レンズ部１１３Ａと、第２撮影部１１Ｂのレンズ部を第２レンズ部１１３Ｂとの構成は互いに同一である。第１、第２撮影部１１Ａ，１１Ｂは、固定具１１４によってボディ１Ｂの内部に固定される。

【0028】

第１レンズ部１１３Ａと第２レンズ部１１３Ｂとは、第１撮影部１１Ａの撮影方向（第１撮影方向）と第２撮影部１１Ｂの撮影方向（第２撮影方向）とが弦２の長さ方向に直交し、かつ、第１撮影方向と第２撮影方向とが互いにほぼ直交するように配置される。第１レンズ部１１３Ａは、第１撮影方向から見た弦２の光学像を画素１１１上に結像する。第２レンズ部１１３Ｂは、第２撮影方向から見た弦２の光学像を画素１１１上に結像する。

【0029】

図１０は、図９の変形例を示す図である。図１０に示すように、撮影部１１は、第２撮影部１１Ｂに代えて、鏡などの反射部１１５を設け、１つの撮影部１１によって異なる２つの撮影方向から弦２を撮影可能なように構成してもよい。具体的には、反射部１１５は第２撮影方向から見た弦２の光学像をレンズ部１１３に反射させるように配置され、サウンドホール７を横断するアタッチメント１１６によって楽器１に着脱可能に取り付けられる。アタッチメント１１６は、サウンドホール７の端部を挟持可能なクリップ形状を有する。

【0030】

レンズ部１１３は、第１撮影方向から直接見た弦２の光学像と、反射部１１５によって反射された、第２撮影方向から見た弦２の反射像とを、ＣＭＯＳ画像センサ１１０の画素１１１上に結像する。

【0031】

図１１は、画像処理部１２１による画像処理を説明するための図である。画像処理部１２１は、撮影部１１で撮影された画像データに基づいて、弦２の振動波形の波長λと振幅Ａとを特定する。図１１（ａ）は、ある時刻に撮影部１１によって第１撮影方向から撮影された画像データの一例、図１１（ｂ）は、同じ時刻に撮影部１１によって第２撮影方向から撮影された画像データの一例である。画像処理部１２１は、画像データを画像処理し、弦２の振動波形の波長λと振幅Ａとを画素単位で特定する。

【0032】

図１１（ａ）に示すように、見かけの振幅Ａ_１は６．５、波長λは１４．５と特定される。図１１（ｂ）に示すように、見かけの振幅Ａ_２は３．５、波長λは１４．５と特定される。波長λは、ｚ軸に直交するいずれの方向から撮影しても異ならない。

【0033】

上述したように、第１撮影方向と第２撮影方向とが直交する場合、振幅Ａは、見かけの振幅Ａ_１の二乗と、見かけの振幅Ａ_２の二乗との和の平方根として算出することができる。第１撮影方向と第２撮影方向とが直交しない場合、振幅Ａは、第１撮影方向と第２撮影方向とのなす角をαとして、見かけの振幅Ａ_１の二乗と{（Ａ_１ｃｏｓα＋Ａ_２）／ｓｉｎα}の二乗との和の平方根として算出することができる。

【0034】

なお、波長λの特定は、画像データに基づくパターンマッチングにより行ってもよい。すなわち、画像処理部１２１は、予め定められた弦２の振動波形を表す画像パターンと、撮影部１１で撮影された画像データとを比較し、画像データ内に弦２の振動波形を認識するように構成してもよい。

【0035】

図１２は、制御部１２で実行される処理のうち、較正モードの処理の一例を示すフローチャートである。この処理は、較正モードの実行中、所定時間毎に繰り返し実行される。

【0036】

音響処理装置１０は、演奏中の楽音の記録を行う前に、較正モードを実行する必要がある。弦２が音高（基準音高）ＰＩＴ_０の基準音を発しているときに、制御部１２で較正モードを実行する。基準音高ＰＩＴ_０はチューナなどを使用して確認してもよい。例えば、基準音として音名Ａ（ＭＩＤＩノート番号６９）の音を発する場合、基準音高ＰＩＴ_０は４４０Ｈｚなどとなる。

【0037】

図１２フローチャートでは、まず、ステップＳ１で、撮影部１１で撮影された基準音発生時の弦２の画像データを読み込む。次いで、ステップＳ２で、画像処理部１２１での処理により、読み込まれた画像データに基づいて弦２の振動波形の波長（基準波長）λ_０を画素単位で特定する。

【0038】

次いで、ステップＳ３で、音高／音量算出部１２２での処理により、画像処理部１２１で特定された画素単位の波長λ_０を、基準音高ＰＩＴ_０（例えば、４４０Ｈｚ）として較正する。基準音高ＰＩＴ_０は、ユーザインタフェースを介してユーザによって入力可能なようにしてもよい。

【0039】

図１３は、制御部１２で実行される処理のうち、記録モードの処理の一例を示すフローチャートである。この処理は、記録モードの実行中、所定時間毎に繰り返し実行される。

【0040】

図１３フローチャートでは、まず、ステップＳ１０で、撮影部１１で撮影された弦２の画像データを読み込む。次いで、ステップＳ１１で、画像処理部１２１での処理により、読み込まれた画像データに基づいて弦２の振動波形の波長λと、振幅Ａとを画素単位で特定する。振幅Ａは、上述した方法により、見かけの振幅Ａ_１，Ａ_２に基づいて算出する。

【0041】

次いで、ステップＳ１２で、音高／音量算出部１２２での処理により、画像処理部１２１で特定された画素単位の波長λおよび振幅Ａに基づいて、音高ＰＩＴと音量ＶＯＬとを算出する。音高ＰＩＴは、基準音高ＰＩＴ_０×（基準波長λ_０／波長λ）として算出する。音量ＶＯＬは、振幅Ａに適宜な係数Ｆ（例えば、１）を積算して算出する。なお、音響再生装置１３で再生するときの音量は音響再生装置１３で調整される。

【0042】

次いで、ステップＳ１３で、音色設定部１２３での処理により、音響再生装置１３で再生するときの音色ＴＯＮを設定する。音色ＴＯＮは、ユーザインタフェースを介してユーザによって入力可能なようにしてもよい。音色ＴＯＮは、音響再生装置１３として使用する音源モジュールに対応した値、例えば、ＧＭ（General MIDI）規格の音色番号として設定する。

【0043】

次いで、ステップＳ１４で、音響データ生成部１２４での処理により、音高／音量算出部１２２で算出された音高ＰＩＴと音量ＶＯＬと、音色設定部１２３で設定された音色ＴＯＮとを含む音響データを生成する。

【0044】

以上のように音響処理装置１０で処理された音響データを含む信号を、音響処理装置１０に有線または無線で接続された音響再生装置１３に送信する場合は、楽器１がアコースティック楽器であっても電子楽器として利用することができる。例えば、音響再生装置１３として音源モジュール、アンプ、スピーカを使用すれば、楽器１をエレキギターのように大音量で演奏可能なエレクトリック・アコースティックギターとして利用することができる。楽器１にミュートなどを装着して演奏音を消音し、音響再生装置１３としてヘッドホンを使用すれば、楽器１をサイレント楽器として利用することができる。

【0045】

音響再生装置１３に代えて、楽譜作成ソフトウェアをインストールしたコンピュータなどを使用すれば、音響処理装置１０で処理された音響データに基づく記譜データを作成することもできる。音響処理装置１０は、制御部１２にデータ格納部を設けて音響データを格納するようにして、単なるレコーダとして利用することもできる。

【0046】

いずれの場合も、音響処理装置１０は、第１音に対応する弦２の振動のみに基づいて音響データを生成するため、弦振動に直接的な影響を与えるものでなければ、いかなるノイズにも影響されることがない。よって、屋外などの騒音環境下であっても、弦振動による楽音のみを音響データとして処理することができる。

【0047】

本実施形態によれば以下のような作用効果を奏することができる。
（１）本実施形態に係る音響処理装置１０は、楽器１の弦２が振動によって発する楽音を処理する装置であり、振動中の弦２を撮影し、弦２の振動の画像データを生成する撮影部１１と、画像データに基づいて弦２の振動の波長λと振幅Ａとを特定する処理を行う画像処理部１２１とを備える（図２）。撮影部１１は、光学像を結像するレンズ部１１３と、２次元に配列された複数の画素１１１ごとに区画され、レンズ部１１３によって結像された光学像の光量に応じた電荷を生成するフォトダイオード１１１１と、フォトダイオード１１１１によって生成された電荷を画素の行（ライン）ごとに順次読み出す読み出し回路１１２とを有する（図４）。

【0048】

すなわち、撮影部１１は、電荷転送用のＣＣＤ転送路が不要で小型軽量化が可能なＣＭＯＳ画像センサを使用したカメラなどにより構成できるため、小型軽量化が可能である。よって、弦２の振動波形を撮影可能な位置である楽器１上に搭載したとしても、楽器１の演奏を妨げることがない。また、ＣＭＯＳ画像センサに特有のローリングシャッタを利用するため、３０ｆｐｓという低いフレームレートで波形の撮影が可能となり、装置全体を低コストにすることができる。

【0049】

（２）レンズ部１１３は、弦２の長さ方向（ｚ軸方向）に直交する第１撮影方向（ｘ軸方向）から見た振動中の弦２の光学像を結像する第１レンズ部１１３Ａと、第１撮影方向と異なる、弦２の長さ方向に直交する第２撮影方向から見た振動中の弦２の光学像を結像する第２レンズ部１１３Ｂとを有する（図９）。したがって、あらゆる振動方向の波形を撮影することが可能となり、演奏者が弦２を弾く方向に応じて弦２の振動方向が変化する場合であっても、確実に波形を撮影することができる。

【0050】

（３）レンズ部１１３は、弦２の長さ方向（ｚ軸方向）に直交する第１撮影方向（ｘ軸方向）から見た振動中の弦２の光学像を結像し、撮影部１１は、第１撮影方向とは異なる、弦２の長さ方向に直交する第２撮影方向から見た振動中の弦２の光学像を第１撮影方向に反射させる反射部（鏡など）１１５をさらに有する。レンズ部１１３は、反射部１１５によって反射された反射像を介して、第２撮影方向から見た振動中の弦２の光学像をさらに結像する（図１０）。したがって、１つのレンズ部１１３によって異なる２つの方向から弦２を撮影できるため、より簡易な構成であらゆる振動方向の波形を撮影することができる。

【0051】

（４）画像処理部１２１は、第１撮影方向から撮影された画像データに基づいて弦２の振動の見かけの振幅Ａ_１を特定し、第２撮影方向から撮影された画像データに基づいて弦２の振動の見かけの振幅Ａ_２を特定し、見かけの振幅Ａ_１，Ａ_２に基づいて振幅Ａを算出する（図７，８，１１）。したがって、演奏者が弦２を弾く方向に応じて弦２の振動方向が変化する場合であっても、正確な振幅Ａを算出することができる。

【0052】

（５）第２撮影方向（ｙ軸方向）は、第１撮影方向（ｘ軸方向）に直交する（図７）。したがって、直交２方向から見た見かけの振幅の二乗の和の平方根として、より簡易な計算で正確な振幅Ａを算出することができる。

【0053】

（６）制御部１２は、画像処理部１２１によって特定された波長λと振幅Ａとに基づいて楽音の音高ＰＩＴと音量ＶＯＬとを算出する音高／音量算出部１２２と、楽音を再生するときの音色ＴＯＮを設定する音色設定部１２３と、音高／音量算出部１２２によって算出された音高ＰＩＴおよび音量ＶＯＬと、音色設定部１２３によって設定された音色ＴＯＮとを含む音響データを生成する音響データ生成部１２４とをさらに備える（図２）。したがって、音響処理装置１０を、音源モジュールやスピーカなどを組み合わせた音響再生装置１３に接続すれば、電子楽器として利用することができる。この場合、楽器１はアコースティック楽器でもよい。

【0054】

音響再生装置１３として、スピーカに代えてヘッドホンを使用し、楽器１の楽音をミュートなどで消音すれば、楽器１をサイレント楽器として利用することもできる。音響再生装置１３に代えて、楽譜作成ソフトウェアをインストールしたコンピュータなどを使用すれば、音響処理装置１０で処理された音響データに基づく記譜データを作成することもできる。音響処理装置１０は、制御部１２にデータ格納部を設けて音響データを格納するようにして、単なるレコーダとして利用してもよい。音響データは、メモリカードなどを介して音響再生装置１３に入力するようにしてもよい。

【0055】

いずれの場合も、音響処理装置１０は、第１音に対応する弦２の振動のみに基づいて音響データを生成するため、弦振動に直接的な影響を与えるものでなければ、いかなるノイズにも影響されない。よって、屋外などの騒音環境下であっても、弦振動による楽音のみを音響データとして処理することができる。

【0056】

音響処理装置１０を適用して楽器１を上述したように電子楽器などとして利用する場合、第２音、第３音を生じるボディ１Ｂ、サウンドホール７は不要となるため、楽器１はボディ１Ｂを有しなくてもよい。あるいは、ボディ１Ｂをプラスチックなどの軽量素材としたり、所望の形状としたりしてもよい。この場合、楽器１のネック１Ｃは、弦２の張力に耐えられものであれば素材、形状を問わない。また、弦２は、適宜な周波数の振動を生じるものであれば素材を問わないため、例えばナイロンなどの軽量素材であってもよい。このような楽器１に本実施形態に係る音響処理装置１０を適用すれば、子どもやお年寄りでも軽い力で容易に演奏可能な電子楽器などとして利用することができる。

【0057】

（７）音高／音量算出部１２２は、弦２が楽音を発するときの波長λと、基準音高ＰＩＴ_０と、弦２が基準音高ＰＩＴ_０の基準音を発するときの基準波長λ_０とに基づいて、楽音の音高を算出する。したがって、実際に演奏された楽音の音高ＰＩＴを正確に再現することができる。逆に、基準音高ＰＩＴ_０を所望の音高にオフセットさせて使用することもできるため、例えば、手持ちの楽器と異なる調の楽器用に記載された譜面であっても、そのまま演奏することが可能となる。また、音域の異なる楽器として演奏することも可能となる。

【0058】

（８）楽器１に撮影部１１を着脱可能に取り付けると共に、取り付け時の位置を規制するアタッチメント１１６をさらに有するため、楽器１に加工することなく、撮影部１１を取り付けることができる。

【0059】

なお、上記実施形態（図９，１０）では、撮影手段として１台のデジタルカメラなどにより構成される撮影部１１を示したが、これは撮影手段を楽器１上に搭載するために小型軽量化する場合の一例に過ぎない。すなわち、撮影手段は、光学像を結像するレンズ部１１３と、２次元に配列された複数の画素１１１ごとに区画され、レンズ部１１３によって結像された光学像の光量に応じた電荷を生成する光電変換部１１１１と、光電変換部１１１１によって生成された電荷を画素１１１の行ごとに順次読み出す読み出し回路（読み出し部）１１２とを個別に有するものであってもよい。

【0060】

例えば、撮影手段を、レンズ部１１３と光電変換部１１１１とを備える複数の撮影部１１と、読み出し回路（読み出し部）１１２とで構成し、読み出し回路（読み出し部）１１２が、各撮影部１１の画像データをラインごとに時間差をもって順次読み出すようにしてもよい。すなわち、撮影手段として、複数のデジタルカメラなどの撮影部１１を設け、それとは別に、読み出し回路１１２を設けるようにしてもよい。

【0061】

上記実施形態（図９）では、第１撮影部１１Ａが第１レンズ部１１３Ａを有し、第２撮影部１１Ｂが第２レンズ部１１３Ｂを有するようにしたが、１つの撮影部１１が第１レンズ部１１３Ａと第２レンズ部１１３Ｂとを有するようにしてもよい。

【0062】

上記実施形態（図９，１０）では、撮影部１１を楽器１に固定し、反射部１１５をアタッチメント１１６に固定するようにしたが、撮影部１１をアタッチメント１１６に固定し、反射部１１５を楽器１に固定するようにしてもよい。また、撮影部１１と反射部１１５とを共にアタッチメント１１６に固定するようにしてもよい。

【0063】

上記実施形態では、撮影部１１が振動中の弦２を撮影し、弦２の振動の画像データを生成するようにしたが、撮影手段の構成はこれに限定されない。上記実施形態では、画像処理部１２１が画像データに基づいて弦２の振動の波長λと振幅Ａとを特定する処理を行うようにしたが、画像処理手段の構成はこれに限定されない。上記実施形態では、音高／音量算出部１２２が波長λと振幅Ａとに基づいて楽音の音高ＰＩＴと音量ＶＯＬとを算出するようにしたが、音高音量算出手段の構成はこれに限定されない。上記実施形態では、音色設定部１２３が楽音を再生するときの音色ＴＯＮを設定するようにしたが、音色設定手段の構成はこれに限定されない。上記実施形態では、音響データ生成部１２４が音高ＰＩＴおよび音量ＶＯＬと、音色ＴＯＮとを含む音響データを生成するようにしたが、音響データ生成手段の構成はこれに限定されない。

【0064】

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態および変形例の構成要素には、発明の同一性を維持しつつ置換可能かつ置換自明なものが含まれる。すなわち、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。また、上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能である。

【符号の説明】

【0065】

１ 楽器、２ 弦、１０ 音響処理装置、１１ 撮影部、１１１ 画素、１１１１ 光電変換部、１１３ レンズ部、１１２ 読み出し回路、１２１ 画像処理部、λ 波長、Ａ 振幅

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】