特許 7166481 音データ生成プログラム、音データ生成装置およびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-10-27

(45)【発行日】2022-11-07

(54)【発明の名称】音データ生成プログラム、音データ生成装置およびその方法

(51)【国際特許分類】

   G10H 5/00 20060101AFI20221028BHJP

【ＦＩ】

G10H5/00

【請求項の数】 15

(21)【出願番号】P 2022115373

(22)【出願日】2022-07-20

【審査請求日】2022-07-29

【早期審査対象出願】

(73)【特許権者】

【識別番号】500371868

【氏名又は名称】株式会社ディンプス

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷 栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下 正

(72)【発明者】

【氏名】大島 弘康

(72)【発明者】

【氏名】中野 良祐

(72)【発明者】

【氏名】小島 研二

【審査官】岩田 淳

(56)【参考文献】

【文献】特開２０１７－２１９６９９（ＪＰ，Ａ）

【文献】特開平０７－０７３３２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００－ ７／１２

Ｇ１０Ｇ １／００－ ７／０２

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータを、以下の手段として機能させる音データ生成プログラム。
入力画像データを複数の矩形領域に分けた各単位領域の色彩属性値データを演算する色彩属性値データ演算手段、
前記各単位領域の色彩属性値データに基づいて、前記入力画像データの特徴画像波データを演算し、得られた特徴画像波データをシンセサイザー用の１サイクル波形データとして出力する１サイクル波形データ生成手段、
を特徴とする音データ生成プログラム。

【請求項2】

請求項１の音データプログラムにおいて、
前記１サイクル波形データ生成手段は、前記各単位領域の色彩属性値データの差分に基づいてエッジ抽出を行い、抽出されたエッジで定義される連続波形を前記特徴画像波データとすること、
を特徴とする音データ生成プログラム。

【請求項3】

請求項１の音データ生成プログラムにおいて、
前記１サイクル波形データ生成手段は、前記各単位領域の色情報値分布ヒストグラムを生成し、このヒストグラムにおける稜線データを前記特徴画像波データとすること、
を特徴とする音データ生成プログラム。

【請求項4】

請求項２または請求項３の音データ生成プログラムにおいて、
前記色彩属性値データは各単位領域のＲＧＢ値、HSVまたはHSL値であること、
を特徴とする音データ生成プログラム。

【請求項5】

請求項１の音データ生成プログラムにおいて、
前記１サイクル波形データ生成手段は、前記各単位領域の色彩属性値データに基づいて、前記入力画像データにおける輝度または色の空間周波数を求めて、その分布形状波形を、前記１サイクル波形データとすること、
を特徴とする音データ生成プログラム。

【請求項6】

請求項１、２、３または５の音データ生成プログラムにおいて、
前記入力画像データは、動画データの１フレームデータ又は静止画データであり、
前記１サイクル波形データ生成手段は、前記各単位領域の全ての色彩属性値データ又は一部の単位領域の色彩属性値データを用いて、前記入力画像データの特徴画像波データを演算すること、
を特徴とする音データ生成プログラム。

【請求項7】

請求項１、２、３または５の音データ生成プログラムにおいて、
前記入力画像データは、動画データの１フレームデータ又は静止画データであり、
前記１サイクル波形データ生成手段は、前記入力画像データを2以上の領域に分割して、分割した領域の前記特徴画像波データを演算することにより、複数の１サイクル波形データを生成すること、
を特徴とする音データ生成プログラム。

【請求項8】

請求項１、２、３または５の音データ生成プログラムにおいて、
前記入力画像データは１の動画データであり、
前記１サイクル波形データ生成手段は、前記動画データの1フレームの入力画像データが与えられると、前記１サイクル波形データを生成する処理を繰り返し実行すること、
を特徴とする音データ生成プログラム。

【請求項9】

請求項１の音データ生成プログラムにおいて、
前記コンピュータは、さらに以下の手段としても機能させること、
前記１サイクル波形データを所定の周波数で繰り返すことにより、音データを生成する音データ生成手段、
を特徴とする音データ生成プログラム。

【請求項10】

請求項９の音データ生成プログラムにおいて、
前記色彩属性値データ演算手段には、順次、新たな入力画像データが与えられ、
前記音データ生成手段は、生成した音データを順次、出力すること、
を特徴とする音データ生成プログラム。

【請求項11】

請求項１０の音データ生成プログラムにおいて、
前記音データ生成手段は、音生成のための１サイクル波形データを別の１サイクル波形データに切り替える際に、切り替え前の入力画像データと、切り替え後の入力画像データの類似度が、あらかじめ定めた値よりも小さい場合には、前記切り替え前の音データと、前記切り替え後の音データがスムーズにつながるスムージング処理をし、前記類似度が、前記あらかじめ定めた値よりも大きい場合には、前記切り替え前の音データと、前記切り替え後の音データがスムーズにつながるスムージング処理を行わないこと、
を特徴とする音データ生成プログラム。

【請求項12】

請求項９～１１のいずれかの音データ生成プログラムにおいて、
前記音データ生成手段は、生成した１サイクル波形データを前記領域の色彩属性値のうち、１サイクル波形データを生成した属性値または、それとは異なる属性値に基づいて変調する変調手段を有すること、
を特徴とする音データ生成プログラム。

【請求項13】

請求項９～１１のいずれかの音データ生成プログラムにおいて、
前記音データ生成手段は、前記音データに音響効果を与える音響効果付与処理手段を有しており、前記音響効果付与処理手段は、前記音データに音響効果を与える音響効果パラメータを前記１サイクル波形データを生成した属性値または、それとは異なる属性値に基づいて変更すること、
を特徴とする音データ生成プログラム。

【請求項14】

入力画像データが与えられると、複数の矩形領域に分けた各単位領域の色彩属性値データを演算し、
前記各単位領域の色彩属性値データに基づいて、前記入力画像データの特徴画像波データを演算し、
得られた特徴画像波データをシンセサイザー用の１サイクル波形データとして出力すること、
を特徴とする音データ生成方法。

【請求項15】

入力画像データを複数の矩形領域に分けた各単位領域の色彩属性値データを演算する色彩属性値データ演算手段、
前記各単位領域の色彩属性値データに基づいて、前記入力画像データの特徴画像波データを演算し、得られた特徴画像波データをシンセサイザー用の１サイクル波形データとして出力する１サイクル波形データ生成手段、
を備えた音データ生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、音データ生成プログラムに関し、特に、１サイクル波形データの生成に関する。

【背景技術】

【0002】

従来、アナログシンセサイザーの音声合成プロセスをデジタル信号処理で再現するバーチャルアナログシンセサイザー（VAシンセサイザー）が知られている。VAシンセサイザーは、PCM音源を用いたデジタルシンセサイザーと比べると、音色を自由に変更できるというメリットがある。

【0003】

また、バーチャルアナログ音源とPCM音源を組み合わせたシンセサイザーも知られており、これらはアナログシンセサイザーの基本波形である鋸歯状波・矩形波・三角波などの波形以外の複雑な波形を合成することができる。

【0004】

特許文献１には、アナログシンセサイザが発する音をディジタルシンセサイザによって模擬生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平11-133966号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示された波形発生器は、基本波形（シンセサイザー用の１サイクル波形データ）を一部波形変化させるものに過ぎなかった。そのため、音色変化の自由度が低い。

【0007】

この発明は、上記の問題点を解決して、音色変化の自由度の高い、シンセサイザー用の１サイクル波形データを生成することができる音データ生成プログラムを提供することを目的とする。

【0008】

また、音色変化の自由度の高い音データを生成することのできる音データ生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

1)本発明にかかる音データ生成プログラムは、コンピュータを、以下の手段として機能させる音データ生成プログラムである。1)入力画像データを複数の矩形領域に分けた各単位領域の色彩属性値データを演算する色彩属性値データ演算手段、2)前記各単位領域の色彩属性値データに基づいて、前記入力画像データの特徴画像波データを演算し、得られた特徴画像波データをシンセサイザー用の１サイクル波形データとして出力する１サイクル波形データ生成手段。

【0010】

このように、前記単位領域の色彩属性値データを求めて、前記入力画像データの特徴画像波データを演算し、この特徴画像波データをシンセサイザー用の１サイクル波形データとして出力することにより、入力画像データからシンセサイザー用の１サイクル波形データを生成することができる。

【0011】

2)本発明にかかる音データプログラムにおいては、前記１サイクル波形データ生成手段は、前記各単位領域の色彩属性値データの差分に基づいてエッジ抽出を行い、抽出されたエッジで定義される連続波形を前記特徴画像波データとする。したがって、前記入力画像データのエッジ形状に基づいて、シンセサイザー用の１サイクル波形データを生成することができる。

【0012】

3)本発明にかかる音データプログラムにおいては、前記１サイクル波形データ生成手段は、前記各単位領域の色情報値分布ヒストグラムを生成し、このヒストグラムにおける稜線データを前記特徴画像波データとする。したがって、位置情報を加味しない色彩属性値データから、前記シンセサイザー用の１サイクル波形データを生成することができる。

【0013】

4)本発明にかかる音データプログラムにおいては、前記色彩属性値データは各単位領域のRGB値、HSV値またはHSL値である。したがって、各単位領域のRGB値、HSV値またはHSL値からシンセサイザー用の１サイクル波形データを生成することができる。

【0014】

5)本発明にかかる音データプログラムにおいては、前記１サイクル波形データ生成手段は、前記各単位領域の色彩属性値データに基づいて、前記入力画像データにおける輝度または色の空間周波数を求めて、その分布形状波形を、前記１サイクル波形データとする。したがって、前記輝度または色の空間周波数からシンセサイザー用の１サイクル波形データを生成することができる。

【0015】

6)本発明にかかる音データプログラムにおいては、前記入力画像データは、動画データの１フレームデータ又は静止画データであり、前記１サイクル波形データ生成手段は、前記各単位領域の全ての色彩属性値データ又は一部の単位領域の色彩属性値データを用いて、前記入力画像データの特徴画像波データを演算する。したがって、前記１フレームデータ又は前記静止画データからシンセサイザー用の１サイクル波形データを生成することができる。

【0016】

7)本発明にかかる音データプログラムにおいては、前記入力画像データは、動画データの１フレームデータ又は静止画データであり、前記１サイクル波形データ生成手段は、前記入力画像データを2以上の領域に分割して、分割した領域の前記特徴画像波データを演算することにより、複数の１サイクル波形データを生成する。したがって、１の１フレームデータ又は静止画データから、複数の１サイクル波形データを生成することができる。

【0017】

8)本発明にかかる音データプログラムにおいては、前記入力画像データは１の動画データであり、前記１サイクル波形データ生成手段は、前記動画データの1フレームの入力画像データが与えられると、前記１サイクル波形データを繰り返し生成する処理を実行する。したがって、１の動画データから、複数の１サイクル波形データを生成することができる。

【0018】

9)本発明にかかる音データプログラムにおいては、前記コンピュータは、さらに、前記１サイクル波形データを所定の周波数で繰り返すことにより、音データを生成する音データ生成手段としても機能させる。したがって、生成した１サイクル波形データから音を生成することができる。

【0019】

10)本発明にかかる音データプログラムにおいては、前記色彩属性値データ演算手段には、順次、新たな入力画像データが与えられ、前記音データ生成手段は、生成した音データを順次、出力する。したがって、生成される１サイクル波形データが順次変更され、これにより、新しい音データを順次、生成することができる。

【0020】

11)本発明にかかる音データプログラムにおいては、前記音データ生成手段は、音生成のための１サイクル波形データを別の１サイクル波形データに切り替える際に、切り替え前の入力画像データと、切り替え後の入力画像データの類似度が、あらかじめ定めた値よりも小さい場合には、前記切り替え前の音データと、前記切り替え後の音データがスムーズにつながるスムージング処理をし、前記類似度が、前記あらかじめ定めた値よりも大きい場合には、前記切り替え前の音データと、前記切り替え後の音データがスムーズにつながるスムージング処理を行わない。したがって、切り替え時の雑音を低減させることができる。

【0021】

12)本発明にかかる音データプログラムにおいては、前記音データ生成手段は、生成した１サイクル波形データを前記領域の色彩属性値のうち、１サイクル波形データを生成した属性値または、それとは異なる属性値に基づいて変調する変調手段を有する。したがって、前記１サイクル波形データ1を変調できる。

【0022】

13)本発明にかかる音データプログラムにおいては、前記音データ生成手段は、前記音データに音響効果を与える音響効果付与処理手段を有しており、前記音響効果付与処理手段は、前記音響効果パラメータを前記１サイクル波形データを生成した属性値または、それとは異なる属性値に基づいて変更する。したがって、前記１サイクル波形データに基づいて生成した音データを、前記入力画像データに基づいて変更することができる。

【0023】

14)本発明にかかる音データ生成方法においては、入力画像データが与えられると、複数の矩形領域に分けた各単位領域の色彩属性値データを演算し、前記各単位領域の色彩属性値データに基づいて、前記入力画像データの特徴画像波データを演算し、得られた特徴画像波データをシンセサイザー用の１サイクル波形データとして出力する。したがって、入力画像データからシンセサイザー用の１サイクル波形データを生成することができる。

【0024】

15)本発明にかかる音データ生成装置においては、入力画像データを複数の矩形領域に分けた各単位領域の色彩属性値データを演算する色彩属性値データ演算手段、前記各単位領域の色彩属性値データに基づいて、前記入力画像データの特徴画像波データを演算し、得られた特徴画像波データをシンセサイザー用の１サイクル波形データとして出力する１サイクル波形データ生成手段、を備えている。したがって、入力画像データからシンセサイザー用の１サイクル波形データを生成することができる。

【0025】

本明細書において、「単位領域」とは、実施形態に開示した画素単位はもちろん、複数の画素から構成される領域を含む概念である。「色彩属性値データ」とは、実施形態では、ＲＧＢ値を例として説明したが、ＨＳＶ値、ＨＳＬ値その他、色を定義できるデータであればどのようなものであってもよい。また、「色を定義できる」とは、カラー情報で定義する場合は、もちろん、グレースケールで定義する場合も含む。

【0026】

「特徴画像波データ」とは、入力画像データの色彩属性値データから演算できる波形データは全て含まれる。また、第１実施形態のように、画素の配置位置を考慮した結果、生成される場合はもちろん、第２実施形態のように、画素の配置位置を考慮しない場合も含む。

【0027】

「変調」とは、１サイクル波形データそれ自体を変形させることをいう。また、変調する場合に用いる値としては、当該１サイクル波形データそれ自体でもよいし、前記1サイクル波形データを生成したのと異なる色彩属性値データを用いてもよい。さらに、同じ入力画像データであってもよいし、例えば異なるフレームデータを採用してもよい。すなわち、用いる入力画像データ、色彩属性値データをそれぞれ同一、異なるの組み合わせが可能である。

【0028】

また、「変更」とは、図３ステップＳ７のエフェクター処理のように、生成した音データを変形させることをいう。「音データ」とは最終的に生成される音データはもちろん、１サイクル波形データも含む概念である。

【図面の簡単な説明】

【0029】

【図1】音データ生成装置１の全体構成を示す図である。

【図2】音データ生成装置１を、ＣＰＵを用いて実現したハードウェア構成の一例を示す図である。

【図3】音データ生成装置１における全体フローチャートである。

【図4】音データ生成装置１で生成される１サイクル波形データの一例である。

【図5】１サイクル波形データ生成処理のフローチャートである。

【図6】1フレームデータの画素配置関係を説明する図である。

【図7】抽出したエッジ画素を接続した図である。

【図8】エフェクターデータ生成処理のフローチャートである。

【図9】検出されるヒストグラムの一例を示す図である。

【図10】ノイズ低減処理を説明する図である。

【図11】１サイクル波形データ生成処理のフローチャートである。

【図12】量子化前後の画像データを示す図である。

【発明を実施するための形態】

【0030】

以下、本発明における実施形態について、図面を参照して説明する。

【0031】

（１. 全体構成）
図１に、本発明の１実施形態にかかる音データ生成装置１の機能ブロックを示す。音データ生成装置１は、色彩属性値データ演算手段３、１サイクル波形データ生成手段５、音データ生成手段７を備えている。

【0032】

色彩属性値データ演算手段３は、前記入力画像データを複数の矩形領域に分けた各単位領域の色彩属性値データを演算する。１サイクル波形データ生成手段５は、前記各単位領域の色彩属性値データに基づいて、前記入力画像データの特徴画像波データを演算し、得られた特徴画像波データをシンセサイザー用の１サイクル波形データとして出力する。

【0033】

音データ生成手段７は、前記１サイクル波形データを所定の周波数で繰り返すことにより、音データを生成する。また、音データ生成手段７は、前記音データに音響効果を与える音響効果付与処理手段９を有している。音響効果付与処理手段９は、前記音響効果パラメータを前記１サイクル波形データを生成した属性値または、それとは異なる属性値に基づいて変更する。

【0034】

このように入力画像データに基づいて１サイクル波形データを生成することができる。

【0035】

（４．位置属性生成装置１６０のハードウェア構成)
図１に示す音データ生成装置１のハードウェア構成を、図２を用いて説明する。同図は、音データ生成装置１を、ＣＰＵを用いて構成したハードウェア構成の一例である。

【0036】

音データ生成装置１は、ＣＰＵ２３、メモリ２７、ハートディスク２６、モニタ３０、インタフェース３２、入力デバイス２８，光学式ドライブ２５、およびバスライン２９を備えている。ＣＰＵ２３は、ハードディスク２６に記憶された各プログラムにしたがいバスライン２９を介して、各部を制御する。

【0037】

ハードディスク２６は、オペレーティングシステムプログラム２６ｏ（以下ＯＳと略す）、メインプログラム２６mp、および各種のプログラムが記憶されている。メインプログラム２６mpは、各種のプログラムにおけるデータ処理を制御する。

【0038】

なお、詳細については後述するが、簡単に各種のプログラムにおけるデータ処理について説明する。１サイクル波形データ生成プログラム２６wは、動画データが与えられると、その１フレームデータからシンセサイザー用の基本波形データである１サイクル波形データを生成する。色データ検出プログラム２６rは、動画データの１フレームデータから特定の画素の色情報を取得する。分布生成プログラム２６hは、動画データの１フレームデータにおける各画素の色データの分布データを演算し、エフェクター用のパラメータを生成する。音データ生成プログラム２６mは、１サイクル波形データが与えられると、設定されたパラメータに基づき、音データを生成する。

【0039】

エフェクタープログラム２６eは、設定されたパラメータに基づき、音データを変更する。

【0040】

インタフェース３２には、D/Aコンバータ３３およびビデオカメラ２２が接続されている。D/Aコンバータ３３は、インタフェース３２を介して、音データが与えられると、スピーカー３４から音データを出力する。

【0041】

また、ハードディスク２６は、１サイクル波形データ記憶部２６d、画像データ記憶部２６c、エフェクターパラメータ記憶部２６p、音データ記憶部２６mdを有する。ビデオカメラ２２で撮像した動画データは、インタフェース３２を介して、画像データ記憶部２６cに記憶される。本実施形態においては、640*480画素の30フレーム／秒のデータとしたが、これに限定されない。

【0042】

１サイクル波形データ記憶部２６dには、１サイクル波形データ生成プログラム２６wが生成した１サイクル波形データが記憶される。処理パラメータ記憶部２６pには、分布生成プログラム２６hが生成したエフェクターパラメータが記憶される。

【0043】

本実施形態においては、オペレーティングシステムプログラム（ＯＳ）２６ｏとして、wndows10（登録商標または商標）を採用したが、これに限定されるものではない。

【0044】

なお、上記各プログラムは、光学式ドライブ２５を介して、プログラムが記憶されたDVD－ＲＯＭ２５ａから読み出されてハードディスク２６にインストールされたものである。なお、DVD－ＲＯＭ以外に、フレキシブルディスク（ＦＤ）、ＩＣカード等のプログラムをコンピュータ可読の記録媒体から、ハードディスクにインストールさせるようにしてもよい。さらに、通信回線を用いてダウンロードするようにしてもよい。

【0045】

本実施形態においては、プログラムをDVD－ＲＯＭからハードディスク２６にインストールさせることにより、DVD－ＲＯＭに記憶させたプログラムを間接的にコンピュータに実行させるようにしている。しかし、これに限定されることなく、DVD－ＲＯＭに記憶させたプログラムを光学式ドライブ２５から直接的に実行するようにしてもよい。なお、コンピュータによって、実行可能なプログラムとしては、そのままインストールするだけで直接実行可能なものはもちろん、一旦他の形態等に変換が必要なもの（例えば、データ圧縮されているものを、解凍する等）、さらには、他のモジュール部分と組合して実行可能なものも含む。

【0046】

（５．第１実施形態)
図３に音データ生成装置１における音データ生成処理の全体フローチャートを示す。ＣＰＵ２３は、メインプログラム２６mp（図２参照）による処理を実行する。

【0047】

ＣＰＵ２３は、１サイクル波形データ生成プログラムにより、１サイクル波形データ生成処理を実行する（図３ステップＳ１）。１サイクル波形データ生成処理は１サイクル波形データ生成プログラムにより実行される。かかる処理により生成される１サイクル波形データの例を図４に示す。図４Ａ～図４Ｄの1フレームデータから、図４Ｅ～図４Ｈの波形データがそれぞれ生成される。１サイクル波形データ生成プログラムの詳細フローチャートを図５に示す。

【0048】

ＣＰＵ２３は、画像データ記憶部２６cから1フレームの画像データを読み出す（ステップＳ２１）。ここでは、図４Ａの画像データが読み出されたものとする。

【0049】

ＣＰＵ２３は、処理対象行番号Ｃｉ、処理対象列番号Ｒｉを初期化する（ステップＳ２２、ステップＳ２３）。

【0050】

ＣＰＵ２３は、画素（Ｃ０，Ｒ０）および画素（Ｃ１，Ｒ０）のＲＧＢ値を、それぞれ読み出して、それぞれの画素のコントラスト値を演算し、その差分（コントラスト差分）を求める（ステップＳ２５）。

【0051】

本実施形態においては、コントラスト値Pxの演算式としては、当該画素のＲＧＢ値を以下の式で計算する様にした。

【0052】

Px＝(R*65536)+(G*256)+B
コントラスト値Pxの演算は、これに限定されず、たとえば、上記のようなＲＧＢの順ではなく、ＢＧＲの順に左から65536倍、256倍、１倍として総和を求めてもよい（（B*65536)+(G*256)+R）。さらに、ＢＲＧ／ＧＲＢ／ＧＢＲなど、別の順に、左からそれぞれ65536倍、256倍、１倍として総和を求めてもよい。さらに、上記係数を変更してもよい。

【0053】

図６に1フレームデータの画素配置関係を示す。なお、図６においては、全画素は表示していない。このようにして、行方向（図６における縦方向）に隣接する画素（Ｃ０，Ｒ０）と画素（Ｃ１，Ｒ０）のコントラスト差分が記憶される。

【0054】

ＣＰＵ２３は、今回求めたコントラスト差分が、既に求めたコントラスト差分よりも大きいか否か判断する（ステップＳ２９）。この場合、既に求めたコントラスト差分は存在しないので、今回求めたコントラスト差分が、既に求めたコントラスト差分よりも大きいと判断して、今回求めたコントラスト差分および画素番号を保持する（ステップＳ３１）。本実施形態においては、ステップＳ２５で求めたコントラスト差分および、その際比較した2つの画素のうち、手前の画素（Ｃ０，Ｒ０）の画素番号を記憶するようにしたが、下に位置する画素番号であってもよい。

【0055】

ＣＰＵ２３は、行方向の最終画素まで演算済みか否か判断する（図５ステップＳ３３）。この場合、行方向の最終画素まで演算していないので、ステップＳ３５にて、処理対象行番号Ｃｉをインクリメントし、ステップＳ２５以下の処理を繰り返す。

【0056】

これにより、画素（Ｃ１，Ｒ０）と画素（Ｃ２，Ｒ０）のコントラスト差分が演算される（ステップＳ２５）。ＣＰＵ２３は、今回求めた、画素（Ｃ１，Ｒ０）と画素（Ｃ２，Ｒ０）のコントラスト差分が、既に求めた画素（Ｃ０，Ｒ０）と画素（Ｃ１，Ｒ０）のコントラスト差分よりも大きいか否か判断する（ステップＳ２９）。ここでは、今回求めたコントラスト差分が、既に求めたコントラスト差分よりも小さいとする。この場合、ＣＰＵ２３は、ステップＳ２９にてNOと判断して、ステップＳ３３に進む。以下、同様の処理を繰り返す。

【0057】

ＣＰＵ２３は、ステップＳ３３にて、行方向の最終画素まで演算済みと判断すると、ステップＳ３１で保持している画素をエッジ画素として特定する（ステップＳ３７）。これより、Ｒ０列におけるエッジ画素が決定される。

【0058】

つぎに、ＣＰＵ２３は、最終列までエッジ画素を決定済みか否か判断する（図５ステップＳ３９）。この場合、最終列までエッジ画素を決定していないので、処理対象行番号Ｒｉをインクリメントし（ステップＳ４１）、ステップＳ２３以下の処理を繰り返す。これにより、次のＲ１列におけるエッジ画素が特定される。

【0059】

ＣＰＵ２３は、ステップＳ３９にて、最終列までエッジ画素を決定したと判断すると、特定したエッジ画素をつないだ形状を１サイクル波形データとして、１サイクル波形データ記憶部２６d（図２参照）に記憶する。例えば、検出されたエッジ画素が、図７に示す配置である場合、これをつないだ１サイクル波形データ７１が得られる。これにより、図４Ｅに示す１サイクル波形データが記憶される。

【0060】

つぎに、ＣＰＵ２３は、音データ生成処理を実行する（図３ステップＳ３）。

【0061】

ＣＰＵ２３は、音データ生成プログラム２６ｍにより、１サイクル波形データ記憶部２６dに記憶された１サイクル波形データを読み出して、この１サイクル波形データを、設定された音の高さの音として生成し、音データ記憶部２６md（図２参照）に記憶する。本実施形態においては、1サイクル波形データの1振幅を16サンプルのテーブルデータして記憶するようにしたが、かかるサンプル数は任意である。

【0062】

音データ生成プログラム２６ｍによる音データ生成処理は、従来のウェーブテーブルシンセサイザーと同じである。簡単に説明する。例えば、読み出した1サイクル波形データを、440Hzの高さで鳴らす場合、1/440秒ごとに、１の1サイクル波形データを読み出して、これを繰り返した音データとすればよい。たとえば、1振幅は16サンプルで構成されているので、さらにこれを1/16した（1/440)/16=0.142*10^-3秒ごとに1サンプルのデータを読みだすようにすればよい。これにより、前記1サイクル波形データのウェイブテーブルのサンプルデータを、音の高さに応じて読み出すことができる。

【0063】

なお、サンプリング周波数44.1khzのデータとする場合、44100サンプル/１秒間のデジタルデータが必要となる。ここで、440hzの音程で音を鳴らす場合、ウェーブテーブルは１振幅１６サンプルで構成されているので、16*440=7040サンプルしかない。したがって、前記16サンプルのうちの１のサンプルデータを、44100/7040=6.264204545回読み出すようにすればよい。すなわち、1サンプルごとに、1/6.264204545=0.1596371882づつ移動させて読み出せばよい。

【0064】

つぎに、ＣＰＵ２３は、エフェクターパラメータ生成処理を実行する（図３ステップＳ５）。エフェクターパラメータ生成処理のフローチャートを図８に示す。

【0065】

ＣＰＵ２３は、画像データ記憶部２６cから1フレームの画像データを読み出す（ステップＳ５１）。ＣＰＵ２３は、処理対象行番号Ｃｉ、処理対象列番号Ｒｉを初期化する（ステップＳ５２、ステップＳ５３）。

【0066】

ＣＰＵ２３は、画素（Ｃ０，Ｒ０）のＲＧＢ値を、それぞれ読み出して、それぞれの画素のコントラスト値を演算し、ヒストグラムに追加する（ステップＳ５７）。コントラスト値の演算式としては、図５と同様である。

【0067】

ＣＰＵ２３は、最終行の画素まで演算済みか否か判断する（ステップＳ５９）。この場合、最終行の画素まで演算していないので、処理対象行番号Ｃｉをインクリメントし（ステップＳ６１）、ステップＳ５７以下の処理を繰り返す。これにより、Ｒ０列における画素のコントラスト値が特定される。

【0068】

ＣＰＵ２３は、ステップＳ５９にて、最終行の画素まで演算済みと判断すると、最終列まで演算済みか否か判断する（図５ステップＳ６３）。この場合、最終列まで演算済みではないので、処理対象行番号Riをインクリメントし（ステップＳ６５）、ステップＳ５３以下の処理を繰り返す。これにより、R1列の全画素についてのコントラスト値が特定される。

【0069】

ＣＰＵ２３は、ステップＳ６３にて、最終列までコントラスト値を演算したと判断すると、ヒストグラムの稜線波形からエフェクターパラメータを作成する（ステップＳ６９）。

【0070】

本実施形態においては、ヒストグラムを量子化して、その稜線波形からエフェクターパラメータを決定した。

【0071】

たとえば、図９Ａに示すヒストグラムが得られた場合、図９Ｂに示すような稜線波形となる。かかる稜線波形からのパラメータ値を決定して、エフェクターによる音変更をおこなえばよい。

【0072】

パラメータ値の決定は、たとえば、以下のようにすればよい。得られたヒストグラムのうち、x軸方向に、１の特定点を決める。前記特定点におけるY軸の値を得て、これを0.0～1.0にスケーリングして得られた値とすればよい。また、前記特定点は、２以上として得られた値を掛け合わせたり、足し合わせてたうえでその結果を0.0～1.0の値にスケーリングして得られた値としてもよい。

【0073】

このように、本実施形態においては、ヒストグラムの形状そのまま採用するのではなく、ヒストグラムから生成された波形を、再度ヒストグラムとしてみなしてパラメータを演算したが、これ以外の手法であってもよい。

【0074】

つぎにＣＰＵ２３は、エフェクターパラメータを用いて、エフェクター処理を行う（図３ステップＳ７）。かかるエフェクターパラメータを用いたエフェクター処理としては、ある周波数帯の信号を取り除くフィルター、カットオフ周波数の時間的な変化を作るフィルター EG 、フィルターを通過したあとの信号の音量を設定するアンプリチュード、ピッチへの変更によって音の高さを揺らすビブラート、フィルターへの変更によって音色を揺らす効果ワウワウ、アンプリチュードへの変更によって音量を揺らすトレモロなどが知られている。具体的な処理は、当業者自明事項なので説明は省略する。

【0075】

これにより、Ｄ／Ａ３３を介してスピーカー３４（図２参照）からエフェクター処理が成された音データが出力される。

【0076】

ＣＰＵ２３は、終了命令が与えられるか否か判断しており（ステップＳ８）、終了命令が与えられなければ、所定時間経過したか否か判断し（ステップＳ９）、所定時間経過していなければ、ステップＳ１以下を繰り返す。本実施形態においては、所定時間を1/10秒としたが、これに限定されない。

【0077】

このようにして、所定時間毎に１サイクル波形データが変更され、これにより、生成される音を変更することができる。このように、入力画像データが順次切り替わっていくので、1サイクル波形データも、これに伴って順次切り替わっていく。

【0078】

また、本実施形態においては、第n番目の1サイクル波形データから次の第n+1番目の1サイクル波形データに切り替わる際に、第n+1番目の1サイクル波形データの先頭からでは無く、第n番目の1サイクル波形データの最後に読み出したサンプル順位の次から読み出すようにした。例えば、1サイクル波形データが16サンプルで構成されている場合、第n番目の1サイクル波形データの最後に読み出したのが、先頭から12番目の値を読み出したのであれば、つぎは、第n+1番目の1サイクル波形データの先頭から13番目の値を読み出す。これにより、1サイクル波形データの先頭からの再生ではない再生となる。なお、次の順位では無く、同じ順位から読み出すようにしてもよい。

【0079】

なお、本実施形態における1サイクル波形データは先頭から再生しても、従来の単純なサインカーブやのこぎり波形ではないので、先頭の値が０ではないこともある。したがって、先頭から再生するようにしてもよい。

【0080】

本実施形態においては、行方向にてコントラスト差分の最大の隣接画素をエッジ画素としたが、コントラスト差分の最大値が同一列に2以上ある場合もありうる。このような場合には、たとえば、行方向の中央（480画素の場合240行）から一番近い画素、を選択するようにしてもよい。これにより、生成される１サイクル波形データが中央に集まった波形で生成されやすくなる。または、上側から近い画素、下側から近い画素を選択するようにしてもよい。また、これらを交互に組み合わせるようにしてもよい。これにより、振幅の多い１サイクル波形データを生成できる。

【0081】

本実施形態においては、コントラスト差分の最大の隣接画素を行方向にて抽出することで、エッジ画素を決定するようにしたので、１の入力画像データに、複数の輪郭がある場合でも、上記1サイクル波形データを得ることができる。、
（６．第２実施形態)
第１実施形態では、１サイクル波形データを、1フレームデータの各画素のコントラスト値からエッジ検出をして演算するようにした。すなわち、画像データの配置位置を考慮した色彩属性値データに基づいて、１サイクル波形データを生成している。

【0082】

しかし、これに限定されず、前記画素配置情報を除去した色彩属性値データから、１サイクル波形データを生成してもよい。例えば、第１実施形態で演算した1フレームデータのコントラスト値における分布ヒストグラム形状を採用すればよい。具体的には、図３ステップＳ１の１サイクル波形データ生成処理において、図８に示すフローチャートのうち、ステップＳ５７で生成したヒストグラムを用いて、ステップＳ６９にて、エフェクターデータに代えて、１サイクル波形データを生成すればよい。これにより色の分布傾向に基づく１サイクル波形データを得ることができる。例えば、分布が輝度が高い画素が多いのか、少ないのかなどである。また、これを輝度ではなく、色別分布としてもよい。これにより、たとえば赤の画素は、値が大きな画素が分布割合が高い場合、少ない場合などで生成される１サイクル波形データが変更される。

【0083】

また、色分布を各ＲＧＢ値で演算して、それらの相互関係で判断するようにしてもよい。例えば、赤色の画素は値が大きな画素の分布割合が高く、青色の画素は値が大きな画素の分布割合が低く、緑色の画素は値が大きな画素の分布割合が少ない場合と、赤色の画素は値が小さな画素の分布割合が高く、青色の画素は値が大きな画素の分布割合が高く、緑色の画素は値が小さな画素の分布割合が少ない場合とで、生成される１サイクル波形データが変更される。

【0084】

また、このような分布割合ではなく、検出されたＲＧＢのヒストグラムにおける稜線波形の相互関係で判断するようにしてもよい。

【0085】

なお、ヒストグラムの分布幅を荒くする場合には、分布ヒストグラムの頂点を接続した包絡線を用いてもよい。

【0086】

また、他の色彩属性値データからエッジ検出以外の特徴画像波データ、たとえば、空間周波数などを演算するようにしてもよい。空間周波数の演算としては、任意範囲の画素の輝度をフーリエ変換（離散的フーリエ変換および高速フーリエ変換を含む）すればよい。

【0087】

図３ステップＳ３における周波数は、固定された周波数でもよいし、１または２以上の特定画素を抽出して、その画素のＲＧＢ値を任意の四則演算で変化指させた値を採用してもよい。

【0088】

また、生成された１サイクル波形データの一部を抽出して、それから音データを生成してもよい。たとえば、１サイクル波形データを２つに分割し、前の１サイクル波形データで音データを生成し、所定時間経過後は後ろの１サイクル波形データで音データを生成すればよい。この場合、２つの１サイクル波形データはもともと連続していたので、切り替える際の変化がスムーズに行われる。かかる分割数については限定されないし、また分割されたデータを全て使用しなくてもよい。

【0089】

なお、このように抽出したパラメータで、上記1サイクル波形データによって生成される音の高さを自動的に決定してもよい。これにより、生成される音の高さも変更することができる。

【0090】

（７.第３実施形態）
前記第１実施形態では、入力画像データとして動画データを用いているので、ある程度は、第n番目の1サイクル波形データから次の第n+1番目の1サイクル波形データになめらかに切り替わると予想される。しかしながら、急激なシーンチェンジされると、第n番目の1サイクル波形データから次の第n+1番目の1サイクル波形データに切り替わる際にノイズが発生する場合がある。これは入力画像データの色彩属性値データの傾向が前後で変化してしまうことにより、第n番目の1サイクル波形データにおける最後の読み出しサンプル値と、次の第n+1番目の1サイクル波形データにおける最後の読み出しサンプル値との値の差が大きくなる可能性が高いためである。このような傾向が変わる一例を図１０Ａ，Ｂに示す。

【0091】

そこで、この実施形態では、第n番目の1サイクル波形データを生成した入力画像データと、第n+1番目の1サイクル波形データを生成した入力画像データの差分（以下、前後差分という）が所定の閾値よりも大きい場合には、スムージング処理をするようにした。本実施形態においては、前後２つの入力画像データから色彩属性値をもとめて、それらの値をヒストグラム化し、２つのヒストグラムを、OpenCVの関数cv::compareHistを用いて、比較した。比較の演算手法については、これに限定されない。

【0092】

また、前記スムージング処理としては、従来同じく、補間処理をすればよい。補間処理としては、たとえば落差の距離を接続する時間を長くすること、または、により、なだらかな形状とすればよい。また、前に位置する１サイクル波形データの後端近辺の振幅程度と、その後ろに位置する１サイクル波形データの先頭近辺の振幅程度を徐々に変化させるなどの処理をすればよい。

【0093】

本実施形態においては、スムージング処理をするか否かを判断する波形データとして、画像データの配置位置を考慮しない色彩属性値データに基づいて生成した波形データとした。このように、音データ生成用の１サイクル波形データとは異なる波形データで、前記前後差分を決定したが、その逆に、音データ生成用の１サイクル波形データを入力画像データの配置位置を考慮しない色彩属性値データに基づいて生成した波形データとし、前記前後差分決定の波形データを、入力画像データの配置位置を考慮した色彩属性値データに基づいて生成した波形データとしてもよい。さらに、両者を同じ波形としてもよい。

【0094】

従来のウェーブテーブル形式のシンセサイザーにおけるスムージング処理は、操作者が処理を行うか否かを手動で判断しなければならない。これに対して、本実施形態においては、入力画像データに基づいてスムージング処理をする場合としない場合を切り替えることができる。

【0095】

（８.第４実施形態）
第１実施形態では、列ごとに、1フレームデータの各画素のコントラスト差分の最大画素をエッジ画素とした。しかしこれに限定されず、かかるエッジ画素の決定は、行方向に隣接する画素のコントラスト差分を全画素について求めて、列ごとに並び替えて、手前の列のエッジ画素と次の列のエッジ画素との距離が所定距離内になる画素を選択するようにしてもよい。これにより、行方向における振幅が所定距離内の画素をエッジ画素として決定することができる。 かかる処理について、図１１を用いて説明する。ステップＳ７１～７３は図５と同様である。ＣＰＵ２３は、画素（Ci,Ri）、画素（Ci+1,Ri）の画素のコントラスト値を演算し、その差分（コントラスト差分）を求め、コントラスト差分および画素番号を保持する（ステップＳ７５）。

【0096】

ＣＰＵ２３は、行方向の最終画素まで演算済みか否か判断し（ステップＳ７７）、行方向の最終画素まで演算済みでない場合は、、処理対象行番号Ｃｉをインクリメントし（ステップＳ７８）、ステップＳ７５の処理を繰り返す。

【0097】

ステップＳ７７にて、行方向の最終画素まで演算済みと判断すると、最終列まで演算済みか否か判断する（ステップＳ７９）。最終列まで演算済みでなければ、処理対象列番号Riをインクリメントし、ステップＳ７３以下を繰り返す。ＣＰＵ２３は、ステップＳ７９にて、最終列まで演算済みと判断すると、コントラスト差分の大きい順にソートする(ステップＳ８３)。

【0098】

処理対象列番号Riを初期化し(ステップＳ８５）、Ri列の最大コンストラスト差分の画素をエッジ画素として特定する（ステップＳ８７）。

【0099】

ＣＰＵ２３は、ステップＳ８７で特定したエッジ画素と、Ri-1列のエッジ画素との距離が設定範囲内か否か判断する(ステップＳ８９）。

【0100】

ＣＰＵ２３は、ステップＳ８７で特定したエッジ画素と、Ri-1列のエッジ画素との距離が設定範囲内ではないと判断すると、次にコントラスト差分が大きい画素をエッジ画素する(ステップＳ９１)。ＣＰＵ２３は、ステップＳ６１で特定したエッジ画素と、Ri-1列のエッジ画素との距離が設定範囲内か否か判断する(ステップＳ８９）。

【0101】

すなわち、ＣＰＵ２３は、ステップＳ６１で特定したエッジ画素と、Ri-1列のエッジ画素との距離が設定範囲内となるまで、これを繰り返す。

【0102】

ＣＰＵ２３は、ステップＳ６１で特定したエッジ画素と、Ri-1列のエッジ画素との距離が設定範囲内であると判断すると、最終列まで演算済みか否か判断し（ステップＳ９３）、最終列まで演算済みでなければ、処理対象列番号Riをインクリメントし、ステップＳ８７以下を繰り返す。

【0103】

ステップＳ９３にて、最終列まで演算済みと判断すると、特定したエッジ画素をつないだ形状を１サイクル波形データとして、１サイクル波形データ記憶部２６d（図２参照）に記憶する。

【0104】

なお、ステップＳ８９における設定範囲か否かは、任意に決定すればよい。また、変更可能なパラメータとしておき、入力画像の一部又は全部から演算するようにしてもよい。かかる演算は、例えば、分布生成プログラム２６hまたは色データ検出プログラム２６rがおこなえばよい。

【0105】

（８.他の実施形態）
8.1)１サイクル波形データの変形処理について
生成された１サイクル波形データが高周波すぎる場合には、雑音となる音成分をカットするフィルターを設けて波形を変更するようにすればよい。また、１サイクル波形データが低周波すぎる場合には、縦方向に伸張または横方向に圧縮させて、波形を変更するようにしてもよい。

【0106】

8.2)１サイクル波形データとエフェクターパラメータの演算する画像の異動について
本実施形態においては、１サイクル波形データを生成したフレームの画像でエフェクターパラメータを生成したが、両者を異なる画像データとしてもよい。たとえば、エフェクターパラメータは1つ前のフレームデータから抽出してもよい。

【0107】

8.3)１サイクル波形データの切り替えタイミングについて
１サイクル波形データの切り替えタイミングは、1/10秒としたが、1フレームまたは数フレーム毎であっもよい。

【0108】

8.4)入力画像データについて
また、入力画像データはそもそも動画データでなく，１または2以上の静止画データであってもよい。たとえば、写真アルバムから画像データを順次与えることで、つぎつぎと生成される音データを変化させることができる。

【0109】

なお、入力画像データは１の静止画データであってもよい。この場合、１の静止画データから１の１サイクル波形データを生成してもよい。また、１の画像データを複数領域に分割して、領域毎に異なる１サイクル波形データを生成してもよい。

【0110】

また定点カメラのデータを与えると、カメラでとらえる物体の変化に応じた音楽を生成できる。また、対象物が移動しない場合であっても、天気、気候条件などにより画像データは変化する。したがって、画像データに応じた音楽を生成できる。

【0111】

8.5)エッジ検出について
本実施形態においては、コントラスト値からエッジ検出するようにしたが、エッジ検出が可能であればどのようなものであってもよく、たとえば、AIによる画像判定を行なって、エッジ抽出するようにしてもよい。

【0112】

本実施形態においては、行方向に隣接する画素間でエッジ検出するようにしたが、行方向に隣接する画素間でエッジ検出するようにしてもよい。この場合、１サイクル波形データは90度回転した形状となるので、その分、回転させればよい。

【0113】

8.6)入力画像データの加工について
本実施形態においては、入力画像データはそのまま与えたが、これを量子化などの加工を施してから、１サイクル波形データ生成プログラム２６wにて処理するようにしてもよい。例えば、図１２Ａに示すような波のデータを、図１２Ｂに示す画像データに量子化してもよい。

【0114】

また、入力画像データである1フレームデータの全部又はその一部をカラーフィルタなどでフィルタリングするようにしてもよい。これにより、例えば，夕日が表示されている画像にて、より夕日を強調した１サイクル波形データを得ることができる。

【0115】

8.7)入力画像データの分割について
本実施形態においては、入力画像データの全画素を用いて１サイクル波形データを生成したが、前記入力画像データの一部の領域から１サイクル波形データを生成してもよい。たとえば1の静止画像を4分割して、全領域について１サイクル波形データを生成すると、１の静止画から４の１サイクル波形データを得ることができる。

【0116】

8.8)１サイクル波形データの変形について
本実施形態においては、１サイクル波形データに基づいて生成した音データを変更するエフェクターパラメータを、画像データから演算するようにした。しかし、これに限定されず、音データを変更するのではなく、１サイクル波形データそれ自身を変化させるパラメータを生成して、変化後の１サイクル波形データに基づいて音データを生成するようにしてもよい。

【0117】

8.9)画素単位について
本実施形態においては、入力画像データの各画素を前記単位領域としたが、複数の画素を前記単位領域としてもよい。

【0118】

8.10)色彩属性値データについて
本実施形態においては、輪郭検出する際に、ＲＧＢ値からコントラスト値を求めるようにしたが、輪郭検出できる画像値であればどのような画素値であってもよく、たとえば、輝度（0.299R+0.587G+0.114B）から演算するようにしてもよい。かかる輝度の演算式における係数は任意である。

【0119】

また、検出する色情報はＲＧＢではなく、ＨＳＶ、ＨＳＬ値などを採用してもよい。

【0120】

これらの場合も、エッジ検出、分布のヒストグラムなど、いずれも可能である。

【0121】

8.11)色データ検出プログラム２６rについて
色データ検出プログラム２６rで、特定画素の画素データを読み出して、その値を所定の演算式に入力して、それを１サイクル波形データのエフェクターパラメータまたは、音データ生成のパラメータ（生成音の高さなど）としてもよい。

【0122】

本発明は下記のような物または方法の発明として把握することができる。

【0123】

（発明１）
コンピュータを、以下の手段として機能させる音データ生成プログラム。

【0124】

入力画像データを複数の矩形領域に分けた各単位領域の色彩属性値データを演算する色彩属性値データ演算手段、
前記各単位領域の色彩属性値データに基づいて、前記入力画像データの特徴画像波データを演算し、得られた特徴画像波データをシンセサイザー用の１サイクル波形データとして出力する１サイクル波形データ生成手段、
を特徴とする音データ生成プログラム。

【0125】

（発明２）
発明１の音データプログラムにおいて、
前記１サイクル波形データ生成手段は、前記各単位領域の色彩属性値データの差分に基づいてエッジ抽出を行い、抽出されたエッジで定義される連続波形を前記特徴画像波データとすること、
を特徴とする音データ生成プログラム。

【0126】

（発明３）
発明１の音データ生成プログラムにおいて、
前記１サイクル波形データ生成手段は、前記各単位領域の色情報値分布ヒストグラムを生成し、このヒストグラムにおける稜線データを前記特徴画像波データとすること、
を特徴とする音データ生成プログラム。

【0127】

（発明４）
発明１～３の音データ生成プログラムにおいて、
前記色彩属性値データは各単位領域のＲＧＢ値、HSVまたはHSL値であること、
を特徴とする音データ生成プログラム。

【0128】

（発明５）
発明１の音データ生成プログラムにおいて、
前記１サイクル波形データ生成手段は、前記各単位領域の色彩属性値データに基づいて、前記入力画像データにおける輝度または色の空間周波数を求めて、その分布形状波形を、前記１サイクル波形データとすること、
を特徴とする音データ生成プログラム。

【0129】

（発明６）
発明１～５の音データ生成プログラムにおいて、
前記入力画像データは、動画データの１フレームデータ又は静止画データであり、
前記１サイクル波形データ生成手段は、前記各単位領域の全ての色彩属性値データ又は一部の単位領域の色彩属性値データを用いて、前記入力画像データの特徴画像波データを演算すること、
を特徴とする音データ生成プログラム。

【0130】

（発明７）
発明１～５の音データ生成プログラムにおいて、
前記入力画像データは、動画データの１フレームデータ又は静止画データであり、
前記１サイクル波形データ生成手段は、前記入力画像データを2以上の領域に分割して、分割した領域の前記特徴画像波データを演算することにより、複数の１サイクル波形データを生成すること、
を特徴とする音データ生成プログラム。

【0131】

（発明８）
発明１～５の音データ生成プログラムにおいて、
前記入力画像データは１の動画データであり、
前記１サイクル波形データ生成手段は、前記動画データの1フレームの入力画像データが与えられると、前記１サイクル波形データを生成する処理を繰り返し実行すること、
を特徴とする音データ生成プログラム。

【0132】

（発明９）
発明１～８の音データ生成プログラムにおいて、
前記コンピュータは、さらに以下の手段としても機能させること、
前記１サイクル波形データを所定の周波数で繰り返すことにより、音データを生成する音データ生成手段、
を特徴とする音データ生成プログラム。

【0133】

（発明１０）
発明９の音データ生成プログラムにおいて、
前記色彩属性値データ演算手段には、順次、新たな入力画像データが与えられ、
前記音データ生成手段は、生成した音データを順次、出力すること、
を特徴とする音データ生成プログラム。

【0134】

（発明１１）
発明９または１０の音データ生成プログラムにおいて、
前記音データ生成手段は、音生成のための１サイクル波形データを別の１サイクル波形データに切り替える際に、切り替え前の入力画像データと、切り替え後の入力画像データの類似度が、あらかじめ定めた値よりも小さい場合には、前記切り替え前の音データと、前記切り替え後の音データがスムーズにつながるスムージング処理をし、前記類似度が、前記あらかじめ定めた値よりも大きい場合には、前記切り替え前の音データと、前記切り替え後の音データがスムーズにつながるスムージング処理を行わないこと、
を特徴とする音データ生成プログラム。

【0135】

（発明１２）
発明９～１１のいずれかの音データ生成プログラムにおいて、
前記音データ生成手段は、生成した１サイクル波形データを前記領域の色彩属性値のうち、１サイクル波形データを生成した属性値または、それとは異なる属性値に基づいて変調する変調手段を有すること、
を特徴とする音データ生成プログラム。

【0136】

（発明１３）
発明９～１１のいずれかの音データ生成プログラムにおいて、
前記音データ生成手段は、前記音データに音響効果を与える音響効果付与処理手段を有しており、前記音響効果付与処理手段は、前記音響効果パラメータを前記１サイクル波形データを生成した属性値または、それとは異なる属性値に基づいて変更すること、
を特徴とする音データ生成プログラム。

【0137】

また、前記プログラムを記録した記録媒体を発明として把握することもできる。

【0138】

上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。

【要約】

【課題】自由度の高いシンセサイザー用の１サイクル波形データを提供する。
【解決手段】 1フレームの画像データの画素（Ｃ０，Ｒ０）および画素（Ｃ１，Ｒ０）のＲＧＢ値を、それぞれ読み出して、それぞれの画素のコントラスト値を演算し、その差分（コントラスト差分）を求める（S25）。既に求めたコントラスト差分よりも大きいかを判断し（S29）。大きい場合は、コントラスト差分の値および画素番号を保持する（S31）。この処理を行方向の最終画素まで演算し、当該列におけるエッジ画素が決定される。これを最終列まで繰り返すことで、列ごとのエッジ画素が決定される。これをつないだ形状を１サイクル波形データとする。
【選択図】 図７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】