知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022183849
(43)【公開日】2022-12-13
(54)【発明の名称】音声処理装置、制御方法、およびプログラム
(51)【国際特許分類】
G10L 21/0232 20130101AFI20221206BHJP
G10L 21/0208 20130101ALI20221206BHJP
G10L 25/21 20130101ALI20221206BHJP
【ＦＩ】
G10L21/0232
G10L21/0208 100A
G10L25/21
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2021091350
(22)【出願日】2021-05-31
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】橋口 青惟
(57)【要約】
【課題】 効果的にノイズを低減する。
【解決手段】 音声処理装置は、第一のマイクと、第二のマイクと、第一のマイクから入力された音声信号を増幅する第一の増幅手段と、第二のマイクから入力された音声信号を増幅する第二の増幅手段と、第一の増幅手段から入力された音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、第二の増幅手段から入力された音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、第二の音声信号と、ノイズ源のノイズに係るパラメータとを用いてノイズデータを生成する生成手段と、第二の音声信号に基づき、第一の音声信号からノイズを低減する低減手段とを有第二の増幅手段は、ノイズ源の種類またはノイズ源からのノイズに基づいて、第二のマイクから入力された音声信号に対する増幅量を変更する。
【選択図】 図３
【解決手段】 音声処理装置は、第一のマイクと、第二のマイクと、第一のマイクから入力された音声信号を増幅する第一の増幅手段と、第二のマイクから入力された音声信号を増幅する第二の増幅手段と、第一の増幅手段から入力された音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、第二の増幅手段から入力された音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、第二の音声信号と、ノイズ源のノイズに係るパラメータとを用いてノイズデータを生成する生成手段と、第二の音声信号に基づき、第一の音声信号からノイズを低減する低減手段とを有第二の増幅手段は、ノイズ源の種類またはノイズ源からのノイズに基づいて、第二のマイクから入力された音声信号に対する増幅量を変更する。
【選択図】 図３
【特許請求の範囲】
【請求項1】
環境音を取得するための第一のマイクと、
ノイズ源からの音を取得するための第二のマイクと、
前記第一のマイクから入力された音声信号を増幅する第一の増幅手段と、
前記第二のマイクから入力された音声信号を増幅する第二の増幅手段と、
前記第一の増幅手段から入力された音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、
前記第二の増幅手段から入力された音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、
前記第二の音声信号と、前記ノイズ源のノイズに係るパラメータとを用いてノイズデータを生成する生成手段と、
前記第二の音声信号に基づき、前記第一の音声信号からノイズを低減する低減手段と、を有し、
前記第二の増幅手段は、前記ノイズ源の種類または前記ノイズ源からのノイズに基づいて、前記第二のマイクから入力された音声信号に対する増幅量を変更する
ことを特徴とする音声処理装置。
ノイズ源からの音を取得するための第二のマイクと、
前記第一のマイクから入力された音声信号を増幅する第一の増幅手段と、
前記第二のマイクから入力された音声信号を増幅する第二の増幅手段と、
前記第一の増幅手段から入力された音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、
前記第二の増幅手段から入力された音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、
前記第二の音声信号と、前記ノイズ源のノイズに係るパラメータとを用いてノイズデータを生成する生成手段と、
前記第二の音声信号に基づき、前記第一の音声信号からノイズを低減する低減手段と、を有し、
前記第二の増幅手段は、前記ノイズ源の種類または前記ノイズ源からのノイズに基づいて、前記第二のマイクから入力された音声信号に対する増幅量を変更する
ことを特徴とする音声処理装置。
【請求項2】
前記第二の増幅手段は、前記ノイズ源からのノイズのレベルが所定の値以上である場合、前記増幅量を変更することを特徴とする請求項１に記載の音声処理装置。
【請求項3】
前記第二の増幅手段は、前記増幅量を所定の値以下となるように変更することを特徴とする請求項１または２に記載の音声処理装置。
【請求項4】
前記第二の増幅手段は、前記所定の値が前記ノイズ源に応じた値に設定された場合、前記ノイズ源からのノイズのレベルが所定の値以上である場合には、前記増幅量を前記ノイズ源に応じた値以下に設定することを特徴とする請求項３に記載の音声処理装置。
【請求項5】
前記第二の増幅手段は、前記第一のマイクから入力された音声信号のレベルが所定の閾値以下である場合、前記増幅量を変更することを特徴とする請求項１から４のいずれか１項に記載の音声処理装置。
【請求項6】
前記第一の増幅手段は、前記ノイズ源または前記ノイズ源からのノイズにかかわらず、前記第一のマイクから入力された音声信号を、所定量、増幅することを特徴とする請求項１から５のいずれか１項に記載の音声処理装置。
【請求項7】
前記ノイズ源は、光学レンズに含まれる駆動部材であり、
前記光学レンズを介して被写体を撮像する撮像手段をさらに有することを特徴とする請求項１から６のいずれか１項に記載の音声処理装置。
前記光学レンズを介して被写体を撮像する撮像手段をさらに有することを特徴とする請求項１から６のいずれか１項に記載の音声処理装置。
【請求項8】
前記第二の増幅手段は、前記光学レンズの種類に応じて、前記増幅量を変更することを特徴とする請求項７に記載の音声処理装置。
【請求項9】
前記ノイズ源のノイズが発生しているか否かに応じて、前記生成手段によって生成されるノイズデータを異ならせるように切り替える切替手段をさらに有することを特徴とする請求項１から８のいずれか１項に記載の音声処理装置。
【請求項10】
前記低減手段は、恒常的なノイズを低減するための第一の低減手段と、恒常的なノイズ以外のノイズを低減するための第二の低減手段とを有することを特徴とする請求項１から９のいずれか１項に記載の音声処理装置。
【請求項11】
前記生成手段は、前記第一の低減手段に用いられるノイズパラメータを生成する第一の生成手段と、前記第二の低減手段に用いられるノイズパラメータを生成する第二の生成手段とを有することを特徴とする請求項１０に記載の音声処理装置。
【請求項12】
前記生成手段は、前記第一の低減手段に用いられるノイズパラメータを生成し、前記第二の低減手段に用いられるノイズパラメータは、記録手段にあらかじめ記録されたノイズパラメータであることを特徴とする請求項１０に記載の音声処理装置。
【請求項13】
前記生成手段は、第一の種類のノイズに対応した第一のパラメータと、第二の種類のノイズに対応した第二のパラメータとを含む、複数の前記パラメータの少なくとも何れかと前記第二の音声信号とを用いて、前記ノイズデータを生成することを特徴とする請求項１から１２のいずれか１項に記載の音声処理装置。
【請求項14】
前記生成手段は、前記第二の増幅手段の増幅量に応じて、前記ノイズパラメータを補正することを特徴とする請求項１から１３のいずれか１項に記載の音声処理装置。
【請求項15】
第二の増幅手段における増幅量の最大値は、第一の増幅手段における増幅量であることを特徴とする請求項１から１４のいずれか１項に記載の音声処理装置。
【請求項16】
前記音声処理装置において、前記第一のマイクの上方に環境音を入力するための穴が形成され、前記第二のマイクの上方には環境音を入力するための穴が形成されない
ことを特徴とする請求項１から１５のいずれか１項に記載の音声処理装置。
ことを特徴とする請求項１から１５のいずれか１項に記載の音声処理装置。
【請求項17】
前記第一のマイクが２つある場合、前記第二のマイクは２つある前記第一のマイクのそれぞれの間に配置されることを特徴とする請求項１から１６のいずれか１項に記載の音声処理装置。
【請求項18】
前記低減手段からの音声信号を逆フーリエ変換する第三の変換手段と、
前記第三の変換手段から出力された音声信号を記録する記録手段とをさらに有することを特徴とする請求項１から１７のいずれか１項に記載の音声処理装置。
前記第三の変換手段から出力された音声信号を記録する記録手段とをさらに有することを特徴とする請求項１から１７のいずれか１項に記載の音声処理装置。
【請求項19】
環境音を取得するための第一のマイクと、
ノイズ源からの音を取得するための第二のマイクと、を有する音声処理装置の制御方法であって、
前記第一のマイクから入力された音声信号を増幅する第一の増幅ステップと、
前記第二のマイクから入力された音声信号を増幅する第二の増幅ステップと、
前記第一の増幅ステップにおいて増幅された音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、
前記第二の増幅ステップにおいて増幅された音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、
前記第二の音声信号と、前記ノイズ源のノイズに係るパラメータとを用いてノイズデータを生成する生成ステップと、
前記第二の音声信号に基づき、前記第一の音声信号からノイズを低減する低減ステップと、を有し、
前記第二の増幅ステップでは、前記ノイズ源の種類または前記ノイズ源からのノイズに基づいて、前記第二のマイクから入力された音声信号に対する増幅量を変更する
ことを特徴とする制御方法。
ノイズ源からの音を取得するための第二のマイクと、を有する音声処理装置の制御方法であって、
前記第一のマイクから入力された音声信号を増幅する第一の増幅ステップと、
前記第二のマイクから入力された音声信号を増幅する第二の増幅ステップと、
前記第一の増幅ステップにおいて増幅された音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、
前記第二の増幅ステップにおいて増幅された音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、
前記第二の音声信号と、前記ノイズ源のノイズに係るパラメータとを用いてノイズデータを生成する生成ステップと、
前記第二の音声信号に基づき、前記第一の音声信号からノイズを低減する低減ステップと、を有し、
前記第二の増幅ステップでは、前記ノイズ源の種類または前記ノイズ源からのノイズに基づいて、前記第二のマイクから入力された音声信号に対する増幅量を変更する
ことを特徴とする制御方法。
【請求項20】
コンピュータを請求項１から１８のいずれか１項に記載の音声処理装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声データに含まれるノイズを低減可能な音声処理装置に関する。
【背景技術】
【0002】
音声処理装置の一例であるデジタルカメラは、動画データを記録する場合、周囲の音声も併せて記録することができる。また、デジタルカメラは、光学レンズを駆動することで、動画データの記録中に被写体に対してフォーカスを合わせるオートフォーカス機能を持つ。また、デジタルカメラは、動画の記録中に光学レンズを駆動することで、ズームを行う機能を持つ。
【0003】
このように、動画の記録中に光学レンズを駆動すると、動画とともに記録される音声に光学レンズの駆動音がノイズとして含まれることがある。以下、ノイズとして記録される光学レンズの駆動音を駆動ノイズという。これに対し、デジタルカメラは、駆動ノイズを収音した場合、駆動ノイズを低減して周囲の音声を記録することができる。特許文献１では、音量設定値に応じてアナログゲインのゲイン量を変更することで、音声の歪みや音割れを軽減することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１０－１４１５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、例えば、レンズ交換式のデジタルカメラでは、装着される光学レンズによって駆動ノイズの大きさが異なる。また、例えば、レンズ駆動中においても、駆動ノイズが大きい期間と駆動ノイズが小さい区間とがある。このようなノイズに対して、一様に増幅処理を行うと、例えば、音声処理を行う際に音声信号の歪みが発生してしまうおそれや、量子化ノイズが発生してしまうおそれなど、音声信号の品質が低下してしまうおそれがある。
【0006】
そこで、本発明では、入力されるノイズに対する増幅処理を適切に制御することを目的とする。
【課題を解決するための手段】
【0007】
本発明の音声処理装置は、環境音を取得するための第一のマイクと、ノイズ源からの音を取得するための第二のマイクと、前記第一のマイクから入力された音声信号を増幅する第一の増幅手段と、前記第二のマイクから入力された音声信号を増幅する第二の増幅手段と、前記第一の増幅手段から入力された音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、前記第二の増幅手段から入力された音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、前記第二の音声信号と、前記ノイズ源のノイズに係るパラメータとを用いてノイズデータを生成する生成手段と、前記第二の音声信号に基づき、前記第一の音声信号からノイズを低減する低減手段と、を有し、前記第二の増幅手段は、前記ノイズ源の種類または前記ノイズ源からのノイズに基づいて、前記第二のマイクから入力された音声信号に対する増幅量を変更することを特徴とする。
【発明の効果】
【0008】
本発明の音声処理装置は、入力されるノイズに対する増幅処理を適切に制御することができる。
【図面の簡単な説明】
【0009】
【図1】第一の実施例における撮像装置１００の斜視図である。
【図2】第一の実施例における撮像装置１００の構成を示すブロック図である。
【図3】第一の実施例における撮像装置１００の音声入力部１０４の構成を示すブロック図である。
【図4】第一の実施例における撮像装置１００の音声入力部１０４におけるマイクの配置を示す図である。
【図5】第一の実施例における増幅部２０２を説明するためのブロック図である。
【図6】第一の実施例におけるレベル検出部２０４を用いて増幅量を変更した場合の制御を示すフローチャートである。
【図7】第一の実施例におけるレンズ制御部１０２を用いて増幅量を変更した場合の制御を示すフローチャートである。
【図8】第一の実施例におけるレベル検出部２０４およびレンズ制御部１０２を用いて増幅量を変更した場合の制御を示すフローチャートである。
【図9】第一の実施例におけるノイズパラメータを示す図である。
【図10】第一の実施例における、環境音がないと見なせる状況において駆動音が発生した場合における音声の周波数スペクトル、および、ノイズパラメータの周波数スペクトルを示す図である。
【図11】第一の実施例における、環境音がある状況において駆動音が発生した場合における音声の周波数スペクトルを示す図である。
【図12】第一の実施例における、ノイズデータ生成部２０６におけるノイズデータの生成処理方法を示すブロック図である。
【図13】第一の実施例における、ノイズマイク２０１ｃにて収音された音声信号が、量子化ノイズの影響を受けた場合のノイズデータ生成部２０６におけるノイズデータの生成処理方法を示すブロック図である。
【図14】第一の実施例における、ノイズマイク２０１ｃにて収音された音声信号が、量子化ノイズの影響を受けた場合における音声の周波数スペクトルを示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施例を詳細に説明する。
【0011】
［第一の実施例］
＜撮像装置１００の外観図＞
図１（ａ）、（ｂ）に本発明を適用可能な音声処理装置の一例としての撮像装置１００の外観図の一例を示す。図１（ａ）は撮像装置１００の前面斜視図の一例である。図１（ｂ）は撮像装置１００の背面斜視図の一例である。図１において、レンズマウント３０１には不図示の光学レンズが装着される。
＜撮像装置１００の外観図＞
図１（ａ）、（ｂ）に本発明を適用可能な音声処理装置の一例としての撮像装置１００の外観図の一例を示す。図１（ａ）は撮像装置１００の前面斜視図の一例である。図１（ｂ）は撮像装置１００の背面斜視図の一例である。図１において、レンズマウント３０１には不図示の光学レンズが装着される。
【0012】
表示部１０７は画像データおよび文字情報等を表示する。表示部１０７は撮像装置１００の背面に設けられる。ファインダー外表示部４３は、撮像装置１００の上面に設けられた表示部である。ファインダー外表示部４３は、シャッター速度、絞り値等の撮像装置１００の設定値を表示する。接眼ファインダー１６は覗き込み型のファインダーである。ユーザは接眼ファインダー１６内のフォーカシングスクリーンを観察することで、被写体の光学像の焦点および構図を確認することができる。
【0013】
レリーズスイッチ６１はユーザが撮影指示を行うための操作部材である。モード切替スイッチ６０はユーザが各種モードを切り替えるための操作部材である。メイン電子ダイヤル７１は回転操作部材である。ユーザはこのメイン電子ダイヤル７１を回すことで、シャッター速度、絞り値等の撮像装置１００の設定値を変更することができる。レリーズスイッチ６１、モード切替スイッチ６０、メイン電子ダイヤル７１は、操作部１１２に含まれる。
【0014】
電源スイッチ７２は撮像装置１００の電源のオンおよびオフを切り替える操作部材である。サブ電子ダイヤル７３は回転操作部材である。ユーザは、サブ電子ダイヤル７３によって表示部１０７に表示された選択枠の移動および再生モードにおける画像送りなどを行える。十字キー７４は上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。撮像装置１００は十字キー７４の押された部分（方向）に応じた処理を実行する。電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４は操作部１１２に含まれる。
【0015】
ＳＥＴボタン７５は押しボタンである。ＳＥＴボタン７５は、主に、ユーザが表示部１０７に表示された選択項目を決定するためなどに用いられる。ＬＶボタン７６はライブビュー（以下、ＬＶ）のオンおよびオフを切り替えるために使用されるボタンである。ＬＶボタン７６は、動画記録モードにおいては、動画撮影（記録）の開始および停止の指示に用いられる。拡大ボタン７７は撮影モードのライブビュー表示において拡大モードのオンおよびオフ、並びに、拡大モード中の拡大率の変更を行うための押しボタンである。ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７は操作部１１２に含まれる。
【0016】
拡大ボタン７７は、再生モードにおいては表示部１０７に表示された画像データの拡大率を増加させるためのボタンとして機能する。縮小ボタン７８は、表示部１０７において拡大表示された画像データの拡大率を低減させるためのボタンである。再生ボタン７９は、撮影モードと再生モードとを切り替える操作ボタンである。撮像装置１００は撮影モード中にユーザが再生ボタン７９を押すと、撮像装置１００が再生モードに移行し、記録媒体１１０に記録された画像データを表示部１０７に表示する。縮小ボタン７８、再生ボタン７９は、操作部１１２に含まれる。
【0017】
クイックリターンミラー１２（以下、ミラー１２）は、撮像装置１００に装着された光学レンズから入射した光束を接眼ファインダー１６側または撮像部１０１側のどちらかに入射するよう切り替えるためのミラーである。ミラー１２は、露光、ライブビュー撮影、および動画撮影の際に、制御部１１１によって不図示のアクチュエータを制御されることによりアップダウンされる。ミラー１２は通常時は接眼ファインダー１６へと光束を入射させるように配されている。ミラー１２は、撮影が行われる場合およびライブビュー表示の場合には、撮像部１０１に光束が入射するように上方に跳ね上がる（ミラーアップ）。またミラー１２はその中央部がハーフミラーとなっている。ミラー１２の中央部を透過した光束の一部は、焦点検出を行うための焦点検出部（不図示）に入射する。
【0018】
通信端子１０は、撮像装置１００に装着された光学レンズ３００と撮像装置１００とが通信を行う為の通信端子である。端子カバー４０は外部機器との接続ケーブルと撮像装置１００とを接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。蓋４１は記録媒体１１０を格納したスロットの蓋である。レンズマウント３０１は不図示の光学レンズ３００を取り付けることができる取り付け部である。
【0019】
Ｌマイク２０１ａおよびＲマイク２０１ｂはユーザの音声等を収音するためのマイクである。撮像装置１００の背面から見て、左側にＬマイク２０１ａが、右側にＲマイク２０１ｂが配置される。
【0020】
＜撮像装置１００の構成＞
図２は本実施例における撮像装置１００の構成の一例を示すブロック図である。
図２は本実施例における撮像装置１００の構成の一例を示すブロック図である。
【0021】
光学レンズ３００は、撮像装置１００に着脱可能なレンズユニットである。例えば光学レンズ３００はズームレンズまたはバリフォーカルレンズである。光学レンズ３００は光学レンズ、光学レンズを駆動させるためのモータ、および後述する撮像装置１００のレンズ制御部１０２と通信する通信部を有する。光学レンズ３００は、通信部によって受信した制御信号に基づいて、光学レンズをモータによって移動させることで、被写体に対するフォーカスおよびズーミング、並びに、手ブレの補正ができる。
【0022】
撮像部１０１は、光学レンズ３００を経て撮像面に結像された被写体の光学像を電気信号に変換するための撮像素子、および撮像素子で生成された電気信号から画像データまたは動画データを生成して出力する画像処理部とを有する。撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、およびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）である。本実施例では、撮像部１０１において静止画像データや動画データを含む画像データを生成して撮像部１０１から出力する一連の処理を「撮影」という。撮像装置１００では、画像データは、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に従って、後述する記録媒体１１０に記録される。
【0023】
レンズ制御部１０２は撮像部１０１から出力されたデータ、および後述する制御部１１１から出力された制御信号に基づいて、通信端子１０を介して光学レンズ３００に制御信号を送信し、光学レンズ３００を制御する。
【0024】
情報取得部１０３は、撮像装置１００の傾きおよび撮像装置１００の筐体内の温度などを検出する。例えば情報取得部１０３は撮像装置１００の傾きを加速度センサまたはジャイロセンサによって検出する。また、例えば情報取得部１０３は撮像装置１００の筐体内の温度を温度センサによって検出する。
【0025】
音声入力部１０４は、マイクによって取得された音声から音声データを生成する。音声入力部１０４は、マイクによって撮像装置１００の周辺の音声を取得し、取得された音声に対してアナログデジタル変換（Ａ／Ｄ変換）、各種の音声処理を行い、音声データを生成する。本実施例では、音声入力部１０４はマイクを有する。音声入力部１０４の詳細な構成例については後述する。
【0026】
揮発性メモリ１０５は、撮像部１０１において生成された画像データ、並びに音声入力部１０４によって生成された音声データを一時的に記録する。また、揮発性メモリ１０５は、表示部１０７に表示される画像データの一時的な記録領域、および制御部１１１の作業領域等としても使用される。
【0027】
表示制御部１０６は、撮像部１０１から出力された画像データ、対話的な操作のための文字並びに、メニュー画面等を表示部１０７に表示するよう制御する。また、表示制御部１０６は静止画撮影および動画撮影の際、撮像部１０１から出力されたデジタルデータを逐次表示部１０７に表示するよう制御することで、表示部１０７を電子ビューファインダとして機能させることができる。例えば表示部１０７は、液晶ディスプレイまたは有機ＥＬディスプレイである。また、表示制御部１０６は、撮像部１０１から出力された画像データおよび動画データ、対話的な操作のための文字、並びにメニュー画面等を、後述する外部出力部１１５を介して外部のディスプレイに表示させるよう制御することもできる。
【0028】
符号化処理部１０８は、揮発性メモリ１０５に一時的に記録された画像データおよび音声データをそれぞれ符号化することができる。例えば、符号化処理部１０８は、画像データをＪＰＥＧ規格またはＲＡＷ画像フォーマットに従って符号化およびデータ圧縮された動画データを生成することができる。例えば、符号化処理部１０８は、動画データをＭＰＥＧ２規格またはＨ．２６４／ＭＰＥＧ４－ＡＶＣ規格に従って符号化およびデータ圧縮された動画データを生成することができる。また例えば、符号化処理部１０８は、音声データをＡＣ３ＡＡＣ規格、ＡＴＲＡＣ規格、またはＡＤＰＣＭ方式に従って符号化およびデータ圧縮された音声データを生成することができる。また、符号化処理部１０８は、例えばリニアＰＣＭ方式に従って音声データをデータ圧縮しないように符号化してもよい。
【0029】
記録制御部１０９は、データを記録媒体１１０に記録すること、および記録媒体１１０から読み出すことができる。例えば、記録制御部１０９は、符号化処理部１０８によって生成された静止画像データ、動画データ、および音声データを記録媒体１１０に記録すること、および記録媒体１１０から読み出すことができる。記録媒体１１０は例えばＳＤカード、ＣＦカード、ＸＱＤメモリーカード、ＨＤＤ（磁気ディスク）、光学式ディスク、および半導体メモリである。記録媒体１１０は、撮像装置１００に着脱可能なように構成してもよいし、撮像装置１００に内蔵されていてもよい。すなわち、記録制御部１０９は少なくとも記録媒体１１０にアクセスする手段を有していればよい。
【0030】
制御部１１１は、入力された信号、および後述のプログラムに従ってデータバス１１６を介して撮像装置１００の各構成要素を制御する。制御部１１１は、各種制御を実行するためのＣＰＵ、ＲＯＭ、およびＲＡＭを有する。なお、制御部１１１が撮像装置１００全体を制御する代わりに、複数のハードウェアが分担して撮像装置全体を制御してもよい。制御部１１１が有するＲＯＭには、各構成要素を制御するためのプログラムが格納されている。また制御部１１１が有するＲＡＭは演算処理等に利用される揮発性メモリである。
【0031】
操作部１１２は、撮像装置１００に対する指示をユーザから受け付けるためのユーザインタフェースである。操作部１１２は、例えば撮像装置１００の電源をオン状態またはオフ状態にするための電源スイッチ７２、撮影を指示するためのレリーズスイッチ６１、画像データまたは動画データの再生を指示するための再生ボタン、およびモード切替スイッチ６０等を有する。
【0032】
操作部１１２はユーザの操作に応じて、制御信号を制御部１１１に出力する。また、表示部１０７に形成されるタッチパネルも操作部１１２に含めることができる。なお、レリーズスイッチ６１は、ＳＷ１およびＳＷ２を有する。レリーズスイッチ６１が、いわゆる半押し状態となることにより、ＳＷ１がオンとなる。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮像の準備動作を行うための準備指示を受け付ける。また、レリーズスイッチ６１が、いわゆる全押し状態となることにより、ＳＷ２がオンとなる。このようなユーザ操作により、撮像動作を行うための撮像指示を受け付ける。また、操作部１１２は後述するスピーカ１１４から再生される音声データの音量を調整することができる操作部材（例えばボタン）を含む。
【0033】
音声出力部１１３は、音声データをスピーカ１１４、および外部出力部１１５に出力することができる。音声出力部１１３に入力される音声データは、記録制御部１０９により記録媒体１１０から読み出された音声データ、不揮発性メモリ１１７から出力される音声データ、および符号化処理部から出力される音声データである。スピーカ１１４は、音声データを再生することができる電気音響変換器である。
【0034】
外部出力部１１５は、画像データ、動画データ、および音声データなどを外部機器に出力することができる。外部出力部１１５は、例えば映像端子、マイク端子、およびヘッドホン端子等で構成される。
【0035】
データバス１１６は、音声データ、動画データ、および画像データ等の各種データ、各種制御信号を撮像装置１００の各ブロックへ伝達するためのデータバスである。
【0036】
不揮発性メモリ１１７は不揮発性メモリであり、制御部１１１で実行される後述のプログラム等が格納される。また、不揮発性メモリ１１７には、音声データが記録されている。この音声データは例えば、被写体に合焦した場合に出力される合焦音、撮影を指示された場合に出力される電子シャッター音、撮像装置１００を操作された場合に出力される操作音等の電子音の音声データである。
【0037】
＜撮像装置１００の動作＞
これから、本実施例の撮像装置１００の動作について説明する。
これから、本実施例の撮像装置１００の動作について説明する。
【0038】
本実施例の撮像装置１００は、ユーザが電源スイッチ７２を操作して電源をオンされたことに応じて、不図示の電源から、撮像装置の各構成要素に電力を供給する。例えば電源はリチウムイオン電池またはアルカリマンガン乾電池等の電池である。
【0039】
制御部１１１は、電力が供給されたことに応じてモード切替スイッチ６０の状態に基づいて、例えば、撮影モードおよび再生モードのどのモードで動作するかを判断する。動画記録モードでは、制御部１１１は撮像部１０１から出力された動画データと音声入力部１０４から出力された音声データとを１つの音声付き動画データとして記録する。再生モードでは、制御部１１１は記録媒体１１０に記録された画像データまたは動画データを記録制御部１０９によって読み出し、表示部１０７に表示するよう制御する。
【0040】
まず、動画記録モードについて説明する。動画記録モードでは、まず制御部１１１は、撮像装置１００を撮影待機状態に移行させるように制御信号を撮像装置１００の各構成要素に送信する。例えば、制御部１１１は、撮像部１０１および音声入力部１０４に以下のような動作をさせるよう制御する。
【0041】
撮像部１０１は、光学レンズ３００を経て撮像面に結像された被写体の光学像を電気信号に変換し、撮像素子で生成された電気信号から動画データを生成する。そして、撮像部１０１は動画データを表示制御部１０６に送信し、表示部１０７によって表示する。ユーザは表示部１０７に表示された動画データを見ながら撮影の準備を行うことができる。
【0042】
音声入力部１０４は、複数のマイクから入力されたアナログ音声信号をそれぞれＡ／Ｄ変換し、複数のデジタル音声信号を生成する。そして音声入力部１０４はその複数のデジタル音声信号から複数のチャンネルの音声データを生成する。音声入力部１０４は生成された音声データを音声出力部１１３に送信し、スピーカ１１４から音声データを再生させる。ユーザは、スピーカ１１４から再生された音声データを聞きながら、音声付き動画データに記録される音声データの音量を操作部１１２によって調整することができる。
【0043】
次に、ユーザによってＬＶボタン７６が押下されたことに応じて、制御部１１１は、撮像装置１００の各構成要素に撮影開始の指示信号を送信する。例えば、制御部１１１は、撮像部１０１、音声入力部１０４、符号化処理部１０８、および記録制御部１０９に以下のような動作をさせるよう制御する。
【0044】
撮像部１０１は、光学レンズ３００を経て撮像面に結像された被写体の光学像を電気信号に変換し、撮像素子で生成された電気信号から動画データを生成する。そして、撮像部１０１は動画データを表示制御部１０６に送信し、表示部１０７によって表示する。また、また撮像部１０１は生成された動画データを揮発性メモリ１０５へ送信する。
【0045】
音声入力部１０４は、複数のマイクから入力されたアナログ音声信号をそれぞれＡ／Ｄ変換し、複数のデジタル音声信号を生成する。そして音声入力部１０４はその複数のデジタル音声信号からマルチチャンネルの音声データを生成する。そして、音声入力部１０４は生成された音声データを揮発性メモリ１０５へ送信する。
【0046】
符号化処理部１０８は、揮発性メモリ１０５に一時的に記録された動画データおよび音声データを読み出してそれぞれ符号化する。制御部１１１は、制御部１１１によって符号化された動画データおよび音声データからデータストリームを生成し、記録制御部１０９に出力する。記録制御部１０９は、ＵＤＦまたはＦＡＴ等のファイルシステムに従って、入力されたデータストリームを音声付き動画データとして記録媒体１１０に記録していく。
【0047】
撮像装置１００の各構成要素は以上の動作を動画撮影中において継続する。
【0048】
そして、ユーザからＬＶボタン７６が押下されたことに応じて、制御部１１１は、撮像装置１００の各構成要素に撮影終了の指示信号を送信する。例えば、制御部１１１は撮像部１０１、音声入力部１０４、符号化処理部１０８、および記録制御部１０９に以下のような動作をさせるよう制御する。
【0049】
撮像部１０１は、動画データの生成を停止する。音声入力部１０４は、音声データの生成を停止する。
【0050】
符号化処理部１０８は、揮発性メモリ１０５に記録されている残りの動画データおよび音声データを読み出して符号化する。制御部１１１は、符号化処理部１０８によって符号化された動画データおよび音声データからデータストリームを生成し、記録制御部１０９に出力する。
【0051】
記録制御部１０９は、ＵＤＦまたはＦＡＴ等のファイルシステムに従って、データストリームを音声付き動画データのファイルとして記録媒体１１０に記録していく。そして、記録制御部１０９は、データストリームの入力が停止したことに応じて、音声付き動画データを完成させる。音声付き動画データの完成をもって、撮像装置１００の記録動作は停止する。
【0052】
制御部１１１は、記録動作が停止したことに応じて、撮影待機状態に移行させるように制御信号を撮像装置１００の各構成要素に送信する。これにより、制御部１１１は撮像装置１００を撮影待機状態に戻るよう制御する。
【0053】
次に、再生モードについて説明する。再生モードでは、制御部１１１は、再生状態に移行させるように制御信号を撮像装置１００の各構成要素に送信する。例えば、制御部１１１は符号化処理部１０８、記録制御部１０９、表示制御部１０６、および音声出力部１１３に以下のような動作をさせるよう制御する。
【0054】
記録制御部１０９は、記録媒体１１０に記録された音声付き動画データを読み出して読みだした音声付き動画データを符号化処理部１０８に送信する。
【0055】
符号化処理部１０８は、音声付き動画データから画像データ、および音声データを復号化する。符号化処理部１０８は、復号化された動画データを表示制御部１０６へ、復号化された音声データを音声出力部１１３へ、それぞれ送信する。
【0056】
表示制御部１０６は、復号化された画像データを表示部１０７によって表示する。音声出力部１１３は、復号化された音声データをスピーカ１１４によって再生する。
【0057】
以上のように、本実施例の撮像装置１００は画像データ、および音声データを記録および再生することができる。
【0058】
本実施例では、音声入力部１０４は、マイクから入力された音声信号のレベルの調整処理等の音声処理を実行する。本実施例では、音声入力部１０４は動画記録が開始されたことに応じてこの音声処理を実行する。なお、この音声処理は、撮像装置１００の電源がオンにされてから実行されてもよい。また、この音声処理は、撮影モードが選択されたことに応じて実行されてもよい。また、この音声処理は、動画記録モードおよび音声メモ機能等の音声の記録に関連するモードが選択されたことに応じて実行されてもよい。また、この音声処理は、音声信号の記録が開始したことに応じて実行されてもよい。
【0059】
＜音声入力部１０４の構成＞
図３は本実施例における音声入力部１０４の詳細な構成の一例を示すブロック図である。
図３は本実施例における音声入力部１０４の詳細な構成の一例を示すブロック図である。
【0060】
本実施例において、音声入力部１０４は、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃの３つのマイクを有する。Ｌマイク２０１ａおよびＲマイク２０１ｂはそれぞれ第一のマイクの一例である。本実施例では、撮像装置１００は環境音をＬマイク２０１ａおよびＲマイク２０１ｂによって収音し、Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号をステレオ方式で記録する。例えば環境音は、ユーザの音声、動物の鳴き声、雨音、および楽曲等の撮像装置１００の筐体外および光学レンズ３００の筐体外において発生する音である。
【0061】
また、ノイズマイク２０１ｃは第２のマイクの一例である。ノイズマイク２０１ｃは、撮像装置１００の筐体内、および光学レンズ３００の筐体内で発生する、所定の騒音源（ノイズ源）からの駆動音等の騒音（ノイズ）を取得するためのマイクである。ノイズ源は例えば、超音波モータ（Ｕｌｔｒａｓｏｎｉｃ Ｍｏｔｏｒ、以下ＵＳＭ）およびステッピングモータ（Ｓｔｅｐｐｅｒ Ｍｏｔｏｒ、以下ＳＴＭ）などのモータに代表される駆動部材である。騒音（ノイズ）は例えば、ＵＳＭおよびＳＴＭ等のモータの駆動によって発生する振動音である。例えば、モータは被写体に合焦するためのＡＦ処理において駆動する。撮像装置１００は撮像装置１００の筐体内、および光学レンズ３００の筐体内で発生する駆動音等の騒音（ノイズ）をノイズマイク２０１ｃによって取得し、取得したノイズの音声データを用いて、後述するノイズパラメータを生成する。なお、本実施例では、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃは無指向性のマイクである。本実施例における、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃの配置例は図４を用いて後述する。
【0062】
Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃは、それぞれ取得した音声からアナログ音声信号を生成し、増幅部２０２に入力する。ここで、Ｌマイク２０１ａから入力される音声信号をＬｃｈ、Ｒマイク２０１ｂから入力される音声信号をＲｃｈ、およびノイズマイク２０１ｃから入力される音声信号をＮｃｈと記載する。
【0063】
増幅部２０２は、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃから入力されたアナログ音声信号の振幅を増幅させる。本実施例では、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃから入力されたアナログ音声信号に対するゲイン（以下、増幅量Ａ）は固定値（所定量）である。また、ノイズマイク２０１ｃから入力されたアナログ音声信号に対するゲイン（以下、増幅量Ｂ）は、レベル検出部２０４またはレンズ制御部１０２からの信号に応じて、適宜変更される。ノイズマイク２０１ｃから入力されたアナログ音声信号に対するゲインの変更方法についての詳細は、図５～８を用いて後述する。
【0064】
Ａ／Ｄ変換部２０３は、増幅部２０２で増幅されたアナログ音声信号をデジタル音声信号に変換する。Ａ／Ｄ変換部２０３は変換されたデジタル音声信号をＦＦＴ部２０５に出力する。本実施例においてＡ／Ｄ変換部２０３はサンプリング周波数を４８ｋＨｚ、およびビット深度を１６ｂｉｔとして標本化処理を実行することで、アナログ音声信号をデジタル音声信号に変換する。
【0065】
ＦＦＴ部２０５は、Ａ／Ｄ変換部２０３から入力された時間領域のデジタル音声信号に高速フーリエ変換処理を施し、周波数領域のデジタル音声信号に変換する。本実施例において、周波数領域のデジタル音声信号は、０Ｈｚから４８ｋＨｚまでの周波数帯域において、１０２４ポイントの周波数スペクトルを有する。また、周波数領域のデジタル音声信号は、０Ｈｚからナイキスト周波数である２４ｋＨｚまでの周波数帯域においては、５１３ポイントの周波数スペクトルを有する。本実施例では、撮像装置１００は、ＦＦＴ部２０５から出力された音声データのうち、０Ｈｚから２４ｋＨｚまでの５１３ポイントの周波数スペクトルを利用して、ノイズ低減の処理を行う。
【0066】
ここで、高速フーリエ変換されたＬｃｈの周波数スペクトルを、Ｌｃｈ＿Ｂｅｆｏｒｅ［０］～Ｌｃｈ＿Ｂｅｆｏｒｅ［５１２］の５１３ポイントの配列データで表す。これらの配列データを総称する場合、Ｌｃｈ＿Ｂｅｆｏｒｅと記載する。また、高速フーリエ変換されたＲｃｈの周波数スペクトルを、Ｒｃｈ＿Ｂｅｆｏｒｅ［０］～Ｒｃｈ＿Ｂｅｆｏｒｅ［５１２］の５１３ポイントの配列データで表す。これらの配列データを総称する場合、Ｒｃｈ＿Ｂｅｆｏｒｅと記載する。なお、Ｌｃｈ＿Ｂｅｆｏｒｅおよび、Ｒｃｈ＿Ｂｅｆｏｒｅはそれぞれ第１の周波数スペクトルデータの一例である。
【0067】
また、高速フーリエ変換されたＮｃｈの周波数スペクトルを、Ｎｃｈ＿Ｂｅｆｏｒｅ［０］～Ｎｃｈ＿Ｂｅｆｏｒｅ［５１２］の５１３ポイントの配列データで表す。これらの配列データを総称する場合、Ｎｃｈ＿Ｂｅｆｏｒｅと記載する。なお、Ｎｃｈ＿Ｂｅｆｏｒｅは第２の周波数スペクトルデータの一例である。
【0068】
ノイズデータ生成部２０６は、Ｎｃｈ＿Ｂｅｆｏｒｅに基づいて、Ｌｃｈ＿ＢｅｆｏｒｅおよびＲｃｈ＿Ｂｅｆｏｒｅに含まれるノイズを低減するためのデータを生成する。本実施例では、ノイズデータ生成部２０６は、Ｌｃｈ＿Ｂｅｆｏｒｅ［０］～Ｌｃｈ＿Ｂｅｆｏｒｅ［５１２］に含まれるノイズをそれぞれ低減するためのＮＬ［０］～ＮＬ［５１２］の配列データをノイズパラメータを用いて生成する。また、ノイズデータ生成部２０６は、Ｒｃｈ＿Ｂｅｆｏｒｅ［０］～Ｒｃｈ＿Ｂｅｆｏｒｅ［５１２］に含まれるノイズをそれぞれ低減するためのＮＲ［０］～ＮＲ［５１２］の配列データを生成する。ＮＬ［０］～ＮＬ［５１２］の配列データにおける周波数のポイントは、Ｌｃｈ＿Ｂｅｆｏｒｅ［０］～Ｌｃｈ＿Ｂｅｆｏｒｅ［５１２］の配列データにおける周波数のポイントと同じである。また、ＮＲ［０］～ＮＲ［５１２］の配列データにおける周波数のポイントは、Ｒｃｈ＿Ｂｅｆｏｒｅ［０］～Ｒｃｈ＿Ｂｅｆｏｒｅ［５１２］の配列データにおける周波数のポイントと同じである。
【0069】
なお、ＮＬ［０］～ＮＬ［５１２］の配列データを総称する場合、ＮＬと記載する。また、ＮＲ［０］～ＮＲ［５１２］を総称する場合、ＮＲと記載する。ＮＬおよびＮＲはそれぞれ第３の周波数スペクトルデータの一例である。
【0070】
また、ノイズデータ生成部２０６は、増幅量Ａと増幅量Ｂとが異なる場合、増幅量Ａと増幅量Ｂに基づいて、ノイズデータ生成部２０６で生成されたノイズパラメータを補正する。本実施形態では、ノイズデータ生成部２０６は、増幅量Ａと増幅量Ｂとの差分から、ノイズデータ生成部２０６で生成されたノイズパラメータを補正する。
【0071】
ノイズパラメータ記録部２０７には、ノイズデータ生成部２０６がＮｃｈ＿ＢｅｆｏｒｅからをＮＬおよびＮＲを生成するためのノイズパラメータが記録されている。ノイズパラメータ記録部２０７はノイズの種類に応じた複数種類のノイズパラメータを記録している。Ｎｃｈ＿ＢｅｆｏｒｅからＮＬを生成するためのノイズパラメータを総称する場合、ＰＬｘと記載する。Ｎｃｈ＿ＢｅｆｏｒｅからＮＲを生成するためのノイズパラメータを総称する場合、ＰＲｘと記載する。
【0072】
ＰＬｘおよびＰＲｘはそれぞれＮＬおよびＮＲと同じ配列数を有する。例えば、ＰＬ１は、ＰＬ１［０］～ＰＬ１［５１２］の配列データである。また、ＰＬ１の周波数ポイントは、Ｌｃｈ＿Ｂｅｆｏｒｅの周波数ポイントと同じである。また例えばＰＲ１は、ＰＲ１［０］～ＰＲ１［５１２］の配列データである。ＰＲ１の周波数ポイントは、Ｒｃｈ＿Ｂｅｆｏｒｅと同じ周波数ポイントである。ノイズパラメータは図５を用いて後述する。
【0073】
ノイズマイク２０１ｃは、ノイズパラメータ記録部２０７に記録されているノイズパラメータから、ノイズデータ生成部２０６において使用されるノイズパラメータを決定する。なお、本実施例では、ノイズパラメータ記録部２０７には、ノイズパラメータとして５１３ポイントの周波数スペクトルそれぞれに対する係数がすべて記録されている。しかし、５１３ポイントの全ての周波数に対する係数ではなく、少なくともノイズを低減するために必要な周波数ポイントの係数が記録されていればよい。例えば、ノイズパラメータ記録部２０７は、ノイズパラメータとして、典型的な可聴周波数と考えられている２０Ｈｚ～２０ｋＨｚの周波数スペクトルそれぞれに対する係数を記録し、他の周波数スペクトルの係数を記録しなくてもよい。また例えば、ノイズパラメータとして、係数の値がゼロである周波数スペクトルに対する係数はノイズパラメータ記録部２０７に記録されていなくてもよい。
【0074】
減算処理部２０８は、Ｌｃｈ＿ＢｅｆｏｒｅおよびＲｃｈ＿ＢｅｆｏｒｅからＮＬおよびＮＲをそれぞれ減算する。例えば、減算処理部２０８はＬｃｈ＿ＢｅｆｏｒｅからＮＬを減算するＬ減算器２０８ａ、およびＲｃｈ＿ＢｅｆｏｒｅからＮＲを減算するＲ減算器２０８ｂを有する。Ｌ減算器２０８ａはＬｃｈ＿ＢｅｆｏｒｅからＮＬを減算し、Ｌｃｈ＿Ａｆｔｅｒ［０］～Ｌｃｈ＿Ａｆｔｅｒ［５１２］の５１３ポイントの配列データを出力する。Ｒ減算器２０８ｂはＲｃｈ＿ＢｅｆｏｒｅからＮＲを減算し、Ｒｃｈ＿Ａｆｔｅｒ［０］～Ｒｃｈ＿Ａｆｔｅｒ［５１２］の５１３ポイントの配列データを出力する。本実施例では、減算処理部２０８はスペクトルサブトラクション法によって減算処理を実行する。
【0075】
ｉＦＦＴ部２０９は、減算処理部２０８から入力された周波数領域のデジタル音声信号を逆高速フーリエ変換（逆フーリエ変換）して時間領域のデジタル音声信号に変換する。
【0076】
音声処理部２１０は、イコライザ、オートレベルコントローラ、およびステレオ感の強調処理等の時間領域のデジタル音声信号に対する音声処理を実行する。音声処理部２１０は、音声処理を行った音声データを揮発性メモリ１０５へ出力する。
【0077】
なお、本実施例では撮像装置１００は第一のマイクとして２つのマイクを有するが、撮像装置１００は第一のマイクを１つのマイクまたは３つ以上のマイクとしてもよい。例えば撮像装置１００は、音声入力部１０４に第一のマイクとして１つのマイクを有する場合、１つのマイクによって収音された音声データをモノラル方式で記録する。また例えば撮像装置１００は、音声入力部１０４に第一のマイクとして３つ以上のマイクを有する場合、３つ以上のマイクによって収音された音声データをサラウンド方式で記録する。
【0078】
なお、本実施例では、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃは無指向性のマイクとしたが、これらのマイクは指向性マイクであってもよい。
【0079】
＜音声入力部１０４のマイクの配置＞
ここで、本実施例の音声入力部１０４のマイクの配置例を説明する。図４はＬマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃの配置例を示している。
ここで、本実施例の音声入力部１０４のマイクの配置例を説明する。図４はＬマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃの配置例を示している。
【0080】
図４は、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃが取り付けられた撮像装置１００の部分の断面図の一例である。この撮像装置１００の部分は、外装部３０２、マイクブッシュ３０３、および固定部３０４により構成される。
【0081】
外装部３０２は、マイクに環境音を入力するための穴（以下、マイク穴という）を有する。本実施例では、マイク穴はＬマイク２０１ａ、およびＲマイク２０１ｂの上方に形成される。一方、ノイズマイク２０１ｃは、撮像装置１００の筐体内および光学レンズ３００の筐体内において発生する駆動音を取得するために設けられており、環境音を取得する必要はない。したがって、本実施例では、外装部３０２にはノイズマイク２０１ｃの上方にマイク穴は形成されない。
【0082】
撮像装置１００の筐体内および光学レンズ３００の筐体内において発生する駆動音は、マイク穴を介してＬマイク２０１ａ、およびＲマイク２０１ｂにより取得される。環境音が小さい状態で撮像装置１００および光学レンズ３００の筐体内において駆動音等が発生した場合、各マイクが取得する音声は、主としてこの駆動音となる。そのため、Ｌマイク２０１ａ、Ｒマイク２０１ｂからの音声レベルよりも、ノイズマイク２０１ｃからの音声レベルの方が大きい。つまり、この場合、各マイクから出力される音声信号のレベルの関係は、以下のようになる。
Ｌｃｈ≒Ｒｃｈ＜Ｎｃｈ
また、環境音が大きくなると、ノイズマイク２０１ｃからの、撮像装置１００または光学レンズ３００で発生した駆動音の音声レベルよりも、Ｌマイク２０１ａ、Ｒマイク２０１ｂからの環境音の音声レベルの方が大きくなる。そのため、この場合、各マイクから出力される音声信号のレベルの関係は、以下のようになる。
Ｌｃｈ≒Ｒｃｈ＞Ｎｃｈ
なお、本実施例では、外装部３０２に形成されるマイク穴の形状は楕円状であるが、円状または方形状等の他の形状でもよい。また、マイク２０１ａ上のマイク穴の形状とマイク２０１ｂ上のマイク穴の形状とは、互いに異なっていてもよい。
Ｌｃｈ≒Ｒｃｈ＜Ｎｃｈ
また、環境音が大きくなると、ノイズマイク２０１ｃからの、撮像装置１００または光学レンズ３００で発生した駆動音の音声レベルよりも、Ｌマイク２０１ａ、Ｒマイク２０１ｂからの環境音の音声レベルの方が大きくなる。そのため、この場合、各マイクから出力される音声信号のレベルの関係は、以下のようになる。
Ｌｃｈ≒Ｒｃｈ＞Ｎｃｈ
なお、本実施例では、外装部３０２に形成されるマイク穴の形状は楕円状であるが、円状または方形状等の他の形状でもよい。また、マイク２０１ａ上のマイク穴の形状とマイク２０１ｂ上のマイク穴の形状とは、互いに異なっていてもよい。
【0083】
なお、本実施例では、ノイズマイク２０１ｃは、Ｌマイク２０１ａとＲマイク２０１ｂに近接するように配置される。また、本実施例では、ノイズマイク２０１ｃは、Ｌマイク２０１ａとＲマイク２０１ｂの間に、それぞれのマイクとほぼ等距離になるように配置される。これにより、撮像装置１００の筐体内および光学レンズ３００の筐体内において発生する駆動音等からノイズマイク２０１ｃによって生成される音声信号は、この駆動音等からＬマイク２０１ａおよびＲマイク２０１ｂによって生成される音声信号と似た信号になる。
【0084】
マイクブッシュ３０３は、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃを固定するための部材である。固定部３０４は、マイクブッシュ３０３を外装部３０２に固定する部材である。
【0085】
なお、本実施例では、外装部３０２および固定部３０４はＰＣ材等のモールド部材で構成される。また、外装部３０２および固定部３０４はアルミまたはステンレス等の金属部材で構成されてもよい。また、本実施例では、マイクブッシュ３０３は、エチレンプロピレンジエンゴム等のゴム材で構成される。
【0086】
＜増幅量設定手段＞
図５は、本実施例における増幅部２０２のブロック図の一例である。
図５は、本実施例における増幅部２０２のブロック図の一例である。
【0087】
増幅部２０２は、環境音増幅部２０２１、雑音増幅部２０２２、および増幅量更新データを記憶する増幅量記憶部２０２３で構成される。
【0088】
環境音増幅部２０２１は、Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号を増幅する。ここで、環境音増幅部２０２１におけるゲインは増幅量Ａである。
【0089】
雑音増幅部２０２２は、ノイズマイク２０１ｃから入力された音声信号を増幅する。ここで、雑音増幅部２０２２におけるゲインは増幅量Ｂである。雑音増幅部２０２２は、レベル検出部２０４と、レンズ制御部１０２が検出した検出内容に応じて、ノイズマイク２０１ｃから入力された音声信号の増幅量を下げる。
【0090】
増幅量記憶部２０２３は、増幅量更新データを記憶するメモリである。
【0091】
レベル検出部２０４は、Ａ／Ｄ変換部２０３で変換された音声信号の音圧に基づいて、レンズ制御部１０２は、撮像装置１００に装着されたレンズのレンズ種別を判別する。
【0092】
＜レベル検出部を用いた増幅量変更処理＞
図６は、レベル検出部２０４を用いた場合における、増幅部２０２の増幅量変更処理の一例を示すフローチャートである。本フローチャートの処理は、操作部１１２によってユーザから動画記録を開始するための指示を受け付けたことにより開始される。例えば、制御部１１１は、レリーズスイッチ６１が押下されたことを検出したことに応じて、動画記録を開始する。
図６は、レベル検出部２０４を用いた場合における、増幅部２０２の増幅量変更処理の一例を示すフローチャートである。本フローチャートの処理は、操作部１１２によってユーザから動画記録を開始するための指示を受け付けたことにより開始される。例えば、制御部１１１は、レリーズスイッチ６１が押下されたことを検出したことに応じて、動画記録を開始する。
【0093】
ステップＳ６０１では、制御部１１１は、撮像部１０１による撮像処理と、音声入力部１０４による音声処理を開始する。撮像処理によって得られた映像と、音声処理によって得られた音声と、は逐次記録媒体１１０に記録される。
【0094】
ステップＳ６０２では、音声入力部１０４は、増幅量Ｂを、増幅量記憶部２０２３に記憶されているゲインに設定する。なお、本実施例では、増幅量記憶部２０２３には、本フローチャートの開始時点において、所定の値（初期値）のゲインが記憶されている。本実施例では、この初期値は増幅量Ａと等しい。
【0095】
ステップＳ６０３では、音声入力部１０４は、光学レンズ３００が駆動しているか否かを判断する。例えば、音声入力部１０４は、レンズ制御部１０２から入力される信号に基づいて、光学レンズ３００のモータが駆動を行っているかを判断する。光学レンズ３００のモータが駆動を行っている場合におけるレンズ制御部１０２から入力される信号は、例えばＡＦやズーム等を示す信号を含む。光学レンズ３００が駆動していると判断された場合、ステップＳ６０３の処理が実行される。光学レンズ３００が駆動していないと判断された場合、ステップＳ６０８の処理が実行される。
【0096】
ステップＳ６０４では、レベル検出部２０４は、Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号の振幅（音圧レベル）が所定のしきい値以上か否かを判断する。Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号の振幅が所定のしきい値以上であると判断された場合、ステップＳ６０８の処理が実行される。Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号の振幅が所定のしきい値未満であると判断された場合、ステップＳ６０５の処理が実行される。
【0097】
ステップＳ６０５では、レベル検出部２０４は、ノイズマイク２０１ｃから入力された音声信号の振幅を検出する。
【0098】
ステップＳ６０６では、レベル検出部２０４は、ステップＳ６０５において検出した音声信号の振幅が所定のしきい値以上か否かを判断する。ステップＳ６０５において検出した音声信号の振幅が所定のしきい値以上である場合、ステップＳ６０７の処理が実行される。ステップＳ６０５において検出した音声信号の振幅が所定のしきい値未満である場合、ステップＳ６０８の処理が実行される。
【0099】
ステップＳ６０７では、レベル検出部２０４は、ステップＳ６０５において検出した音声信号の振幅に基づいて増幅量Ｂを計算し、計算された増幅量Ｂを増幅量記憶部２０２３に記録する。本実施例では、光学レンズ３００が駆動していない場合における増幅量Ｂを最大値とする。したがって、本ステップにおいて計算される増幅量Ｂは初期値よりも小さい値となる。
【0100】
ステップＳ６０８では、制御部１１１は、動画記録を終了するか否かを判断する。例えば、ユーザによってレリーズスイッチ６１を押下された場合や記録媒体１１０の残り容量が僅少となった場合に、制御部１１１は動画記録を終了すると判断する。動画記録を終了すると判断された場合、本フローチャートの処理は終了する。動画記録を終了しないと判断された場合、ステップＳ６０３の処理に戻る。
【0101】
以上、レベル検出部２０４を用いた増幅量の変更方法について説明した。
【0102】
＜レンズ制御部を用いた増幅量変更処理＞
図７は、レンズ制御部１０２を用いた場合における、増幅部２０２の増幅量変更処理の一例を示すフローチャートである。本フローチャートの処理は、操作部１１２によってユーザから動画記録を開始するための指示を受け付けたことにより開始される。例えば、制御部１１１は、レリーズスイッチ６１が押下されたことを検出したことに応じて、動画記録を開始する。
図７は、レンズ制御部１０２を用いた場合における、増幅部２０２の増幅量変更処理の一例を示すフローチャートである。本フローチャートの処理は、操作部１１２によってユーザから動画記録を開始するための指示を受け付けたことにより開始される。例えば、制御部１１１は、レリーズスイッチ６１が押下されたことを検出したことに応じて、動画記録を開始する。
【0103】
ステップＳ７０１では、レンズ制御部１０２は、撮像装置１００に装着された光学レンズ３００の種類を判別する。ここで、レンズ制御部１０２は、判別された光学レンズ３００が、駆動ノイズの大きいレンズか否かを判断する。判別された光学レンズ３００が駆動ノイズの大きいレンズである場合、ステップＳ７０２の処理が実行される。判別された光学レンズ３００が駆動ノイズの大きいレンズではない場合、ステップＳ７０３の処理が実行される。
【0104】
ステップＳ７０２では、音声入力部１０４は、レンズ制御部１０２から入力された光学レンズ３００の種類に基づいて、増幅量Ｂを計算し、計算された増幅量Ｂを増幅量記憶部２０２３に記録する。本実施例では、駆動ノイズの小さい光学レンズ３００に対する増幅量Ｂを最大値とする。したがって、本ステップにおいて計算される増幅量Ｂは最大値よりも小さい値となる。
【0105】
ステップＳ７０３では、レベル検出部２０４は、ステップＳ７０１において検出された光学レンズの種類に基づいて増幅量Ｂを計算し、計算された増幅量Ｂを増幅量記憶部２０２３に記録する。本実施例では、駆動ノイズが小さい種類の光学レンズが撮像装置１００に装着されている場合における増幅量Ｂを最大値とする。
【0106】
ステップＳ７０４では、制御部１１１は、撮像部１０１による撮像処理と、音声入力部１０４による音声処理を開始する。撮像処理によって得られた映像と、音声処理によって得られた音声と、は逐次記録媒体１１０に記録される。
【0107】
ステップＳ７０５では、音声入力部１０４は、増幅量Ｂを、増幅量記憶部２０２３に記憶されているゲインに設定する。
【0108】
ステップＳ７０６では、制御部１１１は、動画記録を終了するか否かを判断する。例えば、ユーザによってレリーズスイッチ６１を押下された場合や記録媒体１１０の残り容量が僅少となった場合に、制御部１１１は動画記録を終了すると判断する。動画記録を終了すると判断された場合、本フローチャートの処理は終了する。動画記録を終了しないと判断された場合、ステップＳ７０５の処理に戻る。
【0109】
以上、レンズ制御部１０２を用いた増幅量の変更方法について説明した。
【0110】
＜レベル検出部およびレンズ制御部を用いた増幅量変更処理＞
図８は、レベル検出部２０４とレンズ制御部１０２の両方を用いた場合における、増幅部２０２の増幅量変更処理の一例を示すフローチャートである。本フローチャートの処理は、操作部１１２によってユーザから動画記録を開始するための指示を受け付けたことにより開始される。例えば、制御部１１１は、レリーズスイッチ６１が押下されたことを検出したことに応じて、動画記録を開始する。
図８は、レベル検出部２０４とレンズ制御部１０２の両方を用いた場合における、増幅部２０２の増幅量変更処理の一例を示すフローチャートである。本フローチャートの処理は、操作部１１２によってユーザから動画記録を開始するための指示を受け付けたことにより開始される。例えば、制御部１１１は、レリーズスイッチ６１が押下されたことを検出したことに応じて、動画記録を開始する。
【0111】
ステップＳ８０１では、レンズ制御部１０２は、撮像装置１００に装着された光学レンズ３００の種類を判別する。ここで、レンズ制御部１０２は、判別された光学レンズ３００が、駆動ノイズの大きいレンズか否かを判断する。判別された光学レンズ３００が駆動ノイズの大きいレンズである場合、ステップＳ８０２の処理が実行される。判別された光学レンズ３００が駆動ノイズの大きいレンズではない場合、ステップＳ８０３の処理が実行される。
【0112】
ステップＳ８０２では、音声入力部１０４は、レンズ制御部１０２から入力された光学レンズ３００の種類に基づいて、増幅量Ｂを計算し、計算された増幅量Ｂを増幅量記憶部２０２３に記録する。本実施例では、駆動ノイズの小さい光学レンズ３００に対する増幅量Ｂを最大値とする。したがって、本ステップにおいて計算される増幅量Ｂは最大値よりも小さい値となる。
【0113】
ステップＳ８０３では、レベル検出部２０４は、ステップＳ８０１において検出された光学レンズの種類に基づいて増幅量Ｂを計算し、計算された増幅量Ｂを増幅量記憶部２０２３に記録する。本実施例では、駆動ノイズが小さい種類の光学レンズが撮像装置１００に装着されている場合における増幅量Ｂを最大値とする。
【0114】
ステップＳ８０４では、制御部１１１は、撮像部１０１による撮像処理と、音声入力部１０４による音声処理を開始する。撮像処理によって得られた映像と、音声処理によって得られた音声と、は逐次記録媒体１１０に記録される。
【0115】
ステップＳ８０５では、音声入力部１０４は、増幅量Ｂを、増幅量記憶部２０２３に記憶されているゲインに設定する。
【0116】
ステップＳ８０６では、音声入力部１０４は、光学レンズ３００が駆動しているか否かを判断する。例えば、音声入力部１０４は、レンズ制御部１０２から入力される信号に基づいて、光学レンズ３００のモータが駆動を行っているかを判断する。光学レンズ３００のモータが駆動を行っている場合におけるレンズ制御部１０２から入力される信号は、例えばＡＦやズーム等を示す信号を含む。光学レンズ３００が駆動していると判断された場合、ステップＳ８０７の処理が実行される。光学レンズ３００が駆動していないと判断された場合、ステップＳ８１１の処理が実行される。
【0117】
ステップＳ８０７では、レベル検出部２０４は、Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号の振幅（音圧レベル）が所定のしきい値以上か否かを判断する。Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号の振幅が所定のしきい値以上であると判断された場合、ステップＳ８１１の処理が実行される。Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号の振幅が所定のしきい値未満であると判断された場合、ステップＳ８０８の処理が実行される。
【0118】
ステップＳ８０８では、レベル検出部２０４は、ノイズマイク２０１ｃから入力された音声信号の振幅を検出する。
【0119】
ステップＳ８０９では、レベル検出部２０４は、ステップＳ８０８において検出した音声信号の振幅が所定のしきい値以上か否かを判断する。ステップＳ８０８において検出した音声信号の振幅が所定のしきい値以上である場合、ステップＳ８１０の処理が実行される。ステップＳ８０８において検出した音声信号の振幅が所定のしきい値未満である場合、ステップＳ８１１の処理が実行される。
【0120】
ステップＳ８１０では、レベル検出部２０４は、ステップＳ８０８において検出した音声信号の振幅に基づいて増幅量Ｂを計算し、計算された増幅量Ｂを増幅量記憶部２０２３に記録する。本実施例では、ステップＳ８０３において設定された増幅量Ｂを最大値とする。したがって、本ステップにおいて計算される増幅量Ｂは、光学レンズ３００に応じて設定された増幅量以下の値となる。
【0121】
以上、レベル検出部２０４およびレンズ制御部１０２を用いた増幅量の変更方法について説明した。
【0122】
このように、撮像装置１００は、検出されたノイズのレベルまたは光学レンズに応じてノイズに対する増幅量を設定することで、入力されるノイズに対する増幅量を適切に制御できる。これにより、撮像装置１００は、効果的にノイズを低減することが可能になる。
【0123】
なお、撮像装置１００は、増幅量変更処理をレベル検出部２０４、レンズ制御部１０２、またはその両方を用いるかどうかについて、適宜判断してよい。
【0124】
＜ノイズパラメータ＞
図９はノイズパラメータ記録部２０７に記録されているノイズパラメータの一例である。ノイズパラメータは、撮像装置１００の筐体内、および光学レンズ３００の筐体内において発生した駆動音をノイズマイク２０１ｃが取得することにより生成した音声信号を補正するためのパラメータである。図５に示すように、本実施例では、ノイズパラメータ記録部２０７にはＰＬｘおよびＰＲｘが記録されている。本実施例では、駆動音の発生源は光学レンズ３００の筐体内であるとして説明する。光学レンズ３００の筐体内で発生した駆動音はレンズマウント３０１を介して撮像装置１００の筐体内に伝達し、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃによって取得される。
図９はノイズパラメータ記録部２０７に記録されているノイズパラメータの一例である。ノイズパラメータは、撮像装置１００の筐体内、および光学レンズ３００の筐体内において発生した駆動音をノイズマイク２０１ｃが取得することにより生成した音声信号を補正するためのパラメータである。図５に示すように、本実施例では、ノイズパラメータ記録部２０７にはＰＬｘおよびＰＲｘが記録されている。本実施例では、駆動音の発生源は光学レンズ３００の筐体内であるとして説明する。光学レンズ３００の筐体内で発生した駆動音はレンズマウント３０１を介して撮像装置１００の筐体内に伝達し、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃによって取得される。
【0125】
駆動音の種類によって、駆動音の周波数が異なる。そのため、本実施例では、撮像装置１００は、駆動音（ノイズ）の種類に対応した複数のノイズパラメータを記憶する。そして、これら複数のノイズパラメータのうちの何れかを用いてノイズデータを生成する。本実施例では、撮像装置１００は、恒常的なノイズとしてホワイトノイズに対するノイズパラメータを記録する。また、撮像装置１００は、恒常的なノイズ以外のノイズも低減する。例えば、撮像装置１００は、光学レンズ３００内のギアがかみ合わさることによって発生する短期的なノイズに対するノイズパラメータを記録する。また、例えば、撮像装置１００は、長期的なノイズとして、例えばレンズ３００の筐体内における摺動音に対するノイズパラメータを記憶する。
【0126】
他にも、量子化ノイズとして、Ａ／Ｄ変換部２０３が音声データをＡ／Ｄ変換する際に発生するノイズに対するノイズパラメータを記録する。
【0127】
撮像装置１００は光学レンズ３００の種類ごと、並びに、情報取得部１０３によって検出される撮像装置１００の筐体内の温度および撮像装置１００の傾きごとにノイズパラメータを記録してもよい。
【0128】
＜ノイズデータの生成方法＞
図１０および図１１を用いて、ノイズデータ生成部２０６におけるノイズデータの生成処理を説明する。ここではＬｃｈのデータに関するノイズデータの生成処理について説明するが、Ｒｃｈのデータに関するノイズデータの生成方法も同様である。
図１０および図１１を用いて、ノイズデータ生成部２０６におけるノイズデータの生成処理を説明する。ここではＬｃｈのデータに関するノイズデータの生成処理について説明するが、Ｒｃｈのデータに関するノイズデータの生成方法も同様である。
【0129】
まず、環境音がないと見なせる状況において、ノイズパラメータを生成する処理について説明する。図１０（ａ）は、環境音がないと見なせる状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＬｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。図１０（ｂ）は、環境音がないと見なせる状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＮｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。横軸は０ポイント目から５１２ポイント目までの周波数を示す軸、縦軸は周波数スペクトルの振幅を示す軸である。
【0130】
環境音がないと見なせる状況のため、Ｌｃｈ＿ＢｅｆｏｒｅおよびＮｃｈ＿Ｂｅｆｏｒｅでは、同じ周波数帯域の周波数スペクトルの振幅が大きくなる。また、光学レンズ３００の筐体内において駆動音が発生しているため、同じ駆動音に対する各周波数スペクトルの振幅はＬｃｈ＿ＢｅｆｏｒｅよりもＮｃｈ＿Ｂｅｆｏｒｅのほうが大きい傾向になる。
【0131】
図１０（ｃ）は本実施例におけるＰＬｘの一例である。本実施例では、ＰＬｘは、Ｌｃｈ＿Ｂｅｆｏｒｅの各周波数スペクトルの振幅をＮｃｈ＿Ｂｅｆｏｒｅの各周波数スペクトルの振幅で除算したことによって算出された各周波数スペクトルの係数である。この除算の結果を、Ｌｃｈ＿Ｂｅｆｏｒｅ／Ｎｃｈ＿Ｂｅｆｏｒｅと記載する。すなわち、ＰＬｘはＬｃｈ＿ＢｅｆｏｒｅおよびＮｃｈ＿Ｂｅｆｏｒｅの振幅の比である。ノイズパラメータ記録部２０７は、Ｌｃｈ＿Ｂｅｆｏｒｅ／Ｎｃｈ＿Ｂｅｆｏｒｅの値をノイズパラメータＰＬｘとして記録している。前述のように、同じ駆動音に対する周波数スペクトルの振幅はＬｃｈ＿ＢｅｆｏｒｅよりもＮｃｈ＿Ｂｅｆｏｒｅのほうが大きい傾向にあるため、ノイズパラメータＰＬｘの各係数の値は１よりも小さい値になる傾向になる。ただし、Ｎｃｈ＿Ｂｅｆｏｒｅ［ｎ］の値が所定の閾値より小さい場合、ノイズパラメータ記録部２０７はＰＬｘ［ｎ］＝０としてノイズパラメータＰＬｘを記録する。
【0132】
次に、生成されたノイズパラメータをＮｃｈ＿Ｂｅｆｏｒｅに適用する処理について説明する。図１１（ａ）は環境音が存在している状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＬｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。図１１（ｂ）は環境音が存在している状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＮｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。横軸は０ポイント目から５１２ポイント目までの周波数を示す軸、縦軸は周波数スペクトルの振幅を示す軸である。
【0133】
図１１（ｃ）は環境音が存在している状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＮＬの一例である。ノイズデータ生成部２０６は、Ｎｃｈ＿Ｂｅｆｏｒｅの各周波数スペクトルと、ＰＬｘの各係数とを乗算し、ＮＬを生成する。ＮＬは、このように生成された周波数スペクトルである。
【0134】
図１１（ｄ）は環境音が存在している状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＬｃｈ＿Ａｆｔｅｒの一例である。減算処理部２０８は、Ｌｃｈ＿ＢｅｆｏｒｅからＮＬを減算し、Ｌｃｈ＿Ａｆｔｅｒを生成する。Ｌｃｈ＿Ａｆｔｅｒは、このように生成された周波数スペクトルである。
【0135】
これにより、撮像装置１００は、光学レンズ３００の筐体内の駆動音が原因であるノイズを低減し、ノイズの少ない環境音を記録することができる。
【0136】
ここで、増幅部２０２がＬマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号とノイズマイク２０１ｃから入力された音声信号を、それぞれ異なる増幅量だけ増幅させた場合の、ノイズデータ生成部２０６におけるノイズデータの生成処理を説明する。
【0137】
ここではＬｃｈのデータに関するノイズデータの生成処理について説明するが、Ｒｃｈのデータに関するノイズデータの生成方法も同様である。
【0138】
まず、雑音増幅部２０２２が増幅量記憶部２０２３で記憶されている増幅量に更新され、雑音増幅部２０２２の増幅量と環境音増幅部２０２１の増幅量の差異が生じた場合のノイズデータ作成方法について説明する。
【0139】
図１２は、ノイズデータ生成部２０６の詳細を説明する図である。ノイズデータ生成部２０６は、増幅量比較部２０６１とＰＬ減算器２０６ａとＰＲ減算器２０６ｂと生成部２０６２を有する。増幅量比較部２０６１は、雑音増幅部２０２２の増幅量から環境音増幅部２０２１の増幅量を減算し、ＰＬ減算器２０６ａを用いて、ＰＬｘからその差分を減算する。例えば、初期値に対して雑音増幅部２０２２の増幅量が０．５倍に設定された場合、ＰＬ減算器２０６ａでは、ＰＬｘを２．０（＝１／０．５）倍にするような減算処理を行う。この処理により、生成部２０６２にて生成されるＮＬは、雑音増幅部２０２２の増幅量と環境音増幅部２０２１の増幅量の差異が補正されたパラメータとなる。
【0140】
次に、Ｎｃｈ＿ＢｅｆｏｒｅにＡ／Ｄ変換部２０３の量子化ノイズが存在する場合のノイズ生成方法について説明する。図１３は、ノイズデータ生成部２０６の詳細を説明する図である。ノイズデータ生成部２０６は、量子化ノイズ比較部２０６３と、生成部２０６２を有する。
【0141】
この場合、ノイズデータ生成部２０６は量子化ノイズパラメータを用いてノイズデータを生成する。ここで、量子化ノイズパラメータとは、例えばＡ／Ｄ変換部２０３で音声信号が変換される際に発生する固有のノイズスペクトルを、ノイズパラメータ記録部２０７に記録したものである。本実施例では、量子化ノイズパラメータは、図９のＰＮ１に示す。
【0142】
【0143】
図１４（ａ）は光学レンズ３００の筐体内で駆動音が発生した場合におけるＮｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。横軸は０ポイント目から５１２ポイント目までの周波数を示す軸、縦軸は周波数スペクトルの振幅を示す軸である。
【0144】
図１４（ｂ）はＡ／Ｄ変換部２０３で音声信号が変換される際に発生する量子化ノイズパラメータＰＮ１の周波数スペクトルの一例である。
【0145】
図１４（ｃ）は、実際に光学レンズ３００の筐体内で発生した駆動音の周波数スペクトルＮｏｉｓｅ＿Ｌｅｎｓの一例である。
【0146】
図１４（ｄ）は、減算処理部２０８にて減算処理を行うＮｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルに対して、実際に光学レンズ３００の筐体内で発生した駆動音の周波数スペクトルがどのくらい含まれているかを示した図である。すなわち、Ｎｃｈ＿Ｂｅｆｏｒｅのうち、グレー表示が残っているサンプルは、量子化ノイズの影響を受けているサンプルであり、グレー表示が残っていないサンプルは、実際に光学レンズ３００の筐体内で発生した駆動音を取得できているサンプルとなる。
【0147】
量子化ノイズ比較部２０６３は、量子化ノイズの影響を受けているサンプルにおけるノイズパラメータを０とする。例えば、量子化ノイズ比較部２０６３は、Ｎｃｈ＿Ｂｅｆｏｒｅとノイズパラメータ記録部２０７に記録されている量子化ノイズとの、サンプルごとに振幅を比較し、振幅の差分がある閾値以下であれば、そのサンプルにおけるノイズパラメータは０とする。
【0148】
図１４（ｅ）は、量子化ノイズの影響を受けているサンプルにおけるノイズパラメータを０とした場合の生成部２０６２にて生成されるＮＬである。
【0149】
ノイズマイク２０１ｃが取得した音声データがＡ／Ｄ変換部２０３の量子化ノイズの影響を受けた場合、この処理によって量子化ノイズの影響を受けた帯域に対して減算処理部２０８による減算処理を行わないことが可能となる。
【0150】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0151】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】