(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0009】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0010】
[実施の形態1]
図面を用いて、本開示の実施の形態について説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率等は現実のものとは異なっている場合がある。従って、具体的な寸法等は以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【0011】
なお、以下の実施の形態では、撮像装置としてデジタルカメラを例に挙げて説明する。以下の説明では、通常姿勢(以下、横撮り姿勢ともいう)の撮像装置を基準として、被写体に向かう方向を「前方」、被写体の反対に向かう方向を「後方」、鉛直上方を「上方」、鉛直下方を「下方」、被写体に正対した状態における右向きを「右方」、被写体に正対した状態における左向きを「左方」、と表現する。
【0012】
図1は、デジタルカメラ100の正面斜視図である。実施の形態1のデジタルカメラ100は、マイクロホン部111を備え、動画撮影時にマイクロホン部111で収音し、画像記録と共に音声記録を行う。以下、デジタルカメラ100の構成および動作を説明する。
【0013】
[1.構成]
以下、図面を用いてデジタルカメラ100の構成を説明する。
【0014】
図1に示すように、デジタルカメラ100は、デジタルカメラボディ102と交換レンズ301とを備える。また、デジタルカメラ100は、その上面にレリーズ釦181、電源スイッチ183およびモードダイヤル184などの操作部180を備える。
【0015】
また、デジタルカメラ100は、その上面にマイクロホン部111を備える。マイクロホン部111は、マイクロホン111Lおよびマイクロホン111Rの2つのマイクロホンを含む。このうち、マイクロホン111Lおよびマイクロホン111Rは、デジタルカメラ100の本体の上面に、左右方向に並んで位置する。また、デジタルカメラ100は、その側面にHDMI(登録商標 以下同様)出力端子105を備える。
【0016】
図2は、デジタルカメラ100の背面構成図である。デジタルカメラ100は、その背面に中央釦185および十字釦186などの操作部180を備える。また、デジタルカメラ100は、その背面に表示部190およびビューファインダ191を備える。
【0017】
図3は、デジタルカメラ100の電気的構成図である。デジタルカメラ100は、デジタルカメラボディ102と交換レンズ301とを備える。デジタルカメラボディ102は、CCDイメージセンサ143、AFE(アナログ・フロント・エンド)144、音声入力系110、デジタル画像・音声処理部120、コントローラ130、RAM150、外部記憶媒体160、ROM170、操作部180、表示部190、ビューファインダ191、ボディマウント340およびHDMI出力端子105を備える。
【0018】
デジタルカメラ100は、外部から得られた情報から画像情報および音声信号を生成する。画像情報は、画像入力系140によって生成される。音声信号は、音声入力系110によって生成される。生成された画像情報および音声信号は、A/D変換され、デジタル画像・音声処理部120で各処理が施された後、メモリカード等の外部記憶媒体160に記録される。生成された画像情報および音声信号は、A/D変換され、デジタル画像・音声処理部120で各処理が施された後、HDMI出力端子105から出力される。外部記憶媒体160に記録された画像情報は、使用者による操作部180の操作を受け付けて、表示部190および/またはビューファインダ191に表示される。外部記憶媒体160に記録された画像情報および音声信号は、HDMI出力端子105から出力される。
【0019】
以下、
図1から
図3に示す各部の詳細を説明する。
【0020】
画像入力系140は、交換レンズ301、CCDイメージセンサ143およびAFE144を備え、CCDイメージセンサ143およびAFE144はデジタルカメラボディ102に設けられている。
【0021】
交換レンズ301は、複数のレンズを有する光学系である。交換レンズ301は、レンズコントローラ320、レンズマウント330、フォーカスレンズ310、OISレンズ318およびズームレンズ312を含む光学系、フォーカスレンズ駆動部311、ズームレンズ駆動部313、絞り316、絞り駆動部317、操作リング315、OIS制御部319、DRAM321、フラッシュメモリ322等を備えている。
【0022】
レンズコントローラ320は、交換レンズ301全体を制御する。レンズコントローラ320は、操作リング315の使用者による操作を受け付けて、ズームレンズ312を駆動させるよう、ズームレンズ駆動部313を制御することができる。レンズコントローラ320は、フォーカスレンズ310を駆動させるよう、フォーカスレンズ駆動部311を制御することができる。レンズコントローラ320は、OISレンズ318を駆動させるよう、OIS制御部319を制御することができる。レンズコントローラ320は、絞り316を駆動させるよう、絞り駆動部317を制御することができる。
【0023】
フォーカスレンズ310、ズームレンズ312、OISレンズ318および絞り316(以降、「各レンズおよび絞り」と言う)を速く動作させると、駆動にともなう音と振動とが大きくなる。逆に、それらをより低速で動作させると、駆動にともなう音と振動とが小さくなる。
【0024】
レンズコントローラ320は、DRAM321や、フラッシュメモリ322に接続されており、必要に応じて情報を書き込んだり、読み出したりすることができる。また、レンズコントローラ320は、レンズマウント330を介して、コントローラ130と通信することができる。尚、コントローラ130は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコントローラなどで構成してもよい。
【0025】
レンズマウント330は、デジタルカメラボディ102が備えるボディマウント340と相俟って、交換レンズ301およびデジタルカメラボディ102を機械的および電気的に接続するための接続部材である。交換レンズ301とデジタルカメラボディ102とが機械的および電気的に接続されると、レンズコントローラ320と、コントローラ130とは通信可能な状態となる。
【0026】
DRAM321は、レンズコントローラ320による各種制御の際のワークメモリとして使用される。また、フラッシュメモリ322は、レンズコントローラ320による各種制御の際に使用するプログラムやパラメータ、レンズデータ等を格納している。
【0027】
フォーカスレンズ310は、交換レンズ301の光学系に入射されCCDイメージセンサ143上に形成される被写体像のフォーカス状態を変化させるためのレンズである。フォーカスレンズ310のレンズ構成は何枚でも何群でもよい。フォーカスレンズ駆動部311は、レンズコントローラ320から通知される制御信号に基づいてフォーカスレンズ310を光学系の光軸に沿って進退するように駆動する。尚、フォーカスレンズ駆動部311は、例えばステッピングモータ、DCモータ、超音波モータなどにより実現できる。
【0028】
ズームレンズ312は、交換レンズ301の光学系で形成される被写体像の倍率を変化させるためのレンズである。ズームレンズ312のレンズ構成は何枚でも何群でもよい。ズームレンズ駆動部313は、レンズコントローラ320から通知される制御信号に基づいてズームレンズ312を光学系の光軸に沿って進退するように駆動する。尚、ズームレンズ駆動部313は、例えばステッピングモータ、DCモータ、超音波モータなどにより実現できる。OISレンズ318は、交換レンズ301の光学系で形成される被写体像のぶれを補正するためのレンズである。具体的には、OISレンズ318は、デジタルカメラ100のぶれによって生じる被写体像のぶれを補正する。OISレンズ318は、デジタルカメラ100のぶれを相殺する方向に移動することにより、CCDイメージセンサ143と被写体像との相対的なぶれを小さくする。具体的には、OISレンズ318は、デジタルカメラ100のぶれを相殺する方向に移動することにより、CCDイメージセンサ143上の被写体像のぶれを小さくする。OISレンズ318は、1枚又は複数枚のレンズで構成される。OIS制御部319は、光学系の光軸に垂直な面内でOISレンズ318を駆動する。
【0029】
絞り316は、複数の機械羽根を開閉可能に構成されている。絞り316は、交換レンズ301の光学系に入射する光量を調節することができる調節部材である。絞り駆動部317は、レンズコントローラ320から通知される制御信号に基づいて、絞り316の機械羽根の開閉状態を変化させるよう駆動する。尚、絞り駆動部317は、例えば、ステッピングモータ、DCモータ、超音波モータなどにより実現できる。
【0030】
操作リング315は、交換レンズ301の外面に備わる操作部材である。操作リング315は、交換レンズ301に対して相対的に回転するように構成されている。操作リング315の回転位置や、回転速度は不図示の検出部により検出されて、レンズコントローラ320に通知される。レンズコントローラ320は、通知された操作リング315の回転位置や回転速度に基づいて、ズームレンズ312の駆動部に対して駆動制御信号を供給することができる。操作リング315の操作によって、ズームレンズ312を駆動させるよう、レンズコントローラ320はズームレンズ駆動部313に駆動制御信号を供給する。
【0031】
ボディマウント340は、交換レンズ301が備えるレンズマウント330と相俟って、交換レンズ301およびデジタルカメラボディ102を機械的及び電気的に接続するための接続部材である。交換レンズ301とデジタルカメラボディ102とが機械的および電気的に接続されると、レンズコントローラ320と、コントローラ130とは通信可能な状態となる。ボディマウント340は、コントローラ130から受信した露光同期信号やその他制御信号を、レンズマウント330を介してレンズコントローラ320に通知する。また、ボディマウント340は、レンズマウント330を介してレンズコントローラ320から受信した信号をコントローラ130に通知する。
【0032】
CCDイメージセンサ143は、交換レンズ301を通して形成された被写体像を撮像して画像情報を生成する。CCDイメージセンサ143の受光面には、多数のフォトダイオードが2次元的に(マトリクス状に)配列されている。また、各フォトダイオードに対応して、R(赤)、G(緑)またはB(青)の原色カラーフィルターが配置されている。R、GおよびBの原色カラーフィルターは、所定の配列構造で配置されている。撮像対象となる被写体からの光は、交換レンズ301を通過した後に、CCDイメージセンサ143の受光面に結像される。結像された被写体像は、各フォトダイオードへ入射した光量に応じて、R、GまたはBに仕分けられたそれぞれの色情報に変換される。その結果、被写体像全体を示す画像情報が生成される。各フォトダイオードは、CCDイメージセンサ143の画素に対応する。しかし、各フォトダイオードから実際に出力される色情報は、R、G、Bのいずれかの原色情報である。そのため、各画素のそれぞれで発現させるべき色は、後段のデジタル画像・音声処理部120において、各画素に対応するフォトダイオードおよび、その周辺のフォトダイオードから出力される原色情報(色、光量)に基づき生成される。なお、CCDイメージセンサ143は、デジタルカメラ100が撮影モードにあるとき、一定時間ごとに新しいフレームの画像情報を生成することができる。
【0033】
AFE144では、CCDイメージセンサ143から読み出された画像情報に対して相関二重サンプリングによる雑音抑圧、アナログゲインコントローラによるA/Dコンバータの入力レンジ幅への増幅、A/DコンバータによるA/D変換が施される。その後、AFE144は、画像情報をデジタル画像・音声処理部120に出力する。
【0034】
音声入力系110は、マイクロホン部111およびアナログ音声処理部115を備える。マイクロホン部111は、マイクロホン111L、111Rを含む。マイクロホン部111は、音響信号を各マイクロホンにより電気信号に変換して、アナログ音声処理部115に入力する。アナログ音声処理部115は、処理した音声信号をA/DコンバータによりA/D変換し、デジタル画像・音声処理部120に出力する。
【0035】
デジタル画像・音声処理部120は、AFE144から出力された画像情報およびアナログ音声処理部115から出力された音声信号に対して各種の処理を施す。例えば、デジタル画像・音声処理部120は、コントローラ130からの指示に従って、画像情報に対してガンマ補正やホワイトバランス補正、傷補正、符号化処理等を行う。また、デジタル画像・音声処理部120は、コントローラ130からの指示に従って、音声信号に対する各種処理を行う。デジタル画像・音声処理部120は、ハードワイヤードな電子回路で実現してもよいし、プログラムを実行するマイクロコントローラなどで実現してもよい。デジタル画像・音声処理部120は、コントローラ130などと一体的に1つの半導体チップとして実現してもよい。
【0036】
デジタル画像・音声処理部120は、マイクロホン部111の出力である音声信号を演算処理してフィルタ処理や指向性合成処理を行う。音声信号のフィルタ処理および指向性合成処理についての詳細な説明は後述する。
【0037】
表示部190は、デジタルカメラ100の背面に配置される。本実施の形態では、表示部190は、液晶ディスプレイである。表示部190は、デジタル画像・音声処理部120にて処理された画像情報に基づく画像を表示する。表示部190が表示する画像には、スルー画像、再生画像、制御選択画面、警告画面および電源終了画面などがある。スルー画像は、CCDイメージセンサ143により一定時間ごとに連続的に新たに生成されるフレームの画像である。通常は、デジタルカメラ100が撮影モードに設定されており、かつ静止画撮影を行っていない待機状態、または動画撮影状態にあるときに、デジタル画像・音声処理部120がCCDイメージセンサ143の生成した画像情報からスルー画像を生成する。使用者は、表示部190に表示されるスルー画像を参照することにより、被写体の構図を確認しながら被写体を撮影できる。再生画像は、デジタルカメラ100が再生モードにあるときに、デジタル画像・音声処理部120により生成される。再生画像は、外部記憶媒体160等に記録された高画素の記録画像を、表示部190のサイズに合わせて低画素に縮小した画像である。外部記憶媒体160に記録される高画素の画像情報は、レリーズ釦181が使用者による所定の操作を受け付けた後に、CCDイメージセンサ143が生成した画像情報に基づいてデジタル画像・音声処理部120により生成される。制御選択画面には、使用者が各種設定を選択決定するためのメニュー画面、および、HDMI出力端子105に外部の機器が接続された場合に表示されるレンズ制御選択画面などがある。メニュー画面は、例えば、スルー画像表示中に使用者が操作部180を操作することにより、表示される。レンズ制御選択画面の詳細については後述する。静止画または動画の撮影中であるモードを撮影モードと呼ぶ。静止画または動画を撮影中でないときに表示部がスルー画像を表示するモードをライブモードと呼ぶ。表示部190が再生画像を表示するモードを再生モードと呼ぶ。表示部190がメニュー画面を表示するモードをメニューモードと呼ぶ。表示部190が表示する表示内容は、ビューファインダ191で表示することもできる。
【0038】
コントローラ130は、デジタルカメラ100全体の動作を統括制御する。
【0039】
ROM170は、コントローラ130が実行するための、オートフォーカス制御(AF制御)や自動露出制御(AE制御)、ストロボの発光制御などに関するプログラムの他、デジタルカメラ100全体の動作を統括制御するためのプログラムを格納している。ROM170は、デジタルカメラ100に関する各種条件および設定を記憶する。なお、本実施の形態では、ROM170は、フラッシュROMである。
【0040】
コントローラ130は、ハードワイヤードな電子回路で実現してもよいし、プログラムを実行するマイクロコントローラなどで実現してもよい。また、コントローラ130は、デジタル画像・音声処理部120などと一体的に1つの半導体チップとして実現してもよい。また、ROM170は、コントローラ130の外部に(コントローラ130とは別体として)存在している必要はなく、コントローラ130の内部に組み込まれていてもよい。
【0041】
RAM150は、デジタル画像・音声処理部120およびコントローラ130のワークメモリとして機能する。RAM150は、SDRAMやフラッシュメモリなどで実現できる。RAM150は、画像情報および音声信号などを記録するための内部メモリとしても機能する。
【0042】
外部記憶媒体160は、内部にフラッシュメモリ等の不揮発性の記録部を備えた外部メモリである。外部記憶媒体160は、デジタル画像・音声処理部120で処理される画像情報および音声信号などのデータを記録可能である。
【0043】
操作部180は、デジタルカメラ100の外装に配置される操作釦や操作ダイヤルなどの操作インターフェースの総称である。操作部180は、使用者による操作を受け付ける。例えば、
図1、
図2および
図3に示したレリーズ釦181、電源スイッチ183、モードダイヤル184、中央釦185および十字釦186などがこれにあたる。操作部180は、使用者による操作を受け付けると、コントローラ130に種々の動作を指示する信号を通知する。
【0044】
レリーズ釦181は、半押し状態と全押し状態の二段階に遷移する押下式釦である。レリーズ釦181が使用者により半押しされると、コントローラ130は、AF(Auto Focus)制御および/またはAE(Auto Exposure)制御などを実行し、撮影条件を決定する。AF制御においては、デジタル画像・音声処理部120が画像情報の所定領域におけるコントラスト値を算出し、これに基づいてコントローラ130が交換レンズ301を駆動させ、コントラスト値が最大になるようにフィードバック制御を行う。AF制御の結果、コントローラ130は、AF制御対象の被写体までの焦点距離を得ることができる。また、AF制御の結果、交換レンズ301は、AF制御対象の被写体像をCCDイメージセンサ143に結像させることができる。続いて、レリーズ釦181が使用者により全押しされると、コントローラ130は、全押しのタイミングに撮像された画像情報を外部記憶媒体160などに記録する。
【0045】
電源スイッチ183は、デジタルカメラ100の各部への電力供給をON/OFFするためのスライド式スイッチである。電源OFF時に電源スイッチ183が使用者により右方にスライドされると、コントローラ130は、デジタルカメラ100の各部に電力を供給し、各部を起動させる。電源ON時に電源スイッチ183が使用者により左方にスライドされると、コントローラ130は、デジタルカメラ100の各部への電力供給を停止する。
【0046】
モードダイヤル184は、回転式のダイヤルである。モードダイヤル184が使用者により回転されると、コントローラ130は、デジタルカメラ100の動作モードを、モードダイヤル184の現在の回転位置に対応する動作モードに切り替える。動作モードとは、例えば、オート撮影モード、マニュアル撮影モード、シーン選択モードなどである。なお、オート撮影モード、マニュアル撮影モードおよびシーン選択モードを、総称して撮影モードと呼ぶものとする。
【0047】
中央釦185は、押下式釦である。デジタルカメラ100が撮影モードあるいは再生モードにあるときに、中央釦185が使用者により押下されると、コントローラ130は、表示部190にメニュー画面を表示する。メニュー画面とは、使用者に様々な撮影条件および再生条件を設定させるための画面である。メニュー画面上で使用者により各種条件の設定項目の値が選択されている状態で中央釦185が押下されると、その設定項目がその値に決定される。決定された設定は、ROM170に記憶される。
【0048】
十字釦186は、上下左右方向に設けられた4つの押下式釦を備える。使用者は、十字釦186のいずれかの方向の釦を押下することにより、メニュー画面上に表示される各種条件の設定項目の値を選択することができる。
【0049】
[2.レンズ制御と撮影のモード]
静止画を撮影する際には、シャッターチャンスを逃さないように、各レンズおよび絞りを素早く目標値に追従させるように、各レンズおよび絞りの動きを速くすることが望ましい。このように、静止画に適したレンズ制御を行うモードを「静止画優先モード」と呼ぶ。撮影対象物が動く状況や使用者が動く状況または明るさが変わるような状況では、レリーズ釦181が押されてから各レンズおよび絞りの制御を開始すると、その制御速度が速かったとしてもシャッターチャンスに間に合わない場合がある。このような状況では、レリーズ釦181が押される前から、各レンズおよび絞りの素早い制御を常に行うことが望ましい。レリーズ釦181が押される前から各レンズおよび絞りの素早い制御を常に行うレンズ制御も、静止画優先モードに含まれる。
【0050】
動画を撮影する際には、各レンズおよび絞りを素早く動かすと、映像が不自然になり違和感が発生することがある。また、各レンズおよび絞りが素早く動くためにそれらの駆動時に発生する振動や音が大きく記録されることがある。従って、動画を撮影する際には、各レンズおよび絞りをゆっくりと目標値に追従させるように、それらの動きを遅くした方が望ましい。このように、動画に適したレンズ制御を行うモードを「動画優先モード」と呼ぶ。動画優先モードでは、静止画優先モードの場合に比べて、各レンズおよび絞りを動かす速度が遅くなっている。
【0051】
ところで、撮影した動画ファイルから、静止画を切り出す手法が知られている。例えば、画素数4K、フレームレート30pの動画は、3840×2160ピクセルの画素数の絵を1秒間に30コマ撮影してそれを連続再生して表現している。こうして撮られた動画のシーンの1コマを切り出して、静止画として利用する手法である。元の動画ファイルが動画優先モードで撮影されている場合、前述のように、各レンズおよび絞りの制御が遅いために、動画としての品質は良くても、元の動画ファイルから切り出した静止画の品質は良くない場合がある。撮影後に動画ファイルから切り出す静止画の品質を良くする目的で、動画としての品質を落としても、レンズの制御を静止画優先モードにして動画を撮影するモードを「静止画優先動画モード」と呼ぶ。使用者は、操作部180を操作して、静止画優先動画モードを選択して動画を撮影することができる。静止画優先動画モードで撮影された動画ファイルは、再生すると、通常の動画と同じように視聴することができる。静止画優先動画モードでは、先述のように、レンズの制御は静止画優先モードであるため、映像が不自然になり違和感が発生することがある。また、静止画優先動画モードでは、各レンズおよび絞りが素早く動くためにそれらの駆動時に発生する振動や音は大きい。すなわち、レンズの制御を動画優先モードとした場合と比較して、レンズの駆動にともなうノイズが増大し、撮影された動画データの音質が低下することがある。なお、レンズの制御を動画優先モードにして動画を撮影する通常のモードは「動画モード」と呼ぶ。
【0052】
[3.動作]
続いて、本実施の形態におけるデジタルカメラ100の動作の概要について説明する。
【0053】
デジタル画像・音声処理部120はマイクロホン部111の出力である音声信号を演算処理することでフィルタ処理を施す。一般的に、フィルタ処理において平坦に近い周波数特性のフィルタを用いたほうが原音に忠実な音声信号が得られ、高音質を実現するために望ましいことが知られている。従って、使用者が、操作部180を操作して、動画モードを選択して動画を撮影する場合、デジタル画像・音声処理部120が音声信号に施すフィルタ処理は平坦に近い周波数特性であることが望ましい。一方で、従来から、音声信号のノイズを抑圧する目的で帯域制限フィルタを利用することが知られている。使用者が、操作部180を操作して、静止画優先動画モードを選択して動画を撮影する場合、先述のように、レンズの制御は静止画優先モードであるため、各レンズおよび絞りが素早く動く。静止画優先動画モードにおいて各レンズおよび絞りの駆動にともない発生する振動や音は、動画モードにおける振動や音より大きい。これらの振動や音は、動作音として動画データに記録される。これらの動作音は、聴きたい音でなくノイズである。静止画優先動画モードは、動画モードより動作音が大きいため、ノイズにより動画の音質が低下する恐れがある。そこで静止画優先動画モードにおいては、ノイズをより小さく抑えるため、帯域制限フィルタを利用して音声信号にフィルタ処理を施すことが望ましい。具体的には、デジタル画像・音声処理部120が音声信号に施すフィルタ処理として、高音域と低音域とが下がった凸型の周波数特性である帯域制限フィルタを利用することが望ましい。
【0054】
図4は、デジタルカメラ100の音声信号のフィルタ処理選択の動作の流れを示すフローチャートである。
図4を用いて、デジタルカメラ100の音声信号のフィルタ処理選択の動作の流れを説明する。音声信号のフィルタ処理選択のステップS401において、使用者が、デジタルカメラ100の操作部180を操作して、静止画優先動画モードを選択した場合、ステップS402に移行する。ステップS401において、使用者が、デジタルカメラ100の操作部180を操作して、静止画優先動画モードを選択しなかった場合、ステップS403に移行する。ステップS402において、コントローラ130は、音声信号に施すフィルタ処理に用いるフィルタの周波数特性が高音域と低音域とが下がった凸型の周波数特性となるように、デジタル画像・音声処理部120を制御し、ステップS404に移行する。ステップS403において、コントローラ130は、音声信号に施すフィルタ処理に用いるフィルタの周波数特性が平坦に近いフラットな周波数特性となるように、デジタル画像・音声処理部120を制御して、ステップS404に移行する。ステップS404において、使用者が、デジタルカメラ100の操作部180を操作して、動画の撮影を開始した場合には、音声信号のフィルタ処理選択を終了する。そうでない場合には、ステップS401に移行する。
【0055】
このように、静止画優先動画モードを選択して動画撮影を行う場合、音声信号に施すフィルタ処理に用いるフィルタの周波数特性が高音域と低音域とが下がった凸型の周波数特性となるようにしている。このため、記録される動画の音声信号中に各レンズおよび絞りの駆動にともなう動作音が含まれる場合でも、その動作音を小さく抑えることができ、音声信号の目的音を聴きやすくすることができる。したがって、動画から画像を抽出し当該画像が静止画として利用可能となるような撮影条件の下で撮影して当該動画を記録するとき、記録される動画の音声信号中に撮像装置の構成部材の動作音が含まれる場合でも、当該動作音を小さく抑えることができる。
【0056】
次に、指向性合成処理について説明する。デジタル画像・音声処理部120は、マイクロホン部111の出力である音声信号を演算処理することで指向性合成処理を施す。
【0057】
一般的に、左右に並んだ2つのマイクロホンを録音に用いる場合、動画記録における音声信号の記録方式は、左チャネル(Lch)と右チャネル(Rch)の2つのチャネルを有するステレオ方式である。また、一般的に、臨場感が豊かな音を得る目的で、左方に指向性を有する信号をLchとし、右方に指向性を有する信号をRchとする。こうすることで、再生時に、左方から来た音が左チャネルから大きく聴こえ、右方から来た音が右チャネルから大きく聴こえるので、臨場感が豊かな音を聴くことが出来る。このように指向性を制御する処理をステレオ処理と呼ぶ。一方で、LchとRchとが同じ信号になるように指向性を制御する処理をモノラル処理と呼ぶ。モノラル処理は、臨場感は低いが、後述するように、目的音を聴きやすくする(S/N比を大きくする)効果がある。
【0058】
図5A〜Cは、デジタルカメラ100の音声信号の指向性合成処理の例を示す図である。
【0059】
図5Aは、Lch出力を得るための指向性合成処理を示す図である。デジタルカメラ100の右方から来る音波は、先に右側のマイクロホン111Rに到達して、その後、時間τ後に、左側のマイクロホン111Lに到達する。マイクロホン111Rとマイクロホン111Lとの距離がd、音波の速度をcとすると、τは式(1)のように示すことができる。
【0060】
τ=d/c ・・・式(1)
まず、ステレオ処理について説明する。
【0061】
右側のマイクロホン111Rの出力をτだけ遅延させて、この結果を左側のマイクロホン111Lの出力から引くと、右方から来る音波に対する出力は相殺される。遅延器601は、時間τの遅延を、マイクロホン111Rの出力に与える。符号器602は、遅延器601の出力に負の符号(マイナス:−)を掛ける。つまり符号器602は、符号器602の入力を反転した信号を出力する。加算器603は、マイクロホン111Lの出力に符号器602の出力を加算して出力する。すなわち、加算器603の出力は、マイクロホン111Lの出力から遅延器601の出力を減算したものに等しい。乗算器604は、加算器603の出力に1を掛けて、Lch出力を得る。以上の処理により、右方から来る音波に対して感度が低いLch用の出力が、得られる。
【0062】
図5Bは、Rch用の出力を得る為の指向性合成処理を示す図である。左右が逆になっていること以外は、
図5Aと同様の処理である。すなわち、遅延器605は、時間τの遅延を、マイクロホン111Lの出力に与える。符号器606は、遅延器605の出力に負の符号(マイナス:−)を掛ける。つまり、符号器606は、符号器606の入力を反転した信号を出力する。加算器607は、マイクロホン111Rの出力に符号器606の出力を加算して出力する。すなわち、加算器607の出力は、マイクロホン111Rの出力から遅延器605の出力を減算したものに等しい。乗算器608は、加算器607の出力に1を掛けて、Rch用の出力を得る。以上の処理により、左方から来る音波に対して感度が低いRch用の出力が、得られる。
【0063】
ステレオ処理により得られるLch用の出力およびRch用の出力は、上述のように、左方および右方に指向性を持つため、臨場感が豊かな音を得ることが出来る。しかし、一方で、加算器603および加算器607で、信号が減算されているため、各加算器の出力における信号は小さくなる。そのため、Lch用の出力およびRch用の出力におけるS/N比が小さくなり、目的の音が聞こえにくくなる恐れがある。
【0064】
次に、モノラル処理について説明する。
【0065】
図5Cはモノラル処理における音声信号の合成処理の例を示す図である。加算器607は、マイクロホン111Rの出力とマイクロホン111Lの出力とを加算し、乗算器608に出力する。乗算器608は、加算器607の出力に適切な値を掛けて、Rch用の出力を得る。例えば、乗算器608が0.5を掛けて出力することにより、マイクロホン111Rの出力とマイクロホン111Lの出力との平均がRch用の出力として得られる。なお、乗算器608が掛ける値は、例えば、モノラル処理におけるRch用の出力の大きさが、ステレオ処理により得られるRch用の出力の大きさと同程度の大きさになるように設定されても良い。なお、
図5CではRch用の出力を得るための合成処理について示したが、Lch用の出力を得るための合成処理も同様である。
【0066】
図5Cで示したモノラル処理における音声信号の合成処理は、
図5Aおよび
図5Bに示されるステレオ処理の構成を用いて実現できる。
【0067】
図5Aにおいて、遅延器601は、時間ゼロの遅延をマイクロホン111Rの出力に与える。すなわち、遅延器601は、遅延させない。符号器602は、遅延器601の出力に正の符号(プラス:+)を掛ける。つまり、符号器602は、入力と同じ信号を出力する。加算器603は、マイクロホン111Lの出力に符号器602の出力を加算して出力する。すなわち、加算器603の出力は、マイクロホン111Lの出力とマイクロホン111Rの出力とを足し合わせたものに等しい。乗算器604は、加算器603の出力に0.5を掛けて、Lch用の出力を得る。つまり、ここで得られるLch用の出力は、マイクロホン111Lの出力とマイクロホン111Rの出力との平均値である。
【0068】
図5Bにおいて、遅延器605は、時間ゼロの遅延をマイクロホン111Lの出力に与える。すなわち、遅延器605は、遅延させない。符号器606は、遅延器605の出力に正の符号(プラス:+)を掛ける。つまり、符号器606は、入力と同じ信号を出力する。加算器607は、マイクロホン111Rの出力に符号器606の出力を加算して出力する。すなわち、加算器607の出力は、マイクロホン111Lの出力とマイクロホン111Rの出力とを足し合わせたものに等しい。乗算器608は、加算器607の出力に0.5を掛けて、Rch用の出力を得る。つまり、ここで得られるRch用の出力は、マイクロホン111Lの出力とマイクロホン111Rの出力との平均値である。
【0069】
このように、モノラル処理により得られるLch用およびRch用の出力は、上述のとおり、どちらもマイクロホン111Lの出力とマイクロホン111Rの出力との平均値である。その結果、左方や右方に指向性を持たないため、臨場感は低い。しかし一方で、加算器603および加算器607でそれぞれの信号が足し合わされているため、加算器603および加算器607の出力における信号は大きくなる。そのため、Lch用の出力およびRch用の出力におけるS/N比が大きくなる。すなわち、音声信号の大きさに対するノイズの大きさが、相対的に小さくなる。つまり、指向性合成処理をモノラル処理とすることによって、各レンズおよび絞りの駆動にともなうノイズが抑圧され、目的の音が聞きやすくなる効果がある。
【0070】
図6は、デジタルカメラ100の音声信号の指向性合成処理選択の動作の流れを示すフローチャートである。
図6に示すように、音声信号の指向性合成処理選択のステップS501において、使用者が、デジタルカメラ100の操作部180を操作して、静止画優先動画モードを選択した場合、ステップS502に移行する。ステップS501において、使用者が、デジタルカメラ100の操作部180を操作して、静止画優先動画モードを選択しなかった場合、ステップS503に移行する。ステップS502において、コントローラ130は、音声信号に施す指向性合成処理がモノラル処理となるように、デジタル画像・音声処理部120を制御して、ステップS504に移行する。ステップS503において、コントローラ130は、音声信号に施す指向性合成処理がステレオ処理となるように、デジタル画像・音声処理部120を制御して、ステップS504に移行する。ステップS504において、使用者が、デジタルカメラ100の操作部180を操作して、動画の撮影を開始した場合には、音声信号の指向性合成処理選択を終了する。そうでない場合には、ステップS501に移行する。
【0071】
このように、静止画優先動画モードを選択して動画撮影を行う場合、音声信号に施す指向性合成処理がモノラル処理となるので、S/N比が大きくなり目的の音が聞きやすくなる。すなわち、記録される動画の音声信号中に各レンズおよび絞りの駆動にともなう動作音が含まれる場合でも、その動作音を小さく抑えることができる。したがって、動画から画像を抽出し当該画像が静止画として利用可能となるような撮影条件の下で撮影して当該動画を記録するとき、記録される動画の音声信号中に撮像装置の構成部材の動作音が含まれる場合でも、当該動作音を小さく抑えることができる。
【0072】
図7を用いて、フィルタ処理および指向性合成処理によるノイズ抑圧について説明する。周波数特性701は、フィルタ処理に平坦な周波数特性のフィルタを用いるとともに、指向性合成処理をステレオ処理としたときのノイズ抑圧比である。周波数特性702は、フィルタ処理に帯域制限フィルタを用いるとともに、指向性合成処理をステレオ処理としたときのノイズ抑圧比である。周波数特性703は、フィルタ処理に平坦な周波数特性のフィルタを用いるとともに、指向性合成処理をモノラル処理としたときのノイズ抑圧比である。周波数特性704は、フィルタ処理に帯域制限フィルタを用い、さらに指向性合成処理をモノラル処理としたときのノイズ抑圧比である。なお、
図7において、指向性合成処理をモノラル処理としたときのノイズ抑圧比は、出力信号の大きさがステレオ処理と同等となるよう、乗算器604,608を設定したときのものである。
【0073】
周波数特性702は、周波数特性701と比較して、高音域および低音域に分布するノイズが抑圧されることを示している。すなわち、フィルタ処理として凸型の周波数特性である帯域制限フィルタを用いることにより、動画の音声信号に含まれる動作音のうち、高音域および低音域に分布する成分が抑えられる。周波数特性703は、周波数特性701と比較して、広い周波数帯域にわたってノイズが抑圧されることを示している。すなわち、指向性合成処理をモノラル処理とすることにより、動画の音声信号に含まれる動作音が広い周波数帯域にわたって抑えられる。周波数特性704は、周波数特性701と比較して、帯域制限フィルタの帯域内である中音域のノイズを抑圧しつつ、高音域および低音域のノイズはより強く抑圧できることを示している。すなわち、フィルタ処理と指向性合成処理を組み合わせることによって、動画の音声信号に含まれる動作音を低音域から高音域までバランスよく抑えられる。
【0074】
静止画優先動画モードにおいて、フィルタ処理と指向性合成処理の両方を、静止画優先動画モードに対応した設定とすることにより、動作音を低音域から高音域まで効率よく抑えられる。これにより、各レンズおよび絞りを高速で駆動するような撮影条件の下でも、動作音が全ての周波数でバランスよく抑えられ、動作音による違和感を減じることができる。
【0075】
[4.本開示との対応関係]
デジタルカメラ100は、本開示の撮像装置の一例である。フォーカスレンズ310、ズームレンズ312またはOISレンズ318は、本開示の可動レンズの一例である。CCDイメージセンサは、本開示の撮像部の一例である。コントローラ130またはレンズコントローラ320は、本開示の制御部の一例である。静止画優先動画モードは、本開示の第1モードの一例である。動画モードは、本開示の第2モードの一例である。
【0076】
[他の実施の形態]
本開示は、上記実施の形態に限定されず、種々の実施形態が考えられる。以下、本開示の他の実施の形態についてまとめて記載する。
【0077】
上記実施の形態において、収音装置を備えた撮像装置としてデジタルカメラ100を例に挙げて説明した。しかしながら、撮像装置は、動画撮影(音声記録)が可能な機器であればよい。すなわち、ビデオカメラであってもよい。
【0078】
上記実施の形態において、デジタル画像・音声処理部120およびコントローラ130は、各々上記のような機能および構成を有するものとして説明したが、各々の持つ機能および構成の一部が他方に含まれるような構成としてもよい。
【0079】
上記実施の形態において、CCDイメージセンサ143を、撮像部の一例として説明したが、本開示はこれに限定されない。すなわち、CMOSイメージセンサや、NMOSイメージセンサなど他の撮像素子であっても本開示に適用可能である。