特許 5748422 電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5748422

(24)【登録日】2015年5月22日

(45)【発行日】2015年7月15日

(54)【発明の名称】電子機器

(51)【国際特許分類】

   H04N 5/225 20060101AFI20150625BHJP

   H04N 5/232 20060101ALI20150625BHJP

   H04R 3/00 20060101ALI20150625BHJP

【ＦＩ】

   H04N5/225 F

   H04N5/232 A

   H04R3/00 320

【請求項の数】5

【全頁数】22

(21)【出願番号】特願2010-148133(P2010-148133)

(22)【出願日】2010年6月29日

(65)【公開番号】特開2012-15651(P2012-15651A)

(43)【公開日】2012年1月19日

【審査請求日】2013年6月6日

(73)【特許権者】

【識別番号】313003417

【氏名又は名称】株式会社ザクティ

(74)【代理人】

【識別番号】100085501

【弁理士】

【氏名又は名称】佐野 静夫

(74)【代理人】

【識別番号】100124132

【弁理士】

【氏名又は名称】渋谷 和俊

(74)【代理人】

【識別番号】100128842

【弁理士】

【氏名又は名称】井上 温

(74)【代理人】

【識別番号】100129562

【弁理士】

【氏名又は名称】山本 昌則

(74)【代理人】

【識別番号】100141092

【弁理士】

【氏名又は名称】山本 英生

(72)【発明者】

【氏名】津田 佳行

(72)【発明者】

【氏名】鍬田 海平

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００６−１０１３１０（ＪＰ，Ａ）

【文献】 特開平０８−２９８６０９（ＪＰ，Ａ）

【文献】 特開２００７−００５８４９（ＪＰ，Ａ）

【文献】 特開２０１１−２２３４０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

対象画像に対応する対象音響信号に対して音響信号処理を施す音響信号処理部を備えた電子機器において、
ピントの合っている物体の画像データが存在する合焦領域の、水平方向及び垂直方向の大きさを含む対象画像上の位置を合焦位置として取得する合焦位置取得部を備え、
前記音響信号処理部は、前記合焦位置に応じて前記音響信号処理の内容を制御することを特徴とする電子機器。

【請求項2】

前記音響信号処理部は、前記合焦位置における音源からの音が強調されるように、前記対象音響信号に対して前記音響信号処理を施す
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記音響信号処理部は、前記対象画像の合焦状態に応じて前記音響信号処理の内容を制御し、
前記合焦状態には前記対象画像の被写界深度も含まれ、
前記音響信号処理部は、前記合焦位置及び前記被写界深度に応じて前記音響信号処理の内容を制御する
ことを特徴とする請求項１または請求項２に記載の電子機器。

【請求項4】

前記音響信号処理部は、前記被写体深度が比較的深い場合と前記被写界深度が比較的浅い場合とで、前記音響信号処理の内容を異ならせる
ことを特徴とする請求項３に記載の電子機器。

【請求項5】

画像処理によって前記対象画像の合焦状態を変更する画像加工部を更に備え、
前記音響信号処理部は、その変更が成された際、変更後の合焦状態に応じて前記音響信号処理の内容を制御し、
前記合焦状態には、対象入力画像の合焦位置、合焦距離、被写界深度の深さ及び合焦度の内、少なくとも１つが含まれる
ことを特徴とする請求項１〜請求項４の何れかに記載の電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルカメラ等の電子機器に関する。

【背景技術】

【0002】

映像と共に音声を記録及び再生可能な、デジタルカメラ等の電子機器が広く普及している。この種の電子機器において、特定の方向に指向性を持たせて音声を録音又は再生する方法が提案されている。

【0003】

例えば、第１従来方法に係るビデオカメラでは、表示画面に撮影画像を表示しつつ、ユーザが指示した表示画面上の位置に対応する方向に対して、マイクロホンアレイの指向性を設定するようにしている（例えば下記特許文献１参照）。下記特許文献２の方法も、これに類似する。

【0004】

また例えば、第２従来方法では、特定種類の被写体（例えば人物）が存在する方向を検出し、検出方向に応じて記録音声等の指向性を制御する。第２従来方法又は第２従来方法に類する方法が、例えば、下記特許文献３及び４の開示内容の一部に含まれている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−２７１１５７号公報

【特許文献2】特開２００５−１２４０９０号公報

【特許文献3】特開２００９−６５５８７号公報

【特許文献4】特開２００９−１５６８８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

第１従来方法によれば、ユーザの興味に合致した指向性を記録音声又は再生音声に持たせることができる。但し、指向性の方向を定めるためにユーザの指示が必須となるため、ユーザの操作負担が大きい。

【0007】

一方、第２従来方法によれば、ユーザの指示を待つまでもなく、ユーザが注目を置くと予想される特定種類の被写体の方向に指向性を合わせることができる。しかしながら、第２従来方法が有効に機能するのは、特定種類の被写体が撮影範囲に存在する場合のみであり、特定種類以外の被写体がユーザに注目されていた場合には、指向性制御が有効に機能しない。

【0008】

そこで本発明は、ユーザに特段の操作負担を課すことなく且つ音源としても機能しうる物体の種類に依存することなく、ユーザの意図に沿うような音響信号を生成することのできる電子機器を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る電子機器は、

【0010】

例えば、対象画像が再生される際、ピントの合っている物体に視聴者の興味が集中することが多い。上記構成の如く、合焦状態に応じて音響信号処理の内容を制御するようにすれば、例えば、視聴者の興味が集中する画像部分に対応する方向に、指向性の方向を合わせるといったことも可能となる。結果、視聴者（ユーザ）の意図に沿うような音響信号を生成することが可能となる。この際、ユーザに特段の操作負担を課すこともないし、物体の種類に依存することなく上記制御を成すことが可能である。

【0011】

具体的には例えば、ピントの合っている物体の画像データが存在する合焦領域の、前記対象画像上の位置を合焦位置として取得する合焦位置取得部を当該電子機器に設けるようにすると良い。そして例えば、前記音響信号処理部は、前記合焦位置に応じて前記音響信号処理の内容を制御する。

【0012】

より具体的には例えば、前記音響信号処理部は、前記合焦位置における音源からの音が強調されるように、前記対象音響信号に対して前記音響信号処理を施す。

【0013】

また例えば、前記合焦状態には前記対象画像の被写界深度も含まれ、前記音響信号処理部は、前記合焦位置及び前記被写界深度に応じて前記音響信号処理の内容を制御する。

【0014】

より具体的には例えば、前記音響信号処理部は、前記被写体深度が比較的深い場合と前記被写体深度が比較的浅い場合とで、前記音響信号処理の内容を異ならせる。

【0015】

また例えば、画像処理によって前記対象画像の合焦状態を変更する画像加工部を更に備え、前記音響信号処理部は、その変更が成された際、変更後の合焦状態に応じて前記音響信号処理の内容を制御する。

【0016】

これにより、合焦状態の変更に連動して、適切な音響信号処理を成すことが可能となる。

【発明の効果】

【0017】

本発明によれば、ユーザに特段の操作負担を課すことなく且つ音源としても機能しうる物体の種類に依存することなく、ユーザの意図に沿うような音響信号を生成することのできる電子機器を提供可能となる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。

【図2】図１に示される撮像部の内部構成図である。

【図3】図１に示されるマイク部の内部構成とマイク部に接続される回路を示す図である。

【図4】図１の撮像装置の外観斜視図である。

【図5】図１の音響信号処理部にて生成可能な音響信号のポーラパターンを示す図（ａ）（ｂ）と、任意の音源についての角度の意義を説明するための図（ｃ）である。

【図6】本発明の第１実施形態に係る撮像装置の一部ブロック図である。

【図7】対象入力画像と、対象音響信号が収音されるべき対象収音期間と、の関係を示す図である。

【図8】実空間上に定義される３つのエリアを示す図である。

【図9】対象入力画像が３つに分割される様子を示す図である。

【図10】被写界深度、合焦距離及び被写体距離の意義を明示するための図である。

【図11】対象入力画像と再生用音響信号との関係例を示すイメージ図である。

【図12】本発明の第１実施形態に係り、再生用音響信号を生成する動作のフローチャートである。

【図13】本発明の第２実施形態に係る撮像装置の一部ブロック図である。

【図14】本発明の第２実施形態の具体例において参照される対象入力画像を示す図である。

【図15】本発明の第２実施形態に係り、３つの被写体と撮像装置との距離関係を示す図である。

【図16】本発明の第２実施形態に係り、デジタルフォーカスの第１〜第３パターンを表す図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

【0020】

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。

【0021】

撮像装置１には、撮像部１１、ＡＦＥ１２、画像処理部１３、マイク部１４、音響信号処理部１５、表示部１６、スピーカ部１７、操作部１８、記録媒体１９及び主制御部２０が設けられている。

【0022】

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部２０からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。

【0023】

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして画像処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部２０によって制御される。

【0024】

画像処理部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像データの一種であり、撮像部１１から出力されるアナログ信号も画像データの一種である。

【0025】

マイク部１４は、撮像装置１の周辺音を音響信号に変換する。マイク部１４を、複数のマイクロホンにて形成することができる。ここでは、図３に示す如く、マイク部１４が２つのマイクロホン１４Ｌ及び１４Ｒから成るものとする。Ａ／Ｄ変換器５１Ｌ及び５１Ｒを、音響信号処理部１５に設けておくことができる。図４に、撮像装置１の外観斜視図を示す。マイクロホン１４Ｌ及び１４Ｒは、撮像装置１の筐体上の互いに異なる位置に配置される。図４には、撮像装置１によって撮影される物体である、撮像装置１の被写体も示されている。被写体の撮影画像が表示部１６に表示されることで、ユーザは撮像装置１の撮影範囲等を確認することができる。

【0026】

図４に示す如く、撮像装置１にて撮影可能な被写体が存在する方向を前方と定義し、その逆の方向を後方と定義する。前方及び後方は、撮像部１１の光軸に沿った方向である。また、右及び左とは、後方側から前方側を見たときの右及び左を意味するものとする。

【0027】

マイクロホン１４Ｌ及び１４Ｒの夫々は、自身が収音した音をアナログの音響信号に変換して出力する。図３のＡ／Ｄ変換器５１Ｌ及び５１Ｒは、夫々、マイクロホン１４Ｌ及び１４Ｒから出力されるアナログの音響信号を所定のサンプリング周期（例えば４８キロヘルツ）にてデジタルの音響信号に変換して出力する。Ａ／Ｄ変換器５１Ｌの出力信号を特に左原信号と呼び、Ａ／Ｄ変換器５１Ｒの出力信号を特に右原信号と呼ぶ。

【0028】

音響信号処理部１５は、左原信号及び右原信号に必要な音響信号処理を施すことができる。この処理内容については後述する。

【0029】

表示部１６は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部２０の制御の下、撮影画像や記録媒体１９に記録されている画像などを表示する。スピーカ部１７は、１又は複数のスピーカから成り、マイク部１４の出力音響信号、音響信号処理部１５にて生成された音響信号、記録媒体１９から読み出された音響信号など、任意の音響信号を音として再生出力する。操作部１８は、ユーザからの様々な操作を受け付ける部位である。操作部１８に対する操作内容は、主制御部２０等に伝達される。記録媒体１９は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部２０による制御の下、撮影画像などを記憶する。主制御部２０は、操作部１８への操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。

【0030】

撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１９に記録された静止画像又は動画像を表示部１６上で再生可能な再生モードとが含まれる。撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像部１１から（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表すＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。１つのフレーム周期分の画像データによって１枚分の画像が表現される。ＡＦＥ１２からの１フレーム周期分の画像データによって表現される１枚分の撮影画像を、フレーム画像とも呼ぶ。ＲＡＷデータによる撮影画像に対して所定の画像処理（デモサイキング処理、ノイズ除去処理、色補正処理など）を施して得られる画像がフレーム画像である、と解釈しても良い。

【0031】

マイクロホン１４Ｌ及び１４Ｒとして、指向性を有さない無指向性マイクロホンを採用することができる。マイクロホン１４Ｌ及び１４Ｒが無指向性マイクロホンである場合、左原信号及び右原信号は無指向性の音響信号（指向性を有さない音響信号）である。音響信号処理部１５は、公知の指向性制御を用いて無指向性の左原信号及び右原信号から、任意の方向に指向軸を持つ音響信号を生成することができる。

【0032】

この指向性制御を、左原信号又は右原信号を遅延させる遅延処理と、左原信号又は右原信号を所定割合だけ減衰させる減衰処理と、遅延処理及び／又は減衰処理を経た左原信号及び右原信号の一方から他方を減算する減算処理と、によって実現することができる。具体的には例えば、左原信号をマイクロホン１４Ｌ及び１４Ｒ間の距離に基づく時間だけ遅延させ且つ所定割合だけ減衰させることによって得た信号を、右原信号から減算することにより、図５（ａ）のポーラパターン３１０を持つ音響信号、即ち、左斜め後方４５°の方向に死角を有する音響信号を生成することができる。ポーラパターン３１０を持つ音響信号は、右斜め前方４５°の方向に指向軸を有する音響信号である、即ち、撮像装置１の右斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に対して最も高い指向性（感度）を持った音響信号である。同様に、右原信号をマイクロホン１４Ｌ及び１４Ｒ間の距離に基づく時間だけ遅延させ且つ所定割合だけ減衰させることによって得た信号を、左原信号から減算することにより、図５（ｂ）のポーラパターン３１１を持つ音響信号、即ち、右斜め後方４５°の方向に死角を有するＬ信号を生成することができる。ポーラパターン３１１を持つ音響信号は、左斜め前方４５°の方向に指向軸を有する音響信号である、即ち、撮像装置１の左斜め前方４５°に位置する音源から撮像装置１に到来した音の成分に対して最も高い指向性（感度）を持った音響信号である。

【0033】

また、図５（ｃ）に示すような、Ｘ軸及びＹ軸を座標軸としたＸＹ座標面（ＸＹ座標系）を定義する。Ｘ軸は、マイクロホン１４Ｌの中心とマイクロホン１４Ｒの中心とを通る軸であり、それらの中心の中間に原点Ｏが位置する。Ｙ軸は、原点ＯにてＸ軸と直交する。Ｙ軸に沿った方向は、撮像部１１の光軸（撮像素子３３にとっての光軸）の方向と一致する。Ｘ軸及びＹ軸は水平面と平行であるとする。原点Ｏからマイクロホン１４Ｒに向かう方向（即ち、撮像装置１の右方向）がＸ軸の正方向であるとし、原点Ｏから撮像装置１の前方に向かう方向がＹ軸の正方向であるとする。線分３１３は、原点Ｏと任意の音源である音源ＳＳとを結ぶ線分である。Ｘ軸と線分３１３との成す角度をθで表す。但し、角度θは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分３１３を見たときの、Ｘ軸及び線分３１３間の角度であるとする。反時計周り方向とは、原点Ｏからマイクロホン１４Ｒの中心に伸びる線分を、撮像装置１の前方側に回転させる方向を指す。音源ＳＳの角度θは、音源ＳＳの位置する方向（即ち、音源ＳＳについての音源方向）を表す。

【0034】

撮像装置１には、合焦状態に応じて特殊な音響信号処理を施す機能が備えられている。以下、この機能について詳説する。図６は、この機能の実現に特に関与する部位のブロック図である。方向別音源分離部６１、方向別制御量設定部６３及び方向別音量調整部６４を、図１の音響信号処理部１５に設けておくことができる。合焦位置／被写界深度取得部６２は、画像処理部１３及び／又は主制御部２０によって実現される。

【0035】

方向別音源分離部６１（以下、音源分離部６１と略記することがある）は、対象音響信号より第１〜第ｍの方向信号を生成する。ここで、ｍは２以上の整数である。対象音響信号は、原左信号及び原右信号から成る音響信号である。各方向信号は、対象音響信号より抽出された指向性を有する音響信号であり、ｉ及びｊを互いに異なる整数であると捉えた場合、指向性の向きは第ｉ及び第ｊの方向信号間で異なる。以下の説明では、特に断りなき限り、ｍ＝３であるとする。そして、第１、第２及び第３の方向信号として、夫々、Ｌ方向信号、Ｃ方向信号及びＲ方向信号が生成される場合を想定する。

【0036】

対象音響信号は、対象入力画像に対応付けられる音響信号である。対象入力画像は、例えば、静止画像の撮影指示に従って得られた静止画像としての１枚のフレーム画像である。対象入力画像が静止画像である場合、図７（ａ）に示す如く、その静止画像としての対象入力画像３２０に対象収音期間３２１が設定され、対象収音期間３２１中におけるマイク部１４の出力音響信号（本例において左原信号及び右原信号）によって、対象入力画像３２０に対応する対象音響信号が形成される。対象収音期間３２１は、対象入力画像３２０の撮影時点を基準とする期間であり、時刻ｓが対象入力画像３２０の露光期間の中間時刻であるとした場合、例えば、時刻（ｓ−Δｓ_Ａ）から時刻（ｓ＋Δｓ_Ｂ）までの期間である。時刻（ｓ−Δｓ_Ａ）は、時刻ｓから時間Δｓ_Ａ分だけ前の時刻を表し、時刻（ｓ＋Δｓ_Ｂ）は、時刻ｓから時間Δｓ_Ｂ分だけ後の時刻を表す。Δｓ_Ａ及びΔｓ_Ｂは正の時間である。但し、Δｓ_Ａ及びΔｓ_Ｂの内、どちらか一方はゼロであっても良い。

【0037】

或いは、対象入力画像は、動画像を形成する任意のフレーム画像であっても良い。対象入力画像が動画像中のフレーム画像である場合、図７（ｂ）に示す如く、そのフレーム画像としての対象入力画像３３０に対象収音期間３３１が設定され、対象収音期間３３１中におけるマイク部１４の出力音響信号（本例において左原信号及び右原信号）によって、対象入力画像３３０に対応する対象音響信号が形成される。対象収音期間３３１は、対象入力画像３３０の撮影時点を基準とする期間であり、時刻ｓが対象入力画像３３０の露光期間の中間時刻であるとした場合、例えば、時刻（ｓ−Δｓ_Ａ）から時刻（ｓ＋Δｓ_Ｂ）までの期間である、或いは、対象入力画像３３０に対応するフレーム期間である。

【0038】

図８を参照して、各方向信号の意義を説明する。Ｌ方向信号は、エリア３５０Ｌ内に位置する各音源から撮像装置１に到来した音の成分を、対象音響信号より分離抽出することで得られる音響信号である。Ｃ方向信号は、エリア３５０Ｃ内に位置する各音源から撮像装置１に到来した音の成分を、対象音響信号より分離抽出することで得られる音響信号である。Ｒ方向信号は、エリア３５０Ｒ内に位置する各音源から撮像装置１に到来した音の成分を、対象音響信号より分離抽出することで得られる音響信号である。
エリア３５０Ｌ、３５０Ｃ及び３５０Ｒは、互いに異なる、実空間上のエリアである。 エリア３５０Ｌは、不等式“θ_３≦θ＜θ_４” を満たす角度θを有する音源ＳＳが配置されるエリアである。
エリア３５０Ｃは、不等式“θ_２≦θ＜θ_３” を満たす角度θを有する音源ＳＳが配置されるエリアである。
エリア３５０Ｒは、不等式“θ_１≦θ＜θ_２”を満たす角度θを有する音源ＳＳが配置されるエリアである。ここで、不等式“０°≦θ_１＜θ_２＜９０°＜θ_３＜θ_４≦１８０°”が満たされる。但し、角度θ_１を負の角度とすることも可能であるし、角度θ_４を１８０°よりも大きくすることも可能である。

【0039】

角度θ_１、θ_２、θ_３及びθ_４の具体的な値を、対象入力画像の画角に応じて決定することができる。例えば、図７（ａ）の対象入力画像３２０に対する各方向信号を生成する際、対象入力画像３２０の全体画像領域を図９に示す如く分割画像領域３２１Ｌ、３２１Ｃ及び３２１Ｒに切り分け、分割画像領域３２１Ｌ内に位置する音源としての被写体がエリア３５０Ｌに収まるように、且つ、分割画像領域３２１Ｃ内に位置する音源としての被写体がエリア３５０Ｃに収まるように、且つ、分割画像領域３２１Ｒ内に位置する音源としての被写体がエリア３５０Ｒに収まるように、対象入力画像３２０の撮影時における画角に応じて角度θ_１、θ_２、θ_３及びθ_４の具体的な値を決定すればよい。図７（ｂ）の対象入力画像３３０についても同様である。ここで、分割画像領域３２１Ｌ、３２１Ｃ及び３２１Ｒは、対象入力画像３２０の全体画像領域を対象入力画像３２０の垂直方向に沿って３つに分割することで得られ、対象入力画像３２０の画像空間上及び実空間上において、分割画像領域３２１Ｌ内の被写体は分割画像領域３２１Ｃ内の被写体よりも左側に位置していると共に分割画像領域３２１Ｒ内の被写体は分割画像領域３２１Ｃ内の被写体よりも右側に位置しているものとする（図７（ｂ）の対象入力画像３３０についても同様）。

【0040】

音源分離部６１は、上述の指向性制御を用いて対象音響信号からＬ、Ｃ及びＲ方向信号を生成することができる。尚、“エリア３５０Ｌ内に位置する各音源から撮像装置１に到来した音の成分を対象音響信号より分離抽出することで得られる音響信号”がＬ方向信号であると述べたが、指向性制御の特性に応じて、エリア３５０Ｌ外に位置する各音源からの音の成分もＬ方向信号に混入しうる（Ｃ及びＲ方向信号についても同様）。従って、Ｌ方向信号とは、“θ_３≦θ＜θ_４”を満たさない音源ＳＳの方向との比較において、“θ_３≦θ＜θ_４”を満たす音源ＳＳの方向に比較的高い感度を有する音響信号である、と表現することもできる（Ｃ及びＲ方向信号についても同様）。

【0041】

図６の合焦位置／被写界深度取得部６２（以下、取得部６２と略記することがある）は、対象入力画像の合焦位置及び被写界深度の深さを取得する。

【0042】

任意の二次元画像に関し、当該二次元画像の合焦位置とは、当該二次元画像の全体画像領域に含まれる合焦領域の、当該二次元画像上の位置を表す。従って、合焦位置を合焦領域位置と呼ぶこともできる。合焦位置は、合焦領域の中心位置を表すだけでなく、合焦領域の水平及び垂直方向の大きさをも表す情報であるとする。従って例えば、合焦領域が矩形領域である場合、合焦位置は、合焦領域の左上隅の位置及び合焦領域の右下隅の位置を特定する情報である。
合焦領域とは、ピントが合っている被写体の画像データが存在する画像領域である。周知の如く（図１０参照）、対象入力画像の撮影時において被写界深度内に位置している被写体３６０にピントが合い、ピントが合っている被写体３６０は合焦領域内にあらわれる。この際、被写体３６０の被写体距離は、被写界深度内の距離である。或る被写体の被写体距離とは、その被写体と撮像装置１（より具体的には撮像素子３３）との間における、実空間上の距離を指す。
また、合焦度が比較的高い画像領域（例えば、合焦度が所定の基準合焦度よりも大きな画像領域）が合焦領域であると捉えることもできる。“ピントが合っている被写体の画像データが存在する画像領域”は、“合焦度が比較的高い画像領域”の一種である。合焦度とは、ピントがどの程度合っているかを表す度合いである。注目領域又は注目画素に対する合焦度が大きいほど、注目領域又は注目画素における被写体に、よりピントが合っていると考える。点光源としての注目被写体からの光は、撮像素子３３及び対象入力画像上で点像を形成する。その点像の径が小さいほど、該注目被写体の画像データが存在する部分の合焦度は高く、その点像の径が大きいほど、該注目被写体の画像データが存在する部分の合焦度は低い。
また、被写界深度内の中心における距離を合焦距離と呼ぶ（図１０参照）。対象入力画像の撮影時における光学系３５の各レンズの状態（特にフォーカスレンズ３１の位置）から、対象入力画像の合焦距離を求めることができる。

【0043】

取得部６２は、合焦位置用情報に基づいて対象入力画像の合焦領域を検出することができる。合焦領域の検出によって、同時に合焦位置が検出される。

【0044】

合焦位置用情報は、例えば、対象入力画像の画像データである。対象入力画像の画像データから合焦領域及び合焦位置を検出する方法は公知であり、取得部６２は、公知の任意の検出方法を利用することができる。典型的には例えば、コントラスト検出法を利用すれば良い。即ち例えば、対象入力画像の全体画像領域に互いに異なる複数の評価領域を設定して、評価領域ごとに評価領域内の画像の空間周波数成分における高域周波数成分量を抽出し、抽出した高域周波数成分量が所定の基準量よりも大きい評価領域が合焦領域であると判断すればよい。評価領域ごとに抽出された高域周波数成分量は、評価領域ごとに算出された合焦度であると捉えることもできる。各被写体の被写体距離や被写界深度の深さ等によっては、２以上の評価領域が合焦領域であると判断されることもあるし、対象入力画像の全体画像領域が合焦領域であると判断されることもある。

【0045】

或いは例えば、撮像装置１の撮影範囲内における各被写体の被写体距離を測定する測距処理を行い、測距処理の結果を用いて合焦領域及び合焦位置を検出するようにしても良い。測距処理の結果を、各画素値が被写体距離の測定値を持つ距離画像に変換し、距離画像、合焦距離及び被写界深度の深さを合焦位置用情報として用いれば、対象入力画像上の何れの部分が合焦領域であるかを特定可能である。

【0046】

取得部６２は、被写界深度用情報に基づいて対象入力画像の被写界深度の深さを検出することができる。被写界深度用情報として、対象入力画像の撮影時における絞り値及び焦点距離を用いることができる。対象入力画像の撮影時における絞り値及び焦点距離が定まれば、対象入力画像の被写界深度の深さが定まるからである。

【0047】

取得部６２は、対象入力画像の合焦状態を表す合焦状態情報を出力する。合焦状態情報には、対象入力画像の合焦位置及び被写界深度の深さを表す情報が含まれる。

【0048】

方向別制御量設定部６３（以下、制御量設定部６３と略記することがある）は、合焦状態情報に基づいてＬ、Ｃ及びＲ方向信号に対する制御量を方向信号ごとに設定し、Ｌ、Ｃ及びＲ方向信号に対する制御量を表す制御量情報を出力する。方向別音量調整部６４（以下、音量調整部６４と略記することがある）は、制御量情報に基づいて、即ち方向信号ごとに設定された制御量に基づいて、方向信号ごとにＬ、Ｃ及びＲ方向信号の音量を調整し、音量調整後の各方向信号から再生用音響信号を生成する。スピーカ部１７は、再生用音響信号を音として出力する。尚、スピーカ部１７は、撮像装置１の外部に設けられたスピーカ部であっても良い。

【0049】

音量調整前における時刻ｔのＬ、Ｃ及びＲ方向信号を、夫々、Ｌ（ｔ）、Ｃ（ｔ）及びＲ（ｔ）で表し、音量調整後における時刻ｔのＬ、Ｃ及びＲ方向信号を、夫々、Ｌ’（ｔ）、Ｃ’（ｔ）及びＲ’（ｔ）で表す。制御量によっては、Ｌ（ｔ）＝Ｌ’（ｔ）でありうるし、Ｃ（ｔ）＝Ｃ’（ｔ）でありうるし、Ｒ（ｔ）＝Ｒ’（ｔ）でありうる。Ｌ方向信号に対する制御量がゼロであるとき、音量調整前後においてＬ方向信号の音量は変化せず、Ｌ方向信号に対する制御量が正であるとき、音量調整によってＬ方向信号の音量は増大し、Ｌ方向信号に対する制御量が負であるとき、音量調整によってＬ方向信号の音量は減少する。Ｃ及びＲ方向信号についても同様である。

【0050】

再生用音響信号は、例えば、音量調整後のＬ、Ｃ及びＲ方向信号を単純に足し合わせることで得たモノラル音響信号である。この場合、モノラル音響信号である時刻ｔの再生用音響信号は、“Ｌ’（ｔ）＋Ｃ’（ｔ）＋Ｒ’（ｔ）”によって表される。
或いは例えば、再生用音響信号は、音量調整後のＬ、Ｃ及びＲ方向信号を３チャンネル分の音響信号として持つマルチチャンネル信号であっても良い。この場合、スピーカ部１７に、Ｌ方向信号再生用のＬチャンネルスピーカと、Ｃ方向信号再生用のＣチャンネルスピーカと、Ｒ方向信号再生用のＲチャンネルスピーカを設けておけば、各チャンネルスピーカにて音量調整後の各方向信号を再生することができる。
スピーカ部１７が、Ｌ側スピーカとＲ側スピーカから成るステレオスピーカである場合には、音量調整後のＬ、Ｃ及びＲ方向信号から２チャンネル分の音響信号であるＬ出力信号及びＲ出力信号を生成し、Ｌ出力信号及びＲ出力信号から成るステレオ音響信号を再生用音響信号として生成するようにしても良い。この場合、Ｌ出力信号及びＲ出力信号が夫々Ｌ側スピーカとＲ側スピーカにて再生される。

【0051】

再生用音響信号がスピーカ部１７にて再生されるとき、対象入力画像が表示部１６上で再生される（即ち、表示部１６にて表示される）。この際、制御量設定部６３が方向信号ごとの制御量を適切に設定することで、再生画像の合焦状態に適合した音響信号を再生することができる。

【0052】

対象入力画像が図７（ａ）及び図９の対象入力画像３２０である場合を例にとり、図１１（ａ）等を参照しつつ、制御量の設定方法例を説明する。

【0053】

例えば、合焦状態情報に含まれる合焦位置に基づき、対象入力画像３２０の全体画像領域そのものが合焦領域であると判断される場合、或いは、対象入力画像３２０の分割画像領域３２１Ｌ、３２１Ｃ及び３２１Ｒの夫々に合焦領域が含まれていると判断される場合、制御量設定部６３は、対象入力画像３２０に対して全合焦判定を成す。図１１（ａ）は、全合焦判定が成されるときのイメージ図である。図１１（ａ）の画像３２０_Ｗは、全合焦判定が成されたときの対象入力画像３２０を表している。
全合焦判定を成した場合、制御量設定部６３は、Ｌ、Ｃ及びＲ方向信号に対する制御量を全てゼロとする。この場合、音量調整部６４による音量調整前後で、各方向信号の音量は変化しない。即ち、Ｌ（ｔ）＝Ｌ’（ｔ）、Ｃ（ｔ）＝Ｃ’（ｔ）且つＲ（ｔ）＝Ｒ’（ｔ）となる。従って、全合焦判定が成された場合には、エリア３５０Ｌ、３５０Ｃ及び３５０Ｒ内の音源からの音が均等に再生されることになる（図８も参照）。全合焦判定が成されるような状況下においては、再生画像全体が視聴者に注目されていると考えられる、或いは、再生画像上の特定部分に注目が置かれている可能性は低い。従って、均等再生が再生画像に最も適していると考えられる。

【0054】

また例えば、合焦状態情報に含まれる合焦位置に基づき、対象入力画像３２０の分割画像領域３２１Ｌそのものが合焦領域であると判断される場合、或いは、対象入力画像３２０の分割画像領域３２１Ｌのみに合焦領域が含まれていると判断される場合、制御量設定部６３は、対象入力画像３２０に対して左合焦判定を成す。図１１（ｂ）は、左合焦判定が成されるときのイメージ図である。図１１（ｂ）の画像３２０_Ｌは、左合焦判定が成されたときの対象入力画像３２０を表している。図１１（ｂ）では、画像３２０_Ｌ中の物体の輪郭線を太くすることによって画像のぼけを表現している（図１１（ｃ）及び（ｄ）等においても同様）。
左合焦判定を成した場合、制御量設定部６３は、Ｌ方向信号に対する制御量を正とする一方でＣ及びＲ方向信号に対する制御量をゼロ又は負とする。そうすると、音量調整部６４の音量調整によって、Ｌ方向信号の音量は増大する一方でＣ及びＲ方向信号の音量は減少する。或いは、Ｌ方向信号に対する制御量をゼロとする一方でＣ及びＲ方向信号に対する制御量を負とするようにしても良い。そうすると、Ｃ及びＲ方向信号の音量との比較において、Ｌ方向信号の音量は相対的に増大する。何れにせよ、左合焦判定が成されたとき、再生用音響信号において、分割画像領域３２１Ｌ内の被写体に対応するエリア３５０Ｌ内の音源からの音が強調されるようになる（図８及び図９も参照）。左合焦判定が成されるような状況下においては、再生画像の左側に位置する被写体に対して視聴者の注目が置かれる可能性が高い。そこで、再生画像の左側に位置する被写体からの音が強調されるような上記の音量調整を行う（後述の中央合焦判定及び右合焦判定についても同様）。

【0055】

また例えば、合焦状態情報に含まれる合焦位置に基づき、対象入力画像３２０の分割画像領域３２１Ｃそのものが合焦領域であると判断される場合、或いは、対象入力画像３２０の分割画像領域３２１Ｃのみに合焦領域が含まれていると判断される場合、制御量設定部６３は、対象入力画像３２０に対して中央合焦判定を成す。図１１（ｃ）は、中央合焦判定が成されるときのイメージ図である。図１１（ｃ）の画像３２０_Ｃは、中央合焦判定が成されたときの対象入力画像３２０を表している。
中央合焦判定を成した場合、制御量設定部６３は、Ｃ方向信号に対する制御量を正とする一方でＬ及びＲ方向信号に対する制御量をゼロ又は負とする。そうすると、音量調整部６４の音量調整によって、Ｃ方向信号の音量は増大する一方でＬ及びＲ方向信号の音量は減少する。或いは、Ｃ方向信号に対する制御量をゼロとする一方でＬ及びＲ方向信号に対する制御量を負とするようにしても良い。そうすると、Ｌ及びＲ方向信号の音量との比較において、Ｃ方向信号の音量は相対的に増大する。何れにせよ、中央合焦判定が成されたとき、再生用音響信号において、分割画像領域３２１Ｃ内の被写体に対応するエリア３５０Ｃ内の音源からの音が強調されるようになる（図８及び図９も参照）。

【0056】

また例えば、合焦状態情報に含まれる合焦位置に基づき、対象入力画像３２０の分割画像領域３２１Ｒそのものが合焦領域であると判断される場合、或いは、対象入力画像３２０の分割画像領域３２１Ｒのみに合焦領域が含まれていると判断される場合、制御量設定部６３は、対象入力画像３２０に対して右合焦判定を成す。図１１（ｄ）は、右合焦判定が成されるときのイメージ図である。図１１（ｄ）の画像３２０_Ｒは、右合焦判定が成されたときの対象入力画像３２０を表している。
右合焦判定を成した場合、制御量設定部６３は、Ｒ方向信号に対する制御量を正とする一方でＬ及びＣ方向信号に対する制御量をゼロ又は負とする。そうすると、音量調整部６４の音量調整によって、Ｒ方向信号の音量は増大する一方でＬ及びＣ方向信号の音量は減少する。或いは、Ｒ方向信号に対する制御量をゼロとする一方でＬ及びＣ方向信号に対する制御量を負とするようにしても良い。そうすると、Ｌ及びＣ方向信号の音量との比較において、Ｒ方向信号の音量は相対的に増大する。何れにせよ、右合焦判定が成されたとき、再生用音響信号において、分割画像領域３２１Ｒ内の被写体に対応するエリア３５０Ｒ内の音源からの音が強調されるようになる（図８及び図９も参照）。

【0057】

或いは、合焦状態情報に含まれる被写界深度の深さが所定の基準深さよりも深い場合に、対象入力画像３２０に対して全合焦判定を成し、合焦状態情報に含まれる被写界深度の深さが該基準深さよりも浅い場合には、対象入力画像３２０に対して、全合焦判定以外の判定、即ち左合焦判定、中央合焦判定又は右合焦判定を成すようにしても良い（左、中央及び右合焦判定の何れを成すのかは、上述の方法に従う）。この場合、被写界深度の深さが基準深さＴＨ_{ＤＥＰＴＨ}よりも深い場合と浅い場合とで、制御量が異なって音量調整部６４で成される音響信号処理の内容が異なるようになる。

【0058】

図１２に、再生用音響信号の生成動作のフローチャートを示す。再生用音響信号の生成には、ステップＳ１１〜Ｓ１４の処理の実行が必要である。ステップＳ１１では、対象音響信号からＬ、Ｃ及びＲ方向信号を生成する。ステップＳ１２では、合焦位置用情報及び被写界深度用情報から合焦状態情報を生成する。ステップＳ１３では、合焦状態情報から制御量情報を生成する。ステップＳ１４では、Ｌ、Ｃ及びＲ方向信号と制御量情報から再生用音響信号を生成する。

【0059】

ステップＳ１１〜Ｓ１４の処理を全て撮影モードにおいて実行し、得られた再生用音響信号を対象入力画像の画像データに関連付けて記録媒体１９に記録しておくことができる。この場合、記録媒体１９から対象入力画像の画像データと共に再生用音響信号を読み出すことで、対象入力画像を再生用音響信号と共に再生することができる。

【0060】

但し、ステップＳ１１〜Ｓ１４の夫々の処理の実行タイミングは任意であり、ステップＳ１１〜Ｓ１４の全処理を完了するまで過程に、記録媒体１９への情報又は信号の記録を介在させても良い。
即ち例えば、対象音響信号並びに合焦位置用情報及び被写界深度用情報を対象入力画像の画像データに関連付けて記録媒体１９に記録しておき、必要なときに、記録媒体１９から対象音響信号並びに合焦位置用情報及び被写界深度用情報を読み出してステップＳ１１〜Ｓ１４の処理を実行するようにしても良い。
同様に考えて、対象音響信号を対象入力画像の画像データに関連付けて記録媒体１９に記録しておき、必要なときに、記録媒体１９から対象音響信号を読み出してステップＳ１１の処理を実行するようにしても良い。このとき、制御量情報が得られているなら、更にステップＳ１４の処理を実行することもできる。
また例えば、合焦位置用情報及び被写界深度用情報を対象入力画像の画像データに関連付けて記録媒体１９に記録しておき、必要なときに、記録媒体１９から合焦位置用情報及び被写界深度用情報を読み出してステップＳ１２及びＳ１３の処理を実行するようにしても良い。このとき、Ｌ、Ｃ及びＲ方向信号が得られているなら、更にステップＳ１４の処理を実行することもできる。
また例えば、合焦状態情報を対象入力画像の画像データに関連付けて記録媒体１９に記録しておき、必要なときに、記録媒体１９から合焦状態情報を読み出してステップＳ１３の処理を実行するようにしても良い。このとき、Ｌ、Ｃ及びＲ方向信号が得られているなら、更にステップＳ１４の処理を実行することもできる。
また例えば、Ｌ、Ｃ及びＲ方向信号並びに制御量情報を対象入力画像の画像データに関連付けて記録媒体１９に記録しておき、必要なときに、記録媒体１９からＬ、Ｃ及びＲ方向信号並びに制御量情報を読み出してステップＳ１４の処理を実行するようにしても良い。

【0061】

上述の如く、本実施形態では、再生画像である対象入力画像の合焦状態に応じて、対象音響信号から再生用音響信号を生成するための音響信号処理の内容を制御する。この際、再生画像の合焦状態に応じて視聴者の注目度が高いと推定される領域を特定し、その領域に対応する音を強調して再生する。これにより、視聴者の興味に適合した音響信号再生を行うことができる。この再生の実現に当たり、ユーザによる特段の操作は不要であるため、極めて利便性が高い。例えば、被写界深度が比較的浅く合焦領域が特定領域に限定されるような再生画像においては、合焦部分に視聴者の興味が集中するため、合焦部分から到来する音響信号を強調して再生する（図１１（ｂ）、（ｃ）及び（ｄ）参照）。一方、被写界深度が比較的深く再生画像全体が合焦しているような場合には、広範囲の音を均等に再生する（図１１（ａ）参照）。

【0062】

尚、対象入力画像は、ＡＦ制御（オートフォーカス制御）を用いた撮影で得られた画像であっても良いし、ＭＦ制御（マニュアルフォーカス制御）を用いた撮影で得られた画像であっても良い。ＡＦ制御を用いた場合には、撮像装置１が実行するＡＦ制御にて焦点距離が定まるのに対し、ＭＦ制御を用いた場合には、ユーザ指定に従って焦点距離が定まる。ＡＦ制御及びＭＦ制御間において、焦点距離を定める主体が異なるだけで、図６に示される各部位の動作に変わりはない。

【0063】

上述の指向性制御以外の方法によって、Ｌ、Ｃ及びＲ方向信号を生成するようにしても良い。例えば、空間上に散在する各音源からの音響信号を複数のマイクロホンの出力音響信号から音源ごとに分離抽出する方法（例えば、特開２０００−８１９００号公報、特開平１０−３１３４９７号公報に記載の方法）を用いても良い。この場合、分離抽出の過程で各音源の角度θが当然に認識される。従って、その認識結果に基づき、エリア３５０Ｌ内の各音源からの音響信号がＬ方向信号に含まれるように、且つ、エリア３５０Ｃ内の各音源からの音響信号がＣ方向信号に含まれるように、且つ、エリア３５０Ｒ内の各音源からの音響信号がＲ方向信号に含まれるように、各方向信号を生成すればよい。

【0064】

或いは例えば、エリア３５０Ｌ内の音源からの音に対して高い感度を有する第１指向性マイクロホンと、エリア３５０Ｃ内の音源からの音に対して高い感度を有する第２指向性マイクロホンと、エリア３５０Ｒ内の音源からの音に対して高い感度を有する第３指向性マイクロホンとをマイク部１４に設けておき、第１〜第３指向性マイクロホンから直接的にＬ、Ｃ及びＲ方向信号を得るようにしても良い。この場合、第１〜第３指向性マイクロホンの収音によって得られた３つの音響信号より対象音響信号が形成される。第１指向性マイクロホンに関し、“エリア３５０Ｌ内の音源からの音に対して高い感度を有する”とは、エリア３５０Ｌ外の音源からの音に対する感度よりも、エリア３５０Ｌ内の音源からの音に対する感度の方が高いことを意味する（第２及び第３指向性マイクロホンも同様）。

【0065】

また、音源分離部６１によって生成される方向信号の個数が３である場合の動作を説明したが、その個数は２以上であれば幾つでも良い。

【0066】

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は第１実施形態を基礎とした実施形態であり、第２実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載が第２実施形態にも適用される。第２実施形態に係る撮像装置１には、対象入力画像の画像データを撮影によって取得した後に、対象入力画像の合焦状態（合焦距離や、被写界深度の深さ等）を画像処理によって変更する機能が設けられている。この機能を実現する処理をデジタルフォーカスと呼ぶ。

【0067】

図１３は、対象入力画像の合焦状態を変更する機能と合焦状態に応じて特殊な音響信号処理を施す機能に対して、特に関与する部位のブロック図である。図１３の符号６１〜６４によって参照される各部位は、図６のそれらと同じものである。デジタルフォーカス部７１を、図１の画像処理部１３に設けておくことができる。合焦状態変更指定部７２は、図１の画像処理部１３及び／又は主制御部２０によって実現される。

【0068】

デジタルフォーカス部（画像加工部）７１は、対象入力画像の合焦状態を変更する。合焦状態の変更後の対象入力画像を対象出力画像と呼ぶ。デジタルフォーカス部７１にて変更される合焦状態には、対象入力画像の合焦位置、合焦距離、被写界深度の深さ及び合焦度の内、少なくとも１つが含まれる。

【0069】

今、図９に示される対象入力画像３２０を例にとり、図１４等を参照して、合焦状態の変更の意義を説明する。図１４には、図９に示されるものと同じ対象入力画像３２０が示されている。対象入力画像３２０の分割画像領域３２１Ｌ、３２１Ｃ及び３２１Ｒには、夫々、犬である被写体４０１、自動車である被写体４０３及び人物である被写体４０２の画像データが存在している。また、図１５に示す如く、対象入力画像３２０の撮影時における被写体４０１、４０２及び４０３の被写体距離を、夫々、ｄ_４０１、ｄ_４０２及びｄ_４０３にて表す。ここでは、ｄ_４０１＜ｄ_４０２＜ｄ_４０３、であるとする。

【0070】

対象入力画像３２０の撮影時において被写体距離ｄ_４０１が合焦距離と一致している状態を状態ＳＴ_４０１と呼ぶ。但し、状態ＳＴ_４０１において撮影された対象入力画像３２０の被写界深度内に、被写体距離ｄ_４０２及びｄ_４０３は含まれていないものとする。図１１（ｂ）の画像３２０_Ｌは、状態ＳＴ_４０１において撮影された対象入力画像３２０に相当する。
対象入力画像３２０の撮影時において被写体距離ｄ_４０２が合焦距離と一致している状態を状態ＳＴ_４０２と呼ぶ。但し、状態ＳＴ_４０２において撮影された対象入力画像３２０の被写界深度内に、被写体距離ｄ_４０１及びｄ_４０３は含まれていないものとする。図１１（ｄ）の画像３２０_Ｒは、状態ＳＴ_４０２において撮影された対象入力画像３２０に相当する。
対象入力画像３２０の撮影時において被写体距離ｄ_４０３が合焦距離と一致している状態を状態ＳＴ_４０３と呼ぶ。但し、状態ＳＴ_４０３において撮影された対象入力画像３２０の被写界深度内に、被写体距離ｄ_４０１及びｄ_４０２は含まれていないものとする。図１１（ｃ）の画像３２０_Ｃは、状態ＳＴ_４０３において撮影された対象入力画像３２０に相当する。
対象入力画像３２０の撮影時における被写界深度内に被写体距離ｄ_４０１〜ｄ_４０３が全て含まれている状態を状態ＳＴ_Ｗと呼ぶ。図１１（ａ）の画像３２０_Ｗは、状態ＳＴ_Ｗにおいて撮影された対象入力画像３２０に相当する。

【0071】

デジタルフォーカスの実行パターンとして幾つかの実行パターンを例示する。

【0072】

図１６（ａ）は、第１パターンにおけるデジタルフォーカスのイメージ図である。第１パターンでは、状態ＳＴ_Ｗでの撮影にて得られた対象入力画像３２０_Ｗから、デジタルフォーカスにより画像３２０_Ｌが対象出力画像として生成される。これを実現するために、デジタルフォーカス部７１は、対象出力画像において被写体距離ｄ_４０１〜ｄ_４０３の内の被写体距離ｄ_４０１のみが被写界深度内に収まるように、対象入力画像３２０_Ｗの合焦距離を減少させる、若しくは、対象入力画像３２０_Ｗの被写界深度の深さを浅くする、又は、それらの双方を実行する。或いは、対象出力画像において被写体距離ｄ_４０１〜ｄ_４０３の内の被写体距離ｄ_４０１のみが被写界深度内に収まるように、対象入力画像３２０_Ｗの分割画像領域３２１Ｃ及び３２１Ｒにおける合焦度を低下させる画像処理を実行するようにしても良い。第１パターンでは、合焦距離等の変更によって合焦領域が画像全体から画像左側領域へと変更され、この合焦領域の変更に伴って合焦位置も変更されている。

【0073】

図１６（ｂ）は、第２パターンにおけるデジタルフォーカスのイメージ図である。第２パターンでは、状態ＳＴ_４０１での撮影にて得られた対象入力画像３２０_Ｌから、デジタルフォーカスにより画像３２０_Ｗが対象出力画像として生成される。これを実現するために、デジタルフォーカス部７１は、対象出力画像において被写体距離ｄ_４０１〜ｄ_４０３の全てが被写界深度内に収まるように、対象入力画像３２０_Ｌの被写界深度の深さを深める。或いは、対象出力画像において被写体距離ｄ_４０１〜ｄ_４０３の全てが被写界深度内に収まるように、対象入力画像３２０_Ｌの分割画像領域３２１Ｃ及び３２１Ｒにおける合焦度を向上させる画像処理を実行するようにしても良い。第２パターンでは、被写界深度等の変更によって合焦領域が画像左側領域から画像全体へと変更され、この合焦領域の変更に伴って合焦位置も変更されている。

【0074】

図１６（ｃ）は、第３パターンにおけるデジタルフォーカスのイメージ図である。第３パターンでは、状態ＳＴ_４０１での撮影にて得られた対象入力画像３２０_Ｌから、デジタルフォーカスにより画像３２０_Ｒが対象出力画像として生成される。これを実現するために、デジタルフォーカス部７１は、対象出力画像において被写体距離ｄ_４０１〜ｄ_４０３の内の被写体距離ｄ_４０２のみが被写界深度内に収まるように、対象入力画像３２０_Ｌの合焦距離を増大させる。この増大と共に、必要に応じて被写界深度の深さも変更するようにしてもよい。或いは、対象出力画像において被写体距離ｄ_４０１〜ｄ_４０３の内の被写体距離ｄ_４０２のみが被写界深度内に収まるように、対象入力画像３２０_Ｌの分割画像領域３２１Ｌにおける合焦度を低下させる画像処理と対象入力画像３２０_Ｌの分割画像領域３２１Ｒにおける合焦度を増加させる画像処理を実行するようにしても良い。第３パターンでは、合焦距離等の変更によって合焦領域が画像左側領域から画像右側領域へと変更され、この合焦領域の変更に伴って合焦位置も変更されている。

【0075】

対象入力画像の合焦距離及び被写界深度の深さを変更する方法として、デジタルフォーカス部７１は、公知の方法を含む任意の方法を利用することができる。例えば、“Light Field Photography”と呼ばれる方法（以下、Light Field法と呼ぶ）を用いることができる。Light Field法を用いれば、撮像素子３３の出力信号に基づく対象入力画像から任意の合焦距離及び被写界深度（被写界深度の深さ）を有する対象出力画像を生成することができる。この際、Light Field法に基づく公知の方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法）を利用することができる。Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号（画像データ）が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。Light Field法を採用した撮像装置は、撮像素子からの画像信号に基づいた画像処理を行うことにより、任意の合焦距離及び被写界深度（被写界深度の深さ）を有する画像を再構築することができる。即ち、Light Field法を用いれば、対象入力画像の撮影後に、任意の被写体にピントを合わせた対象出力画像を自由に構築することができる。

【0076】

従って、図２には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像部１１に設けられる。この光学部材には、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて、撮像素子３３への入射光の進行方向の情報をも含むようになる。この情報を包含する、対象入力画像の画像データを用いて、デジタルフォーカス部７１は、対象入力画像の合焦距離及び被写界深度の深さを自由に変更することができる。

【0077】

デジタルフォーカス部７１は、Light Field法に基づかない方法によって、デジタルフォーカスを成すこともできる。例として、対象入力画像の撮影後に合焦度を変更する方法を、第１〜第３パターンとの関係において説明する。

【0078】

上述したように、第１パターンにおいて、デジタルフォーカス部７１は、対象入力画像３２０_Ｗの分割画像領域３２１Ｃ及び３２１Ｒにおける合焦度を低下させる画像処理を実行することができ、これによって対象出力画像３２０_Ｌを生成することもできる。具体的には例えば、対象入力画像３２０_Ｗの分割画像領域３２１Ｃ及び３２１Ｒを処理対象領域に設定し、処理対象領域内の画像をぼかすためのぼかし処理を実行すれば良い。ぼかし処理を、平均化フィルタ、加重平均化フィルタ又はガウシアンフィルタ等を用いた空間フィルタリング、又は、ローパスフィルタを用いた周波数フィルタリングによって実現することができる。

【0079】

上述したように、第２パターンにおいて、デジタルフォーカス部７１は、対象入力画像３２０_Ｌの分割画像領域３２１Ｃ及び３２１Ｒにおける合焦度を向上させる画像処理を実行することでき、これによって対象出力画像３２０_Ｗを生成することもできる。これを実現すべく、対象入力画像３２０_Ｌの分割画像領域３２１Ｃ及び３２１Ｒを処理対象領域に設定し、処理対象領域内の画像のぼけによる劣化を復元する画像復元処理をデジタルフォーカスに含めると良い。この画像復元処理によって、処理対象領域内の画像のぼけが除去され、処理対象領域も合焦領域に含まれるようになる（即ち、対象出力画像３２０_Ｗが得られる）。画像復元処理の方法として、公知の方法を利用することが可能である。画像復元処理の実行に当たり、対象入力画像だけでなく、対象入力画像と時間的に近接して撮影された１枚以上のフレーム画像の画像データを更に利用するようにしても良い。

【0080】

上述したように、第３パターンにおいて、デジタルフォーカス部７１は、対象入力画像３２０_Ｌの分割画像領域３２１Ｌにおける合焦度を低下させる画像処理と対象入力画像３２０_Ｌの分割画像領域３２１Ｒにおける合焦度を増加させる画像処理を実行することができ、これによって対象出力画像３２０_Ｒを生成することもできる。これを実現すべく、対象入力画像３２０_Ｌの分割画像領域３２１Ｌを処理対象領域に設定した上記ぼかし処理と、対象入力画像３２０_Ｌの分割画像領域３２１Ｒを処理対象領域に設定した上記画像復元処理とをデジタルフォーカスに含めて実行すれば良い。

【0081】

対象入力画像の合焦状態をデジタルフォーカス部７１にてどうように変更するのかを指し示す情報が、合焦状態情報として、図１３の合焦状態情報変更指定部７２（以下、指定部７２と略記することがある）から出力される。指定部７２から出力される合焦状態情報は、ユーザの操作に基づいて生成される。対象入力画像の合焦状態の変更を指示するためのユーザによる操作を、合焦状態変更指示操作と呼ぶ。

【0082】

対象入力画像が撮影されて記録媒体１９に保存された後、再生モードにおいて、記録媒体１９から読み出された対象入力画像がデジタルフォーカス部７１に与えられる、といった使用形態が主として考えられる。このとき、合焦状態変更指示操作が成されると、指定部７２は合焦状態変更指示操作の内容に従って合焦状態情報を生成し、それをデジタルフォーカス部７１及び制御量決定部６３に出力する。指定部７２は、取得部６２の出力を基礎として、自身の出力する合焦状態情報を生成することができる。デジタルフォーカス部７１は、指定部７２からの合焦状態情報に従って、デジタルフォーカスにより対象入力画像から対象出力画像を生成する。

【0083】

制御量決定部６３は、合焦状態変更指示操作が成されていないときにおいては、第１実施形態で述べたように取得部６２から出力される合焦状態情報に基づいて制御量情報を生成するが、合焦状態変更指示操作が成されたときにおいては、指定部７２から出力される合焦状態情報に基づいて制御量情報を生成する。指定部７２から出力される合焦状態情報には、対象出力画像の合焦位置及び被写界深度の深さを表す情報が含まれる。従って、合焦状態変更指示操作が成されたとき、制御量決定部６３は、対象出力画像の合焦位置及び被写界深度の深さに基づき、第１実施形態と同様の動作によって制御量情報を生成する。即ち、対象入力画像の合焦位置及び被写界深度の深さの代わりに、対象出力画像の合焦位置及び被写界深度の深さを用いて、制御量情報を生成する。音源分離部６１の動作及び制御量情報に基づく音量調整部６４の動作は、第１実施形態で述べた通りである。

【0084】

再生用音響信号がスピーカ部１７にて再生されるとき、対象出力画像が表示部１６上で再生される（即ち、表示部１６にて表示される）。この際、音量調整部６４等の働きにより、再生画像の合焦状態に適合した音響信号が再生される。

【0085】

例えば、図１６（ａ）の第１パターンの如く、合焦状態変更指示操作に従って対象出力画像３２０_Ｌが生成された場合、左合焦判定が成された場合と同様の制御量情報が生成されるため（図１１（ｂ）参照）、再生用音響信号において、分割画像領域３２１Ｌ内の被写体に対応するエリア３５０Ｌ内の音源からの音が強調されるようになる（図８及び図９も参照）。
また例えば、図１６（ｂ）の第２パターンの如く、合焦状態変更指示操作に従って対象出力画像３２０_Ｗが生成された場合、全合焦判定が成された場合と同様の制御量情報が生成されるため（図１１（ａ）参照）、結果、エリア３５０Ｌ、３５０Ｃ及び３５０Ｒ内の音源からの音が均等に再生されることとなる（図８も参照）。
また例えば、図１６（ｃ）の第３パターンの如く、合焦状態変更指示操作に従って対象出力画像３２０_Ｒが生成された場合、右合焦判定が成された場合と同様の制御量情報が生成されるため（図１１（ｄ）参照）、再生用音響信号において、分割画像領域３２１Ｒ内の被写体に対応するエリア３５０Ｒ内の音源からの音が強調されるようになる（図８及び図９も参照）。

【0086】

被写界深度等を変更するユーザ操作があった場合、その変更後の再生画像に適応するように、方向別の音量調整を行う。変更後の被写界深度等に応じた音響信号再生を行うことが視聴者の興味に合致すると考えられるからである。即ち、上記の音量調整により、視聴者の興味に適合した音響信号再生を行うことができる。

【0087】

＜＜変形等＞＞
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施の形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施の形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

【0088】

［注釈１］
上述の実施形態では、撮像装置１上で、再生用音響信号を生成するための音響信号処理及びデジタフォーカスを実行しているが、それらを、撮像装置１と異なる電子機器（不図示）上で行うようにしても良い。ここにおける電子機器は、例えば、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）等の情報端末装置であり、望ましくは画像及び音響信号の再生機能を備える。尚、撮像装置１も電子機器の一種である。当該電子機器に、例えば、図６に示される各部位又は図１３に示される各部位を設けておき、対象入力画像の画像データ及び対象音響信号並びに合焦状態情報を導出するために必要な情報を当該電子機器に供給することで、当該電子機器上で再生用音響信号を生成することができ、更に対象出力画像を生成することも可能である。

【0089】

［注釈２］
上述の実施形態では、対象音響信号からＬ、Ｃ及びＲ方向信号を生成した後、Ｌ、Ｃ及びＲ方向信号に対する音量調整を経て、再生用音響信号（例えば、特定方向に指向性を持つ再生用音響信号）を生成するようにしているが、合焦状態に応じて上述してきたものと同様の再生用音響信号が得られるのであれば、対象音響信号から再生用音響信号を生成する処理の方法は上述してきたものに限定されない。

【0090】

例えば、第１実施形態において、対象入力画像に対して左合焦判定が成された場合（図１１（ｂ）参照）、指向性制御によって対象音響信号からＬ方向信号のみを抽出し、抽出したＬ方向信号を再生用音響信号として出力するようにしても良い（この場合、Ｃ及びＲ方向信号の生成は成されない）。この場合における再生用音響信号は、エリア３５０Ｌ内の音源の方向に対して高い感度を有するものの、指向性の特性を適切に調整すれば、エリア３５０Ｃやエリア３５０Ｒ内の音源からの音の成分も、再生用音響信号に幾分含まれるようになる。

【0091】

［注釈３］
上述の実施形態では、主として、マイク部１４が２つのマイクロホン１４Ｌ及び１４Ｒから成ることを想定しているが、３以上のマイクロホンから成るマイクロホンアレイ（不図示）をマイク部１４として採用し、マイクロホンアレイの収音によって対象音響信号を生成するようにしても良い。この場合、対象入力画像又は対象出力画像の合焦状態に応じてマイクロホンアレイの指向性を制御することで、再生用音響信号を生成すればよい。

【0092】

［注釈４］
図１の撮像装置１又は上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又は上記電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

【符号の説明】

【0093】

１ 撮像装置
１１ 撮像部
１３ 画像処理部
１４ マイク部
１４Ｌ、１４Ｒ マイクロホン
１５ 音響信号処理部
３３ 撮像素子
６１ 方向別音源分離部
６２ 合焦位置／被写界深度取得部
６３ 方向別制御量設定部
６４ 方向別音量調整部
７１ デジタルフォーカス部
７２ 合焦状態変更指定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】