知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-26
(45)【発行日】2023-02-03
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20230127BHJP
H04N 23/63 20230101ALI20230127BHJP
G10L 21/0272 20130101ALI20230127BHJP
G10L 21/0356 20130101ALI20230127BHJP
H04N 23/40 20230101ALI20230127BHJP
H04R 3/00 20060101ALI20230127BHJP
【ＦＩ】
H04N5/232 290
H04N5/232 930
G10L21/0272 100Z
G10L21/0356
H04N5/225 000
H04R3/00 320
【請求項の数】
11
(21)【出願番号】P 2019222866
(22)【出願日】2019-12-10
(65)【公開番号】P2020156076
(43)【公開日】2020-09-24
【審査請求日】2019-12-10
【審判番号】
【審判請求日】2022-05-26
(31)【優先権主張番号】P 2019046330
(32)【優先日】2019-03-13
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100106518
【弁理士】
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100199314
【弁理士】
【氏名又は名称】竹内 寛
(72)【発明者】
【氏名】春日井 宏樹
【合議体】
【審判長】五十嵐 努
【審判官】千葉 輝久
【審判官】木方 庸輔
(56)【参考文献】
【文献】特開２０１１－１６００４４（ＪＰ，Ａ）
【文献】特開２０１０－２４５６９５（ＪＰ，Ａ）
【文献】特開２０１１－１０１１１０（ＪＰ，Ａ）
【文献】特開２０１１－２５４４００（ＪＰ，Ａ）
【文献】特開２００９－６５５８７（ＪＰ，Ａ）
【文献】国際公開第２０１３／１４６８９３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
H04N5/222-257
H04R3/00
G10L21/0272
G10L21/0356
(57)【特許請求の範囲】
【請求項1】
被写体像を撮像して画像データを生成する撮像部と、前記撮像部による撮像中の音声を示す音声データを取得する音声取得部と、
前記撮像部によって生成された画像データに基づいて、被写体とその種別を検出する検出部と、
前記検出部によって検出された被写体の種別に基づいて、前記音声取得部によって取得された音声データを処理する音声処理部と、
ユーザによる自装置の操作に基づいて、人物を示す第１の種別および前記人物以外の被写体を示す第２の種別を含む複数の種別の中から、前記音声処理部による処理の対象とする対象種別を設定する操作部と、
前記画像データが示す画像及び前記検出部による被写体の検出結果を示す情報を表示する表示部とを備え、
前記操作部は、動画撮影時において前記表示部によって表示された情報に基づき自装置におけるフォーカスの対象とする被写体を指定するユーザ操作に従って、前記ユーザ操作により前記フォーカスの対象として指定された被写体の種別を前記対象種別に設定し、
前記音声処理部は、前記画像データにおいて前記対象種別の被写体が検出されたときに取得された音声データにおいて前記対象種別に応じた音声を強調又は抑制するように、当該音声データを処理する
撮像装置。
【請求項2】
被写体像を撮像して画像データを生成する撮像部と、前記撮像部による撮像中の音声を示す音声データを取得する音声取得部と、
前記撮像部によって生成された画像データに基づいて、被写体とその種別を検出する検出部と、
前記検出部によって検出された被写体の種別に基づいて、前記音声取得部によって取得された音声データを処理する音声処理部と、
ユーザによる自装置の操作に基づいて、第１の種別および前記第１の種別とは異なる第２の種別を含む複数の種別の中から、前記音声処理部による処理の対象とする対象種別を設定する操作部とを備えた撮像装置であって、
前記撮像装置は、前記被写体の種別に応じた動作モードを有し、
前記操作部は、前記撮像装置の動作モードを選択するユーザの操作に従って、前記対象種別を設定し、
前記音声処理部は、前記検出部によって前記対象種別とは別の種別の被写体が検出されたときに当該種別の音声を強調せず、前記画像データにおいて前記対象種別の被写体が検出されたときに取得された音声データにおいて前記対象種別に応じた音声を強調又は抑制するように、当該音声データを処理する
撮像装置。
【請求項3】
前記表示部は、前記対象種別を示す対象種別情報を表示する請求項１に記載の撮像装置。
【請求項4】
前記第１及び第２の種別は、それぞれ人、人以外の動物、及び背景音を有する物体のうちのいずれかに関する種別に設定される請求項１又は２に記載の撮像装置。
【請求項5】
前記音声処理部は、前記対象種別に応じた音声を強調する増幅率を、前記検出部が当該対象種別の被写体を検出したときから次第に増大させる請求項１又は２に記載の撮像装置。
【請求項6】
前記音声処理部は、前記検出部が前記対象種別の被写体を検出した後に前記対象種別の被写体が検出されなくなったとき、前記増幅率を次第に減少させる請求項５に記載の撮像装置。
【請求項7】
音を収音する収音部をさらに備え、前記音声取得部は、前記収音部の収音結果を示す音声データを取得する
請求項１又は２に記載の撮像装置。
【請求項8】
前記検出部の検出結果に応じて前記収音部が収音する範囲を変更するビーム形成部をさらに備える請求項７に記載の撮像装置。
【請求項9】
被写体像を撮像して画像データを生成する撮像部と、前記撮像部による撮像中の音声を示す音声データを取得する音声取得部と、
前記撮像部によって生成された画像データに基づいて、被写体とその種別を検出する検出部と、
前記画像データが示す画像を表示する表示部と、
ユーザによる自装置の操作に基づいて、前記検出部によって検出された被写体の中から、前記画像におけるフォーカス対象の被写体を選択する操作部と、
前記操作部によって選択された被写体の種別に基づいて、前記音声取得部によって取得された音声データにおいて音声を強調又は抑制するように音声データを処理する音声処理部と、
前記音声処理部による処理の対象とする対象種別を示す対象種別情報を前記表示部に表示させる制御部とを備え、
前記制御部は、前記対象種別情報が、前記操作部においてユーザ操作により前記フォーカス対象に選択された被写体の種別を前記対象種別として示すように、前記表示部を制御する
撮像装置。
【請求項10】
前記制御部は、前記表示部にさらに、前記音声処理部が前記選択された被写体の音声を強調又は抑制するレベルを示す強調レベル情報を表示させる請求項９に記載の撮像装置。
【請求項11】
前記フォーカス対象の被写体が変更される際に変更前後の被写体の種別が異なった場合、前記制御部は、変更後の種別を前記対象種別として示すように前記対象種別情報を更新して前記表示部に表示させる請求項９又は１０に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、音声を取得しながら撮像を行う撮像装置に関する。
【背景技術】
【0002】
撮像装置による動画の撮影時などに、特定の被写体による音声を明瞭に収音するための技術が検討されている（例えば特許文献１）。
【0003】
特許文献１は、撮像部及びマイクロフォンアレイを備えた音声識別装置を開示している。この音声識別装置は、撮像部により生成された画像データから被写体画像の特徴情報を検出すると共に、マイクロフォンアレイにより生成された音声データから音声の特徴情報を検出している。この音声識別装置は、画像データから算出される被写体の距離等と音声データから算出される音源の距離等に基づいて、マイクロフォンアレイの指向特性を調整することにより、断続的に音声を発生する音源についても良好な音声を得ることを図っている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１０－１５４２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、撮影中のユーザは、動く被写体に対して目で追って撮影装置の向き等を変えることとなり、音声の検出結果に基づきマイクロフォンの指向性を追従させることは、精度良く行い難い。従来技術では、撮像装置において特定の被写体による音声を明瞭に得難いという問題があった。
【0006】
本開示は、ユーザの意図に沿って被写体による音声を明瞭に得ることを行い易くすることができる撮像装置を提供する。
【課題を解決するための手段】
【0007】
本開示の一態様に係る撮像装置は、撮像部と、音声取得部と、検出部と、音声処理部と、操作部とを備える。撮像部は、被写体像を撮像して画像データを生成する。音声取得部は、撮像部による撮像中の音声を示す音声データを取得する。検出部は、撮像部によって生成された画像データに基づいて、被写体とその種別を検出する。音声処理部は、検出部によって検出された被写体の種別に基づいて、音声取得部によって取得された音声データを処理する。操作部は、ユーザによる自装置の操作に基づいて、第１の種別および第１の種別とは異なる第２の種別を含む複数の種別の中から、音声処理部による処理の対象とする対象種別を設定する。音声処理部は、画像データにおいて対象種別の被写体が検出されたときに、取得された音声データにおいて対象種別に応じた音声を強調又は抑制するように、当該音声データを処理する。
【0008】
本開示の別の態様に係る撮像装置は、撮像部と、音声取得部と、検出部と、表示部と、操作部と、音声処理部と、制御部とを備える。撮像部は、被写体像を撮像して画像データを生成する。音声取得部は、撮像部による撮像中の音声を示す音声データを取得する。検出部は、撮像部によって生成された画像データに基づいて、被写体とその種別を検出する。表示部は、画像データが示す画像を表示する。操作部は、ユーザによる自装置の操作に基づいて、検出部によって検出された被写体の中から、画像におけるフォーカス対象の被写体を選択する。音声処理部は、操作部によって選択された被写体の種別に基づいて、音声取得部によって取得された音声データを処理する。制御部は、音声処理部による処理の対象とする対象種別としてフォーカス対象の被写体の種別を示す対象種別情報を表示部に表示させる。
【発明の効果】
【0009】
本開示に係る撮像装置によると、ユーザの意図に沿って被写体による音声を明瞭に得ることを行い易くすることができる。
【図面の簡単な説明】
【0010】
【図1】本開示の実施の形態１に係るデジタルカメラの構成を示す図
【図2】デジタルカメラにおける音声処理エンジンの構成を示すブロック図
【図3】音声処理エンジンの音声抽出部における特定の種別のデータ例を説明した図
【図5】実施の形態１に係るデジタルカメラの人優先モードの概要を説明するための図
【図6】実施の形態１に係るデジタルカメラの動作を例示するフローチャート
【図7】デジタルカメラの人優先モードにおける「人」の移動時の動作例を説明した図
【図8】実施の形態２に係るデジタルカメラのフォーカス優先モードの概要を説明するための図
【図9】実施の形態２に係るデジタルカメラの動作を例示するフローチャート
【図11】フォーカス対象の被写体が移動する場合のデジタルカメラの動作例を説明した図
【図12】フォーカス対象を変更するユーザ操作に対するデジタルカメラの動作例を説明した図
【図13】実施の形態３に係るデジタルカメラの構成を示す図
【図14】実施の形態３に係るデジタルカメラの動作を例示するフローチャート
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0012】
（実施の形態１）
実施の形態１では、本開示に係る撮像装置の一例として、画像認識技術と音声抽出技術とを連動させて人や動物やといった特定の種別の被写体による音声を明瞭に得るデジタルカメラについて説明する。
実施の形態１では、本開示に係る撮像装置の一例として、画像認識技術と音声抽出技術とを連動させて人や動物やといった特定の種別の被写体による音声を明瞭に得るデジタルカメラについて説明する。
【0013】
〔１－１．構成〕
実施の形態１に係るデジタルカメラの構成について、図１を用いて説明する。
実施の形態１に係るデジタルカメラの構成について、図１を用いて説明する。
【0014】
図１は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、コントローラ１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、マイク１６０と、マイク用のアナログ／デジタル（Ａ／Ｄ）コンバータ１６５と、音声処理エンジン１７０とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。
【0015】
光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。
【0016】
レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、コントローラ１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。
【0017】
イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。
【0018】
イメージセンサ１１５は、動画像、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが例えば静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。
スルー画像、動画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。
スルー画像、動画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。
【0019】
画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。
【0020】
本実施形態において、画像処理エンジン１２０は、撮像画像の画像認識によって人及び動物といった種々の種別の被写体の検出機能を実現する画像認識部１２２を含む。画像認識部１２２の詳細については後述する。
【0021】
表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。
【0022】
操作部１５０は、デジタルカメラ１００の外装に設けられた操作釦や操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズ釦、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ１３５に送信する。
【0023】
コントローラ１３５は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。コントローラ１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、コントローラ１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。コントローラ１３５は１つまたは複数のプロセッサで構成してもよい。また、コントローラ１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。
【0024】
バッファメモリ１２５は、画像処理エンジン１２０やコントローラ１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、コントローラ１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、コントローラ１３５が実行する様々なプログラムが記憶されている。また、コントローラ１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。
【0025】
カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。
【0026】
通信モジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ－Ｆｉ規格等に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール１５５は、インターネット等の通信ネットワークに接続可能であってもよい。
【0027】
マイク１６０は、音を収音する収音部の一例である。マイク１６０は、収音した音声を電気信号であるアナログ信号に変換して出力する。マイク１６０は、１つ又は複数のマイクロフォン素子から構成されてもよい。
【0028】
マイク用のＡ／Ｄコンバータ１６５は、マイク１６０からのアナログ信号をデジタル信号の音声データに変換する。マイク用のＡ／Ｄコンバータ１６５は、本実施形態における音声取得部の一例である。なお、マイク１６０は、デジタルカメラ１００の外部にあるマイクロフォン素子を含んでもよい。この場合、デジタルカメラ１００は音声取得部として、外部のマイク１６０に対するインタフェース回路を備える。
【0029】
音声処理エンジン１７０は、マイク用のＡ／Ｄコンバータ１６５等の音声取得部から出力された音声データを受信して、受信した音声データに対して種々の音声処理を施す。音声処理エンジン１７０は、本実施形態における音声処理部の一例である。音声処理エンジン１７０は、画像処理エンジン１２０と一体的に実装されてもよい。音声処理エンジン１７０の構成の詳細については後述する。
【0030】
〔１－１－１．画像認識部について〕
本実施形態における画像認識部１２２の詳細を、以下説明する。
本実施形態における画像認識部１２２の詳細を、以下説明する。
【0031】
画像認識部１２２は、例えば畳み込みニューラルネットワーク等のニューラルネットワークによる学習済みモデルを採用する。画像認識部１２２は、イメージセンサ１１５からの撮像データを学習済みモデルに入力して、当該モデルによる画像認識処理を実行する。画像認識部１２２は、画像認識処理による被写体の種別の検出結果を示す検出情報を出力する。画像認識部１２２は、本実施形態における検出部の一例である。画像認識部１２２は、画像処理エンジン１２０とコントローラ１３５との協働によって構成されてもよい。
【0032】
画像認識部１２２の画像認識処理は、学習済みモデルに入力されたデータが示す画像において、予め設定された複数のカテゴリの何れかに分類される被写体が映っている領域を示す位置情報と対応するカテゴリとを関連付けて、検出情報として出力する。複数のカテゴリは、例えば「人」及び「動物」といった種別を含む。また、各カテゴリは更に細分化されてもよく、例えば、人の体、顔および瞳といった人の各部、並びに動物の体、顔および瞳といった動物の各部を含んでもよい。位置情報は、例えば処理対象の画像上の水平座標及び垂直座標で規定され、例えば検出された被写体を矩形状に囲む領域を示す（図５など参照）。
【0033】
画像認識部１２２は、各カテゴリについて、予め設定された最大の個数までの被写体を同時に検出してもよい。また、上記の動物のカテゴリ（或いは種別）は、さらに、動物の種類に応じて分類されてもよい。例えば、犬、猫および鳥などのカテゴリが別々に設定されてもよいし、犬と猫を１つにまとめたカテゴリが設定されてもよい。以下では、デジタルカメラ１００において予め設定された複数の種別が、第１の種別の一例として種別「人」と、第２の種別の一例として種別「猫」とを含む場合を説明する。
【0034】
以上のような画像認識部１２２の学習済みモデルは、例えば、各カテゴリの被写体が映った画像を正解とする正解ラベルを関連付けた画像データを教師データとして用いた教師あり学習によって得ることができる。学習済みモデルは、各カテゴリの検出結果に関する信頼度或いは尤度を生成してもよい。
【0035】
画像認識部１２２の学習済みモデルはニューラルネットワークに限らず、種々の画像認識に関する機械学習モデルであってもよい。また、画像認識部１２２は機械学習に限らず、種々の画像認識アルゴリズムを採用してもよい。また、画像認識部１２２は、例えば人の顔および瞳などの一部のカテゴリに対する検出がルールベースの画像認識処理によって行われるように構成されてもよい。
【0036】
〔１－１－２．音声処理エンジンについて〕
音声処理エンジン１７０の構成の詳細について、図２～図４を用いて説明する。図２は、デジタルカメラ１００における音声処理エンジン１７０の構成を示すブロック図である。
音声処理エンジン１７０の構成の詳細について、図２～図４を用いて説明する。図２は、デジタルカメラ１００における音声処理エンジン１７０の構成を示すブロック図である。
【0037】
音声処理エンジン１７０は、例えば機能的構成として、図２に示すように、雑音抑圧部１７２と、音声抽出部１７４と、強調処理部１７６とを備える。音声処理エンジン１７０は、マイク用のＡ／Ｄコンバータ１６５から音声データＡｉｎを入力して、各種機能による音声処理を行う。音声抽出部１７４及び強調処理部１７６は、例えばコントローラ１３５によって制御される。
【0038】
雑音抑圧部１７２は、音声処理エンジン１７０に入力された音声データＡｉｎにおいて雑音を抑制する処理を行う。雑音抑圧部１７２による処理は、例えば風の音や、レンズ等の駆動音、ユーザ等がデジタルカメラ１００に触れて生じる各種ハンドリング雑音といった所定の雑音を抑圧するために行われ、例えばルールベースのアルゴリズムで実装される。雑音抑圧部１７２は、処理した音声データＡ１０を、音声抽出部１７４及び強調処理部１７６に出力する。雑音抑圧部１７２の処理後の音声データＡ１０は、例えば音声抽出を行わずに動画を撮影する際に得られる動画音声を示す。
【0039】
音声抽出部１７４は、雑音抑圧部１７２からの動画音声の音声データＡ１０において、特定の種別（以下「対象種別」という場合がある）の音声を抽出する処理を行って、抽出音声を示す音声データＡ１１を出力する。音声抽出部１７４の処理は、例えばニューラルネットワーク等の機械学習による学習済みモデルによって実現される。以下では、畳み込みニューラルネットワーク（ＣＮＮ）を用いる例を説明する。
【0040】
音声抽出部１７４のＣＮＮは、例えば画像認識に用いられる場合と同様に、画像データを入力とする畳み込み層などを含む。本例において、音声抽出部１７４は、動画音声の音声データを画像データに変換する音声／画像変換部１７４ａと、変換された画像データ上で特定の種別に対応する部分を識別するようにＣＮＮによる処理を実行するＣＮＮ処理部１７５と、識別された部分の画像データを音声データに変換する画像／音声変換部１７４ｂとを備える。音声抽出部１７４は、例えば所定のフレーム周期で周期的に動作可能である。
【0041】
音声処理エンジン１７０には予め、対象種別として設定可能な複数の種別が設定されている。音声処理エンジン１７０における複数の種別は、例えば画像認識部１２２に予め設定された複数の種別と対応している。図３は、音声抽出部１７４における特定の種別のデータ例を説明した図である。
【0042】
図３（Ａ）は、種別「人」のデータ例として人の声の音声データＡ１２による音声の波形を例示する。図３（Ｂ）は、図３（Ａ）の変換後の画像データＢ１２を例示する。音声データＡ１２は、図３（Ａ）に例示するように、時間方向に沿って音声波形の振幅が規定される時系列データを構成する。音声／画像変換部１７４ａは、例えば短時間フーリエ変換（ＳＴＦＴ）等を演算して、音声データＡ１２の変換後の画像データＢ１２を生成する。
【0043】
図３（Ｂ）に示すように、変換後の画像データＢ１２は、音声データＡ１２のスペクトログラム或いは声紋画像を示し、時間方向Ｘに加えて周波数方向Ｙを有する。画像データＢ１２の画素値は、（Ｘ，Ｙ）座標で規定される音の成分の強さ（振幅）を示す。画像データＢ１２の画像上の領域は、変換前の音声データＡ１２において対応する時間区間及び周波数帯の成分を表す。
【0044】
図４は、図３とは別の種別のデータ例を説明した図である。図４（Ａ）は、種別「猫」のデータ例として猫の鳴き声の音声データＡ１３による音声の波形を例示する。図４（Ｂ）は、図４（Ａ）の変換後の画像データＢ１３を例示する。図３（Ｂ），図４（Ｂ）に示す画像データＢ１２，Ｂ１３間には、図３（Ａ），図４（Ａ）の音声データＡ１２，Ａ１３における種別の違いに応じて、異なる特徴量が含まれる。ＣＮＮ処理部１７５の機械学習によると、このような特徴量の識別方法が獲得される。
【0045】
例えば種々の種別による音声に応じた画像データＢ１２，Ｂ１３をラベル付けした教師となる画像データが、ＣＮＮ処理部１７５の機械学習のための教師データベース（ＤＢ）４０に格納される。ＣＮＮ処理部１７５の学習済みモデルは、教師ＤＢ４０を用いた教師あり学習において、画像データを入力すると特定の種別の識別情報を出力するように、ＣＮＮの重みパラメータ群を誤差逆伝播法で入力データと教師データの誤差を小さくするために調整することによって構成できる。なお、教師ＤＢ４０では、画像データの代わりに音声データが格納されてもよい。この場合、教師ＤＢ４０中の音声データに対しても音声／画像変換部１７４ａの変換が適用可能である。
【0046】
ＣＮＮ処理部１７５が出力する識別情報は、例えば、入力の画像データ上で特定の種別に対応すると識別された領域等を示す画像データを含み、又この識別の信頼度あるいは尤度を含んでもよい。ＣＮＮ処理部１７５には、例えば上記のＣＮＮに加えて又はこれに代えて、種別毎の音声に応じた画像データ等を生成する各種の生成モデルが含まれてもよい。ＣＮＮ処理部１７５では、種別ごとに別々に機械学習された学習済みモデルを用いることができる。例えば、各種別の学習済みモデル或いは対応する重みパラメータ群は、フラッシュメモリ１４５において学習データベース（ＤＢ）４５に格納され、特定の種別の音声抽出を実行するために用いる設定情報として適時、コントローラ１３５によってＣＮＮ処理部１７５に設定される。なお、ＣＮＮ処理部１７５には、複数の種別を同時に識別する学習済みモデルを用いてもよい。
【0047】
図２に戻り、画像／音声変換部１７４ｂは、ＣＮＮ処理部１７５によって識別された画像データに対して、例えば音声／画像変換部１７４ａによるＳＴＦＴの逆変換を演算して、音声抽出部１７４における抽出結果を示す抽出音声の音声データＡ１１を生成する。
【0048】
強調処理部１７６は、音声抽出部１７４からの抽出音声の音声データＡ１１を入力する音声増幅部１７７と、雑音抑圧部１７２からの動画音声の音声データＡ１０を入力する音声減衰部１７８と、音声増幅部１７７と音声減衰部１７８の出力を統合する音声結合部１７９とを備える。強調処理部１７６は、音声抽出部１７４による抽出音声が動画音声から強調されるように、抽出音声及び動画音声の各音声データＡ１０，Ａ１１を処理して、音声処理エンジン１７０による処理結果の音声データＡｏｕｔを出力する。
【0049】
音声増幅部１７７は、入力される音声データＡ１１に対して、例えばコントローラ１３５によって設定されるゲインＧ１を乗じる乗算処理を行って、抽出音声を増幅する。音声減衰部１７８は、入力される音声データＡ１０に対して、当該音声データＡ１０が示す動画音声の音量と、音声結合部１７９による結合後の音声の音量とを同じにする値のゲインＧ０（＜１）を乗じて、動画音声を抑圧する。音声結合部１７９は、増幅された抽出音声と抑圧された動画音声とを同期して合成し、処理結果の音声データＡｏｕｔを生成する。
【0050】
なお、音声減衰部１７８のゲインＧ０は、強調処理部１７６において算出されてもよいし、コントローラ１３５によって設定されてもよい。音声増幅部１７７のゲインＧ１は、例えば１以下であってもよい。この場合であっても、動画音声の中に抽出音声と同じ音声が含まれていることから、抽出対象となった音声は、処理結果の音声データＡｏｕｔにおいて動画音声中の分よりも増幅されることとなる。
【0051】
以上のような音声処理エンジン１７０において、音声抽出部１７４の機能はＣＮＮに限らず、他のニューラルネットワークで実現されてもよいし、ニューラルネットワーク以外の種々の音声識別に関する機械学習モデルであってもよい。また、教師ＤＢ４０等を用いた音声抽出部１７４の機械学習は、デジタルカメラ１００への実装前に予め行われてもよい。この場合、デジタルカメラ１００のフラッシュメモリ１４５には、学習結果の学習ＤＢ４５が記録されれば、特に教師ＤＢ４０は記録されなくてもよい。
【0052】
また、音声処理エンジン１７０においては、教師ＤＢ４０のような種々の種別と対応付けた音声データ等を含むデータベースを用いて、音声抽出部１７４の抽出結果の補正が行われてもよい。例えば当該データベースをフラッシュメモリ１４５に格納しておき、音声処理エンジン１７０が音声抽出部１７４の抽出結果とデータベース中のデータとを照合してもよい。また、音声抽出部１７４等の機能は機械学習に限らず、種々の音声識別アルゴリズムにより実現されてもよく、上記のようなデータベースにおける検索が利用されてもよい。
【0053】
〔１－２．動作〕
以上のように構成されるデジタルカメラ１００の動作について説明する。以下では、デジタルカメラ１００による動画撮影時の動作を説明する。
以上のように構成されるデジタルカメラ１００の動作について説明する。以下では、デジタルカメラ１００による動画撮影時の動作を説明する。
【0054】
デジタルカメラ１００は順次、光学系１１０を介して形成された被写体像をイメージセンサ１１５で撮像して撮像データを生成する。画像処理エンジン１２０は、イメージセンサ１１５により生成された撮像データに対して各種処理を施して画像データを生成し、バッファメモリ１２５に記録する。また、画像処理エンジン１２０の画像認識部１２２は、撮像データが示す画像に基づき、被写体の種別および領域を検出して、例えば検出情報Ｄ１をコントローラ１３５に出力する。
【0055】
以上の撮像動作と同時並行で、デジタルカメラ１００は、マイク１６０において収音を行う。マイク用のＡ／Ｄコンバータ１６５から収音結果の音声データを音声処理エンジン１７０にて処理する。音声処理エンジン１７０は、処理後の音声データＡｏｕｔをバッファメモリ１２５に記録する。
【0056】
コントローラ１３５は、バッファメモリ１２５を介して、画像処理エンジン１２０から受け付ける画像データと音声処理エンジン１７０から受け付ける音声データとの間で、同期を取って動画をメモリカード１４２に記録する。また、コントローラ１３５は逐次、表示モニタ１３０にスルー画像を表示させる。ユーザは、表示モニタ１３０のスルー画像により随時、撮影の構図等を確認することができる。動画撮影の動作は、操作部１５０におけるユーザの操作に応じて開始／終了される。
【0057】
以上のようなデジタルカメラ１００の動画撮影は、「人」又は「動物」といった特定の種別の被写体に注目して行われる場合がある。この場合、音声についても、上記種別の発声を明瞭に収集したいとのニーズが考えられる。
【0058】
本実施形態のデジタルカメラ１００は、画像処理エンジン１２０における画像認識部１２２の検出情報Ｄ１によって被写体の種別を検出し、画像認識で特定の種別の被写体が検出されたときに、音声処理エンジン１７０において当該種別に対する音声抽出の処理を実行する。このように、画像処理エンジン１２０の画像認識と音声処理エンジン１７０の音声抽出等とを連動させて、特定の種別の被写体による音声の抽出を精度良く実現する。
【0059】
以下では、上記のような特定の種別が「人」に設定された動作モード（以下「人優先モード」という）におけるデジタルカメラ１００の動作例を説明する。
【0060】
〔１－２－１．人優先モードについて〕
図５は、デジタルカメラ１００の人優先モードの概要を説明するための図である。人優先モードは、種別が「人」の被写体に注目して動画撮影等を行うための動作モードである。
図５は、デジタルカメラ１００の人優先モードの概要を説明するための図である。人優先モードは、種別が「人」の被写体に注目して動画撮影等を行うための動作モードである。
【0061】
図５（Ａ）は、人優先モードにおける表示モニタ１３０の表示の一例を示す。デジタルカメラ１００のコントローラ１３５は、表示モニタ１３０にスルー画像と共に、スルー画像中で枠表示などにより、被写体が検出された検出領域Ｒ１を表示する。また、図５の例において、表示モニタ１３０は、音声抽出アイコン５を表示している。音声抽出アイコン５は、音声抽出の対象とする種別を示す対象種別マーク５ａと、抽出された音声が増幅されるレベルを示す増幅レベルバー５ｂとを含む。対象種別マーク５ａ（対象種別情報の一例）と増幅レベルバー５ｂ（強調レベル情報の一例）とは、それぞれコントローラ１３５の制御によって表示される。人優先モードの音声抽出アイコン５では、対象種別マーク５ａとして「人」のマークが表示される。
【0062】
人優先モードのデジタルカメラ１００において、画像処理エンジン１２０の画像認識部１２２は、例えば種々の種別の被写体を検出する。図５（Ａ）の例では、被写体において、対象種別の人２１，２２と、対象種別とは別の種別の猫２０とが、それぞれ検出されている。この際、画像認識による人２１，２２の検出に応じて、音声処理エンジン１７０の音声抽出部１７４が動作し、対象種別「人」に対する音声抽出の処理を開始する。
【0063】
図５（Ｂ）は、図５（Ａ）に対応した音声変化を例示するグラフである。図５（Ｂ）において、横軸は時間を示し、縦軸は増幅（又は抑圧の）レベルを示す。曲線Ｃ１は抽出音声を表し、曲線Ｃ０は動画音声を表している。人２１，２２の何れかが発声して、種別「人」の音声が抽出されると、強調処理部１７６は抽出音声の増幅を行う。一方、「猫」の鳴き声は、音声抽出の対象とはならない。このように、ユーザが意図した対象種別「人」の音声が他の音声よりも優先して明瞭に得られる。
【0064】
また、音声処理エンジン１７０の強調処理部１７６は、図５（Ｂ）の曲線Ｃ１に示すように、抽出音声を徐々に緩やかに増大させる。これにより、ユーザにとって強調後の音声が聴き難くなるような急激な音声変化を回避することができる。また、音声処理エンジン１７０は、強調処理部１７６による処理の前後で全音量を一定に保つように、抽出音声の増幅と、動画音声の抑圧とを行う。これにより、ユーザにとって強調後の音声をより聴き易くすることができる。また、ユーザは、抽出音声の増幅のレベルを、図５（Ａ）において増幅レベルバー５ｂで確認することができる。さらに、対象種別マーク５ａにより、ユーザは現在の対象種別を確認でき、ユーザの意図に沿った音声強調を実現し易くすることができる。
【0065】
〔１－２－２．動作の詳細〕
以上のような人優先モードにおけるデジタルカメラ１００の動作の詳細を、図６～図７を用いて説明する。ユーザは、例えば種別「人」の被写体による音声を明瞭に得たい意図があるときに、デジタルカメラ１００の設定メニュー等においてタッチパネルや各種キーなどの操作部１５０にユーザ操作を入力して、デジタルカメラ１００を人優先モードに設定できる。
以上のような人優先モードにおけるデジタルカメラ１００の動作の詳細を、図６～図７を用いて説明する。ユーザは、例えば種別「人」の被写体による音声を明瞭に得たい意図があるときに、デジタルカメラ１００の設定メニュー等においてタッチパネルや各種キーなどの操作部１５０にユーザ操作を入力して、デジタルカメラ１００を人優先モードに設定できる。
【0066】
図６は、実施の形態１に係るデジタルカメラ１００の動作を例示するフローチャートである。図６に示すフローチャートは、例えばデジタルカメラ１００が人優先モードに設定された状態で動画の撮影中に実行される。この状態で、表示モニタ１３０は、コントローラ１３５の制御により、種別「人」を示す対象種別マーク５ａ等を表示している。本フローチャートによる各処理は、例えば、デジタルカメラ１００のコントローラ１３５によって実行される。なお、コントローラ１３５の代わりに、以下の各処理を実行させる機能が音声処理エンジン１７０に実装されてもよい。
【0067】
まず、コントローラ１３５は、画像処理エンジン１２０から検出情報Ｄ１を取得して、画像認識部１２２において種別が「人」の被写体が検出されたか否かを判断する（Ｓ１）。コントローラ１３５は、種別「人」の被写体が検出されるまで、例えば所定の周期でステップＳ１の判断を繰り返す（Ｓ１でＮＯ）。当該周期は、例えば画像処理エンジン１２０における画像認識部１２２の動作周期である。
【0068】
ステップＳ１において、音声処理エンジン１７０は、音声抽出部１７４（図２）の処理は実行せずに雑音抑圧部１７２の処理後の音声データＡ１０を生成して、強調処理部１７６にて特に抑圧せずに（Ｇ０＝１）、バッファメモリ１２５に出力する。
【0069】
画像認識において種別「人」の被写体が検出されたとき（Ｓ１でＹＥＳ）、コントローラ１３５は、「人」を対象種別とする音声抽出を開始させるように、音声処理エンジン１７０を制御する（Ｓ２）。コントローラ１３５は、学習ＤＢ４５を参照して、対象種別「人」の音声抽出を行うための設定情報を、音声処理エンジン１７０の音声抽出部１７４に設定する。また、コントローラ１３５は、例えば強調処理部１７６における音声増幅部１７７のゲインＧ１を初期値に設定する。ゲインＧ１の初期値は、ユーザが急激な音量変化とは感じないと想定される値に設定される。
【0070】
コントローラ１３５は、音声処理エンジン１７０の音声抽出部１７４において対象種別の音声が抽出されたか否かを判断する（Ｓ３）。ステップＳ３の判断は、例えば、音声抽出部１７４のＣＮＮ処理部１７５から出力される識別情報の信頼度に基づいて行われる。コントローラ１３５は、対象とする種別「人」の音声が抽出されたと判断するまで、例えば所定の周期でステップＳ１の判断を繰り返す（Ｓ３でＮＯ）。当該周期は、例えば音声処理エンジン１７０における音声抽出部１７４の動作周期である。
【0071】
ステップＳ２後の音声処理エンジン１７０においては、音声抽出部１７４が対象種別の音声を抽出すると逐次、強調処理部１７６の音声増幅部１７７が抽出音声を増幅する。この際、音声増幅部１７７では順次、設定されたゲインＧ１が用いられる。例えばステップＳ３において抽出された音声には初期値のゲインＧ１が適用される。また、強調処理部１７６の音声減衰部１７８は、音声増幅部１７７に設定されたゲインＧ１に応じて、音量を維持する値のゲインＧ０を用いる。
【0072】
コントローラ１３５は、対象種別「人」の音声が抽出されたと判断したとき（Ｓ３でＹＥＳ）、音声増幅部１７７のゲインＧ１を初期値から増大させる（Ｓ４）。これにより、次に抽出された音声には、増大されたゲインＧ１が適用される。ステップＳ４は、所定ピッチでゲインＧ１を増やしてもよいし、連続的に増やしてもよい。又、コントローラ１３５は、ステップＳ４において、ゲインＧ１の増大に応じて増幅レベルバー５ｂが示すレベルを上げるように表示モニタ１３０を制御する（図５（Ａ），（Ｂ）参照）。
【0073】
次に、コントローラ１３５は、画像認識部１２２から検出情報Ｄ１を再度取得して、現時点で対象種別「人」の被写体が検出されているか否かを判断する（Ｓ５）。ステップＳ５の判断は、ステップＳ１と同様に行われる。
【0074】
コントローラ１３５は、対象種別「人」の被写体が検出されていると判断すると（Ｓ５でＹＥＳ）、現時点で音声抽出部１７４において対象種別の音声が抽出されたか否かを、ステップＳ３と同様に判断する（Ｓ６）。
【0075】
対象種別の音声が抽出されている場合（Ｓ６でＹＥＳ）、コントローラ１３５は、音声増幅部１７７に設定されたゲインＧ１が最大値か否かを判断する（Ｓ７）。最大値は、例えばユーザにとって抽出音声が充分に強調されていると感じられる程度の値に設定される。設定済みのゲインＧ１が最大値に到っていない場合（Ｓ７でＮＯ）、コントローラ１３５は再度、音声増幅部１７７のゲインＧ１を増大させて（Ｓ４）、ステップＳ５以降の処理を再度行う。これにより、新たに抽出された音声に対してさらに増大されたゲインＧ１が適用される。
【0076】
一方、ゲインＧ１が最大値である場合（Ｓ７でＹＥＳ）、コントローラ１３５は、ステップＳ４の処理を行わずに、ステップＳ５以降の処理を再度行う。これにより、音声処理エンジン１７０において抽出音声を強調する増幅を、適切なゲインＧ１で維持することができる。
【0077】
また、コントローラ１３５は、現時点で種別が「人」の被写体が検出されていなかったり（Ｓ５でＮＯ）、対象種別の音声が抽出されていなかったりすると（Ｓ６でＮＯ）、音声増幅部１７７のゲインＧ１を減少させる（Ｓ８）。ステップＳ８の処理は、例えばステップＳ４と同じピッチで行われる。又、コントローラ１３５は、ステップＳ８において、ゲインＧ１の減少に応じて増幅レベルバー５ｂが示すレベルを下げるように表示モニタ１３０を制御する（図７（Ａ），（Ｂ）参照）。
【0078】
また、コントローラ１３５は、例えば減少させたゲインＧ１が最小値であるか否かを判断する（Ｓ９）。ゲインＧ１の最小値は、例えば初期値と同じ値であってもよい。コントローラ１３５は、ゲインＧ１が最小値に到っていない場合（Ｓ９でＮＯ）、ステップＳ５以降の処理を再度行う。これにより、その後のステップＳ６において、音声抽出部１７４が対象種別の音声を抽出すると、減少させたゲインＧ１を適用して音声増幅が為される。一方、ゲインＧ１が最小値に到った場合（Ｓ９でＹＥＳ）、コントローラ１３５は、音声抽出部１７４による音声抽出の処理を停止させて（Ｓ１０）、ステップＳ１に戻る。
【0079】
以上の処理は、例えばデジタルカメラ１００の人優先モードで動画の撮影中に繰り返し、実行される。動画の記録としては、音声処理後の音声データＡｏｕｔが記録される。
【0080】
以上の処理によると、「人」のような特定の種別の画像認識に連動して、音声の抽出と、抽出された音声の増幅とが実行される。
【0081】
例えば図５（Ｂ）の例では、時刻ｔ１前には、種別「人」の被写体が検出されておらず（Ｓ１でＮＯ）、音声の抽出及び増幅／抑圧も行われていない。このように、人優先モードであっても画像認識で種別「人」の被写体が検出されていなければ、対象種別についての音声処理を行わないことで、不必要に動画音声を小さくすることを回避できる。
【0082】
また、画像認識部１２２において種別「人」の被写体が検出され（Ｓ１でＹＥＳ）、かつ音声抽出部１７４において象種別の音声が抽出され始めると（Ｓ３でＹＥＳ）、コントローラ１３５は、音声増幅部１７７のゲインＧ１を次第に増大させる（Ｓ２～Ｓ７）。これにより、図５（Ｂ）の時刻ｔ１から抽出音声の強調が緩やかに進み、増幅開始のタイミング前後でもユーザにとって聴き易い音声を得ることができる。
【0083】
図７は、デジタルカメラ１００の人優先モードにおける「人」の移動時の動作例を説明した図である。人優先モードのデジタルカメラ１００においては、一人でも種別「人」の画像認識がされている限り、音声抽出が継続する。
【0084】
図７（Ａ）は、図５（Ａ）の後の表示例を示す。図７（Ｂ）は、図７（Ａ）に対応した音声変化を例示する。本例では、人２１，２２が一人も居なくなっており、画像認識において種別「人」が検出されなくなる（Ｓ５でＮＯ）。この際、音声抽出は即座に停止されるのではなく、例えばコントローラ１３５が音声増幅部１７７のゲインＧ１を次第に減少させる（Ｓ７，Ｓ８）。
【0085】
図７（Ｃ）は、図７（Ａ）の後の表示例を示す。図７（Ｄ）は、図７（Ｃ）に対応した音声変化を例示する。図７（Ｃ）の例では、図７（Ａ）の後に再度、人２２が検出されており、音声増幅部１７７のゲインＧ１も再度、増大される（Ｓ４～Ｓ８）。以上のように、人２２等の被写体が移動する状況であっても、抽出音声の変化を急激にすることなく、より明瞭な音声を得ることができる。
【0086】
以上の説明では、対象種別の音声を強調する例を説明したが、これに代えて対象種別の音声が抑制されるようにしてもよい。例えばユーザは、人の音声を抑制したい場合に、上述した人優先モードの代わりの動作モードを選択する。この動作モードでは、例えば、音声処理エンジン１７０が、図６のフローチャートにおいて音声の増幅と抑圧とを入れ替えた処理を行うことにより、対象種別の音声を抑制できる。これにより、特定の種別の音声を抑制したいというようなユーザの意図に沿った音声の明瞭化を実現することができる。
【0087】
以上の説明では、対象種別が種別「人」である場合の動作例を説明したが、他の種別についても同様の動作が可能である。例えば、デジタルカメラ１００は、画像認識部１２２及び音声処理エンジン１７０に設定可能な複数の種別の各々を対象種別として採用する動作モードを有してもよい。例えば、表示モニタ１３０において設定メニューに各動作モードの選択肢を表示した状態で操作部１５０からユーザ操作を入力して、ユーザ所望の対象種別に応じた動作モードが選択されてもよい。
【0088】
〔１－３．まとめ〕
以上のように、実施の形態１のデジタルカメラ１００は、撮像部の一例としてイメージセンサ１１５と、音声取得部の一例としてマイク用のＡ／Ｄコンバータ１６５と、検出部の一例として画像認識部１２２と、音声処理部の一例として音声処理エンジン１７０と、操作部１５０とを備える。イメージセンサ１１５は、被写体像を撮像して画像データを生成する。マイク用のＡ／Ｄコンバータ１６５は、イメージセンサ１１５による撮像中の音声を示す音声データＡｉｎを取得する。画像認識部１２２は、イメージセンサ１１５によって生成された画像データに基づいて、被写体とその種別を検出する。音声処理エンジン１７０は、画像認識部１２２によって検出された被写体の種別に基づいて、取得された音声データＡｉｎを処理する。操作部１５０は、ユーザによるデジタルカメラ１００の各種操作に基づいて、例えば人に関する第１の種別および第１の種別とは異なる第２の種別を含む複数の種別の中から、音声処理エンジン１７０による処理の対象とする対象種別を設定する。音声処理エンジン１７０は、画像データにおいて対象種別の被写体が検出されたときに（Ｓ１）、取得された音声データＡｉｎにおいて対象種別に応じた音声を強調又は抑制するように、音声抽出部１７４及び強調処理部１７６で当該音声データＡｉｎを処理する（Ｓ２～Ｓ４）。
以上のように、実施の形態１のデジタルカメラ１００は、撮像部の一例としてイメージセンサ１１５と、音声取得部の一例としてマイク用のＡ／Ｄコンバータ１６５と、検出部の一例として画像認識部１２２と、音声処理部の一例として音声処理エンジン１７０と、操作部１５０とを備える。イメージセンサ１１５は、被写体像を撮像して画像データを生成する。マイク用のＡ／Ｄコンバータ１６５は、イメージセンサ１１５による撮像中の音声を示す音声データＡｉｎを取得する。画像認識部１２２は、イメージセンサ１１５によって生成された画像データに基づいて、被写体とその種別を検出する。音声処理エンジン１７０は、画像認識部１２２によって検出された被写体の種別に基づいて、取得された音声データＡｉｎを処理する。操作部１５０は、ユーザによるデジタルカメラ１００の各種操作に基づいて、例えば人に関する第１の種別および第１の種別とは異なる第２の種別を含む複数の種別の中から、音声処理エンジン１７０による処理の対象とする対象種別を設定する。音声処理エンジン１７０は、画像データにおいて対象種別の被写体が検出されたときに（Ｓ１）、取得された音声データＡｉｎにおいて対象種別に応じた音声を強調又は抑制するように、音声抽出部１７４及び強調処理部１７６で当該音声データＡｉｎを処理する（Ｓ２～Ｓ４）。
【0089】
以上のデジタルカメラ１００によると、イメージセンサ１１５による画像データの画像認識においてユーザ所望の対象種別に該当する特定の被写体が検出されたときに、特定の被写体の種別に応じた音声が強調又は抑制された音声データＡｏｕｔが得られる。これにより、ユーザの意図に沿って特定の被写体による音声を明瞭に得やすくすることができる。
【0090】
本実施形態において、デジタルカメラ１００は、画像データが示す画像を表示する表示部の一例として表示モニタ１３０をさらに備える。表示モニタ１３０は、対象種別を示す対象種別情報の一例である対象種別マーク５ａを表示する。これにより、ユーザは、現在の対象種別を確認しながら動作の撮影等を行え、ユーザの意図に沿った被写体の音声取得を実現し易くできる。また、さらに表示モニタ１３０は、被写体の音声を強調又は抑制するレベルを示す強調レベル情報の一例である増幅レベルバー５ｂを表示させてもよい。
【0091】
本実施形態において、デジタルカメラ１００は、ユーザの操作を入力する操作部１５０を備えている。音声処理エンジン１７０の処理対象となる対象種別は、操作部１５０におけるユーザの操作に基づき設定される。これにより、ユーザ所望の種別による音声を明瞭に得やすくすることができる。
【0092】
本実施形態において、デジタルカメラ１００は、被写体の種別に応じた動作モードの一例として、種別「人」による人優先モードを有する。操作部１５０は、デジタルカメラ１００の動作モードを選択するユーザの操作に従って、対象種別を設定する。例えば、人優先モードが選択されると対象種別は「人」に設定される。なお、このような動作モードは人優先モードに限らず、例えば種別「人」の代わりに「猫」など各種の動物の種別を優先する動作モードが用いられてもよい。
【0093】
本実施形態において、音声処理エンジン１７０は、対象種別に応じた音声を強調する増幅率であるゲインＧ１を、画像認識部１２２が当該対象種別の被写体を検出したとき（Ｓ２でＹＥＳ）から次第に増大させる（Ｓ３～Ｓ７）。これにより、急激な音声変化を回避して、強調された抽出音声をユーザにとって聴き易くすることができる。
【0094】
本実施形態において、音声処理エンジン１７０は、画像認識部１２２が対象種別の被写体を検出した後に対象種別の被写体が検出されなくなったとき（Ｓ５でＮＯ）、ゲインＧ１を次第に減少させる（Ｓ８，Ｓ９）。これにより、被写体が検出されているか否かによって抽出音声の強調を過度に変化させることを回避し、ユーザにとってより聴き易い音声を得ることができる。
【0095】
本実施形態において、音声処理エンジン１７０は、音声抽出部１７４及び強調処理部１７６において、対象種別に応じた音声を強調する処理前の音声データＡ１０と処理後の音声データＡｏｕｔとの間において音量を維持するように、音声減衰部１７８に入力された音声データＡ１０を処理する。これにより、音声処理の前後で音量を変えないようにして、ユーザがより聴き易い音声を得られる。
【0096】
本実施形態において、デジタルカメラ１００は、音を収音する収音部の一例としてマイク１６０をさらに備える。マイク用のＡ／Ｄコンバータ１６５は、マイク１６０の収音結果を示す音声データＡｉｎを取得する。なお、マイク１６０は、デジタルカメラ１００内蔵に限らず、外部構成であってもよい。外部のマイク１６０を用いる場合であっても、収音結果の音声データを取得して、音声処理エンジン１７０の音声処理を、画像認識部１２２による検出結果に応じて行うことにより、デジタルカメラ１００にて特定の種別の被写体による音声を明瞭に得ることができる。
【0097】
本実施形態のデジタルカメラ１００は、イメージセンサ１１５（撮像部）と、マイク用のＡ／Ｄコンバータ１６５（音声取得部）と、画像認識部１２２（検出部）と、表示モニタ１３０（表示部）と、音声処理エンジン１７０（音声処理部）と、操作部１５０（操作部）と、コントローラ１３５（制御部）とを備える。本実施形態の操作部は、ユーザによる自装置の設定メニュー等の操作に基づいて、複数の種別の中から、音声処理部による処理の対象とする対象種別を設定する。制御部は、対象種別を示す対象種別情報の一例として対象種別マーク５ａを表示部に表示させる。これによっても、ユーザは、現在の対象種別を確認しながら動作の撮影等を行え、ユーザの意図に沿って被写体による音声を明瞭に得ることを行い易くできる。
【0098】
（実施の形態２）
以下、図８～図１２を用いて実施の形態２を説明する。実施の形態１では、デジタルカメラ１００の人優先モードの動作例を説明したが、実施の形態２では、フォーカス優先モードの動作例を説明する。フォーカス優先モードは、デジタルカメラ１００においてフォーカス対象として選択された被写体の種別を優先して、音声抽出を実行する動作モードである。
以下、図８～図１２を用いて実施の形態２を説明する。実施の形態１では、デジタルカメラ１００の人優先モードの動作例を説明したが、実施の形態２では、フォーカス優先モードの動作例を説明する。フォーカス優先モードは、デジタルカメラ１００においてフォーカス対象として選択された被写体の種別を優先して、音声抽出を実行する動作モードである。
【0099】
以下、実施の形態１に係るデジタルカメラ１００と同様の構成および動作の説明は適宜、省略して、本実施形態に係るデジタルカメラ１００について説明する。
【0100】
〔２－１．フォーカス優先モードについて〕
図８は、デジタルカメラ１００のフォーカス優先モードの概要を説明するための図である。本実施形態のデジタルカメラ１００では、例えば表示モニタ１３０のスルー画像に被写体が映っている状態で、タッチパネルやキーなどの操作部１５０におけるユーザ操作により、フォーカス対象の被写体を選択可能である。
図８は、デジタルカメラ１００のフォーカス優先モードの概要を説明するための図である。本実施形態のデジタルカメラ１００では、例えば表示モニタ１３０のスルー画像に被写体が映っている状態で、タッチパネルやキーなどの操作部１５０におけるユーザ操作により、フォーカス対象の被写体を選択可能である。
【0101】
図８（Ａ）は、フォーカス選択前の表示例を示す。図８（Ｂ）は、図８（Ａ）に対応した音声変化を例示する。図８（Ｃ）は、フォーカス選択後の表示例を示す。図８（Ｄ）は、図８（Ｂ）に対応した音声変化を例示する。
【0102】
図８（Ａ）の表示例では、実施形態１と同様の画像認識部１２２により、猫２０と二人の人２１，２２とによる三つの被写体が検出されている。例えば、ユーザは、表示モニタ１３０において検出領域Ｒ１に対応する各被写体の周りの表示枠を視認して、フォーカス対象の被写体を選択できる。フォーカス対象の選択前には、特に音声抽出は行われず、図８（Ｂ）の曲線Ｃ０に示すように動画音声が得られる。
【0103】
図８（Ｃ）の表示例は、図８（Ａ）の状態から一方の人２１がフォーカス対象として選択された例を示す。表示モニタ１３０は、選択された人２１の周りに、他の被写体２０，２２の表示枠とは別の表示態様で、フォーカス対象の表示枠Ｆ１を表示させる。また、レンズ駆動部１１２は、表示枠Ｆ１内の被写体に合焦するように、光学系１１０のフォーカスレンズを駆動する。
【0104】
図８（Ｄ）に示すように、本実施形態の音声処理エンジン１７０は、以上のような動作に連動して、フォーカス対象の被写体の種別に応じた音声を強調するための音声処理を行う。なお、本実施形態の音声処理エンジン１７０は、例えば音声抽出部１７４及び強調処理部１７６において複数種別の抽出音声を並列して処理可能に構成される。
【0105】
〔２－２．動作の詳細〕
以上のようなフォーカス優先モードにおけるデジタルカメラ１００の動作の詳細を、図９～図１２を用いて説明する。図９，１０は、本実施形態に係るデジタルカメラ１００の動作を例示するフローチャートである。以下では、人優先モードの動作（図６）と同様の説明は適宜、省略する。
以上のようなフォーカス優先モードにおけるデジタルカメラ１００の動作の詳細を、図９～図１２を用いて説明する。図９，１０は、本実施形態に係るデジタルカメラ１００の動作を例示するフローチャートである。以下では、人優先モードの動作（図６）と同様の説明は適宜、省略する。
【0106】
フォーカス優先モードのデジタルカメラ１００において、コントローラ１３５は、図６のステップＳ１の代わりに、画像認識部１２２による検出情報Ｄ１に基づいて、画像認識で検出された被写体があるか否かを判断する（Ｓ１Ａ）。検出された被写体がある場合（Ｓ１ＡでＹＥＳ）、コントローラ１３５は、操作部１５０におけるユーザ操作によって、フォーカス対象の被写体が選択されたか否かを判断する（Ｓ１Ｂ）。
【0107】
フォーカス対象の被写体が選択されると（Ｓ１ＢでＹＥＳ）、コントローラ１３５は、選択された被写体の種別を対象種別として、図６のステップＳ２と同様に音声処理エンジン１７０に音声抽出を開始させる（Ｓ２Ａ）。このとき、コントローラ１３５は、対象種別マーク５ａが、選択された被写体の種別を示すように音声抽出アイコン５を表示モニタ１３０に表示させる（図８（Ｃ）参照）。又、増幅レベルバー５ｂの表示は、その後のステップＳ４，Ｓ８において実施形態１と同様にコントローラ１３５によってゲインＧ１に対応するように制御される。
【0108】
また、音声処理エンジン１７０による抽出音声の増幅（Ｓ３，Ｓ４）の後、コントローラ１３５は、図６のステップＳ５の代わりに、操作部１５０においてフォーカス対象の被写体を変更するユーザ操作が行われたか否かを判断する（Ｓ５Ａ）。
【0109】
フォーカス対象の変更がない場合（Ｓ５ＡでＮＯ）、コントローラ１３５は、画像認識部１２２から再度、検出情報Ｄ１を取得して、フォーカス対象に選択された被写体が、現時点で検出されているか否かを判断する（Ｓ５Ｂ）。現時点の画像認識においてフォーカス対象の被写体が検出されていれば（Ｓ５ＢでＹＥＳ）、コントローラ１３５は、ステップＳ６以降の処理を実施の形態１と同様に行う。フォーカス対象の被写体が移動する場合の動作例を、図１１に例示する。
【0110】
図１１（Ａ）は、図８（Ｃ）の後の表示例を示す。図１１（Ｂ）は、図１１（Ａ）に対応した音声変化を例示する。図１１（Ａ）の例では、図８（Ｃ）でフォーカス対象として選択された人２１が移動して、表示モニタ１３０の画像に映らなくなっている。画像認識部１２２では、他の被写体２０，２２は検出されるものの、フォーカス対象として選択された人２１は検出されなくなる。このように、フォーカス対象の被写体が検出されなくなると（Ｓ５ＢでＮＯ）、例えば図１１（Ｂ）の曲線Ｃ１に示すように、コントローラ１３５は抽出音声のゲインＧ１を減らす（Ｓ８）。
【0111】
また、フォーカス対象を変更するユーザ操作があった場合（Ｓ５ＡでＹＥＳ）の動作例を、図１２に例示する。図１２（Ａ）は、図１１（Ａ）の後の表示例を示す。図１２（Ｂ）は、図１２（Ａ）に対応した音声変化を例示する。図１２（Ｂ）のグラフは、種別「猫」の抽出音声を示す曲線Ｃ２をさらに含む。ステップＳ５Ａにおいて、コントローラ１３５は、例えばフォーカス対象の被写体の種別が変化した場合に「ＹＥＳ」に進む一方、変更前後でフォーカス対象の種別が変わらない場合は「ＮＯ」に進んでもよい。
【0112】
図１２（Ａ）の例では、猫２０が新たなフォーカス対象として選択されており、種別「猫」の対象種別マーク５ａが表示されている。フォーカス対象の種別の変更がある場合（Ｓ５ＡでＹＥＳ）、コントローラ１３５は、例えば図１０に示すように、変更後のフォーカス対象の画像認識があるか否かを判断する（Ｓ２０）。コントローラ１３５は、フォーカス対象の画像認識がある場合（Ｓ２０でＹＥＳ）、当該フォーカス対象の種別を対象種別として、音声処理エンジン１７０による音声抽出をステップＳ２Ａと同様に開始させる（Ｓ２１）。このとき、コントローラ１３５は、例えば図１１（Ａ）で表示した対象種別マーク５ａを、図１２（Ａ）に示すように、新たな対象種別を示すよう更新する。
【0113】
コントローラ１３５は、音声抽出部１７４において、変更後の対象種別の音声が抽出されたか否かを、ステップＳ３と同様に判断する（Ｓ２２）。例えば図１２（Ｂ）に示すように、猫２０の鳴き声が発したときに種別「猫」の抽出音声が得られ、次第に増大される。このとき、変更前のフォーカス対象についての音声抽出は、即座には停止されない。
【0114】
以下、変更後の対象種別についての抽出音声のゲインを「Ｇ１ａ」と記し、変更前の対象種別についての抽出音声のゲインを「Ｇ１ｂ」と記す。変更後の対象種別の音声が抽出されると（Ｓ２２でＹＥＳ）、変更後の対象種別のゲインＧ１ａを増やし（Ｓ２３）、変更前の対象種別のゲインＧ１ｂを減らす（Ｓ２４）。また、動画音声のゲインＧ０は適宜、処理前後の音量が維持されるように、各ゲインＧ１ａ，Ｇ１ｂに応じて設定される。増幅レベルバー５ｂは、例えば変更後のゲインＧ１ｂに対応するように、コントローラ１３５によって制御される。
【0115】
コントローラ１３５は、変更前の対象種別のゲインＧ１ｂが最小値に到るまで（Ｓ２５）、ステップＳ２２～Ｓ２５の処理を繰り返す（Ｓ２５でＮＯ）。コントローラ１３５は、当該ゲインＧ１ｂが最小値に到ると（Ｓ２５でＹＥＳ）、変更前の対象種別についての音声抽出を停止して（Ｓ２６）、例えば図９のステップＳ５Ａに戻る。
【0116】
また、コントローラ１３５は、フォーカス対象の画像認識がない場合（Ｓ２０でＮＯ）、ステップＳ８に進む。これにより、画像認識および音声抽出の対象外の領域にフォーカスを合わすユーザの操作があった場合にも対処することができる。
【0117】
以上の処理によると、画像認識に加えてユーザによるフォーカス対象の選択に連動して、特定の被写体の音声を強調する音声処理を実現することができる。フォーカス対象を変更するユーザ操作があった場合（Ｓ５ＡでＹＥＳ）の更なる動作例を、図１２に例示する。図１２（Ｃ）は、図１２（Ａ）の後の表示例を示す。図１２（Ｄ）は、図１２（Ｃ）に対応した音声変化を例示する。
【0118】
図１２（Ｃ）の例では、フォーカス対象が、猫２０から人２２に切り替えられている。このように、音声抽出の対象種別であった猫２０が、画像認識において継続的に検出されていても（Ｓ５ＢでＹＥＳ）、ユーザの操作によってフォーカス対象が人２２に切り替えられると（Ｓ５ＡでＹＥＳ）、フォーカスに連動して「人」を対象種別とする音声抽出が開始される（Ｓ２１）。また、この際の音声変化も、図１２（Ｄ）に示すように緩やかに行われ、ユーザにとって聴きやすい音声を得ることができる。
【0119】
上記のステップＳ１Ｂ，Ｓ５Ａにおいて、フォーカス対象の被写体を選択するユーザ操作としては、例えば表示モニタ１３０における被写体２０～２２毎の検出領域Ｒ１について、タッチパネルのタッチ操作、或いは各種キーによる選択操作が挙げられる。この他にも、デジタルカメラ１００が自動的にデフォルトのフォーカス対象を選択する機能を利用したユーザ操作であってもよい。
【0120】
例えば、デジタルカメラ１００のコントローラ１３５は、画像認識部１２２の検出情報Ｄ１に基づいて、画像全体における中央に位置したり、比較的大きく映っていたりする被写体をデフォルトのフォーカス対象に自動で選択してもよい。このような自動選択の機能を利用して、ユーザは、デジタルカメラ１００を向ける方向を変えたり、ズーム値を変えたりする各種の操作を行うことにより、所望の被写体をデジタルカメラ１００にフォーカス対象として選択させることができる。こうした選択の結果は、例えばフォーカス対象の表示枠Ｆ１の表示態様によって確認できる。この場合のステップＳ１Ｂ，Ｓ５Ａでも、デジタルカメラ１００では上記と同様に、フォーカス対象として選択された被写体の種別が、対象種別として設定できる。以上のようなユーザ操作に利用されるデジタルカメラ１００の各部は、本実施形態における操作部の一例である。
【0121】
〔２－３．まとめ〕
以上のように、実施の形態２のデジタルカメラ１００において、表示モニタ１３０は、画像認識部１２２による被写体の検出結果を示す情報をさらに表示する。本実施形態のデジタルカメラ１００における操作部は、表示モニタ１３０によって表示された情報に基づきデジタルカメラ１００におけるフォーカスの対象とする被写体を指定するユーザの操作に従って、対象種別を設定する。これにより、ユーザの操作に従い音声抽出の対象種別を動的に設定して、ユーザ所望の種別についての音声を明瞭に得ることができる。
以上のように、実施の形態２のデジタルカメラ１００において、表示モニタ１３０は、画像認識部１２２による被写体の検出結果を示す情報をさらに表示する。本実施形態のデジタルカメラ１００における操作部は、表示モニタ１３０によって表示された情報に基づきデジタルカメラ１００におけるフォーカスの対象とする被写体を指定するユーザの操作に従って、対象種別を設定する。これにより、ユーザの操作に従い音声抽出の対象種別を動的に設定して、ユーザ所望の種別についての音声を明瞭に得ることができる。
【0122】
又、本実施形態においてデジタルカメラ１００（撮像装置）は、イメージセンサ１１５（撮像部）と、マイク用のＡ／Ｄコンバータ１６５（音声取得部）と、画像認識部１２２（検出部）と、表示モニタ１３０（表示部）と、音声処理エンジン１７０（音声処理部）と、操作部１５０（操作部）と、コントローラ１３５（制御部）とを備える。本実施形態の操作部は、ユーザによる自装置の操作に基づいて、検出部によって検出された被写体の中から、画像におけるフォーカス対象の被写体を選択してもよい（Ｓ１Ｂ）。音声処理部は、操作部によって選択された被写体の種別に基づいて、音声取得部によって取得された音声データを処理する（Ｓ２Ａ～Ｓ１０）。制御部は、音声処理部による処理の対象とする対象種別としてフォーカス対象の被写体の種別を示す対象種別情報の一例として対象種別マーク５ａを表示部に表示させる（Ｓ２Ａ，図８（Ｃ）等）。これにより、ユーザは、現在の対象種別を確認しながら動作の撮影等を行え、ユーザの意図に沿って被写体による音声を明瞭に得ることを行い易くできる。
【0123】
本実施形態において、制御部は、表示部にさらに、音声処理部が選択された被写体の音声を強調又は抑制するレベルを示す強調レベル情報の一例として増幅レベルバー５ｂを表示させる（Ｓ４，Ｓ８，図８（Ｃ）等）。これにより、ユーザは、動画等の撮影中に得られる音声が強調または抑制される程度を確認でき、ユーザの意図に沿った音声取得を行い易くできる。
【0124】
本実施形態において、フォーカス対象の被写体が変更される際に変更前後の被写体の種別が異なった場合（Ｓ５ＢでＹＥＳ）、制御部は、変更後の種別を対象種別として示すように対象種別情報を更新して表示部に表示させてもよい（Ｓ２１，図１２（Ａ），（Ｃ）等）。これにより、ユーザは、撮影中に動的に変化する対象種別を確認でき、ユーザの意図に沿った被写体の音声取得を行い易くできる。
【0125】
（実施の形態３）
以下、図１３～図１４を用いて実施の形態３を説明する。実施の形態１，２のデジタルカメラ１００は、画像認識に連動して特定の種別の音声抽出を行った。実施の形態３では、さらに、画像認識に連動して収音の指向性を制御するデジタルカメラについて説明する。
以下、図１３～図１４を用いて実施の形態３を説明する。実施の形態１，２のデジタルカメラ１００は、画像認識に連動して特定の種別の音声抽出を行った。実施の形態３では、さらに、画像認識に連動して収音の指向性を制御するデジタルカメラについて説明する。
【0126】
以下、実施の形態１，２に係るデジタルカメラ１００と同様の構成および動作の説明は適宜、省略して、本実施形態に係るデジタルカメラについて説明する。
【0127】
〔３－１．構成〕
図１３は、実施の形態３に係るデジタルカメラ１００Ａの構成を示す図である。本実施形態のデジタルカメラ１００Ａは、実施の形態１，２のデジタルカメラ１００と同様の構成において、複数のマイク１６０Ａを備え、さらにビーム形成部１６２を備え、収音される音声の指向性を生成する。本実施形態のマイク１６０Ａは、例えば３個又はそれ以上のマイクロフォン素子を含み、素子間で互いに位置決めして配置される。
図１３は、実施の形態３に係るデジタルカメラ１００Ａの構成を示す図である。本実施形態のデジタルカメラ１００Ａは、実施の形態１，２のデジタルカメラ１００と同様の構成において、複数のマイク１６０Ａを備え、さらにビーム形成部１６２を備え、収音される音声の指向性を生成する。本実施形態のマイク１６０Ａは、例えば３個又はそれ以上のマイクロフォン素子を含み、素子間で互いに位置決めして配置される。
【0128】
ビーム形成部１６２は、例えばマイク１６０Ａの各素子の遅延期間を調整する回路であり、マイク１６０Ａで収音された音声を、所望の向き及び幅に形成する。ビーム形成部１６２によると、マイク１６０Ａが収音する物理的な範囲を設定できる。ビーム形成部１６２は、マイク１６０Ａ又はＡ／Ｄコンバータ１６５と一体的に構成されてもよいし、ビーム形成部１６２の機能が音声処理エンジン１７０に実装されてもよい。
【0129】
〔３－２．動作〕
図１４は、実施の形態３に係るデジタルカメラ１００Ａの動作を例示するフローチャートである。本実施形態のデジタルカメラ１００Ａにおいて、コントローラ１３５は、実施の形態１，２と同様の処理に加えて、画像認識部１２２による検出情報Ｄ１に基づきマイク１６０Ａの収音範囲を可変するビーム形成部１６２を制御する（Ｓ３０，Ｓ３１）。図１４では、フォーカス優先モード（図９）において収音範囲が動的に設定される動作例を説明する。
図１４は、実施の形態３に係るデジタルカメラ１００Ａの動作を例示するフローチャートである。本実施形態のデジタルカメラ１００Ａにおいて、コントローラ１３５は、実施の形態１，２と同様の処理に加えて、画像認識部１２２による検出情報Ｄ１に基づきマイク１６０Ａの収音範囲を可変するビーム形成部１６２を制御する（Ｓ３０，Ｓ３１）。図１４では、フォーカス優先モード（図９）において収音範囲が動的に設定される動作例を説明する。
【0130】
コントローラ１３５は、例えばフォーカス対象の被写体が選択されると（Ｓ１ＢでＹＥＳ）、そのときの画像認識部１２２の検出情報Ｄ１に基づいて、マイク１６０Ａが当該被写体の方向からの音を収音するようにビーム形成部１６２を制御する（Ｓ３０）。ビーム形成部１６２は、検出情報Ｄ１における特定の被写体の検出領域Ｒ１の位置およびサイズに応じて、マイク１６０Ａのビームを形成する。これにより、画像認識に応じた収音範囲においてマイク１６０Ａの収音が行われ、当該収音範囲の音声データに対して対象種別の音声抽出が適用される（Ｓ２Ａ）。
【0131】
また、コントローラ１３５は、フォーカス対象の画像認識が継続している場合（Ｓ５ＢでＹＥＳ）も逐次、ステップＳ３０と同様にビーム形成部１６２を制御してマイク１６０Ａの収音範囲を動的に設定する（Ｓ３１）。これにより、例えばフォーカス対象の被写体が移動したり、別の被写体に変更されたりすることに応じて、マイク１６０Ａの収音範囲が変更される。
【0132】
以上の処理によると、画像認識部１２２の検出結果に応じてマイク１６０Ａの収音範囲がフォーカス対象の被写体に向けられ、当該被写体からの音声をより明瞭に得ることができる。以上の説明では、ビーム形成部１６２によるマイク１６０Ａの収音範囲の制御が、フォーカス優先モードで行われる例を説明したが、特にこれに限らず、人優先モードなど他の動作モードで行われてもよい。
【0133】
〔３－３．まとめ〕
以上のように、実施の形態３のデジタルカメラ１００Ａは、ビーム形成部１６２をさらに備える。ビーム形成部１６２は、画像認識部１２２の検出結果に応じてマイク１６０Ａが収音する範囲を変更する。これにより、画像認識部１２２に検出された被写体からの音声をより明瞭に得ることができる。
以上のように、実施の形態３のデジタルカメラ１００Ａは、ビーム形成部１６２をさらに備える。ビーム形成部１６２は、画像認識部１２２の検出結果に応じてマイク１６０Ａが収音する範囲を変更する。これにより、画像認識部１２２に検出された被写体からの音声をより明瞭に得ることができる。
【0134】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１～３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
以上のように、本出願において開示する技術の例示として、実施の形態１～３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【0135】
上記の実施の形態１，２では、デジタルカメラ１００の人優先モード及びフォーカス優先モードについて説明した。このような動作モードは、操作部１５０におけるユーザの操作によって設定可能であり、例えばデジタルカメラ１００は表示モニタ１３０にメニュー画面を表示し、上記の動作モードを選択可能に構成されてもよい。
【0136】
上記の各実施形態においては、第１の種別の一例として種別「人」、及び第２の種別の一例として種別「猫」を例示したが、第１及び第２の種別は上記に限らず、様々な種別であってもよい。例えば、第２の種別は、「猫」に限らず「犬」或いは「鳥」など各種の動物であってもよいし、人以外の各種の動物を含む種別「動物」であってもよい。また、人又は動物に限らず、例えば列車或いは楽器といった特有の音を有する物体が、適宜種別に採用されてもよい。こうした物体からの音は、例えば背景音として強調／抑制の対象とされ得る。さらに、第１の種別は不特定の「人」に限らず、例えば特定の個人であってもよい。この場合、第２の種別は、第１の種別と異なる個人であってもよい。
【0137】
すなわち、本実施形態において、第１及び第２の種別は、それぞれ人、人以外の動物、および背景音を有する物体のうちの何れかに関する種々の種別に設定されてもよい。また、デジタルカメラ１００に設定される複数の種別は、第１及び第２の種別以外の種別をさらに含んでもよい。
【0138】
以上のような様々な種別であっても、例えば機械学習において各々の種別に応じた画像と音声の学習用のデータセットを用意することにより、上記各実施形態と同様の動作が実現可能である。又、こうした様々な種別であっても、画像認識部１２２と音声処理エンジン１７０とに設定する種別を互い対応付けることにより、上記各実施形態と同様に、画像認識部１２２に連動して音声処理エンジン１７０で所望の種別の音声を強調／抑制できる。なお、画像認識部１２２と音声処理エンジン１７０とに設定される種別は必ずしも同一でなくてもよく、例えば画像認識部１２２に設定される種別が、音声処理エンジン１７０に設定される種別よりも細分化されていてもよい。又、画像認識部１２２に設定される種別の中に、特に音声処理の対象種別とせず、音声処理エンジン１７０に設定されない種別が含まれてもよい。
【0139】
上記の各実施形態において、対象種別情報の一例として対象種別マーク５ａを例示し、強調レベル情報の一例として増幅レベルバー５ｂを例示した。本実施形態において、対象種別情報は、対象種別マーク５ａに限らず、例えば対象種別の名称などの文字情報であってもよいし、サムネイル等の画像であってもよい。また、強調レベル情報も、増幅レベルバー５ｂに限らず、例えば強調または抑制のレベルを示す数字等の文字情報であってもよいし、円グラフ等のグラフであってもよい。また、対象種別情報と強調レベル情報とは、それぞれ独立したアイコンとして表示されてもよい。
【0140】
上記の各実施形態において、画像認識部１２２を備えるデジタルカメラ１００を説明した。本実施形態において、画像認識部１２２は、外部サーバに設けられてもよい。この場合、デジタルカメラ１００は、通信モジュール１５５を介して、外部サーバに撮像画像の画像データを送信し、外部サーバから画像認識部１２２による処理結果の検出情報Ｄ１を受信してもよい。このようなデジタルカメラ１００においては、通信モジュール１５５が検出部として機能する。また、例えば音声抽出部１７４など音声処理エンジン１７０の機能についても、上記と同様に外部サーバで行われてもよい。
【0141】
また、上記の各実施形態では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。
【0142】
また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。
【0143】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0144】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0145】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0146】
本開示は、音声を取得しながら撮像を行う撮像装置に適用可能である。
【符号の説明】
【0147】
１００，１００Ａ デジタルカメラ
１１５ イメージセンサ
１２０ 画像処理エンジン
１２２ 画像認識部
１３０ 表示モニタ
１３５ コントローラ
１５０ 操作部
１６０，１６０Ａ マイク
１６２ ビーム形成部
１６５ マイク用のＡ／Ｄコンバータ
１７０ 音声処理エンジン
１７２ 雑音抑圧部
１７４ 音声抽出部
１７６ 強調処理部
１１５ イメージセンサ
１２０ 画像処理エンジン
１２２ 画像認識部
１３０ 表示モニタ
１３５ コントローラ
１５０ 操作部
１６０，１６０Ａ マイク
１６２ ビーム形成部
１６５ マイク用のＡ／Ｄコンバータ
１７０ 音声処理エンジン
１７２ 雑音抑圧部
１７４ 音声抽出部
１７６ 強調処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】