特開 2023-169254 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023169254

(43)【公開日】2023-11-29

(54)【発明の名称】撮像素子、撮像素子の作動方法、プログラム、及び撮像システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231121BHJP

   G06T 7/215 20170101ALI20231121BHJP

   G06T 7/70 20170101ALI20231121BHJP

   H04N 25/40 20230101ALI20231121BHJP

   H04N 25/44 20230101ALI20231121BHJP

   H04N 25/443 20230101ALI20231121BHJP

   H04N 25/70 20230101ALI20231121BHJP

【ＦＩ】

H04N23/60 300

H04N23/60 500

G06T7/215

G06T7/70 A

H04N25/40

H04N25/44

H04N25/443

H04N25/70

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023147517

(22)【出願日】2023-09-12

(62)【分割の表示】P 2021565439の分割

【原出願日】2020-12-01

(31)【優先権主張番号】P 2019229629

(32)【優先日】2019-12-19

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】長谷川 亮

(72)【発明者】

【氏名】河合 智行

(72)【発明者】

【氏名】小林 誠

(72)【発明者】

【氏名】桜武 仁史

(72)【発明者】

【氏名】菅原 一文

(57)【要約】      （修正有）

【課題】撮像素子内で画像認識領域に対する画像認識処理が行われる場合に比べ、撮像素子の処理負荷を軽減する撮像素子、撮像素子の作動方法、プログラム及び撮像システムを提供する。
【解決手段】撮像装置は、撮像素子３８と、第２プロセッサ（後段回路１３）と、を備える。撮像素子３８は、第１フレームレートで撮像されることで得られた画像データを記憶するメモリ１１２と、画像データを第１フレームレートとは独立した第２フレームレートで出力する第１プロセッサ（処理回路１１０）とを内蔵する。第２プロセッサには、第１プロセッサから画像データが入力される。第１プロセッサは、画像データのうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得する。第２プロセッサは、位置情報に基づいて、画像認識領域に対して画像認識処理を行う。
【選択図】図１６

【特許請求の範囲】

【請求項1】

第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データを前記第１フレームレートとは独立した第２フレームレートで出力する第１プロセッサと、を備える撮像素子であって、
前記第１プロセッサは、前記画像データのうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得し、
前記位置情報を前記画像データに関連付けて出力する
撮像素子。

【請求項2】

前記位置情報は、前記画像データ内での前記画像認識領域の位置を示す座標である請求項１に記載の撮像素子。

【請求項3】

前記第１プロセッサは、前記画像データのフレーム間の差分に基づいて、前記画像データから前記画像認識領域を検出し、検出結果に基づいて前記位置情報を取得する請求項１又は請求項２に記載の撮像素子。

【請求項4】

前記第１プロセッサは、前記画像データのうちの一部である部分画像データと、前記位置情報とを前記第２フレームレートで出力し、
前記部分画像データは、前記画像認識領域を含む請求項１から請求項３の何れか一項に記載の撮像素子。

【請求項5】

前記部分画像データは、前記画像認識領域のみを含む請求項４に記載の撮像素子。

【請求項6】

前記第１プロセッサは、前記画像データを間引いた間引き画像データと、前記部分画像データと、前記位置情報とを前記第２フレームレートで出力する請求項４又は請求項５に記載の撮像素子。

【請求項7】

前記位置情報は、前記画像データを第１間引き率で間引いた第１間引き画像データに対する前記第１プロセッサによる前記画像認識領域の検出結果から得られた情報である請求項１から請求項６の何れか一項に記載の撮像素子。

【請求項8】

前記第１プロセッサは、前記第１フレームレートで得られた複数フレーム分の画像データを合成することによって１フレーム分の合成画像データを作成し、
前記位置情報は、前記合成画像データにより示される画像に対する前記第１プロセッサによる前記画像認識領域の検出結果から得られた情報である請求項１又は請求項２に記載の撮像素子。

【請求項9】

前記撮像素子は、少なくとも光電変換素子と前記メモリとが１チップ化された撮像素子である請求項１から請求項８の何れか一項に記載の撮像素子。

【請求項10】

前記撮像素子は、前記光電変換素子と前記メモリとが積層された積層型撮像素子である請求項９に記載の撮像素子。

【請求項11】

第１フレームレートで撮像領域を撮像する光電変換素子と、前記光電変換素子によって撮像されることで得られた画像データを記憶するメモリと、前記画像データを前記第１フレームレート以下の第２フレームレートで出力する第１プロセッサと、を備える撮像素子の作動方法であって、
前記第１プロセッサは、前記画像データにより示される画像のうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得すること、及び
前記位置情報を前記画像データに関連付けて出力することを含む
撮像素子の作動方法。

【請求項12】

第１フレームレートで撮像領域を撮像する光電変換素子と、前記光電変換素子によって撮像されることで得られた画像データを記憶するメモリと、前記画像データを前記第１フレームレート以下の第２フレームレートで出力する第１プロセッサと、を備える撮像素子に適用されるコンピュータに
前記第１プロセッサは、前記画像データにより示される画像のうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得すること、及び
前記位置情報を前記画像データに関連付けて出力することを含む処理を実行させるためのプログラム。

【請求項13】

第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データを前記第１フレームレートとは独立した第２フレームレートで出力するプロセッサと、を各々有する複数の撮像素子と、
前記複数の撮像素子の各々の後段に設けられ、前記プロセッサから前記画像データが入力されるホストコンピュータと、を含み、
前記プロセッサは、前記画像データにより示される画像のうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得し、
前記位置情報を前記画像データに関連付けて前記ホストコンピュータに出力する
撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、撮像素子、撮像素子の作動方法、プログラム、及び撮像システムに関する。

【背景技術】

【0002】

特開２０１７－０５５２３１号公報には、主被写体特定部と、学習部と、を備えた画像処理装置が開示されている。主被写体特定部は、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する。学習部は、処理対象の画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、画像に写されている主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う。

【0003】

特開２０１７－０６０１５５号公報には、画素部と、読み出し部と、出力部と、を備えた撮像素子が開示されている。画素部には、被写体からの光を光電変換する複数の画素が配置されている。読み出し部は、画素部から信号を読み出す。出力部は、読み出し部により読み出された信号のうち、画像を生成するための信号として、画素部の全領域の画素の信号を撮像素子の外部に出力するとともに、撮像素子を備える装置の駆動制御に用いる評価値を算出するための信号として、画素部の一部の領域の画素の信号を撮像素子の外部に出力する。

【0004】

特開２０１８－０７８６０９号公報には、複数の単位画素と、演算処理部と、信号出力部と、を備えた撮像素子が開示されている。複数の単位画素は、行列状に配置され、各々が入射する光を電荷に変換する第１の光電変換部と第２の光電変換部とを有する。演算処理部は、第１の光電変換部により変換された電荷に基づくＡ信号と第２の光電変換部により変換された電荷に基づくＢ信号に所定の演算処理を施す。信号出力部は、演算処理部により所定の演算処理を施された信号を外部に出力する。

【0005】

特開２０１４－１７８６０３号公報には、撮像手段と、注目領域決定手段と、制御手段と、焦点検出手段と、を備えた撮像装置が開示されている。撮像手段は、複数の撮像領域を有し、撮像領域に入射した光像に応じた画像信号を生成する。注目領域決定手段は、撮像手段から出力された画像信号に基づいて、画像信号の示す画像の注目領域を決定する。制御手段は、複数の撮像領域のうち注目領域に対応する光像が入射した撮像領域を第１撮像条件で撮像を行うように制御する第１制御部と、複数の撮像領域のうち注目領域に対応する光像が入射した撮像領域以外の撮像領域を第１撮像条件とは異なる第２撮像条件で撮像を行うように制御する第２制御部と、を有する。焦点検出手段は、注目領域の焦点調節状態を検出する。撮像装置において、第１制御部は、第２制御部よりも高いフレームレートで撮像を行うように制御することを特徴とする。

【発明の概要】

【0006】

本開示の技術に係る一つの実施形態は、撮像素子内で画像認識領域に対する画像認識処理が行われる場合に比べ、撮像素子の処理負荷が軽減される撮像素子、撮像素子の作動方法、プログラム、及び撮像システムを提供する。

【課題を解決するための手段】

【0007】

本開示の技術に係る第１の態様は、第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、画像データを第１フレームレートとは独立した第２フレームレートで出力する第１プロセッサと、を内蔵する撮像素子と、第１プロセッサから出力される画像データが入力される第２プロセッサと、を備える撮像装置である。第１プロセッサは、画像データのうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得する。第２プロセッサは、位置情報に基づいて、画像認識領域に対して画像認識処理を行う。

【0008】

本開示の技術に係る第２の態様は、位置情報は、画像データ内での画像認識領域の位置を示す座標である第１の態様に係る撮像装置である。

【0009】

本開示の技術に係る第３の態様は、第１プロセッサは、画像データのフレーム間の差分に基づいて、画像データから画像認識領域を検出し、検出結果に基づいて位置情報を取得する第１の態様又は第２の態様に係る撮像装置である。

【0010】

本開示の技術に係る第４の態様は、第１プロセッサは、画像データのうちの一部である部分画像データと、位置情報とを第２フレームレートで出力し、部分画像データは、画像認識領域を含む第１の態様から第３の態様の何れか一つの態様に係る撮像装置である。

【0011】

本開示の技術に係る第５の態様は、部分画像データは、画像認識領域のみを含む第４の態様に係る撮像装置である。

【0012】

本開示の技術に係る第６の態様は、第１プロセッサは、画像データを間引いた間引き画像データと、部分画像データと、位置情報とを第２フレームレートで出力する第４の態様又は第５の態様に係る撮像装置である。

【0013】

本開示の技術に係る第７の態様は、位置情報は、画像データを第１間引き率で間引いた第１間引き画像データに対する第１プロセッサによる画像認識領域の検出結果から得られた情報である第１の態様から第６の態様の何れか一つの態様に係る撮像装置である。

【0014】

本開示の技術に係る第８の態様は、第２プロセッサは、第１間引き画像データにより示される画像をディスプレイに表示用動画像として表示する第７の態様に係る撮像装置である。

【0015】

本開示の技術に係る第９の態様は、第２プロセッサは、画像データ又は部分画像データを第２間引き率で間引いた第２間引き画像データに対して画像認識処理を行う第４の態様から第６の態様の何れか一つの態様に係る撮像装置である。

【0016】

本開示の技術に係る第１０の態様は、画像データを間引く第１間引き率と第２間引き率が異なる第９の態様に係る撮像装置である。

【0017】

本開示の技術に係る第１１の態様は、第２間引き率は第１間引き率よりも低い第１０の態様に係る撮像装置である。

【0018】

本開示の技術に係る第１２の態様は、第１プロセッサは、画像データのうちの一部である部分画像データと位置情報とを第２フレームレートとは異なる第３フレームレートで出力し、部分画像データにより示される画像は画像認識領域を含み、第３フレームレートは、第２プロセッサの処理速度に応じて定められる第１の態様又は第２の態様に記載の撮像装置である。

【0019】

本開示の技術に係る第１３の態様は、第１プロセッサは、第１フレームレートで得られた複数フレーム分の画像データを合成することによって１フレーム分の合成画像データを作成し、位置情報は、合成画像データにより示される画像に対する第１プロセッサによる画像認識領域の検出結果から得られた情報である第１の態様又は第２の態様に記載の撮像装置である。

【0020】

本開示の技術に係る第１４の態様は、撮像素子は、少なくとも光電変換素子とメモリとが１チップ化された撮像素子である第１の態様から第１３の態様の何れか一つの様態に係る撮像装置である。

【0021】

本開示の技術に係る第１５の態様は、撮像素子は、光電変換素子とメモリとが積層された積層型撮像素子である第１４の態様に係る撮像装置である。

【0022】

本開示の技術に係る第１６の態様は、第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、画像データを第１フレームレートとは独立した第２フレームレートで出力する第１プロセッサと、を内蔵する撮像素子と、第１プロセッサから出力される画像データが入力される第２プロセッサと、を備える撮像装置の作動方法であって、第１プロセッサは、画像データのうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得し、第２プロセッサは、位置情報に基づいて、画像認識領域に対して画像認識処理を行うことを含む、撮像装置の作動方法である。

【0023】

本開示の技術に係る第１７の態様は、第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、画像データを第１フレームレートとは独立した第２フレームレートで出力する第１プロセッサと、を内蔵する撮像素子と、第１プロセッサから出力される画像データが入力される第２プロセッサと、を備える撮像装置に適用されるコンピュータに、第１プロセッサは、画像データのうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得し、第２プロセッサは、位置情報に基づいて、画像認識領域に対して画像認識処理を行うことを含む処理を実行させるためのプログラムである。

【0024】

本開示の技術に係る第１８の態様は、撮像領域を撮像する光電変換素子と、光電変換素子によって撮像されることで得られた画像データを記憶するメモリと、画像データを出力するプロセッサと、を各々有する複数の撮像装置と、複数の撮像装置の各々の後段に設けられ、プロセッサから画像データが入力されるホストコンピュータと、を含み、プロセッサは、画像データにより示される画像のうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得し、ホストコンピュータは、位置情報に基づいて、画像認識領域に対して画像認識処理を行う、撮像システムである。

【図面の簡単な説明】

【0025】

【図1】第１～第４実施形態に係る撮像装置の外観の一例を示す斜視図である。

【図2】図１に示す撮像装置の背面側の外観の一例を示す背面図である。

【図3】第１～第４実施形態に係る撮像装置の構成の一例を示すブロック図である。

【図4】第１～第４実施形態に係る撮像装置に含まれる撮像装置本体の電気系のハードウェア構成の一例を示すブロック図である。

【図5】第１～第４実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例を示す概念図である。

【図6】第１実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図である。

【図7】第１～第４実施形態に係る撮像装置における光電変換素子の画素配列、及びデジタル画像データの処理の一例を示す概念図である。

【図8】第１～第４実施形態に係る撮像素子に含まれる第１間引き回路によって行われる第１間引き処理の内容の一例を示す概念図である。

【図9】被写体の位置情報を取得するための方法の一例であるフレーム間差分法の説明に供する概念図である。

【図10】第１実施形態に係る撮像素子に含まれる画像切出回路によって行われる画像切出処理の内容の一例を示す概念図である。

【図11】第１～第４実施形態に係る後段回路の構成の一例を示すブロック図である。

【図12】第１～第４実施形態において、ディスプレイに表示されたライブビュー画像の一例を示す概念図である。

【図13】第１～第４実施形態において、ディスプレイに表示された重畳画像の一例を示す概念図である。

【図14】第１実施形態に係る第１画像処理の流れの一例を示すフローチャートである。

【図15】第１実施形態に係る第２画像処理の流れの一例を示すフローチャートである。

【図16】第２実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図である。

【図17】第２実施形態に係る部分画像データの一例を示す概念図である。

【図18】第３実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図である。

【図19】第３実施形態に係る撮像素子の画像合成処理の説明に供する概念図である。

【図20】第４実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図である。

【図21】プログラムが記憶された記憶媒体から、プログラムが後段回路内のコンピュータにインストールされる態様の一例を示す概念図である。

【図22】第５実施形態に係る監視カメラの外観の一例を示す斜視図である。

【発明を実施するための形態】

【0026】

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

【0027】

先ず、以下の説明で使用される文言について説明する。

【0028】

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＲＯＭとは、“Read Only Memory”の略称を指す。ＤＲＡＭとは、“Dynamic Random Access Memory”の略称を指す。ＳＲＡＭとは、“Static Random Access Memory”の略称を指す。ＬＳＩとは、“Large-Scale Integration”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ＬＶＤＳとは、“Low Voltage Differential Signaling”の略称を指す。ＰＣＩｅ（登録商標）とは、“Peripheral Component Interconnect Express”の略称を指す。ＳＡＴＡとは、“Serial Advanced Technology Attachment”の略称を指す。ＳＬＶＳ－ＥＣとは、“Scalable Low Voltage Signaling with Embedded Clock”の略称を指す。ＭＩＰＩ（登録商標）とは、“Mobile Industry Processor Interface”の略称を指す。ＨＤＭＩ（登録商標）とは、“High-Definition Multimedia Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。

【0029】

以下の説明において、「被写体を検出する」とは、例えば、被写体を示す被写体画像データを検出することを意味する。また、「被写体を認識する」とは、例えば、被写体画像データを認識することを意味する。

【0030】

［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を備えている。なお、ここでは、撮像装置１０の一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、撮像装置１０は、レンズ固定式等の他種類のデジタルカメラであってもよい。

【0031】

撮像装置本体１２には、撮像素子３８が設けられている。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、交換レンズ１４を透過して撮像素子３８に結像され、撮像素子３８によって被写体の画像を示す画像データ（例えば、図９及び図１０参照）が生成される。

【0032】

撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで、ハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“optical viewfinder”の略称を指す。また、ＥＶＦとは、“electronic viewfinder”の略称を指す。

【0033】

撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで、「ライブビュー画像」とは、撮像素子３８によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２３が設けられている。ダイヤル２３は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、これによって、撮像装置１０では、動作モードとして撮像モードと再生モードとが選択的に設定される。

【0034】

レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

【0035】

一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２４、指示キー２７、及びファインダー接眼部３０が設けられている。

【0036】

タッチパネル・ディスプレイ２４は、ディスプレイ２６及びタッチパネル２８（図４も参照）を備えている。ディスプレイ２６の一例としては、有機ＥＬディスプレイが挙げられる。ディスプレイ２６は、有機ＥＬディスプレイではなく、液晶ディスプレイなどの他種類のディスプレイであってもよい。

【0037】

ＥＶＦの表示についてはディスプレイ２６の表示と同等であるため、以下では説明を省略するが、本明細書においてディスプレイ２６への表示は、ＥＶＦへの表示と読み替えることができる。

【0038】

ディスプレイ２６は、画像及び文字情報等を表示する。ディスプレイ２６は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ２６は、後述する画像認識処理の結果をライブビュー画像に重畳した重畳画像を表示するのにも用いられる。また、ディスプレイ２６は、静止画像用の撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、ディスプレイ２６は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。

【0039】

タッチパネル２８は、透過型のタッチパネルであり、ディスプレイ２６の表示領域の表面に重ねられている。タッチパネル２８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。

【0040】

なお、ここでは、タッチパネル・ディスプレイ２４の一例として、タッチパネル２８がディスプレイ２６の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ２４として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

【0041】

指示キー２７は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。

【0042】

一例として図３に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃは、被写体側（物体側）から撮像装置本体１２側（像側）にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、及び絞り４０Ｃの順に配置されている。フォーカスレンズ４０Ｂ及び絞り４０Ｃは、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ４０Ｂは、付与された動力に応じて光軸Ｌ１に沿って移動する。また、絞り４０Ｃは、付与された動力に応じて作動することで露出を調節する。

【0043】

撮像装置本体１２は、後段回路１３、ＵＩ系デバイス１７、メカニカルシャッタ４１、及び撮像素子３８を備えている。後段回路１３は、撮像素子３８の後段に位置する回路である。後段回路１３は、コントローラ１５及び信号処理回路３４を有する。コントローラ１５は、ＵＩ系デバイス１７、信号処理回路３４、及び撮像素子３８に接続されており、撮像装置１０の電気系の全体を制御する。なお、後段回路１３は、本開示の技術に係る「第２プロセッサ」の一例である。

【0044】

撮像素子３８は、受光面４２Ａを有する光電変換素子４２を備えている。本実施形態において、撮像素子３８は、ＣＭＯＳイメージセンサである。また、ここでは、撮像素子３８としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子３８がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

【0045】

メカニカルシャッタ４１は、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４が撮像装置本体１２に装着された場合に、被写体を示す被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４１を介して受光面４２Ａに結像される。

【0046】

ＵＩ系デバイス１７は、ユーザに対して情報を提供したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ１５は、ＵＩ系デバイス１７からの各種情報の取得、及びＵＩ系デバイス１７の制御を行う。

【0047】

撮像素子３８は、コントローラ１５に接続されており、コントローラ１５の制御下で、被写体を撮像することで、被写体の画像を示す画像データを生成する。

【0048】

撮像素子３８は、信号処理回路３４に接続されている。信号処理回路３４は、ＬＳＩであり、具体的には、ＡＳＩＣ及びＦＰＧＡを含むデバイスである。コントローラ１５は、信号処理回路３４からの各種情報の取得、及び撮像素子３８の制御を行う。撮像素子３８は、コントローラ１５の制御下で、光電変換素子４２によって生成された画像データを信号処理回路３４に出力する。

【0049】

信号処理回路３４は、画像データに対して処理を行う回路である。具体的には、信号処理回路３４は、撮像素子３８から入力された画像データに対して各種の信号処理を行う。信号処理回路３４によって行われる各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。

【0050】

なお、信号処理回路３４によって行われる各種の信号処理は、信号処理回路３４と撮像素子３８とで分散して行われるようにしてもよい。すなわち、信号処理回路３４によって行われる各種の信号処理のうちの少なくとも一部を撮像素子３８の処理回路１１０に担わせるようにしてもよい。

【0051】

なお、本実施形態では、信号処理回路３４としてＡＳＩＣ及びＦＰＧＡを含むデバイスを例示しているが、本開示の技術はこれに限定されない。例えば、信号処理回路３４は、ＡＳＩＣ、ＦＰＧＡ、又はＰＬＤを含むデバイスであってもよいし、ＦＰＧＡ及びＰＬＤを含むデバイスであってもよいし、ＡＳＩＣ及びＰＬＤを含むデバイスであってもよい。

【0052】

また、信号処理回路３４は、ＣＰＵ、ストレージ、及びメモリを含むコンピュータであってもよい。ここで、ストレージとは、不揮発性の記憶装置を指す。不揮発性の記憶装置の一例としては、フラッシュメモリが挙げられるが、これに限らず、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。また、メモリは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。コンピュータに含まれるＣＰＵは、単数であってもよいし、複数であってもよい。また、ＣＰＵに代えてＧＰＵを用いてもよい。また、信号処理回路３４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

【0053】

一例として図４に示すように、コントローラ１５は、ＣＰＵ５０、ストレージ５１、メモリ５２、入力Ｉ／Ｆ５７Ａ、及び出力Ｉ／Ｆ５７Ｂを備えている。ＣＰＵ５０、ストレージ５１、メモリ５２、入力Ｉ／Ｆ５７Ａ、及び出力Ｉ／Ｆ５７Ｂは、バス１００を介して接続されている。

【0054】

なお、図４に示す例では、図示の都合上、バス１００として１本のバスが図示されているが、複数本のバスであってもよい。バス１００は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

【0055】

ストレージ５１は、各種パラメータ及び各種プログラムを記憶している。ストレージ５１は、不揮発性の記憶装置である。ここでは、ストレージ５１の一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、フラッシュメモリに代えて、又は、フラッシュメモリと共に、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等をストレージ５１として適用してもよい。また、メモリ５２は、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ５２の一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

【0056】

ストレージ５１には、各種プログラムが記憶されている。ＣＰＵ５０は、ストレージ５１から必要なプログラムを読み出し、読み出したプログラムをメモリ５２上で実行する。ＣＰＵ５０は、メモリ５２上で実行するプログラムに従って撮像装置１０の全体を制御する。

【0057】

出力Ｉ／Ｆ５７Ｂは、撮像素子３８に接続されている。ＣＰＵ５０は、出力Ｉ／Ｆ５７Ｂを介して撮像素子３８を制御する。例えば、ＣＰＵ５０は、出力Ｉ／Ｆ５７Ｂを介して撮像素子３８に対して、撮像を行うタイミングを規定する撮像タイミング信号を供給することで、撮像素子３８によって行われる撮像のタイミングを制御する。撮像素子３８は、ＣＰＵ５０から入力された撮像タイミング信号に応じて定まる第１フレームレートで撮像を行う。具体的な第１フレームレートの一例としては、２４０ｆｐｓが挙げられるが、これに限らない。第１フレームレートは、２４０ｆｐｓを超えるフレームレート（例えば、４８０ｆｐｓ）であってもよいし、２４０ｆｐｓ未満のフレームレート（例えば、１２０ｆｐｓ）であってもよい。

【0058】

入力Ｉ／Ｆ５７Ａは、信号処理回路３４に接続されている。信号処理回路３４によって各種の信号処理が行われた画像データは、信号処理回路３４によって入力Ｉ／Ｆ５７Ａに出力される。入力Ｉ／Ｆ５７Ａに入力された画像データは、メモリ５２に記憶される。

【0059】

バス１００には、外部Ｉ／Ｆ１０４が接続されている。外部Ｉ／Ｆ１０４は、回路で構成された通信デバイスである。ここでは、外部Ｉ／Ｆ１０４として、回路で構成されたデバイスを例示しているが、これはあくまでも一例に過ぎない。外部Ｉ／Ｆ１０４は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスであってもよい。また、外部Ｉ／Ｆ１０４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

【0060】

外部Ｉ／Ｆ１０４の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接または間接的に接続可能である。外部Ｉ／Ｆ１０４は、撮像装置１０と外部装置との間の各種情報の授受を司る。

【0061】

ＵＩ系デバイス１７は、タッチパネル・ディスプレイ２４及び受付デバイス８４を備えている。ディスプレイ２６及びタッチパネル２８は、バス１００に接続されている。従って、ＣＰＵ５０は、ディスプレイ２６に対して各種情報を表示させ、タッチパネル２８によって受け付けられた各種指示に従って動作する。

【0062】

受付デバイス８４は、ハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０（図１参照）、ダイヤル２３（図１及び図２参照）、及び指示キー２７（図２参照）を有する。ハードキー部２５は、バス１００に接続されており、ＣＰＵ５０は、ハードキー部２５によって受け付けられた指示を取得し、取得した指示に従って動作する。

【0063】

一例として図５に示すように、撮像素子３８には、光電変換素子４２、処理回路１１０、及びメモリ１１２が内蔵されている。撮像素子３８は、本開示の技術に係る「撮像素子」の一例である。撮像素子３８は、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子である。したがって、光電変換素子４２、処理回路１１０、及びメモリ１１２は１パッケージ化されている。撮像素子３８は、光電変換素子４２に対して処理回路１１０及びメモリ１１２を積層することにより構成されている。具体的には、光電変換素子４２及び処理回路１１０は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路１１０及びメモリ１１２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。

【0064】

光電変換素子４２は、本開示の技術に係る「光電変換素子」の一例である。処理回路１１０は、本開示の技術に係る「第１プロセッサ」の一例である。メモリ１１２は、本開示の技術に係る「メモリ」の一例である。撮像素子３８は、本開示の技術に係る「積層型撮像素子」の一例である。

【0065】

処理回路１１０は、例えば、ＬＳＩである。処理回路１１０は、ＡＳＩＣ及びＦＰＧＡを含むデバイスであってもよい。また、処理回路１１０は、ＡＳＩＣ、ＦＰＧＡ、又はＰＬＤを含むデバイスであってもよいし、ＦＰＧＡ及びＰＬＤを含むデバイスであってもよいし、ＡＳＩＣ及びＰＬＤを含むデバイスであってもよい。また、処理回路１１０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

【0066】

メモリ１１２の一例として、ここではＤＲＡＭが採用されている。なお、メモリ１１２がＳＲＡＭ等の他の種類の記憶装置であっても本開示の技術は成立する。

【0067】

光電変換素子４２は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

【0068】

光電変換素子４２に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。

【0069】

光電変換素子４２は、Ｒ画素、Ｇ画素、及びＢ画素を有する。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、及びＢ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性を持つ。本実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている（図７参照）。なお、ここでは、Ｘ－Ｔｒａｎｓ配列を例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、及びＢ画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。

【0070】

撮像素子３８は、いわゆる電子シャッタ機能を有している。ＣＰＵ５０から出力Ｉ／Ｆ５７Ｂを介して出力される撮像タイミング信号に基づいて電子シャッタ機能が作動することで、光電変換素子４２内の各フォトダイオードの電荷蓄積時間が制御される。電荷蓄積時間とは、いわゆるシャッタスピードを指す。各フォトダイオードから読み出された電荷は、画像データとして後段回路１３の信号処理回路３４に出力される。

【0071】

撮像素子３８では、静止画像用の撮像と、ライブビュー画像用の撮像とが選択的に行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４１を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ４１を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、メカニカルシャッタ４１を用いた撮像を例示しているが、撮像を実現する上でメカニカルシャッタ４１は必須ではなく、メカニカルシャッタ４１が無くとも電子シャッタ機能を働かせることでライブビュー画像用の撮像及び静止画像用の撮像は実現される。また、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。

【0072】

一例として図６に示すように、処理回路１１０は、制御回路１１９、読出回路１１５、デジタル処理回路１１６、第１間引き回路１１８、位置情報取得回路１２０、画像切出回路１２２、及び入出力Ｉ／Ｆ１１３を備える。入出力Ｉ／Ｆ１１３は入力Ｉ／Ｆ１１３Ａと出力Ｉ／Ｆ１１３Ｂとを含む。制御回路１１９は、メモリ１１２、入出力Ｉ／Ｆ１１３、読出回路１１５、デジタル処理回路１１６、第１間引き回路１１８、位置情報取得回路１２０、及び画像切出回路１２２に接続されている。

【0073】

入力Ｉ／Ｆ１１３Ａは、後段回路１３の出力Ｉ／Ｆ５７Ｂに接続されている。入力Ｉ／Ｆ１１３Ａは、ＣＰＵ５０から出力された撮像タイミング信号を出力Ｉ／Ｆ５７Ｂを介して受け付ける。入力Ｉ／Ｆ１１３Ａは、受け付けた撮像タイミング信号を制御回路１１９に転送する。

【0074】

読出回路１１５は、制御回路１１９の制御下で光電変換素子４２を制御し、光電変換素子４２からアナログ画像データ７０を第１フレームレートで読み出す。

【0075】

具体的には、先ず、入力Ｉ／Ｆ１１３Ａが後段回路１３から撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路１１９に転送する。次に、制御回路１１９は、転送された撮像タイミング信号を読出回路１１５に転送する。撮像タイミング信号は、垂直同期信号及び水平同期信号を含む。読出回路１１５は、制御回路１１９から転送された垂直同期信号に従って光電変換素子４２からフレーム単位でのアナログ画像データ７０の読み出しを開始する。また、読出回路１１５は、制御回路１１９から転送された水平同期信号に従って水平ライン単位でのアナログ画像データ７０の読み出しを開始する。

【0076】

読出回路１１５は、光電変換素子４２から読み出されたアナログ画像データ７０に対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子４２に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画像データ７０に対してゲインをかける処理である。このようにしてアナログ信号処理が行われたアナログ画像データ７０は、読出回路１１５によってデジタル処理回路１１６に出力される。

【0077】

デジタル処理回路１１６は、Ａ／Ｄ変換器１１７を備えている。Ａ／Ｄ変換器１１７は、アナログ画像データ７０をＡ／Ｄ変換する。デジタル処理回路１１６は、Ａ／Ｄ変換された画像データに対して、さらにデモザイク処理を行う。デモザイク処理について、例えば、図７を参照して以下に説明する。

【0078】

一例として図７に示すように、光電変換素子４２では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列で配列されている。電子シャッタ機能が作動することで、光電変換素子４２のそれぞれの画素から対応した色の電荷信号が出力される。すなわち、光電変換素子４２から出力されるデータは、各Ｒ画素から出力されたＲ画素データと、各Ｇ画素から出力されたＧ画素データと、各Ｂ画素から出力されたＢ画素データとで構成されるＲＡＷデータである。

【0079】

デモザイク処理では、各画素の周囲に配置された別の色の画素データを用いて、ＲＧＢ成分のうち、足りない色の成分が補完される。Ｒ画素は、周囲に配置されたＧ画素のＧ画素データとＢ画素のＢ画素データで足りない色の成分が補完される。Ｇ画素は、周囲に配置されたＢ画素のＢ画素データとＲ画素のＲ画素データで足りない色の成分が補完される。Ｂ画素は、周囲に配置されたＲ画素のＲ画素データとＧ画素のＧ画素データで足りない色の成分が補完される。さらに、デモザイク処理後の画像データに対して、デジタルゲイン処理が行われる。これにより、各画素がＲＧＢ成分の画素データを有するデジタル画像データ７１が生成される。このように、第１フレームレートで撮像されることで得られたデジタル画像データ７１は、メモリ１１２に記憶される。

【0080】

第１間引き回路１１８（図６参照）は、第１間引き処理を行う。ここで、間引き処理とは、画像データから特定の列、行、又は画素のデータのみを抽出して、間引き画像データを生成する処理を指す。間引き処理は、全画素数に対する間引く画素数の割合（「間引く画素数／全画素数」）で求められる間引き率に基づいて行われる。

【0081】

制御回路１１９は、メモリ１１２に対してランダムアクセス可能であり、メモリ１１２からデジタル画像データ７１を読み出して、第１間引き回路１１８に出力する。第１間引き回路１１８は、制御回路１１９から入力されたデジタル画像データ７１に対して、例えば、３分の２（以下、「２／３」と称する）の第１間引き率でデジタル画像データ７１を間引く第１間引き処理を行う。

【0082】

一例として図８に示すように、第１間引き率は「２／３」であるので、第１間引き回路１１８は、垂直方向の水平ラインを、例えば２ライン飛ばしで間引きした第１間引き画像データ７３を生成する。すなわち、第１間引き画像データ７３は、デジタル画像データ７１のうち「３ｎ－２」行目の画素データだけを抽出したデータである。ここで、ｎは正の整数である。第１間引き回路１１８は、第１間引き画像データ７３をメモリ１１２に記憶し、かつ、位置情報取得回路１２０に出力する。本実施形態では、第１間引き率は「２／３」であるが、本開示の技術はこれに限らない。また、第１間引き回路１１８は、デジタル画像データ７１の垂直方向の水平ラインを間引きする代わりに、水平方向の垂直ラインを複数ライン飛ばしで間引きしてもよい。更に、第１間引き回路１１８は、デジタル画像データ７１を画素単位で間引きしてもよい。

【0083】

位置情報取得回路１２０（図６参照）は、動きのある物体を被写体として検出し、被写体を含む領域を画像認識領域として検出する。画像認識領域とは、後段回路１３の画像認識処理部６６で行われる機械学習（例えば、ディープラーニング）を用いた画像認識処理の処理対象とされる領域である。位置情報取得回路１２０は、さらに、検出された画像認識領域の位置情報を取得する位置情報取得処理を行う。位置情報取得回路１２０は、第１間引き画像データ７３を用いて画像認識領域の検出、及び位置情報取得処理を行う。

【0084】

一例として図９に示すように、位置情報取得処理では、第１フレームレートで連続して取得された３フレーム分の第１間引き画像データ７３が用いられる。例えば、第１間引き画像データ７３により示される画像は、被写体を示す被写体画像として、図中右方向から左方向へ移動する車が写っているとする。説明を簡単にするため、３フレーム分の第１間引き画像データ７３のうち、最も新しい第１間引き画像データ７３を第１間引きフレーム７３ａと呼ぶ。最新のものの次に古い第１間引き画像データ７３を第２間引きフレーム７３ｂと呼ぶ。最も古い第１間引き画像データ７３を第３間引きフレーム７３ｃと呼ぶ。

【0085】

位置情報取得回路１２０は、連続して取得された２フレーム分の第１間引き画像データ７３の差分を取り、二値化する。すなわち、位置情報取得回路１２０は、第１間引きフレーム７３ａと第２間引きフレーム７３ｂとのフレーム間の差分を取ることで、二値化差分データ７３ｄを取得する。また、位置情報取得回路１２０は、第２間引きフレーム７３ｂと第３間引きフレーム７３ｃとのフレーム間の差分を取ることで、二値化差分データ７３ｅを取得する。一例として図９では、差分のある被写体画像が白で差分のない背景画像が黒となっているが、その反対でもよい。また差分の絶対値を取り、差分の絶対値に対して所定の値を境界にして、所定の値より大きい部分を白とし、小さい部分を黒としてもよい。

【0086】

次に、位置情報取得回路１２０は、異なるフレーム間演算で得られたふたつの二値化差分データを比較することにより、共通部分を検出する。図９の例では、二値化差分データである７３ｄ及び７３ｅを比較することにより、中央にある車１台分の共通部分が得られる。位置情報取得回路１２０は、共通部分を、後述する画像認識処理の処理対象とされる画像認識領域７５として検出し、画像認識領域７５の位置を示す位置情報７６を取得する。このように、位置情報７６は、デジタル画像データ７１を第１間引き率で間引いた第１間引き画像データ７３に対する、位置情報取得回路１２０による画像認識領域７５の検出結果から得られた情報である。

【0087】

一例として、位置情報取得回路１２０は、画像認識領域７５を囲む矩形枠を設定し、枠の右下の座標（Ｘ１，Ｙ１）及び左上の座標（Ｘ２，Ｙ２）を位置情報７６として取得する。位置情報取得回路１２０は、取得した位置情報７６をメモリ１１２に記憶し、かつ、画像切出回路１２２に出力する。なお、本実施形態では、位置情報７６の一例として矩形枠の右下及び左上の座標が示されているが、位置情報７６はこれに限らない。位置情報７６は、例えば、右上と左下の座標でもよい。また、矩形枠の対角線上にある２つの角の座標を用いる代わりに、位置情報７６は、矩形枠のある１つの角の座標と、矩形枠の水平方向の長さ及び垂直方向の長さを含んでもよい。また、位置情報取得回路１２０は、画像認識領域７５を囲む矩形枠を設定せず、検出された画像認識領域７５の画素単位で座標情報を取得してもよい。

【0088】

画像切出回路１２２（図６参照）は、デジタル画像データ７１と位置情報７６とに基づいて、デジタル画像データ７１から部分画像データ７２を切り出す画像切出処理を行う。制御回路１１９は、メモリ１１２からデジタル画像データ７１を読み出し、画像切出回路１２２に出力する。画像切出処理とは、デジタル画像データ７１から位置情報７６で示される座標の画像データだけを抽出して、部分画像データ７２として出力する処理を指す。すなわち、部分画像データ７２は、デジタル画像データ７１のうちの一部である。

【0089】

一例として図１０に示すように、制御回路１１９は、メモリ１１２から第２間引きフレーム７３ｂに対応するデジタル画像データ７１を読み出して画像切出回路１２２に出力する。画像切出回路１２２は、位置情報取得回路１２０から受信した位置情報７６の座標（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）に基づいてデジタル画像データ７１を切り出すことで、矩形の部分画像データ７２を生成する。

【0090】

切り出された部分画像データ７２は、画像認識領域７５のみを含んでいる。画像切出回路１２２は、生成した部分画像データ７２をメモリ１１２に記憶する。なお、本実施形態では、部分画像データ７２が矩形である場合を例に説明したが、切り出された部分画像データ７２では矩形である必要はなく、円形又は楕円形等の任意の形状であってもよい。また、検出された画像認識領域７５の画素単位で座標情報が取得された場合には、画像切出回路１２２は、画素単位で部分画像データ７２を切り出してもよい。

【0091】

メモリ１１２には、デジタル画像データ７１、第１間引き画像データ７３、位置情報７６、及び部分画像データ７２が記憶される。制御回路１１９は、第１間引き画像データ７３、位置情報７６、及び部分画像データ７２を、メモリ１１２から読み出し、出力Ｉ／Ｆ１１３Ｂ及び入力Ｉ／Ｆ５７Ａを介して、第２フレームレートで後段回路１３へ出力する。第２フレームレートは、第１フレームレートとは独立したフレームレートである。具体的な第２フレームレートの一例としては、６０ｆｐｓが挙げられるが、これに限らず、６０ｆｐｓを超えるフレームレート（例えば、１２０ｆｐｓ）であってもよいし、６０ｆｐｓ未満のフレームレート（例えば、３０ｆｐｓ）であってもよい。ここでは、第１フレームレートに比べて第２フレームレートは小さくなっているが、本開示の技術はこれに限らない。第１フレームレートに比べて第２フレームレートが大きくてもよく、第１フレームレートと第２フレームレートが等しくてもよい。

【0092】

第２フレームレートが第１フレームレートよりも小さい場合、制御回路１１９は、第１フレームレートで取得された第１間引き画像データ７３、位置情報７６、及び部分画像データ７２をフレーム単位で間引くことで、フレームレートを低下させて第２フレームレートとする。例えば、第１フレームレートが２４０ｆｐｓであり、第２フレームレートが６０ｆｐｓである場合、制御回路１１９は、４フレーム分の第１間引き画像データ７３、位置情報７６、及び部分画像データ７２の中から３フレームを間引き、残りの１フレーム分の第１間引き画像データ７３、位置情報７６、及び部分画像データ７２を出力する。

【0093】

一方、第２フレームレートが第１フレームレートよりも大きい場合、制御回路１１９は、例えば、第１フレームレートで取得された１フレーム分の第１間引き画像データ７３、位置情報７６、及び部分画像データ７２を、複数回続けて出力することにより、フレームレートを上げて第２フレームレートとする。

【0094】

一例として図１１に示すように、部分画像データ７２、第１間引き画像データ７３、及び位置情報７６は後段回路１３に入力され、メモリ５２に記憶される。後段回路１３のストレージ５１には、プログラム６０と学習済みモデル６２が記憶されている。ＣＰＵ５０は、ストレージ５１からプログラム６０をメモリ５２上で実行することで、第２間引き処理部６４及び画像認識処理部６６として機能する。

【0095】

第２間引き処理部６４は、位置情報７６に基づいて生成された部分画像データ７２に対して第２間引き処理を行う。第２間引き処理とは、部分画像データ７２を第２間引き率で間引いて、第２間引き画像データ７４を生成する処理を指す。第２間引き率は、第１間引き率とは異なる間引き率である。本実施形態では、第２間引き率は、例えば２分の１（以下、「１／２」と称する）である。第２間引き処理部６４は、図８に示す第１間引き処理と同様に、垂直方向の水平ラインを１ライン飛ばしで間引きした第２間引き画像データ７４を生成してメモリ５２に記憶する。また、本実施形態では、第２間引き率は「１／２」であるが、本開示の技術はこれに限らない。また、第２間引き処理部６４は、部分画像データ７２の垂直方向の水平ラインを間引きする代わりに、水平方向の垂直ラインを間引きしてもよい。更に、第２間引き処理部６４は、部分画像データ７２を画素単位で間引きしてもよい。

【0096】

画像認識処理部６６は、位置情報７６に基づいて、画像認識領域に対して画像認識処理を行う。本実施形態では、画像認識領域は、位置情報取得回路１２０で検出された動体画像を含む領域である。ここで、動体画像とは、動きのある被写体を示す画像を指す。

【0097】

画像認識処理部６６は、画像認識領域を含む部分画像データ７２を第２間引き率で間引いた第２間引き画像データ７４に対して、機械学習を用いた画像認識処理を施すことで、画像認識情報７８を取得する。具体的には、画像認識処理部６６は、画像認識処理を実行することにより、第２間引き画像データ７４によって示される第２間引き画像に含まれる動体画像のカテゴリ認識を、例えば２段階で行う。本開示の技術では、第１段階のカテゴリとして、動体画像、例えば、車、オートバイ、飛行機、自転車、若しくは船等の乗り物を示す画像、又は人間、動物、鳥、若しくは昆虫等の生物を示す画像が挙げられる。

【0098】

第２段階のカテゴリは、第１段階のカテゴリ認識で特定のカテゴリに分類された動体画像をさらに分類するためのサブカテゴリである。例えば、第１段階で「車」に属すると認識された動体画像をさらに認識するためのサブカテゴリには、車種、色、製造メーカ、又は型式等が含まれる。例えば、第１段階で「人物」に属すると認識された動体画像をさらに認識するためのサブカテゴリには、性別、人種、体形、又は年齢等が含まれる。

【0099】

ストレージ５１に記憶された学習済みモデル６２には、過去の学習で得られたモデルが収納されており、多数のカテゴリにおける高精度な認識を可能にする。さらに、画像認識処理部６６が画像認識処理を行う毎に、画像認識領域７５により新たに学習が行われて、学習済みモデル６２が更新される。なお、本実施形態では、画像認識処理部６６が２段階のカテゴリ認識を行っているが、撮像素子３８の処理回路１１０で第１段階目のカテゴリ認識を行い、画像認識処理部６６で第２段階目のカテゴリ認識を行ってもよい。画像認識処理で得られた画像認識情報７８は、メモリ５２に記憶される。

【0100】

第２間引き処理で使用される第２間引き率は、第１間引き処理で使用される第１間引き率よりも低い。このため、位置情報取得回路１２０で行われる位置情報取得処理では、間引き率の高い第１間引き率で間引かれた第１間引き画像データ７３を使って、短時間で画像認識領域７５及び位置情報７６が取得される。一方、後段回路１３の画像認識処理部６６で行われる画像認識処理では、間引き率の低い第２間引き率で間引かれた第２間引き画像データ７４を使って、精度の良い画像認識情報７８が得られる。

【0101】

撮像装置１０は、ディスプレイ２６にライブビュー画像を表示するライブビュー画像表示モードと、ライブビュー画像に示された被写体の画像認識結果を表示する画像認識モードとを有する。撮像装置１０がライブビュー画像表示モードである場合、ＣＰＵ５０は、第１間引き画像データ７３をメモリ５２から読み出す。ＣＰＵ５０は、一例として図１２に示すように、第１間引き画像データ７３により示される画像をライブビュー画像７７としてディスプレイ２６に表示する。ライブビュー画像７７は、本開示の技術に係る「表示用動画像」の一例である。

【0102】

撮像装置１０が画像認識モードである場合、ＣＰＵ５０は、メモリ５２から第１間引き画像データ７３、位置情報７６、及び画像認識情報７８を読み出してディスプレイ２６に出力する。これにより、一例として図１３に示すように、第１間引き画像データ７３により示されるライブビュー画像７７（図１２参照）に画像認識情報７８が重畳された重畳画像７９がディスプレイ２６に表示される。なお、重畳画像７９において、画像認識情報７８が表示される位置は、位置情報７６が示す座標に基づいて決定される。

【0103】

図１３は、例えば、図９に示す画像認識領域７５に対して、画像認識処理が行われたものである。画像認識処理結果として、画像認識情報７８が吹き出しの形でライブビュー画像７７に重畳されて表示されている。画像認識処理結果には、まず第１段階のカテゴリ認識結果である「車」が含まれ、さらに、第２段階のカテゴリ認識結果である車種、製造メーカ、型式、及び色が含まれる。なお、図１３の例では１種類の画像認識情報７８が表示されているが、１フレームの重畳画像７９に表示される画像認識情報７８の数は複数でも構わない。

【0104】

次に、本第１実施形態に係る撮像装置１０の作用について図１４及び図１５を参照しながら説明する。図１４には、撮像素子３８によって実行される第１画像処理の流れの一例が示されている。図１５には、後段回路１３によって実行される第２画像処理の流れの一例が示されている。説明の便宜上、アナログ画像データ７０、デジタル画像データ７１、部分画像データ７２、第１間引き画像データ７３、及び第２間引き画像データ７４を区別して説明する必要がない場合、単に「画像データ」と称する。

【0105】

図１４に示す第１画像処理では、先ず、ステップＳ１０で、制御回路１１９は、入力Ｉ／Ｆ１１３Ａによって撮像タイミング信号が受け付けられたか否かを判定する。ステップＳ１０において、入力Ｉ／Ｆ１１３Ａによって撮像タイミング信号が受け付けられていない場合には、判定が否定されて、第１画像処理はステップＳ１０を再度実行する。ステップＳ１０において、入力Ｉ／Ｆ１１３Ａによって撮像タイミング信号が受け付けられた場合には、判定が肯定されて、第１画像処理はステップＳ１１へ移行する。

【0106】

ステップＳ１１で、撮像処理が行われる。制御回路１１９が撮像タイミング信号に基づいて読出回路１１５及びデジタル処理回路１１６を制御することで、撮像素子３８は撮像タイミング信号に基づいて第１フレームレートで被写体を撮像して、デジタル画像データ７１を生成する。その後、第１画像処理はステップＳ１２へ移行する。

【0107】

ステップＳ１２で、デジタル処理回路１１６は、生成されたデジタル画像データ７１をメモリ１１２に記憶する。その後、第１画像処理はステップＳ１３へ移行する。

【0108】

ステップＳ１３で、制御回路１１９はデジタル画像データ７１をメモリ１１２から読み出して第１間引き回路１１８に出力する。第１間引き回路１１８は、第１間引き率に基づいて第１間引き処理を実行して、第１間引き画像データ７３を生成する。その後、第１画像処理はステップＳ１４へ移行する。

【0109】

ステップＳ１４で、第１間引き回路１１８は、第１間引き画像データ７３をメモリ１１２に記憶する。第１間引き回路１１８は、さらに、第１間引き画像データ７３を位置情報取得回路１２０へ出力する。その後、第１画像処理はステップＳ１５へ移行する。

【0110】

ステップＳ１５で、制御回路１１９は、撮像装置１０が画像認識モードか否かを判定する。ステップＳ１５において、撮像装置１０が画像認識モードではない場合、すなわち撮像装置１０がライブビュー画像表示モードである場合には、判定が否定されて、第１画像処理はステップＳ２０へ移行する。ステップＳ１５において、撮像装置１０が画像認識モードである場合には、判定が肯定されて、第１画像処理はステップＳ１６へ移行する。

【0111】

ステップＳ１６で、位置情報取得回路１２０は位置情報取得処理を行う。位置情報取得処理とは、デジタル画像データ７１のうち、後段回路１３で行われる画像認識処理の処理対象とされる画像認識領域７５の位置情報を取得する処理である。位置情報取得処理では、第１間引き画像データ７３に基づいて、画像認識領域７５の位置情報７６が取得される。その後、第１画像処理はステップＳ１７へ移行する。

【0112】

ステップＳ１７で、位置情報取得回路１２０は、取得された位置情報７６をメモリ１１２に記憶する。位置情報取得回路１２０は、さらに、位置情報７６を画像切出回路１２２へ出力する。その後、第１画像処理はステップＳ１８へ移行する。

【0113】

ステップＳ１８で、制御回路１１９はデジタル画像データ７１をメモリ１１２から読み出して画像切出回路１２２に出力する。画像切出回路１２２は、位置情報取得回路１２０から入力された位置情報７６に基づいて、デジタル画像データ７１から部分画像データ７２を切り出す画像切出処理を実行する。その後、第１画像処理はステップＳ１９へ移行する。

【0114】

ステップＳ１９で、画像切出回路１２２は、部分画像データ７２をメモリ１１２に記憶する。その後、第１画像処理はステップＳ２０へ移行する。

【0115】

ステップＳ２０で、制御回路１１９は、メモリ１１２に記憶されたデータを出力する出力タイミングが到来したか否かを判定する。出力タイミングは、第１フレームレートとは独立した第２フレームレートに設定されている。出力タイミングが到来していない場合には、判定が否定されて、第１画像処理はステップＳ１０へ移行する。ステップＳ２０において、出力タイミングが到来した場合には、判定が肯定されて、第１画像処理はステップＳ２１へ移行する。

【0116】

ステップＳ２１で、制御回路１１９はメモリ１１２に記憶されたデータを読み出し、出力Ｉ／Ｆ１１３Ｂ及び入力Ｉ／Ｆ５７Ａを介して後段回路１３へ出力する。撮像装置１０がライブビュー画像表示モードである場合、制御回路１１９は第１間引き画像データ７３をメモリ１１２から読み出して後段回路１３へ出力する。これにより、ライブビュー画像がディスプレイ２６に表示される。撮像装置１０が画像認識モードである場合、制御回路１１９は第１間引き画像データ７３、位置情報７６、及び部分画像データ７２をメモリ１１２から読み出して後段回路１３へ出力する。これにより、ライブビュー画像に画像認識情報７８が重畳した重畳画像がディスプレイ２６に表示される。その後、第１画像処理はステップＳ２２へ移行する。

【0117】

ステップＳ２２で、制御回路１１９は、第１画像処理を終了する条件（以下、「第１画像処理終了条件」と称する）を満足したか否かを判定する。第１画像処理終了条件の一例としては、撮像モードを終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳ２２において、第１画像処理終了条件を満足していない場合は、判定が否定されて、第１画像処理はステップＳ１０へ移行する。ステップＳ２２において、第１画像処理終了条件を満足した場合は、判定が肯定されて、第１画像処理が終了する。

【0118】

次に、図１５に示す第２画像処理では、先ず、ステップＳ３０で、ＣＰＵ５０は、入力Ｉ／Ｆ５７Ａによって第１間引き画像データ７３が受け付けられたか否かを判定する。ステップＳ３０において、第１間引き画像データ７３が受け付けられていない場合には、判定が否定されて、第２画像処理はステップＳ３０を再度実行する。ステップＳ３０において、第１間引き画像データ７３が受け付けられた場合には、判定が肯定されて、第２画像処理はステップＳ３１へ移行する。

【0119】

ステップＳ３１で、ＣＰＵ５０は第１間引き画像データ７３をメモリ５２に記憶する。その後、第２画像処理はステップＳ３２へ移行する。

【0120】

ステップＳ３２で、ＣＰＵ５０は、入力Ｉ／Ｆ５７Ａによって位置情報７６及び部分画像データ７２が受け付けられたか否かを判定する。ステップＳ３２において、位置情報７６及び部分画像データ７２が受け付けられていない場合には、判定が否定されて、第２画像処理はステップＳ３７へ移行する。

【0121】

ステップＳ３７で、ＣＰＵ５０は、メモリ５２から第１間引き画像データ７３を読み出して、第１間引き画像データ７３により示される画像をライブビュー画像７７としてディスプレイ２６に表示する。その後、第２画像処理はステップＳ３８へ移行する。

【0122】

一方、ステップＳ３２において、位置情報７６及び部分画像データ７２が受け付けられた場合には、判定が肯定されて、第２画像処理はステップＳ３３へ移行する。

【0123】

ステップＳ３３で、ＣＰＵ５０は位置情報７６及び部分画像データ７２をメモリ５２に記憶する。その後、第２画像処理はステップＳ３４へ移行する。

【0124】

ステップＳ３４で、ＣＰＵ５０は、ストレージ５１からプログラム６０を読み出してメモリ５２で実行することにより、第２間引き処理部６４として機能する。第２間引き処理部６４は、部分画像データ７２に対して第２間引き処理を行う。第２間引き処理とは、第２間引き率に基づき、部分画像データ７２を間引いて第２間引き画像データ７４を生成する処理である。第２間引き処理部６４は、生成された第２間引き画像データ７４をメモリ５２に記憶する。その後、第２画像処理はステップＳ３５へ移行する。

【0125】

ステップＳ３５で、ＣＰＵ５０は、ストレージ５１からプログラム６０を読み出してメモリ５２で実行することにより、画像認識処理部６６として機能する。画像認識処理部６６は、第２間引き画像データ７４に対して、機械学習を用いた画像認識処理を施すことで、第２間引き画像に写っている被写体のカテゴリ認識を行う。画像認識処理部６６は、画像認識処理による画像認識結果を、画像認識情報７８としてメモリ５２に記憶する。その後、第２画像処理はステップＳ３６へ移行する。

【0126】

ステップＳ３６で、ＣＰＵ５０は、メモリ５２から第１間引き画像データ７３、位置情報７６、及び画像認識情報７８を読み出す。ＣＰＵ５０は、第１間引き画像データ７３により示されるライブビュー画像７７に画像認識情報７８を重ねた重畳画像７９をディスプレイ２６に表示する。その後、第２画像処理はステップＳ３８へ移行する。

【0127】

ステップＳ３８で、ＣＰＵ５０は、第２画像処理を終了する条件（以下、「第２画像処理終了条件」と称する）を満足したか否かを判定する。第２画像処理終了条件の一例としては、撮像モードを終了させる指示が受付デバイス８４（図４参照）によって受け付けられた、との条件が挙げられる。ステップＳ３８において、第２画像処理終了条件を満足していない場合は、判定が否定されて、第２画像処理はステップＳ３０へ移行する。ステップＳ３８において、第２画像処理終了条件を満足した場合は、判定が肯定されて、第２画像処理が終了する。

【0128】

なお、本第１実施形態では、第１間引き回路１１８はデジタル画像データ７１を第１間引き率で間引いて第１間引き画像データ７３を生成し、位置情報取得回路１２０は第１間引き画像データ７３に基づいて位置情報７６を取得した。また、第１間引き画像データ７３が後段回路１３に出力されて、ＣＰＵ５０は、第１間引き画像データ７３により示される画像をライブビュー画像７７としてディスプレイ２６に表示したが、本開示の技術はこれに限らない。位置情報取得回路１２０は、第１間引き画像データ７３の代わりに、デジタル画像データ７１に基づいて位置情報７６を取得してもよい。また、ＣＰＵ５０は、デジタル画像データ７１により示される画像、又はデジタル画像データ７１を後段回路１３で間引いた間引き画像により示される画像をライブビュー画像７７としてディスプレイ２６に表示してもよい。この場合、処理回路１１０は、第１間引き回路１１８を備えなくてよいので、処理回路１１０を構成するＬＳＩの大きさが小さくなり、回路設計が簡単になる。

【0129】

なお、本第１実施形態では、第２間引き処理部６４は部分画像データ７２を第２間引き率で間引いて第２間引き画像データ７４を生成し、画像認識処理部６６は第２間引き画像データ７４に対して画像認識処理を行ったが、本開示の技術はこれに限らない。画像認識処理部６６は、部分画像データ７２に対して画像認識処理を行ってもよい。また、処理回路１１０はデジタル画像データ７１と位置情報７６とを後段回路１３に出力し、画像認識処理部６６は、位置情報７６に基づき、デジタル画像データ７１に対して画像認識処理を行ってもよい。この場合、画像認識処理部６６は、間引き処理を施していない部分画像データ７２又はデジタル画像データ７１に対して画像認識処理を行うので、より精度の高い画像認識情報７８を得ることができる。

【0130】

以上説明したように、本第１実施形態に係る撮像装置１０は、撮像素子３８と後段回路１３とを備える。撮像素子３８は、第１フレームレートで撮像されることで得られたデジタル画像データ７１、部分画像データ７２、及び／又は第１間引き画像データ７３を記憶するメモリ５２と、部分画像データ７２及び／又は第１間引き画像データ７３を第１フレームレートとは独立した第２フレームレートで出力する処理回路１１０とを内蔵する。後段回路１３には、処理回路１１０から部分画像データ７２及び／又は第１間引き画像データ７３が入力される。処理回路１１０は、デジタル画像データ７１又は第１間引き画像データ７３のうちの画像認識処理の処理対象とされる画像認識領域７５の位置を示す位置情報７６を取得する。後段回路１３は、位置情報７６に基づいて、画像認識領域７５に対して画像認識処理を行う。これにより、撮像素子３８内で画像認識領域７５に対する画像認識処理が行われる場合に比べ、撮像素子３８の処理負荷が軽減される。なお、後段回路１３には、処理回路１１０から部分画像データ７２及び／又は第１間引き画像データ７３が直接入力されることは必須ではなく、例えば中間に信号レベル変換回路や処理回路、又は異なる信号処理を行う信号処理回路や信号処理プロセッサを経由してもよい。

【0131】

位置情報７６は、デジタル画像データ７１又は第１間引き画像データ７３内での画像認識領域７５の位置を示す座標である。これにより、デジタル画像データ７１又は第１間引き画像データ７３内での画像認識領域７５の位置を示す情報を用いない場合に比べ、デジタル画像データ７１又は第１間引き画像データ７３内での画像認識領域７５の位置を容易に特定することができる。

【0132】

処理回路１１０は、第１間引き画像データ７３のフレーム間の差分に基づいて、第１間引き画像データ７３から画像認識領域７５を検出し、検出結果に基づいて位置情報７６を取得する。これにより、第１間引き画像データ７３のフレーム間の差分を用いずに画像認識領域７５を検出する場合に比べ、動体画像を画像認識領域７５として容易に検出することができる。

【0133】

部分画像データ７２は、画像認識領域７５のみを含む。これにより、デジタル画像データ７１を全部出力する場合に比べ、処理回路１１０から出力されるデータ量を少なくすることができる。

【0134】

処理回路１１０は、デジタル画像データ７１を第１間引き率で間引いた第１間引き画像データ７３と、部分画像データ７２と、位置情報７６とを第２フレームレートで出力する。これにより、デジタル画像データ７１を間引かずに出力する場合に比べ、処理回路１１０から出力されるデータ量を少なくすることができる。

【0135】

位置情報７６は、デジタル画像データ７１を第１間引き率で間引いた第１間引き画像データ７３に対する処理回路１１０による画像認識領域７５の検出結果から得られた情報である。これにより、間引き無しの画像から位置情報７６が得られる場合に比べ、位置情報７６を得る処理にかかる負荷が軽減される。

【0136】

後段回路１３は、第１間引き画像データ７３により示される画像をディスプレイ２６にライブビュー画像７７として表示する。これにより、間引き無しの画像をライブビュー画像７７としてディスプレイ２６に表示する場合に比べ、低負荷でライブビュー画像７７をディスプレイ２６に表示することができる。

【0137】

後段回路１３は、部分画像データ７２又はデジタル画像データ７１を第２間引き率で間引いた第２間引き画像データ７４に対して画像認識処理を行う。これにより、間引き無しの画像に対して画像認識処理を行う場合に比べ、画像認識処理にかかる負荷が軽減される。

【0138】

第１間引き率と第２間引き率は異なる。これにより、第１間引き率と第２間引き率が同じである場合に比べ、位置情報７６の容易な取得と画像認識処理の高精度化とを両立させることができる。

【0139】

第２間引き率は第１間引き率よりも低い。これにより、第１間引き率で間引かれた画像に対して画像認識処理を行う場合に比べ、画像認識処理を高精度に行うことができる。

【0140】

撮像素子３８は、少なくとも光電変換素子４２とメモリ１１２とが１チップ化された撮像素子である。これにより、１チップ化されていない場合に比べ、撮像装置の小型化に寄与することができる。

【0141】

撮像素子３８は、光電変換素子４２とメモリ１１２とが積層された積層型撮像素子である。これにより、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、光電変換素子４２からメモリ１１２へのデジタル画像データ７１の転送速度を高めることができる。

【0142】

［第２実施形態］
上記第１実施形態では、画像切出回路１２２は位置情報７６に基づいてデジタル画像データ７１を切り出すことで部分画像データ７２を作成したが、本開示の技術はこれに限らない。

【0143】

一例として図１６に示すように、第２実施形態による撮像装置１０において、撮像素子３８の処理回路１１０は、第１実施形態における画像切出回路１２２の代わりに、分割画像選択回路１２４を備えている。分割画像選択回路１２４によって行われる分割画像選択処理について以下に説明する。なお、撮像装置１０のその他の構成及び処理は、第１実施形態による撮像装置１０と同じであるので、同じ符号を付して、その詳細な説明を省略する。

【0144】

分割画像選択回路１２４は、分割画像選択処理を行う。分割画像選択処理とは、第１間引き画像データ７３で示される画像を予め複数の部分に分割して複数の分割画像を用意しておき、画像認識領域７５を含む分割画像を選択して、部分画像データ７２を生成する処理である。

【0145】

一例として図１７に示すように、第１間引き画像データ７３によって示される画像２７０は、縦４列×横４行から成る１６個の分割画像２７４に予め分割されている。分割画像選択回路１２４は、位置情報７６に基づいて、画像認識領域７５を含む分割画像２７４を選択する。図１７の例では、分割画像選択回路１２４は、１６個の分割画像２７４のうち、中央下部に存在する６個の分割画像２７４を部分画像２７２として選択する。分割画像選択回路１２４は、デジタル画像データ７１から部分画像２７２を示す部分を抽出して、部分画像データ７２を生成する。

【0146】

以上説明したように、本第２実施形態に係る撮像装置１０は、分割画像選択回路１２４を備える。分割画像選択回路１２４は、位置情報７６に基づいて、画像認識領域７５を含む部分画像データ７２を生成する。第２実施形態によれば、画像切出回路１２２が不要になるので、画像切出処理に比べて、簡単な処理で部分画像データ７２を生成することができる。

【0147】

なお、本第２実施形態では画像２７０は１６個の分割画像２７４に予め分割されていたが、画像２７０を分割する数は２以上であれば、１６よりも多くても少なくてもよい。

【0148】

［第３実施形態］
第３実施形態では、処理回路は、第１フレームレートで得られた複数フレーム分のデジタル画像データを合成して、１フレーム分の高画質な合成画像データを作成する合成回路を備える。

【0149】

一例として図１８に示すように、第３実施形態による撮像装置１０において、処理回路１１０は合成回路１２６を備える。合成回路１２６は、複数フレーム分のデジタル画像データ７１を合成して１フレーム分の合成画像データ８０を作成する合成処理を行う。合成画像データ８０は、本開示の技術に係る「合成画像データ」の一例である。なお、撮像装置１０のその他の構成及び処理は、第１実施形態による撮像装置１０と同じであるので、同じ符号を付して、その詳細な説明を省略する。

【0150】

一例として図１９に示すように、撮像素子３８では、第１フレームレートでデジタル画像データ７１が順次生成されてメモリ１１２に記憶される。また、デジタル画像データ７１から生成された第１間引き画像データ７３、位置情報７６、及び部分画像データ７２が、第２フレームレートで撮像素子３８から出力される。例えば、第１フレームレートが２４０ｆｐｓであり、第２フレームレートが６０ｆｐｓである場合、制御回路１１９は、連続して生成された４フレーム分のデジタル画像データ７１を読み出し、合成回路１２６に出力する。合成回路１２６は入力された４フレーム分のデジタル画像データ７１を合成することで、１フレーム分の高画質な合成画像データ８０を作成する。合成回路１２６は、生成された合成画像データ８０をメモリ１１２に記憶し、かつ第１間引き回路１１８及び画像切出回路１２２に出力する。

【0151】

第１間引き回路１１８は、入力された合成画像データ８０に対して第１間引き処理を行うことで、第１間引き画像データ７３を生成する。第１間引き処理の詳細は、第１実施形態と同じであるのでその説明を省略する。第１間引き回路１１８は、作成された第１間引き画像データ７３をメモリ１１２に記憶し、かつ位置情報取得回路１２０に出力する。

【0152】

位置情報取得回路１２０は、入力された第１間引き画像データ７３に対して、位置情報取得処理を行う。位置情報取得処理は、合成画像データ８０により示される画像に対して画像認識領域７５を検出して、検出された画像認識領域７５の位置を示す位置情報７６を生成する処理である。位置情報取得処理の詳細は、第１実施形態と同じであるのでその説明を省略する。位置情報取得回路１２０は、生成された位置情報７６をメモリ１１２に記憶し、かつ画像切出回路１２２に出力する。位置情報取得回路１２０は、デジタル画像データ７１よりもノイズが少なく高画質な合成画像データ８０から作成された第１間引き画像データ７３を使って位置情報取得処理を行う。このため、第１実施形態による第１間引き画像データ７３に基づいて検出された位置情報７６に比べて、高精度な位置情報７６が検出される。

【0153】

画像切出回路１２２は、入力された位置情報７６に基づいて、合成画像データ８０を切り出す画像切出処理を行うことで、部分画像データ７２を生成する。画像切出回路１２２は、デジタル画像データ７１よりも高画質な合成画像データ８０を使って画像切出処理を行う。このため、第１実施形態によるデジタル画像データ７１から生成された部分画像データ７２よりも、高画質な部分画像データ７２が生成される。

【0154】

さらに、高画質な部分画像データ７２は後段回路１３に出力され、後段回路１３は、部分画像データ７２に対して画像認識処理を行う。このため、第１実施形態による部分画像データ７２に対する画像認識結果よりも、精度が高い画像認識結果が得られる。

【0155】

以上説明したように、本第３実施形態に係る撮像装置１０では、合成回路１２６は、第１フレームレートで得られた４フレーム分のデジタル画像データ７１を合成することによって１フレーム分の合成画像データ８０を作成する。位置情報７６は、合成画像データ８０により示される画像に対する、位置情報取得回路１２０による画像認識領域７５の検出結果から得られた情報である。これにより、非合成画像データから位置情報を得る場合に比べ、位置情報を精度良く得ることができる。

【0156】

なお、本第３実施形態では、合成回路１２６は、４フレーム分のデジタル画像データ７１から１フレーム分の合成画像データ８０を作成したが、本開示の技術はこれに限らない。１フレーム分の合成画像データを作成するのに使用されるデジタル画像データのフレーム数は、複数であればいくつでもよい。また、後段回路１３の処理速度に応じて、１フレーム分の合成画像データを作成するのに使用されるデジタル画像データのフレーム数を決めてもよい。

【0157】

［第４実施形態］
上記各実施形態では、処理回路１１０は、予め定められた第２フレームレートで第１間引き画像データ７３、位置情報７６、及び部分画像データ７２を後段回路１３へ出力したが、本開示の技術はこれに限らない。本第４実施形態では、処理回路１１０は、後段回路１３の処理速度に応じて定められる第３フレームレートで、第１間引き画像データ７３、位置情報７６、及び部分画像データ７２を後段回路１３へ出力する。

【0158】

一例として図２０に示すように、第４実施形態による撮像装置は、第１実施形態による撮像装置１０と同一の構成を有するので、第１実施形態と同一の符号を付しその説明を省略する。第４実施形態に係る撮像装置１０では、ＣＰＵ５０は、通信制御信号を入力Ｉ／Ｆ５７Ａ及び出力Ｉ／Ｆ１１３Ｂを介して処理回路１１０に出力する。通信制御信号は、処理回路１１０から出力される第１間引き画像データ７３、位置情報７６、及び部分画像データ７２のフレームレートを指定するための信号であり、後段回路１３の処理速度に応じて定められる。

【0159】

処理回路１１０は、通信制御信号を受け付けて、第１間引き画像データ７３、部分画像データ７２、及び位置情報７６を第３フレームレートで出力する。第３フレームレートは、上記各実施例で説明した第２フレームレートとは異なるフレームレートである。なお、上記各実施例で説明したように、部分画像データ７２は、画像認識領域７５の位置を示す位置情報７６に基づいてデジタル画像データ７１から切り出されたデータである。すなわち、部分画像データ７２は、デジタル画像データ７１のうちの一部であり、画像認識領域７５を含む。

【0160】

第３フレームレートは、後段回路１３の処理速度に応じて定められるフレームレートである。具体的な第３フレームレートの一例としては、３０ｆｐｓが挙げられるが、これに限らず、３０ｆｐｓを超えるフレームレート（例えば、６０ｆｐｓ）であってもよいし、３０ｆｐｓ未満のフレームレート（例えば、１５ｆｐｓ）であってもよい。

【0161】

処理回路１１０は、第１間引き画像データ７３を第２フレームレートで出力し、部分画像データ７２及び位置情報７６を第３フレームレートで出力してもよい。すなわち、第１間引き画像データ７３はライブビュー画像の表示に使用されるデータであるので、ライブビュー画像の表示フレームレートで出力される。一方、部分画像データ７２及び位置情報７６は、後段回路１３での画像認識処理に使用されるデータであるので、後段回路１３の処理速度に応じたフレームレートで出力される。

【0162】

以上説明したように、本第４実施形態に係る撮像装置１０では、処理回路１１０は、デジタル画像データ７１のうちの一部である部分画像データ７２と、位置情報７６とを第２フレームレートとは異なる第３フレームレートで出力する。部分画像データ７２により示される画像は画像認識領域７５を含み、第３フレームレートは、後段回路１３の処理速度に応じて定められる。これにより、後段回路１３の処理速度に応じたフレームレートで部分画像データ７２と位置情報７６を出力するので、部分画像データ７２と位置情報７６が常に第２フレームレートで出力される場合に比べ、部分画像データ７２及び位置情報７６の無駄な出力を減らすことができる。

【0163】

なお、上記各実施形態では、第１間引き画像データ７３から検出される画像認識領域７５は１つで、デジタル画像データ７１から作成された部分画像データ７２は１種類であったが、本開示の技術はこれに限定されない。２つ以上の画像認識領域７５が検出されて、２種類以上の部分画像データ７２が作成されてもよい。

【0164】

上記各実施形態では、位置情報取得回路１２０は、フレーム間差分法を用いて、画像認識領域７５を検出したが、本開示の技術はこれに限定されない。位置情報取得回路１２０は、例えば、画像データにおけるコントラストに基づいて画像認識領域７５を検出してもよい。また、位置情報取得回路１２０は、例えば、パターンマッチングによって画像認識領域７５を検出してもよい。パターンマッチングとは、特定のパターンを予め被写体のパターンとして与えておき、画像データの中に特定のパターンが含まれているか否かを検出する方法である。コントラスト、又はパターンマッチングが使われる場合、被写体は動体でなくてもよい。

【0165】

また、上記各実施形態では、画像認識処理部６６は、機械学習を用いて画像認識処理を行ったが、本開示の技術はこれに限定されない。画像認識処理部６６は、例えば、パターンマッチングによって画像認識処理を行ってもよい。

【0166】

また、上記各実施形態による撮像装置１０では、撮像素子３８として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子が採用されている。これにより、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、撮像装置１０の可搬性が高くなる。また、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化されていない撮像素子に比べ、撮像装置１０の小型化にも寄与することができる。

【0167】

また、上記各実施形態による撮像装置１０では、撮像素子３８として、光電変換素子４２にメモリ１１２が積層された積層型撮像素子が採用されている。これにより、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、光電変換素子４２からメモリ１１２への画像データの転送速度を高めることができる。転送速度の向上は、処理回路全体での処理の高速化にも寄与する。また、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子４２とメモリ１１２とが積層されていない場合に比べ、撮像装置１０の小型化にも寄与することができる。

【0168】

また、上述した撮像装置では、撮像素子として、光電変換素子４２、処理回路１１０、及びメモリ１１２が１チップ化された撮像素子３８が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子４２、処理回路１１０、及びメモリ１１２のうち、少なくとも光電変換素子４２及びメモリ１１２が１チップ化されていればよい。

【0169】

また、上記各実施形態では、レンズ交換式の撮像装置１０を例示したが、本開示の技術はこれに限定されない。例えば、スマートデバイスに、上記各実施形態で説明した撮像素子３８及び後段回路１３が搭載されていてもよい。スマートデバイスの一例としては、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。

【0170】

また、上記各実施形態では、ＵＩ系デバイス１７が撮像装置本体１２に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス１７に含まれる複数の構成要素の少なくとも一部が撮像装置本体１２に対して外付けされていてもよい。また、ＵＩ系デバイス１７に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ１０４に接続されることによって使用されるようにしてもよい。

【0171】

また、上記実施形態において、第１フレームレート及び第２フレームレートは固定のフレームレートであってもよいし、可変のフレームレートであってもよい。可変のフレームレートの場合、例えば、既定条件（例えば、フレームレートを変更する指示が受付デバイス８４によって受け付けられたとの条件、及び／又はフレームレートを変更するタイミングとして事前に定められたタイミングが到来したとの条件）を満足した場合にフレームレートが変更されるようにしてもよい。可変のフレームレートの場合、フレームレートの具体的な数値は、例えば、受付デバイス８４によって受け付けられた指示に従って変更されるようにしてもよいし、後段回路１３及び／又は撮像素子３８の稼働率に従って変更されるようにしてもよい。

【0172】

また、上記各実施形態では、ストレージ５１にプログラム６０を記憶させておき、ＣＰＵ５０は、メモリ５２上で実行するプログラム６０に従って撮像装置１０の全体を制御したが、本開示の技術はこれに限定されない。一例として図２１に示すように、通信網（図示省略）を介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等のストレージ３００（例えば、不揮発性の記憶装置）にプログラム６０を記憶させておき、撮像装置１０の要求に応じてプログラム６０がダウンロードされ、撮像装置１０にインストールされるようにしてもよい。

【0173】

なお、ストレージ３００にプログラム６０の全てを記憶させておく必要はなく、プログラム６０の一部を記憶させておいてもよい。

【0174】

図３に示す例では、ＣＰＵ５０は、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ５０に代えてＧＰＵを適用してもよい。

【0175】

また、上記各実施形態では、処理回路１１０がＡＳＩＣ及びＦＰＧＡを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、処理回路１１０に含まれる複数のデバイスのうちの少なくとも制御回路１１９はコンピュータによるソフトウェア構成により実現されるようにしてもよい。

【0176】

上記各実施形態で説明した第２画像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、第２画像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで第２画像処理を実行する。

【0177】

第２画像処理を実行するハードウェア資源は、各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。

【0178】

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、第２画像処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、第２画像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、第２画像処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0179】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

【0180】

また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0181】

また、図１に示す例では、撮像装置１０を例示したが、本開示の技術はこれに限定されない。すなわち、上記各実施形態で説明した撮像装置本体１２に相当する構成及び機能を有する撮像装置が内蔵された各種の電子機器（例えば、レンズ固定式カメラ、パーソナル・コンピュータ、又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、撮像装置１０と同様の作用及び効果が得られる。

【0182】

また、上記各実施形態では、ディスプレイ２６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置に対して後付けされた別体のディスプレイを用いるようにしてもよい。

【0183】

［第５実施形態］
第５実施形態として、本開示の技術に係る撮像装置を適用した撮像システムについて説明する。

【0184】

一例として図２２に示すように、撮像システム５００は、例えば監視カメラとして使用される。撮像システム５００は、複数の撮像装置５０２と、ホストコンピュータ５０４とを備える。撮像装置５０２は、上記第１実施形態から第４実施形態のうちの何れか１つの実施形態に記載された撮像装置本体１２を有する。各々の撮像装置５０２は、撮像されることで得られた画像データを記憶するメモリと、画像データを出力するプロセッサとを有する。

【0185】

プロセッサは、画像データから、画像認識領域の位置を示す位置情報を取得する。画像認識領域とは、ホストコンピュータ５０４で行われる画像認識処理の処理対象とされる領域である。画像認識処理については上記第１実施形態で説明したので、その説明を省略する。プロセッサは、画像データと、取得された位置情報とをホストコンピュータ５０４に出力する。

【0186】

ホストコンピュータ５０４は、各撮像装置から画像データと位置情報を受け付ける。ホストコンピュータ５０４は、位置情報に基づいて、画像データの画像認識領域に対して画像認識処理を行う。

【0187】

以上説明したように、本第５実施形態に係る撮像システム５００では、撮像されることで得られた画像データを記憶するメモリと、画像データを出力するプロセッサとを各々有する複数の撮像装置５０２と、プロセッサから画像データが入力されるホストコンピュータ５０４とを備える。プロセッサは、画像データのうちの画像認識処理の処理対象とされる画像認識領域の位置を示す位置情報を取得する。ホストコンピュータ５０４は、位置情報に基づいて、画像認識領域に対して画像認識処理を行う。これにより、ホストコンピュータ５０４が位置情報に基づいて画像認識処理を行わない場合に比べ、画像認識処理にかかる処理負荷を軽減し、処理速度を速くすることができる。

【0188】

上記各実施形態では、撮像素子３８に設けられた処理回路１１０に含まれる入出力Ｉ／Ｆ１１３と後段回路１３のコントローラ１５に含まれる入力Ｉ／Ｆ５７Ａ及び出力Ｉ／Ｆ５７Ｂとの間がＰＣＩｅの接続規格に従って接続されているが、本開示の技術はこれに限定されない。ＰＣＩｅの接続規格に代えて、高速通信規格としてＬＶＤＳ、ＳＡＴＡ、ＳＬＶＳ－ＥＣ、又はＭＩＰＩ等の他の接続規格が採用されてもよい。また、撮像素子３８に設けられた処理回路１１０に含まれる入出力Ｉ／Ｆ１１３と信号処理回路３４に含まれる入出力Ｉ／Ｆ（図示省略）との間も同様に、ＰＣＩｅ、ＬＶＤＳ、ＳＡＴＡ、ＳＬＶＳ－ＥＣ、又はＭＩＰＩ等の高速通信規格を用いて接続されている。

【0189】

上記各実施形態では、外部Ｉ／Ｆ１０４としてＵＳＢインタフェースが採用されているが、本開示の技術はこれに限定されない。例えば、ＨＤＭＩ等の他の種類のハードウェアインタフェース、及び／又は、Wi-Fi（登録商標）等の無線インタフェースを採用してもよい。

【0190】

上記各実施形態では、撮像素子３８と後段回路１３との間の通信、及び撮像装置５０２とホストコンピュータ５０４との通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。撮像素子３８と後段回路１３との間の通信、及び撮像装置５０２とホストコンピュータ５０４との通信を無線形式の通信としてもよい。

【0191】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0192】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0193】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】