特開2021-5846(P2021-5846A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
特開2021-5846積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路
<>
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000003
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000004
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000005
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000006
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000007
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000008
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000009
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000010
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000011
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000012
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000013
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000014
  • 特開2021005846-積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-5846(P2021-5846A)
(43)【公開日】2021年1月14日
(54)【発明の名称】積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路
(51)【国際特許分類】
   H04N 5/341 20110101AFI20201211BHJP
   H04N 5/369 20110101ALI20201211BHJP
   H04N 5/225 20060101ALI20201211BHJP
【FI】
   H04N5/341
   H04N5/369
   H04N5/225 300
【審査請求】未請求
【請求項の数】17
【出願形態】OL
【全頁数】29
(21)【出願番号】特願2019-120158(P2019-120158)
(22)【出願日】2019年6月27日
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】特許業務法人イトーシン国際特許事務所
(72)【発明者】
【氏名】羽田 和寛
(72)【発明者】
【氏名】川合 澄夫
(72)【発明者】
【氏名】冨澤 将臣
(72)【発明者】
【氏名】長 和彦
(72)【発明者】
【氏名】野中 修
【テーマコード(参考)】
5C024
5C122
【Fターム(参考)】
5C024GX07
5C024HX22
5C024HX58
5C024JX08
5C024JX42
5C122DA03
5C122DA04
5C122EA68
5C122FC01
5C122FC02
5C122FC11
5C122FH11
5C122FH15
5C122GE18
(57)【要約】
【課題】画素部から読み出すべき画素の領域を予測し、読み出し領域を制限することにより高速フレームレートでの読み出しを可能にする。
【解決手段】 積層型撮像デバイスは、センサ基板に構成され、所定のフレームレートで画像データを連続的に取得する複数の画素からなるセンサ部と、上記画像データに基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求める領域判定部と、上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得るフレームレート指定部とを具備し、上記領域判定部及び上記フレームレート指定部は、上記センサ基板以外の基板に構成される。
【選択図】図1
【特許請求の範囲】
【請求項1】
センサ基板に構成され、所定のフレームレートで画像データを連続的に取得する複数の画素からなるセンサ部と、
上記画像データに基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求める領域判定部と、
上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得るフレームレート指定部と
を具備し、
上記領域判定部及び上記フレームレート指定部は、上記センサ基板以外の基板に構成される
ことを特徴とする積層型撮像デバイス。
【請求項2】
上記優先領域は、所定サイズの矩形領域である
ことを特徴とする請求項1に記載の積層型撮像デバイス。
【請求項3】
上記高いフレームレートは、上記矩形領域のサイズに応じて決定される
ことを特徴とする請求項2に記載の積層型撮像デバイス。
【請求項4】
上記センサ基板以外の基板に構成され、上記複数の画素の画像データに基づく画像を仮記憶するメモリ部
を更に具備することを特徴とする請求項1に記載の積層型撮像デバイス。
【請求項5】
上記領域判定部は、上記メモリ部に仮記憶された画像中の動く物体の画像部分を含む領域を上記優先領域とする
ことを特徴とする請求項4に記載の積層型撮像デバイス。
【請求項6】
上記領域判定部は、
上記メモリ部に仮記憶された複数枚の画像の差分に基づいて上記優先領域を求める
ことを特徴とする請求項4に記載の積層型撮像デバイス。
【請求項7】
上記領域判定部は、
上記メモリ部に仮記憶された複数枚の画像中に、背景領域を判定するための背景判定領域と変化領域を判定するための変化判定領域とを設定して、上記背景判定領域の画像の変化と変化判定領域の画像の変化とに基づいて、上記変化領域に基づく優先領域を決定する
ことを特徴とする請求項6に記載の積層型撮像デバイス。
【請求項8】
上記領域判定部は、
上記変化判定領域を複数の分割領域に分割し、上記分割領域毎に上記変化領域を判定し、上記変化領域に基づく優先領域を決定する
ことを特徴とする請求項7に記載の積層型撮像デバイス。
【請求項9】
上記領域判定部は、上記動く物体の動きに基づいて上記優先領域の上記画像上の位置を変化させる
ことを特徴とする請求項5に記載の積層型撮像デバイス。
【請求項10】
上記領域判定部は、
上記画像データが入力され入力された画像データにより形成される画像中の動く物体の画像部分を含む領域を推論する推論モデルを用いた推論エンジン
を具備することを特徴とする請求項1に記載の積層型撮像デバイス。
【請求項11】
上記推論モデルは、動画中の各コマ画像に含まれる動く物体の位置の検出結果に基づいて、所定のコマ画像に、上記所定のコマ画像の次のコマ画像中の動体の位置を含む領域の情報をアノテーションとして付加して得た教師データを用いた学習により得られる
ことを特徴とする請求項10に記載の積層型撮像デバイス。
【請求項12】
請求項1に記載の積層型撮像デバイスと、
上記積層型撮像デバイスを制御する制御部と
を具備することを特徴とする撮像装置。
【請求項13】
請求項10に記載の積層型撮像デバイスと、
上記積層型撮像デバイスを制御する制御部と、
上記推論モデルを更新する推論モデル更新部と
を具備することを特徴とする撮像装置。
【請求項14】
積層型撮像デバイスに設けられた複数の画素からなるセンサ部によって、所定のフレームレートで画像を連続的に取得し、
上記センサ部とは異なる基板の回路において、上記画像に基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求め、
フレームレート指定部によって、上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得る
ことを特徴とする撮像方法。
【請求項15】
積層型撮像デバイスのセンサ基板以外の基板に設けられた推論部に構築される推論モデルであって、上記センサ基板に設けられたセンサ部で得られた画像を入力とし、上記センサ部の中の限定画像取得領域に関する情報を出力とする推論モデルを、上記センサ部以外で得られた画像を教師データとして用いた学習によって取得する
ことを特徴とする学習方法。
【請求項16】
積層型撮像デバイスのセンサ部で得られた画像を入力とし、
上記センサ部の中の限定画像取得領域に関する情報を出力とする推論モデルによって推論を行う上記積層型撮像デバイスに設けられた推論部の推論結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御を行う
ことを特徴とする画像読み出し回路。
【請求項17】
積層型撮像デバイスのセンサ部で得られた画像を入力とし、
上記センサ部の中の限定画像取得領域に関する情報を出力する領域判定部の判定結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御を行う
ことを特徴とする画像読み出し回路。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高速読み出しを可能にする積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路に関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮影機能付き携帯機器(撮影機器)が普及している。この種の撮影機器に用いる撮像デバイスとして、積層型撮像デバイスが開発されている。積層型撮像デバイスは、撮像用画素を有する画素部(センサ部)が構成された層(以下、センサ層という)と、信号処理回路が構成された層(以下、信号処理層という)との積層構造を有する。センサ層と信号処理層との積層構造を採用することで、センサ部と信号処理回路(周辺回路)とを同一層に構成した撮像デバイスに比べて、センササイズを小さくしながら画素数を増加させることができる。
【0003】
また、信号処理層の回路スペースに余裕が生じることから、比較的大きい規模の信号処理回路を搭載することが可能であり、多機能の撮像デバイスを構成することが可能となる。また、センサ層と信号処理層とを別々のプロセスで製造してもよく、高画質化に特化した製造プロセスを採用できる。
【0004】
高画質化を図った撮像デバイスとして、特許文献1によって提案された装置がある。この提案では、R,G,Bカラーフィルタが配置された画素(色画素)と配置されていない画素(W画素)とを備えた撮像素子を採用し、色画素のフレーム間差分に基づいてW画素のフレーム間差処理の重み付けを変更することにより、色ノイズを低減しながら色残像を抑制し、動画像の高画質化を図っている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2016−219977号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、高画質化のために、撮像素子の画素数及びフレームレートは増加傾向にあり、画像処理に要する処理量は増加している。また、高画質化処理のための信号処理回路の処理量も増加傾向にある。
【0007】
しかしながら、撮像装置は、撮像信号をリアルタイムで処理する必要があり、結果的にフレームレートを十分に高速化できない場合があるという問題があった。
【0008】
本発明は、画素部から読み出すべき画素の領域を予測し、読み出し領域を制限することにより高速フレームレートでの読み出しを可能にすることができる積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様による積層型撮像デバイスは、センサ基板に構成され、所定のフレームレートで画像データを連続的に取得する複数の画素からなるセンサ部と、上記画像データに基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求める領域判定部と、上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得るフレームレート指定部とを具備し、上記領域判定部及び上記フレームレート指定部は、上記センサ基板以外の基板に構成される。
【0010】
本発明の一態様による撮像装置は、上記積層型撮像デバイスと、上記積層型撮像デバイスを制御する制御部とを具備する。
【0011】
本発明の他の態様による撮像装置は、上記領域判定部が上記画像データが入力され入力された画像データにより形成される画像中の動く物体の画像部分を含む領域を推論する推論モデルを用いた推論エンジンを具備する上記積層型撮像デバイスと、上記積層型撮像デバイスを制御する制御部と、上記推論モデルを更新する推論モデル更新部とを具備する。
【0012】
本発明の一態様による撮像方法は、積層型撮像デバイスに設けられた複数の画素からなるセンサ部によって、所定のフレームレートで画像を連続的に取得し、上記センサ部とは異なる基板の回路において、上記画像に基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求め、フレームレート指定部によって、上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得る。
【0013】
本発明の一態様による学習方法は、積層型撮像デバイスのセンサ基板以外の基板に設けられた推論部に構築される推論モデルであって、上記センサ基板に設けられたセンサ部で得られた画像を入力とし、上記センサ部の中の限定画像取得領域に関する情報を出力とする推論モデルを、上記センサ部以外で得られた画像を教師データとして用いた学習によって取得する。
【0014】
本発明の一態様による画像読み出し回路は、積層型撮像デバイスのセンサ部で得られた画像を入力とし、上記センサ部の中の限定画像取得領域に関する情報を出力とする推論モデルによって推論を行う上記積層型撮像デバイスに設けられた推論部の推論結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御を行う。
【0015】
本発明の他の態様による画像読み出し回路は、積層型撮像デバイスのセンサ部で得られた画像を入力とし、上記センサ部の中の限定画像取得領域に関する情報を出力する領域判定部の判定結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御を行う。
【発明の効果】
【0016】
本発明によれば、画素部から読み出すべき画素の領域を予測し、読み出し領域を制限することにより高速フレームレートでの読み出しを可能にすることができるという効果を有する。
【図面の簡単な説明】
【0017】
図1】本発明の第1の実施の形態に係る積層型撮像デバイスを採用した撮像装置の回路構成を示すブロック図。
図2】第1の実施の形態に係る積層型撮像デバイスの構成の一例を模式的に示す斜視図。
図3】領域判定部14による優先領域の判定処理を説明するための説明図。
図4】領域判定部14による優先領域の判定処理を説明するための説明図。
図5】領域判定部14による優先領域の判定処理を説明するための説明図。
図6】第1の実施の形態の動作を説明するためのフローチャート。
図7】本発明の第2の実施の形態を示すブロック図。
図8図7の積層型撮像デバイスの構成の一例を模式的に示す斜視図。
図9】推論エンジン72が採用する推論モデルを生成するための学習を説明するための説明図。
図10】教師データの作成を説明するためのフローチャート。
図11】本発明の第3の実施の形態を示すブロック図。
図12】撮像装置100による撮影の様子を説明するための説明図。
図13】撮影結果を説明するための説明図。
【発明を実施するための形態】
【0018】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0019】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る積層型撮像デバイスを採用した撮像装置の回路構成を示すブロック図である。また、図2は第1の実施の形態に係る積層型撮像デバイスの構成の一例を模式的に示す斜視図である。
【0020】
本実施の形態は撮像素子のセンサ部に構成された全有効画素領域中の一部の画素領域(以下、優先領域という)のみの読み出しを行うことで、読み出しのフレームレートの高速化を可能にするものである。この場合において、本実施の形態は、例えば全有効画素領域の有効画素によって形成される画像に基づいて、所定の規則に従って、読み出すべき優先領域を推定する。なお、優先領域は、読み出しの領域を限定するものであり、限定画像取得領域と呼んでもよい。
【0021】
先ず、図2を参照して、積層型撮像デバイス10の構成について説明する。
【0022】
撮像デバイス10は、センサ基板30と信号処理基板40とが積層された構造を有する半導体装置である。センサ基板30には、それぞれ光電変換を行う撮像用の画素32が、センサ基板30の行方向及び列方向の2次元アレイ状に配列されたセンサ部31を有する。画素32は、入射光を光電変換して入射光量に応じた画素値を発生する。行選択部33は、センサ部31の各画素32を行単位で駆動して、各画素32に保持された画素値を画素信号として読み出して出力する。
【0023】
センサ基板30には、図示しないビアが設けられており、信号処理基板40には4つの縁辺部にビア41a〜41dが設けられている。画素32からの画素信号はセンサ基板30に形成されたビアから信号処理基板40に形成されたビア41a〜41dを経由して信号処理基板40のA/D変換器42a,42bに供給される。
【0024】
信号処理基板40は、信号処理基板40の列方向の端部両側から中央側に向かって、ビア41a,41b、A/D変換器42a,42b、メモリ部43a,43b及び処理回路部44が形成される。即ち、処理回路部44を中心に、列方向には信号処理基板40の一方端部側に向かってメモリ43a,A/D変換器42a及びビア41aが配置され、他方端部側に向かってメモリ43b,A/D変換器42b及びビア41bが配置される。A/D変換器42a,42b、メモリ部43a,43b及び処理回路部44は行方向に延設され、A/D変換器42a,42b、メモリ部43a,43b及び処理回路部44の行方向端部とビア41dとの間には読み出し制御部45が列方向に延設されて配置される。
【0025】
ビア41a〜41dを経由してセンサ部31から供給された画素信号は、A/D変換器42a,42bに供給される。A/D変換器42aは、入力された画素信号をデジタル信号に変換した後、メモリ部43aに与えて記憶させる。また、A/D変換器42bは、入力された画素信号をデジタル信号に変換した後、メモリ部43bに与えて記憶させる。
【0026】
A/D変換器42aには、センサ部31の所定の領域の画素からの画素信号が与えられ、A/D変換器42bには、センサ部31の他の所定の領域の画素からの画素信号が与えられる。例えば、センサ部31を行方向に2つの領域に分割し、一方の領域の各画素32からの画素信号をA/D変換器42aに与え、他方の領域の各画素32からの画素信号をA/D変換器42bに与えるようにしてもよい。また、例えば、センサ部31を列方向に2つの領域に分割し、一方の領域の各画素32からの画素信号をA/D変換器42aに与え、他方の領域の各画素32からの画素信号をA/D変換器42bに与えるようにしてもよい。
【0027】
これにより、センサ部31の各画素32からの読み出しを並列処理により高速化することができる。また、スイッチ回路を設けてA/D変換器42a,42bに画素信号を供給する画素を切換え可能にすることにより、A/D変換器42a,42bにセンサ部31の所望の領域の画素の画素信号を与えることも可能である。
【0028】
処理回路部44は、ロジック回路等により構成されて、優先領域の決定、フレームレートの決定等を行うと共に、読み出し制御部45を制御する。
【0029】
読み出し制御部45は、行選択部33を制御して、センサ部31からの画素信号の読み出しを制御すると共に、メモリ部43a,43bに対する画素信号の書き込み及び読み出しを制御する。読み出し制御部45は、画素信号を撮像デバイス10の外部に出力する。
【0030】
このように、センサ基板30と信号処理基板40の積層構造とすることにより、センサ部31をセンサ基板30の略全域に構成することが可能である。これにより、画素数を低減することなく撮像デバイス10を小型化することも可能である。
【0031】
なお、図2の構成は一例である。例えば、A/D変換器42a,A/D変換器42bをセンサ基板30上に形成することも可能である。また、例えば、メモリ部43a,43bを、センサ基板30及び信号処理基板40とは異なる独立した基板に形成して、撮像デバイス10を3層構造の半導体装置として構成することも可能である。
【0032】
図1において、撮像デバイス10は、撮像部11、優先領域情報取得部13並びに優先領域及びフレームレート指定部16により構成される。図1の撮像部11は、図2のセンサ基板30に対応し、優先領域情報取得部13は、処理回路部44及びメモリ部43a,43bに対応し、優先領域及びフレームレート指定部16は処理回路部44及び読み出し制御部45に対応する。なお、図1では、図2のA/D変換器42a,43bにそれぞれ対応するA/D変換器12a,12bが撮像部11内に構成されている例を示しているが、図2のように信号処理基板40に構成されていてもよい。
【0033】
なお、優先領域情報取得部13及び優先領域及びフレームレート指定部16中の各部は、CPU(Central Processing Unit)やFPGA(Field Programmable Gate Array)等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【0034】
撮像部11は、画素32により被写体を撮像し、撮像画像を取得する。A/D変換器12a,12bは撮像部11による撮像画像をデジタル信号に変換して優先領域情報取得部13に供給する。優先領域情報取得部13は、領域判定部14及びメモリ部15により構成される。優先領域情報取得部13は、入力された撮像画像をメモリ部15に与えて記憶させる。
【0035】
領域判定部14は、所定の規則に従って、センサ部31に構成された全有効画素領域中の一部の優先領域を決定するものである。例えば、本実施の形態においては、領域判定部14は、撮像部11により得られる撮像画像中に含まれる動く物体を捉えたセンサ部31上の領域を優先領域とするようになっている。領域判定部14は、優先領域に関する情報を優先領域及びフレームレート指定部16に出力する。
【0036】
優先領域及びフレームレート指定部16は、領域判定部14から指定された優先領域に含まれる画素32からの撮像画像を読み出すように、撮像部11を制御する。この場合には、優先領域及びフレームレート指定部16は、読み出す画素32の数に応じてフレームレートを制御する。例えば、優先領域及びフレームレート指定部16は、センサ部31から読み出す画素の数が少なくなるほど、フレームレートを高くする。例えば、全画素の1/n(nは自然数)の数の画素の読み出しを行う場合には、優先領域及びフレームレート指定部16は、全画素を読み出す場合の通常のフレームレート(以下、通常フレームレートという)に比べてn倍のフレームレートを設定することも可能である。
【0037】
図1では、領域判定部14をロジック回路により構成する例を示している。即ち、領域判定部14は、背景状態判定部14a、変化領域判定部14b及び優先領域決定部14cにより構成される。
【0038】
背景状態判定部14aは、メモリ部15に記憶された撮像画像の背景部分の状態を判定する。例えば、背景状態判定部14aは、背景部分として設定した撮像画像中の領域(背景判定領域)の画像に変化がない場合には、当該背景判定領域は背景領域であるものと判定する。
【0039】
領域判定部14の変化領域判定部14bは、メモリ部15に記憶された撮像画像中の動く物体を判定する。例えば、変化領域判定部14bは、動く物体が存在するであろう領域として仮定した変化判定領域について、画像の変化を判定することによって、当該変化判定領域は動く物体が存在する変化領域であるか否かを判定してもよい。また、変化領域判定部14bは、変化判定領域内の動く物体が存在する小領域を変化領域と判定してもよい。また、変化領域判定部14bは、変化判定領域内の動く物体の動きを判定し、判定結果を出力するようになっていてもよい。
【0040】
優先領域決定部14cは、背景状態判定部14a及び変化領域判定部14bの判定結果に基づいて、優先領域を決定する。例えば、優先領域決定部14cは、動く物体を含む所定の領域を優先領域として決定してもよい。また、例えば、優先領域決定部14cは、変化領域判定部14bによって変化領域として判定された領域を優先領域としたり、変化領域として判定された領域を含む領域を優先領域としたりしてもよい。
【0041】
更に、優先領域決定部14cは、変化領域判定部14bから変化判定領域内の物体の動きの判定結果が与えられ、動き判定結果に基づいて、撮像画像に対する優先領域の位置及びサイズを変化させるようになっていてもよい。あるいは、優先領域決定部14cは、変化領域の位置の変化に基づいて、撮像画像に対する優先領域の位置及びサイズを変化させるようになっていてもよい。
【0042】
領域判定部14は、少なくとも2枚以上の撮像画像を用いて、優先領域を判定する。また、領域判定部14は、所定の時間間隔で、優先領域の判定を行うようになっていてもよい。
【0043】
ここでは、動きの大きい部分の高速撮像を中心に述べたが、重要な部分画像を高速で撮像する用途と考えてもよい。この場合、優先領域は重要領域と呼んでもよく、動きの大きい部分でなくとも、少しの変化を見逃さないように観察する領域でもよい。その他、優先領域は、何かが撮像される瞬間を見逃さないようにした、待ち伏せ領域でも良い。
【0044】
図3から図5は領域判定部14による優先領域の判定処理を説明するための説明図である。なお、図3及び図4は領域判定部14の具体的な構成の一例を示している。
【0045】
図3は領域判定部14の処理を簡略化するために、撮像画像の中央部分を変化判定領域に設定し、その周囲を背景判定領域に設定する例を示している。図3は所定の時間間隔の2つの時間T1,T2において撮像部11において得られた撮像画像P1,P2に対する処理によって優先領域を決定する例を示している。
【0046】
図3においては、変化領域判定部14bを一致度判定部51及び比較部52によって構成し、背景状態判定部14aを一致度判定部53及び比較部54によって構成し、優先領域決定部14cを論理回路55によって構成する例を示している。
【0047】
一致度判定部51は、時間T1によって取得された撮像画像P1中の中央の変化判定領域P1aの画像と時間T2によって取得された撮像画像P2中の中央の変化判定領域P2aの画像との一致度を判定する。例えば、一致度判定部51は、変化判定領域P1aの画像と変化判定領域P2aの画像との相関を求めることによって一致度を判定してもよい。一致度判定部51の一致度の判定結果は比較部52に与えられる。比較部52は、一致度判定部51からの一致度の判定結果を所定値と比較することで、変化判定領域P1aの画像と変化判定領域P2aの画像とが一致しているか不一致であるかの判定を行い、判定結果を論理回路55に出力する。
【0048】
一致度判定部53は、時間T1によって取得された撮像画像P1中の周辺の背景判定領域P1bの画像と時間T2によって取得された撮像画像P2中の周辺の背景判定領域P2bの画像との一致度を判定する。例えば、一致度判定部53は、背景判定領域P1bの画像と背景判定領域P2bの画像との相関を求めることによって一致度を判定してもよい。一致度判定部53の一致度の判定結果は比較部54に与えられる。比較部54は、一致度判定部53からの一致度の判定結果を所定値と比較することで、背景判定領域P1bの画像と背景判定領域P2bの画像とが一致しているか不一致であるかの判定を行い、判定結果を論理回路55に出力する。
【0049】
論理回路55は、比較部52の出力が不一致を示し、比較部54の出力が一致を示す場合に、変化判定領域が変化領域であることを示す情報を優先領域及びフレームレート指定部16に出力する。この場合には、優先領域及びフレームレート指定部16は、次のタイミング以降入力される撮像画像P3の中央の変化判定領域P3pに対応するセンサ部31の領域を優先領域(読み出し領域)に設定し、当該読み出し領域に含まれる画素(読み出し画素)のみから画素信号を出力させるように制御を行う。また、優先領域及びフレームレート指定部16は、読み出し領域の大きさ(読み出し画素の数)に応じてフレームレートを設定する。例えば、センサ部31の全有効画素数に対して読み出し画素の画素数が1/4である場合には、優先領域及びフレームレート指定部16は、全有効画素の画素信号を読み出す通常時のフレームレートの4倍のフレームレートを設定することも可能である。
【0050】
なお、論理回路55は、比較部54の出力が不一致を示すものである場合には、背景判定領域に動きがあるものと判定して、優先領域を設定しないことを示す情報を優先領域及びフレームレート指定部16に出力する。また、論理回路55は、比較部52の出力が一致を示すものである場合には、変化判定領域に動きがないものと判定して、優先領域を設定しないことを示す情報を優先領域及びフレームレート指定部16に出力する。これらの場合には、優先領域及びフレームレート指定部16は、センサ部31の全有効画素から画素信号の読み出しを行うように制御する。
【0051】
図3は背景判定領域及び変化判定領域が固定であって、変化領域として判定可能な領域が撮像画像の中央に限定される例を示した。しかし、動く物体の位置あるいは、動きの状態によっては、撮像画像の周辺を優先領域に設定した方がよい場合がある。
【0052】
図4及び図5はこの場合に対応したものであり、センサ部31の有効画素領域を縦5×横5の25の分割領域に分割し(図5参照)、縦3×横3の9個の分割領域による領域を優先領域として設定可能にしたものである。即ち、撮像画像中の9箇所を優先領域の候補に設定可能にし、そのうちの1箇所を優先領域とすることを可能にしたものである。図4は分割した25の分割領域のうちの中央の3×3の9個の分割領域を変化判定領域に設定し、その周囲を背景判定領域に設定する例を示している。図4においても所定の時間間隔の2つの時間T1,T2において撮像部11において得られた撮像画像P1,P2に対する処理によって優先領域を決定する。
【0053】
図4において、一致度比較部60aは、図3の一致度判定部53及び比較部54により構成され、一致度比較部60b1〜60b9は、それぞれ図3の一致度判定部51及び比較部52により構成される。図4においては、変化領域判定部14bを一致度比較部60b1〜60b9によって構成し、背景状態判定部14aを一致度比較部60aによって構成し、優先領域決定部14cを論理回路55−1〜55−9によって構成する例を示している。
【0054】
一致度比較部60aは、時間T1によって取得された撮像画像P1中の周辺の背景判定領域P1bの画像と時間T2によって取得された撮像画像P2中の周辺の背景判定領域P2bの画像との一致度を判定する。例えば、一致度比較部60aは、一致度の判定結果を所定値と比較することで、背景判定領域P1bの画像と背景判定領域P2bの画像とが一致しているか不一致であるかの判定を行い、判定結果を論理回路55−1〜55−9に出力する。
【0055】
一致度比較部60b1〜60b9は、時間T1によって取得された撮像画像P1中の中央の変化判定領域P1aの画像と時間T2によって取得された撮像画像P2中の中央の変化判定領域P2aの画像との一致度を分割領域毎に判定する。変化判定領域P1a,P1bは、それぞれ左上、上、右上、左、中、右、左下、下、右下の縦3×横3の9つの分割領域に分割される。これらの各分割領域の画像は、それぞれ一致度比較部60b1−60b9に与えられて、分割領域毎に一致度が判定される。なお、図4では図面の簡略化のために、左、中、右の分割領域のつながりのみを示している。
【0056】
一致度比較部60b1〜60b9は、それぞれ一致度を所定値と比較することで、変化判定領域P1aの画像と変化判定領域P2aの画像とが一致しているか不一致であるかの判定を分割領域毎に行い、それぞれ判定結果を論理回路55−1〜55−9に出力する。
【0057】
論理回路55−1〜55−9は、それぞれ60b−1〜60b9の出力の少なくとも1つが不一致を示し、60aの出力が一致を示す場合に、変化判定領域中の不一致となった分割領域が変化領域であることを示す情報を優先領域及びフレームレート指定部16に出力する。優先領域及びフレームレート指定部16は、所定の分割領域が変化領域であることを示す情報が入力されると、次のタイミング以降入力される撮像画像P3については、当該分割領域が中央に配置された縦3×横3の9個の分割領域からなる領域を優先領域として設定する。
【0058】
なお、論理回路55−1〜55−9は、それぞれ60b−1〜60b9の出力の少なくとも1つが不一致を示し、60aの出力が一致を示す場合以外の場合には、優先領域を設定しないことを示す情報を優先領域及びフレームレート指定部16に出力する。
【0059】
図5は優先領域の設定を示している。優先領域PP1は、撮像画像P3中の中央の変化判定領域のうちの左上の分割領域が変化領域と判定された場合の優先領域を示している。同様に、優先領域PP2〜PP9は、それぞれ撮像画像P3中の中央の変化判定領域のうちの上、右上、左、中、右、左下、下又は右下の分割領域が変化領域と判定された場合の優先領域を示している。
【0060】
なお、図3から図5の例においては、2枚の撮像画像について変化領域を求めて優先領域を決定する例を説明したが、所定期間における変化領域の変化や、所定期間における物体の動きの変化に基づいて撮像画像に対する優先領域の位置やサイズを変化させるようになっていてもよい。なお、図4及び図5において、分割領域や優先領域候補のサイズは、適宜設定変更可能である。
【0061】
なお、図3から図5では、予め設定された変化判定領域について変化領域を判定して優先領域を設定する例を説明したが、画面全域について動く物体を検出することで、優先領域を設定してもよい。例えば、画像認識によって、主要被写体や、特定の動物や、人物や、スポーツにおけるボール等を検出することで、これらの動く物体を捉えたセンサ部31の複数の画素を含む領域を優先領域に設定してもよい。
【0062】
図4及び図5の例では、優先領域に含まれる画素数はセンサ部31の全有効画素数の1/4であり、優先領域からの読み出しのフレームレートは、通常フレームレートの4倍のフレームレートにすることが可能である。また、図3の例では、優先領域候補はセンサ部31の中央の1箇所であり、図4及び図5の例では、優先領域候補はセンサ部31の既知の9箇所である。従って、これらの優先領域候補に含まれる画素の画素信号が、図2のA/D変換器42a,42bに分散して供給されるようにスイッチ回路を構成することで、優先領域からの読み出しについても並列処理による高速化が可能である。
【0063】
図1において、優先領域情報取得部13は、優先領域の決定後において、撮像部11から優先領域の画素の画素信号のみを読み出してメモリ部15に記憶させる。メモリ部15は、優先領域の画素信号に関する情報(画素情報)を画像データ記録部22に出力する。
【0064】
画像データ記録部22は、所定の記録媒体によって構成されており、入力された優先領域の画素情報を記録する。時計部21は、時刻情報を画像データ記録部22に出力しており、画像データ記録部22は、優先領域の画素情報に時刻情報を付加して記録する。また、画像データ記録部22は、撮像部11から優先領域の決定のために用いた2つの撮像画像(図3及び図4における撮像画像P1,P2)の画像データ(第1又は第2画像データ)を取得して記録するようになっている。
【0065】
撮像結果関連付け記録部23は、所定の記録媒体によって構成されており、センサ部31の全有効画素に基づく第1又は第2の撮像データ、優先領域の画像情報及び時刻情報を関連付けて記録する。
【0066】
次に、このように構成された実施の形態の動作について図6を参照して説明する。図6は実施の形態の動作を説明するためのフローチャートである。
【0067】
撮像デバイス10の撮像部11は、所定の被写体を撮像する。撮像部11による撮像画像は、A/D変換器12a,12bによってデジタル信号に変換された後、優先領域情報取得部13のメモリ部15に与えられて記憶される。優先領域情報取得部13は、メモリ部15に2枚の撮像画像を記憶させる。領域判定部14は、図6のステップS1において、撮像画像中の所定領域について、画像に動きがあるか否かを判定する。
【0068】
即ち、背景状態判定部14a及び変化領域判定部14bは、2枚の撮像画像について、それぞれ背景判定領域又は変化判定領域の画像の変化の状態を一致度によって判定し、一致又は不一致の判定結果を得る。優先領域決定部14cは、背景判定領域が一致で変化判定領域又はその一部が不一致の場合にのみ、変化判定領域又はその一部を変化領域に設定し、変化領域を含む優先領域を決定する。
【0069】
領域判定部14は優先領域に関する情報を優先領域及びフレームレート指定部16に出力する。優先領域及びフレームレート指定部16は、ステップS2において、領域判定部14によって指定された領域を優先領域に設定すると共に、優先領域の読み出し時のフレームレートを高速に設定して、撮像部11に指定する。
【0070】
これにより、撮像部11は、優先領域について、高速のフレームレートで画素信号を出力する。例えば、優先領域中の画素数が、全有効画素数の1/4である場合には、全画素を読み出す通常時のフレームレートに比べて、4倍のフレームレートでの読み出しが可能である。優先領域の画素信号は、メモリ部15に与えられて記憶される。
【0071】
メモリ部15に記憶された優先領域の画素信号に関する画素情報は、画像データ記憶部22に供給されて、時計部21からの時刻情報と共に記憶される。また、優先領域の判定に用いられた撮像画像についても、画像データ記憶部22に供給されて記憶される。撮像結果関連付け記録部23は、画像データ記憶部22に記憶された撮像画像、優先領域の画素情報及び時刻情報を関連付けて記録する。
【0072】
領域判定部14は、撮像の終了が指示されたか否かを判定する(ステップS3)。撮像の終了が指示された場合には、撮像制御を終了する。
【0073】
例えば、センサ部31の全画素を読み出す通常撮影モードで、サッカー競技の撮像が行われているものとする。サッカーボールを撮像範囲の略中央に捉えている状態で図6の撮像制御が実行されると、サッカーボールを捉えた所定の優先領域の画素から、通常フレームレートよりも高速のフレームレートで読み出しが行われる。例えば、優先領域が全有効画素領域の1/4で、通常フレームレートが30fpsの場合には、120fpsでの高速撮影が可能となる。これにより、サッカーボールを含む範囲を高画質化することができると共に、記録された画像をスロー再生することで、サッカーボールの回転等の動きをより詳細に確認することも可能となる。
【0074】
領域判定部14は、例えば、動く物体の動きを予測することで、優先領域を移動させることも可能であり、動く物体を含む優先領域を撮像し続けることも可能である。また、図4及び図5の手法を採用し、所定時間毎に変化領域の検出を行うことで、動く物体を含む優先領域を撮像し続けることも可能である。
【0075】
しかしながら、動く物体が撮像デバイス10の動き(撮像部11の視野範囲の動き)よりも早い場合、或いは、領域判定部14の動きの予測よりも高速に動く場合等においては、動く物体が優先領域の外に位置することになる場合もある。そこで、領域判定部14は、ステップS3において撮像の終了が指示されていないと判定した場合には、次のステップS4において、優先領域の画素によって捉えた動く物体が優先領域外に出た(優先領域の画素によって捉えられなくなった)か否かを判定する。動く物体が優先領域外に出た場合には、領域判定部14は優先領域及びフレームレート指定部16に優先領域が存在しないことを示す情報を与える。
【0076】
これにより、優先領域及びフレームレート指定部16は、フレームレートを通常フレームレートに戻し、優先領域を設定しないように撮像部11に指示する。こうして、この場合には、撮像部11は、全有効画素の画素信号を通常フレームレートで出力する。
【0077】
このように、本実施の形態においては、全有効画素領域のうち動きのある画像を捉えた一部の領域を読み出すべき優先領域として推定し、この優先領域の画素のみについて画素信号の読み出しを行う。これにより、通常フレームレートよりも高速のフレームレートでの読み出しを可能にする。優先領域の設定は、画素が構成されたセンサ基板に積層された信号処理基板に搭載された処理回路部で行う。積層構造により、センサ基板のサイズを画素数に比べて小さくすることができ、小さいサイズの撮像デバイスにより、優先領域の画像を高速のフレームレートで出力することが可能である。
【0078】
(第2の実施の形態)
図7は本発明の第2の実施の形態を示すブロック図である。また、図8図7の積層型撮像デバイスの構成の一例を模式的に示す斜視図である。図7及び図8において、それぞれ図1又は図2と同一の構成には同一符号を付して説明を省略する。
【0079】
第1の実施の形態においては、ロジック回路等により構成された処理回路部44により優先領域の決定を行った。これに対し、本実施の形態は優先領域の決定を推論デバイスによって行うものである。
【0080】
本実施の形態においては、3層構造の積層型の撮像デバイス70を採用する例を説明する。なお、撮像デバイス70を2層構造で構成してもよい。
【0081】
先ず、図8を参照して、撮像デバイス70の構成について説明する。
【0082】
撮像デバイス70は、センサ基板30とメモリ基板80と信号処理基板90とが積層された構造を有する半導体装置である。メモリ基板80には4つの縁辺部にビア81a〜81dが設けられており、信号処理基板90には4つの縁辺部にビア91a〜91dが設けられている。各ビア81a〜81dと各ビア91a〜91dとは相互に電気的に接続可能である。
【0083】
画素32からの画素信号はセンサ基板30に形成されたビアからメモリ基板80に形成されたビア81a〜81dを経由してメモリ基板80のA/D変換器82a,82bに供給される。
【0084】
メモリ基板80は、メモリ基板80の列方向の中央に、メモリ部83a,83bが形成される。メモリ部83a,83bを中心に、列方向にはメモリ基板80の一方端部側に向かってA/D変換器82a及びビア81aが配置され、他方端部側に向かってA/D変換器82b及びビア81bが配置される。A/D変換器82a,82bはそれぞれ行方向に延設され、メモリ部83a,83bは互いに行方向に並設される。A/D変換器82a,82b及びメモリ部83a,83bの行方向端部とビア81dとの間には読み出し制御部84が列方向に延設されて配置される。
【0085】
ビア81a〜81dを経由してセンサ部31から供給された画素信号は、A/D変換器82a,82bに供給される。A/D変換器82aは、入力された画素信号をデジタル信号に変換した後、メモリ部83aに与えて記憶させる。また、A/D変換器82bは、入力された画素信号をデジタル信号に変換した後、メモリ部83bに与えて記憶させる。
【0086】
A/D変換器82aには、センサ部31の所定の領域の画素からの画素信号が与えられ、A/D変換器82bには、センサ部31の他の所定の領域の画素からの画素信号が与えられる。例えば、センサ部31を行方向に2つの領域に分割し、一方の領域の各画素32からの画素信号をA/D変換器82aに与え、他方の領域の各画素32からの画素信号をA/D変換器82bに与えるようにしてもよい。また、例えば、センサ部31を列方向に2つの領域に分割し、一方の領域の各画素32からの画素信号をA/D変換器82aに与え、他方の領域の各画素32からの画素信号をA/D変換器82bに与えるようにしてもよい。
【0087】
これにより、センサ部31の各画素32からの読み出しを並列処理により高速化することができる。また、スイッチ回路を設けてA/D変換器82a,82bに画素信号を供給する画素を切換え可能にすることにより、A/D変換器82a,82bにセンサ部31の所望の領域の画素の画素信号を与えることも可能である。
【0088】
読み出し制御部84は、行選択部33を制御して、センサ部31からの画素信号の読み出しを制御すると共に、メモリ部83a,83bに対する画素信号の書き込み及び読み出しを制御する。読み出し制御部85は、画素信号を信号処理基板90に出力すると共に、撮像デバイス70の外部にも出力する。
【0089】
信号処理基板90は、信号処理基板90の列方向の一方端部側から中央側に向かって、ビア91a及び推論エンジン92が列方向に延設されて配置され、他方端部側から中央側に向かって、ビア91b及び処理回路部93が列方向に延設されて配置される。
【0090】
ビア91a〜91dを経由してメモリ基板80から供給された画素信号は、推論エンジン92に供給される。推論エンジン92は、入力された画素信号に基づく画像について、優先領域を推論し、推論結果を処理回路部93に出力する。
【0091】
処理回路部93は、フレームレートを決定し、優先領域及びフレームレートの情報を読み出し制御部94に出力する。読み出し制御部94は、読み出し制御部84に優先領域及びフレームレートの情報を転送する。
【0092】
このように、センサ基板30とメモリ基板80と信号処理基板90の積層構造とすることにより、センサ部31をセンサ基板30の略全域に構成することが可能である。これにより、画素数を低減することなく撮像デバイス70を小型化することも可能である。
【0093】
なお、図8の構成は一例であり、図2と同様の2層構造によって、積層型の撮像デバイス70を構成してもよい。
【0094】
図7において、撮像デバイス70は、撮像部11、メモリ部71、推論エンジン72、優先領域決定部14c並びに優先領域及びフレームレート指定部16によって構成される。図7の撮像部11は、図8のセンサ基板30に対応し、メモリ部71は、メモリ部83a,83bに対応し、優先領域決定部14c並びに優先領域及びフレームレート指定部16は処理回路部93及び読み出し制御部94に対応する。なお、図7では、図8のA/D変換器82a,83bにそれぞれ対応するA/D変換器12a,12bが撮像部11内に構成されている例を示しているが、図8のようにメモリ基板80に構成されていてもよい。
【0095】
撮像部11は、画素32により被写体を撮像し、撮像画像を取得する。A/D変換器82a,82bは撮像部11による撮像画像をデジタル信号に変換してメモリ部71に与えて記憶させる。
【0096】
推論エンジン72は、領域判定部として機能し、図1の領域判定部14と同様に、センサ部31に構成された全有効画素領域中の一部の優先領域を推定するものである。例えば、本実施の形態においては、推論エンジン72は、撮像部11により得られる撮像画像中に含まれる動く物体を捉えたセンサ部31上の領域を優先領域と推定するようになっている。推論エンジン72の推論結果は、優先領域決定部14cに与えられる。
【0097】
図9は推論エンジン72が採用する推論モデルを生成するための学習を説明するための説明図である。
【0098】
図9は中段に示す所定のネットワークN1に、上段に示す教師データであるコマ画像Pa1〜,Pb1〜、Pc1〜を与えて学習させることで、下段に示す推論モデル72aが取得されることを示している。
【0099】
コマ画像Pa1〜,Pb1〜、Pc1〜は、例えば、所定のネットワーク上の動画サイトや静止画サイト等から取得して生成したものである。取得された動画や静止画の各コマ画像に、優先領域とすべき領域を特定したアノテーションが設定されて、教師データとなるコマ画像Pa1〜,Pb1〜、Pc1〜が生成される。
【0100】
このような教師データの生成は、自動化することも可能である。例えば、各コマ画像から動く動体を検出し、当該動体を含む領域を優先領域に設定すればよい。例えば、図1の領域判定部14と同等の回路構成により、背景に変化がなく、動体の位置が変化する複数のコマ画像のうち前のコマ画像中に、後のコマ画像中の動体の位置及び大きさ情報に基づく領域を特定したアノテーションを設定すればよい。
【0101】
図9のコマ画像Pa1〜,Pb1〜、Pc1〜中の枠は、これらのコマ画像の次のコマ画像における動体の位置を含む優先領域を示している。なお、コマ画像Pa1〜,Pb1〜、Pc1〜中の優先領域を示す枠の位置及びサイズは、フレームレートを考慮して設けられたものである。例えば、教師データの元となる動画のフレームレートが30fpsであり、優先領域の画素の読み出し時のフレームレートが120fpsの場合には、動きの量は1/4になると想定され、この動きの量に対応した優先領域が設定される。
【0102】
大量の教師データによる学習を行うことで、ネットワークN1は、入力に対応する出力が得られるように、ネットワークデザインが決定される。すなわち、これらのコマ画像Pa1〜,Pb1〜、Pc1〜による教師データをネットワークN1に与えて学習を行うことで、入力画像を与えると次のコマ画像における動体の位置を含む優先領域の情報及びその信頼度の情報を出力する推論モデル72aを生成することができる。
【0103】
なお、深層学習(ディープ・ラーニング)」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、N1個のニューロンで構成される入力層、パラメータで与えられるN2個のニューロンで構成される中間層、判別するクラスの数に対応するN3個のニューロンで構成される出力層の3層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら3層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、9層〜152層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。
【0104】
機械学習に採用するネットワークN1としては、公知の種々のネットワークを採用してもよい。例えば、CNN(Convolution Neural Network)を利用したR−CNN(Regions with CNN features)やFCN(Fully Convolutional Networks)等を用いてもよい。これは、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」(全結合リカレントニューラルネット)を利用してもよい。
【0105】
これらの技術の実現のためには、CPUやFPGAといったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したGPUやTensor Processing Unit(TPU)と呼ばれるものが利用される場合もある。近年ではこうした人工知能(AI)専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット(NPU)」がCPUなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【0106】
また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、今回の実施例では、画像の判定を、機械学習により導出する手法を採用したが、そのほか、特定の判断を人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を応用して用いてもよい。
【0107】
例えば、図9の推論モデル72aを推論エンジン72に設定した場合、撮像部11によって図9に示すコマ画像Pa1が撮像されると、推論エンジン72は、画像Pa1中の枠部分を推論し、当該枠部分の位置及びサイズの情報を信頼度の情報と共に優先領域の推論結果として優先領域決定部14cに出力する。
【0108】
優先領域決定部14cは、推論エンジン72の推論結果に基づいて優先領域を決定する。更に、優先領域決定部14cは、推論エンジン72の推論結果に基づいて物体の動きを判定し、動き判定結果に基づいて、撮像画像に対する優先領域の位置及びサイズを変化させるようになっていてもよい。優先領域決定部14cは優先領域に関する情報を優先領域及びフレームレート指定部16に出力する。
【0109】
なお、推論エンジン72の推論は、所定の時間間隔で実施してもよい。
【0110】
次に、このように構成された実施の形態の動作について図10を参照して説明する。図10は教師データの作成を説明するためのフローチャートである。
【0111】
本実施の形態においては、優先領域をロジック回路に代えて推論エンジン72により求める点が第1の実施の形態と異なるのみである。即ち、図6のフローチャートのステップS1,S2における優先領域の決定を推論エンジン72及び優先領域決定部14cで行う。推論モデルの構築に用いる教師データは、例えば、動画サイト等から取得する。
【0112】
図10のステップS11において、教師データ設定のために、動画候補を選択する。選択した動画候補の各コマ画像を入力に設定し(ステップS12)、各入力コマ画像の次のタイミングのコマ画像内の動体の位置及び大きさに基づく領域(以下、優先領域候補領域という)をアノテーションとして設定する。出力として、優先領域候補領域を設定する(ステップS13)。
【0113】
次に、優先領域中の画素の読み出し時のフレームレートを想定して、優先領域候補領域の位置を補正する(ステップS14)。例えば、優先領域中の画素の読み出し時のフレームレートは、元の画像のサイズと優先領域候補領域のサイズの比が大きい程高速になるように設定してもよい。アノテーションが設定された大量のコマ画像を、教師データとして出力する(ステップS15)。
【0114】
これらの教師データをネットワークN1に与えて学習させることにより、推論モデル72aが構築される。この推論モデル72aの情報に基づいて推論モデル72aを実現する推論エンジン72が構成される。
【0115】
本実施の形態においては、優先領域の決定のために、撮像部11から読み出した1枚の撮像画像のみをメモリ部71に与えて記憶させる。推論エンジン72は、1枚の撮像画像によって、優先領域を推論する。推論エンジン72は、優先領域の推論結果を優先領域決定部14cに出力する。
【0116】
なお、推論エンジン72は、背景に変化がなく、動体のみが動くであろうと推定される撮像画像についてのみ、優先領域の推論結果を信頼度の情報と共に出力する。
【0117】
優先領域決定部14cは、推論エンジン72の推論結果に基づいて優先領域を決定して優先領域及びフレームレート指定部16に与える。これにより、優先領域及びフレームレート指定部16は、優先領域に含まれる画素からの画素信号のみを通常フレームレートよりも高速のフレームレートで読み出すよう、撮像部11に指示を与える。
【0118】
なお、優先領域決定部14cは、動体の動きの推定結果によって、撮像画像に対する優先領域の位置及びサイズを変化させてもよい。また、所定の時間間隔で、推論エンジン72による推論を行うようになっていてもよい。また、図6のように、動く物体が優先領域外に出た場合には、フレームレートを通常フレームレートに戻すようになっていてもよい。
【0119】
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、優先領域を推論モデルを用いた推論を利用して決定するようになっており、より有効な優先領域の決定が可能となる可能性がある。
【0120】
(第3の実施の形態)
図11は本発明の第3の実施の形態を示すブロック図である。図11において図7と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は、図7の推論エンジン72を備えた撮像デバイス102を撮像装置100に適用した例を示している。本実施の形態は、撮像デバイス102の推論モデル72aの書換えが可能になっている。
【0121】
図11の撮像装置100としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。もちろん、車載や工程検査や工事、セキュリティなどの産業分野や医療分野で使われる各種画像検査装置のカメラ部に採用することも可能である。何故なら、撮像デバイスが小型化され、様々な領域でスペースメリットが活かせるからである。
【0122】
撮像装置100は、撮像装置10の各部を制御する制御部101を備えている。制御部101は、CPUやFPGA等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【0123】
撮像装置100の撮像デバイス102は、センサ部とメモリ部や処理回路部とが別基板により構成されて積層された積層構造を有していてもよい。撮像デバイス102は、光学系102a及び画素アレイ102bを有している。光学系102aは、ズームやフォーカシングのための図示しないレンズや絞り等を備えている。光学系102aは、これらのレンズを駆動する図示しないズーム(変倍)機構、ピント及び絞り機構を備えている。
【0124】
画素アレイ102bは、図8のセンサ部31と同様の構成であり、CMOSセンサ等の光電変換画素が縦横マトリクス状に配置されて構成されている。画素アレイ102bには、光学系102aによって被写体光学像が画素アレイ102bの各画素に導かれるようになっている。画素アレイ102bの各画素は、被写体光学像を光電変換して被写体の撮像画像(画像データ)を取得する。
【0125】
制御部101の撮像制御部101aは、光学系102aのズーム機構、ピント機構及び絞り機構を駆動制御して、ズーム、絞り及びピントを調節することができるようになっている。撮像デバイス102は、撮像制御部101aに制御されて撮像を行う。
【0126】
この時、撮像デバイス102からの画像データの読み出し周期(フレームレート)を変える場合があるが、フレームレート切換部102eによって切り換えられたフレームレートの情報を、制御部101が受け取って判定して、データの読み出し周期を変更するようにする。つまり、積層型撮像デバイスのセンサ部(画素アレイ102b)で得られた画像を入力とし、上記センサ部の中の限定画像取得領域(優先領域)に関する情報を出力とする推論モデル(必ずしも、推論ではなく、ロジックベースの判定や切り換えでも良い)によって推論を行う上記積層型撮像デバイスに設けられた推論部(推論モデル72a)の推論結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御の切り換えを行う画像読み出し回路(制御部101)を具備することによって、積層型撮像デバイスの高速撮像能力を十分に生かした画像取得が可能となる。
【0127】
この制御のため、撮像画像(動画像及び静止画像)はデジタル信号に変換された後、メモリ部を構成するDRAM(ダイナミックRAM)102cに与えられる。DRAM102cは、メモリ部71と同様の構成であり、撮像画像を記憶する。DRAM102cは、優先領域の判定のために、記憶した撮像画像を推論エンジン72に与える。
【0128】
推論エンジン72は、優先領域を推論し、推論結果を領域指定部102dに与える。領域指定部102dは、推論結果に基づいて優先領域を決定し、フレームレート切換部102eは、優先領域の画素の読み出し時のフレームレートを設定する。
【0129】
画素アレイ102bは、指定された優先領域中の画素信号を指定されたフレームレートで出力する。この画素信号はDRAM102cに供給されて記憶される。
【0130】
撮像装置100には操作部103が設けられている。操作部103は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部101に出力する。制御部101は、操作部103からの操作信号に基づいて、各部を制御するようになっている。
【0131】
制御部101の撮像制御部101aは、DRAM102cに記憶された撮像画像及び優先領域の画像を取り込む。画像処理部101bは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
【0132】
撮像装置100には表示部104が設けられている。表示部104は、例えば、LCD(液晶表示装置)等の表示画面を有する表示器であり、表示画面は撮像装置100の例えば筐体背面等に設けられる。制御部101は、画像処理部101bによって信号処理された撮像画像を表示部104に表示させるようになっている。また、制御部101は、撮像装置100の各種メニュー表示や警告表示等を表示部104に表示させることもできるようになっている。
【0133】
なお、表示部104の表示画面上には、図示しないタッチパネルが設けられていてもよい。操作部103の一例であるタッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部101に供給される。これにより、制御部101は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
【0134】
撮像装置100には通信部105が設けられており、制御部101には、通信制御部101dが設けられている。通信部105は、通信制御部101dに制御されて、学習装置120及びデータベース(DB)装置130との間で情報を送受することができるようになっている。通信部105は、例えば、ブルートゥース(登録商標)等の近距離無線による通信及び例えば、Wi−Fi(登録商標)等の無線LANによる通信が可能である。なお、通信部105は、ブルートゥースやWi−Fiに限らず、各種通信方式での通信を採用することが可能である。通信制御部101dは、通信部105を経由して、学習装置120から推論モデルの情報(AI情報)を受信することができる。この推論モデル情報は、推論エンジン72の推論モデル72aを、所望の推論を行うモデルに更新するためのものである。
【0135】
制御部101には記録制御部101cが設けられている。記録制御部101cは、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部106に与えて記録させることができる。記録部106は、所定の記録媒体によって構成されて、制御部101から与えられた情報を記録すると共に、記録されている情報を制御部101に出力することができる。また、記録部106としては、例えばカードインターフェースを採用してもよく、この場合には記録部106はメモリカード等の記録媒体に画像データを記録可能である。
【0136】
記録部106は、画像データ記録領域16aを有しており、記録制御部101cは、画像データを画像データ記録領域106aに記録するようになっている。また、記録制御部101cは、記録部106に記録されている情報を読み出して再生することも可能である。
【0137】
また、記録部106は、メタデータ記録領域106bを有しており、記録制御部101cは、画像データ記録領域106aに記録された撮像画像、優先領域、記録時間等の関連を示す情報をメタデータ記録領域106bに記録する。メタデータ記録領域106bには、撮像デバイス102から出力された画像から、もしくは、画素アレイ102bから出力された画像データから、どのような画像処理を経て記録されたかといった履歴の情報がメタデータとして記録されている。このメタデータとしては撮影のパラメータ情報や撮影の対象物情報や撮影の環境情報などが記録されており、画像の来歴や検索性や証拠性に留意した情報が画像と関連付けて記録可能となっている。画像と同じファイルとして記録されてもよい。ここの情報を利用して機械学習時の画像補正が出来るようになっており、どのような推論モデルを使って撮像されたものかの情報も記録してもよい。撮像装置100において取得した画像を外部のデータベースに転送して記録する場合には、メタデータとして記録するデータに従って、画像が記録されるべきデータベースを指定可能としてもよい。通信制御部101dがこの内容を判定して、撮像結果をすぐに教師データの候補にして送信したり、誰かに鑑賞されるにふさわしいデータベースを選択して外部に送信することも可能である。プライバシーや著作権を判定する推論で、その結果を記録時に反映させてセキュリティを向上させるような工夫を行ってもよいので、それに関する情報をメタデータ化してもよい。また、教師データ化のみならず、教師データの種類や学習装置120を指定するような推論がなされた場合、その結果はメタデータ記録領域106bにメタデータとして記録してもよい。学習を行うべき学習装置120を指定するメタデータであってもよい。
【0138】
撮像デバイス102は推論モデル更新部102fを有している。推論モデル更新部102fは、制御部101が受信した推論モデル情報を受信して、推論モデル72aを再構築することができる。
【0139】
本実施の形態においては、推論モデル72aを構築するための推論モデル情報は、学習装置120によって生成されるようになっている。撮像装置100は、学習装置120の学習に用いる教師データの元となる大量の画像を学習装置120に供給することもできる。学習装置120は、撮像装置100からの画像のみを教師データとして用いて推論モデルを構築することも可能である。また、学習装置120は、DB装置130から、教師データとなる画像を取得することも可能である。
【0140】
つまり、撮像装置100で得られた画像以外の豊富な画像を利用し、それらの画像から最適な教師データを選んで(または加工して)、機械学習、深層学習、強化学習等に使えるのが、本実施の形態の優れた点となっている。一方で、撮像デバイス102で得られた画像を推論時の入力とすることが前提になっているので、このデバイスの特徴を生かした推論が可能であるような最適化を行う必要もある。本実施の形態のシステムを有効活用するために、この最適化についての工夫を行ってもよい。
【0141】
DB装置130は、通信部132を有しており、学習装置120は通信部122を有している。これらの通信部122,132は、通信部105と同様の構成を有しており、通信部105,126相互間、通信部105,132相互間及び通信部122,132相互間において通信が可能である。
【0142】
DB装置130は、DB装置130の各部を制御する制御部131を有しており、学習装置120は学習装置120の各部を制御する制御部121を有している。制御部121,131は、CPUやFPGA等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【0143】
なお、学習装置120全体が、CPU、GPU、FPGA等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して学習を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【0144】
DB装置130は、大量の学習用データを記録した画像記録部133を有している。画像記録部133には、様々な撮像装置で撮影された画像が、多様な処理をなされた作品とかエビデンスとして集まっている場合があり、撮像デバイス102の画素アレイ102bで得られた画像データとは、画像データの並び、ビット幅、大きさや、ノイズや色合いや露出量が異なったものとなっている。つまり、制御部101内の画像処理部101bでは、ベイヤー配列をカラーRGB化するデモザイキング処理、感度調整(ゲイン調整)、階調補正、解像度補正、コントラスト、輪郭の補正、ホワイトバランスなど色の調整、撮像レンズ(光学系102a)の収差、シェーディングなどの補正、さらには特殊効果処理やトリミング等、さらには画像圧縮などを行っているので、DB装置130に記録されている画像の多くは、厳密には画素アレイから出て来た画像データから、多くの処理を経た結果であって、単純には同じ尺度では比較等できず、正確な推論などは出来ない。中には、こうした処理を全く行っていない画像データや、途中過程の画像データもあるので、これを優先的に教師データとしてもよいし、加工済み画像は、極力画像処理が施される前のデータに近づけて(露出であれば、ゲイン情報で元に戻したり、色調整であれば、ホワイトバランスを取る前のデータに補正したりすればよい)教師データ化したり、重みづけ調整などで学習時のバランスを取る。ゲイン情報やホワイトバランス情報など画像処理情報は、例えば、メタデータとして、画像と関連付けて記録されている場合がある。メタデータとして記録された画像処理情報によって加工された画像データを教師データとすればよい。画像処理情報には、光学系の収差やシェーディングなどの光学特性情報も含まれる。また、DB装置130には、RAWデータと呼ばれる色ごとの輝度データの形で記録されている画像もあり、これは画像圧縮の画像処理を行う前のデータに近いので、より、画素アレイ102bの出力に近い情報となっているので、これを優先的に加工して(しなくてもよい)教師データにしてもよい。このようにデータベースで検索された画像を、撮像装置100の画像処理部101b、またはデータベース記録前に撮影者などがパーソナルコンピュータなどで行った画像処理を施す前のデータに復元する処理(第2の画像処理)を行って教師データ化を行う。
【0145】
つまり、積層型撮像デバイス(撮像デバイス102)に設けられた推論部(推論エンジン72)は、様々な画像処理を行う前の積層型撮像デバイスのセンサ部(画素アレイ102b)で得られた画像データを使った推論を行うように最適化されているので、この積層型撮像デバイスのセンサ部で得られた画像データ入力として特定の推論結果を出力するためには、本来なら、教師データも、この画像処理前の画像(これは視認性としては劣る)を教師データにする方が良いが、それでは十分な学習をするに足る教師データを用意することが困難である。そこで、ここでは、上記センサ部以外で得られた画像(視認性、審美性を重視したもの)を教師データとして使って学習させることによって、より大量の教師データを利用することが可能となる。この学習方法は、データベースにある画像を画像処理前の画像に戻す第2の画像処理、または画像処理前データに戻すセンサデータ復元処理を行って、教師データ化を行い、推論モデルを作成する。例えば、推論の出力例としては、このセンサ部の中の限定画像取得領域(優先領域)に関する情報を出力としてもよいし、その他、センサで得られた画像データ内の特定対象物画像位置、座標を出力としてもよい。
【0146】
画像記録部133は、ハードディスクやメモリ媒体等の図示しない記録媒体により構成されており、複数の画像を画像中に含まれる対象物の種類毎に分類して記録する。図11の例では、画像記録部133は、静止画像群133a、動画像群133b及びタグ133cを記憶している。静止画像群133aは、複数の静止画が記録されており、動画像群133bは複数の動画像が記録されており、タグ133cは、静止画像群133a及び動画像群133bに記憶されている画像データのタグ情報が記録されている。
【0147】
学習装置120の母集合作成部123は、撮像装置100からの画像やDB装置130から送信された動画や動画の各コマ画像を母集合記録部123aに記録する。なお、母集合記録部123aに記録される画像は、動体を含むものである。
【0148】
母集合作成部123は、入力出力設定部124を有している。入力出力設定部124は学習に用いる入力データと、推論の結果得られるべき出力を設定する。本実施の形態においては、入力出力設定部124は、入力されたコマ画像に対して、次のコマ画像の動体を含む優先領域候補領域が出力されるように設定が行われる。
【0149】
入出力モデル化部125は、大量の教師データにより期待される出力が得られるように、ネットワークデザインを決定し、その設定情報である推論モデル情報を生成する。即ち、学習装置120において、図9と同様の学習が行われて、推論モデル72aを構築するための推論モデル情報が得られる。
【0150】
このようにして、積層型撮像デバイス(撮像デバイス102)に設けられた推論部(推論エンジン72)に、当該積層型撮像デバイスのセンサ部(画素アレイ102b)で得られた画像を入力とし、上記センサ部の中の限定画像取得領域(優先領域)を出力とする推論モデルを上記センサ部以外で得られた画像を教師データとして使って学習させる学習方法が提供できる。また、この推論部で推論するのは、領域指定やフレームレート切換以外の出力を行うものであってもよい。例えば、対象物が何であるかを検出する推論モデルであったり、対象物の良否判断を行うような推論モデルであってもよい。また、撮影された画像をどこのデータベースに記録するべきかを推論する推論モデルであってもよい。これによって、撮像結果をすぐに教師データの候補にしたり、誰かに鑑賞されるにふさわしいデータベースを選択することも可能である。プライバシーや著作権を判定する推論で、その結果を記録時に反映させてセキュリティを向上させるような工夫を行ってもよい。また、教師データ化のみならず、教師データの種類や学習用装置120を指定するような推論でもよく、その結果はメタデータ記録領域106bにメタデータとして記録してもよい。
【0151】
次に、このように構成された実施の形態の動作について図12及び図13の説明図を参照して説明する。図12は撮像装置100による撮影の様子を説明するためのものであり、図13は撮影結果を説明するためのものである。
【0152】
いま、撮影者151が図12に示す撮影を行うものとする。図12は、被写体として建物170から飛び立つ鳥171を撮影する例を示している。撮影者151は、撮影機器本体100aを右手152で把持し、本体100a上面のレリーズスイッチ103aを人差し指152aで押すことで撮影を行う。図12では、撮影機器本体100aの背面には表示部104の表示画面104aが配設されている。表示画面104a上には、撮像画像160がライブビュー表示されている。
【0153】
図13図12の例における撮像画像を示している。図13の画像Pt0は、撮像デバイス102によって所定のタイミングt0において撮像される撮像画像を示している。また、画像Pt1〜Pt4は、所定間隔の連続したタイミングt0〜t4における撮像画像を示している。画像Pt0は、建物170の屋上に鳥171が止まっている状態の画像であり、時刻t0における建物170の画像170aと鳥171の画像171aとを含む。
【0154】
画像Pt1〜Pt4は、時刻t1〜t4において、画素アレイ102bの全有効画素領域からの読み出しを行って通常フレームレートで撮像画像を得た場合の画像である。撮影者151は、視野範囲を変更しておらず、建物170の画像170aの画像Pt1〜Pt4上の位置及びサイズは変化しておらず、背景の画像に変化はない。これに対し、時刻t1〜t4において鳥171は飛び立っており、鳥171の画像は画像171t1〜171t4に変化している。
【0155】
本実施の形態においては、撮影者151は、動く鳥171に注目して撮影を行う場合には、優先領域から高速のフレームレートで画素信号を読み出す高速撮影モードを指示する。図13の画像Pt1〜Pt4中の枠Rt1〜Rt4は、高速撮影モードにおける優先領域候補領域を示している。
【0156】
高速撮影モードにおいて、画像Pt0がDRAM102cに格納されると、推論エンジン72は、推論モデル72aによる推論によって、画像Pt0の次のタイミングにおける鳥171の撮像画像中の位置を推定し、この位置を含む優先領域候補領域を求める。なお、画像Pt0の次のタイミングは、タイミングt1よりも早い、通常フレームレートと高速フレームレートとに応じたタイミングである。
【0157】
領域指定部102dは、次のタイミング以降における画素アレイ102bからの読み出しに際して、優先領域候補領域に基づく優先領域を設定する。また、フレームレート切換部102eは、画素アレイ102bの有効画素領域と優先領域とに基づく高速フレームレートを設定する。更に、領域指定部102dは、鳥171の動きの検出結果に基づいて、優先領域を変更する。
【0158】
図13の画像Pt1〜Pt4は、四角の枠によって、タイミングt1〜t4における優先領域Rt1〜Rt4を示している。即ち、タイミングt0の次のタイミングからは、高速フレームレートで、優先領域の画素の画素信号のみが読み出されてDRAM102cに記憶される。図13の画像PLt1〜PLt4は、タイミングt1〜t4における優先領域Rt1〜Rt4に対応した撮像画像を示している。これらの撮像画像は、主に鳥171の画像を高速のフレームレートで撮像したものとなる。
【0159】
記録制御部101cは、画像Pt0及び画像PLt1〜PLt4を画像データ記録領域16aに記録すると共に、画像Pt0と画像PLt1〜PLt4と撮影時刻の対応関係を示す情報をメタデータ記録領域106bに記録する。
【0160】
こうして、撮影者151は煩雑な操作を行うことなく、鳥171に注目した撮影が可能である。優先領域の画像は高速フレームレートで取得されており、画像から鳥171の動きを明瞭に観察することができる。
【0161】
なお、撮影者151は、優先領域の推定に用いる推論モデル72aを更新することが可能である。撮影者151の操作に基づいて、制御部101は、学習装置120にアクセスし、撮影者151が希望する推論モデル72aを構築するための推論モデル情報を取得する。この推論モデル情報は、撮像デバイス102に転送され、推論モデル更新部102fは、推論モデル情報によって推論モデル72aを更新する。こうして、撮影者151が希望する動く物体の種類や背景の状態等に応じた推論モデルの構築が可能となる。
【0162】
このように本実施の形態においては、上記各実施の形態と同様の効果が得られる。また、本実施の形態においては、優先領域の推論を行う推論モデルを更新することが可能であり、ユーザが希望する被写体についての優先領域の推定精度を向上させることができる。
【0163】
上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。
【0164】
更に、撮像のための機器としては、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。例えば、医療分野に適用した場合には、高速に動く微生物の様子を鮮明に撮像することも可能である。広い画角の画面で、全体を把握し、狭い画角の範囲でより高速レスポンスで画像取得を行うような使い方が出来る。対象物の動きのスピードでこうした切換えを行う例を説明したが、特定の領域を見つけた時に、高速撮像するような制御を行ってもよい。重要な部分画像を高速で撮像する用途と考えてもよい。この場合、動きの大きい部分でなくとも、少しの変化を見逃さないように観察する領域でもよい。その他、優先領域は、何かが撮像される瞬間を見逃さないようにした、待ち伏せ領域でも良い。
【0165】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0166】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【0167】
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを経由してダウンロードしたものでもよい。
【0168】
なお、実施例中で、「部」(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはFPGAなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやWiFi、電話回線などで行えばよく、USBなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてASICとして構成してもよい。
【0169】
[付記]
[付記項1]
動画の各コマ画像から動く動体を検出し、
上記検出の結果に基づいて、所定のコマ画像に、上記所定のコマ画像の次のコマ画像中の動体の位置を含む領域の情報をアノテーションとして付加して得た教師データを生成し、
上記教師データをニューラルネットワークに与えて学習を行い、
入力画像に対して、上記入力画像の次のタイミングに入力される画像中の動体の位置を含む領域を推論結果として信頼度の情報と共に出力する推論モデルを得る
ことを特徴とする学習方法。
【0170】
[付記項2]
上記動く物体の検出の結果に応じた上記動体の位置を含む領域の位置は、フレームレートに応じて補正する
ことを特徴とする付記項1に記載の学習方法。
【0171】
[付記項3]
付記項1に記載の学習方法によって取得された推論モデルを用いて、入力画像から領域を検出し、
上記領域に対応する画像部分のみを通常フレームレートよりも高いフレームレートで読み出す
ことを特徴とする撮像方法。
【符号の説明】
【0172】
10…撮像デバイス、11…撮像部、120…学習装置、121,131…制御部、132…通信部、14…領域判定部、14b…変化領域判定部、14c…優先領域決定部、15…メモリ部、16…優先領域及びフレームレート指定部、21…時計部、22…画像データ記憶部、23…撮像結果関連付け記録部、30…センサ基板、31…センサ部、33…行選択部、40…信号処理基板、44…処理回路部、45…読み出し制御部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13