特許 7337094 固体撮像装置、固体撮像方法および電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-24

(45)【発行日】2023-09-01

(54)【発明の名称】固体撮像装置、固体撮像方法および電子機器

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230825BHJP

   G03B 15/00 20210101ALI20230825BHJP

   H04N 23/611 20230101ALI20230825BHJP

   H04N 25/70 20230101ALI20230825BHJP

【ＦＩ】

H04N23/60 300

G03B15/00 Q

H04N23/611

H04N25/70

【請求項の数】 19

(21)【出願番号】P 2020559919

(86)(22)【出願日】2019-11-22

(86)【国際出願番号】 JP2019045745

(87)【国際公開番号】W WO2020116197

(87)【国際公開日】2020-06-11

【審査請求日】2022-10-20

(31)【優先権主張番号】P 2018229603

(32)【優先日】2018-12-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】奥池 和幸

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１７－１５７９３６（ＪＰ，Ａ）

【文献】特開２０１８－１０７５３８（ＪＰ，Ａ）

【文献】特開２０１６－０３８６２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２５／７０

(57)【特許請求の範囲】

【請求項1】

第１の撮像画像を撮像する撮像部と、
第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、
前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、
を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
固体撮像装置。

【請求項2】

前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
請求項１に記載の固体撮像装置。

【請求項3】

前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
請求項２に記載の固体撮像装置。

【請求項4】

前記固体撮像装置は、複数の半導体チップを含んで構成され、
前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
請求項１に記載の固体撮像装置。

【請求項5】

前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
請求項４に記載の固体撮像装置。

【請求項6】

前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
請求項４に記載の固体撮像装置。

【請求項7】

前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
請求項４に記載の固体撮像装置。

【請求項8】

前記送信制御部は、前記第１の特徴量が前記記憶部に記憶されてからの経過時間が所定時間を超えている場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
請求項１に記載の固体撮像装置。

【請求項9】

前記送信制御部は、前記第２の撮像画像から前記被写体の第２の動作を検出した場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
請求項１に記載の固体撮像装置。

【請求項10】

前記送信制御部は、再帰型ニューラルネットワークを用いて前記第２の動作を検出する、
請求項９に記載の固体撮像装置。

【請求項11】

前記第１の特徴量および前記第２の特徴量は、機械学習済みの第３のニューラルネットワークを用いて抽出される、
請求項１に記載の固体撮像装置。

【請求項12】

前記記憶制御部は、前記第１の動作が検出されたことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
請求項１に記載の固体撮像装置。

【請求項13】

前記記憶制御部は、前記第１の動作が検出されなかったことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
請求項１に記載の固体撮像装置。

【請求項14】

前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
請求項１に記載の固体撮像装置。

【請求項15】

前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
請求項１に記載の固体撮像装置。

【請求項16】

前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
請求項１５に記載の固体撮像装置。

【請求項17】

前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
請求項３に記載の固体撮像装置。

【請求項18】

第１の撮像画像を撮像することと、
プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
プロセッサが、前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行うことと、
を含み、
前記制御することは、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
固体撮像方法。

【請求項19】

アプリケーションと、
第１の撮像画像を撮像する撮像部と、
第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、
前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、
を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、固体撮像装置、固体撮像方法および電子機器に関する。

【背景技術】

【0002】

近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１３３６２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。

【課題を解決するための手段】

【0005】

本開示によれば、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、を備え、前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、固体撮像装置が提供される。

【0006】

本開示によれば、第１の撮像画像を撮像することと、プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、プロセッサが、前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行うことと、を含み、前記制御することは、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、固体撮像方法が提供される。

【0007】

本開示によれば、アプリケーションと、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、を備え、前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、電子機器が提供される。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態に係る固体撮像システムの構成例を示す図である。

【図2】イメージセンサの構造の第１の例を示す図である。

【図3】イメージセンサの構造の第２の例を示す図である。

【図4】本開示の第１の実施形態に係る固体撮像システムの詳細構成例を示す図である。

【図5】信号処理部の詳細構成例を示す図である。

【図6】ローカル認証部の詳細構成例を示す図である。

【図7】データ送信判断部の詳細構成例を示す図である。

【図8】本開示の第１の実施形態に係るイメージセンサの動作例を示すフローチャートである。

【図9】同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。

【図10】送信可を示すジェスチャの例を示す図である。

【図11】同実施形態の変形例１に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。

【図12】同実施形態の変形例２に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。

【図13】送信不可を示すジェスチャの例を示す図である。

【図14】同実施形態の変形例３に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。

【図15】同実施形態の変形例４に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。

【図16】本開示の第２の実施形態に係る固体撮像システムの詳細構成例を示す図である。

【図17】同実施形態に係るイメージセンサの動作例を示すフローチャートである。

【図18】本開示の第３の実施形態に係る固体撮像システムの詳細構成例を示す図である。

【図19】本開示の第４の実施形態に係る固体撮像システムの詳細構成例を示す図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0010】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。

【0011】

なお、説明は以下の順序で行うものとする。
０．概要
１．実施形態の詳細
１．１．システム構成例
１．２．イメージセンサの構成例
１．３．第１の実施形態
１．４．第２の実施形態
１．５．第３の実施形態
１．６．第４の実施形態
２．むすび

【0012】

＜０．概要＞
近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている。しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。

【0013】

より具体的には、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、悪意のあるアプリケーション作成者によって、インカメラが動作中であっても通知がなされないようにアプリケーションを作成できる可能性がある。また、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、被写体の撮影によって得られたデータがイメージセンサの外部に自動的に送信されてしまうため、被写体のプライバシー保護が十分ではない。

【0014】

そこで、本開示の実施形態では、被写体の撮影によって得られたデータのイメージセンサ外部への送信を制御することによって、被写体のプライバシー保護をより強化することが可能な技術について主に説明する。

【0015】

以上、本開示の実施形態の概要について説明した。

【0016】

＜１．実施形態の詳細＞
［１．１．システム構成例］
続いて、図１を参照しながら、本開示の実施形態に係る固体撮像システムの構成例について説明する。図１を参照すると、本開示の実施形態に係る固体撮像システム１は、電子機器１０、サーバ装置４０およびネットワーク５０を有する。電子機器１０およびサーバ装置４０は、ネットワーク５０を介して通信可能である。なお、図１に示された例では、電子機器１０がネットワーク５０に接続されているが、複数の電子機器１０がネットワーク５０に接続されていてよく、複数の電子機器１０それぞれが、ネットワーク５０を介してサーバ装置４０と通信可能であってよい。

【0017】

電子機器１０は、イメージセンサ２０およびアプリケーション３０を有している。イメージセンサ２０は、固体撮像装置の例として機能し、ＣＩＳ（Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）２１０、ロジック回路２２０、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２３０、メモリ２４０、セレクタ２５０を有している。

【0018】

ここで、ＣＩＳ２１０は、撮像部の例に相当し、撮像素子、光源、受光レンズおよびＡ／Ｄ変換器などを含んでいる。ロジック回路２２０は、ＣＩＳ２１０からの出力信号に対して信号処理を行う信号処理部などを含んでいる。また、本開示の実施形態では、電子機器１０がカメラである場合を主に想定する。しかし、電子機器１０は、イメージセンサ２０を有する機器であればカメラに限定されず、他の機器（例えば、スマートフォンおよび携帯電話など）であってもよい。また、アプリケーション３０は、電子機器１０に内蔵されたプロセッサによって実行される。

【0019】

本開示の実施形態では、イメージセンサ２０によって映像が撮像される。映像は、イメージセンサ２０によって、複数のフレーム（撮像画像）が連続的に撮像されることによって得られる。本開示の実施形態では、イメージセンサ２０によって撮像されたフレーム（撮像画像）またはフレーム（撮像画像）に基づくデータ（以下、「メタデータ」とも言う。）が、サーバ装置４０に送信される場合を主に想定する。しかし、後にも説明するように、撮像画像またはメタデータの送信先は、アプリケーション３０であってもよいし、電子機器１０の外部の記録媒体であってもよい。

【0020】

以上、本開示の実施形態に係る固体撮像システム１の構成例について説明した。

【0021】

［１．２．イメージセンサの構成例］
続いて、本開示の実施形態に係るイメージセンサ２０の構造の例について説明する。図２は、イメージセンサ２０の構造の第１の例を示す図である。図３は、イメージセンサ２０の構造の第２の例を示す図である。図２を参照すると、イメージセンサ２０は、第１の半導体チップＬ１および第２の半導体チップＬ２を含んで構成されている。図３を参照すると、イメージセンサ２０は、第１の半導体チップＬ１、第２の半導体チップＬ２および第３の半導体チップＬ３を含んで構成されている。

【0022】

このように、イメージセンサ２０は、複数の半導体チップを含んでおり、複数の半導体チップは、層状に構成され、互いに電気的に接続されて構成されている。イメージセンサ２０が有する半導体チップの数は、２つおよび３つに限定されず、１つであってもよいし、４つ以上であってもよい。

【0023】

図２を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０が含まれている。図３を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０およびＤＳＰ２３０が含まれている。第３の半導体チップＬ３には、ロジック回路２２０が含まれている。しかし、ＣＩＳ２１０、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０それぞれは、どの半導体チップに含まれていてもよい。

【0024】

図２および図３に示された例において、後に説明するローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれてよい。より詳細には、ローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。後に説明するデータ送信判断部２３３も、第２の半導体チップＬ２に含まれてよい。より詳細には、データ送信判断部２３３は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。

【0025】

また、図３に示された例において、信号処理部２２１は、第３の半導体チップＬ３のロジック回路２２０に含まれてもよい。あるいは、図２に示された例において、信号処理部２２１は、第２の半導体チップＬ２のロジック回路２２０に含まれてもよい。さらに、図３に示された例において、後に説明するローカル認証用データ記憶部２３２は、第３の半導体チップＬ３のメモリ２４０に含まれてもよい。あるいは、図２に示された例において、ローカル認証用データ記憶部２３２は、第２の半導体チップＬ２のメモリ２４０に含まれてもよい。

【0026】

以上、イメージセンサ２０の構造の例について説明した。

【0027】

［１．３．第１の実施形態］
続いて、本開示の第１の実施形態に係る固体撮像システム１の詳細構成について説明する。図４は、本開示の第１の実施形態に係る固体撮像システム１の詳細構成例を示す図である。なお、図４からは、紙面の都合上、アプリケーション３０およびネットワーク５０が省略されている。図４を参照すると、イメージセンサ２０およびサーバ装置４０が示されている。

【0028】

イメージセンサ２０は、撮像素子２１１、Ａ／Ｄ変換器２１２、信号処理部２２１、ローカル認証部２３１、ローカル認証用データ記憶部２３２、データ送信判断部２３３、データ送信可能リスト記憶部２３４、セレクタ２５０、データ送信部２６１およびデータ受信部２６２を備える。一方、サーバ装置４０は、データ受信部４１０、サーバ認証部（第２の認証部）４２０、サーバ認証用データ記憶部４３０およびデータ送信部４４０を備える。

【0029】

撮像素子２１１は、被写体から受光された光信号を電気信号に変換する。Ａ／Ｄ変換器２１２は、電気信号をアナログ信号からデジタル信号に変換して出力する。信号処理部２２１は、Ａ／Ｄ変換器２１２からの出力信号（撮像画像）に対して各種の信号処理を行い、処理後の信号（撮像画像）を出力する。ここで、信号処理部２２１によって行われる信号処理の例を説明する。ただし、以下に説明する信号処理の全部が信号処理部２２１によって行われる必要はなく、これらの信号処理の一部だけが信号処理部２２１によって行われてもよいし、これらの信号処理以外の処理が信号処理部２２１によって行われてもよい。

【0030】

図５は、信号処理部２２１の詳細構成例を示す図である。図５に示されるように、信号処理部２２１は、シェーディング補正を行うシェーディング補正部２２１１、混色補正を行う混色補正部２２１２、および、デジタルゲイン調整を行うデジタルゲイン調整部２２１３を有してよい。また、信号処理部２２１は、ホワイトバランスゲインを調整するホワイトバランスゲイン調整部２２１４、検波を行う検波部２２１５、デモザイク処理を行うデモザイク処理部２２１６、および、γ補正を行うγ補正部２２１７を有してよい。

【0031】

図４に戻って説明を続ける。信号処理部２２１による処理後の信号（撮像画像）は、セレクタ２５０、データ送信判断部２３３およびローカル認証部２３１に出力される。まず、ローカル認証部２３１の詳細構成例について説明する。図６は、ローカル認証部２３１の詳細構成例を示す図である。図６に示されるように、ローカル認証部２３１は、正規化処理部２３１１およびローカル認証処理部２３１２を有する。

【0032】

正規化処理部２３１１は、ローカル認証処理部２３１２（例えば、ニューラルネットワーク）による処理に必要の前処理（プリプロセッシング）を行う。例えば、前処理は、第２の撮像画像のレンジ調整およびサイズ調整などであってよい。ローカル認証処理部２３１２は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出された場合に、第２の撮像画像に基づいて第１の認証を行う。例えば、第１の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。

【0033】

なお、ローカル認証部２３１は、機械学習済みのニューラルネットワーク（第１のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、ローカル認証部２３１による第１の認証は、学習を必要としない構成によって行われてもよい。第１の認証の認証結果（成功／失敗）および第１の認証によって得られるデータ（メタデータ）は、セレクタ２５０に出力される。

【0034】

続いて、データ送信判断部２３３の詳細構成例について説明する。図７は、データ送信判断部２３３の詳細構成例を示す図である。図７に示されるように、データ送信判断部２３３は、送信制御部２３３１および記憶制御部２３３２を有する。

【0035】

本開示の実施形態では、データ送信判断部２３３が、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に対して処理を行う場合を主に想定する。しかし、データ送信判断部２３３による処理対象は、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に限らず、複数フレーム毎であってもよい。ここでは、あるタイミングでデータ送信判断部２３３に入力されたフレームを「第１の撮像画像」と言い、第１の撮像画像より後にデータ送信判断部２３３に入力されたフレームを「第２の撮像画像」と言う。

【0036】

まず、撮像素子２１１によって撮像された第１の撮像画像がデータ送信判断部２３３に入力される。記憶制御部２３３２は、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、第１の撮像画像から被写体の第１の特徴量を抽出する。記憶制御部２３３２は、抽出した第１の特徴量をデータ送信可能リスト記憶部２３４に記憶させる。

【0037】

続いて、撮像素子２１１によって撮像された第２の撮像画像がデータ送信判断部２３３に入力される。送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出されるかを試みる。送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出した場合、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する。なお、送信制御部２３３１は、第２の撮像画像および第２の撮像画像に基づくメタデータのいずれをセレクタ２５０から出力させるかを制御することによって、いずれかがサーバ装置４０に送信されるように制御すればよい。

【0038】

かかる構成によれば、被写体の撮影によって得られた第２の撮像画像または第２の撮像画像のメタデータのイメージセンサ２０の外部への送信を制御することが可能になる。これによって、被写体のプライバシー保護をより強化することが可能となる。

【0039】

例えば、送信制御部２３３１は、ローカル認証部２３１による第１の認証が成功した場合には、第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御すればよい。一方、送信制御部２３３１は、ローカル認証部２３１による第１の認証に失敗した場合には、第２の撮像画像のサーバ装置４０への送信を制御すればよい。

【0040】

第１の動作は限定されない。例えば、被写体が被撮影を許容するときにあるジェスチャ（ポジティブジェスチャ）を行う場合を想定する。かかる場合には、ポジティブジェスチャが第１の動作に相当し得る。このとき、記憶制御部２３３２は、第１の撮像画像から第１の動作を検出したことに基づいて、第１の特徴量を抽出してデータ送信可能リスト記憶部２３４に記憶させる。しかし、後にも説明するように、第１の動作は、被写体が被撮影を禁止するときに行うジェスチャ（ネガティブジェスチャ）であってもよい。

【0041】

第１の特徴量および第２の特徴量は、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）を用いて抽出されてもよい。これによって、特徴量抽出の精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、特徴量抽出の精度がさらに高まることが想定される。しかし、第１の特徴量および第２の特徴量は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）は、データ送信判断部２３３に含まれ得る。

【0042】

第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、データ送信判断部２３３による制御に従って、データ送信部２６１によってサーバ装置４０に送信される。サーバ装置４０においては、データ受信部４１０によって、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が受信される。サーバ認証部４２０は、第２の撮像画像に基づく第２の認証を行う。例えば、第２の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。

【0043】

なお、サーバ認証部４２０は、機械学習済みのニューラルネットワーク（第２のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、サーバ認証部４２０による第２の認証は、学習を必要としない構成によって行われてもよい。第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）は、データ送信部４４０を介して、イメージセンサ２０に送信される。

【0044】

イメージセンサ２０においては、データ受信部２６２によって、第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）が受信される。

【0045】

第１の認証が成功した場合、第１の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。また、第２の認証が成功した場合にも、第２の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。メタデータに基づく処理は限定されない。例えば、メタデータに基づく処理は、メタデータが被写体の識別情報である場合、当該識別情報によって識別される被写体に対応するアバターを画面に表示する処理であってもよい。

【0046】

なお、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータのほうが、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータよりも高い認識精度に寄与する可能性がある。パラメータとしては、重みおよびバイアスなどが想定される。そこで、所定のタイミングにおいて、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータに基づいて、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが更新されるのが望ましい。

【0047】

具体的には、サーバ認証部４２０によって第２の撮像画像に基づく第２の認証が成功した場合、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータが、サーバ認証部４２０によってサーバ認証用データ記憶部４３０から取得され、データ送信部４４０を介してイメージセンサ２０に送信されてもよい。このとき、イメージセンサ２０においては、データ受信部２６２によって当該第２のパラメータが受信され、ローカル認証用データ記憶部２３２に記憶されている、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが、第２のパラメータに基づいてローカル認証部２３１によって更新されてもよい。

【0048】

続いて、本開示の第１の実施形態に係るイメージセンサ２０の動作例について説明する。図８は、本開示の第１の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図８に示されるように、データ送信判断部２３３は、データ送信可否を判断する（Ｓ１１）。データ送信可否判断について、図９を参照しながら詳細に説明する。

【0049】

図９は、本開示の第１の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図９に示されるように、データ送信可否判断Ｓ１１においては、データ送信判断部２３３は、入力された撮像画像から顔（顔の特徴量）の検出を試みる（Ｓ１１１）。なお、顔の特徴量の代わりに、被写体の他の特徴量が用いられてもよい。データ送信判断部２３３は、顔（顔の特徴量）の検出がされなかった場合には（Ｓ１１１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、顔の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、検出された顔がデータ送信可能リストにある顔であるか否かを判定する（Ｓ１１３）。

【0050】

データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、データ送信可能であると判断する（Ｓ１１６）。一方、データ送信判断部２３３は、検出された顔がデータ送信可能リストにない顔である場合には（Ｓ１１３において「ＮＯ」）、入力された撮像画像に送信可を示すジェスチャがあるか否かを判定する（Ｓ１１４）。送信可を示すジェスチャは、上記したポジティブジェスチャの例に該当する。

【0051】

図１０は、送信可を示すジェスチャの例を示す図である。図１０を参照すると、入力された撮像画像Ｍ１０が示されている。撮像画像Ｍ１０には、顔Ｆ１０と送信可を示すジェスチャＦ２０が写っている。このような場合には、撮像画像Ｍ１０から顔Ｆ１０が検出され、顔Ｆ１０がデータ送信可能リストにない場合、撮像画像Ｍ１０から送信可を示すジェスチャＦ２０があると判定される。なお、図１０には、送信可を示すジェスチャＦ２０の例として、親指を立てるジェスチャが示されているが、送信可を示すジェスチャＦ２０は、かかる例に限定されない。

【0052】

図９に戻って説明を続ける。データ送信判断部２３３は、入力された撮像画像に送信可を示すジェスチャがないと判定した場合（Ｓ１１４において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、入力された撮像画像に送信可を示すジェスチャがあると判定した場合（Ｓ１１４において「ＹＥＳ」）、検出した顔（顔の特徴量）をデータ送信可能リストに登録し（Ｓ１１５）、データ送信可能であると判断する（Ｓ１１６）。

【0053】

図８に戻って説明を続ける。データ送信不可であると判断された場合（Ｓ１１において「ＮＧ」）、データ送信不可となる（Ｓ１２）。一方、ローカル認証部２３１は、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、ローカル認証を行う（Ｓ１３）。ローカル認証は、上記した第１の認証に相当し得る。ローカル認証が成功した場合（Ｓ１３において「ＯＫ」）、データ送信部２６１によってメタデータがサーバ装置４０に送信され（Ｓ１４）、認証成功となる（Ｓ１５）。一方、ローカル認証が失敗した場合（Ｓ１３において「ＮＧ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。

【0054】

続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、サーバ認証用データによってローカル認証用データが更新され（Ｓ２１）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。

【0055】

続いて、本開示の第１の実施形態の変形例１について説明する。上記では、送信制御部２３３１は、第２の撮像画像から第１の特徴量と一致または類似する第２の特徴量が抽出した場合、特に制限なしに、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する例を示した。しかし、送信制御部２３３１は、第１の特徴量がデータ送信可能リスト記憶部２３４に記憶されてからの経過時間が所定時間を超えている場合、第２の撮像画像または第２の撮像画像に基づくデータの送信を停止してもよい。これによって、被写体のプライバシー保護がより強化されることが期待される。

【0056】

図１１は、本開示の第１の実施形態の変形例１に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１１に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間内であるかを判定する（Ｓ１１８）。データ送信判断部２３３は、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間内である場合には（Ｓ１１８において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。一方、データ送信判断部２３３は、データ送信可能リストに顔（顔の特徴量）が登録されてから、所定期間外である場合には（Ｓ１１８において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。

【0057】

続いて、本開示の第１の実施形態の変形例２について説明する。上記では、第１の動作として、被写体が被撮影を許容するときに行うジェスチャ（ポジティブジェスチャ）が用いられる例を説明した。しかし、第１の動作として、被写体が被撮影を禁止するときに行うジェスチャ（ネガティブジェスチャ）が用いられてもよい。すなわち、記憶制御部２３３２は、第１の動作が検出されなかったことに基づいて、第１の特徴量を抽出してデータ送信可能リスト記憶部２３４に記憶させてもよい。

【0058】

図１２は、本開示の第１の実施形態の変形例２に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１２に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにない顔である場合には（Ｓ１１３において「ＮＯ」）、入力された撮像画像に送信不可を示すジェスチャがあるか否かを判定する（Ｓ１１９）。送信不可を示すジェスチャは、上記したネガティブジェスチャの例に該当する。

【0059】

図１３は、送信不可を示すジェスチャの例を示す図である。図１３を参照すると、入力された撮像画像Ｍ２０が示されている。撮像画像Ｍ２０には、顔Ｆ１０と送信不可を示すジェスチャＦ３０が写っている。このような場合には、撮像画像Ｍ２０から顔Ｆ１０が検出され、顔Ｆ１０がデータ送信可能リストにない場合、撮像画像Ｍ２０から送信不可を示すジェスチャＦ３０があると判定される。なお、図１３には、送信不可を示すジェスチャＦ３０の例として、両腕をクロスさせるジェスチャが示されているが、送信不可を示すジェスチャＦ３０は、かかる例に限定されない。

【0060】

図１２に戻って説明を続ける。データ送信判断部２３３は、入力された撮像画像に送信不可を示すジェスチャがあると判定した場合（Ｓ１１９において「ＹＥＳ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、入力された撮像画像に送信不可を示すジェスチャがないと判定した場合（Ｓ１１９において「ＮＯ」）、検出した顔（顔の特徴量）をデータ送信可能リストに登録し（Ｓ１１５）、データ送信可能であると判断する（Ｓ１１６）。

【0061】

続いて、本開示の第１の実施形態の変形例３について説明する。上記では、被写体の動作に関わらず、第２の撮像画像または第２の撮像画像に基づくデータの送信が開始されたら、送信が継続される例について説明した。しかし、データ送信判断部２３３は、第２の撮像画像から被写体の第２の動作を検出した場合、第２の撮像画像または第２の撮像画像に基づくデータの送信を停止してもよい。例えば、第２の動作は、被写体が被撮影を認識していないという動作であってよい。そうすれば、被写体が被撮影を認識していない場合に、被写体の撮影によって得られたデータがイメージセンサ２０の外部に送信されてしまうことが防止されるため、被写体のプライバシー保護が強化される。

【0062】

ここで、データ送信判断部２３３は、再帰型ニューラルネットワークＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて第２の動作を検出するのが望ましい。そうすれば、第２の撮像画像だけではなく、第２の撮像画像よりも前に入力された撮像画像と第２の撮像画像とから、被写体の動作が認識され得るため、被写体が被撮影を認識していないという動作がより高精度に認識されることが期待される。

【0063】

図１４は、本開示の第１の実施形態の変形例３に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１４に示されるように、図９に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、検出された顔がデータ送信可能リストにある顔である場合には（Ｓ１１３において「ＹＥＳ」）、ＲＮＮを用いて被写体が被撮影を認識しているかを推定する（Ｓ１２０）。データ送信判断部２３３は、被写体が被撮影を認識していないと判定した場合には（Ｓ１２１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、被写体が被撮影を認識していると判定した場合には（Ｓ１２１において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。

【0064】

続いて、本開示の第１の実施形態の変形例４について説明する。上記では、変形例３では、撮像画像から顔（顔の特徴量）が検出された場合に（Ｓ１１１において「ＹＥＳ」）、検出された顔がデータ送信リストにある顔であるかが判定される例を示した。しかし、検出された顔がデータ送信リストにある顔であるかは判定されなくてもよい。

【0065】

図１５は、本開示の第１の実施形態の変形例４に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。図１５に示されるように、図１４に示された例と異なり、データ送信可否判断Ｓ１１において、データ送信判断部２３３は、顔（顔の特徴量）の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、ＲＮＮを用いて被写体が被撮影を認識しているかを推定する（Ｓ１２０）。データ送信判断部２３３は、被写体が被撮影を認識していないと判定した場合には（Ｓ１２１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、被写体が被撮影を認識していると判定した場合には（Ｓ１２１において「ＹＥＳ」）、データ送信可であると判断する（Ｓ１１６）。

【0066】

以上、本開示の第１の実施形態について説明した。

【0067】

［１．４．第２の実施形態］
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態に係る固体撮像システム１の詳細構成について説明する。図１６は、本開示の第２の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１６に示されるように、本開示の第２の実施形態は、イメージセンサ２０がローカル認証部２３１およびローカル認証用データ記憶部２３２を有していない点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０からメタデータがサーバ装置４０に送信されない。

【0068】

続いて、本開示の第２の実施形態に係るイメージセンサ２０の動作例について説明する。図１７は、本開示の第２の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図１７に示されるように、図８に示された例と異なり、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。

【0069】

続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。

【0070】

以上、本開示の第２の実施形態について説明した。

【0071】

［１．５．第３の実施形態］
続いて、本開示の第３の実施形態について説明する。本開示の第３の実施形態に係る固体撮像システム１の詳細構成について説明する。図１８は、本開示の第３の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１８に示されるように、本開示の第３の実施形態は、固体撮像システム１が、検出装置６０を有している点が、本開示の第１の実施形態と異なる。この場合には、検出装置６０によって第１の動作が検出され得る。例えば、検出装置６０がマイクロフォンを含む場合、第１の動作として、撮像画像から認識されるジェスチャの代わりに、所定の音声の発話が用いられてもよい。あるいは、検出装置６０が入力装置（例えば、タッチパネルなど）を含む場合には、第１の動作として、所定の入力操作（例えば、タッチパネルへのタッチ操作など）が用いられてもよい。

【0072】

以上、本開示の第３の実施形態について説明した。

【0073】

［１．６．第４の実施形態］
続いて、本開示の第４の実施形態について説明する。本開示の第４の実施形態に係る固体撮像システム１の詳細構成について説明する。図１９は、本開示の第４の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１９に示されるように、本開示の第４の実施形態は、固体撮像システム１が、サーバ装置４０の代わりに外部記録媒体７０を有している点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０から送信された第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が外部記録媒体７０に記録されてよい。なお、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、イメージセンサ２０からアプリケーション３０に出力されてもよい。

【0074】

以上、本開示の第４の実施形態について説明した。

【0075】

＜２．むすび＞
以上説明したように、本開示の実施形態によれば、第１の撮像画像を撮像する撮像部と、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。

【0076】

かかる構成によれば、被写体の撮影によって得られたデータのイメージセンサ外部への送信が制御されるため、被写体のプライバシー保護をより強化することが可能となる。

【0077】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0078】

例えば、上記では、本開示の第１の実施形態、本開示の第１の実施形態の変形例１～４、本開示の第２の実施形態、本開示の第３の実施形態、および、本開示の第４の実施形態について説明した。これらの各種実施形態および各種変形例から、適宜にいずれかの構成が選択されて組み合わされてもよい。

【0079】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

【0080】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の撮像画像を撮像する撮像部と、
第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させる記憶制御部と、
前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、固体撮像装置。
（２）
前記固体撮像装置は、
前記第２の撮像画像から前記第２の特徴量が抽出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
前記（１）に記載の固体撮像装置。
（３）
前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
前記（２）に記載の固体撮像装置。
（４）
前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
前記（３）に記載の固体撮像装置。
（５）
前記固体撮像装置は、複数の半導体チップを含んで構成され、
前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
前記（２）～（４）のいずれか一項に記載の固体撮像装置。
（６）
前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
前記（５）に記載の固体撮像装置。
（７）
前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）または（６）に記載の固体撮像装置。
（８）
前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）～（７）のいずれか一項に記載の固体撮像装置。
（９）
前記送信制御部は、前記第１の特徴量が前記記憶部に記憶されてからの経過時間が所定時間を超えている場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
前記（１）～（８）のいずれか一項に記載の固体撮像装置。
（１０）
前記送信制御部は、前記第２の撮像画像から前記被写体の第２の動作を検出した場合、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を停止する、
前記（１）～（９）のいずれか一項に記載の固体撮像装置。
（１１）
前記送信制御部は、再帰型ニューラルネットワークを用いて前記第２の動作を検出する、
前記（１０）に記載の固体撮像装置。
（１２）
前記第１の特徴量および前記第２の特徴量は、機械学習済みの第３のニューラルネットワークを用いて抽出される、
前記（１）～（１１）のいずれか一項に記載の固体撮像装置。
（１３）
前記記憶制御部は、前記第１の動作が検出されたことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
前記（１）～（１２）のいずれか一項に記載の固体撮像装置。
（１４）
前記記憶制御部は、前記第１の動作が検出されなかったことに基づいて、前記第１の特徴量を抽出して前記記憶部に記憶させる、
前記（１）～（１２）のいずれか一項に記載の固体撮像装置。
（１５）
前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
前記（１）～（１４）のいずれか一項に記載の固体撮像装置。
（１６）
前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
前記（２）～（８）のいずれか一項に記載の固体撮像装置。
（１７）
前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
前記（１６）に記載の固体撮像装置。
（１８）
前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
前記（４）に記載の固体撮像装置。
（１９）
第１の撮像画像を撮像することと、
プロセッサが、第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
を備える、固体撮像方法。
（２０）
アプリケーションと、
第１の撮像画像を撮像する撮像部と、
第１の撮像画像からの被写体の第１の動作の検出に関する情報に基づいて、前記第１の撮像画像から前記被写体の第１の特徴量を抽出して記憶部に記憶させ、前記撮像部による第２の撮像画像から前記第１の特徴量と一致または類似する第２の特徴量が抽出されたことに基づいて、前記第２の撮像画像または前記第２の撮像画像に基づくデータの前記アプリケーションへの送信を制御する送信制御部と、
を備える、電子機器。

【符号の説明】

【0081】

１ 固体撮像システム
１０ 電子機器
２０ イメージセンサ
２１０ ＣＩＳ
２１１ 撮像素子
２１２ Ａ／Ｄ変換器
２２０ ロジック回路
２２１ 信号処理部
２２１１ シェーディング補正部
２２１２ 混色補正部
２２１３ デジタルゲイン調整部
２２１４ ホワイトバランスゲイン調整部
２２１５ 検波部
２２１６ デモザイク処理部
２２１７ γ補正部
２３０ ＤＳＰ
２３１ ローカル認証部
２３１１ 正規化処理部
２３１２ ローカル認証処理部
２３２ ローカル認証用データ記憶部
２３３ データ送信判断部
２３３１ 送信制御部
２３３２ 記憶制御部
２３４ データ送信可能リスト記憶部
２４０ メモリ
２５０ セレクタ
２６１ データ送信部
２６２ データ受信部
３０ アプリケーション
４０ サーバ装置
４１０ データ受信部
４２０ サーバ認証部
４３０ サーバ認証用データ記憶部
４４０ データ送信部
５０ ネットワーク
６０ 検出装置
７０ 外部記録媒体
Ｌ１ 第１の半導体チップ
Ｌ２ 第２の半導体チップ
Ｌ３ 第３の半導体チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】