(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-28
(45)【発行日】2023-10-06
(54)【発明の名称】固体撮像装置、固体撮像方法および電子機器
(51)【国際特許分類】
H04N 23/60 20230101AFI20230929BHJP
G03B 15/00 20210101ALI20230929BHJP
G03B 15/05 20210101ALI20230929BHJP
H04N 23/56 20230101ALI20230929BHJP
H04N 23/611 20230101ALI20230929BHJP
H04N 23/74 20230101ALI20230929BHJP
H04N 25/70 20230101ALI20230929BHJP
【ＦＩ】
H04N23/60 300
G03B15/00 Q
G03B15/05
H04N23/56
H04N23/611
H04N23/74
H04N25/70
【請求項の数】
18
(21)【出願番号】P 2020559918
(86)(22)【出願日】2019-11-22
(86)【国際出願番号】 JP2019045744
(87)【国際公開番号】W WO2020116196
(87)【国際公開日】2020-06-11
【審査請求日】2022-11-16
(31)【優先権主張番号】P 2018229775
(32)【優先日】2018-12-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】奥池 和幸
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開２００３－２１８９９２（ＪＰ，Ａ）
【文献】特開２０１９－０９５３８５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １５／０５
Ｈ０４Ｎ ２３／５６
Ｈ０４Ｎ ２３／６１１
Ｈ０４Ｎ ２３／７４
Ｈ０４Ｎ ２５／７０
(57)【特許請求の範囲】
【請求項1】
第１の撮像画像を撮像する撮像部と、発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
前記発光が検出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、
を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
固体撮像装置。
【請求項2】
前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、請求項１に記載の固体撮像装置。
【請求項3】
前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
請求項２に記載の固体撮像装置。
【請求項4】
前記固体撮像装置は、複数の半導体チップを含んで構成され、前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
請求項１に記載の固体撮像装置。
【請求項5】
前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、請求項４に記載の固体撮像装置。
【請求項6】
前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
請求項４に記載の固体撮像装置。
【請求項7】
前記固体撮像装置は、記憶部を備え、前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
請求項４に記載の固体撮像装置。
【請求項8】
前記発光部によって発せられた光は、前記発光部から直接的または所定の反射部材によって反射されて前記撮像部に到達する、請求項１に記載の固体撮像装置。
【請求項9】
前記判定部は、前記第１の撮像画像における輝度の領域間差分または前記第１の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、前記発光が検出されるか否かを判定する、請求項１に記載の固体撮像装置。
【請求項10】
第１の撮像画像を撮像する撮像部と、
発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と
を有し、
前記発光制御部は、前記第１の撮像画像から人が検出された場合に、前記発光部による前記発光を開始させる、
固体撮像装置。
【請求項11】
第１の撮像画像を撮像する撮像部と、
発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と
を有し、
前記送信制御部は、前記第１の撮像画像の第１の領域から前記発光が検出されたことに基づいて、前記第１の撮像画像の前記第１の領域とは異なる第２の領域または前記第２の領域に基づくデータの送信を制御する、
固体撮像装置。
【請求項12】
第１の撮像画像を撮像する撮像部と、
発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と
を有し、
前記判定部は、前記第１の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、前記第１の撮像画像から前記発光が検出されるか否かを判定し、
前記発光制御部は、前記発光が前記第１の撮像画像に写った場合に前記第１の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出し、前記パラメータに基づいて前記発光を制御する、
固体撮像装置。
【請求項13】
前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、請求項１に記載の固体撮像装置。
【請求項14】
前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、請求項１に記載の固体撮像装置。
【請求項15】
前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、請求項１４に記載の固体撮像装置。
【請求項16】
前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、請求項３に記載の固体撮像装置。
【請求項17】
第１の撮像画像を撮像することと、発光部による発光を制御することと、
前記第１の撮像画像から前記発光が検出されるか否かを判定することと、
プロセッサが、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
前記発光が検出された場合に、前記第２の撮像画像に基づいて第１の認証を行うことと
を備え、
前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
固体撮像方法。
【請求項18】
第１の撮像画像を撮像する撮像部と、発光部と、
前記発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
前記発光が検出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部と、
を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、固体撮像装置、固体撮像方法および電子機器に関する。
【背景技術】
【0002】
近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１３３６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
【課題を解決するための手段】
【0005】
本開示によれば、第１の撮像画像を撮像する撮像部と、発光部による発光を制御する発光制御部と、前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
【0006】
本開示によれば、第１の撮像画像を撮像することと、発光部による発光を制御することと、前記第１の撮像画像から前記発光が検出されるか否かを判定することと、プロセッサが、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、を備える、固体撮像方法が提供される。
【0007】
本開示によれば、アプリケーションと、第１の撮像画像を撮像する撮像部と、発光部と、前記発光部による発光を制御する発光制御部と、前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、電子機器が提供される。
【図面の簡単な説明】
【0008】
【図1】本開示の第１の実施形態に係る固体撮像システムの構成例を示す図である。
【図2】イメージセンサの構造の第１の例を示す図である。
【図3】イメージセンサの構造の第２の例を示す図である。
【図4】電子機器の外観構成の第１の例を示す図である。
【図5】電子機器の外観構成の第２の例を示す図である。
【図7】イメージセンサによる撮像画像の例を示す図である。
【図8】本開示の第１の実施形態に係る固体撮像システムの詳細構成例を示す図である。
【図9】信号処理部の詳細構成例を示す図である。
【図10】ローカル認証部の詳細構成例を示す図である。
【図11】データ送信判断部の詳細構成例を示す図である。
【図12】本開示の第１の実施形態に係るイメージセンサの動作例を示すフローチャートである。
【図13】同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。
【図14】本開示の第２の実施形態に係る固体撮像システムの詳細構成例を示す図である。
【図15】同実施形態に係るイメージセンサの動作例を示すフローチャートである。
【図16】本開示の第３の実施形態に係る固体撮像システムの詳細構成例を示す図である。
【図17】同実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。
【図18】本開示の第４の実施形態に係る固体撮像システムの詳細構成例を示す図である。
【図19】本開示の第５の実施形態に係る固体撮像システムの詳細構成例を示す図である。
【図20】本開示の第６の実施形態に係る固体撮像システムの詳細構成例を示す図である。
【図21】データ送信判断部の詳細構成例を示す図である。
【図22】フラッシュが正常に点灯した場合およびフラッシュが正常に点灯しない場合それぞれの撮像画像の例を示す図である。
【図23】本開示の第６の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0010】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。
【0011】
なお、説明は以下の順序で行うものとする。
０．概要
１．第１の実施形態
１．１．システム構成例
１．２．イメージセンサの構成例
１．３．詳細構成例
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．第６の実施形態
７．むすび
０．概要
１．第１の実施形態
１．１．システム構成例
１．２．イメージセンサの構成例
１．３．詳細構成例
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．第６の実施形態
７．むすび
【0012】
＜０．概要＞
近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている。しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
近年、カメラによって撮影される人物（以下、「被写体」とも言う。）のプライバシー保護を強化するための技術が知られている。例えば、撮影者の意図しないときに携帯電話のインカメラを用いて撮影者が撮影されてしまうことを防ぐために、インカメラが動作中である場合には、インカメラが動作中であることを通知する技術が開示されている。しかし、カメラによって撮影される人物のプライバシー保護をより強化することが可能な技術が提供されることが望まれる。
【0013】
より具体的には、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、悪意のあるアプリケーション作成者によって、インカメラが動作中であっても通知がなされないようにアプリケーションを作成できる可能性がある。また、インカメラが動作中である場合にインカメラが動作中であることを通知する技術では、被写体の撮影によって得られたデータがイメージセンサの外部に自動的に送信されてしまうため、被写体のプライバシー保護が十分ではない。
【0014】
そこで、本開示の実施形態では、被写体の撮影によって得られたデータのイメージセンサ外部への送信を制御することによって、被写体のプライバシー保護をより強化することが可能な技術について主に説明する。
【0015】
以上、本開示の実施形態の概要について説明した。
【0016】
＜１．第１の実施形態＞
［１．１．システム構成例］
続いて、図１を参照しながら、本開示の第１の実施形態に係る固体撮像システムの構成例について説明する。図１を参照すると、本開示の第１の実施形態に係る固体撮像システム１は、電子機器１０、サーバ装置４０およびネットワーク５０を有する。電子機器１０およびサーバ装置４０は、ネットワーク５０を介して通信可能である。なお、図１に示された例では、電子機器１０がネットワーク５０に接続されているが、複数の電子機器１０がネットワーク５０に接続されていてよく、複数の電子機器１０それぞれが、ネットワーク５０を介してサーバ装置４０と通信可能であってよい。
［１．１．システム構成例］
続いて、図１を参照しながら、本開示の第１の実施形態に係る固体撮像システムの構成例について説明する。図１を参照すると、本開示の第１の実施形態に係る固体撮像システム１は、電子機器１０、サーバ装置４０およびネットワーク５０を有する。電子機器１０およびサーバ装置４０は、ネットワーク５０を介して通信可能である。なお、図１に示された例では、電子機器１０がネットワーク５０に接続されているが、複数の電子機器１０がネットワーク５０に接続されていてよく、複数の電子機器１０それぞれが、ネットワーク５０を介してサーバ装置４０と通信可能であってよい。
【0017】
電子機器１０は、イメージセンサ２０、アプリケーション３０およびＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）３６１を有している。イメージセンサ２０は、固体撮像装置の例として機能し、ＣＩＳ（Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）２１０、ロジック回路２２０、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２３０、メモリ２４０、セレクタ２５０を有している。
【0018】
ここで、ＣＩＳ２１０は、撮像部の例に相当し、撮像素子、光源、受光レンズおよびＡ／Ｄ変換器などを含んでいる。ロジック回路２２０は、ＣＩＳ２１０からの出力信号に対して信号処理を行う信号処理部などを含んでいる。また、本開示の第１の実施形態では、電子機器１０がカメラである場合を主に想定する。しかし、電子機器１０は、イメージセンサ２０を有する機器であればカメラに限定されず、他の機器（例えば、スマートフォンおよび携帯電話など）であってもよい。また、アプリケーション３０は、電子機器１０に内蔵されたプロセッサによって実行される。ＬＥＤ３６１は、ＤＳＰ２３０による制御に従って発光を開始したり発光を停止したりする。なお、ＬＥＤ３６１は、発光部の一例に過ぎないため、ＬＥＤ３６１の代わりに他の発光部が用いられてもよい。
【0019】
本開示の第１の実施形態では、イメージセンサ２０によって映像が撮像される。映像は、イメージセンサ２０によって、複数のフレーム（撮像画像）が連続的に撮像されることによって得られる。本開示の第１の実施形態では、イメージセンサ２０によって撮像されたフレーム（撮像画像）またはフレーム（撮像画像）に基づくデータ（以下、「メタデータ」とも言う。）が、サーバ装置４０に送信される場合を主に想定する。しかし、後にも説明するように、撮像画像またはメタデータの送信先は、アプリケーション３０であってもよいし、電子機器１０の外部の記録媒体であってもよい。
【0020】
以上、本開示の第１の実施形態に係る固体撮像システム１の構成例について説明した。
【0021】
［１．２．イメージセンサの構成例］
続いて、本開示の第１の実施形態に係るイメージセンサ２０の構造の例について説明する。図２は、イメージセンサ２０の構造の第１の例を示す図である。図３は、イメージセンサ２０の構造の第２の例を示す図である。図２を参照すると、イメージセンサ２０は、第１の半導体チップＬ１および第２の半導体チップＬ２を含んで構成されている。図３を参照すると、イメージセンサ２０は、第１の半導体チップＬ１、第２の半導体チップＬ２および第３の半導体チップＬ３を含んで構成されている。
続いて、本開示の第１の実施形態に係るイメージセンサ２０の構造の例について説明する。図２は、イメージセンサ２０の構造の第１の例を示す図である。図３は、イメージセンサ２０の構造の第２の例を示す図である。図２を参照すると、イメージセンサ２０は、第１の半導体チップＬ１および第２の半導体チップＬ２を含んで構成されている。図３を参照すると、イメージセンサ２０は、第１の半導体チップＬ１、第２の半導体チップＬ２および第３の半導体チップＬ３を含んで構成されている。
【0022】
このように、イメージセンサ２０は、複数の半導体チップを含んでおり、複数の半導体チップは、層状に構成され、互いに電気的に接続されて構成されている。イメージセンサ２０が有する半導体チップの数は、２つおよび３つに限定されず、１つであってもよいし、４つ以上であってもよい。
【0023】
図２を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０が含まれている。図３を参照すると、第１の半導体チップＬ１に、ＣＩＳ２１０が含まれている。そして、第２の半導体チップＬ２に、メモリ２４０およびＤＳＰ２３０が含まれている。第３の半導体チップＬ３には、ロジック回路２２０が含まれている。しかし、ＣＩＳ２１０、メモリ２４０、ＤＳＰ２３０、ロジック回路２２０それぞれは、どの半導体チップに含まれていてもよい。
【0024】
図２および図３に示された例において、後に説明するローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれてよい。より詳細には、ローカル認証部２３１（第１の認証部）は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。後に説明するデータ送信判断部２３３も、第２の半導体チップＬ２に含まれてよい。より詳細には、データ送信判断部２３３は、第２の半導体チップＬ２に含まれるＤＳＰ２３０によって実現されてよい。
【0025】
また、図３に示された例において、信号処理部２２１は、第３の半導体チップＬ３のロジック回路２２０に含まれてもよい。あるいは、図２に示された例において、信号処理部２２１は、第２の半導体チップＬ２のロジック回路２２０に含まれてもよい。さらに、図３に示された例において、後に説明するローカル認証用データ記憶部２３２は、第３の半導体チップＬ３のメモリ２４０に含まれてもよい。あるいは、図２に示された例において、ローカル認証用データ記憶部２３２は、第２の半導体チップＬ２のメモリ２４０に含まれてもよい。
【0026】
以上、イメージセンサ２０の構造の例について説明した。
【0027】
［１．３．詳細構成例］
続いて、本開示の第１の実施形態に係る固体撮像システム１の詳細構成について説明する。図４は、電子機器の外観構成の第１の例を示す図である。図５は、電子機器の外観構成の第２の例を示す図である。図４および図５に示されるように、電子機器１０は、一例として円筒形状の外観を有していてよい。しかし、電子機器１０の外観形状は限定されない。
続いて、本開示の第１の実施形態に係る固体撮像システム１の詳細構成について説明する。図４は、電子機器の外観構成の第１の例を示す図である。図５は、電子機器の外観構成の第２の例を示す図である。図４および図５に示されるように、電子機器１０は、一例として円筒形状の外観を有していてよい。しかし、電子機器１０の外観形状は限定されない。
【0028】
図４を参照すると、第１の例では、カメラモジュール３２およびＬＥＤモジュール３６が電子機器１０－１の側面に設けられている。また、図５を参照すると、第２の例では、カメラモジュール３２およびＬＥＤモジュール３６が電子機器１０－２の上面に設けられている。しかし、カメラモジュール３２およびＬＥＤモジュール３６が設けられる位置も特に限定されない。
【0029】
図６は、図４および図５に示されたカメラモジュール３２およびＬＥＤモジュール３６のＡ－Ａ断面図である。図６を参照すると、カメラモジュール３２およびＬＥＤモジュール３６の断面図が示されている。カメラモジュール３２は、光学レンズ３２１、レンズホルダ３２２、ＩＲ（ｉｎｆｒａｒｅｄ）カットフィルタ３２３、イメージセンサ２０およびモジュール基板３２４を備える。ＬＥＤモジュール３６は、ＬＥＤ３６１、光源用レンズ３６２およびモジュール基板３６３を備える。
【0030】
ここでは、光学レンズ３２１として広角レンズが用いられる場合が想定されている。そのため、図６に示された例では、ＬＥＤ３６１によって発せられた光がＬＥＤ３６１から直接的にイメージセンサ２０に到達している（ＬＥＤ３６１によって発せられた光が直接的にイメージセンサ２０の撮像範囲Ｒａに入り込む）。しかし、ＬＥＤ３６１によって発せられた光は、所定の反射部材によって反射されてイメージセンサ２０に到達してもよい（ＬＥＤ３６１によって発せられた光が所定の反射部材に反射されて撮像範囲Ｒａに入り込んでもよい）。
【0031】
図７は、イメージセンサ２０による撮像画像の例を示す図である。図７を参照すると、イメージセンサ２０による撮像画像ＩＭ０が示されている。撮像画像ＩＭ０は、有効画素領域ＩＭ１とその周辺領域とを含んでいる。有効画素領域ＩＭ１の輝度が過剰に高くなってしまうことを防ぐため、ＬＥＤ３６１によって発せられた光は、有効画素領域にＩＭ１にあまり到達しないのが望ましい。一方、周辺領域には、ＬＥＤ３６１によって発せられた光が映る光検出領域ＩＭ２が存在する。そこで、光検出領域ＩＭ２の輝度によってＬＥＤ３６１が発光しているか否かが検出され得る。
【0032】
図８は、本開示の第１の実施形態に係る固体撮像システム１の詳細構成例を示す図である。なお、図８からは、紙面の都合上、アプリケーション３０およびネットワーク５０が省略されている。図８を参照すると、イメージセンサ２０、サーバ装置４０およびＬＥＤ３６１が示されている。
【0033】
イメージセンサ２０は、撮像素子２１１、Ａ／Ｄ変換器２１２、信号処理部２２１、ローカル認証部２３１、ローカル認証用データ記憶部２３２、データ送信判断部２３３、セレクタ２５０、データ送信部２６１、データ受信部２６２および発光制御部２７１を備える。一方、サーバ装置４０は、データ受信部４１０、サーバ認証部（第２の認証部）４２０、サーバ認証用データ記憶部４３０およびデータ送信部４４０を備える。
【0034】
撮像素子２１１は、被写体から受光された光信号を電気信号に変換する。Ａ／Ｄ変換器２１２は、電気信号をアナログ信号からデジタル信号に変換して出力する。信号処理部２２１は、Ａ／Ｄ変換器２１２からの出力信号（撮像画像）に対して各種の信号処理を行い、処理後の信号（撮像画像）を出力する。ここで、信号処理部２２１によって行われる信号処理の例を説明する。ただし、以下に説明する信号処理の全部が信号処理部２２１によって行われる必要はなく、これらの信号処理の一部だけが信号処理部２２１によって行われてもよいし、これらの信号処理以外の処理が信号処理部２２１によって行われてもよい。
【0035】
図９は、信号処理部２２１の詳細構成例を示す図である。図５に示されるように、信号処理部２２１は、シェーディング補正を行うシェーディング補正部２２１１、混色補正を行う混色補正部２２１２、および、デジタルゲイン調整を行うデジタルゲイン調整部２２１３を有してよい。また、信号処理部２２１は、ホワイトバランスゲインを調整するホワイトバランスゲイン調整部２２１４、検波を行う検波部２２１５、デモザイク処理を行うデモザイク処理部２２１６、および、γ補正を行うγ補正部２２１７を有してよい。
【0036】
図８に戻って説明を続ける。信号処理部２２１による処理後の信号（撮像画像）は、セレクタ２５０、データ送信判断部２３３およびローカル認証部２３１に出力される。まず、ローカル認証部２３１の詳細構成例について説明する。図１０は、ローカル認証部２３１の詳細構成例を示す図である。図１０に示されるように、ローカル認証部２３１は、正規化処理部２３１１およびローカル認証処理部２３１２を有する。
【0037】
正規化処理部２３１１は、ローカル認証処理部２３１２（例えば、ニューラルネットワーク）による処理に必要の前処理（プリプロセッシング）を行う。例えば、前処理は、第２の撮像画像のレンジ調整およびサイズ調整などであってよい。ローカル認証処理部２３１２は、第１の撮像画像からＬＥＤ３６１による発光が検出された場合に、第２の撮像画像に基づいて第１の認証を行う。例えば、第１の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。
【0038】
なお、ローカル認証部２３１は、機械学習済みのニューラルネットワーク（第１のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、ローカル認証部２３１による第１の認証は、学習を必要としない構成によって行われてもよい。第１の認証の認証結果（成功／失敗）および第１の認証によって得られるデータ（メタデータ）は、セレクタ２５０に出力される。
【0039】
続いて、データ送信判断部２３３の詳細構成例について説明する。図１１は、データ送信判断部２３３の詳細構成例を示す図である。図１１に示されるように、データ送信判断部２３３は、ＬＥＤ点灯判断部２３３１および送信制御部２３３３を有する。
【0040】
本開示の実施形態では、データ送信判断部２３３が、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に対して処理を行う場合を主に想定する。しかし、データ送信判断部２３３による処理対象は、信号処理部２２１から入力される映像の毎フレーム（撮像画像）に限らず、複数フレーム毎であってもよい。ここでは、あるタイミングでデータ送信判断部２３３に入力されたフレームを「第１の撮像画像」と言い、第１の撮像画像より後にデータ送信判断部２３３に入力されたフレームを「第２の撮像画像」と言う。
【0041】
まず、撮像素子２１１によって撮像された第１の撮像画像がデータ送信判断部２３３に入力される。発光制御部２７１は、ＬＥＤ３６１による発光を開始させる。なお、発光制御部２７１は、無条件にＬＥＤ３６１による発光を開始させてもよいが、所定の場合にのみＬＥＤ３６１による発光を開始させてもよい。例えば、所定の場合は、メタデータに個人情報（例えば、被写体の名前、性別または年齢など）が含まれる場合であってもよい。ＬＥＤ点灯判断部２３３１は、第１の撮像画像からＬＥＤ３６１による発光が検出されるか否かを判定する。特に異常がなければＬＥＤ３６１による発光が検出されるが、異常があればＬＥＤ３６１による発光が検出されない。異常の原因は特に限定されないが、ＬＥＤ３６１に覆いが被せられることであってもよいし、ＬＥＤ３６１が取り外されることであってもよい。
【0042】
続いて、撮像素子２１１によって撮像された第２の撮像画像がデータ送信判断部２３３に入力される。送信制御部２３３３は、ＬＥＤ点灯判断部２３３１によってＬＥＤ３６１による発光が検出されたことに基づいて、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する。なお、送信制御部２３３３は、第２の撮像画像および第２の撮像画像に基づくメタデータのいずれをセレクタ２５０から出力させるかを制御することによって、いずれかがサーバ装置４０に送信されるように制御すればよい。
【0043】
かかる構成によれば、被写体の撮影によって得られた第２の撮像画像または第２の撮像画像のメタデータのイメージセンサ２０の外部への送信を制御することが可能になる。これによって、被写体のプライバシー保護をより強化することが可能となる。一方、送信制御部２３３３は、ＬＥＤ点灯判断部２３３１によってＬＥＤ３６１による発光が検出されなかったことに基づいて、第２の撮像画像を破棄してよい。
【0044】
例えば、ＬＥＤ点灯判断部２３３１は、第１の撮像画像における輝度の領域間差分または第１の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、ＬＥＤ３６１による発光が検出されるか否かを判定すればよい。例えば、ＬＥＤ点灯判断部２３３１は、第１の撮像画像における輝度の領域間差分（例えば、光検出領域ＩＭ２と他の領域との間の輝度の差分）または複数フレームにおける輝度のフレーム間差分（例えば、複数フレームにおける光検出領域ＩＭ２の輝度の差分）が閾値よりも大きい場合に、ＬＥＤ３６１による発光が検出されたと判定してもよい。
【0045】
ここでは、第１の撮像画像から発光が検出された場合、第２の撮像画像以降がサーバ装置４０に送信される場合を主に想定する。しかし、第２の撮像画像以降に加えて発光が検出された第１の撮像画像もサーバ装置４０に送信されてもよい。より具体的に、送信制御部２３３３は、第１の撮像画像の第１の領域（例えば、光検出領域ＩＭ２（図７））から発光が検出されたことに基づいて、第１の撮像画像の第１の領域とは異なる第２の領域（例えば、有効画素領域ＩＭ１（図７））または第２の領域に基づくデータの送信を制御してもよい。このとき、撮像画像ＩＭ０のうち光検出領域ＩＭ２側の行（図７に示された例では、最下行）から順に読み出しが行われれば、撮像画像ＩＭ０に対する一度の読み込みでＬＥＤ３６１による発光の検出および有効画素領域ＩＭ１の送信が実行され得る。
【0046】
例えば、送信制御部２３３３は、ローカル認証部２３１による第１の認証が成功した場合には、第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御すればよい。一方、送信制御部２３３３は、ローカル認証部２３１による第１の認証に失敗した場合には、第２の撮像画像のサーバ装置４０への送信を制御すればよい。
【0047】
ＬＥＤ３６１による発光は、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）を用いて検出されてもよい。これによって、ＬＥＤ３６１による発光の検出精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、ＬＥＤ３６１による発光の検出精度がさらに高まることが想定される。しかし、ＬＥＤ３６１による発光は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク（第３のニューラルネットワーク）は、データ送信判断部２３３に含まれ得る。
【0048】
第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、データ送信判断部２３３による制御に従って、データ送信部２６１によってサーバ装置４０に送信される。サーバ装置４０においては、データ受信部４１０によって、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が受信される。サーバ認証部４２０は、第２の撮像画像に基づく第２の認証を行う。例えば、第２の認証によって得られるデータは、第２の撮像画像に基づくデータ（メタデータ）であってよい。かかるメタデータは、第２の撮像画像から識別される被写体（人物）の識別情報であってよい。
【0049】
なお、サーバ認証部４２０は、機械学習済みのニューラルネットワーク（第２のニューラルネットワーク）を含んで構成されてよい。これによって、認証精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、認証精度がさらに高まることが想定される。しかし、サーバ認証部４２０による第２の認証は、学習を必要としない構成によって行われてもよい。第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）は、データ送信部４４０を介して、イメージセンサ２０に送信される。
【0050】
イメージセンサ２０においては、データ受信部２６２によって、第２の認証の認証結果（成功／失敗）および第２の認証によって得られるデータ（メタデータ）が受信される。
【0051】
第１の認証が成功した場合、第１の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。また、第２の認証が成功した場合にも、第２の認証によって得られたデータ（メタデータ）に基づく処理がイメージセンサ２０において実行される。メタデータに基づく処理は限定されない。例えば、メタデータに基づく処理は、メタデータが被写体の識別情報である場合、当該識別情報によって識別される被写体に対応するアバターを画面に表示する処理であってもよい。
【0052】
なお、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータのほうが、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータよりも高い認識精度に寄与する可能性がある。パラメータとしては、重みおよびバイアスなどが想定される。そこで、所定のタイミングにおいて、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータに基づいて、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが更新されるのが望ましい。
【0053】
具体的には、サーバ認証部４２０によって第２の撮像画像に基づく第２の認証が成功した場合、サーバ認証部４２０に含まれる第２のニューラルネットワークの第２のパラメータが、サーバ認証部４２０によってサーバ認証用データ記憶部４３０から取得され、データ送信部４４０を介してイメージセンサ２０に送信されてもよい。このとき、イメージセンサ２０においては、データ受信部２６２によって当該第２のパラメータが受信され、ローカル認証用データ記憶部２３２に記憶されている、ローカル認証部２３１に含まれる第１のニューラルネットワークの第１のパラメータが、第２のパラメータに基づいてローカル認証部２３１によって更新されてもよい。
【0054】
続いて、本開示の第１の実施形態に係るイメージセンサ２０の動作例について説明する。図１２は、本開示の第１の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図１２に示されるように、データ送信判断部２３３は、データ送信可否を判断する（Ｓ１１）。データ送信可否判断について、図１３を参照しながら詳細に説明する。
【0055】
図１３は、本開示の第１の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、発光制御部２７１は、撮像開始とともにＬＥＤ３６１による発光を開始させる。そして、図１３に示されるように、データ送信可否判断Ｓ１１においては、データ送信判断部２３３は、撮像画像からＬＥＤ３６１によって発せられた光の検出を試みる（Ｓ１１１）。データ送信判断部２３３は、ＬＥＤ３６１によって発せられた光の検出がされなかった場合には（Ｓ１１１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、ＬＥＤ３６１によって発せられた光の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、データ送信可能であると判断する（Ｓ１１６）。
【0056】
図１２に戻って説明を続ける。データ送信不可であると判断された場合（Ｓ１１において「ＮＧ」）、データ送信不可となる（Ｓ１２）。このとき、撮像画像は破棄されてよい。一方、ローカル認証部２３１は、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、ローカル認証を行う（Ｓ１３）。ローカル認証は、上記した第１の認証に相当し得る。ローカル認証が成功した場合（Ｓ１３において「ＯＫ」）、データ送信部２６１によってメタデータがサーバ装置４０に送信され（Ｓ１４）、認証成功となる（Ｓ１５）。一方、ローカル認証が失敗した場合（Ｓ１３において「ＮＧ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。
【0057】
続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、サーバ認証用データによってローカル認証用データが更新され（Ｓ２１）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。
【0058】
なお、発光制御部２７１は、メタデータまたは撮像画像の送信が終わったら、ＬＥＤ３６１による発光を停止させてよい。これによって、同一人物が撮影されているにも関わらずメタデータまたは撮像画像が連続で送信されてしまうことが避けられる。そして、発光制御部２７１は、撮像範囲から新たに人が検出された場合に、ＬＥＤ３６１による発光を再度開始させてもよい。これによって、新たな人の撮影が開始された場合にメタデータまたは撮像画像が再度送信されるようになる。
【0059】
以上、本開示の第１の実施形態について説明した。
【0060】
＜２．第２の実施形態＞
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態に係る固体撮像システム１の詳細構成について説明する。図１４は、本開示の第２の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１４に示されるように、本開示の第２の実施形態は、イメージセンサ２０がローカル認証部２３１およびローカル認証用データ記憶部２３２を有していない点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０からメタデータがサーバ装置４０に送信されない。
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態に係る固体撮像システム１の詳細構成について説明する。図１４は、本開示の第２の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１４に示されるように、本開示の第２の実施形態は、イメージセンサ２０がローカル認証部２３１およびローカル認証用データ記憶部２３２を有していない点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０からメタデータがサーバ装置４０に送信されない。
【0061】
続いて、本開示の第２の実施形態に係るイメージセンサ２０の動作例について説明する。図１５は、本開示の第２の実施形態に係るイメージセンサ２０の動作例を示すフローチャートである。図１５に示されるように、図１２に示された例と異なり、データ送信可であると判断された場合（Ｓ１１において「ＯＫ」）、データ送信部２６１によって撮像画像がサーバ装置４０に送信される。このとき、データ送信状態である旨が通知されてもよい（Ｓ１６）。
【0062】
続いて、サーバ装置４０におけるサーバ処理が実行される（Ｓ１７）。具体的には、データ送信部４４０によって撮像画像が受信され（Ｓ１８）、撮像画像に基づいてサーバ認証が行われる（Ｓ１９）。サーバ認証は、上記した第２の認証に相当し得る。サーバ認証が成功した場合（Ｓ１９において「ＯＫ」）、認証成功となる（Ｓ１５）。一方、サーバ認証が失敗した場合（Ｓ１９において「ＮＧ」）、認証失敗となる（Ｓ２０）。
【0063】
以上、本開示の第２の実施形態について説明した。
【0064】
＜３．第３の実施形態＞
続いて、本開示の第３の実施形態について説明する。本開示の第３の実施形態に係る固体撮像システム１の詳細構成について説明する。図１６は、本開示の第３の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１６に示されるように、本開示の第３の実施形態は、固体撮像システム１が、人検出部２８１および人検出用データ記憶部２８２を有している点が、本開示の第２の実施形態と異なる。この場合には、信号処理部２２１による処理後の信号（撮像画像）が、人検出部２８１にも出力される。なお、固体撮像システム１は、人検出部２８１および人検出用データ記憶部２８２の他、第１の実施形態と同様に、人検出部２８１および人検出用データ記憶部２８２を有してもよい。
続いて、本開示の第３の実施形態について説明する。本開示の第３の実施形態に係る固体撮像システム１の詳細構成について説明する。図１６は、本開示の第３の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１６に示されるように、本開示の第３の実施形態は、固体撮像システム１が、人検出部２８１および人検出用データ記憶部２８２を有している点が、本開示の第２の実施形態と異なる。この場合には、信号処理部２２１による処理後の信号（撮像画像）が、人検出部２８１にも出力される。なお、固体撮像システム１は、人検出部２８１および人検出用データ記憶部２８２の他、第１の実施形態と同様に、人検出部２８１および人検出用データ記憶部２８２を有してもよい。
【0065】
人検出部２８１は、第１の撮像画像から人の検出を試みる。例えば、人検出部２８１は、人検出用データ記憶部２８２によって人の特徴量が記憶されている場合、人検出用データ記憶部２８２から人の特徴量を取得するとともに、第１の撮像画像から特徴量を抽出する。人検出部２８１は、両特徴量が一致または類似する場合に、第１の撮像画像に人が存在すると検出してもよい。発光制御部２７１は、人検出部２８１によって第１の撮像画像から人が検出された場合に、ＬＥＤ３６１による発光を開始させる。これによって、ＬＥＤ３６１の点灯を人が見る可能性があるときにだけＬＥＤ３６１が点灯するため、省電力化が図られる。
【0066】
人検出部２８１は、第１の撮像画像から人を検出した場合には、送信制御部２３３３に人検出領域（顔領域）を通知してもよい。そして、送信制御部２３３３は、第２の撮像画像に対して人検出領域（顔領域）にマスク処理を行ってから、サーバ装置４０に第２の撮像画像が送信されるように制御してもよい。これによって、第２の撮像画像に映る人のプライバシー保護が強化され得る。
【0067】
なお、特徴量は、機械学習済みのニューラルネットワーク（第４のニューラルネットワーク）を用いて第１の撮像画像から抽出されてもよい。これによって、特徴量抽出の精度が高まることが想定される。例えば、ニューラルネットワークは、ディープラーニングネットワークであってもよい。かかる場合には、特徴量抽出の精度がさらに高まることが想定される。しかし、特徴量は、学習を必要としない構成によって抽出されてもよい。なお、機械学習済みのニューラルネットワーク（第４のニューラルネットワーク）は、人検出部２８１に含まれ得る。
【0068】
続いて、本開示の第３の実施形態に係るデータ送信可否判断について、図１７を参照しながら詳細に説明する。図１７は、本開示の第３の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、人検出部２８１は、撮像画像から人が検出されるかを試みる（Ｓ１１３）。データ送信判断部２３３は、人検出部２８１によって人が検出されない場合には（Ｓ１１３において「ＮＯ」）、データ送信可能であると判断する（Ｓ１１６）。一方、発光制御部２７１は、人検出部２８１によって人が検出された場合には（Ｓ１１３において「ＹＥＳ」）、ＬＥＤ３６１による点灯を開始させることによって、撮影開始を被写体に通知する（Ｓ１１４）。
【0069】
そして、データ送信判断部２３３は、撮像画像からＬＥＤ３６１によって発せられた光の検出を試みる（Ｓ１１１）。データ送信判断部２３３は、ＬＥＤ３６１によって発せられた光の検出がされなかった場合には（Ｓ１１１において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、ＬＥＤ３６１によって発せられた光の検出がされた場合には（Ｓ１１１において「ＹＥＳ」）、撮像画像の顔領域に対してマスク処理を行って（Ｓ１１５）、データ送信可能であると判断する（Ｓ１１６）。
【0070】
以上、本開示の第３の実施形態について説明した。
【0071】
＜４．第４の実施形態＞
続いて、本開示の第４の実施形態について説明する。本開示の第４の実施形態に係る固体撮像システム１の詳細構成について説明する。図１８は、本開示の第４の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１８に示されるように、本開示の第４の実施形態は、固体撮像システム１が、検出装置６０を有している点が、本開示の第１の実施形態と異なる。この場合には、検出装置６０によって被写体による撮影許容動作が検出され得る。例えば、検出装置６０がマイクロフォンを含む場合、撮影許容動作として、ＬＥＤ３６１による発光検出の代わりに、所定の音声の発話が用いられてもよい。あるいは、検出装置６０が入力装置（例えば、タッチパネルなど）を含む場合には、撮影許容動作として、所定の入力操作（例えば、タッチパネルへのタッチ操作など）が用いられてもよい。
続いて、本開示の第４の実施形態について説明する。本開示の第４の実施形態に係る固体撮像システム１の詳細構成について説明する。図１８は、本開示の第４の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１８に示されるように、本開示の第４の実施形態は、固体撮像システム１が、検出装置６０を有している点が、本開示の第１の実施形態と異なる。この場合には、検出装置６０によって被写体による撮影許容動作が検出され得る。例えば、検出装置６０がマイクロフォンを含む場合、撮影許容動作として、ＬＥＤ３６１による発光検出の代わりに、所定の音声の発話が用いられてもよい。あるいは、検出装置６０が入力装置（例えば、タッチパネルなど）を含む場合には、撮影許容動作として、所定の入力操作（例えば、タッチパネルへのタッチ操作など）が用いられてもよい。
【0072】
以上、本開示の第４の実施形態について説明した。
【0073】
＜５．第５の実施形態＞
続いて、本開示の第５の実施形態について説明する。本開示の第５の実施形態に係る固体撮像システム１の詳細構成について説明する。図１９は、本開示の第５の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１９に示されるように、本開示の第５の実施形態は、固体撮像システム１が、サーバ装置４０の代わりに外部記録媒体７０を有している点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０から送信された第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が外部記録媒体７０に記録されてよい。なお、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、イメージセンサ２０からアプリケーション３０に出力されてもよい。
続いて、本開示の第５の実施形態について説明する。本開示の第５の実施形態に係る固体撮像システム１の詳細構成について説明する。図１９は、本開示の第５の実施形態に係る固体撮像システム１の詳細構成例を示す図である。図１９に示されるように、本開示の第５の実施形態は、固体撮像システム１が、サーバ装置４０の代わりに外部記録媒体７０を有している点が、本開示の第１の実施形態と異なる。この場合には、イメージセンサ２０から送信された第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）が外部記録媒体７０に記録されてよい。なお、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）は、イメージセンサ２０からアプリケーション３０に出力されてもよい。
【0074】
以上、本開示の第５の実施形態について説明した。
【0075】
＜６．第６の実施形態＞
続いて、本開示の第６の実施形態について説明する。ここで、本開示の第１の実施形態から本開示の第５の実施形態までにおいては、発光部の例としてＬＥＤ３６１が用いられる場合について主に説明した。そして、本開示の第１の実施形態から本開示の第５の実施形態までのそれぞれは、ＬＥＤ３６１の代わりに他の発光部（フラッシュなど）が用いられる場合にも適用され得ることを説明した。本開示の第６の実施形態では、発光部の例としてフラッシュが用いられる場合の例について主に説明する。
続いて、本開示の第６の実施形態について説明する。ここで、本開示の第１の実施形態から本開示の第５の実施形態までにおいては、発光部の例としてＬＥＤ３６１が用いられる場合について主に説明した。そして、本開示の第１の実施形態から本開示の第５の実施形態までのそれぞれは、ＬＥＤ３６１の代わりに他の発光部（フラッシュなど）が用いられる場合にも適用され得ることを説明した。本開示の第６の実施形態では、発光部の例としてフラッシュが用いられる場合の例について主に説明する。
【0076】
図２０を参照しながら、本開示の第６の実施形態に係る固体撮像システムの構成例について説明する。図２０を参照すると、本開示の第６の実施形態に係る固体撮像システム１は、電子機器１０がＬＥＤ３６１の代わりにフラッシュ３６４を有する点において、本開示の第１の実施形態に係る固体撮像システム１と異なっている。フラッシュ３６４は、ＤＳＰ２３０による制御に従ってイメージセンサ２０による撮影時に発光する。このとき、イメージセンサ２０の内部のフラッシュ３６４から発せられる光の強度（フラッシュ強度）に応じた露光制御が行われる。
【0077】
続いて、本開示の第６の実施形態に係る固体撮像システム１の詳細構成例について説明する。図２１は、データ送信判断部２３３の詳細構成例を示す図である。図２１に示されるように、データ送信判断部２３３は、フラッシュ点灯判断部２３３２および送信制御部２３３３を有する。本開示の第６の実施形態に係るイメージセンサ２０は、データ送信判断部２３３がＬＥＤ点灯判断部２３３１の代わりにフラッシュ点灯判断部２３３２を有する点において、本開示の第１の実施形態に係るイメージセンサ２０と異なっている。
【0078】
発光制御部２７１は、フラッシュ点灯前に撮像範囲の輝度に基づいてフラッシュ未点灯時における適正露出値（露光時間およびゲイン）を算出する。そして、発光制御部２７１は、フラッシュ未点灯時における適正露出値に基づいてフラッシュ点灯時におけるパラメータ（フラッシュ強度、露光時間、ゲイン）を算出する。すなわち、発光制御部２７１は、フラッシュ３６４による発光が第１の撮像画像に写った場合に第１の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出する。発光制御部２７１は、パラメータに基づいてフラッシュ３６４による発光を制御する。
【0079】
フラッシュ点灯判断部２３３２は、第１の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、第１の撮像画像から発光が検出されるか否かを判定する。このとき、特に異常がなければ第１の撮像画像の輝度平均値が適正範囲内に収まる（適正露出となる）。一方、異常があれば第１の撮像画像の輝度平均値が適正範囲内に収まらない（露出アンダーとなる）。異常の原因は特に限定されないが、フラッシュ３６４に覆いが被せられることであってもよいし、フラッシュ３６４が取り外されることであってもよい。
【0080】
図２２は、フラッシュ３６４が正常に点灯した場合およびフラッシュ３６４が正常に点灯しない場合それぞれの撮像画像の例を示す図である。図２２を参照すると、フラッシュ３６４が正常に点灯した場合における撮像画像ＩＭ３と、フラッシュ３６４が正常に点灯しない場合における撮像画像ＩＭ４とが示されている。フラッシュ３６４が正常に点灯した場合における撮像画像ＩＭ３は、輝度平均値が適正範囲内に収まっている。一方、フラッシュ３６４が正常に点灯しない場合における撮像画像ＩＭ４は、輝度平均値が適正範囲内に収まっていない。
【0081】
送信制御部２３３３は、フラッシュ点灯判断部２３３２によってフラッシュ３６４による発光が検出されたこと（図２２に示された例では、輝度平均値が適正範囲内に収まっていること）に基づいて、第２の撮像画像または第２の撮像画像に基づくデータ（メタデータ）のサーバ装置４０への送信を制御する。一方、送信制御部２３３３は、フラッシュ点灯判断部２３３２によってフラッシュ３６４による発光が検出されなかったことに基づいて、第２の撮像画像を破棄してよい。
【0082】
続いて、本開示の第６の実施形態に係るデータ送信可否判断について、図２３を参照しながら詳細に説明する。図２３は、本開示の第６の実施形態に係るデータ送信可否判断の詳細な動作例を示すフローチャートである。まず、発光制御部２７１は、撮像開始とともにフラッシュ３６４による発光を開始させる。そして、図２３に示されるように、データ送信可否判断Ｓ１１においては、データ送信判断部２３３は、撮像画像の輝度平均値からフラッシュ３６４によって発せられた光の検出を試みる（Ｓ１１７）。データ送信判断部２３３は、フラッシュ３６４によって発せられた光の検出がされなかった場合には（Ｓ１１７において「ＮＯ」）、データ送信不可であると判断する（Ｓ１１２）。一方、データ送信判断部２３３は、フラッシュ３６４によって発せられた光の検出がされた場合には（Ｓ１１７において「ＹＥＳ」）、データ送信可能であると判断する（Ｓ１１６）。
【0083】
以上、本開示の第６の実施形態について説明した。
【0084】
＜７．むすび＞
以上説明したように、本開示の実施形態によれば、第１の撮像画像を撮像する撮像部と、発光部による発光を制御する発光制御部と、前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
以上説明したように、本開示の実施形態によれば、第１の撮像画像を撮像する撮像部と、発光部による発光を制御する発光制御部と、前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、を備える、固体撮像装置が提供される。
【0085】
かかる構成によれば、被写体の撮影によって得られたデータのイメージセンサ外部への送信が制御されるため、被写体のプライバシー保護をより強化することが可能となる。
【0086】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0087】
例えば、上記では、本開示の第１の実施形態から本開示の第６の実施形態までのそれぞれについて説明した。これらの各種実施形態から、適宜にいずれかの構成が選択されて組み合わされてもよい。
【0088】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【0089】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の撮像画像を撮像する撮像部と、
発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、固体撮像装置。
（２）
前記固体撮像装置は、
前記発光が検出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
前記（１）に記載の固体撮像装置。
（３）
前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
前記（２）に記載の固体撮像装置。
（４）
前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
前記（３）に記載の固体撮像装置。
（５）
前記固体撮像装置は、複数の半導体チップを含んで構成され、
前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
前記（２）～（４）のいずれか一項に記載の固体撮像装置。
（６）
前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
前記（５）に記載の固体撮像装置。
（７）
前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）または（６）に記載の固体撮像装置。
（８）
前記固体撮像装置は、記憶部を備え、
前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）～（７）のいずれか一項に記載の固体撮像装置。
（９）
前記発光部によって発せられた光は、前記発光部から直接的または所定の反射部材によって反射されて前記撮像部に到達する、
前記（１）～（８）のいずれか一項に記載の固体撮像装置。
（１０）
前記判定部は、前記第１の撮像画像における輝度の領域間差分または前記第１の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、前記発光が検出されるか否かを判定する、
前記（１）～（９）のいずれか一項に記載の固体撮像装置。
（１１）
前記発光制御部は、前記第１の撮像画像から人が検出された場合に、前記発光部による前記発光を開始させる、
前記（１）～（１０）のいずれか一項に記載の固体撮像装置。
（１２）
前記送信制御部は、前記第１の撮像画像の第１の領域から前記発光が検出されたことに基づいて、前記第１の撮像画像の前記第１の領域とは異なる第２の領域または前記第２の領域に基づくデータの送信を制御する、
前記（１）～（１１）のいずれか一項に記載の固体撮像装置。
（１３）
前記判定部は、前記第１の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、前記第１の撮像画像から前記発光が検出されるか否かを判定する、
前記（１）～（１１）のいずれか一項に記載の固体撮像装置。
（１４）
前記発光制御部は、前記発光が前記第１の撮像画像に写った場合に前記第１の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出し、前記パラメータに基づいて前記発光を制御する、
前記（１３）に記載の固体撮像装置。
（１５）
前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
前記（１）～（１４）のいずれか一項に記載の固体撮像装置。
（１６）
前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
前記（２）～（８）のいずれか一項に記載の固体撮像装置。
（１７）
前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
前記（１６）に記載の固体撮像装置。
（１８）
前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
前記（４）に記載の固体撮像装置。
（１９）
第１の撮像画像を撮像することと、
発光部による発光を制御することと、
前記第１の撮像画像から前記発光が検出されるか否かを判定することと、
プロセッサが、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
を備える、固体撮像方法。
（２０）
アプリケーションと、
第１の撮像画像を撮像する撮像部と、
発光部と、
前記発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、電子機器。
（１）
第１の撮像画像を撮像する撮像部と、
発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、固体撮像装置。
（２）
前記固体撮像装置は、
前記発光が検出された場合に、前記第２の撮像画像に基づいて第１の認証を行う第１の認証部を備え、
前記送信制御部は、前記第１の認証が成功した場合には、前記第２の撮像画像に基づくデータの送信を制御し、前記第１の認証に失敗した場合には、前記第２の撮像画像の送信を制御する、
前記（１）に記載の固体撮像装置。
（３）
前記第１の認証部は、機械学習済みの第１のニューラルネットワークを含んで構成される、
前記（２）に記載の固体撮像装置。
（４）
前記第２の撮像画像の送信先に、機械学習済みの第２のニューラルネットワークを含んで構成された第２の認証部が存在し、
前記第１の認証部は、前記第２の認証部によって前記第２の撮像画像に基づく第２の認証が成功した場合、前記第２のニューラルネットワークの第２のパラメータに基づいて前記第１のニューラルネットワークの第１のパラメータを更新する、
前記（３）に記載の固体撮像装置。
（５）
前記固体撮像装置は、複数の半導体チップを含んで構成され、
前記第１の認証部は、前記複数の半導体チップのうち、前記撮像部を含む第１の半導体チップとは異なる第２の半導体チップに含まれる、
前記（２）～（４）のいずれか一項に記載の固体撮像装置。
（６）
前記第１の認証部は、前記第２の半導体チップに含まれるＤＳＰによって実現される、
前記（５）に記載の固体撮像装置。
（７）
前記固体撮像装置は、前記撮像部からの出力信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）または（６）に記載の固体撮像装置。
（８）
前記固体撮像装置は、記憶部を備え、
前記記憶部は、前記複数の半導体チップのうち、前記第１の半導体チップおよび前記第２の半導体チップとは異なる第３の半導体チップ、または、前記第２の半導体チップに含まれる、
前記（５）～（７）のいずれか一項に記載の固体撮像装置。
（９）
前記発光部によって発せられた光は、前記発光部から直接的または所定の反射部材によって反射されて前記撮像部に到達する、
前記（１）～（８）のいずれか一項に記載の固体撮像装置。
（１０）
前記判定部は、前記第１の撮像画像における輝度の領域間差分または前記第１の撮像画像を含んだ複数フレームにおける輝度のフレーム間差分に基づいて、前記発光が検出されるか否かを判定する、
前記（１）～（９）のいずれか一項に記載の固体撮像装置。
（１１）
前記発光制御部は、前記第１の撮像画像から人が検出された場合に、前記発光部による前記発光を開始させる、
前記（１）～（１０）のいずれか一項に記載の固体撮像装置。
（１２）
前記送信制御部は、前記第１の撮像画像の第１の領域から前記発光が検出されたことに基づいて、前記第１の撮像画像の前記第１の領域とは異なる第２の領域または前記第２の領域に基づくデータの送信を制御する、
前記（１）～（１１）のいずれか一項に記載の固体撮像装置。
（１３）
前記判定部は、前記第１の撮像画像の輝度平均値が適正範囲内であるか否かに基づいて、前記第１の撮像画像から前記発光が検出されるか否かを判定する、
前記（１）～（１１）のいずれか一項に記載の固体撮像装置。
（１４）
前記発光制御部は、前記発光が前記第１の撮像画像に写った場合に前記第１の撮像画像の輝度平均値が適正範囲内に収まるようなパラメータを算出し、前記パラメータに基づいて前記発光を制御する、
前記（１３）に記載の固体撮像装置。
（１５）
前記送信制御部は、前記第２の撮像画像または前記第２の撮像画像に基づくデータの、アプリケーション、サーバ装置または外部記録媒体への送信を制御する、
前記（１）～（１４）のいずれか一項に記載の固体撮像装置。
（１６）
前記第１の認証が成功した場合、前記第１の認証によって得られたデータに基づく処理が実行される、
前記（２）～（８）のいずれか一項に記載の固体撮像装置。
（１７）
前記第１の認証によって得られたデータは、前記第２の撮像画像から識別される被写体の識別情報を含む、
前記（１６）に記載の固体撮像装置。
（１８）
前記第２の認証が成功した場合、前記第２の認証によって得られたデータに基づく処理が実行される、
前記（４）に記載の固体撮像装置。
（１９）
第１の撮像画像を撮像することと、
発光部による発光を制御することと、
前記第１の撮像画像から前記発光が検出されるか否かを判定することと、
プロセッサが、前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御することと、
を備える、固体撮像方法。
（２０）
アプリケーションと、
第１の撮像画像を撮像する撮像部と、
発光部と、
前記発光部による発光を制御する発光制御部と、
前記第１の撮像画像から前記発光が検出されるか否かを判定する判定部と、
前記発光が検出されたことに基づいて、第２の撮像画像または前記第２の撮像画像に基づくデータの送信を制御する送信制御部と、
を備える、電子機器。
【符号の説明】
【0090】
１ 固体撮像システム
１０ 電子機器
２０ イメージセンサ
２１０ ＣＩＳ
２１１ 撮像素子
２１２ Ａ／Ｄ変換器
２２０ ロジック回路
２２１ 信号処理部
２２１１ シェーディング補正部
２２１２ 混色補正部
２２１３ デジタルゲイン調整部
２２１４ ホワイトバランスゲイン調整部
２２１５ 検波部
２２１６ デモザイク処理部
２２１７ γ補正部
２３０ ＤＳＰ
２３１ ローカル認証部
２３１１ 正規化処理部
２３１２ ローカル認証処理部
２３２ ローカル認証用データ記憶部
２３３ データ送信判断部
２３３１ ＬＥＤ点灯判断部
２３３２ フラッシュ点灯判断部
２３３３ 送信制御部
２４０ メモリ
２５０ セレクタ
２６１ データ送信部
２６２ データ受信部
２７１ 発光制御部
２８１ 人検出部
２８２ 人検出用データ記憶部
３０ アプリケーション
３２ カメラモジュール
３２１ 光学レンズ
３２２ レンズホルダ
３２３ カットフィルタ
３２４ モジュール基板
３６ ＬＥＤモジュール
３６１ ＬＥＤ
３６２ 光源用レンズ
３６３ モジュール基板
３６４ フラッシュ
４０ サーバ装置
４１０ データ受信部
４２０ サーバ認証部
４３０ サーバ認証用データ記憶部
４４０ データ送信部
５０ ネットワーク
６０ 検出装置
７０ 外部記録媒体
Ｌ１ 第１の半導体チップ
Ｌ２ 第２の半導体チップ
Ｌ３ 第３の半導体チップ
１０ 電子機器
２０ イメージセンサ
２１０ ＣＩＳ
２１１ 撮像素子
２１２ Ａ／Ｄ変換器
２２０ ロジック回路
２２１ 信号処理部
２２１１ シェーディング補正部
２２１２ 混色補正部
２２１３ デジタルゲイン調整部
２２１４ ホワイトバランスゲイン調整部
２２１５ 検波部
２２１６ デモザイク処理部
２２１７ γ補正部
２３０ ＤＳＰ
２３１ ローカル認証部
２３１１ 正規化処理部
２３１２ ローカル認証処理部
２３２ ローカル認証用データ記憶部
２３３ データ送信判断部
２３３１ ＬＥＤ点灯判断部
２３３２ フラッシュ点灯判断部
２３３３ 送信制御部
２４０ メモリ
２５０ セレクタ
２６１ データ送信部
２６２ データ受信部
２７１ 発光制御部
２８１ 人検出部
２８２ 人検出用データ記憶部
３０ アプリケーション
３２ カメラモジュール
３２１ 光学レンズ
３２２ レンズホルダ
３２３ カットフィルタ
３２４ モジュール基板
３６ ＬＥＤモジュール
３６１ ＬＥＤ
３６２ 光源用レンズ
３６３ モジュール基板
３６４ フラッシュ
４０ サーバ装置
４１０ データ受信部
４２０ サーバ認証部
４３０ サーバ認証用データ記憶部
４４０ データ送信部
５０ ネットワーク
６０ 検出装置
７０ 外部記録媒体
Ｌ１ 第１の半導体チップ
Ｌ２ 第２の半導体チップ
Ｌ３ 第３の半導体チップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】