知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176038
(43)【公開日】2024-12-19
(54)【発明の名称】信号処理装置、信号処理方法
(51)【国際特許分類】
G06V 10/82 20220101AFI20241212BHJP
H04N 25/10 20230101ALI20241212BHJP
G06T 7/00 20170101ALI20241212BHJP
H04N 23/60 20230101ALI20241212BHJP
【ＦＩ】
G06V10/82
H04N25/10
G06T7/00 350C
H04N23/60 500
H04N23/60 300
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023094237
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(72)【発明者】
【氏名】川崎 凌平
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122FF15
5C122FH01
5C122FH11
5C122FH14
5C122HA86
5C122HB01
5C122HB06
5L096AA02
5L096GA40
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】ＡＩモデルを用いた画像解析処理についての処理精度向上を図る。
【解決手段】本技術に係る信号処理装置は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部を備えている。
【選択図】図２
【解決手段】本技術に係る信号処理装置は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部を備えている。
【選択図】図２
【特許請求の範囲】
【請求項1】
異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部を備えた
信号処理装置。
信号処理装置。
【請求項2】
前記画素アレイ部により得られる撮像画像についてデモザイク処理を行うデモザイク処理部と、
撮像対象シーンについてのシーン判定結果に基づき、前記ＡＩ処理部の入力データが、前記デモザイク処理部によるデモザイク処理後の画像であるデモザイク後画像と前記非デモザイク画像との間で切り替えられるように制御する制御部を備えた
請求項１に記載の信号処理装置。
撮像対象シーンについてのシーン判定結果に基づき、前記ＡＩ処理部の入力データが、前記デモザイク処理部によるデモザイク処理後の画像であるデモザイク後画像と前記非デモザイク画像との間で切り替えられるように制御する制御部を備えた
請求項１に記載の信号処理装置。
【請求項3】
前記制御部は、
前記デモザイク後画像が前記入力データとされる場合には前記ＡＩモデルとして前記デモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、前記非デモザイク画像が前記入力データとされる場合には前記ＡＩモデルとして前記非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御する
請求項２に記載の信号処理装置。
前記デモザイク後画像が前記入力データとされる場合には前記ＡＩモデルとして前記デモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、前記非デモザイク画像が前記入力データとされる場合には前記ＡＩモデルとして前記非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御する
請求項２に記載の信号処理装置。
【請求項4】
前記撮像対象シーンの判定は、暗シーンであるか否かの判定であり、
前記制御部は、
暗シーンと判定された場合に前記入力データとして前記非デモザイク画像を入力させる
請求項２に記載の信号処理装置。
前記制御部は、
暗シーンと判定された場合に前記入力データとして前記非デモザイク画像を入力させる
請求項２に記載の信号処理装置。
【請求項5】
前記デモザイク処理部を含み、前記撮像画像を対象とした画像信号処理を行う画像信号処理部を備え、
前記制御部は、
前記シーン判定結果に基づき、前記画像信号処理部の信号処理パラメータを変化させる
請求項２に記載の信号処理装置。
前記制御部は、
前記シーン判定結果に基づき、前記画像信号処理部の信号処理パラメータを変化させる
請求項２に記載の信号処理装置。
【請求項6】
前記ＡＩモデルは、ＣＮＮとしてのニューラルネットワークを有するＡＩモデルとされ、
各前記画素ユニットから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像である色分離画像を生成する画像編成部を備え、
前記ＡＩ処理部は、前記色分離画像を入力データとして前記画像解析処理を行う
請求項１に記載の信号処理装置。
各前記画素ユニットから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像である色分離画像を生成する画像編成部を備え、
前記ＡＩ処理部は、前記色分離画像を入力データとして前記画像解析処理を行う
請求項１に記載の信号処理装置。
【請求項7】
前記ＡＩ処理部は、シェーディング補正後の前記非デモザイク画像を入力データとして前記画像解析処理を行う
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項8】
前記非デモザイク画像を蓄積する蓄積部を備えた
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項9】
前記蓄積部に蓄積された前記非デモザイク画像を装置外部に送信する処理を行う送信処理部を備えた
請求項８に記載の信号処理装置。
請求項８に記載の信号処理装置。
【請求項10】
前記画素アレイ部を備えたセンサ装置として構成された
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項11】
異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行う
信号処理方法。
信号処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、ＡＩモデルを用いた画像解析処理を行う信号処理装置とその方法とに関するものである。
【背景技術】
【0002】
例えば、ＣＮＮ（Convolutional Neural Network）等のニューラルネットワークを有するＡＩ（Artificial Intelligence：人工知能）モデルを用いて、撮像画像を対象とした物体検出処理や物体認識処理等の画像解析処理を行う技術が普及している。
かかる画像解析処理では、ＡＩモデルの入力データとして、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の３ｃｈの画像を用いることが一般的とされる（例えば、下記特許文献１を参照）。
かかる画像解析処理では、ＡＩモデルの入力データとして、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の３ｃｈの画像を用いることが一般的とされる（例えば、下記特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－１７０８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、人が画像を鑑賞する用途では、Ｒ、Ｇ、Ｂの３ｃｈの画像を用いることでフルカラー表現が可能となり望ましいが、ＡＩモデルの性能面で考えると、Ｒ、Ｇ、Ｂの３ｃｈの画像を入力データとして用いることが最善であるとは限らない。
【0005】
本技術は上記事情に鑑み為されたものであり、ＡＩモデルを用いた画像解析処理についての処理精度向上を図ることを目的とする。
【課題を解決するための手段】
【0006】
本技術に係る信号処理装置は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部を備えたものである。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して処理精度が低下する場合がある。上記のように非デモザイク画像を画像解析処理の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となる。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して処理精度が低下する場合がある。上記のように非デモザイク画像を画像解析処理の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となる。
【図面の簡単な説明】
【0007】
【図1】第一実施形態としての信号処理装置を備えたカメラ装置の概略構成例を示したブロック図である。
【図2】第一実施形態としての信号処理装置が備える画像信号処理部の内部構成例を説明するための図である。
【図3】ＡＩ処理部の入力データの種類を変化させた場合の画像解析処理精度の変化特性について実験を行った結果を示した図である。
【図4】実施形態における色分離画像の説明図である。
【図5】デモザイク後画像を用いた場合に生じる解析処理精度低下の要因について考察するための図である。
【図6】第一実施形態としての解析処理手法を実現するための具体的な処理手順例を示したフローチャートである。
【図7】第二実施形態としてのカメラ装置の構成例を説明するためのブロック図である。
【図8】変形例としての解析処理手法を実現するための具体的な処理手順例を示したフローチャートである。
【図9】ＡＩ処理部がセンサ装置外に設けられた構成例についての説明図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照し、本技術に係る信号処理装置の実施形態を次の順序で説明する。
＜１．第一実施形態＞
［1-1．カメラ装置の構成例］
［1-2．第一実施形態としての解析処理手法］
［1-3．処理手順］
＜２．第二実施形態＞
＜３．変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞
＜１．第一実施形態＞
［1-1．カメラ装置の構成例］
［1-2．第一実施形態としての解析処理手法］
［1-3．処理手順］
＜２．第二実施形態＞
＜３．変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞
【0009】
＜１．第一実施形態＞
［1-1．カメラ装置の構成例］
図１は、本技術に係る第一実施形態としての信号処理装置を備えたカメラ装置１０の概略構成例を示したブロック図である。
図示のようにカメラ装置１０は、センサ部１と共に、光学系１１、通信Ｉ／Ｆ（インタフェース）１２、カメラ制御部１３、センサ外メモリ部１４、及び通信部１５を備えている。
［1-1．カメラ装置の構成例］
図１は、本技術に係る第一実施形態としての信号処理装置を備えたカメラ装置１０の概略構成例を示したブロック図である。
図示のようにカメラ装置１０は、センサ部１と共に、光学系１１、通信Ｉ／Ｆ（インタフェース）１２、カメラ制御部１３、センサ外メモリ部１４、及び通信部１５を備えている。
【0010】
カメラ装置１０において、第一実施形態としての信号処理装置は、センサ部１が該当する。
センサ部１は、例えばＣＣＤ（Charge Coupled Device）型イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等のイメージセンサとして構成される。
センサ部１は、撮像機能のみでなく、撮像画像についての画像解析処理として、ＡＩ（Artificial Intelligence：人工知能）モデルを用いた画像解析処理を行うことが可能に構成されている。
また、センサ部１は、受光素子を有する画素として、異なる波長帯の光を受光する複数の画素が形成されており、カラー画像としての撮像画像を得ることが可能に構成されている。
センサ部１は、例えばＣＣＤ（Charge Coupled Device）型イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等のイメージセンサとして構成される。
センサ部１は、撮像機能のみでなく、撮像画像についての画像解析処理として、ＡＩ（Artificial Intelligence：人工知能）モデルを用いた画像解析処理を行うことが可能に構成されている。
また、センサ部１は、受光素子を有する画素として、異なる波長帯の光を受光する複数の画素が形成されており、カラー画像としての撮像画像を得ることが可能に構成されている。
【0011】
カメラ装置１０において、光学系１１は、カバーレンズ、フォーカスレンズ等のレンズや絞り（アイリス）機構を備える。この光学系１１により、被写体からの光（入射光）が導かれ、センサ部１の受光面に集光される。
【0012】
通信インタフェース（Ｉ／Ｆ）１２は、センサ部１とカメラ制御部１３との間でデータ通信を行うための通信インタフェースである。
【0013】
カメラ制御部１３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ( Random Access Memory)を有するマイクロコンピュータを備えて構成され、ＣＰＵがＲＯＭに記憶されているプログラム、又はＲＡＭにロードされたプログラムに従って各種の処理を実行することで、カメラ装置１０の全体制御を行う。
カメラ制御部１３は、通信インタフェース１２を介して、センサ部１からの各種のデータの受信、及びセンサ部１に対する各種データの送信を行うことができる。
カメラ制御部１３は、通信インタフェース１２を介して、センサ部１からの各種のデータの受信、及びセンサ部１に対する各種データの送信を行うことができる。
【0014】
カメラ制御部１３には、センサ外メモリ部１４が接続されている。センサ外メモリ部１４は、例えばＳＳＤ（Solid State Drive）やフラッシュメモリ装置等の不揮発性の記憶デバイスで構成され、カメラ制御部１３が各種制御に用いる情報の記憶に用いられる。また、センサ外メモリ部１４は、センサ部１による撮像画像データ等、センサ部１において得られた各種データの記憶に用いることもできる。
本実施形態のカメラ装置１０では、センサ外メモリ部１４には第一ＡＩモデル設定データＰ１、及び第二ＡＩモデル設定データＰ２が記憶されるが、これらについては後に改めて説明する。
本実施形態のカメラ装置１０では、センサ外メモリ部１４には第一ＡＩモデル設定データＰ１、及び第二ＡＩモデル設定データＰ２が記憶されるが、これらについては後に改めて説明する。
【0015】
また、カメラ制御部１３には、通信部１５が接続されている。
通信部１５は、外部装置との間で有線又は無線によるデータ通信を行うことが可能に構成されている。通信部１５としては、ネットワーク通信機能を有するように構成することもでき、その場合、カメラ制御部１３は、通信部１５を介して、例えばインターネット等の所定のネットワーク上における所定装置（例えば、サーバ装置）との間でデータのやりとりを行うことが可能とされる。
通信部１５は、外部装置との間で有線又は無線によるデータ通信を行うことが可能に構成されている。通信部１５としては、ネットワーク通信機能を有するように構成することもでき、その場合、カメラ制御部１３は、通信部１５を介して、例えばインターネット等の所定のネットワーク上における所定装置（例えば、サーバ装置）との間でデータのやりとりを行うことが可能とされる。
【0016】
センサ部１は、図示のように画素アレイ部２、画像信号処理部３、前処理部４、ＡＩ処理部５、センサ内制御部６、センサ内メモリ部７、出力データ生成部８、及び通信インタフェース（Ｉ／Ｆ）９を有している。
【0017】
画素アレイ部２は、例えばフォトダイオード等の受光素子（光電変換素子）を有する画素が、水平方向及び垂直方向の二次元に複数配列されている。
具体的に、画素アレイ部２は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットＰｕ（後述する図４Ａを参照）を有し、この画素ユニットＰｕが二次元に複数配列されて構成されている。
具体的に、画素アレイ部２は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットＰｕ（後述する図４Ａを参照）を有し、この画素ユニットＰｕが二次元に複数配列されて構成されている。
【0018】
本実施形態において、画素ユニットＰｕは、Ｒ（赤色）光を受光するＲ画素、Ｇ（緑色）光を受光するＧ画素、及びＢ（青色）光を受光するＢ画素の三種の画素が所定の配列パターンにより配列されて成る。具体的に、本例における画素ユニットＰｕは、Ｒ画素、Ｇ画素、及びＢ画素がベイヤー（bayer）配列されて成る。
【0019】
画素アレイ部２には、各画素の値（受光値）を読み出す読み出し回路や、アナログ信号としての画素値をデジタルサンプリングするためのＡＤＣ（Analog to Digital Converter）等、デジタルデータとしての画像データを得るための構成も含まれる。
【0020】
画像信号処理部（ＩＳＰ：Imaging Signal Processor）３は、画素アレイ部２により得られた画像データ（撮像画像データ）を入力し、各種の画像信号処理を施す。
なお、画像信号処理部３の内部構成については後に改めて説明する。
なお、画像信号処理部３の内部構成については後に改めて説明する。
【0021】
前処理部４は、画像信号処理部３による画像信号処理後の画像データを入力し、ＡＩ処理部５による画像解析処理にとっての前処理としての画像信号処理を施す。具体的に、本例における前処理部４は、少なくとも画像のリサイズ処理を行うことが可能に構成されている。
【0022】
ＡＩ処理部５は、前処理部４より出力される画像データを入力データとして、ＡＩモデルを用いた画像解析処理を行う。
ＡＩ処理部５は、例えばＤＳＰ（Digital Signal Processor）により構成され、処理パラメータの切り替えによって、画像解析処理に用いるＡＩモデルの切り替えが可能とされている。
本例のＡＩ処理部５は、例えばＣＮＮ（Convolutional Neural Network）等のニューラルネットワークを有するＡＩモデルを用いた画像解析処理を行うことが可能に構成されている。
ＡＩ処理部５は、例えばＤＳＰ（Digital Signal Processor）により構成され、処理パラメータの切り替えによって、画像解析処理に用いるＡＩモデルの切り替えが可能とされている。
本例のＡＩ処理部５は、例えばＣＮＮ（Convolutional Neural Network）等のニューラルネットワークを有するＡＩモデルを用いた画像解析処理を行うことが可能に構成されている。
【0023】
ここで、一例として、本例におけるカメラ装置１０は、スーパーマーケットやデパート等の商業施設に配置されて、顧客としての人を対象被写体とした画像解析処理を行うものとする。具体的には、人を対象被写体とした物体検出処理を行うものであるとする。
この場合において、ＡＩ処理部５におけるＡＩモデルとしては、人を対象被写体とした物体検出処理を行うように機械学習されたＡＩモデルを用いる。ここで、物体検出処理は、いわゆるバウンディングボックスとしての、対象被写体が存在する領域を特定する処理を含むものである。
この場合において、ＡＩ処理部５におけるＡＩモデルとしては、人を対象被写体とした物体検出処理を行うように機械学習されたＡＩモデルを用いる。ここで、物体検出処理は、いわゆるバウンディングボックスとしての、対象被写体が存在する領域を特定する処理を含むものである。
【0024】
センサ内制御部６は、例えばＣＰＵ、ＲＯＭ、及びＲＡＭ等を有して構成されたマイクロコンピュータを備えて構成され、センサ部１の動作を統括的に制御する。
例えば、センサ内制御部６は、画素アレイ部２の動作制御を行う。具体的には、動作の開始／停止の制御等を行う。
また、センサ内制御部６は、画像信号処理部３、前処理部４、及びＡＩ処理部５の動作制御も行う。画像信号処理部３、前処理部４の動作制御については、センサ内制御部６は、各種処理の処理パラメータの制御を行うことが可能とされる。
また、ＡＩ処理部５の制御として、センサ内制御部６は、ＡＩモデルの切り替え制御を行うことが可能とされる。
例えば、センサ内制御部６は、画素アレイ部２の動作制御を行う。具体的には、動作の開始／停止の制御等を行う。
また、センサ内制御部６は、画像信号処理部３、前処理部４、及びＡＩ処理部５の動作制御も行う。画像信号処理部３、前処理部４の動作制御については、センサ内制御部６は、各種処理の処理パラメータの制御を行うことが可能とされる。
また、ＡＩ処理部５の制御として、センサ内制御部６は、ＡＩモデルの切り替え制御を行うことが可能とされる。
【0025】
センサ内制御部６には、センサ内メモリ部７が接続されている。センサ内メモリ部７は、例えばフラッシュメモリ装置等の不揮発性の記憶デバイスで構成され、センサ内制御部６が各種制御に用いる情報の記憶に用いられる。
【0026】
出力データ生成部８は、ＡＩ処理部５による解析処理結果と、画像信号処理部３より出力される画像データとを入力し、センサ部１の外部に出力する出力データを生成する。出力データ生成部８は、センサ内制御部６の指示に基づき出力データを生成する。例えば、ＡＩ処理部５による解析処理結果と画像データの双方を出力データとするか、或いは、ＡＩ処理部５による解析処理結果のみを出力データとするかの切り替えをセンサ内制御部６の指示に基づき行うことが考えられる。
【0027】
通信インタフェース９は、センサ部１内からセンサ部１外へのデータ出力、及びセンサ部１外からセンサ部１内へのデータ入力を可能とするための通信インタフェースであり、前述した通信インタフェース１２との間で、所定の通信データフォーマットに従ったデータ通信を行う。
この通信インタフェース９を介して、上述した出力データをセンサ部１の外部（本例ではカメラ制御部１３）に対して出力することができる。
また、センサ内制御部６は、通信インタフェース９を介して、カメラ制御部１３との間でデータ通信を行うことが可能とされている。
この通信インタフェース９を介して、上述した出力データをセンサ部１の外部（本例ではカメラ制御部１３）に対して出力することができる。
また、センサ内制御部６は、通信インタフェース９を介して、カメラ制御部１３との間でデータ通信を行うことが可能とされている。
【0028】
【0029】
画像信号処理部３には、図１に示した画素アレイ部２より、ＲＡＷデータとしての画像データが入力される。ここで言うＲＡＷデータとは、各画素の値をラスタ順で読み出して得られる画像データ、つまり本例ではベイヤー配列による画素配列を維持した状態の画像データを意味するものである。
【0030】
図示のように画像信号処理部３は、黒レベル補正部３１、ゲイン調整部３３、デモザイク処理部３４、色補正部３５、ガンマ補正部３６、及びデワープ処理部３７を有しており、画素アレイ部２より入力されるＲＡＷデータとしての画像データに対し、シェーディング補正処理、ゲイン調整処理、デモザイク処理、色補正処理、ガンマ補正処理、及びデワープ処理を順に施すことが可能とされている。
【0031】
ここで、ゲイン調整部３３によるゲイン調整処理としては、画素の色を問わずに画像全体の輝度分布を調整するための全体ゲイン調整と、色ごとのゲイン調整処理であるＡＷＢ（Auto White Balance）処理とを含む。
【0032】
また、デモザイク処理部３４によるデモザイク処理は、ベイヤー配列状態の入力画像データからＲ、Ｇ、Ｂの色ごとに空間的な補間処理を行うことによって入力画像データと同画素数によるＲ画像、Ｇ画像、Ｂ画像としての各画像データを生成する処理である。
【0033】
色補正部３５においては、デモザイク処理後の画像データについてリニアマトリクス処理による色補正処理を行う。
また、デワープ処理部３７においては、デワープ処理として、少なくともレンズ歪み補正処理を行う。
また、デワープ処理部３７においては、デワープ処理として、少なくともレンズ歪み補正処理を行う。
【0034】
ここで、本実施形態における画像信号処理部３は、画像編成部３８、及びセレクタ３９も備えているが、これらについては後に改めて説明する。
【0035】
［1-2．第一実施形態としての解析処理手法］
前述もしたように、人が画像を鑑賞する用途では、Ｒ、Ｇ、Ｂの３ｃｈの画像を用いることはフルカラー表現が可能となり望ましいものとなるが、ＡＩモデルを用いた画像解析処理にとって、入力データとしてＲ、Ｇ、Ｂの３ｃｈの画像を用いることは、解析処理精度の面で必ずしも最善であるとは言えない。
前述もしたように、人が画像を鑑賞する用途では、Ｒ、Ｇ、Ｂの３ｃｈの画像を用いることはフルカラー表現が可能となり望ましいものとなるが、ＡＩモデルを用いた画像解析処理にとって、入力データとしてＲ、Ｇ、Ｂの３ｃｈの画像を用いることは、解析処理精度の面で必ずしも最善であるとは言えない。
【0036】
この点に鑑み、本実施形態では、ＡＩ処理部５の入力データとして、デモザイク処理されていない状態の撮像画像である非デモザイク画像を用いるという手法を提案する。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して、画像解析処理の精度が低下する場合がある。
これに対し、上記のように非デモザイク画像をＡＩ処理部５の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となり、ＡＩモデルを用いた画像解析処理についての処理精度向上を図ることができる。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して、画像解析処理の精度が低下する場合がある。
これに対し、上記のように非デモザイク画像をＡＩ処理部５の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となり、ＡＩモデルを用いた画像解析処理についての処理精度向上を図ることができる。
【0037】
また、本実施形態では、撮像対象シーンについてのシーン判定結果に基づき、ＡＩ処理部５の入力データが、デモザイク処理部３４によるデモザイク処理後の画像であるデモザイク後画像と非デモザイク画像との間で切り替えられるようにする。
【0038】
ここで、本実施形態のようにセンサ装置内でＡＩモデルを用いた画像解析処理を行う場合は、画像解析処理に割くことのできるリソース（メモリ量や演算能力）が不足する傾向となる。
例えば、物体検出処理等、ＡＩモデルを用いた画像解析処理は、実用上、カメラで捉えられるシーンに或る程度の変化が生じても精度維持が図られるようにすることが要請される。例えば、昼夜等の明／暗シーンや、人等の解析対象の被写体が比較的遠くに存在しているシーンや近くに存在しているシーン等、カメラで捉えられるシーンは経時的に変化し得るものであるが、そのようなシーンの変化に対しても解析処理精度が一定以上に維持されることが望ましい。
例えば、物体検出処理等、ＡＩモデルを用いた画像解析処理は、実用上、カメラで捉えられるシーンに或る程度の変化が生じても精度維持が図られるようにすることが要請される。例えば、昼夜等の明／暗シーンや、人等の解析対象の被写体が比較的遠くに存在しているシーンや近くに存在しているシーン等、カメラで捉えられるシーンは経時的に変化し得るものであるが、そのようなシーンの変化に対しても解析処理精度が一定以上に維持されることが望ましい。
【0039】
シーン変化に対する精度維持を図るためには、ＡＩモデルの学習として、対応したい各シーンの撮像画像を学習用入力データに用いた機械学習を行って、シーンの差を吸収可能なＡＩモデルを作成することが考えられる。
【0040】
しかしながら、このようにシーンの差を吸収可能とするためには、ＡＩモデルとして比較的多くのフィルタ係数、ネットワーク階層数を要するものとなり、ＡＩモデル実現に要するリソースが増大してしまう。
このため、シーンの変化をＡＩモデルにおいて吸収するという手法は、画像解析処理の実行主体が比較的リソースの豊富なコンピュータ装置、具体的には、カメラ装置１０外部のコンピュータ装置で行う場合には適用可能であるが、画像解析処理をリソースが限られるカメラ装置１０内で行う場合、特には、センサ装置（センサ部１）内で行う場合には適用が困難となる。
このため、シーンの変化をＡＩモデルにおいて吸収するという手法は、画像解析処理の実行主体が比較的リソースの豊富なコンピュータ装置、具体的には、カメラ装置１０外部のコンピュータ装置で行う場合には適用可能であるが、画像解析処理をリソースが限られるカメラ装置１０内で行う場合、特には、センサ装置（センサ部１）内で行う場合には適用が困難となる。
【0041】
このため、本実施形態では、上記のようにシーン判定結果に基づいてＡＩ処理部５の入力データをデモザイク後画像と非デモザイク画像との間で切り替えるという手法を採る。
【0042】
図３は、ＡＩ処理部５の入力データの種類を変化させた場合の画像解析処理精度の変化特性について実験を行った結果を示している。
具体的に、図３の実験結果は、ＡＩモデルを用いた画像解析処理として人の体を対象被写体とした物体検出処理を行った場合の結果を示すものであり、暗シーンと明シーンの各シーンごとに、図２の＜１＞から＜６＞で示す各取り出し位置の画像データを入力データとして用いた場合の画像解析処理精度の評価値の測定結果を示している。
ここでの評価値は、人の体を対象被写体とした物体検出処理を複数回行った場合における、９０％以上の人を正確に検出できた割合を求めたものである。
具体的に、図３の実験結果は、ＡＩモデルを用いた画像解析処理として人の体を対象被写体とした物体検出処理を行った場合の結果を示すものであり、暗シーンと明シーンの各シーンごとに、図２の＜１＞から＜６＞で示す各取り出し位置の画像データを入力データとして用いた場合の画像解析処理精度の評価値の測定結果を示している。
ここでの評価値は、人の体を対象被写体とした物体検出処理を複数回行った場合における、９０％以上の人を正確に検出できた割合を求めたものである。
【0043】
ここで、暗シーンとは、対象被写体が暗く写るシーンを意味するものであり、例えば、対象被写体の輝度値が一定値以下となるシーンと定義することができるものである。明シーンは、逆に対象被写体が明るく写るシーンを意味するものであり、例えば、対象被写体の輝度値が上記の一定値を超えるシーンと定義することができる。
【0044】
図２を参照して分かるように、＜１＞の取り出し位置は、画像信号処理部３への入力直前の位置であり、＜２＞の取り出し位置は、シェーディング補正部３２とゲイン調整部３３との間の位置である。また、＜３＞の取り出し位置は、ゲイン調整部３３とデモザイク処理部３４との間の位置である。
これら＜１＞から＜３＞の取り出し位置は、共にデモザイク前の位置となるが、実験では、これら＜１＞から＜３＞の取り出し位置の画像データとしては、ＡＩモデルとしてＣＮＮを有するＡＩモデルを用いることに対応して、以下で説明する色分離画像としての画像データを用いるものとしている。
これら＜１＞から＜３＞の取り出し位置は、共にデモザイク前の位置となるが、実験では、これら＜１＞から＜３＞の取り出し位置の画像データとしては、ＡＩモデルとしてＣＮＮを有するＡＩモデルを用いることに対応して、以下で説明する色分離画像としての画像データを用いるものとしている。
【0045】
図４は、実施形態における色分離画像の説明図である。
図４Ａは、画素アレイ部２における画素配列（本例ではベイヤー配列）を示している。図示のように本例では、画素ユニットＰｕは、Ｒ、Ｇ、Ｇ、Ｂの四つの画素がベイヤーフォーマットに従った所定の配列パターンで配列されて成る。
図４Ａは、画素アレイ部２における画素配列（本例ではベイヤー配列）を示している。図示のように本例では、画素ユニットＰｕは、Ｒ、Ｇ、Ｇ、Ｂの四つの画素がベイヤーフォーマットに従った所定の配列パターンで配列されて成る。
【0046】
ここで言う色分離画像とは、各画素ユニットＰｕから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像を意味する。
図４Ｂは、ベイヤー配列の場合に生成される色分離画像を例示している。図示のようにベイヤー配列の場合には、各画素ユニットＰｕにおけるＲ画素、Ｇ画素、Ｇ画素、Ｂ画素について、画素ユニット内位置が同じ画素の画素値同士を収集して同一画像平面上のそれぞれ異なる領域に並べることで、各画素ユニットＰｕにおけるＲ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおける一方のＧ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおける他方のＧ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおけるＢ画素の画素値が配列された画像領域とを有する色分離画像を生成する。
図４Ｂは、ベイヤー配列の場合に生成される色分離画像を例示している。図示のようにベイヤー配列の場合には、各画素ユニットＰｕにおけるＲ画素、Ｇ画素、Ｇ画素、Ｂ画素について、画素ユニット内位置が同じ画素の画素値同士を収集して同一画像平面上のそれぞれ異なる領域に並べることで、各画素ユニットＰｕにおけるＲ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおける一方のＧ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおける他方のＧ画素の画素値が配列された画像領域と、各画素ユニットＰｕにおけるＢ画素の画素値が配列された画像領域とを有する色分離画像を生成する。
【0047】
上記のような色分離画像をＡＩ処理部５の入力データとして用いることで、ＡＩ処理部に対する入力データの形式が、ＣＮＮの構成に適した入力データ形式となり、画像解析処理の精度向上を図ることができる。
【0048】
説明を図３に戻す。
＜４＞から＜６＞の取り出し位置は、デモザイク後の取り出し位置であり、＜４＞はデモザイク処理部３４と色補正部３５との間の位置、＜５＞は色補正部３５とガンマ補正部３６との間の位置、＜６＞はガンマ補正部３６とデワープ処理部３７との間の位置である。
＜４＞から＜６＞の取り出し位置は、デモザイク後の取り出し位置であり、＜４＞はデモザイク処理部３４と色補正部３５との間の位置、＜５＞は色補正部３５とガンマ補正部３６との間の位置、＜６＞はガンマ補正部３６とデワープ処理部３７との間の位置である。
【0049】
図３の結果によると、明シーンにおいては、入力データを＜１＞から＜６＞の何れのデータ種類とした場合であっても評価値は９０％以上となっている。この点より、明シーンの場合には、物体検出処理の精度がデータ種類の違いに依存しない傾向となることが分かる。
【0050】
一方、暗シーンの場合には、＜４＞の取り出し位置以降において、評価値の顕著な低下が確認できる。すなわち、デモザイク後画像を入力データとした場合に、処理精度の顕著な低下が生じるものである。
実験によると、＜１＞から＜３＞のデモザイク前のデータ種類とした場合、評価値は６０％以上を維持しているのに対し、デモザイク後の＜４＞＜５＞のデータ種類では評価値が６０％を大きく下回るものとなっている。＜６＞のデータ種類、すなわちガンマ補正後のデモザイク後画像を用いる場合には、評価値の若干の上昇は確認できるが、６０％には満たないものとなっている。
暗シーンでは、＜２＞のデータ種類、すなわちシェーディング補正後且つゲイン調整前の画像を用いる場合が最も評価値が高く、評価値＝７５％程度となる結果が得られている。
実験によると、＜１＞から＜３＞のデモザイク前のデータ種類とした場合、評価値は６０％以上を維持しているのに対し、デモザイク後の＜４＞＜５＞のデータ種類では評価値が６０％を大きく下回るものとなっている。＜６＞のデータ種類、すなわちガンマ補正後のデモザイク後画像を用いる場合には、評価値の若干の上昇は確認できるが、６０％には満たないものとなっている。
暗シーンでは、＜２＞のデータ種類、すなわちシェーディング補正後且つゲイン調整前の画像を用いる場合が最も評価値が高く、評価値＝７５％程度となる結果が得られている。
【0051】
上記の実験結果のように、デモザイク後画像を用いた場合に画像解析処理の精度低下が生じるのは、デモザイク処理としての空間的な補間処理を行うことに伴う本来画素値との乖離が暗シーンにおいて顕著化することに依るものと考えられる。
【0052】
また、リソースが限られた下では、ＡＩ処理部５への入力データ量が削減されるように、ＡＩ処理部５への入力データを前処理部４において所定サイズにリサイズ（例えば間引き）するようにされるが、この点に起因しても、デモザイク後画像を用いた場合の処理精度低下が生じると考えられる。
【0053】
具体例として、例えば、ＡＩ処理部５の入力データ量を１２８０×９６０画素のデータ量に制限する前提において、図５に示すように非デモザイク画像を用いる場合は１２８０×９６０画素の解像度（情報密度）による画像を入力データとすることができるが、デモザイク後画像を用いる場合は、ＡＩ処理部５の入力データとなるＲ画像、Ｂ画像、Ｇ画像それぞれの解像度は７３９×５５４画素に縮小化されてしまう。
このように解像度が低下する点も、入力データにデモザイク後画像を用いた場合における処理精度低下の一因となると考えられる。
このように解像度が低下する点も、入力データにデモザイク後画像を用いた場合における処理精度低下の一因となると考えられる。
【0054】
上記の点を踏まえ、本実施形態では、撮像対象シーンの判定として、暗シーンであるか否かの判定を行い、暗シーンと判定された場合にＡＩ処理部５の入力データとして非デモザイク画像を入力させるという手法を採る。
これにより、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合において、暗シーンにおける画像解析処理精度の低下抑制を図ることができ、シーンに依存した画像解析処理精度低下の抑制を図ることができる。
これにより、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合において、暗シーンにおける画像解析処理精度の低下抑制を図ることができ、シーンに依存した画像解析処理精度低下の抑制を図ることができる。
【0055】
本例において、暗シーンにおける入力データとしては、＜２＞と示したシェーディング補正後の非デモザイク画像を用いる。具体的には、シェーディング補正部３２とゲイン調整部３３との間で得られる非デモザイク画像についての色分離画像を暗シーンにおける入力データとする。
【0056】
このために、本実施形態のカメラ装置１０においては、画像信号処理部３において、画像編成部３８を設けるものとしている。
図２に示すように画像編成部３８は、シェーディング補正部３２より出力されるシェーディング補正後の非デモザイク画像を入力し、先の図３で説明した手法により画素値の並べ替えを行うことで、シェーディング補正後の非デモザイク画像についての色分離画像を生成する。
図２に示すように画像編成部３８は、シェーディング補正部３２より出力されるシェーディング補正後の非デモザイク画像を入力し、先の図３で説明した手法により画素値の並べ替えを行うことで、シェーディング補正後の非デモザイク画像についての色分離画像を生成する。
【0057】
また、本実施形態では、暗シーンか否かの判定の結果、暗シーンではないと判定された場合は、ＡＩ処理部５の入力データとしてデモザイク後画像が入力されるようにする。
具体的に本例において、暗シーンではないと判定された場合は、デワープ処理部３７より出力されるデモザイク後画像がＡＩ処理部５の入力データとして与えられるようにする。
具体的に本例において、暗シーンではないと判定された場合は、デワープ処理部３７より出力されるデモザイク後画像がＡＩ処理部５の入力データとして与えられるようにする。
【0058】
このような暗シーン／明シーンに応じた入力データ切り替えを可能とするべく、画像信号処理部３にはセレクタ３９が設けられる。
セレクタ３９は、画像編成部３８において色分離画像とされた非デモザイク画像と、デワープ処理部３７より出力されるデモザイク後画像とを入力し、センサ内制御部６により指示された方の画像を前処理部４に対して出力する。
セレクタ３９は、画像編成部３８において色分離画像とされた非デモザイク画像と、デワープ処理部３７より出力されるデモザイク後画像とを入力し、センサ内制御部６により指示された方の画像を前処理部４に対して出力する。
【0059】
本例において、暗シーンか否かの判定は、センサ内制御部６がデモザイク後画像に基づいて行う。具体的に、本例におけるセンサ内制御部６は、デワープ処理部３７が出力するデモザイク後画像に基づいて暗シーンか否かの判定を行う。
そして、センサ内制御部６は、暗シーンか否かの判定を行った結果、暗シーンでないと判定した場合にはセレクタ３９にデモザイク後画像を出力させ（選択させ）、暗シーンであると判定した場合にはセレクタ３９に非デモザイク画像を出力させる（選択させる）。
そして、センサ内制御部６は、暗シーンか否かの判定を行った結果、暗シーンでないと判定した場合にはセレクタ３９にデモザイク後画像を出力させ（選択させ）、暗シーンであると判定した場合にはセレクタ３９に非デモザイク画像を出力させる（選択させる）。
【0060】
また、本実施形態において、センサ内制御部６は、デモザイク後画像がＡＩ処理部５の入力データとされる場合にはＡＩモデルとしてデモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、非デモザイク画像がＡＩ処理部５の入力データとされる場合にはＡＩモデルとして非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御する。
【0061】
本例では、前者のＡＩモデル、すなわちデモザイク後画像を学習用入力データとして学習されたＡＩモデルを実現するためのＡＩ処理部５の設定データが、図１に示したセンサ外メモリ部１４において、第一ＡＩモデル設定データＰ１として記憶され、また、後者のＡＩモデル、すなわち非デモザイク画像を学習用入力データとして学習されたＡＩモデルを実現するためのＡＩ処理部５の設定データが、センサ外メモリ部１４において第二ＡＩモデル設定データＰ２として記憶されている。
ここで、第一ＡＩモデル設定データＰ１、第二ＡＩモデル設定データＰ２には、ＣＮＮにおける畳み込み処理等のフィルタ処理で用いるフィルタ係数としてのパラメータや、ニューラルネットワークの構造に係る各種パラメータを含むデータとされる。
ここで、第一ＡＩモデル設定データＰ１、第二ＡＩモデル設定データＰ２には、ＣＮＮにおける畳み込み処理等のフィルタ処理で用いるフィルタ係数としてのパラメータや、ニューラルネットワークの構造に係る各種パラメータを含むデータとされる。
【0062】
センサ内制御部６は、暗シーンではないと判定した場合には、通信インタフェース９を介してカメラ制御部１３に対する指示を行って、センサ外メモリ部１４から第一ＡＩモデル設定データＰ１を読み出させ、自身に対して転送させる。そして、転送された第一ＡＩモデル設定データＰ１に従ってＡＩ処理部５のパラメータ設定を行うことで、ＡＩ処理部５がデモザイク後画像を学習用入力データとして学習されたＡＩモデルによる画像解析処理を実行可能な状態とする。
また、センサ内制御部６は、暗シーンであると判定した場合には、通信インタフェース９を介してカメラ制御部１３に対する指示を行ってセンサ外メモリ部１４から第二ＡＩモデル設定データＰ２を読み出させ、自身に対して転送させると共に、転送された第二ＡＩモデル設定データＰ２に従ってＡＩ処理部５のパラメータ設定を行うことで、ＡＩ処理部５が非デモザイク画像を学習用入力データとして学習されたＡＩモデルによる画像解析処理を実行可能な状態とする。
また、センサ内制御部６は、暗シーンであると判定した場合には、通信インタフェース９を介してカメラ制御部１３に対する指示を行ってセンサ外メモリ部１４から第二ＡＩモデル設定データＰ２を読み出させ、自身に対して転送させると共に、転送された第二ＡＩモデル設定データＰ２に従ってＡＩ処理部５のパラメータ設定を行うことで、ＡＩ処理部５が非デモザイク画像を学習用入力データとして学習されたＡＩモデルによる画像解析処理を実行可能な状態とする。
【0063】
［1-3．処理手順］
図６のフローチャートを参照し、上記により説明した第一実施形態としての解析処理手法を実現するためにセンサ内制御部６が実行すべき具体的な処理手順例について説明する。
なお、図６に示す処理は、センサ内制御部６におけるＣＰＵが、センサ内制御部６のＲＯＭ等の所定の記憶装置に記憶されたプログラムに基づき実行する。ただし、以下では説明上、処理の実行主体はセンサ内制御部６であると表現する。
本例において、センサ内制御部６は、図６に示す処理を起動に応じて開始する。
図６のフローチャートを参照し、上記により説明した第一実施形態としての解析処理手法を実現するためにセンサ内制御部６が実行すべき具体的な処理手順例について説明する。
なお、図６に示す処理は、センサ内制御部６におけるＣＰＵが、センサ内制御部６のＲＯＭ等の所定の記憶装置に記憶されたプログラムに基づき実行する。ただし、以下では説明上、処理の実行主体はセンサ内制御部６であると表現する。
本例において、センサ内制御部６は、図６に示す処理を起動に応じて開始する。
【0064】
先ず、センサ内制御部６はステップＳ１０１で、シーン判定実行条件が成立したか否かを判定する。すなわち、後述するステップＳ１０３のシーン判定処理（本例では暗シーンか否かの判定処理）を実行すべきとして予め定められた所定条件が成立したか否かを判定する。
ステップＳ１０３のシーン判定処理は、例えば、所定の時間間隔で周期的に行うことが考えられる。その場合、シーン判定条件としては、一定時間の経過を条件とすればよい。
なお、シーン判定実行条件は、外部からの指示が行われたことや、照度センサ等を用いた簡易的な明るさ検出の結果、明るさに所定量以上の変化があったこと等とすることも考えられ、特定の条件に限定されるものではない。
ステップＳ１０３のシーン判定処理は、例えば、所定の時間間隔で周期的に行うことが考えられる。その場合、シーン判定条件としては、一定時間の経過を条件とすればよい。
なお、シーン判定実行条件は、外部からの指示が行われたことや、照度センサ等を用いた簡易的な明るさ検出の結果、明るさに所定量以上の変化があったこと等とすることも考えられ、特定の条件に限定されるものではない。
【0065】
ステップＳ１０１において、シーン判定実行条件が成立していないと判定した場合、センサ内制御部６はステップＳ１０２に進み、処理終了であるか否か、すなわち、例えば電源断等、図６に示す一連の処理を終了すべきとして予め定められた所定条件が成立したか否かを判定する。
ステップＳ１０２において、処理終了でないと判定した場合、センサ内制御部６はステップＳ１０１に戻る。
すなわち、ステップＳ１０１及びＳ１０２の処理によっては、シーン判定実行条件の成立、処理終了条件の成立の何れかを待機するループ処理が形成される。
ステップＳ１０２において、処理終了でないと判定した場合、センサ内制御部６はステップＳ１０１に戻る。
すなわち、ステップＳ１０１及びＳ１０２の処理によっては、シーン判定実行条件の成立、処理終了条件の成立の何れかを待機するループ処理が形成される。
【0066】
ステップＳ１０１において、シーン判定実行条件が成立したと判定した場合、センサ内制御部６はステップＳ１０３に進み、シーン判定処理を実行する。すなわち、本例では、デワープ処理部３７より出力されるデモザイク後画像に基づいて暗シーンか否かの判定を行う。具体的には、対象被写体の領域の平均輝度値が所定輝度値以下であるか否かの判定を行う。このとき、対象被写体の領域は、例えば、ＡＩ処理部５による物体検出処理の結果として得られる対象被写体の領域情報に基づき特定することが考えられる。なお、ＡＩ処理部５による物体検出処理が開始されていない状態では、例えばフレーム間の差分検出処理等による動体検出処理によって検出された動体の領域を対象被写体の領域として特定すること等が考えられる。
【0067】
ステップＳ１０３に続くステップＳ１０４でセンサ内制御部６は、暗シーンであるか否かの判定を行う。すなわち、ステップＳ１０３の判定処理の結果、暗シーンであるとの判定結果が得られたか否かを判定する。
【0068】
ステップＳ１０４において、暗シーンではないと判定した場合、センサ内制御部６はステップＳ１０５に進み、デモザイク後画像の選択指示を行う。すなわち、セレクタ３９に対し、デワープ処理部３７より入力されるデモザイク後画像を選択出力する指示を行う。
【0069】
そして、ステップＳ１０５に続くステップＳ１０６でセンサ内制御部６は、第一ＡＩモデルの設定処理を行う。すなわち、通信インタフェース９を介してカメラ制御部１３に対する指示を行ってセンサ外メモリ部１４から第一ＡＩモデル設定データＰ１を読み出させ、自身に対して転送させると共に、転送された第一ＡＩモデル設定データＰ１に従ってＡＩ処理部５のパラメータ設定を行う。
これにより、暗シーンではないと判定された場合は、ＡＩ処理部５において、デモザイク後画像を入力データとし、デモザイク後画像を学習用入力データとして学習が行われたＡＩモデルを用いた画像解析処理が行われる。
これにより、暗シーンではないと判定された場合は、ＡＩ処理部５において、デモザイク後画像を入力データとし、デモザイク後画像を学習用入力データとして学習が行われたＡＩモデルを用いた画像解析処理が行われる。
【0070】
センサ内制御部６は、ステップＳ１０６の設定処理を実行したことに応じてステップＳ１０１に戻る。
【0071】
また、先のステップＳ１０４において、暗シーンであると判定した場合、センサ内制御部６はステップＳ１０７に進み、非デモザイク画像の選択指示、すなわち、セレクタ３９に対し画像編成部３８より入力される色分離画像による非デモザイク画像を選択出力する指示を行う。
【0072】
さらに、ステップＳ１０７に続くステップＳ１０８でセンサ内制御部６は、第二ＡＩモデルの設定処理を行う。すなわち、通信インタフェース９を介してカメラ制御部１３に対する指示を行ってセンサ外メモリ部１４から第二ＡＩモデル設定データＰ２を読み出させ、自身に対して転送させると共に、転送された第二ＡＩモデル設定データＰ２に従ってＡＩ処理部５のパラメータ設定を行う。
これにより、暗シーンであると判定された場合は、ＡＩ処理部５において、色分離画像による非デモザイク画像を入力データとし、色分離画像による非デモザイク画像を学習用入力データとして学習が行われたＡＩモデルを用いた画像解析処理が行われる。
これにより、暗シーンであると判定された場合は、ＡＩ処理部５において、色分離画像による非デモザイク画像を入力データとし、色分離画像による非デモザイク画像を学習用入力データとして学習が行われたＡＩモデルを用いた画像解析処理が行われる。
【0073】
センサ内制御部６は、ステップＳ１０８の設定処理を実行したことに応じてステップＳ１０１に戻る。
【0074】
また、センサ内制御部６は、先のステップＳ１０２で処理終了であると判定した場合は、図６に示す一連の処理を終える。
【0075】
なお、シーン判定処理について、暗シーンであるか否かの判定は、ＡＩ処理部５におけるＡＩモデルの一部機能として暗シーンであるか否かの判定機能を持たせることにより、ＡＩ処理部５において実行させることも考えられる。その場合、センサ内制御部６は、このようにＡＩ処理部５で行われる暗シーンか否かの判定処理の結果に基づき、セレクタ３９の制御（及びＡＩモデルの切り替え制御）を行う。
【0076】
＜２．第二実施形態＞
続いて、第二実施形態について説明する。
第二実施形態は、ＡＩ処理部５で用いるＡＩモデルを再学習することを想定して、非デモザイク画像を蓄積するものである。
続いて、第二実施形態について説明する。
第二実施形態は、ＡＩ処理部５で用いるＡＩモデルを再学習することを想定して、非デモザイク画像を蓄積するものである。
【0077】
図７は、非デモザイク画像の蓄積機能を有する第二実施形態としてのカメラ装置１０Ａの構成例を説明するためのブロック図である。
なお、図７では図示の都合から、光学系１１の図示と、画素アレイ部２、センサ内メモリ部７及び出力データ生成部８の図示を省略しているが、第二実施形態のカメラ装置１０Ａとしてもこれら光学系１１、画素アレイ部２、センサ内メモリ部７及び出力データ生成部８をカメラ装置１０の場合と同様に備えるものである。また、センサ外メモリ部１４において第一ＡＩモデル設定データＰ１と第二ＡＩモデル設定データＰ２の図示を省略しているが、カメラ装置１０Ａにおいてもこれら第一ＡＩモデル設定データＰ１と第二ＡＩモデル設定データＰ２はカメラ装置１０の場合と同様にセンサ外メモリ部１４に記憶されている。
なお、図７では図示の都合から、光学系１１の図示と、画素アレイ部２、センサ内メモリ部７及び出力データ生成部８の図示を省略しているが、第二実施形態のカメラ装置１０Ａとしてもこれら光学系１１、画素アレイ部２、センサ内メモリ部７及び出力データ生成部８をカメラ装置１０の場合と同様に備えるものである。また、センサ外メモリ部１４において第一ＡＩモデル設定データＰ１と第二ＡＩモデル設定データＰ２の図示を省略しているが、カメラ装置１０Ａにおいてもこれら第一ＡＩモデル設定データＰ１と第二ＡＩモデル設定データＰ２はカメラ装置１０の場合と同様にセンサ外メモリ部１４に記憶されている。
【0078】
以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
【0079】
カメラ装置１０Ａにおいて、図１に示したカメラ装置１０との相違点は、センサ部１に代えてセンサ部１Ａが設けられた点である。
センサ部１Ａは、センサ部１と比較して、センサ内制御部６に代えてセンサ内制御部６Ａが設けられた点が異なる。
センサ部１Ａは、センサ部１と比較して、センサ内制御部６に代えてセンサ内制御部６Ａが設けられた点が異なる。
【0080】
センサ内制御部６Ａは、非デモザイク画像をカメラ装置１０Ａ内のメモリ、具体的に本例ではセンサ外メモリ部１４に蓄積させるための処理を行う点がセンサ内制御部６と異なる。
図示のようにセンサ部１Ａにおいては、画像編成部３８により生成される色分離画像による非デモザイク画像が、セレクタ３９のみでなく通信インタフェース９に入力可能とされている。
センサ内制御部６Ａは、通信インタフェース９を介して色分離画像による非デモザイク画像をカメラ制御部１３に送信させると共に、通信インタフェース９を介して、カメラ制御部１３に対して該非デモザイク画像をセンサ外メモリ部１４に記憶させる指示を行う。
これにより、センサ外メモリ部１４に対して、カメラ装置１０Ａの実使用環境下で得られ得る非デモザイク画像による撮像画像を蓄積させることができる。
図示のようにセンサ部１Ａにおいては、画像編成部３８により生成される色分離画像による非デモザイク画像が、セレクタ３９のみでなく通信インタフェース９に入力可能とされている。
センサ内制御部６Ａは、通信インタフェース９を介して色分離画像による非デモザイク画像をカメラ制御部１３に送信させると共に、通信インタフェース９を介して、カメラ制御部１３に対して該非デモザイク画像をセンサ外メモリ部１４に記憶させる指示を行う。
これにより、センサ外メモリ部１４に対して、カメラ装置１０Ａの実使用環境下で得られ得る非デモザイク画像による撮像画像を蓄積させることができる。
【0081】
また、センサ内制御部６Ａは、センサ外メモリ部１４に蓄積された非デモザイク画像を、カメラ装置１０Ａ外部に送信する処理を行う。具体的に、センサ内制御部６Ａは、カメラ装置１０Ａの外部装置（例えば、サーバ装置等）から行われた指示に基づき、センサ外メモリ部１４に蓄積された非デモザイク画像を該外部装置に送信する処理の実行をカメラ制御部１３に指示する。
これにより、ＡＩ処理部５で用いるＡＩモデルの再学習を外部装置で行う場合に対応して、再学習に用いるべき非デモザイク画像を外部装置に対して送信することが可能となる。
これにより、ＡＩ処理部５で用いるＡＩモデルの再学習を外部装置で行う場合に対応して、再学習に用いるべき非デモザイク画像を外部装置に対して送信することが可能となる。
【0082】
なお、上記では蓄積された非デモザイク画像についての送信処理の実行をセンサ内制御部６Ａがカメラ制御部１３に指示する構成を例示したが、蓄積された非デモザイク画像の送信処理は、カメラ制御部１３が外部からの指示に基づいて行うことも考えられる。
【0083】
また、上記では、非デモザイク画像を蓄積する蓄積部がセンサ外メモリ部１４とされた例を挙げたが、該蓄積部は、センサ内メモリ部７等、センサ部１Ａ内のメモリとすることも考えられる。
ここで、センサ部１Ａがカメラ装置１０Ａの外部装置と直接的に通信可能な通信部を有する場合には、蓄積された非デモザイク画像の送信処理の実行主体がセンサ内制御部６Ａとなることも有り得る。
ここで、センサ部１Ａがカメラ装置１０Ａの外部装置と直接的に通信可能な通信部を有する場合には、蓄積された非デモザイク画像の送信処理の実行主体がセンサ内制御部６Ａとなることも有り得る。
【0084】
＜３．変形例＞
なお、実施形態としては上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
例えば、シーン判定結果に基づき、画像信号処理部３の信号処理パラメータを変化させる構成とすることも考えられる。一例として、暗シーンか否かの判定結果に基づき、ゲイン調整部３３による前述した全体ゲイン調整としてのゲイン調整処理のパラメータや、ガンマ補正部３６によるガンマ補正処理のパラメータを変化させることが考えられる。具体的には、暗シーンとしての、対象被写体が暗いシーンのときは、黒つぶれ防止傾向とするパラメータによりガンマ補正や全体ゲイン調整を行い、明シーン（暗シーンでない場合）としての、対象被写体が明るいシーンのときは白飛び防止傾向とするパラメータによりガンマ補正や全体ゲイン調整を行うことが考えられる。
なお、実施形態としては上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
例えば、シーン判定結果に基づき、画像信号処理部３の信号処理パラメータを変化させる構成とすることも考えられる。一例として、暗シーンか否かの判定結果に基づき、ゲイン調整部３３による前述した全体ゲイン調整としてのゲイン調整処理のパラメータや、ガンマ補正部３６によるガンマ補正処理のパラメータを変化させることが考えられる。具体的には、暗シーンとしての、対象被写体が暗いシーンのときは、黒つぶれ防止傾向とするパラメータによりガンマ補正や全体ゲイン調整を行い、明シーン（暗シーンでない場合）としての、対象被写体が明るいシーンのときは白飛び防止傾向とするパラメータによりガンマ補正や全体ゲイン調整を行うことが考えられる。
【0085】
ここで、上記のような暗シーン／明シーンに応じたパラメータ調整は、ＡＩモデルを用いた画像解析処理として、物体検出処理を行う場合に有効な手法となる。
ＡＩモデルを用いた画像解析処理としてセマンティックセグメンテーション等のセグメンテーション処理を行う場合には、該セグメンテーション処理では、画素ごと等のブロックごとにクラス識別を行うことになるので、ガンマ補正や全体ゲイン調整を行うと、明るい部分や暗い部分のブロックでの処理精度の悪化を招く虞がある。
そのため、ＡＩモデルを用いた画像解析処理としてセグメンテーション処理を行う場合には、ガンマ補正や全体ゲイン調整を未実施の状態の撮像画像を入力データとすることが考えられる。
ＡＩモデルを用いた画像解析処理としてセマンティックセグメンテーション等のセグメンテーション処理を行う場合には、該セグメンテーション処理では、画素ごと等のブロックごとにクラス識別を行うことになるので、ガンマ補正や全体ゲイン調整を行うと、明るい部分や暗い部分のブロックでの処理精度の悪化を招く虞がある。
そのため、ＡＩモデルを用いた画像解析処理としてセグメンテーション処理を行う場合には、ガンマ補正や全体ゲイン調整を未実施の状態の撮像画像を入力データとすることが考えられる。
【0086】
図８は、上記のようにシーン判定結果に基づき画像信号処理部３の信号処理パラメータを変化させる変形例としての解析処理手法を実現するための具体的な処理手順例を示したフローチャートである。
ここで、図８に示す処理は、センサ内制御部６、センサ内制御部６Ａの何れが行ってもよいが、ここでは、センサ内制御部６が実行するものとして説明する。
ここで、図８に示す処理は、センサ内制御部６、センサ内制御部６Ａの何れが行ってもよいが、ここでは、センサ内制御部６が実行するものとして説明する。
【0087】
図８に示す処理について、先の図６に示した処理との相違点は、図中のステップＳ１１０及びＳ１１１の処理が追加された点である。
具体的に、この場合のセンサ内制御部６は、ステップＳ１０６で第一ＡＩモデルの設定処理を実行したことに応じ、ステップＳ１１０の信号処理パラメータ調整処理を行う。本例において、このステップＳ１１０の信号処理パラメータ調整処理としては、暗シーンではないと判定された場合に対応して、上記した白飛び防止傾向とするパラメータがゲイン調整部３３やガンマ補正部３６に設定されるように制御する処理を行う。
また、この場合のセンサ内制御部６は、ステップＳ１０８で第二ＡＩモデルの設定処理を実行したことに応じ、ステップＳ１１１の信号処理パラメータ調整処理を行う。具体的に、本例におけるステップＳ１１１の信号処理パラメータ調整処理としては、暗シーンであると判定された場合に対応して、上記した黒つぶれ防止傾向とするパラメータがゲイン調整部３３やガンマ補正部３６に設定されるように制御する処理を行う。
具体的に、この場合のセンサ内制御部６は、ステップＳ１０６で第一ＡＩモデルの設定処理を実行したことに応じ、ステップＳ１１０の信号処理パラメータ調整処理を行う。本例において、このステップＳ１１０の信号処理パラメータ調整処理としては、暗シーンではないと判定された場合に対応して、上記した白飛び防止傾向とするパラメータがゲイン調整部３３やガンマ補正部３６に設定されるように制御する処理を行う。
また、この場合のセンサ内制御部６は、ステップＳ１０８で第二ＡＩモデルの設定処理を実行したことに応じ、ステップＳ１１１の信号処理パラメータ調整処理を行う。具体的に、本例におけるステップＳ１１１の信号処理パラメータ調整処理としては、暗シーンであると判定された場合に対応して、上記した黒つぶれ防止傾向とするパラメータがゲイン調整部３３やガンマ補正部３６に設定されるように制御する処理を行う。
【0088】
この場合のセンサ内制御部６は、ステップＳ１１０、Ｓ１１１の何れの信号処理パラメータ調整処理を行った場合も処理をステップＳ１０１に戻す。
【0089】
なお、上記ではシーン判定結果に基づき全体ゲイン調整やガンマ補正に係るパラメータを変化させる例を挙げたが、シーン判定結果に基づき変化させるパラメータとしては、例えばＡＷＢのパラメータ等、他パラメータとすることも考えられる。
【0090】
また、上記では、ＡＩ処理部５がセンサ装置内に設けられた構成を例示したが、図９に示すカメラ装置１０Ｂのように、ＡＩ処理部５がセンサ装置外に設けられた構成とすることも考えられる。
具体的に、カメラ装置１０Ｂにおいては、センサ部１（又はセンサ部１Ａ）に代えて、画素アレイ部２と通信インタフェース９のみを有するセンサ部１Ｂが設けられる。この場合、画像信号処理部３、前処理部４、及びＡＩ処理部５はセンサ部１Ｂ外部に設けられる。また、カメラ装置１０Ｂにおいては、カメラ制御部１３に代えてカメラ制御部１３Ｂが設けられる。
具体的に、カメラ装置１０Ｂにおいては、センサ部１（又はセンサ部１Ａ）に代えて、画素アレイ部２と通信インタフェース９のみを有するセンサ部１Ｂが設けられる。この場合、画像信号処理部３、前処理部４、及びＡＩ処理部５はセンサ部１Ｂ外部に設けられる。また、カメラ装置１０Ｂにおいては、カメラ制御部１３に代えてカメラ制御部１３Ｂが設けられる。
【0091】
図示のようにカメラ装置１０Ｂにおいては、画素アレイ部２により得られるＲＡＷデータとしての撮像画像が通信インタフェース９及び通信インタフェース１２を介して、画像信号処理部３に入力される。そして、画像信号処理部３のセレクタ３９により選択された画像データが、前処理部４を介してＡＩ処理部５に入力される。
【0092】
カメラ制御部１３Ｂは、センサ内制御部６と同様に、シーン判定結果に基づくセレクタ３９の制御を行う。また、カメラ制御部１３Ｂは、センサ外メモリ部１４に記憶された第一ＡＩモデル設定データＰ１、第二ＡＩモデル設定データＰ２に基づき、センサ内制御部６と同様にＡＩ処理部５のＡＩモデル設定処理を行う。
また、第二実施形態で説明した非デモザイク画像の蓄積を実現する場合には、カメラ制御部１３Ｂは、画像信号処理部３で得られる非デモザイク画像をセンサ外メモリ部１４等のカメラ装置１０Ｂ内のメモリに記憶させる処理を行う。またこの場合、カメラ制御部１３Ｂは、蓄積された非デモザイク画像を外部装置に送信する処理を行うこともできる。
また、第二実施形態で説明した非デモザイク画像の蓄積を実現する場合には、カメラ制御部１３Ｂは、画像信号処理部３で得られる非デモザイク画像をセンサ外メモリ部１４等のカメラ装置１０Ｂ内のメモリに記憶させる処理を行う。またこの場合、カメラ制御部１３Ｂは、蓄積された非デモザイク画像を外部装置に送信する処理を行うこともできる。
【0093】
また、上記では、ＡＩ処理部５に入力する非デモザイク画像として色分離画像を用いる例を挙げたが、色分離画像以外のデータ形式による非デモザイク画像をＡＩ処理部５の入力データとして与えることもできる。
【0094】
また、上記では、ＡＩ処理部５の入力データ切り替えについて、暗シーンか否かの判定結果に基づいてデモザイク後画像／非デモザイク画像の切り替えを行う例としたが、暗シーンか否かの判定結果以外の他の基準に基づいてデモザイク後画像／非デモザイク画像の切り替えを行うことも考えられる。
例えば、対象被写体が小さく写っていて解像度が要求される場合には入力データを非デモザイク画像に切り替え、対象被写体が大きく写っているシーンでは入力データをデモザイク後画像に切り替えること等が考えられる。
例えば、対象被写体が小さく写っていて解像度が要求される場合には入力データを非デモザイク画像に切り替え、対象被写体が大きく写っているシーンでは入力データをデモザイク後画像に切り替えること等が考えられる。
【0095】
また、シーン判定として、３以上のシーンを判定するものとし、シーンごとに、ＡＩ処理部５の入力データの取り出し位置を変化させるという構成を採ることも考えられる。例えば、第一のシーンでは入力データをシェーディング補正後の非デモザイク画像とし、第二のシーンでは入力データをＡＷＢ処理後の非デモザイク画像とし、第三のシーンでは入力データをデモザイク後画像とする等が考えられる。
【0096】
また、上記では、画素アレイ部２がＲ、Ｇ、Ｂの３波長のみを受光し分ける構成とされる場合を例示したが、本技術は、例えばマルチスペクトラムカメラにおける画素アレイ部のように、４以上の波長帯の光を受光し分けることが可能に構成された画素アレイ部が用いられる場合にも好適に適用することができる。
【0097】
また、ＡＩ処理部５において、解析タスクが異なる複数のＡＩモデルを切り替えて使用することが前提とされる場合には、ＡＩ処理部５が使用するＡＩモデルの種類（つまり解析タスクの種類）によって、ＡＩ処理部５の入力データを非デモザイク画像とするか否かの決定を行うことも考えられる。
【0098】
＜５．実施形態のまとめ＞
以上で説明したように実施形態としての信号処理装置（センサ部１，１Ａ，カメラ装置１０Ｂ）は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部（同２）により得られる撮像画像について、デモザイク処理されていない状態の撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部（同５）を備えたものである。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して処理精度が低下する場合がある。上記のように非デモザイク画像を画像解析処理の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となる。
従って、ＡＩモデルを用いた画像解析処理についての処理精度向上を図ることができる。
以上で説明したように実施形態としての信号処理装置（センサ部１，１Ａ，カメラ装置１０Ｂ）は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部（同２）により得られる撮像画像について、デモザイク処理されていない状態の撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部（同５）を備えたものである。
デモザイク処理は空間的な補間処理を伴うものであるため、本来の画素値からの乖離が生じる傾向となり、ＡＩモデルによる画像解析処理の入力データとしてデモザイク後の画像を用いた場合には、上記の画素値の乖離に起因して処理精度が低下する場合がある。上記のように非デモザイク画像を画像解析処理の入力データとすることで、そのようなデモザイク処理に起因した処理精度低下の防止を図ることが可能となる。
従って、ＡＩモデルを用いた画像解析処理についての処理精度向上を図ることができる。
【0099】
また、実施形態としての信号処理装置においては、画素アレイ部により得られる撮像画像についてデモザイク処理を行うデモザイク処理部（同３４）と、撮像対象シーンについてのシーン判定結果に基づき、ＡＩ処理部の入力データが、デモザイク処理部によるデモザイク処理後の画像であるデモザイク後画像と非デモザイク画像との間で切り替えられるように制御する制御部（センサ内制御部６，６Ａ，カメラ制御部１３Ｂ）を備えている。
図３を参照して説明したように、シーンによっては、デモザイク後画像ではなく、非デモザイク画像を用いた方が画像解析処理の精度向上が図られる場合があることが実験により確認されている。すなわち、ＡＩモデルとしてシーンの差を吸収する機能を有さないモデルを用いても、或るシーンにおいては、デモザイク後画像ではなく非デモザイク画像を用いるという手法を採ることで、画像解析処理の精度向上が図られる場合がある。
上記のようにシーン判定結果に基づきＡＩ処理部の入力データをデモザイク後画像と非デモザイク画像との間で切り替えるようにすることで、非デモザイク画像を入力データとした場合に画像解析処理精度の向上が図られる特定のシーンにおいて、非デモザイク画像を入力データとすることが可能となる。
従って、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合であっても、シーンに依存した画像解析処理精度低下の抑制を図ることができる。
図３を参照して説明したように、シーンによっては、デモザイク後画像ではなく、非デモザイク画像を用いた方が画像解析処理の精度向上が図られる場合があることが実験により確認されている。すなわち、ＡＩモデルとしてシーンの差を吸収する機能を有さないモデルを用いても、或るシーンにおいては、デモザイク後画像ではなく非デモザイク画像を用いるという手法を採ることで、画像解析処理の精度向上が図られる場合がある。
上記のようにシーン判定結果に基づきＡＩ処理部の入力データをデモザイク後画像と非デモザイク画像との間で切り替えるようにすることで、非デモザイク画像を入力データとした場合に画像解析処理精度の向上が図られる特定のシーンにおいて、非デモザイク画像を入力データとすることが可能となる。
従って、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合であっても、シーンに依存した画像解析処理精度低下の抑制を図ることができる。
【0100】
さらに、実施形態としての信号処理装置においては、制御部は、デモザイク後画像が入力データとされる場合にはＡＩモデルとしてデモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、非デモザイク画像が入力データとされる場合にはＡＩモデルとして非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御している。
これにより、ＡＩモデルを用いた画像解析処理として、シーンに応じた適切な画像解析処理を実行することができる。
これにより、ＡＩモデルを用いた画像解析処理として、シーンに応じた適切な画像解析処理を実行することができる。
【0101】
さらにまた、実施形態としての信号処理装置においては、撮像対象シーンの判定は、暗シーンであるか否かの判定であり、制御部は、暗シーンと判定された場合に入力データとして非デモザイク画像を入力させている。
図３を参照して説明したように、暗シーンにおいては、デモザイク後画像ではなく、非デモザイク画像を用いた方が画像解析処理の精度向上が図られる場合があることが確認されている。
従って、上記構成によれば、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合であっても、シーンに依存した画像解析処理精度低下の抑制を図ることができる。
図３を参照して説明したように、暗シーンにおいては、デモザイク後画像ではなく、非デモザイク画像を用いた方が画像解析処理の精度向上が図られる場合があることが確認されている。
従って、上記構成によれば、リソースの問題からシーンの差を吸収可能なＡＩモデルを用いることができない場合であっても、シーンに依存した画像解析処理精度低下の抑制を図ることができる。
【0102】
また、実施形態としての信号処理装置においては、デモザイク処理部を含み、撮像画像を対象とした画像信号処理を行う画像信号処理部（同３）を備え、制御部は、シーン判定結果に基づき、画像信号処理部の信号処理パラメータを変化させている（図８参照）。
これにより、特定のシーンであると判定されて非デモザイク画像を入力データとした画像解析処理が行われる場合には、非デモザイク画像に適した画像信号処理が行われるようにし、特定のシーンではないと判定されてデモザイク後画像を入力データとした画像解析処理が行われる場合には、デモザイク後画像に適した画像信号処理が行われるようにすることが可能となる。
従って、画像解析処理の精度向上を図ることができる。
これにより、特定のシーンであると判定されて非デモザイク画像を入力データとした画像解析処理が行われる場合には、非デモザイク画像に適した画像信号処理が行われるようにし、特定のシーンではないと判定されてデモザイク後画像を入力データとした画像解析処理が行われる場合には、デモザイク後画像に適した画像信号処理が行われるようにすることが可能となる。
従って、画像解析処理の精度向上を図ることができる。
【0103】
さらに、実施形態としての信号処理装置においては、ＡＩモデルは、ＣＮＮとしてのニューラルネットワークを有するＡＩモデルとされ、各画素ユニットから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像である色分離画像を生成する画像編成部（同３８）を備え、ＡＩ処理部は、色分離画像を入力データとして画像解析処理を行っている。
これにより、ＡＩ処理部に対する入力データの形式が、ＣＮＮの構成に適した入力データ形式となる。
従って、画像解析処理の精度向上を図ることができる。
これにより、ＡＩ処理部に対する入力データの形式が、ＣＮＮの構成に適した入力データ形式となる。
従って、画像解析処理の精度向上を図ることができる。
【0104】
さらにまた、実施形態としての信号処理装置においては、ＡＩ処理部は、シェーディング補正後の非デモザイク画像を入力データとして画像解析処理を行っている。
図３を参照して説明したように、非デモザイク画像を入力データに用いるべきシーンでは、シェーディング補正後の非デモザイク画像を用いた方がシェーディング補正前の非デモザイク画像を用いる場合よりも解析処理精度の向上を図ることが可能である。
従って、上記構成によれば、暗シーン等の特定シーンに対応して解析処理精度の向上を図ることができる。
図３を参照して説明したように、非デモザイク画像を入力データに用いるべきシーンでは、シェーディング補正後の非デモザイク画像を用いた方がシェーディング補正前の非デモザイク画像を用いる場合よりも解析処理精度の向上を図ることが可能である。
従って、上記構成によれば、暗シーン等の特定シーンに対応して解析処理精度の向上を図ることができる。
【0105】
また、実施形態としての信号処理装置（センサ部１Ａ，カメラ装置１０Ｂ）においては、非デモザイク画像を蓄積する蓄積部（センサ内メモリ部７，センサ外メモリ部１４）を備えている。
蓄積部に蓄積された非デモザイク画像は、ＡＩ処理部で用いるＡＩモデルの再学習に用いることが可能である。
ＡＩモデルの再学習が可能となることで、ＡＩ処理部による画像解析処理の精度向上を図ることができる。
蓄積部に蓄積された非デモザイク画像は、ＡＩ処理部で用いるＡＩモデルの再学習に用いることが可能である。
ＡＩモデルの再学習が可能となることで、ＡＩ処理部による画像解析処理の精度向上を図ることができる。
【0106】
さらに、実施形態としての信号処理装置においては、蓄積部に蓄積された非デモザイク画像を装置外部に送信する処理を行う送信処理部（カメラ制御部１３，センサ内制御部６Ａ，カメラ制御部１３Ｂ）を備えている。
これにより、ＡＩモデルの再学習を信号処理装置の外部装置で行う場合に対応して、再学習に用いるべき非デモザイク画像を外部装置に対して送信することが可能となる。
従って、ＡＩモデルの再学習が適切に行われるように図ることができる。
これにより、ＡＩモデルの再学習を信号処理装置の外部装置で行う場合に対応して、再学習に用いるべき非デモザイク画像を外部装置に対して送信することが可能となる。
従って、ＡＩモデルの再学習が適切に行われるように図ることができる。
【0107】
さらにまた、実施形態としての信号処理装置（センサ部１，１Ａ）は、画素アレイ部を備えたセンサ装置として構成されている。
これにより、ＡＩモデルを用いた画像解析処理を実行可能に構成されたセンサ装置について、画像解析処理の精度向上を図ることができる。
これにより、ＡＩモデルを用いた画像解析処理を実行可能に構成されたセンサ装置について、画像解析処理の精度向上を図ることができる。
【0108】
また、実施形態としての信号処理方法は、異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行う信号処理方法である。
このような信号処理方法によっても、上記した実施形態としての信号処理装置と同様の作用及び効果を得ることができる。
このような信号処理方法によっても、上記した実施形態としての信号処理装置と同様の作用及び効果を得ることができる。
【0109】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0110】
＜６．本技術＞
本技術は以下のような構成を採ることもできる。
（１）
異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部を備えた
信号処理装置。
（２）
前記画素アレイ部により得られる撮像画像についてデモザイク処理を行うデモザイク処理部と、
撮像対象シーンについてのシーン判定結果に基づき、前記ＡＩ処理部の入力データが、前記デモザイク処理部によるデモザイク処理後の画像であるデモザイク後画像と前記非デモザイク画像との間で切り替えられるように制御する制御部を備えた
前記（１）に記載の信号処理装置。
（３）
前記制御部は、
前記デモザイク後画像が前記入力データとされる場合には前記ＡＩモデルとして前記デモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、前記非デモザイク画像が前記入力データとされる場合には前記ＡＩモデルとして前記非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御する
前記（２）に記載の信号処理装置。
（４）
前記撮像対象シーンの判定は、暗シーンであるか否かの判定であり、
前記制御部は、
暗シーンと判定された場合に前記入力データとして前記非デモザイク画像を入力させる
前記（２）又は（３）に記載の信号処理装置。
（５）
前記デモザイク処理部を含み、前記撮像画像を対象とした画像信号処理を行う画像信号処理部を備え、
前記制御部は、
前記シーン判定結果に基づき、前記画像信号処理部の信号処理パラメータを変化させる
前記（２）から（４）の何れかに記載の信号処理装置。
（６）
前記ＡＩモデルは、ＣＮＮとしてのニューラルネットワークを有するＡＩモデルとされ、
各前記画素ユニットから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像である色分離画像を生成する画像編成部を備え、
前記ＡＩ処理部は、前記色分離画像を入力データとして前記画像解析処理を行う
前記（１）から（５）の何れかに記載の信号処理装置。
（７）
前記ＡＩ処理部は、シェーディング補正後の前記非デモザイク画像を入力データとして前記画像解析処理を行う
前記（１）から（６）の何れかに記載の信号処理装置。
（８）
前記非デモザイク画像を蓄積する蓄積部を備えた
前記（１）から（７）の何れかに記載の信号処理装置。
（９）
前記蓄積部に蓄積された前記非デモザイク画像を装置外部に送信する処理を行う送信処理部を備えた
前記（８）に記載の信号処理装置。
（１０）
前記画素アレイ部を備えたセンサ装置として構成された
前記（１）から（９）に何れかに記載の信号処理装置。
（１１）
異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行う
信号処理方法。
本技術は以下のような構成を採ることもできる。
（１）
異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行うＡＩ処理部を備えた
信号処理装置。
（２）
前記画素アレイ部により得られる撮像画像についてデモザイク処理を行うデモザイク処理部と、
撮像対象シーンについてのシーン判定結果に基づき、前記ＡＩ処理部の入力データが、前記デモザイク処理部によるデモザイク処理後の画像であるデモザイク後画像と前記非デモザイク画像との間で切り替えられるように制御する制御部を備えた
前記（１）に記載の信号処理装置。
（３）
前記制御部は、
前記デモザイク後画像が前記入力データとされる場合には前記ＡＩモデルとして前記デモザイク後画像を学習用入力データとして学習されたＡＩモデルが用いられ、前記非デモザイク画像が前記入力データとされる場合には前記ＡＩモデルとして前記非デモザイク画像を学習用入力データとして学習されたＡＩモデルが用いられるように制御する
前記（２）に記載の信号処理装置。
（４）
前記撮像対象シーンの判定は、暗シーンであるか否かの判定であり、
前記制御部は、
暗シーンと判定された場合に前記入力データとして前記非デモザイク画像を入力させる
前記（２）又は（３）に記載の信号処理装置。
（５）
前記デモザイク処理部を含み、前記撮像画像を対象とした画像信号処理を行う画像信号処理部を備え、
前記制御部は、
前記シーン判定結果に基づき、前記画像信号処理部の信号処理パラメータを変化させる
前記（２）から（４）の何れかに記載の信号処理装置。
（６）
前記ＡＩモデルは、ＣＮＮとしてのニューラルネットワークを有するＡＩモデルとされ、
各前記画素ユニットから、画素ユニット内位置が同じ画素ごとに画素値を収集して同一画像平面上のそれぞれ異なる領域に並べて形成される画像である色分離画像を生成する画像編成部を備え、
前記ＡＩ処理部は、前記色分離画像を入力データとして前記画像解析処理を行う
前記（１）から（５）の何れかに記載の信号処理装置。
（７）
前記ＡＩ処理部は、シェーディング補正後の前記非デモザイク画像を入力データとして前記画像解析処理を行う
前記（１）から（６）の何れかに記載の信号処理装置。
（８）
前記非デモザイク画像を蓄積する蓄積部を備えた
前記（１）から（７）の何れかに記載の信号処理装置。
（９）
前記蓄積部に蓄積された前記非デモザイク画像を装置外部に送信する処理を行う送信処理部を備えた
前記（８）に記載の信号処理装置。
（１０）
前記画素アレイ部を備えたセンサ装置として構成された
前記（１）から（９）に何れかに記載の信号処理装置。
（１１）
異なる波長帯の光を受光する複数の画素が所定パターンで二次元配列されて成る画素ユニットが二次元に複数配列されて構成された画素アレイ部により得られる撮像画像について、デモザイク処理されていない状態の前記撮像画像である非デモザイク画像を入力データとして、ＡＩモデルを用いた画像解析処理を行う
信号処理方法。
【符号の説明】
【0111】
１０，１０Ａ，１０Ｂ カメラ装置
１，１Ａ，１Ｂ センサ部
２ 画素アレイ部
３ 画像信号処理部
４ 前処理部
５ ＡＩ処理部
６，６Ａ センサ内制御部
７ センサ内メモリ部
８ 出力データ生成部
９ 通信インタフェース（Ｉ／Ｆ）
１１ 光学系
１２ 通信インタフェース（Ｉ／Ｆ）
１３，１３Ｂ カメラ制御部
１４ センサ外メモリ部
１５ 通信部
Ｐ１ 第一ＡＩモデル設定データ
Ｐ２ 第二ＡＩモデル設定データ
３１ 黒レベル補正部
３２ シェーディング補正部
３３ ゲイン調整部
３４ デモザイク処理部
３５ 色補正部
３６ ガンマ補正部
３７ デワープ処理部
３８ 画像編成部
３９ セレクタ
Ｐｕ 画素ユニット
１，１Ａ，１Ｂ センサ部
２ 画素アレイ部
３ 画像信号処理部
４ 前処理部
５ ＡＩ処理部
６，６Ａ センサ内制御部
７ センサ内メモリ部
８ 出力データ生成部
９ 通信インタフェース（Ｉ／Ｆ）
１１ 光学系
１２ 通信インタフェース（Ｉ／Ｆ）
１３，１３Ｂ カメラ制御部
１４ センサ外メモリ部
１５ 通信部
Ｐ１ 第一ＡＩモデル設定データ
Ｐ２ 第二ＡＩモデル設定データ
３１ 黒レベル補正部
３２ シェーディング補正部
３３ ゲイン調整部
３４ デモザイク処理部
３５ 色補正部
３６ ガンマ補正部
３７ デワープ処理部
３８ 画像編成部
３９ セレクタ
Ｐｕ 画素ユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】