知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024077770
(43)【公開日】2024-06-10
(54)【発明の名称】信号処理装置および信号処理方法
(51)【国際特許分類】
G06V 10/25 20220101AFI20240603BHJP
【ＦＩ】
G06V10/25
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022189910
(22)【出願日】2022-11-29
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】亀山 純哉
(72)【発明者】
【氏名】三浦 悟司
(72)【発明者】
【氏名】五関 正三
(72)【発明者】
【氏名】後藤 昌一
(57)【要約】
【課題】撮像画像に対するＡＩを用いた認識処理による精度を向上させることが可能な信号処理装置および信号処理方法を提供する。
【解決手段】本開示に係る信号処理装置は、撮像画像に対して探索領域を設定する領域制御部と、前記探索領域における輝度情報に対する変換処理を実行する画像処理部と、を備え、前記領域制御部は、前記画像処理部で前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する。
【選択図】図４
【解決手段】本開示に係る信号処理装置は、撮像画像に対して探索領域を設定する領域制御部と、前記探索領域における輝度情報に対する変換処理を実行する画像処理部と、を備え、前記領域制御部は、前記画像処理部で前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する。
【選択図】図４
【特許請求の範囲】
【請求項1】
撮像画像に対して探索領域を設定する領域制御部と、
前記探索領域における輝度情報に対する変換処理を実行する画像処理部と、
を備え、
前記領域制御部は、
前記画像処理部で前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する、
信号処理装置。
前記探索領域における輝度情報に対する変換処理を実行する画像処理部と、
を備え、
前記領域制御部は、
前記画像処理部で前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する、
信号処理装置。
【請求項2】
前記画像処理部は、
前記変換処理として前記輝度情報に対するヒストグラム平坦化を実行する、
請求項１に記載の信号処理装置。
前記変換処理として前記輝度情報に対するヒストグラム平坦化を実行する、
請求項１に記載の信号処理装置。
【請求項3】
前記領域制御部は、
前記探索領域のうち前記オブジェクト検出により検出されたオブジェクトの数が最大の探索領域を、前記注目領域として決定する、
請求項１に記載の信号処理装置。
前記探索領域のうち前記オブジェクト検出により検出されたオブジェクトの数が最大の探索領域を、前記注目領域として決定する、
請求項１に記載の信号処理装置。
【請求項4】
前記領域制御部は、
前記撮像画像を分割した各領域を順次に前記探索領域として設定する、
請求項１に記載の信号処理装置。
前記撮像画像を分割した各領域を順次に前記探索領域として設定する、
請求項１に記載の信号処理装置。
【請求項5】
前記領域制御部は、
前記オブジェクト検出の結果に応じて前記探索領域を段階的に狭める、
請求項１に記載の信号処理装置。
前記オブジェクト検出の結果に応じて前記探索領域を段階的に狭める、
請求項１に記載の信号処理装置。
【請求項6】
前記領域制御部は、
前記オブジェクト検出により検出された２以上のオブジェクトの重心位置に応じて前記探索領域を段階的に狭める、
請求項５に記載の信号処理装置。
前記オブジェクト検出により検出された２以上のオブジェクトの重心位置に応じて前記探索領域を段階的に狭める、
請求項５に記載の信号処理装置。
【請求項7】
前記画像処理部は、
前記探索領域に含まれる画像の画像特徴量に基づき、２以上の前記探索領域から類似度が所定以上の領域を探索する、
請求項１に記載の信号処理装置。
前記探索領域に含まれる画像の画像特徴量に基づき、２以上の前記探索領域から類似度が所定以上の領域を探索する、
請求項１に記載の信号処理装置。
【請求項8】
撮像装置から出力された前記撮像画像を取得し、取得した前記撮像画像が前記画像処理部で前記変換処理を施された画像を、学習されたモデルを用いて情報処理を行う情報処理装置に出力する、
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項9】
プロセッサにより実行される、
撮像画像に対して探索領域を設定する領域制御ステップと、
前記探索領域における輝度情報に対する変換処理を実行する画像処理ステップと、
を有し、
前記領域制御ステップは、
前記画像処理ステップにより前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する、
信号処理方法。
撮像画像に対して探索領域を設定する領域制御ステップと、
前記探索領域における輝度情報に対する変換処理を実行する画像処理ステップと、
を有し、
前記領域制御ステップは、
前記画像処理ステップにより前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する、
信号処理方法。
【請求項10】
撮像画像に対して画像処理を施して、学習された第１のモデルを用いた処理を行う処理部に出力する画像処理部と、
予め用意された第１の特徴量と、前記画像処理を施された前記撮像画像から抽出された第２の特徴量とに基づき、少なくとも前記画像処理部による前記画像処理を制御するためのパラメータを生成する生成部と、
を備える、
信号処理装置。
予め用意された第１の特徴量と、前記画像処理を施された前記撮像画像から抽出された第２の特徴量とに基づき、少なくとも前記画像処理部による前記画像処理を制御するためのパラメータを生成する生成部と、
を備える、
信号処理装置。
【請求項11】
前記生成部は、
前記第１のモデルを学習した学習データに基づき抽出された特徴量を、前記第１の特徴量として用いる、
請求項１０に記載の信号処理装置。
前記第１のモデルを学習した学習データに基づき抽出された特徴量を、前記第１の特徴量として用いる、
請求項１０に記載の信号処理装置。
【請求項12】
前記生成部は、
前記画像処理を施された前記撮像画像に対して、前記第１のモデルに対応する第２のモデルを用いた処理を行い、該処理の結果に基づき抽出された特徴量を、前記第１の特徴量として用いる、
請求項１０に記載の信号処理装置。
前記画像処理を施された前記撮像画像に対して、前記第１のモデルに対応する第２のモデルを用いた処理を行い、該処理の結果に基づき抽出された特徴量を、前記第１の特徴量として用いる、
請求項１０に記載の信号処理装置。
【請求項13】
前記生成部は、
前記第２のモデルを用いた処理に基づくスコアがより高くなるように、前記パラメータを生成する、
請求項１２に記載の信号処理装置。
前記第２のモデルを用いた処理に基づくスコアがより高くなるように、前記パラメータを生成する、
請求項１２に記載の信号処理装置。
【請求項14】
前記生成部は、
前記画像処理部が前記処理部に出力するための前記撮像画像に対して予め取得した前記撮像画像に基づき、前記第２のモデルを用いた処理を行う、
請求項１２に記載の信号処理装置。
前記画像処理部が前記処理部に出力するための前記撮像画像に対して予め取得した前記撮像画像に基づき、前記第２のモデルを用いた処理を行う、
請求項１２に記載の信号処理装置。
【請求項15】
前記第２のモデルは、前記処理部が有する前記第１のモデルである、
請求項１２に記載の信号処理装置。
請求項１２に記載の信号処理装置。
【請求項16】
前記生成部は、
前記第１の特徴量と前記第２の特徴量とに基づき、前記撮像画像を出力する撮像装置を制御するためのパラメータをさらに生成する、
請求項１０に記載の信号処理装置。
前記第１の特徴量と前記第２の特徴量とに基づき、前記撮像画像を出力する撮像装置を制御するためのパラメータをさらに生成する、
請求項１０に記載の信号処理装置。
【請求項17】
プロセッサにより実行される、
撮像画像に対して画像処理を施して、学習された第１のモデルを用いた処理を行う処理部に出力する画像処理ステップと、
予め用意された第１の特徴量と、前記画像処理を施された前記撮像画像から抽出された第２の特徴量とに基づき、少なくとも前記画像処理ステップによる前記画像処理を制御するためのパラメータを生成する生成ステップと、
を有する、
信号処理方法。
撮像画像に対して画像処理を施して、学習された第１のモデルを用いた処理を行う処理部に出力する画像処理ステップと、
予め用意された第１の特徴量と、前記画像処理を施された前記撮像画像から抽出された第２の特徴量とに基づき、少なくとも前記画像処理ステップによる前記画像処理を制御するためのパラメータを生成する生成ステップと、
を有する、
信号処理方法。
【請求項18】
撮像画像に対して、前記撮像画像の画像特徴量を最大化するための、輝度情報に対する変換処理を実行する画像処理部、
を備える、
信号処理装置。
を備える、
信号処理装置。
【請求項19】
複数の前記撮像画像から抽出された前記画像特徴量のそれぞれに基づき、類似度が所定以上の領域を探索する探索部、
をさらに備え、
前記探索部は、
前記探索された前記類似度が所定以上の領域を示す情報を、オブジェクト検出のための情報として出力する、
請求項１８に記載の信号処理装置。
をさらに備え、
前記探索部は、
前記探索された前記類似度が所定以上の領域を示す情報を、オブジェクト検出のための情報として出力する、
請求項１８に記載の信号処理装置。
【請求項20】
プロセッサにより実行される、
撮像画像に対して、前記撮像画像の画像特徴量を最大化するための、輝度情報に対する変換処理を実行する画像処理ステップ、
を有する、
信号処理方法。
撮像画像に対して、前記撮像画像の画像特徴量を最大化するための、輝度情報に対する変換処理を実行する画像処理ステップ、
を有する、
信号処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、信号処理装置および信号処理方法に関する。
【背景技術】
【0002】
カメラにより撮像された撮像画像に対してＡＩ(Artificial Intelligence)を用いて認識処理を行う技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０６８５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮像画像に対するＡＩを用いた認識処理における認識精度の向上が求められている。
【0005】
本開示は、撮像画像に対するＡＩを用いた認識処理による精度を向上させることが可能な信号処理装置および信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る信号処理装置は、撮像画像に対して探索領域を設定する領域制御部と、前記探索領域における輝度情報に対する変換処理を実行する画像処理部と、を備え、前記領域制御部は、前記画像処理部で前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する。
【図面の簡単な説明】
【0007】
【図1A】各実施形態に係る情報処理システムの構成例を示すブロック図である。
【図1B】各実施形態に係る情報処理システムの構成例を示すブロック図である。
【図2】各実施形態に適用可能な信号処理装置の一例のハードウェア構成を示すブロック図である。
【図3】各実施形態に適用可能なカメラの一例のハードウェア構成を示すブロック図である。
【図4】第１の実施形態に係る信号処理装置の機能を説明するための一例の機能ブロック図である。
【図5】第１の実施形態の第１の例による処理を説明するための模式図である。
【図6】第１の実施形態の第１の例に係る第１の処理を示す一例のフローチャートである。
【図7】撮像画像データをＮ個の小領域に分割した例を示す模式図である。
【図8】第１の実施形態の第１の例に係る第２の処理を示す一例のフローチャートである。
【図9】第１の実施形態の第２の例による処理を説明するための模式図である。
【図10】第１の実施形態の第２の例に係る処理を示す一例のフローチャートである。
【図11】第１の実施形態の第２の例に係る探索領域の縮小処理を説明するための模式図である。
【図12】第２の実施形態に係る信号処理装置の機能を説明するための一例の機能ブロック図である。
【図13】第２の実施形態に係る処理を示す一例のフローチャートである。
【図14】第３の実施形態に係る情報処理システムの一例の構成を示すブロック図である。
【図15】第３の実施形態の第１の例に係る情報処理システムの一例の構成を示すブロック図である。
【図16】第３の実施形態の第２の例に係る情報処理システムの一例の構成を示すブロック図である。
【発明を実施するための形態】
【0008】
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
【0009】
以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の技術の概要
２．各実施形態に適用可能な構成
２－１．システム構成例
２－２．ハードウェア構成例
３．第１の実施形態
３－１．第１の例
３－２．第２の例
４．第２の実施形態
５．第３の実施形態
５－１．第１の例
５－２．第２の例
１．本開示の技術の概要
２．各実施形態に適用可能な構成
２－１．システム構成例
２－２．ハードウェア構成例
３．第１の実施形態
３－１．第１の例
３－２．第２の例
４．第２の実施形態
５．第３の実施形態
５－１．第１の例
５－２．第２の例
【0010】
（１．本開示の技術の概要）
先ず、本開示の技術について概略的に説明する。本開示では、例えばカメラにより撮像された撮像画像の部分あるいは全体を対象として信号処理を実行して、対象の領域における画像特徴量を最大化する。この画像特徴量が最大化された画像に対して、ＡＩ(Artificial Intelligence)を用いてＡＩ処理、例えば認識処理を実行する。画像特徴量が最大化された画像に対してＡＩによる認識処理を実行することで、より高精度の認識結果を取得することが可能となる。また、本開示では、ＡＩタスクに適した画像特徴量に基づく、カメラおよび信号処理に対するキャリブレーション方法も提案する。
先ず、本開示の技術について概略的に説明する。本開示では、例えばカメラにより撮像された撮像画像の部分あるいは全体を対象として信号処理を実行して、対象の領域における画像特徴量を最大化する。この画像特徴量が最大化された画像に対して、ＡＩ(Artificial Intelligence)を用いてＡＩ処理、例えば認識処理を実行する。画像特徴量が最大化された画像に対してＡＩによる認識処理を実行することで、より高精度の認識結果を取得することが可能となる。また、本開示では、ＡＩタスクに適した画像特徴量に基づく、カメラおよび信号処理に対するキャリブレーション方法も提案する。
【0011】
（２．各実施形態に適用可能な構成）
次に、各実施形態に適用可能な構成について説明する。
次に、各実施形態に適用可能な構成について説明する。
【0012】
【0013】
図１Ａにおいて、情報処理システム１ａは、それぞれ有線あるいは無線により接続されるカメラ１０と、信号処理装置２０と、ＡＩ装置３０と、を含む。カメラ１０は、被写体を撮像し、撮像により得られた撮像画像を出力する。より具体的には、カメラ１０は、所定のフレームレートで、動画像による撮像を行い、フレームごとの撮像画像を出力する。
【0014】
信号処理装置２０は、カメラ１０から出力された撮像画像を取得し、取得した撮像画像に対して所定の信号処理を施す。例えば、信号処理装置２０は、取得した撮像画像に対して、ＡＩ装置３０がＡＩ処理を行う注目領域の候補である探索領域を設定してよい。探索領域は、撮像画像の一部の小領域であってもよいし、撮像画像の全体を含む大領域であってもよい。
【0015】
また、信号処理装置２０は、設定した探索領域の画像特徴量を最大化するための信号処理を施してよい。信号処理装置２０は、画像特徴量を最大化するための信号処理として、輝度情報に対する変換処理を施してよい。より具体的には、信号処理装置２０は、当該信号処理として、ヒストグラム平坦化を適用してよい。
【0016】
ヒストグラム平坦化は、画素値のヒストグラムが全体的に平坦になるように濃度変換を行う処理である。コントラストの低い画像は、ある輝度帯域に画素値の頻度が集中している。そのため、ヒストグラムを平坦化することで、コントラストの高い画像を得ることが可能である。ヒストグラム平坦化により画像を高コントラスト化することで、当該画像による画像特徴量を最大化することが可能である。
【0017】
信号処理装置２０は、撮像画像に対して上述の信号処理を施した画像を、ＡＩ装置３０に渡す。
【0018】
信号処理装置２０は、さらに、ＡＩ装置３０から、探索領域の画像に対してＡＩ処理を施した処理結果を受け取ってよい。信号処理装置２０は、ＡＩ装置３０から受け取った処理結果に基づき、探索領域から継続的に処理対象とする注目領域を決定してよい。
【0019】
ＡＩ装置３０は、例えば予め学習されたモデルを有し、信号処理装置２０から渡された画像に対して当該モデルを用いてＡＩによる処理を実行する。より具体的には、ＡＩ装置３０は、信号処理装置２０から渡された画像から画像の特徴を示す画像特徴量を抽出し、抽出した画像特徴量に基づきＡＩによる処理を実行する。ＡＩ装置３０が実行するＡＩによる処理（以下、適宜、ＡＩ処理と呼ぶ）は、特に限定されないが、例えばＣＮＮ(Convolutional Neural Network)を用いた、画像特徴量に基づく認識処理であってよい。ＡＩ装置３０は、ＡＩ処理による処理結果を信号処理装置２０に渡してよい。また、ＡＩ装置３０は、ＡＩ処理による処理結果を外部に出力してよい。さらに、ＡＩ装置３０は、抽出した画像特徴量を外部に出力してもよい。
【0020】
なお、図１Ａでは、カメラ１０、信号処理装置２０およびＡＩ装置３０がそれぞれ独立した装置として示されているが、これはこの例に限定されない。例えば、カメラ１０と信号処理装置２０とを一体的に構成してよい。同様に、信号処理装置２０とＡＩ装置３０とを一体的に構成してもよいし、カメラ１０、信号処理装置２０およびＡＩ装置３０を一体的に構成することもできる。さらに、ＡＩ装置３０は、単独の装置に限定されず、例えばクラウドネットワーク上に構成されるシステムであってもよい。
【0021】
図１Ｂは、各実施形態に適用可能な情報処理システムの別の構成例を示すブロック図である。図１Ｂにおいて、情報処理システム１ｂは、複数のカメラ１０1、１０2、…と、これらカメラ１０1、１０2、…それぞれに接続される複数の信号処理装置２０1、２０2、…を含む。各信号処理装置２０1、２０2、…は、ＡＩ装置３０’に接続される。
【0022】
ＡＩ装置３０’は、各信号処理装置２０1、２０2、…から渡された画像から画像特徴量を抽出し、抽出した画像特徴量に基づき、認識処理のようなＡＩ処理を実行し、ＡＩ処理による処理結果を各信号処理装置２０1、２０2、…に返すと共に、外部に出力する。
【0023】
図１Ｂに示す情報処理システム１ｂは、各カメラ１０1、１０2、…による各撮像画像に対して、各信号処理装置２０1、２０2、…により、画像特徴量を最大化するために、ヒストグラム平坦化といった輝度情報の変換処理を施している。この処理により、撮像画像に基づく画像特徴量の抽出において、例えば各カメラ１０1、１０2、…の撮像条件の差異（照明条件が異なるなど）を吸収することができる。
【0024】
図１Ａおよび図１Ｂにそれぞれ示した情報処理システム１ａおよび１ｂは、例えば撮像画像に基づく監視を行う監視システムに適用可能である。例えば、図１Ｂに示す情報処理システム１ｂでは、カメラ１０1、１０2、…による各撮像画像に基づき、各撮像画像内に共通するオブジェクト（例えば人）を特定してよい。また、図１Ａに示す情報処理システム１ａにおいても、カメラ１０により撮像された、時系列方向の各撮像画像に基づき、各撮像画像内に共通するオブジェクト（例えば人）を特定してよい。情報処理システム１ａまたは１ｂが適用された監視システムは、このように特定されたオブジェクト（人）を追跡することができる。
【0025】
（２－２．ハードウェア構成例）
次に、各実施形態に適用可能なハードウェア構成例について説明する。
次に、各実施形態に適用可能なハードウェア構成例について説明する。
【0026】
図２は、各実施形態に適用可能な信号処理装置２０の一例のハードウェア構成を示すブロック図である。
【0027】
図２において、信号処理装置２０は、ＣＰＵ(Central Processing Unit)２０００と、ＲＯＭ(Read Only Memory)２００１と、ＲＡＭ(Random Access Memory)２００２と、ストレージ装置２００３と、データＩ／Ｆ（インタフェース）２００４と、通信Ｉ／Ｆ２００５と、カメラＩ／Ｆ２００６と、を含み、これら各部がバス２０２０により互いに通信可能に接続される。また、信号処理装置２０は、画像処理装置２０１０をさらに含んでよい。画像処理装置２０１０は、バス２０２０に接続され、信号処理装置２０の各部と互いに通信可能に接続される。
【0028】
ストレージ装置２００３は、例えばフラッシュメモリやハードディスクドライブといった不揮発性の記憶媒体である。ＣＰＵ２０００は、ＲＯＭ２００１およびストレージ装置２００３に記憶されるプログラムに従い、ＲＡＭ２００２をワークメモリとして用いて、この信号処理装置２０の全体の動作を制御する。
【0029】
データＩ／Ｆ２００４は、外部の装置との間でのデータの入出力を制御する。例えば、データＩ／Ｆ２００４は、カメラ１０との間でのデータの入出力や、ＡＩ装置３０との間でのデータの入出力を制御するものであってもよい。データＩ／Ｆ２００４は、接続される機器（カメラ１０、ＡＩ装置３０）に独自の方式のインタフェースであってよいし、データＩ／Ｆ２００４は、例えばＵＳＢ(Universal Serial Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）といった、汎用のインタフェースであってもよい。
【0030】
通信Ｉ／Ｆ２００５は、ＬＡＮ(Local Area Network)やインターネットといった通信ネットワークを介した通信を制御する。
【0031】
カメラＩ／Ｆ２００６は、カメラ１０との間で通信を行うためのインタフェースである。信号処理装置２０は、カメラ１０から出力される画像データを、カメラＩ／Ｆ２００６により受信し、例えばＣＰＵ２０００に渡す。図２の例では、カメラＩ／Ｆ２００６が独立したブロックとして示されているが、これはこの例に限定されず、例えばデータＩ／Ｆ２００４をカメラＩ／Ｆ２００６として用いることも可能である。
【0032】
画像処理装置２０１０は、例えばＩＳＰ(Image Signal Processor)であってよく、ＣＰＵ２０００からの指示に従い、バス２０２０を介して供給される画像データに対して画像処理を施す。画像処理装置２０１０による画像処理の結果は、例えばＣＰＵ２０００に渡される。
【0033】
なお、画像処理装置２０１０により実行される画像処理が、ＣＰＵ２０００により実行可能である場合には、画像処理装置２０１０を省略することができる。
【0034】
図３は、各実施形態に適用可能なカメラ１０の一例のハードウェア構成を示すブロック図である。図３において、カメラ１０は、ＣＰＵ１０００と、ＲＯＭ１００１と、ＲＡＭ１００２と、センサ１０１０と、フレームメモリ１０１１と、カメラＩ／Ｆ１０１２と、を含み、これら各部がバス１０２０により互いに通信可能に接続される。
【0035】
ＣＰＵ１０００は、ＲＯＭ１００１に記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、このカメラ１０の全体の動作を制御する。
【0036】
センサ１０１０は、受光した光を電気信号に変換する画素が行列状の配列で配置された画素アレイと、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された電気信号（画素信号）に対してノイズ除去、ゲイン調整といった所定の信号処理を施す信号処理回路とを含む。また、当該信号処理回路は、各画素からアナログ方式の信号として読み出された画素信号を、ディジタル方式の信号（画素データ）に変換するＡＤ(Analog to Digital)変換回路をさらに含む。
【0037】
センサ１０１０は、レンズ、絞り機構、オートフォーカス機構などを含む光学部１１を介して入射された光が画素アレイの照射面に照射される。センサ１０１０は、各画素において露光を行い、露光により各画素から読み出されたアナログ方式の画素信号をディジタル方式の画素データに変換して出力する。センサ１０１０から出力された画素データは、フレームメモリ１０１１に格納される。フレームメモリ１０１１に１フレーム分の画素データが格納されると、それがフレーム画像の画像データとして、フレームメモリ１０１１から読み出される。
【0038】
なお、１フレームの画像データは、１フレーム期間に画素アレイにおける有効画素領域から読み出された画素信号に基づくデータである。
【0039】
カメラＩ／Ｆ１０１２は、外部機器（例えば信号処理装置２０）との間で通信を行うためのインタフェースである。カメラ１０は、撮像画像データを、カメラＩ／Ｆ１０１２から外部に出力する。より具体的には、カメラ１０は、フレームメモリ１０１１から読み出された１フレーム分の画像データを、カメラＩ／Ｆ１０１２から、撮像画像データとして出力する。なお、撮像画像データは、適宜、撮像画像と呼ばれることがある。また、カメラＩ／Ｆ１０１２は、外部機器との間で、コマンドを含む各種データの入出力を行ってよい。
【0040】
なお、ＡＩ装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ストレージ装置、通信Ｉ／Ｆなどを有し、一般的なコンピュータと同等の構成を適用できるので、ここでの詳細な説明を省略する。ＡＩ装置３０が実行するＡＩ処理のためのモデルは、例えばストレージ装置に格納される。
【0041】
（３．第１の実施形態）
次に、本開示の第１の実施形態について説明する。本開示の第１の実施形態では、ＡＩ装置３０が継続的にＡＩ処理を行うための注目領域を自動探索するシステムを提案する。より具体的には、第１の実施形態では、撮像画像の全体あるいは小領域による探索領域に対して画像特徴量を最大化するための画像処理を施してＡＩ装置３０によりＡＩ処理を実行し、その処理結果に基づき、ＡＩ装置３０が継続的にＡＩ処理を行うための注目領域を決定する。
次に、本開示の第１の実施形態について説明する。本開示の第１の実施形態では、ＡＩ装置３０が継続的にＡＩ処理を行うための注目領域を自動探索するシステムを提案する。より具体的には、第１の実施形態では、撮像画像の全体あるいは小領域による探索領域に対して画像特徴量を最大化するための画像処理を施してＡＩ装置３０によりＡＩ処理を実行し、その処理結果に基づき、ＡＩ装置３０が継続的にＡＩ処理を行うための注目領域を決定する。
【0042】
なお、以下では、特に記載の無い限り、ＡＩ装置３０は、ＡＩ処理としてオブジェクト検出を行うための認識処理を実行するものとする。
【0043】
図４は、第１の実施形態に係る信号処理装置２０の機能を説明するための一例の機能ブロック図である。
【0044】
図４において、第１の実施形態に係る情報処理システム１ｃが含む信号処理装置２０ａは、領域制御部２００と、画像処理部２０１と、検出結果処理部２０２と、を含む。
【0045】
これら領域制御部２００、画像処理部２０１および検出結果処理部２０２は、第１の実施形態に係る信号処理プログラムがＣＰＵ２０００上で動作することで構成されてよい。これに限らず、これら領域制御部２００、画像処理部２０１および検出結果処理部２０２の一部または全部を、互いに協働して動作するハードウェア回路（ＩＳＰなど）により構成してもよい。
【0046】
領域制御部２００は、カメラ１０から出力された撮像画像に対して探索領域あるいは注目領域を設定する。
【0047】
画像処理部２０１は、領域制御部２００により設定された探索領域あるいは注目領域の画像データに対して画像特徴量を最大化するための画像処理を施す。画像処理部２０１は、画像処理を施した画像データをＡＩ装置３０に渡す。
【0048】
本開示では、画像処理部２０１における画像データの画像特徴量を最大化する画像処理として、ヒストグラム平坦化を行う。ヒストグラム平坦化は、画素値のヒストグラムが全体的に平坦になるように濃度変換を行う処理である。換言すれば、ヒストグラム平坦化処理は、画像データの輝度情報に対する変換処理ということができる。コントラストの低い画像は、ある輝度帯域に画素値の頻度が集中している。そのため、ヒストグラムを平坦化することで、コントラストの高い画像を得ることが可能である。ヒストグラム平坦化により画像を高コントラスト化することで、当該画像による画像特徴量を最大化することが可能である。
【0049】
検出結果処理部２０２は、ＡＩ装置３０による認識処理によるオブジェクトの検出結果を取得する。例えば、ＡＩ装置３０は、認識処理により検出されたオブジェクトに基づき当該オブジェクトを含むバウンディングボックスを生成し、生成したバウンディングボックスを示す情報を、オブジェクトの検出結果として出力してよい。バウンディングボックスを示す情報は、例えば、バウンディングボックスの画像内での座標を示す情報を含む。バウンディングボックスの座標は、例えばＸ軸方向の最大値および最小値、Ｙ軸方向の最大値および最小値により表してよい。検出結果処理部２０２は、ＡＩ装置３０から取得した検出結果に対して、処理の処理を実行する。
【0050】
なお、以下では、「バウンディングボックスを示す情報」を単に「バウンディングボックス」として記述することがある。
【0051】
領域制御部２００は、検出結果処理部２０２によりＡＩ装置３０の検出結果に所定の処理が施された情報に基づき、探索領域の絞り込み、ＡＩ装置３０が継続的に認識対象とする注目領域の決定、などの処理を行う。
【0052】
信号処理装置２０において、ＣＰＵ２０００は、実施形態に係る機能を実現するためのプログラムが実行されることで、上述した領域制御部２００、画像処理部２０１および検出結果処理部２０２を、ＲＡＭ２００２における主記憶領域に、例えばモジュールとして構成する。
【0053】
当該プログラムは、例えば通信Ｉ／Ｆ２００５を介した通信により、図示されないネットワークを介して外部から取得し、当該信号処理装置２０上にインストールすることが可能とされている。これに限らず、当該プログラムは、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＵＳＢ(Universal Serial Bus)メモリといった着脱可能な記憶媒体に記憶されて提供されてもよい。
【0054】
（３－１．第１の例）
第１の実施形態の第１の例について説明する。第１の実施形態の第１の例は、撮像画像データに対して予め決められた小領域ごとにヒストグラム平坦化を施して順次、オブジェクトを探索するようにした例である。
第１の実施形態の第１の例について説明する。第１の実施形態の第１の例は、撮像画像データに対して予め決められた小領域ごとにヒストグラム平坦化を施して順次、オブジェクトを探索するようにした例である。
【0055】
図５は、第１の実施形態の第１の例による処理を説明するための模式図である。信号処理装置２０ａにおいて、領域制御部２００は、撮像画像データ４０を小領域に分割する。図５のセクション（ａ）の例では、領域制御部２００は、撮像画像データ４０を高さおよび幅方向にそれぞれ３分割し、９個の小領域＃１～＃９に分割している。ここで、中央の小領域＃５にオブジェクト６０（この場合は人）が含まれているものとする。
【0056】
信号処理装置２０ａにおいて、画像処理部２０１は、図５のセクション（ｂ）に示されるように、例えば撮像画像データ４０の左上の小領域＃１を探索領域５０としてヒストグラム平坦化処理を行い、処理された小領域＃１の画像データをＡＩ装置３０に渡す。ＡＩ装置３０は、信号処理装置２０ａから渡された小領域＃１の画像データから画像特徴量を抽出し、抽出した画像特徴量に基づきＡＩ処理を実行する。
【0057】
画像処理部２０１は、同様にして、次に、図５のセクション（ｃ）に示されるように、小領域＃１の右隣の小領域＃２を探索領域５０としてヒストグラム平坦化処理を行い、処理された小領域＃２の画像データをＡＩ装置３０に渡す。ＡＩ装置３０は、信号処理装置２０ａから渡された小領域＃２の画像データから画像特徴量を抽出し、抽出した画像特徴量に基づきＡＩ処理を実行する。画像処理部２０１は、以降、撮像画像データ４０の右下の小領域＃９に向けて、各小領域＃３～＃９の画像データを順次に探索領域５０としてヒストグラム平坦化処理を行い、ＡＩ装置３０に渡す。ＡＩ装置３０は、信号処理装置２０ａから渡された小領域＃３～＃９の各画像データに対して、順次に、画像特徴量の抽出処理、抽出した画像特徴量に基づくＡＩ処理、を実行する。
【0058】
ここで、図５のセクション（ｄ）に示されるように、ＡＩ装置３０において、探索領域５０としての小領域＃５においてオブジェクト６０が検出されたものとする。ＡＩ装置３０は、検出されたオブジェクト６０に対してバウンディングボックス６１を生成し、生成したバウンディングボックス６１を示す情報を、信号処理装置２０ａに渡す。
【0059】
信号処理装置２０ａにおいて、検出結果処理部２０２は、ＡＩ装置３０から渡されたバウンディングボックス６１を示す情報に基づき、当該探索領域において設定されたバウンディングボックス６１の数をカウントする。検出結果処理部２０２は、カウントしたバウンディングボックス６１の数を、領域制御部２００に渡す。
【0060】
領域制御部２００は、各小領域＃１～＃９におけるバウンディングボックス６１の数を比較し、小領域＃１～＃９のうち最もバウンディングボックス６１の数が多い小領域を、ＡＩ装置３０が継続的に認識処理を行う対象の注目領域として設定する。
【0061】
図６は、第１の実施形態の第１の例に係る第１の処理を示す一例のフローチャートである。図６に示される第１の処理は、信号処理装置２０ａが少なくとも１フレーム分の画像データを記憶可能な画像保存用メモリを有している場合の例である。信号処理装置２０ａは、ＲＡＭ２００２の所定記憶領域を画像保存用メモリに適用してよい。これに限らず、信号処理装置２０ａは、画像保存用メモリとして別途にフレームメモリを設けてもよい。
【0062】
なお、ここでは、領域制御部２００は、撮像画像データ４０を、高さおよび幅方向にそれぞれ３分割し、９個の小領域に分割するものとする。図７は、撮像画像データ４０をＮ個の小領域に分割した例を示す模式図である。図７の例では、Ｎ＝９とされ、撮像画像データ４０が分割された９個の小領域＃１～＃９に対して、左上の小領域＃１から右下の小領域＃９に向けて、それぞれ探索領域とした場合の変数ｉ＝０～ｉ＝８が割り当てられている。
【0063】
【0064】
ステップＳ１００で、信号処理装置２０ａは、カメラ１０から出力された１フレーム分の撮像画像データを取得し、取得した撮像画像データを、画像保存用メモリに記憶する。次のステップＳ１０１で、信号処理装置２０ａにおいて領域制御部２００は、変数ｉ＝０とする。
【0065】
次のステップＳ１０２で、領域制御部２００は、撮像画像データに対して、探索領域（ＲＯＩ）を変数ｉの小領域に設定する。画像処理部２０１は、設定された探索領域の画像データに対してヒストグラム平坦化処理を実行する。画像処理部２０１は、ヒストグラム平坦化処理が実行された探索領域の画像データをＡＩ装置３０に渡す。
【0066】
次のステップＳ１０３で、ＡＩ装置３０は、信号処理装置２０ａから渡された、探索領域の画像データから画像特徴量を抽出し、抽出した画像特徴量に基づき、オブジェクト６０を認識し検出するオブジェクト検出処理を実行する。ＡＩ装置３０は、オブジェクト検出処理の検出結果として、オブジェクトを含むバウンディングボックス６１を信号処理装置２０ａに渡す。信号処理装置２０ａは、検出結果処理部２０２により、ＡＩ装置３０から渡されたバウンディングボックス６１の数をカウントする。
【0067】
次のステップＳ１０４で、領域制御部２００は、撮像画像データに設定される全ての探索領域に対する処理が終了したか否かを判定する。より具体的には、領域制御部２００は、変数ｉ＝Ｎ－１となったか否かを判定する。領域制御部２００は、全ての探索領域に対する処理が終了していないと判定した場合（ステップＳ１０４、「Ｎｏ」）、変数ｉ＝ｉ＋１として処理をステップＳ１０２に戻す。
【0068】
一方、領域制御部２００は、全ての探索領域に対する処理が終了したと判定した場合（ステップＳ１０４、「Ｙｅｓ」）、処理をステップＳ１０５に移行させる。ステップＳ１０５で、領域制御部２００は、変数ｉ＝０～８の各小領域のうち、バウンディングボックス６１の数が最大となる小領域を、ＡＩ装置３０が継続的に認識処理を行う対象の注目領域として設定する。
【0069】
ステップＳ１０５の処理が終了すると、図６のフローチャートによる一連の処理が終了される。
【0070】
ここで、信号処理装置２０ａは、図６のフローチャートによる処理を、例えば数分ごとに１回、数１０秒ごとに１回など、所定の時間間隔で定期的に実行する。処理を実行する時間間隔は、この例に限定されず、情報処理システム１ｃのユースケースに応じて設定される。例えば、当該情報処理システム１ｃが監視システムに適用される場合、当該時間間隔は、監視対象における人の流れが大きく変わるタイミングに応じて設定してよい。例えば、当該時間間隔を、１日の時間帯ごと、１週間における所定の曜日ごと、季節ごと、などに設定することが考えられる。
【0071】
ＡＩ装置３０は、図６のフローチャートのステップＳ１０５で決定された注目領域に対する認識処理を、次に当該フローチャートによる処理が実行されステップＳ１０５で注目領域が決定されるまで、継続的に実行する。
【0072】
【0073】
なお、１フレーム分の撮像画像データ４０は、図７と同様に、高さおよび幅方向にそれぞれ３分割された９個（Ｎ＝９）の小領域＃１～＃９に分割され、撮像画像データ４０を積算フレーム数Ｆ（Ｆは整数；１≦Ｆ）だけ取得するものとする。また、積算フレーム数Ｆのうちｋ（ｋは整数；１≦ｋ≦Ｆ）番目のフレームの各撮像画像データ４０において、左上の小領域＃１から右下の小領域＃９に向けて、それぞれ探索領域とした場合の変数ｉ（ｉ＝０，１，…，８）が割り当てられているものとする。
【0074】
ステップＳ１１０で、信号処理装置２０ａにおいて領域制御部２００は、変数ｋ＝１とする。次のステップＳ１１１で、領域制御部２００は、変数ｉ＝０とする。
【0075】
次のステップＳ１１２で、信号処理装置２０ａは、カメラ１０からｋフレーム目の変数ｉで指定される小領域の画像データを取得する。例えば、信号処理装置２０ａは、領域制御部２００により、カメラ１０から出力される１フレーム分の撮像画像データ４０から、変数ｉで指定される小領域に含まれる画像データを選択的に取得する。これに限らず、信号処理装置２０ａは、領域制御部２００により、カメラ１０のフレームメモリ１０１１から、変数ｉで指定される小領域に含まれる画像データを選択的に読み出してもよい。
【0076】
次のステップＳ１１３で、領域制御部２００は、ＡＩ装置３０の認識処理の対象となる探索領域（ＲＯＩ）を、変数ｉの小領域に設定する。画像処理部２０１は、ステップＳ１１１で取得された、設定された探索領域の画像データに対してヒストグラム平坦化処理を実行する。画像処理部２０１は、ヒストグラム平坦化処理が実行された探索領域の画像データをＡＩ装置３０に渡す。
【0077】
次のステップＳ１１４で、ＡＩ装置３０は、信号処理装置２０ａから渡された、探索領域の画像データから画像特徴量を抽出し、抽出した画像特徴量に基づき、オブジェクト６０を認識し検出するオブジェクト検出処理を実行する。ＡＩ装置３０は、オブジェクト検出処理の検出結果として、オブジェクトを含むバウンディングボックス６１を信号処理装置２０ａに渡す。信号処理装置２０ａは、検出結果処理部２０２により、ＡＩ装置３０から渡されたバウンディングボックス６１の数をカウントする。
【0078】
次のステップＳ１１５で、領域制御部２００は、ｋ番目のフレームの撮像画像データに設定される全ての探索領域に対する処理が終了したか否かを判定する。より具体的には、領域制御部２００は、変数ｉ＝Ｎ－１となったか否かを判定する。領域制御部２００は、ｋ番目のフレームについて、全ての探索領域に対する処理が終了していないと判定した場合（ステップＳ１１５、「Ｎｏ」）、変数ｉ＝ｉ＋１として処理をステップＳ１１２に戻す。
【0079】
一方、領域制御部２００は、ｋ番目のフレームの全ての探索領域に対する処理が終了したと判定した場合（ステップＳ１１５、「Ｙｅｓ」）、処理をステップＳ１１６に移行させる。
【0080】
ステップＳ１１６で、領域制御部２００は、Ｆ番目のフレームの撮像画像データに対する処理が終了したか否かを判定する。より具体的には、領域制御部２００は、変数ｋ＝Ｆとなったか否かを判定する。領域制御部２００は、Ｆ番目のフレームの撮像画像データに対する処理が終了していないと判定した場合（ステップＳ１１６、「Ｎｏ」）、変数ｋ＝ｋ＋１として処理をステップＳ１１１に戻す。
【0081】
一方、領域制御部２００は、ステップＳ１１６で、Ｆ番目のフレームの撮像画像データに対する処理が終了したと判定した場合（ステップＳ１１６、「Ｙｅｓ」）、処理をステップＳ１１７に移行させる。
【0082】
ステップＳ１１７で、領域制御部２００は、１～Ｆ番目の各フレームの撮像画像データについて、変数ｉ＝０～８の各小領域それぞれのバウンディングボックス６１数を積算する。領域制御部２００は、変数ｉ＝０～８の各小領域それぞれのＦフレーム分が積算されたバウンディングボックス６１の数を求め、求めた数が最大となる小領域を、ＡＩ装置３０が継続的に認識処理を行う対象の注目領域として設定する。
【0083】
ステップＳ１１７の処理が終了すると、図８のフローチャートによる一連の処理が終了される。
【0084】
信号処理装置２０ａは、図８のフローチャートによる処理を、上述した図６のフローチャートと同様に、例えば数分ごとに１回、数１０秒ごとに１回など、所定の時間間隔で定期的に実行する。ＡＩ装置３０は、図８のフローチャートのステップＳ１１７で決定された注目領域に対する認識処理を、次に当該フローチャートによる処理が実行されステップＳ１１７で注目領域が決定されるまで、継続的に実行する。
【0085】
第１の実施形態の第１の例の第２の方法では、各小領域の画像データを、処理の都度、取得しているため、例えば小領域＃１と小領域＃９とで時系列的に異なるフレームから画像データを取得する場合が起こり得る。そのため、第１の実施形態の第１の例の第２の方法では、複数フレームにわたり各小領域の情報を積算することで、各小領域の時系列的な情報のブレの抑制を可能としている。
【0086】
このように、第１の実施形態の第１の例では、撮像画像データを分割した小領域ごとに画像特徴量の最大化を行い、オブジェクト検出を実行する。さらに、各小領域のうち、検出されたオブジェクト６０（バウンディングボックス６１）の数が最大となる小領域を、ＡＩ装置３０が認識処理を継続的に実行する注目領域に決定している。すなわち、第１の実施形態の第１の例では、撮像画像データから絞り込まれ、且つ、画像特徴量が最大化された小領域に対して、ＡＩ装置３０による認識処理を実行させることができ、認識処理における認識精度を向上させることが可能となる。
【0087】
（３－２．第２の例）
次に、第１の実施形態の第２の例について説明する。第１の実施形態の第２の例は、撮像画像データの大領域、例えば撮像画像データの全体を含む領域に対してヒストグラム平坦化を行いオブジェクトを探索し、多数のオブジェクトが検出された方向に領域を狭め、オブジェクトの探索領域を絞り込んでいくようにした例である。
次に、第１の実施形態の第２の例について説明する。第１の実施形態の第２の例は、撮像画像データの大領域、例えば撮像画像データの全体を含む領域に対してヒストグラム平坦化を行いオブジェクトを探索し、多数のオブジェクトが検出された方向に領域を狭め、オブジェクトの探索領域を絞り込んでいくようにした例である。
【0088】
図９は、第１の実施形態の第２の例による処理を説明するための模式図である。図９のセクション（ａ）に例示されるように、撮像画像データ４０に、例えばそれぞれ人であるオブジェクト６０ａ、６０ｂおよび６０ｃが含まれているものとする。
【0089】
第１の実施形態の第２の例では、信号処理装置２０ａにおいて、領域制御部２００は、図９のセクション（ｂ）に示されるように、先ず撮像画像データ４０の全体を含む大領域を探索領域５０ａとして設定し、当該探索領域５０ａに対して、ＡＩ装置３０による認識処理を実行する。同図セクション（ｂ）の例では、オブジェクト６０ａ～６０ｃのうちオブジェクト６０ａおよび６０ｂが認識処理により検出され、それぞれバウンディングボックス６１ａおよび６１ｂが生成されている。
【0090】
領域制御部２００は、検出結果のバウンディングボックス６１ａおよび６１ｂに基づき探索領域５０ａを絞り込み、図９のセクション（ｃ）に例示されるように、新たな探索領域５０ｂを生成する。この例では、探索領域５０ｂに対してＡＩ装置３０による認識処理を実行することで、オブジェクト６０ａおよび６０ｂに加えてオブジェクト６０ｃが検出され、オブジェクト６０ｃに対するバウンディングボックス６１ｃが追加して生成されている。
【0091】
図１０は、第１の実施形態の第２の例に係る処理を示す一例のフローチャートである。ここでは、信号処理装置２０ａが少なくとも１フレーム分の画像データを記憶可能な画像保存用メモリを有しているものとして説明を行う。
【0092】
ステップＳ２００で、信号処理装置２０ａは、カメラ１０から出力された１フレーム分の撮像画像データを取得し、取得した撮像画像データを、画像保存用メモリに記憶する。次のステップＳ２０１で、信号処理装置２０ａにおいて領域制御部２００は、変数ｉ＝０とする。なお、図示は省略するが、ステップＳ２０１までの段階では、信号処理装置２０ａにおいて領域制御部２００は、１フレームの撮像画像データの全体を含む大領域を、探索領域として設定している。
【0093】
次のステップＳ２０２で、信号処理装置２０ａにおいて、領域制御部２００は、縮小率Ｒiで探索領域（ＲＯＩ）を縮小する。なお、値Ｒは、０＜Ｒ＜１である固定値である。変数ｉ＝０であれば、縮小率Ｒi＝１となり探索領域は縮小されない。値Ｒが０．５、変数ｉ＝１であれば、縮小率Ｒi＝０．５となり、探索領域は、例えば元の探索領域の幅Ｗおよび高さＨがそれぞれ０．５倍になるように縮小される。
【0094】
探索領域の縮小方法は、この例に限定されない。例えば、元の探索領域の面積を縮小率に応じて縮小させてもよい。
【0095】
なお、探索領域を縮小する際の中心は、変数ｉ＝０の場合、すなわち初期値では、撮像画像データによる画面の中央位置とされる。変数ｉ≧１の場合には、後述する複数のバウンディングボックス６１の重心位置が、探索領域を縮小する際の中心となる。
【0096】
次のステップＳ２０３で、画像処理部２０１は、ステップＳ２０２で縮小処理された探索領域の画像データに対してヒストグラム平坦化処理を実行する。画像処理部２０１は、ヒストグラム平坦化処理が実行された探索領域の画像データをＡＩ装置３０に渡す。
【0097】
次のステップＳ２０４で、ＡＩ装置３０は、信号処理装置２０ａから渡された、探索領域の画像データから画像特徴量を抽出し、抽出した画像特徴量に基づき、オブジェクト６０を認識し検出するオブジェクト検出処理を実行する。ＡＩ装置３０は、オブジェクト検出処理の検出結果として、オブジェクトを含むバウンディングボックス６１を信号処理装置２０ａに渡す。信号処理装置２０ａは、検出結果処理部２０２により、ＡＩ装置３０から渡されたバウンディングボックス６１の数をカウントする。
【0098】
さらに、ステップＳ２０４で検出結果処理部２０２は、ＡＩ装置３０から複数のバウンディングボックス６１が渡された場合、これら複数のバウンディングボックス６１の重心の座標を算出する。
【0099】
次のステップＳ２０５で、領域制御部２００は、ステップＳ２０２～ステップＳ２０４の処理を、予め設定されたサーチ回数Ｓだけ実行したか否かを判定する。より具体的には、領域制御部２００は、変数ｉ＝Ｓ－１であるか否かを判定する。領域制御部２００は、ステップＳ２０２～ステップＳ２０４の処理の実行回数がサーチ回数Ｓに達していないと判定した場合（ステップＳ２０５、「Ｎｏ」）、変数ｉ＝ｉ＋１として、処理をステップＳ２０２に戻す。
【0100】
一方、領域制御部２００は、ステップＳ２０２～ステップＳ２０４の処理の実行回数がサーチ回数Ｓに達したと判定した場合）ステップＳ２０５、「Ｙｅｓ」）、処理をステップＳ２０６に移行させる。
【0101】
なお、ステップＳ２０２～ステップＳ２０４の処理は、撮像画像データ４０内に複数のバウンディングボックス６１が存在する場合、複数のバウンディングボックス６１の組み合わせのそれぞれについて実行してよい。また、ステップＳ２０２～ステップＳ２０４の処理は、撮像画像データ４０内に、互いに近接する複数のバウンディングボックスによる塊が複数、存在する場合、この複数の塊それぞれについて実行してもよい。
【0102】
ステップＳ２０６で、領域制御部２００は、バウンディングボックス６１の数が最大となる探索領域を、ＡＩ装置３０が継続的に認識処理を行う対象の注目領域として設定する。
【0103】
ステップＳ２０６の処理が終了すると、図１０のフローチャートによる一連の処理が終了される。
【0104】
ここで、信号処理装置２０ａは、図１０のフローチャートによる処理を、例えば数分ごとに１回、数１０秒ごとに１回など、所定の時間間隔で定期的に実行する。ＡＩ装置３０は、図１０のフローチャートのステップＳ２０６で決定された注目領域に対する認識処理を、次に当該フローチャートによる処理が実行されステップＳ２０６で注目領域が決定されるまで、継続的に実行する。
【0105】
図１１は、第１の実施形態の第２の例に係る探索領域の縮小処理を説明するための模式図である。ここで、撮像画像データ４０による画像のサイズは、幅Ｗ×高さＨであるものとする。
【0106】
例えば、変数ｉ＝０の段階において、図１１のセクション（ａ）に示されるように、撮像画像データ４０の全体を含む探索領域５０ｃにおいて、２つのオブジェクトが検出され、それぞれバウンディングボックス６１ｄおよび６１ｅが生成されたものとする。この場合、検出結果処理部２０２は、図１０フローチャートのステップＳ２０４において、バウンディングボックス６１ｄの座標情報と、バウンディングボックス６１ｅの座標情報とに基づき、バウンディングボックス６１ｄとバウンディングボックス６１ｅとの重心の座標６２ａを算出する。
【0107】
変数ｉ＝１の段階では、図１１のセクション（ｂ）に示されるように、探索領域５０ｃが、重心の座標６２ａを中心に縮小率Ｒi＝Ｒ1＝Ｒで縮小され、幅Ｗ×Ｒ、高さＨ×Ｒの探索領域５０ｄが設定される。この探索領域５０ｄに対するＡＩ装置３０の認識処理により、新たに１つのオブジェクトが検出され、当該オブジェクトによるバウンディングボックス６１ｆが生成されたものとする。この場合、検出結果処理部２０２は、図１０フローチャートのステップＳ２０４において、バウンディングボックス６１ｄの座標情報と、バウンディングボックス６１ｅの座標情報と、バウンディングボックス６１ｆの座標情報と、に基づき、バウンディングボックス６１ｄとバウンディングボックス６１ｅとバウンディングボックス６１ｆとの重心の座標６２ｂを算出する。
【0108】
次の変数ｉ＝２の段階でも同様にして、探索領域５０ｄが、重心の座標６２ｂを中心に縮小率Ｒi＝Ｒ2で縮小され、幅Ｗ×Ｒ2、高さＨ×Ｒ2の探索領域５０ｅが設定される。
【0109】
第１の実施形態の第２の例では、上述の、変数ｉと値Ｒとに基づく縮小率による探索領域５０の縮小処理、および、縮小された探索領域５０に対するＡＩ装置３０による認識処理を、サーチ回数Ｓだけ繰り返し実行する。
【0110】
このように、第１の実施形態の第２の例では、撮像画像データに対して設定する探索領域に対して画像特徴量の最大化を行って認識処理を実行し、認識処理により多数のオブジェクトが検出された方向に、探索領域を縮小してさらに認識処理を実行している。そのため、第１の実施形態の第２の例でも、撮像画像データから絞り込まれ、且つ、画像特徴量が最大化された探索領域に対して、ＡＩ装置３０による認識処理を実行させることができ、認識処理における認識精度を向上させることが可能となる。
【0111】
（４．第２の実施形態）
次に、本開示の第２の実施形態について説明する。
次に、本開示の第２の実施形態について説明する。
【0112】
本開示の第２の実施形態に係る情報処理システムは、ＡＩ処理を行うために撮像画像に設定した探索領域あるいは注目領域に対して所定の信号処理を施し、複数の画像特徴量から類似度の高い画像特徴量を探索する。
【0113】
より具体的には、第２の実施形態に係る情報処理システムは、撮像画像に対して設定された探索領域あるいは注目領域に対して、輝度情報の変換処理を施し、当該探索領域あるいは注目領域における画像特徴量を最大化する。輝度情報の変換処理としては、例えばヒストグラム平坦化処理を適用してよい。
【0114】
図１２は、第２の実施形態に係る信号処理装置２０の機能を説明するための一例の機能ブロック図である。
【0115】
図１２において、第２の実施形態に係る情報処理システム１ｄが含む信号処理装置２０ｂは、画像処理部２０１と、類似特徴量探索部２１０と、を含む。
【0116】
画像処理部２０１は、図４を用いて説明した画像処理部２０１と同等の機能を有するものであって、撮像画像データに対して所定に設定された探索領域あるいは注目領域の画像データに対して画像特徴量を最大化するための画像処理を施す。より具体的には、画像処理部２０１は、探索領域あるいは注目領域の画像データに対して例えばヒストグラム平坦化を行うことで、当該画像データの画像特徴量を最大化する。画像処理部２０１は、画像特徴量が最大化された画像データをＡＩ装置３０に渡す。
【0117】
ＡＩ装置３０は、信号処理装置２０ｂから渡された画像データから画像特徴量を抽出し、抽出した画像特徴量に基づきＡＩ処理を実行すると共に、当該画像特徴量を信号処理装置２０ｂに返す。信号処理装置２０ｂにおいて、類似特徴量探索部２１０は、ＡＩ装置３０から渡された画像特徴量が２以上ある場合、これら２以上の画像特徴量の類似度を求め、類似度が所定以上の画像特徴量の組を探索する。
【0118】
具体的な例として、類似特徴量探索部２１０は、ＡＩ装置３０から渡された画像特徴量に基づき、特徴点間の距離などに応じてオブジェクトと推測される領域を抽出する。類似特徴量探索部２１０は、複数の画像データ間で、各画像データから抽出された領域ごとに画像特徴量の類似度を求め、類似度が所定以上の画像特徴量の組を探索する。
【0119】
例えば、第２の実施形態に係る情報処理システム１ｄを図１Ａに示した１台のカメラ１０を含む情報処理システム１ａに適用した場合、類似特徴量探索部２１０は、当該カメラ１０で異なる時刻に撮像された複数の撮像画像データについて、類似度を求めてよい。
【0120】
また例えば、第２の実施形態に係る情報処理システム１ｄを図１Ｂに示した複数台のカメラ１０1、１０2、…を含む情報処理システム１ｂに適用した場合、信号処理装置２０1、２０2、…のうち少なくとも１つの信号処理装置、例えば信号処理装置２０1において、他の信号処理装置２０2、…から出力された各画像データからＡＩ装置３０’が抽出した各画像特徴量を取得して、類似度を求めてよい。
【0121】
図１３は、第２の実施形態に係る処理を示す一例のフローチャートである。
【0122】
ステップＳ３００で、信号処理装置２０ｂは、カメラ１０から撮像画像データを取得する。次のステップＳ３０１で、信号処理装置２０ｂにおいて画像処理部２０１は、ステップＳ３００で取得した撮像画像データに対してヒストグラム平坦化処理を実行する。ここで、画像処理部２０１は、撮像画像データに対して探索領域が設定されている場合は、探索領域に含まれる画像データに対してヒストグラム平坦化処理を実行する。
【0123】
信号処理装置２０ｂは。画像処理部２０１によりヒストグラム平坦化処理が施された画像データを、ＡＩ装置３０に渡す。ＡＩ装置３０は、信号処理装置２０ｂから渡された画像データから特徴量を抽出し、抽出した特徴量を信号処理装置２０ｂに渡す。
【0124】
次のステップＳ３０２で、信号処理装置２０は、ＡＩ装置３０から渡された画像特徴量を取得する。信号処理装置２０ｂは、取得した画像特徴量を類似特徴量探索部２１０に渡す。類似特徴量探索部２１０は、渡された画像特徴量を保持する。
【0125】
次のステップＳ３０３で、類似特徴量探索部２１０は、画像特徴量が２以上取得されたか否か、すなわち、類似特徴量探索部２１０が保持する画像特徴量が２以上になったか否かを判定する。類似特徴量探索部２１０は、取得された画像特徴量が２未満であると判定した場合（ステップＳ３０３、「Ｎｏ」）、処理をステップＳ３００に戻す。
【0126】
一方、類似特徴量探索部２１０は、画像特徴量が２以上取得されたと判定した場合（ステップＳ３０３、「Ｙｅｓ」）、処理をステップＳ３０４に移行させる。ステップＳ３０４で、類似特徴量探索部２１０は、保持している各画像特徴量を比較し、比較した画像特徴量間の類似度を求める。
【0127】
次のステップＳ３０５で、類似特徴量探索部２１０は、ステップＳ３０４で比較した画像特徴量の組のうち、類似度が所定以上の組があるか否かを判定する。類似特徴量探索部２１０は、類似度が所定以上の組が無いと判定した場合（ステップＳ３０５、「Ｎｏ」）、処理をステップＳ３００に戻す。
【0128】
一方、類似特徴量探索部２１０は、類似度が所定以上の組があると判定した場合（ステップＳ３０５、「Ｙｅｓ」）、処理をステップＳ３０６に移行させる。ステップＳ３０６で、類似特徴量探索部２１０は、類似度が所定以上の組の各画像特徴量が同一オブジェクトの画像特徴量であると判定する。次のステップＳ３０７で、信号処理装置２０ｂは、類似特徴量探索部２１０によりステップＳ３０６で同一であると判定されたオブジェクトを示す情報をＡＩ装置３０に渡す。
【0129】
第２の実施形態に係る情報処理システム１ｄは、上述のように、複数の撮像画像データが信号処理装置２０ｂにより処理された各画像データから抽出された各画像特徴量の類似度に基づき、当該複数の撮像画像データに含まれる同一オブジェクトを検出する。そのため、第２の実施形態に係る情報処理システム１ｄを適用することで、時系列的に異なる複数の撮像画像データ、あるいは、異なる複数のカメラから取得された複数の撮像画像データに共通に含まれるオブジェクトを追跡することが可能となる。
【0130】
また、その場合において、比較対象の画像特徴量として、撮像画像データにおける画像特徴量抽出の対象となる領域の画像データに対してヒストグラム平坦化処理を施した上で抽出した画像特徴量を用いている。そのため、画像特徴量における、複数の撮像画像データの、時系列的な差異、あるいは、カメラ１０1、１０2、…の設置位置の差異などによる環境の差分を吸収することが可能である。
【0131】
（５．第３の実施形態）
次に、本開示の第３の実施形態について説明する。本開示の第３の実施形態は、上述した第１の実施形態および第２の実施形態に適用可能な、カメラ１０および信号処理装置２０（画像処理部２０１）のキャリブレーション方法に関するものである。第３の実施形態では、特に、ＡＩ装置３０におけるＡＩ処理に適した画像特徴量によるキャリブレーション方法を提案する。
次に、本開示の第３の実施形態について説明する。本開示の第３の実施形態は、上述した第１の実施形態および第２の実施形態に適用可能な、カメラ１０および信号処理装置２０（画像処理部２０１）のキャリブレーション方法に関するものである。第３の実施形態では、特に、ＡＩ装置３０におけるＡＩ処理に適した画像特徴量によるキャリブレーション方法を提案する。
【0132】
【0133】
ここで、信号処理装置２０は、上述したヒストグラム平坦化処理および画像特徴量の抽出処理以外にも、画像データに対する輝度調整、彩度調整といった、一般的な画像処理を、画像データに対して実行してよい。すなわち、ＡＩ装置３０は、上述したヒストグラム平坦化処理を施した画像データから抽出された画像特徴量に基づくＡＩ処理に限らず、ユースケースに応じて、ヒストグラム平坦化処理以外の画像処理を施した画像データから抽出した画像特徴量に基づくＡＩ処理も実行することがある。そのため、信号処理装置２０では、カメラ１０から出力された撮像画像データに対して、上述した一般的な画像処理も実行可能とされている。
【0134】
比較部７０は、カメラ１０から出力された撮像画像データに基づき抽出された画像特徴量（２）と、予め用意された画像特徴量（１）とが入力される。画像特徴量（１）は、ＡＩ装置３０が実行するＡＩ処理に適した画像特徴量が用いられる。
【0135】
比較部７０は、入力された画像特徴量（１）と画像特徴量（２）とを比較して、画像特徴量（１）と画像特徴量（２）との類似度を求める。比較部７０は、求めた類似度が最大となるように、カメラ１０および信号処理装置２０のうち少なくとも信号処理装置２０（画像処理部２０１）における画像処理を制御する画質パラメータを調整する。
【0136】
比較部７０は、信号処理装置２０（画像処理部２０１）に対する画質パラメータとして、画像データの輝度、彩度、周波数成分など画質を制御するパラメータを適用してよい。また、比較部７０は、カメラ１０に対する画質パラメータとして、シャッタ速度、露光時間、ゲインなど撮像動作を制御するパラメータを適用してよい。
【0137】
比較部７０による画像特徴量（１）および画像特徴量（２）の比較と、その比較結果に基づき生成した画質パラメータによるカメラ１０および信号処理装置２０の調整と、による処理を、ループ処理として例えば類似度が所定以上になるまで繰り返し実行して、カメラ１０および信号処理装置２０のキャリブレーションを行う。なお、このキャリブレーション処理は、必ずしも頻繁に実行する必要はなく、例えばシステムの設置時に一度実行して性能を最大化し、その後は、環境が変わるタイミングなどに応じて実行することが考えられる。環境が変わるタイミングの例として、例えば、カメラ１０が屋外に設置される場合は季節の遷移に応じたタイミングや、カメラ１０が屋内に設置される場合は屋内のレイアウト変更に応じたタイミングが考えられる。
【0138】
第３の実施形態に係る情報処理システム１ｅは、このように、予め用意された画像特徴量（１）と、撮像画像データに基づき抽出した画像特徴量（２）とを比較する。情報処理システム１ｅは、比較の結果、両者の類似度が最大となるようにカメラ１０および信号処理装置２０のうち少なくとも信号処理装置２０の画質パラメータを設定している。そのため、ＡＩ装置３０におけるＡＩ処理を、より高精度で実行することが可能となる。
【0139】
なお、以下では、説明のため、特に記載の無い限り、画像処理部２０１に対する画質パラメータと、カメラ１０に対する画質パラメータとを総称して画質パラメータと呼び、画質パラメータがカメラ１０と画像処理部２０１とにそれぞれ渡されるものとする。
【0140】
（５－１．第１の例）
次に、第３の実施形態に係るキャリブレーション処理について、より具体的に説明する。先ず、第３の実施形態の第１の例に係るキャリブレーション処理について説明する。
次に、第３の実施形態に係るキャリブレーション処理について、より具体的に説明する。先ず、第３の実施形態の第１の例に係るキャリブレーション処理について説明する。
【0141】
第３の実施形態の第１の例は、ＡＩ装置３０がＡＩ処理を実行する際に用いる学習済ＡＩモデルを学習させるための用いた学習データが既知の場合の例である。第３の実施形態の第１の例では、上述した予め用意された画像特徴量（１）として、ＡＩ装置３０がＡＩ処理を実行する際に用いる学習済ＡＩモデルを学習させるための用いた学習データに基づく画像特徴量を用いる。
【0142】
図１５は、第３の実施形態の第１の例に係る情報処理システムの一例の構成を示すブロック図である。
【0143】
図１５において、情報処理システム１ｆは、カメラ１０、信号処理装置２０およびＡＩ装置３０に加えて、キャリブレーション部８０ａを含む。キャリブレーション部８０ａは、例えば信号処理装置２０に含まれてもよいし、独立したハードウェアにより構成してもよい。これに限らず、ＡＩ装置３０がキャリブレーション部８０ａを含む構成としてもよい。
【0144】
なお、図１５では、信号処理装置２０として画像処理部２０１のみを示し、他の部分を省略している。画像処理部２０１は、カメラ１０から出力された撮像画像データに所定の画像処理を施して、ＡＩ装置３０およびキャリブレーション部８０ａに渡す。
【0145】
ＡＩ装置３０は、学習データ３０１により学習された、学習済ＡＩモデル３００を含む。ＡＩ装置３０は、画像処理部２０１から渡された画像データから画像特徴量を抽出し、抽出した画像特徴量に対して、学習済ＡＩモデル３００を用いてＡＩ処理を実行する。
【0146】
キャリブレーション部８０ａは、画像特徴分析部８００と、ＡＩモデル画像特徴分析部８０１と、比較部８０２と、を含む。
【0147】
画像特徴分析部８００は、画像処理部２０１から渡された、撮像画像データに画像処理を施された画像データを分析し、当該画像データから画像特徴量を抽出する。画像特徴分析部８００は、抽出した画像特徴量を、上述の画像特徴量（２）として、比較部８０２に渡す。
【0148】
ＡＩモデル画像特徴分析部８０１は、学習済ＡＩモデル３００を学習させるために用いた学習データ３０１を分析し、当該学習データ３０１から画像特徴量を抽出する。ＡＩモデル画像特徴分析部８０１は、学習データ３０１から抽出した画像特徴量を、上述の画像特徴量（２）として、比較部８０２に渡す。例えば、ＡＩモデル画像特徴分析部８０１は、学習データ３０１に含まれる複数の画像データそれぞれから抽出した画像特徴量を統合して、画像特徴量（２）として比較部８０２に渡す。
【0149】
比較部８０２は、上述した比較部７０と対応するもので、画像特徴量（１）と画像特徴量（２）とを比較して、画像特徴量（１）と画像特徴量（２）との類似度を算出し、算出した類似度が最大になるような画質パラメータを生成する。比較部８０２は、例えば画像処理部２０１の画像処理を制御するための画質パラメータを生成し、生成した画質パラメータを画像処理部２０１に渡す。比較部８０２は、カメラ１０の撮像動作を制御するための画質パラメータを生成し、カメラ１０に渡してもよい。
【0150】
（５－２．第２の例）
次に、第３の実施形態の第２の例に係るキャリブレーション処理について説明する。
次に、第３の実施形態の第２の例に係るキャリブレーション処理について説明する。
【0151】
第３の実施形態の第２の例は、ＡＩ装置３０がＡＩ処理を実行する際に用いる学習済ＡＩモデルを学習させるための用いた学習データが未知の場合の例である。第３の実施形態の第２の例では、上述した予め用意された画像特徴量（１）として、ＡＩ装置３０がＡＩ処理を実行する際に用いる学習済ＡＩモデルと同等のモデルを用いて撮像画像データに対するＡＩ処理を実行し、当該ＡＩ処理の結果に基づき取得される画像特徴量を用いる。
【0152】
図１６は、第３の実施形態の第２の例に係る情報処理システムの一例の構成を示すブロック図である。
【0153】
図１６において、情報処理システム１ｇは、図１５に示したキャリブレーション部８０ａに代えて、キャリブレーション部８０ｂを含む。キャリブレーション部８０ｂは、画像特徴分析部８００と、ＡＩモデル画像特徴分析部８０３と、ＡＩ処理部８１０と、を含む。また、ＡＩ処理部８１０は、ＡＩモデル３００’を含む。ＡＩモデル３００’は、ＡＩ装置３０が有する学習済ＡＩモデル３００と同一モデルである。例えば、ＡＩモデル３００’は、学習済ＡＩモデル３００のコピーでもよいし、学習済ＡＩモデル３００と同等の構成を有し、学習済ＡＩモデル３００を学習させた学習データにより学習されたモデルであってもよい。
【0154】
画像処理部２０１は、カメラ１０から出力された撮像画像データに所定の画像処理を施し、ＡＩ装置３０におよびキャリブレーション部８０ｂに渡す。キャリブレーション部８０ｂにおいて、画像処理部２０１から渡された画像データは、画像特徴分析部８００とＡＩモデル画像特徴分析部８０３とに渡される。
【0155】
画像特徴分析部８００は、図１５に示した画像特徴分析部８００と同等なので、ここでの説明を省略する。
【0156】
ＡＩモデル画像特徴分析部８０３は、画像処理部２０１から渡された画像データを分析して画像特徴量を抽出し、抽出した画像特徴量をＡＩ処理部８１０に渡す。ＡＩ処理部８１０は、ＡＩモデル画像特徴分析部８０３から渡された画像特徴量に対して、ＡＩモデル３００’を用いてＡＩ処理（例えば認識処理）を実行し、検知の度合いを示すスコアを算出する。ＡＩ処理部８１０が算出するスコアは、特に限定されないが、ＡＰ(Average Precision)値、ヒートマップなどを適用してよい。ＡＩ処理部８１０は、算出したスコアをＡＩモデル画像特徴分析部８０３に返す。
【0157】
ここで、画像処理部２０１は、カメラ１０から出力された１つの撮像画像データに対して種々の画像処理を施し、それぞれ異なる性質を有する複数の画像データを生成してよい。例えば、画像処理部２０１は、撮像画像データに対する画像処理により、輝度、彩度、色相、などを変更した画像データや、ノイズを加えた画像データ、拡大／縮小／変形した画像データ、エッジ強調あるいはボケを加えた画像データなどを生成してよい。
【0158】
ＡＩモデル画像特徴分析部８０３は、画像処理部２０１から渡される各画像データに応じてＡＩ処理部８１０から渡された各スコアを比較し、最も高いスコアとなる画像データを特定する。このように特定された画像データは、ＡＩ処理部８１０によるＡＩモデル３００’を用いたＡＩ処理に最も適合した性質を持つ画像データであると見做すことができる。ＡＩモデル画像特徴分析部８０３は、最も高いスコアが得られたとして特定した画像データの画像特徴量を抽出し、画像特徴量（１）として比較部８０２に渡す。
【0159】
比較部８０２は、上述の第１の例における比較部８０２と同様に、画像特徴量（１）と画像特徴量（２）とを比較してこれらの類似度を算出し、算出した類似度が最大になるような画質パラメータを生成し、生成した画質パラメータを画像処理部２０１およびカメラ１０に渡す。
【0160】
なお、ＡＩモデル画像特徴分析部８０３に渡される画像データは、画像特徴分析部８００に渡される画像データと異なるものであってよい。例えば、カメラ１０により予め撮像された撮像画像データに対して画像処理部２０１により画像処理した画像データを、ＡＩモデル画像特徴分析部８０３に渡してよい。この場合において、カメラ１０の撮像範囲は、画像特徴分析部８００に渡す画像データの元の撮像画像データを撮像する際のカメラ１０の撮像範囲と対応している必要がある。
【0161】
この第３の実施形態の第２の例によれば、ＡＩ装置３０が有する学習済ＡＩモデル３００の学習に用いた学習データが未知であっても、カメラ１０および画像処理部２０１のキャリブレーションを実行することが可能である。また、第３の実施形態の第２の例によれば、カメラ１０により撮像された撮像画像データに基づき画像特徴量（１）を生成しているため、カメラ１０および画像処理部２０１に対する画質パラメータを動的に生成することが可能であり、それにより、カメラ１０の設置環境に依らず、ＡＩ装置３０による検知精度の最大化を図ることができる。
【0162】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0163】
なお、本技術は以下のような構成も取ることができる。
（１）
撮像画像に対して探索領域を設定する領域制御部と、
前記探索領域における輝度情報に対する変換処理を実行する画像処理部と、
を備え、
前記領域制御部は、
前記画像処理部で前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する、
信号処理装置。
（２）
前記画像処理部は、
前記変換処理として前記輝度情報に対するヒストグラム平坦化を実行する、
前記（１）に記載の信号処理装置。
（３）
前記領域制御部は、
前記探索領域のうち前記オブジェクト検出により検出されたオブジェクトの数が最大の探索領域を、前記注目領域として決定する、
前記（１）または（２）に記載の信号処理装置。
（４）
前記領域制御部は、
前記撮像画像を分割した各領域を順次に前記探索領域として設定する、
前記（１）乃至（３）の何れかに記載の信号処理装置。
（５）
前記領域制御部は、
前記オブジェクト検出の結果に応じて前記探索領域を段階的に狭める、
前記（１）乃至（３）の何れかに記載の信号処理装置。
（６）
前記領域制御部は、
前記オブジェクト検出により検出された２以上のオブジェクトの重心位置に応じて前記探索領域を段階的に狭める、
前記（５）に記載の信号処理装置。
（７）
前記画像処理部は、
前記探索領域に含まれる画像の画像特徴量に基づき、２以上の前記探索領域から類似度が所定以上の領域を探索する、
前記（１）乃至（６）の何れかに記載の信号処理装置。
（８）
撮像装置から出力された前記撮像画像を取得し、取得した前記撮像画像が前記画像処理部で前記変換処理を施された画像を、学習されたモデルを用いて情報処理を行う情報処理装置に出力する、
前記（１）乃至（７）の何れかに記載の信号処理装置。
（９）
プロセッサにより実行される、
撮像画像に対して探索領域を設定する領域制御ステップと、
前記注目領域における輝度情報に対する変換処理を実行する画像処理ステップと、
を有し、
前記領域制御ステップは、
前記画像処理ステップにより前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する、
信号処理方法。
（１０）
撮像画像に対して画像処理を施して、学習された第１のモデルを用いた処理を行う処理部に出力する画像処理部と、
予め用意された第１の特徴量と、前記画像処理を施された前記撮像画像から抽出された第２の特徴量とに基づき、少なくとも前記画像処理部による前記画像処理を制御するためのパラメータを生成する生成部と、
を備える、
信号処理装置。
（１１）
前記生成部は、
前記第１のモデルを学習した学習データに基づき抽出された特徴量を、前記第１の特徴量として用いる、
前記（１０）に記載の信号処理装置。
（１２）
前記生成部は、
前記画像処理を施された前記撮像画像に対して、前記第１のモデルに対応する第２のモデルを用いた処理を行い、該処理の結果に基づき抽出された特徴量を、前記第１の特徴量として用いる、
前記（１０）に記載の信号処理装置。
（１３）
前記生成部は、
前記第２のモデルを用いた処理に基づくスコアがより高くなるように、前記パラメータを生成する、
前記（１２）に記載の信号処理装置。
（１４）
前記生成部は、
前記画像処理部が前記処理部に出力するための前記撮像画像に対して予め取得した前記撮像画像に基づき、前記第２のモデルを用いた処理を行う、
前記（１２）または（１３）に記載の信号処理装置。
（１５）
前記第２のモデルは、前記処理部が有する前記第１のモデルである、
前記（１２）乃至（１４）の何れかに記載の信号処理装置。
（１６）
前記生成部は、
前記第１の特徴量と前記第２の特徴量とに基づき、前記撮像画像を出力する撮像装置を制御するためのパラメータをさらに生成する、
前記（１０）乃至（１５）の何れかに記載の信号処理装置。
（１７）
前記生成部は、
前記第１の特徴量に対する前記第２の特徴量の差分が小さくなるように、前記パラメータを生成する、
前記（１０）乃至（１６）の何れかに記載の信号処理装置。
（１８）
プロセッサにより実行される、
撮像画像に対して画像処理を施して、学習された第１のモデルを用いた処理を行う処理部に出力する画像処理ステップと、
予め用意された第１の特徴量と、前記画像処理を施された前記撮像画像から抽出された第２の特徴量とに基づき、少なくとも前記画像処理ステップによる前記画像処理を制御するためのパラメータを生成する生成ステップと、
を有する、
信号処理方法。
（１９）
撮像画像に対して、前記撮像画像の画像特徴量を最大化するための、輝度情報に対する変換処理を実行する画像処理部、
を備える、
信号処理装置。
（２０）
複数の前記撮像画像にから抽出された前記画像特徴量のそれぞれから、類似度が所定以上の領域を探索する探索部、
をさらに備え、
前記探索部は、
前記探索された前記類似度が所定以上の領域を示す情報を、オブジェクト検出のための情報として出力する、
前記（１９）に記載の信号処理装置。
（２１）
プロセッサにより実行される、
撮像画像に対して、前記撮像画像の画像特徴量を最大化するための、輝度情報に対する変換処理を実行する画像処理ステップ、
を有する、
信号処理方法。
（１）
撮像画像に対して探索領域を設定する領域制御部と、
前記探索領域における輝度情報に対する変換処理を実行する画像処理部と、
を備え、
前記領域制御部は、
前記画像処理部で前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する、
信号処理装置。
（２）
前記画像処理部は、
前記変換処理として前記輝度情報に対するヒストグラム平坦化を実行する、
前記（１）に記載の信号処理装置。
（３）
前記領域制御部は、
前記探索領域のうち前記オブジェクト検出により検出されたオブジェクトの数が最大の探索領域を、前記注目領域として決定する、
前記（１）または（２）に記載の信号処理装置。
（４）
前記領域制御部は、
前記撮像画像を分割した各領域を順次に前記探索領域として設定する、
前記（１）乃至（３）の何れかに記載の信号処理装置。
（５）
前記領域制御部は、
前記オブジェクト検出の結果に応じて前記探索領域を段階的に狭める、
前記（１）乃至（３）の何れかに記載の信号処理装置。
（６）
前記領域制御部は、
前記オブジェクト検出により検出された２以上のオブジェクトの重心位置に応じて前記探索領域を段階的に狭める、
前記（５）に記載の信号処理装置。
（７）
前記画像処理部は、
前記探索領域に含まれる画像の画像特徴量に基づき、２以上の前記探索領域から類似度が所定以上の領域を探索する、
前記（１）乃至（６）の何れかに記載の信号処理装置。
（８）
撮像装置から出力された前記撮像画像を取得し、取得した前記撮像画像が前記画像処理部で前記変換処理を施された画像を、学習されたモデルを用いて情報処理を行う情報処理装置に出力する、
前記（１）乃至（７）の何れかに記載の信号処理装置。
（９）
プロセッサにより実行される、
撮像画像に対して探索領域を設定する領域制御ステップと、
前記注目領域における輝度情報に対する変換処理を実行する画像処理ステップと、
を有し、
前記領域制御ステップは、
前記画像処理ステップにより前記変換処理が実行された画像に対するオブジェクト検出の結果に基づき前記探索領域から注目領域を決定する、
信号処理方法。
（１０）
撮像画像に対して画像処理を施して、学習された第１のモデルを用いた処理を行う処理部に出力する画像処理部と、
予め用意された第１の特徴量と、前記画像処理を施された前記撮像画像から抽出された第２の特徴量とに基づき、少なくとも前記画像処理部による前記画像処理を制御するためのパラメータを生成する生成部と、
を備える、
信号処理装置。
（１１）
前記生成部は、
前記第１のモデルを学習した学習データに基づき抽出された特徴量を、前記第１の特徴量として用いる、
前記（１０）に記載の信号処理装置。
（１２）
前記生成部は、
前記画像処理を施された前記撮像画像に対して、前記第１のモデルに対応する第２のモデルを用いた処理を行い、該処理の結果に基づき抽出された特徴量を、前記第１の特徴量として用いる、
前記（１０）に記載の信号処理装置。
（１３）
前記生成部は、
前記第２のモデルを用いた処理に基づくスコアがより高くなるように、前記パラメータを生成する、
前記（１２）に記載の信号処理装置。
（１４）
前記生成部は、
前記画像処理部が前記処理部に出力するための前記撮像画像に対して予め取得した前記撮像画像に基づき、前記第２のモデルを用いた処理を行う、
前記（１２）または（１３）に記載の信号処理装置。
（１５）
前記第２のモデルは、前記処理部が有する前記第１のモデルである、
前記（１２）乃至（１４）の何れかに記載の信号処理装置。
（１６）
前記生成部は、
前記第１の特徴量と前記第２の特徴量とに基づき、前記撮像画像を出力する撮像装置を制御するためのパラメータをさらに生成する、
前記（１０）乃至（１５）の何れかに記載の信号処理装置。
（１７）
前記生成部は、
前記第１の特徴量に対する前記第２の特徴量の差分が小さくなるように、前記パラメータを生成する、
前記（１０）乃至（１６）の何れかに記載の信号処理装置。
（１８）
プロセッサにより実行される、
撮像画像に対して画像処理を施して、学習された第１のモデルを用いた処理を行う処理部に出力する画像処理ステップと、
予め用意された第１の特徴量と、前記画像処理を施された前記撮像画像から抽出された第２の特徴量とに基づき、少なくとも前記画像処理ステップによる前記画像処理を制御するためのパラメータを生成する生成ステップと、
を有する、
信号処理方法。
（１９）
撮像画像に対して、前記撮像画像の画像特徴量を最大化するための、輝度情報に対する変換処理を実行する画像処理部、
を備える、
信号処理装置。
（２０）
複数の前記撮像画像にから抽出された前記画像特徴量のそれぞれから、類似度が所定以上の領域を探索する探索部、
をさらに備え、
前記探索部は、
前記探索された前記類似度が所定以上の領域を示す情報を、オブジェクト検出のための情報として出力する、
前記（１９）に記載の信号処理装置。
（２１）
プロセッサにより実行される、
撮像画像に対して、前記撮像画像の画像特徴量を最大化するための、輝度情報に対する変換処理を実行する画像処理ステップ、
を有する、
信号処理方法。
【符号の説明】
【0164】
１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ，１ｇ 情報処理システム
１０，１０1，１０2 カメラ
１１ 光学部
２０，２０1，２０2，２０ａ，２０ｂ 信号処理装置
３０，３０’ ＡＩ装置
４０ 撮像画像データ
５０ 探索領域
６０，６０ａ，６０ｂ，６０ｃ オブジェクト
６１，６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅ，６１ｆ バウンディングボックス
６２ａ，６２ｂ 重心の座標
７０ 比較部
８０ａ，８０ｂ キャリブレーション部
２００ 領域制御部
２０１ 画像処理部
２０２ 検出結果処理部
２１０ 類似特徴量探索部
３００ 学習済ＡＩモデル
３００’ ＡＩモデル
３０１ 学習データ
８００ 画像特徴分析部
８０１，８０３ ＡＩモデル画像特徴分析部
８０２ 比較部
８１０ ＡＩ処理部
１０，１０1，１０2 カメラ
１１ 光学部
２０，２０1，２０2，２０ａ，２０ｂ 信号処理装置
３０，３０’ ＡＩ装置
４０ 撮像画像データ
５０ 探索領域
６０，６０ａ，６０ｂ，６０ｃ オブジェクト
６１，６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅ，６１ｆ バウンディングボックス
６２ａ，６２ｂ 重心の座標
７０ 比較部
８０ａ，８０ｂ キャリブレーション部
２００ 領域制御部
２０１ 画像処理部
２０２ 検出結果処理部
２１０ 類似特徴量探索部
３００ 学習済ＡＩモデル
３００’ ＡＩモデル
３０１ 学習データ
８００ 画像特徴分析部
８０１，８０３ ＡＩモデル画像特徴分析部
８０２ 比較部
８１０ ＡＩ処理部
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】