特許 7582302 情報処理装置、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241106BHJP

   G06V 10/82 20220101ALI20241106BHJP

   H04N 23/743 20230101ALI20241106BHJP

   H04N 23/60 20230101ALI20241106BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

H04N23/743

H04N23/60

【請求項の数】 18

(21)【出願番号】P 2022511953

(86)(22)【出願日】2021-03-22

(86)【国際出願番号】 JP2021011645

(87)【国際公開番号】W WO2021200330

(87)【国際公開日】2021-10-07

【審査請求日】2024-03-11

(31)【優先権主張番号】P 2020064086

(32)【優先日】2020-03-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】青木 卓

(72)【発明者】

【氏名】佐藤 竜太

(72)【発明者】

【氏名】日永田 佑介

【審査官】山田 辰美

(56)【参考文献】

【文献】国際公開第２０１９／１３５２７０（ＷＯ，Ａ１）

【文献】国際公開第２０１３／１９１１９３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

Ｈ０４Ｎ ２３／７４３

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

画素によって構成される撮像情報が分割された分割領域毎に、サンプリング画素を取得するための画素位置を設定する設定部と、
前記サンプリング画素により構成されるサンプリング画像の特徴量を算出する算出部と、
前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識部と、
を備え、
前記設定部は、
前記撮像情報のうち、第１の撮像情報と、時系列で該第１の撮像情報の次に取得される第２の撮像情報と、で異なる前記画素位置を設定する、
情報処理装置。

【請求項2】

前記認識部は、
前記第１の撮像情報に設定された前記サンプリング画素と、前記第２の撮像情報に設定された前記サンプリング画素と、を用いたＲＮＮ(Recurrent Neural Network)により機械学習処理を実行し、該機械学習処理の結果に基づき前記認識処理を行う、
請求項１に記載の情報処理装置。

【請求項3】

前記設定部は、
前記画素位置を、前記撮像情報の取得に応じて前記分割領域内を一定の周期で巡回するように設定する、
請求項１に記載の情報処理装置。

【請求項4】

前記設定部は、
前記画素位置を、前記撮像情報の取得に応じて前記分割領域内に対して任意に設定する、
請求項１に記載の情報処理装置。

【請求項5】

前記設定部は、
前記画素位置を、外部からの指示に基づき、前記撮像情報の取得に応じて前記分割領域内に設定する、
請求項１に記載の情報処理装置。

【請求項6】

前記設定部は、
前記画素位置として、前記分割領域に含まれる全ての画素位置を、時系列上で連なる複数の前記撮像情報を跨いで設定する、
請求項１に記載の情報処理装置。

【請求項7】

前記設定部は、
前記画素位置として、前記撮像情報に含まれる全ての画素位置を、時系列上で連なる複数の前記撮像情報を跨いで設定する、
請求項１に記載の情報処理装置。

【請求項8】

前記算出部が算出した前記特徴量を蓄積する蓄積部をさらに備え、
前記認識部は、
前記蓄積部に蓄積された前記特徴量の少なくとも一部に基づき前記認識処理を行い前記認識処理結果を出力する、
請求項１に記載の情報処理装置。

【請求項9】

前記認識部は、
前記蓄積部に蓄積された複数の前記特徴量を統合した特徴量に基づき前記認識処理を行う、
請求項８に記載の情報処理装置。

【請求項10】

前記認識部は、
前記撮像情報の取得に応じて前記算出部により算出された前記特徴量を、該取得の直前までに前記蓄積部に蓄積された特徴量の少なくとも一部の特徴量と統合し、統合された特徴量に基づき前記認識処理を行う、
請求項８に記載の情報処理装置。

【請求項11】

前記認識部は、
前記蓄積部に蓄積された前記特徴量のうち、所定の条件に応じて選択された特徴量に基づき前記認識処理を行う、
請求項８に記載の情報処理装置。

【請求項12】

前記認識部は、
前記蓄積部に蓄積された前記特徴量のうち、時系列で新しい特徴量に基づき前記認識処理を行う、
請求項１１に記載の情報処理装置。

【請求項13】

前記認識部は、
前記蓄積部に蓄積された前記特徴量のうち、所定の条件に対応する特徴量を破棄する、
請求項８に記載の情報処理装置。

【請求項14】

前記認識部は、
前記分割領域それぞれの前記画素位置に対応する前記画素毎の教師データに基づき、前記サンプリング画像の前記特徴量に対する前記認識処理を行う、
請求項１に記載の情報処理装置。

【請求項15】

前記設定部は、
前記認識部による前記認識処理に応じて、該認識処理を行った前記サンプリング画像を構成する前記画素位置が設定された第１のパターンとは異なる第２のパターンで、前記特徴量を算出するための前記画素位置を設定する、
請求項１に記載の情報処理装置。

【請求項16】

前記設定部は、
前記第１の撮像情報を取得する際の露出条件と、前記第２の撮像情報を取得する際の露出条件と、を異ならせる、
請求項１に記載の情報処理装置。

【請求項17】

プロセッサにより実行される、
画素によって構成される撮像情報が分割された分割領域毎に、サンプリング画素を取得するための画素位置を設定する設定ステップと、
前記サンプリング画素により構成されるサンプリング画像の特徴量を算出する算出ステップと、
前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識ステップと、
を有し、
前記設定ステップは、
前記撮像情報のうち、第１の撮像情報と、時系列で該第１の撮像情報の次に取得される第２の撮像情報と、で異なる前記画素位置を設定する、
情報処理方法。

【請求項18】

画素によって構成される撮像情報が分割された分割領域毎に、サンプリング画素を取得するための画素位置を設定する設定ステップと、
前記サンプリング画素により構成されるサンプリング画像の特徴量を算出する算出ステップと、
前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識ステップと、
をコンピュータに実行させ、
前記設定ステップは、
前記撮像情報のうち、第１の撮像情報と、時系列で該第１の撮像情報の次に取得される第２の撮像情報と、で異なる前記画素位置を設定する、
ための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機（スマートフォン）などに搭載される小型カメラなどの撮像装置の高解像度化に伴い、撮像画像に含まれる所定の対象物を認識する画像認識機能を搭載する情報処理装置が開発されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１１２４０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像認識機能において、より高解像度の撮像画像を用いることで、対象物の検出性能を向上させることが可能である。しかしながら、従来の技術では、高解像度の撮像画像を用いた画像認識は、画像認識処理に係る計算量が多くなり、撮像画像に対する認識処理の同時性を向上させることが困難であった。

【0005】

本開示は、撮像画像を用いた認識処理の特性を向上させることが可能な情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る情報処理装置は、画素によって構成される撮像情報が分割された分割領域毎に、サンプリング画素を取得するための画素位置を設定する設定部と、サンプリング画素により構成されるサンプリング画像の特徴量を算出する算出部と、サンプリング画像の特徴量に基づき認識処理を行い、認識処理結果を出力する認識部と、を備え、設定部は、撮像情報のうち、第１の撮像情報と、時系列で第１の撮像情報の次に取得される第２の撮像情報と、で異なる画素位置を設定する。

【図面の簡単な説明】

【0007】

【図1】各実施形態に適用な情報処理装置の基本的な構成例を示すブロック図である。

【図2A】ＤＮＮによる認識処理の例を概略的に示す図である。

【図2B】ＤＮＮによる認識処理の例を概略的に示す図である。

【図3A】時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。

【図3B】時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。

【図4A】時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。

【図4B】時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。

【図5】各実施形態に適用可能な情報処理装置としての撮像装置のハードウェア構成例を概略的に示すブロック図である。

【図6A】撮像部を２層構造の積層型ＣＩＳにより生成した例を示す図である。

【図6B】撮像部１２００を３層構造の積層型ＣＩＳにより生成した例を示す図である。

【図7】各実施形態に適用可能な撮像部の一例の構成を示すブロック図である。

【図8A】認識処理に用いる画像の解像度について説明するための図である。

【図8B】認識処理に用いる画像の解像度について説明するための図である。

【図9】本開示の第１の実施形態に係る情報処理装置の一例の構成を示すブロック図である。

【図10】第１の実施形態に係る認識処理を説明するための模式図である。

【図11】第１の実施形態に係るサンプリング処理を説明するための模式図である。

【図12A】第１の実施形態に係る認識処理について、より具体的に説明するための図である。

【図12B】第１の実施形態に係る認識処理について、より具体的に説明するための図である。

【図12C】第１の実施形態に係る認識処理について、より具体的に説明するための図である。

【図12D】第１の実施形態に係る認識処理について、より具体的に説明するための図である。

【図12E】第１の実施形態に係る認識処理について、より具体的に説明するための図である。

【図13A】第１の実施形態に係る認識処理におけるサブサンプリング処理について説明するための模式図である。

【図13B】第１の実施形態に係る認識処理におけるサブサンプリング処理について説明するための模式図である。

【図14】第１の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。

【図15】第１の実施形態に係る前処理部および認識部のより詳細な機能を説明するための一例の機能ブロック図である。

【図16】既存技術による計算量の削減方法の第１の例を説明するための模式図である。

【図17】既存技術による計算量の削減方法の第２の例を説明するための模式図である。

【図18】１／Ｎ×１／Ｎ縮小と、１／Ｎ×１／Ｎクロップと、第１の実施形態に係る認識処理と、を元画像をそのまま用いた認識処理と比較した例を示す模式図である。

【図19A】既存技術による縮小画像を用いた認識処理を概略的に示す図である。

【図19B】第１の実施形態に係る認識処理を概略的に示す図である。

【図20】既存技術による、撮像画像の画像データを縮小せずに用いた場合の読み出しおよび認識処理の制御を示す一例のタイムチャートである。

【図21】既存技術による、「１／Ｎ×１／Ｎ縮小」の場合の読み出しおよび認識処理の制御を示す一例のタイムチャートである。

【図22】第１の実施形態に係る認識結果の遅延と、既存技術による認識結果の遅延と、について説明するための模式図である。

【図23A】認識処理と車両の制動との関係について概略的に説明するための模式図である。

【図23B】認識処理と車両の制動との関係について概略的に説明するための模式図である。

【図24】第１の実施形態に係る認識処理による、既存技術の認識処理に対する改善例について説明するための図である。

【図25A】第１の実施形態に係る認識処理の効果的な適用場面の第１の例を示す模式図である。

【図25B】第１の実施形態に係る認識処理の効果的な適用場面の第２の例を示す模式図である。

【図26A】分割領域の画素を行および列方向にそれぞれ１つおきに間引いて選択したサンプリング画素によりサブサンプリングを行う例を示す模式図である。

【図26B】分割領域の画素を行および列方向にそれぞれ３つおきに間引いて選択したサンプリング画素によりサブサンプリングを行う例を示す模式図である。

【図27】第１の実施形態の第４の変形例によるサブサンプリングを説明するための模式図である。

【図28】第１の実施形態の第５の変形例によるサブサンプリングを説明するための模式図である。

【図29】第１の実施形態の第６の変形例による露出制御の例を示す模式図である。

【図30】第２の実施形態に係る情報処理装置の一例の構成を示すブロック図である。

【図31】第２の実施形態に係る読み出しおよび認識処理の制御を示す一例のタイムチャートである。

【図32】第２の実施形態の第１の応用例を説明するための模式図である。

【図33】第２の実施形態の第２の応用例を説明するための模式図である。

【図34】第２の実施形態の第３の応用例を説明するための模式図である。

【図35】第３の実施形態に係る情報処理装置の一例の構成を示すブロック図である。

【図36】第４の実施形態に係る認識処理におけるサブサンプリング処理について説明するための模式図である。

【図37】第１の実施形態およびその各変形例、第２の実施形態、第３の実施形態、ならびに、第４の実施形態に係る情報処理装置を使用する使用例を示す図である。

【図38】車両制御システムの概略的な構成の一例を示すブロック図である。

【図39】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

【発明を実施するための形態】

【0008】

以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

【0009】

以下、本開示の実施形態について、下記の順序に従って説明する。
１．各実施形態に適用可能な技術
１－０．各実施形態に適用可能な認識処理の概略
１－１．各実施形態に適用可能なハードウェア構成
１－１－１．各実施形態に適用可能な撮像部の構成例
１－１－２．撮像画像の解像度について
２．第１の実施形態
２－１．第１の実施形態に係る構成
２－１－１．第１の実施形態に適用可能な構成の概略
２－１－２．第１の実施形態に係る認識処理の例
２－１－３．第１の実施形態に係るサブサンプリング処理について
２－１－４．第１の実施形態に係るより具体的な構成例
２－２．第１の実施形態による効果
２－２－１．既存技術の概略
２－２－２．本開示による技術と既存技術との比較
２－２－２－１．認識結果の比較
２－２－２－２．認識処理制御の比較
２－２－２－３．認識処理の遅延の比較
２－２－２－４．第１の実施形態に係る認識処理による改善例
２－２－２－５．第１の実施形態に係る認識処理の効果的な適用場面
２－３．第１の実施形態の変形例
２－３－１．第１の変形例
２－３－２．第２の変形例
２－３－３．第３の変形例
２－３－４．第４の変形例
２－３－５．第５の変形例
２－３－６．第６の変形例
２－３－７．第７の変形例
３．第２の実施形態
３－１．第２の実施形態に係る構成例
３－２．第２の実施形態の応用例
３－２－１．第１の応用例
３－２－２．第２の応用例
３－２－３．第３の応用例
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態
６－１．本開示の技術の適用例
６－２．移動体への適用例

【0010】

［１．各実施形態に適用可能な技術］
先ず、理解を容易とするために、各実施形態に適用可能な技術について、概略的に説明する。

【0011】

（１－０．各実施形態に適用可能な認識処理の概略）
図１は、各実施形態に適用な情報処理装置の基本的な構成例を示すブロック図である。図１において、情報処理装置１ａは、センサ部１０ａと、認識処理部２０ａと、を含む。図示は省略するが、センサ部１０ａは、撮像手段（カメラ）と、撮像手段を制御する撮像制御部と、を含む。

【0012】

センサ部１０ａは、撮像制御部の制御に従い撮像を行い、撮像により取得された撮像画像の画像データを認識処理部２０ａに供給する。認識処理部２０ａは、ＤＮＮ(Deep Neural Network)を用いて、画像データに対する認識処理を行う。より具体的には、認識処理部２０ａは、機械学習により所定の教師データを用いて予め学習された認識モデルを含み、センサ部１０ａから供給された画像データに対して、当該認識モデルに基づきＤＮＮを用いた認識処理を施す。認識処理部２０ａは、認識処理による認識結果を、例えば情報処理装置１ａの外部に出力する。

【0013】

図２Ａおよび図２Ｂは、ＤＮＮによる認識処理の例を概略的に示す図である。この例では、図２Ａに示されるように、１つの画像をＤＮＮに入力する。ＤＮＮにおいて、入力された画像に対して認識処理が行われ、認識結果が出力される。

【0014】

図２Ｂを用いて、図２Ａの処理をより詳細に説明する。図２Ｂに示されるように、ＤＮＮは、特徴抽出処理と、認識処理とを実行する。ＤＮＮにおいて、入力された画像に対して特徴抽出処理により特徴量を抽出する。この特徴抽出処理は、例えばＤＮＮのうちＣＮＮ(Convolutional Neural Network)を用いて行われる。また、ＤＮＮにおいて、抽出された特徴量に対して認識処理を実行し、認識結果を得る。

【0015】

ＤＮＮにおいて、時系列の情報を用いて認識処理を実行することができる。図３Ａおよび図３Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。この図３Ａおよび図３Ｂの例では、時系列上の、固定数の過去情報を用いて、ＤＮＮによる識別処理を行う。図３Ａの例では、時間Ｔの画像［Ｔ］と、時間Ｔより前の時間Ｔ－１の画像［Ｔ－１］と、時間Ｔ－１より前の時間Ｔ－２の画像［Ｔ－２］と、をＤＮＮに入力する。ＤＮＮにおいて、入力された各画像［Ｔ］、［Ｔ－１］および［Ｔ－２］に対して識別処理を実行し、時間Ｔにおける認識結果［Ｔ］を得る。

【0016】

図３Ｂは、図３Ａの処理をより詳細に説明するための図である。図３Ｂに示されるように、ＤＮＮにおいて、入力された画像［Ｔ］、［Ｔ－１］および［Ｔ－２］それぞれに対して、上述の図２Ｂを用いて説明した特徴抽出処理を１対１に実行し、画像［Ｔ］、［Ｔ－１］および［Ｔ－２］にそれぞれ対応する特徴量を抽出する。ＤＮＮでは、これら画像［Ｔ］、［Ｔ－１］および［Ｔ－２］に基づき得られた各特徴量を統合し、統合された特徴量に対して識別処理を実行し、時間Ｔにおける認識結果［Ｔ］を得る。画像［Ｔ］、［Ｔ－１］および［Ｔ－２］に基づき得られた各特徴量は、認識処理に用いる、統合された特徴量を得るための中間データであるといえる。

【0017】

図４Ａおよび図４Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。図４Ａの例では、内部状態が時間Ｔ－１の状態に更新されたＤＮＮに対して時間Ｔの画像［Ｔ］を入力し、時間Ｔにおける認識結果［Ｔ］を得ている。

【0018】

図４Ｂは、図４Ａの処理をより詳細に説明するための図である。図４Ｂに示されるように、ＤＮＮにおいて、入力された時間Ｔの画像［Ｔ］に対して上述の図２Ｂを用いて説明した特徴抽出処理を実行し、画像［Ｔ］に対応する特徴量を抽出する。ＤＮＮにおいて、時間Ｔより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。この保存された内部情報に係る特徴量と、画像［Ｔ］における特徴量とを統合し、統合された特徴量に対して識別処理を実行する。この場合、保存された内部情報に係る特徴量、および、画像［Ｔ］における特徴量のそれぞれは、認識処理に用いる、統合された特徴量を得るための中間データであるといえる。

【0019】

この図４Ａおよび図４Ｂに示す識別処理は、例えば直前の認識結果を用いて内部状態が更新されたＤＮＮを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うＤＮＮをＲＮＮ(Recurrent Neural Network)と呼ぶ。ＲＮＮによる識別処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりＤＮＮの内部状態を順次に更新することで、識別精度を向上させることが可能である。

【0020】

（１－１．各実施形態に適用可能なハードウェア構成）
図５は、各実施形態に適用可能な情報処理装置のハードウェア構成例を概略的に示すブロック図である。図５において、情報処理装置１は、それぞれバス１２１０を介して互いに通信可能に接続された、撮像部１２００と、メモリ１２０２と、ＤＳＰ(Digital Signal Processor)１２０３と、インタフェース（Ｉ／Ｆ）１２０４と、ＣＰＵ(Central Processing Unit)１２０５と、ＲＯＭ(Read Only Memory)１２０６と、ＲＡＭ(Random Access Memory)１２０７と、を含む。情報処理装置１は、さらに、ユーザ操作を受け付ける入力デバイスと、ユーザに対して情報を表示するための表示デバイスと、データを不揮発に記憶するストレージ装置と、を含むことができる。

【0021】

ＣＰＵ１２０５は、ＲＯＭ１２０６に予め記憶されるプログラムに従い、ＲＡＭ１２０７をワークメモリとして用いて動作し、この情報処理装置１の全体の動作を制御する。インタフェース１２０４は、有線あるいは無線通信により、当該情報処理装置１の外部と通信を行う。例えば、情報処理装置１が車載用途として用いられる場合、情報処理装置１は、当該情報処理装置１が搭載される車両の制動制御系などと、インタフェース１２０４を介して通信を行うことができる。

【0022】

撮像部１２００は、所定のフレーム周期で動画像の撮像を行い、フレーム画像を構成するための画素データを出力する。より具体的には、撮像部１２００は、それぞれ受光した光を光電変換により電気信号である画素信号に変換する複数の光電変換素子と、各光電変換素子を駆動する駆動回路とを含む。撮像部１２００において、複数の光電変換素子は、行列状の配列で配置され、画素アレイを構成する。

【0023】

例えば図１のセンサ部１０ａは、撮像部１２００を含み、撮像部１２００から１フレーム周期内で出力された画素データを、１フレーム分の画像データとして出力する。

【0024】

ここで、光電変換素子のそれぞれは画像データにおける画素に対応し、画素アレイ部は、行×列の画素数として例えば１９２０画素×１０８０画素に対応する数の光電変換素子が行列状の配列で配置される。なお、この１９２０画素×１０８０画素に対応する数の光電変換素子による画素信号により１フレームの画像が形成される。

【0025】

光学部１２０１は、レンズやオートフォーカス機構などを含み、レンズに入射された光を撮像部１２００が有する画素アレイ部に照射させる。撮像部１２００は、光学部１２０１を介して画素アレイ部に照射された光に応じて、光電変換素子毎の画素信号を生成する。撮像部１２００は、アナログ信号である画素信号をディジタル信号である画素データに変換して出力する。撮像部１２００から出力された画素データは、メモリ１２０２に格納される。メモリ１２０２は、例えばフレームメモリであって、少なくとも１フレーム分の画素データを格納可能とされている。

【0026】

ＤＳＰ１２０３は、メモリ１２０２に格納された画素データに対して所定の画像処理を施す。また、ＤＳＰ１２０３は、予め学習された認識モデルを含み、メモリ１２０２に格納された画像データに対して、当該認識モデルに基づき、上述したＤＮＮを用いた認識処理を行う。ＤＳＰ１２０３による認識処理の結果である認識結果は、例えばＤＳＰ１２０３が備えるメモリや、ＲＡＭ１２０７に一時的に記憶され、インタフェース１２０４から外部に出力される。これに限らず、情報処理装置１がストレージ装置を備える場合、認識結果を当該ストレージ装置に格納してもよい。

【0027】

これに限らず、ＤＳＰ１２０３の機能をＣＰＵ１２０５により実現してもよい。また、ＤＳＰ１２０３の代わりにＧＰＵ(Graphics Processing Unit)を用いてもよい。

【0028】

撮像部１２００は、撮像部１２００に含まれる各部がＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）を適用することができる。撮像部１２００は、１つの基板上に形成することができる。これに限らず、撮像部１２００を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。なお、撮像部１２００は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。

【0029】

一例として、撮像部１２００を半導体チップを２層に積層した２層構造の積層型ＣＩＳにより形成することができる。図６Ａは、撮像部１２００を２層構造の積層型ＣＩＳにより形成した例を示す図である。図６Ａの構造では、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０２０ｂを形成している。画素部２０２０ａは、少なくとも撮像部１２００における画素アレイ部を含む。メモリ＋ロジック部２０２０ｂは、例えば、画素アレイ部を駆動するための駆動回路を含む。メモリ＋ロジック部２０２０ｂに、さらに、メモリ１２０２を含ませることもできる。

【0030】

図６Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像部１２００を１つの固体撮像素子として構成する。

【0031】

別の例として、撮像部１２００を、半導体チップを３層に積層した３層構造により形成することができる。図６Ｂは、撮像部１２００を３層構造の積層型ＣＩＳにより形成した例を示す図である。図６Ｂの構造では、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ部２０２０ｃを形成し、第３層の半導体チップにロジック部２０２０ｄを形成している。この場合、ロジック部２０２０ｄは、例えば画素アレイ部を駆動するための駆動回路を含む。また、メモリ部２０２０ｃは、フレームメモリやメモリ１２０２を含むことができる。

【0032】

図６Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像部１２００を１つの固体撮像素子として構成する。

【0033】

なお、図６Ａおよび図６Ｂの構成において、メモリ＋ロジック部２０２０ｂに、図５に示したＤＳＰ１２０３、インタフェース１２０４、ＣＰＵ１２０５、ＲＯＭ１２０６およびＲＡＭ１２０７に相当する構成を含ませることも可能である。

【0034】

（１－１－１．各実施形態に適用可能な撮像部の構成例）
図７は、各実施形態に適用可能な撮像部１２００の一例の構成を示すブロック図である。図７において、撮像部１２００は、画素アレイ部１００１と、垂直走査部１００２と、ＡＤ(Analog to Digital)変換部１００３と、画素信号線１００６と、垂直信号線ＶＳＬと、制御部１１００と、信号処理部１１０１と、を含む。なお、図７において、制御部１１００および信号処理部１１０１は、例えば図５に示したＣＰＵ１２０５およびＤＳＰ１２０３にて実現することもできる。

【0035】

画素アレイ部１００１は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路１０００を含む。画素アレイ部１００１において、複数の画素回路１０００は、水平方向（行方向）および垂直方向（列方向）に行列状の配列で配置される。画素アレイ部１００１において、画素回路１０００の行方向の並びをラインと呼ぶ。例えば、１９２０画素×１０８０ラインで１フレームの画像が形成される場合、画素アレイ部１００１は、少なくとも１９２０個の画素回路１０００が含まれるラインを、少なくとも１０８０ライン、含む。フレームに含まれる画素回路１０００から読み出された画素信号により、１フレームの画像（画像データ）が形成される。

【0036】

また、画素アレイ部１００１には、各画素回路１０００の行および列に対し、行毎に画素信号線１００６が接続され、列毎に垂直信号線ＶＳＬが接続される。画素信号線１００６の画素アレイ部１００１と接続されない端部は、垂直走査部１００２に接続される。垂直走査部１００２は、後述する制御部１１００の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１００６を介して画素アレイ部１００１へ伝送する。垂直信号線ＶＳＬの画素アレイ部１００１と接続されない端部は、ＡＤ変換部１００３に接続される。画素から読み出された画素信号は、垂直信号線ＶＳＬを介してＡＤ変換部１００３に伝送される。

【0037】

画素回路１０００からの画素信号の読み出し制御について、概略的に説明する。画素回路１０００からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、画素信号としてアンプを介して垂直信号線ＶＳＬに出力される。

【0038】

より具体的には、画素回路１０００において、露出中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線１００６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線１００６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ａとする）が出力される。その後、画素信号線１００６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｂとする）が出力される。

【0039】

ＡＤ変換部１００３は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器１００７と、参照信号生成部１００４と、水平走査部１００５と、を含む。ＡＤ変換器１００７は、画素アレイ部１００１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１００７は、垂直信号線ＶＳＬを介して画素回路１０００から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理のための２つのディジタル値（電圧Ａおよび電圧Ｂにそれぞれ対応する値）を生成する。

【0040】

ＡＤ変換器１００７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１００７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号である画素データを生成する。

【0041】

参照信号生成部１００４は、制御部１１００から入力される制御信号に基づき、各ＡＤ変換器１００７が画素信号を２つのディジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１００４は、生成したランプ信号を、各ＡＤ変換器１００７に供給する。参照信号生成部１００４は、例えばＤＡＣ(Digital to Analog Converter)などを用いて構成される。

【0042】

参照信号生成部１００４から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線ＶＳＬから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。ＡＤ変換器１００７は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、ディジタル値に変換する。

【0043】

ＡＤ変換器１００７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１００７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成された画素データは、図示されないフレームメモリに格納され、１フレーム分の画素データが当該フレームメモリに格納されると、１フレームの画像データとして撮像部１２００から出力される。

【0044】

水平走査部１００５は、制御部１１００の制御の下、各ＡＤ変換器１００７を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１００７が一時的に保持している各ディジタル値を信号処理部１１０１へ順次出力させる。水平走査部１００５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。

【0045】

制御部１１００は、センサ制御部１１から供給される撮像制御信号に従い、垂直走査部１００２、ＡＤ変換部１００３、参照信号生成部１００４および水平走査部１００５などの駆動制御を行う。制御部１１００は、垂直走査部１００２、ＡＤ変換部１００３、参照信号生成部１００４および水平走査部１００５の動作の基準となる各種の駆動信号を生成する。制御部１１００は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１００２が画素信号線１００６を介して各画素回路１０００に供給するための制御信号を生成する。制御部１１００は、生成した制御信号を垂直走査部１００２に供給する。

【0046】

また、制御部１１００は、例えば、ＣＰＵ１２０５から供給される撮像制御信号に含まれる、アナログゲインを示す情報をＡＤ変換部１００３に渡す。ＡＤ変換部１００３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１００３に含まれる各ＡＤ変換器１００７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。

【0047】

垂直走査部１００２は、制御部１１００から供給される制御信号に基づき、画素アレイ部１００１の選択された画素行の画素信号線１００６に駆動パルスを含む各種信号を、ライン毎に各画素回路１０００に供給し、各画素回路１０００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部１００２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部１００２は、制御部１１００から供給される露出を示す情報に応じて、各画素回路１０００における露出を制御する。

【0048】

このように構成された撮像部１２００は、ＡＤ変換器１００７が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサである。

【0049】

（１－１－２．撮像画像の解像度について）
次に、図８Ａおよび図８Ｂを用いて、認識処理に用いる画像の解像度について説明する。図８Ａおよび図８Ｂは、同一の撮像範囲を、それぞれ低解像度の撮像装置、および、高解像度の撮像装置を用いて撮像した場合の撮像画像３０ａおよび３０ｂの例を模式的に示す図である。図８Ａおよび図８Ｂに示される撮像範囲は、中央部に、撮像装置からある程度離れた位置に「人」が含まれる。認識処理により、この対象物としての「人」を認識する場合について考える。

【0050】

図８Ａの低解像度の例では、撮像画像３０ａに含まれる「人」の認識が困難であり、認識処理による「人」の認識性能が極めて低いものとなる。一方、図８Ｂの高解像度の例では、撮像画像３０ｂに含まれる「人」の認識が容易であり、認識された「人」が認識結果４０として得られており、図８Ａの低解像度の例と比較して、認識性能が高いものとなっている。

【0051】

一方で、高解像度の画像に対する認識処理は、低解像度の画像に対する認識処理と比較して計算量が多くなり、処理に時間を要する。そのため、認識結果と撮像画像との同時性を高めることが困難となる。これに対して、低解像度の画像に対する認識処理は、計算量が少なくて済むため、短時間で処理が可能であり、撮像画像との同時性を比較的容易に高めることが可能である。

【0052】

一例として、車載の撮像装置において撮像された撮像画像に基づき認識処理を行う場合を考える。この場合、遠方の対象物（例えば対向車線を自車の進行方向と逆方向に走行する対向車）を高い同時性で認識する必要があるため、低解像度の画像に対する認識処理を行うとが考えられる。しかしながら、図８Ａを用いて説明したように、低解像度の撮像画像を用いた場合は、遠方の対象物の認識が困難である。また、高解像度の撮像画像を用いた場合は、遠方の対象物の認識は比較的容易となるが、撮像画像に対する同時性を高めることが困難であり、危急の事態に対応できない可能性がある。

【0053】

本開示の各実施形態では、遠方の対象物を容易且つ高速に認識可能とするために、高解像度の撮像画像を所定の規則に従ったサブサンプリングにより間引きした画素によるサンプリング画像に対して認識処理を行う。次のフレームで取得された撮像画像に対し、直前の撮像画像に対するサブサンプリングとは異なる画素のサンプリングを行い、サンプリングした画素によるサンプリング画像に対して認識処理を行う。

【0054】

この、第１の撮像画像に対して時系列で次に取得される第２の撮像画像において、第１の撮像画像とは異なる画素をサンプリングしたサンプリング画像に対して認識処理を行う動作を、フレーム単位で繰り返し実行する。これにより、高解像度の撮像画像を用いつつ、高速に認識結果を取得することが可能となる。また、認識処理を行う際に抽出した特徴量を、順次、次のサンプリング画像に対する認識処理において抽出される特徴量に対して統合していくことで、より高精度の認識結果を取得できる。

【0055】

［２．第１の実施形態］
次に、本開示の第１の実施形態について説明する。

【0056】

（２－１．第１の実施形態に係る構成）
（２－１－１．第１の実施形態に適用可能な構成の概略）
図９は、本開示の第１の実施形態に係る情報処理装置の一例の構成を示すブロック図である。図９において、情報処理装置１ｂは、センサ部１０ｂと、認識処理部２０ｂと、を含む。図示は省略するが、センサ部１０ｂは、図１を用いて説明したセンサ部１０ａと同様に、撮像手段（カメラ）と、撮像手段を制御する撮像制御部と、を含む。撮像手段は、高解像度（例えば１９２０画素×１０８０画素）で撮像を行うものとする。センサ部１０ｂは、撮像手段により撮像された撮像画像の画像データを認識処理部２０ｂに供給する。

【0057】

認識処理部２０ｂは、前処理部２１０と認識部２２０とを含む。センサ部１０ｂから認識処理部２０ｂに供給された画像データは、前処理部２１０に入力される。前処理部２１０は、入力された画像データに対して、所定の規則に従い画素を間引いてサブサンプリングを行う。画像データがサブサンプリングされたサンプリング画像は、認識部２２０に入力される。

【0058】

認識部２２０は、図１の認識処理部２０ａと同様に、ＤＮＮを用いて、画像データに対する認識処理を行う。より具体的には、認識処理部２０ａは、機械学習により所定の教師データを用いて予め学習された認識モデルを含み、センサ部１０ａから供給された画像データに対して、当該認識モデルに基づきＤＮＮを用いた認識処理を施す。このとき、教師データとしては、前処理部２１０と同様にしてサブサンプリングされたサンプリング画像を用いる。

【0059】

認識部２２０は、認識処理による認識結果を、例えば情報処理装置１ｂの外部に出力する。

【0060】

（２－１－２．第１の実施形態に係る認識処理の例）
図１０は、第１の実施形態に係る認識処理を説明するための模式図である。画像データ３２は、センサ部１０ｂで撮像された撮像画像による１フレームの画像データを概略的に示している。画像データ３２は、行列状に配列された複数の画素３００を含む。画像データ３２は、認識処理部２０ｂにおいて、前処理部２１０に入力される。前処理部２１０は、画像データ３２に対して、所定の規則に従った間引きによりサブサンプリングを行う（ステップＳ１０）。

【0061】

サブサンプリングされたサンプリング画素によるサンプリング画像は、認識部２２０に入力される。認識部２２０は、ＤＮＮにより、入力されたサンプリング画像の特徴量を抽出する（ステップＳ１１）。ここでは、認識部２２０は、ＤＮＮのうちＣＮＮを用いて特徴量の抽出を行う。

【0062】

認識部２２０は、ステップＳ１１で抽出された特徴量を、図示されない蓄積部（例えばＲＡＭ１２０７）に格納する。このとき、認識部２２０は、例えば直前のフレームにおいて抽出された特徴量が既に蓄積部に格納されている場合、メモリに格納されている特徴量を再帰的に用いて、抽出した特徴量と統合する（ステップＳ１２）。認識部２２０は、直前のフレームまでにおいて抽出された特徴量を蓄積部に格納し、蓄積、統合する。すなわち、このステップＳ１２での処理は、ＤＮＮのうちＲＮＮを用いた処理に相当する。

【0063】

認識部２２０は、ステップＳ１２で蓄積、統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。

【0064】

ここで、ステップＳ１０における前処理部２１０によるサブサンプリング処理について、より詳細に説明する。図１１は、第１の実施形態に係るサンプリング処理を説明するための模式図である。図１１において、セクション（ａ）は、画像データ３２の例を模式的に示している。上述したように、画像データ３２は、行列状に配列された複数の画素３００を含む。前処理部２１０は、画像データ３２を、２以上の画素３００を含む分割領域３５に分割する。図１１の例では、分割領域３５は、サイズが４画素×４画素の領域とされ、１６個の画素３００を含む。

【0065】

前処理部２１０は、この分割領域３５に対して、分割領域３５に含まれる各画素３００からサブサンプリングによるサンプリング画素を選択するための画素位置を設定する。また、前処理部２１０は、フレーム毎に異なる画素位置を、サンプリング画素を選択するための画素位置として設定する。

【0066】

図１１のセクション（ｂ）は、あるフレームにおいて、分割領域３５に対して設定される画素位置の例を示している。この例では、分割領域３５において、行および列方向それぞれについて画素３００を１つおきに選択するように画素位置を設定し、設定された各画素位置の画素３００ｓａ₁、３００ｓａ₂、３００ｓａ₃および３００ｓａ₄を、サンプリング画素として選択している。このように、前処理部２１０は、分割領域３５を単位としてサブサンプリングを行う。

【0067】

前処理部２１０は、あるフレームにおいてサンプリング画素として選択された各画素３００ｓａ₁～３００ｓａ₄からなる画像を、サンプリング画素からなるサンプリング画像として生成する。図１１のセクション（ｃ）は、図１１のセクション（ｂ）にてサンプリング画素として選択された各画素３００ｓａ₁～３００ｓａ₄から生成されるサンプリング画像３６の例を示している。前処理部２１０は、このサンプリング画像３６を認識部２２０に入力する。認識部２２０は、このサンプリング画像３６に対して認識処理を実行する。

【0068】

図１２Ａ～図１２Ｅを用いて、第１の実施形態に係る認識処理について、より具体的に説明する。上述したように、前処理部２１０は、フレーム毎に異なる画素位置を、サンプリング画素を選択する画素位置として設定する。認識部２２０は、フレーム毎に、設定された各画素位置の各画素３００からなるサンプリング画像に基づき認識処理を行う。図１２Ａ～図１２Ｅは、センサ部１０ｂにより時系列で順次に撮像されたフレーム＃１～＃５それぞれの画像データ３２ａ～３２ｄ、３２ａ’に対する各認識処理を示している。

【0069】

なお、図１２Ａ～図１２Ｅそれぞれにおいて、画像データ３２ａ～３２ｄ、３２ａ’による画像には、それぞれ人による対象物４１および４２が含まれている。対象物４１は、センサ部１０ｂに対して比較的近距離（中距離とする）に位置している。一方、対象物４２は、センサ部１０ｂに対して、当該中距離より遠方の距離（遠距離とする）に位置しており、画像中のサイズが対象物４１より小さい。

【0070】

図１２Ａのセクション（ａ）において、前処理部２１０は、フレーム＃１の画像データ３２ａの各分割領域３５に対し、例えば左上隅の画素位置を基点としたサブサンプリングを行う。より具体的には、前処理部２１０は、画像データ３２ａの各分割領域３５において、左上隅の画素位置を基点として行および列方向にそれぞれ１つおきに選択した各画素３００を、それぞれサンプリング画素である画素３００ｓａ₁～３００ｓａ₄として選択するサブサンプリングを行う（ステップＳ１０ａ）。

【0071】

前処理部２１０は、セクション（ｂ）に示されるように、このサブサンプリングされた各画素３００ｓａ₁～３００ｓａ₄により、第１の位相のサンプリング画像３６φ１を生成する。生成されたサンプリング画像３６φ１は、認識部２２０に入力される。

【0072】

認識部２２０は、入力されたサンプリング画像３６φ１の特徴量５０ａを、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ａを、蓄積部に格納、蓄積する（ステップＳ１２）。認識部２２０は、蓄積部に既に特徴量が蓄積されている場合、特徴量５０ａを蓄積部に蓄積すると共に、既に蓄積されている特徴量と統合することができる。図１２Ａのセクション（ｂ）に、ステップＳ１２の処理として空の蓄積部に対して最初の特徴量５０ａが格納された様子が示されている。

【0073】

認識部２２０は、蓄積部に蓄積された特徴量５０ａに基づき認識処理を実行する（ステップＳ１３）。図１２Ａの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られている。一方、遠距離に位置する対象物４２は、認識されていない。

【0074】

図１２Ｂのセクション（ａ）において、前処理部２１０は、フレーム＃２の画像データ３２ｂの各分割領域３５に対し、図１２Ａに示したフレーム＃１の画像データ３２ａの各分割領域３５に対して設定された画素位置に対して１画素分水平方向にずらした各画素位置を、それぞれサンプリング画素の画素位置として設定するサブサンプリングを行う（ステップＳ１０ｂ）。すなわち、このステップＳ１０ｂで選択される各サンプリング画素は、図１２ＡにおいてステップＳ１０ａで選択された各サンプリング画素の画素位置に対し、図中で右にそれぞれ隣接する画素位置における各画素３００である。

【0075】

前処理部２１０は、セクション（ｂ）に示されるように、ステップＳ１０ｂでサブサンプリングされた各サンプリング画素により、第２の位相のサンプリング画像３６φ２を生成する。生成されたサンプリング画像３６φ２は、認識部２２０に入力される。

【0076】

認識部２２０は、入力されたサンプリング画像３６φ２の特徴量５０ｂを、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ｂを、蓄積部に格納、蓄積する（ステップＳ１２）。この例では、セクション（ｂ）にステップＳ１２として示されるように、蓄積部に対し、第１の位相のサンプリング画像３６φ１から抽出された特徴量５０ａが既に蓄積されている。そのため、認識部２２０は、特徴量５０ｂを蓄積部に蓄積すると共に、特徴量５０ｂを、蓄積されている特徴量５０ａと統合する。

【0077】

認識部２２０は、特徴量５０ａと特徴量５０ｂとが統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。図１２Ｂの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られているが、遠距離に位置する対象物４２は、この時点では認識されていない。

【0078】

図１２Ｃのセクション（ａ）において、前処理部２１０は、フレーム＃３の画像データ３２ｃの各分割領域３５に対し、図１２Ａに示したフレーム＃１の画像データ３２ａの各分割領域３５に対して設定された画素位置に対して位置を１画素分、列方向にずらした画素位置を、各サンプリング画素の画素位置として設定するサブサンプリングを行う（ステップＳ１０ｃ）。すなわち、このステップＳ１０ｃで選択される各サンプリング画素は、図１２ＡにおいてステップＳ１０ａで選択された各サンプリング画像の画素位置に対して、図中で下にそれぞれ隣接する画素位置における各画素３００である。

【0079】

前処理部２１０は、セクション（ｂ）に示されるように、ステップＳ１０ｃでサブサンプリングされた各サンプリングにより、第３の位相のサンプリング画像３６φ３を生成する。生成されたサンプリング画像３６φ３は、認識部２２０に入力される。

【0080】

認識部２２０は、入力されたサンプリング画像３６φ３の特徴量５０ｃを、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ｃを、蓄積部に格納、蓄積する（ステップＳ１２）。この例では、セクション（ｂ）にステップＳ１２として示されるように、蓄積部に対し、第１および第２の位相のサンプリング画像３６φ１および３６φ２からそれぞれ抽出された特徴量５０ａおよび５０ｂが既に蓄積されている。そのため、認識部２２０は、特徴量５０ｃを蓄積部に蓄積すると共に、特徴量５０ｃを、蓄積されている特徴量５０ａおよび５０ｂと統合する。

【0081】

認識部２２０は、特徴量５０ａおよび５０ｂと、特徴量５０ｃとが統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。図１２Ｃの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られているが、遠距離に位置する対象物４２は、この時点では認識されていない。

【0082】

図１２Ｄのセクション（ａ）において、前処理部２１０は、フレーム＃４の画像データ３２ｄの各分割領域３５に対し、図１２Ｃに示したフレーム＃３の画像データ３２ｃの各分割領域３５に対して設定された画素位置に対して１画素分水平方向にずらした各画素位置を、それぞれサンプリング画素の画素位置として設定するサブサンプリングを行う（ステップＳ１０ｄ）。すなわち、このステップＳ１０ｄで選択される各サンプリング画素は、図１２ＣにおいてステップＳ１０ｃで選択された各サンプリング画像の画素位置に対し、図中で右にそれぞれ隣接する画素位置における各画素３００である。

【0083】

前処理部２１０は、セクション（ｂ）に示されるように、ステップＳ１０ｄでサブサンプリングされた各サンプリングにより、第４の位相のサンプリング画像３６φ４を生成する。生成されたサンプリング画像３６φ４は、認識部２２０に入力される。

【0084】

認識部２２０は、入力されたサンプリング画像３６φ４の特徴量５０ｄを、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ｄを、蓄積部に格納、蓄積する（ステップＳ１２）。この例では、セクション（ｂ）にステップＳ１２として示されるように、蓄積部に対し、第１～第３の位相のサンプリング画像３６φ１～３６φ３からそれぞれ抽出された各特徴量５０ａ～５０ｃが既に蓄積されている。そのため、認識部２２０は、特徴量５０ｄを蓄積部に蓄積すると共に、特徴量５０ｄを、蓄積されている特徴量５０ａ～５０ｃと統合する。

【0085】

認識部２２０は、特徴量５０ａ～５０ｃと、特徴量５０ｄとが統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。図１２Ｄの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られ、遠距離に位置する対象物４２がさらに認識され認識結果６１として得られている。

【0086】

図１２Ａ～図１２Ｄの処理により、各分割領域３５に含まれる１６個の画素３００の画素位置全てが、サンプリング画素の画素位置として選択されたことになる。これは、換言すれば、前処理部２１０は、１フレームに含まれる全ての画素３００の画素位置を、サンプリング画素の画素位置として選択する。この、各分割領域３５あるいは１フレームに対して最初にサンプリング画素の画素位置を選択した時点から、各分割領域３５あるいは１フレームに含まれる全ての画素３００の画素位置がサンプリング画素の画素位置として選択されるまでの期間を、１周期とする。すなわち、前処理部２１０は、各分割領域３５の各画素位置を一定の周期で巡回して、当該分割領域３５内の全ての画素位置を、サンプリング画素を取得するための画素位置として設定する。

【0087】

１周期分のサブサンプリングおよび認識処理が終了すると、次の１周期分のサブサンプリングおよび認識処理が開始される。

【0088】

すなわち、図１２Ｅのセクション（ａ）において、前処理部２１０は、フレーム＃１’の画像データ３２ａ’の各分割領域３５に対し、図１２Ａの例と同様にして、左上隅の画素位置を基点としたサブサンプリングを行う（ステップＳ１０ａ’）。前処理部２１０は、セクション（ｂ）に示されるように、ステップＳ１０ａ’でサブサンプリングされた各サンプリングにより、第１の位相のサンプリング画像３６φ１’を生成する。生成されたサンプリング画像３６φ１’は、認識部２２０に入力される。

【0089】

認識部２２０は、入力されたサンプリング画像３６φ１’の特徴量５０ａ’を、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ａ’を、蓄積部に格納、蓄積する（ステップＳ１２）。この例では、セクション（ｂ）にステップＳ１２として示されるように、蓄積部に対し、直前の周期において第１～第４の位相のサンプリング画像３６φ１～３６φ４からそれぞれ抽出された各特徴量５０ａ～５０ｄが既に蓄積されている。そのため、認識部２２０は、特徴量５０ａ’を蓄積部に蓄積すると共に、特徴量５０ａ’を、蓄積されている特徴量５０ａ～５０ｄと統合する。

【0090】

これに限らず、認識部２２０は、サンプリング画素の画素位置選択の周期毎に蓄積部をリセットするようにしてもよい。蓄積部のリセットは、例えば、蓄積部に蓄積された１周期分の特徴量５０ａ～５０ｄを、蓄積部から削除することで可能である。

【0091】

また、認識部２２０は、蓄積部に対して、常に一定量の特徴量を蓄積するようにもできる。例えば、認識部２２０は、蓄積部に対して１周期分の特徴量、すなわち、４フレーム分の特徴量を蓄積する。この場合、認識部２２０は、新たな特徴量５０ａ’が抽出されると、蓄積部に蓄積される特徴量５０ａ～５０ｄのうち、例えば最も古い特徴量５０ｄを削除し、新たな特徴量５０ａ’を蓄積部に格納し、蓄積する。認識部２２０は、特徴量５０ｄを削除されて残った特徴量５０ａ～５０ｃと、新たな特徴量５０ａ’と、を統合した蓄積量に基づき認識処理を実行する。

【0092】

認識部２２０は、蓄積部にすでに蓄積されている特徴量５０ａ～５０ｄと、新たに抽出された特徴量５０ａ’とが統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。図１２Ｅの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られ、遠距離に位置する対象物４２がさらに認識され認識結果６１として得られている。

【0093】

ここで、サンプリング画像３６は、元の画像データ３２から画素を間引きした間引き画像である。図１１の例では、サンプリング画像３６は、画像データ３２を行および列方向にそれぞれ１／２に縮小した画像データであって、画素数が元の画像データ３２の１／４の縮小画像である。したがって、認識部２２０は、サンプリング画像３６に対する認識処理を、元の画像データ３２に含まれる画素３００を全て用いた認識処理に対して高速に実行できる。

【0094】

また、サンプリング画像３６を生成するためにサンプリング画素として設定する画素３００の画素位置を、分割領域３５内でフレーム毎に１画素分ずつずらして選択している。そのため、フレーム毎に１画素分ずつ位相がずれたサンプリング画像３６を得ることができる。またこのとき、分割領域３５に含まれる全ての画素３００の画素位置が、サンプリング画素として設定する画素３００の画素位置として選択されるようにする。

【0095】

このようにサンプリング画像３６を生成する画素３００の画素位置を選択し、各サンプリング画像３６から算出された特徴量を蓄積、統合する。これにより、画像データ３２に含まれる全ての画素位置の画素３００を、認識処理に関与させることができ、例えば遠方の対象物も容易に認識可能にできる。

【0096】

なお、上述では、サンプリング画素を選択するための画素位置を、前処理部２１０が所定の規則に従い設定するように説明したが、これはこの例に限定されない。例えば、前処理部２１０は、認識処理部２０ｂの外部、あるいは、当該認識処理部２０ｂが含まれる情報処理装置１ｂの外部からの指示に応じて、サンプリング画素を選択するための画素位置を設定してもよい。

【0097】

（２－１－３．第１の実施形態に係るサブサンプリング処理について）
次に、第１の実施形態に係る認識処理におけるサブサンプリング処理について、より具体的に説明する。図１３Ａおよび図１３Ｂは、第１の実施形態に係る認識処理におけるサブサンプリング処理について説明するための模式図である。ここでは、説明のため、図１３Ａのセクション（ｂ）に示されるように、分割領域３５を２画素×２画素の領域としている。各分割領域３５において、左上の画素位置を原点の座標［０，０］とし、右上、左下および右下の画素位置を、それぞれ座標［１，０］［０，１］および［１，１］とする。また、画素３００のサンプリングは、各分割領域３５において、右下の画素位置［１，１］を基点として、座標［１，１］、［１，０］、［０，１］、［０，０］の順に行うものとする。

【0098】

図１３Ａのセクション（ａ）において、図の下から上に向けて、時間の経過を表す。図１３Ａの例では、上述した図１２Ａ～図１２Ｅと対応し、画像データ３２ａが最も新しい時間Ｔの画像［Ｔ］であり、以降、画像データ３２ｂ、画像データ３２ｃ、画像データ３２ｄの順に、時間Ｔ－１、Ｔ－２、Ｔ－３と、１フレームずつ古い画像データ３２による画像［Ｔ－１］、画像［Ｔ－２］、画像［Ｔ－３］となっている。

【0099】

前処理部２１０は、時間Ｔ－３において、画像データ３２ａについて、各分割領域３５の座標［１，１］の画素３００をサンプリング画素として選択し（ステップＳ１０ａ）、認識部２２０は、選択されたサンプリング画素によるサンプリング画像３６φ１の特徴量を抽出する（ステップＳ１１）。認識部２２０は、サンプリング画像３６φ１から抽出された特徴量５０ａを、例えばそれ以前の所定期間に抽出された特徴量と統合し（ステップＳ１２）、統合された特徴量に基づき認識処理を行う（ステップＳ１３）。

【0100】

ここで、例えば、上述した画像データ３２ａの各分割領域３５におけるサブサンプリング処理（ステップＳ１０ａ）により、画像データ３２ａを均一に間引いたサンプリング画像３６φ１を得ることができる。このサンプリング画像３６φ１からステップＳ１１により抽出された特徴量５０ａを用いて、画像データ３２ａの全体に対する認識処理を実行することができる。この、画像データ３２からサブサンプリングにより選択したサンプリング画素によるサンプリング画像に対する認識処理により、画像データ３２に対する認識処理を完結させることが可能である。

【0101】

この、画像データ３２からサンプリング画像を生成し、生成されたサンプリング画像から特徴量を抽出し、抽出された特徴量に基づき認識処理を行う一連の処理を、１単位の処理と呼ぶ。図１３Ａの例では、例えばステップＳ１０ａのサブサンプリング処理と、当該サブサンプリング処理により生成されるサンプリング画像３６φ１に対するステップＳ１１による特徴量抽出処理と、ステップＳ１２による特徴量の統合処理と、ステップＳ１３による認識処理と、が、１単位の処理に含まれる。認識部２２０は、この１単位の処理毎に、間引きされた画像データ３２に対する認識処理を実行できる（ステップＳ１３）。

【0102】

以降、同様にして、認識処理部２０ｂは、フレーム周期で順次に更新される各画像データ３２ｂ、３２ｃおよび３２ｄについて、上述した１単位の処理をそれぞれ実行し、認識処理を実行する。このとき、ステップＳ１２の特徴量の統合処理、および、ステップＳ１３の認識処理は、各単位の処理において共通とすることができる。

【0103】

上述の、画像データ３２ａ～３２ｄそれぞれに対して１単位の処理が行われることで、各分割領域３５に含まれる各画素位置に対するサンプリング画素の選択が一巡する。図１３Ｂは、この各分割領域３５に含まれる各画素位置に対するサンプリング画素の選択の一巡後の、次の１単位の処理について示している。すなわち、各画像データ３２ａ、３２ｂ、３２ｃおよび３２ｄに対する１単位の処理が一巡すると、認識処理部２０ｂに入力される次のフレームの画像データ３２ａ’に対する１単位分の処理が実行される。

【0104】

この例では、最も古い画像データ３２ｄに基づき抽出された特徴量５０ｄを破棄し、新たな画像データ３２ａ’から特徴量５０ａ’を抽出する。すなわち、前処理部２１０は、画像データ３２ａ’の各分割領域３５の座標［１，１］の各画素３００をサンプリング画素として選択し、サンプリング画像３６φ１を生成する。認識部２２０は、この画像データ３２ａ’から選択されたサンプリング画像３６φ１から特徴量５０ａ’を抽出する。認識部２２０は、この特徴量５０ａ’と、直前までに抽出された特徴量５０ａ、５０ｂおよび５０ｃと、を統合し、統合した特徴量に基づき認識処理を行う。この場合、認識部２２０は、新たに取得された画像データ３２ａ’についてのみ、特徴量の抽出処理を行えばよい。

【0105】

このように、第１の実施形態に係る認識処理は、認識処理部２０ｂにおいて、同一の処理系において１単位分の処理を実行することで行っている。より具体的には、認識処理部２０ｂは、１単位分の処理として、画像データ３２に対するサブサンプリング処理および特徴量抽出処理による処理系をフレーム毎に繰り返し、この繰り返しにより抽出された特徴量を統合し、認識処理を行っている。

【0106】

また、認識処理部２０ｂは、画像データ３２に含まれる全画素３００の画素位置を含むサブサンプリング処理を、サンプリング画素を選択する画素位置を周期的にずらしながら行っている。さらに、認識処理部２０ｂは、ステップＳ１１で各フレームの画像データ３２から選択されたサンプリング画素によるサンプリング画像から抽出した、中間データとしての特徴量を統合して認識処理を行っている。

【0107】

このように構成された第１の実施形態に係る認識処理は、１単位分の処理で完結可能な処理系とされているため、認識結果をより迅速に得ることができる。また、１単位で画像データ３２の全体からサンプリング画素を選択するため、１単位の処理で広範囲の認識結果を確認できる。さらに、複数の画像データ３２に基づく中間データ（特徴量）を統合するため、複数の単位に跨ることで取得される、より詳細な認識結果を取得可能である。

【0108】

すなわち、第１の実施形態に係る情報処理装置１ｂを用いることで、認識結果の同時性の向上と、撮像画像の解像度を活用した認識結果の取得とを両立させることが可能となり、撮像画像を用いた認識処理の特性を向上させることができる。

【0109】

（２－１－４．第１の実施形態に係るより具体的な構成例）
次に、第１の実施形態に係る認識処理を実現するためのより具体的な構成例について説明する。図１４は、第１の実施形態に係る読み出しおよび認識処理の制御を示す一例のタイムチャートである。図１４において、撮像周期はフレーム周期であって、例えば５０［ｍｓ］（２０［ｆｐｓ(frame per second)］）である。また、ここでは、画素アレイ部１００１に行列状の配列で配置される画素回路１０００からの読み出しを、ローリングシャッタ方式によりライン順次で行う。ここで、図１４において、右方向に時間の経過を表し、上から下に向けてライン位置を表す。

【0110】

例えばフレーム＃１の撮像処理において、各ラインで所定時間の露光が行われ、露光の終了後、各画素回路１０００から画素信号が垂直信号線ＶＳＬを介してＡＤ変換部１００３へ転送され、ＡＤ変換部１００３において、各ＡＤ変換器１００７により、転送されたアナログ方式の画素信号がデジタル信号である画素データに変換される。全てのラインについて、画素信号の画素データへの変換が行われると、フレーム＃１の画素データによる画像データ３２ａが前処理部２１０に入力される。前処理部２１０は、入力された画像データ３２ａに対して上述したようなサブサンプリング処理（図中「ＳＳ」として示す）を施して、分割領域３５毎に選択されたサンプリング画素の画素位置から画素３００を取得し、サンプリング画像３６φ１を生成する（ステップＳ１０ａ）。

【0111】

前処理部２１０は、サンプリング画像３６φ１を認識部２２０に渡す。このとき前処理部２１０から認識部２２０に渡されるサンプリング画像３６φ１は、サブサンプリング処理により間引きされ画像データ３２ａに対して画素数が削減された画像である。認識部２２０は、このサンプリング画像３６φ１に対して、認識処理を実行する。ここでは、認識処理として、特徴量抽出処理（ステップＳ１１）、特徴量統合処理（ステップＳ１２）および認識処理（ステップＳ１３）を含んでいるものとして示している。このステップＳ１１～ステップＳ１３の処理は、例えば１フレームの期間内に行われる。サンプリング画像３６φ１に基づく認識結果φ１は、認識処理部２０ｂの外部に出力される。

【0112】

上述のフレーム＃１に対する処理と並行して、次のフレーム＃２に対する処理が実行される。フレーム＃２の画素データからなる画像データ３２ｂが前処理部２１０に入力される。前処理部２１０は、入力された画像データ３２ｂに対して、画像データ３２ａとは異なる位相でサブサンプリング処理を施して、サンプリング画像３６φ２を生成する。

【0113】

前処理部２１０は、サブサンプリングにより画像データ３２ｂより画素数が削減されたサンプリング画像３６φ２を認識部２２０に渡す。認識部２２０は、このサンプリング画像３６φ２に対して、１フレームの期間内に認識処理を実行する。

【0114】

このとき、認識部２２０は、サンプリング画像３６φ２から抽出した特徴量５０ｂと、画像データ３２ａに対する特徴量抽出処理により抽出された特徴量５０ａとを、ステップＳ１２で特徴量統合処理により統合する。認識部２２０は、この統合された特徴量を用いて、認識処理を実行する。この認識処理による認識結果φ２は、認識処理部２０ｂの外部に出力される。

【0115】

以降、同様にして、前処理部２１０は、次のフレーム＃３について、直前のフレーム＃２の画像データ３２ｂに対する処理と並行して、サブサンプリング処理を実行し、認識部２２０は、サブサンプリング処理により生成されたサンプリング画像３６φ３から特徴量５０ｃを抽出する。認識部２２０は、画像データ３２ａおよび３２ｂそれぞれから抽出された特徴量５０ａおよび５０ｂが統合された特徴量と、抽出した特徴量５０ｃと、をさらに統合し、統合された特徴量に基づき認識処理を実行する。認識部２２０は、この認識処理により得られた認識結果φ３を、外部に出力する。

【0116】

認識処理部２０ｂは、次のフレーム＃４についても、同様にして、直前のフレーム＃３の画像データ３２ｃに対する処理と並行して、サブサンプリング処理、特徴量抽出処理を行い、特徴量５０ｄを取得する。認識処理部２０ｂは、認識部２２０により、画像データ３２ａ～３２ｃそれぞれから抽出された特徴量５０ａ～５０ｃが統合された特徴量と、抽出した特徴量５０ｄと、をさらに統合し、統合された特徴量に基づき認識処理を実行する。認識部２２０は、この認識処理により得られた認識結果φ４を、外部に出力する。

【0117】

ここで、図１４において、垂直方向の矢印、すなわち、各画像データ３２ａ～３２ｄ、各ステップＳ１０ａ～ステップＳ１０ｄから各認識処理、および、各認識処理による各認識結果φ１～φ４の出力を示す矢印は、その太さが情報量を概略的に示している。

【0118】

より具体的には、図１４の例では、ステップＳ１０ａ～ステップＳ１０ｄの処理のために前処理部２１０に入力される各画像データ３２ａ～３２ｄのデータ量に対して、前処理部２１０からステップＳ１０ａ～ステップＳ１０ｄの処理によりサブサンプリングされて認識部２２０に渡されるサンプリング画像３６φ１～φ４の方がデータ量が少ない。

【0119】

一方、各画像データ３２ａ～３２ｄに基づく認識処理による各認識結果φ１～φ４の情報量は、認識処理を重ねる毎に多くなり、得られる認識結果が、認識処理毎により詳細となっていくことを示している。これは、認識処理毎に、直前までにサンプリング画像の位相をずらしつつ取得した特徴量と、直前のサンプリング画像に対してさらに位相をずらして新たに取得された特徴量と、を統合した特徴量を用いているためである。

【0120】

次に、第１の実施形態に係る前処理部２１０および認識部２２０のより詳細な機能について説明する。図１５は、第１の実施形態に係る前処理部２１０および認識部２２０のより詳細な機能を説明するための一例の機能ブロック図である。図１５において、前処理部２１０は、読出部２１１と、利用領域取得部２１２と、を含む。また、認識部２２０は、特徴量算出部２２１と、特徴量蓄積制御部２２２と、特徴量蓄積部２２３と、利用領域決定部２２４と、を含む。

【0121】

これら読出部２１１、利用領域取得部２１２、特徴量算出部２２１、特徴量蓄積制御部２２２、特徴量蓄積部２２３および利用領域決定部２２４は、例えばＣＰＵ１２０５上で動作する情報処理プログラムにより実現される。この情報処理プログラムは、ＲＯＭ１２０６に予め記憶させておくことができる。これに限らず、情報処理プログラムは、インタフェース１２０４を介して外部から供給し、ＲＯＭ１２０６に書き込むこともできる。

【0122】

さらに、読出部２１１、利用領域取得部２１２、特徴量算出部２２１、特徴量蓄積制御部２２２、特徴量蓄積部２２３および利用領域決定部２２４は、情報処理プログラムに従い、ＣＰＵ１２０５およびＤＳＰ１２０３がそれぞれ動作することで実現されてもよい。さらにまた、読出部２１１、利用領域取得部２１２、特徴量算出部２２１、特徴量蓄積制御部２２２、特徴量蓄積部２２３および利用領域決定部２２４の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

【0123】

前処理部２１０において、読出部２１１は、センサ部１０ｂから画像データ３２を読み出す。読出部２１１は、センサ部１０ｂから読み出した画像データ３２を利用領域取得部２１２に渡す。利用領域取得部２１２は、読出部２１１から渡された画像データ３２に対して、後述する利用領域決定部２２４から渡された利用領域を示す情報に従いサブサンプリング処理を施し、サンプリング画素を抽出する。利用領域取得部２１２は、抽出したサンプリング画素により位相φｘのサンプリング画像３６φｘを生成する。

【0124】

利用領域取得部２１２は、生成したサンプリング画像３６φｘを認識部２２０に渡す。認識部２２０において、渡されたサンプリング画像３６φｘは、特徴量算出部２２１に渡される。

【0125】

認識部２２０において、特徴量算出部２２１は、渡されたサンプリング画像３６φｘに基づき特徴量を算出する。すなわち、特徴量算出部２２１は、サンプリング画素により構成されるサンプリング画像３６φｘの特徴量を算出する算出部として機能する。これに限らず、特徴量算出部２２１は、例えば読出部２１１から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報をさらに用いて特徴量を算出してもよい。特徴量算出部２２１は、算出した特徴量を、特徴量蓄積制御部２２２に渡す。

【0126】

特徴量蓄積制御部２２２は、特徴量算出部２２１から渡された特徴量を、特徴量蓄積部２２３に蓄積する。このとき、特徴量蓄積制御部２２２は、既に特徴量蓄積部２２３に蓄積された過去の特徴量と、特徴量算出部２２１から渡された特徴量とを統合し、統合された特徴量を生成することができる。また、特徴量蓄積制御部２２２は、特徴量蓄積部２２３が例えば初期化され特徴量が存在しない場合、特徴量算出部２２１から渡された特徴量を、最初の特徴量として、特徴量蓄積部２２３に蓄積する。

【0127】

また、特徴量蓄積制御部２２２は、特徴量蓄積部２２３に蓄積された特徴量のうち、所定の条件を満たす特徴量を削除することができる。特徴量蓄積制御部２２２は、特徴量を削除するための条件として、時間情報、外部指示、露出条件などを適用することができる。

【0128】

例えば、特徴量蓄積制御部２２２は、特徴量を削除するための条件として時間情報を適用する場合、特徴量蓄積部２２３に蓄積された特徴量のうち、直前の１周期分のサブサンプリングにおける最初のサブサンプリングによるサンプリング画像に基づく特徴量を削除することができる。

【0129】

また、特徴量蓄積制御部２２２は、撮像部１２００が自動露出設定機能を備えている場合、所定以上の露出の変化を検出した場合に、撮像画像のシーンが変わったと判定して、特徴量蓄積部２２３に直前までに蓄積された特徴量を削除するようにできる。さらに、特徴量蓄積制御部２２２は、例えば外部からの指示に応じて、特徴量蓄積部２２３に蓄積された全ての特徴量を削除し、特徴量蓄積部２２３を初期化することもできる。

【0130】

なお、特徴量蓄積制御部２２２が特徴量蓄積部２２３に蓄積された特徴量を削除するための条件は、上述の各条件に限定されない。

【0131】

特徴量蓄積制御部２２２は、特徴量蓄積部２２３に蓄積された特徴量、あるいは、特徴量蓄積部２２３に蓄積された特徴量と、特徴量算出部２２１から渡された特徴量とを統合した特徴量を、利用領域決定部２２４および認識処理実行部２２５に渡す。認識処理実行部２２５は、特徴量蓄積制御部２２２から渡された特徴量に基づき認識処理を実行する。認識処理実行部２２５は、認識処理により物体検出、人検出、顔検出などを行う。認識処理実行部２２５は、認識処理により得られた認識結果を、認識処理部２０ｂの外部に出力する。

【0132】

ここで、特徴量蓄積制御部２２２は、所定の条件を満たす場合に、特徴量蓄積部２２３に蓄積された特徴量を利用領域決定部２２４および認識処理実行部２２５に渡すようにできる。例えば、特徴量蓄積制御部２２２は、特徴量を利用領域決定部２２４および認識処理実行部２２５に渡すための条件として、時間情報、外部指示、露出条件などを適用することができる。

【0133】

例えば、特徴量蓄積制御部２２２は、特徴量を蓄積するための条件として時間情報を適用する場合、新たに特徴量蓄積制御部２２２に渡された特徴量と、特徴量蓄積部２２３に既に蓄積されている特徴量とを統合し、統合された特徴量を、利用領域決定部２２４および認識処理実行部２２５に渡すようにできる。

【0134】

また、特徴量蓄積制御部２２２は、撮像部１２００が自動露出設定機能を備えている場合、所定以上の露出の変化を検出した場合に、撮像画像のシーンが変わったと判定して、新たに特徴量蓄積制御部２２２に渡された特徴量のみを、利用領域決定部２２４および認識処理実行部２２５に渡すようにできる。このとき、特徴量蓄積制御部２２２は、上述したように、特徴量蓄積部２２３に既に蓄積されている特徴量を削除することができる。さらに、特徴量蓄積制御部２２２は、例えば外部からの指示に応じて、新たに渡された特徴量と、特徴量蓄積部２２３に既に蓄積されている１以上の特徴量とのうち、外部からの指示に応じた特徴量を選択して利用領域決定部２２４および認識処理実行部２２５に渡すようにもできる。

【0135】

なお、特徴量蓄積制御部２２２が利用領域決定部２２４および認識処理実行部２２５に特徴量を渡すための条件は、上述の各条件に限定されない。

【0136】

利用領域決定部２２４は、読出部２１１により読み出された画像データ３２からサンプリング画素として画素データを読み出すための画素位置を決定する。利用領域決定部２２４は、例えば予め定められたパターンおよびタイミングに従い、画素位置を決定する。これに限らず、利用領域決定部２２４は、特徴量蓄積制御部２２２から渡された特徴量に基づき、画素位置を決定することもできる。利用領域決定部２２４は、決定された画素位置を示す情報を、利用領域情報として前処理部２１０に渡し、利用領域取得部２１２に入力される。

【0137】

利用領域取得部２１２は、上述したように、読出部２１１から渡された画像データ３２に対して、利用領域決定部２２４から渡された利用領域を示す情報に従いサブサンプリング処理を施す。すなわち、上述した利用領域取得部２１２あるいは前処理部２１０、および、利用領域決定部２２４は、画像データ３２すなわち画素により構成される撮像情報が分割された分割領域３５に対してサンプリング画素を設定する設定部として機能する。

【0138】

（２－２．第１の実施形態による効果）
次に、第１の実施形態に係る認識処理の効果について、既存技術と対比させながら説明する。

【0139】

（２－２－１．既存技術の概略）
ここで、撮像画像に基づく認識処理を行う情報処理装置を車載用途に用いる場合について考える。この場合、遠方の対象を認識する要望があり、カメラの画角、設置位置、認識対象および車両の移動速度などを考慮すると、解像度としては１９２０画素×１０８０画素、あるいはそれ以上（例えば４Ｋ解像度の４０９６画素×２１６０画素）が要求される場合がある。一方で、認識処理を行う認識器においては、処理速度に限界があり、高解像度の画像をそのまま処理することは困難である。解像度が例えば数１００画素×数１００画素であれば、撮像画像に追随した認識処理が可能となることが考えられるが、この場合には、図８Ａおよび図８Ｂを用いて説明したように、遠方の対象を認識することが困難となる可能性がある。

【0140】

そのため、従来から、認識処理のための計算量を削減する方法が提案されている。図１６および図１７を用いて、従来技術による認識処理の計算量の削減方法の例について説明する。

【0141】

図１６は、既存技術による計算量の削減方法の第１の例を説明するための模式図である。この第１の例は、例えば撮像画像である元画像３２０の行および列方向のサイズをそれぞれ１／Ｎ（Ｎは２以上の整数）に縮小して縮小画像３２１を生成する例である。元画像３２０の縮小は、例えば、行および列方向それぞれについて、画素を所定数おきに間引くことで行うことができる。例えば、画素を１個おきに間引く場合、Ｎ＝２となり、縮小画像３２１の画素数は、元画像３２０の１／Ｎ×１／Ｎ＝１／Ｎ²＝１／４となる。単純な比較では、縮小画像３２１の認識処理に係る計算量は、元画像３２０の認識処理に係る計算量の１／Ｎ²となる。一方、この第１の例では、縮小画像３２１の解像度は、元画像３２０の解像度の１／Ｎ²となる。以下、この第１の例を、「１／Ｎ×１／Ｎ縮小」と呼ぶ。

【0142】

図１７は、既存技術による計算量の削減方法の第２の例を説明するための模式図である。この第２の例は、元画像３２０をＮ分割したそれぞれの分割領域毎にクロップする例である。図１７の例では、Ｎ＝２とし、元画像３２０を４分割したそれぞれの分割領域に従いクロップしている。クロップされた各クロップ画像３２２＃１、３２２＃２、３２２＃３および３２２＃４は、それぞれサイズが元画像３２０の１／Ｎ²すなわち１／４となる。クロップ画像３０３＃１～３０３＃４のそれぞれは、解像度が元画像３２０の解像度と同一であり、認識処理に係る計算量は、単純な比較では、元画像３２０の１／Ｎ²となる。以下、この第２の例を、「１／Ｎ×１／Ｎクロップ」と呼ぶ。

【0143】

（２－２－２．本開示による技術と既存技術との比較）
（２－２－２－１．認識結果の比較）
次に、本開示による技術と、既存技術とを比較し、本開示に係る技術の効果について説明する。図１８は、上述した、「１／Ｎ×１／Ｎ縮小」と、「１／Ｎ×１／Ｎクロップ」と、第１の実施形態に係る認識処理と、の評価の例を示す模式図である。図１８において、各列は、左から「１／Ｎ×１／Ｎ縮小」、「１／Ｎ×１／Ｎクロップ」、第１の実施形態に係る認識処理（１／Ｎ×１／Ｎ位相ずらしサブサンプル＋情報統合）をそれぞれ表している。また、図１８において、「○（丸印）」は、有利と考えられる評価結果であることを示し、「×（バツ印）」は、不利と考えられる評価結果であることを示している。

【0144】

また、図１８において、各行は、上から「距離」、「画角」、「見切れ」、「レイテンシ」、「フレームレート」、「バス幅」をそれぞれ表している。これらのうち、「距離」は、認識可能な距離を示す。「画角」は、認識処理対象の画像に対する画角を示す。「見切れ」は、認識対象の画像に含まれる対象物が当該画像の端で切れているか否かを示す。「レイテンシ」は、撮像画像（元画像３２０）に対する認識結果の遅延を示す。「フレームレート」は、認識結果の更新周期を示す。また、「バス幅」は、撮像部１２００が撮像画像を出力するためのバス幅を示す。ここで、「バス幅」については、元画像３２０による認識処理に対してバス幅が減少しない場合に、「×（バツ印）」としている。

【0145】

「１／Ｎ×１／Ｎ縮小」について説明する。「距離」については、「×」となっている。これは、「１／Ｎ×１／Ｎ縮小」は、行および列方向それぞれについて画素数が１／Ｎとされているためである。一方、「画角」および「見切れ」については、元画像３２０の全体を間引いて用いているため、「○」となっている。また、「レイテンシ」および「フレームレート」については、元画像３２０に対して画素数を減少させており、高速処理が可能であるため、「○」となっている。

【0146】

第１の実施形態に係る方法である「１／Ｎ×１／Ｎ位相ずらしサブサンプル＋情報統合」について説明する。「距離」については、位相の１周期分の認識処理が行われた場合に元画像３２０と同等となり、「○」となる。「画角」および「見切れ」については、元画像３２０の全体を用いるため、「○」となっている。また、「レイテンシ」および「フレームレート」については、各位相で認識結果を出力可能であるため、「○」となっている。

【0147】

「１／Ｎ×１／Ｎクロップ」について説明する。「距離」については、クロップ画像＃１～＃４それぞれの解像度が元画像３２０と同等であるため、「○」となっている。一方、「画角」については、元画像３２０の全画角を見るためにはＮ²フレームを要するため、１フレーム当たりでは１／Ｎ倍となり、「×」となっている。「見切れ」については、各クロップ画像＃１～＃４は、元画像３２０を分割したものであるため、分割位置において見切れが発生する恐れがあり、「×」となっている。「レイテンシ」については、「画角」と同様に、元画像３２０の全画角を見るためにはＮ²フレームを要し、「×」となっている。また、「フレームレート」についても、元画像３２０の全画角を見るためにはＮ²フレームを要するため、１／Ｎ²倍となり、「×」となっている。

【0148】

なお、「バス幅」については、何れにおいても、撮像部１２００から元画像３２０の解像度で撮像画像が出力されるため、「×」となっている。

【0149】

図１８に示した評価例において、既存技術において好ましい評価結果が得られている方法である「１／Ｎ×１／Ｎ縮小」と、第１の実施形態に係る方法である「１／Ｎ×１／Ｎ位相ずらしサブサンプル＋情報統合」とを比較する。

【0150】

図１９Ａは、既存技術の「１／Ｎ×１／Ｎ縮小」による認識処理を概略的に示す図である。また、図１９Ｂは、第１の実施形態に係る、「１／Ｎ×１／Ｎ位相ずらしサブサンプル＋情報統合」による認識処理を概略的に示す図である。なお、図１９Ａおよび後述する図１９Ｂにおいて、図の左から右に向けて時間の経過を表すものとする。また、図１９Ａおよび図１９Ｂにおいて、認識処理の対象となる撮像画像（元画像３２０）は、共通であるものとする。

【0151】

ここでは、図１９Ａに示す「１／Ｎ×１／Ｎ縮小」では、元画像３２０（図示しない）に対して、行および列方向にそれぞれ１画素ずつ間引くことで、１／２×１／２＝１／４の縮小画像３２１ａ、３２１ｂ、３２１ｃおよび３２１ｄを生成するものとする。また、図１９Ｂに示す「１／Ｎ×１／Ｎ位相ずらしサブサンプル＋情報統合」でも同様に、元画像３２０の各分割領域３５に対して、行および列方向にそれぞれ１画素ずつ間引くサブサンプリングを行う。

【0152】

したがって、１フレームにおける解像度は、図１９Ａに示す「１／Ｎ×１／Ｎ縮小」の場合と、図１９Ｂに示す「１／Ｎ×１／Ｎ位相ずらしサブサンプル＋情報統合」の場合と、で同一となる。図１９Ｂの例では、さらに、サンプリングする画素位置（画素の位相）をフレーム毎に１画素分ずつずらす。

【0153】

先ず、「１／Ｎ×１／Ｎ縮小」の場合について説明する。図１９Ａにおいて、あるフレームタイミングにおいて撮像画像から縮小画像３２１ａが生成され、この縮小画像３２１ａに対して例えばＣＮＮを用いて特徴量の抽出処理が行われる。そして、抽出された特徴量に基づき認識処理が実行される。図１９Ａの例では、縮小画像３２１ａに対する認識処理により、それぞれ人が認識された認識結果６２および６３が得られている。

【0154】

次のフレームタイミングにおいて撮像画像から縮小画像３２１ｂが生成される。この縮小画像３２１ｂから抽出された特徴量に基づく認識処理により、縮小画像３２１ａの場合と同様に、認識結果６２および６３が得られている。その次のフレームタイミングの縮小画像３２１ｃ、さらに次のフレームタイミングの縮小画像３２１ｄについても同様に、抽出された特徴量に基づく認識処理により、それぞれ認識結果６２および６３が得られている。このように、「１／Ｎ×１／Ｎ縮小」の場合、縮小画像３２１ａ、３２１ｂ、…の解像度に応じた距離までの対象物しか認識できない。

【0155】

次に、「１／Ｎ×１／Ｎ位相ずらしサブサンプル＋情報統合」の場合について説明する。図１９Ｂにおいて、あるフレームタイミングにおいて、撮像画像に対して第１の位相でサブサンプリングが行われ、第１の位相のサンプリング画像３６φ１が生成される。このサンプリング画像３６φ１のサイズは、上述した縮小画像３２１ａのサイズと同一となる。このサンプリング画像３６φ１に対して、図１９Ａの例と同様にして例えばＣＮＮを用いて特徴量の抽出処理が行われ、特徴量が抽出される。そして、抽出された特徴量に基づき認識処理が実行される。図１９Ｂの例では、サンプリング画像３６φ１に対する認識処理により、図１９Ａの場合と同様に、それぞれ人が認識された認識結果６２および６３が得られている。

【0156】

次のフレームタイミングにおいて、撮像画像から、サンプリング画像３６φ１に対して１画素分の位相がずれた、第２の位相のサンプリング画像３６φ２が生成される。このサンプリング画像３６φ２から抽出された特徴量に基づき、認識処理が行われる。

【0157】

このとき、サンプリング画像３６φ２から抽出された特徴量と、直前の認識処理において用いられた、サンプリング画像３６φ１から抽出された特徴量と、が統合された特徴量に基づき認識処理が行われる。これにより、サンプリング画像３６φ１に基づく認識結果６２および６３に加え、これら認識結果６２および６３として認識された人より遠方の人が認識された認識結果６４が得られている。

【0158】

その次のフレームタイミングのサンプリング画像３６φ３についても、直前の認識処理において用いられた特徴量に、サンプリング画像３６φ３に基づく特徴量が統合され、上述の認識結果６４として認識された人よりさらに遠方の人が認識された認識結果６５が得られている。さらに次のフレームタイミングのサンプリング画像３６φ４についても同様に、直前の認識処理において用いられた特徴量に、サンプリング画像３６φ４に基づく特徴量が統合され、上述の認識結果６５として認識された人よりさらに遠方の人が認識された認識結果６６が得られている。

【0159】

このように、第１の実施形態では、それぞれサブサンプリングされた複数フレームのサンプリング画像３６φ１～３６φ４に基づく各特徴量をフレーム毎に順次に統合し、統合された特徴量に基づき認識処理を行っている。そのため、例えば当該サンプリング画像３６φ１～３６φ４を生成した各フレームの画像が時間的に連続性を有する場合、当該サンプリング画像３６φ１～３６φ４から抽出された各特徴量を統合した特徴量は、サブサンプリングを行わない１つの撮像画像から抽出された特徴量に相当すると考えることができる。

【0160】

したがって、第１の実施形態に係る認識処理によれば、カメラ（撮像部１２００）の解像度をフルに活用して遠方の対象物を認識することが可能である。また、フレーム毎に認識処理を行い認識結果を得ることができるため、画像上で大きな対象物を短時間で認識できる。画像上で小さな対象物は、例えばＮ²フレーム遅延して認識されるが、このような対象物は遠方にあることが予測されるため、認識結果の多少の遅延は許容することが可能である。

【0161】

（２－２－２－２．認識処理制御の比較）
次に、既存技術による認識処理の制御について説明し、図１４を用いて説明した、第１の実施形態に係る読み出しおよび認識処理の制御と比較する。図２０は、既存技術による、撮像画像の画像データ３２を縮小せずに用いた場合の読み出しおよび認識処理の制御を示す一例のタイムチャートである。図２０の各部の意味は、上述した図１４と同等なので、ここでの説明を省略する。

【0162】

図２０の例では、フレーム＃１の撮像画像に基づく画像データ３２ａに対する認識処理（ステップＳ２０）に、４フレーム分の時間を要している。縮小していない画像データ３２ａを用いて認識処理を行っているので、例えば遠方の対象物を認識可能である。一方で、認識処理を行うＣＰＵ１２０５やＤＳＰ１２０３（図５参照）などにおける処理量の制約により、画像データ３２ａに基づく認識結果の、当該画像データ３２ａに対する遅延が発生する。

【0163】

また、縮小していない画像データ３２ａに対する認識処理は、多くの時間を要するため、認識結果の更新間隔が長くなり、認識結果に対するフレームレートが低下する。さらに、縮小していない画像データ３２ａに基づき認識処理を行う場合、例えば当該画像データ３２ａのために、大きなメモリ容量を確保する必要がある。さらにまた、図２０において、画像データ３２ａに対する認識処理を行っている間、フレーム＃１に続くフレーム＃２～＃４の撮像画像に対する認識処理を実行できず、フレーム＃２～＃４の撮像処理が無駄になってしまう。

【0164】

図２１は、既存技術による、「１／Ｎ×１／Ｎ縮小」の場合の読み出しおよび認識処理の制御を示す一例のタイムチャートである。図２１の各部の意味は、上述した図１４と同等なので、ここでの説明を省略する。

【0165】

図２１の例では、例えばフレーム＃１の撮像画像に基づく画像データ３２ａを間引きなどにより縮小し（ステップＳ３０）、縮小された縮小画像による画像データに対して認識処理を行い、認識結果＃ａを得る（ステップＳ３１）。認識処理を、縮小画像による画像データに対して行うため、上述した縮小していない画像データ３２ａに対して認識処理を行う場合に比べて、より短時間に認識結果を更新することができる。例えば、縮小画像を、画像データ３２ａの行および列方向にそれぞれ１画素おきに間引いた場合、図１４を用いて説明した、第１の実施形態に係る認識処理、すなわち、「１／Ｎ×１／Ｎ位相ずらしサブサンプル＋情報統合」による認識処理と同等の時間で、認識処理を実行できる。

【0166】

一方で、画像データ３２ａを間引いて縮小した縮小画像に基づき認識処理を行っているため、画像データ３２ａの解像度を活用できず、遠方の対象物の認識が困難である。これは、フレーム＃２、＃３および＃４それぞれの画像データ３２ｂ、３２ｃおよび３２ｄの各認識結果＃ｂ、認識結果＃ｃおよび認識結果＃ｄについても同様である。

【0167】

これに対して、図１４を用いて説明した第１の実施形態に係る認識処理では、認識処理などのタイミングは、図２１に示す「１／Ｎ×１／Ｎ縮小」の場合と同等である。しかしながら、図１４の例では、認識処理における中間データである特徴量を、次のフレームの画像データから抽出された特徴量と統合して、当該画像データに対する認識処理を行う。さらに、画像データに対するサブサンプリングは、フレーム毎に位相をずらして行われる。

【0168】

そのため、カメラ（撮像部１２００）の解像度をフルに活用して遠方の対象物を認識することが可能である。また、フレーム毎に認識処理を行い認識結果を得ることができるため、画像上で大きな対象物を短時間で認識できる。撮像画像の解像度をフルに用いることで認識が可能となる、例えば画像上で小さな対象物は、例えばＮ²フレーム遅延して認識されるが、このような対象物は遠方にあることが予測されるため、認識結果の多少の遅延は許容することが可能である。

【0169】

（２－２－２－３．認識処理の遅延の比較）
次に、既存技術による認識処理の遅延と、第１の実施形態に係る認識処理の遅延と、について説明する。図２２は、第１の実施形態に係る認識結果の遅延と、既存技術による認識結果の遅延と、について説明するための模式図である。

【0170】

図２２において、左から右へ向けて時間が経過することを示している。また、上段のセクション（ａ）は、撮像部１２００により撮像された撮像画像３１０₁～３１０₉を模式的に示している。中段のセクション（ｂ）は、第１の実施形態に係る認識処理における、位相ずらしサブサンプリングによる認識結果の例を模式的に示している。下段のセクション（ｃ）は、既存技術による、撮像画像の解像度をそのまま用いた場合の認識結果の例を模式的に示している。また、セクション（ｂ）における各画像３１１₁、３１１₂および３１１₃、ならびに、セクション（ｃ）における各画像３１２₁、３１２₂および３１２₃は、それぞれの時間における撮像画像を模した画像を示している。

【0171】

なお、ここでは、セクション（ｃ）の既存技術として、遠方の対象物の認識を考慮して、間引きなどを行わない、撮像画像の解像度をそのまま用いて認識処理を行う例を適用する。また、撮像画像のフレームレートは、例えば２０［ｆｐｓ］以上であるものとする。

【0172】

図２２のセクション（ａ）に示される各撮像画像３１０₁、３１０₂、…、３１０₉、…は、車載されたカメラ（撮像部１２００）により撮像されたものとしている。このとき、当該カメラが搭載される車両は、前方に向けて移動している。なお、図２２のセクション（ａ）では、説明のため、各撮像画像３１０₁～３１０₉が、１秒を４等分した時間（０．２５［ｓ(second)］）を単位として、それぞれ時間ｔ₁、ｔ₂、…、ｔ₉に取得されたものとしている。

【0173】

図２２のセクション（ａ）において、各撮像画像３１０₁、３１０₂、…、３１０₉、…には、遠方に人である対象物４３が含まれている。また、撮像画像３１０₅～３１０₇では、対象物４３に加えて、人である対象物４４がさらに含まれる。対象物４４は、撮像画像３１０₅において、車両４５の陰から突然現れ、撮像画像３１０₆、３１０₇、…とカメラが搭載される車両（自車とする）の方向に向けて進んで来ている。自車側では、この対象物４４を迅速に認識することが求められる。

【0174】

図２２の例では、セクション（ｂ）に示す位相ずらしサブサンプリングによる認識処理は、２０［ｆｐｓ］のフレームレートで、すなわち、０．０５［Ｓ］毎に更新されるものとしている。これに対して、セクション（ｃ）に示す既存技術では、認識処理が２［ｆｐｓ］のフレームレートで、すなわち、０．５［ｓ］毎に更新されるものとしている。

【0175】

撮像画像３１０₁に含まれる対象物４３は、セクション（ｂ）に示す位相ずらしサブサンプリングによる認識処理では、画像３１１₁に示されるように、撮像画像３１０₁の取得タイミングの時間ｔ₁から０．０５［ｓ］遅延した時間ｔ₁₁において、対象物４３が認識された認識結果７０が得られている。サブサンプリングによる認識処理では、この後も、０．０５［ｓ］間隔で認識結果が更新される。

【0176】

一方、当該対象物４３は、セクション（ｃ）に示す撮像画像の解像度を用いた認識処理では、画像３１２₁に示されるように、時間ｔ₁から０．５［ｓ］遅延した時間ｔ₂₀において、撮像画像３１０₁に基づく認識結果７０が得られている。撮像画像の解像度を用いた認識処理では、次に認識結果が更新されるのは、時間ｔ₂₀から０．５［ｓ］が経過した時間ｔ₂₁となる。

【0177】

次に、人である対象物４４が車両４５の陰から現れる、撮像画像３１０₅について考える。この場合、セクション（ｂ）に示す位相ずらしサブサンプリングによる認識処理では、画像３１１₂に示されるように、撮像画像３１０₅が取得された時間ｔ₅から０．０５［ｓ］後の時間ｔ₁₂に、対象物４４が認識された認識結果７１が得られている。さらに、位相ずらしサブサンプリングによる認識処理では、０．０５［ｓ］毎に認識結果が更新され、時間ｔ₁₂から０．５［ｓ］後の時間ｔ₁₃では、画像３１１₃に示されるように、自車に向けて進む対象物４４が認識結果７２として得られている。

【0178】

これに対して、セクション（ｃ）に示す撮像画像の解像度を用いた認識処理では、対象物４４は、撮像画像３１０₅が取得された時間ｔ₅から０．５［ｓ］後の時間ｔ₂₂に認識され、対象物４４に対応する認識結果７１が得られることになる。すなわち、撮像画像の解像度を用いた認識処理では、対象物４４が、位相ずらしサブサンプリングによる認識処理に比べて０．４５［ｓ］遅延して、認識される。

【0179】

また、セクション（ｃ）に示す撮像画像の解像度を用いた認識処理では、時間ｔ₂₀から時間ｔ₂₂の間において、認識結果の更新が時間ｔ₂₁における１回しか行われず、対象物４４の状態を高い同時性で確認することが極めて困難である。

【0180】

図２３Ａおよび図２３Ｂを用いて、認識処理と車両の制動との関係について、概略的に説明する。なお、図２３Ａおよび図２３Ｂにおいて、左側の図は撮像画像（あるいは自車のフロントからの光景）を、右側の図は、認識処理による認識結果を含む画像をそれぞれ模式的に示している。また、図２３Ａにおいて、図２２を参照し、上段は時間ｔ₅、下段は時間ｔ₇の状態にそれぞれ対応する。

【0181】

図２３Ａは、撮像画像の解像度を用いた認識処理の場合の例を示す図である。図２２を参照し、時間ｔ₅では、撮像画像３１０₅において車両４５の陰から人である対象物４４が出現している。ここで、時間ｔ₅における自車（撮像部１２００）から対象物４４までの距離を、距離Ａとする。ここで、距離Ａは、減速やブレーキングといった自車の制動により、自車が対象物４４に接触あるいは衝突する事態を回避可能な距離であるものとする。

【0182】

撮像画像の解像度を用いた認識処理では、この時間ｔ₅（＝時間ｔ₂₂）において、遅延により０．５［ｓ］前の時間ｔ₃の撮像画像３１０₃に基づく認識結果が得られることになる。撮像画像３１０₃には、対象物４３が含まれ、対象物４４が含まれないため、図２３Ａ上段の画像３１２₂に示されるように、対象物４３に対する認識結果７０のみが得られている。

【0183】

時間ｔ₇では、対象物４４が自車に対して至近の距離Ｂまで接近している。ここで、距離Ｂは、減速やブレーキングといった自車の制動を行っても、自車が対象物４４に接触あるいは衝突する可能性が極めて高い距離であるものとする。例えば自車の速度を３０［ｋｍ／ｈ］とした場合、０．５［ｓ］で４．２［ｍ］ほど移動する。対象物４４の移動速度を無視すると、距離Ｂは、距離Ａに対して４．２［ｍ］ほど接近した距離となる。

【0184】

撮像画像の解像度を用いた認識処理では、時間ｔ₇において、遅延分の０．５［ｓ］前の時間ｔ₅の撮像画像３１０₅を用いた認識結果が得られている。すなわち、時間ｔ₇では、図２３Ａ下段の右側の画像３１２₃に示されるように、距離Ａにおける対象物４４の認識結果７１が得られることになり、減速やブレーキングといった制動が間に合わない可能性が高い。

【0185】

図２３Ｂは、位相ずらしサブサンプリングによる認識処理の場合の例を示す図である。この場合、図２２を参照し、時間ｔ₂₂において、遅延により０．０５［ｓ］前の時間ｔ₅の撮像画像３１０₅に基づく認識結果が得られることになる。この場合、認識処理により、図２３Ｂの右側の画像３１１₂に示されるように、撮像画像３１０₅に含まれる対象物４４に対応する認識結果７１が得られる。時間ｔ₂₂では、対象物４４が自車に対して距離Ａよりやや近い距離Ａ’まで接近している。

【0186】

上述と同様に、自車の速度を３０［ｋｍ／ｈ］とした場合、０．０５［ｓ］で移動する距離は４０［ｃｍ］ほどとなる。したがって、対象物４４の移動速度を無視すると、距離Ａ’は、距離Ａに対して４０［ｃｍ］ほど接近した距離となる。この場合、減速やブレーキングといった自車の制動により、自車が対象物４４に接触あるいは衝突する事態を回避可能である。

【0187】

このように、第１の実施形態に係る認識処理（位相ずらしサブサンプリングによる認識処理）を用いることで、対象物をより早く認識することが可能となり、例えば車両の制動による回避動作をより確実に実行可能となる。

【0188】

（２－２－２－４．第１の実施形態に係る認識処理による改善例）
次に、第１の実施形態に係る認識処理による、既存技術の認識処理に対する改善例について、図２４を用いて説明する。図２４において、各列は、左から、既存技術である「１／４縮小」、既存技術である「縮小なし」、第１の実施形態に係る認識処理である「位相ずらしサブサンプリング」をそれぞれ表している。また、図２４に示される各数値は、説明のための一例の数値であり、これらの値に限られるものではない。

【0189】

なお、「１／４縮小」は、図１６を用いて説明した「１／Ｎ×１／Ｎ縮小」と対応する。「縮小なし」は、上述の「撮像画像の解像度を用いた認識処理」に対応する。また、「位相ずらしサブサンプリング」は、分割領域３５のサイズを８画素×８画素とし、行および列それぞれの方向に対する３画素おきの間引きにより、分割領域３５から４画素をサンプリング画素として選択するサブサンプリングを行うものとする。

【0190】

また、図２４において、各行は、上から「カメラ解像度」、「バス幅」、「ＣＮＮ解像度」、「最長認識距離」、「レイテンシ」、「フレームレート」および「空走距離」をそれぞれ表している。これらのうち、「カメラ解像度」は、撮像部１２００による撮像画像の解像度であり、図２４の例では、「１／４縮小」、「縮小なし」および「位相ずらしサブサンプリング」の何れでも１９２０画素×１０８０画素とされている。また、「バス幅」は、撮像部１２００が撮像画像を出力するためのバス幅を示し、図２４の例では、「１／４縮小」、「縮小なし」および「位相ずらしサブサンプリング」の何れでも１２０［ＭＢｐｓ(Mega byte per second)］とされている。

【0191】

「ＣＮＮ解像度」は、認識部２２０においてＣＮＮを用いて特徴量を抽出する際の解像度である。図２４の例では、「縮小なし」においてカメラ解像度と同等の１９２０画素×１０８０画素とされ、「１／４縮小」では、行列それぞれにおいてその１／４の、４８０画素×２７０画素とされている。すなわち、「縮小なし」は、「１／４縮小」の１６倍（＝４×４）のＣＮＮ解像度を有する。

【0192】

一方、「位相ずらしサブサンプリング」では、行および列それぞれの方向に３画素おきの間引きを行うため、「ＣＮＮ解像度」は、「カメラ解像度」の１／４の４８０画素×２７０画素の解像度とされる。ここで、第１の実施形態では、１周期で、８画素×８画素のサイズを有する分割領域３５の全ての画素位置を、サンプリング画素の画素位置として選択する。そのため、１周期のサブサンプリングが完了した場合のＣＮＮ解像度は、４８０画素×２７０画素×４×４の、１９２０画素×１０８０画素相当となる。

【0193】

「最長認識距離」は、対象物を認識可能な、撮像部１２００から対象物までの最長の距離である。図２４の例では、「１／４縮小」では２０［ｍ］、「縮小なし」および「位相ずらしサブサンプリング」ではそれぞれ８０［ｍ］とされている。「位相ずらしサブサンプリング」の場合、１周期のサブサンプリングが完了した場合において、「縮小なし」と同等の８０［ｍ］となる。

【0194】

「レイテンシ」は、撮像画像に対する認識結果の遅延を示し、「１／４縮小」では５０［ｍｓ］、「縮小なし」では「１／４縮小」の１６倍（＝４×４）の８００［ｍｓ］となっている。一方、「位相ずらしサブサンプリング」では、１回分のサブサンプリングにおいて５０［ｍｓ］、１周期分のサブサンプリングが完了した場合において、「縮小なし」と同等の８００［ｍｓ］となる。なお、「位相ずらしサブサンプリング」において、記号「＠（アットマーク）」の後ろは、最長認識距離を示している。これによれば、１回分のサブサンプリングでは、レイテンシが５０［ｍｓ］と小さい一方で、最長認識距離が２０［ｍ］と短くなる。また、１周期分のサブサンプリングが完了した場合では、最長認識距離が８０［ｍ］に延長される。

【0195】

「フレームレート」は、認識結果の更新周期を示し、図２４の例では、「１／４縮小」および「位相ずらしサブサンプリング」では２０［ｆｐｓ］、「縮小なし」では１．２５［ｆｐｓ］とされている。なお、「位相ずらしサブサンプリング」のフレームレートの２０［ｆｐｓ］は、１回分のサブサンプリングのフレームレートである。

【0196】

「空走距離」は、自車を例えば停止させるべき対象物が出現してから、実際に自車を停止させるブレーキングなどの制動が実行されるまでに走行する距離である。より具体的には、「空走距離」は、対象物が出現した時点から、出現した当該対象物を認識処理により認識し、認識結果に応じて自車の制動が開始されるまでに自車が走行した距離である。ここでは、自車の走行速度を５０［ｋｍ／ｈ］として空走距離を求めている。「空走距離」を求めるためには、上述した「レイテンシ」の値を考慮する必要がある。

【0197】

「空走距離」は、「１／４縮小」では０．７［ｍ］、「縮小なし」では１１［ｍ］となっている。「レイテンシ」は、上述したように、「縮小なし」は、「１／４縮小」の１６倍となっている。そのため、「空走距離」も、０．７［ｍ］の略１６倍の１１［ｍ］となっている。また、「１／４縮小」では、空走距離が短い一方で、最長認識距離が２０［ｍ］とされており、２０［ｍ］を超える距離の対象物の認識が困難である。また、「縮小なし」は、８０［ｍ］までの距離の対象物の認識が可能である一方で、空走距離が１１［ｍ］と長い。「縮小なし」の場合、例えば２０［ｍ］までの近距離の対象物に対しても、空走距離は１１［ｍ］であり、対象物に対する接触や衝突の回避が困難となるおそれがある。

【0198】

これに対して、「位相ずらしサブサンプリング」では、１周期のサブサンプリングの最初の１回で、２０［ｍ］までの距離の対象物を５０［ｍｓ］のレイテンシで認識できる。そのため、２０［ｍ］までの距離の対象物については、「空走距離」は、「１／４縮小」の場合と同等の０．７［ｍ］となる。また、２０［ｍ］を超え８０［ｍ］までの距離の対象物については、「空走距離」は、「縮小なし」の場合と同等の１１［ｍ］となる。

【0199】

「最長認識距離（歩行者）」は、歩行者などの、認識された際に車両の制動が必要な場合の、最長の認識距離を示している。この「最長認識距離（歩行者）」は、上述した「最長認識距離」から「空走距離」を差し引いた値となり、「１／４縮小」では略１９［ｍ］、「縮小なし」および「位相ずらしサブサンプリング」ではそれぞれ略６９［ｍ］となる。

【0200】

このように、第１の実施形態に係る認識処理方法である「位相ずらしサブサンプリング」では、近距離での空走距離を抑えつつ、遠距離の対象物の認識も可能となる点で、既存技術の認識処理方法に対して劇的な改善が見られる。したがって、第１の実施形態に係る認識処理では、遠距離の対象物が認識可能であると共に、近距離における空走距離が０．７［ｍ］と短く、近距離の対象物に対する接触や衝突の回避が容易である。

【0201】

（２－２－２－５．第１の実施形態に係る認識処理の効果的な適用場面）
次に、第１の実施形態に係る認識処理の効果的な適用場面について、図２５Ａおよび図２５Ｂを用いて説明する。なお、図２５Ａの状態４００～４０２、および、図２５Ｂの状態４０３～４０５は、それぞれ、道路上を自車である車両４１０（以下、自車４１０と記述する）が走行している様子を、時系列順に示している。自車４１０は、第１の実施形態に係る認識処理を実行可能な情報処理装置１ｂが搭載され、当該情報処理装置１ｂによる認識結果に基づき、制動制御系などを制御可能とされている。

【0202】

図２５Ａは、第１の実施形態に係る認識処理の効果的な適用場面の第１の例を示す模式図である。図２５Ａにおいて、状態４００を参照し、前進走行する自車４１０の前方に、他の車両４１１ａが停車し、車両４１１ａの自車４１０に対して陰となる部分に人４１２ａが存在している。また、自車４１０が走行する走行車線の対向車線を、さらに他の車両４１１ｂが走行している。

【0203】

状態４０１は、状態４００から所定時間経過後に、車両４１１ｂが車線４２０をはみ出して自車４１０の走行車線に進入した状態を模式的に示している。この状態４０２において、自車４１０に搭載された情報処理装置１ｂは、遠距離の車両４１１ｂを対象物として認識することが可能である。そのため、情報処理装置１ｂは、この車線４２０をはみ出した車両４１１ｂを認識し、認識結果に応じて自車４１０を制御し、自車４１０に車両４１１ｂを回避させる回避動作を取らせることが可能である。

【0204】

状態４０２は、状態４００から所定時間経過後に、人４１２ａが車両４１１ａの陰から急に出現した場合を模式的に示している。この状態４０２において、自車４１０に搭載された情報処理装置１ｂは、近距離の人４１２ａを、対象物として短いレイテンシで認識することが可能である。そのため、情報処理装置１ｂは、この人４１２ａを認識し、認識結果に応じて自車４１０を制御する動作を、短い空走距離で開始することができ、人４１２ａとの接触や衝突を回避することが可能となる。

【0205】

図２５Ｂは、第１の実施形態に係る認識処理の効果的な適用場面の第２の例を示す模式図である。図２５Ｂにおいて、状態４０３を参照し、前進走行する自車４１０の前方の道路外の領域に壁などの遮蔽物４１３が存在し、その遮蔽物４１３の自車４１０に対して陰となる部分に人４１２ｂが存在している。また、自車４１０が走行する走行車線の前方の遠距離に、人４１２ｃが存在している。

【0206】

状態４０４は、自車４１０の情報処理装置１ｂにおいて、人４１２ｃが認識された状態を模式的に示している。情報処理装置１ｂは、遠距離の対象物を認識可能である。そのため、自車４１０の進行方向の遠方の人４１２ｃが認識された場合に、緩やかな減速を行うように、自車４１０を制御することが可能である。

【0207】

状態４０５は、状態４０３から所定時間経過後に、遮蔽物４１３の陰から人４１２ｂが急に出現した様子を模式的に示している。この状態４０５において、自車４１０に搭載された情報処理装置１ｂは、近距離の人４１２ｂを、対象物として短いレイテンシで認識することが可能である。そのため、情報処理装置１ｂは、この人４１２ｂを認識し、認識結果に応じて自車４１０を制御する動作を、短い空走距離で開始することができ、人４１２ｂとの接触や衝突を回避することが可能となる。

【0208】

（２－３．第１の実施形態の変形例）
次に、第１の実施形態の変形例について説明する。

【0209】

（２－３－１．第１の変形例）
先ず、第１の実施形態の第１の変形例について説明する。第１の実施形態の第１の変形例は、サブサンプリングによるサンプリングの空間的な間隔を、認識の対象物や認識処理を行う状況などに応じて変更する例である。図２６Ａおよび図２６Ｂは、サンプリング間隔の異なる分割領域３５および３５’の例を示す模式図である。

【0210】

図２６Ａは、分割領域３５に含まれる画素３００を、行および列方向にそれぞれ１つおきに間引いて選択した４つの画素３００ｓａ₁、３００ｓａ₂、３００ｓａ₃および３００ｓａ₄をサンプリング画素とした例を示す模式図である。この場合、サンプリング間隔は２画素となる。なお、図２６Ａの例では、分割領域３５のサイズを４画素×４画素としている。

【0211】

図２６Ｂは、分割領域３５に含まれる画素３００を、行および列方向にそれぞれ３つおきに間引いて選択した４つの画素３００ｓａ₁、３００ｓａ₂、３００ｓａ₃および３００ｓａ₄をサンプリング画素とした例を示す模式図である。この場合、サンプリング間隔は４画素となる。なお、図２６Ｂの例では、分割領域３５のサイズを８画素×８画素としている。

【0212】

図２６Ｂの例のように、サンプリング間隔を例えば図２６Ａの例に対して広げると、１回のサブサンプリングで少ない数のサンプリング画素が選択され、レイテンシが小さくなる。この場合、例えば１回目のサブサンプリングによる認識処理で認識可能な距離が短くなると共に、サンプリング画像の解像度が低いため画像上で大きなサイズの対象物の認識に適している。

【0213】

一方、図２６Ａのように、サンプリング間隔を例えば図２６Ｂの例に対して狭めると、１回のサブサンプリングで多くのサンプリング画素が選択され、レイテンシが大きくなる。この場合、例えば１回目のサブサンプリングによる認識処理で認識可能な距離が長くなると共に、サンプリング画像の解像度が図２６Ｂの例に対して高いため、画像上で小さなサイズの対象物の認識に適している。

【0214】

例えば、第１の実施形態の第１の変形例に係る情報処理装置１ｂを車載用途として用いる場合、当該情報処理装置１ｂを搭載した車両が高速走行中は、より遠距離の対象物の認識が重要となる。そのため、前処理部２１０は、例えば図２６Ａのようにサンプリング間隔を狭め、認識部２２０は、より高解像度のサンプリング画像を用いて認識処理を行う。一方、当該車両が例えば市街地などを走行中は、レイテンシが重要となる。そのため、前処理部２１０は、例えば図２６Ｂのようにサンプリング間隔を広げ、認識部２２０は、低解像度のサンプリング画像を用いて認識処理を行う。

【0215】

例えば、情報処理装置１ｂは、現在位置を示す位置情報を取得し、取得された位置情報と、現在位置に対応するマップ情報とに基づき、現在位置が市街地であるか否かを判断できる。情報処理装置１ｂは、例えば、ＳＬＡＭ(Simultaneous Localization And Mapping)やＧＮＳＳ(Global Navigation Satellite System)を用いて現在位置を推定するように構成することができる。また、情報処理装置１ｂがインタフェース１２０４を介して車両から走行速度を示す情報を取得する。情報処理装置１ｂにおいて、例えば前処理部２１０は、これら現在位置情報と走行速度情報とに基づき、サンプリング間隔を設定することができる。サンプリング間隔は、これらの情報に基づき動的に設定することが可能である。

【0216】

なお、これに限らず、前処理部２１０および認識部２２０に供給するクロック周波数の制御や、撮像画像において認識処理の対象とする認識領域を狭める、といった方法により、認識処理の速度や認識可能な距離の調整を行うことも考えられる。例えば市街地を高速走行中は、遠距離および近距離それぞれの認識結果が必要となる。このような場合に、クロック周波数を上げる、認識領域を狭める、など制御を行う。

【0217】

このように、第１の実施形態の第１の変形例では、サブサンプリングによる認識処理と、通常の認識処理とを適宜に切り替えることで、認識結果をより安定的に得ることができる。また、通常の認識処理に交えてサブサンプリングによる認識処理が実行されるため、認識部２２０の負荷が軽減され、消費電力を抑制することが可能である。

【0218】

（２－３－２．第２の変形例）
次に、第１の実施形態の第２の変形例について説明する。第１の実施形態の第２の変形例は、認識処理のレイテンシに応じて外部の装置を制御する例である。一例として、第１の実施形態の第２の変形例に係る情報処理装置１ｂを車載用途として用いる場合に、認識処理のレイテンシに応じて、当該情報処理装置１ｂが搭載される車両の速度（車速）を制御する。例えば、上述した図２６Ａのようにサンプリング画素が選択された場合、画像上で小さなサイズの対象物の認識に適している一方で、レイテンシが大きくなる。

【0219】

例えばスクールゾーンでは、画像上で小さなサイズの対象物としての子供が多い。そこで、第１の実施形態の第２の変形例に係る情報処理装置１ｂは、例えば位置情報に基づき現在位置がスクールゾーンであるとされた場合に、より解像度が高い図２６Ａのサンプリング画素によるサブサンプリングを選択する。この図２６Ａのサンプリング画素によるサブサンプリングは、レイテンシが大きいため、情報処理装置１ｂは、当該情報処理装置１ｂが搭載される車両の車速を制限する。

【0220】

（２－３－３．第３の変形例）
次に、第１の実施形態の第３の変形例について説明する。第１の実施形態の第３の変形例は、上述した第１の実施形態に係るサブサンプリングによる認識処理（以下、サブサンプリングによる認識処理と呼ぶ）と、サブサンプリングを行わない通常の認識処理と、を切り替えて実行する例である。ここで、通常の認識処理は、撮像画像に対するサブサンプリングおよび縮小を行わず、撮像画像の全ての画素を用いた認識処理をいう。

【0221】

例えば、サブサンプリングによる認識処理に対して、一定時間毎に通常の認識処理を行うことができる。これにより、例えばサブサンプリングによる認識処理を検証することが可能である。また例えば、緊急時に、サブサンプリングによる認識処理から通常の認識処理へと切り替えることができる。これにより、認識処理の安定性を向上させることができる。

【0222】

ここで、サブサンプリングによる認識処理から通常の認識処理へと切り替えた際には、例えばレイテンシが大きくなるため認識結果の速報性が低下する。そのため、通常の認識処理に切り替える際に、前処理部２１０および認識部２２０に供給するクロックの周波数を上げるようにすると好ましい。

【0223】

さらに、認識処理による認識結果の信頼度に応じてサブサンプリングによる認識処理と通常の認識処理とを切り替えることができる。例えば、認識部２２０は、サブサンプリングによる認識処理を行っている場合に、当該認識処理による認識結果の信頼度を取得する。認識部２２０は、この信頼度が例えば所定値未満の場合に、前処理部２１０に対して、サブサンプリングによる認識処理から通常の認識処理への切り替えを指示する。前処理部２１０は、この指示に応じて、撮像画像に対するサブサンプリングを停止し、撮像画像の全画素を認識部２２０に渡すようにする。認識部２２０は、前処理部２１０から渡された撮像画像の全画素に基づき通常の認識処理を実行する。

【0224】

認識部２２０は、このようしてサブサンプリングによる認識処理から切り替えられた通常の認識処理において、当該認識処理による認識結果の信頼度を取得する。認識部２２０は、この信頼度が例えば所定値以上の場合に、前処理部２１０に対して、通常の認識処理からサブサンプリングによる認識処理への切り替えを指示する。前処理部２１０は、この指示に応じて、撮像画像に対するサブサンプリングを行い、選択されたサンプリング画素を認識部２２０に渡す。認識部２２０は、前処理部２１０から渡されたサンプリング画素に基づきサブサンプリングによる認識処理を実行する。

【0225】

このように、第１の実施形態の第３の変形例では、認識処理による認識結果の信頼度に応じてサブサンプリングによる認識処理と、通常の認識処理とを切り替えることで、認識結果をより安定的に得ることができる。また、認識結果の信頼度が高い場合には、サブサンプリングによる認識処理が実行されるため、認識部２２０の負荷が軽減され、消費電力を抑制することが可能である。

【0226】

（２－３－４．第４の変形例）
次に、第１の実施形態の第４の変形例について説明する。第１の実施形態の第４の変形例は、撮像画像において任意に選択した画素位置の画素３００を、サブサンプリングによるサンプリング画素として用いる。

【0227】

図２７は、第１の実施形態の第４の変形例によるサブサンプリングを説明するための模式図である。図２７に示されるように、第１の実施形態の第４の変形例では、前処理部２１０は、各フレームの撮像画像である元画像３２０Ｒｎ₁、３２０Ｒｎ₂、…、３２０Ｒｎ_nのｎフレームを１周期として、各フレームに対し、任意に選択した複数の画素位置によるパターンＲ＃ｍ＿１、Ｒ＃ｍ＿２、…、Ｒ＃ｍ＿ｎを設定する。一例として、前処理部２１０は、フレームに含まれる全画素数をｓ、1周期のフレーム数をｎとした場合、それぞれ（ｓ／ｎ）個の画素位置を含むパターンＲ＃ｍ＿１、Ｒ＃ｍ＿２、…、Ｒ＃ｍ＿ｎを設定する。

【0228】

ここで、任意に選択した複数の画素位置は、例えば、離散的および非周期的な複数の画素位置を含む。例えば、前処理部２１０は、疑似乱数を用いて、当該複数の画素位置を選択することができる。また、選択される画素位置は、フレーム毎に異ならせることが好ましいが、一部の画素位置がフレーム間で重複してもよい。

【0229】

認識部２２０は、元画像３２０Ｒｎ₁、３２０Ｒｎ₂、…、３２０Ｒｎ_nのそれぞれから、各パターンＲ＃ｍ＿１、Ｒ＃ｍ＿２、…、Ｒ＃ｍ＿ｎに含まれる画素位置の画素３００をサンプリング画素として選択し、選択されたサンプリング画素に基づき認識処理を実行する。

【0230】

第１の実施形態の第４の変形例では、このように、元画像３２０Ｒｎ₁、３２０Ｒｎ₂、…、３２０Ｒｎ_nのそれぞれから、任意に選択され、且つ、フレーム毎に異なる複数の画素位置によるパターンＲ＃ｍ＿１、Ｒ＃ｍ＿２、…、Ｒ＃ｍ＿ｎに従い選択されたサンプリング画素に基づき、認識処理を行っている。そのため、例えば行および列それぞれの方向に１つおき、３つおきなど周期的に選択した画素位置の画素３００をサンプリング画素として用いる場合に比べて、サンプリングのアーティフィクトを減少させることが可能である。

【0231】

例えば、第１の実施形態の第４の変形例に係る認識処理によれば、フリッカといった時間的な周期パターンに対する誤認識や未認識の発生を抑制できる。また、当該認識処理によれば、空間的な周期パターン（柵や網目状の構造物など）に対する誤認識や未認識の抑制も可能である。

【0232】

なお、上述では、例えば、元画像３２０Ｒｎ₁、３２０Ｒｎ₂、…、３２０Ｒｎ_nそれぞれにおいて、画像の全体を対象として任意に設定した画素位置に従いサンプリング画素を選択しているが、これはこの例に限定されない。例えば、元画像３２０を分割した分割領域３５内において任意に設定した画素位置に従いサンプリング画素を選択してもよい。

【0233】

（２－３－５．第５の変形例）
次に、第１の実施形態に係る第５の変形例について説明する。第１の実施形態の第５の変形例は、認識処理を行うためのサンプリング画素の画素位置の構成を、認識結果に応じて変更する例である。

【0234】

図２８は、第１の実施形態の第５の変形例によるサブサンプリングを説明するための模式図である。図２８において、元画像３２０φ１、３２０φ２、３２０φ３および３２０φ４は、それぞれ行および列それぞれの方向に所定画素数おきに画素位置が選択された、サブサンプリングの１周期分の画像を模式的に示している。認識部２２０は、これら元画像３２０φ１、３２０φ２、３２０φ３および３２０φ４からそれぞれ選択されたサンプリング画素に基づき認識処理を実行する。

【0235】

認識部２２０は、元画像３２０φ１、３２０φ２、３２０φ３および３２０φ４に対する認識結果に基づき、撮像画像に対して注目領域を設定する。一例として、認識部２２０は、低い信頼度で対象物が認識された認識結果を得た場合、撮像画像において、当該対象物を含む所定範囲の領域を、注目領域として設定する。前処理部２１０は、この注目領域に対して、サンプリング画素の画素位置を設定する。図２８の例では、元画像３２０φ１、３２０φ２、３２０φ３および３２０φ４に対して注目領域が設定された各画像３２０Ｐｔ₁、３２０Ｐｔ₂、３２０Ｐｔ₃および３２０Ｐｔ₄それぞれに対し、サンプリング画素の画素位置Ｐｔφ１、Ｐｔφ２、Ｐｔφ３およびＰｔφ４が設定されている。

【0236】

このとき、前処理部２１０は、間引きを行わず注目領域内の画素位置全てをサンプリング画素の画素位置として設定することができる。これに限らず、前処理部２１０は、注目領域に対して、元画像３２０φ１～３２０φ４に設定したサンプリング画素のサンプリング間隔より狭いサンプリング間隔で、サンプリング画素の画素位置を設定してもよい。さらに、前処理部２１０は、注目領域に対して、元画像３２０φ１～３２０φ４に設定したサンプリング画素のサンプリング間隔と同等のサンプリング間隔で、サンプリング画素の画素位置を設定してもよい。

【0237】

このように、第１の実施形態の第５の変形例では、元画像３２０φ１～３２０φ４に対する認識結果に基づき撮像画像に対して設定された注目領域に対して、サンプリング画素の画素位置を設定している。そのため、認識部２２０の負荷が軽減され、消費電力を抑制することが可能である。また、注目領域に対してより狭いサンプリング間隔でサンプリング画素の画素位置を設定することで、より高精度の認識結果を、より高速に取得することが可能となる。

【0238】

（２－３－６．第６の変形例）
次に、第１の実施形態の第６の変形例について説明する。第１の実施形態の第６の変形例は、１周期のサブサンプリングのそれぞれの位相において、撮像部１２００による露出を制御する例である。

【0239】

図２９は、第１の実施形態の第６の変形例による露出制御の例を示す模式図である。この例では、分割領域３５（図示しない）を４画素×４画素のサイズとし、各分割領域３５において、行および列それぞれの方向に１画素おきに間引きしたサブサンプリングを行うものとする。図２９のセクション（ａ）、（ｂ）、（ｃ）および（ｄ）は、それぞれ第１位相のサブサンプリングを行う元画像３２０Ｅｘｐφ１、第２の位相のサブサンプリングを行う元画像３２０Ｅｘｐφ２、第３の位相のサブサンプリングを行う元画像３２０Ｅｘｐφ４、および、第４の位相のサブサンプリングを行う元画像３２０Ｅｘｐφ４、をそれぞれ示している。

【0240】

ここで、前処理部２１０は、各元画像３２０Ｅｘｐφ１、３２０Ｅｘｐφ２、３２０Ｅｘｐφ３および３２０Ｅｘｐφ４に対して、順次、直前の元画像よりも短い露出時間を設定する。このように、１周期分のサブサンプリングにおいて、各元画像３２０Ｅｘｐφ１、３２０Ｅｘｐφ２、３２０Ｅｘｐφ３および３２０Ｅｘｐφ４に対して異なる露出時間を設定することで、輝度に対するダイナミックレンジを広げることができる。

【0241】

（２－３－７．第７の変形例）
次に、第１の実施形態の第７の変形例について説明する。第１の実施形態の第７の変形例は、１周期のサブサンプリングのそれぞれの位相において、撮像部１２００による画素信号に対するアナログゲインを制御する例である。例えば、前処理部２１０は、互いに位相の異なるサブサンプリングを行う各元画像３２０の画素信号を画素アレイ部１００１から読み出す際に、サブサンプリングの位相毎に異なるアナログゲインを撮像部１２００に設定する。

【0242】

撮像部１２００において、制御部１１００は、設定されたアナログゲインを示す情報をＡＤ変換部１００３に渡す。ＡＤ変換部１００３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１００３に含まれる各ＡＤ変換器１００７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。

【0243】

このように、１周期分のサブサンプリングにおいて、サブサンプリングの位相が互いに異なる各元画像３２０に対して異なるアナログゲインを設定することで、輝度に対するダイナミックレンジを広げることができる。

【0244】

なお、上述した第１の実施形態の第６の変形例と、この第１の実施形態の第７の変形例とでは、元画像３２０の輝度の制御を、露出時間とアナログゲインとの何れで行うかが異なる。ここで、輝度の制御を露出時間により行う場合、露出時間を長くすると、高輝度に元画像３２０を取得できると共に、取得された元画像３２０のノイズを抑制することが可能である。一方で、露出時間を長く取ることで、元画像３２０におけるブラーが多くなる。

【0245】

これに対して、輝度の制御をアナログゲインにより行う場合、アナログゲインを上げて明るい元画像３２０を取得する場合でも、元画像３２０におけるブラーは、変化しない。一方で、アナログゲインを上げると、高輝度の元画像３２０が取得できるが、ノイズが増加する。

【0246】

したがって、第１の実施形態の第６の変形例と、第１の実施形態の第７の変形例とは、目的に応じて使い分けると好ましい。例えば、動的なシーンに対する認識処理を行う場合には、高輝度の元画像３２０を得るために、アナログゲインを上げ、ブラーの発生を抑える。また、静的なシーンに対する認識処理を行う場合には、高輝度の元画像３２０を得るために、露出時間を長くし、ノイズの発生を抑える。

【0247】

［３．第２の実施形態］
次に、本開示の第２の実施形態について説明する。本開示の第２の実施形態は、画素アレイ部１００１を含むセンサ部１０ｂと、認識部２２０と、前処理部２１０に相当する構成と、を層構造のＣＩＳに一体的に組み込んだ例である。

【0248】

（３－１．第２の実施形態に係る構成例）
図３０は、第２の実施形態に係る情報処理装置の一例の構成を示すブロック図である。図３０において、情報処理装置１ｃは、センサ部１０ｃと、認識部２２０と、を含む。また、センサ部１０ｃは、画素アレイ部１００１と、読出制御部２３０と、を含む。読出制御部２３０は、例えば、第１の実施形態で説明した前処理部２１０に対応する機能と、撮像部１２００における制御部１１００の機能と、を含む。

【0249】

なお、図３０において、図５を用いて説明した構成のうち、垂直走査部１００２、ＡＤ変換部１００３および信号処理部１１０１は、画素アレイ部１００１に含まれるものとして説明を行う。

【0250】

読出制御部２３０は、画素アレイ部１００１に対して、画素信号を読み出す画素回路１０００を指定する制御信号を供給する。例えば、読出制御部２３０は、画素アレイ部１００１に対して、画素信号を読み出すラインを指定することができる。これに限らず、読出制御部２３０は、画素アレイ部１００１に対して、画素回路１０００単位で、画素信号を読み出す画素回路１０００を指定することもできる。このとき、読出制御部２３０は、画素アレイ部１００１に対して、第１の実施形態で説明した、位相ずらしサブサンプリングによるサンプリング画素の画素位置に対応する画素回路１０００を指定することができる。

【0251】

画素アレイ部１００１は、指定された画素回路１０００から読み出した画素信号をデジタル方式の画素データに変換し、この画素データを読出制御部２３０に渡す。読出制御部２３０は、画素アレイ部１００１から渡された、１フレーム分の画素データを、画像データとして認識部２２０に渡す。この画像データは、位相ずらしサブサンプリングによるサンプリング画像である。認識部２２０は、渡された画像データに対して認識処理を実行する。

【0252】

第２の実施形態では、情報処理装置１ｃを、図６Ａを用いて説明した、半導体チップを２層に積層した２層構造の積層型ＣＩＳにより構成することができる。図６Ａを参照し、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０２０ｂを形成している。画素部２０２０ａは、少なくとも情報処理装置１ｃにおけるセンサ部１０ｃを含む。メモリ＋ロジック部２０２０ｂは、例えば、画素アレイ部１００１を駆動するための駆動回路を含むと共に、読出制御部２３０と、認識部２２０と、を含む。メモリ＋ロジック部２０２０ｂに、フレームメモリをさらに含ませることができる。

【0253】

別の例として、情報処理装置１ｃを、図６Ｂを用いて説明した、半導体チップを３層に積層した３層構造の積層型ＣＩＳにより構成することができる。この場合、第１層の半導体チップに上述の画素部２０２０ａを形成し、第２層の半導体チップに例えばフレームメモリを含むメモリ部２０２０ｃを形成し、第３層の半導体チップに上述のメモリ＋ロジック部２０２０ｂに対応するロジック部２０２０ｄを形成している。この場合、ロジック部２０２０ｄは、例えば画素アレイ部を駆動するための駆動回路と、読出制御部２３０と、認識部２２０と、を含む。また、メモリ部２０２０ｃは、フレームメモリやメモリ１２０２を含むことができる。

【0254】

次に、第２の実施形態に係る認識処理を実現するためのより具体的な構成例について説明する。図３１は、第２の実施形態に係る読み出しおよび認識処理の制御を示す一例のタイムチャートである。図３１の各部の意味は、上述した図１４と同等なので、ここでの説明を省略する。

【0255】

また、以下では、図１１のセクション（ｂ）を用いて説明したように、サブサンプリングの単位となる分割領域３５を、４画素×４画素からなる領域とし、行および列それぞれの方向に１画素おきに間引きをしてサンプリング画素を選択するものとする。さらに、フレーム＃１の撮像画像は、第１の位相によるサブサンプリングの対象とされ、フレーム＃２の撮像画像は、第２の位相によるサブサンプリングの対象とされ、フレーム＃３の撮像画像は、第３の位相によるサブサンプリングの対象とされ、フレーム＃４の撮像画像は、第４の位相によるサブサンプリングの対象とされる。

【0256】

第２の実施形態では、読出制御部２３０は、各フレーム＃１～＃４の撮像処理において、サンプリング画素が含まれるラインを選択的に読み出す。例えば、フレーム＃１では分割領域３５の左上画素を基点としてサンプリング画素を選択し、フレーム＃２では分割領域３５の左上画素に隣接する画素を基点としてサンプリング画素を選択している。換言すれば、フレーム上端のラインを第１ラインとした場合、フレーム＃１および＃２では、奇数番目のラインを選択的に読み出し、フレーム＃３および＃４では、偶数番目のラインを選択的に読み出す。

【0257】

例えばフレーム＃１において、読出制御部２３０は、読み出した各ラインの画素データから、サンプリング画素の画素データを選択し、選択された画素データによりサンプリング画像３６φ１を生成する（ステップＳ１０ａ）。読出制御部２３０は、生成したサンプリング画像３６φ１を認識部２２０に渡す。認識部２２０は、読出制御部２３０から渡されたサンプリング画像３６φ１に基づき認識処理を実行し（ステップＳ１１、ステップＳ１２、ステップＳ１３）、認識結果φ１を出力する。

【0258】

以降、フレーム＃２、＃３および＃４においても同様にして、読出制御部２３０は、読み出した各ラインの画素データから選択したサンプリング画素によりサンプリング画像３６φ２、３６φ３および３６φ４を生成する（ステップＳ１０ｂ、ステップＳ１０ｃおよびステップＳ１０ｄ）。認識部２２０は、読出制御部２３０により生成されたサンプリング画像３６φ２、３６φ３および３６φ４に基づき認識処理を実行し（ステップＳ１１、ステップＳ１２、ステップＳ１３）、認識結果φ２、認識結果φ３および認識結果φ４を出力する。

【0259】

また、認識部２２０は、第１の実施形態と同様にして、認識処理によりサンプリング画像３６φ１～３６φ４からそれぞれ抽出した特徴量を順次に統合する。認識部２２０は、統合された特徴量を用いて、サンプリング画像３６φ１～３６φ４に基づく認識結果φ１～φ４をそれぞれ出力する。すなわち、各フレーム＃１～＃４に基づく認識処理による各認識結果φ１～φ４の情報量は、認識処理を重ねる毎に多くなり、得られる認識結果が、認識処理毎により詳細となっていく。

【0260】

このように、第２の実施形態では、センサ部１０ｃにおいてサブサンプリング処理を行っている。そのため、画素アレイ部１００１に含まれる全画素回路１０００からの読み出しを行う必要が無い。したがって、認識処理の遅延を、上述した第１の実施形態に対してさらに短縮することが可能である。また、全画素回路１０００からサンプリング画素を含むラインの画素回路１０００を選択的に読み出すため、画素アレイ部１００１からの画素信号の読み出し量を低減でき、バス幅を削減することが可能である。

【0261】

また、第２の実施形態では、画素アレイ部１００１においてライン間引きにより各画素回路１０００の読み出しを行っている。そのため、ローリングシャッタによる撮像画像の歪みを低減することができる。また、画素アレイ部１００１における撮像時の消費電力を低減させることが可能である。さらに、サブサンプリングにより間引きされたラインにおいて、例えば露出などの撮像条件を、サブサンプリングにより読み出しを行うラインに対して変更して撮像を行うことも可能である。

【0262】

（３－２．第２の実施形態の応用例）
次に、第２の実施形態の認識処理の応用例について説明する。

【0263】

（３－２－１．第１の応用例）
第１の応用例は、４Ｋ解像度画像などよる高解像度の撮像画像に対する認識処理への応用である。図３２は、第２の実施形態の第１の応用例を説明するための模式図である。４Ｋ解像度画像は、図３２の左側に１９２０画素×１０８０画素の画像（ＨＤ画像と呼ぶ）を、右側に４０９６画素×２１６０画素の４Ｋ解像度画像を、それぞれ模式的に示している。４Ｋ解像度画像は、ＨＤ画像に対して行および列それぞれの方向に２倍の画素数を有し、画素数がＨＤ画像の４倍とされる。

【0264】

第２の実施形態では、センサ部１０ｃの内部において、画素アレイ部１００１からの画素信号の読み出し時にサブサンプリング処理の少なくとも一部を行うため、１フレームにおいて扱うデータ量が少なくて済む。また、認識部２２０は、サブサンプリング処理による各サンプリング画像に基づき、フレーム毎に認識処理を実行する。そのため、撮像画像に対して高い同時性で認識結果を得ることが可能である。さらに、認識部２２０は、フレーム間で特徴量を順次に統合するため、４Ｋ解像度画像を有効に活用した、より高精度の認識結果を得ることが可能である。

【0265】

（３－２－２．第２の応用例）
第２の応用例は、サブサンプリングにより低解像度化されたサンプリング画像に対する認識処理への応用である。ここでは、第２の応用例として、ＵＩ(User Interface)と、そのＵＩによるＵＸ(User Experience)の向上について説明する。図３３は、第２の実施形態の第２の応用例を説明するための模式図である。図３３の左側は、既存技術のうち、撮像画像を縮小せずに用いる例によるＵＩ、右側は第２の実施形態に係るＵＩをそれぞれ模式的に示している。なお、上述もしたが、第２の実施形態に係る認識処理では、特徴量をフレーム毎に順次に統合することで、撮像画像を縮小せずに用いて認識処理を行った場合と同等の解像度で、認識結果を得ることが可能である。

【0266】

既存技術によれば、図２０を用いて説明したように、あるフレームの認識結果を得るために、複数フレーム分の時間を要する。そのため、認識結果が複数フレーム毎に更新されることになる。これは、フレーム間における操作が困難であることを意味し、ＵＸとしては好ましくないと考えられる。これに対して、第２の実施形態では、サブサンプリングされたサンプリング画像に基づき、低解像度ではあるが、認識結果をフレーム毎に更新することが可能である。したがって、フレーム間における操作が容易であり、ＵＸとして好ましいと考えられる。これにより、第２の実施形態に係る認識処理に係るＵＩのＵＸを、撮像画像を縮小せずに用いる既存技術によるＵＩに対して向上させることが可能である。

【0267】

なお、この第２の応用例は、第２の実施形態のみならず、上述した第１の実施形態およびその各変形例にも適用可能なものである。

【0268】

（３－２－３．第３の応用例）
第３の応用例は、データ転送および消費電力の低減に対する応用例である。図３４は、第２の実施形態の第３の応用例を説明するための模式図である。図３４のセクション（ａ）は、既存技術のうち、撮像画像を縮小せずに用いる認識処理を行う情報処理装置１ｃ’の構成例を模式的に示している。セクション（ｂ）は、第２の実施形態に係る情報処理装置１ｃの構成例を模式的に示している。なお、これら情報処理装置１ｃおよび１ｃ’は、同一サイズの撮像画像を認識処理の対象としているものとする。

【0269】

なお、ここでは、第２の実施形態に係る情報処理装置１ｃにおいては、図１１のセクション（ｂ）を用いて説明したように、サブサンプリングの単位となる分割領域３５を、４画素×４画素からなる領域とし、行および列それぞれの方向に１画素おきに間引きをしてサンプリング画素を選択するものとする。さらに、フレーム＃１～＃４の各撮像画像は、それぞれ第１の位相、第２の位相、第３の位相および第４の位相によるサブサンプリングの対象とされる。

【0270】

図３４のセクション（ａ）に示す、撮像画像を縮小せずに用いる情報処理装置１ｃ’の例では、１フレームの撮像画像に対する認識処理において、センサ部１０ｃ’から認識部２２０に対して、１フレームに含まれる全ての画素データが転送される。

【0271】

一方、図３４のセクション（ｂ）に示す、第２の実施形態に係る情報処理装置１ｃでは、１フレームの撮像画像に対する認識処理において、１フレームに対して間引きして選択された画素位置の画素データのみが転送される。例えば、図１１のセクション（ｂ）に示す、分割領域３５を４画素×４画素のサイズとし、この分割領域３５に対し、行および列それぞれの方向に１画素おきに間引きするサブサンプリングを行う場合、１フレーム当たりに転送される画素データは、セクション（ａ）の場合の１／４となる。

【0272】

このように、第２の実施形態に係る情報処理装置１ｃでは、撮像画像を縮小せずに認識処理に用いる情報処理装置１ｃ’と比較して、センサ部１０ｃから認識部２２０に転送される画素データ量が少なくて済み、バス幅を削減できると共に、認識部２２０のフレーム当たりの処理量が削減され、低消費電力化が可能となる。

【0273】

一方、第２の実施形態に係る情報処理装置１ｃに対して、例えば図３４のセクション（ａ）に示す撮像画像を縮小せずに用いる情報処理装置１ｃ’と同等の電力を供給可能な場合、図３４のセクション（ｃ）に示されるように、複数の情報処理装置１ｃを並列的に動作させることが可能となる。

【0274】

［４．第３の実施形態］
次に、本開示の第３の実施形態について説明する。第３の実施形態は、上述した第２の実施形態に係る情報処理装置１ｃにおける、センサ部１０ｃと認識部２２０とを分離した例である。

【0275】

図３５は、第３の実施形態に係る情報処理装置の一例の構成を示すブロック図である。図３５において、情報処理装置１ｄは、センサ部１０ｄと、認識処理部２０ｄと、を含む、センサ部１０ｄは、画素アレイ部１００１と、読出制御部２３０と、を含む。また、認識処理部２０ｄは、認識部２２０を含む。

【0276】

ここで、センサ部１０ｄは、例えば、図６Ａを用いて説明した、半導体チップを２層に積層した２層構造の積層型ＣＩＳにより形成する。図６Ａを参照し、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０２０ｂを形成している。画素部２０２０ａは、少なくともセンサ部１０ｄにおける画素アレイ部１００１を含む。メモリ＋ロジック部２０２０ｂは、例えば、画素アレイ部１００１を駆動するための駆動回路と、読出制御部２３０とを含む。メモリ＋ロジック部２０２０ｂに、フレームメモリをさらに含ませることができる。

【0277】

センサ部１０ｄは、サンプリング画像の画像データを読出制御部２３０から出力し、センサ部１０ｄとは異なるハードウェアに含まれる認識処理部２０ｄに供給する。認識処理部２０ｄは、センサ部１０ｄから供給された画像データを認識部２２０に入力する。認識部２２０は、入力された画像データに基づき認識処理を実行し、認識結果を外部に出力する。

【0278】

別の例として、センサ部１０ｄを、図６Ｂを用いて説明した、半導体チップを３層に積層した３層構造の積層型ＣＩＳにより形成することができる。この場合、第１層の半導体チップに上述の画素部２０２０ａを形成し、第２層の半導体チップに例えばフレームメモリを含むメモリ部２０２０ｃを形成し、第３層の半導体チップに上述のメモリ＋ロジック部２０２０ｂに対応するロジック部２０２０ｂを形成している。この場合、ロジック部２０２０ｂは、例えば画素アレイ部１００１を駆動するための駆動回路と、読出制御部２３０とを含む。また、メモリ部２０２０ｃは、フレームメモリやメモリ１２０２を含むことができる。

【0279】

このように、認識処理部２０ｄ（認識部２２０）をセンサ部１０ｄとは別のハードウェアにより構成することで、認識部２２０の構成、例えば認識モデルなどの変更が容易とすることができる。

【0280】

また、センサ部１０ｄにおいて、サブサンプリングされたサンプリング画像に基づき認識処理が行われるため、撮像画像による画像データ３２をそのまま用いて認識処理を行う場合と比較して、認識処理の負荷を軽減することができる。そのため、例えば認識処理部２０ｄにおいて、処理能力の低いＣＰＵ、ＤＳＰ、あるいはＧＰＵを用いることができ、情報処理装置１ｄのコストを削減することが可能となる。

【0281】

［５．第４の実施形態］
次に、本開示の第４の実施形態について説明する。上述した第１の実施形態～第３の実施形態では、１つの画像データ３２に対して１回のサブサンプリングを行うように説明したが、これはこの例に限定されない。第４の実施形態は、１つの画像データ３２に対して複数回のサブサンプリングを行う例である。

【0282】

なお、第３の実施形態では、上述した第１の実施形態およびその各変形例による情報処理装置１ｂ、第２の実施形態による情報処理装置１ｃおよび第３の実施形態による情報処理装置１ｄの何れも適用可能である。以下では、第４の実施形態に対して、図９に示した情報処理装置１ｂを適用したものとして説明を行う。

【0283】

図３６は、第４の実施形態に係る認識処理におけるサブサンプリング処理について説明するための模式図である。ここでは、説明のため、図３６のセクション（ｂ）に示すように、上述した図１３Ａのセクション（ｂ）と同様にしてサブサンプリングを行うものとする。すなわち、２画素×２画素の領域とした各分割領域３５において、左上の画素位置を原点の座標［０，０］とし、右上、左下および右下の画素位置を、それぞれ座標［１，０］［０，１］および［１，１］とする。

【0284】

また、画素３００のサンプリングは、各分割領域３５において、右下の画素位置［１，１］を基点として、座標［１，１］、［１，０］、［０，１］、［０，０］の順に行う。また、各座標［１，１］、［１，０］、［０，１］、［０，０］を基点とするサブサンプリングにより取得されたサンプリング画素によるサンプリング画像を、それぞれ位相［１，１］のサンプリング画像、位相［１，０］のサンプリング画像、位相［０，１］のサンプリング画像、位相［０，０］のサンプリング画像、などと呼ぶ。

【0285】

図３６のセクション（ａ）において、画像データ３２ａが最も新しい時間Ｔの画像［Ｔ］であり、画像データ３２ｂは、画像データ３２ａの直前のフレームの、時間Ｔ－１における画像［Ｔ－１］である。以下、各時間における画像を、時間Ｔにおける画像［Ｔ］（画像データ３２ａ）で代表させて説明を行う。

【0286】

前処理部２１０は、１つの画像データ３２ａに対して、位置を周期的にずらしながらサブサンプリングを実行する（ステップＳ１０ａ～ステップＳ１０ｄ）。例えば、前処理部２１０は、画像データ３２ａが取得されてから次の画像データが取得されるまでの１フレーム期間の間に、座標［１，１］、［１，０］［０，１］および［０，０］を基点とするサブサンプリングを順次、実行し、位相［１，１］のサンプリング画像、位相［１，０］のサンプリング画像、位相［０，１］のサンプリング画像、位相［０，０］のサンプリング画像、をそれぞれ取得する。

【0287】

認識部２２０は、位相［１，１］のサンプリング画像、位相［１，０］のサンプリング画像、位相［０，１］のサンプリング画像、位相［０，０］のサンプリング画像のそれぞれに対して特徴量抽出を行い（ステップＳ１１）、特徴量５０ａ、５０ｂ、５０ｃおよび５０ｄを抽出する。

【0288】

認識部２２０は、画像データ３２ａから抽出された各特徴量５０ａ、５０ｂ、５０ｃおよび５０ｄの統合処理を行い（ステップＳ１２）、各特徴量５０ａ、５０ｂ、５０ｃおよび５０ｄが統合された特徴量に基づき認識処理を行う（ステップＳ１３）。

【0289】

このように、１つの画像データ３２ａに対して位相をずらしてサブサンプリングした各位相のサンプリング画像に対して特徴量抽出処理を行うことで、統合された特徴量に基づく認識処理を、より高速に実行することができる。

【0290】

ここで、上述では、２画素×２画素を含む分割領域３５において、全ての位相［１，１］、［１，０］［０，１］および［０，０］に対するサブサンプリングを行うことで、１枚の画像データ３２ａの全体に対する認識処理を行っている。これはこの例に限定されず、各位相［１，１］、［１，０］［０，１］および［０，０］のうち特定の位相について選択的にサブサンプリングを行ってもよい。

【0291】

例えば、各位相［１，１］、［１，０］［０，１］および［０，０］のうち、対角に位置する位相［１，１］および［０，０］のみに対してサブさんグリングを行い、取得された位相［１，１］および［０，０］の各サンプリング画像の特徴量をそれぞれ抽出して認識処理を行う。これにより、特徴量抽出および人初期処理の処理量を低減させることができ、認識処理部２０ｂにおける消費電力を抑制することができる。

【0292】

また、例えば、各位相［１，１］、［１，０］［０，１］および［０，０］のうち１つ（例えば位相［１，１］）についてサブサンプリングを行って得られた特徴量に基づき認識処理を行った結果を、速報結果として出力することができる。この場合、速報結果を出力した後、他の位相（例えば［１，０］［０，１］および［０，０］）に対するサブサンプリングを実行し、各［１，１］、［１，０］［０，１］および［０，０］による特徴量を統合した特徴量に基づき認識処理を行い、認識結果を出力する。

【0293】

またこの場合において、速報結果にて十分な認識結果が得られれば、後段の処理（他の位相によるサブサンプリング、特徴量抽出など）を省略することも可能である。この場合には、速報結果の出力後に即座に次の画像データに対する処理を開始することができ、よりフレームレートを高速化することが可能となる。

【0294】

［６．第５の実施形態］
（６－１．本開示の技術の適用例）
次に、第５の実施形態として、本開示に係る、第１の実施形態およびその各変形例、第２の実施形態、第３の実施形態、ならびに、第４の実施形態に係る情報処理装置１ｂ、１ｃおよび１ｄの適用例について説明する。図３７は、第１の実施形態およびその各変形例、第２の実施形態、第３の実施形態、ならびに、第４の実施形態に係る情報処理装置１ｂ、１ｃおよび１ｄを使用する使用例を示す図である。なお、以下では、特に区別する必要のない場合、情報処理装置１ｂ、１ｃおよび１ｄを情報処理装置１ｂで代表させて説明を行う。

【0295】

上述した情報処理装置１ａは、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングしセンシング結果に基づき認識処理を行う様々なケースに使用することができる。

【0296】

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。

【0297】

（６－２．移動体への適用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0298】

図３８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

【0299】

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

【0300】

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

【0301】

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0302】

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

【0303】

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

【0304】

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

【0305】

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

【0306】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0307】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

【0308】

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

【0309】

図３９は、撮像部１２０３１の設置位置の例を示す図である。

【0310】

図３９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

【0311】

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0312】

なお、図３９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

【0313】

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

【0314】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0315】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

【0316】

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

【0317】

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１および車外情報検出ユニット１２０３０に適用され得る。具体的には、例えば、情報処理装置１ｂのセンサ部１０ｂを撮像部１２０３１に適用し、認識処理部２０ｂを車外情報検出ユニット１２０３０に適用する。認識処理部２０ｂから出力された認識結果は、例えば通信ネットワーク１２００１を介して統合制御ユニット１２０５０に渡される。

【0318】

このように、本開示に係る技術を撮像部１２０３１および車外情報検出ユニット１２０３０に適用することで、近距離の対象物の認識と、遠距離の対象物の認識とをそれぞれ実行できると共に、近距離の対象物の認識を高い同時性で行うことが可能となるため、より確実な運転支援が可能となる。

【0319】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0320】

なお、本技術は以下のような構成も取ることができる。
（１）
画素によって構成される撮像情報が分割された分割領域毎に、サンプリング画素を取得するための画素位置を設定する設定部と、
前記サンプリング画素により構成されるサンプリング画像の特徴量を算出する算出部と、
前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識部と、
を備え、
前記設定部は、
前記撮像情報のうち、第１の撮像情報と、時系列で該第１の撮像情報の次に取得される第２の撮像情報と、で異なる前記画素位置を設定する、
情報処理装置。
（２）
前記認識部は、
前記第１の撮像情報に設定された前記サンプリング画素と、前記第２の撮像情報に設定された前記サンプリング画素と、を用いたＲＮＮ(Recurrent Neural Network)により機械学習処理を実行し、該機械学習処理の結果に基づき前記認識処理を行う、
前記（１）に記載の情報処理装置。
（３）
前記設定部は、
前記画素位置を、前記撮像情報の取得に応じて前記分割領域内を一定の周期で巡回するように設定する、
前記（１）または（２）に記載の情報処理装置。
（４）
前記設定部は、
前記画素位置を、前記撮像情報の取得に応じて前記分割領域内に対して任意に設定する、
前記（１）または（２）に記載の情報処理装置。
（５）
前記設定部は、
前記画素位置を、外部からの指示に基づき、前記撮像情報の取得に応じて前記分割領域内に設定する、
前記（１）または（２）に記載の情報処理装置。
（６）
前記設定部は、
前記画素位置として、前記分割領域に含まれる全ての画素位置を、時系列上で連なる複数の前記撮像情報を跨いで設定する、
前記（１）乃至（５）の何れかに記載の情報処理装置。
（７）
前記設定部は、
前記画素位置として、前記撮像情報に含まれる全ての画素位置を、時系列上で連なる複数の前記撮像情報を跨いで設定する、
前記（１）乃至（６）の何れかに記載の情報処理装置。
（８）
前記算出部が算出した前記特徴量を蓄積する蓄積部をさらに備え、
前記認識部は、
前記蓄積部に蓄積された前記特徴量の少なくとも一部に基づき前記認識処理を行い前記認識処理結果を出力する、
前記（１）乃至（７）の何れかに記載の情報処理装置。
（９）
前記認識部は、
前記蓄積部に蓄積された複数の前記特徴量を統合した特徴量に基づき前記認識処理を行う、
前記（８）に記載の情報処理装置。
（１０）
前記認識部は、
前記撮像情報の取得に応じて前記算出部により算出された前記特徴量を、該取得の直前までに前記蓄積部に蓄積された特徴量の少なくとも一部の特徴量と統合し、統合された特徴量に基づき前記認識処理を行う、
前記（８）に記載の情報処理装置。
（１１）
前記認識部は、
前記蓄積部に蓄積された前記特徴量のうち、所定の条件に応じて選択された特徴量に基づき前記認識処理を行う、
前記（８）乃至（１０）の何れかに記載の情報処理装置。
（１２）
前記認識部は、
前記蓄積部に蓄積された前記特徴量のうち、時系列で新しい特徴量に基づき前記認識処理を行う、
前記（１１）に記載の情報処理装置。
（１３）
前記認識部は、
前記蓄積部に蓄積された前記特徴量のうち、所定の条件に対応する特徴量を破棄する、
前記（８）乃至（１２）の何れかに記載の情報処理装置。
（１４）
前記認識部は、
前記分割領域それぞれの前記画素位置に対応する前記画素毎の教師データに基づき、前記サンプリング画像の前記特徴量に対する前記認識処理を行う、
前記（１）乃至（１３）の何れかに記載の情報処理装置。
（１５）
前記設定部は、
前記認識部による前記認識処理に応じて、該認識処理を行った前記サンプリング画像を構成する前記画素位置が設定された第１のパターンとは異なる第２のパターンで、前記特徴量を算出するための前記画素位置を設定する、
前記（１）乃至（１４）の何れかに記載の情報処理装置。
（１６）
前記設定部は、
前記第１の撮像情報を取得する際の露出条件と、前記第２の撮像情報を取得する際の露出条件と、を異ならせる、
前記（１）乃至（１５）の何れかに記載の情報処理装置。
（１７）
プロセッサにより実行される、
画素によって構成される撮像情報が分割された分割領域毎に、サンプリング画素を取得するための画素位置を設定する設定ステップと、
前記サンプリング画素により構成されるサンプリング画像の特徴量を算出する算出ステップと、
前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識ステップと、
を有し、
前記設定ステップは、
前記撮像情報のうち、第１の撮像情報と、時系列で該第１の撮像情報の次に取得される第２の撮像情報と、で異なる前記画素位置を設定する、
情報処理方法。
（１８）
画素によって構成される撮像情報が分割された分割領域毎に、サンプリング画素を取得するための画素位置を設定する設定ステップと、
前記サンプリング画素により構成されるサンプリング画像の特徴量を算出する算出ステップと、
前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識ステップと、
をコンピュータに実行させ、
前記設定ステップは、
前記撮像情報のうち、第１の撮像情報と、時系列で該第１の撮像情報の次に取得される第２の撮像情報と、で異なる前記画素位置を設定する、
ための情報処理プログラム。

【符号の説明】

【0321】

１ａ，１ｂ，１ｃ，１ｄ 情報処理装置
１０ａ，１０ｂ，１０ｃ，１０ｄ センサ部
２０ａ，２０ｂ，２０ｄ 認識処理部
３０ａ，３０ｂ 撮像画像
３２，３２ａ，３２ａ’，３２ｂ，３２ｃ，３２ｄ 画像データ
３５，３５’ 分割領域
３６，３６φ１，３６φ１’，３６φ２，３６φ３，３６φ４，３６φｘ サンプリング画像
４０，６０，６１，６２，６３，６４，６５，６６，７０，７１ 認識結果
４１，４２，４３，４４ 対象物
５０ａ，５０ａ’，５０ｂ，５０ｃ，５０ｄ 特徴量
２１０ 前処理部
２１１ 読出部
２１２ 利用領域取得部
２２０ 認識部
２２１ 特徴量算出部
２２２ 特徴量蓄積制御部
２２３ 特徴量蓄積部
２２４ 利用領域決定部
２２５ 認識処理実行部
２３０ 読出制御部
３００ 画素
３１０₁，３１０₂，３１０₃，３１０₄，３１０₅，３１０₆，３１０₇，３１０₈，３１０₉ 撮像画像
３２０，３２０Ｅｘｐφ１，３２０Ｅｘｐφ２，３２０Ｅｘｐφ３，３２０Ｅｘｐφ４，３２０Ｒｎ₁，３２０Ｒｎ₂，３２０Ｒｎ_n，３２０φ１，３２０φ２，３２０φ３，３２０φ４ 元画像
３２１，３２１ａ，３２１ｂ，３２１ｃ，３２１ｄ 縮小画像
１０００ 画素回路
１００１ 画素アレイ部
１２００ 撮像部
１２０２ メモリ
１２０３ ＤＳＰ
１２０５ ＣＰＵ

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図12D】

【図12E】

【図13A】

【図13B】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図20】

【図21】

【図22】

【図23A】

【図23B】

【図24】

【図25A】

【図25B】

【図26A】

【図26B】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】