(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022186333
(43)【公開日】2022-12-15
(54)【発明の名称】撮像装置、撮像方法および撮像プログラム
(51)【国際特許分類】
H04N 5/341 20110101AFI20221208BHJP
H04N 5/369 20110101ALI20221208BHJP
G06T 7/00 20170101ALI20221208BHJP
G06T 1/40 20060101ALI20221208BHJP
【ＦＩ】
H04N5/341
H04N5/369
G06T7/00 350C
G06T1/40
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021094494
(22)【出願日】2021-06-04
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】西谷 泰昭
【テーマコード（参考）】
5B057
5C024
5L096
【Ｆターム（参考）】
5B057BA02
5B057BA21
5B057CA12
5B057CB12
5B057CH09
5B057DB02
5B057DC36
5C024CY25
5C024GY31
5C024HX28
5C024HX29
5C024HX30
5C024JX11
5L096CA08
5L096HA11
5L096JA11
(57)【要約】
【課題】画像認識機能実現に伴う処理時間やメモリ領域を抑制可能な撮像装置、撮像方法および撮像プログラムを提供する。
【解決手段】本開示に係る撮像装置は、複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサと、前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部と、を備える。
【選択図】図１
【解決手段】本開示に係る撮像装置は、複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサと、前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサと、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部と、
を備える撮像装置。
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部と、
を備える撮像装置。
【請求項2】
前記所定のライン単位は、前記コンボリューション処理に用いられるフィルタの行数分に対応するライン単位であり、
前記フィルタの行数分に対応するラインの画素を、前記コンボリューション処理の実行単位のデータとして記憶するラインメモリを更に備え、
前記第１処理部は、前記コンボリューション処理の実行単位のデータが前記ラインメモリに記憶される度に、前記コンボリューション処理を実行する、
請求項１に記載の撮像装置。
前記フィルタの行数分に対応するラインの画素を、前記コンボリューション処理の実行単位のデータとして記憶するラインメモリを更に備え、
前記第１処理部は、前記コンボリューション処理の実行単位のデータが前記ラインメモリに記憶される度に、前記コンボリューション処理を実行する、
請求項１に記載の撮像装置。
【請求項3】
前記ラインメモリは、前記フィルタの行数分に対応するラインの画素を、前記画素領域の読み出し開始位置から順番に記憶し、前記第１処理部によって処理済みの前記画素領域のラインの画素は、前記画素領域から新たに読み出されたラインの画素で更新することによって、前記コンボリューション処理の実行単位のデータを記憶する、
請求項２に記載の撮像装置。
請求項２に記載の撮像装置。
【請求項4】
前記所定のライン単位は、前記画素領域の１ライン単位である、
請求項１に記載の撮像装置。
請求項１に記載の撮像装置。
【請求項5】
前記センサは、前記画像をローリングシャッタ方式で撮像する、
請求項１に記載の撮像装置。
請求項１に記載の撮像装置。
【請求項6】
前記センサは、前記画像をグローバルシャッタ方式で撮像する、
請求項１に記載の撮像装置。
請求項１に記載の撮像装置。
【請求項7】
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するステップと、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行するステップと、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力するステップと、
を含む撮像方法。
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行するステップと、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力するステップと、
を含む撮像方法。
【請求項8】
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサを備えるコンピュータを、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部、
として機能させるための撮像プログラム。
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部、
として機能させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【0002】
近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機（スマートフォン）などに搭載される小型カメラなどの撮像装置の高性能化に伴い、撮像画像に含まれる所定のオブジェクトを認識する画像認識機能を搭載する撮像装置が開発されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平１０－２４７２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来では、画像認識機能を実行するために、処理時間の増大やメモリ領域の圧迫が発生してしまうという課題が存在した。
【0005】
本開示は、画像認識機能実現に伴う処理時間やメモリ領域を抑制可能な撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る撮像装置は、複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサと、前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部と、を備える。
【図面の簡単な説明】
【0007】
【図1】本開示の第１の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図2A】第１の実施形態に係る撮像装置を２層構造の積層型ＣＩＳにより形成した例を示す図である。
【図2B】第１の実施形態に係る撮像装置を３層構造の積層型ＣＩＳにより形成した例を示す図である。
【図3】第１の実施形態に適用可能なセンサ１１の一例の構成を示すブロック図である。
【図4A】ローリングシャッタ方式を説明するための模式図である。
【図4B】ローリングシャッタ方式を説明するための模式図である。
【図4C】ローリングシャッタ方式を説明するための模式図である。
【図5A】ローリングシャッタ方式におけるライン間引きを説明するための模式図である。
【図5B】ローリングシャッタ方式におけるライン間引きを説明するための模式図である。
【図5C】ローリングシャッタ方式におけるライン間引きを説明するための模式図である。
【図6A】ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。
【図6B】ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。
【図7A】グローバルシャッタ方式を説明するための模式図である。
【図7B】グローバルシャッタ方式を説明するための模式図である。
【図7C】グローバルシャッタ方式を説明するための模式図である。
【図8A】グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。
【図8B】グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。
【図9】ＣＮＮによる画像認識処理を概略的に説明するための図である。
【図10】認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。
【図11A】フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。
【図11B】フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。
【図12】従来の画像認識機能の処理時間の例を示す図である。
【図13】従来の画像認識機能に必要なメモリ領域の例を示す図である。
【図14】第１の実施形態の画像認識機能の処理時間の例を示す図である。
【図15】第１の実施形態の画像認識機能に必要なメモリ領域の例を示す図である。
【図16A】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16B】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16C】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16D】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16E】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16F】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16G】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16H】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16I】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16J】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16K】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図16L】第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。
【図17】第１の実施形態の処理の分解例（コンボリューション単位の場合）を示す図である。
【図18】第１の実施形態の処理の例１を示す図である。
【図19】第１の実施形態の処理の例２を示す図である。
【図20】第１の実施形態の処理の例３を示す図である。
【図21】第２の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図22】第２の実施形態の処理の分解例（１ライン単位の場合）を示す図である。
【図23】第２の実施形態の処理の例１を示す図である。
【図24】第２の実施形態の処理の例２を示す図である。
【図25】第２の実施形態の処理の例３を示す図である。
【図26】第１及び第２の実施形態の効果の例１について説明するための図である。
【図27】第１及び第２の実施形態の効果の例２について説明するための図である。
【発明を実施するための形態】
【0008】
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
【0009】
以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の第１の実施形態に係る構成例
２．本開示に適用可能な技術の例
２－１．ローリングシャッタの概要
２－２．グローバルシャッタの概要
２－３．ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）について
２－３－１．ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の概要
２－４．駆動速度について
３．本開示の概要
３－１．第１の実施形態
３－２．第２の実施形態
３－３．第１及び第２の実施形態の効果の例
１．本開示の第１の実施形態に係る構成例
２．本開示に適用可能な技術の例
２－１．ローリングシャッタの概要
２－２．グローバルシャッタの概要
２－３．ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）について
２－３－１．ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の概要
２－４．駆動速度について
３．本開示の概要
３－１．第１の実施形態
３－２．第２の実施形態
３－３．第１及び第２の実施形態の効果の例
【0010】
［１．本開示の第１の実施形態に係る構成例］
本開示に係る撮像装置の構成について、概略的に説明する。図１は、本開示の第１の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図１において、撮像装置１は、センサ１１と、センサ制御部１２と、データ処理部１３と、ラインメモリ１４と、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）処理部１５と、パラメータメモリ１６と、を含み、これら各部がＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）である。なお、撮像装置１は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
本開示に係る撮像装置の構成について、概略的に説明する。図１は、本開示の第１の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図１において、撮像装置１は、センサ１１と、センサ制御部１２と、データ処理部１３と、ラインメモリ１４と、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）処理部１５と、パラメータメモリ１６と、を含み、これら各部がＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）である。なお、撮像装置１は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
【0011】
センサ１１は、受光面に照射された光に応じた画素信号を出力する。より具体的には、センサ１１は、少なくとも１つの光電変換素子を含む画素が行列状に配列される画素アレイを有する。画素アレイに行列状に配列される各画素により受光面が形成される。センサ１１は、さらに、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された信号に対して所定の信号処理を施して各画素の画素信号として出力する信号処理回路と、を含む。センサ１１は、画素領域に含まれる各画素の画素信号を、デジタル形式の画像データとして出力する。
【0012】
以下、センサ１１が有する画素アレイにおいて、画素信号を生成するために有効な画素が配置される領域を、フレームと呼ぶ。センサ１１は、複数の画素が配列された画素領域によって、１フレーム分の画像を撮像する。具体的には、フレームに含まれる各画素から出力された各画素信号に基づく画素データにより、フレーム画像データが形成される。また、センサ１１の画素の配列における各行をそれぞれラインと呼び、ラインに含まれる各画素から出力された画素信号に基づく画素データにより、ライン画像データが形成される。さらに、センサ１１が受光面に照射された光に応じた画素信号を出力する動作を、撮像と呼ぶ。センサ１１による撮像の際の露出や、画素信号に対するゲイン（アナログゲイン）は、センサ制御部１２から供給される撮像制御信号により制御される。
【0013】
センサ制御部１２は、例えばマイクロプロセッサにより構成され、センサ１１からの画素データの読み出しを制御し、フレームに含まれる各画素から読み出された各画素信号に基づく画素データを出力する。センサ制御部１２から出力された画素データは、データ処理部１３およびラインメモリ１４に渡される。
【0014】
また、センサ制御部１２は、センサ１１における撮像を制御するための撮像制御信号を生成する。センサ制御部１２は、撮像制御信号を生成する。撮像制御信号は、上述した、センサ１１における撮像の際の露出やアナログゲインを示す情報を含む。撮像制御信号は、さらに、センサ１１が撮像動作を行うために用いる制御信号（垂直同期信号、水平同期信号、など）を含む。センサ制御部１２は、生成した撮像制御信号をセンサ１１に供給する。
【0015】
データ処理部１３は、センサ制御部１２により読み出された画素データを受け付けると、当該画素データにデータ処理を実行し、画像を出力する。例えば、データ処理部１３は、ＡＩ処理部１５の第２処理部１５３から、検出枠情報を受け付けると、検出枠情報によってＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）が特定された画像を出力する。
【0016】
ラインメモリ１４は、ＡＩ処理部１５の第１処理部１５２に入力されるデータを、所定のライン単位で保持する。所定のライン単位は、例えばコンボリューション処理に用いられるフィルタ（カーネル）の行数分に対応するライン単位である。具体的には、例えば３ｘ３サイズのフィルタによるコンボリューション処理の場合、ラインメモリ１４は、画素領域から読み出された３ライン分の画素を、コンボリューション処理の実行単位のデータとして保持する。例えば、ラインメモリ１４は、フィルタの行数分に対応するラインの画素を、画素領域の読み出し開始位置から順番に記憶し、第１処理部１５２によって処理済み（用済み）の画素領域のラインの画素は、画素領域から新たに読み出されたラインの画素で更新することによって、コンボリューション処理の実行単位のデータを記憶（更新）する。
【0017】
ＡＩ処理部１５は、制御部１５１、第１処理部１５２および第２処理部１５３を備える。
【0018】
制御部１５１は、第１処理部１５２の動作を制御する。制御部１５１は、例えば第１処理部１５２によるコンボリューション処理および特徴量抽出処理の開始制御などを行う。制御部１５１は、例えば、コンボリューション処理の実行単位のデータがラインメモリ１４に記憶される度に、コンボリューション処理を実行するように、第１処理部１５２の動作を制御する。
【0019】
第１処理部１５２は、１フレーム分の画像単位ではなく、センサ１１の画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、当該コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する。なお、特徴量抽出処理は任意でよい。特徴量抽出処理は、例えば、マックスプ―リング処理及びアベレージプーリング処理等である。第１の実施形態では、特徴量抽出処理が、マックスプ―リング処理である場合を例にして説明する。
【0020】
第２処理部１５３は、第１処理部１５２による特徴量抽出処理の結果に基づいて全結合処理を実行し、当該全結合処理の結果に基づく推論結果（画像認識結果）を出力する。
【0021】
パラメータメモリ１６は、ＡＩ処理部１５で実行される処理に用いられるパラメータを記憶する。
【0022】
撮像装置１における上述の各処理を実行する各処理部は、例えば回路によって実現される。撮像装置１を回路によって実現する場合、例えば、撮像装置１は、１つの基板上に形成することができる。また例えば、撮像装置１を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。
【0023】
一例として、撮像装置１を半導体チップを２層に積層した２層構造により形成することができる。図２Ａは、第１の実施形態に係る撮像装置１を２層構造の積層型ＣＩＳにより形成した例を示す図である。図２Ａの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０ｂを形成している。画素部２０ａは、少なくともセンサ１１における画素アレイを含む。メモリ＋ロジック部２０ｂは、例えば、センサ制御部１２、データ処理部１３、ラインメモリ１４、ＡＩ処理部１５およびパラメータメモリ１６と、撮像装置１と外部との通信を行うためのインタフェースと、を含む。メモリ＋ロジック部２０ｂは、さらに、センサ１１における画素アレイを駆動する駆動回路の一部または全部を含む。
【0024】
図２Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１を１つの固体撮像素子（イメージセンサ）２ａとして構成する。
【0025】
別の例として、撮像装置１を、半導体チップを３層に積層した３層構造により形成することができる。図２Ｂは、第１の実施形態に係る撮像装置１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図２Ｂの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ部２０ｃを形成し、第３層の半導体チップにロジック部２０ｂ’を形成している。この場合、ロジック部２０ｂ’は、例えば、データ処理部１３、ラインメモリ１４、ＡＩ処理部１５およびパラメータメモリ１６と、撮像装置１と外部との通信を行うためのインタフェースと、を含む。
【0026】
図２Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１を１つの固体撮像素子２ｂとして構成する。
【0027】
なお、図１に示す撮像装置１の各処理部の一部をソフトウェア（プログラム）により実現してもよい。例えば、ＡＩ処理部１５を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサによって、プログラムを実行させることによって実現させてもよい。
【0028】
実施形態の撮像装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
【0029】
また実施形態の撮像装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の撮像装置１で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
【0030】
また実施形態の撮像装置１のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【0031】
また複数のプロセッサを用いて各処理部を実現する場合、各プロセッサは、１つの処理部を実現してもよいし、複数の処理部を実現してもよい。
【0032】
図３は、第１の実施形態に適用可能なセンサ１１の一例の構成を示すブロック図である。図３において、センサ１１は、画素アレイ部１０１と、垂直走査部１０２と、ＡＤ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換部１０３と、画素信号線１０６と、垂直信号線ＶＳＬと、制御部１１００と、信号処理部１１０１と、を含む。なお、図３において、制御部１１００および信号処理部１１０１は、例えば図１に示したセンサ制御部１２に含まれるものとすることもできる。
【0033】
画素アレイ部１０１は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路１００を含む。画素アレイ部１０１において、複数の画素回路１００は、水平方向（行方向）および垂直方向（列方向）に行列状の配列で配置される。画素アレイ部１０１において、画素回路１００の行方向の並びをラインと呼ぶ。例えば、１９２０画素×１０８０ラインで１フレームの画像が形成される場合、センサ１１は、少なくとも１９２０個の画素回路１００が含まれるラインを、少なくとも１０８０ライン、含む。フレームに含まれる画素回路１００から読み出された画素信号により、１フレームの画像（画像データ）が形成される。
【0034】
以下、センサ１１においてフレームに含まれる各画素回路１００から画素信号を読み出す動作を、適宜、フレームから画素を読み出す、などのように記述する。また、フレームに含まれるラインが有する各画素回路１００から画素信号を読み出す動作を、適宜、ラインを読み出す、などのように記述する。
【0035】
また、画素アレイ部１０１には、各画素回路１００の行および列に対し、行毎に画素信号線１０６が接続され、列毎に垂直信号線ＶＳＬが接続される。画素信号線１０６のセンサ１１と接続されない端部は、垂直走査部１０２に接続される。垂直走査部１０２は、後述する制御部１１００の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１０６を介して画素アレイ部１０１へ伝送する。垂直信号線ＶＳＬの画素アレイ部１０１と接続されない端部は、ＡＤ変換部１０３に接続される。画素から読み出された画素信号は、垂直信号線ＶＳＬを介してＡＤ変換部１０３に伝送される。
【0036】
画素回路１００からの画素信号の読み出し制御について、概略的に説明する。画素回路１００からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。
【0037】
より具体的には、画素回路１００において、露出中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線１０６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線１０６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ａとする）が出力される。その後、画素信号線１０６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｂとする）が出力される。
【0038】
ＡＤ変換部１０３は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器１０７と、参照信号生成部１０４と、水平走査部１０５と、を含む。ＡＤ変換器１０７は、画素アレイ部１０１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１０７は、垂直信号線ＶＳＬを介して画素回路１００から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理のための２つのディジタル値（電圧Ａおよび電圧Ｂにそれぞれ対応する値）を生成する。
【0039】
ＡＤ変換器１０７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成された画素データは、センサ１１の外部に出力される。
【0040】
参照信号生成部１０４は、制御部１１００から入力される制御信号に基づき、各ＡＤ変換器１０７が画素信号を２つのディジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１０４は、生成したランプ信号を、各ＡＤ変換器１０７に供給する。参照信号生成部１０４は、例えばＤＡＣ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）などを用いて構成される。
【0041】
参照信号生成部１０４から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線ＶＳＬから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。ＡＤ変換器１０７は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、デジタル値に変換する。
【0042】
ＡＤ変換器１０７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成されたディジタル信号による画素信号は、センサ１１の外部に出力される。
【0043】
水平走査部１０５は、制御部１１００の制御の下、各ＡＤ変換器１０７を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１０７が一時的に保持している各ディジタル値を信号処理部１１０１へ順次出力させる。水平走査部１０５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
【0044】
制御部１１００は、センサ制御部１２から供給される撮像制御信号に従い、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５などの駆動制御を行う。制御部１１００は、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５の動作の基準となる各種の駆動信号を生成する。制御部１１００は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１０２が画素信号線１０６を介して各画素回路１００に供給するための制御信号を生成する。制御部１１００は、生成した制御信号を垂直走査部１０２に供給する。
【0045】
また、制御部１１００は、例えば、センサ制御部１２から供給される撮像制御信号に含まれる、アナログゲインを示す情報をＡＤ変換部１０３に渡す。ＡＤ変換部１０３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１０３に含まれる各ＡＤ変換器１０７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。
【0046】
垂直走査部１０２は、制御部１１００から供給される制御信号に基づき、画素アレイ部１０１の選択された画素行の画素信号線１０６に駆動パルスを含む各種信号を、ライン毎に各画素回路１００に供給し、各画素回路１００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部１０２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部１０２は、制御部１１００から供給される露出を示す情報に応じて、各画素回路１００における露出を制御する。
【0047】
このように構成されたセンサ部１０は、ＡＤ変換器１０７が列毎に配置されたカラムＡＤ方式のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。
【0048】
［２．本開示に適用可能な技術の例］
本開示に係る第１の実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な技術について、概略的に説明する。
本開示に係る第１の実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な技術について、概略的に説明する。
【0049】
（２－１．ローリングシャッタの概要）
画素アレイ部１０１による撮像を行う際の撮像方式として、ローリングシャッタ（ＲＳ）方式と、グローバルシャッタ（ＧＳ）方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図４Ａ、図４Ｂおよび図４Ｃは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図４Ａに示されるように、フレーム２００の例えば上端のライン２０１からライン単位で順に撮像を行う。
画素アレイ部１０１による撮像を行う際の撮像方式として、ローリングシャッタ（ＲＳ）方式と、グローバルシャッタ（ＧＳ）方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図４Ａ、図４Ｂおよび図４Ｃは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図４Ａに示されるように、フレーム２００の例えば上端のライン２０１からライン単位で順に撮像を行う。
【0050】
なお、上述では、「撮像」を、センサ１１が受光面に照射された光に応じた画素信号を出力する動作を指す、と説明した。より詳細には、「撮像」は、画素において露出を行い、画素に含まれる光電変換素子に露出により蓄積された電荷に基づく画素信号を、データ処理部１３及びラインメモリ１４に転送するまでの一連の動作を指すものとする。また、１フレーム分の画像は、画素アレイ部１０１において、画素信号を生成するために有効な画素領域によって撮像される。
【0051】
例えば、図３の構成において、１つのラインに含まれる各画素回路１００において露出を同時に実行する。露出の終了後、露出により蓄積された電荷に基づく画素信号を、当該ラインに含まれる各画素回路１００において一斉に、各画素回路１００に対応する各垂直信号線ＶＳＬを介してそれぞれ転送する。この動作をライン単位で順次に実行することで、ローリングシャッタによる撮像を実現することができる。
【0052】
図４Ｂは、ローリングシャッタ方式における撮像と時間との関係の例を模式的に示している。図４Ｂにおいて、縦軸はライン位置、横軸は時間を示す。ローリングシャッタ方式では、各ラインにおける露出がライン順次で行われるため、図４Ｂに示すように、各ラインにおける露出のタイミングがラインの位置に従い順にずれることになる。したがって、例えば撮像装置１と被写体との水平方向の位置関係が高速に変化する場合、図４Ｃに例示されるように、撮像されたフレーム２００の画像に歪みが生じる。図４Ｃの例では、フレーム２００に対応する画像２０２が、撮像装置１と被写体との水平方向の位置関係の変化の速度および変化の方向に応じた角度で傾いた画像となっている。
【0053】
ローリングシャッタ方式において、ラインを間引きして撮像することも可能である。図５Ａ、図５Ｂおよび図５Ｃは、ローリングシャッタ方式におけるライン間引きを説明するための模式図である。図５Ａに示されるように、上述した図４Ａの例と同様に、フレーム２００の上端のライン２０１からフレーム２００の下端に向けてライン単位で撮像を行う。このとき、所定数毎にラインを読み飛ばしながら撮像を行う。
【0054】
ここでは、説明のため、１ライン間引きにより１ラインおきに撮像を行うものとする。すなわち、第ｎラインの撮像の次は第（ｎ＋２）ラインの撮像を行う。このとき、第ｎラインの撮像から第（ｎ＋２）ラインの撮像までの時間が、間引きを行わない場合の、第ｎラインの撮像から第（ｎ＋１）ラインの撮像までの時間と等しいものとする。
【0055】
図５Ｂは、ローリングシャッタ方式において１ライン間引きを行った場合の撮像と時間との関係の例を模式的に示している。図５Ｂにおいて、縦軸はライン位置、横軸は時間を示す。図５Ｂにおいて、露出Ａは、間引きを行わない図４Ｂの露出と対応し、露出Ｂは、１ライン間引きを行った場合の露出を示している。露出Ｂに示すように、ライン間引きを行うことにより、ライン間引きを行わない場合に比べ、同じライン位置での露出のタイミングのズレを短縮することができる。したがって、図５Ｃに画像２０３として例示されるように、撮像されたフレーム２００の画像に生ずる傾き方向の歪が、図４Ｃに示したライン間引きを行わない場合に比べ小さくなる。一方で、ライン間引きを行う場合には、ライン間引きを行わない場合に比べ、画像の解像度が低くなる。
【0056】
上述では、ローリングシャッタ方式においてフレーム２００の上端から下端に向けてライン順次に撮像を行う例について説明したが、これはこの例に限定されない。図６Ａおよび図６Ｂは、ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。例えば、図６Ａに示されるように、ローリングシャッタ方式において、フレーム２００の下端から上端に向けてライン順次の撮像を行うことができる。この場合は、フレーム２００の上端から下端に向けてライン順次に撮像した場合に比べ、画像２０２の歪の水平方向の向きが逆となる。
【0057】
また、例えば画素信号を転送する垂直信号線ＶＳＬの範囲を設定することで、ラインの一部を選択的に読み出すことも可能である。さらに、撮像を行うラインと、画素信号を転送する垂直信号線ＶＳＬと、をそれぞれ設定することで、撮像を開始および終了するラインを、フレーム２００の上端および下端以外とすることも可能である。図６Ｂは、幅および高さがフレーム２００の幅および高さにそれぞれ満たない矩形の領域２０５を撮像の範囲とした例を模式的に示している。図６Ｂの例では、領域２０５の上端のライン２０４からライン順次で領域２０５の下端に向けて撮像を行っている。
【0058】
（２－２．グローバルシャッタの概要）
次に、センサ１１による撮像を行う際の撮像方式として、グローバルシャッタ（ＧＳ）方式について、概略的に説明する。図７Ａ、図７Ｂおよび図７Ｃは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図７Ａに示されるように、フレーム２００に含まれる全画素回路１００で同時に露出を行う。
次に、センサ１１による撮像を行う際の撮像方式として、グローバルシャッタ（ＧＳ）方式について、概略的に説明する。図７Ａ、図７Ｂおよび図７Ｃは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図７Ａに示されるように、フレーム２００に含まれる全画素回路１００で同時に露出を行う。
【0059】
図３の構成においてグローバルシャッタ方式を実現する場合、一例として、各画素回路１００において光電変換素子とＦＤとの間にキャパシタをさらに設けた構成とすることが考えられる。そして、光電変換素子と当該キャパシタとの間に第１のスイッチを、当該キャパシタと浮遊拡散層との間に第２のスイッチをそれぞれ設け、これら第１および第２のスイッチそれぞれの開閉を、画素信号線１０６を介して供給されるパルスにより制御する構成とする。
【0060】
このような構成において、露出期間中は、フレーム２００に含まれる全画素回路１００において、第１および第２のスイッチをそれぞれ開、露出終了で第１のスイッチを開から閉として光電変換素子からキャパシタに電荷を転送する。以降、キャパシタを光電変換素子と見做して、ローリングシャッタ方式において説明した読み出し動作と同様のシーケンスにて、キャパシタから電荷を読み出す。これにより、フレーム２００に含まれる全画素回路１００において同時の露出が可能となる。
【0061】
図７Ｂは、グローバルシャッタ方式における撮像と時間との関係の例を模式的に示している。図７Ｂにおいて、縦軸はライン位置、横軸は時間を示す。グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００において同時に露出が行われるため、図７Ｂに示すように、各ラインにおける露出のタイミングを同一にできる。したがって、例えば撮像装置１と被写体との水平方向の位置関係が高速に変化する場合であっても、図７Ｃに例示されるように、撮像されたフレーム２００の画像２０６には、当該変化に応じた歪が生じない。
【0062】
グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００における露出タイミングの同時性を確保できる。そのため、各ラインの画素信号線１０６により供給する各パルスのタイミングと、各垂直信号線ＶＳＬによる転送のタイミングとを制御することで、様々なパターンでのサンプリング（画素信号の読み出し）を実現できる。
【0063】
図８Ａおよび図８Ｂは、グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。図８Ａは、フレーム２００に含まれる、行列状に配列された各画素回路１００から、画素信号を読み出すサンプル２０８を市松模様状に抽出する例である。また、図８Ｂは、当該各画素回路１００から、画素信号を読み出すサンプル２０８を格子状に抽出する例である。また、グローバルシャッタ方式においても、上述したローリングシャッタ方式と同様に、ライン順次で撮像を行うことができる。
【0064】
（２－３．ＤＮＮについて）
次に、第１の実施形態に適用可能なＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた認識処理について、概略的に説明する。第１の実施形態では、ＤＮＮのうち、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
次に、第１の実施形態に適用可能なＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた認識処理について、概略的に説明する。第１の実施形態では、ＤＮＮのうち、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
【0065】
（２－３－１．ＣＮＮの概要）
先ず、ＣＮＮについて、概略的に説明する。ＣＮＮによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図９は、ＣＮＮによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「８」を描画した画像５０の全体の画素情報５１に対して、所定に学習されたＣＮＮ５２による処理を施す。これにより、認識結果５３として数字の「８」が認識される。
先ず、ＣＮＮについて、概略的に説明する。ＣＮＮによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図９は、ＣＮＮによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「８」を描画した画像５０の全体の画素情報５１に対して、所定に学習されたＣＮＮ５２による処理を施す。これにより、認識結果５３として数字の「８」が認識される。
【0066】
これに対して、ライン毎の画像に基づきＣＮＮによる処理を施し、認識対象の画像の一部から認識結果を得ることも可能である。図１０は、この認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。図１０において、画像５０’は、認識対象のオブジェクトである数字の「８」を、ライン単位で部分的に取得したものである。この画像５０’の画素情報５１’を形成する例えばライン毎の画素情報５４ａ、５４ｂおよび５４ｃに対して順次、所定に学習されたＣＮＮ５２’による処理を施す。
【0067】
例えば、第１ライン目の画素情報５４ａに対するＣＮＮ５２’による認識処理で得られた認識結果５３ａは、有効な認識結果ではなかったものとする。ここで、有効な認識結果とは、例えば、認識された結果に対する信頼度を示すスコアが所定以上の認識結果を指す。ＣＮＮ５２’は、この認識結果５３ａに基づき内部状態の更新５５を行う。次に、第２ライン目の画素情報５４ｂに対して、前回の認識結果５３ａにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１０では、その結果、認識対象の数字が「８」または「９」の何れかであることを示す認識結果５３ｂが得られている。さらに、この認識結果５３ｂに基づき、ＣＮＮ５２’の内部情報の更新５５を行う。次に、第３ライン目の画素情報５４ｃに対して、前回の認識結果５３ｂにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１０では、その結果、認識対象の数字が、「８」または「９」のうち「８」に絞り込まれる。
【0068】
ここで、この図１０に示した認識処理は、前回の認識処理の結果を用いてＣＮＮの内部状態を更新し、この内部状態が更新されたＣＮＮにより、前回の認識処理を行ったラインに隣接するラインの画素情報を用いて認識処理を行っている。すなわち、この図１０に示した認識処理は、画像に対してライン順次に、ＣＮＮの内部状態を前回の認識結果に基づき更新しながら実行されている。したがって、図１０に示す認識処理は、ライン順次に再帰的に実行される処理であり、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に相当する構造を有していると考えることができる。
【0069】
（２－４．駆動速度について）
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図１１Ａおよび図１１Ｂを用いて説明する。図１１Ａは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平６４０画素×垂直４８０画素（４８０ライン）であるものとする。この場合、１４４００［ライン／秒］の駆動速度で駆動することで、３０［ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）］での出力が可能となる。
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図１１Ａおよび図１１Ｂを用いて説明する。図１１Ａは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平６４０画素×垂直４８０画素（４８０ライン）であるものとする。この場合、１４４００［ライン／秒］の駆動速度で駆動することで、３０［ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）］での出力が可能となる。
【0070】
次に、ラインを間引いて撮像を行うことを考える。例えば、図１１Ｂに示すように、１ラインずつ読み飛ばして撮像を行う、１／２間引き読み出しにて撮像を行うものとする。１／２間引きの第１の例として、上述と同様に１４４００［ライン／秒］の駆動速度で駆動する場合、画像から読み出すライン数が１／２になるため、解像度は低下するが、間引きを行わない場合の倍の速度の６０［ｆｐｓ］での出力が可能となり、フレームレートを向上できる。１／２間引きの第２の例として、駆動速度を第１の例の半分の７２００［ｆｐｓ］として駆動する場合、フレームレートは間引かない場合と同様に３０［ｆｐｓ］となるが、省電力化が可能となる。
【0071】
画像のラインを読み出す際に、間引きを行わないか、間引きを行い駆動速度を上げるか、間引きを行い駆動速度を間引きを行わない場合と同一とするか、は、例えば、読み出した画素信号に基づく認識処理の目的などに応じて選択することができる。
【0072】
［３．本開示の概要］
以下、本開示の第１の実施形態について、より詳細に説明する。先ず、本開示の第１の実施形態に係る処理について、従来と比較しながら概略的に説明する。
以下、本開示の第１の実施形態について、より詳細に説明する。先ず、本開示の第１の実施形態に係る処理について、従来と比較しながら概略的に説明する。
【0073】
（３－１．第１の実施形態）
図１２は、従来の画像認識機能の処理時間の例を示す図である。図１３は、従来の画像認識機能に必要なメモリ領域の例を示す図である。図１３に示すように、従来のＣＮＮは、ネットワークに１枚のフレーム画像を入力していた。イメージセンサは１～数ライン単位でデータを読み出す。そのため、図１２に示すように、フレーム画像が得られるまでフレームバッファに貯えて待つ必要があった。従来は、フレームバッファが必要になることで、イメージセンサの限られた領域を圧迫する問題が発生していた。また、１フレーム分のデータが貯まるまで処理が開始できないことで、レイテンシが大きくなる問題が発生していた。
図１２は、従来の画像認識機能の処理時間の例を示す図である。図１３は、従来の画像認識機能に必要なメモリ領域の例を示す図である。図１３に示すように、従来のＣＮＮは、ネットワークに１枚のフレーム画像を入力していた。イメージセンサは１～数ライン単位でデータを読み出す。そのため、図１２に示すように、フレーム画像が得られるまでフレームバッファに貯えて待つ必要があった。従来は、フレームバッファが必要になることで、イメージセンサの限られた領域を圧迫する問題が発生していた。また、１フレーム分のデータが貯まるまで処理が開始できないことで、レイテンシが大きくなる問題が発生していた。
【0074】
すなわち、従来は、各層の入力データであるフレームデータが確定してから処理を開始し、当該処理終の確定した値を次の層へ送ることを繰り返す構成になっていた。
【0075】
図１４は、第１の実施形態の画像認識機能の処理時間の例を示す図である。図１５は、第１の実施形態の画像認識機能に必要なメモリ領域の例を示す図である。第１の実施形態では、各層で処理が完結してから次の層の処理に進んでいた従来技術と違い、次の層に必要なデータが貯まったタイミングで処理を行い、また前の層に戻って処理する点で従来と大きく異なる。なお、第１の実施形態の処理の詳細は、図１６Ａ～１６Ｌを参照して後述する。
【0076】
実現手段としては、図１３及び１５のバッファ３００の値さえ変わらなければ、途中の処理をライン単位に分解しても、従来のフレームベースの処理と等価な処理が実現できる。そのため、第１の実施形態では、バッファ３００だけをフレームバッファとして残しておき（とはいえ１ｐｉｘまで圧縮されたピクセルバッファになることが多い）、その前の層のデータを記憶するバッファは必要最小限のラインバッファに置き換える。
【0077】
ライン単位で分解されたデータは逐次処理されて次層に送られ、バッファ３００に暫定値として保存される。バッファ３００は更新を続け、最終ラインの処理が終わったタイミング（図１４の★）で値が確定する。★タイミングでのバッファ３００の値はフレームベースの処理とラインベースの処理とで同じになるため、全結合層の処理結果もフレームベースの処理と一致する。これによって、ライン単位に分解しても、従来のフレームベースの処理と等価な処理が実現できる。
【0078】
図１６Ａ～１６Ｌは、第１の実施形態のコンボリューション処理およびマックスプ―リング処理の例を示す図である。図１６Ａ～１６Ｌの例では、１層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、２層目が、２ｘ２サイズの領域を対象にするＭａｘＰｏｏｌｉｎｇ処理であり、３層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、４層目が、２ｘ２サイズの領域を対象にするＭａｘＰｏｏｌｉｎｇ処理である。
【0079】
図１６Ａは、初期状態（データは初期値で空の状態）を示す。
【0080】
図１６Ｂは、第１処理部１５２による１層１行目用の処理の入力が確定した状態を示す。第１処理部１５２は、ラインメモリ１４から、１層目の処理用のデータを読み出す。
【0081】
図１６Ｃは、第１処理部１５２による１層１行目用の処理が完了した状態を示す。
【0082】
図１６Ｄは、第１処理部１５２による２層１行目の処理の暫定状態を示す。第１処理部１５２は、１層１行目の最大値を暫定値として２層１行目に保持する。
【0083】
図１６Ｅは、第１処理部１５２による１層２行目の処理の入力が確定した状態を示す。第１処理部１５２は、３ｘ３サイズのフィルタによる次のコンボリューション処理用に、ラインメモリ１４から追加の１行を読み出す。
【0084】
図１６Ｆは、第１処理部１５２による１層２行目の処理が完了した状態を示す。
【0085】
図１６Ｇは、第１処理部１５２による２層１行目の処理が完了した状態を示す。第１処理部１５２は、１層２行目と２層１行目とを比較して最大値を確定させ、２層１行目の処理を完了させる。
【0086】
【0087】
図１６Ｉは、第１処理部１５２による３層１行目の処理が完了した状態を示す。第１処理部１５２は、２層３行分のデータが揃うので、３ｘ３サイズのフィルタによる３層目のコンボリューション処理を実行し、３層１行目の処理を完了させる。
【0088】
図１６Ｊは、第１処理部１５２による４層目の処理の暫定状態を示す。第１処理部１５２は、３層１行目の最大値を暫定値として４層目に保持する。
【0089】
【0090】
図１６Ｌは、第１処理部１５２による４層目の処理が完了した状態を示す。第１処理部１５２は、３層２行目と４層目とを比較して最大値を確定させ、４層目の処理を完了させる。
【0091】
図１６Ａ～１６Ｌのように、ラインベースで処理を実行する方法には、２つの方法がある。コンボリューション処理のフィルタサイズ分のラインメモリ１４を確保する方法と、さらに、コンボリューション処理のフィルタサイズ分のラインメモリ１４を１ライン単位に分解する方法である。第１の実施形態では、コンボリューション処理のフィルタサイズ分のラインメモリ１４を確保する方法について説明する。なお、コンボリューション処理のフィルタサイズ分のラインメモリ１４を１ライン単位に分解する方法は、第２の実施形態で説明する。
【0092】
図１７は、第１の実施形態の処理の分解例（コンボリューション単位の場合）を示す図である。例えば、３ｘ３サイズのフィルタによるコンボリューションを行う場合、入力は３ライン分のデータがあれば実現できる。第１の実施形態では、ラインメモリ１４が、センサデータを３ライン確保する。第１処理部１５２は、コンボリューション処理を実行した後は、ラインメモリ１４をクリアし、ラインメモリ１４に次の３ラインが貯まったら、またコンボリューション処理を実行する。ラインメモリ１４を使い回すことでメモリの節約ができる。
【0093】
図１８は、第１の実施形態の処理の例１を示す図である。図１８の例では、入力データは、４×４サイズであり、１層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、２層目が、２ｘ２サイズの領域を対象にするＭａｘＰｏｏｌｉｎｇ処理である。図１８の例では、コンボリューション処理入力用のメモリ（図１の構成例では、ラインメモリ１４）が必要になる。また、ＭａｘＰｏｏｌｉｎｇ処理の暫定最大値（ｐｒｅ Ｍａｘ）を保持する必要があるため、プ―リング出力用のメモリ（バッファ）が必要になる。
【0094】
図１８の例では、例えば、コンボリューション処理の出力ｏ００は、ｉ００＊ｆ００＋ｉ０１＊ｆ０１＋ｉ０２＊ｆ０２＋ｉ１０＊ｆ１０＋ｉ１１＊ｆ１１＋ｉ１２＊ｆ１２＋ｉ２０＊ｆ２０＋ｉ２１＊ｆ２１＋ｉ２２＊ｆ２２により計算される。また例えば、コンボリューション処理の出力ｏ０１は、ｉ０１＊ｆ００＋ｉ０２＊ｆ０１＋ｉ０３＊ｆ０２＋ｉ１１＊ｆ１０＋ｉ１２＊ｆ１１＋ｉ１３＊ｆ１２＋ｉ２１＊ｆ２０＋ｉ２２＊ｆ２１＋ｉ２３＊ｆ２２により計算される。
【0095】
図１９は、第１の実施形態の処理の例２を示す図である。図１９の例では、入力データは、６×６サイズであり、１層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、２層目が、２ｘ２サイズの領域を対象にするＭａｘＰｏｏｌｉｎｇ処理である。図１９の例では、コンボリューション処理入力用のメモリ（図１の構成例では、ラインメモリ１４）が必要になる。また、ＭａｘＰｏｏｌｉｎｇ処理の暫定最大値（ｐｒｅ Ｍａｘ）を保持する必要があるため、プ―リング出力用のメモリ（バッファ）が必要になる。
【0096】
図２０は、第１の実施形態の処理の例３を示す図である。図１９の例では、入力データは、６×６サイズであり、１層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、２層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、３層目が、２ｘ２サイズの領域を対象にするＭａｘＰｏｏｌｉｎｇ処理である。図２０の例では、１層目のコンボリューション処理入力用のメモリ（図１の構成例では、ラインメモリ１４）が必要になる。また、２層目のコンボリューション処理入力用のメモリ（バッファ）が必要になる。また、ＭａｘＰｏｏｌｉｎｇ処理の暫定最大値（ｐｒｅ Ｍａｘ）を保持する必要があるため、プ―リング出力用のメモリ（バッファ）が必要になる。
【0097】
図１８乃至２０に示すように、画像認識機能に必要なメモリ領域を、従来のフレームベースの処理に比べて削減することができる。なお、従来のフレームベースの処理では、１層毎に処理が完結するため、コンボリューション処理及びマックスプ―リング処理の入力用のメモリ（前の層の処理結果出力用のメモリ）を使い回すことも可能だが、ワースト使用量のメモリ領域として、少なくとも１フレーム分のメモリ領域が必要になる。
【0098】
以上、説明したように、第１の実施形態では、センサ１１が、複数の画素が配列された画素領域によって、１フレーム分の画像を撮像する。第１処理部１５２が、１フレーム分の画像単位ではなく、画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する。そして、第２処理部１５３が、特徴量抽出処理の結果に基づいて全結合処理を実行し、全結合処理の結果に基づく推論結果を出力する。
【0099】
これにより第１の実施形態によれば、画像認識機能実現に伴う処理時間やメモリ領域を抑制することができる。
【0100】
（３－２．第２の実施形態）
次に第２の実施形態について説明する。第２の実施形態の説明では、第１の実施形態と同様の説明については省略し、第１の実施形態と異なる箇所について説明する。第２の実施形態では、コンボリューション処理のフィルタサイズ分のラインメモリ１４を１ライン単位（１ライン分の画素単位）に分解する方法について説明する。
次に第２の実施形態について説明する。第２の実施形態の説明では、第１の実施形態と同様の説明については省略し、第１の実施形態と異なる箇所について説明する。第２の実施形態では、コンボリューション処理のフィルタサイズ分のラインメモリ１４を１ライン単位（１ライン分の画素単位）に分解する方法について説明する。
【0101】
図２１は、第２の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図２１において、撮像装置１は、センサ１１と、センサ制御部１２と、データ処理部１３と、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）処理部１５と、パラメータメモリ１６と、を含む。第２の実施形態では、ラインメモリ１４を１ライン単位に分解するため、コンボリューション処理のフィルタサイズ分のデータを保持する必要がないので、ラインメモリ１４なしで実現できる。
【0102】
図２２は、第２の実施形態の処理の分解例（１ライン単位の場合）を示す図である。例えば、３ｘ３サイズのフィルタによるコンボリューションを行う場合、第１の実施形態では、ラインメモリ１４が、センサデータを３ライン確保していたが（図１７参照）、第２の実施形態では、図２２に示すように、さらに１ライン単位に分解する。コンボリューション処理を複数回続ける場合は処理が複雑になるが、ネットワーク次第では、第１の実施形態で説明したコンボリューション単位の処理方法（コンボリューション処理のフィルタサイズ分のラインメモリ１４を確保する方法）よりも、更なるメモリ削減が可能となる。例えば、コンボリューション処理を複数回続けた後、マックスプ―リング処理を行うネットワークなどでは、更なるメモリ削減が可能となる。
【0103】
図２３は、第２の実施形態の処理の例１を示す図である。図２３の例では、入力データは、４×４サイズであり、１層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、２層目が、２ｘ２サイズの領域を対象にするＭａｘＰｏｏｌｉｎｇ処理である。図２３の例では、コンボリューション処理入力用のメモリが不要になるが、１ライン単位で実行されたコンボリューション処理を積算する必要があるため、１ライン単位で実行されたコンボリューション処理結果を保持するメモリ（バッファ）が必要になる。また、ＭａｘＰｏｏｌｉｎｇ処理の暫定最大値（ｐｒｅ Ｍａｘ）を保持する必要があるため、プ―リング出力用のメモリ（バッファ）が必要になる。
【0104】
図２３の例では、例えば、１ライン単位に分解されたコンボリューション処理の出力ｏ０００、ｏ００１、ｏ１００、ｏ１０１、ｏ０１０およびｏ０１１は、下記のように計算される。
ｏ０００＝ｉ００＊ｆ００＋ｉ０１＊ｆ０１＋ｉ０２＊ｆ０２
ｏ００１＝ｉ０１＊ｆ００＋ｉ０２＊ｆ０１＋ｉ０３＊ｆ０２
ｏ１００＝ｉ１０＊ｆ１０＋ｉ１１＊ｆ１１＋ｉ１２＊ｆ１２
ｏ１０１＝ｉ１１＊ｆ１０＋ｉ１２＊ｆ１１＋ｉ１３＊ｆ１２
ｏ０１０＝ｉ１０＊ｆ００＋ｉ１１＊ｆ０１＋ｉ１２＊ｆ０２
ｏ０１１＝ｉ１１＊ｆ００＋ｉ１２＊ｆ０１＋ｉ１３＊ｆ０２
ｏ０００＝ｉ００＊ｆ００＋ｉ０１＊ｆ０１＋ｉ０２＊ｆ０２
ｏ００１＝ｉ０１＊ｆ００＋ｉ０２＊ｆ０１＋ｉ０３＊ｆ０２
ｏ１００＝ｉ１０＊ｆ１０＋ｉ１１＊ｆ１１＋ｉ１２＊ｆ１２
ｏ１０１＝ｉ１１＊ｆ１０＋ｉ１２＊ｆ１１＋ｉ１３＊ｆ１２
ｏ０１０＝ｉ１０＊ｆ００＋ｉ１１＊ｆ０１＋ｉ１２＊ｆ０２
ｏ０１１＝ｉ１１＊ｆ００＋ｉ１２＊ｆ０１＋ｉ１３＊ｆ０２
【0105】
図２４は、第２の実施形態の処理の例２を示す図である。図２４の例では、入力データは、６×６サイズであり、１層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、２層目が、２ｘ２サイズの領域を対象にするＭａｘＰｏｏｌｉｎｇ処理である。図２４の例では、コンボリューション処理入力用のメモリが不要になるが、１ライン単位で実行されたコンボリューション処理を積算する必要があるため、１ライン単位で実行されたコンボリューション処理結果を保持するメモリ（バッファ）が必要になる。また、ＭａｘＰｏｏｌｉｎｇ処理の暫定最大値（ｐｒｅ Ｍａｘ）を保持する必要があるため、プ―リング出力用のメモリ（バッファ）が必要になる。
【0106】
図２５は、第２の実施形態の処理の例３を示す図である。図２５の例では、入力データは、６×６サイズであり、１層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、２層目が、３ｘ３サイズのフィルタによるコンボリューション処理であり、３層目が、２ｘ２サイズの領域を対象にするＭａｘＰｏｏｌｉｎｇ処理である。図２５の例では、１層目及び２層目のコンボリューション処理入力用のメモリが不要になるが、１ライン単位で実行されたコンボリューション処理を積算する必要があるため、１ライン単位で実行されたコンボリューション処理結果を保持するメモリ（バッファ）が必要になる。また、ＭａｘＰｏｏｌｉｎｇ処理の暫定最大値（ｐｒｅ Ｍａｘ）を保持する必要があるため、プ―リング出力用のメモリ（バッファ）が必要になる。
【0107】
図２３乃至２５に示すように、第２の実施形態の１ライン単位の処理方法では、画像認識機能に必要なメモリ領域を、第１の実施形態で説明したコンボリューション単位の処理方法に比べて更に削減することができる。
【0108】
（３－３．第１及び第２の実施形態の効果の例）
図２６は、第１及び第２の実施形態の効果の例１について説明するための図である。処理チャネル数を上げて、コンボリューション処理とマックスプ―リング処理とを、１ライン分の処理内に収めることができた場合、読み出し終了と共に全結合処理に移ることができる。すなわち、並列化次第では読み出し中にコンボリューション処理とマックスプ―リング処理とを終えて、読み出し直後から全結合処理を開始することが可能になる。これは、従来のフレームベースの処理（図１２及び１３参照）では、できないメリットであり、高速な検出・識別が可能になるので、例えば高速動体の検出・識別に好適である。
図２６は、第１及び第２の実施形態の効果の例１について説明するための図である。処理チャネル数を上げて、コンボリューション処理とマックスプ―リング処理とを、１ライン分の処理内に収めることができた場合、読み出し終了と共に全結合処理に移ることができる。すなわち、並列化次第では読み出し中にコンボリューション処理とマックスプ―リング処理とを終えて、読み出し直後から全結合処理を開始することが可能になる。これは、従来のフレームベースの処理（図１２及び１３参照）では、できないメリットであり、高速な検出・識別が可能になるので、例えば高速動体の検出・識別に好適である。
【0109】
図２７は、第１及び第２の実施形態の効果の例２について説明するための図である。コンボリューション処理とマックスプ―リング処理とが、１ライン分の処理内に収まらない場合は、ラインデータをフレーム単位でずらして取得する方法が考えられる。静止物や動きの遅い対象であれば、フレームが変わっても差分は小さいため、この方法でも検出・識別は可能になる。コンボリューション処理とマックスプ―リング処理とを、１ライン分の処理内に収める必要がない場合、処理チャネル数を上げる必要がないため、回路規模を小さくすることができる。
【0110】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0111】
なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサと、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部と、
を備える撮像装置。
（２）
前記所定のライン単位は、前記コンボリューション処理に用いられるフィルタの行数分に対応するライン単位であり、
前記フィルタの行数分に対応するラインの画素を、前記コンボリューション処理の実行単位のデータとして記憶するラインメモリを更に備え、
前記第１処理部は、前記コンボリューション処理の実行単位のデータが前記ラインメモリに記憶される度に、前記コンボリューション処理を実行する、
（１）に記載の撮像装置。
（３）
前記ラインメモリは、前記フィルタの行数分に対応するラインの画素を、前記画素領域の読み出し開始位置から順番に記憶し、前記第１処理部によって処理済みの前記画素領域のラインの画素は、前記画素領域から新たに読み出されたラインの画素で更新することによって、前記コンボリューション処理の実行単位のデータを記憶する、
（２）に記載の撮像装置。
（４）
前記所定のライン単位は、前記画素領域の１ライン単位である、
（１）に記載の撮像装置。
（５）
前記センサは、前記画像をローリングシャッタ方式で撮像する、
（１）に記載の撮像装置。
（６）
前記センサは、前記画像をグローバルシャッタ方式で撮像する、
（１）に記載の撮像装置。
（７）
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するステップと、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行するステップと、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力するステップと、
を含む撮像方法。
（８）
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサを備えるコンピュータを、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部、
として機能させるための撮像プログラム。
（１）
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサと、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部と、
を備える撮像装置。
（２）
前記所定のライン単位は、前記コンボリューション処理に用いられるフィルタの行数分に対応するライン単位であり、
前記フィルタの行数分に対応するラインの画素を、前記コンボリューション処理の実行単位のデータとして記憶するラインメモリを更に備え、
前記第１処理部は、前記コンボリューション処理の実行単位のデータが前記ラインメモリに記憶される度に、前記コンボリューション処理を実行する、
（１）に記載の撮像装置。
（３）
前記ラインメモリは、前記フィルタの行数分に対応するラインの画素を、前記画素領域の読み出し開始位置から順番に記憶し、前記第１処理部によって処理済みの前記画素領域のラインの画素は、前記画素領域から新たに読み出されたラインの画素で更新することによって、前記コンボリューション処理の実行単位のデータを記憶する、
（２）に記載の撮像装置。
（４）
前記所定のライン単位は、前記画素領域の１ライン単位である、
（１）に記載の撮像装置。
（５）
前記センサは、前記画像をローリングシャッタ方式で撮像する、
（１）に記載の撮像装置。
（６）
前記センサは、前記画像をグローバルシャッタ方式で撮像する、
（１）に記載の撮像装置。
（７）
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するステップと、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行するステップと、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力するステップと、
を含む撮像方法。
（８）
複数の画素が配列された画素領域によって、１フレーム分の画像を撮像するセンサを備えるコンピュータを、
前記１フレーム分の画像単位ではなく、前記画素領域から読み出された所定のライン単位でコンボリューション処理を実行し、前記コンボリューション処理の実行結果に基づいて特徴量抽出処理を実行する第１処理部と、
前記特徴量抽出処理の結果に基づいて全結合処理を実行し、前記全結合処理の結果に基づく推論結果を出力する第２処理部、
として機能させるための撮像プログラム。
【符号の説明】
【0112】
１ 撮像装置
２ａ，２ｂ 固体撮像素子
１１ センサ
１２ センサ制御部
１３ データ処理部
１４ ラインメモリ
１５ ＡＩ処理部
１６ パラメータメモリ
２０ａ 画素部
２０ｂ メモリ＋ロジック部
２０ｂ’ ロジック部
２０ｃ メモリ部
１５１ 制御部
１５２ 第１処理部
１５３ 第２処理部
２ａ，２ｂ 固体撮像素子
１１ センサ
１２ センサ制御部
１３ データ処理部
１４ ラインメモリ
１５ ＡＩ処理部
１６ パラメータメモリ
２０ａ 画素部
２０ｂ メモリ＋ロジック部
２０ｂ’ ロジック部
２０ｃ メモリ部
１５１ 制御部
１５２ 第１処理部
１５３ 第２処理部
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図16D】
【図16E】
【図16F】
【図16G】
【図16H】
【図16I】
【図16J】
【図16K】
【図16L】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】