特開 2023-134172 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023134172

(43)【公開日】2023-09-27

(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230920BHJP

   G06N 3/02 20060101ALI20230920BHJP

【ＦＩ】

G06T7/00 350C

G06N3/02

【審査請求】未請求

【請求項の数】29

【出願形態】ＯＬ

(21)【出願番号】P 2022039541

(22)【出願日】2022-03-14

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山田 和樹

(72)【発明者】

【氏名】楊 瀛

(72)【発明者】

【氏名】ジャガディシュ ハリ

(72)【発明者】

【氏名】石田 実

(72)【発明者】

【氏名】奥村 浩之

(72)【発明者】

【氏名】奥池 和幸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA02

5L096DA02

5L096HA11

5L096KA04

5L096KA15

5L096LA13

(57)【要約】

【課題】ネットワーク機能を適切に分割することが可能な情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システムを提供する。
【解決手段】本開示に係る情報処理装置は、複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御部、を備え、前記制御部は、前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御部、
を備え、
前記制御部は、
前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、
前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する、
情報処理装置。

【請求項2】

前記入力データが入力され、前記複数のプロセッサのうち第１のプロセッサに実行させる、前記複数のネットワークのうち第１のネットワークと、前記複数のプロセッサのうち第２のプロセッサに実行させる、前記第１のネットワークの出力が入力され、前記入力データに応じた出力データを出力する、前記複数のネットワークのうち第２のネットワークと、をそれぞれ決定する制御部、
を備える、
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、
前記第１のネットワークおよび前記第２のネットワークのうち少なくとも一方による処理の実行に対して要求される性能である要求性能に応じて、前記第１のネットワークおよび前記第２のネットワークを決定する、
請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、
ハードウェア要素に対する前記要求性能と、前記出力データに対する処理を実行するアプリケーションにより前記出力データに要求されるアプリケーション要素に対する前記要求性能と、のうち少なくとも一方に基づき、前記第１のネットワークおよび前記第２のネットワークを決定する、
請求項３に記載の情報処理装置。

【請求項5】

前記ハードウェア要素は、前記第１のプロセッサと、前記第２のプロセッサと、前記入力データの生成元のハードウェアと、のうち少なくとも１つの能力および制約を含み、
前記アプリケーション要素は、前記出力データのレートと、伝送サイズと、前記アプリケーションにおける処理のコストと、のうち少なくとも１つを含む、
請求項４に記載の情報処理装置。

【請求項6】

前記制御部は、
前記要求性能と、所定のネットワークに対する性能維持指標とに基づき、前記第１のネットワークと前記第２のネットワークとを決定する、
請求項３に記載の情報処理装置。

【請求項7】

前記制御部は、
前記第１のネットワークでは固定小数点演算を行い、前記第２のネットワークでは浮動小数点演算を行うように、前記第１のネットワークおよび前記第２のネットワークを決定する、
請求項３に記載の情報処理装置。

【請求項8】

前記制御部は、
前記第１のネットワークによる処理および前記第２のネットワークによる処理を、前記第２のネットワークによる処理が前記第１のネットワークによる処理に対するパイプライン処理として実行されるように決定する、
請求項３に記載の情報処理装置。

【請求項9】

所定のネットワークに含まれる、前記入力データに対する第１の機能を前記第１のネットワークに適用し、前記第１の機能による処理結果に対する第２の機能を前記第２のネットワークに適用する、
請求項２に記載の情報処理装置。

【請求項10】

前記制御部は、
前記第２の機能に応じて前記第１の機能を決定する、
請求項９に記載の情報処理装置。

【請求項11】

前記制御部は、
前記第２のネットワークの学習結果に応じて前記第２の機能を更新または変更する、
請求項９に記載の情報処理装置。

【請求項12】

前記制御部は、
前記第１のネットワークの出力に応じて前記第２のネットワークを変更する、
請求項９に記載の情報処理装置。

【請求項13】

前記制御部は、
前記第２のネットワークとして、互いに異なる複数の前記第２の機能のそれぞれに１対１で対応し、並列処理が可能な複数の第２のネットワークを決定する、
請求項９に記載の情報処理装置。

【請求項14】

前記制御部は、
前記複数の第２のネットワークを、１つの前記第１のネットワークの出力が共通に入力されるように決定する、
請求項１３に記載の情報処理装置。

【請求項15】

前記第１のネットワークとして、互いに異なる複数の前記第１の機能のそれぞれに１対１で対応し、並列処理が可能な複数の第１のネットワークを決定する、
請求項９に記載の情報処理装置。

【請求項16】

前記制御部は、
前記第２のネットワークを、前記複数の第１のネットワークそれぞれの出力が入力されるように決定する、
請求項１５に記載の情報処理装置。

【請求項17】

前記制御部は、
前記第１のネットワークを速度を優先して前記第１の機能の処理を行うように決定し、前記第２のネットワークを精度および機能のうち少なくとも一方を優先して前記第２の機能の処理を行うように決定する、
請求項９に記載の情報処理装置。

【請求項18】

前記制御部は、
前記第２のネットワークによる処理結果に基づき前記第１のネットワークを再学習させるように、前記第１のネットワークおよび前記第２のネットワークを決定する、
請求項１７に記載の情報処理装置。

【請求項19】

前記制御部は、
前記第１のネットワークによる出力のデータを削減して前記第２のネットワークに入力させるように、前記第１のネットワークおよび前記第２のネットワークを決定する、
請求項９に記載の情報処理装置。

【請求項20】

コンピュータによリ実行される、
複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御ステップ、
を備え、
前記制御ステップは、
前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、
前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する、
情報処理方法。

【請求項21】

コンピュータに、
複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御ステップ、
を実行させ、
前記制御ステップは、
前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、
前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する、
ための情報処理プログラム。

【請求項22】

入力データが入力され、複数のネットワークのうち１つのネットワークが実行される第１のプロセッサと、
前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークが実行され、前記入力データに応じた出力データを出力する第２のプロセッサと、
前記第１のプロセッサおよび前記第２のプロセッサを含む複数のプロセッサそれぞれに１対１で実行させるネットワークを、前記複数のネットワークから決定する制御部、を備える情報処理装置と、
を含む、
情報処理システム。

【請求項23】

前記制御部は、
前記複数のプロセッサのうち前記第１のプロセッサに実行させる、前記複数のネットワークのうち第１のネットワークと、
前記複数のプロセッサのうち前記第２のプロセッサに実行させる、前記第１のネットワークの出力が入力され、前記入力データに応じた出力データを出力する第２のネットワークと、
をそれぞれ決定する、
請求項２２に記載の情報処理システム。

【請求項24】

前記第１のプロセッサと前記第２のプロセッサとが同一の筐体内に構成される、
請求項２３に記載の情報処理システム。

【請求項25】

前記第１のプロセッサが第１の筐体内に構成され、前記第２のプロセッサが第２の筐体内に構成される、
請求項２３に記載の情報処理システム。

【請求項26】

前記入力データを出力するセンサデバイスをさらに含む、
請求項２３に記載の情報処理システム。

【請求項27】

前記センサデバイスと前記第１のプロセッサとが一体的に構成される、
請求項２６に記載の情報処理システム。

【請求項28】

前記第２のプロセッサと前記第１のプロセッサとが通信ネットワークを介して接続される、
請求項２３に記載の情報処理システム。

【請求項29】

前記第２のプロセッサから出力される前記出力データに対して処理を実行するアプリケーションが搭載される、前記情報処理装置とは異なる他の情報処理装置、
をさらに含む、
請求項２３に記載の情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システムに関する。

【背景技術】

【0002】

ＤＮＮ(Deep Neural Network)機能を組み込んだデバイスが知られている。一般に、ＤＮＮ処理は計算コストが大きく、さらに、複雑で高度なＤＮＮ処理を実行可能なモデルほど、モデルサイズが大きくなる傾向にある。そのため、ＤＮＮ機能を分割し、分割された一部のＤＮＮ機能による処理を当該デバイスにおいて実行し、他の部分のＤＮＮ機能の処理を外部のサーバなどにおいて実行する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－４７１９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＤＮＮ機能を分割するに当たり、その機能や処理量に応じて適切な分割を行う必要がある。

【0005】

本開示は、ネットワーク機能を適切に分割することが可能な情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る情報処理装置は、複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御部、を備え、前記制御部は、前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する。

【0007】

本開示に係る情報処理方法は、コンピュータによリ実行される、複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御ステップ、を備え、前記制御ステップは、前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する。

【0008】

本開示に係る情報処理プログラムは、コンピュータに、複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御ステップ、
を実行させ、前記制御ステップは、前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する、ための情報処理プログラム。

【0009】

本開示に係る情報処理システムは、入力データが入力され、複数のネットワークのうち１つのネットワークが実行される第１のプロセッサと、前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークが実行され、前記入力データに応じた出力データを出力する第２のプロセッサと、前記第１のプロセッサおよび前記第２のプロセッサを含む複数のプロセッサそれぞれに１対１で実行させるネットワークを、前記複数のネットワークから決定する制御部、を備える情報処理装置と、を含む。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る情報処理システムの概略的な構成を示す一例のブロック図である。

【図2】第１の実施形態に係る情報処理システムにおけるネットワーク制御部による処理を概略的に示す一例のフローチャートである。

【図3】第１の実施形態に適用可能なセンシングデバイスとしての撮像装置の一例の構成を示すブロック図である。

【図4】第１の実施形態に係る撮像装置の一例の構造を概略的に示す斜視図である。

【図5】第１の実施形態に係るネットワーク制御部の機能を説明するための一例の機能ブロック図である。

【図6】第１の実施形態に係るネットワーク制御部を構成可能なサーバの一例のハードウェア構成を示すブロック図である。

【図7A】第１の実施形態に係るシステム構成の第１の例を概略的に示す模式図である。

【図7B】第１の実施形態に係るシステム構成を概略的に示す模式図である。

【図7C】第１の実施形態に係るシステム構成を概略的に示す模式図である。

【図8A】第１の実施形態に係るシステム構成の第１の例をより具体的に説明するための模式図である。

【図8B】第１の実施形態に係るシステム構成の第２の例をより具体的に説明するための模式図である。

【図8C】第１の実施形態に係るシステム構成の第３の例をより具体的に説明するための模式図である。

【図8D】第１の実施形態に係るシステム構成の第４の例をより具体的に説明するための模式図である。

【図8E】第１の実施形態に係るシステム構成の第５の例をより具体的に説明するための模式図である。

【図8F】第１の実施形態に係るシステム構成の第６の例をより具体的に説明するための模式図である。

【図8G】第１の実施形態に係るシステム構成の第７の例をより具体的に説明するための模式図である。

【図9】第２の実施形態に関する既存技術を説明するための模式図である。

【図10】第２の実施形態に係る処理を説明するための一例の模式図である。

【図11】第２の実施形態に係る処理の流れを説明するための模式図である。

【図12】第２の実施形態に係る、互換性テスト処理部による互換性テスト処理を示す一例のフローチャートである。

【図13】ユーザに提示される性能維持指標の例を示す模式図である。

【図14】ユーザに提示される性能維持指標の例を示す模式図である。

【図15】既存技術による処理シーケンスと、第２の実施形態に係る処理シーケンスとを対比させて示す模式図である。

【図16】ＤＮＮを第１ＤＮＮおよび第２ＤＮＮの２つのＤＮＮに分割する例を概略的に示す模式図である。

【図17】ＤＮＮを分割した第１ＤＮＮおよび第２ＤＮＮによる処理を実行するための、既存技術による構成の例を示す模式図である。

【図18】第３の実施形態に係る情報処理システムの構成を概略的に示す模式図である。

【図19】第３の実施形態に係るネットワーク制御部における処理を示す一例のフローチャートである。

【図20】第３の実施形態の第１の例による情報処理システムの一例の構成を示すブロック図である。

【図21】第３の実施形態の第２の例による情報処理システムの一例の構成を示すブロック図である。

【図22】第３の実施形態の第２の例における第１の具体例による情報処理システムの一例の構成を示すブロック図である。

【図23】第３の実施形態の第２の例における第２の具体例による情報処理システムの一例の構成を示すブロック図である。

【図24】第３の実施形態の第２の例における第２の具体例に適用可能なセグメンテーション処理を説明するための模式図である。

【図25】第３の実施形態の第２の例における第２の具体例に適用可能な姿勢推定処理を説明するための模式図である。

【図26】第３の実施形態の第３の例による情報処理システムの一例の構成を示すブロック図である。

【図27】第３の実施形態の第３の例における第１の具体例による情報処理システムの一例の構成を示すブロック図である。

【図28】第３の実施形態の第３の例における第２の具体例による情報処理システムの一例の構成を示すブロック図である。

【図29】第３の実施形態の第４の例による情報処理システムの一例の構成を示すブロック図である。

【図30】第３の実施形態の第４の例における応用例による情報処理システムの一例の構成を示すブロック図である。

【図31】第３の実施形態の第５の例による情報処理システムの一例の構成を示すブロック図である。

【図32】第４の実施形態に係る情報処理システムにおける各部の、基板に対する物理的なレイアウトの例を示す模式図である。

【図33】第４の実施形態に係る情報処理システムの第１の経路例を示す模式図である。

【図34】第４の実施形態に係る情報処理システムの第２の経路例を示す模式図である。

【図35】第４の実施形態に係る第２の経路例におけるデータ伝送に係る各タイミングを示す一例のタイミングチャートである。

【図36】第４の実施形態に係る情報処理システムの第３の経路例を示す模式図である。

【図37】第４の実施形態に係る第３の経路例におけるデータ伝送に係る各タイミングを示す一例のタイミングチャートである。

【図38】第４の実施形態に係る情報処理システムの第４の経路例を示す模式図である。

【図39A】第４の実施形態に係る第４の経路例における積層構造体の垂直方向の構造を概略的に示す模式図である。

【図39B】第４の実施形態に係る第４の経路例における積層構造体の垂直方向の構造を概略的に示す模式図である。

【図40】第４の実施形態に係る情報処理システムの第５の信号経路例を示す模式図である。

【図41】第４の実施形態に係る情報処理システムの第６の信号経路例を示す模式図である。

【図42】第４の実施形態に係る情報処理システムの第７の信号経路例を示す模式図である。

【図43A】第４の実施形態に係る第７の信号経路例における積層構造体の垂直方向の構造を概略的に示す模式図である。

【図43B】第４の実施形態に係る第７の信号経路例における積層構造体の垂直方向の構造を概略的に示す模式図である。

【図44】第４の実施形態に係る情報処理システムの第８の信号経路例を示す模式図である。

【図45A】第４の実施形態に係る情報処理システムの第９の信号経路例を示す模式図である。

【図45B】第４の実施形態に係る情報処理システムの第９の信号経路例を示す模式図である。

【図46A】第５の実施形態の第１の例による構成の例を示す模式図である。

【図46B】第５の実施形態の第１の例による構成の例を示す模式図である。

【図47A】第５の実施形態の第２の例による構成の例を示す模式図である。

【図47B】第５の実施形態の第２の例による構成の例を示す模式図である。

【図48A】第５の実施形態の第３の例による構成の例を示す模式図である。

【図48B】第５の実施形態の第３の例による構成の例を示す模式図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

【0012】

以下、本開示の実施形態について、下記の順序に従って説明する。
１．第１の実施形態
１－１．第１の実施形態に係る基本的な構成
１－２．第１の実施形態に係る構成の詳細
１－３．第１の実施形態に係るシステム構成
２．第２の実施形態
２－１．既存技術について
２－２．第２の実施形態に係る構成および処理
２－３．第２の実施形態に係る効果
３．第３の実施形態
３－１．既存技術について
３－２．第３の実施形態に係る概略的な構成
３－３．第３の実施形態の各例について
３－３－１．第３の実施形態の第１の例
３－３－２．第３の実施形態の第２の例
３－３－３．第３の実施形態の第３の例
３－３－４．第３の実施形態の第４の例
３－３－５．第３の実施形態の第５の例
４．第４の実施形態
５．第５の実施形態

【0013】

（１．第１の実施形態）
本開示の第１の実施形態について説明する。本開示の第１の実施形態に係る情報処理システムでは、制御部により、第１プロセッサに実行させる、入力された入力データに対する処理を行う第１のネットワークと、第２プロセッサに実行させる、第１のネットワークの出力対して処理を行う第２のネットワークと、をそれぞれ決定する。

【0014】

なお、本開示において、ネットワークは、例えばＤＮＮ(Deep Neural Network)といったニューラルネットワークを適用できる。

【0015】

（１－１．第１の実施形態に係る基本的な構成）
先ず、第１の実施形態に係る基本的な構成について説明する。図１は、第１の実施形態に係る情報処理システムの概略的な構成を示す一例のブロック図である。

【0016】

図１において、第１の実施形態に係る情報処理システム１は、第１プロセッサ１１と、第２プロセッサ１２と、ネットワーク制御部２０と、を含む。

【0017】

ネットワーク制御部２０は、例えばインターネットなどの通信ネットワーク上のサーバにおいて構成され、第１プロセッサ１１および第２プロセッサ１２と当該通信ネットワークを介して通信を行うことができるようにされる。これらネットワーク制御部２０、センシングデバイス１０、第１プロセッサ１１、第２プロセッサ１２およびアプリケーション実行部３０の配置の具体例については、後述する。

【0018】

ネットワーク制御部２０は、タスクが入力される。ここで、タスクは、ニューラルネットワーク（ＤＮＮなど）を用いて実行する処理を指すものとする。タスクは、例えば、タスクに用いられるニューラルネットワークにおけるモデルとして、ネットワーク制御部２０に入力される。ネットワーク制御部２０は、入力されたタスクを解析し、当該タスクを少なくとも２つのタスクに分割する。ネットワーク制御部２０は、例えばタスクを第１のタスクおよび第２のタスクの２つのタスクに分割する場合、第１のタスクを第１プロセッサ１１に割り当て、第２のタスクを第２プロセッサ１２に割り当てる。

【0019】

換言すれば、ネットワーク制御部２０は、タスクが用いるニューラルネットワークを、第１のタスクが用いる第１のニューラルネットワークと、第２のタスクが用いる第２のニューラルネットワークとに分割し、第１のニューラルネットワークを第１プロセッサ１１に、第２のニューラルネットワークを第２プロセッサ１２に、それぞれ割り当てる、といえる。

【0020】

第１プロセッサ１１は、入力データとして、例えばセンシングデバイス１０の出力が入力される。センシングデバイス１０が撮像装置である場合、センシングデバイス１０の出力は、撮像装置により撮像して得られた撮像画像（画像信号）である。第１プロセッサ１１に入力される入力データは、ネットワーク制御部２０に入力されるタスクの処理対象となるデータであって、センシングデバイス１０の出力に限定されない。第１プロセッサ１１は、入力データに対して第１のタスクを実行し、処理結果を出力する。第２プロセッサ１２は、第１プロセッサの出力に対して第２タスクを実行し、処理結果を出力データとして出力する。

【0021】

第２プロセッサ１２から出力された出力データは、アプリケーション実行部３０に供給される。アプリケーション実行部３０は、例えば一般的なコンピュータといった情報処理装置に搭載されるアプリケーションプログラムにより構成してよい。

【0022】

なお、図１では、情報処理システム１は、１つのタスクを２つに分割し、分割された各タスクに、第１プロセッサ１１および第２プロセッサ１２をそれぞれ割り当てているが、これはこの例に限定されない。例えば、情報処理システム１は、１つのタスクを３以上のタスクに分割してもよい。この場合には、分割された３以上のタスクそれぞれに、異なるプロセッサを割り当ててよい。情報処理システム１は、１つのタスクを３以上のタスクに分割する場合、分割された３以上のタスクのうち少なくとも１つのタスクを、入力データが入力されるタスクに決定してよい。また、情報処理システム１は、分割された当該３以上のタスクのうち、入力データが入力されるタスクとは異なるタスクを、当該入力データに応じた出力データを出力するタスクに決定してよい。

【0023】

図２は、第１の実施形態に係る情報処理システム１におけるネットワーク制御部２０による処理を概略的に示す一例のフローチャートである。なお、以下では、ネットワーク制御部２０に対して、タスクとしてニューラルネットワークが入力されるものとして説明を行う。また、以下では、特に記載の無い限り、ニューラルネットワークを単に「ネットワーク」と呼び、ニューラルネットワークの例としてＤＮＮを適用する。

【0024】

図２において、ステップＳ１００で、ネットワーク制御部２０は、ネットワークを取得する。次のステップＳ１０１で、ネットワーク制御部２０は、ステップＳ１００で取得されたネットワークを解析する。次のステップＳ１０２で、ネットワーク制御部２０は、ステップＳ１０１での解析結果に基づき、ステップＳ１００で取得されたネットワークを分割する。

【0025】

ステップＳ１０１およびステップＳ１０２において、ネットワーク制御部２０は、当該ネットワークを、当該ネットワークの機能、当該ネットワークを実行するハードウェアに関するハードウェア要素、当該ネットワークによる出力を利用するアプリケーションに関するアプリケーション要素、などに基づき解析および分割してよい。

【0026】

以下、特に記載の無い限り、ネットワーク制御部２０は、ネットワークを、ネットワークにおける前段の処理を行う第１のネットワークと、当該第１のネットワークの出力に対する処理を行う第２のネットワークと、に分割するものとして説明を行う。

【0027】

次のステップＳ１０３で、ネットワーク制御部２０は、ステップＳ１０２で分割された各ネットワークを実行するプロセッサを決定する。例えば、ネットワーク制御部２０は、第１プロセッサ１１を第１のネットワークによる処理を実行するプロセッサとして決定し、第２プロセッサ１２を第２のネットワークによる処理を実行するプロセッサとして決定する。

【0028】

次のステップＳ１０４で、ネットワーク制御部２０は、分割された各ネットワークを、実行が決定された各プロセッサに送信する。具体的には、ネットワーク制御部２０は、第１のネットワークを第１プロセッサ１１に送信し、第２のネットワークを第２プロセッサ１２に送信する。

【0029】

第１プロセッサ１１は、センシングデバイス１０の出力を入力データとして、入力データに対して第１のネットワークによる処理を実行する。第２プロセッサ１２は、第１プロセッサ１１の出力に対して第２のネットワークによる処理を実行する。第２プロセッサ１２の出力は、アプリケーション実行部３０に供給される。

【0030】

このように、第１の実施形態では、ネットワーク制御部２０により、第１のプロセッサに実行させる第１のネットワークと、第１プロセッサ１１の出力に対して処理を行う第２のプロセッサに実行させる第２のネットワークを決定している。そのため、第１の実施形態を適用することで、ネットワークを適切に分割して第１プロセッサ１１および第２プロセッサ１２に割り当てることが可能である。

【0031】

（１－２．第１の実施形態に係る構成の詳細）
次に、第１の実施形態に係る構成について、より詳細に説明する。図３は、第１の実施形態に適用可能な、センシングデバイス１０を含む撮像装置の一例の構成を示すブロック図である。図３の例では、撮像装置１００は、図１を用いて説明した情報処理システム１における、センシングデバイス１０と第１プロセッサ１１とを含んで構成されている。

【0032】

図３において、撮像装置１００は、ＣＩＳ(CMOS(Complementary Metal Oxide Semiconductor) image sensor)として構成され、撮像ブロック１１０と信号処理ブロック１２０とを含む。

【0033】

撮像ブロック１１０と信号処理ブロック１２０とは、それぞれ内部バスである接続線ＣＬ１，ＣＬ２、および、ＣＬ３によって電気的に接続されている。後述するように、撮像ブロック１１０は、図１におけるセンシングデバイス１０に対応させてよい。また、信号処理ブロック１２０は、図１における第１プロセッサ１１を含むことができる。

【0034】

撮像ブロック１１０は、撮像部１１１、撮像処理部１１２、出力制御部１１３、出力Ｉ／Ｆ（インタフェース）１１４、および、撮像制御部１１５を有し、被写体を撮像し撮像画像を得る。

【0035】

撮像部１１１は、それぞれ光電変換により受光した光に応じた信号を出力する受光素子である複数の画素が行列状の配列に従い配置された画素アレイを含む。撮像部１１１は、撮像処理部１１２によって駆動され、被写体の撮像を行う。

【0036】

すなわち、撮像部１１１には、図示されない光学系からの光が入射する。撮像部１１１は、画素アレイに含まれる各画素において、光学系からの入射光を受光し、光電変換を行って、入射光に対応するアナログの画像信号を出力する。

【0037】

撮像部１１１が出力する画像信号による画像のサイズは、例えば、幅×高さが３９６８画素×２９７６画素、１９２０画素×１０８０画素、６４０画素×４８０画素などの複数のサイズの中から選択することができる。撮像部１１１が出力可能な画像サイズは、この例に限定されない。また、撮像部１１１が出力する画像については、例えば、ＲＧＢ（赤、緑、青）のカラー画像とするか、あるいは、輝度のみの白黒画像とするかを選択することができる。撮像部１１１に対するこれらの選択は、撮影モードの設定の一種として行うことができる。

【0038】

なお、画素アレイにおいて行列状に配列された各画素の出力に基づく情報を、フレームと呼ぶ。撮像装置１００は、撮像部１１１において、行列状の画素の情報を、時系列に沿って所定のレート（フレームレート）で繰り返し取得する。撮像装置１００は、取得したそれぞれの情報を、フレームごとに纏めて出力する。

【0039】

撮像処理部１１２は、撮像制御部１１５の制御に従い、撮像部１１１の駆動や、撮像部１１１が出力するアナログの画像信号のＡＤ(Analog to Digital)変換、撮像信号処理等の、撮像部１１１での画像の撮像に関連する撮像処理を行う。

【0040】

撮像処理部１１２が行う撮像信号処理としては、例えば、撮像部１１１が出力する画像について、所定の小領域ごとに、画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理や、撮像部１１１が出力する画像を、ＨＤＲ(High Dynamic Range)画像に変換するＨＤＲ変換処理、欠陥補正、現像等がある。

【0041】

撮像処理部１１２は、撮像部１１１が出力するアナログの画像信号のＡＤ変換等によって得られるディジタルの画像信号を、撮像画像として出力する。また、撮像処理部１１２は、撮像画像として、現像などの処理を施さないＲＡＷ画像を出力することもできる。なお、ＲＡＷ画像に対して現像などの処理を施した、各画素がＲＧＢ各色の情報を持つ画像を、ＲＧＢ画像と呼ぶ。

【0042】

撮像処理部１１２が出力する撮像画像は、出力制御部１１３に供給されるとともに、接続線ＣＬ２を介して、信号処理ブロック１２０の画像圧縮部１２５に供給される。

【0043】

出力制御部１１３には、撮像処理部１１２から撮像画像が供給される他、信号処理ブロック１２０から、接続線ＣＬ３を介して、撮像画像等を用いた信号処理の信号処理結果が供給される。

【0044】

出力制御部１１３は、撮像処理部１１２からの撮像画像、および、信号処理ブロック１２０からの信号処理結果を、（１つの）出力Ｉ／Ｆ１１４から外部（例えば撮像装置１００の外部に接続されるメモリ等）に選択的に出力させる出力制御を行う。すなわち、出力制御部１１３は、撮像処理部１１２からの撮像画像、又は、信号処理ブロック１２０からの信号処理結果を選択し、出力Ｉ／Ｆ１１４に供給する。

【0045】

出力Ｉ／Ｆ１１４は、出力制御部１１３から供給される撮像画像、および、信号処理結果を外部に出力するＩ／Ｆである。出力Ｉ／Ｆ１１４としては、例えば、ＭＩＰＩ(Mobile Industry Processor Interface)等の比較的高速なパラレルＩ／Ｆ等を採用することができる。

【0046】

出力Ｉ／Ｆ１１４では、出力制御部１１３の出力制御に応じて、撮像処理部１１２からの撮像画像、または、信号処理ブロック１２０からの信号処理結果が、外部に出力される。したがって、例えば、外部において、信号処理ブロック１２０からの信号処理結果だけが必要であり、撮像画像そのものが必要でない場合には、信号処理結果だけを出力することができ、出力Ｉ／Ｆ１１４から外部に出力するデータ量を削減することができる。

【0047】

また、信号処理ブロック１２０において、外部で必要とする信号処理結果が得られる信号処理を行い、その信号処理結果を、出力Ｉ／Ｆ１１４から出力することにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。

【0048】

撮像制御部１１５は、通信Ｉ／Ｆ１１６およびレジスタ群１１７を有する。

【0049】

通信Ｉ／Ｆ１１６は、例えば、Ｉ２Ｃ(Inter-Integrated Circuit)等のシリアル通信Ｉ／Ｆ等の第１の通信Ｉ／Ｆであり、外部（例えばこの撮像装置１００が搭載される装置を制御する制御部）との間で、レジスタ１１７群に読み書きする情報等の必要な情報のやりとりを行う。

【0050】

レジスタ群１１７は、複数のレジスタを有し、撮像部１１１での画像の撮像に関連する撮像情報、その他の各種情報を記憶する。例えば、レジスタ群１１７は、通信Ｉ／Ｆ１１６において外部から受信された撮像情報や、撮像処理部１１２での撮像信号処理の結果（例えば、撮像画像の小領域ごとの明るさ等）を記憶する。

【0051】

レジスタ群１１７に記憶される撮像情報としては、例えば、ＩＳＯ感度（撮像処理部１１２でのＡＤ変換時のアナログゲイン）や、露光時間（シャッタスピード）、フレームレート、フォーカス、撮影モード、切り出し範囲等（を表す情報）がある。

【0052】

撮影モードには、例えば、露光時間やフレームレート等が手動で設定される手動モードと、シーンに応じて自動的に設定される自動モードとがある。自動モードには、例えば、夜景や、人の顔等の各種の撮影シーンに応じたモードがある。

【0053】

また、切り出し範囲とは、撮像処理部１１２において、撮像部１１１が出力する画像の一部を切り出して、撮像画像として出力する場合に、撮像部１１１が出力する画像から切り出す範囲を表す。切り出し範囲の指定によって、例えば、撮像部１１１が出力する画像から、人が映っている範囲だけを切り出すこと等が可能になる。なお、画像の切り出しとしては、撮像部１１１が出力する画像から切り出す方法の他、撮像部１１１から、切り出し範囲の画像（信号）だけを読み出す方法がある。

【0054】

撮像制御部１１５は、レジスタ群１１７に記憶された撮像情報に従って、撮像処理部１１２を制御し、これにより、撮像部１１１での画像の撮像を制御する。

【0055】

なお、レジスタ群１１７は、撮像情報や、撮像処理部１１２での撮像信号処理の結果の他、出力制御部１１３での出力制御に関する出力制御情報を記憶することができる。出力制御部１１３は、レジスタ群１１７に記憶された出力制御情報に従って、撮像画像および信号処理結果を選択的に出力させる出力制御を行うことができる。

【0056】

また、撮像装置１００では、撮像制御部１１５と、信号処理ブロック１２０のＣＰＵ１２１とは、接続線ＣＬ１を介して接続されており、ＣＰＵ１２１は、接続線ＣＬ１を介して、レジスタ群１１７に対して、情報の読み書きを行うことができる。すなわち、撮像装置１００では、レジスタ群１１７に対する情報の読み書きは、通信Ｉ／Ｆ１１６から行う他、ＣＰＵ１２１からも行うことができる。

【0057】

信号処理ブロック１２０は、ＣＰＵ(Central Processing Unit)１２１、ＤＳＰ(Digital Signal Processor)１２２、メモリ１２３、通信Ｉ／Ｆ１２４、画像圧縮部１２５、および、入力Ｉ／Ｆ１２６を有し、撮像ブロック１１０で得られた撮像画像等を用いて、所定の信号処理を行う。なお、ＣＰＵ１２１は、これに限らずＭＰＵ(Micro Processor Unit)やＭＣＵ(Micro Controller Unit)であってもよい。

【0058】

信号処理ブロック１２０を構成するＣＰＵ１２１、ＤＳＰ１２２、メモリ１２３、通信Ｉ／Ｆ１２４および入力Ｉ／Ｆ１２６は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。

【0059】

ＣＰＵ１２１は、メモリ１２３に記憶されたプログラムを実行することで、信号処理ブロック１２０の制御、接続線ＣＬ１を介しての、撮像制御部１１５のレジスタ群１１７への情報の読み書き、その他の各種の処理を行う。

【0060】

例えば、ＣＰＵ１２１は、プログラムを実行することにより、ＤＳＰ１２２での信号処理により得られる信号処理結果を用いて、撮像情報を算出する撮像情報算出部として機能し、信号処理結果を用いて算出した新たな撮像情報を、接続線ＣＬ１を介して、撮像制御部１１５のレジスタ群１１７にフィードバックして記憶させる。

【0061】

したがって、ＣＰＵ１２１は、結果として、撮像画像の信号処理結果に応じて、撮像部１１１での撮像や、撮像処理部１１２での撮像信号処理を制御することができる。

【0062】

また、ＣＰＵ１２１がレジスタ群１１７に記憶させた撮像情報は、通信Ｉ／Ｆ１１６から外部に提供（出力）することができる。例えば、レジスタ群１１７に記憶された撮像情報のうちのフォーカスの情報は、通信Ｉ／Ｆ１１６から、フォーカスを制御するフォーカスドライバ（図示せず）に提供することができる。

【0063】

ＤＳＰ１２２は、メモリ１２３に記憶されたプログラムを実行することで、撮像処理部１１２から、接続線ＣＬ２を介して、信号処理ブロック１２０に供給される撮像画像や、入力Ｉ／Ｆ１２６が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。

【0064】

メモリ１２３は、ＳＲＡＭ(Static Random Access Memory)やＤＲＡＭ(Dynamic RAM)等で構成され、信号処理ブロック１２０の処理上必要なデータ等を記憶する。

【0065】

例えば、メモリ１２３は、通信Ｉ／Ｆ１２４において、外部から受信されたプログラムや、画像圧縮部１２５で圧縮され、ＤＳＰ１２２での信号処理で用いられる撮像画像、ＤＳＰ１２２で行われた信号処理の信号処理結果、入力Ｉ／Ｆ１２６が受け取った情報等を記憶する。

【0066】

通信Ｉ／Ｆ１２４は、例えば、ＳＰＩ(Serial Peripheral Interface)等のシリアル通信Ｉ／Ｆ等の第２の通信Ｉ／Ｆであり、外部（例えば、図示されないメモリや制御部など）との間で、ＣＰＵ１２１やＤＳＰ１２２が実行するプログラム等の必要な情報のやりとりを行う。

【0067】

例えば、通信Ｉ／Ｆ１２４は、ＣＰＵ１２１やＤＳＰ１２２が実行するプログラムを外部からダウンロードし、メモリ１２３に供給して記憶させる。したがって、通信Ｉ／Ｆ１２４がダウンロードするプログラムによって、ＣＰＵ１２１やＤＳＰ１２２で様々な処理を実行することができる。

【0068】

なお、通信Ｉ／Ｆ１２４は、外部との間で、プログラムの他、任意のデータのやりとりを行うことができる。例えば、通信Ｉ／Ｆ１２４は、ＤＳＰ１２２での信号処理により得られる信号処理結果を、外部に出力することができる。また、通信Ｉ／Ｆ１２４は、ＣＰＵ１２１の指示に従った情報を、外部の装置に出力し、これにより、ＣＰＵ１２１の指示に従って、外部の装置を制御することができる。

【0069】

ＤＳＰ１２２での信号処理により得られる信号処理結果は、通信Ｉ／Ｆ１２４から外部に出力する他、ＣＰＵ１２１によって、撮像制御部１１５のレジスタ群１１７に書き込むことができる。レジスタ群１１７に書き込まれた信号処理結果は、通信Ｉ／Ｆ１１６から外部に出力することができる。ＣＰＵ１２１で行われた処理の処理結果についても同様である。

【0070】

画像圧縮部１２５に対して、撮像処理部１１２から接続線ＣＬ２を介して、撮像画像が供給される。画像圧縮部１２５は、撮像画像を圧縮する圧縮処理を行い、その撮像画像よりもデータ量が少ない圧縮画像を生成する。画像圧縮部１２５で生成された圧縮画像は、バスを介して、メモリ１２３に供給されて記憶される。

【0071】

ここで、ＤＳＰ１２２での信号処理は、撮像画像そのものを用いて行う他、画像圧縮部１２５で撮像画像から生成された圧縮画像を用いて行うことができる。圧縮画像は、撮像画像よりもデータ量が少ないため、ＤＳＰ１２２での信号処理の負荷の軽減や、圧縮画像を記憶するメモリ１２３の記憶容量の節約を図ることができる。

【0072】

画像圧縮部１２５での圧縮処理としては、例えば、３９６８画素×２９７６画素の撮像画像を、６４０画素×４８０画素の画像に変換するスケールダウンを行うことができる。また、ＤＳＰ１２２での信号処理が輝度を対象として行われ、かつ、撮像画像がＲＧＢ画像である場合には、圧縮処理としては、ＲＧＢ画像を、例えば、ＹＵＶの画像に変換するＹＵＶ変換を行うことができる。

【0073】

なお、画像圧縮部１２５は、ソフトウェアにより実現することもできるし、専用のハードウェアにより実現することもできる。

【0074】

入力Ｉ／Ｆ１２６は、外部から情報を受け取るＩ／Ｆである。入力Ｉ／Ｆ１２６は、例えば、外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介してメモリ１２３に供給して記憶させる。入力Ｉ／Ｆ１２６としては、例えば、出力Ｉ／Ｆ１１４と同様に、ＭＩＰＩ等のパラレルＩ／Ｆ等を採用することができる。

【0075】

また、外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる、さらに、外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわち、撮像装置１００とは別のイメージセンサを採用することができる。

【0076】

ＤＳＰ１２２では、撮像画像あるいは撮像画像から生成された圧縮画像を用いる他、入力Ｉ／Ｆ１２６が上述のような外部のセンサから受け取り、メモリ１２３に記憶される外部セサ出力を用いて、信号処理を行うことができる。

【0077】

ＤＳＰ１２２、あるいは、ＤＳＰ１２２およびＣＰＵ１２１は、図１における第１プロセッサ１１に対応させてよい。これに限らず、ＣＰＵ１２１を第１プロセッサ１１に対応させてもよい。例えば、ネットワーク制御部２０から送信された第１のネットワークが通信Ｉ／Ｆ１２４あるいは入力Ｉ／Ｆ１２６により受信され、メモリ１２３に記憶される。ＤＳＰ１２２は、ＣＰＵ１２１の命令に従いメモリ１２３から第１のネットワークを読み出して、第１のネットワークによる処理を実行する。第１のネットワークによる処理結果は、出力制御部１１３および出力Ｉ／Ｆ１１４を介して撮像装置１００の外部に出力される。

【0078】

以上のように構成される撮像装置１００では、撮像部１１１での撮像により得られる撮像画像あるいは撮像画像から生成される圧縮画像を用いた信号処理がＤＳＰ１２２で行われ、その信号処理の信号処理結果、および、撮像画像が、出力Ｉ／Ｆ１１４から選択的に出力される。したがって、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができる。

【0079】

ここで、撮像装置１００において、ＤＳＰ１２２の信号処理を行わず、したがって、撮像装置１００から、信号処理結果を出力せず、撮像画像を出力する場合、すなわち、撮像装置１００を、単に、画像を撮像して出力するだけのイメージセンサとして構成する場合、撮像装置１００は、出力制御部１１３を設けない撮像ブロック１１０だけで構成することができる。

【0080】

図４は、図３を用いて説明した、第１の実施形態に係る撮像装置１００の一例の構造を概略的に示す斜視図である。

【0081】

撮像装置１００は、例えば、図４に示すように、複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。図４の例では、撮像装置１００は、ダイ１３０および１３１の２枚のダイが積層された１チップの半導体装置として構成されている。

【0082】

なお、ダイは、電子回路を作り込んだシリコンの小薄片をいい、１以上のダイを封止した個体をチップと呼ぶものとする。

【0083】

図４において、上側のダイ１３０には、撮像部１１１が搭載されている。また、下側のダイ１３１には、撮像処理部１１２、出力制御部１１３、出力Ｉ／Ｆ１１４および撮像制御部１１５が搭載されている。このように、図４の例では、ダイ１３０には、撮像ブロック１１０のうち撮像部１１１が搭載され、ダイ１３１には、撮像部１１１以外の部分が搭載されている。ダイ１３１に対して、さらに、ＣＰＵ１２１、ＤＳＰ１２２、メモリ１２３、通信Ｉ／Ｆ１２４、画像圧縮部１２５および入力Ｉ／Ｆ１２６を含む信号処理ブロック１２０が搭載されている。

【0084】

上側のダイ１３０と下側のダイ１３１とは、例えば、ダイ１３０を貫き、ダイ１３１にまで到達する貫通孔を形成することにより、電気的に接続される。これに限らず、ダイ１３０および１３１は、ダイ１３０の下面側に露出したＣｕなどの金属配線と、ダイ１３１の上面側に露出したＣｕなどの金属配線とを直接接続するＣｕ－Ｃｕ接合など金属－金属配線を行うこと等により、電気的に接続されてもよい。

【0085】

ここで、撮像処理部１１２において、撮像部１１１が出力する画像信号のＡＤ変換を行う方式としては、例えば、列並列ＡＤ方式やエリアＡＤ方式を採用することができる。

【0086】

列並列ＡＤ方式では、例えば、撮像部１１１を構成する画素の列に対してＡＤＣ(AD Converter)が設けられ、各列のＡＤＣが、その列の画素の画素信号のＡＤ変換を担当することで、１行の各列の画素の画像信号のＡＤ変換が並列に行われる。列並列ＡＤ方式を採用する場合には、その列並列ＡＤ方式のＡＤ変換を行う撮像処理部１１２の一部が、上側のダイ１３０に搭載されることがある。

【0087】

エリアＡＤ方式では、撮像部１１１を構成する画素が、複数のブロックに区分され、各ブロックに対して、ＡＤＣが設けられる。そして、各ブロックのＡＤＣが、そのブロックの画素の画素信号のＡＤ変換を担当することで、複数のブロックの画素の画像信号のＡＤ変換が並列に行われる。エリアＡＤ方式では、ブロックを最小単位として、撮像部１１１を構成する画素のうちの必要な画素についてだけ、画像信号のＡＤ変換（読み出しおよびＡＤ変換）を行うことができる。

【0088】

なお、撮像装置１００の面積が大になることが許容されるのであれば、撮像装置１００は、１枚のダイで構成することができる。

【0089】

また、図４の例では、２枚のダイ１３０および１３１を積層して、１チップの撮像装置１００を構成することとしたが、１チップの撮像装置１００は、３枚以上のダイを積層して構成することができる。例えば、３枚のダイを積層して１チップの撮像装置１００を構成する場合には、図４においてダイ１３１に搭載されるメモリ１２３を、ダイ１３０および１３１とは異なるダイに搭載することができる。

【0090】

ここで、センサチップ、メモリチップ、および、ＤＳＰチップのチップ同士を複数のバンプで並列に接続した撮像装置（以下、バンプ接続撮像装置ともいう）では、積層構造に構成された１チップの撮像装置１００に比較して、厚みが大きく増加し、装置が大型化する。

【0091】

さらに、バンプ接続撮像装置では、バンプの接続部分での信号劣化等により、撮像処理部１１２から出力制御部１１３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。

【0092】

積層構造の撮像装置１００によれば、以上のような装置の大型化や、撮像処理部１１２と出力制御部１１３との間のレートとして、十分なレートを確保することができなくなることを防止することができる。したがって、積層構造の撮像装置１００によれば、撮像装置１００の後段での処理において必要とされる情報を出力する撮像装置を小型に構成することが可能となる。

【0093】

後段において必要とされる情報が撮像画像である場合には、撮像装置１００は、撮像画像（ＲＡＷ画像、ＲＧＢ画像など）を出力することができる。また、後段において必要とされる情報が撮像画像を用いた信号処理により得られる場合には、撮像装置１００は、ＤＳＰ１２２において、その信号処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。

【0094】

撮像装置１００で行われる信号処理、すなわちＤＳＰ１２２の信号処理としては、例えば、撮像画像から、所定の認識対象を認識する認識処理を採用することができる。

【0095】

また、例えば、撮像装置１００は、その撮像装置１００と所定の位置関係になるように配置されたＴｏＦ(Time of Flight)センサ等の距離センサの出力を、入力Ｉ／Ｆ１２６で受け取ることができる。この場合、ＤＳＰ１２２の信号処理としては、例えば、入力Ｉ／Ｆ１２６で受け取った距離センサの出力から得られる距離画像のノイズを、撮像画像を用いて除去する処理のような、距離センサの出力と撮像画像とを統合して、精度の良い距離を求めるフュージョン処理を採用することができる。

【0096】

さらに、例えば、撮像装置１００は、その撮像装置１００と所定の位置関係になるように配置されたイメージセンサが出力する画像を、入力Ｉ／Ｆ１２６で受け取ることができる。この場合、ＤＳＰ１２２の信号処理としては、例えば、入力Ｉ／Ｆ１２６で受け取った画像と、撮像画像とをステレオ画像として用いた自己位置推定処理（ＳＬＡＭ(Simultaneously Localizationand Mapping)）を採用することができる。

【0097】

図５は、第１の実施形態に係るネットワーク制御部２０の機能を説明するための一例の機能ブロック図である。より詳細には、図５では、図１を用いて説明したネットワーク制御部２０の機能を示している。

【0098】

なお、図５において、デバイス群２１は、図１に示した第１プロセッサ１１や第２プロセッサ１２、あるいは、図３に示した撮像装置１００などの、ネットワーク制御部２０が出力するネットワークを受け取る１以上のデバイスを含む。また、デバイス群２１に含まれる各デバイスは、ネットワーク制御部２０から受け取ったネットワークによる処理を実行するためのプロセッサをそれぞれ含む。

【0099】

図５において、ネットワーク制御部２０は、解析部２００と、分割部２０１と、送信部２０２と、学習部２０３と、を含む。これらのうち、学習部２０３は、省略することができる。

【0100】

これらネットワーク制御部２０に含まれる解析部２００、分割部２０１、送信部２０２および学習部２０３は、ＣＰＵ上で第１の実施形態に係る情報処理プログラムが実行されることで構成される。これに限らず、これら解析部２００、分割部２０１、送信部２０２および学習部２０３の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

【0101】

ネットワーク制御部２０にタスクが入力される。タスクは、例えばタスクが用いるニューラルネットワークによるモデルとして入力される。ネットワーク制御部２０に入力されたタスクは、解析部２００と学習部２０３とに渡される。

【0102】

解析部２００は、渡されたタスクを解析する。例えば、解析部２００は、タスクを解析することで、タスクにおいて前段で行われる処理と前段の処理結果に基づき後段で行われる処理と、を抽出する。解析部２００による解析結果は、ネットワーク制御部２０に入力されたタスクと共に、分割部２０１に渡される。

【0103】

タスクを２つのタスクに分割する場合、分割部２０１は、解析部２００から渡された解析結果に基づき、タスクを前段のネットワーク（第１のネットワーク）と、後段のネットワーク（第２のネットワーク）とに分割する。分割部２０１は、さらに、第１のネットワークおよび第２のネットワークのそれぞれを適用するプロセッサを、デバイス群２１に含まれるプロセッサから決定する。デバイス群２１は、例えば撮像装置１００や、撮像装置１００の出力に対して信号処理などを行う信号処理装置などを含む。

【0104】

この例では、分割部２０１は、図１を参照して説明した、入力データが入力される第１プロセッサ１１を、第１のネットワークを適用するプロセッサとして決定する。また、第１プロセッサ１１の出力が入力される第２プロセッサ１２を、第２のネットワークを適用するプロセッサとして決定する。

【0105】

分割部２０１は、ネットワーク制御部２０に入力されタスクが分割された第１のネットワークおよび第２のネットワークと、これら第１のネットワークおよび第２のネットワークが適用されるプロセッサを示す情報とを送信部２０２に渡す。

【0106】

送信部２０２は、分割部２０１から渡された第１のネットワークおよび第２のネットワークを、それぞれに決定されたプロセッサに送信する。例えば、送信部２０２は、デバイス群２１に含まれる各デバイスに含まれるプロセッサのうち、第１のネットワークおよび第２のネットワークのそれぞれに決定されたプロセッサに送信する。この例では、送信部２０２は、第１のネットワークを第１プロセッサ１１に送信し、第２のネットワークを第２プロセッサ１２に送信する。

【0107】

デバイス群２１に含まれ、第１のネットワークおよび第２のネットワークが適用された各プロセッサは、例えば第１のネットワークおよび第２のネットワークのうち少なくとも一方の処理結果をネットワーク制御部２０に返すことができる。当該処理結果は、ネットワーク制御部２０において学習部２０３に渡される。

【0108】

学習部２０３は、渡された処理結果を用いて、ネットワーク制御部２０にタスクとして入力されたネットワークを再学習させることができる。学習部２０３は、再学習されたネットワークを、解析部２００に渡す。解析部２００は、学習部２０３から渡された、再学習されたネットワークを解析し、分割部２０１は、再学習されたネットワークを分割し、第１のネットワークおよび第２のネットワークを更新する。

【0109】

図６は、第１の実施形態に係るネットワーク制御部２０を構成可能なサーバの一例のハードウェア構成を示すブロック図である。

【0110】

図６において、サーバ２０００は、互いにバス２０２０で通信可能に接続された、ＣＰＵ２０１０と、ＲＯＭ(Read Only Memory)２０１１と、ＲＡＭ(Random Access Memory)２０１２と、表示デバイス２０１３と、ストレージ装置２０１４と、データＩ／Ｆ２０１５と、通信Ｉ／Ｆ２０１６と、入力デバイス２０１７と、を含む。

【0111】

ストレージ装置２０１４は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体である。ＣＰＵ２０１０は、ストレージ装置２０１４やＲＯＭ２０１１に記憶されるプログラムに従い、ＲＡＭ２０１２をワークメモリとして用いてこのサーバ２０００の全体の動作を制御する。

【0112】

表示デバイス２０１３は、画像を表示するディスプレイ装置と、ＣＰＵ２０１０により生成された表示制御信号をディスプレイ装置が表示可能な表示信号に変換する表示制御部とを含む。入力デバイス２０１７は、ユーザ入力を受け付けるもので、マウスなどのポインティングデバイスや、キーボードなどを適用することができる。入力デバイス２０１７として適用可能なデバイスは、これらに限定されない。

【0113】

データＩ／Ｆ２０１５は、外部機器との間でデータの入出力を行うためのインタフェースである。データＩ／Ｆ２０１５としては、ＵＳＢ(Universal Serial Bus)などを適用できるが、適用可能なインタフェース方式は特に限定されない。通信Ｉ／Ｆ２０１６は、インターネットなどの通信ネットワークを介した通信を制御する。

【0114】

このように、サーバ２０００は、ＣＰＵ２０１０、ＲＯＭ２０１１、ＲＡＭ２０１２などを含み、一般的なコンピュータとして構成される。これに限らず、サーバ２０００を、クラウドコンピューティングによるクラウドコンピューティングサービスを利用して構成してもよい。

【0115】

サーバ２０００において、ＣＰＵ２０１０は、第１の実施形態に係る機能を実現するための情報処理プログラムが実行されることで、上述した解析部２００、分割部２０１、送信部２０２および学習部２０３を、ＲＡＭ２０１２における主記憶領域上に、それぞれ例えばモジュールとして構成する。

【0116】

当該情報処理プログラムは、例えば通信Ｉ／Ｆ２０１６を介した通信により、図示されない通信ネットワークを介して外部から取得し、当該サーバ２０００上にインストールすることが可能とされている。これに限らず、当該情報処理プログラムは、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＵＳＢ(Universal Serial Bus)メモリといった着脱可能な記憶媒体に記憶されて提供されてもよい。

【0117】

（１－３．第１の実施形態に係るシステム構成）
次に、第１の実施形態に係るシステム構成について説明する。

【0118】

図７Ａ～図７Ｃは、第１の実施形態に係るシステム構成の第１～第３の例を概略的に示す模式図である。図７Ａ～図７Ｃにおいて、第１演算機４０、第２演算機４１および第３演算機４２は、それぞれＣＰＵ、ＭＰＵあるいはＭＣＵといった演算器を備え、プログラムに従いデータ処理などの演算を行う情報処理装置としての構成を有してよい。

【0119】

また、ネットワークが分割された第１のネットワークによる処理を、当該ネットワークにおける第１フェイズの処理、第２のネットワークによる処理を、当該ネットワークにおける第２フェイズの処理とする。図７Ａ～図７Ｃにおいて、第１プロセッサ１１は、第１フェイズの処理を実行するフェイズ＃１実行部とされ、第２プロセッサ１２は、第２フェイズの処理を実行するフェイズ＃２実行部とされている。

【0120】

図７Ａは、図１に示した情報処理システム１における、第１プロセッサ１１と第２プロセッサ１２とネットワーク制御部２０とが、それぞれ異なる演算機において構成される例である。より具体的には、第１プロセッサ１１が第１演算機４０において構成され、第２プロセッサ１２が第２演算機４１において構成され、ネットワーク制御部２０が第３演算機４２において構成される。第３演算機４２は、第１演算機４０および第２演算機４１と、有線あるいは無線通信を介して接続される。また、第１演算機４０と第２演算機４１とが有線あるいは無線通信を介して接続される。

【0121】

図７Ｂは、図１に示した情報処理システム１における、第１プロセッサ１１と第２プロセッサ１２とが第１演算機４０において構成され、ネットワーク制御部２０が第３演算機４２において構成される例である。第１演算機４０において、第１プロセッサ１１と第２プロセッサ１２とが内部的に接続される。また、第３演算機４２と第１演算機４０とが有線あるいは無線通信を介して接続される。図７Ｂに示す構成は、上述した図７Ａに示す構成と比較して、第１プロセッサ１１と第２プロセッサ１２との間でのデータ伝送を、より高速とすることができる。

【0122】

図７Ｃは、図１に示した情報処理システム１における、第１プロセッサ１１が第１演算機４０において構成され、第２プロセッサ１２およびネットワーク制御部２０が第２演算機４１において構成される例である。第１演算機４０と第２演算機４１とが有線あるいは無線通信を介して接続される。また、第２演算機４１において、第２プロセッサ１２とネットワーク制御部２０とが内部的に接続される。図７Ｃに示す構成において、第２演算機４１を例えばより高機能な情報処理装置（サーバ２０００など）とすることで、第２プロセッサ１２によるフェイズ#２実行部による処理を、より高速化あるいは高機能化することができる。

【0123】

図８Ａ～図８Ｇを用いて、第１の実施形態に係るシステム構成の第１～第７の例について、より具体的に説明する。なお、図８Ａ～図８Ｇに示される各システム構成は、図１に示した情報処理システム１が取り得る構成の例を示している。また、図８Ａ～と、図８Ｇでは、図１におけるネットワーク制御部２０が省略されている。

【0124】

なお、図８Ａ～図８Ｄにおける撮像装置１５０、および、図８Ｅ～図８Ｇにおける撮像装置１００は、例えば監視カメラといった、設置場所が固定的とされ人や物に対する認識処理を行うための撮像を行う用途を想定している。撮像装置１００および１５０の用途は監視カメラに限定されるものではなく、車載カメラや携帯可能なカメラであってもよい。

【0125】

図８Ａは、図１に示した情報処理システム１における、センシングデバイス１０と、第１プロセッサ１１により実行される第１のネットワーク（第１ＤＮＮ５１）と、第２プロセッサ１２により実行される第２のネットワーク（第２ＤＮＮ５２）と、を含む撮像装置１５０によるシステム構成の例である。すなわち、撮像装置１５０は、センシングデバイス１０と、第１ＤＮＮ５１による処理を実行する第１プロセッサ１１（図示しない）と、第２ＤＮＮ５２による処理を実行する第２プロセッサ１２（図示しない）と、が１つの筐体内に収められて構成される。撮像装置１５０の出力は、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０へと出力される。一例として、撮像装置１５０の出力は、当該撮像装置１５０の外部に出力され、例えばユーザに提供される。

【0126】

なお、図８Ａの構成において、第１ＤＮＮ５１および第２ＤＮＮ５２の少なくとも一方の処理結果、さらには、アプリケーション実行部３０の処理結果に基づき、センシングデバイス１０の制御を行うようにできる。また、第２ＤＮＮ５２による処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）を変更するようにできる。さらに、アプリケーション実行部３０の処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）や第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。

【0127】

図８Ｂは、図１に示した情報処理システム１におけるセンシングデバイス１０、第１ＤＮＮ５１および第２ＤＮＮ５２を含む撮像装置１５０の出力が、情報処理装置３００ａに送信されるシステム構成の例である。情報処理装置３００ａは、プロセッサ３０２とストレージ装置３０３とを含む。情報処理装置３００ａは、さらに、撮像装置１５０の出力に対して所定の信号処理を実行する信号処理部３０１を含む。信号処理部３０１は、例えば第１ＤＮＮ５１および第２ＤＮＮ５２の他のＤＮＮ、あるいは、アプリケーションプログラムにより構成される。信号処理部３０１は、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０に対応させることができる。このように、アプリケーション実行部３０は、ＤＮＮであってもよい。信号処理部３０１による処理結果は、情報処理装置３００ａの外部に出力され、例えばユーザに提供される。信号処理部３０１による処理結果をストレージ装置３０３に格納してもよい。

【0128】

なお、図８Ｂの構成において、第１ＤＮＮ５１および第２ＤＮＮ５２の少なくとも一方の処理結果、さらには、信号処理部３０１の処理結果に基づき、センシングデバイス１０の制御を行うようにできる。また、第２ＤＮＮ５２による処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）を変更するようにできる。さらに、信号処理部３０１の処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）や第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。さらにまた、情報処理装置３００ａの出力が供給される外部における処理結果に基づき、センシングデバイス１０の制御や、第１ＤＮＮ５１（第１のネットワーク）の変更、第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。

【0129】

図８Ｃは、図８Ｂにおける信号処理部３０１が、クラウドコンピューティングサービスにより提供されるクラウドネットワーク３１０上に構成されるシステム構成の例である。なお、クラウドコンピューティングサービスは、換言すれば、コンピュータネットワークを経由してコンピュータ資源を提供するサービスである。

【0130】

撮像装置１５０の出力は、インターネットやイントラネットなどの有線あるいは無線通信を介してクラウドネットワーク３１０に送信され、信号処理部３０１に入力される。信号処理部３０１は、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０に対応させることができる。信号処理部３０１による処理結果は、例えばクラウドネットワーク３１０の外部に出力され、例えばユーザに提供される。信号処理部３０１による処理結果を、クラウドネットワーク３１０が有する図示されないストレージ装置に格納してもよい。

【0131】

なお、図８Ｃの構成において、第１ＤＮＮ５１および第２ＤＮＮ５２の少なくとも一方の処理結果、さらには、信号処理部３０１の処理結果に基づき、センシングデバイス１０の制御を行うようにできる。また、第２ＤＮＮ５２による処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）を変更するようにできる。さらに、信号処理部３０１の処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）や第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。さらにまた、情報処理装置３００ａの出力が供給される外部における処理結果に基づき、センシングデバイス１０の制御や、第１ＤＮＮ５１（第１のネットワーク）の変更、第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。

【0132】

図８Ｄは、図８Ｂの構成に対して、さらに、クラウドコンピューティングサービスにより提供されるクラウドネットワーク３１０上に構成される信号処理部３０１ｂが追加されたシステム構成の例である。信号処理部３０１ｂは、情報処理装置３００ａにおける信号処理部３０１ａに対して、さらに他のＤＮＮあるいはアプリケーションプログラムにより構成される。

【0133】

情報処理装置３００ａにおける信号処理部３０１ａによる処理結果は、インターネットやイントラネットなどの有線あるいは無線通信を介してクラウドネットワーク３１０に送信され、信号処理部３０１ｂに入力される。情報処理装置３００ａは、信号処理部３０１ａから出力された処理結果を直接的にクラウドネットワーク３１０に送信してもよいし、ストレージ装置３０３から処理結果を読み出してクラウドネットワーク３１０に送信してもよい。

【0134】

信号処理部３０１ｂによる処理結果は、例えばクラウドネットワーク３１０の外部に出力され、例えばユーザに提供される。信号処理部３０１ｂによる処理結果を、クラウドネットワーク３１０が有する図示されないストレージ装置に格納してもよい。

【0135】

図８Ｄの例において、情報処理装置３００ａにおける信号処理部３０１ａは、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０に対応させることができる。これに限らず、図８Ｄの例において、信号処理部３０１ａと、クラウドネットワーク３１０上に構成される信号処理部３０１ｂとを含めて、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０としてもよい。

【0136】

なお、図８Ｄの構成において、第１ＤＮＮ５１および第２ＤＮＮ５２の少なくとも一方の処理結果、さらには、信号処理部３０１ａあるいは３０１ｂの処理結果に基づき、センシングデバイス１０の制御を行うようにできる。また、第２ＤＮＮ５２による処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）を変更するようにできる。さらに、信号処理部３０１ａおよび３０１ｂの少なくとも一方の処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）や第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。さらにまた、クラウドネットワーク３１０の出力が供給される外部における処理結果に基づき、センシングデバイス１０の制御や、第１ＤＮＮ５１（第１のネットワーク）の変更、第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。

【0137】

図８Ｅは、図３を用いて説明した撮像装置１００と、情報処理装置３００ｂとを含むシステム構成の例を示している。図８Ｅの例では、撮像装置１００が、図１に示した情報処理システム１におけるセンシングデバイス１０および第１ＤＮＮ５１を含み、第１ＤＮＮ５１の出力に対して処理を実行する第２ＤＮＮ５２が、撮像装置１００の外部の情報処理装置３００ｂに搭載されている。この例の場合、撮像装置１００は、センシングデバイス１０と、第１ＤＮＮ５１による処理を実行する第１プロセッサ１１（図示しない）と、が１つの筐体内に収められて構成される。

【0138】

図８Ｅにおいて、情報処理装置３００ｂは、プロセッサ３０２とストレージ装置３０３とを含む。情報処理装置３００ｂにおいて、プロセッサ３０２は、第２ＤＮＮ５２が構成され、第２プロセッサ１２の機能を含むことができる。

【0139】

撮像装置１００の出力が、例えば有線あるいは無線通信を介して情報処理装置３００ｂに送信され、第２ＤＮＮ５２に入力される。第２ＤＮＮ５２の出力は、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０へと出力される。一例として、第２ＤＮＮ５２の出力が信号処理部３０１ａに渡される。信号処理部３０１ａは、例えば第１ＤＮＮ５１および第２ＤＮＮ５２の他のＤＮＮ、あるいは、アプリケーションプログラムにより構成される。信号処理部３０１ａは、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０に対応させることができる。信号処理部３０１ａによる処理結果は、情報処理装置３００ｂの外部に出力され、例えばユーザに提供される。信号処理部３０１ａによる処理結果をストレージ装置３０３に格納してもよい。

【0140】

なお、図８Ｅの構成において、第１ＤＮＮ５１および第２ＤＮＮ５２の少なくとも一方の処理結果、さらには、信号処理部３０１ａの処理結果に基づき、センシングデバイス１０の制御を行うようにできる。また、第２ＤＮＮ５２による処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）を変更するようにできる。さらに、信号処理部３０１ａの処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）や第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。さらにまた、情報処理装置３００ｂの出力が供給される外部における処理結果に基づき、センシングデバイス１０の制御や、第１ＤＮＮ５１（第１のネットワーク）の変更、第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。

【0141】

図８Ｆは、図３を用いて説明した撮像装置１００と、クラウドネットワーク３１０とを含むシステム構成の例を示している。図８Ｆの例では、撮像装置１００が、図１に示した情報処理システム１におけるセンシングデバイス１０および第１ＤＮＮ５１を含み、図８Ｅにおける第２ＤＮＮ５２および信号処理部３０１ａがクラウドコンピューティングサービスにより提供されるクラウドネットワーク３１０上に構成される例である。クラウドネットワーク３１０は、第２プロセッサ１２、あるいは、第２プロセッサ１２の機能を実現可能な他のプロセッサを含み、第２ＤＮＮ５２は、第２プロセッサ１２あるいは当該他のプロセッサにおいて構成される。

【0142】

撮像装置１００の出力は、インターネットやイントラネットなどの有線あるいは無線通信を介してクラウドネットワーク３１０に送信され、第２ＤＮＮ５２に入力される。第２ＤＮＮ５２による処理結果は、信号処理部３０１ａに入力される。信号処理部３０１ａは、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０に対応させることができる。信号処理部３０１ａによる処理結果は、クラウドネットワーク３１０の外部に出力され、例えばユーザに提供される。信号処理部３０１ａによる処理結果を、クラウドネットワーク３１０が有する図示されないストレージ装置に格納してもよい。

【0143】

なお、図８Ｆの構成において、第１ＤＮＮ５１および第２ＤＮＮ５２の少なくとも一方の処理結果、さらには、信号処理部３０１ａの処理結果に基づき、センシングデバイス１０の制御を行うようにできる。また、第２ＤＮＮ５２による処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）を変更するようにできる。さらに、信号処理部３０１ａの処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）や第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。さらにまた、クラウドネットワーク３１０の出力が供給される外部における処理結果に基づき、センシングデバイス１０の制御や、第１ＤＮＮ５１（第１のネットワーク）の変更、第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。

【0144】

図８Ｇは、図８Ｅの構成に対して、さらに、クラウドコンピューティングサービスにより提供されるクラウドネットワーク３１０上に構成される信号処理部３０１ｂが追加されたシステム構成の例である。信号処理部３０１ｂは、情報処理装置３００ｂにおける信号処理部３０１ａに対して、さらに他のＤＮＮあるいはアプリケーションプログラムにより構成される。

【0145】

情報処理装置３００ｂにおける信号処理部３０１ａによる処理結果は、インターネットやイントラネットなどの有線あるいは無線通信を介してクラウドネットワーク３１０に送信され、信号処理部３０１ｂに入力される。情報処理装置３００ｂは、信号処理部３０１ａから出力された処理結果を直接的にクラウドネットワーク３１０に送信してもよいし、ストレージ装置３０３から処理結果を読み出してクラウドネットワーク３１０に送信してもよい。

【0146】

信号処理部３０１ｂによる処理結果は、クラウドネットワーク３１０の外部に出力され、例えばユーザに提供される。信号処理部３０１ｂによる処理結果を、クラウドネットワーク３１０が有する図示されないストレージ装置に格納してもよい。

【0147】

図８Ｇの例において、情報処理装置３００ｂにおける信号処理部３０１ａは、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０に対応させることができる。これに限らず、図８Ｇの例において、信号処理部３０１ａと、クラウドネットワーク３１０上に構成される信号処理部３０１ｂとを含めて、図１を用いて説明した情報処理システム１におけるアプリケーション実行部３０としてもよい。

【0148】

なお、図８Ｇの構成において、第１ＤＮＮ５１および第２ＤＮＮ５２の少なくとも一方の処理結果、さらには、信号処理部３０１ａあるいは３０１ｂの処理結果に基づき、センシングデバイス１０の制御を行うようにできる。また、第２ＤＮＮ５２による処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）を変更するようにできる。さらに、信号処理部３０１ａおよび３０１ｂの少なくとも一方の処理結果に基づき第１ＤＮＮ５１（第１のネットワーク）や第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。さらにまた、クラウドネットワーク３１０の出力が供給される外部における処理結果に基づき、センシングデバイス１０の制御や、第１ＤＮＮ５１（第１のネットワーク）の変更、第２ＤＮＮ５２（第２のネットワーク）を変更するようにもできる。

【0149】

（２．第２の実施形態）
次に、本開示の第２の実施形態について説明する。第２の実施形態では、ネットワークに対して要求される性能（要求性能と呼ぶ）に基づき、ネットワークを複数のネットワークに分割する。

【0150】

要求性能は、ハードウェア要素に関して要求される性能と、ネットワークから出力される出力データに対する処理を実行するアプリケーションにより当該出力データに要求されるアプリケーション要素に対して要求される性能と、のうち少なくとも一方を含む。

【0151】

（２－１．既存技術について）
第２の実施形態の説明に先んじて、理解を容易とするために、第２の実施形態に関する既存技術について説明する。

【0152】

図９は、第２の実施形態に関する既存技術を説明するための模式図である。図９において、ＤＮＮ（ＤＮＮモデル）の搭載対象のデバイスとしてのスマートカメラ１１００と、クラウドネットワークあるいはサーバ上に構成され、スマートカメラ１１００と通信ネットワークを介して通信を行うネットワーク制御部１０００とを含むスマートカメラシステムを考える。スマートカメラ１１００は、ＤＮＮによる処理を実行するＤＮＮプロセッサ１１１０を含む。

【0153】

スマートカメラ１１００は、ＣＩＳによる撮像装置１００と、撮像装置１００から出力された出力データに対する処理や、撮像装置１００の制御を行うホスト部１４０とを含む。また、撮像装置１００は、ＤＮＮによる処理を実行するＤＮＮプロセッサ１１１０と、容量のうち例えば８ＭＢ（メガバイト）をＤＮＮプロセッサ１１１０による処理に使用可能なメモリと、を含む。また、ネットワーク制御部１０００は、例えばクラウドネットワークあるいはサーバ上に構成され、ＤＳＰコンバータ１０１１と、パッケージャ１０１２とを含む。

【0154】

ネットワーク制御部１０００に対して、スマートカメラ１１００のＤＮＮプロセッサ１１１０に搭載するＤＮＮ５０が入力され、ＤＳＰコンバータ１０１１に渡される。ＤＳＰコンバータ１０１１は、ＤＮＮ５０をＤＮＮプロセッサ１１１０が実行可能な形式に変換する。また、ＤＳＰコンバータ１０１１は、変換されたＤＮＮ５０に対して、スマートカメラ１１００においてＤＮＮプロセッサ１１１０に接続されるメモリの容量内に収まるように、最適化を行う。

【0155】

形式の変換および最適化されたＤＮＮ５０（以下、最適化ＤＮＮと呼ぶ）は、パッケージャ１０１２により暗号化およびパッケージ化され、スマートカメラ１１００に送信される。スマートカメラ１１００においてホスト部１４０は、ネットワーク制御部１０００から送信された変換ＤＮＮをＤＮＮプロセッサ１１１０に接続されるメモリに転送し、ＤＮＮプロセッサ１１１０に対して最適化ＤＮＮを搭載する。

【0156】

このようなシステムにおいて、ＤＳＰコンバータ１０１１は、最適化ＤＮＮのデータサイズが、ＤＮＮプロセッサ１１１０に接続されるメモリの容量より大きい場合、エラーを返す。図９の例では、当該メモリにおいてＤＮＮプロセッサ１１１０が使用可能な容量が８ＭＢであり、ＤＳＰコンバータ１０１１は、当該データサイズが８ＭＢを超える場合に、エラーを返す。エラーが返された場合、最適化ＤＮＮは、ＤＮＮプロセッサ１１１０に搭載されない。

【0157】

また、既存技術によれば、スマートカメラ１１００のホスト部１４０、あるいは、クラウドネットワークにおいて最適化ＤＮＮの一部が実行可能である場合であっても、ＤＳＰコンバータ１０１１においてその点が自動的に考慮されない。このように、既存技術によれば、ＤＳＰコンバータ１０１１が最適化ＤＮＮを搭載できないというエラーを返すため、スマートカメラ１１００が機能している場合であっても、多くのＤＮＮの実行が制限される。

【0158】

別の方法として、ユーザ側でＤＮＮを手動で分割してデバイス（この例ではスマートカメラ１１００）の制約に適合させ、ＤＮＮにおいて前段処理を行う部分をＤＮＮプロセッサ１１１０において実行し、後段の部分をホスト部１４０において実行させることが考えられる。

【0159】

しかしながら、一般的に、ユーザ側やＤＮＮ５０の開発者が認識していない、仕様が異なる様々なタイプのデバイスが存在する可能性がある。したがって、ＤＮＮ５０を手動にて効率的に分割して、システム内の様々なプロセッサやコンポーネントで実行させることは、極めて困難であると考えられる。また、システムの制約に基づき、特定のアプリケーションに対して、ＤＮＮを異なる方法で分割する必要が生じる可能性もある。

【0160】

そのため、本開示の第２の実施形態では、デバイスに搭載すべきＤＮＮ５０を、ＤＮＮ５０による処理の実行に対して要求される性能（要求性能）に基づき分割する。これにより、例えばスマートカメラ１１００において、撮像装置１００が有するＤＮＮプロセッサ１１１０と、ホスト部１４０とに、それぞれ適切にＤＮＮ搭載することができ、システムとして、より高度なＤＮＮによる処理を実行させることが可能となる。

【0161】

（２－２．第２の実施形態に係る構成および処理）
次に、第２の実施形態に係る構成および処理について説明する。

【0162】

図１０は、第２の実施形態に係る情報処理システムとしてのスマートカメラシステムの機能を説明するための一例の機能ブロック図である。

【0163】

図１０の例では、スマートカメラシステム２は、ネットワーク制御部２０と、スマートカメラ１１００ａ、１１００ｂおよび１１００ｃと、を含む。なお、図１０において、各スマートカメラ１１００ａ、１１００ｂおよび１１００ｃは、構成の異なる複数のスマートカメラを例示したものであって、スマートカメラシステム２がこれら全てのスマートカメラを含んでいる必要はない。

【0164】

スマートカメラ１１００ａ、１１００ｂおよび１１００ｃは、それぞれ、ＤＮＮプロセッサ１１１０と、容量のうち例えば８ＭＢをＤＮＮプロセッサ１１１０による処理に使用可能なメモリ（図示しない）と、を含む撮像装置１００を有する。各ＤＮＮプロセッサ１１１０は、それぞれ第１プロセッサ１１の機能を含んでよい。

【0165】

撮像装置１００は、例えば図３に示した撮像装置１００の構成を有していてよい。この場合、ＤＮＮプロセッサ１１１０は、ＤＳＰ１２２、あるいは、ＤＳＰ１２２およびＣＰＵ１２１を適用させてよい。また、ＤＮＮプロセッサ１１１０による処理に使用可能なメモリは、メモリ１２３としてもよいし、例えばＤＳＰ１２２に当該メモリを含めてもよい。

【0166】

また、スマートカメラ１１００ａ、１１００ｂおよび１１００ｃのそれぞれは、それぞれが含む撮像装置１００の出力に対する処理や、撮像装置１００の動作の制御を行うホスト部１４０ａ、１４０ｂおよび１４０ｃを含む。図１０の例では、ホスト部１４０ａは、プロセッサとしてＭＣＵ１４１を含み、ホスト部１４０ｂは、プロセッサとしてＭＰＵ１４２を含む。また、ホスト部１４０ｃは、プロセッサとしてＭＰＵ１４２およびＡＣＣＬ（アクセラレータ）１４３を含む。ＡＣＣＬ１４３は、ＤＮＮ処理が可能なハードウェア回路である。

【0167】

ホスト部１４０ａおよび１４０ｂが含むＭＣＵ１４１およびＭＰＵ１４２は、それぞれ第２プロセッサ１２の機能を含んでよい。また、ホスト部１４０ｃが含むＭＰＵ１４２およびＡＣＣＬ１４３は、協働して、あるいは、何れか一方が第２プロセッサ１２の機能を含んでよい。

【0168】

以下では、特に記載の無い限り、スマートカメラ１１００ａ、１１００ｂおよび１１００ｃのうち、スマートカメラ１１００ａがＤＮＮ５０を搭載するターゲットとなるターゲットデバイスであるものとして説明を行う。

【0169】

図１０において、ネットワーク制御部２０は、最適化部２２０と、デバイス設定データベース２２１と、互換性テスト処理部２２２と、パッケージャ２２３と、ＤＮＮ実行部２２４と、ＣＩＳコンバータ２２５と、ホスト部ＤＮＮコンバータ２２６と、を含む。なお、これらのうち、デバイス設定データベース２２１およびＤＮＮ実行部２２４は、ネットワーク制御部２０の外部の構成としてもよい。

【0170】

ＣＩＳコンバータ２２５は、入力されたＤＮＮをＤＮＮプロセッサ１１１０が実行可能な形式に変換する。このとき、ＣＩＳコンバータ２２５は、入力されたＤＮＮによる処理をＤＮＮプロセッサ１１１０上で実行させた場合の性能維持指標（ＫＰＩ：Key Performance Indicator）を算出する。ここで算出される性能維持指標は、入力されたＤＮＮによる処理に対して要求される性能（要求性能）である。

【0171】

ホスト部ＤＮＮコンバータ２２６は、入力されたＤＮＮをホスト部１４０ａ（ＭＣＵ１４１）が実行可能な形式に変換する。

【0172】

デバイス設定データベース２２１は、ターゲットデバイスの能力を示すターゲットデバイス能力情報が格納される。

【0173】

最適化部２２０に対して、スマートカメラシステム２において動作させる対象のＤＮＮ５０が入力される。

【0174】

最適化部２２０は、最適化アルゴリズム２３０を用いて、入力されたＤＮＮ５０のどの部分をスマートカメラシステム２上のどのハードウェアコンポーネント上で動作させるかを決定する。最適化アルゴリズム２３０は、ＤＮＮ５０を効率的に分割するために、各ハードウェアの能力（ハードウェア要素）に加えて、ＤＮＮ５０による処理の出力を使用するアプリケーションの要件（アプリケーション要素）も考慮する。アプリケーション要素の例としては、当該アプリケーションが要求するフレームレート、伝送サイズ、アプリケーションにおけるコンポーネント間のコスト、などがある。

【0175】

より具体的には、最適化部２２０は、入力されたＤＮＮ５０をＣＩＳコンバータ２２５に渡す。ＣＩＳコンバータ２２５は、渡されたＤＮＮ５０に基づき性能維持指標を求め、最適化部２２０に返す。

【0176】

また、最適化部２２０は、ターゲットデバイスタイプ、アプリケーションパラメータおよびユーザフラグが入力される。

【0177】

ターゲットデバイスタイプは、ターゲットデバイスの種類を示す。アプリケーションパラメータは、ターゲットデバイスの出力を利用するアプリケーションにおいて、当該出力に対する要件を指定するためのパラメータである。アプリケーションパラメータは、例えばターゲットデバイスの出力のフレームレート、当該出力に対するアプリケーションにおける総処理時間、アプリケーションにおけるその他の制約、のうち少なくとも１つを含む。

【0178】

ユーザフラグは、ユーザが当該スマートカメラシステムにおける特定のコンポーネント上でＤＮＮを実行する際の優先権を持っているか否かを指定する。例えば、ユーザフラグにより、ＤＮＮを、スマートカメラ１１００ａのＤＮＮプロセッサ１１１０のみで実行するか、ホスト部１４０ａのみで実行するか、ＤＮＮプロセッサ１１１０とホスト部１４０ａとで実行するか、あるいは、ホスト部１４０ａとクラウドネットワークとで実行するか、などが指定される。

【0179】

このユーザフラグによる指定は、例えば、スマートカメラ１１００ａの出力に対してユーザが利用するアプリケーションがプライバシーを重視し、ＤＮＮによる処理をＤＮＮプロセッサ１１１０（撮像装置１００）のような特定のコンポーネント上でのみ実行させたい場合などに、必要となる。

【0180】

これらターゲットデバイスタイプ、アプリケーションパラメータおよびユーザフラグは、ユーザにより指定されてよい。

【0181】

さらに、最適化部２２０は、デバイス設定データベース２２１から、ターゲットデバイス能力情報を取得する。ターゲットデバイス能力情報は、ターゲットデバイス（スマートカメラ１１００ａとする）に関する様々な情報が含まれる。

【0182】

ターゲットデバイス能力情報は、例えば下記の各情報を少なくとも１つ、含むことができる。
・ターゲットデバイスのホスト部１４０ａにおけるプロセッサの種類（ＣＰＵ、ＭＰＵ、ＭＣＵ）、動作周波数など、ハードウェア面での能力。
・ターゲットデバイスの電力制約。
・ターゲットデバイスのホスト部１４０と撮像装置１００との間のインタフェース種類（ＳＰＩおよび／またはＭＩＰＩ）と、その仕様。
・ホスト部１４０ａにおいてＤＮＮアクセラレータが利用可能か、利用可能な場合はその仕様。
・ＤＮＮの実行時に利用可能なランタイムメモリ。
・ホスト部１４０ａに適用されるライブラリ、フレームワーク、シングルまたはマルチスレッドか、といったソフトウェア機能。
・ホスト部１４０ａとクラウドネットワーク（サーバ）との間のインタフェース（有線、無線）の転送速度など。
・ＤＮＮレイヤタイプの実行精度。畳み込みなどの処理を行う一部のレイヤは、固定小数点演算を行うハードウェアアクセラレータに実行させ、より高精度が要求される処理を行う一部のレイヤは、浮動小数点演算をクラウドネットワークやＭＰＵにおいて実行させると、ＤＮＮの全体的な精度を向上させることが可能となる。

【0183】

最適化部２２０は、上述した各情報（ターゲットデバイスタイプ、アプリケーションパラメータ、ユーザフラグ、ターゲットデバイス能力情報、性能維持指標）に基づき、最適化アルゴリズム２３０を用いて、ＤＮＮ５０のどの部分を、スマートカメラシステム２におけるどのハードウェアコンポーネント上で動作させるかを決定する。最適化部２２０は、この決定に従い、ＤＮＮ５０を分割する。

【0184】

例えば、最適化部２２０は、ＤＮＮ５０を、ＤＮＮプロセッサ１１１０で実行される第１のネットワークと、ホスト部１４０ａ（ＭＣＵ１４１）で実行される第２のネットワークと、サーバあるいはクラウドネットワークで実行される第３のネットワークと、に分割する。ここで、最適化部２２０は、例えば分割された第１のネットワークと第２のネットワークとが、パイプライン処理により時間的に連続して処理可能となるように、ＤＮＮ５０の分割位置を決定することができる。

【0185】

互換性テスト処理部２２２は、最適化部２２０においてＤＮＮ５０が分割された第１、第２および第３のネットワークの、これら第１、第２および第３のネットワークが適用される各コンポーネント（ＤＮＮプロセッサ１１１０、ホスト部１４０ａ（ＭＣＵ１４１）、サーバあるいはクラウドネットワーク）に対する互換性が、ＤＳＰ処理２４０、ホスト部処理２４１およびサーバ処理２４２によりそれぞれテストされる。互換性テスト処理部２２２は、例えばシミュレーションにより、各テストを実行してよい。

【0186】

また、互換性テスト処理部２２２は、テストの結果に基づき性能維持指標（ＫＰＩ）を求め、求めた性能維持指標を例えばユーザに提示する。

【0187】

ＣＩＳコンバータ２２５は、ＤＳＰ処理２４０により互換性に問題無いとされた第１のネットワークを、ＤＮＮプロセッサ１１１０が実行可能な形式に変換する。ホスト部ＤＮＮコンバータ２２６は、ホスト部処理２４１により互換性に問題無いとされた第２のネットワークを、ホスト部１４０ａ（ＭＣＵ１４１）が実行可能な形式に変換する。

【0188】

パッケージャ２２３は、ＣＩＳコンバータ２２５により変換された第１のネットワークと、ホスト部ＤＮＮコンバータ２２６により変換された第２のネットワークと、を暗号化およびパッケージ化して、スマートカメラ１１００ａに送信する。また、パッケージャ２２３は、サーバ処理２４２により互換性に問題無いとされた第３のネットワークについては、ＤＮＮ実行部２２４に渡す。

【0189】

スマートカメラ１１００ａは、パッケージャ２２３から渡された、変換された第１のネットワークを、ＤＮＮプロセッサ１１１０に接続されるメモリに転送し、ＤＮＮプロセッサ１１１０に対して第１のネットワークを搭載する。同様に、スマートカメラ１１００ａは、パッケージャ２２３から渡された、変換された第２のネットワークを、ホスト部１４０ａに渡し、ホスト部１４０ａ（ＭＣＵ１４１）に対して第２のネットワークを搭載する。

【0190】

図１１は、第２の実施形態に係る処理の流れを説明するための模式図である。なお、図１１における各部は、上述した図１０の各部と同一であるので、ここでの説明を省略する。

【0191】

ステップＳ１０ａで、最適化部２２０に対して、ＤＮＮ５０が入力される。また、ステップＳ１０ｂで、最適化部２２０に対して、ターゲットデバイスタイプ、アプリケーションパラメータおよびユーザフラグが入力される。ステップＳ１１ａで、最適化部２２０は、ＤＮＮ５０をＣＩＳコンバータ２２５に渡す。ＣＩＳコンバータ２２５は、渡されたＤＮＮ５０に基づき性能維持指標を算出する。算出された性能維持指標は、当該ＤＮＮ５０による処理を実行する際に要求されるランタイムメモリの容量や、実行サイクルを示す情報を含んでよい。ＣＩＳコンバータ２２５は、算出した性能維持指標を、最適化部２２０に返す（ステップＳ１１ｂ）。

【0192】

ステップＳ１２で、最適化部２２０は、デバイス設定データベース２２１から、ターゲットデバイス（この例ではスマートカメラ１１００ａ）のターゲットデバイス能力情報を取得する。

【0193】

ステップＳ１３で、最適化部２２０は、最適化アルゴリズム２３０を用いて、ステップＳ１０ｂで取得した各情報と、ステップＳ１２で取得したターゲットデバイス能力情報とに基づき、スマートカメラシステム２における各ハードウェアコンポーネントに対するＤＮＮ５０の効率的な配置を決定する。

【0194】

最適化部２２０は、各情報を単独で考慮するだけではなく、それらの組み合わせも考慮して、配置を決定する。例えば、最適化部２２０は、スマートカメラ１１００ａにおけるＤＮＮプロセッサ１１１０と、ホスト部１４０ａと、クラウドネットワークあるいはサーバとの間でのデータ転送における転送データサイズおよび転送速度や、アプリケーション実行部３０で実行されるアプリケーションによるトータルレイテンシを考慮してよい。

【0195】

最適化部２２０は、最適化アルゴリズム２３０によりＤＮＮ５０を複数のサブネットワーク（例えば第１、第２および第３のネットワーク）に分割する。最適化部２２０は、分割した各サブネットワークの、スマートカメラシステム２の各ハードウェアコンポーネントへの配置を割り当てる。各サブネットワークを実行する際の性能維持指標は、各ハードウェアコンポーネントに対するシミュレータにより得ることができる。

【0196】

図１２は、第２の実施形態に係る、最適化部２２０による互換性テスト処理を示す一例のフローチャートである。

【0197】

ステップＳ２００で、最適化部２２０は、ステップＳ１２ｂでＣＩＳコンバータ２２５から取得した性能維持指標（ＫＰＩ）を、条件として取得する。

【0198】

次のステップＳ２０１で、最適化部２２０は、ステップＳ１０ｂで取得した各情報、および、ステップＳ１２で取得したターゲットデバイス能力情報のそれぞれをパラメータとして、パラメータの組み合わせを１つ抽出する。次のステップＳ２０２で、最適化部２２０は、抽出したパラメータの組み合わせにより、各サブネットワークを各ハードウェアコンポーネントにおいて実行した際のシミュレーションを実行する（ＤＳＰ処理２４０、ホスト部処理２４１、サーバ処理２４２）。

【0199】

次のステップＳ２０３で、最適化部２２０は、シミュレーションにより得られた性能維持指標と、ステップＳ２００で条件として取得した性能維持指標とを比較する。

【0200】

次のステップＳ２０４で、最適化部２２０は、ステップＳ２０３の比較結果に基づき、ステップＳ２０２で得られた性能維持指標が条件を満たしているか否かを判定する。最適化部２２０は、ステップＳ２０２で得られた性能維持指標が条件を満たしていないと判定した場合（ステップＳ２０４、「Ｎｏ」）、処理をステップＳ２０１に戻し、未処理のパラメータの組み合わせを１つ抽出する。

【0201】

一方、最適化部２２０は、ステップＳ２０４で、ステップＳ２０２で得られた性能維持指標が条件を満たしていると判定した場合（ステップＳ２０４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、最適化部２２０は、各サブネットワークを、配置が決定された各ハードウェアコンポーネントに適用する。

【0202】

ステップＳ２０５の処理の後、図１２のフローチャートによる一連の処理が終了される。

【0203】

図１３は、最適化部２２０による最適化処理をより具体的に説明するための模式図である。図１３において、当初、ＤＮＮがセクション（ａ）に示すように、ＤＮＮプロセッサ１１１０に搭載される第１のネットワークと、ホスト部１４０ａあるいはサーバに搭載される第２のネットワークとに分割されているものとする。なお、ＤＮＮプロセッサ１１１０は、接続されるメモリの容量を８ＭＢ使用可能であり、ホスト部１４０ａあるいはサーバは、メモリの容量を３ＭＢまで使用可能であるものとする。

【0204】

セクション（ａ）の例では、ＤＮＮは、レイヤＮ（Ｌａｙｅｒ Ｎ）の直後で第１のネットワークと第２のネットワークとに分割されている。ここで、レイヤＮの転送サイズが２５６画素×２５６画素×３２ビットであり、レイヤＮの直前のレイヤＮ－１（Ｌａｙｅｒ Ｎ－１）が６４画素×６４画素×３２ビットのサイズを有するものとする。すなわち、セクション（ａ）の例では、ＤＮＮプロセッサ１１１０からホスト部１４０ａあるいはサーバに対して、２５６画素×２５６画素×３２ビット＝２０９７１５２ビットのデータを転送することになる。

【0205】

セクション（ｂ）は、セクション（ａ）の状態に対して最適化を行った場合の例を示している。セクション（ｂ）の例では、ＤＮＮの分割位置が、レイヤＮの直前（レイヤＮとレイヤＮ－１との間）に変更されている。第１のネットワークの最後尾レイヤがレイヤＮ－１となり、ＤＮＮプロセッサ１１１０からホスト部１４０ａあるいはサーバに対して、６４画素×６４画素×３２ビット＝１３１０７２ビットのデータが転送されることになる。したがって、セクション（ｂ）の例では、転送されるデータ量がセクション（ａ）の場合と比較して１／１６となっている。

【0206】

説明を図１１に戻し、最適化部２２０は、配置が決定された各サブネットワークを互換性テスト処理部２２２に渡す（ステップＳ１４ａ、ステップＳ１４ｂおよびステップＳ１４ｃ）。互換性テスト処理部２２２は、渡された各サブネットワークの、それぞれ割り当てられたハードウェアコンポーネントに対する互換性をテストする。

【0207】

例えば、互換性テスト処理部２２２は、各サブネットワークを各ハードウェアコンポーネントにおいて実行した際の動作をシミュレーションし、実行の凡その性能維持指標を算出する。互換性テスト処理部２２２は、算出した性能維持指標と、ステップＳ１２ｂでＣＩＳコンバータ２２５から取得した性能維持指標とを比較して、各サブネットワークを各ハードウェアコンポーネントに配置可能か否かを判定する。

【0208】

互換性テスト処理部２２２は、テストの結果、互換性に問題が無いとされたサブネットワーク（第１のネットワーク）をＣＩＳコンバータ２２５に渡す（ステップＳ１５ａ）。ＣＩＳコンバータ２２５は、渡されたサブネットワークを、ＤＮＮプロセッサ１１１０が実行可能な形式に変換する。

【0209】

また、互換性テスト処理部２２２は、互換性テストの結果、互換性に問題が無いとされたサブネットワーク（第２のネットワーク）をホスト部ＤＮＮコンバータ２２６に渡す。ホスト部ＤＮＮコンバータ２２６は、渡されたサブネットワークを、ホスト部１４０ａ（ＭＣＵ１４１）が実行可能な形式に変換する。

【0210】

さらに、互換性テスト処理部２２２は、互換性テストにより算出された性能維持指標を、例えばユーザに提示する（ステップＳ１６）。ユーザは、提示された性能維持指標に基づき互換性テストの結果を判定することができる。

【0211】

図１４は、ユーザに提示される性能維持指標の例を示す模式図である。図のように、性能維持指標は、フレーム当たりの必要電力、処理サイクル、可変メモリサイズ、ランタイムメモリサイズといった、ＤＮＮが実行されるハードウェアに要求される性能を含む。また、性能維持指標は、レイヤワイズ(Layer-wise)メモリや、各レイヤの処理タイプ、使用メモリ、処理サイクル、必要電力といった、ＤＮＮにおけるレイヤの情報も含む。

【0212】

互換性テスト処理部２２２は、ＣＩＳコンバータ２２５により変換されたサブネットワーク（第１のネットワーク）と、ホスト部ＤＮＮコンバータ２２６により変換されたサブネットワーク（第２のネットワーク）とを、パッケージャ２２３に渡す（ステップＳ１７）。パッケージャ２２３は、互換性テスト処理部２２２から渡された各サブネットワークを暗号化およびパッケージ化して、スマートカメラ１１００ａに送信する（ステップＳ１８）。また、パッケージャ２２３は、サーバ処理２４２により互換性に問題無いとされたサブネットワーク（第３のネットワーク）については、ＤＮＮ実行部２２４に渡す。

【0213】

（２－３．第２の実施形態に係る効果）
次に、第２の実施形態に係る効果について説明する。

【0214】

図１５は、既存技術による処理シーケンスと、第２の実施形態に係る処理シーケンスとを対比させて示す模式図である。図１５において、セクション（ａ）は、既存技術による処理シーケンスの例を示している。また、セクション（ｂ）および（ｃ）は、第２の実施形態に係る処理シーケンスの例を示している。

【0215】

なお、図１５のセクション（ａ）～（ｃ）において、横軸は、時間の経過を示している。セクション（ａ）～（ｃ）の上段に示すように、フレームレートが１５ｍｓｅｃとされている。したがって、１ｓｅｃ当たりに撮像装置１００が出力可能なフレーム数Ｎは、６６（＝１０００／１５）となる。また、上段のフレームを示す目盛の数値は、撮像装置１００がフレーム状の情報を出力したタイミングを、フレームのカウント値（正確には、カウント値－１）として表している。

【0216】

（既存技術による処理）
まず、図１５のセクション（ａ）を用いて、既存技術による処理について説明する。ここでは、図９に示したスマートカメラ１１００を対象として、説明を行う。なお、セクション（ａ）において、ＤＮＮとして示される帯の長さは、ＤＮＮによる処理に要する時間の長さを表している。

【0217】

図１５のセクション（ａ）に示す既存技術では、撮像装置１００においてＤＮＮ（ＤＮＮプロセッサ１１１０）に入力された１フレーム分の情報を、ＤＮＮによって処理するに要する時間として、撮像装置１００が本来出力し得るフレーム間隔（図に示した例では、１５ｍｓｅｃ）よりも長い時間を要している（図に示した例では、２０ｍｓｅｃ）。このため、ＤＮＮによる処理を示す帯は、撮像装置１００が出力し得るフレームの間隔よりも長く延在している。

【0218】

図１５のセクション（ａ）に示す既存技術は、ＤＮＮを実行するプロセッサとして１個のＤＮＮプロセッサ１１１０を用いて、かつ、ＤＮＮプロセッサ１１１０がＤＮＮを用いた処理を示している。ここで、当該セクション（ａ）では、「ｍ番目のフレームについての処理を終えたら、ｍ＋１番目のフレームについての処理を開始して、ｍ＋１番目のフレームについての処理を終えたら、ｍ＋２番目のフレームについての処理を行う」という順次的な処理を行う例、を表している。

【0219】

図１５のセクション（ａ）における、ＤＮＮの処理を示す各帯の後端から図において下方に伸びる点線矢印は、ＤＮＮプロセッサ１１１０がＤＮＮを用いた処理を実行した結果を出力するタイミング、を表している。すなわち、この点線矢印のタイミングに応じて、スマートカメラ１１００から、例えば他の情報処理装置において実行されるアプリケーションに対して出力データが送信される。

【0220】

図１５のセクション（ａ）における、ＤＮＮの処理を示す各帯の先端から図において下方に伸びる実線矢印は ＤＮＮ処理の結果を出力する際に、そのＤＮＮ処理に用いたデータ（当該ＤＮＮ処理への入力データ）も併せて出力するシステムの形態において、当該ＤＮＮプロセッサ１１１０への入力データを出力するタイミング、を表している。

【0221】

図１５のセクション（ａ）に示す既存技術は、
（１）ＤＮＮプロセッサ１１１０による処理に要する時間として、撮像装置１００が本来出力し得るフレーム間隔よりも長い時間を要する例、
であって、且つ、
（２）１つのフレームについての処理を終えてから次のフレームについての処理を行う、という順次的な処理を行う例、
を表している。

【0222】

このため、ＤＮＮプロセッサ１１１０を用いた処理結果を出力する間隔（点線矢印の間隔）は、撮像装置１００が本来出力し得るフレーム間隔（１５ｍｓｅｃ）の２倍の３０ｍｓｅｃとなる。ＤＮＮプロセッサ１１１０が単位時間（例えば１ｓｅｃ）当りに出力し得るＤＮＮ処理結果のフレーム数（フレームレート）は、撮像装置１００が本来出力し得るフレームレートＲの１／２、つまり、Ｒ／２となる。ＤＮＮ処理結果を出力する際に、そのＤＮＮ処理に用いた入力データを出力するフレームレートも、Ｒ／２となる。

【0223】

（第２の実施形態に係る処理のフレームレートに対する効果）
次に、図１５のセクション（ｂ）を用いて、第２の実施形態に係る処理のフレームレートに対する効果について説明する。ここでは、図１０に示したスマートカメラ１１００ａを対象として、説明を行う。

【0224】

図１５のセクション（ｂ）は、第２の実施形態に係る処理シーケンスの例を示している。セクション（ｂ）では、ＤＮＮ処理が第１のネットワークによる処理（第１ＤＮＮ）と、第２のネットワークによる処理（第２ＤＮＮ）とに分割されている。セクション（ｂ）において、第１ＤＮＮおよび第２ＤＮＮとしてそれぞれ示される帯の長さは、それぞれ、第１ＤＮＮおよび第２ＤＮＮによる処理に要する時間の長さを表している。それ以外の部分の意味は、セクション（ａ）と共通なので、ここでの説明を省略する。

【0225】

第２の実施形態では、スマートカメラ１１００ａがＤＮＮによる処理が可能なプロセッサを複数備え、これら複数のプロセッサにおいて、ＤＮＮを用いた処理をパイプラインで実行する。この複数のプロセッサによるパイプライン処理は、上述した第１の実施形態、および、後述する第３～第５の実施形態にも、共通に適用できる。

【0226】

図１５のセクション（ｂ）は、複数個のプロセッサを用いてパイプライン処理を行う例として、ＤＮＮを用いて行う処理を時間方向に２つに分割して、２個のプロセッサを用いてパイプライン処理する例を表している。

【0227】

具体的には、第１のプロセッサ（例えば撮像装置１００が有するＤＮＮプロセッサ１１１０）と、第２のプロセッサ（例えばホスト部１４０ａが有するＭＣＵ１４１）とを用いて、撮像装置１００における撮像部１１１から入力された１フレーム分の情報をＤＮＮ処理する。この処理に要する合計の時間は、図１５のセクション（ａ）に示した既存技術の場合と同じ２０ｍｓｅｃである。

【0228】

なお、第１のプロセッサおよび第２のプロセッサは、それぞれ、第１の実施形態で図１を用いて説明した第１プロセッサ１１および第２プロセッサ１２に対応させることができる。

【0229】

このＤＮＮ処理を、第１のプロセッサにおいて実行する第１ＤＮＮ処理と、第２のプロセッサにおいて実行する第２ＤＮＮ処理と、に分割する。ここで、第１ＤＮＮ処理に要する時間、および、第２ＤＮＮ処理に要する時間は、それぞれ１０ｍｓｅｃであって、撮像装置１００が出力し得るフレーム間隔よりも小さい。

【0230】

撮像装置１００において撮像部１１１から入力された第１のフレームに対して、先ず、第１ＤＮＮ処理を第１のプロセッサ（ＤＮＮプロセッサ１１１０）で実行し、次に、第２ＤＮＮ処理を第２のプロセッサ（ホスト部１４０ａのＭＣＵ１４１）で実行する。この場合において、第２のプロセッサが第１のフレームについて第２ＤＮＮ処理を実行している時間帯の少なくとも一部が重複する時間帯に、第１のプロセッサが次のフレームとなる第２のフレームについて、第１ＤＮＮ処理を並行して実行する、所謂パイプライン処理を実行する。

【0231】

図１５のセクション（ｂ）における、第２ＤＮＮ処理を示す各帯の後端から下に伸びる点線矢印は、図１５のセクション（ａ）においてＤＮＮ処理の各帯の後端から下に伸びる点線矢印と同様に、第２のプロセッサが第２ＤＮＮ処理を実行した結果を出力するタイミングを表している。すなわち、この点線矢印のタイミングに応じて、スマートカメラ１１００ａから、例えば他の情報処理装置において実行されるアプリケーションに対して出力データが送信される。

【0232】

図１５のセクション（ｂ）における、第１ＤＮＮ処理を示す各帯の先端から下に伸びる実線矢印は、ＤＮＮ処理の結果を出力する際に、そのＤＮＮ処理に用いたデータ（当該ＤＮＮ処理への入力データ）も併せて出力するシステムの形態において、当該データを出力するタイミングを表している。

【0233】

図１５のセクション（ａ）を用いて説明した既存技術では、ＤＮＮ処理に要する時間として、撮像装置１００が本来出力し得るフレーム間隔よりも長い時間を要する場合には、撮像装置１００が本来出力し得るフレーム間隔よりも長いフレーム間隔（低いフレームレート）でしか、ＤＮＮ処理を実行できなかった。これに対して図１５のセクション（ｂ）を用いて説明した第２の実施形態では、このＤＮＮ処理を複数に分割して複数のプロセッサでパイプライン処理している。これにより、第２の実施形態では、既存技術よりも短いフレーム間隔（高いフレームレート）でＤＮＮ処理を実行できる。

【0234】

特に、図１５のセクション（ｂ）に示した例の場合、第２ＤＮＮ処理の各帯の後端の点線矢印で示す、ＤＮＮ処理を出力するフレーム間隔を、撮像装置１００が本来出力し得るフレーム間隔（１５ｍｓｅｃ）と、同じにすることができる。すなわち、ＤＮＮ処理を実行するプロセッサが単位時間（例えば１ｓｅｃ）当りに出力し得るフレームの数（フレームレート）は、撮像装置１００が単位時間当りに出力し得るフレーム数と同じとすることができる。

【0235】

ＤＮＮ処理の結果だけでなく、ＤＮＮ処理に用いた入力データも併せて出力する形態においては、第１ＤＮＮ処理の各帯の先端の実線矢印で示す、ＤＮＮ処理に用いた入力データを出力する間隔も、撮像装置１００が本来出力し得るフレーム間隔と同じとなる。したがって、当該入力データを出力するフレームレートも、撮像装置１００がデータを出力するフレームレートと同じとなる。

【0236】

第２の実施形態では、複数個のプロセッサを備え、これら複数個のプロセッサにおいて、ＤＮＮを用いた処理をパイプラインで実行する構成を備える。これにより、第２の実施形態では、この構成を備えない既存技術に対して、ＤＮＮを用いた処理を行うフレームレートと処理結果を出力するフレームレートとを大きくすることが可能となる。換言すれば、第２の実施形態では、既存技術に対して、ＤＮＮを用いた処理を開始してから当該処理の処理結果を出力するまでの時間を短縮することが可能となる。

【0237】

（第２の実施形態に係る処理のレイテンシに対する効果）
次に、図１５のセクション（ｃ）を用いて、第２の実施形態に係る処理のレイテンシに対する効果について説明する。図１５のセクション（ｃ）は、上述した図１５のセクション（ｂ）に対して第１ＤＮＮ処理の結果に応じたアプリケーションによる処理が追加された以外の部分の意味は、当該セクション（ｂ）と共通なので、個々での説明を省略する。ここでは、図１０に示したスマートカメラ１１００ａを対象として、説明を行う。

【0238】

第２の実施形態では、複数個のプロセッサを備え、これら複数個のプロセッサにおいて、ＤＮＮを用いた処理をパイプラインで実行する構成を備えることにより、この構成を備えない既存技術と比較して、ＤＮＮ処理を行うことによって生じるレイテンシを、小さくすることができる。

【0239】

より詳しくは、第２の実施形態では、「センシングデバイス（例えば撮像装置１００）がセンシング結果となるデータを出力してから、ＤＮＮ処理を行う最初のプロセッサでこのデータが処理されて、この処理結果を利用する後段へと出力するまで、に要する時間」を小さくすることが可能である。

【0240】

ここでは、第２の実施形態に係るＤＮＮを用いた処理として、自動運転を行う車両において、当該車両の前方に存在する物体を検出して弁別する処理を例にとって説明する。

【0241】

この例においては、物体を検出して弁別する処理として、下記の処理（ａ）および（ｂ）を実行するものとする。
（ａ）センシングデバイス（例えばスマートカメラ１１００ａ）が自動運転中の当該センシングデバイスを搭載した車両（自車両）の前面を観測したデータの中に、自車両がブレーキ操作を行うべき対象となる物体を検出する処理。
（ｂ）ブレーキ操作を行うべき対象となる物体が存在する場合には、その物体がどのような物体であるか（例えば、歩行者であるか、自車両とは別の車両であるか）に応じて、自動運転中の自車両が次なる走行の制御を行うことが可能なように、検出した物体の種類を弁別する処理。

【0242】

図１５のセクション（ａ）に示す既存技術の場合、撮像装置１００が最初のフレームのデータを出力してから、このデータを入力されたプロセッサが当該最初のフレームに対して上述の処理（ａ）および（ｂ）を含むＤＮＮによる処理を終えてその結果を当該プロセッサの後段（自車両の走行を制御する走行制御部）へと出力するまでが、この後段にとってのレイテンシとなる。図１５のセクション（ａ）においては、番号＃１が付されたＤＮＮ処理の先頭タイミングから、当該ＤＮＮ処理の後端のタイミングまでが、レイテンシとなる。

【0243】

これに対して、図１５のセクション（ｃ）に示す第２の実施形態の場合、第１のプロセッサ（例えばＤＮＮプロセッサ１１１０）が自身に入力された最初のフレームに対して第１ＤＮＮ処理を終えた時点で、当該第１のプロセッサから、第１ＤＮＮによる処理の処理結果を、当該第１のプロセッサが含まれるスマートカメラ１１００ａの後段（自車両の走行を制御する走行制御部）へと出力することができる。第１のプロセッサから出力される情報は、例えば、ブレーキ操作の対象となる物体が存在することを表した特徴マップや、少なくともブレーキ操作の対象となる物体が存在するとの情報であってよい。

【0244】

第１ＤＮＮ処理に次いで、第２のプロセッサが実行する第２ＤＮＮ処理を終えた時点で、検出した物体の種類を弁別した結果を、自車両の走行を制御する走行制御部へと出力することができる。走行制御部は、第１ＤＮＮ処理の処理結果を受け取ると、自車両のブレーキ操作を開始することができる。このため、スマートカメラ１１００ａが最初のフレームのデータを出力してから、第１のプロセッサが当該最初のフレームに対して第１ＤＮＮ処理の結果を出力するまでが、走行制御部にとってのレイテンシ（図における第１ＤＮＮのレイテンシ）となる。

【0245】

このように、第２の実施形態では、複数個のプロセッサを備え、これら複数個のプロセッサにおいて、ＤＮＮを用いた処理をパイプラインで実行する構成を備える。これにより、図１５のセクション（ａ）を用いて説明した既存技術と比較して、レイテンシを小さく（短縮）することが可能である。換言すれば、第２の実施形態では、既存技術に対して、ＤＮＮを用いた処理を開始してから当該処理の処理結果を出力するまでの時間を短縮することが可能となる。

【0246】

（３．第３の実施形態）
次に、本開示の第３の実施形態について説明する。第３の実施形態では、ネットワークの各部における機能に基づき、ネットワークを複数のネットワークに分割する。

【0247】

（３－１．既存技術について）
第３の実施形態の説明に先んじて、理解を容易とするために、第３の実施形態に関する既存技術について説明する。

【0248】

一般的に、ＤＮＮ処理は計算コストが大きい一方で、エッジデバイスでは計算リソースが限られている。その結果、以下の課題が存在する。
・複雑で高度なＤＮＮ処理を行えるモデルほどモデルサイズが大きくなる傾向がある。
・サイズの大きいモデルをエッジデバイスで動作させることが困難である。
・エッジデバイスで処理できるＤＮＮ処理は、エッジデバイスのハードウェア的制約により限定される。

【0249】

なお、エッジデバイスは、インターネットに接続される末端の情報機器である。エッジデバイスの例としては、インターネットを介して画像データなどの情報を送信する監視カメラや、家電製品に設けられ、インターネットに対する通信機能を有する電子機器などが挙げられる。

【0250】

これらの課題を克服すべく、データの量子化などを用い、軽量かつ高性能なモデルを作成する手法が数多く提案されているが、依然としてエッジデバイスで行えるＤＮＮ処理は限られている。

【0251】

そのため、高性能なＤＮＮ処理を行う場合は、エッジデバイスで取得したデータを、計算リソースが比較的潤沢にあるサーバなどのデバイスに送り、そこで処理が行われている。しかしながら、通信帯域がボトルネックになったり、個人情報を含むデータを通信に乗せる必要があるなど課題が多い。特に計算リソースを多く要する傾向がある画像処理において、この課題がより顕著に現れる。

【0252】

図１６は、ＤＮＮ５０を第１ＤＮＮ５１および第２ＤＮＮ５２の２つのＤＮＮに分割する例を概略的に示す模式図である。この例では、入力データとして、例えば図３に示す撮像装置１００において、撮像処理部１１２から出力される撮像画像を想定している。

【0253】

図１６の例では、第１ＤＮＮ５１は、入力データに対する第１フェイズ（図ではフェイズ＃１と記載）の処理として、ＲＧＢ画像に対する処理を実行する。第２ＤＮＮ５２は、第１フェイズすなわち第１ＤＮＮ５１の出力に対して、所定の処理を実行する。第２ＤＮＮ５２の処理結果は、出力データとして外部に出力される。

【0254】

図１７は、ＤＮＮを分割した第１ＤＮＮ５１および第２ＤＮＮ５２による処理を実行するための、既存技術による構成の例を示す模式図である。図１７において、入力データは、例えばエッジデバイスから出力された画像データとされている。既存技術では、ＤＮＮ５０における第１ＤＮＮ５１および第２ＤＮＮ５２による、第１フェイズおよび第２フェイズの処理を、サーバなど１つの情報処理装置４００において実行していた。

【0255】

すなわち、既存技術では、１つまたはそれ以上のＤＮＮ処理において複数の処理を行う場合、エッジデバイスにより取得したデータを計算リソース、特にメモリが潤沢にある単一のデバイス（この例では情報処理装置４００）に転送し、ＤＮＮ処理を行っていた。この場合、画像データは、単位時間に転送されるデータ量が比較的多いため、データ転送に用いる通信帯域が転送速度のボトルネックになるおそれがある。また、画像データが顔など個人情報を含む場合もある。

【0256】

（３－２．第３の実施形態に係る概略的な構成）
第３の実施形態に係る概略的な構成について説明する。図１８は、第３の実施形態に係る情報処理システムの構成を概略的に示す模式図である。なお、ＤＮＮの構成は、図１６に示した構成を適用するものとする。また、第３の実施形態では、各プロセッサにおいて実行されるネットワークを決定するネットワーク制御部２０として、第１の実施形態において図５を用いて説明した構成を適用できる。なお、図１８では、当該ネットワーク制御部２０の記載が省略されている。

【0257】

図１８において、ネットワーク制御部２０は、与えられたタスクを解析して、当該タスクを、第１フェイズによる処理と、第２フェイズによる処理とに分割する。ネットワーク制御部２０は、第１フェイズのタスクによるＤＮＮ処理（第１ＤＮＮ５１）を実行するプロセッサを、例えばエッジデバイスに搭載される第１プロセッサ１１₁に決定する。また、ネットワーク制御部２０は、第２フェイズのタスクによるＤＮＮ処理（第２ＤＮＮ５２）を実行するプロセッサを、例えばサーバに搭載される第２プロセッサ１２に決定する。

【0258】

なお、第２プロセッサ１２は、第１プロセッサ１１と比較して潤沢なハードウェアリソースを利用可能とされ、第１プロセッサ１１よりも高速且つ高機能な処理を実行可能であるものとする。一例として、第２プロセッサ１２に接続され第２のプロセッサが使用し得るメモリの容量は、第１プロセッサ１１に接続され第１のプロセッサが使用し得るメモリの容量よりも、大きくてよい。また、第２プロセッサが動作する周波数は、第１のプロセッサが動作する周波数よりも、高くてよい。

【0259】

第１プロセッサ１１₁の処理結果は、第２プロセッサ１２に送信される。第１プロセッサ１１₁の処理結果は、例えばＲＧＢ画像に対する第１ＤＮＮ５１による処理で得られた特徴量マップやメタデータとすることができる。

【0260】

また、第３の実施形態に係る情報処理システムでは、それぞれ第１ＤＮＮ５１による処理を実行する複数の第１プロセッサ１１₁、１１₂、…、１１_Nを含むことができる。例えば、ネットワーク制御部２０は、第１フェイズによる処理を、第１のＤＮＮ処理、第２のＤＮＮ処理、…、第ＮのＤＮＮ処理、…に分割する。ネットワーク制御部２０は、これら第１のＤＮＮ処理、第２のＤＮＮ処理、…、第ＮのＤＮＮ処理、…のそれぞれを実行するプロセッサを、第１プロセッサ１１₁、１１₂、…、１１_Nに決定する。

【0261】

この場合、第１プロセッサ１１₁、１１₂、…、１１_Nで実行されるＤＮＮ処理は、必ずしも同一でなくてもよく、異なっていてよい。例えば、第２フェイズによる処理が共通の、互いに異なる第１フェイズによる処理を、第１プロセッサ１１₁、１１₂、…、１１_Nにそれぞれ割り当ててもよい。各第１プロセッサ１１₁、１１₂、…、１１_Nの出力は、第２プロセッサ１２に送信される。

【0262】

第３の実施形態に係る情報処理システムの構成は、第１の実施形態において図１を用いて説明した構成を適用できる。すなわち、第３の実施形態に係る情報処理システムは、図１６も併せて参照し、第１ＤＮＮ５１による処理を実行する第１プロセッサ１１と、第１ＤＮＮ５１による処理結果を用いて第２ＤＮＮ５２による処理を実行する第２プロセッサ１２と、を含む。第３の実施形態に係る情報処理システムは、さらに、与えられたＤＮＮ５０を第１ＤＮＮ５１および第２ＤＮＮ５２に分割して第１プロセッサ１１および第２プロセッサ１２にそれぞれ割り当てるネットワーク制御部２０を含む。

【0263】

図１９は、第３の実施形態に係るネットワーク制御部２０における処理を示す一例のフローチャートである。

【0264】

ステップＳ３００で、ネットワーク制御部２０は、必要に応じて、与えられたＤＮＮ５０によるモデルを学習する。次のステップＳ３０１で、ネットワーク制御部２０は、モデルにより実行されるタスクを解析する。次のステップＳ３０２で、ネットワーク制御部２０は、ステップＳ３０１によるタスク解析の結果に基づき、モデルを分割する。

【0265】

例えば、ネットワーク制御部２０は、ステップＳ３０１におけるモデル解析により、ＤＮＮ５０を構成する各レイヤにおいて、前段となる処理に係るレイヤ群と、前段の処理結果を受ける、後段となる処理に係るレイヤ群とを抽出する。ネットワーク制御部２０は、ステップＳ３０２におけるモデル分割において、ＤＮＮ５０を、前段となる処理に係るレイヤ群によるモデル（第１ＤＮＮ５１）と、後段となる処理に係るレイヤ群によるモデル（第２ＤＮＮ）と、に分割する。

【0266】

ステップＳ３０３で、ネットワーク制御部２０は、分割したモデルを、それぞれ対応するデバイス（プロセッサ）に送信する。ネットワーク制御部２０は、例えば、前段となる処理に係るレイヤ群によるモデルを、入力データが入力される第１プロセッサ１１に送信する。また、後段となる処理に係るレイヤ群によるモデルを、第１プロセッサ１１の出力が入力される第２プロセッサ１２に送信する。

【0267】

各モデルが送信された各デバイスは、それぞれのモデルに応じた処理を実行する。各デバイスは、モデルに応じた処理の処理結果をネットワーク制御部２０に送信してよい。

【0268】

次のステップＳ３０４で、ネットワーク制御部２０は、各モデルを送信した各デバイスから送信されたデータ（例えば処理結果）を受信する。次のステップＳ３０５で、ネットワーク制御部２０は、各デバイスから送信されたデータに基づき、モデルすなわちＤＮＮ５０を再学習する。なお、ステップＳ３０５では、分割されたネットワークの一部のみを再学習してもよい。

【0269】

次のステップＳ３０６で、ネットワーク制御部２０は、ステップＳ３０５における再学習によりモデルに更新が生じたか否かを判定する。ネットワーク制御部２０は、モデルに更新が生じなかったと判定した場合（ステップＳ３０６、「Ｎｏ」）。処理をステップＳ３０４に戻す。一方、ネットワーク制御部２０は、モデルに更新が生じたと判定した場合、処理をステップＳ３０２に戻し、更新されたモデルに対してモデル分割を実行する。

【0270】

このように、第３の実施形態では、ＤＮＮ５０を分割した第１ＤＮＮ５１および第２ＤＮＮ５２を、第１プロセッサ１１₁および第２プロセッサ１２といった、異なるハードウェアにより実行する。そのため、第３の実施形態では、単一デバイスで実行が困難なモデルの実行、通信帯域の減少、セキュリティの向上などを実現できる。また、第３の実施形態では、前段処理および後段処理の一方を共通化し、他方を変更することが可能となる。さらに、第３の実施形態では、エッジデバイスの並列処理が可能となる。

【0271】

ここで、特許文献１では、ＤＮＮ処理を前段と後段とに分割しているが、前段および後段で行うＤＮＮ処理が一意に固定されている。また、特許文献１では、それぞれ単一での処理を行っている。

【0272】

これに対して、第３の実施形態では、前段ＤＮＮの処理結果によって、後段ＤＮＮで用いるネットワークモデルを切り替える構成を取り得る。また、第３の実施形態では、前段と後段処理共に、複数のＤＮＮモデルを並列に処理する構成を取り得る。

【0273】

また、特許文献１では、ＤＮＮ処理の分割方法に関して、前段処理をＣＮＮ(Convolutional Neural Network)ｍ後段処理をＬＳＴＭ(Long Short Term Memory)としている。

【0274】

これに対して、第３の実施形態では、全体で機能Ａを実現するＤＮＮ処理を行うこともできるし、全体で機能Ｂを実現するＤＮＮ処理を行うこともできる。全体で機能Ａを実現する場合には、機能Ａを機能Ａ＃１およびＡ＃２に分割したうちの機能Ａ＃１は、これを実行するために必要となるハードウェアリソースを備えたプロセッサ＃１（例えば第１プロセッサ１１）で実行し、機能Ａ＃２は、これを実行するために必要となるハードウェアリソースを備えたプロセッサ＃２（例えば第２プロセッサ）で実行させることができる。

【0275】

同様に、全体で機能Ｂを実現する場合であって、機能Ｂを機能Ｂ＃１およびＢ＃２に分割したうちの機能Ｂ＃１は、これを実行するために必要となるハードウェアリソースが、プロセッサ＃１では足りず、プロセッサ＃２では足りる場合には、プロセッサ＃２で実行する。同様に、機能Ｂ＃２も、これを実行するために必要となるハードウェアリソースが、プロセッサ＃１では足りず、プロセッサ＃２では足りる場合には、プロセッサ＃２で実行する。

【0276】

プロセッサ＃２は、それ単独で、機能Ａの実行が可能であると共に、機能Ｂの実行が可能である。この場合において、機能Ａを実行する際には、所望の特性を優先するために、機能Ａ＃１をプロセッサ＃１で実行し、機能Ａ＃２をプロセッサ＃２で実行する。一方、機能Ｂを実行する際には、上記の特性を優先することはせずに、機能Ｂの全てをプロセッサ＃２で実行する。

【0277】

このような構成は、特許文献１には開示されていない。

【0278】

（３－３．第３の実施形態の各例について）
以下、第３の実施形態に係る構成の各例について、図２０～図３０を用いて説明する。なお、図２０～図３０では、ネットワーク制御部２０が省略されている。

【0279】

（３－３－１．第３の実施形態の第１の例）
第３の実施形態の第１の例について説明する。第３の実施形態の第１の例は、前段である第１フェイズの処理を実行する第１ＤＮＮ５１の処理結果を用いて、後段である第２フェイズの処理を実行する第２ＤＮＮ５２による処理を行う場合において、後段の処理によって前段の出力を決定する例である。

【0280】

図２０は、第３の実施形態の第１の例による情報処理システムの一例の構成を示すブロック図である。第１プロセッサ１１は、例えば図３に示した撮像装置１００におけるＣＰＵ１２１および／またはＤＳＰ１２２に対応させることができる。また、第２プロセッサ１２は、当該撮像装置１００と同一筐体に構成されるホスト部であってもよいし、当該撮像装置１００と有線あるいは無線通信により接続される情報処理装置やクラウドネットワークにおいて構成してもよい。この第１プロセッサ１１および第２プロセッサ１２に関する構成は、以降の図２１～図３０において共通である。

【0281】

第１プロセッサ１１において、第１ＤＮＮ５１により第１フェイズ（図ではフェイズ＃１として記載）の処理が実行される。図の例では、例えば第１プロセッサ１１は、適用されるモデルに応じて、入力テンソル６０と、出力テンソル６１と、ＲＡＷデータ６２と、の３種類のデータを出力することができる。

【0282】

入力テンソル６０は、例えば、撮像部１１１の出力に対して現像などの処理を施して各画素にＲＧＢの色情報を持たせたＲＧＢ画像である。出力テンソル６１は、例えば、当該撮像画像に対して第１ＤＮＮ５１による処理を行った処理結果のデータである。図の例では、第１ＤＮＮ５１が撮像画像に基づき物体（人）検出を行った検出結果が出力テンソル６１とされている。出力テンソル６１は、例えば検出結果としての特徴量マップを含んでよい。ＲＡＷデータ６２は、撮像部１１１の出力に対して現像などの処理を行わないデータである。

【0283】

第２プロセッサ１２は、第２ＤＮＮ５２により第２フェイズ（図ではフェイズ＃２として記載）の処理が行われる。第２プロセッサ１２は、入力テンソル６０と、出力テンソル６１と、ＲＡＷデータ６２と、のうち第２フェイズの処理において必要となるデータを出力させるためのモデルを第１プロセッサ１１に送信する。第１プロセッサ１１は、第２プロセッサ１２から送信されたモデルを例えばメモリ１２３（図３参照）に格納し、当該モデルを第１ＤＮＮ５１に適用する。

【0284】

なお、第２プロセッサ１２は、第１プロセッサ１１においてモデルの変更が不要の場合は、第１プロセッサ１１に対してモデルを送信せずに、出力データのタイプを指定するのみでもよい。例えば、第２ＤＮＮ５２において入力テンソル６０やＲＡＷデータ６２が必要な場合は、第１プロセッサ１１におけるモデルの変更が不要である可能性がある。

【0285】

なお、図２０の構成において、デバッグ用に前段すなわち第１ＤＮＮ５１の出力を表示させる処理を実行することも可能である。

【0286】

（３－３－２．第３の実施形態の第２の例）
次に、第３の実施形態の第２の例について説明する。第３の実施形態の第２の例は、後段である第２フェイズの処理を実行する第２ＤＮＮ５２に適用するモデルを変更する例である。

【0287】

図２１は、第３の実施形態の第２の例による情報処理システムの一例の構成を示すブロック図である。図２１において、第２プロセッサ１２は、搭載される第２ＤＮＮ５２を、他の第２ＤＮＮ５２－１、５２－２、５２－３、…と入れ換えることができる。これら第２ＤＮＮ５２－１、５２－２、５２－３、…は、第２ＤＮＮ５２と異なる機能を実現するものであってよいし、第２ＤＮＮ５２を再学習後に更新したものであってもよい。

【0288】

図２１の例では、第２ＤＮＮ５２－１および５２－２は、第２ＤＮＮ５２を再学習後に更新されたＤＮＮとされている（第２フェイズのＤＮＮ＃Ａ－１、＃Ａ－２）。一方、第２ＤＮＮ５２－２は、第２ＤＮＮ５２と異なる機能を実現するためのＤＮＮとされている。

【0289】

（第３の実施形態の第２の例における第１の具体例）
第３の実施形態の第２の例における第１の具体例について説明する。この第１の具体例は、前段すなわち第１プロセッサ１１における第１ＤＮＮ５１による処理結果に応じて、後段すなわち第２プロセッサ１２のＤＮＮを切り替えるようにした例である。

【0290】

図２２は、第３の実施形態の第２の例における第１の具体例による情報処理システムの一例の構成を示すブロック図である。図２２の例では、前段処理を行う第１プロセッサ１１において、第１ＤＮＮ５１ｂは、第１フェイズの処理として、撮像部１１１による撮像画像に基づき人を検出し、検出された人の数をカウントする処理を実行する。

【0291】

第２プロセッサ１２は、例えば第１プロセッサ１１と通信ネットワークを介して接続されるサーバ上に構成され、機能の異なる２つの第２ＤＮＮ５２ａおよび５２ｂを、第１ＤＮＮ５１ｂのカウント結果に応じて切り替えることが可能とされている。

【0292】

より具体的には、第２ＤＮＮ５２ａおよび５２ｂは、それぞれ、第１ＤＮＮ５１ｂの人検出の結果に基づき、検出された人を追跡するトラッキング処理を実行する。この場合において、第２ＤＮＮ５２ａは、第２フェイズにおける第１のＤＮＮ処理として、高精度であるが少人数に対応する第１のトラッキング処理を実行する。一方、第２ＤＮＮ５２ｂは、第２フェイズにおける第２のＤＮＮ処理として、精度は低いが大人数に対応する第２のトラッキング処理を実行する。

【0293】

第２プロセッサ１２は、第１プロセッサ１１によりカウントされた人数を閾値ｔｈと比較する。第２プロセッサ１２は、比較の結果、当該人数が閾値ｔｈ未満の場合に（Ｙｅｓ）、第２ＤＮＮ５２ａによる処理を実行し、当該人数が閾値ｔｈ以上の場合に（Ｎｏ）、第２ＤＮＮ５２ｂによる処理を実行する。

【0294】

第２プロセッサ１２における比較処理は、第２ＤＮＮ５２ａおよび５２ｂとは別のプログラムにより実現してもよいし、第２ＤＮＮ５２ａおよび５２ｂの機能に含めてもよい。

【0295】

（第３の実施形態の第２の例における第２の具体例）
第３の実施形態の第２の例における第２の具体例について説明する。この第２の具体例は、後段すなわち第２プロセッサ１２において、機能の異なる複数の第２ＤＮＮを並列的に実行するようにした例である。

【0296】

図２３は、第３の実施形態の第２の例における第２の具体例による情報処理システムの一例の構成を示すブロック図である。図２３の例では、前段処理を行う第１プロセッサ１１において、第１ＤＮＮ５１ｃは、第１フェイズの処理として、撮像部１１１による撮像画像に基づき特徴量マップを生成する。

【0297】

第２プロセッサ１２は、例えば第１プロセッサ１１と通信ネットワークを介して接続されるサーバ上に構成され、機能の異なる２つの第２ＤＮＮ５２ｃおよび５２ｄを並列的に実行する。この例では、第２ＤＮＮ５２ｃは、第２フェイズの処理として、第１ＤＮＮ５１ｃで生成された特徴量マップに基づきセグメンテーション処理を実行する。また、第２ＤＮＮ５２ｄは、第２フェイズの処理として、第１ＤＮＮ５１ｃで生成された特徴量マップに基づき姿勢推定処理を実行する。

【0298】

図２４は、第３の実施形態の第２の例における第２の具体例に適用可能なセグメンテーション処理を説明するための模式図である。この例では、ＰＳＰＮｅｔ(Pyramid Scene Parsing Network)を用いてセグメンテーション処理を実行する。

【0299】

図２４において、第１ＤＮＮ５１ｃに対して、画像５５が入力される。画像５５は、３チャネル（例えばＲＧＢ）×（高さ）４７５画素×（幅）４７５画素の情報を含む。第１ＤＮＮ５１ｃは、この画像５５に基づき特徴量マップを生成する。第１ＤＮＮ５１ｃは、４０９６チャネル×（高さ）６０画素×（幅）６０画素の第１の特徴量マップと、１０２４チャネル×（高さ）６０画素×（幅）６０画素の第２の特徴量マップと、を生成する。

【0300】

第２ＤＮＮ５２ｃは、Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇモジュール５２０と、Ｄｅｃｏｒｄｅｒモジュール５２１と、Ａｕｘｉｌｉａｒｙ Ｌｏｓｓモジュール５２２と、を含む。第１の特徴量マップは、Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇモジュール５２０に入力され、Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇモジュール５２０およびＤｅｃｏｒｄｅｒモジュール５２１により、２１クラス数×（高さ）４７５画素×（幅）４７５画素の情報とされて出力される。また、第２の特徴量マップは、Ａｕｘｉｌｉａｒｙ Ｌｏｓｓモジュール５２２に入力され、２１クラス数×（高さ）４７５画素×（幅）４７５画素の情報とされて出力される。これらＤｅｃｏｒｄｅｒモジュール５２１およびＡｕｘｉｌｉａｒｙ Ｌｏｓｓモジュール５２２の出力が、第２ＤＮＮ５２ｃの出力とされる。

【0301】

図２５は、第３の実施形態の第２の例における第２の具体例に適用可能な姿勢推定処理を説明するための模式図である。この例では、ＯｐｅｎＰｏｓｅと呼ばれる手法を用いて姿勢推定を行う。

【0302】

第１ＤＮＮ５１ｃは、３チャネル（例えばＲＧＢ）×（高さ）４７５画素×（幅）４７５画素の情報を含む画像５５に基づき、１２８チャネル×（高さ）４６画素×（幅）４６画素の第３の特徴量マップをさらに生成する。第２ＤＮＮ５２ｄは、第１ＤＮＮ５１ｃから出力された第３の特徴量マップに基づき、Ｓｔａｇｅ１のＢｌｏｃｋ１＿１において３８チャネル×（高さ）４６画素×（幅）４６画素のＰＡＦｓ(Part Affinity Fields)を生成する。また、Ｓｔａｇｅ１のＢｌｏｃｋ１＿２において１９チャネル×（高さ）４６画素×（幅）４６画素のヒートマップを生成する。

【0303】

第２ＤＮＮ５２ｄは、Ｓｔａｇｅ１で生成されたＰＡＦｓおよびヒートマップと、第１ＤＮＮ５１ｃで生成された特徴量マップとを統合し、統合した情報に基づき、Ｓｔａｇｅ２のＢｌｏｃｋ２＿１において３８チャネル×（高さ）４６画素×（幅）４６画素のＰＡＦｓを生成する。また、Ｓｔａｇｅ２のＢｌｏｃｋ２＿２において１９チャネル×（高さ）４６画素×（幅）４６画素のヒートマップを生成する。

【0304】

第２ＤＮＮ５２ｄは、このＳｔａｇｅ２に係る処理をＳｔａｇｅ３～Ｓｔａｇｅ６にて繰り返し実行し、Ｓｔａｇｅ６のＢｌｏｃｋ６＿１において３８チャネル×（高さ）４６画素×（幅）４６画素のＰＡＦｓを生成する。また、第２ＤＮＮ５２ｄは、Ｓｔａｇｅ６のＢｌｏｃｋ６＿２において１９チャネル×（高さ）４６画素×（幅）４６画素のヒートマップを生成する。第２ＤＮＮ５２ｄは、このＳｔａｇｅ６において生成されたＰＡＦｓおよびヒートマップが第２ＤＮＮ５２ｄにおける姿勢推定結果として出力する。

【0305】

なお、図２４の例では第１ＤＮＮ５１ｃが出力する第１および第２の特徴量マップが（高さ）６０画素×（幅）６０画素のサイズを有し、図２５の例では第１ＤＮＮ５１ｃが出力する第３の特徴量マップが（高さ）４６画素×（幅）４６画素のサイズを有するように説明したが、これはこの例に限定されない。例えば、第１ＤＮＮ５１ｃが出力する第１および第２の特徴量マップのサイズと、第３の特徴量マップのサイズとを同一としてもよい。

【0306】

（３－３－３．第３の実施形態の第３の例）
次に、第３の実施形態の第３の例について説明する。第３の実施形態の第３の例は、それぞれ前段としての複数のエッジデバイスで異なるＤＮＮ処理を行い、後段で、前段の複数の出力を集約するＤＮＮ処理を実行する例である。

【0307】

図２６は、第３の実施形態の第３の例による情報処理システムの一例の構成を示すブロック図である。図２６において、互いに異なるデバイスに含まれる第１プロセッサ１１－１、１１－２、１１－３、…に対して、第１ＤＮＮ５１－１、５１－２、５１－３、…がそれぞれ搭載される。第１ＤＮＮ５１－１は、第１フェイズにおける第１のＤＮＮ処理を実行する。第１ＤＮＮ５１－２は、第１フェイズにおける第２のＤＮＮ処理を実行する。また、第１ＤＮＮ５１－３は、第１フェイズにおける第３のＤＮＮ処理を実行する。

【0308】

第１プロセッサ１１－１、１１－２、１１－３、…のそれぞれは、第１ＤＮＮ５１－１、５１－２、５１－３、…の処理による各処理結果を第２プロセッサ１２に渡す。例えばサーバに搭載される第２プロセッサ１２において、第２ＤＮＮ５２ｅは、第２フェイズの処理として、第１ＤＮＮ５１－１、５１－２、５１－３、…の処理による各処理結果を集約するＤＮＮ処理を実行する。

【0309】

（第３の実施形態の第３の例における第１の具体例）
第３の実施形態の第３の例における第１の具体例について説明する。この第１の具体例は、後段すなわち第２プロセッサ１２において、前段すなわち各第１プロセッサ１１－１１、１１－１２、１１－１３、…の出力を用いてデータマイニングを行う例である。

【0310】

図２７は、第３の実施形態の第３の例における第１の具体例による情報処理システムの一例の構成を示すブロック図である。図２７の例では、第１プロセッサ１１－１１、１１－１２および１１－１３に、それぞれ画像に基づき姿勢推定、年齢推定および顔認証を行う第１ＤＮＮ５１－１１、５１－１２および５１－１３を割り当てている。

【0311】

第１プロセッサ１１－１１は、第１ＤＮＮ５１－１１の処理により出力された姿勢情報を、第２プロセッサ１２に送信する。第１プロセッサ１１－１２は、第１ＤＮＮ５１－１２の処理により出力された姿勢情報を、第２プロセッサ１２に送信する。また、第１プロセッサ１１－１３は、第１ＤＮＮ５１－１３の処理により得られた顔の情報を、例えば当該顔に基づく特徴量と、当該顔を特定するためのＩＤとを関連付けて第２プロセッサ１２に送信する。

【0312】

第２プロセッサ１２は、第２ＤＮＮ５２ｆの処理により、第１プロセッサ１１－１１、１１－１２および１１－１３から送信された各情報に基づき、データマイニングを行う。第２ＤＮＮ５２ｆが実行するデータマイニング処理としては、行動分析などが考えられる。例えば、第２ＤＮＮ５２ｆは、第１プロセッサ１１－１１および１１－１２から送信された姿勢情報および年齢情報に基づき、姿勢および年齢に関する行動情報が登録されたデータベース（ＤＢ）５６を参照することで、ＩＤで示される人物に関する行動分析を行う。

【0313】

このとき、顔認証を行う第１ＤＮＮ５１－１３は、顔画像ではなくＩＤおよび特徴量を送信するため、行動分析された人物のプライバシーを保護することが可能である。

【0314】

（第３の実施形態の第３の例における第２の具体例）
第３の実施形態の第３の例における第２の具体例について説明する。この第２の具体例は、後段すなわち第２プロセッサ１２において、前段すなわち各第１プロセッサ１１－２１、１１－２２、１１－２３、…の出力を用いて人物などのトラッキングを行う例である。

【0315】

図２８は、第３の実施形態の第３の例における第２の具体例による情報処理システムの一例の構成を示すブロック図である。図２８の例では、第１プロセッサ１１－２１、１１－２２および１１－２３に、それぞれ画像に基づき人物を認証し、認証された人物の移動軌跡を検出して当該人物のトラッキングを行う第１ＤＮＮ５１－２１、５１－２２および５１－２３を割り当てている。

【0316】

第１プロセッサ１１－２１、１１－２２および１１－２３のそれぞれは、各第１ＤＮＮ５１－２１、５１－２２および５１－２３により認証された人物の特徴量と、当該人物を特定するＩＤ（この例では対象Ｘ、対象Ｙ）と、当該ＩＤの人物が認証された時刻を示す情報と、を関連付けて、それぞれ第２プロセッサ１２に送信する。

【0317】

第２プロセッサ１２は、各第１プロセッサ１１－２１、１１－２２および１１－２３のそれぞれが認証を行うための画像を取得する各撮像装置（撮像装置Ａ、ＢおよびＣとする）の位置を示すデバイス位置情報５７を取得できる。デバイス位置情報５７は、予め与えられてもよいし、各撮像装置により撮像された撮像画像内に含まれるオブジェクトなどに基づき求めることも可能である。

【0318】

第２プロセッサ１２は、第２フェイズの処理を行う第２ＤＮＮ５２ｇにより、各第１プロセッサ１１－２１、１１－２２および１１－２３から送信された特徴量と、時刻情報と、各撮像装置の位置情報と、に基づき、ＩＤで示される人物の移動軌跡をトラッキングする。各第１プロセッサ１１－２１、１１－２２および１１－２３から送信された情報に示される人物は、特徴量を比較することで識別、特定することができる。

【0319】

図の例では、第１プロセッサ１１－２１の第１ＤＮＮ５１－２１の処理により、時刻「１０：００」に対象Ｙが認識され、時刻「１０：０１」に対象Ｘが認識されている。また、第１プロセッサ１１－２２の第１ＤＮＮ５１－２２の処理により、時刻「１０：００」に対象Ｘが認識され、時刻「１０：０１」に対象Ｙが認識されている。さらに、第１プロセッサ１１－２３の第１ＤＮＮ５１－２３の処理により、時刻「１０：０２」に対象ＸおよびＹが認識されている。

【0320】

第２プロセッサ１２は、第２ＤＮＮ５２ｇの処理により、各第１プロセッサ１１－２１、１１－２２および１１－２３から送信された情報に基づくトラッキング処理により、対象Ｘが撮像装置Ｂの位置、撮像装置Ａの位置、撮像装置Ｃの位置、の順に移動していることを検出する。同様に、第２プロセッサ１２は、第２ＤＮＮ５２ｇの処理により、対象Ｙが撮像装置Ａの位置、撮像装置Ｂの位置、撮像装置Ｃの位置、の順に移動していることを検出する。

【0321】

このとき、第１ＤＮＮ５１－２１、５１－２２および５１－２３のそれぞれは、顔画像ではなくＩＤおよび特徴量を送信するため、トラッキングされた人物のプライバシーを保護することが可能である。

【0322】

（３－３－４．第３の実施形態の第４の例）
次に、第３の実施形態の第４の例について説明する。第３の実施形態の第４の例は、前段としてのエッジデバイスで軽量な推論を高速で実行し、後段としての例えばサーバで、高精度かつ高機能な推論を実行するようにした例である。

【0323】

なお、以下では、「高速に実行される軽量な推論」を「粗推論」と呼び、「高精度かつ高機能な推論」を「詳細推論」と呼ぶ。

【0324】

図２９は、第３の実施形態の第４の例による情報処理システムの一例の構成を示すブロック図である。図２９において、互いに異なるデバイスに含まれる第１プロセッサ１１－３１、１１－３２、１１－３３、…に対して、第１ＤＮＮ５１－３１、５１－３２、５１－３３、…がそれぞれ搭載される。

【0325】

第１ＤＮＮ５１－３１は、第１フェイズにおける第１のＤＮＮ処理を実行する。第１ＤＮＮ５１－３２は、第１フェイズにおける第２のＤＮＮ処理を実行する。また、第１ＤＮＮ５１－３３は、第１フェイズにおける第３のＤＮＮ処理を実行する。これら、第１フェイズにおける第１～第３のＤＮＮ処理は、入力データに基づき所定の粗推論を行う処理である。第１ＤＮＮ５１－３１、５１－３２および５２－３３のそれぞれによる粗推論の結果である粗推論結果７１－３１、７１－３２および７１－３３は、例えばユーザに提供される。

【0326】

第１プロセッサ１１－３１（第１ＤＮＮ５１－３１）は、入力データを入力テンソル７０－３１として出力する。第１プロセッサ１１－３２（第１ＤＮＮ５１－３２）は、入力データを入力テンソル７０－３２として出力する。同様に、第１プロセッサ１１－３３（第１ＤＮＮ５１－３３）は、入力データを入力テンソル７０－３３として出力する。

【0327】

第２プロセッサ１２において、第２フェイズの処理を行う第２ＤＮＮ５２ｈは、第１プロセッサ１１－３１、１１－３２および１１－３３それぞれから出力された入力テンソル７０－３１、７０－３２および７０－３３を用いて、詳細推論を行う。第２ＤＮＮ５２ｈによる詳細推論の結果である詳細推論結果は、例えばユーザに提供される。

【0328】

粗推論および詳細推論の内容は、特に限定されないが、撮像画像に基づき粗推論により人物の有無や人数を推論し、詳細推論により人物の認識や行動分析を推論することが考えられる。

【0329】

第３の実施形態の第４の例によれば、ユーザは、粗推論結果に基づき先ずは現場の凡その状況を把握し、その後に、詳細推論結果により現場の詳細な状況を把握することが可能となり、現場の状況に対してより適切な対応を取ることが容易となる。

【0330】

（第３の実施形態の第４の例における応用例）
次に、第３の実施形態の第４の例における応用例について説明する。この応用例では、第２プロセッサ１２は、第２プロセッサ１２により、図２９を用いて説明した第４の例における各粗推論結果７１－３１、７１－３２および７１－３３を用いて、第１ＤＮＮ５１－３１、５１－３２および５１－３３それぞれを再学習するようにした例である。

【0331】

図３０は、第３の実施形態の第４の例における応用例による情報処理システムの一例の構成を示すブロック図である。図３０において、第２プロセッサ１２は、第２フェイズの処理を行う第２ＤＮＮ５２ｉと、再学習部７２とを含む。再学習部７２は、第１プロセッサ１１－３１、１１－３２および１１－３３に搭載される各第１ＤＮＮ５１－３１、５１－３２および５１－３３にそれぞれ対応する第１ＤＮＮ５１－３１’、５１－３２’および５１－３３’をそれぞれ含む。第１ＤＮＮ５１－３１’、５１－３２’および５１－３３’は、例えば、初期状態の第１ＤＮＮ５１－３１、５１－３２および５１－３３を適用してよい。

【0332】

各第１プロセッサ１１－３１、１１－３２および１１－３３から出力された各粗推論結果７１－３１、７１－３２および７１－３３が、再学習部７２に渡される。再学習部７２は、第２ＤＮＮ５２ｉによる処理で得られた詳細推論結果と、粗推論結果７１－３１、７１－３２および７１－３３と、を用いて、第１ＤＮＮ５１－３１’、５１－３２’および５１－３３’それぞれを再学習する。

【0333】

再学習部７２は、再学習を、「蒸留」と呼ばれる手法を用いて実行することができる。「蒸留」は、一般的には、既存のネットワーク（この例では第２ＤＮＮ５２ｉ）の出力を用いて対象のネットワーク（この例では第１ＤＮＮ５１－３１、～５１－３３）の性能を向上させる手法を指す。この場合において、既存のネットワークは、規模が大きい、高性能、および／または、学習データが豊富に用意されているネットワークが想定される。一方、対象のネットワークは、規模が小さい、性能が低い、および／または、学習データが十分ではないネットワークが想定される。このように、対象のネットワークの学習に、単純に学習データを用いるだけでなく、他のネットワークの出力も用いることで、性能がより向上されることが知られている。

【0334】

第２プロセッサ１２は、再学習部７２により再学習された第１ＤＮＮ５１－３１’～５１－３３’を、それぞれ第１プロセッサ１１－３１～１１－３３に送信する。各第１プロセッサ１１－３１～１１－３３では、第２プロセッサ１２から送信された第１ＤＮＮ５１－３１’～５１－３３’により、第１ＤＮＮ５１－３１～５１－３３をそれぞれ更新する。この場合において、第２プロセッサ１２は、再学習された第１ＤＮＮ５１－３１’～５１－３３’のうち、再学習前よりも性能が向上したモデルのみを、各第１プロセッサ１１－３１～１１－３３に送信してよい。

【0335】

このように、第３の実施形態の第４の例における応用例では、利用時間などに応じて第１ＤＮＮ５１－３１～５１－３３による粗推論の精度が向上されるため、ユーザは、より高い精度の推論結果を、高速に取得することが可能となる。

【0336】

（３－３－５．第３の実施形態の第５の例）
次に、第３の実施形態の第５の例について説明する。第３の実施形態の第５の例は、第１フェイズの処理を行う第１のＤＮＮによる処理結果を、データ量を削減して第２フェイズの処理を行う第２のＤＮＮに送信するようにした例である。より具体的には、第１のＤＮＮの処理により、画像に基づき物体領域の検出を行い、検出された物体領域のみの情報を第２のＤＮＮに送信する。第２のＤＮＮでは、第１のＤＮＮから送信された物体領域に対して処理を行う。

【0337】

図３１は、第３の実施形態の第５の例による情報処理システムの一例の構成を示すブロック図である。

【0338】

第１プロセッサ１１に対して、オブジェクト７４を含む画像７３が入力される。第１プロセッサ１１において、第１フェイズの処理を行う第１ＤＮＮ５１ｄは、入力された画像７３に対して物体検出を行い、オブジェクト７４を含む最小の矩形領域を物体領域７５として検出する。第１ＤＮＮ５１ｄは、画像７３から物体領域７５を抽出して第２プロセッサ１２に送信する。第２プロセッサ１２は、第２フェイズの処理を行う第２ＤＮＮ５２ｊにより、物体領域７５の画像に基づき処理のＤＮＮ処理を実行する。

【0339】

第１プロセッサ１１は、画像７３から抽出した物体領域７５の画像を第２プロセッサ１２に送信するため、第１プロセッサ１１と第２プロセッサとの間の通信量が削減される。また、第２プロセッサ１２においては、第２ＤＮＮ５２ｊは、元の画像７３に対してサイズが小さい物体領域７５の画像に対してＤＮＮ処理を実行するため、画像７３に対してＤＮＮ処理を実行する場合に比べて処理負荷を軽減できる。

【0340】

第３の実施形態の第５の例は、この例に限らず、例えば第２ＤＮＮ５２ｊによる処理結果に基づき第１ＤＮＮ５１ｄを再学習させることも可能である。例えば、第２ＤＮＮ５２ｊにより、物体領域７５の画像に含まれるオブジェクト７４に対するより詳細な検出処理を行う場合、第２ＤＮＮ５２ｊの検出結果を用いて、上述した蒸留の手法により第１ＤＮＮ５１ｄを再学習させることが考えられる。

【0341】

また、第１ＤＮＮ５１ｄにおいて、画像７３としてＲＧＢ画像を用いて物体領域７５を検出し、画像７３に対応するＲＡＷデータにおける物体領域７５のデータのみを、第２ＤＮＮ５２ｊに送信することもできる。また、第１ＤＮＮ５１ｄにおいて、画像７３から対象のオブジェクトが検出されない場合に、第２ＤＮＮ５２ｊに対してデータを送信しないようにしてもよい。

【0342】

なお、上述した第３の実施形態の第１～第５の例は、それぞれ独立して実施されるのみならず、互いに矛盾を生じない範囲で、適宜に組み合わせて実施することが可能である。

【0343】

（４．第４の実施形態）
次に、本開示の第４の実施形態について説明する。第４の実施形態は、第１プロセッサ１１および第２プロセッサ１２などの実装に関する。より詳細には、第４の実施形態は、センシングデバイス１０と、第１プロセッサ１１と、第２プロセッサ１２と、の間でデータを伝送する信号経路の構造に関する。

【0344】

（第４の実施形態に係る物理的なレイアウト例）
図３２は、第４の実施形態に係る情報処理システムにおける各部の、基板に対する物理的なレイアウトの例を示す模式図である。

【0345】

図３２において、左側は、センシングデバイス１０、第１プロセッサ１１および第２プロセッサ１２と、第２プロセッサ１２の出力を送信し、また、外部から送信されたデータなどを受信する通信部１４と、を含む撮像装置１５０（あるいはセンシング装置）の、基板１６ａに対する物理的なレイアウトの例を、俯瞰図として示している。

【0346】

センシングデバイス１０、第１プロセッサ１１および第２プロセッサ１２の内部では、センシングデバイス１０の出力に基づく情報や、当該情報に基づき演算処理を施した結果の情報が、複数ビットを単位とするデータとして扱われている。

【0347】

図３２において、右側は、アプリケーション実行部３０あるいはＤＮＮが実行される第３プロセッサ１３と、通信部１４との間でデータの送受信を行う通信部１５と、を含む情報処理装置３００ａの、基板１６ｂに対する物理的なレイアウトの例を、俯瞰図として示している。

【0348】

なお、図３２では、センシングデバイス１０、第１プロセッサ１１、第２プロセッサ１２および通信部１４が基板１６ａに対して直線状に配置されているが、これは説明のためであり、この例に限定されない。また、図３２では、情報処理装置３００ａに含まれる通信部１５および第３プロセッサ１３が基板１６ｂに配置されるように示しているが、これは説明のためであり、この例に限定されない。例えば、通信部１５および第３プロセッサ１３を含む情報処理装置３００ａは、クラウドネットワーク上の構成であってもよい。この場合、通信部１４と通信部１５とは、通信ネットワークを介してデータの送受信を行うことになる。

【0349】

（第４の実施形態に係る第１の信号経路例）
第４の実施形態に係る第４の信号経路例について説明する。図３３は、第４の実施形態に係る情報処理システムの第１の信号経路例を示す模式図である。図３３は、上述した図３２に対して、各部を接続する信号経路を追加したものである。

【0350】

図３３において、情報処理システム１ｂは、撮像装置１５０において、センシングデバイス１０と第１プロセッサ１１との間、および、第１プロセッサ１１と第２プロセッサ１２との間において、情報（データ）を伝送する信号線が、複数本の信号線を含むパラレル転送信号線８０により構成されている。一方、第２プロセッサ１２と通信部１４との間において、データを伝送する信号線は、パラレル転送信号線、あるいは、１以上のシリアル転送信号線によって構成される。

【0351】

（第４の実施形態に係る第２の信号経路例）
第４の実施形態に係る第２の信号経路例について説明する。図３４は、第４の実施形態に係る情報処理システムの第２の信号経路例を示す模式図である。図３４において、情報処理システム１ｃは、第１プロセッサ１１と第２プロセッサ１２との間の信号経路として、図３３を用いて説明したパラレル転送信号線８０に代えて、１以上の高速シリアル転送信号線８１が用いられている。

【0352】

なお、高速シリアル転送信号線８１は、例えば図３３に示すパラレル転送信号線８０と比較して、高いクロック周波数に従いデータを転送する構造の信号線である。あるいは、高速シリアル転送信号線８１は、１つのセンシング素子（例えば画素アレイ）がある時間内若しくはあるタイミングにおいて取得したデータ、あるいは、このデータを演算処理したデータの少なくとも一部を時間方向に並べて転送する構造の信号線であってよい。

【0353】

図３５は、図３４に示した、第４の実施形態に係る第２の信号経路例におけるデータ伝送に係る各タイミングを示す一例のタイミングチャートである。図３５において、図上の横方向は、右方向に向けて時間の経過を示している。ここでは、各処理がクロック信号である駆動タイミング信号の立ち上がりエッジをトリガとして開始され、立ち下がりエッジで終了されるものとして説明を行う。

【0354】

図３５において、時間ｔ₀でセンシングデバイス１０から画素データの出力が開始される。それと共に、時間ｔ₀で、センシングデバイス１０から第１プロセッサ１１への、パラレル転送信号線８０を介した画素データの伝送が開始される。時間ｔ₁で、第１プロセッサ１１において、センシングデバイス１０から転送された画素データに対する第１ＤＮＮ５１による処理が開始される。

【0355】

時間ｔ₃で第１ＤＮＮ５１による処理が終了されると、第１プロセッサ１１は、第１ＤＮＮ５１の出力の先頭データからパラレル／シリアル変換（Ｐ／Ｓ変換）を開始する。時間ｔ₄で、第１プロセッサ１１から第２プロセッサ１２への、高速シリアル転送信号線８１を介したデータ転送が開始される。時間ｔ₅で、第２プロセッサ１２において伝送された先頭データからシリアル／パラレル変換（Ｓ／Ｐ変換）が開始され、時間ｔ₆で、第２プロセッサ１２において第２ＤＮＮ５２による処理が開始される。第２ＤＮＮ５２による処理結果の出力は、時間ｔ₇で開始される。

【0356】

このように、本開示では、第１ＤＮＮ５１の処理と、第２ＤＮＮ５２の処理とがパイプライン処理により実行される。

【0357】

センシングデバイス１０から画素データが出力される時間ｔ₀から、第１ＤＮＮ５１の処理結果の出力が開始される時間ｔ₃までが、第１ＤＮＮ５１による処理のレイテンシとなる。また、当該時間ｔ₀から、第２ＤＮＮ５２の処理結果の出力が開始される時間ｔ₇までが、第１ＤＮＮ５１と第２ＤＮＮ５２とによる処理のレイテンシとなる。

【0358】

（第４の実施形態に係る第３の信号経路例）
第４の実施形態に係る第３の信号経路例について説明する。図３６は、第４の実施形態に係る情報処理システムの第３の信号経路例を示す模式図である。図３６において、情報処理システム１ｄは、センシングデバイス１０と第１プロセッサ１１との間の経信号路として、図３４を用いて説明したパラレル転送信号線８０に代えて、１以上の高速シリアル転送信号線８１が用いられている。すなわち、図３６の例では、第１プロセッサ１１と第２プロセッサ１２との間に加えて、センシングデバイス１０と第１プロセッサ１１との間の信号経路として、高速シリアル転送信号線８１が用いられている。

【0359】

図３７は、図３６に示した、第４の実施形態に係る第３の信号経路例におけるデータ伝送に係る各タイミングを示す一例のタイミングチャートである。図３７において、図上の横方向は、右方向に向けて時間の経過を示している。図３５と同様に、各処理がクロック信号である駆動タイミング信号の立ち上がりエッジをトリガとして開始され、立ち下がりエッジで終了されるものとして説明を行う。

【0360】

図３７において、時間ｔ₁₀でセンシングデバイス１０から画素データの出力が開始される。それと共に、時間ｔ₁₀で、センシングデバイス１０は、画素データの先頭データからパラレル／シリアル変換（Ｐ／Ｓ変換）を開始する。時間ｔ₁₁で、センシングデバイス１０から第１プロセッサ１１への、高速シリアル転送信号線８１を介した画素データの伝送が開始される。

【0361】

時間ｔ１２で、第１プロセッサ１１は、高速シリアル転送信号線８１を介して受信した画素データの先頭データからＳ／Ｐ変換を開始する。時間ｔ１３で、第１プロセッサ１１において、センシングデバイス１０から高速シリアル転送信号線８１を介して転送された画素データに対する第１ＤＮＮ５１による処理が開始される。

【0362】

時間ｔ₁₄で第１ＤＮＮ５１による処理が終了されると、第１プロセッサ１１は、第１ＤＮＮ５１の出力の先頭データからＰ／Ｓ変換を開始する。時間ｔ₁₅で、第１プロセッサ１１から第２プロセッサ１２への、高速シリアル転送信号線８１を介したデータ転送が開始される。時間ｔ₁₆で、第２プロセッサ１２において伝送された先頭データからＳ／Ｐ変換が開始され、時間ｔ₁₇で、第２プロセッサ１２において第２ＤＮＮ５２による処理が開始される。第２ＤＮＮ５２による処理結果の出力は、時間ｔ₁₈で開始される。

【0363】

このように、本開示では、第１ＤＮＮ５１の処理と、第２ＤＮＮ５２の処理とがパイプライン処理により実行される。

【0364】

センシングデバイス１０から画素データが出力される時間ｔ₁₀から、第１ＤＮＮ５１の処理結果の出力が開始される時間ｔ₁₄までが、第１ＤＮＮ５１による処理のレイテンシとなる。また、当該時間ｔ₁₀から、第２ＤＮＮ５２の処理結果の出力が開始される時間ｔ₁₈までが、第２ＤＮＮ５２による処理のレイテンシとなる。

【0365】

この図３７と、上述した図３５とを比較すると、図３５の例は、図３７の例に対してよ、センシングデバイス１０の出力におけるＰ／Ｓ変換（時間ｔ₁₀）と、第２プロセッサ１２の入力におけるＳ／Ｐ変換（時間ｔ₁₆）とが不要となっている。そのため、図３４に示す第４の実施形態の第２の信号経路例は、図３６に示す第４の実施形態の第３の信号経路例に対して、センシングデバイス１０から画素データが出力されてから第１ＤＮＮ５１による処理が開始されるまでのレイテンシが小さくなる。同様に、図３４に示す第４の実施形態の第２の信号経路例は、図３６に示す第４の実施形態の第３の信号経路例に対して、センシングデバイス１０から画素データが出力されてから第２ＤＮＮ５２による処理が開始されるまでのレイテンシも、小さくなる。

【0366】

したがって、レイテンシを考慮した場合、図３６に示す第４の実施形態の第３の信号経路例よりも、図３４に示す第４の実施形態の第２の信号経路例の方が有利であるといえる。一方、図３６に示す第４の実施形態の第３の信号経路例では、センシングデバイス１０と第１プロセッサ１１との間、および、第１プロセッサ１１と第１プロセッサ１１との間、をそれぞれ高速シリアル転送信号線８１で接続しているため、図３４に示す第４の実施形態の第２の信号経路例や、図３３に示す第４の実施形態の第１の信号経路例に対して、レイアウトの自由度の点で有利であるといえる。

【0367】

（第４の実施形態に係る第４の信号経路例）
第４の実施形態に係る第４の信号経路例について説明する。第４の実施形態に係る第４の信号経路例は、センシングデバイス１０と第１プロセッサ１１とを積層構造あるいは重畳させて構成した場合の例である。例えば、センシングデバイス１０に含まれる撮像部１１１を第１のダイに構成し、センシングデバイス１０に含まれる撮像部１１１以外の部分と、第１プロセッサ１１とを第２のダイに構成する。第１のダイと第２のダイとを貼り合わせて、積層構造による１チップの半導体装置を構成する。

【0368】

以下では、このように、複数のデバイスを積層あるいは重畳した構造体を、適宜、積層構造体と呼ぶ。

【0369】

図３８は、第４の実施形態に係る情報処理システムの第４の信号経路例を示す模式図である。図３８において、情報処理システム１ｅは、撮像部１１１と第１プロセッサ１１とが基板１６ａの垂直方向に積層されて積層構造体を構成している。この積層構造体において、撮像部１１１と第１プロセッサ１１との間のデータを伝送する信号線が、基板１６ａと垂直方向に延在する、複数本の信号線を含むパラレル転送信号線によって構成される。

【0370】

なお、図３８おいて、撮像部１１１と第１プロセッサ１１とが積層あるいは重畳されるように記載しているが、これは説明のためであり、実際には、撮像装置１００ａにおける撮像部１１１以外の部分は、撮像部１１１側および／または第１プロセッサ１１側に適宜に配置される。

【0371】

図３９Ａおよび図３９Ｂは、第４の実施形態に係る第４の信号経路例における積層構造体の垂直方向の構造を概略的に示す模式図である。図３９Ａおよび図３９Ｂにおいて、撮像部１１１と第１プロセッサ１１とが積層あるいは重畳された積層構造体は、撮像部１１１と第１プロセッサ１１の信号を当該積層構造体の外部に取り出すための基板５０２（所謂インターポーザ基板）が含められている。

【0372】

以下、基板５０２をインターポーザ基板５０２として説明を行う。

【0373】

図３９Ａにおいて、撮像部１１１と第１プロセッサ１１との間、第１プロセッサ１１とインターポーザ基板５０２との間が、それぞれ、複数本の信号線５００によるパラレル転送信号線により接続される。また、図３９Ａの例では、撮像部１１１とインターポーザ基板５０２とが、第１プロセッサ１１の内部に設けられた導電体５０１を介して接続されている。

【0374】

この例に限らず、図３９Ｂに例示されるように、撮像部１１１とインターポーザ基板５０２とが、第１プロセッサ１１の外側を介して接続してもよい。

【0375】

このように、積層構造体を採用することで、撮像部１１１と第１プロセッサ１１との間におけるデータの信号経路のレイアウトが容易となる。また、積層構造体を採用することで、撮像装置１５０の小型化が可能となる。

【0376】

（第４の実施形態に係る第５の信号経路例）
第４の実施形態に係る第５の信号経路例について説明する。図４０は、第４の実施形態に係る情報処理システムの第５の信号経路例を示す模式図である。

【0377】

図４０において、情報処理システム１ｆは、図３４に示した構造と比較して、センシングデバイス１０と第１プロセッサ１１とをパラレル転送信号線８０によって接続した構造を、図３９Ａまたは図３９Ｂに示す、センシングデバイス１０と第１プロセッサ１１とを積層し、複数本の信号線５００によるパラレル転送信号線により接続した積層構造体を用いて実現した構造を有している。

【0378】

図４０に示される第４の実施形態に係る第５の信号経路例に係る構造は、センシングデバイス１０と第１プロセッサ１１とを積層して積層構造帯を形成している。そのため、当該第５の信号経路例に係る構造を適用することで、することで、図３３、図３４および図３６で説明した構造と比較して、基板１６ａにおける実装面積を削減することができる。

【0379】

それと共に、当該第５の信号経路例に係る構造は、第１プロセッサ１１と、センシングデバイス１０と第１プロセッサ１１とによる積層構造体の外部に配置された第２プロセッサ１２と、の間を高速シリアル転送信号線８１で接続している。これにより、当該第５の信号経路例の構造を適用することで、基板１６ａにおける配線のレイアウトが容易となる効果も得ることができる。

【0380】

さらには、当該第５の信号経路例に係る構造は、第１プロセッサ１１と第２プロセッサ１２と、の間を高速シリアル転送信号線８１で接続すると共に、センシングデバイス１０と第１プロセッサ１１とを複数本の信号線５００によるパラレル転送信号線により接続している。そのため、当該第５の信号経路例を適用することで、図３５および図３７を用いて説明したように、例えば図３６に示した、センシングデバイス１０と第１プロセッサ１１との間を高速シリアル転送信号線８１で接続した構造と比較して、センシングデバイス１０から画素データが出力されてから第２ＤＮＮ５２による処理が開始されるまでのレイテンシを小さくすることができる。

【0381】

（第４の実施形態に係る第６の信号経路例）
第４の実施形態に係る第６の信号経路例について説明する。図４１は、第４の実施形態に係る情報処理システムの第６の信号経路例を示す模式図である。図４１において、情報処理システム１ｇは、図４０に示した構造に対して、撮像部１１１と第１プロセッサ１１との間の信号経路として、複数の信号線５００を含むパラレル転送信号線に代えて、１以上の高速シリアル転送信号線８２が用いられている。

【0382】

（第４の実施形態に係る第７の信号経路例）
第４の実施形態に係る第７の信号経路例について説明する。図４２は、第４の実施形態に係る情報処理システムの第７の信号経路例を示す模式図である。図４２において、情報処理システム１ｈは、撮像部１１１と第１プロセッサ１１と第２プロセッサ１２とが基板１６ａの垂直方向に積層されて積層構造体を構成している。この積層構造体において、撮像部１１１と第１プロセッサ１１との間のデータを伝送する信号線、および、第１プロセッサ１１と第２プロセッサ１２との間のデータを伝送する信号線が、基板１６ａと垂直方向に延在する、複数本の信号線を含むパラレル転送信号線によって構成される。

【0383】

図４３Ａおよび図４３Ｂは、第４の実施形態に係る第７の信号経路例における積層構造体の垂直方向の構造を概略的に示す模式図である。

【0384】

図４３Ａにおいて、撮像部１１１と第１プロセッサ１１との間、第１プロセッサ１１と第２プロセッサ１２との間、および、第２プロセッサ１２とインターポーザ基板５０２との間が、それぞれ、複数本の信号線５００によるパラレル転送信号線により接続される。また、図４３Ａの例では、撮像部１１１とインターポーザ基板５０２とが、第１プロセッサ１１および第２プロセッサ１２の内部にそれぞれ設けられた導電体５０１を介して接続されている。同様に、第１プロセッサ１１とインターポーザ基板５０２とが、第２プロセッサ１２の内部に設けられた導電体５０１を介して接続されている。

【0385】

この例に限らず、図４３Ｂに例示されるように、撮像部１１１とインターポーザ基板５０２とを、第１プロセッサ１１および第２プロセッサ１２の外側を介して接続し、第１プロセッサ１１とインターポーザ基板５０２とを、第２プロセッサ１２の外側を介して接続してもよい。

【0386】

このように、第４の実施形態に係る第７の信号経路例では、撮像部１１１と、第１プロセッサ１１と、第２プロセッサ１２とを積層あるいは重畳した積層構造体を採用している。そのため、撮像部１１１と第１プロセッサ１１との間、第１プロセッサ１１と第２プロセッサ１２との間、におけるデータの信号経路のレイアウトが容易となる。また、撮像部１１１と、第１プロセッサ１１と、第２プロセッサ１２とを積層あるいは重畳した積層構造体を採用することで、上述した第４の実施形態に係る第４の信号経路例と比較して、撮像装置１５０のさらなる小型化が可能となる。

【0387】

（第４の実施形態に係る第８の信号経路例）
第４の実施形態に係る第８の信号経路例について説明する。図４４は、第４の実施形態に係る情報処理システムの第８の信号経路例を示す模式図である。図４４において、情報処理システム１ｉは、第２プロセッサ１２が情報処理装置３００ｂに含めて構成されている。撮像装置１５０は、撮像部１１１と第１プロセッサ１１とが積層あるいは重畳された積層構造体と、通信部１４と、を含む。

【0388】

図４４の例では、撮像装置１５０において、第１プロセッサ１１と通信部１４との間の信号経路が、パラレル転送信号線８０により構成されている。また、情報処理装置３００ｂにおいて、通信部１５と第２プロセッサ１２との間の信号経路が、パラレル転送信号線８０により構成されている。また、情報処理装置３００ｂにおいて、第２プロセッサ１２と第３プロセッサとの間の信号経路が、高速シリアル転送信号線８１により構成されている。

【0389】

図４４に示す構成によれば、情報処理装置３００ｂを計算リソースが比較的潤沢なものとすることで、第２プロセッサ１２において、第２ＤＮＮ５２による処理をより高精度およびより高機能とすることが可能である。

【0390】

なお、図４４に示す構成において、撮像装置１５０における第１プロセッサ１１と通信部１４との間の信号経路や、情報処理装置３００ｂにおける通信部１５と第２プロセッサ１２との間の信号経路を高速シリアル転送信号線８１としてもよい。また、第２プロセッサ１２と第３プロセッサ１３との間の信号経路を、パラレル転送信号線８０としてもよい。

【0391】

（第４の実施形態に係る第９の信号経路例）
第４の実施形態に係る第９の信号経路例について説明する。図４５Ａおよび図４５Ｂは、第４の実施形態に係る情報処理システムの第９の信号経路例を示す模式図である。第４の実施形態に係る第９の信号経路例では、例えば図４０に示した情報処理システム１ｆの構成に対して、第１プロセッサ１１と通信部１４とを接続する信号経路を追加した例である。

【0392】

図４５Ａは、第１プロセッサ１１と通信部１４との間の信号経路が、複数の信号線を含むパラレル転送信号線８３とされた情報処理システム１ｊの例を示している。また、図４５Ｂは、第１プロセッサ１１と通信部１４との間の信号経路が、１以上の高速シリアル転送信号線８４とされた情報処理システム１ｋの例を示している。図４５Ｂに示す構成は、図４５Ａに示す構成と比較して、基板１６ａにおけるレイアウトが容易となる。

【0393】

なお、この、第１プロセッサ１１と通信部１４とを接続する信号経路を追加する構成は、上述した第４の実施形態に係る第１～第８の信号経路例に対しても適用可能である。

【0394】

（５．第５の実施形態）
次に、本開示の第５の実施形態について説明する。第５の実施形態は、第１プロセッサ１１および第２プロセッサ１２が用いるメモリの構成に関する。なお、以下では、第１プロセッサ１１および第２プロセッサ１２が同一の基板１６ａに構成されるものして説明を行う。

【0395】

（第５の実施形態の第１の例）
先ず、第５の実施形態の第１の例について説明する。第５の実施形態の第１の例は、第１プロセッサ１１と第１プロセッサ１１が用いるメモリとが１つの半導体集積回路のダイあるいはチップに設けられ、第２プロセッサ１２と第２プロセッサ１２が用いるメモリとが別の１つの半導体集積回路のダイあるいはチップに設けられる例である。

【0396】

図４６Ａおよび図４６Ｂは、第５の実施形態の第１の例による構成の例を示す模式図である。

【0397】

図４６Ａにおいて、第１プロセッサ１１ａは、入力部６００と、演算回路部６０１と、出力部６０２と、第１メモリ６０３と、を含む。また、演算回路部６０１は、第１演算処理部６１０ａとその他回路６１１と、含む。

【0398】

入力部６００は、第１プロセッサ１１ａにおける入力インタフェースであって、センシングデバイス１０からの出力が入力される。第１演算処理部６１０ａは、シングルコアの構成を有し、プログラムに従い所定の演算を実行する。その他回路６１１は、第１演算処理部６１０ａが演算処理に用いる回路（クロック回路など）や、第１演算処理部６１０ａ以外の演算処理を行う回路を含んでよい。出力部６０２は、第１プロセッサ１１ａにおける出力インタフェースであって、第１演算処理部６１０ａによる演算結果を第１プロセッサ１１ａの外部に出力する。

【0399】

第１メモリ６０３は、第１演算処理部６１０ａが演算処理に用いるメモリである。例えば、第１ＤＮＮ５１が第１メモリ６０３に記憶される。第１演算処理部６１０ａは、第１メモリ６０３から第１ＤＮＮ５１を読み出して、例えば第１フェイズによるＤＮＮ処理を実行する。

【0400】

第２プロセッサ１２ａは、入力部６２２０と、演算回路部６２１と、出力部６２２と、第２メモリ６０４と、を含む。また、演算回路部６２１は、第２演算処理部６３０ａとその他回路６３１と、含む。

【0401】

入力部６２０は、第２プロセッサ１２ａにおける入力インタフェースであって、第１プロセッサ１１からの出力が入力される。第２演算処理部６３０ａは、シングルコアの構成を有し、プログラムに従い所定の演算を実行する。その他回路６３１は、第２演算処理部６３０ａが演算処理に用いる回路（クロック回路など）や、第２演算処理部６３０ａ以外の演算処理を行う回路を含んでよい。出力部６２２は、第２プロセッサ１２ａにおける出力インタフェースであって、第２演算処理部６３０ａによる演算結果を第２プロセッサ１２ａの外部に出力する。

【0402】

第２メモリ６０４は、第２演算処理部６３０ａが演算処理に用いるメモリである。例えば、第２ＤＮＮ５２が第２メモリ６０４に記憶される。第２演算処理部６３０ａは、第２メモリ６０４から第２ＤＮＮ５２を読み出して、例えば第２フェイズによるＤＮＮ処理を実行する。

【0403】

第１演算処理部６１０ａおよび第２演算処理部６３０ａは、マルチコアの構成とすることもできる。図４６Ｂは、図４６Ａにおける第１演算処理部６１０ａおよび第２演算処理部６３０ａに代えて、マルチコア構成による第１演算処理部６１０ｂおよび第２演算処理部６３０ｂを設けた第１プロセッサ１１ｂおよび第２プロセッサ１２ｂの構成を示している。

【0404】

第１演算処理部６１０ｂは、それぞれ演算処理を実行可能な複数のコア６１２₁、６１２₂、…を含む（図ではそれぞれコア＃１、コア＃２、…としても示されている）。同様に、第２演算処理部６３０ｂは、それぞれ演算処理を実行可能な複数のコア６３２₁、６３２₂、…を含む（図ではそれぞれコア＃１、コア＃２、…としても示されている）。

【0405】

なお、図４６Ｂに示す構成において、例えば第１プロセッサ１１ｂにおいて第１ＤＮＮを時間方向に分割してそれらを複数のコア６１２₁、６１２₂、…で分担して実行するネットワーク構造にしてもよい。また、第１ＤＮＮ５１をネットワークの深さ方向に分割し、それらを複数のコア６１２₁、６１２₂、…で分担して実行するネットワーク構造にしてもよい。さらに、第１ＤＮＮ５１を複数のコア６１２₁、６１２₂、…で並列に実行する構造にしてもよい。

【0406】

図４６Ｂの構成によれば、第１演算処理部６１０ａおよび第２演算処理部６３０ａがシングルコアである図４６Ａの構成に対して、より演算能力を向上させることができる。

【0407】

（第５の実施形態の第２の例）
先ず、第５の実施形態の第２の例について説明する。第５の実施形態の第２の例は、第１プロセッサ１１と第１プロセッサ１１が用いるメモリとが異なる半導体集積回路のダイあるいはチップに設けられ、第２プロセッサ１２と第２プロセッサ１２が用いるメモリとがそれぞれ異なる半導体集積回路のダイあるいはチップに設けられる例である。

【0408】

図４７Ａおよび図４７Ｂは、第５の実施形態の第２の例による構成の例を示す模式図である。

【0409】

図４７Ａの例では、第１プロセッサ１１ｃは、シングルコアの第１演算処理部６１０ａを有し、第１演算処理部６１０ａが演算処理に用いる第１メモリ６０３は、第１プロセッサ１１ｃの外部に設けられている。同様に、第２プロセッサ１２ｃは、シングルコアの第２演算処理部６３０ａを有し、第２演算処理部６３０ａが演算処理に用いる第２メモリ６０４は、第２プロセッサ１２ｃの外部に設けられている。

【0410】

このように、第１メモリ６０３および第２メモリ６０４を第１プロセッサ１１ｃおよび第２プロセッサ１２ｃと異なるダイあるいはチップに構成することで、図４６Ａおよび図４６Ｂに示した構成と比較して、第１メモリ６０３および第２メモリ６０４の大容量化が容易となる。また、第１メモリ６０３および第２メモリ６０４のダイあるいはチップとして、一般的に流通しているメモリのダイあるいはチップを用いることができるため、製造コストを抑制することが可能である。

【0411】

また、図４７Ａの構成において、例えば第１プロセッサ１１ｃと第１メモリ６０３とを積層あるいは重畳して積層構造体として構成することが可能である。この場合には、第１プロセッサ１１ｃおよび第１メモリ６０３が搭載される基板や、これを搭載した装置の外形を縮小することが可能である。

【0412】

図４７Ｂは、図４７Ａの第１演算処理部６１０ａに代えて、それぞれ演算処理を行う複数のコア６１２₁、６１２₂、…を有する第１演算処理部６１０ｂを有し、第１メモリ６０３が異なるダイに構成される第１プロセッサ１１ｄの構成例を示している。また、図４７Ｂでは、図４７Ａの第２演算処理部６３０ａに代えて、それぞれ演算処理を行う複数のコア６３２₁、６３２₂、…を有する第２演算処理部６３０ｂを有し、第２メモリ６０４が異なるダイに構成される第２プロセッサ１２ｄの構成例も示している。

【0413】

図４７Ｂに示す構成においても、図４７Ａの構成と同等の効果を得ることができる。さらに、図４７Ｂに示す構成では、図４７Ａに示す構成に対してより演算能力を向上させることができる。

【0414】

（第５の実施形態の第３の例）
先ず、第５の実施形態の第３の例について説明する。第５の実施形態の第３は、第１プロセッサ１１が用いるメモリと第２プロセッサ１２が用いるメモリとを共通化した例である。第１プロセッサ１１および第２プロセッサ１２が共通に用いるメモリは、第１プロセッサ１１および第２プロセッサ１２が構成されるダイとは異なるダイに構成される。

【0415】

図４８Ａおよび図４８Ｂは、第５の実施形態の第３の例による構成の例を示す模式図である。

【0416】

図４８Ａの例では、第１プロセッサ１１ｅは、シングルコアの第１演算処理部６１０ａを有し、第２プロセッサ１２ｅは、シングルコアの第２演算処理部６３０ａを有する。第１演算処理部６１０ａと第２演算処理部６３０ａが共通して用いるメモリ６０５が、第１プロセッサ１１ｅおよび第２プロセッサ１２ｅの外部に設けられている。

【0417】

このように、第１プロセッサ１１ｅが用いるメモリと第２プロセッサ１２ｅが用いるメモリとを共通化したメモリ６０５とし、メモリ６０５を第１プロセッサ１１ｅおよび第２プロセッサ１２ｅと異なるダイに構成することで、図４６Ａおよび図４６Ｂに示した構成と比較して、第１プロセッサ１１ｅおよび第２プロセッサ１２ｅが用いるメモリ６０５の大容量化が容易となる。また、第１プロセッサ１１ｅが用いるメモリと第２プロセッサ１２ｅが用いるメモリとを共通化することで、レイアウトが容易となる。

【0418】

このように、第１プロセッサ１１ｅおよび第２プロセッサ１２ｅが用いるメモリを共通化し、第１プロセッサ１１ｃおよび第２プロセッサ１２ｃと異なるダイに構成することで、図４６Ａおよび図４６Ｂに示した構成と比較して、第１プロセッサ１１ｅおよび第２プロセッサ１２ｅが用いるメモリの大容量化が容易となる。また、メモリ６０５のダイとして、一般的に流通しているメモリのダイを用いることができるため、製造コストを抑制することが可能である。また、図４７Ａおよび図４７Ｂに示した構成と比較してメモリの個数を減らすことができるため、第１プロセッサ１１ｅ、第２プロセッサ１２ｅおよびメモリ６０５が搭載される基板や、これを搭載した装置の外形を縮小することが可能である。

【0419】

図４８Ｂは、図４８Ａの第１演算処理部６１０ａに代えて、それぞれ演算処理を行う複数のコア６１２₁、６１２₂、…を有する第１演算処理部６１０ｂを有する第１プロセッサ１１ｆと、第２演算処理部６３０ａに代えて、それぞれ演算処理を行う複数のコア６３２₁、６３２₂、…を有する第２演算処理部６３０ｂを有する第２プロセッサ１２ｆの例を示している。第１演算処理部６１０ｂと第２演算処理部６３０ｂが共通して用いるメモリ６０５が、第１プロセッサ１１ｆおよび第２プロセッサ１２ｆの外部に設けられている。

【0420】

図４８Ｂに示す構成においても、図４８Ａの構成と同等の効果を得ることができる。さらに、図４８Ｂに示す構成では、図４８Ａに示す構成に対してより演算能力を向上させることができる。

【0421】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0422】

なお、本技術は以下のような構成も取ることができる。
（１）
複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御部、
を備え、
前記制御部は、
前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、
前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する、
情報処理装置。
（２）
入力データが入力され、前記複数のプロセッサのうち第１のプロセッサに実行させる、前記複数のネットワークのうち第１のネットワークと、前記複数のプロセッサのうち第２のプロセッサに実行させる、前記第１のネットワークの出力が入力され、前記入力データに応じた出力データを出力する、前記複数のネットワークのうち第２のネットワークと、をそれぞれ決定する制御部、
を備える、
前記（１）に記載の情報処理装置。
（３）
前記制御部は、
前記第１のネットワークおよび前記第２のネットワークのうち少なくとも一方による処理の実行に対して要求される性能である要求性能に応じて、前記第１のネットワークおよび前記第２のネットワークを決定する、
前記（２）に記載の情報処理装置。
（４）
前記制御部は、
ハードウェア要素に対する前記要求性能と、前記出力データに対する処理を実行するアプリケーションにより前記出力データに要求されるアプリケーション要素に対する前記要求性能と、のうち少なくとも一方に基づき、前記第１のネットワークおよび前記第２のネットワークを決定する、
前記（３）に記載の情報処理装置。
（５）
前記ハードウェア要素は、前記第１のプロセッサと、前記第２のプロセッサと、前記入力データの生成元のハードウェアと、のうち少なくとも１つの能力および制約を含み、
前記アプリケーション要素は、前記出力データのレートと、伝送サイズと、前記アプリケーションにおける処理のコストと、のうち少なくとも１つを含む、
前記（４）に記載の情報処理装置。
（６）
前記制御部は、
前記要求性能と、所定のネットワークに対する性能維持指標とに基づき、前記第１のネットワークと前記第２のネットワークとを決定する、
前記（３）乃至（５）の何れかに記載の情報処理装置。
（７）
前記制御部は、
前記第１のネットワークでは固定小数点演算を行い、前記第２のネットワークでは浮動小数点演算を行うように、前記第１のネットワークおよび前記第２のネットワークを決定する、
前記（３）乃至（６）の何れかに記載の情報処理装置。
（８）
前記制御部は、
前記第１のネットワークによる処理および前記第２のネットワークによる処理を、前記第２のネットワークによる処理が前記第１のネットワークによる処理に対するパイプライン処理として実行されるように決定する、
前記（３）乃至（７）の何れかに記載の情報処理装置。
（９）
所定のネットワークに含まれる、前記入力データに対する第１の機能を前記第１のネットワークに適用し、前記第１の機能による処理結果に対する第２の機能を前記第２のネットワークに適用する、
前記（２）に記載の情報処理装置。
（１０）
前記制御部は、
前記第２の機能に応じて前記第１の機能を決定する、
前記（９）に記載の情報処理装置。
（１１）
前記制御部は、
前記第２のネットワークの学習結果に応じて前記第２の機能を更新または変更する、
前記（９）または（１０）に記載の情報処理装置。
（１２）
前記制御部は、
前記第１のネットワークの出力に応じて前記第２のネットワークを変更する、
前記（９）乃至（１１）の何れかに記載の情報処理装置。
（１３）
前記制御部は、
前記第２のネットワークとして、互いに異なる複数の前記第２の機能のそれぞれに１対１で対応し、並列処理が可能な複数の第２のネットワークを決定する、
前記（９）乃至（１２）の何れかに記載の情報処理装置。
（１４）
前記制御部は、
前記複数の第２のネットワークを、１つの前記第１のネットワークの出力が共通に入力されるように決定する、
前記（１３）に記載の情報処理装置。
（１５）
前記第１のネットワークとして、互いに異なる複数の前記第１の機能のそれぞれに１対１で対応し、並列処理が可能な複数の第１のネットワークを決定する、
前記（９）に記載の情報処理装置。
（１６）
前記制御部は、
前記第２のネットワークを、前記複数の第１のネットワークそれぞれの出力が入力されるように決定する、
前記（１５）に記載の情報処理装置。
（１７）
前記制御部は、
前記第１のネットワークを速度を優先して前記第１の機能の処理を行うように決定し、前記第２のネットワークを精度および機能のうち少なくとも一方を優先して前記第２の機能の処理を行うように決定する、
前記（９）乃至（１６）の何れかに記載の情報処理装置。
（１８）
前記制御部は、
前記第２のネットワークによる処理結果に基づき前記第１のネットワークを再学習させるように、前記第１のネットワークおよび前記第２のネットワークを決定する、
前記（１７）に記載の情報処理装置。
（１９）
前記制御部は、
前記第１のネットワークによる出力のデータを削減して前記第２のネットワークに入力させるように、前記第１のネットワークおよび前記第２のネットワークを決定する、
前記（９）乃至（１８）の何れかに記載の情報処理装置。
（２０）
コンピュータにより実行される、
複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御ステップ、
を備え、
前記制御ステップは、
前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、
前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する、
情報処理方法。
（２１）
コンピュータに、
複数のプロセッサそれぞれに１対１で実行させるネットワークを、複数のネットワークから決定する制御ステップ、
を実行させ、
前記制御ステップは、
前記複数のネットワークのうち少なくとも１つのネットワークを、入力データが入力されるネットワークに決定し、
前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークを、前記入力データに応じた出力データを出力するネットワークに決定する、
ための情報処理プログラム。
（２２）
入力データが入力され、複数のネットワークのうち１つのネットワークが実行される第１のプロセッサと、
前記複数のネットワークのうち前記入力データが入力されるネットワークとは異なる１つのネットワークが実行され、前記入力データに応じた出力データを出力する第２のプロセッサと、
前記第１のプロセッサおよび前記第２のプロセッサを含む複数のプロセッサそれぞれに１対１で実行させるネットワークを、前記複数のネットワークから決定する制御部、を備える情報処理装置と、
を含む、
情報処理システム。
（２３）
前記制御部は、
前記複数のプロセッサのうち前記第１のプロセッサに実行させる、前記複数のネットワークのうち第１のネットワークと、
前記複数のプロセッサのうち前記第２のプロセッサに実行させる、前記第１のネットワークの出力が入力され、前記入力データに応じた出力データを出力する第２のネットワークと、
それぞれ決定する、
前記（２２）に記載の情報処理システム。
（２４）
前記第１のプロセッサと前記第２のプロセッサとが同一の筐体内に構成される、
前記（２３）に記載の情報処理システム。
（２５）
前記第１のプロセッサが第１の筐体内に構成され、前記第２のプロセッサが第２の筐体内に構成される、
前記（２３）に記載の情報処理システム。
（２６）
前記入力データを出力するセンサデバイスをさらに含む、
前記（２３）乃至（２５）の何れかに記載の情報処理システム。
（２７）
前記センサデバイスと前記第１のプロセッサとが一体的に構成される、
前記（２６）に記載の情報処理システム。
（２８）
前記第２のプロセッサと前記第１のプロセッサとが通信ネットワークを介して接続される、
前記（２３）乃至（２７）の何れかに記載の情報処理システム。
（２９）
前記第２のプロセッサから出力される前記出力データに対して処理を実行するアプリケーションが搭載される、前記情報処理装置とは異なる他の情報処理装置、
をさらに含む、
前記（２３）乃至（２８）の何れかに記載の情報処理システム。

【符号の説明】

【0423】

１，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ，１ｇ，１ｈ，１ｉ，１ｊ，１ｋ 情報処理システム
１０ センシングデバイス
１１，１１－１，１１－２，１１－３，１１－１１，１１－１２，１１－１３，１１－２１，１１－２２，１１－２３，１１－３１，１１－３２，１１－３３，１１₁，１１₂，１１_N，１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｅ，１１ｆ 第１プロセッサ
１２，１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ，１２ｆ 第２プロセッサ
１４，１５ 通信部
１６ａ，１６ｂ 基板
２０，１０００ ネットワーク制御部
３０ アプリケーション実行部
５０ ＤＮＮ
５１，５１－１，５１－２，５１－３，５１－１１，５１－１２，５１－１３，５１－２１，５１－２２，５１－２３，５１－３１，５１－３２，５１－３３，５１－３１’，５１－３２’，５１－３３’，５１ｂ，５１ｃ 第１ＤＮＮ
５２、５２－１，５２－２，５２－３，５２ａ，５２ｂ，５２ｃ，５２ｄ，５２ｅ，５２ｆ，５２ｇ，５２ｈ，５２ｉ 第２ＤＮＮ
７２ 再学習部
８０，８３ パラレル転送信号線
８１，８２，８４ 高速シリアル転送信号線
１００，１００ａ 撮像装置
１１１ 撮像部
１２１ ＣＰＵ
１２２ ＤＳＰ
１２３，６０５ メモリ
１４０，１４０ａ，１４０ｂ，１４０ｃ ホスト部
１４１ ＭＣＵ
１４２ ＭＰＵ
１４３ ＡＣＣＬ
１５０ 撮像装置
２００ 解析部
２０１ 分割部
２０２ 送信部
２０３ 学習部
２２０ 最適化部
２２１ デバイス設定データベース
２２２ 互換性テスト処理部
２２３，１０１２ パッケージャ
２２４ ＤＮＮ実行部
２２５ ＣＩＳコンバータ
２２６ ホスト部ＤＮＮコンバータ
３００ａ，３００ｂ，４００ 情報処理装置
３１０ クラウドネットワーク
６００ 入力部
６０１，６２１ 演算回路部
６０２，６２２ 出力部
６０３ 第１メモリ
６０４ 第２メモリ
６１０ａ，６１０ｂ 第１演算処理部
６３０ａ，６３０ｂ 第２演算処理部
１１００，１１００ａ，１１００ｂ，１１００ｃ スマートカメラ
１１１０ ＤＮＮプロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図8F】

【図8G】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39A】

【図39B】

【図40】

【図41】

【図42】

【図43A】

【図43B】

【図44】

【図45A】

【図45B】

【図46A】

【図46B】

【図47A】

【図47B】

【図48A】

【図48B】