知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024174542
(43)【公開日】2024-12-17
(54)【発明の名称】データ処理装置及びその方法、プログラム
(51)【国際特許分類】
G06N 3/063 20230101AFI20241210BHJP
G06F 17/10 20060101ALI20241210BHJP
【ＦＩ】
G06N3/063
G06F17/10 S
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2023092414
(22)【出願日】2023-06-05
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】吉永 幹
(72)【発明者】
【氏名】加藤 政美
【テーマコード（参考）】
5B056
【Ｆターム（参考）】
5B056BB26
5B056BB71
(57)【要約】
【課題】 積和演算結果に対して様々な後処理を実行するデータ処理装置において、プログラムサイズまたは回路規模を抑制する。
【解決手段】 データ処理装置に、与えられた積和演算パラメタに基づいてデータに対して積和演算を行う積和演算手段と、前記積和演算手段の演算結果を保持する演算結果保持手段と、前記演算結果保持手段に保持された前記積和演算結果に対して、与えられたコマンドに基づいて、該コマンドに定義された処理を行うコマンド処理手段と、前記積和演算パラメタと前記コマンドとを組合せたパラメタ列を受け取り、当該組合せの内容と順序とに基づいて、前記積和演算手段に前記積和演算パラメタを与え、前記コマンド処理手段に前記コマンドを与える分配手段とを備える。
【選択図】 図１
【解決手段】 データ処理装置に、与えられた積和演算パラメタに基づいてデータに対して積和演算を行う積和演算手段と、前記積和演算手段の演算結果を保持する演算結果保持手段と、前記演算結果保持手段に保持された前記積和演算結果に対して、与えられたコマンドに基づいて、該コマンドに定義された処理を行うコマンド処理手段と、前記積和演算パラメタと前記コマンドとを組合せたパラメタ列を受け取り、当該組合せの内容と順序とに基づいて、前記積和演算手段に前記積和演算パラメタを与え、前記コマンド処理手段に前記コマンドを与える分配手段とを備える。
【選択図】 図１
【特許請求の範囲】
【請求項1】
与えられた積和演算パラメタに基づいてデータに対して積和演算を行う積和演算手段と、
前記積和演算手段の演算結果を保持する演算結果保持手段と、
前記演算結果保持手段に保持された前記積和演算結果に対して、与えられたコマンドに基づいて、該コマンドに定義された処理を行うコマンド処理手段と、
前記積和演算パラメタと前記コマンドとを組合せたパラメタ列を受け取り、当該組合せの内容と順序とに基づいて、前記積和演算手段に前記積和演算パラメタを与え、前記コマンド処理手段に前記コマンドを与える分配手段とを有することを特徴とするデータ処理装置。
前記積和演算手段の演算結果を保持する演算結果保持手段と、
前記演算結果保持手段に保持された前記積和演算結果に対して、与えられたコマンドに基づいて、該コマンドに定義された処理を行うコマンド処理手段と、
前記積和演算パラメタと前記コマンドとを組合せたパラメタ列を受け取り、当該組合せの内容と順序とに基づいて、前記積和演算手段に前記積和演算パラメタを与え、前記コマンド処理手段に前記コマンドを与える分配手段とを有することを特徴とするデータ処理装置。
【請求項2】
前記分配手段は、前記積和演算手段及び前記コマンド処理手段に前記積和演算パラメタ及び前記コマンドを与え、
前記積和演算手段及び前記コマンド処理手段は、前記分配手段が前記積和演算パラメタ及び前記コマンドを与えた順に処理を行うことを特徴とする請求項１に記載のデータ処理装置。
前記積和演算手段及び前記コマンド処理手段は、前記分配手段が前記積和演算パラメタ及び前記コマンドを与えた順に処理を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項3】
前記積和演算手段は、前記積和演算パラメタの内容に基づいてニューラルネットワークにおける積和演算を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項4】
前記コマンド処理手段の処理に用いる入力データを保持する入力データ保持手段を更に有し、
前記コマンド処理手段は、前記コマンドの内容に基づいて、外部から受け取った入力データを前記入力データ保持手段に格納する処理を行うことを特徴とする請求項１に記載のデータ処理装置。
前記コマンド処理手段は、前記コマンドの内容に基づいて、外部から受け取った入力データを前記入力データ保持手段に格納する処理を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項5】
前記コマンド処理手段の処理により得られる出力データを保持する出力データ保持手段を更に有し、
前記コマンド処理手段は、前記コマンドの内容に基づいて、前記出力データ保持手段に保持されている出力データを外部に出力する処理を行うことを特徴とする請求項１に記載のデータ処理装置。
前記コマンド処理手段は、前記コマンドの内容に基づいて、前記出力データ保持手段に保持されている出力データを外部に出力する処理を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項6】
前記コマンド処理手段の処理に用いる入力データを保持する入力データ保持手段と、
前記コマンド処理手段の処理により得られる出力データを保持する出力データ保持手段とを更に有し、
前記コマンド処理手段は、前記コマンドの内容に基づいて、前記演算結果保持手段及び前記入力データ保持手段が保持するデータを参照した処理を行い、該処理により得られたデータを前記出力データ保持手段に格納する処理を行うことを特徴とする請求項１に記載のデータ処理装置。
前記コマンド処理手段の処理により得られる出力データを保持する出力データ保持手段とを更に有し、
前記コマンド処理手段は、前記コマンドの内容に基づいて、前記演算結果保持手段及び前記入力データ保持手段が保持するデータを参照した処理を行い、該処理により得られたデータを前記出力データ保持手段に格納する処理を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項7】
前記コマンド処理手段が前記コマンドの内容に基づいて行う処理のいずれかを行う演算処理手段を更に有し、
前記コマンド処理手段は、前記コマンドの内容に基づいて、前記演算処理手段に処理の開始を命じ、前記演算処理手段による処理の完了を待機することを特徴とする請求項１に記載のデータ処理装置。
前記コマンド処理手段は、前記コマンドの内容に基づいて、前記演算処理手段に処理の開始を命じ、前記演算処理手段による処理の完了を待機することを特徴とする請求項１に記載のデータ処理装置。
【請求項8】
前記分配手段は、前記コマンドの内容に基づいて、前記コマンド処理手段の処理の完了を待機するか否かを決定することを特徴とする請求項１に記載のデータ処理装置。
【請求項9】
前記積和演算手段は、前記コマンド処理手段による前記コマンドに定義された処理と並行して前記積和演算を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項10】
前記コマンド処理手段は、前記コマンドに基づいて行った処理の結果を前記分配手段に通知し、
前記分配手段は、前記コマンド処理手段からの通知に基づいて、当該コマンド処理手段に送信する前記コマンドを切り替えることを特徴とする請求項１に記載のデータ処理装置。
前記分配手段は、前記コマンド処理手段からの通知に基づいて、当該コマンド処理手段に送信する前記コマンドを切り替えることを特徴とする請求項１に記載のデータ処理装置。
【請求項11】
前記積和演算手段は、前記積和演算パラメタに基づいて、認識処理における積和演算を行って特徴データを算出することを特徴とする請求項１に記載のデータ処理装置。
【請求項12】
前記コマンド処理手段は、前記コマンドに基づいて、前記特徴データから前記認識処理の結果を算出することを特徴とする請求項１１に記載のデータ処理装置。
【請求項13】
積和演算手段と、演算結果保持手段と、コマンド処理手段とを備えたデータ処理装置におけるデータ処理方法であって、
積和演算パラメタとコマンドとを組合せたパラメタ列を受け取り、当該組合せの内容と順序とに基づいて、前記積和演算手段に前記積和演算パラメタを与え、前記コマンド処理手段に前記コマンドを与える分配工程と、
与えられた積和演算パラメタに基づいて、前記積和演算手段によりデータに対して積和演算を行う積和演算工程と、
前記積和演算工程の演算結果を前記演算結果保持手段に格納する格納工程と、
前記演算結果保持手段に保持された前記積和演算結果に対して、与えられたコマンドに基づいて、該コマンドに定義された処理を前記コマンド処理手段により行うコマンド処理工程とを有することを特徴とするデータ処理方法。
積和演算パラメタとコマンドとを組合せたパラメタ列を受け取り、当該組合せの内容と順序とに基づいて、前記積和演算手段に前記積和演算パラメタを与え、前記コマンド処理手段に前記コマンドを与える分配工程と、
与えられた積和演算パラメタに基づいて、前記積和演算手段によりデータに対して積和演算を行う積和演算工程と、
前記積和演算工程の演算結果を前記演算結果保持手段に格納する格納工程と、
前記演算結果保持手段に保持された前記積和演算結果に対して、与えられたコマンドに基づいて、該コマンドに定義された処理を前記コマンド処理手段により行うコマンド処理工程とを有することを特徴とするデータ処理方法。
【請求項14】
コンピュータを請求項１に記載のデータ処理装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数種類のニューラルネットワークの処理を行うデータ処理装置及びその方法、プログラムに関するものである。
【背景技術】
【0002】
ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，以下ＮＮと呼ぶ）を、より少ないリソース消費で装置に搭載するためのハードウェア実装技術が求められている。ＮＮは、深層学習に用いられる方法として知られ、認識処理に広く用いられる。例えばＮＮの一種である畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，以下ＣＮＮと呼ぶ）は、主に画像認識等のタスクにおいて優れた性能を発揮する。ＮＮの大部分は積和演算から成り、専用ハードウェアによる並列処理の恩恵を受けやすい。また、重み係数すなわち入力パラメタの入れ替えのみで様々な認識処理に対応できる。同一のハードウェア上で多様な認識処理において性能を発揮できることはＮＮの利点である。
【0003】
例えば、ある認識処理では、所望の被写体が入力画像中のどの位置にいるかを求める。すなわち、入力画像を入力として受け取り、被写体の入力画像中の位置座標を出力として返す処理である。
【0004】
前述の認識処理では、まず入力画像をＮＮに与えて特徴データを抽出する。特徴データは、例えば入力画像と同じ２次元データであり、ＮＮは認識処理の目的に応じた特徴データを出力するように事前に重み係数を与えられている。例えば前述の認識処理のＮＮは、被写体の位置付近では値が大きく、それ以外の位置では値が小さいような特徴データを出力する。あるいはＮＮが複数種類の被写体に対応する場合、前述のような２次元データを複数枚積み上げた３次元データを特徴データとして出力する。これら３次元の特徴データを構成する各２次元データのことをチャネルと呼称する。
【0005】
前述の認識処理では、次に特徴データから被写体の位置座標を算出する。特徴データは入力画像中の被写体と同じ位置で値が大きくなるため、例えば２次元の特徴データ内で値が最大や極大となる位置を求めることで被写体の位置座標を推定することが可能となる。特徴データが３次元の場合は、位置を求めたい被写体に対応するチャネルを参照し、２次元のデータの場合と同様の処理を行う。
【0006】
以上のように、一般に認識処理はＮＮの演算を行う前段部分と、ＮＮの演算結果を用いて最終的な認識処理結果を求める後段部分とに大別することができる。以下では、前段部分を積和演算部分、後段部分を後処理部分と呼称する。
【0007】
一方で、ＮＮを用いた認識処理の多様化によるプログラムサイズ及び回路規模の増大が問題となる。例えばＮＮを用いた認識処理では、最適なＮＮの階層数・階層毎の次元数等が目的や認識対象に応じて変化する。従って、ハードウェアがより多様な認識処理に対応するほど制御部のシーケンスは複雑化し、プログラムサイズや回路規模の増大に繋がる。
【0008】
特許文献１では、ＮＮ演算を行うハードウェアの処理シーケンスを外部入力として与える。特許文献１によるデータ処理装置では、外部入力として制御データを複数連結したものを与える。各制御データはＮＮ演算を分割した１つの処理単位に対応し、制御データの並び順が処理の順序を表す。これにより、データ処理装置に新たなシーケンスを追加することなく、制御データを変えることで新たな認識処理を実行できる。
【0009】
特許文献２では、ＮＮ演算を行うハードウェアの処理シーケンスを外部入力として与える。特許文献２によるデータ処理装置では、ＮＮ演算を構成する各種演算処理を命令に基づいて実行する。複数の命令を組み合わせることで所望のＮＮ演算を実現し、命令を与える順序が処理の順序を表す。これにより、データ処理装置に新たなシーケンスを追加することなく、命令列を変えることで新たな認識処理を実行できる。
【0010】
特許文献３では、認識処理の種類に応じてソフトウェアを生成する。特許文献３によるＮＮモデル生成装置では、ハードウェアの情報とアルゴリズムの情報を与えることで、所望のＮＮ演算を行うために必要なシーケンスを有するソフトウェアを生成する。すなわち、認識処理の種類毎に異なるソフトウェアを使い分ける。これにより、１つのソフトウェアに搭載するシーケンスを限定し、プログラムサイズの増大を防いでいる。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開２０２０－１４０５４６号公報
【特許文献2】米国特許９８３６６９１号公報
【特許文献3】特開２０２２－６６９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
一方で、特許文献１及び特許文献２のようにＮＮ演算部分のシーケンスを外部入力として与える方法では、認識処理の後処理部分の多様化によるプログラムサイズまたは回路規模の増大を抑えることはできない。積和演算部分のみのシーケンスを外部入力として与える方法では、後処理部分を別途ソフトウェアや専用のハードウェアで実現する必要がある。従って、それらによるプログラムサイズまたは回路規模の増大を抑えることはできない。
【0013】
また、特許文献３のように認識処理の種類毎にソフトウェアを生成する方法では、認識処理１種類毎のプログラムサイズを抑えられる一方で、認識処理の切り替えを行う毎にプログラムの書き換えに掛かる処理時間等のオーバヘッドを負うことになる。従って、１つのハードウェアで複数種類の認識処理をサポートできるのは、リアルタイム性を要求されない、メモリ・バス帯域に余裕があるなどの限定された条件下のみとなる。
【課題を解決するための手段】
【0014】
上記課題を解決するため、本発明の１態様によれば、データ処理装置に、与えられた積和演算パラメタに基づいてデータに対して積和演算を行う積和演算手段と、前記積和演算手段の演算結果を保持する演算結果保持手段と、前記演算結果保持手段に保持された前記積和演算結果に対して、与えられたコマンドに基づいて、該コマンドに定義された処理を行うコマンド処理手段と、前記積和演算パラメタと前記コマンドとを組合せたパラメタ列を受け取り、当該組合せの内容と順序とに基づいて、前記積和演算手段に前記積和演算パラメタを与え、前記コマンド処理手段に前記コマンドを与える分配手段とを備える。
【発明の効果】
【0015】
本発明によれば、複数種類のニューラルネットワークの処理を行うデータ処理装置において、プログラムサイズまたは回路規模の増大を抑えつつ、より多くの種類の処理を行うことが可能となる。
【図面の簡単な説明】
【0016】
【図1】第１及び第２の実施形態における認識処理部の構成例を示す図、
【図2】第１の実施形態における実行対象となる認識処理の構成を示す図、
【図3】認識処理毎に異なる後処理を実行するフローチャートの一例を示す図、
【図4】第１及び第２の実施形態におけるデータ処理装置の構成例を示す図、
【図5】第１の実施形態におけるコマンド処理部１０２のフローチャートを示す図、
【図7】第１の実施形態における入力データとなるパラメタの構成を示す図、
【図8】第１の実施形態における認識処理部内のメモリマップを示す図、
【図9】第１の実施形態における認識処理部内の動作シーケンスを示す図、
【図10】第２の実施形態における実行対象となる認識処理の構成を示す図、
【図11】第２の実施形態におけるコマンド処理部のフローチャートを示す図、
【図12】第２の実施形態における入力データとなるパラメタの構成を示す図、
【図13】第２の実施形態における認識処理部内のメモリマップを示す図、
【図14】第２の実施形態における認識処理部内の動作シーケンスを示す図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。
【0018】
以下、図面に基づいて本発明の実施形態について詳細に説明する。各実施形態では、積和演算部分及び後処理部分を含めた認識処理全体のシーケンスを、各処理のパラメタを並べたパラメタ列（以下では、単にパラメタともいう）として受け取り、その内容に応じて処理を行う。これにより、プログラムサイズまたは回路規模の増大を抑えつつ、認識処理のシーケンスの多様化に対応する。
【0019】
以下に説明するデータ処理装置では、積和演算部分を制御するためのパラメタと後処理部分を制御するためのパラメタとを連結したものを入力として与え、パラメタの並び順が積和演算部分及び後処理部分のシーケンス上の処理順序となる。各実施形態では、目的の認識処理を実現するためにどのようなパラメタを与えるか、またデータ処理装置はそれらパラメタに対してどのような処理を行うか、をそれぞれ示す。
【0020】
なお、以下の実施形態では、簡単のために、図２のフローチャートに相当する部分はソフトウェアとして実装し、本実施形態によるデータ処理装置の目的は、プログラムサイズの増大を防ぐことであるものとする。当該部分をハードウェアで実装する場合は、同様に回路規模の増大を防ぐことが可能である。
【0021】
＜実施形態１＞
第１の実施形態では、データ処理装置において、適切なパラメタを与えることで目的の認識処理の後処理部分を実現する。また、パラメタによるシーケンスの定義とそれの実現に必要なデータ処理装置及び方法の構成を明らかにする。以上により、本実施形態に係るデータ処理装置により、認識処理の多様化によるプログラムサイズの増加を防ぐことを実現する。
第１の実施形態では、データ処理装置において、適切なパラメタを与えることで目的の認識処理の後処理部分を実現する。また、パラメタによるシーケンスの定義とそれの実現に必要なデータ処理装置及び方法の構成を明らかにする。以上により、本実施形態に係るデータ処理装置により、認識処理の多様化によるプログラムサイズの増加を防ぐことを実現する。
【0022】
＜後処理とシーケンスの多様化＞
初めに本実施形態におけるデータ処理装置について説明するための前提として、認識処理とそこに含まれる積和演算部分及び後処理部分について一例を挙げる。また、それを踏まえて後処理部分のシーケンスをどのように実装するか、その場合プログラムサイズの観点からどのような問題が起こるか、について述べる。
初めに本実施形態におけるデータ処理装置について説明するための前提として、認識処理とそこに含まれる積和演算部分及び後処理部分について一例を挙げる。また、それを踏まえて後処理部分のシーケンスをどのように実装するか、その場合プログラムサイズの観点からどのような問題が起こるか、について述べる。
【0023】
図２に、第１の実施形態で実行対象とする認識処理の構成を示す。図２に示す認識処理は、ＣＮＮが１つと、その出力を用いる後処理２つとから成る。この認識処理では、入力画像２００と後処理設定２０３とを受け取り、第１の処理結果２０６及び第２の処理結果２０７を返す。
【0024】
第１のＣＮＮ２０１は、入力画像２００を受け取り、積和演算を行う。積和演算の結果として、第１の特徴データ２０２を返す。第１の特徴データ２０２は、入力画像２００に対応する位置のスコアを表すスコアマップであり、複数のスコアマップから成る。以下、スコアマップ１枚１枚のことをチャネルと呼称する。
【0025】
第１のＣＮＮ２０１は、入力画像２００において特定の被写体が写っている領域で高いスコアを出力するよう事前に学習されている。例えば、あるチャネルでは人物の頭部が写っている領域でスコアが高くなり、別のチャネルでは人物の胴体が写っている領域でスコアが高くなる。
【0026】
第１の位置推定処理２０４は、第１の特徴データ２０２の特定のチャネルを参照し、スコアが周囲よりも高い位置について、入力画像２００における座標値を求める。求めた座標値を第１の処理結果２０６として返す。
【0027】
第２の位置推定処理２０５は、第１の特徴データ２０２の別のチャネルを参照して、第１の位置推定処理２０４と同様の処理を行い、第２の処理結果２０７を返す。第１の位置推定処理２０４と第２の位置推定処理２０５とは、後処理設定２０３に従って、それぞれ異なるチャネルを参照する。例えば、第１の位置推定処理２０４は人物の頭部に対応するチャネルを参照する。一方で、第２の位置推定処理２０５は人物の胴体に対応するチャネルを参照する。
【0028】
以上により、図２に示す認識処理では、ＣＮＮ及び後処理の組み合わせにより特定の機能を実現する。例えば、入力画像２００に写る人物の頭部及び胴体の位置を求め、それぞれ第１の処理結果２０６及び第２の処理結果２０７として出力する。
【0029】
ＮＮを含む認識処理においては、認識処理の目的や対象に応じて後処理部分のシーケンスが大きく変化する。図２に示す認識処理のうち、第１のＣＮＮ２０１は積和演算部分、それより後段に位置する各処理は後処理部分にあたる。例えば、人物の頭部のみの位置が得られればよい場合は、図２に示す認識処理から第２の位置推定処理２０５が除外され、出力も第１の処理結果２０６のみとなる。あるいは、例えば人物の頭部の位置だけでなくサイズも得たい場合、第２の位置推定処理２０５は別の処理に置き換わり、第２の処理結果２０７からは人物頭部のサイズが出力されるようになる。
【0030】
図３に、認識処理毎に異なる後処理を実行するための従来のフローチャートの一例を示す。後処理を開始すると、ステップＳ３０１では認識処理の種類に応じて処理が分岐する。ここでは、図２に示す認識処理の後処理部分を実行する場合を例として、分岐０に進むものとする。ステップＳ３０２では、後処理に必要な入力データを外部から入力する。ここでは、第１の位置推定処理２０４及び第２の位置推定処理２０５の実行に必要な後処理設定２０３を入力する。
【0031】
ステップＳ３０３では、位置推定処理を実行する。これは図２における第１の位置推定処理２０４に相当する。ステップＳ３０４では、位置推定処理を実行する。これは図２における第２の位置推定処理２０５に相当する。ステップＳ３０５では、後処理の結果を外部に出力する。ここでは、ステップＳ３０３及び３０４の処理結果、すなわち図２における第１の処理結果２０６及び第２の処理結果２０７を出力する。
【0032】
図３に示すフローチャートの処理をソフトウェアとして実装する場合、認識処理の種類が増えるにつれて総ステップ数は増加する。例えば位置推定処理が１つのみの認識処理を追加する場合、分岐１につながるステップＳ３０７‐３０９が追加される。このとき、各ステップは分岐０に含まれるものと同じステップであっても、その実行回数や並び順が異なる場合、分岐先の各ステップの追加が必要となる。
【0033】
従って、従来技術では、認識処理の種類が増えるに従い、後処理部分のシーケンスを記述したソフトウェアのプログラムサイズは増加していく。そこで、本実施形態に係るデータ処理装置では、積和演算部分及び後処理部分を合わせた認識処理全体のシーケンスをパラメタとして外部から入力することにより、認識処理の多様化によるプログラムサイズの増加を抑える。
【0034】
＜データ処理装置の構成例＞
図４は、プログラムサイズの増加を抑えつつ多種類の認識処理を処理するための、データ処理装置の構成の一例を示すブロック図である。入力部４０１は、ユーザからの指示やデータを入力する装置であり、キーボードやポインティング装置やボタン等を含む。また、あるいは公知のタッチスクリーン装置のように、後述する表示部４０４と入力部４０１が同一装置であっても良い。その場合には、タッチスクリーンによる入力を入力部４０１の入力として扱う。
図４は、プログラムサイズの増加を抑えつつ多種類の認識処理を処理するための、データ処理装置の構成の一例を示すブロック図である。入力部４０１は、ユーザからの指示やデータを入力する装置であり、キーボードやポインティング装置やボタン等を含む。また、あるいは公知のタッチスクリーン装置のように、後述する表示部４０４と入力部４０１が同一装置であっても良い。その場合には、タッチスクリーンによる入力を入力部４０１の入力として扱う。
【0035】
データ保存部４０２は、画像データを保存する部分である。通常はハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲやＤＶＤ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等で構成される。データ保存部４０２には画像データの他にプログラムやその他のデータを保存することも可能である。あるいは、ＲＡＭ４０９の一部をデータ保存部４０２として用いても良い。またあるいは、後述する通信部４０３を介して接続した先の機器の記憶装置を利用する、というように仮想的に構成するのであっても良い。
【0036】
通信部４０３は、機器間の通信を行うためのＩ／Ｆである。なお、図５では入力部４０１、データ保存部４０２、後述する表示部４０４が全て１つの装置内に含まれるような図を示している。しかし、これらの部分が公知の通信方式による通信路で接続されており、全体としてこのような構成となっているのであっても構わない。表示部４０４は、画像処理前及び画像処理後の画像、あるいはＧＵＩ等の画像を表示する装置である。一般的にはＣＲＴや液晶ディスプレイなどが用いられる。あるいは、ケーブル等で接続された装置外部のディスプレイ装置であっても構わない。
【0037】
画像処理部４０５は、後述するＣＰＵ４０６からのコマンドを受け、データ保存部４０２に書き込まれた画像データを読み出して画素値のレンジ調整を行う。処理された結果を後述するＲＡＭ４０９に書き込む。ＣＰＵ４０６は、本装置全体の動作を制御する。ＲＯＭ４０８とＲＡＭ４０９は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ４０６に提供する。後述する処理に必要なプログラムがデータ保存部４０２やＲＯＭ４０８に格納されている場合には、一旦ＲＡＭ４０９に読み込まれてから実行される。またあるいは、通信部４０３を経由して装置がプログラムを受信する場合には、一旦データ保存部４０２に記録した後にＲＡＭ４０９に読み込まれる。また、直接通信部４０３からＲＡＭ４０９に直接読み込まれてから実行されても良い。なお、図４においては、ＣＰＵが１つ（ＣＰＵ４０６）だけである構成だが、これを複数設けるような構成にしても良い。
【0038】
認識処理部４０７は、ＣＰＵ４０６からのコマンドを受け、例えば図２に示すような認識処理を行う。認識処理部４０７は、演算処理の実行に必要な内部記憶を有する。認識処理部４０７が入力として受け取るデータは通信部４０３から直接受け取ったり、一度ＲＡＭ４０９に置かれたものを読み込んだりしても良い。また、認識処理部４０７が出力として返すデータは通信部４０３に直接送ったり、ＲＡＭ４０９に書き込んだりしてもよい。データ処理装置のシステム構成については、上記以外にも様々な構成要素が存在するが、本発明の主眼ではないのでその説明は省略する。
【0039】
＜認識処理部の構成例＞
図１に認識処理部４０７の構成を示す。認識処理部４０７は、パラメタ分配部１００、積和演算部１０１、コマンド処理部１０２の３つの演算部と、特徴データ保持部１０３、入力データ保持部１０４、出力データ保持部１０５の３つの記憶部とを有する。
図１に認識処理部４０７の構成を示す。認識処理部４０７は、パラメタ分配部１００、積和演算部１０１、コマンド処理部１０２の３つの演算部と、特徴データ保持部１０３、入力データ保持部１０４、出力データ保持部１０５の３つの記憶部とを有する。
【0040】
パラメタ分配部１００は、外部からパラメタを受け取り、その内容に応じて積和演算部１０１またはコマンド処理部１０２にパラメタを分配する。積和演算部１０１及びコマンド処理部１０２は、それぞれ受け取ったパラメタに対応する処理を完了すると、パラメタ分配部１００に終了通知を送る。パラメタ分配部１００は終了通知を受け取ると、次のパラメタの分配を開始する。
【0041】
パラメタ分配部１００が積和演算部１０１に与えるパラメタを、積和演算パラメタと呼称する。積和演算パラメタには積和演算部１０１が認識処理の積和演算部分を行うのに必要な情報を含む。例えば、ＮＮの重み係数のようなパラメタや、算出すべき特徴データのチャネルの数といった情報が積和演算パラメタに含まれる。
【0042】
パラメタ分配部１００がコマンド処理部１０２に与えるパラメタを、後処理パラメタと呼称する。後処理パラメタはすなわちコマンド列である。コマンド処理部１０２が実行する一連の処理、すなわち認識処理の後処理部分は、予め定義された処理の組合せで実現される。パラメタ分配部１００は、コマンド処理部１０２にコマンドを１つ与えることで、予め定義された処理のいずれかを実行させる。
【0043】
パラメタ分配部１００は、認識処理部４０７が実行する一連の認識処理のシーケンスを司る役割を担う。パラメタ分配部１００は、認識処理のシーケンスに応じて積和演算部１０１及びコマンド処理部１０２を適切な順序で動作させる。一方で、その順序はパラメタ内の積和演算パラメタ及び後処理パラメタの並び順により決定する。従って、認識処理のシーケンスに応じた処理順序を与えるのは、パラメタ分配部１００に外部入力としてパラメタを与える側の役割となる。
【0044】
同様に、パラメタ分配部１００は、コマンド処理部１０２が実行する認識処理の後処理部分のシーケンスを司る役割を担うが、その処理順序は後処理パラメタ内のコマンドの並び順により決定される。従って、後処理部分のシーケンスに応じた処理順序を与えるのはパラメタ分配部１００に外部入力としてパラメタを与える側の役割となる。
【0045】
積和演算部１０１は、パラメタ分配部１００から受け取った積和演算パラメタに従い、認識処理の積和演算部分の処理を行う。積和演算部分の処理では、積和演算部１０１は、外部から入力画像を受け取って特徴データを算出し、算出した特徴データを特徴データ保持部１０３に書き込む。第１の実施形態においては、積和演算部１０１は、多数の乗算器及び加算器から成る専用ハードウェアによって構成され、例えばＣＰＵ４０６で積和演算を行うよりも効率良く認識処理の積和演算部分を処理可能であるものとする。特徴データ保持部１０３は、この積和演算部分における積和演算結果を特徴データとして保持する積和演算結果保持部である。
【0046】
なお、積和演算部１０１が行う演算処理は、ＮＮ演算における特徴抽出の役割を果たす、専用ハードウェアによる並列化が容易である、といった積和演算に近しい特徴を有していれば、必ずしも積和演算に限定しないものとする。例えば、±１の２値を取る１ビットの特徴データ及び重み係数を用いるＮＮでは、乗算及び加算の代わりにＸＮＯＲ演算とｐｏｐｃｏｕｎｔ処理を行う。また、積和演算部１０１が行う演算処理は、例えば活性化関数の処理やプーリング処理など、積和演算以外の処理を前後に含んでいても良い。
【0047】
コマンド処理部１０２は、パラメタ分配部１００から受け取った後処理パラメタに従い、認識処理の後処理部分の処理を行う。後処理部分では、コマンド処理部１０２は、積和演算部１０１が算出した特徴データを特徴データ保持部１０３から読み出し、入力データ保持部１０４に置かれた後処理設定に従い処理を行う。処理の結果は出力データ保持部１０５に書き込む。また、コマンド処理部１０２は、後処理設定を外部から受け取り、入力データ保持部１０４に格納する、出力データ保持部１０５に書き込んだ処理結果を外部に渡す、といった処理も行う。
【0048】
パラメタ分配部１００がコマンド処理部１０２に与える後処理パラメタは、予め定義された処理を示す小さなパラメタの列として構成される。この列をなす小さなパラメタを以下ではコマンドと呼称する。コマンド処理部１０２は、コマンド毎にコマンドの種類に応じた処理を実行する。コマンドの列により与えられる一連のシーケンスの過程で、上述の処理を行う。
【0049】
なお、認識処理部４０７で別々の構成要素として挙げているものは、それぞれ物理的に１つの装置により実現されていても良い。例えば、パラメタ分配部１００及びコマンド処理部１０２は、ＣＰＵ４０６及びそこに搭載されたプログラムとして実現することができる。その場合、ＣＰＵ４０６は、パラメタ分配部１００としてパラメタを受け取り、積和演算部１０１向けのパラメタであれば積和演算部１０１に転送する。一方、コマンド処理部１０２向けのパラメタであれば、そのままＣＰＵ４０６内でコマンド処理部１０２相当の処理を行う。
【0050】
図５に、コマンド処理部１０２が行う処理のフローチャートを示す。コマンド処理部１０２は、処理を開始すると、ステップＳ５０１でパラメタ分配部１００からコマンドを１つずつ受け取り、受け取るごとに、コマンドのループを開始する。
【0051】
ステップＳ５０２では、コマンドのＴＹＰＥフィールドの値により処理を分岐する。ＴＹＰＥはコマンドの種類、すなわち予め定義された処理のいずれであるかを示す値である。ＴＹＰＥが０の場合は「入力処理」を示し、ステップＳ５０３に分岐する。ＴＹＰＥが１の場合は「実行」を示し、ステップＳ５０５に分岐する。ＴＹＰＥが２の場合は「出力処理」を示し、ステップＳ５０４に分岐する。
【0052】
ステップＳ５０３では、図３におけるステップＳ３０２に相当する処理を行う。すなわち、外部から後処理の入力データを受け取り、入力データ保持部１０４に格納する。ステップＳ５０４では、図３におけるステップＳ３０５に相当する処理を行う。すなわち、出力データ保持部１０５に格納された後処理の出力結果を外部に出力する。
【0053】
ステップＳ５０５では、図３におけるステップＳ３０３‐３０４に相当する処理を行うため、予め定義された後処理のいずれかを選択する。ＴＹＰＥが１のコマンドは、ＳＵＢ＿ＴＹＰＥフィールドを有しており、ステップＳ５０５では、ＳＵＢ＿ＴＹＰＥの値により処理を分岐する。例えば、ステップＳ３０３‐３０４で行う位置推定処理を選択する場合は、ＳＵＢ＿ＴＹＰＥに０を設定する。他の処理を実行する場合ＳＵＢ＿ＴＹＰＥに０以外を設定するが、第１の実施形態では取り扱わない。
【0054】
ステップＳ５０６では、位置推定処理を実行する。特徴データ保持部１０３に格納された特徴データを参照し、入力データ保持部１０４に格納された後処理設定に従い、特定のチャネルにおいてスコアが高い位置の座標を求める。求めた結果を、処理結果として出力データ保持部１０５に格納する。
【0055】
ステップＳ５０７では、コマンド処理部１０２はパラメタ分配部１００に終了通知を送って現在のコマンドのループを終了し、次のコマンドを待つ。
【0056】
＜プログラムサイズ＞
図６に、図３及び図５に示すフローチャートとそのプログラムサイズとの関係を示す。左側は図３、右側は図５のフローチャートをソフトウェア実装した場合のプログラムサイズの違いを、各処理のプログラムサイズを積み上げたときの高さとして図示している。
図６に、図３及び図５に示すフローチャートとそのプログラムサイズとの関係を示す。左側は図３、右側は図５のフローチャートをソフトウェア実装した場合のプログラムサイズの違いを、各処理のプログラムサイズを積み上げたときの高さとして図示している。
【0057】
入力処理のプログラムサイズ６００，出力処理のプログラムサイズ６０１、位置推定処理のプログラムサイズは、図３及び図５いずれのケースにも含まれる。図３及び図５において、これらによるプログラムサイズの差は生じない。
【0058】
その他後処理のプログラムサイズ６０３は、例えば図３におけるステップＳ３１３の紐付け処理など、位置推定処理の他に後処理の種類を追加した場合のプログラムサイズの増加分である。図３及び図５において、サポートする認識処理の種類が全く同じであると仮定した場合、追加される後処理の種類も全く同じであるため、これらによるプログラムサイズの差は生じない。
【0059】
図３のフローチャートにおける共通部分のプログラムサイズ６０４は、ステップＳ３００‐３０１やステップＳ３０７等、認識処理の種類に依存しない処理によるプログラムサイズの増加分である。
【0060】
図３のフローチャートにおける非共通部分のプログラムサイズ６０５は、認識処理の種類毎のシーケンスを記述した部分によるプログラムサイズの増加分である。非共通部分のプログラムサイズ６０４は、認識処理の種類が増えてステップＳ３０１以降の分岐が増えるにつれ増大する。
【0061】
一方、図５のフローチャートにおける共通部分のプログラムサイズ６０６は、ステップＳ５０３‐５０６のような各コマンド処理以外の、繰り返しや分岐といったシーケンスを記述した部分によるプログラムサイズの増加分である。共通部分のプログラムサイズ６０６は、認識処理の種類が増えたとしても、それを構成するコマンド処理の種類が増えない限りは増大しない。
【0062】
以上のように、図３と図５でサポートする認識処理の種類が同じであると仮定したとき、図３のフローチャートにおけるプログラムサイズの累積値は、認識処理の種類が多いほど大きくなる。一方、図５のフローチャートにおけるプログラムサイズの累積値は、認識処理の種類の数によらず一定である。認識処理の種類ごとに異なるシーケンスをパラメタとして外部から与えることで、本実施形態によるデータ処理装置は、プログラムサイズの増加を抑えつつ多様な認識処理をサポートすることが可能となる。
【0063】
＜パラメタとシーケンス＞
以下では、図２に示す認識処理を実現するために、実際にどのようにパラメタを与えるかを例示する。図７に、図２に示す認識処理を実行するために認識処理部４０７に与えるパラメタの構成例を示す。パラメタは、積和演算パラメタ７００と、後処理パラメタ７０１をこの順に連結したものである。従って、認識処理部４０７は、積和演算部１０１で積和演算部分を処理した後、コマンド処理部１０２で後処理部分を処理する。
以下では、図２に示す認識処理を実現するために、実際にどのようにパラメタを与えるかを例示する。図７に、図２に示す認識処理を実行するために認識処理部４０７に与えるパラメタの構成例を示す。パラメタは、積和演算パラメタ７００と、後処理パラメタ７０１をこの順に連結したものである。従って、認識処理部４０７は、積和演算部１０１で積和演算部分を処理した後、コマンド処理部１０２で後処理部分を処理する。
【0064】
積和演算パラメタ７００では、第１のＣＮＮ２０１を実行する。積和演算パラメタ７００には積和演算部１０１の処理に必要な制御情報が含まれる。また、ＤＳＴフィールドにより、特徴データ保持部１０３のどの番地に第１の特徴データ２０２を格納するかを指定する。制御情報の詳細は本発明の主旨とは無関係のため省略する。
【0065】
後処理パラメタ７０１は、後処理パラメタヘッダ７０２と、コマンド７０３‐７０７からなる。後処理パラメタヘッダ７０２のＬＥＮＧＴＨフィールドにはコマンドの数が与えられる。パラメタ分配部１００はＬＥＮＧＴＨフィールドを参照し、必要な数だけコマンド処理部１０２にコマンドを送る。
【0066】
第１のコマンド７０３では、ＴＹＰＥフィールドに０を設定し、入力処理を行う。後処理設定２０３を外部から受け取り、入力データ保持部１０４に格納する。ＤＳＴフィールドには、入力データ保持部１０４のどの番地に後処理設定２０３を格納するかを設定する。ＳＩＺＥフィールドには、外部から受け取るデータサイズ、すなわち後処理設定２０３のデータサイズを与える。
【0067】
第２のコマンド７０４では、ＴＹＰＥフィールドに１、ＳＵＢ＿ＴＹＰＥフィールドに０を設定し、第１の位置推定処理２０４を実行する。ＳＲＣ０フィールドに第１の特徴データ２０２、ＳＲＣ１フィールドに後処理設定２０３の格納場所を与えるため、それぞれ積和演算パラメタ７００のＤＳＴフィールド、第１のコマンド７０３のＤＳＴフィールドと同じ番地を設定する。ＤＳＴフィールドには出力データ保持部１０５のどの番地に第１の処理結果２０６を格納するかを設定する。
【0068】
第３のコマンド７０５では、ＴＹＰＥフィールドに１、ＳＵＢ＿ＴＹＰＥフィールドに０を設定し、第２の位置推定処理２０５を実行する。ＳＲＣ０フィールドに第１の特徴データ２０２、ＳＲＣ１フィールドに後処理設定２０３の格納場所を与えるため、それぞれ積和演算パラメタ７００のＤＳＴフィールド、第１のコマンド７０３のＤＳＴフィールドと同じ番地を設定する。ＤＳＴフィールドには出力データ保持部１０５のどの番地に第２の処理結果２０７を格納するかを設定する。
【0069】
第４のコマンド７０６では、ＴＹＰＥフィールドに２を設定し、出力処理を行う。出力処理では、出力データ保持部１０５に格納した第１の処理結果２０６を外部に出力する。ＳＲＣフィールドには出力対象である第１の処理結果２０６の置き場所を与えるため、第２のコマンド７０４のＤＳＴフィールドと同じ番地を設定する。
【0070】
第５のコマンド７０７では、ＴＹＰＥフィールドに２を設定し、出力処理を行う。出力処理では、出力データ保持部１０５に格納した第２の処理結果２０７を外部に出力する。ＳＲＣフィールドには、出力対象である第２の処理結果２０７の置き場所を与えるため、第３のコマンド７０５のＤＳＴフィールドと同じ番地を設定する。
【0071】
図８に、図７に示すパラメタにより認識処理部４０７が処理を行う場合のメモリマップを示す。なお図７では、特徴データ保持部１０３、入力データ保持部１０４、出力データ保持部１０５は別々のメモリとしているが、例えばＲＡＭ４０９等の１つのメモリでこれら３つを兼ねてもよい。
【0072】
特徴データ保持部１０３には、第１の特徴データ領域８００を設け、第１の特徴データ２０２を格納する。積和演算パラメタ７００のＤＳＴフィールドに従い、第１の特徴データ領域８００の開始番地はＡＡＡＡとなる。第１の特徴データ領域８００にアクセスする第２のコマンド７０４及び第３のコマンド７０５では、対応するフィールドすなわちＳＲＣ０フィールドにＡＡＡＡを設定する。
【0073】
入力データ保持部１０４には、後処理設定領域８０１を設け、後処理設定２０３を格納する。第１のコマンド７０３のＤＳＴフィールドに従い、後処理設定領域８０１の開始番地はＢＢＢＢとなる。後処理設定領域８０１にアクセスする第２のコマンド７０４及び第３のコマンド７０５では、対応するフィールドすなわちＳＲＣ１フィールドにＢＢＢＢを設定する。
【0074】
出力データ保持部１０５には、第１の処理結果領域８０２及び第２の処理結果領域８０３を設け、それぞれ第１の処理結果２０６と第２の処理結果２０７とを格納する。第２のコマンド７０４のＤＳＴフィールドに従い、第１の処理結果領域８０２の開始番地はＤＤＤＤとなる。第３のコマンド７０５のＤＳＴフィールドに従い、第２の処理結果領域８０３の開始番地はＥＥＥＥとなる。第１の処理結果領域８０２及び第２の処理結果領域８０３にアクセスする第４のコマンド７０６及び第５のコマンド７０７では、対応するフィールドすなわちＳＲＣフィールドに、それぞれＤＤＤＤ及びＥＥＥＥを設定する。
【0075】
なお、例えば第１の処理結果領域８０２と第２の処理結果領域８０３を連結して配置し、第１の処理結果２０６と第２の処理結果２０７とを１回の出力処理で外部に出力しても良い。その場合、第４のコマンド７０６及び第５のコマンド７０７は１つのコマンドに集約され、ＳＲＣフィールドには第１の処理結果領域８０２の先頭位置の番地を設定すればよい。また、ＳＩＺＥフィールドには第１の処理結果領域８０２及び第２の処理結果領域８０３のサイズの和である２×ＦＦＦＦを与えればよい。
【0076】
図９に、図７に示すパラメタにより認識処理部４０７が処理を行う場合のシーケンスを示す。ステップＳ９００では、パラメタ分配部１００が外部からパラメタを受け取り、図２に示す一連の認識処理を開始する。ステップＳ９０１では、パラメタ分配部１００は積和演算部１０１に積和演算パラメタ７００を送信する。
【0077】
ステップＳ９０２では、積和演算部１０１は、受け取った積和演算パラメタ７００に従い、第１のＣＮＮ２０１の処理を開始する。初めに積和演算部１０１は外部から入力画像２００を受け取る。次に第１の特徴データ２０２を算出し、特徴データ保持部１０３に格納する。最後にパラメタ分配部１００に処理完了を通知する。ステップＳ９０３では、パラメタ分配部１００は、後処理パラメタ７０１の転送を開始する。後処理パラメタヘッダ７０２のＬＥＮＧＴＨフィールドの設定に従い、コマンド処理部１０２にコマンドを５回送信する。初めに、第１のコマンド７０３を送信する。
【0078】
ステップＳ９０４では、コマンド処理部１０２は、第１のコマンド７０３に従い入力処理を開始する。初めに、コマンド処理部１０２は、外部から後処理設定２０３を受け取る。次に受け取った後処理設定２０３を入力データ保持部１０４に格納する。最後にパラメタ分配部１００に処理完了を通知する。
【0079】
ステップＳ９０５では、パラメタ分配部１００はコマンド処理部１０２に第２のコマンド７０４を送信する。ステップＳ９０６では、コマンド処理部１０２は、第２のコマンド７０４に従い第１の位置推定処理２０４を開始する。初めに特徴データ保持部１０３から第１の特徴データ２０２を、入力データ保持部１０４から後処理設定２０３を読み出す。次に第１の特徴データ２０２の特定のチャネルを参照し、スコアが高い位置の座標を求め、第１の処理結果２０６として出力データ保持部１０５に格納する。最後にパラメタ分配部１００に処理完了を通知する。
【0080】
ステップＳ９０７では、パラメタ分配部１００はコマンド処理部１０２に第３のコマンド７０５を送信する。ステップＳ９０８では、コマンド処理部１０２は、第３のコマンド７０５に従い第２の位置推定処理２０５を開始する。初めに特徴データ保持部１０３から第１の特徴データ２０２を、入力データ保持部１０４から後処理設定２０３を受け取る。次に第１の特徴データ２０２の特定のチャネルを参照し、スコアが周囲より高い位置の座標を求め、第２の処理結果２０７として出力データ保持部１０５に格納する。最後にパラメタ分配部１００に処理完了を通知する。
【0081】
ステップＳ９０９では、パラメタ分配部１００はコマンド処理部１０２に第４のコマンド７０６を送信する。ステップＳ９１０では、コマンド処理部１０２は第４のコマンド７０６に従い出力処理を開始する。初めに出力データ保持部１０５から第１の処理結果２０６を読み出す。次に読み出した第１の処理結果２０６を外部に出力する。最後にパラメタ分配部１００に処理完了を通知する。
【0082】
ステップＳ９１１では、パラメタ分配部１００はコマンド処理部１０２に第５のコマンド７０７を送信する。ステップＳ９１２では、コマンド処理部１０２は第５のコマンド７０７に従い出力処理を開始する。初めに出力データ保持部１０５から第２の処理結果２０７を読み出す。次に読み出した第２の処理結果２０７を外部に出力する。最後にパラメタ分配部１００に処理完了を通知する。
【0083】
以上の通り、図７に示すパラメタを与えることで、認識処理部４０７は、入力画像２００と後処理設定２０３を受け取ってから、第１の処理結果２０６と第２の処理結果２０７を返すまでの、図２に示す一連の認識処理を行うことができる。また、図２とは異なる認識処理を行う場合は、図７とは異なるパラメタでシーケンスを定義すればよい。これにより、認識処理部４０７は、より多くの種類の認識処理に対応する場合でもプログラムサイズを増加させることなく対応可能となる。
【0084】
第１の実施形態においては、認識処理の後処理部分のシーケンスの変動がコマンド処理部１０２のプログラムサイズに影響を与えず、全体として認識処理部４０７のプログラムサイズ増加を抑えていることを示した。認識処理毎に異なる後処理シーケンスをコマンド列として外部から与え、パラメタ分配部１００が後処理パラメタ内のコマンドの並び順通りにコマンド処理部１０２に処理実行を命じる構成によりこれが実現される。
【0085】
＜実施形態２＞
第２の実施形態では、認識処理の後処理部分を制御するためのパラメタ、すなわちコマンド列だけでなく、認識処理の積和演算部分のパラメタも含めた並び順で認識処理のシーケンスを与える。適切な構成のパラメタを与えることで、第１の実施形態のようなコマンドの並び替えだけでは定義できない認識処理を実現する。また、認識処理をより効率よく処理するためのコマンドの拡張やシーケンスの与え方の一例を示す。
第２の実施形態では、認識処理の後処理部分を制御するためのパラメタ、すなわちコマンド列だけでなく、認識処理の積和演算部分のパラメタも含めた並び順で認識処理のシーケンスを与える。適切な構成のパラメタを与えることで、第１の実施形態のようなコマンドの並び替えだけでは定義できない認識処理を実現する。また、認識処理をより効率よく処理するためのコマンドの拡張やシーケンスの与え方の一例を示す。
【0086】
なお、以下では、第１の実施形態と異なる部分や新たに追加した部分を中心に説明し、それ以外は省略するものとする。第１の実施形態におけるデータ処理装置が有する構成や特徴は、特に記載が無い限り第２の実施形態においても同様に有するものとする。
【0087】
＜後処理とシーケンスの多様化＞
図１０に、第２の実施形態で認識対象とする認識処理の構成を示す。図１０に示す認識処理はＣＮＮが３つと、その出力を用いる後処理３つから成る。入力画像１０００と後処理設定１００９を受け取り、第１の処理結果１００６及び第２の処理結果１０１１及び第３の処理結果１０１３を返す。
図１０に、第２の実施形態で認識対象とする認識処理の構成を示す。図１０に示す認識処理はＣＮＮが３つと、その出力を用いる後処理３つから成る。入力画像１０００と後処理設定１００９を受け取り、第１の処理結果１００６及び第２の処理結果１０１１及び第３の処理結果１０１３を返す。
【0088】
第１のＣＮＮ１００１は、入力画像１０００を受け取り、積和演算を行う。積和演算の演算結果として、第１の特徴データ１００２を返す。第１の特徴データ１００２は、入力画像１０００に対応する位置のスコアを表すスコアマップであり、複数のスコアマップから成る。以下、スコアマップ１枚１枚のことをチャネルと呼称する。
【0089】
第２のＣＮＮ１００３は、第１の特徴データ１００２を受け取り、さらなる積和演算を行う。積和演算の結果を第２の特徴データ１００４として返す。第３のＣＮＮ１００７は、第２のＣＮＮ１００３と同様に、第１の特徴データ１００２を受け取り、さらなる積和演算を行う。積和演算の結果を第３の特徴データ１００８として返す。
【0090】
第２のＣＮＮ１００３、第３のＣＮＮ１００７は、入力画像１０００において特定の被写体が写っている領域で高いスコアを出力するように事前に学習されている。例えば、第２のＣＮＮ１００３が出力する第２の特徴データ１００４では、人物の頭部が写っている領域でスコアが高くなる。また、第３のＣＮＮ１００７が出力する第３の特徴データ１００８では、人物の胴体が写っている領域でスコアが高くなる。従って、第２の実施形態では第１の実施形態において第１のＣＮＮ２０１で実現していた機能を、第１のＣＮＮ１００１、第２のＣＮＮ１００３、第３のＣＮＮ１００７の３つの連結されたＣＮＮ群によって実現する。
【0091】
第１の位置推定処理１００５は、第２の特徴データ１００４を参照し、スコアが周囲より高い位置について、入力画像１０００における座標値を求め、求めた座標値を第１の処理結果１００６として返す。なお、第１の位置推定処理１００５は、複数の被写体についてそれぞれ座標値を求め、第１の処理結果１００６は、複数の座標値をリストとして含むものとする。
【0092】
第２の位置推定処理１０１０は、第３の特徴データ１００８を参照し、スコアが周囲より高い位置について、入力画像１０００における座標値を求め、求めた座標値を第２の処理結果１０１１として返す。第２の処理結果１０１１も、第１の処理結果１００６と同様に複数の被写体についての座標値をリストとして含むものとする。
【0093】
以上により、第２の実施形態では、第１のＣＮＮ１００１から第２の位置推定処理１０１０までの一連の処理により、図２に示す認識処理とほぼ同等の機能を実現する。これに加えて、第２の実施形態では紐付け処理１０１２を行う。
【0094】
紐付け処理１０１２では、第１の処理結果１００６と第２の処理結果１０１１とを受け取り、位置座標を求めた被写体同士の紐づけを行う。例えば、被写体同士の距離や位置関係などの情報を用いて、同じ人物のものであると推測される頭部と胴体同士を紐づける。紐づけの結果は、頭部のインデックスと胴体のインデックスとのペアとして与え、これを第３の処理結果１０１３として返す。
【0095】
以上により、図１０に示す認識処理では、ＣＮＮ及び後処理の組合せにより特定の機能を実現する。例えば、入力画像１０００に写る複数の人物の頭部の位置を求め、第１の処理結果１００６として出力する。また、入力画像１０００に写る複数の人物の胴体の位置を求め、第２の処理結果１０１１として出力する。さらに、入力画像１０００に頭部と胴体の両方が写っている人物がいれば、それが第１の処理結果１００６及び第２の処理結果１０１１のそれぞれ何番目の被写体であるかを第３の処理結果１０１３として出力する。
【0096】
図１０に示す認識処理のうち、第１のＣＮＮ１００１、第２のＣＮＮ１００３、第３のＣＮＮ１００７は、積和演算部分にあたる。第１の位置推定処理１００５、第２の位置推定処理１０１０、紐付け処理１０１２は後処理部分にあたる。図１０に示す認識処理の後処理部分のみを実行するには、例えば図３に示すフローチャートの分岐２に示す手順を踏む。
【0097】
ステップＳ３１０では後処理に必要な入力データを外部から入力する。ここでは、第１の位置推定処理１００５、第２の位置推定処理１０１０、第１の紐づけ処理１０１２の実行に必要な後処理設定１００９を入力する。ステップＳ３１１では、位置推定処理を実行する。これは図１０における第１の位置推定処理１００５に相当する。ステップＳ３１２では、位置推定処理を実行する。これは図１０における第２の位置推定処理１０１０に相当する。
【0098】
ステップＳ３１３では、紐づけ処理を実行する。これは図１０における第１の紐づけ処理１０１２に相当する。ステップＳ３１４では、後処理の結果を外部に出力する。ここではステップＳ３１１－３１３の各処理結果、すなわち図１０における第１の処理結果１００６、第２の処理結果１０１１、第３の処理結果１０１３を出力する。
【0099】
図１０に示す認識処理の特徴として、データの依存関係に分岐が存在する。すなわち、第１の特徴データ１００２を分岐点とし、第２のＣＮＮ１００３から続く処理と、第３のＣＮＮ１００７から続く処理とに分岐する。これらは第１の紐づけ処理で再び合流する。
【0100】
第２の実施形態では、分岐を有する認識処理において、パラメタで適切なシーケンスを定義することで、並列処理による高速化を図る。以下では、それに必要となるコマンド処理部１０２の拡張と、図１０に示す認識処理をより高速に処理するためのパラメタの与え方について述べる。
【0101】
＜本実施形態に係るデータ処理装置の構成例＞
第２の実施形態では、第１の実施形態と同様に、図４及び図１に示す構成のデータ処理装置及び認識処理部４０７を用いる。以下では、第１の実施形態と異なる部分や新たに追加した部分について述べる。
第２の実施形態では、第１の実施形態と同様に、図４及び図１に示す構成のデータ処理装置及び認識処理部４０７を用いる。以下では、第１の実施形態と異なる部分や新たに追加した部分について述べる。
【0102】
図１１に、第２の実施形態においてコマンド処理部１０２が行う処理のフローチャートを示す。ステップＳ１１００‐１１０６は、第１の実施形態におけるステップＳ５００‐５０６と同等の処理である。ステップＳ１１０７では、コマンド処理部１０２は、紐付け処理を行う。出力データ保持部１０５に格納された位置推定処理の結果２つを参照し、入力データ保持部１０４に格納された後処理設定に従い、位置推定処理の結果に含まれる被写体同士の紐づけを行う。紐づけの結果は、処理結果として出力データ保持部１０５に格納する。
【0103】
第２の実施形態では、認識処理部４０７が、例えばＣＰＵ４０６のような外部の演算装置と通信を行う。第２の実施形態では、これを実現するために、コマンド処理部１０２が外部の演算装置と通信を行うための処理を定義する。これらを実行するためには、コマンドのＴＹＰＥフィールドに３を設定する。
【0104】
ステップＳ１１０８では、ＴＹＰＥフィールドに３を設定したコマンドについて、外部の演算装置との通信の種別を選択する。ＴＹＰＥが３のコマンドは、ＳＵＢ＿ＴＹＰＥフィールドを有する。ＳＵＢ＿ＴＹＰＥフィールドの値が０の場合は、演算処理の開始指示を行うためステップＳ１１０９に進む。１の場合は、演算処理の終了待ちを行うためステップＳ１１１０に進む。
【0105】
ステップＳ１１０９では、コマンド処理部１０２は外部の演算装置に処理開始を指示するメッセージを送信する。送信するメッセージの内容はコマンド中のＭＳＧフィールドで指定する。ステップＳ１１１０では、コマンド処理部１０２は、外部の演算装置に終了待ちを行うためのメッセージを送信する。コマンド処理部１０２は、メッセージの送信後、外部の演算装置がＭＳＧフィールドで指定した処理の終了通知を受け取るまで待機する。
【0106】
以下では簡単のため、外部の演算装置とはＣＰＵ４０６のことを指すものとする。ＣＰＵ４０６は、コマンド処理部１０２から開始指示のメッセージを受け取り、指定された処理を開始する。また、コマンド処理部１０２から終了待ちのメッセージを受け取り、指定された処理が完了していれば、その場で終了通知を返す。完了していなければ処理を続行し、完了後に終了通知を返す。
【0107】
以上により、第２の実施形態におけるコマンド処理部１０２は、第１の実施形態でサポートした３種類のコマンドに加えて、外部の演算装置との通信に必要なコマンドをサポートする。なお、図１１に示すフローチャートによるコマンド処理部１０２を含む認識処理部４０７は、図７に示すパラメタを与えることで、第１の実施形態と同様に図２に示す認識処理を実行可能である。同様に、他の第１の実施形態において実行可能であった認識処理は、いずれも同じパラメタを与えることで第２の実施形態においても処理可能である。
【0108】
＜パラメタとシーケンス＞
以下では、図１０に示す認識処理を実現するために、実際にどのようにパラメタを与えるかを例示する。第２の実施形態では、認識処理部４０７とＣＰＵ４０６とが並列処理を行い、図１０に示す認識処理の高速化を図る。認識処理部４０７に与えるパラメタ内で、認識処理部４０７とＣＰＵ４０６との間の連携に必要なシーケンスを定義する。
以下では、図１０に示す認識処理を実現するために、実際にどのようにパラメタを与えるかを例示する。第２の実施形態では、認識処理部４０７とＣＰＵ４０６とが並列処理を行い、図１０に示す認識処理の高速化を図る。認識処理部４０７に与えるパラメタ内で、認識処理部４０７とＣＰＵ４０６との間の連携に必要なシーケンスを定義する。
【0109】
図１２に、図１０に示す認識処理を実行するために認識処理部４０７に与えるパラメタの構成例を示す。このパラメタは、第１の積和演算パラメタ１２００、第２の積和演算パラメタ１２０１、第１の後処理パラメタ１２０２、第３の積和演算パラメタ１２０６、第２の後処理パラメタ１２０７をこの順に連結したものである。従って、第２の実施形態では、図３に示すフローチャートのように後処理部分をまとめて実行することはせず、積和演算部分と後処理部分とを交互に実行する。
【0110】
第１の積和演算パラメタ１２００では、第１のＣＮＮ１００１を実行する。第１の積和演算パラメタ１２００には、積和演算部の処理に必要な制御情報が含まれる。また、ＤＳＴフィールドにより特徴データ保持部１０３のどの番地に第１の特徴データ１００４を格納するかを指定する。第２の積和演算パラメタ１２０１では、第２のＣＮＮ１００３を実行する。第２の積和演算パラメタ１２０１には、積和演算部の処理に必要な制御情報が含まれる。また、ＤＳＴフィールドにより特徴データ保持部１０３のどの番地に第２の特徴データ１００８を格納するかを指定する。
【0111】
第１の後処理パラメタ１２０２は、第１の後処理パラメタヘッダ１２０３と、コマンド１２０４‐１２０５からなる。第１の後処理パラメタヘッダ１２０３のＬＥＮＧＴＨフィールドにはコマンドの数が与えられる。パラメタ分配部１００は、ＬＥＮＧＴＨフィールドを参照し、必要な数だけコマンド処理部１０２にコマンドを送る。
【0112】
第１のコマンド１２０４では、ＴＹＰＥフィールドに０を設定し、入力処理を行う。後処理設定１００９を外部から受け取り、入力データ保持部１０４に格納する。ＤＳＴフィールドには、入力データ保持部１０４のどの番地に後処理設定１００９を格納するかを設定する。ＳＩＺＥフィールドには、外部から受け取るデータサイズ、すなわち後処理設定１００９のデータサイズを与える。
【0113】
第２のコマンド１２０５では、ＴＹＰＥフィールドに３、ＳＵＢ＿ＴＹＰＥフィールドに０を設定し、開始指示処理を行う。コマンド処理部１０２からＣＰＵ４０６にメッセージの送信を行う。ＣＰＵ４０６はメッセージ内容に従い第１の位置推定処理１００５を開始する。ＭＳＧフィールドには、第１の位置推定処理１００５に必要なＳＲＣ０、ＳＲＣ１、ＤＳＴフィールドの内容を与える。ＳＲＣ０フィールドに第２の特徴データ１００４、ＳＲＣ１フィールドに後処理設定１００９の格納場所を与えるため、それぞれ第２の積和演算パラメタ１２０１のＤＳＴフィールド、第１のコマンド１２０４のＤＳＴフィールドと同じ番地を設定する。ＤＳＴフィールドには、出力データ保持部１０５のどの番地に第１の処理結果１００６を格納するかを設定する。
【0114】
第３の積和演算パラメタ１２０６では、第３のＣＮＮ１００３を実行する。第３の積和演算パラメタ１２０１には積和演算部の処理に必要な制御情報が含まれる。また、ＤＳＴフィールドにより、特徴データ保持部１０３のどの番地に第３特徴データ１００８を格納するかを指定する。
【0115】
第２の後処理パラメタ１２０７は、第１の後処理パラメタヘッダ１２０８と、コマンド１２０９‐１２０１４からなる。第１の後処理パラメタヘッダ１２０８のＬＥＮＧＴＨフィールドにはコマンドの数が与えられる。パラメタ分配部１００はＬＥＮＧＴＨフィールドを参照し、必要な数だけコマンド処理部１０２にコマンドを送る。
【0116】
第３のコマンド１２０９では、ＴＹＰＥフィールドに１、ＳＵＢ＿ＴＹＰＥフィールドに０を設定し、第２の位置推定処理１０１０を実行する。ＳＲＣ０フィールドに第３の特徴データ１００８、ＳＲＣ１フィールドに後処理設定１００９の格納場所を与えるため、それぞれ第２の積和演算パラメタ１２０６のＤＳＴフィールド、第１のコマンド１２０４のＤＳＴフィールドと同じ番地を設定する。ＤＳＴフィールドには、出力データ保持部１０５のどの番地に第２の処理結果１０１１を格納するかを設定する。
【0117】
第４のコマンド１２１０では、ＴＹＰＥフィールドに３、ＳＵＢ＿ＴＹＰＥフィールドに１を設定し、終了待ち処理を行う。コマンド処理部１０２は、ＣＰＵ４０６に対して、第２のコマンド１２０５で開始指示した第１の位置推定処理１００５の終了状況を問い合わせる。ＣＰＵ４０６は、第１の位置推定処理１００５が完了していれば、コマンド処理部１０２へ終了通知を返す。コマンド処理部１０２は、ＣＰＵ４０６からの終了通知を受け取るまで待機する。
【0118】
以上により、第２のコマンド１２０５で開始指示した第１の位置推定処理１００５を、第４のコマンド１２１０により終了待ちする。従って、コマンド処理部１０２が第２のコマンド１２０５を処理してから第４のコマンド１２１０を処理するまでの期間、コマンド処理部１０２とＣＰＵ４０６とは並行して処理を行う。これによって、第１の位置推定処理１００５をコマンド処理部１０２で処理する場合よりも、全体の処理時間を短縮することが可能となる。
【0119】
第５のコマンド１２１１では、ＴＹＰＥフィールドに１、ＳＵＢ＿ＴＹＰＥフィールドに１を設定し、第１の紐づけ処理１０１２を実行する。ＳＲＣ０フィールドには第１の処理結果１００６、ＳＲＣ１フィールドには第２の処理結果１０１１、ＳＲＣ２フィールドには後処理設定１００９の格納場所を与える。従って、それぞれ第２のコマンド１２０５のＭＳＧフィールドに設定したＤＳＴフィールドの値、第１のコマンド１２０４のＤＳＴフィールドと同じ番地を設定する。ＤＳＴフィールドには出力データ保持部１０５のどの番地に第３の処理結果１０１３を格納するかを設定する。
【0120】
第６のコマンド１２１２では、ＴＹＰＥフィールドに２を設定し、出力処理を行う。出力データ保持部１０５に格納した第１の処理結果１００６を外部に出力する。ＳＲＣフィールドには出力対象である第１の処理結果１００６の置き場所を与えるため、第２のコマンド１２０５のＭＳＧフィールドのＤＳＴフィールドの値と同じ番地を設定する。
【0121】
第７のコマンド１２１３では、ＴＹＰＥフィールドに２を設定し、出力処理を行う。出力データ保持部１０５に格納した第２の処理結果１０１１を外部に出力する。ＳＲＣフィールドには、出力対象である第１の処理結果１０１１の置き場所を与えるため、第３のコマンド１２０９のＤＳＴフィールドと同じ番地を設定する。
【0122】
第８のコマンド１２１４では、ＴＹＰＥフィールドに２を設定し、出力処理を行う。出力データ保持部１０５に格納した第３の処理結果１０１３を外部に出力する。ＳＲＣフィールドには出力対象である第３の処理結果１０１３の置き場所を与えるため、第５のコマンド１２１１のＤＳＴフィールドと同じ番地を設定する。
【0123】
図１３に、図１２に示すパラメタにより認識処理部４０７が処理を行う場合のメモリマップを示す。第１の実施形態と同様に、特徴データ保持部１０３、入力データ保持部１０４、出力データ保持部１０５に、それぞれ格納するデータ毎に領域を割り当てる。
【0124】
特徴データ保持部１０３には、第１の特徴データ領域１３００、第２の特徴データ領域１３０１、第３の特徴データ領域１３０２を設け、それぞれ第１の特徴データ１００２、第２の特徴データ１００４、第３の特徴データ１００８を格納する。第１の積和演算パラメタ１２００のＤＳＴフィールドに従い、第１の特徴データ領域８００の開始番地はＡＡＡＡとなる。第２の積和演算パラメタ１２０１のＤＳＴフィールドに従い、第２の特徴データ領域１３０１の開始番地はＢＢＢＢとなる。第３の積和演算パラメタ１２０６のＤＳＴフィールドに従い、第３の特徴データ領域１３０２の開始番地はＣＣＣＣとなる。第２の特徴データ領域１３０１にアクセスする第２のコマンド１２０５では、対応するフィールドすなわちＭＳＧフィールドのＳＲＣ０フィールドにＢＢＢＢを設定する。第３の特徴データ領域１３０２にアクセスする第３のコマンド１２０９では、対応するフィールドすなわちＳＲＣ０フィールドにＣＣＣＣを設定する。
【0125】
入力データ保持部１０４には、後処理設定領域１３０３を設け、後処理設定１００９を格納する。第１のコマンド１２０４のＤＳＴフィールドに従い、後処理設定領域１３０３の開始番地はＤＤＤＤとなる。後処理設定領域８０１にアクセスする第２のコマンド１２０５、第３のコマンド１２０９、第５のコマンド１２１１では、それぞれ対応するフィールドにＤＤＤＤを設定する。
【0126】
出力データ保持部１０５には、第１の処理結果領域１３０４、第２の処理結果領域１３０５、第３の処理結果領域１３０５を設け、それぞれ第１の処理結果１００６、第２の処理結果１０１１，第３の処理結果１０１３を格納する。第２のコマンド１２０５のＭＳＧフィールドに従い、第１の処理結果領域１３０４の開始番地はＦＦＦＦとなる。第３のコマンド１２０９のＤＳＴフィールドに従い、第２の処理結果領域１３０５の開始番地はＧＧＧＧとなる。第１の処理結果領域１３０４及び第２の処理結果領域１３０５を参照する第５のコマンド１２１１では、対応するＳＲＣ０フィールド及びＳＲＣ１フィールドに、それぞれＦＦＦＦ及びＧＧＧＧを設定する。同様に、第６のコマンド１２１２及び第７のコマンド１２１３のＳＲＣフィールドにも、それぞれＦＦＦＦ及びＧＧＧＧを設定する。第５のコマンド１２１１のＤＳＴフィールドに従い、第３の処理結果領域１３０６の開始番地はＨＨＨＨとなる。第３の処理結果領域１３０６を参照する第８のコマンド１２１４の対応するフィールドすなわちＳＲＣフィールドにＨＨＨＨを設定する。
【0127】
図１４に、図１２に示すパラメタにより認識処理部４０７が処理を行う場合のシーケンスを示す。第２の実施形態では、図１２に示す第２のコマンド１２０５から第５のコマンド１２１１にかけて、コマンド処理部１０２とＣＰＵ４０６とが並行処理を行う。図１４では、第１の実施形態における図９に加えてＣＰＵ４０６の動作も含めたシーケンスを示す。
【0128】
ステップＳ１４００では、パラメタ分配部１００が外部からパラメタを受け取り、図１０に示す一連の認識処理を開始する。ステップＳ１４０１では、パラメタ分配部１００は積和演算部１０１に第１の積和演算パラメタ１２００を送信する。ステップＳ１４０２では、積和演算部１０１は、受け取った第１の積和演算パラメタ１２００に従い、第１のＣＮＮ１００１の処理を開始する。初めに、積和演算部１０１は、外部から入力画像１０００を受け取る。次に第１の特徴データ１００２を算出し、特徴データ保持部１０３に格納する。最後にパラメタ分配部１００に処理完了を通知する。
【0129】
ステップＳ１４０３では、パラメタ分配部１００は、積和演算部１０１に第２の積和演算パラメタ１２０１を送信する。ステップＳ１４０４では、積和演算部１０１は、受け取った第２の積和演算パラメタ１２０１に従い、第２のＣＮＮ１００３の処理を開始する。初めに、積和演算部１０１は、特徴データ保持部１０３から第１の特徴データ１００２を受け取る。次に第２の特徴データ１００４を算出し、特徴データ保持部１０３に格納する。最後にパラメタ分配部１００に処理完了を通知する。
【0130】
ステップＳ１４０５では、パラメタ分配部１００は、第１の後処理パラメタ１２０２の転送を開始する。後処理パラメタヘッダ１２０３のＬＥＮＧＴＨフィールドの設定に従い、コマンド処理部１０２にコマンドを２回送信する。初めに、第１のコマンド１２０４を送信する。ステップＳ１４０６では、コマンド処理部１０２は、第１のコマンド１２０４に従い入力処理を開始する。初めに、コマンド処理部１０２は、外部から後処理設定１００９を受け取る。次に、受け取った後処理設定１００９を入力データ保持部１０４に格納する。最後にパラメタ分配部１００に処理完了を通知する。
【0131】
ステップＳ１４０７では、パラメタ分配部１００は、コマンド処理部１０２に第２のコマンド１２０５を送信する。ステップＳ１４０８では、コマンド処理部１０２は、第２のコマンド１２０５に従い、ＣＰＵ４０６に第１の位置推定処理１００５の開始指示を行う。コマンド処理部１０２は、第２のコマンド１２０５のＭＳＧフィールドの内容をＣＰＵ４０６に送る。ＣＰＵ４０６は、受け取ったＭＳＧフィールドの内容に従い、第１の位置推定処理１００５を開始する。
【0132】
ステップＳ１４０９では、パラメタ分配部１００はコマンド処理部１０２に第３の積和演算パラメタ１２０６を送信する。一方で、ＣＰＵ４０６は特徴データ保持部１０３から第２の特徴データ１００４を、入力データ保持部１０４から後処理設定１００９を読み出す。ＣＰＵ４０６は第１の特徴データ１００４の特定のチャネルを参照し、スコアが高い位置の座標を求める。
【0133】
ステップＳ１４１０では、積和演算部１０１は、受け取った第３の積和演算パラメタ１２０６に従い、第３のＣＮＮ１００７の処理を開始する。初めに積和演算部１０１は特徴データ保持部１０３から第１の特徴データ１００２を受け取る。次に第３の特徴データ１００８を算出し、特徴データ保持部１０３に格納する。最後にパラメタ分配部１００に処理完了を通知する。一方で、ＣＰＵ４０６はステップＳ１４０９で求めた座標を第１の処理結果１００６として出力データ保持部１０５に格納する。以上によりＣＰＵ４０６は、ステップＳ１４０８にてコマンド処理部１０２から開始指示を受けた第１の位置推定処理１００５を完了した状態となる。
【0134】
ステップＳ１４１１では、パラメタ分配部１００は、第２の後処理パラメタ１２０７の転送を開始する。後処理パラメタヘッダ１２０８のＬＥＮＧＴＨフィールドの設定に従い、コマンド処理部１０２にコマンドを６回送信する。初めに、第３のコマンド１２０９を送信する。ステップＳ１４１２では、コマンド処理部１０２は、第３のコマンド１２０９に従い第２の位置推定処理１０１０を開始する。初めに、特徴データ保持部１０３から第３の特徴データ１００８を、入力データ保持部１０４から後処理設定１００９を読み出す。次に、第３の特徴データ１００８の特定のチャネルを参照し、スコアが高い位置の座標を求め、第２の処理結果１０１１として出力データ保持部１０５に格納する。最後にパラメタ分配部１００に処理完了を通知する。
【0135】
ステップＳ１４１３では、パラメタ分配部１００は、コマンド処理部１０２に第４のコマンド１２１０を送信する。ステップＳ１４１４では、コマンド処理部１０２は、第４のコマンド１２１０に従い、ＣＰＵ４０６に対して第１の位置推定処理１００５の終了待ちを行う。初めに、コマンド処理部１０２は、ＣＰＵ４０６に対して第１の位置推定処理１００５の完了状況を問い合わせる。コマンド処理部１０２は、ＣＰＵ４０６からの完了通知を受け取るまで問合せを継続する。
【0136】
なお、第２の実施形態では、ステップＳ１４１０にてＣＰＵ４０６の処理が完了するものとしているが、これは事前にパラメタにより定義されたものではないことに注意されたい。つまり、ＣＰＵ４０６の処理が完了するタイミングは、入力画像１０００等の実行時点で変動する要因により、ステップＳ１４０８‐１４１４の範囲で変動する。
【0137】
ＣＰＵ４０６は、第１の位置推定処理１００５が完了していれば、問合せに対する応答としてコマンド処理部１０２に終了通知を返す。なお、第２の実施形態では、コマンド処理部１０２が能動的に終了待ちを行う構成を取るが、例えば、ＣＰＵ４０６が第１の位置推定処理１００５の完了を割り込みでコマンド処理部１０２に通知する等、ＣＰＵ４０６が能動的に終了通知を行う構成であってもよい。コマンド処理部１０２は、第１の位置推定処理１００５の終了待ちが完了すると、パラメタ分配部１００に終了通知を返す。
【0138】
ステップＳ１４１５では、パラメタ分配部１００は、コマンド処理部１０２に第５のコマンド１２１１を送信する。ステップＳ１４１６では、コマンド処理部１０２は、第５のコマンド１２１１に従い紐付け処理１０１２を開始する。初めに出力データ保持部１０５から第１の処理結果１００６及び第２の処理結果１０１１を、入力データ保持部１０４から後処理設定１００９を読み出す。次に第１の処理結果１００６及び第２の処理結果１０１１に含まれる複数の被写体、すなわち人物の頭部及び胴体について、同じ人物のものと推定される被写体同士を紐付けする。紐づけの結果は、第３の処理結果１０１３として出力データ保持部１０５に格納する。最後にパラメタ分配部１００に処理完了を通知する。
【0139】
ステップＳ１４１７では、パラメタ分配部１００は、コマンド処理部１０２に第６のコマンド１２１２を送信する。ステップＳ１４１８では、コマンド処理部１０２は、第６のコマンド１２１２に従い出力処理を開始する。初めに出力データ保持部１０５から第１の処理結果１００６を読み出す。次に読み出した第１の処理結果１００６を外部に出力する。最後にパラメタ分配部１００に処理完了を通知する。
【0140】
ステップＳ１４１９では、パラメタ分配部１００は、コマンド処理部１０２に第７のコマンド１２１３を送信する。ステップＳ１４２０では、コマンド処理部１０２は、第７のコマンド１２１３に従い出力処理を開始する。初めに出力データ保持部１０５から第２の処理結果１０１１を読み出す。次に読み出した第２の処理結果１０１１を外部に出力する。最後にパラメタ分配部１００に処理完了を通知する。
【0141】
ステップＳ１４２１では、パラメタ分配部１００は、コマンド処理部１０２に第８のコマンド１２１４を送信する。ステップＳ１４２２では、コマンド処理部１０２は、第８のコマンド１２１４に従い出力処理を開始する。初めに出力データ保持部１０５から第３の処理結果１０１３を読み出す。次に読み出した第３の処理結果１０１３を外部に出力する。最後にパラメタ分配部１００に処理完了を通知する。
【0142】
以上の通り、図１２に示すパラメタを与えることで、認識処理部４０７は、図１０に示す一連の認識処理を行うことができる。すなわち、入力画像１０００と後処理設定１００９とを受け取ってから、第１の処理結果１００６、第２の処理結果１０１１、第３の処理結果１０１３を返すまでの認識処理を行うことができる。第２の実施形態でも、第１の実施形態と同様に、認識処理部４０７は、プログラムサイズを増加させることなく異なる認識処理に対応可能となる。
【0143】
第２の実施形態では、ステップＳ１４０８‐ステップＳ１４１４の期間にわたり、認識処理部４０７では第３のＣＮＮ１００８及び第２の位置推定処理１０１０を、ＣＰＵ４０６では第１の処理結果１００６を並行して処理した。これにより、図１２に示すパラメタによるシーケンス定義において並列処理による認識処理の高速化が可能となる。
【0144】
第２の実施形態では、認識処理部４０７及びＣＰＵ４０６が並行処理を行い、パラメタ分配部１００はこれらの制御を担う。一方で、コマンド処理部１０２がＣＰＵ４０６への処理開始指示及び終了待ちを行い、これらのシーケンスはパラメタにより定義される。従って、並行処理を追加するにあって新たに必要な構成は、コマンド処理部１０２に、図１１に示すフローチャートのステップＳ１１０８‐１１１０を追加するのみである。また、例えば処理開始及び終了待ちのタイミングや回数を変更する場合は、パラメタの変更のみで済むため、全体として認識処理部４０７のプログラムサイズ増加を防ぐことができる。
【0145】
一方で、例えば第１の位置推定処理１００５より第２の位置推定処理１０１０の方が、処理時間が大きい傾向にある場合、処理の順序を入れ替えることで高速化を測れる。まず、第３のＣＮＮ１００７を第２のＣＮＮ１００３より先に処理する。認識処理部４０７で第２のＣＮＮ１００３及び第１の位置推定処理１００５を、ＣＰＵ４０６で第２の位置推定処理１０１０を処理する。これを実現するには、第２の積和演算パラメタ１２０１と第３の積和演算パラメタ１２０６を入れ替え、第２のコマンド１２０５のＭＳＧフィールドと第３のコマンドの各フィールドの設定内容を入れ替えればよい。
【0146】
このように、本実施形態に係るデータ処理装置では、パラメタ順序を入れ替えるだけで、目的に応じた認識処理のシーケンスを再定義することが可能となる。この場合においても、認識処理部４０７、特にコマンド処理部１０２に新たな構成を追加する必要はないため、異なる認識処理のシーケンスにプログラムサイズの増加を抑えつつ対応できる。
【0147】
第２の実施形態においては、認識処理の後処理部分だけでなく、積和演算部分も含めたシーケンスをパラメタで定義することで、認識処理の高速化という第１の実施形態とは異なる効果が得られる。パラメタ分配部１００が、積和演算パラメタ及び後処理パラメタを連結したパラメタを受け取り、その並び順により積和演算部１０１及びコマンド処理部１０２の処理順序を決定する構成により、これが実現される。
【0148】
＜その他の実施形態＞
＜積和演算部分の定義＞
第１及び第２の実施形態では、画像に対する認識処理を例に挙げ、ＣＮＮを含む認識処理を扱う例を示している。しかしながら、本データ処理装置は、ＣＮＮに限らず、ＮＮ全般を含む認識処理全般について適用可能である。例えば、第１の実施形態における第１のＣＮＮ２０１を、畳み込み演算ではない一般的な多層パーセプトロンで置き換えても良い。
＜積和演算部分の定義＞
第１及び第２の実施形態では、画像に対する認識処理を例に挙げ、ＣＮＮを含む認識処理を扱う例を示している。しかしながら、本データ処理装置は、ＣＮＮに限らず、ＮＮ全般を含む認識処理全般について適用可能である。例えば、第１の実施形態における第１のＣＮＮ２０１を、畳み込み演算ではない一般的な多層パーセプトロンで置き換えても良い。
【0149】
＜後処理部分の定義＞
第１及び第２の実施形態では、ニューラルネットワークの出力から認識結果を得る処理を後処理してコマンド処理部１０２で処理し、そのシーケンスを後処理パラメタにより定義する。
第１及び第２の実施形態では、ニューラルネットワークの出力から認識結果を得る処理を後処理してコマンド処理部１０２で処理し、そのシーケンスを後処理パラメタにより定義する。
【0150】
しかしながら、コマンド処理部１０２で実行する処理は、ＮＮの後段に位置する処理でなくても良い。例えばＮＮ演算の一部をコマンド処理部１０２の処理として実行してもよいし、次に処理するＮＮの前処理にあたる部分をコマンド処理部１０２で先行して処理してもよい。いずれの場合においても、図５に示すフローチャートでＴＹＰＥが１のコマンドに新たなＳＵＢ＿ＴＹＰＥを定義する。必要な機能をコマンド処理部１０２に追加し、対応するＳＵＢ＿ＴＹＰＥを設定したコマンドにより呼び出して使用する。
【0151】
＜コマンド処理部１０２の構成＞
第１及び第２の実施形態では、後処理を３種類または４種類の処理に分割し、それらに対応するコマンドの列としてシーケンスを定義する。そして、コマンド処理部１０２では、図５及び図１１に示すフローチャートの通り、コマンドのＴＹＰＥフィールドで処理の種類を判別する。
第１及び第２の実施形態では、後処理を３種類または４種類の処理に分割し、それらに対応するコマンドの列としてシーケンスを定義する。そして、コマンド処理部１０２では、図５及び図１１に示すフローチャートの通り、コマンドのＴＹＰＥフィールドで処理の種類を判別する。
【0152】
しかしながら、図５及び図１１に示すフローチャートにおけるＴＹＰＥフィールドの定義は、あくまでも一例であり、第１及び第２の実施形態で使用したコマンドを統合及び分割し、異なる定義でＴＹＰＥ及びＳＵＢ＿ＴＹＰＥの区別を与えてもよい。例えば、入力処理及び出力処理を１つのＴＹＰＥに集約し、ＳＵＢ＿ＴＹＰＥにより区別する構成に変更しても良い。あるいは位置推定処理をより細かい処理群に分割し、それらをＴＹＰＥが１の分岐以下に新たなＳＵＢ＿ＴＹＰＥの分岐として追加しても良い。
【0153】
＜積和演算部１０１とコマンド処理部１０２の並行処理＞
第１及び第２の実施形態では、パラメタ分配部１００が積和演算部１０１及びコマンド処理部１０２にパラメタを振り分け交互に動作させている。
第１及び第２の実施形態では、パラメタ分配部１００が積和演算部１０１及びコマンド処理部１０２にパラメタを振り分け交互に動作させている。
【0154】
しかしながら、積和演算部１０１とコマンド処理部１０２が並行に動作する構成であってもよい。例えば、図１２に示すパラメタを処理する場合、パラメタ分配部１００がコマンド処理部１０２による第２のコマンド１２０５の処理完了を待たずに、積和演算部１０１に第３の積和演算パラメタ１２０６の転送を開始してもよい。
【0155】
この場合、例えば図１２に示すパラメタの各コマンドにパラメタ分配部１００が終了通知待ちを行うかを示すフィールドを追加すればよい。第２のコマンド１２０５では当フィールドは０となり、他は全て１となる。パラメタ分配部１００は各コマンドの当フィールドを確認し、必要な場合のみ終了通知待ちを行う。
【0156】
＜パラメタ分配部１００による読み飛ばし＞
第１及び第２の実施形態では、パラメタ分配部１００はパラメタ内の各積和演算パラメタ及び後処理パラメタを全て処理している。
第１及び第２の実施形態では、パラメタ分配部１００はパラメタ内の各積和演算パラメタ及び後処理パラメタを全て処理している。
【0157】
しかしながら、パラメタ分配部１００が認識処理の状況に応じて一部のみを選択的に処理する構成であってもよい。例えば、図２に示す第１の位置推定処理２０４においてスコアの高い位置が第１の特徴データ２０２内に見つからない、すなわち人物の頭部の位置が出力されない場合、第１の処理結果２０６の実行は不要となる。
【0158】
この場合、例えばパラメタ分配部１００はコマンド処理部１０２から異常終了通知を受け取ると、対応するコマンドの転送をスキップする構成を追加すればよい。コマンド処理部１０２は第１の処理結果２０６が空であるときパラメタ分配部１００へ異常終了通知を送る。パラメタ分配部１００は異常終了通知を受け取り、第４のコマンド７０６はコマンド処理部１０２には転送せず、次の第５のコマンド７０７に進む。
【0159】
＜認識処理部４０７の実装形態＞
第１及び第２の実施形態では、認識処理部４０７は本発明に係るデータ処理装置の一部を構成するハードウェアとして説明している。しかしながら、例えば認識処理部４０７全体をＣＰＵ上で動作するプログラムとして実現しても良い。その場合も、認識処理部４０７は、パラメタ分配部１００、積和演算部１０１、コマンド処理部１０２に対応する機能を有し、図７及び図１２に示すようなパラメタにより認識処理のシーケンスを与える。
第１及び第２の実施形態では、認識処理部４０７は本発明に係るデータ処理装置の一部を構成するハードウェアとして説明している。しかしながら、例えば認識処理部４０７全体をＣＰＵ上で動作するプログラムとして実現しても良い。その場合も、認識処理部４０７は、パラメタ分配部１００、積和演算部１０１、コマンド処理部１０２に対応する機能を有し、図７及び図１２に示すようなパラメタにより認識処理のシーケンスを与える。
【0160】
また上述した実施形態では、畳み込み演算をハードウェアで処理する場合について説明した。これをＣＰＵ／ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）／ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサで処理しても良い。
【0161】
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0162】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0163】
１００ パラメタ分配部
１０１ 積和演算部
１０２ コマンド処理部
１０３ 特徴データ保持部
１０４ 入力データ保持部
１０５ 出力データ保持部
１０１ 積和演算部
１０２ コマンド処理部
１０３ 特徴データ保持部
１０４ 入力データ保持部
１０５ 出力データ保持部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】