特許 7563468 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06F 9/50 20060101AFI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

【ＦＩ】

G06F9/50 120A

G06T7/00 660

【請求項の数】 10

(21)【出願番号】P 2022553416

(86)(22)【出願日】2020-10-02

(86)【国際出願番号】 JP2020037653

(87)【国際公開番号】W WO2022070427

(87)【国際公開日】2022-04-07

【審査請求日】2023-03-29

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】有熊 威

(72)【発明者】

【氏名】北野 貴稔

【審査官】田中 幸雄

(56)【参考文献】

【文献】特開２０１１－２４２８９８（ＪＰ，Ａ）

【文献】特開２０１６－２０７０７６（ＪＰ，Ａ）

【文献】国際公開第２０１８／０９７０５８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／５０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像に含まれる複数の種類の対象物ごとに解析処理を並行して実行する解析実行手段と、
複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる資源割当手段と、
同一の前記画像の全体に対する複数の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出する算出手段と、
複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行う割当変更手段と、
を有し、
前記資源割当手段は、前記割当変更手段による前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる、
画像処理装置。

【請求項2】

前記割当変更手段は、複数の前記解析処理それぞれによって１つの画像あたりの検出された対象物の数と、複数の前記解析処理それぞれによる対象物の１つあたりの処理時間である第２の処理時間とに基づいて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
請求項１に記載の画像処理装置。

【請求項3】

前記割当変更手段は、複数の前記解析処理それぞれについて、前記対象物の数と前記第２の処理時間とを用いて算出された、１つの画像に対する前記解析処理それぞれに必要な処理時間である第３の処理時間に基づいて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
請求項２に記載の画像処理装置。

【請求項4】

前記割当変更手段は、複数の前記解析処理に関する前記第３の処理時間の比に応じて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
請求項３に記載の画像処理装置。

【請求項5】

複数の前記計算資源は、少なくとも１つの第１の計算資源と、前記第１の計算資源よりも処理能力が高い少なくとも１つの第２の計算資源とを含み、
前記割当変更手段は、前記第１の計算資源及び前記第２の計算資源の割り当てを決定する、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記割当変更手段は、複数の前記解析処理のそれぞれに前記第１の計算資源を割り当てたと仮定した場合の対象物の１つあたりの割当資源量を複数の前記解析処理について比較して割当資源量が大きい方の前記解析処理に対して、前記第２の計算資源を割り当てると決定する、
請求項５に記載の画像処理装置。

【請求項7】

前記割当変更手段は、前記第２の計算資源の量を前記第１の計算資源の量に仮想的に換算した換算資源量と前記第１の計算資源の量との合計と、複数の前記解析処理それぞれについて前記対象物の数と前記第１の計算資源を用いて行った複数の前記解析処理それぞれによる対象物の１つあたりの処理時間である第２の処理時間とを用いて算出された１つの画像に対する複数の前記解析処理それぞれに必要な処理時間である第３の処理時間とに基づいて、複数の前記解析処理それぞれに割り当てる前記第１の計算資源の量を決定する、
請求項６に記載の画像処理装置。

【請求項8】

前記割当変更手段は、前記換算資源量に対応する数が前記第２の計算資源を割り当てると決定された前記解析処理に対応する対象物の数以上となる場合に、当該解析処理に前記第１の計算資源を割り当てないと決定する、
請求項７に記載の画像処理装置。

【請求項9】

画像に含まれる複数の種類の対象物ごとに実行される解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当て、
前記複数の種類の対象物ごとに解析処理を並行して実行し、
同一の前記画像の全体に対する複数の対象物の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出し、
複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行い、
前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる、
コンピュータによって実行される画像処理方法。

【請求項10】

画像に含まれる複数の種類の対象物ごとに実行される解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てるステップと、
前記複数の種類の対象物ごとに解析処理を並行して実行するステップと、
同一の前記画像の全体に対する複数の対象物の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出するステップと、
複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行うステップと、
前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てるステップと、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

映像等の画像に含まれる物体を解析の対象物として解析を行う技術がある。例えば、防犯カメラを用いて撮影され、防犯カメラによって生成された画像に含まれる対象物に対して解析処理を行って、不審人物等を検知することが行われている。このような技術に関連し、特許文献１は、入力された映像データから人の顔を検出し、さらに検出した顔の特徴を抽出する映像解析システムを開示する。特許文献１にかかる技術では、前段解析部で行われている解析処理の変化を観測した内容観測データを基に、後段解析部への計算資源の割り当てを動的に変更する。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１８／０９７０５８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像を用いて解析を行う場合に、例えば顔、人体及び物体（持ち物及び服装など）等といった複数の種類の対象物に対してそれぞれ解析処理を行い、それらの結果を統合することがある。このようにすることで、ある人物に持ち物、顔、服装などの情報を紐づけることができ、複数の対象物の情報が紐づけられた情報を不審人物の検知等に利用することができる。

【0005】

ここで、複数の種類の対象物に対する解析処理（以下、単に「複数の解析処理」と称することがある）の結果を統合するためには、同一の画像における複数の解析処理の結果が全て揃う必要がある。この場合において、複数の解析処理の処理時間が異なると、処理時間の短い解析処理が終了しても処理時間の長い解析処理が終了するまで処理待ちが発生する。したがって、スループットが低下するおそれがある。なお、特許文献１にかかる技術では、対象物の数が計算資源の負荷に対応している。しかしながら、複数の解析処理においては、対象物の数が少ない解析処理の処理時間よりも対象物の数が多い解析処理の処理時間が長いとは限らない。したがって、特許文献１にかかる技術では、複数の解析処理を行う場合にスループットを向上させることができないおそれがあった。

【0006】

本開示の目的は、このような課題を解決するためになされたものであり、解析処理のスループットを向上させることが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本開示にかかる画像処理装置は、画像に含まれる複数の種類の対象物ごとに解析処理を並行して実行する解析実行手段と、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる資源割当手段と、同一の前記画像の全体に対する複数の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出する算出手段と、複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行う割当変更手段と、を有し、前記資源割当手段は、前記割当変更手段による前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる。

【0008】

また、本開示にかかる画像処理方法は、画像に含まれる複数の種類の対象物ごとに実行される解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当て、前記複数の種類の対象物ごとに解析処理を並行して実行し、同一の前記画像の全体に対する複数の対象物の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出し、複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行い、前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる。

【0009】

また、本開示にかかるプログラムは、画像に含まれる複数の種類の対象物ごとに実行される解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てるステップと、前記複数の種類の対象物ごとに解析処理を並行して実行するステップと、同一の前記画像の全体に対する複数の対象物の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出するステップと、複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行うステップと、前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てるステップと、をコンピュータに実行させる。

【発明の効果】

【0010】

本開示によれば、解析処理のスループットを向上させることが可能な画像処理装置、画像処理方法及びプログラムを提供できる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施の形態にかかる画像処理装置の概要を示す図である。

【図2】本開示の実施の形態にかかる画像処理装置によって実行される画像処理方法を示すフローチャートである。

【図3】実施の形態１にかかる画像処理システムの構成を示す図である。

【図4】実施の形態１にかかる画像処理装置の構成を示す図である。

【図5】実施の形態１にかかる画像処理装置によって実行される画像処理方法を示すフローチャートである。

【図6】実施の形態１にかかる画像処理装置によって実行される画像処理方法を示すフローチャートである。

【図7】実施の形態１にかかる顔解析処理及び人体解析処理を説明するための図である。

【図8】実施の形態１にかかる解析処理ログ情報を例示する図である。

【図9】実施の形態１にかかる対象物情報を例示する図である。

【図10】実施の形態２にかかる画像処理装置の構成を示す図である。

【図11】実施の形態２にかかる対象物情報を例示する図である。

【図12】実施の形態２にかかる画像処理装置によって実行される割り当て変更処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

（本開示にかかる実施の形態の概要）
本開示の実施形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図１は、本開示の実施の形態にかかる画像処理装置１の概要を示す図である。

【0013】

画像処理装置１は、例えばサーバ等のコンピュータである。画像処理装置１は、解析実行部２と、資源割当部４と、算出部６と、割当変更部８とを有する。解析実行部２、資源割当部４、算出部６及び割当変更部８は、それぞれ、解析実行手段、資源割当手段、算出手段及び割当変更手段としての機能を有する。

【0014】

解析実行部２は、画像に含まれる複数の種類の対象物ごとに解析処理を別個に並行して実行する。ここで、「画像」は、動画像（映像）又は静止画像であってもよい。また、画像は、映像を構成するフレーム画像であってもよい。また、「対象物」は、解析処理の対象となる物体である。対象物は、例えば、人物の「顔」、人物の体全体である「人体」、及び、人物の持ち物又は服装等の「所有物」を含む。「計算資源」は、例えば、プロセッサ及びメモリ等を含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）及びハードウェアアクセラレータ（例えばＧＰＵ（Graphics Processing Unit））等を含んでもよい。

【0015】

資源割当部４は、複数の種類の対象物の解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる。算出部６は、同一の画像の全体に対する複数の解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間（画像処理時間）を算出する。割当変更部８は、複数の解析処理の間の第１の処理時間の差が予め定められた閾値以上となったときに、第１の処理時間の差が小さくなるように計算資源の割り当ての変更処理を行う。資源割当部４は、割当変更部８による変更処理に応じて、複数の解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる。

【0016】

図２は、本開示の実施の形態にかかる画像処理装置１によって実行される画像処理方法を示すフローチャートである。資源割当部４は、複数の種類の対象物の解析処理それぞれに対して計算資源を割り当てる（ステップＳ１０）。解析実行部２は、複数の種類の対象物ごとに解析処理を別個に並行して実行する（ステップＳ１２）。例えば、複数の種類の対象物が対象物Ａ（例えば「顔」）及び対象物Ｂ（例えば「人体」）である場合、解析実行部２は、対象物Ａと対象物Ｂとで、解析処理を別個に並行して実行する。このとき、解析実行部２による解析処理の実行の前に、資源割当部４は、対象物Ａに関する解析処理Ａと対象物Ｂに関する解析処理Ｂそれぞれに対して計算資源を割り当てるものとする。

【0017】

算出部６は、同一の画像の全体に対する複数の解析処理それぞれの画像処理時間を算出する（ステップＳ１４）。例えば、算出部６は、ある画像Ｘについて、解析処理Ａの処理開始時刻から処理終了時刻までの期間である画像処理時間Ａと、解析処理Ｂの処理開始時刻から処理終了時刻までの期間である画像処理時間Ｂとを算出する。

【0018】

割当変更部８は、画像処理時間の差が閾値以上である場合に、計算資源の割り当ての変更処理を行う（ステップＳ１６）。資源割当部４は、割当変更部８による変更処理に応じて、複数の解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる（ステップＳ１８）。ここで、割当変更部８は、画像処理時間の差が閾値以上である場合に、画像処理時間の差が小さくなるように、計算資源の割り当ての変更処理を行う。例えば、割当変更部８は、画像処理時間Ａと画像処理時間Ｂとの差が閾値以上となったときに、計算資源の割り当ての変更処理を行う。なお、変更処理の具体例については後述する実施の形態において説明する。

【0019】

このように、本実施の形態では、複数の種類の対象物それぞれの解析処理の間の画像処理時間（第１の処理時間）の差が閾値以上である場合に、画像処理時間の差が小さくなるように計算資源の割り当ての変更処理を行うように構成されている。これにより、処理時間の短い解析処理が終了した後で処理時間の長い解析処理が終了するまで処理待ちの期間が短くなる。したがって、スループットを向上させることが可能となる。上記の例では、画像Ｘの次のタイミングで得られた画像Ｙについて、スループットを向上させることが可能となる。なお、上述した画像処理方法を実行するプログラムによっても、スループットを向上させることが可能となる。

【0020】

（実施の形態１）
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0021】

図３は、実施の形態１にかかる画像処理システム２０の構成を示す図である。画像処理システム２０は、１つ以上の撮像装置３０と、画像処理装置１００とを有する。撮像装置３０及び画像処理装置１００は、インターネット等のネットワーク２２を介して互いに通信可能に接続されている。なお、画像処理装置１００は、例えばクラウドコンピューティングによって実現されてもよい。

【0022】

撮像装置３０は、例えば、監視カメラ又は防犯カメラ等のカメラである。撮像装置３０は、周囲の被写体（人、物、背景等）を撮影して、画像を示す画像データを生成する。ここで、「画像」は、動画像（映像）又は静止画像であってもよい。また、画像は、映像を構成するフレーム画像であってもよい。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。以下の説明では、画像がフレーム画像である例について説明する。

【0023】

画像処理装置１００は、図１に示した画像処理装置１に対応する。画像処理装置１００は、撮像装置３０から画像を受信する。画像処理装置１００は、受信された画像を解析して、画像に含まれる対象物を認識する。詳しくは後述する。なお、実施の形態１では、対象物として、人物の顔及び人体（体全体）を認識するとするが、対象物は、顔及び人体に限定されない。また、対象物の数は、２つに限られず、３つ以上の任意の数であってもよい。

【0024】

図４は、実施の形態１にかかる画像処理装置１００の構成を示す図である。画像処理装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８（ＩＦ；Interface）とを有する。制御部１０２、記憶部１０４、通信部１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。

【0025】

制御部１０２は、例えばＣＰＵ等のプロセッサである。制御部１０２は、解析処理、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部１０４は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１０４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１０４は、制御部１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部１０４は、処理データ等を一時的に記憶するための機能を有する。記憶部１０４は、データベースを含み得る。

【0026】

通信部１０６は、撮像装置３０等の他の装置とネットワーク２２を介して通信を行うために必要な処理を行う。通信部１０６は、通信ポート、ルータ、ファイアウォール等を含み得る。インタフェース部１０８は、例えばユーザインタフェース（ＵＩ）である。インタフェース部１０８は、キーボード、タッチパネル又はマウス等の入力装置と、ディスプレイ又はスピーカ等の出力装置とを有する。インタフェース部１０８は、ユーザ（オペレータ）によるデータの入力の操作を受け付け、ユーザに対して情報を出力する。例えば、インタフェース部１０８は、解析処理の結果を出力してもよい。また、インタフェース部１０８は、各解析処理に割り当てられている計算資源の量を出力してもよい。

【0027】

実施の形態１にかかる画像処理装置１００は、構成要素として、画像取得部１１０と、資源割当部１１２と、解析実行部１２０と、解析状況監視部１３０と、割当変更部１４０とを有する。解析実行部１２０は、顔解析実行部１２２と、人体解析実行部１２４とを有する。解析状況監視部１３０は、画像処理時間算出部１３２と、割当変更判定部１３４と、対象物情報算出部１３６とを有する。割当変更部１４０は、ＣＰＵ割当決定部１４２を有する。なお、画像処理装置１００は、物理的に１つの装置で構成されている必要はない。この場合、上述した各構成要素は、物理的に別個の複数の装置によって実現されてもよい。

【0028】

画像取得部１１０は、画像取得手段としての機能を有する。資源割当部１１２は、図１に示した資源割当部４に対応する。資源割当部１１２は、資源割当手段としての機能を有する。解析実行部１２０は、図１に示した解析実行部２に対応する。解析実行部１２０は、解析実行手段としての機能を有する。解析状況監視部１３０は、図１に示した算出部６に対応する。解析状況監視部１３０は、解析状況監視手段としての機能を有する。割当変更部１４０は、図１に示した割当変更部８に対応する。割当変更部１４０は、割当変更手段としての機能を有する。

【0029】

また、顔解析実行部１２２は、顔解析実行手段としての機能を有する。人体解析実行部１２４は、人体解析実行手段としての機能を有する。画像処理時間算出部１３２は、図１に示した算出部６に対応する。画像処理時間算出部１３２は、画像処理時間算出手段としての機能を有する。割当変更判定部１３４は、割当変更判定手段としての機能を有する。対象物情報算出部１３６は、対象物情報算出手段としての機能を有する。ＣＰＵ割当決定部１４２は、ＣＰＵ割合決定手段としての機能を有する。

【0030】

なお、上述した各構成要素は、例えば、制御部１０２の制御によって、プログラムを実行させることによって実現できる。より具体的には、各構成要素は、記憶部１０４に格納されたプログラムを、制御部１０２が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。これらのことは、後述する他の実施の形態においても同様である。なお、各構成要素の具体的な機能については後述する。

【0031】

図５及び図６は、実施の形態１にかかる画像処理装置１００によって実行される画像処理方法を示すフローチャートである。資源割当部１１２は、計算資源の割り当てを行う（ステップＳ１００）。具体的には、資源割当部１１２は、解析実行部１２０によって実行される複数の解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる。さらに具体的には、資源割当部１１２は、顔解析実行部１２２によって実行される顔解析処理と、人体解析実行部１２４によって実行される人体解析処理とに、計算資源を割り当てる。詳しくは後述する。

【0032】

画像取得部１１０は、フレーム画像を取得する（ステップＳ１０２）。具体的には、画像取得部１１０は、撮像装置３０によって生成されたフレーム画像を取得する。画像取得部１１０は、撮像装置３０によってフレーム画像が生成されるごとにフレーム画像を取得してもよい。あるいは、撮像装置３０からのフレーム画像が記憶部１０４（バッファ）に一時的に格納される場合、画像取得部１１０は、バッファからフレーム画像を取得してもよい。なお、撮像装置３０が時系列的に連続して静止画像を生成する場合、画像取得部１１０は、静止画像を取得してもよい。

【0033】

解析実行部１２０は、顔解析処理と人体解析処理とを別個に並行して実行する（ステップＳ１０４）。つまり、解析実行部１２０は、画像に含まれる複数の種類の対象物ごとに解析処理を別個に並行して実行する。具体的には、顔解析実行部１２２は、顔解析処理を行う。人体解析実行部１２４は、人体解析処理を行う。

【0034】

図７は、実施の形態１にかかる顔解析処理及び人体解析処理を説明するための図である。フレーム画像が取得されると、解析実行部１２０は、顔解析処理と人体解析処理とを並行して実行する。そして、解析実行部１２０は、同じフレーム画像において顔解析処理及び人体解析処理が終了すると、顔解析処理の結果と人体解析処理の結果とを統合する。これにより、あるフレーム画像に写された人物の顔の特徴及び身体の特徴を詳細に示す情報を生成することができる。このようにして生成された情報を用いて、不審人物の探索等を行うことができる。

【0035】

顔解析実行部１２２は、フレーム画像に対して顔検出処理を行う。顔検出処理において、顔解析実行部１２２は、フレーム画像における顔の位置を検出する。そして、顔解析実行部１２２は、検出された顔の特徴（特徴量）を抽出する。そして、顔の特徴を示す顔特徴データを、顔解析処理の結果として出力する。なお、顔解析実行部１２２は、顔検出の精度が予め定められた値よりも高い顔に対して、顔の特徴の抽出を行ってもよい。

【0036】

人体解析実行部１２４は、フレーム画像に対して人体検出処理を行う。人体検出処理において、人体解析実行部１２４は、フレーム画像における人体の位置を検出する。そして、人体解析実行部１２４は、検出された人体の特徴（特徴量）を抽出する。そして、人体の特徴を示す人体特徴データを、人体解析処理の結果として出力する。なお、人体解析実行部１２４は、人体検出の精度が予め定められた値よりも高い人体に対して、人体の特徴の抽出を行ってもよい。

【0037】

ここで、人体検出処理では、フレーム画像に全身が写っていないと、人体である物体を人体と検出（認識）することができない可能性が高い。一方、顔検出処理では、フレーム画像に全身が写っていなくても、顔が写っていれば、顔である物体を顔と検出（認識）することができる可能性が高い。したがって、同じフレーム画像でも、検出される顔の数及び人体の数は互いに異なり得る。

【0038】

また、同じフレーム画像でも、対象物の種類によって、１つの対象物の解析に要する時間が異なり得る。例えば、人体の特徴量のボリュームは顔の特徴量のボリュームよりも大きいので、人体の特徴の抽出処理に要する時間は、顔の特徴の抽出処理に要する時間よりも長いことが多い。図７の例では、顔の特徴の抽出処理に要する時間は５０ｍｓｅｃであり、人体の特徴の抽出処理に要する時間は２５０ｍｓｅｃである。

【0039】

図５の説明に戻る。解析状況監視部１３０は、各解析処理のログ情報（解析処理ログ情報）を取得する（ステップＳ１０６）。解析処理ログ情報は、解析状況監視部１３０によって生成されてもよいし、解析実行部１２０によって生成されてもよい。解析状況監視部１３０は、解析処理ログ情報を用いて、解析実行部１２０による解析処理の実行状況を監視する。

【0040】

図８は、実施の形態１にかかる解析処理ログ情報を例示する図である。解析処理ログ情報は、カメラＩＤと、フレームＩＤと、対象物の種類（「顔」又は「人体」）と、対象物のＩＤと、処理開始時刻と、処理終了時刻と、処理ハードウェア情報とを含む。図８の例では、カメラＩＤ（撮像装置３０の識別情報）は「カメラ＃１」であり、フレームＩＤ（フレーム画像の識別情報）は「フレーム＃１」である。また、図８の例では、対象物「顔」のＩＤが「顔＃１」～「顔＃ｍ」であり、対象物「人体」のＩＤが「人体＃１」～「人体＃ｎ」である。つまり、図８の例では、フレーム＃１のフレーム画像において、対象物「顔」の検出数はｍ個であり、対象物「人体」の検出数はｎ個である。また、図８の例では、各解析処理は全てＣＰＵによって実行されている。

【0041】

また、対象物「顔＃１」の処理開始時刻はｔ＿ｆ１ｓであり、処理終了時刻はｔ＿ｆ１ｅである。また、対象物「顔＃２」の処理開始時刻はｔ＿ｆ２ｓであり、処理終了時刻はｔ＿ｆ２ｅである。また、対象物「顔＃ｍ」の処理開始時刻はｔ＿ｆｍｓであり、処理終了時刻はｔ＿ｆｍｅである。ここで、図８の例では、顔解析実行部１２２は、最初に、対象物「顔＃１」についての解析処理を実行し、最後に、対象物「顔＃ｍ」についての解析処理を実行するとする。

【0042】

また、対象物「人体＃１」の処理開始時刻はｔ＿ｂ１ｓであり、処理終了時刻はｔ＿ｂ１ｅである。また、対象物「人体＃２」の処理開始時刻はｔ＿ｂ２ｓであり、処理終了時刻はｔ＿ｂ２ｅである。また、対象物「人体＃ｎ」の処理開始時刻はｔ＿ｂｎｓであり、処理終了時刻はｔ＿ｂｎｅである。ここで、図８の例では、人体解析実行部１２４は、最初に、対象物「人体＃１」についての解析処理を実行し、最後に、対象物「人体＃ｎ」についての解析処理を実行するとする。

【0043】

なお、顔解析実行部１２２は、顔＃１～顔＃ｍに対して、逐次的に解析処理を実行してもよい。この場合、顔解析実行部１２２は、顔＃１に対する解析処理が終了してから顔＃２に対する解析処理を開始する。したがって、顔＃１についての処理開始時刻ｔ＿ｆ１ｓから処理終了時刻ｔ＿ｆ１ｅまでの期間は、顔＃２についての処理開始時刻ｔ＿ｆ２ｓから処理終了時刻ｔ＿ｆ２ｅまでの期間と重なっていない。あるいは、顔解析実行部１２２は、顔＃１～顔＃ｍに対して並行して解析処理を実行してもよい。この場合、顔解析実行部１２２は、顔＃１に対する解析処理が終了する前に顔＃２に対する解析処理を開始してもよい。したがって、顔＃１についての処理開始時刻ｔ＿ｆ１ｓから処理終了時刻ｔ＿ｆ１ｅまでの期間は、顔＃２についての処理開始時刻ｔ＿ｆ２ｓから処理終了時刻ｔ＿ｆ２ｅまでの期間と重なってもよい。このような逐次処理又は並行処理は、顔解析処理に割り当てられた計算資源（ＣＰＵ等）の量に応じて、適宜、選択され得る。なお、これらのことは、人体解析実行部１２４（人体解析処理）についても同様である。

【0044】

図５の説明に戻る。解析状況監視部１３０は、各解析処理それぞれのフレーム処理時間（画像処理時間；第１の処理時間）を算出する（ステップＳ１０８）。具体的には、画像処理時間算出部１３２は、同一のフレーム画像の全体に対する、顔解析処理のフレーム処理時間及び人体解析処理のフレーム処理時間を算出する。ここで、フレーム処理時間は、１つのフレーム画像の全体における各解析処理の処理開始時刻から処理終了時刻までの期間である。言い換えると、フレーム処理時間は、各解析処理について、１つのフレーム画像内の全ての対象物に関する処理を行うのに要した時間である。例えば、フレーム処理時間は、各解析処理について、最初に実行された対象物に関する処理開始時刻から、最後に実行された対象物に関する処理終了時刻までの期間である。

【0045】

図８の例において、「フレーム＃１」のフレーム画像では、顔解析処理は、対象物「顔＃１」の処理から開始し、対象物「顔＃ｍ」の処理で終了する。したがって、「フレーム＃１」のフレーム画像の全体に対する顔解析処理の処理開始時刻は、対象物「顔＃１」の処理開始時刻ｔ＿ｆ１ｓである。また、「フレーム＃１」のフレーム画像の全体に対する顔解析処理の処理終了時刻は、対象物「顔＃ｍ」の処理終了時刻ｔ＿ｆｍｅである。したがって、画像処理時間算出部１３２は、「フレーム＃１」のフレーム画像の全体に対する顔解析処理のフレーム処理時間を、Ｔｉｆ＝ｔ＿ｆｍｅ－ｔ＿ｆ１ｓと算出する。

【0046】

また、図８の例において、「フレーム＃１」のフレーム画像では、人体解析処理は、対象物「人体＃１」の処理から開始し、対象物「人体＃ｎ」の処理で終了する。したがって、「フレーム＃１」のフレーム画像の全体に対する人体解析処理の処理開始時刻は、対象物「人体＃１」の処理開始時刻ｔ＿ｂ１ｓである。また、「フレーム＃１」のフレーム画像の全体に対する人体解析処理の処理終了時刻は、対象物「人体＃ｎ」の処理終了時刻ｔ＿ｂｎｅである。したがって、画像処理時間算出部１３２は、「フレーム＃１」のフレーム画像の全体に対する人体解析処理のフレーム処理時間を、Ｔｉｂ＝ｔ＿ｂｎｅ－ｔ＿ｂ１ｓと算出する。

【0047】

解析状況監視部１３０は、複数の解析処理の間のフレーム処理時間の差が予め定められた閾値以上であるか否かを判定する（ステップＳ１１０）。具体的には、割当変更判定部１３４は、顔解析処理のフレーム処理時間Ｔｉｆと人体解析処理のフレーム処理時間Ｔｉｂとの差ΔＴｉ（＝｜Ｔｉｆ－Ｔｉｂ｜）が予め定められた閾値Ｔｔｈ１以上であるか否かを判定する。つまり、割当変更判定部１３４は、ΔＴｉ≧Ｔｔｈ１であるか否かを判定する。なお、フレーム処理時間の差ΔＴｉは、複数の解析処理の間の処理待ちの期間に対応する。したがって、閾値Ｔｔｈ１は、許容できる処理待ち期間（スループット）に応じて、適宜定められ得る。

【0048】

なお、対象物の種類が３つ以上である場合、解析処理も３つ以上となる。この場合、フレーム処理時間の差ΔＴｉは、最大のフレーム処理時間と、最小のフレーム処理時間との差としてもよい。例えば、対象物の種類が、顔、人体及び所有物であるケースで、所有物の解析処理のフレーム処理時間Ｔｉｐが最も長く、顔解析処理のフレーム処理時間Ｔｉｆが最も短い場合、ΔＴｉ＝Ｔｉｐ－Ｔｉｆとなる。

【0049】

フレーム処理時間の差ΔＴｉが閾値Ｔｔｈ１以上でない場合（Ｓ１１０のＮＯ）、処理待ちの期間は許容範囲内であり、スループットの許容できない程度の悪化は発生していない可能性が高い。したがって、割当変更判定部１３４は、計算資源の割り当ての変更を行わないと決定する。この場合、後述するＳ２０の処理は省略され、処理はＳ１１６に進む。

【0050】

一方、フレーム処理時間の差ΔＴｉが閾値Ｔｔｈ１以上である場合（Ｓ１１０のＹＥＳ）、処理待ちの期間は許容範囲を超え、スループットの許容できない程度の悪化が発生している可能性が高い。したがって、割当変更判定部１３４は、計算資源の割り当ての変更を行うと決定する（ステップＳ１１２）。この場合、対象物情報算出部１３６は、対象物情報を算出する（ステップＳ１１４）。ここで、対象物情報は、対象物に関する情報であって、対象物数と対象物処理時間とに関する情報を含む。したがって、対象物情報算出部１３６は、対象物数と対象物処理時間とに関する情報を算出する。対象物数及び対象物処理時間については後述する。解析状況監視部１３０は、割当変更指示を割当変更部１４０に出力する。割当変更指示は、対象物情報を含んでもよい。なお、Ｓ１１４の処理は、Ｓ１１０の判定がＹＥＳの場合のみに実行されることに限定されず、解析処理ログ情報が取得された場合に常に算出されてもよい。

【0051】

図９は、実施の形態１にかかる対象物情報を例示する図である。対象物情報は、直近の対象物数の平均と、直近の対象物処理時間（第２の処理時間）の平均とを含む。ここで、「対象物数」は、１つのフレーム画像から検出された各対象物の種類（顔又は人体）の対象物の数である。つまり、「対象物数」は、１つの画像当たりの検出された対応する対象物の数である。図８の例では、フレーム＃１の顔の対象物数はｍ個であり、人体の対象物数はｎ個である。

【0052】

また、「対象物処理時間」とは、１つの対象物あたりの解析処理に必要な処理時間である。図８の例では、対象物「顔＃１」の対象物処理時間は（ｔ＿ｆ１ｅ－ｔ＿ｆ１ｓ）であり、対象物「顔＃２」の対象物処理時間は（ｔ＿ｆ２ｅ－ｔ＿ｆ２ｓ）である。また、対象物「人体＃１」の対象物処理時間は（ｔ＿ｂ１ｅ－ｔ＿ｂ１ｓ）であり、対象物「人体＃２」の対象物処理時間は（ｔ＿ｂ２ｅ－ｔ＿ｂ２ｓ）である。

【0053】

また、「直近の対象物数の平均（平均対象物数）」とは、現在時刻（又は処理対象のフレーム画像の撮影時刻）から予め定められた時間だけ前（例えば数秒前；５秒～１０秒前）までの期間の、各対象物の種類ごとの対象物数の平均値である。図９の例では、「顔」については、「直近の対象物数の平均（平均対象物数）」はＭ個である。また、「人体」については、「直近の対象物数の平均（平均対象物数）」はＮ個である。

【0054】

また、「直近の対象物処理時間の平均（平均対象物処理時間）」とは、現在時刻（又は処理対象のフレーム画像の撮影時刻）から予め定められた時間だけ前（例えば数秒前；５秒～１０秒前）までの期間の、各対象物の種類ごとの対象物処理時間の平均値である。「直近の対象物処理時間の平均」は、処理を行った計算資源の種類（例えばＣＰＵ等）によって異なり得る。図９の例では、「顔」については、ＣＰＵによる解析処理の「直近の対象物処理時間の平均（平均対象物処理時間）」はＴｆｃ［ｍｓｅｃ／個］である。また、「人体」については、ＣＰＵによる解析処理の「直近の対象物処理時間の平均（平均対象物処理時間）」はＴｂｃ［ｍｓｅｃ／個］である。

【0055】

図５の説明に戻る。割当変更部１４０は、割り当て変更処理を行う（ステップＳ２０）。具体的には、ＣＰＵ割当決定部１４２は、対象物情報を用いて、複数の解析処理（顔解析処理及び人体解析処理）それぞれに割り当てる計算資源の量（例えばＣＰＵコア数）を決定する。ＣＰＵ割当決定部１４２は、複数の解析処理それぞれについて、後述する処理必要時間（第３の処理時間）に基づいて、複数の解析処理それぞれに割り当てる前記計算資源の量を決定する。ＣＰＵ割当決定部１４２は、複数の解析処理に関する処理必要時間の比に応じて、複数の解析処理それぞれに割り当てる前記計算資源の量を決定する。詳しくは後述する。

【0056】

割り当て変更処理（Ｓ２０）の後、全てのフレーム画像について処理が終了した場合（ステップＳ１１６のＹＥＳ）、処理は終了する。一方、全てのフレーム画像について処理が終了していない場合（Ｓ１１６のＮＯ）、処理はＳ１０２に戻り、上述した処理が繰り返される。

【0057】

図６は、実施の形態１にかかる割り当て変更処理（Ｓ２０）を示すフローチャートである。割当変更部１４０は、解析状況監視部１３０から対象物情報を取得する（ステップＳ２２）。具体的には、ＣＰＵ割当決定部１４２は、対象物情報を含む割当変更指示を解析状況監視部１３０から受信することで、対象物情報を取得してもよい。あるいは、解析状況監視部１３０は、対象物情報をデータベースに格納しておいてもよい。この場合、割当変更部１４０は、割当変更指示を受信した場合に、データベースから対象物情報を取得する。

【0058】

割当変更部１４０は、対象物情報を用いて各解析処理の処理必要時間（第３の処理時間）を算出する（ステップＳ２４）。具体的には、ＣＰＵ割当決定部１４２は、解析処理ごとに、平均対象物処理時間に平均対象物数を乗算することによって、処理必要時間を算出する。ここで、「処理必要時間」とは、１つの画像（フレーム画像）に対する複数の解析処理それぞれに必要な処理時間である。言い換えると、「処理必要時間」とは、１つの画像（フレーム画像）に対する複数の解析処理それぞれに必要と予測される処理時間である。図９の例では、顔解析処理の処理必要時間は、Ｔｆｃ×Ｍ［ｍｓｅｃ］と算出される。また、人体解析処理の処理必要時間は、Ｔｂｃ×Ｎ［ｍｓｅｃ］と算出される。

【0059】

割当変更部１４０は、各解析処理の処理必要時間の比に応じて各解析処理の割当資源量を決定する（ステップＳ２６）。具体的には、ＣＰＵ割当決定部１４２は、割り当てられる計算資源の量（資源量）の比が各解析処理の処理必要時間の比に対応するように、各解析処理の割当資源量を決定する。さらに具体的には、ＣＰＵ割当決定部１４２は、顔解析処理に割り当てられる資源量と人体解析処理に割り当てられる資源量との比が、顔解析処理の処理必要時間と人体解析処理の処理必要時間との比に対応するように、各解析処理の割当資源量を決定する。

【0060】

ここで、図９の例では、顔解析処理の処理必要時間と人体解析処理の処理必要時間との比は、Ｔｆｃ×Ｍ：Ｔｂｃ×Ｎである。ここで、ＣＰＵコア数をＲｃとする。このとき、顔解析処理に割り当てられる資源量Ｒｃ＿ｆは、Ｒｃ＿ｆ＝Ｒｃ×（Ｔｆｃ×Ｍ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）と算出される。また、人体解析処理に割り当てられる資源量Ｒｃ＿ｂは、Ｒｃ＿ｂ＝Ｒｃ×（Ｔｂｃ×Ｎ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）と算出される。なお、算出された値が整数でない場合、算出された値に最も近い整数が、割り当てられる資源量（ＣＰＵコア数）として決定される。

【0061】

割当変更部１４０は、各解析処理それぞれの割当資源量を出力する（ステップＳ２８）。具体的には、割当変更部１４０は、各解析処理それぞれの割当資源量を、資源割当部１１２に出力する。これにより、資源割当部１１２は、決定された（変更された）割当資源量で、各解析処理に計算資源を割り当てる。これにより、各解析処理に割り当てられる資源量の比が処理必要時間の比に対応するように変更されるので、処理待ちの時間が低減され得る。したがって、スループットが向上し得る。つまり、あるフレーム＃１について図５に示した処理を行うことによって、フレーム＃１の後のタイミングで生成されたフレーム＃２に対する解析処理のスループットを向上させることが可能となる。

【0062】

＜具体例＞
上述した実施の形態１に係る処理を、具体的な数値を用いて説明する。顔解析処理のフレーム処理時間をＴｉｆ＝２０２ｍｓｅｃ、人体解析処理のフレーム処理時間をＴｉｂ＝１００１ｍｓｅｃとする。また、閾値Ｔｔｈ１＝２００ｍｓｅｃとする。この場合、フレーム処理時間の差はΔＴｉ＝１００１－２０２＝７９９ｍｓｅｃ＞２００ｍｓｅｃとなるので、割当変更判定部１３４は、割り当ての変更を行うと判定する（Ｓ１１０のＹＥＳ，Ｓ１１２）。

【0063】

また、顔解析処理の平均対象物数をＭ＝１６個、人体解析処理の平均対象物数をＮ＝８個とする。また、顔解析処理の対象物処理時間をＴｆｃ＝５０ｍｓｅｃ／個、人体解析処理の対象物処理時間をＴｂｃ＝２５０ｍｓｅｃ／個とする。この場合、ＣＰＵ割当決定部１４２は、顔解析処理の処理必要時間を、Ｔｆｃ×Ｍ＝５０×１６＝８００［ｍｓｅｃ］と算出する（Ｓ２４）。また、ＣＰＵ割当決定部１４２は、人体解析処理の処理必要時間を、Ｔｂｃ×Ｎ＝２５０×８＝２０００［ｍｓｅｃ］と算出する（Ｓ２４）。

【0064】

また、ＣＰＵ割当決定部１４２は、処理必要時間の比を、Ｔｆｃ×Ｍ：Ｔｂｃ×Ｎ＝８００：２０００＝２：５と算出する。また、解析処理に使用されるＣＰＵコア数をＲｃ＝６個とする。この場合、ＣＰＵ割当決定部１４２は、顔解析処理に割り当てられる資源量を、Ｒｃ＿ｆ＝Ｒｃ×（Ｔｆｃ×Ｍ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）＝６×（２／（２＋５））≒２［個］と算出する。また、ＣＰＵ割当決定部１４２は、人体解析処理に割り当てられる資源量を、Ｒｃ＿ｂ＝Ｒｃ×（Ｔｂｃ×Ｎ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）＝６×（５／（２＋５））≒４［個］と算出する。

【0065】

この場合、割り当て変更後の１フレーム画像あたりの顔解析処理の処理時間は、Ｔｆｃ×Ｍ／Ｒｃ＿ｆ＝５０×１６／２＝４００［ｍｓｅｃ］となる。また、割り当て変更後の１フレーム画像あたりの人体解析処理の処理時間は、Ｔｂｃ×Ｎ／Ｒｃ＿ｂ＝２５０×８／４＝５００［ｍｓｅｃ］となる。したがって、処理待ちの時間は５００－４００＝１００ｍｓｅｃとなり、割り当て変更後のスループットは、１０００ｍｓｅｃ／ｍａｘ［４００ｍｓｅｃ，５００ｍｓｅｃ］＝２フレーム／秒となる。一方、割り当て変更前のスループットは、１０００ｍｓｅｃ／ｍａｘ［２０２ｍｓｅｃ，１００１ｍｓｅｃ］≒１フレーム／秒となる。したがって、割り当ての変更処理を行うことによって、スループットが向上していることが分かる。

【0066】

なお、上述したように、特許文献１の技術では、対象物の数が計算資源の負荷に対応している。したがって、特許文献１の技術を上述した具体例に適用すると、顔解析処理の平均対象物数（１６個）の方が人体解析処理の平均対象物数（８個）よりも多いので、人体解析処理よりも顔解析処理の方により多くのＣＰＵコアを割り当ててしまう。しかしながら、上述したように、処理必要時間については、人体解析処理の処理必要時間の方が顔解析処理の処理必要時間よりも長い。したがって、特許文献１の技術では、同一のフレーム画像の解析処理について、顔解析処理が人体解析処理よりもはるかに早く終了してしまい、人体解析処理が終了するまでに長い処理待ちが発生し、スループットを向上させることができないおそれがある。具体的には、特許文献１にかかる技術では、対象物数の比から、６個のＣＰＵコアのうち、顔解析処理に４個、人体解析処理に２個のＣＰＵコアが割り当てられる。すると、顔解析処理の処理時間は、５０×１６／４＝２００ｍｓｅｃとなり、人体解析処理の処理時間は、２５０×８／２＝１０００ｍｓｅｃとなる。したがって、処理待ちの時間は１０００－２００＝８００ｍｓｅｃとなり、割り当て変更後のスループットは、１０００ｍｓｅｃ／ｍａｘ［２００ｍｓｅｃ，１０００ｍｓｅｃ］＝１フレーム／秒となる。したがって、実施の形態１にかかる方法は、特許文献１にかかる技術よりもスループットを向上させることが可能となる。

【0067】

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、解析処理を実行する計算資源が、ＣＰＵだけでなく、ハードウェアアクセラレータも含む点で、実施の形態１と異なる。なお、実施の形態２にかかる画像処理システム２０の構成については、実施の形態１にかかるものと実質的に同様であるので、説明を省略する。

【0068】

図１０は、実施の形態２にかかる画像処理装置１００の構成を示す図である。画像処理装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８とを有する。ここで、制御部１０２は、少なくとも１つのＣＰＵ（第１の計算資源）と、少なくとも１つのハードウェアアクセラレータ（第２の計算資源）とを含む。ハードウェアアクセラレータは、ＣＰＵよりも性能（処理能力）が高い計算資源である。「処理能力」とは、例えば処理速度である。ハードウェアアクセラレータは、ＧＰＵ、ＦＰＧＡ、又は、深層学習用等の専用ハードウェアを含んでもよい。実施の形態２では、ハードウェアアクセラレータ（以後、単に「アクセラレータ」と称することがある）がＧＰＵである例について説明する。制御部１０２以外のハードウェアについては、実施の形態１と実質的に同様であってもよい。

【0069】

実施の形態２にかかる画像処理装置１００は、構成要素として、画像取得部１１０と、資源割当部１１２と、解析実行部１２０と、解析状況監視部１３０と、割当変更部２４０とを有する。なお、割当変更部２４０以外の構成要素については、実施の形態１にかかるものと実質的に同様であるので、説明を省略する。つまり、実施の形態１にかかる画像処理装置１００は、実施の形態１と同様に、図５に示したＳ１００～Ｓ１１６の処理を行う。

【0070】

割当変更部２４０は、割当変更手段としての機能を有する。割当変更部２４０は、ＣＰＵ割当決定部１４２と、アクセラレータ割当決定部２４２とを有する。アクセラレータ割当決定部２４２は、アクセラレータ割当決定手段としての機能を有する。実施の形態２にかかる割当変更部２４０は、ＣＰＵ（第１の計算資源）及びアクセラレータ（第２の計算資源）の割り当てを決定する。

【0071】

次に、実施の形態２にかかる画像処理装置１００によって実行される画像処理方法について説明する。ここで、実施の形態２にかかる画像処理方法について、図５のＳ２０の処理以外の処理については実施の形態１にかかる処理と実質的に同様であるので、説明を省略する。但し、実施の形態２においては、Ｓ１０６の処理で取得される解析処理ログ情報、及び、Ｓ１１４において算出される対象物情報が、実施の形態１と異なる。解析処理ログ情報について、図８の例では、各解析処理は全てＣＰＵによって実行されているが、実施の形態２では、一部又は全ての解析処理が、アクセラレータ（例えばＧＰＵ）によって実行され得る。

【0072】

図１１は、実施の形態２にかかる対象物情報を例示する図である。図１１に示すように、実施の形態２では、対象物処理時間（平均対象物処理時間）は、解析処理を実行したハードウェアの種類（ＣＰＵ及びＧＰＵ）ごとに算出される。図１１の例では、「顔」については、ＧＰＵによる解析処理の「直近の対象物処理時間の平均（平均対象物処理時間）」はＴｆｇ［ｍｓｅｃ／個］である。また、「人体」については、ＧＰＵによる解析処理の「直近の対象物処理時間の平均（平均対象物処理時間）」はＴｂｇ［ｍｓｅｃ／個］である。なお、各解析処理がＣＰＵかＧＰＵのいずれの計算資源で実行されたかについては、解析処理ログ情報に示されている。対象物情報のその他の情報については、図８に示した実施の形態１にかかるものと実質的に同様であるので、説明を省略する。

【0073】

図１２は、実施の形態２にかかる画像処理装置によって実行される割り当て変更処理（Ｓ２０）を示すフローチャートである。割当変更部２４０は、図６に示したＳ２２～Ｓ２８と実質的に同様の処理を行う（ステップＳ２００）。なお、Ｓ２８の処理については、ＣＰＵ割当決定部１４２が、各解析処理それぞれのＣＰＵの割当資源量を、アクセラレータ割当決定部２４２に出力する。つまり、実施の形態２では、資源割当部１１２は、Ｓ２６で決定された割当資源量で計算資源の割り当てを行うわけではない。

【0074】

割当変更部２４０（アクセラレータ割当決定部２４２）は、各解析処理それぞれの割当資源量を取得する（ステップＳ２０２）。なお、このとき取得される割当資源量は、ＣＰＵの割当資源量である。つまり、実施の形態２においても、割り当て処理を行う際には、実施の形態１と同様に、まず、各解析処理にＣＰＵを割り当てたと仮定した処理を行う。これにより、ＣＰＵだけでなくＧＰＵを解析処理に割り当てる処理の複雑化を抑制することができる。

【0075】

割当変更部２４０は、対象物１つあたりの割当資源量が多い解析処理を選択する（ステップＳ２０４）。具体的には、アクセラレータ割当決定部２４２は、各解析処理について、対象物１つあたりの割当資源量を算出する。さらに具体的には、アクセラレータ割当決定部２４２は、顔解析処理の対象物（顔）１つあたりの割当資源量を、Ｒｃ＿ｆ／Ｍと算出する。同様に、アクセラレータ割当決定部２４２は、人体解析処理の対象物（人体）１つあたりの割当資源量を、Ｒｃ＿ｂ／Ｎと算出する。アクセラレータ割当決定部２４２は、Ｒｃ＿ｆ／ＭとＲｃ＿ｂ／Ｎとを比較して、大きい方に対応する解析処理を選択する。例えば、Ｒｃ＿ｆ／Ｍ＜Ｒｃ＿ｂ／Ｎであれば、アクセラレータ割当決定部２４２は、人体解析処理を選択する。

【0076】

割当変更部２４０（アクセラレータ割当決定部２４２）は、Ｓ２０４で選択された解析処理に対してＧＰＵ（アクセラレータ）を割り当てると決定する（ステップＳ２０６）。例えば、Ｓ２０４で人体解析処理が選択された場合、アクセラレータ割当決定部２４２は、人体解析処理にＧＰＵを割り当てる。これにより、処理負荷が高いと考えられる解析処理に対して、優先的に、アクセラレータを割り当てることができる。したがって、スループットを向上させることが可能となる。

【0077】

なお、Ｒｃ＿ｆ／Ｍ＝Ｒｃ×Ｔｆｃ／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）であり、Ｒｃ＿ｂ／Ｎ＝Ｒｃ×Ｔｂｃ／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）である。したがって、対象物１つあたりの割当資源量が多い解析処理とは、ＣＰＵを用いて行った各解析処理に対応する平均対象物処理時間（Ｔｆｃ，Ｔｂｃ）が長い解析処理であると言える。したがって、アクセラレータ割当決定部２４２は、複数の解析処理のうち、ＣＰＵを用いて行った対象物処理時間が長い解析処理に対して、ＧＰＵを割り当てると決定する。

【0078】

割当変更部２４０（アクセラレータ割当決定部２４２）は、割り当てられたＧＰＵのＣＰＵ換算数が対象物数以上の解析処理を、ＣＰＵの割り当て対象から除外する（ステップＳ２０８）。ここで、ＣＰＵ換算数とは、ＧＰＵ（第２の計算資源）の量をＣＰＵ（第１の計算資源）の量に仮想的に換算した換算資源量に対応する。したがって、割当変更部２４０は、換算資源量に対応する数がＧＰＵを割り当てると決定された解析処理に対応する対象物の数以上となる場合に、当該解析処理にＣＰＵを割り当てないと決定する。

【0079】

具体的には、アクセラレータ割当決定部２４２は、ＣＰＵ換算数を算出する。具体的には、アクセラレータ割当決定部２４２は、ＧＰＵが割り当てられた解析処理について、ＣＰＵの対象物処理時間をＧＰＵの対象物処理時間で除算することによって、ＣＰＵ換算数を算出する。例えば、人体解析処理にＧＰＵが割り当てられたとすると、アクセラレータ割当決定部２４２は、ＣＰＵ換算数を、Ｔｂｃ／Ｔｂｇ［ＣＰＵ／ＧＰＵ］と算出する。また、顔解析処理にＧＰＵが割り当てられたとすると、アクセラレータ割当決定部２４２は、ＣＰＵ換算数を、Ｔｆｃ／Ｔｆｇ［ＣＰＵ／ＧＰＵ］と算出する。なお、算出された値が整数でない場合、アクセラレータ割当決定部２４２は、算出された値に最も近い整数を、ＣＰＵ換算数（換算資源量）として決定してもよい。

【0080】

アクセラレータ割当決定部２４２は、ＣＰＵ換算数と対象物数（平均対象物数）とを比較する。例えば、人体解析処理にＧＰＵが割り当てられたとすると、Ｔｂｃ／Ｔｂｇと人体解析処理の平均対象物数Ｎとを比較する。そして、アクセラレータ割当決定部２４２は、Ｔｂｃ／Ｔｂｇ≧Ｎである場合に、ＧＰＵが割り当てられた人体解析処理を、ＣＰＵの割り当て対象から除外する。つまり、アクセラレータ割当決定部２４２は、人体解析処理にＣＰＵを割り当てないと決定する。また、例えば、顔解析処理にＧＰＵが割り当てられたとすると、Ｔｆｃ／Ｔｆｇと顔解析処理の平均対象物数Ｍとを比較する。そして、アクセラレータ割当決定部２４２は、Ｔｆｃ／Ｔｆｇ≧Ｍである場合に、ＧＰＵが割り当てられた顔解析処理を、ＣＰＵの割り当て対象から除外する。つまり、アクセラレータ割当決定部２４２は、顔解析処理にＣＰＵを割り当てないと決定する。

【0081】

このように、ＧＰＵが割り当てられた解析処理をＣＰＵの割り当て対象から除外するのは、このような解析処理にＣＰＵを割り当てても、割り当てられたＣＰＵは解析処理に使用されない可能性が極めて高いからである。つまり、ある解析処理に割り当てられたＧＰＵのＣＰＵ換算数が対象物数以上の場合、１つのフレーム画像の全ての対象物についてＧＰＵを用いて処理する時間は、１つの対象物についてＣＰＵを用いて処理する時間よりも短い。例えば、人体解析処理に割り当てられたＧＰＵのＣＰＵ換算数が対象物数以上の場合、１つのフレーム画像の全ての人体についてＧＰＵを用いて処理する時間は、１つの人体についてＣＰＵを用いて処理する時間よりも短い。したがって、その解析処理については、ＧＰＵだけを用いて処理した方が早い。したがって、上述した条件では、ＧＰＵが割り当てられた解析処理をＣＰＵの割り当て対象から除外する。

【0082】

割当変更部２４０は、ＣＰＵ割当て対象の解析処理に割り当てるＣＰＵの割当資源量を決定する（ステップＳ２１０）。具体的には、割当変更部２４０は、仮想ＣＰＵコア総数と、各解析処理の処理必要時間とに基づいて、各解析処理に割り当てるＣＰＵコア数を決定する。ここで、「仮想ＣＰＵコア総数」とは、ＧＰＵのＣＰＵ換算数（換算資源量）とＣＰＵコア数（第１の計算資源の量）との合計である。さらに具体的には、割当変更部２４０は、各解析処理の処理必要時間の比と仮想ＣＰＵコア総数とに応じて各解析処理の割当資源量（ＣＰＵコア数）を決定する。

【0083】

ここで、図１１の例において、ＣＰＵコア数をＲｃ、ＧＰＵの数を１個とする。また、人体解析処理にＧＰＵが割り当てられると決定されたとする。このとき、仮想ＣＰＵコア総数Ｒｖは、Ｒｖ＝Ｒｃ＋（Ｔｂｃ／Ｔｂｇ）と算出される。また、顔解析処理のＣＰＵの処理必要時間と人体解析処理のＣＰＵの処理必要時間との比は、Ｔｆｃ×Ｍ：Ｔｂｃ×Ｎである。このとき、顔解析処理に割り当てられる仮想ＣＰＵコア数は、Ｒｖ＿ｆ＝Ｒｖ×（Ｔｆｃ×Ｍ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）と算出される。また、人体解析処理に割り当てられる仮想ＣＰＵコア数は、Ｒｖ＿ｂ＝Ｒｖ×（Ｔｂｃ×Ｎ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）と算出される。なお、算出された値が整数でない場合、算出された値に最も近い整数が、割り当てられる資源量（仮想ＣＰＵコア数）として決定される。

【0084】

そして、割当変更部２４０は、各解析処理について、割り当てられる仮想ＣＰＵコア数から割り当てられるＧＰＵのＣＰＵ換算数を減算した値を、その解析処理に割り当てられるＣＰＵコア数と決定する。上記の例では、顔解析処理にＧＰＵが割り当てられないので、割当変更部２４０は、顔解析処理に割り当てられるＣＰＵコア数を、Ｒｖ＿ｆと決定する。また、人体解析処理には１個のＧＰＵが割り当てられるので、割当変更部２４０は、人体解析処理に割り当てられるＣＰＵコア数を、Ｒｖ＿ｂ－（Ｔｂｃ／Ｔｂｇ）と決定する。

【0085】

その後、割当変更部２４０は、各解析処理それぞれの割当資源量を出力する（ステップＳ２１２）。具体的には、割当変更部２４０は、解析処理ごとに、どの計算資源（ＣＰＵ及びＧＰＵ）をそれぞれどれだけ割り当てるかを示す情報を出力する。これにより、資源割当部１１２は、決定された（変更された）割当資源量で、各解析処理に計算資源を割り当てる。これにより、各解析処理に割り当てられる仮想ＣＰＵコア数の比がＣＰＵによる処理必要時間の比に対応するように変更されるので、処理待ちの時間が低減され得る。したがって、スループットが向上し得る。

【0086】

なお、ＧＰＵが複数ある場合、全てのＧＰＵが割り当てられるまで、Ｓ２０４～Ｓ２１０の処理が繰り返されてもよい。この場合、例えばＧＰＵの数が３個であるとき、Ｓ２０４～Ｓ２１０の処理が３回繰り返される。あるいは、全てのＧＰＵが、Ｓ２０６の処理で割り当てられるようにしてもよい。

【0087】

＜第１の具体例＞
上述した実施の形態２に係る処理を、具体的な数値を用いて説明する。ここで、顔解析処理のフレーム処理時間をＴｉｆ＝２０２ｍｓｅｃ、人体解析処理のフレーム処理時間をＴｉｂ＝１００１ｍｓｅｃとする。また、閾値Ｔｔｈ１＝２００ｍｓｅｃとする。また、顔解析処理の平均対象物数をＭ＝１６個、人体解析処理の平均対象物数をＮ＝８個とする。また、顔解析処理の対象物処理時間をＴｆｃ＝５０ｍｓｅｃ／個、人体解析処理の対象物処理時間をＴｂｃ＝２５０ｍｓｅｃ／個とする。したがって、図５に示したＳ１０２～Ｓ１１６の処理の具体例については、上述した実施の形態１の具体例と同じであるので、説明を省略する。

【0088】

アクセラレータ割当決定部２４２は、顔解析処理の対象物（顔）１つあたりの割当資源量を、Ｒｃ＿ｆ／Ｍ＝２／１６＝１／８と算出する。同様に、アクセラレータ割当決定部２４２は、人体解析処理の対象物（人体）１つあたりの割当資源量を、Ｒｃ＿ｂ／Ｎ＝４／８＝１／２と算出する。したがって、１／８＜１／２であるので、アクセラレータ割当決定部２４２は、人体解析処理を選択する（Ｓ２０４）。したがって、アクセラレータ割当決定部２４２は、人体解析処理にＧＰＵを割り当てる（Ｓ２０６）。なお、このことと同義であるが、アクセラレータ割当決定部２４２は、Ｔｆｃ（＝５０）＜Ｔｂｃ（＝２５０）であるから、対象物処理時間が長い人体解析処理に対してＧＰＵを割り当てると決定する（Ｓ２０４，２０６）。

【0089】

また、ＧＰＵによる顔解析処理の対象物処理時間をＴｆｇ＝２５ｍｓｅｃ／個、ＧＰＵによる人体解析処理の対象物処理時間をＴｂｇ＝３１ｍｓｅｃ／個とする。アクセラレータ割当決定部２４２は、人体解析処理に関するＣＰＵ換算数を、Ｔｂｃ／Ｔｂｇ［ＣＰＵ／ＧＰＵ］＝２５０／３１≒８［ＣＰＵ／ＧＰＵ］と算出する。そして、Ｔｂｃ／Ｔｂｇ≒８≧８（＝Ｎ）であるから、アクセラレータ割当決定部２４２は、ＧＰＵが割り当てられた人体解析処理を、ＣＰＵの割り当て対象から除外する（Ｓ２０８）。また、割当変更部２４０は、人体解析処理にＣＰＵを割り当てないので、顔解析処理に全てのＣＰＵコアを割り当てると決定する。つまり、割当変更部２４０は、顔解析処理に、６個のＣＰＵコアを割り当てると決定する（Ｓ２１０）。

【0090】

この場合、割り当て変更後の１フレーム画像あたりの顔解析処理の処理時間は、Ｔｆｃ×Ｍ／Ｒｖ＿ｆ＝５０×１６／６≒１００［ｍｓｅｃ］となる。また、割り当て変更後の１フレーム画像あたりの人体解析処理の処理時間は、Ｔｂｃ×Ｎ／Ｒｖ＿ｂ＝２５０×８／８≒２５０［ｍｓｅｃ］となる。なお、このことは、ＧＰＵについて、Ｔｂｇ×Ｎ／（割り当てられるＧＰＵの個数）＝３１×８／１＝２４８≒２５０を算出することと同義である。したがって、処理待ちの時間は２５０－１００＝１５０ｍｓｅｃとなり、割り当て変更後のスループットは、１０００ｍｓｅｃ／ｍａｘ［１００ｍｓｅｃ，２５０ｍｓｅｃ］≒４フレーム／秒となる。一方、割り当て変更前のスループットは、１０００ｍｓｅｃ／ｍａｘ［２０２ｍｓｅｃ，１００１ｍｓｅｃ］≒１フレーム／秒となる。したがって、割り当ての変更処理を行うことによって、スループットが向上していることが分かる。

【0091】

なお、上述したように、特許文献１の技術では、対象物の数が計算資源の負荷に対応している。したがって、特許文献１の技術を上述した具体例に適用すると、顔解析処理の平均対象物数（１６個）の方が人体解析処理の平均対象物数（８個）よりも多いので、人体解析処理ではなく顔解析処理の方にＧＰＵを割り当ててしまう。しかしながら、上述したように、処理必要時間は人体解析処理の方が顔解析処理よりも長い。したがって、特許文献１の技術では、同一のフレーム画像の解析処理について、顔解析処理が人体解析処理よりもはるかに早く終了してしまい、人体解析処理が終了するまでに長い処理待ちが発生し、スループットを向上させることができないおそれがある。これに対し、実施の形態２では、上述したように、スループットを向上させることが可能となる。

【0092】

＜第２の具体例＞
次に、第２の具体例について説明する。第２の具体例では、Ｓ２０８の処理で人体解析処理をＣＰＵ割り当て対象から除外しない例について説明する。ここで、Ｍ＝１６、Ｎ＝１６とする。なお、Ｔｆｃ＝５０ｍｓｅｃ／個、Ｔｂｃ＝２５０ｍｓｅｃ／個、Ｔｆｇ＝２５ｍｓｅｃ／個、Ｔｂｇ＝３１ｍｓｅｃ／個とする。この場合、ＣＰＵ割当決定部１４２は、顔解析処理の処理必要時間を、Ｔｆｃ×Ｍ＝５０×１６＝８００［ｍｓｅｃ］と算出する（Ｓ２４）。また、ＣＰＵ割当決定部１４２は、人体解析処理の処理必要時間を、Ｔｂｃ×Ｎ＝２５０×１６＝４０００［ｍｓｅｃ］と算出する（Ｓ２４）。また、ＣＰＵ割当決定部１４２は、処理必要時間の比を、Ｔｆｃ×Ｍ：Ｔｂｃ×Ｎ＝８００：４０００＝１：５と算出する。

【0093】

ＣＰＵ割当決定部１４２は、顔解析処理に割り当てられるＣＰＵ資源量を、Ｒｃ＿ｆ＝Ｒｃ×（Ｔｆｃ×Ｍ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）＝６×（１／（１＋５））＝１［個］と算出する。また、ＣＰＵ割当決定部１４２は、人体解析処理に割り当てられる資源量を、Ｒｃ＿ｂ＝Ｒｃ×（Ｔｂｃ×Ｎ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）＝６×（５／（１＋５））＝５［個］と算出する。

【0094】

アクセラレータ割当決定部２４２は、顔解析処理の対象物（顔）１つあたりの割当資源量を、Ｒｃ＿ｆ／Ｍ＝１／１６と算出する。同様に、アクセラレータ割当決定部２４２は、人体解析処理の対象物（人体）１つあたりの割当資源量を、Ｒｃ＿ｂ／Ｎ＝５／１６と算出する。したがって、１／１６＜５／１６であるので、アクセラレータ割当決定部２４２は、人体解析処理を選択する（Ｓ２０４）。したがって、アクセラレータ割当決定部２４２は、人体解析処理にＧＰＵを割り当てる（Ｓ２０６）。

【0095】

アクセラレータ割当決定部２４２は、人体解析処理に関するＣＰＵ換算数を、Ｔｂｃ／Ｔｂｇ［ＣＰＵ／ＧＰＵ］＝２５０／３１≒８［ＣＰＵ／ＧＰＵ］と算出する。そして、Ｔｂｃ／Ｔｂｇ≒８＜１６（＝Ｎ）であるから、アクセラレータ割当決定部２４２は、ＧＰＵが割り当てられた人体解析処理を、ＣＰＵの割り当て対象から除外しない（Ｓ２０８）。

【0096】

このとき、割当変更部２４０は、仮想ＣＰＵコア総数Ｒｖを、Ｒｖ＝Ｒｃ＋（Ｔｂｃ／Ｔｂｇ）＝６＋（２５０／３１）≒６＋８＝１４と算出する。割当変更部２４０は、顔解析処理に割り当てられる仮想ＣＰＵコア数を、Ｒｖ＿ｆ＝Ｒｖ×（Ｔｆｃ×Ｍ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）＝１４×（１／（１＋５））≒２と算出する。ここで、顔解析処理にはＧＰＵが割り当てられないので、割当変更部２４０は、顔解析処理に、２個のＣＰＵコアを割り当てられると決定する（Ｓ２１０）。また、割当変更部２４０は、人体解析処理に割り当てられる仮想ＣＰＵコア数を、Ｒｖ＿ｂ＝Ｒｖ×（Ｔｂｃ×Ｎ）／（Ｔｆｃ×Ｍ＋Ｔｂｃ×Ｎ）＝１４×（５／（１＋５））≒１２と算出する。ここで、人体解析処理には１個のＧＰＵが割り当てられ、Ｔｂｃ／Ｔｂｇ［ＣＰＵ／ＧＰＵ］＝８個であるので、１個のＧＰＵはＣＰＵコアの８個分に対応する。したがって、割当変更部２４０は、人体解析処理に、１個のＧＰＵと、４個（＝１２－８）のＣＰＵコアを割り当てると決定する。

【0097】

この場合、割り当て変更後の１フレーム画像あたりの顔解析処理の処理時間は、Ｔｆｃ×Ｍ／Ｒｖ＿ｆ＝５０×１６／２≒４００［ｍｓｅｃ］となる。また、割り当て変更後の１フレーム画像あたりの人体解析処理の処理時間は、Ｔｂｃ×Ｎ／Ｒｖ＿ｂ＝２５０×８／１２≒１７０［ｍｓｅｃ］となる。したがって、処理待ちの時間は４００－１７０＝２３０ｍｓｅｃとなり、割り当て変更後のスループットは、１０００ｍｓｅｃ／ｍａｘ［４００ｍｓｅｃ，１７０ｍｓｅｃ］＝２．５フレーム／秒となる。一方、割り当て変更前のスループットは、１０００ｍｓｅｃ／ｍａｘ［２０２ｍｓｅｃ，１００１ｍｓｅｃ］≒１フレーム／秒となる。したがって、割り当ての変更処理を行うことによって、スループットが向上していることが分かる。

【0098】

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図５等に示したフローチャートの各処理の順序は、適宜、変更可能である。

【0099】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0100】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0101】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
画像に含まれる複数の種類の対象物ごとに解析処理を並行して実行する解析実行手段と、
複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる資源割当手段と、
同一の前記画像の全体に対する複数の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出する算出手段と、
複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行う割当変更手段と、
を有し、
前記資源割当手段は、前記割当変更手段による前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる、
画像処理装置。
（付記２）
前記割当変更手段は、複数の前記解析処理それぞれによって１つの画像あたりの検出された対象物の数と、複数の前記解析処理それぞれによる対象物の１つあたりの処理時間である第２の処理時間とに基づいて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
付記１に記載の画像処理装置。
（付記３）
前記割当変更手段は、複数の前記解析処理それぞれについて、前記対象物の数と前記第２の処理時間とを用いて算出された、１つの画像に対する前記解析処理それぞれに必要な処理時間である第３の処理時間に基づいて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
付記２に記載の画像処理装置。
（付記４）
前記割当変更手段は、複数の前記解析処理に関する前記第３の処理時間の比に応じて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
付記３に記載の画像処理装置。
（付記５）
複数の前記計算資源は、少なくとも１つの第１の計算資源と、前記第１の計算資源よりも処理能力が高い少なくとも１つの第２の計算資源とを含み、
前記割当変更手段は、前記第１の計算資源及び前記第２の計算資源の割り当てを決定する、
付記１から４のいずれか１項に記載の画像処理装置。
（付記６）
前記割当変更手段は、複数の前記解析処理のうち、前記第１の計算資源を用いて行った複数の前記解析処理それぞれによる対象物の１つあたりの処理時間である第２の処理時間が長い前記解析処理に対して、前記第２の計算資源を割り当てると決定する、
付記５に記載の画像処理装置。
（付記７）
前記割当変更手段は、前記第２の計算資源の量を前記第１の計算資源の量に仮想的に換算した換算資源量と前記第１の計算資源の量との合計と、複数の前記解析処理それぞれについて前記対象物の数と前記第２の処理時間とを用いて算出された１つの画像に対する複数の前記解析処理それぞれに必要な処理時間である第３の処理時間とに基づいて、複数の前記解析処理それぞれに割り当てる前記第１の計算資源の量を決定する、
付記６に記載の画像処理装置。
（付記８）
前記割当変更手段は、前記換算資源量に対応する数が前記第２の計算資源を割り当てると決定された前記解析処理に対応する対象物の数以上となる場合に、当該解析処理に前記第１の計算資源を割り当てないと決定する、
付記７に記載の画像処理装置。
（付記９）
画像に含まれる複数の種類の対象物ごとに実行される解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当て、
前記複数の種類の対象物ごとに解析処理を並行して実行し、
同一の前記画像の全体に対する複数の対象物の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出し、
複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行い、
前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てる、
画像処理方法。
（付記１０）
複数の前記解析処理それぞれによって１つの画像あたりの検出された対象物の数と、複数の前記解析処理それぞれによる対象物の１つあたりの処理時間である第２の処理時間とに基づいて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
付記９に記載の画像処理方法。
（付記１１）
複数の前記解析処理それぞれについて、前記対象物の数と前記第２の処理時間とを用いて算出された、１つの画像に対する前記解析処理それぞれに必要な処理時間である第３の処理時間に基づいて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
付記１０に記載の画像処理方法。
（付記１２）
複数の前記解析処理に関する前記第３の処理時間の比に応じて、複数の前記解析処理それぞれに割り当てる前記計算資源の量を決定する、
付記１１に記載の画像処理方法。
（付記１３）
複数の前記計算資源は、少なくとも１つの第１の計算資源と、前記第１の計算資源よりも処理能力が高い少なくとも１つの第２の計算資源とを含み、
前記第１の計算資源及び前記第２の計算資源の割り当てを決定する、
付記９から１２のいずれか１項に記載の画像処理方法。
（付記１４）
複数の前記解析処理のうち、前記第１の計算資源を用いて行った複数の前記解析処理それぞれによる対象物の１つあたりの処理時間である第２の処理時間が長い前記解析処理に対して、前記第２の計算資源を割り当てると決定する、
付記１３に記載の画像処理方法。
（付記１５）
前記第２の計算資源の量を前記第１の計算資源の量に仮想的に換算した換算資源量と前記第１の計算資源の量との合計と、複数の前記解析処理それぞれについて前記対象物の数と前記第２の処理時間とを用いて算出された１つの画像に対する複数の前記解析処理それぞれに必要な処理時間である第３の処理時間とに基づいて、複数の前記解析処理それぞれに割り当てる前記第１の計算資源の量を決定する、
付記１４に記載の画像処理方法。
（付記１６）
前記換算資源量に対応する数が前記第２の計算資源を割り当てると決定された前記解析処理に対応する対象物の数以上となる場合に、当該解析処理に前記第１の計算資源を割り当てないと決定する、
付記１５に記載の画像処理方法。
（付記１７）
画像に含まれる複数の種類の対象物ごとに実行される解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てるステップと、
前記複数の種類の対象物ごとに解析処理を並行して実行するステップと、
同一の前記画像の全体に対する複数の対象物の前記解析処理それぞれの処理開始時刻から処理終了時刻までの期間である第１の処理時間を算出するステップと、
複数の前記解析処理の間の前記第１の処理時間の差が予め定められた閾値以上となったときに、前記第１の処理時間の差が小さくなるように前記計算資源の割り当ての変更処理を行うステップと、
前記変更処理に応じて、複数の前記解析処理それぞれに対して複数の計算資源の少なくとも１つを割り当てるステップと、
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

【符号の説明】

【0102】

１ 画像処理装置
２ 解析実行部
４ 資源割当部
６ 算出部
８ 割当変更部
２０ 画像処理システム
３０ 撮像装置
１００ 画像処理装置
１０２ 制御部
１０４ 記憶部
１０６ 通信部
１０８ インタフェース部
１１０ 画像取得部
１１２ 資源割当部
１２０ 解析実行部
１２２ 顔解析実行部
１２４ 人体解析実行部
１３０ 解析状況監視部
１３２ 画像処理時間算出部
１３４ 割当変更判定部
１３６ 対象物情報算出部
１４０ 割当変更部
１４２ ＣＰＵ割当決定部
２４０ 割当変更部
２４２ アクセラレータ割当決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】