特開 2021-174147 情報処理装置、情報処理システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-174147(P2021-174147A)

(43)【公開日】2021年11月1日

(54)【発明の名称】情報処理装置、情報処理システムおよびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211004BHJP

   G06N 5/04 20060101ALI20211004BHJP

【ＦＩ】

   G06T7/00 350B

   G06N5/04

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

【全頁数】44

(21)【出願番号】特願2020-76153(P2020-76153)

(22)【出願日】2020年4月22日

(11)【特許番号】特許第6795781号(P6795781)

(45)【特許公報発行日】2020年12月2日

(71)【出願人】

【識別番号】518133201

【氏名又は名称】富士通クライアントコンピューティング株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】特許業務法人扶桑国際特許事務所

(72)【発明者】

【氏名】加藤 圭

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096EA35

5L096FA69

5L096HA08

5L096HA09

5L096KA04

5L096KA15

(57)【要約】

【課題】画像に対して推論処理を実行する効率を高めることができる。
【解決手段】情報処理装置１０は、記憶部２０、画像合成部３０、結果処理部４０を備える。記憶部２０は、切出領域２２ａ，２３ａを定義した合成定義情報２１と、１または複数の画像２２，２３を記憶する。画像合成部３０は、記憶部２０から合成定義情報２１を読み出し、記憶部２０から画像２２，２３を取得し、合成定義情報２１に基づき画像２２，２３から部分を抽出した複数の切出領域２２ａ，２３ａを含む合成画像２４を生成し、合成画像２４を推論処理部５０に送信する。結果処理部４０は、合成画像２４に対して推論処理部５０が推論処理を実行した結果である推論結果６０を受信し、合成定義情報２１に基づき推論結果６０を画像２２，２３の座標に還元して結果情報を求める。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理装置において、
切出領域を定義した合成定義情報と１または複数の画像を記憶した記憶部と、
前記記憶部から前記合成定義情報を読み出し、前記記憶部から前記画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の前記切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信する画像合成部と、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求める結果処理部とを備える、
情報処理装置。

【請求項2】

前記合成定義情報は、
前記画像を識別する画像識別情報と、前記画像における前記切出領域の座標と、前記画像における前記切出領域の大きさと、前記合成画像に含まれる前記切出領域の座標とを含む情報である、
請求項１に記載の情報処理装置。

【請求項3】

前記画像合成部は、
複数の前記画像を取得し、前記画像それぞれから少なくとも１以上の前記切出領域を抽出して前記合成画像を生成し、
前記結果処理部は、
前記推論結果を複数の前記画像ごとに分離した分離結果を生成し、前記分離結果それぞれに対して複数の前記画像ごとの座標に還元して前記結果情報を求める、
請求項１に記載の情報処理装置。

【請求項4】

前記画像合成部は、
複数の前記画像を取得し、前記画像それぞれから少なくとも１以上の前記切出領域を抽出して前記合成画像を生成する際に、
１枚の前記画像と同じサイズの領域に含まれるように前記切出領域それぞれを配置して前記合成画像を生成する、
請求項３に記載の情報処理装置。

【請求項5】

前記結果処理部は、
前記推論結果のうち、前記合成画像に含まれる前記切出領域以外の領域に対する前記推論結果を削除する、
請求項１に記載の情報処理装置。

【請求項6】

前記画像合成部は、
第１の画像と第２の画像それぞれから前記切出領域を抽出して前記合成画像を生成する場合であって、
前記第１の画像を取得した時間から所定の時間内に前記第２の画像を取得できない場合、前記第１の画像から抽出した前記切出領域のみを含む前記合成画像を生成し、前記推論処理部に送信する、
請求項１に記載の情報処理装置。

【請求項7】

前記画像合成部は、
第１の画像から抽出した第１の切出領域と、第２の画像から抽出した第２の切出領域とを含む前記合成画像を生成する場合であって、
前記第１の画像の解像度である第１の解像度が前記第２の画像の解像度である第２の解像度と異なる場合、前記第１の切出領域を前記第２の解像度に応じた倍率に変更し、
前記倍率を変更した前記第１の切出領域と前記第２の切出領域とを含む前記合成画像を生成し、
前記結果処理部は、
前記推論結果を、前記第１の切出領域を抽出した前記第１の画像に対する第１の分離結果と、前記第２の切出領域を抽出した前記第２の画像に対する第２の分離結果に、分離し、
前記第１の分離結果に対して前記第１の画像の座標に還元し、変更した前記倍率を還元して第１の結果情報を求め、
前記第２の分離結果に対して前記第２の画像の座標に還元して第２の結果情報を求める、
請求項１に記載の情報処理装置。

【請求項8】

情報処理装置と推論処理部とを備える情報処理システムであって、
前記情報処理装置は、
切出領域を定義した合成定義情報と１または複数の画像を記憶した記憶部と、
前記記憶部から前記合成定義情報を読み出し、前記記憶部から前記画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の前記切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信する画像合成部と、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求める結果処理部とを備え、
前記推論処理部は、
前記情報処理装置から受信した前記合成画像に対して推論処理を実行し、前記推論結果を前記情報処理装置に送信する、
情報処理システム。

【請求項9】

記憶部から切出領域を定義した合成定義情報を読み出し、前記記憶部から画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信し、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求める、
処理を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システムおよびプログラムに関する。

【背景技術】

【0002】

近年、ＡＩ（Artificial Intelligence）推論処理や画像処理等の負荷の高い演算がコンピュータをベースに実現されている。コンピュータには、例えば、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）といった演算プロセッサが搭載されて高い演算性能が実現される。これらの演算プロセッサを接続するためのインタフェースとしては、大容量のデータを伝送可能なＰＣＩ Ｅｘｐｒｅｓｓ（Peripheral Component Interconnect Express：登録商標）が用いられている。

【0003】

このような高い演算性能を実現するコンピュータを用いて、カメラで撮影した画像に対してＡＩ推論処理（以下、単に推論処理とも記載する。）を実行する際に、演算量が大きくなってもシステム全体のリアルタイム動作を維持する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６５３６７３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このようなコンピュータを用いて、推論処理により画像の解析を行うが、高い演算性能を実現するコンピュータであってもコンピュータリソースには限りがあるため、単位時間あたりに推論処理を実行できる画像のフレーム数に限界がある。

【0006】

また、推論処理を施す画像の解像度を低くした場合、演算量を削減できるものの、推論処理の結果の精度が低下するという問題が生じる。また、推論処理を実行するコンピュータの性能を更に高くして単位時間当たりの演算量を増加した場合、コンピュータに対するコストや消費電力が増加するという問題が生じる。このため、コンピュータの性能や推論処理の結果の精度を維持しつつ、画像に対して推論処理を実行する効率を高める技術が望まれている。

【0007】

１つの側面では、本発明は、画像に対して推論処理を実行する効率を高める情報処理装置、情報処理システムおよびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

１つの案では、次のような情報処理装置が提供される。この情報処理装置は、記憶部と、画像合成部と、結果処理部とを備える。記憶部は、切出領域を定義した合成定義情報と１または複数の画像を記憶する。画像合成部は、記憶部から合成定義情報を読み出し、記憶部から画像を取得し、合成定義情報に基づき画像から部分を抽出した複数の切出領域を含む合成画像を生成し、合成画像を推論処理部に送信する。結果処理部は、合成画像に対して推論処理部が推論処理を実行した結果である推論結果を受信し、合成定義情報に基づき推論結果を画像の座標に還元して結果情報を求める。

【0009】

また、１つの案では、次のような情報処理システムが提供される。この情報処理システムは、情報処理装置と、情報処理装置から受信した合成画像に対して推論処理を実行する推論処理部とを備える。情報処理装置は、記憶部と、画像合成部と、結果処理部とを備える。記憶部は、切出領域を定義した合成定義情報と１または複数の画像を記憶する。画像合成部は、記憶部から合成定義情報を読み出し、記憶部から画像を取得し、合成定義情報に基づき画像から部分を抽出した複数の切出領域を含む合成画像を生成し、合成画像を推論処理部に送信する。結果処理部は、合成画像に対して推論処理部が推論処理を実行した結果である推論結果を受信し、合成定義情報に基づき推論結果を画像の座標に還元して結果情報を求める。推論処理部は、合成画像に対して推論処理を実行し、推論結果を情報処理装置に送信する。

【0010】

また、１つの案では、次のようなプログラムが提供される。このプログラムは、記憶部から切出領域を定義した合成定義情報を読み出し、記憶部から画像を取得し、合成定義情報に基づき画像から部分を抽出した複数の切出領域を含む合成画像を生成し、合成画像を推論処理部に送信し、合成画像に対して推論処理部が推論処理を実行した結果である推論結果を受信し、合成定義情報に基づき推論結果を画像の座標に還元して結果情報を求める、処理を情報処理装置に実行させる。

【発明の効果】

【0011】

一側面によれば、画像に対して推論処理を実行する効率を高めることができる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態の情報処理システムの一例を説明するための図である。

【図2】第２の実施形態の推論システムの全体概要例を示す図である。

【図3】第２の実施形態の情報処理システムのハードウェア構成の一例を示す図である。

【図4】第２の実施形態のプラットフォームのハードウェア構成の一例を示す図である。

【図5】第２の実施形態のＰＣＩｅブリッジコントローラのハードウェア構成の一例を示す図である。

【図6】第２の実施形態の情報処理システムにおける各プラットフォームのソフトウェア構成の一例を示す図である。

【図7】第２の実施形態の情報処理システムにおけるプラットフォーム間における通信処理の一例を説明するための図である。

【図8】第２の実施形態の情報処理システムにおけるＰＣＩｅブリッジコントローラを介したプロセッサ間のデータ転送方法の一例を説明するための図である。

【図9】第２の実施形態の情報処理システムの機能ブロックの一例を示す図である。

【図10】第２の実施形態の画像合成処理イメージを説明するための図である。

【図11】第２の実施形態の誤判定回避処理を説明するための図である。

【図12】第２の実施形態の切出領域の設定を説明するための図である。

【図13】第２の実施形態の合成定義情報の設定を説明するための図である。

【図14】第２の実施形態の合成定義情報の一例を示す図である。

【図15】第２の実施形態の画像合成処理のフローチャートの一例である。

【図16】第２の実施形態の結果分離処理のフローチャートの一例である。

【図17】第３の実施形態の高解像度画像の処理イメージを説明するための図である。

【図18】第３の実施形態の高解像度合成定義情報の一例を示す図である。

【図19】第３の実施形態の高解像度合成定義情報生成処理のフローチャートの一例である。

【図20】第３の実施形態の高解像度画像合成処理のフローチャートの一例である（その１）。

【図21】第３の実施形態の高解像度画像合成処理のフローチャートの一例である（その２）。

【図22】第３の実施形態の高解像度結果処理のフローチャートの一例である。

【発明を実施するための形態】

【0013】

以下、本実施の形態について図面を参照して説明する。
［第１の実施形態］
図１は、第１の実施形態の情報処理システムの一例を説明するための図である。図１に示す情報処理システム１は、情報処理装置１０と、推論処理部５０と、を備える。

【0014】

情報処理装置１０は、記憶部２０と画像合成部３０と結果処理部４０とを備える。記憶部２０は、例えば、ＲＡＭ（Random Access Memory）等の情報処理装置１０が備える記憶装置として実現される。なお、記憶部２０は、ＲＡＭ等の揮発性記憶装置でもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の不揮発性記憶装置でもよい。

【0015】

画像合成部３０と結果処理部４０は、情報処理装置１０が備えるプロセッサが実行するプログラムである。ここでいう「プロセッサ」には、複数のプロセッサの集合（マルチプロセッサ）も含まれ得る。なお、プロセッサは、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ等を含み得る。プロセッサは、ＲＡＭ等のメモリ（例えば、記憶部２０）に記憶されたプログラムを実行する。

【0016】

記憶部２０は、合成定義情報２１と、１または複数の画像２２，２３とを記憶する。合成定義情報２１は、画像合成部３０が切出領域を含む合成画像２４を生成するために用いる情報である。また、合成定義情報２１は、結果処理部４０が合成画像２４に対して推論処理を実行した結果である推論結果を分離するために用いる情報でもある。

【0017】

合成定義情報２１は、少なくとも切出領域２２ａ，２３ａが定義された情報である。例えば、合成定義情報２１は、画像２２，２３を識別する画像識別情報と、画像２２，２３における切出領域２２ａ，２３ａの座標と、画像２２，２３における切出領域２２ａ，２３ａの大きさ（縦、横のサイズ）を含む情報である。更に、合成定義情報２１は、合成画像２４に含まれる切出領域２２ａ，２３ａの座標を含めることもできる。画像２２，２３は、監視カメラ等が撮影した画像データ（以下、単に画像ともいう）である。記憶部２０には、撮影された画像２２，２３が随時蓄積される。切出領域２２ａ，２３ａは、画像２２，２３において推論処理を行う対象となる領域である。

【0018】

画像合成部３０は、記憶部２０から画像２２を取得し、画像２２の部分である切出領域２２ａ（第１の切出領域）を抽出する。画像合成部３０は、記憶部２０から画像２３を取得し、画像２３の部分である切出領域２３ａ（第２の切出領域）を抽出する。画像合成部３０は、切出領域２２ａ，２３ａを含む合成画像２４を生成する。画像合成部３０は、合成定義情報２１に基づいて、画像２２，２３から切出領域２２ａ，２３ａを抽出し、合成画像２４を生成する。画像合成部３０は、生成した合成画像２４を推論処理部５０に送信する。

【0019】

なお、画像合成部３０が取得する画像は、画像２２，２３の２枚（２フレーム）に限るものではなく、１枚（１フレーム）のみでもよいし、３枚以上であってもよい。また、画像合成部３０は、画像２２，２３ごとに１箇所の切出領域２２ａ，２３ａを抽出してもよいし、１枚の画像から複数個所の切出領域を抽出してもよい。

【0020】

推論処理部５０は、受信した合成画像２４に対して推論処理を実行するプログラムである。推論処理部５０は、合成画像２４に限らず、画像２２，２３に対しても推論処理を実行することができる。なお、推論処理部５０は、情報処理装置１０が備えるプロセッサが実行してもよいし、情報処理装置１０とは異なる他の装置が実行してもよい。

【0021】

推論処理部５０は、合成画像２４に対して、人物検出処理、人物特定処理、特徴抽出処理を含む推論処理を行い、合成画像２４に含まれる人物を検出して、人物を検出した座標、人物の特徴情報を推論結果として求める。推論処理部５０は、合成画像２４に対して推論処理を実行し、実行した結果である推論結果６０を結果処理部４０に送信する。

【0022】

結果処理部４０は、合成定義情報２１に基づき、推論結果６０を合成画像２４の生成元の画像の座標に還元して結果情報を求める。また、結果処理部４０は、複数の画像２２，２３から切出領域２２ａ，２３ａを抽出し、合成画像２４を生成した場合、合成画像２４に基づき得られた推論結果６０を、画像２２，２３ごとに分離する。結果処理部４０は、推論結果６０のうち合成画像２４に含まれる切出領域２２ａの領域から得られたものについて、切出領域２２ａの元の画像である画像２２に対する分離結果（第１の分離結果）とする。結果処理部４０は、推論結果６０のうち合成画像２４に含まれる切出領域２３ａの領域から得られたものについて、切出領域２３ａの元のである画像２３に対する分離結果（第２の分離結果）とする。

【0023】

結果処理部４０は、分離結果を画像２２，２３ごとの座標に還元して結果情報を求める。例えば、結果処理部４０は、第１の分離結果を合成画像２４の座標から画像２２の座標に還元して画像２２に対する結果情報（第１の結果情報）を求める。また、結果処理部４０は、第２の分離結果を合成画像２４の座標から画像２３の座標に還元して画像２３に対する結果情報（第２の結果情報）を求める。

【0024】

結果画像２２ｚ，２３ｚは、結果処理部４０が求めた結果情報と画像２２，２３とを併せて表示した画像の一例である。結果画像２２ｚ，２３ｚは、推論結果６０を画像２２，２３ごとに分離し、合成画像２４の座標から画像２２，２３の座標に座標を還元して求めた結果情報を、合成画像２４を生成する元となった画像２２，２３に対して適用した一例である。

【0025】

このように、情報処理システム１において、画像２２，２３から推論処理を行う対象となる切出領域２２ａ，２３ａを抽出し、１枚の合成画像２４を生成し、合成画像２４に対して推論処理を実行し、結果情報を求めることができる。これにより、情報処理システム１において、画像２２，２３それぞれに対して推論処理を実行した場合と同等の推論結果を、合成画像２４に対する推論処理を実行することにより求めることができる。

【0026】

ここで、切出領域について補足説明をする。情報処理システム１は、店舗等の監視に適用するシステムであり、カメラで撮影された画像に基づき、人物の検出や特徴抽出を行い、不審者の判定を行う。このため、画像において、人間が立ち入ることのない場所（棚、壁等）が撮影された領域については、推論処理を実行する必要がない。言い換えると、推論処理部５０が、推論処理を実行すべき対象は、画像のうち人物が含まれる領域（人物が映り込む領域）である。情報処理システム１において、推論処理を実行すべき対象の領域である切出領域を抽出して合成画像とし、合成画像に対して推論処理を実行することで、切出領域を抽出した元の画像に対して推論処理を実行した場合と同等の推論結果を得られる。

【0027】

こうして、情報処理システム１は、情報処理装置１０の性能や推論処理の結果の精度を維持しつつ、画像に対して推論処理を実行する効率を高めることができる。また、合成定義情報２１が、画像２２，２３を識別する画像識別情報と、画像２２，２３における切出領域２２ａ，２３ａの座標と、画像２２，２３における切出領域２２ａ，２３ａの大きさと、合成画像２４に含まれる切出領域２２ａ，２３ａの座標とを含む。これにより、情報処理システム１は、合成定義情報２１を用いて推論処理を実行すべき対象の領域を抽出した合成画像２４を生成でき、合成画像２４に対して推論処理を実行できる。

【0028】

また、画像合成部３０は、複数の画像２２，２３を取得し、画像２２，２３それぞれから少なくとも１以上の切出領域２２ａ，２３ａを抽出して合成画像２４を生成する。また結果処理部４０は、推論結果６０を複数の画像２２，２３ごとに分離した分離結果を生成し、分離結果それぞれに対して複数の画像２２，２３ごとの座標に還元して結果情報を求める。これにより、情報処理システム１は、１枚の合成画像２４に対して推論処理を実行することで、画像２２，２３ごとに推論処理を実行した場合と同等の推論結果６０を得ることができる。

【0029】

また、画像合成部３０は、複数の画像２２，２３を取得し、画像２２，２３それぞれから少なくとも１以上の切出領域２２ａ，２３ａを抽出して合成画像２４を生成する際に、１枚の画像２２と同じサイズの領域に含まれるように切出領域２２ａ，２３ａそれぞれを配置して合成画像２４を生成する。このように、情報処理システム１は、１以上の切出領域２２ａ，２３ａを１枚の画像２２と同じサイズの合成画像２４に含めることで、１枚の画像２２に対して推論処理を実行した場合と同様の処理で（推論処理を実行する対象の画像サイズの変更を行うことなく）推論結果を得られることができる。

【0030】

また、結果処理部４０は、推論結果６０のうち、合成画像２４に含まれる切出領域２２ａ，２３ａ以外の領域に対する推論結果６０を削除する。これにより、情報処理システム１は、推論結果６０から推論処理を実行すべき対象の領域外における誤った判定の結果を削除し、推論結果６０の精度を維持することができる。

【0031】

また、画像合成部３０は、第１の画像（画像２２）と第２の画像（画像２３）それぞれから切出領域２２ａ，２３ａを抽出して合成画像２４を生成する場合であって、第１の画像を取得した時間から所定の時間内に第２の画像を取得できない場合、第１の画像から抽出した切出領域２２ａのみを含む合成画像２４を生成し、推論処理部５０に送信する。これにより、情報処理システム１は、取得した画像２２に基づき合成画像２４を生成し、推論処理部５０に送信する際に、適切な処理速度を保つことができる。

【0032】

また、画像合成部は、第１の画像（画像２２）から抽出した第１の切出領域（切出領域２２ａ）と、第２の画像（画像２３）から抽出した第２の切出領域（切出領域２３ａ）とを含む合成画像２４を生成する場合であって、第１の画像の解像度である第１の解像度が第２の画像の解像度である第２の解像度と異なる場合、第１の切出領域を第２の解像度に応じた倍率に変更し、倍率を変更した第１の切出領域と第２の切出領域とを含む合成画像２４を生成する。また、結果処理部４０は、推論結果６０を、第１の切出領域を抽出した第１の画像に対する第１の分離結果と、第２の切出領域を抽出した第２の画像に対する第２の分離結果に分離し、第１の分離結果に対して第１の画像の座標に還元し、変更した倍率を還元して第１の結果情報を求め、第２の分離結果に対して第２の画像の座標に還元して第２の結果情報を求める。これにより、情報処理システム１は、画像２２，２３の解像度が異なる場合であっても、合成画像２４を生成することができ、合成画像２４に推論処理を実行することにより、画像２２，２３ごとに推論処理を実行した場合と同等の推論結果６０を得ることができる。

【0033】

このように、情報処理システム１における情報処理装置１０は、情報処理装置１０の性能や推論処理の結果の精度を維持しつつ、画像に対して推論処理を実行する効率を高めることができる。

【0034】

［第２の実施形態］
次により具体的な実施形態として推論システムについて説明する。図２は、第２の実施形態の推論システムの全体概要例を示す図である。

【0035】

推論システム１００としては、例えば、小売店等におけるＡＩ推論処理を用いた人物推定を行うシステム等がある。推論システム１００は、画像データ（以下、単に画像ともいう）を収集するカメラ３００−１〜３００−ｎに近いエリアで、情報処理システム２００を用いてデータの処理を行うことで、通信遅延等を抑止してリアルタイム性を確保した処理を実現してもよい。また、推論システム１００は、カメラ３００−１〜３００−ｎが収集した画像データを記憶装置に蓄積し、ネットワークを介して記憶装置から処理対象のデータを取得して情報処理システム２００においてデータの処理を実現してもよい。

【0036】

推論システム１００は、情報処理システム２００と、カメラ３００−１〜３００−ｎとを備える。なお、以下では、カメラ３００−１〜３００−ｎのうちの任意のカメラを指すときはカメラ３００を用いることとする。情報処理システム２００とカメラ３００との間には、ハブが存在する構成であってもよいし、その他の機器を含む構成であってもよい。情報処理システム２００は、第１の実施形態の情報処理システム１の一実施態様である。

【0037】

カメラ３００は、画像データの収集・出力を行うデバイスであり、店舗等の各種施設や屋外（公園、道路等）に配置される。カメラ３００は、例えば、店内の人間を撮影する防犯カメラや、道路を通過する乗物を撮影する監視カメラ等がある。

【0038】

情報処理システム２００は、カメラ３００が収集したデータを集約し、集約したデータを処理するシステムである。情報処理システム２００は、ＡＩ推論処理や画像処理等を実行する高い演算性能を実現するコンピュータである。

【0039】

なお、情報処理システム２００は、データの処理に用いる学習データの作成、提供等を行う装置や、画像データを蓄積した記憶装置とアクセスできるものとする。

【0040】

次に情報処理システムのハードウェア構成について説明する。図３は、第２の実施形態の情報処理システムのハードウェア構成の一例を示す図である。

【0041】

図３に示す情報処理システム２００は、ＰＣＩｅブリッジコントローラ（中継装置ともいう）２３０と、プラットフォーム２１０，２２０−１〜２２０−６とを備える。プラットフォーム２１０は、第１の実施形態の情報処理装置１０の一実施態様である。プラットフォーム２１０は、情報処理システム２００の制御部およびＧＵＩ（Graphical User Interface）として機能するホストコンピュータであり、プラットフォーム２２０−１〜２２０−６は、ＡＩ推論処理や画像処理等を実行する演算部である。なお、プラットフォーム２１０，２２０−１〜２２０−６は、それぞれが異なるプラットフォームであってもよい。なお、以下では、プラットフォーム２１０，２２０−１〜２２０−６のうち任意のプラットフォームを指すときには符号を付与しないで用いることとする。

【0042】

プラットフォームは、ＰＣＩｅブリッジコントローラ２３０に通信可能に接続されている。具体的には、プラットフォーム２１０は、２つのＲＣ（Root Complex）を用いて（例えば、２つのＰＣＩｅインタフェース（接続部ともいう）をＲＣとして機能させて）ＰＣＩｅブリッジコントローラ２３０に搭載されている２つのＥＰ（End Point）と接続されている。ＥＰは、拡張バスの末端機器として認識されるスレイブ側の接続部であり、ＲＣは、ＥＰ側を末端機器として認識して拡張バスを介した通信を制御するマスター側の接続部である。

【0043】

プラットフォーム２１０は、ホストコンピュータとして機能するプラットフォームであるため、データの送受信量が大きくなることが想定されることから２つのＲＣを用いてＰＣＩｅブリッジコントローラ２３０と接続されている。このように２つのＲＣと２つのＥＰとが接続されているため、プラットフォーム２１０は、データの通信経路（即ち、いずれのＲＣ−ＥＰ間で通信するか決定することで）を適切に振り分けることで広い通信帯域の通信を行うことができる。なお、プラットフォーム２１０において、２つのＲＣおよび２つのＥＰを接続する構成は一例であり、その他の個数であってもよい。

【0044】

プラットフォーム２２０−１〜２２０−６は、１つのＲＣを用いてＰＣＩｅブリッジコントローラ２３０に搭載されている１つのＥＰと接続されている。

【0045】

このように情報処理システム２００においては、プラットフォームがホスト側として動作可能なＲＣとなり、ＰＣＩｅブリッジコントローラ２３０がＥＰとなり、データ転送が行われる。

【0046】

プラットフォーム２１０は、プロセッサ２１１を備える。プラットフォーム２２０−１〜２２０−６は、プロセッサ２２１−１〜２２１−６をそれぞれ備える。なお、以下では、プロセッサ２１１，２２１−１〜２２１−６のうち任意のプロセッサを指すときには符号を付与しないで用いることとする。

【0047】

プロセッサは、それぞれ違うメーカ（またはベンダ）から提供されてもよい。例えば、プロセッサ２２１は、Ａ社が提供するものであり、プロセッサ２２１−１は、Ｂ社が提供するものであり、プロセッサ２２１−２は、Ｃ社が提供するものであり、プロセッサ２２１−３は、Ｄ社が提供するものであるものとすることができる。また、プロセッサ２２１−４は、Ｅ社が提供するものであり、プロセッサ２２１−５は、Ｆ社が提供するものであり、プロセッサ２２１−６は、Ｇ社が提供するものであるものとすることができる。

【0048】

プロセッサは、搭載されたプラットフォームを統括的に制御する。プロセッサは、マルチプロセッサであってもよい。プロセッサは、例えば、ＣＰＵ、ＭＰＵ（Micro Processing Unit）、ＤＳＰ、ＡＳＩＣ、またはＰＬＤ（Programmable Logic Device）である。また、プロセッサは、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

【0049】

ＰＣＩｅブリッジコントローラ２３０は、拡張バス（例えば、各プラットフォームの拡張バスとして機能するバス）を有し、拡張バスを介した通信を中継する。

【0050】

次に、プラットフォームのハードウェア構成について説明する。図４は、第２の実施形態のプラットフォームのハードウェア構成の一例を示す図である。

【0051】

プラットフォーム２１０は、プロセッサ２１１と、ディスプレイ２１２と、ＵＳＢ（Universal Serial Bus）インタフェース２１３と、イーサネット（Ethernet：登録商標）インタフェース２１４と、ＤＩＭＭ（Dual Inline Memory Module）２１５と、を備える。また、プラットフォーム２１０は、ＳＳＤ（Solid State Drive）２１６と、ＨＤＤ２１７と、ＴＰＭ（Trusted Platform Module）２１８と、ＰＣＩｅインタフェース２１９ａ，２１９ｂと、を備える。プラットフォーム２１０が有する各構成要素は、バスを介して接続している。

【0052】

プロセッサ２１１は、プラットフォーム２１０全体を統括的に制御する。ディスプレイ２１２は、各種の情報を表示する表示部として機能する。ＵＳＢインタフェース２１３は、ＵＳＢデバイスが接続可能であり、ＵＳＢデバイスとプロセッサ２１１との通信を媒介可能である。なお、ＵＳＢデバイスには、入力装置や記憶装置等がある。イーサネットインタフェース２１４は、イーサネットケーブルが接続可能であり、イーサネットケーブルを介した外部機器とプロセッサ２１１との通信を媒介可能である。

【0053】

ＤＩＭＭ２１５は、各種の情報を一時記憶可能なＲＡＭ等の揮発性の記憶媒体である。ＳＳＤ２１６およびＨＤＤ２１７は、各種の情報を電源断後も記憶可能な不揮発性の記憶媒体である。ＳＳＤ２１６およびＨＤＤ２１７は、プロセッサ２１１が実行する各種のプログラム等の各種の情報を記憶する。ＴＰＭ２１８は、システムのセキュリティ機能を実現するモジュールである。ＰＣＩｅインタフェース２１９ａ，２１９ｂは、拡張バスと接続するための通信インタフェース（即ち、接続インタフェース）である。情報処理システム２００においては、ＰＣＩｅインタフェース２１９ａ，２１９ｂは、ＰＣＩｅブリッジコントローラ２３０と接続され、ＰＣＩｅブリッジコントローラ２３０を介したプラットフォーム２２０−１〜２２０−６との通信を媒介する。なお、以下では、ＰＣＩｅインタフェース２１９ａ，２１９ｂのうち任意のＰＣＩｅインタフェースを指すときにはＰＣＩｅインタフェース２１９を用いることとする。

【0054】

以上のハードウェア構成によってプラットフォーム２１０の処理機能が実現される。なお、プラットフォーム２２０−１〜２２０−６についても同様の構成により各プラットフォームで実行される処理機能を実現することができる。なお、以下では、プラットフォーム２２０−１〜２２０−６についても同様の構成を備えていることとし、プラットフォーム２２０−１〜２２０−６のプロセッサ以外の上記構成要素については上記と同様の符号を用いることとする。

【0055】

次にＰＣＩｅブリッジコントローラ２３０のハードウェア構成について説明する。図５は、第２の実施形態のＰＣＩｅブリッジコントローラのハードウェア構成の一例を示す図である。

【0056】

ＰＣＩｅブリッジコントローラ２３０は、８チャネルのＥＰとして機能する接続インタフェースを１チップ内に有する中継装置である。ＰＣＩｅブリッジコントローラ２３０は、ＣＰＵ２３１と、メモリ２３２と、インターコネクト２３３および複数のスロット（即ち、接続インタフェース）２３４−１〜２３４−８を備える。なお、以下では、スロット２３４−１〜２３４−８のうち任意のスロットを指すときにスロット２３４を用いることとする。

【0057】

スロット２３４−１〜２３４−８にはそれぞれＰＣＩｅの規格を満たすよう構成されたデバイスが接続される。情報処理システム２００においては、スロット２３４−１，２３４−２にプラットフォーム２１０が接続され、スロット２３４−３〜２３４−８のそれぞれにプラットフォーム２２０−１〜２２０−６が接続される。このように、プラットフォーム２１０に対して２つのスロット２３４をアサインすることで、プラットフォーム２１０に広い通信帯域を用いた通信を行わせることを可能としている。

【0058】

なお、以下では、Ｓｌｏｔ＃０にプラットフォーム２１０のＰＣＩｅインタフェース２１９ａが接続され、Ｓｌｏｔ＃１にプラットフォーム２１０のＰＣＩｅインタフェース２１９ｂが接続されているものとする。また、Ｓｌｏｔ＃２にプラットフォーム２２０−１が接続され、Ｓｌｏｔ＃３にプラットフォーム２２０−２が接続され、Ｓｌｏｔ＃４にプラットフォーム２２０−３が接続されているものとする。また、Ｓｌｏｔ＃５にプラットフォーム２２０−４が接続され、Ｓｌｏｔ＃６にプラットフォーム２２０−５が接続され、Ｓｌｏｔ＃７にプラットフォーム２２０−６が接続されているものとする。

【0059】

各スロット２３４は、内部バス（Internal Busともいう）を介してインターコネクト２３３にそれぞれ接続されている。また、インターコネクト２３３にはＣＰＵ２３１およびメモリ２３２が接続されている。これにより、各スロット２３４とＣＰＵ２３１およびメモリ２３２はインターコネクト２３３を介して相互に通信可能に接続されている。

【0060】

メモリ２３２は、例えば、ＲＯＭ（Read Only Memory）およびＲＡＭを含む記憶メモリ（物理メモリ）である。メモリ２３２のＲＯＭには、データ通信制御に係るソフトウェアプログラムやこのプログラム用のデータ類が書き込まれている。メモリ２３２上のソフトウェアプログラムは、ＣＰＵ２３１に適宜読み込まれて実行される。また、メモリ２３２のＲＡＭは、一次記憶メモリあるいはワーキングメモリとして利用される。

【0061】

ＣＰＵ２３１は、ＰＣＩｅブリッジコントローラ２３０全体を制御する。ＣＰＵ２３１は、マルチプロセッサであってもよい。なお、ＣＰＵ２３１に代えてＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか一つが用いられてもよい。また、ＣＰＵ２３１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。

【0062】

そして、ＣＰＵ２３１がメモリ２３２に格納されたソフトウェアプログラムを実行することで、ＰＣＩｅブリッジコントローラ２３０におけるプラットフォーム間（またはプロセッサ間）のデータ転送（即ち、データの送受信）を実現する。

【0063】

ＰＣＩｅブリッジコントローラ２３０は、プラットフォーム間のデータ転送を高速化するためにＰＣＩｅを用い、各プラットフォームに備えられるプロセッサをそれぞれＲＣとして動作させ、デバイスとして動作するＥＰ間でデータ転送を実現している。

【0064】

具体的には、情報処理システム２００においては、各プラットフォームのプロセッサを、データ転送インタフェースとしてＰＣＩｅのＲＣを動作させている。また、各プラットフォーム（またはプロセッサ）に対して、ＰＣＩｅブリッジコントローラ２３０（例えば、各プラットフォームが接続されているスロット２３４）をＥＰとして動作させている。

【0065】

なお、ＰＣＩｅブリッジコントローラ２３０をプロセッサに対してＥＰとして接続する手法としては、既知の種々の手法を用いて実現することができる。例えば、ＰＣＩｅブリッジコントローラ２３０は、プラットフォームとの接続時に、ＥＰとして機能することを示す信号を当該プロセッサに通知することで、ＥＰとしてプロセッサと接続することができる。

【0066】

ＰＣＩｅブリッジコントローラ２３０においてはＥＰｔｏＥＰ（End Point to End Point）でデータをトンネリングさせて、複数のＲＣにデータを転送する。プロセッサ間の通信は、ＰＣＩｅのトランザクションが発生したときに論理的に接続され、１つのプロセッサにデータ転送が集中しないときは、それぞれのプロセッサ間で並行してデータ転送できる。

【0067】

次に、情報処理システム２００のソフトウェア構成について図６を用いて説明する。図６は、第２の実施形態の情報処理システムにおける各プラットフォームのソフトウェア構成の一例を示す図である。なお、図６中においては、便宜上、プラットフォーム２１０，２２０−１，２２０−２のソフトウェア構成のみを図示する。なお、プラットフォーム２２０−１〜２２０−６は、同様の構成である。

【0068】

まずプラットフォーム２１０について説明する。プラットフォーム２１０は、アプリケーション２１０ａと、ドライバ２１０ｃと、ＯＳ（Operating System）２１０ｅと、ＢＩＯＳ（Basic Input Output System）２１０ｆと、を有する。

【0069】

アプリケーション２１０ａは、プラットフォーム２１０で行うＯＳ２１０ｅが提供する機能を利用して各種処理を実行する応用ソフトウェアまたは応用プログラムである。アプリケーション２１０ａは、ＯＳ２１０ｅ上で動作する。プラットフォーム２１０は、アプリケーション２１０ａの制御下で各種処理を行う。

【0070】

プラットフォーム２１０が有するアプリケーション２１０ａとして、店舗監視プログラム２１０ｂがある。店舗監視プログラム２１０ｂは、例えば、推論システム１００を適用した店舗においてカメラ３００が撮影した画像データを用いて店舗を監視するプログラムである。店舗監視プログラム２１０ｂは、カメラ３００が撮影した画像データを取得し、ＡＩ推論処理を実行した結果をディスプレイ２１２に出力する。

【0071】

また、店舗監視プログラム２１０ｂは、画像データをプラットフォーム２１０以外のプラットフォーム２２０−１，２２０−２，…に出力する前に、ＡＩ推論処理を実行する効率を高めるように画像データを加工する処理を行う。

【0072】

なお、プラットフォーム２１０は、アプリケーション２１０ａとして店舗監視プログラム２１０ｂを実行するだけでなく、その他のアプリケーションプログラムも実行することが可能である。

【0073】

ドライバ２１０ｃは、プラットフォーム２１０に搭載されているハードウェア等をＯＳ２１０ｅによって制御可能にするために用意されたソフトウェアである。

【0074】

プラットフォーム２１０が有するドライバ２１０ｃとしては、ブリッジドライバ２１０ｄ１，２１０ｄ２等がある。なお、以下では、ブリッジドライバ２１０ｄ１，２１０ｄ２のうち任意のブリッジドライバを指すときにブリッジドライバ２１０ｃを用いることとする。

【0075】

ブリッジドライバ２１０ｃは、ＰＣＩｅブリッジコントローラ２３０を制御するためのドライバ（言い換えればＰＣＩｅブリッジコントローラ２３０に電気的にアクセスして他のプラットフォームと通信を行うためのドライバ）である。

【0076】

プラットフォーム２１０は、２つのＲＣを用いてＰＣＩｅブリッジコントローラ２３０に搭載されている２つのＥＰと接続しているため、それぞれの接続として機能するＲＣに対応する２つのブリッジドライバ２１０ｃを有している。

【0077】

なお、以下では、ブリッジドライバ２１０ｄ１がＰＣＩｅインタフェース２１９ａに対応するドライバであり、ブリッジドライバ２１０ｄ２がＰＣＩｅインタフェース２１９ｂに対応するドライバであることとする。

【0078】

ＯＳ２１０ｅは、プラットフォーム２１０を動かすための基本ソフトウェアまたは基本プログラムである。ＢＩＯＳ２１０ｆは、プラットフォーム２１０におけるＯＳ２１０ｅの起動を制御するソフトウェアである。プラットフォーム２１０では、例えば、ＢＩＯＳ２１０ｆによってＢｏｏｔｌｏａｄｅｒが起動（または呼び出）され、ＢＩＯＳ２１０ｆによって起動されたＢｏｏｔｌｏａｄｅｒによりＯＳ２１０ｅを検出し、ＯＳ２１０ｅが起動する。

【0079】

次にプラットフォーム２２０−１〜２２０−６について説明する。プラットフォーム２２０−１〜２２０−６は、同様の構成であるので、プラットフォーム２２０−１を例として用いて説明する。プラットフォーム２２０−１は、アプリケーション２２０−１ａと、ドライバ２２０−１ｃと、ＯＳ２２０−１ｅと、Ｂｏｏｔｌｏａｄｅｒ２２０−１ｆと、を有する。

【0080】

アプリケーション２２０−１ａは、プラットフォーム２２０−１で行うＯＳ２２０−１ｅが提供する機能を利用して各種処理を実行する応用ソフトウェアまたは応用プログラムである。アプリケーション２２０−１ａは、ＯＳ２２０−１ｅ上で動作する。プラットフォーム２２０−１は、アプリケーション２２０−１ａの制御下で各種処理を行う。

【0081】

プラットフォーム２２０−１が有するアプリケーション２２０−１ａとしては、ＡＩ推論プログラム２２０−１ｂ等がある。

【0082】

ＡＩ推論プログラム２２０−１ｂは、店舗監視プログラム２１０ｂから受け付けた画像データに対してＡＩ推論処理を実行するプログラムである。

【0083】

なお、プラットフォーム２２０−１は、アプリケーション２２０−１ａとしてＡＩ推論プログラム２２０−１ｂを実行するだけでなく、その他のアプリケーションプログラムも実行することが可能である。

【0084】

ドライバ２２０−１ｃは、プラットフォーム２２０−１に搭載されているハードウェア等をＯＳ２２０−１ｅによって制御可能にするために用意されたソフトウェアである。

【0085】

プラットフォーム２２０−１が有するドライバ２２０−１ｃとしては、ブリッジドライバ２２０−１ｄ等がある。

【0086】

ブリッジドライバ２２０−１ｄは、ＰＣＩｅブリッジコントローラ２３０を制御するためのドライバである。プラットフォーム２２０−１は、１つのＲＣを用いてＰＣＩｅブリッジコントローラ２３０に搭載されている１つのＥＰと接続するため、１つのブリッジドライバ２２０−１ｄを有している。

【0087】

ＯＳ２２０−１ｅは、プラットフォーム２２０−１を動かすための基本ソフトウェアまたは基本プログラムである。Ｂｏｏｔｌｏａｄｅｒ２２０−１ｆは、プラットフォーム２２０−１の起動時に呼び出され、ＯＳ２２０−１ｅを起動するソフトウェアである。プラットフォーム２１０では、例えば、Ｂｏｏｔｌｏａｄｅｒ２２０−１ｆによりＯＳ２１０ｅを検出し、ＯＳ２１０ｅが起動する。

【0088】

次にＰＣＩｅブリッジコントローラ２３０に接続されるプラットフォーム間における通信処理の一例について説明する。図７は、第２の実施形態の情報処理システムにおけるプラットフォーム間における通信処理の一例を説明するための図である。

【0089】

ここではプラットフォーム２１０のプロセッサ２１１と、プラットフォーム２２０−１のプロセッサ２２１−１との間で通信を行う例を用いて説明する。

【0090】

送信元のプラットフォーム２１０は、ＲＣであるプロセッサ２１１において生成したデータを、ソフトウェア，トランザクション層，データリンク層および物理層（ＰＨＹ）に順次転送し、物理層においてＰＣＩｅブリッジコントローラ２３０の物理層に転送する。

【0091】

ＰＣＩｅブリッジコントローラ２３０は、プラットフォーム２１０から転送されたデータを、物理層，データリンク層，トランザクション層およびソフトウェアに順次転送し、プラットフォーム２２０−１のＲＣに対応するＥＰにトンネリングにより転送する。即ち、ＰＣＩｅブリッジコントローラ２３０においては、ＥＰ間でデータをトンネリングさせることで、１つのＲＣ（またはプロセッサ）から他のＲＣ（またはプロセッサ）にデータが転送される。

【0092】

送信先のプラットフォーム２２０−１は、ＰＣＩｅブリッジコントローラ２３０から転送されたデータを、物理層，データリンク層，トランザクション層およびソフトウェアに順次転送し、送信先のプラットフォーム２２０−１のプロセッサ２２１−１に転送する。

【0093】

情報処理システム２００では、プラットフォーム間の通信はＰＣＩｅのトランザクションが発生したときに論理的に接続される。

【0094】

ＰＣＩｅブリッジコントローラ２３０が有する８スロットのうちの一つに接続された特定のプロセッサに対して複数の他のプロセッサからのデータ転送が集中しないときは、異なる任意の複数組のそれぞれのプロセッサ間で並行してデータ転送してもよい。例えば、プロセッサ２２１−１に対して、プロセッサ２２１−２およびプロセッサ２２１−３が通信する場合には、ＰＣＩｅブリッジコントローラ２３０は、プロセッサ２２１−２およびプロセッサ２２１−３による通信をシリアルに処理する。

【0095】

一方、異なるプラットフォームのプロセッサ同士が通信し、特定のプラットフォームのプロセッサに通信が集中しない場合には、ＰＣＩｅブリッジコントローラ２３０は、プラットフォーム間の通信を並行して処理することも可能である。

【0096】

次に、図８を用いて、情報処理システム２００におけるＰＣＩｅブリッジコントローラ２３０を介したプラットフォーム間のデータ転送方法を説明する。図８は、第２の実施形態の情報処理システムにおけるＰＣＩｅブリッジコントローラを介したプロセッサ間のデータ転送方法の一例を説明するための図である。

【0097】

ここではＳｌｏｔ＃０，Ｓｌｏｔ＃１に接続されたプラットフォーム２１０のＳｌｏｔ＃０からＳｌｏｔ＃３に接続されたプラットフォーム２２０−２にデータを転送する場合を例に用いて説明する。

【0098】

送信元のプラットフォーム２１０は、ソフトウェア等によって送信されるデータ（以下、送信データという）を、プラットフォーム２１０に備えられるＨＤＤ２１７等の記憶装置（即ち、ストレージ）からプラットフォーム２１０のＤＩＭＭ２１５等（即ち、物理メモリ）のメモリ領域２１５ａに格納する（Ｐ１０）。メモリ領域２１５ａは、転送されるデータが一時的に格納される通信バッファの一部であってもよい。

【0099】

メモリ領域２１５ａは、プラットフォームそれぞれのＤＩＭＭ２１５等に、同じ大きさで設けられた領域である。メモリ領域２１５ａは、スロット２３４の数に応じて分割されている。メモリ領域２１５ａの分割された記憶領域は、いずれかのスロット２３４に対応付けられている。即ち、各プラットフォームのメモリ領域２１５ａには、Ｓｌｏｔ＃０〜＃７のそれぞれに対応する記憶領域が設けられている。

【0100】

例えば、メモリ領域２１５ａ内のＳｌｏｔ＃０で示す記憶領域は、Ｓｌｏｔ＃０に接続されたプラットフォーム２１０に対応付けられ、Ｓｌｏｔ＃３で示す記憶領域は、Ｓｌｏｔ＃３に接続されたプラットフォーム２２０−２に対応付けられている。プラットフォーム２１０は、メモリ領域２１５ａのうち、送信先のスロット２３４に割り当てられた領域（ここでは、Ｓｌｏｔ＃３）に送信データを格納する。

【0101】

ブリッジドライバ２１０ｄ１は、プラットフォームのメモリ領域２１５ａの記憶領域に基づいて、送信先のスロット２３４を示すスロット情報と、送信先のメモリ領域２１５ａにおける分割領域内におけるアドレスを示すアドレス情報とを取得または生成する（Ｐ１１）。

【0102】

送信元ＥＰにおいて、ブリッジドライバ２１０ｄ１は、スロット情報と、アドレス情報と、送信データとを含む転送データをＰＣＩｅブリッジコントローラ２３０に渡す（Ｐ１２）。これにより、ＰＣＩｅブリッジコントローラ２３０は、スロット情報に基づいてＥＰｔｏＥＰにより送信元のスロット２３４と送信先のスロット２３４とを接続することにより、転送データを送信先のプラットフォーム２２０−２に転送する（Ｐ１３）。送信先のプラットフォーム２２０−２は、スロット情報およびアドレス情報に基づいて、送信先のプラットフォーム２２０−２のメモリ領域２１５ａのＳｌｏｔ＃３に対応する記憶領域内のアドレス情報が示す領域に送信データ（または転送データ）を格納する（Ｐ１４）。

【0103】

送信先のプラットフォーム２２０−２において、例えば、プログラムが、メモリ領域２１５ａに格納された送信データを読み出して、ＤＩＭＭ２１５やＨＤＤ２１７に移動させる（Ｐ１５、Ｐ１６）。

【0104】

以上のようにして、送信元のプラットフォーム２１０から送信先のプラットフォーム２２０−２にデータが転送される。

【0105】

このように情報処理システム２００においては、ＰＣＩｅブリッジコントローラ２３０において、当該ＰＣＩｅブリッジコントローラ２３０内のＥＰ間でデータ転送を媒介する。これにより、ＰＣＩｅブリッジコントローラ２３０に接続された複数のＲＣ間でのデータ転送を実現することができる。

【0106】

即ち、各プロセッサをＰＣＩｅのＲＣとして独立動作させ、ＰＣＩｅブリッジコントローラ２３０において、それぞれのプロセッサに接続するデバイスをＥＰとして接続し、ＥＰ間でデータ転送を行う。これにより、デバイスドライバに起因する問題を回避し、高速データ転送を１つのシステムとして動作させることができる。

【0107】

また、ＰＣＩｅの規格に適合したデータ通信機能を有してさえいれば異なるプロセッサ間でのデータ転送が可能となるため、デバイスドライバの有無や、サポートＯＳ等を気にすることなく使用するプロセッサの選択肢を広げることが可能となる。

【0108】

各プロセッサはＥＰとなるＰＣＩｅブリッジコントローラ２３０を介して接続されるため、ＥＰの先のＲＣのデバイスドライバを追加する必要がない。従って、デバイスドライバの開発が不要であるとともに、デバイスドライバを追加することに起因する不具合が発生することもない。

【0109】

情報処理システム２００においては、ＡＲＭプロセッサやＦＰＧＡ等の一般的なプロセッサはＲＣとして動作することが求められるため、情報処理システム２００のプロセッサとして容易に追加することができる。

【0110】

ＰＣＩｅブリッジコントローラ２３０においては、ＰＣＩｅでの接続および通信がされるので、イーサネットでは実現できない高速転送を実現することができる。また、４Ｋ，８Ｋ等の高精細映像のプロセッサ間送受信、大規模なビッグデータの並列計算等も行うことができる。

【0111】

また、画像処理やデータ検索等の各機能に特化した専用プロセッサを接続することもできるので、安価に機能追加、性能向上を行うことができる。

【0112】

更に、情報処理システム２００を、ＡＩ推論処理や画像処理といった高負荷な演算を用途とするシステムに適用することもできる。

【0113】

次に、情報処理システム２００における機能ブロックについて説明する。図９は、第２の実施形態の情報処理システムの機能ブロックの一例を示す図である。

【0114】

図９に示すプラットフォーム２１０，２２０−１〜２２０−６は、店舗等における監視システムを実現するプログラムを実行する。プラットフォーム２１０，２２０−１〜２２０−６が備える制御部（プロセッサ）が、プログラムを実行する。図９においては、ＰＣＩｅブリッジコントローラ２３０の図示を省略する。また、図９においては、主にアプリケーション２１０ａ，２２０−１ａ，２２０−２ａ，…の機能の説明を行うものとし、その他については説明を適宜省略する。図９において、実線矢印は、画像データおよびその他のデータの流れを示す。また、破線矢印は、画像データ以外のデータの流れを示す。

【0115】

プラットフォーム２１０は、画像取得部２４０、画像合成部２４１、ＡＰＩ部２４３、結果処理部２４４、不審者判定部２４５、表示制御部２４６、キュー２４７，２４８を実現する。プラットフォーム２１０に含まれるこれらのものは、店舗監視プログラム２１０ｂに含まれる機能の一例である。また、プラットフォーム２１０が備えるＨＤＤ２１７やＳＳＤ２１６等の記憶部は、合成定義情報２４２やキュー２４７，２４８に蓄積される情報を記憶する。記憶部は、第１の実施形態の記憶部２０の一実施態様である。画像合成部２４１は、第１の実施形態の画像合成部３０の一実施態様である。結果処理部２４４は、第１の実施形態の結果処理部４０の一実施態様である。

【0116】

画像取得部２４０は、カメラ３００−１，３００−２，…から画像データおよび画像識別情報（画像ＩＤ）を取得する。なお、画像データには、どのカメラ３００−１，３００−２，…が撮影した画像であるかが識別できる画像識別情報が付与されているものとする。画像取得部２４０は、取得した画像データを、取得した順序に従いキュー２４７に蓄積する。

【0117】

画像合成部２４１は、キュー２４７から画像データを取得し、合成定義情報２４２に基づき画像データを合成し、合成画像を生成する。また、画像合成部２４１は、合成画像をＡＰＩ部２４３を介してＡＩ推論処理部２５０に送信する。

【0118】

合成定義情報２４２は、画像合成部２４１が画像を合成して合成画像を生成するために用いる情報である。また、合成定義情報２４２は、結果処理部２４４が合成画像に基づくＡＩ推論処理の結果（以下、推論結果ともいう）を分離するために用いる情報でもある。合成定義情報２４２は、後で図１４を用いて説明する。

【0119】

ＡＰＩ部２４３は、画像合成部２４１から受信した合成画像を、プラットフォーム２２０−１〜２２０−６のいずれかに合成した画像データを送信する。例えば、プラットフォーム２２０−１〜２２０−３がＡＩ推論処理部２５０における人物検出処理２５１を実行するものと予め定められている場合、ＡＰＩ部２４３はプラットフォーム２２０−１〜２２０−３のいずれかに合成画像を送信する。

【0120】

結果処理部２４４は、ＡＩ推論処理部２５０から推論結果を受信し、合成定義情報２４２に基づき推論結果を分離し、次の処理部（不審者判定部２４５）に分離した結果情報を送信する。

【0121】

不審者判定部２４５は、結果処理部２４４から受信した結果情報に基づいて、撮影された人物（画像データに含まれる人物）が不審者であるか否かを判定する。不審者判定部２４５は、結果処理部２４４から受信した結果情報に基づき、撮影された人物が不審者でないと判定した場合、受信した情報を表示制御部２４６に送信する。また、不審者判定部２４５は、撮影された人物が不審者であると判定した場合、受信した結果情報に不審者である旨の情報を付与し、表示制御部２４６に送信する。

【0122】

表示制御部２４６は、不審者判定部２４５から受信した結果情報と、キュー２４８に蓄積された画像データとを対応付け、ディスプレイ２１２に出力する。表示制御部２４６は、画像データに付与されている画像ＩＤと結果情報に付与されている画像ＩＤに基づき、同一の画像ＩＤが付与された画像データと結果情報とを対応付ける。表示制御部２４６は、結果情報に、不審者である旨の情報が付与されている場合、画像データと結果情報と不審者を検知した旨の情報とをディスプレイ２１２に出力する。

【0123】

キュー２４７は、画像取得部２４０から受信した画像データを受信した順に蓄積する。キュー２４７は、ＡＩ推論処理部２５０がＡＩ推論処理を実行する前の画像データを蓄積するキューである。キュー２４７は、画像合成部２４１からの要求に応じて、蓄積した画像データを画像合成部２４１に送信し、キュー２４８にも送信する。

【0124】

キュー２４８は、キュー２４７から受信した画像データを受信した順に蓄積する。表示制御部２４６は、結果情報を不審者判定部２４５から受信し、結果情報に対応する画像データ（結果情報に付与された画像ＩＤと同一の画像ＩＤが付与された画像データ）をキュー２４８に要求する。キュー２４８は、表示制御部２４６からの要求に応じて、蓄積した画像データを表示制御部２４６に送信する。

【0125】

プラットフォーム２２０−１〜２２０−６は、ＡＩ推論処理部２５０を実現する。ＡＩ推論処理部２５０は、ＡＩ推論プログラム２２０−１ｂ，２２０−２ｂ，…の機能の一例である。ＡＩ推論処理部２５０は、店舗等における監視のために、ＡＰＩ部２４３から受信した合成画像に対してＡＩ推論処理を実行するプログラムである。ＡＩ推論処理は、人物検出処理２５１、人物特定処理２５２、特徴抽出処理２５３の３つの処理で実現するものである。ＡＩ推論処理部２５０は、第１の実施形態の推論処理部５０の一実施態様である。

【0126】

ＡＩ推論処理は、分散して実行される。例えば、プラットフォーム２２０−１〜２２０−３が人物検出処理２５１を実行し、プラットフォーム２２０−４〜２２０−５が人物特定処理２５２を実行し、プラットフォーム２２０−６が特徴抽出処理２５３を実行する。なお、プラットフォーム２２０−１〜２２０−６は、処理負荷に応じた分散処理を行うことも可能である。

【0127】

人物検出処理２５１は、ＡＰＩ部２４３から受信した合成画像から、人物を検出し、人物の座標を特定する。人物特定処理２５２は、人物検出処理２５１において特定した人物に対して識別する情報（人物識別情報）を付与する。特徴抽出処理２５３は、人物特定処理２５２において識別情報を付与した人物に対し、人物の特徴（年齢、性別等）を求め、人物識別情報と対応付ける。

【0128】

ＡＩ推論処理部２５０は、人物検出処理２５１、人物特定処理２５２、特徴抽出処理２５３を実行した結果に基づき、人物識別情報に人物の座標と人物の特徴を対応付け、推論結果として結果処理部２４４に送信する。

【0129】

ディスプレイ２１２は、表示制御部２４６からの指示に基づき、画像データと結果情報を表示する。例えば、ディスプレイ２１２は、画像データに含まれる人物を人物の座標に基づき黒色の矩形枠で囲み、人物識別情報および特徴を文字情報で表記した画像を表示する。また、ディスプレイ２１２は、画像データと結果情報と不審者を検知した旨の情報を受信した場合、不審者と認識された人物を他の人物と区別して強調表示（赤色の矩形枠で囲み表示）し、不審者である旨の情報を文字情報で表記した画像を表示する。

【0130】

次に、情報処理システム２００における画像処理イメージについて説明する。図１０は、第２の実施形態の画像合成処理イメージを説明するための図である。

【0131】

図１０（Ａ）は、情報処理システム２００における画像処理イメージの一例である。元画像４００と元画像４０１は、画像合成部２４１によってキュー２４７から取得された画像である。切出領域４００ａは、元画像４００の一部分の画像である。切出領域４０１ａは、元画像４０１の一部分の画像である。なお、以下では、任意の切出領域を指すときは、符号を付与しないで用いることとする。

【0132】

ここで、切出領域について説明する。切出領域は、画像データにおいて、ＡＩ推論処理を行う対象となる領域である。情報処理システム２００は、店舗等の監視を行うため、店舗等における人物を検出し特徴の抽出を行い、不審者の判定を行う。このため、画像データにおいて、人間が立ち入ることのない場所（棚、壁、窓等）が撮影された領域については、ＡＩ推論処理を実行する必要がない。言い換えると、ＡＩ推論処理を実行すべき対象は、画像データのうち人間が含まれる領域である。

【0133】

情報処理システム２００において、複数の画像データから人間が映り込む領域を切出領域として抽出し、抽出した切出領域を１枚に合成した画像（合成画像）にＡＩ推論処理を実行する。これにより、情報処理システム２００は、複数の画像データそれぞれに対してＡＩ推論処理を実行した場合と同等の推論結果を１枚の合成画像に対するＡＩ推論処理の推論結果から得ることができる。

【0134】

画像合成部２４１は、合成定義情報２４２に基づき画像データに対して画像合成処理を実行する。画像合成部２４１は、キュー２４７から取得した元画像４００，４０１それぞれから切出領域４００ａ，４０１ａを抽出し、１枚の合成画像４０２を生成する。画像合成部２４１は、ＡＰＩ部２４３を介して合成画像４０２をＡＩ推論処理部２５０に送信する。

【0135】

ＡＩ推論処理部２５０は、合成画像４０２を受信し、合成画像４０２に対してＡＩ推論処理を実行する。ＡＩ推論処理部２５０は、ＡＩ推論処理を行った推論結果を結果処理部２４４に送信する。

【0136】

結果処理部２４４は、合成定義情報２４２に基づき推論結果を分離する。結果処理部２４４は、推論結果を分離した結果情報を不審者判定部２４５に送信する。不審者判定部２４５は、受信した結果情報を表示制御部２４６に送信する。表示制御部２４６は、結果情報と対応する画像データとをディスプレイ２１２に表示させる。

【0137】

ディスプレイ２１２が表示する画像の一例が、結果画像４００ｚ，４０１ｚである。結果画像４００ｚは、元画像４００と、合成画像４０２の推論結果から切出領域４００ａに対する推論結果を分離した結果情報とを合わせたものである。結果画像４０１ｚは、元画像４０１と、合成画像４０２の推論結果から切出領域４０１ａに対する推論結果を分離した結果情報とを合わせたものである。

【0138】

このように、情報処理システム２００において、合成画像にＡＩ推論処理を実行することにより、１枚の画像データに対するＡＩ推論処理で、複数の画像データに対してＡＩ推論処理を実行した場合と同等の結果を得ることができる。

【0139】

図１０（Ｂ）は、１枚の画像データから複数の切出領域を取得する場合の画像処理イメージの一例である。なお、図１０（Ａ）においては、１枚の画像データから１箇所の切出領域を抽出した例を示したが、切出領域の数は１箇所に限られるものではない。また、図１０（Ａ）と同様の内容については適宜説明を省略する。

【0140】

元画像４０５と元画像４０６は、画像合成部２４１によってキュー２４７から取得された画像である。切出領域４０５ａ，４０５ｂ，４０５ｃは、元画像４０５の一部分であり、元画像４０５においてＡＩ推論処理を行う対象となる領域である。切出領域４０６ａ，４０６ｂは、元画像４０６の一部分であり、元画像４０６においてＡＩ推論処理を行う対象となる領域である。

【0141】

合成画像４０７は、切出領域４０５ａ，４０５ｂ，４０５ｃと切出領域４０６ａ，４０６ｂとを組み合わせて１枚の画像としたものである。ＡＩ推論処理部２５０は、合成画像４０７に対してＡＩ推論処理を実行し、推論結果を求める。

【0142】

結果処理部２４４は、ＡＩ推論処理部２５０から推論結果を受信し、推論結果を分離する。例えば、結果処理部２４４が、推論結果として、ＩＲ−１Ａ，ＩＲ−１Ｂ，ＩＲ−１Ｃ，ＩＲ−２Ａ，ＩＲ−２Ｂの５つの結果を得た場合について説明する。推論結果は、推論結果に含まれる座標に基づき、切出領域と対応付けられるものとする。切出領域４０５ａに対する推論結果がＩＲ−１Ａであり、切出領域４０５ｂに対する推論結果がＩＲ−１Ｂであり、切出領域４０５ｃに対する推論結果がＩＲ−１Ｃであるものとする。また、切出領域４０６ａに対する推論結果がＩＲ−２Ａであり、切出領域４０６ｂに対する推論結果がＩＲ−２Ｂであるものとする。

【0143】

結果処理部２４４は、推論結果ＩＲ−１Ａ，ＩＲ−１Ｂ，ＩＲ−１Ｃを、元画像４０５に対する推論結果とし、推論結果ＩＲ−２Ａ，ＩＲ−２Ｂを元画像４０６に対する推論結果として分離する。結果処理部２４４は、推論結果を分離した結果情報を不審者判定部２４５に送信する。表示制御部２４６は、不審者判定部２４５を介して結果情報を受信し、キュー２４８から元画像４０５，４０６を取得し、ディスプレイ２１２に表示指示を行う。

【0144】

ディスプレイ２１２は、推論結果ＩＲ−１Ａ，ＩＲ−１Ｂ，ＩＲ−１Ｃと元画像４０５とを含む結果画像４０５ｚを表示する。また、ディスプレイ２１２は、推論結果ＩＲ−２Ａ，ＩＲ−２Ｂと元画像４０６とを含む結果画像４０６ｚを表示する。

【0145】

ディスプレイ２１２を目視する管理者等は、元画像４０５に対したＡＩ推論処理を行った結果として結果画像４０５ｚを認識し、元画像４０６に対したＡＩ推論処理を行った結果として結果画像４０６ｚを認識できる。

【0146】

このように、情報処理システム２００は、複数の切出領域を合成画像に含める場合に、切出領域を左右水平方向に並べて配置するのみではなく、切出領域の形状や大きさに応じて座標を調整して１枚の合成画像に含めるように配置させることができる。

【0147】

情報処理システム２００は、１枚の元画像と同等のサイズの合成画像に複数の切出領域を含めるように配置位置を最適化することで、ＡＩ推論処理の対象とする合成画像の枚数を減らしＡＩ推論処理の効率化を図ることができる。

【0148】

次に、情報処理システム２００における誤判定回避処理について説明する。図１１は、第２の実施形態の誤判定回避処理を説明するための図である。

【0149】

図１１は、情報処理システム２００における結果処理部２４４が実行する誤判定回避処理を説明するための図である。図１１の説明において、図１０（Ａ）と同様の内容については適宜説明を省略する。

【0150】

ＡＩ推論処理部２５０が、合成画像４０２に対してＡＩ推論処理を実行した場合、合成画像４０２に含まれる切出領域４００ａ，４０１ａを跨ぐように、切出領域４００ａ，４０１ａの範囲外の人物が存在しない部分について人物が検出される場合がある。

【0151】

例えば、ＡＩ推論処理部２５０が、合成画像４０２に対してＡＩ推論処理を実行し、人物を検出した領域として人物検出領域４０８ａ，４０８ｂ，４０８ｃの３つの結果が得られる場合がある。これは、ＡＩ推論処理部２５０が、切出領域４００ａ，４０１ａの継ぎ目の部分を人物として誤判定し、人物検出領域４０８ｂとして推論結果を出した例である。なお、以下では、任意の人物検出領域を指すときは、符号を付与しないで用いることとする。また、人物検出領域について、検出した人物の画像を囲む点線で描いた矩形の領域として図示するが、その他の形状であってもよい。

【0152】

結果処理部２４４は、ＡＩ推論処理部２５０による誤判定を回避するため、推論結果として得られた人物検出領域が、合成画像を構成する切出領域それぞれの座標の領域内に含まれるか否かを判定し、含まれない場合には誤判定として推論結果を削除する。

【0153】

結果処理部２４４は、人物検出領域４０８ａについて、切出領域４００ａの範囲内にあると判定した場合、人物検出領域４０８ａを切出領域４００ａの推論結果として反映する。結果処理部２４４は、人物検出領域４０８ｂについて、切出領域４００ａ，４０１ａそれぞれの範囲内にないと判定した場合、人物検出領域４０８ｂを推論結果から削除する。

【0154】

結果処理部２４４は、人物検出領域４０８ｃについて、切出領域４０１ａの範囲内にあると判定した場合、人物検出領域４０８ｃを切出領域４０１ａの推論結果として反映する。

【0155】

このように、結果処理部２４４は、推論結果に含まれる人物検出領域が、合成画像を構成する各切出領域の範囲内に含まれているか否かを判定し、各切出領域の範囲内に含まれない場合は人物検出領域を誤判定として削除する。また、結果処理部２４４は、削除した人物検出領域に関連する情報（人物識別情報や人物の特徴）も合わせて削除する。これにより、情報処理システム２００において、合成画像をＡＩ推論処理の対象とすることにより発生する誤判定を低減させることができる。

【0156】

なお、結果処理部２４４は、人物検出領域４０８ａ，４０８ｂ，４０８ｃが、切出領域４００ａ，４０１ａのいずれかの範囲内にあるか否かを判定するにあたり、所定のマージンを取って計算してもよい。例えば、マージンとして、２０ピクセル等の所定の値や、切出領域４００ａ，４０１ａそれぞれの幅の５％等を設定してもよい。結果処理部２４４は、マージンを設けることにより、切出領域４００ａ，４０１ａの端部に存在する人物の検出漏れを低減させることができる。

【0157】

次に、情報処理システム２００における切出領域の設定について説明する。図１２は、第２の実施形態の切出領域の設定を説明するための図である。

【0158】

図１２（Ａ）は、カメラ３００で撮影した画像であり、切出領域を設定する基準画像４１０の一例である。基準画像４１０は、切出領域を設定する基準となる画像であり、監視対象物（人物）が映り込まない画像である。なお、基準画像４１０は、画像の中央に店舗の床が映り、画像の左右両側に店舗の棚が映る画像であるが、この画像は一例に過ぎず、カメラ３００の配置に応じて映り込む背景が異なる。

【0159】

図１２（Ｂ）は、人物軌跡蓄積画像４１１の一例である。人物軌跡蓄積画像４１１は、カメラ３００が店舗を移動する人物を撮影した画像に基づき、人物と人物を囲む人物検出領域を蓄積した画像である。人物軌跡蓄積画像４１１を用いて、人物および人物検出領域の軌跡を特定し、基準画像４１０において人物および人物検出領域を含む領域（座標）を特定する。

【0160】

図１２（Ｃ）は、床軌跡領域イメージ４１２の一例である。床軌跡領域イメージ４１２は、基準画像４１０に対して床幅４１３ａ、軌跡幅４１３ｂ、切出幅４１３ｃを示したものである。床幅４１３ａは、基準画像４１０に映る床の幅である。軌跡幅４１３ｂは、人物軌跡蓄積画像４１１から求めた人物および人物検出領域の軌跡が映る幅である。切出幅４１３ｃは、軌跡幅４１３ｂにマージンを加えた幅である。ここでのマージンとは、軌跡幅４１３ｂに対する所定割合（２０％）の値である。

【0161】

図１２（Ｄ）は、基準画像４１０に対して切出領域４１４を設定した一例である。切出領域４１４は、切出幅４１３ｃを囲む矩形の領域として設定する。なお、切出領域４１４を矩形の領域とするのは一例に過ぎず、切出幅４１３ｃに沿った形状（台形）の領域であってもよいし、その他の形状の領域であってもよい。

【0162】

なお、情報処理システム２００において、切出領域はカメラ３００ごとに定めるものであり、カメラ３００ごとの基準画像４１０および人物軌跡蓄積画像４１１を用いる。また、切出領域は、システム管理者等の人間が手作業で設定してもよいし、切出領域を設定する機能を備えるプログラムを用いて実現してもよい。

【0163】

次に、情報処理システム２００における合成定義情報の設定について説明する。図１３は、第２の実施形態の合成定義情報の設定を説明するための図である。

【0164】

図１３は、合成画像４２２を生成するための合成定義情報の設定を説明するための図である。合成画像４２２は、切出領域４２０ａと切出領域４２１ａとを合成して生成された画像である。

【0165】

切出領域４２０ａは、元画像４２０に設定された領域である。元画像４２０を識別する情報（画像ＩＤ）は、「Ｃ１０１」であるものとする。切出領域４２０ａは、矩形の領域であり、矩形の左上端点を基準点４２０ｂとする。基準点４２０ｂの座標（Ｘ座標，Ｙ座標）は、（２００，０）であるものとする。切出領域４２０ａは、幅が（６００）、高さが（７２０）であるものとする。なお、画像や切出領域の座標や大きさとして付与する数値の単位はピクセルとし、以下の説明も同様とする。

【0166】

切出領域４２１ａは、元画像４２１に設定された領域である。元画像４２１を識別する情報（画像ＩＤ）は、「Ｃ２０１」であるものとする。切出領域４２１ａは、矩形の領域であり、矩形の左上端点を基準点４２１ｂとする。基準点４２１ｂの座標（Ｘ座標，Ｙ座標）は、（２０１，３）であるものとする。切出領域４２１ａは、幅が（６２０）、高さが（７１０）であるものとする。

【0167】

合成画像４２２は、切出領域４２０ａ，４２１ａをベース画像に張り付けることで合成した画像である。ベース画像は、切出領域を張り付ける対象とする画像であり、黒一色の画像である。合成画像４２２は、ベース画像のサイズよりも切出領域４２０ａ，４２１ａのサイズが小さい場合、差分の領域にベース画像の黒色が表示される。なお、ベース画像について、色を黒色とするのは一例に過ぎず、他の色でもよい。

【0168】

合成画像４２２において、切出領域４２０ａ，４２１ａを張り付ける位置は、合成画像４２２における座標で定める。例えば、切出領域４２０ａを合成画像４２２へ合成する場合、基準点４２０ｂが合成点４２２ａの位置へ移動する。合成点４２２ａの座標（Ｘ座標，Ｙ座標）は、（０，０）であるものとする。また、切出領域４２１ａを合成画像４２２へ合成する場合、基準点４２１ｂが合成点４２２ｂの位置へ移動する。合成点４２２ｂの座標（Ｘ座標，Ｙ座標）は、（６００，０）であるものとする。

【0169】

次に、情報処理システム２００における合成定義情報について説明する。図１４は、第２の実施形態の合成定義情報の一例を示す図である。

【0170】

合成定義情報２４２は、合成画像を生成するための情報である。また、合成定義情報２４２は、合成画像に基づくＡＩ推論処理の結果（以下、推論結果とも記載する）を分離するための情報でもある。合成定義情報２４２は、プラットフォーム２１０の記憶部に記憶される情報である。なお、合成定義情報２４２は、システム管理者等が作成してもよい。また、画像合成部２４１が、合成定義情報２４２を生成する機能を備え、合成定義情報２４２を生成してもよい。

【0171】

合成定義情報２４２は、定義ＩＤ、画像ＩＤ、切出領域ＩＤ、元画像座標情報、オフセット座標の項目を含む。定義ＩＤの項目には、合成定義情報２４２に含まれるエントリを識別する識別情報（定義ＩＤ）が登録される。定義ＩＤで示すエントリは、合成対象とする画像ＩＤおよび切出領域ＩＤを含む。

【0172】

画像ＩＤの項目には、画像を識別する識別情報（画像ＩＤ）が登録される。画像ＩＤで示す画像とは、切出領域を抽出する対象である元画像である。また、画像ＩＤによって、どのカメラ３００が撮影した画像であるかを区別することができる。例えば、画像ＩＤの先頭が「Ｃ１」である場合、カメラ３００−１が撮影した画像であり、画像ＩＤの先頭が「Ｃ２」である場合、カメラ３００−２が撮影した画像であるものとする。切出領域ＩＤの項目には、切出領域を識別する識別情報（切出領域ＩＤ）が登録される。

【0173】

ここで、画像ＩＤと切出領域ＩＤとの対応関係について説明する。例えば、定義ＩＤ「Ｔ１」のエントリにおいては、画像ＩＤと切出領域ＩＤが１対１に対応する。定義ＩＤ「Ｔ１」のエントリは、図１０（Ａ）のように１枚の元画像から１箇所の切出領域を抽出する場合の一例である。

【0174】

また、定義ＩＤ「Ｔ２」のエントリにおいては、画像ＩＤと切出領域ＩＤが１対多に対応する。定義ＩＤ「Ｔ２」のエントリは、図１０（Ｂ）のように、１枚の元画像から複数個所の切出領域を抽出する場合の一例である。

【0175】

元画像座標情報の項目には、基準点Ｘ座標、基準点Ｙ座標、切出領域の幅、切出領域の高さが登録される。なお、基準点とは、図１３における説明のとおり、切出領域の左上端点である。

【0176】

オフセット座標の項目には、合成点Ｘ座標、合成点Ｙ座標が登録される。なお、合成点とは、図１３における説明のとおり、合成画像における切出領域の左上端点である。

【0177】

ここで、定義ＩＤ「ＴＩ」のエントリについて説明する。定義ＩＤ「ＴＩ」のエントリは、画像ＩＤ「Ｃ１××」および切出領域ＩＤ「Ｃ１Ｅ０１」を含むエントリと、画像ＩＤ「Ｃ２××」および切出領域ＩＤ「Ｃ２Ｅ０１」を含むエントリとを含む。なお、「××」は任意の数字であり、以下も同様とする。

【0178】

また、切出領域ＩＤ「Ｃ１Ｅ０１」のエントリには、元画像座標情報が（２００，０，６００，７１９）、オフセット座標が（０，０）という情報が登録される。切出領域ＩＤ「Ｃ２Ｅ０１」のエントリには、元画像座標情報が（２０１，３，６２０，７１０）、オフセット座標が（６００，０）という情報が登録される。

【0179】

定義ＩＤ「Ｔ１」は、カメラ３００−１が撮影する画像（画像ＩＤ「Ｃ１××」）から抽出した切出領域（切出領域ＩＤ「Ｃ１Ｅ０１」）と、カメラ３００−２が撮影する画像（画像ＩＤ「Ｃ２××」）から抽出した切出領域（切出領域ＩＤ「Ｃ２Ｅ０１」）とを合成することを示す。

【0180】

また、切出領域ＩＤ「Ｃ１Ｅ０１」は、基準点座標が（２００，０）であり、幅が「６００」、高さが「７１９」の領域であり、合成点座標が（０，０）であることを示す。また、切出領域ＩＤ「Ｃ２Ｅ０１」は、基準点座標が（２０１，３）であり、幅が「６２０」、高さが「７１０」の領域であり、合成点座標が（６００，０）であることを示す。

【0181】

このように、合成定義情報２４２は、画像合成処理を行う対象となる画像の組み合わせと、カメラごとに定めた切出領域の座標と、画像合成処理を行った後の切出領域の座標とを定める。画像合成部２４１は、合成定義情報２４２を用いて画像合成処理を実行する。また、結果処理部２４４は、ＡＩ推論処理部２５０から受信した推論結果を、合成定義情報２４２を用いて元画像と対応付けて分離する。

【0182】

次に、画像合成部２４１が実行する画像合成処理について説明する。図１５は、第２の実施形態の画像合成処理のフローチャートの一例である。

【0183】

画像合成処理は、画像合成部２４１が、合成定義情報２４２を読み出し、キュー２４７から画像を取得して合成画像を生成し、ＡＰＩ部２４３を介してＡＩ推論処理部２５０に合成画像を送信する処理である。プラットフォーム２１０の制御部（プロセッサ２１１）が画像合成部２４１を実行する。

【0184】

［ステップＳ１１］画像合成部２４１は、情報処理システム２００の起動後、合成定義情報２４２を記憶部から読み出す。

【0185】

［ステップＳ１２］画像合成部２４１は、合成定義情報２４２に基づき、キュー２４７から画像を取得する。本ステップにおける画像とは、画像合成処理を実行する対象とする画像であり、切出領域を抽出する元となる画像（元画像）を意味する。画像合成部２４１は、合成定義情報２４２に含まれる画像ＩＤに基づき、キュー２４７から画像を取得する。なお、画像合成部２４１は、キュー２４７に格納された順序に従って画像を取得してもよいし、合成定義情報２４２の定義内容に基づいてキュー２４７から画像を取得してもよい。

【0186】

［ステップＳ１３］画像合成部２４１は、合成定義情報２４２に基づき、全ての合成対象の画像を取得したか否かを判定する。画像合成部２４１は、全ての合成対象の画像を取得したか否かについて、合成定義情報２４２の定義ＩＤで識別するエントリごとに判定する。ここで、合成定義情報２４２の定義ＩＤ「ＴＩ」を例に説明する。定義ＩＤ「ＴＩ」のエントリについて全ての合成対象の画像とは、定義ＩＤ「ＴＩ」のエントリに含まれる、画像ＩＤが「Ｃ１××」の画像と、画像ＩＤが「Ｃ２××」の画像の２枚の画像を意味する。

【0187】

画像合成部２４１は、全ての合成対象の画像を取得した場合、ステップＳ１６にすすむ。画像合成部２４１は、全ての合成対象の画像を取得していない場合、ステップＳ１４にすすむ。

【0188】

［ステップＳ１４］画像合成部２４１は、ステップＳ１２で画像を取得してから所定時間以内（例えば、２００ミリ秒以内）であるか否かを判定する。画像合成部２４１は、所定時間以内である場合はステップＳ１５にすすみ、所定時間以内でない場合はステップＳ１６にすすむ。

【0189】

ここで、本ステップについて補足説明する。情報処理システム２００は、店舗等の監視を行うものであり、店舗内の人物を適切に監視可能な程度の処理速度が要求されるシステムである。しかし、合成対象の全ての画像が揃うまでに長時間が経過する場合、適切に監視可能な処理速度を保つことが難しい状態となる。このため、画像合成部２４１は、本ステップにおいて所定時間以内であるかを判定し、所定時間が経過した場合に次の処理にすすむことで、適切な処理速度を保つ。

【0190】

［ステップＳ１５］画像合成部２４１は、取得できていないカメラ３００の画像を再取得する。言い換えると、画像合成部２４１は、合成定義情報２４２で定義された合成対象の画像のうち、取得していない画像をキュー２４７から取得する。

【0191】

［ステップＳ１６］画像合成部２４１は、ベース画像を生成する。ベース画像は、切出領域を張り付ける対象とする画像であり、元画像と同一のサイズで黒一色の画像である。

【0192】

［ステップＳ１７］画像合成部２４１は、合成定義情報２４２に基づき、キュー２４７から取得した画像から切出領域を抽出する。具体的には、画像合成部２４１は、元画像座標情報に含まれる切出領域の左上端点座標（基準点Ｘ座標，基準点Ｙ座標）、切出領域のサイズ（幅，高さ）に基づき、画像から切出領域を抽出する。なお、画像合成部２４１は、切出領域が複数存在する場合、全ての切出領域を抽出する。

【0193】

［ステップＳ１８］画像合成部２４１は、合成定義情報２４２に基づき、切出領域をベース画像に張り付け、合成画像を生成する。

【0194】

［ステップＳ１９］画像合成部２４１は、ＡＰＩ部２４３を介してＡＩ推論処理部２５０に合成画像を送信する。

【0195】

［ステップＳ２０］画像合成部２４１は、キュー２４７から次の画像（未だ合成画像を生成していない画像）を取得できるか否かを判定する。画像合成部２４１は、次の画像を取得できた場合はステップＳ１３にもどる。画像合成部２４１は、次の画像を取得できない場合は処理を終了する。

【0196】

次に、結果処理部２４４が実行する結果分離処理について説明する。図１６は、第２の実施形態の結果分離処理のフローチャートの一例である。

【0197】

結果分離処理は、結果処理部２４４が、合成定義情報２４２を読み出し、ＡＩ推論処理部２５０から推論結果を受信し、推論結果から誤判定のものを削除し、推論結果を元画像ごとに分離する処理である。プラットフォーム２１０の制御部（プロセッサ２１１）が結果処理部２４４を実行する。

【0198】

［ステップＳ３１］結果処理部２４４は、情報処理システム２００の起動後、合成定義情報２４２を記憶部から読み出す。

【0199】

［ステップＳ３２］結果処理部２４４は、合成画像における切出領域の左上端点および右下端点の座標を求める。具体的には、結果処理部２４４は、合成画像における切出領域の左上端点をオフセット座標（合成点Ｘ座標，合成点Ｙ座標）とする。結果処理部２４４は、オフセット座標に元画像座標情報の幅と高さを加算した値を、合成画像における切出領域の右下端点の座標とする。結果処理部２４４は、合成点Ｘ座標に元画像座標情報の幅を加えた値を右下端点Ｘ座標とする。結果処理部２４４は、合成点Ｙ座標に元画像座標情報の高さを加えた値を右下端点Ｙ座標とする。

【0200】

［ステップＳ３３］結果処理部２４４は、ステップＳ３２で求めた左上端点座標（左上端点Ｘ座標，左上端点Ｙ座標）および右下端点座標（右下端点Ｘ座標，右下端点Ｙ座標）にマージン（マージンの値を「ｍ」とする）を付与し、有効エリアを生成する。有効エリアとは、推論結果に含まれる人物検出領域が切出領域に含まれるか否かを判定する際に用いる領域であり、推論結果が誤判定であるか否かを判定する際に用いる。結果処理部２４４は、合成画像に張り付けた切出領域それぞれについて有効エリアを生成する。なお、有効エリアは、合成画像における切出領域にマージンを付与して広げた領域であり、有効エリアの左上端点座標は（左上端点Ｘ座標−ｍ，左上端点Ｙ座標−ｍ）、有効エリアの右下端点座標は（右下端点Ｘ座標＋ｍ，右下端点Ｙ座標＋ｍ）で求めることができる。また、誤判定については、図１１で説明したとおりである。

【0201】

［ステップＳ３４］結果処理部２４４は、ＡＩ推論処理部２５０から推論結果を受信したか否かを判定する。結果処理部２４４は、推論結果を受信した場合はステップＳ３５にすすみ、推論結果を受信していない場合はステップＳ３４にもどる。

【0202】

なお、推論結果は、検出した人物ごとに、人物識別情報と、人物検出領域の情報と、人物の特徴とを対応付けた情報を含む。人物検出領域の情報は、人物検出座標、人物検出領域の大きさを含む。人物検出座標は、人物検出領域の左上端点の座標（Ｘ座標，Ｙ座標）である。人物検出領域の大きさは、人物検出領域の幅、人物検出領域の高さである。

【0203】

［ステップＳ３５］結果処理部２４４は、受信した推論結果に含まれる人物検出領域が有効エリア内であるか否かを判定する。結果処理部２４４は、人物検出領域が有効エリア内でない場合はステップＳ３６にすすみ、人物検出領域が有効エリア内である場合はステップＳ３７にすすむ。

【0204】

［ステップＳ３６］結果処理部２４４は、有効エリア内にない人物検出領域を誤判定として削除する。なお、結果処理部２４４は、削除した人物検出領域に関連する情報（人物識別情報や人物の特徴）も合わせて推論結果から削除する。

【0205】

［ステップＳ３７］結果処理部２４４は、人物検出領域を該当する有効エリア内のものとして、切出領域（有効エリアの生成元の切出領域）と対応付ける。具体的には、結果処理部２４４は、有効エリア内に存在すると判定した人物検出領域および関連する情報（有効な推論結果）を、有効エリアの生成元である切出領域の切出領域ＩＤと対応付ける。

【0206】

［ステップＳ３８］結果処理部２４４は、有効エリア内の推論結果を元画像ごとのグループに分離し、分離結果を生成する。具体的には、結果処理部２４４は、ステップＳ３７において有効な推論結果に対応付けられた切出領域ＩＤに基づき、切出領域ＩＤごとのグループに分離することで、分離結果を生成する。

【0207】

［ステップＳ３９］結果処理部２４４は、分離結果に対してオフセット座標を減算し、元画像の基準点座標を加算し、座標を還元し、結果情報を求める。具体的には、結果処理部２４４は、分離結果に含まれる人物検出座標に、分離結果に対応付けられた切出領域ＩＤと対応するオフセット座標を減算し、切出領域ＩＤと対応する元画像座標情報に含まれる基準点座標を加算して、結果情報を算出する。

【0208】

つまり、結果処理部２４４は、元画像ごとのグループに分離した推論結果に含まれる人物検出座標に対し、合成画像の座標から元画像の座標に座標変換を実行したものを結果情報とする。

【0209】

［ステップＳ４０］結果処理部２４４は、結果情報を各カメラ３００が撮影した画像に対する推論結果として不審者判定部２４５に送信し、ステップＳ３４にもどる。

【0210】

このように、結果処理部２４４は、ＡＩ推論処理部２５０から受信した推論結果から誤判定の結果を削除し、元画像ごとに分離した分離結果を生成し、分離結果の座標を元画像の座標に還元し、結果情報を求めることができる。これにより、結果処理部２４４は、１枚の合成画像に対してＡＩ推論処理を実行することにより、複数の元画像に対してＡＩ推論処理を実行した場合と同様の結果を得られる。

【0211】

こうして、情報処理システム２００（情報処理装置）は、記憶部と、画像合成部２４１と、結果処理部２４４とを備える。記憶部は、切出領域を定義した合成定義情報２４２と、１または複数の画像を記憶する。また、画像合成部２４１は、記憶部から合成定義情報２４２を読み出し、記憶部から画像を取得し、合成定義情報２４２に基づき画像から部分を抽出した複数の切出領域を含む合成画像を生成し、合成画像をＡＩ推論処理部２５０（推論処理部）に送信する。また、結果処理部２４４は、合成画像に対してＡＩ推論処理部２５０（推論処理部）が推論処理を実行した結果である推論結果を受信し、合成定義情報２４２に基づき推論結果を画像の座標に還元して結果情報を求める。このように、情報処理システム２００において、画像から推論処理を行う対象となる切出領域を抽出し、１枚の合成画像を生成し、合成画像に対して推論処理を実行し、結果情報を求めることができる。

【0212】

これにより、情報処理システム２００（情報処理装置）において、画像それぞれに対して推論処理を実行した場合と同等の推論結果を、合成画像に対する推論処理を実行することにより求めることができる。また、情報処理システム２００（情報処理装置）の性能や推論処理の結果の精度を維持しつつ、画像に対して推論処理を実行する効率を高めることができる。

【0213】

また、合成定義情報２４２が、画像を識別する画像識別情報（画像ＩＤ）と、画像における切出領域の座標（元画像座標情報における基準点Ｘ座標と、基準点Ｙ座標）と、画像における切出領域の大きさ（元画像座標情報における幅と高さ）と、合成画像に含まれる切出領域の座標（オフセット座標）とを含む。これにより、情報処理システム２００（情報処理装置）は、合成定義情報２４２を用いて推論処理を実行すべき対象の領域を抽出した合成画像を生成でき、合成画像に対して推論処理を実行できる。

【0214】

また、画像合成部２４１は、複数の画像を取得し、画像それぞれから少なくとも１以上の切出領域を抽出して合成画像を生成する。また、結果処理部２４４は、推論結果を複数の画像ごとに分離した分離結果を生成し、分離結果それぞれに対して複数の画像ごとの座標に還元して結果情報を求める。これにより、情報処理システム２００（情報処理装置）は、１枚の合成画像に対して推論処理を実行することで、画像ごとに推論処理を実行した場合と同等の推論結果を得ることができる。

【0215】

また、画像合成部２４１は、複数の画像を取得し、画像それぞれから少なくとも１以上の切出領域を抽出して合成画像を生成する際に、１枚の画像と同じサイズの領域に含まれるように切出領域それぞれを配置して合成画像を生成する。このように、情報処理システム２００（情報処理装置）は、１以上の切出領域を１枚の画像と同じサイズの合成画像に含めることで、１枚の画像に対して推論処理を実行した場合と同様の処理で（推論処理を実行する対象の画像サイズの変更を行うことなく）推論結果を得られることができる。

【0216】

また、結果処理部２４４は、推論結果のうち、合成画像に含まれる切出領域以外の領域に対する推論結果を削除する。これにより、情報処理システム２００（情報処理装置）は、推論結果から推論処理を実行すべき対象の領域外における誤った判定の結果を削除し、推論結果の精度を維持することができる。

【0217】

また、画像合成部２４１は、第１の画像と第２の画像それぞれから切出領域を抽出して合成画像を生成する場合であって、第１の画像を取得した時間から所定の時間内に第２の画像を取得できない場合、第１の画像から抽出した切出領域のみを含む合成画像を生成し、ＡＩ推論処理部２５０（推論処理部）に送信する。これにより、情報処理システム２００（情報処理装置）は、取得した画像に基づき合成画像を生成し、ＡＩ推論処理部２５０（推論処理部）に送信する際に、適切な処理速度を保つことができる。

【0218】

このように、推論システム１００は、情報処理システム２００（情報処理装置）の性能や推論処理の結果の精度を維持しつつ、画像に対して推論処理を実行する効率を高めることができる。

【0219】

［第３の実施形態］
次に、第３の実施形態について説明する。第３の実施形態において第２の実施形態と異なる点は、元画像として高解像度の画像（以下、高解像度画像と記載する）を用いる点である。また、第３の実施形態においては、高解像度画像を用いることに伴い、画像合成部２４１および結果処理部２４４の処理内容の一部が第２の実施形態と異なる。第３の実施形態における画像合成部２４１および結果処理部２４４の処理については、後で図１９〜２２を用いて説明する。

【0220】

なお、第３の実施形態において、前提となるシステム構成やソフトウェアについては、第２の実施形態とほぼ同様であるため説明を適宜省略する。

【0221】

次に、高解像度画像の処理イメージについて説明する。図１７は、第３の実施形態の高解像度画像の処理イメージを説明するための図である。

【0222】

図１７は、情報処理システム２００における高解像度画像の処理イメージの一例である。なお、図１７の説明において、図１０と同様の部分については説明を適宜省略する。

【0223】

情報処理システム２００において、カメラ３００から遠方の領域を撮影した画像については解像度が低く、人物が画像内で小さく映るため、人物検出処理２５１において人物が検出されない場合がある。

【0224】

情報処理システム２００において、人物が検出されない場合に対処するため、解像度が低いエリア（カメラ３００から遠方のエリア）に対して高解像度のカメラ３００で撮影した画像を用いる。ここで、高解像度画像とは、４Ｋ ＵＨＤ（Ultra HighDefinition）、８Ｋ ＵＨＤ、フルＨＤ（Full High Definition）等の画像を含む。

【0225】

以下の説明において、高解像度画像は、４Ｋ（第１の解像度）のカメラ３００で撮影された画像であるものとする。また、４Ｋの画像の解像度は、３８４０×２１６０ピクセルであるものとする。また、通常画像とは、ＨＤ（第２の解像度）のカメラ３００で撮影された画像であるものとする。ＨＤの画像の解像度は、１２８０×７２０ピクセルであるものとする。

【0226】

元画像５００と元画像５０１は、ほぼ同じ場所を撮影した画像であり、同一の人物が撮影されているが、解像度が異なる画像である。元画像５００と元画像５０１は、画像合成部２４１によってキュー２４７から取得された画像である。元画像５００は、４Ｋ画像を撮影するカメラ３００で撮影された高解像度画像である。元画像５００の画像ＩＤは「ＨＣ９０１」であるものとする。元画像５０１は、ＨＤ画像を撮影するカメラ３００で撮影された通常画像である。元画像５０１の画像ＩＤは「Ｃ５０１」であるものとする。

【0227】

切出領域５００ａは、元画像５００の一部分の画像である。切出領域５００ａは、元画像５００のうち、カメラ３００から遠方の部分を抽出した画像である。切出領域５００ａは、通常画像では解像度が低く人物の検出ができない領域を、高解像度画像である元画像５００から抽出したものである。

【0228】

切出領域５０１ａは、元画像５０１の一部分の画像である。切出領域５０１ａは、通常画像の解像度で人物の検出が可能な領域を通常画像である元画像５０１から抽出したものである。

【0229】

画像合成部２４１は、高解像度画像の処理を行うための合成定義情報（高解像度合成定義情報）に基づき画像に対して画像合成処理を実行する。なお、高解像度合成定義情報については、後で図１８を用いて説明する。

【0230】

画像合成部２４１は、元画像５００，５０１それぞれから切出領域５００ａ，５０１ａを抽出する。画像合成部２４１は、高解像度画像から抽出した切出領域５００ａに対して、解像度に応じて倍率を調整した切出領域５００ｂを生成する。

【0231】

画像合成部２４１は、切出領域５００ｂ，５０１ａをベース画像に張り付けて合成画像５０３を生成する。画像合成部２４１は、ＡＰＩ部２４３を介して合成画像５０３をＡＩ推論処理部２５０に送信する。ＡＩ推論処理部２５０は、合成画像５０３に対してＡＩ推論処理を実行する。結果処理部２４４は、ＡＩ推論処理部２５０から合成画像５０３に対する推論結果を受信し、推論結果の倍率の調整および座標変換を行う。

【0232】

ディスプレイ２１２が表示する推論結果を示す画像の一例が、結果画像５０４ｚである。結果画像５０４ｚは、倍率を調整して座標変換を行った推論結果と、元画像５０１とを合わせたものである。

【0233】

このように、第３の実施形態における画像合成部２４１は、高解像度画像から抽出した切出領域の倍率を調整して通常画像の合成画像に張り付ける。これにより、ＡＩ推論処理部２５０は、解像度が異なる切出領域を１枚に纏めた合成画像に対して、通常画像と同様にＡＩ推論処理を実行することが可能となる。

【0234】

次に、情報処理システム２００における高解像度合成定義情報について説明する。図１８は、第３の実施形態の高解像度合成定義情報の一例を示す図である。

【0235】

高解像度合成定義情報２４２ａは、解像度が異なる画像から合成画像を生成するための情報である。情報処理システム２００における高解像度合成定義情報２４２ａの位置づけは、合成定義情報２４２とほぼ同様である。高解像度合成定義情報２４２ａの説明において、図１４で説明した合成定義情報２４２と同様の部分については、説明を適宜省略する。

【0236】

高解像度合成定義情報２４２ａは、合成画像を生成するための情報である。また、高解像度合成定義情報２４２ａは、推論結果に対して倍率変更および座標変換を行うための情報でもある。高解像度合成定義情報２４２ａは、プラットフォーム２１０の記憶部に記憶される情報である。

【0237】

合成定義情報２４２は、定義ＩＤ、画像ＩＤ、切出領域ＩＤ、元画像座標情報、オフセット座標、解像度、画像種別、ＡＩ処理座標情報の項目を含む。定義ＩＤ、画像ＩＤ、切出領域ＩＤ、元画像座標情報、オフセット座標の項目については、合成定義情報２４２と同様であるため説明を省略する。なお、画像ＩＤの先頭に「Ｃ５」が付与された画像は、ＨＤ画像を撮影するカメラ３００で撮影された画像であるものとする。また、画像ＩＤの先頭に「ＨＣ９」が付与された画像は、４Ｋ画像を撮影するカメラ３００で撮影された画像であるものとする。

【0238】

解像度の項目には、画像の解像度（ＨＤの解像度「１２８０×７２０」、４Ｋの解像度「３８４０×２１６０」）が登録される。画像種別の項目には、画像の解像度に応じた画像種別（ＨＤ、４Ｋ等）が登録される。

【0239】

ＡＩ処理座標情報の項目には、画像種別に応じて倍率を変更した元画像座標情報が登録される。画像種別が「ＨＤ」の場合、元画像座標情報の値がＡＩ処理座標情報に登録される。また、画像種別が「４Ｋ」の場合、元画像座標情報の値を「ＨＤ」相当に換算した値がＡＩ処理座標情報に登録される。

【0240】

具体的には、解像度に基づき倍率（４Ｋの解像度／ＨＤの解像度）を求める。解像度に基づく倍率は、縦の倍率が（２１６０／７２０）＝３倍、横の倍率が（３８４０／１２８０）＝３倍、となる。このため、画像種別が「４Ｋ」の場合、元画像座標情報の値を３倍した値をＡＩ処理座標情報に登録する。ＡＩ処理座標情報の項目に示す（値［×３］）は、値を３倍することを示す。

【0241】

なお、高解像度合成定義情報２４２ａは、システム管理者等が作成してもよい。また、画像合成部２４１が、高解像度合成定義情報２４２ａを生成する機能を備え、高解像度合成定義情報２４２ａを生成してもよい。

【0242】

次に、情報処理システム２００における高解像度合成定義情報生成処理について説明する。図１９は、第３の実施形態の高解像度合成定義情報生成処理のフローチャートの一例である。

【0243】

高解像度合成定義情報生成処理は、画像合成部２４１が高解像度合成定義情報２４２ａを生成する処理である。プラットフォーム２１０の制御部（プロセッサ２１１）が画像合成部２４１を実行する。

【0244】

［ステップＳ５１］画像合成部２４１は、記憶部から高解像度合成定義情報を生成する対象となる高解像度画像を取得する。

【0245】

［ステップＳ５２］画像合成部２４１は、高解像度画像の切出領域を決定する。なお、切出領域は、１箇所であってもよいし、複数個所であってもよい。

【0246】

［ステップＳ５３］画像合成部２４１は、高解像度合成定義情報２４２ａのエントリを生成する。画像合成部２４１は、高解像度合成定義情報２４２ａのエントリに含まれる項目のうち、合成定義情報２４２と同様の項目（定義ＩＤ、画像ＩＤ、切出領域ＩＤ、元画像座標情報、オフセット座標）については、合成定義情報２４２と同様に生成する。

【0247】

画像合成部２４１は、解像度、画像種別の項目については、画像ＩＤで定義された画像を撮影するカメラ３００に応じて値を登録する。例えば、カメラ３００が、ＨＤ画像を撮影するものである場合、解像度に「１２８０×７２０」、画像種別に「ＨＤ」が登録される。また、カメラ３００が、４Ｋ画像を撮影するものである場合、解像度に「３８４０×２１６０」、画像種別に「４Ｋ」が登録される。

【0248】

［ステップＳ５４］画像合成部２４１は、高解像度合成定義情報２４２ａのエントリのうち、画像種別が「４Ｋ」の項目が存在するか否かを判定する。画像合成部２４１は、画像種別が「４Ｋ」の項目が存在する場合、ステップＳ５５にすすむ。画像合成部２４１は、画像種別が「４Ｋ」の項目が存在しない場合、ステップＳ５６にすすむ。

【0249】

［ステップＳ５５］画像合成部２４１は、解像度の倍率（４Ｋの解像度／ＨＤの解像度）を求め、求めた倍率と元画像座標情報との積をＡＩ処理座標情報に登録する。

【0250】

具体的には、画像合成部２４１は、解像度の倍率（縦の倍率、横の倍率）を求め、元画像座標情報のＸ方向に横の倍率を掛け、元画像座標情報のＹ方向に縦の倍率を掛ける。つまり、ＡＩ処理座標情報は、（基準点Ｘ座標［×横の倍率］，基準点Ｙ座標［×縦の倍率］，幅［×横の倍率］，高さ［×縦の倍率］）となる。

【0251】

［ステップＳ５６］画像合成部２４１は、高解像度合成定義情報２４２ａのエントリのうち、画像種別が「ＨＤ」の項目について、元画像座標情報の値をＡＩ処理座標情報に登録する。

【0252】

このようにして、高解像度合成定義情報２４２ａが生成される。なお、高解像度合成定義情報生成処理は、高解像度合成定義情報２４２ａを生成する方法の一例であり、これらの処理の一部または全部をシステム管理者等が実行してもよい。

【0253】

次に、情報処理システム２００における高解像度画像合成処理について図２０および図２１を用いて説明する。図２０は、第３の実施形態の高解像度画像合成処理のフローチャートの一例である（その１）。図２１は、第３の実施形態の高解像度画像合成処理のフローチャートの一例である（その２）。

【0254】

高解像度画像合成処理は、画像合成部２４１が、高解像度合成定義情報２４２ａを読み出し、キュー２４７から画像を取得して合成画像を生成し、ＡＰＩ部２４３を介してＡＩ推論処理部２５０に合成画像を送信する処理である。プラットフォーム２１０の制御部（プロセッサ２１１）が画像合成部２４１を実行する。

【0255】

［ステップＳ６１］画像合成部２４１は、情報処理システム２００の起動後、高解像度合成定義情報２４２ａを記憶部から読み出す。

【0256】

［ステップＳ６２］画像合成部２４１は、高解像度合成定義情報２４２ａに含まれる画像ＩＤに基づき、キュー２４７から画像を合成する対象の４Ｋ画像（切出領域を抽出する元画像）を取得する。

【0257】

［ステップＳ６３］画像合成部２４１は、高解像度合成定義情報２４２ａに基づき、キュー２４７から取得した４Ｋ画像から切出領域を抽出する。

【0258】

［ステップＳ６４］画像合成部２４１は、取得した４Ｋ画像の画像ＩＤに対応する切出領域ＩＤのエントリに基づき、全ての切出領域を抽出したか否かを判定する。画像合成部２４１は、全ての切出領域を抽出していない場合、ステップＳ６５にすすむ。画像合成部２４１は、全ての切出領域を抽出した場合、ステップＳ６７にすすむ。

【0259】

［ステップＳ６５］画像合成部２４１は、ステップＳ６２で画像を取得してから所定時間以内（例えば、１秒以内）であるか否かを判定する。画像合成部２４１は、所定時間以内である場合はステップＳ６６にすすみ、所定時間以内でない場合はステップＳ６７にすすむ。

【0260】

［ステップＳ６６］画像合成部２４１は、４Ｋ画像について、高解像度合成定義情報２４２ａに基づき、抽出していない切出領域の画像をキュー２４７から再取得し、ステップＳ６４にもどる。

【0261】

［ステップＳ６７］画像合成部２４１は、切出領域について４Ｋ画像をＨＤ画像に変換する。具体的には、画像合成部２４１は、画像の解像度の倍率（縦の倍率、横の倍率）を求める。縦の倍率は、（４Ｋの縦方向の解像度／ＨＤの縦方向の解像度）で求められる。横の倍率は、（４Ｋの横方向の解像度／ＨＤの横方向の解像度）で求められる。画像合成部２４１は、切出領域のＸ方向を横の倍率に拡大し、切出領域のＹ方向に縦の倍率に拡大し、切出領域の倍率を調整することで画像を変換する。

【0262】

［ステップＳ６８］画像合成部２４１は、高解像度合成定義情報２４２ａに含まれる画像ＩＤに基づき、キュー２４７から画像を合成する対象のＨＤ画像（切出領域を抽出する元画像）を取得する。

【0263】

［ステップＳ６９］画像合成部２４１は、高解像度合成定義情報２４２ａに基づき、キュー２４７から取得したＨＤ画像から切出領域を抽出する。

【0264】

［ステップＳ７０］画像合成部２４１は、取得したＨＤ画像の画像ＩＤに対応する切出領域ＩＤのエントリに基づき、全ての切出領域を抽出したか否かを判定する。画像合成部２４１は、全ての切出領域を抽出していない場合、ステップＳ７１にすすむ。画像合成部２４１は、全ての切出領域を抽出した場合、ステップＳ７３にすすむ。

【0265】

［ステップＳ７１］画像合成部２４１は、ステップＳ６８で画像を取得してから所定時間以内（例えば、１秒以内）であるか否かを判定する。画像合成部２４１は、所定時間以内である場合はステップＳ７２にすすみ、所定時間以内でない場合はステップＳ７３にすすむ。

【0266】

［ステップＳ７２］画像合成部２４１は、ＨＤ画像について、高解像度合成定義情報２４２ａに基づき、抽出していない切出領域の画像をキュー２４７から再取得し、ステップＳ７０にもどる。

【0267】

［ステップＳ７３］画像合成部２４１は、ベース画像を生成する。ベース画像は、切出領域を張り付ける対象とする画像であり、ＨＤ画像である。

【0268】

［ステップＳ７４］画像合成部２４１は、高解像度合成定義情報２４２ａに基づき、切出領域をベース画像に張り付け、合成画像を生成する。画像合成部２４１が合成画像を生成する方法は、第２の実施形態とほぼ同様である。画像合成部２４１は、元画像における基準点を合成画像における合成点へ移動するように切出領域を張り付ける。なお、画像合成部２４１は、元画像が４Ｋ画像である場合、ステップＳ６７において４Ｋ画像をＨＤ画像に変換した切出領域をベース画像に張り付ける。

【0269】

［ステップＳ７５］画像合成部２４１は、ＡＰＩ部２４３を介してＡＩ推論処理部２５０に合成画像を送信する。

【0270】

［ステップＳ７６］画像合成部２４１は、キュー２４７から次の画像（未だ合成画像を生成していない画像）を取得できるか否かを判定する。画像合成部２４１は、次の画像を取得できた場合はステップＳ６２にもどる。画像合成部２４１は、次の画像を取得できない場合は処理を終了する。

【0271】

次に、結果処理部２４４が実行する高解像度結果処理について説明する。図２２は、第３の実施形態の高解像度結果処理のフローチャートの一例である。

【0272】

高解像度結果処理は、結果処理部２４４が、高解像度合成定義情報２４２ａを読み出し、ＡＩ推論処理部２５０から推論結果を受信し、推論結果から誤判定のものを削除し、推論結果を元画像（ＨＤ画像）に還元する処理である。プラットフォーム２１０の制御部（プロセッサ２１１）が結果処理部２４４を実行する。

【0273】

［ステップＳ８１］結果処理部２４４は、情報処理システム２００の起動後、高解像度合成定義情報２４２ａを記憶部から読み出す。

【0274】

［ステップＳ８２］結果処理部２４４は、合成画像における切出領域の左上端点および右下端点の座標を求める。具体的には、結果処理部２４４は、合成画像における切出領域の左上端点をオフセット座標（合成点Ｘ座標，合成点Ｙ座標）とする。

【0275】

結果処理部２４４は、オフセット座標にＡＩ処理座標情報の幅と高さを加算した値を、合成画像における切出領域の右下端点の座標とする。結果処理部２４４は、合成点Ｘ座標にＡＩ処理座標情報の幅を加えた値を右下端点Ｘ座標とする。結果処理部２４４は、合成点Ｙ座標にＡＩ処理座標情報の高さを加えた値を右下端点Ｙ座標とする。

【0276】

［ステップＳ８３］結果処理部２４４は、ステップＳ８２で求めた左上端点座標（左上端点Ｘ座標，左上端点Ｙ座標）および右下端点座標（右下端点Ｘ座標，右下端点Ｙ座標）にマージンを付与し、有効エリアを生成する。結果処理部２４４は、合成画像に張り付けた切出領域それぞれについて有効エリアを生成する。なお、有効エリアについては、ステップＳ３３と同様である。

【0277】

［ステップＳ８４］結果処理部２４４は、ＡＩ推論処理部２５０から推論結果を受信したか否かを判定する。結果処理部２４４は、推論結果を受信した場合はステップＳ８５にすすみ、推論結果を受信していない場合はステップＳ８４にもどる。

【0278】

［ステップＳ８５］結果処理部２４４は、受信した推論結果に含まれる人物検出領域が有効エリア内であるか否かを判定する。結果処理部２４４は、人物検出領域が有効エリア内でない場合はステップＳ８６にすすみ、人物検出領域が有効エリア内である場合はステップＳ８７にすすむ。

【0279】

［ステップＳ８６］結果処理部２４４は、有効エリア内にない人物検出領域を誤判定として削除する。なお、結果処理部２４４は、削除した人物検出領域に関連する情報（人物識別情報や人物の特徴）も合わせて推論結果から削除する。

【0280】

［ステップＳ８７］結果処理部２４４は、人物検出領域を該当する有効エリア内のものとして、切出領域（有効エリアの生成元の切出領域）と対応付ける。具体的には、結果処理部２４４は、有効エリア内に存在すると判定した人物検出領域および関連する情報（有効な推論結果）を、有効エリアの生成元である切出領域の切出領域ＩＤと対応付ける。

【0281】

［ステップＳ８８］結果処理部２４４は、有効エリア内の推論結果を元画像ごとのグループに分離し、分離結果を生成する。具体的には、結果処理部２４４は、ステップＳ８７において有効な推論結果に対応付けられた切出領域ＩＤに基づき、切出領域ＩＤごとのグループに分離することで、分離結果を生成する。

【0282】

［ステップＳ８９］結果処理部２４４は、分離結果に対してオフセット座標を減算し、元画像の基準点座標を加算し、座標を還元し、結果情報を求める。具体的には、結果処理部２４４は、分離結果に含まれる人物検出座標に、分離結果に対応付けられた切出領域ＩＤと対応するオフセット座標を減算し、切出領域ＩＤと対応する元画像座標情報に含まれる基準点座標を加算して、結果情報を算出する。

【0283】

つまり、結果処理部２４４は、元画像ごとのグループに分離した推論結果に含まれる人物検出座標に対し、合成画像の座標から元画像の座標に座標変換を実行したものを結果情報とする。

【0284】

［ステップＳ９０］結果処理部２４４は、分離結果のうち画像種別が４Ｋのものについて、座標を４ＫからＨＤ相当に倍率を還元する。言い換えると、結果処理部２４４は、４Ｋ画像をＨＤ画像に変換する際に拡大された倍率に応じて縮小することで、倍率を還元する。

【0285】

ここで、倍率還元について図１７を用いて説明する。合成画像５０３を生成するに際に、４Ｋ画像である元画像５００から切出領域５００ａを縦横それぞれ３倍にした切出領域５００ｂが張り付けられたものとする。この場合、結果処理部２４４は、分離結果のうち画像種別が４Ｋのものについて、座標を１／３倍にすることで座標還元を行う。

【0286】

より具体的には、結果処理部２４４は、元画像が４Ｋ画像である切出領域に対する推論結果について、推論結果に含まれる人物検出座標（Ｘ座標，Ｙ座標）、人物検出領域の大きさ（縦，横）を、それぞれ１／３倍にする。

【0287】

［ステップＳ９１］結果処理部２４４は、座標還元と倍率還元を行った推論結果を合成し、ＨＤ画像を撮影するカメラ３００が撮影した画像に対する推論結果として不審者判定部２４５に送信し、ステップＳ８４にもどる。

【0288】

こうして、結果処理部２４４は、解像度が異なるカメラ３００が撮影した元画像それぞれから抽出した切出領域を含む合成画像に対する推論結果を、元画像ごとに分離した分離結果を生成し、座標を還元する。また、結果処理部２４４は、分離結果について、元画像の解像度に応じて倍率を調整する。また、結果処理部２４４は、それぞれの推論結果を合成し、１台のカメラ３００が撮影した画像に対する推論結果として出力することができる。

【0289】

こうして、情報処理システム２００（情報処理装置）における画像合成部２４１は、第１の画像（元画像５００）から抽出した第１の切出領域（切出領域５００ａ）と、第２の画像（元画像５０１）から抽出した第２の切出領域（切出領域５０１ａ）とを含む合成画像（合成画像５０３）を生成する場合であって、第１の画像の解像度である第１の解像度（たとえば、４Ｋ）が第２の画像の解像度である第２の解像度（たとえば、ＨＤ）と異なる場合、第１の切出領域を第２の解像度に応じた倍率に変更し、倍率を変更した第１の切出領域と第２の切出領域とを含む合成画像を生成する。また、結果処理部２４４は、推論結果を、第１の切出領域を抽出した第１の画像に対する第１の分離結果と、第２の切出領域を抽出した第２の画像に対する第２の分離結果に分離し、第１の分離結果に対して第１の画像の座標に還元し、変更した倍率を還元して第１の結果情報を求め、第２の分離結果に対して第２の画像の座標に還元して第２の結果情報を求める。これにより、情報処理システム２００（情報処理装置）は、画像の解像度が異なる場合であっても、合成画像を生成することができ、合成画像に推論処理を実行することにより、画像ごとに推論処理を実行した場合と同等の推論結果を得ることができる。

【0290】

このように、推論システム１００における情報処理システム２００（情報処理装置）は、情報処理システム２００（情報処理装置）の性能や推論処理の結果の精度を維持しつつ、画像に対して推論処理を実行する効率を高めることができる。

【0291】

このように、情報処理システム２００は、画像について、推論処理の対象となる部分を切出領域として抽出し、切出領域に対して推論処理を適用することができる。また、情報処理システム２００は、複数の画像から部分を抽出し、抽出した部分を１つの合成画像にし、１つの合成画像に対して推論処理を実行することで、複数の画像に対して推論処理を実行した場合と同様の推論結果を得ることができる。また、情報処理システム２００は、複数の切出領域を１枚の合成画像に配置することで、推論処理の効率を高めることができる。また、情報処理システム２００は、推論結果から合成画像に配置された切出領域以外の領域に対する推論結果を削除することにより、推論結果に含まれる誤判定の結果を排除することができる。また、情報処理システム２００は、第１の画像および第２の画像から切出領域を抽出する場合、第１の画像を取得した時間から所定の時間内に第２の画像を取得できない場合、第１の画像から抽出した切出領域のみを含む合成画像を生成することで、処理速度を保つことができる。また、情報処理システム２００は、解像度が異なる画像それぞれから切出領域を抽出する場合、解像度に応じて切出領域の倍率を変更し、合成画像の解像度に合わせることにより、１枚の合成画像を生成することができる。これにより、情報処理システム２００は、１枚の合成画像に対して推論処理を実行することで、解像度が異なる画像ごとに推論処理を実行した場合と同等の推論結果を得ることができる。こうして、情報処理システム２００は、情報処理システム２００の性能や推論処理の結果の精度を維持しつつ、画像に対して推論処理を実行する効率を高めることができる。

【0292】

なお、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

【0293】

例えば、上記実施形態では、プラットフォーム２１０の２つのＲＣを用いてＰＣＩｅブリッジコントローラ２３０と接続する例を説明したが、プラットフォーム２１０の３つ以上のＲＣを用いてＰＣＩｅブリッジコントローラ２３０と接続することもできる。また、例えば、図５に示す構成においては、ＰＣＩｅブリッジコントローラ２３０は８つのスロット２３４−１〜２３４−８を有しているが、これに限定されるものではなく種々変形して実施することができる。即ち、ＰＣＩｅブリッジコントローラ２３０は７つ以下もしくは９つ以上のスロット２３４を備えてもよい。また、例えば、図３に示す構成においては、複数のプラットフォーム（例えば、演算部として機能するプラットフォーム）が２つ以上のＲＣを用いてＰＣＩｅブリッジコントローラ２３０のＥＰと接続するようにすることもできる。

【0294】

また、上述した実施形態においては、ＰＣＩｅを用いた通信システムについて示したが、これに限定されるものではなく、ＰＣＩｅ以外の通信規格での通信に適用してもよい。

【0295】

上述の実施形態では、各部のＩ／Ｏ（Input/Output）のインタフェースとしてＰＣＩｅを例に挙げて説明したが、インタフェースはＰＣＩｅに限定されない。例えば、各部のインタフェースは、データ転送バスによって、デバイス（例えば、周辺制御コントローラ）とプロセッサとの間でデータ転送を行える技術であればよい。データ転送バスは、１個の筐体等に設けられたローカルな環境（例えば、１つのシステムまたは１つの装置）で高速にデータを転送できる汎用のバスであってよい。インタフェースは、パラレルインターフェースおよびシリアルインターフェースのいずれであってもよい。

【0296】

Ｉ／Ｏインタフェースは、シリアル転送の場合、ポイント・ツー・ポイント接続ができ、データをパケットベースで転送可能な構成でよい。なお、Ｉ／Ｏインタフェースは、シリアル転送の場合、複数のレーンを有してよい。Ｉ／Ｏインタフェースのレイヤ構造は、パケットの生成および復号を行うトランザクション層と、エラー検出等を行うデータリンク層と、シリアルとパラレルとを変換する物理層とを有してよい。また、Ｉ／Ｏインタフェースは、階層の最上位であり１または複数のポートを有するルートコンプレックス、Ｉ／Ｏデバイスであるエンドポイント、ポートを増やすためのスイッチ、および、プロトコルを変換するブリッジ等を含んでよい。インタフェースは、送信するデータとクロック信号とをマルチプレクサによって多重化して送信してもよい。この場合、受信側は、デマルチプレクサでデータとクロック信号を分離してよい。

【符号の説明】

【0297】

１ 情報処理システム
１０ 情報処理装置
２０ 記憶部
２１ 合成定義情報
２２，２３ 画像
２２ａ，２３ａ 切出領域
２２ｚ，２３ｚ 結果画像
２４ 合成画像
３０ 画像合成部
４０ 結果処理部
５０ 推論処理部
６０ 推論結果

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【手続補正書】

【提出日】2020年9月4日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

情報処理装置において、
切出領域を定義した合成定義情報と１または複数の画像を記憶した記憶部と、
前記記憶部から前記合成定義情報を読み出し、前記記憶部から前記画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の前記切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信する画像合成部と、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求める結果処理部とを備え、
前記画像合成部は、
複数の前記画像を取得し、前記画像それぞれから少なくとも１以上の前記切出領域を抽出し、１枚の前記画像と同じサイズの領域に含まれるように前記切出領域それぞれを配置して前記合成画像を生成し、
前記結果処理部は、
前記推論結果を複数の前記画像ごとに分離した分離結果を生成し、前記分離結果それぞれに対して複数の前記画像ごとの座標に還元して前記結果情報を求める、
情報処理装置。

【請求項2】

情報処理装置において、
切出領域を定義した合成定義情報と１または複数の画像を記憶した記憶部と、
前記記憶部から前記合成定義情報を読み出し、前記記憶部から前記画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の前記切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信する画像合成部と、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求める結果処理部とを備え、
前記画像合成部は、
第１の画像と第２の画像それぞれから前記切出領域を抽出して前記合成画像を生成する場合であって、
前記第１の画像を取得した時間から所定の時間内に前記第２の画像を取得できない場合、前記第１の画像から抽出した前記切出領域のみを含む前記合成画像を生成し、前記推論処理部に送信する、
情報処理装置。

【請求項3】

前記合成定義情報は、
前記画像を識別する画像識別情報と、前記画像における前記切出領域の座標と、前記画像における前記切出領域の大きさと、前記合成画像に含まれる前記切出領域の座標とを含む情報である、
請求項１または２に記載の情報処理装置。

【請求項4】

前記結果処理部は、
前記推論結果のうち、前記合成画像に含まれる前記切出領域以外の領域に対する前記推論結果を削除する、
請求項１または２に記載の情報処理装置。

【請求項5】

前記画像合成部は、
第１の画像から抽出した第１の切出領域と、第２の画像から抽出した第２の切出領域とを含む前記合成画像を生成する場合であって、
前記第１の画像の解像度である第１の解像度が前記第２の画像の解像度である第２の解像度と異なる場合、前記第１の切出領域を前記第２の解像度に応じた倍率に変更し、
前記倍率を変更した前記第１の切出領域と前記第２の切出領域とを含む前記合成画像を生成し、
前記結果処理部は、
前記推論結果を、前記第１の切出領域を抽出した前記第１の画像に対する第１の分離結果と、前記第２の切出領域を抽出した前記第２の画像に対する第２の分離結果に、分離し、
前記第１の分離結果に対して前記第１の画像の座標に還元し、変更した前記倍率を還元して第１の結果情報を求め、
前記第２の分離結果に対して前記第２の画像の座標に還元して第２の結果情報を求める、
請求項１に記載の情報処理装置。

【請求項6】

情報処理装置と推論処理部とを備える情報処理システムであって、
前記情報処理装置は、
切出領域を定義した合成定義情報と１または複数の画像を記憶した記憶部と、
前記記憶部から前記合成定義情報を読み出し、前記記憶部から前記画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の前記切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信する画像合成部と、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求める結果処理部とを備え、
前記推論処理部は、
前記情報処理装置から受信した前記合成画像に対して推論処理を実行し、前記推論結果を前記情報処理装置に送信し、
前記画像合成部は、
複数の前記画像を取得し、前記画像それぞれから少なくとも１以上の前記切出領域を抽出し、１枚の前記画像と同じサイズの領域に含まれるように前記切出領域それぞれを配置して前記合成画像を生成し、
前記結果処理部は、
前記推論結果を複数の前記画像ごとに分離した分離結果を生成し、前記分離結果それぞれに対して複数の前記画像ごとの座標に還元して前記結果情報を求める、
情報処理システム。

【請求項7】

情報処理装置と推論処理部とを備える情報処理システムであって、
前記情報処理装置は、
切出領域を定義した合成定義情報と１または複数の画像を記憶した記憶部と、
前記記憶部から前記合成定義情報を読み出し、前記記憶部から前記画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の前記切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信する画像合成部と、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求める結果処理部とを備え、
前記推論処理部は、
前記情報処理装置から受信した前記合成画像に対して推論処理を実行し、前記推論結果を前記情報処理装置に送信し、
前記画像合成部は、
第１の画像と第２の画像それぞれから前記切出領域を抽出して前記合成画像を生成する場合であって、
前記第１の画像を取得した時間から所定の時間内に前記第２の画像を取得できない場合、前記第１の画像から抽出した前記切出領域のみを含む前記合成画像を生成し、前記推論処理部に送信する、
情報処理システム。

【請求項8】

記憶部から切出領域を定義した合成定義情報を読み出し、前記記憶部から画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信し、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求め、
前記合成画像を生成する際に、
複数の前記画像を取得し、前記画像それぞれから少なくとも１以上の前記切出領域を抽出し、１枚の前記画像と同じサイズの領域に含まれるように前記切出領域それぞれを配置して前記合成画像を生成し、
前記結果情報を求める際に、
前記推論結果を複数の前記画像ごとに分離した分離結果を生成し、前記分離結果それぞれに対して複数の前記画像ごとの座標に還元して前記結果情報を求める、
処理を情報処理装置に実行させるプログラム

【請求項9】

記憶部から切出領域を定義した合成定義情報を読み出し、前記記憶部から画像を取得し、前記合成定義情報に基づき前記画像から部分を抽出した複数の切出領域を含む合成画像を生成し、前記合成画像を推論処理部に送信し、
前記合成画像に対して前記推論処理部が推論処理を実行した結果である推論結果を受信し、前記合成定義情報に基づき前記推論結果を前記画像の座標に還元して結果情報を求め、
前記合成画像を前記推論処理部に送信する際に、
第１の画像と第２の画像それぞれから前記切出領域を抽出して前記合成画像を生成する場合であって、
前記第１の画像を取得した時間から所定の時間内に前記第２の画像を取得できない場合、前記第１の画像から抽出した前記切出領域のみを含む前記合成画像を生成し、前記推論処理部に送信する、
処理を情報処理装置に実行させるプログラム。