特許 7419189 画像照合処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】画像照合処理装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240115BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2020135173

(22)【出願日】2020-08-07

(65)【公開番号】P2022030869

(43)【公開日】2022-02-18

【審査請求日】2023-02-07

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(72)【発明者】

【氏名】柴田 哲希

(72)【発明者】

【氏名】松本 鮎美

(72)【発明者】

【氏名】宇田 育弘

(72)【発明者】

【氏名】佐藤 篤

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２０１８－９７６７１（ＪＰ，Ａ）

【文献】特開２０２０－３８４１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

カメラから取得される画像データに対し、アルゴリズムの異なる複数の画像照合モデルを選択的に用いて画像照合処理を行う画像照合処理装置であって、
前記複数の画像照合モデルの各々に対応する、学習済のパラメータ情報と、前記画像照合モデルを識別するアーキテクチャ情報とを少なくとも含むモデルファイルを保存する記憶部と、
前記モデルファイルに含まれる前記アーキテクチャ情報をもとに対応する前記画像照合モデルを呼び出し、呼び出された前記画像照合モデルに前記画像データと前記モデルファイルに含まれる前記パラメータ情報を与え、当該画像照合モデルにより前記画像データから特徴量を抽出する処理と抽出された前記特徴量をもとに画像照合結果を生成する処理を行い、前記画像照合結果を前記画像照合モデルから受け取って外部へ出力する情報処理部と
を備える画像照合処理装置。

【請求項2】

前記記憶部に保存される前記モデルファイルは、前記画像データの画像サイズを指定する情報をさらに含み、
前記情報処理部は、前記画像データに対し前記モデルファイルに含まれる画像サイズを指定する情報に従い画像リサイズを含む前処理をさらに行う、
請求項１に記載の画像照合処理装置。

【請求項3】

前記情報処理部は、前記画像照合モデルにより、前記画像データから抽出された前記特徴量と予め設定された対象画像の特徴量との間の類似度を算出し、算出された類似度を含む前記画像照合結果を生成する、請求項１に記載の画像照合処理装置。

【請求項4】

前記情報処理部は、算出された類似度を予め設定された判定閾値の範囲内にするための正規化する処理をさらに行う、請求項３に記載の画像照合処理装置。

【請求項5】

カメラから取得される画像データに対し、アルゴリズムの異なる複数の画像照合モデルを選択的に用いて画像照合処理を行う装置が実行する画像照合処理方法であって、
前記複数の画像照合モデルの各々に対応する、学習済のパラメータ情報と、前記画像照合モデルを識別するアーキテクチャ情報とを少なくとも含むモデルファイルを生成し、記憶部に保存する過程と、
前記モデルファイルに含まれる前記アーキテクチャ情報をもとに対応する前記画像照合モデルを呼び出す過程と、
呼び出された前記画像照合モデルに、前記画像データと前記モデルファイルに含まれる前記パラメータ情報を与え、当該画像照合モデルにより前記画像データから特徴量を抽出する処理と抽出された前記特徴量をもとに画像照合結果を生成する処理を行う過程と、
前記画像照合結果を前記画像照合モデルから受け取って外部へ出力する過程と
を備える画像照合処理方法。

【請求項6】

請求項１乃至４のいずれかに記載の画像照合処理装置が備える前記情報処理部による各処理を、前記画像照合処理装置が備えるプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の実施形態は、例えば人物の撮像画像を照合するために使用される画像照合処理装置、方法およびプログラムに関する。

【背景技術】

【0002】

例えば、店舗やオフィスビル、駅の構内、道路等のように不特定多数の人が利用する場所に監視カメラを設置し、この監視カメラにより得られる画像情報に基づいて不審者等の監視対象を検知するシステムが知られている。例えば特許文献１には、建物の出入り口に設置されたカメラにより撮像された人物の顔画像を予め記憶された基準顔画像と照合してその類似度を算出し、算出された類似度を閾値と比較して両画像が一致するか否かを判定し、その判定結果をインタフェース部から外部端末へ出力する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６６２７８９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、画像照合の分野では、画像処理技術の発展により様々な照合アルゴリズムが開発され、例えば用途や環境条件に応じて適切な照合アルゴリズムを選択的に使用したり、追加することが考えられている。しかし、従来のシステムでは、照合アルゴリズム毎に専用のインタフェースを設け、このインタフェースを介して外部へ照合結果を出力するようにしている。このため、照合アルゴリズムを追加又は変更する毎に大掛かりな設定変更が必要となり、その作業に多くの労力と時間を要するという課題があった。

【0005】

この発明は上記事情に着目してなされたもので、少ない設定変更で照合アルゴリズムの追加または変更を可能にする技術を提供しようとするものである。

【課題を解決するための手段】

【0006】

上記課題を解決するためにこの発明に係る画像照合処理装置又は方法の一態様は、カメラから取得される画像データに対し、アルゴリズムの異なる複数の画像照合モデルを選択的に用いて画像照合処理を行う画像照合処理装置にあって、前記複数の画像照合モデルの各々に対応する、学習済のパラメータ情報と、前記画像照合モデルを識別するアーキテクチャ情報とを少なくとも含むモデルファイルを記憶部に保存し、前記モデルファイルに含まれる前記アーキテクチャ情報をもとに対応する画像照合モデルを呼び出し、呼び出された前記画像照合モデルに前記画像データと前記モデルファイルに含まれる前記パラメータ情報を与え、当該画像照合モデルにより前記画像データから特徴量を抽出する処理と抽出された前記特徴量をもとに画像照合結果を生成する処理を行い、前記画像照合結果を前記画像照合モデルから受け取って外部へ出力する処理を実行するようにしたものである。

【発明の効果】

【0007】

この発明の一態様によれば、例えば、新しいモデルに対応する専用の処理手順を定義したファイルを最初から作り直す必要がなくなり、これによりシステムの設計者または管理者の作業負担を大幅に軽減することが可能となる。

【0008】

すなわちこの発明の一態様によれば、少ない設定変更で照合アルゴリズムの追加または変更を可能にする技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、この発明の一実施形態に係る画像照合処理装置を映像解析エンジンに備えたシステムの構成を示すブロック図である。

【図2】図２は、この発明の一実施形態に係る画像照合処理装置を備えた映像解析エンジンのハードウェアおよびソフトウェア構成を示すブロック図である。

【図3】図３は、図２に示した画像照合処理装置において実行される処理手順と処理内容を示すフローチャートである。

【図4】図４は、図２に示した画像照合処理装置において使用されるモデルファイルに保存される情報の一例を示す図である。

【図5】図５は、図２に示した画像照合処理装置において使用されるモデルファイルに保存される情報の他の例を示す図である。

【図6】図６は、図２に示した画像照合処理装置による、モデルファイルに定義されたアーキテクチャ名に対応するモデルの呼び出しから、入力画像データの特徴量抽出までの一連の処理内容を示すソースコードの一例を示す図である。

【図7】図７は、従来の特定モデル専用のインタフェースによる重み情報の読み込みから入力画像データの特徴量抽出までの一連の処理内容を示すソースコードの一例を示す図である。

【図8】図８は、図２に示した画像照合処理装置による、モデルの呼び出しを行うための呼び出し関数を示すソースコードの一例を示す図である。

【図9】図９は、図２に示した画像照合処理装置による、画像間の類似度計算とその正規化処理を示すソースコードの一例を示す図である。

【図10】図１０は、類似度の正規化処理の概念を説明するための図である。

【図11】図１１は、図２に示した画像照合処理装置により得られる正規化処理後の類似度を、従来の正規化処理を行わない場合の類似度と対比して示した図である。

【発明を実施するための形態】

【0010】

以下、図面を参照してこの発明に係わる実施形態を説明する。

【0011】

［一実施形態］
（構成例）
（１）システム
図１は、この発明の一実施形態に係る画像照合処理装置を映像解析エンジンに備えたシステムの構成の一例を示すブロック図である。

【0012】

このシステムは、監視カメラＣＭと、監視カメラＣＭに接続される映像解析エンジンＶＥと、映像解析エンジンＶＥとの間で図示しないネットワークを介してデータ通信が可能なＷｅｂサーバＳＶと、ＷｅｂサーバＳＶに接続されるモニタ装置ＭＴとを備えている。

【0013】

このうちＷｅｂサーバＳＶは、Ｗｅｂアプリケーション実行部５０と、ファイルサーバ６０と、データベースサーバ７０とを備える。ＷｅｂサーバＳＶは、後述する映像解析エンジンＶＥから出力される画像データおよび画像解析結果を表す情報を取得してデータベースサーバ７０に記憶する。またＷｅｂサーバＳＶは、上記画像データおよび画像解析結果を表す情報に基づいて監視業務に係る種々の処理を行い、その結果をモニタ装置ＭＴに表示させる。

【0014】

なお、ネットワークとしては、例えば有線ＬＡＮ（Local Area Network）または無線ＬＡＮが用いられるが、他のどのようなネットワークが使用されてもよい。

【0015】

映像解析エンジンＶＥは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを備え、このハードウェアプロセッサに対し、バスを介して、プログラム記憶領域およびデータ記憶領域を有する記憶ユニットと、入出力インタフェース（入出力Ｉ／Ｆ）と、通信インタフェース（通信Ｉ／Ｆ）を接続した、いわゆる情報処理装置により構成される。

【0016】

また映像解析エンジンＶＥは、その機能として、一実施形態の画像照合処理装置として機能する画像照合処理部ＡＤと、カメラインタフェース（カメラＩ／Ｆ）３０と、画像照合処理部ＡＤが画像照合処理のために使用する複数のモデル４１～４ｎと、ストリーム処理部ＳＢとを備えている。

【0017】

なお、この例では、カメラＩ／Ｆ３０およびモデル４１～４ｎが画像照合処理部ＡＤの外に設けた場合を示しているが、カメラＩ／Ｆ３０およびモデル４１～４ｎは画像照合処理部ＡＤ内に設けられてもよい。

【0018】

ストリーム処理部ＳＢは、画像照合処理部ＡＤにより得られる画像間の類似度スコアを示すデータをＷｅｂサーバＳＶへ送信すると共に、ＷｅｂサーバＳＶから送られる各種制御データを受信する機能を有する。またストリーム処理部ＳＢは、映像解析エンジンＶＥが例えば複数の画像照合モジュールを備えている場合に、それぞれの画像照合モジュールに対応する画像照合処理部を時系列に順次に呼び出して類似度スコアを受け取り、この類似度スコアを含む画像解析結果を表す情報を、対応する画像データと共にＷｅｂサーバＳＶへ送信する機能を有している。

【0019】

（２）装置
図２は、映像解析エンジンＶＥのソフトウェア構成を示す機能ブロック図である。
カメラＩ／Ｆ３０は、監視カメラＣＭから出力される映像データを受信して画像照合処理部ＡＤへ出力する機能を有する。

【0020】

モデル４１～４ｎは、それぞれ異なるアルゴリズムにより、例えば人物の全身または半身の照合を行う。より具体的には、例えばニューラルネットワークを使用して、入力された画像データから特徴量（特徴ベクトルとも云う）を抽出する処理と、抽出された上記特徴量と、予め与えられている人物の画像から抽出した特徴量との間の距離を計算することで、画像間の類似度スコアを求める処理を行う。

【0021】

画像照合処理部ＡＤは、情報処理部１０と、記憶部２０とを備える。記憶部２０は、映像解析エンジンＶＥが備える記憶ユニットの一部を使用したもので、画像照合処理に係る各種プログラムとデータを記憶する。データには、モデル４１～４ｎが画像照合処理のために使用する学習済のモデルファイル２１～２ｎが含まれる。

【0022】

モデルファイル２１～２ｎには、例えば図４および図５のソースコード１，２に示すように、それぞれ対応するモデル（アーキテクチャとも云う）に与える学習済のパラメータ情報としての重み情報（weight）と、画像の縦方向（高さ方向）の画像サイズ（height）および横幅方向の画像サイズ（width）を指定する情報と、アーキテクチャ名（architecture）を指定する情報が保存される。

【0023】

情報処理部１０は、上記記憶部２０に格納された各種プログラムを映像解析エンジンＶＥが備えるハードウェアプロセッサに実行させることで、画像照合処理に係る各種処理を実行する。実行される処理機能には、モデル呼出処理部１１と、画像データ取得処理部１２と、画像前処理部１３と、特徴量抽出処理部１４と、類似度算出処理部１５と、正規化・出力処理部１６とを備える。

【0024】

モデル呼出処理部１１は、モデルファイル２１～２ｎのうち予め指定されたモデルファイルから保存情報を読み込み、この保存情報に含まれるアーキテクチャ名に対応するモデル（例えば４ｋ）を呼出関数により呼び出す処理を行う。

【0025】

画像データ取得処理部１２は、監視カメラＣＭにより撮像された映像データを、カメラＩ／Ｆ３０を介してフレーム単位で、画像データとして取得する処理を行う。

【0026】

画像前処理部１３は、取得された上記画像データに対し、上記モデルファイルから読み込んだ保存情報に含まれる画像サイズに従い画像リサイズなどの前処理を行う。そして、上記モデル呼出処理部１１により呼び出されたモデル４ｋに入力する処理を行う。

【0027】

特徴量抽出処理部１４は、上記モデル４ｋに上記保存情報に含まれる学習済の重み情報を与え、これによりモデル４ｋにより上記入力画像データから特徴量を抽出する処理を行う。

【0028】

類似度算出処理部１５は、上記特徴量抽出処理部１４により抽出された入力画像の特徴量と、予め設定された人物のクエリ画像から抽出した特徴量との間の距離を計算することで、画像間の類似度スコアを求める処理を行う。

【0029】

正規化・出力処理部１６は、上記算出された類似度スコアを、その範囲がＷｅｂサーバＳＶにより予め定義された閾値の範囲内になるように正規化処理を行う。そして正規化・出力処理部１６は、上記類似度算出処理部１５により得られる正規化処理後の類似度スコアを、ストリーム処理部ＳＢの要求に従い、画像解析結果を表す情報としてストリーム処理部ＳＢへ出力する処理を行う。

【0030】

（動作例）
次に、以上のように構成された映像解析エンジンＶＥによる画像照合処理の動作例を説明する。
図３は、モデル４１～４ｎを用いた画像照合処理部ＡＤの処理手順と処理内容を示すフローチャートである。

【0031】

（１）システム運用前の事前設定
先ず、システム運用前の学習フェーズにおいて、映像解析エンジンＶＥで使用されるまたは使用する予定の複数のモデルの各々について学習を行う。そして、学習により得られた重み情報（weight）と、モデル毎に決められる入力画像の縦（高さ）方向のサイズ（height）および横幅方向のサイズ（width）と、モデル毎のアーキテクチャ名（architecture）とがシリアライズされたモデルファイル２１～２ｎを作成し、記憶部２０に記憶させる。図４および図５に示すソースコード１，２は、それぞれアーキテクチャ名ＡＣ１，ＡＣ２に対応するモデルファイルを定義するソースコードの一例を示したものである。

【0032】

上記学習処理は、システムの運用開始後に新たなモデルを追加する場合にも同様に行われ、この学習処理により上記新たなモデルに対応するモデルファイルが作成されて、記憶部２０に追加記憶される。

【0033】

また、新たなモデルを追加する場合、当該モデルを呼び出すための呼出関数を定義するソースコードに、上記新たなモデルに対応するアルゴリズムを追加する。このときの呼出関数を定義するソースコードの具体例は後に示す。

【0034】

（２）システムの運用時の動作
（２－１）モデルの呼び出し
システムの運用が開始されると、画像照合処理部ＡＤの情報処理部１０は、先ずモデル呼出処理部１１の制御の下、ステップＳ１０において、記憶部２０に記憶された複数のモデルファイル２１～２ｎの中から、使用するモデルに対応するモデルファイルを選択し、その保存情報を読み込む。例えば、いまアーキテクチャ名ＡＣ１に対応するモデルが指定されていれば、当該モデルに対応するモデルファイル２１を選択し、当該モデルファイル２１から図４に示す保存情報を読み込む。

【0035】

モデル呼出処理部１１は、次にステップＳ１１において、上記モデルファイル２１から読み込んだ保存情報に含まれるアーキテクチャ名ＡＣ１をもとに、対応するモデル４１を呼び出す。このモデルの呼出処理は、他のモデル（例えば４２）についても、アーキテクチャ名（この場合はＡＣ２）をもとに同様に行うことができる。

【0036】

図６に示すソースコード３は、一実施形態に係るクラスCLASS1における一連の処理手順の一例を示すものである。この例では、load関数によりモデルファイルの読み込みが行われ、呼出関数obtain-modelにより、上記モデルファイルに記載されたアーキテクチャ名に対応するモデルの呼び出しが行われる。

【0037】

因みに、図７に示すソースコード４は、従来のクラスCLASS0（例えばMCCNN: Multichannel Convolutional Neural Network）における処理手順を示したものである。この場合には、load関数によりモデルファイルから重み情報（weight）のみが読み込まれた後、呼出関数が実行されずに、そのままpredict関数により画像データの読み込み以降の処理が実行される。そのため、新たなモデルを呼び出そうとすれば、それ専用のソースコードを別途作成して設定する必要がある。

【0038】

図８に示すソースコード５は、上記呼出関数obtain-modelの内容の一例を示すものである。この例に示すように、呼出関数obtain-modelには、使用されるモデル（アーキテクチャ名ＡＣ１，ＡＣ２に対応）および使用を予定している新しいアルゴリズムに対応するモデル（アーキテクチャ名newmodel）の各々に対応する処理手順が定義される。すなわち、新しいモデルを使用する際には、それに対応するアーキテクチャ名newmodelに対応付けて処理内容を示すソースコードを追加するだけでよく、新しいモデルに対応する専用の呼出関数を別途作成する必要がない。

【0039】

（２－２）画像データの取得
次に画像照合処理部ＡＤの情報処理部１０は、画像データ取得処理部１２の制御の下、ステップＳ１２において、監視カメラＣＭにより撮像された映像データを、カメラＩ／Ｆ３０からフレーム単位で画像データとして取得する。なお、画像データの取得は、複数フレーム毎または一定の時間間隔で行われるようにしてもよい。画像データ取得処理部１２は、取得された画像データを記憶部２０内の画像記憶領域に一旦保存する。

【0040】

以上の画像データの読み込み処理は、図６に示すソースコード３においては、第１２行～１３行に記載されたpredict関数の実行により行われる。同図では画像データをｘで示している。

【0041】

（２－３）画像の前処理
続いて画像照合処理部ＡＤの情報処理部１０は、画像前処理部１３の制御の下、ステップＳ１３において、上記画像記憶領域から画像データを読み出し、当該画像データに対し、先にモデルファイルから読み込んだ保存情報に含まれる画像サイズを示す情報（height，width）に従い画像リサイズなどの前処理を行う。そして、画像前処理部１３は、ステップＳ１４において、上記前処理後の画像データを対応するモデル４１に入力する。上記前処理は、図６に示すソースコード３においては、第１４行～１５行に示される。

【0042】

（２－４）特徴量の抽出
画像データが入力されると、特徴量抽出処理部１４として機能するモデルは、ステップＳ１５において、先にモデルファイルから読み込んだ保存情報に含まれる重み情報（weight）に従い、上記画像データから人物の全身または半身の特徴量を抽出する。そして、抽出された特徴量を類似度算出処理部１５に渡す。この特徴量抽出処理は、図６に示すソースコード３では第１６行に示される。同図では、特徴量をｙで示している。

【0043】

（２－５）類似度の算出と正規化処理
特徴量が得られると、類似度算出処理部１５として機能するモデルは、ステップＳ１６において、抽出された上記入力画像の類似度と、予め設定された人物のクエリ画像から抽出した特徴量との間の距離を計算し、これにより各画像間の類似度スコアを求める。

【0044】

類似度スコアが算出されると、画像照合処理部ＡＤの情報処理部１０は、続いて正規化・出力処理部１６の制御の下、ステップＳ１７において、上記類似度スコアをその範囲がＷｅｂサーバＳＶにより予め定義された閾値の範囲内になるように正規化する。

【0045】

図９に示すソースコード６は、特徴量の抽出処理から類似度スコアの算出処理および正規化処理までの処理手順の一例を示すものである。すなわち、モデルにおいて、画像ｘ１および画像ｘ２からそれぞれ特徴量ｙ１，ｙ２が抽出される。また、モデルファイルからモデル固有の画像間類似度の平均meanおよび分散varianceが読み出される。そして、類似度スコアを計算する関数sim、および平均meanと分散varianceを用いてｙ１，ｙ２間の正規化された類似度が算出される。

【0046】

尚、上記した正規化処理のため、モデルは学習段階で多数のサンプル画像間の類似度を計算し、サンプル画像間の類似度の平均と分散をモデルファイルにあらかじめ保持している。

【0047】

図１０は、上記画像照合処理部ＡＤにより行われる類似度スコアの正規化処理の一例を説明するためのものである。この例は、アーキテクチャＡＣ１，ＡＣ２についてそれぞれ得られる類似度スコアが0～2000，0～2であり、ＷｅｂサーバＳＶで定義された閾値が0～31である場合に、上記各類似度スコアを閾値が0～31の範囲内にするべく0～30に正規化する場合を示している。また図１１は、一実施形態における類似度スコアの出力結果と、正規化処理を行わない従来における類似度スコアの出力結果を対比して表す図である。

【0048】

このように正規化が行われた類似度スコアをＷｅｂサーバＳＶへ出力すれば、ＷｅｂサーバＳＶではモデル毎にその類似度スコアを補正する処理を行う必要がなくなり、これによりＷｅｂサーバＳＶ側の処理機能を設計する技術者の負荷の軽減と、ＷｅｂサーバＳＶにおける処理負荷を軽減することが可能となる。

【0049】

ちなみに、従来では、類似度のスコア範囲として例えば0～3000を出力するモデルがあったとすると、設計技術者が手動で「スコアを100で割り算する処理」を逐一追加し、これによりスコア範囲を0～30にする必要があった。このとき、「100」という数字はモデルごとに変わるため、従来の手法ではモデルごとに類似度出力値域を調べる必要があり、その作業負担が極めて高くなる。

【0050】

これに対し、一実施形態のように正規化処理手順を導入すると、モデルファイル自体が正規化パラメータ（平均meanと分散variance）を保持しているため、設計技術者がスコア出力範囲を確認して特別な処理を追加する必要が不要となる。

【0051】

（２－６）類似度スコアの出力
画像照合処理部ＡＤの情報処理部１０は、正規化・出力処理部１６の制御の下、ステップＳ１８において、上記算出された正規化処理後の類似度スコアをストリーム処理部ＳＢへ出力する。ストリーム処理部ＳＢは、上記正規化処理後の類似度スコアをＷｅｂサーバＳＶへ送信する。

【0052】

（作用・効果）
以上述べたように一実施形態では、映像解析エンジンＶＥに設けられる画像照合処理部ＡＤにおいて、以下のような処理を行っている。すなわち、使用されるモデルおよび使用を予定している新しいモデルの各々に対応して、学習済のパラメータ情報としての重み情報（weight）と、画像の縦方向（高さ方向）の画像サイズ（height）および横幅方向の画像サイズ（width）を指定する情報と、アーキテクチャ名（architecture）を指定する情報を含むモデルファイルを作成して記憶部２０に保存する。またそれと共に、上記各モデルに対し共通に機能するクラスCLASS1を定義し、このクラスCLASS1で定義される呼出関数に上記各モデルに対応する処理手順を示すソースコードを記述する。そして、上記CLASS1で定義される処理手順に従い、モデルファイルから読み込んだアーキテクチャ名に従い対応するモデルを呼び出す処理、画像データを取得する処理、取得された画像データに対しモデルファイルで定義された画像サイズに従い画像リサイズを行う前処理、前処理後の画像データを上記モデルに入力して特徴量を抽出する処理、抽出された特徴量をもとに検知対象画像の特徴量との類似度スコアを算出する処理を行うようにしている。

【0053】

従って、新しいモデルを使用しようとする際には、それに対応するアーキテクチャ名newmodelを含むモデルファイルを用意すると共に、新しいモデルの処理内容を示すソースコードを呼出関数に追記するだけでよく、新しいモデルに対応する専用の処理手順を定義したファイルを最初から作り直す必要がない。このため、システムの設計者または管理者の作業負担を大幅に軽減することが可能となる。

【0054】

また一実施形態では、画像照合処理部ＡＤにおいて、画像間の特徴量の類似度スコアを算出する処理に続き、算出された類似度スコアをＷｅｂサーバＳＶで定義された閾値の範囲内にするべく正規化処理を行い、この正規化処理された類似度スコアをストリーム処理部ＳＢを介してＷｅｂサーバＳＶへ送信するようにしている。従って、ＷｅｂサーバＳＶではモデル毎にその類似度スコアを補正する処理を行う必要がなくなり、これによりＷｅｂサーバＳＶ側の処理機能を設計する技術者の負荷の軽減と、ＷｅｂサーバＳＶにおける処理負荷を軽減することが可能となる。

【0055】

［その他の実施形態］
前記一実施形態では、人物の全身または半身の照合を行う場合を例にとって説明したが、人物の顔を照合する場合にもこの発明は適用可能である。その他、画像照合処理装置の構成やその処理手順および処理内容、モデルの種類やモデルファイルに保存される情報の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

【0056】

以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0057】

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0058】

ＣＭ…監視カメラ
ＶＥ…映像解析エンジン
ＡＤ…画像照合処理部
ＳＢ…ストリーム処理部
ＳＶ…Ｗｅｂサーバ
ＭＴ…モニタ装置
１０…情報処理部
１１…モデル呼出処理部
１２…画像データ取得処理部
１３…画像前処理部
１４…特徴量抽出処理部
１５…類似度算出処理部
１６…正規化・出力処理部
２０…記憶部
２１～２ｎ…モデルファイル
３０…カメラＩ／Ｆ
４１～４ｎ…画像照合用のモデル
５０…Ｗｅｂアプリケーション実行部
６０…ファイルサーバ
７０…データベースサーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】