特許 6981553 識別システム、モデル提供方法およびモデル提供プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6981553

(24)【登録日】2021年11月22日

(45)【発行日】2021年12月15日

(54)【発明の名称】識別システム、モデル提供方法およびモデル提供プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20211202BHJP

   G06T 7/00 20170101ALI20211202BHJP

【ＦＩ】

   G06N20/00 130

   G06T7/00 350B

【請求項の数】7

【全頁数】33

(21)【出願番号】特願2020-540901(P2020-540901)

(86)(22)【出願日】2018年9月4日

(86)【国際出願番号】JP2018032761

(87)【国際公開番号】WO2020049636

(87)【国際公開日】20200312

【審査請求日】2020年11月5日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】鷹野 芙美代

(72)【発明者】

【氏名】竹中 崇

(72)【発明者】

【氏名】柴田 誠也

(72)【発明者】

【氏名】井上 浩明

(72)【発明者】

【氏名】高橋 勝彦

(72)【発明者】

【氏名】井下 哲夫

【審査官】 坂庭 剛史

(56)【参考文献】

【文献】 特表２０１７−５１９２８２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０１０３９９６（ＵＳ，Ａ１）

【文献】 特開２０１５−１２９９８８（ＪＰ，Ａ）

【文献】 LEISTNER,C., ROTH P.M., GRABNER H., BISCHOF H., STARZACHER, A. and RINNER B.，Visual on-line Learning in Distributed Camera Networks，2008 Second ACM/IEEE International Conference on Distributed Smart Cameras，米国，IEEE [online]，2008年09月30日，p.1-10

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習手段と、
前記学習手段によって学習された前記モデルを記憶する第１のモデル記憶手段と、
前記学習手段によって学習された前記モデルを用いて、データが表わす物体を識別する第１の識別手段と、
予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ記憶する第２のモデル記憶手段と、
前記第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、前記第２のモデル記憶手段に記憶されている前記第１の識別システムで学習されたモデルを、前記第１の識別システムから受信したモデルに更新するモデル更新手段と、
所定の場合に、前記第２のモデル記憶手段に記憶されている個々のモデル毎に、前記第１の識別手段が識別対象とした前記データが表わす物体を識別する第２の識別手段とを備え、
前記学習手段は、
前記第２の識別手段が導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、
前記学習手段によって学習されたモデルを、予め定められた１つまたは複数の第２の識別システムに送信するモデル送信手段を備える
ことを特徴とする識別システム。

【請求項2】

モデル送信手段は、
学習手段がモデルを再学習した場合に、当該モデルを第２の識別システムに送信する
請求項１に記載の識別システム。

【請求項3】

モデル送信手段は、
定期的に、第１のモデル記憶手段に記憶されているモデルを第２の識別システムに送信する
請求項１に記載の識別システム。

【請求項4】

第２の識別手段が第２のモデル記憶手段に記憶されている個々のモデル毎に導出した識別結果を統合することによって、第１の識別手段が識別対象としたデータに対するラベルを特定する統合手段を備え、
学習手段は、
前記統合手段によって特定されたラベルと、前記データとを含む教師データを用いて、モデルを再学習し、
モデル送信手段は、
前記第１の識別手段が再学習された前記モデルを用いて導出した前記データの識別結果と、前記統合手段によって特定された前記データに対するラベルとが一致する場合に、再学習された前記モデルを第２の識別システムに送信する
請求項１に記載の識別システム。

【請求項5】

モデル送信手段は、
学習手段がモデルを再学習した場合に、所定時間内で、第１の識別手段が前記モデルを用いて導出した識別結果の正解率が、予め定められた閾値以上である場合に、前記モデルを第２の識別システムに送信する
請求項１に記載の識別システム。

【請求項6】

データが表わす物体を識別するためのモデルを、教師データを用いて学習し、前記モデルを第１のモデル記憶手段に記憶させ、
前記第１のモデル記憶手段に記憶されている前記モデルを用いて、データが表わす物体を識別する第１の識別処理を実行し、
予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ第２のモデル記憶手段に記憶させ、
前記第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、前記第２のモデル記憶手段に記憶されている前記第１の識別システムで学習されたモデルを、前記第１の識別システムから受信したモデルに更新し、
所定の場合に、前記第２のモデル記憶手段に記憶されている個々のモデル毎に、前記第１の識別処理で識別対象とした前記データが表わす物体を識別する第２の識別処理を実行し、
前記第２の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、
前記第１のモデル記憶手段に記憶されているモデルを、予め定められた１つまたは複数の第２の識別システムに送信する
ことを特徴とするモデル提供方法。

【請求項7】

コンピュータに、
データが表わす物体を識別するためのモデルを、教師データを用いて学習し、前記モデルを第１のモデル記憶手段に記憶させる学習処理、
前記第１のモデル記憶手段に記憶されている前記モデルを用いて、データが表わす物体を識別する第１の識別処理、
予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ第２のモデル記憶手段に記憶させる処理、
前記第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、前記第２のモデル記憶手段に記憶されている前記第１の識別システムで学習されたモデルを、前記第１の識別システムから受信したモデルに更新するモデル更新処理、
所定の場合に、前記第２のモデル記憶手段に記憶されている個々のモデル毎に、前記第１の識別処理で識別対象とした前記データが表わす物体を識別する第２の識別処理、
前記第２の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新する再学習処理、および、
前記第１のモデル記憶手段に記憶されているモデルを、予め定められた１つまたは複数の第２の識別システムに送信するモデル送信処理
を実行させるためのモデル提供プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データをモデルに適用することによって、そのデータが表わす物体を識別する識別システム、並びに、その識別システムが他の識別システムにモデルを提供するモデル提供方法およびモデル提供プログラムに関する。

【背景技術】

【0002】

一般的な識別システムの例を以下に説明する。一般的な識別システムは、その識別システムが備えているカメラが撮影によって得た画像と、その画像に写っている物体を表したラベルとの組を教師データとして、機械学習によってモデルを予め学習する。そして、その一般的な識別システムは、カメラが撮影によって新たに得た画像をそのモデルに適用することによって、その画像に写っている物体を識別する。

【0003】

このような一般的な識別システムは、不審な車両や不審な人物を検出し、犯罪等を未然に防ぐ目的で用いられたり、白杖または車椅子の使用者を検出し、白杖または車椅子の使用者を誘導する等の支援の目的で用いられたりする。

【0004】

ここでは、画像に写っている物体を識別する識別システムを例にして説明したが、一般的な識別システムとして、音声データが表わす物体を識別する識別システムも考えられる。以下、画像に写っている物体を識別する識別システムを例にして説明する。

【0005】

なお、特許文献１には、撮像環境の違いによる追加学習の長期化を回避する画像認識方法が記載されている。特許文献１に記載の画像認識方法は、複数のカメラ装置を含むカメラシステムにおける画像認識方法である。そして、特許文献１に記載の画像認識方法では、第１カメラ装置から、第１画像および第１撮像環境情報を取得する。そして、各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、その各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、第１撮像環境情報に示される第１撮像環境と同一または類似の撮像環境に対応する第１検出器関数を示す第１認識制御パラメータを選択する。そして、第１認識制御パラメータで示された第１検出器関数を用いて、第１カメラ装置から取得した第１画像を認識する。

【0006】

また、特許文献２には、画像監視装置が記載されている。特許文献２に記載の画像監視装置は、検出された顔特徴点を用いて顔領域の正規化を行うとともに、人物の辞書との照合を行う。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１６−１５１１６号公報

【特許文献2】特開２００７−３００１８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

前述の一般的な識別システムが複数台設けられ、各識別システムのカメラが各地に設置されることが考えられる。

【0009】

ここで、１台のカメラが撮影によって得た画像における物体の写り方に、偏りが生じる場合がある。例えば、ある１台のカメラは、そのカメラから見て右側から左側への方向に進行する自動車を撮影する機会が多いが、その逆方向に進行する自動車を撮影する機会が少ないとする。この場合、右側から左側への方向に進行する自動車が写った画像は多く得られるが、その逆方向に進行する自動車が写った画像は少ししか得られない。すると、教師データには、右側から左側への方向に進行する自動車が写った画像が多く含まれ、その逆方向に進行する自動車が写った画像は少ししか含まれない。その結果、教師データを用いて機械学習によって得たモデルに、右側から左側への方向に進行する自動車が写った画像を適用した場合には、識別システムは高い精度で自動車を識別するが、逆方向に進行する自動車が写った画像をそのモデルに適用した場合の自動車の識別精度は低くなる。

【0010】

各地に配置されるそれぞれの識別システムにおいて、データが表わす物体を識別するためのモデルの識別精度が向上することが好ましい。

【0011】

そこで、本発明は、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる識別システム、モデル提供方法およびモデル提供プログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明による識別システムは、データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習手段と、学習手段によって学習されたモデルを記憶する第１のモデル記憶手段と、学習手段によって学習されたモデルを用いて、データが表わす物体を識別する第１の識別手段と、予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ記憶する第２のモデル記憶手段と、第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、第２のモデル記憶手段に記憶されているその第１の識別システムで学習されたモデルを、その第１の識別システムから受信したモデルに更新するモデル更新手段と、所定の場合に、第２のモデル記憶手段に記憶されている個々のモデル毎に、第１の識別手段が識別対象としたデータが表わす物体を識別する第２の識別手段とを備え、学習手段が、第２の識別手段が導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、学習手段によって学習されたモデルを、予め定められた１つまたは複数の第２の識別システムに送信するモデル送信手段を備えることを特徴とする。

【0013】

また、本発明によるモデル提供方法は、データが表わす物体を識別するためのモデルを、教師データを用いて学習し、モデルを第１のモデル記憶手段に記憶させ、第１のモデル記憶手段に記憶されているモデルを用いて、データが表わす物体を識別する第１の識別処理を実行し、予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ第２のモデル記憶手段に記憶させ、第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、第２のモデル記憶手段に記憶されているその第１の識別システムで学習されたモデルを、その第１の識別システムから受信したモデルに更新し、所定の場合に、第２のモデル記憶手段に記憶されている個々のモデル毎に、第１の識別処理で識別対象としたデータが表わす物体を識別する第２の識別処理を実行し、第２の識別処理で導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、第１のモデル記憶手段に記憶されているモデルを、予め定められた１つまたは複数の第２の識別システムに送信することを特徴とする。

【0014】

また、本発明によるモデル提供プログラムは、コンピュータに、データが表わす物体を識別するためのモデルを、教師データを用いて学習し、モデルを第１のモデル記憶手段に記憶させる学習処理、第１のモデル記憶手段に記憶されているモデルを用いて、データが表わす物体を識別する第１の識別処理、予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ第２のモデル記憶手段に記憶させる処理、第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、第２のモデル記憶手段に記憶されているその第１の識別システムで学習されたモデルを、その第１の識別システムから受信したモデルに更新するモデル更新処理、所定の場合に、第２のモデル記憶手段に記憶されている個々のモデル毎に、第１の識別処理で識別対象としたデータが表わす物体を識別する第２の識別処理、第２の識別処理で導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新する再学習処理、および、第１のモデル記憶手段に記憶されているモデルを、予め定められた１つまたは複数の第２の識別システムに送信するモデル送信処理を実行させることを特徴とする。

【発明の効果】

【0015】

本発明によれば、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の識別システムが複数設けられている状況を示す模式図である。

【図2】第１の識別システムおよび第２の識別システムの例を示す説明図である。

【図3】本発明の実施形態の識別システム１００の構成例を示すブロック図である。

【図4】内部生成モデルおよび外部生成モデルの例を示す模式図である。

【図5】第１の決定方法において決定部がディスプレイ装置上に表示する画面の例を示す模式図である。

【図6】第３の決定方法において決定部がディスプレイ装置上に表示する画面の例を示す模式図である。

【図7】領域修正ＧＵＩ表示制御部がディスプレイ装置に表示する画面の一例を示す模式図である。

【図8】領域修正ＧＵＩ表示制御部がディスプレイ装置に表示する画面の他の例を示す模式図である。

【図9】表示制御部が表示する画面の例を示す模式図である。

【図10】第１の演算方法の具体例を示す説明図である。

【図11】第２の演算方法の具体例を示す説明図である。

【図12】カメラが撮影を行ってから、第２の識別部が画像に対する識別処理を行うまでの処理経過の例を示すフローチャートである。

【図13】モデルを再学習し、そのモデルを第２の識別システムに送信する場合の処理経過の例を示すフローチャートである。

【図14】第３のモデル送信態様の処理経過の例を示すフローチャートである。

【図15】第４のモデル送信態様の処理経過の例を示すフローチャートである。

【図16】本発明の実施形態やその変形例における識別システムが備えるコンピュータの構成例を示す概略ブロック図である。

【図17】本発明の識別システムの概要を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態を図面を参照して説明する。

【0018】

図１は、本発明の識別システムが複数設けられている状況を示す模式図である。図１では、６個の識別システム１００が各所に設けられている場合を例示しているが、各所に設けられる識別システム１００の数は、特に限定されない。本実施形態では、複数の識別システム１００が同様の構成であるものとして説明する。

【0019】

各識別システム１００は、例えば、通信ネットワークを介して、通信可能である。

【0020】

個々の識別システム１００はそれぞれ、データ収集部（後述の図３に示すデータ収集部１０１）を備える。各識別システム１００のデータ収集部（図１において図示略。後述の図３を参照。）は、データを収集する各地に設置される。データ収集部は、データ収集部の設置場所におけるデータを収集する。例えば、データ収集部は、設置場所において画像や音声データを収集する。データ収集部は、カメラやマイクロホンによって実現される。例えば、データ収集部は、監視場所を撮影することによって画像を収集してもよい。また、例えば、設置場所において録音することによって音声データを収集してもよい。

【0021】

個々の識別システム１００は、データ収集部とは別にコンピュータを備え、そのコンピュータは、データ（画像や音声データ等）が表わす物体を識別する。

【0022】

また、個々の識別システム１００は、データ収集部が収集したデータを教師データとしてモデルを学習する。このモデルは、データが表わす物体を識別するためのモデルである。

【0023】

そして、各識別システム１００は、モデルを提供し合い、他の識別システム１００から提供されたモデルを利用して、自身のモデルを学習し直す。

【0024】

ここで、１つの識別システム１００に着目した場合、着目している識別システム１００に対してモデルを送信する他の識別システム１００が予め定められている。着目している識別システム１００に対してモデルを送信する他の識別システム１００を、第１の識別システムと称する。本実施形態では、着目している識別システム１００に対して、第１の識別システムが複数定められているものとして説明する。着目している識別システム１００は、第１の識別システムからモデルの提供を受けると言うことができる。

【0025】

また、着目している識別システム１００がモデルを送信するときの送信先となる他の識別システム１００が予め定められている。着目している識別システム１００がモデルを送信するときの送信先となる他の識別システム１００を、第２の識別システムと称する。本実施形態では、着目している識別システム１００に対して、第２の識別システムが１つまたは複数定められているものとして説明する。着目している識別システム１００は、第２の識別システムにモデルを提供すると言うことができる。

【0026】

第１の識別システムおよび第２の識別システムは、個々の識別システム１００毎に予め定められている。例えば、各識別システム１００を管理する管理者が、個々の識別システム１００毎に、第１の識別システムおよび第２の識別システムを予め定めておけばよい。

【0027】

各識別システム１００は、同様の構成であるが、第１の識別システムおよび第２の識別システムは、識別システム１００毎に個別に定められる。

【0028】

図２は、第１の識別システムおよび第２の識別システムの例を示す説明図である。ここでは、図２に示す識別システム１００ａに着目するものとする。また、図２において、矢印は、モデルが送られる方向を表わしている。図２に示す例では、着目している識別システム１００ａに関して、識別システム１００ｂ，１００ｃが第１の識別システムとして定められ、識別システム１００ｂ，１００ｃ，１００ｄが第２の識別システムとして定められている。識別システム１００ｂ，１００ｃ，１００ｄに関しても、それぞれ個別に、第１の識別システムおよび第２の識別システムが定められている。

【0029】

図３は、本発明の実施形態の識別システム１００の構成例を示すブロック図である。識別システム１００は、データ収集部１０１と、コンピュータ１０２とを備える。データ収集部１０１とコンピュータ１０２とは、有線または無線で通信可能に接続される。以下の説明では、データ収集部１０１がカメラである場合を例にして説明し、データ収集部１０１をカメラ１０１と記す。カメラ１０１は、そのカメラ１０１の設置場所から撮影を行う。なお、カメラ１０１の設置場所と、コンピュータ１０２の設置場所とが異なっていてもよい。

【0030】

コンピュータ１０２は、学習部１０３と、第１のモデル記憶部１０４と、データ取得部１０５と、第１の識別部１０６と、決定部１０７と、領域修正ＧＵＩ（Graphical User Interface）表示制御部１０８と、領域抽出部１０９と、第２のモデル記憶部１１０と、モデル更新部１２１と、第２の識別部１１１と、表示制御部１１２と、属性データ記憶部１１３と、統合部１１４と、ディスプレイ装置１１５と、マウス１１６と、結果記憶部１１７と、モデル送信部１２２とを備える。

【0031】

学習部１０３は、カメラ１０１が撮影によって得た画像を教師データとして、機械学習によってモデルを学習する。以下、学習部１０３が、ディープラーニングによってモデルを学習する場合を例にして説明する。教師データは、例えば、カメラ１０１が撮影によって得た画像と、その画像に写っている物体を示すラベルとの組の集合である。ラベルは、識別システム１００のオペレータが決定すればよい。学習は、そのような組の集合を教師データとして、モデルを学習（生成）する。

【0032】

また、学習部１０３は、所定の画像と、その画像に対するラベルが特定された場合、その画像とラベルの組を教師データに追加して、ディープラーニングによって、モデルを再学習する。所定の画像とは、後述の決定部１０７が、第２の識別部１１１に識別処理を実行させると決定した画像である。なお、本実施形態では、そのように決定された画像において、物体が写っている領域が抽出され、抽出された領域の画像とラベルとの組が教師データに追加される場合を例にして説明する。

【0033】

学習部１０３が学習によって生成したモデルを、以下、内部生成モデルと記す場合がある。また、後述するように、第２のモデル記憶部１１０は、図３に示す識別システム１００に対して予め定められている第１の識別システムで同様に生成されたモデルを記憶する。以下、内部生成モデルと区別するために、第１の識別システムで生成されたモデルを、外部生成モデルと記す場合がある。なお、後述のモデル更新部１２１が、第１の識別システムからモデルを受信し、そのモデルを、外部生成モデルとして第２のモデル記憶部１１０に記憶させる。

【0034】

内部生成モデルおよび外部生成モデルは、与えられた新たな画像に写っている物体を識別するためのモデルである。以下、内部生成モデルおよび外部生成モデルがいずれも、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを判定するためのモデルであるものとして説明する。このようなモデルを学習する場合、オペレータは、教師データで画像と対になるラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。また、外部生成モデルが第１の識別システムで生成される場合にも、第１の識別システムのオペレータは、教師データで画像と対になるラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。

【0035】

本実施形態では、第１の識別部１０６が、モデルを用いて、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景」の何れであるかを判定する場合を例にして説明するが、モデルを用いて判定される対象は、「自動車」、「オートバイ」、「バス」、「背景」に限られない。オペレータは、識別処理の目的に応じた教師データを用意して、その教師データを用いて学習部１０３にモデルを学習させればよい。なお、モデルを用いて判定される対象（本例では、「自動車」、「オートバイ」、「バス」および「背景」）は、各識別システム１００で共通である。

【0036】

学習部１０３は、ディープラーニングによって生成した内部生成モデルを第１のモデル記憶部１０４に記憶させる。第１のモデル記憶部１０４は、内部生成モデルを記憶する記憶装置である。

【0037】

図４は、内部生成モデルおよび外部生成モデルの例を示す模式図である。モデルに適用される画像の画素数がｎであるとすると、その画像は、ｎ個の画素の各画素値を要素とするベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）^Ｔと表すことができる。例えば、Ｘ１は、画像における１番目の画素の画素値を表す。Ｘ２〜Ｘｎに関しても同様である。また、ここで、Ｔは、転置を意味する。モデルは、複数の層を有し、層毎に複数の係数を含んでいる。図４に示す例では、１番目の層は、係数ａ１〜ａｍを含み、２番目の層は、係数ｂ１〜ｂｊを含んでいる。画像を表すベクトルの個々の要素Ｘ１〜Ｘｎは、１番目の層の各係数ａ１〜ａｍと関連付けられる。図４では、この関連付けを線で表している。また、ある層の各係数は、その次の層の各係数と関連付けられる。図４では、この関連付けも線で表している。関連付けられた要素間には重みが定められる。例えば、関連付けられたａ１とｂ１や、関連付けられたａ１とｂ２等にそれぞれ重みが定められる。

【0038】

学習部１０３は、教師データを用いてディープラーニングを行うことによって、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値をそれぞれ決定する。これらの値が定めることが、内部生成モデルを生成することに該当する。

【0039】

教師データが異なれば、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値は、変化する。従って、内部生成モデルおよび外部生成モデルは図４に例示する形式のように表すことができるが、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値等は、内部生成モデルと外部生成モデルとで異なる。また、本実施形態では、第２のモデル記憶部１１０は、複数の第１の識別システムで学習された個々の外部生成モデルをそれぞれ記憶する。個々の外部生成モデルも、それぞれ異なる識別システム１００において異なる教師データに基づいて生成されているので、層の数等は、外部生成モデル毎に異なる。

【0040】

データ取得部１０５は、カメラ１０１が撮影によって得た新たな画像をカメラ１０１から取得する。データ取得部１０５は、カメラ１０１から画像を受信するためのインタフェースである。

【0041】

第１の識別部１０６は、データ取得部１０５が新たな画像をカメラ１０１から取得したときに、第１のモデル記憶部１０４に記憶されている内部生成モデルにその画像を適用することによって、その画像が表わす物体を識別する。本例では、第１の識別部１０６は、内部生成モデルに画像を適用することによって、画像に写っている物体が「自動車」であるのか、「オートバイ」であるのか、「バス」であるのか、あるいは、「背景」しか写っていないのかを判定する。

【0042】

画像が得られた場合、画像を表すベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）^Ｔが定まる。第１の識別部１０６は、そのベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）^Ｔと、内部生成モデルに含まれる各層の各係数およびモデルに含まれる各重みとを用いた演算により、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出する。そして、第１の識別部１０６は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。例えば、第１の識別部１０６が、画像を表すベクトルをモデルに適用した結果、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度として、“０．６”、“０．２”、“０．１”、“０．１”が得られたとする。この場合、第１の識別部１０６は、画像に写っている物体は、最も高い信頼度“０．６”が得られた「自動車」であると識別する。また、定めたラベルが「背景」以外である場合、第１の識別部１０６は、画像に写っている物体（「自動車」、「オートバイ」または「バス」）を囲む矩形領域を、画像を表すベクトルと内部生成モデルとを用いた演算によって判定する。定めたラベルが「背景」であるということは、画像に物体が写っていないと判定したことを意味しているので、この場合には、第１の識別部１０６は、画像に写っている物体を囲む矩形領域を判定しない。

【0043】

第１の識別部１０６は、識別処理の対象とした画像と、識別結果に該当するラベルと、そのラベルに対応する信頼度とを対応付けて、結果記憶部１１７に記憶させる。例えば、上記の例のように、第１の識別部１０６が、画像に写っている物体が、最も高い信頼度“０．６”が得られた「自動車」であると判定したとする。この場合、第１の識別部１０６は、その画像と、ラベル「自動車」と、信頼度“０．６”とを対応付けて、結果記憶部１１７に記憶させる。結果記憶部１１７は、識別結果等を記憶する記憶装置である。ただし、結果記憶部１１７は、後述するように、画像内における矩形領域を示す情報等も追加して記憶する。

【0044】

第２のモデル記憶部１１０は、内部生成モデル（学習部１０３が生成したモデル）とは異なるモデルを記憶する記憶装置である。より具体的には、第２のモデル記憶部１１０は、図３に示す識別システム１００に対して予め定められている複数の第１の識別システムで学習された個々のモデル（外部生成モデル）を記憶する。第２のモデル記憶部１１０に記憶される個々のモデルは、いずれも図４に模式的に示すモデルと同様の形式で表される。

【0045】

モデル更新部１２１は、図３に示す識別システム１００に対して予め定められている複数の第１の識別システムからそれぞれモデルを受信し、そのモデルを、外部生成モデルとして第２のモデル記憶部１１０に記憶させる。

【0046】

個々の第１の識別システムは、図３に示す識別システム１００と同様に、後述のモデル送信部１２２を備えている。そして、個々の第１の識別システムのモデル送信部１２２は、その第１の識別システムが学習したモデルを、適宜、図３に示す識別システム１００に送信する。

【0047】

モデル更新部１２１は、第１の識別システムが送信したモデルを受信する。その第１の識別システムが、図３に示す識別システム１００に対して初めてモデルを送信したとする。その場合、第２のモデル記憶部１１０は、その第１の識別システムで学習されたモデルを、まだ記憶していない。このとき、モデル更新部１２１は、受信したモデルを外部生成モデルとして、送信元となる第１の識別システムを示す情報と関連付けて、第２のモデル記憶部１１０に記憶させる。また、その第１の識別システムが、図３に示す識別システム１００に対して以前にモデルを送信したことがあるとする。その場合、第２のモデル記憶部１１０は、その第１の識別システムで学習されたモデルを既に記憶している。このとき、モデル更新部１２１は、その第１の識別システムで学習されたモデルとして既に第２のモデル記憶部１１０に記憶されているモデルを、新たに受信したモデルに更新する。

【0048】

以下の説明では、第２のモデル記憶部１１０は、図３に示す識別システム１００に対して予め定められている複数の第１の識別システムで学習された個々のモデル（外部生成モデル）を全て記憶済みであるものとする。この状態で、モデル更新部１２１は、第１の識別システムからモデルを受信すると、第２のモデル記憶部１１０に記憶されているモデルを、受信したモデルに更新する。

【0049】

第２の識別部１１１は、第１の識別部１０６が識別対象とした各画像のうち、所定の画像を、第２のモデル記憶部１１０に記憶されている外部生成モデルに適用することによって、その所定の画像に写っている物体を識別する。第２の識別部１１１は、この処理を、個々の外部生成モデル毎に実行する。第２の識別部１１１は、所定の画像を外部生成モデルに適用することによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度をそれぞれ算出する。そして、第２の識別部１１１は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。

【0050】

また、第１の識別部１０６が識別対象とした各画像のうちの所定の画像とは、第１の識別部１０６が識別対象とした各画像のうち、決定部１０７が、第２の識別部１１１に識別処理を実行させると決定した画像である。

【0051】

決定部１０７は、第１の識別部１０６が識別対象とした各画像のうち、第２の識別部１１１に識別処理を実行させる画像を決定する。以下、決定部１０７が、第１の識別部１０６が識別対象とした各画像のうち、第２の識別部１１１に識別処理を実行させる画像を決定する方法として、３種類の決定方法を例示して説明する。決定部１０７は、以下に示す３種類の決定方法のうちの１つの決定方法のみを採用してもよい。あるいは、決定部１０７は、以下に示す３種類の決定方法のうちの複数の決定方法を採用してもよい。この場合、決定部１０７は、複数の決定方法のうちのいずれかの決定方法で、ある画像に対して第２の識別部１１１に識別処理を実行させると決定した場合には、その画像に対して第２の識別部１１１に識別処理を実行させることを確定する。

【0052】

［第１の決定方法］
第１の決定方法は、画像に写っている物体を表わすラベルとして第１の識別部１０６によって定められたラベルが、誤りであった場合に、決定部１０７が、その画像に対して第２の識別部１１１に識別処理を実行させると決定する方法である。すなわち、決定部１０７が、第１の識別部１０６が誤識別した画像に対して、第２の識別部１１１に識別処理を実行させると決定する方法である。第１の識別部１０６によって定められたラベルが、誤りであるか否かは、例えば、識別システム１００のオペレータによって判断されてもよい。以下、この場合を例にして説明する。第１の識別部１０６が画像に対するラベルを定めた場合、決定部１０７は、その画像と、その画像に対して定められたラベルと、そのラベルが正しいか否かをオペレータが入力するためのＧＵＩ（本例では、２つのボタンとする。）とを表わす画面を、ディスプレイ装置１１５上に表示する。図５は、第１の決定方法において決定部１０７がディスプレイ装置１１５上に表示する画面の例を示す模式図である。

【0053】

決定部１０７は、第１の識別部１０６が画像に対するラベルを定めた場合、図５に例示するように、第１の識別部１０６が識別対象とした画像３０１と、第１の識別部１０６によって定められたラベル３０２（図５に示す例では「オートバイ」）と、第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。第１ボタン３０４は、画像に対するラベルが正しいことを入力するためのボタンであり、第１ボタン３０４がクリックされたということは、画像に対するラベルが正しい旨の情報がオペレータから入力されたことを意味する。また、第２ボタン３０５は、画像に対するラベルが誤っていることを入力するためのボタンであり、第２ボタン３０５がクリックされたといういことは、画像に対するラベルが誤っている旨の情報がオペレータから入力されたことを意味する。図５に示す例では、画像３０１には自降車が写っているが、第１の識別部１０６によって定められたラベルとして「オートバイ」が表示されている。従って、オペレータは、マウス１１６を用いて第２ボタン３０５をクリックする。なお、図５に示す例では、第１の識別部１０６によって定められたラベルとして「自動車」が表示されているならば、オペレータは、第１ボタン３０４をクリックする。

【0054】

決定部１０７は、図５に例示する画面において、第２ボタン３０５がクリックされると、第１の識別部１０６によって定められたラベルが誤っていると判定し、第１の識別部１０６が識別対象とした画像３０１に対して、第２の識別部１１１に識別処理を実行させると決定する。

【0055】

なお、第１ボタン３０４がクリックされた場合には、決定部１０７は、第１の識別部１０６が識別対象とした画像３０１に対して、第２の識別部１１１に識別処理を実行させないと決定する。

【0056】

［第２の決定方法］
第２の決定方法は、画像に対して定められたラベルに対応する信頼度が予め定められた閾値以下である場合に、決定部１０７が、その画像に対して第２の識別部１１１に識別処理を実行させると決定する方法である。

【0057】

すなわち、第１の識別部１０６が画像に対して定めたラベルに対応する信頼度が閾値以下である場合、決定部１０７は、その画像に対して第２の識別部１１１に識別処理を実行させると決定する。また、第１の識別部１０６が画像に対して定めたラベルに対応する信頼度が閾値を超えている場合には、決定部１０７は、その画像に対して第２の識別部１１１に識別処理を実行させないと決定する。閾値は、例えば、“０．５”であるが、“０．５”以外の値であってもよい。

【0058】

第２の決定方法は、決定部１０７は、第１の識別部１０６が導出した信頼度と閾値との比較によって、画像に対して第２の識別部１１１に識別処理を実行させるか否かを決定する。従って、第２の決定方法では、図５に例示する画面を表示する必要はない。

【0059】

［第３の決定方法］
第３の決定方法は、第１の識別部１０６が画像に対して定めたラベルが「背景」であるにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部１０７が、その画像に対して第２の識別部１１１に識別処理を実行させると決定する方法である。換言すれば、第３の決定方法は、第１の識別部１０６が画像に「自動車」、「オートバイ」および「バス」のいずれも写っていないと判定したにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部１０７が、その画像に対して第２の識別部１１１に識別処理を実行させると決定する方法である。特定されたラベルが「背景」である場合に、画像に「自動車」等が写っているか否かの判断は、識別システム１００のオペレータが行う。

【0060】

第３の方法では、画像に対するラベルとして「背景」が定められた場合、決定部１０７は、その画像と、そのラベル「背景」と、前述の第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。図６は、第３の決定方法において決定部１０７がディスプレイ装置１１５上に表示する画面の例を示す模式図である。

【0061】

決定部１０７は、第１の識別部１０６が画像に対してラベルとして「背景」を定めた場合、図６に例示するように、第１の識別部１０６が識別対象とした画像３０１と、ラベル３０２と、第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。第３の決定方法で表示される画面では、ラベル３０２として「背景」が表示される。第１ボタン３０４および第２ボタン３０５は、図５に示す第１ボタン３０４および第２ボタン３０５と同様であり、説明を省略する。

【0062】

図６に示す例では、第１の識別部１０６が画像３０１に対して定めたラベルが「背景（自動車、オートバイおよびバスは写っていない。）」であるにも関わらず、画像３０１には、自動車が写っている。従って、オペレータは、マウス１１６を用いて第２ボタン３０５をクリックする。なお、画像３０１に、自動車、オートバイおよびバスのいずれもが写っていないならば、オペレータは、第１ボタン３０４をクリックする。

【0063】

決定部１０７は、図６に例示する画面において、第２ボタン３０５がクリックされると、ラベル「背景」が特定されているが、画像には「自動車」、「オートバイ」および「バス」のいずれかが写っていると判定し、その画像に対して第２の識別部１１１に識別処理を実行させると決定する。

【0064】

なお、図６に例示する画面において第１ボタン３０４がクリックされた場合には、決定部１０７は、画像には「自動車」、「オートバイ」および「バス」のいずれも写っておらず、ラベル「背景」は正しいと判断し、その画像に対して第２の識別部１１１に識別処理を実行させないと決定する。

【0065】

次に、領域修正ＧＵＩ表示制御部１０８について説明する。前述のように、第１の識別部１０６は、画像に対して定めたラベルが「背景」以外である場合、画像に写っている物体（「自動車」、「オートバイ」または「バス」）を囲む矩形領域を判定する。領域修正ＧＵＩ表示制御部１０８は、決定部１０７によって第２の識別部１１１に識別処理を実行させると決定した画像を、その矩形領域とともにディスプレイ装置１１５上に表示し、さらに、その矩形領域を修正するためのＧＵＩを示す画面をディスプレイ装置１１５上に表示する。ただし、前述の第３の方法で決定された画像に対しては、「背景」というラベルが定められているので、矩形領域は判定されていない。この場合、領域修正ＧＵＩ表示制御部１０８は、矩形領域を表示しない。

【0066】

図７は、領域修正ＧＵＩ表示制御部１０８がディスプレイ装置１１５に表示する画面の一例を示す模式図である。図７に示す矩形領域３０９は、第１の識別部１０６が、画像３０１内で「自動車」を囲む領域として定めた矩形領域である。また、領域修正ＧＵＩ表示制御部１０８は、画面内に確定ボタン３０７および修正ボタン３０８を含める。確定ボタン３０７は、表示された矩形領域を確定することをオペレータが指示するためのボタンである。修正ボタン３０８は、矩形領域３０９の修正を受け付けることをオペレータが指示するためのボタンである。

【0067】

図７に示す例では、矩形領域３０９は、画像３０１内で「自動車」を囲む矩形領域として適切である。オペレータは、このように判断した場合、確定ボタン３０７をクリックする。確定ボタン３０７がクリックされると、領域抽出部１０９は、その時点で、画像３０１内における矩形領域３０９を確定する。

【0068】

図８は、領域修正ＧＵＩ表示制御部１０８がディスプレイ装置１１５に表示する画面の他の例を示す模式図である。図８に示す例では、矩形領域３０９は、画像３０１内で「自動車」を囲む矩形領域として適切でない。この場合、領域修正ＧＵＩ表示制御部１０８は、オペレータの操作に応じて、「自動車」を囲む矩形領域として適切な矩形領域を受け付ける。図８に例示する適切でない矩形領域３０９が表示された場合には、オペレータは、修正ボタン３０８をクリックする。修正ボタン３０８がクリックされた後には、領域修正ＧＵＩ表示制御部１０８は、オペレータによるマウス１１６を用いた操作に応じて、矩形領域３０９の頂点や辺の位置の修正を受け付ける。オペレータは、頂点や辺の位置を修正することによって、矩形領域３０９を、図７に例示するような適切な位置や大きさに修正することができる。領域修正ＧＵＩ表示制御部１０８、そのような修正を受け付ける。オペレータは、矩形領域３０９を、画像３０１内に写っている物体（本例では「自動車」）を囲む適切な位置や大きさに矩形領域３０９が修正した後、確定ボタン３０７をクリックする。前述のように、確定ボタン３０７がクリックされると、領域抽出部１０９は、その時点で、画像３０１内における矩形領域３０９を確定する。本例では、領域抽出部１０９は、修正後の矩形領域３０９を確定する。

【0069】

また、既に説明したように、前述の第３の方法で決定された画像に対しては、「背景」というラベルが定められているので、矩形領域は判定されていない。この場合、領域修正ＧＵＩ表示制御部１０８は、図７に例示する画面において、矩形領域３０９を表示しない。この場合、オペレータが修正ボタン３０８をクリックすると、領域修正ＧＵＩ表示制御部１０８は、画像３０１の任意の場所に任意の大きさで矩形領域３０９を表示し、オペレータによるマウス１１６を用いた操作に応じて、矩形領域３０９の頂点や辺の位置の修正を受け付ける。オペレータは、表示された矩形領域３０９を、画像３０１内に写っている物体を囲む適切な位置や大きさに修正した後、確定ボタン３０７をクリックすればよい。確定ボタン３０７がクリックされると、領域抽出部１０９は、その時点で、画像３０１内における矩形領域３０９を確定する。

【0070】

上記のように、領域抽出部１０９は、確定ボタン３０７がクリックされると、その時点で、画像３０１内における矩形領域３０９を確定する。そして、領域抽出部１０９は、その画像から、確定した矩形領域を抽出する。この矩形領域は、画像に写っている物体を囲む領域である。領域抽出部１０９は、結果記憶部１１７に記憶されている画像、第１の識別部１０６による識別結果となるラベル、および、そのラベルに対応する信頼度に対応させて、確定した矩形領域を表わす情報も結果記憶部１１７に記憶させる。矩形領域を表わす情報は、例えば、矩形領域の各頂点の座標である。

【0071】

第２の識別部１１１は、領域抽出部１０９によって抽出された矩形領域の画像を対象にして、その矩形領域の画像に写っている物体を識別する。第２の識別部１１１は、この処理を、第２のモデル記憶部１１０に記憶されている個々の外部生成モデル毎に実行する。

【0072】

第２の識別部１１１は、抽出された矩形領域の画像を外部生成モデルに適用することによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度をそれぞれ算出する。そして、第２の識別部１１１は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。また、第２の識別部１１１は、ラベル毎に求めた信頼度、並びに、画像に写っている物体を示すラベルおよびそのラベルに対応する信頼度を、既に、結果記憶部１１７に記憶されているその画像に対応付けて、結果記憶部１１７に記憶させる。第２の識別部１１１は、この処理を外部生成モデル毎に実行する。以下、説明を簡単にするために、図３に示す識別システム１００に対して定められている第１の識別システムが２つであり、第２のモデル記憶部１１０に記憶されている外部生成モデルの数が２個であるものとして説明する。そして、その２個の外部生成モデルの一方を符号“Ａ”で表し、他方を符号“Ｂ”で表す。

【0073】

この場合、結果記憶部１１７には、画像と、第１の識別部１０６がその画像に対して識別処理を行って定めたラベルと、そのラベルに対応する信頼度と、確定された画像内の矩形領域を表わす情報とが記憶される。さらに、それらの情報に対応付けて、第２の識別部１１１が外部生成モデルＡに矩形領域の画像を適用して得たラベル毎の信頼度、および、最も信頼度が高いラベルとそのラベルに対応する信頼度、並びに、第２の識別部１１１が外部生成モデルＢに矩形領域の画像を適用して得たラベル毎の信頼度、および、最も信頼度が高いラベルとそのラベルに対応する信頼度も、結果記憶部１１７に記憶される。

【0074】

結果記憶部１１７は、上記のような情報のセットが蓄積される

【0075】

ただし、決定部１０７が第２の識別部１１１に識別処理を実行させると決定しなかった画像に関しては、画像と、第１の識別部１０６がその画像に対して識別処理を行って定めたラベルと、そのラベルに対応する信頼度が結果記憶部１１７に記憶され、画像内の矩形領域を表わす情報等は記憶されない。

【0076】

表示制御部１１２は、結果記憶部１１７に記憶された情報から、１組の情報のセットを読み出し、画像と、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度と、第２の識別部１１１が外部生成モデル毎に導出したラベルおよびそのラベルに対応する信頼度とを含む画面を、ディスプレイ装置１１５上に表示する。

【0077】

図９は、表示制御部１１２が表示する画面の例を示す模式図である。表示制御部１１２は、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度５０１と、第２の識別部１１１が外部生成モデルＡを用いて導出したラベルおよびそのラベルに対応する信頼度５０２と、第２の識別部１１１が外部生成モデルＢを用いて導出したラベルおよびそのラベルに対応する信頼度５０３とを、画像３０１に重畳した画面を、ディスプレイ装置１１５上に表示する。図９に示す例では、表示制御部１１２は、確定している矩形領域３０９も、画像３０１に重畳させて表示する。本例では、第２のモデル記憶部１１０に記憶されている外部生成モデルが２個である場合を例示しているが、外部生成モデルの数は３個以上であってもよい。

【0078】

さらに、表示制御部１１２は、この画面内に、チェックボックス５０４と、再学習ボタン５０５と、画面切り替えボタン５０６，５０７を表示させる。

【0079】

チェックボックス５０４は、画面内に表示されている画像３０１（より具体的には、画像３０１から抽出される矩形領域３０９の画像）を教師データに含めるか否かを指定するためのＧＵＩである。チェックボックス５０４がチェックされている場合、画像３０１から抽出される矩形領域３０９の画像を教師データに含めることを意味する。チェックボックス５０４がチェックされていない場合、画像３０１を教師データに含めないことを意味する。なお、表示制御部１１２は、外部生成モデルを用いて導出された信頼度に応じて、予めチェックされた状態でチェックボックス５０４を表示してもよい。例えば、外部生成モデルを用いて導出されたラベルおよび信頼度の組において、信頼度が閾値（例えば、“０．５”）よりも大きい組が１組以上あれば、表示制御部１１２は、予めチェックされた状態でチェックボックス５０４を表示してもよい。オペレータは、チェックボックス５０４をマウス１１６でクリックすることによって、チェックボックス５０４にチェックを入れたり、チェックボックス５０４からチェックを外したりすることができる。オペレータは、画像３０１と、外部生成モデル毎に導出されたラベルおよび信頼度を参照することによって、画像３０１から抽出される矩形領域３０９の画像を教師データに含めるか否かを判断すればよい。そして、オペレータは、その判断に基づいて、チェックボックス５０４にチェックを入れるか否かを決定すればよい。

【0080】

画面切り替えボタン５０６，５０７は、異なる画像を表示する画面に切り替えるためのボタンである。例えば、画面切り替えボタン５０６がクリックされた場合、表示制御部１１２は、時系列順で画像３０１よりも前の画像を含んでいる、図９に示す画面と同様の画面に切り替える。また、例えば、画面切り替えボタン５０７がクリックされた場合、表示制御部１１２は、時系列順で画像３０１よりも後の画像を含んでいる、図９に示す画像と同様の画面に切り替える。オペレータは、切り替えた各画面において、チェックボックス５０４にチェックを入れるか否かを決定すればよい。

【0081】

再学習ボタン５０５は、オペレータが識別システム１００に、内部生成モデルの再学習を指示するためのボタンである。再学習ボタン５０５がクリックされた場合、統合部１１４は、チェックボックス５０４がチェックされた画面の画像毎に、ラベルを特定する。以下の説明では、説明を簡単にするために、図９に例示する画面のみで、チェックボックス５０４がチェックされている場合を例にして説明する。この場合、統合部１１４は、図９に例示する画像３０１のラベルを特定する。

【0082】

以下、統合部１１４が１つの画像のラベルを特定する処理について説明する前に、まず、属性データ記憶部１１３について説明する。属性データ記憶部１１３は、属性データ記憶部１１３を含むコンピュータ１０２（図３に示すコンピュータ１０２）に接続されているカメラ１０１の属性を示すデータ（属性データ）と、第２のモデル記憶部１１０に記憶されている各外部生成モデルを生成した各識別システム１００（すなわち、各第１の識別システム）のカメラ１０１の属性データとを記憶する記憶装置である。ある外部生成モデルを生成した識別システム１００（第１の識別システム）のカメラ１０１の属性データを、その外部生成モデルに対応する属性データと記す。

【0083】

カメラ１０１の属性として、カメラ１０１自体の属性や、カメラ１０１が設置されている環境に依存する属性等が挙げられる。各属性の値は数値で表される。また、各属性の値は、各識別システム１００の管理者がカメラ１０１の設定や設置環境に応じて予め決定すればよい。属性データは、このような属性の値（数値）を要素とするベクトルで表される。

【0084】

カメラ１０１の属性データは、少なくとも、「カメラ１０１の画角」、「カメラ１０１が屋内に設置されているか屋外に設置されているか」、「カメラ１０１の撮影対象」、「カメラ１０１の撮影対象の移動方向」という各属性のうちの少なくとも一部の属性の値を含む。また、ベクトルで表される属性データが、どの属性の値を要素としているかは、全ての識別システム１００で共通であり、どの属性の値がベクトルの何番目の要素なっているかに関しても、全ての識別システム１００で共通である。ベクトルの各要素となる数値は、識別システム１００毎に異なっていてよい。

【0085】

「カメラ１０１の画角」は、数値で表されるので、管理者は、画角を表わす数値をベクトルの要素として定めればよい。

【0086】

「カメラ１０１が屋内に設置されているか屋外に設置されているか」という属性に関しては、例えば、カメラ１０１が屋内に設置されている場合には、この属性の値を“０”に定め、カメラ１０１が屋外に設置されている場合には、この属性の値を“１”に定めればよい。

【0087】

また、「カメラ１０１の撮影対象」という属性に関しては、例えば、カメラ１０１が車両を撮影するように設置されている場合（例えば、カメラ１０１が車道に向けて設置されている場合）、この属性の値を“０”に定める。また、カメラ１０１が歩行者を撮影するように設置されている場合（例えば、カメラ１０１が歩道に向けて設置されている場合）、この属性の値を“１”に定める。また、カメラ１０１が車両と歩行者の両方を撮影するように設置されている場合（例えば、カメラ１０１が車両と歩行者の両方が通る道に向けて設置されている場合）、この属性の値を“０．５”に定める。

【0088】

「カメラ１０１の撮影対象の移動方向」という属性に関しては、カメラ１０１の主軸方向等に基づいた基準軸を定め、その基準軸と、撮影対象の主たる移動方向とのなす角度を、この属性の値として定めればよい。

【0089】

また、上記以外の属性の値を属性データに含めてもよい。例えば、「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」等の値を属性データに含めてもよい。「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」はいずれも数値で表されるので、それらの数値をベクトルの要素として定めればよい。

【0090】

属性データ記憶部１１３は、属性データ記憶部１１３を含むコンピュータ１０２（図３に示すコンピュータ１０２）に接続されているカメラ１０１の属性データ（ベクトル）を記憶する。この属性データを基準属性データと記す。さらに、属性データ記憶部１１３は、第２のモデル記憶部１１０に記憶されている各外部生成モデルを生成した各第１の識別システムのカメラ１０１の属性データを記憶する。本実施形態では、第２のモデル記憶部１１０は、外部生成モデルＡおよび外部生成モデルＢを記憶する。従って、属性データ記憶部１１３は、基準属性データの他に、外部生成モデルＡに対応する属性データ（属性データＡと記す。）、および、外部生成モデルＢに対応する属性データ（属性データＢと記す。）も記憶する。属性データＡは、外部生成モデルＡを生成した第１の識別システムのカメラ１０１の属性データである。同様に、属性データＢは、外部生成モデルＢを生成した第１の識別システムのカメラ１０１の属性データである。

【0091】

各識別システム１００を管理する管理者は、図３におけるカメラ１０１の属性データを基準属性データとして、属性データ記憶部１１３に記憶させればよい。また、管理者は、図３に示す識別システム１００に対して定められた２つの第１の識別システムそれぞれのカメラ１０１の属性データを、属性データＡ、属性データＢとして、属性データ記憶部１１３に記憶させればよい。

【0092】

統合部１１４は、第２の識別部１１１が、画像に対して個々の外部生成モデル毎に導出した各ラベルの信頼度（本実施形態では、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度）を、ラベル毎に統合し、その統合結果に基づいてその画像のラベルを特定する。

【0093】

このとき、統合部１１４は、基準属性データ（すなわち、統合部１１４を含む識別システム１００のカメラ１０１の属性データ）と、外部生成モデルＡや外部生成モデルＢを生成した複数の第１の識別システムのカメラ１０１の属性データとの類似度を、第１の識別システム毎に算出する。本実施形態では、統合部１１４は、基準属性データと属性データＡとの類似度と、基準属性データと属性データＢとの類似度とを、それぞれ算出する。基準属性データと属性データＡとの類似度を、外部生成モデルＡに対応する類似度と記す。また、基準属性データと属性データＢとの類似度を、外部生成モデルＢに対応する類似度と記す。

【0094】

属性データはベクトルで表される。統合部１１４は、２つの属性データ（ベクトル）の類似度を算出する場合、その２つのベクトルの距離の逆数を、類似度として算出すればよい。

【0095】

統合部１１４は、個々の外部生成モデル毎に導出した各ラベルの信頼度を、ラベル毎に統合するときに、外部生成モデルに対応する類似度で重み付けして、統合する。統合部１１４は、信頼度の統合結果が最も高くなったラベルを、画像のラベルとして特定すればよい。

【0096】

外部生成モデル毎に導出した各ラベルの信頼度を、ラベル毎に統合する演算について、具体的に説明する。統合部１１４が信頼度を統合する演算方法として２つの演算方法を説明する。ここでは、１つのラベルに関して、外部生成モデル毎に導出した信頼度を統合する場合を説明する。統合部１１４は、他のラベルに関しても、同様の演算を行って、外部生成モデル毎に導出した信頼度を統合すればよい。

【0097】

［第１の演算方法］
まず、信頼度を統合する第１の演算方法について説明する。ｉ番目の外部生成モデルを用いて得られた、着目しているラベルの信頼度をＬｉとする。また、ｉ番目の外部生成モデルに関して算出された類似度（基準属性データと、ｉ番目の外部生成モデルに対応する属性データとの類似度）をＷｉとする。また、第２のモデル記憶部１１０に記憶されている外部生成モデルの数をＮ個とする。この場合、統合部１１４は、着目しているラベルの信頼度を、以下に示す式（１）の計算によって統合すればよい。

【0098】

【数1】

【0099】

すなわち、統合部１１４は、外部生成モデル毎にＬｉとＷｉとの積を算出し、その積の平均値を、着目しているラベルの信頼度の統合結果とすればよい。統合部１１４は、他のラベルに関しても、同様の演算を行う。そして、統合部１１４は、統合結果が最も高くなったラベルを、画像のラベルとして特定する。

【0100】

図１０は、第１の演算方法の具体例を示す説明図である。２つの外部生成モデルＡ，Ｂがあるとする。外部生成モデルＡを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．７”，“０．１”，“０．１”であるとする。また、外部生成モデルＡに関して算出された類似度が“０．９”であるとする。統合部１１４は、上記の信頼度毎に、類似度“０．９”を乗じた結果を算出する。この結果、「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して、“０．０９”，“０．６３”，“０．０９”，“０．０９”という乗算結果（積）が得られる。

【0101】

また、外部生成モデルＢを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．６”，“０．２”，“０．１”であるとする。また、外部生成モデルＢに関して算出された類似度が“０．８”であるとする。統合部１１４は、上記の信頼度毎に、類似度“０．８”を乗じた結果を算出する。この結果、「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して、“０．０８”，“０．４８”，“０．１６”，“０．０８”という乗算結果（積）が得られる。

【0102】

統合部１１４は、「自動車」、「オートバイ」、「バス」および「背景」毎に得られた乗算結果（積）の平均値を計算する。「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して算出された平均値は、”０．０８５”，”０．５５５”，”０．１２５”，”０．０８５”である。従って、統合部１１４は、平均値（統合結果）が最も高い「オートバイ」を、画像のラベルとして特定する。

【0103】

[第２の演算方法］
次に、信頼度を統合する第２の演算方法について説明する。前述の場合と同様に、ｉ番目の外部生成モデルを用いて得られた、着目しているラベルの信頼度をＬｉとする。また、ｉ番目の外部生成モデルに関して算出された類似度（基準属性データと、ｉ番目の外部生成モデルに対応する属性データとの類似度）をＷｉとする。また、個々の外部生成モデルに関して算出された個々の類似度の総和をＷｔとする。また、第２のモデル記憶部１１０に記憶されている外部生成モデルの数をＮ個とする。統合部１１４は、Ｗｔを以下に示す式（２）の計算によって算出すればよい。

【0104】

【数2】

【0105】

この場合、統合部１１４は、着目しているラベルの信頼度を、以下に示す式（３）の計算によって統合すればよい。

【0106】

【数3】

【0107】

すなわち、統合部１１４は、外部生成モデル毎に、類似度の総和に対する外部生成モデルに対応する類似度の割合を算出し、その割合の算出結果を重みとして、着目しているラベルの信頼度の重み付け和を算出し、その算出結果を、着目しているラベルの信頼度の統合結果とすればよい。統合部１１４は、他のラベルに関しても、同様の演算を行う。そして、統合部１１４は、統合結果が最も高くなったラベルを、画像のラベルとして特定する。

【0108】

図１１は、第２の演算方法の具体例を示す説明図である。２つの外部生成モデルＡ，Ｂがあるとする。外部生成モデルＡを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．７”，“０．１”，“０．１”であるとする。外部生成モデルＢを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．６”，“０．２”，“０．１”であるとする。外部生成モデルＡに関して算出された類似度が“０．９”であり、外部生成モデルＢに関して算出された類似度が“０．８”であるとする。この場合、類似度の総和は、０．９＋０．８＝１．７である。よって、類似度の総和“１．７”に対する、外部生成モデルＡに対応する類似度“０．９”の割合は、“０．９／１．７”である。また、類似度の総和“１．７”に対する、外部生成モデルＢに対応する類似度“０．８”の割合は、“０．８／１．７”である。統合部１１４は、“０．９／１．７”および“０．８／１．７”を重みとして、ラベル毎に、信頼度の重み付け和を算出し、その算出結果を、ラベルの信頼度の統合結果とする。すると、「自動車」、「オートバイ」、「バス」および「背景」それぞれの統合結果は、“０．０９９９”，“０．６５２８”，“０．１４７０”，“０．０９９９”となる。従って、統合部１１４は、統合結果が最も高い「オートバイ」を、画像のラベルとして特定する。

【0109】

第１の演算方法および第２の演算方法は、いずれも、個々の外部生成モデル毎に導出したラベルの信頼度を、外部生成モデルに対応する類似度で重み付けして統合する演算であると言える。

【0110】

統合部１１４が、各ラベルの信頼度の統合結果に基づいて、画像のラベルを特定すると、学習部１０３は、その画像において確定している矩形領域を抽出し、その矩形領域の画像と、統合部１１４によって特定されたラベルとの組を、既存の教師データに含める。そして、学習部１０３は、その教師データを用いて、ディープラーニングによって、内部生成モデルを再学習する。さらに、学習部１０３は、第１のモデル記憶部１０４に記憶されている既存の内部生成モデルを、再学習によって生成した新たな内部生成モデルに更新する。

【0111】

次に、モデル送信部１２２について説明する。モデル送信部１２２は、学習部１０３によって学習されたモデルを、予め定められている第２の識別システムに送信する。モデルの送信先となる第２の識別システムの数は、１つであっても、複数であってもよい。なお、第２の識別システムは、受信したモデルを外部生成モデルとして記憶する。

【0112】

モデル送信部１２２が第２の識別システムにモデルを送信する態様として、４つのモデル送信態様を例示して説明する。

【0113】

［第１のモデル送信態様］
第１のモデル送信態様では、モデル送信部１２２は、学習部１０３がモデル（内部生成モデル）を再学習した場合に、そのモデルを第２の識別システムに送信する。第１のモデル送信態様では、学習部１０３によってモデルが再学習される度に、モデル送信部１２２は、再学習によって新たに得られたモデルを第２の識別システムに送信する。従って、第１のモデル送信態様では、モデル送信部１２２は、最新のモデルを第２の識別システムに送信することができる。

【0114】

［第２のモデル送信態様］
第２のモデル送信態様では、モデル送信部１２２は、定期的に、第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信する。すなわち、モデル送信部１２２は、第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信してから一定期間経過したときに、再び、第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信することを繰り返す。この一定期間において、第１のモデル記憶部１０４に記憶されているモデルが複数回、更新されたとしても、モデル送信部１２２は、前回のモデル送信時から一定期間経過した時点で第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信する。また、この一定期間において、第１のモデル記憶部１０４に記憶されているモデルが更新されなかった場合には、モデル送信部１２２は、前回送信したモデルと同一のモデルを再度、送信することになる。

【0115】

［第３のモデル送信態様］
第３のモデル送信態様では、学習部１０３がモデル（内部生成モデル）を再学習した場合に、モデル送信部１２２は、そのモデルを第２の識別システムに送信するか否かを判定する。

【0116】

統合部１１４がラベルの特定対象とする画像は、第１の識別部１０６が識別対象とした画像のうち、決定部１０７が、前述の第１の決定方法、第２の決定方法、または、第３の決定方法によって、第２の識別部１１１に識別処理を実行させると決定した画像である。すなわち、統合部１１４がラベルの特定対象とする画像は、第１の識別部１０６によって誤識別されたり、閾値より大きい信頼度が得られなかったりした画像である。学習部１０３がモデルを再学習する前に、統合部１１４は、そのような画像のラベルを、外部生成モデル毎に得られた各ラベルの信頼度を利用することによって、特定している。第３のモデル送信態様では、学習部１０３がモデル（内部生成モデル）を再学習した場合に、第１の識別部１０６が、再学習されたそのモデルにその画像を適用することによって、その画像の識別結果（ラベル）を再度、導出する。モデル送信部１２２は、第１の識別部１０６が再学習されたモデルを用いて再度、導出したその画像の識別結果（ラベル）と、統合部１１４によって特定されたラベルとが一致している場合に、再学習されたモデルを第２の識別システムに送信すると判定し、再学習されたモデルを第２の識別システムに送信する。一方、その２つのラベルが一致していない場合、モデル送信部１２２は、再学習されたモデルを第２の識別システムに送信しないと判定し、モデルを第２の識別システムに送信しない。

【0117】

モデル送信部１２２は、学習部１０３がモデルを再学習する毎に、上記のように、そのモデルを第２の識別システムに送信するか否かを判定し、送信すると判定した場合に、そのモデルを第２の識別システムに送信する。

【0118】

統合部１１４は、外部生成モデル毎に得られた各ラベルの信頼度を利用することによって、画像のラベルを特定している。従って、第１の識別部１０６によって誤識別されたり、閾値より大きい信頼度が得られなかったりした画像であっても、統合部１１４によって特定されたラベルの正確性は高いと考えられる。従って、第１の識別部１０６が再学習されたモデルを用いて再度、導出したその画像の識別結果（ラベル）と、統合部１１４によって特定されたラベルとが一致しているということは、再学習によって得られたモデルの識別精度が再学習前のモデルの識別精度よりも向上したということができる。また、再学習前のモデルでは、正しい識別結果が得られなかったが、再学習によって得られたモデルでは、正しい識別結果が得られるようになったということもできる。従って、第３のモデル送信態様は、再学習によって得られたモデルの識別精度が再学習前のモデルの識別精度よりも向上した場合に、再学習によって得られたモデルを第２の識別システムに送信する態様であるということができる。また、第３のモデル送信態様は、再学習前のモデルでは、正しい識別結果が得られなかったが、再学習によって得られたモデルでは、正しい識別結果が得られるようになった場合に、再学習によって得られたモデルを第２の識別システムに送信する態様であるというということもできる。

【0119】

［第４のモデル送信態様］
第４のモデル送信態様でも、モデル送信部１２２は、学習部１０３がモデル（内部生成モデル）を再学習した場合に、モデル送信部１２２は、そのモデルを第２の識別システムに送信するか否かを判定する。

【0120】

第４のモデル送信態様では、モデルが再学習された場合に、所定時間内で、第１の識別部１０６がそのモデルを用いて導出した識別結果（ラベル）の正解率に基づいて、モデル送信部１２２は、モデルを第２の識別システムに送信するか否かを判定する。モデル送信部１２２は、その正解率が予め定められた閾値以上である場合に、再学習されたモデルを第２の識別システムに送信すると判定し、そのモデルを第２の識別システムに送信する。一方、その正解率が閾値未満である場合、モデル送信部１２２は、再学習されたモデルを第２の識別システムに送信しないと判定し、モデルを第２の識別システムに送信しない。

【0121】

所定時間内における識別結果（ラベル）の正解率の算出例を説明する。ここでは、決定部１０７が、前述の「第１の決定方法」によって、第２の識別部１１１に識別処理を実行させる画像を決定する場合を例にして説明する。第１の識別部１０６が画像に対するラベルを定めると、決定部１０７は、図５に例示する画面をディスプレイ装置１１５上に表示する。従って、決定部１０７が図５に例示する画面を表示した回数は、第１の識別部１０６が画像に対する識別を行った回数であると言える。そして、表示された画面（図５参照）において、第１ボタン３０４がクリックされた回数は、第１の識別部１０６が導出したラベルが正しかった回数であると言える。モデル送信部１２２は、モデルが再学習された場合に、所定時間内で決定部１０７が図５に例示する画面を表示した回数に対する、第１ボタン３０４がクリックされた回数の割合を計算し、その結果を、正解率とすればよい。そして、モデル送信部１２２は、その正解率と閾値とを比較することによって、前述のように、再学習されたモデルを第２の識別システムに送信するか否かを判定すればよい。

【0122】

本実施形態において、モデル更新部１２１およびモデル送信部１２２は、例えば、モデル提供プログラムに従って動作するコンピュータ１０２のＣＰＵ（Central Processing Unit ）およびコンピュータ１０２の通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からモデル提供プログラムを読み込み、モデル提供プログラムに従って、通信インタフェースを用いて、モデル更新部１２１およびモデル送信部１２２として動作すればよい。

【0123】

また、学習部１０３、第１の識別部１０６、決定部１０７、領域修正ＧＵＩ表示制御部１０８、領域抽出部１０９、第２の識別部１１１、表示制御部１１２および統合部１１４は、例えば、モデル提供プログラムに従って動作するコンピュータ１０２のＣＰＵによって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からモデル提供プログラムを読み込み、モデル提供プログラムに従って、学習部１０３、第１の識別部１０６、決定部１０７、領域修正ＧＵＩ表示制御部１０８、領域抽出部１０９、第２の識別部１１１、表示制御部１１２および統合部１１４として動作すればよい。

【0124】

また、第１のモデル記憶部１０４、第２のモデル記憶部１１０、属性データ記憶部１１３および結果記憶部１１７は、コンピュータ１０２が備える記憶装置によって実現される。

【0125】

次に、本発明の実施形態の処理経過について説明する。図１２は、カメラ１０１が撮影を行ってから、第２の識別部１１１が画像に対する識別処理を行うまでの処理経過の例を示すフローチャートである。なお、既に説明した動作については、詳細な説明を省略する。

【0126】

なお、予め、学習部１０３がディープラーニングによって内部生成モデルを学習し、その内部生成モデルを第１のモデル記憶部１０４に記憶させているものとする。

【0127】

また、モデル更新部１２１は、図３に示す識別システム１００に対して予め定められている複数の第１の識別システムからそれぞれモデルを受信し、そのモデルを、外部生成モデルとして第２のモデル記憶部１１０に記憶させているものとする。すなわち、第２のモデル記憶部１１０は、個々の第１の識別システムで学習されたモデルを、外部生成モデルとして記憶しているものとする。なお、モデル更新部１２１は、第１の識別システムから新たにモデルを受信した場合には、その第１の識別システムで学習されたモデルとして既に第２のモデル記憶部１１０に記憶されているモデルを、新たに受信したモデルに更新すればよい。

【0128】

まず、カメラ１０１が、そのカメラ１０１の設置場所で撮影を行うことによって、画像を得る（ステップＳ１）。カメラ１０１は、その画像をコンピュータ１０２に送信する。

【0129】

コンピュータ１０２の第１の識別部１０６は、データ取得部１０５を介して、その画像を受け取る。そして、第１の識別部１０６は、その画像を内部生成モデルに適用することによって、画像に写っている物体を識別する（ステップＳ２）。ステップＳ２において、第１の識別部１０６は、画像に写っている物体を表わすラベルと、そのラベルの信頼度を導出する。第１の識別部１０６は、画像と、導出したラベルおよび信頼度とを対応付けて結果記憶部１１７に記憶させる。また、第１の識別部１０６は、特定したラベルが「背景」でない場合には、画像に写っている物体を囲む矩形領域を判定する。

【0130】

次に、決定部１０７は、ステップＳ２で第１の識別部１０６が識別対象とした画像に対して、第２の識別部１１１に識別処理を実行させるか否かを決定する（ステップＳ３）。第２の識別部１１１に識別処理を実行させないと決定した場合には（ステップＳ３のＮｏ）、ステップＳ１以降の処理を繰り返す。

【0131】

第２の識別部１１１に識別処理を実行させると決定した場合には（ステップＳ３のＹｅｓ）、領域修正ＧＵＩ表示制御部１０８が、画像をディスプレイ装置１１５上に表示する。例えば、領域修正ＧＵＩ表示制御部１０８は、図７や図８に例示する画面をディスプレイ装置１１５上に表示する。そして、領域抽出部１０９は、その画面に対するオペレータの操作に応じて、画像に写っている物体を囲む矩形領域を確定し、画像からその矩形領域を抽出する（ステップＳ４）。

【0132】

次に、第２の識別部１１１は、予め第２のモデル記憶部１１０に記憶されている個々の外部生成モデル毎に、ステップＳ４で抽出された矩形領域の画像に写っている物体を識別する（ステップＳ５）。第２の識別部１１１は、個々の外部生成モデル毎に、各ラベル（「自動車」、「オートバイ」、「バス」および「背景」）それぞれの信頼度を導出する。そして、外部生成モデル毎に導出した各ラベルの信頼度を結果記憶部１１７に記憶させる。また、第２の識別部１１１は、個々の外部生成モデル毎に、信頼度が最も高かったラベルと、そのラベルに対応する信頼度の組も、結果記憶部１１７に記憶させる。信頼度が最も高かったラベルは、画像に写っていると判定された物体を表わしている。

【0133】

ステップＳ５の後、ステップＳ１以降の処理を繰り返す。

【0134】

図１３は、モデル（内部生成モデル）を再学習し、そのモデルを第２の識別システムに送信する場合の処理経過の例を示すフローチャートである。以下の説明においても、既に説明した動作については、詳細な説明を省略する。図１３では、前述の「第１のモデル送信態様」を例にして説明する。

【0135】

表示制御部１１２は、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度と、第２の識別部１１１が外部生成モデル毎に導出した各ラベルおよびその各ラベルに対応する信頼度とを、画像に重畳した画面を、ディスプレイ装置１１５上に表示する（ステップＳ１１）。このとき、表示制御部１１２は、この画面内に、チェックボックス５０４と、再学習ボタン５０５と、画面切り替えボタン５０６，５０７とを含める。表示制御部１１２は、ステップＳ１１において、例えば、図９に例示する画面を表示する。

【0136】

オペレータは、図９に例示する画面を確認し、表示されている画像３０１（より具体的には、画像３０１において確定している矩形領域３０９の画像）を教師データに含めるか否かを判断する。オペレータは、チェックボックス５０４にチェックを入れることで、表示されている画像３０１を教師データの含めることを指定する。すなわち、チェックボックス５０４にチェックが入れられた画面に表示された画像は、教師データに含める画像として指定された画像である。また、オペレータは、教師データの含める画像を指定した後、再学習ボタン５０５をクリックする。

【0137】

オペレータによって再学習ボタン５０５がクリックされると、統合部１１４は、基準属性データと、個々の外部生成モデルに対応する個々の属性データとの類似度をそれぞれ算出する（ステップＳ１２）。既に説明したように、属性データはベクトルで表される。統合部１１４は、２つの属性データ（ベクトル）の類似度を算出する場合、その２つのベクトルの距離の逆数を、類似度として算出すればよい。

【0138】

次に、統合部１１４は、個々の外部生成モデル毎に導出したラベルの信頼度を、ステップＳ１２で算出した各類似度を用いて、統合する。統合部１１４は、この処理をラベル毎に行い、信頼度の統合結果が最も高いラベルを、教師データに含める画像に対するラベルとして特定する（ステップＳ１３）。

【0139】

教師データの含める画像がオペレータによって複数指定されている場合には、統合部１１４は、その画像毎に、ステップＳ１３の処理を実行する。

【0140】

次に、学習部１０３は、教師データに含める画像において確定している矩形領域を抽出し、その矩形領域の画像と、統合部１１４によって特定されたラベルとの組を既存のデータに含める。そして、学習部１０３は、その教師データを用いて、ディープラーニングによって内部生成モデルを再学習し、再学習によって得た内部生成モデルを第１のモデル記憶部１０４に記憶させる（ステップＳ１４）。学習部１０３は、第１のモデル記憶部１０４に記憶されている既存の内部生成モデルを、再学習によって生成した新たな内部生成モデルに更新する。

【0141】

この後、第１の識別部１０６が、画像に写っている物体を識別する場合には、再学習によって生成された新たな内部生成モデルを用いる。

【0142】

ステップＳ１４の次に、モデル送信部１２２は、ステップＳ１４で再学習されたモデル（内部生成モデル）を、第２の識別システムに送信する（ステップＳ１５）。各識別システム１００は、同様の構成である。第２の識別システムのモデル更新部１２１は、ステップＳ１５で送信されたモデルを受信すると、第２の識別システム内の第２のモデル記憶部１１０に記憶されているモデルを、受信したモデルに更新する。従って、ステップＳ１５でモデル送信部１２２が第２の識別システムに送信したモデルは、第２の識別システム内で外部生成モデルとして記憶される。

【0143】

図１３では、「第１のモデル送信態様」を例にして説明した。モデル送信部１２２が、前述の「第２のモデル送信態様」でモデルを第２の識別システムに送信する場合、コンピュータ１０２は、ステップＳ１４で処理を終了してよい。そして、モデル送信部１２２は、ステップＳ１１〜Ｓ１４の処理とは別に、定期的に、第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信すればよい。

【0144】

図１４は、前述の「第３のモデル送信態様」の処理経過の例を示すフローチャートである。ステップＳ１４までの処理は、図１３に示すフローチャートと同様であり、説明を省略する。

【0145】

ステップＳ１４の後、第１の識別部１０６は、チェックボックス５０４にチェックが入れられた画面内に表示された画像（図９参照）のラベルを、ステップＳ１４で再学習された内部生成モデルを用いて導出する（ステップＳ２１）。チェックボックス５０４にチェックが入れられた画面内に表示された画像は、教師データに含めることがオペレータによって指定された画像である。

【0146】

次に、モデル送信部１２２は、ステップＳ２１で導出されたラベルと、同一画像に対して統合部１１４がステップＳ１３（図１３参照）で特定したラベルとが一致するか否かを判定する（ステップＳ２２）。

【0147】

２つのラベルが一致する場合（ステップＳ２２のＹｅｓ）、モデル送信部１２２は、ステップＳ１４（図１３参照）で再学習されたモデル（内部生成モデル）を第２の識別システムに送信すると判定し、そのモデルを第２の識別システムに送信する（ステップＳ２３）。

【0148】

また、２つのラベルが一致しない場合（ステップＳ２２のＮｏ）、モデル送信部１２２は、ステップＳ１４で再学習されたモデルを第２の識別システムに送信しないと判定し、処理を終了する。

【0149】

図１５は、前述の「第４のモデル送信態様」の処理経過の例を示すフローチャートである。ステップＳ１４までの処理は、図１３に示すフローチャートと同様であり、説明を省略する。

【0150】

ステップＳ１４の後、モデル送信部１２２は、所定時間内における、再学習されたモデル（内部生成モデル）を用いた場合の画像の識別結果の正解率を算出する（ステップＳ３１）。この正解率の算出例については既に説明しているので、ここでは、説明を省略する。

【0151】

次に、モデル送信部１２２は、ステップＳ３１で算出した正解率が、予め定められた閾値以上であるか否かを判定する（ステップＳ３２）。

【0152】

正解率が閾値以上である場合（ステップＳ３２のＹｅｓ）、モデル送信部１２２は、ステップＳ１４（図１３参照）で再学習されたモデル（内部生成モデル）を第２の識別システムに送信すると判定し、そのモデルを第２の識別システムに送信する（ステップＳ３３）。

【0153】

また、正解率が閾値未満である場合（ステップＳ３２のＮｏ）、モデル送信部１２２は、ステップＳ１４で再学習されたモデルを第２の識別システムに送信しないと判定し、処理を終了する。

【0154】

本実施形態によれば、決定部１０７は、前述の第１の決定方法、第２の決定方法および第３の決定方法のうちの少なくとも１つの方法で、第１の識別部１０６が識別処理の対象とした画像に対して、第２の識別部１１１に識別処理を実行させるか否かを決定する。従って、第２の識別部１１１によって識別処理が行われる画像は、第１の識別部１０６によって定められたラベルが誤りであった画像、画像に対して定められたラベルに対応する信頼度が閾値以下であった画像、または、第１の識別部１０６によって定められたラベルが「背景」であるにも関わらず、物体（「自動車」、「オートバイ」または「バス」）が写っている画像である。本実施形態では、このような画像を、内部生成モデルとは異なるモデル（より具体的には、着目している識別システム１００に対して予め定められている第１の識別システムで生成されたモデル（外部生成モデル））に適用した結果に基づいて特定されるラベルと、その画像との組を、既存の教師データに追加して、学習部１０３が内部生成モデルを再学習する。従って、内部生成モデルの識別精度を向上させることができる。

【0155】

そして、モデル送信部１２２は、学習部１０３によって学習されたモデルを、例えば、前述の第１のモデル送信態様、第２のモデル送信態様、第３のモデル送信態様、または、第４のモデル送信態様等で、予め定められている第２の識別システムに送信する。第２の識別システムにおいて、モデル更新部１２１は、受信したモデルを、外部生成モデルとして第２のモデル記憶部１１０に記憶させる。従って、個々の識別システム１００は、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システム１００のモデルの識別精度向上に寄与することができる。

【0156】

次に、本発明の実施形態の種々の変形例について説明する。

【0157】

上記の実施形態では、図７や図８に例示する画面に対するオペレータの操作に応じて、領域抽出部１０９が、画像に写っている物体を囲む矩形領域を確定し、画像からその矩形領域を抽出する。そして、第２の識別部１１１が、外部生成モデル毎に、抽出された矩形領域の画像に写っている物体を識別する。第２の識別部１１１は、抽出された矩形領域の画像ではなく、第１の識別部１０６が処理対象とした１つの画像全体を対象にして、画像に写っている物体を識別する処理を行ってもよい。この場合、識別システム１００（図３参照）は、領域修正ＧＵＩ表示制御部１０８および領域抽出部１０９を備えていなくてもよい。そして、識別システム１００は、ステップＳ４（図１２参照）を実行しなくてもよい。第２の識別部１１１は、ステップ５において、第１の識別部１０６が処理対象とした１つの画像全体を対象にして、画像に写っている物体を識別すればよい。

【0158】

また、学習部１０３は、１つの画像全体と、統合部１１４が特定したラベルとの組を、既存の教師データに含め、その教師データを用いて、内部生成モデルを再学習すればよい。

【0159】

また、学習部１０３は、画像と統合部１１４によって特定されたラベルとの組、および、既存の内部生成モデルを教師データとして、ディープラーニングによって内部生成モデルを再学習してもよい。

【0160】

また、第２のモデル記憶部１１０が、１つの外部生成モデルを記憶していてもよい。この場合、学習部１０３は、画像と、第２の識別部１１１で導出された、信頼度が最も高いラベルとの組を、既存の教師データに含め、その教師データを用いて、内部生成モデルを再学習すればよい。

【0161】

図１６は、本発明の実施形態やその変形例における識別システム１００が備えるコンピュータ１０２の構成例を示す概略ブロック図である。図１６では、コンピュータを符号“１０００”で表す。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６と、通信インタフェース１００７と、データ収集部１０１（例えば、カメラ）とのインタフェース１００８とを備える。

【0162】

識別システム１００が備えるコンピュータの動作は、モデル提供プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、そのモデル提供プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開する。そして、ＣＰＵ１００１は、そのモデル提供プログラムに従って、上記の実施形態やその変形例におけるコンピュータ１０２（図３を参照）の処理を実行する。

【0163】

補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。

【0164】

また、プログラムは、実施形態やその変形例における示したコンピュータ１０２の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。

【0165】

また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0166】

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0167】

次に、本発明の概要について説明する。図１７は、本発明の識別システムの概要を示すブロック図である。本発明の識別システムは、学習手段７０１と、第１のモデル記憶手段７０２と、第１の識別手段７０３と、第２のモデル記憶手段７０４と、モデル更新手段７０５と、第２の識別手段７０６と、モデル送信手段７０７とを備える。

【0168】

学習手段７０１（例えば、学習部１０３）は、データ（例えば、画像）が表わす物体を識別するためのモデルを、教師データを用いて学習する。

【0169】

第１のモデル記憶手段７０２（第１のモデル記憶部１０４）は、学習手段７０１によって学習されたモデルを記憶する。

【0170】

第１の識別手段７０３（例えば、第１の識別部１０６）は、学習手段７０１によって学習されたモデルを用いて、データが表わす物体を識別する。

【0171】

第２のモデル記憶手段７０４（例えば、第２のモデル記憶部１１０）は、予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ記憶する。

【0172】

モデル更新手段７０５（例えば、モデル更新部１２１）は、第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、第２のモデル記憶手段７０４に記憶されているその第１の識別システムで学習されたモデルを、その第１の識別システムから受信したモデルに更新する。

【0173】

第２の識別手段７０６（例えば、第２の識別部１１１）は、所定の場合に、第２のモデル記憶手段７０４に記憶されている個々のモデル毎に、第１の識別手段７０３が識別対象としたデータが表わす物体を識別する。

【0174】

学習手段７０１は、第２の識別手段７０６が導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第１のモデル記憶手段７０２に記憶されているモデルを再学習したモデルに更新する。

【0175】

モデル送信手段７０７（例えば、モデル送信部１２２）は、学習手段７０１によって学習されたモデルを、予め定められた１つまたは複数の第２の識別システムに送信する。

【0176】

そのような構成によって、本発明の識別システムは、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる。

【0177】

モデル送信手段７０７が、学習手段７０１がモデルを再学習した場合に、当該モデルを第２の識別システムに送信する構成であってもよい。

【0178】

モデル送信手段７０７が、定期的に、第１のモデル記憶手段７０２に記憶されているモデルを第２の識別システムに送信する構成であってもよい。

【0179】

第２の識別手段７０６が第２のモデル記憶手段７０４に記憶されている個々のモデル毎に導出した識別結果を統合することによって、第１の識別手段７０３が識別対象としたデータに対するラベルを特定する統合手段（例えば、統合部１１４）を備え、学習手段７０１が、統合手段によって特定されたラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、モデル送信手段７０７が、第１の識別手段７０３が再学習されたモデルを用いて導出したそのデータの識別結果と、統合手段によって特定されたそのデータに対するラベルとが一致する場合に、再学習されたモデルを第２の識別システムに送信する構成であってもよい。

【0180】

モデル送信手段７０７が、学習手段７０１がモデルを再学習した場合に、所定時間内で、第１の識別手段７０３がそのモデルを用いて導出した識別結果の正解率が、予め定められた閾値以上である場合に、そのモデルを第２の識別システムに送信する構成であってもよい。

【0181】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【産業上の利用の可能性】

【0182】

本発明は、データをモデルに適用することによって、そのデータが表わす物体を識別する識別システムに好適に適用される。

【符号の説明】

【0183】

１００ 識別システム
１０１ データ収集部
１０２ コンピュータ
１０３ 学習部
１０４ 第１のモデル記憶部
１０５ データ取得部
１０６ 第１の識別部
１０７ 決定部
１０８ 領域修正ＧＵＩ表示制御部
１０９ 領域抽出部
１１０ 第２のモデル記憶部
１１１ 第２の識別部
１１２ 表示制御部
１１３ 属性データ記憶部
１１４ 統合部
１１５ ディスプレイ装置
１１６ マウス
１１７ 結果記憶部
１２１ モデル更新部
１２２ モデル送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】