特開 2023-177717 追加学習用のデータ収集システムおよびデータ収集方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177717

(43)【公開日】2023-12-14

(54)【発明の名称】追加学習用のデータ収集システムおよびデータ収集方法

(51)【国際特許分類】

   G06V 10/72 20220101AFI20231207BHJP

   G06T 7/00 20170101ALI20231207BHJP

【ＦＩ】

G06V10/72

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022090549

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】藤井 幸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA02

5L096CA02

5L096DA02

5L096FA04

5L096FA16

5L096FA52

5L096GA51

5L096HA05

(57)【要約】

【課題】本発明では、追加学習用のデータを効率よく収集する技術を提供することを目的とする。
【解決手段】本発明の追加学習用のデータ収集システムは、所定エリアを撮影した映像に含まれる対象物体を認識し追跡する画像処理をする画像処理機能部と、前記画像処理の追加学習用のデータを蓄積する蓄積処理機能部とを備える。蓄積処理機能部は、データを一時蓄積し、一時蓄積データから所定の指標を算出し、指標に基づいて優先順位算出処理を行い、かつ一時蓄積データの蓄積判断処理を行う。蓄積判断処理は、追加学習用データ部のデータ量が閾値未満の場合には、一時蓄積データを追加学習用データ部に蓄積し、追加学習用データ部のデータ量が閾値以上の場合には、一時蓄積データと、追加学習用データ部に蓄積されたデータのうち優先順位が最も低いデータを優先順位算出処理により比較し、優先順位の低い方のデータを削除する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定エリアを撮影した映像に含まれる対象物体を認識し追跡する画像処理をする画像処理機能部と、前記画像処理の追加学習用のデータを蓄積する蓄積処理機能部と、を備えた追加学習用のデータ収集システムであって、
前記蓄積処理機能部は、
データを一時蓄積し、当該一時蓄積データから所定の指標を算出し、
前記指標に基づいて優先順位算出処理を行い、かつ前記一時蓄積データの蓄積判断処理を行い、
前記蓄積判断処理は、
追加学習用データ部のデータ量が閾値未満の場合には、前記一時蓄積データを前記追加学習用データ部に蓄積し、
前記追加学習用データ部のデータ量が閾値以上の場合には、前記一時蓄積データと、前記追加学習用データ部に蓄積されたデータのうち優先順位が最も低いデータ（以下、「最下位データ」という。）を前記優先順位算出処理により比較し、優先順位の低い方のデータを削除する、
ことを特徴とする、追加学習用のデータ収集システム。

【請求項2】

前記指標には、追跡時間と、未認識回数と、対象数の最大値、のいずれかを含む、請求項１に記載の追加学習用のデータ収集システム。

【請求項3】

前記蓄積判断処理において、
前記一時蓄積データの追跡時間が前記最下位データの追跡時間よりも小さい場合、前記一時蓄積データを削除する、請求項２に記載の追加学習用のデータ収集システム。

【請求項4】

前記蓄積判断処理において、
前記一時蓄積データの追跡時間が前記最下位データの追跡時間以上の場合で、かつ、
前記一時蓄積データの未認識回数が前記最下位データの未認識回数よりも小さい場合、前記一時蓄積データを削除する、請求項２に記載の追加学習用のデータ収集システム。

【請求項5】

前記蓄積判断処理において、
前記一時蓄積データの追跡時間が前記最下位データの追跡時間以上の場合で、
前記一時蓄積データの未認識回数が前記最下位データの未認識回数以上の場合で、かつ、
前記一時蓄積データの対象数の最大値が前記最下位データの対象数の最大値よりも小さい場合、前記一時蓄積データを削除する、請求項２に記載の追加学習用のデータ収集システム。

【請求項6】

前記優先順位算出処理において、
前記一時蓄積データと前記最下位データが、追跡時間、未認識回数、および対象数の最大値がそれぞれ同じである場合、映像開始日時が古いデータを優先順位が高いと判断する、請求項２に記載の追加学習用のデータ収集システム。

【請求項7】

前記一時蓄積データを前記追加学習用データ部に蓄積する場合において、
前記優先順位算出処理に基づき、前記追加学習用データ部のデータリストを更新する、請求項１に記載の追加学習用のデータ収集システム。

【請求項8】

所定エリアを撮影した映像に含まれる対象物体を認識し追跡する画像処理を行い、前記画像処理の追加学習用のデータを蓄積する、追加学習用のデータ収集方法であって、
データを一時蓄積し、当該一時蓄積データから所定の指標を算出する第１ステップと、
前記指標に基づいて優先順位算出処理を行い、かつ前記一時蓄積データの蓄積判断処理を行う第２ステップと、を含み、
前記蓄積判断処理は、
追加学習用データ部のデータ量が閾値未満の場合には、前記一時蓄積データを前記追加学習用データ部に蓄積し、
前記追加学習用データ部のデータ量が閾値以上の場合には、前記一時蓄積データと、前記追加学習用データ部に蓄積されたデータのうち優先順位が最も低いデータ（以下、「最下位データ」という。）を前記優先順位算出処理により比較し、優先順位の低い方のデータを削除する、
ことを特徴とする、追加学習用のデータ収集方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、追加学習用のデータ収集システムおよびデータ収集方法に関する。

【背景技術】

【0002】

従来、駅ホームにおいて移動する乗客を追跡するなど、公共施設や自治体などにおける様々な場面において、対象物体を追跡する監視システムが用いられている。そのような監視システムにおいては、カメラで撮像する画像において対象物体を認識し、移動を追跡する画像処理技術が必要になる。

【0003】

例えば特許文献１においては、画面中の対象物を中央に捉えながら確実に追跡することができるように、撮像部から与えられる映像信号中の対象物の画像を検出して、対象物の移動および変化に従って対象物の画像が映像画面中の中央に位置するように第１駆動部および第２駆動部によりパン方向およびチルト方向に移動し、さらに対象物の画像が所定の大きさを維持するように第３駆動部によりズームインまたはズームアウトするべく制御する制御部をもつ侵入物検知システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５５１４５０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、ＡＩを用いて画像中における対象物を認識する画像処理技術が、特許文献１に示すような監視システムに適用されつつある。このような画像処理技術を使ったシステムの運用中に特定の画像パターンの見逃し等の誤作動が発生した場合、特定の画像パターンを含む追加学習用のデータを収集し、追加学習を行うことにより、画像処理性能の改善がなされる。

【0006】

しかし、従来の追加学習用のデータ収集は、見逃し等の誤作動が発生した時点付近の映像から作業員が手作業で必要なシーンを切出して追加学習用のデータを収集しており、大変な労力がかかっていた。作業員が行う方法以外にも常時、データを配信し蓄積する方法もあるが、必要がない映像も配信・蓄積されるため、データの蓄積容量や通信回線が圧迫されて、蓄積コストや通信コストが増加するという問題があった。

【0007】

そこで、本発明では、追加学習用のデータを効率よく収集する技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、代表的な本発明の追加学習用のデータ収集システムの一つは、所定エリアを撮影した映像に含まれる対象物体を認識し追跡する画像処理をする画像処理機能部と、前記画像処理の追加学習用のデータを蓄積する蓄積処理機能部と、を備えた追加学習用のデータ収集システムであって、前記蓄積処理機能部は、データを一時蓄積し、当該一時蓄積データから所定の指標を算出し、前記指標に基づいて優先順位算出処理を行い、かつ前記一時蓄積データの蓄積判断処理を行う。そして、前記蓄積判断処理は、追加学習用データ部のデータ量が閾値未満の場合には、前記一時蓄積データを前記追加学習用データ部に蓄積する。さらに、前記追加学習用データ部のデータ量が閾値以上の場合には、前記一時蓄積データと、前記追加学習用データ部に蓄積されたデータのうち優先順位が最も低いデータ（以下、「最下位データ」という。）を前記優先順位算出処理により比較し、優先順位の低い方のデータを削除する。

【発明の効果】

【0009】

本発明によれば、追加学習用のデータを効率よく収集することができる。
上記した以外の課題、構成および効果は、以下の実施をするための形態における説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の実施形態に係る追加学習用のデータ収集システムを示す図である。

【図2】図２は、画像処理が行われる映像の第１例を示す模式図である。

【図3】図３は、画像処理が行われる映像の第２例を示す模式図である。

【図4A】図４Ａは、画像処理のフローチャートを示す図である。

【図4B】図４Ｂは、画像処理のフローチャートを示す図である。

【図5】図５は、処理済み映像信号Ｓｖｉに関連付けられた画像処理情報を示す模式図である。

【図6】図６は、追加学習用データ部に蓄積されているデータのリストを模式的に示す図である。

【図7】図７は、蓄積処理のフローチャートを示す図である。

【図8】図８は、変形例１の蓄積処理のフローチャートを示す図である。

【図9】図９は、変形例２の画像処理のフローチャートを示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0012】

＜システム構成＞
図１を参照して、本発明の実施形態に係る追加学習用のデータ収集システムの構成を説明する。
図１は、本発明の実施形態に係る追加学習用のデータ収集システムを示す図である。データ収集システム１は、カメラ部１０、画像処理サーバ２０、蓄積サーバ３０を含む。データ収集システムの構成要素の間で映像信号が通信されるところ、通信の手段および映像の通信規格等は本発明が適用される状況に応じて適切なものを選択することが可能である。

【0013】

カメラ部１０は、所定のエリアを撮影し、少なくとも撮影日時の情報を含む映像信号Ｓｖを生成する。カメラ部１０は、生成した映像信号Ｓｖを後述の画像処理サーバ２０へ送信する。なお、図１において示されているカメラ部１０の数は１であるが、カメラ部の台数はこれに限定されない。複数のカメラ部を備える構成であってもよい。

【0014】

画像処理サーバ２０は、入力部２１、認識処理部２２、出力部２３、学習部２４、学習データ部２５を備える。ただし、学習部２４、学習データ部２５は画像処理サーバ２０とは別体として設けられてもよい。

【0015】

入力部２１は、カメラ部１０によって生成された映像信号Ｓｖを受信する。入力部２１はあってもなくてもよい。図１においてはカメラ部１０から映像信号Ｓｖが送信される様子を示しているが、映像データが蓄積された記憶装置を画像処理サーバ２０に接続する構成であってもよく、データを移行する方法は限定されない。

【0016】

認識処理部２２は、映像信号Ｓｖから所定の対象物体を認識し追跡する画像処理を行う。ここで、画像認識は、所定の対象物体を認識するように学習した学習済みモデルを使用したＡＩ（人工知能）によって行われる。学習部２４は、学習データ部２５に保存された学習データを用いて学習し、所定の対象物体を認識する学習済みモデルを作成する。その後も学習データ部２５には、追加学習用のデータが供給される。そして追加学習用のデータを用いて学習部２４において学習済みモデルが更新される。

【0017】

さらに認識処理部２２は、「認識した」または「認識しない（未認識）」のいずれかを示す認識情報を生成する。「認識しない（未認識）」には、対象物体が移動してカメラのフレーム外に離脱することで認識されなくなる場合の他、見逃し等の誤作動によって認識されなくなる場合も含む。

【0018】

また、認識処理部２２は、カメラのフレーム中において認識される、追跡の対象となるべき物体の数を示す数情報を生成する。また、認識処理部２２は、所定の対象物体を認識して追跡を開始した追跡開始情報、および当該対象物体が認識されずに追跡が終了した追跡終了情報を生成する。認識処理部２２は、上述の認識情報、数情報、追跡開始情報、追跡終了情報を画像処理情報として映像信号Ｓｖに関連付ける。出力部２３は、映像信号Ｓｖに画像処理情報が関連付けられた処理済み映像信号Ｓｖｉを蓄積サーバ３０へ出力する。出力部２３はあってもなくてもよく、データを移行する方法は限定されない。

【0019】

蓄積サーバ３０は、入力部３１、一時蓄積部３２、判断部３３、追加学習用データ部３４を備える。蓄積サーバ３０は、処理済み映像信号Ｓｖｉに追加学習用のデータとなる部分が含まれるかどうかを判断し、収集する。

【0020】

入力部３１は、処理済み映像信号Ｓｖｉを受信する。入力部３１はあってもなくてもよく、データを移行する方法は限定されない。一時蓄積部３２は、処理済み画像信号Ｓｖｉのうち、追加学習用のデータとなる映像の部分を抽出し、一時蓄積データとして一時的に蓄積する。判断部３３は、一時蓄積部に蓄積された映像の部分に関連付けられた画像処理情報に基づいて優先順位を判断し、一時蓄積データを追加学習用データ部３４に蓄積するか否かを判断する。追加学習用データ部３４は、学習データ部２５における追加学習用のデータを保存し、必要に応じ学習データ部２５に学習データを提供する。

【0021】

＜画像処理＞
図２から図４を用いて、画像処理サーバ２０において行われる画像処理を説明する。
本実施形態においては、所定のエリアに入った人物を認識し追跡する監視システムに対して、データ収集システム１を適用した場合を説明する。ここでは、カメラ部１０は、所定のエリアを撮影する定点カメラである。なお、本発明は、監視システムに限定されるものではない。

【0022】

図２は、画像処理が行われる映像の第１例を示す模式図である。

【0023】

図２（ａ）は、認識処理部２２が、人物Ａを認識し追跡を開始した場面を示す図である。ここで、認識処理部２２は所定のエリアに対してフレーム単位で画像取得および画像処理を行う。フレーム４０はある時点での映像信号Ｓｖに含まれる１フレームを示している。フレームレートとしては、例えば３０ｆｐｓ（frame per second）が用いられる。認識処理部２２は、フレーム４０のなかに、人物Ａが含まれていることを認識する。認識処理部２２は、フレーム４０の時点から、人物Ａを認識し追跡を開始する。また、認識処理部２２は、フレーム４０のなかに、人物Ａの他に、５人の人物４４ａから４４ｅを認識し、数情報（６[人]）を生成する。図２（ａ）において、画像処理の対象として認識された物体は破線で囲むように表示されている。物体４３は、画像処理の対象として認識されていない。

【0024】

なお、任意の時点でのフレームにおいて、フレームの中央付近にある点から半径ｒ１以内の領域である中心領域Ｒｃと、中心領域の同心円状であって半径ｒ１と半径ｒ１よりも大きい半径ｒ２の間の中間領域Ｒｍ、中間領域Ｒｍよりも遠い領域である端部領域Ｒｅが設定されている。このような領域の設定は追跡対象の位置を特定する手段の一例であり、これに限定されるものではなく、なくてもよい。

【0025】

図２（ｂ）は、図２（ａ）のフレーム４０から数フレームが経過した後のフレーム４１を示す図である。フレーム４１において、人物Ａは、撮影されたエリアを左上から右下に移動している。認識処理部２２は、このように人物Ａの移動を追跡する。また、認識処理部２２は、フレーム４１のなかに、人物Ａの他に、４人の人物４５ａから４５ｄを認識して数情報（５[人]）を生成する。

【0026】

図２（ｃ）は、図２（ｂ）のフレーム４１の次のフレーム４２を示す図である。フレーム４２において、人物Ａは認識されていない。認識処理部２２は、人物Ａの追跡を判定するための判定条件が成立する場合、人物Ａの追跡を終了する。

【0027】

ここで、追跡終了をするための判定条件としては、フレーム４２の時点から人物Ａが認識されない状態が継続する時間を用いる。このような時間については、認識できなくなったフレームよりも前のフレームにおいて人物Ａがいた位置に応じて設定することが考えられる。例えば、人物Ａが認識されなくなったフレームよりも直前のフレームにおいて中心領域Ｒｃにいた場合、人物Ａの認識されない状態が１０秒継続した時点で追跡を終了する。また、人物Ａが認識されなくなったフレームよりも直前のフレームにおいて中間領域Ｒｍにいた場合、認識されない状態が５秒継続した時点で追跡を終了する。また、人物Ａが認識されなくなったフレームよりも直前のフレームにおいて端部領域Ｒｅにいた場合、認識されない状態が１秒継続した時点で追跡を終了する。

【0028】

このような追跡終了の判定条件は、本実施形態が適用される状況に応じて適宜設定することができる。例えば、カメラ部１０が駅のプラットフォームのように広いエリアを撮影する場合には上述のように中心領域Ｒｃ、中間領域Ｒｍ、端部領域Ｒｅそれぞれに対応する継続時間の値を設定することとし、一方でカメラ部１０が駅の改札のように狭いエリアを撮影する場合には領域を分けることなく１秒の継続時間を一律に設定することが考えられる。監視システムが用いられる場所や予想される人流等の状況に応じて、追跡終了の判定条件を設定することが可能である。

【0029】

図３は、画像処理が行われる映像の第２例を示す模式図である。図３は、誤作動が起こったために人物の未認識が発生した場合である点で、図２に示す第１例の場合と異なる。図２に示された構成と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。

【0030】

図３（ａ）は、認識処理部２２が、人物Ｂを認識し追跡を開始した場面を示す図である。認識処理部２２は、フレーム５０のなかに、人物Ｂが含まれていることを認識する。認識処理部２２は、フレーム５０の時点から、人物Ｂを認識し追跡を開始する。また、認識処理部２２は、フレーム５０のなかに、人物Ｂの他に、５人の人物５４ａから５４ｅを認識し数情報（６[人]）を生成する。図３（ａ）において、画像処理の対象として認識された物体は破線で囲むように表示されている。物体４３は、画像処理の対象として認識されていない。

【0031】

図３（ｂ）は、図３（ａ）のフレーム５０から数フレームが経過した後のフレーム５１を示す図である。フレーム５１において、人物Ｂは、撮影されたエリアを左上から中央部付近に移動している。認識処理部２２は、このように人物Ｂ移動を追跡する。また、認識処理部２２は、フレーム５１のなかに、人物Ｂの他に、４人の人物５５ａから５５ｄを認識し数情報（５[人]）を生成する。

【0032】

図３（ｃ）は、図３（ｂ）のフレーム５１の次のフレーム５２を示す図である。フレーム５２において、実際には人物Ｂに相当する人物は含まれているが、認識処理部２２は人物Ｂを認識していない。認識処理部２２は、人物Ｂがフレーム５１において中間領域Ｒｍにいたことから、人物Ｂが認識されない状態が５秒間継続するかどうかを判定条件に設定する。認識処理部２２は、判定条件が成立する（５秒間継続して認識されない）場合、人物Ｂの追跡を終了する。

【0033】

なお、図２および図３の例では、特定の人物１人のみを認識して追跡することを説明したが、本実施形態はこれに限定されない。複数の人物を区別して認識し、追跡することも可能である。

【0034】

図４Ａおよび図４Ｂは、画像処理のフローチャートを示す図である。

【0035】

図４ＡのステップＳ１において、画像処理サーバ２０は、カメラ部１０から映像信号Ｓｖを受信する。映像信号Ｓｖの受信は、入力部２１を介して行われる。

【0036】

ステップＳ２において、画像処理サーバ２０は、映像信号Ｓｖについて学習済みモデルを用いたＡＩ（人工知能）により、所定の対象物体に対する認識処理を行う。

【0037】

ステップ３において開始される追跡処理１は、物体の認識および追跡に関するものである。ステップＳ３において、認識処理部２２は、映像中に所定の対象物体を認識したか否か判断する。ここで、物体の認識は、例えば映像信号をフレーム単位で行うことができる。また、認識処理部２２は、ステップＳ３において、所定の対象物体を「認識した」、または「認識しない（未認識）」のいずれかを示す認識情報、所定の対象物体の情報（位置情報・特徴量）および所定の対象物体の数情報をフレームに関連付ける。数情報の関連付けは、図４に示される画像処理を行う間継続して行われる。すなわちステップＳ３においてフレームに関連付けられる情報は、図２（ａ）を例とした場合、「認識した」、人物Ａおよび人物４４ａ～４４ｅの位置情報・特徴量、および数情報「６」をフレームに関連づける。

【0038】

また、ステップＳ３において、認識処理部２２は、認識した所定の対象物体の追跡処理を行う。認識した所定の対象物体の１つずつに対して追跡処理を行い、関連付けられる追跡情報の有無を判定する。

【0039】

ステップＳ４において、認識処理部２２は、認識された所定の対象物体が追跡中の物体と関連付けがあったかどうか判定する。認識処理部２２は、追跡中の物体と関連付けがない場合（ステップＳ４においてＹＥＳ）、ステップＳ５において新たなに出現した物体として追跡情報を追加し、追跡開始情報を付加する。認識処理部２２は追跡中の物体と関連付けされた場合（ステップＳ４においてＮＯ）、ステップＳ６において追跡情報の更新を行う。ステップＳ５または、ステップＳ６を実行後は、ステップＳ７の工程に移行する。

【0040】

ステップＳ７において、認識処理部２２はステップＳ２で認識されたすべての所定の対象物体を処理したかを判定する。判定条件が成立しない場合（ステップＳ７においてＮＯ）、ステップＳ３の追跡処理１に戻り処理を継続する。判定条件が成立する場合（ステップＳ７においてＹＥＳ）、図４Ｂのステップ８の工程に移行する。

【0041】

ステップＳ８において、追跡処理２が開始される。ここでは、まず、認識処理部２２は追跡情報の１つを取り出す。

【0042】

ステップＳ９において、認識処理部２２は、追跡開始時間≠現在時刻（ステップＳ５で追加された追跡情報ではない）かつ、追跡情報更新なし（ステップＳ６で情報更新が行われていない）であるか否かを判定する。判定条件が成立した場合（ステップＳ９においてＹＳＥ）、未認識を示す情報を関連付け、ステップＳ１０に移行する。判定条件が成立しなかった場合（ステップＳ９においてＮＯ）の場合、追跡中であるためステップＳ１３に移行する。

【0043】

ステップＳ１０において、認識処理部２２は、認識されなくなったフレームの直前のフレームにおける所定の対象物体の位置に基づいて、追跡処理を終了するための判定条件を設定する。

【0044】

ステップＳ１１において、認識処理部２２は、判定条件が成立するかどうか判定する。判定条件が成立しない場合（ステップＳ１１においてＮＯ）、ステップＳ１３に移行する。判定条件が成立する場合（ステップＳ１１においてＹＥＳ）、認識処理部２２は、所定の対象物体の追跡を終了させ、追跡が終了したことを示す追跡終了情報を付加する（ステップＳ１２）。

【0045】

ステップＳ１３において、認識処理部２２は、所定の対象物体に関連付けられた追跡情報に追跡終了情報が付加されていない場合（ステップＳ１３においてＮＯ）、追跡処理２を繰り返す。認識処理部２２は、所定の対象物体に関連付けられた追跡情報に追跡終了情報が付加された場合（ステップＳ１３においてＹＥＳ）、図４ＡのステップＳ１４へ移行する。

【0046】

そして、図４ＡのステップＳ１４において、認識処理部２２は、映像信号Ｓｖに含まれる映像の最後まで画像処理したかどうかを判断する。残りの映像がある場合（ステップＳ１４においてＮＯ）、所定の対象物体の認識・追跡処理を続行する。映像の最後まで画像処理をした場合（ステップＳ１４においてＹＥＳ）、画像処理を終了する。

【0047】

上述の画像処理は、データ収集システム１が適用されている監視システムの運用中、継続して行われる。このようにすることで、監視システムの運用期間中に生じた膨大な映像データのなかから追加学習用のデータを効率よく収集することができる。

【0048】

＜蓄積処理＞
図５から図７を参照して、蓄積サーバ３０の一時蓄積部３２が行う一時蓄積処理および指標の算出、判断部３３が行う蓄積判断処理および優先順位算出処理について説明する。なお、指標の算出は判断部３３が行ってもよい。

【0049】

（一時蓄積処理）
図５は 、処理済み映像信号Ｓｖｉに関連付けられた画像処理情報を示す模式図である。図５は、図４ＡのステップＳ３から図４ＢのステップＳ１２までの工程が行われた場合を模式的に示す。図５（ａ）から図５（ｃ）は、映像信号のなかに、３つの所定の対象物体が含まれている場合を例にとって示している。図５において、映像信号は、時間軸（ｔ）に沿ってフレームに分かれている。また、所定の対象物体を認識したことを示す認識情報が関連付けられたフレームにはハッチがかけられている。追跡開始情報が付加されたフレームには、ｐｓ１、ｐｓ２の文字と三角の記号が付されており、追跡終了情報が付加されたフレームにはｐｆ１、ｐｆ２の文字と三角の記号が付されている。図５（ａ）においては、所定の対象物体１の追跡がｐｆ１で一旦終了した後に、ｐｓ２で追跡情報の更新が発生し再び追跡が開始されたことを示している。ｐｆ２において追跡終了の判定条件が成立している。図５（ｂ）においては、所定の対象物体２の追跡がｐｓｎにおいて開始され、図５に示されるフレーム以降にも追跡が継続していることを示している。図５（ｃ）においては、所定の対象物体３の追跡が図５に示されるフレームよりも前に開始され、ｐｆｍにおいて一旦終了したことが示されている。図５（ｃ）においては、追跡情報が更新され、ｐｓｍ＋１において再び追跡が開始し、ｐｆｍ＋１において追跡が終了したことが示されている。

【0050】

処理済み画像信号Ｓｖｉは、蓄積サーバ３０の入力部３１に送信されたのち、一時蓄積部３２において一時蓄積処理がなされる。一時蓄積部３２は、処理済み画像信号Ｓｖｉに含まれる映像データのうち、追跡開始情報が付加されたフレームから追跡終了情報が付加されたフレームまでの間のフレームを抽出し、一時蓄積データとして一時的に蓄積する。図５の場合、追跡開始情報ｐｓ１から追跡終了情報ｐｆ１までのフレームを含むフレーム群ｖｆ１を一時蓄積データとする。また、一時蓄積部３２は、フレーム群ｖｆ１に、追跡開始情報ｐｓ１に対応する追跡が開始された時刻を示す追跡開始時間ｔｓ１、追跡終了情報ｐｆ１に対応する追跡が終了した時刻を示す追跡終了時間ｔｆ１を関連付ける。フレーム群ｖｆ２、ｖｆｎ、ｖｆｍ、ｖｆｍ＋１も同様に一時的に蓄積される。以下の説明では、フレーム群ｖｆ１を例にとって説明する。

【0051】

（指標の算出）
一時蓄積部３２は、フレーム群ｖｆ１に関連付けられた画像処理情報から指標を算出する。本実施形態においては、指標として、追跡時間、未認識回数、エリア内の対象数（最大値）、映像開始日時が算出される。ただし指標はこれに限定されるものではない。

【0052】

追跡時間は、追跡開始時刻ｔｓ１と追跡終了時刻ｔｆ１の間の差を求めることで算出される。例えば、フレーム群ｖｆ１の場合、追跡開始時刻ｔｓ１と追跡終了時刻ｔｆ１の間に１５フレームあるので、フレームレート３０ｆｐｓの場合、追跡時間は１５／３０＝０．５秒である。なお、指標としては追跡時間に限定されない。例えば、フレーム数を用いることもできる。

【0053】

未認識回数は、フレーム群ｖｆ１において所定の対象物体の未認識があった回数である。例えば、１フレームの未認識があった場合に１回とカウントする方法がある。図５（ａ）において、追跡開始情報ｐｓ１が付加されたフレームから追跡終了情報ｐｆ１が付加されたフレームまでの間に未認識であるフレームが９つあるので、未認識回数を９回とカウントする。なお、未認識状態の評価方法はこれに限定されない。例えば、指標として未認識回数の代わりに、認識した状態が継続した時間を用いて未認識状態の評価の指標とすることもできる。

【0054】

エリア内の対象数（最大値）（以下、「対象数の最大値」ともいう。）は、フレーム群ｖｆ１に含まれる各フレームの数情報のうち最大のものを意味する。なお、指標として用いられるものは最大値に限定されない。例えば、数情報の平均値、数情報の中央値を指標に用いることもできる。

【0055】

映像開始日時は、フレーム群ｖｆ１が含まれる映像信号Ｓｖの生成が開始される日時である。なお、指標としては他の日時を採用してもよい。

【0056】

（蓄積判断処理）
判断部３３は、一時蓄積データを追加学習用データ部３４に蓄積するかどうかを判断する。そのため先ず判断部３３は、追加学習用データ部３４に蓄積されているデータ量が閾値に達しているかどうかを判断する。閾値に達していない場合（閾値未満の場合）、判断部３３は、一時蓄積データ（フレーム群ｖｆ１）を追加学習用データ部３４に蓄積する。その際、後述する優先順位算出処理で決められた新たな優先順位によるデータリスト（後述）の更新が行われる。

【0057】

閾値に達している場合（閾値以上の場合）、判断部３３は、追加学習用データ部３４に蓄積されているデータと一時蓄積データ（フレーム群ｖｆ１）に関し、優先順位算出処理による優先順位に基づいていずれのデータを蓄積するか判断する。なお、データ量の閾値として、例えば追加学習用データ部３４の記憶容量の上限値としてもよいし、次のデータを蓄積するために残されている空き容量の下限値を設定してもよい。また、１日に１０データまでとするように、所定期間に蓄積するデータの個数（件数）の上限を閾値に用いてもよい。

【0058】

図６は、追加学習用データ部３４に蓄積されているデータのリスト（以下、「データリスト」という。）を模式的に示す図である。本実施形態の優先順位や蓄積の判断などにおいて、「データ」はフレーム群（フレーム群ｖｆ１など）単位で扱われる。項目「優先順位」は、蓄積されているフレーム群の指標に基づいて判断部３３での優先順位算出処理により算出された値である。追加学習用データ部３４に蓄積されているデータの指標は、一時蓄積データに対して算出した上述の指標と同様なので説明は省略する。なお、データリストには、図６に示される項目のほか、適宜、項目を付加することも可能である。例えば、所定の対象物体の種類を示す指標を追加してもよい。このような追加した指標は、後述の優先順位算出処理において考慮することも可能である。

【0059】

例えば、図６において、優先順位１位のフレーム群は、追跡時間が１０分、未認識回数が２０回、エリア内の対象数（最大値）が１０人である。また、データリストには、優先順位が最も低いデータ（以下、「最下位データ」という。）が含まれる。図６において、優先順位Ｒ_Ｌのフレーム群が最下位データに該当する。優先順位Ｒ_Ｌのフレーム群は、追跡時間がＴ_Ｌ分、未認識回数がＣ_Ｌ回、エリア内の対象数（最大値）がＮ_Ｌ人である。なお、図６のデータリストに掲載されたいずれのデータも、同一の映像信号Ｓｖから抽出されたフレーム群であることから、映像開始日時が共通しているが、異なる映像信号から抽出されたデータの映像開始日が異なり得ることは言うまでもない。

【0060】

判断部３３は、一時蓄積データを追加学習用データ部３４に蓄積させるか否かを指標の優先順位によって判断する。蓄積できないと判断された場合は、一時蓄積データはそのまま削除される。蓄積すると判断された場合は、追加学習用データ部３４の最下位データを削除する。そして優先順位算出処理で決められた新たな優先順位によるデータリストの更新が行われる。

【0061】

このように一時蓄積データの蓄積または削除が行われた後、次の一時蓄積データがある場合には、同様の蓄積判断処理を繰り返す。

【0062】

（優先順位算出処理）
指標による優先順位のつけ方（優先順位算出処理）に関し説明する。
まず、追跡時間の比較を行う。判断部３３は、一時蓄積データの追跡時間が、追加学習用データ部３４の最下位データ（Ｒ_Ｌ）の追跡時間以上であるかどうかを判断する。一時蓄積データの追跡時間が最下位データ（Ｒ_Ｌ）の追跡時間（Ｔ_Ｌ）よりも小さい（未満）場合、判断部３３は、一時蓄積データを削除する。一時蓄積データの追跡時間が最下位データ（Ｒ_Ｌ）の追跡時間（Ｔ_Ｌ）以上である場合、未認識回数の比較をする。

【0063】

次に未認識回数の比較を行う。判断部３３は、一時蓄積データの未認識概数が最下位データ（Ｒ_Ｌ）の未認識回数（Ｃ_Ｌ）以上であるかどうかを判断する。一時蓄積データの未認識回数が最下位データ（Ｒ_Ｌ）の未認識回数（Ｃ_Ｌ）よりも小さい（未満）場合、判断部３３は、一時蓄積データを削除する。一時蓄積データの未認識回数が最下位データ（Ｒ_Ｌ）の未認識回数（Ｃ_Ｌ）以上である場合、対象数の最大値の比較をする。

【0064】

次に対象数の最大値の比較を行う。判断部３３は、一時蓄積データの対象数の最大値が最下位データ（Ｒ_Ｌ）の対象数の最大値（Ｎ_Ｌ）以上であるか判断する。一時蓄積データの対象数の最大値が最下位データ（Ｒ_Ｌ）の対象数の最大値（Ｎ_Ｌ）よりも小さい（未満）場合、判断部３３は、一時蓄積データを削除する。一時蓄積データの対象数の最大値が最下位データ（Ｒ_Ｌ）の対象数の最大値（Ｎ_Ｌ）以上である場合、最下位データ（Ｒ_Ｌ）を削除し、一時蓄積データを追加学習用データ部３４に蓄積する。

【0065】

仮に、一時蓄積データと最下位データ（Ｒ_Ｌ）との間で、追跡時間、未認識回数、対象数の最大値が全て同じであった場合には、映像開始日時が古いデータを優先順位が高いとする。ただし、映像開始日時が最新のものを優先順位が高いとしてもよい。

【0066】

上述のように、一時蓄積データと最下位データが優先順位算出処理により比較され、優先順位が低い方のデータが削除される。ただし、優先順位算出は上述の手順に限定されない。例えば未認識回数を第１優先の指標として最初に比較してもよい。またある指標の判定において、最下位データが判定条件を満たさなければその時点で最下位データの方を削除してもよい。

【0067】

一時蓄積データを蓄積してデータリストを更新する際には、データリスト中の全てのデータと一時蓄積データとで同様の優先順位算出処理に従って優先順位を新たに決定しデータリストが更新される。ただし、最下位データだけを更新するようにしてもよい。

【0068】

（蓄積処理のフローチャート）
図７は、蓄積処理のフローチャートを示す図である。

【0069】

ステップＳ２０において、一時蓄積部３２は一時蓄積処理を行う。

【0070】

ステップＳ２１において、一時蓄積部３２は、一時蓄積データに関連付けられた画像処理情報から指標を算出する。

【0071】

ステップＳ２２からステップＳ２５において、判断部３３は、一時蓄積データを蓄積するかどうかを判断する蓄積判断処理を行う。
ステップＳ１２において、判断部３３は、追加学習用データ部３４に蓄積されているデータ量が閾値に達しているかどうかを判断する。閾値に達していない場合（閾値未満の場合）（ステップＳ２２においてＹＥＳ）、ステップＳ２６に移行し一時蓄積データを蓄積しデータリストを更新する。閾値に達している場合（閾値以上の場合）（ステップＳ２２においてＮＯ）、判断部３３は、ステップＳ２３に移行する。

【0072】

ステップＳ２３からステップＳ２５において、判断部３３は、一時蓄積データと追加学習用データ部３４に蓄積された最下位データに関し、どちらを蓄積するか判断する。

【0073】

ステップＳ２３において、判断部３３は、一時蓄積データの追跡時間が最下位データの追跡時間以上であるか判断する。一時蓄積データの追跡時間が最下位データの追跡時間以上である場合（ステップＳ２３においてＹＥＳ）、ステップＳ２４に移行する。一時蓄積データの長さである追跡時間が最下位データの追跡時間未満である場合（ステップＳ２３においてＮＯ）、判断部３３はステップＳ２８に移行し一時蓄積データを削除する。

【0074】

ステップＳ２４において、判断部３３は、一時蓄積データの未認識回数が最下位データの未認識回数以上であるか判断する。一時蓄積データの未認識回数が最下位データの未認識回数以上である場合（ステップＳ２４においてＹＥＳ）、ステップＳ１５に移行する。一時蓄積データの未認識回数が最下位データの未認識回数未満である場合（ステップＳ２４においてＮＯ）、判断部３３はステップＳ２８に移行し一時蓄積データを削除する。

【0075】

ステップＳ２５において、判断部３３は、一時蓄積データの対象数の最大値が最下位データの対象数の最大値以上であるか判断する。一時蓄積データの対象数の最大値が最下位データの対象数の最大値以上である場合（ステップＳ２４においてＹＥＳ）、判断部３３は、ステップＳ２６に移行し、追加学習用データ部３４から最下位データを削除し、一時蓄積データを追加学習用データ部３４に蓄積してデータリストを更新する。一時蓄積データの対象数の最大値が最下位データの対象数の最大値未満である場合（ステップＳ２４においてＮＯ）、判断部３３は、ステップＳ２８に移行し一時蓄積データを削除する。

【0076】

ステップ２７において、処理済み映像信号Ｓｖｉの映像データが終了した場合（ステップＳ２７においてＹＥＳ）、蓄積判断処理を終了する。処理済み映像信号Ｓｖｉに映像データが含まれる場合（ステップＳ２７においてＮＯ）、ステップＳ２０の一時蓄積処理をする。

【0077】

＜作用・効果＞
データに優先順位をつけて、蓄積判断に利用することで、優先度の低いデータを容易に排除でき、また作業員の労力をかけずに、追加学習用のデータを効率よく収集することができる。

【0078】

また、追跡する対象物体に応じた適切な指標や優先順位付けを選択することも可能となる。例えば本実施形態においては、指標として、追跡時間、未認識回数、対象数の最大値を採用した。追跡時間が長いと映像の記録時間が長くなるため、誤作動が発生した場合のデータを多く収集でき追加学習用のデータとして適していることから追跡時間を第１優先順位の判断指標に設定した。次に未認識回数が多いと、対象物体の見逃しが発生したときのデータが多く含まれる可能性が高まることから未認識回数を第２優先順位の判断指標に設定した。次に対象数の最大値が多いと、人数が多い分より多くのデータを収集できるメリットがあることから対象数の最大値を第３優先順位の判断指標に設定した。

【0079】

また、追加学習用のデータは優先順位が高いものから優先して蓄積されるため、データの蓄積容量を浪費することなくデータ通信にかかる通信コストも抑制することができる。また、優先順位を付けることによって、学習データを選別するときに優先順位の高いものから優先して効率的に利用することもできる。

【0080】

［変形例１］
変形例１は、優先順位算出処理における判断ステップが１つである点で、実施形態と異なる。図８は、変形例１の蓄積処理のフローチャートを示す図である。以下の説明において、上述の実施形態と同一または同等の構成要素については同一の符号を付し、その説明を簡略または省略する。

【0081】

変形例１において、一時蓄積データと最下位データの比較に用いる指標は１種類である。このため、一時蓄積データと最下位データの優先度を比較する工程は、ステップ１３０の１回である。

【0082】

＜作用・効果＞
例えば特定の色、または特定範囲の身長といった、収集したいデータが特定されている場合には、変形例１のように、優先順位を比較するときの指標を絞ることで、目的にあった追加学習用のデータをより効率よく収集することができる。

【0083】

［変形例２］
変形例２は、画像処理において所定の対象物体が１つに特定されている点で、実施形態と異なる。図９は、変形例２の画像処理のフローチャートを示す図である。ここでは、図２および図３の映像を想定している。以下の説明において、上述の実施形態と同一または同等の構成要素については同一の符号を付し、その説明を簡略または省略する。

【0084】

ステップＳ２０１において、画像処理サーバ２０は、カメラ部１０から映像信号Ｓｖを受信する。映像信号Ｓｖの受信は、入力部２１を介して行われる。

【0085】

ステップＳ２０２において、画像処理サーバ２０は、映像信号Ｓｖについて学習済みモデルを用いたＡＩ（人工知能）により、所定の対象物体（例えば人物Ａまたは人物Ｂ）に対する認識処理を行う。

【0086】

ステップＳ２０３において、認識処理部２２は、映像中に所定の対象物体を認識するか否か判断する。ここで、物体の認識は、例えば映像信号をフレーム単位で行うことができる。また、認識処理部２２は、所定の対象物体を「認識した」、または「認識しない（未認識）」のいずれかを示す認識情報をフレームに関連付ける。所定の対象物体を認識した場合（ステップＳ２０３においてＹＥＳ）、ステップＳ４の追跡処理を開始する。所定の対象物体を認識しない場合（ステップＳ２０３においてＮＯ）、認識処理部２２は、認識処理（ステップＳ２０２）を続行する。

【0087】

なお、認識処理部２２は、映像信号のフレーム中において認識される、追跡の対象となるべき物体の数を示す数情報をフレームに関連付ける。数情報の関連付けは、図９に示される画像処理を行う間、継続して行われる。

【0088】

ステップＳ２０４において、認識処理部２２は、認識した所定の対象物体の追跡処理を行う。追跡処理を行う間は、当該物体の認識が継続している。そのため、認識処理部２２は、フレームに所定の物体を認識したか否かを示す認識情報を関連付ける。また、認識処理部２２は、追跡を開始した時点を示す追跡開始情報をフレームに関連付ける。

【0089】

ステップＳ２０５において、認識処理部２２は、追跡中の物体が認識されない状態になったかどうか判定する。認識処理部２２は、所定の対象物体を認識しない場合、未認識を示す認識情報をフレームに関連付ける。追跡中の物体を認識している場合（ステップＳ２０５においてＮＯ）、認識処理部２２は追跡処理を継続する。追跡中の物体が認識されない場合（ステップＳ２０５においてＹＥＳ）、ステップＳ２０６の工程に移る。

【0090】

ステップＳ２０６において、認識処理部２２は、認識されなくなったフレームの直前のフレームにおける所定の対象物体の位置に基づいて、追跡処理を終了するための判定条件を設定する。

【0091】

ステップＳ２０７において、認識処理部２２は、判定条件が成立するかどうか判定する。判定条件が成立しない場合（ステップＳ２０７においてＮＯ）、所定の対象物体を認識する状態であるため、追跡処理を行う。判定条件が成立する場合（ステップＳ２０７においてＹＥＳ）、認識処理部２２は、所定の対象物体の追跡を終了させ、追跡が終了したことを示す追跡終了情報をフレームに関連付ける。

【0092】

ステップＳ２０８において、認識処理部２２は、映像信号Ｓｖに含まれる映像の最後まで画像処理したかどうかを判断する。残りの映像がある場合（ステップＳ２０８においてＮＯ）、所定の対象物体の認識・追跡処理を続行する。映像の最後まで画像処理をした場合（ステップＳ２０８においてＹＥＳ）、画像処理を終了する。以降は、実施形態に説明した蓄積処理を行う。

【0093】

＜作用・効果＞
変形例２においては、追跡する対象物体が予め判明している場合、対象物体の認識および追跡が簡便な方法で行われる。蓄積するデータ量を抑えることが可能となり、追加学習用のデータを効率よく収集することができる。

【0094】

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本実施形態において、画像処理サーバと蓄積サーバを含む追加学習用のデータ収集システムを示したが、本発明はこれに限定されない。画像処理サーバと蓄積サーバは必ずしも物理的に別体である必要はなく、画像処理サーバの機能を実現する構成（「画像処理機能部」という。）と蓄積サーバの機能を実現する構成（「蓄積処理機能部」という。）を組み合わせたシステムであればよい。

【符号の説明】

【0095】

１ データ収集システム
１０ カメラ部
２０ 画像処理サーバ
２１、３１ 入力部
２２ 認識処理部
２３ 出力部
２４ 学習部
２５ 学習データ部
３０ 蓄積サーバ
３２ 一時蓄積部
３３ 判断部
３４ 追加学習用データ部
３５ 制御部
４０～４２、５０～５２ フレーム
４３ 物体
４４ａ～４４ｅ、４５ａ～４５ｄ、４６ａ～４６ｃ、５４ａ～５４ｅ、５５ａ～５５ｄ、５６ａ～５６ｃ 人物
Ａ、Ｂ 特定の人物
ｖｆ１、ｖｆ２、ｖｆｎ、ｖｆｍ、ｖｆｍ＋１ フレーム群
ｐｆ１、ｐｆ２、ｐｆｍ、ｐｆｍ＋１ 追跡終了情報
ｐｓ１、ｐｓ２、ｐｓｎ、ｐｓｍ＋１ 追跡開始情報
ｒ１、ｒ２ 半径

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】