特開 2023-161432 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023161432

(43)【公開日】2023-11-07

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 11/80 20060101AFI20231030BHJP

   G06T 7/00 20170101ALI20231030BHJP

   G06V 10/774 20220101ALI20231030BHJP

【ＦＩ】

G06T11/80 A

G06T7/00 350B

G06V10/774

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022071824

(22)【出願日】2022-04-25

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】岩井 和彦

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA00

5B050BA06

5B050BA11

5B050BA12

5B050BA18

5B050BA19

5B050BA20

5B050CA01

5B050DA04

5B050EA03

5B050EA06

5B050EA07

5B050EA19

5B050FA02

5B050FA05

5B050FA12

5B050FA13

5L096AA06

5L096BA02

5L096BA18

5L096CA02

5L096DA01

5L096EA35

5L096FA06

5L096FA16

5L096FA31

5L096FA62

5L096FA69

5L096FA77

5L096GA38

5L096KA04

(57)【要約】

【課題】学習に先だって、教師画像の収集状況をユーザが目視で容易に確認でき、効率よく高精度な学習モデルを作成できるようにする。
【解決手段】プロセッサ１３は、監視エリアに関するエリア画像から、検知対象物と背景とを含む教師画像を生成し、教師画像に含まれる検知対象物の特徴に関する属性を教師画像ごとに設定し、ユーザが指定した属性を有する教師画像を対象にして、エリア画像の各位置における教師画像の収集状況を可視化した可視化画像を生成し、可視化画像をエリア画像に重畳した表示情報を出力する。また、プロセッサは、エリア画像として、カメラで撮影された現実エリア画像、またはＣＧで作成された仮想エリア画像から教師画像を生成する。また、プロセッサは、属性としての人物に関する色種別ごとの教師画像の収集状況を可視化した可視化画像を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

監視エリアに対応した画像認識モデルを構築するための教師画像の収集状況を可視化する処理をプロセッサにより実行する画像処理装置であって、
前記プロセッサは、
前記監視エリアに関するエリア画像から、検知対象物と背景とを含む教師画像を生成し、
前記教師画像に含まれる前記検知対象物の特徴に関する属性を前記教師画像ごとに設定し、
ユーザが指定した前記属性を有する前記教師画像を対象にして、前記エリア画像の各位置における前記教師画像の収集状況を可視化した可視化画像を生成し、
前記可視化画像を前記エリア画像に重畳した表示情報を出力することを特徴とする画像処理装置。

【請求項2】

前記プロセッサは、
前記可視化画像として、前記エリア画像の各位置における前記教師画像の収集状況を表すヒートマップ画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、
前記可視化画像として、前記教師画像の収集状況に問題のある前記エリア画像上の範囲を表すマーク画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記プロセッサは、
前記エリア画像として、カメラで撮影された現実エリア画像、またはＣＧで作成された仮想エリア画像から前記教師画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記プロセッサは、
前記属性としての人物に関する色種別ごとの前記教師画像の収集状況を可視化した前記可視化画像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記プロセッサは、
前記属性ごとの前記教師画像の収集状況を可視化した統計グラフを生成し、この統計グラフを含む前記表示情報を出力することを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記プロセッサは、
ユーザの操作に応じて、前記教師画像を生成すると共に前記教師画像に属性を設定する第１の画面を含む前記表示情報を出力し、
前記エリア画像上に前記可視化画像を重畳して表示すると共に、前記第１の画面に戻るための操作部が設けられた第２の画面を含む前記表示情報を出力することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

監視エリアに対応した画像認識モデルを構築するための教師画像の収集状況を可視化する処理をプロセッサにより実行する画像処理方法であって、
前記監視エリアに関するエリア画像から、検知対象物と背景とを含む教師画像を生成し、
前記教師画像に含まれる前記検知対象物の特徴に関する属性を前記教師画像ごとに設定し、
ユーザが指定した前記属性を有する前記教師画像を対象にして、前記エリア画像の各位置における前記教師画像の収集状況を可視化した可視化画像を生成し、
前記可視化画像を前記エリア画像に重畳した表示情報を出力することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視エリアに対応した画像認識モデルを構築するための教師画像の収集状況を可視化する画像処理装置および画像処理方法に関するものである。

【背景技術】

【0002】

ディープラーニングなどの機械学習により構築された画像認識モデル（機械学習モデル）を用いて、カメラの撮影画像から人物の来店などの所定の事象を検知するシステムが利用されている。画像認識モデルは、収集された多数の教師画像（学習用画像）を用いた機械学習により構築されるが、教師画像に偏りがあると、安定した精度の画像認識モデルが構築できない。

【0003】

このような教師画像の偏りに起因する画像認識モデルの精度低下を避けるため、従来、画像認識モデルの処理対象となる監視エリア（応用環境）に存在する人物や店舗（構成要素）の実体の確率分布を変更することで、学習用データ（教師画像）の偏りを低減する技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１１１１０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術によれば、教師画像の偏りが低減するように教師画像の集合（学習用データセット）が更新されるため、精度が高い機械学習モデルが構築される可能性が高くなるが、機械学習モデルの精度が不十分な場合もある。このため、構築された機械学習モデルの評価において、機械学習モデルの精度が不十分と判定されると、不足する教師画像を追加するなどして、教師画像の集合を更新した上で、機械学習を再度行い、構築された機械学習モデルの評価を行う。このように、従来の技術では、教師画像の集合の更新と、機械学習と、機械学習モデルの評価とを繰り返す必要があり、十分な精度の機械学習モデルが完成するまでに非常に手間がかかる場合がある。

【0006】

一方、教師画像の収集状況（アノテーション状況）、すなわち、必要な属性の教師画像が十分な数でかつ適切な配分で揃っているか否かが可視化されてユーザに提示されると、ユーザが、教師画像の収集状況を即座に把握して、不足する教師画像を追加するアノテーション作業を効率よく行うことができる。

【0007】

そこで、本発明は、学習に先だって、教師画像の収集状況をユーザが目視で容易に確認でき、効率よく高精度な学習モデルを作成することができる画像処理装置および画像処理方法を提供することを主な目的とする。

【課題を解決するための手段】

【0008】

本発明の画像処理装置は、監視エリアに対応した画像認識モデルを構築するための教師画像の収集状況を可視化する処理をプロセッサにより実行する画像処理装置であって、前記プロセッサは、前記監視エリアに関するエリア画像から、検知対象物と背景とを含む教師画像を生成し、前記教師画像に含まれる前記検知対象物の特徴に関する属性を前記教師画像ごとに設定し、ユーザが指定した前記属性を有する前記教師画像を対象にして、前記エリア画像の各位置における前記教師画像の収集状況を可視化した可視化画像を生成し、前記可視化画像を前記エリア画像に重畳した表示情報を出力する構成とする。

【0009】

また、本発明の画像処理方法は、監視エリアに対応した画像認識モデルを構築するための教師画像の収集状況を可視化する処理をプロセッサにより実行する画像処理方法であって、前記監視エリアに関するエリア画像から、検知対象物と背景とを含む教師画像を生成し、前記教師画像に含まれる前記検知対象物の特徴に関する属性を前記教師画像ごとに設定し、ユーザが指定した前記属性を有する前記教師画像を対象にして、前記エリア画像の各位置における前記教師画像の収集状況を可視化した可視化画像を生成し、前記可視化画像を前記エリア画像に重畳した表示情報を出力する構成とする。

【発明の効果】

【0010】

本発明によれば、ユーザが指定した属性を有する教師画像の収集状況、すなわち、必要な属性の教師画像が偏りなく揃っているか否かを、ユーザが容易に確認することができる。特に、教師画像の収集状況に問題のあるエリア画像上の位置を、ユーザが容易に把握することができる。これにより、学習に先だって、教師画像のアノテーション状況をユーザが目視で容易に確認でき、効率よく高精度な学習モデルを作成することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る画像認識モデル構築システムの全体構成図

【図2】画像処理装置の概略構成を示すブロック図

【図3】人数計測システムの場合にエリア画像上に設定される検知領域および検知前領域を示す説明図

【図4】教師画像生成処理の概要を示す説明図

【図5】データベースに登録されるエリア画像に関する情報を示す説明図

【図6】人物矩形を示す説明図

【図7】教師画像を示す説明図

【図8】データベースに登録される教師画像に関する情報を示す説明図

【図9】エリア画像上における教師画像の抽出位置に関するアノテーション状況の不備を示す説明図

【図10】抽出枚数計測処理を示す説明図

【図11】人物の重なりが発生している場合の抽出枚数計測処理を示す説明図

【図12】アノテーション作業モードの画面を示す説明図

【図13】アノテーション状況確認モードにおけるリスト選択時の画面を示す説明図

【図14】アノテーション状況確認モードにおけるグラフ選択時の画面を示す説明図

【図15】アノテーション状況確認モードにおけるグラフ選択時の画面を示す説明図

【図16】アノテーション状況詳細確認モードの画面を示す説明図

【図17】アノテーション状況詳細確認モードの画面を示す説明図

【図18】アノテーション状況詳細確認モードの画面を示す説明図

【図19】アノテーション状況詳細確認モードの画面を示す説明図

【図20】アノテーション状況詳細確認モードの画面の別例を示す説明図

【発明を実施するための形態】

【0012】

前記課題を解決するためになされた第１の発明は、監視エリアに対応した画像認識モデルを構築するための教師画像の収集状況を可視化する処理をプロセッサにより実行する画像処理装置であって、前記プロセッサは、前記監視エリアに関するエリア画像から、検知対象物と背景とを含む教師画像を生成し、前記教師画像に含まれる前記検知対象物の特徴に関する属性を前記教師画像ごとに設定し、ユーザが指定した前記属性を有する前記教師画像を対象にして、前記エリア画像の各位置における前記教師画像の収集状況を可視化した可視化画像を生成し、前記可視化画像を前記エリア画像に重畳した表示情報を出力する構成とする。

【0013】

これによると、ユーザが指定した属性を有する教師画像の収集状況、すなわち、必要な属性の教師画像が偏りなく揃っているか否かを、ユーザが容易に確認することができる。特に、教師画像の収集状況に問題のあるエリア画像上の位置を、ユーザが容易に把握することができる。これにより、学習に先だって、教師画像のアノテーション状況をユーザが目視で容易に確認でき、効率よく高精度な学習モデルを作成することができる。

【0014】

また、第２の発明は、前記プロセッサは、前記可視化画像として、前記エリア画像の各位置における前記教師画像の収集状況を表すヒートマップ画像を生成する構成とする。

【0015】

これによると、エリア画像の各位置における教師画像の収集状況をユーザが容易に把握することができる。

【0016】

また、第３の発明は、前記プロセッサは、前記可視化画像として、前記教師画像の収集状況に問題のある前記エリア画像上の範囲を表すマーク画像を生成する構成とする。

【0017】

これによると、教師画像の収集状況に問題のあるエリア画像上の領域をユーザが容易に把握することができる。

【0018】

また、第４の発明は、前記プロセッサは、前記エリア画像として、カメラで撮影された現実エリア画像、またはＣＧで作成された仮想エリア画像から前記教師画像を生成する構成とする。

【0019】

これによると、教師画像を効率よく生成することができる。

【0020】

また、第５の発明は、前記プロセッサは、前記属性としての人物に関する色種別ごとの前記教師画像の収集状況を可視化した前記可視化画像を生成する構成とする。

【0021】

これによると、人物に関する色種別に応じて画像認識モデルの精度が大きく異なる場合があるため、人物に関する色種別ごとの教師画像の収集状況をユーザに提示することで、容易に高精度な画像認識モデル（機械学習モデル）を作成することができる。

【0022】

また、第６の発明は、前記プロセッサは、前記属性ごとの前記教師画像の収集状況を可視化した統計グラフを生成し、この統計グラフを含む前記表示情報を出力する構成とする。

【0023】

これによると、属性ごとの教師画像の収集状況をユーザが容易に把握することができる。この場合、複数の属性の組み合わせごとの教師画像の収集状況を可視化した３次元統計グラフを生成してもよい。

【0024】

また、第７の発明は、前記プロセッサは、ユーザの操作に応じて、前記教師画像を生成すると共に前記教師画像に属性を設定する第１の画面を含む前記表示情報を出力し、前記エリア画像上に前記可視化画像を重畳して表示すると共に、前記第１の画面に戻るための操作部が設けられた第２の画面を含む前記表示情報を出力する構成とする。

【0025】

これによると、教師画像の収集状況に問題のある場合に、教師画像を生成すると共に教師画像に属性を設定する第１の画面において不足する教師画像を追加するための作業に、速やかに進むことができる。

【0026】

また、第８の発明は、監視エリアに対応した画像認識モデルを構築するための教師画像の収集状況を可視化する処理をプロセッサにより実行する画像処理方法であって、前記監視エリアに関するエリア画像から、検知対象物と背景とを含む教師画像を生成し、前記教師画像に含まれる前記検知対象物の特徴に関する属性を前記教師画像ごとに設定し、ユーザが指定した前記属性を有する前記教師画像を対象にして、前記エリア画像の各位置における前記教師画像の収集状況を可視化した可視化画像を生成し、前記可視化画像を前記エリア画像に重畳した表示情報を出力する構成とする。

【0027】

これによると、第１の発明と同様に、学習に先だって、教師画像のアノテーション状況をユーザが目視で容易に確認でき、効率よく高精度な学習モデルを作成することができる。

【0028】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0029】

図１は、本実施形態に係る画像認識モデル構築システムの全体構成図である。

【0030】

本システムは、画像処理装置１（情報処理装置）と、カメラ２と、レコーダー３とを備えている。

【0031】

カメラ２は、監視エリアを撮影する。レコーダー３は、カメラ２による撮影画像を蓄積する。画像処理装置１には、レコーダー３に蓄積された撮影画像が入力される。

【0032】

画像処理装置１は、ＰＣなどで構成される。画像処理装置１には、ディスプレイ４と、キーボードやマウスなどの入力デバイス５とが接続されている。なお、ディスプレイ４と入力デバイス５とが一体化されたタッチパネルディスプレイでもよい。

【0033】

画像処理装置１は、カメラ２の撮影画像から所定の事象を検知する画像認識モデル（機械学習モデル）を、ディープラーニングなどの機械学習により構築する。また、画像処理装置１は、画像認識モデルを構築するための学習に用いられる教師画像（学習用画像）を生成する。また、画像処理装置１は、教師画像と異なる評価用画像を用いて機械学習モデルの出来具合を評価する。

【0034】

さらに、画像処理装置１は、学習に先だって、教師画像の収集状況（アノテーション状況）、すなわち、必要な属性の教師画像が十分な数でかつ適切な配分で揃っているか否かを可視化してユーザに提示する。

【0035】

なお、本実施形態では、画像処理装置１が、教師画像を生成して、その教師画像を用いて画像認識モデル（機械学習モデル）を構築する学習処理を行うが、画像処理装置１とは異なる装置で学習処理が行われてもよい。

【0036】

次に、画像処理装置１の概略構成について説明する。図２は、画像処理装置１の概略構成を示すブロック図である。

【0037】

画像処理装置１は、通信部１１と、記憶部１２と、プロセッサ１３と、を備えている。

【0038】

通信部１１は、レコーダー３との間で通信を行う。

【0039】

記憶部１２は、プロセッサ１３で実行されるプログラムなどを記憶する。また、プロセッサ１３で生成した教師画像およびその属性を管理するデータベースの登録情報を記憶する。

【0040】

プロセッサ１３は、記憶部１２に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１３が、教師画像生成処理、抽出枚数計測処理、可視化処理、出力処理、および学習処理などを行う。

【0041】

教師画像生成処理（アノテーション処理）では、プロセッサ１３が、画像認識モデルを構築するための学習に用いられる教師画像（学習用画像）を生成する。また、教師画像生成処理では、プロセッサ１３が、ユーザの入力操作に応じて、教師画像に含まれる検知対象物およびその背景の特徴に関する属性を教師画像ごとに設定する。

【0042】

抽出枚数計測処理では、プロセッサ１３が、教師画像の属性、例えば教師画像に含まれる人物の属性（例えば人物の服装の色）ごとに、エリア画像上の各位置における教師画像の抽出枚数を計測する。

【0043】

可視化処理では、プロセッサ１３が、教師画像の収集状況（アノテーション状況）を可視化する。可視化処理では、ユーザが指定した属性を有する教師画像を対象にして、エリア画像の各位置における教師画像の収集状況を可視化した可視化画像を生成する。具体的には、エリア画像の各位置における教師画像の収集状況を表すヒートマップ画像や、教師画像の収集状況に問題のあるエリア画像上の範囲を表す枠画像（マーク画像）を生成する。

【0044】

出力処理では、プロセッサ１３が、アノテーション作業モードの画面（図１２参照）、アノテーション状況確認モードの画面（図１３～図１５参照）、アノテーション状況確認モードの画面（図１６～図１９参照）などをディスプレイ４に出力する。

【0045】

学習処理では、プロセッサ１３が、カメラ２の撮影画像から所定の事象を検知する画像認識モデル（機械学習モデル）を機械学習により構築する。学習処理では、教師画像生成処理で生成した教師画像が用いられる。

【0046】

次に、画像認識モデルが利用される事象検知システムについて説明する。図３は、人数計測システムの場合にエリア画像上に設定される検知領域および検知前領域を示す説明図である。

【0047】

本実施形態では、監視エリアを通行する人物の数を計測する人数計測システムに用いられる画像認識モデル（機械学習モデル）を構築する。具体的には、店舗に来店する人物の数（来店客数）を計測するために、画像認識モデルを用いて、監視エリアとしての店舗の入口をカメラ２により撮影したエリア画像から対象事象として人物の来店を検知する。

【0048】

この場合、検知対象物が、店舗に来店する人物（来店客）である。また、エリア画像に検知領域と検知前領域とが予め設定される。検知領域は、エリア画像における店舗の入口の位置に設定される。検知前領域は、人物が検知領域に進入する前に通過する領域であり、検知領域に隣接した通路の位置に設定される。

【0049】

画像認識モデルは、人物（検知対象物）が検知前領域から検知領域に移動したことで、人物が店舗に来店したものと判定して、計測結果（来店客数）が１人加算される。このとき、人物の代表点の位置に基づいて、人物が検知前領域を通過したこと、および人物が検知領域に進入したことが判定される。なお、代表点は、人物矩形の中心点または足元の中心点である。

【0050】

検知領域および検知前領域は、エリア画像上に多角形で設定される。エリア画像上に設定された検知領域および検知前領域の位置に関する情報として、多角形の頂点の座標が登録される。

【0051】

本実施形態では、監視エリアを通行する人物の数を計測する人数計測システムに用いられる画像認識モデルについて説明するが、種々の事象を検知する事象検知システムに用いられる画像認識モデルであってもよい。

【0052】

例えば、人物（検知対象物）が侵入禁止エリアに侵入したことを検知する侵入検知システムに用いられる画像認識モデルであってもよい。この場合、侵入禁止エリアを含む監視エリアをカメラ２により撮影したエリア画像において、侵入禁止エリアの位置に検知領域が設定され、人物が検知前領域から検知領域に移動したことで、人物が侵入禁止エリアに侵入したものと判定される。

【0053】

また、人物が荷物を置き去りにしたことを検知する置き去り検知システムに用いられる画像認識モデルであってもよい。この場合、例えば非常用進入口（消防隊進入口）のような置き去り禁止エリアを含む監視エリアをカメラ２により撮影したエリア画像において、置き去り禁止エリアの位置に検知領域が設定され、荷物を所持した人物が検知前領域から検知領域に移動し、かつ、荷物を検知領域に放置したまま人物が検知領域から退出したことで、人物が荷物を置き去りにしたものと判定される。

【0054】

また、人物が特定の場所に長時間滞在したことを検知する滞在検知システムに用いられる画像認識モデルであってもよい。この場合、例えば、小売店における顧客のレジ待ちに関するものであれば、レジ待ちエリアを含む監視エリアをカメラ２により撮影したエリア画像において、レジ待ちエリアの位置に検知領域が設定され、人物が検知前領域から検知領域に移動した後に、人物が検知領域に所定時間以上滞留したことで、人物がレジ待ちエリアに長時間滞在したものと判定される。

【0055】

次に、画像処理装置１で行われる教師画像生成処理の概要について説明する。図４は、教師画像生成処理の概要を示す説明図である。

【0056】

画像処理装置１では、画像認識モデル（機械学習モデル）を構築するための機械学習に用いられる教師画像（学習用画像）を生成する処理が行われる（教師画像生成処理）。

【0057】

ここで、図４（Ａ）に示すように、対象となる監視エリアをカメラ２により撮影した実写エリア画像（現実エリア画像）に人物（検知対象物）が含まれる場合、実写エリア画像内の人物を含む領域を切り出すことで教師画像が生成される。

【0058】

また、図４（Ｂ）に示すように、エリア画像（実写エリア画像またはＣＧエリア画像）に人物画像（実写人物画像またはＣＧ人物画像）を重畳して人物を含む合成エリア画像が作成され、その合成エリア画像から人物を含む領域を切り出すことで教師画像が生成される。ここで、実写エリア画像（現実エリア画像）は、監視エリアをカメラ２により撮影した画像である。ＣＧエリア画像（仮想エリア画像）は、実写エリア画像をＣＧ（Computer Graphics）により模擬した画像である。実写人物画像（現実人物画像）は、カメラ２などで撮影された画像から人物の領域を切り出すことで生成された画像である。ＣＧ人物画像（仮想人物画像）は、ＣＧで作成された画像である。

【0059】

また、教師画像は、エリア画像から１フレームごとに作成される。したがって、図４（Ａ）に示すように、人物を含む実写エリア画像から教師画像が生成される場合には、監視エリア内を人物が歩行するのに応じて、実写エリア画像上で１フレームごとに人物が移動することから、人物の移動に対応して教師画像の切り出し位置を徐々に変化させればよい。また、図４（Ｂ）に示すように、エリア画像に人物画像を重畳した合成エリア画像から教師画像が生成される場合には、監視エリア内を人物が歩行する状態を再現するように、エリア画像上で人物画像を移動させながら、エリア画像から１フレームごとに教師画像を切り出してもよい。

【0060】

また、エリア画像（実写エリア画像、ＣＧエリア画像）に人物画像（実写人物画像、ＣＧ人物画像）が重畳された合成エリア画像から教師画像が生成される場合には、エリア画像における人物が出現する可能性がある位置に人物画像が重畳される。

【0061】

なお、対象となる監視エリアが同じでも、別々のカメラ２で異なる方向から撮影された場合、人物（検知対象物）の向きが異なるため、教師画像が別に用意され、別の画像認識モデル（機械学習モデル）が構築される。

【0062】

次に、エリア画像に関する情報について説明する。図５は、データベースに登録されるエリア画像に関する情報を示す説明図である。

【0063】

エリア画像（実写背景画像、ＣＧ背景画像）は、監視エリアを表す画像である。エリア画像には、監視エリアに存在する柱、壁、シャッターなどの構造物が含まれる。また、エリア画像には、監視エリアに滞在する人物が含まれる。

【0064】

画像処理装置１は、エリア画像に関する情報をデータベースに登録して管理する。データベースに登録されるエリア画像に関する情報には、構造物情報と、人物情報とが含まれる。構造物情報は、エリア画像に含まれる構造物に関する情報である。人物情報は、エリア画像に背景として含まれる人物に関する情報である。

【0065】

構造物情報には、構造物の種別に関する情報と、構造物の属性に関する情報とが含まれる。構造物の種別に関する情報は、固定構造物および移動構造物のいずれかであるかを示す情報である。例えば、柱や壁は固定構造物であり、店舗の入口などに設置されたシャッターは移動構造物である。構造物の属性に関する情報は、例えば、移動構造物としてのシャッターの開閉時刻などである。

【0066】

人物情報には、人物の服装の色種別に関する情報（上半身の服装の色、下半身の服装の色）と、人物の持ち物の有無に関する情報とが含まれる。なお、持ち物とは、荷物の他に、ベビーカーや台車などのように人物が動かす物体も含まれる。

【0067】

次に、画像処理装置１で設定される人物矩形について説明する。図６は、人物矩形を示す説明図である。なお、人物画像（実写人物画像、ＣＧ人物画像）が重畳された合成エリア画像から教師画像が切り出される場合には、人物領域は人物画像に相当する。

【0068】

図６（Ａ）に示すように、本実施形態では、検知対象物としての人物を取り囲む人物矩形が設定され、人物矩形に関する情報として、人物矩形の高さＨおよび幅Ｗがデータベースに登録される。図６（Ｂ）に示す例は、検知対象物としての人物がベビーカーを動かしている場合である。この場合も、人物のみを取り囲むように人物矩形が設定される。

【0069】

また、図６（Ｃ）に示すように、ＣＧ人物画像の場合には、人物の輪郭に関する情報として、輪郭を構成する点（輪郭点）の座標がデータベースに登録される。

【0070】

また、図６（Ｄ），（Ｅ）に示すように、人物の位置に関する情報として、基準点（人物矩形の左上の点）の座標と、中心点（人物矩形の中心点）の座標と、足元の中心点（人物矩形の中心点を通る垂線と人物矩形の底辺との交点）の座標とがデータベースに登録される。

【0071】

次に、画像処理装置１で生成される教師画像について説明する。図７は、教師画像を示す説明図である。

【0072】

教師画像は、人物を含むエリア画像から人物を含む領域を切り出すことで生成される。教師画像には、検知対象物としての人物を表す人物領域と、その人物の背景となる背景領域とが含まれる。背景領域には柱や床などの建築構造物が含まれる。

【0073】

図７（Ａ－１），（Ａ－２）に示すように、教師画像は、検知対象物としての人物を取り囲む人物矩形を基準にしてエリア画像から切り出される。すなわち、教師画像は、人物矩形の周囲に所定の幅で拡大された矩形の範囲をエリア画像から切り出すことで作成される。具体的には、教師画像は、所定の横方向の拡大幅αで人物矩形の領域が左右に拡大されると共に、所定の縦方向の拡大幅βで人物矩形の領域が上下に拡大された大きさを有する。教師画像には、人物矩形に含まれる人物領域と、人物矩形に含まれる背景領域と、人物矩形の周囲の背景領域とで構成される。なお、拡大幅α，βは、例えば０～１０ピクセルの範囲で適宜に設定されてもよい。

【0074】

図７（Ｂ－１），（Ｂ－２）に示す例は、検知対象物としての人物がベビーカーを動かしている場合である。この場合も、人物のみを取り囲む人物矩形の周囲に所定の幅で拡大された矩形の範囲をエリア画像から切り出すことで教師画像が作成される。

【0075】

また、実運用時の監視エリアでは、カメラ２から見て複数の人物が前後に重なり合う状況（人物の重なり）が発生する場合がある。このような状況でも画像認識モデル（機械学習モデル）の性能を確保するため、人物の重なりが発生している状態の教師画像を用いて、画像認識モデル（機械学習モデル）を構築するための機械学習が行われる。

【0076】

また、人物の重なりが発生する場合、図７（Ｃ－１），（Ｃ－２）に示すように、検知対象となる人物の後側に他の人物が現れる状態と、図７（Ｄ－１），（Ｄ－２）に示すように、検知対象となる人物の前側に他の人物が現れる状態とがある。この場合、検知対象となる人物の後側に他の人物が現れた状態で教師画像が抽出されると、教師画像には背景としての人物領域が含まれる。また、検知対象となる人物の前側に他の人物が現れた状態で教師画像が抽出されると、教師画像には前景としての人物領域が含まれる。

【0077】

なお、人物の重なりが発生している状態の教師画像は、人物の重なりが発生している実写エリア画像から教師画像が抽出されることで生成される。また、人物を含むエリア画像に、そのエリア画像に含まれる人物に重なるように人物画像（実写人物画像、ＣＧ人物画像）が重畳された合成エリア画像を生成することでも、人物の重なりが発生している状態の教師画像が生成される。また、複数の人物画像（実写人物画像、ＣＧ人物画像）が重なるようにエリア画像に重畳された合成エリア画像を生成することでも、人物の重なりが発生している状態の教師画像が生成される。

【0078】

また、教師画像がエリア画像から生成されると、エリア画像上における教師画像の位置に関する情報（座標）と、教師画像のサイズに関する情報（高さ、幅）とがデータベースに登録される。

【0079】

次に、画像処理装置１で管理される教師画像に関する情報について説明する。図８は、データベースに登録される教師画像に関する情報を示す説明図である。

【0080】

画像処理装置１は、教師画像に関する情報をデータベースに登録して管理する。データベースに登録される教師画像に関する情報には、画像番号（画像識別情報）と、属性情報と、画像情報とが含まれる。

【0081】

属性情報には、教師画像に含まれる人物の服装に関する情報（上半身の服装の色、下半身の服装の色）と、人物の持ち物の有無に関する情報と、隠蔽に関する情報とが含まれる。この他に、人物の性別、身長、体形などが属性情報に含まれてもよい。なお、持ち物とは、荷物の他に、ベビーカーや台車などのように人物が動かす物体も含まれる。

【0082】

隠蔽に関する情報には、人物の重なりに関する情報と、人物以外の物体による隠蔽に関する情報とが含まれる。人物の重なりに関する情報は、検知対象物としての人物の背景に他の人物が存在する状態や、検知対象物としての人物の前景に他の人物が存在する状態が発生しているか否かを表す。人物以外の物体による隠蔽に関する情報は、検知対象物としての人物が、人物以外の物体により部分的に隠蔽された状態が発生しているか否かを表す。

【0083】

画像情報には、教師画像に含まれる人物を取り囲む人物矩形に関する情報（高さＨ、幅Ｗ）と、ＣＧ人物画像の場合における人物の輪郭に関する情報（輪郭を構成する点の座標）と、人物領域の位置に関する情報とが含まれる。

【0084】

人物領域の位置に関する情報には、基準点（人物矩形の左上の点）の座標と、中心点（人物矩形の中心点）の座標と、足元の中心点（人物矩形の中心点を通る垂線と人物矩形の底辺との交点）の座標とが含まれる。なお、足元の中心点は、検知領域および検知前領域に人物が進入したか否かの判定に用いられる。また、各点の座標はエリア画像上での座標である。

【0085】

次に、アノテーション状況の不備を改善する手順について説明する。図９は、エリア画像上における教師画像の抽出位置に関するアノテーション状況の不備を示す説明図である。

【0086】

本実施形態では、人物を含むエリア画像から人物を含む領域を切り出すことで教師画像が生成される。一方、教師画像には人物領域と背景領域とが含まれ、教師画像内の人物領域と背景領域との特徴の差異に応じて、画像認識モデル（機械学習モデル）における人物の認識精度が変化する。すなわち、同様の特徴の人物でも、教師画像が抽出されたエリア画像上の位置が異なると、人物の認識精度が変化する。また、教師画像が抽出されたエリア画像上の位置が同じでも、人物の特徴、例えば人物の服装の色が異なると、人物の認識精度が変化する。このため、人物の特徴（例えば人物の服装の色）ごとに、エリア画像から教師画像が切り出された位置に偏りがあると、安定した精度の画像認識モデル（機械学習モデル）が構築できない。

【0087】

そこで、本実施形態では、画像処理装置１において、教師画像に含まれる人物の属性ごとに、エリア画像上の各位置における教師画像の抽出枚数が計測される（抽出枚数計測処理）。次に、教師画像に含まれる人物の属性ごとに、エリア画像上の各位置における教師画像の抽出枚数が比較され、エリア画像内の人物が出現する可能性がある領域において、満遍なく教師画像が抽出されているかに関するアノテーション状況を表す情報がユーザに提示される。具体的には、エリア画像における他の位置に比較して教師画像の抽出枚数が顕著に少ない位置が検知されると、その教師画像の抽出枚数が顕著に少ない位置がユーザに提示される。

【0088】

これに応じて、ユーザは、教師画像の抽出枚数が顕著に少ない位置を対象にして、教師画像を追加するアノテーション作業を行う。これにより、不足する教師画像が補充されて、教師画像に位置的な偏りがあるアノテーション状況の不備が改善され、監視エリア内で検知対象となる人物が出現した位置に応じて、画像認識モデル（機械学習モデル）の認識精度が大きく変化する不具合を避けることができる。

【0089】

図９に示す例では、教師画像に含まれる人物の属性として、人物の服装の色に注目して、エリア画像上の各位置における教師画像の抽出枚数が計測されている。本例では、一例として黄色系、水色系、緑色系、および赤色系の４系統の色に注目している。また、図９では、分析結果として、指定された属性（人物の服装の色が黄色）の教師画像が少ない領域、属性を限定せずに教師画像が少ない領域、全ての属性で教師画像が十分な領域がエリア画像上に示されている。

【0090】

なお、黒色系、白色系などの他の系統の色に注目して教師画像の抽出枚数が計測されてもよく、また、必要に応じて色の系統が変更されてもよい。また、人物の服装の色を暖色系と寒色系と白黒系とに分けて教師画像の抽出枚数が計測されてもよい。

【0091】

また、本例では、人物の全身の服装の色に注目しており、人物の服装の色が上半身と下半身とで同じ色となっているが、人物の服装の色が上半身と下半身とが異なる場合もあり、この場合、上半身の色と下半身の色との組み合わせに注目して教師画像の抽出枚数が計測されてもよい。

【0092】

次に、画像処理装置１で行われる抽出枚数計測処理について説明する。図１０は、抽出枚数計測処理を示す説明図である。

【0093】

抽出枚数計測処理では、まず、教師画像上の各位置（画素）に領域属性値を割り振り、さらに、教師画像上の各位置（画素）に割り振られた領域属性値を、エリア画像上の対応する位置（画素）に割り振る処理（マッピング処理）が行われる。具体的には、例えば、人物領域に「１」の領域属性値が割り振られ、背景領域に「０」の領域属性値が割り振られる。マッピング処理は、対象とする教師画像の全てに対して行われる。

【0094】

次に、エリア画像上の各位置（画素）において、領域属性値の各々（例えば１、０）が割り振られた回数をカウントする処理（カウント処理）が行われる。これにより得られたカウント値は、エリア画像上の各位置（画素）における属性ごと教師画像の抽出枚数を表す。

【0095】

ここで、特定の属性の教師画像に注目して、エリア画像上の各位置（画素）における教師画像の抽出枚数を計測することができる。具体的には、注目する属性として人物の服装が注目色（例えば黄色）である教師画像を対象にして、エリア画像上の各位置（画素）において「１」の領域属性値が割り振られた回数をカウントする。このカウント値は、人物の服装の色が注目色（例えば黄色）である教師画像の抽出枚数を表す。また、この処理を人物の服装の各色で同様に行うことで、人物の服装の色ごとに教師画像の抽出枚数を取得することができる。これにより、人物の服装の色ごとに教師画像の抽出枚数が少ないエリア画像上の位置を可視化することができる。

【0096】

また、エリア画像上の各位置（画素）において「０」の領域属性値が割り振られた回数をカウントする。このカウント値は、エリア画像上の各位置（画素）におれる教師画像の抽出枚数を表す。これにより、教師画像の抽出枚数が少ないエリア画像上の位置を可視化することができる。

【0097】

次に、人物の重なりが発生している場合の抽出枚数計測処理について説明する。図１１は、人物の重なりが発生している場合の抽出枚数計測処理を示す説明図である。

【0098】

人物の重なりが発生している場合、教師画像上の各位置（画素）に領域属性値を割り振るマッピング処理において、背景となる人物領域と前景となる人物領域とに異なる領域属性値を割り振る。具体的には、例えば、図１１（Ａ）に示すように、背景となる人物が存在する場合には、背景となる人物領域に「２」の領域属性値を割り振る。図１１（Ｂ）に示すように、前景となる人物が存在する場合には、前景となる人物領域に「３」の領域属性値を割り振る。なお、人物領域に「１」の領域属性値を割り振り、人物を含まない背景領域に「０」の領域属性値を割り振る点は、図１０に示した例と同様である。

【0099】

また、領域属性値が割り振られた回数をカウントするカウント処理では、エリア画像上の各位置（画素）において、領域属性値の各々（例えば１、０、２、３）が割り振られた回数をカウントする。

【0100】

ここで、注目する属性の教師画像として、人物の重なりを含む教師画像に関して、エリア画像の各位置における教師画像の抽出枚数を計測する。すなわち、エリア画像上の各位置（画素）において「２」または「３」の領域属性値が割り振られた回数をカウントする。このカウント値は、人物の重なりを含む教師画像の抽出枚数を表す。これにより、人物の重なりを含む教師画像の抽出枚数が少ないエリア画像上の位置を可視化することができる。

【0101】

このように人物の重なりが発生した場合、特に、検知対象となる人物の前側に他の人物が現れた状態では、検知対象物としての人物が他の人物で部分的に隠蔽された状態になる。一方、検知対象物としての人物の前側に、人物以外の物体が存在する場合がある。この場合、検知対象物としての人物が人物以外の物体で隠蔽された状態になる。このような状況でも画像認識モデル（機械学習モデル）の性能を確保するため、隠蔽が発生している状態の教師画像、すなわち、検知対象としての人物が前景の物体で隠蔽された状態の教師画像を用いて、画像認識モデル（機械学習モデル）を構築するための機械学習が行われるとよい。

【0102】

この場合、隠蔽が発生している実写エリア画像や、人物を含むエリア画像に物体画像（実写物体画像、ＣＧ物体画像）が重畳された合成エリア画像や、人物画像（実写人物画像、ＣＧ人物画像）に物体画像が重畳された合成エリア画像を用いることで、隠蔽が発生している状態の教師画像を取得することができる。

【0103】

次に、ディスプレイ４に表示される画面について説明する。図１２は、アノテーション作業モードの画面を示す説明図である。図１３は、アノテーション状況確認モードにおけるリスト選択時の画面を示す説明図である。図１４，図１５は、アノテーション状況確認モードにおけるグラフ選択時の画面を示す説明図である。図１６，図１７，図１８，図１９は、アノテーション状況詳細確認モードの画面を示す説明図である。

【0104】

図１２～図１９に示すように、ディスプレイ４に表示される画面２１，６１，７１，８１には、アノテーション作業、アノテーション状況確認、およびアノテーション状況詳細確認の各タブ２２（操作部）が設けられている。ユーザが、アノテーション作業のタブ２２を操作すると、図１２に示すアノテーション作業モードの画面が表示される。ユーザが、アノテーション状況確認のタブ２２を操作すると、図１３～図１５に示すアノテーション状況確認モードの画面に遷移する。ユーザが、アノテーション状況詳細確認のタブ２２を操作すると、図１６～図１９に示すアノテーション状況詳細確認モードの画面に遷移する。

【0105】

図１２に示すアノテーション作業モード（教師画像作成モード）の画面２１（第１の画面）には、画像入力部３１が設けられている。画像入力部３１には、ＣＧおよび実写の各タブ３２が設けられている。ユーザがＣＧのタブ３２を操作すると、ＣＧ画像入力モードになる。ユーザが実写のタブ３２を操作すると、実写画像入力モードになる。また、画像入力部３１には、人物画像入力部３３と、エリア画像入力部３４とが設けられている。

【0106】

人物画像入力部３３では、ユーザが、入力ボタン３５を操作することで、人物画像のリストが表示され、ここで人物画像を選択することで、人物画像を入力することができる。このとき、ＣＧ画像入力モードではＣＧ人物画像が入力され、実写画像入力モードでは実写人物画像が入力される。

【0107】

エリア画像入力部３４では、ユーザが、入力ボタン３６を操作することで、エリア画像のリストが表示され、ここでエリア画像を選択することで、エリア画像を入力することができる。このとき、ＣＧ画像入力モードではＣＧエリア画像が入力され、実写画像入力モードでは実写エリア画像が入力される。

【0108】

また、アノテーション作業モードの画面に２１は、エリア画像表示部４１が設けられている。エリア画像表示部４１では、入力されたエリア画像（ＣＧエリア画像、実写エリア画像）が表示される。また、エリア画像表示部４１では、入力された人物画像（ＣＧ人物画像、実写人物画像）がエリア画像上に重畳表示される。また、エリア画像表示部４１では、ユーザが、マウスのドラッグ操作などにより、エリア画像上に重畳表示された人物画像の位置および大きさを調整することができる。

【0109】

また、エリア画像表示部４１では、ユーザが、エリア画像上で対象とする人物を指定する、すなわち、エリア画像上で教師画像を切り出す位置を指定することができる。具体的には、ユーザが、マウスのドラッグ操作などにより、エリア画像（ＣＧエリア画像または実写エリア画像）上の人物画像（ＣＧ人物画像または実写人物画像）を取り囲む人物枠４２を入力することができる。この人物枠４２は、教師画像の範囲の候補となる。すなわち、人物枠４２の位置に基づいて人物矩形が設定され、その人物矩形に基づいて教師画像が生成される。このとき、エリア画像と人物画像とが合成された合成エリア画像から教師画像が切り出される。

【0110】

なお、エリア画像表示部４１に表示された実写エリア画像に含まれる人物を対象にして教師画像を作成する場合には、実写エリア画像に含まれる人物を取り囲む人物枠４２を入力すればよい。この場合、人物画像入力部３３でのユーザの入力操作は不要である。

【0111】

また、人物検出処理が実施されることで、ユーザによる人物枠４２の入力操作が省略されてもよい。すなわち、人物を含む実写エリア画像や、エリア画像と人物画像とが合成された合成エリア画像に対して人物検出処理が行われ、その人物検出処理により取得した人物検出枠に基づいて教師画像が切り出されてもよい。

【0112】

また、アノテーション作業モードの画面２１には、フレーム操作部４５が設けられている。フレーム操作部４５には、エリア画像を１フレームだけ前に戻すボタン４６と、エリア画像を１フレームだけ後に進めるボタン４７とが設けられている。このフレーム操作部４５の操作により、エリア画像の１フレームごとに教師画像を作成することができる。

【0113】

また、アノテーション作業モードの画面２１には、検知領域入力部５１が設けられている。検知領域入力部５１では、ユーザが入力ボタン５２を操作すると、検知領域入力モードに遷移し、ユーザは、マウスのドラッグ操作などにより、エリア画像表示部４１に表示されたエリア画像上に検知領域および検知前領域の範囲を入力することができる。

【0114】

また、アノテーション作業モードの画面２１には、属性入力部５３が設けられている。属性入力部５３では、ユーザが、教師画像に含まれる人物に関する属性として、上半身の服装の色と下半身の服装の色とを入力することができる。ＣＧ人物画像を選択した場合には、服装の色は既知であるため、ユーザの入力操作は不要である。

【0115】

また、アノテーション作業モードの画面２１には、タイトル入力部５５が設けられている。タイトル入力部５５では、ユーザが、教師画像のタイトル、具体的には、教師画像のグループに付与された名称などを入力することができる。教師画像のタイトル（グループの名称）は、教師画像のアノテーション状況を確認する際の教師画像の集合を識別するものである。

【0116】

また、アノテーション作業モードの画面２１には、保存のボタン５６が設けられている。ユーザが保存のボタン５６を操作すると、各部の入力内容に基づいて、教師画像が生成されて、その教師画像が記憶部１２に保存され、また、教師画像に関する属性情報などがデータベースに登録される。

【0117】

図１３，図１４，図１５に示すアノテーション状況確認モードの画面６１には、教師画像選択部６２が設けられている。教師画像選択部６２では、ユーザが、教師画像のグループを分析対象に選択することができる。例えば、ユーザが教師画像選択部６２を操作すると、教師画像のグループのリストが表示され、ここで教師画像のグループを選択することができる。本例では、出入口Ａを監視エリアとした教師画像のグループが選択されている。

【0118】

また、アノテーション状況確認モードの画面６１には、リストのボタン６３と、グラフのボタン６４とが設けられている。ユーザが、リストのボタン６３を操作すると、教師画像選択部６２で選択された教師画像のグループを対象にして分析処理が実行され、分析結果として、図１３に示すリスト選択時の画面６１が表示される。また、ユーザが、グラフのボタン６４を操作すると、教師画像選択部６２で選択された教師画像のグループを対象にして分析処理が実行され、分析結果として、図１４に示すグラフ選択時の画面７１が表示される。

【0119】

図１３に示すアノテーション状況確認モードにおけるリスト選択時の画面６１では、可視化結果表示部６５に一覧表６６が表示される。一覧表６６には、データベースに登録された各教師画像の属性が一覧表示されている。本例では、出入口Ａに関する教師画像の属性が一覧表示される。また、教師画像の属性として、教師画像に含まれる人物の特徴、特に人物の服装の色と、教師画像の背景となるエリア画像の時間帯とが表示されている。

【0120】

一覧表６６は、教師画像のアノテーション状況を文字情報により可視化するものであり、ユーザは、一覧表６６を目視することで、特定の属性の教師画像の不足などのアノテーション状況の不備を確認することができる。具体的には、ユーザは、特定の時間帯（例えば８時台）のエリア画像で、特定の色（例えば黄色）の服装をした人物を含む教師画像が、他の属性の教師画像より少ないことを確認することができる。

【0121】

図１３に示す例では、一覧表６６に、教師画像に関する属性として、人物の服装の色と、エリア画像の時間帯とが表示されているが、この他の属性が表示されてもよい。例えば、人物の重なりの有無、すなわち、教師画像に背景となる人物領域や前景となる人物領域が含まれるか否かが表示されてもよい。また、教師画像の人物領域や背景領域の画質（解像度、ボケの有無など）が表示されてもよい。また、エリア画像の季節（春夏秋冬）が表示されてもよい。

【0122】

図１４，図１５に示すアノテーション状況確認モードにおけるグラフ選択時の画面７１では、可視化結果表示部６５に統計グラフ７２が表示される。統計グラフ７２は３次元棒グラフである。統計グラフ７２では、横方向の第１軸が、教師画像の第１の属性として、教師画像の背景となるエリア画像の時間帯を表し、奥行き方向の第２軸が、教師画像の第２の属性として、教師画像に含まれる人物の特徴、特に人物の服装の色を表し、縦方向の第３軸が、教師画像の枚数を表す。すなわち、教師画像の第１の属性（エリア画像の時間帯）と第２の属性（人物の服装の色）との組み合わせごとに棒グラフが描画され、棒グラフの高さが、第１の属性と第２の属性とを備えた教師画像の枚数を表す。

【0123】

統計グラフ７２は、教師画像のアノテーション状況が棒グラフにより可視化するものであり、ユーザは、統計グラフ７２を目視することで、特定の属性の教師画像の不足などのアノテーション状況の不備を確認することができる。具体的には、ユーザは、特定の時間帯（例えば８時台）のエリア画像で、特定の色（例えば黄色）の服装をした人物を含む教師画像が、他の属性の教師画像より少ないことを確認することができる。

【0124】

ここで、図１４に示す画面７１では、人物の服装が水色、緑色、および赤色である教師画像と比較して、人物の服装が黄色である教師画像が少なく、この属性の教師画像を追加する必要がある。一方、図１５に示す画面７１では、教師画像に含まれる人物の服装の色に関して黄色、水色、緑色、および赤色の全てで教師画像の枚数が均一になっており、教師画像のアノテーション状況が改善されている。

【0125】

なお、統計グラフ７２において横方向の第１軸により表される教師画像の第１の属性と、奥行き方向の第２軸により表される教師画像の第２の属性とを選択する操作部を画面に設けて、統計グラフ７２において各軸により表される教師画像の属性を、画面上でユーザが指定できるようにしてもよい。

【0126】

図１６～図１９に示すアノテーション状況詳細確認モードの画面８１（第２の画面）には、教師画像選択部８２が設けられている。教師画像選択部８２では、ユーザが、教師画像のグループを分析対象に選択することができる。例えば、ユーザが教師画像選択部８２を操作すると、教師画像のグループのリストが表示され、ここで教師画像のグループを選択することができる。本例では、監視エリアが出入口Ａで時間帯が８時となる教師画像のグループが選択されている。

【0127】

また、アノテーション状況詳細確認モードの画面８１には、分析のボタン８３と、可視化結果表示部８４とが設けられている。ユーザが、分析のボタン８３を操作すると、教師画像選択部８２で選択された教師画像のグループを対象にして分析処理が実行され、分析結果として、可視化結果表示部８４に、ヒートマップ画像８５が表示される。ヒートマップ画像８５は、透過状態でエリア画像上に重畳された状態で表示される。

【0128】

ヒートマップ画像８５では、エリア画像上の各位置における教師画像のアノテーション状況が可視化されている。具体的には、ヒートマップ画像８５は、メッシュ状に複数のセルに区切られており、各セルでは、セル内に代表点が位置する教師画像の枚数が階調の変化で表現されている。

【0129】

なお、セル内に代表点が位置する教師画像の枚数が色相の変化で表現されてもよい。この場合、教師画像の枚数が多くなるのに応じて、セルの色が、例えば青色、黄色、橙色、赤色の順で変化してもよい。また、セル内に代表点が位置する教師画像の枚数が模様（パターン画像）などの変化で表現されてもよい。

【0130】

また、アノテーション状況詳細確認モードの画面８１には、属性選択部８７が設けられている。属性選択部８７では、ユーザが、教師画像の属性、特に教師画像に含まれる人物の属性として、人物の服装の色を選択することができる。具体的には、属性選択部８７には、「全て」、「黄色」、「水色」、「緑色」、「赤色」のボタン８８が設けられている。ユーザが、ボタン８８を操作することで、人物の服装の色を選択することができる。また、属性選択部８７では、ユーザが、人物の服装の色を複数選択することができる。

【0131】

属性選択部８７により、教師画像の属性、特に教師画像に含まれる人物の属性として、人物の服装の色が選択されると、ヒートマップ画像８５では、各セルにおいて、セル内に代表点が位置し、かつ、指定された属性に該当する教師画像の枚数が階調の変化で表現される。

【0132】

なお、本例では、教師画像の属性として、教師画像に含まれる人物の特徴に関する属性、特に服装の色に注目してアノテーション状況を可視化したヒートマップ画像８５が表示されるが、教師画像の他の属性に注目したヒートマップ画像８５であってもよい。例えば、人物の重なりの有無、すなわち、背景となる人物領域や前景となる人物領域が教師画像に含まれるか否かがヒートマップ画像８５で表現されてもよい。また、教師画像の人物領域や背景領域の画質（例えば、解像度、ボケの有無など）がヒートマップ画像８５で表現されてもよい。

【0133】

ここで、まず、図１６に示すように、ユーザは、教師画像の属性を限定せずに教師画像のアノテーション状況を確認する。具体的には、ユーザは、属性選択部８７において、全ての色（黄色、水色、緑色、赤色）を選択するボタン８８を操作して、教師画像に含まれる人物の服装の色を限定せずに教師画像のアノテーション状況を確認する。

【0134】

本例では、ヒートマップ画像８５において、エリア画像内の左側のセルでは、指定された属性の教師画像の枚数が少なく、エリア画像内の中央のセルでは、指定された属性の教師画像の枚数が多く、エリア画像内の右側のセルでは、指定された属性の教師画像が全くない状態になっている。

【0135】

次に、図１７に示すように、ユーザは、特定の属性の教師画像に限定してアノテーション状況を確認する。本例では、ユーザは、属性選択部８７において黄色を選択するボタン８８を操作して、人物の服装が黄色となる属性の教師画像に関するアノテーション状況を確認する。

【0136】

本例では、図１６に示した状態と同様に、ヒートマップ画像８５において、エリア画像内の左側のセルでは、指定された属性の教師画像の枚数が少なく、エリア画像内の中央のセルでは、指定された属性の教師画像の枚数が多く、エリア画像内の右側のセルでは、指定された属性の教師画像が全くない状態になっている。

【0137】

そこで、ユーザは、アノテーション作業のタブ２２（操作部）を操作して、図１２に示すアノテーション作業モードの画面２１に戻り、不足する教師画像を追加するアノテーション作業を行う。本例では、エリア画像内の左側および右側の領域に代表点が位置し、かつ、人物の服装が黄色となる教師画像を追加する。すなわち、エリア画像内の左側および右側の領域を背景として、服装の色が黄色となる人物を含む教師画像を追加する。これにより、エリア画像内の左側および右側の領域に代表点が位置し、かつ、人物の服装の色が黄色となる属性の教師画像の不足が改善される。

【0138】

次に、図１８に示すように、ユーザは、教師画像選択部８２において、教師画像の追加が行われた教師画像のグループ（出入口Ａ＿８：００＿教師画像＿追加１）を分析対象に選択して、アノテーション状況を確認する。また、ユーザは、属性選択部８７において、黄色を除く色（水色、緑色、赤色）を選択するボタン８８を操作して、黄色を除く色（水色、緑色、赤色）に該当する属性の教師画像に関するアノテーション状況を確認する。

【0139】

本例では、ヒートマップ画像８５において、エリア画像内の左側および中央のセルでは、指定された属性の教師画像、すなわち、服装が水色、緑色、赤色のいずれかである人物を含む教師画像の枚数が多いものの、エリア画像内の右側のセルでは、指定された属性の教師画像が全くない状態になっている。

【0140】

そこで、ユーザは、アノテーション作業のタブ２２を操作して、図１２に示すアノテーション作業モードの画面２１に戻り、不足する教師画像を追加するアノテーション作業を行う。本例では、エリア画像内の右側の領域に代表点が位置し、かつ、人物の服装の色が水色、緑色、赤色のいずれかとなる教師画像を追加する。すなわち、エリア画像内の右側の領域を背景として、服装の色が水色、緑色、赤色のいずれかとなる人物を含む教師画像を追加する。これにより、エリア画像内の右側の領域に代表点が位置し、かつ、人物の服装の色が水色、緑色、赤色のいずれかとなる教師画像の不足が改善される。

【0141】

次に、図１９に示すように、ユーザは、教師画像選択部８２において、教師画像の再度の追加が行われた教師画像のグループ（出入口Ａ＿８：００＿教師画像＿追加２）を分析対象に選択して、アノテーション状況を確認する。また、ユーザは、属性選択部８７において、全ての色（黄色、水色、緑色、赤色）を選択するボタン８８を操作して、全ての色（黄色、水色、緑色、赤色）に該当する属性の教師画像に関するアノテーション状況を確認する。

【0142】

本例では、ヒートマップ画像８５において、人物が存在することが可能な範囲で、全てのセルにおいて教師画像の枚数が均一な状態となっており、ユーザは、アノテーション状況が改善されたことを確認することができる。

【0143】

また、アノテーション状況詳細確認モードの画面８１では、ユーザが、マウスのドラッグ操作などにより、ヒートマップ画像８５上で計測対象エリア９１を指定すると、一覧表９２（度数分布表）が表示される。一覧表９２は、指定された計測対象エリア９１に代表点が位置する教師画像を対象にして、教師画像の属性としての人物の服装の色に関する分布状況を表す。具体的には、人物の服装の色（黄色、水色、緑色、赤色）ごとに教師画像の枚数が表示される。ユーザは、人物の服装の色（黄色、水色、緑色、赤色）ごとの教師画像の枚数により、アノテーション状況の詳細を確認することができる。本例では、全色の教師画像の枚数が均等であり、ユーザは、必要な属性の教師画像が偏りなく揃っていることを確認することができる。

【0144】

また、アノテーション状況詳細確認モードの画面８１には、学習のボタン８８が設けられている。ユーザは、必要な属性の教師画像が偏りなく揃っていることを確認すると、学習のボタン８８を操作する。これにより、生成された教師画像に基づいて学習処理が実行され、画像認識モデル（機械学習モデル）が作成される。

【0145】

次に、アノテーション状況詳細確認モードの画面の別例について説明する。図２０は、アノテーション状況詳細確認モードの画面の別例を示す説明図である。

【0146】

図１６～図１９に示した画面８１では、可視化結果表示部８４に、教師画像の抽出枚数が階調の変化で表現されたヒートマップ画像８５（可視化画像）がエリア画像上に重畳表示される。一方、図２０に示す画面１０１では、可視化結果表示部８４に、教師画像の収集状況に問題のあるエリア画像上の範囲を表す枠画像１０２（マーク画像）がエリア画像上に重畳表示される。

【0147】

本例では、指定された属性（例えば、人物の服装が黄色）に該当する教師画像の抽出枚数が少ないエリア画像上の範囲を取り囲むように枠画像１０２がエリア画像上に重畳表示される。また、属性を限定せずに教師画像の抽出枚数が少ないエリア画像上の範囲を取り囲むように枠画像１０２がエリア画像上に重畳表示される。

【0148】

なお、教師画像の収集状況に問題のないエリア画像上の範囲が枠画像１０２で表示されてもよい。例えば、特定の属性を有する教師画像の抽出枚数が多いエリア画像上の範囲を取り囲むように枠画像１０２が描画されてもよい。また、教師画像の抽出枚数に応じて枠画像１０２が異なる色で描画されてもよい。

【0149】

また、本例では、教師画像の属性として人物の服装の色が指定されて、人物の服装が特定の色となる教師画像の抽出枚数が少ない領域が枠画像１０２で表示されたが、人物の服装の色以外の属性が指定されてもよい。例えば、教師画像の属性として人物の重なりが指定されて、人物の重なりが発生している教師画像の抽出枚数が少ない領域が枠画像１０２で表示されてもよい。

【0150】

また、本例では、教師画像の収集状況に問題のあるエリア画像上の範囲を表す枠画像１０２（マーク画像）がエリア画像上に重畳表示されるが、マーク画像は枠画像１０２に限定されない。例えばマーク画像として、模様が描画された半透過の画像が、教師画像の収集状況に問題のあるエリア画像上の範囲に重畳表示されてもよい。また、枠画像１０２（マーク画像）に加え、教師画像の追加に関するコメント（図示せず）を提示するようにしてもよい。

【0151】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0152】

本発明に係る画像処理装置および画像処理方法は、学習に先だって、教師画像の収集状況をユーザが目視で容易に確認でき、効率よく高精度な学習モデルを作成することができる効果を有し、監視エリアに対応した画像認識モデルを構築するための教師画像の収集状況を可視化する画像処理装置および画像処理方法などとして有用である。

【符号の説明】

【0153】

１ 画像処理装置
１３ プロセッサ
２１ アノテーション作業モードの画面
２２ タブ
６１ アノテーション状況確認モードの画面
６６ 一覧表
７１ アノテーション状況確認モードの画面
７２ 統計グラフ
８１ アノテーション状況詳細確認モードの画面
８５ ヒートマップ画像
１０１ アノテーション状況詳細確認モードの画面
１０２ 枠画像（マーク画像）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】