(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177871
(43)【公開日】2023-12-14
(54)【発明の名称】学習装置および学習方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231207BHJP
G06V 20/70 20220101ALI20231207BHJP
G06N 20/00 20190101ALI20231207BHJP
【FI】
G06T7/00 350B
G06V20/70
G06N20/00
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022090819
(22)【出願日】2022-06-03
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110001379
【氏名又は名称】弁理士法人大島特許事務所
(72)【発明者】
【氏名】岩井 和彦
(72)【発明者】
【氏名】山田 伸
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA02
5L096CA25
5L096FA05
5L096FA19
5L096KA04
5L096KA15
(57)【要約】 (修正有)
【課題】ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成する学修装置及び学習方法を提供する。
【解決手段】監視システムにおいて、画像管理サーバ3は、所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を撮影画像に重畳合成した学習対象画像を生成し、監視端末4は、学習対象画像をユーザに提示し、ユーザの操作に基づいて、学習対象画像に現れた注目事象の発生状況に関する情報をラベル情報として取得し、画像解析サーバ2は、学習対象画像とラベル情報とを学習情報とした機械学習により学習モデルを生成する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習装置であって、
前記プロセッサは、
前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、
前記学習対象画像をユーザに提示し、
ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、
前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成することを特徴とする学習装置。
【請求項2】
前記プロセッサは、
リアルタイムの前記撮影画像に前記判定基準画像を重畳合成した検知対象画像を生成し、
前記学習モデルを用いて前記検知対象画像から前記注目事象を検知する処理を行い、
前記注目事象が検知された場合に、前記検知対象画像を、追加学習における前記学習対象画像に設定すると共に、その学習対象画像をユーザに提示し、
ユーザの操作に基づいて、前記ラベル情報を取得し、
前記学習対象画像と前記ラベル情報とを追加学習のための学習情報とした機械学習により更新用の前記学習モデルを生成することを特徴とする請求項1に記載の学習装置。
【請求項3】
前記プロセッサは、
ユーザの操作に基づいて、ユーザが追加学習の対象に指定した前記検知対象画像を、追加学習における前記学習対象画像に設定することを特徴とする請求項2に記載の学習装置。
【請求項4】
前記プロセッサは、
物体が移動する危険エリアに対応する前記所定エリアに対象物が進入した状態を前記注目事象として検知するための学習モデルを生成することを特徴とする請求項1に記載の学習装置。
【請求項5】
前記プロセッサは、
前記判定基準画像として、直線状の判定ラインを表す画像を前記撮影画像に重畳合成することを特徴とする請求項1に記載の学習装置。
【請求項6】
前記プロセッサは、
前記判定基準画像として、多角形状の判定エリアを表す画像を前記撮影画像に重畳合成することを特徴とする請求項1に記載の学習装置。
【請求項7】
監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習方法であって、
前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、
前記学習対象画像をユーザに提示し、
ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、
前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成することを特徴とする学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視エリアの撮影画像に基づき、撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する学習装置および学習方法に関するものである。
【背景技術】
【0002】
監視エリアの撮影画像に基づき、監視エリアで発生した異常事象を検知するシステムが広く普及している。さらに、近年、ディープラーニングなどの機械学習により生成された学習モデルを用いて異常事象を検知するシステムも利用されている。
【0003】
学習モデルを用いて異常事象を検知するシステムでは、運用前に、監視エリアの撮影画像に基づく学習対象画像(教師画像)を用いて機械学習を行うことで、学習モデルが作成される。また、運用中には、監視エリアの撮影画像に基づく検知対象画像を学習モデルに入力することで、異常事象の検知結果を取得することができる。さらに、運用中に、異常事象の検知に用いられる検知対象画像を学習対象画像として用いて追加学習を行うと、学習モデルの精度を随時高めることができる。
【0004】
このような検知対象画像を学習対象画像として用いて追加学習を行う技術として、従来、検知対象画像を、追加学習における学習対象画像の候補としてユーザに提示し、その検知対象画像に関して、追加学習用の学習対象画像としての適否をユーザが目視で判断して、追加学習用の学習対象画像をユーザが選別する技術が知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
さて、従来の技術によれば、追加学習における学習対象画像の候補としての検知対象画像が、所定事象(対象物の出現)が検知された否かの検知結果(正誤判定結果)を付加して、ユーザに提示される。ユーザは、検知対象画像を目視することで、検知結果の正誤に応じて学習対象画像としての適否を判断して、追加学習用の学習対象画像を選別する。
【0007】
しかしながら、従来の技術のように、監視エリアの撮影画像である検知対象画像を目視しただけでは、学習対象画像としての適否の判断が、ユーザの主観に大きく左右されて、判断結果がばらつくという問題があった。さらに、所定エリアに対象物(例えば人物)が進入した状態を異常事象として検知する場合には、異常事象の発生状況の判断が難しく、監視エリアの撮影画像である検知対象画像を目視しただけでは、異常事象の発生状況を容易にかつ精度よく判断できない。このため、異常事象の発生状況に関するラベル情報を学習対象画像に付加するラベル付けが不正確になり、精度の高い学習モデルを作成できないという問題があった。
【0008】
そこで、本発明は、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる学習装置および学習方法を提供することを主な目的とする。
【課題を解決するための手段】
【0009】
本発明の学習装置は、監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習装置であって、前記プロセッサは、前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、前記学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成する構成とする。
【0010】
また、本発明の学習方法は、監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習方法であって、前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、前記学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成する構成とする。
【発明の効果】
【0011】
本発明によれば、学習対象画像が、監視エリアの撮影画像に判定基準画像が重畳合成されたものである。このため、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる。
【図面の簡単な説明】
【0012】
【
図2】カメラの撮影画像上に設定される判定ラインおよび判定エリアを示す説明図
【
図3】運用前に本システムで処理される画像を示す説明図
【
図4】運用前に本システムで行われる処理の概要を示す説明図
【
図5】運用時に本システムで処理される画像を示す説明図
【
図6】運用時に本システムで行われる処理の概要を示すブロック図
【
図7】画像解析サーバ、画像管理サーバ、および監視端末の概略構成を示すブロック図
【
図9】監視端末に表示される処理対象設定画面を示す説明図
【
図10】監視端末に表示されるカメラ確認画面を示す説明図
【
図11】監視端末に表示される処理条件設定画面を示す説明図
【
図12】監視端末に表示される処理条件設定画面を示す説明図
【
図13】監視端末に表示される報知画面を示す説明図
【
図14】監視端末に表示される報知画面を示す説明図
【
図15】監視端末に表示される状態確認画面を示す説明図
【
図16】監視端末に表示される状態確認画面を示す説明図
【
図17】監視端末に表示される状態確認画面を示す説明図
【
図18】監視端末に表示される状態確認画面を示す説明図
【
図19】監視端末に表示される状態確認画面を示す説明図
【
図20】監視端末に表示される状態確認画面を示す説明図
【
図21】監視端末に表示される学習モデル作成画面を示す説明図
【
図22】監視端末に表示されるロールバック設定画面を示す説明図
【発明を実施するための形態】
【0013】
前記課題を解決するためになされた第1の発明は、監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習装置であって、前記プロセッサは、前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、前記学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成する構成とする。
【0014】
これによると、学習対象画像が、監視エリアの撮影画像に判定基準画像が重畳合成されたものである。このため、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる。
【0015】
また、第2の発明は、前記プロセッサは、リアルタイムの前記撮影画像に前記判定基準画像を重畳合成した検知対象画像を生成し、前記学習モデルを用いて前記検知対象画像から前記注目事象を検知する処理を行い、前記注目事象が検知された場合に、前記検知対象画像を、追加学習における前記学習対象画像に設定すると共に、その学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記ラベル情報を取得し、前記学習対象画像と前記ラベル情報とを追加学習のための学習情報とした機械学習により更新用の前記学習モデルを生成する構成とする。
【0016】
これによると、注目事象を検知する処理に用いられる検知対象画像がそのまま追加学習のための学習対象画像になるため、追加学習を効率よく行うことができる。
【0017】
また、第3の発明は、前記プロセッサは、ユーザの操作に基づいて、ユーザが追加学習の対象に指定した前記検知対象画像を、追加学習における前記学習対象画像に設定する構成とする。
【0018】
これによると、ユーザが指定した検知対象画像が追加学習の対象に設定されるため、追加学習をより適切に行うことができる。
【0019】
また、第4の発明は、前記プロセッサは、物体が移動する危険エリアに対応する前記所定エリアに対象物が進入した状態を前記注目事象として検知するための学習モデルを生成する構成とする。
【0020】
これによると、物体が移動する危険エリアに対象物が接近した状態を注目事象として検知することができる。なお、物体が移動する危険エリアとは、例えば荷物を搬送する装置(コンベア)や、列車が走行する線路である。
【0021】
また、第5の発明は、前記プロセッサは、前記判定基準画像として、直線状の判定ラインを表す画像を前記撮影画像に重畳合成する構成とする。
【0022】
これによると、注目事象を検知する際の判定基準として、直線状の判定ラインを設定することで、注目事象を適切に検知することができる。そのため、判定ラインに交差する形で対象物が接近する注目事象を、他の注目事象と区別して検知することが可能となる。なお、判定ラインは1本でもよくまた複数本でもよい。
【0023】
また、第6の発明は、前記プロセッサは、前記判定基準画像として、多角形状の判定エリアを表す画像を前記撮影画像に重畳合成する構成とする。
【0024】
これによると、注目事象を検知する際の判定基準として、多角形状の判定エリアを設定することで、注目事象を適切に検知することができる。
【0025】
また、第7の発明は、監視エリアの撮影画像に基づき、前記撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する処理をプロセッサにより行う学習方法であって、前記所定エリアへの対象物の進入を判定する際の基準となる判定基準画像を前記撮影画像に重畳合成した学習対象画像を生成し、前記学習対象画像をユーザに提示し、ユーザの操作に基づいて、前記学習対象画像に現れた前記注目事象の発生状況に関する情報をラベル情報として取得し、前記学習対象画像と前記ラベル情報とを学習情報とした機械学習により前記学習モデルを生成する構成とする。
【0026】
これによると、第1の発明と同様に、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる。
【0027】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【0028】
図1は、本実施形態に係る監視システムの全体構成図である。
【0029】
本システムは、監視エリアの撮影画像に基づいて監視エリアで発生する異常事象(注目事象)を監視するものである。本システムは、カメラ1と、画像解析サーバ2(学習装置)と、画像管理サーバ3(学習装置)と、監視端末4(端末装置)と、を備えている。カメラ1、画像解析サーバ2、画像管理サーバ3、および監視端末4は、インターネットや閉域ネットワークなどのネットワークを介して接続されている。
【0030】
カメラ1は、監視エリアを撮影する。
【0031】
画像解析サーバ2は、ディープラーニングなどの機械学習により生成される学習モデルを用いた画像解析処理を行い、監視エリアで発生する異常事象を検知し、監視端末4を利用して異常事象の発生をユーザ(監視員)に報知する。また、画像解析サーバ2は、画像管理サーバ3で蓄積された学習対象画像(教師画像)を用いて学習モデルを生成する。
【0032】
画像管理サーバ3は、画像解析サーバ2で用いられる学習モデルの生成に必要な学習対象画像(教師画像)を蓄積して管理する。学習対象画像はカメラ1の撮影画像から生成される。
【0033】
監視端末4では監視画面が表示される。監視画面には、カメラ1によるリアルタイムの撮影画像が表示される。これにより、ユーザ(監視員)は、監視エリアの現在の状況を確認することができる。また、監視端末4では報知画面が表示される。これにより、ユーザは、監視エリアで異常事象が発生したことを速やかに認識することができる。また、監視端末4では、画像解析サーバ2および画像管理サーバ3で行われる処理の条件の設定などに関する操作がユーザ(管理者)により行われる。
【0034】
なお、監視端末4、画像管理サーバ3、および画像解析サーバ2は、オンプレミス、すなわち、施設の構内に設置されて運用される構成も可能であるが、画像管理サーバ3および画像解析サーバ2は、クラウドで運用されてもよい。
【0035】
また、本実施形態では、画像管理サーバ3および画像解析サーバ2において種々の処理が行われるが、これらの処理が単一のサーバで行われるものでもよい。また、画像管理サーバ3および画像解析サーバ2で行われる処理が、本実施形態とは異なる組み合わせで複数のサーバで分担されるものでもよい。
【0036】
次に、監視エリアにおける異常事象を検知する際の判定基準について説明する。
図2は、カメラ1の撮影画像上に設定される判定ラインおよび判定エリアを示す説明図である。
【0037】
本実施形態では、監視エリアが、コンベアが設置された作業場である。作業場では、人物がコンベアに接近すると、手を挟まれたり衣服が引き込まれたりする事故が発生する場合がある。そこで、本実施形態では、人物がコンベアに接近して事故が発生する危険性の高い状態が、異常事象として検知される。
【0038】
本実施形態では、
図2(A)に示すように、判定基準として、直線状の判定ラインがカメラ1の撮影画像上に設定される。本例では、第1,第2の2本の判定ラインが設定されている。第1の判定ラインは、コンベア(危険物)に近接する位置に設定され、第2の判定ラインは、コンベアから離れた位置に設定される。なお、判定ラインは、人物の身体が進入することを禁止する所定エリア(危険エリア)と、それ以外のエリア(安全エリア)との仕切る境界線である。
【0039】
ここで、人物(対象物)の身体が第1,第2の判定ラインの両方に交差(接触)する状態(第1の交差状態)と、人物の身体が第2の判定ラインにのみ交差(接触)し、第1の判定ラインに交差(接触)しない状態(第2の交差状態)と、人物の身体が第1,第2の判定ラインのいずれにも交差(接触)しない状態(非交差状態)とがある。
【0040】
本実施形態では、第1の交差状態および第2の交差状態が異常事象として検知されて報知が行われる。第1の判定ラインは「危険」の報知レベルに対応し、第2の判定ラインは「注意」の報知レベルに対応する。すなわち、人物の身体が第1,第2の判定ラインの両方に交差(接触)する状態(第1の交差状態)は危険度が高いため、「危険」の報知が行われる。一方、人物の身体が第2の判定ラインにのみ交差(接触)し、かつ第1の判定ラインに交差(接触)しない状態(第2の交差状態)は危険度が低いため、「注意」の報知が行われる。
【0041】
なお、判定ラインは1本だけ設定されてもよく、また、判定ラインが3本以上設定されてもよい。
【0042】
また、第1,第2の判定ラインは異なる色で描画される。例えば、第1の判定ラインが赤色で描画され、第2の判定ラインが黄色で描画される。これにより、第1,第2の判定ラインに対する人物の身体の交差(接触)の状態をユーザが目視で容易に判断することができる。
【0043】
また、
図2(B)に示すように、判定基準として判定エリアがカメラ1の撮影画像上に設定されてもよい。判定エリアの境界線(判定ライン)は多角形をなしている。なお、判定エリアは、例えば多角形の境界線で囲まれた内側の領域が、人物の身体が進入することを禁止する所定エリア(危険エリア)となり、外側のエリアは、人物が存在することを許容するエリア(安全エリア)となる。
【0044】
また、判定エリアが複数設定されてもよい。例えば、
図2(B)に示す判定エリアを取り囲むようにその外側に別の判定エリアが設定されてもよい。この場合、内側の判定エリアが「危険」の報知レベルに対応し、外側の判定エリアが「注意」の報知レベルに対応するものとしてもよい。
【0045】
なお、本実施形態では、コンベア(搬送装置)が設置された作業場が監視エリアであるが、監視エリアはこれに限定されない。例えば、鉄道の駅におけるホームおよび線路が監視エリアであってもよい。この場合、利用者がホームから線路上に転落したり列車に接触したりする事故が発生する危険性の高い状態を、異常事象として検知して報知が行われる。
【0046】
また、本実施形態では、監視エリアの撮影画像に基づいて監視エリアで発生する異常事象(注目事象)が検知されるが、検知される注目事象は異常事象に限定されない。
【0047】
次に、運用前に本システムで行われる処理の概要について説明する。
図3は、運用前に本システムで処理される画像を示す説明図である。
図4は、運用前に本システムで行われる処理の概要を示す説明図である。
【0048】
本実施形態では、カメラ1の撮影画像上に第1,第2の2本の判定ラインが設定され、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)が異常事象として検知される。異常事象を検知する処理は、ディープラーニングなどの機械学習により生成される学習モデルを用いた画像解析処理により行われる。
【0049】
本システムでは、運用前に学習モデルを生成する処理(本学習)が行われる。本実施形態では、カメラ1の撮影画像から生成された学習対象画像(教師画像)を用いた学習により学習モデルが生成される。
【0050】
このとき、
図3に示すように、監視エリアを撮影したカメラ1の撮影画像に、異常事象の有無を判定する際の基準になる判定基準画像(判定ラインを表す画像)を重畳合成して、学習対象画像が生成される。生成された学習対象画像は、監視端末4においてアノテーション画面に表示される。
【0051】
ユーザ(管理者)は、アノテーション画面において、表示された学習対象画像を目視して、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)を判断して、その監視エリアの状態に関するラベル情報を入力する(アノテーション作業)。このとき、学習対象画像では判定基準画像が重畳合成されているため、ユーザが、学習対象画像を目視することで、異常事象の発生状況を容易にかつ精度よく判断できることから、ユーザのアノテーション作業が効率化できる。
【0052】
図4に示すように、本実施形態では、画像管理サーバ3において、カメラ1の撮影画像に判定基準画像を重畳合成して学習対象画像を生成する処理が行われる(画像合成処理)。また、画像管理サーバ3において、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)に関するラベル情報を、学習対象画像に付加するラベル付けが行われる(アノテーション処理)。さらに、画像管理サーバ3において、学習対象画像とラベル情報とが学習対象画像データベースに登録される。
【0053】
次に、画像解析サーバ2は、画像管理サーバ3に蓄積された学習対象画像およびラベル情報を画像管理サーバ3から取得して、その学習対象画像およびラベル情報を用いた機械学習により学習モデルを生成する(学習モデル生成処理)。
【0054】
次に、運用時に本システムで行われる処理の概要について説明する。
図5は、運用時に本システムで処理される画像を示す説明図である。
図6は、運用時に本システムで行われる処理の概要を示す説明図である。
【0055】
運用時には、
図5に示すように、カメラ1によるリアルタイムの撮影画像に、異常事象の有無を判定する際の基準になる判定基準画像(判定ラインを表す画像)を重畳合成して、検知対象画像が生成される。
【0056】
図6に示すように、本実施形態では、画像解析サーバ2において、カメラ1の撮影画像に判定基準画像を重畳合成して検知対象画像を生成する処理が行われる(画像合成処理)。また、画像解析サーバ2において、検知対象画像に対して、学習モデルを用いた画像解析処理が行われ、その解析結果に基づいて、異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)の有無を判定する異常検知処理が行われる。
【0057】
ここで、異常事象が検知されると、監視端末4において、ユーザに対して異常事象の発生に関する報知が行われる。このとき、発生した異常事象の危険度に応じた報知情報を含む報知画面が表示され、ついで状態確認画面が表示される。状態確認画面には、異常事象が検知されて報知の対象となった検知対象画像が表示される(
図5参照)。
【0058】
ここで、異常事象が検知されて報知の対象となった検知対象画像は、追加学習における学習対象画像となり、ユーザ(管理者)は、状態確認画面において、表示された学習対象画像を目視して、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)を判断して、その監視エリアの状態に関するラベル情報を入力する(アノテーション作業)。このとき、学習対象画像では判定基準画像が重畳合成されているため、ユーザが、学習対象画像を目視することで、監視エリアの状態を容易にかつ精度よく判断できることから、追加学習時においても、ユーザのアノテーション作業が効率化できる。
【0059】
画像解析サーバ2では、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)に関するラベル情報を、学習対象画像に付加するラベル付けが行われる(アノテーション処理)。学習対象画像およびラベル情報は、追加学習のための学習情報として、画像管理サーバ3において学習対象画像データベースに登録される。
【0060】
次に、画像解析サーバ2では、画像管理サーバ3に蓄積された学習対象画像およびラベル情報を画像管理サーバ3から取得して、その学習対象画像およびラベル情報を用いて、新たな学習モデルを生成する処理が行われる(学習モデル生成処理)。次に、画像解析サーバ2では、新たな学習モデルを画像解析処理に適用する処理が行われる(学習モデル管理処理)。
【0061】
なお、学習モデルの更新は、異常事象が検知されて報知が行われる度に実行されてもよい。本実施形態では、報知が行われた際に、異常事象が検知されて報知の対象となった検知対象画像、すなわち、追加学習における学習対象画像に対して、ラベル付けが行われるため、このタイミンクで新規に追加された学習対象画像を用いて学習モデルが更新されてもよい。
【0062】
次に、画像解析サーバ2、画像管理サーバ3、および監視端末4の概略構成について説明する。
図7は、画像解析サーバ2、画像管理サーバ3、および監視端末4の概略構成を示すブロック図である。
【0063】
画像管理サーバ3は、通信部31と、記憶部32と、プロセッサ33と、を備えている。
【0064】
通信部31は、カメラ1、画像解析サーバ2、および監視端末4との間で通信を行う。
【0065】
記憶部32は、プロセッサ33で実行されるプログラムなどを記憶する。また、記憶部22は、学習対象画像データベースの登録情報を記憶する。学習対象画像データベースには、監視エリアの状態(第1の交差状態、2の交差状態、非交差状態)ごとの学習対象画像(教師画像)が登録されている。
【0066】
プロセッサ33は、記憶部32に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ33が、画像合成処理、およびアノテーション処理などを行う。
【0067】
画像合成処理では、プロセッサ33が、カメラ1の撮影画像に判定基準画像(判定ライン画像、判定エリア画像)を重畳合成して、運用前の本学習に用いられる学習対象画像(教師画像)を生成する。このとき、カメラ1によるリアルタイムの撮影画像をカメラ1から取得して画像合成処理が行われてもよく、また、自装置に蓄積されたカメラ1の撮影画像を用いて画像合成処理が行われてもよい。
【0068】
アノテーション処理では、プロセッサ33が、監視端末4で行われるユーザの入力操作に応じて、画像合成処理で生成した学習対象画像に対して、その学習対象画像に現れた異常事象の発生状況に関するラベル情報を付加するラベル付けを行う。
【0069】
画像解析サーバ2は、通信部21と、記憶部22と、プロセッサ23と、を備えている。
【0070】
通信部21は、カメラ1、画像管理サーバ3、および監視端末4との間で通信を行う。
【0071】
記憶部22は、プロセッサ33で実行されるプログラムなどを記憶する。また、記憶部22は、以前に更新された学習モデルの情報を記憶する。
【0072】
プロセッサ23は、記憶部22に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ23が、学習モデル生成処理、学習モデル管理処理、画像合成処理、画像解析処理、異常検知処理、およびアノテーション処理などを行う。
【0073】
学習モデル生成処理では、プロセッサ23が、画像管理サーバ3から学習対象画像(教師画像)を取得して、その学習対象画像を用いて、ディープラーニングなどの機械学習により学習モデルを生成する。
【0074】
学習モデル管理処理では、プロセッサ23が、画像解析処理で用いられる学習モデルを管理する。本実施形態では、プロセッサ23が、画像解析処理で用いられる学習モデルを、ユーザが指定した以前の学習モデルに戻すロールバック処理を行う。ロールバック処理は、ユーザが、現在運用中の学習モデルでは、不具合が多い、具体的には、誤検知が多発しているために、ロールバックが必要と判断してロールバックを指示する操作を行った場合に、実行される。
【0075】
画像合成処理では、プロセッサ23が、カメラ1によるリアルタイムの撮影画像をカメラ1から取得して、撮影画像に判定基準画像(判定ライン画像、判定エリア画像)を重畳合成して検知対象画像を生成する。
【0076】
画像解析処理では、プロセッサ23が、学習モデル生成処理で生成した学習モデルを用いて、画像合成処理で取得した検知対象画像に対して画像解析を行い、異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)が発生した確度を取得する。具体的には、検知対象画像が学習モデルに入力され、学習モデルから解析結果として出力される異常事象の確度を取得する。
【0077】
異常検知処理では、プロセッサ23が、異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)を検知する。このとき、ユーザにより指定された感度を基準にして、画像解析処理で取得した異常事象の確度から、異常事象(第1の交差状態、第2の交差状態)の有無が判定される。
【0078】
アノテーション処理では、プロセッサ23が、監視端末4で行われるユーザの入力操作に応じて、追加学習における学習対象画像の候補、すなわち、異常事象が検知されて報知の対象となった検知対象画像に対して、その学習対象画像に現れた異常事象の発生状況に関するラベル情報を付加するラベル付けを行う。
【0079】
監視端末4は、ディスプレイ41と、入力デバイス42と、通信部43と、記憶部44と、プロセッサ45と、を備えている。
【0080】
ディスプレイ41は、画面を表示する。入力デバイス42は、キーボードやマウスなどであり、ユーザの入力操作を検出する。
【0081】
通信部43は、画像管理サーバ3、および画像解析サーバ2との間で通信を行う。
【0082】
記憶部44は、プロセッサ45で実行されるプログラムなどを記憶する。
【0083】
プロセッサ45は、記憶部44に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ45が、表示入力制御などを行う。
【0084】
表示入力制御処理では、プロセッサ45が、監視画面(
図8参照)などの各種の画面をディスプレイ41に表示すると共に、ユーザの入力デバイス42の操作に応じて入力操作情報を取得する。ユーザの入力操作情報は、画像管理サーバ3および画像解析サーバ2に送信される。
【0085】
次に、監視端末4に表示される監視画面101について説明する。
図8は、監視画面101を示す説明図である。
【0086】
監視画面101には、監視エリア選択部102が設けられている。監視エリア選択部102では、ユーザが、対象とする監視エリアを選択することができる。本例では、ユーザが、監視エリアとしての作業場を選択することができる。
【0087】
また、監視画面101には、カメラ画像表示部103が設けられている。カメラ画像表示部103には、監視エリア選択部102で選択された監視エリア(作業場)を撮影する複数のカメラ1の撮影画像(カメラ画像)が並べて表示される。カメラ画像表示部103には、リアルタイムの撮影画像(ライブ画像)が表示される。これにより、ユーザ(監視員)が、対象とする監視エリア(作業場)を撮影する全てのカメラ1の撮影画像を目視して、監視エリアの現在の状況を確認することができる。
【0088】
ユーザが、監視エリア選択部102に表示された複数の監視エリア(作業場)のいずれかの表示欄上で所定の操作(右クリック)を行うと、メニュー104が表示され、ユーザが、メニュー104で処理対象設定を選択すると、処理対象設定画面111(
図9参照)に遷移する。
【0089】
次に、監視端末4に表示される処理対象設定画面111について説明する。
図9は、処理対象設定画面111を示す説明図である。
【0090】
処理対象設定画面111には、カメラ画像表示部112が設けられている。カメラ画像表示部112には、監視画面101で選択された監視エリア(作業場)を撮影する複数のカメラ1の撮影画像(カメラ画像)が並べて表示される。カメラ画像表示部112では、画像解析サーバ2で行われる異常検知処理の対象とするか否かをカメラ1ごとに設定することができる。
【0091】
具体的には、ユーザが、カメラ画像表示部112において、各カメラ1の名称の表示欄上で所定の操作(右クリック)を行うと、メニュー113が表示され、ユーザは、メニュー113で処理対象と処理対象外とのいずれかを選択することができる。ここで、処理対象が選択されると、該当するカメラ1が異常検知処理の対象に設定され、処理対象外が選択されると、該当するカメラ1が異常検知処理の対象から除外される。本例では、#1のカメラ1が異常検知処理の対象に設定され、#2~#8のカメラ1が異常検知処理の対象外に設定されている。
【0092】
また、ユーザが、カメラ画像表示部112において、各カメラ1の表示欄のいずれかを操作して対象とするカメラ1を選択すると、選択されたカメラ1に関するカメラ確認画面121(
図10参照)に遷移する。
【0093】
また、処理対象設定画面111には、「戻る」のボタン114が設けられている。ユーザが、「戻る」のボタン114を操作すると、監視画面101(
図8参照)に戻る。
【0094】
次に、監視端末4に表示されるカメラ確認画面121について説明する。
図10は、カメラ確認画面121を示す説明図である。
【0095】
カメラ確認画面121には、カメラ属性情報表示部122が設けられている。カメラ属性情報表示部122には、カメラ1の属性情報、具体的には、カメラ1の設置日時、名称、およびIPアドレスが表示される。これにより、ユーザが、カメラ1の属性情報を確認することができる。
【0096】
また、カメラ確認画面121には、カメラ画像表示部123が設けられている。カメラ画像表示部123には、カメラ1の撮影画像が表示される。これにより、ユーザが、カメラ1の撮影画像を目視することで、対象とするカメラ1が、対象とする作業場の撮影状況を確認することができる。
【0097】
また、カメラ確認画面121には、「カメラ情報取得」のボタン124が設けられている。ユーザが「カメラ情報取得」のボタン124を操作すると、画像解析サーバ2からカメラ1の属性情報を取得する処理が行われて、カメラ1の属性情報がカメラ属性情報表示部122に表示され、また、カメラ1から撮影画像を取得する処理が行われて、カメラ1の撮影画像がカメラ画像表示部123に表示される。
【0098】
また、カメラ確認画面121には、「カメラ確認」のタブ125と、「処理条件設定」のタブ126とが設けられている。カメラ確認画面121では「カメラ確認」のタブ125が選択状態であり、ユーザが、「処理条件設定」のタブ126を操作すると、処理条件設定画面131(
図11,
図12参照)に遷移する。
【0099】
次に、監視端末4に表示される処理条件設定画面131について説明する。
図11,
図12は、処理条件設定画面131を示す説明図である。
【0100】
図11,
図12に示すように、処理条件設定画面131には、カメラ画像表示部132が設けられている。カメラ画像表示部132には、カメラ1の撮影画像が表示される。
【0101】
また、処理条件設定画面131には、判定基準設定部133が設けられている。判定基準設定部133には、判定基準選択欄141と、座標表示欄142と、「追加」のボタン143、「削除」のボタン144、および「設定」のボタン145とが設けられている。
【0102】
ここで、
図11に示す例は、判定基準として判定ラインを設定する場合である。
【0103】
この場合、ユーザが、判定基準選択欄141を操作すると、プルダウンメニューが表示され、プルダウンメニューでは、ユーザが、第1の判定ライン(赤色の判定ライン)、および第2の判定ライン(黄色の判定ライン)を選択する。このとき、判定ラインの入力モードに遷移し、入力デバイス42を用いて、カメラ画像表示部132に表示された撮影画像上で、判定ラインを表す直線の2つの端点の位置を指定することができる。なお、第1の判定ラインは「危険」の報知レベルに対応し、第2の判定ラインは「注意」の報知レベルに対応する。
【0104】
座標表示欄142には、判定ラインを表す直線の2つの端点の座標が表示される。なお、3点以上の端点の座標を指定して、指定された点を結ぶ折れ線を判定ラインにしてもよい。
【0105】
ユーザが、「追加」のボタン143を操作すると、新しい判定ラインを追加することができる。ユーザが、「設定」のボタン144を操作すると、ユーザが指定した判定ラインが設定される。ユーザが、「削除」のボタン145を操作すると、設定済みの判定ラインを削除することができる。
【0106】
一方、
図12に示す例は、判定基準として判定エリアを設定する場合である。
【0107】
この場合、ユーザが、判定基準選択欄141を操作すると、プルダウンメニューが表示され、プルダウンメニューでは、ユーザが、判定エリアを選択する。このとき、判定エリアの入力モードに遷移し、入力デバイス42を用いて、カメラ画像表示部132に表示された撮影画像上で、判定エリアを表す多角形の複数の端点の位置を指定することができる。
【0108】
座標表示欄142には、判定エリアを表す多角形の複数の端点の座標が表示される。
【0109】
ユーザが、「追加」のボタン143を操作すると、新しい判定エリアを追加することができる。ユーザが、「設定」のボタン144を操作すると、ユーザが指定した判定エリアが設定される。ユーザが、「削除」のボタン145を操作すると、設定済みの判定エリアを削除することができる。
【0110】
また、処理条件設定画面131には、マスクエリア設定部134が設けられている。マスクエリア設定部134では、ユーザが、異常検知処理の対象から除外するマスクエリアを指定することができる。マスクエリア設定部134には、マスクエリア選択欄146と、座標表示欄147と、「追加」のボタン148、「削除」のボタン148、および「設定」のボタン150とが設けられている。
【0111】
ユーザが、マスクエリア選択欄146を操作すると、プルダウンメニューが表示され、プルダウンメニューでは、ユーザが、マスクエリアを選択することができる。このとき、マスクエリアの入力モードに遷移し、入力デバイス42を用いて、カメラ画像表示部132に表示された撮影画像上で、マスクエリアを表す多角形の複数の端点の位置を指定することができる。
【0112】
座標表示欄147に、マスクエリアを表す多角形の複数の端点の座標が表示される。
【0113】
ユーザが、「追加」のボタン148を操作すると、新しいマスクエリアを追加することができる。ユーザが、「設定」のボタン149を操作すると、ユーザが指定したマスクエリアが設定される。ユーザが、「削除」のボタン150を操作すると、設定済みのマスクエリアを削除することができる。
【0114】
また、処理条件設定画面131には、感度設定部135が設けられている。感度設定部135では、ユーザが、異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態を検知する処理(異常検知処理)において、異常事象の有無を判定する際の基準値となる感度を数値(0~100)で入力することができる。なお、感度の数値が大きくなると、異常事象の検知感度が高くなる。
【0115】
また、処理条件設定画面131には、「登録」のボタン136が設けられている。ユーザが、「登録」のボタン136を操作すると、本画面で入力された情報が設定情報として登録される。
【0116】
次に、監視端末4に表示される報知画面161について説明する。
図13,
図14は、報知画面161を示す説明図である。
【0117】
異常事象、すなわち、第1,第2の判定ラインに人物の身体が交差(接触)した状態(第1の交差状態、第2の交差状態)が検知されると、
図13,
図14に示す報知画面161が、監視画面101(
図8参照)上にポップアップ表示される。
【0118】
報知画面161では、検知された異常事象(第1の交差状態、第2の交差状態)に応じて、報知レベルを表す「危険」および「注意」のいずれかの文字が表示される。
図13に示す報知画面161は、報知レベルが危険の場合、すなわち、人物の身体が第1の判定ラインおよび第2の判定ラインの両方に交差する状態が検知された場合である。この場合、報知画面161に、「危険」の文字が表示される。
図14に示す報知画面161は、報知レベルが注意の場合、すなわち、人物の身体が第2の判定ラインにのみ交差する状態が検知された場合である。この場合、報知画面161に、「注意」の文字が表示される。
【0119】
報知画面161には、「確認」のボタン162が設けられている。ユーザが、「確認」のボタン162を操作すると、状態確認画面171(
図15~
図20参照)に遷移する。
【0120】
次に、監視端末4に表示される状態確認画面171について説明する。
図15~
図20は、状態確認画面171を示す説明図である。
【0121】
状態確認画面171には、カメラ画像表示部172が設けられている。カメラ画像表示部172には、異常事象が検知されて報知の対象となった検知対象画像が表示される。検知対象画像には判定ラインが重畳合成されている。このため、ユーザは、検知対象画像を目視することで、第1,第2の判定ラインに対する人物の身体の交差(接触)の状態を容易にかつ精度よく判断することができる。
【0122】
また、状態確認画面171には、アノテーション操作部173が設けられている。アノテーション操作部173は、追加学習における学習対象画像の候補、すなわち、異常事象が検知されて報知の対象となった検知対象画像に対してラベル付けを行うための入力操作をユーザに行わせるものである。アノテーション操作部173には、正検知であることを入力するボタン181と、誤検知である場合に実際の状態を入力する3つのボタン182,183,184と、が設けられている。
【0123】
ユーザは、検知対象画像を目視して、正検知であることを確認すると、ボタン181を操作する。また、ユーザは、検知対象画像を目視して、誤検知であり、かつ、人物の身体が第1の判定ライン(赤色の判定ライン)と第2の判定ライン(黄色の判定ライン)との両方に交差(接触)する状態(第1の交差状態)であることを確認すると、ボタン182を操作する。また、ユーザは、検知対象画像を目視して、誤検知であり、かつ、人物の身体が第2の判定ライン(黄色の判定ライン)にのみ交差(接触)し、第1の判定ラインに交差(接触)しない状態(第2の交差状態)であることを確認すると、ボタン183を操作する。また、ユーザは、検知対象画像を目視して、誤検知であり、かつ、人物の身体が第1,第2の判定ラインのいずれにも交差(接触)しない状態(非交差状態)であることを確認すると、ボタン184を操作する。
【0124】
ここで、
図15~
図17に示す例は、報知レベルが「危険」である報知画面161(
図13参照)から遷移した場合の状態確認画面171である。ここでは、正検知に相当するボタン182はグレーアウト(選択不可)状態で表示される。
【0125】
図15に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第1の判定ライン(赤色の判定ライン)および第2の判定ライン(黄色の判定ライン)の両方に交差(接触)する状態(第1の交差状態)となっており、報知レベルは「危険」である。したがって、この場合、ユーザは、検知対象画像を目視することで、正検知であることを確認して、正検知であることを入力するボタン181を操作する。
【0126】
また、
図16に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第2の判定ライン(黄色の判定ライン)にのみ交差している状態(第2の交差状態)となっており、本来の報知レベルは「注意」である。したがって、この場合、ユーザは、検知対象画像を目視することで、誤検知で、かつ、第2の交差状態であることを確認して、第2の交差状態であることを入力するボタン183を操作する。
【0127】
また、
図17に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第1,第2の判定ラインのいずれにも交差(接触)しない状態(非交差状態)となっており、本来ではあれば報知は行われない。したがって、この場合、ユーザは、検知対象画像を目視することで、誤検知で、かつ、非交差状態であることを確認して、非交差状態であることを入力するボタン184を操作する。
【0128】
一方、
図18~
図20に示す例は、報知レベルが「注意」である報知画面161(
図14参照)から遷移した場合の状態確認画面171である。ここでは、正検知に相当するボタン183はグレーアウト(選択不可)状態で表示される。
【0129】
図18に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第2の判定ライン(黄色の判定ライン)にのみ交差している状態(第2の交差状態)となっており、報知レベルは「注意」である。したがって、この場合、ユーザは、検知対象画像を目視することで、正検知であることを確認して、正検知であることを入力するボタン181を操作する。
【0130】
また、
図19に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第1の判定ライン(赤色の判定ライン)および第2の判定ライン(黄色の判定ライン)の両方に交差(接触)する状態(第1の交差状態)となっており、本来の報知レベルは「危険」である。したがって、この場合、ユーザは、検知対象画像を目視することで、誤検知で、かつ、第1の交差状態であることを確認して、第1の交差状態であることを入力するボタン182を操作する。
【0131】
また、
図20に示す例では、カメラ画像表示部172に表示された検知対象画像において、人物の身体が第1,第2の判定ラインのいずれにも交差(接触)しない状態(非交差状態)となっており、本来ではあれば報知は行われない。したがって、この場合、ユーザは、検知対象画像を目視することで、誤検知で、かつ、非交差状態であることを確認して、非交差状態であることを入力するボタン184を操作する。
【0132】
また、状態確認画面171には、学習モデル情報表示部174が設けられている。学習モデル情報表示部174には、現在運用中の学習モデル、すなわち、画像解析処理に現在用いられている学習モデルの識別情報、具体的には学習モデルの作成日時が表示される。
【0133】
また、状態確認画面171には、学習モデルのロールバックを指示するボタン175が設けられている。ユーザは、現在運用中の学習モデルでは、不具合が多い、具体的には、誤検知が多発しているため、以前の学習モデルに戻すロールバックが必要と判断すると、ボタン175を操作する。これにより、ロールバック設定画面211(
図22参照)が状態確認画面171上にホップアップ表示される。
【0134】
また、状態確認画面171には、「報知」のタブ176と、「学習」のタブ177とが設けられている。状態確認画面171では「報知」のタブ176が選択状態であり、ユーザが、「学習」のタブ177を操作すると、学習モデル作成画面201(
図21参照)に遷移する。
【0135】
次に、監視端末4に表示される学習モデル作成画面201について説明する。
図21は、学習モデル作成画面201を示す説明図である。
【0136】
学習モデル作成画面201には、学習対象画像一覧表示部202が設けられている。学習対象画像一覧表示部202には、追加学習に用いられる学習対象画像の候補に関する情報が一覧表示される。学習対象画像の候補は、異常事象が検知されて報知の対象となった検知対象画像である。学習対象画像一覧表示部202には、具体的には、学習対象画像の候補ごとに、撮影時刻、サムネイル画像、異常事象の検知結果の正誤(正検知および誤検知の別)、および学習対象画像に付加されるラベル情報が表示される。
【0137】
ユーザが、学習対象画像一覧表示部202において、いずれかの学習対象画像の表示欄上で所定の操作(右クリック)を行うと、メニュー203が表示される。メニュー203では、ユーザが、学習対象画像の候補を追加学習の対象とするか否かを指定することができる。ここで、追加学習の対象外が選択されると、学習対象画像の候補が学習処理の対象から除外される。
【0138】
また、学習モデル作成画面201には、作成メモ入力欄204が設けられている。作成メモ入力欄204では、ユーザが、今回作成する学習モデルの内容(作成メモ)を表す文字を入力することができる。
【0139】
また、学習モデル作成画面201には、「学習モデル作成」のボタン205が設けられている。ユーザが、「学習モデル作成」のボタン205を操作すると、学習対象画像一覧表示部202に表示された学習対象画像の候補のうちの追加学習の対象として選択された画像を用いて学習モデルを作成する処理が行われる。
【0140】
次に、監視端末4に表示されるロールバック設定画面211について説明する。
図22は、ロールバック設定画面211を示す説明図である。
【0141】
状態確認画面171(
図15~
図20参照)において、ユーザが、学習モデルのロールバックを指示するボタン175を操作すると、
図22に示すロールバック設定画面211が状態確認画面171上にホップアップ表示される。
【0142】
ロールバック設定画面211には、モデル選択部212が設けられている。モデル選択部212には、学習モデルごとの作成日時および内容が一覧表示される。ユーザが、いずれかの学習モデルの欄を操作することで、学習モデルを選択することができる。
【0143】
また、ロールバック設定画面211には、「切替実施」のボタン213と、「戻る」のボタン214とが設けられている。ユーザが、「切替実施」のボタン213を操作すると、画像解析処理に用いられる学習モデルを、モデル選択部212で選択された学習モデルに切り替えるロールバック処理が行われる。ユーザが、「戻る」のボタン214を操作すると、状態確認画面171(
図15~
図20参照)に戻る。
【0144】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【産業上の利用可能性】
【0145】
本発明に係る学習装置および学習方法は、ユーザの主観に大きく左右されることなく、注目事象の発生状況をユーザが容易にかつ精度よく判断して、適切にラベル付けされた学習対象画像を効率よく収集して、精度の高い学習モデルを生成することができる効果を有し、監視エリアの撮影画像に基づき、撮影画像上に設定された所定エリアに対象物が進入した状態を注目事象として検知するための学習モデルを生成する学習装置および学習方法などとして有用である。
【符号の説明】
【0146】
1 カメラ
2 画像解析サーバ(学習装置)
3 画像管理サーバ(学習装置)
4 監視端末(端末装置)
23 プロセッサ
33 プロセッサ