特許 7539115 識別情報付与装置、識別情報付与方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-15

(45)【発行日】2024-08-23

(54)【発明の名称】識別情報付与装置、識別情報付与方法、及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240816BHJP

   G06T 7/00 20170101ALI20240816BHJP

【ＦＩ】

G06N20/00 130

G06T7/00 350B

【請求項の数】 13

(21)【出願番号】P 2021566796

(86)(22)【出願日】2020-07-28

(86)【国際出願番号】 JP2020028895

(87)【国際公開番号】W WO2021131127

(87)【国際公開日】2021-07-01

【審査請求日】2023-05-29

(31)【優先権主張番号】P 2019231757

(32)【優先日】2019-12-23

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100163902

【弁理士】

【氏名又は名称】市川 奈月

(72)【発明者】

【氏名】伊藤 智祥

(72)【発明者】

【氏名】秦 秀彦

(72)【発明者】

【氏名】市村 大治郎

(72)【発明者】

【氏名】宮田 淳司

(72)【発明者】

【氏名】沖本 純幸

(72)【発明者】

【氏名】田中 朗宏

(72)【発明者】

【氏名】水嶋 海都

【審査官】坂庭 剛史

(56)【参考文献】

【文献】特開２０１２－０４２９９０（ＪＰ，Ａ）

【文献】特開平０６－２４４７４７（ＪＰ，Ａ）

【文献】秦 秀彦、伊藤智祥、安達孝夫、金子有旗，Ｂ２Ｂ向け現場サイバーフィジカルシステム化技術，パナソニック技報［ｏｎｌｉｎｅ］，日本，パナソニック株式会社，2019年05月15日，Ｖｏｌ．６５，Ｎｏ．１（2019年5月号），ｐｐ．９－１４

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

連続性のある複数の画像データを取得する取得部と、
前記複数の画像データに対し、指標値を求め、当該指標値を利用して全ての前記画像データから一部を学習用データとして選択する選択部と、
複数の画像データ及び各画像データに含まれる識別情報の関係を学習済みの学習モデルを用いて、前記選択部で選択された画像データに識別情報を付与する付与部と、
前記付与部で前記識別情報が付与された前記画像データを用いて前記学習モデルを更新する更新部とを備え、
前記付与部は、更新された前記学習モデルを用いて前記取得部が取得した残りの画像データに識別情報を付与する
識別情報付与装置。

【請求項2】

前記画像データと、当該画像データに前記付与部で付与された前記識別情報とを表示部に表示し、前記識別情報を修正するリクエストを受け付け、当該リクエストにしたがって前記識別情報を修正する修正部をさらに備え、
前記更新部は、前記修正部で前記識別情報が修正された画像データを用いて学習モデルを更新する
請求項１に記載の識別情報付与装置。

【請求項3】

前記選択部は、前記複数の画像データにランダムな値を指標値として付し、当該指標値の降順又は昇順で学習用データとする画像データを選択する
請求項１または２に記載の識別情報付与装置。

【請求項4】

前記複数の画像データの全てについて、既存の識別モデルを用いて予め仮の識別情報である仮識別情報を付与する前処理部をさらに備え、
前記選択部は、前記前処理部で付与された前記仮識別情報が、所定の条件に該当するか否かに応じた指標値を設定し、当該指標値を用いて学習用データとする画像データを選択する
請求項１または２に記載の識別情報付与装置。

【請求項5】

連続性のある複数の画像データを取得する取得部と、
前記複数の画像データから、全ての前記画像データの一部を学習用データとして選択する選択部と、
複数の画像データ及び各画像データに含まれる識別情報の関係を学習済みの学習モデルを用いて、前記選択部で選択された画像データに識別情報を付与する付与部と、
前記付与部で前記識別情報が付与された前記画像データを用いて前記学習モデルを更新する更新部とを備え、
前記付与部は、更新された前記学習モデルを用いて前記取得部が取得した残りの画像データに識別情報を付与する
識別情報付与装置。

【請求項6】

前記画像データと、当該画像データに前記付与部で付与された前記識別情報とを表示部に表示し、前記識別情報を修正するリクエストを受け付け、当該リクエストにしたがって前記識別情報を修正する修正部をさらに備え、
前記更新部は、前記修正部で前記識別情報が修正された画像データを用いて学習モデルを更新する
請求項５に記載の識別情報付与装置。

【請求項7】

前記選択部は、前記複数の画像データから、ランダムに学習用データとする画像データを選択する
請求項５または６に記載の識別情報付与装置。

【請求項8】

前記複数の画像データの全てについて、既存の識別モデルを用いて予め仮の識別情報である仮識別情報を付与する前処理部をさらに備え、
前記選択部は、前記前処理部で付与された前記仮識別情報が、所定の条件に該当する場合、前記画像データを学習用データとする画像データを選択する
請求項５または６に記載の識別情報付与装置。

【請求項9】

前記画像データは、所定の空間において撮影された画像データであり、前記識別情報は、前記空間を移動する動体を識別する情報とともに、前記空間における位置情報とを含み、
前記選択部は、前記前処理部で得られた前記仮識別情報で特定される位置情報が、前記空間のレイアウト情報に応じて不適切と定められる条件に該当する画像データを、学習用データとして選択する
請求項４または８に記載の識別情報付与装置。

【請求項10】

前記画像データは、所定の空間において撮影された画像データであり、前記識別情報は、前記空間を移動する動体を識別する情報とともに、前記空間における位置情報とを含み、
前記選択部は、前記前処理部で得られた前記仮識別情報で特定される位置情報が、前記空間内で動体を検出するセンサで検出された動体の検出データで特定される前記動体の位置情報と異なる画像データを、学習用データとして選択する
請求項４又は８に記載の識別情報付与装置。

【請求項11】

前記複数の画像データの全てについて、第１の画像データと、当該第１の画像と連続して撮影された画像データである第２の画像データとの差分を求める差分演算部をさらに備え、
前記選択部は、前記差分演算部で得られた差分を指標値とし、当該指標値が所定の範囲である場合、前記第１の画像データ又は前記第２の画像データを学習用データとして選択する
請求項１、２、５又は８に記載の識別情報付与装置。

【請求項12】

連続性のある複数の画像データを取得する取得ステップと、
前記複数の画像データに対し、指標値を求め、当該指標値を利用して全ての前記画像データから一部を学習用データとして選択する選択ステップと、
複数の画像データ及び各画像データに含まれる識別情報の関係を学習済みの学習モデルを用いて、前記選択ステップで選択された画像データに前記識別情報を付与する第１付与ステップと、
前記第１付与ステップで前記識別情報が付与された前記画像データを用いて前記学習モデルを更新する更新ステップと、
更新された前記学習モデルを用いて前記取得ステップで取得した残りの画像データに前記識別情報を付与する第２付与ステップとを含む、
識別情報付与方法。

【請求項13】

コンピュータに、請求項１２に記載の方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習で使用するデータに識別情報を付与する識別情報付与装置、識別情報付与方法、及びプログラムに関する。

【背景技術】

【0002】

近年、機械学習が様々な分野で利用されている。機械学習では、学習用データの量が重要であり、多量の学習用データで学習させることで、精度の高い結果を得ることができる。このとき、予め、データに関連する情報の付与を行う必要がある。このような作業はアノテーションと呼ばれ、例えば、写真データに人が写っている場合、写真データにおける人が存在する領域の位置情報や「人」というカテゴリ等の情報等が付与される。

【0003】

学習用データの量は膨大であるため、アノテーションの作業は、人手で行うと多大な手間と時間を要する。特許文献１では、人手による作業を軽減する技術が記載されている。特許文献１では、はじめに手作業で基準データを生成し、この基準データを利用して学習用データを生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－２００５３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、学習モデルの学習に効率的な学習用データを選択することのできる識別情報付与装置、識別情報付与方法、及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の識別情報付与装置は、連続性のある複数の画像データを取得する取得部と、複数の画像データに対し、指標値を求め、当該指標値を利用して全ての画像データから一部を学習用データとして選択する選択部と、複数の画像データ及び各画像データに含まれる識別情報の関係を学習済みの学習モデルを用いて、選択部で選択された画像データに識別情報を付与する付与部と、付与部で識別情報が付与された画像データを用いて学習モデルを更新する更新部とを備え、付与部は、更新された学習モデルを用いて取得部が取得した残りの画像データに識別情報を付与する。

【0007】

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

【発明の効果】

【0008】

本開示の識別情報付与装置、識別情報付与方法、及びプログラムによれば、機械学習の利用において、学習モデルの学習に効率的な学習用データを選択することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る識別情報付与装置を含む動線分析システムの構成を説明するブロック図である。

【図2】実施の形態１に係る識別情報付与装置の構成を説明するブロック図である。

【図3】識別情報付与装置で識別情報を付与する一連の画像データの説明図である。

【図4】識別情報付与装置における第１アノテーション用の画像データの選択の説明図である。

【図5】実施の形態１に係る識別情報付与装置で画像データに付与される識別情報の一例である。

【図6】実施の形態１に係る識別情報付与及び学習モデル更新の処理を説明するフローチャートである。

【図7】実施の形態２に係る識別情報付与装置の構成を説明するブロック図である。

【図8】実施の形態２に係る識別情報付与装置で利用する条件データの説明図である。

【図9】実施の形態２に係る識別情報付与装置で利用する条件データの他の説明図である。

【図10】実施の形態２に係る識別情報付与及び学習モデル更新の処理を説明するフローチャートである。

【図11】実施の形態３に係る識別情報付与装置の構成を説明するブロック図である。

【図12】実施の形態３に係る識別情報付与装置における検出データと仮識別情報の比較の説明図である。

【図13】実施の形態３に係る識別情報付与及び学習モデル更新の処理を説明するフローチャートである。

【図14】実施の形態４に係る識別情報付与装置の構成を説明するブロック図である。

【図15】実施の形態４に係る識別情報付与及び学習モデル更新の処理を説明するフローチャートである。

【発明を実施するための形態】

【0010】

［本開示の基礎となった知見］
近年、機械学習の利用が広い分野に普及している。また、高速ＧＰＵ（Graphics Processing Unit）サーバ等の演算装置の進歩により、画像データの処理速度の向上も進んでいる。これにより、機械学習を利用した動画像データを利用する情報の分析等により、人間だけでは分析が困難であった内容も詳細に分析できるようになっている。例えば、工場、倉庫、店舗、オフィス等の様々な場所における人や物等の動体の動きを解析し、これを分析する際にも、機械学習を利用することで、多量のデータを利用し、人間による分析だけでは困難であった高精度の分析を可能とする。

【0011】

ところで、このように機械学習を利用する場合、学習用データの生成が学習モデルの生成に大きく左右する。例えば、複数の画像データから選択した画像データを用いて学習モデルを生成する際、学習用データとする画像データの選択により学習の効率が左右される。しかしながら、多量の画像データから、学習モデルの生成に利用する画像データを効率的に選択することは困難であった。

【0012】

本開示は、機械学習において効果的な学習を可能とする画像データを選択するとともに、画像データへの識別情報を効率的に行う識別情報付与装置、識別情報付与方法及びプログラムを提供する。これにより、精度の高い結果を得ることのできる学習用データを生成することができる。

【0013】

［実施形態］
以下に、図面を用いて本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。

【0014】

本開示に係る、識別情報付与装置、識別情報付与方法及びプログラムは、機械学習の学習用データの生成の際に自動で識別情報を付与するものである。以下では、識別情報付与装置は、対象の空間における動体の動線分析のために利用する学習用データを拡張する一例で説明する。

【0015】

以下の説明では、「学習モデル」は、画像データに識別情報を付与するものであるものとして説明する。

【0016】

「識別情報」とは、機械学習の学習用データとなる画像データへ付与されるタグやメタデータ等の情報である。また、「識別情報の付与」とは、画像データへのタグやメタデータの付与であって、「アノテーション」と同義である。

【0017】

「動線」とは、人や物等の動体が移動する経路や軌跡をいう。また、「動体」とは、動線分析の対象である、人や物等である。「物」とは、例えば、人によって動かされるカート等である。「動線分析」とは、人や物の動線を記録し、統計的なデータとして分析及び出力することである。

【0018】

以下では、識別情報付与装置が、動体を含む画像データに対し、この画像データを機械学習の学習用データとするため、画像に含まれる動体に関する識別情報を付与する例で説明する。

【0019】

〈実施の形態１〉
〈動線分析システム〉
図１に示すように、実施の形態１に係る識別情報付与装置１は、例えば、人等の動きを分析する動線分析システム１００で利用される。動線分析システム１００は、識別情報付与装置１とともに、撮影装置２、センサ３、センサ値処理装置４及び動線分析装置５を有する。

【0020】

識別情報付与装置１は、撮影装置２で撮影された画像データに識別情報を付与するものである。識別情報付与装置１の具体的な構成及び識別情報付与装置１における処理等については、図２乃至図６を用いて後述する。

【0021】

撮影装置２は、動線分析の対象となる空間を撮影するカメラである。この撮影装置２は、必ずしも動画像を撮影するものである必要はないが、動線分析システム１００は、人等の動体の動きを分析するものであるため、連続した複数フレームの画像を撮影可能とする必要がある。図１では、１台の撮影装置２のみ示すが、対象となる空間全体を撮影することが好ましいため、動線分析システム１００は、複数台の撮影装置２を備えてもよい。また、動線分析システム１００では、これら複数の撮影装置２で同時に撮影された画像データを１枚の画像データに合成して利用することが可能である。例えば、１台の撮影装置２では、撮影範囲の制限により動線分析の対象の空間全体を撮影することができない場合であっても、複数台の撮影装置２で撮影された画像を合成することで、広範囲の画像データを得ることが可能となる。なお、以下の説明においては、１のタイミングで撮影される画像データは、１枚であるもの、または、既に合成されたものとして説明し、合成処理については説明を省略する。

【0022】

センサ３は、例えば、赤外線や超音波を利用して人の存在を検知する人感センサである。また、センサ３は、音を入力して人等の動きを検知する音センサであってもよい。センサ３は、人、物等に備えられる発信器から発信される電波を受信するものであってもよい。なお、図１では、１台のセンサ３のみ示すが、動線分析システム１００は、複数台のセンサ３を備えてもよく、また、複数種類のセンサを備えてもよい。動線分析において、センサ３による検知結果を利用することで、画像データのみから動体を検知する場合と比較して、動体の検知の精度を向上させることができる。例えば、センサ３から得られる位置情報を画像データとともに活用し、画像データに識別情報を付与した対象が、カートであるかどうかを判定するために使用することができる。具体的には、カートにセンサ３として発信器が設置されている場合、そのセンサ３の電波により、画像データ中でそのカートがどこに含まれるかを正確に判断することができるためである。

【0023】

センサ値処理装置４は、センサ３によって得られたセンサ値を処理し、対象の空間における動体に関する情報をセンサ値データとして生成する。

【0024】

動線分析装置５は、識別情報付与装置１によって識別情報が付与されて生成された画像データ、センサ値処理装置４によって処理されたセンサ値データを用いて、対象の空間における、人等の動線分析データを生成する。生成された動線分析データを用いることにより、対象の空間における物の配置や作業内容の改善を効果的に行うことが可能となる。

【0025】

〈識別情報付与装置〉
続いて、識別情報付与装置１について説明する。識別情報付与装置１は、図２に示すように、制御部１０、記憶部２０、通信インタフェース（Ｉ／Ｆ）２１、入力部２２及び出力部２３等を備える情報処理装置である。

【0026】

制御部１０は、識別情報付与装置１全体の制御を司るコントローラである。例えば、制御部１０は、記憶部２０に記憶される識別情報付与プログラムＰを読み出して実行することにより、取得部１１、選択部１２、付与部１３、修正部１４及び更新部１５としての処理を実現する。また、制御部１０は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部１０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

【0027】

記憶部２０は種々の情報を記録する記録媒体である。記憶部２０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部２０には、制御部１０が実行する識別情報付与プログラムＰの他、識別情報で使用する情報や識別情報付与のために取得された種々の情報等が格納される。例えば、記憶部２０は、学習モデル２００、画像データ２１０及び識別情報２２０を記憶する。

【0028】

通信Ｉ／Ｆ２１は、外部の装置（図示せず）とのデータ通信を可能とするためのインタフェース回路（モジュール）である。入力部２２は、操作やデータの入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力手段である。出力部２３は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等の出力手段である。

【0029】

なお、識別情報付与装置１は、複数の情報処理装置によって実現されてもよい。また、記憶部２０に記憶されるデータの一部は外部の記憶装置に記憶され、外部の記憶装置から読み出して使用する構成であってもよい。例えば、識別情報付与装置１は、学習モデル２００を使用可能であればよく、外部のサーバ装置等から読み出して利用可能な構成であってもよい。

【0030】

取得部１１は、撮影装置２で撮影された連続性のある複数の画像データ２１０を取得する。また、取得部１１は、取得した画像データ２１０を記憶部２０に記憶させる。例えば、各画像データ２１０は、図３に示すような、動画像データの各フレームである。なお、以下では、必要に応じて、ある画像データを「第１の画像データ」とし、この第１の画像データに連続して撮影された画像データを「第２の画像データ」として説明する。

【0031】

選択部１２は、複数の画像データ２１０から、全ての画像データ２１０から一部を学習用データとして選択する。以下では、図４に示すように、選択部１２によって選択された画像データ２１０は、必要に応じて「第１アノテーション用の画像データ」（黒色で示す画像データ）として説明する。また、選択部１２によって選択されない画像データ２１０は、必要に応じて「第２アノテーション用の画像」（破線で示す画像データ）として説明する。具体的には、選択部１２は、複数の画像データ２１０から、学習用データとしてランダムに第１アノテーション用の画像データ２１１を選択する。

【0032】

付与部１３は、画像データ２１０に、学習モデル２００を用いて識別情報２２０を付与する。また、付与部１３は、付与した識別情報２２０を画像データ２１０と関連付けて記憶部２０に記憶させる。具体的には、付与部１３は、選択部１２で選択された第１アノテーション用の画像データ２１１に学習済みの学習モデル２００を用いて識別情報２２０を付与する。この学習モデル２００は、画像データ及び画像データに含まれる識別情報を学習済みである。学習モデル２００は、例えば、汎用の学習モデルであって、その識別精度が十分でないものも含むとする。また、後に、学習モデル２００が更新されると、付与部１３は、更新された学習モデル２００を用いて、取得部１１が取得した残りの画像データ２１０、具体的には、第２アノテーション用の画像データ２１２に識別情報を付与する。

【0033】

修正部１４は、第１アノテーション用の画像データ２１１と、付与部１３により第１アノテーション用の画像データ２１１に付与された識別情報２２０とを出力部２３に表示し、識別情報２２０を修正するリクエストを受け付ける。また、修正部１４は、当該リクエストにしたがって識別情報２２０を修正する。

【0034】

更新部１５は、識別情報２２０が付与された画像データ２１０を用いて学習モデル２００を更新する。具体的には、更新部１５は、複数の画像データ２１０と、各画像データ２１０に対応する正解データである識別情報２２０とが学習用データとして入力されると、学習器を用いて機械学習により、この画像データ２１０と識別情報２２０との関係を学習する。これにより、更新部１５は、入力される画像データ２１０に対して識別情報を導く学習モデル２００を更新する。更新部１５が利用する学習器は、識別情報付与装置１の内部にあってもよいし、外部にあってもよい。このとき、学習器は、記憶部２０に記憶される学習モデル２００を再学習し、新たな学習モデル２００を生成することができる。更新部１５に更新されることにより、記憶部２０に記憶される学習モデル２００は、更新された新たな学習モデル２００となる。なお、更新部１５は、修正部１４により識別情報２２０が修正された場合には、修正後の識別情報２２０及び対応する画像データ２１０を用いて学習モデル２００を更新する。

【0035】

《選択部による画像データの選択》
選択部１２は、上述したように、ランダムに第１アノテーション用の画像データ２１１を選択する。例えば、全ての画像データ２１０から、所定割合に相当する数の画像データ２１０をランダムに第１アノテーション用の画像データ２１１として選択する。画像データ２１０をランダムに選択する具体的な方法は限定しない。一例として、連続する全ての画像データ２１０にランダムに指標値である番号を付し、この指標値の降順または昇順で、所定割合に相当する数の画像データ２１０を選択する方法がある。この指標値は、第１アノテーション用の画像データ２１１の選択の指標として用いる値である。

【0036】

例えば、図４に示すような動画像データを構成する複数の連続する画像データ２１０では、時系列的に近い画像データ２１０同士は類似する傾向にある。このような類似する複数の画像データ２１０を学習用データとして学習するよりも、ランダムに選択された画像データ２１０を学習用データとした方が、学習モデル２００は、効率的な学習結果を得ることができる。したがって、選択部１２は、図４に一例を示すように、第１アノテーション用の画像データ２１１をランダムに選択する。

【0037】

《付与部による画像データの付与》
（第１アノテーション処理）
付与部１３は、選択された第１アノテーション用の画像データ２１１に予め記憶部２０で記憶される学習モデル２００を用いて識別情報２２０を付与する。例えば、識別情報２２０としては、画像データ２１０において対象が抽出された「座標」、対象として抽出された領域のｘ軸方向の長さである「幅」とｙ軸方向の長さである「高さ」、対象の種別を特定する「クラス」等が関連付けられる情報である。対象の種別を特定する「クラス」とは、例えば、動線抽出の対象が『人』であるのか、『カート』であるのか等を特定する情報である。なお、画像データ２１０には、複数の対象を含むことがあるため、１枚の画像データ２１０から複数の領域が抽出され、複数の識別情報を付与することもある。また、付与部１３は、この識別情報を、画像データ２１０に関連付けて記憶部２０に記憶させる。

【0038】

例えば、付与部１３は、図５に示すように第１アノテーション用の画像データ２１１に対し、複数の識別情報を付与する。図５に示す画像データ２１０は、例えば、複数の障害物３１０を含む空間のデータである。具体的には、付与部１３は、画像データ２１０から識別対象の領域を選択し、選択された領域に含まれる識別対象の識別情報を付与する。図５に示す例では、付与部１３が、人３２０の領域（破線の矩形）に対して「人」の識別情報を付与し、カート３３０の領域（一点鎖線の矩形）に対して「カート」の識別情報を付与した例である。また、図５に示す例では、人３２０の領域を破線の矩形で示し、カートの領域を一点鎖線の矩形で示すが、これは図面上区別しやすくするための一例である。また、図５の「人」と「カート」の領域が重なる例のように、識別対象が近接する場合、複数の識別対象の領域が重なる場合がある。なお、障害物３１０の位置を特定する座標等の情報については、予め記憶部２０に記憶しておくことができる。

【0039】

（第２アノテーション処理）
付与部１３は、第１アノテーションの後、更新された学習モデル２００を用いて、残りの画像データである第２アノテーション用の画像データ２１２に識別情報を付与する。第２アノテーション用の画像データ２１２への識別情報の付与については、第１アノテーション処理と同一であるため、説明を省略する。

【0040】

〈識別情報付与及び学習モデル更新の処理〉
次に、図６に示すフローチャートを用いて、識別情報付与装置１で実行される識別情報２２０の付与及びその後の学習モデル２００の更新までの一連の処理について説明する。

【0041】

取得部１１は、撮影装置２で撮影された画像データ２１０を取得する（Ｓ１）。この画像データ２１０は、連続性のある複数フレームの画像データ２１０である。このとき、取得部１１は、取得した画像データ２１０を、画像の撮影時刻と関連付けて記憶部２０に記憶させる。

【0042】

選択部１２は、ステップＳ１で取得された画像データ２１０から、ランダムに第１アノテーション用の画像データ２１１を選択する（Ｓ２）。ステップＳ１で取得された複数の画像データ２１０のうち、ステップＳ２で選択されなかった画像データ２１０は、第２アノテーション用の画像データ２１２となる。

【0043】

付与部１３は、記憶部２０に記憶される学習モデル２００を用いて、ステップＳ２で選択された第１アノテーション用の画像データ２１１に識別情報２２０を付与する第１アノテーション処理を実行する（Ｓ３）。このとき、付与部１３は、この識別情報２２０を画像データ２１０に関連付けて記憶部２０に記憶させる。

【0044】

修正部１４は、ステップＳ３で付与された識別情報２２０の修正を受け付けるため、第１アノテーション用の画像データ２１１及び対応する識別情報２２０を出力部２３に表示させる（Ｓ４）。例えば、修正部１４は、図５を用いて上述したような画像を表示させてもよい。

【0045】

入力部２２を介して識別情報２２０の修正リクエストを受け付けた場合（Ｓ５でＹＥＳ）、修正部１４は、修正リクエストに従って識別情報２２０を修正し、記憶部２０に反映させる（Ｓ６）。

【0046】

更新部１５は、ステップＳ５で修正リクエストを受け付けなかった場合、又は、ステップＳ６で修正が終了した後、各第１アノテーション用の画像データ２１１及び識別情報２２０を用いて学習処理を実行し、学習モデル２００を更新する（Ｓ７）。

【0047】

付与部１３は、ステップＳ７で更新された学習モデル２００を用いて、第２アノテーション処理を実行し、各第２アノテーション用の画像データ２１２に、識別情報２２０を付与する（Ｓ８）。このとき、付与部１３は、この識別情報２２０を画像データ２１０に関連付けて記憶部２０に記憶させる。

【0048】

その後、更新部１５は、各第２アノテーション用の画像データ２１２及び識別情報２２０を用いて学習処理を実行し、記憶部２０に記憶される学習モデル２００を更新する（Ｓ９）。

【0049】

このように、識別情報付与装置１は、連続する複数の画像データ２１０から、ランダムに第１アノテーション用の画像データ２１１を選択することで、有用な学習用データをバランス良く選択することが可能となり、類似の画像データ２１０を学習用データとすることを防止することができる。このように選択された第１アノテーション用の画像データ２１１の利用により、効率の良い学習が可能となり、有用な学習モデル２００を生成することを可能とする。その後、識別情報付与装置１は、この学習用データとして有用な第１アノテーション用の画像データ２１１を用いて学習モデル２００を生成する。また、識別情報付与装置１は、生成された学習モデル２００を用いてさらに学習用データとする第２アノテーション用の画像データ２１２に識別情報２２０を付して、学習モデル２００を更新する。これにより、識別情報付与装置１は、効率の良い学習を可能とする。

【0050】

〈実施の形態２〉
図７を用いて、実施の形態２に係る識別情報付与装置１Ａについて説明する。図１乃至図６を用いて上述した識別情報付与装置１は、第１アノテーション用の画像データ２１１を全ての画像データ２１０からランダムに選択していた。実施の形態２において、識別情報付与装置１Ａは、記憶部２０に予め登録されるレイアウト情報２３０及び条件データ２４０と、識別器を実現する既存の識別モデル２５０を用いて仮に付与された識別情報である仮識別情報２６０と、を利用する。以下では、図７に示すように、識別情報付与装置１Ａは、図２を用いて上述した識別情報付与装置１と比較し、前処理部１６を有し、記憶部２０において、レイアウト情報２３０、条件データ２４０、識別モデル２５０及び仮識別情報２６０を記憶する点で異なる。

【0051】

レイアウト情報２３０は、空間のレイアウトに関する情報であり、空間への出入り口の位置、空間内で人等の動体が自由に移動可能な位置、空間内で動体の移動を妨げる障害物の位置等に関する座標情報を含む。

【0052】

条件データ２４０は、動線として不適切であるとして規定される条件である。条件データ２４０で規定する条件は、図８及び９を用いて後述する。

【0053】

識別モデル２５０は、例えば、画像データ２１０に識別情報を付与することができる汎用の識別モデルであって、画像データ２１０に対して識別情報を付与することができる。ただし、この識別モデル２５０は、識別精度が高いものである必要はない。したがって、識別モデル２５０により付与される識別情報は、信頼性が低い場合もある。

【0054】

仮識別情報２６０は、取得された各画像データ２１０にデータの前処理として、識別モデル２５０により仮に付与される識別情報である。

【0055】

前処理部１６は、複数の画像データ２１０の全てについて、識別モデル２５０を用いて仮の識別情報として仮識別情報２６０を付与する。また、前処理部１６は、画像データ２１０と関連付けて、仮識別情報２６０を記憶部２０に記憶させる。ここで、連続する画像データ２１０で特定される複数の仮識別情報２６０を、動体毎に時系列で結ぶことにより、各動体の軌跡である動線が構成される。これにより、選択部１２は、このように仮識別情報２６０に基づいて特定された動線を第１アノテーション用の画像データ２１１の選択に利用することができる。例えば、この動線が開始するべきでない位置で開始した場合、仮識別情報２６０としての動体の検知にエラーが発生したと扱うことができる。

【0056】

選択部１２は、前処理部１６で仮識別情報２６０が付与された複数の画像データ２１０に基づいて特定される動線から、画像データ２１０に付与された識別情報２２０を、対象の空間のレイアウト情報２３０と比較して、予め定められる条件データ２４０で規定される条件に該当するか否かを利用して第１アノテーション用の画像データ２１１を選択する。また例えば、選択部１２は、第１の画像データ２１０の仮識別情報２６０で特定される位置から、第１の画像データ２１０に連続して撮影された画像データである第２の画像データの仮識別情報２６０で特定される位置への変化が、対象の空間のレイアウト情報２３０と比較して不適切と定められる条件に該当するとき、第２の画像データ２１０を、第１アノテーション用の画像データ２１１として選択する。例えば、選択部１２は、不適切と定められる条件に該当する画像データ２１０と、条件に該当しない画像データ２１０とで異なる指標値を設定し、設定した指標値に応じて第１アノテーション用の画像データ２１１を選択してもよい。

【0057】

レイアウト情報２３０から、複数の画像データ２１０と対応する仮識別情報２６０で特定される動体の動線が、動線として適切であるか否かを特定することができる。具体的には、レイアウト情報２３０から、動線となり得る可能な移動範囲を特定することができる。また、連続する画像データ２１０の識別情報２２０から、動線として適切な動きを特定できる。したがって、識別情報付与装置１Ａでは、このように動線として不適切な条件を、条件データ２４０として予め設定する。例えば、不適切な条件としては、以下のような条件が挙げられる。

【0058】

（１）出入口以外から開始又は終了する移動
特定の空間内で動体が移動する際、これらの移動は出入口から開始又は終了するものである。言い換えれば、出入口以外の場所から開始又は終了する移動は起こり得ない。したがって、図８に示すように、出入口３４０以外から開始する動線Ｌは、識別情報の付与の誤り等のエラーで生じたものと考えられる。また、同様に、出入口３４０以外で終了する動線も、識別情報の付与の誤り等のエラーで生じたものと考えられる。このような出入口以外から開始又は終了する条件を、不適切であるとして、予め条件データ２４０として定め、記憶部２０に登録する。例えば、条件データ２４０では、仮識別情報２６０を用いて定められる動体の移動が、出入口３４０を特定する座標以外から開始又は終了する場合に不適切と規定する。

【0059】

（２）障害物を無視した移動
また、動体の移動は、障害物等を避けものである。具体的には、例えば、空間が店舗であれば、動体は、テーブル、棚等の障害物を避けて移動する。また、空間が工場である場合も同様に、動体は、棚、作業台、機械等の障害物を避けて移動する。したがって、図９に示すような障害物３１０上を移動するような動線Ｌは生じ得ない。このような障害物３１０を無視した動線Ｌも、識別情報の付与の誤り等のエラーで生じたものと考えられる。識別情報付与装置１Ａは、このような条件も、不適切であるとして予め定め、記憶部２０に登録する。例えば、条件データ２４０では、仮識別情報２６０を用いて定められる動体の位置が、移動可能として定められる領域の座標以外に存在する場合に不適切と規定する。

【0060】

なお、動画像データを構成する複数の画像データ２１０では、動体の位置が、移動可能として定められる領域以外に存在する期間が一定期間連続する場合もあると考えられる。このような連続する画像データ２１０を全て選択すると、ある期間の画像データ２１０が全て選択されることとなり、類似する第１アノテーション用の画像データ２１１の数が多くなる。そのため、連続する画像データ２１０の全てが選択されないようにする必要がある。例えば、選択部１２は、第１アノテーション用の画像データ２１１として選択した場合、その後の所定期間の画像データ２１０を選択対象としないようにする。これにより、選択部１２が複数の類似する画像データ２１０を選択することを防止できる。

【0061】

上述の条件データ２４０は、仮識別情報２６０の付与の誤り等のエラーが生じた画像データ２１０を検出するためのものである。したがって、条件データ２４０を用いて検出された画像データ２１０を学習用データとすることで、仮識別情報２６０の付与の誤りの生じた画像データ２１０を用いた学習を可能とし、識別情報付与の誤りを防ぐことのできる、識別精度の高い学習モデル２００を生成することができる。

【0062】

〈識別情報付与及び学習モデル更新の処理〉
図１０を用いて、識別情報付与装置１Ａで実行される識別情報２２０の付与及びその後の学習モデル２００の更新までの一連の処理について説明する。ここで、図６を用いて上述した処理と同一の処理については、同一の処理番号を付して説明を省略する。なお、図１０のフローチャートにおいて、図６のフローチャートと異なる処理には処理番号に下線を付す。

【0063】

前処理部１６は、ステップＳ１で取得部１１が取得した各画像データ２１０に、識別モデル２５０を用いて、仮識別情報２６０を付与する（Ｓ１０１）。このとき、前処理部１６は、仮識別情報２６０を、対応する画像データ２１０と関連付けて記憶部２０に記憶させる。

【0064】

選択部１２は、記憶部２０に記憶されるレイアウト情報２３０及び条件データ２４０と、ステップＳ１０１で画像データ２１０に付与された仮識別情報２６０を用いて、第１アノテーション用の画像データ２１１を選択する（Ｓ１０２）。

【0065】

その後の処理は、図６を用いて上述した場合と同様に、ステップＳ１０２で選択された第１アノテーション用の画像データ２１１に学習モデル２００を用いて識別情報を付与し（Ｓ３）、ステップＳ４～Ｓ９の処理を実行する。

【0066】

このように、識別情報付与装置１Ａは、動線分析の対象の空間を撮影した連続する複数の画像データ２１０から、空間のレイアウト情報２３０を用いて、仮に付与される仮識別情報２６０の適否を判定し、判定結果を用いて第１アノテーション用の画像データ２１１を選択する。これにより、識別情報付与装置１Ａは、識別情報２２０の自動付与が困難な画像データ２１０を第１アノテーション用の画像データ２１１として選択することができる。したがって、識別情報付与装置１Ａにより、有用な学習用データの選択が可能となり、効率の良い学習が可能となり、有用な学習モデル２００を生成することができる。

【0067】

〈実施の形態３〉
図１１を用いて実施の形態３に係る識別情報付与装置１Ｂについて説明する。識別情報付与装置１Ｂは、既存の学習モデルである識別モデル２５０を用いて仮に付与された仮識別情報２６０と、センサ３で検出された検出データ２７０とを用いて、第１アノテーション用の画像データ２１１を選択する。したがって、実施の形態３に係る識別情報付与装置１Ｂは、図２を用いて上述した識別情報付与装置１と比較し、前処理部１６及び受信部１７を有し、記憶部２０において、識別モデル２５０、仮識別情報２６０及び検出データ２７０を記憶する点で異なる。

【0068】

前処理部１６は、実施の形態２で上述したように、全ての画像データ２１０に対し、識別モデル２５０を用いて予め仮識別情報２６０を付与する。

【0069】

受信部１７は、動線分析の対象である空間に設置され、動体を検出するセンサ３で検出された動体の検出データ２７０を受信する。具体的には、検出データ２７０は、センサ値処理装置４によって処理されたセンサ値データである。また、検出データ２７０は、対象の空間内での動体の位置を特定することができるものである。
受信部１７は、受信した検出データ２７０を、記憶部２０に記憶させる。このとき、受信部１７は、検出データ２７０を、センサ３による検出時刻が撮影時刻と対応する画像データ２１０、または、検出の時刻情報と関連付けて記憶部２０に記憶させる。この検出データ２７０で特定される情報を用いて、動体の画像データ２１０での位置の座標を特定することができる。ここで、センサ３の検出の精度は高く、したがって、検出データ２７０から特定できる動体の位置は、信頼性が高いものとする。

【0070】

選択部１２は、画像データ２１０の仮識別情報２６０で特定される位置が、検出データ２７０により特定される位置と異なる画像データ２１０を、第１アノテーション用の画像データ２１１として選択する。上述したように、画像データ２１０と、検出データ２７０とは、その取得時刻が対応するように記憶部２０に記憶される。したがって、対応する画像データ２１０から特定される動体の位置と、検出データ２７０で特定される動体の位置とは、両者が正確であれば、一致するはずである。これにより、例えば、図１２に示すように、検出データ２７０で特定される動線Ｌ２が継続しているにも関わらず、仮識別情報２６０で特定される動線Ｌが途切れた場合等のように、検出データ２７０で特定される位置と仮識別情報２６０で特定される位置とが一致しない範囲Ｘの画像データ２１０を第１アノテーション用の画像データ２１１として選択する。このような範囲の画像データ２１０は、識別対象である動体が識別できない例であり、このような画像データを学習用データとすることで、識別しにくい動体の識別を可能とする効果的な学習を可能とし、識別精度の高い学習モデル２００を生成することができる。

【0071】

例えば、選択部１２は、仮識別情報２６０で特定される位置と、検出データ２７０で特定される位置とが一致するか否かで、画像データ２１０に異なる指標値を設定し、設定した指標値に応じて第１アノテーション用の画像データ２１１を選択してもよい。

【0072】

なお、動画像データを構成する複数の画像データ２１０では、このように画像データ２１０から識別される仮識別情報２６０で特定される位置と、検出データ２７０で特定される位置とが不一致となる期間が一定期間連続する場合もあると考えられる。したがって、連続する画像データ２１０を全て選択すると、ある期間の画像データ２１０が全て選択されることとなり、類似する第１アノテーション用の画像データ２１１の数が多くなる。そのため、連続する画像データ２１０の全てが選択されないようにする必要がある。例えば、選択部１２は、第１アノテーション用の画像データとして選択した場合、その後の所定期間の画像データ２１０を選択対象としないようにする。これにより、選択部１２が複数の類似する画像データ２１０を選択することを防止できる。

【0073】

〈識別情報付与及び学習モデル更新の処理〉
図１３を用いて、識別情報付与装置１Ｂで実行される識別情報付与及びその後の学習モデルの更新の一連の処理について説明する。ここで、図６を用いて上述した処理と同一の処理については、同一の処理番号を付して説明を省略する。なお、図１３のフローチャートにおいて、図６のフローチャートと異なる処理には処理番号に下線を付す。

【0074】

受信部１７は、センサ３から、検出データ２７０を受信する（Ｓ２０１）。このとき、受信部１７は、検出データ２７０を、対応する画像データ２１０と関連付けて記憶部２０に記憶させる。

【0075】

前処理部１６は、ステップＳ１で取得部１１が取得した各画像データ２１０に、識別モデル２５０を用いて、仮識別情報２６０を付与する（Ｓ２０２）。このとき、前処理部１６は、仮識別情報２６０を、対応する画像データ２１０と関連付けて記憶部２０に記憶させる。

【0076】

選択部１２は、記憶部２０に記憶される仮識別情報２６０で特定される動体の位置と、検出データ２７０で特定される動体の位置とが一致するか否かにより、第１アノテーション用の画像データ２１１を選択する（Ｓ２０３）。

【0077】

その後の処理は、図６を用いて上述した場合と同様に、ステップＳ２０３で選択された第１アノテーション用の画像データ２１１に学習モデル２００を用いて識別情報を付与し（Ｓ３）、ステップＳ４～Ｓ９の処理を実行する。

【0078】

このように、識別情報付与装置１Ｂは、動線分析の対象の空間を撮影した連続する複数の画像データ２１０から、検出データ２７０を用いて、仮に付与される仮識別情報２６０の適否を判定し、判定結果を用いて第２アノテーション用の画像データ２１２を選択する。これにより、識別情報付与装置１Ｂは、識別情報２２０の自動付与が困難な画像データ２１０を第１アノテーション用の画像データ２１１として選択することができる。したがって、識別情報付与装置１Ｂにより、識別対象である動体が識別しにくい画像データ２１０を学習用データとし、効率の良い学習が可能となり、有用な学習モデル２００を生成することができる。

【0079】

〈実施の形態４〉
図１４を用いて実施の形態４に係る識別情報付与装置１Ｃについて説明する。識別情報付与装置１Ｂは、連続する画像データ２１０の差分を用いて、第１アノテーション用の画像データ２１１を選択する。そのため、実施の形態４に係る識別情報付与装置１Ｃは、図２を用いて上述した識別情報付与装置１と比較し、差分演算部１８を有し、記憶部２０において、閾値データ２８０及び差分データ２９０を記憶する点で異なる。

【0080】

差分演算部１８は、複数の画像データ２１０の全てについて、第１の画像データ２１０と、当該第１の画像データと連続して撮影された画像データ２１０である第２の画像データ２１０との差分を求める。また、差分演算部１８は、求めた差分を、差分の演算に用いた画像データ２１０と関連付けて、記憶部２０に差分データ２９０として記憶させる。

【0081】

選択部１２は、差分演算部１８で得られた差分が所定の範囲である場合、第１の画像データ２１０または第２の画像データ２１０のいずれかを選択する。具体的には、選択部１２は、差分を指標値として各画像データ２１０に異なる指標値を設定し、設定した指標値が所定の範囲であるか否かに応じて第１アノテーション用の画像データ２１１を選択してもよい。例えば、第２の画像データ２１０が選択される所定の範囲とは、学習用データとして利用するために有益な画像データ２１０である。

【0082】

（１）背景差分が小さい画像
動体が少ない、または、動体等の動きも小さい等の理由により、連続する画像データ２１０間で背景差分が小さくなると、誤検知が生じやすくなる。例えば、動線分析の目的で得られる画像データは、検出対象である動体以外の背景部分に、変化が生じることは少ない。このような状況で生じる誤検知としては、動体ではない対象以外の箇所を誤検知したり、動体を検知できなかったりする場合が挙げられる。このような誤検知が生じやすい画像データ２１０を学習用データとして多く利用して学習することで、学習モデル２００の精度を向上させることができる。そのため、識別情報付与装置１Ｃでは、このような背景差分の下限の閾値を定めており、選択部１２は、差分演算部１８で得られた差分が下限閾値より小さくなる場合、このような画像データ２１０を選択する。

【0083】

（２）背景差分が大きい画像
動体が多い、または、動体の動きが大きい等の理由により、連続する画像データ２１０間で背景差分が大きくなると、正確に識別情報を付与することが困難となる。例えば、識別対象が多くなると、多クラス分類が必要になる場合もあるが、このような多クラス分類は複雑なため学習も難しい。このような誤検知が生じやすく、学習も困難な背景差分の大きい画像データ２１０を学習用データとして多く利用して学習することで、学習モデル２００の精度を向上させることができる。そのため、識別情報付与装置１Ｃでは、このような背景差分の上限の閾値を定めており、選択部１２は、差分演算部で得られた差分が上限閾値より大きくなる場合、このような画像データ２１０を選択する。

【0084】

なお、動画像データを構成する複数の画像データでは、背景差分が小さい画像は一定期間連続すると考えられる。同様に、動画像データにおいて、背景差分が大きい画像も一定期間連続すると考えられる。したがって、差分演算部１８で得られた差分が下限閾値より小さい場合及び上限閾値より大きい場合に連続する画像データ２１０を全て選択すると、ある期間の画像データ２１０が全て選択されることとなり、類似する第１アノテーション用の画像データ２１１の数が多くなる。そのため、連続する画像データ２１０の全てが選択されないようにする必要がある。例えば、選択部１２は、第１アノテーション用の画像データとして選択した場合、その後の所定期間の画像データ２１０を選択対象としないようにする。これにより、選択部１２が複数の類似する画像データ２１０を選択することを防止できる。

【0085】

上述の閾値データ２８０は、識別情報２２０の付与の誤り等のエラーが生じやすい画像データ２１０を特定するためのものである。したがって、閾値データ２８０を用いて検出された画像データ２１０を学習用データとすることで、識別情報付与の誤りを防ぐことのできる、識別精度の高い学習モデル２００を生成することができる。

【0086】

〈識別情報付与及び学習モデル更新の処理〉
図１５を用いて、識別情報付与装置１Ｃで実行される識別情報２２０の付与及びその後の学習モデル２００の更新の一連の処理について説明する。ここで、図６を用いて上述した処理と同一の処理については、同一の処理番号を付して説明を省略する。なお、図１５のフローチャートにおいて、図６のフローチャートと異なる処理には処理番号に下線を付す。

【0087】

差分演算部１８は、連続する各画像データの画像差分を演算する（Ｓ３０１）。このとき、差分演算部１８は、求めた差分を、差分データ２９０として、演算に用いた画像データ２１０と関連付けて記憶部２０に記憶させる。

【0088】

選択部１２は、記憶部２０に記憶される閾値データ２８０と、ステップＳ３０１で求めた差分とを比較して、第１アノテーション用の画像データ２１１を選択する（Ｓ３０２）。

【0089】

その後の処理は、図１５を用いて上述した場合と同様に、ステップＳ２０３で選択された第１アノテーション用の画像データ２１１に学習モデル２００を用いて識別情報を付与し（Ｓ３）、ステップＳ４～Ｓ９の処理を実行する。

【0090】

このように、識別情報付与装置１Ｃは、動線分析の対象の空間を撮影した連続する複数の画像データ２１０から、連続する画像データ２１０間の差分を用いて第１アノテーション用の画像データ２１１を選択する。これにより、識別情報付与装置１Ｃは、学習に効果的な画像データ２１０を第１アノテーション用の画像データ２１１として選択することができる。したがって、識別情報付与装置１Ｃにより、有用な学習用データの選択が可能となり、効率の良い学習が可能となり、有用な学習モデル２００を生成することができる。

【0091】

［効果及び補足］
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。

【0092】

《実施形態の概要》
（１）本開示の識別情報付与装置は、連続性のある複数の画像データを取得する取得部と、複数の画像データに対し、指標値を求め、当該指標値を利用して全ての画像データから一部を学習用データとして選択する選択部と、複数の画像データ及び各画像データに含まれる識別情報の関係を学習済みの学習モデルを用いて、選択部で選択された画像データに識別情報を付与する付与部と、付与部で識別情報が付与された画像データを用いて学習モデルを更新する更新部とを備え、付与部は、更新された学習モデルを用いて取得部が取得した残りの画像データに識別情報を付与する。

【0093】

これにより、複数の画像データから学習に有効な画像データを学習用データとして選択し、効率の良い学習を可能とする。

【0094】

（２）（１）の識別情報付与装置は、画像データと、当該画像データに前記付与部で付与された識別情報とを表示部に表示し、識別情報を修正するリクエストを受け付け、当該リクエストにしたがって識別情報を修正する修正部をさらに備え、更新部は、修正部で識別情報が修正された画像データを用いて学習モデルを更新する。

【0095】

これにより、画像データから学習用データとして選択された一部の画像データに付与された識別情報を修正して学習モデルを生成し、他の画像データに対し有効な識別情報の付与を可能とする。

【0096】

（３）（１）～（２）の識別情報付与装置は、前記選択部は、前記複数の画像データにランダムな値を指標値として付し、当該指標値の降順又は昇順で学習用データを選択する。

【0097】

これにより、異なる画像データを学習用データとしてバランス良く選択することで、効率の良い学習を可能とする。

【0098】

（４）（１）～（２）の識別情報付与装置は、前記複数の画像データの全てについて、既存の識別モデルを用いて予め仮の識別情報である仮識別情報を付与する前処理部をさらに備え、前記選択部は、前記前処理部で付与された仮識別情報が、所定の条件に該当するか否かに応じた指標値を設定し、当該指標値を用いて学習用データとする画像データを選択してもよい。

【0099】

これにより、識別情報の自動付与が困難な画像データを学習用データとして選択することで、効率の良い学習を可能とする。

【0100】

（５）本開示の他の識別情報付与装置は、連続性のある複数の画像データを取得する取得部と、複数の画像データから、全ての前記画像データの一部を学習用データとして選択する選択部と、複数の画像データ及び各画像データに含まれる識別情報の関係を学習済みの学習モデルを用いて、選択部で選択された画像データに識別情報を付与する付与部と、付与部で識別情報が付与された前記画像データを用いて学習モデルを更新する更新部とを備え、付与部は、更新された学習モデルを用いて取得部が取得した残りの画像データに識別情報を付与する。

【0101】

これにより、複数の画像データから学習に有効な画像データを学習用データとして選択し、効率の良い学習を可能とする。

【0102】

（６）（５）の識別情報付与装置は、画像データと、当該画像データに付与部で付与された識別情報とを表示部に表示し、識別情報を修正するリクエストを受け付け、当該リクエストにしたがって識別情報を修正する修正部をさらに備え、更新部は、修正部で識別情報が修正された画像データを用いて学習モデルを更新してもよい。

【0103】

これにより、画像データから学習用データとして選択された一部の画像データに付与された識別情報を修正して学習モデルを生成し、他の画像データに対し有効な識別情報の付与を可能とする。

【0104】

（７）（５）または（６）の識別情報付与装置は、選択部は、前記複数の画像データから、ランダムに学習用データとする画像データを選択してもよい。

【0105】

これにより、異なる画像データを学習用データとしてバランス良く選択することで、効率の良い学習を可能とする。

【0106】

（８）（５）または（６）の識別情報付与装置は、複数の画像データの全てについて、既存の識別モデルを用いて予め仮の識別情報である仮識別情報を付与する前処理部をさらに備え、選択部は、前処理部で付与された仮識別情報が、所定の条件に該当する場合、画像データを学習用データとする画像データを選択してもよい。

【0107】

これにより、識別情報の自動付与が困難な画像データを学習用データとして選択することで、効率の良い学習を可能とする。

【0108】

（９）（４）または（８）の識別情報付与装置は、前記画像データは、所定の空間において撮影された画像データであり、前記識別情報は、前記空間を移動する動体を識別する情報とともに、前記空間における位置情報とを含み、前記選択部は、前記前処理部で得られた仮識別情報で特定される位置情報が、前記空間のレイアウト情報に応じて不適切と定められる条件に該当する画像データを、学習用データとして選択してもよい。

【0109】

これにより、識別情報の自動付与が困難な画像データを学習用データとして選択することで、効率の良い学習を可能とする。

【0110】

（１０）（４）または（８）の識別情報付与装置は、前記画像データは、所定の空間において撮影された画像データであり、前記識別情報は、前記空間を移動する動体を識別する情報とともに、前記空間における位置情報とを含み、前記選択部は、前記前処理部で得られた仮識別情報で特定される位置情報が、前記空間内で動体を検出するセンサで検出された動体の検出データで特定される前記動体の位置情報と異なる画像データを、学習用データとして選択してもよい。

【0111】

これにより、識別情報の自動付与が困難な画像データを学習用データとして選択することで、効率の良い学習を可能とする。

【0112】

（１１）（１）、（２）、（５）または（８）の識別情報付与装置は、前記複数の画像データの全てについて、第１の画像データと、当該第１の画像と連続して撮影された画像データである第２の画像データとの差分を求める差分演算部をさらに備え、前記選択部は、前記差分演算部で得られた差分を指標値とし、当該指標値が所定の範囲である場合、前記第１の画像データ又は前記第２の画像データを学習用データとして選択してもよい。

【0113】

これにより、学習に効果的な画像データを学習用データとして選択することで、効率の良い学習を可能とする。

【0114】

（１２）本開示の画像処理方法は、連続性のある複数の画像データを取得する取得ステップと、複数の画像データに対し、指標値を求め、当該指標値を利用して全ての前記画像データから一部を学習用データとして選択する選択ステップと、複数の画像データ及び各画像データに含まれる識別情報の関係を学習済みの学習モデルを用いて、選択ステップで選択された画像データに識別情報を付与する第１付与ステップと、付与ステップで識別情報が付与された画像データを用いて学習モデルを更新する更新ステップと、更新された学習モデルを用いて取得ステップで取得した残りの画像データに識別情報を付与する第２付与ステップとを含む。

【0115】

これにより、取得する画像データから既存の学習モデルを利用して識別情報を付与し、また学習モデルを更新して目的とする学習モデルを生成することが可能となり、オペレータの手作業による識別情報の付与を不要とすることで、識別情報の付与の作業の簡易化と付与される識別情報の精度を向上させることができる。

【0116】

（１３）本開示のプログラムは、コンピュータに（１２）の方法を実行させる。

【0117】

これにより、取得する画像データから既存の学習モデルを利用して識別情報を付与し、また学習モデルを更新して目的とする学習モデルを生成することが可能となり、オペレータの手作業による識別情報の付与を不要とすることで、識別情報の付与の作業の簡易化と付与される識別情報の精度を向上させることができる。

【0118】

本開示の全請求項に記載の識別情報付与装置及び識別情報付与方法は、ハードウェア資源、（例えば、プロセッサ、メモリ、及びプログラム）との協働などによって、実現される。

【産業上の利用可能性】

【0119】

本開示の識別情報付与装置及び識別情報付与方法は、機械学習の教師データの作成に有用である。

【符号の説明】

【0120】

１，１Ａ，１Ｂ，１Ｃ 識別情報付与装置
１０ 制御部
１１ 取得部
１２ 選択部
１３ 付与部
１４ 修正部
１５ 更新部
１６ 前処理部
１７ 受信部
１８ 差分演算部
２０ 記憶部
２００ 学習モデル
２１０ 画像データ
２１１ 第１アノテーション用の画像データ
２１２ 第２アノテーション用の画像データ
２２０ 識別情報
２３０ レイアウト情報
２４０ 条件データ
２５０ 識別モデル
２６０ 仮識別情報
２７０ 検出データ
２８０ 閾値データ
２９０ 差分データ
Ｐ 識別情報付与プログラム
２１ 通信Ｉ／Ｆ
２２ 入力部
２３ 出力部（表示部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】