特許 7390628 識別情報付与装置、識別情報付与方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-24

(45)【発行日】2023-12-04

(54)【発明の名称】識別情報付与装置、識別情報付与方法、及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231127BHJP

   G06T 7/00 20170101ALI20231127BHJP

【ＦＩ】

G06N20/00 130

G06T7/00 350B

【請求項の数】 9

(21)【出願番号】P 2021508771

(86)(22)【出願日】2019-12-25

(86)【国際出願番号】 JP2019050935

(87)【国際公開番号】W WO2020194961

(87)【国際公開日】2020-10-01

【審査請求日】2022-10-24

(31)【優先権主張番号】P 2019064526

(32)【優先日】2019-03-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(72)【発明者】

【氏名】伊藤 智祥

(72)【発明者】

【氏名】秦 秀彦

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１７－７６２８７（ＪＰ，Ａ）

【文献】特表２０１８－５３７７９８（ＪＰ，Ａ）

【文献】国際公開第２０１７／１９０７４３（ＷＯ，Ａ１）

【文献】国際公開第２０１２／０７３４２１（ＷＯ，Ａ１）

【文献】米国特許第０８３２５９８２（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

複数の画像データを取得する取得部と、
前記複数の画像データから選択された画像データに学習済みの学習モデルを用いて識別情報を付与する付与部と、
前記識別情報が付与された前記画像データを用いて前記学習モデルを更新する更新部と、
前記画像データと、当該画像データに前記付与部で付与された前記識別情報とを表示部に表示し、前記識別情報を修正するリクエストを受け付け、当該リクエストにしたがって前記識別情報を修正する修正部と、
を備え、
前記更新部は、前記修正部で識別情報が修正された画像データを用いて学習モデルを更新し、
前記修正部は、前記識別情報を複数回修正可能であって、前記画像データ及び識別情報を前記表示部に表示する際、過去に前記修正部で修正された識別情報と今回新たに修正する識別情報とを区別して表示し、
前記付与部は、更新された前記学習モデルを用いて前記取得部が取得した残りの画像データに識別情報を付与する
識別情報付与装置。

【請求項2】

前記修正部は、前記画像データ及び識別情報を表示部に表示する際、前記付与部で付与された識別情報と、前記修正部で修正された識別情報とを区別して表示する、
請求項１に記載の識別情報付与装置。

【請求項3】

前記付与部は、
画像の特徴情報を含む複数の前記学習モデルを利用可能であって、前記取得部が取得する前記画像データの特徴情報と所定範囲の特徴情報を含む学習モデルを利用する
請求項１又は２に記載の識別情報付与装置。

【請求項4】

前記特徴情報は、画像データの撮影条件を含み、
前記付与部は、前記画像データの撮影条件と同一の撮影条件と関連付けられる学習モデルを利用する
請求項３に記載の識別情報付与装置。

【請求項5】

前記付与部は、前記画像データの色ヒストグラムとの差が所定範囲の色ヒストグラムと関連付けられる学習モデルを利用する
請求項３又は４に記載の識別情報付与装置。

【請求項6】

前記複数の画像データから選択された画像データから動きのある被写体を検出し、当該被写体の領域を選択する選択部をさらに備え、
前記修正部は、前記画像データと、前記画像データに前記選択部で選択された領域を識別情報として表示し、当該識別情報を修正するリクエストを受け付け、当該リクエストにしたがって前記識別情報を修正する
請求項１又は２に記載の識別情報付与装置。

【請求項7】

前記複数の画像データは、連続性のある画像データである
請求項１乃至６のいずれか１に記載の識別情報付与装置。

【請求項8】

複数の画像データを取得するステップと、
前記複数の画像データから選択された画像データに学習済みの学習モデルを用いて識別情報を付与するステップと、
前記画像データと、当該画像データに前記付与部で付与された前記識別情報とを表示部に表示し、前記識別情報を修正するリクエストを受け付け、当該リクエストにしたがって前記識別情報を修正するステップと、
前記修正部で識別情報が修正された画像データを用いて学習モデルを更新するステップと、
更新された前記学習モデルを用いて取得した残りの前記画像データに識別情報を付与するステップと、を含み、
前記識別情報を複数回修正可能であって、前記画像データ及び識別情報を表示部に表示する際、過去に修正された識別情報と今回新たに修正する識別情報とを区別して表示する、
識別情報付与方法。

【請求項9】

コンピュータに、請求項８に記載の方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習で使用するデータに識別情報を付与する識別情報付与装置、識別情報付与方法、及びプログラムに関する。

【背景技術】

【0002】

近年、機械学習が様々な分野で利用されている。機械学習では、学習データの量が重要であり、多量の学習データで学習させることで、精度の高い結果を得ることができる。このとき、予め、データに関連する情報の付与を行う必要がある。このような作業はアノテーションと呼ばれ、例えば、写真データに人物が写っている場合、写真データにおける人物が存在する領域の位置情報や「人物」というカテゴリ等の情報等が付与される。

【0003】

学習データの量は膨大であるため、アノテーションの作業は、人手で行うと多大な手間と時間を要する。特許文献１では、人手による作業を軽減する技術が記載されている。特許文献１では、はじめに手作業で基準データを生成し、この基準データを利用して学習データを生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－２００５３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、学習データを容易に作成することのできる識別情報付与装置、識別情報付与方法、及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の識別情報付与装置は、複数の画像データを取得する取得部と、複数の画像データから選択された画像データに学習済みの学習モデルを用いて識別情報を付与する付与部と、識別情報が付与された画像データを用いて学習モデルを更新する更新部とを備え、付与部は、更新された学習モデルを用いて取得部が取得した残りの画像データに識別情報を付与する。

【0007】

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

【発明の効果】

【0008】

本開示の識別情報付与装置、識別情報付与方法、及びプログラムによれば、機械学習の学習データを生成する際、識別情報を自動で簡単に付与して学習データを生成することができる。

【図面の簡単な説明】

【0009】

【図1】本開示に係る識別情報付与装置を含む動線分析システムの構成を説明するブロック図である。

【図2】本開示に係る識別情報付与装置が利用する画像データの構成を説明する概念図である。

【図3】本開示に係る識別情報付与装置の構成を説明するブロック図である。

【図4】図３の識別情報付与装置における識別情報の付与について説明する概念図である。

【図5】図３の識別情報付与装置で識別情報の付与の対象とする画像データの一例である。

【図6】図５の画像データに付与される識別情報の一例である。

【図7】図５の画像データに付与される識別情報の他の例である。

【図8】図４と対応し、識別情報の修正について説明する概念図である。

【図9】本開示に係る識別情報付与方法を説明するフローチャートである。

【図10】変形例に係る識別情報付与装置の構成を説明するブロック図である。

【図11】図１０の識別情報付与装置における識別情報の付与及び修正について説明する概念図である。

【図12】図３の識別情報付与装置における識別情報の付与及び修正の変形例について説明する概念図である。

【発明を実施するための形態】

【0010】

［本開示の基礎となった知見]
近年、機械学習の利用が広い分野に普及している。また、高速ＧＰＵ（Graphics Processing Unit）サーバ等の演算装置の進歩により、画像データの処理速度の向上も進んでいる。これにより、機械学習を利用した動画像データを利用する情報の分析等により、人間だけでは分析が困難であった内容も詳細に分析できるようになっている。例えば、工場、倉庫、店舗、オフィス等の様々な場所における人や物の動きを解析し、これを分析する際にも、機械学習を利用することで、多量のデータを利用し、人間による分析だけでは困難であった高精度の分析を可能とする。

【0011】

ところで、このように機械学習を利用する場合にも、学習データの生成や学習モデルの構築が結果に大きく左右する。したがって、学習データ生成の際には、識別情報の付与であるアノテーションが重要である。ところが、この識別情報の付与には依然として多大な手間と時間を要していた。

【0012】

本開示は、機械学習の学習データを生成する際に必要となるデータに対する識別情報の付与を自動で簡易に行う識別情報付与装置、識別情報付与方法及びプログラムを提供する。これにより、精度の高い結果を得ることのできる学習データを生成することができる。

【0013】

[実施形態]
以下に、図面を用いて本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。

【0014】

本開示に係る、識別情報付与装置、識別情報付与方法及びプログラムは、機械学習の学習データの生成の際に自動で識別情報を付与するものである。以下では、識別情報付与装置は、動線分析のために利用する学習データを拡張する一例で説明する。また、以下の説明において、識別情報付与装置における識別情報の付与の対象は、人物やカートが含まれる画像データであって、人物やカートに関する識別情報を付与する例で説明する。

【0015】

本開示において、「識別情報」とは、機械学習の学習用データとなる画像データへ付与されるタグやメタデータ等の情報である。また、「識別情報の付与」とは、画像データへのタグやメタデータの付与であって、「アノテーション」と同義である。
また、本開示において、「動線」とは、人や物が移動する経路や軌跡をいい、「動線分析」とは、人や物の動線を記録し、統計的なデータとして分析及び出力することである。

【0016】

〈動線分析システム〉
図１に示すように、本開示に係る識別情報付与装置１は、例えば、人物等の動きを分析する動線分析システム１００で利用される。動線分析システム１００は、識別情報付与装置１とともに、撮影装置２、センサ３、姿勢検知装置４、作業推定装置５、データ統合・動線生成装置６を有する。

【0017】

撮影装置２は、動線分析の対象となる空間を撮影するカメラである。この撮影装置２は、必ずしも動画像を撮影するものである必要はないが、動線分析システム１００は、人物等の動きを分析するものであるため、連続した複数フレームの画像を撮影可能とする必要がある。図１では、１台の撮影装置２のみ示すが、対象となる空間全体を撮影することが好ましいため、動線分析システム１００は、複数台の撮影装置２を備えてもよい。例えば、図２に示すような空間Ｓを撮影するとき、第１領域Ａ１、第２領域Ａ２、第３領域Ａ３及び第４領域Ａ４をそれぞれ撮影する４台の撮影装置２を備えるようにすることができる。また、動線分析システム１００では、これら複数の撮影装置２で同時に撮影された画像データを１枚の画像データに合成して利用することが可能である。なお、以下の説明においては、１のタイミングで撮影される画像データは、１枚であるもの、または、既に合成されたものとして説明し、合成処理については説明を省略する。

【0018】

センサ３は、例えば、赤外線や超音波を利用して人物の存在を検知する人感センサである。また、センサ３は、音を入力して人物等の動きを検知する音センサであってもよい。また、センサ３は、人物、カート、物等に備えられる発信器から発信される電波を受信するものであってもよい。なお、図１では、１台のセンサ３のみ示すが、動線分析システム１００は、複数台のセンサ３を備えてもよく、また、複数種類のセンサを備えてもよい。動線分析において、センサ３による検知結果を利用することで、画像データのみから人物を検知する場合と比較して、人物検知の精度を向上させることができる。例えば、センサ３から得られる位置情報を画像データとともに活用し、画像データに識別情報を付与した対象が、カートであるかどうかを判定するために使用することができる。具体的には、カートにセンサ３として発信器が設置されている場合、そのセンサ３の電波により、画像データ中でそのカートがどこに含まれるかを正確に判断することができるためである。

【0019】

識別情報付与装置１は、撮影装置２で撮影された画像データに識別情報を付与するものである。識別情報付与装置１の具体的な構成及び識別情報付与装置１における処理等については、図３乃至図９を用いて後述する。

【0020】

姿勢検知装置４は、撮影装置２で撮影された画像データ及びセンサ３の検知データを用いて、動線分析システム１００の動線分析の対象となる空間に存在する人物の姿勢を検知する。姿勢検知装置４は、例えば、人物が立っているのか、座っているのか等を検知する。具体的には、識別情報において、「座っている」状態又は「立っている」状態のいずれであるかを含むとき、姿勢検知装置４の結果を利用することができる。姿勢検知装置４の具体的な構成や処理については、説明を省略する。

【0021】

作業推定装置５は、撮影装置２で撮影された画像データ及びセンサ３の検知データを用いて、動線分析システム１００の動線分析の対象となる空間に存在する人物の行っている作業を推定する。作業推定装置５は、例えば、人物が止まっているのか、歩いているのか、走っているのか、物体を運んでいるのか等を推定する。具体的には、識別情報において、作業種別を含むとき、作業推定装置５の結果を利用することができる。作業推定装置５の具体的な構成や処理については、説明を省略する。

【0022】

データ統合・動線生成装置６は、識別情報付与装置１によって識別情報が付与されて生成された画像データ、姿勢検知装置４における姿勢の検知データ、作業推定装置５における作業の推定データを用いて、対象の空間における、人物等の動線分析データを生成する。生成された動線分析データを用いることにより、対象の空間における物の配置や作業内容の改善を効果的に行うことが可能となる。

【0023】

〈識別情報付与装置〉
識別情報付与装置１は、図３に示すように、制御部１０、記憶部２０、通信インタフェース（Ｉ／Ｆ）２１、入力部２２及び出力部２３等を備える情報処理装置である。

【0024】

制御部１０は、識別情報付与装置１全体の制御を司るコントローラである。例えば、制御部１０は、記憶部２０に記憶される識別情報付与プログラムＰを読み出して実行することにより、取得部１１、付与部１２、修正部１４及び更新部１３としての処理を実現する。また、制御部１０は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部１０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

【0025】

記憶部２０は種々の情報を記録する記録媒体である。記憶部２０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部２０には、制御部１０が実行する識別情報付与プログラムＰの他、識別情報で使用する情報や識別情報付与のために取得された種々の情報等が格納される。例えば、記憶部２０は、学習モデル２００、画像データ２１０、センサデータ２２０及び識別情報２３０を記憶する。

【0026】

通信Ｉ／Ｆ２１は、外部の装置（図示せず）とのデータ通信を可能とするためのインタフェース回路（モジュール）である。入力部２２は、操作やデータの入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力手段である。出力部２３は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等の出力手段である。

【0027】

なお、識別情報付与装置１は、複数の情報処理装置によって実現されてもよい。また、記憶部２０に記憶されるデータの一部は外部の記憶装置に記憶され、外部の記憶装置から読み出して使用する構成であってもよい。例えば、識別情報付与装置１は、学習モデル２００を使用可能であればよく、外部のサーバ装置等から読み出して利用可能な構成であってもよい。

【0028】

取得部１１は、撮影装置２で撮影された複数の画像データ２１０を取得する（図４の（１））。また、取得部１１は、センサ３で検出されたセンサデータ２２０を取得する。さらに、取得部１１は、記憶部２０に、取得した画像データ２１０及びセンサデータ２２０を記憶させる。このとき、例えば、それぞれが画像データ２１０の撮影時間とセンサデータ２２０の検出時間を含むことで、画像データ２１０とセンサデータ２２０とは関連付けられる。

【0029】

取得部１１が取得する複数の画像データ２１０は、例えば、動画像データや連続して撮影された複数フレームの静止画像データ等の連続性のあるデータである。である。すなわち、画像データ２１０は、連続して撮影された複数フレームのデータで構成される。例えば、取得部１１は、図５に示すように、複数の商品棚３１０が配置される店舗内において、店員や客等の人物３２０と、カート３３０とが存在する画像データ２１０を取得する。また、このとき、画像データ２１０には、例えば、センサデータ２２０としてカート３３０に設置させるセンサ３で検知されたデータが関連付けられていたり、商品棚３１０に設置されるセンサ３で検知されたデータが関連付けられていてもよい。

【0030】

付与部１２は、複数の画像データ２１０から選択された一部の画像データに予め生成された学習モデル２００を用いて識別情報を付与する。例えば、識別情報としては、画像データ２１０において対象が抽出された「座標」、対象として抽出された領域のｘ軸方向の長さである「幅」とｙ軸方向の長さである「高さ」、対象の種別を特定する「クラス」等が関連付けられる情報である。なお、画像データ２１０には、複数の対象を含むことがあるため、１枚の画像データ２１０から複数の領域が抽出され、複数の識別情報を付与することもある。また、付与部１２は、この識別情報を、画像データ２１０に関連付けて記憶部２０に記憶させる。

【0031】

例えば、付与部１２は、複数の画像データ２１０から、識別情報を付与する画像データ２１０を選択する方法として、「方法１：一定間隔で選択する方法」、「方法２：ランダムに選択する方法」、「方法３：画像処理を用いて各画像データ２１０の特徴量を算出し、特徴の差の大きい画像データ２１０を選択する方法」等が挙げられる。例えば、方法１の場合、処理が演算簡易であり、他の方法と比較して処理時間を短縮させることができる。また、方法３の場合、見た目の異なる画像が選択されるため、学習データのバリエーションが増え、多くのバリエーションの画像に対応することが可能となる。

【0032】

具体的には、方法１の場合、付与部１２は、記憶部２０に記憶される画像データ２１０から、一部の画像データ２１０を「第１アノテーション用」として選択し（図４の（２））、残りの画像データ２１０を「第２アノテーション用」とする（図４の（３））。仮に、１０万フレームの画像データ２１０がある場合、例えば、２００フレーム毎に１フレームの画像データを選択することで、合計５００フレームの画像データを選択することができる。

【0033】

また、付与部１２は、予め作成された学習モデル２００を利用して、「第１アノテーション処理」を実行し、選択した各画像データ２１０に識別情報を付与する（図４の（４））。その後、更新部１３により第１アノテーション処理で識別情報が付与された画像データ２１０を用いて学習モデル２００が更新されると（図４の（５））、付与部１２は、「第２アノテーション処理」として、更新された学習モデル２００により、第１アノテーション処理で識別情報が付与されなかった第２アノテーション用の画像データ２１０に識別情報を付与する（図４の（６））。なお、その後、更新部１３により、識別情報が付与された第２アノテーション用の画像データ２１０によって学習モデル２００は更新される（図４の（７））。

【0034】

ここで付与部１２が使用する学習モデル２００は、画像データ２１０と関連性や類似性のある画像データで生成されたモデルであることが好ましい。すなわち、記憶部２０には、画像の特徴情報と関連付けられる複数の学習モデル２００が記憶されており、付与部１２は、識別情報を付与する対象の画像データ２１０の特徴情報と所定範囲の特徴情報と関連付けられる学習モデル２００を選択して利用する。これにより、既存の学習モデル２００をして、画像データ２１０に対して識別情報を付与することが可能となる。

【0035】

例えば、画像データ２１０に関連づけられる特徴情報は、画像データ２１０の撮影条件である。「撮影条件」とは、「撮影場所」、「撮影場所の目的」、「撮影場所のカテゴリ」、「撮影装置２の取り付け位置」、「画像データ２１０に含まれる人物の特徴」等の情報である。ここで、画像データ２１０の「撮影条件」は、例えば、取得部１１が画像データ２１０の取得を開始する際に、入力部２２を介してオペレータにより入力される。付与部１２は、このように、画像データの撮影条件と同一の撮影条件が関連付けられる学習モデル２００を利用する。なお、同一とは、完全に同一である程厳密なものではなく、例えば、上位概念が同一であったり、類似であったりするものを含んでもよい。また、関連付けられる複数の撮影条件の組み合わせが同一や類似である学習モデル２００を利用してもよい。

【0036】

具体的には、「撮影場所」が同一の例とは、画像データ２１０と同一の場所で撮影された画像データを用いて生成された学習モデル２００を使用する例をいう。仮に、動線分析に利用される場合、例えば、撮影場所が同一である場合、同一の場所で撮影された画像データを用いて生成された学習モデル２００を使用することで、動線分析の精度を向上させることができる。

【0037】

また、「撮影場所の目的」が同一の例とは、画像データ２１０と同一の目的の場所で撮影された画像データを用いて生成された学習モデル２００を使用する例をいう。仮に、画像データ２１０が工場で撮影されたものある場合、例えば、同一の製品を製造する工場で撮影された画像データから生成された学習モデル２００を使用する例である。仮に、動線分析に利用される場合、例えば、撮影場所の目的が同一である場合、同一目的の場所では、人は類似の動線で移動する場合も多いため、同一目的の場所で撮影された画像データを用いて生成された学習モデル２００を使用することで、動線分析の精度を向上させることができる。

【0038】

また、「撮影場所のカテゴリ」が同一の例とは、画像データ２１０と同系列の店舗や取り扱う商品が同一の店舗で撮影された画像データを用いて生成された学習モデル２００を使用する例をいう。仮に、画像データ２１０がコンビニエンスストアで撮影されたものである場合、例えば、別のコンビニエンスストアで撮影された画像データから生成された学習モデル２００を使用する例である。仮に、動線分析に利用される場合、例えば、撮影場所のカテゴリ同一である場合、同一のカテゴリの場所では、人は類似の動線で移動する場合も多いため、同一のカテゴリの場所で撮影された画像データを用いて生成された学習モデル２００を使用することで、動線分析の精度を向上させることができる。

【0039】

また、「撮影装置２の取り付け位置」が同一の例とは、同一の高さに設置された画像データを用いて生成された学習モデルを使用する例をいう。例えば、撮影位置の取り付け位置に、別の同一の条件を組み合わせることができる。例えば、撮影装置２の取り付け位置と場所の撮影場所の目的やカテゴリの条件と組わせることで、付与部１２による識別情報の付与の精度を向上させることができる。

【0040】

また、「画像データ２１０に含まれる人物の特徴」が同一の例とは、画像データ２１０に含まれる人物の特徴と類似の人物が含まれる画像データから生成された学習モデル２００を使用する例をいう。仮に、画像データ２１０が女性客の多い店舗で撮影されたものである場合、女性客の多い店舗で撮影された画像データから生成された学習モデル２００を使用する例である。このとき、人物の特徴に、別の同一の条件を組み合わせることができる。例えば、人物の特徴と場所の撮影場所の目的やカテゴリの条件と組わせることで、付与部１２による識別情報の付与の精度を向上させることができる。仮に、動線分析に利用される場合、例えば、画像データ２１０に含まれる人物の特徴が同一である場合、人物の動線は類似する場合も多いため、画像データ２１０に含まれる人物の特徴が同一の画像データを用いて生成された学習モデル２００を使用することで、動線分析の精度を向上させることができる。

【0041】

また例えば、画像データ２１０に関連付けられる特徴情報は、画像データ２１０の「色ヒストグラム」であってもよい。付与部１２は、画像データ２１０の色ヒストグラムと学習モデル２００と関連付けられる色ヒストグラムとの差が所定範囲である学習モデル２００を利用する。ここでは、色ヒストグラムとして、色相及び彩度の値を量子化し、そのヒストグラムを比較する距離関数を用いる。例えば、学習モデル２００と関連付けられる色ヒストグラムは、学習モデル２００の生成に使用した画像データの平均により得られたものである。この「色ヒストグラム」は、例えば、制御部１０によって画像データ２１０から求められて記憶部２０に記憶させることができる。また、連続する全ての画像データ２１０に対して求める必要はなく、例えば、ある画像データ２１０に対して求めた色ヒストグラムをこの画像データ２１０を含む所定フレームに関連付けて利用することができる。さらに、ヒストグラム自体ではなく、色ヒストグラムの傾向に応じて色ヒストグラムのカテゴリを設定し、画像データ２１０の色ヒストグラムから特定されたカテゴリと関連付けられる学習モデル２００を使用してもよい。

【0042】

なお、「色ヒストグラム」と上述した「撮影条件」の組み合わせにより使用する学習モデル２００を選択してもよい。例えば、撮影場所のカテゴリが同一であり、色ヒストグラムの差が所定範囲内の学習モデル２００を使用してもよい。また例えば、撮影場所の目的及び人物の特徴が同一であり、色ヒストグラムの差が所定範囲内の学習モデル２００を使用してもよい。これにより、付与部１２による識別情報の付与の精度を向上させることができる。

【0043】

例えば、付与部１２は、図６に示すように、図５に示した画像に対し、複数の識別情報を付与する。具体的には、画像データ２１０から識別対象の領域を選択し、選択された領域に含まれる識別対象の識別情報を付与する。図５に示す例では、付与部１２が、人物３２０の領域（破線の矩形）に対して「人物」の識別情報を付与し、カート３３０の領域（一点鎖線の矩形）に対して「カート」の識別情報を付与した例である。なお、図６に示す例では、人物３２０の領域を破線の矩形で示し、カートの領域を一点鎖線の矩形で示すが、これは図面上区別しやすくするための一例である。また、図６の「人物」と「カート」の領域が重なる例のように、識別対象が近接する場合、複数の識別対象の領域が重なる場合がある。

【0044】

また、付与部１２は、図７に示すように、人物に対してより詳細な識別情報を付与可能であってもよい。具体的には、図７に示す例では、人物に対して、「男性・店員」、「女性・客」、「子供・客」、「男性・客」等のより具体的な識別情報が付与される。

【0045】

更新部１３は、識別情報が付与された画像データ２１０を用いて学習モデル２００を更新する。具体的には、更新部１３は、「第１アノテーション処理」によって識別情報が付与された画像データ２１０を用いて、学習を実行し、学習モデル２００を更新する。その後、付与部１２は、更新された学習モデル２００を用いて「第２アノテーション処理」を実行し、残りの画像データ２１０に識別情報を付与する。

【0046】

修正部１４は、付与部１２で付与された識別情報を含む画像データ２１０を出力部２３に表示して識別情報を修正するリクエストを受け付け、リクエストにしたがって識別情報を修正する。すなわち、学習モデル２００は、撮影装置２で撮影された画像データ２１０に特化して生成されたものでない場合もあるため、必要に応じて修正部１４で修正することで学習モデル２００の精度を向上し、動線分析システム１００における動線分析の分析精度も向上させることができる。

【0047】

例えば、図７で上述したように画像データ２１０に識別情報が付与された場合に、例えば、本来は「男性客」であるのに「男性店員」と誤って識別された場合や、本来は「男性店員」であるのに「カート」と誤って識別された場合には、誤って付与された識別情報の修正のリクエストを受け付ける。

【0048】

なお、更新部１３は、修正部１４で識別情報が修正された画像データ２１０を用いて学習モデル２００を更新する。したがって、更新部１３が学習モデル２００を更新するタイミングは、修正部１４がオペレータに修正の有無を確認し、修正の必要ないと確認されたタイミング（図４の（５））、修正部１４から更新がリクエストされたタイミング（図８の（５－４））、又は、修正部１４により識別情報の修正が完了したタイミング（図８の（５－６））である。

【0049】

図８は、図４の図面に対応し、第１アノテーション処理によって識別情報が付与された画像データについて、識別情報を修正する場合（図８の一点鎖線部分）について具体的に説明するものである。具体的には、修正部１４は、識別情報が付与された画像データ２１０の少なくとも一部を修正用データとして選択し（図８の（５－１））、残りの画像データ２１０を再アノテーション用データとし（図８の（５－２））、修正用画像データを出力部２３に表示し、オペレータに修正の有無を確認する。例えば、付与部１２における第１アノテーション処理の実行により、５００フレームの画像データ２１０に識別情報が付与された場合、修正部１４は、例えば、この中からオペレータが任意に選択した任意の画像データ２１０を修正対象として選択することができる。また、別の方法として、仮に、５００フレームの画像データ２１０に識別情報が付与された場合、修正部１４は、例えば、２０フレーム毎に１フレームの画像データを抽出することで、２５フレームの画像データを修正対象として選択することができる。

【0050】

なお、オペレータが任意に修正対象の画像データ２１０を選択する方法の他、修正部１４が修正対象の画像データ２１０を選択してもよい。修正部１４が修正対象の画像データ２１０を選択する方法としては、例えば、「一定間隔で選択する方法」、「ランダムに選択する方法」、「画像処理を用いて各画像データ２１０の特徴量を算出し、特徴の差の大きい画像データ２１０を選択する方法」等が挙げられる。

【0051】

入力部２２を介してオペレータからの修正のリクエストが入力されると、修正部１４は、入力されたリクエストに応じて識別情報を修正し、記憶部２０の画像データ２１０を更新する（図８の（５－３））。また、修正部１４は、修正用の画像データ２１０について更新部１３に修正された識別情報と関連付けられる画像データ２１０による学習モデル２００の更新をリクエストする（図８（５－４））。更新部１３によって学習モデル２００が更新されると、修正部１４は、更新後の学習モデル２００によって、修正部１４で識別情報２３０の修正が終了していない画像データ２１０について、付与部１２に再度のアノテーション処理をリクエストし、新たな識別情報を付与することで識別情報を修正する（図８の（５－５））。その後、修正部１４は、修正された識別情報と関連付けられる画像データ２１０による学習モデル２００の更新を更新部１３にリクエストする（図８（５－６））。

【0052】

なお、図８では、識別情報付与装置１は、識別情報を修正する際に、オペレータによって識別情報を修正する修正用データと、付与部１２によるアノテーション処理で識別情報を修正するアノテーション用データとに分けて処理する例を示すが、第１アノテーション用画像の全てについてオペレータの入力により識別情報２３０を修正するものとしてもよい。

【0053】

修正部１４は、識別情報を含む画像データ２１０を出力部２３に表示する際、付与部１２で付与された識別情報と、修正部１４で修正された識別情報とを区別して表示することができる。また、修正部１４は、識別情報を複数回修正可能であって、識別情報を含む画像データ２１０を表示部に表示する際、過去に修正部１４で修正された識別情報と今回新たに修正された識別情報とを区別して表示することができる。具体的には、異なる色で領域を示したり、異なる形態（破線、一点鎖線、二重線、波線等）で領域を示す。また、識別情報である文字を異なる色や形態（フォント、文字サイズ、下線等）で示す。このように、修正部１４は、異なるタイミングで付与された識別情報を異なる形態で表示することにより、例えば、識別情報の修正対象の画像データ２１０をオペレータが選択した場合、修正対象の選択が最適であったか否かを判定することもできる。

【0054】

このように、識別情報付与装置１は、取得する画像データ２１０から既存の学習モデル２００を利用して識別情報を付与し、また学習モデル２００を更新して目的とする学習モデルを生成することができる。これにより、オペレータの手作業による識別情報の付与を不要とすることで、識別情報の付与の作業の簡易化と付与される識別情報の精度を向上させることができる。

【0055】

〈識別情報付与方法〉
次に、図９に示すフローチャートを用いて、識別情報付与装置１で実行される識別情報付与方法について説明する。

【0056】

識別情報付与装置１は、撮影装置２で撮影された画像データ２１０を取得する（Ｓ１）。この画像データ２１０は、連続性のある複数フレームの画像データ２１０である。

【0057】

識別情報付与装置１は、ステップＳ１で取得された画像データ２１０から第１アノテーション用の画像データ２１０を選択する（Ｓ２）。ステップＳ１で取得された画像データのうち、ステップＳ２で選択されなかった画像データ２１０は、第２アノテーション用の画像データ２１０となる。

【0058】

識別情報付与装置１は、第１アノテーション処理を実行し、記憶部２０に記憶される学習モデル２００を用いてステップＳ２で選択された画像データ２１０に、識別情報を付与する（Ｓ３）。

【0059】

識別情報付与装置１は、ステップＳ３で識別情報が付与された画像データ２１０から修正用の画像データを選択する（Ｓ４）。

【0060】

識別情報付与装置１は、ステップＳ４で選択された画像データ２１０を識別情報とともに出力部２３に表示し、修正の必要があるか否かを確認する（Ｓ５）。

【0061】

修正の必要がある場合（Ｓ５でＹＥＳ）、識別情報付与装置１では、入力部２２により識別情報の修正内容が入力される（Ｓ６）。

【0062】

識別情報付与装置１は、ステップＳ６で入力された内容により、画像データ２１０の識別情報を修正する（Ｓ７）。

【0063】

識別情報付与装置１は、ステップＳ７で識別情報が修正された画像データ２１０を用いて学習処理を実行し、学習モデル２００を更新する（Ｓ８）。

【0064】

識別情報付与装置１は、ステップＳ８で更新された学習モデル２００を用いて、再度の第１アノテーション処理を実行し、ステップＳ７で識別情報が修正されていない画像データ２１０について識別情報を付与することで、識別情報を修正する（Ｓ９）。

【0065】

識別情報付与装置１は、ステップＳ９で識別情報が修正された画像データ２１０を用いて学習処理を実行し、学習モデル２００を更新する（Ｓ１０）。ここで、例えば、学習に用いない評価用の画像である評価用データを予め記憶部２０に記憶させておき、この評価用データを用いた検知率が所定の閾値以上となるまで繰り返しステップＳ４～Ｓ１０の処理を繰り返してもよい。

【0066】

なお、仮に、ステップＳ３で付与された識別情報に修正の必要がないと判定された場合（Ｓ５でＮＯ）、識別情報付与装置１では、ステップＳ３で識別情報が付与された画像データ２１０を用いて学習処理を実行し、学習モデル２００を更新する（Ｓ１１）。

【0067】

識別情報付与装置１は、ステップＳ１０又はステップＳ１１で更新された学習モデル２００を用いて、第２アノテーション処理を実行し、第２アノテーション用の画像データ２１０に、識別情報を付与する（Ｓ１２）。

【0068】

識別情報付与装置１は、ステップＳ１２で識別情報が付与された画像データ２１０を用いて学習処理を実行し、学習モデル２００を更新する（Ｓ１３）。

【0069】

このように、識別情報付与装置１は、取得する画像データ２１０から既存の学習モデル２００を利用して識別情報を付与し、また学習モデル２００を更新して目的とする学習モデルを生成することができる。これにより、オペレータの手作業による識別情報の付与を不要とすることで、識別情報の付与の作業の簡易化と付与される識別情報の精度を向上させることができる。

【0070】

[効果及び補足]
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。

【0071】

《変形例》
（１）動きベクトルの適用
図１０に示すように、識別情報付与装置１Ａに、選択部１５をさらに備えてもよい。例えば、選択部１５は、複数の画像データから選択された画像データから動きのある被写体を検出し、動きのある被写体の領域を選択する。

【0072】

例えば、選択部１５は、第１アノテーション用画像データを選択する（図１１の（２Ａ））。また、選択部１５は、それ以外の画像を第２アノテーション用画像とする（図１１の（３Ａ））。また、選択部１５は、選択された２フレームから動きベクトルを求める（図４Ａ）。動きベクトルは、基準とする１のフレームから、他のフレームへの画素情報を比較し、その差をベクトルとして表現するものであり、フローベクトルとも呼ばれるものである。この動きベクトルを特定することで、画像データ中で動きのある被写体を特定することができる。具体的には、選択部１５は、動きベクトルが検出された部分を含む領域を例えば、矩形の領域として選択する。また、選択部１５は、選択された領域を特定する「座標」、「幅」及び「高さ」等を識別情報２３０として画像データ２１０に関連付け、記憶部２０に記憶させる。

【0073】

修正部１４は、識別情報２３０として領域が関連付けられた画像データ２１０から、識別情報２３０に対象の「クラス」を追加する追加の画像データ２１０を選択する（図１１の（５Ａ－１））。また、修正部１４は、選択されなかった画像データ２１０を、アノテーション用データとする（図１１の（５Ａ－２））。修正部１４は、画像データ２１０とともに、識別情報２３０である領域を表示し、識別情報を修正するリクエストを受け付ける、リクエストにしたがって識別情報２３０を修正する（図１１（５Ａ－３））。具体的には、識別情報２３０に「クラス」が追加される。その後、修正部１４は、修正された識別情報と関連付けられる画像データ２１０による学習モデル２００の更新を更新部１３にリクエストする（図１１の（５Ａ－４））。この学習モデル２００も、上述した場合と同様に、画像データ２１０と同一又は類似の画像データを学習データとして学習されたものであることが好ましい。

【0074】

更新部１３によって学習モデル２００が更新されると、修正部１４は、更新後の学習モデル２００によって、修正部１４で識別情報２３０の修正が終了していない画像データ２１０について、付与部１２にアノテーション処理をリクエストし、新たな識別情報２３０を付与することで識別情報２３０を修正する（図８の（５Ａ－５））。その後、修正部１４は、修正された識別情報２３０と関連付けられる画像データ２１０による学習モデルの更新を更新部１３にリクエストする（図１１（５Ａ－６））。続いて、付与部１２は、「第２アノテーション処理」として、更新された学習モデル２００により、第１アノテーション処理で識別情報が付与されなかった第２アノテーション用の画像データ２１０に識別情報を付与する（図１１の（６））。その後、更新部１３により、識別情報が付与された第２アノテーション用の画像データ２１０によって学習モデル２００は更新される（図１１の（７））。

【0075】

なお、図１１では、識別情報付与装置１Ａは、識別情報を修正する際に、オペレータによって識別情報を追加する追加用データと付与部１２によるアノテーション処理で識別情報を修正するアノテーション用データとに分けて処理する例を示すが、第１アノテーション用画像の全てについてオペレータの入力により識別情報２３０を追加するものとしてもよい。

【0076】

したがって、仮に、既存の学習モデル２００を利用して第１アノテーション処理による識別情報の付与が困難であるような場合であっても、動きベクトルを検出して対象の領域を特定し、この領域を用いて識別情報の付与を行うことが可能であるため、オペレータの識別情報の付与の作業を簡易化し、付与される識別情報の精度を向上させることができる。

【0077】

（２）包含クラスのみをアノテーション
また、上述した例では、誤って付与された識別情報２３０を修正する例で説明したが、これに限らず、上位の識別情報２３０を下位の識別情報２３０と修正する場合も同様である。具体的には、第１アノテーション処理では、上位クラスの識別情報２３０を付与し、識別情報の修正の処理で下位の識別情報２３０に修正し、これにより更新された学習モデル２００を用いて第２アノテーション処理を実行してもよい。例えば、まずは、上位クラスである「人物」という識別情報を学習モデル２００により付与し、これを下位クラスである「男性」、「女性」、「大人」、「子供」等の識別情報に修正してもよい。

【0078】

例えば、図１２に示すように、取得された画像データ２１０から第１アノテーション用の画像データ２１０と、第２アノテーション用の画像データ２１０とが選択されると、付与部１２は、学習モデル２００により、識別情報を付与する（図１２の（４Ｂ））。ここで付与される識別情報２３０は、上位クラスを含む。その後、修正部１４は、第１アノテーション用の画像データ２１０から修正用の画像データ２１０を選択し（図１２の（５Ｂ－１））、残りを第２アノテーション用の画像データとする（図１２の（５Ｂ－２））。また、修正部１４は、オペレータから入力されたリクエストに応じて識別情報を修正し、記憶部２０の画像データ２１０を更新する（図１２の（５Ｂ－３））。ここで、修正された識別情報２３０は、下位クラスを含むものとなっている。また、修正部１４は、修正用の画像データ２１０について更新部１３に修正された識別情報と関連付けられる画像データ２１０による学習モデル２００の更新をリクエストする（図１２（５Ｂ－４））。

【0079】

更新部１３によって学習モデル２００が更新されると、修正部１４は、更新後の学習モデル２００によって、修正部１４で識別情報２３０の修正が終了していない画像データ２１０について、付与部１２に再度のアノテーション処理をリクエストし、新たな識別情報を付与することで識別情報を修正する（図１２の（５Ｂ－５））。ここで、修正された識別情報２３０は、下位クラスを含むものとなる。その後、修正部１４は、修正された識別情報と関連付けられる画像データ２１０による学習モデル２００の更新を更新部１３にリクエストする（図１２（５Ｂ－６））。続いて、付与部１２は、「第２アノテーション処理」として、更新された学習モデル２００により、第１アノテーション処理で識別情報が付与されなかった第２アノテーション用の画像データ２１０に識別情報を付与する（図１２の（６））。その後、更新部１３により、識別情報が付与された第２アノテーション用の画像データ２１０によって学習モデル２００は更新される（図１２の（７））。

【0080】

なお、図１２では、識別情報付与装置１は、識別情報を修正する際に、オペレータによって識別情報を修正する修正用データと、付与部１２によるアノテーション処理で識別情報を修正するアノテーション用データとに分けて処理する例を示すが、第１アノテーション用画像の全てについてオペレータの入力により識別情報２３０を修正するものとしてもよい。

【0081】

複数クラスのアノテーションの際に、包含クラスを自動アノテーションした上で、それを修正し、最終的にアノテーションすることで、作業効率を向上させる。

【0082】

《実施形態の概要》
（１）本開示の識別情報付与装置は、複数の画像データを取得する取得部と、複数の画像データから選択された画像データに学習済みの学習モデルを用いて識別情報を付与する付与部と、識別情報が付与された画像データを用いて学習モデルを更新する更新部と、を備え、付与部は、更新された学習モデルを用いて取得部が取得した残りの画像データに識別情報を付与する。

【0083】

これにより、取得する画像データから既存の学習モデルを利用して識別情報を付与し、また学習モデルを更新して目的とする学習モデルを生成することが可能となり、オペレータの手作業による識別情報の付与を不要とすることで、識別情報の付与の作業の簡易化と付与される識別情報の精度を向上させることができる。

【0084】

（２）（１）の識別情報付与装置において、画像データと、画像データに付与部で付与された識別情報とを表示部に表示し、識別情報を修正するリクエストを受け付け、リクエストにしたがって前記識別情報を修正する修正部をさらに備え、更新部は、修正部で識別情報が修正された画像データを用いて学習モデルを更新してもよい。

【0085】

これにより、必要に応じて既存の学習モデルで付与された識別情報を修正することが可能となり、識別情報の精度を向上させることができる。

【0086】

（３）（２）の識別情報付与装置において、修正部は、画像データ及び識別情報を表示部に表示する際、付与部で付与された識別情報と、修正部で修正された識別情報とを区別して表示してもよい。

【0087】

これにより、識別情報の修正作業を評価することが可能となり、修正作業の精度を向上させることができる。

【0088】

（４）（２）の識別情報付与装置において、修正部は、識別情報を複数回修正可能であって、画像データ及び識別情報を表示部に表示する際、過去に修正部で修正された識別情報と今回新たに修正する識別情報とを区別して表示してもよい。

【0089】

これにより、識別情報の修正作業を評価することが可能となり、修正作業の精度を向上させることができる。

【0090】

（５）（１）の識別情報付与装置において、付与部は、画像の特徴情報を含む複数の学習モデルを利用可能であって、取得部が取得する画像データの特徴情報と所定範囲の特徴情報を含む学習モデルを利用してもよい。

【0091】

これにより、既存の複数ある学習モデルの中から最適な学習モデルを選択して利用することが可能となり、識別情報の付与の精度を向上させることができる。

【0092】

（６）（５）の識別情報付与装置において、特徴情報は、画像データの撮影条件を含み、付与部は、画像データの撮影条件と同一の撮影条件と関連付けられる学習モデルを利用してもよい。

【0093】

これにより、既存の複数ある学習モデルの中から最適な学習モデルを選択して利用することが可能となり、識別情報の付与の精度を向上させることができる。

【0094】

（７）（５）の識別情報付与装置において、特徴情報は、画像データの色ヒストグラムを含み、付与部は、画像データの色ヒストグラムとの差が所定範囲の色ヒストグラムと関連付けられる学習モデルを利用してもよい。

【0095】

これにより、既存の複数ある学習モデルの中から最適な学習モデルを選択して利用することが可能となり、識別情報の付与の精度を向上させることができる。

【0096】

（８）（２）の識別情報付与装置において、複数の画像データから選択された画像データから動きのある被写体を検出し、被写体の領域を選択する選択部をさらに備え、修正部は、画像データと、画像データに選択部で選択された領域を識別情報として表示し、当該識別情報を修正するリクエストを受け付け、当該リクエストにしたがって識別情報を修正してもよい。

【0097】

これにより、取得する画像データから動きのある領域を選択して、オペレータの手作業による識別情報の付与を簡易化しすることができる。

【0098】

（９）（１）の識別情報付与装置において、複数の画像データは、連続性のある画像データとしてもよい。

【0099】

これにより、取得する連続性のある画像データから既存の学習モデルを利用して識別情報を付与し、また学習モデルを更新して目的とする学習モデルを生成することができる。

【0100】

（１０）本開示の識別情報付与方法は、複数の画像データを取得するステップと、複数の画像データから選択された画像データに学習済みの学習モデルを用いて識別情報を付与するステップと、識別情報が付与された画像データを用いて学習モデルを更新するステップと、更新された学習モデルを用いて取得した残りの画像データに識別情報を付与するステップとを含む。

【0101】

これにより、取得する画像データから既存の学習モデルを利用して識別情報を付与し、また学習モデルを更新して目的とする学習モデルを生成することが可能となり、オペレータの手作業による識別情報の付与を不要とすることで、識別情報の付与の作業の簡易化と付与される識別情報の精度を向上させることができる

【0102】

（１１）本開示のプログラムは、コンピュータに（１０）の方法を実行させる。

【0103】

これにより、取得する画像データから既存の学習モデルを利用して識別情報を付与し、また学習モデルを更新して目的とする学習モデルを生成することが可能となり、オペレータの手作業による識別情報の付与を不要とすることで、識別情報の付与の作業の簡易化と付与される識別情報の精度を向上させることができる

【0104】

本開示の全請求項に記載の識別情報付与装置及び識別情報付与方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

【産業上の利用可能性】

【0105】

本開示の識別情報付与装置及び識別情報付与方法は、機械学習の教師データの作成に有用である。

【符号の説明】

【0106】

１，１Ａ 識別情報付与装置
１０ 制御部
１１ 取得部
１２ 付与部
１３ 更新部
１４ 修正部
２０ 記憶部
２００ 学習モデル
２１０ 画像データ
２２０ センサデータ
２３０ 識別情報
Ｐ 識別情報付与プログラム
２１ 通信Ｉ／Ｆ
２２ 入力部
２３ 出力部（表示部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】