特開2022-190289画像認識支援装置、画像認識支援方法、及び画像認識支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022190289
(43)【公開日】2022-12-26
(54)【発明の名称】画像認識支援装置、画像認識支援方法、及び画像認識支援プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221219BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021098552
(22)【出願日】2021-06-14
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000176
【氏名又は名称】一色国際特許業務法人
(72)【発明者】
【氏名】岡崎 聡一郎
(72)【発明者】
【氏名】孔 全
(72)【発明者】
【氏名】吉永 智明
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA03
5L096AA06
5L096CA21
5L096DA01
5L096EA39
5L096GA30
5L096GA34
5L096GA51
5L096HA11
5L096KA04
5L096MA07
(57)【要約】 （修正有）
【課題】画像内の属性を高精度で認識するためのモデルの作成を支援する画像認識支援装置、画像認識支援方法及び画像認識支援プログラムを提供する。
【解決手段】画像認識支援装置１０は、画像を取得する画像入力部２０１と、取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成部２０２と、生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成部２０３と、を備える。
【選択図】図４
【解決手段】画像認識支援装置１０は、画像を取得する画像入力部２０１と、取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成部２０２と、生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成部２０３と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像を取得する画像入力部と、
前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成部と、
前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成部とを備える、画像認識支援装置。
前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成部と、
前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成部とを備える、画像認識支援装置。
【請求項2】
前記疑似ラベル生成部は、入力された画像の属性に関する特性値によって出力される前記入力画像の各属性の認識情報の傾向が異なる複数の分類器のそれぞれに、前記取得した画像を入力し、前記複数の分類器のそれぞれから出力された各属性の認識情報に基づき、前記取得した画像画像が有する各属性の統合された認識情報を生成し、前記統合された認識情報に基づき疑似ラベルを生成し、
前記新ラベル生成部は、前記疑似ラベルの各属性ごとの正確性を算出し、算出した各正確性に基づき、前記取得した画像の各属性に対する新たなラベルを生成する、
請求項１に記載の画像認識支援装置。
前記新ラベル生成部は、前記疑似ラベルの各属性ごとの正確性を算出し、算出した各正確性に基づき、前記取得した画像の各属性に対する新たなラベルを生成する、
請求項１に記載の画像認識支援装置。
【請求項3】
前記疑似ラベル生成部は、前記複数の分類器のそれぞれから出力された各属性の認識情報と、前記それぞれの分類器及び各属性に対応づけられた所定の重み係数とに基づき、前記統合された認識情報を生成する、
請求項２に記載の画像認識支援装置。
請求項２に記載の画像認識支援装置。
【請求項4】
前記疑似ラベル生成部は、前記画像の属性に関する特性値に、当該属性が画像中に出現する頻度を設定する、請求項２に記載の画像認識支援装置。
【請求項5】
前記疑似ラベル生成部は、前記画像の属性に関する特性値に、前記分類器による当該属性の認識の確からしさを示す情報を設定する、請求項２に記載の画像認識支援装置。
【請求項6】
前記取得した画像、当該画像の前記疑似ラベル、及び当該画像の前記新たなラベルを対応づけて記憶する記憶部をさらに備える、請求項１に記載の画像認識支援装置。
【請求項7】
前記画像はＳＡＲ画像又はＣＧ画像である、請求項１に記載の画像認識支援装置。
【請求項8】
前記出力された各属性の認識情報を表示すると共に、ユーザからの指定に基づき、前記属性に対応づけられた所定の端末に、所定の作業の情報を送信する表示部をさらに備える、請求項２に記載の画像認識支援装置。
【請求項9】
前記表示部は、前記疑似ラベルに係る前記統合された認識情報が所定の値又は範囲を示す属性についての認識情報を表示する、請求項８に記載の画像認識支援装置。
【請求項10】
前記表示部は、前記各属性に対応する前記新たなラベルの情報を表示すると共に、ユーザから前記新たなラベルの情報の変更を受け付ける、請求項８に記載の画像認識支援装置。
【請求項11】
複数の前記取得した画像と、前記複数の画像にそれぞれ対応する前記生成した新たなラベルとの関係を学習することにより、画像が入力され、当該画像が有する各属性の認識情報を出力する学習済みモデルを生成する画像認識モデル生成部をさらに備える、請求項２に記載の画像認識支援装置。
【請求項12】
前記複数の分類器として、画像中に存在する確率が第１閾値以下である属性である低頻度属性の学習重みを、その他の属性の学習重みより高く設定した学習モデルである低頻度属性モデルと、画像中に存在する確率が前記第１閾値より大きい第２閾値以上である属性である高頻度属性の学習重みを、その他の属性の学習重みより高く設定した学習モデルである高頻度属性モデルとを少なくとも含み、
前記疑似ラベル生成部は、前記複数の分類器のそれぞれに、前記取得した画像を入力し、前記複数の分類器のそれぞれから出力された、各属性が存在する確率である信頼度と、前記それぞれの分類器及び各属性に対応づけられた、各属性の出現頻度に応じた重み係数とに基づき、前記取得した画像が有する各属性の信頼度の合計値を生成する、
請求項２に記載の画像認識支援装置。
前記疑似ラベル生成部は、前記複数の分類器のそれぞれに、前記取得した画像を入力し、前記複数の分類器のそれぞれから出力された、各属性が存在する確率である信頼度と、前記それぞれの分類器及び各属性に対応づけられた、各属性の出現頻度に応じた重み係数とに基づき、前記取得した画像が有する各属性の信頼度の合計値を生成する、
請求項２に記載の画像認識支援装置。
【請求項13】
情報処理装置が、
画像を取得する画像入力処理と、
前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成処理と、
前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成処理と、
を実行する、画像認識支援方法。
画像を取得する画像入力処理と、
前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成処理と、
前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成処理と、
を実行する、画像認識支援方法。
【請求項14】
情報処理装置に、
画像を取得する画像入力処理と、
前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成処理と、
前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成処理と、
を実行させる、画像認識支援プログラム。
画像を取得する画像入力処理と、
前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成処理と、
前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成処理と、
を実行させる、画像認識支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識支援装置、画像認識支援方法、及び画像認識支援プログラムに関する。
【背景技術】
【0002】
撮影された画像を自動認識することによって、画像中の各被写体の属性を特定し、その画像に記録されている出来事を知ることができる。例えば、災害現場の空撮画像及び衛星画像は、現地の様子を遠隔で把握する手段として有用であり、特に広域画像の中の複数の属性を同時に認識することによって、災害状況の迅速な把握が可能となる。このような目的で、画像中に撮影された各属性を自動で認識及び分類する分類器を作成するためには、画像とその画像内の全ての属性を示したラベル（正解ラベル）とのペアを学習データとして準備し、それらのペアを分類器にパターンとして学習させる必要がある。ここで、画像とラベルのペアを学習データと呼ぶ。
【0003】
しかし、学習データの準備において、広域画像における全ての正解ラベルを正確に準備することは難しい。特に、人が画像に対してラベルを設定する際に、正解でない属性のラベルを付与してしまう誤ラベルや、その属性があるにも関わらずラベルを付け損ねてしまう欠損ラベルが発生するという問題がある。また、画像とラベルのパターンを学習する際に、誤ったラベルを含む学習データを用いて分類器を作ると、分類器の精度が低下してしまうという問題がある。そのため、分類器の精度を低下させずに、対象画像内の属性を正しく認識するためには、人が画像に付したラベルを修正することが必要とされる。
【0004】
人が設定したラベルを修正するための画像認識支援装置及び方法として、例えば特許文献１が知られている。特許文献１には、画像認識部から出力される属性に関する信頼度を取得し、取得した信頼度と予め設定されていたラベル情報を表示部において比較してラベルを修正することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－４６０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１の技術では、あらかじめ設定されたラベル情報と画像認識部から出力された信頼度を比較して、ユーザが手動でラベルを修正することが必要とされる。しかし、大量の画像を人手で全て修正することは非常に時間を要する。一方、画像認識部から出力された信頼度により自動でラベル修正を行う場合は、出力された信頼度の精度が十分に高くなければ、誤ったラベル情報に基づいてパターンを学習してしまうこととなり、やはり画像認識部の精度の低下につながる。
【0007】
そこで、本発明では、画像内の属性を高精度で認識するモデルの作成を支援することが可能な画像認識支援装置、画像認識支援方法、及び画像認識支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するための本発明の一つは、画像を取得する画像入力部と、前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出
力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成部と、前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成部とを備える、画像認識支援装置、とする。
力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成部と、前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成部とを備える、画像認識支援装置、とする。
【0009】
また、上記課題を解決するための本発明の一つは、情報処理装置が、画像を取得する画像入力処理と、前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成処理と、前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成処理と、を実行する、画像認識支援方法、とする。
【0010】
また、上記課題を解決するための本発明の一つは、情報処理装置に、画像を取得する画像入力処理と、前記取得した画像を、複数種類の画像認識モデルのそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、前記取得した画像の属性を示す疑似ラベルを生成する疑似ラベル生成処理と、前記生成した疑似ラベルに基づき、新たなラベルを生成する新ラベル生成処理と、を実行させる、画像認識支援プログラム、とする。
【発明の効果】
【0011】
本発明によれば、新ラベル生成部（処理）が、疑似ラベル生成部（処理）が複数種類の画像認識モデルに基づき生成した疑似ラベルに基づき、新たなラベルを生成するので、途中で得られた疑似ラベルから徐々に信頼度が高い新ラベルを生成することが可能となる。これにより、人手での確認（目視等）がなくても、信頼性の高い学習データのラベルが生成される。そして、これにより、誤りを含むデータから高精度な学習モデルを生成することが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0012】
【図1】本実施形態に係る画像認識システムの構成の概要を説明する図である。
【図2】元ラベル、疑似ラベル、及び新ラベルの一例を示す図である。
【図3】画像に対する元ラベル、疑似ラベル、及び新ラベルの他の例を示す図である。
【図4】画像認識支援装置が備える機能の一例を説明するブロック図である。
【図5】統合ＤＢが記憶する情報の一例を示す図である。
【図6】疑似ラベル生成部の詳細を説明する図である。
【図7】新ラベル生成部の詳細を説明する図である。
【図8】画像認識支援装置が備えるハードウェアの一例を示す図である。
【図9】画像認識支援装置が行う画像認識支援処理の一例を説明するフローチャートである。
【図10】疑似ラベル生成処理の詳細を説明するフローチャートである。
【図11】信頼度の算出方法の一例を説明する図である。
【図12】新ラベル生成処理の詳細を説明するフローチャートである。
【図13】画像認識支援装置が表示する操作画面の構成の一例を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施形態を説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。また、本発明が本実施形態に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。また、特に限定しない限り、言及される各構成要素の数は単数であっても複数であってもよい。
【0014】
＜システム構成＞
図１は、本実施形態に係る画像認識システム１の構成の概要を説明する図である。画像認識システム１は、画像を撮影する撮影システム１０１と、撮影システム１０１で撮影された画像に基づき、画像認識モデルを生成する画像認識支援装置１０とを含んで構成される。撮影システム１０１及び画像認識支援装置１０の間は、例えば、ＬＡＮ（Local Area
Network）、ＷＡＮ（Wide Area Network）、インターネット、又は専用線等の有線若し
くは無線のネットワーク５により通信可能に接続される。
図１は、本実施形態に係る画像認識システム１の構成の概要を説明する図である。画像認識システム１は、画像を撮影する撮影システム１０１と、撮影システム１０１で撮影された画像に基づき、画像認識モデルを生成する画像認識支援装置１０とを含んで構成される。撮影システム１０１及び画像認識支援装置１０の間は、例えば、ＬＡＮ（Local Area
Network）、ＷＡＮ（Wide Area Network）、インターネット、又は専用線等の有線若し
くは無線のネットワーク５により通信可能に接続される。
【0015】
撮影システム１０１は、画像を撮影する１又は複数の撮影装置（カメラ）を含んで構成される。撮影装置は、例えば、人が所持する撮影装置、地表に固定された装置であってもよいし、地表を移動する車等に設けられた撮影装置であってもよいし、ドローン又は航空機等に設けられた撮影装置であってもよい。
【0016】
撮影システム１０１により撮影される画像は、１又は複数の被写体（物体）の画像を含んでおり、ユーザは、予めリスト化された複数の属性（カテゴリ）のうちいずれかの属性に各物体を対応させることができる。属性は、例えば、人でもよいし、建物、車、又は道路といった人工物でもよいし、海又は川といった自然物でもよいし、洪水、建築物の崩壊、交通渋滞、又は人の密集状態といった物又は人の状態を示すものでもよい。
【0017】
また、各画像は、カラー画像及びモノクロ画像のいずれであってもよい。また、各画像は、カメラによる画像の他、SAR画像（SAR: Synthetic Aperture Radar）、CG画像（CG: Computer Graphics）、又は、事前に取得済みのその他の種類の画像であってもよい。ま
た、各画像には、メタ情報が付帯していてもよい。
た、各画像には、メタ情報が付帯していてもよい。
【0018】
画像認識支援装置１０は、撮影システム１０１により撮影された画像を取得する。画像認識支援装置１０は、画像の属性の認識に関して異なる構成を有する、複数の分類器（学習済みモデル）を生成する。そして、画像認識支援装置１０は、生成した各分類器に対して、ユーザが指定した画像（指定画像）を入力し、各分類器の出力値から得られる各ラベル（疑似ラベル）の値と、上記指定画像に対してユーザが予め設定したラベル（元ラベル）の値とを属性ごとに比較することで、新たなラベル（新ラベル）を生成する。
【0019】
このようにして生成された新ラベルは、指定画像が有する属性を正しく反映した情報である。
【0020】
その後、画像認識支援装置１０は、複数の指定画像及び新ラベルの組み合わせに関して、両者の関係を学習する機械学習を行うことで、画像認識モデルを生成する。
【0021】
＜元ラベル、疑似ラベル、及び新ラベル＞
図２は、元ラベル、疑似ラベル、及び新ラベルの一例を示す図である。同図に示すように、画像４０１に対してラベル情報４０２（元ラベル、疑似ラベル、及び新ラベル）が設定される。
図２は、元ラベル、疑似ラベル、及び新ラベルの一例を示す図である。同図に示すように、画像４０１に対してラベル情報４０２（元ラベル、疑似ラベル、及び新ラベル）が設定される。
【0022】
ラベル情報４０２は、後述する分類器の機械学習処理における学習時点（エポック）において、画像４０１がある属性を有する確率の情報、又は画像４０１にある属性が存在するか否かを示す情報である。ラベル情報４０２のうち元ラベル４０２ａは、予めユーザ等により設定されるが、誤りを含んでいる可能性がある。疑似ラベル４０２ｂは、後述する疑似ラベル生成部２０２によって自動的に設定される。新ラベル４０２ｃは、後述する新ラベル生成部２０３により、元ラベル４０２ａ及び疑似ラベル４０２ｂに基づき自動的に設定される。
【0023】
なお、同図のラベル情報４０２の表記について、例えば「x123」とは、ID「1」の画像
に関するエポック（機械学習の試行回数）が「2」の時に設定された、属性「3」の元ラベルであることを示す。また、「y342」とは、ID「3」の画像に関するエポックが「4」の時に設定された属性「2」の疑似ラベルであることを示す。また、「z567」とは、ID「5」の画像に関するエポックが「6」の時に設定された属性「7」の新ラベルであることを示す。なお、疑似ラベル及び新ラベルはエポックごとに異なり得るが、元ラベルは全てのエポックに関して共通である。
に関するエポック（機械学習の試行回数）が「2」の時に設定された、属性「3」の元ラベルであることを示す。また、「y342」とは、ID「3」の画像に関するエポックが「4」の時に設定された属性「2」の疑似ラベルであることを示す。また、「z567」とは、ID「5」の画像に関するエポックが「6」の時に設定された属性「7」の新ラベルであることを示す。なお、疑似ラベル及び新ラベルはエポックごとに異なり得るが、元ラベルは全てのエポックに関して共通である。
【0024】
次に、図３は、画像に対する元ラベル、疑似ラベル、及び新ラベルの他の例を示す図である。同図に示すように、画像４０３に対してラベル情報４０４（元ラベル、疑似ラベル、及び新ラベル）が設定される。ラベル情報４０４の元ラベル４０４ａ、疑似ラベル４０４ｂ、及び新ラベル４０４ｃは、前記の元ラベル４０２ａ、疑似ラベル４０２ｂ、及び新ラベル４０２ｃと同様である。そして、ラベル情報４０４には、図２と異なり、画像４０３における各属性の被写体の位置を示す座標情報４０５が追加されている。
【0025】
以上のラベル情報４０２、４０４に示されるように、画像認識支援装置１０は、誤りを含んでいる可能性がある元ラベル４０２ａ、４０４ａより正確なラベルである新ラベル４０２ｃ、４０４ｃを作成してこれを画像認識モデルに用いることで、ユーザから指定された、画像認識を行いたい画像内に含まれる全ての属性を正しく認識することができる。
【0026】
＜画像認識支援装置＞
次に、図４は、画像認識支援装置１０が備える機能の一例を説明するブロック図である。画像認識支援装置１０は、画像入力部２０１、疑似ラベル生成部２０２、新ラベル生成部２０３、分類器記憶部２０４、及び画像認識モデル生成部２０６の各機能部（プログラム）を備える。また、画像認識支援装置１０は統合ＤＢ２０５（ＤＢ：データベース）を記憶している。
次に、図４は、画像認識支援装置１０が備える機能の一例を説明するブロック図である。画像認識支援装置１０は、画像入力部２０１、疑似ラベル生成部２０２、新ラベル生成部２０３、分類器記憶部２０４、及び画像認識モデル生成部２０６の各機能部（プログラム）を備える。また、画像認識支援装置１０は統合ＤＢ２０５（ＤＢ：データベース）を記憶している。
【0027】
画像入力部２０１は、撮影システム１０１が撮影した画像を取得し、取得した画像を統合ＤＢ２０５に記憶する。また、画像入力部２０１は、各画像を疑似ラベル生成部２０２に入力する。
【0028】
疑似ラベル生成部２０２は、画像入力部２０１が取得した画像を、複数種類の画像認識モデル（分類器）のそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、その取得した画像の属性を示す疑似ラベルを生成する。
【0029】
具体的には、まず、疑似ラベル生成部２０２は、画像が入力され、当該画像が有する各属性の認識情報を出力する分類器を複数種類生成して記憶する。認識情報は、本実施形態では、画像がその属性を有する確率（確からしさ）である信頼度であるものとする。
【0030】
各分類器は、統合ＤＢ２０５に記憶されている各画像及びその画像のラベル（元ラベル、及び存在する場合はさらに後述する新ラベル）に基づき生成され、画像の各属性に関する特性値によって出力される各属性の認識情報の傾向が異なるように生成される。
【0031】
なお、本実施形態では、各属性の特性値とは、各属性の出現頻度（画像中に属性が存在する確率）とする。ここでの出現頻度とは、撮影システム１０１でこれまでに撮影された全画像における各属性の出現頻度でもよいし、特定の画像群における各属性の出現頻度でもよいし、その他統計的に導き出した出現頻度でもよい。
【0032】
また、各分類器は、深層学習(Deep Learning)に基づき生成される学習済みモデルであ
る。このような分類器としては、例えば、複数層を有する情報ネットワークで構成される
畳み込みニューラルネットワーク(Convolutional Neural Network)がある。
る。このような分類器としては、例えば、複数層を有する情報ネットワークで構成される
畳み込みニューラルネットワーク(Convolutional Neural Network)がある。
【0033】
そして、疑似ラベル生成部２０２は、複数の分類器のそれぞれに、画像入力部２０１から入力された指定画像を入力することで、当該画像が有する各属性を認識し、その結果を認識情報として出力する。
【0034】
そして、疑似ラベル生成部２０２は、複数の分類器のそれぞれから出力された各属性の認識情報（信頼度）と、各分類器及び各属性のそれぞれに組み合わせ
に対応づけられた所定の係数（重み係数）とに基づき、指定画像が有する各属性の統合認識情報（以下、統合信頼度ともいう。詳細は後述。）を算出し、これに所定の変換を行った疑似ラベルを生成する。
疑似ラベル生成部２０２は、各属性の統合認識情報及び疑似ラベルを新ラベル生成部２０３に入力する。
に対応づけられた所定の係数（重み係数）とに基づき、指定画像が有する各属性の統合認識情報（以下、統合信頼度ともいう。詳細は後述。）を算出し、これに所定の変換を行った疑似ラベルを生成する。
疑似ラベル生成部２０２は、各属性の統合認識情報及び疑似ラベルを新ラベル生成部２０３に入力する。
【0035】
新ラベル生成部２０３は、疑似ラベル生成部２０２が生成した疑似ラベルに基づき、新ラベルを生成する。
【0036】
具体的には、新ラベル生成部２０３は、疑似ラベル生成部２０２から入力された各属性の統合認識情報に基づき、疑似ラベルの各属性ごとの正確性（ラベルの正解率）を算出する。新ラベル生成部２０３は、算出した各正確性に基づき、疑似ラベルの各属性の疑似ラベルを修正した、指定画像の各属性に対する新ラベルを生成する。
【0037】
なお、生成された新ラベルは統合ＤＢ２０５に記憶される。また、生成された新ラベルは、疑似ラベル生成部２０２が行う、各分類器の機械学習において繰り返し用いられる。
【0038】
分類器記憶部２０４は、各分類器を記憶する。また、分類器記憶部２０４は、疑似ラベルの正確性の情報、各分類器における学習パラメータ、及び各分類器による各属性の認識情報等を記憶する。なお、これらの情報は、例えば、分類器による疑似ラベルの生成の際に、又は、分類器の機械学習に際して用いられる。
【0039】
統合ＤＢ２０５は、各画像の元ラベル、ラベル情報、撮影時刻、及び地図情報等とを記憶する。例えば、統合ＤＢ２０５は、各画像のＩＤ、エポック、元ラベル、疑似ラベル、及び新ラベルを記憶する。
【0040】
画像認識モデル生成部２０６は、統合ＤＢ２０５に記憶されている各画像とそれらの画像の新ラベルに基づき、画像の属性認識を行う学習済みモデル（画像認識モデル）を生成する。例えば、画像認識モデル生成部２０６は、複数の指定画像と、各指定画像に対応する新ラベルとの関係を学習することにより、画像を入力値とし、その画像が有する各属性の認識情報（信頼度等）を出力する学習済みモデルを生成する。なお、この学習済みモデルは、例えば、複数層を有するニューラルネットワーク(Convolutional Neural Network)として構成される。
【0041】
（統合ＤＢ）
ここで、図５は、統合ＤＢ２０５が記憶する情報の一例を示す図である。統合ＤＢ２０５は、各画像の識別子が設定されるＩＤ３０２、各画像の撮影日時等が設定される撮影時刻３０３、エポック（具体的には、後述するＳ１００２～Ｓ１００７の処理を実行した試行回数）が設定されるエポック３０４、各画像の各属性に対して設定された元ラベルが設定される元ラベル３０５、各画像の各属性に対して分類器により設定された疑似ラベルが設定される疑似ラベル３０６、及び、新ラベル３０７の各データ項目を有する。
ここで、図５は、統合ＤＢ２０５が記憶する情報の一例を示す図である。統合ＤＢ２０５は、各画像の識別子が設定されるＩＤ３０２、各画像の撮影日時等が設定される撮影時刻３０３、エポック（具体的には、後述するＳ１００２～Ｓ１００７の処理を実行した試行回数）が設定されるエポック３０４、各画像の各属性に対して設定された元ラベルが設定される元ラベル３０５、各画像の各属性に対して分類器により設定された疑似ラベルが設定される疑似ラベル３０６、及び、新ラベル３０７の各データ項目を有する。
【0042】
なお、元ラベル３０５、疑似ラベル３０６、及び新ラベル３０７には、画像中に含まれる複数の属性の認識情報（信頼度等）が設定される。また、元ラベル３０５には、ユーザが予め設定を行っているものとする。また、ここで説明したデータ項目は一例であり、例えば、画像のメタデータ等の情報が含まれていてもよい。
【0043】
（疑似ラベル生成部）
次に、図６は、疑似ラベル生成部２０２の詳細を説明する図である。疑似ラベル生成部２０２は、アンサンブル対象選択部６０１、属性重み度推定部６０２、属性スコアアンサンブル処理部６０３、及び疑似ラベル生成部６０４の各機能部（プログラム）を備える。
次に、図６は、疑似ラベル生成部２０２の詳細を説明する図である。疑似ラベル生成部２０２は、アンサンブル対象選択部６０１、属性重み度推定部６０２、属性スコアアンサンブル処理部６０３、及び疑似ラベル生成部６０４の各機能部（プログラム）を備える。
【0044】
アンサンブル対象選択部６０１は、疑似ラベルを生成するために用いる複数の分類器を選択する。
【0045】
属性重み度推定部６０２は、統合ＤＢ２０５の画像の各属性の特性値（本実施形態では出現頻度）に基づき、各分類器の機械学習における各属性の学習の重みに関する値（重み係数）を設定する。なお、本実施形態では、重み係数は、各属性の特性値及び、分類器における各属性のハイパーパラメータに基づき、自動的に算出されるものとする。
【0046】
属性スコアアンサンブル処理部６０３は、アンサンブル対象選択部６０１が選択した各分類器に対して入力された画像に対する出力値（各属性に対する信頼度）と、属性重み度推定部６０２が設定した重み係数とに基づき、画像の各属性に対する認識情報（統合信頼度）を算出する。
【0047】
疑似ラベル生成部６０４は、属性スコアアンサンブル処理部６０３が算出した各属性の統合信頼度を、疑似ラベルに変換する。例えば、疑似ラベル生成部６０４は、連続値である統合信頼度を、離散値である疑似ラベルの値（例えば、０又は１）に変換する。
【0048】
（新ラベル生成部）
次に、図７は、新ラベル生成部２０３の詳細を説明する図である。新ラベル生成部２０３は、疑似ラベル処理部８０１、属性閾値設定部８０２、ラベル融合部８０３、及び新ラベル変換部８０４の各機能部（プログラム）を備える。
次に、図７は、新ラベル生成部２０３の詳細を説明する図である。新ラベル生成部２０３は、疑似ラベル処理部８０１、属性閾値設定部８０２、ラベル融合部８０３、及び新ラベル変換部８０４の各機能部（プログラム）を備える。
【0049】
疑似ラベル処理部８０１は、疑似ラベル生成部６０４と同様の処理（信頼度からラベル値への変換）を行う。疑似ラベル処理部８０１は、疑似ラベル生成処理において上記処理が実行されていない場合に、当処理を行う。
【0050】
属性閾値設定部８０２は、指定画像の各属性について、疑似ラベル生成部２０２が生成した疑似ラベルと元ラベルとを比較することで、指定画像の新ラベルとして疑似ラベルを用いるか否かを決定するためのパラメータ（閾値）を設定する。具体的には、属性閾値設定部８０２は、ある属性の認識精度（ある属性に係る元ラベルの値と疑似ラベルの値とが同じである確率）が高い場合にはその属性に関する閾値に高値を設定し、ある属性の認識精度が低い場合にはその属性に関する閾値に低値を設定する。
【0051】
新ラベル融合部８０３は、疑似ラベル処理部８０１で生成した各属性に対する疑似ラベルと、属性閾値設定部８０２が生成した各属性の閾値とに基づき、各属性に対する新ラベルを生成する。
【0052】
新ラベル変換部８０４は、疑似ラベル生成部６０４と同様の方法でラベルの変換を行う。例えば、新ラベル変換部８０４は、新ラベル融合部８０３が生成した各属性の新ラベルの値が信頼度であり、そのうちある属性の信頼度が0.5以上である場合は、画像がその属
性を有することを意味する「1」を新ラベルの値に設定し、ある属性の信頼度が0.5未満である場合は、画像がその属性を有しないことを意味する「0」を新ラベルの値に設定する
。なお、ここで説明した値の変換方法は一例であり、その他の任意の方法を採用できる。
性を有することを意味する「1」を新ラベルの値に設定し、ある属性の信頼度が0.5未満である場合は、画像がその属性を有しないことを意味する「0」を新ラベルの値に設定する
。なお、ここで説明した値の変換方法は一例であり、その他の任意の方法を採用できる。
【0053】
ここで、図８は、画像認識支援装置１０が備えるハードウェアの一例を示す図である。画像認識支援装置１０は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)等の処理
装置１０３と、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)などのメモリ装置又は記憶媒体で構成される記憶装置１０４と、液晶ディスプレイまたは有機EL（Electro-Luminescence）ディスプレイ等で構成される表示装置１０５と、マウスやキーボード等で構成される入力装置１０６と、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、又はシリアル通信モジュール等で構成される通信装置１０２とを備える。
装置１０３と、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)などのメモリ装置又は記憶媒体で構成される記憶装置１０４と、液晶ディスプレイまたは有機EL（Electro-Luminescence）ディスプレイ等で構成される表示装置１０５と、マウスやキーボード等で構成される入力装置１０６と、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢ（Universal Serial Interface）モジュール、又はシリアル通信モジュール等で構成される通信装置１０２とを備える。
【0054】
なお、表示装置１０５は、撮影システム１０１が撮影した画像、及び各ラベル（疑似ラベル、新ラベル等）の情報を表示する。
【0055】
また、入力装置１０６は、ユーザからの入力を受け付ける。例えば、入力装置１０６は、表示装置１０５により表示する分類器の切替えの入力を受け付け、また、撮影システム１０１が撮影した画像に係るラベルの設定又は修正等をユーザから受け付ける。
【0056】
画像認識支援装置１０の各機能は、処理装置１０３が、記憶装置１０４に格納されているプログラムを読み出して実行することにより実現される。また上記のプログラムは、例えば、記録媒体に記録して配布することができる。
次に、画像認識支援装置１０が行う処理について説明する。
次に、画像認識支援装置１０が行う処理について説明する。
【0057】
＜画像認識支援処理＞
図９は、画像認識支援装置１０が行う画像認識支援処理の一例を説明するフローチャートである。本処理は、例えば、撮影システム１０１が撮影した画像が統合ＤＢ２０５に記憶されたこと、又は、ユーザから画像認識支援装置１０に所定の入力があったことを契機に開始される。
図９は、画像認識支援装置１０が行う画像認識支援処理の一例を説明するフローチャートである。本処理は、例えば、撮影システム１０１が撮影した画像が統合ＤＢ２０５に記憶されたこと、又は、ユーザから画像認識支援装置１０に所定の入力があったことを契機に開始される。
【0058】
まず、疑似ラベル生成部２０２は、統合ＤＢ２０５に保存されている各画像の元ラベルに基づき、各属性の出現頻度を計算し、その結果を記憶する（ステップＳ１００１）。
【0059】
本実施形態では、疑似ラベル生成部２０２は、予め定めた第１閾値未満の頻度で画像が有する属性を「低頻度属性」、及びその画像を「低頻度画像」としてそれぞれ特定し、第１閾値以上第２閾値未満の頻度で画像が有する属性を「中頻度属性」、及びその画像を「中頻度画像」として特定し、第２閾値以上の頻度で画像が有する属性を「高頻度属性」、及びその画像を「高頻度画像」として特定するものとする。
【0060】
また、疑似ラベル生成部２０２は、統合ＤＢ２０５に保存されている全ての画像のリストの情報をバッチリストとして生成し、これを記憶する（ステップＳ１００２）。このバッチリストの情報には、例えば、各画像のインデックス情報と、その画像に係るラベル（元ラベル又は新ラベル）の情報等が含まれる。なお、このバッチリストの情報は、深層学習において一般的に用いられる情報である。
【0061】
そして、疑似ラベル生成部２０２は、ステップＳ１００２で生成したバッチリストから画像を一つ選択し、選択した画像の元ラベル及び新ラベル等の情報を抽出する（ステップＳ１００３）。なお、ステップＳ１００３が最初に実行される際は、新ラベルの情報は存
在しない。
在しない。
【0062】
疑似ラベル生成部２０２は、ステップＳ１００３で選択した画像及びその各ラベルの情報に基づき疑似ラベルを作成する、疑似ラベル生成処理を実行する（ステップＳ１００４）。疑似ラベル生成処理Ｓ１００４の詳細は後述する。
【0063】
本実施形態では、疑似ラベル生成部２０２は、属性の出現頻度に応じた、複数の異なる分類器を生成することで、疑似ラベルを生成する。すなわち、疑似ラベル生成部２０２は、高頻度画像、中頻度画像、及び低頻度画像のうち低頻度画像を最も重視して学習を行う低頻度重視モデルと、中頻度画像を最も重視して学習を行う中頻度重視モデルと、高頻度画像を最も重視して学習を行う高頻度重視モデルとを生成する。具体的には、疑似ラベル生成部２０２は、高頻度画像、中頻度画像、及び低頻度画像のそれぞれの学習の重みを最も大きくし分類器を生成する。
【0064】
このように、複数の異なる特性を有する分類器を設けることで、単一の分類器のみを用いる場合よりも、より精度の高い画像認識性能を実現することができる。
【0065】
新ラベル生成部２０３は、疑似ラベル生成部２０２が生成した各属性の疑似ラベル及び、各分類器の各属性による疑似ラベルの正確性（正解率）に基づき新ラベルを生成する新ラベル生成処理Ｓ１００５を実行する（ステップＳ１００５）。なお、生成された新ラベルは、次のエポック時に元ラベルの代わりに分類器の学習に用いられる。新ラベル生成処理Ｓ１００５の詳細は後述する。
【0066】
新ラベル生成部２０３は、これまでにバッチリストから全ての画像を選択したか否かを確認する（ステップＳ１００６）。バッチリストから選択していない画像がある場合は（ステップＳ１００６：Ｎｏ）、疑似ラベル生成部２０２はそれらの画像のうち一つを選択してステップＳ１００３以降の処理を繰り返すことで、ニューラルネットワークの機械学習を継続する。バッチリストから選択していない画像がない場合は（ステップＳ１００６：Ｙｅｓ）、ステップＳ１００７の処理が行われる。
【0067】
ステップＳ１００７において新ラベル生成部２０３は、予め定められたエポック（学習回数）に到達したか否かを確認する。エポックに到達していない場合は（ステップＳ１００７：Ｎｏ）、疑似ラベル生成部２０２は、ステップＳ１００２以降の処理を繰り返す。エポックに到達した場合は（ステップＳ１００７：Ｙｅｓ）、ステップＳ１００８の処理が行われる。
【0068】
ステップＳ１００８において新ラベル生成部２０３は、各画像の疑似ラベル及び新ラベルと、各分類器による属性ごとの認識結果を統合ＤＢ２０５に記憶する。
【0069】
そして、新ラベル生成部２０３は、予め指定した繰り返し回数（イテレーション）に到達したか否かを判定する（ステップＳ１００９）。イテレーションに到達していない場合は（ステップＳ１００９：Ｎｏ）、疑似ラベル生成部２０２は、ステップＳ１００２以降の処理を繰り返す。イテレーションに到達した場合は（ステップＳ１００９：Ｙｅｓ）、疑似ラベル生成部２０２は、ステップＳ１０１０の処理を行う。
【0070】
その後、画像認識支援装置１０は、統合ＤＢ２０５に記憶されている各画像及び新ラベルの組み合わせに関して、両者の関係を学習する機械学習を行うことで、画像認識モデルを生成する（ステップＳ１０１０）。ユーザは、この画像認識モデルに対して、属性の認識を行いたい画像を入力することで、その画像が有する属性を出力させることができる。
以上で画像認識支援処理は終了する。
以上で画像認識支援処理は終了する。
【0071】
＜疑似ラベル生成処理＞
図１０は、疑似ラベル生成処理Ｓ１００４の詳細を説明するフローチャートである。
図１０は、疑似ラベル生成処理Ｓ１００４の詳細を説明するフローチャートである。
【0072】
疑似ラベル生成部２０２は、各分類器に指定画像を入力することにより、各分類器から出力される、指定画像の各属性ごとの信頼度を取得する（ステップＳ７０１）。なお、信頼度は、例えば、指定画像中に各属性が存在する確率を0～1の範囲で示したものである。
【0073】
アンサンブル対象選択部６０１は、分類器記憶部２０４が記憶している全ての分類器の中から、疑似ラベルを生成するために用いる分類器を選択する（ステップＳ７０２）。
【0074】
この場合、アンサンブル対象選択部６０１は、全ての分類器を選択してもよいし、各分類器のうち、認識結果が良い分類器（例えば、これまでの処理において所定確率以上で正しい属性の認識を行った分類器）のみを選択してもよいし、その他の所定の基準に従って分類器を選択してもよい。
【0075】
属性重み度推定部６０２は、ステップＳ１００１で求めた各属性の出現頻度に基づき、各分類器における各属性の（学習時における）重み係数の設定を行う（ステップＳ７０３）。
【0076】
例えば、属性重み度推定部６０２は、高頻度重視モデルにおける低頻度画像に対する出力の重み係数を０．３（低い値）とし、低頻度重視モデルにおける低頻度画像に対する出力の重み係数を０．７（高い値）とする。重み係数は、例えば、ニューラルネットワークにおけるハイパーパラメータ（属性の出現頻度）として設定することにより、自動的に決定される。
【0077】
属性スコアアンサンブル処理部６０３は、ステップＳ７０２で選択した分類器及び、ステップＳ７０３で設定した各属性の重み係数に基づき、統合信頼度を算出する（ステップＳ７０４）。
【0078】
図１１は、信頼度の算出方法の一例を説明する図である。同図に示すように、分類器として、低頻度重視モデル５１、中頻度重視モデル５２、及び高頻度重視モデル５３の３つの分類器が存在し、低頻度重視モデル５１で最も重視して学習される属性である低頻度属性として属性１及び２、中頻度重視モデル５２で最も重視して学習される属性である中頻度属性として属性３及び４、高頻度重視モデル５３で最も重視して学習される属性である高頻度属性として属性５及び６があるものとする。
【0079】
まず、ステップｓ７０１において、属性スコアアンサンブル処理部６０３は、指定画像を各分類器（低頻度重視モデル５１、中頻度重視モデル５２、及び高頻度重視モデル５３）に対して入力することで、各分類器による指定画像の認識結果（低頻度属性１及び２の信頼度５４、中頻度属性３及び４の信頼度５５、高頻度属性５及び６の信頼度５６）を算出する。そして、属性スコアアンサンブル処理部６０３は、各属性について、各分類器により算出された信頼度５４、５５、５６と、当該分類器及び属性ごとに設定された重み係数５７とを乗じ、これらの乗算値を合計することで、統合信頼度５８が求められる。
【0080】
なお、低頻度重視モデルは、低頻度属性を他のモデルと比較して精度良く認識できるため、低頻度属性重視モデルの低頻度画像に対する重み係数（０．７）は、その他のモデルの低頻度画像に対する重み係数（高頻度属性重視モデル：０．１、及び中頻度属性重視モデル：０．２）より大きな値に設定にしておく。他の属性に関しても同様であり、中頻度重視モデルでは、中頻度属性を重視して高い値の重み付け係数を設定しておく。
【0081】
ここで、各分類器の重み係数の設定方法の例について説明する。各分類器の機械学習における損失関数として
Focal Loss（ＦＬ（ｐｔ））＝－（１－ｐｔ）γ ×ｌｏｇ（ｐｔ）
Focal Loss（ＦＬ（ｐｔ））＝－（１－ｐｔ）γ ×ｌｏｇ（ｐｔ）
【0082】
を用いて、Focal Lossにおける係数γが大きいほど認識が難しい、つまり低頻度の属性のデータを重視するように構成することができる。例えば、低頻度属性重視モデルの係数γ1を3.0、中頻度属性重視モデルの係数γ2を2.0、高頻度属性重視モデルの係数γ3を1.0と予め設定した場合、平均値＝０、分散σの正規分布の値等を利用して係数を設定することができる。ここで正規分布の値とは、入力変数xに対応した確率密度関数の値である。例
えば、低頻度属性重視モデルの低頻度画像に対する重み係数(図１１の例では0.7)は、正
規分布においてx=0の場合の確率密度関数の値である。中頻度属性重視モデルの低頻度属
性の画像に対する重み係数(図１１の例では0.2)は、正規分布においてx=|γ1-γ2|の場合の確率密度関数の値である、高頻度属性重視モデルの低頻度画像に対する重み係数(図１
１の例では0.1)は、正規分布においてx=|γ1-γ3|の場合の確率密度関数の値である。こ
れらの値を正規化する（例えば、これらの値の総和を１にする）ことで、各重み係数が算出される(図１１の例では、0.7+0.2+0.1=1である)。これにより、各分類器について、算
出される信頼度が高くなる傾向のある属性を重視する重み係数を自動的に設定することができる。
えば、低頻度属性重視モデルの低頻度画像に対する重み係数(図１１の例では0.7)は、正
規分布においてx=0の場合の確率密度関数の値である。中頻度属性重視モデルの低頻度属
性の画像に対する重み係数(図１１の例では0.2)は、正規分布においてx=|γ1-γ2|の場合の確率密度関数の値である、高頻度属性重視モデルの低頻度画像に対する重み係数(図１
１の例では0.1)は、正規分布においてx=|γ1-γ3|の場合の確率密度関数の値である。こ
れらの値を正規化する（例えば、これらの値の総和を１にする）ことで、各重み係数が算出される(図１１の例では、0.7+0.2+0.1=1である)。これにより、各分類器について、算
出される信頼度が高くなる傾向のある属性を重視する重み係数を自動的に設定することができる。
【0083】
次に、図１０に示すように疑似ラベル生成部６０４は、ステップＳ７０４で算出した各属性の信頼度に基づき、疑似ラベルを生成する（ステップＳ７０５）。
【0084】
具体的には、疑似ラベル生成部６０４は、各信頼度を離散値に変換する。例えば、疑似ラベル生成部６０４は、ある属性の信頼度の値が0.5以上の場合は、その属性の疑似ラベ
ルの値は、その属性が存在することを示す「１」に設定し、ある属性の信頼度の値が0.5
未満の場合は、その属性の疑似ラベルの値は、その属性が存在しないことを示す「０」に設定する。なお、ここで説明した疑似ラベルの値は一例であり、その他の任意の方法で値を設定してもよい。
ルの値は、その属性が存在することを示す「１」に設定し、ある属性の信頼度の値が0.5
未満の場合は、その属性の疑似ラベルの値は、その属性が存在しないことを示す「０」に設定する。なお、ここで説明した疑似ラベルの値は一例であり、その他の任意の方法で値を設定してもよい。
【0085】
疑似ラベル生成部６０４は、ステップＳ７０５により生成した疑似ラベルの情報を統合ＤＢ２０５に記憶する（ステップＳ７０６）。具体的には、疑似ラベル生成部６０４は、統合ＤＢ２０５の疑似ラベル３０６に、各属性の疑似ラベルの値を設定する。
【0086】
以上のように、疑似ラベル生成部２０２は、各分類器（学習済みモデル）の属性ごとの認識結果を統合及び変換することで、疑似ラベルを生成し保存する。
【0087】
＜新ラベル生成処理＞
図１２は、新ラベル生成処理Ｓ１００５の詳細を説明するフローチャートである。
新ラベル生成部２０３は、疑似ラベル生成処理Ｓ１００４で生成した疑似ラベルを取得し、取得した疑似ラベルを疑似ラベル処理部８０１に入力する（ステップＳ９０１）。
図１２は、新ラベル生成処理Ｓ１００５の詳細を説明するフローチャートである。
新ラベル生成部２０３は、疑似ラベル生成処理Ｓ１００４で生成した疑似ラベルを取得し、取得した疑似ラベルを疑似ラベル処理部８０１に入力する（ステップＳ９０１）。
【0088】
また、新ラベル生成部２０３は、各属性の認識結果たる正解率を算出する（ステップＳ９０２）。例えば、新ラベル生成部２０３は、疑似ラベル生成処理Ｓ１００４で算出した、各分類器による統合信頼度と、各属性の元ラベルの値とを比較することで、画像の各属性に関する正解率を算出する。なお、ここで説明した正解率の算出方法は一例であり、新ラベル生成部２０３は、画像の各属性に対する疑似ラベルの正確性をその他の任意の方法で評価してもよい。
【0089】
なお、疑似ラベル処理部８０１は、ステップＳ９０１で取得した疑似ラベルの値につい
てステップＳ７０５の変換が行われていない場合は、ステップＳ７０５と同様に、各属性の疑似ラベルに値を設定する（ステップＳ９０３）。
てステップＳ７０５の変換が行われていない場合は、ステップＳ７０５と同様に、各属性の疑似ラベルに値を設定する（ステップＳ９０３）。
【0090】
属性閾値設定部８０２は、ステップＳ９０２で算出した正解率に基づき、各属性に関する閾値を設定する（ステップＳ９０４）。
【0091】
例えば、属性閾値設定部８０２は、画像中の属性１の認識精度が１０％であれば、属性１の疑似ラベルの精度は低いと考えられるので、疑似ラベルを用いる割合が元ラベルの０．１倍になるような閾値を設定し、画像中の属性１の精度が９５％であれば、疑似ラベルの精度は高いと考えられるので疑似ラベルを用いる割合が元ラベルの１倍になるような閾値を設定する。属性閾値設定部８０２は、これらの設定を全ての属性について行う。なお、属性閾値設定部８０２は、閾値を、ユーザからの入力に基づいて設定してもよいし、各認識精度の値に基づいて自動的に決定してもよい。
【0092】
新ラベル融合部８０３は、ステップＳ９０２（ステップＳ９０３）で算出した各属性の疑似ラベルと、ステップＳ９０４で設定した各属性の閾値とに基づき、各属性に対する新ラベルを生成する（ステップＳ９０５）。
【0093】
例えば、属性１～５についてそれぞれ、元ラベルが(1, 1, 0, 0, 1)、疑似ラベルが(1,
0, 0, 1, 1)、閾値が(1, 1, 1, 0, 1)であり、属性１～５の精度がそれぞれ80%, 70%, 90%, 20%, 95%である場合、属性４の疑似ラベルの認識精度が低いため、新ラベル融合部８０３は、属性４の新ラベルを、（疑似ラベルではなく）元ラベルに設定する。このようにして、新ラベル融合部８０３は、属性１～５の新ラベルをそれぞれ、各属性の閾値を用いて、(1+1)/2=1, (1+0)/2=0.5, (0+0)/2=0, 0, (1+1)/2=1)と算出する。
0, 0, 1, 1)、閾値が(1, 1, 1, 0, 1)であり、属性１～５の精度がそれぞれ80%, 70%, 90%, 20%, 95%である場合、属性４の疑似ラベルの認識精度が低いため、新ラベル融合部８０３は、属性４の新ラベルを、（疑似ラベルではなく）元ラベルに設定する。このようにして、新ラベル融合部８０３は、属性１～５の新ラベルをそれぞれ、各属性の閾値を用いて、(1+1)/2=1, (1+0)/2=0.5, (0+0)/2=0, 0, (1+1)/2=1)と算出する。
【0094】
新ラベル変換部８０４は、疑似ラベル生成部６０４と同様に、ステップＳ９０５で算出した新ラベルを変換する（ステップＳ９０６）。
【0095】
例えば、新ラベル変換部８０４は、新ラベルを離散値とする場合、ステップＳ９０５で算出した新ラベルの値が0.5以上であれば、対応する属性を画像が有することを示す「1」を設定し、新ラベルの値が0.5未満であれば、対応する属性を画像が有しないことを示す
「0」を設定する。新ラベルの変換方法については、ここで説明したものに限定されずに
様々な方法を用いてもよい。
「0」を設定する。新ラベルの変換方法については、ここで説明したものに限定されずに
様々な方法を用いてもよい。
【0096】
分類器記憶部２０４は、ステップＳ９０６で生成した新ラベルを統合ＤＢ２０５に記憶する。分類器記憶部２０４は、画像、各属性、新ラベル、分類器、及びエポックを互いに対応づけて統合ＤＢ２０５に記憶する。
【0097】
以上のように、画像認識支援装置１０は、各分類器の各属性ごとの疑似ラベルを統合することで、画像の各属性ごとの新ラベルを生成し保存する。
【0098】
＜操作画面＞
図１３は、画像認識支援装置１０が表示する操作画面１５０の構成の一例を示す図である。この操作画面１５０は、認識対象映像表示欄５０１、認識対象地図表示欄５０２、認識結果表示欄５０３、類似映像表示欄５０４、モデル切り替え欄５０５、及び連絡用メニュー５０６を備える。
図１３は、画像認識支援装置１０が表示する操作画面１５０の構成の一例を示す図である。この操作画面１５０は、認識対象映像表示欄５０１、認識対象地図表示欄５０２、認識結果表示欄５０３、類似映像表示欄５０４、モデル切り替え欄５０５、及び連絡用メニュー５０６を備える。
【0099】
認識対象映像表示欄５０１には、分類器によって各属性が認識される画像（認識画像）が表示される。ここで、認識対象映像表示欄５０１の当該画像の上又はその他の所定位置に、認識された属性（物体等）の位置を表示してもよい。
【0100】
認識対象地図表示欄５０２には、認識画像を取得した場所の緯度及び経度等の情報、及びその地域の地図が表示される。この場合の地図は二次元に限定されず、高度の情報がある場合は三次元で表示されてもよい。
【0101】
認識結果表示欄５０３には、分類器から出力された各属性の情報及びその関連情報（属性ごとの信頼度、疑似ラベル、正解率、新ラベル等の情報）が表示される。なお、認識結果表示欄５０３には、全ての属性の情報ではなく、一定の基準又はユーザからの指定に従った属性の情報のみが表示されてもよい。例えば、信頼度が一定値以上の属性の疑似ラベル、正解率、及び新ラベルの情報のみが表示されてもよい。
【0102】
なお、操作画面１５０には、表示した新ラベルの修正の入力をユーザから受け付ける新ラベル修正欄５０７を設けてもよい。
【0103】
類似映像表示欄５０４には、認識画像中の属性と類似する属性が撮影されている他の画像（類似画像）が表示される。これにより、ユーザに、認識画像の属性に関する理解を深めさせることができる。ここで、類似画像は、例えば、地図上の位置に関して類似する画像でもよいし、属性以外の類似性を有する画像としてもよい。
【0104】
モデル切り替え欄５０５は、ユーザから分類器の切り替えの指定を受け付ける。認識結果表示欄５０３には、モデル切り替え欄５０５により指定された分類器が出力した情報及びその関連情報が表示される。
【0105】
連絡用メニュー５０６は、ユーザからの入力を受け付ける。ユーザからの入力があると、連絡用メニュー５０６は、撮影システム１０１により撮影を行う撮影者又は撮影場所における作業員が保持する端末に、所定の作業の情報（撮影指示、レスキュー指示等の情報）を送信する。この作業の情報は、例えば、認識結果表示欄５０３に示されている属性のうち所定の（例えば、信頼度が高い）属性の情報（例えば、画像が洪水の属性又は倒壊家屋の属性を有することを示す情報）を含む。
【0106】
以上のように、本実施形態の画像認識支援装置１０は、入力画像を、複数種類の分類器のそれぞれに基づき認識して認識情報を出力し、出力したそれぞれの認識情報に基づき、入力画像の属性を示す疑似ラベルを生成し、生成した疑似ラベルに基づき、新ラベルを生成する。
【0107】
すなわち、画像認識支援装置１０は、複数種類の分類器に基づき生成した疑似ラベルに基づき、新たなラベルを生成するので、途中で得られた疑似ラベルから徐々に信頼度が高い新ラベルを生成することが可能となる。このように、本実施形態の画像認識支援装置１０によれば、画像内の属性を高精度で認識するモデルの作成を支援することができる。例えば、人手でラベル修正を行う必要性が減少し、画像認識をより簡便かつ迅速に行うことができる。
【0108】
また、本実施形態の画像認識支援装置１０は、分類器に関して、入力画像に対してその画像が有する各属性の信頼度を出力する複数種類の分類器（画像の属性の特性値によって出力される各属性の認識情報の傾向が異なる）のそれぞれに指定画像を入力し、各分類器から出力された各属性の信頼度に基づき、指定画像が有する各属性の信頼度を算出し、算出した信頼度に基づき疑似ラベルを生成する。そして、画像認識支援装置１０は、疑似ラベルの各属性ごとの正解率に基づき、入力画像の各属性に対する新たなラベルを生成する。
【0109】
このように、画像認識支援装置１０は、画像中に存在しうる属性について、その属性の特性値（出現頻度等）に応じて構成の異なる複数の分類器を設け、これらの分類器に指定画像を入力して統合することで疑似ラベルを生成し、その精度（正解率）に基づいて疑似ラベルを修正した新ラベルを生成する。
【0110】
このような結果、様々な属性を撮影した画像に対するラベル（学習モデルの学習に必要なラベル）を、自動的かつ精度良く生成することができる。そして、これを用いて、画像内に映っている属性を正しく認識することが可能な画像認識モデルを生成することができる。
【0111】
また、本実施形態の画像認識支援装置１０は、各分類器及び各属性に対応づけられた重み係数に基づき認識情報を生成する。これにより、画像の種類やその被写体の傾向に応じた、高精度の画像認識を行うとができる。
【0112】
また、本実施形態の画像認識支援装置１０は、画像の属性に関する特性値として、その属性が画像中に出現する頻度を設定する。これにより、画像の属性の特徴に応じた画像認識を行うことができる。
【0113】
なお、本実施形態の画像認識支援装置１０は、画像の属性に関する特性値として、分類器による属性の認識の確からしさを示す情報、すなわち信頼度を設定してもよい。これにより、各分類器による属性の同定の精度を高めることができる。また、この場合、各属性の頻度を計算するステップＳ１００２が省略可能となる。
【0114】
また、本実施形態の画像認識支援装置１０は、指定画像、疑似ラベル、及び新ラベル対応づけて統合ＤＢ２０５に記憶することで、画像認識に係るデータ管理を容易にすることができる。
【0115】
また、本実施形態の画像認識支援装置１０は、画像を例えばＳＡＲ画像又はＣＧ画像とすることができる。これにより、衛生画像、空撮画像、又は合成画像等についても画像認識を支援することができる。また、これらの画像のように、属性に関する特性値（出現頻度等）の偏りが起きやすく、かつラベル情報に誤りが含まれやすい場合でも、人手による追加のラベル修正作業を極力行わずに、画像中の属性を高精度に認識することができる。
【0116】
また、本実施形態の画像認識支援装置１０は、分類器により出力された各属性の認識情報を表示すると共に、ユーザからの指定に基づき、その属性に対応づけられた作業員等の端末に、作業指示を送信する。これにより、画像の属性の認識状況に応じた様々な業務を遂行することができる。例えば、災害状況を写した画像に基づき適切な災害救助や復旧を行うことができる。
【0117】
また、本実施形態の画像認識支援装置１０は、疑似ラベルが所定の値を有する属性についての認識情報を表示する。これにより、例えば、その属性が高い各位率で画像に存在する場合に、その属性のみをユーザに提供することができる。
【0118】
また、本実施形態の画像認識支援装置１０は、各属性の新ラベルを表示すると共に、ユーザから新ラベルの変更を受け付ける。これにより、より適切なラベルを設定することができる。
【0119】
また、本実施形態の画像認識支援装置１０は、複数の分類器として、画像中に存在する確率が第１閾値以下である属性である低頻度属性の学習重みを、その他の属性の学習重みより高く設定した低頻度属性モデルと、画像中に存在する確率が第２閾値以上である属性
である高頻度属性の学習重みを、その他の属性の学習重みより高く設定した高頻度属性モデルとを少なくとも含むようにした上で、複数の分類器のそれぞれに指定画像を入力し、複数の分類器のそれぞれから出力された、各属性の信頼度と、それぞれの分類器及び各属性に対応づけられた、各属性の出現頻度に応じた重み係数とに基づき、指定画像が有する各属性の信頼度の合計値を生成する。このように、各属性の出現頻度に応じて各属性の学習の重みを変えた複数の分類器を設け、さらに各属性の出現頻度に応じた重み係数を利用して統合信頼度を算出することで、指定画像に対する精度の高い疑似ラベルを生成することができる。
である高頻度属性の学習重みを、その他の属性の学習重みより高く設定した高頻度属性モデルとを少なくとも含むようにした上で、複数の分類器のそれぞれに指定画像を入力し、複数の分類器のそれぞれから出力された、各属性の信頼度と、それぞれの分類器及び各属性に対応づけられた、各属性の出現頻度に応じた重み係数とに基づき、指定画像が有する各属性の信頼度の合計値を生成する。このように、各属性の出現頻度に応じて各属性の学習の重みを変えた複数の分類器を設け、さらに各属性の出現頻度に応じた重み係数を利用して統合信頼度を算出することで、指定画像に対する精度の高い疑似ラベルを生成することができる。
【0120】
なお、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【0121】
例えば、実施形態の各装置が備える各機能の一部は他の装置に設けてもよいし、別装置が備える機能を同一の装置に設けてもよい。
【0122】
また、本実施形態では属性の特性値として、各属性が画像中に出現する出現頻度、及び信頼度を挙げたが、その他の特性値、例えば各属性の画像中の大きさ、属性の内容（例えば、大人又は子ども）といった特性値を採用してもよい。
【符号の説明】
【0123】
１ 画像認識システム、１０ 画像認識支援装置、２０２ 疑似ラベル生成部、２０３ 新ラベル生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】