IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特開2025-40675教師データ生成装置、教師データ生成方法、プログラム
<>
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図1
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図2
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図3
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図4
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図5
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図6
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図7
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図8
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図9
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図10
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図11
  • 特開-教師データ生成装置、教師データ生成方法、プログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025040675
(43)【公開日】2025-03-25
(54)【発明の名称】教師データ生成装置、教師データ生成方法、プログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20250317BHJP
   G06V 10/72 20220101ALI20250317BHJP
   G06N 20/00 20190101ALI20250317BHJP
【FI】
G06T7/00 350B
G06V10/72
G06N20/00 130
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023147614
(22)【出願日】2023-09-12
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】室園 響子
(72)【発明者】
【氏名】佐藤 景亮
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096EA02
5L096FA02
5L096GA30
5L096GA51
5L096KA04
(57)【要約】
【課題】認識対象を認識する認識装置の処理結果を用いて効率よく教師データを生成する教師データ生成装置を提供する。
【解決手段】認識装置が認識対象の認識処理により特定した認識領域情報を取得する。単位領域ごとに付与された尤度に基づいて、認識領域情報が示す画像における認識対象の領域をセグメンテーションする。セグメンテーションされた領域を含む画像を認識装置が認識対象の認識に利用する学習データ生成用の教師データとして生成する。
【選択図】図1
【特許請求の範囲】
【請求項1】
認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得する取得手段と、
前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションするセグメンテーション手段と、
前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する生成手段と、
を備える教師データ生成装置。
【請求項2】
前記セグメンテーションされた領域を補完する補完手段と、
を備え、
前記生成手段は、前記セグメンテーションされ前記補完された領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する
請求項1に記載の教師データ生成装置。
【請求項3】
前記認識領域情報は、前記認識処理により認識した前記認識対象のラベル情報と当該ラベル情報が示す認識対象である確率を示す確率情報とをさらに含み、
前記認識対象の確率情報とその閾値との比較に基づいて前記補完の結果を出力し、補完後の前記認識対象の領域と他の領域との修正後の境界情報または当該結果の了承情報を取得する確認要請手段を備え、
前記生成手段は、前記修正後の境界情報または当該結果の了承情報に基づいて特定した領域の画像を示す前記教師データを生成する
請求項2に記載の教師データ生成装置。
【請求項4】
前記セグメンテーション手段は、前記認識装置は衛星画像に含まれる前記認識対象の認識処理により特定した前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記補完手段は、前記認識対象の正解データと、前記セグメンテーションの結果とに基づいて、前記セグメンテーションされた領域を前記補完する
請求項3に記載の教師データ生成装置。
【請求項5】
前記セグメンテーション手段は、前記認識装置は衛星画像に含まれる前記認識対象の認識処理により特定した前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記補完手段は、前記セグメンテーションの結果が示す複数の前記認識対象の領域をクロージング処理またはオープニング処理により前記補完する
請求項3に記載の教師データ生成装置。
【請求項6】
認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得し、
前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する
教師データ生成方法。
【請求項7】
コンピュータを、
認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得する取得手段、
前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションするセグメンテーション手段、
前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する生成手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、教師データ生成装置、教師データ生成方法、プログラムに関する。
【背景技術】
【0002】
機械学習により生成した学習モデルを用いて画像に映る認識対象を自動認識する技術がある。このような自動認識の技術は、学習モデルを生成するために教師データを機械学習する。教師データは認識対象の正解データなどである。また教師データの生成は人が労力をかけて行っている。なお例えば認識対象が航空機である場合、教師データは過去撮影した画像に精度よく映る航空機の領域を示す。
【0003】
特許文献1には、画素ごとにより精度良く正解ラベルを付した画像(教師データ)を作成できる教師データ作成装置の技術が開示されている。また特許文献1には教師データを作成するにあたり、機械学習モデルを用いて画像セグメンテーションする技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019-101535号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述のような教師データを生成する場合に効率よく教師データを作成できることが望ましい。
【0006】
この開示は、上記の課題を解決する教師データ生成装置、教師データ生成方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
この開示の第1の態様によれば、教師データ生成装置は、認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得する取得手段と、前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションするセグメンテーション手段と、前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する生成手段と、を備える。
【0008】
この開示の第2の態様によれば、教師データ生成方法は、認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得し、前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する。
【0009】
この開示の第3の態様によれば、プログラムは、コンピュータを、認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得する取得手段、前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションするセグメンテーション手段、前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する生成手段、として機能させる。
【発明の効果】
【0010】
本開示によれば、認識対象を認識する認識装置の処理結果を用いて効率よく教師データを生成することができる。
【図面の簡単な説明】
【0011】
図1】この開示の一実施形態による教師データ生成装置の概要を示す図である。
図2】この開示の一実施形態による教師データ生成装置のハードウェア構成を示す図である。
図3】この開示の一実施形態による教師データ生成装置の機能ブロック図である。
図4】関連する教師データの第一の生成方法を示す図である。
図5】関連する教師データの第二の生成方法を示す図である。
図6】この開示の一実施形態による認識領域情報の概要を示す図である。
図7】この開示の一実施形態による教師データ生成装置の処理フローを示す第一の図である。
図8】この開示の一実施形態による教師データ生成装置の処理フローを示す第二の図である。
図9】この開示の一実施形態による補完処理の第一の例を示す図である。
図10】この開示の一実施形態による補完処理の第二の例を示す図である。
図11】この開示の他の実施形態による教師データ生成装置の一態様を示す図である。
図12】この開示の他の実施形態による教師データ生成装置の処理フローを示す図である。
【発明を実施するための形態】
【0012】
図1はこの開示の一実施形態による教師データ生成装置の概要を示す図である。
この開示の教師データ生成装置1は、物体検出装置100と通信接続する。物体検出装置100は画像に写る認識対象の認識処理を行う認識装置の一態様である。物体検出装置100はSAR(Synthetic Aperture Radar)画像に写る所定の認識対象を過去に生成された学習モデルを用いて検出する。SAR画像は衛星画像の一態様である。教師データ生成装置1は物体検出装置100から取得した認識領域情報を用いて教師データを生成する。教師データ生成装置1は物体検出装置100へ教師データを出力する。物体検出装置100は教師データ生成装置1から取得した教師データを用いて、SAR画像に写る認識対象の検出に用いる新たな学習モデルを生成する。新たな学習モデルの生成は、他の装置が行うようにしてもよい。
【0013】
物体類別装置200は、物体検出装置100の検出した認識対象の類別を判定する。例えば物体検出装置100はSAR画像に写る航空機、船舶などを検出する。この場合、物体類別装置200は、航空機の種別(旅客機、戦闘機など)、船舶の種別(客船、コンテナ船、軍艦)などの類別を判定する。大きさ推定装置300は認識対象の大きさを推定し、物体検出装置100の判定した情報、物体類別装置200の判定した情報、大きさ推定装置300の判定した情報をそれぞれ記載した判定結果400を出力する。なお、物体検出装置100が、旅客機、戦闘機、ヘリコプター、客船、コンテナ船、軍艦などの認識対象を検出し、物体類別装置200は、旅客機の種別(型式や名称)、戦闘機の種別(型式や名称)、ヘリコプターの種別(型式や名称)、客船の種別(型式や名称)、コンテナ船の種別(型式や名称)、軍艦の種別(型式や名称)等を判定するものであってもよい。認識対象は上記に限らない。また物体検出装置100、物体類別装置200、大きさ推定装置300は、SAR画像以外の画像に写る認識対象についての各判定を行うようにしてもよい。
【0014】
図2はこの開示の一実施形態による教師データ生成装置のハードウェア構成を示す図である。図2で示すように、教師データ生成装置1は、例えば、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、他の記憶装置104、通信モジュール105等の各ハードウェアを備えたコンピュータである。物体検出装置100、物体類別装置200、大きさ推定装置300も同様のハードウェア構成を備えたコンピュータである。
【0015】
図3はこの開示の一実施形態による教師データ生成装置の機能ブロック図である。
教師データ生成装置1は予め記憶する教師データ生成プログラムを起動する。これにより教師データ生成装置1は、取得部11、セグメンテーション部12、補完部13、生成部14、データベース15、確認要請部16の各機能を発揮する。
【0016】
取得部11は、物体検出装置100が認識対象の認識処理により特定した認識領域情報であって、認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された認識対象であることの尤度とを少なくとも含む認識領域情報を取得する。
セグメンテーション部12は、単位領域ごとに付与された尤度に基づいて、認識領域情報が示す画像における認識対象の領域をセグメンテーションする。
補完部13は、セグメンテーションされた領域を補完処理する。
生成部14は、セグメンテーションされ補完された領域を含む画像を認識装置が認識対象の認識に利用する学習データ生成用の教師データとして生成する。
データベース15は各種処理に利用する情報を記憶する。
確認要請部16は、認識対象の確率情報とその閾値との比較に基づいてセグメンテーションの結果または補完結果を出力し、セグメンテーション処理または補完処理による認識対象の領域と他の領域との修正後の境界情報または当該結果の了承情報を取得する。
【0017】
図4は関連する教師データの第一の生成方法を示す図である。
図5は関連する教師データの第二の生成方法を示す図である。
図4で示す教師データの第一の生成方法では、認識対象では航空機が含まれる矩形状の範囲41を教師データと設定している。この場合、航空機ではない領域も含まれる。このような教師データを用いて機械学習して得られた学習モデルにより認識対象を認識した場合、認識対象以外の範囲の情報も学習することとなるため、認識対象の認識精度が低下する懸念がある。図5で示す教師データの生成方法では、人で航空機の輪郭を指定し、その輪郭51で囲まれた範囲を教師データとして設定している。画像に写る認識対象の状態に応じて認識対象の領域とそれ以外の領域の境界が分かりにくい場合もあり、このような教師データの生成方法では、労力がかかるとともに、人によって輪郭の指定にバラつきが出る。したがって、本開示の教師データ生成装置1は、認識装置である物体検出装置100の出力する認識領域情報であって、認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された認識対象であることの尤度とを少なくとも含む認識領域情報を用いる。
【0018】
図6はこの開示の一実施形態による認識領域情報の概要を示す図である。
図6で示すように物体検出装置100の出力する認識領域情報は、画素ごと、または縦横10画素などの任意サイズの画素領域ごとに、認識対象であることの尤度が付与されたSAR画像の認識対象を含む領域の画像を含む。この画像には認識対象の周辺領域が含まれている。認識領域情報は、物体検出装置100がSAR画像において検出した認識対象のラベル(航空機か船舶かなどの識別情報)と、そのラベルが示す認識対象であることの確率とを含んでよい。図6は画素の濃度に応じて尤度が高いか低いかを示した図である。画素または画素領域は単位領域の一例である。認識領域情報は、物体検出装置100が過去に生成された学習モデルを用いてSAR画像に写る認識対象を認識処理した結果である。当該学習モデルは図4図5で示した生成方法により生成した教師データを学習して得られたものであってよい。なお物体検出装置100が認識領域情報内の画素ごとまたは画素領域ごとに付与する認識対象であることの尤度の算出は物体検出装置100が物体認識の過程で公知の技術を用いて算出した値であってよく、当該尤度は、例えば特許第7056751号の段落0026等に記載される船舶指標値に対応してよい。また物体検出装置100が認識領域情報に付与する認識対象のラベルの確率の算出も物体検出装置100が物体認識の過程で公知の技術を用いて算出した値であってよい。
【0019】
図7はこの開示の一実施形態による教師データ生成装置の処理フローを示す第一の図である。
次に教師データ生成装置1の処理フローについて順を追って説明する。教師データ生成装置1の取得部11は、物体検出装置100から認識領域情報を取得する(ステップS101)。セグメンテーション部12は認識領域情報に含まれる画像内の単位領域ごとの尤度を読み取る。セグメンテーション部12は単位領域ごとの尤度とセグメンテーション閾値とに基づいて、セグメンテーション閾値以上の尤度を示す単位領域と、セグメンテーション閾値未満の尤度を示す単位領域との境界を特定する。セグメンテーション部12は、セグメンテーション閾値以上の尤度を示す単位領域のまとまりを認識対象候補の領域と特定する(ステップS102)。これによりセグメンテーション処理が完了する。セグメンテーションにより特定された認識対象候補の領域は、セグメンテーション閾値以上の尤度を示す単位領域が一つにまとった状態の場合や、セグメンテーション閾値以上の尤度を示す単位領域が画像内で離れて複数存在する場合などがある。セグメンテーション部12は、セグメンテーション結果を補完部13へ出力する。
【0020】
補完部13はセグメンテーション結果を取得する。補完部13はセグメンテーション結果において、尤度がセグメンテーション閾値未満であることにより認識対象候補の領域でないと判定された領域の尤度が、補完閾値以上であるかを判定する。補完部13はセグメンテーション閾値未満であることにより認識対象候補の領域でないと判定された領域の尤度が補完閾値以上である場合に(例えば、セグメンテーション閾値>補完閾値)、その領域は認識対象候補の領域に含むと判定する(ステップS103)。これは補完処理(クロージング処理)の一例である。補完部13は他の公知の手法によりクロージング処理を行うようにしてよい。補完部13は認識対象の正解パターンと比較して、セグメンテーション閾値未満であることにより認識対象候補の領域でないと判定された領域を、認識対象候補の領域に含むとする補完処理(クロージング処理)を行うようにしてもよい。補完部13は、補完処理として公知のオープニング処理を行うようにしてもよい。オープニング処理において認識対象の正解パターンと比較して一部の認識対象候補と判定された領域を認識対象以外の領域と変更してよい。補完部13は補完処理の結果により特定した認識対象候補の領域を生成部14へ出力する。
【0021】
生成部14は、セグメンテーション部12と補完部13とにより認識対象候補と判定された領域のみの画素による画像領域と、ラベルとを含む教師データを生成する(ステップS104)。生成部14は教師データを物体検出装置100に送信する(ステップS105)。教師データ生成装置1は同様に、同一または異なる複数の認識対象について教師データを繰り返し生成し、物体検出装置100へ送信する。これにより物体検出装置100は、教師データ生成装置1から取得した教師データ複数を用いて機械学習し、各認識対象を認識するための学習モデルを生成する。学習モデルの生成は他の装置が行ってよい。物体検出装置100は新たに生成した学習モデルを用いて、認識対象に関する次の認識処理を行う。
【0022】
上述の処理によれば、教師データ生成装置1が物体検出装置100の出力した認識領域情報を用いて人手を介さずに教師データを生成することができるため、教師データの生成効率を上げることができる。また上述の処理によれば、教師データ生成装置1がセグメンテーション処理と補完処理とにより自動的に認識対象の領域のみを含む教師データを生成することができるため、その教師データを用いた学習モデルの生成により、認識対象をより精度よく認識するための学習モデルを生成することができる。
【0023】
図8はこの開示の一実施形態による教師データ生成装置の処理フローを示す第二の図である。
ここでステップS103の補完処理が終わった後に、教師データ生成装置1の確認要請部16は認識領域情報に含まれる認識対象のラベルの確率が閾値以上か否かを判定してもよい。確認要請部16は、ラベルの確率が閾値未満である場合に、補完処理の結果を確認するようユーザに要請する。例えば確認要請部16は取得部11から認識領域情報を取得する。確認要請部16は認識領域情報に含まれるラベルの確率と、ラベルの閾値とを比較する(ステップS201)。認識領域情報に含まれるラベルの確率がラベルの閾値未満である場合、SAR画像において認識した認識対象が、そのラベルが示す認識対象に一致している可能性が低くなる。そのような場合には、確認要請部16は、管理者等のユーザに補完処理の結果の確認を受ける。
【0024】
確認要請部16は、認識領域情報に含まれるラベルの確率がラベルの閾値未満である場合、補完処理の結果、認識対象候補と判定された領域を示す画像情報をモニタ等に出力する(ステップS202)。ユーザはマウス等の入力装置を用いて、認識対象候補と判定された領域を確認し、その認識対象候補と判定された領域を修正する入力を行ってもよい。またはユーザはマウスやキーボード等の入力装置を用いて、認識対象候補と判定された領域について了承を示す情報を入力してもよい。当該入力は、教師データ生成装置1のウェブインタフェース機能を用いて行うようにしてよい。つまり、確認要請部16は、補完処理の結果、認識対象候補と判定された領域のみの画素による画像領域を示す画像情報ウェブページによりユーザの端末へ出力してよい。当該ウェブページには了承ボタンや、認識対象候補の領域を変更できる編集機能が設けられていてよい。確認要請部16は、ユーザの入力に基づいて、修正後の領域の境界情報に基づく認識対象候補の領域を示す画像や、了承情報を取得する(ステップS203)。確認要請部16は了承情報を取得した場合には補完部13による補完結果を生成部14へ出力する。生成部14は了承された認識対象候補と判定された領域のみの画素による画像領域と、ラベルとを含む教師データを生成する(ステップS104)。
【0025】
確認要請部16は、修正後の領域の境界情報に基づく認識対象候補の領域を示す画像を入力した場合には、その画像が示す認識対象候補の領域を生成部14へ出力する。この場合、生成部14は修正後の認識対象候補の領域のみの画素による画像領域と、ラベルとを含む教師データを生成する。
【0026】
上記確認要請部16の処理は、認識対象の確率情報とその閾値との比較に基づいて補完処理の結果を出力し、その補完処理による認識対象の領域と他の領域との修正後の境界情報または当該結果の了承情報を取得する処理の一例である。
【0027】
このような処理によれば、物体検出装置100において認識対象について判定されたラベルが認識対象に一致している可能性が低い場合でも、ユーザの確認を経てより精度よく、認識対象を認識するための学習モデルの生成に利用する教師データを作成することができる。
【0028】
図9はこの開示の一実施形態による補完処理の第一の例を示す図である。
図9の補完処理の例では、単位領域81と単位領域82の尤度がセグメンテーション閾値以下であったため、セグメンテーションにおいては認識対象候補の領域と判定されなかった例である。補完部13は単位領域81と単位領域82の尤度が補完閾値以上であったため、認識対象候補の領域と判定する。
【0029】
図10はこの開示の一実施形態による補完処理の第二の例を示す図である。
図10の補完処理の例では、単位領域81と単位領域82と単位領域91の尤度がセグメンテーション閾値以下であったため、セグメンテーションにおいては認識対象候補の領域と判定されなかった例である。補完部13は単位領域81と単位領域82の尤度が補完閾値以上であったため、認識対象候補の領域と判定する。また補完部13は正解データとの比較に基づいて単位領域91は認識対象候補の領域に含むと判定してもよい。
【0030】
図11はこの開示の他の実施形態による教師データ生成装置の一態様を示す図である。
図12はこの開示の他の実施形態による教師データ生成装置の処理フローを示す図である。
教師データ生成装置1は、取得部11、セグメンテーション部12、生成部14を備える。
取得部11は、認識装置が認識対象の認識処理により特定した認識領域情報であって、認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された認識対象であることの尤度とを少なくとも含む認識領域情報を取得する(ステップS301)。
セグメンテーション部12は、単位領域ごとに付与された前記尤度に基づいて、認識領域情報が示す画像における認識対象の領域をセグメンテーションする(ステップS302)。
生成部14は、セグメンテーションされた領域のみを含む画像を認識装置が認識対象の認識に利用する学習データ生成用の教師データとして生成する(ステップS303)。
【0031】
上述の説明において教師データ生成装置1は物体検出装置100が物体検出するための学習モデルの生成に利用する教師データを生成することについて説明した。しかしながら教師データ生成装置1は、物体類別装置200が物体類別のための学習モデルの生成に利用する教師データを同様の処理により生成してもよい。この場合、教師データ生成装置1は、物体類別装置200が認識対象の認識処理により特定した認識領域情報であって、認識対象とその領域を含む画像と、当該画像における単位領域ごとに物体検出装置100が付与した認識対象であることの尤度とを少なくとも含む認識領域情報を取得する。そして教師データ生成装置1は、単位領域ごとに付与された尤度に基づいて、認識領域情報が示す画像における認識対象の領域をセグメンテーションし、セグメンテーションされた領域を含む画像を物体類別装置200が認識対象の認識に利用する学習データ生成用の教師データとして生成する。
【0032】
または教師データ生成装置1は、大きさ推定装置300が大きさ推定のための学習モデルの生成に利用する教師データを同様の処理により生成してもよい。この場合、教師データ生成装置1は、大きさ推定装置300が認識対象の大きさの認識処理において特定した認識領域情報であって、認識対象とその領域を含む画像と、当該画像における単位領域ごとに物体検出装置100が付与した認識対象であることの尤度とを少なくとも含む認識領域情報を取得する。そして教師データ生成装置1は、単位領域ごとに付与された尤度に基づいて、認識領域情報が示す画像における認識対象の領域をセグメンテーションし、セグメンテーションされた領域を含む画像を大きさ推定装置300が認識対象の大きさの認識に利用する学習データ生成用の教師データとして生成する。
【0033】
上記の教師データ生成装置1が実行するプログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0034】
以上、この開示の教師データ生成装置1を説明したが、この開示は上述の実施の形態に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
【0035】
なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0036】
(付記1)
認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得する取得手段と、
前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションするセグメンテーション手段と、
前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する生成手段と、
を備える教師データ生成装置。
【0037】
(付記2)
前記セグメンテーションされた領域を補完する補完手段と、
を備え、
前記生成手段は、前記セグメンテーションされ前記補完された領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する
付記1に記載の教師データ生成装置。
【0038】
(付記3)
前記認識領域情報は、前記認識処理により認識した前記認識対象のラベル情報と当該ラベル情報が示す認識対象である確率を示す確率情報とをさらに含み、
前記認識対象の確率情報とその閾値との比較に基づいて前記補完の結果を出力し、補完後の前記認識対象の領域と他の領域との修正後の境界情報または当該結果の了承情報を取得する確認要請手段を備え、
前記生成手段は、前記修正後の境界情報または当該結果の了承情報に基づいて特定した領域の画像を示す前記教師データを生成する
付記2に記載の教師データ生成装置。
【0039】
(付記4)
前記セグメンテーション手段は、前記認識装置は衛星画像に含まれる前記認識対象の認識処理により特定した前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記補完手段は、前記認識対象の正解データと、前記セグメンテーションの結果とに基づいて、前記セグメンテーションされた領域を前記補完する
付記3に記載の教師データ生成装置。
【0040】
(付記5)
前記セグメンテーション手段は、前記認識装置は衛星画像に含まれる前記認識対象の認識処理により特定した前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記補完手段は、前記セグメンテーションの結果が示す複数の前記認識対象の領域をクロージング処理またはオープニング処理により前記補完する
付記3に記載の教師データ生成装置。
【0041】
(付記6)
認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得し、
前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する
教師データ生成方法。
【0042】
(付記7)
前記セグメンテーションされた領域を補完し、
前記セグメンテーションされ前記補完された領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する
付記6に記載の教師データ生成方法。
【0043】
(付記8)
前記認識領域情報は、前記認識処理により認識した前記認識対象のラベル情報と当該ラベル情報が示す認識対象である確率を示す確率情報とをさらに含み、
前記認識対象の確率情報とその閾値との比較に基づいて前記補完の結果を出力し、補完後の前記認識対象の領域と他の領域との修正後の境界情報または当該結果の了承情報を取得し、
前記修正後の境界情報または当該結果の了承情報に基づいて特定した領域の画像を示す前記教師データを生成する
付記7に記載の教師データ生成方法。
【0044】
(付記9)
前記認識装置は衛星画像に含まれる前記認識対象の認識処理により特定した前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記認識対象の正解データと、前記セグメンテーションの結果とに基づいて、前記セグメンテーションされた領域を前記補完する
付記8に記載の教師データ生成方法。
【0045】
(付記10)
前記認識装置は衛星画像に含まれる前記認識対象の認識処理により特定した前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記セグメンテーションの結果が示す複数の前記認識対象の領域をクロージング処理またはオープニング処理により前記補完する
付記8に記載の教師データ生成方法。
【0046】
(付記11)
コンピュータを、
認識装置が認識対象の認識処理により特定した認識領域情報であって、前記認識対象とその領域を含む画像と、当該画像における単位領域ごとに付与された前記認識対象であることの尤度とを少なくとも含む前記認識領域情報を取得する取得手段、
前記単位領域ごとに付与された前記尤度に基づいて、前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションするセグメンテーション手段、
前記セグメンテーションされた領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する生成手段、
として機能させるプログラム。
【0047】
(付記12)
前記セグメンテーションされた領域を補完する補完手段として機能させ、
前記生成手段は、前記セグメンテーションされ前記補完された領域を含む画像を前記認識装置が前記認識対象の認識に利用する学習データ生成用の教師データとして生成する
付記11に記載のプログラム。
【0048】
(付記13)
前記認識領域情報は、前記認識処理により認識した前記認識対象のラベル情報と当該ラベル情報が示す認識対象である確率を示す確率情報とをさらに含み、
前記認識対象の確率情報とその閾値との比較に基づいて前記補完の結果を出力し、補完後の前記認識対象の領域と他の領域との修正後の境界情報または当該結果の了承情報を取得する確認要請手段として機能させ、
前記生成手段は、前記修正後の境界情報または当該結果の了承情報に基づいて特定した領域の画像を示す前記教師データを生成する
付記12に記載のプログラム。
【0049】
(付記14)
前記セグメンテーション手段は、前記認識装置は衛星画像に含まれる前記認識対象の認識処理により特定した前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記補完手段は、前記認識対象の正解データと、前記セグメンテーションの結果とに基づいて、前記セグメンテーションされた領域を前記補完する
付記13に記載のプログラム。
【0050】
(付記15)
前記セグメンテーション手段は、前記認識装置は衛星画像に含まれる前記認識対象の認識処理により特定した前記認識領域情報が示す画像における前記認識対象の領域をセグメンテーションし、
前記補完手段は、前記セグメンテーションの結果が示す複数の前記認識対象の領域をクロージング処理またはオープニング処理により前記補完する
付記13に記載のプログラム。
【符号の説明】
【0051】
1・・・教師データ生成装置
11・・・取得部
12・・・セグメンテーション部
13・・・補完部
14・・・生成部
15・・・データベース
16・・・確認要請部
100・・・物体検出装置
200・・・物体類別装置
300・・・大きさ推定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12