(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024098360
(43)【公開日】2024-07-23
(54)【発明の名称】識別装置、識別方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240716BHJP
G06V 20/10 20220101ALI20240716BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 640
G06V20/10
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023001827
(22)【出願日】2023-01-10
(11)【特許番号】
(45)【特許公報発行日】2024-01-09
(71)【出願人】
【識別番号】000135771
【氏名又は名称】株式会社パスコ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(74)【代理人】
【氏名又は名称】阿形 直起
(72)【発明者】
【氏名】大津 光巧
(72)【発明者】
【氏名】中村 翔
(72)【発明者】
【氏名】冨田 茂
(72)【発明者】
【氏名】洲濱 智幸
(72)【発明者】
【氏名】島崎 康信
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】対象画像を識別するとともに対象画像の識別結果の正確性を評価することを可能とする識別装置、識別方法およびプログラムを提供する。
【解決手段】識別装置は、画像が入力された場合に画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、識別結果の不確実性を示す評価指標と識別結果の正確性を示す評価指標との対応関係を記憶する記憶部と、識別対象画像を取得する取得部と、取得した識別対象画像を学習済みモデルに入力することにより、識別対象画像の識別結果と識別結果の不確実性を示す評価指標とを推定する推定部と、対応関係に基づいて、推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出する算出部と、推定された識別結果と算出された正確性を示す評価指標とを出力する出力部と、を有する。
【選択図】図４
【解決手段】識別装置は、画像が入力された場合に画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、識別結果の不確実性を示す評価指標と識別結果の正確性を示す評価指標との対応関係を記憶する記憶部と、識別対象画像を取得する取得部と、取得した識別対象画像を学習済みモデルに入力することにより、識別対象画像の識別結果と識別結果の不確実性を示す評価指標とを推定する推定部と、対応関係に基づいて、推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出する算出部と、推定された識別結果と算出された正確性を示す評価指標とを出力する出力部と、を有する。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像が入力された場合に当該画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、前記識別結果の不確実性を示す評価指標と前記識別結果の正確性を示す評価指標との対応関係を記憶する記憶部と、
識別対象画像を取得する取得部と、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定する推定部と、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出する算出部と、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する出力部と、
を有することを特徴とする識別装置。
識別対象画像を取得する取得部と、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定する推定部と、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出する算出部と、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する出力部と、
を有することを特徴とする識別装置。
【請求項2】
複数の評価用画像と各評価用画像の識別結果とを含む評価用データを取得する第２取得部と、
前記評価用画像を前記学習済みモデルに入力することにより、前記評価用画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定する第２推定部と、
前記評価用データに含まれる識別結果と前記第２推定部により推定された識別結果とを比較することにより、前記推定された識別結果の正確性を示す評価指標を算出する第２算出部と、
前記第２推定部により推定された不確実性を示す評価指標と前記第２算出部により算出された正確性を示す評価指標とに基づいて前記対応関係を生成して前記記憶部に記憶する生成部と、をさらに有する、
請求項１に記載の識別装置。
前記評価用画像を前記学習済みモデルに入力することにより、前記評価用画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定する第２推定部と、
前記評価用データに含まれる識別結果と前記第２推定部により推定された識別結果とを比較することにより、前記推定された識別結果の正確性を示す評価指標を算出する第２算出部と、
前記第２推定部により推定された不確実性を示す評価指標と前記第２算出部により算出された正確性を示す評価指標とに基づいて前記対応関係を生成して前記記憶部に記憶する生成部と、をさらに有する、
請求項１に記載の識別装置。
【請求項3】
前記記憶部は、前記対応関係として、前記不確実性を示す評価指標の範囲と前記正確性を示す評価指標とを相互に関連付けて記憶し、
前記算出部は、前記推定された不確実性を示す評価指標が含まれる範囲に関連付けられた正確性を示す評価指標を前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標として算出する、
請求項１に記載の識別装置。
前記算出部は、前記推定された不確実性を示す評価指標が含まれる範囲に関連付けられた正確性を示す評価指標を前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標として算出する、
請求項１に記載の識別装置。
【請求項4】
前記識別対象画像は、所定の地理的領域を上空から撮像した画像である、
請求項１に記載の識別装置。
請求項１に記載の識別装置。
【請求項5】
前記出力部は、複数の前記識別対象画像を各識別対象画像に含まれる地理的領域の関係に基づいて配置し、かつ各識別対象画像の正確性を示す評価指標に応じた態様で表示する画像を生成して出力する、
請求項４に記載の識別装置。
請求項４に記載の識別装置。
【請求項6】
画像が入力された場合に当該画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、前記識別結果の不確実性を示す評価指標と前記識別結果の正確性を示す評価指標との対応関係を記憶し、
識別対象画像を取得し、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定し、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する、
ことを含むことを特徴とする識別方法。
識別対象画像を取得し、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定し、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する、
ことを含むことを特徴とする識別方法。
【請求項7】
画像が入力された場合に当該画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、前記識別結果の不確実性を示す評価指標と前記識別結果の正確性を示す評価指標との対応関係を記憶する記憶部を有するコンピュータのプログラムであって、
識別対象画像を取得し、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定し、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する、
ことを前記コンピュータに実行させることを特徴とするプログラム。
識別対象画像を取得し、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定し、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する、
ことを前記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、識別装置、識別方法およびプログラムに関する。
【背景技術】
【0002】
画像分類モデルを用いて、地上を撮影した衛星画像をその土地被覆の種類等に応じて分類する技術が注目されている。このような学習済みモデルを用いた画像分類において、学習済みモデルの精度を評価することは重要である。特許文献１には、評価データを用いて複数の検出器のそれぞれの検出精度を評価し、検出精度に基づいて入力対象データに適用される検出器を選択する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１７５１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の方法は、学習済みモデルの評価データに対する精度を評価することはできるが、入力データごとに精度を評価することはできない。
【0005】
本発明は、上述の課題を解決するためになされたものであり、対象画像を識別するとともに対象画像の識別結果の正確性を評価することを可能とする識別装置、識別方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の実施形態に係る識別装置は、画像が入力された場合に画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、識別結果の不確実性を示す評価指標と識別結果の正確性を示す評価指標との対応関係を記憶する記憶部と、識別対象画像を取得する取得部と、取得した識別対象画像を学習済みモデルに入力することにより、識別対象画像の識別結果と識別結果の不確実性を示す評価指標とを推定する推定部と、対応関係に基づいて、推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出する算出部と、推定された識別結果と算出された正確性を示す評価指標とを出力する出力部と、を有することを特徴とする。
【0007】
また、識別装置は、複数の評価用画像と各評価用画像の識別結果とを含む評価用データを取得する第２取得部と、評価用画像を学習済みモデルに入力することにより、評価用画像の識別結果と識別結果の不確実性を示す評価指標とを推定する第２推定部と、評価用データに含まれる識別結果と第２推定部により推定された識別結果とを比較することにより、推定された識別結果の正確性を示す評価指標を算出する第２算出部と、第２推定部により推定された不確実性を示す評価指標と第２算出部により算出された正確性を示す評価指標とに基づいて対応関係を生成して記憶部に記憶する生成部と、をさらに有することが好ましい。
【0008】
また、記憶部は、対応関係として、不確実性を示す評価指標の範囲と正確性を示す評価指標とを相互に関連付けて記憶し、算出部は、推定された不確実性を示す評価指標が含まれる範囲に関連付けられた正確性を示す評価指標を推定された不確実性を示す評価指標に対応する正確性を示す評価指標として算出することが好ましい。
【0009】
また、識別対象画像は、所定の地理的領域を上空から撮像した画像であることが好ましい。
【0010】
また、出力部は、複数の識別対象画像を各識別対象画像に含まれる地理的領域の関係に基づいて配置し、かつ各識別対象画像の正確性を示す評価指標に応じた態様で表示する画像を生成して出力することが好ましい。
【0011】
本発明の実施形態に係る識別方法は、画像が入力された場合に画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、識別結果の不確実性を示す評価指標と識別結果の正確性を示す評価指標との対応関係を記憶し、識別対象画像を取得し、取得した識別対象画像を学習済みモデルに入力することにより、識別対象画像の識別結果と識別結果の不確実性を示す評価指標とを推定し、対応関係に基づいて、推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、推定された識別結果と算出された正確性を示す評価指標とを出力する、ことを含むことを特徴とする。
【0012】
本発明の実施形態に係るプログラムは、画像が入力された場合に画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、識別結果の不確実性を示す評価指標と識別結果の正確性を示す評価指標との対応関係を記憶する記憶部を有するコンピュータのプログラムであって、識別対象画像を取得し、取得した識別対象画像を学習済みモデルに入力することにより、識別対象画像の識別結果と識別結果の不確実性を示す評価指標とを推定し、対応関係に基づいて、推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、推定された識別結果と算出された正確性を示す評価指標とを出力する、ことをコンピュータに実行させることを特徴とする。
【発明の効果】
【0013】
本発明に係る識別装置、識別方法およびプログラムは、対象画像を識別するとともに対象画像の識別結果の正確性を評価することを可能とする。
【図面の簡単な説明】
【0014】
【図1】識別装置１の機能ブロック図である。
【図2】対応関係テーブルＴ１のデータ構造の例を示す図である。
【図3】生成処理の流れの例を示すフロー図である。
【図4】識別処理の流れの例を示すフロー図である。
【図5】識別結果画像Ｇ１の例を示す図である。
【発明を実施するための形態】
【0015】
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明及びその均等物に及ぶ点に留意されたい。
【0016】
図１は、本発明の実施形態に係る識別装置１の機能ブロック図である。識別装置１は、学習済みモデルを用いて、所定の地理的領域を上空から撮像した衛星画像の識別結果と識別結果の不確実性（Uncertainty）を示す評価指標とを推定する。識別結果は、識別対象画像が検出対象を含むか否かを示す情報であり、例えば、樹木が枯死している地理的領域を含む枯死画像であるか否かを示す情報である。識別結果は、識別対象画像が入力されたときの学習済みモデルの出力を閾値と比較することにより得られる。識別結果の不確実性を示す評価指標は、学習済みモデルに微小な変調を加え生成された複数モデルに識別対象画像を入力したときの出力による分布に関する指標である。識別装置１は、あらかじめ記憶された識別結果の不確実性を示す評価指標と識別結果の正確性を示す評価指標との対応関係に基づいて、識別結果の正確性を示す評価指標を算出する。
【0017】
識別結果の正確性を示す評価指標は、推定された識別結果が真の識別結果と一致する可能性の大きさに関する指標である。一般には、不確実性が大きくなると正確性が低くなると考えられる。しかし、識別対象画像によっては、不確実性は大きいが正確性が高い場合や、不確実性は小さいが正確性が低い場合がある。したがって、不確実性を示す評価指標と正確性を示す評価指標とは別個の指標である。以下では、不確実性を示す評価指標および正確性を示す評価指標を、それぞれ単に「不確実性」および「正確性」と称することがある。
【0018】
識別装置１は、ＰＣ（Personal Computer）、サーバ、スマートフォン、携帯電話機、携帯ゲーム機等の情報処理装置である。識別装置１は、記憶部１１、通信部１２、表示部１３および処理部１４を有する。
【0019】
記憶部１１は、プログラムおよびデータを記憶するための構成であり、例えば半導体メモリを備える。記憶部１１は、プログラムとして、処理部１４による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等を記憶する。プログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ読取可能かつ非一時的な可搬型記憶媒体から記憶部１１にインストールされる。
【0020】
通信部１２は、識別装置１を他の装置と通信可能にする構成であり、通信インタフェース回路を備える。通信部１２が備える通信インタフェース回路は、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等の通信インタフェース回路である。通信部１２は、データを他の装置から受信して処理部１４に供給するとともに、処理部１４から供給されたデータを他の装置に送信する。
【0021】
表示部１３は、画像を表示するための構成であり、例えば液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイを備える。表示部１３は、処理部１４から供給された画像データに基づいて画像を表示する。
【0022】
処理部１４は、識別装置１の動作を統括的に制御する構成であり、一つまたは複数のプロセッサおよびその周辺回路を備える。処理部１４は、例えば、ＣＰＵ（Central Processing Unit）を備える。処理部１４は、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を備えてもよい。処理部１４は、記憶部１１に記憶されているプログラムに基づいて識別装置１の各種処理が適切な手順で実行されるように、各構成の動作を制御するとともに、各種の処理を実行する。
【0023】
処理部１４は、学習部１４１、事前取得部１４２、事前推定部１４３、事前算出部１４４、生成部１４５、取得部１４６、推定部１４７、算出部１４８および出力部１４９を機能ブロックとして有する。これらの各部は、処理部１４がプログラムを実行することによって実現される機能モジュールである。これらの各部は、専用の演算回路として識別装置１に実装されてもよい。なお、事前取得部１４２、事前推定部１４３および事前算出部１４４は、それぞれ第２取得部、第２推定部、第２算出部の一例である。
【0024】
図２は、記憶部１１に記憶される対応関係テーブルＴ１のデータ構造の例を示す図である。対応関係テーブルＴ１は、不確実性と正確性との対応関係を記憶する。例えば、対応関係テーブルＴ１は、不確実性の範囲と正確性とを相互に関連付けて記憶する。
【0025】
正確性は、画像について学習済みモデルが出力した識別結果と、画像についてあらかじめ設定された識別結果である正解ラベルとを比較することにより算出される値である。正確性は、正解率、ＴＰＲ（True Positive Rate）およびＦＰＲ（False Positive Rate）を含む。正解率は、識別結果が正解ラベルと一致した割合である。ＴＰＲは、画像が検出対象を含むと識別結果が示した場合のうち、画像が検出対象を含むと正解ラベルが示した場合の比率である。ＦＰＲは、画像が検出対象を含まないと識別結果が示した場合のうち、画像が検出対象を含むと正解ラベルが示した場合の比率である。
【0026】
対応関係テーブルＴ１は、後述する生成処理において生成される。
【0027】
図３は、識別装置１によって実行される生成処理の流れの例を示すフロー図である。生成処理は、不確実性と正確性との対応関係を示す対応関係テーブルＴ１を生成するための処理である。生成処理は、記憶部１１に記憶されたプログラムに基づいて、処理部１４が識別装置１の他の構成と協働することにより実現される。
【0028】
最初に、学習部１４１は、学習モデルを学習させることにより学習済みモデルを生成して記憶部１１に記憶する（ステップＳ１０１）。学習部１４１は、記憶部１１から学習モデルおよび学習用データを取得する。学習モデルは、画像分類に適用可能なニューラルネットワークであり、例えば畳み込みニューラルネットワークである。学習用データは、衛星画像である複数の学習用画像と各学習用画像についてあらかじめ設定された識別結果である正解ラベルとを含むデータである。
【0029】
学習部１４１は、学習用データを用いて、画像が入力された場合に画像の識別結果を出力するように学習モデルを学習させる。学習部１４１は、学習用画像が入力されたときの学習済みモデルの出力と正解ラベルとの誤差が小さくなるように学習モデルのパラメータを更新することにより学習モデルを学習させる。誤差は、例えば交差エントロピー誤差である。パラメータは、誤差逆伝搬法と、最急降下法、確率的勾配降下法等の勾配降下法とを用いて更新される。
【0030】
学習部１４１は、学習によって生成された学習済みモデルを記憶部１１に記憶する。
【0031】
次に、事前取得部１４２は、記憶部１１から評価用データを取得する（ステップＳ１０２）。評価用データは、衛星画像である複数の評価用画像と各評価用画像についてあらかじめ設定された識別結果である正解ラベルとを含むデータである。評価用データは、学習用データと同一のデータでもよく、異なるデータでもよい。例えば、評価用データは、学習用データのうちの一部のデータでもよい。
【0032】
次に、事前推定部１４３は、評価用画像を学習済みモデルに入力することにより、評価用画像の識別結果と識別結果の不確実性とを推定する（ステップＳ１０３）。事前推定部１４３は、評価用画像が入力されたときの学習済みモデルの出力を閾値と比較することにより評価用画像の識別結果を推定する。また、事前推定部１４３は、モンテカルロドロップアウト法を用いて、学習済みモデルの出力に基づいて各評価用画像の識別結果の不確実性を推定する。
【0033】
モンテカルロドロップアウト法は、学習済みモデルの不確実性を算出する方法である。モンテカルロドロップアウト法では、学習済みモデルのノードのうちからランダムに選択されたノードの重みがゼロに設定された状態で、同一の入力データが繰り返し学習済みモデルに入力される。重みがゼロに設定されたノードに応じて学習済みモデルの出力が変化するため、学習済みモデルの出力は予測分布に従う確率変数であるとみなされる。この予測分布に基づいて学習済みモデルの不確実性が推定されることが知られている（例えば、Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning, Y. Gal, Z. Ghahramani, Proceedings of ICML, 2016を参照）。
【0034】
事前推定部１４３は、重みがゼロに設定されるノードを異ならせながら、同一の評価用画像を所定回数だけ繰り返し学習済みモデルに入力する。事前推定部１４３は、学習済みモデルの出力に基づいて正規分布である予測分布を算出する。事前推定部１４３は、予測分布に基づいて識別結果の不確実性を推定する。例えば、事前推定部１４３は、識別結果の不確実性の推定値として、学習済みモデルの出力のエントロピーを予測分布に基づいて算出する。事前推定部１４３は、予測分布の分散を識別結果の不確実性の推定値として算出してもよい。
【0035】
次に、事前算出部１４４は、正解ラベルと学習済みモデルの識別結果とを比較することにより、学習済みモデルの識別結果の正確性を算出する（ステップＳ１０４）。事前算出部１４４は、複数の評価用画像を、各評価用画像の識別結果の不確実性に基づいて複数のグループに分類する。例えば、事前算出部１４４は、各評価用画像の識別結果の不確実性の値が、あらかじめ設定された複数の数値範囲のいずれに属するかに基づいて評価用画像を分類する。事前算出部１４４は、各グループに含まれる評価用画像の正解ラベルと学習済みモデルの識別結果とを比較することにより、各グループにおける識別結果の正解率、ＴＰＲおよびＦＰＲを算出する。
【0036】
次に、生成部１４５は、不確実性と正確性とに基づいて対応関係テーブルＴ１を生成して記憶部１１に記憶する（ステップＳ１０５）。生成部１４５は、あらかじめ設定された複数の不確実性の数値範囲と、各数値範囲に対応するグループについて算出された正確性を関連付けることにより、対応関係テーブルＴ１を生成する。以上で、生成処理が終了する。
【0037】
図４は、識別装置１によって実行される識別処理の流れの例を示すフロー図である。識別処理は、識別対象画像を識別するとともに、識別結果の正確性を算出するための処理である。識別処理は、対応関係テーブルＴ１が記憶部１１に記憶されている状態で実行される。対応関係生成処理は、記憶部１１に記憶されたプログラムに基づいて、処理部１４が識別装置１の他の構成と協働することにより実現される。
【0038】
最初に、取得部１４６は、識別対象画像を取得する（ステップＳ２０１）。例えば、取得部１４６は、通信部１２を介して、識別対象画像を他の装置から受信することにより取得する。
【0039】
次に、推定部１４７は、取得した識別対象画像を学習済みモデルに入力することにより、識別対象画像の識別結果と識別結果の不確実性とを推定する（ステップＳ２０２）。推定部１４７は、識別対象画像が入力されたときの学習済みモデルの出力を閾値と比較することにより識別対象画像の識別結果を推定する。また、推定部１４７は、生成処理のステップＳ１０３と同様にして、モンテカルロドロップアウト法を用いて、学習済みモデルの出力に基づいて識別対象画像の識別結果の不確実性を推定する。
【0040】
次に、算出部１４８は、対応関係テーブルＴ１に基づいて、推定された不確実性に対応する正確性を算出する（ステップＳ２０３）。算出部１４８は、対応関係テーブルＴ１において、推定された不確実性が含まれる範囲に関連付けられた正確性を推定された不確実性に対応する正確性として算出する。
【0041】
次に、出力部１４９は、推定された識別結果と算出された正確性とを出力する（ステップＳ２０４）。例えば、出力部１４９は、複数の識別対象画像を各識別対象画像に含まれる地理的領域の関係に基づいて配置し、かつ各識別対象画像を識別結果と識別結果の正確性とに応じた態様で表示する識別結果画像の表示データを生成する。出力部１４９は、生成された表示データに基づいて、識別結果画像を表示部１３に表示することにより、識別結果と正確性とを出力する。以上で、識別処理が終了する。
【0042】
図５は、表示部１３に表示される識別結果画像Ｇ１の例を示す図である。識別結果画像Ｇ１は、複数の識別対象画像を各識別対象画像に含まれる地理的領域の関係に基づいて配置した画像である。図５に示す例では、各識別対象画像の境界が白破線により図示されている。識別結果画像Ｇ１に含まれる各識別対象画像は、識別結果および正確性に応じて異なる態様で表示される。図５に示す例では、領域Ａ１に含まれる、学習済みモデルによって枯死画像であると識別された識別対象画像はハッチングを施して表示されている。また、領域Ａ２に含まれる、正確性が閾値未満である識別対象画像は半透明の白塗りで表示されている。
【0043】
以上説明したように、識別装置１は、画像が入力された場合に画像の識別結果と識別結果の不確実性とを出力するように学習された学習済みモデルを記憶するとともに、不確実性と正確性との対応関係を示す対応関係テーブルＴ１を記憶する。識別装置１は、識別対象画像を学習済みモデルに入力することにより識別対象画像の識別結果と識別結果の不確実性とを推定し、対応関係テーブルＴ１に基づいて、推定された不確実性に対応する正確性を算出する。このようにすることで、識別装置１は、対象画像を識別するとともに対象画像の識別結果の正確性を評価することを可能とする。
【0044】
従来、あらかじめ用意された評価用データについての学習済みモデルの出力の正確性に基づいて学習済みモデルの正確性を評価する手法が知られている。しかし、この方法では既知の評価用データに対する正確性が評価されるのみであり、未知の識別対象データに対する正確性は評価されない。また、モンテカルロドロップアウト法等の、識別対象データに対する学習済みモデルの出力の不確実性を算出する方法が知られている。しかし、上述したように、不確実性は、学習済みモデルの利用者が一般に関心を寄せている正確性とは別個の指標である。識別装置１は、あらかじめ不確実性と正確性との対応関係を記憶することにより、未知の識別対象画像に対する正確性を評価することを可能とする。
【0045】
また、識別装置１は、対応関係として、不確実性の範囲と正確性とを相互に関連付けて記憶し、推定された不確実性が含まれる範囲に関連付けられた正確性を推定された不確実性に対応する正確性として算出する。このように、あらかじめ不確実性の範囲と正確性とが関連付けられることにより、識別装置１は、対象画像の識別結果の正確性を容易に評価することを可能とする。
【0046】
また、識別装置１は、複数の識別対象画像を各識別対象画像に含まれる地理的領域の関係に基づいて配置し、かつ各識別対象画像に対応する正確性に応じた態様で表示する識別結果画像を生成して出力する。これにより、識別装置１は、識別結果の正確性が低い地理的領域を利用者が容易に把握することを可能とする。
【0047】
識別装置１には、次に述べるような変形例が適用されてもよい。
【0048】
上述した説明では、不確実性と正確性との対応関係として、不確実性の範囲と正確性とを相互に関連付けた対応関係テーブルＴ１が記憶されるものとしたが、このような例に限られない。例えば、不確実性と正確性との対応関係を示す回帰直線または回帰曲線が記憶されてもよい。この場合、生成処理のステップＳ１０５において、生成部１４５は、最小二乗法等の近似法を用いて回帰直線または回帰曲線を算出する。また、識別処理のステップＳ２０３において、算出部１４８は、回帰直線または回帰曲線に基づいて、推定された不確実性に対応する正確性を算出する。また、不確実性と正確性との対応関係として、不確実性が入力された場合に正確性を出力するように学習された学習済みモデルが記憶されてもよい。学習済みモデルは、例えばニューラルネットワーク、決定木等である。
【0049】
上述した説明では、識別装置１が生成処理を実行することにより対応関係テーブルＴ１が生成されて記憶部１１に記憶されるものとしたが、このような例に限られない。識別装置１は、通信部１２を介して、他の装置によって生成された対応関係テーブルＴ１を取得して記憶部１１に記憶してもよい。
【0050】
上述した説明では、生成処理において、事前推定部１４３がモンテカルロドロップアウト法を用いて識別結果の不確実性を推定するものとしたが、このような例に限られない。例えば、ステップＳ１０１において、学習部１４１は、相互に異なる学習用データを用いて複数の学習モデルを学習させる。相互に異なる学習用データは、例えば、複数の学習用画像のうちから、相互に異なる一部の学習用画像を除くことにより生成される。また、ステップＳ１０３において、事前推定部１４３は相互に異なる学習用データで学習された複数の学習済みモデルのそれぞれに同一の評価用画像を入力し、複数の学習済みモデルの出力をそれぞれ取得する。事前推定部１４３は、複数の出力に基づいて予測分布を算出し、予測分布に基づいて識別結果の不確実性を推定する。
【0051】
上述した説明では、識別結果画像Ｇ１は複数の識別対象画像を各識別対象画像に含まれる地理的領域の関係に基づいて配置し、かつ各識別対象画像を識別結果および正確性に応じて異なる態様で表示するものとしたが、このような例に限られない。識別結果画像Ｇ１は、各識別対象画像を、識別結果および正確性のうち、正確性のみに応じて異なる態様で表示するものであってもよい。
【0052】
上述した説明では、識別処理のステップＳ２０４において、出力部１４９は複数の識別対象画像を各識別対象画像に含まれる地理的領域の関係に基づいて配置した識別結果画像Ｇ１を生成して出力するものとしたが、このような例に限られない。例えば、出力部１４９は、通信部１２を介して、識別対象画像、識別結果および正確性を相互に関連付けたデータを他の装置に送信することにより出力してもよい。
【0053】
上述した識別装置１の機能は、複数の装置によって実現されてもよい。
【0054】
当業者は、本発明の範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。
【符号の説明】
【0055】
１ 識別装置
１４１ 学習部
１４２ 事前取得部
１４３ 事前推定部
１４４ 事前算出部
１４５ 生成部
１４６ 取得部
１４７ 推定部
１４８ 算出部
１４９ 出力部
１４１ 学習部
１４２ 事前取得部
１４３ 事前推定部
１４４ 事前算出部
１４５ 生成部
１４６ 取得部
１４７ 推定部
１４８ 算出部
１４９ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-11-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像が入力された場合に当該画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、前記識別結果の不確実性を示す評価指標と前記識別結果の正確性を示す評価指標との対応関係を記憶する記憶部と、
識別対象画像を取得する取得部と、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定する推定部と、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出する算出部と、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する出力部と、
を有し、
前記推定部により推定された識別結果の不確実性を示す評価指標は、前記学習済みモデルに変調を加えて生成された複数のモデルに前記識別対象画像を入力したときの出力の分布に基づいて算出される指標である、
ことを特徴とする識別装置。
識別対象画像を取得する取得部と、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定する推定部と、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出する算出部と、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する出力部と、
を有し、
前記推定部により推定された識別結果の不確実性を示す評価指標は、前記学習済みモデルに変調を加えて生成された複数のモデルに前記識別対象画像を入力したときの出力の分布に基づいて算出される指標である、
ことを特徴とする識別装置。
【請求項2】
複数の評価用画像と各評価用画像の識別結果とを含む評価用データを取得する第２取得部と、
前記評価用画像を前記学習済みモデルに入力することにより、前記評価用画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定する第２推定部と、
前記評価用データに含まれる識別結果と前記第２推定部により推定された識別結果とを比較することにより、前記推定された識別結果の正確性を示す評価指標を算出する第２算出部と、
前記第２推定部により推定された不確実性を示す評価指標と前記第２算出部により算出された正確性を示す評価指標とに基づいて前記対応関係を生成して前記記憶部に記憶する生成部と、をさらに有する、
請求項１に記載の識別装置。
前記評価用画像を前記学習済みモデルに入力することにより、前記評価用画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定する第２推定部と、
前記評価用データに含まれる識別結果と前記第２推定部により推定された識別結果とを比較することにより、前記推定された識別結果の正確性を示す評価指標を算出する第２算出部と、
前記第２推定部により推定された不確実性を示す評価指標と前記第２算出部により算出された正確性を示す評価指標とに基づいて前記対応関係を生成して前記記憶部に記憶する生成部と、をさらに有する、
請求項１に記載の識別装置。
【請求項3】
前記記憶部は、前記対応関係として、前記不確実性を示す評価指標の範囲と前記正確性を示す評価指標とを相互に関連付けて記憶し、
前記算出部は、前記推定された不確実性を示す評価指標が含まれる範囲に関連付けられた正確性を示す評価指標を前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標として算出する、
請求項１に記載の識別装置。
前記算出部は、前記推定された不確実性を示す評価指標が含まれる範囲に関連付けられた正確性を示す評価指標を前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標として算出する、
請求項１に記載の識別装置。
【請求項4】
前記識別対象画像は、所定の地理的領域を上空から撮像した画像である、
請求項１に記載の識別装置。
請求項１に記載の識別装置。
【請求項5】
前記出力部は、複数の前記識別対象画像を各識別対象画像に含まれる地理的領域の関係に基づいて配置し、かつ各識別対象画像の正確性を示す評価指標に応じた態様で表示する画像を生成して出力する、
請求項４に記載の識別装置。
請求項４に記載の識別装置。
【請求項6】
画像が入力された場合に当該画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、前記識別結果の不確実性を示す評価指標と前記識別結果の正確性を示す評価指標との対応関係を記憶し、
識別対象画像を取得し、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定し、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する、
ことを含み、
前記推定された識別結果の不確実性を示す評価指標は、前記学習済みモデルに変調を加えて生成された複数のモデルに前記識別対象画像を入力したときの出力の分布に基づいて算出される指標である、
ことを特徴とする識別方法。
識別対象画像を取得し、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定し、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する、
ことを含み、
前記推定された識別結果の不確実性を示す評価指標は、前記学習済みモデルに変調を加えて生成された複数のモデルに前記識別対象画像を入力したときの出力の分布に基づいて算出される指標である、
ことを特徴とする識別方法。
【請求項7】
画像が入力された場合に当該画像の識別結果を出力するように学習された学習済みモデルを記憶するとともに、前記識別結果の不確実性を示す評価指標と前記識別結果の正確性を示す評価指標との対応関係を記憶する記憶部を有するコンピュータのプログラムであって、
識別対象画像を取得し、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定し、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する、
ことを前記コンピュータに実行させ、
前記推定された識別結果の不確実性を示す評価指標は、前記学習済みモデルに変調を加えて生成された複数のモデルに前記識別対象画像を入力したときの出力の分布に基づいて算出される指標である、
ことを特徴とするプログラム。
識別対象画像を取得し、
前記取得した識別対象画像を前記学習済みモデルに入力することにより、前記識別対象画像の識別結果と当該識別結果の不確実性を示す評価指標とを推定し、
前記対応関係に基づいて、前記推定された不確実性を示す評価指標に対応する正確性を示す評価指標を算出し、
前記推定された識別結果と前記算出された正確性を示す評価指標とを出力する、
ことを前記コンピュータに実行させ、
前記推定された識別結果の不確実性を示す評価指標は、前記学習済みモデルに変調を加えて生成された複数のモデルに前記識別対象画像を入力したときの出力の分布に基づいて算出される指標である、
ことを特徴とするプログラム。