特開 2024-179020 計算機システム及び推論の不確実性判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179020

(43)【公開日】2024-12-26

(54)【発明の名称】計算機システム及び推論の不確実性判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241219BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023097501

(22)【出願日】2023-06-14

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】王 宇

(72)【発明者】

【氏名】山本 浩之

(72)【発明者】

【氏名】倉田 明佳

(72)【発明者】

【氏名】神田 喬之

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA01

5L096DA01

5L096DA02

5L096FA02

5L096GA30

5L096GA51

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

【課題】セマンティックセグメンテーションの推論において信頼できない領域を、要因ごとに分類する。
【解決手段】計算機システムは、画像に含まれる画素を複数のクラスに分類するための推論に用いるモデルの定義情報を保持する。モデルは、画素の、複数のクラスの各々に該当する確率を算出するモデルである。計算機システムは、画像の入力を受け付け、複数回の推論の結果に基づいて、画像の各画素について、複数のクラスの確率分布を算出し、画像の各画素について、複数のクラスの確率分布を統計処理することによって、画素に対する推論の不確実性を表す不確実性指標を複数算出し、画像の各画素について、複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを付与し、画像の各画素の不確実性レベルを提示するための不確実性マップを生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

計算機システムであって、
プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を備え、
画像に含まれる画素を複数のクラスに分類するための推論に用いるモデルの定義情報を保持し、
前記モデルは、前記画素の、前記複数のクラスの各々に該当する確率を算出するモデルであって、
前記プロセッサは、
画像の入力を受け付け、
前記定義情報によって定義される前記モデルを変形したモデルを用いて前記画像に対する推論を複数回実行し、
複数回の前記推論の結果に基づいて、前記画像の各画素について、前記複数のクラスの各々について確率分布を算出し、
前記画像の各画素について、前記複数のクラスの各々の前記確率分布を統計処理することによって、前記画素に対する前記推論の不確実性を表す不確実性指標を複数算出し、
前記画像の各画素について、前記複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを付与し、
前記画像の各画素の前記不確実性レベルを提示するための不確実性マップを生成し、出力することを特徴とする計算機システム。

【請求項2】

請求項１に記載の計算機システムであって、
前記プロセッサは、
前記確率分布の最頻値、中央値、又は平均値が最大の前記クラスの分散を第１不確実性指標として算出し、
前記確率分布の最頻値、中央値、又は平均値の大きさが３番目より小さい前記クラスの前記確率分布の最頻値、中央値、又は平均値の合計を第２不確実性指標として算出し、
前記第１不確実性指標及び前記第２不確実性指標を用いて、前記推論の結果が信頼できることを表す第１レベル、前記推論の結果が信頼できないことを表す第２レベル、前記画素が異なる前記クラスの領域の境界に位置することを表す第３レベルの三つの前記不確実性レベルを付与することを特徴とする計算機システム。

【請求項3】

請求項２に記載の計算機システムであって、
前記プロセッサは、
前記画素の前記第１不確実性指標が第１閾値より小さいか否かを判定し、
前記画素の前記第１不確実性指標が第１閾値より小さい場合、前記第１レベルを付与し、
前記画素の前記第１不確実性指標が第１閾値以上である場合、前記画素の前記第２不確実性指標が第２閾値より大きいか否かを判定し、
前記画素の前記第２不確実性指標が第２閾値より大きい場合、前記第２レベルを付与し、
前記画素の前記第２不確実性指標が第２閾値以下の場合、前記確率分布の最頻値、中央値、又は平均値の大きさが１番目及び２番目の前記クラスの前記確率分布の重なり具合を評価する評価指標を算出し、前記評価指標が前記第１不確実性指標より小さいか否かを判定し、
前記評価指標が前記第１不確実性指標より小さい場合、前記第３レベルを付与することを特徴とする計算機システム。

【請求項4】

請求項３に記載の計算機システムであって、
前記プロセッサは、
前記不確実性レベルが付与されていない前記画素を特定し、
特定された前記画素であって、同じ前記クラスに属する前記画素が形成する判定領域の大きさが第３閾値より小さいか否かを判定し、
前記判定領域が前記第３閾値より小さい場合、前記判定領域に含まれる前記画素に、前記判定領域が小さいことを表す第４レベルを付与することを特徴とする計算機システム。

【請求項5】

請求項３に記載の計算機システムであって、
前記プロセッサは、
ユーザから、確認する前記不確実性レベルの指定を受け付け、
指定された前記不確実性レベルが付与された前記画素を強調表示する前記不確実性マップを生成することを特徴とする計算機システム。

【請求項6】

請求項５に記載の計算機システムであって、
前記プロセッサは、
前記画像を複数の部分画像に分割し、
前記部分画像について、指定された前記不確実性レベルが付与された前記画素の前記部分画像における比率を算出し、
前記比率が第４閾値より大きい前記部分画像を特定し、
特定された前記部分画像に含まれ、かつ、指定された前記不確実性レベルが付与された前記画素を強調表示する前記不確実性マップを生成することを特徴とする計算機システム。

【請求項7】

計算機システムが実行する推論の不確実性判定方法であって、
前記計算機システムは、
プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を備え、
画像に含まれる画素を複数のクラスに分類するための推論に用いるモデルの定義情報を保持し、
前記モデルは、前記画素の、前記複数のクラスの各々に該当する確率を算出するモデルであって、
前記推論の不確実性判定方法は、
前記計算機システムが、画像の入力を受け付ける第１のステップと、
前記計算機システムが、前記定義情報によって定義される前記モデルを変形したモデルを用いて前記画像に対する推論を複数回実行する第２のステップと、
前記計算機システムが、複数回の前記推論の結果に基づいて、前記画像の各画素について、前記複数のクラス各々について確率分布を算出する第３のステップと、
前記計算機システムが、前記画像の各画素について、前記複数のクラスの各々の前記確率分布を統計処理することによって、前記画素に対する前記推論の不確実性を表す不確実性指標を複数算出する第４のステップと、
前記計算機システムが、前記画像の各画素について、前記複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを付与する第５のステップと、
前記計算機システムが、前記画像の各画素の前記不確実性レベルを提示するための不確実性マップを生成し、出力する第６のステップと、
を含むことを特徴とする推論の不確実性判定方法。

【請求項8】

請求項７に記載の推論の不確実性判定方法であって、
前記第４のステップは、
前記計算機システムが、前記確率分布の最頻値、中央値、又は平均値が最大の前記クラスの分散を第１不確実性指標として算出するステップと、
前記計算機システムが、前記確率分布の最頻値、中央値、又は平均値の大きさが３番目より小さい前記クラスの前記確率分布の最頻値、中央値、又は平均値の合計を第２不確実性指標として算出するステップと、を含み、
前記第５のステップは、前記計算機システムが、前記第１不確実性指標及び前記第２不確実性指標を用いて、前記推論の結果が信頼できることを表す第１レベル、前記推論の結果が信頼できないことを表す第２レベル、前記画素が異なる前記クラスの領域の境界に位置することを表す第３レベルの三つの前記不確実性レベルを付与するステップを含むことを特徴とする推論の不確実性判定方法。

【請求項9】

請求項８に記載の推論の不確実性判定方法であって、
前記第５のステップは、
前記計算機システムが、前記画素の前記第１不確実性指標が第１閾値より小さいか否かを判定するステップと、
前記画素の前記第１不確実性指標が第１閾値より小さい場合、前記計算機システムが、前記第１レベルを付与するステップと、
前記画素の前記第１不確実性指標が第１閾値以上である場合、前記計算機システムが、前記画素の前記第２不確実性指標が第２閾値より大きいか否かを判定するステップと、
前記画素の前記第２不確実性指標が第２閾値より大きい場合、前記計算機システムが、前記第２レベルを付与するステップと、
前記画素の前記第２不確実性指標が第２閾値以下の場合、前記計算機システムが、前記確率分布の最頻値、中央値、又は平均値の大きさが１番目及び２番目の前記クラスの前記確率分布の重なり具合を評価する評価指標を算出し、前記評価指標が前記第１不確実性指標より小さいか否かを判定するステップと、
前記評価指標が前記第１不確実性指標より小さい場合、前記計算機システムが、前記第３レベルを付与するステップと、を含むことを特徴とする推論の不確実性判定方法。

【請求項10】

請求項９に記載の推論の不確実性判定方法であって、
前記第５のステップは、
前記計算機システムが、前記不確実性レベルが付与されていない前記画素を特定するステップと、
前記計算機システムが、特定された前記画素であって、同じ前記クラスに属する前記画素が形成する判定領域の大きさが第３閾値より小さいか否かを判定するステップと、
前記計算機システムが、前記判定領域が前記第３閾値より小さい場合、前記判定領域に含まれる前記画素に、前記判定領域が小さいことを表す第４レベルを付与するステップと、を含むことを特徴とする推論の不確実性判定方法。

【請求項11】

請求項９に記載の推論の不確実性判定方法であって、
前記第６のステップは
前記計算機システムが、ユーザから、確認する前記不確実性レベルの指定を受け付けるステップと、
前記計算機システムが、指定された前記不確実性レベルが付与された前記画素を強調表示する前記不確実性マップを生成するステップと、を含むことを特徴とする推論の不確実性判定方法。

【請求項12】

請求項１１に記載の推論の不確実性判定方法であって、
前記第６のステップは、
前記計算機システムが、前記画像を複数の部分画像に分割するステップと、
前記計算機システムが、前記部分画像について、指定された前記不確実性レベルが付与された前記画素の前記部分画像における比率を算出するステップと、
前記計算機システムが、前記比率が第４閾値より大きい前記部分画像を特定するステップと、
前記計算機システムが、特定された前記部分画像に含まれ、かつ、指定された前記不確実性レベルが付与された前記画素を強調表示する前記不確実性マップを生成するステップと、を含むことを特徴とする推論の不確実性判定方法。

【請求項13】

計算機システムであって、
プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を備え、
推論に用いるモデルの定義情報を管理し、
前記プロセッサは、
推論対象のデータの入力を受け付け、
前記定義情報によって定義される前記モデルを変形したモデルを生成し、当該モデルを用いて前記データを推論する処理を複数回実行し、
複数回の前記推論の結果に基づいて、前記推論に関する確率分布を算出し、
前記推論に関する前記確率分布を統計処理することによって、前記推論の不確実性を表す不確実性指標を複数算出し、
前記複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを決定することを特徴とする計算機システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、セマンティックセグメンテーションにおける推論結果の不確実性を定量的に評価し、不確実性のレベル付けを行う技術に関する。

【背景技術】

【0002】

様々な分野において画像を複数の領域に分類する処理に人工知能（ＡＩ）の利用が進んでいる。例えば、材料科学の分野では、ＡＩを用いて、組織画像から特徴量を抽出し、物性との関係性をモデル化することで、新材料開発の効率化が期待されている。組織特徴を解析するＡＩの機械学習モデルとしてセマンティックセグメンテーション（ＳＳ）が広く用いられている。

【0003】

機械学習モデルの出力である推論結果は、推論の精度とともに、不確実性を評価することが重要である。不確実性を定量化する手法として特許文献１に記載の手法が知られている。特許文献１には、モンテカルロドロップアウトを反復適用し、不確実性を評価することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－２００６７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の不確実性の指標は連続値である。そのため、当該値を用いることによって、信頼できる領域及び信頼できない領域を特定できる。

【0006】

セマンティックセグメンテーションの推論の不確実性の要因は様々考えられる。しかし、特許文献１に記載の指標を用いても、信頼できない領域がどのような要因に起因するかを判別することは難しい。

【0007】

本開示は、セマンティックセグメンテーションの推論において信頼できない領域を、要因ごとに分類する技術を提供する。

【課題を解決するための手段】

【0008】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機システムであって、プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を備え、画像に含まれる画素を複数のクラスに分類するための推論に用いるモデルの定義情報を保持し、前記モデルは、前記画素の、前記複数のクラスの各々に該当する確率を算出するモデルであって、前記プロセッサは、画像の入力を受け付け、前記定義情報によって定義される前記モデルを変形したモデルを生成し、当該モデルを用いて前記画像を推論する処理を複数回実行し、複数回の前記推論の結果に基づいて、前記画像の各画素について、前記複数のクラスの各々について確率分布を算出し、前記画像の各画素について、前記複数のクラスの各々の前記確率分布を統計処理することによって、前記画素に対する前記推論の不確実性を表す不確実性指標を複数算出し、前記画像の各画素について、前記複数の不確実性指標に基づいて、不確実性の区分である不確実性レベルを付与し、前記画像の各画素の前記不確実性レベルを提示するための不確実性マップを生成し、出力する。

【発明の効果】

【0009】

本開示の一つの態様によれば、セマンティックセグメンテーションの推論において信頼できない領域を、要因ごとに分類できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】実施例１の計算機システムの機能構成の一例を示す図である。

【図2】実施例１の計算機システムを構成する計算機のハードウェア構成の一例を示す図である。

【図3】実施例１の計算機システムの機能の連携を示す図である。

【図4】実施例１の教師データＤＢのデータ構造の一例を示す図である。

【図5】実施例１のモデルＤＢのデータ構造の一例を示す図である。

【図6A】実施例１の推論結果ＤＢのデータ構造の一例を示す図である。

【図6B】実施例１の推論結果ＤＢのデータ構造の一例を示す図である。

【図6C】実施例１の推論結果ＤＢのデータ構造の一例を示す図である。

【図6D】実施例１の推論結果ＤＢのデータ構造の一例を示す図である。

【図7A】セマンティックセグメンテーションの推論の特性を説明する図である。

【図7B】セマンティックセグメンテーションの推論の特性を説明する図である。

【図7C】セマンティックセグメンテーションの推論の特性を説明する図である。

【図7D】セマンティックセグメンテーションの推論の特性を説明する図である。

【図8】実施例１の計算機システムが実行する推論処理の一例を説明するフローチャートである。

【図9】実施例１の計算機システムが算出するクラスの確率分布の一例を示す図である。

【図10A】実施例１の計算機システムが実行する不確実性レベル判定処理の一例を説明するフローチャートである。

【図10B】実施例１の計算機システムが実行する不確実性レベル判定処理の一例を説明するフローチャートである。

【図11A】実施例１における不確実性指標及び正解率の相関の一例を示す図である。

【図11B】実施例１における不確実性指標及び正解率の相関の一例を示す図である。

【図12】実施例１における評価指標の算出方法の一例を示す図である。

【図13】実施例１の計算機システムが実行する不確実性マップ生成処理の一例を説明するフローチャートである。

【図14】実施例１の計算機システムが提示するＧＵＩの一例を示す図である。

【図15】実施例２の不確実性マップの一例を示す図である。

【図16】実施例３の計算機システムの機能構成の一例を示す図である。

【図17】実施例３の計算機システムの機能の連携を示す図である。

【図18】実施例３の計算機システムが実行する推論処理の一例を説明するフローチャートである。

【図19】実施例３の計算機システムが実行する推論結果出力処理の一例を説明するフローチャートである。

【図20】実施例３の計算機システムが提示するＧＵＩの一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0012】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【0013】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

【実施例0014】

実施例１では、学習フェーズにおける不確実性の評価について説明する。機械学習モデルを生成するためには、予め学習データを用意する必要がある。学習データに含める正解データは、人手で行われる場合が多い。推論結果に不確実性が高い部分が含まれると、正解データを修正する必要がある。

【0015】

図１は、実施例１の計算機システムの機能構成の一例を示す図である。図２は、実施例１の計算機システムを構成する計算機のハードウェア構成の一例を示す図である。

【0016】

計算機システム１００は、図２に示すような計算機２００から構成される。計算機２００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を備える。なお、計算機２００は、マウス及びキーボード等の入力装置、並びに、ディスプレイ等の出力装置を備えてもよい。

【0017】

プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。

【0018】

主記憶装置２０２は、メモリ等であり、プロセッサ２０１が実行するプログラム及びプログラムが使用するデータを格納する。主記憶装置２０２はワークエリアとしても用いられる。副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等であり、プログラム及びデータを永続的に格納する。ネットワークインタフェース２０４は、外部装置と通信する。

【0019】

計算機システム１００は、学習部１０１、推論部１０２、正解率算出部１０３、不確実性指標算出部１０４、不確実性レベル判定部１０５、及び入出力部１０６を有する。また、計算機システム１００は、教師データＤＢ１１０、モデルＤＢ１１１、及び推論結果ＤＢ１１２を保持する。

【0020】

教師データＤＢ１１０は、機械学習モデルに入力する入力データと、推論の正解データとから構成される教師データを格納するデータベースである。本実施例では、入力データは画像であり、正解データは画素が属するクラスの配列である。モデルＤＢ１１１は、機械学習モデルを定義する情報を格納するデータベースである。推論結果ＤＢ１１２は、機械学習モデルを用いた推論の結果を格納するデータベースである。

【0021】

なお、計算機システム１００が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。

【0022】

図３は、実施例１の計算機システム１００の機能の連携を示す図である。

【0023】

学習部１０１は、教師データＤＢ１１０に格納される教師データを学習データとして取得し、セマンティックセグメンテーションを実現するための機械学習モデルの学習処理を実行する。

【0024】

機械学習モデルは、画素の各クラスに該当する確率を算出するモデルであり、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、及びＰＳＰＮｅｔ等である。また、機械学習の手法は、例えば、深層学習である。なお、本発明は、機械学習モデルの種別に限定されない。また、本発明は、機械学習モデルの学習方法に限定されない。学習部１０１は、学習結果をモデルＤＢ１１１に格納する。

【0025】

推論部１０２は、教師データＤＢ１１０に格納される教師データを検証データとして取得し、モデルＤＢ１１１に格納される情報によって定義される機械学習モデルを用いて推論を行う。本実施例では、画像の各画素について各クラスに該当する確率の配列が推論結果として出力される。推論部１０２は、推論結果を推論結果ＤＢ１１２に格納する。

【0026】

本実施例では、推論部１０２は、モンテカルロドロップアウト手法を用いて、機械学習モデルを構成する複数のノードの一部をドロップアウトした機械学習モデル（以下、ＭＣＤモデルと記載する。）を生成し、ＭＣＤモデルを用いて検証データの推論を行う。一つの検証データに対して、異なるＭＣＤモデルを用いて推論が複数回実行される。

【0027】

正解率算出部１０３は、推論結果及び検証データに含まれる正解データを用いて、入力データに対する正解率及びクラス毎の正解率等を算出する。正解率算出部１０３は、処理結果を推論結果ＤＢ１１２に格納する。

【0028】

不確実性指標算出部１０４は、推論結果を用いて、複数の不確実性指標を算出する。不確実性指標算出部１０４は、処理結果を推論結果ＤＢ１１２に格納する。算出される不確実性指標については後述する。

【0029】

不確実性レベル判定部１０５は、複数の不確実性指標を用いて、一つの検証データの推論結果に対して不確実性レベルを付与する。不確実性レベル判定部１０５は、処理結果を推論結果ＤＢ１１２に格納する。

【0030】

入出力部１０６は、計算機システム１００に対する入力を受け付け、また、計算機システム１００の各種データを出力する。

【0031】

図４は、実施例１の教師データＤＢ１１０のデータ構造の一例を示す図である。

【0032】

教師データＤＢ１１０は教師データを管理するためのテーブル４００を格納する。テーブル４００は、データＩＤ４０１、入力データ４０２、及び正解データ４０３を含むエントリを格納する。一つのエントリが一つの教師データに対応する。

【0033】

データＩＤ４０１は、教師データのＩＤを格納するフィールドである。入力データ４０２は、機械学習モデルに入力する入力データを格納するフィールドである。本実施例では、画像を構成する画素の画素値の配列が入力データとして格納される。正解データ４０３は、推論の正解を表す正解データを格納するフィールドである。本実施例では、画素が属するクラスを表す値の配列が正解データとして格納される。図４では、第１クラス及び第２クラスのどちらに属するかを表す２次元の配列を表している。

【0034】

なお、教師データＤＢ１１０のデータ形式はテーブル形式に限定されない。

【0035】

図５は、実施例１のモデルＤＢ１１１のデータ構造の一例を示す図である。

【0036】

モデルＤＢ１１１は機械学習モデルを定義する情報を格納するテーブル５００を格納する。一つの機械学習モデルに対して一つのテーブル５００が存在する。テーブル５００は、レイヤＩＤ５０１、レイヤ種別５０２、及びパラメータ５０３を含むエントリを格納する。一つのレイヤに対して一つのエントリが存在する。

【0037】

レイヤＩＤ５０１は、機械学習モデルのレイヤのＩＤを格納するフィールドである。レイヤ種別５０２は、レイヤの種別を格納するフィールドである。レイヤの種別としては、入力層、畳み込み層、プーリング層、全結合層、及び出力層等がある。パラメータ５０３は、レイヤＩＤ５０１に対応するレイヤのパラメータを格納するフィールドである。レイヤのパラメータは、例えば、重みである。

【0038】

なお、モデルＤＢ１１１のデータ形式はテーブル形式に限定されない。

【0039】

図６Ａ、図６Ｂ、図６Ｃ、及び図６Ｄは、実施例１の推論結果ＤＢ１１２のデータ構造の一例を示す図である。

【0040】

推論結果ＤＢ１１２は、テーブル６００、テーブル６１０、テーブル６２０、及びテーブル６３０を格納する。

【0041】

テーブル６００は、推論結果を管理するためのテーブルである。テーブル６００は、推論結果ＩＤ６０１、データＩＤ６０２、及び推論結果６０３を含むエントリを格納する。一つの推論結果に対して一つのエントリが存在する。

【0042】

推論結果ＩＤ６０１は、推論結果のＩＤを格納するフィールドである。データＩＤ６０２は、推論を行った検証データ（教師データ）のＩＤを格納するフィールドである。推論結果６０３は、推論結果を格納するフィールドである。本実施例では、画素の各クラスの属する確率の配列が推論結果として格納される。図６Ａでは、第１クラス及び第２クラスに各々に属する確率の配列が格納される。画素の各クラスの確率の合計は１となっている。

【0043】

テーブル６１０は、推論結果の正解率を管理するためのテーブルである。テーブル６１０は、推論結果ＩＤ６１１及び正解率６１２を含むエントリを格納する。一つの推論結果に対して一つのエントリが存在する。

【0044】

推論結果ＩＤ６１１は推論結果ＩＤ６０１と同一のフィールドである。正解率６１２は、正解率を格納するフィールドである。本実施例では、各画素の正解率、入力データ全体の正確率、各クラスの正解率等が格納される。入力データ全体の正解率は、例えば、各画素の正解率の平均値として算出できる。クラスの正解率は、例えば、正解データにおいて同じクラスが付与された画素の正解率の平均として算出できる。

【0045】

テーブル６２０は、検証データに対する推論の不確実性を評価するための不確実性指標を管理するためのテーブルである。テーブル６２０は、データＩＤ６２１、第１不確実性指標６２２、及び第２不確実性指標６２３を含むエントリを格納する。一つの検証データに対して一つのエントリが存在する。

【0046】

データＩＤ６２１はデータＩＤ６０２と同一のフィールドである。第１不確実性指標６２２及び第２不確実性指標６２３は不確実性指標を格納するフィールドである。

【0047】

テーブル６３０は、検証データに付与された不確実性レベルを管理するためのテーブルである。テーブル６３０は、データＩＤ６３１及び不確実性レベル６３２を含むエントリを格納する。一つの検証データに対して一つのエントリが存在する。

【0048】

データＩＤ６３１はデータＩＤ６０２と同一のフィールドである。不確実性レベル６３２は、不確実性レベルを格納するフィールドである。本実施例では、画素の不確実性レベルの配列が格納される。

【0049】

なお、テーブル６００、テーブル６１０、テーブル６２０、及びテーブル６３０にて管理する情報は、テーブル形式外のデータ形式にて管理されてもよい。

【0050】

ここで、セマンティックセグメンテーションの推論の特性について説明する。図７Ａ、図７Ｂ、図７Ｃ、及び図７Ｄは、セマンティックセグメンテーションの推論の特性を説明する図である。

【0051】

図７Ａ、図７Ｂ、図７Ｃ、及び図７Ｄは、ある画素のクラスに属する確率の分布を示す。ここでは、三つのクラスに分類するセマンティックセグメンテーションを例に説明する。

【0052】

図７Ａに示すように、あるクラスの確率分布の分散が小さく、かつ、最頻度が１に近く、他のクラスの確率分布の分散が小さく、かつ、最頻度が０に近い場合、推論結果は十分信頼できる。

【0053】

図７Ｂに示すように、各クラスの確率分布が重なり、また、各クラスの確率分布の最頻度が小さい（例えば、０．５より小さい）場合、推論結果は信頼できない。

【0054】

図７Ｃに示すように、二つのクラスの確率分布が重なり、当該二つのクラスの確率分布の最頻値が大きく（例えば、０．５より大きい）、かつ、他のクラスの確率分布の最頻値がほぼ０である場合、二つのクラスの境界である可能性が高い。

【0055】

図７Ｄに示すように、最頻値が０でない確率分布が二つ存在し、当該二つの確率分布の重なりが小さく、かつ、他のクラスの確率分布の最頻値がほぼ０である場合、画像内においてあるクラスの属する領域が小さい可能性がある。

【0056】

本実施例では、確率分布から算出される二つの不確実性指標を用いて、画素の推論結果を上記の４つレベルに分類する。

【0057】

図８は、実施例１の計算機システム１００が実行する推論処理の一例を説明するフローチャートである。図９は、実施例１の計算機システム１００が算出するクラスの確率分布の一例を示す図である。

【0058】

推論部１０２は、モデルＤＢ１１１から機械学習モデルの定義情報を取得する（ステップＳ１０１）。

【0059】

推論部１０２は、検証データのループ処理を開始する（ステップＳ１０２）。具体的には、推論部１０２は、教師データＤＢ１１０から検証データを一つ取得する。

【0060】

推論部１０２は、推論のループ処理を開始する（ステップＳ１０３）。具体的には、推論部１０２は、モンテカルロドロップアウト手法を用いてＭＣＤモデルを生成する。当該ループ処理では、所定回数、推論が実行される。なお、クラスの確率分布をできればよいため、モンテカルロドロップアウト手法以外の手法を用いてモデルを変形してもよい。

【0061】

推論部１０２は、ＭＣＤモデルを用いて検証データの推論を実行する（ステップＳ１０４）。推論部１０２は、推論結果ＤＢ１１２のテーブル６００に推論結果を格納する。

【0062】

推論部１０２は、正解率算出部１０３に正解率の算出を指示する。当該指示には推論結果のＩＤが含まれる。

【0063】

正解率算出部１０３は、推論結果と、検証データに含まれる正解データとを比較し、正解率を算出する（ステップＳ１０５）。正解率算出部１０３は、推論結果ＤＢ１１２のテーブル６１０に算出結果を格納する。その後、正解率算出部１０３は、処理の完了を推論部１０２に通知する。

【0064】

推論部１０２は、推論の実行回数が所定回数より小さいか否かを判定する（ステップＳ１０６）。推論の実行回数が所定回数より場合、推論部１０２はステップＳ１０３に戻る。

【0065】

推論の実行回数が所定回数以上の場合、推論部１０２は、不確実性指標算出部１０４に不確実性指標の算出を指示する。当該指示には、検証データのＩＤが含まれる。

【0066】

不確実性指標算出部１０４は、画素毎に、各クラスの確率分布を算出する（ステップＳ１０７）。具体的には、不確実性指標算出部１０４は、テーブル６００から検証データの推論結果を取得し、各画素について、図９に示すような各クラスの確率分布を算出する。

【0067】

不確実性指標算出部１０４は、各画素について、各クラスの確率分布に基づいて、第１不確実性指標を算出する（ステップＳ１０８）。具体的には、以下のような処理が実行される。

【0068】

（Ｓ１０８－１）不確実性指標算出部１０４は画素を選択する。

【0069】

（Ｓ１０８－２）不確実性指標算出部１０４は、選択した画素について、各クラスの確率分布の最頻値を算出する。

【0070】

（Ｓ１０８－３）不確実性指標算出部１０４は、最頻値が最も大きいクラスの確率分布の分散を第１不確実性指標として算出する。

【0071】

（Ｓ１０８－４）不確実性指標算出部１０４は、全ての画素について処理が完了したか否かを判定する。全ての画素について処理が完了していない場合、不確実性指標算出部１０４はＳ１０８－１に戻る。全ての画素について処理が完了した場合、不確実性指標算出部１０４は、推論結果ＤＢ１１２のテーブル６２０に算出結果を格納する。

【0072】

不確実性指標算出部１０４は、各画素について、各クラスの確率分布に基づいて、第２不確実性指標を算出する（ステップＳ１０９）。具体的には、以下のような処理が実行される。

【0073】

（Ｓ１０９－１）不確実性指標算出部１０４は画素を選択する。

【0074】

（Ｓ１０９－２）不確実性指標算出部１０４は、選択した画素について、各クラスの確率分布の最頻値を算出する。

【0075】

（Ｓ１０９－３）不確実性指標算出部１０４は、最頻値が大きい順にクラスをランク付けする。

【0076】

（Ｓ１０９－４）不確実性指標算出部１０４は、順位が３番目以降のクラスの最頻値の合計を第２不確実性指標として算出する。

【0077】

（Ｓ１０９－５）不確実性指標算出部１０４は、全ての画素について処理が完了したか否かを判定する。全ての画素について処理が完了していない場合、不確実性指標算出部１０４はＳ１０９－１に戻る。全ての画素について処理が完了した場合、不確実性指標算出部１０４は、推論結果ＤＢ１１２のテーブル６２０に算出結果を格納する。

【0078】

不確実性指標算出部１０４は、第２不確実性指標を算出した後、処理の完了を推論部１０２に通知する。推論部１０２は、全ての検証データについて処理が完了したか否かを判定する（ステップＳ１１０）。

【0079】

全ての検証データについて処理が完了していない場合、推論部１０２はステップＳ１０２に戻る。全ての検証データについて処理が完了した場合、推論部１０２は推論処理を終了する。

【0080】

図１０Ａ及び図１０Ｂは、実施例１の計算機システム１００が実行する不確実性レベル判定処理の一例を説明するフローチャートである。図１１Ａ及び図１１Ｂは、実施例１における不確実性指標及び正解率の相関の一例を示す図である。図１２は、実施例１における評価指標の算出方法の一例を示す図である。

【0081】

不確実性レベル判定部１０５は、一つの検証データに対して以下で説明する処理を実行する。

【0082】

不確実性レベル判定部１０５は、検証データについて、第１不確実性指標及び正解率の相関を分析する（ステップＳ２０１）。具体的には、以下のような処理が実行される。

【0083】

（Ｓ２０１－１）不確実性レベル判定部１０５は、テーブル６１０から各画素の正解率を取得し、また、テーブル６２０から各画素の第１不確実性指標を取得する。

【0084】

（Ｓ２０１－２）不確実性レベル判定部１０５は、正解率及び第１不確実性指標の相関を分析する。例えば、図１１Ａに示すような分析結果が得られる。グラフ１１０１は正解率及び第１不確実性指標の相関を表す。ドットの棒グラフは、第１不確実性指標に対する正解の画素の数を表す。白の棒グラフは、第１不確実性指標に対する不正解の画素の数を表す。

【0085】

不確実性レベル判定部１０５は、第１不確実性指標及び正解率の相関に基づいて、閾値Ｔｈ１を算出する（ステップＳ２０２）。

【0086】

具体的には、不確実性レベル判定部１０５は、相関を用いて、正解率がユーザ指定の値となる不確実性指標を閾値Ｔｈ１として算出する。図１１Ａでは、閾値Ｔｈ１は０．１５となる。

【0087】

不確実性レベル判定部１０５は、検証データについて、第２不確実性指標及び正解率の相関を分析する（ステップＳ２０３）。具体的には、以下のような処理が実行される。

【0088】

（Ｓ２０３－１）不確実性レベル判定部１０５は、テーブル６１０から各画素の正解率を取得し、また、テーブル６２０から各画素の第２不確実性指標を取得する。

【0089】

（Ｓ２０３－２）不確実性レベル判定部１０５は、正解率及び第２不確実性指標の相関を分析する。例えば、図１１Ｂに示すような分析結果が得られる。グラフ１１０２は正解率及び第２不確実性指標の相関を表す。ドットの棒グラフは、第２不確実性指標に対する正解の画素の数を表す。白の棒グラフは、第２不確実性指標に対する不正解の画素の数を表す。

【0090】

不確実性レベル判定部１０５は、第２不確実性指標及び正解率の相関に基づいて、閾値Ｔｈ２を算出する（ステップＳ２０４）。具体的には、以下のような処理が実行される。

【0091】

（Ｓ２０４－１）不確実性レベル判定部１０５は、第２不確実性指標の変位に対する正解率の変位（正解率の低下勾配）を算出する。

【0092】

（Ｓ２０４－２）不確実性レベル判定部１０５は、正解率の低下勾配が最大となる範囲の第２不確実性指標の最大値を閾値Ｔｈ２として算出する。図１１Ｂでは、第２不確実性指標が０．１及び０．２に範囲の低下勾配が最大であるため、閾値Ｔｈ２は０．２となる。

【0093】

不確実性レベル判定部１０５は、画素のループ処理を開始する（ステップＳ２０５）。具体的には、不確実性レベル判定部１０５は、検証データの一つの画素を選択する。

【0094】

不確実性レベル判定部１０５は、画素の第１不確実性指標が閾値Ｔｈ１より小さいか否かを判定する（ステップＳ２０６）。

【0095】

画素の第１不確実性指標が閾値Ｔｈ１より小さい場合、不確実性レベル判定部１０５は、不確実性レベル「０」を付与する（ステップＳ２０７）。具体的には、不確実性レベル判定部１０５は、テーブル６３０に不確実性レベルを設定する。その後、不確実性レベル判定部１０５はステップＳ２１３に進む。不確実性レベル「０」は、推論結果が十分信頼できることを表す。

【0096】

画素の第１不確実性指標が閾値Ｔｈ１以上の場合、不確実性レベル判定部１０５は、画素の第２不確実性指標が閾値Ｔｈ２より大きいか否かを判定する（ステップＳ２０８）。

【0097】

画素の第２不確実性指標が閾値Ｔｈ２より大きい場合、不確実性レベル判定部１０５は、不確実性レベル「１」を付与する（ステップＳ２０９）。具体的には、不確実性レベル判定部１０５は、テーブル６３０に不確実性レベルを設定する。その後、不確実性レベル判定部１０５はステップＳ２１３に進む。不確実性レベル「１」は、推論結果が信頼できないことを表す。

【0098】

画素の第２不確実性指標が閾値Ｔｈ２以下の場合、不確実性レベル判定部１０５は、最頻値が最大のクラス及び２番目のクラスの確率分布の重なり具合を評価する評価指標を算出する（ステップＳ２１０）。具体的には、以下のような処理が実行される。

【0099】

（Ｓ２１０－１）図１２に示すように、不確実性レベル判定部１０５は、最頻値が最大のクラスの分散及び最頻値の差（第１値）を算出する。不確実性レベル判定部１０５は、最頻値が２番目に大きいクラスの分散及び最頻値の和（第２値）を算出する。

【0100】

（Ｓ２１０－２）不確実性レベル判定部１０５は、第１値及び第２値の差を評価指標として算出する。

【0101】

不確実性レベル判定部１０５は、評価指標が第１不確実性指標より小さいか否かを判定する（ステップＳ２１１）。ステップＳ２１１の処理は、二つの確率分布の重なりの程度を判定するための処理である。評価指標が第１不確実性指標より小さい場合、図７Ｃに示すように、二つの確率分布の重なりの度合いが大きいことを示す。

【0102】

評価指標が第１不確実性指標より小さい場合、不確実性レベル判定部１０５は、不確実性レベル「２」を付与する（ステップＳ２１２）。具体的には、不確実性レベル判定部１０５は、テーブル６３０に不確実性レベルを設定する。その後、不確実性レベル判定部１０５はステップＳ２１３に進む。不確実性レベル「２」は、画素が異なるクラスの領域の境界に位置することを表す。

【0103】

ステップＳ２１３では、不確実性レベル判定部１０５は、全ての画素について処理が完了したか否かを判定する（ステップＳ２１３）。全ての画素について処理が完了していない場合、不確実性レベル判定部１０５はステップＳ２０５に戻る。

【0104】

全ての画素について処理が完了した場合、不確実性レベル判定部１０５は、不確実性レベルが付与されていない画素を特定する（ステップＳ２１４）。

【0105】

不確実性レベル判定部１０５は、特定された画素に対する不確実性レベル付与処理を実行し（ステップＳ２１５）、その後、不確実性レベル判定処理を終了する。具体的には、以下のような処理が実行される。

【0106】

（Ｓ２１５－１）不確実性レベル判定部１０５は、推論結果ＤＢ１１２のテーブル６１０を参照して、特定された画素の正解率を取得する。

【0107】

（Ｓ２１５－２）不確実性レベル判定部１０５は、正解率が閾値Ｔｈ３より大きい画素（ターゲット画素）を特定する。

【0108】

（Ｓ２１５－３）不確実性レベル判定部１０５はクラスを選択する。

【0109】

（Ｓ２１５－４）不確実性レベル判定部１０５は、ターゲット画素の位置関係に基づいて、選択したクラスに属し、かつ、距離が閾値Ｔｈ４より小さいターゲット画素をグループ化する。

【0110】

（Ｓ２１５－５）不確実性レベル判定部１０５は一つのグループを選択する。

【0111】

（Ｓ２１５－６）不確実性レベル判定部１０５は、グループの画素の数を全画素数で除算することによって面積率を算出する。

【0112】

（Ｓ２１５－７）不確実性レベル判定部１０５は、面積率が閾値Ｔｈ５より小さいか否かを判定する。面積率が閾値Ｔｈ５以上の場合、不確実性レベル判定部１０５はＳ２１５－９に進む。

【0113】

（Ｓ２１５－８）面積率が閾値Ｔｈ５より小さい場合、不確実性レベル判定部１０５は、グループに含まれる画素に不確実性レベル「３」を付与する。具体的には、不確実性レベル判定部１０５は、テーブル６３０に不確実性レベルを設定する。不確実性レベル「３」は、あるクラスの属する領域が小さいことを表す。

【0114】

（Ｓ２１５－９）不確実性レベル判定部１０５は、全てのグループについて処理が完了したか否かを判定する。全てのグループについて処理が完了していない場合、不確実性レベル判定部１０５はＳ２１５－５に戻る。

【0115】

（Ｓ２１５－１０）全てのグループについて処理が完了した場合、不確実性レベル判定部１０５は、全てのクラスについて処理が完了したか否かを判定する。全てのクラスについて処理が完了していない場合、不確実性レベル判定部１０５はＳ２１５－３に戻る。全てのクラスについて処理が完了した場合、不確実性レベル判定部１０５はステップＳ２１５の処理を終了する。

【0116】

なお、いずれの不確実性レベルも付与されなかった画素には、例えば、「－１」が設定される。

【0117】

図１３は、実施例１の計算機システム１００が実行する不確実性マップ生成処理の一例を説明するフローチャートである。

【0118】

入出力部１０６は、ユーザから検証データ及び不確実性レベルの選択を受け付ける（ステップＳ３０１）。

【0119】

入出力部１０６は、選択された検証データの不確実性レベルを表示する不確実性マップを生成する（ステップＳ３０２）。具体的には、以下のような処理が実行される。

【0120】

（Ｓ３０２－１）入出力部１０６は、推論結果ＤＢ１１２のテーブル６３０を参照し、選択された検証データに対応するエントリを検索する。

【0121】

（Ｓ３０２－２）入出力部１０６は、検索されたエントリに基づいて、指定された不確実性レベルが付与された画素を特定する。

【0122】

（Ｓ３０２－３）入出力部１０６は、検証データに含まれる入力データ（画像）と同じサイズの画像を生成し、当該画像の特定された画素に不確実性レベルに応じたＲＧＢ値を設定する。当該画像が不確実性マップである。なお、生成された画像と、入力データ又は推論結果を重畳して不確実性マップを生成してもよい。

【0123】

入出力部１０６は、不確実性マップを出力し（ステップＳ３０３）、その後、不確実性マップ生成処理を終了する。

【0124】

図１４は、実施例１の計算機システム１００が提示するＧＵＩの一例を示す図である。

【0125】

ＧＵＩ１４００は、入出力部１０６によって提示される。ＧＵＩ１４００は、設定領域１４０１及び結果表示領域１４０２を含む。

【0126】

設定領域１４０１は、処理に必要な各種設定を行うための領域である。設定領域１４０１は、入力欄１４１０、１４１１、１４１２、選択欄１４１３、及び操作ボタン１４１４を含む。

【0127】

入力欄１４１０は、使用する機械学習モデルを入力するための欄である。例えば、機械学習モデルを定義したテーブル５００の名称等が入力される。入力欄１４１１は、使用する検証データを入力するための欄である。例えば、検証データを格納するファイルの名称等が入力される。入力欄１４１２は、不確実性レベル判定処理で用いる各種閾値を入力するための欄である。

【0128】

選択欄１４１３は、不確実性マップに表示する不確実性レベルを選択するための欄である。選択欄１４１３には、表示する不確実性レベルを選択するためのチェックボックスが表示される。

【0129】

操作ボタン１４１４は、推論処理及び不確実性レベル判定処理の実行を指示するための操作ボタンである。

【0130】

結果表示領域１４０２は、処理結果を表示するための欄である。結果表示領域１４０２は、選択欄１４２０及び表示欄１４２１を含む。

【0131】

選択欄１４２０は、検証データを選択するための欄である。選択欄１４２０には、検証データのＩＤ等がプルダウン形式で表示される。選択欄１４２０にて検証データが設定された場合、不確実性マップ生成処理が実行され、表示欄１４２１に処理結果が表示される。表示欄１４２１には、例えば、検証データに含まれる入力データ１４３１、推論結果１４３２、及び不確実性マップ１４３３が表示される。また、検証データの正解率等が表示されてもよい。不確実性マップ１４３３には、不確実性レベルに応じてＲＧＢ値が設定された画像が表示される。

【0132】

なお、不確実性レベルの判定で用いる閾値Ｔｈ１及び閾値Ｔｈ２はユーザが設定してもよい。この場合、不確実性レベル判定処理のステップＳ２０１からステップＳ２０４の処理は実行されない。

【0133】

なお、閾値Ｔｈ１を算出するために用いる正解率は、処理の実行時に設定されていなくてもよい。この場合、不確実性レベル判定部１０５は、ステップＳ２０１の処理を実行した後、図１１Ａに示すようなグラフを提示する。ユーザは、グラフを参照し、正解値を指定する。

【0134】

実施例１の計算機システムは、教師データに含まれる入力データの推論結果に対する不確実性レベルを付与し、不確実性レベルをイメージ（不確実性マップ）として提示することができる。ユーザは、不確実性マップを参照することによって、正解データの修正を行うことができる。修正した教師データを用いて機械学習を実行することによって、機械学習モデルの推論の精度向上及び不確実性の低減を実現できる。

【0135】

なお、確率分布の最頻値を基準にした処理では、確率分布の中央値及び平均値に置き換えてもよい。

【実施例0136】

実施例２では、不確実性マップの表示方法が異なる。以下、実施例１との差異を中心に実施例２について説明する。

【0137】

実施例２の計算機システム１００の構成は実施例１と同一である。実施例２の推論処理及び不確実性レベル判定処理は、実施例１と同一である。実施例２では、不確実性マップ生成処理が一部異なる。具体的には、ステップＳ３０２の処理内容が実施例１と異なる。

【0138】

（Ｓ３０２－１）入出力部１０６は、入力データを複数の部分画像に分割する。分割数は予め設定されている。

【0139】

（Ｓ３０２－２）入出力部１０６はユーザが指定した不確実性レベルの中から一つの不確実性レベルを選択する。

【0140】

（Ｓ３０２－３）入出力部１０６は部分画像を選択する。

【0141】

（Ｓ３０２－４）入出力部１０６は、選択した不確実性レベルが付与された画素の面積率を算出する。具体的には、不確実性レベルが付与された画素の数を部分画像の全画素数で除算する。

【0142】

（Ｓ３０２－５）入出力部１０６は、面積率が閾値Ｔｈ６より大きいか否かを判定する。面積率が閾値Ｔｈ６以下の場合、入出力部１０６はＳ３０２－７に進む。

【0143】

（Ｓ３０２－６）面積率が閾値Ｔｈ６より大きい場合、部分画像及び不確実性レベルを表示リストに登録する。

【0144】

（Ｓ３０２－７）入出力部１０６は、全ての部分画像について処理が完了したか否かを判定する。全ての部分画像について処理が完了していない場合、入出力部１０６はＳ３０２－３に戻る。

【0145】

（Ｓ３０２－８）全ての部分画像について処理が完了した場合、入出力部１０６は、ユーザが指定した全ての不確実性レベルについて処理が完了したか否かを判定する。ユーザが指定した全ての不確実性レベルについて処理が完了していない場合、入出力部１０６はＳ３０２－２に戻る。

【0146】

（Ｓ３０２－９）ユーザが指定した全ての不確実性レベルについて処理が完了した場合、入出力部１０６は、表示リストに基づいて不確実性マップを生成する。

【0147】

実施例２のＧＵＩ１４００の設定領域１４０１には、分割数及び閾値Ｔｈ６を入力する欄が含まれる。

【0148】

図１５は、実施例２の不確実性マップの一例を示す図である。

【0149】

図１５に示すように、実施例２では、表示リストに登録された部分画像にのみ不確実性レベルに応じた画素が表示される。

【0150】

実施例２によれば、指定された不確実性レベルが付与された画素が大きい部分画像のみを表示することによって、修正に要する手間を低減することができる。