知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-02
(45)【発行日】2024-12-10
(54)【発明の名称】識別結果表示装置、識別結果表示方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241203BHJP
【ＦＩ】
G06T7/00 350B
【請求項の数】
13
(21)【出願番号】P 2020176130
(22)【出願日】2020-10-20
(65)【公開番号】P2022067429
(43)【公開日】2022-05-06
【審査請求日】2023-09-20
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】三橋 亮太
(72)【発明者】
【氏名】岡 敏生
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２００５－１１５５２５（ＪＰ，Ａ）
【文献】特開２０１０－０８６４４９（ＪＰ，Ａ）
【文献】国際公開第２０１０／０５０３３３（ＷＯ，Ａ１）
【文献】特開２０１４－１７４６９３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得部と、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出部と、
前記識別指標算出部によって算出された前記識別指標を表示する表示部と
を備え、
前記識別結果取得部は、前記検証用画像の識別に係る信号処理性能に関する性能情報を取得し、
前記表示部は、前記性能情報を表示し、
前記性能情報は、前記検証用画像の識別に係る信号処理に要したメモリ容量、前記検証用画像の識別に係る信号処理に要した処理時間、及び単位枚数あたりの前記検証用画像を識別するのに要した平均処理時間のうち、少なくともいずれか１つを含む、
識別結果表示装置。
【請求項2】
複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得部と、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出部と、
前記識別指標算出部によって算出された前記識別指標を表示する表示部と、
前記識別指標を表示する態様を示す可視化条件を取得する可視化条件取得部と、
を備え、
前記表示部は、前記可視化条件に基づいて、前記識別指標を表示し、
前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、
前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、
前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含む、
識別結果表示装置。
【請求項3】
前記複合識別器は、複数の弱識別器を用いたアンサンブル学習により生成された学習済み識別モデルである、請求項１又は請求項２に記載の識別結果表示装置。
【請求項4】
前記識別指標算出部は、前記識別指標として、前記クラスごとに、前記検証用画像が正しく識別された度合いを示す正解識別精度、又は前記検証用画像が誤って識別された度合いを示す誤識別精度を算出する、請求項１から請求項３の何れか一項に記載の識別結果表示装置。
【請求項5】
前記識別指標算出部は、前記正解識別精度として、真陽性の度合い、真陰性の度合い、及び、前記複合識別結果と前記個別識別結果とに基づく複合学習による正解識別寄与の度合いのうち、少なくともいずれか一つを算出する、請求項４に記載の識別結果表示装置。
【請求項6】
前記識別指標算出部は、前記複合学習による正解識別寄与の度合いとして、前記複合識別結果及び前記個別識別結果において共に正しく識別された度合い、及び前記複合識別結果において正しく識別されたが前記個別識別結果において誤って識別された度合いのうち、少なくともいずれか一つを算出する、請求項５に記載の識別結果表示装置。
【請求項7】
前記識別指標算出部は、前記誤識別精度として、偽陽性の度合い、偽陰性の度合い、及び、前記複合識別結果と前記個別識別結果とに基づく複合学習による誤識別寄与の度合いのうち、少なくともいずれか一つを算出する、請求項４から請求項６のいずれか一項に記載の識別結果表示装置。
【請求項8】
前記識別指標算出部は、前記複合学習による誤識別寄与の度合いとして、前記複合識別結果及び前記個別識別結果において共に誤って識別された度合、及び前記複合識別結果において誤って識別されたが、前記個別識別結果においては正しく識別された度合いのうち、少なくともいずれか一つを算出する、請求項７に記載の識別結果表示装置。
【請求項9】
前記弱識別器は、サポートベクトルマシン、ｋ－ｍｅａｎｓ、ｋ－ｍｅａｎｓ＋＋、多クラス識別を実施する畳み込みニューラルネットワーク、及び決定木のうち、少なくともいずれか１つ以上を含む手法により生成された学習済み識別モデルである、請求項３に記載の識別結果表示装置。
【請求項10】
識別結果表示装置に係るコンピュータ装置による識別結果表示方法であって、識別結果取得部が、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得し、
識別指標算出部が、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出し、
表示部が、前記識別指標算出部によって算出された前記識別指標を表示し、
前記識別結果取得部は、前記検証用画像の識別に係る信号処理性能に関する性能情報を取得し、
前記表示部は、前記性能情報を表示し、
前記性能情報は、前記検証用画像の識別に係る信号処理に要したメモリ容量、前記検証用画像の識別に係る信号処理に要した処理時間、及び単位枚数あたりの前記検証用画像を識別するのに要した平均処理時間のうち、少なくともいずれか１つを含む、
識別結果表示方法。
【請求項11】
識別結果表示装置に係るコンピュータ装置による識別結果表示方法であって、識別結果取得部が、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得し、
識別指標算出部が、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出し、
表示部が、前記識別指標算出部によって算出された前記識別指標を表示し、
可視化条件取得部が、前記識別指標を表示する態様を示す可視化条件を取得し、
前記表示部は、前記可視化条件に基づいて、前記識別指標を表示し、
前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、
前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、
前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含む、
識別結果表示方法。
【請求項12】
識別結果表示装置に係るコンピュータ装置を、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得手段、
前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出手段、
前記識別指標を表示する表示手段、
として機能させるプログラムであって、
前記識別結果取得手段において、前記検証用画像の識別に係る信号処理性能に関する性能情報を取得し、
前記表示手段において、前記性能情報を表示し、
前記性能情報は、前記検証用画像の識別に係る信号処理に要したメモリ容量、前記検証用画像の識別に係る信号処理に要した処理時間、及び単位枚数あたりの前記検証用画像を識別するのに要した平均処理時間のうち、少なくともいずれか１つを含む、
プログラム。
【請求項13】
識別結果表示装置に係るコンピュータ装置を、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得手段、
前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出手段、
前記識別指標を表示する表示手段、
前記識別指標を表示する態様を示す可視化条件を取得する可視化条件取得手段、
として機能させるプログラムであって、
可視化条件取得手段において、前記識別指標を表示する態様を示す可視化条件を取得し、
前記表示手段において、前記可視化条件に基づいて、前記識別指標を表示し、
前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、
前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、
前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、識別結果表示装置、識別結果表示方法、及びプログラムに関する。
【背景技術】
【0002】
近年、ディープラーニングに代表される機械学習を利用した識別技術が急速に発展している。例えば、個別に学習をさせた複数の識別器を組み合わせることによって、未学習のデータに対しての予測能力を向上させるアンサンブル学習がある。アンサンブル学習のような複雑な機械学習技術を利用した開発には、機械学習技術に深い知見を持つ開発者やエンジニア等の専門家による知見が必要不可欠である。すなわち、機械学習技術の導入先となり得る工場等の作業従事者、即ち非専門家にとって、機械学習を利用した識別器の細かな調整を実施することは困難である。
【0003】
しかし、工場等に就労している作業従事者は、現場が持つ課題を深く理解しており、工場での細かな調整が求められる場合が多く存在する。さらに、工場では短期間で様々な案件に対応する必要がある為、迅速な判断による早期の識別モデルの調整が求められる場合が多い。このため、非専門家であっても、機械学習を利用して作成された識別器を調整できるような支援ツールの導入が望まれていた。特許文献１では、識別器に入力する識別対象に対して、その識別結果を表示する技術が開示されている。特許文献２では、複数のモデルのニューラルネットワークによる学習結果を比較する技術が開示されている。識別結果や比較結果を表示することにより、非専門家であっても識別の結果や精度を直感的に理解することが可能となり、識別モデルが調整できるようになることが期待できる。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１８／１８１４５８号
【文献】特許第６５７４９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１は、１つの識別器に対する識別結果を表示する発明であり、複数の識別器を用いた構成には対応していない。また、特許文献２は、複数モデルのニューラルネットワークによる学習結果を比較できるが、入力する識別対象に応じた識別精度を提示することができない。このため、現場にいる非専門家にとって、現場で扱っている識別対象の識別精度が向上するように識別器を調整することが困難である、という課題があった。
【0006】
本発明は、このような状況に鑑みてなされたもので、複数の識別モデルを組み合わせた複合識別器において、識別対象に応じた識別精度を表示することができる識別結果表示装置、識別結果表示方法、及びプログラムを提供する。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明の識別結果表示装置は、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得部と、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出部と、前記識別指標算出部によって算出された前記識別指標を表示する表示部とを備え、前記識別結果取得部は、前記検証用画像の識別に係る信号処理性能に関する性能情報を取得し、前記表示部は、前記性能情報を表示し、前記性能情報は、前記検証用画像の識別に係る信号処理に要したメモリ容量、前記検証用画像の識別に係る信号処理に要した処理時間、及び単位枚数あたりの前記検証用画像を識別するのに要した平均処理時間のうち、少なくともいずれか１つを含むことを特徴とする。
また、本発明の識別結果表示装置は、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得部と、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出部と、前記識別指標算出部によって算出された前記識別指標を表示する表示部と、前記識別指標を表示する態様を示す可視化条件を取得する可視化条件取得部と、を備え、前記表示部は、前記可視化条件に基づいて、前記識別指標を表示し、前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含むことを特徴とする。
また、本発明の識別結果表示装置は、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得部と、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出部と、前記識別指標算出部によって算出された前記識別指標を表示する表示部と、前記識別指標を表示する態様を示す可視化条件を取得する可視化条件取得部と、を備え、前記表示部は、前記可視化条件に基づいて、前記識別指標を表示し、前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含むことを特徴とする。
【0008】
また、本発明の識別結果表示方法は、識別結果表示装置に係るコンピュータ装置による識別結果表示方法であって、識別結果取得部が、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得し、識別指標算出部が、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出し、表示部が、前記識別指標算出部によって算出された前記識別指標を表示し、前記識別結果取得部は、前記検証用画像の識別に係る信号処理性能に関する性能情報を取得し、前記表示部は、前記性能情報を表示し、前記性能情報は、前記検証用画像の識別に係る信号処理に要したメモリ容量、前記検証用画像の識別に係る信号処理に要した処理時間、及び単位枚数あたりの前記検証用画像を識別するのに要した平均処理時間のうち、少なくともいずれか１つを含むことを特徴とする。
また、本発明の識別結果表示方法は、識別結果表示装置に係るコンピュータ装置による識別結果表示方法であって、識別結果取得部が、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得し、識別指標算出部が、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出し、表示部が、前記識別指標算出部によって算出された前記識別指標を表示し、可視化条件取得部が、前記識別指標を表示する態様を示す可視化条件を取得し、前記表示部は、前記可視化条件に基づいて、前記識別指標を表示し、前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含むことを特徴とする。
また、本発明の識別結果表示方法は、識別結果表示装置に係るコンピュータ装置による識別結果表示方法であって、識別結果取得部が、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得し、識別指標算出部が、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出し、表示部が、前記識別指標算出部によって算出された前記識別指標を表示し、可視化条件取得部が、前記識別指標を表示する態様を示す可視化条件を取得し、前記表示部は、前記可視化条件に基づいて、前記識別指標を表示し、前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含むことを特徴とする。
【0009】
また、本発明のプログラムは、識別結果表示装置に係るコンピュータ装置を、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得手段、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出手段、前記識別指標を表示する表示手段、として機能させるプログラムであって、前記識別結果取得手段において、前記検証用画像の識別に係る信号処理性能に関する性能情報を取得し、前記表示手段において、前記性能情報を表示し、前記性能情報は、前記検証用画像の識別に係る信号処理に要したメモリ容量、前記検証用画像の識別に係る信号処理に要した処理時間、及び単位枚数あたりの前記検証用画像を識別するのに要した平均処理時間のうち、少なくともいずれか１つを含むプログラムである。
また、本発明のプログラムは、識別結果表示装置に係るコンピュータ装置を、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得手段、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出手段、前記識別指標を表示する表示手段、前記識別指標を表示する態様を示す可視化条件を取得する可視化条件取得手段、として機能させるプログラムであって、可視化条件取得手段において、前記識別指標を表示する態様を示す可視化条件を取得し、前記表示手段において、前記可視化条件に基づいて、前記識別指標を表示し、前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含むプログラムである。
また、本発明のプログラムは、識別結果表示装置に係るコンピュータ装置を、複数の識別器からなる複合識別器に、複数のクラスからなる検証用画像を識別させた識別結果であって、前記複合識別器による複合識別結果と、前記複合識別器に含まれる識別器による個別識別結果とを含む識別結果を取得する識別結果取得手段、前記識別結果を用いて、前記複合識別器の識別精度を示す指標である複合識別指標と、前記複合識別器に含まれる識別器の識別精度を示す指標である個別識別指標とを含む識別指標を、前記クラスごとに算出する識別指標算出手段、前記識別指標を表示する表示手段、前記識別指標を表示する態様を示す可視化条件を取得する可視化条件取得手段、として機能させるプログラムであって、可視化条件取得手段において、前記識別指標を表示する態様を示す可視化条件を取得し、前記表示手段において、前記可視化条件に基づいて、前記識別指標を表示し、前記可視化条件は、少なくとも二次元以上の多次元グラフと複合グラフを含み、前記多次元グラフは、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、及びレーダーチャートのうち、少なくともいずれか１つを含み、前記複合グラフは、少なくとも１つ以上の前記多次元グラフの組み合わせを含むプログラムである。
【発明の効果】
【0010】
本発明によれば、アンサンブル学習において、識別モデルに入力する識別対象に応じた識別精度を表示することができる。したがって、現場にいる非専門家であっても、現場で扱っている識別対象の識別精度が向上するように識別器を調整することが可能となる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係る識別結果表示装置３０が適用される調整支援システム１の構成例を示すブロック図である。
【図2】実施形態に係る識別指標算出部３３の構成の例を示すブロック図である。
【図3A】実施形態に係る識別結果情報３５０－１の構成の例を示す図である。
【図3B】実施形態に係る識別結果情報３５０－２の構成の例を示す図である。
【図3C】実施形態に係る識別結果情報３５０－３の構成の例を示す図である。
【図3D】実施形態に係る識別結果情報３５０－４の構成の例を示す図である。
【図4A】実施形態に係る表示部３７に表示される識別結果の例を示す図である。
【図4B】実施形態に係る表示部３７に表示される識別結果の例を示す図である。
【図4C】実施形態に係る表示部３７に表示される識別結果の例を示す図である。
【図4D】実施形態に係る表示部３７に表示される識別結果の例を示す図である。
【図5A】実施形態に係る表示部３７に表示される識別結果の例を示す図である。
【図5B】実施形態に係る表示部３７に表示される識別結果の例を示す図である。
【図6】実施形態に係る識別結果表示装置３０が行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、実施形態の識別結果表示装置を、図面を参照しながら説明する。
【0013】
図１は、実施形態に係る識別結果表示装置３０が適用される調整支援システム１の構成の例を示すブロック図である。調整支援システム１は、検証用画像格納サーバ１０と、複合識別器２０と、識別結果表示装置３０とを備える。
【0014】
検証用画像格納サーバ１０は、検証用の画像（検証用画像）が格納されたサーバ装置である。検証用画像とは、複合識別器２０の性能を検証するために用いられる画像である。検証用画像には、画像に、その識別結果が予めラベリング（対応付け）された画像である。
【0015】
例えば、検証用画像が文字画像であり、複合識別器２０が検証用画像に示された文字を識別する場合を考える。この場合、検証用画像には、様々な種別（漢字や平仮名、片仮名、変体仮名等）の文字が、様々な書体（楷書体、行書体、草書体等）で示されている。そして、検証用画像には、画像に示された文字の識別結果がラベリングされている。具体的には、「橋」の文字が示された検証用画像には、識別結果としての「橋」であること、がラベリングされている。また、例えば「喬」の文字が示された検証用画像には、識別結果として「橋」でないこと、がラベリングされている。そして、この場合、複合識別器２０は、検証用画像に示された文字が「橋」であるか否かを識別するモデルとなる。
【0016】
以下では、検証用画像が文字画像であり、複合識別器２０が検証用画像に示された文字を識別する場合を例に説明する。しかしながら、これに限定されることはない。例えば、画像に動物や植物が示され、複合識別器２０が画像に示された動物や植物を識別する態様であってもよい。
【0017】
検証用画像は、クラスごとに分類されている。クラスは、検証用画像の区分であり、例えば、文字の種別ごとの区分である。この場合、例えば、漢字で文字が示された検証用画像は、その書体に関わらず同じクラスに分類される。平仮名で文字が示された検証用画像は、書体に関わらず同じクラスに分類される。片仮名で文字が示された検証用画像は、書体に関わらず同じクラスに分類される。或いは、クラスは、文字の書体ごとの区分である。この場合、例えば、楷書体で文字が示された検証用画像は文字の種別に関わらず同じクラスに分類される。行書体で文字が示された検証用画像は文字の種別に関わらず同じクラスに分類される。草書体で文字が示された検証用画像は文字の種別に関わらず同じクラスに分類される。
【0018】
複合識別器２０は、検証用画像を識別する識別器である。複合識別器２０は、複数の弱識別器（弱識別器２１～２３）と、複合識別部２４とを備える、いわゆるアンサンブル学習器である。複数の弱識別器のそれぞれは、互いに異なる学習をさせた識別器である。以下の説明において、複数の弱識別器のそれぞれを互いに区別しない場合には、これらを、符号を付さずに「弱識別器」などと称する。
【0019】
弱識別器は、教師あり学習のモデルであってもよいし、教師なし学習のモデルであってもよい。弱識別器は、互いに異なる学習をさせることによって生成された学習済みの機械学習モデル（学習済み識別モデル）である。弱識別器は、任意の機械学習の手法が適用されてよい。任意の機械学習とは、例えば、ＳＶＭ（サポートベクトルマシン）、ｋ平均法（ｋ－ｍｅａｎｓ）、改良されたＫ平均法であるｋ－ｍｅａｎｓ＋＋、ニューラルネットワーク（多クラス識別を実施する畳み込みニューラルネットワーク）、決定木などである。
【0020】
また、複数の弱識別器のそれぞれが同じ機械学習の手法で構成されてもよいし、互いに異なる手法で構成されてもよいし、一部が同じ手法で構成されてもよい。例えば、弱識別器２１はＳＶＭで構成され、弱識別器２２はｋ平均法で構成され、弱識別器２３はニューラルネットワークで構成されてよい。或いは、弱識別器２１、２２が決定木で構成され、弱識別器２３がｋ－ｍｅａｎｓ＋＋で構成されてもよい。
【0021】
弱識別器は、入力される検証用画像が、識別対象であるか否かを識別し、識別結果を複合識別部２４に出力する。すなわち、弱識別器２１の識別結果、弱識別器２２の識別結果、及び弱識別器２３の識別結果のそれぞれが、複合識別部２４に出力される。
【0022】
複合識別部２４は、複数の弱識別器のそれぞれの識別結果に基づいて、１つの識別結果（識別対象であるか否か）を決定する。複合識別部２４は、例えば、複数の弱識別器のそれぞれの識別結果の多数決（投票）により１つの識別結果を決定する。或いは、複合識別部２４は、複数の弱識別器のそれぞれの識別結果を重みづけし、重みづけした結果の多数決（投票）により１つの識別結果を決定するようにしてもよい。複合識別部２４は、決定した識別結果を識別結果表示装置３０に出力する。
【0023】
本実施形態では、複合識別部２４により決定された識別結果（複合識別結果）と共に、複数の弱識別器のそれぞれの識別結果（個別識別結果）が、識別結果表示装置３０に出力される。例えば、弱識別器２１～２３が、それぞれの個別識別結果を複合識別部２４に出力すると共に、識別結果表示装置３０に出力するようにしてもよいし、複合識別部２４が、複合識別結果と共に、弱識別器２１～２３から取得した個別識別結果を出力するようにしてもよい。
【0024】
ここで、アンサンブル学習器では、ある弱識別器が誤った識別をした場合であっても、他の多くの弱識別器が正しい識別をすれば、アンサンブル学習器は正しい識別結果を出力するように構成される。このため、様々な識別対象のクラスに対しても、その識別性能を向上させることが可能である。しかしながら、このような様々なクラスに対して識別性能が高いモデルを作成しても現場のニーズに応えられていない場合がある。
【0025】
例えば、アンサンブル学習の結果、どのクラスに対しても９０％を超える識別器を作成できたとしても、現場では、ある特定のクラスについては９５％以上の識別精度が必須であり、他のクラスは９０％未満の識別精度しか要求しない場合がある。このような場合、どのクラスに対しても９０％を超えるアンサンブル学習器は現場のニーズに応えられていないということになる。
【0026】
或いは、どのクラスに対しても９５％を超えるアンサンブル学習器を作成したが、現場のサーバ装置のＧＰＵ（Graphics Processing Unit）メモリ容量で、アンサンブル学習器に対応するプログラムを動作させることができなければ、そのアンサンブル学習器は現場のニーズに応えられていないということになる。
【0027】
これらの対策として、アンサンブル学習器を構成する弱識別器を取捨選択することにより、ある特定のクラスについてのみ、９５％以上の識別精度となるようにカスタマイズできるようにすることが考えられる。また、アンサンブル学習器を構成する弱識別器を取捨選択することにより、現場の環境に載せられる規模の弱識別器の組合せでアンサンブル学習器をカスタマイズできるようにすることが考えられる。
【0028】
すなわち、これらの対策として、調整支援システム１、様々なクラスに対する識別精度が向上するように作成された、一般的なアンサンブル学習器（複合識別器２０）を、現場のニーズに応じてカスタマイズ（調整）できるような表示を、識別結果表示装置３０にて行うようにした。この際、識別結果表示装置３０は、どのようにカスタマイズすればよいのかを、直感的に把握することができるような表示を行うようにする。これにより、現場の非専門家でも、アンサンブル学習器を現場のニーズに応じてカスタマイズすることが可能となる。
【0029】
識別結果表示装置３０は、複合識別器２０による識別結果に基づく表示を行うコンピュータ装置である。識別結果表示装置３０は、例えば、識別結果取得部３１と、可視化条件取得部３２と、識別指標算出部３３と、表示制御部３４と、記憶部３５と、入力部３６と、表示部３７とを備える。
【0030】
識別結果取得部３１は、複合識別器２０による識別結果を取得する。ここでの複合識別器２０による識別結果には、複合識別部２４により決定された複合識別結果と、弱識別器２１～２３のそれぞれにより識別された個別識別結果とが含まれる。識別結果取得部３１は、取得した識別結果を識別指標算出部３３に出力する。
【0031】
可視化条件取得部３２は、可視化条件を取得する。可視化条件は、識別結果に係る表示の態様であって、例えば、どのようなグラフの種別で表示を行うかを示す条件である。グラフの種別としては、例えば、棒グラフ、折れ線グラフ、円グラフ、面グラフ、散布図、レーダーチャート等がある。
【0032】
ここで、可視化条件となり得るグラフは、二次元以上の多次元グラフ、及び多次元グラフの組合せ（複合グラフ）である。ここで、可視化条件となり得るグラフを多次元グラフとしたのは、複数のクラスの識別結果を１つのグラフに表示するためである。１つのグラフに、複数のクラスの識別結果を表示させることで、クラス別の識別性能を直感的に把握しやすくすることができる。また、可視化条件となり得るグラフを複合グラフとしたのは、弱識別器におけるクラスごとの識別結果と、複合識別器２０におけるクラスごとの識別結果とを並べて表示するなどして比較可能に表示するためである。これにより、個々の弱識別器のクラスごとの識別精度と、複合識別器２０におけるクラスごとの識別精度とを、直感的に把握しやすくなる。
【0033】
可視化条件取得部３２は、例えば、マウスやキーボードなどの入力装置がユーザに操作されることによって入力された可視化条件を取得する。可視化条件取得部３２は、取得した可視化条件を、表示制御部３４に出力する。
【0034】
識別指標算出部３３は、識別結果を用いて、識別指標を算出する。識別指標は、識別性能を、識別対象とするクラスごとに比較可能な指標である。識別指標算出部３３は、識別結果のうちの個別識別結果を用いて弱識別器の識別指標を算出し、識別結果のうちの複合識別結果を用いて複合識別器２０におけるクラスごとの識別指標を算出する。識別指標算出部３３が識別指標を算出する方法については後で詳しく説明する。識別指標算出部３３は、算出した識別指標を表示制御部３４に出力する。
【0035】
表示制御部３４は、表示部３７を制御する。表示制御部３４は、可視化条件取得部３２から可視化条件を取得する。表示制御部３４は、識別指標算出部３３から識別指標を取得する。表示制御部３４は、可視化条件に対応させた識別指標を表示部３７に表示させる。
【0036】
記憶部３５は、識別結果表示装置３０の各種の処理を実行するためのプログラム、及び各種の処理を行う際に利用される一時的なデータを記憶する。記憶部３５は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部３５は、例えば、識別結果情報３５０を記憶する。識別結果情報３５０は、識別結果に関する情報である。識別結果情報３５０には、例えば、複合識別器２０から取得した識別結果、及び識別指標算出部３３により算出された識別指標が含まれる。
【0037】
入力部３６は、マウスやキーボードなどの入力装置から操作入力された情報を取得する。入力部３６は、例えば、入力装置から操作入力された可視化条件を取得し、取得した可視化条件を可視化条件取得部３２に出力する。
【0038】
表示部３７は、液晶ディスプレイなどの表示装置を含み、表示制御部３４の制御に応じた画像を表示する。表示部３７は、例えば、可視化条件に応じた態様にて、弱識別器による識別指標、複合識別器２０による識別指標を表示する。
【0039】
ここで、識別指標算出部３３が識別指標を算出する方法について、図２を用いて詳しく説明する。図２は、実施形態に係る識別指標算出部３３の構成の例を示すブロック図である。識別指標算出部３３は、例えば、複合識別精度算出部３３０と、正解識別精度算出部３３１と、誤識別精度算出部３３２と、マシン性能算出部３３３とを備える。
【0040】
複合識別精度算出部３３０は、複合識別精度を算出する。複合識別精度は、複合識別器２０による識別精度であり、複合識別器２０による識別指標に対応する。複合識別精度には、識別器の性能を評価する指標として従来用いられてきた任意の指標が用いられるようにしてよい。
【0041】
複合識別精度は、例えば、真陽性（以下、ＴＰ（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）ともいう）、偽陽性（以下、ＦＰ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）ともいう）、真陰性（以下、ＴＮ（Ｔｒｕｅ Ｎｅｇａｔｉｖｅ）ともいう）、及び偽陰性（以下、ＦＮ（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）ともいう）で表される指標によって構成される。
【0042】
真陽性（ＴＰ）は、識別対象の画像を、識別対象であると正しく識別した度合いを示す指標である。例えば、ＴＰは、識別対象の画像を識別対象であると正しく識別した画像の枚数である。
【0043】
偽陽性（ＦＰ）は、識別対象とは異なる画像を、識別対象であると誤って識別した度合いを示す指標である。例えば、ＦＮは、識別対象とは異なる画像を識別対象であると誤って識別した画像の枚数である。
【0044】
真陰性（ＴＮ）は、識別対象とは異なる画像を、識別対象ではないと正しく識別した度合いを示す指標である。例えば、ＴＮは、識別対象とは異なる画像を識別対象でないと正しく識別した画像の枚数である。
【0045】
偽陰性（ＦＮ）は、識別対象の画像を、識別対象でないと誤って識別した度合いを示す指標である。例えば、ＦＰは、識別対象の画像を識別対象でないと誤って識別した画像の枚数である。
【0046】
また、複合識別精度には、上記以外の指標が含まれていてもよい。例えば、正解率Ａｃ、適合率Ｐｒ、再現率Ｒｅ、特異率Ｓｐ、及びＦ値などが含まれていてもよい。これらの指標は、下記の（１）式で求められる。
【0047】
Ａｃ＝（ＴＰ＋ＴＮ）／（ＴＰ＋ＦＰ＋ＦＮ＋ＴＮ）
Ｐｒ＝ＴＰ／（ＴＰ＋ＦＰ）
Ｒｅ＝ＴＰ／（ＴＰ＋ＦＮ）
Ｓｐ＝ＴＮ／（ＦＰ＋ＴＮ）
Ｆ＝２×Ｐｒ×Ｒｅ／（Ｐｒ＋Ｒｅ） …（１）
Ｐｒ＝ＴＰ／（ＴＰ＋ＦＰ）
Ｒｅ＝ＴＰ／（ＴＰ＋ＦＮ）
Ｓｐ＝ＴＮ／（ＦＰ＋ＴＮ）
Ｆ＝２×Ｐｒ×Ｒｅ／（Ｐｒ＋Ｒｅ） …（１）
【0048】
（１）式におけるＡｃは正解率、Ｐｒは適合率、Ｒｅは再現率、Ｓｐは特異率、ＦはＦ値をそれぞれ示している。また、ＴＰは真陽性、ＴＮは真陰性、ＦＰは偽陽性、ＦＮは偽陰性をそれぞれ示している。
【0049】
正解識別精度算出部３３１は、正解識別精度を算出する。正解識別精度は、検証用画像が正しく識別された度合いであり、例えば、正解識別枚数、正解識別比率、複合学習による正解識別寄与の度合い、真陽性（ＴＰ）の度合い、及び真陰性（ＴＮ）の度合いを含む。
【0050】
正解識別枚数は、正しく識別された検証用画像の枚数である。正解識別比率は、識別した検証用画像の総数に対する正しく識別された検証用画像の比率であり、正解率Ａｃに相当する。複合学習による正解識別寄与の度合いは、複合識別部２４における複合的な識別の過程が正しい識別に寄与した度合である。
【0051】
正解識別精度算出部３３１は、複合識別結果と個別識別結果とに基づいて、複合学習による正解識別寄与の度合いを算出する。正解識別精度算出部３３１は、例えば、複合識別結果及び個別識別結果において共に正しく識別された度合い、及び複合識別結果において正しく識別されたが個別識別結果において誤って識別された度合いを、複合学習による正解識別寄与の度合いとして算出する。
【0052】
誤識別精度算出部３３２は、誤識別精度を算出する。誤識別精度は、検証用画像が誤って識別された度合いであり、例えば、誤識別枚数、誤識別比率、複合学習による誤識別寄与の度合い、偽陽性（ＦＰ）の度合い、及び偽陰性（ＦＮ）の度合いを含む。
【0053】
誤識別枚数は、誤って識別した検証用画像の枚数である。誤識別比率は、識別した検証用画像の総数に対する誤って識別した検証用画像の比率であり、（１－正解率Ａｃ）に相当する。複合学習による誤識別寄与の度合いは、複合識別部２４における複合的な識別の過程が誤った識別に寄与した度合である。
【0054】
誤識別精度算出部３３２は、複合識別結果と個別識別結果とに基づいて、複合学習による誤識別寄与の度合いを算出する。正解識別精度算出部３３１は、例えば、複合識別結果及び個別識別結果において共に誤って識別された度合い、及び複合識別結果において誤って識別されたが個別識別結果において正しく識別された度合いを、複合学習による誤識別寄与の度合いとして算出する。
【0055】
マシン性能算出部３３３は、マシン性能（信号処理性能）を算出する。マシン性能は、識別に係る信号処理に要した性能であり、例えば、識別結果が算出されるまでに要したＣＰＵ（Central Processing Unit）のメモリ容量、ＧＰＵのメモリ容量、識別結果が算出されるまでに要した処理時間、単位枚数（例えば１枚）あたりの検証用画像の識別結果が算出されるまでに要した平均処理時間などである。
【0056】
マシン性能算出部３３３が、メモリ容量、及び処理時間等を取得する方法は任意であってよい。例えば、複合識別器２０のＣＰＵ又は／及びＧＰＵのメモリ容量が予め記憶部３５などに記憶されるようにする。そして、マシン性能算出部３３３は、記憶部３５を参照することによって複合識別器２０のＣＰＵ又は／及びＧＰＵのメモリ容量を取得する。また、この場合、例えば、複合識別器２０が、識別に要した処理時間や、識別した検証用画像の枚数を計測し、計測結果を識別結果表示装置３０に通知する。マシン性能算出部３３３は、識別結果表示装置３０に通知された計測結果に基づいて、処理時間や平均処理時間を算出する。
【0057】
【0058】
図３Ａには、複合識別器２０に識別対象である検証用画像が入力された場合の入力と出力（識別結果）の関係が示された情報が、識別結果情報３５０－１として示されている。識別結果情報３５０－１は、例えば、識別モデル構成ＩＤ、入力、及び出力の項目を備える。
【0059】
識別モデル構成ＩＤは、識別モデル（複合識別器２０）の構成を一意に識別する識別情報である。ここでの識別モデルの構成とは、例えば、複合識別器２０の弱識別器２２～２３うち、識別処理を行った弱識別器を示す情報である。複合識別器２０をカスタマイズする過程において、複数の弱識別器のうちの一部の弱識別器による識別処理を行わないように設定するような調整が行われる。識別モデル構成ＩＤは、このような調整後の複合識別器２０の構成を特定する識別情報である。
【0060】
入力には、識別対象画像、期待値、クラスなどの項目を備える。識別対象画像は、識別の対象として複合識別器２０に入力された検証用画像が示される。期待値は、識別対象画像にラベリングされた「識別対象であるか否か」を示す情報である。クラスは、識別対象画像が属するクラス（ここではクラス＃１）が示される。この例では、識別対象画像が、行書体で「橋」の漢字表記がなされた画像である場合が示されている。この場合の期待値は、「橋」である、つまり、識別対象であることが示されている。
【0061】
出力には、弱識別器Ａ～Ｎ、複合判定などの項目を備え、それぞれに識別結果が対応付けられている。弱識別器Ａ～Ｎには、複数の弱識別器のぞれぞれの識別結果が示されている。複合判定には、複合識別部２４による複合的な識別結果が示されている。識別結果は、「橋」であると識別されたか否か、及びその識別結果が、真陽性（ＴＰ）、偽陰性（ＦＮ）の何れに該当するかが示されている。この例では、弱識別器Ａは、「橋」であると正しく識別し、真陽性（ＴＰ）であることが示されている。弱識別器Ｂは、「橋」でないと誤って識別し、偽陰性（ＦＮ）であることが示されている。また、複合判定では、「橋」であると正しく識別され、真陽性（ＴＰ）であることが示されている。
【0062】
図３Ｂには、複合識別器２０に識別対象でない検証用画像が入力された場合の入力と出力（識別結果）の関係が示された情報が、識別結果情報３５０－２として示されている。識別結果情報３５０－２は、例えば、識別モデル構成ＩＤ、入力、及び出力の項目を備える。識別モデル構成ＩＤ、入力、出力の各項目は、識別結果情報３５０－１の項目と同様であるためその説明を省略する。
【0063】
この入力の例では、識別対象画像が、行書体で「喬」の漢字表記がなされた画像である場合が示されている。この場合の期待値は、「橋」でない、つまり、識別対象でないことが示されている。
【0064】
この出力の例では、弱識別器Ａは、「橋」であると誤って識別し、偽陽性（ＦＰ）であることが示されている。弱識別器Ｂは、「橋」でないと正しく識別し、真陰性（ＴＮ）であることが示されている。また、複合判定では、「橋」であると誤って識別され、偽陽性（ＦＰ）であることが示されている。
【0065】
図３Ｃには、複合識別器２０に識別結果に基づく正解識別情報が識別結果情報３５０－３として示されている。識別結果情報３５０－３は、例えば、識別モデル構成ＩＤ、識別対象画像枚数、及び正解識別情報の項目を備える。識別モデル構成ＩＤの項目は、識別結果情報３５０－１における識別モデル構成ＩＤの項目と同様であるためその説明を省略する。
【0066】
識別対象画像枚数には、識別した検証用画像の総数と、その検証用画像が属するクラスの内訳が示されている。この例では、識別した検証用画像の総数が１００枚であり、その内訳として、クラス＃１が２０枚であり、クラス＃８が８枚であることが示されている。
【0067】
正解識別情報には、正解識別枚数（比率）、アンサンブル学習によって正解識別となった画像枚数（比率）、ＴＰ（前回との差分）、ＴＮ（前回との差分）の項目を備える。正解識別枚数（比率）は、弱識別器Ａ～Ｎ、複合判定などの項目を備え、それぞれの項目に、クラスごとの正解識別枚数（比率）が示される欄が設けられている。この例では、弱識別器Ａによる識別の結果、クラス＃１に属する検証用画像のうち１６枚について正しく識別され、その比率は８０％であることが示されている。
【0068】
アンサンブル学習によって正解識別となった画像枚数（比率）には、「複合学習による正解識別寄与の度合い」の一例として、複数ある弱識別器のいずれかで誤った識別がなされたが、複合識別部２４で正しい識別となった検証用画像の枚数、及びその比率が示されている。この例では、２０枚（比率にして２０％）の検証用画像が、複合識別部２４による複合判定の過程において、正しい識別結果となったことが示されている。
【0069】
ＴＰ（前回との差分）には、真陽性（ＴＰ）であった検証用画像の枚数と、前回との差分とが示されている。ここでの前回とは、複合識別器２０の構成を変更する前の識別結果に基づく真陽性（ＴＰ）の枚数のことである。ＴＮ（前回との差分）には、真陰性（ＴＮ）であった検証用画像の枚数と、前回との差分とが示されている。ここでの前回とは、複合識別器２０の構成を変更する前の識別結果に基づく真陰性（ＴＮ）の枚数のことである。前回との差分を算出することにより、利用者が複合識別器２０の構成の変更前後における、真陽性（ＴＰ）及び真陰性（ＴＮ）の変化を把握でき、調整による識別精度の効果を把握することが可能となる。この例では、真陽性（ＴＰ）の検証用画像が前回より３枚増加して１８枚となったこと、及び真陰性（ＴＮ）の検証用画像が前回より１枚増加して６枚となったことが示されている。
【0070】
図３Ｄには、複合識別器２０に識別結果に基づく誤識別情報が識別結果情報３５０－４として示されている。識別結果情報３５０－４は、例えば、識別モデル構成ＩＤ、識別対象画像枚数、及び誤識別情報の項目を備える。識別モデル構成ＩＤ、識別対象画像枚数の項目は、識別結果情報３５０－３において対応する項目と同様であるためその説明を省略する。
【0071】
誤識別情報には、誤識別枚数（比率）、アンサンブル学習によって誤識別となった画像枚数（比率）、ＦＰ（前回との差分）、ＦＮ（前回との差分）の項目を備える。誤識別枚数（比率）は、弱識別器Ａ～Ｎ、複合判定などの項目を備え、それぞれの項目に、クラスごとの誤識別枚数（比率）が示される欄が設けられている。この例では、弱識別器Ａによる識別の結果、クラス＃１に属する検証用画像のうち４枚について誤って識別され、その比率は２０％であることが示されている。
【0072】
アンサンブル学習によって誤識別となった画像枚数（比率）には、「複合学習による誤識別寄与の度合い」の一例として、複数ある弱識別器のいずれかで正しい識別がなされたが、複合識別部２４で誤った識別となった検証用画像の枚数、及びその比率が示されている。この例では、８枚（比率にして８％）の検証用画像が、複合識別部２４による複合判定の過程において、誤った識別結果となったことが示されている。
【0073】
ＦＰ（前回との差分）には、偽陽性（ＦＰ）であった検証用画像の枚数と、前回との差分とが示されている。ここでの前回とは、複合識別器２０の構成を変更する前の識別結果に基づく偽陽性（ＦＰ）の枚数のことである。ＦＮ（前回との差分）には、偽陰性（ＦＮ）であった検証用画像の枚数と、前回との差分とが示されている。ここでの前回とは、複合識別器２０の構成を変更する前の識別結果に基づく偽陰性（ＦＮ）の枚数のことである。前回との差分を算出することにより、利用者が複合識別器２０の構成の変更前後における、偽陽性（ＦＰ）及び偽陰性（ＦＮ）の変化を把握でき、調整による識別精度の効果を把握することが可能となる。この例では、偽陽性（ＦＰ）の検証用画像が前回より２枚減少して２枚となったこと、及び偽陰性（ＦＮ）の検証用画像が前回より１枚減少して２枚となったことが示されている。
【0074】
【0075】
図４Ａには、ある弱識別器（或いは複合識別器２０）におけるクラスごとの正解識別比率がレーダーチャートで示された場合の例が示されている。この例では、複数のクラス（クラス＃１～＃８）ごとの正解識別比率がレーダーチャートで示され、いずれのクラスの正解識別比率が高く、いずれのクラスの正解識別比率が低いのかを把握することができる。
【0076】
図４Ｂには、ある弱識別器（或いは複合識別器２０）におけるクラスごとの正解識別比率が棒グラフで示された場合の例が示されている。この例では、複数のクラス（クラス＃１～＃８）ごとの正解識別比率が棒グラフで示され、いずれのクラスの正解識別比率が高く、いずれのクラスの正解識別比率が低いのかを把握することができる。
【0077】
図４Ｃには、複合識別器２０における変更前後の真陽性（ＴＰ）及び真陰性（ＴＮ）の検証用画像の枚数が棒グラフで示された場合の例が示されている。この例では、今回の真陽性（ＴＰ）の枚数が値Ｖ１で示されており、値Ｖ１のうちの値Ｖ１Ｐが前回から増加した枚数であることが示されている。また、今回の真陰性（ＴＮ）の枚数が値Ｖ２で示されており、値Ｖ２のうちの値Ｖ２Ｐが前回から増加した枚数であることが示されている。このように、棒グラフの中で前回からの差分を明示することにより、複合識別器２０の構成を変更した前後における識別精度の変化を直感的に把握しやすく表示することができる。
【0078】
図４Ｄには、複合識別器２０における変更前後の偽陽性（ＦＰ）及び偽陰性（ＦＮ）の検証用画像の枚数が棒グラフで示された場合の例が示されている。この例では、今回の偽陽性（ＦＰ）の枚数が値Ｖ３で示されており、値Ｖ３が前回から値Ｖ３Ｐ減少した枚数であることが示されている。また、今回の偽陰性（ＦＮ）の枚数が値Ｖ４で示されており、値Ｖ４が前回から値Ｖ４Ｐ減少した枚数であることが示されている。このように、棒グラフの中で前回からの差分を明示することにより、複合識別器２０の構成を変更した前後における識別精度の変化を直感的に把握しやすく表示することができる。
【0079】
【0080】
図５Ａでは、表示部３７の画面３７０に、性能情報表示部３７１と、出力条件取得部３７２、名称情報表示部３７３、識別精度表示部３７４、誤識別精度表示部３７５、及び正解識別精度表示部３７６などの画像が表示された例が示されている。性能情報表示部３７１には、マシン性能算出部３３３により算出された、マシン性能が示されている。出力条件取得部３７２には、利用者等により選択された可視化条件が示されている。名称情報表示部３７３には、複合識別器２０を構成する弱識別器のそれぞれが示されている。識別精度表示部３７４には、複合識別精度算出部３３０により算出された複合識別精度が示されている。
【0081】
誤識別精度表示部３７５には、誤識別精度算出部３３２により算出された誤識別精度が表示されている。この例では、誤識別精度表示部３７５の欄の上部左から、５つの弱識別器のそれぞれについて、クラス毎の誤識別比率がレーダーチャートで示されている。欄の上部右には、左側の５つの弱識別器のそれぞれのクラス毎の誤識別比率を重ねて表示させたレーダーチャートが示されている。欄の下部右には、複合識別器２０のクラス毎の誤識別比率がレーダーチャートで示されている。また、欄の中央付近には、アンサンブル寄与として、複合学習による誤識別寄与の度合いが、画像枚数及びその比率で表示されている。そして、欄の下部左には、偽陽性（ＦＰ）及び偽陰性（ＦＮ）が前回との差分と共に示されている。
【0082】
正解識別精度表示部３７６には、正解識別精度算出部３３１により算出された正解識別精度が表示されている。この例では、正解識別精度表示部３７６の欄の上部左から、５つの弱識別器のそれぞれについて、クラス毎の正解識別比率がレーダーチャートで示されている。欄の上部右には、左側の５つの弱識別器のそれぞれのクラス毎の正解識別比率を重ねて表示させたレーダーチャートが示されている。欄の下部右には、複合識別器２０のクラス毎の正解識別比率がレーダーチャートで示されている。また、欄の中央付近には、アンサンブル寄与として、複合学習による正解識別寄与の度合いが、画像枚数及びその比率で表示されている。そして、欄の下部左には、真陽性（ＴＰ）及び真陰性（ＴＮ）が前回との差分と共に示されている。
【0083】
図５Ｂでは、表示部３７の画面３７０に、性能情報表示部３７１と、出力条件取得部３７２、名称情報表示部３７３、識別精度表示部３７４、誤識別精度表示部３７５、及び正解識別精度表示部３７６などの画像が表示された例が示されている。性能情報表示部３７１、出力条件取得部３７２、名称情報表示部３７３、識別精度表示部３７４は、図５Ａと同様であるためその説明を省略する。誤識別精度表示部３７５には、図５Ａにおけるレーダーチャートが棒グラフで示されている。このように利用者の選択に応じた表示を行うことにより、利用者にとって識別精度が把握し易い表示を行うことが可能である。
【0084】
図６は、本実施形態の識別結果表示装置３０が行う処理の流れを示すフローチャートである。
ステップＳ１０：識別結果表示装置３０は、識別結果を取得する。識別結果表示装置３０は、弱識別器による個別識別結果、及び複合識別部２４による複合識別結果を取得する。
ステップＳ１１：識別結果表示装置３０は、可視化条件を取得する。識別結果表示装置３０は、利用者等によって選択された可視化条件を取得する。
ステップＳ１２：識別結果表示装置３０は、識別結果に基づく識別指標を算出する。識別結果表示装置３０は、識別指標として、複合識別精度、正解識別精度、誤識別精度、及びマシン性能を算出する。識別結果表示装置３０は、弱識別器のそれぞれについて、クラス毎の正解識別精度を算出する。識別結果表示装置３０は、複合識別器２０におけるクラス毎の正解識別精度を算出する。識別結果表示装置３０は、弱識別器のそれぞれについて、クラス毎の誤識別精度を算出する。識別結果表示装置３０は、複合識別器２０におけるクラス毎の誤識別精度を算出する。
ステップＳ１３：識別結果表示装置３０は、算出した識別指標を識別結果情報３５０として記憶部３５に記憶させる。
ステップＳ１４：識別結果表示装置３０は、算出した識別指標を、前回算出した識別指標との差分を算出する。
ステップＳ１５：識別結果表示装置３０は、識別結果情報３５０及び可視化条件に基づいて、正解識別精度を表示する。この場合において、識別結果表示装置３０は、正解識別精度における各指標の前回との差分を表示するようにしてもよい。
ステップＳ１６：識別結果表示装置３０は、識別結果情報３５０及び可視化条件に基づいて、誤識別精度を表示する。この場合において、識別結果表示装置３０は、誤識別精度における各指標の前回との差分を表示するようにしてもよい。
ステップＳ１７：識別結果表示装置３０は、識別結果情報３５０及び可視化条件に基づいて、マシン性能（性能情報）を表示する。この場合において、識別結果表示装置３０は、マシン性能における各指標（メモリ容量や処理時間など）の前回との差分を表示するようにしてもよい。
ステップＳ１０：識別結果表示装置３０は、識別結果を取得する。識別結果表示装置３０は、弱識別器による個別識別結果、及び複合識別部２４による複合識別結果を取得する。
ステップＳ１１：識別結果表示装置３０は、可視化条件を取得する。識別結果表示装置３０は、利用者等によって選択された可視化条件を取得する。
ステップＳ１２：識別結果表示装置３０は、識別結果に基づく識別指標を算出する。識別結果表示装置３０は、識別指標として、複合識別精度、正解識別精度、誤識別精度、及びマシン性能を算出する。識別結果表示装置３０は、弱識別器のそれぞれについて、クラス毎の正解識別精度を算出する。識別結果表示装置３０は、複合識別器２０におけるクラス毎の正解識別精度を算出する。識別結果表示装置３０は、弱識別器のそれぞれについて、クラス毎の誤識別精度を算出する。識別結果表示装置３０は、複合識別器２０におけるクラス毎の誤識別精度を算出する。
ステップＳ１３：識別結果表示装置３０は、算出した識別指標を識別結果情報３５０として記憶部３５に記憶させる。
ステップＳ１４：識別結果表示装置３０は、算出した識別指標を、前回算出した識別指標との差分を算出する。
ステップＳ１５：識別結果表示装置３０は、識別結果情報３５０及び可視化条件に基づいて、正解識別精度を表示する。この場合において、識別結果表示装置３０は、正解識別精度における各指標の前回との差分を表示するようにしてもよい。
ステップＳ１６：識別結果表示装置３０は、識別結果情報３５０及び可視化条件に基づいて、誤識別精度を表示する。この場合において、識別結果表示装置３０は、誤識別精度における各指標の前回との差分を表示するようにしてもよい。
ステップＳ１７：識別結果表示装置３０は、識別結果情報３５０及び可視化条件に基づいて、マシン性能（性能情報）を表示する。この場合において、識別結果表示装置３０は、マシン性能における各指標（メモリ容量や処理時間など）の前回との差分を表示するようにしてもよい。
【0085】
以上説明したように、本実施形態の識別結果表示装置３０は、識別結果取得部３１と、識別指標算出部３３と、表示部３７とを備える。識別結果取得部３１は、識別結果を取得する。識別結果は、複合識別器２０に、複数のクラスからなる検証用画像を識別させた識別結果である。識別結果は、複合識別器２０による複合識別結果と、複合識別器２０に含まれる識別器（弱識別器２１～２３）による個別識別結果とを含む。識別指標算出部３３は、識別結果を用いて、識別指標をクラスごとに算出する。識別指標は、複合識別指標と個別識別指標とを含む。複合識別指標は、複合識別器２０の識別精度を示す指標である。個別識別指標は弱識別器の識別精度を示す指標である。表示部３７は、識別指標算出部３３によって算出された識別指標を表示する。
【0086】
これにより、実施形態の識別結果表示装置３０は、識別指標をクラスごとに算出することができる。このため、識別指標をクラスごとに表示させることが可能となり、利用者に識別対象のクラスごとの識別精度を把握させることが可能となる。したがって、複数の識別モデルを組み合わせた複合識別器２０において、識別対象に応じた識別精度を表示することができる。
【0087】
（実施形態の変形例１）
ここで、変形例１について説明する。本変形例では、クラスの出現頻度を表示する点において、上述した実施形態と相違する。ここでの出現頻度は、複合識別器２０が識別した検証用画像の全体に対して、特定のクラスに相当する画像が出現する頻度である。
ここで、変形例１について説明する。本変形例では、クラスの出現頻度を表示する点において、上述した実施形態と相違する。ここでの出現頻度は、複合識別器２０が識別した検証用画像の全体に対して、特定のクラスに相当する画像が出現する頻度である。
【0088】
出現頻度を表示することにより、利用者に特定のクラスの出現頻度を把握させることができる。このため、利用者は、特定のクラスにおける識別精度の信頼度合いを把握することが可能である。例えば、利用者は、特定のクラスの出現頻度が大きく、且つ識別精度が高い場合、その特定のクラスにおける識別精度は、多数の検証用画像から算出された値であり信頼できる値と判断することができる。一方、特定のクラスの出現頻度が小さく、且つ識別精度が高い場合、その特定のクラスにおける識別精度は、少数の検証用画像から算出された値であり、あまり信頼できる値ではないと判断することができる。
【0089】
本変形例において、識別指標算出部３３は、クラス毎の出現頻度を算出する。以下では、出現頻度が、平均出現枚数Ｘより大きいか否かを示す二値の情報である場合を例に説明する。平均出現枚数Ｘは、単位クラスあたりの平均的な出現枚数であり、以下の（２）式で表される値である。
【0090】
Ｘ＝（識別した検証用画像の総数）／（クラスの総数） …（２）
【0091】
識別指標算出部３３は、クラス毎に、そのクラスに該当する検証用画像の枚数と、平均出現枚数Ｘとを比較する。識別指標算出部３３は、比較結果を、識別結果情報３５０に記憶させる。例えば、識別指標算出部３３は、図３Ｃにおける識別結果情報３５０－３の識別対象画像枚数の欄におけるクラス毎の枚数の項目に対応づけて記憶させる。例えば、図３Ｃにおける識別対象画像枚数の場合、識別に用いた検証用画像の総数が１００枚、クラス数が８クラスであることから、平均出現枚数Ｘは（１００／８＝）１２．５枚となる。クラス＃１が２０枚であることから、平均出現枚数Ｘよりも大きくなり、クラス＃１は出現頻度が高いクラスとなる。一方、クラス＃８が８枚であることから、平均出現枚数Ｘよりも小さくなり、クラス＃８は出現頻度が低いクラスとなる。
【0092】
表示制御部３４は、クラス毎に識別精度を表示する際に、クラスの出現頻度に応じて表示態様を変化させて表示させる。例えば、表示制御部３４は、図４Ｂのように、クラス別の正解識別比率を、棒グラフを表示させる場合、出現頻度が高いクラスの正解識別比率を濃い色の棒で示し、出現頻度が低いクラスの正解識別比率を薄い色の棒で示すようにする。これにより、色の濃淡で正解識別比率が信頼できるかどうかの目安を示すことができる。
【0093】
（実施形態の変形例２）
ここで、変形例２について説明する。本変形例では、過検知と未検知に着目した識別精度を算出し、その結果を表示する点において、上述した実施形態と相違する。
ここで、変形例２について説明する。本変形例では、過検知と未検知に着目した識別精度を算出し、その結果を表示する点において、上述した実施形態と相違する。
【0094】
ここでの過検知とは、識別対象であると識別された画像のうち、実際は識別対象ではなかった画像の度合い、すなわち、余分な検知（過検知）をした度合いを示す指標である。また、ここでの未検知とは、識別対象でないと識別された画像のうち、実際は識別対象であった画像の度合い、すなわち、未だ検知できていない（未検知）度合いを示す指標である。
【0095】
識別モデル（複合識別器２０、及び弱識別器）が、検証用画像に示された文字が「橋」であるか否かを識別するモデルである場合を考える。この場合、「過検知」とは、識別モデルによって「橋」と識別された検証用画像のうち、実際には「橋」の文字が示されていない検証用画像の度合いである。また、「未検知」とは、識別モデルによって「橋」でないと識別された検証用画像のうち、実際には「橋」の文字が示されている検証用画像の度合いである。
【0096】
正解識別精度算出部３３１は、正解識別精度の一例として、過検知に着目した正解識別精度、及び未検知に着目した正解識別精度を算出する。正解識別精度算出部３３１は、例えば、複合識別器２０、及び個々の弱識別のそれぞれについて、過検知に着目した正解識別精度、及び未検知に着目した正解識別精度を算出する。過検知に着目した正解識別精度は、例えば、以下の（３）式で求められる。（３）式におけるＫＳは過検知に着目した正解識別精度である。Ｎ１は識別対象であると識別された画像のうち実際に識別対象が示されている画像の枚数である。Ｎ２は識別対象が示されている画像の枚数である。
【0097】
ＫＳ＝Ｎ１／Ｎ２ …（３）
【0098】
例えば、「橋」と識別された画像のうち実際に「橋」が示されている画像の枚数が８枚あり、「橋」と識別された画像の枚数が１００枚ある場合、Ｎ１＝８、Ｎ２＝１００となる。この場合における過検知に着目した正解識別精度ＫＳは、（８／１００）となる。この場合、過検知に着目した正解識別精度ＫＳは８％となる。また、この場合、９２（Ｎ２－Ｎ１＝１００－８＝９２）枚の画像が過検知となる。
【0099】
また、未検知に着目した正解識別精度は、以下の（４）式で求められる。（４）式におけるＭＳは未検知に着目した正解識別精度である。Ｎ３は識別対象が示されている画像のうち識別対象であると識別された画像の枚数である。Ｎ４は識別対象が示されている画像の枚数である。
【0100】
ＭＳ＝Ｎ３／Ｎ４ …（４）
【0101】
例えば、「橋」が示された画像の総数が１０枚あり、うち「橋」と識別された画像の枚数が８枚である場合、Ｎ３＝８、Ｎ４＝１０となる。この場合における未検知に着目した正解識別精度ＭＳは、（８／１０）となる。この場合、未検知に着目した正解識別精度ＭＳは８０％となる。また、この場合、２（Ｎ４－Ｎ２＝１０－８＝２）枚の画像が未検知となる。
【0102】
誤識別精度算出部３３２は、誤識別精度の一例として、過検知に着目した誤識別精度、及び未検知に着目した誤識別精度を算出する。誤識別精度算出部３３２は、例えば、複合識別器２０、及び個々の弱識別のそれぞれについて、過検知に着目した誤識別精度、及び未検知に着目した誤識別精度を算出する。過検知に着目した誤識別精度は、例えば、以下の（５）式で求められる。（５）式におけるＫＧは過検知に着目した誤識別精度である。Ｎ３は識別対象であると識別された画像のうち実際には識別対象が示されていない画像の枚数である。Ｎ６は識別対象であると識別された画像の枚数である。
【0103】
ＫＧ＝Ｎ５／Ｎ６ …（５）
【0104】
例えば、「橋」と識別された画像のうち実際には「橋」が示されていない画像の総数が９２枚あり、「橋」と識別された画像の総数が１００枚ある場合、Ｎ５＝９２、Ｎ６＝１００となる。この場合における過検知に着目した誤識別精度ＫＧは、（９２／１００）となる。この場合、過検知に着目した誤識別精度ＫＧは９２％となる。また、この場合、９２（Ｎ５＝９２）枚の画像が過検知となる。
【0105】
また、未検知に着目した誤識別精度は、以下の（６）式で求められる。（６）式におけるＭＧは未検知に着目した誤解識別精度である。Ｎ７は識別対象が示されている画像のうち識別対象でないと識別された画像の枚数である。Ｎ８は識別対象が示されている画像の枚数である。
【0106】
ＭＧ＝Ｎ７／Ｎ８ …（６）
【0107】
例えば、「橋」が示された画像の総数が１０枚あり、うち「橋」でないと識別された画像の枚数が２枚である場合、Ｎ７＝２、Ｎ８＝１０となる。この場合における未検知に着目した誤識別精度ＭＧは、（２／１０）となる。この場合、未検知に着目した誤識別精度ＭＧは２０％となる。また、この場合、２（Ｎ７＝２）枚の画像が未検知となる。
【0108】
上述した実施形態における識別結果表示装置３０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0109】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0110】
１…調整支援システム
１０…検証用画像格納サーバ
２０…複合識別器
２１～２３…弱識別器
２４…複合識別部
３０…識別結果表示装置
３１…識別結果取得部
３２…可視化条件取得部
３３…識別指標算出部
３３０…複合識別精度算出部
３３１…正解識別精度算出部
３３２…誤識別精度算出部
３３３…マシン性能算出部
３４…表示制御部
３５…記憶部
３５０…識別結果情報
３６…入力部
３７…表示部
１０…検証用画像格納サーバ
２０…複合識別器
２１～２３…弱識別器
２４…複合識別部
３０…識別結果表示装置
３１…識別結果取得部
３２…可視化条件取得部
３３…識別指標算出部
３３０…複合識別精度算出部
３３１…正解識別精度算出部
３３２…誤識別精度算出部
３３３…マシン性能算出部
３４…表示制御部
３５…記憶部
３５０…識別結果情報
３６…入力部
３７…表示部
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図6】