特許 7605711 画像識別システム及び画像識別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】画像識別システム及び画像識別方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241217BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 15

(21)【出願番号】P 2021123914

(22)【出願日】2021-07-29

(65)【公開番号】P2023019291

(43)【公開日】2023-02-09

【審査請求日】2024-02-01

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】倉田 明佳

(72)【発明者】

【氏名】汪 海林

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０２０－１６０５４３（ＪＰ，Ａ）

【文献】特開２０１４－２１５８５２（ＪＰ，Ａ）

【文献】特開２０１３－１２５３２２（ＪＰ，Ａ）

【文献】国際公開第２０２０／１８２７１０（ＷＯ，Ａ１）

【文献】特開２０２０－１６０９９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

識別対象画像の識別を行う画像識別モデルを構築するモデル構築部と、
教師画像と前記教師画像に付与されたラベルとの組み合わせの集合である第１の教師データセットに対して、前記第１の教師データセットの教師画像を分割した分割教師画像にラベルを付与し、前記分割教師画像と前記分割教師画像に付与されたラベルとの組み合わせの集合である第２の教師データセットを作成する教師データ作成部と、を有し、
前記モデル構築部は、前記第１の教師データセットまたは前記第２の教師データセットを用いて前記画像識別モデルを構築する学習部を備え、
前記教師データ作成部は、
前記第１の教師データセットの教師画像を分割し、前記分割教師画像の暫定ラベルとして分割前の教師画像に付与されたラベルを付与する画像分割部と、
前記分割教師画像のそれぞれに対してテクスチャ指標を算出するテクスチャ指標計算部と、
前記テクスチャ指標に基づき前記分割教師画像に付与された暫定ラベルを予測する暫定ラベル予測モデルを構築する暫定ラベル予測モデル構築部と、
前記分割教師画像に付与された第１の暫定ラベルと前記暫定ラベル予測モデルにより前記分割教師画像について予測された第２の暫定ラベルとを比較し、前記第１の暫定ラベルと前記第２の暫定ラベルとが異なる分割教師画像を暫定ラベルの修正の必要性が高い分割教師画像として抽出するラベル比較部と、
前記暫定ラベルの修正の必要性が高い分割教師画像として抽出された分割教師画像に付与するラベルを修正するラベル修正部とを備える、
ことを特徴とする画像識別システム。

【請求項2】

請求項１において、
前記画像識別モデルを用いて前記識別対象画像の識別を行う画像識別部をさらに有し、
前記モデル構築部は、前記第１の教師データセットを用いて構築した第１の画像識別モデル及び前記第２の教師データセットを用いて構築した第２の画像識別モデルのそれぞれについて識別精度を計算する識別精度計算部を備え、
前記画像識別部は、
前記第１の画像識別モデルの識別精度と前記第２の画像識別モデルの識別精度とを比較し、識別精度の高い画像識別モデルを前記識別対象画像の識別に用いる画像識別モデルとして選択するモデル選択部と、
前記モデル選択部で選択された画像識別モデルの教師画像の分割数にあわせて前記識別対象画像を分割して分割識別対象画像を作成する画像分割部と、
前記モデル選択部で選択された画像識別モデルを用いて前記分割識別対象画像の識別を行う識別部とを備える、
ことを特徴とする画像識別システム。

【請求項3】

請求項１において、
教師データセットの管理データを記憶する教師データ管理データベースを有し、
前記第２の教師データセットの前記管理データとして、前記教師データ作成部が前記第２の教師データセットを作成した過程を示すログデータを含む、
ことを特徴とする画像識別システム。

【請求項4】

請求項１において、
前記テクスチャ指標計算部は、前記分割教師画像のそれぞれに対してあらかじめ定められた複数のテクスチャ指標を算出し、
前記暫定ラベル予測モデル構築部は、前記複数のテクスチャ指標のうち、前記暫定ラベルと相関の高いテクスチャ指標を選択し、選択したテクスチャ指標に基づく前記暫定ラベル予測モデルを構築する、
ことを特徴とする画像識別システム。

【請求項5】

請求項４において、
前記テクスチャ指標として、輝度、周波数、均一性、局所一様性、コントラスト、エントロピー、不均一性、エッジの強さ、明暗の変化の強さ、コリレーション、またはこれらの線形結合のいずれかを含むことを特徴とする画像識別システム。

【請求項6】

請求項１において、
前記ラベル修正部は、
前記第１の暫定ラベルと前記第２の暫定ラベルとが等しい分割教師画像と前記第１の暫定ラベルとの組み合わせの集合である暫定的な第２の教師データセットを用いて前記モデル構築部が構築した暫定的な第２の画像識別モデルを用いて、前記第１の暫定ラベルと前記第２の暫定ラベルとが異なる分割教師画像を識別させることにより、前記暫定ラベルの修正の必要性が高い分割教師画像として抽出された分割教師画像のラベルを修正する、
ことを特徴とする画像識別システム。

【請求項7】

請求項１において、
前記ラベル修正部は、
前記第１の暫定ラベルと前記第２の暫定ラベルとが異なる分割教師画像を画像表示装置に表示し、当該分割教師画像に付与するラベルを選択させる、
ことを特徴とする画像識別システム。

【請求項8】

請求項２において、
前記教師データ作成部は、分割数の異なる複数の前記第２の教師データセットを作成し、
前記画像識別部の前記モデル選択部は、前記第１の画像識別モデルの識別精度と前記複数の第２の画像識別モデルの識別精度とを比較し、識別精度の最も高い画像識別モデルを前記識別対象画像の識別に用いる画像識別モデルとして選択する、
ことを特徴とする画像識別システム。

【請求項9】

請求項１において、
前記識別対象画像は顕微鏡画像であることを特徴とする画像識別システム。

【請求項10】

識別対象画像の識別を行う画像識別モデルを構築するモデル構築部と、教師画像と前記教師画像に付与されたラベルとの組み合わせの集合である第１の教師データセットに対して、前記第１の教師データセットの教師画像を分割した分割教師画像にラベルを付与し、前記分割教師画像と前記分割教師画像に付与されたラベルとの組み合わせの集合である第２の教師データセットを作成する教師データ作成部と、を備える画像識別システムを用いた画像識別方法であって、
前記教師データ作成部は、
前記第１の教師データセットの教師画像を分割し、前記分割教師画像の暫定ラベルとして分割前の教師画像に付与されたラベルを付与し、
前記分割教師画像のそれぞれに対してテクスチャ指標を算出し、
前記テクスチャ指標に基づき前記分割教師画像に付与された暫定ラベルを予測する暫定ラベル予測モデルを構築し、
前記分割教師画像に付与された第１の暫定ラベルと前記暫定ラベル予測モデルにより前記分割教師画像について予測された第２の暫定ラベルとを比較し、前記第１の暫定ラベルと前記第２の暫定ラベルとが異なる分割教師画像を暫定ラベルの修正の必要性が高い分割教師画像として抽出し、
前記暫定ラベルの修正の必要性が高い分割教師画像として抽出された分割教師画像に付与するラベルを修正し、
前記モデル構築部は、前記第１の教師データセット及び前記第２の教師データセットのそれぞれを用いて第１の画像識別モデル及び第２の画像識別モデルを構築する、
ことを特徴とする画像識別方法。

【請求項11】

請求項１０において、
前記画像識別システムは、前記画像識別モデルを用いて前記識別対象画像の識別を行う画像識別部をさらに備え、
前記画像識別部は、
前記第１の画像識別モデルの識別精度と前記第２の画像識別モデルの識別精度とを比較し、識別精度の高い画像識別モデルを前記識別対象画像の識別に用いる画像識別モデルとして選択し、
選択された画像識別モデルの教師画像の分割数にあわせて前記識別対象画像を分割して分割識別対象画像を作成し、
選択された画像識別モデルを用いて前記分割識別対象画像の識別を行う、
ことを特徴とする画像識別方法。

【請求項12】

請求項１０において、
前記教師データ作成部は、前記分割教師画像のそれぞれに対してあらかじめ定められた複数のテクスチャ指標を算出し、前記複数のテクスチャ指標のうち、前記暫定ラベルと相関の高いテクスチャ指標を選択し、選択したテクスチャ指標に基づく前記暫定ラベル予測モデルを構築する、
ことを特徴とする画像識別方法。

【請求項13】

請求項１０において、
前記教師データ作成部は、前記第１の暫定ラベルと前記第２の暫定ラベルとが等しい分割教師画像と前記第１の暫定ラベルとの組み合わせの集合である暫定的な第２の教師データセットを用いて構築した暫定的な第２の画像識別モデルを用いて、前記第１の暫定ラベルと前記第２の暫定ラベルとが異なる分割教師画像を識別させることにより、前記暫定ラベルの修正の必要性が高い分割教師画像として抽出された分割教師画像のラベルを修正する、
ことを特徴とする画像識別方法。

【請求項14】

請求項１０において、
前記教師データ作成部は、前記第１の暫定ラベルと前記第２の暫定ラベルとが異なる分割教師画像を画像表示装置に表示し、当該分割教師画像に付与するラベルを選択させる、
ことを特徴とする画像識別方法。

【請求項15】

請求項１１において、
前記教師データ作成部は、分割数の異なる複数の前記第２の教師データセットを作成し、
前記画像識別部は、前記第１の画像識別モデルの識別精度と前記複数の第２の画像識別モデルの識別精度とを比較し、識別精度の最も高い画像識別モデルを前記識別対象画像の識別に用いる画像識別モデルとして選択する、
ことを特徴とする画像識別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像識別システム及び画像識別方法に関する。

【背景技術】

【0002】

高機能材料の開発や品質管理において、材料のミクロな組成や、物質構造を顕微鏡により撮像された画像から識別することが行われる。従来は目視によって人が識別することが一般的であるが、近年の人工知能（ＡＩ）技術を用いた画像認識技術の急激な進展に伴い、機械学習の手法によりあらかじめ構築されたモデルを用いて、顕微鏡画像から自動的に識別することが期待される。これにより、人による認識のばらつきを排して均質な識別が低コストに行える。

【0003】

しかしながら、このような機械学習による画像識別モデルにより、撮像された材料の物質構造の分類を効率的、かつ正確に行うためには、画像識別モデルが適切、かつ多数の教師データによって学習を行う必要がある。このような品質と量の双方が要求される教師データの準備のためには、高いスキルを有する熟練者が必要となるため、工数をできるだけ抑えることが望ましい。

【0004】

特許文献１は、少ない顕微鏡画像から多量の教師データを構築するため、顕微鏡画像を分割処理して、教師データベースを拡充する技術を開示する。顕微鏡画像を分割処理することにより、分割された画像が元の顕微鏡画像の構造とは異なる、他の構造と混同されやすい画像となるおそれがあることから、分割画像の特徴量を算出し、特徴量と閾値とを比較し、特徴量が閾値を満たさない分割画像については、教師データから削除する。

【0005】

本実施例として、顕微鏡画像に表れるテクスチャから物質のミクロな組成や物質構造を推定するシステムについて開示するが、リモートセンシングの分野でも衛星画像に表れるテクスチャから地表面の利用状況や環境について推定することが行われている。非特許文献１には、衛星画像のテクスチャ解析に用いられるテクスチャ指標が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－１６０５４３号公報

【非特許文献】

【0007】

【文献】Jingjing Zhou et. al., “The Effects of GLCM parameters on LAI estimation using texture values from Quickbird Satellite Imagery” Scientific Reports volume 7, Article number: 7366 (2017)

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１では、分割画像の教師データとしての適不適を判定するための画像の特徴量としては、色度、輝度、コントラスト、構造パターン、周波数や情報量（エントロピー）などが例示されており、モデルの目的に応じた特徴量が選択され、適否を判定するための特徴量の閾値があらかじめ定められている。観察対象の顕微鏡画像の特徴について、あらかじめ十分な予備知識を備えていれば、適切な特徴量とその閾値の選択は可能であると考えられるが、そのような予備知識がない場合においても分割画像の適否を適切に判断することが望ましい。

【課題を解決するための手段】

【0009】

本発明の一実施態様である画像識別システムは、識別対象画像の識別を行う画像識別モデルを構築するモデル構築部と、教師画像と教師画像に付与されたラベルとの組み合わせの集合である第１の教師データセットに対して、第１の教師データセットの教師画像を分割した分割教師画像にラベルを付与し、分割教師画像と分割教師画像に付与されたラベルとの組み合わせの集合である第２の教師データセットを作成する教師データ作成部と、を有し、
モデル構築部は、第１の教師データセットまたは第２の教師データセットを用いて画像識別モデルを構築する学習部を備え、
教師データ作成部は、第１の教師データセットの教師画像を分割し、分割教師画像の暫定ラベルとして分割前の教師画像に付与されたラベルを付与する画像分割部と、分割教師画像のそれぞれに対してテクスチャ指標を算出するテクスチャ指標計算部と、テクスチャ指標に基づき分割教師画像に付与された暫定ラベルを予測する暫定ラベル予測モデルを構築する暫定ラベル予測モデル構築部と、分割教師画像に付与された第１の暫定ラベルと暫定ラベル予測モデルにより分割教師画像について予測された第２の暫定ラベルとを比較し、第１の暫定ラベルと第２の暫定ラベルとが異なる分割教師画像を暫定ラベルの修正の必要性が高い分割教師画像として抽出するラベル比較部と、暫定ラベルの修正の必要性が高い分割教師画像として抽出された分割教師画像に付与するラベルを修正するラベル修正部とを備える。

【発明の効果】

【0010】

教師画像を分割した分割教師画像を用いて、高い識別精度をもつ画像識別モデルを構築可能とする。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】画像識別モデルを構築するフローチャートである。

【図2】未知画像（識別対象画像）を識別するフローチャートである。

【図3A】第１の教師データセットの例である。

【図3B】第２の教師データセット（暫定ラベル付与）の例である。

【図3C】暫定的な第２の教師データセットの例である。

【図3D】第２の教師データセット（修正ラベル付与）の例である。

【図4】暫定ラベルの修正の必要性が高い分割教師画像を抽出するフローチャートである。

【図5A】重要テクスチャ指標空間におけるノードの分布例である。

【図5B】モデル（決定木）を用いて予測された予測ラベルの分布である。

【図6】画像識別モデルを用いて暫定ラベルを修正するフローチャートである。

【図7】ユーザがラベルを個別に修正するフローチャートである。

【図8】顕微鏡画像テクスチャ解析システムの機能ブロック図である。

【図9A】第１の教師データセットの管理データ例である。

【図9B】第２の教師データセットの管理データ例である。

【図10】ＧＵＩ画面の例である。

【図11】教師画像の最適な分割数を選択するフローチャートである。

【図12】識別モデル管理データベースのデータ構造の例である。

【発明を実施するための形態】

【0012】

図８に本実施例の顕微鏡画像テクスチャ解析システムの機能ブロック図を示す。顕微鏡画像テクスチャ解析システムは、主要な構成として、ＰＣ、サーバ等の情報処理装置１０、画像表示装置２０及び入力装置３０を有する。情報処理装置１０は、処理装置（プロセッサ）及び記憶装置を備えている。

【0013】

顕微鏡画像テクスチャ解析システムの機能は、情報処理装置１０の記憶装置に格納されたプログラムが処理装置（プロセッサ）によって実行されることによって実現される。情報処理装置１０の物理的な構成としては、単体のサーバ、ＰＣで構成されてもよいし、処理装置、記憶装置の任意の部分がネットワークで接続された複数のサーバで構成されてもよい。また、ソフトウェアで構成する機能の全部または一部と同等の機能を、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアで実現してもよい。

【0014】

図８では、顕微鏡画像テクスチャ解析システムが実現する機能的な特徴に着目して、機能ブロック図として示している。各機能の詳細については後述する。

【0015】

記憶装置４００は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）のような不揮発メモリであり、システムの処理に必要なデータ、処理の結果得られるデータが格納される。これらのデータの詳細については後述する。

【0016】

情報処理装置１０は、画像表示装置２０、キーボードやポインティングデバイスのような入力装置３０と接続されている。ユーザは、画像表示装置２０に表示されたＧＵＩ（Graphical User Interface）に対して、入力装置３０を用いてユーザからの指示を入力する。

【0017】

図１に顕微鏡画像テクスチャ解析システムにおいて画像識別モデルを構築するフローチャートを示す。このフローチャートにおいて、教師画像を分割した分割画像を新たな教師画像として学習を行った画像識別モデル（第２の画像識別モデル）を構築する。画像識別モデルはＣＮＮ（畳み込みニューラルネットワーク）のような既知の手法を用いる。ここで、分割する教師画像が全体的に一様なテクスチャを示す画像であれば、分割画像に付与されるラベルは元の教師画像のラベルと同一と考えてよい。しかし、教師画像が複数のテクスチャが入り混じった不均一な画像である場合もある。この場合、教師画像のクラス分類は、その大部分を占めるテクスチャ、特徴的なテクスチャ、あるいはテクスチャの特徴的な組み合わせにしたがってなされる。このような教師画像を分割した分割画像は、元の教師画像が全体として有していた特徴を必ずしも備えておらず、このため、仮に分割画像に機械的に元の教師画像と同じラベルを付与した教師データを用いて画像識別モデルを構築したとすれば、かえって画像識別モデルの識別精度を低下させるおそれがある。本実施例では、ユーザによる分割教師画像のクラス再分類の負担を抑えて高品質な分割画像に基づく教師画像セットを作成可能とする。

【0018】

最初に、モデル構築部２００は、元の教師画像である第１の教師データセットを用いて画像識別モデルを構築する。学習部２１０は、教師データ管理データベース４１０を参照し、教師画像記憶部４３０から第１の教師データセットの教師画像を読み込み、第１の画像識別モデルを構築する（Ｓ０１）。

【0019】

教師画像と教師画像に付与されたラベルとの組み合わせの集合を教師データセットと呼び、図９Ａに、教師データ管理データベース４１０に登録されている第１の教師データセットの管理データ例を示す。データベース４１０には、第１の教師データセットを構成する教師画像について、画像ＩＤ６０１、ファイル名６０２、ラベル６０３が登録されている。画像ＩＤ６０１は教師画像を一意に特定するＩＤである。ファイル名６０２は教師画像記憶部４３０に記憶された教師画像のファイル名である。ラベル６０３は教師画像に付与されたラベルである。図３Ａに、図９Ａに示す第１の教師データセットの例を示す。

【0020】

次に、識別精度計算部２２０は、交差検証により、第１の画像識別モデルの識別精度を求め、識別モデル管理データベース４２０に記憶する（Ｓ０２）。図１２に識別モデル管理データベース４２０のデータ構造の例を示す。データベース４２０は、モデルＩＤ８０１、作成日８０２、ファイル名８０３、教師データセット８０４、分割数８０５、識別精度８０６といったカラムを含んでいる。モデルＩＤ８０１は、データベース４２０のレコードを一意に特定するＩＤである。作成日８０２はレコードの作成日である。ファイル名８０３は識別モデル記憶部４４０に記憶された画像識別モデルのファイル名である。教師データセット８０４は、当該画像識別モデルの構築に使用した教師データセットである。分割数８０５は、元の教師画像を分割した数である。識別精度８０６は当該画像識別モデルに交差検証を行って得られる識別精度である。

【0021】

図１２におけるモデルＩＤ「＃１」が第１の画像識別モデルのレコードであり、第１の画像識別モデルは、元の教師画像そのままである第１の教師データセットにより構築したモデルであるから、分割数８０５は「１×１」とされている。ステップＳ０２で得られた第１の画像識別モデルの識別精度はカラム８０６に記憶される。

【0022】

続いて、元の教師画像を分割して新たな教師データセットを作成する工程について説明する。以下では、第１の教師データセット（図３Ａ）を構成する教師画像を縦横方向にそれぞれ２等分割（「２×２」）して、第２の教師データセットを作成する例を参照しながら説明する。図９Ｂに、本工程で教師データ管理データベース４１０に登録される第２の教師データセットの管理データ例を示す。本工程において、第２の教師データセットを構成する教師画像について、画像ＩＤ６１１、ファイル名６１２、分割前画像ＩＤ６１３、分割数６１４、暫定ラベル６１５、予測ラベル６１６、Ｘ／Ｙ画像群６１７、修正ラベル６１８が登録される。

【0023】

まず、画像分割部１１０は、教師画像を分割して教師画像記憶部４３０に保存し、画像分割数を教師データ管理データベース４１０に書き込み（Ｓ０３）、分割された教師画像に対して、暫定ラベルとして、第１の教師データセットと同一のラベルを付与する（Ｓ０４）。この段階で、図９Ｂに示す管理データのカラム６１１～６１５が登録される。図３Ｂに、ステップＳ０４段階での第２の教師データセットを示す。図３Ａと図３Ｂとを比較すれば明らかなように、分割教師画像の暫定ラベルにはそれぞれ、分割前教師画像のラベルが付与されている。

【0024】

図９Ｂにおいて、画像ＩＤ６１１は分割教師画像を一意に特定するＩＤであり、ここでは、分割前の画像ＩＤ６１３に枝番号を付することによって特定している。ファイル名６１２は教師画像記憶部４３０に記憶された分割教師画像のファイル名である。分割数６１４は分割前画像からの分割数を示す。暫定ラベル６１５には、分割前画像に付与されていたラベルが機械的に分割教師画像に付与されている。

【0025】

続いて、分割教師画像のうち、暫定ラベルを修正する必要性の高いものを抽出する（Ｓ０５）。このため、画像のテクスチャ指標を抽出し、画像のテクスチャ指標に基づく解析モデルを構築し、解析モデルによる予測されるラベルと暫定ラベルとを比較することにより、修正が必要である可能性の高い暫定ラベルを抽出する。ステップＳ０５の詳細を図４に示す。

【0026】

テクスチャ指標計算部１２０は、分割教師画像に対して、それぞれあらかじめ定められたＮ個のテクスチャ指標を算出する（Ｓ２１）。テクスチャ指標は、画像のテクスチャを指標化したものであり、例えば、輝度、周波数、均一性、局所一様性、コントラスト、エントロピー、不均一性、エッジの強さ、明暗の変化の強さ、コリレーション、またはこれらの線形結合といったテクスチャ指標が考えられる。これらはいずれも例示であって、これら以外のテクスチャ指標を用いてもよい。

【0027】

暫定ラベル予測モデル構築部１３０は、Ｎ個のテクスチャ指標から、暫定ラベルとの相関が高いテクスチャ指標を選択して暫定ラベルを予測するモデル（決定木）を構築し（Ｓ２２）、モデル（決定木）に使用するテクスチャ指標（重要テクスチャ指標と呼ぶ）及び閾値を記憶する（Ｓ２３）。図５Ａに重要テクスチャ指標空間におけるノードの分布例を示す。各ノードは分割教師画像に対応しており、付与された暫定ラベルごとに色分けして示している。テクスチャ指標空間において、破線によって示される閾値に区分された領域内に分布するノードの暫定ラベルができるだけ同じになるよう、モデル（決定木）の構築においては、暫定ラベルとの相関が高いテクスチャ指標をモデル構築に使用するテクスチャ指標として選択し、異なる暫定ラベルのノードができるだけ混在しないよう、空間を区分する閾値を適切に選択する。ここでは図示しやすい２つのテクスチャ指標によって定義される重要テクスチャ指標空間の例を示しているが、２以上の指標によって定義される重要テクスチャ指標空間に基づくモデルであってもよい。

【0028】

ステップＳ２２で作成したモデル（決定木）を用いて、分割教師画像のラベルを予測する（Ｓ２４）。モデルを用いて予測した暫定ラベルを予測ラベルと呼ぶ。図５Ａのモデル（決定木）を用いて予測された予測ラベルの分布を図５Ｂに示す。図５Ａと図５Ｂではノードの分布は同じであり、図５Ｂに示す予測ラベルは、破線によって示される閾値に区分された領域内に分布するノードについては同一となっている点で図５Ａの暫定ラベルと異なる。

【0029】

ラベル比較部１４０は、テクスチャ指標により予測された予測ラベルと暫定ラベルとを比較し、両者が一致する画像を画像群Ｘとし、両者が一致しない画像を画像群Ｙとし（Ｓ２５）、画像群Ｙを、暫定ラベルを修正する必要性の高い教師画像として教師データ管理データベース４１０に登録する（Ｓ２６）。図５Ｂの例では、矢印を付して示したノードに対応する分割教師画像が画像群Ｙに分類され、それ以外のノードに対応する分割教師画像が画像群Ｘに分類される。

【0030】

ステップＳ０５が終了した段階で、図９Ｂに示す管理データのカラム６１６～６１７が登録される。予測ラベル６１６にはステップＳ２４で予測した予測ラベルが、Ｘ／Ｙ画像群６１７にはステップＳ２５で分類された画像群の区分が登録される。このように、テクスチャ指標を決め打ちするのではなく、暫定ラベルをよく再現するテクスチャ指標を選択する工程を実施することにより、どのような顕微鏡画像であっても暫定ラベルを修正する必要性の高い分割教師画像を適切に抽出することが可能になる。

【0031】

以上説明したステップＳ０５（図１参照）において、暫定ラベルを修正する必要が高いとして抽出された分割教師画像に対して、ラベル修正部１５０は、ラベルの確認・修正を行い、第２の教師データセットとする（Ｓ０６）。ラベルの修正は、画像識別モデルを用いて自動的に行うようにしてもよいし、ＧＵＩを用いてユーザが個別に修正するようにしてもよい。それぞれの修正方法について説明する。

【0032】

図６はモデルを用いて暫定ラベルを修正するフローチャートである。ステップＳ２５の分類結果に基づき、画像群Ｘと暫定ラベルとの組み合わせを暫定的な第２の教師データセットとする（Ｓ３１）。図３Ｃに、暫定的な第２の教師データセットを示す。モデル構築部２００の学習部２１０は、暫定的な第２の教師データセットを用いて暫定的な第２の画像識別モデルを構築し（Ｓ３２）、画像識別部３００の識別部３３０は、画像群Ｙの分割教師画像に付与するラベルを暫定的な第２の画像識別モデルを用いて推定する（Ｓ３３）。暫定的な第２の画像識別モデルで推定されたラベルを画像群Ｙの分割教師画像のラベルに修正する（Ｓ３４）。

【0033】

図７はＧＵＩを用いてユーザがラベルを個別に修正するフローチャートである。ステップＳ２５で画像群Ｙに分類された分割教師画像とその暫定ラベルを、ＧＵＩを通じてユーザに提示し、ラベルを修正するかどうかを問い合わせる（Ｓ４１）。図１０にＧＵＩ画面の例を示す。ユーザはＧＵＩ画面７００に表示された分割教師画像に対して目視により該当するラベルを選択することにより、ラベルを修正する（Ｓ４２）。

【0034】

図３Ｄに画像群Ｙの分割教師画像のラベルが修正された第２の教師データセットを示す。いずれの修正方法によっても画像群Ｙの分割教師画像に付与されるラベルが修正されると、図９Ｂに示す管理データのカラム６１８（修正ラベル６１８）に、各分割教師画像に付与されたラベルが登録される（Ｓ０７）。このように、第２の教師データセットの分割教師画像に付与されるラベルが最終的に確定するまでのログデータが教師データ管理データベース４１０に残ることで、例えば、第２の教師データセットを用いて構築される第２の画像識別モデルの識別精度が向上しないといった不具合がある場合に、その原因の検討に用いることができる。

【0035】

このようにして作成された第２の教師データセットを用いて、モデル構築部２００の学習部２１０は、第２の画像識別モデルを構築し（Ｓ０８）、識別精度計算部２２０は交差検証により第２の画像識別モデルの識別精度を求め、識別モデル管理データベース４２０に記憶する（Ｓ０９）。ここでの処理は、ステップＳ０１，Ｓ０２と同様であるので、重複する説明は省略する。

【0036】

続いて、画像識別部３００のモデル選択部３１０は、第１の画像識別モデルと第２の画像識別モデルの識別精度を比較し、より識別精度の高い画像識別モデルを未知画像（識別対象画像）の識別を行う画像識別モデルとして選択する（Ｓ１０）。

【0037】

図２に、ステップＳ１０で選択された画像識別モデルを用いて、識別対象画像を識別するフローチャートを示す。本フローチャートは、画像識別部３００によって実行される。

【0038】

まず、識別部３３０は、モデル選択部３１０が選択した画像識別モデルを識別モデル記憶部４４０から読み出す（Ｓ１１）。

【0039】

一方、画像分割部３２０は、識別モデル管理データベース４２０を参照し、モデル選択部３１０が選択した画像識別モデルが使用した教師データセットの分割数８０５を読み込む（Ｓ１２）。続いて、識別対象画像を読み込み（Ｓ１３）、読み込んだ識別対象画像をステップＳ１２で読み込んだ分割数で分割する（Ｓ１４）。例えば、ステップＳ１０で第２の識別モデルが選択されたとすれば、識別部３３０は、第２の画像識別モデルを用いて、２×２に分割された識別対象画像を識別し（Ｓ１５）、識別結果を識別結果記憶部４５０に記憶する（Ｓ１６）。

【0040】

以上の説明では、教師画像の分割数を２×２とする例を説明したが、分割数はこれに限られない。複数の分割方法を試行して最適な画像識別モデルを選択するようにしてもよい。図１１にそのフローチャートを示す。図１１では教師画像を縦横それぞれ２^ｎ等分に分割した分割教師画像を用いて第ｎ＋１の教師データセットを作成する。ｎがｍとなるまで１から順次１を加算して（Ｓ５８，Ｓ５９）、ステップＳ５４～Ｓ５７を繰り返すことで第１から第ｍ＋１の教師データセットを作成し、さらにこれらの教師データセットを用いた第１から第ｍ＋１の画像識別モデルの構築及び識別精度の算出を行う。ｎ＝１である場合のステップＳ５１～Ｓ５７は、図１のフローチャートにおけるＳ０１～Ｓ０９と同じ処理であり、図１１のフローは、同じ処理を教師画像の分割数を変えて繰り返しているため、重複する説明は省略する。この過程で構築される識別モデルの情報は図１２に示すように、識別モデル管理データベース４２０に格納される。

【0041】

画像識別部３００のモデル選択部３１０は、第１から第ｍ＋１の識別モデルの識別精度を比較し、識別精度の最も高い画像識別モデルを識別対象画像の識別を行う画像識別モデルとして選択する（Ｓ６０）。

【0042】

以上、本発明を実施例、変形例に基づき説明した。本発明は、上記した実施例、変形例に限定されるものではなく、発明の要旨を変更しない範囲でさまざまな変形が可能である。

【符号の説明】

【0043】

１０：情報処理装置、２０：画像表示装置、３０：入力装置、１００：教師データ作成部、１１０：画像分割部、１２０：テクスチャ指標計算部、１３０：暫定ラベル予測モデル構築部、１４０：ラベル比較部、１５０：ラベル修正部、２００：モデル構築部、２１０：学習部、２２０：識別精度計算部、３００：画像識別部、３１０：モデル選択部、３２０：画像分割部、３３０：識別部、４００：記憶装置、４１０：教師データ管理データベース、４２０：識別モデル管理データベース、４３０：教師画像記憶部、４４０：識別モデル記憶部、４５０：識別結果記憶部、６０１：画像ＩＤ、６０２：ファイル名、６０３：ラベル、６１１：画像ＩＤ、６１２：ファイル名、６１３：分割前画像ＩＤ、６１４：分割数、６１５：暫定ラベル、６１６：予測ラベル、６１７：Ｘ／Ｙ画像群、６１８：修正ラベル、７００：ＧＵＩ画面、８０１：モデルＩＤ、８０２：作成日、８０３：ファイル名、８０４：教師データセット、８０５：分割数、８０６：識別精度。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】