知財求人 - 知財ポータルサイト「IP Force」
特許6996633教師ラベル画像修正方法、学習済みモデルの作成方法および画像解析装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-20
(45)【発行日】2022-01-17
(54)【発明の名称】教師ラベル画像修正方法、学習済みモデルの作成方法および画像解析装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20220107BHJP
【ＦＩ】
G06T7/00 350B
【請求項の数】
15
(21)【出願番号】P 2020535357
(86)(22)【出願日】2018-08-06
(86)【国際出願番号】 JP2018029473
(87)【国際公開番号】W WO2020031243
(87)【国際公開日】2020-02-13
【審査請求日】2021-01-18
(73)【特許権者】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100155608
【弁理士】
【氏名又は名称】大日方 崇
(72)【発明者】
【氏名】▲高▼橋 渉
(72)【発明者】
【氏名】赤澤 礼子
(72)【発明者】
【氏名】押川 翔太
【審査官】川▲崎▼ 博章
(56)【参考文献】
【文献】特開２０１５－１２９９８８（ＪＰ，Ａ）
【文献】特開２０１４－２１５８５２（ＪＰ，Ａ）
【文献】特開２０１８－８１５６９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
画像のセグメンテーション処理を行う機械学習における教師ラベル画像の修正方法であって、入力画像と教師ラベル画像とを含む学習データの前記入力画像に対して、前記学習データを用いた学習済みモデルによりセグメンテーション処理を行って、複数のラベル領域に分割された判定用ラベル画像を作成するステップと、
作成された前記判定用ラベル画像と前記教師ラベル画像とについて、画像中の対応する部分同士のラベルを比較するステップと、
ラベルの比較結果に基づいて、前記教師ラベル画像に含まれる前記ラベル領域を修正するステップとを含む、
教師ラベル画像修正方法。
【請求項2】
前記ラベル領域を修正するステップにおいて、ラベルの比較結果に基づいて、前記教師ラベル画像中の前記ラベル領域の範囲を、前記判定用ラベル画像の前記ラベル領域に近づけるように修正する、請求項１に記載の教師ラベル画像修正方法。【請求項3】
前記ラベル領域を修正するステップにおいて、前記ラベル領域の修正は、前記教師ラベル画像中の前記ラベル領域の膨張および収縮の少なくとも一方により行う、請求項２に記載の教師ラベル画像修正方法。【請求項4】
前記ラベルを比較するステップにおいて、前記判定用ラベル画像と前記教師ラベル画像との比較により、着目するラベルについて、前記判定用ラベル画像における前記教師ラベル画像との一致部分および不一致部分を取得し、前記ラベル領域を修正するステップにおいて、前記一致部分および前記不一致部分に基づいて、着目するラベルが付された前記ラベル領域の範囲を修正する、請求項１～３のいずれか１項に記載の教師ラベル画像修正方法。
【請求項5】
前記ラベルを比較するステップにおいて、前記一致部分および前記不一致部分に基づいて、前記判定用ラベル画像においてラベルの未検出を評価する未検出評価値およびラベルの誤検出を評価する誤検出評価値をそれぞれ取得し、前記ラベル領域を修正するステップにおいて、前記未検出評価値および前記誤検出評価値の比較に基づいて前記教師ラベル画像の前記ラベル領域を修正する、請求項４に記載の教師ラベル画像修正方法。
【請求項6】
前記未検出評価値および前記誤検出評価値の比較により、前記判定用ラベル画像におけるラベルの未検出に比べて誤検出が多いと判断された場合、前記ラベル領域を修正するステップにおいて、前記教師ラベル画像の前記ラベル領域を膨張する、請求項５に記載の教師ラベル画像修正方法。【請求項7】
前記未検出評価値および前記誤検出評価値の比較により、前記判定用ラベル画像におけるラベルの誤検出に比べて未検出が多いと判断された場合、前記ラベル領域を修正するステップにおいて、前記教師ラベル画像の前記ラベル領域を収縮する、請求項５または６に記載の教師ラベル画像修正方法。【請求項8】
未検出および誤検出の少なくとも一方が所定の閾値よりも多いと判断された前記教師ラベル画像を含む前記学習データを、学習用データセットから除外するステップをさらに含む、請求項５～７のいずれか１項に記載の教師ラベル画像修正方法。【請求項9】
前記教師ラベル画像のラベル間に優先度を設定するステップをさらに含み、前記ラベル領域を修正するステップにおいて、前記優先度に応じて、前記ラベル領域の修正量を調整する、請求項１～８のいずれか１項に記載の教師ラベル画像修正方法。
【請求項10】
前記ラベル領域を修正するステップにおいて、前記教師ラベル画像の前記ラベル領域を修正する際に、前記優先度の高い前記ラベル領域への、前記優先度の低い前記ラベル領域の膨張を禁止する、請求項９に記載の教師ラベル画像修正方法。【請求項11】
前記ラベル領域を修正するステップにおいて、前記教師ラベル画像を複数の部分画像に分割し、分割された前記教師ラベル画像の少なくとも１つの前記部分画像について前記ラベル領域を修正する、請求項１～１０のいずれか１項に記載の教師ラベル画像修正方法。【請求項12】
前記ラベルを比較するステップにおいて、前記判定用ラベル画像と前記教師ラベル画像との対応する部分同士のラベルの比較を、画像中の１画素毎または近傍の複数画素毎に行う、請求項１～１１のいずれか１項に記載の教師ラベル画像修正方法。【請求項13】
修正された前記教師ラベル画像を含む前記学習データを用いた学習済みモデルにより、前記判定用ラベル画像を作成するステップをさらに含み、前記ラベル領域を修正するステップにおいて、作成された前記判定用ラベル画像と前記修正された教師ラベル画像との比較結果に基づいて、前記修正された教師ラベル画像に含まれる前記ラベル領域を再修正する、請求項１～１１のいずれか１項に記載の教師ラベル画像修正方法。
【請求項14】
画像のセグメンテーション処理を行う機械学習による学習済みモデルの作成方法であって、入力画像と教師ラベル画像とを含む学習データを用いた機械学習による事前学習済みモデルを取得するステップと、
取得した前記事前学習済みモデルにより、前記学習データの前記入力画像に対してセグメンテーション処理を行って、複数のラベル領域に分割された判定用ラベル画像を作成するステップと、
作成された前記判定用ラベル画像と前記教師ラベル画像とについて、画像中の対応する部分同士のラベルを比較するステップと、
ラベルの比較結果に基づいて、前記教師ラベル画像に含まれる前記ラベル領域を修正するステップと、
修正された前記教師ラベル画像を含む前記学習データを用いて機械学習を行うことにより、学習済みモデルを作成するステップと、を含む、学習済みモデルの作成方法。
【請求項15】
解析用画像の入力を受け付ける画像入力部と、機械学習による学習済みモデルを用いて、前記解析用画像のセグメンテーション処理を行って、複数のラベル領域に分割されたラベル画像を作成する解析処理部と、
前記学習済みモデルを記憶する記憶部と、
前記記憶部に記憶された前記学習済みモデルを事前学習済みモデルとして、入力画像と教師ラベル画像とを含む学習データの前記入力画像に対してセグメンテーション処理を行うことにより、判定用ラベル画像を作成する判定用画像作成部と、
前記判定用画像作成部により作成された前記判定用ラベル画像と前記教師ラベル画像とについて、画像中の対応する部分同士のラベルを比較する比較部と、
前記比較部によるラベルの比較結果に基づいて、前記教師ラベル画像に含まれる前記ラベル領域を修正するラベル修正部と、を備える、画像解析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、教師ラベル画像修正方法、学習済みモデルの作成方法および画像解析装置に関する。
【背景技術】
【0002】
従来、機械学習において教師ラベル画像を修正することが知られている。このような教師ラベル画像の修正は、たとえば、特開２０１４－２２８３７号公報に開示されている。
【0003】
上記特開２０１４－２２８３７号公報には、テレビ番組などの映像データ中のある映像区間に、検出対象が出現している（正例である）か出現していない（負例である）かを示すラベルを付与する画像分類を行うための識別器（学習済みモデル）を、機械学習によって構築することが開示されている。識別器の構築には、映像と、正例であるか負例であるかのラベルとを含む学習データが用いられる。学習データのラベルには、誤りや漏れが含まれる可能性がある。そこで、上記特開２０１４－２２８３７号公報には、初期の学習データ、あるいは、ラベルが設定された学習データに対して、ユーザ入力または他の識別器による学習データの検出結果に基づいて、学習データのラベルを修正することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－２２８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特開２０１４－２２８３７号公報に開示された識別器は、入力された映像を単純に分類して映像単位でラベルを付するものであるが、そのような画像分類とは別の技術として、画像セグメンテーションがある。画像セグメンテーションは、画像全体ではなく、画像を複数の領域に分割する技術であって、検出対象が写る領域にその検出対象を示すラベルを付与することにより、入力画像を複数のラベル領域に分割するものである。なお、本明細書で言う「画像セグメンテーション」は、エッジ検出などのラベルを付さない単なる領域分割（境界検出）と異なり、ラベルによって領域に意味づけをすることから、セマンティックセグメンテーションと呼ばれる。
【0006】
画像セグメンテーションに用いる学習済みモデルを構築するための機械学習（教師あり学習）には、入力画像と、入力画像をラベル毎に領域分割した教師ラベル画像とが用いられる。この場合の教師ラベル画像は、元の画像に対して閾値処理などによってラベル領域を抽出することにより作成される。個々の入力画像には検出対象の写り具合（信号強度など）のばらつきがあるため、教師ラベル画像の作成は、多数のラベル作成者によって分担され、各ラベル作成者が手動で閾値調整をすることによって行われる。
【0007】
その結果、教師ラベル画像の作成には、閾値設定などに個人差が含まれることになり、あるラベル領域が大きめに抽出される、または小さめに抽出されることが起こる。また、画像によってはラベル領域の境界となる部分がそもそも曖昧なケースもあり、その場合にはラベル領域の境界がばらつきやすい。このため、教師ラベル画像の境界を修正する作業が行われる。
【0008】
しかしながら、上記特開２０１４－２２８３７号公報のような画像単位の単純なラベル修正とは異なり、教師ラベル画像中のラベル領域の境界のばらつきを修正するには、全ての教師ラベル画像に対して一貫した基準でラベル領域の修正を行うことが望まれるため、たとえば特定の作業者のみにより修正作業を行うなど多大な労力がかかる。また、教師ラベル画像の修正のための専用の学習済みモデルを作成することも考えられるが、そのためには一貫した基準で作成された高精度な教師ラベル画像を学習させる必要があるため、多大な労力が必要となる点で同様である。そこで、画像セグメンテーション処理の機械学習に用いる教師ラベル画像の修正作業を、精度を確保しつつ簡易に行えるようにすることが望まれている。
【0009】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、画像セグメンテーション処理の機械学習に用いる教師ラベル画像の修正作業を、精度を確保しつつ簡易化することが可能な教師ラベル画像修正方法、学習済みモデルの作成方法および画像解析装置を提供することである。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本願発明者らが鋭意検討した結果、ラベル領域の境界にばらつきを含んだ教師ラベル画像であっても、それらの教師ラベル画像を用いて十分な機械学習を行った学習済みモデルでは、多数の教師ラベル画像の境界のばらつきを統計的に平均したような中間的なセグメンテーション結果が得られるため、学習済みモデルによるセグメンテーション結果が教師ラベル画像の境界のばらつきの一貫した基準となりうることを見出した。この知見に基づき、この発明の第１の局面における教師ラベル画像修正方法は、画像のセグメンテーション処理を行うための機械学習における教師ラベル画像の修正方法であって、入力画像と教師ラベル画像とを含む学習データの入力画像に対して、学習データを用いた学習済みモデルによりセグメンテーション処理を行って、複数のラベル領域に分割された判定用ラベル画像を作成するステップと、作成された判定用ラベル画像と教師ラベル画像とについて、画像中の対応する部分同士のラベルを比較するステップと、ラベルの比較結果に基づいて、教師ラベル画像に含まれるラベル領域を修正するステップとを含む。
【0011】
この発明の第１の局面における教師ラベル画像修正方法では、上記のように構成することによって、ラベル領域の境界にばらつきを含んだ教師ラベル画像を含む学習データを用いて学習した学習済みモデルにより作成した判定用ラベル画像と教師ラベル画像との比較に基づいて、教師ラベル画像を修正することができる。すなわち、本来は教師ラベル画像のラベル領域が正しいという前提で機械学習を行い学習済みモデルが作成されるが、十分な学習を経た学習済みモデルを用いたセグメンテーション結果（判定用ラベル画像）では、ラベル領域の境界部分に関して、多数の教師ラベル画像の境界のばらつきの中間的な結果となることから、ばらつきを含んだ個々の教師ラベル画像に対しては判定用ラベル画像の方が境界の妥当性が高いと見なしうる。そのため、判定用ラベル画像を基準に、判定用ラベル画像と教師ラベル画像との比較結果に基づいて教師ラベル画像のラベル領域の修正を行うことによって、ラベル修正作業者ではなく、コンピュータを用いた自動的な修正作業でも一貫した基準（判定用ラベル画像のラベル領域の境界）に基づいて境界のばらつきを低減することができる。これにより、画像セグメンテーション処理の機械学習に用いる教師ラベル画像の修正作業を、精度を確保しつつ簡易化することができる。
【0012】
上記第１の局面における教師ラベル画像修正方法では、ラベル領域を修正するステップにおいて、ラベルの比較結果に基づいて、教師ラベル画像中のラベル領域の範囲を、判定用ラベル画像のラベル領域に近づけるように修正してもよい。このように構成すれば、教師ラベル画像中のラベル領域の範囲を、たとえば判定用ラベル画像のラベル領域に一致させ、または判定用ラベル画像のラベル領域との間の中間的な範囲とするだけで、容易かつ効果的に、個々の教師ラベル画像のラベル領域のばらつきを小さくする修正ができる。
【0013】
この場合、ラベル領域を修正するステップにおいて、ラベル領域の修正は、教師ラベル画像中のラベル領域の膨張および収縮の少なくとも一方により行ってもよい。このように構成すれば、ラベルの比較結果に基づいて、教師ラベル画像中のラベル領域の範囲を膨張させたり収縮させたりするだけの簡易な処理で、教師ラベル画像のラベル領域の修正が行える。なお、ラベル領域の膨張とは、ラベル領域の面積を大きくすることであり、ラベル領域の収縮とは、ラベル領域の面積を小さくすることである。
【0014】
上記第１の局面における教師ラベル画像修正方法では、ラベルを比較するステップにおいて、判定用ラベル画像と教師ラベル画像との比較により、着目するラベルについて、判定用ラベル画像における教師ラベル画像との一致部分および不一致部分を取得し、ラベル領域を修正するステップにおいて、一致部分および不一致部分に基づいて、着目するラベルが付されたラベル領域の範囲を修正してもよい。このように構成すれば、判定用ラベル画像と教師ラベル画像との一致部分および不一致部分から、教師ラベル画像のラベル領域が、多数の教師ラベル画像の境界のばらつきの基準となる判定用ラベル画像からどのように乖離しているかが把握できる。そのため、一致部分および不一致部分に基づくことにより、容易に、境界のばらつきが小さくなるようにラベル領域を修正することができる。
【0015】
この場合、ラベルを比較するステップにおいて、一致部分および不一致部分に基づいて、判定用ラベル画像においてラベルの未検出を評価する未検出評価値およびラベルの誤検出を評価する誤検出評価値をそれぞれ取得し、ラベル領域を修正するステップにおいて、未検出評価値および誤検出評価値の比較に基づいて教師ラベル画像のラベル領域を修正してもよい。ここで、未検出は、着目するラベルについて、教師ラベル画像では当該ラベルが付与された部分を、判定用ラベル画像では当該ラベル領域として検出しなかったことを意味し、未検出となる領域が多い場合、教師ラベル画像のラベル領域が判定用ラベル画像のラベル領域よりも大きいと推定される。また、誤検出は、判定用ラベル画像において着目するラベル領域であると検出されたが、教師ラベル画像では異なったラベルが付与されていることを意味し、誤検出となる領域が多い場合、教師ラベル画像のラベル領域が判定用ラベル画像のラベル領域よりも小さいと推定される。そのため、未検出評価値および誤検出評価値の比較に基づくことによって、教師ラベル画像のラベル領域をどのように修正すればよいか（大きくすればよいか小さくすればよいか）を把握できるので、より適切に、個々の教師ラベル画像のラベル領域を修正することができる。
【0016】
上記未検出評価値および誤検出評価値を取得する構成において、未検出評価値および誤検出評価値の比較により、判定用ラベル画像におけるラベルの未検出に比べて誤検出が多いと判断された場合、ラベル領域を修正するステップにおいて、教師ラベル画像のラベル領域を膨張してもよい。このように構成すれば、誤検出となる領域が多く、教師ラベル画像のラベル領域が基準となる判定用ラベル画像のラベル領域よりも小さいと推定される場合に、教師ラベル画像のラベル領域を膨張することにより、容易に、ラベル領域の境界のばらつきを小さくする修正が行える。
【0017】
上記未検出評価値および誤検出評価値を取得する構成において、未検出評価値および誤検出評価値の比較により、判定用ラベル画像におけるラベルの誤検出に比べて未検出が多いと判断された場合、ラベル領域を修正するステップにおいて、教師ラベル画像のラベル領域を収縮してもよい。このように構成すれば、未検出となる領域が多く、教師ラベル画像のラベル領域が基準となる判定用ラベル画像のラベル領域よりも大きいと推定される場合に、教師ラベル画像のラベル領域を収縮することにより、容易に、ラベル領域の境界のばらつきを小さくする修正が行える。
【0018】
上記未検出評価値および誤検出評価値を取得する構成において、未検出および誤検出の少なくとも一方が所定の閾値よりも多いと判断された教師ラベル画像を含む学習データを、学習用データセットから除外するステップをさらに含んでもよい。このように構成すれば、基準となる判定用ラベル画像との比較において未検出および誤検出の少なくとも一方が過度に多い場合、その教師ラベル画像は学習データとして不適切であると考えられる。そこで、未検出および誤検出の少なくとも一方が多くなる教師ラベル画像を学習用データセットから除外することにより、機械学習の精度を低下させる要因となる、統計上のいわゆる外れ値に相当するような学習データを除外できるので、学習用データセットの品質を向上させて高精度な機械学習を行うことができる。
【0019】
上記第１の局面における教師ラベル画像修正方法において、教師ラベル画像のラベル間に優先度を設定するステップをさらに含み、ラベル領域を修正するステップにおいて、優先度に応じて、ラベル領域の修正量を調整してもよい。ここで、セグメンテーション処理は、画像中で検出対象が写る領域を区別してラベリングするものであるから、ラベルには、検出対象（優先度：高）と検出対象以外（優先度：低）を区別するなど、処理の目的に応じて異なる優先度が設定されうる。そこで、上記のように構成すれば、たとえば優先度の高いラベルは極力検出漏れを抑制できるように修正量を意図的に偏らせることができる。その結果、セグメンテーション処理の目的に応じて教師ラベル画像の修正を適切に行うことができる。
【0020】
この場合、ラベル領域を修正するステップにおいて、教師ラベル画像のラベル領域を修正する際に、優先度の高いラベル領域への、優先度の低いラベル領域の膨張を禁止してもよい。このように構成すれば、優先度の低いラベル領域を膨張させる修正をしても優先度の高いラベル領域を保存できるので、境界のばらつきを抑制しつつ、優先度の高いラベル領域の検出漏れを抑制した学習が可能な教師ラベル画像（学習データ）を得ることができる。
【0021】
上記第１の局面における教師ラベル画像修正方法では、ラベル領域を修正するステップにおいて、教師ラベル画像を複数の部分画像に分割し、分割された教師ラベル画像の少なくとも１つの部分画像についてラベル領域を修正してもよい。このように構成すれば、教師ラベル画像の特定の一部分のみを修正したり、小部分ごとに個別に修正することができる。
【0022】
上記第１の局面における教師ラベル画像修正方法では、ラベルを比較するステップにおいて、判定用ラベル画像と教師ラベル画像との対応する部分同士のラベルの比較を、画像中の１画素毎または近傍の複数画素毎に行ってもよい。このように構成すれば、判定用ラベル画像と教師ラベル画像とを、１画素単位または複数画素単位の小領域毎に比較することができるので、より精密に、教師ラベル画像のラベル領域のばらつきを評価することができる。
【0023】
上記第１の局面における教師ラベル画像修正方法では、修正された教師ラベル画像を含む学習データを用いた学習済みモデルにより、判定用ラベル画像を作成するステップをさらに含み、ラベル領域を修正するステップにおいて、作成された判定用ラベル画像と修正された教師ラベル画像との比較結果に基づいて、修正された教師ラベル画像に含まれるラベル領域を再修正してもよい。このように構成すれば、修正された教師ラベル画像を用いて機械学習を行った上で、再度判定用ラベル画像を作成することにより、教師ラベル画像のラベル領域の修正を繰り返し行うことができる。ラベル領域の修正を繰り返し行うことによって、教師ラベル画像のラベル領域のばらつきを、さらに小さく収束させることができる。
【0024】
この発明の第２の局面における学習済みモデルの作成方法は、画像のセグメンテーション処理を行うための機械学習による学習済みモデルの作成方法であって、入力画像と教師ラベル画像とを含む学習データを用いた機械学習による事前学習済みモデルを取得するステップと、取得した事前学習済みモデルにより、学習データの入力画像に対してセグメンテーション処理を行って、複数のラベル領域に分割された判定用ラベル画像を作成するステップと、作成された判定用ラベル画像と教師ラベル画像とについて、画像中の対応する部分同士のラベルを比較するステップと、ラベルの比較結果に基づいて、教師ラベル画像に含まれるラベル領域を修正するステップと、修正された教師ラベル画像を含む学習データを用いて機械学習を行うことにより、学習済みモデルを作成するステップと、を含む。なお、学習済みモデルを作成するステップは、（１）事前学習済みモデルに対して、修正された教師ラベル画像を含む学習データを用いて機械学習（追加学習）を行うことにより、学習済みモデルを作成すること、および、（２）未学習の学習モデルに対して、修正された教師ラベル画像を含む学習データを用いて機械学習を行うことにより、学習済みモデルを作成すること、の両方を含みうる。
【0025】
この発明の第２の局面による学習済みモデルの作成方法では、上記第１の局面と同様に、判定用ラベル画像を基準に、判定用ラベル画像と教師ラベル画像との比較結果に基づいて教師ラベル画像のラベル領域の修正を行うことによって、コンピュータを用いた自動的な修正作業でも一貫した基準（判定用ラベル画像のラベル領域の境界）に基づいて境界のばらつきを低減することができるので、画像セグメンテーション処理の機械学習に用いる教師ラベル画像の修正作業を、精度を確保しつつ簡易化することができる。そして、修正された教師ラベル画像を含む学習データを用いて事前学習済みモデルに対する機械学習を行うことにより、ラベル領域の境界部分の判定ばらつきが抑制された高品質なセグメンテーション処理が可能な学習済みモデルを得ることができる。
【0026】
この発明の第３の局面における画像解析装置は、解析用画像の入力を受け付ける画像入力部と、機械学習による学習済みモデルを用いて、解析用画像のセグメンテーション処理を行って、複数のラベル領域に分割されたラベル画像を作成する解析処理部と、学習済みモデルを記憶する記憶部と、記憶部に記憶された学習済みモデルを事前学習済みモデルとして、入力画像と教師ラベル画像とを含む学習データの入力画像に対してセグメンテーション処理を行うことにより、判定用ラベル画像を作成する判定用画像作成部と、判定用画像作成部により作成された判定用ラベル画像と教師ラベル画像とについて、画像中の対応する部分同士のラベルを比較する比較部と、比較部によるラベルの比較結果に基づいて、教師ラベル画像に含まれるラベル領域を修正するラベル修正部と、を備える。
【0027】
この発明の第３の局面による画像解析装置では、上記第１の局面と同様に、事前学習済みモデルにより作成した判定用ラベル画像を基準に、判定用ラベル画像と教師ラベル画像との比較結果に基づいて教師ラベル画像のラベル領域の修正を行うことによって、コンピュータを用いた自動的な修正作業でも一貫した基準（判定用ラベル画像のラベル領域の境界）に基づいて境界のばらつきを低減することができる。これにより、画像セグメンテーション処理の機械学習に用いる教師ラベル画像の修正作業を、精度を確保しつつ簡易化することができる。
【発明の効果】
【0028】
本発明によれば、上記のように、画像セグメンテーション処理の機械学習に用いる教師ラベル画像の修正作業を、精度を確保しつつ簡易化することができる。
【図面の簡単な説明】
【0029】
【図1】第１実施形態による教師ラベル画像修正方法を説明するための図である。
【図2】機械学習およびセグメンテーション処理の概要を示した図である。
【図3】骨部のＸ線画像および２クラスのラベル画像の一例を示した図である。
【図4】細胞画像および３クラスのラベル画像の一例を示した図である。
【図5】教師ラベル画像を説明するための図である。
【図6】学習回数の増大に伴う損失関数の変化を説明するためのグラフである。
【図7】入力画像、判定用画像および教師ラベル画像の一例を示した図である。
【図8】教師ラベル画像のラベル領域の境界のばらつきを説明するための図である。
【図9】教師ラベル画像のラベル領域の修正を説明するための図である。
【図10】教師ラベル画像のラベル領域の修正方法を説明するためのフロー図である。
【図11】判定用画像および教師ラベル画像の比較方法を説明するための図である。
【図12】教師ラベル画像のラベル領域を収縮させる例を示した模式図である。
【図13】教師ラベル画像のラベル領域を膨張させる例を示した模式図である。
【図14】学習済みモデルの作成方法を説明するためのフロー図である。
【図15】学習データ処理部を説明するためのブロック図である。
【図16】画像解析装置の第１の例を示したブロック図である。
【図17】画像解析装置の画像解析処理を説明するためのフロー図である。
【図18】画像解析装置の第２の例を示したブロック図である。
【図19】第２実施形態におけるラベルの優先度を説明するための図である。
【図20】ラベルの優先度に応じたラベル領域の修正量の調整を説明する図である。
【図21】ラベル領域の修正を部分画像ごとに行う変形例を示した図である。
【図22】教師ラベル画像の修正および学習済みデータの作成をサーバ側で実施する変形例を示した模式図である。
【図23】教師ラベル画像の修正を画像解析装置側で行い、学習済みデータの作成をサーバ側で実施する変形例を示した模式図である。
【発明を実施するための形態】
【0030】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0031】
【0032】
図１に示す第１実施形態による教師ラベル画像修正方法は、画像のセグメンテーション処理を行うための機械学習における教師ラベル画像の修正方法である。以下、セグメンテーション処理を行うことを、「領域分割する」と言い換える場合がある。
【0033】
図２に示すように、画像のセグメンテーション処理は、機械学習によって作成された学習済みモデル２によって実施される。
【0034】
学習済みモデル２は、入力された画像（解析用画像１５、入力画像１１）に対して、セグメンテーション処理を行い、複数のラベル領域１３（図３、図４参照）に分割したラベル画像（ラベル画像１６、判定用ラベル画像１４）を出力する。機械学習法として、全層畳み込みニューラルネットワーク（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ；ＦＣＮ）、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、ブースティング等の任意の手法を用いることができる。第１実施形態の学習済みモデル２には、ラベル領域の識別性能の点から、好ましくは、セマンティックセグメンテーションに頻用される畳み込みニューラルネットワーク、より好ましくは、全層畳み込みニューラルネットワークを用いるとよい。そのような学習済みモデル２は、画像が入力される入力層、畳み込み層、出力層を含んで構成される。
【0035】
画像のセグメンテーション処理を行う学習済みモデルを作成するためには、多数の学習データ１０を含んだ学習用データセット１（図１参照）を用いた機械学習が行われる。
【0036】
機械学習に用いる学習データ１０は、少なくとも、入力画像１１と教師ラベル画像１２とを含む。入力画像１１は、セグメンテーション処理が行われる前の元画像である。教師ラベル画像１２は、入力画像１１に対するセグメンテーション処理の結果として生成されるべき正解の画像として作成される。つまり、教師ラベル画像１２は、入力画像１１を複数のラベル領域１３に分割したラベル画像である。ラベル領域１３とは、画像中で共通のラベルが付与された画素群によって構成される領域（画像の一部分）である。
【0037】
ラベルは、ラベル領域１３を構成する画像部分が示す意味を表す情報である。セグメンテーションは、画像中の１画素毎にラベルを付与することにより行われる。ラベルは、複数画素のまとまり（画素群）を単位として付与されてもよい。ラベルの種類のことを、クラスという。
【0038】
クラスの数（ラベルの種類）は、複数（２以上）であれば特に限定されない。最も簡単な例では、クラスは、「検出対象」のラベルと「検出対象以外」のラベルとの２クラスで構成される。たとえば図３では、ヒトの骨盤部（大腿骨の付け根）のＸ線画像を入力画像１１として、検出対象としての「骨部」のラベル領域１３ａと「骨部以外」のラベル領域１３ｂとに領域分割した例を示す。
【0039】
図４では、ｉＰＳ細胞やＥＳ細胞などの多能性幹細胞の画像（細胞画像）を入力画像１１として、３クラスに領域分割する例を示す。図４では、多能性を維持した細胞である「未分化細胞」のラベル領域１３ｃ、未分化状態を逸脱した細胞（分化が開始した細胞または分化しそうな細胞）である「未分化逸脱細胞」のラベル領域１３ｄと、それら以外の「背景」のラベル領域１３ｅとの３クラスに領域分割がされている。
【0040】
学習済みモデルを作成する際、学習モデルに入力画像１１を入力とし、教師ラベル画像１２を出力として、入力画像１１から正解である教師ラベル画像１２への変換処理（セグメンテーション処理）を学習させる。機械学習を行うことにより、セグメンテーション処理が可能な学習済みモデル２が生成される。その結果、解析の対象となる解析用画像１５を学習済みモデル２に入力することにより、機械学習による学習済みモデル２を用いて、解析用画像１５のセグメンテーション処理を行って、複数のラベル領域１３に分割されたラベル画像を出力することができる。
【0041】
〈教師ラベル画像〉
図５では、図４に示した多能性幹細胞の入力画像１１に対する、３クラスに領域分割した教師ラベル画像１２を作成する例を示す。図５の例では、多能性幹細胞について、染色剤により細胞領域を染色した細胞膜染色画像９１と、未分化細胞の核染色領域を未分化マーカーにより染色した核染色画像９２とを取得し、細胞膜染色画像９１と核染色画像９２とをそれぞれ閾値処理により２値化した上で両画像の差分を取得することにより、教師ラベル画像１２を作成している。
図５では、図４に示した多能性幹細胞の入力画像１１に対する、３クラスに領域分割した教師ラベル画像１２を作成する例を示す。図５の例では、多能性幹細胞について、染色剤により細胞領域を染色した細胞膜染色画像９１と、未分化細胞の核染色領域を未分化マーカーにより染色した核染色画像９２とを取得し、細胞膜染色画像９１と核染色画像９２とをそれぞれ閾値処理により２値化した上で両画像の差分を取得することにより、教師ラベル画像１２を作成している。
【0042】
このような教師ラベル画像１２では、細胞の染色画像を元に教師ラベル画像１２が作成されるため、染色具合のばらつきが不可避的に存在する。そのため、染色具合に応じた閾値の手動調整が必要となり、閾値の設定によっては、細胞の境界部分が、他の教師ラベル画像１２に対して相対的に大きめあるいは小さめになってばらつく。また、細胞膜染色画像９１では核以外の細胞骨格も含んで染色されるのに対して、核染色画像９２では核の部分のみが染色されるため、未分化逸脱細胞と未分化細胞とで、そもそも染色される領域が僅かに異なることがあり、このような差異が教師ラベル画像１２におけるラベル領域１３の境界（大きさ）のばらつきの原因にもなりうる。図３に示した骨部のＸ線画像では、染色法の相違に起因する染色領域の差異は生じないが、閾値処理に伴う境界部分のばらつきは、細胞画像の例と同様に発生する。
【0043】
個々の教師ラベル画像１２におけるラベル領域１３の境界がばらつく場合、画像中のどの部分を境界として定めるかという基準がばらつくことになる。そのため、ラベル領域１３の境界がばらついた教師ラベル画像１２を含んだ学習用データセット１を用いて学習を行った学習済みモデル２では、生成されるラベル画像１６（図２参照）において、ラベル領域１３の境界がぼけたり、不自然な形状になるおそれがある。
【0044】
そこで、第１実施形態では、図１に示したように、ラベル領域１３の境界がばらついた教師ラベル画像１２を含む学習データ１０を用いて学習された学習済みモデル２（以下、事前学習済みモデル２ａという）を用いて、教師ラベル画像１２のラベル領域１３の修正を行う。
【0045】
（教師ラベル画像の修正方法）
具体的には、第１実施形態の教師ラベル画像の修正方法は、図１に示すように、下記のステップを含む。
（１）入力画像１１と教師ラベル画像１２とを含む学習データ１０の入力画像１１に対して、学習データ１０を用いた学習済みモデル２によりセグメンテーション処理を行って、複数のラベル領域１３に分割された判定用ラベル画像１４を作成するステップ
（２）作成された判定用ラベル画像１４と教師ラベル画像１２とについて、画像中の対応する部分同士のラベルを比較するステップ
（３）ラベルの比較結果に基づいて、教師ラベル画像１２に含まれるラベル領域１３を修正するステップ
具体的には、第１実施形態の教師ラベル画像の修正方法は、図１に示すように、下記のステップを含む。
（１）入力画像１１と教師ラベル画像１２とを含む学習データ１０の入力画像１１に対して、学習データ１０を用いた学習済みモデル２によりセグメンテーション処理を行って、複数のラベル領域１３に分割された判定用ラベル画像１４を作成するステップ
（２）作成された判定用ラベル画像１４と教師ラベル画像１２とについて、画像中の対応する部分同士のラベルを比較するステップ
（３）ラベルの比較結果に基づいて、教師ラベル画像１２に含まれるラベル領域１３を修正するステップ
【0046】
なお、第１実施形態において、判定用ラベル画像１４を生成する事前学習済みモデル２ａは、ラベル領域１３の境界がばらついた教師ラベル画像１２を含む学習データ１０を用いて学習された学習済みモデルである。
【0047】
〈学習済みモデル、事前学習済みモデル〉
判定用ラベル画像１４を生成する学習済みモデル２（事前学習済みモデル２ａ）としては、十分な点数の学習データ１０を含む学習用データセット１を用いて学習され、かつ、学習が適切に収束している学習済みモデルが用いられる。すなわち、事前学習済みモデル２ａは、機械学習自体は適切に行われ、ラベル領域１３の境界を除いて十分な精度でセグメンテーション処理が行えるように構成されている。機械学習の分野において、事前学習済みモデル２ａの精度は、個々の入力画像１１に対するセグメンテーションの結果（ここでは、判定用ラベル画像１４）と、その入力画像１１の教師ラベル画像１２との誤差（損失関数）を求めることにより評価することができる。図６に示すように、十分な点数の学習用データセット１で、学習が適切に行われる場合、学習済みモデルでは、学習回数とともに損失関数の値が低下し、ラベル領域１３の境界のばらつきも含む不可避的に存在する各種の要因に起因した限界に相当する値で収束する。図６のグラフは、縦軸が損失関数を対数表示し、横軸が学習の反復回数を示したものである。
判定用ラベル画像１４を生成する学習済みモデル２（事前学習済みモデル２ａ）としては、十分な点数の学習データ１０を含む学習用データセット１を用いて学習され、かつ、学習が適切に収束している学習済みモデルが用いられる。すなわち、事前学習済みモデル２ａは、機械学習自体は適切に行われ、ラベル領域１３の境界を除いて十分な精度でセグメンテーション処理が行えるように構成されている。機械学習の分野において、事前学習済みモデル２ａの精度は、個々の入力画像１１に対するセグメンテーションの結果（ここでは、判定用ラベル画像１４）と、その入力画像１１の教師ラベル画像１２との誤差（損失関数）を求めることにより評価することができる。図６に示すように、十分な点数の学習用データセット１で、学習が適切に行われる場合、学習済みモデルでは、学習回数とともに損失関数の値が低下し、ラベル領域１３の境界のばらつきも含む不可避的に存在する各種の要因に起因した限界に相当する値で収束する。図６のグラフは、縦軸が損失関数を対数表示し、横軸が学習の反復回数を示したものである。
【0048】
また、教師ラベル画像１２は、事前学習済みモデル２ａの学習を適切に収束させることが可能な程度に一貫した基準に従って作成された教師ラベル画像である。つまり、学習用データセット１が含む多数の教師ラベル画像１２は、ラベル領域１３の境界においては上記の閾値処理等の要因によってばらつきが存在するものの、学習を適切に収束させることが可能な程度に統計的な偏りが小さいものである。なお、図３に示した骨盤部の画像や図４に示した細胞画像から分かるように、ラベル領域１３の全体に占める境界の部分の割合はごく僅かであり、境界のばらつきは学習を収束させる障害にはならない。
【0049】
〈教師ラベル画像の修正方法の詳細〉
判定用ラベル画像１４を作成するステップでは、事前学習済みモデル２ａに入力画像１１を入力し、セグメンテーション処理を行うことにより、出力として判定用ラベル画像１４が作成される。図７に示すように、判定用ラベル画像１４は、教師ラベル画像１２と同様に、入力画像１１を複数のラベル領域１３によって領域分割した画像となる。
判定用ラベル画像１４を作成するステップでは、事前学習済みモデル２ａに入力画像１１を入力し、セグメンテーション処理を行うことにより、出力として判定用ラベル画像１４が作成される。図７に示すように、判定用ラベル画像１４は、教師ラベル画像１２と同様に、入力画像１１を複数のラベル領域１３によって領域分割した画像となる。
【0050】
判定用ラベル画像１４と教師ラベル画像１２とのラベルを比較するステップでは、判定用ラベル画像１４と教師ラベル画像１２とについて、画像中の対応する部分同士のラベルが比較される。対応する部分は、判定用ラベル画像１４と教師ラベル画像１２とで同一箇所の像と見なせる部分であり、各画像の撮像視野が同一である限りにおいて、同一の座標を意味する。
【0051】
判定用ラベル画像１４と教師ラベル画像１２との対応する部分同士のラベルの比較は、画像中の１画素毎または近傍の複数画素毎に行いうる。近傍の複数画素は、ある画素とその周囲の画素とを含み、たとえば２×２の４画素、３×３の９画素の正方形領域などでありうる。第１実施形態では、より好ましくは、判定用ラベル画像１４と教師ラベル画像１２との対応する部分同士のラベルが１画素毎に比較する。
【0052】
第１実施形態では、ラベルを比較するステップにおいて、判定用ラベル画像１４と教師ラベル画像１２との比較により、着目するラベルについて、判定用ラベル画像１４における教師ラベル画像１２との一致部分および不一致部分を取得する。
【0053】
教師ラベル画像１２に含まれるラベル領域１３を修正するステップでは、比較結果としての一致部分および不一致部分に基づいて、着目するラベルが付されたラベル領域１３の範囲を修正する。教師ラベル画像１２に含まれるラベル領域１３の修正は、たとえば修正対象となるラベル領域１３に付与したラベルを、別のラベルに置き換えることにより行う。図１に示したように、ラベル領域１３の修正により、修正済み教師ラベル画像１２ａが作成される。作成された修正済み教師ラベル画像１２ａは、学習データ１０において元の（修正前の）教師ラベル画像１２と置き換えられる（すなわち、教師ラベル画像１２が更新される）。
【0054】
ここで、事前学習済みモデル２ａの学習を適切に収束させることが可能な学習用データセット１であれば、ラベル領域１３の境界に関して、図８に示したようにラベル領域１３が相対的に大きくなる方向にばらついた教師ラベル画像１２と、ラベル領域１３が相対的に小さくなる方向にばらついた教師ラベル画像１２とが、概ね均等に分布する（概ね正規分布となる）ことが期待される。なお、図８の横軸はばらつきの大きさを示し、縦軸は、該当するばらつきを有する教師ラベル画像の数（頻度）を示す。図８のようにばらつきが分布した教師ラベル画像１２を学習した結果、事前学習済みモデル２ａが出力する判定用ラベル画像１４のラベル領域１３の境界は、一貫して、図８の分布における中間的な結果となることが期待される。そのため、事前学習済みモデル２ａにより生成された判定用ラベル画像１４のラベル領域１３を基準として、判定用ラベル画像１４との差異の分だけ、個々の教師ラベル画像１２のラベル領域１３の境界部分がばらついていると見なすことができる。
【0055】
そこで、第１実施形態では、ラベル領域１３を修正するステップにおいて、ラベルの比較結果に基づいて、教師ラベル画像１２中のラベル領域１３の範囲を、図９に示すように判定用ラベル画像１４のラベル領域１３に近づけるように修正する。具体的には、ラベル領域１３の修正は、教師ラベル画像１２中のラベル領域１３の膨張および収縮の少なくとも一方により行う。つまり、判定用ラベル画像１４のラベル領域１３の境界１８ａに対して、ラベル領域１３が相対的に大きく（境界１８ｂ参照）設定された教師ラベル画像１２については、ラベル領域１３を収縮させる修正が行われ、ラベル領域１３が相対的に小さく（境界１８ｃ参照）設定された教師ラベル画像１２については、ラベル領域１３を収縮させる修正が行われる。これにより、学習用データセット１の全体として偏ることなく、個々の教師ラベル画像１２のラベル領域１３の境界部のばらつきを減少させることが可能となる。
【0056】
ラベル領域１３の修正は、たとえばモルフォロジー処理により行うことができる。モルフォロジー処理は、入力イメージ（ここでは、教師ラベル画像１２）の画素と、その近傍の画素との比較に基づいて、出力イメージ（ここでは、修正済み教師ラベル画像１２ａ）における対応画素の画素値を決定するものである。膨張処理を行う場合、近傍の画素との比較により検出されたラベル領域１３の境界の画素に、ラベル領域１３と同一のラベルを付与する。収縮処理を行う場合、近傍の画素との比較により検出されたラベル領域１３の境界の画素からラベルを除去して、境界の外側のラベルと同じラベルを付与する。モルフォロジー処理による修正量（何画素分、膨張または収縮するか）は、特に限定されず、１画素分、または複数画素分修正することができる。
【0057】
〈教師ラベル画像の修正の具体例〉
次に、教師ラベル画像の修正の具体例を示す。図１０に示すように、ステップＳ１において、学習用データセット１のうちから、修正の対象となる教師ラベル画像１２を含む学習データ１０を選択する。
次に、教師ラベル画像の修正の具体例を示す。図１０に示すように、ステップＳ１において、学習用データセット１のうちから、修正の対象となる教師ラベル画像１２を含む学習データ１０を選択する。
【0058】
ステップＳ２は、上記の判定用ラベル画像１４を作成するステップである。ステップＳ２において、事前学習済みモデル２ａにより、入力画像１１から判定用ラベル画像１４が作成される。
【0059】
ステップＳ３は、上記の判定用ラベル画像１４と教師ラベル画像１２とのラベルを比較するステップである。判定用ラベル画像１４と教師ラベル画像１２との比較方法として、図１１に示す２クラス（正、負）分類の混同行列２１を例示する。行列の縦が教師ラベル画像１２におけるセグメンテーションの結果、行列の横が判定用ラベル画像１４におけるセグメンテーションの結果を示す。ＴＰは、判定用ラベル画像１４と教師ラベル画像１２とで一致して「正」のラベルを付与した画素の総数である。ＴＮは、判定用ラベル画像１４と教師ラベル画像１２とで一致して「負」のラベルを付与した画素の総数である。したがって、ＴＰ、ＴＮは、一致部分の画素数を表す。一方、ＦＰは、判定用ラベル画像１４では「正」のラベルを付与して教師ラベル画像１２では「負」のラベルを付与した画素の総数である。ＦＮは、判定用ラベル画像１４では「負」のラベルを付与して教師ラベル画像１２では「正」のラベルを付与した画素の総数である。したがって、ＦＰ、ＦＮは、不一致部分の画素数を表す。
【0060】
そして、第１実施形態では、判定用ラベル画像１４と教師ラベル画像１２との乖離度合いを評価する評価値を算出する。具体的には、ラベルを比較するステップにおいて、一致部分および不一致部分に基づいて、判定用ラベル画像１４においてラベルの未検出を評価する未検出評価値２２およびラベルの誤検出を評価する誤検出評価値２３をそれぞれ取得する。なお、第１実施形態では、教師ラベル画像１２のラベル領域１３を（誤っているものとして）修正するが、未検出評価値２２および誤検出評価値２３は、あくまでも教師ラベル画像１２の各ラベル領域１３が正しいと仮定して、判定用ラベル画像１４におけるラベルの未検出および誤検出を評価する評価値である。教師ラベル画像１２の各ラベル領域１３が正しいと仮定した場合、判定用ラベル画像１４における教師ラベル画像１２との不一致部分は、未検出または誤検出となる部分であるので、未検出評価値２２および誤検出評価値２３は、判定用ラベル画像１４における教師ラベル画像１２との一致不一致を、数値によって評価するものである。
【0061】
未検出評価値２２および誤検出評価値２３は、それぞれ、ラベルの未検出の多さ（または少なさ）、および誤検出の多さ（または少なさ）を示す数値であれば、特に限定されない。
【0062】
一例として、未検出評価値２２は、下式（１）で示される検出率（ＲｅｃａｌｌまたはＴｒｕｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ；ＴＰＲ）である。検出率は感度とも呼ばれる。
Ｋ＝ＴＰ／（ＴＰ＋ＦＮ） ・・・（１）
検出率は、「本来ポジティブ（正）に分類するべきアイテム（画素）を、正しくポジティブに分類できたアイテムの割合」を示し、未検出の少なさを表す。つまり未検出評価値２２として検出率を採用する場合、値が大きいほど未検出が少ないことを表す。
Ｋ＝ＴＰ／（ＴＰ＋ＦＮ） ・・・（１）
検出率は、「本来ポジティブ（正）に分類するべきアイテム（画素）を、正しくポジティブに分類できたアイテムの割合」を示し、未検出の少なさを表す。つまり未検出評価値２２として検出率を採用する場合、値が大きいほど未検出が少ないことを表す。
【0063】
誤検出評価値２３は、下式（２）で示される精度（Ｐｒｅｃｉｓｉｏｎ）である。
Ｇ＝ＴＰ／（ＴＰ＋ＦＰ） ・・・（２）
精度は、「ポジティブ（正）に分類されたアイテムのうち、実際にポジティブであったアイテムの割合」を示し、誤検出の少なさを表す。つまり誤検出評価値２３として精度を採用する場合、値が大きいほど誤検出が少ないことを表す。
Ｇ＝ＴＰ／（ＴＰ＋ＦＰ） ・・・（２）
精度は、「ポジティブ（正）に分類されたアイテムのうち、実際にポジティブであったアイテムの割合」を示し、誤検出の少なさを表す。つまり誤検出評価値２３として精度を採用する場合、値が大きいほど誤検出が少ないことを表す。
【0064】
未検出評価値２２および誤検出評価値２３の比較により、教師ラベル画像１２のラベル領域１３が相対的に大きく設定されているか、ラベル領域１３が相対的に小さく設定されているかを判定することが可能である。そこで、ラベル領域１３を修正するステップにおいて、未検出評価値２２および誤検出評価値２３の比較に基づいて教師ラベル画像１２のラベル領域１３を修正する。
【0065】
未検出評価値２２および誤検出評価値２３の比較結果と、判定用ラベル画像１４と教師ラベル画像１２との各ラベル領域の大きさとの関係を、図１２および図１３に示す単純化した仮想例を用いて説明する。図１２および図１３において、着色部が各画像のラベル領域１３を示し、ハッチング部は、判定用ラベル画像１４のラベル領域１３ｆを、教師ラベル画像１２に重畳して示したものである。
【0066】
図１２に示すように、判定用ラベル画像１４と教師ラベル画像１２とを比較して、未検出が多い（検出率Ｋが小さい）ケースでは、判定用ラベル画像１４で正のラベルが付されたラベル領域１３ｆよりも、教師ラベル画像１２で正のラベルが付されたラベル領域１３ｇが大きく、ラベル領域１３ｆの外側にラベル領域１３ｇの境界がある（ラベル領域１３ｆの外側が未検出となる）。
【0067】
そこで、未検出評価値２２および誤検出評価値２３の比較により、判定用ラベル画像１４におけるラベルの誤検出に比べて未検出が多いと判断された場合、ラベル領域１３を修正するステップＳ４において、教師ラベル画像１２のラベル領域１３を収縮する。
【0068】
すなわち、（検出率Ｋ＜精度Ｇ≒１）となる場合、誤検出が少なく、未検出が多いと判断できるので、教師ラベル画像１２のラベル領域１３の範囲を収縮させることにより、判定用ラベル画像１４のラベル領域１３に近づけることができる。図１２の仮想例では、Ｋ＝０．５６、Ｇ＝１となるので、条件（検出率Ｋ＜精度Ｇ≒１）を満たす。
【0069】
一方、図１３に示すように、判定用ラベル画像１４と教師ラベル画像１２とを比較して、誤検出が多い（精度Ｇが小さい）ケースでは、判定用ラベル画像１４で正のラベルが付されたラベル領域１３ｆよりも、教師ラベル画像１２で正のラベルが付されたラベル領域１３ｇが小さく、ラベル領域１３ｆの内側にラベル領域１３ｇの境界がある（ラベル領域１３ｇの外側が誤検出となる）。
【0070】
そこで、未検出評価値２２および誤検出評価値２３の比較により、判定用ラベル画像１４におけるラベルの未検出に比べて誤検出が多いと判断された場合、ラベル領域１３を修正するステップＳ４において、教師ラベル画像１２のラベル領域１３を膨張する。
【0071】
すなわち、（１≒検出率Ｋ＞精度Ｇ）となる場合、未検出が少なく、誤検出が多いと判断できるので、教師ラベル画像１２のラベル領域１３の範囲を膨張させることにより、判定用ラベル画像１４のラベル領域１３に近づけることができる。図１３の仮想例では、Ｋ＝１、Ｇ＝０．５６となるので、条件（１≒検出率Ｋ＞精度Ｇ）を満たす。なお、精度Ｇ≒１および検出率Ｋ≒１の判断基準としては、たとえば０．８以上、または０．９以上などとしてよい。
【0072】
また、第１実施形態では、未検出および誤検出の少なくとも一方が所定の閾値よりも多いと判断された教師ラベル画像１２を含む学習データ１０を、学習用データセット１から除外するステップをさらに含む。未検出および誤検出の少なくとも一方が所定の閾値よりも多いとは、検出率Ｋおよび精度Ｇの少なくとも一方が所定の閾値Ｔｈを下回る（Ｋ＜Ｔｈ、および／またはＧ＜Ｔｈ）ことである。
【0073】
このように未検出評価値２２および誤検出評価値２３の一方が許容範囲外（所定の閾値を超える）となる場合、ラベル領域１３の境界のばらつきが実際のサイズに対して極端に大きい不適切な教師ラベル画像１２であると考えられ、学習の妨げとなるため、修正を図るよりも学習用データセット１から除外する方が好ましい。所定の閾値は、クラス数や、事前学習済みモデル２ａの精度（損失関数）に応じて設定しうるが、たとえば２クラス分類の場合、閾値＝０．５とすることができる。
【0074】
以上のようにして、ステップＳ４において、教師ラベル画像１２のラベル領域１３の修正が行われる。教師ラベル画像１２の修正は、学習用データセット１に含まれる全ての学習データ１０の教師ラベル画像１２に対して、行うことができる。すなわち、ステップＳ５において、全ての学習データ１０の教師ラベル画像１２に対して、修正処理が完了したかが判断され、未修正の学習データ１０（教師ラベル画像１２）がある場合、ステップＳ１に処理が戻り、次に選択された学習データ１０に対して、ステップＳ２～Ｓ４が実行される。全ての学習データ１０の教師ラベル画像１２に対して修正処理が完了した場合、学習済みモデル２の修正処理が完了する。この他、教師ラベル画像１２の修正は、特定の教師ラベル画像１２についてのみ行うことができる。たとえば損失関数や未検出評価値２２および誤検出評価値２３などに修正可否を判定するための閾値を設け、閾値を超えた特定の教師ラベル画像１２についてのみ、教師ラベル画像１２の修正を行うことができる。
【0075】
また、第１実施形態では、教師ラベル画像１２のラベル領域１３の修正は、１回または複数回行われうる。
【0076】
すなわち、第１実施形態の１つの態様では、修正された教師ラベル画像１２（修正済み教師ラベル画像１２ａ）を含む学習データ１０を用いた学習済みモデル２により、判定用ラベル画像１４を作成するステップをさらに含み、ラベル領域を修正するステップにおいて、作成された判定用ラベル画像１４と修正済み教師ラベル画像１２ａとの比較結果に基づいて、修正済み教師ラベル画像１２ａに含まれるラベル領域１３を再修正する。詳細は後述する。
【0077】
（学習済みモデルの作成方法）
次に、教師ラベル画像修正方法によって修正された教師ラベル画像（修正済み教師ラベル画像１２ａ）を用いて画像セグメンテーションを行うための学習済みモデル２を作成する方法について説明する。
次に、教師ラベル画像修正方法によって修正された教師ラベル画像（修正済み教師ラベル画像１２ａ）を用いて画像セグメンテーションを行うための学習済みモデル２を作成する方法について説明する。
【0078】
学習済みモデルの作成方法は、下記のステップを含む。
（１）入力画像１１と教師ラベル画像１２とを含む学習データ１０を用いた機械学習による事前学習済みモデル２ａを取得するステップ
（２）取得した事前学習済みモデル２ａにより、学習データ１０の入力画像１１に対してセグメンテーション処理を行って、複数のラベル領域１３に分割された判定用ラベル画像１４を作成するステップ
（３）作成された判定用ラベル画像１４と教師ラベル画像１２とについて、画像中の対応する部分同士のラベルを比較するステップ
（４）ラベルの比較結果に基づいて、教師ラベル画像１２に含まれるラベル領域１３を修正するステップ
（５）修正済み教師ラベル画像１２ａを含む学習データ１０を用いて機械学習を行うことにより、学習済みモデル２を作成するステップ
（１）入力画像１１と教師ラベル画像１２とを含む学習データ１０を用いた機械学習による事前学習済みモデル２ａを取得するステップ
（２）取得した事前学習済みモデル２ａにより、学習データ１０の入力画像１１に対してセグメンテーション処理を行って、複数のラベル領域１３に分割された判定用ラベル画像１４を作成するステップ
（３）作成された判定用ラベル画像１４と教師ラベル画像１２とについて、画像中の対応する部分同士のラベルを比較するステップ
（４）ラベルの比較結果に基づいて、教師ラベル画像１２に含まれるラベル領域１３を修正するステップ
（５）修正済み教師ラベル画像１２ａを含む学習データ１０を用いて機械学習を行うことにより、学習済みモデル２を作成するステップ
【0079】
図１４に、学習済みモデルの作成方法を実施する処理の流れを示す。ステップＳ１１において、事前学習済みモデル２ａを取得する。ステップＳ１２において、学習用データセット１に含まれる教師ラベル画像１２の修正を行う。すなわち、図１０に示したステップＳ１～Ｓ５の処理を実行することにより、各学習データ１０の教師ラベル画像１２を修正する。これにより、ステップＳ１３において、修正済み教師ラベル画像１２ａを含む修正済みの学習用データセット１を取得する。
【0080】
ステップＳ１４において、修正済み教師ラベル画像１２ａを含む学習用データセット１を用いて、機械学習を行う。その結果、ラベル領域１３の境界のばらつきが抑制された修正済み教師ラベル画像１２ａを含んだ学習データ１０を利用して、事前学習済みモデル２ａが追加学習されることにより、学習済みモデル２が生成される。ステップＳ１６において、作成された学習済みモデル２がコンピュータの記憶部に記憶される。なお、ここでは、修正済み教師ラベル画像１２ａを含む学習用データセット１を用いて、事前学習済みモデル２ａに対する機械学習（追加学習）を行う例を示しているが、修正済み教師ラベル画像１２ａを含む学習用データセット１を用いて、事前学習済みモデル２ａとは異なる他の学習済みモデルや、未学習の学習モデルに対して機械学習を行ってもよい。
【0081】
学習済みモデル２の作成は、所定の繰り返し回数だけ反復して行うことができる。この際、教師ラベル画像１２の修正処理も、反復して実施される。すなわち、ステップＳ１６において、学習が所定回数だけ繰り返し実施されたか否かが判断される。所定回数に達していない場合、処理がステップＳ１１に戻され、学習済みモデル２の作成が再度行われる。
【0082】
このとき、ステップＳ１１では、直前のステップＳ１５で記憶された学習済みモデル２が、今回の事前学習済みモデル２ａとして取得される。そして、ステップＳ１２において、取得された事前学習済みモデル２ａと、修正済み教師ラベル画像１２ａを含む学習用データセット１とを用いて、修正済み教師ラベル画像１２ａの再修正が行われる。
【0083】
そして、ステップＳ１４では、再修正された修正済み教師ラベル画像１２ａを含む学習用データセット１を用いて、事前学習済みモデル２ａに対する機械学習が行われる。このようにステップＳ１１～Ｓ１５を反復することにより、学習用データセット１に含まれる教師ラベル画像１２の修正を繰り返し行い更新しつつ、更新された修正済み教師ラベル画像１２ａを含む学習用データセット１を用いた機械学習によって、学習済みモデル２が作成される。ステップＳ１６において、学習が所定回数だけ繰り返し実施されると、処理が終了する。
【0084】
以上の教師ラベル画像修正方法、および学習済みモデルの作成方法は、所定のソフトウェア（プログラム）が記憶部にインストールされたコンピュータ（パーソナルコンピュータやワークステーション、スーパーコンピュータなど）または複数台のコンピュータからなるコンピュータシステムによって実施される。コンピュータは、ＣＰＵ、ＧＰＵ、専用設計されたＦＰＧＡなどのプロセッサと、ＲＯＭ、ＲＡＭ、揮発性または不揮発性記憶装置（ＨＤＤ、ＳＤＤなど）の記憶部とを備える。
【0085】
図１５に示すように、コンピュータが備えるプロセッサ５０ａが、記憶部５４に記憶されたプログラムを実行することにより、教師ラベル画像修正方法や学習済みモデルの作成方法を実行するための学習データ処理部５０として機能する。
【0086】
〈学習データ処理部〉
第１実施形態の教師ラベル画像修正方法を行う学習データ処理部５０は、教師ラベル画像修正方法の各ステップ（図１０のステップＳ１～Ｓ５）を実行するための機能ブロックを含み、記憶部５４に記憶された各種データ（事前学習済みモデル２ａ、学習用データセット１）を用いた処理によって教師ラベル画像修正方法を実行することができる。第１実施形態の学習済みモデルの作成方法を実施する学習データ処理部５０は、学習済みモデルの作成方法の各ステップ（図１４のステップＳ１１～Ｓ１６）を実行するための機能ブロックを含み、記憶部５４に記憶された各種データを用いた処理によって学習済みモデルの作成方法を実行することができる。
第１実施形態の教師ラベル画像修正方法を行う学習データ処理部５０は、教師ラベル画像修正方法の各ステップ（図１０のステップＳ１～Ｓ５）を実行するための機能ブロックを含み、記憶部５４に記憶された各種データ（事前学習済みモデル２ａ、学習用データセット１）を用いた処理によって教師ラベル画像修正方法を実行することができる。第１実施形態の学習済みモデルの作成方法を実施する学習データ処理部５０は、学習済みモデルの作成方法の各ステップ（図１４のステップＳ１１～Ｓ１６）を実行するための機能ブロックを含み、記憶部５４に記憶された各種データを用いた処理によって学習済みモデルの作成方法を実行することができる。
【0087】
具体的には、学習データ処理部５０は、判定用画像作成部５１と、比較部５２と、ラベル修正部５３と、を機能ブロックとして含む。第１実施形態の学習済みモデルの作成方法を実施する学習データ処理部５０は、さらに、学習部５５を機能ブロックとして含む。教師ラベル画像１２の修正のみを行う場合、学習データ処理部５０は、学習部５５を含む必要はない。記憶部５４には、学習用データセット１、および学習済みモデル２（事前学習済みモデル２ａ）などの各種データおよびプログラムが記憶される。
【0088】
学習データ処理部５０は、図１０のステップＳ１において、学習データ１０を選択する。判定用画像作成部５１は、記憶部５４に記憶された学習済みモデル２を事前学習済みモデル２ａとして、入力画像１１と教師ラベル画像１２とを含む学習データ１０の入力画像１１に対してセグメンテーション処理を行うことにより、判定用ラベル画像１４を作成するように構成されている。判定用画像作成部５１は、図１４のステップＳ１１と、図１０のステップＳ１、Ｓ２の処理を行う。
【0089】
比較部５２は、判定用画像作成部５１により作成された判定用ラベル画像１４と教師ラベル画像１２とについて、画像中の対応する部分同士のラベルを比較するように構成されている。すなわち、比較部５２は、図１０のステップＳ３の処理を行う。
【0090】
ラベル修正部５３は、比較部５２によるラベルの比較結果に基づいて、教師ラベル画像１２に含まれるラベル領域１３を修正するように構成されている。すなわち、ラベル修正部５３は、図１０のステップＳ４の処理を行う。
【0091】
学習データ処理部５０は、図１０のステップＳ５において、全ての学習データ１０が選択されるまで、学習データ１０の選択と教師ラベル画像１２の修正とを繰り返す。
【0092】
学習部５５は、修正済み教師ラベル画像１２ａを含む学習データ１０を用いて機械学習を行うことにより、学習済みモデル２を作成（更新）するように構成されている。すなわち、学習部５５は、図１４のステップＳ１３～Ｓ１５の処理を行う。学習データ処理部５０は、図１４のステップＳ１６において、教師ラベル画像１２の修正と学習済みモデル２の再学習とを、所定回数だけ繰り返す。
【0093】
（画像解析装置）
次に、上記の学習済みモデルの作成方法によって作成された学習済みモデル２を用いて、画像解析（画像セグメンテーション）を行う画像解析装置の例について説明する。
次に、上記の学習済みモデルの作成方法によって作成された学習済みモデル２を用いて、画像解析（画像セグメンテーション）を行う画像解析装置の例について説明する。
【0094】
（画像解析装置の構成例：細胞解析装置）
画像解析装置の第１の例として、図１６に示す画像解析装置１００は、細胞を撮像した細胞画像の解析を行う細胞解析装置である。
画像解析装置の第１の例として、図１６に示す画像解析装置１００は、細胞を撮像した細胞画像の解析を行う細胞解析装置である。
【0095】
画像解析装置１００は、細胞を撮像した解析用画像１５であるＩＨＭ（Ｉｎ－ｌｉｎｅ Ｈｏｌｏｇｒａｐｈｉｃ Ｍｉｃｒｏｓｃｏｐｙ）位相像に対して、細胞に関するセグメンテーションを実施するように構成されている。画像解析装置１００は、セグメンテーション処理により、細胞画像から検出対象となる細胞の領域毎に分割したラベル画像１６を作成する。
【0096】
画像解析装置１００は、撮像部１１０と、制御部１２０と、ユーザーインターフェイスである操作部１３０と、表示部１４０と、学習データ処理部５０とを備える。
【0097】
撮像部１１０は、インライン型ホログラフィック顕微鏡であり、レーザダイオードなどを含む光源部１１１とイメージセンサ１１２とを備える。撮像時には、光源部１１１とイメージセンサ１１２との間に、細胞コロニー（又は細胞単体）１１４を含む培養プレート１１３が配置される。
【0098】
制御部１２０は、撮像部１１０の動作を制御するとともに撮像部１１０で取得されたデータを処理するように構成されている。制御部１２０は、プロセッサと記憶部１２６とを備えたコンピュータであり、プロセッサは、撮像制御部１２１と、細胞画像作成部１２２と、画像解析部１２３とを機能ブロックとして含む。
【0099】
画像解析部１２３は、解析用画像１５の入力を受け付ける画像入力部１２４と、機械学習による学習済みモデル２を用いて、解析用画像１５のセグメンテーション処理を行って、複数のラベル領域１３に分割されたラベル画像を作成する解析処理部１２５と、を下位の機能ブロックとして含む。
【0100】
学習データ処理部５０は、図１５に示した構成と同様であるので説明を省略する。学習データ処理部５０において作成される学習済みモデル２が、制御部１２０における記憶部１２６に格納されて、画像解析部１２３による細胞のセグメンテーション処理に利用される。
【0101】
制御部１２０は、作業者により細胞コロニー１１４を含む培養プレート１１３が撮像部１１０の所定位置にセットされ、操作部１３０を介して所定の操作を受け付けると、撮像制御部１２１により撮像部１１０を制御してホログラムデータを取得する。
【0102】
具体的には、撮像部１１０は、光源部１１１からコヒーレント光を照射させ、培養プレート１１３および細胞コロニー１１４を透過した光と、培養プレート１１３上で細胞コロニー１１４の近傍領域を透過した光との干渉縞による像を、イメージセンサ１１２により取得する。イメージセンサ１１２は、ホログラムデータ（検出面上に形成されたホログラムの２次元的な光強度分布データ）を取得する。
【0103】
細胞画像作成部１２２は、撮像部１１０により取得されたホログラムデータに対して、位相回復のための演算処理を実行することにより、位相情報を算出する。そして、細胞画像作成部１２２は、算出された位相情報に基づいてＩＨＭ位相像（解析用画像１５）を作成する。位相情報の算出やＩＨＭ位相像の作成手法は、公知の技術を利用することができるので、詳細な説明を省略する。
【0104】
〈細胞画像解析部〉
図４に示した細胞画像は、ｉＰＳ細胞における未分化逸脱細胞コロニーを対象とするＩＨＭ位相像の一例である。画像解析装置１００では、画像解析部１２３によりＩＨＭ位相像に対するセグメンテーション処理を行うことにより、ＩＨＭ位相像（解析用画像１５）を、未分化細胞のラベル領域１３ｃと、未分化逸脱細胞のラベル領域１３ｄと、背景のラベル領域１３ｅと、に分類して領域分割する処理を自動的に行う。
図４に示した細胞画像は、ｉＰＳ細胞における未分化逸脱細胞コロニーを対象とするＩＨＭ位相像の一例である。画像解析装置１００では、画像解析部１２３によりＩＨＭ位相像に対するセグメンテーション処理を行うことにより、ＩＨＭ位相像（解析用画像１５）を、未分化細胞のラベル領域１３ｃと、未分化逸脱細胞のラベル領域１３ｄと、背景のラベル領域１３ｅと、に分類して領域分割する処理を自動的に行う。
【0105】
図１７に示すように、ステップＳ２１において、画像入力部１２４が、解析用画像１５であるＩＨＭ位相像を取得する。ステップＳ２２において、解析処理部１２５が、記憶部１２６に記憶された学習済みモデル２により、解析用画像１５に対するセグメンテーション処理を行う。これにより、今回入力された解析用画像１５を複数のラベル領域１３に領域分割したラベル画像１６が作成される。ステップＳ２３において、画像解析部１２３は、作成されたラベル画像１６を記憶部１２６に記憶させるとともに、作成されたラベル画像１６を表示部１４０や外部のサーバなどに出力する。
【0106】
画像解析部１２３では、セグメンテーション処理の他、セグメンテーション処理を行った結果に基づく各種の解析処理を行いうる。たとえば、画像解析部１２３は、セグメンテーション処理によって得られたラベル画像１６に基づき、細胞領域の面積、細胞の数、又は細胞の密度の少なくともいずれかを推定する。
【0107】
（画像解析装置の構成例：骨部画像解析装置）
画像解析装置の第２の例として、図１８に示す画像解析装置２００は、被検者の骨部を含む領域のＸ線画像の解析を行う骨部画像解析装置である。
画像解析装置の第２の例として、図１８に示す画像解析装置２００は、被検者の骨部を含む領域のＸ線画像の解析を行う骨部画像解析装置である。
【0108】
画像解析装置２００は、骨部を撮像した解析用画像１５であるＸ線画像に対して、骨部に関するセグメンテーションを実施するように構成されている。画像解析装置２００は、セグメンテーション処理により、Ｘ線画像から骨部の領域を分割した骨部のラベル画像１６を作成する。
【0109】
画像解析装置２００は、撮像部２１０と、制御部２２０と、操作部２３０と、表示部２４０と、学習データ処理部５０とを備える。
【0110】
撮像部２１０は、天板２１１と、Ｘ線照射部２１２と、Ｘ線検出部２１３とを含んでいる。天板２１１は、被検体Ｏ（人）を支持するように構成されている。Ｘ線照射部２１２は、被検体Ｏに向けてＸ線を照射するように構成されている。Ｘ線検出部２１３は、たとえばＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ）により構成され、Ｘ線照射部２１２から照射され、被検体Ｏを透過したＸ線を検出するように構成されている。撮像部２１０により、たとえば図２に示したように、被検者の骨部を含む領域のＸ線画像が、解析用画像１５として取得される。
【0111】
制御部２２０は、プロセッサと記憶部２２６とを備えたコンピュータであり、プロセッサは、撮像制御部２２１と、Ｘ線画像作成部２２２と、画像解析部２２３とを機能ブロックとして含む。
【0112】
画像解析部２２３は、図１６に示した例と同様に、画像入力部２２４と、解析処理部２２５とを下位の機能ブロックとして含む。
【0113】
学習データ処理部５０は、図１５に示した構成と同様であるので説明を省略する。学習データ処理部５０において作成される学習済みモデル２が、制御部２２０における記憶部２２６に格納されて、画像解析部２２３による骨部のセグメンテーション処理に利用される。
【0114】
骨部に関するセグメンテーション処理を行うための教師ラベル画像１２は、Ｘ線画像のほか、被検者のＣＴ画像（コンピュータ断層撮影画像）データを用いて作成することができる。具体的には、教師ラベル画像１２は、被検者のＣＴ画像データに対して、Ｘ線照射部２１２とＸ線検出部２１３との幾何学的条件を模擬した仮想的投影を行うことにより、骨部を含む領域を示す複数のＤＲＲ画像（デジタル再構成シミュレーション画像）を生成し、ＣＴ値が一定以上の値となる領域を骨部の領域としてラベリングすることにより、作成されうる。学習データ処理部５０は、図示しないＣＴ撮影装置からＣＴ画像を取得し、取得したＣＴ画像に基づいて、教師ラベル画像１２を生成することができる。
【0115】
図１７に示したように、ステップＳ２１において、画像入力部２２４が、解析用画像１５であるＸ線画像を取得する。ステップＳ２２において、解析処理部２２５が、記憶部２２６に記憶された学習済みモデル２により、解析用画像１５に対するセグメンテーション処理を行う。これにより、今回入力された解析用画像１５が複数のラベル領域１３に領域分割されたラベル画像１６が作成される。ステップＳ２３において、画像解析部２２３は、作成されたラベル画像１６を記憶部２２６に記憶させるとともに、作成されたラベル画像１６を表示部２４０や外部のサーバなどに出力する。
【0116】
画像解析部２２３では、セグメンテーション処理の他、セグメンテーション処理を行った結果に基づく各種の解析処理を行いうる。たとえば、画像解析部２２３は、セグメンテーション処理によって得られたラベル画像１６（図３参照）に基づき、検出された骨部の骨密度を推定する。
【0117】
なお、図１５、図１６および図１８において、学習データ処理部５０および制御部１２０、２２０の各部を、プロセッサがソフトウェアを実行することにより実現される機能ブロックとして構築する代わりに、それぞれの処理を行う専用のハードウェアにより構築してもよい。
【0118】
（第１実施形態の効果）
第１実施形態では、以下のような効果を得ることができる。
第１実施形態では、以下のような効果を得ることができる。
【0119】
第１実施形態では、上記のように、判定用ラベル画像１４を作成し、作成された判定用ラベル画像１４と教師ラベル画像１２とについて、画像中の対応する部分同士のラベルを比較し、ラベルの比較結果に基づいて、教師ラベル画像１２に含まれるラベル領域１３を修正する。このように判定用ラベル画像１４を基準に、判定用ラベル画像１４と教師ラベル画像１２との比較結果に基づいて教師ラベル画像１２のラベル領域１３の修正を行うことによって、ラベル修正作業者ではなく、コンピュータを用いた自動的な修正作業でも一貫した基準に基づいて境界のばらつきを低減することができる。これにより、画像セグメンテーション処理の機械学習に用いる教師ラベル画像１２の修正作業を、精度を確保しつつ簡易化することができる。
【0120】
また、第１実施形態では、上記のように、ラベル領域１３を修正するステップにおいて、ラベルの比較結果に基づいて、教師ラベル画像１２中のラベル領域１３の範囲を、判定用ラベル画像１４のラベル領域１３に近づけるように修正する。このように構成すれば、教師ラベル画像１２中のラベル領域１３の範囲を、たとえば判定用ラベル画像１４のラベル領域１３に一致させ、または判定用ラベル画像１４のラベル領域１３との間の中間的な範囲とするだけで、容易かつ効果的に、個々の教師ラベル画像１２のラベル領域１３のばらつきを小さくする修正ができる。
【0121】
また、第１実施形態では、上記のように、ラベル領域１３を修正するステップにおいて、ラベル領域１３の修正は、教師ラベル画像１２中のラベル領域１３の膨張および収縮の少なくとも一方により行う。このように構成すれば、ラベルの比較結果に基づいて、教師ラベル画像１２中のラベル領域１３の範囲を膨張させたり収縮させたりするだけの簡易な処理で、教師ラベル画像１２のラベル領域１３の修正が行える。
【0122】
また、第１実施形態では、上記のように、ラベル領域１３を修正するステップにおいて、判定用ラベル画像１４における教師ラベル画像１２との一致部分および不一致部分に基づいて、着目するラベルが付されたラベル領域１３の範囲を修正する。このように構成すれば、判定用ラベル画像１４と教師ラベル画像１２との一致部分および不一致部分から、教師ラベル画像１２のラベル領域１３が、基準となる判定用ラベル画像１４からどのように乖離しているかが把握できる。そのため、一致部分および不一致部分に基づくことにより、容易に、境界のばらつきが小さくなるようにラベル領域１３を修正することができる。
【0123】
また、第１実施形態では、上記のように、ラベルを比較するステップにおいて、一致部分および不一致部分に基づいて、判定用ラベル画像１４においてラベルの未検出を評価する未検出評価値２２およびラベルの誤検出を評価する誤検出評価値２３をそれぞれ取得し、ラベル領域１３を修正するステップにおいて、未検出評価値２２および誤検出評価値２３の比較に基づいて教師ラベル画像１２のラベル領域１３を修正する。このように、未検出評価値２２および誤検出評価値２３の比較に基づくことによって、教師ラベル画像１２のラベル領域１３をどのように修正すればよいか（大きくすればよいか小さくすればよいか）を把握できるので、より適切に、個々の教師ラベル画像１２のラベル領域１３を修正できる。
【0124】
また、第１実施形態では、上記のように、未検出評価値２２および誤検出評価値２３の比較により、判定用ラベル画像１４におけるラベルの未検出に比べて誤検出が多いと判断された場合、ラベル領域１３を修正するステップにおいて、教師ラベル画像１２のラベル領域１３を膨張する。このように構成すれば、誤検出となる領域が多く、教師ラベル画像１２のラベル領域１３が基準となる判定用ラベル画像１４のラベル領域１３よりも小さいと推定される場合に、教師ラベル画像１２のラベル領域１３を膨張することにより、容易に、ラベル領域１３の境界のばらつきを小さくする修正が行える。
【0125】
また、第１実施形態では、上記のように、未検出評価値２２および誤検出評価値２３の比較により、判定用ラベル画像１４におけるラベルの誤検出に比べて未検出が多いと判断された場合、ラベル領域１３を修正するステップにおいて、教師ラベル画像１２のラベル領域１３を収縮する。このように構成すれば、未検出となる領域が多く、教師ラベル画像１２のラベル領域１３が基準となる判定用ラベル画像１４のラベル領域１３よりも大きいと推定される場合に、教師ラベル画像１２のラベル領域１３を収縮することにより、容易に、ラベル領域１３の境界のばらつきを小さくする修正が行える。
【0126】
また、第１実施形態では、上記のように、未検出および誤検出の少なくとも一方が所定の閾値よりも多いと判断された教師ラベル画像１２を含む学習データ１０を、学習用データセットから除外するステップをさらに含む。このように構成すれば、基準となる判定用ラベル画像１４との比較において未検出および誤検出の少なくとも一方が過度に多い場合、その教師ラベル画像１２は学習データ１０として不適切であると考えられる。そこで、未検出および誤検出の少なくとも一方が多くなる教師ラベル画像１２を学習用データセットから除外することにより、機械学習の精度を低下させる要因となる学習データ１０を除外できるので、学習用データセットの品質を向上させて高精度な機械学習を行うことができる。
【0127】
また、第１実施形態では、上記のように、ラベルを比較するステップにおいて、判定用ラベル画像１４と教師ラベル画像１２との対応する部分同士のラベルの比較を、画像中の１画素毎に行う。このように構成すれば、判定用ラベル画像１４と教師ラベル画像１２とを、１画素単位で比較することができるので、より精密に、教師ラベル画像１２のラベル領域１３のばらつきを評価することができる。
【0128】
また、第１実施形態では、上記のように、修正された教師ラベル画像（修正済み教師ラベル画像１２ａ）を含む学習データ１０を用いた学習済みモデル２により、判定用ラベル画像１４を作成するステップをさらに含み、ラベル領域１３を修正するステップにおいて、作成された判定用ラベル画像１４と修正済み教師ラベル画像１２ａとの比較結果に基づいて、修正済み教師ラベル画像１２ａに含まれるラベル領域１３を再修正する。このように構成すれば、修正済み教師ラベル画像１２ａを用いて機械学習を行った上で、再度判定用ラベル画像１４を作成することにより、教師ラベル画像１２のラベル領域１３の修正を繰り返し行うことができる。ラベル領域１３の修正を繰り返し行うことによって、教師ラベル画像１２のラベル領域１３のばらつきを、さらに小さく収束させることができる。
【0129】
また、第１実施形態の学習済みモデルの作成方法では、上記のように、判定用ラベル画像１４と教師ラベル画像１２とについてのラベルの比較結果に基づいて、教師ラベル画像１２に含まれるラベル領域１３を修正する。これにより、画像セグメンテーション処理の機械学習に用いる教師ラベル画像１２の修正作業を、精度を確保しつつ簡易化することができる。そして、修正済み教師ラベル画像１２ａを含む学習データ１０を用いて事前学習済みモデル２ａに対する機械学習を行うことにより、学習済みモデル２を作成するので、ラベル領域１３の境界部分の判定ばらつきが抑制された高品質なセグメンテーション処理が可能な学習済みモデル２を得ることができる。
【0130】
また、第１実施形態の画像解析装置１００、２００では、上記のように、判定用ラベル画像１４を作成する判定用画像作成部５１と、判定用画像作成部５１により作成された判定用ラベル画像１４と教師ラベル画像１２とについて、画像中の対応する部分同士のラベルを比較する比較部５２と、比較部５２によるラベルの比較結果に基づいて、教師ラベル画像１２に含まれるラベル領域１３を修正するラベル修正部５３と、を設ける。これにより、画像セグメンテーション処理の機械学習に用いる教師ラベル画像１２の修正作業を、精度を確保しつつ簡易化することができる。
【0131】
（第２実施形態）
次に、図１９および図２０を参照して、第２実施形態による教師ラベル画像修正方法ついて説明する。第２実施形態では、上記第１実施形態による教師ラベル画像修正方法に加えて、ラベル領域の膨張または収縮による修正を行う際に、ラベルの優先度に応じて修正量を調整する例について説明する。
次に、図１９および図２０を参照して、第２実施形態による教師ラベル画像修正方法ついて説明する。第２実施形態では、上記第１実施形態による教師ラベル画像修正方法に加えて、ラベル領域の膨張または収縮による修正を行う際に、ラベルの優先度に応じて修正量を調整する例について説明する。
【0132】
図１９に示すように、第２実施形態による教師ラベル画像修正方法では、教師ラベル画像１２のラベル間に優先度６０を設定するステップをさらに含む。そして、ラベル領域１３を修正するステップにおいて、優先度６０に応じて、ラベル領域１３の修正量を調整する。
【0133】
たとえば図１９では、多能性幹細胞の細胞画像に対して、未分化細胞、未分化逸脱細胞、背景の３つのラベルを設定し、セグメンテーション処理によりそれぞれのラベル領域１３に分割する例を示している。
【0134】
この細胞画像は、多能性幹細胞を培養する際に、細胞コロニー中から未分化逸脱細胞を発見してこれを除去することにより、多能性を維持した未分化細胞が分化することを抑止するとともに未分化細胞のみを培養するために用いられる。すなわち、未分化逸脱細胞を確実に発見することが望まれるため、未分化細胞、未分化逸脱細胞、背景の各ラベルのうちでは、優先度が高い方から未分化逸脱細胞、未分化細胞、背景の順で優先度６０が設定される。
【0135】
そして、第２実施形態では、ラベル領域１３を修正するステップにおいて、教師ラベル画像１２のラベル領域１３を修正する際に、優先度の高いラベル領域１３への、優先度の低いラベル領域１３の膨張を禁止する。すなわち、優先度の低いラベル領域１３の膨張によって優先度の高いラベル領域１３が小さくされないように、優先度６０に応じてラベル領域１３の修正量が調整される。図２０の例では、ラベル領域１３の膨張修正を行う場合に、背景のラベル領域１３ｅの未分化細胞のラベル領域１３ｃおよび未分化逸脱細胞のラベル領域１３ｄへの膨張が禁止される。そして、未分化細胞のラベル領域１３ｃの未分化逸脱細胞のラベル領域１３ｄへの膨張が禁止される。
【0136】
一方、ラベル領域１３の膨張修正を行う場合に、未分化逸脱細胞のラベル領域１３ｄは、未分化細胞のラベル領域１３ｃおよび背景のラベル領域１３ｅへの膨張が許容される。そして、未分化細胞のラベル領域１３ｃは、背景のラベル領域１３ｅへの膨張が許容される。この結果、第２実施形態では、教師ラベル画像１２において、優先度の高いラベルのラベル領域１３が小さくなる方向への修正が制限される。
【0137】
第２実施形態のその他の構成は、上記第１実施形態と同様である。なお、第２実施形態の他の構成例では、優先度の高いラベル領域１３への、優先度の低いラベル領域１３の膨張を禁止しなくてもよい。たとえば、優先度の低いラベル領域１３ｃから優先度の高いラベル領域１３ｄへの膨張量を、優先度の高いラベル領域１３ｄから優先度の低いラベル領域１３ｃへの膨張量よりも小さくする。このようにしても、優先度の高いラベルのラベル領域１３が小さくなる方向への修正を抑制できる。
【0138】
（第２実施形態の効果）
第２実施形態では、以下のような効果を得ることができる。
第２実施形態では、以下のような効果を得ることができる。
【0139】
第２実施形態では、上記第１実施形態と同様に、画像セグメンテーション処理の機械学習に用いる教師ラベル画像１２の修正作業を、精度を確保しつつ簡易化することができる。
【0140】
また、第２実施形態では、上記のように、教師ラベル画像１２のラベル間に優先度６０を設定するステップをさらに含み、ラベル領域１３を修正するステップにおいて、優先度６０に応じて、ラベル領域１３の修正量を調整する。これにより、優先度の高いラベルは極力検出漏れを抑制できるように修正量を意図的に偏らせることができる。その結果、セグメンテーション処理の目的に応じて教師ラベル画像１２の修正を適切に行うことができる。
【0141】
また、第２実施形態では、上記のように、ラベル領域１３を修正するステップにおいて、教師ラベル画像１２のラベル領域１３を修正する際に、優先度の高いラベル領域１３への、優先度の低いラベル領域１３の膨張を禁止する。これにより、優先度の低いラベル領域１３（たとえばラベル領域１３ｃ）を膨張させる修正をしても優先度の高いラベル領域１３（たとえばラベル領域１３ｄ）を保存できる。そのため、セグメンテーション処理の目的に応じて、境界のばらつきを抑制しつつ、優先度の高いラベル領域１３の検出漏れを抑制した学習が可能な教師ラベル画像１２（学習データ１０）を得ることができる。
【0142】
（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
【0143】
たとえば、上記一実施形態では、画像の例として、細胞画像、Ｘ線画像の例を示したが、本発明はこれに限られない。本発明による教師ラベル画像の修正は、セグメンテーション処理の機械学習に用いる教師ラベル画像であれば、どのような画像に対しても適用しうる。本発明による教師ラベル画像の修正は、ラベル領域の境界のばらつきを修正するものであるから、ラベル領域の境界部分に高い精度が要求される分野において特に好適である。そのような画像として、特に医用分野（医療分野、医科学分野）に用いられる、いわゆる医用画像がある。医用画像は、たとえば医師による疾患の診断などに用いられるため、ラベル領域の微細な境界部分であっても、境界がぼけたり、不自然な形状になるのを極力抑制することが望まれる。そのため、教師ラベル画像の修正によってラベル領域の境界のばらつきを低減することが可能な本発明は、医用画像のセグメンテーションに用いる場合に特に好適である。医用画像としては、細胞画像、骨部その他のＸ線画像のほか、たとえば治療対象部位としての腫瘍領域を検出対象としてセグメンテーション処理をする場合の、腫瘍が写る画像（内視鏡画像など）などでもよい。
【0144】
また、上記第１および第２実施形態では、教師ラベル画像１２の全体を、判定用ラベル画像１４と１画素毎に比較して、比較結果に基づいて修正する例を示したが、本発明はこれに限られない。本発明では、教師ラベル画像１２の一部に対して判定用ラベル画像１４との比較および修正を行ってもよい。たとえば図２１に示す教師ラベル画像修正方法の変形例では、ラベル領域１３を修正するステップにおいて、教師ラベル画像１２を複数の部分画像１７に分割し、分割された教師ラベル画像１２の少なくとも１つの部分画像１７についてラベル領域１３を修正する。図２１では、教師ラベル画像１２を６×６の矩形の部分画像１７ａとなるようにマトリクス状に分割している。そして、変形例では、判定用ラベル画像１４についても部分画像１７ｂに分割し、部分画像１７（１７ａ、１７ｂ）ごとに、教師ラベル画像１２と判定用ラベル画像１４とを比較するとともに、比較結果に基づいて教師ラベル画像１２の部分画像１７を修正する。それぞれの部分画像１７の形状や、分割数は、特に限定されず、任意である。修正は、特定の１つまたは複数の部分画像１７のみについて行ってもよいし、全ての部分画像１７に対してそれぞれ行ってもよい。この変形例のように構成すれば、教師ラベル画像１２の特定の一部分のみを修正したり、小部分ごとに個別に修正することができる。
【0145】
また、上記第１実施形態では、画像解析装置１００、２００が、教師ラベル画像１２の修正処理を行う例を示したが、本発明はこれに限られない。教師ラベル画像１２の修正処理を、画像解析装置以外の他の装置によって行ってもよい。同様に、上記第１および第２実施形態では、画像解析装置１００、２００が、機械学習による学習済みモデル２の作成を行う例を示したが、学習済みモデル２の作成を、画像解析装置以外の他の装置によって行ってもよい。
【0146】
たとえば図２２に示す変形例では、学習データ処理部５０が、画像解析装置３００とは別個のサーバ装置として設けられ、画像解析装置３００とネットワークを介して接続されている。学習データ処理部５０は、画像解析装置３００から、新たに撮像された解析用画像１５を、機械学習のための学習データ１０の入力画像１１として取得する。学習データ処理部５０によって、または他の画像処理装置を用いて、入力画像１１から教師ラベル画像１２が作成され、入力画像１１と教師ラベル画像１２とを含む学習データ１０が、学習用データセット１に追加される。学習データ処理部５０は、入力画像１１から事前学習済みモデル２ａにより判定用ラベル画像１４を作成し、教師ラベル画像１２との比較を行い、比較結果に基づいて教師ラベル画像１２の修正を行う。学習データ処理部５０は、修正済み教師ラベル画像１２を用いて事前学習済みモデル２ａの再学習を行い、学習済みモデル２を作成（アップデート）する。学習データ処理部５０は、新たに作成された学習済みモデル２を、ネットワークを介して画像解析装置３００に送信する。これにより、画像解析装置３００は、新たに作成された学習済みモデル２を用いてセグメンテーション処理を行うことができる。
【0147】
また、たとえば図２３に示す変形例では、画像解析装置３００において、教師ラベル画像１２の修正が行われる。そして、学習データ処理部５０側で、学習済みモデル２が作成される。画像解析装置３００側で、新たに撮像された解析用画像１５を、学習データ１０の入力画像１１として、教師ラベル画像１２が作成される。入力画像１１と教師ラベル画像１２とを含む学習データ１０が、学習用データセット１に追加される。画像解析装置３００は、入力画像１１から事前学習済みモデル２ａにより判定用ラベル画像１４を作成し、教師ラベル画像１２との比較を行い、比較結果に基づいて教師ラベル画像１２の修正を行う。画像解析装置３００は、入力画像１１と修正済み教師ラベル画像１２ａとを含む学習データ１０を、ネットワークを介して学習データ処理部５０へ送信する。学習データ処理部５０は、送信された学習データ１０を学習用データセット１に追加して、事前学習済みモデル２ａの再学習を行い、学習済みモデル２を作成（アップデート）する。学習データ処理部５０は、新たに作成された学習済みモデル２を、ネットワークを介して画像解析装置３００に送信する。これにより、画像解析装置３００は、新たに作成された学習済みモデル２を用いてセグメンテーション処理を行うことができる。
【0148】
このように、本発明の教師ラベル画像修正方法および学習済みモデルの作成方法は、それぞれ、いわゆるクラウドサービスなどの形態で、ネットワーク接続された複数のコンピュータの協働により、実施してもよい。
【0149】
また、上記第１実施形態では、教師ラベル画像１２のラベル領域１３の修正を、モルフォロジー処理により行う例を示したが、本発明はこれに限られない。本発明では、モルフォロジー処理以外の方法でラベル領域を修正してもよい。たとえば、未検出または誤検出が所定の閾値よりも多い場合に、教師ラベル画像１２のラベル領域１３を、判定用ラベル画像１４のラベル領域１３によって置き換えてもよい。また、たとえば、修正済み教師ラベル画像１２ａのラベル領域１３の境界が、教師ラベル画像１２のラベル領域１３の境界と、判定用ラベル画像１４のラベル領域１３の境界との中間に位置するように修正してもよい。これらの場合、上記第１実施形態のように、必ずしも未検出評価値２２および誤検出評価値２３を用いる必要はない。
【0150】
また、上記第１実施形態では、未検出評価値２２として上式（１）で示す検出率Ｋを用い、誤検出評価値２３として上式（２）で示す精度Ｇを用いる例を示したが、本発明はこれに限られない。たとえば、検出率Ｋおよび精度Ｇのいずれか一方に代えて、下式（３）に示すＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎａｌ ｏｖｅｒ Ｕｎｉｏｎ）や、下式（４）に示すＦ値を用いてもよい。
ＩｏＵ＝ＴＰ／（ＴＰ＋ＦＮ＋ＦＰ） ・・・（３）
Ｆ値 ＝２Ｋ×Ｇ／（Ｋ＋Ｇ） ・・・（４）
なお、上式（４）におけるＫは、上式（１）に示した検出率であり、Ｇは、上式（２）に示した精度である。
ＩｏＵ＝ＴＰ／（ＴＰ＋ＦＮ＋ＦＰ） ・・・（３）
Ｆ値 ＝２Ｋ×Ｇ／（Ｋ＋Ｇ） ・・・（４）
なお、上式（４）におけるＫは、上式（１）に示した検出率であり、Ｇは、上式（２）に示した精度である。
【0151】
これらのＩｏＵおよびＦ値は、未検出と誤検出との両方を評価する複合的な指標であり、未検出評価値２２および誤検出評価値２３の両方に該当する。ＩｏＵまたはＦ値と、検出率Ｋまたは精度Ｇと組み合わせて用いることにより、未検出と誤検出とを別個に評価することができる。たとえばＩｏＵと検出率Ｋとを用いる場合、Ｋ≒ＩｏＵ＜＜１のときは誤検出が少なく未検出が多いと判断され、１≒Ｋ＞ＩｏＵのときは未検出が少なく誤検出が多いと判断される。
【0152】
なお、上記第１実施形態では、図１１に示した２クラスの混同行列２１を前提として、未検出評価値２２および誤検出評価値２３について説明したが、３クラス以上の多クラスのセグメンテーション処理にも適用可能である。説明は省略するが、３クラス以上の場合も、クラス数に応じた混同行列から、検出率や精度などの未検出評価値および誤検出評価値を求めればよい。
【符号の説明】
【0153】
１ 学習用データセット
２ 学習済みモデルモデル
２ａ 事前学習済みモデルモデル
１０ 学習データ
１１ 入力画像
１２ 教師ラベル画像
１２ａ 修正済み教師ラベル画像（修正された教師ラベル画像）
１３、１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆ、１３ｇ ラベル領域
１４ 判定用ラベル画像
１５ 解析用画像
１６ ラベル画像
１７、１７ａ、１７ｂ 部分画像
２２ 未検出評価値
２３ 誤検出評価値
５１ 判定用画像作成部
５２ 比較部
５３ ラベル修正部
５４ 記憶部
６０ 優先度
１００、２００ 画像解析装置
１２４、２２４ 画像入力部
１２５、２２５ 解析処理部
１２６、２２６ 記憶部
２ 学習済みモデルモデル
２ａ 事前学習済みモデルモデル
１０ 学習データ
１１ 入力画像
１２ 教師ラベル画像
１２ａ 修正済み教師ラベル画像（修正された教師ラベル画像）
１３、１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆ、１３ｇ ラベル領域
１４ 判定用ラベル画像
１５ 解析用画像
１６ ラベル画像
１７、１７ａ、１７ｂ 部分画像
２２ 未検出評価値
２３ 誤検出評価値
５１ 判定用画像作成部
５２ 比較部
５３ ラベル修正部
５４ 記憶部
６０ 優先度
１００、２００ 画像解析装置
１２４、２２４ 画像入力部
１２５、２２５ 解析処理部
１２６、２２６ 記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】