特許 7559284 ニューラルネットワーク更新装置、ニューラルネットワーク更新プログラム及びニューラルネットワーク更新方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-20

(45)【発行日】2024-10-01

(54)【発明の名称】ニューラルネットワーク更新装置、ニューラルネットワーク更新プログラム及びニューラルネットワーク更新方法

(51)【国際特許分類】

   G06N 3/09 20230101AFI20240924BHJP

【ＦＩ】

G06N3/09

【請求項の数】 20

(21)【出願番号】P 2024500822

(86)(22)【出願日】2022-02-17

(86)【国際出願番号】 JP2022006424

(87)【国際公開番号】W WO2023157187

(87)【国際公開日】2023-08-24

【審査請求日】2024-02-14

(73)【特許権者】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】安藤 淳

(72)【発明者】

【氏名】竹内 裕貴

【審査官】今城 朋彬

(56)【参考文献】

【文献】特開２０２０－０５２４７５（ＪＰ，Ａ）

【文献】Binary Classification with a third 'uncertain' class label，Cross Validated [online]，2021年11月11日，all 3 pages，https://stats.stackexchange.com/questions/550633/binary-classification-with-a-third-uncertain-class-label

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

ハードウェアを備えたプロセッサを含み、前記プロセッサは、
複数の訓練データをニューラルネットワークに入力した結果である複数の出力データに対して、
前記訓練データに紐づく複数の正解情報と対比することで、前記出力データごとの損失値を算出し、
前記出力データのうち前記損失値が所定基準に当てはまる該当出力データおよび前記所定基準に当てはまらない非該当出力データを選定し、
前記該当出力データと対比した前記正解情報を加工した加工正解情報を作成し、
前記該当出力データと前記加工正解情報とを対比することで加工後損失値を出力させ、前記加工後損失値を用いて前記ニューラルネットワークを更新するか、または
前記該当出力データに紐づく前記訓練データを加工した加工訓練データを作成し、
前記加工訓練データを前記ニューラルネットワークに入力することで、前記加工訓練データを分類した結果である加工出力データを出力させて、前記該当出力データに紐づく前記正解情報と対比することで加工後損失値を出力させ、前記加工後損失値を用いて前記ニューラルネットワークを更新するニューラルネットワーク更新装置。

【請求項2】

前記ニューラルネットワークの重み係数を変更することで前記ニューラルネットワークを更新する請求項１に記載のニューラルネットワーク更新装置。

【請求項3】

前記加工後損失値に加えて前記非該当出力データに紐づく損失値を用いて前記ニューラルネットワークを更新する請求項１に記載のニューラルネットワーク更新装置。

【請求項4】

前記該当出力データと対比した前記正解情報に認識不適のカテゴリを付与することで前記加工正解情報を作成する請求項１に記載のニューラルネットワーク更新装置。

【請求項5】

前記該当出力データに紐づく前記訓練データに画像処理を加えることで前記加工訓練データを作成する請求項１に記載のニューラルネットワーク更新装置。

【請求項6】

前記画像処理は画像の解像度を下げる処理である請求項５に記載のニューラルネットワーク更新装置。

【請求項7】

前記所定基準は、損失値を大きいものから順に上位所定数内のものを前記該当出力データとする請求項１に記載のニューラルネットワーク更新装置。

【請求項8】

前記所定基準は、損失値を小さいものから順に上位所定数内のものを前記非該当出力データとする請求項１に記載のニューラルネットワーク更新装置。

【請求項9】

前記所定基準は、損失値が所定数以上のものを前記該当出力データとする請求項１に記載のニューラルネットワーク更新装置。

【請求項10】

前記複数の訓練データは、内視鏡が撮像した画像である請求項１に記載のニューラルネットワーク更新装置。

【請求項11】

ニューラルネットワーク更新装置に、
複数の訓練データをニューラルネットワークに入力した結果である複数の出力データに対して、
前記訓練データに紐づく複数の正解情報と対比することで、前記出力データごとの損失値を算出させ、
前記出力データのうち前記損失値が所定基準に当てはまる該当出力データおよび前記所定基準に当てはまらない非該当出力データを選定させ、
前記該当出力データと対比した前記正解情報を加工した加工正解情報を作成させて、前記該当出力データと前記加工正解情報とを対比することで加工後損失値を出力させ、前記加工後損失値を用いて前記ニューラルネットワークを更新するか、または
前記該当出力データに紐づく前記訓練データを加工した加工訓練データを作成させて、前記加工訓練データを前記ニューラルネットワークに入力することで、前記加工訓練データを分類した結果である加工出力データを出力させて、前記該当出力データに紐づく前記正解情報と対比することで加工後損失値を出力させ、前記加工後損失値を用いて前記ニューラルネットワークを更新するニューラルネットワーク更新プログラム。

【請求項12】

前記ニューラルネットワークの重み係数を変更することで前記ニューラルネットワークを更新する請求項１１に記載のニューラルネットワーク更新プログラム。

【請求項13】

前記加工後損失値に加えて前記非該当出力データに紐づく損失値を用いて前記ニューラルネットワークを更新する請求項１１に記載のニューラルネットワーク更新プログラム。

【請求項14】

前記該当出力データと対比した前記正解情報に認識不適のカテゴリを付与することで前記加工正解情報を作成する請求項１１に記載のニューラルネットワーク更新プログラム。

【請求項15】

前記複数の訓練データは、内視鏡が撮像した画像である請求項１１に記載のニューラルネットワーク更新プログラム。

【請求項16】

教師データ取得部、ニューラルネットワーク適用部、および教師データ修正部を含むニューラルネットワーク更新装置によるニューラルネットワーク更新方法であり、
前記教師データ取得部が複数の訓練データと前記訓練データに紐づく複数の正解情報からなる教師データを取得し、
前記ニューラルネットワーク適用部が、複数の訓練データをニューラルネットワークに入力することで、前記訓練データを分類した結果であり、前記訓練データそれぞれに紐づく出力データを出力させ、
前記ニューラルネットワーク適用部が、前記訓練データに紐づく複数の正解情報および前記出力データを対比することで、前記出力データごとの損失値を算出し、
前記ニューラルネットワーク適用部が、前記出力データのうち前記損失値が所定基準に当てはまる該当出力データおよび前記所定基準に当てはまらない非該当出力データを選定し、
前記教師データ修正部が、前記該当出力データと対比した前記正解情報を加工した加工正解情報を作成し、前記ニューラルネットワーク適用部が、前記該当出力データと前記加工正解情報とを対比することで加工後損失値を出力させ、前記ニューラルネットワーク適用部が、前記加工後損失値を用いて前記ニューラルネットワークを更新するか、または
前記教師データ修正部が、前記該当出力データに紐づく前記訓練データを加工した加工訓練データを作成し、前記ニューラルネットワーク適用部が、前記加工訓練データを前記ニューラルネットワークに入力することで、前記加工訓練データを分類した結果である加工出力データを出力させて、前記該当出力データに紐づく前記正解情報と対比することで加工後損失値を出力させ、前記ニューラルネットワーク適用部が、前記加工後損失値を用いて前記ニューラルネットワークを更新するニューラルネットワーク更新方法。

【請求項17】

前記ニューラルネットワークの重み係数を変更することで前記ニューラルネットワークを更新する請求項１６に記載のニューラルネットワーク更新方法。

【請求項18】

前記加工後損失値に加えて前記非該当出力データに紐づく損失値を用いて前記ニューラルネットワークを更新する請求項１６に記載のニューラルネットワーク更新方法。

【請求項19】

前記該当出力データと対比した前記正解情報に認識不適のカテゴリを付与することで前記加工正解情報を作成する請求項１６に記載のニューラルネットワーク更新方法。

【請求項20】

前記複数の訓練データは、内視鏡が撮像した画像である請求項１６に記載のニューラルネットワーク更新方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＩによる判定を行うには不適切な画像を含む教師データを用いて学習を行うニューラルネットワーク更新装置、ニューラルネットワーク更新プログラム及びニューラルネットワーク更新方法に関する。

【背景技術】

【0002】

近年、人間が目視で行っていた判定を、画像データをもとにＡＩ（人工知能）を活用して支援する技術が各分野で発達している。

【0003】

上記ＡＩは訓練データを入力すると、その訓練データに対応する判定結果を出力する関数を構築することで実現される。関数としてニューラルネットワークがよく用いられる。多層のニューラルネットワークを用いたＡＩの学習技術はディープラーニング（Deep Learning）と呼ばれる。ディープラーニングでは、まず、訓練データと、対応する正解情報の組である、大量の教師データを用意する。正解情報はアノテーションによって手動で作成する。ニューラルネットワークは多数の積和演算によって構成されており、乗数は重みと呼ばれる。教師データに含まれる訓練データをニューラルネットワークに入力したときの出力が、対応する正解情報に近づくように重みを調整することで「学習」を行う。学習済みのニューラルネットワークである推論モデルは、未知の入力に対する解を適切に導く「推論」を行えるようになる。

【0004】

ところで、体内の病変部を判定する推論モデルの作成には、教師データの元となる画像として、内視鏡検査画像を採用することができる。

【0005】

しかしながら、内視鏡検査では内視鏡を操作しながら観察を行うため、診断過程を録画した動画にはボケブレ画像または光量不足の暗い画像等の診断に不適切な画像が含まれている。このような不適切画像が含まれる教師データを用いて学習を行うと、作成された推論モデルの推論性能が低下してしまう。そこで、特許文献１においては、学習前に学習データのクレンジングを行う方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０ー３８５１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、通常、教師データは大量に用意されるため事前にクレンジングして不適切画像を抜き出す作業を行う事は手間であった。

【0008】

本発明は、クレンジングの手間を軽減することができるニューラルネットワーク更新装置、ニューラルネットワーク更新プログラム及びニューラルネットワーク更新方法を提供することを目的とする。

【発明の開示】

【課題を解決するための手段】

【0009】

本発明の一態様によるニューラルネットワーク更新装置は、ハードウェアを備えたプロセッサを含み、前記プロセッサは、複数の訓練データをニューラルネットワークに入力した結果である複数の出力データに対して、前記訓練データに紐づく複数の正解情報と対比することで、前記出力データごとの損失値を算出し、前記出力データのうち前記損失値が所定基準に当てはまる該当出力データおよび前記所定基準に当てはまらない非該当出力データを選定し、前記該当出力データと対比した前記正解情報を加工した加工正解情報を作成し、前記該当出力データと前記加工正解情報とを対比することで加工後損失値を出力させ、前記加工後損失値を用いて前記ニューラルネットワークを更新するか、または前記該当出力データに紐づく前記訓練データを加工した加工訓練データを作成し、前記加工訓練データを前記ニューラルネットワークに入力することで、前記加工訓練データを分類した結果である加工出力データを出力させて、前記該当出力データに紐づく前記正解情報と対比することで加工後損失値を出力させ、前記加工後損失値を用いて前記ニューラルネットワークを更新する。

【0010】

本発明の一態様によるニューラルネットワーク更新プログラムは、ニューラルネットワーク更新装置に、複数の訓練データをニューラルネットワークに入力した結果である複数の出力データに対して、前記訓練データに紐づく複数の正解情報と対比することで、前記出力データごとの損失値を算出させ、前記出力データのうち前記損失値が所定基準に当てはまる該当出力データおよび前記所定基準に当てはまらない非該当出力データを選定させ、前記該当出力データと対比した前記正解情報を加工した加工正解情報を作成させて、前記該当出力データと前記加工正解情報とを対比することで加工後損失値を出力させ、前記加工後損失値を用いて前記ニューラルネットワークを更新するか、または前記該当出力データに紐づく前記訓練データを加工した加工訓練データを作成させて、前記加工訓練データを前記ニューラルネットワークに入力することで、前記加工訓練データを分類した結果である加工出力データを出力させて、前記該当出力データに紐づく前記正解情報と対比することで加工後損失値を出力させ、前記加工後損失値を用いて前記ニューラルネットワークを更新する。

【0011】

本発明の一態様によるニューラルネットワーク更新方法は、教師データ取得部、ニューラルネットワーク適用部、および教師データ修正部を含むニューラルネットワーク更新装置によるニューラルネットワーク更新方法であり、前記教師データ取得部が複数の訓練データと前記訓練データに紐づく複数の正解情報からなる教師データを取得し、前記ニューラルネットワーク適用部が、複数の訓練データをニューラルネットワークに入力することで、前記訓練データを分類した結果であり、前記訓練データそれぞれに紐づく出力データを出力させ、前記ニューラルネットワーク適用部が、前記訓練データに紐づく複数の正解情報および前記出力データを対比することで、前記出力データごとの損失値を算出し、前記ニューラルネットワーク適用部が、前記出力データのうち前記損失値が所定基準に当てはまる該当出力データおよび前記所定基準に当てはまらない非該当出力データを選定し、前記教師データ修正部が、前記該当出力データと対比した前記正解情報を加工した加工正解情報を作成し、前記ニューラルネットワーク適用部が、前記該当出力データと前記加工正解情報と対比することで加工後損失値を出力させ、前記ニューラルネットワーク適用部が、前記加工後損失値を用いて前記ニューラルネットワークを更新するか、または前記教師データ修正部が、前記該当出力データに紐づく前記訓練データを加工した加工訓練データを作成し、前記ニューラルネットワーク適用部が、前記加工訓練データを前記ニューラルネットワークに入力することで、前記加工訓練データを分類した結果である加工出力データを出力させて、前記該当出力データに紐づく前記正解情報と対比することで加工後損失値を出力させ、前記ニューラルネットワーク適用部が、前記加工後損失値を用いて前記ニューラルネットワークを更新する。

【発明の効果】

【0012】

本発明によれば、事前のクレンジングを行わず、不適切画像を含んだままの教師データを学習に用いても、推論精度を向上させることができるという効果を有する。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態に係るニューラルネットワーク更新装置を示すブロック図である。

【図2】ニューラルネットワーク更新装置の比較例において、不適切画像を含む教師データを用いた場合に、学習によって得られる推論モデルの推論精度が低下することを説明するための説明図である。

【図3】第１の実施形態の動作を説明するためのフローチャートである。

【図4】第１の実施形態の動作を説明するためのフローチャートである。

【図5】第１の実施形態の動作を説明するための説明図である。

【図6】第１の実施形態の動作を説明するための説明図である。

【図7】第１の実施形態の動作を説明するための説明図である。

【図8】第１の実施形態の動作を説明するための説明図である。

【図9】図２と同様の例について、第１の実施形態の効果を説明するための説明図である。

【図10】本発明の第２の実施形態を示すブロック図である。

【図11】第２の実施形態の動作を説明するためのフローチャートである。

【図12】第２の実施形態の動作を説明するための説明図である。

【図13】第２の実施形態の動作を説明するための説明図である。

【図14】第２の実施形態の動作を説明するための説明図である。

【図15】第２の実施形態の動作を説明するための説明図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施形態について詳細に説明する。

【0015】

（第１の実施形態）
図１は本発明の第１の実施形態に係るニューラルネットワーク更新装置を示すブロック図である。本実施形態においては、ニューラルネットワークの学習に際して、学習損失を算出し、学習損失が所定の閾値よりも高い教師データについては、正解情報を認識不適切（以下、ｕｎｋｎｏｗｎという）に変更することにより、教師データに不適切画像が含まれる場合でも、学習により得られる推論モデルの推論精度を向上させるものである。なお、本実施形態は、教師データとして内視鏡検査画像を用い、病変部認識処理を行うための推論モデルを作成する場合の例について説明するが、他の各種分類を行う推論モデルの作成にも適用できる。

【0016】

図２はニューラルネットワーク更新装置の比較例を説明するための説明図である。先ず、図２を参照して、比較例において、不適切画像を含む教師データを用いた場合に、学習によって得られる推論モデルの推論精度が低下することを説明する。

【0017】

教師データは、学習のための訓練データと、各訓練データに対してアノテーションされた正解情報とを含む。訓練データとしては、例えば、内視鏡検査において病変部を撮像して得られた多数の画像を採用する。図２の例では各訓練データ（画像Ｐ２１～Ｐ２３）は、それぞれ画像中の病変部の種類によって、正解情報として「膵癌」又は「膵炎」が付加されている。なお、画像Ｐ２１，Ｐ２３中の画像部分Ｐ２１ａ，Ｐ２３ａは膵癌である。また、画像Ｐ２２中の画像部分Ｐ２２ｃは膵炎であるが、画像部分Ｐ２２ｃには、ボケブレが生じている。従来であれば画像Ｐ２２は学習前にクレンジングにより取り除いて、学習用には用いられないようにされていた画像である。なお、不適切画像としては、例えば、ピントのずれもしくは手振れにより生じたボケブレ画像、光量不足の暗い画像、または画像中の病変部のサイズが比較的小さい画像等がある。

【0018】

これらの画像Ｐ２１～Ｐ２３は、ニューラルネットワーク２に入力されて学習される。学習の過程において、ニューラルネットワーク２からは分類毎の確率値（以下、スコアという）を出力データとする分類出力が出力される。この分類出力と正解情報との誤差が学習損失として求められ、学習損失を小さくするように、ニューラルネットワーク２のパラメータが更新される。このような学習によって得られたニューラルネットワーク２（推論モデル）に、未知の画像を入力することにより、この入力画像が「膵癌」であるか「膵炎」であるかの分類出力が得られる。

【0019】

なお、分類出力数を増やすことで、ニューラルネットワーク２からは、未知の入力画像が、教師データ作成時のアノテーションによる分類のいずれの分類にも属さないことを示す「ｕｎｋｎｏｗｎ」を示す分類出力が出力されるようにもできる。

【0020】

ところで、訓練データ中に画像Ｐ２２のようにボケブレ等の不適切画像が含まれることがある。このような不適切画像であっても、上述したように、アノテーション時に「膵癌」又は「膵炎」等の何らかの正解情報が付与されることがある。つまり、訓練データの画像には、不適切画像であっても正解情報としてｕｎｋｎｏｗｎが設定されていないことがある。

【0021】

正解情報として「膵癌」が付与されているボケブレ等の不適切画像を入力したときに出力される「膵癌」の分類出力は低い確率値になりやすく学習損失は大きくなるが、その場合に無理に学習損失を小さくするように、すなわち不適切画像にもかかわらず「膵癌」と判定させるようにニューラルネットワークを更新するため、このような学習を繰り返した結果に構築される、ニューラルネットワーク２を用いた推論の推論精度が低下してしまう。

【0022】

そこで、本実施形態においては、学習の過程において、ボケ画像等の訓練データの正解情報をｕｎｋｎｏｗｎに加工することにより、ボケ画像等の訓練データを教師データから除外したことと等価の効果を得るようになっている。

【0023】

図１において、ニューラルネットワーク更新装置は、データメモリ１、ニューラルネットワーク２、学習損失計算部３、正解情報加工部４、学習損失再計算部５、ニューラルネットワーク制御回路（以下NN制御回路）１０により構成される。なお、学習損失計算部３、正解情報加工部４、学習損失再計算部５及びＮＮ制御回路１０の全て又は各々は、ＣＰＵ（Central Processing Unit）またはＦＰＧＡ（Field Programmable Gate Array）等を用いた１つ以上のプロセッサによって構成されていてもよい。この１つ以上のプロセッサは、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。また、ニューラルネットワーク２をハードウェアによって構成してもよく、ニューラルネットワーク２の機能をプログラムによって実現してもよい。

【0024】

データメモリ１は、所定の記憶媒体により構成され、複数の訓練データ及び正解情報を含む教師データを記憶する。上述したように、全ての訓練データには、ｕｎｋｎｏｗｎ以外の分類を示す正解情報が割り当てられている。データメモリ１は、ＮＮ制御回路１０に制御されて、訓練データをニューラルネットワーク２に出力すると共に、正解情報を学習損失計算部３及び正解情報加工部４に出力する。

【0025】

ニューラルネットワーク２は、丸印にて示す複数のノードから成る入力層、中間層(隠れ層)、及び出力層から構成される。各ノードは前後の層のノードと連結しており、連結の１つ１つには重み係数と呼ばれるパラメータが与えられる。学習は、後述する学習損失を最小にするようにパラメータを更新する処理である。ニューラルネットワーク２としては、例えば、コンボリューショナル(畳み込み、Convolutional)ニューラルネットワーク（ＣＮＮ）を採用してもよい。

【0026】

ＮＮ制御回路１０は、入力制御部１１、初期化部１２、ＮＮ適用部１３及び更新部１４により構成される。教師データ取得部としての入力制御部１１は、訓練データ及び正解情報を含む教師データを取得してデータメモリ１に格納すると共に、データメモリ１の訓練データ及び正解情報の出力を制御する。初期化部１２は、ニューラルネットワーク２のパラメータを初期化する。ＮＮ適用部１３は、データメモリ１から読みした訓練データをニューラルネットワーク２に適用して、ニューラルネットワーク２から分類出力を出力させる。更新部１４は、学習損失に基づいて、ニューラルネットワーク２のパラメータを更新する。

【0027】

ニューラルネットワーク２は、ＮＮ制御回路１０に制御されて、入力された画像毎に、各画像がいずれの分類の確率が高いかを示す確率値（スコア）を分類出力として出力する。この分類出力は、学習損失計算部３及び学習損失再計算部５に与えられる。学習損失計算部３は、各分類出力に対応する各画像にそれぞれ割り当てられた正解情報がデータメモリ１から与えられており、各分類出力と各正解情報との誤差を学習損失として求める。上述した図２の比較例では、この学習損失に基づいてニューラルネットワーク２のパラメータを更新している。

【0028】

これに対し、本実施形態においては、学習損失計算部３からの学習損失は、正解情報加工部４（教師データ修正部とも記載する）に供給される。正解情報加工部４は、訓練データに紐づく複数の正解情報と出力データを対比することで、出力データごとの損失値（学習損失）を算出する。そして、正解情報加工部４は、出力データのうち損失値が所定基準に当てはまる該当出力データと、前記所定基準に当てはまらない非該当出力データを選定する。
損失値が所定基準に当てはまるか否かの判断方法としては、例えば、所定の閾値と学習損失とを対比する方法がある。この場合、学習損失が所定の閾値を超えた場合に該当出力データとし、閾値以下の場合に非該当出力データとする。
損失値が所定基準に当てはまるか否かの判断方法としては、例えば、出力データのうち損失値が大きいものから順に所定数内のものを該当出力データとして選定する方法もある。
損失値が所定基準に当てはまるか否かの判断方法としては、例えば、出力データのうち損失値が小さいものから順に所定数内のものを非該当出力データとして選定する方法もある。

【0029】

正解情報加工部４は、損失値が所定基準に当てはまる該当出力データと対比した正解情報を加工する。本実施形態の場合は、正解情報加工部４は、各学習損失に対応する正解情報がデータメモリ１から与えられており、所定の閾値を超えた学習損失、即ち、分類出力と正解情報との誤差が比較的大きい学習損失については、正解情報をｕｎｋｎｏｗｎに加工する。正解情報加工部４は、加工した正解情報（加工正解情報）を学習損失再計算部５に出力する。

【0030】

学習損失再計算部５は、ニューラルネットワーク２から出力された分類出力毎に分類出力と加工正解情報との誤差を学習損失（以下、加工後損失値ともいう）として求め、求めた分類出力毎の学習損失をＮＮ制御回路１０に供給する。なお、加工正解情報を作成した後、該当出力データに紐づく訓練データを前記ニューラルネットワークに入力することで、訓練データを分類した結果である出力データを出力させて、加工正解情報と対比することで加工後損失値を得るようになっていてもよい。

【0031】

ＮＮ制御回路１０の更新部１４は、学習損失再計算部５が求めた学習損失を用いて、ニューラルネットワーク２のパラメータを更新する。例えば、更新部１４は、既存のＳＧＤ（確率的勾配降下法）のアルゴリズムに従って、パラメータの更新を行ってもよい。このＳＧＤにおける更新式は公知であり、学習損失の値をＳＧＤの更新式に代入することで、ニューラルネットワーク２の各パラメータが算出される。

【0032】

ニューラルネットワーク２は、ＮＮ制御回路１０に制御されて、更新されたパラメータにより入力画像を分類する。以後、同様の動作が繰り返されて、学習が行われる。

【0033】

次に、このように構成された実施形態の動作について図３から図９を参照して説明する。図３及び図４は第１の実施形態の動作を説明するためのフローチャートである。図５から図８は第１の実施形態の動作を説明するための説明図である。また、図９は図２と同様の例について、第１の実施形態の効果を説明するための説明図である。

【0034】

図３のＳ１において、ＮＮ制御回路１０の初期化部１２は、ニューラルネットワーク２のパラメータを初期化する。ただし、初期化部１２は必須の構成ではなく、パラメータの初期化は必須の工程ではない。図３では開始後NNの初期化を行っているが本発明はこれに限定されず、例えば、他の学習方法で育てたNNに対して初期化せず本発明を適用することも可能である。ＮＮ制御回路１０の入力制御部１１は、データメモリ１に記憶されている訓練データである画像をニューラルネットワーク２に入力する（Ｓ２）。また、入力制御部１１は、データメモリ１に記憶されている正解情報を学習損失計算部３及び正解情報加工部４に入力する（Ｓ３）。なお、ニューラルネットワークにおいては、多数の画像のうち所定数単位（以下、ミニバッチという）の画像を抽出し、抽出したミニバッチ単位の画像について学習を実施する。このミニバッチの学習をデータ件数分実施して１単位（以下、エポックという）の学習が行われる。例えば、学習において実施されるエポック数は予め決められていることがある。

【0035】

図５の左端は訓練データである４つの画像Ｐ１～Ｐ４からなるミニバッチを示している。このミニバッチ中の画像Ｐ１は、画像Ｐ１中に膵癌の画像部分Ｐ１ａを含む。また、画像Ｐ２及び画像Ｐ３は、それぞれの画像中に膵炎の画像部分Ｐ２ｂ，Ｐ３ｂをそれぞれ含む。また、画像Ｐ４は、膵癌又は膵炎のボケた画像部分Ｐ４αを含む不適切画像である。なお、画像Ｐ１～Ｐ４を区別する必要がない場合には代表して画像Ｐということもある。

【0036】

画像Ｐ１には、画像部分Ｐ１ａが膵癌の画像部分であることを示す正解情報が付与されている。同様に、画像Ｐ２には、画像部分Ｐ２ｂが膵炎の画像部分であることを示す正解情報が付与され、画像Ｐ３には、画像部分Ｐ３ｂが膵炎の画像部分であることを示す正解情報が付与されている。また、画像Ｐ４には、画像部分Ｐ４αが膵癌又は膵炎の画像部分であることを示す正解情報が付与されている。

【0037】

図５の下側には正解情報の一例を示してある。図５は画像Ｐ１～Ｐ４についてそれぞれ設定された正解情報ＡＰ１～ＡＰ４を示している。なお、正解情報ＡＰ１～ＡＰ４を区別する必要がない場合には代表して正解情報ＡＰということもある。正解情報ＡＰは、画像Ｐを５×４の領域に分割し、各領域が膵癌、膵炎又はｕｎｋｎｏｗｎのいずれに該当するかの確率 を示している。

【0038】

例えば、正解情報ＡＰ１は、膵癌である確率は、画像Ｐ１の画像部分Ｐ１ａに対応する領域が１（太枠部）で、他の領域は０である。また、正解情報ＡＰ１は、膵炎であるスコア及びｕｎｋｎｏｗｎである確率のいずれも、全領域について０である。また、正解情報ＡＰ２は、膵炎である確率が、画像Ｐ２の画像部分Ｐ２ｂに対応する領域で１（太枠部）であり、他の領域は０である。また、正解情報ＡＰ２は、膵癌である確率及びｕｎｋｎｏｗｎである確率のいずれも、全領域について０である。また、正解情報ＡＰ３は、膵炎である確率が、画像Ｐ３の画像部分Ｐ３ｂに対応する領域で１（太枠部）であり、他の領域は０である。また、正解情報ＡＰ３は、膵癌である確率及びｕｎｋｎｏｗｎである確率のいずれも、全領域について０である。また、また、正解情報ＡＰ４は、膵癌である確率が、画像Ｐ４の画像部分Ｐ４αに対応する領域が１（太枠部）であり、他の領域は０である。また、正解情報ＡＰ４は、膵炎である確率及びｕｎｋｎｏｗｎである確率のいずれも、全領域について０である。

【0039】

このように、図５の例では、ｕｎｋｎｏｗｎとする正解情報は含まれておらず、画像Ｐ４の画像部分Ｐ４αについては、ｕｎｋｎｏｗｎとする正解情報が好ましいと考えられるが、この画像部分Ｐ４αについても、膵癌とする正解情報が設定されている。

【0040】

ＮＮ適用部１３は、このようなミニバッチをニューラルネットワーク２に適用する（Ｓ４）。これにより、ニューラルネットワーク２は図５の上段中央に示す分類出力を出力する。図５の例は、画像Ｐの５×４の領域毎に、膵癌であるスコア（膵癌スコア）、膵炎であるスコア（膵炎スコア）及びｕｎｋｎｏｗｎであるスコア（ｕｎｋｎｏｗｎスコア）を示している。図５の出力Ｃ１～Ｃ４は、それぞれ画像Ｐ１～Ｐ４についてのニューラルネットワーク２の分類出力を示している。

【0041】

図５の出力Ｃ１に示すように、画像Ｐ１については、画像部分Ｐ１ａの領域についての膵癌のスコアが最も高い０．９（太枠部）であることを示している。なお、画像Ｐ１の他の領域についてのスコアは比較的小さく、０．９の値は比較的突出した値である。また、出力Ｃ２に示すように、画像Ｐ２については、画像部分Ｐ２ｂの領域についての膵炎のスコアが最も高い０．８（太枠部）であることを示している。また、画像Ｐ２の他の領域についてのスコアは比較的小さく、０．８の値は比較的突出した値である。また、出力Ｃ３に示すように、画像Ｐ３については、画像部分Ｐ３ｂの領域についての膵炎のスコアが最も高い０．８（太枠部）であることを示している。また、画像Ｐ３の他の領域についてのスコアは比較的小さく、０．８の値は比較的突出した値である。

【0042】

これに対し、出力Ｃ４に示すように、画像Ｐ４の画像部分Ｐ４αの領域については、膵癌のスコアが０．１（太枠部）、膵炎のスコアが０．３（太枠部）、ｕｎｋｎｏｗｎのスコアが０．３（太枠部）である。即ち、画像Ｐ４については、ボケが生じている不適切画像であることから、ニューラルネットワーク２においては正解情報に示された膵癌とする分類が困難であったことを示す。

【0043】

ニューラルネットワーク２の分類出力は学習損失計算部３に与えられて学習損失が算出される（Ｓ５）。図５の右端は、各画像Ｐ１～Ｐ４に対する学習損失の値を示している。図５に示すように、画像Ｐ１～Ｐ３については、膵癌又は膵炎のスコアが比較的高く、学習損失は０．１又は０．２であり比較的小さい。これに対し、画像Ｐ４の画像部分Ｐ４αは、ボケ画像であるにも拘わらず、正解情報が膵癌となっていることから、膵癌のスコアが比較的低く、学習損失は比較的大きい（０．９）。学習損失計算部３は、算出した学習損失を正解情報加工部４に出力する。

【0044】

本実施形態においては、正解情報加工部４は、Ｓ６において、学習損失が閾値を超えたか否かを判定する。例えば、閾値が０．８であるものとすると、図５の例では、画像Ｐ４に対する学習損失が閾値を超えている。正解情報加工部４は、学習損失が閾値を超えたものと判定すると（図３のＳ６のＹＥＳ判定）、画像Ｐについての正解情報をｕｎｋｎｏｗｎに加工する（Ｓ７）。図６はこの加工を示しており、画像Ｐ４についての正解情報ＡＰ４については、画像部分Ｐ４αの確率が、変更前は膵癌正解が１（太枠部）であったのに対し、変更後は、膵癌正解は０（太枠部）で、ｕｎｋｎｏｗｎが１（太枠部）となっている。なお、学習損失計算部３において求めた学習損失が所定の閾値を超えていない場合（Ｓ６のＮＯ判定）には、処理はＳ９に移行する。

【0045】

正解情報加工部４は加工後の加工正解情報を学習損失再計算部５に出力する。学習損失再計算部５には、ニューラルネットワーク２からの分類出力も与えられており、学習損失再計算部５は、加工正解情報を用いてニューラルネットワーク２からの分類出力の学習損失を再計算する（Ｓ８）。

【0046】

図７はこの学習損失再計算によって得られる学習損失を示している。図７の例では、画像Ｐ４の画像部分Ｐ４αは、正解情報がｕｎｋｎｏｗｎに変更されたことから、学習損失は比較的小さい値（０．７）に変化する。学習損失再計算部５は、算出した学習損失をニューラルネットワーク２に出力する。図８に示すように、ニューラルネットワーク２の更新部１４は、例えばＳＧＤ法により、入力された学習損失に基づいてニューラルネットワーク２のパラメータを更新する（Ｓ９）。

【0047】

次に、ＮＮ適用部１３は、学習の終了条件を満たすか否かを判定する（Ｓ１０）。上述したように、ミニバッチの訓練データを抽出して学習を行う処理をデータ件数分繰り返し、規定されたエポック数に到達するまで学習が行われる。ＮＮ適用部１３は、規定のエポック数に到達したか否かを判断し、到達していない場合（Ｓ１０のＮＯ判定）には、処理をＳ２に戻してＳ２～Ｓ１０を繰り返す。また、ＮＮ適用部１３は、規定のエポック数に到達した場合（Ｓ１０のＹＥＳ判定）には、処理を終了する。

【0048】

学習が終了すると、テストが実施される。図４はこのテスト時のフローを示している。図４のＳ１１ではテスト画像が入力される。テスト画像は、未知の画像である。ＮＮ適用部１３は、データメモリ１に記憶されたテスト画像をニューラルネットワーク２に適用する（Ｓ１２）。この結果、ニューラルネットワーク２からは認識結果である分類出力が得られる（Ｓ１３）。図４のテストを実施し、分類出力として妥当の出力が得られた場合には、テストは成功となる。逆に、分類出力として妥当の出力が得られなかった場合には、テストは失敗となる。この場合には、例えば、教師データを変更して、再度学習が行われる。

【0049】

図９は図４のテスト成功時において、図２と同様の訓練データＰ２１～Ｐ２３を用いて推論を行った場合に得られる分類出力の例を示している。 本実施形態では、図９に示すように、Ｐ２２については、ｕｎｋｎｏｗｎの分類出力が得られる。

【0050】

このように本実施形態においては、ニューラルネットワークの学習に際して、学習損失を算出し、学習損失が所定の閾値よりも高い教師データについては、正解情報をｕｎｋｎｏｗｎに変更することにより、教師データに不適切画像が含まれる場合でも、推論モデルの推論精度を向上させることができる。従って、教師データの作成時に、不適切画像を除去する作業を行う必要がなく、ニューラルネットワークの推論精度を低下させることなく、アノテーション作業を効率化することが可能である。

【0051】

（第２の実施形態）
図１０は本発明の第２の実施形態を示すブロック図である。図１０において図１と同一の構成要素には同一符号を付して説明を省略する。

【0052】

第１の実施形態においては、学習損失が所定基準に当てはまる画像に対応する正解情報を加工して、不適切画像がｕｎｋｎｏｗｎに分類されるように学習を行うことで、ニューラルネットワークの推論精度を向上させた。これに対し、本実施形態は、学習損失が所定基準に当てはまる画像については、画像が確実に不適切画像に分類されるように画像を加工することで、ニューラルネットワークの推論精度を向上させるものである。以下、所定基準として閾値を用いる場合を例示するが本実施形態もこれに限定されない。

【0053】

第２の実施形態は、学習損失再計算部５を省略すると共に、正解情報加工部４に代えて画像加工部９を採用した点が図１のニューラルネットワーク更新装置と異なる。教師データ修正部としての画像加工部９は、学習損失計算部３からの学習損失（損失値）を所定の閾値と比較することにより、学習損失が所定の閾値を超えたか否かを判定する。即ち、画像加工部９は、出力データのうち損失値が所定基準に当てはまる、即ち、学習損失が所定の閾値を超えた該当出力データと、前記所定基準に当てはまらない非該当出力データ（学習損失が所定の閾値以下）を選定する。なお、画像加工部９は、出力データのうち損失値が大きいものから順に所定数内のものを該当出力データとして選定してもよい。

【0054】

正解情報加工部４は、所定の閾値を超えた学習損失、即ち、損失値が所定基準に当てはまる該当出力データと対比した訓練データを加工する。具体的には、画像加工部９は、各学習損失に対応する画像がデータメモリ１から与えられており、所定の閾値を超えた学習損失、即ち、分類出力と正解情報との誤差が比較的大きい学習損失については、当該学習損失に対応する画像をｕｎｋｎｏｗｎと分類されやすい画像に加工する。例えば、画像加工部９は、所定の閾値を超えた学習損失に対応する画像についてはボケ加工を施してもよい。また、例えば、画像加工部９は、画像の輝度を低下させる画像加工、画像の解像度を低下させる画像加工、画像中の病変部のサイズを食傷する画像加工等を実施するようにしてもよい。画像加工部９の画像加工によって得られた加工画像情報（加工訓練データ）は、データメモリ１に与えられて、元の画像に代えて保存される。

【0055】

次に、このように構成された実施形態の動作について図１１から図１５を参照して説明する。図１１は第２の実施形態の動作を説明するためのフローチャートである。図１１において図３と同一の手順には同一符号を付して説明を省略する。図１２から図１５は第２の実施形態の動作を説明するための説明図である。

【0056】

図１１のＳ１～Ｓ５の処理は図５と同様である。図１２は図５と同様の表記方法によって学習処理を示すものであり、図１２の左端は訓練データである４つの画像Ｐ１，Ｐ２，Ｐ３，およびＰ４ａからなるミニバッチを示している。画像Ｐ１～Ｐ３は、図５の画像Ｐ１～Ｐ３と同一の画像である。画像Ｐ４ａは、膵炎のボケた画像部分Ｐ４βを含む不適切画像である。なお、画像Ｐ１～Ｐ４ａを区別する必要がない場合には代表して画像Ｐということもある。図１２の下側には図５と同様の表記によって画像Ｐ１，Ｐ２，Ｐ３，およびＰ４ａの正解情報ＡＰ１～ＡＰ４の一例を示してある。画像Ｐ１～Ｐ３についての正解情報ＡＰ１～ＡＰ３は、図５と同様である。本実施形態においては、画像Ｐ４ａに対応する正解情報ＡＰ４は、画像Ｐ４ａが不適切画像であることから、太枠部に示すように、ボケた画像部分Ｐ４βに対応する領域が予めｕｎｋｎｏｗｎに設定されている。

【0057】

ＮＮ適用部１３は、このようなミニバッチをニューラルネットワーク２に適用する（Ｓ４）。これにより、ニューラルネットワーク２は図１２の上段中央に示す分類出力を出力する。図１２の出力Ｃ１～Ｃ４は、それぞれ画像Ｐ１，Ｐ２，Ｐ３，およびＰ４ａについてのニューラルネットワーク２の分類出力を示している。図１２の出力Ｃ１～Ｃ３は、図５と同様のスコアである。

【0058】

画像Ｐ４ａに対応する出力Ｃ４は、画像Ｐ４ａの画像部分Ｐ４βの領域については、膵癌のスコアが０．２（太枠部）、膵炎のスコアが０．６（太枠部）、ｕｎｋｎｏｗｎのスコアが０．２（太枠部）である。即ち、画像Ｐ４ａについては、ボケが生じている不適切画像であるが、ニューラルネットワーク２においては膵炎とする分類確率が比較的高くなってしまったことを示す。

【0059】

ニューラルネットワーク２の分類出力は学習損失計算部３に与えられて学習損失が算出される（Ｓ５）。図１２の右端では、各画像Ｐ１，Ｐ２，Ｐ３，およびＰ４ａに対する学習損失の値を示している。図１２に示すように、画像Ｐ１～Ｐ３については、膵癌又は膵炎の確率が比較的高く、学習損失は０．１又は０．２であり比較的小さい。これに対し、画像Ｐ４ａについての学習損失は比較的大きい（０．８）。

【0060】

このように、図１２の例では、アノテーションの段階で予めｕｎｋｎｏｗｎとする正解情報も含まれている。しかし、ボケた画像部分Ｐ４ａは、元々膵炎のボケ画像であることから、膵炎のスコアが比較的大きく正解情報であるｕｎｋｎｏｗｎとの誤差（学習損失）が比較的大きくなる。従って、このような学習損失に基づいてニューラルネットワーク２のパラメータを更新して学習を行うと、ニューラルネットワーク２の推論精度が低下することが考えられる。

【0061】

そこで、本実施形態においては、不適切画像については、確実にｕｎｋｎｏｗｎに分類されるように、入力される画像を加工する。画像加工部９には、学習損失計算部３からの学習損失とデータメモリ１からの画像とが与えられる。学習損失計算部３は、Ｓ６において、学習損失が閾値を超えたか否かを判定する。例えば、閾値が０．７であるものとすると、図１２の例では、画像Ｐ４ａに対する学習損失が閾値を超えている。画像加工部９は、学習損失が閾値を超えたものと判定すると（図１１のＳ６のＹＥＳ判定）、画像Ｐ４ａに対して、確実にｕｎｋｎｏｗｎと判定されるような画像加工を施す（Ｓ２７）。画像加工部９は、公知の各種画像処理によって、ｕｎｋｎｏｗｎと判定される画像加工を施すことが可能である。例えば、画像加工部９は、画像の各領域を平均化する平均化フィルタを用いて、より確実なボケ画像を生成してもよい。或いは、画像加工部９は、画像Ｐ４ａの解像度や輝度を低下させる処理を行ってもよい。画像加工部９は、画像加工後の加工画像の情報を元の画像に代えてデータメモリ１に格納する（Ｓ２８）。

【0062】

図１３はこの画像加工によって得られたミニバッチを示している。図１３はハッチングにより、画像Ｐ４ａはボケ加工が施された画像Ｐ４ａｂに変更され、膵炎の領域はよりボケた画像部分Ｐ４βｂとなっていることを示している。なお、図１３では、画像Ｐ４ａの全域に画像加工を行った例を示しているが、画像部分Ｐ４βのみに画像加工を行ってもよい。ニューラルネットワーク２の更新部１４は、例えばＳＧＤ法により、入力された学習損失に基づいてニューラルネットワーク２のパラメータを更新する（Ｓ９）。終了条件を満足していない場合（Ｓ１０のＮＯ判定）には、更新されたパラメータ及び変更されたミニバッチを用いて、ニューラルネットワーク２が適用される。

【0063】

図１４は図１２と同様の表記方法によってこの場合に得られる分類出力（加工出力データ）を示している。図１４の上段中央に示すように、太枠にて示す出力Ｃ４が前回の分類出力から変化し、画像Ｐ４ａｂについてはｕｎｋｎｏｗｎスコアが最も大きい値（０．８）となっている。これにより、画像Ｐ４ａｂについての分類出力の学習損失（加工後損失値）は、十分に小さい値（０．２）となる。図１５に示すように、更新部１４は、このようにして得られた十分に小さい学習損失に基づいてニューラルネットワーク２のパラメータを更新することにより、学習の結果最終的に得られるニューラルネットワーク２は高い推論精度が得られる。

【0064】

（変形例１）
上述の各実施形態では病変部の種類を識別する場合を例に挙げたが本発明はこれに限定されない。本発明はニューラルネットワーク２に観察対象の臓器の種類を識別させるためのものであってもよいし、病変の進行度を識別させるものであってもよいし、病変の浸潤度を識別させるものであってもよいし、過去の処置の有無を識別させるものであってもよいし、血管領域を推測させるものであってもよいし、病変部のサイズを推測させるものであってもよい。
上述の過去の処置としては、例えばピロリ菌の除去を例に挙げる事ができる。

【0065】

（変形例２）
上述の各実施形態では膵癌と鑑定された画像情報および膵炎と鑑定された画像情報を全て合わせた上で損失値が所定基準に当てはまるか否かの判断を行っているが、本発明はこれに限定されない。

【0066】

例えば、出力データのうち損失値が大きいものから順に所定数内のものを該当出力データとして選定する場合、膵癌と鑑定された画像情報と、膵炎と鑑定された画像情報とをそれぞれに対して損失値が所定基準に当てはまるか否かの判断を行ってもよい。

【0067】

また、出力データのうち損失値が小さいものから順に所定数内のものを非該当出力データとして選定する場合、膵癌と鑑定された画像情報と、膵炎と鑑定された画像情報とをそれぞれに対して損失値が所定基準に当てはまるか否かの判断を行ってもよい。

【0068】

さらに変形例２は鑑定対象を変形例１と組わせても良い。例えば、咽頭と鑑定された画像情報、食道と鑑定された画像情報、および胃と鑑定された画像情報のそれぞれに対して損失値が小さいものから順に５枚分の画像情報を非該当出力データとして選定して残りを該当出力データとしてもよい。この様にすることで、咽頭、食道、および胃といった各カテゴリにおける画像情報量を均一にすることができ、分類性能の低下を抑える事ができるという利点がある。

【0069】

このように本実施形態においては、ニューラルネットワークの学習に際して、学習損失を算出し、学習損失が所定の閾値よりも高い教師データについては、当該学習損失に対応する画像を加工することにより、教師データに不適切画像が含まれる場合でも、推論モデルの推論精度を向上させることができる。従って、教師データの作成時に、不適切画像を除去する作業を行う必要がなく、ニューラルネットワークの推論精度を低下させることなく、アノテーション作業を効率化することが可能である。

【0070】

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【0071】

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態のニューラルネットワーク更新装置を実現することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】