特許 6976360 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6976360

(24)【登録日】2021年11月11日

(45)【発行日】2021年12月8日

(54)【発明の名称】データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20211125BHJP

   G06N 3/08 20060101ALI20211125BHJP

【ＦＩ】

   G06N20/00 130

   G06N3/08

【請求項の数】25

【全頁数】34

(21)【出願番号】特願2019-568932(P2019-568932)

(86)(22)【出願日】2018年12月19日

(86)【国際出願番号】JP2018046747

(87)【国際公開番号】WO2019150813

(87)【国際公開日】20190808

【審査請求日】2020年7月22日

(31)【優先権主張番号】特願2018-13764(P2018-13764)

(32)【優先日】2018年1月30日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】臼田 稔宏

【審査官】 北川 純次

(56)【参考文献】

【文献】 特許第５９５３３８４（ＪＰ，Ｂ１）

【文献】 特開２００５−０４９９６８（ＪＰ，Ａ）

【文献】 特開２０１５−２３０５７０（ＪＰ，Ａ）

【文献】 特開２００２−３４５８６２（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１５８０５８（ＷＯ，Ａ１）

【文献】 野里 博和 等，画像認識技術を用いた大腸内視鏡画像の客観的評価手法，情報処理学会研究報告，日本，一般社団法人情報処理学会，2013年02月15日，第2012-MPS-91 巻,第31 号，1−6頁

【文献】 二村 幸孝 等，画像および呼吸機能検査情報に基づく多クラス分類器を利用した肺気腫重症度定量評価に関する検討，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，2010年07月02日，第110 巻，第121 号，57−62頁

【文献】 成川 弘樹 等，知識ベースを利用した教師あり薬物間相互作用抽出の改善，言語処理学会第２０回年次大会 発表論文集，日本，言語処理学会，2014年03月10日，９９５−９９８頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

処理の対象とするデータを取得するデータ取得部と、
学習データセットを用いて学習させた認識部であって、前記データ取得部を介して取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識部と、
前記認識部の前記認識結果をユーザからの指示に従って修正する認識結果修正部と、
前記認識結果修正部によって前記認識結果が修正された前記データを用いて、前記認識部の学習を行う機械学習部と、
を備え、
前記機械学習部は、前記学習データセットに含まれる学習データからの前記認識部の学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識部の学習を行うデータ処理装置。

【請求項2】

前記データ取得部が取得する前記データは画像であり、
前記認識部が画像認識のタスクを行う画像認識部である画像処理装置として用いられる請求項１に記載のデータ処理装置。

【請求項3】

前記画像は医療画像である請求項２に記載のデータ処理装置。

【請求項4】

前記認識部及び前記機械学習部の各々は、畳み込みニューラルネットワークを用いて構成される請求項１から３のいずれか一項に記載のデータ処理装置。

【請求項5】

前記認識結果修正部によって前記認識結果が修正された前記データと、前記データに対応する教師信号とを含む学習データを保存する学習データ保存部を備える請求項１から４のいずれか一項に記載のデータ処理装置。

【請求項6】

前記学習データ保存部に保存される前記学習データには、学習に用いる際の前記寄与の度合いを示す寄与度情報が付与される請求項５に記載のデータ処理装置。

【請求項7】

前記学習データ保存部には、前記認識部の学習に使用した前記学習データセットが保存される請求項５又は６に記載のデータ処理装置。

【請求項8】

前記機械学習部は、前記認識部の認識結果を示す認識結果信号と教師信号との誤差を評価して、前記誤差に基づいて前記認識部のパラメータを更新する請求項１から７のいずれか一項に記載のデータ処理装置。

【請求項9】

前記寄与の度合いは、前記誤差に乗じる誤差重み係数で表される請求項８に記載のデータ処理装置。

【請求項10】

前記寄与の度合いは、前記学習データを学習に使用する回数で表される請求項１から８のいずれか一項に記載のデータ処理装置。

【請求項11】

前記認識結果修正部によって前記認識結果が修正された前記データについて学習に用いる際の前記寄与の度合いを設定する寄与度合い設定部を備える請求項１から１０のいずれか一項に記載のデータ処理装置。

【請求項12】

前記寄与度合い設定部は、前記ユーザからの指示に基づく前記認識結果修正部による修正結果のカテゴリに応じて、前記寄与の度合いを設定する請求項１１に記載のデータ処理装置。

【請求項13】

前記寄与度合い設定部は、前記ユーザからの入力に応じて前記寄与の度合いを可変設定する請求項１１に記載のデータ処理装置。

【請求項14】

前記認識結果修正部は、前記認識結果を修正した前記データの深刻度及び希少度のうち少なくとも一方を示す情報の入力を受け付け、
前記寄与度合い設定部は、前記認識結果修正部を介して入力された前記深刻度及び前記希少度のうち少なくとも一方に応じて前記寄与の度合いを段階的に設定する請求項１３に記載のデータ処理装置。

【請求項15】

処理の対象とするデータを取得するデータ取得部と、
学習データセットを用いて学習させた認識部であって、前記データ取得部を介して取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識部と、
前記認識部の前記認識結果をユーザからの指示に従って修正する認識結果修正部と、
を備え、
前記認識結果修正部は、前記認識結果を修正した前記データと、前記データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、前記認識結果を修正した前記データに対して、前記認識結果を修正したことを示す修正情報を生成する認識装置であって、
前記認識部は、前記生成された前記学習データを用いて機械学習が行われることによって生成された学習済みパラメータが適用される認識モデルを含み、
前記機械学習において、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習が行われる、
認識装置。

【請求項16】

前記認識結果修正部は、前記認識結果を修正した前記データを学習に用いる際の前記認識部の学習に対する寄与の度合いを示す寄与度情報を生成する請求項１５に記載の認識装置。

【請求項17】

前記認識結果修正部によって生成された前記学習データ及び前記修正情報を保存する学習データ保存部を含む請求項１５又は１６に記載の認識装置。

【請求項18】

請求項１５又は１６に記載の認識装置によって生成された前記学習データ及び前記修正情報が保存された学習データ保存装置。

【請求項19】

前記認識結果を修正した前記データと、
前記認識結果を修正した前記データに対応する前記教師信号と、
前記認識結果を修正した前記データを学習に用いる際の前記認識部の学習に対する寄与の度合いを示す寄与度情報と、
を含むデータ構造を有する前記学習データの集合体が記憶されている請求項１８に記載の学習データ保存装置。

【請求項20】

前記データ構造は、さらに、病変の深刻度、及び、症例の希少度のうち少なくとも一方の情報を含む請求項１９に記載の学習データ保存装置。

【請求項21】

処理の対象とするデータを取得するデータ取得部と、
学習データセットを用いて学習させた認識部であって、前記データ取得部を介して取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識部と、
前記認識部の前記認識結果をユーザからの指示に従って修正する認識結果修正部と、
を備え、
前記認識結果修正部は、前記認識結果を修正した前記データと、前記データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、前記認識結果を修正した前記データに対して、前記認識結果を修正したことを示す修正情報を生成する認識装置によって生成された前記学習データを用いて、認識モデルのパラメータを生成する機械学習装置であって、
前記機械学習装置は、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習を行う機械学習装置。

【請求項22】

データ処理装置が実行するデータ処理方法であって、
処理の対象とするデータを取得するデータ取得ステップと、
学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、前記データ取得ステップにより取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識ステップと、
前記認識ステップの前記認識結果をユーザからの指示に従って修正する認識結果修正ステップと、
前記認識結果修正ステップによって前記認識結果が修正された前記データを用いて、前記認識モデルの学習を行う機械学習ステップと、
を含み、
前記機械学習ステップは、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習を行うデータ処理方法。

【請求項23】

コンピュータに、
処理の対象とするデータを取得するデータ取得ステップと、
学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、前記データ取得ステップにより取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識ステップと、
前記認識ステップの前記認識結果をユーザからの指示に従って修正する認識結果修正ステップと、
前記認識結果修正ステップによって前記認識結果が修正された前記データを用いて、前記認識モデルの学習を行う機械学習ステップと、
を実行させるプログラムであって、
前記機械学習ステップは、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習を行うプログラム。

【請求項24】

非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
処理の対象とするデータを取得するデータ取得ステップと、
学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、前記データ取得ステップにより取得された前記データの入力を受けて、前記データに対する認識結果を出力する認識ステップと、
前記認識ステップの前記認識結果をユーザからの指示に従って修正する認識結果修正ステップと、
前記認識結果修正ステップによって前記認識結果が修正された前記データを用いて、前記認識モデルの学習を行う機械学習ステップと、
をコンピュータに実行させ、
前記機械学習ステップは、前記学習データセットに含まれる学習データからの前記認識モデルの学習に対する寄与の度合いに比べて、前記認識結果が修正された前記データからの学習への寄与の度合いを大きくして、前記認識モデルの学習を行う、
記録媒体。

【請求項25】

請求項１５に記載の認識装置であって、
前記機械学習を実行する機械学習装置から前記学習済みパラメータを受信する通信インターフェース部を備え、
前記受信した前記学習済みパラメータによって前記認識モデルが更新される、
認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラムに係り、機械学習を用いた認識処理技術に関する。

【背景技術】

【0002】

医療現場において、内視鏡診断、超音波診断、Ｘ線画像診断、ＣＴ（Computerized Tomography）画像診断など医療画像診断の重要性は高い。医療画像診断の自動化には機械学習を活用した画像認識手法が用いられている。特許文献１には、胸部Ｘ線画像などの放射線画像から腫瘍等の異常陰影を認識する放射線画像処理装置が開示されている。特許文献１に記載の放射線画像処理装置は、実装済みのニューラルネットワークによるデータ処理を修正するための再学習を行う構成を備えており、認識結果が不適切である場合は、その画像を用いて再学習を行う。

【0003】

特許文献２に記載の医用画像診断装置は、パターン認識機構の各ユニット間のノードの重み係数を変更する学習機構を備えている。特許文献３に記載の学習方法は、複数の特徴抽出器を用意し、それらの特徴抽出器を用いて注目領域と非注目領域から特徴量を算出し、算出された特徴量に重み付けをして、画像分類の学習を行う。「医用画像」は「医療画像」と同義である。

【0004】

特許文献４に記載の学習装置は、階層型ニューラルネットワークの重みパラメータを複数用意し、誤差が最も小さくなる重みを採用して学習する。特許文献５に記載の学習装置は、出力層の正解不正解を判定し、不正解の場合は出力層応答関数微分係数正規化べき乗値を算出する。そして、誤差逆伝播の際、出力層応答関数微分係数正規化べき乗値によって補正された応答関数の導関数を用いて学習する。「学習装置」という用語は本明細書でいう「機械学習装置」に対応する用語と理解される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平３−１０２４７７号公報

【特許文献2】特開平４−９００７６号公報

【特許文献3】特開２０１７−１６２０９８号公報

【特許文献4】特開２０１６−６６１７号公報

【特許文献5】特開２００５−３３９３２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

医療分野においては、認識が難しい症例が存在し、その認識困難な対象は多くの場合、症例件数等の少ないレアケースである。一方、機械学習によって病変等を認識する研究が行われており、例えば、病変を「癌性」又は「非癌性」に分類する技術が考えられる。

【0007】

しかし、病変がレアケースの場合はサンプル数（データ数）が少なく、機械学習において十分に学習できない可能性がある。

【0008】

本発明はこのような事情に鑑みてなされたもので、レアケースのデータに対する認識精度を向上させることができるデータ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

課題を解決するために、次の発明態様を提供する。

【0010】

態様１に係るデータ処理装置は、処理の対象とするデータを取得するデータ取得部と、学習データセットを用いて学習させた認識部であって、データ取得部を介して取得されたデータの入力を受けて、データに対する認識結果を出力する認識部と、認識部の認識結果をユーザからの指示に従って修正する認識結果修正部と、認識結果修正部によって認識結果が修正されたデータを用いて、認識部の学習を行う機械学習部と、を備え、機械学習部は、学習データセットに含まれる学習データからの認識部の学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識部の学習を行うデータ処理装置である。

【0011】

認識部の認識結果に対してユーザが修正を加えるデータは、認識部における認識性能が十分でないレアケースのデータである可能性が高い。態様１によれば、ユーザからの指示により認識結果が修正されたデータを用いて、認識部の認識性能を改善する追加の学習が行われる。その際、事前の学習に用いられた学習データセットの学習データに比べて、認識結果が修正されたデータからの寄与の度合いが相対的に大きくなるよう「重み付け」がなされる。これにより、事前の学習だけでは十分な認識精度が得られていないレアケースのデータに対する認識部の認識性能が重点的に改善され、レアケースのデータに対する認識精度が向上する。

【0012】

データ処理装置は、単一の装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、データ処理装置は、１台又は複数台のコンピュータを用いて実現し得る。「装置」は「システム」の概念を含む。「データ」は「信号」及び「情報」の概念を含む。「認識」という用語は、識別、判別、推論、推定、検出、及び領域抽出などの概念を含む。

【0013】

態様２は、態様１のデータ処理装置において、データ取得部が取得するデータは画像であり、認識部が画像認識のタスクを行う画像認識部である画像処理装置として用いられるデータ処理装置である。

【0014】

「画像」という用語は「画像データ」の意味を含む。画像認識のタスクには、例えば、画像分類、特定領域の抽出、セグメンテーション、若しくは、対象物の特徴の抽出、又はこれらの適宜の組み合わせなど、様々なタクスがあり得る。「抽出」という用語は、「検出」の概念を含む。

【0015】

態様３は、態様２のデータ処理装置において、画像は医療画像であるデータ処理装置である。態様３のデータ処理装置は、医療画像処理装置として用いられる。

【0016】

「医療画像」には、内視鏡画像、ＣＴ画像、Ｘ線画像、超音波診断画像、ＭＲＩ（Magnetic Resonance Imaging）画像、ＰＥＴ(Positron Emission Tomography)画像、ＳＰＥＣＴ(Single Photon Emission Computed Tomography）画像、又は、眼底画像など、様々な種類の画像があり得る。

【0017】

態様４は、態様１から態様３のいずれか一態様のデータ処理装置において、認識部及び機械学習部の各々は、畳み込みニューラルネットワークを用いて構成されるデータ処理装置である。

【0018】

態様５は、態様１から態様４のいずれか一態様のデータ処理装置において、認識結果修正部によって認識結果が修正されたデータと、データに対応する教師信号とを含む学習データを保存する学習データ保存部を備えるデータ処理装置である。

【0019】

「保存する」とは、記憶装置に「記憶する」ことを含意する。態様５によれば、レアケースのデータを収集して、学習データとして蓄積することができる。これにより、レアケースの認識性能の向上に有益な学習データセットを得ることができる。

【0020】

態様６は、態様５のデータ処理装置において、学習データ保存部に保存される学習データには、学習に用いる際の寄与の度合いを示す寄与度情報が付与されるデータ処理装置である。

【0021】

学習データ保存部は、学習データごとに、その学習データが学習に用いる際の寄与の度合いを示す寄与度情報を関連付けて、寄与度情報と共に学習データを記憶しておくことが好ましい。情報の「関連付け」は「紐付け」とも表現される。

【0022】

態様７は、態様５又は態様６のデータ処理装置において、学習データ保存部には、認識部の学習に使用した学習データセットが保存されるデータ処理装置である。

【0023】

学習データ保存部には、認識部の学習に使用するすべての学習データの集合体を保存しておくことが好ましい。事前の学習に用いた学習データセットは、レアケースに対する認識性能を高めるための学習の際にも利用され得る。学習データ保存部には、認識結果修正部による修正を経て新たに収集される学習データのみならず、事前の学習に用いた学習データセットも保存しておくことが好ましい。

【0024】

態様８は、態様１から態様７のいずれか一態様のデータ処理装置において、機械学習部は、認識部の認識結果を示す認識結果信号と教師信号との誤差を評価して、誤差に基づいて認識部のパラメータを更新するデータ処理装置である。

【0025】

態様９は、態様８のデータ処理装置において、寄与の度合いは、誤差に乗じる誤差重み係数で表されるデータ処理装置である。

【0026】

誤差重み係数を相対的に大きくすることにより、その学習データからの認識性能への寄与の度合いを大きくすることができる。誤差重み係数は、寄与度情報の一態様である。

【0027】

態様１０は、態様１から態様８のいずれか一態様のデータ処理装置において、寄与の度合いは、学習データを学習に使用する回数で表されるデータ処理装置である。

【0028】

同じ学習データを学習に使用する回数を相対的に増やすことにより、その学習データからの認識性能への寄与の度合いを大きくすることができる。学習に使用する回数は、寄与度情報の一態様である。

【0029】

態様１１は、態様１から態様１０のいずれか一態様のデータ処理装置において、認識結果修正部によって認識結果が修正されたデータについて学習に用いる際の寄与の度合いを設定する寄与度合い設定部を備えるデータ処理装置である。

【0030】

寄与の度合いは、認識結果修正部による修正結果に基づいて設定する構成とすることができる。また、寄与の度合いは、ユーザから入力される情報に基づいて設定してもよい。

【0031】

態様１２は、態様１１のデータ処理装置において、寄与度合い設定部は、ユーザからの指示に基づく認識結果修正部による修正結果のカテゴリに応じて、寄与の度合いを設定するデータ処理装置である。

【0032】

例えば、寄与度合い設定部は、認識結果修正部による修正を行った認識結果が「偽陰性」のカテゴリである場合と、「偽陽性」のカテゴリである場合とで、寄与の度合いを異ならせる設定とする。「偽陽性」の認識結果を修正したデータに比べて、「偽陰性」の認識結果を修正したデータについての「寄与の度合い」を大きくすることが好ましい。

【0033】

態様１３は、態様１１のデータ処理装置において、寄与度合い設定部は、ユーザからの入力に応じて寄与の度合いを可変設定するデータ処理装置である。

【0034】

態様１３によれば、ユーザがデータの重要性などを判断し、そのユーザの意思を反映して「寄与の度合い」を適切に設定することができる。

【0035】

態様１４は、態様１３のデータ処理装置において、認識結果修正部は、認識結果を修正したデータの深刻度及び希少度のうち少なくとも一方を示す情報の入力を受け付け、寄与度合い設定部は、認識結果修正部を介して入力された深刻度及び希少度のうち少なくとも一方に応じて寄与の度合いを段階的に設定するデータ処理装置である。

【0036】

態様１５に係る認識装置は、処理の対象とするデータを取得するデータ取得部と、学習データセットを用いて学習させた認識部であって、データ取得部を介して取得されたデータの入力を受けて、データに対する認識結果を出力する認識部と、認識部の認識結果をユーザからの指示に従って修正する認識結果修正部と、を備え、認識結果修正部は、認識結果を修正したデータと、データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、認識結果を修正したデータに対して、認識結果を修正したことを示す修正情報を生成する。

【0037】

態様１５によれば、認識部の認識結果に対してユーザが修正を加えたデータ（すなわち、レアケースのデータ）を、追加学習用の学習データとして効率良く収集することができる。「追加学習」は、事前の学習によって獲得された認識部の認識性能を更新するために、追加的に行われる学習を意味しており、「再学習」の概念を含む。

【0038】

態様１６は、態様１５の認識装置において、認識結果修正部は、認識結果を修正したデータを学習に用いる際の認識部の学習に対する寄与の度合いを示す寄与度情報を生成する認識装置である。

【0039】

寄与度情報は、例えば、誤差重み係数、又は、学習に使用する回数であってよい。寄与度情報は、修正情報の一態様と理解してもよい。

【0040】

態様１７は、態様１５又は態様１６の認識装置において、認識結果修正部によって生成された学習データ及び修正情報を保存する学習データ保存部を含む認識装置である。

【0041】

態様１７によれば、認識装置の認識処理とその認識結果に対するユーザからの修正の入力を通じて、レアケースの学習データが学習データ保存部に集積される。これにより、認識部の認識性能の更新に有益な学習データの集合体を得ることができる。

【0042】

態様１８に係る学習データ保存装置は、態様１５又は態様１６の認識装置によって生成された学習データ及び修正情報が保存された学習データ保存装置である。

【0043】

学習データ保存装置は、認識装置内の学習データ保存部として機能する記憶装置であってもよいし、認識装置の外部に設置される記憶装置であってもよい。学習データ保存装置は、例えば、ネットワークに接続されたデータ保存サーバなどであってもよいし、クラウドストレージであってもよい。

【0044】

態様１９は、態様１８の学習データ保存装置において、認識結果を修正したデータと、認識結果を修正したデータに対応する教師信号と、認識結果を修正したデータを学習に用いる際の認識部の学習に対する寄与の度合いを示す寄与度情報と、を含むデータ構造を有する学習データの集合体が記憶されている学習データ保存装置である。

【0045】

学習データ保存装置に保存される学習データは、入力用のデータと、これに対応する教師信号及び寄与度情報とが関連付けされたデータ構造を有する。

【0046】

態様２０は、態様１９の学習データ保存装置において、データ構造は、さらに、病変の深刻度、及び、症例の希少度のうち少なくとも一方の情報を含む学習データ保存装置である。

【0047】

学習データ保存装置に保存される学習データは、入力用のデータと、これに対応する教師信号及び寄与度情報に加え、深刻度及び／又は希少度の情報が関連付けされたデータ構造を有する構成とすることができる。

【0048】

態様２１に係る機械学習装置は、態様１５又は態様１６の認識装置によって生成された学習データを用いて、認識モデルのパラメータを生成する機械学習装置であって、機械学習装置は、学習データセットに含まれる学習データからの認識モデルの学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識モデルの学習を行う機械学習装置である。

【0049】

「認識モデル」は、機械学習によって一応の認識性能を獲得した学習済みモデルである。認識モデルは、認識処理を行うプログラムモジュールと理解してもよく、認識モデルは、「認識器」、「識別器」、「判別器」又は「検出器」の概念を含む。

【0050】

態様２１の機械学習装置は、態様１のデータ処理装置を構成する機械学習部であってもよいし、態様１５から態様１７のうちいずれか一態様の認識装置と通信可能に接続される独立した装置であってもよい。また、態様２１の機械学習装置は、態様１８から態様２０のうちいずれか一態様の学習データ保存装置と通信可能に接続され得る。ここでいう「接続」は、電気通信回線（ネットワーク）を介した接続の概念を含む。「接続」には、有線接続と無線接続の両方の概念が含まれる。

【0051】

態様２２に係るデータ処理方法は、処理の対象とするデータを取得するデータ取得ステップと、学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、データ取得ステップにより取得されたデータの入力を受けて、データに対する認識結果を出力する認識ステップと、認識ステップの認識結果をユーザからの指示に従って修正する認識結果修正ステップと、認識結果修正ステップによって認識結果が修正されたデータを用いて、認識モデルの学習を行う機械学習ステップと、を含み、機械学習ステップは、学習データセットに含まれる学習データからの認識モデルの学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識モデルの学習を行うデータ処理方法である。

【0052】

態様２２のデータ処理方法において、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、データ処理装置、認識装置、又は学習データ保存装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ（工程）の要素として把握することができる。また、態様２２のデータ処理方法は、データ処理装置の作動方法と理解してもよい。

【0053】

態様２３に係るプログラムは、コンピュータに、処理の対象とするデータを取得するデータ取得ステップと、学習データセットを用いて学習させた認識モデルを用いる認識ステップであって、データ取得ステップにより取得されたデータの入力を受けて、データに対する認識結果を出力する認識ステップと、認識ステップの認識結果をユーザからの指示に従って修正する認識結果修正ステップと、認識結果修正ステップによって認識結果が修正されたデータを用いて、認識モデルの学習を行う機械学習ステップと、を実行させるプログラムであって、機械学習ステップは、学習データセットに含まれる学習データからの認識モデルの学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識モデルの学習を行うプログラムである。

【0054】

態様２３のプログラムにおいて、態様２から態様２１にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、データ処理装置、認識装置、又は学習データ保存装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ或いは機能を実現するプログラム要素として把握することができる。

【0055】

本発明の他の態様に係るデータ処理装置は、少なくとも１つのプロセッサを含み、プロセッサは、処理の対象とするデータを取得する処理と、学習データセットを用いて学習させた認識モデルを用いる認識処理であって、取得されたデータの入力を受けて、データに対する認識結果を出力する認識処理と、認識処理の認識結果をユーザからの指示に従って修正する処理と、認識結果が修正されたデータを用いて、認識モデルの学習を行う機械学習処理と、行うプロセッサであり、機械学習処理は、学習データセットに含まれる学習データからの認識モデルの学習に対する寄与の度合いに比べて、認識結果が修正されたデータからの学習への寄与の度合いを大きくして、認識モデルの学習を行うデータ処理装置である。

【0056】

本発明の他の態様に係る認識装置は、少なくとも１つのプロセッサを含み、プロセッサは、処理の対象とするデータを取得する処理と、学習データセットを用いて学習させた認識モデルを用いる認識処理であって、取得されたデータの入力を受けて、データに対する認識結果を出力する認識処理と、認識処理の認識結果をユーザからの指示に従って修正する処理と、を行うプロセッサであり、プロセッサは、さらに、認識結果を修正したデータと、データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、認識結果を修正したデータに対して、認識結果を修正したことを示す修正情報を生成する処理を行うデータ処理装置である。

【0057】

本発明の他の態様に係る認識装置は、少なくとも１つのプロセッサを含み、プロセッサは、処理の対象とするデータを取得する処理と、学習データセットを用いて学習させた認識モデルを用いる認識処理であって、取得されたデータの入力を受けて、データに対する認識結果を出力する認識処理と、認識処理の認識結果をユーザからの指示に従って修正する処理と、を行うプロセッサであり、プロセッサは、さらに、認識結果を修正したデータと、データに対応する教師信号とを含む追加学習用の学習データを生成し、かつ、認識結果を修正したデータに対して、認識結果を修正したことを示す修正情報を生成する処理を行うデータ処理装置である。

【発明の効果】

【0058】

本発明によれば、認識結果に対するユーザからの修正の指示を基に、レアケースの学習に効果的な学習データを生成することができる。また、生成された学習データについて学習への寄与の度合いを相対的に大きくして追加の学習を実施することにより、レアケースのデータに対する認識精度を向上させることができる。

【図面の簡単な説明】

【0059】

【図1】図１は、第１実施形態に係る画像システムの機能を示すブロック図である。

【図2】図２は、第１実施形態における学習画像保存部に保存される学習データセットの概念図である。

【図3】図３は、第１実施形態に係る画像システムの動作を示すフローチャートである。

【図4】図４は、機械学習部が実施する機械学習方法の一例を示すフローチャートである。

【図5】図５は、第２実施形態に係る画像システムの機能を示すブロック図である。

【図6】図６は、第２実施形態における学習画像保存部に保存される学習データセットの概念図である。

【図7】図７は、第３実施形態に係る画像システムの機能を示すブロック図である。

【図8】図８は、第３実施形態における学習画像保存部に保存される学習データセットの概念図である。

【図9】図９は、第４実施形態に係る画像システムの機能を示すブロック図である。

【図10】図１０は、第７実施形態に係る画像システムの構成を示すブロック図である。

【図11】図１１は、第８実施形態に係る画像システムの構成を示すブロック図である。

【図12】図１２は、認識器の構成例を示す概念図である。

【図13】図１３は、機械学習部の機能を示すブロック図である。

【図14】図１４は、表示装置に表示される内視鏡診断支援画面の一例を示す図である。

【図15】図１５は、学習画像保存部に保存された学習データの集合体の例を示す概念図である。

【図16】図１６は、コンピュータのハードウェアの構成例を示すブロック図である。

【発明を実施するための形態】

【0060】

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

【0061】

《機械学習を用いた画像認識の概要》
機械学習を用いた画像認識は、ユーザが与えた教師信号と同じ認識結果を導出するよう、認識器のパラメータを繰り返し修正させる、「教師あり学習」によって実現される。

【0062】

機械学習によって作成された認識器をf(w,x)とし、ｉ番目の入力画像をxiとし、xiの認識結果信号をyiとすると、
yi ＝ f(w,xi)
である。ここでwは認識器が持つパラメータである。なお、wとxは、それぞれベクトルである。教師あり学習の場合、ｉ番目の入力画像に対して与えられた教師信号tiと認識結果信号yiとの誤差Ei(w,xi)を計算し、学習に用いるｎ枚の画像に対して和をとったE(w)を定義する。

【0063】

【数1】

【0064】

ここで、Ei(w,xi)の一例としては、次式、

【0065】

【数2】

【0066】

を採用し得る。

【0067】

E(w)はwの関数であるため、勾配降下法などにより逐次、wを修正していくことで安定した大域的極小値を求め、認識器を最適化する。これにより、認識器は教師信号に漸近した認識結果を導出するようになる。

【0068】

《課題》
しかし、レアケースのデータをこの認識器に入力した場合、正しい認識がされない可能性がある。なぜなら、レアケースのデータは学習データ中で相対的に数が少なく、学習が不十分な場合が多いからである。認識器において「認識誤り」が発生するケースのデータは、レアケースのデータに相当する。「認識誤り」は「推論誤り」或いは「誤判定」と言い換えてもよい。

【0069】

認識器においてレアケースについての認識精度を向上させるためには、学習データ中のレアケースのデータの割合を増やすことが考えられるが、実際にレアケースのデータを大量に収集するのは困難である。「学習データ」は、学習に用いる入力信号と、その入力信号に対応した正解ラベルを示す教師信号とを関連付けた学習用のデータであり、「訓練データ」とも呼ばれる。

【0070】

《本発明の実施形態に係る画像システムの概要》
本発明の実施形態に係る画像システムは、認識器を用いた認識結果に誤りが発生したケースのデータに正しい正解ラベルを付与して、レアケースの学習データとして自動的に収集する。また、本実施形態に係る画像システムは、収集したレアケースの学習データを用いて認識器の追加学習を行う際に、レアケース以外の（通常の）学習データに比べて、レアケースの学習データを相対的に重視し、レアケース以外の学習データからの学習への寄与の度合いに比べて、レアケースの学習データからの学習への寄与の度合いを大きくして、認識器の学習を行う。

【0071】

ここでいう「レアケース以外の学習データ」とは、例えば、予め認識器に必要な初期の認識性能を獲得させるために行われる学習に用いた学習データセットに含まれる学習データである。「学習データからの学習への寄与の度合い」とは、認識器に認識性能を獲得させるために行われる学習に対して学習データが寄与する度合いをいう。学習に対して学習データが寄与する度合いは、学習によって認識器が獲得する認識性能に対して、その学習データが寄与する度合いと理解してもよい。学習に対して学習データが寄与する度合いは、学習への寄与度、或いは、認識性能への学習データの寄与度と言い換えてもよく、学習における学習データごとの「重み」と理解してよい。認識性能への学習データの寄与度は、例えば、誤差逆伝播（バックプロパゲーション）における誤差の評価に用いる損失関数に反映される。

【0072】

本実施形態に係る画像システムでは、認識器を用いた認識結果に誤りが発生したケースのデータにおける誤差Ei(w,xi)の学習への寄与度が、その他の学習データから得られるEi(w,xi)の学習への寄与度よりも、相対的に大きくなるように重み付けを行う。

【0073】

レアケースの学習データについて認識性能への寄与の度合いを相対的に大きくする重み付けを行う具体的な方法の１つとして、誤差Ei(w,xi)に乗じる誤差重み係数aiを用いる形態を採用し得る。

【0074】

例えば、ある画像xiの認識結果に誤りが発生し、この誤った認識結果に対してユーザから修正の指示が入力された場合に、画像xiの修正結果に基づいて決定された誤差重み係数をaiとすると、最小化するE(w)は、次式、

【0075】

【数3】

【0076】

で表される。

【0077】

レアケース以外の学習データについての誤差重み係数は、標準値（例えば、「1.0」）に設定される。一方、レアケースの学習データについての誤差重み係数は、標準値よりも大きい値（例えば、「2.0」など）に設定される。

【0078】

これにより、認識器は、レアケースのデータに対する高い認識性能を獲得する。なぜなら、認識器のパラメータの最適化は、「ai・Ei(w,xi)」で表される重み付き誤差が大きいデータに対して優先的に行われるからである。

【0079】

《第１実施形態に係る画像システムの構成》
図１は、第１実施形態に係る画像システムの機能を示すブロック図である。画像システム１０は、医療画像を扱うデータ処理システムであり、画像取得部１２と、画像認識部１４と、認識結果修正部１６と、学習画像保存部２０と、機械学習部２２と、を備える。また、画像システム１０は、ユーザインターフェースとしての表示装置１７及び入力装置１８を備える。

【0080】

本例の画像システム１０は、画像の解析（画像認識）、画像の収集、及び、認識処理のための機械学習などを行う。画像システム１０は、１つのデータ処理装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、画像システム１０は、１台又は複数台のコンピュータを用いて実現することができる。画像システム１０は、「データ処理装置」の一例であり、画像処理装置として機能する。画像システム１０は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、及び／又は治療支援の概念を含む。

【0081】

画像取得部１２は、処理の対象とする画像を取得するインターフェースである。画像取得部１２は、例えば、図示せぬ電子内視鏡のビデオコネクタが接続されるコネクタ端子であってもよいし、画像処理回路の信号入力端子であってもよい。また、画像取得部１２は、通信ネットワーク端子、外部記憶メディア用のメディアインターフェース端子、若しくは、外部機器の接続用端子、又は、これらの適宜の組み合わせであってもよい。画像取得部１２は「データ取得部」の一例である。画像取得部１２を介して取得される医療画像は「処理の対象とするデータ」の一例である。

【0082】

画像取得部１２は、処理の対象とする画像を生成する画像生成装置を含む場合がある。画像生成装置は、例えば、電子内視鏡装置、ＣＴ装置、Ｘ線診断装置、超音波診断装置、ＭＲＩ装置、若しくは、核医学診断装置、若しくは、眼底カメラなどの各種の医療機器（画像検査装置）のうちの１つ又は組み合わせであってよい。

【0083】

画像認識部１４は、機械学習によって学習させた認識器を含んでいる。認識器は、機械学習によって認識性能を獲得した学習済みモデルである。認識処理を行う学習済みモデルを「認識モデル」という。認識器は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて構成することができる。認識モデルとしての初期の認識性能を獲得するために行われた学習を「第１の学習」という。認識器の第１の学習に用いた学習データセットを「第１の学習データセット」という。第１の学習データセットは、予め用意された学習データセットであってよい。第１の学習は、機械学習部２２を用いて実施されてもよいし、図示せぬ別の機械学習装置を用いて実施されてもよい。なお、第１の学習においては、学習に用いる各学習データからの学習への寄与度は一定（重み付け無し）である。第１の学習は、「重み付け無し学習」と言い換えてもよい。

【0084】

画像認識部１４は、画像取得部１２を介して取得された画像の入力を受けて、その画像に対する認識結果を出力する。画像認識部１４は、例えば、画像から特徴量を抽出し、画像の分類、注目領域の検出、セグメンテーション、及び類似度の計算のうち、少なくとも１つの処理を行う。ここでは、簡単な例として、「癌性」（陽性）であるか、「非癌性」（陰性）であるかを判別する２分類の認識タスクを例示する。画像認識部１４の認識結果は、表示装置１７に表示される。画像認識部１４は「認識部」の一例である。

【0085】

表示装置１７は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。表示装置１７は、認識結果の他、処理の対象となった画像、及び、処理に必要な各種設定情報などの各種情報を表示し得る。

【0086】

入力装置１８は、例えば、操作ボタンやキーボード、マウス、タッチパネル、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザは、入力装置１８を操作することにより、各種の指示を入力することができる。ユーザは、表示装置１７に表示される認識結果と画像とを検見し、その認識結果が「偽」であると判断された場合、入力装置１８から認識結果を修正する指示を与えることができる。すなわち、ユーザは、画像認識部１４が出力した誤った認識結果を修正する「正解」の情報を入力装置１８から入力することができる。

【0087】

認識結果修正部１６は、ユーザからの指示に従って画像認識部１４の認識結果を修正する処理を行う。認識結果修正部１６により修正が行われたデータは、「修正有り」のラベルを付して、学習画像保存部２０に保存される。すなわち、認識結果修正部１６は、画像認識部１４が認識を誤った「誤判定画像」と、ユーザによって与えられた「正解」を示す教師信号を含むデータを学習画像保存部２０に送る。

【0088】

学習画像保存部２０は、認識結果修正部１６によって認識結果が修正されたデータである誤判定画像と、この誤判定画像に対応する教師信号とを含む学習データを保存するテータ記憶部である。学習画像保存部２０は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、若しくは半導体メモリ、又はこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。誤判定画像は、レアケースの画像に相当する。

【0089】

学習画像保存部２０には、第１の学習データセットも保存されている。第１の学習に用いた画像は「修正無し」のラベルが付され、学習画像保存部２０に格納される。また、学習画像保存部２０は、認識結果修正部１６にて修正を行わなかったデータ、すなわち、画像認識部１４が正しく認識したデータについても、追加の学習データとして保存し得る。画像認識部１４が正しく認識したデータに対し、認識結果修正部１６は、「修正無し」のラベルを付して、学習画像保存部２０に送ることができる。学習画像保存部２０は「学習データ保存部」の一例である。

【0090】

機械学習部２２は、画像認識部１４の認識器と同様の学習用の認識器を含んで構成される。機械学習部２２は、学習画像保存部２０に保存されている学習データを用いて、認識器の追加学習を行う。機械学習部２２は、追加学習によって得られた認識器のパラメータを画像認識部１４に供給し、画像認識部１４の認識器のパラメータを更新する。

【0091】

機械学習部２２にて追加学習を行い、認識器のパラメータの更新を行う際には、学習データにおける「修正有り」のラベルの有無に従って誤差重み係数aiを変更する。例えば、「修正有り」のラベルが付された学習データの場合の誤差重み係数aiは「2.0」とし、「修正無し」のラベルが付された学習データの場合の誤差重み係数aiは「1.0」とする。

【0092】

図２は、学習画像保存部２０に保存される学習データセットの概念図である。図２に示す表において「修正」の項目に「有」のラベルが付されている画像は、認識結果修正部１６にて修正を行ったデータ、つまり誤判定画像である。「修正」の項目に「無」のラベルが付されている画像の一部、又は全部は、第１の学習に用いたデータである。「重み」の項目に示された数値は、誤差重み係数である。

【0093】

機械学習部２２は、学習画像保存部２０に保存されている学習データセットを用いて、例えばミニバッチ法に従い、機械学習を行う。

【0094】

〈ミニバッチ学習について〉
ミニバッチは、用意された学習用データ群（学習データセット）の部分集合であり、用意された学習用データ群の全体の中から選ばれた複数の学習サンプルで構成される学習用データ群である。ミニバッチ学習は、ミニバッチに含まれる全ての学習サンプルを用いて各学習サンプルについて出力信号と正解（教師信号）との誤差を評価し、これらの誤差の評価結果を利用して、ミニバッチ単位で認識器のパラメータをまとめて更新する手法である。

【0095】

《画像システムによるデータ処理方法》
図３は、第１実施形態に係る画像システムの動作を示すフローチャートである。ステップＳ１２において、画像取得部１２は、処理の対象とする画像を取得する。ステップＳ１２は「データ取得ステップ」の一例である。

【0096】

ステップＳ１４において、画像認識部１４は、入力された画像について認識処理を行い、認識結果を出力する。ステップＳ１４は「認識ステップ」の一例である。

【0097】

ステップＳ１６において、表示装置１７は、画像認識部１４の認識結果を表示する。例えば、画像認識部１４が「癌性」又は「非癌性」の２カテゴリに分類する認識タスクを行う場合、表示装置１７には、画像取得部１２を介して取得した画像と共に「癌性」又は「非癌性」を示すテキスト情報が表示される。

【0098】

ステップＳ１８において、認識結果修正部１６は、ユーザから修正の指示を受け付ける。ユーザは、表示装置１７に表示される画像と認識結果を確かめて、認識結果が正しいか否かを判断する。認識結果が誤っている場合、ユーザは、入力装置１８を用いて認識結果を修正する指示を入力することができる。その一方で、認識結果が正しい場合、ユーザは、入力装置１８を用いて認識結果を承認する指示を入力することができる。

【0099】

ステップＳ２０において、認識結果修正部１６は、ユーザから認識結果に対する修正の指示が入力されたか否かを判定する。入力装置１８から修正の指示が入力された場合には、ステップＳ２０の判定結果が「Ｙｅｓ判定」となる。一方、入力装置１８から認識結果を承認する指示が入力された場合には、ステップＳ２０の判定結果が「Ｎｏ判定」となる。

【0100】

ステップＳ２０の判定結果が「Ｙｅｓ判定」である場合、ステップＳ２２に進む。ステップＳ２２において、認識結果修正部１６は、ユーザからの指示に従い認識結果を修正する。ステップＳ２２は、誤判定した画像に対して、正しい教師信号を与えることに相当している。ステップＳ２２は、「認識結果修正ステップ」の一例である。

【0101】

ステップＳ２４において、認識結果修正部１６は、認識結果の修正が行われたデータを学習画像保存部２０に保存する。ステップＳ２４の後、図３のフローチャートを終了する。

【0102】

一方、ステップＳ２０の判定結果が「Ｎｏ判定」である場合は、ステップＳ２２及びステップＳ２４の処理を省略して、図３のフローチャートを終了する。

【0103】

なお、ステップＳ２０の判定結果が「Ｎｏ判定」である場合に、そのデータについても「修正無し」のラベルを付して、学習画像保存部２０に保存してもよい。

【0104】

画像システム１０は、図３のフローチャートに示す処理を実行することにより、レアケースのデータを収集することができる。

【0105】

なお、図３のフローチャートを用いて説明した手順は、画像の認識処理と画像の収集処理を行う医療画像装置としてのデータ処理装置の作動方法の一例である。

【0106】

《機械学習方法の例》
図４は、機械学習部が実施する機械学習方法の一例を示すフローチャートである。ステップＳ３２において、機械学習部２２は、学習画像保存部２０から学習データを取得する。

【0107】

ステップＳ３４において、機械学習部２２の認識器は、取得した学習データの画像を入力信号として認識処理を行い、認識結果を出力する。

【0108】

ステップＳ３６において、機械学習部２２は、認識器が出力した認識結果信号と教師信号の誤差を算出する。認識結果信号は、例えば、認識の確からしさを表すスコアである。認識結果信号が示すスコアに基づき「癌性」か「非癌性」の判定がなされる。一例として、認識の確からしさを「０以上１以下」の範囲の数値で表すことにすると、教師信号は、非癌性（陰性）の場合に「０」、癌性（陽性）の場合に「１」となる。

【0109】

ステップＳ３８において、機械学習部２２は、ステップＳ３６にて算出した誤差に、誤差重み係数を乗算して誤差の評価を行う。ステップＳ３８にて算出される誤差の評価値を「重み付き誤差」とよぶ。

【0110】

ステップＳ４０において、機械学習部２２は、学習に使った画像の枚数が規定枚数に到達したか否かを判定する。規定枚数は、例えば、予め定められたミニバッチの枚数であってよい。ステップＳ４０の判定結果が「Ｎｏ判定」である場合、機械学習部２２はステップＳ３２に戻り、次の学習データを取得する。機械学習部２２は、ミニバッチの単位でステップＳ３２〜ステップＳ４０の処理を繰り返す。

【0111】

ステップＳ４０の判定結果が「Ｙｅｓ判定」である場合、機械学習部２２はステップＳ４２に進む。ステップＳ４２において、機械学習部２２は、ステップＳ３８にて算出した重み付き誤差の規定枚数分の総和を基に、認識器のパラメータを更新する。

【0112】

ステップＳ４４において、機械学習部２２は、学習終了条件を満たすか否かの判定を行う。機械学習部２２は、ステップＳ４４の判定結果が「Ｎｏ判定」の場合、すなわち、学習終了条件を満たさないと判定した場合は、ステップＳ３２に戻り、学習終了条件を満たすまで、ステップＳ３２からステップＳ４４を繰り返す。

【0113】

学習終了条件は、誤差の値に基づいて定められていてもよいし、更新回数に基づいて定められていてもよい。誤差の値に基づく方法としては、例えば、誤差が規定の範囲内に収束していることを学習終了条件としてよい。更新回数に基づく方法としては、例えば、更新回数が規定回数に到達したことを学習終了条件としてよい。

【0114】

なお、誤差の評価関数として用いる損失関数の重み付けは、更新回数に従って線形に変化させる態様、又は段階的に変化させる態様があり得る。

【0115】

ステップＳ４４の判定結果が「Ｙｅｓ判定」の場合、認識器のパラメータを決定して学習の処理を終了する。

【0116】

このようにして学習されたパラメータは、画像認識部１４の認識器に適用される。これにより、画像認識部１４は、レアケースに対する認識精度が向上する。

【0117】

図４のフローチャートに示すステップＳ３２〜Ｓ４４を実行して、認識器の学習を行うプロセスは「機械学習ステップ」の一例である。

【0118】

〈フローチャートの変形例〉
なお、ステップＳ３８の演算は、ステップＳ４０とステップＳ４２の間で実施してもよい。例えば、ミニバッチ単位でまとめて誤差を評価する評価関数の中でステップＳ３８に相当する演算が実施されてもよい。

【0119】

《第２実施形態に係る画像システムの概要》
第１実施形態では、誤差重み係数aiに関して、「修正無し」の場合はai＝1.0、「修正有り」の場合はai＝2.0の２種類を用いる例を示したが、誤差重み係数aiの具体的数値はこの例に限らない。また、誤差重み係数aiは、３種類以上の多段階に設定してもよい。例えば、誤差重み係数aiは、誤判定リスクの重大性、症例の希少度、若しくは、病変の深刻度、又はこれらの組み合わせに応じて、３種類以上の多段階に可変設定してよい。

【0120】

医療画像診断の現場においては、認識のカテゴリによって、獲得したい認識能力に偏りが存在する。例えば、陰性の病変を陽性と判定すること（偽陽性）よりも、陽性の病変を陰性と判定してしまうこと（偽陰性）のリスクは大きいため、偽陰性の認識結果がより少なくなる認識能力の獲得が求められる。

【0121】

このような要求に対処するため、画像認識部１４での認識結果が「偽陰性」のカテゴリに属するものであった場合、認識結果を修正した際に設定される誤差重み係数をより大きくすることが好ましい。例えば、認識結果の修正がなされたデータの認識結果のカテゴリが「偽陰性」の場合はai＝5.0、「偽陽性」の場合はai＝2.0、「修正無し」の場合はai＝1.0とする。

【0122】

図５は、第２実施形態に係る画像システムの機能を示すブロック図である。図５において、図１で説明した構成と同一又は類似する要素には同一の符号を付し、その説明は省略する。第１実施形態との相違点を説明する。図５に示す第２実施形態に係る画像システム１０２は、第１実施形態に係る画像システム１０の構成に追加して、更に、寄与度合い設定部３２と、重みテーブル記憶部３４と、を備えている。なお、寄与度合い設定部３２は、認識結果修正部１６に内包されていてもよい。また、重みテーブル記憶部３４は、認識結果修正部１６に内包されていてもよい。

【0123】

寄与度合い設定部３２は、認識結果修正部１６によって認識結果の修正がなされたデータ（誤判定画像）を追加学習に用いる際の寄与の度合いを設定する処理部である。本例の場合「寄与の度合い」は、誤差重み係数で表される。「寄与の度合い」を「寄与度」と表記する場合がある。誤差重み係数は「寄与度情報」の一例である。

【0124】

重みテーブル記憶部３４は、認識結果修正部１６による修正結果と誤差重み係数との対応関係を定めた重みテーブルを記憶しておく記憶部である。重みテーブルは、認識結果修正部１６による修正結果を含む修正情報から、適切な誤差重み係数を定めるために参照されるルックアップテーブルであってよい。

【0125】

例えば、「偽陰性」を修正、「偽陽性」を修正、又は「修正無し」のように、修正結果のカテゴリに応じて誤差重み係数を定める場合の重みテーブルの一例は、次の表１に示すようなものである。

【0126】

【表1】

【0127】

寄与度合い設定部３２は、認識結果修正部１６からの修正情報に基づいて、重みテーブルを参照することにより、誤判定画像を学習に用いる際の寄与の度合い示す誤差重み係数を設定する。

【0128】

認識結果修正部１６によって認識結果の修正がなされた誤判定画像は、寄与度合い設定部３２によって設定された誤差重み係数及び修正情報と紐付けされて（関連付けされて）、学習画像保存部２０に保存される。

【0129】

図６は、第２実施形態における学習画像保存部２０に保存される学習データセットの概念図である。図６に示すように、学習画像保存部２０には、入力用の画像と、正解の情報と、修正情報と、重み（誤差重み係数）とが関連付けされた学習データの集合体が保存される。

【0130】

《第３実施形態》
医療画像診断の現場においては、同じ陽性の病変であっても、その深刻度が異なる。すなわち、深刻度の高い病変の認識精度はより高くする必要がある。

【0131】

第３実施形態に係る画像システムは、病変の深刻度に応じて、寄与の度合いを設定する。例えば、画像認識部１４の認識結果が出力されたら、ユーザは出力された認識結果と画像とを検見する。その認識結果が偽であると判断された場合、ユーザは、入力装置１８を用いて修正の指示を入力し、認識結果修正部１６によって正解を与える。認識結果修正部１６は、ユーザからの指示に従い、誤判定画像に対して「修正有り」のラベルを付し、修正を行う。この際、ユーザは、病変の深刻度も入力する。認識結果が修正された画像は、認識結果修正部１６に入力された情報とともに、学習画像保存部２０に保存する。

【0132】

ユーザが入力する深刻度は、複数の段階にレベル分けされたものであってよい。ユーザが入力する深刻度は、例えば、１から１０の十段階を用いてもよいし、深刻度「低」、「中」及び「高」の三段階などを用いてもよい。

【0133】

機械学習部２２でパラメータの更新を行う際は、深刻度を誤差重み係数に変換し、損失関数の計算に用いる。深刻度が高いほど誤差重み係数が大きくなるように設定する。例えば、「修正有り」の場合はai ＝ (十段階の深刻度)×1.0とする。また、「修正無し」の場合はai ＝1.0とする。

【0134】

図７は、第３実施形態に係る画像システムの機能を示すブロック図である。図７において、図１で説明した構成と同一又は類似する要素には同一の符号を付し、その説明は省略する。第１実施形態との相違点を説明する。図７に示す第３実施形態に係る画像システム１０３は、第１実施形態に係る画像システム１０の構成に追加して、更に、深刻度設定部３６と、変換テーブル記憶部３８と、を備えている。なお、深刻度設定部３６は、認識結果修正部１６に内包されていてもよい。また、変換テーブル記憶部３８は、認識結果修正部１６に内包されていてもよい。

【0135】

深刻度設定部３６は、入力装置１８からユーザが入力した情報に基づき、病変の深刻度を設定する。

【0136】

変換テーブル記憶部３８は、深刻度から誤差重み係数に変換する変換関係を定めた変換テーブルを記憶しておく記憶部である。変換テーブルは、深刻度と誤差重み係数の対応関係を特定したルックアップテーブルであってよい。

【0137】

深刻度設定部３６は、ユーザが入力した深刻度に基づいて、変換テーブルを参照することにより、深刻度に応じた誤差重み係数を設定する。深刻度設定部３６は「寄与度合い設定部」の一例に相当する。変換テーブルは、重みテーブルの一例と理解してよい。

【0138】

認識結果修正部１６によって認識結果の修正がなされた誤判定画像は、認識結果修正部１６による修正情報と、ユーザから入力された深刻度と、深刻度に対応して設定された誤差重み係数とが紐付けされて、学習画像保存部２０に保存される。

【0139】

図８は、第３実施形態における学習画像保存部２０に保存される学習データセットの概念図である。図８には、十段階の深刻度を採用した例が示されている。図８に示すように、学習画像保存部２０には、入力用の画像と、正解の情報と、修正情報と、深刻度と、重み（誤差重み係数）とが関連付けされた学習データの集合体が保存される。

【0140】

《第４実施形態》
第３実施形態で説明した「深刻度」に代えて、症例の「希少度」を用いてもよい。図９は、第４実施形態に係る画像システムの機能を示すブロック図である。図９において、図７で説明した構成と同一又は類似する要素には同一の符号を付し、重複する説明は省略する。第３実施形態との相違点を説明する。図９に示す第４実施形態に係る画像システム１０４は、第３実施形態に係る画像システム１０３の深刻度設定部３６と変換テーブル記憶部３８に代えて、希少度設定部４０と変換テーブル記憶部４２を備えている。

【0141】

なお、希少度設定部４０は、認識結果修正部１６に内包されていてもよい。また、変換テーブル記憶部４２は、認識結果修正部１６に内包されていてもよい。

【0142】

希少度設定部４０は、入力装置１８からユーザが入力した情報に基づき、症例の希少度を設定する。変換テーブル記憶部４２は、希少度から誤差重み係数に変換する変換関係を定めた変換テーブルを記憶しておく記憶部である。変換テーブルは、希少度と誤差重み係数の対応関係を特定したルックアップテーブルであってよい。

【0143】

画像システム１０４では、画像認識部１４の認識結果が出力されたら、ユーザは出力された認識結果と画像とを検見する。その認識結果が偽であると判断された場合、ユーザは、入力装置１８を用いて修正の指示を入力し、認識結果修正部１６によって正解を与える。認識結果修正部１６は、ユーザからの指示に従い、誤判定画像に対して「修正有り」のラベルを付し、修正を行う。この際、ユーザは、症例の希少度も入力する。認識結果が修正された画像は、認識結果修正部１６に入力された情報とともに、学習画像保存部２０に保存する。

【0144】

ユーザが入力する希少度は、複数の段階にレベル分けされたものであってよい。ユーザが入力する希少度は、例えば、１から１０の十段階を用いてもよいし、希少度「低」、「中」及び「高」の三段階などを用いてもよい。

【0145】

機械学習部２２でパラメータの更新を行う際は、希少度を誤差重み係数に変換し、損失関数の計算に用いる。希少度が高いほど誤差重み係数が大きくなるように設定する。例えば、「修正有り」の場合はai ＝ (十段階の希少度)×1.0とする。また、「修正無し」の場合はai ＝1.0とする。

【0146】

学習画像保存部２０には、入力用の画像と、正解の情報と、修正情報と、希少度と、重み（誤差重み係数）とが関連付けされた学習データの集合体が保存される。

【0147】

《第５実施形態》
機械学習によって認識器の認識能力を高めていく場合、基本的には学習用画像として保存されている画像全てを学習に使用する。このように、学習用画像全てを用いて認識器のパラメータ等を更新し、認識精度を高めようとする一連の処理を、「１エポック」という単位で扱う。学習方法が深層学習の場合などは、１エポックで目標の性能が得られることは稀であり、数エポック繰り返すことが多い。この１エポックで行う認識器の更新は、基本的に全ての画像を１度ずつ利用して更新を行う。これは、各データからの認識性能への寄与が平等になるようにするためである。

【0148】

本発明の第５実施形態では、認識器の認識結果がユーザによって修正された画像に対しては、１エポック内で認識器の更新に使用する回数を増やすことで、「修正有り」の画像からの認識性能への寄与が大きくなり、「修正有り」の画像に対し、より優先的に認識器が最適化される。

【0149】

つまり、これまで説明してきた「誤差重み係数」に代えて、又は、これと組み合わせて、１エポック内で認識器のパラメータの更新に使用する回数を用いてもよい。１エポック内で同じ学習データを使用する回数は、認識性能への寄与の度合い（寄与度）を表す数値の一例に相当する。学習データを使用する回数は「寄与度情報」の一例である。

【0150】

誤差重み係数に代えて、１エポック内で同じ学習データを使用する回数によって寄与の度合いを制御する場合には、［数１］に示した評価関数（損失関数）を用いることができる。

【0151】

《第６実施形態：画像システムの構築例１》
第１実施形態から第５実施形態の各実施形態として説明した画像システムの構築例１としては、画像取得部１２、画像認識部１４、認識結果修正部１６、学習画像保存部２０、及び機械学習部２２の全てを、病院等の施設に設置することが考えられる。この場合、例えば、ユーザである医師が、画像認識部１４の認識結果を修正し、その結果を基に、学習画像保存部２０に修正結果とその画像（誤判定画像）が保存される。機械学習部２２は、学習画像保存部２０に保存されている画像を用いて画像認識部１４の認識器の更新を行う。

【0152】

画像取得部１２、画像認識部１４、認識結果修正部１６、学習画像保存部２０、及び機械学習部２２を備えた画像システム１０は、レアケースの学習に用いる学習データの生成及び収集を行う機能と、学習機能とを備えた認識装置の一例である。

【0153】

《第７実施形態：システムの構築例２》
本発明の実施形態に係る画像システムの他の構築例２として、画像取得部１２、画像認識部１４、認識結果修正部１６、及び学習画像保存部２０を、病院等の施設に設置し、機械学習部２２を遠隔地の施設に設置することが考えられる。

【0154】

図１０は、第７実施形態に係る画像システムの構成を示すブロック図である。ここでは、画像取得部１２、画像認識部１４、認識結果修正部１６及び学習画像保存部２０を設置する施設を「エッジ」と呼び、機械学習部２２を設置する施設を「クラウド」と呼ぶ。

【0155】

エッジは、例えば、病院等の医療機関である。エッジは、医療画像診断が行われる施設とする。エッジは複数存在してよい。図１０では、複数のエッジを「エッジ１」、「エッジ２」・・・「エッジｘｘ」と表記した。各エッジを代表して、「エッジ１１１」として説明する。

【0156】

各エッジ１１１とクラウド５０は、ネットワークで接続されている。図１０においてネットワークの図示は省略されている。ここでいう「ネットワーク」は、電気通信回線と同義である。各エッジ１１１においてそれぞれのユーザが認識結果を修正して学習画像保存部２０に集積されたデータは、ネットワークを介してクラウド５０に送信される。クラウド５０では、送られて来た学習データをもとに機械学習部２２で学習を行い、認識器のパラメータを更新する。

【0157】

クラウド５０は、更新されたパラメータを各エッジ１１１の画像認識部１４に配信する。図１０において、クラウド５０から各エッジ１１１に配信されるパラメータを「学習済みパラメータ」と表記した。

【0158】

各エッジ１１１では、クラウド５０から提供された学習済みパラメータに従い、画像認識部１４のパラメータが更新される。

【0159】

図１０に示した第７実施形態の場合、各エッジ１１１内の学習画像保存部２０において、第１の学習データセットを保存しておくことは必ずしも必要ない。例えば、クラウド５０において、第１の学習データセットを保存しておき、各エッジ１１１の学習画像保存部２０には、画像取得部１２を介して新たに取得された画像のうち、認識結果が修正されたデータのみを保存するようにしてもよい。

【0160】

図１０に示した各エッジ１１１は、レアケースの学習に用いる学習データの生成及び収集を行う機能を備えた認識装置の一例である。また、図１０に示した機械学習部２２は、認識装置によって生成された学習データを用いて学習を行う「機械学習装置」の一例である。

【0161】

《第８実施形態：システムの構築例３》
また、第１実施形態から第５実施形態の各実施形態として説明した画像システムの他の構築例３として、画像取得部１２、画像認識部１４、認識結果修正部１６を、病院等の施設に設置し、学習画像保存部２０と機械学習部２２を遠隔地の施設に設置することが考えられる。

【0162】

図１１は、第８実施形態に係る画像システムの構成を示すブロック図である。ここでは、画像取得部１２、画像認識部１４、及び認識結果修正部１６を設置する施設を「エッジ」と呼び、学習画像保存部２０及び機械学習部２２を設置する施設を「クラウド」と呼ぶ。エッジは、複数存在してよい。各エッジを代表して、「エッジ１２１」として説明する。

【0163】

各エッジ１２１とクラウド５０は、ネットワークで接続されている。図１１においてネットワークの図示は省略されている。各エッジ１２１においてそれぞれのユーザが認識結果を修正したデータは、ネットワークを介してクラウド５０に送信され、クラウド５０の学習画像保存部２０に集積される。

【0164】

クラウド５０では、学習画像保存部２０に集積された画像をもとに機械学習部２２で学習を行い、認識器のパラメータを更新する。クラウド５０は更新されたパラメータを各エッジ１２１の画像認識部１４に配信する。

【0165】

各エッジ１２１ではクラウド５０の機械学習部２２から配信されたパラメータに従い、画像認識部１４のパラメータが更新される。

【0166】

なお、学習画像保存部２０と機械学習部２２の各々は異なる遠隔地の施設に設置されていてもよく、学習画像保存部２０と機械学習部２２とがネットワークで接続されていてもよい。

【0167】

第８実施形態によれば、複数のエッジ１２１から得られるレアケースのデータが学習画像保存部２０に集積されるため、多数のデータを収集することができ、認識性能の一層の向上が可能である。

【0168】

図１１に示した各エッジ１２１は、レアケースの学習に用いる学習データの生成を行う機能を備えた認識装置の一例である。図１１に示した学習画像保存部２０は、認識装置によって生成された学習データを保存する「学習データ保存装置」の一例である。また、図１１に示した機械学習部２２は、認識装置によって生成された学習データを用いて学習を行う「機械学習装置」の一例である。

【0169】

《認識器の例》
図１２は、画像認識部１４に用いられる認識器の構成例を示す概念図である。ここでは、階層型ニューラルネットワークである畳み込みニューラルネットワークを用いた認識器を例示する。ニューラルネットワークとは、脳神経系の仕組みを模擬した情報処理の数理モデルである。ニューラルネットワークを用いた処理は、コンピュータを用いて実現することができる。

【0170】

認識器８０を構成するニューラルネットワーク８１は、入力層８２と、複数の中間層８４と、出力層８６と、を含む階層型ニューラルネットワークである。各層は複数の「ノード」を含む。図１２においてノードの図示は省略した。ある層に属するノードは、その層よりも出力側の層に属するノードと結合している。各ノードのノード間の結合の各々には、結合の重みが割り当てられる。それぞれの結合の重みは、機械学習を使用して決定される。

【0171】

認識器８０は、少なくとも第１の学習データセットを用いて認識性能が獲得された学習済みのニューラルネットワーク８１を備える。「学習済みのニューラルネットワーク」は「学習済みモデル」と呼ばれる。

【0172】

ニューラルネットワーク８１の入力から出力に向けたデータの流れの方向に沿って、入力側を「前」、出力側を「後ろ」と表現する。

【0173】

本例のニューラルネットワーク８１は、複数の中間層８４の一部に畳み込み層とプーリング層の組み合わせを含む畳み込みニューラルネットワークである。図１２では、ニューラルネットワーク８１の層構造を簡略化して示しているが、ニューラルネットワーク８１を構成する中間層８４の層数、及び各層の処理内容、並びに各層の配列順序は、特に制限されず、様々な組み合わせからなる層構造が採用され得る。

【0174】

畳み込み層は、前の層において局所領域内にあるノードにフィルタを適用した畳み込み演算を行い、特徴マップを取得する。畳み込み層は、フィルタが表す特徴的な濃淡構造を画像から抽出する特徴抽出の役割を担う。

【0175】

プーリング層は、畳み込み層から出力された特徴マップの局所領域を代表値で集約するプーリング処理を行う。プーリング層は、畳み込み層から出力された特徴マップを縮小して解像度を低下させた新たな特徴マップを生成する。プーリング層は、畳み込み層によって抽出された対象特徴量が位置変動に対して影響を受けないようにロバスト性を与える（位置変動に対する感度を低下させる）役割を担う。

【0176】

ニューラルネットワーク８１は、畳み込み層及びプーリング層の他に、正規化層及び全結合層のうち少なくとも１種の層を１層以上含んでもよい。また、中間層８４の各層は、必要に応じて活性化関数を含んでよい。

【0177】

正規化層は、画像の濃淡を正規化する処理を行う。例えば、正規化層は、畳み込み層の出力及びプーリング層の出力の少なくとも一方の出力に対して局所コントラスト正規化の処理を行う。

【0178】

全結合層は、隣接層間のノードの全てを結合した層である。全結合層は、出力層付近に配置され得る。例えば、全結合層は、畳み込み層とプーリング層を経て特徴が抽出された特徴マップを１つのノードに結合し、活性化関数を用いて特徴変数を出力する。一般に、畳み込みニューラルネットワークでは、最後のプーリング層から出力層の間に、全結合層が１層以上配置される。

【0179】

出力層８６は、例えば、全結合層からの出力を基に、ソフトマックス関数などを用いて、クラス分類を行う。

【0180】

画像認識部１４に画像を入力すると、学習済みのニューラルネットワーク８１によって処理が行われ、認識結果が出力される。

【0181】

《機械学習部の構成例》
図１３は、機械学習部２２の機能を示すブロック図である。機械学習部２２は、学習データ取得部１４０と、学習用認識器１４２と、出力取得部１４４と、誤差算出部１４６と、パラメータ更新量算出部１４８と、パラメータ更新処理部１５０と、パラメータ決定部１５２と、学習済みパラメータ出力部１５４と、を含む。機械学習部２２には、図示せぬ表示装置及び入力装置が接続されていてもよい。

【0182】

学習データ取得部１４０は、学習画像保存部２０から学習データを取得するインターフェースである。学習データ取得部１４０は、例えば、ネットワークと接続される通信インターフェースであってよい。学習データ取得部１４０を介して取得された学習データの学習用入力画像は、学習用認識器１４２に入力される。

【0183】

学習用認識器１４２は、画像認識部１４の認識器８０と同様の構成を備えた認識器である。学習用認識器１４２は、学習用入力画像を入力信号として、認識処理を行い、認識結果信号を出力する。

【0184】

出力取得部１４４は、学習用認識器１４２のニューラルネットワークから出力された認識結果信号を取得する。認識結果信号は出力取得部１４４を介して、誤差算出部１４６に入力される。なお、出力取得部１４４は、誤差算出部１４６の入力部であってよい。

【0185】

誤差算出部１４６は、学習用認識器１４２に入力された学習用入力画像に対応した共振信号と、実際に、学習用認識器１４２から得られた認識結果信号との誤差を算出する。誤差重み係数を用いる形態の場合、誤差算出部１４６は、学習用入力画像に設定されている誤差重み係数を用いて、重み付き誤差の算出を行う。誤差算出部１４６によって算出された誤差は、パラメータ更新量算出部１４８に送られる。

【0186】

パラメータ更新量算出部１４８は、誤差算出部１４６にて算出された誤差（重み付き誤差）を基に、学習用認識器１４２のニューラルネットワークのパラメータの更新量を算出する。パラメータ更新量算出部１４８は、例えば、ミニバッチ単位でパラメータの更新量を算出する。ここでの「パラメータ」は、ニューラルネットワークにおける各層の処理に用いるフィルタのフィルタ係数（結合の重み）やノードのバイアスなどを含む。

【0187】

パラメータ更新処理部１５０は、パラメータ更新量算出部１４８によって算出した更新量に従い、学習用認識器１４２のニューラルネットワークのパラメータを更新する処理を行う。

【0188】

なお、図１３の学習用認識器１４２のブロック内に示した白抜きの矢印は、認識処理の際のデータの流れ方向を示し、破線の矢印は学習に基づくパラメータの更新処理を含むフィードバックの流れ方向を示す。

【0189】

パラメータ決定部１５２は、予め定められた学習終了条件に従って学習を終了させ、学習用認識器のパラメータを決定する。こうして、決定された学習済みパラメータは、学習済みパラメータ出力部１５４を介して、画像認識部１４に送られる。

【0190】

学習済みパラメータ出力部１５４は、パラメータ決定部１５２により決定された学習済みパラメータを外部に出力するための出力インターフェースである。学習済みパラメータ出力部１５４は、例えば、通信インターフェースであってもよいし、信号出力端子であってもよい。

【0191】

《認識結果の表示及び修正の受け付けを行う表示画面の例》
図１４は、表示装置１７に表示される内視鏡診断支援画面の一例である。図１４に例示したウインドウ３００は、画像表示エリア３０１と、認識結果表示エリア３１０と、を含む。例えば、画像表示エリア３０１には、電子内視鏡を用いて撮影された内視鏡画像３０２がリアルタイムで表示される。図１４では、内視鏡画像３０２の画像内に、病変領域３０３が含まれている例が示されている。なお、１枚の画像内に複数の病変領域が含まれる場合がある。認識結果表示エリア３１０には、例えば、認識結果として「癌性」であるか、「非癌性」であるかを示す情報が表示される。

【0192】

また、ウインドウ３００は、修正ツールとしての修正指示入力ボタン３２１、３２２と、深刻度入力ボックス３２３と、ＯＫボタン３２４と、キャンセルボタン３２６とを含む。「ボタン」は、ＧＵＩ（Graphical User Interface）ボタンである。ＧＵＩボタンについて「押す」という表現には、クリックする、又はタッチするなど、ボタンに対応した指令の入力を行う動作が含まれる。

【0193】

修正指示入力ボタン３２１は、非癌性の認識結果を「癌性」に修正する指示を入力するためのボタンである。修正指示入力ボタン３２１が押されると、認識結果表示エリア３１０の表示内容が「非癌性」から「癌性」に変更される。修正指示入力ボタン３２１は、「偽陰性」のカテゴリを指定するボタンとしての役割も担う。

【0194】

修正指示入力ボタン３２２は、癌性の認識結果を「非癌性」に修正する指示を入力するためのボタンである。修正指示入力ボタン３２２が押されると、認識結果表示エリア３１０の表示内容が「癌性」から「非癌性」に変更される。修正指示入力ボタン３２２は、「偽陽性」のカテゴリを指定するボタンとしての役割も担う。

【0195】

深刻度入力ボックス３２３は、深刻度を入力するためのボックスである。深刻度入力ボックス３２３のドロップダウンアロー（drop-down arrow）３２３Ａを押すと、図示せぬドロップダウンメニューが表示される。ドロップダウンメニューには、深刻度入力ボックス３２３に入力可能な候補が提示される。ユーザは、ドロップダウンメニューの中から所望の候補を選択することにより、深刻度を入力することができる。

【0196】

ＯＫボタン３２４は、認識結果表示エリア３１０及び深刻度入力ボックス３２３に表示されている情報内容を承認する指令を入力するボタンである。

【0197】

ユーザが認識結果を修正する操作を行った後、ＯＫボタン３２４を押すと、指示された修正の処理が実行され、追加学習用の学習データが生成される。

【0198】

キャンセルボタン３２６は、認識結果の修正の指示及び深刻度の入力を取り消す際に選択されるボタンである。ユーザは、キャンセルボタン３２６を押すことによって、修正の指示や深刻度の入力をやり直すことができる。

【0199】

なお、図１４に示した深刻度入力ボックス３２３に代えて、又はこれと組み合わせて、症例の希少度を入力するための希少度入力ボックスを設けてもよい。

【0200】

《学習画像保存部に保存された学習データの集合体の例》
図１５は、学習画像保存部２０に保存された学習データの集合体の例を示す概念図である。学習画像保存部２０には、第１の学習に用いた第１の学習データセットと、認識結果の修正に伴って生成されたレアケースの学習データセットとが保存される。学習画像保存部２０において、第１の学習データセットと、レアケースの学習データセットをグループ分けして管理する構成が好ましい。なお、レアケースの学習データセットを、「第２の学習データセット」と呼んでもよい。

【0201】

学習データの各々には、データ識別符号としてのデータＩＤ（Identification）が付与されており、入力用の画像と、正解と、修正の有無と、重みとが関連付けされている。また、図１５には示されていないが、レアケースの学習データについて、さらに、「深刻度」及び／又は「希少度」が関連付けされていてもよい。

【0202】

なお、「重み」は、「修正の有無」を反映して決定されるため、「重み」が修正の有無を示しているとも理解される。図１５に例示のデータ構造から「修正の有無」を省略することもできる。また、逆に、「修正の有無」から特定の規則にしたがって「重み」を定めることができるため、「修正の有無」を残して、図１５に例示のデータ構造から「重み」を省略することもできる。

【0203】

第１の学習データセットについては、すべて「修正無し」かつ「重み」は共通の標準値「1.0」であるため、第１の学習データセットに関して、修正の有無と、重みを省略することもできる。

【0204】

学習を行う際には、学習画像保存部２０に保存されているすべての学習データを使用することが好ましい。すなわち、１エポックの単位で、第１の学習データセットとレアケースの学習データセットのすべての学習データを少なくとも１回使用することが好ましい。ミニバッチ内において、第１の学習データセットに属する学習データと、レアケースの学習データセットに属する学習データとを混在させてよい。

【0205】

《各処理部及び制御部のハードウェア構成について》
第１実施形態から第８実施形態の各実施形態で説明した画像取得部１２、画像認識部１４、認識結果修正部１６、機械学習部２２、寄与度合い設定部３２、深刻度設定部３６、希少度設定部４０などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

【0206】

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0207】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0208】

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0209】

《コンピュータのハードウェア構成の例》
図１６は、本発明の実施形態に係る画像システムの機能の一部又は全部を実現する装置として用いることができるコンピュータのハードウェア構成の例を示すブロック図である。コンピュータには、デスクトップ型、ノート型、又はタブレット型など、各種形態のコンピュータが含まれる。また、コンピュータは、サーバコンピュータであってもよいし、マイクロコンピュータであってもよい。

【0210】

コンピュータ５００は、ＣＰＵ５０２と、メモリ５０４と、ＧＰＵ５０６と、記憶装置５０８と、入力インターフェース部５１０と、ネットワーク接続用の通信インターフェース部５１２と、表示制御部５１４と、周辺機器用インターフェース部５１６と、バス５１８と、を備える。図１６において「ＩＦ」の表記は「インターフェース」を表す。

【0211】

記憶装置５０８は、例えば、ハードディスク装置を用いて構成されてよい。記憶装置５０８には、学習処理及び／又は認識処理等の画像処理に必要な各種プログラムやデータ等が記憶されている。記憶装置５０８に記憶されているプログラムがメモリ５０４にロードされ、これをＣＰＵ５０２が実行することにより、コンピュータは、プログラムで規定される各種の処理を行う手段として機能する。記憶装置５０８は、学習画像保存部２０として用いることができる。

【0212】

入力装置５２０は入力インターフェース部５１０に接続される。表示装置５３０は表示制御部５１４に接続される。入力装置５２０と表示装置５３０は、図１で説明した入力装置１８と表示装置１７として機能し得る。

【0213】

《コンピュータを動作させるプログラムについて》
上述の実施形態で説明した学習データの生成機能、認識モデルを用いた認識機能、及び学習機能のうち少なくとも１つの処理機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

【0214】

また、上述の実施形態で説明した学習データの生成機能、認識機能、及び学習機能のうち少なくとも１つの処理機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

【0215】

《本発明の実施形態による利点》
上述した本発明の実施形態によれば、次のような作用効果が得られる。

【0216】

（１）実際の医療現場で画像認識部１４の認識機能を活用しながら、その認識結果に対してユーザが修正を加えたレアケースのデータを、追加学習用の学習データとして効率良く収集することができる。

【0217】

（２）認識結果の修正に伴って生成されたレアケースの学習データの学習への寄与の度合いを相対的に大きくして学習を行うことにより、レアケースの認識精度を重点的に向上させることができる。

【0218】

（３）本実施形態によって得られたレアケースのデータを含む学習データの集合体は、レアケースの認識性能の向上に役立つ有益なデータセットとなり得る。

【0219】

（４）未知のレアケースのデータが取得された場合に、認識器の認識性能を随時更新することができ、医師等にとって有益な診断支援を行うことができる。

【0220】

《変形例１》
画像取得部１２を介して取得される画像は、電子内視鏡などからリアルタイムで得られる医療画像に限らず、図示せぬ画像保存サーバなどに保存されている静止画、又は動画のデータであってもよい。

【0221】

《変形例２》
上述の実施形態では、医療画像を扱う画像システムを例示したが、本発明は、医療画像に限らず、様々な用途又は画像種類の画像を扱う画像システムに適用することができる。また、本発明は、画像認識に限らず、音声認識、或いは言語認識などの処理を行うシステムについても同様に適用可能である。

【0222】

《変形例３》
図１で説明した画像システム１０の機能の一部又は全部は、診察、治療、診断などの支援を行うワークステーションに搭載されてもよいし、医療業務を支援する業務支援装置に搭載されてもよい。業務支援装置は、臨床情報の蓄積、診断書類の作成支援、レポート作成支援などを行う機能を備えていてよい。

【0223】

《実施形態及び変形例等の組み合わせについて》
上述した各実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

【0224】

［その他］
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。

【符号の説明】

【0225】

１０ 画像システム
１２ 画像取得部
１４ 画像認識部
１６ 認識結果修正部
１７ 表示装置
１８ 入力装置
２０ 学習画像保存部
２２ 機械学習部
３２ 寄与度合い設定部
３４ 重みテーブル記憶部
３６ 深刻度設定部
３８ 変換テーブル記憶部
４０ 希少度設定部
４２ 変換テーブル記憶部
５０ クラウド
８０ 認識器
８１ ニューラルネットワーク
８２ 入力層
８４ 中間層
８６ 出力層
１０２、１０３、１０４ 画像システム
１１１、１２１ エッジ
１４０ 学習データ取得部
１４２ 学習用認識器
１４４ 出力取得部
１４６ 誤差算出部
１４８ パラメータ更新量算出部
１５０ パラメータ更新処理部
１５２ パラメータ決定部
１５４ パラメータ出力部
３００ ウインドウ
３０１ 画像表示エリア
３０２ 内視鏡画像
３０３ 病変領域
３１０ 認識結果表示エリア
３２１、３２２ 修正指示入力ボタン
３２３ 深刻度入力ボックス
３２３Ａ ドロップダウンアロー
３２４ ＯＫボタン
３２６ キャンセルボタン
５００ コンピュータ
５０２ ＣＰＵ
５０４ メモリ
５０６ ＧＰＵ
５０８ 記憶装置
５１０ 入力インターフェース部
５１２ 通信インターフェース部
５１４ 表示制御部
５１６ 周辺機器用インターフェース部
５１８ バス
５２０ 入力装置
５３０ 表示装置
Ｓ１２〜Ｓ２４ 認識処理及び学習データ生成処理のステップ
Ｓ３２〜Ｓ４４ 学習処理のステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】