特開 2023-58726 データ生成装置、データ生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023058726

(43)【公開日】2023-04-25

(54)【発明の名称】データ生成装置、データ生成方法及びプログラム

(51)【国際特許分類】

   G06V 10/774 20220101AFI20230418BHJP

   G06T 7/00 20170101ALI20230418BHJP

【ＦＩ】

G06V10/774

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023025993

(22)【出願日】2023-02-22

(62)【分割の表示】P 2022514063の分割

【原出願日】2021-04-05

(31)【優先権主張番号】P 2020068413

(32)【優先日】2020-04-06

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】304027279

【氏名又は名称】国立大学法人 新潟大学

(71)【出願人】

【識別番号】000003296

【氏名又は名称】デンカ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100127247

【弁理士】

【氏名又は名称】赤堀 龍吾

(74)【代理人】

【識別番号】100152331

【弁理士】

【氏名又は名称】山田 拓

(72)【発明者】

【氏名】奥田 修二郎

(72)【発明者】

【氏名】渡邉 由

(72)【発明者】

【氏名】井筒 浩

(72)【発明者】

【氏名】兒玉 啓輔

(57)【要約】

【課題】画像に関する学習用データを、より簡易に生成することを可能にする技術を提供すること。
【解決手段】画像と、画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させる表示制御部と、複数の部分画像の各々に付与される、ラベルの入力を受け付ける入力部と、複数の部分画像の各々と、複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成する生成部と、を有するデータ生成装置を提供する。
【選択図】図４

【特許請求の範囲】

【請求項1】

画像と、前記画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させる表示制御部と、
前記複数の部分画像の各々に付与される、ラベルの入力を受け付ける入力部と、
前記複数の部分画像の各々と、前記複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成する生成部と、
を有するデータ生成装置。

【請求項2】

前記画像は、複数の画像を含み、
前記入力部は、前記複数の画像に対応する画像種別に関する情報の入力を受け付け、
前記入力部に入力された前記画像種別に応じて定められた変更方法に従って、前記複数の画像の色に関する画素値を変更する変更部、を更に有する、
請求項１に記載のデータ生成装置。

【請求項3】

前記変更方法には、前記複数の画像における各画素のＲＧＢ値を標準化した値に変更する方法、及び、前記複数の画像における各画素のＲＧＢ値をランダムに変更する方法が含まれる、
請求項２に記載のデータ生成装置。

【請求項4】

前記表示制御部は、前記複数の部分画像の各々に付与するラベルの目標値であるラベルごとの比率を示す情報と、前記複数の部分画像に対して付与されたラベルごとの比率の実績値を示す情報との両方を表示させる、
請求項１～３のいずれか一項に記載のデータ生成装置。

【請求項5】

前記入力部は、前記複数の部分画像のうち、所定条件を満たす部分画像については、ラベルの入力を受け付けないようにし、
前記生成部は、前記複数の部分画像のうち、ラベルの入力が受け付けられなかった部分画像については、前記学習用データに含めないようにする、
請求項１～４のいずれか一項に記載のデータ生成装置。

【請求項6】

前記複数の部分画像は、前記画像内における基準となる点から所定距離ずらした点を基準に、前記画像を右左方向及び上下方向に所定間隔で分割することで生成される画像であり、
前記入力部は、前記所定距離の指定を受け付ける、
請求項１～５のいずれか一項に記載のデータ生成装置。

【請求項7】

データ生成装置が実行するデータ生成方法であって、
画像と、前記画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させるステップと、
前記複数の部分画像の各々に付与される、ラベルの入力を受け付けるステップと、
前記複数の部分画像の各々と、前記複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成するステップと、
を含むデータ生成方法。

【請求項8】

コンピュータに、
画像と、前記画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させるステップと、
前記複数の部分画像の各々に付与される、ラベルの入力を受け付けるステップと、
前記複数の部分画像の各々と、前記複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ生成装置、データ生成方法及びプログラムに関する。

【背景技術】

【0002】

現在、人工知能を利用して病理画像を解析し、病理診断を行うシステムが知られている。例えば、特許文献１には、注釈を付けた複数のデジタル病理画像を用いて機械学習アルゴリズムを学習させること、学習により生成された識別モデルを使用して異常画像パターンが病理学的異常に対応するかどうかを識別すること等が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１９－５２５１５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

学習モデルを学習させるためには、学習用データとして、異常有無を示すラベルを含む病理画像を大量に用意する必要がある。このとき、病理画像に異常が含まれるのか否かは医師による判断が必要であることから、大量の学習用データを生成する際、医師の負担が非常に大きいという課題があった。なお、同様の課題は、病理画像に限定されず、どのような種類の画像にも生じ得る。

【0005】

そこで、本発明は、画像に関する学習用データを、より簡易に生成することを可能にする技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係るデータ生成装置は、画像と、画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させる表示制御部と、複数の部分画像の各々に付与される、ラベルの入力を受け付ける入力部と、複数の部分画像の各々と、複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成する生成部と、を有する。

【発明の効果】

【0007】

本発明によれば、画像に関する学習用データを、より簡易に生成することを可能にする技術を提供することができる。

【図面の簡単な説明】

【0008】

【図1】病理画像に異常が存在するか否かを判定する画像処理システムの一例を示す図である。

【図2】データ生成装置のハードウェア構成例を示す図である。

【図3】データ生成装置の機能ブロック構成例を示す図である。

【図4】データ生成装置が行う処理手順の一例を示すフローチャートである。

【図5】ラベル付けを行う画面の一例を示す図である。

【図6】病理画像を分割する処理を説明するための図である。

【発明を実施するための形態】

【0009】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。なお、本実施形態は、入力された病理画像から、病理画像に関する学習用データを生成する場合を例に説明するが、これに限定されない。本実施形態は、様々な画像から学習用データを生成する場合に適用することが可能である。例えば、超音波画像、ＣＴ画像及び内視鏡画像等の医療用途に関する２次元画像データに適用することも可能である。また、医療用途以外の画像にも適用することも可能である。

【0010】

＜システム構成＞
図１は、病理画像に異常が存在するか否かを判定する画像処理システム１の一例を示す図である。データ生成装置１０は、データ生成装置１０に入力された病理画像を用いて、診断装置２０が備える学習モデルを学習させるための学習用データ（教師データ）を生成する装置である。診断装置２０は、データ生成装置１０で生成された学習用データを用いて学習した学習済モデルを用いて、病理画像に異常が存在するか否かの判定を行う装置である。データ生成装置１０及び診断装置２０は、無線又は有線の通信ネットワークＮを介してお互いに通信することができる。

【0011】

データ生成装置１０は、データ生成装置１０に入力された病理画像と、当該病理画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示する。部分画像は、タイルと称してもよい。部分画像のサイズ（縦方向及び横方向のピクセル数）は、学習モデルに入力可能な学習用データと同一サイズである。また、データ生成装置１０は、画面に表示された部分画像１枚１枚について、データ生成装置１０を利用する病理医等（以下、「ユーザ」と言う。）から、部分画像に付与する、病理に関するラベルの入力を受け付ける。以下の説明では、ラベルは、部分画像に病理学上の異常が存在するか否かを示す２種類のラベルである前提で説明するが、本実施形態がこれに限定されるものではない。本実施形態は、３種類以上のラベルを付与する場合にも適用することができる。

【0012】

データ生成装置１０は、１枚の病理画像から学習用データを生成してもよいし、複数の病理画像から学習用データを生成してもよい。複数の病理画像から学習用データを生成する場合、データ生成装置１０は、病理画像を複数の部分画像に分割してラベルの入力を受け付ける処理を、病理画像ごとに繰り返す。全ての病理画像についてユーザによるラベルの付与が完了すると、データ生成装置１０は、各部分画像の画像データと、各部分画像に付与されたラベルとを対応づけることで学習用データを生成する。生成された学習用データは、診断装置２０に送られる。

【0013】

診断装置２０は、データ生成装置１０から送られてきた学習用データを用いて学習モデルを学習（訓練）させる。学習モデルとは、例えば、学習により所定の能力を持たせることが可能なニューラルネットワークである。診断装置２０は、学習により生成された学習済みモデルに診断対象の病理画像を入力し、学習済みモデルからの出力結果に基づいて、当該病理画像に異常が存在するか否かを判断する。

【0014】

なお、図１の例では、データ生成装置１０は１つの情報処理装置として図示されているが、本実施形態はこれに限定されない。例えば、データ生成装置１０は、１又は複数の物理的なサーバ等から構成されていてもよいし、ハイパーバイザー（hypervisor）上で動作する仮想的なサーバを用いて構成されていてもよいし、クラウドサーバを用いて構成されていてもよい。

【0015】

＜ハードウェア構成＞
図２は、データ生成装置１０のハードウェア構成例を示す図である。データ生成装置１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical processing unit）等のプロセッサ１１、メモリ、ＨＤＤ（Hard Disk Drive）及び／又はＳＳＤ（Solid State Drive）等の記憶装置１２、有線又は無線通信を行う通信ＩＦ（Interface）１３、入力操作を受け付ける入力デバイス１４、及び情報の出力を行う出力デバイス１５を有する。入力デバイス１４は、例えば、キーボード、タッチパネル、マウス及び／又はマイク等である。出力デバイス１５は、例えば、ディスプレイ、タッチパネル及び／又はスピーカ等である。

【0016】

＜機能ブロック構成＞
図３は、データ生成装置１０の機能ブロック構成例を示す図である。データ生成装置１０は、記憶部１００と、表示制御部１０１と、入力部１０２と、生成部１０３と、画像処理部１０４とを含む。記憶部１００は、データ生成装置１０が備える記憶装置１２を用いて実現することができる。また、表示制御部１０１と、入力部１０２と、生成部１０３と、画像処理部１０４とは、データ生成装置１０のプロセッサ１１が、記憶装置１２に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Non-transitory computer readable medium）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。

【0017】

記憶部１００は、学習用データの生成に用いる１以上の病理画像（画像）を格納する病理画像ＤＢ（画像ＤＢ）と、ユーザにより部分画像に付与されたラベルを格納するラベルＤＢと、生成された学習用データを格納する学習用データＤＢとを記憶する。

【0018】

表示制御部１０１は、ディスプレイ等の出力デバイス１５や、データ生成装置１０と通信する他の情報処理装置等に、本実施形態に係る各種の画面を表示させる。また、表示制御部１０１は、病理画像（画像）に、部分画像の境界線を重ねた画面を表示させる。

【0019】

入力部１０２は、ユーザから各種の入力を受け付ける。また、入力部１０２は、入力デバイス１４を介して、ユーザから、複数の部分画像の各々に付与するラベルの入力を受け付ける。入力部１０２は、各部分画像に付与されたラベルを、ラベルＤＢに格納する。入力部１０２は、例えば、各部分画像を一意に識別する部分画像ＩＤと、各部分画像に付与されたラベルとを対応づけてラベルＤＢに格納するようにしてもよい。ラベルの入力は、例えば、画面上に表示された各部分画像の中からラベルを入力する部分画像を選択し、当該部分画像に付与するラベルを指定を受け付けることで行われることとしてもよい。

【0020】

また、入力部１０２は、複数の病理画像（複数の画像）から学習用データを生成する場合、複数の病理画像に対応する病理の種別（複数の病理画像に共通である病理の種別、複数の画像に対応する画像種別）に関する情報の入力を受け付けるようにしてもよい。

【0021】

生成部１０３は、複数の部分画像の各々と、入力部１０２により当該複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成する。例えば、生成部１０３は、ラベルＤＢから、部分画像ＩＤとラベルとを取得すると共に、病理画像ＤＢ（画像ＤＢ）に格納されている病理画像（画像）から、部分画像ＩＤに対応する部分画像の画像データを抽出する。続いて、生成部１０３は、抽出した部分画像の画像データと、部分画像ＩＤに対応するラベルとを組み合わせることで、学習用データを生成する。

【0022】

画像処理部１０４は、入力部１０２に入力された病理の種別（画像種別）に応じて定められた色の変更方法に従って、複数の病理画像（複数の画像）の色を変更する。当該変更方法には、複数の病理画像（複数の画像）における各画素のＲＧＢ値を標準化した値に変更する方法、及び、複数の病理画像（複数の画像）における各画素のＲＧＢ値をランダムに変更する方法が含まれていてもよい。

【0023】

＜処理手順＞
図４は、データ生成装置１０が行う処理手順の一例を示すフローチャートである。まず、入力部１０２は、ユーザから、学習用データの生成に用いる病理画像の入力を受け付け、入力された病理画像を病理画像ＤＢに格納する（Ｓ１０）。病理画像は、異常かどうかの判断を付けやすくするため、染色されることが通常行われる。染色方法としては、ヘマトキシリン・エオジン染色、PAS染色、メイ・ギムザ染色、アルシアンブルー染色、パパニコロウ染色、アザン染色、エラスチカ・ワンギーソン染色、エラスチカ・マッソン染色などが例として挙げられる。なお、ユーザは、複数の病理画像を入力する場合、病理の種別が同一である病理画像を入力する。以下の説明では、ユーザにより複数の病理画像が入力されたものとする。

【0024】

続いて、入力部１０２は、ユーザから、ステップＳ１０の処理手順で入力された複数の病理画像について、病理の種別に関する情報の入力を受け付ける（Ｓ１１）。入力可能な病理の種別は、例えば、「腫瘍」又は「超変異」のいずれか一方であってもよい。ユーザは、複数の病理画像の各々が腫瘍の画像である場合、病理の種別として「腫瘍」を入力し、複数の病理画像の各々が超変異の画像である場合、病理の種別として「超変異」を入力する。

【0025】

続いて、画像処理部１０４は、ステップＳ１１の処理手順で入力された病理の種別に応じた色の変更方法に従って、複数の病理画像の色を変更する（Ｓ１２）。例えば、病理の種別が「腫瘍」である場合、色の変更方法は、複数の病理画像における各画素のＲＧＢ値を標準化した値に変更することであってもよい。まず、画像処理部１０４は、複数の病理画像内の全ての画素について、Ｒ（Ｒｅｄ）値の平均値及び標準偏差、Ｇ（Ｇｒｅｅｎ）値の平均値及び標準偏差、Ｂ（Ｂｌｕｅ）値の平均値及び標準偏差を算出する。続いて、画像処理部１０４は、複数の病理画像内の全ての画素の各々のＲ値について、Ｒ値の平均値及び標準偏差を用いて標準化を行う。具体的には、「標準化したＲ値＝（Ｒ値－Ｒ値の平均値）÷Ｒ値の標準偏差」の式を用いることで、標準化したＲ値を算出することができる。同様の計算をＧ値及びＢ値についても行うことで、標準化したＧ値及び標準化したＢ値を算出する。これにより、複数の病理画像の色味を均一にすることができる。

【0026】

また、病理の種別が「超変異」である場合、色の変更方法は、複数の病理画像における各画素のＲＧＢ値を、病理画像ごとにランダムにシフトさせる方法であってもよい。まず、画像処理部１０４は、病理画像ごとに、ＲＧＢ値をシフトさせる数をランダムに決定し、決定した値で、Ｒ値、Ｇ値及びＢ値をシフトさせる。例えば、画像処理部１０４は、１枚目の病理画像について、ＲＧＢ値をシフトさせる数を「５」と決定した場合、当該病理画像に含まれる各画素のＲ値、Ｇ値及びＢ値に、５を加算する。続いて、画像処理部１０４は、２枚目の病理画像について、ＲＧＢ値をシフトさせる数を「－２」と決定した場合、当該病理画像に含まれる各画素のＲ値、Ｇ値及びＢ値に、－２を加算する。画像処理部１０４は、同様の処理を全ての病理画像について繰り返す。これにより、複数の病理画像の色味をばらつかせることができる。

【0027】

続いて、表示制御部１０１は、入力された複数の病理画像の中から１つの病理画像を選択し、選択した病理画像に、部分画像の境界線を重ねた画面を表示させる（Ｓ１３）。続いて、入力部１０２は、部分画像ごとに、付与するラベルの入力を受け付ける（Ｓ１４）。入力された複数の病理画像が腫瘍の画像である場合、ユーザが各部分画像に付与するラベルは、部分画像が腫瘍の画像であることを示すラベル、又は、部分画像は腫瘍の画像ではないことを示すラベルのいずれかである。また、入力された複数の病理画像が超変異の画像である場合、ユーザが各部分画像に付与するラベルは、部分画像が超変異の画像であることを示すラベル、又は、部分画像は超変異の画像ではないことを示すラベルのいずれかである。

【0028】

入力部１０２は、受け付けたラベルを、部分画像ＩＤと対応づけてラベルＤＢに格納する。データ生成装置１０は、各部分画像についてラベルの入力が完了していない場合（Ｓ１５－Ｎｏ）、ステップＳ１４の処理手順を繰り返す。各部分画像についてラベルの入力が完了した場合（Ｓ１５－Ｙｅｓ）、生成部１０３は、ラベル付けが完了した各部分画像の画像データに、付与されたラベルを対応づけることで学習用データを生成する（Ｓ１６）。ラベルの入力が完了したか否かの判定については、画面上で所定のボタン（例えば学習用データの生成を開始するボタン等）が押下されたことを入力部１０２が検出したか否かにより行われてもよい。若しくは、所定枚数の部分画像にラベルが付与されたか否かにより行われてもよい。また、所定枚数の部分画像にラベルが付与され、かつ、付与されたラベルの比率（ラベルの種類ごとの比率）が所定の範囲内である場合（例えば、腫瘍の画像を示すラベルと腫瘍の画像ではないことを示すラベルとの比率が概ね１：４である等）に、ラベルの付与が完了したと自動的に判定が行われてもよい。

【0029】

生成部１０３は、生成した学習用データを、ラベルごとにフォルダ分けして学習用データＤＢに格納するようにしてもよい。例えば腫瘍有りのラベルが付与された部分画像の画像データと、腫瘍無しのラベルが付与された部分画像の画像データとを別々のフォルダに格納するようにしてもよい。

【0030】

以上説明した処理手順において、組織が存在していない部分が所定の割合以上である部分画像（所定条件を満たす部分画像）については、学習用データから除外するようにしてもよい。例えば、入力部１０２は、ステップＳ１４の処理手順において、各病理画像における複数の部分画像のうち、特定色の部分（例えば白色部分）が所定の割合以上である部分画像については、ラベルの入力を受け付けないようにしてもよい。また、生成部１０３は、ステップＳ１６の処理手順において、複数の部分画像のうち、入力部１０２でラベルの入力を受け付けなかった部分画像については、生成する学習用データに含めないようにしてもよい。これにより、学習モデルの学習に不適切な学習用データが生成されることを抑止することができる。

【0031】

図５は、ラベル付けを行う画面の一例を示す図である。図５は、病理画像が腫瘍細胞を含む画像である場合の例を示している。選択メニューＭ１０は、ユーザが入力した病理画像の種別を指定するメニューである。選択メニューＭ１１は、複数の病理画像が入力された場合に、画面に表示する病理画像を指定するメニューである。図５の例では、腫瘍細胞に関する病理画像が４０枚入力されており、現在は３枚目の病理画像が表示されていることが示されている。

【0032】

図５の表示エリアＷ１０には、病理画像の一部を拡大した画像の上に、格子状の境界線が重ねて表示されている。表示エリアＷ１０において、境界線で囲まれた１つの領域が１つの部分画像に該当する。また、オーバービュー表示エリアＷ１１には、病理画像全体の画像と、病理画像のうち表示領域Ｗ１０に拡大表示されている領域を示す表示枠Ｖ１１とが表示される。表示枠Ｖ１１は、例えばマウス操作等により位置又は大きさを任意に変更可能としてもよい。入力部１０２は、表示枠Ｖ１１の位置又は大きさの変更を受け付けた場合、表示制御部１０１は、変更された表示枠Ｖ１１の位置及び大きさに応じて、表示領域Ｗ１０に拡大表示する病理画像を変更する。

【0033】

部分画像の大きさ（縦方向及び横方向の画素数）は、学習対象の学習モデルに応じて予め定められることから、ユーザが任意に変更することはできないこととしてもよい。図５の例では、部分画像の大きさは、縦方向に３００画素（ピクセル）、横方向に３００画素（ピクセル）であることが表示されている。

【0034】

また、表示エリアＷ１０には、ユーザからラベルの入力を受け付ける部分画像の位置を示す表示枠Ｔ１０が表示されている。表示枠Ｔ１０の位置は、ユーザがラベルを入力したい部分画像を選択することで任意に変更することができる。表示枠Ｔ１０が表示されることで、ユーザは、どの位置の部分画像についてラベルを付与しようとしているのかを認識することができる。

【0035】

また、ラベルの入力が完了した部分画像については、入力されたラベルを示す情報が部分画像に重ねて表示される。図５の例では、部分画像が腫瘍細胞の画像であることを示すラベルが付与された部分画像については、左上に「Ｔ」の文字が表示され、部分画像が腫瘍細胞の画像ではないことを示すラベルが付与された部分画像については、左上に「Ｎ」の文字が表示されている。

【0036】

表示制御部１０１は、ラベル付けを行う画面に、複数の部分画像の各々に付与するラベルの目標値であるラベルごとの比率を示す情報と、複数の部分画像に付与されたラベルごとの比率の実績値を示す情報との両方を表示させるようにしてもよい。例えば、学習用データとして、腫瘍細胞の画像と腫瘍ではない画像との比率を１：４とした場合に、学習モデルの認識精度が高くなるといった条件が存在すると仮定する。図５の例では、ラベル付けする際の基準を表示するメモ表示領域Ａ１０に、目標値として「TとNのラベル比率の目標値は、T：N＝1：4です」との基準が表示されている。これは、Tをラベル付けした部分画像の数と、Nをラベル付した部分画像の数の比率が、１：４になるようにラベルを付与することが望ましいことを示している。また、表示領域Ｎ１０には、複数の部分画像に付与されたラベルごとの比率の実績値を示す情報として、既に付与されたラベルの比率が表示されている。つまり、図５の例では、Tをラベル付けした部分画像の数と、Nをラベル付した部分画像の数の比率を１：４にすることが望ましいが、現時点では、Tをラベル付けした部分画像の数と、Nをラベル付した部分画像の数の比率は１：２であることが示されている。従って、ユーザは、表示領域Ｎ１０に表示される比率が１：４になるまで、腫瘍細胞の画像ではない部分画像を探してラベル付けする必要があると認識することができる。

【0037】

また、表示制御部１０１は、ラベル付けを行う画面に、ラベル付けする部分画像の数の目標値と、ラベルが付与された部分画像の数の実績値を示す情報との両方を表示させるようにしてもよい。例えば、学習用データとして、２，０００枚の画像を学習させた場合に学習モデルの認識精度が高くなるといった条件が存在すると仮定する。図５の例では、メモ表示領域Ａ１０に、目標値として「ラベル付けするタイル数の目標枚数は、２，０００枚です」との基準が表示されている。これは、ラベルを付与するユーザは、２，０００枚の部分画像にラベルを付与することが望ましいことを示している。また、表示領域Ｎ１１には、ラベルを付与済みである部分画像の数の実績値が表示されている。これにより、ユーザは、更に１，０００枚の部分画像にラベルを付与する必要があると認識することができる。

【0038】

複数の部分画像は、病理画像内における基準となる点（例えば左上の画素）から、右方向及び下方向に所定間隔（例えば右方向に３００ピクセル間隔、下方向に３００ピクセル間隔等）で分割することで生成される画像であってもよい。これに限定されず、複数の部分画像は、病理画像内における基準となる点から所定距離ずらした点を左右方向及び上下方向に所定間隔（例えば右左方向に３００ピクセル間隔、上下方向に３００ピクセル間隔等）で分割することで生成される画像であってもよい。例えば、病理画像内における基準となる点（左上の画像）から右方向及び／又は下方向に所定距離ずらした点（画素）を基準に、病理画像を右方向及び下方向に所定間隔で分割することで生成される画像とするようにしてもよい。オフセット値指定領域Ｍ１２は、病理画像内における基準となる点を、右方向に何ピクセルずらすのかを指定する領域である。オフセット値指定領域Ｍ１３は、病理画像内における基準となる点を、下方向に何ピクセルずらすのかを指定する領域である。入力部１０２により、所定距離の指定が受け付けられると、表示制御部１０１は、病理画像の左上の点から指定された所定距離ずらした点を基準に、部分画像を分割して画面に表示する。

【0039】

図６を用いて具体例を説明する。部分画像Ｐ１は、病理画像の左上を基準に、右方向及び下方向に所定間隔で分割することで部分画像を生成する場合において、病理画像の最も左上に位置する部分画像を示しており、部分画像Ｐ６は、部分画像Ｐ１の右隣りの部分画像を示している。この状態で、図５のオフセット値指定領域Ｍ１２及びＭ１３に、それぞれ５０ピクセル及び０ピクセルが入力されたとする。この場合、病理画像の左上から右に５０ピクセルずらした点を基準に、部分画像Ｐ２が生成される。同様に、図５のオフセット値指定領域Ｍ１２及びＭ１３に、それぞれ１００ピクセル及び０ピクセルが入力されたとする。この場合、病理画像の左上から右に１００ピクセルずらした点を基準に、部分画像Ｐ３が生成される。

【0040】

＜まとめ＞
以上説明した実施形態によれば、データ生成装置１０は、画像を複数の部分画像に分割して表示し、部分画像ごとに、ユーザからラベルの入力を受け付けるようにした。これにより、画像に関する学習用データを、より簡易に生成することが可能になる。

【0041】

また、データ生成装置１０は、複数の画像に対応する画像種別に応じて定められた画素値の変更方法に従って、複数の病理画像の色に関する画素値を変更するようにした。これにより、画像種別に応じて、複数の画像の色味を、学習モデルの学習に適したより適切な色味に変更することができ、より認識精度の高い学習モデルを生成することが可能になる。

【0042】

また、データ生成装置１０は、各部分画像に付与するラベルの種別ごとの比率について、目標値と実績値とを表示するようにした。これにより、ユーザは、実績値が目標値に近づくように、各部分画像にラベルを付与することができることから、より認識精度の高い学習モデルを生成するための学習用データの生成を効率的に行うことが可能になる。

【0043】

また、データ生成装置１０は、画像を部分画像に分割する際に、画像上の任意の点（画素）を基準として部分画像に分割することを可能とした。これにより、ユーザは、ラベル付けを行った後、画像を部分画像に分割する際の基準点をずらして再度ラベル付けを行う作業を繰り返すことで、入力される画像の枚数が少ない場合であっても多数の学習用データを生成することが可能になる。

【0044】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0045】

１…画像処理システム、１０…データ生成装置、１１…プロセッサ、１２…記憶装置、１３…通信ＩＦ、１４…入力デバイス、１５…出力デバイス、２０…診断装置、１００…記憶部、１０１…表示制御部、１０２…入力部、１０３…生成部、１０４…画像処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】