特開 2024-25181 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024025181

(43)【公開日】2024-02-26

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240216BHJP

   G06V 10/82 20220101ALI20240216BHJP

   G16H 30/40 20180101ALI20240216BHJP

【ＦＩ】

G06T7/00 630

G06T7/00 350B

G06V10/82

G16H30/40

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022128419

(22)【出願日】2022-08-10

【国等の委託研究の成果に係る記載事項】（出願人による申告）２０１９年度、国立研究開発法人医薬基盤・健康・栄養研究所、戦略的イノベーション創造プログラム ＡＩ（人工知能）ホスピタルによる高度診断・治療システム、人工知能を有する統合がん診療支援システム委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000173588

【氏名又は名称】公益財団法人がん研究会

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】高松 学

(72)【発明者】

【氏名】津山 直子

(72)【発明者】

【氏名】溝部 秀謙

(72)【発明者】

【氏名】植野 峻也

【テーマコード（参考）】

5L096

5L099

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096CA02

5L096DA01

5L096DA02

5L096EA13

5L096EA14

5L096EA15

5L096EA16

5L096FA59

5L096FA67

5L096HA11

5L096KA04

5L099AA26

(57)【要約】

【課題】撮影条件の違いにより生じる特徴量の差異を低減すること。
【解決手段】情報処理装置は、画像取得部と、機械学習部と、を備える。前記画像取得部は、病理検体を撮影した第１の画像と、当該病理検体を前記第１の画像の撮影条件とは異なる撮影条件で撮影した第２の画像とを取得する。前記機械学習部は、画像の特徴を表す特徴量を出力する第１の特徴量抽出器により出力された前記第１の画像の特徴量と、前記第１の特徴量抽出器により出力された前記第２の画像の特徴量との誤差を示す損失値が、前記第１の画像の病理検体が有する特徴と前記第２の画像の病理検体が有する特徴との一致度に応じた値になるように、前記第１の特徴量抽出器のパラメータを更新する。
【選択図】図１

【特許請求の範囲】

【請求項1】

病理検体を撮影した第１の画像と、当該病理検体を前記第１の画像の撮影条件とは異なる撮影条件で撮影した第２の画像とを取得する画像取得部と、
画像の特徴を表す特徴量を出力する第１の特徴量抽出器により出力された前記第１の画像の特徴量と、前記第１の特徴量抽出器により出力された前記第２の画像の特徴量との誤差を示す損失値が、前記第１の画像の病理検体が有する特徴と前記第２の画像の病理検体が有する特徴との一致度に応じた値になるように、前記第１の特徴量抽出器のパラメータを更新する機械学習部と、
を備える情報処理装置。

【請求項2】

前記機械学習部は、前記第１の画像の病理検体が有する特徴と前記第２の画像の病理検体が有する特徴との前記一致度が高くなるに従い前記損失値が小さくなるように、前記第１の特徴量抽出器のパラメータを更新する、
請求項１に記載の情報処理装置。

【請求項3】

前記機械学習部は、前記第１の画像の病理検体の位置と前記第２の画像の病理検体の位置とが近くになるに従い前記損失値が小さくなるように、前記第１の特徴量抽出器のパラメータを更新する、
請求項１に記載の情報処理装置。

【請求項4】

前記第１の特徴量抽出器を再構成した第２の特徴量抽出器のパラメータを更新する転移学習部を更に備える、
請求項１に記載の情報処理装置。

【請求項5】

前記第２の特徴量抽出器を有するニューラルネットワークは、入力画像の分類を実行した実行結果、入力画像に含まれる物体ごとに領域を分割したセグメンテーション結果、入力画像に含まれる物体を検出した検出結果、又は入力画像から生成した画像を出力する、
請求項４に記載の情報処理装置。

【請求項6】

前記第１の画像と、前記第２の画像とにおける画像中の病理検体の位置、向き、及び形状の少なくとも一つを合わせる調整部を更に備える、
請求項１に記載の情報処理装置。

【請求項7】

画像の一部分を切り出す切り出し部を更に備え、
前記機械学習部は、前記第１の特徴量抽出器により出力された前記第１の画像の一部分である第１の部分画像の特徴量と、前記第１の特徴量抽出器により出力された前記第２の画像の一部分である第２の部分画像の特徴量との前記損失値が、前記第１の部分画像の病理検体が有する特徴と前記第２の部分画像の病理検体が有する特徴との一致度に応じた値になるように、前記第１の特徴量抽出器のパラメータを更新する、
請求項１に記載の情報処理装置。

【請求項8】

前記第１の画像と、前記第２の画像と、前記第１の画像の一部分である第１の部分画像と、前記第２の画像の一部分である第２の部分画像との少なくとも一つから画像を生成する生成部を更に備える、
請求項１に記載の情報処理装置。

【請求項9】

前記第１の画像と、前記第２の画像とは、同一の病理検体の同一の位置が撮影された画像である、
請求項１に記載の情報処理装置。

【請求項10】

前記機械学習部は、前記第１の画像と前記第２の画像とが同一の病理検体の同一の位置が撮影された画像の組み合わせの場合に、撮影された位置が異なる画像の組み合わせよりも、前記損失値が小さくなるように前記パラメータを更新する、
請求項１に記載の情報処理装置。

【請求項11】

病理検体を撮影した第１の画像と、当該病理検体を前記第１の画像の撮影条件とは異なる撮影条件で撮影した第２の画像とを取得し
画像の特徴を表す特徴量を出力する第１の特徴量抽出器により出力された前記第１の画像の特徴量と、前記第１の特徴量抽出器により出力された前記第２の画像の特徴量との誤差を示す損失値が、前記第１の画像の病理検体が有する特徴と前記第２の画像の病理検体が有する特徴との一致度に応じた値になるように、前記第１の特徴量抽出器のパラメータを更新する、
ことを含む情報処理方法。

【請求項12】

コンピュータを、
病理検体を撮影した第１の画像と、当該病理検体を前記第１の画像の撮影条件とは異なる撮影条件で撮影した第２の画像とを取得する画像取得部と、
画像の特徴を表す特徴量を出力する第１の特徴量抽出器により出力された前記第１の画像の特徴量と、前記第１の特徴量抽出器により出力された前記第２の画像の特徴量との誤差を示す損失値が、前記第１の画像の病理検体が有する特徴と前記第２の画像の病理検体が有する特徴との一致度に応じた値になるように、前記第１の特徴量抽出器のパラメータを更新する機械学習部と、
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。

【0002】

従来、病理分野では、被検体の組織や標本などの病理画像を用いた組織診断が行われている。近年では病理画像を解析して得られる情報を医師等に提示することによって、組織診断を効率化しようとする技術の研究及び開発が行われている。

【0003】

病理分野の画像解析技術には、例えば、病理画像中のある領域の特徴を解析することによって、異常を含んでいるか否かを判定する画像分類技術や、異常である領域を抽出する画像セグメンテーション技術等がある。

【0004】

しかしながら、病理画像は、染色や撮影装置等の撮影条件の違いによって、同じ被検体であっても描出されている態様が異なることがあり、それに伴って画像解析の結果も異なることがある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－０６５２９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、撮影条件の違いにより生じる特徴量の差異を低減することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0007】

実施形態に係る情報処理装置は、画像取得部と、機械学習部と、を備える。前記画像取得部は、病理検体を撮影した第１の画像と、当該病理検体を前記第１の画像の撮影条件とは異なる撮影条件で撮影した第２の画像とを取得する。前記機械学習部は、画像の特徴を表す特徴量を出力する第１の特徴量抽出器により出力された前記第１の画像の特徴量と、前記第１の特徴量抽出器により出力された前記第２の画像の特徴量との誤差を示す損失値が、前記第１の画像の病理検体が有する特徴と前記第２の画像の病理検体が有する特徴との一致度に応じた値になるように、前記第１の特徴量抽出器のパラメータを更新する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る病理情報処理システムの構成の一例を示す図である。

【図2】図２は、第１の実施形態に係る情報処理装置が実行する第１特徴量抽出器のパラメータを更新するフローの一例を示す図である。

【図3】図３は、第１の実施形態に係る情報処理装置が実行する学習処理の一例を示すフローチャートである。

【図4】図４は、第２の実施形態に係る病理情報処理システムの構成の一例を示す図である。

【図5】図５は、第２の実施形態に係る情報処理装置が実行する第１特徴量抽出器を第１ニューラルネットワークに適用させるフローの一例を示す図である。

【図6】図６は、第２の実施形態に係る情報処理装置が実行する学習処理の一例を示すフローチャートである。

【図7】図７は、第３の実施形態に係る病理情報処理システムの構成の一例を示す図である。

【図8】図８は、第３の実施形態に係る情報処理装置が実行する検体画像に対する位置合わせなどの調整のフローの一例を示す図である。

【図9】図９は、第３の実施形態に係る情報処理装置が実行する学習処理の一例を示すフローチャートである。

【図10】図１０は、第４の実施形態に係る病理情報処理システムの構成の一例を示す図である。

【図11】図１１は、第４の実施形態に係る情報処理装置が実行する検体画像の切り出すフローの一例を示す図である。

【図12】図１２は、第４の実施形態に係る情報処理装置が実行する学習処理の一例を示すフローチャートである。

【図13】図１３は、第５の実施形態に係る病理情報処理システムの構成の一例を示す図である。

【図14】図１４は、第５の実施形態に係る情報処理装置が実行する検体画像を生成するフローの一例を示す図である。

【図15】図１５は、第５の実施形態に係る情報処理装置が実行する学習処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本実施形態に関する情報処理装置、情報処理方法、およびプログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

【0010】

（第１の実施形態）
図１は、第１の実施形態に係る病理情報処理システム１の構成の一例を示す図である。図１に示すように、病理情報処理システム１は、第１の撮影装置１０と、第２の撮影装置２０と、情報処理装置３０とを備える。第１の撮影装置１０と、第２の撮影装置２０と、情報処理装置３０とは、ネットワーク４０を介して相互に通信可能に接続する。なお、図１に示す構成は、一例であり、各装置の台数は任意に変更してもよい。また、図１に示されていない装置がネットワーク４０に接続されていてもよい。

【0011】

第１の撮影装置１０は、病理検体を撮影する。例えば、第１の撮影装置１０は、病理検体を撮影するカメラであってもよいし、病理検体を撮影するデジタルスライドスキャナであってもよいし、他の装置であってもよい。そして、第１の撮影装置１０は、病理検体を撮影した検体画像を情報処理装置３０に送信する。

【0012】

第２の撮影装置２０は、病理検体を撮影する。例えば、第２の撮影装置２０は、病理検体を撮影するカメラであってもよいし、病理検体を撮影するデジタルスライドスキャナであってもよいし、他の装置であってもよい。そして、第２の撮影装置２０は、病理検体を撮影した検体画像を情報処理装置３０に送信する。

【0013】

情報処理装置３０は、パーソナルコンピュータや、サーバ装置や、ワークステーションなどのコンピュータ機器である。情報処理装置３０は、第１の撮影装置１０及び第２の撮影装置２０から検体画像を取得する。情報処理装置３０は、第１の撮影装置１０又は第２の撮影装置２０から取得した検体画像から、画像の特徴を表す特徴量を抽出する。さらに、情報処理装置３０は、抽出した特徴量に基づいて、各種処理を実行するニューラルネットワークを有していてもよい。

【0014】

情報処理装置３０について詳細に説明する。

【0015】

例えば、情報処理装置３０は、ＮＷ（ネットワーク）インタフェース３１０と、入力インタフェース３２０と、ディスプレイ３３０と、記憶回路３４０と、処理回路３５０とを有する。

【0016】

ＮＷインタフェース３１０は、処理回路３５０に接続され、ネットワーク４０を介して接続された各装置との間で行われる各種データの伝送及び通信を制御する。例えば、ＮＷインタフェース３１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

【0017】

入力インタフェース３２０は、処理回路３５０に接続され、操作者から受け付けた入力操作を電気信号に変換して処理回路３５０に出力する。具体的には、入力インタフェース３２０は、操作者から受け付けた入力操作を電気信号へ変換して処理回路３５０に出力する。例えば、入力インタフェース３２０は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インタフェース３２０は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース３２０の例に含まれる。

【0018】

ディスプレイ３３０は、処理回路３５０に接続され、処理回路３５０から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ３３０は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、タッチパネル等によって実現される。

【0019】

記憶回路３４０は、処理回路３５０に接続され、各種データを記憶する。また、記憶回路３４０は、処理回路３５０が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。例えば、記憶回路３４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

【0020】

処理回路３５０は、情報処理装置３０全体の動作を制御する。処理回路３５０は、例えば、画像取得機能３５１、及び機械学習機能３５２を有する。実施形態では、構成要素である画像取得機能３５１、及び機械学習機能３５２にて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路３４０へ記憶されている。処理回路３５０は、プログラムを記憶回路３４０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３５０は、図１の処理回路３５０内に示された各機能を有することになる。

【0021】

なお、図１においては単一のプロセッサにて、画像取得機能３５１、及び機械学習機能３５２を実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３５０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図１においては、記憶回路３４０等の単一の記憶回路が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路３５０は、個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

【0022】

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ），及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路３４０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路３４０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

【0023】

画像取得機能３５１は、病理検体を撮影した第１の画像と、当該病理検体を第１の画像の撮影条件とは異なる撮影条件で撮影した第２の画像とを取得する。画像取得機能３５１は、画像取得部の一例である。撮影条件とは、撮影装置の種類、撮影装置の設定、撮影時期、撮影した被検体の位置、撮影した被検体の向き、撮影における環境等である。

【0024】

更に詳しくは、画像取得機能３５１は、病理検体を撮影した検体画像を第１の撮影装置１０及び第２の撮影装置２０から取得する。また、画像取得機能３５１は、撮影条件が異なる複数の検体画像を取得してもよい。なお、画像取得機能３５１は、第１の撮影装置１０及び第２の撮影装置２０に限らず、病理検体を撮影した画像を有するサーバ装置から取得してもよい。

【0025】

機械学習機能３５２は、画像の特徴を表す特徴量を出力する特徴量抽出器により出力された第１の画像の特徴量と、特徴量抽出器により出力された第２の画像の特徴量との誤差を示す損失値が、第１の画像の病理検体が有する特徴と第２の画像の病理検体が有する特徴との一致度に応じた値になるように、特徴量抽出器のパラメータを更新する。機械学習機能３５２は、機械学習部の一例である。

【0026】

更に詳しくは、機械学習機能３５２は、特徴量抽出器に入力する２つの検体画像の病理検体が有する特徴の一致度が高くなるに従いそれぞれの検体画像から抽出した特徴量が類似するように学習させる。言い換えると、機械学習機能３５２は、特徴量抽出器に入力する第１の画像の病理検体が有する特徴と第２の画像の病理検体が有する特徴との一致度が高くなるに従い損失値が小さくなるように、特徴量抽出器のパラメータを更新する。

【0027】

病理検体が有する特徴とは、検体画像に描出された病理検体の形状、病理検体の色、病理検体の向き、病理検体の大きさなどである。なお、病理検体が有する特徴は、これら特徴に限らず他の特徴が含まれていてもよいし、これら特徴の一部が含まれていなくてもよい。機械学習機能３５２は、病理検体が有する特徴の一部が異なっていても、他の特徴の一致度が高くなるに従い、損失値が小さくなるように、特徴量抽出器のパラメータを更新する。

【0028】

また、特徴量抽出器に入力する２つの検体画像において、病理検体の位置が近い場合、病理検体が有する特徴の一致度は高くなる。一方、特徴量抽出器に入力する２つの検体画像において、病理検体の位置が遠い場合、病理検体が有する特徴の一致度は低くなる。

【0029】

そこで、機械学習機能３５２は、第１の画像の病理検体の位置と第２の画像の病理検体の位置とが近くになるに従い、第１の画像の特徴量と、第２の画像の特徴量との誤差を示す損失値が小さくなるように、特徴量抽出器のパラメータを更新してもよい。言い換えると、機械学習機能３５２は、２つの検体画像において、病理検体が有する特徴の一致度が高い場合に、病理検体の位置が近いと判定して、第１の画像の特徴量と、第２の画像の特徴量との誤差を示す損失値が小さくなるように、特徴量抽出器のパラメータを更新する。

【0030】

また、特徴量は、特徴量抽出器の最終層が出力する値に加えて、特徴量抽出器の隠れ層の出力値や、隠れ層の出力値の一部の組み合わせであってもよい。隠れ層の出力値の一部とは、隠れ層の出力値の空間的形状に対して、各次元軸に沿って選択的に切り取られた出力値である。

【0031】

ここで、第１特徴量抽出器Ｅ１のパラメータを更新するフローについて説明する。図２は、第１の実施形態に係る情報処理装置３０が実行する第１特徴量抽出器Ｅ１のパラメータを更新するフローの一例を示す図である。

【0032】

画像取得機能３５１は、例えば第１の撮影装置１０が撮影した第１検体画像Ｇ１と、第３検体画像Ｇ３とを取得する。また、画像取得機能３５１は、例えば第２の撮影装置２０が撮影した第２検体画像Ｇ２を取得する。画像取得機能３５１は、第１検体画像Ｇ１と同一の病理検体の同一の位置の画像である第２検体画像Ｇ２を取得する。また、画像取得機能３５１は、第１検体画像Ｇ１の病理検体と位置との少なくとも一方が異なる第３検体画像Ｇ３を取得する。

【0033】

第１検体画像Ｇ１と、第２検体画像Ｇ２とは、同一の病理検体の同一の位置が描出されている。言い換えると、第１検体画像Ｇ１の病理検体と、第２検体画像Ｇ２の病理検体とは、同一の特徴を有している。また、第１検体画像Ｇ１と、第２検体画像Ｇ２とは、異なる撮影条件により撮影されている。例えば、第１検体画像Ｇ１と、第２検体画像Ｇ２とは、染色が異なっている。

【0034】

第１検体画像Ｇ１と、第３検体画像Ｇ３とは、病理検体と位置との少なくとも一方が異なっている。言い換えると、第１検体画像Ｇ１の病理検体と、第３検体画像Ｇ３の病理検体とは、異なる特徴を有している。そして、第３検体画像Ｇ３の病理検体は、第２検体画像Ｇ２の病理検体とも異なる特徴を有している。

【0035】

第１特徴量抽出器Ｅ１は、検体画像から特徴量を抽出する特徴量抽出器である。第１特徴量抽出器Ｅ１は、第１検体画像Ｇ１から第１特徴量Ｚ１を抽出する。また、第１特徴量抽出器Ｅ１は、第２検体画像Ｇ２から第２特徴量Ｚ２を抽出する。また、第１特徴量抽出器Ｅ１は、第３検体画像Ｇ３から第３特徴量Ｚ３を抽出する。

【0036】

機械学習機能３５２は、特徴量間の誤差を表す損失関数により損失値を算出する。損失関数には、例えば、交差エントロピーや距離関数などを利用する。例えば、機械学習機能３５２は、損失関数により第１特徴量Ｚ１と第２特徴量Ｚ２との誤差を表す第１損失値Ｌ１を算出する。また、機械学習機能３５２は、損失関数により第１特徴量Ｚ１と第３特徴量Ｚ３との誤差を表す第２損失値Ｌ２を算出する。また、機械学習機能３５２は、損失関数により第２特徴量Ｚ２と第３特徴量Ｚ３との誤差を表す第３損失値Ｌ３を算出する。

【0037】

機械学習機能３５２は、算出した損失値に基づいて、各検体画像の病理検体が有する一致度が高くなるに従い損失値が小さくなるように、第１特徴量抽出器Ｅ１のパラメータを更新する。例えば、機械学習機能３５２は、下記数式（１）が満たされるように第１特徴量抽出器Ｅ１のパラメータを更新する。

【0038】

Ｌ（Ｚ１，Ｚ２）＜Ｌ（Ｚ１，Ｚ３）・・・（１）

【0039】

数式（１）において、Ｌは、損失関数を示す。Ｚ１は、第１特徴量Ｚ１を示す。Ｚ２は、第２特徴量Ｚ２を示す。Ｚ３は、第３特徴量Ｚ３を示す。

【0040】

機械学習機能３５２は、検体画像の病理検体が有する特徴の一致度が高くなるに従い、特徴量間の誤差を示す損失値が小さくなるように、第１特徴量抽出器Ｅ１のパラメータを更新する。更に詳しくは、機械学習機能３５２は、各特徴量を組み合わせて算出した損失値の相対的な大小を考慮した最終的な損失として第１特徴量抽出器Ｅ１のパラメータの更新のための学習を進める。例えば、機械学習機能３５２は、交差エントロピー誤差による損失計算を実行する。

【0041】

交差エントロピー誤差を利用する場合において、機械学習機能３５２は、図２に示す第１特徴量Ｚ１と第２特徴量Ｚ２、第１特徴量Ｚ１と第３特徴量Ｚ３、第２特徴量Ｚ２と第３特徴量Ｚ３のそれぞれの組み合わせに関して、それぞれ第１損失値Ｌ１、第２損失値Ｌ２、第３損失値Ｌ３を算出する。機械学習機能３５２は、第１損失値Ｌ１、第２損失値Ｌ２、第３損失値Ｌ３を推定確率分布に変換する。

【0042】

例えば、機械学習機能３５２は、損失値が小さい値ほど１に、大きい値ほど０になるように変換する。そして、機械学習機能３５２は、真の確率分布を「1、０、０」として交差エントロピー誤差を計算する。すなわち、機械学習機能３５２は、病理検体が有する特徴の一致度が高い組み合わせである第１特徴量Ｚ１と第２特徴量Ｚ２に相当する推定確率が最大化されたときに交差エントロピー誤差が最小となるように最終的な損失値を出力し、学習に用いる。

【0043】

また、第１検体画像Ｇ１と第２検体画像Ｇ２とは、同一の病理検体の同一の位置が撮影された画像である。よって、機械学習機能３５２は、位置が異なる検体画像の組み合わせよりも、損失値が小さくなるようにパラメータを更新する。すなわち、機械学習機能３５２は、第１検体画像Ｇ１と第２検体画像Ｇ２とが同一の病理検体の同一の位置が撮影された検体画像の組み合わせの場合に、撮影された位置が異なる検体画像の組み合わせよりも、損失値が小さくなるようにパラメータを更新する。

【0044】

次に、第１の実施形態に係る情報処理装置３０が実行する学習処理について説明する。図３は、第１の実施形態に係る情報処理装置３０が実行する学習処理の一例を示すフローチャートである。

【0045】

画像取得機能３５１は、複数の検体画像を取得する（ステップＳ１１）。

【0046】

機械学習機能３５２は、画像取得機能３５１により取得された複数の検体画像を特徴量抽出器に入力することで、複数の検体画像のそれぞれ特徴量を取得する（ステップＳ１２）。

【0047】

機械学習機能３５２は、複数の特徴量のそれぞれの組み合わせでの損失値を算出する（ステップＳ１３）。

【0048】

機械学習機能３５２は、損失値に基づいて、学習を終了する条件が満たされたか否かを判定する（ステップＳ１４）。例えば、機械学習機能３５２は、各損失値が、組み合わせとなった各検体画像の病理検体が有する一致度に応じた値になっているか否かを判定する。

【0049】

学習を終了する条件が満たされていない場合に（ステップＳ１４；Ｎｏ）、機械学習機能３５２は、特徴量抽出器のパラメータを更新する（ステップＳ１５）。そして、機械学習機能３５２は、ステップＳ１２に移行する。

【0050】

学習を終了する条件が満たされている場合に（ステップＳ１４；Ｙｅｓ）、機械学習機能３５２は、学習処理を終了する。

【0051】

以上のように、第１の実施形態に係る情報処理装置３０は、病理検体を撮影した第１の画像と、当該病理検体を第１の画像の撮影条件とは異なる撮影条件で撮影した第２の画像とを取得する。情報処理装置３０は、特徴量抽出器により出力された第１の画像の特徴量と、特徴量抽出器により出力された第２の画像の特徴量との誤差を示す損失値が、第１の画像の病理検体が有する特徴と第２の画像の病理検体が有する特徴との一致度に応じた値になるように、特徴量抽出器のパラメータを更新する。このように、情報処理装置３０は、第１の画像の特徴量と、第２の画像の特徴量との誤差が小さくなるように、特徴量抽出器を学習させる。よって、情報処理装置３０は、撮影条件の違いにより生じる特徴量の差異を低減することができる。

【0052】

（第２の実施形態）
図４は、第２の実施形態に係る病理情報処理システム１ａの構成の一例を示す図である。

【0053】

情報処理装置３０ａの処理回路３５０ａは、転移学習機能３５３を有する。

【0054】

転移学習機能３５３は、機械学習機能３５２により生成された特徴量抽出器を転移学習により学習済みモデルに適用する。すなわち、転移学習機能３５３は、機械学習機能３５２により生成された特徴量抽出器を再構成した特徴量抽出器のパラメータを更新する。転移学習機能３５３は、転移学習部の一例である。これにより、転移学習機能３５３は、機械学習機能３５２により生成された特徴量抽出器の転移学習を実行する。例えば、転移学習機能３５３は、分類タスクやセグメンテーションタスク等の最終的なタスクを実行するニューラルネットワークに、機械学習機能３５２により生成された特徴量抽出器を適用させる転移学習を実行する。

【0055】

ここで、ニューラルネットワークは、如何なる機械学習を行うものであってもよい。例えば、ニューラルネットワークは、入力画像の分類を実行するものであってもよいし、入力画像に含まれる物体ごとに領域を分割したセグメンテーション結果を出力するものであってもよいし、入力画像に含まれる物体を検出するものであってもよいし、又は入力画像から生成した画像を出力するものであってもよい。

【0056】

転移学習機能３５３は、転移学習によりニューラルネットワークに特徴量抽出器を適用することで特徴量抽出器を再構築する。転移学習後のニューラルネットワークは、検体画像の態様が異なったとしても、同一の病理検体であって同一の位置の検体画像であれば同じ特徴量を抽出するように学習された特徴量抽出器の特徴量抽出能力を継承している可能性が高い。そのため、転移学習後のニューラルネットワークは、検体画像の態様が異なったとしても、同一の病理検体であって同一の位置の検体画像が入力された場合、同じ結果を出力することが期待することができる。

【0057】

ニューラルネットワークの学習方法としては、２つの方法が考えられる。再構成した新しいニューラルネットワークの構造のうち、特徴量抽出器から引き継いだパラメータを固定（Freeze）して新しい構造部分のみパラメータ更新する学習方法と、すべてのパラメータを学習する方法とがある。前者は、短時間で学習が完了する点と、訓練データを過学習しにくい点等で優れている。一方、後者は訓練データが十分に多いときにより性能が高いニューラルネットワークになる可能性が高い点で優れている。

【0058】

ここで、特徴量抽出器をニューラルネットワークに適用させるフローについて説明する。図５は、第２の実施形態に係る情報処理装置３０ａが実行する第１特徴量抽出器Ｅ１を第１ニューラルネットワークＭ１に適用させるフローの一例を示す図である。

【0059】

機械学習機能３５２は、第１の実施形態と同様に、検体画像の病理検体が有する特徴の一致度が高くなるに従い損失値が小さくなり、検体画像の病理検体が有する特徴の一致度が低くなるに従い損失値が大きくなるように第１特徴量抽出器Ｅ１を学習させる。

【0060】

転移学習機能３５３は、第１特徴量抽出器Ｅ１を、第１ニューラルネットワークＭ１に適用させる転移学習を実行する。これにより、転移学習機能３５３は、転移学習により再構築された第２特徴量抽出器Ｅ２を有する第１ニューラルネットワークＭ１を生成する。なお、転移学習機能３５３の転移学習において、第２特徴量抽出器Ｅ２のパラメータの初期値として第１特徴量抽出器Ｅ１のパラメータの一部あるいは全てを用いるが、転移学習の手続きによって更新するパラメータを選択することによって、転移学習に用いる教師データへの適合の程度を調整して、第１ニューラルネットワークＭ１を生成してもよい。具体的には、転移学習機能３５３の転移学習において、第２特徴量抽出器Ｅ２の全てのパラメータを更新するように学習すると、転移学習に用いる教師データに適合しやすくなる可能性が高い。一方で、転移学習機能３５３の転移学習において、第２特徴量抽出器Ｅ２のパラメータのうち、出力層のパラメータのみを更新するように学習すると、転移学習に用いる教師データへの適合の程度が低下するが、学習に用いていない未知データにおいて精度等が高い第１ニューラルネットワークＭ１を生成できる可能性がある。

【0061】

第１ニューラルネットワークＭ１は、第１検体画像Ｇ１が入力された場合に、実行結果を出力する。なお、図５では、一例として第１ニューラルネットワークＭ１に第１検体画像Ｇ１を入力したが、如何なる検体画像を入力してもよい。

【0062】

次に、第２の実施形態に係る情報処理装置３０ａが実行する学習処理について説明する。図６は、第２の実施形態に係る情報処理装置３０ａが実行する学習処理の一例を示すフローチャートである。

【0063】

画像取得機能３５１は、複数の検体画像を取得する（ステップＳ２１）。

【0064】

機械学習機能３５２は、画像取得機能３５１により取得された複数の検体画像を特徴量抽出器に入力することで、複数の検体画像のそれぞれ特徴量を取得する（ステップＳ２２）。

【0065】

機械学習機能３５２は、複数の特徴量のそれぞれの組み合わせでの損失値を算出する（ステップＳ２３）。

【0066】

機械学習機能３５２は、損失値に基づいて、学習を終了する条件が満たされたか否かを判定する（ステップＳ２４）。

【0067】

学習を終了する条件が満たされていない場合に（ステップＳ２４；Ｎｏ）、機械学習機能３５２は、特徴量抽出器のパラメータを更新する（ステップＳ２５）。そして、機械学習機能３５２は、ステップＳ２２に移行する。

【0068】

学習を終了する条件が満たされている場合に（ステップＳ２４；Ｙｅｓ）、転移学習機能３５３は、特徴量抽出器をニューラルネットワークに適用させる転移学習を実行する（ステップＳ２６）。

【0069】

以上により、情報処理装置３０ａは、学習処理を終了する。

【0070】

以上のように、第２の実施形態に係る情報処理装置３０ａは、機械学習機能３５２により生成された特徴量抽出器を、転移学習により任意のモデルに適用させる。これにより、特徴量抽出器が適用されたモデルは、同一の病理検体の同一の位置が撮影された２以上の検体画像が入力された場合、撮影条件が異なっていても、略同一の特徴量に基づいて、処理を実行することができる。

【0071】

（第３の実施形態）
図７は、第３の実施形態に係る病理情報処理システム１ｂの構成の一例を示す図である。

【0072】

情報処理装置３０ｂの処理回路３５０ｂは、画像調整機能３５４を有する。

【0073】

画像調整機能３５４は、第１の画像と、第２の画像とにおける画像中の病理検体の位置、向き、及び形状の少なくとも一つを合わせる。画像調整機能３５４は、調整部の一例である。例えば、検体画像は、撮影条件が異なっていると、検体画像の大きさや、検体画像内に描出される病理検体の位置や向きや形状が異なっている場合がある。このような場合に、画像調整機能３５４は、検体画像の移動、拡大、縮小、回転、反転、台形補正などの調整処理を実施する。

【0074】

例えば、転移学習先のタスクがセグメンテーションタスクの場合、特徴量抽出器が抽出する特徴量に位置や向きに関する特徴量が含まれていると有用である場合が多い。そのため、特徴量抽出器を学習する段階において、検体画像のペアの位置合わせなどの調整が実行された上で、特徴量抽出器に入力されることが望ましい。

【0075】

そこで、画像調整機能３５４は、ペアとなる検体画像が同一の病理検体の近い位置の画像であるか否かを判定する。例えば、画像調整機能３５４は、ペアとなる検体画像の病理検体が有する特徴の一致度が高いか否かにより近い位置の画像であるか否かを判定する。または、画像調整機能３５４は、第１の撮影装置１０や、第２の撮影装置２０から取得した撮影条件により近い位置の画像であるか否かを判定する。

【0076】

画像調整機能３５４は、ペアとなる検体画像が同一の病理検体の近い位置の画像である場合に、位置合わせなどの調整処理を実行する。例えば、画像調整機能３５４は、ペアとなる検体画像の移動、拡大、縮小、回転、反転、台形補正などの調整処理を実施する。

【0077】

機械学習機能３５２ｂは、画像取得機能３５１や取得した検体画像や、画像調整機能３５４が位置合わせなどの調整処理を実行した検体画像の病理検体が有する特徴の一致度が高くなるに従い損失値が小さくなり、検体画像の病理検体が有する特徴の一致度が低くなるに従い損失値が大きくなるように第１特徴量抽出器Ｅ１を学習させる。

【0078】

ここで、検体画像に対する位置合わせなどの調整処理を実行するフローについて説明する。図８は、第３の実施形態に係る情報処理装置３０ｂが実行する検体画像に対する位置合わせなどの調整のフローの一例を示す図である。

【0079】

画像取得機能３５１は、例えば第１の撮影装置１０が撮影した第１検体画像Ｇ１と、第３検体画像Ｇ３とを取得する。また、画像取得機能３５１は、例えば第２の撮影装置２０が撮影した第２検体画像Ｇ２を取得する。

【0080】

画像調整機能３５４は、画像取得機能３５１により取得された第１検体画像Ｇ１と、第２検体画像Ｇ２と、第３検体画像Ｇ３とについて同一の病理検体の近い位置の画像であるか否かを判定する。

【0081】

図８に示すフローでは、画像調整機能３５４は、画像取得機能３５１により取得された第１検体画像Ｇ１と、第２検体画像Ｇ２とが同一の病理検体の近い位置の画像であるかと判定する。また、画像調整機能３５４は、第３検体画像Ｇ３には同一の病理検体の近い位置の画像は無いと判定する。画像調整機能３５４は、第１検体画像Ｇ１と、第２検体画像Ｇ２との病理検体の位置合わせなどの調整処理を実行する。

【0082】

第１特徴量抽出器Ｅ１は、調整処理が実行された第１検体画像Ｇ１、及び第２検体画像Ｇ２が入力される。また、第１特徴量抽出器Ｅ１は、同一の病理検体の近い位置の画像ではないと判定されたため、調整処理が実行されていない第３検体画像Ｇ３が入力される。

【0083】

機械学習機能３５２ｂは、第１の実施形態と同様に、検体画像の病理検体が有する特徴の一致度が高くなるに従い損失値が小さくなり、検体画像の病理検体が有する特徴の一致度が低くなるに従い損失値が大きくなるように第１特徴量抽出器Ｅ１を学習させる。

【0084】

次に、第３の実施形態に係る情報処理装置３０ｂが実行する学習処理について説明する。図９は、第３の実施形態に係る情報処理装置３０ｂが実行する学習処理の一例を示すフローチャートである。

【0085】

画像取得機能３５１は、複数の検体画像を取得する（ステップＳ３１）。

【0086】

画像調整機能３５４は、複数の検体画像から選択された検体画像のペアにおいて、同一の病理検体の近い位置の画像であるか否かを判定する（ステップＳ３２）。同一の病理検体の近い位置の画像ではない場合に（ステップＳ３２；Ｎｏ）、画像調整機能３５４は、ステップＳ３４に移行する。

【0087】

同一の病理検体の近い位置の画像の場合に（ステップＳ３２；Ｙｅｓ）、画像調整機能３５４は、検体画像のペアにおいて、位置合わせなどの調整処理を実行する（ステップＳ３３）。

【0088】

機械学習機能３５２ｂは、検体画像を特徴量抽出器に入力することで、複数の検体画像のそれぞれ特徴量を取得する（ステップＳ３４）。

【0089】

機械学習機能３５２ｂは、複数の特徴量のそれぞれの組み合わせでの損失値を算出する（ステップＳ３５）。

【0090】

機械学習機能３５２ｂは、損失値に基づいて、学習を終了する条件が満たされたか否かを判定する（ステップＳ３６）。

【0091】

学習を終了する条件が満たされていない場合に（ステップＳ３６；Ｎｏ）、機械学習機能３５２ｂは、特徴量抽出器のパラメータを更新する（ステップＳ３７）。そして、機械学習機能３５２ｂは、ステップＳ３４に移行する。

【0092】

学習を終了する条件が満たされている場合に（ステップＳ３６；Ｙｅｓ）、情報処理装置３０ｂは、学習処理を終了する。

【0093】

以上のように、第３の実施形態に係る情報処理装置３０ｂは、第１の画像と、第２の画像とにおける画像中の病理検体の位置、向き、及び形状の少なくとも一つを合わせる。よって、情報処理装置３０ｂは、学習段階において、位置が合わせられた検体画像のペアで学習した方がよいモデルに対応することができる。

【0094】

（第４の実施形態）
図１０は、第４の実施形態に係る病理情報処理システム１ｃの構成の一例を示す図である。

【0095】

情報処理装置３０ｃの処理回路３５０ｃは、画像調整機能３５４と、切り出し機能３５５とを有する。

【0096】

画像調整機能３５４は、第３の実施形態に係る画像調整機能３５４と同様に、ペアとなる検体画像が同一の病理検体の近い位置の画像である場合に、位置合わせなどの調整処理を実行する。すなわち、画像調整機能３５４は、ペアとなる検体画像の移動、拡大、縮小、回転、反転、台形補正などの調整処理を実施する。

【0097】

ここで、画像調整機能３５４は、切り出し機能３５５が切り出す部分領域に関して、ペアとなる部分領域画像に同じ特徴を含ませるか、違う特徴を含ませるかコントロールする必要があるため、切り出す前に位置合わせなどの調整処理を実行する。このように、画像調整機能３５４は、それぞれの検体画像間で病理検体の位置関係を一致した状態にしておくことで、切り出し処理のステップを簡単化することができる。

【0098】

切り出し機能３５５は、画像から部分画像を切り出す。切り出し機能３５５は、切り出す切り出し部の一例である。部分画像は、検体画像の一部分を切り出した検体画像である。

【0099】

ここで、画像調整機能３５４によりペアとなる検体画像の病理検体は、位置関係が合わされている。そこで、切り出し機能３５５は、ペアとなる検体画像において、検体画像の同一位置及び同一サイズの部分画像を切り出すことにより、同じ特徴を含む部分画像のペアを取得することができる。一方、切り出し機能３５５は、ペアとなる検体画像において、検体画像の異なる位置または異なるサイズの部分画像を切り出すことにより、違う特徴を含む部分画像のペアを取得することができる。

【0100】

また、切り出し機能３５５は、画像調整機能３５４によりペアとなる検体画像の病理検体の位置関係が合わされていない場合に、位置合わせ等の調整処理に用いるパラメータを事前に計算して記憶する。そして、切り出し機能３５５は、切り出し処理を実行する時に、記憶したパラメータを利用して部分画像を切り出す。これにより、切り出し機能３５５は、同じ特徴を含む部分画像のペア、又は違う特徴を含む部分画像のペアを取得することができる。

【0101】

機械学習機能３５２ｃは、特徴量抽出器により出力された第１の画像の一部分である第１の部分画像の特徴量と、特徴量抽出器により出力された第２の画像の一部分である第２の部分画像の特徴量との誤差を示す損失値が、第１の部分画像の病理検体が有する特徴と第２の部分画像の病理検体が有する特徴との一致度に応じた値になるように、特徴量抽出器のパラメータを更新する。

【0102】

ここで、検体画像の切り出し実行するフローについて説明する。図１１は、第４の実施形態に係る情報処理装置３０ｃが実行する検体画像の切り出すフローの一例を示す図である。

【0103】

画像取得機能３５１は、例えば第１の撮影装置１０が撮影した第１検体全体画像Ｇ４と、第２の撮影装置２０が撮影した第２検体全体画像Ｇ５とを取得する。第１検体全体画像Ｇ４と第２検体全体画像Ｇ５とは、病理検体の略全体が描出された画像である。図１１において、第１検体全体画像Ｇ４と第２検体全体画像Ｇ５とは、同一の病理検体の画像であって、拡大率が異なっている画像であるが、異なる病理検体を撮影した画像でもいい。

【0104】

画像調整機能３５４は、第１検体全体画像Ｇ４と第２検体全体画像Ｇ５が、同一の病理検体であるか否かを判定する。言い換えると、画像調整機能３５４は、位置合わせなどの調整処理を実行する対象であるか否かを判定する。第１検体全体画像Ｇ４と第２検体全体画像Ｇ５が同一の病理検体であると判定された場合、画像調整機能３５４は、第１検体全体画像Ｇ４と第２検体全体画像Ｇ５とに対して、位置合わせなどの調整処理を実行する。第１検体全体画像Ｇ４と第２検体全体画像Ｇ５が同一の病理検体でないと判定された場合、画像調整機能３５４は、第１検体全体画像Ｇ４と第２検体全体画像Ｇ５とに対して位置合わせなどの調整処理を実行しない。

【0105】

切り出し機能３５５は、同一の病理検体が撮影されており、位置合わせなどの調整処理が実行された第１検体全体画像Ｇ４と第２検体全体画像Ｇ５、または、異なる病理検体が撮影されている第１検体全体画像Ｇ４と第２検体全体画像Ｇ５から部分画像を切り出す。位置合わせなどの調整処理が実行された第１検体全体画像Ｇ４から部分画像として、第１検体画像Ｇ１が切り出され、位置合わせなどの調整処理が実行された第２検体全体画像Ｇ５から部分画像として、第１検体画像Ｇ１と同一の位置から第２検体画像Ｇ２が切り出された場合、第１検体画像Ｇ１と第２検体画像Ｇ２とのペアは特徴が一致するため、第１特徴量抽出器Ｅ１が略同一の特徴量を抽出すべき正例ペアとなる。位置合わせなどの調整処理が実行された第１検体全体画像Ｇ４から部分画像として、第２検体画像Ｇ２と異なる位置から第３検体画像Ｇ３が切り出された場合、第２検体画像Ｇ２と第３検体画像Ｇ３とのペアは特徴が一致しないため、第１特徴量抽出器Ｅ１が異なる特徴量を抽出すべき負例ペアとなる。異なる病理検体が撮影されている第１検体全体画像Ｇ４から第１検体画像Ｇ１が切り出され、第２検体全体画像Ｇ５から第１検体画像Ｇ１が切り出された場合、第１検体画像Ｇ１と第２検体画像Ｇ２とのペアは特徴が一致しないため、第１特徴量抽出器Ｅ１が異なる特徴量を抽出すべき負例ペアとなる。

【0106】

機械学習機能３５２ｃは、第１の実施形態と同様に、検体画像の病理検体が有する特徴の一致度が高くなるに従い損失値が小さくなり、検体画像の病理検体が有する特徴の一致度が低くなるに従い損失値が大きくなるように第１特徴量抽出器Ｅ１を学習させる。

【0107】

次に、第４の実施形態に係る情報処理装置３０ｃが実行する学習処理について説明する。図１２は、第４の実施形態に係る情報処理装置３０ｃが実行する学習処理の一例を示すフローチャートである。

【0108】

画像取得機能３５１は、複数の検体画像を取得する（ステップＳ４１）。

【0109】

画像調整機能３５４は、複数の検体画像から選択された検体画像のペアにおいて、同一の病理検体の画像であるか否かを判定する（ステップＳ４２）。同一の病理検体の画像ではない場合に（ステップＳ４２；Ｎｏ）、画像調整機能３５４は、ステップＳ４５に移行する。

【0110】

同一の病理検体の画像の場合に（ステップＳ４２；Ｙｅｓ）、画像調整機能３５４は、検体画像のペアにおいて、位置合わせなどの調整処理を実行する（ステップＳ４３）。

【0111】

切り出し機能３５５は、位置合わせなどの調整処理が実行された検体画像、または、異なる検体を撮影した検体画像から、部分画像を切り出す（ステップＳ４４）。

【0112】

機械学習機能３５２ｃは、部分画像を検体画像として特徴量抽出器に入力することで、複数の部分画像のそれぞれ特徴量を取得する（ステップＳ４５）。

【0113】

機械学習機能３５２ｃは、複数の特徴量のそれぞれの組み合わせでの損失値を算出する（ステップＳ４６）。

【0114】

機械学習機能３５２ｃは、損失値に基づいて、学習を終了する条件が満たされたか否かを判定する（ステップＳ４７）。

【0115】

学習を終了する条件が満たされていない場合に（ステップＳ４７；Ｎｏ）、機械学習機能３５２ｃは、特徴量抽出器のパラメータを更新する（ステップＳ４８）。そして、機械学習機能３５２ｃは、ステップＳ４５に移行する。

【0116】

学習を終了する条件が満たされている場合に（ステップＳ４７；Ｙｅｓ）、情報処理装置３０ｃは、学習処理を終了する。

【0117】

以上のように、第４の実施形態に係る情報処理装置３０ｃは、第１の画像と、第２の画像とにおける画像中の病理検体の位置、向き、及び形状の少なくとも一つを合わせる。情報処理装置３０ｃは、位置が合わせられた画像の一部分を切り出す。この時、情報処理装置３０ｃは、同一の位置から切り出すことにより、同じ特徴を含む部分画像のペアが取得できる。また、情報処理装置３０ｃは、異なる位置から切り出すことにより、異なる特徴を含む部分画像のペアが取得できる。よって、情報処理装置３０ｃは、学習に用いる画像を容易に収集することができる。

【0118】

（第５の実施形態）
図１３は、第５の実施形態に係る病理情報処理システム１ｄの構成の一例を示す図である。

【0119】

情報処理装置３０ｄの処理回路３５０ｄは、画像生成機能３５６を有する。

【0120】

画像生成機能３５６は、画像取得機能３５１により取得された検体画像から、検体画像を生成する。また、画像生成機能３５６は、切り出し機能３５５により切り出された部分検体画像から検体画像を生成してもよい。すなわち、画像生成機能３５６は、画像取得機能３５１により取得された検体画像と、切り出し機能３５５により切り出された部分検体画像との少なくとも一つから検体画像を生成する。画像生成機能３５６は、生成部の一例である。

【0121】

更に詳しくは、画像生成機能３５６は、データ拡張（Data Augmentation）処理により検体画像を生成する。すなわち、画像生成機能３５６は、回転、移動、拡大縮小、変形、反転、台形補正等の幾何的操作により検体画像を生成する。または、画像生成機能３５６は、ぼかし、ノイズ付加、明るさ補正、コントラスト補正、ガンマ補正等の画像加工操作により検体画像を生成する。

【0122】

また、相関値を算出する検体画像のペアに対して同じ幾何的操作をしない場合、病理検体の位置や向きなどの構造的特徴が変化するため、特徴量抽出器の特性が変化する。具体的には、幾何的操作により検体画像を生成した場合、特徴量抽出器が出力する特徴量から病理検体の位置や向きが同じであるか否かを判定するための特徴量が失われる可能性が高い。

【0123】

転移学習により特徴量抽出器が適用されるニューラルネットワークにおいて、病理検体の位置や向き等の特徴量が不要な場合、特徴量抽出器は、幾何的操作により生成された検体画像が使用されることにより最終的なロバスト性が向上する可能性がある。

【0124】

例えば、分類タスクでは、病理検体の位置や向き等の特徴量は、不要なケースが多い。一方、セグメンテーションタスクでは、病理検体の位置や向き等の特徴量は、必要なケースが多い。

【0125】

このように、幾何的操作、画像加工操作、又は、幾何的操作と画像加工操作との組み合わせとの何れの方法により検体画像を生成するのかは、特徴量抽出器が適用されるニューラルネットワークのタスクによって定められる。

【0126】

そこで、画像生成機能３５６は、特徴量抽出器が適用されるニューラルネットワークのタスクを示す操作や設定等に応じた方法により、画像取得機能３５１が取得した検体画像から、検体画像を生成する。

【0127】

機械学習機能３５２ｄは、第１の実施形態と同様に、検体画像の病理検体が有する特徴の一致度が高くなるに従い損失値が小さくなり、検体画像の病理検体が有する特徴の一致度が低くなるに従い損失値が大きくなるように特徴量抽出器を学習させる。

【0128】

画像生成機能３５６により生成された検体画像の特徴が、この検体画像の元になった検体画像の病理検体の特徴から変化している場合、機械学習機能３５２ｄは、検体画像の病理検体が有する特徴の一致度が高くなるに従い損失値が小さくなり、検体画像の病理検体が有する特徴の一致度が低くなるに従い損失値が大きくなるように特徴量抽出器を学習させる。

【0129】

なお、画像生成機能３５６により生成された検体画像の特徴が、この検体画像の元になった検体画像の病理検体の特徴から変化している場合であっても、病理検体が同一であり、且つ位置が同一の場合、機械学習機能３５２ｄは、損失値が小さくなるように特徴量抽出器に学習させてもよい。すなわち、機械学習機能３５２ｄは、損失値が小さくなるように特徴量抽出器のパラメータを更新してもよい。

【0130】

例えば、画像生成機能３５６は、検体画像を回転することにより、新たに検体画像を生成する。この場合、特徴量抽出器は、元々の回転していない検体画像と、回転した検体画像とが入力されると、病理検体が同一であり且つ位置が同一であるため、それぞれ略同じ特徴量を出力する。すなわち、特徴量抽出器は、病理検体の向きに関する情報を含まない特徴量を出力する。

【0131】

この特徴量抽出器が転移学習により適用されたニューラルネットワークは、検体画像の回転に対してロバスト性を有する。すなわち、ニューラルネットワークは、検体画像が回転を考慮せずに、処理結果を出力する。

【0132】

しかしながら、検体画像の向きは、ニューラルネットワークのタスクによっては重要な特徴量となる。

【0133】

そこで、機械学習機能３５２ｄは、特徴量抽出器が適用されるニューラルネットワークのタスクを示す操作や設定等に応じて、損失値が小さくなるように特徴量抽出器に学習させる、又は損失値が大きくなるように特徴量抽出器に学習させる。

【0134】

すなわち、機械学習機能３５２ｄは、画像生成機能３５６により生成された検体画像の特徴が、この検体画像の元になった検体画像の病理検体の特徴から変化している場合であっても、病理検体が同一であり、且つ位置が同一の場合に、損失値を小さくするか否かは、操作や設定等に応じて決定する。

【0135】

ここで、検体画像の生成を実行するフローについて説明する。図１４は、第５の実施形態に係る情報処理装置３０ｄが実行する検体画像を生成するフローの一例を示す図である。

【0136】

画像取得機能３５１は、例えば第１の撮影装置１０が撮影した第１検体画像Ｇ１と、第２の撮影装置２０が撮影した第２検体画像Ｇ２とを取得する。

【0137】

画像生成機能３５６は、第１検体画像Ｇ１をコピーし、コピーした画像を回転させることにより第４検体画像Ｇ６を生成する。

【0138】

機械学習機能３５２ｄは、検体画像の病理検体が有する特徴の一致度が高くなるに従い損失値が小さくなり、検体画像の病理検体が有する特徴の一致度が低くなるに従い損失値が大きくなるように第１特徴量抽出器Ｅ１を学習させる。

【0139】

機械学習機能３５２ｄは、画像生成機能３５６により生成された検体画像の特徴が、この検体画像の元になった検体画像の病理検体の特徴から変化している場合であっても、病理検体が同一であり、且つ位置が同一の場合に、損失値を小さくするか否かは、操作や設定等に応じて決定する。

【0140】

すなわち、機械学習機能３５２ｄは、特徴量抽出器が適用されるニューラルネットワークのタスクを示す操作や設定等に応じて、第１検体画像Ｇ１から生成された第１特徴量Ｚ１と、第３検体画像Ｇ３から生成された第３特徴量Ｚ３とに対応する第２損失値Ｌ２を小さく又は大きくするように、第１特徴量抽出器Ｅ１のパラメータを更新する。

【0141】

次に、第５の実施形態に係る情報処理装置３０ｄが実行する学習処理について説明する。図１５は、第５の実施形態に係る情報処理装置３０ｄが実行する学習処理の一例を示すフローチャートである。

【0142】

画像取得機能３５１は、複数の検体画像を取得する（ステップＳ５１）。

【0143】

画像生成機能３５６は、画像取得機能３５１が取得した検体画像から、データ拡張により１以上の検体画像を生成する（ステップＳ５２）。

【0144】

機械学習機能３５２ｄは、画像取得機能３５１により取得された複数の検体画像、及び画像生成機能３５６により生成された検体画像を特徴量抽出器に入力することで、複数の検体画像のそれぞれ特徴量を取得する（ステップＳ５３）。

【0145】

機械学習機能３５２ｄは、複数の特徴量のそれぞれの組み合わせでの損失値を算出する（ステップＳ５４）。

【0146】

機械学習機能３５２ｄは、損失値に基づいて、学習を終了する条件が満たされたか否かを判定する（ステップＳ５５）。

【0147】

学習を終了する条件が満たされていない場合に（ステップＳ５５；Ｎｏ）、機械学習機能３５２ｄは、特徴量抽出器のパラメータを更新する（ステップＳ５６）。そして、機械学習機能３５２ｄは、ステップＳ５３に移行する。

【0148】

学習を終了する条件が満たされている場合に（ステップＳ５５；Ｙｅｓ）、機械学習機能３５２ｄは、学習処理を終了する。

【0149】

以上のように、第５の実施形態に係る情報処理装置３０ｄは、第１の撮影装置１０又は第２の撮影装置２０が撮影した画像からデータ拡張により画像を生成する。よって、情報処理装置３０ｄは、学習に用いる画像を容易に収集することができる。

【0150】

（変形例１）
画像取得機能３５１は、第１の撮影装置１０及び第２の撮影装置２０から検体画像を取得すると説明した。しかしながら、病理情報処理システム１、１ａ、１ｂ、１ｃ、１ｄは、第２の撮影装置２０を備えていなくてもよい。この場合、画像取得機能３５１は、第１の撮影装置１０から撮影条件の異なる複数の検体画像を取得すればよい。

【0151】

（変形例２）
第１の撮影装置１０及び第２の撮影装置２０は、カメラやスキャナであると説明した。しかしながら、第１の撮影装置１０及び第２の撮影装置２０は、検体の三次元断層画像を撮影可能なＯＣＴ（Optical Coherence Tomography）装置、ＭｉｃｒｏＣＴ（Computed Tomography）装置、ＭｉｃｒｏＭＲＩ（Magnetic Resonance Imaging）装置、またはＸ線ＣＴ装置、またはＭＲＩ（Magnetic Resonance Imaging）装置等であってもよい。すなわち、情報処理装置３０、３０ａ、３０ｂ、３０ｃ、３０ｄは、病理分野における検体画像のような２次元画像に限らず、ＣＴ画像や、ＭＲＩ画像等の３次元画像に対して処理を行ってもよい。

【0152】

（変形例２）
情報処理装置３０、３０ａ、３０ｂ、３０ｃ、３０ｄは、画像取得機能３５１、機械学習機能３５２、３５２ｂ、３５２ｃ、３５２ｄ、転移学習機能３５３、画像調整機能３５４、切り出し機能３５５、及び画像生成機能３５６を備えると説明した。しかしながら、これら機能部の全部又は一部は、情報処理装置３０、３０ａ、３０ｂ、３０ｃ、３０ｄ以外の他の装置が備えていてもよい。この場合、情報処理装置３０、３０ａ、３０ｂ、３０ｃ、３０ｄは、検体画像を他の装置に送信すればよい。

【0153】

（変形例３）
情報処理装置３０、３０ａ、３０ｂ、３０ｃ、３０ｄは、記憶回路３４０に記憶されているプログラムを実行することにより、画像取得機能３５１、機械学習機能３５２、３５２ｂ、３５２ｃ、３５２ｄ、転移学習機能３５３、画像調整機能３５４、切り出し機能３５５、及び画像生成機能３５６を実現すると説明した。しかしながら、情報処理装置３０、３０ａ、３０ｂ、３０ｃ、３０ｄは、画像取得機能３５１、機械学習機能３５２、３５２ｂ、３５２ｃ、３５２ｄ、転移学習機能３５３、画像調整機能３５４、切り出し機能３５５、及び画像生成機能３５６の全部又は一部を半導体回路などのハードウェアにより実現してもよい。

【0154】

以上説明した少なくとも１つの実施形態等によれば、撮影条件の違いにより生じる特徴量の差異を低減することができる。

【0155】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0156】

１、１ａ、１ｂ、１ｃ、１ｄ 病理情報処理システム
１０ 第１の撮影装置
２０ 第２の撮影装置
３０、３０ａ、３０ｂ、３０ｃ、３０ｄ 情報処理装置
４０ ネットワーク
３１０ ＮＷ（ネットワーク）インタフェース
３２０ 入力インタフェース
３３０ ディスプレイ
３４０ 記憶回路
３５０、３５０ａ、３５０ｂ、３５０ｃ、３５０ｄ 処理回路
３５１ 画像取得機能
３５２、３５２ｂ、３５２ｃ 機械学習機能
３５３ 転移学習機能
３５４ 画像調整機能
３５５ 切り出し機能
３５６ 画像生成機能
Ｅ１ 第１特徴量抽出器
Ｅ２ 第２特徴量抽出器
Ｇ１ 第１検体画像
Ｇ２ 第２検体画像
Ｇ３ 第３検体画像
Ｇ４ 第１検体全体画像
Ｇ５ 第２検体全体画像
Ｇ６ 第４検体画像
Ｚ１ 第１特徴量
Ｚ２ 第２特徴量
Ｚ３ 第３特徴量
Ｌ１ 第１損失値
Ｌ２ 第２損失値
Ｌ３ 第３損失値
Ｍ１ 第１ニューラルネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】