IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人名古屋大学の特許一覧

特開2023-147526情報処理装置、情報処理方法、および、コンピュータプログラム
<>
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図1
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図2
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図3
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図4
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図5
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図6
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図7
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図8
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図9
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図10
  • 特開-情報処理装置、情報処理方法、および、コンピュータプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023147526
(43)【公開日】2023-10-13
(54)【発明の名称】情報処理装置、情報処理方法、および、コンピュータプログラム
(51)【国際特許分類】
   G16B 40/20 20190101AFI20231005BHJP
   G01N 33/483 20060101ALI20231005BHJP
   G01N 33/48 20060101ALI20231005BHJP
【FI】
G16B40/20
G01N33/483 C
G01N33/48 M
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022055076
(22)【出願日】2022-03-30
(71)【出願人】
【識別番号】504139662
【氏名又は名称】国立大学法人東海国立大学機構
(74)【代理人】
【識別番号】110001911
【氏名又は名称】弁理士法人アルファ国際特許事務所
(72)【発明者】
【氏名】檜 顕成
(72)【発明者】
【氏名】内田 広夫
(72)【発明者】
【氏名】加藤 竜司
(72)【発明者】
【氏名】蟹江 慧
(72)【発明者】
【氏名】今井 祐太
(72)【発明者】
【氏名】城田 千代栄
(72)【発明者】
【氏名】天野 日出
【テーマコード(参考)】
2G045
【Fターム(参考)】
2G045AA24
2G045CB01
2G045FA13
2G045FA16
(57)【要約】
【課題】細胞核の判別を、統一した基準に基づき、精度良く、かつ、バラツキが少ないように、実行する。
【解決手段】情報処理装置は、生体組織画像中の細胞核が特定種類の細胞核であるか否かを判別するための装置であって、モデル取得部と、判別実行部とを備える。モデル取得部は、細胞核判別モデルを取得する。細胞核判別モデルは、複数の細胞核のそれぞれについて、細胞核の形態を示す形態情報と、特定種類の細胞核である蓋然性の高さを示すスコア情報と、が対応付けられたデータである訓練データを用いた機械学習により生成されたモデルである。判別実行部は、判別対象の細胞核についての形態情報と、細胞核判別モデルとを用いて、判別対象の細胞核が特定種類の細胞核であるか否かの判別を実行し、判別の結果を出力する。
【選択図】図1
【特許請求の範囲】
【請求項1】
生体組織画像中の細胞核が特定種類の細胞核であるか否かを判別するための情報処理装置であって、
細胞核判別モデルを取得するモデル取得部であって、前記細胞核判別モデルは、複数の細胞核のそれぞれについて、細胞核の形態を示す形態情報と、前記特定種類の細胞核である蓋然性の高さを示すスコア情報と、が対応付けられたデータである訓練データを用いた機械学習により生成されたモデルである、モデル取得部と、
判別対象の細胞核についての前記形態情報と、前記細胞核判別モデルとを用いて、前記判別対象の細胞核が前記特定種類の細胞核であるか否かの判別を実行し、前記判別の結果を出力する判別実行部と、
を備える、情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、さらに、
前記訓練データを取得する訓練データ取得部を備え、
前記モデル取得部は、前記訓練データを用いた前記機械学習によって前記細胞核判別モデルを作成することにより、前記細胞核判別モデルを取得する、情報処理装置。
【請求項3】
請求項1または請求項2に記載の情報処理装置であって、
前記形態情報は、複数の形態指標を用いて細胞核の形態を示す情報である、情報処理装置。
【請求項4】
請求項3に記載の情報処理装置であって、
前記形態情報は、細胞核の輪郭の特徴を示す情報と、細胞核の染まり具合の特徴を示す情報と、細胞核の模様的な特徴を示す情報と、の少なくとも1つを含む、情報処理装置。
【請求項5】
請求項4に記載の情報処理装置であって、
前記形態情報は、細胞核の輪郭の特徴を示す情報と、細胞核の染まり具合の特徴を示す情報と、細胞核の模様的な特徴を示す情報と、を含む、情報処理装置。
【請求項6】
請求項3から請求項5までのいずれか一項に記載の情報処理装置であって、さらに、
複数の細胞核についての前記判別の結果を分析し、前記細胞核判別モデルの構造に蓄積された前記形態情報の組み合わせルールを示す情報を視認可能に出力する判別結果分析部を備える、情報処理装置。
【請求項7】
請求項6に記載の情報処理装置であって、
前記分析は、前記形態情報に含まれる複数の前記形態指標のうち、前記細胞核判別モデルにおける寄与度の高い一部の形態指標を用いて実行される、情報処理装置。
【請求項8】
請求項1から請求項7までのいずれか一項に記載の情報処理装置であって、
前記生体組織画像は、腸管組織片の神経叢領域を含む画像であり、
前記特定種類の細胞核は、神経節細胞核である、情報処理装置。
【請求項9】
生体組織画像中の細胞核が特定種類の細胞核であるか否かを判別するための情報処理方法であって、
細胞核判別モデルを取得する工程であって、前記細胞核判別モデルは、複数の細胞核のそれぞれについて、細胞核の形態を示す形態情報と、前記特定種類の細胞核である蓋然性の高さを示すスコア情報と、が対応付けられたデータである訓練データを用いた機械学習により生成されたモデルである、細胞核判別モデルを取得する工程と、
判別対象の細胞核についての前記形態情報と、前記細胞核判別モデルとを用いて、前記判別対象の細胞核が前記特定種類の細胞核であるか否かの判別を実行し、前記判別の結果を出力する工程と、
を備える、情報処理方法。
【請求項10】
生体組織画像中の細胞核が特定種類の細胞核であるか否かを判別するためのコンピュータプログラムであって、
コンピュータに、
細胞核判別モデルを取得する処理であって、前記細胞核判別モデルは、複数の細胞核のそれぞれについて、細胞核の形態を示す形態情報と、前記特定種類の細胞核である蓋然性の高さを示すスコア情報と、が対応付けられたデータである訓練データを用いた機械学習により生成されたモデルである、細胞核判別モデルを取得する処理と、
判別対象の細胞核についての前記形態情報と、前記細胞核判別モデルとを用いて、前記判別対象の細胞核が前記特定種類の細胞核であるか否かの判別を実行し、前記判別の結果を出力する処理と、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示される技術は、生体組織画像中の細胞核が特定種類の細胞核であるか否かを判別するための情報処理に関する。さらに、本明細書に開示される技術は、該判別の結果をもって、医師の理解と診断を支援するための情報処理に関する。
【背景技術】
【0002】
ヒルシュスプルング病は、腸管における肛門に近い部分において、運動(蠕動)を司る神経節細胞が欠損し、腸管の運動障害が生じる先天性の希少疾患である。また、ヒルシュスプルング病類縁疾患は、腸管に神経節細胞は存在するものの、その数が十分ではない、あるいは、神経節細胞が未成熟であるために、腸管の運動が不十分となる希少疾患である。
【0003】
ヒルシュスプルング病またはその類縁疾患の病理診断では、患者から採取した腸管組織片を撮像した画像を用いて、腸管の神経叢領域に存在する各細胞核が神経節細胞核であるか否かの判別が行われる。病理診断後、例えば、腸管における神経節細胞が存在しない部位、あるいは、神経節細胞の数が不十分である部位を切除し、運動障害の無い腸管を肛門に吻合する処置が施される。
【0004】
従来、上記のような病理診断における神経節細胞核の判別は、熟練した病理診断医が画像を目視することによって実行されている(例えば、非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】ラジ ピー・カプール(Raj P.Kapur)、外1名、「移行ゾーンのプルスルー:外科病理学の考慮事項(Transitional zone pull through: surgical pathology considerations)」、小児外科セミナー(Seminars in Pediatric Surgery)、エルゼビア(Elsevier)、2012年、第21巻、291頁~301頁
【発明の概要】
【発明が解決しようとする課題】
【0006】
ヒルシュスプルング病またはその類縁疾患について適切な治療を行うためには、病理診断において神経節細胞核の判別を精度良く行うことが重要である。従来は、各病理診断医の個別の経験に頼った主観的な判別がなされているため、判別精度が十分に高くないことがあると共に、医師毎の判別結果のバラツキが大きくなりやすい。特に、ヒルシュスプルング病およびその類縁疾患は希少疾患であり、正確な病理診断を行うことができる施設や医師が限られているため、統一した基準に基づき、精度良く、かつ、バラツキの少ない判別を行うことができる技術が望まれている。さらに、そのようなバラツキの少ない判別を行うことができる技術が実現したときに、それが従来の判別とどう違っているのか理解し、さらに追加のデータをどう蓄積しなければならないのかについて、新たな知見を与えてくれるわけではないため、該判別を実際の医療に使ってよいのか、また使い始めたとしてその判別結果を信頼してよいのかの判断基準が持てない、という課題があり、そのような課題を解決できる技術が望まれている。
【0007】
なお、このような課題は、神経節細胞核の判別に限らず、生体組織画像中の細胞核が特定種類の細胞核であるか否かを判別する際に共通の課題である。
【0008】
本明細書では、上述した課題を解決することが可能な技術を開示する。
【課題を解決するための手段】
【0009】
本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。
【0010】
(1)本明細書に開示される情報処理装置は、生体組織画像中の細胞核が特定種類の細胞核であるか否かを判別するための装置であって、モデル取得部と、判別実行部とを備える。モデル取得部は、細胞核判別モデルを取得する。細胞核判別モデルは、複数の細胞核のそれぞれについて、細胞核の形態を示す形態情報と、前記特定種類の細胞核である蓋然性の高さを示すスコア情報と、が対応付けられたデータである訓練データを用いた機械学習により生成されたモデルである。判別実行部は、判別対象の細胞核についての前記形態情報と、前記細胞核判別モデルとを用いて、前記判別対象の細胞核が前記特定種類の細胞核であるか否かの判別を実行し、前記判別の結果を出力する。
【0011】
本情報処理装置によれば、判別対象の細胞核についての形態情報と、細胞核判別モデルとを用いて、判別対象の細胞核が特定種類の細胞核であるか否かの判別を実行し、判別の結果を出力することができる。そのため、個々の細胞核毎に、細胞核の形態に基づき、細胞核判別モデルを用いて細胞核の判別することができる。従って、本情報処理装置によれば、細胞核の判別を、統一した基準に基づき、精度良く、かつ、バラツキが少ないように、実行することができる。
【0012】
(2)上記情報処理装置において、さらに、前記訓練データを取得する訓練データ取得部を備える構成としてもよい。また、前記モデル取得部は、前記訓練データを用いた前記機械学習によって前記細胞核判別モデルを作成することにより、前記細胞核判別モデルを取得する構成としてもよい。本構成を採用すれば、他の装置を用いずとも細胞核判別モデルを取得することができ、該モデルを用いて細胞核の判別を実行することができる。
【0013】
(3)上記情報処理装置において、前記形態情報は、複数の形態指標を用いて細胞核の形態を示す情報である構成としてもよい。本構成を採用すれば、細胞核の形態を多面的に捉えた情報に基づき細胞核の判別を実行することができ、細胞核の判別精度を効果的に向上させることができる。また、本構成を採用すれば、人間にわかる指標が用いられるため、細胞核判別モデルの構造が適切か否かを熟練者が確認することができる。
【0014】
(4)上記情報処理装置において、前記形態情報は、細胞核の輪郭の特徴を示す情報と、細胞核の染まり具合の特徴を示す情報と、細胞核の模様的な特徴を示す情報と、の少なくとも1つを含む構成としてもよい。本構成を採用すれば、細胞核の形態をより的確に捉えた情報に基づき細胞核の判別を実行することができ、細胞核の判別精度をさらに効果的に向上させることができる。
【0015】
(5)上記情報処理装置において、前記形態情報は、細胞核の輪郭の特徴を示す情報と、細胞核の染まり具合の特徴を示す情報と、細胞核の模様的な特徴を示す情報と、を含む構成としてもよい。本構成を採用すれば、細胞核の形態をより多面的に、かつ、より的確に捉えた情報に基づき細胞核の判別を実行することができ、細胞核の判別精度を極めて効果的に向上させることができる。
【0016】
(6)上記情報処理装置において、さらに、複数の細胞核についての前記判別を分析し、前記細胞核判別モデルの構造に蓄積された前記形態情報の組み合わせルールを示す情報を視認可能に出力する判別結果分析部を備える構成としてもよい。本構成を採用すれば、細胞核の形態の特徴ごとにマッピングを行うことができ、細胞核についての客観的な形態カテゴリの理解を支援することができる。これにより、細胞核判別モデルの判別結果を信じてよいのか、細胞核判別モデルの与える複数の判別結果の中で、どれを信頼すべきでどれは信頼できないかに気付いたり、そもそも学習させたデータが適切であるか否か等を考え、医療診断技術を過去の知見とも照らし合わせながら検証することを支援できる。
【0017】
(7)上記情報処理装置において、前記多次元クラスタリングは、前記形態情報に含まれる複数の前記形態指標のうち、前記細胞核判別モデルにおける寄与度の高い一部の形態指標を用いて実行される構成としてもよい。本構成を採用すれば、細胞核の判別への寄与度の高い形態の特徴ごとにマッピングを行うことができ、細胞核についての客観的な形態カテゴリの理解を効果的に支援することができる。
【0018】
(8)上記情報処理装置において、前記生体組織画像は、腸管組織片の神経叢領域を含む画像であり、前記特定種類の細胞核は、神経節細胞核である構成としてもよい。本構成を採用すれば、腸管組織片の神経叢領域を含む画像を対象として、神経叢領域に含まれる細胞核が神経節細胞核であるか否かの判別を、統一した基準に基づき、精度良く、かつ、バラツキが少ないように、実行することができる。これにより、ヒルシュスプルング病またはその類縁疾患について適切な治療を行うために有益な情報を提供することができる。
【0019】
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、情報処理装置、情報処理方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【0020】
図1】本実施形態における細胞核判別モデルMOを概念的に示す説明図
図2】情報処理装置100の概略構成を示す説明図
図3】本実施形態における細胞核判別モデル取得処理を示すフローチャート
図4】細胞核CNの形態情報FIの一例を示す説明図
図5】本実施形態における細胞核判別処理を示すフローチャート
図6】実施例の細胞核判別モデルMOの予測精度を示す説明図
図7】実施例の細胞核判別モデルMOにおける寄与度の高い形態指標を示す説明図
図8】本実施形態における判別結果分析処理を示すフローチャート
図9】多次元クラスタリングの結果の一例を示す説明図
図10図9に示す多次元クラスタリングにおける第1グループGr1および第2グループGr2に属するデータのみを対象とした再度の多次元クラスタリングの結果の一例を示す説明図
図11図9に示す多次元クラスタリング結果に基づく形態指標ヒートマップの一例を示す説明図
【発明を実施するための形態】
【0021】
A.実施形態:
A-1.細胞核判別モデルMOの概要:
はじめに、本実施形態における細胞核判別モデルMOの概要を説明する。図1は、本実施形態における細胞核判別モデルMOを概念的に示す説明図である。細胞核判別モデルMOは、生体組織画像Ib上の細胞核CNが特定種類の細胞核であるか否かを判別するために用いられるモデルである。後に詳述するように、細胞核判別モデルMOは、細胞核CNの形態を示す形態情報FIを入力とし、特定種類の細胞核である蓋然性の高さを示すスコア情報SIを出力とする機械学習モデルである。
【0022】
本実施形態では、細胞核判別モデルMOが、細胞核CNが神経節細胞核CN(Ne)であるか否かの判別に用いられる。より詳細には、ヒルシュスプルング病またはその類縁疾患の病理診断において、生体組織画像Ibとして腸管組織片の画像を用いて、画像上の神経叢領域NPAに含まれる各細胞核CNが神経節細胞核CN(Ne)であるか、それとも、神経節細胞核CN(Ne)以外の細胞核(以下、「一般細胞核CN(Ge)」という。)であるかを判別するために、細胞核判別モデルMOが用いられる。
【0023】
なお、細胞核判別モデルMOの出力である神経節細胞核CN(Ne)である蓋然性の高さを示すスコア情報SIは、例えば、神経節細胞核CN(Ne)であるか否かを示すゼロ/イチの判別結果であってもよいし、神経節細胞核CN(Ne)である蓋然性の高さを段階的に示す数値(例えば、10点満点中の何点であるかを示す数値)であってもよいし、それらの両方が用いられてもよい。図1に示す例では、神経節細胞核CN(Ne)であるか否かを示すゼロ/イチの判別が実行され、表示された生体組織画像Ib上の各細胞核CNに、神経節細胞核CN(Ne)であることを示す識別子および一般細胞核CN(Ge)であることを示す識別子が示されている。神経節細胞核CN(Ne)は、特許請求の範囲における特定種類の細胞核の一例である。
【0024】
細胞核判別モデルMOを用いることにより、生体組織画像Ibとしての腸管組織片の画像中の各細胞核CNが神経節細胞核CN(Ne)であるか、それとも、一般細胞核CN(Ge)であるかを、病理診断医の目視による判別を行うことなく、精度良く、かつ、バラツキが少なく判別することができる。もちろん、細胞核判別モデルMOによる判別結果を最終的に病理診断医が確認した上で、最終の判別結果としてもよい。このように、細胞核判別モデルMOを用いることにより、神経節細胞核CN(Ne)であるか否かの判別を精度良く、かつ、バラツキが少なく実行することができ、ひいてはヒルシュスプルング病またはその類縁疾患の適切な治療や機能予後の改善を実現することができる。
【0025】
A-2.情報処理装置100の構成:
次に、細胞核判別モデルMOの取得や細胞核判別モデルMOを用いた細胞核の判別を実行するための情報処理装置100の構成を説明する。図2は、情報処理装置100の概略構成を示す説明図である。情報処理装置100は、コンピュータ(PC、サーバ等)により構成されている。
【0026】
情報処理装置100は、制御部110と、記憶部120と、表示部130と、操作入力部140と、インターフェース部150とを備える。これらの各部は、バス190を介して互いに通信可能に接続されている。なお、情報処理装置100が出力手段としてのスピーカを備えていてもよい。
【0027】
情報処理装置100の表示部130は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。操作入力部140は、例えばキーボードやマウス、ボタン、マイク、トラックパッド等により構成され、管理者の操作や指示を受け付ける。なお、表示部130がタッチパネルを備えることにより、操作入力部140として機能するとしてもよい。インターフェース部150は、例えばLANインターフェースやUSBインターフェース等により構成され、有線または無線により他の装置との通信を行う。
【0028】
情報処理装置100の記憶部120は、例えばROMやRAM、ハードディスクドライブ(HDD)等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部120には、後述する細胞核判別モデル取得処理等を実行するためのコンピュータプログラムである細胞核判別プログラムCPが格納されている。細胞核判別プログラムCPは、例えば、CD-ROMやDVD-ROM、USBメモリ等のコンピュータ読み取り可能な記録媒体(不図示)に格納された状態で提供され、あるいは、インターフェース部150を介して外部装置(例えば、クラウド上のサーバや他の端末装置)から取得可能な状態で提供され、情報処理装置100上で動作可能な状態で記憶部120に格納される。
【0029】
また、情報処理装置100の記憶部120には、予め、または、後述する細胞核判別モデル取得処理等の実行中に、訓練データTDと、細胞核判別モデルMOと、対象画像Iboと、判別結果データRDとが格納される。これらの情報やデータの内容については、後述する細胞核判別モデル取得処理等の説明に合わせて説明する。
【0030】
情報処理装置100の制御部110は、例えばCPU等により構成され、記憶部120から読み出したコンピュータプログラムを実行することにより、情報処理装置100の動作を制御する。例えば、制御部110は、記憶部120から細胞核判別プログラムCPを読み出して実行することにより、後述の細胞核判別モデル取得処理等を実行するための細胞核判別処理部111として機能する。細胞核判別処理部111は、訓練データ取得部112と、モデル取得部113と、対象画像取得部114と、領域特定部115と、細胞核特定部116と、形態情報取得部117と、判別実行部118と、判別結果分析部119とを含む。これら各部の機能については、後述の細胞核判別モデル取得処理等の説明に合わせて説明する。
【0031】
A-3.細胞核判別モデル取得処理:
次に、本実施形態の情報処理装置100により実行される細胞核判別モデル取得処理について説明する。図3は、本実施形態における細胞核判別モデル取得処理を示すフローチャートである。細胞核判別モデル取得処理は、上述した細胞核判別モデルMOを取得するための処理である。本実施形態では、情報処理装置100は、自ら所定の機械学習によって細胞核判別モデルMOを作成することにより、細胞核判別モデルMOを取得する。細胞核判別モデル取得処理は、ユーザが情報処理装置100の操作入力部140を操作して開始指示を入力したことに応じて開始される。
【0032】
はじめに、情報処理装置100の訓練データ取得部112(図2)が、細胞核判別モデルMOの作成に用いられる生体組織画像Ibである訓練用画像Itを取得する(S110)。本実施形態では、訓練用画像Itとして、ヒルシュスプルング病またはその類縁疾患の患者から採取した腸管組織片を撮像した画像であって、神経叢領域NPAを含む画像が用いられる。訓練データ取得部112は、複数の患者についての複数の訓練用画像Itを取得することが好ましい。
【0033】
次に、情報処理装置100の領域特定部115(図2)が、各訓練用画像Itにおける神経叢領域NPAを特定する(S120)。神経叢領域NPAの特定は、領域特定部115が所定の画像処理を実行することによって実現することができる。なお、例えば病理診断医が各訓練用画像Itを目視することによって神経叢領域NPAを特定し、神経叢領域NPAの位置を指定する情報を操作入力部140を介して入力することにより、領域特定部115が神経叢領域NPAを特定するとしてもよい。
【0034】
次に、情報処理装置100の細胞核特定部116(図2)が、S120において特定された神経叢領域NPAを対象として、細胞核CNを特定する(S130)。細胞核CNの特定は、細胞核特定部116が所定の画像処理を実行することによって実現することができる。なお、例えば病理診断医が各訓練用画像Itの神経叢領域NPAを目視することによって細胞核CNを特定し、細胞核CNの位置を指定する情報を操作入力部140を介して入力することにより、細胞核特定部116が細胞核CNを特定するとしてもよい。
【0035】
次に、情報処理装置100の形態情報取得部117(図2)が、S130において特定された各細胞核CNについて、形態情報FIを取得(測定)する(S140)。
【0036】
図4は、細胞核CNの形態情報FIの一例を示す説明図である。本実施形態では、形態情報FIは、細胞核CNの輪郭の特徴(大きさや丸さ等)を示す情報と、細胞核CNの染まり具合の特徴(色味の強さ等)を示す情報と、細胞核CNの模様的な特徴(テクスチャ等)を示す情報とを含んでいる。図4の例では、細胞核CNの輪郭の特徴を示す情報として、面積(area)や長さ(length)等を含む11個の形態指標が用いられ、細胞核CNの染まり具合の特徴を示す情報として、青色の明度の平均(blue_intensity_mean)や標準偏差(blue_intensity_sd)、変動係数(blue_intensity_cv)等を含む27個の形態指標が用いられ、細胞核CNの模様的な特徴を示す情報として、青色のコリレイション(blue_correlation)やエナジー(blue_energy)、ホモジェニアティ(blue_homogeneity)等を含む9個の形態指標が用いられる。すなわち、本実施形態では、形態情報FIとして、合計47個の形態指標が用いられる。
【0037】
細胞核CNの形態情報FIの取得(測定)は、形態情報取得部117が所定の画像処理を実行することによって実現することができる。なお、例えば病理診断医が各細胞核CNの形態情報FIを手作業で測定し、測定値を操作入力部140を介して入力することにより、形態情報取得部117が形態情報FIを取得するとしてもよい。
【0038】
次に、情報処理装置100の訓練データ取得部112(図2)が、各訓練用画像Itの神経叢領域NPAにおいて特定された各細胞核CNについて、神経節細胞核CN(Ne)である蓋然性の高さを示すスコア情報SIを取得する(S150)。上述したように、スコア情報SIは、神経節細胞核CN(Ne)であるか否かを示すゼロ/イチの判別結果であってもよいし、神経節細胞核CN(Ne)である蓋然性の高さを段階的に示す数値であってもよいし、それらの両方が用いられてもよい。
【0039】
スコア情報SIの取得は、例えば、病理診断医が画像中の各細胞核CNを目視して神経節細胞核CN(Ne)である蓋然性の高さを示すスコアを付し、該スコアを操作入力部140を介して入力することにより、実現される。
【0040】
なお、情報処理装置100の訓練データ取得部112は、S110~S150の処理により得られたデータ、すなわち、複数の細胞核CNのそれぞれについて、細胞核CNの形態を示す形態情報FIと、神経節細胞核CN(Ne)である蓋然性の高さを示すスコア情報SIと、が対応付けられたデータを、訓練データTDとして記憶部120に格納する。
【0041】
次に、情報処理装置100のモデル取得部113(図2)が、訓練データTDを用いた機械学習により細胞核判別モデルMOを作成する(S160)。モデル取得部113は、訓練データTDに含まれる細胞核CNの形態を示す形態情報FIを入力(説明変数)とし、訓練データTDに含まれる神経節細胞核CN(Ne)である蓋然性の高さを示すスコア情報SIを出力(目的変数)とし、神経節細胞核CN(Ne)であるか否かの判別精度を示す所定の評価指標を高くするような機械学習を実行することにより、細胞核判別モデルMOを作成する。
【0042】
細胞核判別モデルMOの作成のための機械学習には、公知の種々の機械学習アルゴリムを利用可能であるが、本実施形態では、LASSO回帰モデルが用いられる。LASSO回帰モデルは、比較的シンプルな機械学習モデルであり、チューニングが容易・全自動であり、モデル解釈可能なモデルである。
【0043】
このようにして作成された細胞核判別モデルMOは、情報処理装置100の記憶部120に格納される。以上により、細胞核判別モデルMOの取得処理が完了する。
【0044】
A-4.細胞核判別処理:
次に、本実施形態の情報処理装置100により実行される細胞核判別処理について説明する。図5は、本実施形態における細胞核判別処理を示すフローチャートである。細胞核判別処理は、細胞核判別モデルMOを用いて、判別対象の細胞核CNが神経節細胞核CN(Ne)であるか否かを判別する処理である。細胞核判別処理は、ユーザが情報処理装置100の操作入力部140を操作して開始指示を入力したことに応じて開始される。
【0045】
はじめに、情報処理装置100の対象画像取得部114(図2)が、対象画像Iboを取得する(S310)。対象画像Iboは、細胞核判別処理の対象となる生体組織画像Ibであり、より具体的には、ヒルシュスプルング病またはその類縁疾患の患者から採取した腸管組織片を撮像した画像である。なお、生体組織画像Ibは、高解像度で、かつ、広域の連結画像であるバーチャルスライドの形態で取得されてもよい。
【0046】
次に、情報処理装置100の領域特定部115(図2)が、対象画像Iboにおける神経叢領域NPAを特定する(S320)。神経叢領域NPAの特定は、領域特定部115が所定の画像処理を実行することによって実現することができる。なお、例えば病理診断医が対象画像Iboを目視することによって神経叢領域NPAを特定し、神経叢領域NPAの位置を指定する情報を操作入力部140を介して入力することにより、領域特定部115が神経叢領域NPAを特定するとしてもよい。
【0047】
次に、情報処理装置100の細胞核特定部116(図2)が、S320において特定された神経叢領域NPAを対象として、細胞核CNを特定する(S330)。細胞核CNの特定は、細胞核特定部116が所定の画像処理を実行することによって実現することができる。なお、例えば病理診断医が対象画像Iboの神経叢領域NPAを目視することによって細胞核CNを特定し、細胞核CNの位置を指定する情報を操作入力部140を介して入力することにより、細胞核特定部116が細胞核CNを特定するとしてもよい。
【0048】
次に、情報処理装置100の形態情報取得部117(図2)が、S330において特定された各細胞核CNについて、形態情報FIを取得(測定)する(S340)。S330において複数の細胞核CNが特定された場合には、それぞれの細胞核CNについての形態情報FIが取得される。本実施形態では、各細胞核CNについて、上述した47個の形態指標から構成される形態情報FIが取得される。形態情報FIの特定は、形態情報取得部117が所定の画像処理を実行することによって実現することができる。
【0049】
次に、情報処理装置100の判別実行部118(図2)が、各細胞核CNについて、形態情報FIと細胞核判別モデルMOとを用いて、神経節細胞核CN(Ne)であるか否かの判別を実行する(S350)。すなわち、判別実行部118は、細胞核判別モデルMOに対して細胞核CNの形態情報FIを入力することにより、細胞核判別モデルMOから出力される、神経節細胞核CN(Ne)である蓋然性の高さを示すスコア情報SIを取得し、スコア情報SIを参照して神経節細胞核CN(Ne)であるか一般細胞核CN(Ge)であるかの判別を行う。なお、S330において複数の細胞核CNが特定された場合には、それぞれの細胞核CNについてのスコア情報SIが取得される。判別実行部118は、スコア情報SIに基づき判別結果を示す判別結果データRDを生成し、情報処理装置100の記憶部120に格納する。
【0050】
次に、判別実行部118は、判別結果データRDに基づき、判別結果を出力する(S360)。例えば、判別実行部118は、図1に示すように、生体組織画像Ib(対象画像Ibo)を表示部130に表示させると共に、該画像上の各細胞核CNに、神経節細胞核CN(Ne)であることを示す識別子(マークや文字等)および一般細胞核CN(Ge)であることを示す識別子を表示させる。これにより、ユーザは、判別結果を把握することができる。判別結果の出力は、表示部130への表示に限られず、プリンタを介した印刷やスピーカを介した音声出力であってもよい。以上により、細胞核判別処理が完了する。
【0051】
A-5.実施例:
上述した細胞核判別モデルMOの実施例について、以下説明する。本実施例の細胞核判別モデルMOの作成の際には、名古屋大学医学部附属病院小児外科において手術を行った複数のヒルシュスプルング病患者の腸管の切除標本から、正常部位の画像を約350枚取得し、各画像において手作業で神経叢領域NPAおよび細胞核CNを特定し、各細胞核CNについて、形態情報FIの測定と、神経節細胞核CN(Ne)であるか否かのラベリングを行った。このようにして作成したデータの一部を訓練データTDとして用いた機械学習により細胞核判別モデルMOを作成した。また、残りの一部のデータをテストデータとして用いて、細胞核判別モデルMOの検証を行った。
【0052】
図6は、実施例の細胞核判別モデルMOの予測精度を示す説明図である。図6に示すように、実施例の細胞核判別モデルMOでは、一致度が98.7%であり、感度(一般細胞核CN(Ge)を正しく判別できた割合)が98.6%(=(1784/1810)×100)であり、特異度(神経節細胞核CN(Ne)を正しく判別できた割合)が99.3%(=(434/437)×100)であり、いずれも極めて高い値となった。このように、実施例の細胞核判別モデルMOは、極めて高い判別精度を示した。
【0053】
図7は、実施例の細胞核判別モデルMOにおける寄与度の高い形態指標を示す説明図である。図7において、係数の値が大きい形態指標は、神経節細胞核CN(Ne)の特徴への貢献が高いものであり、係数の値が小さい形態指標は、一般細胞核CN(Ge)の特徴への貢献が高いものである。
【0054】
図7に示すように、神経節細胞核CN(Ne)の特徴として、例えば、丸い、大きい、緑色の輝度ムラが強いといった特徴が挙げられる。また、一般細胞核CN(Ge)の特徴として、例えば、輪郭の輝度ムラが強い、輪郭の赤みが濃いといった特徴が挙げられる。細胞核判別モデルMOの作成に用いた47個の形態指標のうち、図7に示す16個の形態指標は、細胞核判別モデルMOが採用した重要な指標値であると言える。
【0055】
A-6.判別結果分析処理:
次に、本実施形態の情報処理装置100により実行される判別結果分析処理について説明する。図8は、本実施形態における判別結果分析処理を示すフローチャートである。判別結果分析処理は、複数の細胞核CNを対象とした細胞核判別モデルMOを用いた判別結果を分析するための処理である。判別結果分析処理は、ユーザが情報処理装置100の操作入力部140を操作して開始指示を入力したことに応じて開始される。
【0056】
はじめに、情報処理装置100の判別結果分析部119(図2)が、判別結果データRDにより特定される複数の細胞核CNについての判別結果を対象として、形態情報FIを用いた多次元クラスタリングを実行する(S410)。本実施形態では、多次元クラスタリングとして、UMAP(Uniform Manifold Approximation and Projection)を用いた解析が実行される。UMAPは、次元削減を行う教師なし学習の一つであり、高次元のデータを2次元や3次元に変換して可視化するための手法である。本実施形態では、形態情報FIを構成する47個の形態指標のうち、図7に示す、細胞核判別モデルMOにおける有効な(すなわち、学習に用いられた)16個の形態指標を用いてUMAP解析を実行し、16次元を2次元に圧縮してクラスタリングを行う。
【0057】
図9は、多次元クラスタリングの結果の一例を示す説明図である。図9に示すように、UMAP解析により、各細胞核CNについての形態指標が2次元のデータに圧縮される。また、UMAP解析により、各細胞核CNについての判別結果のクラスタリングが実現される。図9の例では、各細胞核CNについての判別結果が、3つのグループ(Gr1,Gr2,Gr3)にクラスタリングされている。
【0058】
図9の例では、第1グループGr1は、234個の神経節細胞核CN(Ne)と、4個の一般細胞核CN(Ge)とから構成されている。第1グループGr1に属する神経節細胞核CN(Ne)は、色が濃く、かつ、核小体が視認できる、という特徴を有していた。また、第1グループGr1に属する一般細胞核CN(Ge)は、色が濃く、かつ、模様味がある、という特徴を有していた。
【0059】
また、第2グループGr2は、148個の神経節細胞核CN(Ne)と、139個の一般細胞核CN(Ge)とから構成されている。第2グループGr2に属する神経節細胞核CN(Ne)は、色が薄いが、全体として第1グループGr1に属する神経節細胞核CN(Ne)に近い、という特徴を有していた。また、第2グループGr2に属する一般細胞核CN(Ge)は、色が濃い、という特徴を有していた。
【0060】
また、第3グループGr3は、55個の神経節細胞核CN(Ne)と、1677個の一般細胞核CN(Ge)とから構成されている。第3グループGr3に属する神経節細胞核CN(Ne)は、色が濃く、かつ、模様味が少ない、という特徴を有していた。また、第3グループGr3に属する一般細胞核CN(Ge)は、色が濃く、かつ、模様味がほとんど無い、という特徴を有していた。
【0061】
このように、多次元クラスタリングの結果、細胞核CNの形態(見た目)の特徴ごとにマッピングを行うことができる。そのため、多次元クラスタリングを行うことにより、細胞核CNについての客観的な形態カテゴリの理解を支援することができると言える。このようなマッピング結果は、例えば、神経節細胞核CN(Ne)の判別方法の教育に利用したり、細胞核判別モデルMOの更新や新規作成の際に用いる訓練データの選定に利用したりすることができる。
【0062】
図10は、図9に示す多次元クラスタリングにおける第1グループGr1および第2グループGr2に属するデータのみを対象とした再度の多次元クラスタリングの結果の一例を示す説明図である。図10のA欄およびB欄には、同一の多次元クラスタリングの結果を示しているが、A欄では、神経節細胞核CN(Ne)と一般細胞核CN(Ge)とを識別可能に示しており、B欄では、第1グループGr1に属するデータと第2グループGr2に属するデータとを識別可能に示している。
【0063】
図10を参照すると、図9に示す分析結果では、データが集中して識別が難しいと思われる領域についても、特定のグループを取り出して再度分析を行うことにより、実際にはかなりの程度識別が可能であることがわかる。このような再度の分析(形態可視化)により、識別困難なデータがどのような画像で構成されていたかがわかり、データの不備や誤判定の原因を究明することができる。また、特定のグループを取り出して、再度、細胞核判別モデルMOを作成することもできる。
【0064】
また、情報処理装置100の判別結果分析部119(図2)が、多次元クラスタリング結果に基づき、形態指標ヒートマップを作成する(S420)。形態指標ヒートマップは、2次元データの個々の値を色調や濃淡で表現したマップである。なお、S420の処理は、S410の処理と並列的に実行されてよい。S410の処理とS420の処理とをまとめて、「教師なし学習」と表現することもできる。
【0065】
図11は、図9に示す多次元クラスタリング結果に基づく形態指標ヒートマップの一例を示す説明図である。このようなヒートマップを参照することにより、多次元クラスタリングにより特定された各グループの特徴を可視化することができる。図11において、符号「Gr1_Ne」は、第1グループGr1に属する神経節細胞核CN(Ne)を意味し、符号「Gr1_Ge」は、第1グループGr1に属する一般細胞核CN(Ge)を意味している。他の符号も同様である。例えば、図11に示すヒートマップを参照すると、第1グループGr1に属する細胞核CNは、全体的にサイズが大きく、かつ、丸い(「solidity」が大きい)、という特徴を有すると言える。また、第2グループGr2に属する細胞核CNは、輝度値のバラツキ(cv)が小さいが、色が白っぽいために平均(mean)は高い、という特徴を有すると言える。また、第3グループGr3に属する細胞核CNは、全体的にサイズが小さく、かつ、丸味が少ない(「solidity」が小さい)、という特徴を有すると言える。
【0066】
このように、多次元クラスタリング結果に基づく形態指標ヒートマップを参照することにより、細胞核CNについての各形態カテゴリの違いについての理解を支援することができると言える。
【0067】
判別結果分析部119は、多次元クラスタリング結果や形態指標ヒートマップを示す情報を、記憶部120に記憶された判別結果データRDに追加する。
【0068】
次に、判別結果分析部119が、判別結果データRDに基づき、分析結果、より詳細には、細胞核判別モデルMOの構造に蓄積された形態情報FIの組み合わせルールを示す情報を視認可能に出力する(すなわち、可視化する)(S430)。例えば、判別結果分析部119は、図9および図10に示す多次元クラスタリング結果や、図11に示す形態指標ヒートマップを表示部130に表示させる。これにより、ユーザは、分析結果を把握することができる。分析結果の出力は、表示部130への表示に限られず、プリンタを介した印刷やスピーカを介した音声出力であってもよい。以上により、判別結果分析処理が完了する。
【0069】
A-7.本実施形態の効果:
以上説明したように、本実施形態の情報処理装置100は、生体組織画像としての腸管組織片の神経叢領域を含む画像中の細胞核が神経節細胞核CN(Ne)であるか否かを判別するための情報処理装置であって、モデル取得部113と、判別実行部118とを備える。モデル取得部113は、細胞核判別モデルMOを取得する。細胞核判別モデルMOは、複数の細胞核CNのそれぞれについて、細胞核CNの形態を示す形態情報FIと、神経節細胞核CN(Ne)である蓋然性の高さを示すスコア情報SIと、が対応付けられたデータである訓練データTDを用いた機械学習により生成されたモデルである。判別実行部118は、判別対象の細胞核CNについての形態情報FIと、細胞核判別モデルMOとを用いて、判別対象の細胞核CNが神経節細胞核CN(Ne)であるか否かの判別を実行し、判別の結果を出力する。
【0070】
このように、本実施形態の情報処理装置100によれば、判別対象の細胞核CNについての形態情報FIと、細胞核判別モデルMOとを用いて、判別対象の細胞核CNが神経節細胞核CN(Ne)であるか否かの判別を実行し、判別の結果を出力することができる。そのため、個々の細胞核CN毎に、細胞核CNの形態に基づき、細胞核判別モデルMOを用いて神経節細胞核CN(Ne)であるか否かを判別することができる。従って、本実施形態の情報処理装置100によれば、神経節細胞核CN(Ne)の判別を、統一した基準に基づき、精度良く、かつ、バラツキが少ないように、実行することができる。これにより、ヒルシュスプルング病またはその類縁疾患について適切な治療を行うために有益な情報を提供することができる。
【0071】
また、本実施形態の情報処理装置100は、さらに、訓練データTDを取得する訓練データ取得部112を備える。また、モデル取得部113は、訓練データTDを用いた機械学習によって細胞核判別モデルMOを作成することにより、細胞核判別モデルMOを取得する。そのため、他の装置を用いずとも細胞核判別モデルMOを取得することができ、該モデルを用いて神経節細胞核CN(Ne)の判別を実行することができる。
【0072】
また、本実施形態の情報処理装置100では、形態情報FIは、複数の形態指標を用いて細胞核CNの形態を示す情報である。そのため、細胞核CNの形態を多面的に捉えた情報に基づき神経節細胞核CN(Ne)の判別を実行することができ、神経節細胞核CN(Ne)の判別精度を効果的に向上させることができる。
【0073】
また、本実施形態の情報処理装置100では、形態情報FIは、細胞核CNの輪郭の特徴を示す情報と、細胞核CNの染まり具合の特徴を示す情報と、細胞核CNの模様的な特徴を示す情報とを含む。そのため、細胞核CNの形態をより多面的に、かつ、より的確に捉えた情報に基づき神経節細胞核CN(Ne)の判別を実行することができ、神経節細胞核CN(Ne)の判別精度を極めて効果的に向上させることができる。
【0074】
また、本実施形態の情報処理装置100は、さらに、複数の細胞核CNについての判別の結果について、形態情報FIを用いた多次元クラスタリングを実行し、多次元クラスタリングの結果を出力する判別結果分析部119を備える。そのため、細胞核CNの形態の特徴ごとにマッピングを行うことができ、細胞核CNについての客観的な形態カテゴリの理解を支援することができる。
【0075】
また、本実施形態の情報処理装置100では、上記多次元クラスタリングは、形態情報FIに含まれる複数の形態指標のうち、細胞核判別モデルMOにおける寄与度の高い一部の形態指標を用いて実行される。そのため、細胞核CNの判別への寄与度の高い形態の特徴ごとにマッピングを行うことができ、細胞核CNについての客観的な形態カテゴリの理解を効果的に支援することができる。
【0076】
B.変形例:
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
【0077】
上記実施形態における情報処理装置100の構成は、あくまで一例であり、種々変形可能である。また、上記実施形態における細胞核判別モデル取得処理、細胞核判別処理および判別結果分析処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、情報処理装置100が、細胞核判別モデルMOを作成することによって細胞核判別モデルMOを取得しているが、情報処理装置100が、他の装置により生成された細胞核判別モデルMOを取得するとしてもよい。この場合には、情報処理装置100が訓練データ取得部112を有する必要はない。
【0078】
上記実施形態における細胞核判別モデルMOの作成に用いられる形態情報FIは、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、形態情報FIが47個の形態指標から構成されているが、形態情報FIを構成する形態指標の個数は任意に変更可能である。また、上記実施形態では、形態情報FIが、細胞核CNの輪郭の特徴を示す情報と、細胞核CNの染まり具合の特徴を示す情報と、細胞核CNの模様的な特徴を示す情報とのすべてを含んでいるが、これに代えて、形態情報FIが、これらのうちの1つまたは2つを含むとしてもよい。また、形態情報FIが、これらの形態指標に加えて、他の形態指標を含むとしてもよい。
【0079】
上記実施形態では、細胞核判別モデルMOの作成のための機械学習アルゴリズムとして、LASSO回帰モデルが用いられているが、細胞核判別モデルMOの作成のための機械学習アルゴリズムは任意に変更可能であり、例えばRIDGE regression、Support Vector Machine、Logistic regression、Random Forest、Neural Network等といった他の機械学習アルゴリズムが用いられてもよい。
【0080】
上記実施形態の判別結果分析処理では、多次元クラスタリング手法として、UMAPが用いられているが、多次元クラスタリング手法は任意に変更可能であり、例えばPrincipal component analysis、t-SNE等といった手法が用いられてもよい。
【0081】
上記実施形態では、情報処理装置100が判別結果分析部119を備え、判別結果分析部119が判別結果分析処理を実行するものとしているが、情報処理装置100は必ずしも判別結果分析部119を備える必要はなく、該処理は必ずしも実行される必要はない。
【0082】
上記実施形態では、ヒルシュスプルング病またはその類縁疾患の病理診断において神経節細胞核CN(Ne)の判別を実行するための情報処理を例示しているが、本明細書に開示される技術は、神経節細胞核CN(Ne)の判別に限らず、生体組織画像中の細胞核が特定種類の細胞核であるか否かの判別にも同様に適用可能である。例えば、本明細書に開示される技術は、炎症性細胞の核(炎症反応の理解のため)、ニューロン細胞の核(脳の機能解明)、上皮細胞・内皮細胞の核(皮膚機能の解明)、がん細胞の核(がんの浸潤能の解明)等の判別にも同様に適用可能である。
【0083】
上記実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。
【符号の説明】
【0084】
100:情報処理装置 110:制御部 111:細胞核判別処理部 112:訓練データ取得部 113:モデル取得部 114:対象画像取得部 115:領域特定部 116:細胞核特定部 117:形態情報取得部 118:判別実行部 119:判別結果分析部 120:記憶部 130:表示部 140:操作入力部 150:インターフェース部 190:バス CP:細胞核判別プログラム FI:形態情報 Ib:生体組織画像 Ibo:対象画像 It:訓練用画像 MO:細胞核判別モデル NPA:神経叢領域 RD:判別結果データ SI:スコア情報 TD:訓練データ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11