ホーム > 特許ランキング > 国立大学法人 東京大学
特許7385241画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-14
(45)【発行日】2023-11-22
(54)【発明の名称】画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231115BHJP
【ＦＩ】
G06T7/00 630
G06T7/00 350C
【請求項の数】
14
(21)【出願番号】P 2019113730
(22)【出願日】2019-06-19
(65)【公開番号】P2020205013
(43)【公開日】2020-12-24
【審査請求日】2022-06-20
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）平成３０年６月２０日に次世代病理技術講習会にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （２）－（３）平成３０年６月２１日に第１０７回日本病理学会総会にて２件発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （４）平成３０年６月２２日に第１０７回日本病理学会総会にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （５）平成３０年６月２２日にプレプリントサーバに論文を発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （６）平成３０年６月２３日に第１０７回日本病理学会総会にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （７）平成３０年８月１日に雑誌「病理と臨床」Ｖｏｌ．３６ Ｎｏ．８ ８月号に発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （８）平成３０年８月３日に第１５回日本病理学会カンファレンスにて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （９）平成３０年９月５日に雑誌「実験医学増刊」Ｖｏｌ．３６ Ｎｏ．１５に発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１０）平成３０年９月７日に第５０回日本臨床分子形態学会総会・学術集会にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１１）平成３０年９月２７日に第７７回日本癌学会学術総会にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１２）平成３０年１０月１０日にＢｉｏＪａｐａｎ ２０１８にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１３）平成３０年１１月１６日に第５８回日本核医学会学術総会にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１４）平成３１年２月１５日に雑誌「生体の科学」７０巻１号に発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１５）平成３１年３月８日に第３８回日本画像医学会・学術集会にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１６）平成３１年３月１９日に鳥取大学医学部付属病院がんセンター市民講座にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１７）－（１８）令和１年５月１０日に第１０８回日本病理学会総会にて２件発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１９）令和１年５月１８日にＧｌｏｂａｌ Ｃｏｎｇｒｅｓｓ ｏｎ Ｍｏｌｅｃｕｌａｒ Ｐａｔｈｏｌｏｇｙにて発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度 国立研究開発法人日本医療研究開発機構、革新的がん医療実用化研究事業、「国内がんゲノムの均てん化に資するゲノム病理情報の学習と検証」委託研究開発、産業技術力強化法第１７条の適用を受けるもの
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】石川 俊平
(72)【発明者】
【氏名】河村 大輔
(72)【発明者】
【氏名】河辺 昭宏
【審査官】佐藤 実
(56)【参考文献】
【文献】特開２０１８－０５０６７１（ＪＰ，Ａ）
【文献】特開２０１８－１８０６３５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
病理画像を取得する取得部と、前記病理画像の局所的な特徴量を算出する第１算出部と、
前記局所的な特徴量の相関行列の次元を減らす計算処理を行うことにより、非局所的な特徴量を算出する第２算出部と、
前記非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部と、
前記類似度に基づいて、１又は複数の参照画像を抽出する抽出部と、
を備える画像抽出装置。
【請求項2】
抽出された前記１又は複数の参照画像、前記１又は複数の参照画像の識別情報、前記１又は複数の参照画像に関する病理の種類及び前記１又は複数の参照画像と前記病理画像との前記類似度の少なくともいずれかを表示する表示部をさらに備える、請求項１に記載の画像抽出装置。
【請求項3】
前記第１算出部は、病理画像の局所的な特徴を適切に表す特徴量を算出することができる学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される特徴マップによって、前記局所的な特徴量を算出する、請求項１又は２に記載の画像抽出装置。
【請求項4】
前記第２算出部は、学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される特徴マップの相関に基づいて、前記非局所的な特徴量を算出する、請求項１から３のいずれか一項に記載の画像抽出装置。
【請求項5】
前記第２算出部は、学習済みの畳み込みニューラルネットワークに含まれる異なる隠れ層により算出される２種類の特徴マップの相関に基づいて、前記非局所的な特徴量を算出する、請求項１から３のいずれか一項に記載の画像抽出装置。
【請求項6】
前記第２算出部は、２種類の学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される２種類の特徴マップの相関に基づいて、前記非局所的な特徴量を算出する、請求項１から３のいずれか一項に記載の画像抽出装置。
【請求項7】
前記複数の参照画像は、病理組織のホールスライドイメージのうち選択された領域からランダムに切り出された画像を含む、請求項１から６のいずれか一項に記載の画像抽出装置。
【請求項8】
前記非局所的な特徴量に基づいて、前記病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する判定部をさらに備える、請求項１から７のいずれか一項に記載の画像抽出装置。
【請求項9】
所定の遺伝子変異が生じている細胞が写された所定の病理の第１画像と、前記所定の遺伝子変異が生じていない細胞が写された前記所定の病理の第２画像とを学習データとして、前記非局所的な特徴量に基づいて、前記病理画像に写された細胞に前記所定の遺伝子変異が生じているか否かを判定する判定モデルを生成する生成部をさらに備える、請求項８に記載の画像抽出装置。
【請求項10】
前記判定モデルにより前記所定の遺伝子変異が生じていると判定される場合に、判定の根拠となった前記病理画像の領域を表示する表示部をさらに備える、請求項９に記載の画像抽出装置。
【請求項11】
画像抽出装置及びユーザ端末を備える画像抽出システムであって、前記ユーザ端末は、病理画像を撮影する撮影部を有し、
前記画像抽出装置は、
前記病理画像を取得する取得部と、
前記病理画像の局所的な特徴量を算出する第１算出部と、
前記局所的な特徴量の相関行列の次元を減らす計算処理を行うことにより、非局所的な特徴量を算出する第２算出部と、
前記非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部と、
前記類似度に基づいて、１又は複数の参照画像を抽出する抽出部と、を有する、
画像抽出システム。
【請求項12】
前記ユーザ端末は、抽出された前記１又は複数の参照画像、前記１又は複数の参照画像の識別情報、前記１又は複数の参照画像に関する病理の種類及び前記１又は複数の参照画像と前記病理画像との前記類似度の少なくともいずれかを表示する表示部をさらに有する、
請求項１１に記載の画像抽出システム。
【請求項13】
病理画像を取得することと、前記病理画像の局所的な特徴量を算出することと、
前記局所的な特徴量の相関行列の次元を減らす計算処理を行うことにより、非局所的な特徴量を算出することと、
前記非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出することと、
前記類似度に基づいて、１又は複数の参照画像を抽出することと、
を含む画像抽出方法。
【請求項14】
画像抽出装置に備えられた演算部を、病理画像を取得する取得部、
前記病理画像の局所的な特徴量を算出する第１算出部、
前記局所的な特徴量の相関行列の次元を減らす計算処理を行うことにより、非局所的な特徴量を算出する第２算出部、
前記非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部、及び
前記類似度に基づいて、１又は複数の参照画像を抽出する抽出部、
として機能させる画像抽出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラムに関する。
【背景技術】
【0002】
従来、対象者の病理組織の画像に基づく病理診断が行われている。病理画像に基づいて病理診断を行う医師は、アトラスを参照して類似画像を検索し、症例を特定することがある。
【0003】
一方、ニューラルネットワークを用いた画像解析の技術が近年発展しており、例えば、下記非特許文献１では、画像のスタイルを任意の絵画風に変換する技術が記載されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge, "Image Style Transfer Using Convolutional Neural Networks," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来、電子化された病理画像のアトラスが用いられているが、画像の検索は、テキストをクエリとして行われることがある。しかしながら、病理画像を検索する場合、解釈が難しい症例や初見の症例について適切なクエリを設定することが難しく、参照画像の抽出が困難な場合がある。
【0006】
そこで、本発明は、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラムを提供する。
【課題を解決するための手段】
【0007】
本発明の一態様に係る画像抽出装置は、病理画像を取得する取得部と、病理画像の局所的な特徴量を算出する第１算出部と、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する第２算出部と、非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部と、類似度に基づいて、１又は複数の参照画像を抽出する抽出部と、を備える。
【0008】
この態様によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる。
【0009】
上記態様において、抽出された１又は複数の参照画像、１又は複数の参照画像の識別情報、１又は複数の参照画像に関する病理の種類及び１又は複数の参照画像と病理画像との類似度の少なくともいずれかを表示する表示部をさらに備えてもよい。
【0010】
この態様によれば、抽出された１又は複数の参照画像に関する情報を確認することができ、クエリとした病理画像との関連性が評価しやすくなる。
【0011】
上記態様において、第１算出部は、学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される特徴マップによって、局所的な特徴量を算出してもよい。
【0012】
この態様によれば、病理画像の局所的な特徴を適切に表す特徴量を算出することができる。
【0013】
上記態様において、第２算出部は、学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。
【0014】
この態様によれば、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
【0015】
上記態様において、第２算出部は、学習済みの畳み込みニューラルネットワークに含まれる異なる隠れ層により算出される２種類の特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。
【0016】
この態様によれば、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
【0017】
上記態様において、第２算出部は、２種類の学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される２種類の特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。
【0018】
この態様によれば、病理画像の局所的な特徴を適切に表す特徴量を算出することができる。
【0019】
上記態様において、複数の参照画像は、病理組織のホールスライドイメージのうち選択された領域からランダムに切り出された画像を含んでもよい。
【0020】
この態様によれば、病理組織の特徴を適切に表す参照画像を抽出することができる。
【0021】
上記態様において、非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する判定部をさらに備えてもよい。
【0022】
この態様によれば、病理画像をクエリとして、所定の遺伝子変異が生じているか否かを予測することができる。
【0023】
上記態様において、所定の遺伝子変異が生じている細胞が写された所定の病理の第１画像と、所定の遺伝子変異が生じていない細胞が写された所定の病理の第２画像とを学習データとして、非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する判定モデルを生成する生成部をさらに備えてもよい。
【0024】
この態様によれば、病理画像をクエリとして、所定の遺伝子変異が生じているか否かを判定する判定モデルを生成することができる。
【0025】
上記態様において、判定モデルにより所定の遺伝子変異が生じていると判定される場合に、判定の根拠となった病理画像の領域を表示する表示部をさらに備えてもよい。
【0026】
この態様によれば、所定の遺伝子変異が生じていると判定した根拠を視覚的に確認することができる。
【0027】
本発明の他の態様に係る画像抽出システムは、画像抽出装置及びユーザ端末を備える画像抽出システムであって、ユーザ端末は、病理画像を撮影する撮影部を有し、画像抽出装置は、病理画像を取得する取得部と、病理画像の局所的な特徴量を算出する第１算出部と、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する第２算出部と、非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部と、類似度に基づいて、１又は複数の参照画像を抽出する抽出部と、を有する。
【0028】
この態様によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる。
【0029】
上記態様において、ユーザ端末は、抽出された１又は複数の参照画像、１又は複数の参照画像の識別情報、１又は複数の参照画像に関する病理の種類及び１又は複数の参照画像と病理画像との類似度の少なくともいずれかを表示する表示部をさらに有してもよい。
【0030】
この態様によれば、抽出された１又は複数の参照画像に関する情報を確認することができ、クエリとした病理画像との関連性が評価しやすくなる。
【0031】
本発明の他の態様に係る画像抽出方法は、病理画像を取得することと、病理画像の局所的な特徴量を算出することと、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出することと、非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出することと、類似度に基づいて、１又は複数の参照画像を抽出することと、を含む。
【0032】
この態様によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる。
【0033】
本発明の他の態様に係る画像抽出プログラムは、画像抽出装置に備えられた演算部を、病理画像を取得する取得部、病理画像の局所的な特徴量を算出する第１算出部、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する第２算出部、非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部、及び類似度に基づいて、１又は複数の参照画像を抽出する抽出部、として機能させる。
【0034】
この態様によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる。
【発明の効果】
【0035】
本発明によれば、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる画像抽出装置、病理画像抽出方法及び病理画像抽出プログラムを提供することができる。
【図面の簡単な説明】
【0036】
【図1】本発明の実施形態に係る画像抽出システムのネットワーク構成を示す図である。
【図2】本実施形態に係る画像抽出装置の機能ブロックを示す図である。
【図3】本実施形態に係る画像抽出装置の物理的構成を示す図である。
【図4】本実施形態に係るユーザ端末によって病理画像を撮影する例を示す図である。
【図5】本実施形態に係る画像抽出装置によって病理画像と類似する参照画像を抽出する処理の概要を示す図である。
【図6】本実施形態に係る画像抽出装置によって抽出された参照画像の例を示す図である。
【図7】本実施形態に係る画像抽出装置によって実行される抽出処理のフローチャートである。
【図8】本実施形態に係る画像抽出装置による遺伝子変異の判定の根拠となった病理画像の領域の例を示す図である。
【図9】本実施形態に係る画像抽出装置によって実行される遺伝子変異の有無を判定する処理のフローチャートである。
【図10】本実施形態に係る画像抽出装置によって実行される判定モデル生成処理のフローチャートである。
【発明を実施するための形態】
【0037】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0038】
図１は、本発明の実施形態に係る画像抽出システム１００のネットワーク構成を示す図である。画像抽出システム１００は、画像抽出装置１０及びユーザ端末２０を備える。画像抽出装置１０及びユーザ端末２０は、汎用のコンピュータで構成されてよく、ユーザ端末２０は、例えばスマートフォンであってよい。
【0039】
ユーザは、対象者の病理組織を顕微鏡３０で観察し、ユーザ端末２０を用いて病理画像を撮影する。撮影された病理画像は、インターネット等の通信ネットワークＮを介して、ユーザ端末２０から画像抽出装置１０に送られる。
【0040】
画像抽出装置１０は、取得した病理画像をクエリとして、データベース５０に記憶された１又は複数の参照画像を抽出する。画像抽出装置１０は、抽出した参照画像を画像抽出装置１０の表示部に表示したり、ユーザ端末２０に送信したりしてよい。
【0041】
図２は、本実施形態に係る画像抽出装置１０の機能ブロックを示す図である。画像抽出装置１０は、取得部１１、記憶部１２、第１算出部１３、第２算出部１４、第３算出部１５、抽出部１６、判定部１７及び生成部１８を備える。
【0042】
取得部１１は、病理画像を取得する。取得部１１は、ユーザ端末２０から病理画像を取得してよいが、他の装置から病理画像を取得してもよい。また、画像抽出装置１０に撮影部を設ける場合、取得部１１は、当該撮影部から病理画像を取得してよい。
【0043】
記憶部１２は、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）１２ａ及び判定モデル１２ｂを記憶する。畳み込みニューラルネットワーク１２ａは、学習済み（Pre-trained）モデルであってよく、例えば、Simonyan, Karen and Zisserman, Andrew, "Very Deep Convolutional Networks for Large-Scale Image Recognition," arXiv 1409.1556, 2014で提案されたモデルを用いてよい。画像抽出装置１０は、畳み込みニューラルネットワーク１２ａによって、病理画像の局所的な特徴量を算出する。
【0044】
判定モデル１２ｂは、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定するモデルである。判定モデル１２ｂは、任意のアルゴリズムを用いて構成されてよいが、例えばニューラルネットワーク、サポートベクターマシン等を用いて構成されてよい。
【0045】
第１算出部１３は、病理画像の局所的な特徴量を算出する。第１算出部１３は、学習済みの畳み込みニューラルネットワーク１２ａに含まれる隠れ層により算出される特徴マップによって、局所的な特徴量を算出してよい。本明細書では、畳み込みニューラルネットワーク１２ａに含まれる第Ｌ層の位置ｊに関するｉ番目のフィルタの特徴マップをＦL
ijと表す。学習済みの畳み込みニューラルネットワーク１２ａによって、病理画像の局所的な特徴を適切に表す特徴量を算出することができる。
【0046】
第２算出部１４は、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する。第２算出部１４は、学習済みの畳み込みニューラルネットワーク１２ａに含まれる隠れ層により算出される特徴マップの相関に基づいて、非局所的な特徴量を算出してよい。第２算出部１４は、非局所的な特徴量ＧL
ijを、ＧL
ij＝ΣkＦL
ikＦL
jkにより算出してよい。第２算出部１４によって、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
【0047】
第２算出部１４は、Yang Gao, Oscar Beijbom, Ning Zhang, and Trevor Darrell, "Compact Bilinear Pooling," arXiv:1511.06062, 2015に記載されたCompact Bilinear Poolingを用いて、非局所的な特徴量を１０２４次元程度の特徴量に変換してよい。もっとも、第２算出部１４は、主成分分析等の他の方法により、非局所的な特徴量を１０２４次元程度の特徴量に変換してもよい。
【0048】
第２算出部１４は、学習済みの畳み込みニューラルネットワーク１２ａに含まれる異なる隠れ層により算出される２種類の特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。すなわち、第２算出部１４は、畳み込みニューラルネットワーク１２ａに含まれる第Ｌ層の特徴マップＦL
ikと、第Ｍ層の特徴マップＦM
jkとを用いて、非局所的な特徴量ＧL,M
ijを、ＧL,M
ij＝ΣkＦL
ikＦM
jkにより算出してよい。これにより、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
【0049】
また、第２算出部１４は、２種類の学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される２種類の特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。すなわち、第２算出部１４は、第１の畳み込みニューラルネットワークに含まれる第Ｌ層の特徴マップＦL
ikと、第２の畳み込みニューラルネットワークに含まれる第Ｍ層の特徴マップＦM
jkとを用いて、非局所的な特徴量ＧL,M
ijを、ＧL,M
ij＝ΣkＦL
ikＦM
jkにより算出してよい。これにより、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
【0050】
第３算出部１５は、非局所的な特徴量と、データベース５０に記憶された複数の参照画像の特徴量との間の類似度を算出する。データベース５０に記憶される複数の参照画像は、病理組織のホールスライドイメージのうち選択された領域からランダムに切り出された画像を含む。このような参照画像をデータベース５０に記憶していることで、病理組織の特徴を適切に表す参照画像を抽出することができる。また、データベース５０は、複数の参照画像と、複数の参照画像それぞれについて算出された非局所的な特徴量とを関連付けて記憶していてよい。第３算出部１５は、病理画像について算出された非局所的な特徴量と、データベース５０に記憶された参照画像の非局所的な特徴量との間の類似度を算出してよい。
【0051】
抽出部１６は、第３算出部１５により算出された類似度に基づいて、１又は複数の参照画像を抽出する。抽出部１６は、類似度が上位所定割合である参照画像を、データベース５０から抽出してよい。
【0052】
本実施形態に係る画像抽出装置１０によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベース５０から適切な参照画像を抽出することができる。
【0053】
画像抽出装置１０は、複数の学習済みのニューラルネットワークに含まれる複数の隠れ層のうち、いずれの層の特徴マップを用いるかを以下のようにして選択してよい。はじめに、病理医が、データベース５０から、クエリ画像に類似する複数の参照画像を類似度が高い順に抽出する。そして、同じクエリ画像を複数の学習済みのニューラルネットワークに入力し、複数の隠れ層の特徴マップを用いてそれぞれ非局所的な特徴量を算出する。次に、それぞれの算出方法毎に、非局所的な特徴量と、データベース５０に記憶された複数の参照画像の特徴量との間の類似度を算出し、類似度が高い順に複数の参照画像を抽出する。画像抽出装置１０は、複数の算出方法により抽出された複数の参照画像と、病理医により抽出された複数の参照画像との順位の相関を算出し、相関が最も高い算出方法を選択してよい。
【0054】
表示部１０ｆは、抽出された１又は複数の参照画像、１又は複数の参照画像の識別情報、１又は複数の参照画像に関する病理の種類及び１又は複数の参照画像と病理画像との類似度の少なくともいずれかを表示する。ここで、１又は複数の参照画像の識別情報は、例えば、癌ゲノム・アトラス（TCGA；The Cancer Genome Atlas）のＩＤであってよい。また、１又は複数の参照画像に関する病理の種類は、例えば、癌の種類であってよい。このように、抽出された参照画像に関する情報を表示することで、抽出された１又は複数の参照画像に関する情報を確認することができ、クエリとした病理画像との関連性が評価しやすくなる。
【0055】
ユーザ端末２０は、画像抽出装置１０により抽出された１又は複数の参照画像、１又は複数の参照画像の識別情報、１又は複数の参照画像に関する病理の種類及び１又は複数の参照画像と病理画像との類似度の少なくともいずれかを表示する表示部を有してよい。これにより、ユーザは、スマートフォン等のユーザ端末２０によって、抽出された１又は複数の参照画像に関する情報を確認することができ、クエリとした病理画像との関連性が評価しやすくなる。
【0056】
判定部１７は、非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する。判定部１７は、第２算出部１４により算出された、病理画像の非局所的な特徴量に基づいて、判定モデル１２ｂによって、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定してよい。これにより、病理画像をクエリとして、所定の遺伝子変異が生じているか否かを予測することができる。
【0057】
生成部１８は、所定の遺伝子変異が生じている細胞が写された所定の病理の第１画像と、所定の遺伝子変異が生じていない細胞が写された所定の病理の第２画像とを学習データとして、非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する判定モデル１２ｂを生成する。判定モデル１２ｂは、例えば、特定の種類の癌について、所定の遺伝子変異が生じている細胞が写された第１画像と、所定の遺伝子変異が生じていない細胞が写された第２画像とを学習データとして、病理画像の非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定するように学習されたニューラルネットワーク等のモデルであってよい。ここで、所定の遺伝子変異が生じている細胞が写された第１画像と、所定の遺伝子変異が生じていない細胞が写された第２画像とは、それぞれ病理医により収集されてよい。生成部１８によって、病理画像をクエリとして、所定の遺伝子変異が生じているか否かを判定する判定モデル１２ｂを生成することができる。
【0058】
表示部１０ｆは、判定モデル１２ｂにより所定の遺伝子変異が生じていると判定される場合に、判定の根拠となった病理画像の領域を表示してよい。画像抽出装置１０は、例えば、Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, and Dhruv Batra, "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization," arXiv:1610.02391, 2016で提案された手法を用いて、判定モデル１２ｂが注目する病理画像の領域をヒートマップとして表し、表示部１０ｆに表示してよい。このようにして、所定の遺伝子変異が生じていると判定した根拠を視覚的に確認することができる。
【0059】
図３は、本実施形態に係る画像抽出装置１０の物理的構成を示す図である。画像抽出装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像抽出装置１０が一台のコンピュータで構成される場合について説明するが、画像抽出装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、画像抽出装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【0060】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、病理画像に基づいて、データベースに記憶された参照画像を抽出するプログラム（画像抽出プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。
【0061】
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、病理画像といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【0062】
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像抽出プログラムや、書き換えが行われないデータを記憶してよい。
【0063】
通信部１０ｄは、画像抽出装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。
【0064】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【0065】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、病理画像、抽出した１又は複数の参照画像を表示してよい。
【0066】
画像抽出プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。画像抽出装置１０では、ＣＰＵ１０ａが画像抽出プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像抽出装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【0067】
図４は、本実施形態に係るユーザ端末２０によって病理画像を撮影する例を示す図である。ユーザは、顕微鏡３０によって病理組織を観察し、スマートフォン等のユーザ端末２０を用いて、病理画像を撮影する。病理画像は、ユーザ端末２０の撮影部を顕微鏡３０の接眼レンズにあてることで撮影されてよいが、顕微鏡３０に備えられた撮影部によって撮影されてもよい。
【0068】
ユーザ端末２０により撮影された病理画像は、通信ネットワークＮを介して画像抽出装置１０に送信される。ユーザ端末２０は、撮影した複数の病理画像のうち、ユーザによって選択された１又は複数の病理画像を画像抽出装置１０に送信してもよい。
【0069】
図５は、本実施形態に係る画像抽出装置１０によって病理画像ＩＭＧ１と類似する参照画像ＩＭＧ２を抽出する処理の概要を示す図である。画像抽出装置１０は、取得した病理画像ＩＭＧ１を畳み込みニューラルネットワーク１２ａに入力し、特徴マップＦ１を算出する。
【0070】
そして、画像抽出装置１０は、算出した特徴マップＦ１の相関行列を算出し、Compact Bilinear Poolingを用いて、非局所的な特徴量Ｆ２を算出する。もっとも、画像抽出装置１０は、主成分分析等の他の方法により、特徴マップＦ１の相関行列から非局所的な特徴量Ｆ２を算出してもよい。画像抽出装置１０は、特徴マップＦ１の相関行列から非局所的な特徴量Ｆ２を算出する場合、データの次元を減らす任意の方法を用いてよい。
【0071】
画像抽出装置１０は、病理画像ＩＭＧ１の非局所的な特徴量Ｆ２と、データベース５０に記憶された参照画像ＩＭＧ２の非局所的な特徴量との類似度を算出し、類似度が高い１又は複数の参照画像ＩＭＧ２を抽出する。１又は複数の参照画像ＩＭＧ２には、ＴＣＧＡの識別情報や病理の種類に関する情報が関連付けられていてよい。ユーザは、病理画像ＩＭＧ１と、抽出された参照画像ＩＭＧ２とを見比べて、病理画像ＩＭＧ１に写された組織に関する病理の種類を診断する。
【0072】
図６は、本実施形態に係る画像抽出装置１０によって抽出された参照画像ＩＭＧ２の例を示す図である。同図では、クエリとする病理画像ＩＭＧ１と、画像抽出装置１０により抽出された第１参照画像ＩＭＧ２ａ及び第２参照画像ＩＭＧ２ｂを示している。
【0073】
ユーザ端末２０は、クエリとする病理画像ＩＭＧ１の選択を受け付け、病理画像ＩＭＧ１及び「Search」と記載された検索ボタンＢ１を表示部に表示する。ユーザにより検索ボタンＢ１がタップされると、ユーザ端末２０から画像抽出装置１０に病理画像ＩＭＧ１が送信され、画像抽出装置１０は、データベース５０から類似の参照画像を抽出する。
【0074】
第１参照画像ＩＭＧ２ａ及び第２参照画像ＩＭＧ２ｂは、病理画像ＩＭＧ１をクエリとした場合に、画像抽出装置１０により抽出された参照画像の例である。第１参照画像ＩＭＧ２ａの下部には、「Thyroid_carcinoma」（甲状腺癌腫）と記載された病理の種類Ｔ１ａと、「Similarity: 0.875」と記載された類似度Ｔ２ａと、「TCGA-EM-A3AJ-01Z-00-DX1」と記載されたＴＣＧＡの識別情報Ｔ３ａとが表示されている。また、第２参照画像ＩＭＧ２ｂの下部には、「Thyroid_carcinoma」（甲状腺癌腫）と記載された病理の種類Ｔ１ｂと、「Similarity: 0.872」と記載された類似度Ｔ２ｂと、「TCGA-FY-A2QD-01Z-00-DX1」と記載されたＴＣＧＡの識別情報Ｔ３ｂとが表示されている。これらの情報は、画像抽出装置１０の表示部１０ｆに表示されてもよいし、ユーザ端末２０の表示部に表示されてもよい。
【0075】
このように、病理画像ＩＭＧ１をクエリとして、データベース５０から適切な参照画像ＩＭＧ２を抽出することができる。また、抽出された１又は複数の参照画像ＩＭＧ２に関する情報を確認することができ、クエリとした病理画像ＩＭＧ１との関連性を容易に評価することができる。
【0076】
図７は、本実施形態に係る画像抽出装置１０によって実行される抽出処理のフローチャートである。はじめに、画像抽出装置１０は、ユーザ端末２０で撮影した病理画像を取得する（Ｓ１０）。
【0077】
次に、画像抽出装置１０は、学習済みの畳み込みニューラルネットワーク１２ａによって、病理画像の局所的な特徴量を算出し（Ｓ１１）、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する（Ｓ１２）。
【0078】
その後、画像抽出装置１０は、非局所的な特徴量と、データベース５０に記憶された複数の参照画像の特徴量との間の類似度を算出し（Ｓ１３）、類似度に基づいて、１又は複数の参照画像を抽出する（Ｓ１４）。
【0079】
最後に、画像抽出装置１０は、ユーザ端末２０の表示部及び画像抽出装置１０の表示部１０ｆの少なくともいずれかに、抽出された１又は複数の参照画像、識別情報、病理の種類及び類似度を表示する（Ｓ１５）。
【0080】
図８は、本実施形態に係る画像抽出装置１０による遺伝子変異の判定の根拠となった病理画像の領域の例を示す図である。同図では、判定モデル１２ｂによって、細胞に所定の遺伝子変異が生じていると判定された病理画像ＩＭＧ３と、判定の根拠となった病理画像の領域をヒートマップで示した画像ＩＭＧ３ａとを示している。なお、病理画像ＩＭＧ３は、乳癌の病理画像であり、本例では、ｐ５３遺伝子に変異が生じている。
【0081】
例えば、病理画像ＩＭＧ３の領域Ｒには分裂した核が写っており、画像ＩＭＧ３ａの領域Ｒａによれば、判定モデル１２ｂは、分裂した核を根拠として、細胞に所定の遺伝子変異が生じていると判定していることが読み取れる。もっとも、判定モデル１２ｂが着目しているポイント全てについて簡単な解釈が可能であるとは限らず、解釈が困難な場合もある。
【0082】
図８では、細胞に所定の遺伝子変異が生じている例を示したが、同様に、判定モデル１２ｂによって、細胞に所定の遺伝子変異が生じていないと判定された病理画像について、判定の根拠となった病理画像の領域をヒートマップで示すことができる。
【0083】
図９は、本実施形態に係る画像抽出装置１０によって実行される遺伝子変異の有無を判定する処理のフローチャートである。はじめに、画像抽出装置１０は。ユーザ端末２０で撮影した病理画像を取得する（Ｓ２０）。
【0084】
次に、画像抽出装置１０は、学習済みの畳み込みニューラルネットワーク１２ａによって、病理画像の局所的な特徴量を算出し（Ｓ２１）、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する（Ｓ２２）。
【0085】
その後、画像抽出装置１０は、判定モデル１２ｂによって、非局所的な特徴量に基づいて、細胞に所定の遺伝子変異が生じているか否かを判定する（Ｓ２３）。
【0086】
画像抽出装置１０は、所定の遺伝子変異が生じていると判定された場合（Ｓ２４：ＹＥＳ）、判定の根拠となった病理画像の領域を算出し、表示する（Ｓ２５）。
【0087】
図１０は、本実施形態に係る画像抽出装置１０によって実行される判定モデル生成処理のフローチャートである。画像抽出装置１０は、所定の遺伝子変異が生じている細胞が写された所定の病理の第１画像と、所定の遺伝子変異が生じていない細胞が写された所定の病理の第２画像とを学習データとして収集する（Ｓ３０）。
【0088】
そして、画像抽出装置１０は、判定モデル１２ｂによって、学習データに含まれる画像の非局所的特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する（Ｓ３１）。画像抽出装置１０は、所定の損失関数に基づいて、判定モデル１２ｂのパラメータを更新する。画像抽出装置１０は、例えば、交差エントロピーを損失関数として、判定モデル１２ｂを構成するニューラルネットワークのパラメータを、誤差逆伝播法によって更新してよい。
【0089】
学習終了条件を満たさない場合（Ｓ３３：ＮＯ）、画像抽出装置１０は、処理Ｓ３１及びＳ３２を再び実行する。ここで、学習終了条件は、損失関数の値が所定値以下となることであったり、処理Ｓ３１及びＳ３２の実行回数が所定回数以上となることであったりしてよい。
【0090】
一方、学習終了条件を満たす場合（Ｓ３３：ＹＥＳ）、画像抽出装置１０は、学習済みの判定モデル１２ｂを記憶部１２に記憶し（Ｓ３４）、判定モデル生成処理を終了する。
【0091】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【0092】
１０…画像抽出装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…記憶部、１２ａ…ＣＮＮ、１２ｂ…判定モデル、１３…第１算出部、１４…第２算出部、１５…第３算出部、１６…抽出部、１７…判定部、１８…生成部、２０…ユーザ端末、３０…顕微鏡、５０…データベース、１００…画像抽出システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
