ホーム > 特許ランキング > 国立大学法人 東京大学
▶ 国立大学法人 東京大学の特許一覧 ▶ 一般社団法人日本病理学会の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-04
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240827BHJP
【ＦＩ】
G06T7/00 350C
【請求項の数】
6
(21)【出願番号】P 2019176544
(22)【出願日】2019-09-27
(65)【公開番号】P2021056571
(43)【公開日】2021-04-08
【審査請求日】2022-08-03
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３１年度、国立研究開発法人日本医療研究開発機構、臨床研究等ＩＣＴ基盤構築・人工知能実装研究事業、研究題目「深層学習応用による医療情報解析」、平成３１年度、国立研究開発法人日本医療研究開発機構、臨床研究等ＩＣＴ基盤構築・人工知能実装研究事業、研究題目「医療ビッグデータ利活用を促進するクラウド基盤・ＡＩ画像に関する研究」、平成３０年度、国立研究開発法人日本医療研究開発機構、臨床研究等ＩＣＴ基盤構築・人工知能実装研究事業、研究題目「深層学習応用による医療情報解析と病変領域の検出アルゴリズムの開発」、平成３０年度、国立研究開発法人日本医療研究開発機構、臨床研究等ＩＣＴ基盤構築・人工知能実装研究事業、研究題目「医療ビッグデータ利活用を促進するクラウド基盤・ＡＩ画像解析に関する研究」、産業技術力強化法第１７条の適用を受けるもの
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(73)【特許権者】
【識別番号】519349883
【氏名又は名称】一般社団法人日本病理学会
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】原田 達也
(72)【発明者】
【氏名】高濱 修輔
(72)【発明者】
【氏名】黒瀬 優介
(72)【発明者】
【氏名】喜連川 優
(72)【発明者】
【氏名】深山 正久
(72)【発明者】
【氏名】阿部 浩幸
(72)【発明者】
【氏名】北川 昌伸
(72)【発明者】
【氏名】吉澤 明彦
【審査官】▲高▼橋 真之
(56)【参考文献】
【文献】特開２０１５－１７６１６９（ＪＰ，Ａ）
【文献】特開平０２－１９５９３４（ＪＰ，Ａ）
【文献】国際公開第２０１８／１１５０５５（ＷＯ，Ａ１）
【文献】特開２００９－２５４８５２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
情報処理装置であって、切り出し部と、特徴量取得部と、生成部と、識別部と、学習部と、を有し、
前記切り出し部は、画像から複数の部分画像を切り出し、
前記画像は、Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅの病理画像であり、
前記特徴量取得部は、前記切り出し部によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得し、
前記生成部は、前記特徴量取得部によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成し、
前記識別部は、前記特徴量マップをセグメンテーションモデルに入力し、前記複数の部分画像それぞれが正常か、異常かを識別し、
前記学習部は、処理対象の画像自身の情報以外の情報を用いて、前記特徴抽出モデルと、前記セグメンテーションモデルと、を別々に、又は一括で学習する、
情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、出力部を更に有し、
前記出力部は、前記識別部による識別の結果を出力する、
情報処理装置。
【請求項3】
請求項２に記載の情報処理装置であって、前記出力部は、前記識別部によって正常と識別された部分画像及び前記識別部によって異常と識別された部分画像に色を付けた予測マップを前記識別の結果として出力する、
情報処理装置。
【請求項4】
情報処理システムであって、切り出し部と、特徴量取得部と、生成部と、識別部と、出力部と、学習部と、を有し、
前記切り出し部は、画像から複数の部分画像を切り出し、
前記画像は、Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅの病理画像であり、
前記特徴量取得部は、前記切り出し部によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得し、
前記生成部は、前記特徴量取得部によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成し、
前記識別部は、前記特徴量マップをセグメンテーションモデルに入力し、各部分画像が正常か、異常かを識別し、
前記出力部は、前記識別部による識別の結果を出力し、
前記学習部は、処理対象の画像自身の情報以外の情報を用いて、前記特徴抽出モデルと、前記セグメンテーションモデルと、を別々に、又は一括で学習する、
情報処理システム。
【請求項5】
情報処理装置が実行する情報処理方法であって、第１の工程と、第２の工程と、第３の工程と、第４の工程と、第５の工程と、を含み、
前記第１の工程では、画像から複数の部分画像を切り出し、
前記画像は、Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅの病理画像であり、
前記第２の工程では、前記第１の工程において切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得し、
前記第３の工程では、前記第２の工程において取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成し、
前記第４の工程では、前記特徴量マップをセグメンテーションモデルに入力し、各部分画像に対する正常、異常を識別し、
前記第５の工程では、処理対象の画像自身の情報以外の情報を用いて、前記特徴抽出モデルと、前記セグメンテーションモデルと、を別々に、又は一括で学習する、
情報処理方法。
【請求項6】
プログラムであって、コンピュータを、請求項１乃至請求項３の何れか１項に記載の情報処理装置の各部として機能させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
組織の断片の画像をデジタル化したものはＷｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ（ＷＳＩ）と言われる。医師の診断を補助し負担を減らすため、ＷＳＩに対して深層学習を応用して病理画像の自動診断を実現する研究が行われている。
ＷＳＩは高解像度であることが特徴である。ＷＳＩの解像度を落とすことなく深層モデルの学習に用いるため、非特許文献１では、ＷＳＩをパッチと呼ばれる小画像に分割し、モデルに入力する方法が用いられている。
ＷＳＩは高解像度であることが特徴である。ＷＳＩの解像度を落とすことなく深層モデルの学習に用いるため、非特許文献１では、ＷＳＩをパッチと呼ばれる小画像に分割し、モデルに入力する方法が用いられている。
【先行技術文献】
【特許文献】
【0003】
【文献】Ｌｅ Ｈｏｕ ｅｔ ａｌ． Ｐａｔｃｈ－ｂａｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｗｈｏｌｅ ｓｌｉｄｅ ｔｉｓｓｕｅ ｉｍａｇｅ ｃａｓｓｉｆｉｃａｔｉｏｎ． Ｉｎ ＣＶＰＲ，２０１６．
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、非特許文献１の方法ではパッチサイズに制限された局所的な情報しか考慮することができない問題があった。
【0005】
本発明は、かかる事情を鑑みてなされたものであり、局所特徴と大域特徴との両方を考慮し、画像を識別する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、情報処理装置であって、切り出し部と、特徴量取得部と、生成部と、識別部と、を有し、前記切り出し部は、画像から複数の部分画像を切り出し、前記特徴量取得部は、前記切り出し部によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得し、前記生成部は、前記特徴量取得部によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成し、前記識別部は、前記特徴量マップをセグメンテーションモデルに入力し、前記複数の部分画像それぞれを識別する、情報処理装置が提供される。
【発明の効果】
【0007】
本発明の一つによれば、局所特徴と大域特徴との両方を考慮し、画像を識別する技術を提供することができるという有利な効果を奏する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、実施形態１においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
【0011】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0012】
＜実施形態１＞
１．システム構成
図１は、情報処理システムのシステム構成の一例を示す図である。情報処理システムは、サーバ装置１００と、クライアント装置１１０と、を含む。サーバ装置１００は、ネットワーク１２０を介してクライアント装置１１０と通信を行う。図１では説明の簡略化のため、１台のクライアント装置１１０がネットワーク１２０を介してサーバ装置１００に接続されている。しかし、複数のクライアント装置がネットワーク１２０を介してサーバ装置１００に接続されていてもよい。また、サーバ装置１００は１台ではなく複数のサーバ装置、いわゆるクラウドとして、構成されてもよい。また、サーバ装置１００は、ネットワーク１２０を介して、他のサーバ装置、システム等と接続されていてもよい。
（処理の概要）
サーバ装置１００は、クライアント装置１１０からの要求等に基づき画像システムよりＷＳＩを受け取ると、ＷＳＩから複数の部分画像を切り出し、切り出した複数の部分画像を特徴抽出モデルに入力し、複数の部分画像それぞれに対応する線形の特徴ベクトルを取得する。そして、サーバ装置１００は、ＷＳＩ中の部分画像の位置情報に基づき、特徴ベクトルを並べた特徴マップを生成し、生成した特徴マップをセグメンテーションモデルに入力し、予測マップを出力する。例えば、サーバ装置１００は、要求元のクライアント装置１１０に予測マップを送信する。ＷＳＩは、上述したように、組織の断片の画像をデジタル化したものであり、病理画像の一例である。
１．システム構成
図１は、情報処理システムのシステム構成の一例を示す図である。情報処理システムは、サーバ装置１００と、クライアント装置１１０と、を含む。サーバ装置１００は、ネットワーク１２０を介してクライアント装置１１０と通信を行う。図１では説明の簡略化のため、１台のクライアント装置１１０がネットワーク１２０を介してサーバ装置１００に接続されている。しかし、複数のクライアント装置がネットワーク１２０を介してサーバ装置１００に接続されていてもよい。また、サーバ装置１００は１台ではなく複数のサーバ装置、いわゆるクラウドとして、構成されてもよい。また、サーバ装置１００は、ネットワーク１２０を介して、他のサーバ装置、システム等と接続されていてもよい。
（処理の概要）
サーバ装置１００は、クライアント装置１１０からの要求等に基づき画像システムよりＷＳＩを受け取ると、ＷＳＩから複数の部分画像を切り出し、切り出した複数の部分画像を特徴抽出モデルに入力し、複数の部分画像それぞれに対応する線形の特徴ベクトルを取得する。そして、サーバ装置１００は、ＷＳＩ中の部分画像の位置情報に基づき、特徴ベクトルを並べた特徴マップを生成し、生成した特徴マップをセグメンテーションモデルに入力し、予測マップを出力する。例えば、サーバ装置１００は、要求元のクライアント装置１１０に予測マップを送信する。ＷＳＩは、上述したように、組織の断片の画像をデジタル化したものであり、病理画像の一例である。
【0013】
２．ハードウェア構成
図２は、サーバ装置１００のハードウェア構成の一例を示す図である。サーバ装置１００は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を含む。制御部２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、サーバ装置１００の全体を制御したり、画像処理を制御したりする。記憶部２０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であって、プログラム及び制御部２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部２０１、より具体的にはＧＰＵが、記憶部２０２に記憶されているプログラムに基づき、処理を実行することによって、後述する図３のサーバ装置１００の機能構成及び後述する図４のアクティビティ図の処理が実現される。通信部２０３は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、サーバ装置１００をネットワーク１２０に接続する。記憶部２０２は、記憶媒体の一例である。
図２は、サーバ装置１００のハードウェア構成の一例を示す図である。サーバ装置１００は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を含む。制御部２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、サーバ装置１００の全体を制御したり、画像処理を制御したりする。記憶部２０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であって、プログラム及び制御部２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部２０１、より具体的にはＧＰＵが、記憶部２０２に記憶されているプログラムに基づき、処理を実行することによって、後述する図３のサーバ装置１００の機能構成及び後述する図４のアクティビティ図の処理が実現される。通信部２０３は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、サーバ装置１００をネットワーク１２０に接続する。記憶部２０２は、記憶媒体の一例である。
【0014】
３．機能構成
図３は、サーバ装置１００の機能構成の一例を示す図である。サーバ装置１００（情報処理装置）は、機能構成として、切り出し部３０１と、特徴量取得部３０２と、生成部３０３と、識別部３０４と、出力部３０５と、学習部３０６と、を含む。切り出し部３０１は、ＷＳＩから部分画像を切り出す。ＷＳＩは、画像の一例である。特徴量取得部３０２は、切り出し部３０１によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得する。生成部３０３は、特徴量取得部３０２によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成する。識別部３０４は、特徴量マップをセグメンテーションモデルに入力し、複数の部分画像のそれぞれを識別する。出力部３０５は、識別部３０４による識別結果を出力する。学習部３０６は、ネットワークを学習する。
図３は、サーバ装置１００の機能構成の一例を示す図である。サーバ装置１００（情報処理装置）は、機能構成として、切り出し部３０１と、特徴量取得部３０２と、生成部３０３と、識別部３０４と、出力部３０５と、学習部３０６と、を含む。切り出し部３０１は、ＷＳＩから部分画像を切り出す。ＷＳＩは、画像の一例である。特徴量取得部３０２は、切り出し部３０１によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得する。生成部３０３は、特徴量取得部３０２によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成する。識別部３０４は、特徴量マップをセグメンテーションモデルに入力し、複数の部分画像のそれぞれを識別する。出力部３０５は、識別部３０４による識別結果を出力する。学習部３０６は、ネットワークを学習する。
【0015】
４．情報処理
図４は、サーバ装置１００の情報処理の一例を示すアクティビティ図である。
Ａ４０１において、切り出し部３０１は、クライアント装置１１０からの要求等に基づき画像システムより受け取ったＷＳＩから部分画像を切り出す。
Ａ４０２において、特徴量取得部３０２は、切り出し部３０１によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得する。特徴抽出モデルの一例は、ＧｏｏｇＬｅＮｅｔである。
Ａ４０３において、生成部３０３は、特徴量取得部３０２によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成する。
図４は、サーバ装置１００の情報処理の一例を示すアクティビティ図である。
Ａ４０１において、切り出し部３０１は、クライアント装置１１０からの要求等に基づき画像システムより受け取ったＷＳＩから部分画像を切り出す。
Ａ４０２において、特徴量取得部３０２は、切り出し部３０１によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得する。特徴抽出モデルの一例は、ＧｏｏｇＬｅＮｅｔである。
Ａ４０３において、生成部３０３は、特徴量取得部３０２によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成する。
【0016】
Ａ４０４において、識別部３０４は、特徴量マップをセグメンテーションモデルに入力し、複数の部分画像それぞれが正常か、異常かを識別する。セグメンテーションモデルの一例は、Ｕ－Ｎｅｔである。
Ａ４０５において、出力部３０５は、識別部３０４によって正常と識別された部分画像及び識別部３０４によって異常と識別された部分画像にそれぞれ異なる色を付けた予測マップを識別の結果として出力する。実施形態１の例では、出力部３０５は、要求元のクライアント装置１１０に予測マップを送信する。他の例として、サーバ装置１００がディスプレイ等の表示部を有していた場合、要求に応じて、出力部３０５は、予測マップをサーバ装置１００のディスプレイに出力してもよい。また、要求に応じて、出力部３０５は、予測マップを記憶部２０２、又は外部装置の記憶部等に出力するようにしてもよい。
Ａ４０５において、出力部３０５は、識別部３０４によって正常と識別された部分画像及び識別部３０４によって異常と識別された部分画像にそれぞれ異なる色を付けた予測マップを識別の結果として出力する。実施形態１の例では、出力部３０５は、要求元のクライアント装置１１０に予測マップを送信する。他の例として、サーバ装置１００がディスプレイ等の表示部を有していた場合、要求に応じて、出力部３０５は、予測マップをサーバ装置１００のディスプレイに出力してもよい。また、要求に応じて、出力部３０５は、予測マップを記憶部２０２、又は外部装置の記憶部等に出力するようにしてもよい。
【0017】
５．パイプライン
図５は、パイプラインの一例を示す図である。
切り出し部３０１は、クライアント装置１１０からの要求等に基づき画像システムより受け取ったＷＳＩから部分画像を切り出す。特徴量取得部３０２は、切り出し部３０１によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得する。生成部３０３は、特徴量取得部３０２によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成する。識別部３０４は、特徴量マップをセグメンテーションモデルに入力し、複数の部分画像それぞれが正常か、異常かを識別する。出力部３０５は、識別部３０４によって正常と識別された部分画像及び識別部３０４によって異常と識別された部分画像にそれぞれ異なる色を付けた予測マップを識別の結果として出力する。
なお、他の例として識別部３０４と、出力部３０５とは、一体となり、識別部３０４が、特徴量マップをセグメンテーションモデルに入力し、複数の部分画像それぞれが正常か、異常かを識別し、正常と識別された部分画像及び異常と識別された部分画像に色を付けた予測マップを出力するようにしてもよい。
図５は、パイプラインの一例を示す図である。
切り出し部３０１は、クライアント装置１１０からの要求等に基づき画像システムより受け取ったＷＳＩから部分画像を切り出す。特徴量取得部３０２は、切り出し部３０１によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得する。生成部３０３は、特徴量取得部３０２によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成する。識別部３０４は、特徴量マップをセグメンテーションモデルに入力し、複数の部分画像それぞれが正常か、異常かを識別する。出力部３０５は、識別部３０４によって正常と識別された部分画像及び識別部３０４によって異常と識別された部分画像にそれぞれ異なる色を付けた予測マップを識別の結果として出力する。
なお、他の例として識別部３０４と、出力部３０５とは、一体となり、識別部３０４が、特徴量マップをセグメンテーションモデルに入力し、複数の部分画像それぞれが正常か、異常かを識別し、正常と識別された部分画像及び異常と識別された部分画像に色を付けた予測マップを出力するようにしてもよい。
【0018】
６．最適化手法
以下、学習部３０６によるネットワークの最適化手法について２通りの学習方法を説明する。
（１）個別学習
最適化手法の１つ目は、学習部３０６が特徴抽出モデルとセグメンテーションモデルを別々に学習する方法である。この方法では、学習部３０６は、まず前半の特徴抽出モデルを学習する。入力はＷＳＩから切り取られた部分画像であり、出力は部分画像が正常か異常かを判定してその確率を表す２次元のベクトルである。訓練データに用いられる部分画像には医師のアノテーションに基づいて正常か異常かの教師ラベルが付されており、出力の２次元ベクトルの各要素は０から１までの値である。学習部３０６は、この訓練データを用いて性能が安定するまで特徴抽出モデルを学習する。ここで、特徴抽出モデルの性能は訓練データとは別に用意されているテストデータに対する汎化性を調べることによって求められる。
以下、学習部３０６によるネットワークの最適化手法について２通りの学習方法を説明する。
（１）個別学習
最適化手法の１つ目は、学習部３０６が特徴抽出モデルとセグメンテーションモデルを別々に学習する方法である。この方法では、学習部３０６は、まず前半の特徴抽出モデルを学習する。入力はＷＳＩから切り取られた部分画像であり、出力は部分画像が正常か異常かを判定してその確率を表す２次元のベクトルである。訓練データに用いられる部分画像には医師のアノテーションに基づいて正常か異常かの教師ラベルが付されており、出力の２次元ベクトルの各要素は０から１までの値である。学習部３０６は、この訓練データを用いて性能が安定するまで特徴抽出モデルを学習する。ここで、特徴抽出モデルの性能は訓練データとは別に用意されているテストデータに対する汎化性を調べることによって求められる。
【0019】
次に、学習部３０６は、学習が終わった特徴抽出モデルの重みを固定して訓練データ、テストデータすべての部分画像を入力し、識別結果の手前の中間特徴量を抽出する。各部分画像にはＷＳＩの識別情報と座標情報が付随しており、学習部３０６は、位置情報に基づいて中間特徴量を並べてＷＳＩ全体の特徴マップを作成する。なお、セグメンテーションモデルに入力する際は全ての特徴マップが固定次元でなくてはならないが、ＷＳＩは大きさが画像によって異なることが想定される。したがって、図６のように、予め十分な０で埋められたマップを用意し、学習部３０６は、マップの中心にＷＳＩが来るように特徴量を並べることとする。図６ではわかり易さのためＷＳＩを配置しているが、実際に配置されるのは、各部分画像の特徴量ベクトルである。より具体的な例として縦Ｌｈ個、横Ｌｗ個の部分画像分の大きさがあるＷＳＩ全体を考える。その中で左からｉ個目、上からｊ個目に当たる部分画像を部分画像［ｉ，ｊ］とする。固定長の特徴マップを部分画像特徴量Ｌ×Ｌ（Ｌ＞Ｌｈ、Ｌ＞Ｌｗ）個分の大きさとすると、学習部３０６は、部分画像［ｉ，ｊ］の特徴量を
となる［ｉ’，ｊ’］の位置に配置することで、全体としての特徴マップの中央に配置する。
【数1】
となる［ｉ’，ｊ’］の位置に配置することで、全体としての特徴マップの中央に配置する。
【0020】
また、同時に学習部３０６は、部分画像のラベル情報を並べた正解マップを作成する。ＷＳＩ中の組織の全域又は一部分に医師によるアノテーションが付けられているデータセットを想定すると、正解データにおいて定義されるクラスは４つになる。１つ目は正常クラス、２つ目は異常クラス、３つ目はアノテーションが付けられていない組織部分であるラベルなしクラス、４つ目は特徴マップ上で部分画像が存在しない空白エリアである背景クラスである。部分画像の特徴量に対応する位置に、各部分画像に与えられている教師ラベルを入力する。
【0021】
その後、学習部３０６は、セグメンテーションモデルを学習する。学習部３０６は、入力を生成した特徴マップ、教師データを正解マップとして教師あり学習を行う。この際、正しく識別したい対象は４つあるクラスのうち、正常クラス、異常クラスの２つであり、ラベルなしクラスと背景クラスは学習する必要がない。したがって、学習部３０６は、正常クラス、異常クラスのみに関してモデル更新のための誤差を計算し、その他のクラスに関しては誤差を０とする。学習部３０６は、このモデルを用いて性能が安定するまで学習を行う。識別性能はテストデータを用いて評価される。その際に、学習部３０６は、テストデータの識別予想マップを出力する。学習部３０６は、テストデータは、はじめの特徴抽出モデルを評価した際に用いたものと同じデータを使う。
【0022】
このパイプラインを全体としてみると、モデル構造は異なるものの本質的にはＷＳＩ全体をセグメンテーションしていることと等価であるといえる。具体的には、特徴抽出モデルで畳み込みとプーリング等を行って部分画像サイズの特徴量を取り出し、元のＷＳＩよりも小さいサイズの予想マップを出力している状態と捉えることができる。本来ＷＳＩ全体をセグメンテーションしようとするとサーバ装置１００のＧＰＵのメモリ及び処理時間の制約が大きくなることを考えると、個別学習による最適化手法は、図７に示すように、セグメンテーションのエンコーダの前半部分をはじめに学習して固定した状態と捉えることができる。即ち、ＷＳＩ全体のセグメンテーションをモデルの一部の勾配を固定することで実現しているといえる。
【0023】
（２）一括学習
最適化手法の２つ目は、学習部３０６が特徴抽出モデルからセグメンテーションモデルまでをエンドツーエンドで学習する方法である。各モデルの構造及び学習方法は、個別学習で述べたものと基本的には同じである。
一般的にモデルを２つ以上直列に並べたネットワークでは、１つ目のモデルの出力を２つ目のモデルの入力として、最後の出力からはじめての入力まで一つのモデルで学習するのと同じように誤差を伝播することができる。しかし、実施形態１の条件では、一枚のＷＳＩの特徴量を取り出すために数百から数千の部分画像の情報が必要となる。即ち、後半のセグメンテーションモデルに１つ入力を与えるためには前半の特徴抽出モデルに多い場合で数千の入力を与える必要がある。数千枚の部分画像を一括で入力しようとすると、誤差逆伝播のためにそれら全ての中間層出力を記憶していなければならない。具体的には、ある一枚のＷＳＩから切り出される部分画像をＮとし、１部分画像あたりの学習に必要な特徴抽出モデルの消費メモリをＭとすると、１枚のＷＳＩをセグメンテーションモデルで学習するために特徴抽出モデルでＭＮのメモリを消費することになり、これは結局、全ＷＳＩを、セグメンテーションモデルを使って学習するのに必要なメモリとほぼ同等であって、一括でＷＳＩ１枚分の部分画像を入力することはメモリ容量を考えると現実的ではない。
最適化手法の２つ目は、学習部３０６が特徴抽出モデルからセグメンテーションモデルまでをエンドツーエンドで学習する方法である。各モデルの構造及び学習方法は、個別学習で述べたものと基本的には同じである。
一般的にモデルを２つ以上直列に並べたネットワークでは、１つ目のモデルの出力を２つ目のモデルの入力として、最後の出力からはじめての入力まで一つのモデルで学習するのと同じように誤差を伝播することができる。しかし、実施形態１の条件では、一枚のＷＳＩの特徴量を取り出すために数百から数千の部分画像の情報が必要となる。即ち、後半のセグメンテーションモデルに１つ入力を与えるためには前半の特徴抽出モデルに多い場合で数千の入力を与える必要がある。数千枚の部分画像を一括で入力しようとすると、誤差逆伝播のためにそれら全ての中間層出力を記憶していなければならない。具体的には、ある一枚のＷＳＩから切り出される部分画像をＮとし、１部分画像あたりの学習に必要な特徴抽出モデルの消費メモリをＭとすると、１枚のＷＳＩをセグメンテーションモデルで学習するために特徴抽出モデルでＭＮのメモリを消費することになり、これは結局、全ＷＳＩを、セグメンテーションモデルを使って学習するのに必要なメモリとほぼ同等であって、一括でＷＳＩ１枚分の部分画像を入力することはメモリ容量を考えると現実的ではない。
【0024】
それを解決するため、ＷＳＩを構成する１セットの分割画像を現実的なサイズに分割し、複数回に分けて特徴抽出モデルを更新する。つまり、学習部３０６は、全部分画像数Ｎをｒ個のバッチに分割し順に学習する。このように数回に分けて更新することでメモリ消費量はＮＭ／ｒとなる。学習部３０６は、Ｍ／ｒが計算可能なサイズになるようにｒを調整する。このことで特徴抽出モデルの学習が可能となる。
特徴抽出モデルを一度に更新しないということは、２つのモデルの間で情報を一度保持しておく構造が必要になる。学習部３０６は、順計算の際には、個別学習と同じように前半の特徴抽出モデルから出力された中間特徴量を位置情報と共に保持し、特徴マップ上の全ての特徴量が出揃った時点でセグメンテーションモデルに入力する。逆伝播に関して、教師ラベルとの誤差はセグメンテーションモデルの最終出力との間に定義されるので、学習部３０６は、前半の特徴抽出モデルの勾配も最終誤差を微分して求めなくてはならず、特徴抽出モデルの更新のためにはセグメンテーションモデルから計算された誤差情報を保持して置く必要がある。誤差情報を少ないメモリ消費で保持するため、学習部３０６は、以下の方法をとる。
特徴抽出モデルを一度に更新しないということは、２つのモデルの間で情報を一度保持しておく構造が必要になる。学習部３０６は、順計算の際には、個別学習と同じように前半の特徴抽出モデルから出力された中間特徴量を位置情報と共に保持し、特徴マップ上の全ての特徴量が出揃った時点でセグメンテーションモデルに入力する。逆伝播に関して、教師ラベルとの誤差はセグメンテーションモデルの最終出力との間に定義されるので、学習部３０６は、前半の特徴抽出モデルの勾配も最終誤差を微分して求めなくてはならず、特徴抽出モデルの更新のためにはセグメンテーションモデルから計算された誤差情報を保持して置く必要がある。誤差情報を少ないメモリ消費で保持するため、学習部３０６は、以下の方法をとる。
【0025】
モデルに対して誤差Ｌが定義されたとき、特徴抽出モデルの主にｗについて、重みを更新する際の式は、
で表される。ηは学習係数である。
【数2】
で表される。ηは学習係数である。
【0026】
∂Ｌ／∂Ｗを求めることができれば重みを更新し、学習することができるが、特徴抽出モデルのｗについてはモデルが別であるため単純には∂Ｌ／∂Ｗを計算できない。
ここで、前半の特徴抽出モデルの出力である中間特徴量をｘとすると、連鎖律を用いて∂Ｌ／∂Ｗは、
と書ける。
ここで、前半の特徴抽出モデルの出力である中間特徴量をｘとすると、連鎖律を用いて∂Ｌ／∂Ｗは、
【数3】
と書ける。
【0027】
ｘはセグメンテーションモデルの入力でもあるので、∂Ｌ／∂ｘは計算することができる。∂Ｌ／∂ｘを使って、特徴抽出モデルの誤差Ｌ’を
と改めて定義すれば
として∂Ｌ／∂Ｗを求めることができる。
【数4】
と改めて定義すれば
【数5】
として∂Ｌ／∂Ｗを求めることができる。
【0028】
つまり、学習部３０６は、後半のセグメンテーションモデルについて∂Ｌ／∂ｘを計算して保持しておき、特徴抽出モデルを学習する際にモデルの出力ｘと保持していた値との内積をとれば、特徴抽出モデルの誤差と同等のものとして扱うことができる。学習部３０６は、このようにして特徴抽出モデルを更新することができる。
【0029】
このように誤差としてセグメンテーションモデルの勾配と特徴抽出モデルの中間特徴量の内積を考えたとき、特徴抽出モデルの出力は部分画像を表す中間特徴量まででよい。したがって、一括学習の際は特徴抽出モデルの最終層は取り除かれている。
一括学習の最適化手順を整理すると次のようになる。
一括学習の最適化手順を整理すると次のようになる。
【0030】
ステップ１：学習部３０６は、部分画像を入力として特徴抽出モデルを順計算し、部分画像ごとの特徴量を取り出す。学習部３０６は、取り出した特徴量を、部分画像に与えられている位置情報を基に並べ、ＷＳＩ全体の特徴マップと正解マップを作成する。
ステップ２：学習部３０６は、全部分画像の順計算が終わったら、特徴マップと正解マップを用いてセグメンテーションモデルを学習し、更新する。
ステップ３：学習部３０６は、誤差Ｌと特徴抽出モデルの出力ｘを用いて［数４］を計算する。
ステップ４：学習部３０６は、計算したＬ’を用いて前半の特徴抽出モデルを学習する。
このような手順を踏むことで２つのモデルをエンドツーエンドで学習させることができる。また全部分画像に対する特徴抽出モデルの中間層出力は数が多すぎて保持できないため、ステップ１では各層の出力は保持せずに特徴量だけを取り出し、ステップ４で改めて現実的なバッチサイズで順計算と誤差逆伝播計算を行っている。このようにしてメモリ消費を抑え、ＷＳＩ全体のスケールでの学習を実現している。
ステップ２：学習部３０６は、全部分画像の順計算が終わったら、特徴マップと正解マップを用いてセグメンテーションモデルを学習し、更新する。
ステップ３：学習部３０６は、誤差Ｌと特徴抽出モデルの出力ｘを用いて［数４］を計算する。
ステップ４：学習部３０６は、計算したＬ’を用いて前半の特徴抽出モデルを学習する。
このような手順を踏むことで２つのモデルをエンドツーエンドで学習させることができる。また全部分画像に対する特徴抽出モデルの中間層出力は数が多すぎて保持できないため、ステップ１では各層の出力は保持せずに特徴量だけを取り出し、ステップ４で改めて現実的なバッチサイズで順計算と誤差逆伝播計算を行っている。このようにしてメモリ消費を抑え、ＷＳＩ全体のスケールでの学習を実現している。
【0031】
７．実施形態１の効果
実施形態１で説明した処理の結果を図８に示す。
「識別器のみ」の行は、特徴抽出モデルであるＧｏｏｇＬｅＮｅｔのみの性能評価を示す。「セグメンテーションのみ」の行は、セグメンテーションモデルのみの性能評価を示す。「最適化手法１：個別学習」の行は、上述した個別学習で学習した実施形態１のパイプラインの性能評価を示す。「最適化手法２：一括学習」の行は、上述した一括学習で学習した実施形態１のパイプラインの性能評価を示す。なお、評価には、識別の正答率とＰｒｅｃｉｓｉｏｎ Ｒｅａｌｌ（ＰＲ）曲線のＡｒｅａ Ｕｎｄｅｒ Ｃｕｒｖｅ（ＡＵＣ）を用いている。
図８に示されるように、「識別器のみ」及び「セグメンテーションのみ」に比べて、実施形態１で説明した「最適化手法１：個別学習」及び「最適化手法２：一括学習」の方が、正答率及びＰＲ－ＡＵＣで上回っている。
即ち、実施形態１によれば、ＧＰＵのメモリのハードウェア的制約の中で、局所特徴と大域特徴との両方を考慮し、画像を識別する技術を提供することによって、精度の高い識別を行うことができる。
実施形態１で説明した処理の結果を図８に示す。
「識別器のみ」の行は、特徴抽出モデルであるＧｏｏｇＬｅＮｅｔのみの性能評価を示す。「セグメンテーションのみ」の行は、セグメンテーションモデルのみの性能評価を示す。「最適化手法１：個別学習」の行は、上述した個別学習で学習した実施形態１のパイプラインの性能評価を示す。「最適化手法２：一括学習」の行は、上述した一括学習で学習した実施形態１のパイプラインの性能評価を示す。なお、評価には、識別の正答率とＰｒｅｃｉｓｉｏｎ Ｒｅａｌｌ（ＰＲ）曲線のＡｒｅａ Ｕｎｄｅｒ Ｃｕｒｖｅ（ＡＵＣ）を用いている。
図８に示されるように、「識別器のみ」及び「セグメンテーションのみ」に比べて、実施形態１で説明した「最適化手法１：個別学習」及び「最適化手法２：一括学習」の方が、正答率及びＰＲ－ＡＵＣで上回っている。
即ち、実施形態１によれば、ＧＰＵのメモリのハードウェア的制約の中で、局所特徴と大域特徴との両方を考慮し、画像を識別する技術を提供することによって、精度の高い識別を行うことができる。
【0032】
＜変形例＞
実施形態１では、病理画像を例に説明を行った。しかし、画像は病理画像に限られない。例えば、画像として、航空画像を用い、航空画像について高精度な識別を行うようにしてもよい。上述した処理を実行することにより、航空画像についても精度の高い識別を行うことができる。
また、実施形態１では、情報処理システムは、サーバ装置１００と、クライアント装置１１０と、を含む構成で説明した。しかし、例えば、サーバ装置１００の機能をクライアント装置１１０が単特で有していてもよい。
実施形態１では、病理画像を例に説明を行った。しかし、画像は病理画像に限られない。例えば、画像として、航空画像を用い、航空画像について高精度な識別を行うようにしてもよい。上述した処理を実行することにより、航空画像についても精度の高い識別を行うことができる。
また、実施形態１では、情報処理システムは、サーバ装置１００と、クライアント装置１１０と、を含む構成で説明した。しかし、例えば、サーバ装置１００の機能をクライアント装置１１０が単特で有していてもよい。
【0033】
次に記載の各態様で提供されてもよい。
前記情報処理装置であって、出力部を更に有し、前記出力部は、前記識別部による識別の結果を出力する、情報処理装置。
前記情報処理装置であって、前記識別部は、前記特徴量マップをセグメンテーションモデルに入力し、各部分画像が正常か、異常かを識別する、情報処理装置。
前記情報処理装置であって、前記出力部は、前記識別部によって正常と識別された部分画像及び前記識別部によって異常と識別された部分画像に色を付けた予測マップを前記識別の結果として出力する、情報処理装置。
前記情報処理装置であって、学習部を更に有し、前記学習部は、前記特徴抽出モデルと、前記セグメンテーションモデルと、を別々に学習する、情報処理装置。
前記情報処理装置であって、学習部を更に有し、前記学習部は、前記特徴抽出モデルから前記セグメンテーションモデルまでを一括で学習する、情報処理装置。
前記情報処理装置であって、前記画像は病理画像である、情報処理装置。
前記情報処理装置であって、前記画像は航空画像である、情報処理装置。
情報処理システムであって、切り出し部と、特徴量取得部と、生成部と、識別部と、出力部と、を有し、前記切り出し部は、画像から複数の部分画像を切り出し、前記特徴量取得部は、前記切り出し部によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得し、前記生成部は、前記特徴量取得部によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成し、前記識別部は、前記特徴量マップをセグメンテーションモデルに入力し、各部分画像を識別し、前記出力部は、前記識別部による識別の結果を出力する、情報処理システム。
情報処理装置が実行する情報処理方法であって、第１の工程と、第２の工程と、第３の工程と、第４の工程と、を含み、前記第１の工程では、画像から複数の部分画像を切り出し、前記第２の工程では、前記第１の工程において切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得し、前記第３の工程では、前記第２の工程において取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成し、前記第４の工程では、前記特徴量マップをセグメンテーションモデルに入力し、各部分画像に対する正常、異常を識別する、情報処理方法。
プログラムであって、コンピュータを、前記情報処理装置の各部として機能させるためのプログラム。
もちろん、この限りではない。
例えば、上述のプログラムを記憶する、コンピュータ読み取り可能な非一時的な記憶媒体として提供してもよい。
前記情報処理装置であって、出力部を更に有し、前記出力部は、前記識別部による識別の結果を出力する、情報処理装置。
前記情報処理装置であって、前記識別部は、前記特徴量マップをセグメンテーションモデルに入力し、各部分画像が正常か、異常かを識別する、情報処理装置。
前記情報処理装置であって、前記出力部は、前記識別部によって正常と識別された部分画像及び前記識別部によって異常と識別された部分画像に色を付けた予測マップを前記識別の結果として出力する、情報処理装置。
前記情報処理装置であって、学習部を更に有し、前記学習部は、前記特徴抽出モデルと、前記セグメンテーションモデルと、を別々に学習する、情報処理装置。
前記情報処理装置であって、学習部を更に有し、前記学習部は、前記特徴抽出モデルから前記セグメンテーションモデルまでを一括で学習する、情報処理装置。
前記情報処理装置であって、前記画像は病理画像である、情報処理装置。
前記情報処理装置であって、前記画像は航空画像である、情報処理装置。
情報処理システムであって、切り出し部と、特徴量取得部と、生成部と、識別部と、出力部と、を有し、前記切り出し部は、画像から複数の部分画像を切り出し、前記特徴量取得部は、前記切り出し部によって切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得し、前記生成部は、前記特徴量取得部によって取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成し、前記識別部は、前記特徴量マップをセグメンテーションモデルに入力し、各部分画像を識別し、前記出力部は、前記識別部による識別の結果を出力する、情報処理システム。
情報処理装置が実行する情報処理方法であって、第１の工程と、第２の工程と、第３の工程と、第４の工程と、を含み、前記第１の工程では、画像から複数の部分画像を切り出し、前記第２の工程では、前記第１の工程において切り出された複数の部分画像を特徴抽出モデルに入力し、特徴量を取得し、前記第３の工程では、前記第２の工程において取得された特徴量を、該当する部分画像の位置情報に基づき並べた特徴量マップを生成し、前記第４の工程では、前記特徴量マップをセグメンテーションモデルに入力し、各部分画像に対する正常、異常を識別する、情報処理方法。
プログラムであって、コンピュータを、前記情報処理装置の各部として機能させるためのプログラム。
もちろん、この限りではない。
例えば、上述のプログラムを記憶する、コンピュータ読み取り可能な非一時的な記憶媒体として提供してもよい。
【0034】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0035】
１００ ：サーバ装置
１１０ ：クライアント装置
１２０ ：ネットワーク
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
３０１ ：切り出し部
３０２ ：特徴量取得部
３０３ ：生成部
３０４ ：識別部
３０５ ：出力部
３０６ ：学習部
１１０ ：クライアント装置
１２０ ：ネットワーク
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
３０１ ：切り出し部
３０２ ：特徴量取得部
３０３ ：生成部
３０４ ：識別部
３０５ ：出力部
３０６ ：学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
