特許 7603344 組織検体画像の生成方法、及びこれを行うコンピューティングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】組織検体画像の生成方法、及びこれを行うコンピューティングシステム

(51)【国際特許分類】

   G06T 7/13 20170101AFI20241213BHJP

   G06V 10/46 20220101ALI20241213BHJP

   G06T 7/00 20170101ALI20241213BHJP

   G16H 30/40 20180101ALI20241213BHJP

【ＦＩ】

G06T7/13

G06V10/46

G06T7/00 630

G16H30/40

【請求項の数】 11

(21)【出願番号】P 2023542991

(86)(22)【出願日】2022-01-19

(65)【公表番号】

(43)【公表日】2024-02-02

(86)【国際出願番号】 KR2022000972

(87)【国際公開番号】W WO2022158843

(87)【国際公開日】2022-07-28

【審査請求日】2023-08-08

(31)【優先権主張番号】10-2021-0008312

(32)【優先日】2021-01-20

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】519208133

【氏名又は名称】ディープ バイオ インク

(74)【代理人】

【識別番号】100120008

【弁理士】

【氏名又は名称】山田 くみ子

(72)【発明者】

【氏名】チョ ジュニョン

(72)【発明者】

【氏名】カク テヨン

(72)【発明者】

【氏名】キム ソンウ

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特表２００６－５１７６６３（ＪＰ，Ａ）

【文献】特開２０２０－１１５２８３（ＪＰ，Ａ）

【文献】国際公開第２０２０／１４２５６６（ＷＯ，Ａ１）

【文献】特表２０２２－５１６１５４（ＪＰ，Ａ）

【文献】特開２０２０－１２７６００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０６

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

組織検体画像の生成方法であって、
組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭（ｃｏｎｔｏｕｒ）を抽出するステップと、
抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、
前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、
前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップとを有し、
前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップは、
前記複数の輪郭のうちで前記組織検体画像のアウトラインに隣接する境界隣接輪郭を決定するステップと、
前記組織検体画像から除去対象輪郭に該当する領域を除去するステップ（ここで、前記除去対象輪郭は、前記境界隣接輪郭のうちで主組織輪郭でないものである）と、
を含む、組織検体画像の生成方法。

【請求項2】

前記組織検体画像の中心点座標と、前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップは、
前記複数の輪郭のうちで該当する輪郭の中心点と前記組織検体画像の中心点との距離が最も近い輪郭を前記主組織輪郭として決定するステップを含む、請求項１に記載の組織検体画像の生成方法。

【請求項3】

前記組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップは、
前記組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される前記組織検体画像に対応するバイナリマスク画像を生成するステップと、
前記バイナリマスク画像に基づいて前記複数の輪郭を抽出するステップと、
を含む、請求項１に記載の組織検体画像の生成方法。

【請求項4】

前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、
前記組織検体画像のうちで前記除去対象輪郭に該当する領域を前記組織検体画像の背景色に置き換えるステップを含む、請求項１に記載の組織検体画像の生成方法。

【請求項5】

前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、
前記組織検体画像のうちで前記複数の輪郭のいずれかにも該当しない領域の平均色を前記組織検体画像の背景色として決定するステップをさらに含む、請求項４に記載の組織検体画像の生成方法。

【請求項6】

データ処理装置に設置され、請求項１ないし請求項５のいずれか一項に記載の方法を行うための記録媒体に記録されたコンピュータプログラム。

【請求項7】

請求項１ないし請求項５のいずれか一項に記載の方法を行うためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。

【請求項8】

組織検体画像の生成システムであって、
プロセッサと、コンピュータプログラムを記憶するメモリと、を含み、
前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記組織検体画像の生成システムに組織検体画像の生成方法を実行させ、
前記組織検体画像の生成方法は、
組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップと、
抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、
前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、
前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップと、を含み、
前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップは、
前記複数の輪郭のうちで前記組織検体画像のアウトラインに隣接する境界隣接輪郭を決定するステップと、
前記組織検体画像から除去対象輪郭に該当する領域を除去するステップ（ここで、前記除去対象輪郭は前記境界隣接輪郭のうちで主組織輪郭でないものである）と、
を含む、組織検体画像の生成システム。

【請求項9】

前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップは、
前記複数の輪郭のうちで該当する輪郭の中心点と前記組織検体画像の中心点との距離が最も近い輪郭を前記主組織輪郭として決定するステップを含む、請求項８に記載の組織検体画像の生成システム。

【請求項10】

前記組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップは、
前記組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される前記組織検体画像に対応するバイナリマスク画像を生成するステップと、
前記バイナリマスク画像に基づいて前記複数の輪郭を抽出するステップと、
を含む、請求項８に記載の組織検体画像の生成システム。

【請求項11】

前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、
前記組織検体画像のうちで前記除去対象輪郭に該当する領域を前記組織検体画像の背景色に置き換えるステップを含む、請求項８に記載の組織検体画像の生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体組織検体の画像を生成する方法、及びこれを行うコンピューティングシステムに関する。より詳しくは、組織検体のスライド画像から他組織検体であると判断される組織検体領域を除去する方式により組織画像を生成する方法、及びこれを行うコンピューティングシステムに関する。

【背景技術】

【0002】

病理学又は病理科で行う主なタスクの１つは、患者の生体組織のスライド画像を読み取り、特定の疾患に対する状態又は徴候を判断する診断を行うことである。従来の病理診断方法は、検体から製作された診断用病理スライド画像を光学顕微鏡を介して病理専門医が目視で観察及び読取りする方式でなされていた。コンピュータに接続された顕微鏡カメラを活用して病理スライドをデジタル画像に変換した後、モニターで観察して読み取る方式がデジタル病理学の始まりといえる。近年、デジタルスライドスキャナが登場し、病理スライド全体を１つのデジタル画像に変換して病理スライド画像で製作した後、これをコンピュータモニターを介して観察して読み取る方式が広く普及されている。

【0003】

また、最近、機械学習の発達により、画像を認識又は分類するなどのタスクをコンピュータシステムによって自動化しようとする試みが盛んに行われている。特に、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（ＣＮＮ）など）を用いて熟練した医療関係者が行っていた診断を自動化するための試みがなされているが、一般に生体組織画像を用いるニューラルネットワークを介する診断は生体画像を用いる。すなわち、該当の生体画像に対して熟練した医療関係者は、特定の疾患の状態（例えば、疾患が発現したか否か）をアノテーション（ａｎｎｏｔａｔｉｏｎ）し、このようなアノテーションされた複数の画像を学習データとして用いてニューラルネットワークを学習するようになる。

【0004】

一方、図１に示すように、１枚のガラススライドに複数の組織検体を載せて病理スライドを製作する場合があり、このような方法で製作された病理スライドの場合、これを光学顕微鏡を介して目視で検査することに大きな問題はない。ところで、これをデジタル化して各組織検体単位でアルゴリズム分析又は人工知能による分析を行う場合には、分析対象となる画像内に他組織の検体部分が含まれることがあり、診断モデルを正しく学習できないか、分析の結果が正確ではなくなる。例えば、多くの生体組織を載せて製作したガラススライドで生成された病理スライド画像の場合、組織検体単位で自動で画像を分割する過程で自動分割アルゴリズムの限界又は誤差によって他組織検体が含まれることがある。又は、手動で組織検体単位で画像を分割する場合でも、組織検体領域を四角形や楕円など簡単な形態でのみ指定できる場合、同様に他組織検体が含まれるという問題がある。

【0005】

従って、組織検体単位で分割された画像に他組織検体が含まれているかどうかを確認し、これを除去することができる方法が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が達成しようとする技術的な課題は、組織検体のスライド画像を入力し、他組織検体であると判断される組織検体領域を除去する方式により組織検体画像を生成する方法、及びこれを行うコンピューティングシステムを提供することである。

【課題を解決するための手段】

【0007】

本発明の一態様によると、組織検体画像の生成方法であって、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭（ｃｏｎｔｏｕｒ）を抽出するステップと、抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップと、を含む、組織検体画像の生成方法が提供される。

【0008】

一実施形態において、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップは、前記複数の輪郭のうちで該当する輪郭の中心点と前記組織検体画像の中心点との距離が最も近い輪郭を前記主組織輪郭として決定するステップを含んでもよい。

【0009】

一実施形態において、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップは、前記複数の輪郭のうちで前記組織検体画像のアウトラインに隣接する境界隣接輪郭を決定するステップと、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップ（ここで、前記除去対象輪郭は、前記境界隣接輪郭のうちで主組織輪郭でないものである）と、を含んでもよい。

【0010】

一実施形態において、前記組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップは、前記組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される前記組織検体画像に対応するバイナリマスク画像を生成するステップと、前記バイナリマスクに基づいて前記複数の輪郭を抽出するステップと、を含んでもよい。

【0011】

一実施形態において、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、前記組織検体画像のうちで前記除去対象輪郭に該当する領域を前記組織検体画像の背景色に置き換えるステップを含んでもよい。

【0012】

一実施形態において、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、前記組織検体画像のうちで前記複数の輪郭のいずれかにも該当しない領域の平均色を前記組織検体画像の背景色として決定するステップをさらに含んでもよい。

【0013】

本発明の他の一態様によると、データ処理装置に設置され、上述の方法を行うための媒体に記録されたコンピュータプログラムが提供される。

【0014】

本発明の他の一態様によると、上述の方法を行うためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体が提供される。

【0015】

本発明の他の一態様によると、組織検体画像の生成システムであって、

【0016】

プロセッサと、コンピュータプログラムを記憶するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記組織検体画像の生成システムに組織検体画像の生成方法を実行させ、前記組織検体画像の生成方法は、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップと、抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップと、を含む、組織検体画像の生成システムが提供される。

【0017】

一実施形態において、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップは、前記複数の輪郭のうちで該当する輪郭の中心点と前記組織検体画像の中心点との距離が最も近い輪郭を前記主組織輪郭として決定するステップを含んでもよい。

【0018】

一実施形態において、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップは、前記複数の輪郭のうちで前記組織検体画像のアウトラインに隣接する境界隣接輪郭を決定するステップと、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップ（ここで、前記除去対象輪郭は、前記境界隣接輪郭のうちで主組織輪郭でないものである）と、を含んでもよい。

【0019】

一実施形態において、前記組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップは、前記組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される前記組織検体画像に対応するバイナリマスク画像を生成するステップと、前記バイナリマスクに基づいて前記複数の輪郭を抽出するステップと、を含んでもよい。

【0020】

一実施形態において、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、前記組織検体画像のうちで前記除去対象輪郭に該当する領域を前記組織検体画像の背景色に置き換えるステップを含んでもよい。

【発明の効果】

【0021】

本発明の技術的思想によると、組織検体のスライド画像を入力し、他組織検体であると判断される組織検体領域を除去する方式により組織検体画像を生成する方法、及びこれを行うコンピューティングシステムを提供することができる。

【0022】

また、本発明の一実施形態による組織検体画像を生成する方法で生成された画像により、人工ニューラルネットワークをより正確に学習することができるようになる効果がある。

【図面の簡単な説明】

【0023】

本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明を提供する。

【0024】

【図1】複数の検体が載置されたガラススライドの一例を示す図である。

【図2】本発明の実施形態による組織検体画像の生成方法を実現するための概略的なシステム構成を説明するための図である。

【図3】本発明の一実施形態による組織検体画像の生成方法を説明するためのフローチャートである。

【図4】図３のＳ１００ステップの一例を示すフローチャートである。

【図5】図３のＳ１２０ステップの一例を示すフローチャートである。

【図6】図３のＳ１３０ステップの一例を示すフローチャートである。

【図7a】組織検体画像の一例を示す図である。

【図7b】組織検体画像に対応するバイナリマスク画像の一例を示す図である。

【図7c】図７ａの組織検体画像から除去対象輪郭に該当する領域を除去した後の生成画像を示す図である。

【図8】本発明の一実施形態による組織検体画像の生成システムの概略的な構成を示す図である。

【図9】本発明の一実施形態による組織検体画像の生成システムの概略的な構成を説明するための図である。

【発明を実施するための形態】

【0025】

本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に示し、詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神及び技術範囲に含まれる全ての変換、等価物ないし代替物を含むものとして理解されたい。本発明の説明において、関連する公知技術についての具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明を省略する。

【0026】

第１、第２などの用語は様々な構成要素を説明するために使用することができるが、構成要素は用語によって限定されるべきではない。第１、第２などの用語は特別な順序を表すものではなく、ある構成要素を他の構成要素から区別する目的でのみ使用される。

【0027】

本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。

【0028】

本明細書において、「含む」又は「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものが存在することを指定するものであり、１つ又はそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものの存在又は追加の可能性を事前に除外しないものとして理解されたい。

【0029】

また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも１つのまた他の構成要素を介して、データを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、ある構成要素はまた他の構成要素を介することなく、他の構成要素にデータを伝送することを意味する。

【0030】

以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳しく説明する。各図に示されている同じ参照符号は同じ部材を示す。

【0031】

図２は、本発明の実施形態による組織検体画像の生成方法を実現するための概略的なシステム構成を説明するための図である。

【0032】

図２を参照すると、本発明の技術的思想による組織検体画像の生成方法は、組織検体画像の生成システム１００によって行うことができる。

【0033】

一実施形態において、組織検体画像の生成システム１００は、所定のサーバ１０に設置され、本発明の技術的思想を実現することができる。サーバ１０は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般にネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定のサービスを実行可能ないかなる装置もサーバとして定義できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0034】

組織検体画像の生成システム１００は、所定のニューラルネットワーク２００に生成された組織検体画像を入力することで、ニューラルネットワーク２００を学習するか、予め学習されたニューラルネットワーク２００が組織検体画像から所定の判断が可能になる。ニューラルネットワーク２００は、病理検体に対する診断情報、予後情報及び／又は治療方法に対する反応情報を提供するための人工ニューラルネットワークであってもよく、ニューラルネットワーク２００によって出力された結果は、検体に対する各種の判断（例えば、疾患の発現有無、予後、治療方法に対する判断など）を行うために用いることができる。

【0035】

ニューラルネットワーク２００は、人間のニューロンの動作原理に基づいて人工的に構築したニューラルネットワークであり、多層パーセプトロンモデルを含み、人工ニューラルネットワークを定義する一連の設計事項を表す情報の集合を意味することができる。ニューラルネットワーク２００は、人工知能、機械学習又はディープラーニング分野で広く知られている畳み込みニューラルネットワーク（ＣＮＮ）を含むことができるが、これらに限定されない。

【0036】

ニューラルネットワーク２００と組織検体画像の生成システム１００とを含むサーバ１０は、疾患を診断するための診断システム、又は医師が疾患を診断するために必要な情報を提供するための診断支援システムであってもよい。ニューラルネットワーク２００と組織検体画像の生成システム１００とは、１つの物理装置、すなわちサーバ１０に備えられてもよいが、実施形態によって互いに異なる物理装置に備えられてもよく、必要に応じて様々な変形が可能であることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0037】

診断システム１０は、ニューラルネットワーク２００を学習させるために、所定の端末２０、２０－１と通信を行うことができる。端末２０、２０－１は、ニューラルネットワーク２００を学習させるために、複数の学習データをニューラルネットワーク２００に伝送することができ、ニューラルネットワーク２００は、受信した学習データを用いて学習を行うことができる。

【0038】

また、端末２０、２０－１は、学習されたニューラルネットワーク２００を用いて疾患の診断を行うために、診断対象となる生体画像を診断システム１０に出力することができる。

【0039】

一方、図２では、組織検体画像の生成システム１００がサーバ１０に設置されるサブシステムの形態で実現される例を示したが、実施形態によっては、これとは異なり、組織検体画像の生成システム１００を独立した形態の単一システムで実現できることは言うまでもない。この場合、組織検体画像の生成システム１００は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置であるコンピューティングシステムであってもよく、一般にネットワークを介してクライアントが接続可能なデータ処理装置であるサーバだけでなく、パーソナルコンピュータや携帯端末などのようなコンピュータ装置を含んでもよい。

【0040】

組織検体画像の生成システム１００は、病理検体画像を生成することができる。

【0041】

組織検体又は病理検体は、人体の様々な臓器から採取した生検、及び手術によって切除した生体組織であってもよい。組織検体画像は、病理検体をガラススライド形態にし、これをスキャンしてデジタル画像の形態に変換したスライド画像であってもよく、又はスライド画像を所定の自動分割アルゴリズムや手動で分割した画像であってもよい。

【0042】

病理検体でガラススライドを製作する過程において、１つのスライドに複数の検体を載せて製作する場合があり、このように製作されたスライドをデジタル画像に変換すると、複数の異なる組織が１つの画像に含まれることがある。また、このように製作されたスライドを変換した後、複数の検体の画像に分割しても、１つの主な組織以外に他組織の画像が１つの画像内に含まれる可能性がある。組織検体画像の生成システム１００は、他組織検体であると判断される組織検体領域を除去する方式によって組織画像を生成することができる。

【0043】

図３は、本発明の一実施形態による組織検体画像の生成方法を説明するためのフローチャートである。

【0044】

図３を参照すると、組織検体画像の生成システム１００は、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出することができる（Ｓ１００）。

【0045】

一実施形態において、組織検体画像の生成システム１００は、バイナリマスキングにより輪郭を抽出することができ、その例が図４に示されている。

【0046】

図４を参照すると、組織検体画像の生成システム１００は、組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される組織検体画像に対応するバイナリマスク画像を生成することができる（Ｓ１０１）。例えば、バイナリマスク画像は、組織検体画像のうちで組織のある部分が１で構成され、組織のない部分は０で構成された画像であってもよい。

【0047】

図７ａは、組織検体画像の一例を示す図であり、図７ｂは、組織検体画像に対応するバイナリマスク画像の一例を示す図である。

【0048】

一実施形態において、組織検体画像の生成システム１００は、予め学習された生体組織領域判断用ニューラルネットワークを用いて生体組織領域を特定し、特定された生体組織領域と非生体組織領域を区分してバイナリマスク画像を生成することができ、又は公知の様々な方法により生体組織領域を特定することができる。

【0049】

もし、組織検体画像がＨＳＶ（Ｈｕｅ－Ｓａｔｕｒａｔｉｏｎ－Ｖａｌｕｅ）色モデルで構成された画像である場合、一実施形態による組織検体画像の生成システム１００は、ＨＳＶ色モデルに基づく下記のような方法でバイナリマスク画像を生成することができる。

【0050】

一実施形態において、組織検体画像の生成システム１００は、組織検体画像に対応するＳ空間に対する画像二値化を行うことで、第１の二値化結果を生成することができる。このとき、スライドに対応するＳ空間は、スライドに対応するＨＳＶモデルの彩度値（Ｓａｔｕｒａｔｉｏｎ）からなる空間である。画像二値化方法として大津の二値化処理（Ｏｔｓｕ Ｔｈｒｅｓｈｏｌｄｉｎｇ）を用いることができる。大津の二値化処理は、コンピュータビジョンや画像処理の分野で用いられるクラスタリングベースの画像閾値処理法である。

【0051】

また、組織検体画像の生成システム１００は、スライドに対応する（１－Ｖ）空間に対する画像二値化を行うことで、第２の二値化結果を生成することができる。このとき、スライドに対応するＶ空間は、スライドに対応するＨＳＶモデルの明度値（Ｖａｌｕｅ）からなる空間（すなわち、ｗ×ｈの大きさを有しており、Ｖチャネルの値（明度値）からなるマトリックス（ｗは画像の幅、ｈは画像の高さ））であり、（１－Ｖ）空間は、ｗ×ｈの大きさを有し、１で満たされたマトリックスからＶチャネルの値を引いた空間であってもよい。

【0052】

その後、組織検体画像の生成システム１００は、第１の二値化結果及び第２の二値化結果に基づいて、組織検体画像に対応するバイナリマスク画像を生成することができる。第１の二値化結果及び第２の二値化結果は、組織検体画像の各画素に対応するバイナリ値（例えば、０又は１、或いは０又は２５５）を含むことができ、組織検体画像の生成システム１００は、組織検体画像の各画素に対して、画素に対応する第１の二値化結果のバイナリ値又は画素に対応する第１の二値化結果のバイナリ値が１（又は２５５）の場合、画素に対応するバイナリマスク画像の上の画素を組織画素（組織に該当する画素）と判断し、そうでない場合（すなわち、バイナリ値が０の場合）は、画素に対応するバイナリマスク画像の上の画素を非組織画素（組織に該当しない画素）と判断することで、組織検体画像に対応するバイナリマスク画像を生成することができる。要約すると、組織検体画像の生成システム１００は、Ｓ空間に対する画像二値化結果と、（１－Ｖ）空間に対する画像二値化結果との論理和演算によってバイナリマスク画像を生成することができる。

【0053】

一方、組織検体画像の生成システム１００は、バイナリマスクに基づいて複数の輪郭を抽出することができる（Ｓ１０２）。

【0054】

組織検体画像の生成システム１００は、Ｓｕｚｕｋｉ、Ｓ．とＡｂｅ．Ｋが提案した輪郭抽出方法（Ｔｏｐｏｌｏｇｉｃａｌ Ｓｔｒｕｃｔｕｒａｌ Ａｎａｌｙｓｉｓ ｏｆ Ｄｉｇｉｔｉｚｅｄ Ｂｉｎａｒｙ Ｉｍａｇｅｓ ｂｙ Ｂｏｒｄｅｒ Ｆｏｌｌｏｗｉｎｇ．ＣＶＧＩＰ ３０ １、ｐｐ３２－４６（１９８５））など公知の様々な輪郭抽出方法により、バイナリマスクに基づいて複数の輪郭を抽出することができ、その他にも座標列の集合で構成された輪郭を抽出できるアルゴリズムであれば何でも用いることができる。

【0055】

また、図３を参照すると、組織検体画像の生成システム１００は、抽出された複数の輪郭それぞれの中心点座標を算出することができる。もし、組織検体画像にＭ個の組織がある場合、組織検体画像の生成システム１００は、第１の輪郭の中心点座標～第Ｍの輪郭の中心点座標を算出することができる（Ｓ１１０、Ｓ１１５）。

【0056】

組織検体画像の生成システム１００は、組織検体画像の中心点座標と複数の輪郭それぞれの中心点座標とに基づいて、複数の輪郭のうちで主組織輪郭を決定することができる（Ｓ１２０）。

【0057】

Ｓ１２０ステップのより詳細な例が図５に示されている。図５を参照すると、組織検体画像の生成システム１００は、組織検体画像の中心点と各輪郭（すなわち、第１の輪郭ないし第Ｍの輪郭）の間の距離を算出することができる（Ｓ１２１、Ｓ１２２）。

【0058】

その後、組織検体画像の生成システム１００は、複数の輪郭のうちで該当する輪郭の中心点と組織検体画像の中心点との距離が最も近い輪郭を主組織輪郭として決定することができる（Ｓ１２３）。

【0059】

また、図３を参照すると、組織検体画像の生成システム１００は、複数の輪郭のうちで主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去することができる（Ｓ１３０）。

【0060】

Ｓ１３０ステップの具体的な例が図６に示されている。図６を参照すると、組織検体画像の生成システム１００は、複数の輪郭のうちで組織検体画像のアウトラインに隣接する境界隣接輪郭を決定することができる（Ｓ１３１）。

【0061】

また、組織検体画像の生成システム１００は、境界隣接輪郭のうちで主組織輪郭でないものを除去対象輪郭として決定することができる（Ｓ１３２）。

【0062】

その後、組織検体画像の生成システム１００は、組織検体画像から除去対象輪郭に該当する領域を除去することができる（Ｓ１３１）。

【0063】

一実施形態において、組織検体画像の生成システム１００は、組織検体画像のうちで除去対象輪郭に該当する領域を組織検体画像の背景色に置き換えることで、除去対象輪郭に該当する領域を除去することができ、このとき、複数の輪郭のいずれかにも該当しない領域の平均色を組織検体画像の背景色として決定することができる。

【0064】

図７ｃは、図７ａの組織検体画像から除去対象輪郭に該当する領域（境界隣接輪郭のうちで主組織輪郭でないもの）を除去した後の生成画像を示す。

【0065】

実施形態によっては、図６とは異なり、組織検体画像の生成システム１００は、主組織検体を除く残りの検体を全て除去してもよく、主組織検体に対応する輪郭座標の中心点座標と、残りの検体それぞれに対応する輪郭の中心点座標とを比較して、中心点座標の間の距離が所定の限界値を超過する検体のみを除去してもよい。

【0066】

図８は、本発明の一実施形態による組織検体画像の生成システム１００の概略的な構成を示す図である。

【0067】

組織検体画像の生成システム１００は、本発明の技術的思想を実現するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備える論理的な構成を意味することができ、必ずしも１つの物理的な構成要素又は１つの装置を意味するわけではない。すなわち、組織検体画像の生成システム１００は、本発明の技術的思想を実現するために備えられるハードウェア及び／又はソフトウェアの論理的な結合を意味することができ、必要に応じて互いに離隔した装置に設置され、それぞれの機能を行うことで本発明の技術的思想を実現するための論理的な構成の集合として実現することもできる。また、組織検体画像の生成システム１００は、本発明の技術的思想を実現するためのそれぞれの機能又は役目毎に別に実現される構成の集合を意味することもできる。組織検体画像の生成システム１００の各構成は、互いに異なる物理装置に位置することもでき、同じ物理装置に位置することもできる。また、実施形態によっては、組織検体画像の生成システム１００の各構成要素を構成するソフトウェア及び／又はハードウェアの組み合わせも互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合してそれぞれのモジュールを実現することもできる。

【0068】

また、本明細書においてモジュールとは、本発明の技術的思想を行うためのハードウェア、及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味することができる。例えば、モジュールは、所定のコードと、所定のコードが実行されるためのハードウェアリソースの論理的な単位を意味することができ、必ずしも物理的に接続されたコード又は一種類のハードウェアを意味するわけではないことは、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0069】

図８を参照すると、組織検体画像の生成システム１００は、抽出モジュール１１０、算出モジュール１２０、決定モジュール１３０、及び除去モジュール１４０を含んでもよい。本発明の実施形態によっては、上述の構成要素のうちで一部の構成要素は必ずしも本発明の実現に必須な構成要素に該当しないこともあり、また、実施形態によって、組織検体画像の生成システム１００は、これより多くの構成要素を含むこともできることは言うまでもない。例えば、組織検体画像の生成システム１００は、外部装置と通信するための通信モジュール（図示せず）、データを保存するための記憶モジュール（図示せず）、組織検体画像の生成システム１００の構成要素及びリソースを制御するための制御モジュール（図示せず）などをさらに含んでもよい。

【0070】

抽出モジュール１１０は、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出することができる。

【0071】

一実施形態において、抽出モジュール１１０は、組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される組織検体画像に対応するバイナリマスク画像を生成し、バイナリマスクに基づいて複数の輪郭を抽出することができる。

【0072】

算出モジュール１２０は、抽出された複数の輪郭それぞれの中心点座標を算出することができる。

【0073】

決定モジュール１３０は、組織検体画像の中心点座標と複数の輪郭それぞれの中心点座標とに基づいて、複数の輪郭のうちで主組織輪郭を決定することができる。

【0074】

一実施形態において、決定モジュール１３０は、複数の輪郭のうちで該当する輪郭の中心点と組織検体画像の中心点との距離が最も近い輪郭を主組織輪郭として決定することができる。

【0075】

除去モジュール１４０は、複数の輪郭のうちで主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去することができる。

【0076】

一実施形態において、除去モジュール１４０は、複数の輪郭のうちで組織検体画像のアウトラインに隣接する境界隣接輪郭を決定し、組織検体画像から除去対象輪郭に該当する領域を除去することができる。このとき、除去対象輪郭は、境界隣接輪郭のうちで主組織輪郭でないものであってもよい。

【0077】

一実施形態において、除去モジュール１４０は、組織検体画像のうちで除去対象輪郭に該当する領域を組織検体画像の背景色に置き換える方式によって、組織検体画像から除去対象輪郭に該当する領域を除去することができる。このとき、組織検体画像の背景色は、組織検体画像のうちで複数の輪郭のいずれかにも該当しない領域の平均色として決定することができる。

【0078】

一方、実施形態によって、組織検体画像の生成システム１００は、プロセッサと、プロセッサによって実行されるプログラムを記憶するメモリと、を含んでもよい。この場合、組織検体画像の生成システム１００は、図９に示すような構成を有することができる。図９は、本発明の実施形態による組織検体画像の生成システム１００の概略的な構成を説明するための図である。

【0079】

組織検体画像の生成システム１００は、本発明の技術的思想を実現するためのプログラムが格納されるメモリ１０２と、メモリ１０２に記憶されたプログラムを行うためのプロセッサ１０１と、を備えることができる。

【0080】

プロセッサ１０１は、組織検体画像の生成システム１００の実施形態によって、ＣＰＵ、ＡＰＵ、モバイルプロセッサなど様々な名称で命名することができることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。プロセッサは、シングルコアＣＰＵ又はマルチコアＣＰＵを含んでもよい。また、組織検体画像の生成システム１００は、複数の物理装置が有機的に結合して実現することもでき、このような場合、プロセッサ１０１は、物理装置毎に少なくとも１つ備えられて本発明の組織検体画像の生成システム１００を実現できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。

【0081】

メモリ１０２は、プログラムが格納され、プログラムを駆動させるためにプロセッサがアクセス可能ないかなる形態の記憶装置で実現されてもよい。メモリ１０２は、高速ランダムアクセスメモリを含むことができ、１つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又はその他不揮発性固体メモリ装置のような不揮発性メモリを含むこともできる。プロセッサ及びその他構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。また、ハードウェアにおける実施形態によって、メモリ１０２は、１つの記憶装置でなく複数の記憶装置で実現することもできる。またメモリ１０２は、主記憶装置だけでなく、一時記憶装置を含むこともできる。また、揮発性メモリ又は不揮発性メモリで実現することもでき、プログラムが格納されてプロセッサによって駆動できるように実現される全ての形態の情報記憶手段を含む意味として定義することができる。

【0082】

プログラムは、プロセッサ１０１によって実行される場合、組織検体画像の生成システム１００に上述の組織検体画像の生成方法を実行させることができる。

【0083】

一方、本発明の実施形態による方法は、コンピュータで読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に格納でき、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に格納することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータが記憶されるあらゆる種類の記録装置を含む。

【0084】

記録媒体に記録されるプログラム命令は、本発明のために特に設計及び構成されたものなどであってもよく、ソフトウェア分野における当業者に公知として使用可能なものであってもよい。

【0085】

コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、プロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、光学ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記憶および実行するように特に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードを記憶及び実行することができる。

【0086】

プログラム命令の例としては、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行することができる高級言語コードも含まれる。

【0087】

上述のハードウェア装置は、本発明の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。

【0088】

上述した本発明の説明は例示のためのものであり、本発明が属する技術分野における通常の知識を有する者であれば本発明の技術的思想や必須な特徴を変更することなく、他の具体的な形態に容易に変形が可能であることを理解することができるであろう。従って、上記で説明した実施形態は全ての点で例示的なものであり、限定的なものではないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することができ、同様に分散されたと記載されている構成要素も組み合わせた形で実施することができる。

【0089】

本発明の範囲は、上述の詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲そしてその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

【産業上の利用可能性】

【0090】

本発明は、組織検体画像の生成方法、及びこれを行うコンピューティングシステムに用いることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図7c】

【図8】

【図9】