(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022152980
(43)【公開日】2022-10-12
(54)【発明の名称】医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221004BHJP
A61B 90/20 20160101ALI20221004BHJP
【FI】
G06T7/00 612
A61B90/20
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2021055964
(22)【出願日】2021-03-29
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(72)【発明者】
【氏名】榎 潤一郎
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA06
5L096BA13
5L096CA02
5L096DA01
5L096FA02
5L096FA18
5L096FA59
5L096FA76
5L096JA11
(57)【要約】
【課題】組織の検出対象となる領域の境界に存在する組織の情報の検出を高精度に行う。
【解決手段】本開示の医療用画像解析装置は、生体由来組織を撮像した処理対象画像に、第1の領域と、前記第1の領域と一部が重複する第2の領域とを設定する領域設定部と、前記第1の領域に含まれる組織の領域である第1組織領域と、前記第2の領域に含まれる組織の領域である第2組織領域とを特定する特定部とを備え、前記特定部は、前記第1組織領域と、前記第1組織領域に少なくとも一部が重なる前記第2組織領域とに対して処理を行い、第3組織領域を設定する重複処理部を備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
生体由来組織を撮像した処理対象画像に、第1の領域と、前記第1の領域と一部が重複する第2の領域とを設定する領域設定部と、
前記第1の領域に含まれる組織の領域である第1組織領域と、前記第2の領域に含まれる組織の領域である第2組織領域とを特定する特定部と、
を備え、
前記特定部は、
前記第1組織領域と、前記第1組織領域に少なくとも一部が重なる前記第2組織領域とに対して処理を行い、第3組織領域を設定する重複処理部と
を備えた医療用画像解析装置。
【請求項2】
前記重複処理部は、少なくとも部分的に重複する前記第1組織領域及び前記第2組織領域のうちの1つを選択し、選択した組織領域を前記第3組織領域とする
請求項1に記載の医療用画像解析装置。
【請求項3】
前記重複処理部は、前記第1組織領域及び前記第2組織領域の大きさに基づき、前記第1組織領域及び前記第2組織領域のうちの1つを選択する
請求項2に記載の医療用画像解析装置。
【請求項4】
前記重複処理部は、少なくとも部分的に重複する前記第1組織領域及び前記第2組織領域を統合して前記第3組織領域とする
請求項1に記載の医療用画像解析装置。
【請求項5】
前記重複処理部は、少なくとも部分的に重複する前記第1組織領域及び前記第2組織領域を複数に分割し、分割した組織領域を前記第3組織領域とする
請求項1に記載の医療用画像解析装置。
【請求項6】
前記重複処理部は、前記第1組織領域、前記第2組織領域及び前記第3組織領域を示す検出結果画像を生成する
請求項1に記載の医療用画像解析装置。
【請求項7】
前記重複処理部は、
前記第1組織領域に外接する第1外接形状を算出し、前記第2組織領域に外接する第2外接形状を算出し、
前記第1外接形状と前記第2外接形状が少なくとも部分的に重複するかを判定し、
前記第1外接形状と前記第2外接形状が少なくとも部分的に重複しない場合に、前記第1外接形状に含まれる前記第1組織領域と、前記第2外接形状に含まれる前記第1組織領域とが重複しないことを決定する
請求項1に記載の医療用画像解析装置。
【請求項8】
前記重複処理部は、前記第1外接形状と前記第2外接形状が少なくとも部分的に重複する場合に、前記第1外接形状に含まれる前記第1組織領域と、前記第2外接形状に含まれる前記第1組織領域が少なくとも部分的に重複するかを判定する
請求項7に記載の医療用画像解析装置。
【請求項9】
前記第1外接形状及び前記第2外接形状は矩形である
請求項7に記載の医療用画像解析装置。
【請求項10】
前記処理対象画像は、複数の単位領域に分割されており、
前記処理対象画像は前記複数の単位領域に対応する複数の単位画像を含み、
前記領域設定部は、前記単位領域の単位で、前記第1の領域及び前記第2の領域を設定する
請求項1に記載の医療用画像解析装置。
【請求項11】
前記重複処理部は、前記第1組織領域の情報を前記第1組織領域が含まれる前記単位画像に関連付けた第1データ、及び前記第2組織領域の情報を前記第2組織領域が含まれる前記単位画像に関連付けた第2データ、前記第3組織領域の情報を前記第3組織領域が含まれる前記単位画像に関連付けた第3データを生成する
を備えた請求項10に記載の医療用画像解析装置。
【請求項12】
前記特定は、前記第1の領域に含まれる単位画像ごとの圧縮パラメタに応じて前記第1組織領域を特定する処理を行い、前記第2の領域に含まれる単位画像ごとの圧縮パラメタに応じて前記第2組織領域を特定する処理を行う
請求項10に記載の医療用画像解析装置。
【請求項13】
前記第1の領域又は前記第2の領域と同じサイズの撮像サイズで前記生体由来組織に第1の撮像領域を設定し、前記第1の撮像領域を撮像し、前記第1の撮像領域と一部重複させて次の第2の撮像領域を設定し、前記第2の撮像領域を撮像する撮像部を備え、
前記第1の領域の画像は、前記第1の撮像領域から撮像された画像であり、
前記第2の領域の画像は、前記第2の撮像領域から撮像された画像である
請求項1に記載の医療用画像解析装置。
【請求項14】
前記検出結果画像を表示する表示部
を備えた請求項6に記載の医療用画像解析装置。
【請求項15】
前記生体由来組織を含む画像を表示する表示部と、
前記表示部に表示された前記画像における領域を指定する指示情報を受け、前記指示情報によって指定された前記領域に含まれる画像を前記処理対象画像とする処理対象領域設定部と
を備えた請求項1に記載の医療用画像解析装置。
【請求項16】
生体由来組織を撮像した処理対象画像に、第1の領域と、前記第1の領域と一部が重複する第2の領域とを設定し、
前記第1の領域に含まれる組織の領域である第1組織領域と、前記第2の領域に含まれる組織の領域である第2組織領域とを特定し
前記第1組織領域と、前記第1組織領域に少なくとも一部が重なる前記第2組織領域とに対して処理を行い、第3組織領域を設定する
医療用画像解析方法。
【請求項17】
生体由来組織を撮像し、処理対象画像を取得する撮像部と、
情報処理部と、を備え、
前記情報処理部は、
前記処理対象画像に、第1の領域と、前記第1の領域と一部が重複する第2の領域とを設定し、
前記第1の領域に含まれる組織の領域である第1組織領域と、前記第2の領域に含まれる組織の領域である第2組織領域とを特定し、
前記第1組織領域と、前記第2組織領域に少なくとも一部が重なる前記第2組織領域とに対して処理を行い、第3組織領域を設定する
医療用画像解析システム。
【請求項18】
前記情報処理部は、プログラムを実行することにより、前記第1の領域及び前記第2の領域の設定、前記第1組織領域及び前記第2組織領域を特定する処理、前記第3組織領域を設定する処理を行う
請求項17に記載の医療用画像解析システム。
【請求項19】
前記プログラムを格納する記憶部を備え、
前記情報処理部は、前記記憶部から前記プログラムを読み出して実行する
請求項18に記載の医療用画像解析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用画像解析装置、医療用画像解析方法及び医療用画像解析システムに関する。
【背景技術】
【0002】
細胞等の生体成分を含む試料を撮像した画像(病理画像又は病理スライド)から情報を抽出し、抽出した情報をバイオマーカとして利用する研究が進んでいる。抽出する情報としては、細胞の種類の数、細胞の種類ごとの細胞の密度、細胞の種類ごとの細胞の位置関係などがある。腫瘍細胞を見分けるために異形性を用いたりするため、細胞の形状情報などを正確に抽出する必要がある。細胞の形状情報の例としては、NC比(nuclear-cytoplasmic ratio)などが挙げられる。そこで、病理画像をデジタル化したデジタル病理画像(WSI(Whole Slide Image)と呼ばれることもある)から、すべての細胞の形状を抽出する病理画像解析が重要となる。
【0003】
下記特許文献1は、デジタル病理画像から細胞核の境界を抽出する方法を開示している。この方法は、デジタル病理画像を分割した複数の小領域ごとに、最適なパラメタ(閾値)を設定することで細胞の形状の検出性能を向上させている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に開示された方法では、小領域の境界に存在する(境界をまたぐ)細胞については検出精度が落ちる問題がある。デジタル病理画像を小領域に分割せずに、デジタル病理画像全体を対象として細胞の形状等を抽出すれば、この問題は生じない。しかしながら、細胞の詳細な形状情報を取得するには、例えば高倍率で撮像した巨大なサイズの画像を処理する必要があり、メモリ消費量が膨大になるとともに演算量が多くなる。
【0006】
本開示は、組織の検出対象となる領域の境界に存在する組織の情報の検出を高精度に行う医療用画像解析装置、医療用画像解析方法及び医療用画像解析システムを提供する。
【課題を解決するための手段】
【0007】
本開示の医療用画像解析装置は、生体由来組織を撮像した処理対象画像に、第1の領域と、前記第1の領域と一部が重複する第2の領域とを設定する領域設定部と、前記第1の領域に含まれる組織の領域である第1組織領域と、前記第2の領域に含まれる組織の領域である第2組織領域とを特定する特定部とを備え、前記特定部は、前記第1組織領域と、前記第1組織領域に少なくとも一部が重なる前記第2組織領域とに対して処理を行い、第3組織領域を設定する重複処理部を備える。
【図面の簡単な説明】
【0008】
【
図1】本開示の医療用画像解析システムの一実施形態として顕微鏡システムの構成の一例を示す図。
【
図3】本開示の実施形態に係る医療用画像解析装置のブロック図。
【
図4】病理画像において処理対象領域が設定された画像の例を示す図。
【
図5】処理対象画像を複数の小領域に分割し、各小領域に対象領域を設定する例を示す図。
【
図7】対象領域の設定と、組織領域の特定処理とを繰り返し行う例を示す図。
【
図8】2つの対象領域が互いに重複する重複領域を示す図。
【
図10】重複する組織の重複を解消して、代表組織を生成する例を示す図。
【
図11】検出結果表示部により表示された検出結果画像の例を示す図。
【
図12】本実施形態に係る医療用画像解析装置の動作の一例のフローチャート。
【発明を実施するための形態】
【0009】
以下に図面を参照しながら、本開示の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能又は同一の構成を有する要素については、同一の符号を付することにより説明を適宜省略する。
【0010】
図1は、本開示の医療用画像解析システムの一実施形態として顕微鏡システム100の構成の一例である。
図1に示される顕微鏡システム100は、顕微鏡装置110、制御部(制御装置)120、及び情報処理部(情報処理装置)130を含む。顕微鏡装置110は、光照射部111、光学部112、及び信号取得部113を備えている。顕微鏡装置110は、さらに、生体由来試料Sが配置される試料載置部114を備えていてよい。なお、顕微鏡装置110の構成は
図1に示されるものに限定されず、例えば、光照射部111は、顕微鏡装置110の外部に存在してもよく、例えば、顕微鏡装置110に含まれない光源が光照射部111として利用されてもよい。また、光照射部111は、光照射部111と光学部112によって試料載置部114が挟まれるように配置されていてよく、例えば、光学部112が存在する側に配置されてもよい。顕微鏡装置110は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの1又は2以上で構成されてよい。
【0011】
顕微鏡システム100は、いわゆるWSI(Whole Slide Imaging)システム又はデジタルパソロジーシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム100は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。
【0012】
例えば、顕微鏡システム100は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断では、手術が行われている間に、顕微鏡装置110が、当該手術の対象者から取得された生体由来試料Sのデータを取得し、そして、当該データを情報処理部130へと送信しうる。当該遠隔病理診断では、顕微鏡装置110は、取得した生体由来試料Sのデータを、顕微鏡装置110とは離れた場所(別の部屋又は建物など)に存在する情報処理部130へと送信しうる。そして、これらの診断において、情報処理部130は、当該データを受信し、出力する。出力されたデータに基づき、情報処理部130のユーザが、病理診断を行いうる。
【0013】
(生体由来試料)
生体由来試料Sは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分(血液や尿等)、培養物、又は生細胞(心筋細胞、神経細胞、及び受精卵など)であってよい。
【0014】
生体由来試料Sは、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。生体由来試料Sは、当該固形物の切片でありうる。生体由来試料Sの具体的な例として、生検試料の切片を挙げることができる。
【0015】
生体由来試料Sは、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質(表面抗原など)を示すための染色であってよく、HE(Hematoxylin-Eosin)染色、免疫組織化学(Immunohistochemistry)染色を挙げることができる。生体由来試料Sは、1又は2以上の試薬により当該処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体でありうる。
【0016】
当該標本は、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、当該標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。当該標本は、使用される組織(例えば臓器または細胞など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)などにより性質が異なる。前記標本は、各標本それぞれ識別可能な識別情報(バーコード情報又はQRコード(商標)情報等)を付されて管理されてよい。
【0017】
(光照射部)
光照射部111は、生体由来試料Sを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲンランプ、レーザ光源、LEDランプ、水銀ランプ、及びキセノンランプのうちの1又は2以上であってよい。蛍光観察における光源の種類及び/又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部は、透過型、反射型又は落射型(同軸落射型若しくは側射型)の構成を有しうる。
【0018】
(光学部)
光学部112は、生体由来試料Sからの光を信号取得部113へと導くように構成される。光学部112は、顕微鏡装置110が生体由来試料Sを観察又は撮像することを可能とするように構成されうる。
【0019】
光学部112は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部112は、対物レンズによって拡大された像を信号取得部113に中継するためのリレーレンズを含んでもよい。光学部112は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。
【0020】
また、光学部112は、生体由来試料Sからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム(ウォラストンプリズム)、及び回折格子のうちの1又は2以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。
【0021】
(信号取得部)
信号取得部113は、生体由来試料Sからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部113は、当該電気信号に基づき、生体由来試料Sに関するデータを取得することができるように構成されてよい。信号取得部113は、生体由来試料Sの像(画像、特には静止画像、タイムラプス画像、又は動画像)のデータを取得することができるように構成されてよく、特に光学部112によって拡大された画像のデータを取得するように構成されうる。信号取得部113は、1次元又は2次元に並んで配列された複数の画素を備えている1つ又は複数の撮像素子、CMOS又はCCDなど、を含む撮像装置を有する。信号取得部113は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、AFなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部(CPU、DSP、及びメモリのうちの1つ、2つ、又は3つを含む)、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。更には、撮像素子は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型のイベント検出センサを含み得る。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは1チップの半導体装置として構成されうる。
【0022】
(制御部)
制御部120は、顕微鏡装置110よる撮像を制御する。制御部120は、撮像制御のために、光学部112及び/又は試料載置部114の移動を駆動して、光学部112と試料載置部との間の位置関係を調節しうる。制御部120は、光学部及び/又は試料載置部を、互いに近づく又は離れる方向(例えば対物レンズの光軸方向)に移動させうる。また、制御部は、光学部及び/又は試料載置部を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部は、撮像制御のために、光照射部111及び/又は信号取得部113を制御してもよい。
【0023】
(試料載置部)
試料載置部114は、生体由来試料Sの試料載置部上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部114は、生体由来試料Sの位置を、対物レンズの光軸方向及び/又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。
【0024】
(情報処理部)
情報処理部130は、顕微鏡装置110が取得したデータ(撮像データなど)を、顕微鏡装置110から取得しうる。情報処理部130は、撮像データに対する画像処理を実行しうる。当該画像処理は、色分離処理を含んでよい。当該色分離処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。
【0025】
情報処理部130は、制御部120に撮像制御のためのデータを送信してよく、当該データを受信した制御部120が、当該データに従い顕微鏡装置110による撮像を制御してもよい。
【0026】
情報処理部130は、汎用のコンピュータなどの情報処理装置として構成されてよく、CPU、RAM、及びROMを備えていてよい。情報処理部130は、顕微鏡装置110の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。
【0027】
顕微鏡装置110による生体由来試料Sの撮像の方式は、生体由来試料Sの種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を以下に説明する。
【0028】
撮像方式の一つの例は以下の通りである。顕微鏡装置110は、まず、撮像対象領域(処理対象領域)を特定しうる。当該撮像対象領域は、生体由来試料Sが存在する領域全体をカバーするように特定されてよく、又は、生体由来試料Sのうちの目的部分(目的組織切片、目的細胞、又は目的病変部が存在する部分)をカバーするように特定されてもよい。次に、顕微鏡装置110は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置110は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。
【0029】
図2(A)は、撮像方式の一つの例の説明図である。
図2(A)に示されるように、顕微鏡装置110は、生体由来試料S全体をカバーする撮像対象領域Rを特定する。そして、顕微鏡装置110は、撮像対象領域Rを16の分割領域へと分割する。そして、顕微鏡装置110は分割領域R1の撮像を行い、そして次に、その分割領域R1に隣接する領域など、撮像対象領域Rに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域R以外の領域についても、分割領域の撮像画像情報に基づき、撮像してもよい。
【0030】
或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置110と試料載置部との位置関係が調整される。当該調整は、顕微鏡装置110の移動、試料載置部114の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、2次元撮像素子(エリアセンサ)又は1次元撮像素子(ラインセンサ)であってよい。信号取得部113は、光学部を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置110及び/又は試料載置部114を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置110及び/又は試料載置部114の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び/又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
【0031】
また、情報処理部130は、隣り合う複数の分割領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
【0032】
撮像方式の他の例は以下の通りである。顕微鏡装置110は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料Sが存在する領域全体をカバーするように特定されてよく、又は、生体由来試料Sのうちの目的部分(目的組織切片又は目的細胞が存在する部分)をカバーするように特定されてもよい。次に、顕微鏡装置110は、撮像対象領域の一部の領域(「分割領域」又は「分割スキャン領域」ともいう)を、光軸と垂直な面内における一つの方向(「スキャン方向」ともいう)へスキャンして撮像する。当該分割領域のスキャンが完了したら、次に、前記分割領域の隣の分割領域を、スキャンする。これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返される。
【0033】
図2(B)は、撮像方式の他の例の説明図である。
図2(B)に示されるように、顕微鏡装置110は、生体由来試料Sのうち、組織切片が存在する領域(グレーの部分)を撮像対象領域Saとして特定する。そして、顕微鏡装置110は、撮像対象領域Saのうち、分割領域Rsを、Y軸方向へスキャンする。顕微鏡装置は、分割領域Rsのスキャンが完了したら、次に、X軸方向における隣の分割領域をスキャンする。撮像対象領域Saの全てについてスキャンが完了するまで、この動作が繰り返しされる。
【0034】
各分割領域のスキャンのために、及び、或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置110と試料載置部114との位置関係が調整される。当該調整は、顕微鏡装置110の移動、試料載置部の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、1次元撮像素子(ラインセンサ)又は2次元撮像素子(エリアセンサ)であってよい。信号取得部113は、拡大光学系を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置110及び/又は試料載置部114を移動させながら連続的に行われてよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び/又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
【0035】
また、情報処理部130は、隣り合う複数の分割領域を合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
【0036】
図3は、本開示の実施形態に係る医療用画像解析装置10のブロック図である。医療用画像解析装置10は、
図1の情報処理部130の一態様であり、顕微鏡装置110及び制御部120と接続可能である。医療用画像解析装置10は、医療用画像解析装置10の動作をコンピュータ(例えばCPU(Central Processing Unit)等のプロセッサを含む)により実現してもよい。この場合、プログラムを記憶する記憶部からプログラムを読み出してCPU又は情報処理部130が実行することにより、本実施形態の動作が実現される。記憶部はRAM、ROM等のメモリでも、磁気記録媒体、光学記録媒体でもよい。
【0037】
医療用画像解析システム1は、医療用画像解析装置10と、画像データベース(DB)20と、操作装置30と、検出結果データベース(DB)40とを備えている。医療用画像解析装置10は、処理対象領域設定部200と、領域設定部300と、組織検出部400と、重複処理部500と、出力部600とを備えている。出力部600は、病理画像表示部610と検出結果表示部620とを備えている。出力部600は画像又はテキストを表示する表示部の一例である。本実施形態に係る特定部は、組織検出部400と、重複処理部500とを含む。
【0038】
医療用画像解析装置10は、医療用画像解析装置10のユーザが利用する解析アプリケーション(以下、本アプリケーションと呼ぶ場合がある)を実行する。医療用画像解析装置10のユーザは、病理医等の医師であるが、ユーザは医師に限定されず、例えば、医師に従事する者でもよい。
【0039】
出力部600は本アプリケーションにより読み込まれるデータ及び本アプリケーションにより生成されるデータをディスプレイ(例えば液晶表示装置、有機EL表示装置等)に表示させる。データは画像データ及びテキストデータなどを含む。本実施形態では、ディスプレイが出力部600に含まれているとするが、ディスプレイが医療用画像解析装置10に外部から有線又は無線で接続されていてもよい。この場合、出力部600は有線又は無線の通信を行う機能を備え、出力部600が、表示用のデータをディスプレイに送信すればよい。
【0040】
医療用画像解析装置10は、画像データベース20(画像DB20)及び検出結果データベース40(検索結果DB40)と、有線又は無線で接続されている。医療用画像解析装置10は、画像DB20と、検出結果DB40から情報を読み出す又は取得できる。また医療用画像解析装置10は、画像DB20と、検出結果DB40とに対して情報を書き込む又は送信することができる。画像DB20と検出結果DB40が一体的に構成されていてもよい。
【0041】
医療用画像解析装置10は、画像DB20と検出結果DB40に、インターネット又はイントラネット等の通信ネットワークを介して接続されていてもよいし、USBケーブル等のケーブルを介して接続されていてもよい。あるいは画像DB20と検索結果DB40が、医療用画像解析装置10の内部に医療用画像解析装置10の一部として含まれていてもよい。
【0042】
医療用画像解析装置10は、操作装置30に有線又は無線で接続されている。操作装置30は医療用画像解析装置10のユーザにより操作される。ユーザは操作装置30を用いて医療用画像解析装置10に各種指示を入力情報として入力する。操作装置30は、キーボード、マウス、タッチパネル、音声入力装置、ジェスチャ入力装置など任意の装置でよい。
【0043】
画像DB20は、1以上の被検体の病理画像を格納する。病理画像は、例えばWSIファイルとして保存されている。病理画像は、被検体から採取した試料(生体由来試料S)を撮像した画像である。画像DB20には、病理画像の他、被検体の臨床情報等、被検体の症例に関する情報が格納されていてもよい。画像DB20は、例えばメモリ装置、ハードディスク、光記録媒体又は磁気記録媒体などにより構成される。病理画像は前述した信号取得部113によって生体由来試料Sを撮像することによって取得される。
【0044】
生体由来試料Sの撮像の方式は
図2(A)又は
図2(B)で説明した方式など任意の方式でよい。すなわち、生体由来試料Sに対する撮像対象領域を複数の領域(単位領域又は分割領域)へと分割し、未撮像の単位領域がなくなるまで、顕微鏡装置110と試料載置部114との位置関係を調整しながら、単位領域を順次撮像する場合を想定する。画像DB20には、単位領域ごとの画像(単位画像)が格納されており、複数の単位画像の集合が病理画像(全体画像)に相当する。単位画像は任意の圧縮方式で圧縮されていてもよい。単位画像によって圧縮方式が異なっていてもよい。
【0045】
(病理画像表示部610)
病理画像表示部610は、本アプリケーションを利用するユーザから操作装置30で指定された病理画像の一部又は全部を、本アプリケーションの画面に表示する。病理画像の一部又は全部を表示する画面を、病理画像閲覧画面と称する。医療用画像解析装置10は、ユーザによって指定された病理画像を診断DB40から読み出し、本アプリケーションのウィンドウ内の病理画像閲覧画面に表示する。例えばWSIファイルを読み出し、デコードすることによって病理画像を展開し、病理画像閲覧画面に病理画像を表示する。ユーザは病理画像を閲覧しながら、病理画像の倍率を変更することが可能であってもよい。この場合、ユーザが指定した倍率の画像を診断DB40から読み出して、表示しなおせばよい。
【0046】
(処理対象領域設定部200)
処理対象領域設定部200は、病理画像閲覧画面に表示された病理画像に対して処理を行う対象となる領域(処理対象領域)を設定する。処理対象領域設定部200は、ユーザの指示情報に基づき、処理対象領域を設定してもよい。例えばユーザがマウス操作等により矩形等で囲んだ領域を処理対象領域としてもよい。あるいは、病理画像閲覧画面内の所定範囲(例えば表示領域の中心から一定範囲あるいは表示領域全体)を処理対象領域としてもよい。例えば、病理画像が表示されてから一定時間ユーザの操作がない場合は、当該所定範囲を処理対象領域として自動的に確定してもよい。画像DB20から読み出した病理画像の全体を処理対象領域としてもよい。
【0047】
図4は、病理画像において処理対象領域が設定された画像(処理対象画像と呼ぶ)の例を示す。処理対象画像1001は画像DB20から読み出した病理画像の一部又は全部である。処理対象画像1001には様々な種類の多数の組織(細胞等の微小組織)が含まれている。
【0048】
領域設定部300は、処理対象画像1001に組織の検出処理を行う対象となる領域(対象領域)を設定する。処理対象画像は通常、データサイズが大きく、処理対象画像のすべてを一度に処理することは大きなメモリ容量を必要とし現実的でない。このため、処理対象画像を複数の領域(小領域と呼ぶ)領域に分けて、小領域ごとに組織の検出処理を行う。
【0049】
領域設定部300は、各小領域を順番に選択し、選択した小領域に対して対象領域を設定する。対象領域は小領域の全体を含み、かつ小領域の周囲に一定の幅の領域(マージン領域と呼ぶ)をもつ領域である。したがって、マージン領域は、選択した小領域の隣の小領域の一部を含む。マージン領域の幅は、少なくとも検出対象となる組織のサイズの1倍以上のサイズを有する。これにより小領域の境界に位置する組織の情報(例えば組織の領域又は形状等)も精度よく検出することが可能となる。
【0050】
図5は、処理対象画像1001を複数の小領域1002に分割し、複数の小領域のうちの先頭(一番左上の小領域)に対象領域TAを設定した例を示す。対象領域TAは先頭の小領域1002を包含し、小領域1002の周囲を囲むマージン領域を含む。このマージン領域は、先頭の小領域1002の右、左、右斜目下の3つの隣接する小領域の一部を含んでいる。
【0051】
図6は、マージン領域を詳細に示す図である。小領域1002を対象領域TAが覆っている。対象領域TAのうち小領域1002の外側の領域がマージン領域MAである。
【0052】
組織検出部400は、対象領域TAに含まれる画像に対して組織の検出処理を行う。対象領域TAの画像は、対象領域TAが設定された小領域1002の画像と、対象領域TAのマージン領域MAに含まれる周囲の小領域1002の画像部分とを含む。組織の検出処理は、画像を入力とし、画像に含まれる組織の領域等の情報を出力とする、学習済みのニューラルネットワーク等のモデルを用いて行うことができる。具体的には、U-NET構造などを用いた手法がある。あるいは、古典的なWaterShed法や、領域成長法などを用いた手法であってもよい。あるいは、一般的な画像セグメンテーション技術を用いた手法でもよい。
【0053】
組織検出部400は、マージン領域MAのみに存在する組織(小領域1002同士の境界にまたがらない組織)については、この時点で組織を削除してもよい。この組織は隣接する小領域から検出されるため、現時点で削除しておくことで、後述する重複処理部500の処理を低減できる。
【0054】
組織検出部400は、検出した組織に関する情報を対象領域TAの情報に関連付けて一時的にメモリ等の記憶部に保存する。対象領域TAの情報は、例えば、対象領域TAの位置情報でもよいし、対象領域TAが設定された小領域の位置情報又は識別情報でもよい。検出した組織に関する情報は、検出された組織の領域、位置、形状、種類等の情報を含む。
【0055】
組織検出部400は領域設定部300により各小領域に対象領域TAが設定されるごとに、組織の検出処理を行う。このようにして、領域設定部300による対象領域TAの設定と、組織検出部400による組織の検出処理とを繰り返し行う。
【0056】
図7は、領域設定部300による対象領域TAの設定と、組織検出部400による組織の検出処理とを繰り返し行う例を示す。対象領域TAの設定の順序に関する一例を説明する。処理対象画像1001の一番左上の小領域1002に対して対象領域TAを最初に設定した後、次に、1つ右側の小領域1002を選択し、対象領域TAを設定する。1行目の一番右の小領域1002に対象領域TAが設定されたら、2行目に移動して先頭の小領域1002に対して対象領域TAを設定する。その後、右方向に順番に小領域1002を選択し、対象領域TAを設定する。以降同様にして、最後に一番右下の小領域1002に対象領域TAが設定されるまで処理を繰り返す。
【0057】
領域設定部300により設定される対象領域TAは、隣接する小領域で設定される対象領域TAとの間で一部が重複する。つまりある小領域(小領域JA1とする)に設定された対象領域TA(TA1とする)のうちマージン領域MA(MA1とする)は、小領域JAと隣接する小領域(小領域JA2)との境界からマージン領域MAの幅だけ小領域JA2の一部を含む。同様に、隣接する小領域JA2に設定された対象領域TA2のマージン領域MA(MA2とする)は、小領域JA2と小領域JA1との境界からマージン領域MA2の幅だけ小領域JA1の一部を含む。したがって、対象領域TA1に対する組織の検出処理と、対象領域TA2に対する組織の検出処理において、対象領域TA1、TA2が重複する領域において、組織が重複して検出され得る。すなわち検出される組織同士の領域が重複し得る。
【0058】
図8は、小領域JA1に対して設定された対象領域TA1と、小領域JA2に対して設定された対象領域TA2とが重複する領域を示す図である。重複する領域D1では検出処理が対象領域TA1と対象領域TA2とで重複して行われるため、組織も重複して検出され得る。なお検出アルゴリズムの特性又は精度等に依存して同じ組織に対して対象領域TA1から検出される組織の領域と、対象領域TA2から検出される組織の領域とは一致するとは限らない。検出される組織の位置、形、領域等に違いが生じ得る。対象領域TA1のうち画像が含まれない領域(無効領域)については検出処理を行わなくてもよいし、もしくは無効領域については無効を示す所定の画素値を設定して、検出処理を行ってもよい。
一例として対象領域TA1は、第1の領域、対象領域TA2は第1の領域に対応する。対象領域TA1から検出される組織の領域は第1組織領域、対象領域TA2から検出される組織の領域は第2組織領域に対応する。第1組織領域と第2組織領域とが重複する場合に、後述する重複解消を第1組織領域と第2組織領域に対して行うことで第3組織が設定される。
【0059】
図7及び
図8の説明では、小領域JA1と右側に存在する小領域JA2とを例に説明したが、小領域JA1の下及び右下に位置する小領域との間でも同様の処理が行われる。また中心に近い小領域では、上、下、左、右、右斜め上、右斜め下、左斜め上、左斜め下の計8個の小領域に対して同様の処理が行われ得る。
【0060】
重複処理部500は、互いに隣接する小領域に設定された対象領域間で重複して検出される組織の領域を特定する。重複処理部500は、組織の領域の重複を解消又は除去する処理を行い、重複する組織の領域を代表する組織領域を設定する。つまり、互いに少なくとも一部が重複する第1組織領域及び第2組織領域を処理して、第1組織領域及び第2組織領域を代表する第3組織領域(代表組織領域)を設定する。重複する組織領域の個数は2以上である。重複は、1つの組織領域に2以上の組織領域が重複する形態、3つ以上の組織領域が連鎖する形態など、様々な形態も含む。なお重複とは組織領域同士の境界が接する場合は重複しないと定義してもよいし、接する場合も重複すると定義してもよい。
【0061】
図9(A)~
図9(C)は組織領域が重複する例を示す。
図9(A)では2つの組織領域(組織領域1,2)が互いに重複している。
図9(B)では1つの組織領域(組織領域3)に2つの組織領域(組織領域1,2)が重複している。
図9(C)では3つの組織領域(組織領域1,2,3)が連鎖状に重複している。
図9に示した以外の形態の重複も可能である。
【0062】
重複処理部500は、組織領域の重複を解消する処理として、例えばいずれか1つの組織領域を代表組織として選択してもよい。例えば、最も大きい又は最も小さい組織領域を選択し、選択した組織領域を代表組織領域とする。中央のサイズの組織領域を代表組織領域としてもよい。
【0063】
図10(A)は、
図9(A)の重複する組織領域1,2のうち大きな方の組織領域1を選択し、代表組織領域とした例を示す。
【0064】
また重複する組織領域を統合して、統合した領域を代表組織領域とすることがある。統合とは例えば重複する組織領域の論理和をとった領域(統合領域)を、代表組織領域とすることがある。
【0065】
図10(B)は、
図9(A)の重複する組織領域1,2を統合し、統合した組織領域(組織領域1&2)を、代表組織領域としている。
【0066】
また重複する組織領域を複数に分割し、各分割した領域を、それぞれ代表組織領域とすることがある。例えば重複する組織領域を統合し、統合した組織領域を複数に分割してもよい。具体的には、例えば、組織領域同士の重複する面積の比率を統合領域に対して計算し、比率が閾値未満であれば統合領域を分割し、各分割した領域を、それぞれ代表組織領域とする。一方、比率が閾値以上であれば、統合領域を代表領域としてもよい。この方法は、比率が低い場合、組織領域同士は本来重複していないが、組織の検出アルゴリズムの精度に依存して、重なって組織が検出されたとの考えに基づく。
【0067】
図10(C)は、
図9(A)の重複する組織領域1,2を統合し(
図10(B)参照)、統合した組織領域を、2つに分割した例を示す。各分割した領域D1、D2をそれぞれ代表組織としている。
【0068】
重複処理部500は、すべての互いに重複する(隣接する)対象領域間で組織領域の重複を解消する処理を行ったら、各対象領域に対する組織領域の検出結果と、組織領域の重複解消処理の結果(重複する組織領域の代わりとして設定された代表組織領域)とから、検出結果データを生成する。
【0069】
検出結果データは、例えば、各対象領域で特定された組織領域のうち重複しないと判定された組織領域の情報を含み、重複解消処理で生成された代表組織領域の情報を含む。組織領域(代表組織領域を含む)の情報は、組織領域における組織の種類、形状、位置、大きさ、その他の特徴量(組織の密度、組織の種類ごとの組織の位置関係など)を含む。
【0070】
検出結果データは、特定された各組織領域(代表組織領域を含む)を含む画像(検出結果画像)を含んでもよい。つまり、検出結果画像は、各組織領域を配置した画像(後述する
図11参照)である。
【0071】
また、検出結果データは、各小領域から検出された組織の情報(例えば組織の領域情報)を各小領域の画像に関連づけたデータでもよい。あるいは、小領域が複数の単位領域を含む場合は、検出結果データは、各単位領域から検出された組織の情報(例えば組織の領域情報)を単位領域の画像(単位画像)に関連付けたデータでもよい。
一例として、検出結果データは、第1小領域(あるいは第1単位領域)から検出された組織の領域情報を、第1小領域の画像(あるいは第1単位領域の画像)に対応付けた第1データを含んでもよい。また検出結果データは、第2小領域(あるいは第2単位領域)から検出された組織の領域情報を、第2小領域の画像(あるいは第2単位領域の画像)に対応付けた第2データを含んでもよい。また、検出結果データは、代表組織領域における組織の情報を第1小領域の画像(あるいは第1単位領域の画像)及び第2小領域の画像(あるいは第1単位領域に隣接する第2単位領域の画像)の少なくとも一方に対応付けた第3データを含んでもよい。代表組織領域における組織の情報を、生成元となる組織の情報から決定してもよい。例えば代表組織領域における組織の種別として、生成元となる組織のうちの1つの種別を用いてもよい。例えば生成元となる組織のうち最も多い種別を代表組織領域における組織の種別としてもよい。
【0072】
代表組織領域等の領域が2つの小領域(あるいは単位領域。以下、本段落において同様)にまたがる場合、当該領域の組織は2つの小領域にそれぞれ関連付けられ得る。例えば組織の領域情報を2つに分割して2つの小領域に対してそれぞれ関連付けられる。小領域の境界にまたがる組織の位置(例えば重心)を小領域に関連付けする場合は、小領域の境界にまたがる組織(代表領域を含む)が、いずれの小領域に属するかを決定し、決定した小領域に組織が含まれると決定してもよい。例えば組織の領域が2つの小領域に属する面積の割合を計算し、大きい方の小領域に組織が属するとしてもよい。あるいは、組織の領域の重心(例えば代表領域に含まれる座標の平均値)を計算し、重心が属する小領域に組織が含まれることを決定してもよい。その他の方法で、組織が属する小領域を決定してもよい。
【0073】
検出結果DB40は、重複処理部500により生成された検出結果データを記憶する。検出結果DB40は、検出結果データを、生体由来試料Sが採取された被検体に関する情報に関連付けてもよい。検出結果DB40は、例えばメモリ装置、ハードディスク、光記録媒体又は磁気記録媒体などにより構成される。
【0074】
検出結果表示部620は、重複処理部500により生成された検出結果データを表示する。
【0075】
図11は、検出結果表示部620により表示された検出結果画像の例を示す。
図11の検出結果画像は、
図4の処理対象領域の画像に対して本実施形態の処理により得られたものである。多数の組織が検出されており、小領域の境界に存在する組織も正しい形状(例えば小領域の境界で1つの組織の領域が非連続になったりすることなく)、検出されることができる。
【0076】
ユーザの指示情報に基づき、検出結果表示部620に表示された検出結果画像に小領域を示す線を重畳して表示してもよい。また組織の種類ごとの統計情報・解析結果を示すデータを表示してもよい。また組織の種類ごとに、異なる線種又は異なる色等で表示を行ってもよい。
図11の例では組織の種類ごとに、異なる色又は異なる輝度で表示を行っている。
【0077】
検出結果画像を処理対象画像(
図4参照)に重ねて表示してもよい。処理対象画像のうちユーザが指定する小領域(または単位領域)にのみ、検出結果画像を重ねて表示してもよい。ユーザが処理対象画像の表示倍率を変更する場合、検出結果画面の倍率も合わせて変更してもよい。この際、上述したように小領域ごと(または単位領域ごと)に組織に関する情報(領域情報等)を関連付けて保存しておくことで、処理対象画像を部分的に表示する場合も、表示された部分に対してのみ、組織の領域情報を読み出せばよい。よって、組織の領域情報を、表示された処理対象画像の部分に重ねて表示する処理を、高速に行うことができる。
【0078】
図12は、本実施形態に係る医療用画像解析装置10の動作の一例のフローチャートである。
【0079】
病理画像表示部610は、ユーザにより選択された病理画像を画像DB20から読み出して、デコードし、アプリケーションの画面(病理画像閲覧画面)に表示する(S101)。処理対象領域設定部200は、病理画像閲覧画面に表示された病理画像に対して処理対象領域を設定する(同S101)。
【0080】
領域設定部300は、処理対象領域を複数の領域(小領域)に分割する(S102)。
【0081】
領域設定部300は、小領域を選択し、選択した小領域に対して、対象領域を設定する(S103)。対象領域は小領域の全体を含み、かつ小領域の周囲に一定の幅の領域(マージン領域)をもつ。マージンは、少なくとも検出対象となる組織の大きさよりも大きい幅を有する。領域設定部300は、設定した対象領域の画像を取得する(同S103)。
【0082】
組織検出部400は、対象領域の画像から組織の検出処理を行い、検出した組織の領域を特定する(S104)。
【0083】
すべての小領域に対して対象領域の設定と、組織の検出処理を行うまで、ステップS103とステップS104を繰り返し行う(S105のNO)。
【0084】
すべての小領域に対して対象領域の設定と、組織の検出処理とを行ったら(S105のYES)、重複処理部500は互いに一部が重なる対象領域の組を選択する(S106)。重複処理部500は、選択した組について重複検出処理を行う(S107)。具体的には、重複処理部500は、対象領域同士が重複する領域において、少なくとも一部が重複する組織領域群を検出する。そして、重複処理部500は、検出した組織領域群の重複を解消する処理(重複解消処理)を行う(同S107)。具体的には、検出した組織領域群を処理して、組織領域群を代表する代表組織領域を設定する。重複解消処理では、例えば、検出した組織領域群において最も大きい又は最も小さい組織領域を代表組織領域とする。あるいは、組織領域群を統合した統合組織を代表組織領域とする。あるいは、統合組織領域を複数に分割し、各分割した組織を代表組織領域とする。
【0085】
重複処理部500は、互いに一部が重なるすべての対象領域の組を選択し、重複検出処理と重複解消処理を行うまで、ステップS106とステップS107を繰り返す(S108のNO)。
【0086】
重複処理部500はすべての組について重複検出処理及び重複解消処理を行ったら、各対象領域の画像から検出した組織の情報(領域情報等)と、重複解消処理で生成した代表組織の情報とに基づいて、検出結果データを生成する(S109)。例えば、各対象領域から特定された組織領域のうち重複しないと判定された組織領域を示し、重複除去処理で設定された代表組織領域を示した(重複すると判定された組織領域の代わりに代表組織領域を配置した)画像を、検出結果画像として生成する。重複処理部500は検出結果データを検出結果DB40に格納する(同S109)。また、重複処理部500は、検出結果データを検出結果表示部620に表示する(同S109)。
【0087】
本フローチャートの処理の説明ではすべての小領域に対して対象領域の設定と組織の検出を行った後で、組織領域の重複検出の処理(S106)を行ったが、対象領域からの組織の検出と、組織領域の重複検出及び重複解消の処理とを同時並行的に行ってもよい。例えばある小領域に隣接する小領域について対象領域の設定および組織の検出を行った時点で組織領域の重複検出を行い、同時に並行して、さらに次の小領域に対する処理(対象領域の設定、組織の検出処理)を行ってもよい。対象領域の設定、組織の検出処理を機械学習などでGPU(Graphical Processing Unit)を用いて行い、重複検出及び重複解消の処理をCPU(Central Processing Unit)で行うような場合に、リソースの有効利用が可能となる。
【0088】
以上、本実施形態によれば、処理対象領域を組織の検出対象単位となる複数の小領域に分割し、各小領域に対して、小領域の周囲を囲むマージン領域を含む対象領域を設定し、対象領域ごとに組織の検出処理を行う。これにより小領域の境界に位置する組織の領域も高精度に特定することができる。対象領域間で重複する領域では組織領域が重複して検出される可能性があるが、重複を解消する処理を行うことで(例えば、重複する組織領域群を代表する組織領域を、この組織領域群の代わりに配置することで)、組織領域が重複して検出される問題も解消できる。
【0089】
(変形例1)
本変形例1では、重複処理部500が組織領域間の重複の有無を判定する処理を簡単に行う手法を示す。これにより重複判定の処理の演算量を低減し、処理を高速化することができる。以下具体例を用いて説明する。
【0090】
図13(A)は、重複処理部500において2つの対象領域間で重複する領域から検出された組織の領域(組織領域)1~7を示す。
【0091】
重複処理部500は、組織領域1~7のそれぞれの外接形状を算出する。外接形状は、矩形、円など、様々な形状が可能である。ここでは外接矩形の例を示すが、矩形に限定されるものではない。
【0092】
図13(B)は、組織領域1~7の外接形状として算出した外接矩形を破線で示す。
【0093】
重複処理部500は、組織領域1~7間で外接矩形が重複するか否かを判定する(簡易あたり判定)。簡易あたり判定は、外接矩形同士が同じ座標を含むかを判定することで行うことができる。演算の対象が矩形であるため、少ない演算量で済み、高速に判定できる。
【0094】
図14の上段の一番左は、簡易あたり判定の結果を示す表である。外接矩形同士が重複する組織領域間には三角のマークが格納されている。組織領域1の外接矩形は、組織領域2,4,7の外接矩形と一部重なる。組織領域2の外接矩形は、組織領域5の外接矩形と一部重なる。組織領域3の外接矩形は、組織領域4,7の外接矩形と一部重なる。組織領域5の外接矩形は、組織領域6の外接矩形と一部重なる。
【0095】
この例では組織領域1~7の順で順番に処理し、同じ組織領域の組は重複して検出しない。例えば組織領域2は組織領域1の処理ですでに検出されているため、組織領域2の処理では組織領域1を検出しない。すなわち表の左下側を無効化している。これにより双方向の演算を省略し、演算量を節約することができる。
【0096】
重複処理部500は、簡易あたり判定で重複すると決定された組織群について組織の輪郭(境界)での当たり判定を行う(輪郭での当たり判定)。つまり、組織群に属する組織が同じ座標を含むか否かに基づき、組織同士が重複するかを判定する。
【0097】
図14の上段の左から2番目は、輪郭での当たり判定の結果を示す。互いに重複する組織間には丸のマークが格納されている。組織領域1は組織領域4と一部重なるが、組織2領域と組織領域7とは重ならない。組織領域2は組織領域5と一部重なる。組織領域3は、組織領域4,7のいずれとも重ならない。組織領域5は組織領域6と一部重なる。
【0098】
図14の上段の左から3番目は、輪郭での当たり判定の結果表の左下側を有効化したもの(双方向情報)である。
【0099】
重複処理部500は、
図14の双方向情報から互いに重複する組織領域群を特定する。この例では4つの組織領域群が特定される。すなわち、組織領域1,4の群、組織領域2,5,6の群、組織領域3のみを含む群、組織領域7のみを含む群が特定される。一例として、
図14の下段の左側に示すように、組織領域1,4の連結リスト、組織領域2,5,6の連結リスト、組織領域3のみを含む連結リスト、組織領域7のみを含む連結リストを生成してもよい。
【0100】
重複処理部500は各群(あるいは各連結リスト)から、上述した実施形態で説明した手法により、代表組織領域を設定する。
【0101】
本例では、
図14の下段の右側に示すように、各群において最も大きいサイズの組織領域を代表組織領域とする。組織領域1,4の群では組織領域1が最も大きいため組織領域1が代表組織領域となる。組織領域2,5,6の群では組織領域6が最も大きいため組織領域6が代表組織領域となる。組織領域3のみを含む群では組織領域3が代表組織領域となり、組織領域7のみを含む群では組織領域7が代表組織となる。重複処理部500は各代表組織領域の情報を保持する。
【0102】
図13(C)は、各群(各連結リスト)から生成された代表組織領域の例を示す。組織領域1,6,3,7が代表組織領域として選択されている。
【0103】
以上、変形例1によれば、重複する組織領域群を少ない演算量で検出することができる。例えば組織領域1~7のすべての組について輪郭での当たり判定を行うと演算量が多くなるが、簡易当たり判定で、輪郭での当たり判定を行うべき組を絞り込むことができるため、演算量を低減できる。
【0104】
(変形例2)
対象領域を設定する際、生体由来試料Sを撮像した領域(単位領域)の単位で対象領域の設定を行ってもよい。これにより対象領域の境界が、撮像した単位領域の境界と一致するため(対象領域におけるマージン領域が単位領域により構成されるため)、対象領域の画像を容易に取得することができる。単位領域の単位で画像をデコードすればよいため、少ないメモリ消費量で、対象領域の画像を高速に取得できる。
【0105】
図15は、変形例2の具体例を示す図である。小領域JA1は24個の単位領域UAを含み、小領域JA2も同様に、24個の単位領域UAを含む。図では2つの小領域のみを示しているが、実際には小領域JA1及び小領域JA2のそれぞれの下、小領域JA2の右方向などにも小領域が存在する。
【0106】
単位領域UAは、前述したように、撮像部(信号取得部113)が生体由来試料Sを撮像する際の撮像単位となる領域である。マージン領域MA1の左と右の横幅MW1は、単位領域の横幅UW1と同じサイズである。マージン領域MA1の上と下の縦幅MW2は、単位領域の縦幅UW2と同じサイズである。よって対象領域TA1の画像は、対象領域TA1に含まれる単位領域UAの画像(単位画像)を読み出し、デコードすることで取得できる。
【0107】
もしマージン領域が単位領域の単位で構成されていない場合は、対象領域TA1に含まれるマージン領域の画像を取得するためには小領域JA2において対象領域TA1と重なる部分を特定し、特定した部分の画像を取得する必要がある。小領域JA1の下方向及び右下方向にそれぞれ隣接する小領域(図示せず)についても同様にして対象領域TA1と重なる部分を特定し、特定した部分の画像を取得する必要である。重なる部分を特定する処理のために、メモリ容量が多く必要になり、処理が遅延する。これに対して、本変形例では事前に撮像済みの単位領域の画像(単位画像)を読み出すだけでよいため、対象領域TA1の画像を少ないメモリ容量で高速に取得すことができる。
【0108】
ここで単位領域の画像(単位画像)は、画像の品質値(JpegのQuality値)などの圧縮パラメタが単位領域ごとに異なって圧縮されている場合がある。例えば細胞が多数含まれる画像は高品質の圧縮パラメタで、一方、細胞が少数又は存在しない画像は低品質の圧縮パラメタで圧縮されている場合がある。組織検出において機械学習モデルを用いる場合、品質に応じたモデルを用意し、小領域ごとに使用するモデル(組織の検出方式)を切り替えてもよい。例えば小領域に単数の単位領域のみが存在する場合は、この単位領域の画像(単位画像)の圧縮パラメタに対応するモデルを用いる。小領域に複数の画像が含まれる場合は、同じ圧縮パラメタを使用している単位画像が最も多い圧縮パラメタに対応するモデル、あるいは、最も品質の高い圧縮パラメタに対応するモデルを用いる。これにより検出精度の向上が期待できる。機械学習モデルでなく、古典的手法を用いて組織検出を行う場合は、モデルの切り替えで無く、検出パラメタを切り替えることを行ってもよい。モデルを切り替えること、あるいは、検出パラメタを切り替えることは、組織の検出方式を切り替えることの一例である。
【0109】
(変形例3)
上述した実施形態の説明において、生体由来試料Sの領域を分割して撮像する際、撮像する領域が一部重複してもよいこと(すなわち、分割領域(単位領域)にマージンを追加して撮像を行ってもよいこと)を記載した。本変形例では、対象領域と同じサイズの撮像サイズで、生体由来試料Sに撮像領域を設定し、撮像を行う。この際、対象領域に含まれるマージン領域と同じサイズだけ撮像領域を、次に設定する撮像領域との間で一部重ねながら、撮像を行う。このように生体由来組織に第1の撮像領域を設定し、前記第1の撮像領域を撮像し、第1の撮像領域と一部重複させて次の第2の撮像領域を設定し、第2の撮像領域を撮像する。第1の対象領域の画像として、第1の撮像領域から撮像された画像を用い、第2の対象領域の画像として、第2の撮像領域から撮像された画像を用いる。以降、同様の処理を繰り返す。
このような動作により生体由来試料Sの撮像を完了する前から対象領域の画像を容易に取得することができ、上述した実施形態の処理を撮像開始直後から早期に開始できる。すなわち、生体由来試料Sの撮像を行いながら、組織の検出処理(S104)、重複検出・重複解消処理(S107)を行うことができる。これにより、撮像、画像処理、スライドの位置移動などのレイテンシの隠蔽が容易になり、処理時間の削減につなげることができる。
【0110】
なお、撮像部(信号取得部113)は、マージンを含む撮像領域から撮像した画像から分割領域(単位領域)の画像を抽出し、抽出した画像の集合を、病理画像又は処理対象画像として取得できる。取得した病理画像又は処理対象画像は画像DB20に送られ、画像DB20に格納される。
【0111】
図16は、変形例3の具体例を示す図である。撮像部(信号取得部113)が生体由来試料S(図では生体由来試料Sの一部が示されている)を分割スキャンする。生体由来試料Sを含む領域を分割スキャンのサイズで区切って、分割領域(単位領域)Rs1,Rs2,Rs3,..とする。分割領域Rsごとに、分割領域Rsを囲むマージン領域を追加し、マージン領域を付加された分割領域を撮像領域(マージン付きスキャン領域Tsと呼ぶ)として撮像を行う。具体的には、まず、分割領域Rs1を含むマージン付きスキャン領域Ts1が撮像領域として設定され撮像が行われる。次に、顕微鏡装置110と試料載置部114との位置関係が調整されて、分割領域の幅だけマージン付きスキャン領域が右方向に移動される。移動後の位置において、分割領域Rs2を含むマージン付きスキャン領域Ts2が撮像領域として設定され、撮像が行われる。以下同様にして、スキャンが継続して行われる。
【0112】
マージン付きスキャン領域で撮像された画像は組織検出部400によって送られる。信号取得部113から順次送られるマージン付きスキャン領域の画像をそのまま対象領域の画像として、上述した実施形態の処理を行う。マージン付きスキャン領域の画像のうち分割領域に対応する部分の画像は、小領域の画像に対応する。マージン付きスキャン領域の画像のうち分割領域以外の部分の画像は、対象領域におけるマージン領域の画像に対応する。
【0113】
画像DB20には、マージン付きスキャン領域のうち分割領域(単位領域)の画像を抽出して、格納してよい。抽出した画像の集合により病理画像を取得することができる。このように病理画像の取得と、前述した本実施形態の処理(組織の検出処理、重複検出及び重複解消の処理)とを同時に行うことができる。
【0114】
本変形例3における分割スキャンの方式は、上述した実施形態で示した
図2(A)及び
図2(B)のいずれの方式でもよい。
【0115】
なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0116】
また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
【0117】
なお、本開示は以下のような構成を取ることもできる。
[項目1]
生体由来組織を撮像した処理対象画像に、第1の領域と、前記第1の領域と一部が重複する第2の領域とを設定する領域設定部と、
前記第1の領域に含まれる組織の領域である第1組織領域と、前記第2の領域に含まれる組織の領域である第2組織領域とを特定する特定部と、
を備え、
前記特定部は、
前記第1組織領域と、前記第1組織領域に少なくとも一部が重なる前記第2組織領域とに対して処理を行い、第3組織領域を設定する重複処理部と
を備えた医療用画像解析装置。
[項目2]
前記重複処理部は、少なくとも部分的に重複する前記第1組織領域及び前記第2組織領域のうちの1つを選択し、選択した組織領域を前記第3組織領域とする
項目1に記載の医療用画像解析装置。
[項目3]
前記重複処理部は、前記第1組織領域及び前記第2組織領域の大きさに基づき、前記第1組織領域及び前記第2組織領域のうちの1つを選択する
項目2に記載の医療用画像解析装置。
[項目4]
前記重複処理部は、少なくとも部分的に重複する前記第1組織領域及び前記第2組織領域を統合して前記第3組織領域とする
項目1~3のいずれか一項に記載の医療用画像解析装置。
[項目5]
前記重複処理部は、少なくとも部分的に重複する前記第1組織領域及び前記第2組織領域を複数に分割し、分割した組織領域を前記第3組織領域とする
項目1~4のいずれか一項に記載の医療用画像解析装置。
[項目6]
前記重複処理部は、前記第1組織領域、前記第2組織領域及び前記第3組織領域を示す検出結果画像を生成する
項目1~5のいずれか一項に記載の医療用画像解析装置。
[項目7]
前記重複処理部は、
前記第1組織領域に外接する第1外接形状を算出し、前記第2組織領域に外接する第2外接形状を算出し、
前記第1外接形状と前記第2外接形状が少なくとも部分的に重複するかを判定し、
前記第1外接形状と前記第2外接形状が少なくとも部分的に重複しない場合に、前記第1外接形状に含まれる前記第1組織領域と、前記第2外接形状に含まれる前記第1組織領域とが重複しないことを決定する
項目1~6のいずれか一項に記載の医療用画像解析装置。
[項目8]
前記重複処理部は、前記第1外接形状と前記第2外接形状が少なくとも部分的に重複する場合に、前記第1外接形状に含まれる前記第1組織領域と、前記第2外接形状に含まれる前記第1組織領域が少なくとも部分的に重複するかを判定する
項目7に記載の医療用画像解析装置。
[項目9]
前記第1外接形状及び前記第2外接形状は矩形である
項目7又は8に記載の医療用画像解析装置。
[項目10]
前記処理対象画像は、複数の単位領域に分割されており、
前記処理対象画像は前記複数の単位領域に対応する複数の単位画像を含み、
前記領域設定部は、前記単位領域の単位で、前記第1の領域及び前記第2の領域を設定する
項目1~9のいずれか一項に記載の医療用画像解析装置。
[項目11]
前記重複処理部は、前記第1組織領域の情報を前記第1組織領域が含まれる前記単位画像に関連付けた第1データ、及び前記第2組織領域の情報を前記第2組織領域が含まれる前記単位画像に関連付けた第2データ、前記第3組織領域の情報を前記第3組織領域が含まれる前記単位画像に関連付けた第3データを生成する
を備えた項目10に記載の医療用画像解析装置。
[項目12]
前記特定は、前記第1の領域に含まれる単位画像ごとの圧縮パラメタに応じて前記第1組織領域を特定する処理を行い、前記第2の領域に含まれる単位画像ごとの圧縮パラメタに応じて前記第2組織領域を特定する処理を行う
項目10又は11に記載の医療用画像解析装置。
[項目13]
前記第1の領域又は前記第2の領域と同じサイズの撮像サイズで前記生体由来組織に第1の撮像領域を設定し、前記第1の撮像領域を撮像し、前記第1の撮像領域と一部重複させて次の第2の撮像領域を設定し、前記第2の撮像領域を撮像する撮像部を備え、
前記第1の領域の画像は、前記第1の撮像領域から撮像された画像であり、
前記第2の領域の画像は、前記第2の撮像領域から撮像された画像である
項目1~12のいずれか一項に記載の医療用画像解析装置。
[項目14]
前記検出結果画像を表示する表示部
を備えた項目6に記載の医療用画像解析装置。
[項目15]
前記生体由来組織を含む画像を表示する表示部と、
前記表示部に表示された前記画像における領域を指定する指示情報を受け、前記指示情報によって指定された前記領域に含まれる画像を前記処理対象画像とする処理対象領域設定部と
を備えた項目1~14のいずれか一項に記載の医療用画像解析装置。
[項目16]
生体由来組織を撮像した処理対象画像に、第1の領域と、前記第1の領域と一部が重複する第2の領域とを設定し、
前記第1の領域に含まれる組織の領域である第1組織領域と、前記第2の領域に含まれる組織の領域である第2組織領域とを特定し
前記第1組織領域と、前記第1組織領域に少なくとも一部が重なる前記第2組織領域とに対して処理を行い、第3組織領域を設定する
医療用画像解析方法。
[項目17]
生体由来組織を撮像し、処理対象画像を取得する撮像部と、
情報処理部と、を備え、
前記情報処理部は、
前記処理対象画像に、第1の領域と、前記第1の領域と一部が重複する第2の領域とを設定し、
前記第1の領域に含まれる組織の領域である第1組織領域と、前記第2の領域に含まれる組織の領域である第2組織領域とを特定し、
前記第1組織領域と、前記第2組織領域に少なくとも一部が重なる前記第2組織領域とに対して処理を行い、第3組織領域を設定する
医療用画像解析システム。
[項目18]
前記情報処理部は、プログラムを実行することにより、前記第1の領域及び前記第2の領域の設定、前記第1組織領域及び前記第2組織領域を特定する処理、前記第3組織領域を設定する処理を行う
項目17に記載の医療用画像解析システム。
[項目19]
前記プログラムを格納する記憶部を備え、
前記情報処理部は、前記記憶部から前記プログラムを読み出して実行する
項目18に記載の医療用画像解析システム。
【符号の説明】
【0118】
1 医療用画像解析システム
10 医療用画像解析装置
20 画像データベース
30 操作装置
40 検出結果データベース
100 顕微鏡システム
110 顕微鏡装置
111 光照射部
112 光学部
113 信号取得部
114 試料載置部
120 制御部(制御装置)
130 情報処理部(情報処理装置)
200 処理対象領域設定部
300 領域設定部
400 組織検出部(特定部)
500 重複処理部(特定部)
600 出力部(表示部)
610 病理画像表示部
620 検出結果表示部
1001 処理対象画像
1002 小領域