(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061696
(43)【公開日】2024-05-08
(54)【発明の名称】医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240426BHJP
A61B 5/00 20060101ALI20240426BHJP
【FI】
G06T7/00 630
A61B5/00 D
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021049872
(22)【出願日】2021-03-24
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(72)【発明者】
【氏名】檀上 大輝
(72)【発明者】
【氏名】相坂 一樹
(72)【発明者】
【氏名】寺元 陶冶
(72)【発明者】
【氏名】山根 健治
【テーマコード(参考)】
4C117
5L096
【Fターム(参考)】
4C117XE04
4C117XG19
4C117XG38
4C117XH16
4C117XK03
4C117XK05
4C117XK07
4C117XK12
4C117XK20
4C117XK23
4C117XL12
5L096BA06
5L096BA13
5L096DA02
5L096EA35
5L096FA64
5L096JA03
5L096JA11
5L096KA04
5L096MA07
(57)【要約】
【課題】病理組織画像を閲覧する行為と並行して、自動的に病理組織画像の画像情報を用いて過去の症例の中から類似する症例を検索する。
【解決手段】本開示の解析装置は、生体由来試料を撮像した画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定する第1設定部と、前記サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択する処理部と、選択された前記参照画像を出力する出力部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
生体由来試料を撮像した画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定する第1設定部と、
前記サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択する処理部と、
選択された前記参照画像を出力する出力部と、
を備えた医療用画像解析装置。
【請求項2】
前記第1設定部は、前記解析対象領域においてランダムな位置に前記サンプル領域を設定する
請求項1に記載の医療用画像解析装置。
【請求項3】
前記第1設定部は、前記解析対象領域に均等な間隔で前記サンプル領域を設定する
請求項1に記載の医療用画像解析装置。
【請求項4】
前記第1設定部は、前記サンプル領域に含まれる細胞核の密度に基づき、前記サンプル領域からサンプル領域を選択し、
前記処理部は、選択された前記サンプル領域の画像に基づき、前記参照画像を選択する
請求項1に記載の医療用画像解析装置。
【請求項5】
前記第1設定部は、前記サンプル領域に含まれる細胞核の大きさに基づき、前記サンプル領域からサンプル領域を選択し、
前記処理部は、選択された前記サンプル領域の画像に基づき、前記参照画像を選択する
請求項1に記載の医療用画像解析装置。
【請求項6】
前記第1設定部は、複数の前記サンプル領域をクラスタリングして複数のクラスタを生成し、前記クラスタから前記サンプル領域を選択し、
前記処理部は、前記クラスタから選択された前記サンプル領域の画像に基づき、前記参照画像を選択する
請求項1に記載の医療用画像解析装置。
【請求項7】
前記第1設定部は、画像の複数の倍率のうち解析対象とする症例に応じた1つ以上の倍率を決定し、
前記第1設定部は、決定した前記倍率の前記画像の解析対象領域に前記サンプル領域を設定する
請求項1に記載の医療用画像解析装置。
【請求項8】
前記処理部は、前記サンプル領域の画像と、前記参照画像との類似度を算出し、前記類似度に基づいて、前記参照画像を選択する
請求項1に記載の医療用画像解析装置。
【請求項9】
前記処理部は、前記サンプル領域の画像の特徴量を算出し、前記特徴量と、前記参照画像の特徴量とに基づき、前記類似度を算出する
請求項8に記載の医療用画像解析装置。
【請求項10】
前記生体由来試料を撮像した前記画像の一部又は全部を表示する表示部と、
前記表示部に表示されている前記画像に前記解析対象領域を設定する第2設定部を備えた
請求項1に記載の医療用画像解析装置。
【請求項11】
前記表示部に表示されている前記画像は操作者により位置の移動が可能であり、
前記第2設定部は、前記画像の移動が一定時間行われない場合に、前記画像の表示領域のうち所定領域に含まれる前記画像の領域を前記解析対象領域とする
請求項10に記載の医療用画像解析装置。
【請求項12】
前記第2設定部は、操作者の指示情報に基づいて前記画像に前記解析対象領域を設定する
請求項10に記載の医療用画像解析装置。
【請求項13】
前記出力部は、前記生体由来試料を撮像した前記画像の一部又は全部をアプリケーションの画面のうち第1画面部分に表示し、選択された前記参照画像を前記アプリケーションの画面のうち第2画面部分に表示する
請求項8に記載の医療用画像解析装置。
【請求項14】
前記出力部は、前記類似度に応じた順序で、前記第2画面部分に、選択された前記参照画像を配置する
請求項13に記載の医療用画像解析装置。
【請求項15】
前記出力部は、前記サンプル領域のうち操作者の指示情報に基づいて1つのサンプル領域を選択し、選択した前記サンプル領域の画像との類似度に応じた順序で、前記第2画面部分に、選択された前記サンプル領域の画像との間で前記類似度が算出された前記参照画像を配置する
請求項14に記載の医療用画像解析装置。
【請求項16】
前記出力部は、前記第2画面部分に表示された前記参照画像のうち操作者の指示情報に基づいて1つの参照画像を選択し、
前記出力部は、
選択した参照画像と、
選択した前記参照画像との間で前記類似度が算出された前記サンプル領域を含む画像と
を並べて表示する分割表示画面を出力する
請求項14に記載の医療用画像解析装置。
【請求項17】
前記複数の参照画像は、前記複数の症例の臨床情報が関連付いており、
前記出力部は、選択された前記参照画像に関連する前記臨床情報をさらに出力する
請求項1に記載の医療用画像解析装置。
【請求項18】
生体由来試料を撮像する撮像装置と、
前記撮像装置により取得された画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定する第1設定部と、
前記サンプル領域の画像に基づき、複数の症例に関連付いた複数の参照画像から、少なくとも1つの参照画像を選択する処理部と、
選択された前記参照画像を出力する出力部と、
を備えた医療用画像解析システム。
【請求項19】
コンピュータを、前記第1設定部、前記処理部及び前記出力部として機能させる、前記コンピュータに実行させるためのコンピュータプログラム
を備えた請求項18に記載の医療用画像解析システム。
【請求項20】
生体由来試料を撮像した画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定し、
前記サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択し、
選択された前記参照画像を出力する
医療用画像解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用画像解析装置、医療用画像解析方法及び医療用画像解析システムに関する。
【背景技術】
【0002】
病理医等の医師は、臨床現場において、各症例の病理組織画像に対して診断を行う際、当該病理組織画像の閲覧と、閲覧した画像において注目する箇所に関連する情報(例えば過去の類似症例の画像及び情報)の参照を同時に行っている。しかしながら、病理組織画像の閲覧と、関連する情報の参照との間には、意識的および時間的な乖離が存在する。このような作業の反復は、病理医の負荷が増大し、効率的なワークフローとは言えない。特許文献1は、病理組織の画像を入力とし、入力した画像における細胞核の構築情報を用いて、画像データベースから類似した画像を検索し、検索した画像を所見データとともに出力する装置を開示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1では、入力する画像についての詳細な言及はなされておらず、病理医が注目したい箇所に関連する情報を参照することができるとは限らない。
【0005】
本開示は、画像を用いた診断を行う医師の作業を効率化させることを目的とする。
【課題を解決するための手段】
【0006】
本開示の医療用画像解析装置は、生体由来試料を撮像した画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定する第1設定部と、前記サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択する処理部と、選択された前記参照画像を出力する出力部と、を備える。
【0007】
本開示の医療用画像解析システムは、生体由来試料を撮像する撮像装置と、前記撮像装置により取得された画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定する第1設定部と、前記サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択する処理部と、選択された前記参照画像とを出力する出力部と、を備える。
【0008】
本開示の医療用画像解析方法は、生体由来試料を撮像した画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定し、前記サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択し、選択された前記参照画像を出力する。
【図面の簡単な説明】
【0009】
【
図1】本開示の実施形態に係る医療用画像解析装置を含む医療用画像解析システムのブロック図。
【
図3】解析対象領域に複数の小領域(サンプル領域)を設定する例を示す図。
【
図4】類似度の降順に、小領域の検索結果を並べる例を示す図。
【
図5】症例情報表示部により表示される症例情報画面の例を示す図。
【
図6】
図5の画面を閲覧しているユーザが、表示する症例情報を切り替えた例を示す図。
【
図7】閲覧中の病理組織画像に対応する臨床情報等又は統計情報等を表示する例を模式的に示す図。
【
図8】過去の症例の小片画像と、病理組織画像とを左右に並べて表示した例を示す図。
【
図10】本開示の解析装置の全体動作例を概略的に示すフローチャート。
【
図12】小領域設定部の詳細な動作例を示すフローチャート。
【
図13】類似症例検索部の詳細な動作例を示すフローチャート。
【
図15】類似症例検索部が類似症例の情報を解析し、解析した結果を症例情報表示部で表示する場合の動作例を示すフローチャート。
【
図16】本開示の解析システムの構成の一例を示す図。
【発明を実施するための形態】
【0010】
図1は、本開示の実施形態に係る医療用画像解析装置10を含む医療用画像解析システム100のブロック図である。
【0011】
医療用画像解析システム100は、医療用画像解析装置10と、操作装置20と、類似症例データベース30と、診断データベース40とを備えている。医療用画像解析装置10は、解析対象領域設定部200(第2設定部)と、小領域設定部300(第1設定部)と、出力部400と、類似症例検索部500(処理部)とを備えている。出力部400は、病理組織画像表示部410と症例情報表示部420とを備えている。医療用画像解析装置10は、医療用画像解析装置10のユーザが利用する医療用画像解析アプリケーション(以下、本アプリケーションと呼ぶ場合がある)を実行する。医療用画像解析装置10のユーザは、病理医等の医師であるが、ユーザは医師に限定されず、例えば、医師に従事する者でもよい。出力部400は本アプリケーションの画面データを生成してディスプレイ(例えば液晶表示装置、有機EL表示装置等)に、画面データを表示させる。本実施形態では、ディスプレイは出力部400に含まれているとするが、医療用画像解析装置10の外部から有線又は無線で医療用画像解析装置10に接続されていてもよい。この場合、出力部400は画像データを有線又は無線を介して、ディスプレイに送信すればよい。
【0012】
医療用画像解析装置10は、類似症例データベース30(類似症例DB30)及び診断データベース40(診断DB40)と、有線又は無線で接続されている。医療用画像解析装置10は、診断DB40と、類似症例DB30から情報を読み出す又は取得できる。医療用画像解析装置10は、診断DB40と、類似症例DB30に対して情報を書き込む又は送信することができる。診断DB40と類似症例DB30が一体的に構成されていてもよい。
【0013】
医療用画像解析装置10は、診断DB40と類似症例DB30に、インターネット又はイントラネット等の通信ネットワークを介して接続されていてもよいし、USBケーブル等のケーブルを介して接続されていてもよい。あるいは診断DB40と類似症例DB30が、医療用画像解析装置10の内部に医療用画像解析装置10の一部として含まれていてもよい。
【0014】
医療用画像解析装置10は、操作装置20に有線又は無線で接続されている。操作装置20は医療用画像解析装置10のユーザにより操作される。ユーザは操作装置20を用いて医療用画像解析装置10に各種指示を入力情報として入力する。操作装置20は、キーボード、マウス、タッチパネル、音声入力装置、ジェスチャ入力装置など任意の装置でよい。
【0015】
診断DB40は、診断情報を格納したデータベースである。診断情報は、例えば、被検体の病理組織画像及び臨床情報等、被検体の症例に関わる情報を含む。診断情報は、その他の情報を含んでいてもよい。診断DB40は、例えばメモリ装置、ハードディスク、光記録媒体又は磁気記録媒体などにより構成される。ここで病理組織画像とは、生体由来試料(以下、生体由来試料Sと記載する)を撮像した画像である。以下、生体由来試料Sについて説明する。
【0016】
(生体由来試料)
生体由来試料Sは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分(血液や尿等)、培養物、又は生細胞(心筋細胞、神経細胞、及び受精卵など)であってよい。
【0017】
生体由来試料Sは、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。生体由来試料Sは、当該固形物の切片でありうる。生体由来試料Sの具体的な例として、生検試料の切片を挙げることができる。
【0018】
生体由来試料Sは、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質(表面抗原など)を示すための染色であってよく、HE(Hematoxylin-Eosin)染色、免疫組織化学(Immunohistochemistry)染色を挙げることができる。生体由来試料Sは、1又は2以上の試薬により当該処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体でありうる。
【0019】
当該標本は、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、当該標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。当該標本は、使用される組織(例えば臓器または細胞など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)などにより性質が異なる。前記標本は、各標本それぞれ識別可能な識別情報(バーコード情報又はQRコード(商標)情報等)を付されて管理されてよい。
【0020】
診断DB40は、医療用画像解析装置10に対して診断情報を提供することができる。また、診断DB40は、医療用画像解析装置10の解析結果データの一部又は全部を、被検体の症例に関する新たな情報として格納してもよい。
【0021】
類似症例DB30は、様々な被検体の過去の各種症例に関する情報を格納したータベースである。各種症例に関する情報は、例えば、複数の症例に関する、病理組織画像及び臨床情報を含む。さらに病理組織画像の一部である小片画像に基づき算出される特徴量を含む。小片画像(又は病理組織画像)は、複数の症例が関連付いた参照画像の一例に相当する。その他、類似症例DB30は、医療用画像解析装置10の動作をコンピュータ(例えばCPU(Central Processing Unit)等のプロセッサを含む)により実現する場合に、コンピュータに実行させるコンピュープログラム及びパラメータ等の動作データを含んでいてもよい。
【0022】
類似症例DB30は、医療用画像解析装置10に対して過去の各種症例に関する情報を提供することができる。また、類似症例DB30は、医療用画像解析装置10の解析結果データの全部又は一部等を、症例に関する新たな情報として格納し、次回以降、過去の症例に関する情報として用いてもよい。
【0023】
(病理組織画像表示部410)
病理組織画像表示部410は、本アプリケーションを利用するユーザから操作装置20で指定された病理組織画像の一部又は全部を、本アプリケーションの画面の一部(第1画面部分)に表示する。病理組織画像の一部又は全部を表示する画面(病理組織画像の表示領域)を、病理組織閲覧画面と称する。医療用画像解析装置10は、ユーザによって指定された病理組織画像を診断DB40から読み出し、本アプリケーションのウィンドウ内の病理組織閲覧画面に表示する。病理組織画像のサイズが病理組織閲覧画面より大きく、病理組織画像の一部のみが病理組織閲覧画面内に表示される場合、ユーザのマウス操作等により病理組織画像を移動させ、病理組織閲覧画面内に表示される画像を変更することができる。ユーザは、病理組織閲覧画面内に表示された画像を閲覧することで、病理組織の状態を確認できる。またユーザは画像を閲覧しながら、画像の倍率を変更することが可能であってもよい。この場合、ユーザが指定した倍率の画像を診断DB40から読み出して、病理組織閲覧画面に表示しなおせばよい。
【0024】
(解析対象領域設定部200)
解析対象領域設定部200は、病理組織画像のうち病理組織閲覧画面内に表示されている画像の一部又は全部に、解析対象領域を設定(又は登録)する。解析対象領域設定部200は、病理組織画像に解析対象領域を設定する第2設定部の一例である。解析対象領域設定部200は、病理組織閲覧画面内の予め定めた範囲(全部又は一部)に対応する画像の領域を、解析対象領域として設定してもよい。また、解析対象領域設定部200は、病理組織閲覧画面に表示されている画像のうちユーザの関心領域を解析対象領域として設定してもよい。関心領域は、操作装置20からのユーザの指示情報に基づき決定してもよい。例えば、画像においてユーザが指定した箇所を関心領域としてもよい。例えばユーザが関心のある領域をマウス操作等により矩形等で囲む場合、囲まれた領域を関心領域としてもよい。あるいは、ユーザがクリック等で画像における一点を指定し、指定された一点を中心座標として、事前に用意している縦横幅の領域を関心領域としてもよい。または、ユーザが指定した一点を中心座標として、アルゴリズム的に決定された範囲を関心領域としてもよい。例えば、中心座標から一定の範囲で囲まれた領域の内、その領域の一部について含まれる細胞の数が最大値になる場合、その一部の領域を関心領域とする。但し、アルゴリズムは特定のものに限定しない。
【0025】
解析対象領域設定部200は、検出アルゴリズムに基づき解析対象領域を自動的に設定してもよい。例えば病理組織閲覧画面又は病理組織閲覧画面内の所定領域(予め定めた領域)において、一定時間以上画像の移動(変更)が無い場合に、当該所定領域に対応する画像の領域(所定領域に含まれる画像の領域)を解析対象領域としてもよい。所定領域は、一例として病理組織閲覧画面(病理組織画像の表示領域)の中心から一定の範囲の領域でもよいし、その他の領域でもよい。所定領域内で画像の移動があっても、移動量が閾値ピクセル以下であれば、一定時間経過したときの当該所定領域に対応する画像の領域を、解析対象領域としてもよい。また医療用画像解析装置10に視線検出センサを設け、ユーザの視線が一定時間以上向いている画像部分の領域を解析対象領域として検出する方法も可能である。このように、ユーザの操作無しに解析対象領域を設定する方法を用いる場合、ユーザは病理組織画像の閲覧に集中することができる利点がある。
【0026】
図2は、解析対象領域を設定する具体例を示す。
図2には、ユーザにより選択された病理組織画像(スライド画像)の全部又は一部が、ウィンドウW1内の病理組織閲覧画面G1に表示されている。ユーザの操作により病理組織閲覧画面G1内の画像の位置が変更可能であってもよい。当該画像において領域106が破線で示される。領域106は、解析対象領域の候補となる領域である。領域106は一例として、病理組織閲覧画面G1の中心を含む所定領域である。または、領域106はユーザがドラッグ等によりマーキングした領域(ユーザが関心のある領域として指定した領域)であってもよい。一定時間、領域106内の画像に変更(移動)がない場合、すなわち同じ画像が継続して領域106に含まれる場合は、解析対象領域設定部200は、表示画像における領域106を、解析対象領域107として設定する。
図2に示した方法以外の方法で、解析対象領域を設定してもよい。
【0027】
(小領域設定部300)
小領域設定部300は、解析対象領域に1つ以上の小領域(サンプル領域)を、サンプル領域設定用のアルゴリズムに基づき設定する。小領域設定部300は、解析対象領域に1つ以上の小領域(サンプル領域)を設定する第1設定部を含む。すなわち第1設定部は、生体由来試料を撮像した画像の解析対象領域に、アルゴリズムに基づき1つ以上のサンプル領域を設定する。小領域は、解析対象領域よりも小さいサイズの領域である。小領域は、画像の特徴量を抽出する単位となる領域である。小領域の形状は、矩形、円形、楕円、ユーザが事前に定義した形状など、特に限定されない。
【0028】
小領域を設定する具体例として、解析対象領域内に基準座標をランダムな位置又は一定間隔に設定し、基準座標を中心として事前に定義した縦横幅の矩形領域を小領域とすることがある。基準座標の点数は特に限定しない。このように、小領域はランダムな位置に設定してもよいし、一定間隔で設定してもよい。小領域のサイズは、予め決められていてもよいし、画像の倍率に応じて決められてもよい。また、小領域のサイズをユーザにより指定可能にしてもよい。
【0029】
設定した小領域に対して、過去の類似症例を検索するために有効と見込まれる小領域を選別する処理を行ってもよい。例えば、小領域ごとに細胞核の密度を算出し、密度が閾値以上又は閾値未満の小領域を採用してもよい。採用されなかった小領域は以降の処理で用いない。同様に、小領域ごとに細胞核の大きさを算出し、大きさの統計値(最大値、平均値、最小値、中央値等)が閾値以下又は閾値以上の小領域を採用してもよい。採用されなかった小領域は以降の処理で用いない。
【0030】
小領域ごとの特徴量分布に基づき、複数の小領域をクラスタリングして複数のクラスタを生成する。そして、各クラスタから1つ以上の小領域を、クラスタを代表する小領域として選出してもよい。各クラスタから選出する小領域の個数は同じでもよい。例えば特徴量分布は、輝度分布、RGB分布、明度分布、又は彩度分布等の画像特徴量を用いてもよい。また、細胞数分布、細胞密度分布、又は異形度分布等の細胞学的特徴量を用いてもよい。
【0031】
小領域の設定は、ユーザが閲覧している倍率の画像に行うことに限定されない。例えば小領域の設定は、ユーザが閲覧している倍率とは別に、検索したい症例に有効な倍率の画像に対して行ってもよい。使用する倍率は1つでも複数でもよい。例えば、ユーザが閲覧している画像の倍率が、検索したい症例に適さない低倍率であった場合、高倍率における画像を読み出し、読み出した画像に小領域(閲覧している画像に設定した小領域の座標に対応した座標の領域)を設定する。ユーザが閲覧している倍率が検索したい症例に有効でない場合、ユーザが閲覧している画像に設定した小領域からは画像の取得は行わなくてよい。
【0032】
図3は、解析対象領域107に複数の小領域(サンプル領域)を設定する例を示す。図の例では4つの小領域109A~109Dが設定されている。図示の小領域は正方形又は矩形であるが、円形等、他の形状でもよい。小領域109A~109Dは上述のようにアルゴリズムに基づき自動的に設定される。
【0033】
小領域設定部300は、解析対象領域107に設定された各小領域の画像を取得(切り出し)し、取得した画像である小片画像(サンプル領域の画像)等を類似症例検索部500に提供する。小領域設定部300は、小領域(サンプル領域)から画像を取得する取得部を含む。取得部は、後述する類似症例検索部500(処理部)に含まれていてもよい。上述のように、小領域の画像(小片画像)の取得は、検索したい症例に応じて定められる倍率の画像から行ってもよい。例えば、倍率20倍で閲覧中の画像に設定した小領域に関して、倍率40倍の画像において当該小領域に対応する領域を特定し(特定した領域を小領域とする)、当該特定した小領域の画像を小片画像として取得してもよい。小領域設定部300は、症例と少なくとも1つの倍率とを対応付けたデータに基づき、ユーザが検索したい症例に応じた倍率を1つ又は複数決定してもよい。検索したい症例に応じた倍率は1つでなく、複数の倍率でもよい。この場合、倍率ごとの画像から小片画像を取得すればよい。このように、ユーザが閲覧する倍率と、類似症例の検索に用いる倍率とを区別することで、ユーザの作業効率を向上させることができると同時に、解析の精度を向上させることができる。
【0034】
(類似症例検索部500)
類似症例検索部500は、小領域設定部300から各小領域の画像を取得し、取得した小領域の画像にそれぞれ類似している小片画像(過去の症例の病理組織画像の一部)を類似症例DB30から取得する(類似症例検索)。類似症例検索部500は、サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択する処理部の一例に相当する。類似症例DB30に保存されている小片画像は、類似症例DB30に格納されている過去の症例の病理組織画像の一部を切り抜いた画像である。類似症例DB30内の小片画像は、それぞれもととなる病理組織画像から切り出されたものであり、病理組織画像には臨床的な情報も付帯している。つまり類似症例検索は、結果的に小領域の画像に類似する過去の症例の小片画像を検索することである。類似症例検索部500は、各小領域の画像に類似する過去の症例の情報(小片画像、臨床情報等)を、小領域に対する検索結果として取得し、小領域の検索結果に基づき、解析対象領域に対する解析結果を生成する。以下、類似症例検索部500についてさらに詳細に説明する。
【0035】
類似症例検索部500は、取得した各小領域の画像に対して、類似症例DB30における過去の症例の小片画像との類似度を算出する。類似症例検索部500は、各小領域の画像と、過去の症例の小片画像との類似度を算出するため、各小領域の画像の特徴量と、過去の症例の小片画像の特徴量とを比較する。特徴量は、一例として、画像の特徴を示すベクトルである。
【0036】
人間が解釈できる特徴量の例として、細胞の数、細胞間の距離の和、及び細胞密度を含むベクトルおよび機械学習手法などを用いてこれらを統合した結果がある。この場合、細胞の数、細胞間の距離の和、及び細胞密度を算出するコンピュータプログラムを用いて特徴量を算出してもよい。
【0037】
また、人間が(一般的に)解釈できない特徴量の例として、数値が並んだベクトル、例えば2048次元のベクトル等の高次元のベクトルがある。この場合、画像を入力としてラベルごとの分類ができるDeep learningモデルを用いることができる。Deep learningモデル以外に、一般的な機械学習の手法によるモデルを用いてもよい。
【0038】
特徴量同士を比較して類似度を算出する方法として、ベクトル間の距離(差分)を算出し、距離に応じた値を類似度とする方法がある。なお比較する特徴量同士は、同じアルゴリズムによって算出されているものとする。例えば距離が近いほど類似しており(類似度が高い)、距離が遠いほど類似していない(類似度が低い)とする。類似度の具体例として、ユークリッド距離又はコサイン類似度などがあるが、他の尺度でもよい。類似度の定義に応じて、類似度の値が大きいほど類似度が高い場合、類似度の値が小さいほど類似度が高い場合がある。特徴量同士の比較は、同じ倍率の画像間で行ってもよい。類似症例DB30には複数の倍率について、過去の症例の小片画像及び病理組織画像が格納されていてもよい。これにより、より高い検索精度を実現することが可能である。
【0039】
類似度を算出するために特徴量同士を比較したが、特徴量を算出せず、小領域の画像と、過去の症例の小片画像とを直接比較して、類似度を算出してもよい。例えば、小領域の画像と、過去の症例の小片画像との間の類似度を算出するために学習済みのモデル(機械学習モデル)を用いてもよい。機械学習モデルは一例としてニューラルネットワーク、重回帰モデル、決定木等の回帰モデルを用いることができる。例えば、ニューラルネットワークに小領域の画像と、過去の症例の小片画像とを入力し、画像間の類似度を出力する。機械学習モデルは、一例として検索したい症例ごとに用意されていてもよい。また、機械学習モデルは、画像の倍率ごとに用意されていてもよい。これらにより、より高い検索精度を実現することが可能である。
【0040】
類似症例検索部500は、各小領域の画像について算出した、過去の症例の各小片画像との類似度に基づき、解析対象領域に対する解析結果を生成する。類似度が算出された過去の症例の小片画像のうち、閾値以上の類似度の小片画像の症例、又は類似度が上位の一定個数の小片画像の症例を、類似症例と呼ぶ。類似症例の小片画像及び臨床情報等を、小領域に対する検索結果と呼ぶ。以下、解析対象領域の解析結果を生成する方法について詳細に説明する。
【0041】
(方法1)例えば、小領域ごとに、類似度の降順に、小領域の検索結果(過去の症例の小片画像及び臨床情報等)を並べたものを解析対象領域に対する解析結果とする。当該小領域ごとの検索結果を出力することで、ユーザは、閲覧中の病理組織画像内の各小領域と類似する過去の症例を紐づけて容易に理解することが可能となる。また、小領域ごとに検索結果を最も類似するものから順に出力することで、ユーザは、検索したい症例の確率が高い小片画像から優先的に参照することができる。
【0042】
(方法2)全ての小領域に対して算出された類似度の降順に、小領域の検索結果を並べたものを、解析対象領域に対する解析結果とする。上述の方法1では小領域ごとに検索結果を並べたが、方法2では全ての小領域を対象に検索結果を類似度に応じて並べる。このように全ての小領域の検索結果を統合して、解析対象領域の解析結果とする。これにより、解析対象領域に含まれる病理組織の平均的な特徴を出力することができる。また、ユーザは、検索したい症例の確率が高い検索結果から優先的に参照することができる。
図4を用いて、方法2の具体例を示す。
【0043】
図4は、全小領域に対して算出された類似度の降順に、小領域の検索結果を並べる例を説明する図である。解析対象領域107_1に小領域A、B、Cが設定されている。小領域Aに対しては過去の症例の小片画像のうち類似度が最も高い3つの小片画像(類似度がそれぞれ0.95,0.92,0.83)が選択されている。小領域Bに対しては過去の症例の小片画像のうち類似度が最も高い3つの小片画像(類似度がそれぞれ0.99,0.89,0.84)が選択されている。小領域Cに対しては過去の症例の小片画像のうち類似度が最も高い3つの小片画像(類似度がそれぞれ0.94,0.90,0.83)が選択されている。全小領域A~Cに対して類似度の高い順に類似度を並べると、0.99,0.95,0.94,0.92・・・である。図の一番下には、上記の類似度が算出された過去の症例の小片画像が示されている。
【0044】
(方法3)各小領域に対して、閾値以上の類似度の小片画像、又は類似度が上位の一定個数の小片画像を選択する。そして、選択した小片画像を評価する。例えば、解析対象領域内の全小領域の集合の細胞密度分布を算出し、上述の選択した小片画像の細胞密度分布と比較する(例えば分布間の距離を算出する)。分布間の距離に基づき、全小領域の分布と類似している小片画像(例えば、分布間の距離が閾値未満の小片画像)を選択する。選択した小片画像及び当該小片画像に対する臨床情報等を再検索結果とし、解析対象領域の解析結果を生成する。
【0045】
(症例情報表示部420)
症例情報表示部420は、解析対象領域に対する解析結果に基づく症例情報を、本アプリケーションのウィンドウW1内の症例情報画面に表示する。症例情報画面は、本アプリケーションの画面の第2画面部分に相当する。
【0046】
図5は、本アプリケーションのウィンドウW1内において病理組織閲覧画面G1(第1画面部分)の下側に、症例情報表示部420により表示された症例情報画面G2の例を示す。病理組織閲覧画面G1(第1画面部分)には病理組織画像、解析対象領域107及び小領域109A~109Bが表示されている。小領域109A~109Dのうちの1つをユーザの指示情報に基づき選択可能であり、図の例では、小領域109Bがユーザにより選択されている。ウィンドウW1の下側の症例情報画面G2(第2画面部分)には、解析対象領域に対する解析結果に基づく症例情報が表示されている。図の例では、症例情報として、ユーザが選択した小領域109Bに最も類似度が高い小片画像から順番に、過去の症例の小片画像111~116(111,112,113,114,115,116)が左から配置されている。本例ではユーザが小領域109Bを選択しているが、ユーザが他の小領域を選択することも可能である。この場合は、当該選択した他の小領域に応じて、最も類似度が高い小片画像から順番に、症例情報画面G2に左側から並べて表示される。
図5の例では症例情報として小片画像が表示されているが、小片画像に関連する臨床情報がさらに表示されてもよい。あるいは、小片画像の属性を参照する指示情報をユーザが与えた場合に、臨床情報がポップアップ等で表示されてもよい。
【0047】
図6は、
図5のウィンドウW1を閲覧しているユーザが選択する小領域を小領域Bから小領域Dに切り替えた場合に、当該切り替えに応じて表示する症例情報が切り替えられた例を示す。小領域Dに対して最も類似度が高い小片画像から順番に、過去の症例の小片画像121~126(121,122,123,124,125,126)が表示されている。このように表示する症例情報を切り替えることで、ユーザは、様々な小領域に対する検索結果を比較することができ、単一の小領域に対する検索結果を参照する場合に比べて理解を促進することができる。また、特定の小領域を選択しない場合は、上述の方法1~方法3のいずれか等で生成した、解析対象領域に対する検索結果を表示してもよい。
【0048】
なお、ユーザは、病理組織閲覧画面G1から解析対象領域107の枠及び小領域109A~109Dの表示を消去する操作を行うことにより、当該枠及び表示を消去してもよい。
【0049】
またウィンドウW1内に、閲覧中の病理組織画像に関する情報(例えば臨床情報)を表示してもよい。臨床情報は、病理組織画像の画像分布や細胞数等の細胞情報などを含んでもよい。ユーザの指示情報に応じて、出力部400がこれらの情報を統計的に処理し、統計処理の結果データを表示してもよい。ユーザは、ウィンドウW1内に別途設けられる解析ボタンをクリックすることで、解析の指示情報を入力してもよい。統計情報の表示は、グラフ(折れ線グラフ、円グラフ等)で行ってもよいし、テキストで行ってもよい。統計情報等のデータはウィンドウW1内の解析画面に表示しても、ポップアップ画面に表示してもよい。あるいは、当該データは、病理組織画像の上に重畳して表示するなど、他の方法で表示してもよい。
【0050】
図7は、閲覧中の病理組織画像に関する情報をウィンドウW1の左側の解析画面(解析ウィンドウ)G3に表示する例を模式的に示す。この例では、被検者の年齢等、病理組織画像の輝度分布、細胞数等が表示されている。例えば、病理組織画像の画像あるいは細胞学的な特徴、その他の画像から得られる情報を統計解析した結果を、グラフ等(図の左下の円グラフ141、棒グラフ142等を参照)で表示してもよい。これにより、ユーザは、臨床情報に関する傾向等を理解しやすくなる。解析画面G3はウィンドウW1とは別のポップ画面など他の画面でもよい。
【0051】
また、ウィンドウW1内の任意の領域(例えば上述の解析画面G3)に、類似症例の臨床情報又は臨床情報を統計処理したデータを表示してもよい。例えば、出力部400は、各検索結果の症例に対応する臨床情報の全部又は一部を、ウィンドウW1又は別の画面に表示してもよい。当該臨床情報を統計的に処理した結果をテキスト又はグラフ等(
図7の左下の円グラフ141、棒グラフ142等を参照)で表示してもよい。また、ユーザに対して、類似症例として検索された結果について、より深い理解を促すことができる。また、小領域に関する画像の特徴量や細胞数等の細胞情報、又はこれら特徴量及び細胞情報を統計処理したデータなどをテキスト又はグラフ等で表示してもよい。これにより、ユーザは、小領域設定部300においてどのような特徴のある小領域が選択されたのかを容易に理解することができる。
【0052】
ユーザがウィンドウW1内の下側の症例情報画面G2に表示されている小片画像のいずれか1つを選択した場合に、選択した小片画像と、病理組織画像とをそれぞれ左右に並べて、表示してもよい。この際、小片画像を拡大してもよい。また、選択した小片画像に該当する小領域を、表示領域内の中心又は中心付近になるよう、その小領域を含む病理組織画像を表示してもよい。また、表示される病理組織画像において、選択した小片画像に関連する小領域(当該小片画像の類似度が算出された小領域)が、病理組織画像の表示領域内の中心又は中心付近になるよう、病理組織画像の表示位置を調整してもよい。これにより小領域と、選択した小片画像との対比が容易になる。また、選択した小片画像に該当する小領域を含む病理組織画像を、選択した小片画像の横に表示して二種類の病理組織画像を並べて閲覧することで、選択した小片画像に関連する小領域のさらに外の領域の観察も行うことが可能になる。
【0053】
図8は、
図5の画面においてユーザが小片画像114をクリック等により選択した場合に、小片画像114の画像と、病理組織画像とを左右に並べてウィンドウW1の上側の病理組織閲覧画面に表示した例を示す。ユーザが小片画像114をクリックすると、病理組織画像表示部410が病理組織閲覧画面を分割画面表示に切り替える。分割画面の右側の表示領域129には、小片画像114が拡大されて表示さている。分割画面の左側の表示領域128には、病理組織画像の一部が表示されている。この際、小片画像114に関連する小領域109Bが、表示領域128の中心又は中心付近に位置している。これによりユーザはより容易に過去の症例の小片画像と、関連する小領域の画像との対比を容易に行うことが可能になる。
【0054】
(小領域の可視化例)
解析対象領域に設定された小領域を解析対象領域と区別しやすく可視化する例を記載する。
【0055】
図9(A)は、小領域131を単色で塗りつぶした例を示す。これにより、ユーザは、小領域を確認する場合の視認性を高めることができる。小領域131の色は特定の色に限定されない。またユーザの操作によって、小領域ごとに色を変えてもよい。例えば、ユーザは、小領域を任意の基準(例えば小細胞に含まれる細胞の大きさ等)で分類し、分類ごとに小領域の色を変えることも可能である。
【0056】
図9(B)は、
図9(A)の小領域131の色の透過度を変更した例を示す。透過度の変更後の小領域を小領域132としている。ユーザは、透過度を高くすることで、小領域の確認と、小領域の病理組織の構造の確認とを同時に行うことが可能である。さらに、小領域の分類に応じて、色を変える場合は、小領域の確認と、小領域の病理組織の構造の確認と、小領域の分類の確認とを同時に行うことが可能である。
【0057】
図9(C)は、小領域133と、周囲の病理組織画像とのコントラストを高めた例を示す。例えば、小領域133と周囲の病理組織画像とのうちの少なくとも一方について色相、彩度、明度、透明度などを変化させることで、コントラストを高めることができる。これにより、ユーザは、小領域133で視認される情報量を低下させることなく、視認性を高めることができる。また、ユーザは、小領域133病理組織を観察しながら、他の情報を参照することが可能となる。
【0058】
図9(D)は、小領域135の外縁(境界)を単色の枠線136で囲った例を示す。これにより、小領域の視認性を高めることができる。また小領域内及び周囲の領域における表示が変更されていないため、小領域と、周囲の病理組織とを比較しながら観察することが容易となる。
【0059】
図9(E)は、
図9(A)と
図9(D)の例を組み合わせた例を示す。つまり、小領域131を単色で塗りつぶすとともに、小領域131の外縁を単色の枠線136で囲っている。さらに小領域131の色として複数の色を使い分けることにより、例えば、ユーザによる小領域の分類に応じて色分けを行うことが可能である。
図9(E)に示した例以外にも様々な組み合わせが可能であり、これにより、多様な表現ができる。
【0060】
図10は、本開示の医療用画像解析装置10の全体動作例を概略的に示すフローチャートである。
【0061】
病理組織画像表示部410は、ユーザにより選択された病理組織画像を病理組織閲覧画面G1に表示する(S601)。病理組織画像表示部410は、病理組織画像に関連する臨床情報等を、病理組織閲覧画面G1又は他の画面にさらに表示してもよい。
【0062】
解析対象領域設定部200は、表示されている病理組織画像に解析対象領域を設定する(S602)。
【0063】
小領域設定部300は、解析対象領域内に1つ以上の小領域をアルゴリズムに基づき設定し、各小領域の画像(小片画像)を取得する(S603)。なお、取得した画像の拡大又は縮小処理を行って、サイズの正規化を行ってもよい。
【0064】
類似症例検索部500は、小片画像からそれぞれの特徴量を算出し、算出した特徴量と、過去の症例に関連する小片画像の特徴量との類似度を算出する(S604)。類似症例検索部500は、算出された類似度に基づき小片画像を選択し、選択した小片画像を類似症例の小片画像とする。選択した小片画像及び臨床情報等に基づき、解析対象領域の解析結果を生成する(S605)。類似症例検索部500は、解析対象領域の解析結果を症例情報表示部420に提供する(S606)。症例情報表示部420は、解析対象領域の解析結果を症例情報画面G2に表示する。
【0065】
図11は病理組織画像表示部410及び解析対象領域設定部200の詳細な動作例を示すフローチャートである。
【0066】
病理組織画像表示部410は、ユーザにより選択された病理組織画像を診断DB40から読み出して、本アプリケーションのウィンドウ内の病理組織閲覧画面G1に表示する(S101)。ユーザは、操作装置20を操作して、病理組織画像を任意の倍率及び位置に表示させてもよい(S102)。
【0067】
解析対象領域設定部200は、ユーザにより解析対象領域の設定操作がなされたかを判断する(S103)。設定操作がなされた場合は、ステップS104に進み、設定操作がなされない場合は、ステップS105に進む。
【0068】
ステップS104において解析対象領域設定部200は、設定操作によって選択された領域の座標を取得し(S104)、ステップS107に進む。
【0069】
ステップS105において解析対象領域設定部200は、設定条件が満たされたかを判断し、設定条件が満たされた場合は、ステップS106に進み、設定条件が満たされなければ、ステップS102に戻る。例えば病理組織閲覧画面の所定領域に属する画像が一定時間以上継続している場合は設定条件が満たされたと判断する。ステップS106において、解析対象領域設定部200は、画像における当該所定領域の座標を取得し、ステップS107に進む。
【0070】
ステップS107において、解析対象領域設定部200は、取得した座標によって特定される領域を、病理組織画像における解析対象領域として設定する。解析対象領域設定部200は、設定した解析対象領域の情報を小領域設定部300に提供する。
【0071】
図12は、小領域設定部300の詳細な動作例を示すフローチャートである。
小領域設定部300は、解析対象領域に1つ以上の小領域(サンプル領域)を設定する(S201)。例えば、解析対象領域から座標をランダムに選択し、選択した座標を基準に小領域を設定する。小領域設定部300は、検索したい症例に応じて、ユーザが閲覧している画像の倍率とは異なる倍率を追加的に又は代替的に決定し、決定した倍率の画像に小領域を設定してもよい。
【0072】
小領域設定部300は、ステップS201で設定した小領域に対して選別が必要か判定する(S202)。小領域の選別とは、ステップS201で設定した小領域のうち代表となる小領域を1つ又は複数選択し、代表以外の小領域を廃棄することである。小領域の選別が必要かの判定はユーザの指示情報に基づいて行ってもよいし、小領域設定部300が自律的に判断してもよい。例えば小領域の個数が一定値以上の場合に、小領域の選別が必要と判断してもよい。選別を行うことで、解析対象領域の解析結果が冗長になったり、小領域の検索結果の重複が発生したりすることを低減できる。また、処理すべき小領域の個数が低減されることで、処理負荷が低減される効果もある。小領域設定部300は、小領域の選別が必要であると決定した場合、小領域設定部300は、設定した小領域の座標に基づき、病理組織画像から小領域の画像(小片画像)を取得する(S206)。
【0073】
一方、小領域設定部300は、小領域の選別が必要であると決定した場合、各小領域を採用するか否かの選別処理を行う(S203)。例えば、細胞密度一定値以上の小領域を採用し、それ以外の小領域を廃棄する。あるいは、細胞核の大きさが一定値以上のものを含む小領域のみを採用し、それ以外の小領域を廃棄する。その他、前述した他の方法も可能である。小領域設定部300は、採用すると決定した小領域を採用する(S204)。そして、小領域設定部300は、採用した小領域の座標に基づき、病理組織画像から小領域の画像(小片画像)を取得する(S206)。一方、小領域設定部300は、採用しないと決定した小領域を破棄する(S205)。
【0074】
図13は、類似症例検索部500の詳細な動作例を示すフローチャートである。
類似症例検索部500は、類似症例DB30から過去の症例に関連する各小片画像の特徴量を読み込む(S301)。
【0075】
類似症例検索部500は、小領域設定部300によって設定された1つ以上の小領域について、各小領域の画像の特徴量を算出する(S302)。
【0076】
類似症例検索部500は、各小領域の画像の特徴量と、過去の症例に関連する各小片画像の特徴量との類似度を算出する(S303)。
【0077】
類似症例検索部500は、類似度の値が上位の一定数の小片画像に対応する過去の症例を類似症例として決定する(S304)。
【0078】
類似症例検索部500は、各類似症例に関連する臨床情報を、類似症例DB30から読み込む(S305)。
【0079】
類似症例検索部500は、各類似症例の小片画像と臨床情報とを統合して、解析対象領域に対する解析結果を生成する(S306)。なお、ステップS304で類似症例が決定された小片画像が1つの場合は、当該1つの小片画像と当該小片画像に関連する臨床情報とを解析対象領域の解析結果とすればよい。
【0080】
類似症例検索部500は、解析対象領域に関する解析結果を症例情報表示部420に出力する(S307)。症例情報表示部420は、解析対象領域に関する解析結果を、本アプリケーションのウィンドウ内の症例情報画面G2等に表示する。
【0081】
図14は、ユーザが症例情報画面G2において類似症例の小片画像を選択した場合に行う表示動作例を示すフローチャートである。具体的には上述した
図8の表示を行う場合の動作例を示す。
【0082】
ユーザは、症例情報画面G2に表示された類似症例に関連する小片画像を選択(クリック等)する。出力部400は、ユーザにより選択された小片画像を識別する情報を取得する(S401)。
【0083】
病理組織画像表示部410は、病理画像表示画面を分割画面表示に変更する(S402)。
【0084】
病理組織画像表示部410は、変更前に表示していた病理組織画像を分割画面の一方の画面(第1表示領域)に表示させる(S403)。
【0085】
病理組織画像表示部410は、分割画面の他方の画面(第2表示領域)に、ステップS401で選択された小片画像、又は選択された小片画像に該当する小領域を含む病理組織画像、又はこれらの両方を拡大表示する(S404)。
【0086】
病理組織画像表示部410は、分割画面の第1表示領域に表示されている病理組織画像の表示位置を、選択された小片画像(類似症例)に関連する小領域が中心となるように調整する(S405)。
【0087】
図15は、類似症例検索部500が画像(小領域の画像又は解析対象領域の全画像)を解析し、解析の結果をウィンドウ内の解析画面G3に表示させる動作例を示すフローチャートである。
【0088】
ユーザは、本アプリケーションの画面に表示されている解析ボタンをクリックする。類似症例検索部500は、解析ボタンのクリックに基づき、ユーザの解析指示を検出する(S501)。医療用画像解析装置10は、本アプリケーションの画面内又は別途起動する別の画面に解析画面G3を表示する(S502)。
【0089】
症例情報表示部420は、ユーザにより病理組織閲覧画面に表示されているいずれかの小領域が選択されたかを判定する(S503)。ユーザによりいずれかの小領域が選択された場合、ステップS504に進み、選択されなかった場合、ステップS505に進む。
【0090】
ステップS504において、出力部400は、選択した小領域について検索された類似症例の情報(小片画像及び臨床情報等)を取得する。また、ユーザにより小領域が選択されていない場合、出力部400は、解析対象領域の解析結果についての情報を取得する(S505)。
【0091】
出力部400は、ステップS504又はステップS505で取得された情報を統計処理する(S506)。統計処理の詳細は上述した
図7で説設定部明した通りである。出力部400は、統計処理により生成されたデータを含む統計情報を、解析画面G3に表示する(S507)。
【0092】
以上、本開示の医療用画像解析装置10によれば、ユーザである病理医等の医師が、病理組織画像を閲覧する行為と並行して、自動的に病理組織画像の画像情報を用いて過去の症例の中から類似する症例(過去の類似症例の画像及び臨床情報)を検索して表示する。これにより、医師の診断や研究における作業を効率化することができる。
【0093】
(変形例)
医療用画像解析装置10の一部がクラウド又はインターネット等の通信ネットワークにサーバとして配置されていてもよい。例えば、医療用画像解析装置10内の要素の全部又は一部が、通信ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。この場合、操作装置20とディスプレイとを含むコンピュータ装置が、ユーザ側に配置され、通信ネットワークを介して上記サーバと通信することで、データ又は情報を送受信する。
【0094】
[応用例]
以下に、上述の医療用画像解析装置10の応用例について説明する。なお、上述の医療用画像解析装置10は、下述の顕微鏡システム600以外の任意のシステム、装置及び方法等に対しても応用可能である。
【0095】
図16は、本開示の医療用画像解析システムの一実施形態として顕微鏡システム600の構成の一例である。
図16に示される顕微鏡システム600は、顕微鏡装置610、制御部620、及び情報処理部630を含む。前述した本開示の医療用画像解析装置10又は医療用画像解析システム100は、一例として、情報処理部630、又は、情報処理部630と制御部620との両方によって実現される。顕微鏡装置610は、光照射部700、光学部800、及び信号取得部900を備えている。顕微鏡装置610は、さらに、生体由来試料Sが配置される試料載置部1000を備えていてよい。なお、顕微鏡装置610の構成は
図16に示されるものに限定されず、例えば、光照射部700は、顕微鏡装置610の外部に存在してもよく、例えば、顕微鏡装置610に含まれない光源が光照射部700として利用されてもよい。また、光照射部700は、光照射部700と光学部800によって試料載置部1000が挟まれるように配置されていてよく、例えば、光学部800が存在する側に配置されてもよい。顕微鏡装置610は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの1又は2以上で構成されてよい。
【0096】
顕微鏡システム600は、いわゆるWSI(Whole Slide Imaging)システム又はデジタルパソロジーシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム600は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。
【0097】
例えば、顕微鏡システム600は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断では、手術が行われている間に、顕微鏡装置610が、当該手術の対象者から取得された生体由来試料Sのデータを取得し、そして、当該データを情報処理部630へと送信しうる。当該遠隔病理診断では、顕微鏡装置610は、取得した生体由来試料Sのデータを、顕微鏡装置610とは離れた場所(別の部屋又は建物など)に存在する情報処理部630へと送信しうる。そして、これらの診断において、情報処理部630は、当該データを受信し、出力する。出力されたデータに基づき、情報処理部630のユーザが、病理診断を行いうる。
【0098】
(光照射部)
光照射部700は、生体由来試料Sを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲンランプ、レーザ光源、LEDランプ、水銀ランプ、及びキセノンランプのうちの1又は2以上であってよい。蛍光観察における光源の種類及び/又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部は、透過型、反射型又は落射型(同軸落射型若しくは側射型)の構成を有しうる。
【0099】
(光学部)
光学部800は、生体由来試料Sからの光を信号取得部900へと導くように構成される。光学部800は、顕微鏡装置610が生体由来試料Sを観察又は撮像することを可能とするように構成されうる。
【0100】
光学部800は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部800は、対物レンズによって拡大された像を信号取得部900に中継するためのリレーレンズを含んでもよい。光学部800は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。
【0101】
また、光学部800は、生体由来試料Sからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム(ウォラストンプリズム)、及び回折格子のうちの1又は2以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。
【0102】
(信号取得部)
信号取得部900は、生体由来試料Sからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部900は、当該電気信号に基づき、生体由来試料Sに関するデータを取得することができるように構成されてよい。信号取得部900は、生体由来試料Sの像(画像、特には静止画像、タイムラプス画像、又は動画像)のデータを取得することができるように構成されてよく、特に光学部800によって拡大された画像のデータを取得するように構成されうる。信号取得部900は、1次元又は2次元に並んで配列された複数の画素を備えている1つ又は複数の撮像素子、CMOS又はCCDなど、を含む撮像装置を有する。信号取得部900は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、AFなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部(CPU、DSP、及びメモリのうちの1つ、2つ、又は3つを含む)、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。更には、撮像素子は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出する非同期型のイベント検出センサを含み得る。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは1チップの半導体装置として構成されうる。
【0103】
(制御部)
制御部620は、顕微鏡装置610よる撮像を制御する。制御部620は、撮像制御のために、光学部800及び/又は試料載置部1000の移動を駆動して、光学部800と試料載置部との間の位置関係を調節しうる。制御部620は、光学部及び/又は試料載置部を、互いに近づく又は離れる方向(例えば対物レンズの光軸方向)に移動させうる。また、制御部は、光学部及び/又は試料載置部を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部は、撮像制御のために、光照射部700及び/又は信号取得部900を制御してもよい。
【0104】
(試料載置部)
試料載置部1000は、生体由来試料Sの試料載置部上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部1000は、生体由来試料Sの位置を、対物レンズの光軸方向及び/又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。
【0105】
(情報処理部)
情報処理部630は、顕微鏡装置610が取得したデータ(撮像データなど)を、顕微鏡装置610から取得しうる。情報処理部630は、撮像データに対する画像処理を実行しうる。当該画像処理は、色分離処理を含んでよい。当該色分離処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。
【0106】
情報処理部630は、制御部620に撮像制御のためのデータを送信してよく、当該データを受信した制御部620が、当該データに従い顕微鏡装置610による撮像を制御してもよい。
【0107】
情報処理部630は、汎用のコンピュータなどの情報処理装置として構成されてよく、CPU、RAM、及びROMを備えていてよい。情報処理部は、顕微鏡装置610の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。
【0108】
顕微鏡装置610による生体由来試料Sの撮像の方式は、生体由来試料Sの種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を以下に説明する。
【0109】
図17は、撮像方式の例を示す図である。
撮像方式の一つの例は以下のとおりである。顕微鏡装置610は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料Sが存在する領域全体をカバーするように特定されてよく、又は、生体由来試料Sのうちの目的部分(目的組織切片、目的細胞、又は目的病変部が存在する部分)をカバーするように特定されてもよい。次に、顕微鏡装置610は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置610は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。
【0110】
図17(A)に示されるように、顕微鏡装置610は、生体由来試料S全体をカバーする撮像対象領域Rを特定する。そして、顕微鏡装置610は、撮像対象領域Rを16の分割領域へと分割する。そして、顕微鏡装置610は分割領域R1の撮像を行い、そして次に、その分割領域R1に隣接する領域など、撮像対象領域Rに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域R以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。
【0111】
或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置610と試料載置部との位置関係が調整される。当該調整は、顕微鏡装置610の移動、試料載置部1000の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、2次元撮像素子(エリアセンサ)又は1次元撮像素子(ラインセンサ)であってよい。信号取得部900は、光学部を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置610及び/又は試料載置部1000を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置610及び/又は試料載置部1000の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び/又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
【0112】
また、情報処理部630は、隣り合う複数の分割領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
【0113】
撮像方式の他の例は以下のとおりである。顕微鏡装置610は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料Sが存在する領域全体をカバーするように特定されてよく、又は、生体由来試料Sのうちの目的部分(目的組織切片又は目的細胞が存在する部分)をカバーするように特定されてもよい。次に、顕微鏡装置610は、撮像対象領域の一部の領域(「分割スキャン領域」ともいう)を、光軸と垂直な面内における一つの方向(「スキャン方向」ともいう)へスキャンして撮像する。当該分割スキャン領域のスキャンが完了したら、次に、前記スキャン領域の隣の分割スキャン領域を、スキャンする。これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返される。
【0114】
図17(B)に示されるように、顕微鏡装置610は、生体由来試料Sのうち、組織切片が存在する領域(グレーの部分)を撮像対象領域Saとして特定する。そして、顕微鏡装置610は、撮像対象領域Saのうち、分割スキャン領域Rsを、Y軸方向へスキャンする。顕微鏡装置は、分割スキャン領域Rsのスキャンが完了したら、次に、X軸方向における隣の分割スキャン領域をスキャンする。撮像対象領域Saの全てについてスキャンが完了するまで、この動作が繰り返しされる。
【0115】
各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置610と試料載置部1000との位置関係が調整される。当該調整は、顕微鏡装置610の移動、試料載置部の移動、又は、これらの両方の移動により行われてよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、1次元撮像素子(ラインセンサ)又は2次元撮像素子(エリアセンサ)であってよい。信号取得部900は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置610及び/又は試料載置部1000を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離及び/又は露光時間などの撮像条件を変えて複数回撮像されてもよい。
【0116】
また、情報処理部630は、隣り合う複数の分割スキャン領域が合成して、より広い領域の画像データを生成しうる。当該合成処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、または合成処理を行った画像から、より解像度の低い画像データを生成しうる。
【0117】
なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0118】
また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
【0119】
なお、本開示は以下のような構成を取ることもできる。
[項目1]
生体由来試料を撮像した画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定する第1設定部と、
前記サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択する処理部と、
選択された前記参照画像を出力する出力部と、
を備えた医療用画像解析装置。
[項目2]
前記第1設定部は、前記解析対象領域においてランダムな位置に前記サンプル領域を設定する
項目1に記載の医療用画像解析装置。
[項目3]
前記第1設定部は、前記解析対象領域に均等な間隔で前記サンプル領域を設定する
項目1又は2に記載の医療用画像解析装置。
[項目4]
前記第1設定部は、前記サンプル領域における細胞核の密度に基づき、前記サンプル領域からサンプル領域を選択し、
前記処理部は、選択された前記サンプル領域の画像に基づき、前記参照画像を選択する
項目1~3のいずれか一項に記載の医療用画像解析装置。
[項目5]
前記第1設定部は、前記サンプル領域に含まれる細胞核の大きさに基づき、前記サンプル領域からサンプル領域を選択し、
前記処理部は、選択された前記サンプル領域の画像に基づき、前記参照画像を選択する
項目1~4のいずれか一項に記載の医療用画像解析装置。
[項目6]
前記第1設定部は、複数の前記サンプル領域をクラスタリングして複数のクラスタを生成し、前記クラスタから前記サンプル領域を選択し、
前記処理部は、前記クラスタから選択された前記サンプル領域の画像に基づき、前記参照画像を選択する
項目1~5のいずれか一項に記載の医療用画像解析装置。
[項目7]
前記第1設定部は、画像の複数の倍率のうち解析対象とする症例に応じた1つ以上の倍率を決定し、
前記第1設定部は、決定した前記倍率の前記画像の解析対象領域に前記サンプル領域を設定する
項目1~6のいずれか一項に記載の医療用画像解析装置。
[項目8]
前記処理部は、前記サンプル領域の画像と、前記参照画像との類似度を算出し、前記類似度に基づいて、前記参照画像を選択する
項目1~7のいずれか一項に記載の医療用画像解析装置。
[項目9]
前記処理部は、前記サンプル領域の画像の特徴量を算出し、前記特徴量と、前記参照画像の特徴量とに基づき、前記類似度を算出する
項目8に記載の医療用画像解析装置。
[項目10]
前記生体由来試料を撮像した前記画像の一部又は全部を表示する表示部と、
前記表示部に表示されている前記画像に前記解析対象領域を設定する第2設定部を備えた
項目1~9のいずれか一項に記載の医療用画像解析装置。
[項目11]
前記第2設定部は、前記表示部に表示されている画像のうち予め定めた範囲を前記解析対象領域とする
項目10に記載の医療用画像解析装置。
[項目12]
前記第2設定部は、操作者の指示情報に基づいて前記画像に前記解析対象領域を設定する
項目10又は11に記載の医療用画像解析装置。
[項目13]
前記出力部は、前記生体由来試料を撮像した前記画像の一部又は全部をアプリケーションの画面のうち第1画面部分に表示し、選択された前記参照画像を前記アプリケーションの画面のうち第2画面部分に表示する
項目8~12のいずれか一項に記載の医療用画像解析装置。
[項目14]
前記出力部は、前記類似度に応じた順序で、前記第2画面部分に、選択された前記参照画像を配置する
項目13に記載の医療用画像解析装置。
[項目15]
前記出力部は、前記サンプル領域のうち操作者の指示情報に基づいて1つのサンプル領域を選択し、選択した前記サンプル領域の画像との類似度に応じた順序で、前記第2画面部分に、選択された前記サンプル領域の画像と前記類似度が算出された前記参照画像を配置する
項目14に記載の医療用画像解析装置。
[項目16]
前記出力部は、前記第2画面部分に表示された前記参照画像のうち操作者の指示情報に基づいて1つの参照画像を選択し、
前記出力部は、選択した参照画像と、選択した前記参照画像との間で前記類似度が算出された前記サンプル領域を含む画像とを並べて表示する
項目14又は15に記載の医療用画像解析装置。
[項目17]
前記複数の参照画像は、前記複数の症例の臨床情報が関連付いており、
前記出力部は、選択された前記参照画像に関連する前記臨床情報をさらに出力する
項目1に記載の医療用画像解析装置。
[項目18]
生体由来試料を撮像する撮像装置と、
前記撮像装置により取得された画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定する第1設定部と、
前記サンプル領域の画像に基づき、複数の症例に関連付いた複数の参照画像から、少なくとも1つの参照画像を選択する処理部と、
選択された前記参照画像を出力する出力部と、
を備えた医療用画像解析システム。
[項目19]
コンピュータを、前記第1設定部、前記処理部及び前記出力部として機能させる、前記コンピュータに実行させるためのコンピュータプログラム
を備えた項目18に記載の医療用画像解析システム。
[項目20]
生体由来試料を撮像した画像の解析対象領域にアルゴリズムに基づきサンプル領域を設定し、
前記サンプル領域の画像に基づき、複数の症例が関連付いた複数の参照画像から、少なくとも1つの参照画像を選択し、
選択された前記参照画像を出力する
医療用画像解析方法。
【符号の説明】
【0120】
10 医療用画像解析装置
20 操作装置
30 類似症例データベース
40 診断データベース
100 医療用画像解析システム
106 領域
107 解析対象領域
107_1 解析対象領域
109A 小領域
109B 小領域
109C 小領域
109D 小領域
111~116、121~126 小片画像
128、129 表示領域
131~133、135 小領域
136 枠線
G1 病理組織閲覧画面
G2 症例情報画面
G3 解析画面(解析ウィンドウ)
141 円グラフ
142 棒グラフ
200 解析対象領域設定部(第2設定部)
300 小領域設定部(第1設定部)
400 出力部
410 病理組織画像表示部
420 症例情報表示部
500 類似症例検索部
600 顕微鏡システム(医療用画像解析システム)
610 顕微鏡装置
620 制御部
630 情報処理部
700 光照射部
800 光学部
900 信号取得部
1000 試料載置部
【手続補正書】
【提出日】2021-05-31
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
【
図1】本開示の実施形態に係る医療用画像解析装置を含む医療用画像解析システムのブロック図。
【
図3】解析対象領域に複数の小領域(サンプル領域)を設定する例を示す図。
【
図4】類似度の降順に、小領域の検索結果を並べる例を示す図。
【
図5】症例情報表示部により表示される症例情報画面の例を示す図。
【
図6】
図5の画面を閲覧しているユーザが、表示する症例情報を切り替えた例を示す図。
【
図7】閲覧中の病理組織画像に対応する臨床情報等又は統計情報等を表示する例を模式的に示す図。
【
図8】過去の症例の小片画像と、病理組織画像とを左右に並べて表示した例を示す図。
【
図10】本開示の解析装置の全体動作例を概略的に示すフローチャート。
【
図11】病理組織画像表示部及び解析対象領域設定部の詳細な動作例を示すフローチャート。
【
図12】小領域設定部の詳細な動作例を示すフローチャート。
【
図13】類似症例検索部の詳細な動作例を示すフローチャート。
【
図14】ユーザが症例情報画面において類似症例の小片画像を選択した場合に行う表示動作例を示すフローチャート。
【
図15】類似症例検索部が類似症例の情報を解析し、解析した結果を症例情報表示部で表示する場合の動作例を示すフローチャート。
【
図16】本開示の解析システムの構成の一例を示す図。