(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
<基礎となった知見>
近年、画像診断の分野では撮影画像および読影レポートのデジタル化が進み、医師が大量のデータを共有することが容易になっている。これらのデータの二次利用の一つとして、蓄積されたデータの中から診断対象となる読影画像に対する類似症例を提示することにより、診断に関する意思決定を支援する取組みが期待されている。
【0012】
医用画像を検索する際、画像中の関心領域をユーザが指定し、指定された関心領域内の画像特徴情報が類似した画像を検索する方法が一般的である。しかし、この方法では関心領域内にユーザが着目する病変以外の画像領域が含まれるため、病変と類似した画像が検索されるとは限らないという問題がある。この問題を解決する従来技術として、特許文献1では、ユーザが指定した関心領域内から病変領域の抽出処理を行い、抽出された病変領域の画像特徴情報と類似した画像を検索する技術について開示されている。すなわち、特許文献1に記載の方法では、関心領域の設定がユーザによってばらついた場合であっても、関心領域内に病変領域が含まれていれば、病変と類似した症例を検索することができる。
【0013】
ここで、病変は、その分布状態に着目したとき、限局性病変とびまん性病変とに分けられる。限局性病変とは、結節や腫瘤のように器官内の特定部位に集約された病変である。一方、びまん性病変とは、広範なスリガラス影のように器官内に広く分布した病変である。
【0014】
ある医用画像に対して関心領域を設定して類似症例を検索する際、限局性病変に対しては、病変全体が収まるように関心領域を設定することができる。一方、画像全体に疾患が広がるびまん性病変の場合は、病変全体を指定することが難しいため、病変の一部に関心領域が設定される。ところが、例えば特許文献1に記載の方法では、対象病変が限局性病変であるかびまん性病変であるかを区別していないため、びまん性病変のように器官内に広く分布する病変の一部に関心領域が設定された場合は、病変全体の画像特徴情報を適切に抽出することができないため、類似症例の検索精度が低下してしまう。
【0015】
そこで、本開示の第1態様では、対象部位の複数の断層画像を含む断層画像セットを取得する画像セット取得部と、前記複数の断層画像に含まれる断層画像を、各断層画像を特定する断層画像位置番号が増加する第1の順に閲覧する第1操作指示と、前記複数の断層画像に含まれる断層画像を前記断層画像位置番号が減少する第2の順に閲覧する第2操作指示を受付ける操作指示受付部と、前記第1操作指示を受け付けた直後に前記第2操作指示を受け付ける第1状態、または、前記第2操作指示を受け付けた直後に前記第1操作指示を受け付ける第2状態である方向転換が起こったとき、前記第1状態に含まれる前記第1操作指示を含む連続した第1操作指示で、連続して閲覧された断層画像の枚数、または、前記第2状態に含まれる前記第2操作指示を含む連続した第2操作指示で、連続して閲覧された断層画像の枚数である一方向閲覧数を取得し、記録する画像枚数取得部と、前記一方向閲覧数の変化を基にして、前記対象部位が限局性病変であるか、びまん性病変であるかを判定する局所性判定部とを含み、前記断層画像位置番号は対応する断層画像の断層面が前記対象部位の特定箇所に近いほど小さい値をとる。
【0016】
この態様により、断層画像セットの閲覧履歴から、対象部位が限局性病変であるか、びまん性病変であるかを判定することができる。
【0017】
本開示の第2態様では、第1態様の病変判定装置において、前記局所性判定部は、前記方向転換の発生に伴って前記一方向閲覧数が単調減少しているときは、限局性病変であると判定し、そうでないときは、びまん性病変であると判定する。
【0018】
本開示の第3態様では、第2態様の病変判定装置において、前記局所性判定部は、前記一方向閲覧数が所定数以下の場合は、当該一方向閲覧数を判定の対象から除外する。
【0019】
本開示の第4態様では、第1態様の病変判定装置において、前記局所性判定部は、前記断層画像セットの表示がスタートしてから、3回目の方向転換に係る前記一方向閲覧数を所定の閾値として設定し、4回目以降の方向転換に係る前記一方向閲覧数が前記所定の閾値以下であるときは、限局性病変であると判定し、そうでないときは、びまん性病変であると判定する。
【0020】
本開示の第5態様では、第1態様の病変判定装置において、前記画像枚数取得部は、前回の方向転換から所定時間内に再度方向転換が行われたとき、前回および今回の方向転換は起こらなかったものとする。
【0021】
本開示の第6態様では、医用画像を含む症例データを複数登録した症例データベースから、類似症例を検索する類似症例検索装置は、第1態様の病変判定装置と、前記断層画像に対する関心領域の設定を受け付ける関心領域受付部と、前記局所性判定部によって、限局性病変と判定されたときは、前記関心領域内から画像特徴情報を抽出する一方、びまん性病変と判定されたときは、前記関心領域および前記関心領域外を含む画像領域から画像特徴情報を抽出する画像特徴情報抽出部と、前記画像特徴情報抽出部によって抽出された画像特徴情報と、前記症例データべースに登録された症例データに含まれた医用画像から抽出された画像特徴情報とを比較することによって、類似する症例データを前記症例データベースから検索する類似症例検索部と、を備える。
【0022】
この態様により、びまん性病変について、より適切に病変領域の画像特徴情報を抽出することができ、精度の高い類似症例検索を行うことが可能になる。
【0023】
本開示の第7態様では、第6態様の類似症例検索装置において、前記画像特徴情報抽出部は、前記局所性判定部によってびまん性病変と判定されたとき、前記関心領域を含む器官内領域全体から、画像特徴情報を抽出する。
【0024】
この態様により、症例データベースに蓄積された症例が少ない場合であっても、びまん性病変に対して検索意図と合致した類似症例を検索することが可能になる。
【0025】
本開示の第8態様では、第6態様の類似症例検索装置において、前記関心領域受付部は、前記局所性判定部によって限局性病変と判定された場合にのみ、関心領域の設定を受け付ける。
【0026】
本開示の第9態様では、第6態様の類似症例検索装置において、前記局所性判定部によってびまん性病変と判定されたとき、前記関心領域を設定した画像の画素値に対して、前記関心領域を中心とした重み付けを行う画像重み設定部を備えている。
【0027】
本開示の第10態様では、第6〜9態様のいずれかの類似症例検索装置において、前記類似症例検索部によって取得された症例データを外部に出力する出力部を備えている。
【0028】
本開示の第11態様では、対象部位の複数の断層画像を含む断層画像セットを取得するステップと、前記複数の断層画像に含まれる断層画像を、各断層画像を特定する断層画像位置番号が増加する第1の順に閲覧する第1操作指示と、前記複数の断層画像に含まれる断層画像を前記断層画像位置番号が減少する第2の順に閲覧する第2操作指示を受付けるステップと、前記第1操作指示を受け付けた直後に前記第2操作指示を受け付ける第1状態、または、前記第2操作指示を受け付けた直後に前記第1操作指示を受け付ける第2状態である方向転換が起こったとき、前記第1状態に含まれる前記第1操作指示を含む連続した第1操作指示で、連続して閲覧された断層画像の枚数、または、前記第2状態に含まれる前記第2操作指示を含む連続した第2操作指示で、連続して閲覧された断層画像の枚数である一方向閲覧数を取得し、記録するステップと、前記一方向閲覧数の変化を基にして、前記対象部位が限局性病変であるか、びまん性病変であるかを判定するステップを含み、前記断層画像位置番号は前記対象部位の特定箇所に近いほど小さい値をとる。
【0029】
本開示の第12態様では、コンピュータによって、医用画像を含む症例データを複数登録した症例データベースから、類似症例を検索する方法は、第11態様の病変判定方法を行い、前記断層画像に対する関心領域の設定を受け付け、前記病変判定方法によって、限局性病変と判定されたときは、前記関心領域内から画像特徴情報を抽出する一方、びまん性病変と判定されたときは、前記関心領域および前記関心領域外を含む画像領域から画像特徴情報を抽出し、抽出された画像特徴情報と、前記症例データべースに登録された症例データに含まれた医用画像から抽出された画像特徴情報とを比較することによっって、類似する症例データを前記症例データベースから検索する。
【0030】
本開示の第13態様は、プログラムが、コンピュータに、第11態様の病変判定方法を実行させる。
【0031】
本開示の第14態様は、プログラムが、コンピュータに、第12態様の類似症例検索方法を実行させる。
【0032】
本開示の第15態様は、共通する法線方向を有する複数の断層画像を、所定方向に順に閲覧する操作指示と、前記所定方向とは反対方向に順に閲覧する操作指示とを、受付ける操作指示受付部と、前記操作指示受付部が受け付けた操作指示によって、閲覧方向が変化する方向転換が起こったとき、前記方向転換までに同一方向において連続して閲覧された前記断層画像の枚数である一方向閲覧数が単調減少しているときは、限局性病変であると判定し、単調減少していないときは、びまん性病変であると判定する局所性判定部とを備える。
【0033】
本開示の第16態様は、医用画像を含む症例データを複数登録した症例データベースから、類似症例を検索する類似症例検索装置であって、第15態様の病変判定装置と、前記断層画像に対する関心領域の設定を受け付ける関心領域受付部と、前記局所性判定部によって、限局性病変と判定されたときは、前記関心領域内から画像特徴情報を抽出する一方、びまん性病変と判定されたときは、前記関心領域および前記関心領域外を含む画像領域から画像特徴情報を抽出する画像特徴情報抽出部と、前記画像特徴情報抽出部によって抽出された画像特徴情報と、前記症例データべースに登録された症例データに含まれた医用画像から抽出された画像特徴情報とを比較することによって、類似する症例データを前記症例データベースから検索する類似症例検索部とを備える。
【0034】
本開示の第17態様は、第16態様の類似症例検索装置において、前記関心領域受付部は、前記局所性判定部によって限局性病変と判定された場合にのみ、関心領域の設定を受け付ける。
【0035】
本実施の形態で用いる用語を説明する。
【0036】
「画像特徴情報」とは、医用画像における臓器や病変部分の形状に関するもの、輝度分布に関するものなどを示す。画像特徴情報として、例えば、非特許文献1に490種類の特徴量(特徴情報)を用いることが記載されている。本開示においても、使用した医用画像撮影装置(モダリティ)、対象臓器ごとに予め定めた数十〜数百種の画像特徴情報を用いるものとする。
【0037】
また、本開示における医用画像は、超音波画像、CT(Computed Tomography)画像、または核磁気共鳴(MRI:Magnetic Resonance Imaging)画像等を含む。
【0038】
また、「限局性病変」とは、器官内の狭い範囲内に限られて存在している病変のことであり、「びまん性病変」とは、器官内の広範囲にわたって存在している病変のことである。
【0039】
(実施の形態1)
<装置の構成>
図1は実施の形態1に係る類似症例検索装置100の機能構成を示すブロック図である。
【0040】
図1の類似症例検索装置100は、医用画像を含む症例データを複数登録した症例データベース101から、読影者の読影結果に応じた、類似する症例データを検索する装置である。
図1に示すように、類似症例検索装置100は、画像セット取得部102、操作指示受付部103、画像枚数取得部104、関心領域受付部105、局所性判定部106、画像特徴情報抽出部107、類似症例検索部108、および出力部109を備える。なお、本開示における病変判定装置は、画像セット取得部102、操作指示受付部103、画像枚数取得部104および局所性判定部106を備えている。
【0041】
以下、
図1に示した症例データベース101および類似症例検索装置100の各構成要素の詳細について順に説明する。
【0042】
症例データベース101は、例えばハードディスク、メモリ等からなる記憶装置であり、読影者に提示する読影対象の画像を示す読影画像データと、その読影画像データに対応する読影情報とから構成される症例データを記憶している。ここで、読影画像データとは、画像診断のために用いられる画像データであり、電子媒体に格納された画像データを示す。また、読影情報とは、読影画像データに付属する情報であり、例えば読影画像データの読影結果に加え、画像診断後に行われる生検等の各種検査情報の結果や、臨床診断の結果などの文書データを含む。
【0043】
画像セット取得部102は、読影者が診断を行う断層画像セットを取得する。断層画像セットとは、CTやMRI等によって人体の対象部位を所定方向に向かってスライスして得られた複数枚の断層画像群を示す。すなわち断層画像セットでは、対象部位の複数の断層画像が所定方向に向かって順に並べられている。画像セット取得部102は、取得した断層画像セットを、操作指示受付部103及び関心領域受付部105に出力する。
【0044】
操作指示受付部103は、断層画像セットを表示画面上に表示する場合において、表示順に関する操作指示を受け付ける。具体的には、断層画像を所定方向に順に閲覧する操作指示と、断層画像を所定方向とは反対方向に順に閲覧する操作指示とを受け付ける。そして操作指示受付部103は、操作指示による閲覧方向とこの操作指示を受け付けた時刻とを組にして、画像枚数取得部104に出力する。
【0045】
ここでの操作指示は例えば、マウス等の操作デバイスの出力信号によって行われる。例えば、マウススクロールを用いて断層画像の表示を操作する場合では、上スクロールの操作指示信号によって例えば足から頭方向に断層画像が表示され、逆に下スクロールでは例えば頭から足方向に断層画像が表示される。このとき、操作指示受付部103は、マウスのスクロール方向とその操作時刻を取得し、画像枚数取得部104に出力する。
【0046】
画像枚数取得部104は、断層画像の表示枚数を計数する。そして、操作指示受付部103から操作指示の情報を受けて、操作指示によって閲覧方向が変化する方向転換が起こったとき、そのときの時刻である方向転換時刻と、今回の方向転換までに同一方向において連続して閲覧された断層画像の枚数である一方向閲覧数とを取得し、記録する。
【0047】
関心領域受付部105は、表示された断層画像に対して設定された関心領域の座標を取得し、局所性判定部106に出力する。ここで、関心領域とは、表示画像内に設定された特定の画像領域であり、この領域と類似した画像形態を持つ症例を検索する際に設定される。また、関心領域は複数の画素を含む領域である。例えば矩形や円などで指定され、矩形の場合は始点と終点の座標を関心領域座標として出力する。
【0048】
局所性判定部106は、関心領域受付部105から関心領域座標を取得した際、画像枚数取得部104によって記録された方向転換時刻および一方向閲覧数を参照し、方向転換の発生に伴う一方向閲覧数の変化を基にして、対象部位が限局性病変であるか、びまん性病変であるかを判定する。例えば、方向転換の発生に伴って、一方向閲覧数が単調減少しているときは、限局性病変であると判定し、そうでないときは、びまん性病変であると判定する。この判定結果は画像特徴情報抽出部107に出力される。
【0049】
なお、表示対象である複数の断層画像の各々は断層画像位置番号で特定されてもよい。また、断層画像位置番号は対応する断層画像の断層面が対象部位の特定箇所に近いほど(特定箇所を示す点と断層面の間の距離が小さいほど)小さい値をとるようにしてもよい。
【0050】
操作指示受付部103は表示対象である複数の断層画像に含まれる断層画像を、各断層画像を特定する断層画像位置番号が増加する第1の順に閲覧する第1操作指示と、表示対象である複数の断層画像に含まれる断層画像を断層画像位置番号が減少する第2の順に閲覧する第2操作指示を受付けてもよい。画像枚数取得部104は第1操作指示を受け付けた直後に第2操作指示を受け付ける第1状態、または、第2操作指示を受け付けた直後に第1操作指示を受け付ける第2状態である方向転換が起こったとき、第1状態に含まれる第1操作指示を含む連続した第1操作指示で、連続して閲覧された断層画像の枚数、または、第2状態に含まれる前記第2操作指示を含む連続した第2操作指示で、連続して閲覧された断層画像の枚数である一方向閲覧数を取得し、記録してもよい。
【0051】
ここで、一方向閲覧数の変化によって、限局性病変とびまん性病変とを判別できる理由について説明する。
【0052】
図2は肺CT画像の症例に対して、関心領域を設定するまでの画像閲覧履歴をプロットした図であり、(a)は限局性病変、(b)はびまん性病変である。限局性病変およびびまん性病変のそれぞれについて、3症例ずつプロットしている。グラフの縦軸は相対画像位置、横軸は操作時刻である。各症例の断層画像枚数は異なっていたため、縦軸は相対的な画像位置を示している。例えば、相対画像位置の0は頭側の最初の断層画像であり、−1は足側の最後の画像である。
【0053】
この閲覧履歴を比較すると、限局性病変の症例群は、時間が経過するにつれて振幅(一方向閲覧数に相当)が収束している。これは、病変領域が局所に集約されているため、関心領域の設定が少数の画像枚数の範囲で行われるからである。一方、びまん性病変の症例群は、時間が経過しても振幅が収束していない。これは、病変領域が広い範囲に分布しており、関心領域の設定が広範な画像枚数の範囲で行われるからである。
【0054】
このように考えると、関心領域を設定するまでの画像閲覧履歴が収束するか否かを見ることによって、限局性病変とびまん性病変を判別することができる。収束判定方法としては、例えば画像閲覧履歴において、振幅すなわち一方向閲覧数が単調減少するか否かで判定することができる。
【0055】
図3は
図2の閲覧履歴を一方向閲覧数の時間変化として表現した概念図である。
図3に示すように、限局性病変の症例の場合は一方向閲覧数が単調減少するが、びまん性病変の症例では単調減少しない。このように、一方向閲覧数の時間変化を利用することによって、限局性病変とびまん性病変とを判別することが可能になる。なお、限局性病変とびまん性病変との詳細な判定方法については後述する。
【0056】
なお、本実施形態では、断層画像セットの閲覧履歴として、方向転換時刻と一方向閲覧数とを記録するものとしているが、局所性判定のためには、方向転換の発生に伴う一方向閲覧数の変化が把握できればよい。したがって、方向転換の時刻自体は必ずしも記録の必要はない。例えば、何回目の方向転換かという回数情報と、一方向閲覧数とを閲覧履歴として記録してもよい。
【0057】
図1に戻り、画像特徴情報抽出部107は、局所性判定部106によって限局性病変と判定されたときは、関心領域受付部105から取得した関心領域内の画像領域から画像特徴情報を抽出する一方、局所性判定部106によってびまん性病変と判定されたときは、関心領域内の画像領域に加え、関心領域外の領域からも画像特徴情報を抽出する。抽出された画像特徴情報は類似症例検索部108に出力される。画像特徴情報の抽出方法については後述する。
【0058】
限局性病変は器官内の狭い範囲に集積するため、関心領域は病変全体を囲う形で設定される。そのため、限局性病変に対して類似症例を検索する場合は、関心領域内の画像領域が類似している症例を検索する必要がある。一方、びまん性病変は器官内の広範囲にわたって存在している病変であるため、関心領域は病変の一部に対して設定される。そのため、びまん性病変の場合は、関心領域外の領域からも画像特徴情報を抽出して類似症例を検索する必要がある。
【0059】
類似症例検索部108は、画像特徴情報抽出部107によって取得された画像特徴情報と、症例データベース101に登録された症例データに含まれた医用画像から抽出された画像特徴情報とを比較することによって、類似する症例データを症例データベース101から検索する。具体的な類似症例の取得方法は後述する。
【0060】
出力部109は、類似症例検索部108によって取得された症例データを、類似症例検索装置100の外部、例えば出力媒体に出力する。
【0061】
次に、以上のように構成された類似症例検索装置100の動作について説明する。
【0062】
<動作>
図4は
図1の類似症例検索装置100が実行する処理の全体的な流れを示すフローチャートである。
【0063】
まず、画像セット取得部102は、読影者が診断を行う断層画像セットを取得する(ステップS101)。この断層画像セットは、例えば症例データベース101から取得してもいいし、あるいは、他の媒体から取得してもかまわない。画像セット取得部102は、取得した断層画像セットを、操作指示受付部103及び関心領域受付部105に通知する。
【0064】
次に、操作指示受付部103および画像枚数取得部104は、表示した断層画像セットに関する閲覧履歴、すなわち方向転換時刻および一方向閲覧数を取得する(ステップS102)。
【0065】
図5はステップS102において、新たな断層画像が表示される毎に行われる処理を示すフローチャートである。まず、操作指示受付部103が、操作指示信号を取得する(ステップS201)。
図6は操作指示信号の例を説明するための図である。
図6(a)では、肺領域LAの病変51に対して断層画像L1〜L3を含む断層画像セットが与えられている。
【0066】
また、各々の断層画像には、仮想ラインに沿う順に断層画像を特定する断層画像位置番号を対応付けてもよい。例えば、仮想ラインは対象部位(例えば、肺)の断層画像の断層面に垂直な直線である。
【0067】
対象部位の特定の断層画像、例えば、足にもっと近い断層面の断層画像、に最も小さい断層画像位置番号(例えば「1」)を与えて、その断層面から離れる従い、断層画像の断層画像位置番号を増加させるようにしてもよい。逆に、対象部位の特定の断層画像、例えば、頭にもっと近い断層面の断層画像、に最も小さい断層画像位置番号(例えば「1」)を与えて、その断層面から離れる従い、断層画像の断層画像位置番号を増加させるようにしてもよい。
【0068】
図6(a)では断層画像L1、L2、L3のうち、肺領域LAのP点(肺領域LAで最も足に近い点)にもっと近い距離を有する断層画像L1に、もっとも小さい断層画像位置番号である1が付与された例を示している。また、断層画像L1、L2、L3のうち、2番目に肺領域LAのP点に近い距離を有する断層画像L2には断層画像位置番号2が付与されている。さらに、断層画像L1、L2、L3のうち、3番目に肺領域LAのP点に近い距離を有する断層画像L3には断層画像位置番号3が付与されている。なお、肺領域LAで最も頭に近い点をP点してもよい。
【0069】
図6(b)に示すように、ユーザが断層画像セットに対して、断層画像L3→断層画像L2→断層画像L1→断層画像L2の順、すなわち、断層画像位置番号3→断層画像位置番号2→断層画像位置番号1→断層画像位置番号2の順に閲覧を行った場合、操作指示信号として、a→a→a→bが取得される。aは順方向、bは逆方向を示す。操作指示信号としては、例えばマウス等の操作信号が用いられる。
【0070】
次に、画像枚数取得部104は、ステップS201で操作指示受付部103が取得した操作指示信号について、閲覧方向が前回受け付けた操作指示信号から変化したか否かを判定する(ステップS202)。変化していないとき(S202でNO)は、ステップS203に進み、記録している画像枚数を更新する、すなわち1枚増加させる。なお、最初に操作指示信号を受け付けた場合は、操作指示信号の変化は無いと判断し、ステップS203へ進めばよい。一方、閲覧方向が変化したとき(S202でYES)は、ステップS204に進み、記録している画像枚数を一方向閲覧数として記録するとともに、このときの操作時刻を方向転換時刻として記録する。
図6の場合には、一方向閲覧数は3となる。そして、ステップS205において、画像枚数をリセットする。具体的には画像枚数を1にする。
【0071】
図7は
図5の処理の結果を示す概念図である。
図7(a)に示すような閲覧履歴があったとき(開始時刻t0、関心領域設定時刻t3、方向転換時刻t1,t2,t3)、
図5の処理を繰り返し実行することによって、
図7(b)のような閲覧履歴データが記録される。例えば、方向転換時刻t2において、一方向閲覧数として|n2−n1|が記録される。
【0072】
なお、マウス等の操作ミスの影響を除去するために、前回の方向転換からごく短時間の間に再度方向変換が行われた場合には、これらの方向転換を閲覧履歴から除外するようにしてもかまわない。すなわち、マウス等で画像を閲覧する際、例えばスクロールの誤操作によってユーザの意図とは関係なく閲覧方向が変化してしまう場合がある。このような場合に、
図5のステップS204で一方向閲覧数を記録してしまうと、誤った局所性判定が行われる可能性がある。
【0073】
また、このような誤操作が起こった場合、ユーザが操作を修正するためごく短時間の間に再度閲覧方向が変化する可能性が高い。したがって、画像枚数取得部104は、前回の方向転換から所定時間内に方向転換が行われた場合には、前回および今回の方向転換は起こらなかったものとし、引き続き画像枚数の更新を行うようにしてもよい。これにより、ユーザの誤操作により、間違った局所性判定が行われることを防止することができる。なお、ここで設定する所定時間は、例えば、マウス操作を誤ってから修正するまでにかかる平均的な時間、例えば0.1秒程度とすればよい。
【0074】
図4のフローに戻る。関心領域受付部105は表示された断層画像に対して設定された関心領域の座標を取得し、局所性判定部106に通知する(ステップS103)。
【0075】
図8に関心領域の設定方法の一例を示す。関心領域とは、ユーザが断層画像中に設定する任意の領域であり、類似症例検索装置100は設定された関心領域内の画像特徴と類似した画像特徴を持つ症例を検索する。
図8は矩形で関心領域を設定する一例である。この場合は、関心領域80の頂点座標81を取得し、局所性判定部106に通知すればよい。また、他の領域設定方法としては、例えば円形の領域指定方法でも構わない。この場合は中心座標と半径を取得し、局所性判定部106に通知すればよい。
【0076】
次に、局所性判定部106は、ステップS102で記録された画像閲覧履歴、すなわち方向転換時刻および一方向閲覧数を参照し、対象部位が限局性病変であるか、びまん性病変であるかを判定する(ステップS104)。
【0077】
図9はステップS104、すなわち局所性判定部106における局所性判定処理の一例を示すフローチャートである。
【0078】
まず、局所性判定部106は、画像閲覧履歴、すなわち方向転換時刻および一方向閲覧数を取得する(ステップS301)。そして、方向転換時刻に対して一方向閲覧数が単調減少しているか否かを判定する(ステップS302)。そして、単調減少しているときは(S302でYES)限局性病変と判定し(ステップS303)、単調減少していないときは(S302でNO)びまん性病変と判定する(ステップS304)。単調減少の判定は例えば次のように行えばよい。すなわち、各方向転換時刻の一方向閲覧数を前回の方向転換時刻における一方向閲覧数から減じ、その減算結果である差分値が全て正の値であれば単調減少であると判定し、それ以外の場合は単調減少でないと判定すればよい。
【0079】
なお、一方向閲覧数が所定数以下の場合は、当該一方向閲覧数を判定の対象から除外してもよい。例えば、関心領域を設定する直前において、数枚の画像を何度も繰り返し閲覧するという検索行動が行われる場合がある。このような場合、一方向閲覧数は微増減すると予想されるが、これは限局性病変やびまん性病変に起因する行動ではないため、このデータを用いて局所性判定を行った場合は、誤った判定を行う可能性が高くなる。したがって、所定数以下の一方向閲覧数のデータについては、局所性判定の対象から外すことによって、より精度の高い局所性判定を行うことが可能になる。なお、ここで設定する枚数は、例えば、ユーザが関心領域を設定する際に通常繰り返し閲覧する画像枚数、例えば5枚程度とすればよい。
【0080】
そして、局所性判定部106は、ステップS303またはステップS304の判定結果を画像特徴情報抽出部107へ通知する(ステップS305)。
【0081】
なお、上述した局所判定方法以外にも、画像閲覧履歴を用いて限局性病変を判定することができる。
図10はステップS104、すなわち局所性判定部106における局所性判定処理の他の例を示すフローチャートである。なお、
図9と共通のステップには同一の符号を付している。また、
図11は
図10の方法を説明するための図であり、
図2と同様に画像閲覧履歴の例を示すグラフである。(a)は限局性病変、(b)はびまん性病変である。
【0082】
断層画像を読影する場合、ユーザはまず先頭画像からスタートして最終画像まで全ての画像を閲覧し、次に病変のある画像まで戻り、その病変について詳しく閲覧を行う。すなわち、
図11において、第一転換点は、全画像を閲覧し終わった時点を示し、第二転換点は病変位置の上限、第三転換点は病変位置の下限を示すものと考えられる。
【0083】
ここで、
図11(a)に示すように、限局性病変の場合は病変が一か所に集積するため、第三転換点以降の断層画像の閲覧は、第二転換点における画像位置(病変の上限位置)と第三転換点における画像位置(病変の下限位置)との間に収まる。言い換えると、第三転換点以降では、一方向閲覧数が第三転換点の一方向閲覧数を超えることはない。一方、
図11(b)に示すように、びまん性病変の場合は病変が器官内に広く分布しているため、第三転換点以降の断層画像の閲覧は、第二転換点における画像位置(病変の上限位置)と第三転換点における画像位置(病変の下限位置)との間には必ずしも収まらないと言える。
図10に示す判定方法では、このような限局性病変とびまん性病変との特性の違いを利用している。
【0084】
まず、局所性判定部106は、画像閲覧履歴、すなわち方向転換時刻および一方向閲覧数を取得する(ステップS301)。そして、ステップS301で取得した画像閲覧履歴から、第三転換点における一方向閲覧数を閾値Aとして取得する(ステップS311)。この閾値Aは、断層画像セットの表示がスタートしてから3回目の方向転換に係る一方向閲覧数であり、第二転換点から第三転換点までの断層画像の枚数に相当する。
【0085】
次に、局所性判定部106は、第四転換点以降の一方向閲覧数が閾値A以下であるか否かを判定する(ステップS312)。そして、全てA以下のときは限局性と判定し(ステップS303)、Aを超える一方向閲覧数があるときはびまん性と判定する(ステップS304)。
【0086】
そして、局所性判定部106は、ステップS303またはステップS304の判定結果を画像特徴情報抽出部107へ通知する(ステップS305)。
【0087】
図4のフローに戻る。画像特徴情報抽出部107は、局所性判定部106によって限局性病変と判定された場合は、関心領域受付部105によって取得した関心領域内の画像領域から画像特徴情報を抽出し、局所性判定部106によってびまん性病変と判定された場合は、関心領域内の画像領域に加え、関心領域外の領域からも画像特徴情報を抽出する(ステップS105)。
【0088】
なお、関心領域外の領域としては、例えば、関心領域を設定した画像における診断対象の器官内全体(肺の場合は肺領域全体)を設定すればよい。例えば、非特許文献2に記載の画像処理方法を用いることによって、自動的に肺領域を抽出することができる。びまん性病変は器官内に占める病変領域が広いため、器官内全体から画像特徴情報を抽出することによって、関心領域を設定した画像の病変領域に合致した類似症例を、より精度高く検索することができる。
【0089】
そして、類似症例検索部108は、画像特徴情報抽出部107によって取得した画像特徴情報を用いて、類似する症例データを症例データベース101から取得する(ステップS106)。具体的な類似度の算出方法としては、例えば、画像特徴情報抽出部107によって取得した画像特徴情報をベクトル表現した画像特徴情報ベクトルと、症例データベース101内に記憶されている他の症例データに含まれた医用画像の関心領域の画像特徴情報ベクトルとのコサイン距離を類似度として算出し、コサイン距離が閾値以上の症例を類似症例として取得すればよい。
【0090】
出力部109は、類似症例検索部108によって取得された症例データを、類似症例検索装置100の外部に出力する(ステップS108)。
【0091】
以上説明したように、
図4に示すような処理を実行することによって、類似症例検索装置100は、検索対象部位が限局性病変かびまん性病変であるかを判定し、この判定結果を用いて、適切に病変領域の画像特徴情報を抽出できるため、精度の高い類似症例検索を行うことが可能になる。
【0092】
なお、関心領域受付部105は、局所性判定部106によって限局性病変と判定された場合にのみ、関心領域の設定を受け付けるようにしてもかまわない。すなわち、本実施の形態では、例えば、びまん性病変に対しては、設定した関心領域だけではなく、器官内領域全体から画像特徴情報を抽出している。この場合、びまん性病変に対して関心領域を設定する操作が不要になる。そこで例えば、類似症例検索装置100において、類似症例検索ボタンが押下されたときは、限局性病変と判定された場合にのみ関心領域を設定可能にする、というような制御を加えればよい。これにより、びまん性病変に対して操作手順を減らすことが可能になる。
【0093】
以上のように本実施の形態によると、びまん性病変と限局性病変が混在する症例に対しても、精度の高い類似症例検索を行うことが可能になる。
【0094】
(実施の形態2)
図12は実施の形態2に係る類似症例検索装置200の機能構成を示すブロック図である。
図12において、
図1と実質的に同じ構成要素については同じ符号を付しており、詳細な説明を省略する場合がある。
図12の類似症例検索装置200は、局所性判定部106から取得した判定結果に応じて、関心領域受付部105から取得した画像に対して重みを設定する画像重み設定部201を有している。すなわち、本実施の形態では、局所性判定の結果に応じて、関心領域が設定された画像に対して重みを付与する特徴を有する。
【0095】
上述の実施の形態1では、局所性判定の結果に応じて、画像特徴情報を抽出する領域を変化させるものとした。具体的には、限局性病変に対しては関心領域内から画像特徴情報を抽出する一方、びまん性病変に対しては関心領域および関心領域外を含む画像領域、例えば関心領域を含む器官内領域全体から画像特徴情報を抽出していた。この方法によると、症例データベース101に十分な過去症例が蓄積されている場合には、病変全体の形態が類似する症例が多数検索されるため、有効な類似症例検索を行うことができる。しかし、症例データベース101に十分な過去症例が蓄積されていない場合は、びまん性病変のように病変形態の分散が大きい症例に対しては、病変の一部だけが似ている症例も検索結果に含まれることになる。ここで、ユーザの意図とは異なる画像特徴の類似性が強く反映されると、ユーザの検索意図と反した症例が検索されることになり、検索精度の低下を招く。この精度低下を防ぐためには、びまん性病変に対しても、抽出される画像特徴情報に関心領域の病変形態を適切に反映させることが必要になる。
【0096】
そこで本実施の形態に係る類似症例検索装置200は、局所性判定部106から取得した判定結果に応じて、検索対象となる画像に対して画像重みを設定する画像重み設定部201を備えている。画像重み設定部201は、局所性判定部106によってびまん性と判定されたとき、関心領域受付部105から取得した画像の画素値に対して関心領域を中心とした重み付けを行い、画像特徴情報抽出部107に出力する。これにより、症例データベース101に十分な症例が蓄積されていない場合であっても、ユーザの意図に合致した類似症例を検索することが可能になる。具体的な重み付け方法については後述する。
【0097】
図13は
図12の類似症例検索装置200が実行する処理の全体的な流れを示すフローチャートである。
図13において、
図4と実質的に同じステップについては同じ符号を付しており、詳細な説明を省略する場合がある。
【0098】
ステップS104における局所性判定の後、画像重み設定部201は、局所性判定部106によってびまん性と判定された場合は、関心領域受付部105から取得した画像の画素値に対して関心領域を中心とした重み付けを行う(ステップS401)。
【0099】
具体的な重み付け方法としては、例えば、関心領域の中心座標からの距離に応じて値が小さくなる重み係数を用いて、画素値の更新を行えばよい。
図14は画像重みの概念図であり、(a)は限局性病変、(b)はびまん性病変である。
図14(b)に示すように、びまん性病変の場合は、関心領域を中心にして不均等に重み付けを行うことによって、関心領域の中心の画素値が強調された上で、関心領域外の画素値も考慮した類似症例を検索することができる。このため、症例データベース101に十分な過去症例が蓄積されていない場合であっても、びまん性病変に対してユーザの検索意図と合致した類似症例を検索することが可能になる。
【0100】
以上のように本実施の形態によると、蓄積された症例数が少ない場合においても、びまん性病変に対して精度の高い類似症例を検索することができる。
【0101】
なお、上述の実施形態において、画像セット取得部102、操作指示受付部103、画像枚数取得部104および局所性判定部106を備えた病変判定装置は、類似症例検索のために用いられるものとしたが、本開示における病変判定装置の用途はこれに限られるものではない。すなわち、限局性病変とびまん性病変との判別結果が有用である用途であれば、どのようなものであっても適用可能である。例えば、本開示の病変判定装置は、限局性病変のときは自動的に病変のサイズを計測する比較読影用装置等にも用いることができる。
【0102】
ここで、類似症例検索について補足説明する。
図15は本開示に係る類似症例検索の位置づけを示すためのフローチャートである。
図12に示すとおり、まず、患者についてCT画像等の撮影が行われ(X01)、撮影した画像から読影者が画像症例を読影する(X02)。そして、読影者は必要に応じて読影した症例について類似症例を検索し(X03)、検索した類似症例を参考にしてレポートを作成する(X04)。ここで、本開示に係る類似症例検索はステップX03に対応している。すなわち、本開示に係る類似症例検索は、いわゆる医療行為、すなわち人間を手術、治療又は診断する方法に該当するものではなく、情報検索技術の一種に相当するものである。したがって、本開示の内容は、産業上利用することができる発明に該当する。
【0103】
以上、本開示に係る病変判定装置および類似症例検索装置について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の範囲内に含まれる。
【0104】
上記の病変判定装置および類似症例検索装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。RAMまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、病変判定装置および類似症例検索装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0105】
さらに、上記の病変判定装置および類似症例検索装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
【0106】
さらにまた、上記の病変判定装置および類似症例検索装置を構成する構成要素の一部または全部は、類似症例検索装置に脱着可能なICカードまたは単体のモジュールから構成されているとしても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【0107】
また、本開示は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
【0108】
さらに、本開示は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
【0109】
また、本開示は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【0110】
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【0111】
また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。