特許第6746639号(P6746639)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧 ▶ 公益財団法人がん研究会の特許一覧

特許6746639画像処理装置および方法、並びに診断支援システム
<>
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000002
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000003
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000004
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000005
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000006
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000007
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000008
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000009
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000010
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000011
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000012
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000013
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000014
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000015
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000016
  • 特許6746639-画像処理装置および方法、並びに診断支援システム 図000017
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6746639
(24)【登録日】2020年8月7日
(45)【発行日】2020年8月26日
(54)【発明の名称】画像処理装置および方法、並びに診断支援システム
(51)【国際特許分類】
   G01N 21/17 20060101AFI20200817BHJP
   A61B 6/03 20060101ALI20200817BHJP
【FI】
   G01N21/17 620
   A61B6/03 360D
   A61B6/03 360H
   A61B6/03 360Q
【請求項の数】21
【全頁数】18
(21)【出願番号】特願2018-145657(P2018-145657)
(22)【出願日】2018年8月2日
(62)【分割の表示】特願2016-239403(P2016-239403)の分割
【原出願日】2012年3月30日
(65)【公開番号】特開2019-12071(P2019-12071A)
(43)【公開日】2019年1月24日
【審査請求日】2018年8月27日
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(73)【特許権者】
【識別番号】000173588
【氏名又は名称】公益財団法人がん研究会
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】成平 拓也
【審査官】 伊藤 裕美
(56)【参考文献】
【文献】 特許第6382921(JP,B2)
【文献】 特許第6059444(JP,B2)
【文献】 特開2004−135867(JP,A)
【文献】 特開2002−109510(JP,A)
【文献】 特開2009−175334(JP,A)
【文献】 特開2011−215061(JP,A)
【文献】 特開2010−029481(JP,A)
【文献】 特開平04−156827(JP,A)
【文献】 特開2011−181015(JP,A)
【文献】 特開2001−299740(JP,A)
【文献】 特開2010−094287(JP,A)
【文献】 特開平07−141523(JP,A)
【文献】 特開2006−149524(JP,A)
【文献】 特開2009−279179(JP,A)
【文献】 特開2009−291252(JP,A)
【文献】 特開2001−087229(JP,A)
【文献】 特開2005−261932(JP,A)
【文献】 特開平08−166995(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00−21/958
A61B 6/00−6/14
A61B 5/00−5/055
G01N 24/00−24/14
G01N 1/00
(57)【特許請求の範囲】
【請求項1】
3次元画像における第1の断面画像の所定の領域を取得する領域取得部と、
前記領域を含む画素ブロックにおける複数の断面画像について、予め学習されている病巣部位検出器を用いることによって、病巣部位らしさを表す評価値を取得する評価値取得部と、
前記評価値が最も高く最も病巣部位らしい第2の断面画像と、前記第2の断面画像とは前記評価値の異なる少なくとも1つの第3の断面画像の出力を制御する出力制御部と
を備える画像処理装置。
【請求項2】
前記領域取得部は、入力部に対するユーザの操作に応じて、前記領域を取得する
請求項1に記載の画像処理装置。
【請求項3】
前記3次元画像は、CT(Computerized Tomography)画像、またはMRI(Magnetic Resonance Imaging)画像である
請求項1に記載の画像処理装置。
【請求項4】
前記領域は、矩形、円形、または楕円形の形状である
請求項1に記載の画像処理装置。
【請求項5】
前記領域取得部は、前記病巣部位検出器によって導出された前記第1の断面画像における前記評価値に基づいて、前記領域を取得する
請求項1に記載の画像処理装置。
【請求項6】
前記領域取得部は、前記評価値が最も高い所定の組織を含む前記領域を取得する
請求項5に記載の画像処理装置。
【請求項7】
前記出力制御部は、前記第1の断面画像の前記領域に対応する位置に、前記第2の断面画像と前記第3の断面画像を表示するよう制御する
請求項1に記載の画像処理装置。
【請求項8】
前記出力制御部は、前記第1の断面画像の前記領域の位置に、前記第2の断面画像と前記第3の断面画像を表示するよう制御する
請求項7に記載の画像処理装置。
【請求項9】
前記出力制御部は、前記第2の断面画像と前記第3の断面画像とを交互に表示するよう制御する
請求項8に記載の画像処理装置。
【請求項10】
前記出力制御部は、入力部に対するユーザの操作に基づいて、前記第2の断面画像と前記第3の断面画像とを交互に表示するよう制御する
請求項9に記載の画像処理装置。
【請求項11】
前記出力制御部は、前記領域の取得に応じて、前記第2の断面画像と前記第3の断面画像とを交互に連続的に表示するよう制御する
請求項9に記載の画像処理装置。
【請求項12】
前記第3の断面画像は、前記評価値が最も低く最も病巣部位らしくない画像である
請求項9に記載の画像処理装置。
【請求項13】
前記出力制御部は、前記領域が取得された前記第1の断面画像とともに、前記第2の断面画像と前記第3の断面画像を表示するよう制御する
請求項1に記載の画像処理装置。
【請求項14】
前記第3の断面画像は、前記第2の断面画像に次いで前記評価値の高い画像である
請求項13に記載の画像処理装置。
【請求項15】
前記評価値は、細胞組織のがんらしさを表す
請求項1に記載の画像処理装置。
【請求項16】
前記第1の断面画像において取得された前記領域を含む前記画素ブロックを抽出するブロック抽出部と、
前記画素ブロックにおいて基準となる断面を回転させることで、複数の前記断面画像を取得する断面取得部とをさらに備える
請求項1に記載の画像処理装置。
【請求項17】
前記出力制御部は、複数の前記断面画像のうちの第4の断面画像を、前記第2の断面画像と前記第3の断面画像との間に表示するよう制御する
請求項16に記載の画像処理装置。
【請求項18】
前記第4の断面画像は、前記第2の断面画像と前記第3の断面画像との間を補間する補間画像である
請求項17に記載の画像処理装置。
【請求項19】
前記評価値取得部によって取得された前記評価値に基づいて、前記評価値が取得されていない断面の断面画像を推定する断面推定部をさらに備え、
前記出力制御部は、前記断面推定部によって推定された断面画像のうち、前記評価値が最も高く最も病巣部位らしい前記第2の断面画像と、前記第2の断面画像とは前記評価値の異なる少なくとも1つの前記第3の断面画像の出力を制御する
請求項16に記載の画像処理装置。
【請求項20】
画像処理装置が、
3次元画像における第1の断面画像の所定の領域を取得し、
前記領域を含む画素ブロックにおける複数の断面画像について、予め学習されている病巣部位検出器を用いることによって、病巣部位らしさを表す評価値を取得し、
前記評価値が最も高く最も病巣部位らしい第2の断面画像と、前記第2の断面画像とは前記評価値の異なる少なくとも1つの第3の断面画像の出力を制御する
画像処理方法。
【請求項21】
画像診断装置により撮像される対象物に対応する画像処理に用いられるソフトウエア含んで構成される診断支援システムであって、
前記ソフトウエアは、
3次元画像における第1の断面画像の所定の領域を取得し、
前記領域を含む画素ブロックにおける複数の断面画像について、予め学習されている病巣部位検出器を用いることによって、病巣部位らしさを表す評価値を取得し、
前記評価値が最も高く最も病巣部位らしい第2の断面画像と、前記第2の断面画像とは前記評価値の異なる少なくとも1つの第3の断面画像の出力を制御する処理を情報処理装置に実行させる
診断支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置および方法、並びに診断支援システムに関し、特に、より正確な診断を行うことができるようにする画像処理装置および方法、並びに診断支援システムに関する。
【背景技術】
【0002】
従来、人体の臓器等を撮像して得られる病理画像上から、腫瘍等の病巣部位を検出するための画像認識技術がある。
【0003】
例えば、病理画像の各画素の輝度差分特徴量に基づいて、予め学習されている細胞組織検出器を用いて、細胞組織領域を設定することで、注目すべき細胞組織領域を的確に検出する技術がある(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−215061号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、3次元の人体を断層撮影して得られる病理画像は、その断面のとり方(角度や奥行き)によって異なる画像となる。
【0006】
例えば、図1に示される細胞組織1の断面Aの断面画像2Aと、断面Bの断面画像2Bとでは、その断面のとり方が異なることにより、同一部分の細胞組織であっても異なる細胞組織に見えてしまうことがある。
【0007】
図1において、断面画像2Aは、がん(悪性腫瘍)の可能性はないと判断される画像であり、断面画像2Bは、がんの可能性があると判断される画像であるとする。同一部分の細胞組織のある断面が、断面画像2Bのような断面であったとしても、他の断面が断面画像2Aのような断面であれば、医師は、その細胞組織はがんの可能性はないと診断することができる。
【0008】
しかしながら、医師が、断面画像2Bのみを観察した場合には、その細胞組織はがんの可能性があるという診断を行ってしまう。
【0009】
このように、病理画像の断面のとり方によっては、医師は謝った診断を行ってしまう恐れがあった。
【0010】
本技術は、このような状況に鑑みてなされたものであり、より正確な診断を行うことができるようにするものである。
【課題を解決するための手段】
【0011】
本技術の画像処理装置は、3次元画像における第1の断面画像の所定の領域を取得する領域取得部と、前記領域を含む画素ブロックにおける複数の断面画像について、予め学習されている病巣部位検出器を用いることによって、病巣部位らしさを表す評価値を取得する評価値取得部と、前記評価値が最も高く最も病巣部位らしい第2の断面画像と、前記第2の断面画像とは前記評価値の異なる少なくとも1つの第3の断面画像の出力を制御する出力制御部とを備える画像処理装置である。
【0012】
本技術の画像処理方法は、画像処理装置が、3次元画像における第1の断面画像の所定の領域を取得し、前記領域を含む画素ブロックにおける複数の断面画像について、予め学習されている病巣部位検出器を用いることによって、病巣部位らしさを表す評価値を取得し、前記評価値が最も高く最も病巣部位らしい第2の断面画像と、前記第2の断面画像とは前記評価値の異なる少なくとも1つの第3の断面画像の出力を制御する画像処理方法である。
【0013】
本技術の診断支援システムは、画像診断装置により撮像される対象物に対応する画像処理に用いられるソフトウエア含んで構成される診断支援システムであって、前記ソフトウエアは、3次元画像における第1の断面画像の所定の領域を取得し、前前記領域を含む画素ブロックにおける複数の断面画像について、予め学習されている病巣部位検出器を用いることによって、病巣部位らしさを表す評価値を取得し、前記評価値が最も高く最も病巣部位らしい第2の断面画像と、前記第2の断面画像とは前記評価値の異なる少なくとも1つの第3の断面画像の出力を制御する処理を情報処理装置に実行させる診断支援システムである。
【0014】
本技術においては、3次元画像における第1の断面画像の所定の領域が取得され、前記領域を含む画素ブロックにおける複数の断面画像について、予め学習されている病巣部位検出器を用いることによって、病巣部位らしさを表す評価値が取得され、前記評価値が最も高く最も病巣部位らしい第2の断面画像と、前記第2の断面画像とは前記評価値の異なる少なくとも1つの第3の断面画像の出力が制御される。
【発明の効果】
【0015】
本技術によれば、より正確な診断を行うことが可能となる。
【図面の簡単な説明】
【0016】
図1】細胞組織の断面画像の例を示す図である。
図2】本技術を適用した情報処理装置の構成例を示すブロック図である。
図3】CPUの機能的構成を示すブロック図である。
図4】断面表示処理について説明するフローチャートである。
図5】領域の選択について説明する図である。
図6】領域の選択について説明する図である。
図7】画素ブロックについて説明する図である。
図8】画素ブロックの断面について説明する図である。
図9】断面画像の表示例について説明する図である。
図10】断面画像の表示例について説明する図である。
図11】断面画像の表示例について説明する図である。
図12】断面画像の表示例について説明する図である。
図13】CPUの他の機能的構成を示すブロック図である。
図14】断面表示処理について説明するフローチャートである。
図15】CPUのさらに他の機能的構成を示すブロック図である。
図16】断面表示処理について説明するフローチャートである。
【発明を実施するための形態】
【0017】
以下、本技術の実施の形態について図を参照して説明する。
【0018】
[画像処理装置の構成]
【0019】
図2は、画像処理装置の構成例を示すブロック図である。画像処理装置11は、例えばパーソナルコンピュータにより構成される。
【0020】
画像処理装置11において、CPU(Central Processing Unit)21,ROM(Read Only Memory)22,RAM(Random Access Memory)23は、バス24により相互に接続されている。
【0021】
バス24には、さらに、入出力インタフェース25が接続されている。入出力インタフェース25には、入力部26、出力部27、記憶部28、通信部29、およびドライブ30が接続されている。
【0022】
入力部26は、キーボード、マウス、マイクロフォンなどよりなる。出力部27は、ディスプレイ、スピーカなどよりなる。記憶部28は、ハードディスクや不揮発性のメモリなどよりなる。通信部29は、ネットワークインタフェースなどよりなる。ドライブ30は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア31を駆動する。
【0023】
以上のように構成される画像処理装置11では、CPU21が、例えば、記憶部28に記憶されているプログラムを、入出力インタフェース25およびバス24を介して、RAM23にロードして実行することにより、所定の処理が実行される。
【0024】
画像処理装置11では、プログラムは、例えば、パッケージメディア等としてのリムーバブルメディア31をドライブ30に装着することにより、入出力インタフェース25を介して、記憶部28にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部29で受信し、記憶部28にインストールすることができる。その他、プログラムは、ROM22や記憶部28に、あらかじめインストールしておくことができる。
【0025】
次にCPU21の機能的構成について説明する。図3は、CPU21の機能的構成を示すブロック図である。
【0026】
図3に示されるように、CPU21は、断面設定部51、領域選択部52、ブロック抽出部53、評価値算出部54、表示制御部55を備えている。各部は必要に応じて情報を授受する機能を有している。
【0027】
断面設定部51は、3次元空間における物体を表す3次元画像に対して所定の断面を設定する。
【0028】
領域選択部52は、断面設定部51によって3次元画像に対して設定された断面において、所定の領域を選択する。
【0029】
ブロック抽出部53は、3次元画像から、領域選択部52によって選択された領域に対応する3次元の画素ブロックを抽出する。
【0030】
評価値算出部54は、ブロック抽出部53によって抽出された画素ブロックの所定の断面を表す断面画像について、それぞれの画像を評価するための評価値を算出する。言い換えると、評価値算出部54は、3次元空間における物体の所定の部分(画素ブロックに含まれる部分)を対象とした複数の画像について、評価値を算出する。
【0031】
表示制御部55は、出力部27としてのディスプレイの表示を制御する。特に、表示制御部55は、評価値算出部54によって評価値に応じて、その評価値が算出された複数の断面画像のうちの所定の画像の表示を制御する。
【0032】
[画像処理装置による断面表示処理]
次に、図4のフローチャートを参照して、画像処理装置11による断面表示処理について説明する。この断面表示処理によれば、例えば通信部29を介して供給される、CT(Computerized Tomography)スキャナにより得られたCT画像や、MRI(Magnetic Resonance Imaging)画像等の、人体の3次元画像における所定の細胞組織の断面が、出力部27としてのディスプレイに表示される。
【0033】
ステップS11において、断面設定部51は、人体の3次元画像に対して所定の断面を設定する。ここで設定される断面は、3次元画像が得られた断層撮影時の断面であってもよいし、3次元空間上で予め決められた平面上の断面であってもよい。また、ユーザ(医師)によって選択された断面であってもよい。設定された断面の断面画像は、出力部27としてのディスプレイに表示される。
【0034】
ステップS12において、領域選択部52は、断面設定部51によって設定された3次元画像の断面において、がんらしい(悪性腫瘍)細胞組織を含む領域を選択する。
【0035】
領域選択部52によって選択される領域は、例えば、図5に示されるように、断面設定部51によって設定された断面画像81において、ユーザががんらしいと判断した細胞組織に対して、入力部26としてのマウスに対するユーザの操作(ドラッグ)に応じてマウスポインタ82により形成される領域83とする。
【0036】
また、領域選択部52によって選択される領域は、図6で示されるように、断面画像81において、予め学習されているがん検出器を用いることによって算出されるスコアが最も高い細胞組織を含む領域83であってもよい。この場合、入力部26としてのマウスに対するユーザの操作(クリック)に応じて、マウスポインタ82により領域83が選択される。また、この場合、領域83のサイズは、がん検出器によって決められてもよいし、ユーザの操作により決められるようにしてもよい。なお、がん検出器を用いたスコアの算出は、例えば特許文献1に開示されている手法を用いるものとする。
【0037】
また、図5および図6において、領域83は矩形であるものとしたが、円形や楕円形等、他の形状であってもよい。
【0038】
図4のフローチャートに戻り、ステップS13において、ブロック抽出部53は、3次元画像から、領域選択部52によって選択された領域を含む画素ブロックを抽出する。すなわち、ブロック抽出部53は、3次元画像から、がんらしい細胞組織を含む画素ブロックを抽出する。
【0039】
具体的には、例えば、図7に示されるように、3次元画像の断面画像81における領域83を、断面画像81の上面側および下面側の法線方向に延ばして得られる直方体91を、画素ブロック(以下、画素ブロック91という)として3次元画像から抽出する。ここで、3次元画像は、断層撮影して得られた断層画像の集合であり、断層画像それぞれの画素全てが3次元行列の要素となる。この要素が、3次元画像上での画素(いわゆるボクセル)であり、それぞれ3次元空間上の座標を有する。すなわち、画素ブロックもまたボクセルから構成されており、画素ブロックは、それを構成する画素(ボクセル)の3次元空間上の位置(座標)で指定され抽出される。
【0040】
なお、画素ブロックの形状は、直方体に限らず、領域83の形状に応じて、球であってもよいし楕円体であってもよい。
【0041】
ステップS14において、評価値算出部54は、ブロック抽出部53によって抽出された画素ブロックの任意の断面を表す断面画像について、がんらしさを表す評価値を算出する。具体的には、評価値算出部54は、画素ブロック91において、領域83を基準とした(言い換えると画素ブロック91に含まれるがんらしい細胞組織を基準とした)複数の方向の断面を表す断面画像について、評価値を算出する。なお、画素ブロック91における任意の断面は、画素ブロックを構成するボクセルの位置により指定され、例えばCT画像における任意断面再構成(Multiplanar Reconstruction: MPR)の技術を用いて設定される。
【0042】
具体的には、図8に示される画素ブロック91において、領域83の画像を、基準となる断面を表す断面画像S0とすると、評価値算出部54は、領域83の2長辺の中点を結んだ線分Lを軸として断面画像S0を回転させて得られる断面画像Smや断面画像Snについて、評価値を算出する。断面画像S0を回転させて得られる断面画像の数は、任意に設定することができ、例えば、断面画像S0を45度ずつ回転させて得られる4(断面画像S0を含む)であってもよいし、断面画像S0を30度ずつ回転させて得られる6(断面画像S0を含む)であってもよい。なお、がんらしさを表す評価値は、上述で説明した、がん検出器を用いたスコアとして求めることができる。
【0043】
なお、図8においては、線分Lを軸として断面画像S0を回転させて得られる断面画像について評価値を算出するようにしたが、線分Lに直交する線分を軸として断面画像S0を回転させて得られる断面画像について評価値を算出するようにしてもよい。また、画素ブロックが球や楕円体である場合には、基準となる断面画像の中心点を回転中心として得られる断面画像について評価値を算出するようにしてもよい。
【0044】
ステップS15において、表示制御部55は、評価値算出部54によって評価値が算出された断面画像のうち、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。
【0045】
具体的には、図9左上に示される断面画像81において、がんらしい細胞組織を含む領域83が選択されると、断面画像81の領域83には、図9右上に示されるように、最も評価値の高い(最もがんらしい)断面画像Smax(例えば、図1の断面画像2B)が表示される。また、図9右上の状態で、例えば、入力部26としてのマウスがユーザにより操作(クリック)されると、断面画像81の領域83には、図9下に示されるように、最も評価値の低い(最もがんらしくない)断面画像Smin(例えば、図1の断面画像2A)が表示される。さらに、図9下の状態で、入力部26としてのマウスがユーザにより操作(クリック)されると、図9右上の状態に戻る。すなわち、断面画像81の領域83には、ユーザの操作毎に、最も評価値の高い断面画像Smaxと最も評価値の低い断面画像Sminとが交互に表示されるようになる。
【0046】
また、図9左上に示される断面画像81において、がんらしい細胞組織を含む領域83が選択されると、ユーザの操作を必要とせずに、最も評価値の高い断面画像Smaxと最も評価値の低い断面画像Sminとが交互に連続的に表示されるようにしてもよい。
【0047】
以上の処理によれば、同一部分の細胞組織についての複数の断面画像について、がんらしさを表す評価値が算出され、その評価値に応じて、最も評価値の高い断面画像と最も評価値の低い断面画像とが交互に表示されるようになる。したがって、ユーザは、同一部分の細胞組織について、最もがんらしい断面と最もがんらしくない断面とを確認することができ、それらの断面を参考にすることで、より正確な診断を行うことが可能となる。
【0048】
なお、以上においては、最も評価値の高い断面画像と最も評価値の低い断面画像の2つの断面画像が交互に表示されるようにしたが、最も評価値の高い断面画像と最も評価値の低い断面画像との間に、その間を補間する補間画像を表示させるようにしてもよい。ここで、補間画像とは、例えば、モーフィングの手法において生成される、異なる2つの画像の間を補間する画像であり、その2つの画像の画素値を所定の比率で合成(ブレンド)することで得られる。これにより、1つの画像の表示が他の画像の表示に切り替わる際に、自然に切り替わるようになる。
【0049】
補間画像としては、例えば、図8を参照して説明した線分Lを回転軸として得られた断面画像であって、最も評価値の高い断面画像と最も評価値の低い断面画像との間にある断面画像を用いることができる。なお、補間画像は1つであってもよいし、複数であってもよい。これにより、最も評価値の高い断面画像と最も評価値の低い断面画像の2つの断面画像が交互に表示される場合と比べて、補間画像の数が多いほど、スムーズな表示を行うことができる。
【0050】
また、補間画像として、評価値が、最高値と最低値との間の値となる断面画像を用いるようにしてもよいし、最も評価値の高い断面画像と最も評価値の低い断面画像とを用いて補間画像を新たに生成するようにしてもよい。
【0051】
さらに、評価値が算出された複数の断面画像を、評価値によって順位付けし、評価値の高い上位の断面画像いずれかと、最も評価値の低い断面画像とを交互に表示させるようにしてもよい。
【0052】
具体的には、例えば、図10に示されるように、出力部27としてのディスプレイ101に、断面画像81とともに、評価値が算出された複数の断面画像の中で評価値の高い上位3つの断面画像S1,S2,S3を表示させる。
【0053】
図10において、ユーザの操作により、断面画像S1,S2,S3の中から、断面画像S1が選択された場合、図11に示されるように、断面画像81の領域83には、1番目に評価値の高い断面画像S1と最も評価値の低い断面画像Sminが交互に表示されるようになる。この場合でも、交互に表示される2つの断面画像の間に、補間画像を表示するようにしてもよい。また、図11下において、最も評価値の低い断面画像Sminに代えて、基準となる断面画像S0が表示されるようにしてもよい。
【0054】
また、以上においては、断面画像81の領域83に、評価値を算出した断面画像を表示させるようにしたが、図12に示されるように、断面画像81とは別の表示領域111に、評価値を算出した断面画像を表示させるようにしてもよい。もちろん、この場合でも、交互に表示される2つの断面画像の間に、補間画像を表示するようにしてもよい。
【0055】
ところで、上述した説明では、画像処理装置11が、所定の細胞組織の、複数の方向の断面について、評価値を算出するものとしたが、外部に接続されている図示せぬサーバ等が、任意の断面についての評価値を算出し、画像処理装置11が、その評価値をサーバから取得して、取得した評価値に応じて、所定の断面画像を表示させるようにしてもよい。
【0056】
[CPUの他の機能的構成]
図13は、CPU21の他の機能的構成を示すブロック図である。
【0057】
図13に示されるように、CPU21は、評価値取得部151および表示制御部55を備えている。なお、図13において、表示制御部55は、図3のCPU21における表示制御部55と同一であるので、その説明は省略する。
【0058】
評価値取得部151は、通信部29を介して、外部に接続されているサーバから、3次元画像における画素ブロックの所定の断面を表す断面画像についての評価値を取得する。
【0059】
なお、外部のサーバは、図3のCPU21における断面設定部51、領域選択部52、ブロック抽出部53、および評価値算出部54と同様の機能を備えており、3次元画像において設定された領域を含む画素ブロックにおける任意の断面について、評価値を算出する。
【0060】
[画像処理装置による断面表示処理]
次に、図14のフローチャートを参照して、図13で説明した機能を備える画像処理装置11による断面表示処理について説明する。
【0061】
なお、外部のサーバにおいては、人体の3次元画像における所定の細胞組織に対して設定された領域を含む画素ブロックの任意の断面について、評価値が算出されている。
【0062】
ステップS31において、評価値取得部151は、通信部29を介して、外部に接続されているサーバから、人体の3次元画像における所定の細胞組織を含む画素ブロックの任意の断面を表す断面画像について、評価値を取得する。
【0063】
ステップS32において、表示制御部55は、評価値取得部151によって評価値が取得された断面画像のうち、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。なお、2つの断面画像は、図9を参照して説明したように表示されてもよいし、図11または図12を参照して説明したように表示されてもよい。
【0064】
以上の処理によっても、図4のフローチャートを参照して説明した断面表示処理と同様の効果、作用を得ることが可能となる。
【0065】
なお、以上においては、評価値が取得(算出)された断面画像のみを表示の対象としたが、例えば、図8を参照して説明した断面のとり方では、断面として指定されなかった断面の断面画像の評価値が最も高くなる(または低くなる)可能性もある。
【0066】
そこで、以下においては、指定された断面以外の断面について、その評価値を推定する構成について説明する。
【0067】
[CPUのさらに他の機能的構成]
図15は、CPU21のさらに他の機能的構成を示すブロック図である。
【0068】
図15に示されるように、CPU21は、評価値取得部151、断面推定部211、および表示制御部55を備えている。なお、図15において、評価値取得部151および表示制御部55は、図13のCPU21における評価値取得部151および表示制御部55と同一であるので、その説明は省略する。
【0069】
断面推定部211は、評価値取得部151によって取得された評価値に基づいて、評価値が取得(算出)されなかった断面の断面画像を推定する。
【0070】
[画像処理装置による断面表示処理]
次に、図16のフローチャートを参照して、図15で説明した機能を備える画像処理装置11による断面表示処理について説明する。
【0071】
ステップS51において、評価値取得部151は、通信部29を介して、外部に接続されているサーバから、人体の3次元画像における所定の細胞組織を含む画素ブロックの任意の断面を表す断面画像について、評価値を取得する。
【0072】
ステップS52において、断面推定部211は、評価値取得部151によって取得された評価値に基づいて、評価値が最も高い断面の断面画像、および評価値が最も低い断面の断面画像を推定する。具体的には、断面推定部211は、評価値取得部151によって取得された各断面についての評価値から、断面の回転方向についての評価値の分布を、線形補間等により推定する。そして、断面推定部211は、推定した評価値の分布を基に、評価値が最も高い断面画像と評価値が最も低い断面画像とを生成する。例えば、ある2つの断面画像の間で、評価値が最も高くなると推定された場合、その2つの断面画像それぞれの評価値と、推定された最も高くなる評価値との差に応じた比率で、2つの断面画像の画素値を合成(ブレンド)することで、評価値が最も高い断面画像が得られる。
【0073】
ステップS53において、表示制御部55は、断面推定部211によって推定された、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。なお、2つの断面画像は、図9を参照して説明したように表示されてもよいし、図11または図12を参照して説明したように表示されてもよい。
【0074】
以上の処理によっても、図4のフローチャートを参照して説明した断面表示処理と同様の効果、作用を得ることが可能となる。
【0075】
また、図15のCPU21における断面推定部211を、図3のCPU21に設けるようにしてもよい。この場合、図4のフローチャートのステップS14とステップS15の間に、断面推定部211による断面画像の推定処理(図16のフローチャートのステップS51の処理)が実行される。
【0076】
なお、以上においては、本技術を、人体の細胞組織の断面を表示する構成に適用した場合について説明してきたが、野菜や果物、肉等の食品、電子機器、構造物、地層等の断面を表示する構成に適用することで、異物の発見、部品や堆積物の解析をより正確に行うことができるようになる。
【0077】
[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【0078】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【0079】
このようなプログラムを含む記録媒体は、図2に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVDを含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROM22や、記憶部28に含まれるハードディスクなどで構成される。
【0080】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0081】
また、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0082】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0083】
また、本技術は、1つの機能をネットワーク上の複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0084】
さらに、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0085】
また、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0086】
本技術は以下のような構成をとることができる。
(1)
3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得部と、
前記評価値に応じて、所定の前記断面画像の出力を制御する出力制御部と
を備え、
前記出力制御部は、前記評価値が最も高く最も病巣部位らしい第1の断面画像と、前記第1の断面画像とは前記評価値の異なる少なくとも1つの第2の断面画像とを出力させる
画像処理装置。
(2)
前記評価取得部は、前記所定領域についての複数の方向の断面を表す複数の前記断面画像について、それぞれの前記断面画像の病巣部位らしさを表す評価値を取得する
(1)に記載の画像処理装置。
(3)
前記評価値は、人体の所定の部分の細胞組織を対象とした画像における前記細胞組織のがんらしさを表す
(1)または(2)に記載の画像処理装置。
(4)
前記出力制御部は、
前記評価値に応じて、所定の前記断面画像の表示を制御し、
複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい前記第1の断面画像と、前記評価値が最も低く最もがんらしくない前記第2の断面画像とを表示させる
(3)に記載の画像処理装置。
(5)
前記出力制御部は、前記所定領域上で、前記第1の断面画像と前記第2の断面画像とを交互に表示させる
(4)に記載の画像処理装置。
(6)
前記出力制御部は、前記第1の断面画像と前記第2の断面画像とを並べて表示させる
(4)に記載の画像処理装置。
(7)
前記3次元画像から、前記所定領域を含む画素ブロックを抽出するブロック抽出部をさらに備え、
前記評価値取得部は、前記画素ブロックの複数の断面を表す断面画像について、前記評価値を取得する
(5)に記載の画像処理装置。
(8)
前記出力制御部は、複数の前記断面画像のうちの第3の断面画像を、前記第1の断面画像と前記第2の断面画像との間に表示させる
(7)に記載の画像処理装置。
(9)
前記第3の断面画像は、前記第1の断面画像と前記第2の断面画像との間を補間する補間画像である
(8)に記載の画像処理装置。
(10)
前記評価値取得部は、前記画素ブロックに含まれる任意の断面を表す前記断面画像について、前記評価値を取得する
(7)乃至(9)のいずれかに記載の画像処理装置。
(11)
前記評価値取得部によって取得された前記評価値に基づいて、前記評価値が取得されていない断面の断面画像を推定する断面推定部をさらに備え、
前記出力制御部は、前記断面推定部によって推定された断面画像のうちの所定の断面画像を表示させる
(5),(7)乃至(10)のいずれかに記載の画像処理装置。
(12)
3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得部と、
前記評価値に応じて、前記断面画像の出力を制御する出力制御部と
を備える画像処理装置の画像処理方法であって、
前記出力制御部が、前記評価値が最も高く最も病巣部位らしい第1の断面画像と、前記第1の断面画像とは前記評価値の異なる少なくとも1つの第2の断面画像とを出力させる
ステップを含む画像処理方法。
(13)
3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての任意の断面を表す断面画像について、前記断面画像の病巣部位らしさを表す評価値を取得する評価値取得ステップと、
前記評価値に応じて、前記断面画像の出力を制御する出力制御ステップと
を含む処理をコンピュータに実行させ、
前記出力制御ステップは、前記評価値が最も高く最も病巣部位らしい第1の断面画像と、前記第1の断面画像とは前記評価値の異なる少なくとも1つの第2の断面画像とを出力させる
プログラム。
【符号の説明】
【0087】
11 画像処理装置, 21 CPU, 51 断面設定部, 52 領域選択部, 53 ブロック抽出部, 54 評価値算出部, 55 表示制御部, 151 評価値取得部, 211 断面推定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16