IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

<>
  • 特許-医療画像処理装置及び内視鏡システム 図1
  • 特許-医療画像処理装置及び内視鏡システム 図2
  • 特許-医療画像処理装置及び内視鏡システム 図3
  • 特許-医療画像処理装置及び内視鏡システム 図4
  • 特許-医療画像処理装置及び内視鏡システム 図5
  • 特許-医療画像処理装置及び内視鏡システム 図6
  • 特許-医療画像処理装置及び内視鏡システム 図7
  • 特許-医療画像処理装置及び内視鏡システム 図8
  • 特許-医療画像処理装置及び内視鏡システム 図9
  • 特許-医療画像処理装置及び内視鏡システム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-09
(45)【発行日】2023-11-17
(54)【発明の名称】医療画像処理装置及び内視鏡システム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20231110BHJP
   G16H 30/00 20180101ALI20231110BHJP
【FI】
A61B1/045 618
A61B1/045 622
A61B1/045 614
G16H30/00
【請求項の数】 29
(21)【出願番号】P 2022179248
(22)【出願日】2022-11-09
(62)【分割の表示】P 2021085460の分割
【原出願日】2018-11-26
(65)【公開番号】P2023015232
(43)【公開日】2023-01-31
【審査請求日】2022-11-25
(31)【優先権主張番号】P 2017246464
(32)【優先日】2017-12-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】大酒 正明
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2016-067781(JP,A)
【文献】特開2017-012666(JP,A)
【文献】米国特許出願公開第2012/0113239(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
プロセッサと、前記プロセッサが実行するプログラムが記憶されるメモリと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
被写体像を含む複数の医療画像を取得し、
前記複数の医療画像の各々に画像認識を行い、
前記画像認識による認識結果を画像認識結果保存部に保存し、
前記保存された前記認識結果を表示させる、医療画像処理装置であって、
前記画像認識の処理は、前記医療画像が認識に不適な画像であると認識する処理を含み、
前記プロセッサは、
記医療画像が前記不適な画像である場合に、前記不適な画像である第1の医療画像よりも先に取得された前記不適な画像以外の第2の医療画像を用いた注目領域の検出についての認識結果と、前記不適な画像に対する警告とを同時に表示させるための処理を行う、
医療画像処理装置。
【請求項2】
前記認識結果は、前記複数の医療画像のうちの観察画像とともに表示させる、
請求項1に記載の医療画像処理装置。
【請求項3】
前記警告の表示は、前記第1の医療画像に関する表示である、
請求項1又は2に記載の医療画像処理装置。
【請求項4】
前記警告の表示は、異色表示、記号表示、文字列表示及び点滅表示のうち少なくとも1つを含む、
請求項1から3のいずれか一項に記載の医療画像処理装置。
【請求項5】
前記プロセッサは、
前記不適な医療画像の取得が一定期間継続した場合に、前記注目領域の検出を中止する、
請求項1からのいずれか一項に記載の医療画像処理装置。
【請求項6】
前記注目領域は病変領域である、
請求項1からのいずれか一項に記載の医療画像処理装置。
【請求項7】
前記プロセッサは、
時系列で得られる前記医療画像を表示させるための処理を行い、
取得した前記医療画像が前記不適な画像である場合に、
前記時系列の前記医療画像の画像表示エリアを含む画面上に、前記第2の医療画像を用いた前記注目領域の検出についての認識結果と、前記警告とを表示させる、
請求項1から6のいずれか一項に記載の医療画像処理装置。
【請求項8】
前記プロセッサは、
前記画像認識によって前記第1の医療画像が認識に不適な画像であると認識した場合に、前記第1の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を含む認識結果を表示させずに、前記第2の医療画像についての注目領域の検出及び分類のうち少なくとも一方の結果を含む認識結果を前記第1の医療画像とともに表示させるための処理を行う、
請求項1からのいずれか一項に記載の医療画像処理装置。
【請求項9】
前記プロセッサは、
前記画像認識による認識結果に応じて、前記画像認識の認識結果を保存するか否かを判定し、判定結果に従い、前記画像認識の認識結果を前記画像認識結果保存部に保存する、
請求項1からのいずれか一項に記載の医療画像処理装置。
【請求項10】
前記プロセッサは、
前記判定において認識結果を非保存とする判定を与えた前記医療画像についての前記画像認識の認識結果を表示させずに、前記画像認識結果保存部に保存されている認識結果を表示させるための処理を行う、請求項に記載の医療画像処理装置。
【請求項11】
前記プロセッサは、
前記画像認識の処理により認識に不適な画像であると認識した場合に、前記不適な画像であると認識した前記医療画像についての認識結果を非保存とする判定を行う、
請求項又は10に記載の医療画像処理装置。
【請求項12】
前記プロセッサが認識に不適な画像であると認識した前記医療画像についての認識結果は、前記画像認識結果保存部に非保存とされる、
請求項1から11のいずれか一項に記載の医療画像処理装置。
【請求項13】
前記プロセッサは、
前記画像認識によって前記第1の医療画像が認識に不適な画像であると認識した場合に、
前記第1の医療画像についての認識結果を、前記第2の医療画像についての認識結果に変更する処理を行い、
前記変更の処理を受けずに、前記画像認識の認識結果が維持された前記医療画像についての認識結果が前記画像認識結果保存部に保存される、
請求項1から12のいずれか一項に記載の医療画像処理装置。
【請求項14】
前記プロセッサは、
前記第1の医療画像についての認識結果の代わりに、前記画像認識結果保存部に保存されている最新の前記第2の医療画像についての認識結果を表示させるための処理を行う、
請求項1から13のいずれか一項に記載の医療画像処理装置。
【請求項15】
前記画像認識の認識結果を表示する表示部を備え、
前記画像認識の認識結果に応じて、前記画像認識結果保存部に保存されている前記第2の医療画像についての認識結果が前記表示部に表示される請求項1から1のいずれか一項に記載の医療画像処理装置。
【請求項16】
前記プロセッサは、
前記画像認識結果保存部に保存されている前記第2の医療画像についての認識結果を表示させる場合に、前記画像認識結果保存部に保存されている認識結果であることを示す表示を行わせる、
請求項1から1のいずれか一項に記載の医療画像処理装置。
【請求項17】
前記画像認識結果保存部に保存されている認識結果であることを示す表示は、前記画像認識の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも1つの表示形態を含む、
請求項1に記載の医療画像処理装置。
【請求項18】
前記プロセッサは、
前記画像認識によって認識に不適な画像であると認識された前記医療画像の取得が一定期間続いた場合に、前記画像認識の認識処理を停止する、
請求項1から1のいずれか一項に記載の医療画像処理装置。
【請求項19】
前記プロセッサは、
前記画像認識によって認識に不適な画像であると認識された前記医療画像の取得が一定期間続いた場合に、ユーザへの注意を喚起するメッセージを表示させるための処理を行う、
請求項1から1のいずれか一項に記載の医療画像処理装置。
【請求項20】
前記不適な画像は、被写体がボケている画像、被写体がぶれている画像、被写体に水がかぶっている画像、又は被写体に残渣がある画像である、
請求項1から1のいずれか一項に記載の医療画像処理装置。
【請求項21】
前記画像認識の処理は、前記取得された前記医療画像が認識に不適な画像であるか否かを認識する第1の認識処理と、
前記取得された前記医療画像から注目領域の検出、及び前記医療画像の画像分類のうち少なくとも一方の処理を行う第2の認識処理と、
を含み、
前記プロセッサは、
前記第1の認識処理により認識に不適な画像であると認識した前記医療画像について、前記第2の認識処理を不実施とする、
請求項1から20のいずれか一項に記載の医療画像処理装置。
【請求項22】
前記プロセッサは、
前記画像認識により、前記医療画像を認識に不適な画像の分類を含む複数のカテゴリーに分類する、
請求項1から2のいずれか一項に記載の医療画像処理装置。
【請求項23】
体腔内を撮影する電子内視鏡と、
電子内視鏡から得られる画像信号を処理するプロセッサ装置と、を含む内視鏡システムであって、
前記プロセッサ装置は、
プロセッサと、前記プロセッサが実行するプログラムが記憶されるメモリと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
被写体像を含む複数の医療画像を取得し、
前記複数の医療画像の各々に画像認識を行い、
前記画像認識による認識結果を画像認識結果保存部に保存し、
前記保存された前記認識結果を表示させる処理を行い、
前記画像認識の処理は、前記医療画像が認識に不適な画像であると認識する処理を含み、
前記プロセッサは、
記医療画像が前記不適な画像である場合に、前記不適な画像である第1の医療画像よりも先に取得された前記不適な画像以外の第2の医療画像を用いた注目領域の検出についての認識結果と、前記不適な画像に対する警告とを同時に表示させるための処理を行う、 内視鏡システム。
【請求項24】
前記認識結果は、前記複数の医療画像のうちの観察画像とともに表示させる、
請求項23に記載の内視鏡システム。
【請求項25】
前記警告の表示は、前記第1の医療画像に関する表示である、
請求項23又は24に記載の内視鏡システム。
【請求項26】
前記警告の表示は、異色表示、記号表示、文字列表示及び点滅表示のうち少なくとも1つを含む、
請求項23から25のいずれか一項に記載の内視鏡システム。
【請求項27】
前記プロセッサは、
前記不適な医療画像の取得が一定期間継続した場合に、前記注目領域の検出を中止する、
請求項2から2のいずれか一項に記載の内視鏡システム。
【請求項28】
前記注目領域は病変領域である、
請求項2から2のいずれか一項に記載の内視鏡システム。
【請求項29】
前記プロセッサは、
時系列で得られる前記医療画像を表示させるための処理を行い、
取得した前記医療画像が前記不適な画像である場合に、
前記時系列の前記医療画像の画像表示エリアを含む画面上に、前記第2の医療画像を用いた前記注目領域の検出についての認識結果と、前記警告とを表示させる、
請求項23から28のいずれか一項に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラムに係り、観察対象を撮影して得られる医療画像を用いて画像認識を行う画像処理技術に関する。
【背景技術】
【0002】
医療分野において、内視鏡システムを用いた検査が行われている。近年においては、画像解析の技術を用いることによって、医療画像に含まれる病変の認識を行うシステムが知られている。一般的な内視鏡システムでは、スコープの先端にあるカメラを用いて体腔を撮影し、撮影された観察画像をプロセッサ装置が受信してモニタ上に表示する。このときプロセッサ装置は、受信した画像の認識処理を行い、認識結果をユーザに報知することがある。
【0003】
例えば、病変が撮影されている場合であれば、プロセッサ装置は、画像解析から、癌性であるか、非癌性であるかを認識し、その認識結果をユーザに報知する。このような機能を持つシステムは、医師等による診断所見などの意思決定を支援する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2004-180932号公報
【文献】特開2015-204960号公報
【文献】特開2014-030488号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、例えば、スコープの操作、胎動、及び残渣のうち少なくとも1つの影響により、しばしば画像がボケけたり、ぶれたり、又は、病変部位が残渣に隠れてしまったりする。また、視野の確保等のために、送水装置を用いて観察部位に送水を行った場合にも、水の影響により、画像がぼけたり、病変部位に水がかぶったりする。このような「ボケた画像」、「ぶれた画像」、「残渣が含まれた画像」、又は、「被写体に水がかぶった画像」などから、画像解析によって病変等の認識を正確に行うことは困難であり、別の認識結果を示してしまう場合がある。かかる課題は、検査中に得られる動画のフレームごとに認識処理を行うなど、時系列で得られる画像ごとに認識処理を行い、その認識結果をリアルタイムでユーザに報知するシステムにおいて特に問題となる。
【0006】
また、内視鏡システムに限らず、超音波診断装置など、時系列で得られる医療画像から認識処理を行うシステムについても、同様の課題がある。
【0007】
本発明はこのような事情に鑑みてなされたもので、時系列で得られる画像中に画像認識に不適な画像が含まれる場合に、画像認識に不適な画像から得られた認識結果がユーザに提供されることを回避することが可能な医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
課題を解決するために、次の発明態様を提供する。
【0009】
態様1に係る医療画像処理装置は、被写体像を含む時系列の医療画像を取得する画像取得部と、医療画像から画像認識を行う画像認識部と、画像認識部の認識結果を保存する認識結果保存部と、画像認識部の認識結果に応じて、画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理部と、を備える。
【0010】
態様1によれば、時系列の医療画像の中で、ボケた画像など、画像認識に不適な画像の認識結果が、認識結果保存部に保存してある他の画像の認識結果に変更される。認識結果保存部には、画像認識に不適な画像以外の画像についての認識結果を保存することができる。これにより、不正確な認識結果の提示を回避して、時系列の中で妥当性のある認識結果を示すことができる。
【0011】
時系列の医療画像は、動画であってもよいし、連写若しくはインターバル撮影などのように、特定の時間間隔で撮影される静止画であってもよい。
【0012】
態様2は、態様1の医療画像処理装置において、画像認識部の認識結果に応じて、画像認識部の認識結果を保存するか否かを判定する判定部を備え、判定部の判定結果に従い、画像認識部の認識結果が認識結果保存部に保存される医療画像処理装置である。
【0013】
判定部は、ボケた画像など、画像認識に不適な画像の認識結果について、認識結果保存部に保存しない旨の判定(非保存とする判定)を行い、画像認識に不適な画像以外の画像の認識結果について、認識結果保存部に保存する旨の判定を行うことができる。
【0014】
態様3は、態様2の医療画像処理装置において、変更処理部は、判定部が認識結果を非保存とする判定を与えた医療画像についての画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する医療画像処理装置である。
【0015】
態様4は、態様3の医療画像処理装置において、画像認識部は、画像取得部から取得された医療画像が認識に不適な画像であると認識するタスクを含み、判定部は、画像認識部が認識に不適な画像であると認識した場合に、不適な画像であると認識した医療画像についての認識結果を非保存とする判定を行う医療画像処理装置である。
【0016】
態様5は、態様1から態様3のいずれか一態様の医療画像処理装置において、画像認識部は、画像取得部から取得された医療画像が認識に不適な画像であると認識するタスクを含み、変更処理部は、画像認識部が認識に不適な画像であると認識した場合に、画像認識部の認識結果を認識結果保存部に保存されている認識結果に変更する医療画像処理装置である。
【0017】
態様6は、態様5の医療画像処理装置において、画像認識部が認識に不適な画像であると認識した医療画像についての認識結果は、認識結果保存部に非保存とされる医療画像処理装置である。
【0018】
態様7は、態様4から態様6のいずれか一態様の医療画像処理装置において、不適な画像は、被写体がボケている画像である医療画像処理装置である。
【0019】
態様8は、態様4から態様6のいずれか一態様の医療画像処理装置において、不適な画像は、被写体がぶれている画像である医療画像処理装置である。
【0020】
態様9は、態様4から態様6のいずれか一態様の医療画像処理装置において、不適な画像は、被写体に水がかぶっている画像である医療画像処理装置である。
【0021】
態様10は、態様4から態様6のいずれか一態様の医療画像処理装置において、不適な画像は、被写体に残渣がある画像である医療画像処理装置である。
【0022】
態様11は、態様1から態様10のいずれか一態様の医療画像処理装置において、画像認識部が行う画像認識には、注目領域を検出するタスクが含まれる医療画像処理装置である。
【0023】
注目領域は、例えば、病変領域であってよい。
【0024】
態様12は、態様1から態様11のいずれか一態様の医療画像処理装置において、画像認識部が行う画像認識には、画像分類が含まれる医療画像処理装置である。
【0025】
態様13は、態様1から態様12のいずれか一態様の医療画像処理装置において、画像認識部は、画像取得部から取得された医療画像が認識に不適な画像であるか否かを認識する第1の認識部と、画像取得部から取得された医療画像から注目領域の検出、及び医療画像の画像分類のうち少なくとも一方の処理を行う第2の認識部と、を含み、第1の認識部が認識に不適な画像であると認識した医療画像について、第2の認識部における処理を不実施とする医療画像処理装置である。
【0026】
態様14は、態様1から態様13のいずれか一態様の医療画像処理装置において、画像認識部は、時系列で取得される医療画像ごとに画像認識を行い、医療画像ごとに認識結果を出力する医療画像処理装置である。
【0027】
態様15は、態様1から態様14のいずれか一態様の医療画像処理装置において、変更処理部による変更の処理を受けずに、画像認識部の認識結果が維持された医療画像についての認識結果が認識結果保存部に保存される医療画像処理装置である。
【0028】
態様16は、態様1から態様15のいずれか一態様の医療画像処理装置において、変更処理部は、画像認識部の認識結果を、認識結果保存部に保存されている最新の認識結果に変更する医療画像処理装置である。
【0029】
認識結果保存部に保存する認識結果は、都度、最新のものに更新されることが好ましく、認識結果保存部には直近の認識結果のみが保存されればよい。
【0030】
態様17は、態様1から態様16のいずれか一態様の医療画像処理装置において、画像認識部の認識結果を表示する表示部を備え、画像認識部の認識結果に応じて、認識結果保存部に保存されている認識結果が表示部に表示される医療画像処理装置である。
【0031】
態様18は、態様17の医療画像処理装置において、表示部は、認識結果保存部に保存されている認識結果を表示する場合に、認識結果保存部に保存されている認識結果であることを示す表示を行う医療画像処理装置である。
【0032】
態様19は、態様18の医療画像処理装置において、認識結果保存部に保存されている認識結果であることを示す表示は、画像認識部の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも1つの表示形態を含む医療画像処理装置である。
【0033】
態様20は、態様1から態様19のいずれか一態様の医療画像処理装置において、画像認識部の認識結果を認識結果保存部に保存されている認識結果に変更した医療画像の取得が一定期間続いた場合に、画像認識部の認識処理を停止する医療画像処理装置である。
【0034】
態様21は、態様1から態様20のいずれか一態様の医療画像処理装置において、医療画像は、内視鏡から得られる内視鏡画像又は超音波診断装置から得られる超音波画像である医療画像処理装置である。
【0035】
態様22に係る医療画像処理方法は、被写体像を含む時系列の医療画像を取得する画像取得ステップと、医療画像から画像認識を行う画像認識ステップと、画像認識ステップの認識結果を認識結果保存部に保存する認識結果保存ステップと、画像認識ステップの認識結果に応じて、画像認識ステップの認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理ステップと、を含む。
【0036】
態様22の医療画像処理方法において、態様2から態様21にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ(工程)の要素として把握することができる。また、態様22の医療画像処理方法は、医療画像処理装置の作動方法と理解してもよい。
【0037】
態様23に係る内視鏡システムは、体腔内を撮影する電子内視鏡と、電子内視鏡から得られる画像信号を処理するプロセッサ装置と、を含む内視鏡システムであって、プロセッサ装置は、電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像を取得する画像取得部と、医療画像から画像認識を行う画像認識部と、画像認識部の認識結果を保存する認識結果保存部と、画像認識部の認識結果に応じて、画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理部と、を備える。
【0038】
態様23の内視鏡システムにおいて、態様2から態様21にて特定した事項と同様の事項を適宜組み合わせることができる。
【0039】
態様24に係るプロセッサ装置は、電子内視鏡から得られる画像信号を処理するプロセッサ装置であって、電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像を取得する画像取得部と、医療画像から画像認識を行う画像認識部と、画像認識部の認識結果を保存する認識結果保存部と、画像認識部の認識結果に応じて、画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理部と、を備える。
【0040】
態様24のプロセッサ装置において、態様2から態様21にて特定した事項と同様の事項を適宜組み合わせることができる。
【0041】
態様25に係る診断支援装置は、被写体像を含む時系列の医療画像を取得する画像取得部と、医療画像から画像認識を行う画像認識部と、画像認識部の認識結果を保存する認識結果保存部と、画像認識部の認識結果に応じて、画像認識部の認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理部と、画像認識部の認識結果を報知する報知部と、を備える。
【0042】
態様25の診断支援装置において、態様2から態様21にて特定した事項と同様の事項を適宜組み合わせることができる。画像認識部の認識結果を表示する表示部は、報知部の一形態となり得る。
【0043】
態様26に係るプログラムは、コンピュータに、被写体像を含む時系列の医療画像を取得する画像取得ステップと、医療画像から画像認識を行う画像認識ステップと、画像認識ステップの認識結果を認識結果保存部に保存する認識結果保存ステップと、画像認識ステップの認識結果に応じて、画像認識ステップの認識結果を、認識結果保存部に保存されている認識結果に変更する変更処理ステップと、を実行させる。
【0044】
態様26のプログラムにおいて、態様2から態様21にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作のステップ(機能)を実現するプログラム要素として把握することができる。
【発明の効果】
【0045】
本発明によれば、時系列で得られる画像中に画像認識に不適な画像が含まれる場合に、画像認識に不適な画像から得られた認識結果がユーザに提供されることを回避することが可能である。
【図面の簡単な説明】
【0046】
図1図1は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。
図2図2は、電子内視鏡の先端硬質部の先端面を示した正面図である。
図3図3は、内視鏡システムの制御系を示したブロック図である。
図4図4は、本発明の第一実施形態に係る医療画像処理装置の機能を示すブロック図である。
図5図5は、第一実施形態に係る医療画像処理装置の動作を示すフローチャートである。
図6図6は、本発明の第二実施形態に係る医療画像処理装置の機能を示すブロック図である。
図7図7は、第二実施形態に係る医療画像処理装置の動作を示すフローチャートである。
図8図8は、認識結果を表示する内視鏡診断支援画面の一例を示す図である。
図9図9は、認識結果を表示する内視鏡診断支援画面の他の例を示す図である。
図10図10は、医療情報管理システムの構成例を示すブロック図である。
【発明を実施するための形態】
【0047】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
【0048】
《内視鏡システムの構成例》
図1は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。内視鏡システム10は、電子内視鏡12と、光源装置14と、プロセッサ装置16と、を含む。プロセッサ装置16には、表示装置18と入力装置19とが接続される。電子内視鏡12は、「スコープ」、「電子スコープ」、或いは単に「内視鏡」と呼ばれる場合がある。
【0049】
本例の電子内視鏡12は、軟性内視鏡である。電子内視鏡12は、挿入部20と、操作部30と、ユニバーサルコード40と、を備えている。挿入部20は、検査対象者の体腔内に挿入される部分である。挿入部20は、先端側から順に、手元側に向かって、先端硬質部22、湾曲部24、及び軟性部26を含んで構成される。先端硬質部22の内部には、照明光学系と対物光学系と撮像素子等が配置されている。湾曲部24は、アングルノブ31の操作に応じて、基準の位置から上下左右の4方向へ円滑に曲がる構造になっている。軟性部26の手元側を挿入部20の基端部という。
【0050】
操作部30は、挿入部20の基端部に設けられている。操作部30は、術者によって操作される各種操作部材を含む。例えば、操作部30には、湾曲部24の湾曲操作に用いられるアングルノブ31と、送気送水の操作を行うための送気送水ボタン32と、吸引操作を行うための吸引ボタン33と、が設けられている。術者は、アングルノブ31を操作することにより、湾曲部24を湾曲させて先端硬質部22の向きを自在に変えることができる。操作部30には、他に、観察モードの切り替え操作に用いられるモード切替スイッチ34、ズーム操作部35、及び被観察部位の静止画の撮影指示を行うための図示せぬ静止画撮影指示部が設けられている。
【0051】
また、操作部30には、処置具導入口36が設けられている。処置具導入口36は、挿入部20内を挿通している図示せぬ処置具挿通路内に、図示せぬ処置具を挿入するための開口部である。処置具としては、例えば、生検鉗子、カテーテル、高周波スネアなどがあり得る。また、処置具には、カイドチューブ、トラカールチューブ、スライディングチューブなども含まれる。処置具導入口36は、鉗子口と呼ばれる場合がある。
【0052】
ユニバーサルコード40は、電子内視鏡12を光源装置14及びプロセッサ装置16に接続するためのコードである。ユニバーサルコード40には、挿入部20から延設されるケーブル及びライトガイドが挿通されている。挿入部20から延設されるケーブルには、信号の伝達に用いる通信ケーブルと、電力供給に用いる給電ケーブルとが含まれる。ユニバーサルコード40の一端には、コネクタ42が設けられている。
【0053】
コネクタ42は、ビデオコネクタ42Aとライトガイドコネクタ42Bとを備えた複合タイプのコネクタである。ビデオコネクタ42Aには、ケーブルの一端が配置されている。ビデオコネクタ42Aはプロセッサ装置16に対して着脱自在に接続される。ライトガイドコネクタ42Bには、ライトガイドの一端が配置されている。ライトガイドコネクタ42Bは光源装置14に対して着脱自在に接続される。また、ライトガイドコネクタ42Bには、送水コネクタ42Cが設けられ、送水コネクタ42Cを介して送水タンク44が接続される。
【0054】
プロセッサ装置16は、コネクタ42を介して光源装置14と電気的に接続されている。プロセッサ装置16は、光源装置14を含め内視鏡システム10の動作を統括的に制御する。プロセッサ装置16は、ユニバーサルコード40内に挿通されたケーブルを介して電子内視鏡12に給電を行い、かつ、撮像素子の駆動を制御する。また、プロセッサ装置16は、電子内視鏡12からケーブルを介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。プロセッサ装置16で変換された画像データは、表示装置18に内視鏡撮影画像(観察画像)として表示される。
【0055】
図2は、電子内視鏡12の先端硬質部22の先端面22Aを示した正面図である。先端硬質部22の先端面22Aには、照明窓50と、観察窓52と、鉗子出口54と、送気送水用ノズル56とが設けられている。図2には示されていないが、照明窓50の奥には、光源装置14からの光を導くライトガイド120の出射端122が配置されている(図3参照)。照明窓50から被観察領域へ照明光が照射される。照明窓50は、観察窓52を挟んで対称な位置に2個配置されている。
【0056】
観察窓52は、被観察領域からの反射光を取り込み、被観察領域を撮像するための窓である。図2には示されていないが、観察窓52の奥には、体腔内の被観察領域の像光を取り込むための対物光学系60と撮像素子62とが配置されている(図3参照)。
【0057】
鉗子出口54は、挿入部20内に配設された図示せぬ鉗子チャンネルに接続され、操作部30に設けられた処置具導入口36(図1参照)に連通している。処置具導入口36から挿入された処置具が鉗子出口54から体腔内に出される。
【0058】
送気送水用ノズル56は、操作部30に設けられた送気送水ボタン32(図1参照)の操作に応じて、洗浄水又は空気を、観察窓52及び/又は体腔内に向けて噴射する。なお、洗浄水及び空気は、光源装置14に内蔵された送気送水装置から供給される。
【0059】
図3は、内視鏡システム10の制御系を示したブロック図である。電子内視鏡12の先端硬質部22には、対物光学系60と、撮像素子62と、アナログフロントエンド(AFE:Analog Front End)回路64と、タイミングジェネレータ(TG:Timing Generator)65と、CPU(Central Processing Unit)66と、が設けられている。
【0060】
対物光学系60は、ズームレンズを用いて構成される。対物光学系60と撮像素子62の間に、図示しない導光用のプリズムが配置される。撮像素子62は、CMOS(complementary metal oxide semiconductor)型の撮像素子であってもよいし、CCD(Charged Coupled Device)型の撮像素子であってもよい。ここではCMOS型の撮像素子を用いる例を説明する。
【0061】
図示は省略するが、撮像素子62は、複数の色セグメントからなるカラーフィルタを備えた単板カラー撮像方式の固体撮像素子である。カラーフィルタは、例えば、赤(R)、緑(G)、及び青(B)を含むベイヤー配列の原色カラーフィルタであってよい。
【0062】
撮像素子62の撮像面には、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサが設けられている。撮像素子62の撮像面に入射した光は各画素のフォトセンサに電荷として蓄積される。各画素のフォトセンサに蓄積された信号電荷量は、垂直走査回路及び水平走査回路(いずれも不図示)による垂直方向と水平方向の走査によって、画素信号として順次読み出され、所定のフレームレートで出力される。
【0063】
タイミングジェネレータ65は、CPU66の制御に基づき、撮像素子62の駆動パルスと、アナログフロントエンド回路64への同期パルスとを発生する。撮像素子62の駆動パルスには、垂直走査パルス、水平走査パルス、及びリセットパルス等が含まれる。
【0064】
撮像素子62は、タイミングジェネレータ65から入力される駆動パルスにより駆動され、対物光学系60を介して撮像面に結像された光学像を光電変換して撮像信号として出力する。
【0065】
アナログフロントエンド回路64は、相関二重サンプリング(CDS:correlated double sampling)回路と、自動ゲイン制御(AGC:Automatic Gain Control)回路と、A/D変換器とを含む。CDS回路は、撮像素子62から出力される撮像信号に対して相関二重サンプリング処理を施し、撮像素子62で生じるリセット雑音及びアンプ雑音の除去を行う。
【0066】
AGC回路は、CDS回路によりノイズ除去が行われた撮像信号を、CPU66から指定されたゲイン(増幅率)で増幅する。A/D変換器は、AGC回路により増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。アナログフロントエンド回路64にてデジタル化されて出力された撮像信号は、信号線を通してプロセッサ装置16に入力される。
【0067】
なお、撮像素子62、アナログフロントエンド回路64及びタイミングジェネレータ65は、モノリシック集積回路として構成することができ、これらの各回路素子は、1つの撮像チップ68に含まれる。本例の電子内視鏡12に搭載される撮像チップ68は、いわゆる「CMOSセンサチップ」であり、図示せぬ支持基板上に実装されている。
【0068】
プロセッサ装置16は、CPU70と、ROM(read-only memory)72と、RAM(Random Access Memory)74と、デジタル信号処理回路(DSP:Digital Signal Processor)76と、表示制御回路78とを備える。
【0069】
CPU70は、プロセッサ装置16内の各部を制御するとともに、内視鏡システム10の全体を統括的に制御する。ROM72には、プロセッサ装置16の動作を制御するための各種プログラムや制御用データが記憶される。RAM74には、CPU70により実行されるプログラム及びデータなどが一時記憶される。
【0070】
デジタル信号処理回路76は、CPU70の制御に基づき、アナログフロントエンド回路64から入力された撮像信号に対し、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等の各種信号処理を施して、画像データを生成する。また、デジタル信号処理回路76は、画像認識の処理を行う。デジタル信号処理回路76は、画像処理部として機能する。また、デジタル信号処理回路76は、画像認識の処理を行う画像認識部の機能を含んでいる。
【0071】
デジタル信号処理回路76から出力された画像データは、表示制御回路78に入力される。表示制御回路78は、デジタル信号処理回路76から入力された画像データを、表示装置18に対応した信号形式に変換し、表示装置18の画面に表示させる。
【0072】
表示装置18は、例えば、液晶ディスプレイ、有機EL(organic electro-luminescence:OEL)ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせで
あってよい。表示装置18は、プロセッサ装置16の処理に必要な各種設定情報、又は、処理結果を示す情報などの各種情報を表示し得る。
【0073】
表示装置18と入力装置19は、ユーザインターフェースとして機能する。入力装置19は、例えば、キーボード、マウス、タッチパネル、操作ボタン、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザは、入力装置19を用いて各種の指示及び/又は情報を入力することができる。プロセッサ装置16は、入力装置19から入力された指示及び/又は情報に応じて各種処理を実行し得る。
【0074】
光源装置14は、電子内視鏡12内に挿通されたライトガイド120を通して体腔内を照明する光を発生する。光源装置14は、第1光源100と、第1光源駆動回路101と、第2光源102と、第2光源駆動回路103と、CPU104と、合波部105とを含む。CPU104は、プロセッサ装置16のCPU70と通信を行い、第1光源駆動回路101及び第2光源駆動回路103の制御を行う。
【0075】
第1光源駆動回路101は、CPU104からの指示に従い、第1光源100を発光させる。第2光源駆動回路103は、CPU104からの指示に従い、第2光源102を発光させる。
【0076】
第1光源100は、例えば、波長445nmの青色レーザを発光するレーザダイオードである。第1光源100は、第1光源駆動回路101によりパルス駆動されて発光量が制御される。第2光源102は、例えば、波長405nmの青色レーザを発光するレーザダイオードである。第2光源102は、第2光源駆動回路103によりパルス駆動されて発光量が制御される。波長405nmの青色光は、特殊光観察の際に使用される。
【0077】
合波部105は、第1光源100と第2光源102の夫々の出射光を合波してライトガイド120の入射端121に出射する。
【0078】
ライトガイド120の出射端122と、電子内視鏡12の照明窓50との間には、蛍光体124が設けられている。ライトガイド120を通った青色レーザ光は蛍光体124に照射され、蛍光体124を励起状態にすると共に、その一部は蛍光体124を透過して青色光として照明窓50から出射される。
【0079】
蛍光体124は、青色レーザ光で励起され、光の波長帯域でいうと、青色と緑色の境界当たりの波長域から赤色の波長域までの広範囲の光(色としては黄色)を発光する。この黄色光と蛍光体124を透過する青色光とが混合されて白色光となり、照明窓50を通して被写体を照明することになる。なお、蛍光体124を透過する青色光には、蛍光体124で発光する青色光も一部含む。
【0080】
蛍光体124は、上述のように、波長445nmの青色レーザ光の照射を受けた場合に黄色光を発光すると共に波長445nmの青色光を透過するが、波長405nmの青色レーザ光の照射を受けた場合にはその殆どを透過する性質を持つ。
【0081】
即ち、波長445nmの青色レーザ光と波長405nmの青色レーザ光との混合割合を制御することで、蛍光体124を透過する青色光と、蛍光体124で発光する黄色光との割合を制御することが可能である。
【0082】
白色光を用いて照明された被写体からの反射光を、撮像素子62を用いて受光することにより、被写体のカラー画像が再現される。
【0083】
上記のように構成された内視鏡システム10を用いて体腔内を観察する際には、電子内視鏡12と、光源装置14と、プロセッサ装置16と、表示装置18の各電源をオンにして、電子内視鏡12の挿入部20を体腔内に挿入し、光源装置14からの照明光で体腔内を照明しながら、撮像素子62により撮像される体腔内の画像を表示装置18の画面で観察することになる。
【0084】
本例の内視鏡システム10は、白色光観察モードと狭帯域光観察モードを有する。白色光観察モードは、照明光に白色光を用いて観察対象を撮像して得られる撮影画像を用いて、自然な色合いの観察画像を表示装置18に表示するモードである。白色光観察モードで観察対象を撮像して得られる画像を「白色光観察画像」という。照明光は「観察光」と言い換えてもよい。
【0085】
狭帯域光観察モードは、特定の波長帯域の狭帯域光を照明光として観察対象を撮像して得られる画像信号を用いて、例えば、観察対象の特定深さ領域に在る血管を強調した可視化画像を生成し、血管の観察に適した画像を表示装置18に表示するモードである。狭帯域光観察モードで観察対象を撮像して得られる画像を「狭帯域光観察画像」という。
【0086】
内視鏡システム10は、使用する狭帯域光の波長帯域の種類又はその組み合わせが異なる複数種類の狭帯域光観察モードを有していてもよい。
【0087】
《内視鏡システム10における診断支援機能の概要》
プロセッサ装置16は、電子内視鏡12から受信した画像を画像認識する画像認識部を含む。画像認識の処理には、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)が用いられる。画像認識部は、例えば、画像内に含まれる病変をNICE分類又はJNET分類などに従って複数のカテゴリーに分類する画像分類のタスクを実施する。「NICE」は、NBI(Narrow band imaging) International Colorectal Endoscopic の略語である。「JNET」は、「the Japan NBI Expert Team」の略語である。
【0088】
NICE分類は、非拡大のNBIによる分類であり、病変の色調(Color)、微小血管模様(Vessels)、及び表面模様(Surface pattern)の3項目の各項目について、Type1、Type2及びType3に分類される。Type1は過形成病変、Type2は腺腫~粘膜内癌、Type3はSM(submucosa)深部浸潤癌の診断指標である。JNET分類は、大腸腫瘍に対するNBI拡大内視鏡所見の分類である。JNET分類は、「vessel pattern」と「surface pattern」の各項目について、Type1、Type2A、Type2B、及びType3に分類される。
【0089】
画像認識部は、NICE分類などの詳細な分類に代えて、又は、これと組み合わせて、単に「癌性」であるか「非癌性」であるかの2分類の認識を行ってもよい。
【0090】
また、画像認識部では、病変の分類等の認識処理に加えて、入力された画像が画像認識に適切であるか不適切であるかの認識も行う。「画像認識に適切である」とは、認識の主目的である病変の分類等を行う認識の処理に適する画像であることを意味する。「画像認識に不適切である」とは、主目的である病変の分類等の認識に不適な画像であることを意味する。認識に不適な画像を例示すると、例えば、ボケている画像、ぶれている画像、被写体に水がかぶっている画像、残渣がある画像などである。認識に不適な画像を「不適切画像」という。
【0091】
画像認識部は、例えば、認識に適する画像であるか、認識に不適な画像であるか2分類の認識を行い、「認識に適する画像である」と認識した場合に、NICE分類のような分類タスクを実行する。或いはまた、画像認識部は、NICE分類のような分類タスクの認識処理の中に、「認識に不適な画像」といった分類を追加してもよい。
【0092】
プロセッサ装置16は、認識結果が「認識に不適な画像」以外である場合は、認識結果を保存する。その後、次の画像がプロセッサ装置16によって受信され、この新たに受信した画像について画像認識が行われる。プロセッサ装置16は、新たに受信した画像の認識結果が「認識に不適な画像」であるとされた場合は、この認識結果を(「認識に不適な画像」であるとの認識結果を)、保存されている認識結果に変更する。
【0093】
認識結果は、表示装置18に表示させることができる。ここで、認識結果が、保存されていたもの(保存されていた前回の認識結果)に変更された場合は、認識結果の表示に際して、前回の認識結果であることがわかるような表示を行うことが好ましい。「前回の認識結果であることがわかるような表示」の具体例として、例えば、認識結果を示す情報の横にアイコンを表示する形態、若しくは、認識結果を示す情報の表示色を変更する形態などがあり得る。表示装置18は「表示部」の一例である。また、表示装置18は、画像認識部の認識結果を報知する「報知部」の一例である。
【0094】
《第一実施形態に係る医療画像処理装置の構成》
プロセッサ装置16は、本発明の実施形態に係る医療画像処理装置の一例である。図4は、本発明の第一実施形態に係る医療画像処理装置の機能を示すブロック図である。図4に示す医療画像処理装置160は、画像取得部162と、画像認識部164と、判定部166と、認識結果保存部168と、変更処理部170と、表示制御部172と、表示部174と、を備える。
【0095】
画像取得部162は、電子内視鏡12を用いて撮影された時系列の画像IM1、IM2、IM3・・・を取得するインターフェースである。画像取得部162は、例えば、ビデオコネクタ42Aが接続されるコネクタ端子であってもよいし、デジタル信号処理回路76の信号入力端子であってもよい。また、画像取得部162は、プロセッサ装置16に設けられた通信ネットワーク端子、外部記憶メディア用のメディアインターフェース端子、若しくは、外部機器の接続用端子、又は、これらの適宜の組み合わせであってもよい。
【0096】
画像認識部164は、画像取得部162を介して取得した画像から画像認識を行う処理部である。画像認識部164は、第1の認識部164Aと、第2の認識部164Bとを含む。第1の認識部164Aは、入力された画像が画像認識に適切であるか不適切であるかの認識を行う。第2の認識部164Bは、入力された画像からNIEC分類又はJNET分類などに従い画像分類の処理を行う。なお、第2の認識部164Bは、画像分類の処理に代えて、又は、これと組み合わせて、病変領域などの注目領域を検出する処理を行ってもよい。第1の認識部164Aが行う認識処理を「第1の認識処理」という。第2の認識部164Bが行う認識処理を「第2の認識処理」という。第1の認識部164A及び第2の認識部164Bの各々は、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いて構成することができる。画像認識部164は、機械学習によって学習した学習済みモデルを用いて構成される。
【0097】
第1の認識部164Aから得られた認識結果が「認識に適する画像」である場合に、第2の認識部164Bによる認識処理が実行される。第2の認識部164Bは、画像から特徴量を抽出し、画像の分類、注目領域の検出、セグメンテーション、及び類似度の計算のうち、少なくとも1つの処理を行う。例えば、第2の認識部164Bは、NICE分類やJNET分類など予め定められた分類方法に従い、画像分類を行う。
【0098】
認識結果保存部168は、画像認識部164の認識結果を保存する記憶部である。認識結果保存部168は、図2に示したRAM74の記憶領域であってよい。認識結果保存部168は、RAM74以外の図示せぬメモリの記憶領域であってもよい。認識結果保存部168に保存される認識結果は、順次に最新の情報に更新される。認識結果保存部168には、最新の(直近の)認識結果のみが保存されればよい。
【0099】
判定部166は、画像認識部164の認識結果に応じて、画像認識部164の認識結果を保存するか否かを判定する。本例の判定部166は、第1の認識部164Aからの認識結果を基に、認識結果の保存又は非保存を判定する。
【0100】
第1の認識部164Aからの認識結果が「認識に適する画像」である場合は、第2の認識部164Bによる第2の認識処理が実行される。この場合、判定部166は、認識結果を保存すると判定し、第2の認識部164Bから得られた認識結果が認識結果保存部168に保存される。また、この第2の認識部164Bから得られた認識結果は、表示制御部172を介して表示部174に表示される。表示制御部172は、図2に示した表示制御回路78に相当する。表示部174は、表示装置18であってよい(図1及び図2参照)。また、表示部174は、表示装置18とは別の表示装置であってもよい。
【0101】
その一方、第1の認識部164Aからの認識結果が「認識に不適な画像」である場合は、第2の認識部164Bによる第2の認識処理が中止される。すなわち、第1の認識部164Aが認識に不適な画像であると認識した医療画像について、第2の認識部164Bにおける処理を不実施とする。この場合、判定部166は、認識結果を保存しない(非保存)と判定する。
【0102】
変更処理部170は、画像認識部164の認識結果に応じて、画像認識部164の認識結果を、認識結果保存部168に保存されている認識結果に変更する。変更処理部170は、判定部166が認識結果を非保存とする判定を与えた画像についての認識結果を、認識結果保存部168に保存されている認識結果に変更する。
【0103】
変更処理部170による変更後の認識結果は、表示制御部172を介して表示部174に表示される。
【0104】
認識結果保存部168には、変更処理部170による変更の処理を受けずに、画像認識部164の認識結果がそのまま維持された画像についての認識結果が保存されることになる。変更処理部170は、画像認識部164の認識結果を、認識結果保存部168に保存されている最新の(直近の)認識結果に変更する。
【0105】
画像認識部164の機能は、図2で説明したデジタル信号処理回路76、若しくは、CPU70、又はこれらの組み合わせによって実現できる。判定部166及び変更処理部170の機能は、CPU70によって実現できる。
【0106】
《第一実施形態に係る医療画像処理装置の動作》
図5は、第一実施形態に係る医療画像処理装置の動作を示すフローチャートである。医療画像処理装置の動作は、医療画像処理方法と理解してもよいし、医療画像処理装置の作動方法、若しくはプロセッサ装置の作動方法と理解してもよい。
【0107】
ステップS12において、画像取得部162は入力画像を受信する。ここでの入力画像は、電子内視鏡12を用いて撮影された被写体像を含む医療画像であり、時系列で順次に撮影される時系列画像の1つの画像である。例えば、入力画像は、動画を構成する1フレームの画像である。ステップS12は「画像取得ステップ」の一例である。
【0108】
ステップS14において、画像認識部164は、入力画像に対して第1の認識処理を行う。
【0109】
ステップS16において、CPU70は、第1の認識処理の認識結果を基に、入力画像が第2の認識処理に適切な画像であるか否かを判定する。ステップS16の判定結果が「Yes判定」である場合、すなわち、入力画像が第2の認識処理に適する画像である場合は、ステップS18に進む。ステップS18において、画像認識部164は、第2の認識処理を行う。ステップS14及びステップS18は、「画像認識ステップ」の一例である。
【0110】
ステップS20において、CPU70は、画像認識部164から認識結果を得る。
【0111】
ステップS22において、CPU70は、ステップS20にて得られた認識結果を、認識結果保存部168に保存する。ステップS22には「認識結果保存ステップ」の一例である。
【0112】
その一方、ステップS16の判定結果が「No判定」である場合、すなわち、入力画像が第2の認識処理に不適な画像である場合は、ステップS24に進む。
【0113】
ステップS24において、CPU70は、認識結果保存部168に保存された認識結果を取得する。ステップS26において、CPU70は、第1の認識処理の認識結果を、認識結果保存部168に保存されていた認識結果に変更して、認識結果を得る。ステップS24及びステップS26は、「変更処理ステップ」の一例である。
【0114】
ステップS20又はステップS26にて得られた認識結果は、表示部174に表示される。
【0115】
ステップS22又はステップS26の後、図5のフローチャートを終了する。時系列で取得される入力画像ごとに、図5のフローチャートの処理が繰り返される。
【0116】
このような構成によれば、時系列で得られる画像の中に、認識に不適な画像が一時的に含まれた場合に、認識結果保存部168に保存してある直近の認識結果を用いて、真実性の高い妥当な認識結果を提示することができる。
【0117】
これにより、認識に不適な画像から、真実性の低い認識結果(誤った認識結果)が生成されユーザに提供されてしまうことを回避できる。
【0118】
また、認識に不適な画像についての認識結果を変更した場合でも、その後、認識に適した画像が得られると、ステップS18~S22の処理が行われるため、精度の高い認識が可能である。
【0119】
〈認識に不適な画像が一定期間継続して取得された場合の対処〉
図5のフローチャートには示していないが、プロセッサ装置16は、認識に不適な画像が一定期間継続して取得された場合、つまり、画像認識部164の認識結果を認識結果保存部168に保存されている認識結果に変更した医療画像の取得が一定期間続いた場合に、画像認識部164の認識処理を停止してもよい。この場合、表示部174に、警告メッセージなどを表示して、ユーザに注意を喚起する構成が好ましい。表示部174は「報知部」の一例である。
【0120】
図4に示した第一実施形態では「第1の認識処理」と「第2の認識処理」を段階的に実施する例を示したが、このような2段階の認識処理を行う構成に代えて、1回の認識処理で「認識に不適な画像」の分類を含む複数のカテゴリーに分類する構成を採用してもよい。
【0121】
《第二実施形態に係る医療画像処理装置の構成》
図4に示した第一実施形態では「第1の認識処理」と「第2の認識処理」を段階的に実施する例を示したが、このような2段階の認識処理を行う構成に代えて、1回の認識処理で「認識に不適な画像」の分類を含む複数のカテゴリーに分類する構成を採用してもよい。
【0122】
図6は、本発明の第二実施形態に係る医療画像処理装置の機能を示すブロック図である。図4に示した構成に代えて、図6に示す構成を採用することができる。図6において、図4に示した構成と同一又は類似する要素には同一の符号を付した。図4との相違点を説明する。
【0123】
図6に示す医療画像処理装置160の画像認識部164は、画像取得部162を介して取得した画像から画像認識を行う処理部である。画像認識部164は、NICE分類又はJNET分類のような分類方法に従う分類タスクの認識処理の中に、「認識に不適な画像」の分類を追加したカテゴリー分類のものとなっている。画像認識部164は、入力された画像から、1回の認識処理にて、「認識に不適な画像」の分類を含む画像分類の処理を行う。
【0124】
判定部166は、画像認識部164の認識結果を基に、認識結果を保存するか否かを判定する。
【0125】
《第二実施形態に係る医療画像処理装置の動作》
図7は、第二実施形態に係る医療画像処理装置の動作を示すフローチャートである。図7において、図5に示したフローチャートと同一又は類似のステップには同一のステップ番号を付し、重複する説明は省略する。図5との相違点を説明する。
【0126】
図7に示すフローチャートは、図5のステップS14、ステップS16及びステップS18に代えて、ステップS15及びステップS17を含む。
【0127】
ステップS15において、画像認識部164は、入力画像に対して認識処理を行う。ここで実施する認識処理は、例えば、NICE分類又はJNET分類のような分類のカテゴリーに、「認識に不適な画像」のカテゴリーを追加した画像分類の処理である。
【0128】
ステップS17において、CPU70は、入力画像から目的とする認識ができたか否かを判定する。ここでいう「目的とする認識」とは、「認識に不適な画像」以外のカテゴリーを認識することである。ステップS15の認識処理によって、「認識に不適な画像」であるとの認識結果が得られた場合には、ステップS17の判定結果が「No判定」となる。一方、ステップS15の認識処理によって、「認識に不適な画像」以外のカテゴリーの認識結果が得られた場合には、ステップS17の判定結果が「Yes判定」となる。
【0129】
ステップS17の判定結果が「Yes判定」となった場合は、ステップS20に進む。
【0130】
ステップS20において、CPU70は、画像認識部164の認識結果を得る。
【0131】
ステップS22において、CPU70は、ステップS20にて得られた認識結果を、認識結果保存部168に保存する。
【0132】
その一方、ステップS17の判定結果が「No判定」である場合、ステップS24に進む。
【0133】
ステップS24において、CPU70は、認識結果保存部168に保存された認識結果を取得する。ステップS26において、CPU70は、画像認識部164の認識結果を、認識結果保存部168に保存されていた認識結果に変更して、認識結果を得る。
【0134】
ステップS20又はステップS26にて得られた認識結果は、表示部174に表示される。
【0135】
ステップS22又はステップS26の後、図7のフローチャートを終了する。時系列で取得される入力画像ごとに、図7のフローチャートの処理が繰り返される。
【0136】
《認識結果の表示例》
図8は、表示部174に表示される内視鏡診断支援画面の一例である。図8に例示したウインドウ300は、画像表示エリア301と、認識結果表示エリア310と、を含む。図8には、認識に適する画像が取得されている場合の表示例が示されている。画像表示エリア301には、電子内視鏡12を用いて撮影された医療画像302の画像内容がリアルタイムで表示される。図8では、医療画像302の画像内に、病変領域303が含まれている例が示されている。なお、1枚の画像内に複数の病変領域が含まれる場合がある。
【0137】
認識結果表示エリア310には、例えば、認識結果として「癌性」であるか、「非癌性」であるかを示す情報が表示される。また、認識結果表示エリア310には、例えば、NIEC分類に従った認識結果が表示される。
【0138】
図9は、表示部174に表示される内視鏡診断支援画面の他の例である。図9には、認識に不適な画像が取得された場合の表示例が示されている。図9に示したウインドウ300の画像表示エリア301に表示された医療画像302は、例えば、認識に不適な画像の一例としてボケた画像となっている。このような不鮮明な画像が取得された場合、画像認識部164から得られる認識結果が、認識結果保存部168に保存してある認識結果に変更される。認識結果表示エリア310には、変更後の認識結果、すなわち、認識結果保存部168に保存してある認識結果が表示される。
【0139】
このとき、認識結果の表示の横に、前回の認識結果であることをユーザに知らせるアイコン312が表示される。
【0140】
電子内視鏡12から得られる画像が認識に適した画像に戻った場合には、図9の画面から、図8の画面に復帰する。
【0141】
《認識結果保存部168に保存されている認識結果であることを示す表示の例》
認識結果保存部168に保存されている認識結果であることを示す表示は、画像認識部164の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも一つの表示形態を含むものであればよく、これらの任意の組み合わせであってよい。図9に示したアイコン312は、記号表示の一例である。異色表示には、文字の色を変える態様に限らず、背景色を変える態様も含まれる。
【0142】
《本発明の実施形態による利点》
上述した実施形態の構成によれば、次のような作用効果が得られる。
【0143】
(1)時系列の医療画像の中に、ボケた画像など認識に不適な画像が一時的に含まれた場合に、認識結果保存部168に保存してある直近の認識結果を用いて、真実性の高い妥当な認識結果を提示することができる。
【0144】
(2)これにより、認識に不適な画像から、真実性の低い認識結果(誤った認識結果)が生成されユーザに提供されてしまうことを回避できる。
【0145】
(3)また、認識に不適な画像についての認識結果を変更した場合でも、その後、認識に適した画像が得られると、ステップS20~ステップS22の処理が行われるため、精度の高い認識が可能である。
【0146】
(4)本発明の実施形態によれば、医師等にとって有益な診断支援を行うことができる。
【0147】
《第三実施形態:医療情報管理システムへの応用例》
本発明に係る医療画像処理装置は、図1に例示した内視鏡システム10のプロセッサ装置16に適用する形態に限らず、様々な応用が可能である。例えば、医療画像処理装置は、内視鏡画像を含む様々な医療情報を管理する医療情報管理システムに応用することができる。
【0148】
図10は、医療情報管理システムの構成例を示すブロック図である。医療情報管理システム200は、画像取込端末202と、画像保存サーバ204と、情報管理装置210と、表示装置218と、入力装置219と、を備える。画像取込端末202、画像保存サーバ204及び情報管理装置210の各々は、電気通信回線230に接続される。「接続」という用語は、有線接続に限らず、無線接続の概念も含む。
【0149】
電気通信回線230は、ローカルエリアネットワークであってもよいし、ワイドエリアネットワークであってもよい。電気通信回線230は、有線及び無線の適宜の組み合わせによって構成される。
【0150】
内視鏡システム10のプロセッサ装置16は、電気通信回線230に接続される。プロセッサ装置16によって生成された医療画像は、電気通信回線230を介して、画像取込端末202、画像保存サーバ204、及び情報管理装置210のうち少なくとも1つに取り込まれる。例えば、プロセッサ装置16によって生成された医療画像は、画像取込端末202に送られる。画像取込端末202は、プロセッサ装置16から医療画像を受信する。
【0151】
画像取込端末202は、プロセッサ装置16から受信した医療画像を画像保存サーバ204に送る。また、画像取込端末202は、プロセッサ装置16から受信した医療画像を情報管理装置210に送信してもよい。
【0152】
画像保存サーバ204は、様々な医療画像のデータベースを格納しておく記憶装置の役割を果たす。画像保存サーバ204に代えて、クラウドストレージであってもよい。画像保存サーバ204には、医療画像の他に、医療画像に含まれる注目領域(関心領域)、注目すべき対象の有無、画像分類の結果などの画像解析結果を記憶してもよい。
【0153】
なお、図10には、1つの内視鏡システム10を示したが、電気通信回線230には、複数の内視鏡システムを接続し得る。また、電気通信回線230には、内視鏡システムに限らず、超音波診断装置など、他の医療画像診断装置が接続されてもよい。超音波診断装置から得られる超音波画像は「医療画像」の一例である。
【0154】
情報管理装置210は、例えば、コンピュータのハードウェア及びソフトウェアによって実現される。情報管理装置210には、表示装置218と入力装置219が接続されている。情報管理装置210は、図4又は図6に示した医療画像処理装置160の機能の一部又は全部を含んでよい。例えば、情報管理装置210は、画像取得部162、画像認識部164、判定部166、認識結果保存部168、変更処理部170及び表示制御部172の機能を含む。表示装置218は、表示部174として機能し得る。情報管理装置210の機能は、1台又は複数台のコンピュータによって実現することができ、また、クラウドコンピューティングによって実現することもできる。情報管理装置210は、画像保存サーバ204の機能を含んでいてもよい。また、画像取込端末202は、画像取得部162として機能し得る。なお、画像取込端末202を省略した構成も可能であり、その場合、画像保存サーバ204及び/又は情報管理装置210がプロセッサ装置16から医療画像を取り込むよう構成される。
【0155】
上記のように構成された医療情報管理システム200によれば、電子内視鏡12からリアルタイムで得られる医療画像に限らず、画像保存サーバ204に保存されている動画等の再生の際にも、図5又は図7で説明したフローチャートの処理を行うことができ、図8及び図9で説明したような認識結果の表示を行うことが可能である。
【0156】
情報管理装置210は、例えば、病院内の手術室、検査室、若しくは、カンファレンス室などに設置してもよいし、院外施設の医療機関、若しくは研究機関などに設置してもよい。情報管理装置210は、診察、治療、診断などの支援を行うワークステーションであってもよいし、医療業務を支援する業務支援装置であってもよい。業務支援装置は、臨床情報の蓄積、診断書類の作成支援、レポート作成支援などを行う機能を備えていてよい。
【0157】
《各処理部及び制御部のハードウェア構成について》
図4及び図6で説明した医療画像処理装置160の画像取得部162、画像認識部164、判定部166、認識結果保存部168、変更処理部170、及び表示制御部172などの各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
【0158】
各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0159】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。例えば、1つの処理部は、複数のFPGA、或いは、CPUとFPGAの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0160】
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【0161】
《変形例1》
電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。また、被写体像を含む時系列の医療画像を生成する装置は、電子内視鏡に限らず、例えば、超音波診断装置などであってもよい。
【0162】
《変形例2》
本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、及び/又は治療支援の概念を含む。
【0163】
《内視鏡システムの観察光について》
観察光は、白色光、或いは1又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
【0164】
〈第1例〉
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下の波長帯域又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下の波長帯域内又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
【0165】
〈第2例〉
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下の波長帯域又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nmの波長帯域内以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
【0166】
〈第3例〉
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nmの波長帯域、470±10nmの波長帯域、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域内にピーク波長を有する。
【0167】
〈第4例〉
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域、例えば、390nmから470nmである。
【0168】
〈第5例〉
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下の波長帯域又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下の波長帯域内又は905nm以上970nm以下の波長帯域内にピーク波長を有する。
【0169】
《観察光の切り替えについて》
光源の種類は、レーザ光源、キセノン光源、若しくは、LED光源(LED:Light-Emitting Diode)又はこれらの適宜の組み合わせを採用し得る。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ及び/又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることにより、照射する光の波長を切り替えてもよい。
【0170】
電子内視鏡に用いる撮像素子は、各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次(色順次)で撮像することができる。例えば出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、広帯域光(白色光)を照射してロータリカラーフィルタ(赤色、緑色、青色等)により出射する照明光の波長を切り替えてもよい。また、1又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる2波長以上の赤外光でもよい。
【0171】
《特殊光画像の生成例》
プロセッサ装置16は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。この場合、プロセッサ装置16は、特殊光画像取得部として機能する。プロセッサ装置16は、特定の波長帯域の信号を、通常光画像に含まれる赤(R)、緑(G)、及び青(B)、或いはシアン(C)、マゼンタ(M)、及びイエロー(Y)の色情報に基づく演算を行うことで得ることができる。
【0172】
《特徴量画像の生成例》
プロセッサ装置16は、医療画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。特徴量画像は医療画像の一形態である。
【0173】
《コンピュータに医療画像処理装置の機能を実現させるプログラムについて》
上述の実施形態で説明した医療画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
【0174】
また、上述の実施形態で説明した医療画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
【0175】
《実施形態及び変形例等の組み合わせについて》
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
【0176】
《付記》
本明細書は、上述した各実施形態及び変形例等に加えて、以下に記載の構成発明の開示を含む。
【0177】
(付記1)
医療画像処理装置は、医療画像解析処理部と、医療画像解析結果取得部と、を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【0178】
医療画像解析処理部は、画像認識部を含んでよい。
【0179】
(付記2)
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【0180】
(付記3)
医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、若しくは両方である医療画像処理装置。
【0181】
(付記4)
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
【0182】
(付記5)
医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
【0183】
(付記6)
特定の波長帯域は、可視域の青色若しくは、緑色帯域である医療画像処理装置。
【0184】
(付記7)
特定の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する 医療画像処理装置。
【0185】
(付記8)
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
【0186】
(付記9)
特定の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
【0187】
(付記10)
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
【0188】
(付記11)
特定の波長帯域は、400±10nm、440±10nm、470±10nm、又は、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、又は、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
【0189】
(付記12)
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
【0190】
(付記13)
蛍光は、ピークが390nm以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
【0191】
(付記14)
医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
【0192】
(付記15)
特定の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
【0193】
(付記16)
医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。
【0194】
(付記17)
特定の波長帯域の信号は、通常光画像に含まれるRGB或いはCMYの色情報に基づく演算により得る医療画像処理装置。
【0195】
(付記18)
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。
【0196】
(付記19)
付記1から付記18のいずれか1つに記載の医療画像処理装置と、白色の波長帯域の光、又は、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。
【0197】
(付記20)
付記1から付記18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
【0198】
(付記21)
付記1から付記18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
【0199】
[その他]
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。
【符号の説明】
【0200】
10 内視鏡システム
12 電子内視鏡
14 光源装置
16 プロセッサ装置
18 表示装置
19 入力装置
20 挿入部
22 先端硬質部
22A 先端面
24 湾曲部
26 軟性部
30 操作部
31 アングルノブ
32 送気送水ボタン
33 吸引ボタン
34 モード切替スイッチ
35 ズーム操作部
36 処置具導入口
40 ユニバーサルコード
42 コネクタ
42A ビデオコネクタ
42B ライトガイドコネクタ
42C 送水コネクタ
44 送水タンク
50 照明窓
52 観察窓
54 鉗子出口
56 送気送水用ノズル
60 対物光学系
62 撮像素子
64 アナログフロントエンド回路
65 タイミングジェネレータ
66 CPU
68 撮像チップ
70 CPU
72 ROM
74 RAM
76 デジタル信号処理回路
78 表示制御回路
100 第1光源
101 第1光源駆動回路
102 第2光源
103 第2光源駆動回路
104 CPU
105 合波部
120 ライトガイド
121 入射端
122 出射端
124 蛍光体
160 医療画像処理装置
162 画像取得部
164 画像認識部
164A 第1の認識部
164B 第2の認識部
166 判定部
168 認識結果保存部
170 変更処理部
172 表示制御部
174 表示部
200 医療情報管理システム
202 画像取込端末
204 画像保存サーバ
210 情報管理装置
218 表示装置
219 入力装置
230 電気通信回線
300 ウインドウ
301 画像表示エリア
302 医療画像
303 病変領域
310 認識結果表示エリア
312 アイコン
IM1、IM2、IM3 画像
S12~S26 医療画像処理装置における処理のステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10