IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7547057医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム
<>
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図1
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図2
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図3A
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図3B
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図3C
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図4
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図5
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図6
  • 特許-医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-30
(45)【発行日】2024-09-09
(54)【発明の名称】医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム
(51)【国際特許分類】
   A61B 10/00 20060101AFI20240902BHJP
   A61B 5/00 20060101ALI20240902BHJP
【FI】
A61B10/00 Q
A61B5/00 M
A61B5/00 G
【請求項の数】 12
(21)【出願番号】P 2020037897
(22)【出願日】2020-03-05
(65)【公開番号】P2021137344
(43)【公開日】2021-09-16
【審査請求日】2023-02-28
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】塚辺 直希
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】特開2016-220946(JP,A)
【文献】特開2003-019118(JP,A)
【文献】特開2018-020112(JP,A)
【文献】米国特許出願公開第2018/0020993(US,A1)
【文献】特開2014-039884(JP,A)
【文献】特開2014-090748(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
A61B 3/00-3/18
A61B 5/00-5/01
A61B 10/00
(57)【特許請求の範囲】
【請求項1】
撮像装置により撮像される被写体に関する情報を外部装置から取得する取得手段と、
取得された前記被写体に関する情報に基づき、前記撮像装置の光学系のアタッチメントの装着に関する報知を実行する制御手段と、を備え、
前記被写体に関する情報は、前記撮像装置の撮像結果に応じた画像に基づく病変の観察対象となる患者に関する情報であり、
前記制御手段は、
取得された前記被写体に関する情報に基づく前記撮像装置の撮像条件と、当該撮像装置の撮像結果に応じた画像に対して観察対象となる病変の種類に応じて施される解析モードと、のうち、少なくともいずれかに関する情報をユーザに提示し、
ユーザからの指示に応じて、前記撮像条件と前記解析モードとのうち少なくともいずれかを変更する
ことを特徴とする医療用画像処理装置。
【請求項2】
撮像装置により撮像される被写体に関する情報を外部装置から取得する取得手段と、
取得された前記被写体に関する情報に基づき、前記撮像装置の光学系のアタッチメントの装着に関する報知を実行する制御手段と、を備え、
前記被写体に関する情報は、前記撮像装置の撮像結果に応じた画像に基づく病変の観察対象となる患者に関する情報であり、
前記制御手段は、取得された前記被写体に関する情報に基づき、前記撮像装置の撮像条件と、当該撮像装置の撮像結果に応じた画像に対して観察対象となる病変の種類に応じて施される解析モードと、のうち少なくともいずれかを変更する
ことを特徴とする医療用画像処理装置。
【請求項3】
前記制御手段は、取得された前記被写体に関する情報と、前記撮像装置による撮像結果に応じた画像と、に基づき、当該撮像装置の撮像条件と、当該撮像装置の撮像結果に応じた画像に対して観察対象となる病変の種類に応じて施される解析モードと、のうちの少なくともいずれかの制御に関する処理を実行する、請求項1または2に記載の医療用画像処理装置。
【請求項4】
前記被写体に関する情報は、前記被写体の氏名、年齢、及び性別のいずれかであることを特徴とする、請求項1~のいずれか1項に記載の医療用画像処理装置。
【請求項5】
前記取得手段は、前記被写体の撮像結果に応じた画像に基づき、当該被写体に関する情報を取得する、請求項1~のいずれか1項に記載の医療用画像処理装置。
【請求項6】
前記制御手段は、前記撮像装置が撮像の対象とする光のスペクトルと、前記撮像装置が撮像の対象とする偏光と、のうちの少なくともいずれかに関する条件に応じて、前記撮像装置の光学系のアタッチメントの装着に関する報知を実行する、請求項1~のいずれか1項に記載の医療用画像処理装置。
【請求項7】
前記撮像装置の撮像結果に応じた画像に対して、前記撮像装置の撮像結果に応じた画像に対して観察対象となる病変の種類に応じて施される解析モードに応じた画像処理を施す画像処理手段と、
前記画像処理が施された前記画像を所定の送信先に送信する送信手段と、
を備える、
請求項1~のいずれか1項に記載の医療用画像処理装置。
【請求項8】
前記画像処理手段は、前記解析モードに応じて、前記画像のフォーマットを変更する、請求項7に記載の医療用画像処理装置。
【請求項9】
前記送信手段は、送信の対象となる前記画像の撮像に係る前記撮像装置の撮像条件と、当該画像に施された前記画像処理に対応する前記解析モードと、のうちの少なくともいずれかに関する情報を、前記送信先に送信する、請求項7または8に記載の医療用画像処理装置。
【請求項10】
医療用画像処理装置の制御方法であって、
撮像装置により撮像される被写体に関する情報を外部装置から取得する取得ステップと、
取得された前記被写体に関する情報に基づき、前記撮像装置の光学系のアタッチメントの装着に関する報知を実行する制御ステップと、
を含み、
前記被写体に関する情報は、前記撮像装置の撮像結果に応じた画像に基づく病変の観察対象となる患者に関する情報であり、
前記制御ステップは、
取得された前記被写体に関する情報に基づく前記撮像装置の撮像条件と、当該撮像装置の撮像結果に応じた画像に対して観察対象となる病変の種類に応じて施される解析モードと、のうち、少なくともいずれかに関する情報をユーザに提示し、
ユーザからの指示に応じて、前記撮像条件と前記解析モードとのうち少なくともいずれかを変更する
ことを特徴とする医療用画像処理装置の制御方法。
【請求項11】
医療用画像処理装置の制御方法であって、
撮像装置により撮像される被写体に関する情報を外部装置から取得する取得ステップと、
取得された前記被写体に関する情報に基づき、前記撮像装置の光学系のアタッチメントの装着に関する報知を実行する制御ステップと、
を含み、
前記被写体に関する情報は、前記撮像装置の撮像結果に応じた画像に基づく病変の観察対象となる患者に関する情報であり、
前記制御ステップは、取得された前記被写体に関する情報に基づき、前記撮像装置の撮像条件と、当該撮像装置の撮像結果に応じた画像に対して観察対象となる病変の種類に応じて施される解析モードと、のうち少なくともいずれかを変更する
ことを特徴とする医療用画像処理装置の制御方法。
【請求項12】
コンピュータを、請求項1~のいずれか1項に記載の医療用画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラムに関する。
【背景技術】
【0002】
医療の現場において患部の評価、経過観察、診断、及び記録等を目的として、MRI(Magnetic Resonance Imaging)、CT(Computed Tomography)、超音波診断装置等の多様な医療用撮像装置が使用されている。これらのモダリティを使用して撮像された医療用画像は、医療用サーバに構築されたデータベース等により記録及び管理が行われ、医師により読影等に利用されている。例えば、特許文献1には、医療用画像の記録及び管理に係る技術の一例が開示されている。
【0003】
また、医療用画像に対して各種画像解析を施すことで、患部の定量的な評価や評価結果に応じた情報の記録を可能とする技術についても各種検討されている。例えば、特許文献2には、医療用画像に対して画像処理を施すことで、患部領域の違いの把握を容易にする技術の一例が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2012-157688号公報
【文献】特開2018-038789号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方で、院内で各種診断が行われる場合のように、多様な患者を診断の対象とする場合には、患者ごとに異なる病変を有しているような状況が想定され、症状に応じて、医療用画像の撮像条件や、当該医療用画像に対して施される画像解析の内容が異なる場合もある。このような状況下では、例えば、診断の対象となる患者の症状に応じて、患部の観察に利用する医療用画像の撮像条件の調整や、画像解析の内容に応じた解析モードの設定等のような煩雑な操作がユーザ(例えば、医師等の医療従事者)に求められる場合もある。
【0006】
本発明は上記の問題を鑑み、患部の観察に係るユーザの手間をより好適な態様で軽減可能とすることを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る医療用画像処理装置は、撮像装置により撮像される被写体に関する情報を外部装置から取得する取得手段と、取得された前記被写体に関する情報に基づき、前記撮像装置の光学系のアタッチメントの装着に関する報知を実行する制御手段と、を備え、前記被写体に関する情報は、前記撮像装置の撮像結果に応じた画像に基づく病変の観察対象となる患者に関する情報であり、前記制御手段は、取得された前記被写体に関する情報に基づく前記撮像装置の撮像条件と、当該撮像装置の撮像結果に応じた画像に対して観察対象となる病変の種類に応じて施される解析モードと、のうち、少なくともいずれかに関する情報をユーザに提示し、ユーザからの指示に応じて、前記撮像条件と前記解析モードとのうち少なくともいずれかを変更することを特徴とする。
【発明の効果】
【0008】
本発明によれば、患部の観察に係るユーザの手間をより好適な態様で軽減することが可能となる。
【図面の簡単な説明】
【0009】
図1】医療用画像処理システムのシステム構成の一例を示した図である。
図2】医療用画像処理システムのハードウェア構成の一例を示した図である。
図3A】医療用画像処理システムの処理の一例を示したフローチャートである。
図3B】医療用画像処理システムの処理の一例を示したフローチャートである。
図3C】医療用画像処理システムの処理の一例を示したフローチャートである。
図4】UIの画面の一例を示した図である。
図5】UIの画面の一例を示した図である。
図6】医療用画像処理システムのシステム構成の他の一例を示した図である。
図7】医療用画像処理システムのハードウェア構成の他の一例を示した図である。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
<概要>
医療の現場において患部の評価、経過観察、診断、及び記録等を目的として、MRI、CT、超音波診断装置等の多様な医療用撮像装置が使用されている。これらのモダリティは、例えば、医療用サーバに構築されたHIS(Hospital Informaiton System)と称される病院情報システムに含まれるオーダリングシステムから発行された検査オーダーごとに患者の検査を行う。上記モダリティによる撮像結果に応じた画像データ(医療用画像データ)を、DICOM(Digital Imaging and Communications in Medicine)等の医療用画像の規格に基づくデータに変換される。そのうえで、当該データは、PACS(Picture Archiving and Communication Systems)等の医療用サーバ上に構築されるデータベースシステムに保存される。これにより、医師が読影等を行う際に、上述したモダリティによる撮像結果に応じた医療用画像を参照することが可能となる。
【0012】
また、近年では、患部の撮像や撮像結果に応じた医療用画像に対して各種画像解析を施すことが可能な撮像システムや、ダーモスコープカメラや一般的なデジタルカメラ等のような携行可能な撮像装置も利用されている。このような撮像システムや撮像装置を利用可能とする技術は、患者や医療従事者の負担を低減し、患部の定量的な評価や評価結果に応じた情報の記録を可能とするため、有用な技術として注目されている。
【0013】
一方で、院内で各種診断が行われる場合のように、多様な患者を診断の対象とする場合には、患者ごとに異なる病変を有しているような状況が想定される。これに対して、熱傷・褥瘡・切創等の症状に応じて、患部の観察に利用する医療用画像の撮像条件や、患部をより観察しやすくするために当該医療用画像に対して施される画像解析の内容が異なる場合がある。このような状況下では、対象となる患者の症状に応じて、患部の観察に係る撮像条件の調整や、画像解析の内容に応じた解析モードの設定等のような煩雑な操作がユーザ(例えば、医師等の医療従事者)に求められ、当該ユーザの負担となる場合もある。また、このようにユーザに対して煩雑な操作が求められる状況下では、ユーザが選択を誤ることにより改めて撮像が行われるような状況も想定され、このことが患者の負担となる場合もある。
【0014】
そこで、本開示では、上記の問題を鑑み、患部の観察に係るユーザの手間をより好適な態様で軽減可能とし、さらに当該ユーザによる誤操作が発生するような状況をより好適な態様で防止可能とする技術を提案する。
【0015】
<システム構成>
図1を参照して、本実施形態に係る医療用画像処理システムのシステム構成の一例について説明する。本実施形態に係る医療用画像処理システムは、撮像装置110と、医療用サーバ120とを含む。撮像装置110と医療用サーバ120とは所定のネットワークを介して相互に情報やデータを送受信可能に接続される。
なお、上記ネットワークは、撮像装置110と医療用サーバ120との間を接続することが可能であれば、その種別は特に限定されない。具体的な一例として、上記ネットワークとして、インターネット、専用線、公衆回線(例えば、電話回線、移動体通信回線等)、LAN(Local Area Network)、WAN(Wide Area Network)等が適用されてもよい。また、上記ネットワークは、無線のネットワークであってもよく、有線のネットワークであってもよい。また、上記ネットワークは、複数種類の異なるネットワークを含んでもよい。具体的な一例として、撮像装置110及び医療用サーバ120間の通信が、他の通信装置により中継されてもよい。この場合において、当該他の通信装置と、撮像装置110及び医療用サーバ120それぞれとの間の通信に対して、互いに異なる種別のネットワークが適用されてもよい。
【0016】
図1に示す例では、便宜上、被写体101(患者)は、患部として褥瘡及び熱傷が生じているものとする。具体的には、患部領域102は、被写体101の臀部に生じた褥瘡の領域を模式的に示している。また、患部領域103は、被写体101の脚部に生じた熱傷の領域を模式的に示している。また、被写体101には、当該被写体101を識別するための被写体識別子104が付されている(例えば、装着されている)ものとする。なお、被写体識別子104としては、例えば、バーコードタグ等が挙げられる。
【0017】
図1に示す例では、撮像装置110は、被写体を撮像する機能と、撮像結果に応じた画像(医療用画像)に対して各種の画像解析を施す機能と、を有している。具体的な一例として、撮像装置110は、被写体101の撮像結果に応じた医療用画像に対して、観察対象として指定された病変に応じて、当該病変に対応付けられた画像解析を施してもよい。また、撮像装置110として、携行可能な撮像装置が適用されてもよい。具体的な一例として、撮像装置110として、手持ちが可能なサイズのものが適用されてもよい。
撮像装置110は、ネットワークを介して医療用サーバ120にアクセスすることで、被写体101に関する情報等のような医療用サーバ120により管理されている各種情報を当該医療用サーバ120から取得してもよい。被写体101に関する情報としては、例えば、被写体の氏名、年齢、及び性別等の情報、患部の位置や種類に関する情報、患部に対する検査指示に関する情報、並びに過去に行われた検査に関する情報等が挙げられる。なお、以降では、上記に例示した被写体101に関する情報を、便宜上「被写体情報」とも称する。また、医療用サーバ120のように、被写体情報の取得元となる他の装置が、「外部装置」の一例に相当する。
【0018】
本実施形態に係る撮像装置110は、医療用サーバ120から取得した被写体101に関する情報に基づき、当該被写体101の患部の撮像に係る撮像条件や、当該患部の撮像結果に応じた医療法画像に対して施す画像解析の内容に応じた解析モードの設定を行う。解析モードに応じて設定される条件や情報としては、例えば、医療用画像に適用される画像解析のアルゴリズムや、解析結果の評価に係る評価指標等が挙げられる。解析モードは、例えば、観察対象となる病変や、ユーザが所望する評価指標や解析のアルゴリズム等に応じて設定される。
具体的な一例として、熱傷を観察対象として解析アルゴリズムが決定された場合においても、評価指標としてBI(Burn Index)とPBI(Prognostic Burn Index)とのいずれを使用するかが選択的切り替えられる場合がある。なお、BIは、熱傷深度ごとの熱傷面積と体表面積との比率により決定される評価指標である。また、PBIは、年齢を加味したBIに相当する。
また、本開示において撮像条件とは、焦点距離、F値、合焦位置、シャッタースピード、及び照明条件等のような光学的な撮像条件と、センサ感度、ホワイトバランス、及び現像処理等のような電気的なイメージングに関する条件と、の双方を含み得る。
【0019】
本実施形態に係る医療法画像処理システムでは、例えば、撮像装置110により被写体識別子104が撮像されることで、撮像結果に応じて被写体101の識別が行われてもよい。具体的には、撮像装置110は、撮像結果に応じた画像データに対して画像解析を施すことで、画像中に被写体として撮像された被写体識別子104を抽出し、抽出した被写体識別子104を医療用サーバ120に送信することで、被写体情報の問い合わせを行う。医療用サーバ120は、撮像装置110から被写体情報の問い合わせを受けて、当該撮像装置110受信した被写体識別子104に基づき対象となる被写体101に関する情報を被写体情報として抽出し、抽出した当該被写体情報を当該撮像装置110に返送する。
【0020】
撮像装置110は、医療用サーバ120から被写体情報を取得した場合に、所定の出力部を介して被写体情報を出力することで、当該被写体情報をユーザに提示してもよい。また、撮像装置110は、検査対象となる患部の指定をユーザから受け付けてもよい。例えば、図1に示す例の場合には、撮像装置110は、患部領域102の指定を受け付けた場合に、当該患部領域102における病変(褥瘡)の観察に適した解析モードと、当該解析モードに適した撮像条件と、が設定されるように各種制御を行ってもよい。
また、撮像装置110は、取得した被写体情報に、以前に実施された検査に関する検査情報や、当該検査で適用された解析モードや撮像条件の設定に係る情報が含まれる場合には、これらの情報に基づき、解析モードや撮像条件の設定を行ってもよい。
すなわち、上記被写体情報は、例えば、撮像装置110の撮像結果に応じた画像に基づく病変の観察対象となる患者に関する情報であるとも言える。
【0021】
撮像装置110は、被写体101の患部領域(例えば、患部領域102)を撮像した場合に、撮像結果に基づき当該被写体101との間の距離を推定してもよい。この場合には、撮像装置110は、被写体101との距離の推定結果に基づき、撮像結果に応じた画像の1ピクセルあたりの、実空間における面積を算出してもよい。これにより、撮像装置110は、撮像結果に応じて画像から設定された解析モードに応じた患部領域を抽出した場合に、当該患部領域の面積を計測することが可能となる。
【0022】
撮像装置110は、設定された撮像条件に基づく撮像結果に応じた画像(医療用画像)に対して施した、観察モードに応じた画像解析の結果に関する情報を、医療用サーバ120に送信してもよい。具体的な一例として、撮像装置110は、患部の病変、患部の位置、撮像条件、解析モード、及び撮像日時等の情報や撮像結果に応じた画像データを、対応する被写体情報と関連付けたうえで、医療用サーバ120に送信してもよい。医療用サーバ120は、撮像装置110から送信された情報を所定の記憶領域(例えば、データベース等)に記憶させることで管理してもよい。これにより、医療用サーバ120は、以降に問い合わせを受けた際に、当該情報を使用することが可能となる。
【0023】
なお、以降の説明では、便宜上、患部領域102を対象として褥瘡の観察を行う場合を例として各種説明を行うが、必ずしも本実施形態に係る情報処理システムの観察対象を限定するものではない。例えば、熱傷や裂傷等の他の病変が観察対象であってもよい。
また、図1に示すシステム構成はあくまで一例であり、必ずしも本実施形態に係る医療用画像処理システムのシステム構成を限定するものではない。具体的な一例として、撮像装置110による撮像結果に応じた画像データに対して画像解析を施す処理が、当該撮像装置110とは異なる装置により実現されてもよい。また、他の一例として、撮像装置110の機能と医療用サーバ120の機能とを1つの装置に統合することで、本実施形態に係る医療用画像処理システムが、所謂スタンドアロンで運用可能な構成として実現されてもよい。また、撮像装置110の機能や医療用サーバ120の機能のうち、少なくとも一部の機能の実現に係る処理の負荷が複数の装置に分散されてもよい。また、撮像装置110のUI機能が、タブレット端末等のような撮像装置110とは異なる装置により実現されてもよい。
【0024】
<ハードウェア構成>
図2を参照して、本実施形態に係る医療用画像処理システムのハードウェア構成の一例について、特に図1に示す例における撮像装置110及び医療用サーバ120の構成に着目して説明する。
【0025】
(撮像装置110)
まず、撮像装置110のハードウェア構成について説明する。撮像装置110は、撮像モジュール200と、画像処理モジュール220とを含む。
撮像モジュール200は、光学系201と、撮像素子202と、CPU(Central Processing Unit)203と、一次記憶装置204と、二次記憶装置205と、記憶媒体206とを含む。また、撮像モジュール200は、表示部207と、操作部208とのうちの少なくともいずれかを含んでもよい。また、撮像モジュール200は、測距部209を含んでもよい。
【0026】
光学系201は、レンズに代表される光学部材、シャッター、及び絞り等を含み、被写体からの光を撮像素子202に結像させる。この際に、光学系201は、絞りにより撮像素子202に結像させる光の量を制限してもよい。また、光学系201は、シャッターにより撮像素子202に光を結像させるタイミングを制御してもよい。
撮像素子202は、光学系201により導光されて結像した光を電気的な画像信号に光電変換し、当該画像信号に基づき画像データを生成する。
【0027】
CPU203は、各種プログラムを実行することで、各種の演算や、撮像モジュール200の各構成要素の制御等を行う。また、CPU203は、入力された信号に応じて各種処理を実行してもよい。一次記憶装置204は、CPU203の主記憶メモリであり、ワークエリアまたは各種プログラムを展開するための一時記憶領域として用いられる。二次記憶装置205は、各種データ(例えば、画像データ等)や各種プログラム(例えば、ファームウェア等)を記憶する。記憶媒体206は、各種データの記憶に利用される記憶媒体である。記憶媒体206は、撮像モジュール200に対して着脱可能に構成されていてもよい。記憶媒体206としては、例えば、SD(登録商標)カードやCF(CompactFlash)カードが挙げられる。
CPU203が、二次記憶装置205または記憶媒体206に記憶されたプログラムを一次記憶装置204に展開し、このプログラムを実行することで、別途後述する撮像装置110の処理のうち特に画像の撮像に係る処理が実現される。
【0028】
表示部207は、画像等の表示情報を表示することでユーザに各種情報を提示する。例えば、表示部207は、撮像結果に応じた画像を表示してもよい。具体的な一例として、表示部207は、所謂ライブビュー画像を表示してもよい。また、他の一例として、表示部207は、記憶媒体206等に記憶された画像データに基づく画像を表示してもよい。
操作部208は、ユーザから各種指示を受け付ける。
【0029】
測距部209は、撮像モジュール200と被写体との間の距離を測定する。なお、撮像モジュール200と被写体との間の距離を測定することが可能であれば、測距部209の構成は特に限定されない。具体的な一例として、測距部209として、所謂一眼レフカメラ等に搭載される一般的な位相差方式の測距センサが適用されてもよい。また、他の位置措定、測距部209として、TOF(Time Of Flight)センサが適用されてもよい。具体的には、TOFセンサは、被写体に向けて照射された光(以下、「照射波」とも称する)が当該被写体で反射した光(以下、「反射波」とも称する)を検知する。そのうえで、TOFセンサは、照射波の送信タイミングと、反射波の受信タイミングと、の間の時間差(または位相差)に基づき、被写体との間の距離を算出する。
また、受光素子としてPSD(Position Sensitive Device)を用いたPSD方式等が適用されてもよい。
また、撮像素子202が画素ごとに複数の光電変換領域を有し、共通の画素内に含まれる複数の光電変換領域に対応する瞳位置を異ならせる構成としてもよい。このような構成とすることで、測距部209は、撮像素子202から出力される、それぞれの瞳領域に対応する光電変換領域から得られる画素間の位相差から、画素あるいは領域の位置ごとに距離情報を求めることが可能となる。
【0030】
測距部209は、例えば、画像内のあらかじめ定められた所定の1以上の測距エリアにおける距離に関する情報(以下、「距離情報」とも称する)を求めてもよい。また、他の一例として、測距部209は、画像内の複数の画素あるいは領域における距離情報の分布が示された距離マップを求めてもよい。
また、測距部209は、画像データの高周波成分を抽出して積分し、積分値がより高い(例えば、最大となる)フォーカスレンズの位置を決定するTV-AFまたコントラストAFを実行し、当該フォーカスレンズの位置から距離情報を求めてもよい。
また、測距部209は、ステレオカメラ、移動ステレオカメラ、アクティブステレオ方式等のように、対応点に対する三角測量法に基づく手法から距離情報を得るような構成とされてもよい。
【0031】
通信装置210は、撮像装置110が医療用サーバ120と通信を行うための構成を模式的に示している。なお、前述したように撮像装置110と医療用サーバ120との間の通信の種別は特に限定されないが、以降では便宜上、通信装置210は、無線LANを介して医療用サーバ120と通信を行うものとする。
【0032】
画像処理モジュール220は、撮像モジュール200から撮像結果に応じた画像(例えば、観察対象である褥瘡が撮像された医療用画像)を取得し、当該画像に対して画像解析を施す。画像処理モジュール220は、演算装置221と、一次記憶装置222と、二次記憶装置223とを含む。演算装置221は、例えば、CPU等により実現され、各種プログラムを実行することで、各種の演算や、画像処理モジュール220の各構成要素の制御等を行う。二次記憶装置223は、例えば、ハードディスク等により実現され、演算装置221が実行するプログラム等を記憶する。一次記憶装置222は、RAM等により実現され、二次記憶装置223から読み出されたプログラム等が展開される。
なお、画像処理モジュール220に相当する構成を含む装置が、本実施形態に係る医療用画像処理システムにおける「医療用画像処理装置」の一例に相当する。すなわち、図2に示す例の場合には、撮像装置110が、「医療用画像処理装置」の一例に相当することとなる。
【0033】
(医療用サーバ120)
次いで、医療用サーバ120のハードウェア構成について説明する。医療用サーバ120は、被写体情報や、検査記録や検査結果等に関する情報それぞれが紐づけられた状態で記録し、これらの情報を指定された条件に基づき抽出して出力する。このような情報の記録や抽出に係る機能は、例えば、1つの電子カルテシステムとして実現されてもよいし、電子カルテシステムを含む複数のシステムにより実現されてもよい。当該複数のシステムとしては、例えば、RIS(Radiology Information System)、部門システム、PACS(Picture Archivinig and Communication Systems)等が含まれ得る。
また、医療用サーバ120は、仮想サーバ、クラウドサーバ、あるいは複数のサーバで構成されたサーバシステム等により実現されてもよい。
【0034】
医療用サーバ120は、CPU231と、一次記憶装置232と、二次記憶装置233と、通信装置234とを含む。CPU231は、各種プログラムを実行することで、各種の演算や、医療用サーバ120の各構成要素の制御等を行う。二次記憶装置233は、例えば、ハードディスク等により実現され、CPU231が実行するプログラム等を記憶する。一次記憶装置232は、RAM等により実現され、二次記憶装置233から読み出されたプログラム等が展開される。
【0035】
なお、図2に示す構成はあくまで一例であり、必ずしも本実施形態に係る医療画像処理システムの各構成要素のハードウェア構成を限定するものとではない。具体的な一例として、撮像モジュール200のCPU203の性能が十分に高い場合には、画像処理モジュール220の演算装置221が実行する処理を、当該CPU203が代替してもよい。
また、撮像装置110として、例えば、一般的な一眼カメラ、コンパクトデジタルカメラ、もしくは、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末等を利用することも可能である。
【0036】
<処理>
図3A図3Cを参照して、本実施形態に係る医療用画像処理システムの処理の一例について説明する。なお、撮像装置110は、通信装置210により医療用サーバ120と通信可能なネットワークに接続されているものとする。ネットワークを介して機器を探索する技術としては、例えば、UPnP(Universal Plug and Play)が用いられる。また、UPnPにおいて個々の装置の識別は、例えば、UUID(Universally Unique IDentifier)によって行われる。
【0037】
まず、図3Aを参照して、撮像装置110の処理について説明を行う。
S301において、撮像装置110は、動作モードを被写体設定モードに遷移させる。被写体設定モードは、撮像された患部の画像(医療用画像)が紐づけられる被写体を識別するためのモードである。なお、図3に示す例では、便宜上、図1に示すような被写体に付された被写体識別子104(例えば、バーコードタグ等)により、当該被写体を識別することも可能であるものとする。これにより、例えば、撮像装置110は、被写体識別子104の撮像結果に応じた画像に基づき、被写体識別子104に含まれるユニークなIDを識別することで、当該被写体識別子104に紐づけられた被写体情報を取得することが可能となる。
この際に、撮像装置110を使用しているユーザの情報が取得されてもよい。この場合には、例えば、事前にユーザの情報を医療用サーバ120に登録しておき、当該ユーザ用のバーコードタグ等の識別子を発行しておくとよい。そのうえで、例えば、撮像装置110等により当該バーコードタグの読み取りが行われ、読み取り結果に基づき医療用サーバ120への照会が行われることで、ユーザに関する情報の取得が行われてもよい。
被写体設定モードにおいて被写体識別子104の撮像が行われると、撮像結果に応じた画像(以下、「タグ画像」とも称する)が撮像モジュール200に記憶されたうえで、当該タグ画像が画像処理モジュール220に転送される。
【0038】
ここで、図3Bを参照して、図3Aに示すS301における、画像処理モジュール220及び医療用サーバ120の処理について説明する。
【0039】
S341において、画像処理モジュール220は、撮像モジュール200から転送されたタグ画像から被写体識別子104の領域を抽出する。
【0040】
S342において、画像処理モジュール220は、S341において抽出した領域に対して画像解析処理を施すことで、当該領域から被写体固有のIDを抽出し、抽出した被写体のIDを医療用サーバ120に送信する。医療用サーバ120は、画像処理モジュール220から送信されたIDに基づき、データベース等で管理している一連の被写体情報のうち、当該IDに紐づけられた被写体情報を抽出する。
被写体情報には、例えば、被写体の識別に利用可能な情報、被写体の患部に関する患部情報等が含まれてもよい。また、被写体情報には、例えば、オーダーシステム等から発行される検査指示に関する情報、看護システム等でスケジュールされる患部の検査予定に関する情報、電子カルテに記載された情報、看護システムで管理されている情報等が含まれてもよい。また、被写体情報には、例えば、患部の症状に応じた好適な解析モード、当該解析モードに紐づけられた好適な撮像条件に関する情報、過去の検査結果に関する情報、過去の検査で適用された機器、解析モード、及び撮像条件に関する情報等が含まれてもよい。
医療用サーバ120は、抽出した被写体情報を画像処理モジュール220に送信する。なお、医療用サーバ120は、被写体情報が抽出されなかった場合には、被写体情報の新規作成を促す報知情報を画像処理モジュール220に返送することで、画像処理モジュール220に当該報知情報を報知させてもよい。
【0041】
また、他の一例として、画像処理モジュール220は、被写体識別子104の撮像結果に応じたタグ画像の画像データを医療用サーバ120に送信することで、対応する被写体情報の送信を医療用サーバ120に依頼してもよい。
また、上記では、被写体識別子104を被写体情報の取得に利用する場合の一例について説明したが、必ずしも被写体情報の取得方法を限定するものではない。例えば、画像処理モジュール220は、ユーザからの指定に基づき観察対象となる被写体の被写体情報を取得してもよい。具体的には、画像処理モジュール220は、医療用サーバ120から患者リストを取得し、表示部207を介して当該患者リストをユーザに提示してもよい。また、画像処理モジュール220は、操作部208がユーザから受け付けた操作に基づき、表示部207を介してユーザに提示された患者リストのうち、当該ユーザにより選択された患者を認識してもよい。
また、他の一例として、被写体の指紋や網膜を利用した生体認証や、顔認証等のように被写体の撮像結果に応じた画像に対して画像解析を施すことで抽出される情報を利用した認証等の結果に基づき、当該被写体に対応する被写体情報が取得されてもよい。
【0042】
S343において、画像処理モジュール220は、医療用サーバ120から送信された被写体情報を撮像モジュール200に転送する。この際に、画像処理モジュール220は、撮像モジュール200がユーザに被写体情報を提示するための表示データの整形処理を実行し、当該整形処理が施された表示データを撮像モジュール200に出力してもよい。画像処理モジュール220は、被写体情報に解析モードに関する情報が含まれる場合に、当該解析モードに対応する解析アルゴリズムに関するデータを保持しているか否かを確認し、保持していない場合には、当該データの取得に係る処理を開始してもよい。具体的な一例として、画像処理モジュール220は、以降の処理を実行しながら、バックグラウンドで上記解析アルゴリズムに関するデータのダウンロードを実行してもよい。
【0043】
ここで、改めて図3Aを参照する。撮像モジュール200は、S343において画像処理モジュール220から転送された被写体情報を、表示部207を介してユーザに提示する。また、この際に、撮像モジュール200は、操作部208を介してユーザからの各種指示を受け付けてもよい。
【0044】
例えば、図4は、ユーザに提示されるUIの画面の一例を示している。図4に示す例では、撮像モジュール200は、UIの画面を介して被写体の患部に関する患部情報をユーザに提示し、当該ユーザから各種指示(例えば、患部の観察に係る指示)を受け付ける。なお、患部情報には、例えば、患部の位置、患部の種類、過去の検査情報等が含まれ得る。
図4に示すUIの画面は、被写体情報表示領域401と、患部情報表示領域402と、検査項目表示領域403とを含む。また、図4に示すUIの画面は、新規登録ボタン404を含んでもよい。
【0045】
被写体情報表示領域401は、被写体の名前、顔写真、及びID等のように、当該被写体の識別に利用可能な情報が表示される領域である。これにより、ユーザは、被写体情報表示領域401に表示された情報に基づき、観察対象となる被写体が誤っていないか確認を行うことが可能となる。
患部情報表示領域402は、被写体の患部に関する患部情報が表示される領域である。また、患部情報表示領域402は、対象となる患部に関する各種指示をユーザから受け付けるためのインタフェース(例えば、ボタン等のコンポーネント)を含んでもよい。
検査項目表示領域403は、対象となる被写体についてあらかじめスケジュールされた検査に関する情報(例えば、検査タスク等)が表示される領域である。例えば、図1に示す例において患部領域102のみが検査対象として設定されている場合には、当該患部領域102に関する検査についてのみ、検査項目表示領域403に情報が表示されてもよい。また、検査項目表示領域403は、対象となる検査に関する各種指示をユーザから受け付けるためのインタフェース(例えば、ボタン等のコンポーネント)を含んでもよい。
【0046】
新規登録ボタン404は、対象となる被写体について、患部情報や、患部の検査に関する情報の追加に係る指示をユーザから受け付けるためのインタフェースである。撮像モジュール200は、新規登録ボタン404がユーザからの操作を受け付けた場合に、患部情報や、患部の検査に関する情報(例えば、検査タスク等)の入力をユーザから受け付けてもよい。
【0047】
なお、以降の説明では、図1に示す例における、臀部に生じた褥瘡の領域を示す患部領域102が対象として選択されたものとる。この際に、画像処理モジュール220は、ユーザからの指示に基づき選択された患部情報や被写体情報に基づき、患部の画像に対して適用する画像解析の解析モードをプリセットしてもよい。
【0048】
次いで、撮像モジュール200は、患部の観察に係る各種条件(例えば、撮像条件や解析モード等)の変更に係る指示の受け付けを開始する。撮像モジュール200は、同指示を、例えば、操作部208を介してユーザから受け付けてもよい。
【0049】
例えば、図5は、ユーザから患部の観察に係る各種条件の変更に係る指示を受け付けるためのUIの画面の一例を示している。なお、図5において、図4と同様の符号は、図4において当該付された対象と同様の対象を示している。図5に示すUIの画面は、設定パラメータ表示領域501と、検査情報表示領域502と、ライブビュー表示領域503とを含む。
【0050】
設定パラメータ表示領域501は、撮像条件や解析モード等のような患部の観察に係る各種条件として、現在設定されている条件に関する情報が表示される領域である。また、設定パラメータ表示領域501は、患部の観察に係る各種条件の指定や変更に係る各種指示をユーザから受け付けてもよい。
例えば、より性能の高い解析アルゴリズムが適用される解析モードが新たに指定可能となり、かつ被写体情報に解析モードの変更に係る指示が含まれる場合に、ユーザは、設定パラメータ表示領域501を介して解析モードの変更に係る指示を行うことも可能である。また、他の一例として、環境の変化等により、現在設定されている撮像条件が、患部の解析に好適ではない状態となった場合に、ユーザは、設定パラメータ表示領域501を介して撮像条件の変更に係る指示を行うことも可能である。
【0051】
撮像モジュール200は、S343において設定された患部情報、解析モード、及び被写体情報等に基づき、撮像条件をプリセットしてもよい。例えば、撮像モジュール200は、患部情報が口腔内歯列上の病変である場合には、歯列の病変を解析するのに好適な画像を得られるように画角がより広くなるように撮像条件を変更してもよい。また、撮像モジュール200は、設定されている解析モードに対応する教師データに含まれる焦点距離、被写界深度、及び照明等の撮像条件とより類似する状態となるように、現在設定されている撮像条件の少なくとも一部を変更してもよい。
また、光学系201の交換や追加が可能な撮像モジュール200が適用される場合もある。この場合には、撮像モジュール200は、設定されている撮像条件や解析モードが、装着されている光学系201に対応していない場合には、表示部207を介して光学系201の交換や、撮像条件や解析モードの変更等を促す報知情報をユーザに提示してもよい。具体的な一例として、撮像モジュール200は、皮膚が変色した部分の検査が行われる場合には、ダーモスコープ用の光学系のアタッチメントの装着をユーザに促してもよい。また、各種偏光の観察に係る光学系、マルチスペクトル観察に係る光学系、及び共焦点光学系等のように、観察対象となる症状や適用される解析モードに応じて、光学系201の変更がユーザに促されてもよい。また、撮像条件として、上述した光学系の条件(例えば、観察対象とするスペクトルや偏光等に関する情報)が含まれていてもよい。
また、撮像モジュール200は、被写体情報が検査指示や過去の検査記録等に関する情報を含む場合には、表示部207を介してこれらの情報をユーザに提示してもよい。これにより、ユーザが意図しないパラメータが設定された状態で撮像や解析が行われる事態の発生を未然に防止する効果を期待することが可能となる。
【0052】
ライブビュー表示領域503は、撮像モジュール200による撮像結果に応じたライブビュー画像の表示に利用される領域である。
【0053】
なお、図5に示す各種表示領域は、表示サイズを確保するために、一部の表示領域が他の表示領域にオーバーレイした状態で表示されてもよい。
【0054】
また、撮像モジュール200は、環境の変化に対してよりロバストな計測を行うために、ライブビュー画像を使用して露出等の撮像条件を動的に制御してもよい。また、他の一例として、撮像モジュール200は、自動での撮像条件の変更は行わずに、撮像条件の変更を促す報知情報(例えば、警告等)を、表示部207等を介してユーザに報知してもよい。この場合には、撮像モジュール200は、環境の変化に対してよりロバストな計測を行うために、例えば、検査対象となる領域の明るさに基づき測光を行ってもよく、当該測光の結果に応じて、ユーザへの情報の報知や撮像条件の制御等を行ってもよい。
【0055】
S302において、撮像モジュール200は、ライブビュー画像の表示に係る処理を開始する。具体的には、撮像素子202は、撮像結果に応じて画像データを生成する。CPU203は、当該画像データに対して、ライブビュー画像の生成に係る現像処理を適用する。これらの処理が逐次実行されることで、所定のフレームレートでライブビュー画像が生成され、当該ライビュ―画像が表示部207に逐次表示される。
【0056】
S303において、撮像モジュール200は、フォーカス制御を開始する。具体的には、測距部209が被写体との間の距離の測定を行う。CPU203は、測距部209による被写体との間の距離の算出結果に基づき、当該被写体に合焦するように光学系201の駆動制御を行う。以上により、所謂AF制御が実現される。なお、TV-AFまたはコントラストAFによりピント位置の調整が行われた場合には、被写体に合焦した状態におけるフォーカスレンズの位置から、当該被写体までの距離が算出されてもよい。また、ピントを合わせる対象については、画像の中央に位置する被写体であってもよいし、撮像モジュール200のより近傍に位置する被写体であってもよい。
また、被写体の距離マップが得られている場合には、撮像モジュール200は、当該距離マップに基づき、観察対象となる領域の推定を行い、当該領域中の位置において合焦するようにフォーカス制御を行ってもよい。
また、他の一例として、画像処理モジュール220によりライブビュー画像中の患部領域102の位置が特定されている場合には、撮像モジュール200は、当該位置において合焦するようにフォーカス制御を行ってもよい。
撮像モジュール200は、後述するS307においてレリーズ操作の検知が行われるまで、ライビュ―画像の表示とフォーカス制御(例えば、AF制御)とを繰り返し実行する。
【0057】
S304において、CPU203は、撮像素子202による撮像結果に応じた画像データに対して、画像の現像処理及び圧縮処理を施し、所定の規格(例えば、JPEG等)に準拠した画像データを生成する。換言すると、CPU203は、対象となる画像データのフォーマットを、JPEG等の所定の規格に基づくフォーマットに変更する。また、CPU203は、圧縮処理後の画像データに対して、リサイズ処理を施すことで、画像データのサイズを縮小してもよい。
S305において、撮像モジュール200は、S304において生成された圧縮処理やリサイズ処理が施された画像データや、S303において測定された被写体との間の距離に関する情報を取得する。また、この際に撮像モジュール200は、撮像時に適用されたズーム倍率に関する情報や、リサイズ処理が施された後の画像データのサイズ(例えば、ピクセル数)に関する情報の取得を行ってもよい。
【0058】
S306において、撮像モジュール200は、S305において取得した画像データや当該画像データに関する各種情報(例えば、被写体との間の距離に関する情報)を、画像処理モジュール220に転送する。この際に、撮像モジュール200は、図4に示すUIの画面において検査項目表示領域403を介して指定された撮像条件や解析モードに関する情報を、上記画像データに関連付けて画像処理モジュール220に転送してもよい。
なお、対象となる画像データのサイズが大きいほど、撮像モジュール200から画像処理モジュール220への当該画像データの伝送に係る時間がより長くなる傾向にある。そのため、S305におけるリサイズ処理後の画像データのサイズについては、上記伝送について許容される時間に応じて決定されてもよい。ただし、画像データのサイズがより小さくなるほど、後述するS362の処理における患部領域の抽出に係る処理の精度が低下する場合がある。そのため、上記伝送に係る時間に加えて、当該患部領域の抽出に係る処理の精度が、リサイズ処理後の画像データのサイズの決定に考慮されてもよい。このような状況を鑑み、例えば、設定された解析モードに応じて、画像データの伝送に係るサイズ(換言すると、リサイズ処理後の画像データのサイズ)が動的に制御されてもよい。
【0059】
また、S304~S306の処理については、フレームごとに逐次実行されてもよいし、複数フレームごとに1回の割合で実行されてもよい。
【0060】
ここで、図3Cを参照して、図3Aに示すS306における、画像処理モジュール220の処理について説明する。
S361において、画像処理モジュール220は、撮像モジュール200から画像解析の対象となる画像データと、当該画像データに関する各種情報(例えば、被写体との間の距離に関する情報)とを取得する。画像処理モジュール220の演算装置221は、取得された画像データに対して画像解析を施すことで、被写体101の患部領域102を抽出する。この際に、演算装置221は、画像データに対して、設定された解析モードに応じた画像解析を施してもよい。
【0061】
患部領域102の抽出に係る解析の手法としては、例えば、深層学習による意味的領域分割に基づく手法が挙げられる。具体的には、あらかじめ不図示の機械学習に用いられるコンピュータに、褥瘡の患部領域の撮像結果に応じた複数の画像を教師データとしてニューラルネットワークのモデルを学習させて、学習済モデルを構築させる。演算装置221は、構築された当該学習済モデルに対して対象となる画像データを入力することで、当該学習済モデルに当該画像データ中の褥瘡の領域の推定を行わせてもよい。ニューラルネットワークのモデルの一例としては、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク(FCN:Fully Convolutional Network)が挙げられる。また、上記に示す例において、深層学習における推論は、演算装置221に適用された、積和演算の並列実行を得意とするGPU(Graphics Processing Unit)等の補助演算装置に処理させるとよい。また、深層学習における推論の処理は、FPGAやASIC等により実行されてもよい。
また、他の深層学習のモデルが用いて領域分割が実現されてもよい。また、セグメンテーションの手法は深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等が用いられてもよい。さらに、演算装置221により、褥瘡の患部領域の画像を教師データとしたニューラルネットワークのモデルの学習が行われてもよい。
【0062】
S362において、演算装置221は、抽出した患部領域102のサイズに関する情報として、当該患部領域102の面積を算出する。具体的には、撮像モジュール200から被写体までの距離の測定結果、撮像時の画角、及び画像データのサイズに基づき、当該画像データの1ピクセルあたりの実距離を幾何学的に算出することが可能である。すなわち、画像データの1ピクセルあたりの実距離が既知であれば、S361において抽出された患部領域102のピクセル数との積に基づき、当該患部領域102の実際の面積を算出することが可能である。
【0063】
S363において、演算装置221は、設定されている解析モードに応じて検査情報の整形を行う。例えば、患部領域102が対象として選択された場合には、患部は褥瘡となる。この場合には、例えば、演算装置221は、画像上における1ピクセルに対応する合焦面上の長さに基づいて、抽出した患部領域102の長径及び短径の長さと、患部領域102に概説する矩形の面積と、の算出に係る画像解析を実行する。褥瘡の評価指標のDESIGN-R(登録商標)の中で、褥瘡のサイズは長径と短径の積の値を計測することが定められている。本実施形態に係る医療用画像処理システムでは、例えば、患部領域の長径と短径との解析を行うことで、過去にDESIGN-Rにより計測されたデータとの互換性を確保することが可能となる。
【0064】
ここで、長径及び短径の算出方法の一例について説明する。まず、演算装置221は、患部領域102に外接する矩形のうち、面積が最小となる矩形(Minimum bounding rectangle)の算出を行う。そのうえで、演算装置221は、当該矩形の長辺と短辺との長さを算出し、長辺の長さを長径とし、短辺の長さを短径とする。そして、演算装置221は、画像上における1ピクセルに対応する合焦面上の長さに基づいて、当該矩形の面積を算出する。
また、長径及び短径の算出方法の他の一例として、最大のキャリパー長である最大フェレ系が長径として選択され、最小のフェレ系が短径として選択されてもよい。また、他の一例として、最大のキャリパー長である最大フェレ系が長径として選択され、最大フェレ径の軸に直交する方向について計測した患部領域の長さが短径として選択されてもよい。長径及び短径の算出方法については、例えば、従来の計測方法との互換性を鑑みて任意の方法が選択されてもよい。
【0065】
なお、ライブビュー中においては、S362及びS363の処理がスキップされてもよい。ライブビュー中は、患部領域の抽出結果をユーザが確認できることが望ましいため、S362及びS363における画像解析の処理が省略されることで、撮像装置110への処理負荷を軽減することが可能となる。
【0066】
S364において、演算装置221は、患部領域102の抽出対象となる画像データに対して、当該患部領域102の抽出結果に応じた情報と、当該患部領域102のサイズに関する情報とを重畳させる。
そして、画像処理モジュール220は、患部領域102の抽出結果に応じた情報や、患部領域のサイズに関する情報等のような、画像データに対する画像解析の結果に関する情報を撮像モジュール200に出力する。具体的な一例として、画像処理モジュール220は、患部領域102の抽出結果に応じた情報と、当該患部領域102のサイズに関する情報とが関連付けられた画像データを、撮像モジュール200に出力してもよい。
【0067】
ここで、改めて図3Aを参照する。S306において、撮像モジュール200は、画像処理モジュール220から画像データに対する画像解析の結果に関する情報を取得した場合に、表示部207を介して当該情報をユーザに提示してもよい。具体的な一例として、撮像モジュール200のCPU203は、患部領域102のサイズに関する情報が関連付けられた画像データに基づき、当該患部領域102のサイズに関する情報が重畳された画像を表示部207に表示させてもよい。このように、ライビュ―画像に対して患部領域102の抽出結果に応じた情報が重畳表示されることで、ユーザは、患部領域102の面積の算出結果や、患部領域102の推定結果が妥当である否かを確認したうえで、患部の撮像に臨むことが可能となる。
【0068】
S307において、CPU203は、操作部208を介してレリーズに係る操作が検知された否か(例えば、レリーズボタンが押下されたか否か)を判定する。
撮像モジュール200は、S307においてレリーズに係る操作が検知されていないと判定した場合には、処理をS304に進める。すなわち、この場合には、S304以降の処理が改めて実行されることとなる。
【0069】
一方で、撮像モジュール200は、S307においてレリーズに係る操作が検知されたと判定した場合には、処理をS308に進める。S308において、CPU203は、被写体の撮像に係るフォーカス処理を実行する。具体的な一例として、CPU203は、S303の処理の同様に、測距部209による被写体との間の距離の算出結果に基づき、当該被写体に合焦するように光学系201の駆動制御を行う。以上により、AF制御が実現される。
S309において、撮像モジュール200は、被写体の静止画像の撮像を行う。これにより、撮像素子202による撮像結果に応じた画像データが生成される。
【0070】
S310において、CPU203は、S309において生成された画像データに対して現像処理及び圧縮処理を施すことで、当該画像データを所定の規格(例えば、JPEG規格)に基づく画像データに変換する。また、CPU203は、圧縮処理が施された画像データに対してリサイズ処理を適用することで、当該画像データのサイズを縮小してもよい。S310においてリサイズ処理が施された画像データのサイズは、例えば、S305においてリサイズ処理が施された画像データと同様のサイズか、もしくはそれよりも大きいサイズであってもよい。S310においてリサイズ処理が施された画像データのサイズについては、例えば、以降に患部領域102に対して施される画像解析に求められる精度に応じて決定されてもよい。
また、CPU203は、解析モードや被写体情報に基づき、画像データの送信に係る送信データの整形を行ってもよい。具体的な一例として、CPU203は、対象となる画像データを、画像データに対して各種の付帯情報を関連付けることが可能なExifやDICOM等の規格に基づく送信データに整形してもよい。
【0071】
S311において、撮像モジュール200は、S310においてリサイズ処理が施された画像データと、S308において取得された被写体との間の距離の測定結果に応じた距離情報と、を取得する。また、撮像モジュール200は、撮像時に適用されたズーム倍率に関する情報や、リサイズ処理が施された画像データのサイズ(ピクセル数)に関する情報等のような他の情報を取得してもよい。
【0072】
S312において、撮像モジュール200は、S311において取得した画像データに対して、少なくとも距離情報を含む当該画像データに関する1以上の情報を関連付けたうえで、当該画像データを画像処理モジュール220に出力する。画像処理モジュール220は、当該画像データに対して画像解析を施す。同画像解析としては、例えば、図3Cを参照して前述した画像解析の処理を適用することが可能である。なお、図3Cに示す一連の処理については既に説明済のため、詳細な説明は省略する。
【0073】
S313において、撮像モジュール200は、画像処理モジュール220から画像データに対する画像解析の結果に関する情報を取得する。具体的な一例として、撮像モジュール200は、患部領域102の抽出結果に応じた情報や、当該患部領域102のサイズに関する情報等が関連付けられた画像データを画像処理モジュール220から取得してもよい。
また、S313において、撮像モジュール200のCPU203は、S317において取得された画像データに対する画像解析の結果に関する情報を、表示部207を介してユーザに提示してもよい。具体的な一例として、CPU203は、患部領域102のサイズに関する情報が関連付けられた画像データに基づき、当該患部領域102のサイズに関する情報が重畳された画像を表示部207に表示させてもよい。
【0074】
さらに、S313において、CPU203は、医療用サーバ120への、患部の撮像結果に応じた画像データの登録に係る指示をユーザからの受け付けてもよい。具体的な一例として、CPU203は、医療用サーバ120への画像データの登録を行うか否かの確認係る報知情報を、表示部207を介してユーザに提示してもよい。そのうえで、CPU203は、ユーザから画像データの登録に係る指示を受け付けた場合には、対象となる画像データと、当該画像データに対する画像解析の結果に応じた情報と、を医療用サーバ120等のような所定の送信先に送信するための各種処理を実行する。
なお、画像データや、当該画像データに対する画像解析の結果に応じた情報の送信に係る主体については特に限定されず、当該主体は、撮像モジュール200であってもよいし、画像処理モジュール220であってもよい。また、撮像モジュール200と医療用サーバ120との間での上記画像データや上記画像解析の結果の伝送が行われる際に、画像処理モジュール220により当該伝送が中継されてもよい。
【0075】
なお、医療用サーバ120に送信されるデータには、患部(例えば、褥瘡の患部)の撮像結果に応じた画像データに対する画像解析の結果に応じた情報、撮像時に適用された解析モードや撮像条件に関する情報、及び被写体情報等が含まれ得る。また、上記画像解析の結果に応じた情報としては、例えば、褥瘡が観察対象の場合には、被写体との間の距離情、患部領域の位置、患部領域の面積、長径の長さ、長径の向き、短径の長さ、短径の向き、及び矩形面積等の情報が含まれてもよい。もちろん、観察対象となる病変に応じて、上記画像解析の結果に応じた情報の内容や種別が適宜変更されてもよい。
また、医療用サーバ120への画像データや各種情報の登録に際し、画像データと、画像データ以外の他の情報と、が異なる管理元に登録されてもよい。具体的な一例として、画像データについては、PACS等の画像データベースに登録され、各種解析や各種計測の結果に応じた情報や画像データのサムネイル等については、電子カルテや看護システムに登録されてもよい。この場合には、異なるシステムに登録された互いに関連するデータや情報が、リンク等を介して関連付けられてもよい。
【0076】
そして、CPU203は、医療用サーバ120への画像データの登録が完了した場合に、表示部207を介してユーザに当該画像データの登録の完了を報知してもよい。
【0077】
以上のような処理が適用されることで、医療用サーバ120に記録された被写体情報に応じて、解析モードや撮像条件を選択的に切り替えることが可能となる。そのため、ユーザは、被写体に応じて解析モードや撮像条件を変更するために煩雑な操作を行う必要がなくなるため、患部の観察に係るユーザの手間をより好適な態様で軽減することが可能となる。
【0078】
<変形例>
以下に、本実施形態に係る医療用画像処理システムの変形例について説明する。
例えば、図6は、変形例に係る医療用画像処理システムのシステム構成の一例を示している。本変形例では、図1に示す撮像装置110に相当する構成として、撮像装置610と画像処理装置620とを含む。撮像装置610は、図2に示す撮像モジュール200に相当する機能を有し、画像処理装置620と所定のネットワーク(例えば、無線LAN等)を介して接続される。画像処理装置620は、図2に示す画像処理モジュール220に相当する機能を有し、医療用サーバ120と所定のネットワーク(例えば、LAN等)を介して接続される。
【0079】
また、図7は、変形例に係る医療用画像処理システムのハードウェア構成の一例を示している。
撮像装置610は、図2に示す撮像モジュール200と実質的に同様の構成要素と、通信装置710とを有する。通信装置710は、撮像装置610が他の装置(例えば、画像処理装置620や医療用サーバ120等)と通信を行うための構成を模式的に示している。通信装置710は、例えば、画像処理装置620が接続された所定のネットワークに接続される。また、通信装置710は、医療用サーバ120が接続された所定のネットワークに接続されてもよい。
画像処理装置620は、図2に示す画像処理モジュール220と実質的に同様の構成要素と、通信装置720とを有する。通信装置720は、画像処理装置620が他の装置(例えば、撮像装置610や医療用サーバ120等)と通信を行うための構成を模式的に示している。通信装置720は、例えば、画像処理装置620が接続された所定のネットワークや、医療用サーバ120が接続された所定のネットワークに接続される。
なお、図7に示す例では、画像処理装置620が、「医療用画像処理装置」の一例に相当する。
【0080】
以上のように、変形例に係る医療用画像処理システムは、図2に示す撮像モジュール200及び画像処理モジュール220に相当する構成が、互いに異なる撮像装置610及び画像処理装置620として実現されている。なお、変形例に係る医療用画像処理システムの処理については、撮像モジュール200及び画像処理モジュール220に相当する構成が撮像装置610及び画像処理装置620である点を除けば、図3A図3Cを参照して説明した例と同様である。そのため、変形例に係る医療用画像処理システムの処理については、詳細な説明は省略する。
【0081】
以上のような構成により、変形例に係る医療用画像処理システムに依れば、例えば、撮像装置610として、ユーザが携行可能な小型かつ軽量な撮像装置を適用することも可能となる。また、画像処理装置620に対して複数の撮像装置610を接続する構成とすることで、高性能の演算能力を有する機器(画像処理装置620相当の機器)の数を削減することも可能となる。
【0082】
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0083】
110 撮像装置
120 医療用サーバ
200 撮像モジュール
202 撮像素子
203 CPU
220 画像処理モジュール
221 演算装置
図1
図2
図3A
図3B
図3C
図4
図5
図6
図7