(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-08
(45)【発行日】2025-04-16
(54)【発明の名称】眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体
(51)【国際特許分類】
A61B 3/10 20060101AFI20250409BHJP
【FI】
A61B3/10
(21)【出願番号】P 2020177703
(22)【出願日】2020-10-23
【審査請求日】2023-10-10
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100124626
【氏名又は名称】榎並 智和
(72)【発明者】
【氏名】山田 和広
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】国際公開第2019/240257(WO,A1)
【文献】特開2011-255038(JP,A)
【文献】米国特許出願公開第2012/0076471(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00 - 3/18
(57)【特許請求の範囲】
【請求項1】
被検眼を観察するための眼科観察装置であって、
前記被検眼を撮影して第1動画像を生成する動画像生成部と、
前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する画像処理部と、
前記複数の加工画像を第1表示装置に表示させる表示制御部と
、
前記第1表示装置に表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける指示受付部と
を含
み、
前記画像処理部は、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を、前記指示受付部を用いて前記少なくとも1つの加工画像の選択が行われた後に前記動画像生成部により生成される第2動画像に適用し、
前記表示制御部は、前記第2画像処理が適用された前記第2動画像を第2表示装置に表示させ、
前記複数の加工画像のうちの2つ以上の加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記2つ以上の加工画像にそれぞれ対応する前記画像パラメータの2つ以上の値に基づき1つの値を決定し、前記1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する、
眼科観察装置。
【請求項2】
前記第2画像処理に用いられた前記画像パラメータの前記1つの値を記録する記録部を更に含む、
請求項
1の眼科観察装置。
【請求項3】
ユーザーの識別子を受け付ける識別子受付部を更に含み、
前記記録部は、前記識別子受付部により受け付けられた前記識別子に関連付けて前記画像パラメータの前記1つの値を記録する、
請求項
2の眼科観察装置。
【請求項4】
前記被検眼に対する医療行為の属性を示す属性情報を取得する属性情報取得部を更に含み、
前記記録部は、前記属性情報取得部により取得された前記属性情報に関連付けて前記画像パラメータの前記1つの値を記録する、
請求項
2又は
3の眼科観察装置。
【請求項5】
過去に前記記録部により記録された前記画像パラメータの値のうちから少なくとも1つの値を選択する選択部を更に含み、
前記画像処理部は、前記選択部により選択された前記少なくとも1つの値に基づく画像処理を、前記動画像生成部により生成された第3動画像に適用する、
請求項
2~
4のいずれかの眼科観察装置。
【請求項6】
前記記録部は、前記第2動画像が生成されたときの撮影条件を前記画像パラメータの前記1つの値に関連付けて記録し、
前記選択部は、前記選択部により選択された前記少なくとも1つの値に関連付けられた撮影条件を更に選択し、
前記選択部によりそれぞれ選択された前記少なくとも1つの値及び前記撮影条件に基づいて前記画像パラメータの値を決定する決定部を更に含み、
前記画像処理部は、前記決定部により決定された前記画像パラメータの前記値を用いた画像処理を前記第3動画像に適用
し、
前記決定部は、撮影条件の変化と画像パラメータの値との間の関係を用い、前記選択部により選択された前記撮影条件から前記第3動画像の撮影条件への変化を前記関係に当てはめることにより、前記選択部により選択された前記撮影条件から前記第3動画像の前記撮影条件への変化に応じて、前記選択部により選択された前記画像パラメータの前記少なくとも1つの値を調整する、
請求項
5の眼科観察装置。
【請求項7】
前記画像処理部は、前記第1動画像に含まれる前記静止画像の一部である部分画像に対して前記第1画像処理を適用して、前記複数の加工画像としての複数の加工部分画像を作成し、
前記表示制御部は、前記複数の加工部分画像をそれぞれ含む複数の画像を前記第1表示装置に表示させる、
請求項
1~
6のいずれかの眼科観察装置。
【請求項8】
前記画像処理部は、前記被検眼の所定部位の像を特定するためのセグメンテーションを前記第1動画像に含まれる前記静止画像に適用して前記部分画像を特定する第1部分画像特定部を含む、
請求項
7の眼科観察装置。
【請求項9】
前記第1部分画像特定部は、前記第2動画像に前記セグメンテーションを適用して前記第2動画像に含まれる静止画像の部分画像を逐次に特定し、
前記画像処理部は、前記第2動画像に含まれる前記静止画像から特定された前記部分画像に対して逐次に前記第2画像処理を適用する、
請求項
8の眼科観察装置。
【請求項10】
前記表示制御部は、前記第1動画像又は前記第1動画像に含まれる静止画像を前記第1表示装置又は前記第2表示装置に表示させ、
表示された前記第1動画像又は前記第1動画像に含まれる前記静止画像における部分領域を指定するためのグラフィカルユーザーインターフェイスを更に含み、
前記画像処理部は、前記ユーザーインターフェイスを用いて指定された前記部分領域に基づき前記部分画像を設定する、
請求項
7の眼科観察装置。
【請求項11】
前記画像処理部は、前記第2動画像に含まれる静止画像において前記部分領域に対応する部分画像を逐次に特定する第2部分画像特定部を含み、
前記画像処理部は、前記第2動画像に含まれる前記静止画像から特定された前記部分画像に対して逐次に前記第2画像処理を適用する、
請求項
10の眼科観察装置。
【請求項12】
前記表示制御部は、前記複数の加工画像のうちの2つ以上の加工画像又は前記2つ以上の加工画像のサムネイルを前記第1表示装置に並べて表示させる、
請求項1~
11のいずれかの眼科観察装置。
【請求項13】
前記表示制御部は、前記複数の加工画像のうちの2つ以上の加工画像又は前記2つ以上の加工画像のサムネイルを前記第1表示装置に順次に表示させる、
請求項1~
11のいずれかの眼科観察装置。
【請求項14】
前記被検眼の動きを監視する監視部を更に含み、
前記表示制御部は、前記監視部からの出力に基づき前記複数の加工画像の表示状態を変更する、
請求項1~
13のいずれかの眼科観察装置。
【請求項15】
前記被検眼の異常を検知する異常検知部を更に含み、
前記表示制御部は、前記異常検知部からの出力に基づき前記複数の加工画像の表示状態を変更する、
請求項1~
14のいずれかの眼科観察装置。
【請求項16】
前記画像パラメータは、色調パラメータ、明度パラメータ、コントラストパラメータ、ゲインパラメータ、ガンマパラメータ、色温度パラメータ、ホワイトバランスパラメータ、RGBバランスパラメータ、グレイバランスパラメータ、エッジ強調パラメータ、影強調パラメータ、鮮鋭化パラメータ、及び、ハイダイナミックレンジパラメータのうちの1つ以上を含む、
請求項1~
15のいずれかの眼科観察装置。
【請求項17】
被検眼の画像を処理する眼科画像処理装置であって、
前記被検眼の第1動画像を受け付ける動画像受付部と、
前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する画像処理部と、
前記複数の加工画像を第1表示装置に表示させる表示制御部と
、
前記第1表示装置に表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける指示受付部と
を含
み、
前記画像処理部は、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を、前記指示に基づく前記少なくとも1つの加工画像の選択が行われた後に前記動画像受付部により受け付けられた前記被検眼の第2動画像に適用し、
前記表示制御部は、前記第2画像処理が適用された前記第2動画像を第2表示装置に表示させ、
前記複数の加工画像のうちの2つ以上の加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記2つ以上の加工画像にそれぞれ対応する前記画像パラメータの2つ以上の値に基づき1つの値を決定し、前記1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する、
眼科画像処理装置。
【請求項18】
被検眼の画像を処理する眼科画像処理方法であって、
前記被検眼の第1動画像を受け付け、
前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成し、
前記複数の加工画像を表示し、
表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付け、
前記指示に基づく前記少なくとも1つの加工画像の選択が行われた後に、前記被検眼の第2動画像を受け付け、
前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を前記第2動画像に適用し、
前記第2画像処理が適用された前記第2動画像を表示
し、
前記複数の加工画像のうちの2つ以上の加工画像を選択するための指示を受け付けた場合、前記2つ以上の加工画像にそれぞれ対応する前記画像パラメータの2つ以上の値に基づき1つの値を決定し、前記1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する、
眼科画像処理方法。
【請求項19】
請求項
18の方法をコンピュータに実行させるプログラム。
【請求項20】
請求項
19のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体に関する。
【背景技術】
【0002】
眼科観察装置は、患者の眼(被検眼と呼ぶ)を観察するための装置である。眼科観察は、検査、手術、治療などの様々な場面において被検眼の状態を把握するために行われる。
【0003】
旧来の眼科観察装置は、対物レンズや変倍光学系により得られた拡大像を接眼レンズを介してユーザーに提供するものであったが、近年の眼科観察装置には、対物レンズや変倍光学系により得られた拡大像を撮像素子で撮影し、得られた撮影像を表示するように構成されたものがある(第1の態様の眼科観察装置)。そのような眼科観察装置として、スリットランプ顕微鏡、手術用顕微鏡、眼底カメラなどがある。また、レフラクトメーター、ケラトメーター、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザー、マイクロペリメーターといった各種の眼科検査装置にも、第1の態様の眼科観察装置としての機能が設けられている。
【0004】
更に、近年の眼科観察装置には、光走査を用いたものもある(第2の態様の眼科観察装置)。そのような眼科装置として、走査型レーザー検眼鏡(SLO)、光コヒーレンストモグラフィ(OCT)装置などがある。
【0005】
一般に、眼科観察装置は、被検眼の動画像をユーザー(例えば、医師などの医療従事者)に提供する。第1の態様の眼科観察装置は、典型的には、赤外光及び/又は可視光を照明光とした動画撮影と、それにより得られた画像のリアルタイム動画表示とを実行するように構成されている。一方、第2の態様の眼科観察装置は、典型的には、反復的な光走査によるデータ収集と、逐次に収集されるデータセットに基づくリアルタイム画像再構成と、逐次に再構成された画像のリアルタイム動画表示とを実行するように構成されている。このようにして提供されるリアルタイム動画像を観察画像と呼ぶ。
【0006】
良好な観察画像を提供するためには画像品質の調整を行うことが必要であるが、望まれる画像品質はユーザーによって異なり、また、検査や手術の種類やフェーズにおいても異なる。例えば、或る医師は赤みがかった色合いの画像が好みであり、別の医師は緑がかった色合いの画像が好みであったりする。また、最も一般的な眼科手術の1つである白内障手術は、アライメント、創口作成、眼粘弾剤注入、前嚢切開(CCC)、水晶体乳化吸引、水晶体皮質吸引、眼内レンズ(IOL)挿入、IOLセンタリング、眼粘弾剤除去、創口閉鎖といった手順で行われるが、医師が望む画像品質がフェーズ毎に異なる場合がある。更に、注目部位の像の品質を選択的に高めたい場合もある。また、被検眼の状態によって望まれる画像品質が異なる場合もある。
【0007】
このように、観察画像に望まれる品質は様々であるが、従来の典型的な眼科観察装置では画像品質の調整をその都度手動で行っていたため、非常に煩雑で手間が掛かる上、検査や手術の長時間化を招く要因の1つとなっていた。一方、画像品質の調整を自動で行うことも考えられるが、望まれる画像品質の多様性を考慮すると、結局、手動で調整を行うこととなってしまう。
【先行技術文献】
【特許文献】
【0008】
【文献】特開2003-310556号公報
【文献】特開2009-118955号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の1つの目的は、眼科観察を容易化するための新たな技術を提供することにある。
【課題を解決するための手段】
【0010】
幾つかの例示的な態様は、被検眼を観察するための眼科観察装置であって、前記被検眼を撮影して第1動画像を生成する動画像生成部と、前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する画像処理部と、前記複数の加工画像を第1表示装置に表示させる表示制御部とを含む。
【0011】
幾つかの例示的な態様に係る眼科観察装置は、前記第1表示装置に表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける指示受付部を更に含み、前記画像処理部は、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を、前記指示受付部を用いて前記少なくとも1つの加工画像の選択が行われた後に前記動画像生成部により生成される第2動画像に適用し、前記表示制御部は、前記第2画像処理が適用された前記第2動画像を第2表示装置に表示させる。
【0012】
幾つかの例示的な態様に係る眼科観察装置において、前記複数の加工画像のうちの1つの加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記1つの加工画像に対応する前記画像パラメータの1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する。
【0013】
幾つかの例示的な態様に係る眼科観察装置において、前記複数の加工画像のうちの2つ以上の加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記2つ以上の加工画像のうちの1つの加工画像に対応する前記画像パラメータの1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する。
【0014】
幾つかの例示的な態様に係る眼科観察装置において、前記複数の加工画像のうちの2つ以上の加工画像が前記指示受付部を用いて選択された場合、前記画像処理部は、前記2つ以上の加工画像にそれぞれ対応する前記画像パラメータの2つ以上の値に基づき1つの値を決定し、前記1つの値を用いた画像処理を前記第2画像処理として前記第2動画像に適用する。
【0015】
幾つかの例示的な態様に係る眼科観察装置は、前記第2画像処理に用いられた前記画像パラメータの前記1つの値を記録する記録部を更に含む。
【0016】
幾つかの例示的な態様に係る眼科観察装置は、ユーザーの識別子を受け付ける識別子受付部を更に含み、前記記録部は、前記識別子受付部により受け付けられた前記識別子に関連付けて前記画像パラメータの前記1つの値を記録する。
【0017】
幾つかの例示的な態様に係る眼科観察装置は、前記被検眼に対する医療行為の属性を示す属性情報を取得する属性情報取得部を更に含み、前記記録部は、前記属性情報取得部により取得された前記属性情報に関連付けて前記画像パラメータの前記1つの値を記録する。
【0018】
幾つかの例示的な態様に係る眼科観察装置において、過去に前記記録部により記録された前記画像パラメータの値のうちから少なくとも1つの値を選択する選択部を更に含み、前記画像処理部は、前記選択部により選択された前記少なくとも1つの値に基づく画像処理を、前記動画像生成部により生成された第3動画像に適用する。
【0019】
幾つかの例示的な態様に係る眼科観察装置において、前記記録部は、前記第2動画像が生成されたときの撮影条件を前記画像パラメータの前記1つの値に関連付けて記録し、前記選択部は、前記選択部により選択された前記少なくとも1つの値に関連付けられた撮影条件を更に選択し、前記眼科観察装置は、前記選択部によりそれぞれ選択された前記少なくとも1つの値及び前記撮影条件に基づいて前記画像パラメータの値を決定する決定部を更に含み、前記画像処理部は、前記決定部により決定された前記画像パラメータの前記値を用いた画像処理を前記第3動画像に適用する。
【0020】
幾つかの例示的な態様に係る眼科観察装置において、前記画像処理部は、前記第1動画像に含まれる前記静止画像の一部である部分画像に対して前記第1画像処理を適用して、前記複数の加工画像としての複数の加工部分画像を作成し、前記表示制御部は、前記複数の加工部分画像をそれぞれ含む複数の画像を前記第1表示装置に表示させる。
【0021】
幾つかの例示的な態様に係る眼科観察装置において、前記画像処理部は、前記被検眼の所定部位の像を特定するためのセグメンテーションを前記第1動画像に含まれる前記静止画像に適用して前記部分画像を特定する第1部分画像特定部を含む。
【0022】
幾つかの例示的な態様に係る眼科観察装置において、前記第1部分画像特定部は、前記第2動画像に前記セグメンテーションを適用して前記第2動画像に含まれる静止画像の部分画像を逐次に特定し、前記画像処理部は、前記第2動画像に含まれる前記静止画像から特定された前記部分画像に対して逐次に前記第2画像処理を適用する。
【0023】
幾つかの例示的な態様に係る眼科観察装置において、前記表示制御部は、前記第1動画像又は前記第1動画像に含まれる静止画像を前記第1表示装置又は前記第2表示装置に表示させ、前記眼科観察装置は、表示された前記第1動画像又は前記第1動画像に含まれる前記静止画像における部分領域を指定するためのグラフィカルユーザーインターフェイスを更に含み、前記画像処理部は、前記ユーザーインターフェイスを用いて指定された前記部分領域に基づき前記部分画像を設定する。
【0024】
幾つかの例示的な態様に係る眼科観察装置において、前記画像処理部は、前記第2動画像に含まれる静止画像において前記部分領域に対応する部分画像を逐次に特定する第2部分画像特定部を含み、前記画像処理部は、前記第2動画像に含まれる前記静止画像から特定された前記部分画像に対して逐次に前記第2画像処理を適用する。
【0025】
幾つかの例示的な態様に係る眼科観察装置において、前記表示制御部は、前記複数の加工画像のうちの2つ以上の加工画像又は前記2つ以上の加工画像のサムネイルを前記第1表示装置に並べて表示させる。
【0026】
幾つかの例示的な態様に係る眼科観察装置において、前記表示制御部は、前記複数の加工画像のうちの2つ以上の加工画像又は前記2つ以上の加工画像のサムネイルを前記第1表示装置に順次に表示させる。
【0027】
幾つかの例示的な態様に係る眼科観察装置は、前記被検眼の動きを監視する監視部を更に含み、前記表示制御部は、前記監視部からの出力に基づき前記複数の加工画像の表示状態を変更する。
【0028】
幾つかの例示的な態様に係る眼科観察装置は、前記被検眼の異常を検知する異常検知部を更に含み、前記表示制御部は、前記異常検知部からの出力に基づき前記複数の加工画像の表示状態を変更する。
【0029】
幾つかの例示的な態様に係る眼科観察装置において、前記画像パラメータは、色調パラメータ、明度パラメータ、コントラストパラメータ、ゲインパラメータ、ガンマパラメータ、色温度パラメータ、ホワイトバランスパラメータ、RGBバランスパラメータ、グレイバランスパラメータ、エッジ強調パラメータ、影強調パラメータ、鮮鋭化パラメータ、及び、ハイダイナミックレンジパラメータのうちの1つ以上を含む。
【0030】
幾つかの例示的な態様は、被検眼の画像を処理する眼科画像処理装置であって、前記被検眼の第1動画像を受け付ける動画像受付部と、前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する画像処理部と、前記複数の加工画像を第1表示装置に表示させる表示制御部とを含む。
【0031】
幾つかの例示的な態様に係る眼科画像処理装置は、前記第1表示装置に表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける指示受付部を更に含み、前記画像処理部は、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を、前記指示に基づく前記少なくとも1つの加工画像の選択が行われた後に前記動画像受付部により受け付けられた前記被検眼の第2動画像に適用し、前記表示制御部は、前記第2画像処理が適用された前記第2動画像を第2表示装置に表示させる。
【0032】
幾つかの例示的な態様は、被検眼の画像を処理する眼科画像処理方法であって、前記被検眼の第1動画像を受け付け、前記第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成し、前記複数の加工画像を表示し、表示された前記複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付け、前記指示に基づく前記少なくとも1つの加工画像の選択が行われた後に、前記被検眼の第2動画像を受け付け、前記少なくとも1つの加工画像に対応する前記画像パラメータの少なくとも1つの値に基づく第2画像処理を前記第2動画像に適用し、前記第2画像処理が適用された前記第2動画像を表示する。
【0033】
幾つかの例示的な態様は、例示的な態様に係る眼科画像処理方法をコンピュータに実行させるプログラムである。
【0034】
幾つかの例示的な態様は、例示的な態様に係るプログラムが記録されたコンピュータ可読な非一時的記録媒体である。
【発明の効果】
【0035】
例示的な態様によれば、眼科観察を容易化するための新たな技術を提供することが可能となる。
【図面の簡単な説明】
【0036】
【
図1】例示的な実施形態に係る眼科観察装置(眼科手術用顕微鏡)の構成の一例を示す概略図である。
【
図2】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図3】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図4】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図5】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図6】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図7】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図8】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図9】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図10】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図11】例示的な実施形態に係る眼科観察装置が実行する処理の一例を示すフローチャートである。
【
図12A】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図12B】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図12C】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図12D】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図12E】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図13】例示的な実施形態に係る眼科観察装置が実行する処理の一例を示すフローチャートである。
【
図14A】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図14B】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図14C】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図14D】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図14E】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図14F】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図14G】例示的な実施形態に係る眼科観察装置が実行する処理の一例を説明するための概略図である。
【
図15】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図16】例示的な実施形態に係る眼科観察装置の構成の一例を示す概略図である。
【
図17】例示的な実施形態に係る眼科画像処理装置の構成の一例を示す概略図である。
【発明を実施するための形態】
【0037】
実施形態に係る眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体の幾つかの例示的な態様について、図面を参照しながら詳細に説明する。なお、この明細書において引用された文献に記載された事項や任意の公知技術を例示的な態様に組み合わせることが可能である。
【0038】
例示的な態様に係る眼科観察装置は、被検眼の検査、手術、治療などの医療行為において被検眼の状態を把握するために使用される。以下に説明される例示的な態様の眼科観察装置は手術用顕微鏡システムであるが、眼科観察装置は手術用顕微鏡システムに限定されない。例えば、眼科観察装置は、スリットランプ顕微鏡、眼底カメラ、レフラクトメーター、ケラトメーター、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザー、マイクロペリメーター、SLO、及びOCT装置のうちのいずれかであってよく、また、これらのうちのいずれか1つ以上を含むシステムであってよい。より一般に、眼科観察装置は、観察機能を有する任意の眼科装置であってよい。
【0039】
眼科観察装置を用いた観察の対象部位は、被検眼の任意の部位であってよく、前眼部の任意の部位及び/又は後眼部の任意の部位であってよい。前眼部の観察対象部位としては、例えば、角膜、虹彩、前房、隅角、水晶体、毛様体、チン小帯などがある。後眼部の観察対象部位としては、例えば、網膜、脈絡膜、強膜、硝子体などがある。観察対象部位は、眼球組織に限定されるものではなく、瞼、マイボーム腺、眼窩など、眼科(及び/又は他科)において観察対象となる任意の部位であってもよい。
【0040】
本明細書に開示された要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
【0041】
<眼科観察装置>
例示的な態様の眼科観察装置の構成を
図1に示す。
【0042】
実施形態に係る眼科観察装置1(手術用顕微鏡システム)は、操作装置2と、表示装置3と、手術用顕微鏡10とを含む。幾つかの態様では、手術用顕微鏡10が操作装置2及び表示装置3の少なくとも1つを含んでいてよい。また、幾つかの態様では、表示装置3は眼科観察装置1に含まれていなくてもよい。つまり、表示装置3は眼科観察装置1の周辺機器であってよい。
【0043】
<操作装置2>
操作装置2は、操作デバイス及び/又は入力デバイスを含む。例えば、操作装置2は、ボタン、スイッチ、マウス、キーボード、トラックボール、操作パネル、ダイアルなどを含んでいてよい。典型的には、操作装置2は、一般的な眼科手術用顕微鏡と同様に、フットスイッチを含んでいる。
【0044】
<表示装置3>
表示装置3は、手術用顕微鏡10により取得された被検眼の画像を表示させる。表示装置3は、フラットパネルディスプレイなどの表示デバイスを含む。また、表示装置3は、タッチパネルなどの各種表示デバイスを含んでいてもよい。典型的な表示装置3は、大画面の表示デバイスを含む。表示装置3は、1つ以上の表示デバイスを含む。表示装置3が2つ以上の表示デバイスを含む場合、例えば、1つは比較的大画面の表示デバイスであり、他の1つは比較的小画面の表示デバイスであってよい。
【0045】
操作装置2と表示装置3は、それぞれ個別のデバイスである必要はない。例えば、タッチパネルのように操作機能と表示機能とが一体化されたデバイスを表示装置3として用いてもよい。その場合、操作装置2は、このタッチパネルとコンピュータプログラムとを含む。操作装置2に対する操作内容は、電気信号としてプロセッサ(不図示)に入力される。また、表示装置3に表示されたグラフィカルユーザーインターフェイス(GUI)と、操作装置2とを用いて、操作や情報入力を行うようにしてもよい。幾つかの態様では、操作装置2及び表示装置3の機能はタッチスクリーンによって実現されてよい。
【0046】
<手術用顕微鏡10>
手術用顕微鏡10は、仰臥位の患者の眼(被検眼)を観察するために用いられる。手術用顕微鏡10は、被検眼を撮影してデジタル画像データを生成する。特に、手術用顕微鏡10は、被検眼の動画像を生成する。手術用顕微鏡10により生成された動画像(映像)は、有線及び/又は無線の信号路を通じて表示装置3に送信されて表示される。ユーザー(術者)は、表示される映像によって被検眼を観察しつつ手術を行うことができる。幾つかの態様の手術用顕微鏡10は、このような表示映像の観察に加えて、旧来のような接眼レンズを介した観察が可能であってもよい。
【0047】
幾つかの態様では、手術用顕微鏡10は、操作装置2との間で電気信号を送受信するための通信デバイスを含む。操作装置2は、ユーザーによる操作を受け付け、それに対応する電気信号(操作信号)を生成する。操作信号は、有線及び/又は無線の信号路を通じて手術用顕微鏡10に送信される。手術用顕微鏡10は、受信した操作信号に対応した処理を実行する。
【0048】
<手術用顕微鏡10の光学系>
手術用顕微鏡10の光学系の構成の例を説明する。以下では、説明の便宜上、対物レンズの光軸方向をz方向(例えば、手術時には鉛直方向、上下方向)とし、z方向に直交する所定方向をx方向(例えば、手術時には水平方向、術者及び患者にとって左右方向)とし、z方向及びx方向の双方に直交する方向をy方向(例えば、手術時には水平方向、術者にとって前後方向、患者にとって体軸方向)とする。
【0049】
また、以下では、主として、観察光学系が左右一対の光学系(双眼観察が可能な光学系)を有している場合について説明する。しかしながら、他の態様の観察光学系は単眼観察用の光学系を有していてもよく、そのような態様に以下に説明する構成を援用できることは当業者であれば理解できるであろう。
【0050】
手術用顕微鏡10の光学系の構成例を
図2に示す。
図2は、光学系を上から見た模式的な上面図と光学系を側方から見た模式的な側面図とを対応付けて図示したものである。図示を簡略化するため、対物レンズ20の上方に配置される照明光学系30の図示が省略されている。
【0051】
手術用顕微鏡10は、対物レンズ20と、ダイクロイックミラーDM1と、照明光学系30と、観察光学系40とを含む。観察光学系40は、ズームエキスパンダ50と、撮像カメラ60とを含む。幾つかの態様では、照明光学系30又は観察光学系40は、ダイクロイックミラーDM1を含む。
【0052】
対物レンズ20は、被検眼に対向するように配置される。対物レンズ20は、その光軸がz方向に沿うように配置されている。対物レンズ20は、2枚以上のレンズを含んでいてもよい。
【0053】
ダイクロイックミラーDM1は、照明光学系30の光路と観察光学系40の光路とを結合する。ダイクロイックミラーDM1は、照明光学系30と対物レンズ20との間に配置される。ダイクロイックミラーDM1は、照明光学系30からの照明光を透過して対物レンズ20を介して被検眼に導くとともに、対物レンズ20を介して入射する被検眼からの戻り光を反射して観察光学系40の撮像カメラ60に導く。
【0054】
ダイクロイックミラーDM1は、照明光学系30の光路と観察光学系40の光路とを同軸に結合する。つまり、照明光学系30の光軸と観察光学系40の光軸とがダイクロイックミラーDM1において交差している。照明光学系30が左眼用照明光学系(31L)及び右眼用照明光学系(31R)を含み、且つ、観察光学系40が左眼用観察光学系40L及び右眼用観察光学系40Rを含む場合において、ダイクロイックミラーDM1は、左眼用照明光学系(第1照明光学系31L)の光路と左眼用観察光学系40Lの光路とを同軸に結合し、且つ、右眼用照明光学系(第1照明光学系31R)の光路と右眼用観察光学系40Rの光路とを同軸に結合する。
【0055】
照明光学系30は、対物レンズ20を介して被検眼を照明するための光学系である。照明光学系30は、色温度が異なる2以上の照明光のいずれかによって被検眼を照明するように構成されていてよい。照明光学系30は、後述の制御部(200)の制御の下に、指定された色温度の照明光を被検眼に投射する。
【0056】
照明光学系30は、第1照明光学系31L及び31Rと、第2照明光学系32とを含んでいる。
【0057】
第1照明光学系31Lの光軸OL及び第1照明光学系31Rの光軸ORのそれぞれは、対物レンズ20の光軸と略同軸に配置されている。これにより、いわゆる「0度照明」を実現することができ、眼底での拡散反射を利用した徹照像を得ることが可能となる。本態様では、被検眼の徹照像を双眼で観察することが可能である。
【0058】
第2照明光学系32は、その光軸OSが対物レンズ20の光軸から偏心するように配置されている。第1照明光学系31L及び31R並びに第2照明光学系32は、対物レンズ20の光軸に対する光軸OSの偏位が対物レンズ20の光軸に対する光軸OL及びORの偏位よりも大きくなるように配置されている。これにより、いわゆる「角度付き照明(斜め照明)」を実現することができ、角膜反射などに起因するゴーストの混入を防止しつつ被検眼を双眼で観察することが可能になる。更に、被検眼の部位や組織の凹凸を詳細に観察することも可能になる。
【0059】
第1照明光学系31Lは、光源31LAと、コンデンサーレンズ31LBとを含む。光源31LAは、例えば、3000K(ケルビン)の色温度に相当する可視領域の波長の照明光を出力する。光源31LAから出力された照明光は、コンデンサーレンズ31LBを通過し、ダイクロイックミラーDM1を透過し、対物レンズ20を通過して被検眼に入射する。
【0060】
第1照明光学系31Rは、光源31RAと、コンデンサーレンズ31RBとを含む。光源31RAもまた、例えば、3000Kの色温度に相当する可視領域の波長の照明光を出力する。光源31RAから出力された照明光は、コンデンサーレンズ31RBを通過し、ダイクロイックミラーDM1を透過し、対物レンズ20を通過して被検眼に入射する。
【0061】
第2照明光学系32は、光源32Aと、コンデンサーレンズ32Bとを含む。光源32Aは、例えば、4000K~6000Kの色温度に相当する可視領域の波長の照明光を出力する。光源32Aから出力された照明光は、コンデンサーレンズ32Bを通過し、ダイクロイックミラーDM1を経由することなく対物レンズ20を通過して被検眼に入射する。
【0062】
すなわち、第1照明光学系31L及び31Rからの照明光の色温度は、第2照明光学系32からの照明光の色温度よりも低い。このような構成とすることで、第1照明光学系31L及び31Rを用いて暖色系の色で被検眼を観察することが可能になり、被検眼の構造や形態を詳細に観察することが可能となる。
【0063】
幾つかの態様では、光軸OL及びORのそれぞれが対物レンズ20の光軸に対して相対的に移動可能とされる。この相対移動の方向は対物レンズ20の光軸に交差する方向であり、この相対移動はx成分及びy成分の少なくとも一方がゼロでない変位ベクトルで表現される。幾つかの態様では、光軸OL及びORのそれぞれが独立に移動可能であってよい。一方、幾つかの態様では、光軸OL及びORが一体的に移動可能であってよい。例えば、手術用顕微鏡10は、第1照明光学系31L及び31Rを独立に又は一体的に移動する移動機構(31d)を備えており、この移動機構によって第1照明光学系31L及び31Rを独立に又は一体的に対物レンズ20の光軸に交差する方向に移動する。それにより、被検眼の見え具合を調整することが可能になる。幾つかの態様では、後述の制御部(200)の制御の下に移動機構が動作する。
【0064】
幾つかの態様では、光軸OSが対物レンズ20の光軸に対して相対的に移動可能とされる。この相対移動の方向は、対物レンズ20の光軸に交差する方向であり、この相対移動はx成分及びy成分の少なくとも一方がゼロでない変位ベクトルで表現される。例えば、手術用顕微鏡10は、第2照明光学系32を移動する移動機構(32d)を備えており、この移動機構によって第2照明光学系32を対物レンズ20の光軸に交差する方向に移動する。それにより、被検眼の部位や組織における凹凸の見え具合を調整することが可能になる。幾つかの態様では、後述の制御部(200)の制御の下に移動機構が動作する。
【0065】
以上のように、本態様では、対物レンズ20の直上の位置(ダイクロイックミラーDM1の透過方向の位置)に照明光学系30が配置され、且つ、ダイクロイックミラーDM1の反射方向の位置に観察光学系40が配置されている。例えば、観察光学系40の光軸と対物レンズ20の光軸に直交する平面(xy平面)とのなす角が±20度以下になるように、観察光学系40が配置されていてよい。
【0066】
本態様の構成によれば、一般的に照明光学系30よりも光路長が長い観察光学系40がxy平面に対して略平行に配置されるため、術者の眼前に観察光学系が鉛直方向に配置される従来の手術用顕微鏡のように術者の視野を邪魔することがない。したがって、術者は、正面に設置された表示装置3の画面を容易に見ることができる。つまり、手術中などにおける表示情報(被検眼の画像や映像、その他の各種参照情報)の視認性が向上する。また、術者の眼前に筐体が配置されることがないため、術者に圧迫感を与えることがなく、術者の負担が軽減される。
【0067】
観察光学系40は、対物レンズ20を介して被検眼から入射した照明光の戻り光に基づき形成される像を観察するための光学系である。本態様では、観察光学系40は、撮像カメラ60の撮像素子に像を提供する。
【0068】
上記したように、観察光学系40は、左眼用観察光学系40Lと、右眼用観察光学系40Rとを含んでいる。左眼用観察光学系40Lの構成は、右眼用観察光学系40Rの構成と同様である。幾つかの態様では、左眼用観察光学系40L及び右眼用観察光学系40Rは、互いに独立に光学配置の変更が可能であってよい。
【0069】
ズームエキスパンダ50は、ビームエキスパンダ、可変ビームエキスパンダなどとも呼ばれる。ズームエキスパンダ50は、左眼用ズームエキスパンダ50Lと、右眼用ズームエキスパンダ50Rとを含んでいる。左眼用ズームエキスパンダ50Lの構成は、右眼用ズームエキスパンダ50Rの構成と同様である。幾つかの態様では、左眼用ズームエキスパンダ50L及び右眼用ズームエキスパンダ50Rは、互いに独立に光学配置の変更が可能であってよい。
【0070】
左眼用ズームエキスパンダ50Lは、複数のズームレンズ51L、52L及び53Lを含む。複数のズームレンズ51L、52L及び53Lの少なくとも1つは、変倍機構(不図示)によって光軸方向に移動可能である。
【0071】
同様に、右眼用ズームエキスパンダ50Rは、複数のズームレンズ51R、52R及び53Rを含んでおり、複数のズームレンズ51R、52R、53Rの少なくとも1つは、変倍機構(不図示)によって光軸方向に移動可能である。
【0072】
変倍機構は、左眼用ズームエキスパンダ50Lの各ズームレンズ及び右眼用ズームエキスパンダ50Rの各ズームレンズを独立に又は一体的に光軸方向に移動するように構成されてよい。それにより、被検眼を撮影する際の拡大倍率が変更される。幾つかの態様では、後述の制御部(200)の制御の下に変倍機構が動作する。
【0073】
撮像カメラ60は、観察光学系40により形成される像を撮影してデジタル画像データを生成するデバイスであり、典型的にはデジタルカメラ(デジタルビデオカメラ)である。撮像カメラ60は、左眼用撮像カメラ60Lと、右眼用撮像カメラ60Rとを含んでいる。左眼用撮像カメラ60Lの構成は、右眼用撮像カメラ60Rの構成と同様である。幾つかの態様では、左眼用撮像カメラ60L及び右眼用撮像カメラ60Rは、互いに独立に光学配置の変更が可能である。
【0074】
左眼用撮像カメラ60Lは、結像レンズ61Lと、撮像素子62Lとを含んでいる。結像レンズ61Lは、左眼用ズームエキスパンダ50Lを通過した戻り光に基づく像を撮像素子62Lの撮像面に形成する。撮像素子62Lは、エリアセンサであり、典型的には電荷結合素子(CCD)イメージセンサ又は相補型金属酸化膜半導体(CMOS)イメージセンサであってよい。撮像素子62Lは、後述の制御部(200)の制御の下に動作する。
【0075】
右眼用撮像カメラ60Rは、結像レンズ61Rと、撮像素子62Rとを含んでいる。結像レンズ61Rは、右眼用ズームエキスパンダ50Rを通過した戻り光に基づく像を撮像素子62Lの撮像面に形成する。撮像素子62Rは、エリアセンサであり、典型的にはCCDイメージセンサ又はCMOSイメージセンサであってよい。撮像素子62Rは、後述の制御部(200)の制御の下に動作する。
【0076】
<処理系>
眼科観察装置1の処理系について説明する。処理系の幾つかの構成例を
図3~
図10に示す。以下に説明される複数の構成例のうちの任意の2つ以上を少なくとも部分的に組み合わせることができる。なお、処理系の構成はこれらの例に限定されない。
【0077】
制御部200は、眼科観察装置1の各部の制御を行う。制御部200は、主制御部201と記憶部202とを含む。主制御部201は、プロセッサを含み、眼科観察装置1の各部を制御する。例えば、プロセッサは、本態様に係る機能を実現するために、記憶部202又は他の記憶装置に格納されているプログラムを読み出し実行することができ、また、記憶部202又は他の記憶装置に格納されているデータや情報を利用(参照、加工、演算など)することができる。
【0078】
主制御部201は、照明光学系30の光源31LA、31RA及び32A、観察光学系40の撮像素子62L及び62R、移動機構31d及び32d、変倍機構50Ld及び50Rd、操作装置2、表示装置3などの制御を行うことができる。
【0079】
光源31LAの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。光源31RAの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。主制御部201は、光源31LA及び31RAに対して互いに排他的に制御を行うことができる。光源32Aの制御には、光源の点灯、消灯、光量調整、絞りの調整などがある。
【0080】
照明光学系30が色温度を変更可能な光源を含む場合、主制御部201は、この光源を制御することによって、出力される照明光の色温度を変更することができる。
【0081】
撮像素子62Lの制御には、露光調整、ゲイン調整、撮影レート調整などがある。撮像素子62Rの制御には、露光調整、ゲイン調整、撮影レート調整などがある。また、主制御部201は、撮像素子62L、62Rの撮影タイミングが一致するように、又は両者の撮影タイミングの差が所定時間以内になるように、撮像素子62L及び62Rを制御することができる。更に、主制御部201は、撮像素子62L及び62Rにより得られたデジタルデータの読み出し制御を行うことができる。
【0082】
移動機構31dは、対物レンズ20の光軸に交差する方向に光源31LA及び31RAを独立に又は一体的に移動する。主制御部201は、移動機構31dを制御することにより、対物レンズ20の光軸に対して光軸OL及びORを独立に又は一体的に移動することができる。
【0083】
移動機構32dは、対物レンズ20の光軸に交差する方向に光源32Aを独立に又は一体的に移動する。主制御部201は、移動機構32dを制御することにより、対物レンズ20の光軸に対して光軸OSを移動することができる。
【0084】
幾つかの態様では、主制御部201は、移動機構31d及び32dを連係的に制御することができる。
【0085】
変倍機構50Ldは、左眼用ズームエキスパンダ50Lの複数のズームレンズ51L~53Lの少なくとも1つを光軸方向に移動する。主制御部201は、変倍機構50Ldを制御することによって左眼用観察光学系40Lの拡大倍率を変更することができる。
【0086】
同様に、変倍機構50Rdは、右眼用ズームエキスパンダ50Rの複数のズームレンズ51R~53Rの少なくとも1つを光軸方向に移動する。主制御部201は、変倍機構50Rdを制御することによって右眼用観察光学系40Rの拡大倍率を変更することができる。
【0087】
操作装置2に対する制御には、操作許可制御、操作禁止制御、操作装置2からの操作信号の送信制御及び/又は受信制御などがある。主制御部201は、操作装置2により生成された操作信号を受信し、この受信信号に対応する制御を実行する。
【0088】
表示装置3に対する制御には、情報表示制御などがある。主制御部201は、表示制御部として、撮像素子62L及び62Rにより生成されたデジタル画像データに基づく画像を表示装置3に表示させることができる。典型的には、撮像素子62L及び62Rにより生成されたデジタル画像データ(映像信号)に基づく動画像(映像)を表示装置3に表示させることができ、また、この動画像に含まれる静止画像(フレーム)を表示装置3に表示させることができる。更に、主制御部201は、撮像素子62L及び62Rにより生成されたデジタル画像データを加工して得られた画像(動画像、静止画像など)を表示装置3に表示させることができる。また、主制御部201は、眼科観察装置1により生成された任意の情報や、眼科観察装置1が外部から取得した任意の情報を表示装置3に表示させることができる。
【0089】
また、主制御部201は、表示制御部として、撮像素子62Lによって生成されたデジタル画像データから左眼用画像を作成するとともに撮像素子62Rによって生成されたデジタル画像データから右眼用画像を作成し、作成された左眼用画像及び右眼用画像を立体視可能な態様で表示装置3に表示させることができる。例えば、主制御部201は、左眼用画像及び右眼用画像から左右一対の視差画像を作成し、この一対の視差画像を表示装置3に表示させることができる。ユーザー(術者など)は、公知の立体視手法を利用して一対の視差画像を立体画像として認識することができる。本態様に適用可能な立体視手法は任意であってよく、例えば、裸眼での立体視手法、補助器具(偏光眼鏡など)を用いた立体視手法、左眼用画像及び右眼用画像に対する画像処理(画像合成、レンダリングなど)を利用した立体視手法、一対の視差画像を同時に表示させる立体視手法、一対の視差画像を切り換え表示させる立体視手法、及び、これらのうちの2つ以上を組み合わせた立体視手法のうちのいずれかであってよい。
【0090】
データ処理部210は、各種のデータ処理を実行する。データ処理部210が実行可能な処理については、幾つかの例を以下に説明する。
【0091】
<処理系の詳細例>
データ処理部210が実行可能な処理の幾つかの例について、関連する要素とともに説明する。
図4~
図10のそれぞれは、データ処理部210(及び関連要素)の構成例を示している。
図4~
図10に示す構成例のうちの任意の2つ以上を少なくとも部分的に組み合わせることが可能である。データ処理部210(その各要素)は、所定のソフトウェア(プログラム)にしたがって動作するプロセッサを含んでおり、ハードウェアとソフトウェアとの協働によって実現される。
【0092】
図4に示すデータ処理部210Aは、
図3のデータ処理部210の例である。本例のデータ処理部210Aは、画像処理部211を含んでいる。画像処理部211は、手術用顕微鏡10により生成された被検眼の動画像(第1動画像、映像)に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた画像処理(第1画像処理)をそれぞれ適用する。これにより、この静止画像に基づく複数の加工画像を作成する。画像処理部211による加工画像作成処理は、手術用顕微鏡10による被検眼の動画撮影と並行して実行されてよい。
【0093】
第1画像処理において用いられる画像パラメータの種類は任意であってよい。例えば、画像パラメータは、以下に例示する種類のパラメータのうちの1つ以上を含んでいてよい:色調パラメータ(色調変換のためのパラメータ);明度パラメータ(明度変換のためのパラメータ);コントラストパラメータ(コントラスト変換のためのパラメータ);ゲインパラメータ(ゲイン変更のためのパラメータ);ガンマパラメータ(ガンマ補正(画像の階調の応答特性の補正)のためのパラメータ);色温度パラメータ(色温度変換のためのパラメータ);ホワイトバランスパラメータ(ホワイトバランス変換のためのパラメータ);RGBバランスパラメータ(R値とG値とB値との間のバランス変換のためのパラメータ);グレイバランスパラメータ(グレイバランス変換のためのパラメータ);エッジ強調パラメータ(エッジ強調のためのパラメータ);影強調パラメータ(影強調のためのパラメータ);鮮鋭化パラメータ(鮮鋭化(シャープニング)のためのパラメータ);ハイダイナミックレンジパラメータ(HDR合成のためのパラメータ)。本例に適用可能な画像パラメータは、ここに例示した種類に限定されるものではなく、より一般に、画像の見え方を変化させるために使用可能な任意のパラメータ(例えば、表示制御用パラメータ、画像表現用パラメータ、画像補正用パラメータ、画像調整用パラメータなど)であってよい。
【0094】
第1画像処理において、画像処理部211は、1つの画像パラメータの異なる複数の値を用いた複数の画像処理のそれぞれを第1動画像に含まれる静止画像に対して適用することができる。例えば、画像処理部211は、色調パラメータのN個の値を用いたN個の画像処理(色調変換)のそれぞれを静止画像に対して適用することができる(Nは、2以上の整数)。これにより、異なる色調で表現されたN個の加工画像が作成される。色調パラメータ以外の画像パラメータを用いる場合においても同様である。
【0095】
また、第1画像処理において、画像処理部211は、2つの画像パラメータのそれぞれの異なる複数の値の組み合わせを用いた複数の画像処理のそれぞれを第1動画像に含まれる静止画像に対して適用することができる。例えば、画像処理部211は、色調パラメータのN個の値と明度パラメータのM個の値との組み合わせからなるN×M個の画像処理(色調変換及び明度変換)のそれぞれを静止画像に対して適用することができる(N及びMのそれぞれは、2以上の整数)。これにより、色調と明度との異なる組み合わせで表現されたN×M個の加工画像が作成される。色調パラメータと明度パラメータとの組み合わせ以外の組み合わせを用いる場合においても同様である。また、組み合わせられる画像パラメータの個数は2個以上の任意の個数であってよい。また、各画像パラメータについて準備された複数の値の全てを利用する必要はない。例えば、色調パラメータのN個の値と明度パラメータのM個の値とが準備される場合において、色調パラメータのN1個の値と明度パラメータのM1個の値との組み合わせを考慮することができる。ここで、N1≦N且つM1≦Mであり、更に、N1<N及び/又はM1<Mである。
【0096】
このようにして作成された複数の加工画像は、主制御部201によって表示装置3に表示される。ここで、主制御部201は、画像処理部211により作成された複数の加工画像そのものを表示装置3に表示させてもよいし、これら加工画像のサムネイル(縮小画像)を表示装置3に表示させてもよい。
【0097】
複数の加工画像を表示させる態様は任意であってよい。幾つかの態様において、主制御部201は、複数の加工画像のうちの2つ以上の加工画像(又はそれらのサムネイル)を並べて表示させることができる。ここで、主制御部201は、複数の加工画像から選択された第1の群を並列表示させる処理と、所定のトリガーに対応して第1の群の並列表示から第2の群の並列表示に切り替える処理とを実行するようにしてもよい。並列表示される群を切り替えるためのトリガーは、手動又は自動で発行される。
【0098】
また、幾つかの態様において、主制御部201は、複数の加工画像のうちの2つ以上の加工画像(又はそれらのサムネイル)を順次に表示させることができる。表示される加工画像の切り替えは、手動又は自動で行われる。
【0099】
サムネイルが表示される場合、主制御部201(又は、画像処理部211若しくはデータ処理部210A)は、第1画像処理により作成された加工画像からそのサムネイルを作成する処理を実行する。
【0100】
ユーザー(例えば、術者、術者の指示を受けた助手など)は、表示装置3に表示された複数の加工画像(又はそのサムネイル)のうちから所望のものを選択することができる。
【0101】
選択される加工画像の枚数は任意であってよい。1枚の加工画像が選択された場合、その加工画像が以降の処理に供される。2枚以上の加工画像が選択された場合、それらの全て又は一部が以降の処理に供される。例えば、画像処理部211A(又はデータ処理部210A)が、所定のアルゴリズムにしたがって、選択された2枚以上の加工画像のうちから1枚を選択するように構成されていてよい。
【0102】
眼科観察装置1は、加工画像を選択するためのユーザーの指示を受け付ける要素(指示受付部)を有する。指示受付部として機能する要素は任意であってよい。例えば、ユーザーは、操作装置2を用いて指示を行うことができる。幾つかの態様では、指示受付部は、音声による指示を検知し認識する音声認識部、視線による指示を検知し認識する視線認識部、脳波による指示を検知し認識する脳波認識部、指差しによる指示を検知し認識する指差し認識部、任意の生体信号による指示を検知し認識する生体信号認識部などを含んでいてよい。
【0103】
ユーザーが加工画像の選択を行うと、眼科観察装置1は、選択された加工画像に基づく処理を実行する。この処理の幾つかの例を以下に説明する。
【0104】
図5に示す構成例について説明する。
図5に示す画像処理部211Aは、
図4の画像処理部211の例である。本例の画像処理部211Aは、加工画像作成部2111と動画像処理部2112とを含んでいる。
【0105】
加工画像作成部2111は、例えば、
図4を参照して説明した上記処理の少なくとも一部を実行する。
【0106】
動画像処理部2112は、表示装置3に表示された複数の加工画像のうちからユーザーが選択した加工画像に基づいて動画像を処理する。例えば、動画像処理部2112は、まず、ユーザーが選択した加工画像に対応する画像パラメータを取得する。つまり、動画像処理部2112は、ユーザーが選択した加工画像を作成するための第1画像処理に用いられた画像パラメータの値を取得する。次に、動画像処理部2112は、この画像パラメータの値に基づく画像処理(第2画像処理)を動画像に対して適用する。第2画像処理が適用される動画像は、少なくとも、ユーザーによる加工画像の選択が行われた後に手術用顕微鏡10により生成される動画像(第2動画像と呼ぶ)である。これにより、ユーザーが選択した加工画像と同じ画像処理が施された動画像が得られる。なお、ユーザーによる加工画像の選択よりも前に取得された動画像(第1動画像)に含まれる1枚以上の静止画像が保存されている場合、この1枚以上の静止画像の少なくとも一部に対して同じ画像処理を適用することができる。
【0107】
主制御部201は、第2画像処理が適用された第2動画像を表示装置3に表示させる。典型的には、眼科観察装置1は、手術用顕微鏡10によって被検眼の動画撮影を行いつつ、この動画撮影により取得される動画像(第2動画像)に対する第2画像処理のリアルタイム適用と、この第2画像処理が施された動画像のリアルタイム表示とを実行することができる。これにより、ユーザーは、自身が選択した加工画像と同じ画像パラメータの値を用いた画像処理が適用された動画像をリアルタイムで観察することができる。
【0108】
前述したように、ユーザーにより選択される加工画像の枚数は任意であってよい。例えば、選択された加工画像の枚数が1枚である場合、動画像処理部2112は、選択された1枚の加工画像に対応する画像パラメータの値(1つの値)を用いた画像処理を第2画像処理として第2動画像に適用することができる。
【0109】
他方、選択された加工画像の枚数が2枚以上である場合、動画像処理部2112は、選択された2枚以上の加工画像のうちから1枚の加工画像を選択し、この1枚の加工画像に対応する画像パラメータの値(1つの値)を用いた画像処理を第2画像処理として第2動画像に適用することができる。或いは、動画像処理部2112は、選択された2枚以上の加工画像に対応する画像パラメータの2つ以上の値のうちから1つの値を選択し、この1つの値を用いた画像処理を第2画像処理として第2動画像に適用することができる。動画像処理部2112が実行するこれらの選択処理は、所定のアルゴリズムにしたがって実行される。例えば、動画像処理部2112は、ユーザーが選択した2枚以上の加工画像を解析して所定の画質評価値を算出し、最適な画質評価値を有する1枚の加工画像を選択するように構成されていてよい。或いは、2つ以上の画像パラメータが第1画像処理において用いられた場合において、動画像処理部2112は、予め設定された画像パラメータ間の優先順位を参照して加工画像の選択又は画像パラメータ値の選択を行うように構成されていてよい。この場合、例えば、動画像処理部2112は、最も優先順位の高い画像パラメータの複数の値のうちから最適な値(例えば、最も高いコントラスト値)を選択するように構成される。
【0110】
選択された加工画像の枚数が2枚以上である場合における他の態様において、動画像処理部2112は、選択された2枚以上の加工画像にそれぞれ対応する画像パラメータの2つ以上の値に基づき1つの値を決定し、この1つの値を用いた画像処理を第2画像処理として第2動画像に適用することができる。2つ以上の値から1つの値を決定する演算処理は任意であってよく、例えば統計演算であってよい。この統計演算により得られる統計値は、例えば、平均値、中央値、最大値、最小値など、任意の種類の統計値であってよい。また、適用される演算処理は、予め設定されていてもよいし、処理毎に設定されてもよい。後者の例として、動画像処理部2112は、第1画像処理に用いられた画像パラメータの種類、ユーザーにより選択された加工画像の枚数、手術用顕微鏡10により取得された画像の種類、医療行為(本例では手術)のフェーズなど、任意の1つ以上のファクターに基づいて、適用される演算処理(統計演算)の種類を決定することができる。
【0111】
次に
図6を参照する。
図6に示すデータ処理部210Bは、
図3のデータ処理部210の例である。本例のデータ処理部210Bは、画像処理部211とパラメータ処理部212とを含んでいる。
【0112】
画像処理部211は、前述した画像処理部211又は画像処理部211Aと同様の処理を実行するように構成されていてよい。
【0113】
パラメータ処理部212は、画像パラメータに関する処理を実行する。画像処理部211は、パラメータ処理部212からの出力を利用して処理を行うことができる。例えば、パラメータ処理部212は、動画像処理部2112による第2画像処理で用いられた画像パラメータの値を記録するように構成され(記録部)、画像処理部211は、パラメータ処理部212により記録された画像パラメータの値を用いて新たな画像処理(例えば、新たな第1画像処理、新たな第2画像処理)を実行するように構成される。なお、記録部としてのパラメータ処理部212は、第2画像処理に用いられた画像パラメータの値のみを記録するように構成されてもよいし、これ以外の値も記録するように構成されてもよい。後者の例として、記録部としてのパラメータ処理部212は、ユーザーが選択した各加工画像に対応する画像パラメータの値を記録してもよいし、ユーザーが選択した複数の加工画像の一部に対応する画像パラメータの1つ以上の値を記録してもよいし、手動で調整された画像パラメータの値を記録してもよい。
【0114】
パラメータ処理部212の構成及びそれを用いて実行される処理については、幾つかの例を以下に説明する。
【0115】
図7に示すパラメータ処理部212Aは、
図6のパラメータ処理部212の例である。パラメータ処理部212Aは、パラメータ記録部2121とパラメータ選択部2122とを含んでいる。本例のパラメータ処理部212Aが採用される場合、眼科観察装置1は、識別子受付部221及び属性情報取得部222を有していてよい。なお、幾つかの態様では、眼科観察装置1は、識別子受付部221及び属性情報取得部222のいずれか一方のみを備えていてよい。
【0116】
識別子受付部221は、ユーザーの識別子(ユーザーID)を受け付ける。このユーザーは、典型的には術者である。また、ユーザーIDは、例えば、当該医療機関において術者(医師)に割り当てられた文字列又は画像(例えば、バーコード、2次元バーコードなど)、術者の氏名、術者の生体情報(例えば、顔、指紋、掌紋、虹彩パターン、声など)などによって表現されてよい。
【0117】
識別子受付部221は、このようなユーザーIDを受け付けるための任意のデバイス(ハードウェア、ソフトウェア)を含んでいてよく、例えば、操作装置2、カメラ、バーコードスキャナ、生体情報スキャナ、マイクロフォン、プロセッサなどを含んでいてよい。
【0118】
パラメータ記録部2121は、前述した記録部として機能し、識別子受付部221により受け付けられたユーザーIDに関連付けて画像パラメータの値を記録する。これにより、どのユーザーがどの画像パラメータの値を選択したかを特定することが可能になる。例えば、ユーザーIDを検索クエリとして画像パラメータの値を検索することが可能になる。
【0119】
属性情報取得部222は、被検眼に対する医療行為の属性を示す属性情報を取得する。つまり、属性情報取得部222は、眼科観察装置1を用いて被検眼に対して行われている医療行為(本例では手術)に関する各種属性を示す属性情報を取得する。
【0120】
手術の属性としては、手術部位に応じた手術の種類(例えば、前眼部手術、後眼部手術、角膜手術、隅角手術、毛様体手術、網膜手術、硝子体手術など)や、疾患に応じた手術の種類(例えば、白内障手術、緑内障手術、角膜移植手術、網膜細胞移植手術、網膜剥離手術、レーザー光凝固など)などがある。手術以外の医療行為(例えば、検査、治療、スクリーニングなど)についても同様である。
【0121】
医療行為の属性は、医療行為の種類に限定されるものではない。例えば、属性情報は、手術の複数のフェーズを示す情報を含んでいてよい。例えば、白内障手術のフェーズには、アライメント、創口作成、眼粘弾剤注入、CCC、水晶体乳化吸引、水晶体皮質吸引、IOL挿入、IOLセンタリング、眼粘弾剤除去、創口閉鎖などがある。このような手術フェーズを示す情報を属性情報に含めることができる。なお、属性情報に含まれるフェーズは、予め設定されていてもよいし、術者が決定してもよい。また、同じ画像パラメータの値が適用される2つ以上のフェーズをひとまとめ(フェーズ群)にしてもよい。
【0122】
属性情報は、例えば、当該医療機関において医療行為に割り当てられた文字列又は画像(例えば、バーコード、2次元バーコードなど)、医療行為の名称などによって表現されてよい。
【0123】
属性情報取得部222は、このような属性情報を受け付けるための任意のデバイス(ハードウェア、ソフトウェア)を含んでいてよく、例えば、操作装置2、カメラ、バーコードスキャナ、生体情報スキャナ、マイクロフォン、プロセッサなどを含んでいてよい。
【0124】
また、属性情報取得部222は、手術用顕微鏡10により生成される画像(映像)、操作装置2を用いて行われている操作、表示装置3に表示されている画像などを解析することによって、現在のフェーズを自動で特定するように構成されてもよい。また、手術の手順が予め決まっている場合、属性情報取得部222は、現段階までに行われた工程を参照することによって、現在のフェーズを自動で特定するように構成されてもよい。
【0125】
主制御部201は、属性情報取得部222により自動で特定されたフェーズを示す情報を表示装置3に表示させることができる。ユーザーは、表示された情報が正しいか否か判断し、この判断の結果を操作装置2などを用いて入力することができる。このような構成によれば、属性情報取得部222が自動で特定したフェーズを確認することができるため、誤ったフェーズが記録されることを防止することが可能になる。
【0126】
記録部としてのパラメータ記録部2121は、属性情報取得部222により取得された属性情報に関連付けて画像パラメータの値を記録する。これにより、どの医療行為(種類、フェーズなど)においてどの画像パラメータの値をユーザーが選択したかを特定することが可能になる。例えば、手術の種類やフェーズを検索クエリとして画像パラメータの値を検索することが可能になる。また、属性情報は、疾患の進行度、医療行為を行った日付、術者の熟練度などの任意の情報を含んでいてもよい。
【0127】
識別子受付部221及び属性情報取得部222の双方が設けられている場合、記録部としてのパラメータ記録部2121は、識別子受付部221により受け付けられたユーザーIDと、属性情報取得部222により取得された属性情報との双方に関連付けて、画像パラメータの値を記録することができる。これにより、どのユーザーがどの医療行為(種類、フェーズなど)においてどの画像パラメータの値を選択したかを特定することが可能になる。例えば、ユーザーID及び/又は手術の種類やフェーズを検索クエリとして画像パラメータの値を検索することが可能になる。
【0128】
パラメータ選択部2122は、パラメータ記録部2121によって過去に記録された画像パラメータの値のうちから少なくとも1つの値を選択する。例えば、パラメータ選択部2122は、前述した検索クエリによって、画像パラメータの値の選択を実行することができる。
【0129】
画像処理部211(211A)は、パラメータ選択部2122によって選択された画像パラメータの値に基づく画像処理を、手術用顕微鏡10により生成された動画像(第3動画像)に対して適用することができる。第3動画像は、任意の動画像であってよく、例えば、前述した第2動画像、同じ被検者に対する別の医療行為で取得されている動画像、他の被検者に対する医療行為で取得されている動画像などであってよい。
【0130】
ユーザーIDを検索クエリとして画像パラメータの値が選択される場合、そのユーザー(術者など)が過去に使用した画像パラメータの値を用いた画像処理を第3動画像に適用できるため、そのユーザーの好みの表示態様(色合い、明るさ、コントラストなど)の第3動画像を容易に提供することが可能となる。
【0131】
医療行為の属性情報を検索クエリとして画像パラメータの値が選択される場合、医療行為の種類やフェーズなどに応じて過去に使用された画像パラメータの値を用いた画像処理を第3動画像に適用できるため、医療行為の種類やフェーズに合った表示態様(色合い、明るさ、コントラストなど)の第3動画像を容易に提供することが可能となる。
【0132】
図8に示すパラメータ処理部212Bは、
図6のパラメータ処理部212の例である。パラメータ処理部212Bは、
図7のパラメータ処理部212Aと同様にパラメータ記録部2121及びパラメータ選択部2122を含むとともに、撮影条件記録部2123、撮影条件選択部2124、及びパラメータ決定部2125を更に含んでいる。パラメータ記録部2121及びパラメータ選択部2122の構成及び動作は、
図7の場合と同様であってよく、その説明は省略する。
【0133】
本例のパラメータ処理部212Bが採用される場合においても、眼科観察装置1は、識別子受付部221及び属性情報取得部222を含んでいてよい。なお、幾つかの態様では、眼科観察装置1は、識別子受付部221及び属性情報取得部222のいずれか一方のみを備えていてよい。識別子受付部221及び属性情報取得部222の構成及び動作は、
図7の場合と同様であってよく、その説明は省略する。
【0134】
撮影条件記録部2123は、手術用顕微鏡10により第2動画像が生成されたときの撮影条件を、パラメータ記録部2121により記録される画像パラメータの値に関連付けて記録する。本例では、パラメータ記録部2121と撮影条件記録部2123との組み合わせが記録部として機能している。
【0135】
撮影条件は、例えば、照明条件、観察条件、環境条件、被検眼条件などを含んでいてよい。照明条件は、照明光学系30の要素に関する条件を含み、その例として、光量(光源31LA、31RA及び32Aからの出力光量、出力強度)、絞りの絞り値、照明モード(0度照明、角度付き照明など)などがある。観察条件は、観察光学系40の要素に関する条件であり、その例として、絞りの絞り値、拡大倍率、撮像素子62L及び62Rの制御値(ゲインなど)などがある。環境条件は、撮影時の環境に関する条件を含み、その例として、手術用顕微鏡10が設置されている部屋の明るさなどがある。被検眼条件は、被検眼に関する条件を含み、その例として、疾患の有無、罹患している疾患の種類や程度、瞳孔径、部位(角膜、水晶体、硝子体など)の混濁の程度などがある。
【0136】
本例では、パラメータ記録部2121及び撮影条件記録部2123の双方によって情報が記録されるので、
図7の例で考慮した情報に加えて撮影条件も考慮することができる。
【0137】
撮影条件選択部2124は、パラメータ選択部2122によって選択された画像パラメータの値に関連付けられた撮影条件を、撮影条件記録部2123により過去に記録された撮影条件のうちから選択する。これにより、パラメータ選択部2122によって選択された画像パラメータの値に加えて、この画像パラメータの値に関連付けられた撮影条件も取得することができる。
【0138】
パラメータ決定部2125は、パラメータ選択部2122によって選択された画像パラメータの値と、撮影条件選択部2124によって選択された撮影条件とに基づいて、画像パラメータの値を決定する。
【0139】
照明条件や観察条件のように手術用顕微鏡10における制御可能な条件については、主制御部201は、選択された撮影条件に基づいて手術用顕微鏡10(照明光学系30、観察光学系40など)を制御することができる。例えば、主制御部201は、選択された撮影条件を再現するように手術用顕微鏡10の制御を行うことができる。これにより、パラメータ選択部2122によって選択された画像パラメータの値が適用されたときの画像の表示態様の再現を図ることが可能となる。
【0140】
手術用顕微鏡10における制御可能な条件以外の撮影条件(環境条件、被検眼条件など)については、例えば、パラメータ決定部2125は、それぞれ選択された画像パラメータの値及び撮影条件に基づく処理を実行する。この処理は、所定のアルゴリズムに基づく演算処理であってよい。
【0141】
幾つかの態様では、撮影条件(環境条件、被検眼条件など)の変化と画像パラメータの値との間の対応関係(グラフ、テーブルなど)を事前に準備しておく。パラメータ決定部2125は、現在の撮影条件と選択された撮影条件とを比較し、この比較結果(撮影条件の変化量など)と当該対応関係とに基づいて画像パラメータの値を決定することができる。
【0142】
幾つかの態様では、上記対応関係を準備する代わりに、撮影条件(環境条件、被検眼条件など)の変化と画像パラメータの値との間の関係を、機械学習を用いて学習したシステム(人工知能エンジン)が用いられる。この人工知能エンジンは、例えば、撮影条件と画像パラメータの値とを入力とし、画像パラメータの新たな値を出力とした機械学習によって構築されたニューラルネットワークを含む。この人工知能エンジンは、例えば、与えられた画像パラメータの値に基づいて、撮影条件の変化に応じた最適な画像パラメータの値を出力するように訓練されている。パラメータ決定部2125は、このような人工知能エンジンを含み、それぞれ選択された画像パラメータの値及び撮影条件をこの人工知能エンジンに入力する。この人工知能エンジンから出力された画像パラメータの値が、パラメータ決定部2125により得られる結果となる。
【0143】
画像処理部211(211A)は、パラメータ決定部2125により決定された画像パラメータの値を用いた画像処理を、手術用顕微鏡10により生成された動画像(第3動画像)に対して適用することができる。前述したように、第3動画像は、任意の動画像であってよく、例えば、前述した第2動画像、同じ被検者に対する別の医療行為で取得されている動画像、他の被検者に対する医療行為で取得されている動画像などであってよい。
【0144】
本例によれば、撮影条件の違いに応じて画像パラメータの値を調整(補正)することができるので、撮影条件の違いにかかわらず、以前に達成された良好な表示態様(色合い、明るさ、コントラストなど)に近い態様で表現された第3動画像を容易に提供することが可能となる。
【0145】
次に、
図9に示す例を説明する。本例では、動画像に含まれる静止画像(フレーム)の一部にのみ画像処理を適用することによって、画像処理に掛かるリソースの低減や時間の短縮を図るとともに、被検眼の観察における注目部位の像の品質の最適化を図る。
【0146】
図9に示す画像処理部211Bは、手術用顕微鏡10により生成された第1動画像に含まれる静止画像の一部(部分画像)に対して第1画像処理を適用することによって、複数の加工部分画像を作成する。本例では、複数の加工部分画像が複数の加工画像として扱われる。主制御部201は、作成された複数の加工部分画像をそれぞれ含む複数の画像を表示装置3に表示させる。表示される各画像は、対応する加工部分画像であってもよいし、対応する加工部分画像を含むより広域の画像であってもよい。この広域画像は、例えば、対応する静止画像における部分画像を加工部分画像に置き換えた画像であってよい。このように、複数の加工部分画像を表示させることによって、ユーザーは、注目部位が最も良好に描出された加工部分画像を選択することができる。
【0147】
図9に示す画像処理部211Bは、
図4の画像処理部211の例である。本例の画像処理部211Bは、
図5の画像処理部211Aと同様に、加工画像作成部2111と動画像処理部2112とを含んでいる。本例の加工画像作成部2111及び動画像処理部2112は、特に言及しない限り、それぞれ、
図5の例における加工画像作成部2111及び動画像処理部2112と同様であってよい。
【0148】
画像処理部211Bは、部分画像特定部2113Aを更に含んでいる。部分画像特定部2113Aは、被検眼の所定部位の像を特定するためのセグメンテーションを、第1動画像に含まれる静止画像に適用することによって、この静止画像における部分画像を特定する。一般に、セグメンテーションは、画像中の部分領域を特定する処理である。セグメンテーションは、任意の公知の画像処理技術を含んでいてよく、例えば、エッジ検出などの画像処理、及び/又は、機械学習(例えば、深層学習)を利用したセグメンテーションを含んでいてよい。
【0149】
本例の加工画像作成部2111は、部分画像特定部2113Aによって特定された部分画像に対して第1画像処理を適用する。つまり、本例の加工画像作成部2111による第1画像処理の適用範囲は、部分画像特定部2113Aによって特定された部分画像に限定されている。
【0150】
更に、部分画像特定部2113Aは、ユーザーが加工画像の選択を行った後に手術用顕微鏡10により生成される第2動画像に対しても、同様のセグメンテーションを適用することができる。より具体的には、部分画像特定部2113Aは、まず、第2動画像に含まれる各静止画像(又は、間引き処理などにより選択された静止画像のそれぞれ(以下同様))に対して、同じ注目部位の像を特定するためのセグメンテーションを適用する。
【0151】
幾つかの態様では、第2動画像に含まれる静止画像に対するセグメンテーションは、第1動画像に含まれる静止画像に対するセグメンテーションと同じ要領で実行されてよい。これにより、第2動画像に含まれる各静止画像から、同じ注目部位の像が特定される。
【0152】
幾つかの態様では、眼科観察装置1は、手術用顕微鏡10により生成される動画像を解析して被検眼の動きを監視する機能を備えている。部分画像特定部2113Aは、第1動画像に含まれる静止画像(セグメンテーションが適用されたもの。基準静止画像と呼ぶ。)が得られたときの被検眼の位置(基準位置と呼ぶ)を記憶している。また、部分画像特定部2113Aは、第1動画像に含まれる静止画像における部分画像の範囲(部分画像範囲)を示す情報を記憶している。第2動画像の生成が始まると、部分画像特定部2113Aには、第2動画像に含まれる各静止画像(対象静止画像と呼ぶ)と、この対象静止画像が得られたときの被検眼の位置(対象位置と呼ぶ)とが入力される。部分画像特定部2113Aは、基準位置に対する対象位置の偏位を求め、この偏位だけ部分画像範囲を移動することによって対象静止画像における部分画像の範囲を特定する。本例によれは、セグメンテーションが難しい部位(例えば、周囲との輝度や色の差が小さい部位、小さい部位など)であっても、(次々にフレームが得られる)第2動画像における部分画像のトラッキングをリアルタイムで行うことができる。
【0153】
このような処理を行う本例によれば、部分画像特定部2113Aは、第2動画像にセグメンテーションを適用することで、この第2動画像に含まれる静止画像の部分画像を逐次に特定することができる。更に、画像処理部210B(動画像処理部2112)は、第2動画像に含まれる静止画像から特定された部分画像に対して逐次に第2画像処理を適用することができる。それにより、ユーザーが選択した加工部分画像に適用された画像パラメータの値を第2動画像にも適用することができ、注目部位が好適に描出された第2動画像を観察することが可能となる。
【0154】
次に、
図10に示す例を説明する。
図9の例と同様に、本例では、動画像に含まれる静止画像(フレーム)の一部にのみ画像処理を適用することによって、画像処理に掛かるリソースの低減や時間の短縮を図るとともに、被検眼の観察における注目部位の像の品質の最適化を図る。
【0155】
図10に示す画像処理部211Cは、手術用顕微鏡10により生成された第1動画像に含まれる静止画像の一部(部分画像)に対して第1画像処理を適用することによって、複数の加工部分画像を作成する。本例では、複数の加工部分画像が複数の加工画像として扱われる。主制御部201は、作成された複数の加工部分画像をそれぞれ含む複数の画像を表示装置3に表示させる。表示される各画像は、対応する加工部分画像であってもよいし、対応する加工部分画像を含むより広域の画像であってもよい。この広域画像は、例えば、対応する静止画像における部分画像を加工部分画像に置き換えた画像であってよい。このように、複数の加工部分画像を表示させることによって、ユーザーは、注目部位が最も良好に描出された加工部分画像を選択することができる。このような点は、
図9の例と同様であるが、本例は、部分画像を特定する手法において
図9の例と相違している。
【0156】
図10に示す画像処理部211Cは、
図4の画像処理部211の例である。本例の画像処理部211Cは、
図5の画像処理部211Aと同様に、加工画像作成部2111と動画像処理部2112とを含んでいる。本例の加工画像作成部2111及び動画像処理部2112は、特に言及しない限り、それぞれ、
図5の例における加工画像作成部2111及び動画像処理部2112と同様であってよい。画像処理部211Cは、部分画像特定部2113Bを更に含んでいる。
【0157】
また、
図10に示す制御部200Aは、
図3の制御部200の例である。本例の制御部200Aは、
図3の制御部200と同様に、主制御部201及び記憶部202を含んでいる。本例の主制御部201及び記憶部202は、特に言及しない限り、それぞれ、
図3の例における主制御部201及び記憶部202と同様であってよい。制御部200Aは、グラフィカルユーザーインターフェイス(GUI)制御部203を更に含んでいる。
【0158】
主制御部201は、手術用顕微鏡10により生成される第1動画像(又は、この第1動画像に含まれる静止画像(以下同様))を表示装置3に表示させる。GUI制御部203は、この第1動画像における部分領域を指定するためのGUIを表示装置3に表示させる。このGUIは、例えば、注目部位に類似の形状及び寸法を有する図形の画像である。その一例として、注目部位は瞳孔であり、GUIは円形又は楕円形の画像である。ユーザーは、例えば操作装置2を用いることで、GUIの位置や寸法や形状を変更することができる。これにより、例えば、ユーザーは、第1動画像における瞳孔像の外縁にGUIを一致させることができる。注目部位の像に対するGUIの調整がなされたら、GUI制御部203は、第1動画像における被検眼の動きに合わせてGUIのトラッキングを行うことができる。部分画像特定部2113Bは、GUIにより特定された範囲(例えば、GUIにより囲まれた範囲(及びその周辺の所定範囲))を部分領域として特定する。
【0159】
本例の加工画像作成部2111は、部分画像特定部2113Bによって特定された部分画像に対して第1画像処理を適用する。つまり、本例の加工画像作成部2111による第1画像処理の適用範囲は、部分画像特定部2113Bによって特定された部分画像に限定されている。
【0160】
更に、部分画像特定部2113Bは、ユーザーが加工画像の選択を行った後に手術用顕微鏡10により生成される第2動画像における部分画像を、例えば上記トラッキングと同じ要領で特定することができる。
【0161】
このような処理を行う本例によれば、部分画像特定部2113Bは、第2動画像にセグメンテーションを適用することで、この第2動画像に含まれる静止画像において注目部位に対応する部分画像を逐次に特定することができる。更に、画像処理部210C(動画像処理部2112)は、第2動画像に含まれる静止画像から特定された部分画像に対して逐次に第2画像処理を適用することができる。それにより、ユーザーが選択した加工部分画像に適用された画像パラメータの値を第2動画像にも適用することができ、注目部位が好適に描出された第2動画像を観察することが可能となる。また、本例では、ユーザー自身が指定した範囲が部分画像に設定されるので、ユーザーの好みに応じた範囲をユーザーの好みに応じた態様で表現することが可能である。
【0162】
<動作・使用形態>
眼科観察装置1の動作及び使用形態について、幾つかの例を説明する。
【0163】
<第1の例>
眼科観察装置1の動作及び使用形態の第1の例について
図11~
図12Eを参照しつつ説明する。なお、前述した処理、動作及び使用形態のうちの任意の事項を本例に組み合わせることが可能である。
【0164】
(S1:ライブ画像の生成及び表示を開始)
まず、ユーザーは、操作装置2を用いて所定の操作を行うことで、眼科観察装置1による被検眼のライブ画像の生成及び表示を開始させる。具体的には、手術用顕微鏡10は、照明光学系30によって被検眼を照明しつつ撮像素子62L及び62Rによって被検眼のデジタル画像データ(映像)を生成する。生成された映像(ライブ画像301)は、表示装置3にリアルタイムで表示される(
図12Aを参照)。つまり、手術用顕微鏡10により取得される映像が表示装置3にライブ画像として表示される。ユーザーは、このライブ画像を観察しながら手術を行うことができる。このライブ画像は、前述した第1動画像に相当する。
【0165】
(S2:画像加工モードに移行)
次に、ユーザーは、操作装置2を用いて所定の操作を行うことで、眼科観察装置1の動作モードを画像加工モードに切り替える。画像加工モードは、眼科観察装置1により表示されるライブ画像を加工するための動作モードである。
【0166】
(S3:フレームをキャプチャ)
動作モードが画像加工モードに移行すると、眼科観察装置1は、ライブ画像のフレーム(静止画像)をキャプチャする。
【0167】
キャプチャされるフレームの枚数は任意である。1枚のフレームがキャプチャされた場合、このフレームが以下の処理に供される。2枚以上のフレームがキャプチャされた場合、眼科観察装置1(例えば、データ処理部210)は、これらのフレームから1枚のフレームを選択又は1枚の静止画像を生成することができる。例えば、眼科観察装置1は、キャプチャされた2枚以上のフレームの画質評価値を算出し、それらを比較することで1枚のフレームを選択することができる。他の例として、眼科観察装置1は、キャプチャされた2枚以上のフレームを表示装置3に表示させ、操作装置2を用いてユーザーが指定した1枚のフレームを選択することができる。更に他の例として、眼科観察装置1は、キャプチャされた2枚以上のフレームを所定の画像処理で合成することによって1枚のフレームを作成することができる。
【0168】
(S4:第1画像処理)
データ処理部210(画像処理部211、加工画像作成部2111)は、1以上の画像パラメータのそれぞれの異なる複数の値を用いた第1画像処理を、ステップS3でキャプチャされたフレームに対して適用する。これにより、キャプチャされたフレームに基づく複数の加工画像が作成される。
【0169】
図12Bに示す例では、ライブ画像301からキャプチャされたフレーム(静止画像)302に対して、第1画像処理に含まれるK個の画像処理のそれぞれが適用される。K個の画像処理には、I個(I種類)の画像パラメータが用いられる(Iは、1以上の整数)。また、各画像パラメータ(第iの画像パラメータ;i=1、・・・、I)について、J個の値が準備されている(Jは、2以上の整数)。なお、準備された値の個数Jは、全ての画像パラメータについて等しくてもよいし、異なってもよい。前者の場合、K=I×Jとなる。後者の場合、K=Σ[J(i)]となる。ここで、J(i)は第i番目の画像パラメータにおける値の個数を示し、Σはiに関する和である。第i番目の画像パラメータの第j番目の値をP(i、j)で示す。このような第1画像処理により、複数の加工画像303-kが得られる。ここで、k=1、・・・、Kであり、Kは2以上の整数である。
【0170】
ここで、主制御部201又はデータ処理部210は、複数の加工画像のそれぞれに対して、その加工画像の作成に用いられた画像パラメータの値(1つ以上の値)を関連付けて記録する。例えば、
図12Bの例では、各加工画像303-kに対して、この加工画像303-kの作成に用いられた1つ以上の画像パラメータの1つ以上の値P(i、j)が関連付けられる。このような加工画像と画像パラメータの値とを互いに関連付けた情報を関連情報と呼ぶ。
【0171】
(S5:加工画像のサムネイルを作成)
次に、データ処理部210(画像処理部211)は、ステップS4で作成された複数の加工画像のそれぞれのサムネイルを作成する。
【0172】
(S6:複数のサムネイルを表示)
次に、主制御部201は、ステップS5で作成された複数のサムネイルを表示装置3に表示させる。本例では、
図12Cに示すように、所定の配列に並べられた複数のサムネイル(サムネイル群)303がライブ画像301上に表示される。
【0173】
一度に表示されるサムネイルの個数は任意であり、例えば、ステップS5で作成された全てのサムネイルを一度に提示してもよいし、ステップS5で作成された全てのサムネイルの一部(例えば、所定の個数)を一度に提示してもよい。また、一度に提示されるサムネイルの個数を変更可能にしてもよい。ステップS5で作成された全てのサムネイルの一部のみが一度に提示される場合、提示されるサムネイルを切り替えるための操作を行うことができる。この操作は、例えば、ページ切り替え又はスクロールであってよい。
【0174】
(S7:サムネイルを選択)
ユーザーは、ステップS6で表示された複数のサムネイルを比較し、所望のサムネイルを選択する。この選択操作は、前述した指示受付部(例えば、操作装置2に含まれるフットスイッチ)を用いて行われる。
図12Dに示す例では、複数のサムネイル303のうちから1つのサムネイル304が選択されている。
【0175】
(S8:第2画像処理)
主制御部201又はデータ処理部210は、前述した関連情報を参照することにより、ステップS7で選択されたサムネイルに対応する加工画像に関連付けられた画像パラメータの値を特定する。
【0176】
更に、データ処理部210(画像処理部211、動画像処理部2112)は、特定された画像パラメータの値を用いて、手術用顕微鏡10により生成されているライブ画像をリアルタイムで加工する(第2画像処理)。リアルタイムで加工されたライブ画像は、主制御部201によって表示装置3にリアルタイムで表示される(エンド)。なお、この段階で生成及び表示されるライブ画像は、前述した第2動画像に相当する(
図12Eのライブ画像305)。
【0177】
ユーザーは、自身が選択した加工画像と同様の画像処理が適用されたライブ画像305を観察しながら手術を行うことができる。
【0178】
前述したパラメータ処理部212(記録部)が設けられている場合、過去に適用された画像パラメータの値を読み出して再度適用することができる。このとき、当該ユーザーが過去に採用した画像パラメータの値を選択的に読み出して再適用することや、現在実施している医療行為の属性(例えば、手術の種類)に合致した画像パラメータの値を選択的に読み出して再適用することができる。また、現在実施している医療行為のフェーズに合致した画像パラメータの値を選択的に読み出して再適用することや、当該医療行為の複数のフェーズにそれぞれ合致した複数の値を順次に再適用することができる。
【0179】
前眼部手術を行う場合には、画像パラメータとして、例えば、色調パラメータ、明度パラメータ、コントラストパラメータ、ゲインパラメータなどが使用される。これにより、ユーザーは、例えば白内障手術において、角膜、虹彩、瞳孔、水晶体などの部位を好みの表示態様で観察できるとともに、創口、サイドポート、CCCにおける前嚢切開箇所、水晶体の乳化状態・吸引状態、IOLの位置・向きなどを明確に把握することができる。また、このような好適な画像表示態様を簡便且つ迅速に実現することができる。
【0180】
硝子体手術や後眼部手術を行う場合には、画像パラメータとして、例えば、ガンマパラメータ、ゲインパラメータ、色温度パラメータ、ホワイトバランスパラメータ、RGBバランスパラメータなどが使用される。これにより、硝子体内の浮遊物、混濁、増殖膜などを強調表示することができ、手術の作業効率の改善や手術ミスの回避・低減を図ることが可能となる。
【0181】
<第2の例>
眼科観察装置1の動作及び使用形態の第2の例について
図13~
図14Gを参照しつつ説明する。なお、前述した処理、動作及び使用形態のうちの任意の事項を本例に組み合わせることが可能である。
【0182】
(S11:ライブ画像の生成及び表示を開始)
まず、ユーザーは、操作装置2を用いて所定の操作を行うことで、眼科観察装置1による被検眼のライブ画像の生成及び表示を開始させる。具体的には、手術用顕微鏡10は、照明光学系30によって被検眼を照明しつつ撮像素子62L及び62Rによって被検眼のデジタル画像データ(映像)を生成する。生成された映像(ライブ画像401)は、表示装置3にリアルタイムで表示される(
図14Aを参照)。つまり、手術用顕微鏡10により取得される映像が表示装置3にライブ画像として表示される。ユーザーは、このライブ画像を観察しながら手術を行うことができる。このライブ画像は、前述した第1動画像に相当する。
【0183】
(S12:画像加工モードに移行)
次に、ユーザーは、操作装置2を用いて所定の操作を行うことで、眼科観察装置1の動作モードを画像加工モードに切り替える。画像加工モードは、眼科観察装置1により表示されるライブ画像を加工するための動作モードである。
【0184】
(S13:フレームをキャプチャ)
動作モードが画像加工モードに移行すると、眼科観察装置1は、ライブ画像のフレーム(静止画像)をキャプチャする。
【0185】
キャプチャされるフレームの枚数は任意である。1枚のフレームがキャプチャされた場合、このフレームが以下の処理に供される。2枚以上のフレームがキャプチャされた場合、眼科観察装置1(例えば、データ処理部210)は、これらのフレームから1枚のフレームを選択又は1枚の静止画像を生成することができる。例えば、眼科観察装置1は、キャプチャされた2枚以上のフレームの画質評価値を算出し、それらを比較することで1枚のフレームを選択することができる。他の例として、眼科観察装置1は、キャプチャされた2枚以上のフレームを表示装置3に表示させ、操作装置2を用いてユーザーが指定した1枚のフレームを選択することができる。更に他の例として、眼科観察装置1は、キャプチャされた2枚以上のフレームを所定の画像処理で合成することによって1枚のフレームを作成することができる。
【0186】
(S14:部分画像を設定)
次に、眼科観察装置1(画像処理部211、部分画像特定部2113A又は2113B)は、ステップS13でキャプチャされたフレームの部分画像を設定する。
【0187】
本ステップの処理は、自動又は手動で行われる。自動の場合、
図9の部分画像特定部2113Aが、ステップS13でキャプチャされたフレームにセグメンテーションを適用することによって部分画像が特定される(
図14Bに示す枠402で囲まれた画像領域)。手動の場合、例えば、主制御部201が、ステップS13でキャプチャされたフレームを表示装置3に表示させ、GUI制御部203が、所定のGUIをこのフレーム上に表示させる。ユーザーは、このGUIを用いてフレームの部分領域を指定する。部分画像特定部2113Bは、GUIにより特定された範囲(例えば、GUIにより囲まれた範囲(及びその周辺の所定範囲))を部分領域として特定する(
図14Bに示す枠402で囲まれた画像領域)。これにより、例えば、
図14Cに示す部分画像403が得られる。
【0188】
(S15:第1画像処理)
データ処理部210(画像処理部211、加工画像作成部2111)は、1以上の画像パラメータのそれぞれの異なる複数の値を用いた第1画像処理を、ステップS14で得られた部分画像に対して適用する。これにより、この部分画像に基づく複数の加工部分画像が作成される。
【0189】
図14Dに示す例では、部分画像403に対して、第1画像処理に含まれるK個の画像処理のそれぞれが適用される。K個の画像処理には、I個(I種類)の画像パラメータが用いられる(Iは、1以上の整数)。また、各画像パラメータ(第iの画像パラメータ;i=1、・・・、I)について、J個の値が準備されている(Jは、2以上の整数)。なお、準備された値の個数Jは、全ての画像パラメータについて等しくてもよいし、異なってもよい。前者の場合、K=I×Jとなる。後者の場合、K=Σ[J(i)]となる。ここで、J(i)は第i番目の画像パラメータにおける値の個数を示し、Σはiに関する和である。第i番目の画像パラメータの第j番目の値をQ(i、j)で示す。このような第1画像処理により、複数の加工部分画像404-kが得られる。ここで、k=1、・・・、Kであり、Kは2以上の整数である。
【0190】
ここで、主制御部201又はデータ処理部210は、複数の加工部分画像(又は、複数の加工画像)のそれぞれに対して、その加工部分画像の作成に用いられた画像パラメータの値(1つ以上の値)を関連付けて記録する。例えば、
図14Dの例では、各加工部分画像404-k(又は、これに対応する加工画像)に対して、この加工部分画像404-kの作成に用いられた1つ以上の画像パラメータの1つ以上の値Q(i、j)が関連付けられる。このような加工部分画像(又は加工画像)と画像パラメータの値とを互いに関連付けた情報を関連情報と呼ぶ。
【0191】
(S16:加工部分画像のサムネイルを作成)
次に、データ処理部210(画像処理部211)は、ステップS15で作成された複数の加工部分画像のそれぞれのサムネイルを作成する。
【0192】
(S17:複数のサムネイルを表示)
次に、主制御部201は、ステップS16で作成された複数のサムネイルを表示装置3に表示させる。本例では、
図14Eに示すように、所定の配列に並べられた複数のサムネイル(サムネイル群)405がライブ画像401上に表示される。
【0193】
一度に表示されるサムネイルの個数は任意であり、例えば、ステップS16で作成された全てのサムネイルを一度に提示してもよいし、ステップS16で作成された全てのサムネイルの一部(例えば、所定の個数)を一度に提示してもよい。また、一度に提示されるサムネイルの個数を変更可能にしてもよい。ステップS16で作成された全てのサムネイルの一部のみが一度に提示される場合、提示されるサムネイルを切り替えるための操作を行うことができる。この操作は、例えば、ページ切り替え又はスクロールであってよい。
【0194】
(S18:サムネイルを選択)
ユーザーは、ステップS17で表示された複数のサムネイルを比較し、所望のサムネイルを選択する。この選択操作は、前述した指示受付部(例えば、操作装置2に含まれるフットスイッチ)を用いて行われる。
図14Fに示す例では、複数のサムネイル405のうちから1つのサムネイル406が選択されている。
【0195】
(S19:第2画像処理)
主制御部201又はデータ処理部210は、前述した関連情報を参照することにより、ステップS18で選択されたサムネイルに対応する加工部分画像に関連付けられた画像パラメータの値を特定する。
【0196】
更に、データ処理部210(画像処理部211、動画像処理部2112)は、特定された画像パラメータの値を用いて、手術用顕微鏡10により生成されているライブ画像をリアルタイムで加工する(第2画像処理)。第2画像処理の適用範囲は、
図14Bの枠402に対応するライブ画像(そのフレーム)の領域のみでもよいし、ライブ画像(そのフレーム)の全体であってもよい。前者の場合、例えば、前述したトラッキングによって、枠402に対応するライブ画像の領域が逐次に特定される。リアルタイムで加工されたライブ画像は、主制御部201によって表示装置3にリアルタイムで表示される(エンド)。なお、この段階で生成及び表示されるライブ画像は、前述した第2動画像に相当する。
図12Eのライブ画像407は、このようにして表示されるライブ画像の例である。ライブ画像407では、枠402に対応する領域(枠408で囲まれた領域)のみに対して第2画像処理が適用されている。
【0197】
ユーザーは、自身が選択した加工画像と同様の画像処理が適用されたライブ画像407を観察しながら手術を行うことができる。
【0198】
前述したパラメータ処理部212(記録部)が設けられている場合、過去に適用された画像パラメータの値を読み出して再度適用することができる。このとき、当該ユーザーが過去に採用した画像パラメータの値を選択的に読み出して再適用することや、現在実施している医療行為の属性(例えば、手術の種類)に合致した画像パラメータの値を選択的に読み出して再適用することができる。また、現在実施している医療行為のフェーズに合致した画像パラメータの値を選択的に読み出して再適用することや、当該医療行為の複数のフェーズにそれぞれ合致した複数の値を順次に再適用することができる。
【0199】
前眼部手術を行う場合には、画像パラメータとして、例えば、色調パラメータ、明度パラメータ、コントラストパラメータ、ゲインパラメータなどが使用される。これにより、ユーザーは、例えば白内障手術において、虹彩、瞳孔、水晶体などの部位を好みの表示態様で観察できるとともに、創口、サイドポート、CCCにおける前嚢切開箇所、水晶体の乳化状態・吸引状態、IOLの位置・向きなどを明確に把握することができる。また、このような好適な画像表示態様を簡便且つ迅速に実現することができる。
【0200】
硝子体手術や後眼部手術を行う場合には、画像パラメータとして、例えば、ガンマパラメータ、ゲインパラメータ、色温度パラメータ、ホワイトバランスパラメータ、RGBバランスパラメータなどが使用される。これにより、硝子体内の浮遊物、混濁、増殖膜などを強調表示することができ、手術の作業効率の改善や手術ミスの回避・低減を図ることが可能となる。
【0201】
<変形例>
以上に説明した例示的な実施形態について、幾つかの変形例を説明する。
【0202】
図12C、
図12D、
図14E、
図14Fに示した例では、複数のサムネイル(加工画像、加工部分画像)によって被検眼の像の一部が隠れている。この状態を解消するために、被検眼の像が表示されていない領域に複数のサムネイルを表示させることができる。そのために採用可能な処理の例として、複数のサムネイルの表示サイズを小さくすること、各サムネイルの表示サイズを小さくすること、複数のサムネイルの配列を変更すること、一度に表示されるサムネイルの個数を少なくすることなどがある。また、被検眼の像の範囲を検出し、それ以外の領域に複数のサムネイルを表示させることができる。
【0203】
このような動作を実現するために採用可能な構成の例を
図15に示す。
図15のデータ処理部210Cは、
図3のデータ処理部210の例である。本例のデータ処理部210Cは、画像処理部211に加えて監視処理部213を含んでいる。画像処理部211は、前述した実施形態のそれと同様の構成及び動作を実行する。
【0204】
監視処理部213は、被検眼の動きを監視するためのデータ処理を実行する(監視部)。監視処理部213は、例えば、手術用顕微鏡10により生成された動画像のフレームを解析することによって被検眼の特徴点を検出する。特徴点は、例えば、瞳孔(中心、外縁など)、角膜輪(虹彩の外縁)、隅角、視神経乳頭、黄斑、血管など、任意のランドマークであってよい。監視処理部213は、リアルタイム動画像(第1動画像)として逐次に生成されるフレームを逐次に解析することで、動画像における特徴点の移動(特徴点の位置の時間変化)をリアルタイムで検出する。
【0205】
主制御部201は、監視処理部213からの出力に基づき、リアルタイム動画像とともに表示されている複数の加工画像(複数の加工部分画像、複数のサムネイル)の表示状態を変更することができる。この表示状態変更制御は、例えば、被検眼の像が表示されていない領域に複数の加工画像を表示させるように行われる。例えば、主制御部201は、複数の加工画像の表示サイズを小さくする制御、各加工画像の表示サイズを小さくする制御、複数の加工画像の配列を変更する制御、一度に表示されるサムネイルの個数を少なくする制御、複数の加工画像の表示を停止する制御(複数の加工画像を表示させない制御)などを実行することができる。
【0206】
このような変形例によれば、被検眼の動きに応じて複数の加工画像の表示状態を(動的に)変更することができるため、複数の加工画像が被検眼の像の観察を邪魔することがなくなる。なお、被検眼の動きを検知するための構成(監視部)は、上記した構成や処理に限定されず、任意であってよい。
【0207】
図16は、他の変形例を示す。
図15の変形例は被検眼の動きに着目したものであるが、本変形例は、被検眼の異常の発生に着目したものである。
【0208】
図16のデータ処理部210Dは、
図3のデータ処理部210の例である。本例のデータ処理部210Dは、画像処理部211に加えて異常検知部214を含んでいる。画像処理部211は、前述した実施形態のそれと同様の構成及び動作を実行する。
【0209】
異常検知部214は、被検眼の異常を検知するためのデータ処理を実行する。検知の対象となる異常の種類は、任意であってよく、例えば、出血、傷などであってよい。異常検知部214は、例えば、手術用顕微鏡10により生成された動画像のフレームを解析することによって異常を検知する。例えば、出血の検知は、画像の色の変化(赤色領域の増加など)によって行われる。
【0210】
幾つかの態様では、異常検知部214は、手術画像などを含む訓練データセットを用いた機械学習によって構築されたシステム(人工知能エンジン)を含んでいてもよい。この人工知能エンジンは、例えば、手術画像を入力とし、所定の異常の発生の確率を出力とした機械学習によって構築されたニューラルネットワーク(典型的には、畳み込みニューラルネットワーク)を含む。本例の異常検知部214は、手術用顕微鏡10により生成されるリアルタイム動画像(第1動画像)のフレームを逐次に人工知能エンジンに入力する。人工知能エンジンは、入力されたフレームに基づく異常発生確率を逐次に出力する。異常検知部214は、逐次に出力される異常発生確率に基づき異常検知を行う。例えば、異常検知部214は、逐次に出力される異常発生確率が既定の閾値を超えたときに異常を検知したと判断する。他の例として、異常検知部214は、逐次に出力される異常発生確率の変化(例えば、変化率、変化量)に基づいて異常検知を行うことができる。
【0211】
主制御部201は、異常検知部214からの出力に基づき、リアルタイム動画像とともに表示されている複数の加工画像(複数の加工部分画像、複数のサムネイル)の表示状態を変更することができる。この表示状態変更制御は、例えば、被検眼の像が表示されていない領域に複数の加工画像を表示させるように、又は、異常が検知された領域以外の領域に複数の加工画像を表示させるように実行される。例えば、主制御部201は、複数の加工画像の表示サイズを小さくする制御、各加工画像の表示サイズを小さくする制御、複数の加工画像の配列を変更する制御、一度に表示されるサムネイルの個数を少なくする制御、複数の加工画像の表示を停止する制御(複数の加工画像を表示させない制御)などを実行することができる。
【0212】
このような変形例によれば、被検眼に異常が発生したことに対応して複数の加工画像の表示状態を(動的に)変更することができるため、複数の加工画像が被検眼の像(特に、異常発生箇所)の観察を邪魔することがなくなる。なお、被検眼の異常を検知するための構成(監視部)は、上記した構成や処理に限定されず、任意であってよい。
【0213】
上記実施形態の眼科観察装置1は、第1動画像に含まれる静止画像(フレーム)に第1画像処理を適用して複数の加工画像を生成して表示するように構成されている。これに対し、幾つかの例示的な態様は、第1動画像に含まれる各静止画像(各フレーム)に対して逐次に第1画像処理を適用して複数の加工画像(複数の加工動画像)を生成して表示するように構成されていてよい。このような態様では、複数の加工動画像を並べて又は順次に表示させることができる。また、複数の加工動画像の少なくとも一部について、その加工画像に含まれる静止画像(加工静止画像、加工フレーム)を表示させることも可能である。本態様によれば、動いている被検眼の表示態様を最適化したい場合や、動きを伴う対象物(浮遊物、混濁、増殖膜、液流、血流など)の表示態様を最適化したい場合などに有効である。一方、このような処理をリアルタイムで行うためには、上記実施形態の眼科観察装置1よりも大量のリソースが必要とされる。そこで、加工動画像を扱う場合の処理負荷を低減するために、生成される加工動画像の個数を少なくすること、処理される加工動画像(サムネイル)の個数を少なくすること、表示される加工動画像(サムネイル)の個数を少なくすること、フレームの間引き処理を行うことなど、任意の処理負荷低減法を適用してもよい。
【0214】
<眼科画像処理装置>
例示的な実施形態に係る眼科画像処理装置について説明する。眼科画像処理装置は、被検眼の画像を処理するように構成されている。以下の例示的な眼科画像処理装置に対し、上記実施形態の眼科観察装置1に関する任意の事項(機能、構成、処理、動作、使用形態など)を組み合わせることが可能である。
【0215】
本例の眼科画像処理装置の構成例を
図17に示す。
図17の眼科画像処理装置500の要素のうち動画像受付部501以外の要素は、上記実施形態に係る眼科観察装置1における対応要素と同様に構成されていてよく、特に言及しない限り、それらの詳細な説明は省略する。
【0216】
眼科画像処理装置500の制御部502は、上記実施形態の眼科観察装置1の制御部200に相当する。眼科画像処理装置500の画像処理部503は、上記実施形態の眼科観察装置1のデータ処理部210(画像処理部211)に相当する。眼科画像処理装置500のユーザーインターフェイス(UI)504は、上記実施形態の眼科観察装置1の操作装置2及び表示装置3に相当する。
【0217】
動画像受付部501は、被検眼の動画像を受け付ける。動画像受付部501は、手術用顕微鏡10から直接的に又は間接的に動画像を受け付ける。例えば、動画像受付部501は、手術用顕微鏡10と通信回線又はケーブルで接続されている。或いは、動画像受付部501は、手術用顕微鏡10により生成された動画像が(一時的に)蓄積される装置(バッファ)と通信回線又はケーブルで接続されている。
【0218】
動画像受付部501は、上記実施形態の第1動画像を受け付ける。制御部502は、動画像受付部501により受け付けられた第1動画像を画像処理部503に送る。
【0219】
画像処理部503は、上記実施形態において説明した処理を実行することで、第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する。
【0220】
制御部502(表示制御部)は、画像処理部503により作成された複数の加工画像をUI504(第1表示装置)に表示させる。
【0221】
このような一連の動作に加えて、眼科画像処理装置500は、上記実施形態の眼科観察装置1と同様に、以下の処理を実行することができる。ユーザーは、UI504に表示された複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を行うことができる。この指示は、上記実施形態の眼科観察装置1の場合と同じ要領で行うことができ、例えば、UI504(指示受付部)を用いて行われる。
【0222】
画像処理部503は、ユーザーにより指定された少なくとも1つの加工画像に対応する画像パラメータの少なくとも1つの値に基づく第2画像処理を、このユーザーの指示に基づく選択が行われた後に動画像受付部501により受け付けられた被検眼の動画像(第2動画像)に適用する。この処理(第2画像処理)は、上記実施形態の眼科観察装置1の場合と同じ要領で実行される。
【0223】
制御部502(表示制御部)は、第2画像処理が適用された第2動画像をUI504(第2表示装置)に表示させる。
【0224】
このような眼科画像処理装置500によれば、上記実施形態の眼科観察装置1と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1に関する事項(機能、構成、処理、動作、使用形態など)を眼科画像処理装置500に組み合わせることで、その結果として得られる眼科画像処理装置500は、組み合わされた事項に対応する作用及び効果を奏することができる。
【0225】
<眼科画像処理方法>
例示的な実施形態(例えば、上記した眼科観察装置1又は眼科画像処理装置500)は、眼科画像(被検眼の画像)を処理する方法を提供する。以下の例示的な眼科画像処理方法に対し、上記実施形態の眼科観察装置1に関する任意の事項を組み合わせることが可能であり、また、上記実施形態の眼科画像処理装置500に関する任意の事項を組み合わせることが可能である。
【0226】
例示的な態様の眼科画像処理方法は、まず、被検眼の第1動画像を受け付ける。次に、この第1動画像に含まれる静止画像に対して所定の画像パラメータの異なる複数の値を用いた第1画像処理をそれぞれ適用して複数の加工画像を作成する。次に、作成された複数の加工画像を表示する。次に、表示された複数の加工画像のうちから少なくとも1つの加工画像を選択するための指示を受け付ける。この指示に基づく少なくとも1つの加工画像の選択が行われた後に、被検眼の第2動画像を受け付ける。次に、選択された少なくとも1つの加工画像に対応する画像パラメータの少なくとも1つの値に基づく第2画像処理を第2動画像に適用する。次に、第2画像処理が適用された第2動画像を表示する。このような一連の工程は、上記実施形態の眼科観察装置1の動作及び使用形態(
図11、
図12A~
図12E、
図13、
図14A~
図14Gなど)として説明されている。
【0227】
このような眼科画像処理方法によれば、上記実施形態の眼科観察装置1及び眼科画像処理装置500と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項を眼科画像処理方法に組み合わせることで、その結果として得られる眼科画像処理方法は、組み合わされた事項に対応する作用及び効果を奏することができる。
【0228】
<プログラム>
例示的な実施形態は、上記した眼科画像処理方法をコンピュータに実行させるプログラムを提供する。このようなプログラムに対して、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項を組み合わせることが可能である。
【0229】
このようなプログラムによれば、上記実施形態の眼科観察装置1及び眼科画像処理装置500と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項をプログラムに組み合わせることで、その結果として得られるプログラムは、組み合わされた事項に対応する作用及び効果を奏することができる。
【0230】
<記録媒体>
例示的な実施形態は、上記のようなプログラムを記録したコンピュータ可読な非一時的記録媒体を提供する。このような記録媒体に対して、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項を組み合わせることが可能である。非一時的記録媒体の形態は、任意であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
【0231】
このような記録媒体によれば、上記実施形態の眼科観察装置1及び眼科画像処理装置500と同様の作用及び効果を奏することができる。また、上記実施形態の眼科観察装置1又は眼科画像処理装置500に関する事項を記録媒体に組み合わせることで、その結果として得られる記録媒体は、組み合わされた事項に対応する作用及び効果を奏することができる。
【0232】
上記の実施形態は、本発明を実施するための例示に過ぎない。本発明を実施しようとする者は、本発明の要旨の範囲内において任意の変形、省略、追加、置換などを施すことが可能である。
【符号の説明】
【0233】
1 眼科観察装置
2 操作装置
3 表示装置
10 手術用顕微鏡
30 照明光学系
40 観察光学系
60 撮像カメラ
200 制御部
201 主制御部
203 GUI制御部
210 データ処理部
211 画像処理部
2111 加工画像作成部
2112 動画像処理部
212 パラメータ処理部
2121 パラメータ記憶部
2122 パラメータ選択部
2123 撮影条件記録部
2124 撮影条件選択部
2125 パラメータ決定部
2113A、2113B 部分画像特定部
221 識別子受付部
222 属性情報取得部