(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-18
(45)【発行日】2023-07-26
(54)【発明の名称】医療用制御装置及び医療用観察装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20230719BHJP
A61B 1/00 20060101ALI20230719BHJP
A61B 1/06 20060101ALI20230719BHJP
H04N 7/18 20060101ALI20230719BHJP
A61B 90/20 20160101ALI20230719BHJP
【FI】
A61B1/045 610
A61B1/00 640
A61B1/06 612
H04N7/18 M
A61B90/20
(21)【出願番号】P 2020538197
(86)(22)【出願日】2019-06-14
(86)【国際出願番号】 JP2019023765
(87)【国際公開番号】W WO2020039716
(87)【国際公開日】2020-02-27
【審査請求日】2022-05-09
(31)【優先権主張番号】P 2018154787
(32)【優先日】2018-08-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】313009556
【氏名又は名称】ソニー・オリンパスメディカルソリューションズ株式会社
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】道畑 泰平
(72)【発明者】
【氏名】妙見 浩資
(72)【発明者】
【氏名】三井 敏
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2003-339634(JP,A)
【文献】国際公開第2018/042717(WO,A1)
【文献】国際公開第2016/104386(WO,A1)
【文献】特開2016-195378(JP,A)
【文献】特開2018-074199(JP,A)
【文献】特表2016-538008(JP,A)
【文献】特開2007-260019(JP,A)
【文献】特開昭61-048333(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
画像を表示する表示装置に、観察対象からの光を受光する撮像装置が生成する撮像信号から生成される医療用撮像画像を表示させる表示制御部と、
前記表示制御部に所定の明るさの前記医療用撮像画像を表示させるように
、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を制御することで前記撮像信号の明るさを制御する明るさ制御部と、
を備え、
前記明るさ制御部は、前記表示装置のダイナミックレンジが第1の値よりも大きな第2の値である場合、
前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を小さくすることで、前記ダイナミックレンジが前記第1の値である場合に前記医療用撮像画像を前記所定の明るさで表示するための前記撮像信号の明るさよりも、前記撮像信号の明るさを暗くする制御を行う
医療用制御装置。
【請求項2】
前記明るさ制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する前記撮像信号の明るさの目標値を決定する、請求項1に記載の医療用制御装置。
【請求項3】
さらに、前記明るさ制御部は、前記ダイナミックレンジが前記第1の値である第1の表示装置に前記医療用撮像画像を表示する場合は、前記撮像信号の明るさを、前記医療用撮像画像を前記所定の明るさで表示するための第1の明るさにする制御を行い、さらに前記ダイナミックレンジが前記第2の値である第2の表示装置に前記医療用撮像画像を表示する場合は、前記撮像信号の明るさを前記第1の明るさよりも暗い第2の明るさにする制御を行う
請求項1に記載の医療用制御装置。
【請求項4】
前記明るさ制御部は、前記表示装置のダイナミックレンジを示すダイナミックレンジ情報に基づき、前記表示装置のダイナミックレンジを特定する、請求項2に記載の医療用制御装置。
【請求項5】
前記ダイナミックレンジ情報は、前記表示装置から取得される、請求項4に記載の医療用制御装置。
【請求項6】
前記ダイナミックレンジ情報は、前記表示装置から取得される識別情報に基づき取得される、請求項4に記載の医療用制御装置。
【請求項7】
前記明るさ制御部は、前記表示装置のダイナミックレンジと、所定のダイナミックレンジとを比較し、比較の結果に基づき前記目標値を決定する、請求項2、4~6のいずれか1つに記載の医療用制御装置。
【請求項8】
前記明るさ制御部は、前記表示装置のダイナミックレンジの最大値と、前記所定のダイナミックレンジの最大値との差分に基づき、前記目標値を決定する、請求項7に記載の医療用制御装置。
【請求項9】
前記明るさ制御部は、前記表示装置のダイナミックレンジの最大値が、前記所定のダイナミックレンジの最大値のn倍(nは
正の値)である場合、前記表示装置における前記目標値を、前記所定のダイナミックレンジに対応する目標値の1/n倍とする、請求項8に記載の医療用制御装置。
【請求項10】
複数の前記表示装置が存在する場合、
前記明るさ制御部は、前記撮像信号が複数の前記表示装置の中から選択される前記表示装置のダイナミックレンジに対応する明るさとなるように、前記撮像装置における撮像を制御する、請求項1~9のいずれか1つに記載の医療用制御装置。
【請求項11】
複数の前記表示装置の中から選択される前記表示装置は、所定のユーザに対応付けられている前記表示装置である、請求項10に記載の医療用制御装置。
【請求項12】
複数の前記表示装置の中から選択される前記表示装置は、複数の前記表示装置の中で前記表示装置のダイナミックレンジが高い前記表示装置である、請求項10または11に記載の医療用制御装置。
【請求項13】
前記表示制御部は、前記撮像信号に対して前記表示装置が有するガンマ値に基づきガンマ補正を行い、前記ガンマ補正が行われた前記撮像信号から生成される前記医療用撮像画像を前記表示装置に表示させる、請求項1~12のいずれか1つに記載の医療用制御装置。
【請求項14】
前記表示制御部は、前記表示装置と所定のガンマ値を有する表示装置とに表示される前記医療用撮像画像の中間の輝度値が同一となるように、前記撮像信号に対して前記ガンマ補正を行う、請求項13に記載の医療用制御装置。
【請求項15】
複数の前記表示装置が存在する場合、
前記表示制御部は、複数の前記表示装置の各々が有する前記ガンマ値に基づき前記ガンマ補正が行われた前記撮像信号から生成される前記医療用撮像画像を、複数の前記表示装置の各々に表示させる、請求項13または14に記載の医療用制御装置。
【請求項16】
前記明るさ制御部は、さらに、前記表示装置の表示モードに基づき、前記目標値を決定する、請求項2に記載の医療用制御装置。
【請求項17】
前記明るさ制御部は、さらに、前記撮像装置の種類に基づき、前記目標値を決定する、請求項2または16に記載の医療用制御装置。
【請求項18】
前記表示制御部は、前記医療用撮像画像が前記表示装置に表示される際の前記医療用撮像画像の輝度に応じて、前記表示装置に表示される文字の輝度を調整する、請求項1~17のいずれか1つに記載の医療用制御装置。
【請求項19】
光を発光する光源と、
観察対象を撮像する撮像装置と、
画像を表示する表示装置に、観察対象からの光を受光する撮像装置が生成する撮像信号から生成される医療用撮像画像を表示させる表示制御部と、
前記表示制御部に所定の明るさの前記医療用撮像画像を表示させるように
、前記光源から前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を制御することで前記撮像信号の明るさを制御する明るさ制御部と、
を備え、
前記明るさ制御部は、前記表示装置のダイナミックレンジが第1の値よりも大きな第2の値である場合、
前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を小さくすることで、前記ダイナミックレンジが前記第1の値である場合に前記医療用撮像画像を前記所定の明るさで表示するための前記撮像信号の明るさよりも、前記撮像信号の明るさを暗くする制御を行う
医療用観察装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用制御装置及び医療用観察装置に関する。
【背景技術】
【0002】
医療現場において、撮像装置は、患者の体内等の観察対象を撮像する際に、観察対象以外の鉗子やガーゼ等を被写体に含んで撮像してしまう場合が有り得る。この場合、表示装置に表示される撮像画像の明るさが鉗子やガーゼの明るさに合ってしまい、表示装置に表示される画像の明るさが全体的に明るくなることがある。これにより、表示される画像に白飛びが生じ、術者が観察したい部分の情報や色が欠けてしまうことがある。
【0003】
一般的に、白飛びを低減するために、イメージセンサのダイナミックレンジを拡大することが有効である。例えば、セルサイズが大きく大判のイメージセンサを用いることで、イメージセンサのダイナミックレンジを拡大することができる。これにより、広いダイナミックレンジに対応した画像を撮像することができるため、当該画像が表示装置に表示された際の白飛びを低減することができる。また、白飛びを低減するために、撮像時のシャッタースピードの変更により時間的に異なって撮像された複数枚の明暗画像が合成されるHDR(High Dynamic Range)撮影を行うことも有効である。これにより、広いダイナミックレンジに対応した画像を生成することができるため、当該画像が表示された際の白飛びを低減することができる。
【0004】
参考までに、下記特許文献1には、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際に、ユーザの操作に基づき画像中の任意の位置の輝度を最適化する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、内視鏡システムでは、カメラヘッドの小型化が求められるため、大判のイメージセンサを用いることが難しい。また、長蓄積露光画像と短蓄積露光画像の2枚を合成してHDR画像を生成する撮影方法は、被写体又は撮像装置が動くことにより画像にブレが生じてしまうため、撮像装置を移動させながら体内の様子を観察する内視鏡システムにこのような撮影方法を用いることは望ましくない。そこで、内視鏡システムでは、大判のイメージセンサを用いず、かつ上記撮影方法を用いずに白飛びを低減することが求められていた。
【0007】
そこで、本開示では、医療用撮像画像の白飛びを低減することが可能な、新規かつ改良された医療用制御装置及び医療用観察装置を提案する。
【課題を解決するための手段】
【0008】
本開示によれば、画像を表示する表示装置に、観察対象からの光を受光する撮像装置が生成する撮像信号から生成される医療用撮像画像を表示させる表示制御部と、前記表示制御部に所定の明るさの前記医療用撮像画像を表示させるように、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を制御することで前記撮像信号の明るさを制御する明るさ制御部と、を備え、前記明るさ制御部は、前記表示装置のダイナミックレンジが第1の値よりも大きな第2の値である場合、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を小さくすることで、前記ダイナミックレンジが前記第1の値である場合に前記医療用撮像画像を前記所定の明るさで表示するための前記撮像信号の明るさよりも、前記撮像信号の明るさを暗くする制御を行う、医療用制御装置が提供される。
【0009】
また、本開示によれば、光を発光する光源と、観察対象を撮像する撮像装置と、画像を表示する表示装置に、観察対象からの光を受光する撮像装置が生成する撮像信号から生成される医療用撮像画像を表示させる表示制御部と、前記表示制御部に所定の明るさの前記医療用撮像画像を表示させるように、前記光源から前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を制御することで前記撮像信号の明るさを制御する明るさ制御部と、を備え、前記明るさ制御部は、前記表示装置のダイナミックレンジが第1の値よりも大きな第2の値である場合、前記観察対象に照射される光の光量、または、前記撮像装置に入射する光の光量を小さくすることで、前記ダイナミックレンジが前記第1の値である場合に前記医療用撮像画像を前記所定の明るさで表示するための前記撮像信号の明るさよりも、前記撮像信号の明るさを暗くする制御を行う、医療用観察装置が提供される。
【発明の効果】
【0010】
以上説明したように本開示によれば、医療用撮像画像の白飛びを低減することが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0011】
【
図1】本開示の一実施形態に係る概要を示す説明図である。
【
図2】第1の実施形態に係る医療用観察システムの構成例を示す説明図である。
【
図3】同実施形態に係る医療用観察装置の機能構成例を示すブロック図である。
【
図4】同実施形態に係る医療用観察装置における入出力関係の例を示す説明図である。
【
図5】同実施形態に係る表示装置における入出力関係の例を示す説明図である。
【
図6】同実施形態に係る医療用撮像画像の表示例を示す説明図である。
【
図7】同実施形態に係る医療用観察システムの動作の流れを示すシーケンス図である。
【
図8】同実施形態に係る判定処理における処理の流れを示すフローチャートである。
【
図9】同実施形態に係る補正処理における処理の流れを示すフローチャートである。
【
図10】同実施形態に係る表示処理における処理の流れを示すフローチャートである。
【
図11】第2の実施形態に係る医療用観察システムの構成例を示す説明図である。
【
図12】同実施形態に係る複数の表示装置向けのガンマ補正の例を示す説明図である。
【
図13】同実施形態に係る医療用観察システムの動作の流れを示すシーケンス図である。
【
図14】同実施形態に係る補正処理における処理の流れを示すフローチャートである。
【
図15】変形例に係る判定処理を示す説明図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
なお、説明は以下の順序で行うものとする。
1.概要
2.第1の実施形態
2.1.システム構成例
2.2.機能構成例
2.3.動作例
3.第2の実施形態
3.1.システム構成例
3.2.機能構成例
3.3.動作例
4.変形例
5.まとめ
【0014】
<<1.概要>>
以下では、
図1を参照しながら、本開示の一実施形態に係る概要について説明する。
図1は、本開示の一実施形態に係る概要を示す説明図である。なお、以下では、本開示の一実施形態に係る医療用制御装置が、医療現場で用いられる内視鏡システムに適用された例について説明する。ただし、当該医療用制御装置が適用される対象は内視鏡システムに限定されない。例えば、当該医療用制御装置は、撮像装置を用いて外部から患者等の観察対象を撮像する医療用観察システムに適用されてもよい。
【0015】
内視鏡システムにおいて、撮像装置は、患者の体内等の観察対象を撮像する際に、観察対象以外の鉗子やガーゼ等を被写体に含んで撮像してしまう場合が有り得る。この場合、表示装置に表示される撮像画像の明るさが鉗子やガーゼの明るさに合ってしまい、表示装置に表示される画像の明るさが全体的に明るくなることがある。これにより、表示される画像に白飛びが生じ、術者が観察したい部分の情報や色が欠けてしまうことがある。
【0016】
一般的に、白飛びを低減するために、イメージセンサのダイナミックレンジを拡大することが有効である。例えば、セルサイズが大きく大判のイメージセンサを用いることで、イメージセンサのダイナミックレンジを拡大することができる。これにより、広いダイナミックレンジに対応した画像を撮像することができるため、当該画像が表示装置に表示された際の白飛びを低減することができる。また、白飛びを低減するために、撮像時のシャッタースピードの変更により時間的に異なって撮像された複数枚の明暗画像が合成されるHDR(High Dynamic Range)撮影を行うことも有効である。これにより、広いダイナミックレンジに対応した画像を生成することができるため、当該画像が表示された際の白飛びを低減することができる。
【0017】
しかしながら、内視鏡システムでは、カメラヘッドの小型化が求められるため、大判のイメージセンサを用いることが難しい。また、長蓄積露光画像と短蓄積露光画像の2枚を合成してHDR画像を生成する撮影方法は、被写体又は撮像装置が動くことにより画像にブレが生じてしまうため、撮像装置を移動させながら体内の様子を観察する内視鏡システムにこのような撮影方法を用いることは望ましくない。そこで、内視鏡システムでは、大判のイメージセンサを用いず、かつ上記撮影方法を用いずに白飛びを低減することが求められていた。
【0018】
本開示の実施形態では、上記の点に着目して発想されたものであり、医療用撮像画像の白飛びを低減することが可能な技術を提案する。例えば、観察対象からの光を受光する撮像装置が生成する撮像信号の明るさを制御し、画像を表示する表示装置に撮像信号から生成される医療用撮像画像を表示させる医療用制御装置を提案する。
【0019】
具体的に、医療用制御装置は、表示装置20のダイナミックレンジが高い程、撮像信号の明るさがより暗くなるように撮像信号の明るさを制御する。これは、ダイナミックレンジが高い範囲の表示装置ほど、医療用撮像画像の明るさを明るく表示でき、明るさを明るくするほど表示される医療用撮像画像に白飛びが生じる可能性が高いからである。医療用制御装置は、表示装置に表示される医療用撮像画像の明るさに応じて、観察対象を撮像する際の明るさを暗くして撮像することで、表示装置にて医療用撮像画像の明るさを明るくして表示した際に生じる白飛びを低減することができる。
【0020】
本開示の一実施形態では、ダイナミックレンジが高い範囲を示す表示装置は、ダイナミックレンジがハイダイナミックレンジ(HDR:High Dynamic Range)の表示装置である。ここで、HDRの表示装置とは、表示できる画像の最大輝度が1000nit以上である表示装置である。一方、ダイナミックレンジが低い範囲を示す表示装置は、ダイナミックレンジがスタンダードダイナミックレンジ(SDR:Standard Dynamic Range)の表示装置である。ここで、SDRの表示装置とは、表示できる画像の最大輝度が1000nit未満である表示装置である。なお、ダイナミックレンジに基づく表示装置の種類は、上述のHDRの表示装置とSDRの表示装置に限定されず、他のダイナミックレンジに基づく表示装置であってもよい。以下では、医療用撮像画像が表示される表示装置は、HDRの表示装置又はSDRの表示装置のいずれか一方である例について説明する。
【0021】
図1に示す1点鎖線のグラフは、SDRの表示装置における入出力関係を示しており、2点鎖線のグラフは、HDRの表示装置における入出力関係を示している。本開示の一実施形態に係る撮像信号は、
図1に示すように、ガンマ補正及び逆ガンマ補正が行われた上で、最終的な撮像信号として出力される。
【0022】
例えば、医療用撮像画像を表示する表示装置がHDRの表示装置である場合、明るさを暗くして観察対象が撮像されるため、
図1の撮像時の撮像信号のグラフが示すように、HDRの表示装置の出力はSDRの表示装置の出力よりも小さい。しかしながら、HDRの表示装置の場合の撮像信号に対してガンマ補正と逆ガンマ補正が行われることで、
図1の補正後の撮像信号のグラフが示すように、HDRの表示装置はSDRの表示装置の出力よりも大きく出力をすることができる。
【0023】
以上、
図1を参照しながら、本開示の一実施形態に係る概要について説明した。続いて、第1の実施形態について説明する。
【0024】
<<2.第1の実施形態>>
以下では、
図2~
図10を参照しながら、第1の実施形態について説明する。
【0025】
<2.1.システム構成例>
以下では、
図2を参照しながら、本開示の実施形態に係る医療用観察システムの構成例について説明する。
図2は、第1の実施形態に係る医療用観察システム1の構成例を示す説明図である。
【0026】
図2に示すように、第1の実施形態に係る医療用観察システム1は、例えば、医療用観察装置10と、表示装置20とを有する。例えば、
図2に示す医療用観察装置10が手術時に用いられる場合、術者は、医療用観察装置10により撮像されて、表示装置20の表示画面に表示された医療用撮像画像を参照しながら術部を観察し、当該術部に対して、術式に応じた手技などの各種処置を行う。また、術者を補助する補助者も同様に、表示装置20の表示画面に表示された医療用撮像画像を参照しながら術者が行う各種処置の補助を行う。なお、以下では、術者及び補助者等の手術に関わる者は、総称してユーザとも称される。
【0027】
なお、第1の実施形態に係る医療用観察システム1は、
図2に示す例に限られない。例えば、第1の実施形態に係る医療用観察システム1は、医療用観察装置10における各種動作を制御する医療用制御装置(図示せず)を、さらに有していてもよい。
図2に示す医療用観察システム1では、後述するように、医療用観察装置10が制御部(後述する)を備えることにより、医療用観察装置10が医療用制御装置(図示せず)の機能を有している例を示している。
【0028】
医療用制御装置(図示せず)としては、例えば、“メディカルコントローラ”や、“サーバなどのコンピュータ”などが、挙げられる。また、医療用制御装置(図示せず)は、例えば、上記のような機器に組み込むことが可能な、IC(Integrated Circuit)であってもよい。
【0029】
また、第1の実施形態に係る医療用観察システム1は、医療用観察装置10と表示装置20との一方または双方を複数有する構成であってもよい。医療用観察装置10を複数有する場合、各々の医療用観察装置10において、後述する表示制御処理が行われる。また、第1の実施形態に係る医療用観察システム1が医療用観察装置10と表示装置20とを複数有する構成である場合、医療用観察装置10と表示装置20とが一対一に対応付けられていてもよいし、複数の医療用観察装置10が1つの表示装置20に対応付けられていてもよい。複数の医療用観察装置10が1つの表示装置20に対応付けられている場合、表示装置20では、例えば切り替え操作などが行われることによって、どの医療用観察装置10において撮像された医療用撮像画像を表示画面に表示させるのかが、切り替えられる。
【0030】
以下、
図2に示す第1の実施形態に係る医療用観察システム1を構成する各装置について説明する。
【0031】
(1)医療用観察装置10
図2に示す医療用観察装置10は、例えば、挿入部材130と、光源ユニット132と、ライトガイド134と、カメラヘッド136と、ケーブル138と、制御ユニット140とを備える。
【0032】
また、
図2では示していないが、医療用観察装置10は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサ(図示せず)と、ROM(Read Only Memory。図示せず)と、RAM(Random Access Memory。図示せず)と、記録媒体(図示せず)と、通信デバイス(図示せず)とを、備えていてもよい。医療用観察装置10は、例えば、医療用観察装置10が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
【0033】
プロセッサ(図示せず)は、医療用観察装置10における制御部(後述する)として機能する。ROM(図示せず)は、プロセッサ(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、プロセッサ(図示せず)により実行されるプログラムなどを一時的に記憶する。
【0034】
記録媒体(図示せず)は、医療用観察装置10における記憶部(図示せず)として機能する。記録媒体(図示せず)には、例えば、本実施形態に係る表示制御方法に係るデータや、各種アプリケーションなどの、様々なデータが記憶される。ここで、記録媒体(図示せず)としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体(図示せず)は、医療用観察装置10から着脱可能であってもよい。
【0035】
通信デバイス(図示せず)は、医療用観察装置10が備える通信手段であり、表示装置20などの外部装置と、無線または有線で通信を行う役目を果たす。ここで、通信デバイス(図示せず)としては、例えば、IEEE802.15.1ポートおよび送受信回路(無線通信)や、IEEE802.11ポートおよび送受信回路(無線通信)、通信アンテナおよびRF回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられる。
【0036】
(1-1)挿入部材130
挿入部材130は、細長形状を有し、入射光を集光する光学系を内部に備える。挿入部材130の先端は、例えば、患者の体腔内に挿入される。挿入部材130の後端はカメラヘッド136の先端と着脱可能に接続される。また、挿入部材130は、ライトガイド134を介して光源ユニット132と接続され、光源ユニット132から光が供給される。
【0037】
挿入部材130は、例えば、可撓性を有さない素材で形成されてもよいし、可撓性を有する素材で形成されてもよい。挿入部材130を形成する素材によって、医療用観察装置10は、硬性鏡または軟性鏡と呼ばれうる。
【0038】
(1-2)光源ユニット132
光源ユニット132は、ライトガイド134を介して挿入部材130と接続される。光源ユニット132は、ライトガイド134を介して挿入部材130に光を供給する。
【0039】
光源ユニット132は、例えば、波長が異なる光を発光する複数の光源を有する。光源ユニット132が有する複数の光源としては、例えば、赤色の光を発光する光源、緑色の光を発光する光源、および青色の光を発光する光源が挙げられる。赤色の光を発光する光源としては、例えば、1または2以上の赤色発光ダイオードが挙げられる。緑色の光を発光する光源としては、例えば、1または2以上の緑色発光ダイオードが挙げられる。青色の光を発光する光源としては、例えば、1または2以上の青色発光ダイオードが挙げられる。なお、光源ユニット132が有する複数の光源が、上記に示す例に限られないことは、言うまでもない。光源ユニット132は、例えば、複数の光源を単一チップで有し、または、複数の光源を複数のチップで有する。
【0040】
光源ユニット132は、制御ユニット140と有線または無線で接続され、光源ユニット132における発光は、制御ユニット140により制御される。
【0041】
挿入部材130に供給された光は、挿入部材130の先端から出射され、患者の体腔内組織などの観察対象に照射される。そして、観察対象からの反射光は、挿入部材130内の光学系によって集光される。
【0042】
(1-3)カメラヘッド136
カメラヘッド136は、観察対象を撮像する機能を有する。カメラヘッド136は、信号伝送部材であるケーブル138を介して制御ユニット140と接続される。
【0043】
カメラヘッド136は、イメージセンサを有し、挿入部材130によって集光された観察対象からの反射光を光電変換することにより観察対象を撮像し、撮像信号(医療用撮像画像を示す信号)を生成する。そして、カメラヘッド136は、生成した撮像信号を制御ユニット140へケーブル138を介して出力する。カメラヘッド136が有するイメージセンサとしては、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を複数用いたイメージセンサが、挙げられる。
【0044】
内視鏡装置として機能する医療用観察装置10では、例えば、挿入部材130、光源ユニット132、およびカメラヘッド136が、“患者の体内に挿入されて、体内を撮像する撮像装置”の役目を果たす。
【0045】
なお、内視鏡装置として機能する医療用観察装置10は、例えば、いわゆるステレオカメラとして機能する複数の撮像装置を備える構成であってもよい。ステレオカメラとして機能する撮像装置の構成において、光学系は、第1の例に係る医療用観察システムを構成する医療用観察装置10と同様に、ガリレオ式光学系であってもよいし、グリノー式光学系であってもよい。
【0046】
(1-4)制御ユニット140
制御ユニット140は、撮像装置を制御する。より具体的には、制御ユニット140は、光源ユニット132およびカメラヘッド136それぞれを制御する。
【0047】
また、制御ユニット140は、通信デバイス(図示せず)を含み、カメラヘッド136から出力された撮像信号を任意の無線通信または任意の有線通信で、表示装置20へ送信する。制御ユニット140は、撮像信号と表示制御信号とを表示装置20へ送信してもよい。
【0048】
制御ユニット140が含む通信デバイス(図示せず)としては、例えば、IEEE802.15.1ポートおよび送受信回路(無線通信)や、IEEE802.11ポートおよび送受信回路(無線通信)、通信アンテナおよびRF回路(無線通信)、光通信用デバイス(有線通信または無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられる。通信デバイス(図示せず)は、複数の通信方式によって、1または2以上の外部装置と通信を行うことが可能な構成であってもよい。
【0049】
また、制御ユニット140は、カメラヘッド136から出力された撮像信号に対して所定の処理を行い、所定の処理が行われた撮像信号を表示装置20へ送信してもよい。撮像信号に対する所定の処理としては、例えば、ホワイトバランスの調整や、電子ズーム機能に係る画像の拡大または縮小、画素間補正などが、挙げられる。
【0050】
なお、制御ユニット140は、撮像信号に基づく医療用撮像画像を記憶してもよい。制御ユニット140としては、例えばCCU(Camera Control Unit)が挙げられる。
【0051】
内視鏡装置として機能する医療用観察装置10は、例えば
図2を参照して示したハードウェア構成を有する。内視鏡装置として機能する医療用観察装置10では、例えば、挿入部材130、光源ユニット132、およびカメラヘッド136が、撮像装置の役目を果たし、制御ユニット140により撮像装置における撮像が制御される。
【0052】
(2)表示装置20
表示装置20は、第1の実施形態に係る医療用観察システム1における表示手段であり、医療用観察装置10からみて外部の表示デバイスに該当する。表示装置20は、例えば、医療用観察装置10において撮像された医療用撮像画像や、UI(User Interface)に係る画像などの、様々な画像を表示画面に表示する。具体的に、表示装置20は、制御ユニット140から送信される撮像信号に基づき医療用撮像画像を生成し、生成した医療用撮像画像を表示画面に表示する。
【0053】
また、表示装置20は、任意の方式により3D表示が可能な構成を有していてもよい。表示装置20における表示は、例えば、医療用観察装置10、または、医療用制御装置(図示せず)によって制御される。
【0054】
医療用観察システム1において表示装置20は、手術室の壁面や天井、床面などの、手術室内においてユーザにより視認されうる任意の場所に設置される。
【0055】
表示装置20としては、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどが挙げられる。
【0056】
なお、表示装置20は、上記に示す例に限られない。例えば、表示装置20は、ヘッドマウントディスプレイやアイウェア型の装置などのような、ユーザなどが身体に装着して用いる任意のウェアラブル装置であってもよい。
【0057】
表示装置20は、例えば、表示装置20が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
【0058】
<2.2.機能構成例>
続いて、
図3~
図7を参照しながら、医療用観察システム1の機能構成例について説明する。
【0059】
<2.2.1.医療用観察装置10の機能構成例>
以下では、
図3及び
図4を参照しながら、第1の実施形態に係る医療用観察装置10の機能構成例について説明する。
図3は、第1の実施形態に係る医療用観察装置10の機能構成例を示すブロック図である。
図3に示すように、第1の実施形態に係る医療用観察装置10は、例えば、撮像部100、制御部110、及び通信部120を備える。
【0060】
(1)撮像部100
撮像部100は、観察対象を撮像する。撮像部100は、例えば、
図2にて示した挿入部材130、光源ユニット132、およびカメラヘッド136で構成される。撮像部100における撮像は、例えば制御部110によって制御される。
【0061】
(2)制御部110
制御部110は、例えば上述したプロセッサ(図示せず)で構成され、医療用観察装置10全体を制御する役目を果たす。また、制御部110は、後述する撮像制御処理及び表示制御処理を主導的に行う役目を果たす。なお、制御部110における撮像制御処理及び表示制御処理は、複数の処理回路(例えば、複数のプロセッサなど)で分散して行われてもよい。
【0062】
より具体的に、制御部110は、
図3に示すように、明るさ制御部112、及び表示制御部114を有する。
【0063】
(2-1)明るさ制御部112
明るさ制御部112は、撮像部100を構成する撮像装置を制御する。例えば、明るさ制御部112は、撮像装置が観察対象を撮像する際の明るさを制御するための撮像制御処理を行う。具体的に、明るさ制御部112は、表示装置20を判定するための判定情報に基づき、表示装置20のダイナミックレンジを特定する。次いで、明るさ制御部112は、特定された表示装置20のダイナミックレンジに対応する明るさの目標値を決定する。より具体的に、撮像制御処理では、以下に示す判定情報取得処理、判定処理、及び明るさの目標値の決定処理が行われる。
【0064】
(判定情報取得処理)
明るさ制御部112は、まず、医療用観察装置10に接続されている表示装置20を判定するための判定情報を取得する。当該判定情報は、操作情報とダイナミックレンジ情報とを含み得る。
【0065】
操作情報とは、ユーザによる所定の操作により入力される操作に関する情報である。例えば、ユーザは、医療用撮像画像を表示する表示装置20を選択する選択操作を行う。明るさ制御部112は、ユーザが選択した表示装置20に関する情報を操作情報(判定情報)として取得する。
【0066】
ダイナミックレンジ情報とは、表示装置20のダイナミックレンジを示す情報である。明るさ制御部112は、例えば、医療用観察装置10に接続されている表示装置20からダイナミックレンジ情報を取得する。また、明るさ制御部112は、医療用観察装置10に接続されている表示装置20から識別情報を取得し、当該識別情報に基づき、表示装置20のダイナミックレンジ情報を取得してもよい。例えば、明るさ制御部112は、取得した識別情報に基づき、医療用観察装置10の記憶部に予め登録されている表示装置20のダイナミックレンジ情報を参照することで、表示装置20のダイナミックレンジ情報を取得する。
【0067】
なお、明るさ制御部112は、医療用観察装置10と表示装置20とが片方向通信のみ可能なケーブル等で接続されている場合、表示装置20からダイナミック情報又は識別情報を取得できないため、上述の操作情報を取得する。一方、明るさ制御部112は、医療用観察装置10と表示装置20とが双方向通信可能なケーブル等で接続されている場合、上述のダイナミックレンジ情報又は識別情報を表示装置20から取得する。片方向通信のみ可能なケーブルは、例えば、SDI(Serial Digital Interface)ケーブル等である。また、双方向通信可能なケーブルは、例えば、HDMI(High-Difintiion Multimedia Interface)ケーブル又はDisplay Portケーブル等である。なお、SDIケーブルにより医療用観察装置10と表示装置20が接続される場合、医療用観察装置10は表示装置20へユーザIDを送信し、表示装置20は当該ユーザIDに応じて逆ガンマ補正及び明るさの調整を行ってもよい。この場合、ユーザIDは、ユーザが使用する表示装置20と対応付けられているものとする。
【0068】
(判定処理)
明るさ制御部112は、取得した判定情報に基づき、表示装置20のダイナミックレンジを特定する。例えば、明るさ制御部112は、所定の選択操作に基づき、表示装置20のダイナミックレンジを特定する。具体的に、明るさ制御部112は、判定情報として取得した操作情報より、ユーザが選択操作により選択した表示装置20を確認する。そして、明るさ制御部112は、ユーザに選択された表示装置20のダイナミックレンジを、医療用観察装置10に接続された表示装置20のダイナミックレンジとして特定する。また、明るさ制御部112は、判定情報として取得したダイナミックレンジ情報に基づき、表示装置20のダイナミックレンジを特定する。具体的に、明るさ制御部112は、判定情報として取得したダイナミックレンジ情報が示すダイナミックレンジを、医療用観察装置10に接続された表示装置20のダイナミックレンジとして特定する。
【0069】
明るさ制御部112は、判定処理にて特定した表示装置20のダイナミックレンジに基づき、撮像部100にどのように観察対象を撮像させるかを決定する。例えば、表示装置20のダイナミックレンジがHDRである場合、表示装置20は、輝度を高くして医療用撮像画像を表示する。そのため、明るさ制御部112は、撮像部100に明るさを暗くして観察対象を撮像させると決定する。一方、表示装置20のダイナミックレンジがSDRである場合、表示装置20は、輝度を高くすることなく医療用撮像画像を表示する。そのため、明るさ制御部112は、撮像部100に明るさを暗くせずに観察対象を撮像させると決定する。
【0070】
(明るさ目標値の決定処理)
明るさ制御部112は、判定処理の結果に応じて、観察対象を撮像する際の明るさの目標値を決定する。例えば、撮像部100に明るさを暗くして観察対象を撮像させると決定した場合、明るさ制御部112は、表示装置20のダイナミックレンジと、所定のダイナミックレンジとを比較し、比較の結果に基づき明るさの目標値を決定する。具体的に、明るさ制御部112は、表示装置20のダイナミックレンジの最大値と、所定のダイナミックレンジの最大値との差分を抽出し、当該差分に基づき、明るさの目標値を決定する。
【0071】
例えば、明るさ制御部112は、表示装置20のダイナミックレンジの最大値が、所定のダイナミックレンジの最大値のn倍(nは実数)である場合、表示装置20における明るさの目標値を、所定のダイナミックレンジに対応する目標値の1/n倍とする。具体的に、医療用観察装置10に接続された表示装置20のダイナミックレンジがHDRであり、HDRの表示装置20のダイナミックレンジの最大値がSDRの表示装置20のダイナミックレンジの最大値の2倍であったとする。この場合、明るさ制御部112は、HDRの表示装置20における明るさの目標値をSDRの表示装置20の明るさ目標値の1/2倍とする。
【0072】
なお、明るさの目標値は、撮像装置が観察対象を撮像する際の明るさが明るくなるように決定されてもよい。また、表示装置20における明るさの目標値を算出する際の所定のダイナミックレンジに対応する目標値に乗算する倍率は、1/n倍に限定されず、任意の倍率が設定されてもよい。
【0073】
(明るさの制御処理)
明るさ制御部112は、例えば、光源ユニット132が発光する光の光量を制御することで、撮像部100が観察対象を撮像する際の明るさを調整する。具体的に、撮像時の明るさを明るくしたい場合、明るさ制御部112は、光源ユニット132が発光する光の光量を多くする。これにより、観察対象に投射される光量が多くなるため、撮像時の明るさが明るくなり、撮像信号の明るさも明るくなる。一方、撮像時の明るさを暗くしたい場合、明るさ制御部112は、光源ユニット132が発光する光の光量を少なくする。これにより、観察対象に投射される光量が少なくなるため、撮像時の明るさが暗くなり、撮像信号の明るさも暗くなる。
【0074】
(その他の制御処理)
また、明るさ制御部112は、例えば、ズーム機能(光学ズーム機能および電子ズーム機能)を含む、AF機能の制御などの一般的に電子撮像式の顕微鏡部に備えられる1または2以上の機能の制御を行ってもよい。
【0075】
(2-2)表示制御部114
表示制御部114は、表示装置20における医療用撮像画像の表示を制御する。医療用撮像画像の表示の制御としては、例えば、表示制御部114は、表示制御処理を行い、医療用撮像画像が表示装置20に表示される際の明るさの制御を行う。
【0076】
ここで、
図4を参照しながら、ガンマ補正について説明する。
図4は、第1の実施形態に係る医療用観察装置10における入出力関係の例を示す説明図である。
図4に示すグラフの横軸は、医療用観察装置10に入力されるデータを示し、縦軸は、医療用観察装置10から出力されるデータを示す。
【0077】
通常、表示装置20には、入力された撮像信号に対応する画像がそのまま出力されることが理想である。当該理想のように画像が出力されるには、表示装置における入出力関係を示すガンマ値が1.0に設定されている必要がある。しかしながら、一般的には、表示装置20におけるガンマ値は1.0ではなく2.2に設定されており、入力された撮像信号のRGBの値を小さくして撮像信号に対応する医療用撮像画像を暗くする逆ガンマ補正という処理が行われている。そのため、表示装置20に対して撮像信号を撮像時の状態のまま入力すると、表示装置20における逆ガンマ補正により医療用撮像画像が暗く表示される。そのため、撮像信号が表示装置に入力される前に予めRGBの値を大きくしておくことで、表示装置20にて医療用撮像画像が暗く表示されることを防ぐことができる。上述のように、RGBの値を予め大きくする処理は、ガンマ補正と称される。
【0078】
なお、ガンマ値が1.0である場合の入出力関係は、
図4に示す破線のようになる。また、ガンマ値が2.2の場合の入出力関係は、
図4に示す1点鎖線のようになり、当該関係はSDRの表示装置20における入出力関係に相当する。なお、HDRの表示装置20における入出力関係は、
図4に示す二点鎖線のようになる。当該二点鎖線は、HLG(Hybrid Log Gamma)方式に基づく入出力関係を示している。なお、HDRの表示装置20における入出力関係は、PQ(Perceptual Quantization)方式に基づく入出力関係であってもよい。
【0079】
第1の実施形態に係る医療用観察装置10では、表示制御部114が撮像信号に対して表示装置20が有するガンマ値に基づきガンマ補正を行い、ガンマ補正が行われた撮像信号から生成される医療用撮像画像を表示装置20に表示させる。例えば、表示制御部114は、表示装置20と所定のガンマ値を有する表示装置20とに表示される医療用撮像画像の中間の輝度値が同一となるように、撮像信号に対してガンマ補正を行う。具体的に、表示制御部114は、医療用撮像画像がHDRの表示装置20に表示される場合、HDRの表示装置20とガンマ値が2.2のSDRの表示装置20とに表示される医療用撮像画像の中間の輝度値が同一となるようにガンマ補正を行う。これにより、表示装置20は、HDRの表示装置20とSDRの表示装置20の両方における医療用撮像画像の視認性が同一となるように、各々の表示装置20に医療用撮像画像を表示することができる。
【0080】
(3)通信部120
通信部120は、医療用観察装置10が備える通信手段であり、表示装置20などの外部装置と無線または有線で通信を行う役目を果たす。通信部120は、例えば上述した通信デバイス(図示せず)で構成される。通信部120における通信は、例えば制御部110によって制御される。
【0081】
<2.2.2.表示装置20の機能構成例>
以下では、
図5及び
図6を参照しながら、第1の実施形態に係る表示装置20の機能構成例について説明する。
図5は、第1の実施形態に係る表示装置20における入出力関係の例を示す説明図である。
図5に示すグラフの横軸は、表示装置20に入力されるデータを示し、縦軸は、表示装置20から出力されるデータを示す。
【0082】
表示装置20は、少なくとも制御部(図示しない)を備える。当該制御部は、ガンマ補正によりRGBの値が予め大きくされた撮像信号に対して、逆ガンマ補正を行う。これにより、当該制御部は、撮像信号のRGBの値を小さくすることで、
図5に破線で示されている理想的な入出力関係により近づけた上で、撮像信号を医療用撮像画像として表示装置20に表示させる。
【0083】
医療用撮像画像がSDRの表示装置20に表示される場合、当該制御部は、
図5の1点鎖線が示す入出力関係に基づき、逆ガンマ補正を行う。なお、一点鎖線が示す入出力関係は、ガンマ値が2.2の場合の入出力関係を示している。また、医療用撮像画像がHDRの撮像画像に表示される場合、当該制御部は、
図5に示す二点鎖線が示す入出力関係に基づき、逆ガンマ補正を行う。なお、二点鎖線が示す入出力関係は、HLG(Hybrid Log Gamma)方式に基づく入出力関係を示している。なお、HDRの表示装置20における入出力関係は、PQ(Perceptual Quantization)方式に基づく入出力関係であってもよい。
【0084】
ここで、
図6を参照しながら、表示装置20が表示する医療用撮像画像について説明する。
図6は、第1の実施形態に係る医療用撮像画像の表示例を示す説明図である。
図6の上部の図は、SDRの表示装置20に表示された医療用撮像画像、下部の図は、HDRの表示装置20に表示された医療用撮像画像を示している。また、
図6の左側の図は、撮像時の医療用撮像画像、右側の図は、補正後の医療用撮像画像を示している。
【0085】
上部左側の医療用撮像画像は、SDRの表示装置に表示されるため、明るさを暗くせず、普通の明るさで撮像されており、観察対象50には白飛びが生じている。上部左側の医療用撮像画像が補正された上部右側の医療用撮像画像の明るさは、補正により上部左側の医療用撮像画像の明るさよりも明るくなっており、観察対象50には白飛びが生じたままとなっている。
【0086】
下部左側の医療用撮像画像は、HDRの表示装置に表示されるため、上部左側の医療用撮像画像の明るさよりも暗い明るさで撮像されており、観察対象50には白飛びが生じていない。下部左側の医療用撮像画像が補正された下部右側の医療用撮像画像の明るさは、補正により下部左側の医療用撮像画像の明るさよりも明るくなっているが、観察対象50には白飛びが生じていない。
【0087】
<2.3.動作例>
以下では、
図7~
図10を参照しながら、第1の実施形態に係る医療用観察システム1の動作例について説明する。
【0088】
(1)医療用観察システム1全体の動作例
まず、医療用観察システム1が表示装置20に医療用撮像画像を表示するまでの一連の動作例について説明する。
図7は、第1の実施形態に係る医療用観察システム1の動作の流れを示すシーケンス図である。
【0089】
図7に示すように、まず、制御部110は、判定情報を取得する(ステップS1000)。次いで、制御部110は、取得した判定情報に基づき、医療用観察装置10に接続されている表示装置20のダイナミックレンジを判定する判定処理を行う(ステップS1002)。なお、判定処理の詳細処理については、後述される。次いで、制御部110は、判定処理の結果に基づき、明るさの目標値を決定する(ステップS1004)。そして、制御部110は、決定した目標値の明るさとなる医療用撮像画像を撮像するように、撮像部100へ撮像指示を出力する(ステップS1006)。
【0090】
制御部110から撮像指示を入力された撮像部100は、撮像指示に従い観察対象を撮像し(ステップS1008)、撮像によって得られた撮像信号を制御部110へ出力する(ステップS1010)。
【0091】
撮像部100から撮像信号を入力された制御部110は、撮像信号に対して、撮像信号が送信される表示装置20に応じた補正処理を行う(ステップS1012)。なお、補正処理の詳細処理については後述される。補正処理後、制御部110は、通信部120を介して補正した撮像信号を表示装置20へ送信する(ステップS1014)。
【0092】
撮像信号を受信した表示装置20は、撮像信号を医療用撮像画像として表示するための表示処理を行う(ステップS1016)。なお、表示処理の詳細処理については、後述される。医療用観察システム1は、当該表示処理にて表示装置20に医療用撮像画像が表示されると動作を終了する。
【0093】
(2)判定処理
次いで、第1の実施形態に係る制御部110における、判定処理の詳細処理について説明する。
図8は、第1の実施形態に係る判定処理における処理の流れを示すフローチャートである。
【0094】
図8に示すように、まず、制御部110は、取得した判定情報より、医療用観察装置10に接続されている表示装置20のダイナミックレンジを特定する(ステップS1200)。次いで、制御部110は、特定したダイナミックレンジがHDRであるか否かを確認する(ステップS1202)。特定したダイナミックレンジがHDRである場合(ステップS1202/YES)、制御部110は、明るさを暗くして撮像部100に観察対象を撮像させると決定する(ステップS1204)。一方、特定したダイナミックレンジがHDRでない場合(ステップS1202/NO)、制御部110は、明るさを暗くせずに撮像部100に観察対象を撮像させると決定する(ステップS1206)。そして、制御部110は、判定処理を終了する。
【0095】
(3)補正処理
次いで、第1の実施形態に係る制御部110における、補正処理の詳細処理について説明する。
図9は、第1の実施形態に係る補正処理における処理の流れを示すフローチャートである。
【0096】
図9に示すように、まず、制御部110は、入力された撮像信号のホワイトバランスを調整する(ステップS1400)。次いで、制御部110は、表示装置20のダイナミックレンジに応じたガンマ補正を行う(ステップS1402)。例えば、ダイナミックレンジがHDRである場合、制御部110は、HDRに対応するガンマ値を用いて、撮像信号に対してガンマ補正を行う。また、ダイナミックレンジがSDRである場合、制御部110は、SDRに対応するガンマ値を用いて、撮像信号に対してガンマ補正を行う。そして、制御部110は、ガンマ補正後の撮像信号をRGBからYCbCrへ変換し(ステップS1404)、補正処理を終了する。
【0097】
(4)表示処理
次いで、第1の実施形態に係る表示装置20における、表示処理の詳細処理について説明する。
図10は、第1の実施形態に係る表示処理における処理の流れを示すフローチャートである。
【0098】
図10に示すように、まず、表示装置20は、受信した撮像信号をYCbCrからRGBへ変換する(ステップS1600)。次いで、表示装置20は、変換した撮像信号に対して、表示装置20のダイナミックレンジに応じた逆ガンマ補正を行う(ステップS1602)。例えば、ダイナミックレンジがHDRである場合、表示装置20は、HDRに対応するガンマ値を用いて、撮像信号に対して逆ガンマ補正を行う。また、ダイナミックレンジがSDRである場合、表示装置20は、SDRに対応するガンマ値を用いて、撮像信号に対して逆ガンマ補正を行う。そして、表示装置20は、補正された撮像信号に対応する医療用撮像画像を生成し、生成した医療用撮像画像を表示し(ステップS1604)、表示処理を終了する。
【0099】
以上、
図2~
図10を参照しながら、第1の実施形態について説明した。続いて、第2の実施形態について説明する。
【0100】
<<3.第2の実施形態>>
以下では、
図11~
図14を参照しながら、第2の実施形態について説明する。上述の第1の実施形態では、医療用観察装置10に1台の表示装置20のみが接続される例について説明した。第2の実施形態では、医療用観察装置10に複数台の表示装置20が接続される例について説明する。なお、以下では、第1の実施形態と相違する点のみを説明し、第1の実施形態と重複する点の説明を省略する。
【0101】
<3.1.システム構成例>
以下では、
図11を参照しながら、第2の実施形態に係る医療用観察システム2の構成例について説明する。
図11は、第2の実施形態に係る医療用観察システム2の構成例を示す説明図である。
図11に示すように、第2の実施形態に係る医療用観察システム2は、例えば、医療用観察装置10と、表示装置20Aと、表示装置20Bとを有する。
【0102】
なお、医療用観察装置10に複数台の表示装置20が接続される点以外の第2の実施形態に係る医療用観察システム2のシステム構成は、上述した第1の実施形態に係る医療用観察システム1のシステム構成と同一である。したがって、本節では、医療用観察システム2のシステム構成に関する詳細な説明を省略する。
【0103】
<3.2.機能構成例>
以下では、第2の実施形態に係る医療用観察装置10の機能構成例について説明する。なお、第2の実施形態に係る医療用観察装置10の機能構成は、第1の実施形態に係る医療用観察装置10の機能構成と同一である。ただし、制御部110における一部処理が異なる。したがって、本節では、制御部110における当該一部処理についてのみ説明する。
【0104】
(1)制御部110
第2の実施形態に係る制御部110の機能構成は、第1の実施形態に係る制御部110の機能構成と同一である。ただし、各々の構成要素における処理が一部異なる。
【0105】
(1-1)明るさ制御部112
第2の実施形態に係る明るさ制御部112は、明るさ目標値を決定する際の基準となる表示装置20を、複数の表示装置20の中から選択する点が第1の実施形態に係る明るさ制御部112と異なる。複数の表示装置20が存在する場合、明るさ制御部112は、撮像信号が複数の表示装置20の中から選択される表示装置20のダイナミックレンジに対応する明るさとなるように、撮像装置における撮像を制御する。
【0106】
複数の表示装置20の中から選択される表示装置20は、例えば、所定のユーザに対応付けられている表示装置20である。具体的に、所定のユーザに対応付けられている表示装置20として、メインの術者に対応付けられた表示装置20が選択され得る。さらに、所定のユーザに対応付けられている表示装置20として、メインの術者の補助者に対応付けられた表示装置20が選択され得る。また、複数の表示装置20の中から選択される表示装置20は、例えば、複数の表示装置20の中で表示装置20のダイナミックレンジが高い表示装置20であってもよい。具体的に、ダイナミックレンジが高い表示装置20として、HDRの表示装置20が選択され得る。複数の表示装置20の中から特定の表示装置20を選択すると、明るさ制御部112は、第1の実施形態と同様にして、明るさの目標値を決定する。
【0107】
(1-2)表示制御部114
第2の実施形態に係る表示制御部114は、複数の表示装置20の各々に医療用撮像画像を表示させるために、各々の表示装置20の特性に合わせた複数の撮像信号を生成する点が第1の実施形態に係る表示制御部114と異なる。
【0108】
複数の表示装置20が存在する場合、表示制御部114は、複数の表示装置20の各々が有するガンマ値に基づきガンマ補正が行われた撮像信号から生成される医療用撮像画像を、複数の表示装置20の各々に表示させる。ここで、
図12を参照しながら、第2の実施形態に係るガンマ補正の例について説明する。
図12は、第2の実施形態に係る複数の表示装置20向けのガンマ補正の例を示す説明図である。
図12の左側の図は、HDRの表示装置20向けのガンマ補正の例を示し、右側の図は、SDRの表示装置20向けのガンマ補正の例を示している。
【0109】
例えば、表示制御部114は、撮像信号に対して
図12の左側のグラフに示すガンマ補正を行うことで、複数の表示装置20の中のHDRの表示装置20向けの撮像信号を生成する。また、表示制御部114は、撮像信号に対して
図12の右側のグラフに示すガンマ補正を行うことで、複数の表示装置20の中のSDRの表示装置20向けの撮像信号を生成する。なお、表示制御部114は、
図12の左側のグラフに示すガンマ補正では、入力される撮像信号の全てを使ってガンマ補正を行うのに対し、右側のグラフに示すガンマ補正では、入力される撮像信号の低レベルの部分だけを使ってガンマ補正を行う。これにより、表示制御部114は、SDRの表示装置20に表示させる医療用撮像画像の高輝度部分を飽和させることができる。
【0110】
また、表示制御部114は、明るさ制御部112によって決定されたHDRの表示装置20に応じた明るさの目標値に対応する明るさとなる医療用撮像画像をSDRの表示装置20に表示させるために、撮像画像全体に対してゲインを乗じてもいい。具体的には、明るさ制御部112によって決定されたHDRの表示装置20に応じた明るさの目標値とSDRの表示装置20に応じた明るさの目標値との比に基づく係数をゲインとして医療用撮像画像に乗じてもいい。これによりHDRの表示装置20に応じた明るさとなる医療用撮像画像をSDRの表示装置20に表示する際に、SDIの表示装置20においても良好な明るさで撮像画像を表示可能である。
【0111】
<3.3.動作例>
以下では、
図13及び
図14を参照しながら、第2の実施形態に係る医療用観察システム2の動作例について説明する。
【0112】
(1)医療用観察システム2全体の動作例
まず、医療用観察システム2が複数の表示装置20に医療用撮像画像を表示するまでの一連の動作例について説明する。
図13は、第2の実施形態に係る医療用観察システム2の動作の流れを示すシーケンス図である。
【0113】
図13に示すように、まず、制御部110は、判定情報を取得する(ステップS2000)。次いで、制御部110は、取得した判定情報に基づき、医療用観察装置10に接続されている表示装置20A、及び表示装置20Bの各々のダイナミックレンジを判定する判定処理を行う(ステップS2002)。なお、判定処理の詳細処理は、第1の実施形態にて説明した判定処理と同一であるため、本節における説明は省略される。次いで、制御部110は、判定処理の結果に基づき、明るさの目標値を決定する(ステップS2004)。そして、制御部110は、決定した目標値の明るさとなる医療用撮像画像を撮像するように、撮像部100へ撮像指示を出力する(ステップS2006)。
【0114】
制御部110から撮像指示を入力された撮像部100は、撮像指示に従い観察対象を撮像し(ステップS2008)、撮像によって得られた撮像信号を制御部110へ出力する(ステップS2010)。
【0115】
撮像部100から撮像信号を入力された制御部110は、撮像信号に対して、撮像信号が送信される表示装置20A及び表示装置20Bの各々に応じた補正処理を行う(ステップS2012)。なお、補正処理の詳細処理については、後述される。補正処理後、制御部110は、通信部120を介して補正した撮像信号を表示装置20A及び表示装置20Bの各々へ送信する(ステップS2014及びステップS2016)。
【0116】
撮像信号を受信した表示装置20A及び表示装置20Bは、撮像信号を医療用撮像画像として表示するための表示処理をそれぞれ行う(ステップS2018及びステップS2020)。なお、表示処理の詳細処理は、第1の実施形態にて説明した表示処理と同一であるため、本節における説明は省略される。医療用観察システム2は、当該表示処理にて表示装置20A及び表示装置20Bに医療用撮像画像が表示されると動作を終了する。
【0117】
(2)補正処理
次いで、第2の実施形態に係る制御部110における、補正処理の詳細処理について説明する。
図14は、第2の実施形態に係る補正処理における処理の流れを示すフローチャートである。
【0118】
図14に示すように、まず、制御部110は、入力された撮像信号のホワイトバランスを調整する(ステップS2200)。次いで、制御部110は、複数の表示装置20の各々のダイナミックレンジに応じたガンマ補正を行い、複数の撮像信号を生成する(ステップS2202)。例えば、表示装置20AのダイナミックレンジがHDRである場合、制御部110は、HDRに対応するガンマ値を用いて、撮像信号に対してガンマ補正を行い、表示装置20Aに送信するための撮像信号を生成する。また、例えば、表示装置20BのダイナミックレンジがSDRである場合、制御部110は、SDRに対応するガンマ値を用いて、撮像信号に対してガンマ補正を行い、表示装置20Bに送信するための撮像信号を生成する。そして、制御部110は、ガンマ補正後の撮像信号をRGBからYCbCrへ変換し(ステップS2204)、補正処理を終了する。
【0119】
以上、
図11~
図14を参照しながら、第2の実施形態について説明した。続いて、本開示の実施形態の変形例について説明する。
【0120】
<<4.変形例>>
以下では、本開示の実施形態の変形例を説明する。なお、以下に説明する変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
【0121】
<4.1.第1の変形例>
以下では、本開示の実施形態に係る第1の変形例について説明する。
【0122】
上述の実施形態では、制御部110がダイナミックレンジに基づき明るさの目標値を決定する例について説明した。第1の変形例では、制御部110がさらに表示装置20の表示モードに基づき、明るさの目標値を決定する例について説明する。
【0123】
表示モードの例として、医療用撮像画像を3Dで表示する3Dモードと、医療用撮像画像を2Dで表示する2Dモードとが挙げられる。一般的に、医療用撮像画像を3Dモードで表示可能な表示装置20(例えば3Dメガネ)では、医療用撮像画像を2Dモードで表示する表示装置20の場合と比べ、明るさが暗く表示される。そこで、3Dモードの場合、制御部110は、医療用撮像画像が2Dモードの場合よりも暗く表示されることを考慮した上で明るさの目標値を決定する。例えば、制御部110は、撮像装置が明るさを明るくして観察対象を撮像し、表示装置20である3Dメガネが明るさを暗くして医療用撮像画像を表示することを考慮した明るさの目標値を決定する。なお、2Dモードの場合、制御部110は、上述した実施形態と同様にして明るさの目標値を決定してよい。
【0124】
上述のように、制御部110は、表示装置20の表示モードも考慮して明るさの目標値を決定することで、表示装置20により最適な明るさの医療用撮像画像を表示することができ、ユーザが医療用撮像画像を視認する際の視認性を向上することができる。
【0125】
<4.2.第2の変形例>
以下では、
図15を参照しながら、本開示の実施形態に係る第2の変形例について説明する。
図15は、変形例に係る判定処理を示す説明図である。
【0126】
上述の実施形態では、制御部110がダイナミックレンジに基づき明るさの目標値を決定する例、及び制御部110が表示装置20の表示モードに基づき明るさの目標値を決定する例について説明した。第2の変形例では、制御部110がさらに撮像装置の種類に基づき、明るさの目標値を決定する例について説明する。
【0127】
上述の実施形態では、観察対象の撮像時に観察対象に対して可視光(例えば白色光)を当てる撮像装置の例を説明した。撮像装置には、例えば、観察対象の撮像時に観察対象に対して特殊光を当てる撮像装置が用いられてもよい。特殊光を用いて撮像される医療用撮像画像は、白飛びせずに撮像される。したがって、撮像装置が特殊光を用いて観察対象を撮像する撮像装置である場合、制御部110は、撮像装置が明るさを暗くせずに観察対象を撮像し、表示装置20が明るさを明るくせずに医療用撮像画像を表示することを考慮した明るさの目標値を決定する。
【0128】
また、撮像装置には、所定の時間ごとに可視光と特殊光とを切り替えて観察対象を撮像する撮像装置が用いられてもよい。なお、所定の時間ごとに可視光と特殊光とを切り替えて撮像された複数の医療用撮像画像は、重畳された上で表示装置20に表示される。可視光を用いて撮像された医療用撮像画像は、上述のように明るさが暗くなるように撮像されている。そのため、重畳された医療用撮像画像の表示時、重畳された医療用撮像画像に対して表示装置20が特に処理を行わない場合、重畳された医療用撮像画像は暗く表示されてしまう。そのため、制御部110は、撮像装置が可視光と特殊光とを切り替えて観察対象を撮像する撮像装置である場合、表示装置20が明るさを明るくして重畳された医療用撮像画像を表示することを考慮した明るさの目標値を決定する。
【0129】
なお、撮像装置が可視光を用いて観察対象を撮像する場合、制御部110は、撮像装置に明るさを暗くして観察対象を撮像させる。一方、撮像装置が特殊光を用いて観察対象を撮像する場合、制御部110は、撮像装置に明るさを暗くせずに観察対象を撮像させる。
【0130】
なお、所定の時間ごとに可視光と特殊光とを切り替えて観察対象を撮像する撮像装置が用いられる場合、上述の実施形態にて説明した判定処理のフローが異なるため、当該判定処理について
図15を参照しながら説明する。
図15に示すように、まず、制御部110は、撮像装置が観察対象に当てる光の種類を確認する(ステップS3200)。次いで、制御部110は、観察対象に当てる光が可視光であるか否かを確認する(ステップS3202)。観察対象に当てる光が可視光である場合(ステップS3202/YES)、制御部110は、明るさを暗くして撮像部100に観察対象を撮像させると決定する(ステップS3204)。一方、観察対象に当てる光が可視光でない場合(ステップS3202/NO)、制御部110は、明るさを暗くせずに撮像部100に観察対象を撮像させると決定する(ステップS3206)。そして、制御部110は、判定処理を終了する。
【0131】
上述のように、制御部110は、撮像装置の種類も考慮して明るさの目標値を決定することで、表示装置20により最適な明るさの医療用撮像画像を表示することができ、ユーザが医療用撮像画像を視認する際の視認性を向上することができる。
【0132】
<4.3.第3の変形例>
以下では、本開示の実施形態に係る第3の変形例について説明する。
【0133】
表示制御部114は、医療用撮像画像が表示装置20に表示される際の医療用撮像画像の輝度に応じて、表示装置20に表示される文字の輝度を調整する。例えば、表示制御部114は、医療用撮像画像が表示装置20に表示される際の医療用撮像画像の輝度に応じて、OSD(On Screen Display)により表示される情報(以下では、OSD情報とも称される)の輝度を下げてもよい。表示装置20のダイナミックレンジがHDRである場合、表示装置20は、暗く撮像された医療用撮像画像を表示する際に表示装置20の輝度を高くする。これにより、OSD情報も明るく表示されるため、OSD情報の視認性が低下し得る。そこで、表示制御部114は、観察対象の撮像時に撮像装置が明るさを暗くした比率と同じ比率でOSD情報を表示する際の輝度を下げて、表示装置20にOSD情報を表示させる。これにより、表示制御部114は、表示装置20に医療用撮像画像よりもOSD情報を暗く表示させることができる。
【0134】
上述のように、表示制御部114は、表示装置20にOSD情報の輝度を医療用撮像画像の輝度よりも下げて、OSD情報を表示させることで、ユーザがOSD情報を視認する際の視認性を向上することができる。
【0135】
<4.4.第4の変形例>
以下では、本開示の実施形態に係る第4の変形例について説明する。
【0136】
表示装置20のダイナミックレンジがHDRである場合、上述の実施形態に係る撮像装置は、明るさを暗くして観察対象を撮像するため、暗く撮像した分だけデジタルゲインが大きくなる。デジタルゲインが大きくなることにより、SN比(Signal-Noise Ratio)が悪化し、医療用撮像画像中のノイズが増加する。そこで、制御部110は、表示装置20のダイナミックレンジがHDRである場合、撮像信号に対してノイズリダクション処理を行ってもよい。例えば、制御部110は、補正処理にてノイズリダクション処理を行う。なお、制御部110は、表示装置20のダイナミックレンジがSDRである場合もノイズリダクション処理を行ってもよい。なお、表示装置20のダイナミックレンジがSDRである場合よりもHDRである場合の方が医療用撮像画像に含まれるノイズは多い。そのため、制御部110は、表示装置20のダイナミックレンジがHDRである場合、SDRである場合よりもノイズリダクション処理の強度を強くし、ノイズリダクション処理を行うことが望ましい。
【0137】
上述のように、表示制御部114は、撮像信号に対してノイズリダクション処理を行うことで、撮像信号に含まれるノイズを低減し、ユーザが医療用撮像画像を視認する際の視認性を向上することができる。
【0138】
<4.5.第5の変形例>
以下では、本開示の実施形態に係る第5の変形例について説明する。
【0139】
上述の実施形態では、制御部110が光源ユニット132から投射される光量を制御することで、撮像時の明るさを調整する例について説明した。撮像時の明るさは、撮像装置のカメラヘッド136が有するイメージセンサの絞りを制御することで調整されてもよい。例えば、上述の実施形態では、制御部110は、光源ユニット132から投射される光量を少なくすることで、撮像時の明るさを暗くしたが、イメージセンサの絞りを小さくすることでレンズを通る光量を少なくし、撮像時の明るさを暗くしてもよい。
【0140】
イメージセンサの絞りが小さくなることに伴い、被写界深度がより深くなる。これにより、観察対象が撮像装置に対して近づいたり遠ざかったりした際に焦点が合う範囲が広くなるため、ユーザは、観察対象をより観察しやすくなる。
【0141】
<<5.まとめ>>
以上説明したように、本開示の実施形態に係る医療用制御装置は、観察対象からの光を受光する撮像装置が生成する撮像信号の明るさを制御する。また、医療用制御装置は、画像を表示する表示装置20に、撮像信号から生成される医療用撮像画像を表示させる。さらに、医療用制御装置は、表示装置20のダイナミックレンジが高い程、撮像信号の明るさがより暗くなるように撮像信号の明るさを制御する。これにより、医療用制御装置は、SDRの表示装置20に表示された医療用撮像画像では飽和していた部分を、HDRの表示装置20では復元して表示することができる。
【0142】
よって、医療用撮像画像の白飛びを低減することが可能な、新規かつ改良された医療用制御装置及び医療用観察装置を提供することが可能である。
【0143】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0144】
例えば、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、医療用観察装置10、表示装置20及び医療用制御装置は、単独の装置として実現されてもよい。また、例えば、医療用制御装置が、医療用観察装置10及び表示装置20とネットワーク等で接続されたサーバ装置として実現されてもよい。
【0145】
また、本明細書において説明した医療用観察装置10は、各構成要素の一部または全部が別々の装置として実現されることでシステムとして構成されてもよい。例えば、医療用観察装置10は光源及び撮像装置を備え、制御部は外部装置により実現されるシステムであってもよい。
【0146】
また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。
【0147】
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【0148】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0149】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
観察対象からの光を受光する撮像装置が生成する撮像信号の明るさを制御する明るさ制御部と、
画像を表示する表示装置に、前記撮像信号から生成される医療用撮像画像を表示させる表示制御部と、
を備え、
前記明るさ制御部は、前記表示装置のダイナミックレンジが高い程、前記撮像信号の明るさがより暗くなるように前記撮像信号の明るさを制御する、医療用制御装置。
(2)
前記明るさ制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する明るさの目標値を決定する、前記(1)に記載の医療用制御装置。
(3)
前記明るさ制御部は、所定の選択操作に基づき、前記表示装置のダイナミックレンジを特定する、前記(2)に記載の医療用制御装置。
(4)
前記明るさ制御部は、前記表示装置のダイナミックレンジを示すダイナミックレンジ情報に基づき、前記表示装置のダイナミックレンジを特定する、前記(2)に記載の医療用制御装置。
(5)
前記ダイナミックレンジ情報は、前記表示装置から取得される、前記(4)に記載の医療用制御装置。
(6)
前記ダイナミックレンジ情報は、前記表示装置から取得される識別情報に基づき取得される、前記(4)に記載の医療用制御装置。
(7)
前記明るさ制御部は、前記表示装置のダイナミックレンジと、所定のダイナミックレンジとを比較し、比較の結果に基づき前記目標値を決定する、前記(2)~(6)のいずれか一項に記載の医療用制御装置。
(8)
前記明るさ制御部は、前記表示装置のダイナミックレンジの最大値と、前記所定のダイナミックレンジの最大値との差分に基づき、前記目標値を決定する、前記(7)に記載の医療用制御装置。
(9)
前記明るさ制御部は、前記表示装置のダイナミックレンジの最大値が、前記所定のダイナミックレンジの最大値のn倍(nは実数)である場合、前記表示装置における前記目標値を、前記所定のダイナミックレンジに対応する目標値の1/n倍とする、前記(8)に記載の医療用制御装置。
(10)
複数の前記表示装置が存在する場合、
前記明るさ制御部は、前記撮像信号が複数の前記表示装置の中から選択される前記表示装置のダイナミックレンジに対応する明るさとなるように、前記撮像装置における撮像を制御する、前記(1)~(9)のいずれか一項に記載の医療用制御装置。
(11)
複数の前記表示装置の中から選択される前記表示装置は、所定のユーザに対応付けられている前記表示装置である、前記(10)に記載の医療用制御装置。
(12)
複数の前記表示装置の中から選択される前記表示装置は、複数の前記表示装置の中で前記表示装置のダイナミックレンジが高い前記表示装置である、前記(10)又は(11)に記載の医療用制御装置。
(13)
前記表示制御部は、前記撮像信号に対して前記表示装置が有するガンマ値に基づきガンマ補正を行い、前記ガンマ補正が行われた前記撮像信号から生成される前記医療用撮像画像を前記表示装置に表示させる、前記(1)~(12)のいずれか一項に記載の医療用制御装置。
(14)
前記表示制御部は、前記表示装置と所定のガンマ値を有する表示装置とに表示される前記医療用撮像画像の中間の輝度値が同一となるように、前記撮像信号に対して前記ガンマ補正を行う、前記(13)に記載の医療用制御装置。
(15)
複数の前記表示装置が存在する場合、
前記表示制御部は、複数の前記表示装置の各々が有する前記ガンマ値に基づき前記ガンマ補正が行われた前記撮像信号から生成される前記医療用撮像画像を、複数の前記表示装置の各々に表示させる、前記(13)又は(14)に記載の医療用制御装置。
(16)
前記明るさ制御部は、さらに、前記表示装置の表示モードに基づき、前記目標値を決定する、前記(2)に記載の医療用制御装置。
(17)
前記明るさ制御部は、さらに、前記撮像装置の種類に基づき、前記目標値を決定する、前記(2)又は(16)に記載の医療用制御装置。
(18)
前記表示制御部は、前記医療用撮像画像が前記表示装置に表示される際の前記医療用撮像画像の輝度に応じて、前記表示装置に表示される文字の輝度を調整する、前記(1)~(17)のいずれか一項に記載の医療用制御装置。
(19)
光を発光する光源と、
観察対象を撮像する撮像装置と、
前記光を照射された前記観察対象からの反射光を受光する前記撮像装置が生成する撮像信号の明るさを制御し、前記撮像信号から生成される医療用撮像画像を表示装置に表示させる制御部と、
を備え、
前記制御部は、前記表示装置のダイナミックレンジが高い程、前記撮像信号の明るさがより暗くなるように前記撮像信号の明るさを制御する、医療用観察装置。
【符号の説明】
【0150】
1、2 医療用観察システム
10 医療用観察装置
20 表示装置
100 撮像部
110 制御部
112 明るさ制御部
114 表示制御部
120 通信部
130 挿入部材
132 光源ユニット
134 ライトガイド
136 カメラヘッド
138 ケーブル
140 制御ユニット