特許第6927210号(P6927210)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

<>
  • 特許6927210-観察装置 図000008
  • 特許6927210-観察装置 図000009
  • 特許6927210-観察装置 図000010
  • 特許6927210-観察装置 図000011
  • 特許6927210-観察装置 図000012
  • 特許6927210-観察装置 図000013
  • 特許6927210-観察装置 図000014
  • 特許6927210-観察装置 図000015
  • 特許6927210-観察装置 図000016
  • 特許6927210-観察装置 図000017
  • 特許6927210-観察装置 図000018
  • 特許6927210-観察装置 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6927210
(24)【登録日】2021年8月10日
(45)【発行日】2021年8月25日
(54)【発明の名称】観察装置
(51)【国際特許分類】
   A61B 1/06 20060101AFI20210812BHJP
   A61B 1/045 20060101ALI20210812BHJP
   G02B 23/26 20060101ALI20210812BHJP
【FI】
   A61B1/06 610
   A61B1/045 616
   G02B23/26 B
【請求項の数】12
【全頁数】29
(21)【出願番号】特願2018-524913(P2018-524913)
(86)(22)【出願日】2017年4月26日
(86)【国際出願番号】JP2017016461
(87)【国際公開番号】WO2018003263
(87)【国際公開日】20180104
【審査請求日】2020年4月3日
(31)【優先権主張番号】特願2016-126419(P2016-126419)
(32)【優先日】2016年6月27日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2017-55339(P2017-55339)
(32)【優先日】2017年3月22日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】村松 広隆
(72)【発明者】
【氏名】山口 恭司
【審査官】 山口 裕之
(56)【参考文献】
【文献】 特開平11−099127(JP,A)
【文献】 特開2005−279255(JP,A)
【文献】 特開2015−011127(JP,A)
【文献】 特開2011−029908(JP,A)
【文献】 特開2012−245161(JP,A)
【文献】 特開2010−213746(JP,A)
【文献】 国際公開第2012/101904(WO,A1)
【文献】 特開2016−096935(JP,A)
【文献】 特開2012−115372(JP,A)
【文献】 特開2012−010981(JP,A)
【文献】 特開2006−087764(JP,A)
【文献】 特開2016−064281(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/06
A61B 1/045
(57)【特許請求の範囲】
【請求項1】
患者の術野を観察する観察装置であって、
出射する光の波長スペクトルが異なる複数の光源と、
前記複数の光源から出射された光の各々を合波した観察光を観察対象へ出射する光学系と、
前記観察対象からの光に基づいて、観察画像を生成する画像生成部と、
生成された前記観察画像の色に関する情報に基づいて、前記複数の光源のそれぞれの光量比を決定する光量比演算処理部と、
決定された光量比に基づいて、前記複数の光源を制御する制御部と、
を備え、
前記光量比演算処理部は、前記観察画像の画素と隣接画素との二色間色差の平均が最大となるように前記光量比を決定する、
観察装置。
【請求項2】
前記二色間色差の平均は、前記観察画像全体の画素における二色間色差の平均である、請求項1に記載の観察装置。
【請求項3】
前記二色間色差の平均は、前記観察画像の所定領域の画素における二色間色差の平均である、請求項1に記載の観察装置。
【請求項4】
前記光量比演算処理部は、前記光量比を変更する場合、色温度が一定に保たれるように前記光量比を決定する、請求項1〜3のいずれか一項に記載の観察装置。
【請求項5】
前記光量比演算処理部は、異なる光量比で合波された観察光を照射した複数の観察画像から算出された二色間色差の各々を比較することで、二色間色差の平均が最大となる光量比を決定する、請求項1〜4のいずれか一項に記載の観察装置。
【請求項6】
前記複数の光源は、白色光を出射する第1の光源と、所定の複数の波長帯域のレーザ光を出射する第2の光源とを含む、請求項1〜5のいずれか一項に記載の観察装置。
【請求項7】
前記光量比演算処理部は、前記第1の光源と、前記第2の光源との光量比を決定する、請求項6に記載の観察装置。
【請求項8】
前記第1の光源は、白色LED光源を含み、
前記第2の光源は、赤色レーザ光源、緑色レーザ光源、および青色レーザ光源を少なくとも含む、請求項6または7に記載の観察装置。
【請求項9】
前記光量比演算処理部は、演色性優先状態か否かを判断し、
前記光量比演算処理部によって演色性優先状態ではないと判断された場合、前記光量比演算処理部は、前記観察画像の画素と隣接画素との二色間色差の平均が最大となるように前記光量比を決定する、請求項7に記載の観察装置。
【請求項10】
前記光量比演算処理部によって演色性優先状態であると判断された場合、前記光量比演算処理部は、平均演色評価数Raが最大となるように前記光量比を決定する、請求項9に記載の観察装置。
【請求項11】
前記光量比演算処理部は、前記観察画像の画素と隣接画素との二色間色差の平均が最大となる光量比、および平均演色評価数Raが最大となる光量比をそれぞれ決定し、
前記第1の光源、および前記第2の光源の光量比は、時分割で制御される、請求項7に記載の観察装置。
【請求項12】
前記観察装置は、患者の体腔内に挿入され、前記光学系からの出射光を内部に導光し、前記体腔内の術野に対して前記出射光を照射する鏡筒をさらに備える内視鏡装置である、請求項1〜11のいずれか一項に記載の観察装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、観察装置、および観察装置の制御方法
に関する。
【背景技術】
【0002】
近年、内視鏡装置および顕微鏡装置等の患者の術野を観察する観察装置において、複数の光源からの光を照明に用いることが一般的になっている。
【0003】
例えば、観察装置の照明用の光源として、白色光源、および波長帯域が狭いレーザ光源を併せて用いることが検討されている。このような観察装置では、波長帯域が狭いレーザ光源と、血管等の特定組織が有する光吸収特性とを組み合わせることで、特定組織を強調して観察することが可能となる。
【0004】
例えば、下記の特許文献1および2には、半導体発光素子にて構成され、互いに発光波長が異なる第1の光源および第2の光源からの出射光を観察光として用いる内視鏡装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2011−10998号公報
【特許文献2】特開2015−91351号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ただし、上記の特許文献1または2に開示された内視鏡装置では、第1の光源および第2の光源からの出射光は、あらかじめ設定された光量比、またはユーザが指定する光量比にて合波された上で観察光として用いられていた。そのため、上記の特許文献1または2に開示された内視鏡装置では、観察光の波長スペクトルと、観察対象の色との組み合わせによっては、観察画像の色識別性が適切なものとならない可能性があった。
【0007】
そこで、本開示では、観察対象の色によらずに、適切な色識別性を有する観察画像を撮像することが可能な、新規かつ改良された観察装置、および観察装置の制御方法を提案する。
【課題を解決するための手段】
【0008】
本開示によれば、出射する光の波長スペクトルが異なる複数の光源と、前記複数の光源から出射された光の各々を合波した観察光を観察対象へ出射する光学系と、前記観察対象からの光に基づいて、観察画像を生成する画像生成部と、生成された前記観察画像の色に関する情報に基づいて、前記複数の光源のそれぞれの光量比を決定する光量比演算処理部と、決定された光量比に基づいて、前記複数の光源を制御する制御部と、を備える、観察装置が提供される。
【0009】
また、本開示によれば、複数の光源から互いに波長スペクトルが異なる光を出射することと、出射された光の各々を合波した観察光を観察対象へ出射することと、前記観察対象からの光に基づいて、観察画像を生成することと、生成された前記観察画像の色に関する情報に基づいて、演算処理装置によって前記複数の光源のそれぞれの光量比を決定することと、決定された光量比に基づいて、前記複数の光源を制御することと、を含む、観察装置の制御方法が提供される。
【0010】
本開示によれば、色識別性が良好となるように、観察画像の色に関する情報に基づいて、出射する光の波長スペクトルが異なる複数の光源の光量比を制御することで、複数の光源から出射された光を合波した観察光を生成することが可能である。
【発明の効果】
【0011】
以上説明したように本開示によれば、観察対象の色によらずに、適切な色識別性を有する観察画像を撮像することが可能である。
【0012】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0013】
図1】本開示の一実施形態に係る観察装置の概略構成を示す模式図である。
図2】各種光源から出射される光の波長スペクトルを比較したグラフ図である。
図3】本開示の第1の実施形態に係る観察装置が備える光源部の光学系を説明する模式図である。
図4】同実施形態に係る観察装置の構成を示すブロック図である。
図5】入力装置によって注目領域が設定された観察画像の一例である。
図6】同実施形態に係る観察装置の制御方法の一例を説明するフローチャート図である。
図7】本開示の第2の実施形態に係る観察装置が備える情報処理装置の構成を示すブロック図である。
図8】同実施形態に係る観察装置の制御方法の一例を説明するフローチャート図である。
図9】本開示の第3の実施形態に係る観察装置が備える情報処理装置の構成を示すブロック図である。
図10】同実施形態に係る観察装置の制御方法の一例を説明するフローチャート図である。
図11】同実施形態に係る観察装置の制御方法の他の例を説明する説明図である。
図12】本開示の変形例に係る観察装置の構成を示すブロック図である。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0015】
なお、説明は以下の順序で行うものとする。
1.本開示に係る技術の概要
2.第1の実施形態
2.1.光源の光学系の構成
2.2.観察装置の構成
2.3.観察装置の制御方法
3.第2の実施形態
3.1.観察装置の構成
3.2.観察装置の制御方法
4.第3の実施形態
4.1.観察装置の構成
4.2.観察装置の制御方法
5.変形例
6.まとめ
【0016】
<1.本開示に係る技術の概略>
まず、図1を参照して、本開示に係る技術の概略について説明する。図1は、本開示の一実施形態に係る観察装置の概略構成を示す模式図である。
【0017】
以下では、本開示の一実施形態に係る観察装置の一例として、内視鏡装置を例示して説明する。ただし、本開示に係る技術は、内視鏡装置に限定されず、顕微鏡装置に対しても適用することが可能である。かかる点については、<4.変形例>にて後述する。
【0018】
図1に示すように、観察装置1は、鏡筒121を介して観察光を観察対象14に出射する光源部10と、観察対象14からの光を光電変換する撮像ユニット120と、観察画像を生成する情報処理装置13とを備える。また、観察装置1は、生成された観察画像を表示する表示装置16と、観察装置1への情報入力を受け付ける入力装置15とを備えていてもよい。
【0019】
光源部10は、出射する光の波長スペクトルが異なる複数の光源を備え、複数の光源から出射された光を合波することで、観察光を生成する。光源部10は、異なる波長スペクトルの光を合波することで、種々の観察対象14に適した観察光を生成することができる。例えば、光源部10は、幅広い波長帯域の光を出射する白色光源と、狭い波長帯域の光を出射するレーザ光源とを備えていてもよく、赤、緑および青などの各色に対応する波長帯域の光をそれぞれ出射する複数の光源を備えていてもよい。
【0020】
なお、光源部10にレーザ光源を用いる場合、レーザ光源は、電力の光変換効率が高いため、観察装置1の消費電力を低下させることができる。また、レーザ光源から出射される光は、ライトガイド(いわゆる、導光部材)への光結合効率が高いため、光源部10にレーザ光源を用いることで、光学系における光量損失を減少させ、観察装置1の消費電力を低下させることができる。
【0021】
鏡筒121は、先端部まで延伸されたライトガイドを内部に備え、光源部10から出射された観察光を観察対象14まで導く。また、鏡筒121は、観察対象14から反射した光を撮像ユニット120まで導く。鏡筒121は、硬性の略円筒形状にて構成されてもよく、可撓性を有するチューブ状にて構成されてもよい。
【0022】
観察対象14は、例えば、患者の体腔内の生体組織である。観察装置1は、鏡筒121を患者の体腔内に挿入することで、光源部10から導かれた観察光を観察対象14に照射し、観察対象14から反射した光を撮像ユニット120にて撮像することで、観察対象14の画像を取得する。
【0023】
撮像ユニット120は、カラー画像を取得可能な撮像素子を備え、観察対象14からの光を撮像素子によって電気信号に光電変換し、変換した電気信号を情報処理装置13へ出力する。撮像ユニット120に備えられる撮像素子は、CCD(Charge Coupled Device)イメージセンサ、またはCMOS(Complementary Metal−Oxide−Semiconductor)イメージセンサ等の公知の各種撮像素子であってもよい。
【0024】
情報処理装置13は、撮像ユニット120から入力された電気信号を情報処理することで、観察対象14を撮像した観察画像を生成する。また、情報処理装置13は、ユーザの入力装置15への入力操作に基づいて、観察装置1に対する制御信号を生成する。情報処理装置13は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などを搭載したパーソナルコンピュータ等であってもよい。
【0025】
表示装置16は、情報処理装置13が生成した観察画像を表示する。表示装置16は、例えば、CRT(Cathode Ray Tube)表示装置、液晶表示装置、プラズマ表示装置、または有機EL(Organic ElectroLuminescence)表示装置等であってもよい。ユーザは、表示装置16に表示された観察画像を視認することで、観察装置1の操作、または観察対象14の診断もしくは治療等を行うことができる。
【0026】
入力装置15は、入力インターフェースであり、ユーザの入力操作を受け付ける。入力装置15は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチまたはレバー等のユーザによって操作される入力デバイスであってもよい。ユーザは、入力装置15を介して、各種情報または指示を観察装置1に対して入力することができる。
【0027】
本発明者らは、異なる色を有する観察対象14に対して、複数の光源からの光をそれぞれ照射して観察を行ったところ、観察画像の色識別性は、観察対象14の色と、光源部10から出射される光の波長スペクトルとの関係によって変化することを見出した。すなわち、本発明者らは、観察対象14の色によって、色識別性が良好となる光源が異なることを見出した。
【0028】
具体的には、図2に示すように、光源から出射される光は、同じ白色光であっても、光源の種類によって波長スペクトルが異なる。なお、図2は、各種光源から出射される光の波長スペクトルを比較したグラフ図である。
【0029】
図2を参照すると、例えば、「Xenon」で示されるキセノンランプから出射される光は、可視光の波長帯域の全体に亘って幅広い波長スペクトルを有する。また、「White LED」で示される白色LED(Light Emitting Diode)光源から出射される光は、450nmおよび550nm付近にピークを持つ波長スペクトルを有する。また、「RGB−LED」で示されるRGB(Red、Green、Blue)各色のLEDから出射された光を合波した観察光は、RGB各色に対応する波長帯域に狭いピークを持つ波長スペクトルを有する。さらに、「RGB−レーザ」で示されるRGB(Red、Green、Blue)各色のレーザ光源から出射された光を合波した観察光は、RGB各色に対応する3本の輝線スペクトルを有する。
【0030】
これらの光源からの光を、赤色を呈する疑似サンプルおよび黄色を呈する疑似サンプルを散布した生体組織に照射し、撮像した観察画像の色識別性を評価した。その結果を表1(赤色)および表2(黄色)に示す。なお、赤色を呈する疑似サンプルを散布した生体組織は、血液等が含まれる観察対象14を模擬し、黄色を呈する疑似サンプルを散布した生体組織は、脂肪組織等が含まれる観察対象14を模擬している。
【0031】
色識別性の比較には、赤色の疑似サンプルまたは黄色の疑似サンプルの溜まり深さが0.3mmである地点と、0.4mmである地点との二色間色差ΔEを用いた。二色間色差ΔEは、2つの色の違いを人間の知覚均等空間であるL空間における距離として表現したものであり、二色間色差ΔEが大きいほど色味が異なっていることを表す。赤色の疑似サンプルまたは黄色の疑似サンプルの溜まり深さが0.3mmである地点よりも0.4mmである地点の方が赤色または黄色の色味が強いため、両者の間での二色間色差ΔEがより大きければ、実際の色味の違いを反映して色識別性がより高くなっていると言える。
【0032】
【表1】
【0033】
【表2】
【0034】
表1および表2を参照すると、表1に示した赤色を呈する擬似サンプルでは、RGBレーザ、RGB−LED、キセノンランプ、白色LEDの順で二色間色差ΔEが大きくなっていることがわかる。一方で、表2に示した黄色を呈する擬似サンプルでは、白色LED、キセノンランプ、RGB−LED、RGBレーザの順で二色間色差ΔEが大きくなっていることがわかる。
【0035】
したがって、観察対象14の色によって、二色間色差ΔEが大きくなる光源が異なることがわかる。上記で用いた光源は、それぞれ出射する光の波長スペクトルが異なるため、観察対象14の色によって、色識別性が良好となる適切な観察光の波長スペクトルが異なると推察される。
【0036】
したがって、光源部10から出射される光の波長スペクトルが固定である観察装置では、観察対象14の色によっては、観察光の波長スペクトルが適切にならず、観察画像の色識別性が低下してしまう可能性があった。また、出射される光の波長スペクトルが異なる複数の光源を備え、ユーザが各光源の光量比を調整可能な観察装置であっても、変動する観察対象14の色に応じて、ユーザが各光源の光量比を適宜調整することは現実的ではない。よって、このような観察装置では、観察対象14によって観察画像の色識別性が低下してしまう可能性があった。
【0037】
本発明者らは、上記知見に基づいて、本開示に係る技術を想到するに至った。本開示に係る技術は、観察画像の色に関する情報に基づいて、光源部10が備える複数の光源の光量比を制御する観察装置1である。
【0038】
具体的には、観察装置1は、観察画像から算出した二色間色差が最大となる各光源の光量比を決定し、決定した光量比となるように複数の光源を制御してもよい。また、観察装置1は、あらかじめ色ごとに色識別性が最適となる各光源の光量比を設定しておき、観察画像の色に基づいて各光源の光量比を決定し、決定した光量比となるように複数の光源を制御してもよい。
【0039】
本開示に係る技術を適用した観察装置1によれば、観察対象の色に応じて、各光源の光量比を自動的に制御することで、観察画像の色識別性を向上させることが可能である。
【0040】
<2.第1の実施形態>
続いて、図3図6を参照して、本開示の第1の実施形態に係る観察装置について説明する。
【0041】
(2.1.光源の光学系の構成)
まず、図3を参照して、本実施形態に係る観察装置が備える光源部の光学系について説明する。図3は、本実施形態に係る観察装置が備える光源部の光学系を説明する模式図である。
【0042】
図3に示すように、光源部10の光学系100は、第1の光源101Wと、第1のコリメート光学系103と、第1の光源101Wと異なる波長スペクトルの光を射出する第2の光源101と、結合光学系105と、光ファイバ107と、第3のコリメート光学系109と、拡散部材111と、第2のコリメート光学系113と、ダイクロイックミラー115と、コンデンサ光学系117と、を備える。また、図示は省略するが、第1の光源101Wおよび第2の光源101には、それぞれの光源の発光出力を制御する制御部が備えられる。
【0043】
第1の光源101Wから出射された光は、第1のコリメート光学系103を通過することで、略平行光となってダイクロイックミラー115に入射する。一方、第2の光源101から出射された光は、結合光学系105、光ファイバ107、第3のコリメート光学系109、拡散部材111および第2のコリメート光学系113を順に通過することで、略平行光となってダイクロイックミラー115に入射する。ダイクロイックミラー115は、第1の光源101Wおよび第2の光源101から射出された光を合波する。合波された光は、観察光として、コンデンサ光学系117を介して、鏡筒121のライトガイド119の端部に入射される。
【0044】
第2の光源101は、第1の光源101Wと異なる波長スペクトルの光を射出する。具体的には、第2の光源101は、所定の波長帯域の光を射出する少なくとも1つ以上のレーザ光源を備える。例えば、第2の光源101は、赤色帯域のレーザ光(例えば、中心波長が約638nmのレーザ光)を出射する赤色レーザ光源101R、緑色帯域のレーザ光(例えば、中心波長が約532nmのレーザ光)を出射する緑色レーザ光源101G、および青色帯域のレーザ光(例えば、中心波長が約450nmのレーザ光)を出射する青色レーザ光源101Bを備えていてもよい。また、赤色レーザ光源101R、緑色レーザ光源101G、および青色レーザ光源101Bには、それぞれコリメータ光学系が設けられており、各レーザ光は、平行光束として出射される。
【0045】
なお、赤色レーザ光源101R、緑色レーザ光源101G、および青色レーザ光源101Bは、半導体レーザまたは固体レーザ等の公知の各種レーザ光源にて構成されてもよい。また、赤色レーザ光源101R、緑色レーザ光源101G、および青色レーザ光源101Bは、波長変換機構との組み合わせによって中心波長が制御されてもよい。
【0046】
第2の光源101は、光の三原色に対応する各波長帯域の光を出射する赤色レーザ光源101R、緑色レーザ光源101G、および青色レーザ光源101Bを備えることにより、各レーザ光源から出射されるレーザ光を合波することで、白色光を生成することができる。また、第2の光源101は、赤色レーザ光源101R、緑色レーザ光源101G、および青色レーザ光源101Bの光量比を適宜調整することで、合波された白色光の色温度を調整することも可能である。
【0047】
ただし、本実施形態に係る観察装置1の光源部10において、第1の光源101W、および第2の光源101の光源の種類は、上記例示に限定されない。第1の光源101W、および第2の光源101の光源の種類は、出射される光の波長スペクトルが互いに異なっていれば、観察目的および観察対象14の種類等に応じて適宜選択することが可能である。
【0048】
また、第2の光源101は、赤色レーザ光源101R、緑色レーザ光源101G、および青色レーザ光源101Bから出射されたレーザ光をそれぞれ反射するダイクロイックミラー115R、115G、115Bをさらに備える。ダイクロイックミラー115R、115G、115Bは、赤色レーザ光源101R、緑色レーザ光源101G、および青色レーザ光源101Bから射出されたレーザ光を平行光束として合波し、後段の結合光学系105に対して出射する。
【0049】
なお、ダイクロイックミラー115R、115G、115Bは、各レーザ光を合波する合波部材の一例であり、他の任意の合波部材を用いることも可能である。例えば、合波部材として、波長で合波するダイクロイックプリズムを用いてもよく、偏光で合波する偏光ビームスプリッタを用いてもよく、振幅で合波するビームスプリッタを用いてもよい。
【0050】
結合光学系105は、例えば、集光レンズ(いわゆる、コレクタレンズ)によって構成され、第2の光源101から出射された光を光ファイバ107の入射端に光結合させる。
【0051】
光ファイバ107は、第2の光源101から出射された光を後段に設けられた第3のコリメート光学系109へと導く。光ファイバ107から出射される光は、回転対称なビーム光となるため、第2の光源101から出射される光を光ファイバ107にて導くことにより、第2の光源101から出射される光の面内の輝度分布をより一様にすることができる。
【0052】
なお、光ファイバ107の種類は特に限定されるものではなく、公知のマルチモード光ファイバ(例えば、ステップインデックス型マルチモードファイバなど)を用いることが可能である。また、光ファイバ107のコア径も特に限定されるものではなく、例えば、光ファイバ107のコア径は、1mm程度であればよい。
【0053】
第3のコリメート光学系109は、光ファイバ107の出射端の後段に設けられ、光ファイバ107から出射された光を平行光束へと変換する。第3のコリメート光学系109は、後段に設けられた拡散部材111に入射する光を平行光束に変換することができるため、拡散部材111での光の拡散状態の制御を容易にすることができる。
【0054】
拡散部材111は、第3のコリメート光学系109の焦点位置の近傍範囲(例えば、焦点位置から前後に焦点距離の10%程度の範囲)に設けられ、第3のコリメート光学系109から出射された光を拡散させる。これにより、拡散部材111における光の出射端は、2次光源と見なすことができるようになる。光ファイバ107から出射される光は、一般的に合波された光ごとに発散角にばらつきが存在するため、拡散部材111を通すことにより、合波されたそれぞれの光の発散角を統一することが好ましい。
【0055】
拡散部材111により生成される2次光源の大きさは、第3のコリメート光学系109の焦点距離によって制御することが可能である。また、拡散部材111により生成される2次光源の出射光のNA(開口数)は、拡散部材111の拡散角度によって制御することが可能である。これによれば、ライトガイド119の端部に結合する際の集光スポットのサイズおよび入射NAの両方を独立に制御することが可能となる。
【0056】
なお、拡散部材111の種類は特に限定されるものではなく、公知の各種拡散素子を用いることが可能である。例えば、拡散部材111は、フロスト型のすりガラス、ガラス内に光拡散物質を分散させたオパール型の拡散板、またはホログラフィック拡散板などであってもよい。特に、ホログラフィック拡散板は、基板上に施されたホログラフィックパターンによって、出射光の拡散角度を任意に設定することができるため、拡散部材111としてより好適に用いることができる。
【0057】
第2のコリメート光学系113は、拡散部材111からの光(換言すると、2次光源からの光)を平行光束に変換し、ダイクロイックミラー115に入射させる。なお、第2のコリメート光学系113を通過した光は、完全な平行光線である必要はなく、平行光線に近い状態の発散光であってもよい。
【0058】
第1の光源101Wは、例えば、白色光源で構成され、白色光を出射する。第1の光源101Wを構成する白色光源の種類は特に限定されるものではないが、第2の光源101とは、出射される波長スペクトルが異なるように選択される。例えば、第1の光源101Wは、白色LED、レーザ励起蛍光体、キセノンランプ、またはハロゲンランプなどであってもよい。本実施形態では、第1の光源101Wが、青色LEDによって励起される蛍光体を用いた、いわゆる蛍光体方式の白色LEDであるとして説明を行う。
【0059】
第1のコリメート光学系103は、第1の光源101Wから出射された白色光を平行光束に変換し、第2のコリメート光学系113を通過した光とは異なる方向(例えば、互いの光軸が略直交する方向)からダイクロイックミラー115に入射させる。なお、第1のコリメート光学系103を通過した白色光は、第2のコリメート光学系113を通過した光と同様に、完全な平行光線でなくてもよい。
【0060】
ダイクロイックミラー115は、第1の光源101Wから出射された光と、第2の光源101から出射された光とを合波する。例えば、ダイクロイックミラー115は、第2の光源101からの光に対応する波長帯域の光のみを透過させ、それ以外の波長帯域の光を反射するように設計されていてもよい。
【0061】
このようなダイクロイックミラー115によれば、第2の光源101から出射された光は、ダイクロイックミラー115を透過してコンデンサ光学系117に入射する。また、第1の光源101Wから出射された光は、第2の光源101から出射された光の波長帯域以外の成分がダイクロイックミラー115によって反射されて、コンデンサ光学系117に入射する。これにより、ダイクロイックミラー115は、第1の光源101Wから出射される光と、第2の光源101から出射される光とを合波することができる。
【0062】
コンデンサ光学系117は、例えば、集光レンズによって構成され、ダイクロイックミラー115によって合波された光を所定の近軸横倍率でライトガイド119の端部に結像させる。
【0063】
上記の光学系100において、第2のコリメート光学系113と、コンデンサ光学系117とによる結像倍率(すなわち、(コンデンサ光学系117の焦点距離)/(第2のコリメート光学系113の焦点距離))は、2次光源の大きさおよび発散角が、ライトガイドのコア径および入射NAにマッチングするように設定される。また、第1のコリメート光学系103と、コンデンサ光学系117とによる結像倍率(すなわち、(コンデンサ光学系117の焦点距離)/(第1のコリメート光学系103の焦点距離))は、第1の光源101Wからの光がライトガイドのコア径および入射NAにマッチングし、高効率でライトガイド119の端部に結合されるように設定される。
【0064】
このような光学系100を備える光源部10を用いることにより、観察装置1では、第1の光源101Wまたは第2の光源101のいずれかにレーザ光源を用いた場合に生じるスペックルノイズの発生を抑制し、より高品質の観察画像を得ることができる。
【0065】
(2.2.観察装置の構成)
次に、図4を参照して、本実施形態に係る観察装置1の構成について説明する。図4は、本実施形態に係る観察装置1の構成を示すブロック図である。
【0066】
図4に示すように、観察装置1は、光源部10と、内視鏡部12と、情報処理装置13と、入力装置15と、表示装置16とを備える。
【0067】
(光源部)
光源部10は、出射する光の波長スペクトルが異なる複数の光源を備え、複数の光源から出射された光を合波した観察光を生成する。光源部10によって生成された観察光は、ライトガイド119の端部から内視鏡部12の鏡筒121に導かれ、鏡筒121の先端部から観察対象14へ照射される。
【0068】
ここで、光源部10にて観察光を生成する光学系は、図3を参照して説明した光学系100と同様の構成であってもよく、一部が追加または省略された構成であってもよい。具体的には、光源部10は、第1の光源101Wと、第1のコリメート光学系103と、第1の光源101Wと異なる波長スペクトルの光を射出する第2の光源101と、第3のコリメート光学系109と、拡散部材111と、第2のコリメート光学系113と、ダイクロイックミラー115と、コンデンサ光学系117とを備えてもよい。これらの部材の構成および機能については、図3を参照して説明した部材の構成および機能と実質的に同様であるため、ここでの説明は省略する。なお、図4では、結合光学系105、および光ファイバ107は、光源部10の構造の簡略化のために省略している。
【0069】
また、光源部10は、ハーフミラー1033と、第2の光検出器1053と、ハーフミラー1035と、第1の光検出器1051と、制御部1010とをさらに備える。これらの構成は、第1の光源101W、および第2の光源101の発光出力を制御するために、光源部10に備えられる。
【0070】
ハーフミラー1033は、例えば、第3のコリメート光学系109と、拡散部材111との間に設けられ、第2の光源101から出射された光の一部を分波する。なお、分波された光は、第2の光検出器1053に入射する。
【0071】
第2の光検出器1053は、検出した光の強度を第2光源出力制御部1013に出力する。第2の光検出器1053によれば、第2の光源101から出射された光の強度をモニターすることができるため、第2光源出力制御部1013は、第2の光源101から出射される光の強度を安定的に制御することができる。
【0072】
ハーフミラー1035は、例えば、第1の光源101Wと、ダイクロイックミラー115との間に設けられ、第1の光源101Wから出射された光の一部を分波する。なお、分波された光は、第1の光検出器1051に入射する。
【0073】
第1の光検出器1051は、検出した光の強度を第1光源出力制御部1011に出力する。第1の光検出器1051によれば、第1の光源101Wから出射された光の強度をモニターすることができるため、第1光源出力制御部1011は、第1の光源101Wから出射される光の強度を安定的に制御することができる。
【0074】
なお、ハーフミラー1033、1035は、分波部材の一例であり、他の分波部材が用いられてもよい。また、第1の光検出器1051、および第2の光検出器1053は、フォトダイオードまたはカラーセンサなどの公知の光検出器で構成されてもよい。
【0075】
制御部1010は、光源部10を制御する制御回路である。具体的には、制御部1010は、第1光源出力制御部1011、および第2光源出力制御部1013を含み、それぞれ第1の光源101W、および第2の光源101の発光出力を制御する。制御部1010は、例えば、CPU、MPU(Micro Processing Unit)、DSP(Digital Signal Pocessor)等のプロセッサによって構成され、これらのプロセッサが所定のプログラムに従って演算処理を実行することで、各種機能を実現する。
【0076】
第1光源出力制御部1011は、第1の光源101Wの発光出力を制御する。具体的には、第1光源出力制御部1011は、第1の光源101W(例えば、白色LED光源)の駆動電流を変化させることにより、第1の光源101Wの発光出力を制御する。例えば、第1光源出力制御部1011は、第1の光検出器1051が検出した光の強度が一定になるように第1の光源101Wの出力を制御してもよい。
【0077】
第2光源出力制御部1013は、第2の光源101の発光出力を制御する。具体的には、第2光源出力制御部1013は、第2の光源101(例えば、RGBの各色に対応する複数のレーザ光源)の駆動電流を変化させることにより、第2の光源101の発光出力を制御する。例えば、第2光源出力制御部1013は、第2の光検出器1053が検出した光の強度が一定になるように第2の光源101の出力を制御してもよい。
【0078】
また、第2の光源101がレーザ光源を備える場合、第2光源出力制御部1013は、さらに、レーザ光源のデバイス温度を一定に保つことで、レーザ光源の発振波長を一定に維持する制御を実行してもよい。例えば、第2光源出力制御部1013は、第2の光源101に内蔵された測温素子による温度情報に基づいて、第2の光源101に内蔵された冷却素子の駆動を制御させることで、レーザ光源のデバイス温度を一定に維持してもよい。
【0079】
また、第1光源出力制御部1011および第2光源出力制御部1013は、情報処理装置13からの出力に基づいて、第1の光源101Wと、第2の光源101との光量比を変更する。具体的には、本実施形態に係る観察装置1では、情報処理装置13は、観察画像から算出された二色間色差の平均に基づいて、第1の光源101Wと、第2の光源101との光量比を決定する。これによれば、第1光源出力制御部1011および第2光源出力制御部1013は、情報処理装置13にて決定された光量比に基づいて、第1の光源101W、および第2の光源101の発光出力を制御することで、両者の光量比を変更することができる。
【0080】
(内視鏡部)
内視鏡部12は、鏡筒121と、撮像ユニット120とを備える。
【0081】
鏡筒121は、先端部まで延伸されたライトガイドを内部に備え、光源部10から出射された観察光を観察対象14まで導き、観察対象14から反射した光を撮像ユニット120まで導く。鏡筒121は、硬性の略円筒形状にて構成されてもよく、可撓性を有するチューブ状にて構成されてもよい。
【0082】
撮像ユニット120は、カラー画像を取得可能な撮像素子123を備え、観察対象14からの光を撮像素子123によって電気信号に光電変換する。なお、撮像素子123によって光電変換された電気信号は、情報処理装置13へ出力される。撮像素子123は、CCDイメージセンサ、およびCMOSイメージセンサ等の公知の各種撮像素子であってもよい。
【0083】
(情報処理装置)
情報処理装置13は、撮像ユニット120にて光電変換された電気信号に基づいて、観察対象14の撮像画像(観察画像)を生成する。また、情報処理装置13は、観察画像から算出された二色間色差の平均が最大となる各光源の光量比を決定し、光源部10の制御部1010に出力する。具体的には、情報処理装置13は、画像生成部131と、識別性評価部133と、光量比決定部135とを備える。なお、情報処理装置13は、CPU、ROM、およびRAMなどを搭載したパーソナルコンピュータ等であってもよい。
【0084】
画像生成部131は、撮像素子123からの電気信号に基づいて、観察対象14の観察画像を生成する。画像生成部131によって生成された観察画像は、例えば、表示装置16に出力されることで、ユーザに視認される。また、画像生成部131によって生成された観察画像は、例えば、識別性評価部133に出力されることで、色識別性の評価に供される。
【0085】
識別性評価部133は、画像生成部131にて生成された観察画像から二色間色差を算出する。具体的には、識別性評価部133は、観察画像の各画素について、隣接する4つの画素との二色間色差を算出し、さらに算出した各画素の二色間色差の平均を算出する。識別性評価部133は、観察画像全体の画素における二色間色差の平均を算出してもよい。
【0086】
二色間色差とは、2つの色の差異を人間の知覚均等空間であるL空間における距離として表現することで、画素の色味の違いを定量的に表した数値である。したがって、観察画像の各画素と、該画素に隣接する画素との二色間色差を計算し、観察画像全体の画素における二色間色素の平均を算出することで、観察画像における色識別性の度合を定量的に評価することができる。
【0087】
また、ユーザが観察画像の一部領域に注目しており、該一部領域が注目領域に設定されている場合、識別性評価部133は、観察画像全体ではなく、設定された注目領域に含まれる画素にて二色間色差の平均を算出してもよい。
【0088】
例えば、観察画像に異なる色の生体組織が混在している場合、観察画像全体の画素の二色間色差の平均は、注目領域に含まれる画素の二色間色差の平均と一致するとは限らない。そのため、ユーザが注目している注目領域が明らかである場合、識別性評価部133は、該注目領域に含まれる画素における二色間色差の平均を算出することで、後段の光量比決定部135にて注目領域の色識別性に基づいて各光源の光量比が決定されるようにしてもよい。
【0089】
さらに、ユーザが観察画像の2点の差異に注目しており、該2点が注目点として設定されている場合、識別性評価部133は、指定された2点の画素の二色間色差を計算してもよい。
【0090】
例えば、観察対象14の診察等の目的のために、観察画像の中で特に明瞭に色を区別したい箇所がある場合、観察画像の全体の色識別性よりも、ユーザが注目する2点の画素の色識別性のほうが重要となることがある。このような場合、識別性評価部133は、ユーザが注目している2点の画素の二色間色差を算出することで、後段の光量比決定部135にて該2点の色識別性に基づいて各光源の光量比が決定されるようにしてもよい。
【0091】
なお、撮像画像からの二色間色差の算出は、例えば、以下の方法にて行われる。具体的には、まず、sRGB(D65)色空間での表現となっている観察画像の画素のRGB画素値(すなわち、撮像素子123のRGB受光値)を、人間の知覚上での色の多様さと色空間上での距離とが対応したL色空間での座標表現に変換する。
【0092】
より詳細には、まず、以下の式1を用いて、観察画像のRGB画素値をsRGB値(r’,g’,b’)からリニアRGB値(r,g,b)に変換する。なお、gとg’、およびbとb’との関係は、式1に示すrとr’との関係と同じである。
【0093】
【数1】
【0094】
次に、以下の式2を用いて、変換したリニアRGB値(r,g,b)をXYZ(D50)色空間での座標値(X,Y,Z)に変換する。
【0095】
【数2】
【0096】
続いて、以下の式3で示すf(t)で表される式4〜式6を用いて、XYZ(D50)色空間での座標値(X,Y,Z)をL色空間での座標値(L,a,b)に変換する。
【0097】
【数3】
【0098】
観察画像の画素のRGB画素値をL色空間での座標表現に変換した後、当該画素と、当該画素と隣接する画素とのL色空間におけるユークリッド距離を式7に基づいて算出する。算出されたユークリッド距離が二色間色差ΔEである。
【0099】
【数4】
【0100】
光量比決定部135は、識別性評価部133によって算出された二色間色差に基づいて、光源部10が備える複数の光源の各々の光量比を決定する。具体的には、光量比決定部135は、光源部10に対して、複数の光量比条件を適用した上で、各光量比条件を適用した観察画像から二色間色差を算出し、算出した二色間色差を互いに比較する。続いて、光量比決定部135は、適用した光量比条件のうち、二色間色差が最も大きくなる光量比条件を最終的な光量比条件として決定する。決定された光量比条件は、光源部10の制御部1010に出力され、制御部1010は、光量比決定部135が決定した光量比となるように、第1の光源101Wおよび第2の光源101の発光出力を制御する。
【0101】
なお、光量比決定部135は、上記とは異なる処理手順にて、識別性評価部133によって算出された二色間色差が最大となる光量比を決定してもよい。例えば、光量比決定部135は、光源部10が備える各光源の光量比を少しずつ変動させ、観察画像から算出された二色間色差が極大値を取った際の光量比を最終的な光量比として決定してもよい。
【0102】
また、光量比決定部135は、光源部10の各光源の光量比を変更する場合、光源部10から出射される観察光の色温度が一定となるように光量比を決定してもよい。具体的には、光量比決定部135では、赤色、緑色、青色などの各色に対応する光を出射する複数の光源同士の光量比を一定に保ち、白色光を出射する複数の光源同士の光量比を変化させてもよい。例えば、光量比決定部135では、それぞれ白色光を出射する第1の光源101Wと、第2の光源101との光量比を変化させ、第2の光源101に備えられる赤色レーザ光源101R、緑色レーザ光源101G、および青色レーザ光源101B同士の光量比を一定に保ってもよい。これによれば、光量比決定部135によって光量比を変化させた場合に、観察画像の全体の色味が大きく変化し、ユーザが違和感を持つことを防止することができる。
【0103】
(表示装置)
表示装置16は、情報処理装置13の画像生成部131によって生成された観察画像を表示する。表示装置16は、例えば、CRT表示装置、液晶表示装置、プラズマ表示装置、または有機EL表示装置等であってよい。
【0104】
(入力装置)
入力装置15は、ユーザの入力操作を受け付ける入力インターフェースである。具体的には、ユーザは、入力装置15を介して、観察画像に注目領域または注目点を設定することが可能である。例えば、図5は、入力装置15によって注目領域が設定された観察画像の一例である。
【0105】
図5に示すように、例えば、ユーザは、患者の体腔内を撮像した観察画像に写った観察対象140に対して、注目領域141を設定することができる。これによれば、識別性評価部133は、注目領域141に含まれる画素の二色間色差の平均を算出し、光量比決定部135は、算出された二色間色差の平均に基づいて、注目領域141に含まれる画素の色識別性が高くなるように光量比を決定することができる。したがって、ユーザは、注目領域141の色識別性がより向上した観察画像を視認することができる。
【0106】
なお、ユーザは、入力装置15を介して、光源部10が備える第1の光源101W、および第2の光源101の光量比を任意に指示してもよく、あらかじめ設定された光量比から選択した光量比を指示してもよい。入力装置15にてユーザが指示した光量比は、光源部10の制御部1010に入力され、第1光源出力制御部1011、および第2光源出力制御部1013は、指示された光量比が実現されるように第1の光源101Wおよび第2の光源101を制御する。
【0107】
以上の構成を備える本実施形態に係る観察装置1では、識別性評価部133によって観察画像から算出された二色間色差に基づいて、観察対象14の色識別性が良好となる光量比を探索し、決定することができる。したがって、本実施形態に係る観察装置1によれば、観察対象14の色によらずに、適切な色識別性を有する観察画像を取得することが可能である。
【0108】
(2.3.観察装置の制御方法)
続いて、図6を参照して、本実施形態に係る観察装置1の制御方法について説明する。図6は、本実施形態に係る観察装置1の制御方法の一例を説明するフローチャート図である。
【0109】
まず、光源部10に備えられた第1の光源101Wおよび第2の光源101から互いに異なる波長スペクトルの光が出射され、光源部10の光学系100にて合波されることで観察光が生成される。生成された観察光は、観察対象14に照射され、観察対象14から反射した光は、撮像ユニット120にて電気信号に光電変換される。光電変換された電気信号は、情報処理装置13に入力され、情報処理装置13は、入力された電気信号に基づいて観察画像を生成する。
【0110】
ここで、図6に示すように、まず、光量比決定部135は、光源部10に備えられた各光源(第1の光源101Wおよび第2の光源101)の光量比を所定の複数の条件のうちの一条件に設定する(S101)。次に、識別性評価部133は、設定された光量比の観察光が照射された観察対象14を撮像した観察画像から二色間色差ΔEを算出し(S103)、算出した二色間色差ΔEを一時記憶する(S105)。
【0111】
続いて、光量比決定部135は、所定の複数の光量比条件のすべてで、観察画像の二色間色差ΔEを算出したか否かを判断する(S107)。所定の複数の光量比条件のすべてで二色間色差ΔEが算出されていない場合(S107/No)、光量比決定部135は、S101に戻り、光源部10に備えられた各光源の光量比を所定の複数の条件のうちの他の条件に設定し、識別性評価部133は、再度、二色間色差の算出を行う。
【0112】
一方、所定の複数の光量比条件のすべてで二色間色差ΔEが算出されている場合(S107/Yes)、光量比決定部135は、各光量比における二色間色差ΔEをそれぞれ比較し、最も二色間色差ΔEが大きくなる光量比を最終的な光量比として選択する(S109)。さらに、光量比決定部135は、選択した光量比を光源部10の制御部1010に出力することで、光源部10の各光源の光量比を変更する(S111)。
【0113】
なお、上記で説明した観察装置1の制御方法は、あくまで一例であり、本実施形態に係る観察装置1の制御方法が上記に限定されるものではない。本実施形態に係る観察装置1は、上記とは異なる手順で二色間色差ΔEが最大となる光量比を決定してもよい。
【0114】
<3.第2の実施形態>
続いて、図7および図8を参照して、本開示の第2の実施形態に係る観察装置について説明する。本開示の第2の実施形態に係る観察装置は、第1の実施形態に係る観察装置1に対して、情報処理装置13Aのみが異なる。そのため、図7では、情報処理装置13Aのみを示した。
【0115】
(3.1.観察装置の構成)
まず、図7を参照して、本実施形態に係る観察装置が備える情報処理装置13Aの構成について説明する。図7は、本実施形態に係る観察装置が備える情報処理装置13Aの構成を示すブロック図である。なお、光源部10、内視鏡部12、入力装置15、および表示装置16については、図3および図4を参照して説明した構成および機能と実質的に同様であるため、ここでの説明は省略する。
【0116】
情報処理装置13Aは、撮像ユニット120にて光電変換された電気信号に基づいて、観察対象14の撮像画像(観察画像)を生成した後、観察画像の色に基づいて各光源の光量比を決定し、光源部10の制御部1010に出力する。具体的には、図7に示すように、情報処理装置13Aは、画像生成部131と、色判断部137と、光量比決定部135Aとを備える。なお、情報処理装置13Aは、CPU、ROM、およびRAMなどを搭載したパーソナルコンピュータ等であってもよい。
【0117】
画像生成部131は、撮像素子123からの電気信号に基づいて、観察対象14の観察画像を生成する。画像生成部131によって生成された観察画像は、例えば、表示装置16に出力されることで、ユーザに視認される。また、画像生成部131によって生成された観察画像は、色判断部137に出力されることで、観察画像の色の判断に供される。
【0118】
色判断部137は、画像生成部131にて生成された観察画像の色を判断する。具体的には、色判断部137は、観察画像の各画素のRGB画素値をすべて積算した後、画素数で除算することで、観察画像の画素の色の平均値から観察画像の色を判断してもよい。また、色判断部137は、観察画像の各画素のRGB画素値を、人間の知覚上での色の多様さと色空間上での距離とが対応したL色空間での座標に変換した上で平均化することで、観察画像の色を判断してもよい。
【0119】
上記で説明したように、観察対象14の色によって、色識別性が高くなる観察光の波長スペクトルは異なる。したがって、観察画像の色ごとに色識別性が良好となる各光源の光量比をあらかじめ判断し、設定しておくことで、情報処理装置13Aは、観察画像の色から色識別性が良好となる各光源の光量比を決定することができる。
【0120】
また、ユーザが観察画像の一部領域に注目しており、該一部領域が注目領域に設定されている場合、色判断部137は、設定された注目領域に含まれる画素の色の平均値から観察画像の色を判断してもよい。
【0121】
例えば、観察画像に一部分のみ色が異なる生体組織が写っている場合、観察画像全体の画素の色の平均値から観察画像の色を判断すると、色が異なる一部分については、色識別性が良好となる光量比が選択されない可能性がある。そのため、ユーザが注目している注目領域の色が周囲と異なる場合、色判断部137は、該注目領域に含まれる画素の色の平均値を算出し、後段の光量比決定部135Aは、注目領域の色に基づいて各光源の光量比を決定してもよい。
【0122】
さらに、ユーザが注目している観察画像の1点が注目点として設定されている場合、色判断部137は、該注目点の画素の色を判断し、後段の光量比決定部135Aにおける各光源の光量比の決定に供してもよい。
【0123】
例えば、観察対象14の診察等の目的のために、観察画像の中で特に注目すべき箇所が存在する場合、観察画像の全体の色よりも、ユーザが注目する箇所の画素の色のほうが重要となることがある。このような場合、色判断部137は、ユーザが注目している注目点の画素の色を判断し、後段の光量比決定部135Aは、該注目点の色に基づいて各光源の光量比を決定してもよい。
【0124】
光量比決定部135Aは、色判断部137によって判断された観察画像の色に基づいて、光源部10が備える複数の光源の各々の光量比を決定する。具体的には、観察画像の色の各々に対して、色識別性が良好となる各光源の光量比をあらかじめ決定したデータベースを用意しておき、光量比決定部135Aは、該データベースを参照することで、観察画像の色に対応する各光源の光量比を決定してもよい。なお、決定された光量比は、光源部10の制御部1010に出力され、制御部1010は、光量比決定部135Aが決定した光量比となるように、第1の光源101Wおよび第2の光源101の発光出力を制御する。
【0125】
以上の構成を備える本実施形態に係る観察装置では、色判断部137によって判断された観察画像の色に基づいて、観察対象14の色識別性が良好となる光量比を決定することができる。これによれば、本実施形態に係る観察装置では、観察画像の色から一意的に各光源の光量比を決定することができるため、第1の実施形態に対して観察時の演算処理の負荷を減少させることができる。したがって、本実施形態に係る観察装置は、より高速に光源部10が備える各光源の光量比を決定することが可能である。
【0126】
(3.2.観察装置の制御方法)
次に、図8を参照して、本実施形態に係る観察装置の制御方法について説明する。図8は、本実施形態に係る観察装置の制御方法の一例を説明するフローチャート図である。
【0127】
まず、光源部10に備えられた第1の光源101Wおよび第2の光源101から互いに異なる波長スペクトルの光が出射され、光源部10の光学系100にて合波されて観察光が生成される。生成された観察光は、観察対象14に照射され、観察対象14から反射した光は、撮像ユニット120にて電気信号に光電変換される。光電変換された電気信号は、情報処理装置13Aに入力され、情報処理装置13Aは、入力された電気信号に基づいて観察画像を生成する。
【0128】
ここで、図8に示すように、まず、色判断部137は、観察対象14を撮像した観察画像から観察画像の色を判断する(S201)。次に、光量比決定部135Aは、データベース等を参照することで、色判断部137が判断した色に対応し、色識別性が良好となる各光源の光量比を選択する(S203)。さらに、光量比決定部135Aは、選択した光量比を光源部10の制御部1010に出力し、光源部10の各光源の光量比を変更する(S205)。
【0129】
なお、上記で説明した観察装置の制御方法は、あくまで一例であり、本実施形態に係る観察装置の制御方法が上記に限定されるものではない。本実施形態に係る観察装置は、上記とは異なる方法で、観察画像の色に対応する各光源の光量比を決定してもよい。
【0130】
<4.第3の実施形態>
続いて、図9図11を参照して、本開示の第3の実施形態に係る観察装置について説明する。本開示の第3の実施形態に係る観察装置は、第1の実施形態に係る観察装置に対して、情報処理装置13Bのみが異なる。そのため、図9では、情報処理装置13Bのみを示した。
【0131】
(4.1.観察装置の構成)
まず、図9を参照して、本実施形態に係る観察装置が備える情報処理装置13Bの構成について説明する。図9は、本実施形態に係る観察装置が備える情報処理装置13Bの構成を示すブロック図である。なお、光源部10、内視鏡部12、入力装置15、および表示装置16については、図3および図4を参照して説明した構成および機能と実質的に同様であるため、ここでの説明は省略する。
【0132】
情報処理装置13Bは、撮像ユニット120にて光電変換された電気信号に基づいて、観察対象14の撮像画像(観察画像)を生成した後、観察画像にて優先される演色性または識別性のいずれかに適した各光源の光量比を決定し、光源部10の制御部1010に出力する。具体的には、図9に示すように、情報処理装置13Bは、画像生成部131と、状態判断部139と、識別性評価部133と、光量比決定部135Bとを備える。なお、情報処理装置13Bは、CPU、ROM、およびRAMなどを搭載したパーソナルコンピュータ等であってもよい。
【0133】
画像生成部131は、撮像素子123からの電気信号に基づいて、観察対象14の観察画像を生成する。画像生成部131によって生成された観察画像は、例えば、表示装置16に出力されることで、ユーザに視認される。また、画像生成部131によって生成された観察画像は、例えば、識別性評価部133に出力されることで、色識別性の評価に供される。
【0134】
状態判断部139は、観察装置の状態が演色性優先状態となっているか否かを判断する。具体的には、状態判断部139は、観察装置の状態が演色性の高い観察光を照射する状態となっているか、または色識別性の高い観察光を照射する状態となっているかを判断する。
【0135】
これは、観察装置では、組織ごとの色識別性が高い観察画像が求められる場合もあれば、観察対象14を自然光下で観察したような自然な見え方をする観察画像が求められる場合もあるためである。例えば、観察対象14の全体を俯瞰するように観察する場合、観察装置は、自然光(すなわち、太陽光)により近く、演色性が高い光を観察対象14に照射し、より自然な見え方をする観察画像を撮像してもよい。また、観察対象14の特定の領域を注視して観察する場合、組織の識別性を向上させるために、観察装置は、より色識別性が高い光を観察対象14に照射し、より色識別性の高い観察画像を撮像してもよい。
【0136】
なお、演色性が高い光とは、自然光(すなわち、太陽光)に近い光を表し、平均演色評価数Raが高い光を表す。平均演色評価数Raは、例えば、国際照明委員会(CIE)、または日本工業規格(JIS)にて定められる規格に沿った方法および基準にて測定することができる。本実施形態に係る観察装置では、例えば、演色性が高い光として、第1の光源101Wから出射される白色光の光量比率が高い光を用いてもよい。ただし、観察光の平均演色評価数Raは、各光源が出射する光のスペクトルによるため、白色光の光量比率が最大の光が、演色性が最大の光とならない場合もあり得る。
【0137】
ここで、観察装置の状態は、ユーザの入力によって演色性優先状態、または色識別性優先状態のいずれかに設定されてもよく、状態判断部139は、ユーザの入力による該設定に基づいて、観察装置の状態を判断してもよい。
【0138】
また、状態判断部139は、内視鏡部12と観察対象14との間の距離に基づいて、観察装置の状態が演色性優先状態、または色識別性優先状態のいずれであるのかを判断してもよい。例えば、状態判断部139は、内視鏡部12と観察対象14との間の距離が閾値以上である場合、観察装置の状態は演色性優先状態であると判断してもよく、内視鏡部12と観察対象14との間の距離が閾値未満である場合、観察装置の状態は色識別性優先状態であると判断してもよい。なお、内視鏡部12と観察対象14との間の距離は、例えば、内視鏡部12が観察対象14に対して焦点を合わせた際のレンズ位置から推測してもよい。また、内視鏡部12と観察対象14との間の距離は、内視鏡部12の撮像の露出時間、および観察光の光量を一定とした場合の観察画像の全体輝度から推測してもよい。
【0139】
識別性評価部133は、画像生成部131にて生成された観察画像から二色間色差を算出する。具体的には、識別性評価部133は、観察画像の各画素について、隣接する4つの画素との二色間色差を算出し、さらに算出した各画素の二色間色差の平均を算出する。識別性評価部133は、観察画像全体の画素における二色間色差の平均を算出してもよい。
【0140】
また、ユーザが観察画像の一部領域に注目しており、該一部領域が注目領域に設定されている場合、識別性評価部133は、観察画像全体ではなく、設定された注目領域に含まれる画素にて二色間色差の平均を算出してもよい。さらに、ユーザが観察画像の2点の差異に注目しており、該2点が注目点として設定されている場合、識別性評価部133は、指定された2点の画素の二色間色差を計算してもよい。
【0141】
なお、識別性評価部133の詳細については、第1の実施形態にて説明した構成と実質的に同様であるためここでの説明は省略する。
【0142】
光量比決定部135Bは、状態判断部139の判断に基づいて、演色性または色識別性のいずれかが高くなるように、光源部10が備える複数の光源の各々の光量比を決定する。
【0143】
具体的には、光量比決定部135Bは、光源部10から出射される光の演色性を高くする場合、光源部10が備える複数の光源のうち、白色光を出射する第1の光源101Wの光量比率が高くなるように、複数の光源の各々の光量比を決定する。例えば、光量比決定部135Bは、光源部10が備える複数の光源のうち、白色光を出射する第1の光源101Wの光量比率が最大となるように複数の光源の各々の光量比を決定することで、光源部10から出射される光の演色性を最大としてもよい。また、光量比決定部135Bは、光源部10から出射される光の色識別性を高くする場合、識別性評価部133によって算出された二色間色差に基づいて、複数の光源の各々の光量比を決定する。なお、二色間色差に基づいて、複数の光源の各々の光量比を決定する場合の光量比決定部135Bの処理手順は、第1の実施形態にて説明したとおりであるため、ここでの説明は省略する。
【0144】
以上の構成を備える本実施形態に係る観察装置では、観察装置の状態に応じて、適切な特性の観察画像を得ることが可能な観察光を観察対象14に照射することができる。具体的には、本実施形態に係る観察装置は、ユーザの設定、または内視鏡部12と観察対象14との間の距離等に応じて、演色性の高い観察光、または色識別性の高い観察光のいずれかを選択して、観察対象14に照射することができる。これによれば、本実施形態に係る観察装置は、ユーザが求める観察画像をより適切に撮像することが可能である。
【0145】
(4.2.観察装置の制御方法)
次に、図10および図11を参照して、本実施形態に係る観察装置の制御方法について説明する。図10は、本実施形態に係る観察装置の制御方法の一例を説明するフローチャート図であり、図11は、本実施形態に係る観察装置の制御方法の他の例を説明する説明図である。
【0146】
図10を参照して、本実施形態に係る観察装置の制御方法の一例について説明する。図10に示すように、まず、状態判断部139は、観察装置が演色性優先状態であるのか否かを判断する(S141)。ここで、観察装置が演色性優先状態であることは、例えば、ユーザの入力によって設定されてもよく、内視鏡部12と観察対象14との間の距離に基づいて設定されてもよい。
【0147】
観察装置が演色性優先状態ではない場合(S141/No)、状態判断部139は、色識別性優先状態であると判断する。したがって、識別性評価部133は、観察画像の色識別性評価を行い、光量比決定部135Bは、評価された色識別性に基づいて、光量比を決定する(S143)。色識別性が高くなる光量比が決定された場合、光量比決定部135Bは、決定された光量比を光源部10の制御部1010に出力し、光源部10の各光源の光量比を変更する。これにより、観察装置は、色識別性が高くなる観察光を観察対象14に照射することができる。なお、観察画像の識別性評価、および評価された識別性に基づく光量比決定の処理手順については、第1の実施形態にて説明したとおりであるため、ここでの説明は省略する。
【0148】
一方、観察装置が演色性優先状態である場合(S141/Yes)、光量比決定部135Bは、白色光を出射する光源(すなわち、第1の光源101W)の光量比率が最大となるように光量比を決定する(S145)。白色光の光量比率が最大となり、観察光の演色性が最大となる光量比が決定された場合、光量比決定部135Bは、決定された光量比を光源部10の制御部1010に出力し、光源部10の各光源の光量比を変更する。これにより、観察装置は、演色性が高い観察光を観察対象14に照射することができる。
【0149】
また、図11を参照して、本実施形態に係る観察装置の制御方法の他の例について説明する。図11に示すように、例えば、光源部10の制御部1010は、複数の光源に対して、演色性が高い光量比(高演色性光量比)、および色識別性が高い光量比(高色識別性光量比)を時分割で適用してもよい。
【0150】
具体的には、まず、光量比決定部135Bは、演色性が高い光量比、および色識別性が高い光量比の各々を決定する。続いて、制御部1010は、複数の光源の光量比を演色性が高い光量比、および色識別性が高い光量比のそれぞれを交互に適用する。制御部1010は、演色性が高い光量比および色識別性が高い光量比をどのような形態で切り替えてもよい。例えば、制御部1010は、所定の時間毎、カメラの1フレーム毎、または数フレーム毎に、自動的に、演色性が高い光量比および色識別性が高い光量比を切り替えてもよく、ユーザ(例えば、医師)による手動操作に基づいて、演色性が高い光量比および色識別性が高い光量比を切り替えてもよい。これによれば、観察装置は、演色性が高い観察光にて撮像された観察画像、および色識別性が高い観察光にて撮像された観察画像をそれぞれ撮像することが可能である。また、観察装置は、演色性が高い観察光にて撮像された観察画像、および色識別性が高い観察光にて撮像された観察画像を表示装置16に同時に表示させることが可能である。
【0151】
<5.変形例>
続いて、図12を参照して、本開示の一実施形態に係る観察装置の変形例について説明する。本変形例は、本開示に係る技術を顕微鏡装置に適用した場合の構成例である。図12は、本開示に係る技術を顕微鏡装置に適用した場合の構成例を示すブロック図である。
【0152】
なお、以下の説明では、一例として、第1の実施形態に係る観察装置1に対応する例について説明する。
【0153】
図12に示すように、観察装置2は、顕微鏡装置であり、光源部20と、撮像ユニット220と、情報処理装置13と、入力装置15と、表示装置16とを備える。ここで、情報処理装置13、入力装置15、および表示装置16については、図4を参照して説明した構成および機能と実質的に同様である。
【0154】
(光源部)
光源部20は、出射する光の波長スペクトルが異なる複数の光源を備え、複数の光源から出射された光を合波した観察光を生成する。光源部20によって生成された観察光は、投影レンズ211によって観察対象14へ照射される。
【0155】
ここで、光源部20は、図4を参照して説明した光源部10と同様の構成であってもよく、一部が追加または省略された構成であってもよい。具体的には、光源部20は、第1の光源101Wと、第1のコリメート光学系103と、ハーフミラー1035と、第1の光検出器1051と、第1の光源101Wと異なる波長スペクトルの光を射出する第2の光源101と、結合光学系105と、光ファイバ107と、第3のコリメート光学系109と、ダイクロイックミラー115と、ハーフミラー1033と、第2の光検出器1053と、制御部1010とを備えてもよい。これらの部材の構成および機能については、図4を参照して説明した部材の構成および機能と実質的に同様であるため、ここでの説明は省略する。なお、図12では、拡散部材111、および第2のコリメート光学系113は、省略している。
【0156】
図12に示すように、第1の光源101Wから出射された光は、第1のコリメート光学系103を通過することで、略平行光となってダイクロイックミラー115に入射する。一方、第2の光源101から出射された光は、結合光学系105、光ファイバ107、および第3のコリメート光学系109を順に通過することで、略平行光となってダイクロイックミラー115に入射する。ダイクロイックミラー115は、第1の光源101Wおよび第2の光源101から射出された光を合波する。合波された光は、光源部20の筐体に設けられた投影レンズ211を介して、観察光として観察対象14に投射される。
【0157】
また、第1の光源101Wから出射された光の一部は、ハーフミラー1035によって分波された後、第1の光検出器1051に入射する。これにより、第1光源出力制御部1011は、第1の光検出器1051にて第1の光源101Wから出射される光の強度を検出することで、フィードバック制御にて第1の光源101Wの発光出力を安定的に制御することができる。さらに、第2の光源101から出射された光の一部は、ハーフミラー1033によって分波された後、第2の光検出器1053に入射する。これにより、第2光源出力制御部1013は、第2の光検出器1053にて第2の光源101から出射される光の強度を検出することで、フィードバック制御にて第2の光源101の発光出力を安定的に制御することができる。
【0158】
(撮像ユニット)
撮像ユニット220は、撮像素子123と、イメージレンズ221とを備える。イメージレンズ221は、撮像ユニット220の筐体に設けられ、観察対象14からの反射光を撮像ユニット220の筐体内に導く。イメージレンズ221を介して導かれた光は、撮像素子123によって電気信号に光電変換される。なお、撮像素子123については、図4を参照して説明したとおりであるため、ここでの説明は省略する。
【0159】
(情報処理装置)
情報処理装置13は、撮像ユニット220にて光電変換された電気信号に基づいて、観察対象14の撮像画像(観察画像)を生成する。なお、情報処理装置13の構成および機能は、図4を参照して説明したとおりであるため、ここでの説明は省略する。また、情報処理装置13に替えて、図7を参照して説明した第2の実施形態に係る情報処理装置13A、または図9を参照して説明した第3の実施形態に係る情報処理装置13Bを用いることも可能である。
【0160】
(表示装置)
表示装置16は、情報処理装置13によって生成された観察画像を表示する。なお、表示装置16の構成および機能は、図4を参照して説明したとおりであるため、ここでの説明は省略する。
【0161】
(入力装置)
入力装置15は、ユーザの入力操作を受け付ける入力インターフェースである。具体的には、ユーザは、入力装置15を介して、観察画像に注目領域または注目点を設定することが可能である。なお、入力装置15の構成および機能は、図4を参照して説明したとおりであるため、ここでの説明は省略する。
【0162】
すなわち、本開示に係る技術は、観察装置が内視鏡装置または顕微鏡装置のいずれであっても、同様に適用することが可能である。
【0163】
<6.まとめ>
以上にて説明したように、本発明者らは、光源の種類ごとに出射する光の波長スペクトルが異なるため、観察対象14の色に応じて、色識別性が良好となる光源の種類が異なることを見出した。この知見に基づいて想到された本開示の一実施形態に係る観察装置によれば、観察画像の色に関する情報に基づいて、光源部10に備えられた出射する光の波長スペクトルが異なる複数の光源の光量比を制御することが可能である。したがって、本開示の一実施形態に係る観察装置は、観察対象14の色によらずに、色識別性が向上した観察画像を取得することが可能である。
【0164】
具体的には、本開示の第1の実施形態に係る観察装置では、観察画像から算出した二色間色差が最大となるように光源部10が備える各光源の光量比を決定することで、観察画像の色識別性を向上させることが可能である。また、本開示の第2の実施形態に係る観察装置では、観察画像の色に基づいて、光源部10が備える各光源の光量比を決定することで、観察画像の色識別性を向上させることが可能である。さらに、本開示の第3の実施形態に係る観察装置では、観察画像において、演色性または色識別性のいずれが優先されているかを判断し、光源部10が備える各光源の光量比を変更することで、ユーザが求める観察画像をより適切に撮像することが可能である。
【0165】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0166】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0167】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
出射する光の波長スペクトルが異なる複数の光源と、
前記複数の光源から出射された光の各々を合波した観察光を観察対象へ出射する光学系と、
前記観察対象からの光に基づいて、観察画像を生成する画像生成部と、
生成された前記観察画像の色に関する情報に基づいて、前記複数の光源のそれぞれの光量比を決定する光量比演算処理部と、
決定された光量比に基づいて、前記複数の光源を制御する制御部と、
を備える、観察装置。
(2)
前記光量比演算処理部は、前記観察画像の画素と隣接画素との二色間色差の平均が最大となるように前記光量比を決定する、前記(1)に記載の観察装置。
(3)
前記二色間色差の平均は、前記観察画像全体の画素における二色間色差の平均である、前記(2)に記載の観察装置。
(4)
前記二色間色差の平均は、前記観察画像の所定領域の画素における二色間色差の平均である、前記(2)に記載の観察装置。
(5)
前記光量比演算処理部は、所定の2つの画素の二色間色差が最大となるように前記光量比を決定する、前記(1)に記載の観察装置。
(6)
前記光量比演算処理部は、前記光量比を変更する場合、色温度が一定に保たれるように前記光量比を決定する、前記(1)〜(5)のいずれか一項に記載の観察装置。
(7)
前記光量比演算処理部は、異なる光量比で合波された観察光を照射した複数の観察画像から算出された二色間色差の各々を比較することで、二色間色差の平均が最大となる光量比を決定する、前記(1)〜(6)のいずれか一項に記載の観察装置。
(8)
前記複数の光源は、白色光を出射する第1の光源と、所定の複数の波長帯域のレーザ光を出射する第2の光源とを含む、前記(1)〜(7)のいずれか一項に記載の観察装置。
(9)
前記光量比演算処理部は、前記第1の光源と、前記第2の光源との光量比を決定する、前記(8)に記載の観察装置。
(10)
前記第1の光源は、白色LED光源を含み、
前記第2の光源は、赤色レーザ光源、緑色レーザ光源、および青色レーザ光源を少なくとも含む、前記(8)または(9)に記載の観察装置。
(11)
前記光量比演算処理部は、前記観察画像の色に基づいて、前記光量比を決定する、前記(1)に記載の観察装置。
(12)
前記光量比演算処理部は、前記観察画像の所定領域の色の平均値に基づいて、前記光量比を決定する、前記(11)に記載の観察装置。
(13)
前記光量比演算処理部は、前記観察画像の所定の画素の色に基づいて、前記光量比を決定する、前記(11)に記載の観察装置。
(14)
前記光量比演算処理部は、演色性優先状態か否かを判断し、
前記光量比演算処理部によって演色性優先状態ではないと判断された場合、前記光量比演算処理部は、前記観察画像の画素と隣接画素との二色間色差の平均が最大となるように前記光量比を決定する、前記(9)に記載の観察装置。
(15)
前記光量比演算処理部によって演色性優先状態であると判断された場合、前記光量比演算処理部は、平均演色評価数Raが最大となるように前記光量比を決定する、前記(14)に記載の観察装置。
(16)
前記光量比演算処理部は、前記観察画像の画素と隣接画素との二色間色差の平均が最大となる光量比、および平均演色評価数Raが最大となる光量比をそれぞれ決定し、
前記第1の光源、および前記第2の光源の光量比は、時分割で制御される、前記(9)に記載の観察装置。
(17)
前記観察装置は、患者の体腔内に挿入され、前記光学系からの出射光を内部に導光し、前記体腔内の術野に対して前記出射光を照射する鏡筒をさらに備える内視鏡装置である、前記(1)〜(16)のいずれか一項に記載の観察装置。
(18)
複数の光源から互いに波長スペクトルが異なる光を出射することと、
出射された光の各々を合波した観察光を観察対象へ出射することと、
前記観察対象からの光に基づいて、観察画像を生成することと、
生成された前記観察画像の色に関する情報に基づいて、演算処理装置によって前記複数の光源のそれぞれの光量比を決定することと、
決定された光量比に基づいて、前記複数の光源を制御することと、
を含む、観察装置の制御方法。
【符号の説明】
【0168】
1、2 観察装置
10、20 光源部
12 内視鏡部
13、13A、13B 情報処理装置
14 観察対象
15 入力装置
16 表示装置
100 光学系
101W 第1の光源
101 第2の光源
120 撮像ユニット
121 鏡筒
123 撮像素子
131 画像生成部
133 識別性評価部
135、135A、135B 光量比決定部
137 色判断部
139 状態判断部
1010 制御部
1011 第1光源出力制御部
1013 第2光源出力制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12