IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特開2024-61695生体観察システム、生体観察方法、及び照射装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061695
(43)【公開日】2024-05-08
(54)【発明の名称】生体観察システム、生体観察方法、及び照射装置
(51)【国際特許分類】
   A61B 5/026 20060101AFI20240426BHJP
   A61B 5/0285 20060101ALI20240426BHJP
   A61B 10/00 20060101ALI20240426BHJP
【FI】
A61B5/026 120
A61B5/0285
A61B10/00 E
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2021047740
(22)【出願日】2021-03-22
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(72)【発明者】
【氏名】吉田 浩
【テーマコード(参考)】
4C017
【Fターム(参考)】
4C017AA11
4C017AB02
4C017AC28
4C017BC11
4C017EE01
4C017FF05
(57)【要約】
【課題】生体のより深部の情報を取得可能な生体観察システム、生体観察方法、及び照射装置を提供する。
【解決手段】本開示によれば、生体観察システムは、光を遮光する遮光部と光を透過する開口部とを有する絞りを介してコヒーレント光を生体の観察部位に照射する照射部と、コヒーレント光が照射される観察部位の領域を含む画素信号を取得する画素信号取得部と、画素信号内のコヒーレント光が照射されていない暗部領域の画素信号に基づき第1画像を生成する画像生成部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
光を遮光する遮光部と光を透過する開口部とを有する絞りを介してコヒーレント光を生体の観察部位に照射する照射部と、
前記コヒーレント光が照射される前記観察部位の領域を含む画素信号を取得する画素信号取得部と、
前記画素信号内の前記コヒーレント光が照射されていない暗部領域の画素信号に基づき第1画像を生成する画像生成部と、
を備える、生体観察システム。
【請求項2】
前記遮光部は、光を透過させない金属で構成される、請求項1に記載の生体観察システム。
【請求項3】
前記暗部領域の画素信号は、前記生体に直接的に照射された前記コヒーレント光の一部が前記前記観察部位の組織の下の血流によって散乱された光に基づく、請求項2に記載の生体観察システム。
【請求項4】
前記画素信号に基づく画像上の位置変化に対する画素列であるプロファイルに基づき、所定の画素値範囲を設定する画素範囲設定部を更に備え、
前記画像生成部は、前記所定の画素値範囲に基づき、前記第1画像を生成する、請求項2に記載の生体観察システム。
【請求項5】
前記コヒーレント光が照射されている明部領域の画素信号に基づき、第2画像を生成する画像生成部を、更に備える、請求項4に記載の生体観察システム。
【請求項6】
前記第1画像及び前記第2画像の少なくとも一方に基づいたスペックルデータを演算するスペックル演算部を、更に備える、請求項5に記載の生体観察システム。
【請求項7】
前記スペックルデータは、スペックルコントラストを含み、
前記スペックル演算部は、前記スペックルコントラストに基づいて観察像を生成する、請求項6に記載の生体観察システム。
【請求項8】
前記画素信号取得部は、前記コヒーレント光が照射される前記観察部位の領域をそれぞれ変更した複数の画素信号を取得し、
前記画像生成部は、前記複数の画素信号に基づき、前記第1画像を生成する請求項7に記載の生体観察システム。
【請求項9】
前記観察像における前記スペックルコントラストの値に基づき、前記コヒーレント光の照射強度を制御する照射制御部を更に備える、請求項8に記載の生体観察システム。
【請求項10】
前記照射制御部は、前記画素信号内の前記暗部領域、及び前記明部領域の少なくとも一方の画素信号に基づき、前記コヒーレント光の照射強度を制御する、請求項9に記載の生体観察システム。
【請求項11】
前記絞りは、可変絞りであり、前記画素信号内の前記暗部領域内、及び前記明部領域内の画素値に基づき、開口部の幅及び開口部間の幅を設定する絞り制御部を更に備える、請求項10に記載の生体観察システム。
【請求項12】
前記絞り制御部は、前記暗部領域内、及び前記明部領域内の所定の画素値の比が所定範囲となるように、前記開口部間の幅を設定する、請求項11に記載の生体観察システム。
【請求項13】
請求項1に記載の生体観察システムを用いた血流計装置。
【請求項14】
請求項1に記載の生体観察システムを用いた顕微鏡装置。
【請求項15】
請求項1に記載の生体観察システムを用いた中視鏡装置。
【請求項16】
光を遮光する遮光部と光を透過する開口部とを有する絞りを介してコヒーレント光を生体の観察部位に照射する照射工程と、
前記コヒーレント光が照射される前記観察部位の領域を含む画素信号を取得する画素信号取得工程と、
前記画像内の前記コヒーレント光が直接的に照射されていない暗部領域の画素信号に基づき第1画像を生成する画像生成工程と、
を備える、生体観察方法。
【請求項17】
コヒーレント光を生成する光源と、
前記コヒーレント光を遮光する遮光部と光を透過する開口部とを有する可動絞りと、を備え、
前記コヒーレント光が照射される生体における観察部位の前記コヒーレント光が照射されていない暗部領域の画素信号に基づき、前記遮光部の幅、前記開口部の幅の少なくとも一方が制御される、照射装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は生体観察システム、生体観察方法、及び照射装置に関する。
【背景技術】
【0002】
従来、生体組織等にレーザ光を照射してスペックルパターンを検出し、生体組織等を観察する技術が開発されている。こような、スペックルパターンに基づいた生体組織の観察等は、外科手術や内科診断等の様々なシーンでの応用が期待されており、高い精度を発揮可能な技術が求められている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2016-509509号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、生体組織等にレーザ光を照射する場合に、生体表面からの反射光が強くなってしまう。このため、下部組織の観察が困難になってしまう恐れがある。
【0005】
そこで、本開示では、生体のより深部の情報を取得可能な生体観察システム、生体観察方法、及び照射装置を提供するものである。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示によれば、光を遮光する遮光部と光を透過する開口部とを有する絞りを介してコヒーレント光を生体の観察部位に照射する照射部と、
前記コヒーレント光が照射される前記観察部位の領域を含む画素信号を取得する画素信号取得部と、
前記画素信号内の前記コヒーレント光が照射されていない暗部領域の画素信号に基づき第1画像を生成する画像生成部と、
を備える、生体観察システムが提供される。
【0007】
前記遮光部は、光を透過させない金属で構成されてもよい。
【0008】
前記暗部領域の画素信号は、前記生体に直接的に照射された前記コヒーレント光の一部が前記前記観察部位の組織の下の血流によって散乱された光に基づいてもよい。
【0009】
前記画素信号に基づく画像上の位置変化に対する画素列であるプロファイルに基づき、所定の画素値範囲を設定する画素範囲設定部を更に備え、
前記画像生成部は、前記所定の画素値範囲に基づき、前記第1画像を生成してもよい。
【0010】
前記コヒーレント光が照射されている明部領域の画素信号に基づき、第2画像を生成する画像生成部を、更に備えてもよい。
【0011】
前記第1画像及び前記第2画像の少なくとも一方に基づいたスペックルデータを演算するスペックル演算部を、更に備えてもよい。
【0012】
前記スペックルデータは、スペックルコントラストを含み、
前記スペックル演算部は、前記スペックルコントラストに基づいて観察像を生成してもよい。
【0013】
前記画素信号取得部は、前記コヒーレント光が照射される前記観察部位の領域をそれぞれ変更した複数の画素信号を取得し、
前記第1画像生成部は、前記複数の画素信号に基づき、前記第1画像を生成してもよい。
【0014】
前記観察像における前記スペックルコントラストの値に基づき、前記コヒーレント光の照射強度を制御する照射制御部を更に備えてもよい。
【0015】
前記照射制御部は、前記画素信号内の前記暗部領域、及び前記明部領域の少なくとも一方の画素値に基づき、前記コヒーレント光の照射強度を制御してもよい。
【0016】
前記絞りは、可変絞りであり、前記画素信号内の前記暗部領域内、及び前記明部領域内の画素値に基づき、開口部の幅及び開口部間の幅を設定する絞り制御部を更に備えてもよい。
【0017】
前記絞り制御部は、前記暗部領域内、及び前記明部領域内の所定の画素値の比が所定範囲となるように、前記開口部間の幅を設定してもよい。
【0018】
前記生体観察システムを用いた血流計装置でもよい。
【0019】
前記生体観察システムを用いた顕微鏡装置でもよい。
【0020】
前記生体観察システムを用いた中視鏡装置でもよい。
【0021】
上記の課題を解決するために、本開示によれば、光を遮光する遮光部と光を透過する開口部とを有する絞りを介してコヒーレント光を生体の観察部位に照射する照射工程と、
前記コヒーレント光が照射される前記観察部位の領域を含む画素信号を取得する画素信号取得工程と、
前記画素信号内の前記コヒーレント光が照射されていない暗部領域の画素信号に基づき第1画像を生成する第1画像生成工程と、
を備える、生体観察方法が提供される。
【0022】
上記の課題を解決するために、本開示によれば、コヒーレント光を生成する光源と、
前記コヒーレント光を遮光する遮光部と光を透過する開口部とを有する可動絞りと、を備え、
前記コヒーレント光が照射される生体における観察部位の領域を含む画像内の、前記コヒーレント光が直接的に照射されていない暗部領域の画素信号に基づき、前記遮光部の幅、前記開口部の幅の少なくとも一方が制御される、照射装置が提供される。
【図面の簡単な説明】
【0023】
図1】本技術の一実施形態に係る観察システムの構成例を示すブロック図。
図2A】レーザ照射部の構成例を示す図。
図2B】絞りの上面図。
図3】絞りの出射側の面におけるレーザ光の分布を示す模式図。
図4A】照射制御部の構成を示すブロック図。
図4B】スペッククルコントラストと画素信号の平均輝度値との関係を示す図。
図5】算処理部の構成を示すブロック図。
図6】プロファイル生成部が生成する画素値プロファイルの例を示す図。
図7A】ダイレクト領域のレーザ光、及び反射、散乱光を模式的に示す図。
図7B】グローバル領域のレーザ光、及び反射、散乱光を模式的に示す図。
図8】画素値範囲生成部の処理例を模式的に示す図。
図9】抽出画素値範囲と画像取得部が取得した二次元画像との対応関係を示す図。
図10】第1画像生成部が抽出画素値範囲に基づき生成した画像例を示す図。
図11】第2画像生成部が生成したD(ダイレクト画像)画像の例を示す図。
図12】3×3のセル42に含まれる画素43の輝度値が明暗により模式的に示す図。
図13】有効エリア内のスペックルコントラストの算出例を説明するための模式図。
図14】スペックルパターンの特性を説明するための図。
図15】比較例のレーザ照射部の構成例を示す図。
図16】比較例のG(グローバル)画像と、本開示によるG(グローバル)画像と、を示す図。
図17】観察システムの処理例を示すフローチャート。
図18】第2実施形態に係る絞りの側面断面図。
図19】第2実施形態に係る照射制御部のブロック図。
図20】絞り制御部の制御例を説明する図。
図21】絞り制御部の制御例を説明する別の図。
図22】絞り制御部の更に別の制御例を説明する図。
図23】絞り制御部の処理例を示すフローチャート。
【発明を実施するための形態】
【0024】
(第1実施形態)
[生体観察システム]
図1は、本技術の一実施形態に係る生体観察システムの構成例を示すブロック図である。生体観察システム100は、例えば外科手術における術野の観察や、内科診断における患者の体内の観察等に用いられる。より具体的には、生体観察システム100は、血流計装置、顕微鏡装置、中視鏡装置などに用いられる。この他、任意の生体組織を観察する場合に本技術は適用可能である。
【0025】
この生体観察システム100は、レーザ照射部10と、カメラ20と、コントローラ30とを備える。
【0026】
レーザ照射部10は、患者の観察部位2に向けて配置され、観察部位2にコヒーレント光であるレーザ光11を照射する。図1には、患者の手部(観察部位2)に向けて照射されるレーザ光11が模式的に図示されている。観察部位2は、本実施形態において、生体組織に相当する。また、本実施形態に係るレーザ照射部10が照射装置に対応する。
【0027】
図2A図2B、及び図3に基づき、レーザ照射部10の構成例を説明する。図2Aは、レーザ照射部10の構成例を示す図である。図2Bは、絞り102の上面図である。
【0028】
図2Aに示すように、レーザ照射部10は、レーザ90と、絞り102とを有する。レーザ90は、高コヒーレント光を、照射光学系を介して出射する。図2Bに示すように、絞り102は、遮光部102aと、スリット状の開口部102bとを有する。遮光部102aは、例えば金属で構成され、光を透過しない。一方で、開口部102bは、光を透過するように構成される。
【0029】
図3は、絞り102の出射側の面におけるレーザ光11の分布を示す模式図である。縦軸は明るさを示し、横軸は絞り102を横切るラインの位置に対応する。このように、絞り102の遮光部102aの光強度は開口部の境界部を除き0とみなすことが可能である。これにより、図2Aに示すように、観察部位2の表面には、明部、暗部、明部の縞状の投影光学像が投影される。暗部には、レーザ光は投影されず、暗部へのレーザ光の投影光量は0となる。なお、本実施形態では、説明を簡単にするために、一開口部の例で説明する場合があるが、これに限定されない。
【0030】
このような、明部領域(図2A参照)の画素信号に基づく画素値Ldと、暗部領域(図2A参照)の画素信号に基づく画素値Lgに基づき、一般に(1)式、及び(2)式によりD(ダイレクト画像)、G(グロ-バル画像)が定義される。
【0031】
比較例(図15により後述)では、明部に照射されるレーザ光よりも低いレーザ光が暗部にも照射される。ここで、b=(暗部の明るさ)/(明部の明るさ)である。
【数1】
【数2】
これに対して、本実施形態に係る遮光部102aが光を透過しないので、暗部領域の投影光量は常に0にすることが可能である。このため、本実施形態に係る絞り102を用いた場合には、レーザ照射部10の照射光学系のアライメントが変わってもbは常に0となり、D(ダイレクト画像)画像、G(グロ-バル画像)画像の生成におけるパラメータbの依存性を除くことができる。このように、遮光部102aが光を透過しないので、観察部位2の表面までの距離に関係なく、光が投影されない暗部領域を観察部位2の表面に生成可能となる。これにより、(1)、(2)式において、D=Ldとして演算可能となり、G=Lgとして演算可能となる。
【0032】
カメラ20は、レンズ部21と、レンズ部21に接続された撮像部22とを有する。カメラ20は、レンズ部21が患者1の観察部位2に向くように配置され、レーザ光11が照射された観察部位2を撮像する。
【0033】
カメラ20は、観察部位2の表面における明部、暗部、明部の縞状画像を撮像する。このカメラ20は、例えばCHU(Camera Head Unit)として構成され、所定のインターフェース等を介してコントローラ30と接続される。本実施形態では、カメラ20は、撮像系に相当する。
【0034】
レンズ部21は、光学ズーム機能を備える。レンズ部21は、例えばF値(絞り値)及び光学倍率等の撮像パラメータを制御することで、光学的に拡大または縮小された観察部位2の光学像を生成する。光学ズーム機能を実現するための具体的な構成は限定されず、例えば電子制御による自動ズームや、手動でのズーム等が適宜実行可能であってよい。
【0035】
撮像部22は、レンズ部21により生成された光学像を撮像して観察部位2の画素信号を生成する。ここで画素信号とは、画像を構成することが可能な信号である。画素信号には、例えば画素ごとの輝度値等の情報が含まれる。すなわち、撮像部22の撮像範囲内にある、観察部位2(被写体)の各点からの光を、撮像部22の撮像素子が検出し、画素信号へ変換する。その画素信号は、Direct(ダイレクト)成分とGlobal(グローバル)成分に分けられる。
【0036】
撮像範囲内にある、被写体のある位置に着目した際、直接照明によりその着目点が照らされたことにより検出された画素信号をDirect成分とする。他の点を経由して着目点が照らされたことにより検出された画素信号をGlobal成分とする。
【0037】
また、画素信号の種類や形式等は限定されず、例えば動画像や静止画像を構成可能な任意の形式が用いられてよい。撮像部22としては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサが用いられる。
【0038】
コントローラ30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のコンピュータの構成に必要なハードウェアを有する。本実施形態では、コントローラ30は、制御装置に相当する。
【0039】
CPUが、ROMやHDDに格納された本技術に係るプログラムをRAMにロードして実行することにより、図1に示す各機能ブロックが実現される。そしてこれらの機能ブロックにより、本技術に係る制御方法が実行される。
【0040】
プログラムは、例えば種々の記録媒体を介してコントローラ30にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
【0041】
コントローラ30の具体的な構成は限定されず、例えばFPGA(Field Programmable Gate Array)、画像処理IC(Integrated Circuit)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
【0042】
図1に示すように、コントローラ30は、機能ブロックとして、照射制御部31、画像取得部32、カメラ制御部33、UI取得部34、ブロック制御部35、及び演算処理部36を有する。またコントローラ30のROM等により構成される記憶部37には処理サイズテーブル38が格納されている。なお各機能ブロックを実現するために、専用のハードウェアが適宜用いられてもよい。
【0043】
図4Aは、照射制御部31の構成を示すブロック図である。図4Aに示すように、照射制御部31は、光源制御部310と、位置制御部312とを有する。光源制御部310は、レーザ照射部10から照射されるレーザ光11の照射強度等を制御する。光源制御部310は、例えば、D(ダイレクト画像)画像の観察時には、カメラ20により生成された画素信号の明部領域(図2A参照)の画素値が所定値となるようにレーザ90の光量を制御する。
【0044】
一方で、G(グローバル)画像の観察時には、カメラ20により生成された画素信号の暗部領域(図2A参照)の画素値が所定値となるようにレーザ90の光量を制御する。このように、光源制御部310は、観察目的で定まる所定領域が明るすぎる場合は光源の光量を下げ、暗すぎる場合は光源の光量を上げる制御をレーザ90に対して行うことが可能である。
【0045】
図4Bは、スペッククルコントラストL40とカメラ20により生成された画素信号の平均輝度値との関係を示す図である。縦軸はスペッククルコントラストを示し、横軸は平均輝度値を示す。なお、スペッククルコントラストL40は後述のスペック演算部370で演算される。図4Bに示すように、スペッククルコントラストL40は画素信号の平均輝度値により値が変動する。このため、光源制御部310は、画素信号の平均輝度値が所定の範囲に入るように、レーザ光11の照射強度を制御してもよい。
【0046】
また、光源制御部310は、例えば生体観察システム100を操作するオペレータが指定したレーザ光11の照射強度の情報を取得してもよい。光源制御部310は、レーザ照射部10に対して指定された照射強度でレーザ光11を出力する旨の指示を出力する。これによりオペレータが所望する照射強度でレーザ光11を照射することが可能となる。
【0047】
レーザ光11の照射強度を制御する方法等は限定されない。例えば、カメラ20の露光時間等に合わせてレーザ光11の照射強度が適宜制御されてもよい。なお光源制御部310により、レーザ光11の照射強度のみならず、レーザ光11の波長や照射領域等の任意のパラメータが適宜制御されてよい。
【0048】
位置制御部312は、不図示の駆動部を制御してレーザ照射部10を所定の時間間隔で所定の距離ずつ移動させる制御を行うことが可能である。
画像取得部32は、カメラ20により生成された画素信号を取得する。すなわち、画像取得部32は、レーザ光11が照射されて撮像された観察部位2の画素信号を取得する。画像取得部32により取得された画素信号は、演算処理部36に供給される。本実施形態では、画像取得部32は、画素信号取得部に相当する。
【0049】
カメラ制御部33は、インターフェース等を介してカメラ20に接続され、カメラ20の動作を制御する。カメラ制御部33は、例えばカメラ20のズーム量(光学倍率)や絞り、あるいは露光時間等を指定する信号をカメラ20に対して出力する。カメラ20は、カメラ制御部33から出力された信号に基づいて観察部位2を撮像する。これによりカメラ20の動作を電子的に制御することが可能となる。
【0050】
また、カメラ制御部33は、観察部位2に対する撮像の撮像パラメータを取得する。撮像パラメータは、レンズ部21(カメラ20)のF値(絞り値)及び光学倍率等を含む。カメラ制御部33により取得された撮像パラメータは、ブロック制御部35に出力される。本実施形態では、撮像パラメータは、撮像条件に相当する。カメラ制御部33は、位置制御部312がレーザ照射部10の位置を変更する場合には、位置制御部312の同期信号に同期して観察部位2の画像を複数枚撮像する。
【0051】
UI取得部34は、図示しないユーザインターフェース(UI:User Interface)を介してオペレータにより入力された指示等を取得する。ユーザインターフェースとしては、例えばディスプレイ等の表示装置及びマウスやキーボード等の入力装置が適宜用いられる。オペレータは、例えば表示装置に表示された操作画面を見ながら入力装置を使って指示を入力する。ユーザインターフェースの種類等は限定されず、例えばタッチセンサを供えたディスプレイ、フットスイッチ、手元のコントロールスイッチ等が用いられてもよい。
【0052】
ブロック制御部35は、予測されるスペックルサイズ算出部40及び処理サイズ制御部41を有する。予測されるスペックルサイズ算出部40は、カメラ制御部33から入力された撮像パラメータに基づいて、スペックルサイズを算出する。
【0053】
スペックルサイズとは、スペックルを形成する個々の斑点の大きさである。一般にスペックルサイズは、スペックルパターンを撮像する撮像系に応じて変化する。例えばスペックルサイズdは、以下の式で与えられる。
d=F#×(1+M)×λ×1.22 (3)
ここで、F#はレンズ部21のF値であり、Mはレンズ部21の光学倍率Mである。またλは照射されたレーザ光11の波長である。以下ではこの式をスペックルサイズ算出式と記載する場合がある。
【0054】
本実施形態では、予測されるスペックルサイズ算出部40により、撮像パラメータに含まれるF値F#及び光学倍率Mに基づいて、スペックルサイズ算出式を用いてスペックルサイズdが算出される。従って予測されるスペックルサイズ算出部40は、撮像されているスペックルパターンでのスペックルサイズdを算出することが可能である。算出されたスペックルサイズdは、処理サイズ制御部41に出力される。
【0055】
処理サイズ制御部41は、画素ブロックであるセルのサイズ(セルサイズ)を制御する。セルは、例えばm×nの画素で構成された矩形ブロックであり、画素信号からスペックルコントラストを算出する際に用いられる。(横×縦)の画素数(m×n)がセルサイズに相当する。セルの形状等は限定されず、例えば任意の形状のセルが用いられてよい。セル及びスペックルコントラストについては後述する。
【0056】
処理サイズ制御部41は、予測されるスペックルサイズ算出部40により算出されたスペックルサイズdに基づいてセルサイズを制御する。また処理サイズ制御部41は、UI取得部34により取得された画質モードに応じてセルサイズを制御する。従って処理サイズ制御部41により制御されるセルサイズは、スペックルサイズdと画質モードに応じたサイズとなる。
【0057】
本実施形態では、セルのサイズを制御する際に、記憶部37に記憶された処理サイズテーブル38が用いられる。処理サイズテーブル38には、スペックルサイズdと、画質モードと、セルのサイズとの対応関係が記録されている。例えば処理サイズ制御部41は、算出されたスペックルサイズd及び指定された画質モードに対応するセルのサイズの値を処理サイズテーブル38から取得する。これにより容易にセルのサイズを制御することが可能となる。本実施形態では、処理サイズテーブル38は、制御テーブルに相当する。
【0058】
このようにブロック制御部35は、撮像パラメータに基づいてスペックルサイズを算出し、算出されたスペックルサイズに基づいてセルサイズを制御する。すなわち、ブロック制御部35は、観察部位2に対する撮像の撮像パラメータに基づいて、セルのサイズを制御する。
【0059】
図5は、演算処理部36の構成を示すブロック図である。図5に示すように、演算処理部36は、処理サイズ制御部41(ブロック制御部35)によりサイズが制御されたセルを用いて、画像取得部32により取得された画素信号に基づいてスペックルデータを算出する。すなわち、この演算処理部36は、記憶部360と、プロファイル生成部362と、画素値範囲生成部364と、第1画像生成部366と、第2画像生成部368と、スペックル演算部370とを有する。なお、本実施形態に係る第1画像生成部366と、第2画像生成部368とが画像生成部に対応する。
【0060】
記憶部360は、画像取得部32が取得した画素信号を二次元の画像として記憶する。なお、記憶部360は、記憶部37内に構成してもよい。
【0061】
図6は、プロファイル生成部362が生成する画素値プロファイルの例を示す図である。上図は、画素値プロファイルの例である。縦軸は画素値を示し、横軸は、画像上の位置を示す。下図は、画像取得部32が取得した画素信号に基づき生成された明部と暗部とを含む二次元画像を示す。図6の下図に示すように、遮光部102bに対応する暗部の画像も画素値を有する。これは、明部に直接照射されたレーザ光が反射、散乱して暗部から出射して撮像されることにより生じる。また、レーザ光11が直接照射される明部(開口部)に対応する画像領域は、D領域(ダイレクト領域)と称する。一方で、遮光部に対応する範囲で所定の画素値を有する画像領域は、G領域(グローバル領域)と称する。すなわち、G領域(グローバル領域)は、D領域(ダイレクト領域)から入射したレーザ光が反射及び散乱して出射した領域である。
【0062】
図7A、Bは、皮膚組織の断面を示す模式図である。例えばA層は角質層及び表皮であり、例えばB層は、真皮の上部層である。真皮の上部層には毛細血管が存在する。図7Aはダイレクト(Direct)領域のレーザ光11、及び反射、散乱光EAを模式的に示す図である。図7Bはグローバル(Global)領域のレーザ光11、及び反射、散乱光EBを模式的に示す図である。
【0063】
図7Aに示すように、ダイレクト領域では、レーザ光11がA層からも反射するため、B層から反射、散乱する微弱光は、A層から反射、散乱する光に埋もれてしまう。このため、ダイレクト領域では、A層から反射、散乱する反射、散乱光EAが主たる成分として撮像される。反射、散乱光EAは、例えば、生体である観察部位2に直接的に照射されたコヒーレント光の一部が観察部位2の組織の下の血流によって散乱された光に対応する。
【0064】
図7Bに示すように、グローバル領域は、レーザ光11は直接照射されていない領域であり、ダイレクト領域から入射した光が反射、散乱する領域である。このため、グローバル領域では、A層から反射、散乱する光は低減し、B層から反射、散乱する反射、散乱光EBが主たる成分として撮像される。
【0065】
図8は、画素値範囲生成部364の処理例を模式的に示す図である。上側の図は、絞り102の出射側の面におけるレーザ光11の分布を示す模式図である。縦軸は明るさを示し、横軸は絞り102を横切るラインの位置に対応する。下側の図は、プロファイル生成部362が生成した画素値プロファイルの一部領域を示す。
【0066】
画素値範囲生成部364は、開口部領域の画素値の代表値を生成する。例えば、開口部領域の画素値の最大値、平均値などである。続けて画素値範囲生成部364は、代表値に基づく画素値Lgの画素値範囲を生成する。例えば、代表値の50%~1/e=13.5%の範囲をグローバル領域における画素値Lgの抽出画素値範囲として生成する。
【0067】
図9は、画素値範囲生成部364が設定した抽出画素値範囲G9と画像取得部32が取得した二次元画像との対応関係を示す図である。上図は、画素値範囲生成部364が生成した画素値プロファイルと、画素値範囲生成部364が設定した抽出画素値範囲G9を示す図である。下図は画像取得部32が取得した二次元画像を示し、ラインL9は、画素値プロファイルを生成した位置を示す。
【0068】
図10は、第1画像生成部366が抽出画素値範囲G9(図9)に基づき生成した画像例を示す図である。図10(a)は, 抽出画素値範囲G9(図9)に基づき切り出した画像例を示す。
【0069】
図9及び図10(a)に示すように、第1画像生成部366は、抽出画素値範囲G9(図9)に対応する画素値Lgの画素値範囲の要素画像を、画像取得部32が取得した二次元画像から切り出す。図10(a)では、ダイレクト領域の右側の画像領域を抽出しているが、ダイレクト領域の左側の画像領域も抽出してよい。第1画像生成部は、生成した要素画像を記憶部360に記憶する。
【0070】
図10(b)は、第1画像生成部366が合成したG(グロ-バル画像)画像の例を示す図である。図10(b)に示すように、第1画像生成部は、生成した要素画像を記憶部360から取得し、全体画像をG(グロ-バル画像)画像として合成する。
【0071】
図11は、第2画像生成部368が生成したD(ダイレクト画像)画像の例を示す図である。図11に示すように、第2画像生成部368は、画像取得部32が取得した二次元画像から画素値範囲生成部364が設定した抽出画素値範囲G9以下の画像を除き、合成する。
【0072】
ここでスペックルデータとは、観察部位2のスペックルパターンに関するデータである。スペックルデータは、例えば画素信号に含まれる各画素の輝度値等の情報を適宜処理することで算出される。
【0073】
本実施形態では、スペックル演算部370により、スペックルデータとしてスペックルコントラストが算出される。なおスペックルコントラストのみならず、例えばスペックルパターンでの輝度値の平均、分散、及び標準偏差等がスペックルデータとして算出されてもよい。算出されたスペックルデータは、処理サイズ制御部41及び処理サイズテーブル38に出力可能であり、処理サイズテーブル38の校正等に用いられる。
【0074】
またスペックル演算部370により、算出されたスペックルコントラストに基づいて観察部位2の観察像が生成される。生成された観察像は、図示しないディスプレイ等の表示装置に出力される。本実施形態において、スペックル演算部370は、算出部及び生成部として機能する。
【0075】
図12及び図13は、スペックルコントラストの算出例を説明するための模式図である。図12では、3×3のセル42に含まれる画素43の輝度値が明暗により模式的に図示されている。
【0076】
図13に示すようにスペックルコントラストCsは、セル42に含まれる各画素43の輝度値I(m、n)の標準偏差σ及び平均値Aを用いて以下の式で与えられる。
Cs=σ/A (4)
【0077】
また輝度値I(m、n)の標準偏差σ及び平均値Aは以下の式で与えられる。
A=Ave(I(m、n))=Σ[I(m、n)]/N (5)
σ=Stdev(I(m、n))=Sqrt((Σ[I(m、n)-Ave]^2)/N) (6)
ここで総和記号Σは、セル42内の全ての画素43の輝度値に関する和を表す。またNはセル42に含まれる画素43の総数であり、図12ではN=3×3=9である。なおスペックルコントラストCsの算出方法は限定されず、例えば標準偏差σに代えて、輝度値I(m、n)の分散σ^2等が用いられてもよい。またスペックルコントラストCsとしてセル42内での輝度値I(m、n)の最大値及び最小値の差分(Imax(m、n)-Imin(m、n))が用いられてもよい。
【0078】
図13Aには、3×3のセル42を用いてスペックルコントラストCsを算出する処理の一例が示されている。例えば図13に示すように、画像44の左上の画素43の位置を座標(0,0)とする。スペックル演算部370は、まず左上の画素43を含むセル42aを設定する。この場合、座標(1,1)にある画素43を中心とするセル42aが設定される(ステップ1A)。
【0079】
スペックル演算部370は、座標(1,1)を中心とするセル42aでのスペックルコントラストCs(1,1)を算出する。すなわち中心の画素43とその周りの8つの画素43との輝度値からCs(1,1)が算出される。算出されたスペックルコントラストCs(1,1)は、座標(1,1)にある画素43に対応するスペックルコントラストCsとして記録される(ステップ1B)。
【0080】
次にスペックル演算部370は、座標(1,1)から右方向に1画素だけ移動した座標(2,1)を中心とするセル42bを設定する(ステップ2A)。スペックル演算部370はセル42bでのスペックルコントラストCs(2,1)を算出し、座標(2,1)にある画素43のスペックルコントラスCsとして記録する(ステップ2B)。
【0081】
このようにセル42の中心を1画素ずつ移動して、セル42の中心の画素43のスペックルコントラストCsを算出する処理が実行される。これにより画素信号に含まれる各画素43に対応するスペックルコントラストCsが順次算出される。
【0082】
なお、セル42を使ってスペックルコントラストCsを算出する方法等は限定されない。例えば算出されたスペックルコントラストCsが、セル42内にある中心の画素43とは異なる他の画素43に割り当てられてもよい。またセル42を移動させる量、向き、及び順序等は限定されず、例えば画像処理に要する処理時間等に応じて適宜変更されてよい。
【0083】
図13Aには、スペックルコントラストCsを算出する処理の全体像が模式的に図示されている。図13Aの左側の図は、第2画像生成部により生成されたグローバル画像の模式図である。スペックル演算部370は、グローバル画像50の左上からスペックルコントラストCsの算出処理を開始する。以下では、スペックルコントラストCsを算出するための元画像、すなわちグローバル画像50をスペックル画像50と記載する。
【0084】
スペックル演算部370は、算出されたスペックルコントラストCsに基づいて観察像となるスペックルコントラスト画像60を生成する。図13Bの右側の図は、スペックルコントラスト画像60の模式図である。
【0085】
スペックルコントラスト画像60は、スペックルコントラストCsの値を輝度値に変換して生成される。例えば、スペックルコントラスCsの値が高い画素には明るい輝度値が設定され、Csの値が低い画素には暗い輝度値が設定される。スペックルコントラストCsを輝度値に変換する方法等は限定されず、任意の方法が用いられてよい。例えばスペックルコントラストCsの高低に対して明暗が反転した輝度値が設定されてもよい。
【0086】
図14は、スペックルパターンの特性を説明するための図である。図14の右上に示す画像は、静止状態にある観察対象にレーザ光11を照射して撮像された画像(スペックル画像50a)である。また左上に示す画像は、移動状態にある観察対象にレーザ光11を照射して撮像された画像(スペックル画像50b)である。
【0087】
一般にレーザ光11のような干渉性の高い光を観察対象に照射すると、観察対象で反射されるレーザ光11(反射光)の位相がランダムに変化する。位相がランダムになったレーザ光11が互いに干渉することで明暗のスペックルパターンが形成される。例えば観察対象が静止状態にある場合には、干渉が生じる位置等が安定するため、右側のスペックル画像50aに示すように明瞭なスペックルパターンが形成される。
【0088】
一方でレーザ光11が移動する対象、例えば血流に照射される場合には、干渉が生じる位置等が変化してスペックルパターンの明暗のパターンが変化し、露光時間中に積分した結果、明暗のコントラストは低下する(左側のスペックル画像50b)。明暗のコントラストが低下する度合いは、例えばカメラ20の露光時間内での移動量に応じた値となる。すなわち明暗のコントラストの低下が速度を反映した指標となる。
【0089】
図14の下側には、静止状態及び移動状態でのスペックル画像50a及び50bでの輝度分布を示すグラフが示されている。グラフの横軸は輝度値であり、縦軸は各輝度値の画素数(分布)である。静止状態及び移動状態でのスペックル画像50a及び50bでの輝度分布は、それぞれ点線及び実線で図示されている。
【0090】
グラフに示すように、観察対象が静止状態である場合には、移動状態である場合と比べ、幅の広い輝度分布となる。すなわち静止状態でのスペックル画像50aは、明るい画素と暗い画素との輝度差が広く、明暗のコントラストが大きい画像となる。一方で、移動状態でのスペックル画像50bは、明るい画素と暗い画素との輝度差が狭く、明暗のコントラストが小さい画像となる。
【0091】
図15は、比較例のレーザ照射部10aの構成例を示す図である。図15に示すように、比較例のレーザ照射部10aでは、絞り102の替わりに、例えば光の透過率が縞状に異なる拡散媒質102aが構成される。拡散媒質102aによりレーザ光の透過率を異ならせるので、被写体2の表面の暗部にもレーザ光が照射されてしまう。これにより、上述のb値に被写体面の距離に対する依存性が生じる。このため、光学系のアライメントが変わる度にb値の導出が必要となる。
【0092】
図16は、図15の撮像系で撮像した比較例のG(グローバル)画像と、本開示によるG(グローバル)画像と、を示す図である。比較例のG(グローバル)画像の指部のスペックルコントラストCsの平均は14であり、本開示によるG(グローバル)画像の指部のスペックルコントラストCsの平均は10である。上述のように、スペックルコントラストCsの値が低いほど、G(グローバル)画像中に移動状態画像がより多く存在することを示す。これから分かるように、比較例の拡散媒質102aを用いる場合より、本開示の絞り102を用いる方が、より血流成分の情報を取得できることを示している。
【0093】
図17は、生体観察システム100の処理例を示すフローチャートである。図17に示すように、先ず照射制御部31とカメラ制御部33の制御にしたがい、レーザ照射部10の照射とカメラ20の撮像とを開始し、画像取得部32が画像データを取得する(ステップS100)。
【0094】
次に、プロファイル生成部362が明部を横切るプロファイルを生成し、画素範囲生成部364がG領域の画素値範囲を生成する(ステップS102)。なお、画素値範囲の生成は、初期に一度行い、次のループでは省略してもよい、
【0095】
次に、第1画像生成部366が、画像データから画素値範囲に基づきG領域の要素画像を生成し、記憶部360に記憶させる。また、第1画像生成部366は、画像データから画素値範囲以下の画素範囲を除いたD領域の要素画像を生成し、記憶部360に記憶させる(ステップS104)。
【0096】
次に、照射制御部31は、所定の範囲までレーザ照射部10の照射が終了したか否かを判定する(ステップS106)。所定の範囲まで終了していないと判定する場合(ステップS106のNO)、照射位置を変更し、ステップS100からの処理を繰り返す。
【0097】
一方で、照射制御部31は、所定の範囲まで終了していると判定する場合(ステップS106のYES)、レーザ照射を停止する。続けて、第1画像生成部366は、記憶部360に記憶されるG領域の要素画像を用いてG画像を生成し、第2画像生成部368は、記憶部360に記憶されるD領域の要素画像を用いてD画像を生成する(ステップS108)。
【0098】
次に、スペックル演算部370は、生成されたG画像、及びD画像のスペックルコントラストCsを演算子、スペックルコントラストCsに基づいて観察像となるスペックルコントラスト画像を生成し、ディスプレイに出力する(ステップS110)。そして、ディスプレイは、G画像、及びD画像のスペックルコントラスト画像を表示し(ステップS112)、処理を終了する。
【0099】
以上説明したように、本実施形態によれば、レーザ照射部10が、光を遮光する遮光部02bと光を透過する開口部102aとを有する絞り102を介してコヒーレント光を生体の観察部位2に照射し、第1画像生成部366が、コヒーレント光が照射される観察部位2の領域を含む画素信号内のコヒーレント光が照射されていない暗部領域の画素信号に基づき、第1画像を生成することとした。これにより、観察部位2の組織の下層であるB層によって散乱された光に基づく画素信号を観察部位2の表層であるA層からの反射光を抑制した状態で取得できる。このため、観察部位2の組織の下層における観察像をより低ノイズで生成可能となる。
【0100】
(第2実施形態)
第1実施形態に係る生体観察システム100は、絞り102が固定絞りであったのに対し、第2実施形態に係る生体観察システム100は、絞り1020が可変絞りである点で相違する。以下では第1実施形態に係る生体観察システム100と相違する点を説明する。
【0101】
図18は、第2実施形態に係る絞り1020の側面断面図である。図18に示すように、絞り1020は、複数の可動絞り1020a、1020bを有する。複数の可動絞り1020a、1020bの位置は変更可能に構成されており、開口部の間隔D1020、及び絞りの幅D1040を変更できる。
【0102】
図19は、第2実施形態に係る照射制御部31のブロック図を示す図である。図19に示すように、絞り制御部314を更に有する点で、第1実施形態に係る照射制御部31と相違する。
【0103】
絞り制御部314は、プロファイル生成部362の生成する画素値プロファイルに基づき、絞り1020の複数の可動絞り1020a、1020bの位置制御を行う。また、絞り制御部314は、可動絞り1020a、1020bを平行移動させる制御を行うことも可能である。
【0104】
図20は、絞り制御部314の制御例を説明する図である。左図は、絞り1020の出射側の面におけるレーザ光11の分布を示す模式図である。縦軸は明るさを示し、横軸は絞り1020を横切るラインの位置に対応する。右図は、左図の開口部、遮光部に対応する観察部位2上のプロファイルである。縦軸は画素値を示し、横軸は位置を示す。絞り制御部314は、プロファイルの明部の最高画素値L2と暗部の最低画素値L1に基づいて、開口部の間隔D1020、及び絞りの幅D1040を制御する。
【0105】
図21は、絞り制御部314の制御例を説明する別の図である。左図は、開口部を中心として、絞り1020の出射側の面におけるレーザ光11の分布を示す模式図である。縦軸は明るさを示し、横軸は絞り1020を横切るラインの位置に対応する。右図は、左図の開口部、遮光部に対応する観察部位2上のプロファイルである。縦軸は画素値を示し、横軸は位置を示す。絞り制御部314は、プロファイルの明部の最高画素値L2と暗部の最低画素値L1に基づいて、開口部の間隔D1020、及び絞りの幅D1040を制御する。
【0106】
図22は、絞り制御部314の更に別の制御例を説明する図である。(a)図は、制御前の観察部位2上のプロファイルを示す図である。(b)図は、制御後の観察部位2上のプロファイルを示す図である。(c)図は、絞り1020の位相ピッチを示す。観察部位2上のプロファイルを示す図である。縦軸は画素値を示し、横軸は位置を示す。それぞれ、縦軸は画素値を示し、横軸は位置を示す。
【0107】
図23は、絞り制御部314の処理例を示すフローチャートである。図22を参照しながら、処理例を説明する。
【0108】
まず、照射制御部31とカメラ制御部33の制御にしたがい、レーザ照射部10が絞り1020を介してレーザを照射し、カメラ20が撮像した画像データを画像取得部32が取得する(ステップS200)。
【0109】
次に、図22の(a)に示すように、プロファイル生成部362が明部及びを横切るプロファイルを生成する(ステップS202)。続けて、絞り制御部314は、間隔D1020、D1040とプロファイル上の明部、及び暗部の間隔との関係からレーザ照射部10と観察部位2との間の幾何学的な倍率を演算する(ステップS204)。
【0110】
次に、図22の(a)に示すように、絞り制御部314は、プロファイルの最高値L2の1/e=13.5%の値に基づく範囲L_diffを抽出する。より具体的には、絞り制御部314は、明部と暗部の境界点からプロファイルの最高値L2の1/e=13.5%の値までの範囲を範囲L_diffとして抽出する(ステップS204)。
【0111】
次に、図22の(b)に示すように、絞り制御部314は暗部の幅L_darkを範囲L_difの2倍以下となる範囲に設定し、ステップS204で演算した倍率に基づき、遮光部の幅D1040を調整する(ステップS206)。続けて、絞り制御部314は明部の幅L_illを幅L_darkと同等の値に演算し、ステップS204で演算した倍率に基づき、開口部の幅D1020を調整する(ステップS206)。
【0112】
次に、絞り制御部314は絞り1020の移動ステップ幅L_ill_stepを範囲L_diff未満とし、倍率に基づき、絞り1020の移動ステップ幅を設定し、設定処理を終了する。
【0113】
以上説明したように、本実施形態によれば、絞り1020を、複数の可動絞り1020a、1020bで構成し、絞り制御部314が明部及びを横切るプロファイルに基づき可動絞り1020a、1020bを制御することとした。これにより、カメラ20が撮像した画像データにおける明部と暗部の画素値の値及び比を所定値に設定することが可能となる。
【0114】
なお、本技術は以下のような構成を取ることができる。
【0115】
(1)光を遮光する遮光部と光を透過する開口部とを有する絞りを介してコヒーレント光を生体の観察部位に照射する照射部と、
前記コヒーレント光が照射される前記観察部位の領域を含む画素信号を取得する画像取得部と、
前記画素信号内の前記コヒーレント光が照射されていない暗部領域の画素信号に基づき第1画像を生成する画像生成部と、
を備える、生体観察システム。
【0116】
(2)前記遮光部は、光を透過させない金属で構成される、(1)に記載の生体観察システム。
【0117】
(3)前記暗部領域の画素信号は、前記生体に直接的に照射された前記コヒーレント光の一部が前記前記観察部位の組織の下の血流によって散乱された光に基づく、(2)に記載の生体観察システム。
【0118】
(4)前記画素信号に基づく画像上の位置変化に対する画素列であるプロファイルに基づき、所定の画素値範囲を設定する画素範囲設定部を更に備え、
前記画像生成部は、前記所定の画素値範囲に基づき、前記第1画像を生成する、(2)に記載の生体観察システム。
【0119】
(5)前記画像内の前記コヒーレント光が直接的に照射されている明部領域の画素信号に基づき、第2画像を生成する第2画像生成部を、更に備える、(4)に記載の生体観察システム。
【0120】
(6)前記第1画像及び前記第2画像の少なくとも一方に基づいたスペックルデータを演算するスペックル演算部を、更に備える、(5)に記載の生体観察システム。
【0121】
(7)記スペックルデータは、スペックルコントラストを含み、
前記スペックル演算部は、前記スペックルコントラストに基づいて観察像を生成する、(6)に記載の生体観察システム。
【0122】
(8)前記画素信号取得部は、前記コヒーレント光が照射される前記観察部位の領域をそれぞれ変更した複数の画像を取得し、
前記画像生成部は、前記複数の画像に基づき、前記第1画像を生成する(7)に記載の生体観察システム。
【0123】
(9)前記観察像における前記スペックルコントラストの値に基づき、前記コヒーレント光の照射強度を制御する照射制御部を更に備える、(8)に記載の生体観察システム。
【0124】
(10)前記照射制御部は、前記画像内の前記暗部領域、及び前記明部領域の少なくとも一方の画素値に基づき、前記コヒーレント光の照射強度を制御する、(9)に記載の生体観察システム。
【0125】
(11)前記絞りは、可変絞りであり、前記画像内の前記暗部領域内、及び前記明部領域内の画素値に基づき、開口部の幅及び開口部間の幅を設定する絞り制御部を更に備える、(10)に記載の生体観察システム。
【0126】
(12)前記絞り制御部は、前記暗部領域内、及び前記明部領域内の所定の画素値の比が所定範囲となるように、前記開口部間の幅を設定する、(11)に記載の生体観察システム。
【0127】
(13)(1)乃至(12)のいずれかに記載の生体観察システムを用いた血流計装置。
【0128】
(14)(1)乃至(12)のいずれかに記載の生体観察システムを用いた顕微鏡装置。
【0129】
(15)(1)乃至(12)のいずれかに記載の生体観察システムを用いた中視鏡装置。
【0130】
(16)光を遮光する遮光部と光を透過する開口部とを有する絞りを介してコヒーレント光を生体の観察部位に照射する照射工程と、
前記コヒーレント光が照射される前記観察部位の領域を含む画素信号を取得する画素信号取得工程と、
前記画素信号内の前記コヒーレント光が照射されていない暗部領域の画素信号に基づき第1画像を生成する画像生成工程と、
を備える、生体観察方法。
【0131】
(17)コヒーレント光を生成する光源と、
前記コヒーレント光を遮光する遮光部と光を透過する開口部とを有する可動絞りと、を備え、
前記コヒーレント光が照射される生体における観察部位の前記コヒーレント光が照射されていない暗部領域の画素信号に基づき、前記遮光部の幅、前記開口部の幅の少なくとも一方が制御される、照射装置。
【0132】
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0133】
10:レーザ照射部、32:画像取得部、100:生体観察システム、102:絞り、102a:開口部、102b:遮光部、366:第1画像生成部、368:第2画像生成部、370:スペックル演算部、1020:絞り。
図1
図2A
図2B
図3
図4A
図4B
図5
図6
図7A
図7B
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23