(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185357
(43)【公開日】2022-12-14
(54)【発明の名称】撮像装置
(51)【国際特許分類】
A61B 10/00 20060101AFI20221207BHJP
A61B 5/026 20060101ALI20221207BHJP
【FI】
A61B10/00 E
A61B5/026 120
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021092983
(22)【出願日】2021-06-02
(71)【出願人】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】100110423
【弁理士】
【氏名又は名称】曾我 道治
(74)【代理人】
【識別番号】100111648
【弁理士】
【氏名又は名称】梶並 順
(74)【代理人】
【識別番号】100147566
【弁理士】
【氏名又は名称】上田 俊一
(74)【代理人】
【識別番号】100161171
【弁理士】
【氏名又は名称】吉田 潤一郎
(74)【代理人】
【識別番号】100188514
【弁理士】
【氏名又は名称】松岡 隆裕
(72)【発明者】
【氏名】菅野 哲生
【テーマコード(参考)】
4C017
【Fターム(参考)】
4C017AA11
4C017AB06
4C017AC26
4C017BC11
(57)【要約】
【課題】術者の経験値の違いによって手術時間あるいは施術自体の精度に影響を及ぼすことを抑制することができる撮像装置を得る。
【解決手段】複数の波長のレーザー光を発光する光源と、複数の波長のレーザー光のそれぞれを照射する光源光学系と、反射散乱光を光電変換し、撮像情報を生成する撮像部と、撮像情報に対してレーザスペックル血流計測を行うことで複数の血流量を演算する演算部と、複数の表示特性のいずれかを用いて、複数の血流量のそれぞれを変換した複数の表示情報を生成し、映像信号を出力する映像出力部と、光源、撮像部、演算部、および映像出力部を統括制御し、術者による操作入力に基づいて、血流量の相違を識別表示させる制御部とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数の波長のレーザー光を発光する光源と、
施術対象を含む術野に対して、前記複数の光源から発光された前記複数の波長のレーザー光のそれぞれを照射する光源光学系と、
前記術野から得られる前記複数の波長のレーザー光によるそれぞれの反射散乱光を光電変換し、撮像情報を生成する撮像部と、
前記撮像部で生成された前記それぞれの反射散乱光に関する前記撮像情報に対してレーザスペックル血流計測を行うことで、それぞれの前記撮像情報に対応する複数の血流量を演算する演算部と、
前記演算部による演算結果に基づいて、複数の表示特性のいずれかを用いて、前記複数の血流量のそれぞれを変換した複数の表示情報を生成し、前記複数の表示情報の少なくとも1つ以上を画面に表示させるための映像信号を出力する映像出力部と、
前記光源、前記撮像部、前記演算部、および前記映像出力部を統括制御し、術者による操作入力に基づいて、所望の表示特性を用いて前記複数の波長のうちの1以上の波長に対応する前記映像信号を出力させることで、前記血流量の相違を識別表示させる制御部と
を備える撮像装置。
【請求項2】
前記光源は、前記複数の波長のレーザー光として、複数の近赤外帯域の波長を発光し、
前記制御部は、前記複数の近赤外帯域の波長の中から、術者による前記操作入力に基づいて選択された波長の前記映像信号を出力させるように統括制御を行うことで、前記術野における異なる深度による画像表示を可能とする
請求項1に記載の撮像装置。
【請求項3】
前記制御部は、前記複数の近赤外帯域の波長の中から、術者による前記操作入力に基づいて選択された2以上の波長のそれぞれに対応する異なる深度ごとでのレイヤーからなる2次元情報を生成し、生成した前記2次元情報を前記映像信号として出力させるように前記統括制御を行う
請求項2に記載の撮像装置。
【請求項4】
前記制御部は、前記異なる深度ごとでのレイヤーからなる前記2次元情報の中で、術者による前記操作入力に基づいて選択された1以上のレイヤーを同時に表示させるための前記映像信号を出力させるように前記統括制御を行う
請求項3に記載の撮像装置。
【請求項5】
前記制御部は、前記異なる深度ごとでのレイヤーからなる前記2次元情報を元に、レイヤー間の情報を推測補間することで3次元情報を生成し、生成した前記3次元情報を前記映像信号として出力させるように前記統括制御を行う
請求項3に記載の撮像装置。
【請求項6】
前記制御部は、前記演算部による前記血流量の演算結果に基づいて、前記表示情報を用いて前記血流量の相違を識別表示させるために適切な表示特性を学習する第一の学習機能を有し、
前記映像出力部は、前記第一の学習機能により学習された前記適切な表示特性を用いて、前記表示情報を生成する
請求項1から5のいずれか1項に記載の撮像装置。
【請求項7】
前記制御部は、前記術野における血管部あるいは神経に関する形状情報をあらかじめ取得しておき、前記演算部で演算された前記血流量のうち、あらかじめ決められた閾値以上の部分を正常部位として特定するとともに、前記正常部位と前記形状情報との位置合せを行うことで、正常部位に対する虚血部位の位置を特定する第二の学習機能を有し、
前記映像出力部は、前記生成した表示情報に対して、前記第二の学習機能により特定された前記虚血部位の位置に対して前記血管部あるいは前記神経が表示されるように前記表示情報を修正して前記映像信号を出力する
請求項1から6のいずれか1項に記載の撮像装置。
【請求項8】
前記光源は、前記複数の波長のレーザー光として、波長700nm~波長1000nmの帯域のレーザー光が含まれている
請求項1から7のいずれか1項に記載の撮像装置。
【請求項9】
前記光源は、前記複数の波長のレーザー光として、波長700nm~波長1000nmの帯域と、波長1000nm~波長1500nmの帯域と、波長1550nm~波長1800nmの帯域のレーザー光が含まれている
請求項1から7のいずれか1項に記載の撮像装置。
【請求項10】
前記光源は、前記複数の波長のレーザー光として、波長700nmのレーザー光と、波長1000nmのレーザー光が含まれている
請求項1から7のいずれか1項に記載の撮像装置。
【請求項11】
前記光源は、前記複数の波長のレーザー光として、波長700nmのレーザー光と、波長850nmのレーザー光と、波長1000nmのレーザー光と、波長1300nmのレーザー光と、波長1700nmのレーザー光が含まれている
請求項1から7のいずれか1項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用の撮像装置に関するものである。
【背景技術】
【0002】
脳内に発生した腫瘍を取り除く脳腫瘍切除術を行う際に、術者は、腫瘍部位と正常な脳の部位との識別を行う必要がある。このような識別を行うに当たっては、基本的には、医師がその経験に基づき、都度判断している。
【0003】
近年は、光線力学的診断(photodynamic diagnosis:PDD)を用いた識別法が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術には以下のような課題がある。
上述したように、脳腫瘍切除術を行う際に、術者は、腫瘍部位と正常な脳の部位との識別を、経験に基づいて行っている。
【0006】
術野から得られる微妙な色、明るさなどによる視感的情報、メスで接触した際の弾性、コリコリ感など手から伝わる物理的情報、などの実態情報に対して、術者の過去の手術実績の蓄積から生成された自らの経験データベースに照らしながら、腫瘍識別を行うという作業が必要となる。そして、術者は、このような作業を、時々刻々と状況が変化する開頭手術の間、常に高精度で実行し続ける必要がある。
【0007】
従って、当然術者の経験値の違いが手術時間とともに、施術自体の精度に影響するという問題がある。また、このように術者の判断だけに頼る場合には、経験値が高い術者であっても、時間の経過とともに、視力の変化、感触の鈍化など疲労の度合いにより識別能力に影響が出る可能性がある。特に、困難な部位の手術、あるいは長時間にわたる手術において、常に一定の高精度での施術の継続が難しいという課題がある。
【0008】
腫瘍部位を識別する方法として、上述した特許文献1のように、光線力学的診断(PDD)法を用いる従来の手法がある。この従来の手法では、患者に対して蛍光造影剤を術前に投与した上で、術野に紫外線に近い波長の照明を当てて、その反射光を専用の撮像装置にて撮像し、術野中の腫瘍部位から発する赤色帯域の蛍光発光を観察することで腫瘍部位の識別を行っている。
【0009】
しかしながら、この従来の方法では、施術の都度で、特殊な蛍光造影剤が必要であるとともに、薬剤に対する副作用など、患者への負担が懸念される。さらに、従来の方法は、紫外線に近い波長を照射するため、長時間の照射を行った場合には患部へ悪影響を及ぼすといった課題がある。
【0010】
この開示は、上記した問題点を解決するためになされたものであり、術者の経験値の違いによって手術時間あるいは施術自体の精度に影響を及ぼすことを抑制することができる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【0011】
本開示に係る撮像装置は、複数の波長のレーザー光を発光する光源と、施術対象を含む術野に対して、複数の光源から発光された複数の波長のレーザー光のそれぞれを照射する光源光学系と、術野から得られる複数の波長のレーザー光によるそれぞれの反射散乱光を光電変換し、撮像情報を生成する撮像部と、撮像部で生成されたそれぞれの反射散乱光に関する撮像情報に対してレーザスペックル血流計測を行うことで、それぞれの撮像情報に対応する複数の血流量を演算する演算部と、演算部による演算結果に基づいて、複数の表示特性のいずれかを用いて、複数の血流量のそれぞれを変換した複数の表示情報を生成し、複数の表示情報の少なくとも1つ以上を画面に表示させるための映像信号を出力する映像出力部と、光源、撮像部、演算部、および映像出力部を統括制御し、術者による操作入力に基づいて、所望の表示特性を用いて複数の波長のうちの1以上の波長に対応する映像信号を出力させることで、血流量の相違を識別表示させる制御部とを備えるものである。
【発明の効果】
【0012】
この開示によれば、施術対象を含む術野における血流量の相違を識別表示させることにより、術者の経験値の違いによって手術時間あるいは施術自体の精度に影響を及ぼすことを抑制することができる撮像装置を得ることができる。
【図面の簡単な説明】
【0013】
【
図1】本開示の実施の形態1に係る撮像装置の概略ブロック図である。
【
図2】本開示の実施の形態1に係る撮像装置の生体での光損失特性例を示した図である。
【
図3】本開示の実施の形態1に係る撮像装置の光源発光特性を示した図である。
【
図4】本開示の実施の形態1に係る撮像装置の血流量-輝度の表示特性例を示した図である。
【
図5】本開示の実施の形態1に係る撮像装置の血流計測の表示例を示した図である。
【
図6】本開示の実施の形態1に係る撮像装置の実際の腫瘍位置例を示した図である。
【
図7】本開示の実施の形態1に係る撮像装置の深度ごとの観察表示例を示した図である。
【
図8】本開示の実施の形態1に係る撮像装置において、同時観察表示を行う具体例を示した図である。
【
図9】本開示の実施の形態1に係る撮像装置の血流量-色彩の表示特性を示した図である。
【
図10】本開示の実施の形態1に係る撮像装置の血流量-輝度の表示特性を、術者の操作により変更する場合の説明図である。
【
図11】本開示の実施の形態1に係る撮像装置の観察表示に関する第一の画像例を示した図である。
【
図12】本開示の実施の形態1に係る撮像装置の観察表示に関する第二の画像例を示した図である。
【
図13】本開示の実施の形態2に係る撮像装置の光源系の概略ブロック図である。
【
図14】本開示の実施の形態2に係る撮像装置の撮像系の概略ブロック図である。
【
図15】本開示の実施の形態2に係る撮像装置の3次元観察表示例を示した図である。
【発明を実施するための最良の形態】
【0014】
以下、本開示に係る撮像装置の実施の形態に関し、図面を用いて説明する。本開示に係る撮像装置は、施術対象を含む術野における血流量の相違を識別表示させる構成を備えることで、術者の経験値の違いによって手術時間あるいは施術自体の精度に影響を及ぼすことを抑制することができる撮像装置を実現できる点を技術的特徴としている。
【0015】
実施の形態1.
図1は、本開示の実施の形態1に係る撮像装置の概略ブロック図である。
図1において、第一の発光素子4は、レーザー発光素子が用いられ、第一の発光回路5と、第一の発光制御部6とにより発光動作を行うとともに、光源制御部10によりその動作が制御される。
【0016】
同様に、第二の発光素子7は、レーザー発光素子が用いられ、第二の発光回路8と、第二の発光制御部9により発光動作を行うとともに、光源制御部10によりその動作が制御される。
【0017】
第一の発光素子4と第二の発光素子7のそれぞれからの放射光は、光混合部3により合成されて、光源光学系2を通して術野1へ照射される。術野1からの反射散乱光は、撮像光学系11から光学フィルタ12を通して、第一の撮像素子13と第二の撮像素子15に導光され、それぞれの撮像素子にて光電変換され、この結果、撮像情報としての映像信号が生成される。
【0018】
第一の撮像素子13により撮像された映像信号は、第一の映像信号処理部14を介して映像処理演算部17に入力される。同様に、第二の撮像素子15により撮像された映像信号は、第二の映像信号処理部16を介して映像処理演算部17に入力される。
【0019】
ここで、本実施の形態1において、第一の撮像素子13と第一の映像信号処理部14のまとまり、および第二の撮像素子15と第二の映像信号処理部16のまとまりは、撮像部に相当する。また、映像処理演算部17は、演算部に相当する。
【0020】
映像処理演算部17による演算結果は、映像出力部19と外部出力21とを通して外部のモニターに映像出力される。
【0021】
システム制御部20は、撮像系を制御する撮像制御部18と、光源系を制御する光源制御部10と、外部コマンドを入力する操作部22と、を統括制御する。なお、光源制御部10、撮像制御部18、およびシステム制御部20を1つにまとめ、制御部として構成することも可能である。
【0022】
図2は、本開示の実施の形態1に係る撮像装置の生体での光損失特性例を示した図である。
図2に示した生体での光損失特性例は、人の生体組織に光を照射した際の、光の波長とその損失量との関係を示した特性である。より具体的には、
図2では、総損失30と散乱損失31につき、可視領域32から近赤外領域33までの波長にわたる特性が示されている。
【0023】
なお、近赤外領域33は、可視に近い波長700~1000nm辺りの第一の近赤外34と、波長1000nmを超え波長1500nm辺りまでの第二の近赤外35と、波長1500nmを超え波長1900nm辺りまでの赤外に近い第三の近赤外36とに分けられ、それぞれ異なる光損失特性を持つ。
【0024】
図3は、本開示の実施の形態1に係る撮像装置の光源発光特性を示した図である。
図3に示した光源発光特性は、本開示の光源系の発光波長例であり、第一の近赤外34では700nmの波長40と850nmの波長41、第二の近赤外35では1000nmの波長42と1300nmの波長43、第三の近赤外36では1700nmの波長44をそれぞれ発光する場合が例示されている。
【0025】
図4は、本開示の実施の形態1に係る撮像装置の血流量-輝度の表示特性例を示した図である。
図4に示す血流量-輝度の表示特性例は、撮像映像に基づきレーザスペックル血流計測を行った結果を、輝度の変化で画像表示する場合の表示特性例を示している。X軸は、血流量を表し、Y軸は、輝度レベルを表している。
【0026】
血流量の領域は、腫瘍領域54と正常部位・血管部その他の領域55とに分けられている。表示特性としては、血流量の変化に対して輝度の変化が直線的な第一の輝度表示特性50と、腫瘍領域54が識別しやすいように血流量が少ない部分の輝度変化が大きくなるような非直線的な表示特性を有する第二の輝度表示特性51の2種の表示特性を例示している。
【0027】
具体的には、腫瘍領域54の輝度範囲は、
図4に示すように、第一の輝度表示特性50を用いた場合には、第一の輝度範囲53となるが、第二の輝度表示特性51を用いた場合には、第二の輝度範囲52となり、輝度変化範囲をより大きくすることができる。なお、第三の輝度表示特性56に関しては、後述する。
【0028】
図5は、本開示の実施の形態1に係る撮像装置の血流計測の表示例を示した図である。
図5に示した血流計測の表示例では、
図4の血流量-輝度の表示特性例に基づいて術野1の血流量を輝度の変化として生成した表示情報を画面表示した具体例を示している。例えば、正常部位60はグレーで表示され、腫瘍部位61は血流量が少ないため、かなり暗く表示される。
【0029】
なお、
図5では、腫瘍部位61と正常部位との境界である境界部62、および血管部63も表示されている場合を例示している。
【0030】
図6は、本開示の実施の形態1に係る撮像装置の実際の腫瘍位置例を示した図である。
図6に示した実際の腫瘍位置例では、腫瘍部位61、血管部63などの構造物と、各波長ごとで計測可能な各レイヤー73~76の位置関係が示されている。
【0031】
具体的には、第一のレイヤー73は、最も可視に近い波長での計測レイヤーである。また、発光波長が長くなる第二のレイヤー74、第三のレイヤー75、および第四のレイヤー76は、この順で、計測レイヤーがより深くなっている。なお、
図6では、術野表面70も示されている。
【0032】
図7は、本開示の実施の形態1に係る撮像装置の深度ごとの観察表示例を示した図である。
図7に示した深度ごとの表示例は、
図6の実際の腫瘍位置例に基づいて各計測レイヤー73~76で撮像した上で血流計測を行い、その結果をレイヤー画面73a~76aとして画面表示した例である。すなわち、
図7は、それぞれの深度ごとで、レイヤーからなる2次元情報を画面表示した例である。
【0033】
その際の計測結果において、血流量は、先の
図4の血流量-輝度の表示特性例に基づいて、レイヤーごとに、血流の輝度変化の状態が、それぞれのレイヤー画面73a~76aとして画面表示されている。
【0034】
例えば、
図6の第一のレイヤー73~第四のレイヤー76もそれぞれに相当する表示画面は、第一のレイヤー画面73a~第四のレイヤー表示画面76aであり、レイヤー画面73a、74a、75a、76aの順で、その計測レイヤーが深くなる。なお、血流計測結果でなく、術野1近傍の撮像画像が、術野画像78として
図7中に示されている。
【0035】
次に、本開示による撮像装置の動作につき、図を用いて説明する。
図1において、電源が投入されると、システム制御部20が撮像制御部18および光源制御部10を含むシステム全体を起動し、撮像装置が動作可能状態となる。このとき、撮像は可能な状態であるが、光源からの発光は停止した状態にあり、観察待機のモードである。
【0036】
この状態から、例えば、術者が操作部22からボタン操作にて腫瘍観察モード1を選択することで、システム制御部20は、光源制御部10を制御して第一の発光回路5と第一の発光素子4を動作させ、第一の放射光である波長700nm近傍のレーザー光を発光させる。この第一の放射光は、光混合部3と光源光学系2を通して均一な光として2次元的に術野1へ照射される。
【0037】
波長700nm近傍の第一の放射光は、近赤外光であり、近赤外光は、人の生体に照射された場合の光損失量が、可視光より少ない。このため、近赤外光は、術野1に対して浸透することで、ある程度の深部まで到達する。その特性は、
図2のようになり、700nm近傍の波長は、第一の近赤外34に相当し、その到達深度は、術野表面70に対して約5mmである。
【0038】
また、波長700nm近傍の第一の放射光は、レーザー光であり、可干渉性を持つコヒーレントな光である。この光を生体に照射した場合、生体内の粒子により散乱された光が干渉し合うことで、術野1からの反射散乱光にランダムな模様としてスペックルパターンを得ることができる。
【0039】
第一の放射光を発光させることにより、
図6の術野表面70より約5mm深部の第一のレイヤー73からの反射散乱光が得られる。この反射散乱光は、撮像光学系11と光学フィルタ12にて波長700nm近傍のみを通した光となった後、第一の撮像素子13と第一の映像信号処理部14にて光電変換と電気信号処理を行うことで、第一の映像信号に変換される。
【0040】
腫瘍の組織は、一般的には細胞の代謝過程で生じる異常細胞が増殖した集合体である。従って、腫瘍の組織は、異常増殖の影響により、通常の細胞と比較して血流量が低いという特徴を持つと言われている。
【0041】
さらに、腫瘍部位61と正常部位との境界部分においては、細胞が異常化する過程で酸素が必要となる関係から、部分的に血流量が増える傾向にあるとも言われている。本開示は、境界部分を含めた腫瘍関連部位の位置を、この特徴である血流量の相違を測定することで識別を行うことを特徴としている。
【0042】
映像処理演算部17は、第一の映像信号処理部14で得られた第一の映像信号に基づき、血流計測のための演算を行う。レーザー光によって得られたスペックルパターンは、生体組織内の血球粒子移動に伴い、時々刻々と変化してゆく。
【0043】
血球粒子の動きが大きく速いほど、スペックルパターンの単位時間あたりの変化が大きい。このスペックルパターンを、2次元の撮像センサーにて映像信号として撮像し、空間的に同位置の輝度信号につき、その単位時間あたりの変化を計測することで、血流の量あるいは血流の速度に比例した血流情報が得られる。
【0044】
血流量の多い位置の映像信号には、高い周波数成分が多く含まれており、血流量の少ない位置の映像信号には、低い周波数成分が多く含まれている。このことから、映像処理演算部17は、第一の映像信号処理部14からの映像信号に対して、その位置ごとで周波数解析等の演算を行うことで、血流量に比例した情報を得ることができる。すなわち、映像処理演算部17は、映像信号に対応する血流量を演算することができる。
【0045】
この演算によって得られた血流量の情報は、映像出力部19により、
図4の特性に従って、血流量の多い部分は明るく、血流量の少ない部分は暗く、といった映像信号上の輝度変化という形に変換され、表示情報が生成される。さらに、外部出力21に接続された外部モニターにて、
図5のような変換後の映像信号に相当する表示情報が表示されることで、術者がその測定結果を撮像映像として確認することができる。
【0046】
このとき、映像出力部19は、
図4のように、血流量と輝度レベルとの関係が直線的な特性である第一の輝度表示特性50と、非直線的な特性である第二の輝度表示特性51のいずれかを採用することができる。
【0047】
一例として、映像出力部19は、通常の腫瘍観察では、第二の輝度表示特性51を採用して生成した変換後の映像信号を表示させることができる。第二の輝度表示特性51を採用する理由としては、腫瘍領域54は、血流量が比較的少ないため、この部分の輝度変化を大きくとることで、腫瘍部位61と正常・その他の部位とを視感上より識別しやすくすることが挙げられる。
【0048】
この結果、ユーザが腫瘍識別時に確認する映像は、
図5のようになり、正常部位60はほぼグレーであるのに対し、血流量の少ない腫瘍部位61は血流量が少ないため、かなり暗く、流量の多い血管部63は白に近い輝度として表示させることができる。
【0049】
また、その他の傾向として、腫瘍部位61と正常部位との境界部62は、比較的血流が多い場合があり、その際には、白に近い明るいグレーとなる可能性がある。動脈、静脈、穿通枝などの血管部63は、その壁面厚あるいは状態にも依存するが、基本的には、血管部63に流れる血流の状態情報が表示される。この場合、画面上に白っぽい線状のものが表示されることで、術者は、深部にある血管部の存在をも把握することができる。
【0050】
このように、術者が選択した腫瘍観察モード1による第一の放射光での観察では、700nmの1波長を使用するため、術野1の深部は、約5mmとなる。この結果、
図6に示した第一のレイヤー73近傍の観察ができ、表示画面として、
図7に示した第一のレイヤー画面73aが表示されることとなる。
【0051】
この第一のレイヤー73は、術者が肉眼で直接確認できる位置であり、表示された観察画像は、肉眼で見えている構造物が腫瘍か正常かを判断する情報、つまり、今現在の施術判断に大変有用な情報となる。従って、術者は、腫瘍観察モード1による画面表示内容を確認することで、より確実に現状の施術を進めることができる。
【0052】
この腫瘍観察モード1では、深度約5mmの単一なレイヤーの観察情報しか得られないため、確実な腫瘍切除施術を行うには、さらに深いレイヤーでの観察情報が必要となる場合がある。この場合、術者は、操作部22より腫瘍観察モード2を選択入力することができる。
【0053】
腫瘍観察モード2が選択された場合には、システム制御部20は、光源制御部10を制御して、一旦第一の放射光の発光を止めると同時に、第二の発光制御部9により、第二の発光回路8と第二の発光素子7を動作させる。この結果、第二の放射光である波長1000nm近傍のレーザー光を発光させることができる。この第二の放射光は、光混合部3と光源光学系2を通して均一な光として2次元的に術野1へ照射される。
【0054】
この波長1000nm近傍の放射光は、第一の放射光である波長700nm近傍の第一の放射光よりも光損失量が少ない。このため、第二の放射光は、術野1に対して、第一の放射光よりもさらに深部まで到達する。第二の放射光の光損失特性は、
図2に示したようになり、その到達深度としては、術野表面70に対して約20mmである。
【0055】
また、第一の放射光と同様に、この第二の放射光もレーザー光であり、可干渉性を持つコヒーレントな光である。この光を生体に照射した場合、生体内の粒子により散乱された光が干渉し合うことで、術野1からの反射散乱光にランダムな模様としてスペックルパターンを得ることができる。
【0056】
第二の放射光を発光させることにより、
図6の術野表面70より約20mm深部の第三のレイヤー75からの反射散乱光が得られる。この反射散乱光は、撮像光学系11と光学フィルタ12にて波長1000nm近傍のみを通した光となった後、第二の撮像素子15と第二の映像信号処理部16にて光電変換と電気信号処理を行うことで、第二の映像信号に変換される。
【0057】
映像処理演算部17は、第二の映像信号処理部16からの映像信号に対して、その位置ごとで周波数解析等の演算を行うことで、血流量に比例した情報を得ることができる。
【0058】
この測定によって得られた血流量の情報は、映像出力部19により、
図4の特性に従って、血流量の多い部分は明るく、血流量の少ない部分は暗く、といった映像信号上の輝度変化という形に変換される。さらに、外部出力21に接続された外部モニターにて、
図5に示すような変換後の映像信号が表示されることで、術者がその測定結果を撮像映像として確認することができる。
【0059】
このように、術者が選択した腫瘍観察モード2による第二の放射光での観察では、1000nmの1波長を使用するため、術野1の深部は、約20mmとなる。この結果、
図6に示した第三のレイヤー75近傍の観察ができ、表示画面として、
図7に示した第三のレイヤー画面75aが表示されることとなる。
【0060】
この第三のレイヤー画像75aは、約20mmの深部レイヤーの観察結果であり、術者からは肉眼では見えない領域の情報である。
【0061】
このように、術者は、まず腫瘍観察モード1にて、現状の施術の状態確認を行うため、術野上肉眼でほぼ確認できる表面に近い位置で、画像と肉眼による実態とを比較確認しながら、腫瘍切除を進めることができる。
【0062】
さらに、術者は、その施術の要所にて、さらに深い位置まで腫瘍が存在するのか、あるいは、腫瘍の奥に正常部位、血管部など、ほかの構造物が存在するかなどを確認したい場合がある。このような場合には、術者は、次の施術アクションを起こす際に、組織の切除をこのまま続けてよいかどうかの展望的な確認を行うために、腫瘍観察モード2に切り替えることで、より深部の画像を観察できる。
【0063】
つまり、必要に応じて術者が、腫瘍観察モード1による画像と腫瘍観察モード2による画像を選択的に利用することで、異なるレイヤーごとの腫瘍観察を、術中に非侵襲でリアルタイムに行うことができる。このため、ある程度の経験のある術者であれば、本実施の形態1に係る撮像装置を腫瘍の識別に併用することで、術者の経験度合、あるいは施術の難易度に寄らず、ほぼ同様な精度での施術が可能となり、大変有益である。
【0064】
上記では、波長700nm近傍の第一の放射光での腫瘍観察と、波長1000nm近傍の第二の放射光での腫瘍観察を、術者の選択操作にて表示のモードを切り替えて個別に行なう場合について説明した。しかしながら、本実施の形態1に係る撮像装置では、これら2つの腫瘍観察を同時に行う腫瘍観察モード3を設けることもできる。そこで、この腫瘍観察モード3について、次に説明する。
【0065】
術者が操作部22より腫瘍観察モード3を選択することで、システム制御部20は、波長700nm近傍の第一の放射光と、波長1000nm近傍の第二の放射光とを同時に発光させるように制御する。
【0066】
具体的には、システム制御部20は、光源制御部10を通して、第一の発光制御部6と第一の発光回路5と第一の発光素子4とを動作させるとともに、第二の発光制御部9と第二の発光回路8と第二の発光素子7とを動作させる。
【0067】
同時に発光された波長700nm近傍の第一の放射光と、波長1000nm近傍の第二の放射光は、光混合部3により混合された後、光源光学系2を通して2次元的に均一な光として、術野1に対して同時に照射される。
【0068】
これら2つの放射光は、レーザー光であり、可干渉性を持つコヒーレントな光であり、同時に照射される場合には、厳密には、相互に若干干渉することが考えられる。このような干渉問題に対しては、波長と位相の関係を実際には影響しないレベルに設定することで、相互の干渉をある程度抑制することが可能である。
【0069】
本実施の形態1では、例えば、いずれか一方の発光波長の位相を定期的もしくは不定期的にずらすなどの制御動作を光源制御部10が実行することで、干渉対策を実施できる。
【0070】
ただし、2つの波長が、例えば150nm以上異なる、術野1への到達深度が5mm以上異なるなど、干渉の面で特徴的な関係性が事前に確認できている場合には、本開示のレベルにおける血流の測定には、実態として支障がないとして、複数の波長の干渉対策は特に行わなくても問題はない。
【0071】
第一の放射光を発光させることにより、
図6の術野表面70より約5mm深部の第一のレイヤー73から反射散乱光が得られる。また、第二の放射光を発光させることにより、
図6の術野表面70より約20mm深部の第三のレイヤー75から反射散乱光が得られる。これらの反射散乱光は、撮像光学系11を通過した後、光学フィルタ12にて2種の波長に分けられる。
【0072】
700nm近傍の波長は、第一の撮像素子13側にのみ透過され、第一の映像信号処理部14にて光電変換と電気信号処理が行われることで、第一の映像信号が生成される。一方、1000nm近傍の波長は、第二の撮像素子15側にのみ透過され、第二の映像信号処理部16にて光電変換と電気信号処理が行われることで、第二の映像信号が生成される。
【0073】
映像処理演算部17は、第一の映像信号処理部14と第二の映像信号処理部16からの2種の映像信号を、個別かつ同時に、その位置ごとで周波数解析等の演算を行うことで、2種の波長ごとに、血流量に比例した情報を同時に得ることができる。
【0074】
この測定によって得られた2種の波長ごとの血流量の情報は、映像出力部19により、
図4の特性に従って、血流量の多い部分は明るく、血流量の少ない部分は暗く、といった映像信号上の輝度変化という形に変換される。さらに、外部出力21に接続された外部モニターにて、変換後の映像信号が表示されることで、術者が2種の測定結果を個別の撮像映像として同時に確認することができる。
【0075】
この腫瘍観察モード3では、2種の観察画像を同じ画面に表示させることで、術者が同時に観察可能である。
図8は、本開示の実施の形態1に係る撮像装置において、同時観察表示を行う具体例を示した図である。表示方法としては、
図8では、実際の肉眼での術野1に近い、深部の浅い第一のレイヤー画面73aを比較的大きめに表示させ、参考レベルとしての深部の深い第三のレイヤー画面75aを比較的小さめにして、並べて表示させている。
【0076】
さらに、この大小の位置を入れ替える表示モード、あるいは一方の画面上の一部にもう一方の画面を大きさを変えて重ねて表示させる表示モードなどを備えることで、術者は、必要に応じてこれらの表示モードを適宜、選択切り替えすることが可能となる。
【0077】
なお、上記では、表示画面としては、測定した血流量を画像化した観察画像のみをモニター表示している。これに加えて、本開示では、術者の肉眼レベルでの確認あるいは術野画像の記録を行うために、第一の放射光での撮像画像を、
図7あるいは
図8で示したような術野画像78としてそのまま表示させ、術野モニターとして使用するモードを備えることもできる。
【0078】
観察画像を同時に表示させる表示モードとしては、
図7のように、レイヤーごとに切り替えて個別に表示させる方法、
図8のように、複数の画像を並べて、もしくは重ねて表示させる方法などを採用することができる。そして、術者はこれらの表示モードの中から、状況に応じて所望の表示モードを選択することが可能である。
【0079】
また、通常の撮像画像は、光源が近赤外のため、基本的にはモノクロ画像となるが、必要に応じて、淡色もしくは、疑似カラーで表示させることも可能である。
【0080】
また、血流計測の結果については、
図4に示した表示特性に基づいて、血流量の変化を輝度変化に変換して画面表示させる場合について説明したが、血流量-輝度の表示特性以外の表示特性を採用することもできる。
【0081】
図9は、本開示の実施の形態1に係る撮像装置の血流量-色彩の表示特性を示した図である。
図9に示した血流量-色彩の表示特性例は、撮像映像に基づきレーザスペックル血流計測を行った結果を、色彩の変化で画像表示する場合の表示特性例を示している。X軸は、血流量を表し、Y軸は、色彩を表している。
【0082】
図9では、先の
図4と同様に、血流量の変化に対して色彩の変化が直線的な第一の色彩表示特性80と、腫瘍領域54が識別しやすいよう血流量が少ない部分の色の変化がより大きくなるような非直線的な第二の色彩表示特性81の2種の表示特性を例示している。
【0083】
図9に示すように、血流量の変化を色彩変化に変換した観察画像を画面表示させることも可能である。一般的に、色彩の変化は、人の精神的な面に影響することがある。このため、通常は、輝度変化の表示を行い、術者が必要に応じて色彩変化表示も選択可能とすることが考えられる。
【0084】
図9では、血流量の変化に対して色彩の変化が直線的な第一の色彩表示特性80と、血流量の変化に対して色彩の変化が非直線的な第二の色彩表示特性81の2種の特性を例示している。術者は、状況に応じて、所望の色彩表示特性を選択可能である。
【0085】
通常は、非直線的な第二の色彩表示特性81にて表示させることで、腫瘍領域54がより識別しやすいように、血流量が少ない部分の色の変化を、より大きな変化量として表示させることができる。
【0086】
なお、
図4および
図9の表示特性は一例であり、血流測定時の腫瘍部位61と正常部位とのレベル差が多く、その識別性がより高くなるような特性が望ましい。そのため、本開示に係る撮像装置では、特性固定のモ-ドとは別に、計測結果の観察画像を見ながら、術者が、直接操作して、腫瘍をより識別しやすい画像となるように、特性を可変できるモードも設けられている。
【0087】
図10は、本開示の実施の形態1に係る撮像装置の血流量-輝度の表示特性を、術者の操作により変更する場合の説明図である。術者は、例えば、
図10の第四の輝度表示特性57のように、画面を見ながら、血流量の差異が識別しやすくなるように、直線の傾きを可変することで、所望の表示特性に変更することができる。
【0088】
また、術者は、腫瘍を発見した時点で、例えばマウスでポインタを動かしてクリックするように、
図1の操作部22から、その位置を入力することで、システム制御部20に腫瘍部位61を認識させることができる。
【0089】
従って、システム制御部20は、術者によるこのような入力操作が行われた以降の表示を行う際には、入力された腫瘍部位61の明るさを起点に、腫瘍部位61と正常部位との差異をより明確に表示できるように、表示特性を変更することができる。
【0090】
このときの表示特性例としては、
図4に示した第三の輝度表示特性56、あるいは
図10に示した第五の表示特性が考えられる。入力された腫瘍位置の血流量が、
図4の腫瘍領域54の範囲内であれば、
図4に示した第三の輝度表示特性56を採用して表示を行い、腫瘍領域をほぼ黒固定とすることで、腫瘍部位61と正常部位との差異を明確化することができる。
【0091】
同様に、入力された腫瘍位置の血流量が、
図10の腫瘍領域54の範囲内であれば、
図10に示した第五の輝度表示特性58を採用して表示を行い、腫瘍領域をほぼ黒固定とすることで、腫瘍部位61と正常部位との差異を明確化することができる。
【0092】
本開示に係る撮像装置では、
図1の入力部23より、手術前に採取されたMRIあるいはCTでの腫瘍を含む患部の画像を本システムに取り込むことができる構成となっている。また、手術ナビゲーションの画像あるいは情報の入力も、入力部23を介して可能な構成となっている。
【0093】
このような構成により、システム制御部20および映像出力部19は、血流量の観察画像と、入力部23より取り込んだ画像との位置を合わせ込んだ上での合成画像の表示、観察画像と取り込んだ画像との同時表示など、種々の表示を行うことができる。
【0094】
換言すると、本開示に係る撮像装置は、現在の観察映像に対して、他の有益な情報あるいは画像を重畳表示させるような拡張現実的な機能を備え、腫瘍部位61の識別性をさらに高めることができる。
【0095】
さらに、本開示に係る撮像装置では、
図7の観察結果の映像表示を行う際に、腫瘍部位61、血管部63などの構造物を、その形状、血流量などの特徴的情報に基づき、識別表示させることができる構成となっている。
【0096】
具体的には、
図1の映像処理演算部17は、構造物の識別を自動で行うとともに、映像出力部19を通して観察画像に対して、識別した結果を重畳もしくは個別に表示させることができる。その際、血管部あるいは正常部位らしい構造物が深部に存在する場合などには、警告的な表示、ブザーの鳴動などを併用することにより、術者に対する告知機能を備える構成となっている。
【0097】
また、本開示に係る撮像装置では、本開示の撮像装置を使用して手術を行った患者さんの画像、観察結果などの情報を、システム制御部20に記憶させておくことができる構成となっている。同じ患者さんの再手術時などには、記憶された情報を読み出した上で、
図8のような同時表示、あるいは
図7のような階層表示を、適宜切り替えて表示させることが可能である。以前の手術情報を参照することで、構造物がより正確に分かるため、さらに高精度な施術が可能となる。
【0098】
さらに、本開示に係る撮像装置は、測定結果に対して複数の学習機能を備えた構成とすることができる。第一の学習機能としては、腫瘍部位61を識別しやすくする目的で、撮像制御部18および映像処理演算部17により、血流量の測定結果に基づいて腫瘍部位61の血流量を学習させる。
【0099】
そして、撮像制御部18および映像処理演算部17は、学習結果として、1画面上に表示される血流量差が、例えば256階調上のセンター中心に±50(絶対値で100)以上になるように、
図10に示した第四の輝度表示特性57の傾きを所望の値に可変設定する。このような学習機能を利用することで、血流量の測定結果に応じて、所望の表示特性に可変させて、表示の輝度レベルの最適化を図ることができる。
【0100】
さらに、第二の学習機能としては、血管部63、神経などの構造物の識別を精度よく行う目的で、撮像制御部18および映像処理演算部17により、頭蓋内の構造物の位置をあらかじめシステムに学習(インプット)させる。
【0101】
そして、撮像制御部18および映像処理演算部17は、血流量の測定結果に応じて、あらかじめ学習した構造物の存在を予測しながら、虚血部位に相当する腫瘍部位61と正常部位との識別を行うことができる。この場合には、例えば、手術ナビゲーションとの連携などにより、システムが施術位置を把握できる状態であることが前提となる。
【0102】
例えば、撮像制御部18および映像処理演算部17は、術野1における血管部あるいは神経に関する形状情報をあらかじめ取得しておく。さらに、撮像制御部18および映像処理演算部17は、演算された血流量のうち、あらかじめ決められた閾値以上の部分を正常部位として特定するとともに、正常部位と形状情報との位置合せを行うことで、正常部位に対する虚血部位に相当する腫瘍部位61の位置を特定する第二の学習機能を実行することができる。
【0103】
この結果、映像出力部19は、生成した表示情報に対して、第二の学習機能により特定された腫瘍部位61の位置に対して血管部63あるいは神経が表示されるように表示情報を修正して映像信号を出力することができる。
【0104】
また、本開示に係る撮像装置では、術者に腫瘍部位61を識別させる目的において、
図7に示すように、血流量に相当する情報を画像表示するだけでなく、より識別しやすい目的にて別の表示手段を備えるように構成することができる。
【0105】
例えば、映像出力部19は、
図10の第五の輝度表示特性58のように、血流量をほぼ2値に変換して表示させることで、腫瘍部位61を明確に表示させることが可能である。
【0106】
図11は、本開示の実施の形態1に係る撮像装置の観察表示に関する第一の画像例を示した図である。第一の画像例では、
図11において腫瘍部位61bと血管部63bで示されるように、コントラスト的に視認性を向上させた術野重畳画像79aが表示されている。
【0107】
図11に示したような表示機能は、例えば、一度、他の表示特性にて腫瘍部位61bの位置を特定した後で、この第五の輝度表示特性58に切り替え、腫瘍の表示をより明確にした上で施術を続けるといった使用方法に適している。
【0108】
さらに、本開示では、術者の肉眼レベルにより近い映像情報として、波長700nm近傍の第一の放射光での撮像画像に対して、血流量に相当する観察画像あるいは情報を重畳させてモニター表示を行う機能を有するように構成することができる。
【0109】
図12は、本開示の実施の形態1に係る撮像装置の観察表示に関する第二の画像例を示した図である。第二の画像例では、映像処理演算部17と撮像制御部18と映像出力部19とにおいて、
図12に示したような術野重畳画像79bを表示させている。
【0110】
この第二の画像例では、
図7の術野画像78のような術野表面70の撮像画像に対し、第三のレイヤー画面75aの観察画像を重畳させている。その際、自動での識別結果を、『腫瘍』を示す文字情報61cあるいは『血管部』を示す文字情報63cといった文字情報として、同時に画面に表示させることができる。
【0111】
さらに、
図11の術野重畳画像79aのように、第三のレイヤー画面75aの観察画像から、例えば腫瘍部位61、血管部63などを、
図10に示した第五の表示特性を用いて2値画像に変換して抽出し、特定の情報のみを重畳することができる。この結果、さらに視認性のよい表示画像が得られる。
【0112】
術野重畳画像79a、79bのような表示を行うことにより、術者は、より肉眼での観察に近い映像状態にて、さほど違和感を覚えることなく、自らの識別経験を活かしながら、腫瘍部位61の識別を行うことが可能となる。
【0113】
本開示は、レーザスペックルによる血流量測定を行うため、その血流量の絶対値を求めることができる。例えば、画面上の位置を指定した上で、その絶対値を表示するモードを設ける構成とすることができる。このような構成を採用する場合には、術者は、必要に応じて、そのモードを選択できる。つまり、術者は、簡単な操作入力に基づいて術野1の血流量の絶対値をそのレイヤーごとで表示させることができ、血流量を定量的に把握することが可能となる。
【0114】
ただし、本開示は、術者が腫瘍部位61と正常部位とをより分かりやすく識別できることに主眼を置いており、血流量の絶対値の計測は必ずしも必須ではなく、腫瘍識別機能の性能確保を優先して、システムを構築している。
【0115】
例えば、血流量の絶対値計測は、術野表面70に近い第一のレイヤー73のみとし、深度の深い他のレイヤーに関しては、揺らぎ、損失などの影響から絶対値誤差が大きくなる場合には、腫瘍の識別機能のみに特化してもよい。
【0116】
使用する波長については、
図3を基本とするが、近赤外のレーザーであれば、これらに限らず設定可能であり、場合によっては可視の赤色領域の波長を使用してもよい。ただし、絶対値計測までを考慮し、精度よく計測を行うためには、波長1nm以下の狭帯域のレーザー発光素子が望ましい。
【0117】
上記では、第一の撮像素子13と第二の撮像素子15を用いている。ここで、第一の撮像素子13は、可視から700nm近傍を含む900nmあたりまでの波長の感度帯域を持つシリコンベースのセンサーであり、安価な民生産業用の中から比較的広帯域な素子を選択することができる。
【0118】
一方、第二の撮像素子15は、波長が、近赤外であっても900~1500nmもしくは最大2000nmといった赤外に近く、「第二の生体の窓」に感度帯域を持つ特殊な撮像素子である。これは、例えばInGaAsベースのCCDなど、この帯域でも十分な感度を持つセンサーを選択することができる。
【0119】
上記のように、本実施の形態1では、それぞれの波長に合わせた異なる撮像素子を使用しているが、可視帯域もしくは600nmから2000nmまでの波長の広帯域な感度特性を持つ同じ撮像素子を複数用いてもよい。こうすることで、回路構成の簡素化、センサー間の感度バラツキ抑制、などの効果が得られる。
【0120】
また、本実施の形態1における撮像素子は、複数でなく一つの撮像素子で行ってもよいことは言うまでもない。その際には、前述の可視もしくは波長600nm~2000nm近傍の近赤外帯域感度を有する撮像素子を使用し、発光側と連携の上、時間分割での同期発光と撮像を行うように、システム制御部20による制御が行われる。
【0121】
このときは、例えば、1フレームごとに、波長700nmと波長1000nmとの発光波長切替えを行う。そして、撮像時において、700nm発光フレーム期間での撮像と演算により
図7の第一のレイヤー画面73aを構築し、1000nm発光フレーム期間での撮像と演算により、第三のレイヤー画面75aを構築する。
【0122】
さらに、安価であるとともに供給および性能が安定し、かつ取り扱いが容易な民生産業用レベルの撮像素子を使ってもよい。その際には、波長1100nmあたりまでの近赤外帯域感度が十分でなくとも、例えば、波長850nmあたりを十分な感度で撮像できる性能のものであってもよい。
【0123】
この場合には、第二の発光波長を850nmとした上で、1フレームごとに波長700nmと波長850nmの発光波長切替えが行われる。そして、撮像時において、700nm発光フレーム期間での撮像と演算により、
図7の第一のレイヤー画面73aの画面を構築し、850nm発光フレーム期間での撮像と演算により、第二のレイヤー画面74aの画面を構築する。
【0124】
この場合には、さほど深い深度ではないが、例えば、5mmと10mmの異なる深度での腫瘍観察システムを、安価に構築することが可能となる。
【0125】
本実施の形態1では、脳腫瘍の識別を想定して記載しているが、血流量の相違にて識別可能であれば、脳以外の腫瘍部位61に使用できるのは言うまでもない。その際、例えば、胃もしくは腸・膀胱など、15mmの深部での観察で十分な場合であれば、前述のような安価な撮像素子による観察システムが構築可能である。
【0126】
さらには、術野組織の血流量を計測し、これに相当する情報を表示することで、腫瘍部位61の特定だけでなく、虚血部位の観察、経過確認などの応用が可能であることは言うまでもない。この場合には、深部ごとに、各測定レイヤーにて定量的な血流量が把握できるという効果がある。
【0127】
実施の形態2.
以下、本開示の光源装置の実施の形態2を、図を用いて説明する。本実施の形態2では、4つの発光素子を用いる場合について説明する。なお、本実施の形態2では、
図13~
図15を新たに追加するとともに、先の実施の形態1で使用した
図1~
図12も必要に応じて流用しながら、説明する。
【0128】
図13は、本開示の実施の形態2に係る撮像装置の光源系の概略ブロック図である。第一の発光素子4と第二の発光素子7と第三の発光素子90と第四の発光素子93は、ともにレーザー発光素子が用いられている。
【0129】
第一の発光素子4は、第一の発光回路5と、第一の発光制御部6により発光動作を行うとともに、光源制御部10によりその動作が制御される。第二の発光素子7は、第二の発光回路8と、第二の発光制御部9により発光動作を行うとともに、光源制御部10によりその動作が制御される。
【0130】
第三の発光素子90は、第三の発光回路91と、第三の発光制御部92により発光動作を行うとともに、光源制御部10によりその動作が制御される。第四の発光素子93は、第四の発光回路94と、第四の発光制御部95により発光動作を行うとともに、光源制御部10によりその動作が制御される。
【0131】
第一の発光素子4、第二の発光素子7、第三の発光素子90、および第四の発光素子93からなる4つの発光素子のそれぞれからの放射光は、光混合部3により合成されて、光源光学系2を通して術野1へ照射される。
【0132】
図14は、本開示の実施の形態2に係る撮像装置の撮像系の概略ブロック図である。術野1からの反射光は、撮像光学系11から、4つの光学フィルタである第一の光学フィルタ96、第二の光学フィルタ97、第三の光学フィルタ98、および第四の光学フィルタ101のそれぞれに導光される。
【0133】
第一の光学フィルタ96を通過した反射光は、第一の撮像素子13で光電変換された後、第一の映像信号処理部14で信号処理され、映像処理演算部17に入力される。第二の光学フィルタ97を通過した反射光は、第二の撮像素子15で光電変換された後、第二の映像信号処理部16で信号処理され、映像処理演算部17に入力される。
【0134】
第三の光学フィルタ98を通過した反射光は、第三の撮像素子99で光電変換された後、第三の映像信号処理部100で信号処理され、映像処理演算部17に入力される。第四の光学フィルタ101を通過した反射光は、第四の撮像素子102で光電変換された後、第四の映像信号処理部103で信号処理され、映像処理演算部17に入力される。
【0135】
第一の映像信号処理部14、第二の映像信号処理部16、第三の映像信号処理部100、および第四の映像信号処理部103と、映像処理演算部17と、映像出力部19と、外部出力21とを通過した映像信号は、先の実施の形態1と同様の処理が施された後、外部のモニターに映像出力される。
【0136】
ここで、本実施の形態2において、第一の撮像素子13と第一の映像信号処理部14のまとまり、第二の撮像素子15と第二の映像信号処理部16のまとまり、第三の撮像素子99と第三の映像信号処理部100のまとまり、および第四の撮像素子102と第四の映像信号処理部103のまとまりは、撮像部に相当する。また、映像処理演算部17は、演算部に相当する。
【0137】
図13に示したシステム制御部20は、
図14に示した撮像系を制御する撮像制御部18と、
図13に示した光源系を制御する光源制御部10および外部コマンドを入力する操作部22とを統括制御する。なお、光源制御部10、撮像制御部18、およびシステム制御部20を1つにまとめ、制御部として構成することも可能である。
【0138】
先の実施の形態1で説明した
図2の光損失特性を参照すると、第二の近赤外35と第三の近赤外36は、生体内で到達する深度としてはさほど変わらないが、第二の近赤外35に比べて、第三の近赤外36の方が、さらに波長が長いため、生体内での散乱損失31が相対的に少なくなっている。
【0139】
先の実施の形態1で説明した
図2の光損失特性および
図3の光源発生特性を参照すると、第一の近赤外34の領域では、波長700nmの発光40と、波長850nmの発光41の2つが発光される。
【0140】
同様に、第二の近赤外35の領域では、波長1000nmの発光42と、波長1300nmの発光43の2つが発光され、第三の近赤外36の領域では、波長1700nmの発光44の1つが発光される。
【0141】
先の実施の形態1で説明した
図4の血流量-輝度の表示特性例を参照すると、本実施の形態2においても、撮像映像に基づきレーザスペックル血流計測を行った結果を、輝度、色彩等の変化で画像表示することができる。
【0142】
先の実施の形態1で説明した
図5の血流計測の表示例を参照すると、本実施の形態2においても、
図4の血流量-輝度の表示特性例に基づいて、術野1の血流量を輝度の変化として画面表示することができる。
【0143】
先の実施の形態1で説明した
図6の実際の腫瘍位置例を参照すると、本実施の形態2においても、発光波長に応じて、第一のレイヤー73、第二のレイヤー74、第三のレイヤー75、および第四のレイヤー76の各レイヤーでの計測が可能となる。
【0144】
先の実施の形態1で説明した
図7の深度ごと観察表示例を参照すると、本実施の形態2においても、
図6での各レイヤーでの血流計測結果に基づいて、レイヤー画面73a~76aとして画面表示させることができる。
【0145】
図15は、本開示の実施の形態2に係る撮像装置の3次元観察表示例を示した図である。
図15に示した3次元観察表示例は、
図7のように複数のレイヤーを個別で表示を行うモードの代わりに、複数のレイヤーの観察情報を元に立体的な情報に変換し、3次元での観察表示を行うモードの例を示している。
【0146】
また、先の実施の形態1で説明した
図9の血流量-色彩の表示特性を参照すると、本実施の形態2においても、撮像映像に基づきレーザスペックル血流計測を行った結果を、色彩の変化で画像表示することができる。
【0147】
次に、本開示による撮像装置の動作につき、図を用いて説明する。
図13と
図14において、電源が投入されると、システム制御部20が撮像制御部18および光源制御部10を含むシステム全体を起動し、撮像装置が動作可能状態となる。このとき、撮像は可能な状態であるが、光源からの発光は停止した状態にあり、観察待機のモードである。
【0148】
この状態から、例えば、術者が操作部22からボタン操作にて腫瘍観察モードAを選択することで、システム制御部20は、光源制御部10を制御して第一の発光回路5と第一の発光素子4を動作させ、第一の放射光である波長700nm近傍のレーザー光を発光させる。この第一の放射光は、光混合部3と光源光学系2を通して均一な光として2次元的に術野1へ照射される。
【0149】
この波長700nm近傍の第一の放射光は、近赤外光であり、近赤外光は、人の生体に照射された場合の光損失量が、可視光より少ない。このため、近赤外光は、術野1に対して浸透することで、ある程度の深部まで到達する。その特性は、
図2のようになり、700nm近傍の波長は、第一の近赤外34に相当し、その到達深度は、術野表面70に対して約5mmである。
【0150】
また、波長700nm近傍の第一の放射光は、レーザー光であり、可干渉性を持つコヒーレントな光である。この光を生体に照射した場合、生体内の粒子により散乱された光が干渉し合うことで、術野1からの反射散乱光にランダムな模様としてスペックルパターンを得ることができる。
【0151】
第一の放射光を発光させることにより、
図6の術野表面70より約5mm深部の第一のレイヤー73からの反射散乱光が得られる。この反射散乱光は、撮像光学系11と第一の光学フィルタ96にて波長700nm近傍のみを通した光となった後、第一の撮像素子13と第一の映像信号処理部14にて光電変換と電気信号処理を行うことで、第一の映像信号に変換される。
【0152】
腫瘍の組織は、一般的には細胞の代謝過程で生じる異常細胞が増殖した集合体である。従って、腫瘍の組織は、異常増殖の影響により、通常の細胞と比較して血流量が低いという特徴を持つと言われている。
【0153】
さらに、腫瘍部位61と正常部位との境界部分においては、細胞が異常化する過程で酸素が必要となる関係から、部分的に血流量が増える傾向にあるとも言われている。本開示は、境界部分を含めた腫瘍関連部位の位置を、この特徴である血流量の相違を測定することで識別を行うことを特徴としている。
【0154】
映像処理演算部17は、第一の映像信号処理部14で得られた第一の映像信号に基づき、血流計測のための演算を行う。レーザー光によって得られたスペックルパターンは、生体組織内の血球粒子移動に伴い、時々刻々と変化してゆく。
【0155】
血球粒子の動きが大きく速いほど、スペックルパターンの単位時間あたりの変化が大きい。このスペックルパターンを、2次元の撮像センサーにて映像信号として撮像し、空間的に同位置の輝度信号につき、その単位時間あたりの変化を計測することで、血流の量あるいは血流の速度に比例した血流情報が得られる。
【0156】
血流量の多い位置の映像信号には、高い周波数成分が多く含まれており、血流量の少ない位置の映像信号には、低い周波数成分が多く含まれている。このことから、映像処理演算部17は、第一の映像信号処理部14からの映像信号に対して、その位置ごとで周波数解析等の演算を行うことで、血流量に比例した情報を得ることができる。
【0157】
この測定によって得られた血流量の情報は、映像出力部19により、
図4の特性に従って、血流量の多い部分は明るく、血流量の少ない部分は暗く、といった映像信号上の輝度変化という形に変換される。さらに、外部出力21に接続された外部モニターにて、
図5のような変換後の映像信号が表示されることで、術者がその測定結果を撮像映像として確認することができる。
【0158】
このとき、映像出力部19は、
図4のように、血流量と輝度レベルとの関係が直線的な特性である第一の輝度表示特性50と、非直線的な特性である第二の輝度表示特性51のいずれかを採用することができる。
【0159】
一例として、映像出力部19は、通常の腫瘍観察では、第二の輝度表示特性51を採用して生成した変換後の映像信号を表示させることができる。第二の輝度表示特性51を採用する理由としては、腫瘍領域54は、血流量が比較的少ないため、この部分の輝度変化を大きくとることで、腫瘍部位61と正常・その他の部位とを視感上より識別しやすくすることが挙げられる。
【0160】
この結果、ユーザが腫瘍識別時に確認する映像は、
図5のようになり、正常部位60はほぼグレーであるのに対し、血流量の少ない腫瘍部位61は血流量が少ないため、かなり暗く、流量の多い血管部63は白に近い輝度として表示させることができる。
【0161】
また、その他の傾向として、腫瘍部位61と正常部位との境界部62は、比較的血流が多い場合があり、その際には、白に近い明るいグレーとなる可能性がある。動脈、静脈、穿通枝などの血管部63は、その壁面厚あるいは状態にも依存するが、基本的には、血管部63に流れる血流の状態情報が表示される。この場合、画面上に白っぽい線状のものが表示されることで、術者は、深部にある血管部の存在をも把握することができる。
【0162】
術者が選択した腫瘍観察モードAによる第一の放射光での観察では、700nmの1波長を使用するため、術野1の深部は、約5mmとなる。この結果、
図6に示した第一のレイヤー73近傍の観察ができ、表示画面として、
図7に示した第一のレイヤー画面73aが表示されることとなる。
【0163】
この第一のレイヤー73は、術者が肉眼で直接確認できる位置であり、表示された観察画像は、肉眼で見えている構造物が腫瘍か正常かを判断する情報、つまり、今現在の施術判断に大変有用な情報となる。従って、術者は、腫瘍観察モードAによる画面表示内容を確認することで、より確実に現状の施術を進めることができる。
【0164】
この腫瘍観察モードAでは、深度約5mmの単一なレイヤーの観察情報しか得られないため、確実な腫瘍切除施術を行うには、さらに深いレイヤーでの観察情報が必要となる場合がある。この場合、術者は、操作部22より腫瘍観察モードBを選択入力することができる。
【0165】
腫瘍観察モードBが選択された場合には、システム制御部20は、光源制御部10を制御して、一旦第一の放射光の発光を止めると同時に、第二の発光制御部9により、第二の発光回路8と第二の発光素子7を動作させる。この結果、第二の放射光である波長1000nm近傍のレーザー光を発光させることができる。この第二の放射光は、光混合部3と光源光学系2を通して均一な光として2次元的に術野1へ照射される。
【0166】
この波長1000nm近傍の第二の放射光は、波長700nm近傍の第一の放射光よりも光損失量が少ない。このため、第二の放射光は、術野1に対して、第一の放射光よりもさらに深部まで到達する。第二の放射光の光損失特性は、
図2に示したようになり、その到達深度としては、術野表面70に対して約20mmである。
【0167】
また、第一の放射光と同様に、この第二の放射光もレーザー光であり、可干渉性を持つコヒーレントな光である。この光を生体に照射した場合、生体内の粒子により散乱された光が干渉し合うことで、術野1からの反射散乱光にランダムな模様としてスペックルパターンを得ることができる。
【0168】
第二の放射光を発光させることにより、
図6の術野表面70より約20mm深部の第三のレイヤー75からの反射散乱光が得られる。この反射散乱光は、撮像光学系11と第二の光学フィルタ97にて波長1000nm近傍のみを通した光となった後、第二の撮像素子15と第二の映像信号処理部16にて光電変換と電気信号処理を行うことで、第二の映像信号に変換される。
【0169】
映像処理演算部17は、第二の映像信号処理部16からの映像信号に対して、その位置ごとで周波数解析等の演算を行うことで、血流量に比例した情報を得ることができる。
【0170】
この測定によって得られた血流量の情報は、映像出力部19により、
図4の特性に従って、血流量の多い部分は明るく、血流量の少ない部分は暗く、といった映像信号上の輝度変化という形に変換される。さらに、外部出力21に接続された外部モニターにて、
図5に示すような変換後の映像信号が表示されることで、術者がその測定結果を撮像映像として確認することができる。
【0171】
このように、術者が選択した腫瘍観察モードBによる第二の放射光での観察では、1000nmの1波長を使用するため、術野1の深部は、約20mmとなる。この結果、
図6に示した第三のレイヤー75近傍の観察ができ、表示画面として、
図7に示した第三のレイヤー画面75aが表示されることとなる。
【0172】
この第三のレイヤー画像75aは、約20mmの深部レイヤーの観察結果であり、術者からは肉眼では見えない領域の情報である。
【0173】
上述同様に、腫瘍観察モードCでは、波長850nmである第三の放射光が、第三の発光制御部92と第三の発光回路91と第三の発光素子90とにより発光され、光混合部3と光源光学系2を通して術野1に照射される。
【0174】
第三の放射光は、術野表面70より約10mm深部からの反射散乱光として、第三の光学フィルタ98を通して第三の撮像素子99で光電変換され、第三の映像信号処理部100を通して映像処理演算部17へ送られる。
【0175】
映像処理演算部17は、周波数解析等の演算を行い、血流量に比例した情報を生成する。映像出力部19では、
図4の特性に従って、血流量を映像信号上の輝度変化に変換し、外部出力21に接続された外部モニターにて、
図7上の第二のレイヤー画面74aのように表示される。この結果、術者は、術野表面70より約10mm深部の情報を確認できる。
【0176】
さらに同様に、腫瘍観察モードDでは、波長1300nmである第四の放射光が、第四の発光制御部95と第四の発光回路94と第四の発光素子93とにより発光され、光混合部3と光源光学系2を通して術野1に照射される。
【0177】
第四の放射光は、術野表面70より約30mm深部からの反射散乱光として、第四の光学フィルタ101を通して第四の撮像素子102で光電変換され、第四の映像信号処理部103を通して映像処理演算部17へ送られる。
【0178】
映像処理演算部17は、周波数解析等の演算を行い、血流量に比例した情報を生成する。映像出力部19では、
図4の特性に従って、血流量を映像信号上の輝度変化に変換し、外部出力21に接続された外部モニターにて、
図7上の第四のレイヤー画面76aのように表示される。この結果、術者は、術野表面70より約30mm深部の情報を確認できる。
【0179】
このように、術者は、まず腫瘍観察モードAにて、現状の施術の状態確認を行うため、術野上肉眼でほぼ確認できる表面に近い位置で、画像と肉眼による実態とを比較確認しながら、腫瘍切除を進めることができる。
【0180】
さらに、術者は、その施術の要所にて、さらに深い位置まで腫瘍が存在するのか、あるいは、腫瘍の奥に正常部位、血管部などのほかの構造物が存在するかなどを確認したい場合がある。このような場合には、術者は、次の施術アクションを起こす際に、組織の切除をこのまま続けてよいかどうかの展望的な確認を行うために、腫瘍観察モードB~Dのいずれかに切り替えることで、さらに深部の画像を観察できる。
【0181】
このように、異なるレイヤーごとでより細かな腫瘍観察を術中に非侵襲でリアルタイムに行うことができる。このため、ある程度の経験のある術者であれば、本実施の形態2に係る撮像装置を腫瘍の識別に併用することで、術者の経験度合、あるいは施術の難易度に寄らず、ほぼ同様な精度での施術が可能となり、大変有益である。
【0182】
上記では、波長700nm近傍の第一の放射光と、波長1000nm近傍の第二の放射光と、波長850nm近傍の第三の放射光と、波長1300nm近傍の第四の放射光での腫瘍観察を、術者の選択操作にて表示のモードを切り替えて個別に行なう場合について説明した。
【0183】
しかしながら、本実施の形態1に係る撮像装置では、これら4つの腫瘍観察のうちの2つ以上を同時に行う腫瘍観察モードEを設けることもできる。そこで、この腫瘍観察モードEについて、4つ全てのレイヤーでの腫瘍観察を同時選択する場合を例として、次に具体的に説明する。
【0184】
術者が操作部22より腫瘍観察モードEを選択することで、システム制御部20は、波長700nm近傍の第一の放射光と、波長1000nm近傍の第二の放射光と、波長850nm近傍の第三の放射光と、波長1300nm近傍の第四の放射光とを同時に発光させるように制御する。
【0185】
具体的には、システム制御部20は、光源制御部10を通して、第一の発光制御部6と第一の発光回路5と第一の発光素子4とを動作させ、第二の発光制御部9と第二の発光回路8と第二の発光素子7とを動作させ、第三の発光制御部92と第三の発光回路91と第三の発光素子90とを動作させ、さらに、第四の発光制御部95と第四の発光回路94と第四の発光素子93とを動作させる。
【0186】
同時に発光された波長700nm近傍の第一の放射光と、波長1000nm近傍の第二の放射光と、波長850nm近傍の第三の放射光と、波長1300nm近傍の第四の放射光とは、光混合部3により混合された後、光源光学系2を通して2次元的に均一な光として術野1に対して同時に照射される。
【0187】
これら4つの放射光は、レーザー光であり、可干渉性を持つコヒーレントな光であり、同時に照射される場合には、厳密には、相互に若干干渉することが考えられる。このような干渉問題に対しては、波長と位相の関係を実際には影響しないレベルに設定することで、相互の干渉をある程度抑制することが可能である。
【0188】
本実施の形態2では、例えば、他の発光波長の位相を定期的もしくは不定期的にずらすなどの制御動作を光源制御部10が実行することで、干渉対策を実施できる。
【0189】
ただし、4つの波長のそれぞれが、例えば150nm以上異なる、術野1への到達深度が5mm以上異なるなど、干渉の面で特徴的な関係性が事前に確認できている場合には、本開示のレベルにおける血流の測定には、実態として支障がないとして、複数の波長の干渉対策は特に行わなくても問題はない。
【0190】
映像処理演算部17は、第一の映像信号処理部14、第二の映像信号処理部16、第三の映像信号処理部100、および第四の映像信号処理部103のそれぞれからの4種の映像信号を、個別かつ同時に、その位置ごとで周波数解析等の演算を行うことで、4種の波長ごとに、血流量に比例した情報を同時に得ることができる。
【0191】
この測定によって得られた4種の波長ごとの血流量の情報は、映像出力部19により、
図4の特性に従って、血流量の多い部分は明るく、血流量の少ない部分は暗く、といった映像信号上の輝度変化という形に変換される。
【0192】
さらに、映像処理演算部17は、これら各レイヤーの情報を元にして、立体的な情報に変換する。映像処理演算部17は、異なる複数のレイヤーの情報をその深度に従って立体的に重ねるとともに、足りないレイヤーの情報は、その前後の観測情報から推測した上で、3次元画像を構築する。
【0193】
実際の腫瘍などの位置とレイヤーとの関係が
図6の場合には、映像処理演算部17は、3次元画像として、例えば
図15のような画像を構築することができる。具体的には、映像出力部19は、第一のレイヤー画面73a~第四のレイヤー画面76aの4種の深度の観察情報とともに、3D血管部63aを含め、レイヤー間の情報を推測補間して、破線部で示した3D腫瘍61aのように、3次元情報に基づく立体的な表示を行うことができる。
【0194】
すなわち、
図15は、それぞれの深度ごとでのレイヤーからなる2次元情報を元に、レイヤー間の情報を推測補間することで生成した3次元情報を画面表示した例である。
【0195】
本開示では、上記のとおり、異なる深度にて2次元的に腫瘍が観察でき、特に、20~30mm奥の情報が同時に得られることで有益である。さらに、腫瘍観察モードEでは、複数の深度での情報を纏めて立体情報として表示することで、概略ながら表面から30mm程までの深さの術野1を、3次元的に把握することが可能となる。
【0196】
これによって、今まで術者の経験に頼っていた部分を、深部の観察情報として視覚的に提供することで、術者の技術を補間でき、腫瘍の取り残しの抑制、正常部位へのダメージ抑制など、施術全体の精度を高められる大変有用な効果を実現できる。
【0197】
なお、上記では、表示画面としては、測定した血流量を画像化した観察画像のみをモニター表示している。これに加えて、本開示では、術者の肉眼レベルでの確認あるいは術野画像の記録を行うために、第一の放射光での撮像画像を、
図7あるいは
図8で示したような術野画像78としてそのまま表示させ、術野モニターとして使用するモードを備えることもできる。
【0198】
観察画像を同時に表示させる表示モードとしては、
図7のように、レイヤーごとに切り替えて個別に表示させる方法、
図8のように、複数の画像を並べて、もしくは重ねて表示させる方法などを採用することができる。そして、術者は、これらの表示モードの中から、状況に応じて所望の表示モードを選択することが可能である。
【0199】
また、通常の撮像画像は、光源が近赤外のため、基本的にはモノクロ画像となるが、必要に応じて、淡色もしくは、疑似カラーで表示させることも可能である。
【0200】
また、血流計測の結果については、
図4に示した表示特性に基づいて、血流量の変化を輝度変化に変換して画面表示させる場合について説明したが、血流量-輝度の表示特性以外の表示特性を採用することもできる。
【0201】
図9に示すように、血流量の変化を色彩変化に変換した観察画像を画面表示させることも可能である。一般的に、色彩の変化は、人の精神的な面に影響することがある。このため、通常は、輝度変化の表示を行い、術者が必要に応じて色彩変化表示も選択可能とすることが考えられる。
【0202】
図9では、血流量の変化に対して色彩の変化が直線的な第一の色彩表示特性80と、血流量の変化に対して色彩の変化が非直線的な第二の色彩表示特性81の2種の特性を有している。術者は、状況に応じて、所望の色彩表示特性を選択可能である。
【0203】
通常は、非直線的な第二の色彩表示特性81にて表示させることで、腫瘍領域54がより識別しやすいように、血流量が少ない部分の色の変化を、より大きな変化量として表示させることができる。
【0204】
なお、
図4および
図9の表示特性は一例であり、血流測定時の腫瘍部位61と正常部位とのレベル差が多く、その識別性がより高くなるような特性が望ましい。そのため、本開示に係る撮像装置では、特性固定のモ-ドとは別に、計測結果の観察画像を見ながら、術者が、直接操作して、腫瘍をより識別しやすい画像となるように、表示特性を可変できるモードも備えている。
【0205】
術者は、例えば、
図10の第四の輝度表示特性57のように、画面を見ながら、血流量の差異が識別しやすくなるように、直線の傾きを可変することで、所望の表示特性に変更することができる。
【0206】
また、術者は、腫瘍を発見した時点で、例えばマウスでポインタを動かしてクリックするように、
図1の操作部22からその位置を入力することで、システム制御部20に腫瘍部位61を認識させることができる。
【0207】
従って、システム制御部20は、術者によるこのような入力操作が行われた以降の表示を行う際には、入力された腫瘍部位61の明るさを起点に、腫瘍部位61と正常部位との差異をより明確に表示できるように、表示特性を変更することができる。
【0208】
このときの表示特性例としては、
図4に示した第三の輝度表示特性56、あるいは
図10に示した第五の表示特性が考えられる。入力された腫瘍位置の血流量が、
図4の腫瘍領域54の範囲にあれば、
図4に示した第三の輝度表示特性56を採用して表示を行い、腫瘍領域をほぼ黒固定とすることで、腫瘍部位61と正常部位との差異を明確化することができる。
【0209】
同様に、入力された腫瘍位置の血流量が、
図10の腫瘍領域54の範囲内であれば、
図10に示した第五の輝度表示特性58を採用して表示を行い、腫瘍領域をほぼ黒固定とすることで、腫瘍部位61と正常部位との差異を明確化することができる。
【0210】
本開示に係る撮像装置では、
図1の入力部23より、手術前に採取されたMRIあるいはCTでの腫瘍を含む患部の画像を本システムに取り込むことができる構成となっている。また、手術ナビゲーションの画像あるいは情報の入力も、入力部23を介して可能な構成となっている。
【0211】
このような構成により、システム制御部20および映像出力部19は、血流量の観察画像と、入力部23より取り込んだ画像との位置を合わせ込んだ上での合成画像の表示、観察画像と取り込んだ画像との同時表示など、種々の表示を行うことができる。
【0212】
換言すると、本開示に係る撮像装置は、現在の観察映像に対して、他の有益な情報あるいは画像を重畳表示させるような拡張現実的な機能を備え、腫瘍部位61の識別性をさらに高めることができる。
【0213】
さらに、本開示に係る撮像装置では、
図7および
図15の観察結果の映像表示を行う際に、腫瘍部位61、血管部63などの構造物を、その形状、血流量などの特徴的情報に基づき、識別表示させることができる構成となっている。
【0214】
具体的には、
図1の映像処理演算部17は、構造物の識別を自動で行うとともに、映像出力部19を通して観察画像に対して、識別した結果を重畳もしくは個別に表示させることができる。その際、血管部あるいは正常部位らしい構造物が深部に存在する場合などには、警告的な表示、ブザーの鳴動などを併用することにより、術者に対する告知機能を備える構成となっている。
【0215】
また、本開示の撮像装置を使用して手術を行った患者さんの画像、観察結果などの情報を、システム制御部20に記憶させておくことができる構成となっている。同じ患者さんの再手術時などには、記憶された情報を読み出した上で、
図8のような同時表示、もしくは
図7のような階層表示を、適宜切り替えて表示させることが可能である。以前の手術情報を参照することで、構造物がより正確に分かるため、さらに高精度な施術が可能となる。
【0216】
さらに、本開示に係る撮像装置は、測定結果に対して複数の学習機能を備えた構成とすることができる。第一の学習機能としては、腫瘍部位61を識別しやすくする目的で、撮像制御部18および映像処理演算部17は、血流量の測定結果に基づいて腫瘍部位61の血流量を学習する。
【0217】
そして、撮像制御部18および映像処理演算部17は、学習結果として、1画面上に表示される血流量差が、例えば256階調上のセンター中心に±50(絶対値で100)以上になるように、
図10に示した第四の輝度表示特性57の傾きを所望の値に可変設定する。
【0218】
このような学習機能を利用することで、血流量の測定結果に応じて、表示の輝度レベルの最適化を図ることができる。この結果、映像出力部19は、第一の学習機能により学習された適切な表示特性を用いて、血流量の相違を識別表示させることができる。
【0219】
さらに、第二の学習機能としては、血管部63、神経などの構造物の識別を精度よく行う目的で、撮像制御部18および映像処理演算部17は、頭蓋内の構造物の位置をあらかじめシステムに学習(インプット)させておく。
【0220】
そして、撮像制御部18および映像処理演算部17は、血流量の測定結果に応じて、あらかじめ学習した構造物の存在を予測しながら、虚血部位に相当する腫瘍部位61と正常部位との識別を行うことができる。この場合には、例えば、手術ナビゲーションとの連携などにより、システムが施術位置を把握できる状態であることが前提となる。
【0221】
例えば、撮像制御部18および映像処理演算部17は、術野1における血管部あるいは神経に関する形状情報をあらかじめ取得しておく。さらに、撮像制御部18および映像処理演算部17は、演算された血流量のうち、あらかじめ決められた閾値以上の部分を正常部位として特定するとともに、正常部位と形状情報との位置合せを行うことで、正常部位に対する虚血部位に相当する腫瘍部位61の位置を特定する第二の学習機能を実行することができる。
【0222】
この結果、映像出力部19は、生成した表示情報に対して、第二の学習機能により特定された腫瘍部位61の位置に対して血管部63あるいは神経が表示されるように表示情報を修正して映像信号を出力することができる。
【0223】
また、撮像制御部18と映像処理演算部17は、術者に腫瘍部位61を識別させる目的において、
図7に示すように、血流量に相当する情報を画像表示するだけでなく、より識別しやすい目的にて別の表示手段を備えるように構成することができる。
【0224】
例えば、撮像制御部18と映像処理演算部17は、
図10の第五の輝度表示特性58のように、血流量をほぼ2値に変換して表示させることで、腫瘍部位61を明確に表示させることが可能である。
【0225】
図11に示した第一の画像例では、腫瘍部位61bと血管部63bで示されるように、コントラスト的に視認性を向上させた術野重畳画像79aが表示されている。
【0226】
図11に示したような表示機能は、例えば、一度、他の表示特性にて腫瘍部位61の位置を特定した後で、この第五の輝度表示特性58に切り替え、腫瘍の表示をより明確にした上で施術を続けるといった使用方法に適している。
【0227】
さらに、本開示では、術者の肉眼レベルにより近い映像情報として、波長700nm近傍の第一の放射光での撮像画像に対して、血流量に相当する観察画像あるいは情報を重畳させてモニター表示を行う機能を有するように構成することができる。この場合には、映像処理演算部17と撮像制御部18と映像出力部19とにおいて、
図12に示した第二の画像例としての術野重畳画像79bを表示させている。
【0228】
この第二の画像例では、
図7の術野画像78のような術野表面70の撮像画像に対し、第三のレイヤー画面75aの観察画像を重畳させている。その際、自動での識別結果を、『腫瘍』を示す文字情報61cあるいは『血管部』を示す文字情報63cといった文字情報として、同時に画面に表示させることができる。
【0229】
さらに、
図11の術野重畳画像79aのように、第三のレイヤー画面75aの観察画像から、例えば腫瘍部位61、血管部63などの部位を、
図10に示した第五の表示特性を用いて2値画像に変換して抽出し、特定の情報のみを重畳することができる。この結果、さらに視認性のよい表示画像が得られる。
【0230】
術野重畳画像79a、79bのような表示を行うことにより、術者は、より肉眼での観察に近い映像状態にて、さほど違和感を覚えることなく、自らの識別経験を活かしながら、腫瘍部位61の識別を行うことが可能となる。
【0231】
本開示は、レーザスペックルによる血流量測定を行うため、その血流量の絶対値が求められる。画面上の位置を指定した上で、その絶対値を表示するモードを設ける構成とすることができる。このような構成を採用する場合には、術者は、必要に応じて、そのモードを選択できる。つまり、術者は、簡単な操作入力に基づいて術野1の血流量の絶対値をそのレイヤーごとで表示させることができ、血流量を定量的に把握することが可能となる。
【0232】
ただし、本開示は、術者が腫瘍部位61と正常部位とをより分かりやすく識別できることに主眼を置いており、血流量の絶対値の計測は必ずしも必須ではなく、腫瘍識別機能の性能確保を優先して、システムを構築している。
【0233】
例えば、血流量の絶対値計測は、術野表面70に近い第一のレイヤー73のみとし、深度の深い他のレイヤーに関しては、揺らぎ、損失などの影響から絶対値誤差が大きくなる場合には、腫瘍の識別機能のみに特化してもよい。
【0234】
使用する波長については、
図3を基本とするが、近赤外のレーザーであれば、これらに限らず設定可能であり、場合によっては可視の赤色領域の波長を使用してもよい。ただし、絶対値計測までを考慮し、精度よく計測を行うためには、波長1nm以下の狭帯域のレーザー発光素子が望ましい。
【0235】
上記では、第一の撮像素子13、第二の撮像素子15、第三の撮像素子99、および第四の撮像素子を用いている。ここで、第一の撮像素子13と第三の撮像素子99は、可視から700nm近傍を含む900nmあたりまでの波長の感度帯域を持つシリコンベースのセンサーであり、安価な民生産業用の中から比較的広帯域な素子を選択することができる。
【0236】
一方、第二の撮像素子15と第四の撮像素子102は、波長が、近赤外でも900~1500nmもしくは最大2000nmといった赤外に近く、「第二の生体の窓」に感度帯域を持つ特殊な撮像素子である。これは、例えばInGaAsベースのCCDなど、この帯域でも十分な感度を持つセンサーを選択することができる。
【0237】
上記のように、本実施の形態2では、それぞれの波長に合わせた異なる撮像素子を使用しているが、可視帯域もしくは600nmから2000nmまでの波長の広帯域な感度特性を持つ同じ撮像素子を複数用いてもよく、さらに、血流量測定に必要な近赤外波長帯域のみに特化した特殊なセンサーでもよい。このように同じ撮像素子を複数使用することで、回路構成の簡素化、センサー間の感度バラツキ抑制、などの効果が得られる。
【0238】
また、本実施の形態2における撮像素子は、4種でなく2種あるいは3種の撮像素子で行ってもよいことは言うまでもない。その際には、例えば前述のように、波長700nmから波長1000nm近傍の撮像には、可視から700nm近傍を含む900nmあたりまでの波長の感度帯域を持つシリコンベースの民生産業用で比較的安価な第一のセンサーを使用し、波長1000nmから波長2000nm近傍の撮像には、近赤外でも波長900nm~波長2000nmの「第二の生体の窓」に感度帯域を持つ特殊な第二のセンサーを使用する。
【0239】
具体的には、撮像側と発光側が連携の上、時間分割での同期発光と撮像を行うように、
図1のシステム制御部20がシステムを制御する。このとき、第一のセンサーでは、例えば1フレームごとに波長700nmと波長850nmの発光波長切替えが行われる。そして、撮像時に、700nm発光フレーム期間の撮像と演算にて、
図7の第一のレイヤー画面73aが構築される。同様に、撮像時に、850nm発光フレーム期間の撮像と演算にて、
図7の第二のレイヤー画面74aが構築される。
【0240】
また、第二のセンサーでは、例えば1フレームごとに波長1000nmと波長1300nmの発光波長切替えが行われる、そして、撮像時に、1000nm発光フレーム期間の撮像と演算にて、
図7の第三のレイヤー画面75aが構築され、1300nm発光フレーム期間の撮像と演算にて、
図7の第四のレイヤー画面76aが構築される。
【0241】
さらに、安価であるとともに供給および性能が安定し、かつ取り扱いが容易な民生産業用レベルの撮像素子を使ってもよい。使用する撮像素子の撮像可能な上限が波長1000nmあたりまでであれば、例えば、700nmと800nmと900nmと1000nmの4つの波長を、血流量の観測波長として使用する。この場合には、深度は比較的浅いが、5mmから15mm辺りまでの異なる深度での腫瘍観察システムを、比較的安価に構築することが可能となる。
【0242】
本実施の形態2では、脳腫瘍の識別を想定して記載しているが、血流量の相違にて識別可能であれば、脳以外の腫瘍部位61に使用できるのは言うまでもない。その際、例えば、胃もしくは腸・膀胱など、15mmの深部での観察で十分な場合であれば、前述のような安価な撮像素子による観察システムが構築可能である。
【0243】
さらには、術野組織の血流量を計測し、これに相当する情報を表示することで、腫瘍部位61の特定だけでなく、虚血部位の観察、経過確認などの応用が可能であることは言うまでもない。この場合には、深部ごとに、各測定レイヤーにて定量的な血流量が把握できるという効果がある。
【0244】
実施の形態3.
本実施の形態3に係る撮像装置の動作につき、先の実施の形態1、2で示した図面を必要に応じて流用し、説明する。光源系および撮像系のブロック図としては、先の実施の形態2で示した
図13、
図14と同様であるが、本実施の形態3では取り扱う波長が先の実施の形態2とは異なる。
【0245】
術者が操作した腫瘍観察モードAによる第一の放射光での観察では、先の実施の形態2にて説明のとおり、700nmの1波長を使用する。このため、術野1の深部は、約5mmとなり、
図6の第一のレイヤー73近傍の観察となり、表示画面としては、
図7の第一のレイヤー画面73aが表示される。
【0246】
この腫瘍観察モードAでは、深度約5mmの単一なレイヤーの観察情報しか得られないため、確実な腫瘍切除施術を行うには、さらに深いレイヤーでの観察情報が必要となる場合がある。この場合、術者は、操作部22より腫瘍観察モードBを選択入力することができる。
【0247】
腫瘍観察モードBが選択された場合には、システム制御部20は、光源制御部10を制御して、一旦第一の放射光の発光を止めると同時に、第二の発光制御部9により、第二の発光回路8と第二の発光素子7を動作させる。この結果、第二の放射光である波長1000nm近傍のレーザー光が発光される。この第二の放射光は、光混合部3と光源光学系2を通して均一な光として2次元的に術野1へ照射される。
【0248】
この波長1000nm近傍の第二の放射光は、波長700nm近傍の第一の放射光よりも光損失量が少ない。このため、第二の放射光は、術野1に対して、第一の放射光よりもさらに深部まで到達する。第二の放射光の光損失特性は、
図2に示したようになり、その到達深度としては、術野表面70に対して約20mmである。
【0249】
また、第一の放射光と同様に、この第二の放射光もレーザー光であり、可干渉性を持つコヒーレントな光である。この光を生体に照射した場合、生体内の粒子により散乱された光が干渉し合うことで、術野1からの反射散乱光にランダムな模様としてスペックルパターンを得ることができる。
【0250】
第二の放射光を発光させることにより、
図6の術野表面70より約20mm深部の第三のレイヤー75からの反射散乱光が得られる。この反射散乱光は、撮像光学系11と第二の光学フィルタ97にて波長1000nm近傍のみを通した光となった後、第二の撮像素子15と第二の映像信号処理部16にて光電変換と電気信号処理を行うことで、第二の映像信号に変換される。
【0251】
映像処理演算部17は、第二の映像信号処理部16からの映像信号に対して、その位置ごとで周波数解析等の演算を行うことで、血流量に比例した情報を得ることができる。
【0252】
この測定によって得られた血流量の情報は、映像出力部19により、
図4の特性に従って、血流量の多い部分は明るく、血流量の少ない部分は暗く、といった映像信号上の輝度変化という形に変換される。さらに、外部出力21に接続された外部モニターにて、
図5に示すような変換後の映像信号が表示されることで、術者がその測定結果を撮像映像として確認することができる。
【0253】
このように、術者が選択した腫瘍観察モードBによる第二の放射光での観察では、1000nmの1波長を使用するため、術野1の深部は、約20mmとなる。この結果、
図6に示した第三のレイヤー75近傍の観察ができ、表示画面として、
図7に示した第三のレイヤー画面75aが表示されることとなる。
【0254】
この第三のレイヤー画像75aは、約20mmの深部レイヤーの観察結果であり、術者からは肉眼では見えない領域の情報である。
【0255】
上述同様に、腫瘍観察モードDでは、波長1300nmである第四の放射光が、第四の発光制御部95と第四の発光回路94と第四の発光素子93とにより発光され、光混合部3にて光源光学系2を通して術野1に照射される。
【0256】
第四の放射光は、術野表面70より約30mm深部からの反射散乱光として、第四の光学フィルタ101を通して第四の撮像素子102で光電変換され、第四の映像信号処理部103を通して映像処理演算部17へ送られる。
【0257】
映像処理演算部17は、周波数解析等の演算を行い、血流量に比例した情報を生成する。映像出力部19では、
図4の特性に従って、血流量を映像信号上の輝度変化に変換し、外部出力21に接続された外部モニターにて、
図7上の第四のレイヤー画面76aのように表示される。この結果、術者は、術野表面70より約30mm深部の情報を確認できる。
【0258】
さらに同様に、腫瘍観察モードFでは、波長1700nmである第三の放射光が、第三の発光制御部92と第三の発光回路91と第三の発光素子90とにより発光され、光混合部3にて光源光学系2を通して術野1に照射される。
【0259】
第三の放射光は、術野表面70より約30mm深部からの反射散乱光として、第三の光学フィルタ98を通して第三の撮像素子99で光電変換され、第三の映像信号処理部100を通して映像処理演算部17へ送られる。
【0260】
映像処理演算部17は、周波数解析等の演算を行い、血流量に比例した情報を生成する。映像出力部19では、
図4の特性に従って、血流量を映像信号上の輝度変化に変換し、外部出力21に接続された外部モニターにて、第四の放射光と同じように、
図7上の第四のレイヤー画面76aのように表示される。この結果、術者は、術野表面70より約30mm深部の情報を確認できる。
【0261】
上記第三の放射光と第四の放射光は、
図2に示すように、生体内で到達する深度としてはさほど変わらないが、第二の近赤外35に比べて、第三の近赤外36の方が、さらに波長が長いため、生体内での散乱損失31が相対的に少なくなっている。
【0262】
つまり、術野深部の生体成分状況により、第四の放射光の波長1300nmにて観察を行うより、第三の放射光の波長1700nmにて観察を行う方が、より鮮明で精度のよい観察が可能な場合がある。一方で、一般的な近赤外撮像センサーの感度性能の観点では、第四の放射光の波長1300nmの方が、第三の放射光の波長1700nmより感度的に有利である。
【0263】
例えば、観察対象の術野1に視神経、動静脈・穿通枝など、単純な脳組織以外の構造物が存在する場合には、それぞれで散乱の度合いが異なる。このため、得られる観察画像が不明瞭になる場合がある。このようなケースでは、より散乱の影響を受けにくい波長1700nmでの観察が適している。
【0264】
また、これとは逆に、頭蓋体など脳の構造的深部の観察時には、放射光自体が十分な強度で照射できない場合がある。このような場合には、撮像系の感度が相対的に有利な波長1300nmでの観察が推奨される。
【0265】
このように、術野1の状態により波長1300nmを用いた腫瘍観察モードDか、波長1700nmを用いた腫瘍観察モードFかを、術者が選択し、各状況下での最適な観察画像が得られるよう、切り替えて使用することができる。
【0266】
1 術野、2 光源光学系、3 光混合部、4 第一の発光素子(光源)、5 第一の発光回路、6 第一の発光制御部、7 第二の発光素子(光源)、8 第二の発光回路、9 第二の発光制御部、10 光源制御部(制御部)、11 撮像光学系、12 光学フィルタ、13 第一の撮像素子(撮像部)、14 第一の映像信号処理部(撮像部)、15 第二の撮像素子(撮像部)、16 第二の映像信号処理部(撮像部)、17 映像処理演算部(演算部)、18 撮像制御部(制御部)、19 映像出力部、20 システム制御部(制御部)、21 外部出力、22 操作部、23 入力部、50 第一の輝度表示特性(表示特性)、51 第二の輝度表示特性(表示特性)、56 第三の輝度表示特性(表示特性)、57 第四の輝度表示特性(表示特性)、58 第五の輝度表示特性(表示特性)、61a 3D腫瘍(3次元情報)、73 第一のレイヤー、73a 第一のレイヤー画面(2次元情報)、74 第二のレイヤー、74a 第二のレイヤー画面(2次元情報)、75 第三のレイヤー、75a 第三のレイヤー画面(2次元情報)、76 第4のレイヤー、76a 第四のレイヤー画面(2次元情報)、80 第一の色彩表示特性(表示特性)、81 第二の色彩表示特性(表示特性)、90 第三の発光素子(光源)、91 第三の発光回路、92 第三の発光制御部、93 第四の発光素子(光源)、94 第四の発光回路、95 第四の発光制御部、96 第一の光学フィルタ、97 第二の光学フィルタ、98 第三の光学フィルタ、99 第三の撮像素子(撮像部)、100 第三の映像信号処理部(撮像部)、101 第四の光学フィルタ、102 第四の撮像素子(撮像部)、103 第四の映像信号処理部(撮像部)。