特表-17145531IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2017-145531医療用画像処理装置、システム、方法及びプログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年8月31日
【発行日】2018年12月13日
(54)【発明の名称】医療用画像処理装置、システム、方法及びプログラム
(51)【国際特許分類】
   A61B 1/00 20060101AFI20181116BHJP
   A61B 1/045 20060101ALI20181116BHJP
   A61B 1/06 20060101ALI20181116BHJP
   G02B 23/24 20060101ALI20181116BHJP
   G06T 7/00 20170101ALI20181116BHJP
   G06T 7/593 20170101ALI20181116BHJP
【FI】
   A61B1/00 522
   A61B1/045 618
   A61B1/06 610
   A61B1/00 512
   A61B1/045 610
   G02B23/24 B
   G06T7/00 612
   G06T7/593
【審査請求】未請求
【予備審査請求】未請求
【全頁数】40
【出願番号】特願2018-501024(P2018-501024)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年1月10日
(31)【優先権主張番号】特願2016-33034(P2016-33034)
(32)【優先日】2016年2月24日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(74)【代理人】
【識別番号】100128587
【弁理士】
【氏名又は名称】松本 一騎
(72)【発明者】
【氏名】杉江 雄生
(72)【発明者】
【氏名】上森 丈士
(72)【発明者】
【氏名】高橋 健治
(72)【発明者】
【氏名】林 恒生
【テーマコード(参考)】
2H040
4C161
5L096
【Fターム(参考)】
2H040BA15
2H040BA23
2H040DA56
2H040GA06
4C161BB06
4C161CC06
4C161DD01
4C161FF02
4C161GG13
4C161GG27
4C161LL01
4C161WW02
5L096AA09
5L096BA06
5L096BA13
5L096CA05
5L096CA17
5L096DA01
5L096EA39
5L096FA02
5L096FA66
5L096GA10
5L096GA30
5L096HA01
5L096JA03
(57)【要約】
【課題】医療用の画像処理のための視差の判定の精度を向上させること。
【解決手段】視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、を備える医療用画像処理装置を提供する。
【選択図】図5
【特許請求の範囲】
【請求項1】
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
を備える医療用画像処理装置。
【請求項2】
前記視差判定部は、前記非生体領域の判定の結果に基づいて設定される照合ブロックを用いて第1の視差判定用画像と第2の視差判定用画像とを照合することにより、前記視差を判定する、請求項1に記載の医療用画像処理装置。
【請求項3】
前記視差判定部は、前記非生体領域のサイズ又は形状に依存して、前記照合ブロックのサイズを設定する、請求項2に記載の医療用画像処理装置。
【請求項4】
前記視差判定部は、前記照合のために使用される、前記照合ブロック内の画素ごとの重みを、前記非生体領域の形状に依存して設定する、請求項2に記載の医療用画像処理装置。
【請求項5】
前記視差判定部は、前記照合ブロック内の前記非生体領域に対応する画素の前記重みを第1の値に、前記照合ブロック内の生体領域に対応する画素の前記重みを第2の値に設定し、
前記第2の値は、対応する画素位置の画素値が前記照合のための指標に算入されず又は過小に算入されることを意味する、
請求項4に記載の医療用画像処理装置。
【請求項6】
前記領域判定部は、前記領域判定用画像内の各画素が前記非生体領域に属する確率を計算し、
前記視差判定部は、前記照合ブロック内の各画素の前記重みを、当該画素が前記非生体領域に属する確率に依存して設定する、
請求項4に記載の医療用画像処理装置。
【請求項7】
前記領域判定部は、前記領域判定用画像を生体領域と1つ以上の非生体領域へとセグメント化し、
前記視差判定部は、前記領域判定部により複数の前記非生体領域が存在すると判定された場合には、各非生体領域について個別の前記照合ブロックを設定し、設定した前記照合ブロックを用いて各非生体領域に適用すべき視差を判定する、
請求項2に記載の医療用画像処理装置。
【請求項8】
前記領域判定用画像は、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光であって、前記視野内の被写体へ照射される当該光の反射光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像から前記被写体の分光特性を解析することにより、前記視野内の前記非生体領域を判定する、
請求項1に記載の医療用画像処理装置。
【請求項9】
前記領域判定用画像は、前記視野内の被写体へ異なる波長パターンで複数回にわたって照射される光の反射光を撮像することにより生成される、請求項8に記載の医療用画像処理装置。
【請求項10】
生体又は非生体の少なくとも一方の前記分光特性を示す分光特性情報を記憶する記憶部、をさらに備える、請求項8に記載の医療用画像処理装置。
【請求項11】
前記領域判定用画像は、遠赤外画像である、請求項1に記載の医療用画像処理装置。
【請求項12】
前記領域判定用画像は、前記視野内の被写体から放射される遠赤外光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像において閾値を下回る画素値を示す画素が前記非生体領域に属すると判定する、
請求項11に記載の医療用画像処理装置。
【請求項13】
前記領域判定用画像は、前記視野内の被写体へ照射される遠赤外光の反射光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像において閾値を上回る画素値を示す画素が前記非生体領域に属すると判定する、
請求項11に記載の医療用画像処理装置。
【請求項14】
前記視差判定部により判定される前記視差に基づいて、前記視野に対応する立体視画像を生成する画像処理部、をさらに備える、請求項1に記載の医療用画像処理装置。
【請求項15】
前記視差判定部により判定される前記視差に基づいて、被写界深度拡大処理を実行する画像処理部、をさらに備える、請求項1に記載の医療用画像処理装置。
【請求項16】
前記視差判定部により判定される前記視差を補正することにより、表示される立体視画像の立体感を強調する画像処理部、をさらに備える、請求項1に記載の医療用画像処理装置。
【請求項17】
請求項1に記載の医療用画像処理装置と、
前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、
を含む医療用画像処理システム。
【請求項18】
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、
前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、
を含む医療用画像処理方法。
【請求項19】
医療用画像処理装置を制御するプロセッサを、
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用画像処理装置、システム、方法及びプログラムに関する。
【背景技術】
【0002】
従来、立体視画像の生成又はその他の用途のために、異なる視点から被写体を撮像することにより生成される複数の画像を用いて視点間の視差を判定する技術が知られている(例えば、特許文献1及び特許文献2参照)。例えば、ステレオカメラからの2つの画像を用いるブロックマッチング法によれば、一方の画像内のあるブロックの小画像と最も強く類似する小画像を有する他方の画像内のブロック位置が探索され、探索結果として得られるブロック位置の差から視差が判定される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014−206893号公報
【特許文献2】特開2015−146526号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、医療用の画像処理の分野では、例えば手術における縫合又は結紮に使用される針具及び糸のような微小な被写体について高い視認性が要求されることがあり、従来のブロックマッチング法はそうした要求を十分に満たすことができなかった。
【課題を解決するための手段】
【0005】
本開示によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、を備える医療用画像処理装置が提供される。
【0006】
また、本開示によれば、前記医療用画像処理装置と、前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、を含む医療用画像処理システムが提供される。
【0007】
また、本開示によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、を含む医療用画像処理方法が提供される。
【0008】
また、本開示によれば、医療用画像処理装置を制御するプロセッサを、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、として機能させるためのプログラムが提供される。
【発明の効果】
【0009】
本開示に係る技術によれば、医療用の画像処理のための視差の判定の精度を向上させて、被写体の高い視認性を実現することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0010】
図1】一実施形態に係る医療用画像処理システムの概略的な構成について説明するための説明図である。
図2】微小な被写体が映っている視差判定用画像の一例を示す説明図である。
図3】既存のブロックマッチング法に従って判定される視差の精度について説明するための説明図である。
図4】第1の実施形態に係る撮像装置の構成の一例を示すブロック図である。
図5】第1の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
図6】いくつかの物質の分光特性について説明するための説明図である。
図7】被写体の分光特性の解析の一例について説明するための説明図である。
図8】照射光の波長パターンの切り替えの一例について説明するための説明図である。
図9A】複眼式の立体視カメラを用いた視差の判定について説明するための説明図である。
図9B】単眼式の立体視カメラを用いた視差の判定について説明するための説明図である。
図10】領域判定用画像を用いた非生体領域の判定の結果の一例について説明するための説明図である。
図11】非生体領域の判定の結果に基づいて設定される照合ブロックの一例について説明するための説明図である。
図12A】照合ブロックへの重みの設定の第1の例について説明するための説明図である。
図12B】照合ブロックへの重みの設定の第2の例について説明するための説明図である。
図13】複数の照合ブロックの設定の一例について説明するための説明図である。
図14】第1の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。
図15図14に示した領域判定用画像取得処理の詳細な流れの一例を示すフローチャートである。
図16図14に示した領域判定処理の詳細な流れの一例を示すフローチャートである。
図17A図14に示した照合ブロック設定処理の詳細な流れの第1の例を示すフローチャートである。
図17B図14に示した照合ブロック設定処理の詳細な流れの第2の例を示すフローチャートである。
図18図14に示した視差判定処理の詳細な流れの一例を示すフローチャートである。
図19】第2の実施形態に係る撮像装置の構成の一例を示すブロック図である。
図20】第2の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
図21】領域判定用画像を用いた非生体領域の判定の結果の他の例について説明するための説明図である。
図22】第2の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。
図23図22に示した領域判定処理の詳細な流れの一例を示すフローチャートである。
図24】第3の実施形態に係る撮像装置の構成の一例を示すブロック図である。
図25】第3の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
図26】領域判定用画像を用いた非生体領域の判定の結果のまた別の例について説明するための説明図である。
図27】第3の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。
図28図27に示した領域判定処理の詳細な流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、以下の順序で説明を行う。
1.序論
1−1.システムの概要
1−2.課題の説明
2.第1の実施形態
2−1.撮像装置の構成例
2−2.画像処理装置の構成例
2−3.処理の流れ
3.第2の実施形態
3−1.撮像装置の構成例
3−2.画像処理装置の構成例
3−3.処理の流れ
4.第3の実施形態
4−1.撮像装置の構成例
4−2.画像処理装置の構成例
4−3.処理の流れ
5.まとめ
【0013】
<1.序論>
[1−1.システムの概要]
本項では、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図1は、一実施形態に係る医療用画像処理システム1の概略的な構成の一例を示している。医療用画像処理システム1は、内視鏡下手術システムである。図1の例では、術者(医師)3が、医療用画像処理システム1を用いて、患者ベッド5上の患者7に内視鏡下手術を行っている。医療用画像処理システム1は、内視鏡10と、その他の手術器具(術具)30と、内視鏡10を支持する支持アーム装置40と、内視鏡下手術のための様々な装置が搭載されたカート50と、から構成される。
【0014】
内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカと呼ばれる筒状の開孔器具37a〜37dが腹壁に複数穿刺される。そして、トロッカ37a〜37dから、内視鏡10の鏡筒11、及びその他の術具30が、患者7の体腔内に挿入される。図1の例では、その他の術具30として、気腹チューブ31、エネルギー処置具33及び鉗子35が示されている。エネルギー処置具33は、高周波電流又は超音波振動での、組織の切開若しくは剥離又は血管の封止などの処置のために利用される。なお、図示した術具30は一例に過ぎず、他の種類の術具(例えば、攝子又はレトラクタなど)が利用されてもよい。
【0015】
内視鏡10によって撮像される患者7の体腔内の画像は、表示装置53により表示される。術者3は、表示画像をリアルタイムで見ながら、エネルギー処置具33及び鉗子35を用いて、例えば患部を切除するなどの処置を行う。なお、図示を省略しているが、気腹チューブ31、エネルギー処置具33及び鉗子35は、手術中に、術者3又は助手などのユーザによって支持される。
【0016】
支持アーム装置40は、ベース部41から延伸するアーム部43を備える。図1の例では、アーム部43は、関節部45a、45b及び45c、並びにリンク47a及び47bから構成され、内視鏡10を支持している。アーム部43がアーム制御装置57からの制御に従って駆動される結果として、内視鏡10の位置及び姿勢が制御され、内視鏡10の安定的な位置の固定もまた実現され得る。
【0017】
内視鏡10は、鏡筒11と、鏡筒11の基端に接続されるカメラヘッド13と、から構成される。鏡筒11の先端からある長さまでの一部分は、患者7の体腔内に挿入される。図1の例では、硬性の鏡筒11を有するいわゆる硬性鏡として内視鏡10が構成されているが、内視鏡10は、いわゆる軟性鏡として構成されてもよい。
【0018】
鏡筒11の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡10には光源装置55が接続されており、光源装置55によって生成された光が、鏡筒11の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者7の体腔内の観察対象に向かって照射される。なお、内視鏡10は、直視鏡であってもよく、又は斜視鏡若しくは側視鏡であってもよい。
【0019】
カメラヘッド13は、照射部と、光学系、駆動系、及びイメージセンサを内蔵する撮像部とを備える。照射部は、光源装置55からライトガイドを通じて供給される照射光を、被写体へ向けて照射する。光学系は、典型的にはレンズユニットを含み、鏡筒11の先端から取り込まれる被写体からの観察光(照射光の反射光)を、イメージセンサへ向けて集光する。レンズユニット内のズームレンズ及びフォーカスレンズの位置は、倍率及び焦点距離といった撮像条件を可変的に制御するために、駆動系により駆動されて変化し得る。カメラヘッド13のイメージセンサは、光学系により集光される観察光を光電変換し、電気信号である画像信号を生成する。イメージセンサは、3つの色成分の画像信号をそれぞれ生成する別個の撮像素子を有する3板式センサであってもよく、又は単板式若しくは2板式といった他のタイプのイメージセンサであってもよい。イメージセンサは、例えばCMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge-Coupled Device)などのいかなるタイプの撮像素子を有していてもよい。イメージセンサにより生成される画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)51へ送信される。
【0020】
ある実施形態において、カメラヘッド13により生成される画像信号により表現される撮像画像は、視差判定用画像を含む。視差判定用画像は、典型的には、右眼画像及び左眼画像から構成される。右眼画像及び左眼画像は、複眼カメラの右眼用イメージセンサ及び左眼用イメージセンサによりそれぞれ生成されてもよい。その代わりに、右眼画像及び左眼画像は、単眼カメラの単一のイメージセンサにより(例えばシャッタ切り替え方式で)生成されてもよい。さらに、カメラヘッド13は、視野内の非生体領域を判定するために用いられる領域判定用画像の画像信号をも生成し得る。ある実施形態において、領域判定用画像は可視光画像であってよく、他の実施形態において、領域判定用画像は赤外画像であってよい。
【0021】
CCU51は、信号線及び通信インタフェースを介してカメラヘッド13と接続される。カメラヘッド13とCCU51との間の信号線は、例えば光ケーブルなどの、双方向の通信を可能とする高速の伝送線である。CCU51は、CPU(Central Processing Unit)などのプロセッサとRAM(Random Access Memory)などのメモリとを有し、内視鏡10及び表示装置53の動作を統括的に制御する。CCU51は、画像信号を一時的に記憶するためのフレームメモリと、画像処理を実行する1つ以上のGPU(Graphics Processing Unit)とをさらに有してもよい。例えば、CCU51は、カメラヘッド13から入力される視差判定用画像に基づいて、画素ごと(又は他の何らかの単位ごとに)視差を判定する。判定される視差は、例えば、立体視画像の生成、被写界深度の拡大、立体感の強調又はダイナミックレンジの拡張といった画像処理のために利用され得る。CCU51は、画像処理の結果として生成される画像を、表示のために表示装置53へ出力し、又は記録のためにレコーダ65へ出力し得る。出力される一連の画像は、動画(映像)を構成し得る。CCU51において実行される画像処理は、例えば現像及びノイズ低減などの一般的な処理を含んでもよい。また、CCU51は、カメラヘッド13へ制御信号を送信し、カメラヘッド13の駆動を制御する。当該制御信号には、例えば上述した撮像条件を指定する情報が含まれ得る。
【0022】
表示装置53は、CCU51からの制御に従い、入力される表示画像信号に基づいて立体視画像を表示する。表示装置53は、アクティブシャッタ方式、パッシブ方式又はグラスレス方式などのいかなる方式で立体視画像を表示してもよい。
【0023】
光源装置55は、例えばLED、キセノンランプ、ハロゲンランプ、レーザ光源、又はこれらの組み合わせに相当する光源を含み、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡10へ供給する。
【0024】
アーム制御装置57は、例えばCPUなどのプロセッサを有し、所定のプログラムに従って動作することにより支持アーム装置40のアーム部43の駆動を制御する。
【0025】
入力装置59は、医療用画像処理システム1へのユーザ入力を受け付ける1つ以上の入力インタフェースを含む。ユーザは、入力装置59を介して、医療用画像処理システム1へ様々な情報を入力し又は様々な指示を入力することができる。例えば、ユーザは、入力装置59を介して、後述する設定情報又はその他のパラメータを入力してもよい。また、例えば、ユーザは、入力装置59を介して、アーム部43を駆動させる旨の指示、内視鏡10における撮像条件(照射光の種類、倍率及び焦点距離など)を変更する旨の指示、又はエネルギー処置具33を駆動させる旨の指示などを入力する。
【0026】
入力装置59は、いかなる種類のユーザ入力を扱ってもよい。例えば、入力装置59は、マウス、キーボード、スイッチ(例えば、フットスイッチ69)又はレバーなどの機構を介して物理的なユーザ入力を検出してもよい。入力装置59は、タッチパネルを介してタッチ入力を検出してもよい。入力装置59は、メガネ型デバイス又はHMD(Head Mounted Display)といったウェアラブルデバイスの形態で実現され、ユーザの視線又はジェスチャを検出してもよい。また、入力装置59は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声コマンドを検出してもよい。
【0027】
処置具制御装置61は、組織の焼灼若しくは切開又は血管の封止などの処置のために、エネルギー処置具33の駆動を制御する。気腹装置63は、内視鏡10により観察される視野を確保し及び術者の作業空間を確保する目的で、患者7の体腔を膨らませるために、気腹チューブ31を介して当該体腔内にガスを送り込む。レコーダ65は、医療上の作業に関する様々な情報(例えば、設定情報、画像情報及びバイタルセンサ(図示せず)からの測定情報のうちの1つ以上)を記録媒体へ記録する。プリンタ67は、医療上の作業に関する様々な情報を、テキスト、画像又はグラフなどの何らかの形式で印刷する。
【0028】
[1−2.課題の説明]
こうした医療用画像処理システムにおける、立体視画像の生成又はその他の用途のための視差の判定は、典型的には、共通する視野を異なる視点から映した2つの画像の間の比較に基づいて行われる。例えば、ステレオカメラからの2つの画像を用いるブロックマッチング法によれば、一方の画像内のあるブロックの小画像と最も強く類似する小画像を有する他方の画像内のブロック位置が探索され、探索結果として得られるブロック位置の差から視差が判定される。本明細書では、こうした探索において利用される上記ブロックを照合ブロックという。照合ブロックの形状は、一般的には矩形である。
【0029】
しかしながら、医療用の画像処理の分野では、例えば手術における縫合又は結紮に使用される針具及び糸のような微小な被写体について、従来のブロックマッチング法が十分な視差判定精度を提供しないことが多かった。
【0030】
図2は、微小な被写体が映っている視差判定用画像の一例を示す説明図である。図2を参照すると、画像Im01が例示されており、画像Im01は、視差判定用画像を構成する右眼画像及び左眼画像のうちの右眼画像であり得る。画像Im01には、被写体として、生体J0、鉗子J1、針具J2及び糸J3が映っている。生体J0と比較して、鉗子J1が画像Im01に占める領域は相対的に小さく、針具J2及び糸J3が画像Im01に占める領域は微小である。
【0031】
図3は、既存のブロックマッチング法に従って判定される視差の精度について説明するための説明図である。図3の左に示したブロックB1は、例えば右眼画像である画像Im01と共に視差判定用画像を構成する左眼画像から切り出された照合ブロックである。照合ブロックB1には、被写体J0及びJ3が映っている。ブロックマッチング法に従って照合ブロックB1に最も強く類似する(例えば、画素間の差異の総和が最も小さい)小画像を画像Im01内で探索していくと、例えば画像Im01内のブロックB2に照合ブロックB1がマッチし得る。ブロックB1とブロックB2とを比較すると、背景に相当する被写体J0の小画像は互いに十分に類似する。これに対し、照合ブロックB1内の被写体J3の位置は、ブロックB2内の被写体J3の位置とは不一致である。こうした不一致は、2つの被写体の深度の相違に起因してそれら被写体の視差が異なっており、かつ被写体J3が小さいためにその見え方の違いが小画像の照合において十分に考慮されず、より大きい被写体J0が照合の結果を左右するために生じ得る。しかし、手術又は診断といった医療のシーンでは、通常は非生体である医療器具(例えば、結紮のための針具及び糸)のような、微小な又は背景よりも小さい被写体について高い視認性が要求されることが多い。そして、既存の手法は、そうした要求を十分に満たしていない。本開示に係る技術の後述する実施形態は、こうした不都合に着目し、既存の手法を改良して医療用の画像処理のための視差の判定の精度を向上させる。
【0032】
<2.第1の実施形態>
図1に例示した医療用画像処理システム1の構成要素の中で、特に、撮像装置の役割を有するカメラヘッド13、及び画像処理装置の役割を有するCCU51が、視差の判定と判定された視差に基づく画像処理に主に関与する。そこで、本節では、これら2つの装置の一実施形態に係る具体的な構成について詳細に説明する。
【0033】
なお、医療用画像処理システム1では、これら撮像装置及び画像処理装置がそれぞれ別体に構成され互いに信号線で接続されるが、本開示に係る技術は、かかる例に限定されない。例えば、後に説明する画像処理装置の機能は、撮像装置に内蔵されるプロセッサに実装されてもよい。また、撮像装置が画像信号を記録媒体に記録し、画像処理装置がその記録媒体から読み出される画像信号を処理してもよい(この場合、これら2つの装置の間に信号線が存在しなくてよい)。
【0034】
[2−1.撮像装置]
図4は、第1の実施形態に係るカメラヘッド13の構成の一例を示すブロック図である。図4を参照すると、カメラヘッド13は、照射部110、撮像部120及び通信部130を備える。
【0035】
照射部110は、光源装置55からライトガイドを通じて供給される照射光を、視野内の被写体へ向けて照射する。照射部110により照射される光は、例えば、視差判定用画像の撮像を目的とする可視光であってよい。また、特殊光観察(例えば、蛍光観察)が行われる場合には、視差判定用の照射光は、その観察の種類に応じた波長を有する特殊光であってもよい。
【0036】
さらに、本実施形態において、照射部110は、領域判定用画像の撮像を目的として、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光を同じ被写体へと照射する。領域判定用の照射光は、視差判定用の照射光と同一であってもよく又は異なってもよい。一般に、生体の分光特性(又は分光反射率)は高々数種類のモードで記述され得ることが知られている(村上百合,「分光反射率の推定理論」,日本写真学会誌Vol.65,2002,No.4,第234-239頁)。非生体の分光特性もまた、その種類ごとに予め測定して分光特性情報として記述されることができる。本実施形態において照射部110により照射される領域判定用の照射光は、そうした分光特性が既知である1つ以上の波長成分を有する。照射部110は、後述する領域判定が複数の(例えば、4つ以上の)波長成分を要する場合には、互いに異なる波長パターンを有する照射光を時間分割方式で被写体へ照射してもよい。照射部110から照射される照射光の波長(又は波長パターン)及び照射タイミングは、CCU51からの制御信号に従って制御され得る。
【0037】
撮像部120は、典型的には、光学系、イメージセンサ及び駆動系を含み得る。撮像部120の光学系は、鏡筒11の先端から取り込まれる被写体からの観察光を、一組のレンズ(レンズユニットともいう)を通じてイメージセンサへと集光する。イメージセンサは、集光された観察光を光電変換し、電気信号である画像信号を生成する。例えば、視差判定用の照射光が照射された際には、その反射光の撮像の結果として、視差判定用画像の画像信号が生成される。視差判定用画像は、上述したように、右眼画像及び左眼画像から構成される。領域判定用の照射光が照射された際には、その反射光の撮像の結果として、領域判定用画像の画像信号が生成される。撮像部120は、イメージセンサにより生成されるこれら画像信号を、通信部130へ出力する。撮像部120の駆動系は、光学系のズームレンズ又はフォーカスレンズといった可動部材を、CCU51からの制御信号に従って動かす。
【0038】
通信部130は、信号線を介してCCU51へ接続される通信インタフェースである。例えば、通信部130は、撮像部120において生成される上述した画像信号をCCU51へ送信する。また、通信部130は、CCU51から制御信号が受信されると、受信された制御信号を照射部110及び撮像部120へ出力する。
【0039】
[2−2.画像処理装置の構成例]
図5は、第1の実施形態に係るCCU51の構成の一例を示すブロック図である。図5を参照すると、CCU51は、信号取得部140、領域判定部150、記憶部160、視差判定部170、画像処理部180及び制御部190を備える。
【0040】
(1)信号取得部
信号取得部140は、カメラヘッド13の撮像部120において生成される、領域判定用画像の画像信号及び視差判定用画像の画像信号を取得する。領域判定用画像は、視差判定用画像と共通する視野を映した撮像画像である。信号取得部140は、領域判定用画像を領域判定部150へ出力する。また、信号取得部140は、視差判定用画像を視差判定部170へ出力する。
【0041】
(2)領域判定部
領域判定部150は、信号取得部140から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、分光特性の解析の基準となる1つ以上の波長成分を有する、被写体からの観察光を撮像することにより生成された画像である。記憶部160により記憶される分光特性情報は、生体又は非生体の少なくとも一方であるターゲットの分光特性を記述する。領域判定部150は、分光特性情報を用いて、領域判定用画像から被写体の分光特性を解析することにより、観察される視野内の非生体領域を判定する。
【0042】
図6は、いくつかの物質の分光特性について説明するための説明図である。図6には、互いに異なる4種類の物質の分光特性をそれぞれ示すグラフが描かれている。グラフの横軸は波長を表し、縦軸は反射率を表す。実線のグラフは鉄の分光特性を、破線のグラフは合成樹脂の一種であるナイロンの分光特性を、一点鎖線のグラフは銀の分光特性を、点線のグラフは血液の分光特性をそれぞれ例示的に示している。血液の分光特性は、特に生体の体内が撮像される場合に体内の分光特性に大きく影響するため、生体を代表する分光特性として扱われることができる。ナイロンは、医療用の糸のために使用される素材のうちの1つである。鉄を主要成分とするステンレスは、医療用の針具のために使用される素材のうちの1つである。銀もまた、医療用の針具のために使用される素材のうちの1つである。これらグラフから理解されるように、特定の1つ以上の波長成分を有する光を既知の強度で被写体へと照射し、その反射光の波長成分ごとの強度を測定し、その測定結果を既知の物質の分光特性と比較することにより、被写体が生体なのか又は非生体なのかを判定することが可能である。また、被写体が非生体である場合に、同様の手法で、被写体がどういった種類の医療器具であるのかを判定することも可能である。反射光の波長成分ごとの強度は、領域判定用画像の各画素の信号成分ごとの画素値の大きさにより表される。なお、図6に例示した4種類の物質以外にも、例えばガラス又はゴムなど、医療器具のために使用される様々な物質の分光特性が活用されてよい。
【0043】
図7は、被写体の分光特性の解析の一例について説明するための説明図である。図7に示したグラフG0は、ある既知の非生体(ターゲット)の分光特性を表している。分光特性は、ここでは、6つのサンプル波長r1、r2、r3、r4、r5及びr6における波長成分のそれぞれの反射率のセットとして扱われる。グラフG1は、1つ以上の領域判定用画像の画素値から認識される、第1の画素位置に存在する被写体Jの分光特性を表している。領域判定部150は、グラフG1により表される分光特性を、グラフG0により表されるターゲットの既知の分光特性と比較することにより、被写体Jがターゲットである確率(あるいは尤もらしさ)を算出し得る。例えば、分光特性の間の誤差の総和がゼロであれば、被写体Jがターゲットである確率は最も高い。分光特性の間の誤差が大きいほど、被写体Jがターゲットである確率は小さくなる。グラフG2は、1つ以上の領域判定用画像の画素値から認識される、第2の画素位置に存在する被写体Jの分光特性を表している。領域判定部150は、グラフG2により表される分光特性を、グラフG0により表されるターゲットの既知の分光特性と比較することにより、被写体Jがターゲットである確率を算出し得る。
【0044】
図7の例では、グラフG1は、グラフG2と比較して、より強くグラフG0に類似している(サンプル波長ごとの反射率の差の総和がより小さい)。従って、この場合、領域判定部150は、第1の画素位置はターゲットに対応する非生体領域に属し、一方で第2の画素位置はターゲットに対応する非生体領域に属しないと判定し得る。領域判定部150は、例えば画素ごとに上記確率(ターゲット尤度又は分光特性の類似度)を算出して、算出した確率を閾値と比較することにより、画素ごとの領域の判定を行い得る。ターゲットが非生体である場合には、閾値を上回る確率を示す画素は非生体領域に属し、閾値を下回る確率を示す画素は生体領域に属し得る。ターゲットが生体(例えば、血液)である場合には、閾値を上回る確率を示す画素は生体領域に属し、閾値を下回る確率を示す画素は非生体領域に属する。
【0045】
被写体の分光特性の解析に基づく領域判定の精度は、解析の基準とされるサンプル波長が多いほど高まる。しかし、通常の撮像装置は、同時に最大で3つの色成分からなる観察光を撮像する。そこで、ある実施例において、照射光の波長パターンを複数のパターンの間で時間分割方式で切り替えながら撮像を行うことが有益である。図8は、そうした波長パターンの切り替えの一例について説明するための説明図である。図8を参照すると、時刻T1において、波長パターンPT1を有する光が照射され、反射光が撮像される。波長パターンPT1は、サンプル波長r1、r3及びr5からなる。次に、時刻T2において、波長パターンPT2を有する光が照射され、反射光が撮像される。波長パターンPT2は、サンプル波長r2、r4及びr6からなる。次に、時刻T3において、波長パターンPT1を有する光が再び照射され、反射光が撮像される。次に、時刻T4において、波長パターンPT2を有する光が再び照射され、反射光が撮像される。領域判定部150は、例えば時刻T1及びT2においてそれぞれ撮像された2つの領域判定用画像の合計6つの信号成分の値から、6つのサンプル波長r1〜r6を基準とする被写体の分光特性を認識し得る。同様に、領域判定部150は、時刻T3及びT4においてそれぞれ撮像された領域判定用画像の合計6つの信号成分の値から、6つのサンプル波長r1〜r6を基準とする次のフレームの分光特性を認識し得る。
【0046】
領域判定部150は、領域判定用画像を生体領域と1つ以上の非生体領域へとセグメント化してもよい。例えば、領域判定部150は、複数の種類の非生体(例えば、鉗子、針具及び糸のうちの2つ以上)の分光特性が既知である場合に、各画素がそれぞれの種類の非生体領域に属する確率を算出し、算出した確率に基づいて領域判定用画像を生体領域と1つ以上の非生体領域へとセグメント化してもよい。その代わりに、領域判定部150は、単一の非生体(又は生体)の分光特性が既知である場合に、各画素について算出される非生体領域(又は生体領域)に属する確率に基づいて例えばグラフカット法などのセグメンテーション技法を実行することにより、領域判定用画像を生体領域と1つ以上の非生体領域へとセグメント化してもよい。領域判定画像内に複数の非生体領域が存在すると判定された場合には、後述する視差の判定において、各非生体領域についての個別の照合ブロックを設定することが可能となる。
【0047】
(3)記憶部
記憶部160は、CCU51において実行される様々な処理のための情報を記憶する。例えば、記憶部160は、領域判定部150により領域判定のために使用される分光特性情報を記憶する。分光特性情報は、1つ以上のターゲットの各々についての既知の分光特性を示す、サンプル波長ごとの反射率のデータセットを含む。各ターゲットは、生体又は非生体の少なくとも一方であり得る。医療用画像処理システム1において行われる作業の種類(例えば、手術の術式)又は使用される器具の種類に基づいて、分光特性を解析されるべきターゲットが複数のターゲット候補の間で切り替えられてもよい。記憶部160は、作業の種類又は使用される器具と、分光特性を解析すべきターゲットとを関連付けるターゲット設定情報を記憶してもよい(例えば、結紮作業には、糸及び針具が関連付けられ得る)。
【0048】
(4)視差判定部
視差判定部170は、信号取得部140から入力される視差判定用画像を用いて視差を判定する。より具体的には、本実施形態において、視差判定部170は、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、領域判定部150による非生体領域の判定の結果を用いて判定する。視差の判定は、典型的には、ブロックマッチング法に従い、視差判定用画像を構成する右眼画像及び左眼画像のうちの一方の画素位置ごと(又は画素ブロックごと)に、他方の画像における対応点を探索し、発見された対応点との水平位置の差を算出することにより行われ得る。
【0049】
図9Aは、複眼式の立体視カメラを用いた視差の判定について説明するための説明図である。図9Aを参照すると、右眼用イメージセンサ121a及び左眼用イメージセンサ121bがそれぞれ逆三角形で示されている。逆三角形の上辺はイメージセンサの撮像面に相当し、下の頂点は焦点に相当する。図中で、Fは焦点距離を表し、Lbaseはイメージセンサ間の基線長(例えば、2つの光学中心123の間の距離)を表す。図9Aの例では、被写体J5は、右眼用イメージセンサ121a及び左眼用イメージセンサ121bの間の基線から距離Zの位置にある。本明細書では、この距離Zを深度という。被写体J5は、右眼用イメージセンサ121aにおいては撮像面上の水平位置uに映っている。また、被写体J5は、左眼用イメージセンサ121bにおいては撮像面上の水平位置uに映っている。説明の簡明さのためにピンホールカメラモデルを前提とすると、右眼用イメージセンサ121aを基準とする視差dは、次式で与えられる:
【0050】
【数1】
【0051】
さらに、深度Zが可変的な値であるとすると、深度Zの関数としての視差d(Z)は、基線長Lbase及び焦点距離Fを用いて、次式のように表現され得る:
【0052】
【数2】
【0053】
図9Bは、単眼式の立体視カメラを用いた視差の判定について説明するための説明図である。図9Bを参照すると、単一のイメージセンサ122が逆三角形で示されている。また、イメージセンサ122の前方には、一組のレンズ124に加えて、レンズの右半分及び左半分を選択的に遮蔽可能なシャッタ125が配置されている。右眼撮像時には、シャッタ125がレンズの左半分を遮蔽し、レンズの右半分を通じて集光される観察光がイメージセンサ122により撮像される。左眼撮像時には、シャッタ125がレンズの右半分を遮蔽し、レンズの左半分を通じて集光される観察光がイメージセンサ122により撮像される。このようなシャッタの切り替えを時間的に反復しながら撮像を実行することにより、右眼画像及び左眼画像のシーケンスがイメージセンサ122において生成される。右眼画像と左眼画像との間の基線長Lbaseは、例えばシャッタ125の位置における瞳(光学系の絞りの像に相当)の右半分の重心と左半分の重心との間の距離として定義され得る。単眼式の立体視カメラにおいても、視差d(Z)は、基線長Lbase及び焦点距離Fを用いて、被写体の深度Zの関数として上記式(2)により表現され得る。
【0054】
このように、立体視カメラの方式に関わらず、右眼画像及び左眼画像に基づきブロックマッチング法によって視差d(Z)を導出することができ、導出された視差d(Z)は、さらに例えば基線長及び焦点距離を既知として被写体の深度Zを算出するために使用され得る。但し、2つの被写体の実深度が異なる場合には、それら被写体の実視差も互いに異なる。そして、ブロックマッチングの際に使用される照合ブロックがそうした実深度の異なる2つの被写体を含んでいるケースでは、判定結果として得られる視差は、判定の指標への寄与のより大きい被写体の実視差により近いものとなる。そこで、本実施形態において、視差判定部170は、微小か又は背景よりも小さいことの多い非生体である医療器具についての視差の判定の精度を向上させるために、非生体領域の判定の結果に基づいて適応的に照合ブロックを設定し、設定した当該照合ブロック用いて第1の視差判定用画像(右眼画像及び左眼画像のうちの一方)と第2の視差判定用画像(右眼画像及び左眼画像のうちの他方)とを照合する。
【0055】
例えば、視差判定部170は、領域判定部150により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定する。また、視差判定部170は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定する。視差判定部170は、照合ブロック内の非生体領域に対応する画素の重みを第1の値(例えば、1)に、照合ブロック内の生体領域に対応する画素の重みを第2の値(例えば、ゼロ)に設定してもよい。第2の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。照合判定指標は、例えば、画素間の差分絶対値の加重和であってよい。その代わりに、視差判定部170は、照合ブロック内の各画素の重みを、当該画素が非生体領域に属する確率に依存して設定してもよい。各画素が非生体領域に属する確率は、領域判定部150により領域判定の際に計算済みであり得る。
【0056】
以下、図10図12Bを用いて、非生体領域に適用すべき視差を判定するための手法についてより詳しく説明する。
【0057】
図10は、領域判定用画像を用いた非生体領域の判定の結果の一例について説明するための説明図である。図10の上段には、図2を用いて説明した視差判定用画像Im01が再び示されている。視差判定用画像Im01と共通する視野を映した領域判定用画像に基づく領域判定の結果は、例えば、画素位置ごとに各画素が非生体領域に属するか否かを二値(真(1):属する、偽(ゼロ):属しない、など)で示す二値マスク情報で表現されてもよい。その代わりに、領域判定の結果は、画素位置ごとに各画素がどの種類の非生体領域に又は生体領域に属するかを多値(例えば、ゼロ:生体、1:糸、2:針具、3:鉗子、など)で示す多値マスク情報で表現されてもよい。図10の例では、領域判定の結果を表現する多値マスク情報M11の内容が、明瞭性のために拡大されて部分的に示されている。例えば、多値マスク情報M11は、非生体領域としての鉗子領域R1の位置及び形状をドットの網掛けで示している。また、多値マスク情報M11は、非生体領域としての針具領域R2の位置及び形状を斜線の網掛けで示している。また、多値マスク情報M11は、非生体領域としての糸領域R3の位置及び形状を黒い網掛けで示している。
【0058】
図11は、非生体領域の判定の結果に基づいて設定される照合ブロックの一例について説明するための説明図である。図11の左には、多値マスク情報M11が再び示されている。視差判定部170は、例えば、多値マスク情報M11により示される糸領域R3のサイズ及び形状に依存して、糸領域R3の視差の判定のために使用される照合ブロックB10の少なくともサイズを設定する。照合ブロックの形状は、典型的には、正方形若しくは長方形、即ち矩形であってよい。矩形の辺の長さは、照合ブロックが非生体領域の全体若しくは大部分をカバーし、又は非生体領域の特徴的な一部分をカバーし得るように設定される。図11の例では、視差判定部170は、糸領域R3の視差の判定のために使用される照合ブロックB10を、糸領域R3の全体をカバーし得る最も小さい正方形として設定している。なお、照合ブロックは、矩形以外の他の形状を有していてもよい。また、非生体領域の形状に依存して照合ブロックの形状が設定されてもよい。
【0059】
図12Aは、照合ブロックへの重みの設定の第1の例について説明するための説明図である。図12Aに示した第1の例では、視差判定部170は、照合ブロックB10a内の糸領域R3に対応する画素の重みを1に、照合ブロックB10a内の糸領域R3に対応しない画素(主に、生体領域に対応する画素)の重みをゼロに設定している。このように、視差の判定の対象領域(高精度での視差の判定が望まれる被写体の領域)に対応しない照合ブロック内の画素の重みをゼロに設定することにより、そうした画素をブロックマッチングにおいて実質的に無視することができる。即ち、対象領域が微小であっても、対象領域の周辺の(視差の異なる)被写体に影響されて照合判定指標が乱されることなく、対象領域について正確なブロックマッチングを行うことが可能となる。
【0060】
図12Bは、照合ブロックへの重みの設定の第2の例について説明するための説明図である。図12Bに示した第2の例では、視差判定部170は、照合ブロックB10b内の糸領域R3に属する確率の高い画素の重みを1に、糸領域R3に属する確率が中程度である画素の重みを0.5に、糸領域R3に属する確率の低い画素の重みをゼロに設定している。このように、各画素が対象領域に属する確率に依存して、ブロックマッチングの照合判定指標へ算入される画素位置ごとの重みを設定することにより、領域判定の確実性をも考慮しながらブロックマッチングの最適な結果を導出することが可能となる。
【0061】
視差判定部170は、領域判定部150により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。
【0062】
図13は、複数の照合ブロックの設定の一例について説明するための説明図である。図13を参照すると、図10を用いて説明した多値マスク情報M11が再び示されている。多値マスク情報M11は、非生体領域としての鉗子領域R1、針具領域R2及び糸領域R3の位置及び形状を示している。これら非生体領域R1、R2及びR3は、例えば、領域判定部150における非生体領域のセグメント化の結果として互いに区別され得る。視差判定部170は、こうした多値マスク情報M11により表現される鉗子領域R1に基づいて照合ブロックB11を、針具領域R2に基づいて照合ブロックB12を、糸領域R3に基づいて照合ブロックB13をそれぞれ設定し得る。そして、視差判定部170は、照合ブロックB11を用いたブロックマッチングにより鉗子についての視差を高精度で判定し得る。同様に、視差判定部170は、照合ブロックB12を用いたブロックマッチングにより針具についての視差を、照合ブロックB13を用いたブロックマッチングにより糸についての視差を、それぞれ高精度で判定し得る。
【0063】
視差判定部170は、このように非生体領域の判定の結果に基づいて設定される照合ブロックを用いて画素位置(又は画素ブロック位置)ごとに視差を判定し、判定した視差を表す視差情報を画像処理部180へ出力する。また、視差判定部170は、視差判定用画像を画像処理部180へ出力する。
【0064】
(5)画像処理部
画像処理部180は、視差判定部170から入力される視差情報により表される視差に基づく画像処理を実行する。例えば、画像処理部180は、視差情報により表される視差に基づいて、観察される視野に対応する立体視画像を生成してもよい。より具体的には、画像処理部180は、例えば、視差判定部170から入力される右眼画像及び左眼画像のうちの一方において、視差情報により表される視差に従って画素の水平位置をシフトすることにより、立体視画像を生成する。画像処理部180は、画素の水平位置をシフトすることにより画素情報が欠損する欠損領域については、欠損の無い隣接する画素から画素情報を補間してよい。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、生成される立体視画像において、微小な又は背景よりも小さい非生体の被写体について、より正確な立体感を提供することが可能である。
【0065】
また、画像処理部180は、視差情報により表される視差に基づいて、被写界深度拡大(EDOF)処理を実行してもよい。より具体的には、画像処理部180は、例えば、視差情報により表される視差に基づいて画素ごとに深度を算出する。そして、画像処理部180は、算出した深度に依存するフィルタ構成で、撮像画像(視差判定用画像のうちの少なくとも一方)について鮮明化(deblurring)を実行することにより、撮像画像の被写界深度を疑似的に拡大し得る。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、こうした被写界深度拡大処理をより的確に実行することが可能である。
【0066】
また、画像処理部180は、視差情報により表される視差に基づいて、立体感強調処理を実行してもよい。より具体的には、画像処理部180は、例えば、視差情報により表される視差を、所定の係数を乗算し又は所定のオフセットを加算(若しくは減算)することにより補正し、補正後の視差を用いて立体視画像を生成する。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、微小な又は背景よりも小さい非生体の被写体について、より正確にその立体感を強調して不自然な立体視画像が表示されるリスクを低減することができる。
【0067】
画像処理部180は、さらに、上述した画像処理の前又は後の任意のタイミングで、例えば、高ダイナミックレンジ処理、ノイズ低減、ホワイトバランス調整及び高解像度化などの他の画像処理を実行してもよい。また、これら画像処理において、視差判定部170により判定された視差が活用されてもよい。そして、画像処理部180は、これら画像処理を経た後の(例えば、立体視画像の、又は被写界深度の拡大された画像の)画像信号を、表示装置53又はレコーダ65へ出力する。
【0068】
(6)制御部
制御部190は、ユーザが望む通りの画像が撮像され及び表示されるように、入力装置59により検出されるユーザ入力と設定情報とに基づいて、内視鏡10の動作を制御する。例えば、制御部190は、撮像が開始されると、予め決定され又は動的に選択される1つ以上の波長パターン及びタイミングでカメラヘッド13の照射部110に領域判定用の照射光を照射させ、撮像部120による撮像を通じて信号取得部140に領域判定用画像の画像信号を取得させる。また、制御部190は、照射部110に視差判定用の照射光を照射させ、撮像部120による撮像を通じて信号取得部140に視差判定用画像の画像信号を取得させる。また、制御部190は、1つ以上のターゲットについての既知の分光特性に基づいて、領域判定部150に非生体領域を判定させ、その判定の結果を用いて視差判定部170に非生体領域に適用すべき視差を判定させる。そして、制御部190は、システムの用途に応じた、立体視画像の生成又は被写界深度の拡大といった画像処理を画像処理部180に実行させる。制御部190は、作業の種類(例えば、心臓バイパス術若しくは胃部分切除術といった術式、又は結紮若しくは縫合といった手技の種別)を、ユーザインタフェースを介してユーザに指定させてもよい。この場合、制御部190は、ユーザにより指定された作業の種類に基づいて、領域判定用の照射光の波長パターンと、分光特性を解析すべきターゲットとを選択し得る。また、制御部190は、使用される医療器具(例えば、針具及び糸)をユーザインタフェースを介してユーザに指定させてもよい。この場合、制御部190は、ユーザにより指定された器具に基づいて、領域判定用の照射光の波長パターンと、分光特性を解析すべきターゲットとを選択し得る。また、制御部190は、画像処理部180において実行すべき画像処理の種類を、ユーザ入力又はその他の設定に依存して動的に切り替えてもよい。ここでのユーザ入力は、入力装置59に関連して説明した物理的な入力、タッチ入力、ジェスチャ入力又は音声入力など、いかなる種類の入力であってもよい。
【0069】
[2−3.処理の流れ]
本項では、上述した実施形態においてカメラヘッド13及びCCU51により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。これらは、次節以降の実施形態の説明についても同様である。
【0070】
(1)全体的な流れ
図14は、第1の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図14を参照すると、まず、信号取得部140は、カメラヘッド13の撮像部120において生成される、領域判定用画像の画像信号を取得する(ステップS110)。ここで実行される領域判定用画像取得処理のより詳細な流れの例を、後にさらに説明する。また、信号取得部140は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する(ステップS120)。
【0071】
次に、領域判定部150は、信号取得部140から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する(ステップS130)。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
【0072】
次に、視差判定部170は、ステップS130における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する(ステップS150)。ここで実行される照合ブロック設定処理のより詳細な流れのいくつかの例を、後にさらに説明する。
【0073】
次に、視差判定部170は、ステップS150における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する(ステップS160)。ここで実行される視差判定処理のより詳細な流れの例を、後にさらに説明する。
【0074】
そして、画像処理部180は、ステップS160における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する(ステップS180)。
【0075】
上述したステップS110〜ステップS180は、画像処理の終了条件が満たされるまで繰り返される(ステップS190)。例えば、処理の終了を指示するユーザ入力が入力装置59を介して検出されると、上述した処理は終了する。
【0076】
(2)領域判定用画像取得処理
図15は、図14に示した領域判定用画像取得処理の詳細な流れの一例を示すフローチャートである。図15を参照すると、まず、制御部190は、カメラヘッド13へと制御信号を送信して、特定の波長パターンを有する光を照射部110から照射させる(ステップS111)。また、制御部190は、照射された光の反射光を撮像部120に撮像させ、領域判定用画像の画像信号を生成させる(ステップS113)。制御部190は、ステップS111及びS113における照射光の照射及び反射光の撮像を、必要とされる全ての波長パターンでの撮像が終了するまで繰り返す(ステップS115)。そして、全ての波長パターンでの(1フレーム分の)撮像が終了すると、図15に示した領域判定用画像取得処理は終了する。
【0077】
(3)領域判定処理
図16は、図14に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図16を参照すると、まず、領域判定部150は、制御部190により選択され得るターゲットの既知の分光特性を示す分光特性情報を、記憶部160から取得する(ステップS131)。
【0078】
次に、領域判定部150は、画像内で順次選択される画素のうちの1つ(以下、注目画素という)の分光特性を、領域判定用画像から抽出する(ステップS133)。分光特性が3つ以下の波長サンプルにおける反射率として抽出される場合には、ここで参照される領域判定用画像は1つのみであってよい。分光特性が4つ以上の波長サンプルにおける反射率として抽出される場合には、異なる波長パターンでの複数回の撮像を通じて取得された複数の領域判定用画像が参照され得る。次に、領域判定部150は、抽出された注目画素の分光特性とターゲットの既知の分光特性との比較に基づいて、注目画素が対象領域に属する確率を算出する(ステップS134)。そして、領域判定部150は、算出した確率に基づいて、注目画素が対象領域に属するかを判定する(ステップS135)。
【0079】
領域判定部150は、上述したステップS133〜ステップS135を、全ての注目画素について判定が終了するまで繰り返す(ステップS137)。また、領域判定部150は、1つ以上のターゲットのうちの全てのターゲットについて領域判定結果が導出されるまで、上述した判定を繰り返す(ステップS139)。そして、全てのターゲットについての領域判定結果を示す(二値又は多値の)マスク情報が生成されると、図16に示した領域判定処理は終了する。
【0080】
(4)照合ブロック設定処理−第1の例
図17Aは、図14に示した照合ブロック設定処理の詳細な流れの第1の例を示すフローチャートである。図17Aを参照すると、まず、視差判定部170は、領域判定結果により示される1つ以上の非生体領域のうちの1つである対象領域のサイズ又は形状に依存して、当該対象領域に対応する照合ブロックのサイズを設定する(ステップS151)。照合ブロックの形状は、対応する対象領域の形状に依存して設定されてもよく、又は固定的であってもよい。
【0081】
次に、視差判定部170は、照合ブロック内の注目画素が対象領域に属するか否かを判定し(ステップS153)、対象領域に属する注目画素の重みを1に(ステップS155)、対象領域に属しない注目画素の重みをゼロに設定する(ステップS156)。視差判定部170は、こうした重みの設定を、照合ブロック内の全ての画素の重みの設定が終了するまで繰り返す(ステップS158)。この繰り返しが終了すると、1つの対象領域に対応する照合ブロックの設定が終了する。
【0082】
また、視差判定部170は、複数の対象領域が存在する場合には、全ての対象領域について対応する照合ブロックの設定が終了するまで、上述したステップS151〜ステップS158を繰り返す(ステップS159)。この繰り返しが終了すると、領域判定結果により示される全ての対象領域に対応する照合ブロックの設定が終了する。
【0083】
(5)照合ブロック設定処理−第2の例
図17Bは、図14に示した照合ブロック設定処理の詳細な流れの第2の例を示すフローチャートである。図17Bを参照すると、まず、視差判定部170は、1つの対象領域のサイズ又は形状に依存して、当該対象領域に対応する照合ブロックのサイズ(又はサイズ及び形状)を設定する(ステップS151)。
【0084】
次に、視差判定部170は、照合ブロック内の注目画素について領域判定部150により算出された対象領域としての確率(注目画素が対象領域に属する確率)を取得する(ステップS154)。次に、視差判定部170は、取得した確率に依存して、注目画素の重みを設定する(ステップS157)。視差判定部170は、こうした重みの設定を、照合ブロック内の全ての画素の重みの設定が終了するまで繰り返す(ステップS158)。この繰り返しが終了すると、1つの対象領域に対応する照合ブロックの設定が終了する。
【0085】
また、視差判定部170は、複数の対象領域が存在する場合には、全ての対象領域について対応する照合ブロックの設定が終了するまで、上述したステップS151〜ステップS158を繰り返す(ステップS159)。この繰り返しが終了すると、領域判定結果により示される全ての対象領域に対応する照合ブロックの設定が終了する。
【0086】
(6)視差判定処理
図18は、図14に示した視差判定処理の詳細な流れの一例を示すフローチャートである。図18を参照すると、まず、視差判定部170は、視差判定用画像内の注目画素が非生体領域に属するか否かを判定する(ステップS161)。
【0087】
注目画素が非生体領域に属する場合、視差判定部170は、照合ブロック設定処理において設定された1つ以上の照合ブロックから、注目画素に適した照合ブロックを選択する(ステップS162)。ここで選択される照合ブロックは、注目画素が属する確率の最も高い非生体領域に対応する照合ブロックであってよい。そして、視差判定部170は、選択した照合ブロックを用いて重み付けを伴うブロックマッチングを実行して、注目画素に対応する対応ブロックを決定する(ステップS163)。
【0088】
一方、注目画素が非生体領域に属しない場合、視差判定部170は、既定の照合ブロックを選択する(ステップS164)。既定の照合ブロックとは、例えば、一般的な形状(例えば、矩形)と、全ての画素にわたって一様な重みとを有するブロックであり得る。そして、視差判定部170は、既定の照合ブロックを用いてブロックマッチングを実行して、注目画素に対応する対応ブロックを決定する(ステップS165)。
【0089】
次に、視差判定部170は、ブロックマッチングの結果として決定された対応ブロックの位置から、(例えば、対応ブロックの基準位置と注目画素の画素位置との間の水平方向の差として)注目画素における視差を算出する(ステップS167)。視差判定部170は、視差判定用画像内の全ての画素について視差の算出が終了するまで、上述したステップS161〜ステップS167を繰り返す(ステップS169)。視差判定部170は、このように判定される画素位置ごとの視差を表す視差情報を、画像処理部180へ出力する。
【0090】
<3.第2の実施形態>
第1の実施形態では、領域判定用画像を用いた被写体の分光特性の解析に基づいて、視野内の非生体領域が判定された。本節で説明する第2の実施形態では、分光特性を解析する代わりに、遠赤外画像として撮像される領域判定用画像の信号強度から、より簡易に非生体領域が判定される。
【0091】
[3−1.撮像装置の構成例]
図19は、第2の実施形態に係るカメラヘッド13の構成の一例を示すブロック図である。図19を参照すると、カメラヘッド13は、照射部210、第1撮像部220、第2撮像部225及び通信部230を備える。
【0092】
照射部210は、光源装置55からライトガイドを通じて供給される照射光を、視野内の被写体へ向けて照射する。照射部210により照射される光は、例えば、視差判定用画像の撮像を目的とする可視光であってよい。また、特殊光観察(例えば、蛍光観察)が行われる場合には、視差判定用の照射光は、その観察の種類に応じた波長を有する特殊光であってもよい。本実施形態では、照射部210は、領域判定用の照射光を照射しない。
【0093】
第1撮像部220は、第1の実施形態に係る撮像部120と同様に、鏡筒11の先端から取り込まれる被写体からの観察光をイメージセンサにおいて光電変換し、視差判定用画像の画像信号を生成する。視差判定用画像は、右眼画像及び左眼画像から構成される。そして、第1撮像部220は、生成された画像信号を通信部230へ出力する。
【0094】
本実施形態において、第2撮像部225は、可視光ではなく遠赤外光を撮像する撮像装置である。遠赤外光は、例えば1μmの波長境界よりも長波長側の波長領域に属する赤外光である。第2撮像部225は、典型的には、生体から放射される遠赤外光を通過させるフィルタを有する光学系と、遠赤外領域を含む波長領域に感度を有するイメージセンサと、を備え得る。第2撮像部225は、被写体からの遠赤外光を撮像し、遠赤外画像の画像信号を生成する。そして、第2撮像部225は、生成された画像信号を通信部230へ出力する。
【0095】
通信部230は、信号線を介してCCU51へ接続される通信インタフェースである。例えば、通信部230は、第1撮像部220において生成される視差判定用画像の画像信号をCCU51へ送信する。また、通信部230は、第2撮像部225において生成される領域判定用画像の画像信号をCCU51へ送信する。また、通信部230は、CCU51から制御信号が受信されると、受信された制御信号を照射部210、第1撮像部220及び第2撮像部225へ出力する。
【0096】
[3−2.画像処理装置の構成例]
図20は、第2の実施形態に係るCCU51の構成の一例を示すブロック図である。図20を参照すると、CCU51は、信号取得部240、領域判定部250、記憶部260、視差判定部270、画像処理部180及び制御部190を備える。
【0097】
(1)信号取得部
信号取得部240は、カメラヘッド13の第2撮像部225において生成される、領域判定用画像(遠赤外画像)の画像信号を取得する。また、信号取得部240は、カメラヘッド13の第1撮像部220において生成される、視差判定用画像(可視光画像)の画像信号を取得する。そして、信号取得部240は、領域判定用画像を領域判定部250へ、視差判定用画像を視差判定部270へそれぞれ出力する。
【0098】
(2)領域判定部
領域判定部250は、信号取得部240から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、被写体から放射される遠赤外光を撮像することにより生成された遠赤外画像である。一般に、臓器又は腹壁などの生体は遠赤外光を放射する一方で、糸、針具及び鉗子などの医療器具は遠赤外光をほとんど放射しない。そこで、領域判定部250は、領域判定用画像の画素ごとの画素値を予め定義される閾値と比較することにより、各画素が生体領域及び非生体領域のうちのいずれに属するかを判定し得る。より具体的には、領域判定部250は、領域判定用画像において閾値を下回る画素値を示す画素は非生体領域に属すると判定し、閾値を上回る画素値を示す画素は生体領域に属すると判定し得る。
【0099】
図21は、領域判定用画像を用いた非生体領域の判定の結果の他の例について説明するための説明図である。図21の上段には、遠赤外画像である領域判定用画像Im11が示されている。領域判定用画像Im11に映った被写体J0は遠赤外光を放射する生体であるため、被写体J0に対応する領域の画素値は相対的に高い値を示す。一方、領域判定用画像Im11に映った被写体J1、J2及びJ3は遠赤外光をほとんど放射しない非生体であるため、被写体J1、J2及びJ3に対応する領域の画素値は相対的に低い値を示す。こうした領域判定用画像Im11についての画素値と閾値との比較に基づく領域判定の結果が図21の下段のマスク情報M21により表現されている。マスク情報M21は、画像領域の全体を、生体領域R20及び非生体領域R21に(例えば画素ごとの二値で)分けている。
【0100】
領域判定部250は、例えばグラフカット法などのセグメンテーション技法を実行することにより、図示した単一の非生体領域R21を複数の非生体領域へとセグメント化してもよい。また、領域判定部250は、遠赤外画像の画像信号レベルが弱いためにノイズが現れる場合には、ノイズ除去のためのフィルタリングの後に、マスク情報を生成するための閾値判定を実行してもよい。
【0101】
(3)記憶部
記憶部260は、CCU51において実行される様々な処理のための情報を記憶する。例えば、記憶部260は、領域判定部250により領域判定のために使用される閾値情報を記憶する。
【0102】
(4)視差判定部
視差判定部270は、信号取得部240から入力される視差判定用画像を用いて視差を判定する。より具体的には、視差判定部270は、第1の実施形態に係る視差判定部170と同様、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、非生体領域の判定の結果を用いて判定する。本実施形態では、非生体領域の判定は、上述したように、遠赤外画像である領域判定用画像を用いて領域判定部250により行われる。視差判定部270は、領域判定部250により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定してよい。また、視差判定部270は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定してよい。典型的には、照合ブロック内の非生体領域に対応する画素の重みは第1の値(例えば、1)に、照合ブロック内の生体領域に対応する画素の重みは第2の値(例えば、ゼロ)に設定され得る。第2の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。視差判定部270は、領域判定部250により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。さらに、視差判定部270は、非生体領域については適応的に設定した照合ブロックを用いて、生体領域については既定の照合ブロックを用いて画素位置(又は画素ブロック位置)ごとに視差を判定する。そして、視差判定部270は、判定結果を表す視差情報を画像処理部180へ出力する。また、視差判定部270は、視差判定用画像を画像処理部180へ出力する。視差判定部270により生成される視差情報は、第1の実施形態と同様、画像処理部180において、立体視画像の生成又は被写界深度の拡大などの様々な目的のために使用されてよい。
【0103】
[3−3.処理の流れ]
本項では、上述した実施形態においてカメラヘッド13及びCCU51により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。
【0104】
(1)全体的な流れ
図22は、第2の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図22を参照すると、まず、信号取得部240は、カメラヘッド13の第2撮像部225における遠赤外光の撮像を通じて、領域判定用画像の画像信号を取得する(ステップS210)。また、信号取得部240は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する(ステップS120)。
【0105】
次に、領域判定部250は、信号取得部240から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する(ステップS230)。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
【0106】
次に、視差判定部270は、ステップS230における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する(ステップS150)。ここで実行される照合ブロック設定処理は、第1の実施形態において説明した処理と同様であってよい。
【0107】
次に、視差判定部270は、ステップS150における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する(ステップS160)。ここで実行される視差判定処理は、第1の実施形態において説明した処理と同様であってよい。
【0108】
そして、画像処理部180は、ステップS160における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する(ステップS180)。
【0109】
上述したステップS210〜ステップS180は、画像処理の終了条件が満たされるまで繰り返される(ステップS190)。例えば、処理の終了を指示するユーザ入力が入力装置59を介して検出されると、上述した処理は終了する。
【0110】
(2)領域判定処理
図23は、図22に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図23を参照すると、まず、領域判定部250は、予め定義され得る閾値情報を、記憶部260から取得する(ステップS231)。
【0111】
次に、領域判定部250は、注目画素の画素値が、ステップS231において取得した閾値情報により示される閾値を下回るか否かを判定する(ステップS233)。注目画素の画素値が閾値を下回る場合、領域判定部250は、注目画素が非生体領域に属すると判定する(ステップS234)。一方、注目画素の画素値が閾値を下回らない場合、領域判定部250は、注目画素が生体領域に属すると判定する(ステップS235)。
【0112】
領域判定部250は、上述したステップS233〜ステップS235を、全ての画素について判定が終了するまで繰り返す(ステップS237)。そして、全ての画素についての領域判定結果を示すマスク情報が生成されると、図23に示した領域判定処理は終了する。
【0113】
<4.第3の実施形態>
本節で説明する第3の実施形態においても、領域判定用画像は遠赤外画像である。但し、第3の実施形態では、被写体へ向けて照射される遠赤外光の反射光が撮像される。
【0114】
[4−1.撮像装置の構成例]
図24は、第3の実施形態に係るカメラヘッド13の構成の一例を示すブロック図である。図24を参照すると、カメラヘッド13は、第1照射部210、第2照射部315、第1撮像部220、第2撮像部325及び通信部330を備える。
【0115】
第2照射部315は、観察される視野内の被写体へ、遠赤外光を照射する。第2照射部315により照射される遠赤外光は、領域判定用画像の撮像を目的とする、遠赤外領域に属するいかなる波長を有する赤外光であってもよい。
【0116】
第2撮像部325は、遠赤外光を撮像する撮像装置である。第2撮像部325は、典型的には、第2照射部315により照射される遠赤外光の反射光を通過させるフィルタを有する光学系と、遠赤外領域を含む波長領域に感度を有するイメージセンサと、を備え得る。第2撮像部325は、被写体において反射される遠赤外光を撮像し、遠赤外画像の画像信号を生成する。そして、第2撮像部325は、生成された画像信号を通信部330へ出力する。
【0117】
通信部330は、信号線を介してCCU51へ接続される通信インタフェースである。例えば、通信部330は、第1撮像部220において生成される視差判定用画像の画像信号をCCU51へ送信する。また、通信部330は、第2撮像部325において生成される領域判定用画像の画像信号をCCU51へ送信する。また、通信部330は、CCU51から制御信号が受信されると、受信された制御信号を第1照射部210、第2照射部315、第1撮像部220及び第2撮像部325へ出力する。
【0118】
[4−2.画像処理装置の構成例]
図25は、第3の実施形態に係るCCU51の構成の一例を示すブロック図である。図25を参照すると、CCU51は、信号取得部340、領域判定部350、記憶部360、視差判定部370、画像処理部180及び制御部190を備える。
【0119】
(1)信号取得部
信号取得部340は、カメラヘッド13の第2撮像部325において生成される、領域判定用画像(遠赤外画像)の画像信号を取得する。また、信号取得部340は、カメラヘッド13の第1撮像部220において生成される、視差判定用画像(可視光画像)の画像信号を取得する。そして、信号取得部340は、領域判定用画像を領域判定部350へ、視差判定用画像を視差判定部370へそれぞれ出力する。
【0120】
(2)領域判定部
領域判定部350は、信号取得部340から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、被写体へ向けて照射された遠赤外光の反射光を撮像することにより生成された遠赤外画像である。一般に、臓器又は腹壁などの生体は遠赤外光を吸収する一方で、金属で形成される鉗子などの医療器具は遠赤外光を反射する。そこで、領域判定部350は、領域判定用画像の画素ごとの画素値を予め定義される閾値と比較することにより、各画素が生体領域及び非生体領域のうちのいずれに属するかを判定し得る。より具体的には、領域判定部350は、領域判定用画像において閾値を上回る画素値を示す画素は非生体領域に属すると判定し、閾値を下回る画素値を示す画素は生体領域に属すると判定し得る。
【0121】
図26は、領域判定用画像を用いた非生体領域の判定の結果のまた別の例について説明するための説明図である。図26の上段には、遠赤外画像である領域判定用画像Im21が示されている。領域判定用画像Im21に映った被写体J0は遠赤外光を吸収する生体であるため、被写体J0に対応する領域の画素値は相対的に低い値を示す。一方、領域判定用画像Im21に映った被写体J1及びJ2は遠赤外光を反射する非生体であるため、被写体J1及びJ2に対応する領域の画素値は相対的に高い値を示す。こうした領域判定用画像Im21についての画素値と閾値との比較に基づく領域判定の結果が図26の下段のマスク情報M31により表現されている。マスク情報M31は、画像領域の全体を、生体領域R30及び非生体領域R31に(例えば画素ごとの二値で)分けている。
【0122】
領域判定部350は、例えばグラフカット法などのセグメンテーション技法を実行することにより、図示した単一の非生体領域R31を複数の非生体領域へとセグメント化してもよい。
【0123】
(3)記憶部
記憶部360は、CCU51において実行される様々な処理のための情報を記憶する。例えば、記憶部360は、領域判定部350により領域判定のために使用される閾値情報を記憶する。
【0124】
(4)視差判定部
視差判定部370は、信号取得部340から入力される視差判定用画像を用いて視差を判定する。より具体的には、視差判定部370は、第1の実施形態に係る視差判定部170及び第2の実施形態に係る視差判定部270と同様、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、非生体領域の判定の結果を用いて判定する。本実施形態では、非生体領域の判定は、上述したように、遠赤外画像である領域判定用画像を用いて領域判定部350により行われる。視差判定部370は、領域判定部350により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定してよい。また、視差判定部370は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定してよい。典型的には、照合ブロック内の非生体領域に対応する画素の重みは第1の値(例えば、1)に、照合ブロック内の生体領域に対応する画素の重みは第2の値(例えば、ゼロ)に設定され得る。第2の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。視差判定部370は、領域判定部350により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。そして、視差判定部370は、非生体領域については適応的に設定した照合ブロックを用いて、生体領域については既定の照合ブロックを用いて画素位置(又は画素ブロック位置)ごとに視差を判定する。そして、視差判定部370は、判定結果を表す視差情報を画像処理部180へ出力する。また、視差判定部370は、視差判定用画像を画像処理部180へ出力する。視差判定部370により生成される視差情報は、第1の実施形態及び第2の実施形態と同様、画像処理部180において、立体視画像の生成又は被写界深度の拡大などの様々な目的のために使用されてよい。
【0125】
[4−3.処理の流れ]
本項では、上述した実施形態においてカメラヘッド13及びCCU51により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。
【0126】
(1)全体的な流れ
図27は、第3の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図27を参照すると、まず、信号取得部340は、カメラヘッド13の第2照射部315からの遠赤外光の照射及び第2撮像部325における遠赤外光の撮像を通じて、領域判定用画像の画像信号を取得する(ステップS310)。また、信号取得部340は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する(ステップS120)。
【0127】
次に、領域判定部350は、信号取得部340から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する(ステップS330)。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
【0128】
次に、視差判定部370は、ステップS330における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する(ステップS150)。ここで実行される照合ブロック設定処理は、第1の実施形態において説明した処理と同様であってよい。
【0129】
次に、視差判定部370は、ステップS150における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する(ステップS160)。ここで実行される視差判定処理は、第1の実施形態において説明した処理と同様であってよい。
【0130】
そして、画像処理部180は、ステップS160における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する(ステップS180)。
【0131】
上述したステップS310〜ステップS180は、画像処理の終了条件が満たされるまで繰り返される(ステップS190)。例えば、処理の終了を指示するユーザ入力が入力装置59を介して検出されると、上述した処理は終了する。
【0132】
(2)領域判定処理
図28は、図27に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図28を参照すると、まず、領域判定部350は、予め定義され得る閾値情報を、記憶部360から取得する(ステップS331)。
【0133】
次に、領域判定部350は、注目画素の画素値が、ステップS331において取得した閾値情報により示される閾値を上回るか否かを判定する(ステップS333)。注目画素の画素値が閾値を上回る場合、領域判定部350は、注目画素が非生体領域に属すると判定する(ステップS334)。一方、注目画素の画素値が閾値を上回らない場合、領域判定部350は、注目画素が生体領域に属すると判定する(ステップS335)。
【0134】
領域判定部350は、上述したステップS333〜ステップS335を、全ての画素について判定が終了するまで繰り返す(ステップS337)。そして、全ての画素についての領域判定結果を示すマスク情報が生成されると、図28に示した領域判定処理は終了する。
【0135】
<5.まとめ>
ここまで、図1図28を用いて本開示に係る技術の実施形態について詳しく説明した。上述した実施形態によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて当該視野内の非生体領域が判定され、非生体領域の判定の結果及び視差判定用画像を用いて少なくとも非生体領域に適用すべき視差が判定される。従って、手術又は診断といった医療のシーンにおいて、周囲の被写体に対して相対的に小さくしか映らない非生体の被写体について、視差判定の精度を向上させ、改善された視認性を実現することが可能となる。
【0136】
また、上述した実施形態によれば、非生体領域の判定の結果に基づいて設定される照合ブロックを用いて2つの視差判定用画像を照合することにより、上記視差が判定される。即ち、照合ブロックの設定を非生体領域の判定の結果に合わせて適応的に変化させることが可能となる。例えば、照合ブロックの適応的な設定を通じて、非生体領域の周囲の生体領域が視差の判定へ与える影響を低減することで、非生体領域に適用すべき視差の判定の精度が効果的に向上される。
【0137】
また、上述した実施形態によれば、視野内に複数の非生体が存在する場合には、視差判定用画像内の各非生体領域について個別の照合ブロックが設定され得る。この場合、個々の非生体の深度が均一でなかったとしても、それぞれの非生体について正確に視差を判定することができる。
【0138】
ある実施形態によれば、既知の被写体の分光特性に基づいて非生体領域が判定される。この場合、可視光領域の光を撮像可能な一般的なイメージセンサを用いて、非生体領域を判定することができる。また、想定される被写体の分光特性を事前に把握しておくだけで、多様な非生体の被写体について視差の判定の精度を向上させることができる。これは、日常の空間と比較して想定される被写体の種類が限られている医療のシーンにおいて特に有益である。
【0139】
他の実施形態によれば、遠赤外画像である領域判定用画像の画素値に基づいて非生体領域が判定される。この場合、分光特性情報を要することなく、非生体領域の簡易な判定が可能である。生体から放射される遠赤外光を撮像することにより領域判定用画像を生成する手法は、遠赤外光の照射を要しないため、カメラヘッドの構成を小規模に保つことができ、被写体に熱量も与えない。被写体へ照射される遠赤外光の反射光を撮像することにより領域判定用画像を生成する手法は、遠赤外画像に現れるノイズの量を抑制し、領域判定の精度を向上させる。
【0140】
なお、本明細書では、手術用内視鏡を含む画像処理システムの例を主に説明した。しかしながら、本開示に係る技術は、かかる例に限定されず、顕微鏡などの他の種類の医療用観察装置にも適用可能である。また、本開示に係る技術は、そうした医療用観察装置に搭載される画像処理モジュール(例えば、画像処理チップ)又はカメラモジュールとして実現されてもよい。
【0141】
本明細書において説明した画像処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組み合わせのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPUなどのプロセッサにより実行される。
【0142】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0143】
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【0144】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
を備える医療用画像処理装置。
(2)
前記視差判定部は、前記非生体領域の判定の結果に基づいて設定される照合ブロックを用いて第1の視差判定用画像と第2の視差判定用画像とを照合することにより、前記視差を判定する、前記(1)に記載の医療用画像処理装置。
(3)
前記視差判定部は、前記非生体領域のサイズ又は形状に依存して、前記照合ブロックのサイズを設定する、前記(2)に記載の医療用画像処理装置。
(4)
前記視差判定部は、前記照合のために使用される、前記照合ブロック内の画素ごとの重みを、前記非生体領域の形状に依存して設定する、前記(2)又は前記(3)に記載の医療用画像処理装置。
(5)
前記視差判定部は、前記照合ブロック内の前記非生体領域に対応する画素の前記重みを第1の値に、前記照合ブロック内の生体領域に対応する画素の前記重みを第2の値に設定し、
前記第2の値は、対応する画素位置の画素値が前記照合のための指標に算入されず又は過小に算入されることを意味する、
前記(4)に記載の医療用画像処理装置。
(6)
前記領域判定部は、前記領域判定用画像内の各画素が前記非生体領域に属する確率を計算し、
前記視差判定部は、前記照合ブロック内の各画素の前記重みを、当該画素が前記非生体領域に属する確率に依存して設定する、
前記(4)に記載の医療用画像処理装置。
(7)
前記領域判定部は、前記領域判定用画像を生体領域と1つ以上の非生体領域へとセグメント化し、
前記視差判定部は、前記領域判定部により複数の前記非生体領域が存在すると判定された場合には、各非生体領域について個別の前記照合ブロックを設定し、設定した前記照合ブロックを用いて各非生体領域に適用すべき視差を判定する、
前記(2)〜(6)のいずれか1項に記載の医療用画像処理装置。
(8)
前記領域判定用画像は、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光であって、前記視野内の被写体へ照射される当該光の反射光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像から前記被写体の分光特性を解析することにより、前記視野内の前記非生体領域を判定する、
前記(1)〜(7)のいずれか1項に記載の医療用画像処理装置。
(9)
前記領域判定用画像は、前記視野内の被写体へ異なる波長パターンで複数回にわたって照射される光の反射光を撮像することにより生成される、前記(8)に記載の医療用画像処理装置。
(10)
生体又は非生体の少なくとも一方の前記分光特性を示す分光特性情報を記憶する記憶部、をさらに備える、前記(8)又は前記(9)に記載の医療用画像処理装置。
(11)
前記領域判定用画像は、遠赤外画像である、前記(1)〜(7)のいずれか1項に記載の医療用画像処理装置。
(12)
前記領域判定用画像は、前記視野内の被写体から放射される遠赤外光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像において閾値を下回る画素値を示す画素が前記非生体領域に属すると判定する、
前記(11)に記載の医療用画像処理装置。
(13)
前記領域判定用画像は、前記視野内の被写体へ照射される遠赤外光の反射光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像において閾値を上回る画素値を示す画素が前記非生体領域に属すると判定する、
前記(11)に記載の医療用画像処理装置。
(14)
前記視差判定部により判定される前記視差に基づいて、前記視野に対応する立体視画像を生成する画像処理部、をさらに備える、前記(1)〜(13)のいずれか1項に記載の医療用画像処理装置。
(15)
前記視差判定部により判定される前記視差に基づいて、被写界深度拡大処理を実行する画像処理部、をさらに備える、前記(1)〜(14)のいずれか1項に記載の医療用画像処理装置。
(16)
前記視差判定部により判定される前記視差を補正することにより、表示される立体視画像の立体感を強調する画像処理部、をさらに備える、前記(1)〜(15)のいずれか1項に記載の医療用画像処理装置。
(17)
前記(1)〜(16)のいずれか1項に記載の医療用画像処理装置と、
前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、
を含む医療用画像処理システム。
(18)
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、
前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、
を含む医療用画像処理方法。
(19)
医療用画像処理装置を制御するプロセッサを、
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
として機能させるためのプログラム。
【符号の説明】
【0145】
1 医療用画像処理システム
13 カメラヘッド(撮像装置)
51 CCU(画像処理装置)
140,240,340 信号取得部
150,250,350 領域判定部
160,260,360 記憶部
170,270,370 視差判定部
180 画像処理部
190 制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9A
図9B
図10
図11
図12A
図12B
図13
図14
図15
図16
図17A
図17B
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
【国際調査報告】