特表-17149932IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2017-149932医療用画像処理装置、システム、方法及びプログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年9月8日
【発行日】2018年12月27日
(54)【発明の名称】医療用画像処理装置、システム、方法及びプログラム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20181130BHJP
【FI】
   A61B1/045 610
   A61B1/045 622
   A61B1/045 632
【審査請求】未請求
【予備審査請求】未請求
【全頁数】33
【出願番号】特願2018-502551(P2018-502551)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年1月10日
(31)【優先権主張番号】特願2016-40760(P2016-40760)
(32)【優先日】2016年3月3日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(74)【代理人】
【識別番号】100128587
【弁理士】
【氏名又は名称】松本 一騎
(72)【発明者】
【氏名】菊地 大介
(72)【発明者】
【氏名】水倉 貴美
(72)【発明者】
【氏名】高橋 康昭
(72)【発明者】
【氏名】鹿島 浩司
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161CC06
4C161NN03
4C161NN05
4C161QQ07
4C161SS06
4C161SS09
4C161SS21
4C161WW04
(57)【要約】
【課題】医療上の作業において観察されるべき被写体の特定色成分の階調が欠損してしまうリスクを低減すること。
【解決手段】特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、を備える医療用画像処理装置を提供する。
【選択図】図2
【特許請求の範囲】
【請求項1】
特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、
前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、
前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、
を備える医療用画像処理装置。
【請求項2】
前記カラー画像生成部は、前記第1の特定成分画像信号及び前記第2の特定成分画像信号の前記合成に起因する色調の変動を打ち消すように、前記特定成分合成画像信号又は前記2つの非特定成分画像信号を調整する、請求項1に記載の医療用画像処理装置。
【請求項3】
前記カラー画像生成部は、前記色調の前記変動を打ち消す方向に前記非特定成分画像信号のピークを移動させるトーンカーブを前記非特定成分画像信号に適用することにより、前記非特定成分画像信号を調整する、請求項2に記載の医療用画像処理装置。
【請求項4】
前記信号取得部は、前記特定の色成分について第1の露光時間での露光を通じて生成される前記第1の特定成分画像信号、及び、前記特定の色成分について第2の露光時間での露光を通じて生成される前記第2の特定成分画像信号を取得する、請求項1に記載の医療用画像処理装置。
【請求項5】
前記信号取得部は、前記特定の色成分について前記第1の露光時間で露光される画素群及び前記特定の色成分について前記第2の露光時間で露光される画素群の双方を有する撮像装置から、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を取得する、請求項4に記載の医療用画像処理装置。
【請求項6】
前記信号取得部は、前記特定の色成分についての画素群であって、第1のタイミングにて前記第1の露光時間で露光され及び第2のタイミングにて前記第2の露光時間で露光される当該画素群から、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を取得する、請求項4に記載の医療用画像処理装置。
【請求項7】
前記信号取得部は、前記特定の色成分について第1の露光時間で露光される画素群から前記第1の特定成分画像信号を取得し、及び、前記第1の特定成分画像信号における隣り合う画素の信号値を加算することにより、前記第2の特定成分画像信号を取得する、請求項1に記載の医療用画像処理装置。
【請求項8】
前記信号取得部は、前記特定の色成分について第1の露光時間で露光される画素群から第1のフレームレートで前記第1の特定成分画像信号を取得し、及び、時間的に連続する複数のフレームにわたる前記第1の特定成分画像信号の信号値の加算により、前記第2の特定成分画像信号を取得する、請求項1に記載の医療用画像処理装置。
【請求項9】
前記信号取得部は、第1の透過率を有するフィルタを通じて前記特定の色成分を受光する画素群、及び前記第1の透過率とは異なる透過率を有するフィルタを通じて前記特定の色成分を受光する画素群の双方を有する撮像装置から、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を取得する、請求項1に記載の医療用画像処理装置。
【請求項10】
前記第2の露光量は、前記第1の露光量よりも多く、
前記合成部は、前記特定の色成分の弱い画素において、相対的に高い合成重みを前記第2の特定成分画像信号に適用し、前記特定の色成分の強い画素において、相対的に高い合成重みを前記第1の特定成分画像信号に適用する、
請求項1に記載の医療用画像処理装置。
【請求項11】
前記特定の色成分は、赤成分である、請求項1に記載の医療用画像処理装置。
【請求項12】
観察対象の色成分に関連付けられる設定情報を取得し、取得した設定情報に応じて前記特定の色成分を設定する制御部、
をさらに備える、請求項1に記載の医療用画像処理装置。
【請求項13】
被写体を撮像する撮像装置と、
前記撮像装置から取得される1つ以上の画像信号を処理してカラー画像信号を生成する画像処理装置と、
を含み、
前記画像処理装置は、
特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、
前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、
前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、
を備える、
医療用画像処理システム。
【請求項14】
特定の色成分についての第1の露光量を伴う第1の特定成分画像信号を取得することと、
前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号を取得することと、
前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号を取得することと、
前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成することと、
前記合成により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成することと、
を含む医療用画像処理方法。
【請求項15】
医療用画像処理装置を制御するプロセッサを、
特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、
前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、
前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用画像処理装置、システム、方法及びプログラムに関する。
【背景技術】
【0002】
近年、医療の場面において内視鏡又は顕微鏡といった医療用観察装置が広く利用されている。医療用観察装置は、被写体を光学的に観察可能とする装置に加えて、撮像部(カメラ)により撮像された被写体の画像を表示部に電子的に表示させる装置を含む。例えば、内視鏡下手術又は顕微鏡下手術(所謂、マイクロサージャリー)では、術者は、電子的に表示される画像を通じて患部又は手術器具を観察しながら、様々な作業を行う。カプセル内視鏡は、主に検査又は診断の目的で利用され、被検者の体内で、目的とされる器官を撮像する。
【0003】
上で例示したような医療上の作業のために撮像画像を表示する場合、表示される画像に被写体が可能な限り鮮明に映っていることが求められる。しかし、実際には、画素値のダイナミックレンジの制約に起因して、白とび又は黒つぶれと呼ばれる視覚情報の欠損が生じることが少なくない。特許文献1は、こうした白とび又は黒つぶれを防止して自然な画像を提供するために、視野へ向けて照射される照明光の配光分布のピーク位置を可変的に制御する仕組みを提案している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014−230708号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、白とび又は黒つぶれの防止を狙った既存の技術は、医療上の作業において観察される被写体の、色成分ごとの階調の偏りを考慮していない。例えば、生体の体内が観察される場合、被写体の階調には赤成分の大きさが強く影響し得る。また、特殊光観察(例えば、蛍光観察又は染色を用いた観察など)では、赤以外の特定色が被写体の階調の中で特に意味を持つこともある。これらケースにおいて、複数の色成分のダイナミックレンジを画一的に調整しようとすると、特定色成分のダイナミックレンジが結果的に最適にはならず、観察されるべき階調が欠損する事態が生じ得る。
【0006】
本開示に係る技術は、こうした既存の技術の欠点を解消し又は少なくとも軽減することを目的とする。
【課題を解決するための手段】
【0007】
本開示によれば、特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、を備える医療用画像処理装置が提供される。
【0008】
また、本開示によれば、被写体を撮像する撮像装置と、前記撮像装置から取得される1つ以上の画像信号を処理してカラー画像信号を生成する画像処理装置と、を含み、前記画像処理装置は、特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、を備える、医療用画像処理システムが提供される。
【0009】
また、本開示によれば、特定の色成分についての第1の露光量を伴う第1の特定成分画像信号を取得することと、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号を取得することと、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号を取得することと、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成することと、前記合成により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成することと、を含む医療用画像処理方法が提供される。
【0010】
また、本開示によれば、医療用画像処理装置を制御するプロセッサを、特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、として機能させるためのプログラムが提供される。
【発明の効果】
【0011】
本開示に係る技術によれば、医療上の作業において観察されるべき被写体の特定色成分の階調が欠損してしまうリスクを低減し、従来よりも鮮明な被写体の画像を提供することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0012】
図1】一実施形態に係る医療用画像処理システムの概略的な構成について説明するための説明図である。
図2】一実施形態に係る撮像装置(カメラヘッド)及び画像処理装置(CCU)の構成の一例を示すブロック図である。
図3図2に示した信号取得部へ入力される画像信号及び当該信号取得部から出力される画像信号について概略的に説明するための説明図である。
図4A】互いに異なる露光量を伴う画像信号を取得するための第1の手法について説明するための説明図である。
図4B】互いに異なる露光量を伴う画像信号を取得するための第2の手法について説明するための説明図である。
図4C】互いに異なる露光量を伴う画像信号を取得するための第3の手法について説明するための説明図である。
図4D】互いに異なる露光量を伴う画像信号を取得するための第4の手法について説明するための説明図である。
図5図2に示した合成部における信号の合成について説明するための説明図である。
図6】特定成分画像信号の信号値と合成重みとの関係の一例を描いたグラフを示している。
図7図2に示したカラー画像生成部のより詳細な構成の一例を示すブロック図である。
図8】ダイナミックレンジの圧縮のための非線型的な補正の一例について説明するためのグラフを示している。
図9A】2つの特定成分画像信号の合成に起因する色調の変動の一例について説明するための説明図である。
図9B】色調の変動を打ち消した後の3つの色成分の信号値の分布について説明するための説明図である。
図10】一実施形態に係る画像信号処理の流れの一例を示すフローチャートである。
図11A】信号取得処理のより詳細な流れの第1の例を示すフローチャートである。
図11B】信号取得処理のより詳細な流れの第2の例を示すフローチャートである。
図11C】信号取得処理のより詳細な流れの第3の例を示すフローチャートである。
図11D】信号取得処理のより詳細な流れの第4の例を示すフローチャートである。
図12】カラー画像生成処理のより詳細な流れの一例を示すフローチャートである。
図13】人間の視覚の典型的なコントラスト感度について説明するためのグラフを示している。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
また、以下の順序で説明を行う。
1.システムの概要
2.装置の構成例
2−1.撮像装置
2−2.画像処理装置
3.詳細な実施例
3−1.画像信号の取得
3−2.特定成分合成画像信号の生成
3−3.カラー画像の生成
4.処理の流れ
4−1.全体的な流れ
4−2.信号取得処理
4−3.カラー画像生成処理
5.人間の視覚のコントラスト感度
6.まとめ
【0015】
<1.システムの概要>
本節では、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図1は、一実施形態に係る医療用画像処理システム1の概略的な構成の一例を示している。医療用画像処理システム1は、内視鏡下手術システムである。図1の例では、術者(医師)3が、医療用画像処理システム1を用いて、患者ベッド5上の患者7に内視鏡下手術を行っている。医療用画像処理システム1は、内視鏡10と、その他の術具30と、内視鏡10を支持する支持アーム装置40と、内視鏡下手術のための様々な装置が搭載されたカート50と、から構成される。
【0016】
内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカと呼ばれる筒状の開孔器具37a〜37dが腹壁に複数穿刺される。そして、トロッカ37a〜37dから、内視鏡10の鏡筒11、及びその他の術具30が、患者7の体腔内に挿入される。図1の例では、その他の術具30として、気腹チューブ31、エネルギー処置具33及び鉗子35が示されている。エネルギー処置具33は、高周波電流又は超音波振動での、組織の切開若しくは剥離又は血管の封止などの処置のために利用される。なお、図示した術具30は一例に過ぎず、他の種類の術具(例えば、攝子又はレトラクタなど)が利用されてもよい。
【0017】
内視鏡10によって撮像される患者7の体腔内の画像は、表示装置53により表示される。術者3は、表示画像をリアルタイムで見ながら、エネルギー処置具33及び鉗子35を用いて、例えば患部を切除するなどの処置を行う。なお、図示を省略しているが、気腹チューブ31、エネルギー処置具33及び鉗子35は、手術中に、術者3又は助手などのユーザによって支持される。
【0018】
支持アーム装置40は、ベース部41から延伸するアーム部43を備える。図1の例では、アーム部43は、関節部45a、45b及び45c、並びにリンク47a及び47bから構成され、内視鏡10を支持している。アーム部43がアーム制御装置57からの制御に従って駆動される結果として、内視鏡10の位置及び姿勢が制御され、内視鏡10の安定的な位置の固定もまた実現され得る。
【0019】
内視鏡10は、鏡筒11と、鏡筒11の基端に接続されるカメラヘッド13と、から構成される。鏡筒11の先端からある長さまでの一部分は、患者7の体腔内に挿入される。図1の例では、硬性の鏡筒11を有するいわゆる硬性鏡として内視鏡10が構成されているが、内視鏡10は、いわゆる軟性鏡として構成されてもよい。
【0020】
鏡筒11の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡10には光源装置55が接続されており、光源装置55によって生成された光が、鏡筒11の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者7の体腔内の観察対象に向かって照射される。なお、内視鏡10は、直視鏡であってもよく、又は斜視鏡若しくは側視鏡であってもよい。
【0021】
カメラヘッド13は、光学系と、駆動系と、イメージセンサとを内蔵する撮像装置である。カメラヘッド13のイメージセンサは、光学系により集光される観察対象からの反射光(観察光)を光電変換し、電気信号である画像信号を生成する。生成された画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)51へ送信される。カメラヘッド13の駆動系は、ヘッド内の光学系を駆動させることにより、倍率及び焦点距離といった撮像条件を調整する。カメラヘッド13は、単眼カメラとして構成されてもよく、又は複眼カメラとして構成されてもよい。カメラヘッド13は、立体視(3D表示)画像のための画像信号を生成してもよい。
【0022】
CCU51は、CPU(Central Processing Unit)又はGPU(Graphics Processing Unit)などのプロセッサを有し、内視鏡10及び表示装置53の動作を統括的に制御する。具体的には、CCU51は、カメラヘッド13から取得される画像信号を処理して、表示画像を生成する。一実施形態では、CCU51により生成される表示画像は、カラー画像である。一連の表示画像は、動画(映像)を構成し得る。CCU51において実行される画像処理は、例えば現像及びノイズ低減などの一般的な処理に加えて、後に詳細に説明する、本開示に係る技術に固有の処理を含む。CCU51は、表示画像を表現する画像信号を表示装置53に提供する。また、CCU51は、カメラヘッド13へ制御信号を送信し、カメラヘッド13の駆動を制御する。当該制御信号には、例えば上述した撮像条件を指定する情報が含まれ得る。
【0023】
表示装置53は、CCU51からの制御に従い、入力される画像信号に基づいて画像を表示する。内視鏡10が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)などの高解像度の撮像を行う場合、及び/又は立体視画像の撮像が行われる場合、表示装置53として、それぞれに対応するケイパビリティ(高解像度表示及び/又は3D表示)を有する装置が用いられ得る。
【0024】
光源装置55は、例えばLED、キセノンランプ、レーザ光源、又はこれらの組み合わせに相当する光源を含み、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡10へ供給する。
【0025】
アーム制御装置57は、例えばCPUなどのプロセッサを有し、所定のプログラムに従って動作することにより支持アーム装置40のアーム部43の駆動を制御する。
【0026】
入力装置59は、医療用画像処理システム1へのユーザ入力を受け付ける1つ以上の入力インタフェースを含む。ユーザは、入力装置59を介して、医療用画像処理システム1へ様々な情報を入力し又は様々な指示を入力することができる。例えば、ユーザは、入力装置59を介して、患者の身体情報、又は後述する特定色情報若しくは手術情報を入力してもよい。特定色情報は、観察対象の主たる色成分である特定色成分を直接的に示し得る。手術情報は、手術の術式を示し、及び特定色成分に関連付けられ得る。また、例えば、ユーザは、入力装置59を介して、アーム部43を駆動させる旨の指示、内視鏡10における撮像条件(照射光の種類、倍率及び焦点距離など)を変更する旨の指示、又はエネルギー処置具33を駆動させる旨の指示などを入力する。
【0027】
入力装置59は、いかなる種類のユーザ入力を扱ってもよい。例えば、入力装置59は、マウス、キーボード、スイッチ(例えば、フットスイッチ69)又はレバーなどの機構を介して物理的なユーザ入力を検出してもよい。入力装置59は、タッチパネルを介してタッチ入力を検出してもよい。入力装置59は、メガネ型デバイス又はHMD(Head Mounted Display)といったウェアラブルデバイスの形態で実現され、ユーザの視線又はジェスチャを検出してもよい。また、入力装置59は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声コマンドを検出してもよい。
【0028】
処置具制御装置61は、組織の焼灼若しくは切開又は血管の封止などの処置のために、エネルギー処置具33の駆動を制御する。気腹装置63は、内視鏡10により観察される視野を確保し及び術者の作業空間を確保する目的で、患者7の体腔を膨らませるために、気腹チューブ31を介して当該体腔内にガスを送り込む。レコーダ65は、手術に関する様々な情報(例えば、身体情報、特定色情報、手術情報、画像情報及びバイタルセンサ(図示せず)からの測定情報のうちの1つ以上)を記録媒体へ記録する。プリンタ67は、手術に関する様々な情報を、テキスト、画像又はグラフなどの何らかの形式で印刷する。
【0029】
こうした医療用画像処理システム1では、通常、表示装置53により表示される画像に、観察対象の被写体が可能な限り鮮明に映っていることが求められる。被写体の階調の十分な再現性がもたらされることは、術者によるミスの無い処置又は正確な診断のために重要である。しかし、実際には、画像信号のダイナミックレンジが被写体の階調に適合しない結果として、白とび又は黒つぶれと呼ばれる視覚情報の欠損が生じることがある。白とび又は黒つぶれの防止を狙った技術は既にいくつか存在するものの、そうした既存の技術は、観察対象の被写体の色成分ごとの階調の偏りを考慮せず、ほとんどの場合、複数の色成分を画一的に扱う。しかし、医療上の作業のために生体の体内が観察される場合、血液及び組織の主要な色成分である赤成分の大きさが、被写体の階調に強く影響し得る。また、特殊光観察では、赤以外の特定色が、正確な診断等の目的のために、被写体の階調の中で特に意味を持つこともある。そこで、本開示に係る技術の実施形態は、複数の色成分のダイナミックレンジを画一的に扱うのではなく、特定色成分を他の色成分よりも重視してそのダイナミックレンジを拡張し又は調整する。それにより、観察されるべき階調の欠損を可能な限り低減した最適な表示画像を得ることが可能となる。
【0030】
<2.装置の構成例>
図1に例示した医療用画像処理システム1の構成要素の中で、特に、撮像装置の役割を有するカメラヘッド13、及び画像処理装置の役割を有するCCU51が、被写体の撮像及び撮像画像に基づく画像の表示に主に関与する。そこで、本節では、これら2つの装置の具体的な構成について詳細に説明する。
【0031】
なお、医療用画像処理システム1では、これら撮像装置及び画像処理装置がそれぞれ別体に構成され互いに信号線で接続されるが、本開示に係る技術は、かかる例に限定されない。例えば、後に説明する画像処理装置の機能は、撮像装置に内蔵されるプロセッサに実装されてもよい。また、撮像装置が画像信号を記録媒体に記録し、画像処理装置がその記録媒体から読み出される画像信号を処理してもよい(この場合、これら2つの装置の間に信号線が存在しなくてよい)。
【0032】
[2−1.撮像装置]
図2には、撮像装置であるカメラヘッド13の構成の一例が示されている。図2を参照すると、カメラヘッド13は、光学系110、イメージセンサ120、通信部130及び駆動系140を備える。
【0033】
光学系110は、典型的には一組のレンズ(レンズユニットともいう)を含み、鏡筒11の先端から取り込まれる被写体からの観察光(照射光の反射光)を、イメージセンサ120へ向けて集光する。光学系110のレンズユニットは、例えばズームレンズ及びフォーカスレンズを含み得る。ズームレンズ及びフォーカスレンズの位置は、倍率及び焦点位置といった撮像条件を可変的に制御するために、駆動系140により駆動されて変化し得る。
【0034】
イメージセンサ120は、光学系110により集光される観察光を光電変換し、電気信号である画像信号を生成する。イメージセンサ120は、3つの色成分の画像信号をそれぞれ生成する別個の撮像素子を有する3板式センサであってもよく、又は単板式若しくは2板式といった他のタイプのイメージセンサであってもよい。イメージセンサ120の撮像素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge-Coupled Device)などであってよい。一実施形態において、イメージセンサ120は、フレームタイミングごとに、少なくとも1つの特定色成分の画像信号(以下、特定成分画像信号)と、2つの非特定色成分の画像信号(以下、非特定成分画像信号)を生成する。そして、イメージセンサ120は、生成したこれら画像信号を通信部130へ出力する。
【0035】
通信部130は、信号線を介してCCU51へ接続される通信インタフェースである。通信部130とCCU51との間の信号線は、例えば光ケーブルなどの、双方向の通信を可能とする高速の伝送線である。例えば、通信部130は、イメージセンサ120から入力される上述した画像信号をCCU51へ送信する。また、通信部130は、CCU51から制御信号が受信されると、受信された制御信号をイメージセンサ120又は駆動系140へ出力する。
【0036】
駆動系140は、アクチュエータとコントローラとを有する。アクチュエータは、光学系110に含まれるズームレンズ又はフォーカスレンズといった可動部材を、CCU51からの制御信号を解釈するコントローラによる制御に従って動かす。コントローラは、例えば、制御信号により指定される倍率及び焦点距離といった撮像条件を実現するように、アクチュエータの動作を決定する。なお、駆動系140へ設定される倍率及び焦点距離、又はイメージセンサ120へ設定されるフレームレートなどの撮像条件は、CCU51から制御されることなく、カメラヘッド13内で自動的に調整され、又は予め固定的に設定されてもよい。
【0037】
[2−2.画像処理装置]
図2には、画像処理装置であるCCU51の構成の一例もまた示されている。図2を参照すると、CCU51は、信号取得部210、合成部220、カラー画像生成部230及び制御部240を備える。
【0038】
信号取得部210は、上述したカメラヘッド13の通信部130へ信号線を介して接続される通信インタフェースを含み得る。一実施形態において、信号取得部210は、特定色成分についての第1の露光量を伴う画像信号である、第1の特定成分画像信号を取得する。また、信号取得部210は、特定色成分についての第2の露光量を伴う画像信号である、第2の特定成分画像信号をも取得する。信号取得部210は、第1及び第2の特定成分画像信号の双方をカメラヘッド13から取得してもよい。その代わりに、信号取得部210は、第1及び第2の特定成分画像信号の一方をカメラヘッド13から取得し、取得した当該一方の特定成分画像信号から他方の特定成分画像信号を生成してもよい。本明細書において、「露光量Eを伴う画像信号」との表現は、(主に露光時間と絞りとにより決定される)露光量Eでの実際の撮像の結果である画像信号のみならず、信号値の演算を通じて仮想的に露光量Eで撮像されたのと同等の信号値を有することになる画像信号をも意味し得るものとする。例えば、露光量E/2でそれぞれ実際に撮像された2つの画像信号の信号値を加算することにより、仮想的に露光量E(=E/2+E/2)を伴う画像信号の信号値を導出することができる。
【0039】
さらに、信号取得部210は、上記特定色成分とは異なる2つの色成分にそれぞれ対応する画像信号である、2つの非特定成分画像信号をも取得する。信号取得部210は、取得されるこれら画像信号について、解像度を調整するためのリサイズ又はフレームタイミングを合わせるための同期などの、付随的な処理を行ってもよい。信号取得部210は、取得した第1及び第2の特定成分画像信号、並びに2つの非特定成分画像信号を、合成部220へ出力する。信号取得部210における信号取得処理のいくつかのより詳細な例について、後にさらに説明する。
【0040】
合成部220は、信号取得部210から入力される第1及び第2の特定成分画像信号を、特定色成分の強さに応じた合成重みで合成することにより、特定成分合成画像信号を生成する。上述したように、第1及び第2の特定成分画像信号は、互いに異なる露光量E,Eを伴う画像信号である。ここで、第2の露光量Eは、第1の露光量Eよりも多いものとする(E>E)。典型的には、合成部220は、特定色成分の弱い画素においては、第1の特定成分画像信号に適用される合成重みWRSを、第2の特定成分画像信号に適用される合成重みWRLよりも相対的に低い値に設定する。なお、WRS+WRL=1であるものとする。即ち、特定色成分の弱い画素において、より多くの露光量を伴う画像信号へより高い重みを適用することにより、低信号値領域の階調の欠損が回避され又は軽減される。同時に、合成部220は、特定色成分の強い画素においては、第1の特定成分画像信号に適用される合成重みWRSを、第2の特定成分画像信号に適用される合成重みWRLよりも相対的に高い値に設定する。即ち、特定色成分の強い画素において、より少ない露光量を伴う画像信号へより高い重みを適用することにより、高信号値領域の階調の欠損(信号値の飽和)もまた回避され又は軽減される。合成部220は、このような合成の結果として生成される特定成分合成画像信号を、カラー画像生成部230へ出力する。また、合成部220は、信号取得部210から入力される2つの非特定成分画像信号を、そのままカラー画像生成部230へ出力する。
【0041】
カラー画像生成部230は、合成部220から入力される特定成分合成画像信号、及び2つの非特定成分画像信号から、カラー画像信号を生成する。カラー画像生成部230は、例えば、入力される特定成分合成画像信号のダイナミックレンジが非特定成分画像信号のダイナミックレンジよりも大きい場合に、特定成分合成画像信号のダイナミックレンジを圧縮してもよい。また、カラー画像生成部230は、各画像信号について、例えばノイズ低減、ホワイトバランス調整、ボケ補正及び高解像度化のうちの1つ以上を含み得る高品質化処理を行ってもよい。カラー画像生成部230は、例えばこうした様々な画像信号処理を経た後の特定成分合成画像信号及び2つの非特定成分画像信号を多重化することによりカラー画像信号を生成し、生成したカラー画像信号を表示装置53又はレコーダ65へ出力する。
【0042】
一実施形態において、カラー画像生成部230は、合成部220における第1の特定成分画像信号及び第2の特定成分画像信号の合成に起因する色調の変動を打ち消すように、特定成分合成画像信号又は2つの非特定成分画像信号を調整してもよい。典型的には、露光量Eを伴う第1の特定成分画像信号と露光量E(E>E)を伴う第2の特定成分画像信号との合成は、ダイナミックレンジの全体から見ると信号値のピークを下方へずらすように作用する。そのため、例えば観察光の3つの色成分が同じレベルであったとすると(即ち、白色光)、ダイナミックレンジが揃えられた後の特定成分合成画像信号の信号レベルは、非特定成分画像信号の信号レベルよりも低い値を示すことになり、即ち生成される画像の色調が変動し得る。そこで、カラー画像生成部230は、こうした望ましくない色調の変動を打ち消す処理を行うことにより、表示画像の色調が不自然となることを防止する。カラー画像生成部230のより詳細な構成の例について、後にさらに説明する。
【0043】
制御部240は、ユーザ(例えば、術者3)が望む通りの画像が撮像されるように、入力装置59により検出されるユーザ入力と、(図示しない記憶部により記憶される)設定情報とに基づいて、内視鏡10の動作を制御する。また、制御部240は、表示装置53により適切な画像が表示されるように、上述した信号取得部210、合成部220及びカラー画像生成部230により実行される画像処理を制御する。
【0044】
一例として、制御部240は、観察対象の色成分に関連付けられる設定情報を取得し、取得した設定情報に応じて特定色成分を設定してもよい。例えば、設定情報は、主として観察されるべき色成分を直接的に示す色成分情報であってもよい。また、設定情報は、手術情報であってもよく、手術情報と観察対象の色成分との関連付けが予め定義されていてもよい。例えば、手術情報が示す術式が通常のタイプの手術を示す場合には、制御部240は、赤(R)成分を特定色成分に、緑(G)成分及び青(B)成分を非特定色成分に設定し得る。また、制御部240は、設定情報が示す術式が特殊光観察を要する手術を示す場合には、個々の術式において主として観察されるべき色成分を特定色成分に設定し得る。本明細書では、これ以降、カラー画像の画像信号がR成分、G成分及びB成分から構成される例を主に説明するが、本開示に係る技術は、画像信号が他の色成分を含むケースにも適用可能である。
【0045】
<3.詳細な実施例>
本節では、上述したCCU51の各部の構成についてのより詳細な実施例を説明する。ここでは、説明のための例として、特定色成分は赤(R)成分であるものとする。しかしながら、特定色成分が他の色である場合にも、以下の説明は同等に適用可能であることに留意されたい。
【0046】
[3−1.画像信号の取得]
図3は、図2に示した信号取得部210へ入力される画像信号、及び信号取得部210から出力される画像信号について概略的に説明するための説明図である。図3には、カメラヘッド13のイメージセンサ120の構成の一例も示されている。ここでは、イメージセンサ120は、3板式センサであり、R成分用センサ121、G成分用センサ123及びB成分用センサ125を含む。
【0047】
信号取得部210には、R成分用センサ121により生成される少なくとも1つの入力特定成分画像信号Iin_Rが供給される。例えば、入力特定成分画像信号は、第1の露光量を伴う第1の特定成分画像信号IRS及び第2の露光量を伴う第2の特定成分画像信号IRLを含んでもよい。その代わりに、信号取得部210は、入力特定成分画像信号から第1の特定成分画像信号IRS及び第2の特定成分画像信号IRLの一方又は双方を生成してもよい。さらに、信号取得部210には、G成分用センサ123により生成される入力非特定成分(G成分)画像信号Iin_G、及びB成分用センサ125により生成される入力非特定成分(B成分)画像信号Iin_Bが供給される。なお、イメージセンサ120がベイヤ配列を有する単板式センサである場合には、信号取得部210は、これ以降で説明される処理の前に、イメージセンサ120により生成される画像信号をデモザイクすることにより、3種類の色成分の入力画像信号を分離し得る。
【0048】
図4A図4Dは、互いに異なる露光量を伴う画像信号を取得するための例示的な4つの手法についてそれぞれ説明するための説明図である。
【0049】
(1)第1の手法
図4Aに示した第1の手法によれば、信号取得部210は、特定の色成分について第1の露光時間での露光を通じて生成される第1の特定成分画像信号、及び、特定の色成分について第2の露光時間での露光を通じて生成される第2の特定成分画像信号を取得する。
【0050】
より具体的には、R成分用センサ121は、斜線でハッチングされた画素位置に対応する露光時間の長い画素(長畜画素)の集合と、ドットでハッチングされた画素位置に対応する露光時間の短い画素(短畜画素)の集合とを有する。信号取得部210へ入力される入力特定成分画像信号Iin_Rは、これら双方の画素の集合からの画素値を含む。信号取得部210は、入力特定成分画像信号Iin_Rから、短蓄画素の信号値のみ(RS1a,RS1b,RS2a,RS2a,…)を抽出し、並びに必要に応じてリサイズ及び平均演算(例えば、RS=(RS1a+RS1b)/2)を実行することにより、第1の特定成分画像信号IRS(RS,RS,RS,RS,…)を取得する。同様に、信号取得部210は、入力特定成分画像信号Iin_Rから、長蓄画素の信号値のみ(RL1a,RL1b,RL2a,RL2a,…)を抽出し、並びに必要に応じてリサイズ及び平均演算(例えば、RL=(RL1a+RL1b)/2)を実行することにより、第2の特定成分画像信号IRL(RL,RL,RL,RL,…)を取得する。
【0051】
G成分用センサ123及びB成分用センサ125の全ての画素は、均一の露光時間を有し、その露光時間は、R成分用センサ121の長蓄画素の露光時間及び短蓄画素の露光時間のいずれと等しくてもよい。信号取得部210は、例えば、G成分用センサ123からの入力非特定成分画像信号Iin_Gの信号値について、色成分の間の解像度の相違が解消されるようにリサイズ及び平均演算(例えば、G=(G1a+G1b+G1c+G1d)/4)を実行することにより、第1の非特定成分画像信号Iを取得する。また、信号取得部210は、B成分用センサ125からの入力非特定成分画像信号Iin_Bの信号値について、同様にリサイズ及び平均演算(例えば、B=(B1a+B1b+B1c+B1d)/4)を実行することにより、第2の非特定成分画像信号Iを取得する。こうしたリサイズによって画像の解像度はいくらか減少し得るが、近年利用されているイメージセンサは十分に高い解像度を有するため、そうした解像度の減少は画像の実用性には影響しない。
【0052】
図4Aの例では、R成分用センサ121において露光時間の長い画素群及び露光時間の短い画素群が空間的に交互に配置されていたが、これら画素群は、他の空間的パターンで配置されてもよい。
【0053】
なお、2種類の露光時間で露光される画素群が空間的に分散される代わりに、R成分用センサ121において、時間分割方式で2種類の露光時間での露光及び撮像が行われてもよい。この場合、R成分用センサ121の画素群は、第1のタイミングにて第1の露光時間で露光され、及び第2のタイミングにて第2の露光時間で露光される。そして、信号取得部210は、第1のタイミングでR成分用センサ121から第1の特定成分画像信号を取得し、第2のタイミングでR成分用センサ121から第2の特定成分画像信号を取得し得る。
【0054】
(2)第2の手法
図4Bに示した第2の手法によれば、信号取得部210は、特定の色成分について第1の露光時間で露光される画素群から第1の特定成分画像信号を取得し、及び、第1の特定成分画像信号における隣り合う画素の信号値を加算することにより、第2の特定成分画像信号を取得する。
【0055】
第2の手法では、R成分用センサ121、G成分用センサ123及びB成分用センサ125の全ての画素は、均一の露光時間を有していてよい。信号取得部210へ入力される入力特定成分画像信号Iin_Rは、そのまま第1の特定成分画像信号IRS(R,R,…,R,RK+1,…)として扱われる。また、信号取得部210は、入力特定成分画像信号Iin_Rの各画素位置の信号値に、隣接する画素位置の信号値(R,R,…,RK+1,RK+2,…)を加算することにより、第2の特定成分画像信号IRL(R´,R´,…,R´,RK+1´,…)を取得する。第2の特定成分画像信号IRLは、第1の特定成分画像信号IRSよりも多くの露光量を疑似的に伴う画像信号となる。
【0056】
信号取得部210は、図4Bに示したように、第1の入力非特定成分画像信号Iin_G及び第2の入力非特定成分画像信号Iin_Bを、そのまま第1の非特定成分画像信号I及び第2の非特定成分画像信号Iとして扱ってもよい。その代わりに、信号取得部210は、非特定成分画像信号についても隣り合う画素の信号値を加算することにより、より多くの露光量を疑似的に伴う非特定成分画像信号を生成してもよい。
【0057】
(3)第3の手法
図4Cに示した第3の手法によれば、信号取得部210は、特定色成分について第1の露光時間で露光される画素群から第1のフレームレートで第1の特定成分画像信号を取得し、及び、時間的に連続する複数のフレームにわたる第1の特定成分画像信号の信号値の加算により、第2の特定成分画像信号を取得する。
【0058】
第3の手法においても、R成分用センサ121、G成分用センサ123及びB成分用センサ125の全ての画素は、均一の露光時間を有していてよい。信号取得部210へ入力される入力特定成分画像信号Iin_Rは、そのまま第1の特定成分画像信号IRS(R,R,…,R,RK+1,…)として扱われる。また、信号取得部210は、時刻T=tで取得される入力特定成分画像信号Iin_Rの信号値と、時刻T=t+dt(dtはフレームレートの逆数)で取得される入力特定成分画像信号Iin_Rの信号値とを共通する画素位置ごとに加算することにより、第2の特定成分画像信号IRL(R´,R´,…,R´,RK+1´,…)を取得する。第2の特定成分画像信号IRLは、実質的に第1の特定成分画像信号IRSよりも多くの露光量を伴う画像信号となる。
【0059】
なお、第2の特定成分画像信号IRLは、第1のフレームレートの半分に等しい第2のフレームレートで生成されてもよい(例えば、第1のフレームレートF=120[frames/sec]の場合、第2のフレームレートF=60[frames/sec])。その代わりに、例えばK番目及びK+1番目のフレームの加算の次にK+1番目及びK+2番目のフレームの加算をすることにより、第1のフレームレートに等しいレートで第2の特定成分画像信号IRLが取得されてもよい(即ち、F=F)。
【0060】
信号取得部210は、図4Cに示したように、第1の入力非特定成分画像信号Iin_G及び第2の入力非特定成分画像信号Iin_Bを、そのまま第1の非特定成分画像信号I及び第2の非特定成分画像信号Iとして扱ってもよい。その代わりに、信号取得部210は、入力非特定成分画像信号について時間的に連続する複数のフレームにわたる信号値を加算することにより、より多くの露光量を伴う非特定成分画像信号を生成してもよい。
【0061】
(4)第4の手法
図4Dに示した第4の手法によれば、信号取得部210は、第1の透過率を有するフィルタを通じて特定色成分を受光する画素群と、第1の透過率とは異なる透過率を有するフィルタを通じて特定の色成分を受光する画素群とを有する撮像装置から、第1の特定成分画像信号及び第2の特定成分画像信号を取得する。
【0062】
図4Dの例では、R成分について、相対的に透過率の高いフィルタ122を通過した光に基づく入力特定成分画像信号Iin_RLと、相対的に透過率の低いフィルタ124を通過した光に基づく入力特定成分画像信号Iin_RSとが示されている。第4の手法においても、R成分用センサ121、G成分用センサ123及びB成分用センサ125の全ての画素は、均一の露光時間を有していてよい。信号取得部210は、例えば、入力特定成分画像信号Iin_RSを第1の特定成分画像信号IRS(RS,RS,RS,RS,…)として、入力特定成分画像信号Iin_RLを第2の特定成分画像信号IRL(RL,RL,RL,RL,…)として扱う。なお、2つの入力特定成分画像信号Iin_RS及びIin_RLのための画素は、図4Aを用いて説明したように単一のR成分用センサ121に混在してもよく、又は別個のセンサにそれぞれ配置されてもよい。後者の場合には、一方のセンサにフィルタ122が付設され、他方のセンサにフィルタ124が付設される。
【0063】
さらに、信号取得部210は、フィルタ126を通過した光に基づく入力特定成分画像信号Iin_Gを第1の非特定成分画像信号Iとして扱い、フィルタ128を通過した光に基づく入力特定成分画像信号Iin_Bを第2の非特定成分画像信号Iとして扱う。フィルタ126及び128の透過率は、図4Dに示したように、フィルタ124の(相対的に低い)透過率に等しくてもよく、又はフィルタ122の(相対的に高い)透過率に等しくてもよい。また、フィルタ122及び124のうちの一方と、フィルタ126及び128とがイメージセンサ120の構成から省略されてもよい。
【0064】
信号取得部210は、本項で説明したいずれかの手法で取得される4種類の画像信号、即ち第1の特定成分画像信号IRS、第2の特定成分画像信号IRL、第1の非特定成分画像信号I及び第2の非特定成分画像信号Iを、合成部220へ出力する。
【0065】
[3−2.特定成分合成画像信号の生成]
次に、図5及び図6を用いて、合成部220における信号の合成についてあらためて説明する。図5の上段において左から現れる矢印は第1の特定成分画像信号IRSを、下段において左から現れる矢印は第2の特定成分画像信号IRLを表現している。合成部220は、第1の特定成分画像信号IRSに合成重みWRSを、第2の特定成分画像信号IRLに合成重みWRLを適用する。合成重みWRSと合成重みWRLとの和は1に等しく、合成重みWRS及びWRLは共にゼロ以上1以下の実数である。合成重みWRS及びWRLの値は可変的であり、合成部220はこれら重みの値を、画素ごとに、特定成分画像信号の信号値(即ち、特定色成分の強さ)に依存して決定する。
【0066】
図6は、第2の特定成分画像信号IRLの信号値と合成重みWRLとの関係の一例を描いたグラフを示している。図6のグラフ221によれば、特定成分画像信号の信号値が閾値THを下回る区間では、合成重みWRLは1.0に等しい。特定成分画像信号の信号値が閾値TH以上かつ閾値TH以下である区間では、合成重みWRLは1.0からゼロへと単調減少する。特定成分画像信号の信号値が閾値THを上回る(最大値RLmaxまでの)区間では、合成重みWRLはゼロに等しい。このように合成重みが決定される場合、特定色成分であるR成分の弱い画像領域では、第2の特定成分画像信号IRLが合成画像信号により多く寄与する一方、R成分の強い画像領域では、第1の特定成分画像信号IRSが合成画像信号により多く寄与する。その結果、合成部220により生成される合成画像信号において、低信号値領域でも高信号値領域でも、R成分の階調の欠損が回避され又は軽減される。なお、信号値と合成重みとの関係を示すグラフは、図6に示した例に限定されず、信号値の増加に伴って減少する傾向を有する限りいかなる軌跡を描いてもよい。
【0067】
合成部220は、このように生成される特定成分合成画像信号Iを、カラー画像生成部230へ出力する。
【0068】
[3−3.カラー画像の生成]
図7は、図2に示したカラー画像生成部230のより詳細な構成の一例を示している。図7を参照すると、カラー画像生成部230は、ダイナミックレンジ(DR)補正部231、色調調整部233及び多重化部236を有する。
【0069】
(1)ダイナミックレンジの補正
ある実施例によれば、信号取得部210により取得される4種類の画像信号のうち第2の特定成分画像信号IRLのみが、非特定成分画像信号を含む他の画像信号よりも多くの露光量を伴う。この場合、カラー画像生成部230へ入力される特定成分合成画像信号Iのダイナミックレンジは、2つの非特定成分画像信号I及びIのダイナミックレンジよりも大きくなり得る。そこで、DR補正部231は、特定成分合成画像信号I、非特定成分画像信号I及び非特定成分画像信号Iのダイナミックレンジが互いに等しくなるように、特定成分合成画像信号Iのダイナミックレンジを圧縮する。より具体的には、DR補正部231は、1よりも小さい補正率を特定成分合成画像信号Iに乗算することにより、そのダイナミックレンジを圧縮し得る。例えば、DR補正部231は、ダイナミックレンジの幅の比に相当する固定的な補正率を用いて、信号値を線型的に補正してもよい。その代わりに、DR補正部231は、ガンマ補正などの非線型的な補正を実行してもよい。
【0070】
図8は、ダイナミックレンジの圧縮のための非線型的な補正の一例について説明するためのグラフを示している。図8を参照すると、ゼロから2.0までの入力値をゼロから1.0までの出力値へと補正する際に利用され得る補正率曲線232aが示されている。補正率曲線232aは、いわゆるハイパーガンマ曲線に相当する。DR補正部231は、このような曲線を描く補正率を用いて特定成分合成画像信号Iをガンマ補正することにより、R成分の高信号値領域における階調をより良好に残しながら、特定成分合成画像信号Iのダイナミックレンジを圧縮することができる。一方、図8の補正率曲線232bは、入力値と出力値との間でダイナミックレンジを変化させない、通常のガンマ曲線である。DR補正部231は、補正率曲線232bに従って非特定成分画像信号I及びIをもガンマ補正してもよい。
【0071】
なお、DR補正部231は、特定成分合成画像信号Iのダイナミックレンジを圧縮する代わりに、特定成分合成画像信号I、並びに非特定成分画像信号I及びIのダイナミックレンジが互いに等しくなるように、非特定成分画像信号I及びIのダイナミックレンジを伸長してもよい。
【0072】
(2)色調の調整
既に述べたように、合成部220における互いに異なる露光量を伴う2つの特定成分画像信号の合成は、より多くの露光量を伴う画像信号のダイナミックレンジの全体から見ると、信号値のピークを下方へずらすように作用する。そして、特定色成分の信号値のみが押し下げられた場合、最終的に得られるはずのカラー画像の色調が意図に反して変動し得る。
【0073】
図9Aは、2つの特定成分画像信号の合成に起因する色調の変動の一例について説明するための説明図である。図9Aの横軸は、各色成分の、ゼロから最大値Xmaxまでのダイナミックレンジを表す。縦軸は、信号値の度数を表す。グラフ234aはR成分の信号値の分布、グラフ234bはG成分の信号値の分布、グラフ234cはB成分の信号値の分布をそれぞれ表す。例えば、観察光の色調が白色に近かったとして、特定色成分であるR成分についてのみ、上述した異なる露光量を伴う2つの特定成分画像信号を合成すると、R成分の信号値のピークのみが、例えば値Xから値Xへと押し下げられる。非特定色成分であるG成分及びB成分の信号値のピークは、値X付近のまま維持される。このまま色調を調整することなくカラー画像を表示させると、白色に近かった被写体は、赤の補色で着色されたように表示され得る。
【0074】
そこで、色調調整部233は、こうした色調の変動を打ち消すように、少なくとも1つの色成分の画像信号を調整する。一例として、色調調整部233は、色調の変動を打ち消す方向に非特定成分画像信号I及びIのピークを移動させるトーンカーブを、非特定成分画像信号I及びIに適用する。
【0075】
図9Bは、トーンカーブを非特定成分画像信号I及びIに適用することにより、色調の変動を打ち消した後の、3つの色成分の信号値の分布を示している。グラフ235bはG成分の信号値の分布、グラフ235cはB成分の信号値の分布をそれぞれ表す。図9Bから理解されるように、トーンカーブの適用後に、3つの色成分の信号値のピークは全て、信号値X付近に位置している。このように調整された画像信号に基づいてカラー画像を表示させると、白色に近かった被写体は、画面上でも白色に近い色で表示される。また、グラフ234aは不変であり、即ち特定成分合成画像信号Iは維持されるため、観察されるべき特定色成分であるR成分の高信号値領域における階調は良好に保全される。
【0076】
(3)多重化
多重化部236は、色調調整部233による色調調整後の特定成分合成画像信号I並びに2つの非特定成分画像信号I及びIを多重化することによりカラー画像信号Ioutを生成し、生成したカラー画像信号Ioutを表示装置53又はレコーダ65へ出力する。
【0077】
図7には示していないものの、カラー画像生成部230は、上述した画像信号処理のうちの任意のタイミングで、個々の色成分の画像又はカラー画像の品質を向上させるために、例えばノイズ低減、ホワイトバランス調整、ボケ補正及び高解像度化のうちの1つ以上を含み得る高品質化処理を行ってもよい。
【0078】
<4.処理の流れ>
本節では、上述した実施形態においてCCU51により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【0079】
[4−1.全体的な流れ]
図10は、一実施形態に係る画像信号処理の流れの一例を示すフローチャートである。図10を参照すると、まず、制御部240は、例えば予め記憶される設定情報を取得し、取得した設定情報に応じて特定色成分を設定する(ステップS110)。
【0080】
次に、信号取得部210は、信号取得処理を実行して、カラー画像の1フレームを生成するために要する、第1の特定成分画像信号、第2の特定成分画像信号、及び2つの非特定成分画像信号を取得する(ステップS120)。第1の特定成分画像信号は、特定色成分について第1の露光量を伴う。第2の特定成分画像信号は、特定色成分について上記第1の露光量とは異なる第2の露光量を伴う。2つの非特定成分画像信号は、2つの非特定色成分それぞれについて、第1の露光量又は第2の露光量を伴う。ここで実行される信号取得処理のいくつかのより詳細な流れの例を、後にさらに説明する。信号取得部210は、取得したこれら画像信号を、合成部220へ出力する。
【0081】
次に、合成部220は、信号取得部210から入力される第1及び第2の特定成分画像信号を、特定色成分の強さに応じた合成重みで合成することにより、特定成分合成画像信号を生成する(ステップS160)。第2の露光量が第1の露光量よりも多いものとして、典型的には、合成部220は、特定色成分の弱い画素において第2の特定成分画像信号に適用される合成重みを相対的に高く、特定色成分の強い画素において第1の特定成分画像信号に適用される合成重みを相対的に高く設定する。それにより、特定色成分についての階調の再現性が高められる。そして、合成部220は、特定成分合成画像信号、及び2つの非特定成分画像信号をカラー画像生成部230へ出力する。
【0082】
次に、カラー画像生成部230は、カラー画像生成処理を実行して、特定成分合成画像信号及び2つの非特定成分画像信号からカラー画像信号を生成する(ステップS170)。ここで実行されるカラー画像生成処理のより詳細な流れの例を、後にさらに説明する。カラー画像生成部230により生成されたカラー画像信号は、例えば、カラー画像の表示のために表示装置53へと出力されてもよく、又は画像若しくは動画の記録のためにレコーダ65へと出力されてもよい。
【0083】
上述したステップS120〜ステップS170は、画像信号処理の終了条件が満たされるまで繰り返される(ステップS190)。例えば、処理の終了を指示するユーザ入力が入力装置59を介して検出されると、上述した画像信号処理は終了する。
【0084】
[4−2.信号取得処理]
(1)第1の例
図11Aは、図10に示した信号取得処理のより詳細な流れの第1の例を示すフローチャートである。第1の例は、図4Aを用いて説明したシナリオに対応する。
【0085】
図11Aを参照すると、まず、信号取得部210は、イメージセンサ120において露光時間Eで露光された特定色成分X(例えば、XはR、G又はBのうちの1つ)の画素群から、第1の特定成分画像信号を取得する(ステップS121)。そして、信号取得部210は、第1の特定成分画像信号のN画素分のブロックごとに、信号値を平均する(ステップS122)。図4Aの例によればN=2であり、但しNは任意の整数であってよい。
【0086】
また、信号取得部210は、イメージセンサ120において露光時間Eで露光された非特定色成分Y、Z(例えば、Y及びZは、R、G又はBのうちの残りの2つ)の画素群から、対応する2つの非特定成分画像信号を取得する(ステップS123)。そして、信号取得部210は、各非特定成分画像信号について、M画素分のブロックごとに信号値を平均する(ステップS124)。図4Aの例によればM=4であり、但しMは任意の整数であってよい。
【0087】
次に、信号取得部210は、イメージセンサ120において露光時間Eで露光された特定色成分Xの画素群から、第2の特定成分画像信号を取得する(ステップS125)。そして、信号取得部210は、第2の特定成分画像信号のN画素分のブロックごとに、信号値を平均する(ステップS126)。
【0088】
(2)第2の例
図11Bは、図10に示した信号取得処理のより詳細な流れの第2の例を示すフローチャートである。第2の例は、図4Bを用いて説明したシナリオに対応する。
【0089】
図11Bを参照すると、まず、信号取得部210は、イメージセンサ120において露光時間Eで露光された特定色成分Xの画素群から、第1の特定成分画像信号を取得する(ステップS131)。
【0090】
また、信号取得部210は、イメージセンサ120において露光時間Eで露光された非特定色成分Y、Zの画素群から、対応する2つの非特定成分画像信号を取得する(ステップS133)。
【0091】
次に、信号取得部210は、第1の特定成分画像信号における隣り合う画素の信号値を加算することにより、第2の特定成分画像信号を取得する(ステップS135)。
【0092】
(3)第3の例
図11Cは、図10に示した信号取得処理のより詳細な流れの第3の例を示すフローチャートである。第3の例は、図4Cを用いて説明したシナリオに対応する。
【0093】
図11Cを参照すると、まず、信号取得部210は、イメージセンサ120から、特定色成分Xについてのi番目のフレームの第1の特定成分画像信号を取得する(ステップS141)。
【0094】
また、信号取得部210は、イメージセンサ120から、非特定色成分Y、Zについてのi番目のフレームの対応する2つの非特定成分画像信号を取得する(ステップS143)。
【0095】
次に、信号取得部210は、イメージセンサ120から、特定色成分Xについてのi+1番目のフレームの第1の特定成分画像信号を取得する(ステップS145)。
【0096】
また、信号取得部210は、イメージセンサ120から、非特定色成分Y、Zについてのi+1番目のフレームの対応する2つの非特定成分画像信号を取得する(ステップS147)。
【0097】
次に、信号取得部210は、時間的に連続するi番目及びi+1番目のフレームにわたる第1の特定成分画像信号の信号値を画素ごとに加算することにより、特定色成分Xについての第2の特定成分画像信号を取得する(ステップS149)。
【0098】
(4)第4の例
図11Dは、図10に示した信号取得処理のより詳細な流れの第4の例を示すフローチャートである。第4の例は、図4Dを用いて説明したシナリオに対応する。
【0099】
図11Dを参照すると、まず、信号取得部210は、イメージセンサ120において透過率αのフィルタを介して生成された、特定色成分Xについての第1の特定成分画像信号を取得する(ステップS151)。
【0100】
また、信号取得部210は、イメージセンサ120において透過率αのフィルタを介して生成された、非特定色成分Y、Zに対応する2つの非特定成分画像信号を取得する(ステップS153)。
【0101】
また、信号取得部210は、イメージセンサ120において透過率α(例えば、α<α)のフィルタを介して生成された、特定色成分Xについての第2の特定成分画像信号を取得する(ステップS155)。
【0102】
[4−3.カラー画像生成処理]
図12は、図10に示したカラー画像生成処理のより詳細な流れの一例を示すフローチャートである。
【0103】
図12を参照すると、まず、カラー画像生成部230は、特定成分合成画像信号、及び2つの非特定成分画像信号のダイナミックレンジが互いに等しくなるように、特定成分合成画像信号のダイナミックレンジを圧縮する(ステップS171)。
【0104】
次に、カラー画像生成部230は、露光量の異なる2つの特定成分画像信号の合成に起因する色調の変動を打ち消すように、色調の変動を打ち消す方向に信号のピークを移動させるトーンカーブを2つの非特定成分画像信号に適用する(ステップS173)。
【0105】
そして、カラー画像生成部230は、色調調整部233による色調調整後の特定成分合成画像信号、及び2つの非特定成分画像信号から、カラー画像信号を生成する(ステップS175)。
【0106】
なお、図12には示していないものの、カラー画像生成部230は、カラー画像生成処理の中の任意のタイミングで、例えばノイズ低減、ホワイトバランス調整、ボケ補正又は高解像度化といった、何らかの高品質化処理を行ってよい。
【0107】
<5.人間の視覚のコントラスト感度>
図13は、人間の視覚の典型的なコントラスト感度について説明するためのグラフを示している。図13の横軸は、視野に現れるテキスチャの空間周波数である。縦軸は、ゼロから1までの範囲に正規化された、コントラスト感度の大きさである。グラフG1は、輝度についての人間の視覚のコントラスト感度を表すCSF(Contrast Sensitivity Function)曲線の一例である。グラフG2は、赤−緑領域におけるCSF曲線の一例である。グラフG3は、黄−青領域におけるCSF曲線の一例である。図13から理解されることとして、人間の視覚の、特定色成分のコントラスト感度のピークは、輝度のコントラスト感度のピークよりも低帯域側に有意にズレている。従って、3つの色成分について画一的に例えばHDR合成をした場合と比較して、特定の色成分に限って同様の処理をした場合には、ユーザにより感知される主観的な画質の劣化(例えば、解像感の低下)はより小さくて済む。こうした観点からも、観察されるべき特定色成分を特に対象として階調を維持し又は強調しようとする上述した実施形態は、3つの色成分を共通的に扱う既存の手法と比較して有利である。
【0108】
<6.まとめ>
ここまで、図1図13を用いて本開示に係る技術の実施形態について詳しく説明した。上述した実施形態によれば、特定色成分についての第1の露光量を伴う第1の特定成分画像信号及び第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号が、特定色成分の強さに応じた重みで合成され、当該合成の結果として生成される特定成分合成画像信号と、2つの非特定成分画像信号とに基づいて、カラー画像信号が生成される。従って、被写体の階調に強く影響する色成分又は被写体の階調の中で特に意味を持つ色成分に相当する特定色成分のダイナミックレンジを適切に調整し、観察されるべき階調が欠損してしまうリスクを効果的に低減することができる。
【0109】
また、上述した実施形態によれば、上記第1の特定成分画像信号及び上記第2の特定成分画像信号の合成に起因する色調の変動を打ち消すように画像信号が調整された後に、上記カラー画像信号が生成され得る。従って、特定色成分に特化した信号の調整に起因する望ましくない色調の変動が最終的に出力されるカラー画像に現れることを防止することができる。
【0110】
また、上述した実施形態によれば、色調の上記変動を打ち消すために、上記非特定成分画像信号にそれらのピークを移動させるトーンカーブが適用され得る。従って、望ましくない色調の変動を防止しながら、例えば特定色成分の高信号値領域における階調を良好に保全することができる。
【0111】
また、ある実施例によれば、上記第1の特定成分画像信号は、第1の露光時間での露光を通じて又は第1の透過率を有するフィルタを通じて生成され、上記第2の特定成分画像信号は、第2の露光時間での露光を通じて又は第2の透過率を有するフィルタを通じて生成され得る。この場合、被写体の動きに起因する動きボケを特定成分合成画像信号において生じさせることなく、かつ解像感を犠牲にすることなく、特定色成分の階調を維持し又は強調することができる。
【0112】
また、ある実施例によれば、上記第1の特定成分画像信号は、第1の露光時間で露光される画素群から取得され、上記第2の特定成分画像信号は、上記第1の特定成分画像信号における隣り合う画素の信号値を加算することにより生成される。この場合、撮像装置において2通りの露光量を扱うための特別な構成又は制御を要することなく、疑似的に上記第1の特定成分画像信号よりも多くの露光量を伴う第2の特定成分画像信号を取得することができる。
【0113】
また、ある実施例によれば、上記特定色成分は、動的に取得される設定情報に応じて設定され得る。従って、通常の手術における赤色及び特殊光観察における特定色など、様々な色成分を動的に特定色成分として設定することが可能であり、システムが利用される場面ごとに異なる特定色成分のダイナミックレンジを柔軟に調整することができる。
【0114】
なお、本明細書では、手術用内視鏡を含む画像処理システムの例を主に説明した。しかしながら、本開示に係る技術は、かかる例に限定されず、カプセル内視鏡などの他の種類の内視鏡、又は、顕微鏡などの他の種類の医療用観察装置にも適用可能である。また、本開示に係る技術は、そうした医療用観察装置に搭載される画像処理モジュール(例えば、画像処理チップ)又はカメラモジュールとして実現されてもよい。
【0115】
本明細書において説明した画像処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPUなどのプロセッサにより実行される。
【0116】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0117】
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【0118】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、
前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、
前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、
を備える医療用画像処理装置。
(2)
前記カラー画像生成部は、前記第1の特定成分画像信号及び前記第2の特定成分画像信号の前記合成に起因する色調の変動を打ち消すように、前記特定成分合成画像信号又は前記2つの非特定成分画像信号を調整する、前記(1)に記載の医療用画像処理装置。
(3)
前記カラー画像生成部は、前記色調の前記変動を打ち消す方向に前記非特定成分画像信号のピークを移動させるトーンカーブを前記非特定成分画像信号に適用することにより、前記非特定成分画像信号を調整する、前記(2)に記載の医療用画像処理装置。
(4)
前記信号取得部は、前記特定の色成分について第1の露光時間での露光を通じて生成される前記第1の特定成分画像信号、及び、前記特定の色成分について第2の露光時間での露光を通じて生成される前記第2の特定成分画像信号を取得する、前記(1)〜(3)のいずれか1項に記載の医療用画像処理装置。
(5)
前記信号取得部は、前記特定の色成分について前記第1の露光時間で露光される画素群及び前記特定の色成分について前記第2の露光時間で露光される画素群の双方を有する撮像装置から、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を取得する、前記(4)に記載の医療用画像処理装置。
(6)
前記信号取得部は、前記特定の色成分についての画素群であって、第1のタイミングにて前記第1の露光時間で露光され及び第2のタイミングにて前記第2の露光時間で露光される当該画素群から、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を取得する、前記(4)に記載の医療用画像処理装置。
(7)
前記信号取得部は、前記特定の色成分について第1の露光時間で露光される画素群から前記第1の特定成分画像信号を取得し、及び、前記第1の特定成分画像信号における隣り合う画素の信号値を加算することにより、前記第2の特定成分画像信号を取得する、前記(1)〜(3)のいずれか1項に記載の医療用画像処理装置。
(8)
前記信号取得部は、前記特定の色成分について第1の露光時間で露光される画素群から第1のフレームレートで前記第1の特定成分画像信号を取得し、及び、時間的に連続する複数のフレームにわたる前記第1の特定成分画像信号の信号値の加算により、前記第2の特定成分画像信号を取得する、前記(1)〜(3)のいずれか1項に記載の医療用画像処理装置。
(9)
前記信号取得部は、第1の透過率を有するフィルタを通じて前記特定の色成分を受光する画素群、及び前記第1の透過率とは異なる透過率を有するフィルタを通じて前記特定の色成分を受光する画素群の双方を有する撮像装置から、前記第1の特定成分画像信号及び前記第2の特定成分画像信号を取得する、前記(1)〜(3)のいずれか1項に記載の医療用画像処理装置。
(10)
前記第2の露光量は、前記第1の露光量よりも多く、
前記合成部は、前記特定の色成分の弱い画素において、相対的に高い合成重みを前記第2の特定成分画像信号に適用し、前記特定の色成分の強い画素において、相対的に高い合成重みを前記第1の特定成分画像信号に適用する、
前記(1)〜(9)のいずれか1項に記載の医療用画像処理装置。
(11)
前記特定の色成分は、赤成分である、前記(1)〜(10)のいずれか1項に記載の医療用画像処理装置。
(12)
観察対象の色成分に関連付けられる設定情報を取得し、取得した設定情報に応じて前記特定の色成分を設定する制御部、
をさらに備える、前記(1)〜(10)のいずれか1項に記載の医療用画像処理装置。
(13)
被写体を撮像する撮像装置と、
前記撮像装置から取得される1つ以上の画像信号を処理してカラー画像信号を生成する画像処理装置と、
を含み、
前記画像処理装置は、
特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、
前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、
前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、
を備える、
医療用画像処理システム。
(14)
特定の色成分についての第1の露光量を伴う第1の特定成分画像信号を取得することと、
前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号を取得することと、
前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号を取得することと、
前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成することと、
前記合成により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成することと、
を含む医療用画像処理方法。
(15)
医療用画像処理装置を制御するプロセッサを、
特定の色成分についての第1の露光量を伴う第1の特定成分画像信号、前記特定の色成分についての前記第1の露光量とは異なる第2の露光量を伴う第2の特定成分画像信号、及び、前記特定の色成分とは異なる2つの色成分にそれぞれ対応する2つの非特定成分画像信号、を取得する信号取得部と、
前記第1の特定成分画像信号及び前記第2の特定成分画像信号を前記特定の色成分の強さに応じた重みで合成することにより特定成分合成画像信号を生成する合成部と、
前記合成部により生成される前記特定成分合成画像信号及び前記2つの非特定成分画像信号からカラー画像信号を生成するカラー画像生成部と、
として機能させるためのプログラム。
【符号の説明】
【0119】
1 医療用画像処理システム
13 カメラヘッド(撮像装置)
51 CCU(画像処理装置)
53 モニタ(表示装置)
210 信号取得部
220 合成部
230 カラー画像生成部
240 制御部
図1
図2
図3
図4A
図4B
図4C
図4D
図5
図6
図7
図8
図9A
図9B
図10
図11A
図11B
図11C
図11D
図12
図13
【国際調査報告】