特許 7659874 手術画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-04-02

(45)【発行日】2025-04-10

(54)【発明の名称】手術画像処理装置

(51)【国際特許分類】

   A61B 1/045 20060101AFI20250403BHJP

【ＦＩ】

A61B1/045 610

A61B1/045 614

【請求項の数】 18

(21)【出願番号】P 2024565947

(86)(22)【出願日】2024-09-05

(86)【国際出願番号】 JP2024031836

【審査請求日】2024-11-07

(31)【優先権主張番号】P 2023145563

(32)【優先日】2023-09-07

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】520285640

【氏名又は名称】アナウト株式会社

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100145713

【弁理士】

【氏名又は名称】加藤 竜太

(72)【発明者】

【氏名】小林 直

(72)【発明者】

【氏名】熊頭 勇太

(72)【発明者】

【氏名】銭谷 成昊

(72)【発明者】

【氏名】阿武 栄二

【審査官】▲高▼木 尚哉

(56)【参考文献】

【文献】特開２０２３－００１３５４（ＪＰ，Ａ）

【文献】国際公開第２０２２／０１４２３５（ＷＯ，Ａ１）

【文献】特開２００３－０６１９０８（ＪＰ，Ａ）

【文献】特開平０５－２８５１０１（ＪＰ，Ａ）

【文献】特開２０２３－０７６６１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

手術支援システムに含まれる手術画像処理装置であって、
前記手術画像処理装置とは別体の任意のカメラが取得した手術画像の出力画像の画質を変換する画質変換器を含む前処理部と、
画質変換後の画像を変換画像としたとき、前記変換画像を解析する推論モデルを含む推論部と、
前記推論モデルによる解析結果が前記手術画像に反映された画像を描画する描画部と、
を備え、
前記画質変換器は、
前記出力画像を、線形信号に変換する前の非線形信号に対して、色変換、および輝度変換のうちの少なくとも１つを含む画質変換を行う手段と、
ついで、前記出力画像を線形信号に変換する逆ガンマ処理手段と、
前記線形信号に対して、色変換、輝度変換、ノイズリダクション、およびエッジ強調のうちの少なくとも１つを含む画質変換を行う手段と、
前記変換画像にガンマ処理をすることが可能なガンマ処理手段であって、前記ガンマ処理を実行すること、または実行しないことが可能な前記ガンマ処理手段と、を備える、
手術画像処理装置。

【請求項2】

前記ガンマ処理手段は、前記ガンマ処理を実行しない、
請求項１に記載の手術画像処理装置。

【請求項3】

前記画質変換器は、
さらに、前記線形信号に対して、オフセット調整、明るさ調整、およびホワイトバランス調整のうちの少なくとも１つを行う手段を備える、
請求項１または２に記載の手術画像処理装置。

【請求項4】

前記出力画像は、ガンマ処理が施された非線形信号、およびガンマ処理が施されていない線形信号を含み、
前記画質変換器は、当該線形信号の画質を変換する、
請求項１に記載の手術画像処理装置。

【請求項5】

前記出力画像は、ガンマ処理が施されていない線形信号のみを含み、
前記画質変換器は、当該線形信号の画質を変換する、
請求項１に記載の手術画像処理装置。

【請求項6】

前記推論モデルは、前記変換画像に前記ガンマ処理が施された画像で学習する、
請求項１に記載の手術画像処理装置。

【請求項7】

前記逆ガンマ処理手段において、
複数の濃度が規定される諧調チャート内の複数個所における反射率または透過率に、前記手術画像を撮影する際の異なる明るさ比率を乗じた値を入力とし、
異なる明るさ比率で撮影された複数枚の前記手術画像内の複数箇所における諧調の信号レベルを出力としたグラフにおいて、
前記出力が飽和する点の入力を１として正規化したグラフから逆ガンマ処理の条件が求められる、
請求項１または２に記載の手術画像処理装置。

【請求項8】

手術支援システムに含まれる手術画像処理装置であって、
カメラが取得した手術画像の出力画像の画質を変換する画質変換器を含む前処理部と、
画質変換後の画像を変換画像としたとき、前記変換画像を解析する推論モデルを含む推論部と、
前記推論モデルによる解析結果が前記手術画像に反映された画像を描画する描画部と、
を備え、
前記カメラは内視鏡カメラであり、
前記画質変換器は、
前記内視鏡カメラの光源を利用するホワイトバランス確認治具と、
前記ホワイトバランス確認治具が装着されていることを内視鏡カメラ画像から自動で判断して、ホワイトバランス誤差を生成するホワイトバランス誤差生成手段と、
生成した前記ホワイトバランス誤差で、ホワイトバランス補正値を補正する手段と、を備える、
手術画像処理装置。

【請求項9】

前記推論モデルは、前記ホワイトバランス誤差によってホワイトバランス補正値が補正された画像で学習する、
請求項８に記載の手術画像処理装置。

【請求項10】

前記カメラは内視鏡カメラであり、
前記画質変換器は、
前記出力画像中の彩度が低い有彩色の画素である低彩度画素、または、前記出力画像中の彩度が低い有彩色の領域である低彩度領域を判断する低彩度判断手段と、
低彩度画素のホワイトバランスゲイン、または、低彩度領域のホワイトバランスゲインを生成するホワイトバランスゲイン生成手段と、
色温度に応じて、低彩度画素のホワイトバランス誤差、または、領域のホワイトバランス誤差を生成するホワイトバランス誤差生成手段と、
生成した前記ホワイトバランス誤差でホワイトバランス補正値を補正する手段と、を備える、
請求項８に記載の手術画像処理装置。

【請求項11】

前記推論モデルは、色温度に応じた前記ホワイトバランス誤差によってホワイトバランス補正値が補正された画像で学習する、
請求項１０に記載の手術画像処理装置。

【請求項12】

前記カメラは内視鏡カメラであり、
前記画質変換器は、
前記内視鏡カメラの先端に装着され、遮光され、画角中央部に多諧調の異なる明度、色相角、彩度の肌色を配置した肌色再現確認治具と、
ユーザーからの指示に基づいて、または、前記肌色再現確認治具が装着されていることを自動で判断して、肌色再現誤差を測定する肌色再現誤差生成手段と、
生成した前記肌色再現誤差で、ホワイトバランス補正値、および色変換処理のうちの少なくとも一方を補正する手段と、を備える、
請求項８に記載の手術画像処理装置。

【請求項13】

前記推論モデルは、前記肌色再現誤差によってホワイトバランス補正値、および色変換処理のうちの少なくとも一方が補正された画像で学習する、
請求項１２に記載の手術画像処理装置。

【請求項14】

手術支援システムに含まれる手術画像処理装置であって、
カメラが取得した手術画像の出力画像の画質を変換する画質変換器を含む前処理部と、
画質変換後の画像を変換画像としたとき、前記変換画像を解析する推論モデルを含む推論部と、
前記推論モデルによる解析結果が前記手術画像に反映された画像を描画する描画部と、
を備え、
前記画質変換器は、
前記出力画像の画質変換後の信号レベルが所定のレベル範囲内になる入力レベルを算出する手段と、
前記所定のレベル範囲から外れた画素の許容率を設定する手段と、
入力画像の前記所定のレベル範囲から外れた画素の割合を算出する手段と、
その割合と前記許容率との比較をする手段と、
前記割合が前記許容率を超えている場合は、超えている割合に応じて露出補正比率を補正する露出補正手段と、を備える、
手術画像処理装置。

【請求項15】

前記推論モデルは、露出補正比率が補正された画像で学習する、
請求項１４に記載の手術画像処理装置。

【請求項16】

手術支援システムに含まれる手術画像処理装置であって、
カメラが取得した手術画像の出力画像の画質を変換する画質変換器を含む前処理部と、
画質変換後の画像を変換画像としたとき、前記変換画像を解析する推論モデルを含む推論部と、
前記推論モデルによる解析結果が前記手術画像に反映された画像を描画する描画部と、
を備え、
前記画質変換器は、
前記カメラ毎の画質の特徴を格納するデータベースと、
前記カメラからの前記出力画像の特徴を分析する手段と、
前記分析した結果と前記データベースに格納された前記画質の特徴との一致を判断する手段と、
前記画質の変換式の選択を自動で行う手段と、を備える請求項１に記載の手術画像処理装置。

【請求項17】

前記推論モデルは、選択された前記変換式で画質変換された画像で学習する、
請求項１６に記載の手術画像処理装置。

【請求項18】

手術支援システムに含まれる手術画像処理装置に、
カメラが取得した手術画像の出力画像の画質を変換する画質変換器を含む前処理部と、
画質変換後の画像を変換画像としたとき、前記変換画像を解析する推論モデルを含む推論部と、
前記推論モデルによる解析結果が前記手術画像に反映された画像を描画する描画部と、
の機能を発揮させ、
前記画質変換器に、
前記出力画像の画質変換後の信号レベルが所定のレベル範囲内になる入力レベルを算出させ、
前記所定のレベル範囲から外れた画素の許容率を設定させ、
入力画像の前記所定のレベル範囲から外れた画素の割合を算出させ、
その割合と前記許容率との比較させ、
前記割合が前記許容率を超えている場合は、超えている割合に応じて露出補正比率を補正させて、
前記カメラが取得した前記手術画像の前記出力画像の画質を変換する機能を発揮させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術画像処理装置に関する。

【背景技術】

【0002】

外科医によって行われた手術を撮影した手術画像を取得し、この手術画像を解析した解析結果を、手術画像に適用することで、手術を支援する技術が知られている。

【0003】

特許文献１には、内視鏡装置で撮影された内視鏡画像を処理するにあたり、内視鏡装置に設定された画質調整値に基づいて、画質を変換することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第７１３００３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

内視鏡装置で撮影された内視鏡画像の画質を所定の画質に変換する際、内視鏡画像を撮影した内視鏡装置の画質調整値が明らかではない場合がある。また内視鏡装置から出力される内視鏡画像の画像信号の階調応答特性は、一般的には非線形である。このような場合に、撮影された画像の画質を、所望の画質に変換する技術は提案されていない。

【0006】

本発明は、撮影された画像の画質を所望の画質に変換する手術画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の手術画像処理装置は、手術支援システムに含まれる手術画像処理装置であって、カメラが取得した手術画像の出力画像の画質を変換する画質変換器を含む前処理部と、画質変換後の画像を変換画像としたとき、前記変換画像を解析する推論モデルを含む推論部と、前記推論モデルによる解析結果が前記手術画像に反映された画像を描画する描画部と、を備え、前記画質変換器は、前記出力画像を線形信号に変換する逆ガンマ処理手段と、前記線形信号に対して、色変換、輝度変換、ノイズリダクション、およびエッジ強調のうちの少なくとも１つを含む画質変換を行う手段と、前記変換画像にガンマ処理をするガンマ処理手段と、を備える。

【発明の効果】

【0008】

本発明によれば、撮影された画像の画質を所望の画質に変換する手術画像処理装置を提供できる。

【図面の簡単な説明】

【0009】

【図1A】本実施形態の手術画像処理装置が適用された手術支援システムの機能的構成の概要を示す図である。

【図1B】画質変換器２０の変形例を示す図である。

【図2】従来の画質変換の概要を示す図である。

【図3】本実施形態の画質変換の概要を示す図である。

【図4】手術支援システムにおける処理の流れを示す図である。

【図5】従来の逆ガンマの推定方法を示す図である。

【図6】本実施形態の逆ガンマの推定方法を示す図である。

【図7】本実施形態のホワイトバランス確認治具を示す図である。

【図8】ホワイトバランス確認治具が分離された状態を示す図である。

【図9】他の実施形態のホワイトバランス確認治具を示す図である。

【図10】従来の露出調整の例を示す図である。

【図11】固定露出補正比率の求め方を示す図である。

【図12】露出補正の例を示す図である。

【図13】従来の画質変換式の選択を示す図である。

【図14】本実施形態の画質変換式の選択を示す図である。

【図15】従来の画質変換の例を示す図である。

【図16】画質Ａ－３から画質Ｂ－２への従来の変換のステップを示す図である。

【図17】本実施形態の画質変換の例を示す図である。

【図18】画質Ａ－３から画質Ｂ－２への本実施形態の変換のステップを示す図である。

【図19】内視鏡が３つある場合の従来の画質変換の例を示す図である。

【図20】内視鏡が３つある場合の本実施形態の画質変換の例を示す図である。

【発明を実施するための形態】

【0010】

発明を実施するための形態を、図面を参照して説明する。図１Ａは、手術支援システム１００の機能的構成の概要を示す図である。手術支援システム１００には、手術画像処理装置１が備えられる。

【0011】

（手術支援システム）
手術支援システム１００は、外科医の手術を支援するシステムである。外科医の手術の様子を撮像した画像を、手術画像と呼ぶ。手術画像は、手術支援システム１００において種々処理される。手術支援システム１００は、処理された画像を表示することによって、外科医の手術を支援する。

【0012】

手術支援システム１００は、カメラ１０２、表示装置１０４、および手術画像処理装置１を含む。カメラ１０２は、手術画像を取得する装置である。カメラ１０２の例は、内視鏡カメラである。なお、カメラ１０２は、手術の状況を撮影するカメラであれば、内視鏡カメラに限られない。カメラ１０２は、例えば、手術室内に取り付けられたカメラや手術支援ロボットに付属するカメラであっても良い。また、カメラ１０２は、可視光の他に、非可視光、ハイパースペクトルイメージングなどを利用するカメラでも良い。表示装置１０４は、表示部１６からの出力画像を表示する装置である。表示装置の例は、コンソールおよびＬＣＤである。

【0013】

（手術画像処理装置）
手術画像処理装置１は、手術支援システム１００での表示内容などを定める装置である。手術画像処理装置１は、前処理部１０、推論部１２および描画部１４を含む。手術画像処理装置１は、表示部１６を含んでもよい。前処理部１０、推論部１２、描画部１４、および表示部１６は、カメラ１０２が取得した手術画像の加工などを行う。

【0014】

（推論部）
手術画像を解析し、解剖構造、器具の軌跡、出血などの事象、手術工程や手術の場面、および解剖構造に対する器具の状態などを推論するＡＩモデルを、推論モデルと呼ぶ。推論部１２は、手術支援システム１００に適用される推論モデルを含む。

【0015】

（描画部）
推論部１２の解析結果が反映された手術画像を、描画画像と呼ぶ。推論部１２の解析結果を描画画像に反映させる態様を、描画態様と呼ぶ。描画部１４は、定められた描画態様に則って描画画像を描画する。

【0016】

（表示部）
描画画像を表示装置に表示する態様を、表示態様と呼ぶ。表示部１６は、定められた表示態様に則って描画画像を表示する。なお、表示部１６が表示する描画画像は、以下に説明する前処理部１０の画質変換器２０によって画質変換された状態の画像でもよく、または、画質変換される前の状態の画像でもよい。後者の場合、推論部１２による推論の際には、画質変換された状態の画像を用いて推論をし、その後の表示部１６に表示する際は、画質変換される前の状態の画像を用いることになる。なお、表示部１６は、手術画像処理装置１とは別のディスプレイであっても良いし、表示部１６や手術支援ロボットに付属するディスプレイに表示しても良い。

【0017】

（前処理部）
手術画像処理装置１は、さらに前処理部１０を含む。以下、前処理部１０を説明する。

【0018】

手術画像は、医療機関などにおいて、カメラ１０２によって取得される。身体の状態を示す情報を、身体情報と呼ぶ。外科医に操作されている器具の状態を示す情報を、器具情報と呼ぶ。推論部１２では、手術画像に含まれる身体情報および器具情報が、推論モデルに入力される。推論モデルでは、身体情報および器具情報が、ＡＩによって解析される。推論モデルは、解剖構造、器具の軌跡、および解剖構造に対する器具の状態などを推論する。

【0019】

医療機関で用いられるカメラ１０２の製造メーカーは、様々である。医療機関で用いられるカメラ１０２の機種は、様々である。取得される手術画像の画質は、カメラ１０２の機種によって異なる。画質の例は、空間周波数、輝度、および色調などである。

【0020】

推論モデルは、手術画像を学習することによって生成される。推論モデルが学習した手術画像を、学習画像と呼ぶ。学習画像は、特定のカメラ１０２によって取得される。

【0021】

手術画像処理装置１において利用される手術画像を、推論用画像と呼ぶ。詳しくは、推論モデルに入力される手術画像を、推論用画像と呼ぶ。学習画像を取得したカメラと、推論用画像を取得したカメラ１０２とが、異なる場合がある。

【0022】

この場合、学習画像の画質と、推論用画像の画質とが、異なることがある。学習画像の画質と推論用画像の画質とが異なる場合、推論部１２における解析結果の精度が低下することがある。

【0023】

前処理部１０は、学習画像の画質と、推論用画像の画質との差を小さくする部分である。前処理部１０は、学習画像の画質と推論用画像の画質との差を小さくすることによって、推論部１２の解析結果の精度の低下を抑制する。

【0024】

前処理部１０は、推論用画像の画質を、学習画像の画質に変換する。変換は、変換式によって行われる。変換式は、推論用画像の画質を、学習画像の画質に近似した画質に変換する式である。また、学習画像を推論用画像に変換しても良く、画質差を小さくする方法であれば、画像の主体は問わない。

【0025】

変換式は、前処理部１０において設定される。手術支援システム１００を使用する者をユーザーと呼ぶ。変換式は、ユーザーによって設定される。または、変換式は、自動的に設定されてもよい。

【0026】

前処理部１０において変換された画像を、変換画像と呼ぶ。変換画像は、推論部１２に入力される。

【0027】

変換式は、推論用画像の画質を、推論部１２の解析精度が向上する画質に変換する式であってもよい。変換式の内容は、限定されない。変換式は、推論用画像を周波数解析し、周波数的なアプローチによって画像を変換する式でもよい。

【0028】

変換式が格納されたデータベースを、画質変換器２０と呼ぶ。画質変換器２０は、前処理部１０に含まれる。画質変換器２０は、手術支援システム１００の記憶手段に記憶されていてもよい。画質変換器２０は、クラウドおよびサーバーなどからダウンロードされてもよい。

【0029】

画質変換の概要を説明する。図２は、従来の画質変換の概要を示す図である。図３は、本実施形態の画質変換の概要を示す図である。
（出力画像）
カメラ１０２が出力する画像を、出力画像１１０と呼ぶ。カメラ１０２が取得した画像は、カメラ１０２から出力される前に、通常、ガンマ処理が施される。画像にガンマ処理が施されると、画像の階調応答特性は、非線形になる。出力画像１１０の階調応答特性は、通常、非線形である。

【0030】

以下、画像の階調応答特性が非線形であることを、画像信号が非線形である、などという。同様に、画像の階調応答特性が線形であることを、画像信号が線形である、などという。

【0031】

（画質変換）
図２に示すように、出力画像１１０の画像信号が非線形である場合、画質変換は、非線形信号に対して行われることになる。

【0032】

画質変換が色変換である場合を例にして説明する。画質変換された後の画像を、変換画像１１２と呼ぶ。色変換は、Ｒ，Ｇ，Ｂの各信号に対して行列演算を行うことによって行われる。行列演算は、変換マトリクスによって行われる。または、色変換は、Ｒ，Ｇ，Ｂの各信号の強度を調整することによって行われる。

【0033】

非線形信号が色変換されると、色は、明るさによって異なる色に変換される。その結果、出力画像の画質を、学習画像の画質に近似した画質に変換できない。変換画像１１２の画質と、学習画像の画質と差が大きくなる。

【0034】

画像の明るさの変換も、画像の色の変換と同様である。明るさの補正は、画像信号にゲインを乗じることによって行われる。非線形信号を変換する場合、明るさによって、ゲインの重みが異なる。その結果、出力画像１１０の画質を、学習画像の画質に近似した画質に変換できない。コントラスト、およびシャープネスについても、色、および明るさと同様に、非線形信号を変換した場合、意図した画質変換の結果は得られない。

【0035】

実施形態では、図３に示すように、出力画像１１０に逆ガンマ処理が施される。出力画像１１０の非線形信号は、逆ガンマ処理が施されることによって、線形信号に変換される。出力画像１１０が線形信号になると、線形信号を画質変換することによって、意図した画質変換の結果が得られる。

【0036】

つづいて、色変換された画像に、学習画像と同等のガンマ処理を施す。これにより、出力画像１１０は、学習画像の画質を有する変換画像１１２に変換される。

【0037】

線形信号を画質変換することによって、仮に明るさが異なっていても、変換先のカメラと同等の画質が得られる。変換先のカメラとは、例えば、推論モデルが学習した手術画像を取得したカメラである。

【0038】

図４を参照して、手術支援システム１００における処理の流れを、より詳しく説明する。図４は、手術支援システム１００における処理の流れを示す図である。以下、画質変換器２０における処理を中心に説明する。

【0039】

（変換元カメラ）
カメラ１０２は、変換元のカメラである。カメラ１０２の例は、内視鏡カメラである。カメラ１０２における信号の処理を説明する。カメラ１０２は、Ｉｍａｇｅ Ｓｅｎｓｏｒ（イメージセンサー）ＩＳを含む。Ｉｍａｇｅ Ｓｅｎｓｏｒ ＩＳは、手術画像を取得する。Ｉｍａｇｅ Ｓｅｎｓｏｒ ＩＳが取得した画像の画像信号は、線形信号である。画像信号の構成は、Ｒ、Ｇｒ、Ｂ、ＧｂのＢａｙｅｒ（ベイヤー）配列である。

【0040】

（Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（前段））
Ｉｍａｇｅ Ｓｅｎｓｏｒ ＩＳが取得した画像信号は、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（線形処理）（前段）１０７に含まれる一連の信号処理を受ける。Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（前段）１０７は、Ａ－１からＡ－５、およびＣ－１の処理を含む。Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（前段）１０７の各処理を受けることによって、画像信号の構成が変換される。画像信号の構成は、Ｒ、Ｇｒ、Ｂ、ＧｂのＢａｙｅｒ（ベイヤー）配列のデータから、Ｒ、Ｇ、Ｂに分離されたデータになる。

【0041】

Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（前段）１０７は、ＢＬＣ（Ｂｌａｃｋ Ｌｅｖｅｌ Ｃｏｒｒｅｃｔｉｏｎ）（黒レベル補正補）Ａ－１、Ｓｅｎｓｏｒ（センサー）補正（Ｄｅｆｅｃｔ ｐｉｘｅｌ（画素欠陥）／Ｓｈａｄｉｎｇ（シェーディング）／Ｌｉｎｅａｒｉｔｙ（直線性））Ａ－２、Ｌｅｎｓ（レンズ）補正（Ｓｈａｄｉｎｇ（シェーディング）／倍率色収差）Ａ－３、ＲＡＷ－ＮＲ（ノイズリダクション）Ａ－４、Ｗｈｉｔｅ Ｂａｌａｎｃｅ（ホワイトバランス）Ａ－５、およびＤｅＭｏｓａｉｃ（デモザイク処理）Ｃ－１を含む。Ｉｍａｇｅ Ｓｅｎｓｏｒ ＩＳが取得した画像信号は、上述の順で上述の処理を受ける。

【0042】

（Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段））
Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（前段）１０７においてＲ、Ｇ、Ｂに分離されたデータに変換された画像信号は、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８において、さらに処理を受ける。画像信号は、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８において、線形信号から非線形信号に変換される。

【0043】

Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８は、ＣＣＭ（Ｃｏｌｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｍａｔｒｉｘ）（色補正マトリックス）色変換Ａ－６、および処理γ（Ｇａｍｍａ）（ガンマ）処理Ｃ－２を含む。Ｒ、Ｇ、Ｂに分離されたデータに変換された画像信号は、上述の順で上述の処理を受ける。画像信号は、ガンマ処理Ｃ－２が施されることによって非線形信号になる。

【0044】

（Ｎｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ）
Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８において非線形信号に変換された画像信号は、Ｎｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（非線形処理）１０９において、さらに処理される。画像信号は、Ｎｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ１０９において、ＲＧＢ方式からＹＣｂＣｒ方式に変換される。Ｎｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ１０９が施された画像信号は、カメラ１０２から出力される。

【0045】

Ｎｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ１０９は、ＲＧＢ－ＮＲ（ノイズリダクション）Ａ－８、ＲＧＢ２ＹＣ（ＲＧＢ方式からＹＣｂＣｒ方式）Ｃ－３、輝度補正および色差補正Ａ－９、エッジ強調Ａ－１０、ならびにＹＣ－ＮＲ（ノイズリダクション）Ａ－１１を含む。ＲＧＢ方式の非線形信号は、上述の順で上述の処理を受ける。

【0046】

以上の処理を経た画像は、出力画像としてカメラ１０２から出力される。カメラ１０２から出力される信号を、出力信号と呼ぶ。ＲＧＢ方式の非線形信号は、ＲＧＢ２ＹＣ処理Ｃ－３によって、ＹＣｂＣｒ方式の非線形信号に変換される。出力画像の画像信号は、ＹＣｂＣｒ方式の非線形信号である。

【0047】

（画質変換器）
画質変換器２０における処理を説明する。画質変換器２０における処理は、非線形信号である出力信号を線形信号に変換する処理２１、および出力画像の画質を変換先カメラの画質に変換する処理２２を含む。線形信号への変換処理２１は、変換元カメラの処理の逆演算処理によって行われる。

【0048】

（線形信号への変換処理）
線形信号への変換処理２１を説明する。線形信号への変換処理２１は、ＹＣ２ＲＧＢ（ＹＣｂＣｒ方式からＲＧＢ方式） Ｃ－３’、逆エッジ強調Ａ－１０’、逆輝度補正および逆色差補正Ａ－９’、ならびにγ^－１逆ガンマＣ－２’（逆ガンマ処理手段）を含む。これらの処理は、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８、およびＮｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ１０９において対応する処理の逆演算である。画質変換器２０での処理の符号は、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８、およびＮｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ１０９において対応する処理の符号に（’）を付した符号である。

【0049】

画質変換器２０に入力されたＹＣｂＣｒ方式の非線形信号は、線形信号への変換処理２１において、ＲＧＢ方式の線形信号に変換される。ＲＧＢ方式の線形信号は、オフセット補正Ｅ－１（オフセット調整）、露出補正（ゲイン補正）Ｅ－２（明るさ調整）、およびホワイトバランス補正Ｅ－３（ホワイトバランス補正）の各処理を受ける。

【0050】

Ｅ－１からＥ－３の処理を受けた画像信号は、逆ＣＣＭ色変換Ａ－６’を受ける。逆ＣＣＭ色変換Ａ－６’は、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（前段）１０７のＣＣＭ色変換Ａ－６の逆演算である。逆ＣＣＭ色変換Ａ－６’は、省略できる。

【0051】

（変換先カメラの画質への変換処理）
変換先カメラの画質への変換処理２２を説明する。変換先カメラの画質への変換処理２２は、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８、およびＮｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ１０９に含まれる処理と同様である。

【0052】

変換先カメラの画質への変換処理２２は、ＣＣＭ色変換Ｂ－６、γ（Ｇａｍｍａ）処理Ｄ－２（ガンマ処理手段）、ＲＧＢ－ＮＲ Ｂ－８（ノイズリダクション）、ＲＧＢ２ＹＣ Ｄ－３、輝度補正および色差補正Ｂ－９（色変換、輝度変換）、エッジ強調Ｂ－１０、ならびにＹＣ－ＮＲ Ｂ－１１を含む。画像信号は、上述の順で上述の処理を受ける。

【0053】

変換先カメラの画質への変換処理２２におけるＣＣＭ色変換Ｂ－６の趣旨は、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８におけるＣＣＭ色変換Ａ－６の趣旨と同様である。ただし、ＣＣＭ色変換Ｂ－６は、変換先カメラに対応した変換内容を有する。

【0054】

他の処理についても、変換先カメラの画質への変換処理２２に含まれる処理と、Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ（後段）１０８およびＮｏｎ－Ｌｉｎｅａｒ ｐｒｏｃｅｓｓｉｎｇ１０９に含まれる処理とで、同じ名称の処理の趣旨は同様である。ただし、変換先カメラの画質への変換処理２２に含まれる処理の具体的な内容は、変換先カメラに対応した変換内容を有する。

【0055】

ＲＧＢ－ＮＲ Ｂ－８、およびＹＣ－ＮＲ Ｂ－１１は、省略できる。

【0056】

変換先カメラの画質への変換処理２２を経た画像は、画質変換器２０から出力される。画質変換器２０から出力される画像を、変換画像と呼ぶ。変換画像の画像信号は、ＹＣｂＣｒ方式の非線形信号である。

【0057】

本実施形態では、画質変換器２０における処理に、線形信号への変換処理２１が含まれる。そして、線形信号への変換処理２１を経た線形信号に対して、変換先カメラの画質への変換処理２２が行われる。そのため、変換画像の画質を、学習画像の画質に近似した画質に変換できる。

【0058】

上述のように、手術画像処理装置１においては、カメラ１０２の出力画像に、画質変換器２０での画質変換処理が施される。出力画像は、画質変換器２０での画質変換処理によって、推論モデルが学習した手術画像の画質に変換される。画質変換器２０での画質変換処理は、線形信号への変換処理、オフセット補正、ゲイン補正、ホワイトバランス補正、および変換先カメラの画質への変換処理を含む。

【0059】

なお、以上説明した画質変換器２０で施される信号処理の手段、および信号処理の順番は、一例である。変換元カメラであるカメラ１０２内の信号処理の手段、および信号処理の順番は、カメラ１０２によって異なる。そのため、線形信号の変換に必要な信号処理の種類、手段、および順番などを、カメラ１０２に応じて変更することが好ましい。

【0060】

同様に、変換先カメラの画質への変換処理についても、信号処理の種類、手段、および順番などは、変換先カメラに応じて変更することが好ましい。

【0061】

以上の説明では、画質変換処理は、ＲＧＢ信号（ＲＧＢ方式）およびＹＣ信号（ＹＣｂＣｒ方式）に対して実施された。画質変換処理は、全てＲＧＢ信号に対して実施されてもよい。また、画質変換処理は、ＲＧＢ信号およびＹＣ信号以外の色空間信号に対して実施されてもよい。

【0062】

画質変換処理は、ソフトウェアによって実現されてもよい。画質変換処理は、信号処理ＬＳＩなどのハードウェアを用いて実現されてもよい。

【0063】

（逆ガンマの推定方法）
γ^－１逆ガンマＣ－２’における逆ガンマの推定方法を説明する。図５は、従来の逆ガンマの推定方法を示す図である。図６は、本実施形態の逆ガンマの推定方法を示す図である。

【0064】

内視鏡撮影画像１２０からガンマカーブを推定するためには、内視鏡撮影画像１２０の信号レベルおよびセンサー出力の絶対値が必要である。センサー出力の絶対値は、対飽和比率であってもよい。

【0065】

センサー出力の絶対値が不明である場合には、諧調Ｃｈａｒｔ１２４の各パッチ１２５の反射率を入力とし、内視鏡撮影画像１２０の信号レベルを出力としたグラフ１３０を作成する。

【0066】

諧調Ｃｈａｒｔ１２４の各パッチ１２５の濃度は、あらかじめ規定されている。濃度は、反射率であってもよい。諧調Ｃｈａｒｔ１２４は、反射型であっても、透過型であってもよい。光源は、明るさを変えることができる光源、または輝度箱である。

【0067】

内視鏡撮影画像１２０は、基準の明るさで撮影される。内視鏡撮影画像１２０の信号レベルは、内視鏡撮影画像１２０における各パッチ１２１の枠囲み１２２内の緑の平均値である。

【0068】

グラフ１３０は、ガンマカーブ１３１を示す図である。グラフ１３０のＸ軸は、入力としての諧調Ｃｈａｒｔ１２４の各パッチ１２５の反射率である。グラフ１３０のＹ軸は、出力としての内視鏡撮影画像１２０の各パッチ１２１における、各諧調の信号レベルである。

【0069】

グラフ１３０には、１枚の内視鏡撮影画像１２０に含まれる２４個のパッチ１２１について、値がプロットされている。

【0070】

グラフ１３０に示すように、従来の逆ガンマの推定方法において、ガンマカーブの１部を生成できる。ただし、入力で使用した反射率は、センサー出力の絶対値（対飽和比率）ではない。そのため、グラブ１３０に示すプロットは、入出力の対応がとれたカーブではない。そのため、グラブ１３０に示すプロットでは、ガンマカーブが推定できない。

【0071】

図６を参照して、本実施形態の逆ガンマの推定方法を説明する。以下の説明では、図５に示した、従来の逆ガンマの推定方法と異なる点を説明する。

【0072】

従来の逆ガンマの推定方法では、内視鏡撮影画像１２０は、基準の明るさで撮影される。これに対して、本実施形態の逆ガンマの推定方法では、内視鏡撮影画像１２０は、明るさをＳｗｅｅｐして撮影される。Ｓｗｅｅｐの範囲は、例えば、×０．２５以上×２である。

【0073】

また、従来の逆ガンマの推定方法では、入力は、諧調Ｃｈａｒｔ１２４の各パッチ１２５の反射率である。これに対して、本実施形態の逆ガンマの推定方法では、入力は、諧調Ｃｈａｒｔ１２４の各パッチ１２５の反射率に、内視鏡撮影における明るさのＳｗｅｅｐ比率を乗じた値である。図６の交点１２７は、諧調Ｃｈａｒｔ１２４の各パッチ１２５の反射率と、内視鏡撮影における明るさのＳｗｅｅｐ比率とを掛け合わせること、を意味する。

【0074】

図６のグラフ１３３は、本実施形態の逆ガンマの推定方法によって得られたガンマカーブ１３４を示すグラフである。

【0075】

本実施形態の逆ガンマの推定方法では、明るさをＳｗｅｅｐして内視撮影鏡画像を撮影する。そして、入力を、反射率×明るさのＳｗｅｅｐ比率とする。また、グラフ１３０には、明るさをＳｗｅｅｐした枚数について、それぞれ２４個のパッチ１２１の値がプロットされている。以上のように、本実施形態の逆ガンマの推定方法では、全ての内視鏡撮影画像の全てのパッチの信号レベルをＰｌｏｔし、撮影画像（出力側）が飽和するポイントを正確に求める。

【0076】

撮影画像（出力側）が飽和するポイントを、点１３６で示す。出力が飽和するポイントを入力の飽和点１３６とする。この飽和点１３６を基準としてガンマカーブ１３４を作成する。枠１３７は、飽和点１３６と、入力が飽和点１３６の値の場合における出力の値１３８とに基づいて描かれた枠である。ガンマカーブ１３４は、枠１３７のＸ軸のＭａｘを１．０として正規化したグラフである。点１３６を入力１倍（＝飽和点）と規定することによって、入力側の絶対値（センサーの対飽和比率）を定めることができる。これによって、ガンマカーブ１３４を推定できる。

【0077】

また、明るさをＳｗｅｅｐして内視鏡撮影画像を撮影し、多くの座標をＰｌｏｔすることによって、チャート諧調の中間を補間できる。これによって、ガンマカーブ１３４の推定精度が上がる。

【0078】

（画質変換器）
図４を参照して説明した画質変換器２０において、下記の項目を適切に調整することによって、より的確な画質変換を行うことができる。なお、下記は一例であり、他の調整項目を設けてもよい。
・Ｍｅｎｕ項目
ゲイン設定： ０ｄＢ～ＭａｘｄＢ
ホワイトバランス： Ｇ／Ｒ， Ｇ／Ｂ
コントラスト： 高／標準／低等
色調調整： Ｒ強調，Ｂ強調のＳｔｅｐ（例：１０段階中の５など）
彩度調整： 強／標準／弱等
エッジ強調： 強／標準／弱等
ノイズリダクション： 強／標準／弱等

【0079】

また、信号処理フローに関しては、下記の項目が例示できる。
・信号処理フロー
ガンマカーブ： コントラスト毎
ＣＣＭ行列式： ガンマカーブ毎
ガンマ後の色補正式： 色調調整、彩度調整毎

【0080】

なお、Ｍｅｎｕ項目はカメラの機種などによらない共通的な内容を例示した。Ｍｅｎｕ項目の各項目は、項目に応じてどのように変化するかは事前に確認ができるため、現在の設定値が分かれば、画質の変換が容易になる。

【0081】

信号処理フローは、推論への影響度を考慮して、色再現に関する項目を中心に例示した。信号処理フローに関しては、ガンマに連動した設定情報が開示されると、変換が容易になる。

【0082】

カメラについて上述のような情報が得られれば、より適切な画質変換器を作成できる。

【0083】

（ホワイトバランス）
ホワイトバランス補正Ｅ－３を説明する。変換元のカメラ１０２から変換先のカメラに画質を変換する画質変換式において、線形信号への変換処理には、カメラにより固定できる変換式と、変換元のカメラ１０２の撮影状況により可変とする必要がある変換式が含まれる。

【0084】

後者の可変とする必要がある変換式としては、ホワイトバランス補正の変換式、ゲイン乗算を含む露出補正の変換式、および、これらの変換式に関連した変換式がある。その他として、ＡＦに連動したエッジ強調も可変とする必要がある変換式に含まれる。

【0085】

ホワイトバランスについては、ユーザーが手動で設定する場合と、メーカー出荷時の設定がそのまま用いられる場合とがある。ホワイトバランスを手動で設定する場合、ホワイトバランスは、適切でない場合がある。ホワイトバランスが適切でない原因の例は、外光の影響である。

【0086】

メーカー出荷時に設定されているホワイトバランスについては、必ずしも適切なホワイトバランスになっていないことがある。カメラの個体ばらつき、部品の経年変化等によって、適切なホワイトバランスになっていないこともある。

【0087】

ホワイトバランスが適切でない状態のまま画質を変換すると、白い被写体だけでなく、特に、彩度が低い被写体において色ずれが発生する。その結果、出力画像の画質を、推論モデルが学習した手術画像の画質に近似した画質に変換できなくなる。

【0088】

一般のカメラでは、内視鏡カメラなどとは異なり、外光でホワイトバランスをとる。内視鏡カメラは、内視鏡カメラの先端部から放出された光で、体内を撮影する。内視鏡カメラは、内視鏡カメラ自体が光源を備える。そのため、ホワイトバランスは、内視鏡の光源で実施する必要がある。

【0089】

本実施形態の、ホワイトバランス補正値を補正する方法では、ホワイトバランス確認治具１５０を用いる。ホワイトバランス確認治具１５０を説明する。図７は、本実施形態のホワイトバランス確認治具１５０を示す図である。ホワイトバランス確認治具１５０の断面図１５８を、図７に併せて示す。

【0090】

図７に示すように、ホワイトバランス確認治具１５０は、円筒形の治具本体１５１を含む。治具本体１５１の形状は、直方体、または円錐などでもよい。

【0091】

治具本体１５１の一方の底面１５２には、内視鏡挿入口１５６が形成される。内視鏡挿入口１５６は、内視鏡カメラ１０２の先端を治具本体１５１の内部に挿入するための貫通穴である。内視鏡挿入口１５６は、遮光リングなどによって遮光されてもよい。

【0092】

治具本体１５１の内部における他方の底面１５４には、無彩色チャート１６０（無彩色の被写体）が配置される。無彩色チャート１６０は、所定の明るさのグレーが着色された部材である。

【0093】

ホワイトバランス確認治具１５０は、複数の部分に分離できる。図８は、ホワイトバランス確認治具１５０が分離された状態を示す図である。治具本体１５１は、先端チャート部１６８、筐体部１６６、および内視鏡挿入口部１６４に分離される。

【0094】

無彩色チャート１６０を含む先端チャート部１６８は、筐体部１６６から、キャップを取り外すように取り外しが可能である。そのため、治具本体１５１の内部の清掃が容易である。

【0095】

内視鏡挿入口１５６を含む内視鏡挿入口部１６４も、筐体部１６６から取り外しが可能である。そのため、カメラ１０２（内視鏡カメラ）のメーカー、機種、先端径、および形状などに応じて、異なる内視鏡挿入口１５６が形成された内視鏡挿入口部１６４に付け替えることができる。

【0096】

各部の外装部は、オートクレープ耐性と遮光性とを考慮し、アルミなど金属材料、ＣＦＲＰ（炭素繊維強化プラスチック）、および遮光加工したポリプロピレンなどで形成できる。無彩色チャート１６０は、ポリプロピレンシートをグレーに内部着色することで形成できる。

【0097】

本実施形態のホワイトバランス補正値を補正する方法は、カメラ１０２（内視鏡カメラ）の先端に装着し、完全に遮光可能であり、かつ、画角中央部の一定以上の面積が無彩色（グレー）で構成されるホワイトバランス確認治具１５０を用いる。カメラ１０２の先端を、内視鏡挿入口１５６を介して、治具本体１５１の内部に挿入する。無彩色チャート１６０を用いてホワイトバランスを確認する。具体的には、ホワイトバランス誤差を測定し、その誤差で画質変換器２０のホワイトバランス補正値を補正する。画質変換器２０には、ホワイトバランス誤差を生成するホワイトバランス誤差生成手段が含まれてもよい。

【0098】

ホワイトバランスの確認は、ユーザーからの指示、または、画像からホワイトバランス確認治具１５０が装着されていることをカメラ１０２が自動で判断することによって、開始される。

【0099】

（低彩度画素、低彩度領域）
他の実施形態として、ホワイトバランス確認治具１５０を用いない方法がある。この方法では、術野の映像のおける、彩度が低い有彩色の被写体のＲ／Ｇ、Ｂ／Ｇの信号比率によって、ホワイトバランス誤差を推定する。推定された誤差に基づいて、画質変換器２０のホワイトバランス補正値を補正する。

【0100】

具体的には、出力画像１１０中の彩度が低い有彩色の画素である低彩度画素、または、出力画像１１０中の彩度が低い有彩色の領域である低彩度領域を判断する。この判断をする低彩度判断手段が、画質変換器２０に備えられてもよい。

【0101】

つぎに、低彩度画素のホワイトバランスゲイン、または、低彩度領域のホワイトバランスゲインを生成する。このホワイトバランスゲインを生成するホワイトバランスゲイン生成手段が、画質変換器２０に備えられてもよい。

【0102】

そして、色温度に応じて、低彩度画素のホワイトバランス誤差、または、領域のホワイトバランス誤差を生成する。このホワイトバランス誤差を生成するホワイトバランス誤差生成手段が、画質変換器２０に備えられてもよい。

【0103】

画質変換器２０は、生成したホワイトバランス誤差でホワイトバランス補正値を補正する。

【0104】

以上のように、術野の特定の部分を検出するのではなく、画像を色空間、または、相当する色域に変換して、その空間上の彩度が低い領域に着目してホワイトバランスを行う。術野の映像を用いて、色補正処理の補正を行うこともできる。

【0105】

（肌色確認チャート）
他の実施形態として、無彩色チャート１６０にかわって、肌色確認チャート１６２が備えられたホワイトバランス確認治具１５０を用いてホワイトバランス補正値を補正する方法がある。図８に示した実施形態と相違する部分を説明する。図９は、他の実施形態のホワイトバランス確認治具１５０を示す図である。図９に示すように、治具本体１５１の内側における底面１５４には、肌色確認チャート１６２が配置されている。肌色確認チャート１６２は、多諧調の異なる明度、色相角、彩度の肌色が配置されたチャートである。

【0106】

肌色確認チャート１６２が備えられたホワイトバランス確認治具１５０（肌色再現確認治具）を用いる場合、肌色確認チャート１６２を用いて肌色再現の誤差を測定する。肌色再現誤差を測定する肌色再現誤差生成手段が、画質変換器２０に備えられてもよい。測定された誤差によって、画質変換器２０のホワイトバランス補正値の補正、および色変換処理を補正する。

【0107】

上述した各実施形態において、得られた情報に基づいてホワイトバランスの設定ズレ、および経年変化によるズレなどを術者に通知してもよい。これによって、内視鏡カメラが適切な状態で使用されることをサポートできる。

【0108】

（露出補正）
露出補正Ｅ－２を説明する。露出補正の変換式においては、基本的には、変換元と変換先のそれぞれのカメラの露出収束レベルの比率で、変換元と変換先のカメラとの組み合わせで固定となる露出補正比率を使用する。露出収束レベルは、線形領域の信号が目標となる明るさのレベルである。

【0109】

しかし、例えば、自動露出、または自動明るさ調整を搭載したカメラの場合、画像の明るさは被写体の条件によってカメラ毎に異なる結果となる。例えば、明暗の大きなシーンでは、主要被写体の大きさや明暗の差の大きさなどによって、カメラ毎により異なる明るさとなる。

【0110】

そのため、変換元のカメラの出力画像を画質変換する際に、線形信号に変換した画像に対して、変換元と変化先のカメラに応じた固定の露出補正比率だけで露出補正を行うと、変換先のカメラのガンマ特性と被写体条件とによって、明るすぎたり、暗すぎたりして、推論モデルが学習した手術画像の画質に近似した画質に変換できなくなる。

【0111】

露出補正の例を、図１０を参照して説明する。図１０は、従来の露出補正の例を示す図である。図１０は、画質変換後に、画像が明るすぎる結果になる例を示す。画像２００は、変換前の画像を示す。画像２０２は、変換後の画像を示す。画像２００は、画像内の明暗差が大きい。画像２００では、暗部２０４が持ち上げられ、明部２０６がぎりぎり再現できている例である。まず、この画像２００の画像信号を線形信号に変換する。変換は、変換元のガンマの逆ガンマとなる処理を施すことによって行われる。得られた線形信号に、露出補正Ｅ－２を行う。露出補正比率は、変換先の露出収束レベル／変換元の露出収束レベルである。露出補正比率は、後に説明する。露出補正Ｅ－２の後、変換先のガンマ処理を施すことによって、変換後の画像２０２を得る。

【0112】

図１０に示す例では、変換先のガンマの持ち上げが大きいので、露出補正で信号レベルを下げている。しかし、露出補正で、露出レベルを下げたとしても、変換元の画像の明暗差が大きく、明部２０６が明るくなっているために、固定の露出補正比率では、明部２０６の諧調再現ができていない。内視鏡手術においては、見たいところにライトをあてるため、暗い側よりも明るい側がより問題となる。

【0113】

本実施形態の露出補正を説明する前に、図１１を参照して、固定露出補正比率の求め方を説明する。図１１は、固定露出補正比率の求め方を示す図である。図１１に示す例では、変換元のカメラと変換先のカメラとで、出力画像の明るさを同じにしている。出力画像の明るさは、２５６諧調中の１４０諧調である。

【0114】

まず、反射率１８％のグレーチャート２１０を、変換元のカメラと、変換先のカメラとで撮影する。変換元のカメラと、変換先のカメラとでは、露出収束レベルが異なる。変換元のカメラによる画像２１２は、露出収束レベルが明るい。一方、変換先のカメラによる画像２１６は、露出収束レベルが暗い。そこで、露出補正比率を、変換先の露出収束レベル／変換元の露出収束レベルとし、露出補正をする。その後、各々のガンマ処理を施す。これによって、センサー出力の際の線形信号が非線形信号になる。このような露出補正によって、カメラからの出力画像２１４、２１８は、同じ明るさになる。

【0115】

本実施形態の露出補正を説明する。図１２は、露出補正の例を示す図である。以下の説明では、図１０について説明した事項と異なる点を説明する。

【0116】

画質変換器２０の露出補正の変換式について、変換先のガンマで変換後の信号が適正なレベルとなる最大と最小の信号レベルを予め算出しておく。適切なレベルとは、明部が明るすぎて再現できないこと、及び暗部が暗すぎて再現できないこと、のないレベルを言う。適切なレベルにおける最小の信号レベル以上最大の信号レベル以下の範囲を、所定のレベル範囲という。この所定のレベル範囲は、最適なレベル範囲ともいえる。変換元の画像において、この最大の信号レベルより大きな（または、以上となる）信号が所定の許容率を上回る場合、または、最小の信号レベルより小さな（または、以下となる）信号が所定の許容率を上回る場合に、画質変換器２０内の露出補正比率を補正する。

【0117】

具体的には、図１２にフローを示すように、第１の事前設定２２０で、変換後の信号が適正となる入力レベルの最大値および最小値を、予め定めておく（入力レベル算出手段）。また、第２の事前設定２２２で、最大値以上／最小値以下の画素の許容率を予め定めておく（許容値設定手段）。変換前の画像２００の信号のＨｉｓｔｏｇｒａｍ２２４において、第１の事前設定２２０で定めた最大値以上または最小値以下となる画素の度数を求める（画素割合算出手段）。図１２に示す例では、最大値以上となる画素の度数を求める場合を示している。囲み２２６は、変換後に明るすぎる画素の度数を示す。

【0118】

そして、判断ステップ２２８において、囲み２２６に示す、変換後に明るすぎる画素の度数が、第２の事前設定２２２で定めた許容率を上回るか否かが判断される（比較手段）。そして、判断がＹｅｓの場合には、補正比率を下げる。すなわち、ゲインを下げる。

【0119】

第１の事前設定２２０で定めた最小値についても同様である。変換後に暗すぎる画素の度数が、第２の事前設定２２２で定めた許容率を上回る場合、補正比率を上げる。すなわち、ゲインを上げる。

【0120】

なお、内視鏡カメラは、見たいところ、すなわち手術するところに光を当てる。そのため、暗い側よりも、より明るい側の白飛びや色ずれの抑制が求められる。画質変換器２０に、ＡＥ（自動露出）を実装する場合、ＡＥの実装は非常に労力を要すると共に、明暗差がない条件では、カメラ側のＡＥで必要十分となり、画質変換器２０にＡＥを搭載することは、オーバースペックといえる。

【0121】

上述のように、カメラのＡＥに応じた固定比率で露出補正を行い、変換先カメラのガンマによって、明るくなりすぎる場合に、固定比率を補正することで少ないコストと資源で、最適な露出を得ることができる。

【0122】

（変換式の選択）
画質変換における変換式、すなわち画質変換式の選択を説明する。画質変換式は、使用するカメラにより異なる。そのため、変換先相当の画質（空間周波数、輝度、色調等）に変換する一連の変換式を格納したデータベースから、ユーザーによって変換式が設定される、またはユーザーによって選択された推論モデルによって、自動的に変換式が設定される。ユーザーが変換式の設定を誤ると、適切な変換式が選択されない。そのため、推論モデルが学習した手術画像の画質に近似した画質に変換できなくなる。

【0123】

本実施形態の画質変換式の選択では、カメラから出力された画像の特徴（色分布、ヒストグラム、空間周波数等）を分析し、その特徴を、変換式を格納したデータベースなどに予め格納しておく。そして、画質変換式を選択する際に、カメラから出力された画像の特徴が、予め格納したどのカメラと一致するかを判断して、データベースに登録された変換式の選択を自動で行う。もしくは、この手段で選択された変換式と、ユーザーが設定、または、ユーザーが選択した推論モデルより自動的に設定された変換式とが異なる場合は、警告メッセージを表示してユーザーの設定が適切かどうかの確認を促す。画質の特徴は、カメラ毎だけでなく、カメラ毎のメニュー設定毎に登録することもできる。

【0124】

図面を参照して説明する。図１３は、従来の画質変換式の選択を示す図である。図１４は、本実施形態の画質変換式の選択を示す図である。図１３および図１４において、画像２３０は、変換元の画像を示し、画像２３２は、変換先の画像を示す。

【0125】

図１３に示すように、従来、画質変換器２０に適用される変換式は、画質変換式ＤＢ２３４に格納されている変換式の中から、ユーザーが選択、または、推論モデルより自動選択される。図１３に示す例では、変換元のカメラはカメラＡであり、変換先のカメラはカメラＢであり、変換式はＡ－Ｂ－１が選択される。ここで、Ａ－Ｂ－１という変換式の選択は、正しくない場合も考えられる。

【0126】

これに対して、本実施形態の画質変換式の選択では、図１４に示すように、予め画質変換式ＤＢ２３４に格納されている画質特徴情報を参照して、変換式が自動的に選択される。画質特徴情報の例は、Ｈｉｓｔｏｇｒａｍ、およびＣｏｌｏｒ ｓｐａｃｅ ｍａｐｐｉｎｇである。画質変換式の選択が行われる際、画質変換器２０からの情報などに基づいて、画質の特徴が生成される（分析手段）。画質の特徴の例は、画質特徴情報と同じであることが好ましい。画質の特徴の例は、Ｈｉｓｔｏｇｒａｍ、およびＣｏｌｏｒ ｓｐａｃｅ ｍａｐｐｉｎｇである。画質変換器２０から取得した画質の特徴に基づいて、画質変換式ＤＢに格納されている画質特徴情報を参照し（判断手段）、変換式が自動選択される。これによって、より誤りの少ない変換式の選択が可能になる。

【0127】

画質変換式の選択についてより詳しく説明する。カメラの画質は、使用するイメージセンサー、信号処理ＬＳＩ、イメージセンサーおよび信号処理ＬＳＩの設定、自動露出の露出収束レベル、ならびにホワイトバランスなどで異なり、各社各様の仕上がりとなる。また、同じ内視鏡システムでも、メニュー設定によって異なる画質が生成される。

【0128】

一方、画質自体は、画像の分析により、色再現、明るさ、コントラスト、諧調再現、解像度、エッジ強度、およびノイズなどの指標で評価することができ、それぞれ画質で異なる評価値を得ることができる。

【0129】

そこで、例えば、色再現については、画像をＬ＊ａ＊ｂ＊などの色空間にプロットし、その中心位置や分布傾向等を数値化することで、カメラの種類とメニュー設定の候補を推定することが可能となる。外科手術の場合、手術領域と術式で、術野に入る臓器は決まってくるため、手術対象に応じて、判断指標を変えても良い。
また、対象症例の患者の状態（脂肪が多いなど）や術中の状況（出血が多いなど）などによっても術野の色空間の状態などは変化するため、それらに応じて判断指標や画質変換の方法を変えても良い。

【0130】

加えて、例えば、画像のヒストグラムから得られるコントラストや諧調再現の特徴の数値から、カメラとメニュー設定の候補を推定し、色再現による推定結果と併せて判断することで、より高い精度で、カメラの種類とメニュー設定を判断することができる。

【0131】

なお手術中は、レンズのクリーニングのためにカメラを体内から外したりすることがある。そのため、本来の術野と異なる画像が出力されることがある。そこで、画像が、術野固有の色条件（臓器、血管など）と合致しているときのみ画質の特徴を判断するようにしてもよい。加えて、判断結果に例えばローパスフィルターをかけるなどして、時間軸で判断結果を安定させてもよい。

【0132】

本開示の技術的範囲は、上記実施形態に限定されない。上記実施形態は、多様に変更されてもよく、また多様に改良されてもよい。また、変更または改良された形態は、本開示の技術的範囲に含まれる。

【0133】

例えば、画質変換器２０は、出力画像１１０を線形信号に変換する前の非線形信号に対して、色変換、輝度変換、ノイズリダクション、およびエッジ強調のうちの少なくとも１つを含む画質変換を行う手段を有してもよい。これによって、変換元のカメラの構成に合わせて、非線形信号での画質変換が可能になる。

【0134】

また、カメラの構成などに合わせて、非線形信号から線形信号への変換、および線形信号から非線形信号への変換を、適宜省くことができる。これによって、変換精度または推論精度が向上する場合がある。

【0135】

上記実施形態では、各処理を、出力画像１１０の画質を、推論モデルが学習した手術画像の画質に近似した画質に変換する場面を例にして説明した。各処理は、推論モデルが学習する学習画像の生成に用いられてもよい。

【0136】

学習画像の生成に画質変換を用いる場合の処理の流れは、例えば下のようになる。以下は、静止画を例にするが、画像は動画であってもよい。
「手術静止画の取得－＞取得した手術静止画の画質変換－＞画質変換後の手術静止画にアノテーション（例えば、正解データ）を付与－＞このデータを教師データとして、機械学習によって推論モデルを作成」
アノテーションの例としては、手術のレベルの評価に関すること、身体に関すること、手術器具に関することなど、種々の項目が挙げられる。

【0137】

学習の際、画質変換において、画質変換元および画質変換先のうちの少なくとも一方が異なる画像もしくは動画をミックスして学習してもよい。

【0138】

上述の処理を実現するためには、例えば、図１Ｂに示すように、画質変換器２０が、手術支援システム１００とは別個に設けられてもよい。また、画質変換器２０に指示部３１が備えられてもよい。そして、画質変換器２０は、学習部３２に接続される。

【0139】

上記実施形態では、手術画像処理装置を、物として説明した。手術画像処理装置は、手術画像処理装置を各部として手段させるプログラムであってもよい。

【0140】

（他の内視鏡の画質への変換）
図４などを参照して説明した画質変換器２０における画質の変換について具体的に説明する。まず、従来技術について説明する。図１５は、従来の画質変換の例を示す図である。図１５は、内視鏡Ａの種々の画質の画像を内視鏡Ｂの種々の画質の画像に変換する例を示している。

【0141】

同じ内視鏡で撮影した画像であっても、画像の画質が異なる場合がある。図１５に示す例では、内視鏡Ａは、画質Ａ－１、画質Ａ－２および画質Ａ－３の３種類の画質を有する。画質Ａ－１、画質Ａ－２および画質Ａ－３は、ホワイトバランスやユーザーによる画質設定が異なる。画質Ａ－１、画質Ａ－２および画質Ａ－３の中で、画質Ａ－１をデフォルト（ｄｅｆａｕｌｔ）の画質とする。

【0142】

内視鏡Ｂについても同様である。内視鏡Ｂは、画質Ｂ－１および画質Ｂ－２を有する。画質Ｂ－１と画質Ｂ－２とは、ホワイトバランスが異なる。画質Ｂ－１をデフォルト（ｄｅｆａｕｌｔ）の画質とする。

【0143】

内視鏡Ａから内視鏡Ｂに画質を変換する場合、図１５に示すように、画質変換のルートには、ルート１（Ｒ１）からルート６（Ｒ６）の６種類のルートが考えられる。ルート１（Ｒ１）は画質Ａ－１から画質Ｂ－１に変換するルートであり、ルート２（Ｒ２）は画質Ａ－１から画質Ｂ－２に変換するルートであり、ルート３（Ｒ３）は画質Ａ－２から画質Ｂ－１に変換するルートであり、ルート４（Ｒ４）は画質Ａ２から画質Ｂ－２に変換するルートであり、ルート５（Ｒ５）は画質Ａ－３から画質Ｂ－１に変換するルートであり、ルート６（Ｒ６）は画質Ａ－３から画質Ｂ－２に変換するルートである。

【0144】

図１６は、画質Ａ－３から画質Ｂ－２への従来の変換のステップを示す図である。図１６に示す変換は、図１５のルート６（Ｒ６）の変換に対応する。

【0145】

図１６に示すように、ルート６（Ｒ６）は、逆ガンマＨ－１、ホワイトバランス調整Ｈ－２、色変換Ｈ－３およびガンマＨ－４の、４つのステップを含む。各ステップの処理内容は、図４などを参照して説明した内容と同様である。画質Ａ－３から画質Ｂ－２へ画質を変換する場合、まず逆ガンマＨ－１のステップにおいて、画像をＮｏｎ－ｌｉｎｅａｒからＬｉｎｅａｒに変換する。つぎに、ホワイトバランス調整Ｈ－２および色変換Ｈ－３を行う。さらに、ガンマＨ－４のステップにおいて、画像をＬｉｎｅａｒからＮｏｎ－ｌｉｎｅａｒに変換する。これによって、画質Ａ－３は画質Ｂ－２に変換される。

【0146】

ルート６（Ｒ６）に含まれる逆ガンマＨ－１、ホワイトバランス調整Ｈ－２、色変換Ｈ－３およびガンマＨ－４の４つのステップのうち、逆ガンマＨ－１は画質Ａ共通、ホワイトバランス調整Ｈ－２および色変換Ｈ－３は画質Ａ－１から画質Ｂ－２への変換専用、ガンマＨ－４は画質Ｂ共通である。画質Ａ共通とは、内視鏡Ａにおける画質Ａ－１、画質Ａ－２、画質Ａ－３などの種々の画質について共通に用いることができる、という意味である。同様に画質Ｂ共通とは、内視鏡Ｂにおける画質Ｂ－１、画質Ｂ－２などの種々の画質について共通に用いることができる、という意味である。

【0147】

これに対して、ホワイトバランス調整Ｈ－２および色変換Ｈ－３は、個別の変換の専用となる。色変換はホワイトバランスに依存するため、ホワイトバランス毎に異なる処理が必要となるからである。

【0148】

ホワイトバランス調整Ｈ－２および色変換Ｈ－３のように、各変換ルートには変換の組み合わせ毎に異なる変換をするステップが含まれる。そのため、画質を変換するための変換式は、ルート毎に必要である。図１５に示す例では、ルート１（Ｒ１）からルート６（Ｒ６）の６種類のルートにそれぞれ対応した６個の変換式が必要となる。

【0149】

このように、画質変換器で多くの内視鏡や内視鏡システムに対応する場合、各内視鏡から各内視鏡に対して個別に変換式を作成していくと、変換式の数が膨大となる。

【0150】

図１７および図１８を参照して、本実施形態の画質変換器２０について説明する。図１７は、本実施形態の画質変換の例を示す図である。以下の説明では、図１５および図１６を参照して説明した従来の画質変換器と相違する事項を中心に説明する。以下の説明において特に説明しない事項は、従来の画質変換器と同様にすることができる。

【0151】

図１７に示すように、本実施形態の画質変換器２０では、画質変換は、内視鏡Ａおよび内視鏡Ｂのそれぞれのデフォルトの画質を介して行われる。変換元の内視鏡におけるデフォルト以外の画質は、まずデフォルトの画質に変換される。そして、変換元の内視鏡におけるデフォルトの画質は、変換先の内視鏡におけるデフォルトの画質に変換される。その後、必要に応じて、変換先の内視鏡におけるデフォルト以外の画質に変換される。

【0152】

図１７に示す例では、画質Ａ－２はルート１１（Ｒ１１）で画質Ａ－１に変換され、画質Ａ－３はルート１２（Ｒ１２）で画質Ａ－１に変換される。画質Ａ－１はルート１（Ｒ１）で画質Ｂ－１に変換される。

【0153】

画質Ｂ－２に変換する必要がある場合には、画質Ｂ－１をルート２１（Ｒ２１）で画質Ｂ－２に変換する。

【0154】

本実施形態の画質変換器２０では、変換元の各画質から変換先の各画質に直接変換するのではなく、内視鏡Ａおよび内視鏡Ｂのそれぞれのデフォルトの画質を介して行われる。そのため準備すべき変換式の種類を少なくすることができる。

【0155】

図１５に示す従来の例では、変換のルートは６種類存在し、それに伴い６種類の変換式を準備する必要がある。これに対して図１７に示す本実施形態の例では、変換のルートは４種類のみ存在し、準備すべき変換式の種類は４種類となる。また、後に説明するようにルート１１（Ｒ１１）とルート１２（Ｒ１２）とでは、変換式を共通とすることができる。そのため、本実施形態の例では、準備すべき変換式の種類は３種類とすることができる。

【0156】

また、異なる内視鏡間での画質の変換は、同一の内視鏡内での画質の変換に比べて変換処理の負担が大きい。本実施形態の画質変換器２０では、異なる内視鏡間での画質の変換をルート１（Ｒ１）での変換のみとすることができる。そのため、変換式を準備する負担をより軽減することができる。

【0157】

図１８を参照して、本実施形態の画質変換器２０における画質変換の例を説明する。図１８は、本実施形態の画質Ａ－３から画質Ｂ－２への変換のステップを示す図である。図１８に示す変換は、図１７のルート１２（Ｒ１２）、ルート１（Ｒ１）およびルート２１（Ｒ２１）の変換に対応する。

【0158】

図１８に示すように、ルート１２（Ｒ１２）は、逆ガンマＨ－２１およびホワイトバランス調整Ｈ－２２の２つのステップを含む。ルート１（Ｒ１）は、色変換Ｈ－２３を含む。ルート２１（Ｒ２１）は、ホワイトバランス調整Ｈ－２４およびガンマＨ－２５の２つのステップを含む。

【0159】

画質Ａ－３は、ルート１２（Ｒ１２）に含まれるステップを経て画質Ａ－１に変換される。画質Ａ－１は、ルート１（Ｒ１）に含まれる色変換Ｈ－２３を経て画質Ｂ－１に変換される。画質Ｂ－１は、ルート２１（Ｒ２１）に含まれるステップを経て画質Ｂ－２に変換される。

【0160】

画質Ａ－３から画質Ｂ－２への変換に含まれる３つのルート、ルート１２（Ｒ１２）、ルート１（Ｒ１）およびルート２１（Ｒ２１）のうち、ルート１２（Ｒ１２）は画質Ａ共通、ルート１（Ｒ１）は画質Ａ－１から画質Ｂ－２への変換専用、ルート２１（Ｒ２１）は画質Ｂ共通である。

【0161】

ルート１２（Ｒ１２）が画質Ａ共通であり、ルート２１（Ｒ２１）が画質Ｂ共通であることが示すように、同一の内視鏡内での変換は、変換元の画質および変換先の画質にかかわらず、同一の変換式とすることができる。内視鏡Ａの例では、ルート１１（Ｒ１１）の変換式およびルート１２（Ｒ１２）の変換式は、同一とすることができる。これは、色変換以外の変換処理は、変換元の画質および変換先の画質に対する依存性がないためである。

【0162】

本実施形態の画質変換器２０では、変換元の内視鏡における内視鏡内での変換式と、変換元の内視鏡におけるデフォルトの画質から、変換先の内視鏡におけるデフォルトの画質への変換式と、変換先の内視鏡における内視鏡内での変換式と、を準備することで、変換元の内視鏡の画質から変換先の内視鏡の画質への変換を行うことができる。

【0163】

（まとめ）
画質変換器２０の変換処理のうち色変換は、変換元の画質および変換先の画質に応じた変換が必要である。そのため、内視鏡とその画質の組み合わせで異なる変換が必要となる。例えばホワイトバランスが異なると、異なった色変換が必要となる。つまり、変換元の内視鏡と変換先の内視鏡との組み合わせごとに変換式を準備する必要がある。

【0164】

一方、ホワイトバランスを含めた色変換以外の変換処理においては、変換式は、変換元の内視鏡と変換先の内視鏡とに依存性を有さない。そのため、変換元と変換先のぞれぞれで独立した変換が可能である。

【0165】

そこで、変換元の内視鏡では、いずれの画質の場合も、まず、変換元内視鏡のデフォルト設定の画質に変換する。その後、変換先の内視鏡のデフォルト設定の画質に変換、特には色変換する。そして、変換先の内視鏡におけるデフォルト設定の画質から変換したい画質に変換を行う。

【0166】

これにより、本実施形態の画質変換器２０では、内視鏡間の変換式は一つで済ませることができる。

【0167】

一方、ホワイトバランスの変換は、変換元の内視鏡および変換先の内視鏡の両方に存在することになる。ただし、色変換以外の変換処理は、色変換における変換処理に比べて簡単である。

【0168】

また、色変換以外の変換処理は、それぞれの内視鏡内での共通処理であり、画質依存性がない。そのため、変換式の数が膨大化することを抑制できる。

【0169】

（内視鏡が３つ以上ある場合）
図１９を参照して、内視鏡が３つ以上ある場合の従来の画質変換について説明する。図１９は、内視鏡が３つある場合の従来の画質変換の例を示す図である。変換元の内視鏡の画質を変換先の内視鏡の画質に変換する場合、対応すべき内視鏡が増えると、それまで対応している内視鏡側で新しい変換式を作成する必要がある。これは、従来のように画質毎に個別に変換を行う場合も、変換元の内視鏡および変換先の内視鏡のそれぞれのデフォルトの画質を介して変換する場合も、同じである。

【0170】

図１９は、図１５などに示した内視鏡Ａと内視鏡Ｂとの間の変換に内視鏡Ｃが増えた場合の変換例を示している。図１９に示すように、内視鏡Ｃが増えることで、内視鏡Ａから内視鏡Ｃへのルート３１（Ｒ３１）、および内視鏡Ｂから内視鏡Ｃへのルート３２（Ｒ３２）のそれぞれのルートに対応した変換式を新たに準備する必要がある。このように、内視鏡の機種が増えれば増えるほど、変換の組合せが増大し、それに伴い変換式を新たに準備する対応工数が膨大となる。

【0171】

（内視鏡が３つ以上ある場合）
図２０を参照して、内視鏡が３つ以上ある場合の本実施形態の画質変換について説明する。図１９は、内視鏡が３つある場合の本実施形態の画質変換の例を示す図である。図１９を参照して説明したように、変換元から変換先への直接変換を前提とした画質変換を行うと、機種が増える毎に全ての内視鏡に対する変換式の追加が必要となる。

【0172】

本実施形態の画質変換器２０においては、変換元の内視鏡から、一旦、中間画質または標準画質に変換を行う。そして、中間画質または標準画質から、変換先の画質に変換を行う。これにより、それぞれの内視鏡の変換式は、内視鏡の画質と中間画質、または内視鏡の画質と標準画質のみに対応すればよい。その結果、内視鏡を追加した場合であっても、追加した内視鏡と中間画質の変換式、または追加した内視鏡と標準画質の変換式のみの追加で済む。

【0173】

図２０に示す例において、内視鏡Ａおよび内視鏡Ｂに内視鏡Ｃが追加されたものとする。ルート４１（Ｒ４１）およびルート４２（Ｒ４２）にそれぞれ対応する変換式は、内視鏡Ｃが追加される前から準備されている。図２０に示す例では、内視鏡Ｃが追加された場合、ルート４３（Ｒ４３）に対応する変換式を新たに準備するのみの対応でよい。つまり、内視鏡Ａ側および内視鏡Ｂ側での対応は不要にできる。

【0174】

（中間画質と標準画質）
中間画質および標準画質について説明する。
中間画質とは、代表的ないずれかの内視鏡の画質、または、代表的な複数の内視鏡の平均や中央値、または内視鏡毎に任意に設定した比率に応じて生成した画質のことをいう。例えば、代表的な複数の内視鏡の平均値を中間画質とすることで、中間画質から各内視鏡への補正量を少なくすることが可能である。

【0175】

標準画質とは、内視鏡のイメージセンサーのＲａｗデータでの画質、または、それに近い画質を標準画質と定義する。例えば、４ＫのＲＢＧセンサー、または、４ＫのＲＧＢＷセンサー（可視、赤外同時露光可能センサー）の出力から得られた画質を標準画質とする。Ｒａｗデータには、不要な信号処理がかかっていない。そのため、Ｒａｗデータでは、線形性能が保証されている。その結果、内視鏡の機種間の画質変換が容易となる。

【0176】

なお、中間画質も、標準画質と同様の趣旨で線形信号に復元されている。ただし、その復元は完全ではない場合がある。そのため、中間画質には一定の変換誤差がのってくる可能性がある。その結果、中間画質を用いる場合には、変換結果をみながら調整が必要な場合がある。

【0177】

（画像の表示）
画質変換器を持った手術画像処理装置において表示する画像は、変換元の画質の画像か、または、変換先の画質に変換した後の画像である。これらのいずれの場合においても、内視鏡を変更したときには、機種の違いに配慮した観察が必要となる。内視鏡によって、色調やコントラストの傾向が異なるためである。

【0178】

また、ＡＩ解析結果を表示する際、表示する色は、内視鏡の機種や、ホワイトバランスや色調調整などの設定によっては、視認しづらい色となることがある。色を選択する方法が提供されることはあるが、その場合も、内視鏡毎に異なる色を選択すると、表示されている色が、いずれの構造物を指すのか分からなくなる場合がある。

【0179】

画質変換器が画質を内視鏡のデフォルトの画質に変換する機能を有する場合には、指定した内視鏡のデフォルトの画質への変換を行い、その変換後の画像から生成した画像を表示させる。これにより、常に、使い慣れが画質の画像での観察が可能となる。また、ＡＩ解析結果の表示色も、常に同じ色で分かりやすい色を選択することができる。設定された中間画質や標準画質に応じて、ＡＩ解析結果の表示色を自動で設定することもできる。見えやすい表示色に設定する仕様でも良いし、見えにくい表示色を選択できない仕様でも良い。

【0180】

画質変換器が画質を中間画質に変換する機能を有する場合は、中間画質の画像から生成した画像を表示させる。一般的に、中間画質は、いろいろな機種への変換を想定すると、強調が少ないニュートラルな画質が基本となる。そのため、あらゆるシーンで安定した観察が可能となる。また、中間画質を表示する際に、使用者の好みに合わせて、補正した画像を表示しても良い。これにより、ＡＩ解析結果の表示色も常に同じ色が選択できて、分かりやい表示が可能となる。なお、上述の内容は、中間画質のかわりに標準画質を用いる場合でも同様にあてはまる。

【0181】

画質変換器における処理が見えるように、例えばモニターに、中間画質の映像を表示してもよい。例えば中間画質を、好みの、または、見慣れた画質に変換した映像として表示する。推論描画色は、内視鏡の画質によって見づらくなることがある。そこで、中間画質の映像を表示することで、内視鏡によらず、選択した推論描画色を見やすくすることができる。

【符号の説明】

【0182】

１ 手術画像処理装置
１０ 前処理部
１２ 推論部
１４ 描画部
１６ 表示部
２０ 画質変換器
３１ 指示部
３２ 学習部
１００ 手術支援システム
１０２ カメラ（変換元）（内視鏡カメラ）
１０４ 表示装置
１１０ 出力画像
１１２ 変換画像
１２０ 内視鏡撮影画像
１２１ パッチ
１２２ 枠囲み
１２４ 諧調Ｃｈａｒｔ
１２５ パッチ
１２７ 交点
１３０ グラフ
１３１ ガンマカーブ
１５０ ホワイトバランス確認治具
１５１ 治具本体
１５２ 一方の底面
１５４ 他方の底面
１５６ 内視鏡挿入口
１５８ 断面
１６０ 無彩色チャート
１６２ 肌色確認チャート
１６４ 内視鏡挿入口部
１６６ 筐体部
１６８ 先端チャート部
２００ 変換前の画像
２０２ 変換後の画像
２０４ 暗部
２０６ 明部

【要約】

撮影された画像の画質を所望の画質に変換する手術画像処理装置１を提供する。手術画像処理装置１は、カメラ１０２が取得した手術画像の出力画像の画質を変換する画質変換器２０を含む前処理部１０と、画質変換後の画像を変換画像としたとき、変換画像を解析する推論モデルを含む推論部１２と、推論モデルによる解析結果が手術画像に反映された画像を描画する描画部１４と、を備え、画質変換器２０は、出力画像を線形信号に変換する逆ガンマ処理手段と、線形信号に対して、色変換、輝度変換、ノイズリダクション、およびエッジ強調のうちの少なくとも１つを含む画質変換を行う手段と、変換画像にガンマ処理をするガンマ処理手段と、を備える。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】