知財求人 - 知財ポータルサイト「IP Force」
特開2024-167305手術画像処理プラットフォーム及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167305
(43)【公開日】2024-12-03
(54)【発明の名称】手術画像処理プラットフォーム及びコンピュータプログラム
(51)【国際特許分類】
A61B 34/10 20160101AFI20241126BHJP
G06T 7/00 20170101ALI20241126BHJP
G16H 40/60 20180101ALI20241126BHJP
G16H 30/00 20180101ALI20241126BHJP
【ＦＩ】
A61B34/10
G06T7/00 612
G16H40/60
G16H30/00
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2024145877
(22)【出願日】2024-08-27
(62)【分割の表示】P 2023551148の分割
【原出願日】2023-04-11
(31)【優先権主張番号】P 2022065302
(32)【優先日】2022-04-11
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】520285640
【氏名又は名称】アナウト株式会社
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100145713
【弁理士】
【氏名又は名称】加藤 竜太
(72)【発明者】
【氏名】小林 直
(72)【発明者】
【氏名】熊頭 勇太
(72)【発明者】
【氏名】銭谷 成昊
(72)【発明者】
【氏名】阿武 栄二
(57)【要約】
【課題】手術画像の処理において、解析、描画、表示の各処理を実行するレイヤーに実装するモデルを、自由に設定することを可能とする。
【解決手段】手術画像処理プラットフォーム１は、外科医によって行われた手術を撮影した手術画像を処理し、手術画像を解析する推論モデルが設定される推論プラットフォーム１０と、推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算プラットフォーム２０と、描画画像を表示手段に所定の態様で表示する表示態様が設定される表示プラットフォーム３０と、を備え、推論モデル、描画態様及び表示態様が、それぞれ個別に設定される。
【選択図】図１
【解決手段】手術画像処理プラットフォーム１は、外科医によって行われた手術を撮影した手術画像を処理し、手術画像を解析する推論モデルが設定される推論プラットフォーム１０と、推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算プラットフォーム２０と、描画画像を表示手段に所定の態様で表示する表示態様が設定される表示プラットフォーム３０と、を備え、推論モデル、描画態様及び表示態様が、それぞれ個別に設定される。
【選択図】図１
【特許請求の範囲】
【請求項1】
外科医によって行われた手術を撮影した手術画像を処理する手術画像処理プラットフォームであって、
前記手術画像を解析する推論モデルが設定される推論手段と、
前記推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算手段と、
前記描画画像を表示手段に所定の態様で表示する表示態様が設定される表示設定手段と、を備え、
前記推論モデル、前記描画態様及び前記表示態様が、それぞれ個別に設定されることを特徴とする手術画像処理プラットフォーム。
前記手術画像を解析する推論モデルが設定される推論手段と、
前記推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算手段と、
前記描画画像を表示手段に所定の態様で表示する表示態様が設定される表示設定手段と、を備え、
前記推論モデル、前記描画態様及び前記表示態様が、それぞれ個別に設定されることを特徴とする手術画像処理プラットフォーム。
【請求項2】
前記推論手段には、複数の前記推論モデルを設定可能であり、
前記演算手段には、複数の前記描画態様を設定可能であり、
前記表示設定手段には、複数の前記表示態様を設定可能であることを特徴とする請求項１に記載の手術画像処理プラットフォーム。
前記演算手段には、複数の前記描画態様を設定可能であり、
前記表示設定手段には、複数の前記表示態様を設定可能であることを特徴とする請求項１に記載の手術画像処理プラットフォーム。
【請求項3】
前記推論手段、前記演算手段及び前記表示設定手段は、データが入力される入力ポートと、データを出力する出力ポートとが、それぞれ個別に設定されることを特徴とする請求項１に記載の手術画像処理プラットフォーム。
【請求項4】
前記推論手段、前記演算手段及び前記表示設定手段には、それぞれ、複数の前記入力ポートと複数の前記出力ポートを設定可能であることを特徴とする請求項３に記載の手術画像処理プラットフォーム。
【請求項5】
前記推論手段の前記入力ポートは、
外部装置と、前記表示設定手段の前記出力ポートと、接続可能であり、
前記外部装置から出力されたデータと、前記表示設定手段から出力されたデータと、が入力可能であり、
前記演算手段の前記入力ポートは、
前記推論手段及び／又は前記表示設定手段の前記出力ポートと、接続可能であり、
前記推論手段及び／又は前記表示設定手段から出力されたデータと、が入力可能であり、
前記表示設定手段の前記入力ポートは、
前記演算手段の前記出力ポートと、接続可能であり、
前記演算手段から出力されたデータが入力可能であることを特徴とする請求項３又は４に記載の手術画像処理プラットフォーム。
外部装置と、前記表示設定手段の前記出力ポートと、接続可能であり、
前記外部装置から出力されたデータと、前記表示設定手段から出力されたデータと、が入力可能であり、
前記演算手段の前記入力ポートは、
前記推論手段及び／又は前記表示設定手段の前記出力ポートと、接続可能であり、
前記推論手段及び／又は前記表示設定手段から出力されたデータと、が入力可能であり、
前記表示設定手段の前記入力ポートは、
前記演算手段の前記出力ポートと、接続可能であり、
前記演算手段から出力されたデータが入力可能であることを特徴とする請求項３又は４に記載の手術画像処理プラットフォーム。
【請求項6】
前記手術画像の画質を変換する前処理手段を、更に備え、
前記推論手段は、前記画質が変換された前記手術画像を解析する推論モデルが設定されることを特徴とする請求項１に記載の手術画像処理プラットフォーム。
前記推論手段は、前記画質が変換された前記手術画像を解析する推論モデルが設定されることを特徴とする請求項１に記載の手術画像処理プラットフォーム。
【請求項7】
前記前処理手段は、前記手術画像の前記画質を変換させる変換器を出力可能であることを特徴とする請求項６に記載の手術画像処理プラットフォーム。
【請求項8】
前記前処理手段は、前記手術画像の前記画質を、前記推論モデルが学習した画像の画質に応じた変換式により変換することを特徴とする請求項６又は７に記載の手術画像処理プラットフォーム。
【請求項9】
外科医によって行われた手術を撮影した手術画像を処理する手術画像処理プラットフォームを、
前記手術画像を解析する推論モデルが設定される推論手段、
前記推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算手段、
前記描画画像を表示手段に所定の態様で表示する表示態様が設定される表示設定手段、として機能させ、
前記推論モデル、前記描画態様及び前記表示態様が、それぞれ個別に設定されるプログラム。
前記手術画像を解析する推論モデルが設定される推論手段、
前記推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算手段、
前記描画画像を表示手段に所定の態様で表示する表示態様が設定される表示設定手段、として機能させ、
前記推論モデル、前記描画態様及び前記表示態様が、それぞれ個別に設定されるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外科医によって行われた手術を撮影した手術画像を処理する手術画像処理プラットフォーム及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、外科医によって行われた手術を撮影した手術画像を取得し、この手術画像を解析した解析結果を、手術画像に適用することで、手術を支援する技術が知られている。
【0003】
例えば、特許文献１には、第１手術画像とは異なる手術画像である第２手術画像と、手術による合併症リスクに関する情報とを含む学習データを用いて生成された学習済みモデルに対して、取得部により取得された第１手術画像を適用することにより、第１手術画像のリスク解析情報を生成する解析部と、解析部により生成されたリスク解析情報に基づく手術支援情報を、手術画像に重畳させて出力する出力部と、を有する手術支援システムが提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－２９２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、手術支援システムに使用される学習済みモデルは、ユーザ毎に蓄積された学習データを用いて生成される場合がある。また、学習済みモデルにより生成された手術支援情報は、ユーザ毎に、必要となる情報の内容等が異なる。また、手術支援情報を手術画像に重畳する表示態様も、ユーザ毎に、見やすさや、手術の支援となる表示態様が異なる。このため、手術支援システムを利用するユーザには、学習済みモデルや、手術支援情報の内容や、手術支援情報を手術画像に重畳する表示態様を、自由に選択し、組み合わせて使用したいとの要望がある。
【0006】
しかしながら、特許文献１の手術支援システムにおいて、学習済みモデルや、手術支援情報の内容や、手術支援情報を手術画像に重畳する表示態様は、手術支援システムの提供者により設定されたものであり、当該手術支援システムを使用するユーザが自由に選択できるものではない。
【0007】
本発明は、上記の点に鑑みてなされたものであり、手術画像の処理において、解析、描画、表示の各処理を実行するレイヤーに実装するモデルを、自由に設定することが可能な手術画像処理プラットフォーム及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
（１） 外科医によって行われた手術を撮影した手術画像を処理する手術画像処理プラットフォームであって、
前記手術画像を解析する推論モデルが設定される推論手段と、
前記推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算手段と、
前記描画画像を表示手段に所定の態様で表示する表示態様が設定される表示設定手段と、を備え、
前記推論モデル、前記描画態様及び表示態様が、それぞれ個別に設定されることを特徴とする手術画像処理プラットフォーム。
前記手術画像を解析する推論モデルが設定される推論手段と、
前記推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算手段と、
前記描画画像を表示手段に所定の態様で表示する表示態様が設定される表示設定手段と、を備え、
前記推論モデル、前記描画態様及び表示態様が、それぞれ個別に設定されることを特徴とする手術画像処理プラットフォーム。
【0009】
（１）の発明では、手術画像処理プラットフォームは、推論手段と、演算手段と、表示設定手段と、を備え、外科医によって行われた手術を撮影した手術画像を処理する。
推論手段は、手術画像を解析する推論モデルが設定される。
演算手段は、推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される。
表示設定手段は、描画画像を表示手段に所定の態様で表示する表示態様が設定される。
そして、手術画像処理プラットフォームは、推論モデル、描画態様及び表示態様が、それぞれ個別に設定される。
推論手段は、手術画像を解析する推論モデルが設定される。
演算手段は、推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される。
表示設定手段は、描画画像を表示手段に所定の態様で表示する表示態様が設定される。
そして、手術画像処理プラットフォームは、推論モデル、描画態様及び表示態様が、それぞれ個別に設定される。
【0010】
（１）の発明によれば、推論モデルを設定可能な推論手段と、描画態様を設定可能な演算手段と、表示態様を設定可能な表示設定手段と、を備える。そして、推論モデル、描画態様及び表示態様を、それぞれ個別に設定可能である。
【0011】
これにより、手術画像処理プラットフォームを利用するユーザは、例えば、独自の推論モデル、描画態様及び表示態様を、それぞれ個別に設定することで、手術画像を独自の態様で解析し、この解析結果に基づき独自の態様の描画画像を生成し、この描画画像を独自の態様で表示することが可能となる。
したがって、手術画像の処理において、解析、描画、表示の各処理を実行するレイヤーに実装するモデルを、自由に設定することが可能な手術画像処理プラットフォームを提供できる。
したがって、手術画像の処理において、解析、描画、表示の各処理を実行するレイヤーに実装するモデルを、自由に設定することが可能な手術画像処理プラットフォームを提供できる。
【0012】
（２） 前記推論手段には、複数の前記推論モデルを設定可能であり、
前記演算手段には、複数の前記描画態様を設定可能であり、
前記表示設定手段には、複数の前記表示態様を設定可能であることを特徴とする（１）に記載の手術画像処理プラットフォーム。
前記演算手段には、複数の前記描画態様を設定可能であり、
前記表示設定手段には、複数の前記表示態様を設定可能であることを特徴とする（１）に記載の手術画像処理プラットフォーム。
【0013】
（２）の発明によれば、推論手段において複数の推論モデルを設定可能であり、演算手段において複数の描画態様を設定可能であり、表示設定手段において複数の表示態様を設定可能である。これにより、手術画像の処理における各レイヤー（推論手段、演算手段、表示設定手段）において、それぞれ多様な機能（各モデルで実現される機能）を搭載することが可能となる。
【0014】
（３） 前記推論手段、前記演算手段及び前記表示設定手段は、データが入力される入力ポートと、データを出力する出力ポートとが、それぞれ個別に設定されることを特徴とする（１）又は（２）に記載の手術画像処理プラットフォーム。
【0015】
（３）の発明によれば、推論手段、演算手段及び表示設定手段において、データが入力される入力ポートと、データを出力する出力ポートを、それぞれ個別に設定可能とすることで、手術画像の処理における各レイヤー（推論手段、演算手段、表示設定手段）において、データの入力元と、データの出力先を、それぞれ個別に設定することが可能となる。これにより、各レイヤーの入力元と出力先の自由度が向上する。
【0016】
（４） 前記推論手段、前記演算手段及び前記表示設定手段には、それぞれ、複数の前記入力ポートと複数の前記出力ポートを設定可能であることを特徴とする（３）に記載の手術画像処理プラットフォーム。
【0017】
（４）の発明によれば、推論手段、演算手段及び表示設定手段には、それぞれ、複数の入力ポートと複数の出力ポートを設定可能である。これにより、手術画像の処理における各レイヤー（推論手段、演算手段、表示設定手段）において、それぞれ多様なデータを入力し、多様な方向（例えば、別の装置や、他のレイヤー）にデータを出力することが可能となる。
【0018】
（５） 前記推論手段の前記入力ポートは、
外部装置と、前記表示設定手段の前記出力ポートと、接続可能であり、
前記外部装置から出力されたデータと、前記表示設定手段から出力されたデータと、が入力可能であり、
前記演算手段の前記入力ポートは、
前記推論手段及び／又は前記表示設定手段の前記出力ポートと、接続可能であり、
前記推論手段及び／又は前記表示設定手段から出力されたデータと、が入力可能であり、
前記表示設定手段の前記入力ポートは、
前記演算手段の前記出力ポートと、接続可能であり、
前記演算手段から出力されたデータが入力可能であることを特徴とする（３）又は（４）に記載の手術画像処理プラットフォーム。
外部装置と、前記表示設定手段の前記出力ポートと、接続可能であり、
前記外部装置から出力されたデータと、前記表示設定手段から出力されたデータと、が入力可能であり、
前記演算手段の前記入力ポートは、
前記推論手段及び／又は前記表示設定手段の前記出力ポートと、接続可能であり、
前記推論手段及び／又は前記表示設定手段から出力されたデータと、が入力可能であり、
前記表示設定手段の前記入力ポートは、
前記演算手段の前記出力ポートと、接続可能であり、
前記演算手段から出力されたデータが入力可能であることを特徴とする（３）又は（４）に記載の手術画像処理プラットフォーム。
【0019】
（５）の発明によれば、推論手段には、外部装置からのデータに加え、表示設定手段からのデータを入力することが可能となる。また、演算手段には、推論手段からのデータに加え、表示設定手段からのデータを入力することが可能となる。このため、処理の下流に位置する手段（例えば、推論手段や推論手段に対する表示設定手段）から、処理の上流に位置する手段（例えば、表示設定手段に対する推論手段や演算手段）にデータをフィードバックすることが可能となる。これにより、例えば、外部装置から入力されたデータを繰り返し用いて、互いに異なる推論モデルや描画態様で処理することで、複数種類の結果を得ることが可能となる。
【0020】
（６） 前記手術画像の画質を変換する前処理手段を、更に備え、
前記推論手段は、前記画質が変換された前記手術画像を解析する推論モデルが設定されることを特徴とする（１）に記載の手術画像処理プラットフォーム。
前記推論手段は、前記画質が変換された前記手術画像を解析する推論モデルが設定されることを特徴とする（１）に記載の手術画像処理プラットフォーム。
【0021】
ここで、手術を撮影し手術画像を取得する外部装置（例えば、内視鏡システム／エンドスコープ等）には、様々な機種があり、機種によって取得された手術画像の画質が異なる。そして、手術画像の画質によっては、解析結果の精度が低下するおそれがある。
【0022】
（６）の発明によれば、前処理手段が、手術を撮影した手術画像の画質を変換し、推論手段が、画質が変換された手術画像を解析する。
【0023】
これにより、手術画像処理プラットフォームに入力された手術画像を、そのまま解析するのではなく、手術画像の画質を、例えば、推論手段の解析精度が向上する画質に変換し、画質が変換された手術画像を解析することで、解析結果の精度が低下するのを防止できる。
【0024】
（７） 前記前処理手段は、前記手術画像の前記画質を変換させる変換器を出力可能であることを特徴とする（６）に記載の手術画像処理プラットフォーム。
【0025】
（７）の発明によれば、前処理手段は、手術画像の画質を変換させる変換器を出力可能である。
【0026】
このような構成によれば、あるユーザにより使用されている手術画像処理プラットフォームの変換器を、例えば、手術画像処理プラットフォームの提供者や別のユーザに提供することが可能となる。
これにより、手術画像の画質を変換させた変換器の改良や流用等が可能となり、ユーザビリティが向上する。
これにより、手術画像の画質を変換させた変換器の改良や流用等が可能となり、ユーザビリティが向上する。
【0027】
（８） 前記前処理手段は、前記手術画像の前記画質を、前記推論モデルが学習した画像の画質に応じた変換式により変換することを特徴とする（６）又は（７）に記載の手術画像処理プラットフォーム。
【0028】
ここで、推論モデルが学習した手術画像を撮像した外部装置と、推論モデルによる解析対象となる手術画像を取得する外部装置と、が互いに異なると、これらの外部装置で撮像した手術画像の画質も、互いに異なる。このような場合、解析結果の精度が低下するおそれがある。
【0029】
（８）の発明によれば、前処理手段は、解析対象となる手術を撮影した手術画像の画質を、推論モデルが学習した画像の画質に応じた変換式により変換するので、解析結果の精度が低下するのを防止できる。
【0030】
（９） 外科医によって行われた手術を撮影した手術画像を処理する手術画像処理プラットフォームを、
前記手術画像を解析する推論モデルが設定される推論手段、
前記推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算手段、
前記描画画像を表示手段に所定の態様で表示する表示態様が設定される表示設定手段、として機能させ、
前記推論モデル、前記描画態様及び前記表示態様が、それぞれ個別に設定されるプログラム。
前記手術画像を解析する推論モデルが設定される推論手段、
前記推論モデルによる解析結果を手術画像に反映させた描画画像を生成する描画態様が設定される演算手段、
前記描画画像を表示手段に所定の態様で表示する表示態様が設定される表示設定手段、として機能させ、
前記推論モデル、前記描画態様及び前記表示態様が、それぞれ個別に設定されるプログラム。
【0031】
（９）の発明によれば、（１）の発明と同様の作用効果を奏する。
【発明の効果】
【0032】
本発明によれば、手術画像の処理において、解析、描画、表示の各処理を実行するレイヤーに実装するモデルを、自由に設定することが可能な手術画像処理プラットフォーム及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0033】
【図1】本発明の実施形態に係る手術画像処理プラットフォームが適用された手術支援システムの機能構成を示す図である。
【図2】本発明の実施形態に係る手術画像処理プラットフォームによる表示態様の一例である。
【図3】本発明の実施形態に係る手術画像処理プラットフォームの概要を説明する図である。
【図4】本発明の実施形態に係る手術画像処理プラットフォームにおけるデータの仕様を説明する図である。
【図5】本発明の実施形態に係る手術画像処理プラットフォームにおけるデータの流れを説明する図である。
【図6】本発明の実施形態に係る手術画像処理プラットフォームの推論プラットフォームにおける設定を説明する図である。
【図7】本発明の実施形態に係る手術画像処理プラットフォームの推論プラットフォームにおける設定を説明する図である。
【図8】本発明の実施形態に係る手術画像処理プラットフォームの演算プラットフォームにおける設定を説明する図である。
【図9】本発明の実施形態に係る手術画像処理プラットフォームの演算プラットフォームにおける設定を説明する図である。
【図10】本発明の実施形態に係る手術画像処理プラットフォームの表示プラットフォームにおける設定を説明する図である。
【図11】本発明の実施形態の応用例に係る手術画像処理プラットフォームにおけるデータの流れを説明する図である。
【図12】本発明の実施形態の応用例に係る手術画像処理プラットフォームの前処理プラットフォームにおける設定を説明する図である。
【図13】本発明の実施形態の応用例に係る手術画像処理プラットフォームの推論プラットフォームにおける設定を説明する図である。
【図14】本発明の実施形態の応用例に係る手術画像処理プラットフォームにおいて、推論プラットフォームが前処理プラットフォームに出力する推論モデル機器情報を説明する図である。
【図15】本発明の実施形態の応用例に係る手術画像処理プラットフォームにおいて、表示プラットフォームが前処理プラットフォームに出力する接続機器情報を説明する図である。
【発明を実施するための形態】
【0034】
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。
【0035】
（手術支援システム）
図１は、本発明の実施形態に係る手術画像処理プラットフォームが適用された手術支援システムの機能構成を示す図である。
本発明の実施形態に係る手術画像処理プラットフォーム１（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）は、医療機関（例えば、病院等の外科医によって手術を行う機関）での、外科医における手術の様子を撮像した画像である手術画像を処理して表示することで、外科医を支援する手術支援システムに適用される。
図１は、本発明の実施形態に係る手術画像処理プラットフォームが適用された手術支援システムの機能構成を示す図である。
本発明の実施形態に係る手術画像処理プラットフォーム１（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）は、医療機関（例えば、病院等の外科医によって手術を行う機関）での、外科医における手術の様子を撮像した画像である手術画像を処理して表示することで、外科医を支援する手術支援システムに適用される。
【0036】
具体的には、手術支援システム１００は、手術画像を取得する取得部（Camera Capture Module等）において、医療機関での、外科医における手術の様子を撮像した画像である手術画像を、外部装置（Camera & Imager等）から、接続部（Camera Driver統合IF等）を介して取得する。手術画像は、手術中の手術が行われている患者の身体及び外科医や助手等によって操作されている器具（例えば、鉗子や、電動のハサミや電気メス、超音波凝固切開装置等のエネルギーデバイス等）の様子が撮像されている。
【0037】
手術支援システム１００は、取得部や、手術画像を処理する手術画像処理プラットフォーム１の他に、手術支援システム１００全体を制御するシステム制御部（Ubuntu OS/Kernel、各種システムライブラリ、各種の接続機器（各種Sensor、各種device）等）からのデータを処理する各種Ｍｏｄｕｌｅ、各種の接続機器との接続部（Camera Driver 統合IF、Sensor 統合IF等）等を備える。
【0038】
手術支援システム１００の機能構成は、あくまで一例であり、１つの機能ブロック（データベース及び機能処理部）を分割したり、複数の機能ブロックをまとめて１つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置や端末に内蔵された第１制御ユニットとしてのＣＰＵ（Central Processing Unit）や、第２制御ユニットとしてのＧＰＵ（Graphics Processing Unit）が、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＳＤ(Solid State Drive)、ハードディスク等の記憶装置（記憶部）に格納されたコンピュータプログラム（例えば、基幹ソフトや上述の各種処理をＣＰＵに実行させるアプリ等）を読み出し、ＣＰＵやＧＰＵにより実行されるコンピュータプログラムによって実現される。なお、各機能処理部は、ＦＰＧＡ（Field-Programmable Gate Array）で構成してもよい。すなわち、各機能処理部は、このコンピュータプログラムが、記憶装置に格納されたデータベース（ＤＢ;Data Base)やメモリ上の記憶領域からテーブル等の必要なデータを読み書きし、場合によっては、関連するハードウェア、入出力装置、表示装置、通信インターフェース装置）を制御することによって実現される。また、本発明の実施形態におけるデータベース（ＤＢ）は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。
【0039】
また、手術支援システム１００は、第１制御ユニットとしてのＣＰＵは、主に、システム制御部の機能を実現し、第２制御ユニットとしてのＧＰＵは、主に、手術画像処理プラットフォーム１（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）の機能を実現する。
【0040】
（手術画像処理プラットフォーム）
手術画像処理プラットフォーム１（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）は、取得部（Camera Capture Module等）が取得した手術画像を処理する。また、手術画像処理プラットフォーム１は、外部装置（Camera & Imager等）毎に、データを分類し、内部時計に準じてＤＢに記録する。これにより、ユーザは単項目又は複数項目のデータを時系列で確認することが可能となる。
手術画像処理プラットフォーム１（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）は、取得部（Camera Capture Module等）が取得した手術画像を処理する。また、手術画像処理プラットフォーム１は、外部装置（Camera & Imager等）毎に、データを分類し、内部時計に準じてＤＢに記録する。これにより、ユーザは単項目又は複数項目のデータを時系列で確認することが可能となる。
【0041】
推論手段の一例である推論プラットフォーム１０は、手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を、推論モデルに入力し、ＡＩ（Artificial Intelligence）により解析し、解剖構造や、解剖構造の構造や、器具の軌跡や、解剖構造に対する器具の状態等を推論する。推論プラットフォーム１０は、手術支援システム１００を使用するユーザにより、推論モデルが設定される。
【0042】
演算手段の一例である演算プラットフォーム２０は、推論プラットフォーム１０の解析結果（解剖構造や、解剖構造の構造や、器具の軌跡や、解剖構造に対する器具の状態等）を所定の描画態様にして、手術画像に反映させた描画画像を生成する。本実施形態において、描画態様は、推論プラットフォーム１０の解析結果を、手術画像に重ねて表示する態様（例えば、特定の臓器や体液と解析された部分に、臓器や体液の種類毎に異なる色を付する態様等）である。また、描画態様には、その他、施術する外科医の手術を支援する態様（例えば、手術の経過時間や、器具の理想的な軌跡を示す情報や、切除臓器の切除のタイミングを示す情報等）等を示す情報も含まれる。このような描画態様は、このような態様を生成するアルゴリズム等である演算処理部により実現される。すなわち、手術支援システム１００を使用するユーザは、演算処理部を選択することで、描画態様を設定する。
【0043】
表示設定手段の一例である表示プラットフォーム（「ＵＩプラットフォーム」ともいう。）３０は、演算プラットフォーム２０が生成した描画画像を、表示手段（コンソール／ＬＣＤ（Liquid Crystal Display）等）に、所定の表示態様で表示する。本実施形態において、表示態様は、描画画像の表示の仕方（例えば、オリジナルとなる手術画像と、演算プラットフォーム２０に生成された描画画像と、並べて表示する等）である。このような表示態様は、ユーザの操作画面であるＵＩ（User Interface）等である表示処理部により実現される。すなわち、手術支援システム１００を使用するユーザは、表示処理部を選択することで、表示態様を設定する。
【0044】
図２は、本発明の実施形態に係る手術画像処理プラットフォームによる表示態様の一例である。
手術画像処理プラットフォーム１において、推論プラットフォーム１０は、取得部（Camera Capture Module等）が取得した手術画像を解析（図２に示す例では、神経組織となる部分を解析）する。次に、演算プラットフォーム２０は、この解析結果を所定の描画態様（図２に示す例では、神経組織と解析した部分を着色する態様）にして、手術画像に反映させた描画画像を生成する。そして、表示プラットフォーム３０は、この描画画像を所定の表示態様（図２に示す例では、オリジナルとなる手術画像と、演算プラットフォーム２０に生成された描画画像と、を並べて表示する態様）で、表示手段（コンソール／ＬＣＤ（Liquid Crystal Display）等）に表示する。
手術画像処理プラットフォーム１において、推論プラットフォーム１０は、取得部（Camera Capture Module等）が取得した手術画像を解析（図２に示す例では、神経組織となる部分を解析）する。次に、演算プラットフォーム２０は、この解析結果を所定の描画態様（図２に示す例では、神経組織と解析した部分を着色する態様）にして、手術画像に反映させた描画画像を生成する。そして、表示プラットフォーム３０は、この描画画像を所定の表示態様（図２に示す例では、オリジナルとなる手術画像と、演算プラットフォーム２０に生成された描画画像と、を並べて表示する態様）で、表示手段（コンソール／ＬＣＤ（Liquid Crystal Display）等）に表示する。
【0045】
図３は、本発明の実施形態に係る手術画像処理プラットフォームの概要を説明する図である。
手術画像処理プラットフォーム１（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）は、ユーザにより、推論モデル、描画態様（演算処理部）及び表示態様（表示処理部）が、それぞれ個別に設定される。
図３に示す例において、左側の図はユーザであるＸ社の設定例を示し、右側の図はユーザであるＹ社の設定例を示している。
手術画像処理プラットフォーム１（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）は、ユーザにより、推論モデル、描画態様（演算処理部）及び表示態様（表示処理部）が、それぞれ個別に設定される。
図３に示す例において、左側の図はユーザであるＸ社の設定例を示し、右側の図はユーザであるＹ社の設定例を示している。
【0046】
推論プラットフォーム１０は、ユーザであるＸ社により、推論モデルとして、自社モデルのモデルＡと、Ｘ社専用モデルのモデルＦが設定されている。
また、演算プラットフォーム２０は、Ｘ社により、描画態様（演算処理部）として、自社描画アルゴリズムのアルゴＡと、他社オープン描写アルゴリズムのアルゴＤが設定されている。
また、表示プラットフォーム３０は、Ｘ社により、表示態様（表示処理部）として、他社オープンＧＵＩ（Graphical User Interface）のＧＵＩＤが設定されている。
また、演算プラットフォーム２０は、Ｘ社により、描画態様（演算処理部）として、自社描画アルゴリズムのアルゴＡと、他社オープン描写アルゴリズムのアルゴＤが設定されている。
また、表示プラットフォーム３０は、Ｘ社により、表示態様（表示処理部）として、他社オープンＧＵＩ（Graphical User Interface）のＧＵＩＤが設定されている。
【0047】
そして、推論プラットフォーム１０において、Ｘ社により、モデルＡには内視鏡Ａからのデータ（手術画像等）が入力されるように設定され、モデルＦにはｓｅｎｓｏｒＡからのデータ（デバイスの位置情報等）が入力されるように設定されている。
また、演算プラットフォーム２０において、アルゴＡにはモデルＡからのデータ（解析結果）が入力されるように設定され、アルゴＤにはモデルＦからのデータ（解析結果）が入力されるように設定されている。
また、表示プラットフォーム３０において、ＧＵＩＤには、アルゴＡ及びアルゴＤからのデータ（描画画像）が入力されるように設定されている。また、表示プラットフォーム３０において、ＧＵＩＤからのデータは、表示手段（ＬＣＤ（Liquid Crystal Display））と記憶手段（ストレージ）に出力するように設定されている。
また、演算プラットフォーム２０において、アルゴＡにはモデルＡからのデータ（解析結果）が入力されるように設定され、アルゴＤにはモデルＦからのデータ（解析結果）が入力されるように設定されている。
また、表示プラットフォーム３０において、ＧＵＩＤには、アルゴＡ及びアルゴＤからのデータ（描画画像）が入力されるように設定されている。また、表示プラットフォーム３０において、ＧＵＩＤからのデータは、表示手段（ＬＣＤ（Liquid Crystal Display））と記憶手段（ストレージ）に出力するように設定されている。
【0048】
一方、推論プラットフォーム１０は、ユーザであるＹ社により、推論モデルとして、自社モデルのモデルＢと、オープンモデルの＊＊医師モデル及び他社モデルとが設定されている。
また、演算プラットフォーム２０は、Ｙ社により、描画態様（演算処理部）として、Ｙ社専用アルゴリズムのアルゴＦが設定されている。
また、表示プラットフォーム３０は、Ｙ社により、表示態様（表示処理部）として、Ｙ社専用ＧＵＩのＧＵＩＦが設定されている。
また、演算プラットフォーム２０は、Ｙ社により、描画態様（演算処理部）として、Ｙ社専用アルゴリズムのアルゴＦが設定されている。
また、表示プラットフォーム３０は、Ｙ社により、表示態様（表示処理部）として、Ｙ社専用ＧＵＩのＧＵＩＦが設定されている。
【0049】
推論プラットフォーム１０において、Ｙ社により、モデルＢにはＤｅｖｉｃｅＡからのデータ（デバイスの位置情報等）が入力されるように設定され、＊＊医師モデル及び他社モデルには内視鏡Ａ及び内視鏡Ｂからのデータ（手術画像等）が入力されるように設定されている。
また、演算プラットフォーム２０において、アルゴＦにはモデルＢ、＊＊医師モデル及び他社モデルからのデータ（解析結果）が入力されるように設定されている。また、演算プラットフォーム２０において、アルゴＦからのデータは、ＤｅｖｉｃｅＡに出力（フィードバック）するように設定されている。
また、表示プラットフォーム３０において、ＧＵＩＦには、アルゴＦからのデータ（描画画像）が入力されるように設定されている。また、表示プラットフォーム３０において、ＧＵＩＦからのデータは、表示手段（コンソール）と記憶手段（ストレージ）に出力するように設定されている。
また、演算プラットフォーム２０において、アルゴＦにはモデルＢ、＊＊医師モデル及び他社モデルからのデータ（解析結果）が入力されるように設定されている。また、演算プラットフォーム２０において、アルゴＦからのデータは、ＤｅｖｉｃｅＡに出力（フィードバック）するように設定されている。
また、表示プラットフォーム３０において、ＧＵＩＦには、アルゴＦからのデータ（描画画像）が入力されるように設定されている。また、表示プラットフォーム３０において、ＧＵＩＦからのデータは、表示手段（コンソール）と記憶手段（ストレージ）に出力するように設定されている。
【0050】
このように、手術画像処理プラットフォームにおいて、推論プラットフォーム１０には、複数の推論モデルを設定可能であり、演算プラットフォーム２０には、複数の描画態様（演算処理部）を設定可能であり、表示プラットフォーム３０には、複数の表示態様（表示処理部）を設定可能である。
【0051】
また、推論プラットフォーム１０において、複数の推論モデルには、複数の外部装置（例えば、内視鏡のカメラ、デバイスに設けられたセンサ等）からのデータをそれぞれ入力させてもよいし、１つの推論モデルに、複数の外部装置からのデータを入力させてもよい。
【0052】
また、演算プラットフォーム２０において、複数の描画態様（演算処理部）には、複数の推論モデルからのデータ（解析結果）をそれぞれ入力させてもよいし、１つの描画態様（演算処理部）に、複数の推論モデルからのデータを入力させてもよい。また、演算プラットフォーム２０において、描画態様（演算処理部）によるデータは、主に、表示プラットフォーム３０に出力されるが、表示プラットフォーム３０に限らず、外部装置に出力してもよい。
【0053】
また、表示プラットフォーム３０において、複数の表示態様（表示処理部）には、複数の描画態様（演算処理部）からのデータ（描画画像）をそれぞれ入力させてもよいし、１つの表示態様（表示処理部）に、複数の描画態様（演算処理部）からのデータを入力させてもよい。また、表示プラットフォーム３０において、表示態様（表示処理部）によるデータは、主に、表示手段（コンソール／ＬＣＤ（Liquid Crystal Display）等）に出力されるが、表示手段に限らず、記憶装置に出力してもよいし、推論プラットフォーム１０や演算プラットフォーム２０に出力してもよい。
【0054】
図４は、本発明の実施形態に係る手術画像処理プラットフォームにおけるデータの仕様を説明する図である。
手術画像処理プラットフォーム１は、各レイヤー（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）毎に、入力可能な入力データ形式、出力する出力データ形式、設定可能な実装ファイル（推論プラットフォーム１０の推論モデル、演算プラットフォーム２０の演算処理部、表示プラットフォーム３０の表示処理部）が規定されている。
手術画像処理プラットフォーム１は、各レイヤー（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）毎に、入力可能な入力データ形式、出力する出力データ形式、設定可能な実装ファイル（推論プラットフォーム１０の推論モデル、演算プラットフォーム２０の演算処理部、表示プラットフォーム３０の表示処理部）が規定されている。
【0055】
図４に示す例では、推論プラットフォーム１０において、入力データ形式は、ＧＰＵ上に展開された前処理後の入力画データであり、データのＳｉｚｅやｄｔｙｐｅが規定されている。また、解析結果を示す出力データ形式は、ＧＰＵ上に展開された確信度データであり、データのＳｉｚｅやｄｔｙｐｅが規定されている。また、実装ファイルは、汎用フォーマット（ＯＮＮＸに変換されたモデル）が規定されている。
【0056】
演算プラットフォーム２０において、入力データ形式は、推論プラットフォーム１０の出力データ形式と同様のものが規定されている。これにより、推論プラットフォーム１０から出力されたデータを、演算プラットフォーム２０に入力することが可能となる。また、描画画像を示す出力データ形式は、ＧＰＵ上に展開された表示画像であり、データのＳｉｚｅやｄｔｙｐｅが規定されている。また、実装ファイルは、指定言語で記述された演算ファイルが規定されている。
【0057】
表示プラットフォーム３０において、入力データ形式は、演算プラットフォーム２０の出力データ形式と同様のものが規定されている。これにより、演算プラットフォーム２０から出力されたデータを、表示プラットフォーム３０に入力することが可能となる。また、表示態様を示す出力データ形式は、指定ライブラリの表示やイベント処理等を含んだデータ群である。また、実装ファイルは、指定ライブラリで既述されたＵＩファイルが規定されている。
【0058】
このように、推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０毎に、入力可能な入力データ形式、出力する出力データ形式、設定可能な実装ファイルを規定することで、この規定に準ずるコンテンツであれば、手術支援システム１００の提供者が予め用意したコンテンツ（推論モデル、演算処理部、表示処理部）に限らず、ユーザ独自のコンテンツや、サードパーティが提供するコンテンツや、オープンコンテンツとして提供されているコンテンツを、手術画像処理プラットフォーム１で設定することが可能となる。
【0059】
図５は、本発明の実施形態に係る手術画像処理プラットフォームにおけるデータの流れを説明する図である。
推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０は、データが入力される入力ポートと、データを出力する出力ポートとが、ユーザにより、それぞれ個別に設定される。また、推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０には、ユーザにより、それぞれ、複数の入力ポートと複数の出力ポートを設定可能である。
推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０は、データが入力される入力ポートと、データを出力する出力ポートとが、ユーザにより、それぞれ個別に設定される。また、推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０には、ユーザにより、それぞれ、複数の入力ポートと複数の出力ポートを設定可能である。
【0060】
推論プラットフォーム１０に設定された入力ポート（図５に示すPortII1、PortII2等）は、ユーザにより、外部装置（Camera & Imager等）に接続された接続部（Device FI1、CameraIFI1等）に接続され、接続部を介して、外部装置からのデータ（手術画像（身体情報、器具情報）が入力される。この入力されたデータは、推論モデルに供給される。
【0061】
推論プラットフォーム１０に設定された出力ポート（図５に示すPortIO1、PortIO2等）は、ユーザにより、演算プラットフォーム２０の入力ポート（図５に示すPortDI1、PortDI2等）や表示プラットフォーム３０の入力ポートや、記憶手段や外部装置のＩＦに接続され、これらに推論モデルからの出力データ（解析結果）を出力する。
【0062】
演算プラットフォーム２０に設定された入力ポート（図５に示すPortDI1、PortDI2等）は、ユーザにより、推論プラットフォーム１０の出力ポート（図５に示すPortIO1、PortIO2等）や、表示プラットフォーム３０の出力ポート（図５に示すPortGO3等）に接続され、推論プラットフォーム１０からの出力データ（解析結果）や、表示プラットフォーム３０からの出力データ（表示態様）が入力される。この入力されたデータは、演算処理部に供給される。
演算プラットフォーム２０に設定された出力ポート（図５に示すPortDO1、PortDO2等）は、ユーザにより、表示プラットフォーム３０の入力ポート（図５に示すPortGI1）や、記憶手段や外部装置のＩＦ（図５に示すDeviceIFO1）に接続され、これらに演算処理部からの出力データ（描画画像）を出力する。
演算プラットフォーム２０に設定された出力ポート（図５に示すPortDO1、PortDO2等）は、ユーザにより、表示プラットフォーム３０の入力ポート（図５に示すPortGI1）や、記憶手段や外部装置のＩＦ（図５に示すDeviceIFO1）に接続され、これらに演算処理部からの出力データ（描画画像）を出力する。
【0063】
表示プラットフォーム３０に設定された入力ポート（図５に示すPortGI1）は、ユーザにより、演算プラットフォーム２０の出力ポート（図５に示すPortDO1）に接続され、演算プラットフォーム２０からの出力データ（描画画像）が入力される。この入力されたデータは、表示処理部に供給される。
表示プラットフォーム３０に設定された出力ポート（図５に示すPortGO1、PortGO2、PortGO3等）は、ユーザにより、表示手段（LCD/コンソール）や、推論プラットフォーム１０の入力ポート（図５に示すPortII4）や、演算プラットフォーム２０の入力ポート（図５に示すPortDI4）や、記憶手段や外部装置のＩＦに接続され、これらに表示処理部からの出力データ（表示態様）を出力する。
表示プラットフォーム３０に設定された出力ポート（図５に示すPortGO1、PortGO2、PortGO3等）は、ユーザにより、表示手段（LCD/コンソール）や、推論プラットフォーム１０の入力ポート（図５に示すPortII4）や、演算プラットフォーム２０の入力ポート（図５に示すPortDI4）や、記憶手段や外部装置のＩＦに接続され、これらに表示処理部からの出力データ（表示態様）を出力する。
【0064】
次に、手術画像処理プラットフォーム１にける、ユーザによるコンテンツ（推論モデル、演算処理部、表示処理部等）の設定について説明する。
図６及び図７は、本発明の実施形態に係る手術画像処理プラットフォームの推論プラットフォームにおける設定を説明する図である。
図６及び図７は、本発明の実施形態に係る手術画像処理プラットフォームの推論プラットフォームにおける設定を説明する図である。
【0065】
ユーザは、推論プラットフォーム１０において、推論モデルやその他の演算要素や、入力ポート及び出力ポート等のコンテンツを設定する場合、設定操作を行う。設定操作は、例えば、設定手段として機能する表示プラットフォーム３０により表示手段に表示された設定画面に表示された追加ボタン（図６に示す例では、＋と表示された部分）を操作する。これにより、推論プラットフォーム１０は、入力ポート（図６に示す例では、PortII1等）や出力ポート（図６に示す例では、PortIO1等）を１つずつ設定する。また、ユーザにより追加ボタンが操作された場合、設定手段として機能する表示プラットフォーム３０は、複数種類のコンテンツを選択可能な設定選択画面を、表示手段に表示する。
【0066】
推論プラットフォーム１０における設定選択画面には、ユーザが選択可能なコンテンツとして、複数種類の推論モデル（図６に示す例では、基本モデル、オープンモデル、クローズモデル等）、推論モデルの解析結果に対する複数種類の演算方法（図６に示す例では、ADD、MATMUL、ABS等）、複数種類の定数（図６に示す例では、SCALAR等）、条件分岐（図６に示す例では、SELECTOR等）が表示されている。
【0067】
設定選択画面では、ユーザが選択可能なコンテンツを、供給元毎や、解析対象（例えば、解剖構造等）毎や、手術の内容毎に、グルーピングしてもよい。
図６に示す例において、設定選択画面では、複数の推論モデルが、供給元（基本モデル、オープンモデル、クローズモデル）毎にグルーピングされている。
図７に示す例において、設定選択画面では、複数の推論モデルが、複数階層にグルーピングされている。詳細には、図７に示す例では、最上層では解析対象（結合組織、神経等）毎にグルーピングされ、各グループにおいて、更に、手術の内容（胸腔鏡肺切除、ロボット支援下内視鏡手術の胃／大腸領域等）毎に、グルーピングされている。
図６に示す例において、設定選択画面では、複数の推論モデルが、供給元（基本モデル、オープンモデル、クローズモデル）毎にグルーピングされている。
図７に示す例において、設定選択画面では、複数の推論モデルが、複数階層にグルーピングされている。詳細には、図７に示す例では、最上層では解析対象（結合組織、神経等）毎にグルーピングされ、各グループにおいて、更に、手術の内容（胸腔鏡肺切除、ロボット支援下内視鏡手術の胃／大腸領域等）毎に、グルーピングされている。
【0068】
ユーザは、例えば、設定選択画面でコンテンツを選択し、設定画面における推論プラットフォーム１０内に、選択したコンテンツをドラッグすることで、推論プラットフォーム１０に、コンテンツ（推論モデル、演算方法、条件分岐等）を設定することができる。
【0069】
次に、ユーザは、例えば、設定画面において、推論プラットフォーム１０に設定したコンテンツや、入力ポートや、出力ポートを接続する操作（例えば、図６に示す例では、接続元（例えば、PortII1）を接続先（例えば、モデルＢ）にドラッグする操作等）を行うことで、接続元と接続先が接続され、接続元から接続先にデータが流れる。
【0070】
【0071】
ユーザは、演算プラットフォーム２０において、演算処理部やその他の演算要素や、入力ポート及び出力ポート等のコンテンツを設定する場合、設定操作を行う。設定操作は、例えば、設定手段として機能する表示プラットフォーム３０により表示手段に表示された設定画面に表示された追加ボタン（図８に示す例では、＋と表示された部分）を操作する。これにより、演算プラットフォーム２０は、入力ポート（図８に示す例では、PortDI1等）や出力ポート（図８に示す例では、PortDO1等）を１つずつ設定する。また、ユーザにより追加ボタンが操作された場合、設定手段として機能する表示プラットフォーム３０は、複数種類のコンテンツを選択可能な設定選択画面を、表示手段に表示する。
【0072】
演算プラットフォーム２０における設定選択画面には、ユーザが選択可能なコンテンツとして、複数種類の演算処理部（図８に示す例では、基本モデル、オープンモデル、クローズモデル等）、演算処理部の処理結果に対する各種処理（例えば、複数種類のフィルタ（図８に示す例では、Low pass、High pass、Bandpass等）、複数種類の解析方法（図８に示す例では、Peak、Histogram、FFT等）、複数種類の演算方法（図８に示す例では、ADD、MATMUL、ABS等）、定数（図８に示す例では、SCALAR等））が表示されている。
【0073】
設定選択画面では、ユーザが選択可能なコンテンツを、供給元毎や、解析対象（例えば、解剖構造等）毎や、手術の内容や、描画表現毎に、グルーピングしてもよい。
図８に示す例において、設定選択画面では、複数の演算処理部が、供給元（基本モデル、オープンモデル、クローズモデル）毎にグルーピングされている。
図８に示す例において、設定選択画面では、複数の演算処理部が、供給元（基本モデル、オープンモデル、クローズモデル）毎にグルーピングされている。
【0074】
また、設定選択画面において、演算処理部が実現する描画表現の内容を調整可能としてもよい。
図９に示す例において、設定選択画面では、複数の演算処理部が、描画表現（描画色、確信度のスレッシュ、不透明度、描画方法、点滅表示等）毎に選択可能となっており、各描画表現の項目において、当該描画表現の調整（例えば、数値入力や色等の選択等）可能となっている。
図９に示す例において、設定選択画面では、複数の演算処理部が、描画表現（描画色、確信度のスレッシュ、不透明度、描画方法、点滅表示等）毎に選択可能となっており、各描画表現の項目において、当該描画表現の調整（例えば、数値入力や色等の選択等）可能となっている。
【0075】
ユーザは、例えば、設定選択画面でコンテンツを選択し、設定画面における演算プラットフォーム２０内に、選択したコンテンツをドラッグすることで、演算プラットフォーム２０に、コンテンツ（演算処理部、演算方法、条件分岐等）を設定することができる。
【0076】
次に、ユーザは、例えば、設定画面において、演算プラットフォーム２０に設定したコンテンツや、入力ポートや、出力ポートを接続する操作（例えば、図８に示す例では、接続元（例えば、PortDI1～PortDI4）を接続先（例えば、モデルF）にドラッグする操作等）を行うことで、接続元と接続先が接続され、接続元から接続先にデータが流れる。
【0077】
図１０は、本発明の実施形態に係る手術画像処理プラットフォームの表示プラットフォームにおける設定を説明する図である。
【0078】
ユーザは、表示プラットフォーム３０において、表示処理部やその他の演算要素や、入力ポート及び出力ポート等のコンテンツを設定する場合、設定操作を行う。設定操作は、例えば、設定手段として機能する表示プラットフォーム３０により表示手段に表示された設定画面に表示された追加ボタン（図１０に示す例では、＋と表示された部分）を操作する。これにより、表示プラットフォーム３０は、入力ポート（図１０に示す例では、PortGI1等）や出力ポート（図１０に示す例では、PortGO1等）を１つずつ設定する。また、ユーザにより追加ボタンが操作された場合、設定手段として機能する表示プラットフォーム３０は、複数種類のコンテンツを選択可能な設定選択画面を、表示手段に表示する。
【0079】
表示プラットフォーム３０における設定選択画面には、ユーザが選択可能なコンテンツとして、複数種類の表示処理部（図８に示す例では、基本モデル、オープンモデル、クローズモデル等）、表示処理部の処理結果に対する複数種類の演算方法（図８に示す例では、ADD、MATMUL、ABS等）、複数種類の条件分岐（図８に示す例では、SELECTOR等）が表示されている。
【0080】
設定選択画面では、ユーザが選択可能なコンテンツを、供給元毎や、解析対象（例えば、解剖構造等）毎や、手術の内容や、表示態様毎に、グルーピングしてもよい。
図１０に示す例において、設定選択画面では、複数の表示処理部が、供給元（基本モデル、オープンモデル、クローズモデル）毎にグルーピングされている。
図１０に示す例において、設定選択画面では、複数の表示処理部が、供給元（基本モデル、オープンモデル、クローズモデル）毎にグルーピングされている。
【0081】
ユーザは、例えば、設定選択画面でコンテンツを選択し、設定画面における表示プラットフォーム３０内に、選択したコンテンツをドラッグすることで、表示プラットフォーム３０に、コンテンツ（表示処理部、演算方法、条件分岐等）を設定することができる。
【0082】
次に、ユーザは、例えば、設定画面において、表示プラットフォーム３０に設定したコンテンツや、入力ポートや、出力ポートを接続する操作（例えば、図１０に示す例では、接続元（例えば、PortGI1）を接続先（例えば、GUI F）にドラッグする操作等）を行うことで、接続元と接続先が接続され、接続元から接続先にデータが流れる。
【0083】
ユーザは、推論プラットフォーム１０、演算プラットフォーム２０及び表示プラットフォーム３０において、それぞれ設定が完了したら、図５に示すように、プラットフォーム間の接続（例えば、推論プラットフォーム１０の出力ポート（例えば、PortIO1）と演算プラットフォーム２０の入力ポート（例えば、PortDI1）の接続等）や、手術画像処理プラットフォームと外部機器との接続（例えば、DeviceIFI1と、推論プラットフォーム１０の入力ポート（例えば、PortII1）の接続等）を行う。
以上の手順により、各ユーザ独自の手術支援システムを構築することができる。
以上の手順により、各ユーザ独自の手術支援システムを構築することができる。
【0084】
また、手術画像処理プラットフォーム１は、上記機能に加え、構築したプラットフォームのテスト結果を、所定機関への規格申請のテンプレートとして出力してもよい。また、手術画像処理プラットフォーム１は、手術画像処理プラットフォーム１において予め備える推論モデル、演算処理部又は表示処理部以外のものを導入する場合、これらの性能確認機能を備えてもよい。
【0085】
このような手術画像処理プラットフォーム１によれば、手術画像処理プラットフォーム１を利用するユーザは、例えば、独自の推論モデル、描画態様及び表示態様を、それぞれ個別に設定することで、手術画像を独自の態様で解析し、この解析結果に基づき独自の態様の描画画像を生成し、この描画画像を独自の態様で表示することが可能となる。
したがって、手術画像の処理において、解析、描画、表示の各処理を実行するレイヤーに実装するモデルを、自由に設定することが可能な手術画像処理プラットフォームを提供できる。
したがって、手術画像の処理において、解析、描画、表示の各処理を実行するレイヤーに実装するモデルを、自由に設定することが可能な手術画像処理プラットフォームを提供できる。
【0086】
また、手術画像処理プラットフォーム１によれば、推論プラットフォーム１０において複数の推論モデルを設定可能であり、演算プラットフォーム２０において複数の描画態様を設定可能であり、表示プラットフォーム３０において複数の表示態様を設定可能である。これにより、手術画像の処理における各レイヤー（推論プラットフォーム１０、演算プラットフォーム２０及び表示プラットフォーム３０）において、それぞれ多様な機能（各モデルで実現される機能）を搭載することが可能となる。
【0087】
また、手術画像処理プラットフォーム１によれば、推論プラットフォーム１０、演算プラットフォーム２０及び表示プラットフォーム３０において、データが入力される入力ポートと、データを出力する出力ポートを、それぞれ個別に設定可能とすることで、手術画像の処理における各レイヤー（推論プラットフォーム１０、演算プラットフォーム２０及び表示プラットフォーム３０）において、データの入力元と、データの出力先を、それぞれ個別に設定することが可能となる。これにより、各レイヤーの入力元と出力先の自由度が向上する。
【0088】
また、手術画像処理プラットフォーム１によれば、推論プラットフォーム１０、演算プラットフォーム２０及び表示プラットフォーム３０には、それぞれ、複数の入力ポートと複数の出力ポートを設定可能である。これにより、手術画像の処理における各レイヤー（推論プラットフォーム１０、演算プラットフォーム２０及び表示プラットフォーム３０）において、それぞれ多様なデータを入力し、多様な方向（例えば、別の装置や、他のレイヤー）にデータを出力することが可能となる。
【0089】
また、手術画像処理プラットフォーム１によれば、推論プラットフォーム１０には、外部装置からのデータに加え、表示プラットフォーム３０からのデータを入力することが可能となる。また、演算プラットフォーム２０には、推論プラットフォーム１０からのデータに加え、表示プラットフォーム３０からのデータを入力することが可能となる。これにより、処理の下流に位置するプラットフォーム（例えば、推論プラットフォーム１０や演算プラットフォーム２０に対する表示プラットフォーム３０）から、処理の上流に位置する手段（例えば、表示プラットフォーム３０に対する推論プラットフォーム１０や演算プラットフォーム２０）にデータをフィードバックすることが可能となる。これにより、例えば、外部装置から入力されたデータを繰り返し用いて、互いに異なる推論モデルや描画態様で処理することで、複数種類の結果を得ることが可能となる。
【0090】
［応用例］
次に、本発明の実施形態の応用例について説明する。以下の説明において、本実施形態と同様の構成には、同一の符号を付し、その説明を省略又は簡略する。
図１１は、本発明の実施形態の応用例に係る手術画像処理プラットフォームにおけるデータの流れを説明する図である。
次に、本発明の実施形態の応用例について説明する。以下の説明において、本実施形態と同様の構成には、同一の符号を付し、その説明を省略又は簡略する。
図１１は、本発明の実施形態の応用例に係る手術画像処理プラットフォームにおけるデータの流れを説明する図である。
【0091】
応用例に係る手術画像処理プラットフォーム１Ａは、本実施形態の構成（推論プラットフォーム１０、演算プラットフォーム２０、表示プラットフォーム３０）に加え、前処理手段の一例である前処理プラットフォーム４０を備える。
【0092】
まず、上述のとおり、推論プラットフォーム１０は、医療機関で使用されている外部装置（例えば、内視鏡システム／エンドスコープ等）により取得された手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を、推論モデルに入力し、ＡＩにより解析し、解剖構造や、解剖構造の構造や、器具の軌跡や、解剖構造に対する器具の状態等を推論する。
【0093】
ここで、医療機関で使用されている外部装置（例えば、内視鏡システム／エンドスコープ等）は、様々なメーカにより提供されており、医療機関によって、使用されている種類（機種）も様々である。また、外部装置の種類が異なれば、取得される手術画像の画質も異なる。
【0094】
また、推論プラットフォーム１０が解析に使用する推論モデルは、所定の外部装置で撮像した手術画像で学習したものである。例えば、推論モデルが学習した手術画像を撮像した外部装置と、手術画像処理プラットフォーム１を利用する医療機関で使用する外部装置（手術画像処理プラットフォーム１に手術画像を提供する外部装置）と、が互いに異なる場合がある。このような場合、これらの外部装置で撮像した手術画像の画質も、互いに異なる。そして、推論モデルが学習した手術画像の画質と、手術画像処理プラットフォーム１の利用時に取得した手術画像の画質と、の相違が大きい場合、推論プラットフォーム１０の解析結果の精度が低下する可能性がある。
【0095】
前処理プラットフォーム４０は、手術画像処理プラットフォーム１に入力された手術画像の画質と、推論モデルが学習した手術画像の画質との乖離を抑え、推論プラットフォーム１０の解析結果の精度が低下するのを防止するものである。
【0096】
前処理手段の一例である前処理プラットフォーム４０は、手術画像の画質を、推論プラットフォーム１０の推論モデルが学習した画像の画質に応じた変換式により変換する。具体的には、前処理プラットフォーム４０は、カメラ画質変換器を有し、カメラ画質変換器において、取得部（Camera Capture Module（図１参照）等）が取得した手術画像を撮像した外部装置に応じて、当該手術画像の画質を、推論プラットフォーム１０の推論モデルが学習した手術画像の画質に近似した画質に変換し、画質を変換した前処理済み手術画像を生成し、推論プラットフォーム１０に提供する。前処理プラットフォーム４０は、手術支援システム１００を使用するユーザにより、又は、後述するように、自動的に変換式が設定される。なお、「変換式」は、手術画像の画質を、推論プラットフォーム１０の推論モデルが学習した手術画像の画質に近似した画質に変換するものに限らない。「変換式」は、手術画像の画質を、推論プラットフォーム１０の解析精度が向上する画質に変換するものであれば任意の手法を用いることができ、例えば、画像を周波数解析し周波数的なアプローチで画像変換する手法であってもよい。
【0097】
また、前処理プラットフォーム４０は、推論プラットフォーム１０、演算プラットフォーム２０及び表示プラットフォーム３０と同様に、データが入力される入力ポート（図１１に示すPortPPI1、PortPPI2等）と、データを出力する出力ポート（図１１に示すPortPPO1、PortPPO2）とが、ユーザにより、それぞれ個別に設定される。また、前処理プラットフォーム４０には、ユーザにより、それぞれ、複数の入力ポートと複数の出力ポートを設定可能である点も、推論プラットフォーム１０、演算プラットフォーム２０及び表示プラットフォーム３０と同様である。
【0098】
図１１を参照して、手術画像処理プラットフォーム１Ａにおけるデータの流れを説明する。
手術画像処理プラットフォーム１Ａでは、前処理プラットフォーム４０に設定された入力ポート（図１１に示すPortPPI1、PortPPI2等）に、ユーザにより、外部装置（Camera & Imager等）に接続された接続部（Device FI1、CameraIFI1等）に接続され、接続部を介して、外部装置（例えば、内視鏡システム／エンドスコープ等）からのデータ（手術画像（身体情報、器具情報））が入力される。また、前処理プラットフォーム４０に設定された入力ポート（図１１に示すPortPPI4、PortPPI5等）は、推論プラットフォーム１０の出力ポート（図１１に示すPortIO3）や、表示プラットフォーム３０の出力ポート（図１１に示すPortGO4）に接続され、推論プラットフォーム１０からの出力データ（解析結果）や、表示プラットフォーム３０からの出力データ（表示態様）が入力される。この入力されたデータは、カメラ画質変換器に供給され、推論プラットフォーム１０の推論モデルが学習した手術画像の画質に近似した画質に変換される。
手術画像処理プラットフォーム１Ａでは、前処理プラットフォーム４０に設定された入力ポート（図１１に示すPortPPI1、PortPPI2等）に、ユーザにより、外部装置（Camera & Imager等）に接続された接続部（Device FI1、CameraIFI1等）に接続され、接続部を介して、外部装置（例えば、内視鏡システム／エンドスコープ等）からのデータ（手術画像（身体情報、器具情報））が入力される。また、前処理プラットフォーム４０に設定された入力ポート（図１１に示すPortPPI4、PortPPI5等）は、推論プラットフォーム１０の出力ポート（図１１に示すPortIO3）や、表示プラットフォーム３０の出力ポート（図１１に示すPortGO4）に接続され、推論プラットフォーム１０からの出力データ（解析結果）や、表示プラットフォーム３０からの出力データ（表示態様）が入力される。この入力されたデータは、カメラ画質変換器に供給され、推論プラットフォーム１０の推論モデルが学習した手術画像の画質に近似した画質に変換される。
【0099】
前処理プラットフォーム４０に設定された出力ポート（図１１に示すPortPPO1、PortPPO2）は、ユーザにより、推論プラットフォーム１０の入力ポート（図１１に示すPortII1、PortII2）に接続され、推論プラットフォーム１０に出力データ（前処理済み手術画像）を出力する。
【0100】
推論プラットフォーム１０に設定された入力ポート（図１１に示すPortII1、PortII2等）は、ユーザにより、前処理プラットフォーム４０の出力ポート（図１１に示すPortPPO1、PortPPO2）に接続され、出力データ（前処理済み手術画像）が入力される。この入力されたデータは、推論モデルに供給される。
【0101】
推論プラットフォーム１０に設定された出力ポート（図１１に示すPortIO1、PortIO2等）は、ユーザにより、演算プラットフォーム２０の入力ポート（図１１に示すPortDI1、PortDI2等）や、前処理プラットフォーム４０の入力ポート（図１１に示すPortPPI4等）に接続され、これらに推論モデルからの出力データ（解析結果）を出力する。
【0102】
演算プラットフォーム２０に設定された入力ポート（図１１に示すPortDI1、PortDI2等）は、ユーザにより、推論プラットフォーム１０の出力ポート（図１１に示すPortIO1、PortIO2等）や、表示プラットフォーム３０の出力ポート（図１１に示すPortGO3）に接続され、推論プラットフォーム１０からの出力データ（解析結果）や、表示プラットフォーム３０からの出力データ（表示態様）が入力される。この入力されたデータは、演算処理部に供給される。
【0103】
演算プラットフォーム２０に設定された出力ポート（図１１に示すPortDO1）は、ユーザにより、表示プラットフォーム３０の入力ポート（図１１に示すPortGI1）に接続され、これらに演算処理部からの出力データ（描画画像）を出力する。
【0104】
表示プラットフォーム３０に設定された入力ポート（図１１に示すPortGI1）は、ユーザにより、演算プラットフォーム２０の出力ポート（図１１に示すPortDO1）に接続され、演算プラットフォーム２０からの出力データ（描画画像）が入力される。この入力されたデータは、表示処理部に供給される。
【0105】
表示プラットフォーム３０に設定された出力ポート（図１１に示すPortGO1、PortGO2、PortGO3等）は、ユーザにより、表示手段（LCD/コンソール）や、推論プラットフォーム１０の入力ポート（図１１に示すPortII3）や、演算プラットフォーム２０の入力ポート（図１１に示すPortDI3）や、前処理プラットフォーム４０の入力ポート（図１１に示すPortPPI5等）に接続され、これらに表示処理部からの出力データ（表示態様）を出力する。
【0106】
次に、手術画像処理プラットフォーム１Ａにける、ユーザによるコンテンツ（カメラ画質変換器、推論モデル等）の設定について説明する。
図１２は、本発明の実施形態の応用例に係る手術画像処理プラットフォームの前処理プラットフォームにおける設定を説明する図である。
図１２は、本発明の実施形態の応用例に係る手術画像処理プラットフォームの前処理プラットフォームにおける設定を説明する図である。
【0107】
ユーザは、前処理プラットフォーム４０において、カメラ画質変換器やその他の演算要素や、入力ポート及び出力ポート等のコンテンツを設定する場合、設定操作を行う。設定操作は、例えば、設定手段として機能する表示プラットフォーム３０により表示手段に表示された設定画面に表示された追加ボタン（図１２に示す例では、＋と表示された部分）を操作する。これにより、前処理プラットフォーム４０は、入力ポート（図１２に示す例では、PortPPI1等）や出力ポート（図１２に示す例では、PortPPO1等）を１つずつ設定する。また、ユーザにより追加ボタンが操作された場合、設定手段として機能する表示プラットフォーム３０は、複数種類のコンテンツを選択可能な設定選択画面を、表示手段に表示する。
【0108】
前処理プラットフォーム４０における設定選択画面には、ユーザが選択可能なコンテンツとして、カメラ画質変換器に含まれる複数種類の変換要素、カメラ画質変換器の変換結果に対する複数種類の前処理（図１２に示す例では、Normalize、Standardize、Grayscale、Binalize等）、条件分岐（図１２に示す例では、SELECTOR等）が表示されている。
【0109】
カメラ画質変換器は、変換元を変換先相当の画質（空間周波数、輝度、色調等）に変換する一連の変換式を格納したデータベースである。前処理プラットフォーム４０は、カメラ画質変換器を、手術支援システム１００の記憶手段（例えば、図１に示すData Base等）から取得し（読み出し）てもよいし、外部（例えば、手術画像処理プラットフォーム１Ａの提供者や手術画像処理プラットフォーム１Ａを利用する別のユーザ等）のサーバ等から取得（ダウンロード）してもよい。また、前処理プラットフォーム４０は、カメラ画質変換器を、手術支援システム１００の記憶手段（例えば、図１に示すData Base等）に出力し（記憶し）てもよいし、外部（例えば、手術画像処理プラットフォーム１Ａの提供者や手術画像処理プラットフォーム１Ａを利用する別のユーザ等）のコンピュータ等に出力可能（送信可能）としてもよい。詳細には、カメラ画質変換器は、変換要素として、「内視鏡システム（S）＋エンドスコープ（ES）間変換要素」と、「内視鏡システム（S）設定値間変換要素」とを含む。
【0110】
「内視鏡システム（S）＋エンドスコープ（ES）間変換要素」では、複数種類の変換先（手術画像処理プラットフォーム１Ａに接続され、手術画像を取得する内視鏡システムとエンドスコープの組合せ）に、それぞれ、複数種類の変換元（推論モデルが学習した手術画像を撮像した内視鏡システムとエンドスコープの組合せ）毎の変換式が対応付けられている。図１２に示す一例では、変換先の内視鏡システム（S:A）とエンドスコープ（ES:A）の組合せに、当該組合せよる手術画像の画質(空間周波数、輝度、色調等)を変換元の内視鏡システム（S:A）とエンドスコープ（ES:B）の組合せによる手術画像の画質に近似させる変換式として「Conversion A」が対応付けられている。
【0111】
「内視鏡システム（S）設定値間変換要素」では、複数種類の変換先（手術画像処理プラットフォーム１Ａに接続され、手術画像を取得する内視鏡システムのデフォルト設定値）に、それぞれ、複数種類の変換元（手術画像処理プラットフォーム１Ａに接続され、手術画像を取得する内視鏡システムで使用している設定値）が対応付けられている。図１２に示す一例では、複数種類の設定値（「明るさ」、「色調」、「カラーモード」、「コントラスト」）毎に、複数種類の変換先毎の値を示す情報が対応付けられている。
【0112】
ユーザは、例えば、設定選択画面でコンテンツを選択し、設定画面における前処理プラットフォーム４０内に、選択したコンテンツをドラッグすることで、前処理プラットフォーム４０に、コンテンツ（変換式、演算方法、条件分岐等）を設定することができる。なお、詳しくは後述するが、前処理プラットフォーム４０は、変換式を自動的に設定してもよい。
【0113】
次に、ユーザは、例えば、設定画面において、前処理プラットフォーム４０に設定したコンテンツや、入力ポートや、出力ポートを接続する操作（例えば、図１２に示す例では、複数の接続元（例えば、PortPPI1～PortPPI5）を、複数の接続先（例えば、「Conversion C」や「Conversion A」）にドラッグする操作等）を行うことで、接続元と接続先が接続され、接続元から接続先にデータが流れる。
【0114】
図１３は、本発明の実施形態の応用例に係る手術画像処理プラットフォームの推論プラットフォームにおける設定を説明する図である。
応用例に係る推論プラットフォーム１０の設定選択画面では、図６に示す例に加え、各推論モデルが学習した手術画像を撮像した内視鏡システム（S）の種類とエンドスコープ（ES）の種類の組合せ毎にグルーピングされている。図１３に示す例では、例えば、基本モデルのモデルＡと、オープンモデルの＊＊病院モデルと、クローズモデルのモデルＦとが、これらのモデル（推論モデル）が学習した手術画像を撮像した内視鏡システムの種類とエンドスコープの種類を示す情報（S:A+ES:A）にグルーピングされている。すなわち、推論プラットフォーム１０は、各推論モデルと、各推論モデルが学習した手術画像を撮像した内視鏡システム（S）の種類とエンドスコープ（ES）の種類の組合せとを対応付けて記憶している。
応用例に係る推論プラットフォーム１０の設定選択画面では、図６に示す例に加え、各推論モデルが学習した手術画像を撮像した内視鏡システム（S）の種類とエンドスコープ（ES）の種類の組合せ毎にグルーピングされている。図１３に示す例では、例えば、基本モデルのモデルＡと、オープンモデルの＊＊病院モデルと、クローズモデルのモデルＦとが、これらのモデル（推論モデル）が学習した手術画像を撮像した内視鏡システムの種類とエンドスコープの種類を示す情報（S:A+ES:A）にグルーピングされている。すなわち、推論プラットフォーム１０は、各推論モデルと、各推論モデルが学習した手術画像を撮像した内視鏡システム（S）の種類とエンドスコープ（ES）の種類の組合せとを対応付けて記憶している。
【0115】
応用例に係る表示プラットフォーム３０は、設定選択画面（図１０参照）の表示処理部における各モデル（GUI A～F）の設定項目として、手術画像処理プラットフォーム１Ａに接続され、手術画像を撮像する内視鏡システム（S）の種類と、エンドスコープ（ES）の種類を示す情報と、内視鏡システム（S）の設定値とを設定可能としてもよい。
【0116】
この場合、前処理プラットフォーム４０は、入力ポート（図１１に示す例ではPort PP5）から入力された表示プラットフォーム３０で設定された、手術画像処理プラットフォーム１Ａの使用環境で使用される内視鏡システム（S）の種類を示す情報と、エンドスコープ（ES）の種類を示す情報と、内視鏡システム（S）の設定値を取得してもよい。なお、前処理プラットフォーム４０は、入力ポート（図１１に示す例ではPort PP1）から入力された内視鏡システムのシリアル信号より内視鏡システム（S）とエンドスコープ（ES）の種類の組合せを示す情報を、変換先の情報として取得してもよい。また、前処理プラットフォーム４０は、入力ポート（図１１に示す例ではPort PP1）から入力された内視鏡システム（S）の設定値を、変換元の情報として取得してもよい。
【0117】
次に、前処理プラットフォーム４０が、変換式を自動的に設定する例について説明する。
前処理プラットフォーム４０は、入力ポート（図１１に示す例ではPort PP4）から入力された推論プラットフォーム１０で設定された推論モデルが学習した内視鏡システム（S）とエンドスコープ（ES）の種類の組合せを示す情報を、変換元の情報として取得する。
前処理プラットフォーム４０は、入力ポート（図１１に示す例ではPort PP4）から入力された推論プラットフォーム１０で設定された推論モデルが学習した内視鏡システム（S）とエンドスコープ（ES）の種類の組合せを示す情報を、変換元の情報として取得する。
【0118】
図１４は、本発明の実施形態の応用例に係る手術画像処理プラットフォームにおいて、推論プラットフォームが前処理プラットフォームに出力する推論モデル機器情報を説明する図である。
推論プラットフォーム１０は、ユーザに選択された推論モデルが学習した手術画像を撮像した内視鏡システム（S）の種類とエンドスコープ（ES）の種類の組合せを示す推論モデル機器情報を、前処理プラットフォーム４０に出力する。
推論プラットフォーム１０は、ユーザに選択された推論モデルが学習した手術画像を撮像した内視鏡システム（S）の種類とエンドスコープ（ES）の種類の組合せを示す推論モデル機器情報を、前処理プラットフォーム４０に出力する。
【0119】
図１４に示す例では、例えば、推論プラットフォーム１０において、ユーザが選択した推論モデルがモデルＢであった場合、推論プラットフォーム１０は、モデルＢが学習した手術画像を撮像した内視鏡システムの種類とエンドスコープの種類を示す情報（S:A+ES:B）を、推論モデル機器情報として前処理プラットフォーム４０に出力する。
【0120】
図１５は、本発明の実施形態の応用例に係る手術画像処理プラットフォームにおいて、表示プラットフォームが前処理プラットフォームに出力する接続機器情報を説明する図である。
表示プラットフォーム３０は、手術画像処理プラットフォーム１Ａに接続された手術画像を撮像する内視鏡システム（S）の種類と、エンドスコープ（ES）の種類を示す情報と、内視鏡システム（S）の設定値（「明るさ」、「色調」、「カラーモード」、「コントラスト」）を示す接続機器情報を、前処理プラットフォーム４０に出力する。
表示プラットフォーム３０は、手術画像処理プラットフォーム１Ａに接続された手術画像を撮像する内視鏡システム（S）の種類と、エンドスコープ（ES）の種類を示す情報と、内視鏡システム（S）の設定値（「明るさ」、「色調」、「カラーモード」、「コントラスト」）を示す接続機器情報を、前処理プラットフォーム４０に出力する。
【0121】
図１５に示す例では、例えば、表示プラットフォーム３０は、手術画像を撮像する内視鏡システム（S）の種類を示す情報（S:A）と、エンドスコープ（ES）の種類を示す情報（ES:A）と、内視鏡システム（S）の設定値（「明るさ」（Def（デフォルト））、「色調」（R-/B+）、「カラーモード」（Def）、「コントラスト」（高））を示す接続機器情報を、前処理プラットフォーム４０に出力する。
【0122】
上述の場合、前処理プラットフォーム４０は、推論モデル機器情報におけるモデルＢが学習した手術画像を撮像した内視鏡システム（S）の種類とエンドスコープ（ES）の種類を示す情報（S:A+ES:B）を、変換元を示す情報として取得する。また、前処理プラットフォーム４０は、図１５に示す例の接続機器情報における手術画像処理プラットフォーム１Ａに接続された手術画像を撮像する内視鏡システム（S）の種類とエンドスコープ（ES）の種類を示す情報（S:A+ES:A）を、変換先を示す情報として取得する。
【0123】
この場合、前処理プラットフォーム４０は、図１２に示す例では、「内視鏡システム（S）＋エンドスコープ（ES）間変換要素」として、変換元（S:A+ES:B）と変換先（S:A+ES:A）とが対応付けられた変換式「Conversion A」を選択する。
【0124】
また、前処理プラットフォーム４０は、図１２に示す例では、「内視鏡システム（S）設定値間変換要素」として、変換元（「明るさ」（Def（デフォルト））、「色調」（R-/B+）、「カラーモード」（Def）、「コントラスト」（高））を、変換先（手術画像処理プラットフォーム１Ａに接続され、手術画像を取得する内視鏡システム（S:A）のデフォルト設定値）に変換する変換式を選択する。
【0125】
このような応用例に係る手術画像処理プラットフォーム１Ａによれば、前処理プラットフォーム４０が、手術を撮影した手術画像の画質を変換し、推論プラットフォーム１０が、画質が変換された手術画像を解析する。これにより、手術画像処理プラットフォーム１Ａに入力された手術画像を、そのまま解析するのではなく、手術画像の画質を、例えば、推論プラットフォーム１０の解析精度が向上する画質に変換し、画質が変換された手術画像を解析することで、解析結果の精度が低下するのを防止できる。
【0126】
また、手術画像処理プラットフォーム１Ａによれば、あるユーザにより使用されている変換器を、例えば、手術画像処理プラットフォーム１Ａの提供者や別のユーザに提供することが可能となる。
これにより、手術画像の画質を変換させた変換器の改良や流用等が可能となり、ユーザビリティが向上する。
これにより、手術画像の画質を変換させた変換器の改良や流用等が可能となり、ユーザビリティが向上する。
【0127】
また、手術画像処理プラットフォーム１Ａによれば、前処理プラットフォーム４０は、解析対象となる手術を撮影した手術画像の画質を、推論プラットフォーム１０が学習した画像の画質に応じた変換式により変換するので、解析結果の精度が低下するのを防止できる。
【0128】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。なお、上記の実施形態では、本発明を物の発明として、手術画像処理プラットフォームについて説明したが、本発明において、手術画像処理プラットフォームを各種部として機能させるプログラムの発明と捉えることもできる。
【符号の説明】
【0129】
１、１Ａ 手術画像処理プラットフォーム
１０ 推論プラットフォーム
２０ 演算プラットフォーム
３０ 表示プラットフォーム
４０ 前処理プラットフォーム
１００ 手術支援システム
１０ 推論プラットフォーム
２０ 演算プラットフォーム
３０ 表示プラットフォーム
４０ 前処理プラットフォーム
１００ 手術支援システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】