特許 7521538 医療イメージングシステム、医療イメージング方法及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】医療イメージングシステム、医療イメージング方法及び画像処理装置

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240717BHJP

【ＦＩ】

A61B1/045 610

【請求項の数】 14

(21)【出願番号】P 2021556070

(86)(22)【出願日】2020-11-06

(86)【国際出願番号】 JP2020041553

(87)【国際公開番号】W WO2021095659

(87)【国際公開日】2021-05-20

【審査請求日】2023-09-25

(31)【優先権主張番号】P 2019207358

(32)【優先日】2019-11-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】浅井 淳

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特開２０１９－１６２２３１（ＪＰ，Ａ）

【文献】国際公開第２０１９／１７６５５６（ＷＯ，Ａ１）

【文献】特開２００７－２７５２２０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３４２８４７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／０４５

(57)【特許請求の範囲】

【請求項1】

医療イメージングシステムであって、
撮像装置と、前記撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置と、を備える医療イメージング装置から、前記第１の画像処理をされた手術画像信号である第１の手術画像信号を取得し、前記第１の手術画像信号に対して第２の画像処理を行う第２の画像処理装置と、
前記第１の手術画像信号と、前記第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得し、前記第１の手術画像信号と前記第２の手術画像信号との少なくとも１つに第３の画像処理を行って、前記第１の手術画像信号と前記第２の手術画像信号とに基づく変換処理により表示画像信号を生成する第３の画像処理装置と、
を備え、
前記第１の画像処理、前記第２の画像処理、及び前記第３の画像処理は、それぞれ異なる画像処理であり、
前記第３の画像処理装置は、前記第２の画像処理の種類に基づいて前記第３の画像処理の内容を変更する医療イメージングシステム。

【請求項2】

前記第２の画像処理は、前記第３の画像処理よりも計算量が大きい
請求項１に記載の医療イメージングシステム。

【請求項3】

前記第２の画像処理は、処理対象となる画像の内容によって計算量が変動する画像処理である
請求項１に記載の医療イメージングシステム。

【請求項4】

前記第１の画像処理装置は、ＣＣＵ（Camera Control Unit）であり、
前記第３の画像処理装置は、ＩＰ（Internet Protocol）コンバータであり、
前記第１の画像処理装置と、前記第３の画像処理装置とは、手術室内に配置される
請求項１に記載の医療イメージングシステム。

【請求項5】

前記第２の画像処理装置は、手術室外に配置されるサーバ装置であり、
前記第２の画像処理装置は、各々が異なる手術室内に配置される複数のＩＰコンバータに接続されている
請求項４に記載の医療イメージングシステム。

【請求項6】

前記第３の画像処理装置は、前記第２の画像処理装置による前記第２の画像処理の結果に基づいて、第３の画像処理を行う
請求項１に記載の医療イメージングシステム。

【請求項7】

前記第３の画像処理装置は、前記第１の手術画像信号に前記第２の手術画像信号を重畳した第３の手術画像信号に対して前記第３の画像処理を行う
請求項１に記載の医療イメージングシステム。

【請求項8】

前記第２の画像処理は、ＳＬＡＭ（Simultaneous Localization and Mapping）または機械学習による物体認識のいずれかである
請求項１に記載の医療イメージングシステム。

【請求項9】

前記第１の画像処理装置、前記第２の画像処理装置及び前記第３の画像処理装置の少なくとも１つは、他の装置から取得した制御コマンドに基づいて処理を実行する
請求項１に記載の医療イメージングシステム。

【請求項10】

前記第２の画像処理装置は、複数のアプリケーションを有し、
前記複数のアプリケーションから使用するアプリケーションが、クライアント端末からの指定により選択される
請求項１に記載の医療イメージングシステム。

【請求項11】

前記第３の画像処理装置は、選択された前記アプリケーションに基づく前記第３の画像処理を、前記クライアント端末からの指示に応じて実行する
請求項１０に記載の医療イメージングシステム。

【請求項12】

前記第３の画像処理装置は、前記第２の画像処理装置が応答しない場合、前記第１の手術画像信号を前記表示画像信号とする
請求項１に記載の医療イメージングシステム。

【請求項13】

医療イメージング方法であって、
第２の画像処理装置が、
撮像装置と、前記撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置と、を備える医療イメージング装置から、前記第１の画像処理をされた手術画像信号である第１の手術画像信号を取得し、前記第１の手術画像信号に対して第２の画像処理を行い、
第３の画像処理装置が、
前記第１の手術画像信号と、前記第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得し、前記第１の手術画像信号と前記第２の手術画像信号との少なくとも１つに第３の画像処理を行って、前記第１の手術画像信号と前記第２の手術画像信号とに基づく変換処理により表示画像信号を生成し、
前記第１の画像処理、前記第２の画像処理、及び前記第３の画像処理は、それぞれ異なる画像処理であり、
前記第３の画像処理装置は、前記第２の画像処理の種類に基づいて前記第３の画像処理の内容を変更する
医療イメージング方法。

【請求項14】

画像処理装置であって、
撮像装置と、前記撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置と、を備える医療イメージング装置から、前記第１の画像処理をされた手術画像信号である第１の手術画像信号と、第２の画像処理装置により前記第１の手術画像信号に対して第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得する取得部と、
前記第１の手術画像信号と前記第２の手術画像信号との少なくとも１つに第３の画像処理を行って、前記第１の手術画像信号と前記第２の手術画像信号とに基づく変換処理により表示画像信号を生成する生成部と、
を備え、
前記第１の画像処理、前記第２の画像処理、及び前記第３の画像処理は、それぞれ異なる画像処理であり、
前記第２の画像処理の種類に基づいて前記第３の画像処理の内容を変更する
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療イメージングシステム、医療イメージング方法及び画像処理装置に関する。

【背景技術】

【0002】

内視鏡やビデオ顕微鏡といった医療イメージング装置を用いた手術は、より精細な手技が可能となるとともに、画像処理技術による手技のサポートを行うことが期待されている。このとき、医療イメージング装置により生成された手術画像信号に対して行われる画像処理は、手技の妨げとなることを抑制することが望まれる。そのため、画像処理では、例えば、一定時間以内に１フレーム分の画像処理が完了することといったリアルタイム性や、画像処理にかかる処理時間、すなわち遅延が小さいことといった低レイテンシが求められる。また、複雑な画像処理を行う際には多大な計算リソースが求められることが多い。そのため、画像処理が複雑になるほど、その画像処理に要する計算リソースが増大するという傾向がある。

【0003】

ところで、手術室においては、様々な医療イメージング装置が用いられており、所望の画像処理機能を医療イメージング装置が備えていない場合がある。そこで、医療イメージング装置から出力された手術画像に対して回転補正等の画像処理を行うＩＰコンバータが提供されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１６２２３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術によれば、医療イメージング装置とは別にＩＰコンバータ（他の画像処理装置）を用いて回転補正の画像処理を行う。

【0006】

しかしながら、ＩＰコンバータは医療機器の信号をＩＰ化するための装置であるため、計算量の大きい画像処理を行えるほどの計算能力を備えることは難しいといった課題がある。このように従来技術では、計算量が大きい画像処理ができない。また、ＩＰコンバータは手術室に複数台必要であるため、高価なＣＰＵやＧＰＵ等のプロセッサを使うことがコスト的な観点から難しい。そのため、従来技術のような医療イメージング装置（に含まれる画像処理装置）とＩＰコンバータ（他の画像処理装置）といった２つの画像処理装置の構成では、所望の画像処理を行なうことが難しい場合があり、表示する画像を適切に生成することができるとは限らない。そのため、画像処理をより柔軟に実行可能にするシステム構成や装置が望まれている。

【0007】

そこで、本開示では、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる医療イメージングシステム、医療イメージング方法及び画像処理装置を提案する。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、医療イメージングシステムは、撮像装置と、撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置と、を備える医療イメージング装置から、前記第１の画像処理をされた手術画像信号である第１の手術画像信号を取得し、前記第１の手術画像信号に対して第２の画像処理を行う第２の画像処理装置と、前記第１の手術画像信号と、前記第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得し、前記第１の手術画像信号と前記第２の手術画像信号との少なくとも１つに第３の画像処理を行って、前記第１の手術画像信号と前記第２の手術画像信号とに基づく変換処理により表示画像信号を生成する第３の画像処理装置と、を備え、前記第１の画像処理、前記第２の画像処理、及び前記第３の画像処理は、それぞれ異なる画像処理である。

【図面の簡単な説明】

【0009】

【図1】本開示の実施形態に係る医療イメージングシステムの構成及び処理の一例を示す図である。

【図2】実施形態に係る医療イメージングシステムの具体的構成例を示す図である。

【図3】従来例に係る医療イメージングシステムの構成例を示す図である。

【図4】実施形態に係る第３の画像処理装置であるＩＰコンバータの構成例を示す図である。

【図5】実施形態に係る第３の画像処理装置であるＩＰコンバータによる処理の手順を示すフローチャートである。

【図6】実施形態に係る医療イメージングシステムの処理手順を示すシーケンス図である。

【図7】医療イメージングシステムの各構成要素の配置の一例を示す図である。

【図8】画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる医療イメージングシステム、医療イメージング方法及び画像処理装置が限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0011】

以下に示す項目順序に従って本開示を説明する。
１．実施形態
１－１．本開示の実施形態に係る医療イメージングシステムの構成及び処理の概要
１－１－１．第１～第３の画像処理等
１－１－２．医療イメージングシステムの構成要素
１－２．実施形態に係る医療イメージングシステムの具体的構成の一例
１－３．従来例に係る医療イメージングシステムの構成
１－４．従来との比較及び効果
１－５．第３の画像処理装置の一例であるＩＰコンバータの構成
１－６．第３の画像処理装置に係る処理の手順
１－７．医療イメージングシステムに係る処理の手順
１－８．医療イメージングシステムの各構成要素の配置例
２．その他の実施形態
２－１．変形例
２－２．その他
３．本開示に係る効果
４．ハードウェア構成

【0012】

［１．実施形態］
［１－１．本開示の実施形態に係る医療イメージングシステムの構成及び処理の概要］
図１は、本開示の実施形態に係る医療イメージングシステムの構成及び処理の一例を示す図である。本開示の実施形態に係る処理は、図１に示す第２の画像処理装置である画像処理サーバ２０や第３の画像処理装置であるＩＰ（Internet Protocol）コンバータ１００を含む医療イメージングシステム１によって実現される。なお、以下では、第１の画像処理装置であるＣＣＵ（Camera Control Unit）１２が行う画像処理を「第１の画像処理」と記載する。また、第２の画像処理装置である画像処理サーバ２０が行う画像処理を「第２の画像処理」と記載する。また、第３の画像処理装置であるＩＰコンバータ１００が行う画像処理を「第３の画像処理」と記載する。

【0013】

図１に示す処理を説明する前に、図１に示す医療イメージングシステム１の概要について説明する。図１に示す医療イメージングシステム１には、医療イメージング装置１０と、画像処理サーバ２０と、ＩＰコンバータ１００と、画像受信装置２００とが含まれる。医療イメージングシステム１に含まれる各装置は所定の通信網（図４中のネットワークＮ等）を介して、有線または無線により通信可能に接続される。なお、図１に示した医療イメージングシステム１には、複数台の医療イメージング装置１０や、複数台の画像処理サーバ２０や、複数台のＩＰコンバータ１００、複数台の画像受信装置２００が含まれてもよい。

【0014】

医療イメージング装置１０は、画像送出装置として機能する。例えば、医療イメージング装置１０は、モダリティとも称され、医療用に用いられる装置である。図１の例では、カメラヘッドとＣＣＵを含む硬性内視鏡を医療イメージング装置１０の一例として示すが、医療イメージング装置１０は、内視鏡に限らず、術野カメラや顕微鏡等の種々の医療機器であってもよい。すなわち、医療イメージング装置１０は、内視鏡に限らず、画像を撮像する機能を有する装置であればよく、その構成は特に限定されない。

【0015】

医療イメージング装置１０は、イメージセンサ（カメラセンサ）等の撮像部を備えるカメラ１１（撮像装置）とＣＣＵ１２とを有する。医療イメージング装置１０は、カメラ１１による撮像機能を有する。医療イメージング装置１０は、カメラ１１により、例えば生体組織等の種々の対象を撮像する。例えば、医療イメージング装置１０は、手術対象となる部位を撮像する。医療イメージング装置１０のカメラ１１は、撮像により手術画像信号を生成する。カメラ１１とＣＣＵ１２は信号ケーブルで接続されており、カメラ１１からＣＣＵ１２へ手術画像信号が送信される。医療イメージング装置１０は、カメラ１１からの入力データに対して、ＣＣＵ１２により第１の画像処理を実行する。なお、医療イメージング装置１０が硬性内視鏡である場合は、カメラ１１は硬性内視鏡のカメラヘッドに相当する。

【0016】

ＣＣＵ１２は、第１の画像処理装置である。ＣＣＵ１２は、カメラ１１により生成された手術画像信号に対して第１の画像処理を実行する画像処理装置（コンピュータ）である。例えば、ＣＣＵ１２は、デモザイクやノイズ除去や各種の歪み補正やガンマ補正などの基本的な画像処理（現像処理）である第１の画像処理を実行する。ＣＣＵ１２は、手術室内に配置される（図７参照）。ＣＣＵ１２は、ＣＣＵに備えられたタッチパネルやボタンを介した入力により処理を実行するか、または他の装置（例えばクライアント端末など）から取得した制御コマンドに基づいて処理を実行する。

【0017】

例えば、ＣＣＵ１２は、通信部と記憶部と制御部とを有する。ＣＣＵ１２の通信部は、例えば、ＮＩＣ（Network Interface Card）等によって実現され画像処理サーバ２０やＩＰコンバータ１００や画像受信装置２００やクライアント端末（図示省略）等の他の装置との間で情報の送受信を行う。ＣＣＵ１２の記憶部は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部は、第１の画像処理を行うための各種情報を記憶する。例えば、記憶部は、第１の画像処理の具体的な処理内容や、第１の画像処理を実行するためのプログラム（第１の画像処理プログラム）を記憶する。ＣＣＵ１２の制御部は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、ＣＣＵ１２の内部に記憶されたプログラム（例えば、本開示に係る第１の画像処理プログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、ＣＣＵ１２の制御部は回路により実現されればよく、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路によりＣＣＵ１２の機能を実現されてもよい。

【0018】

ＣＣＵ１２は、カメラに接続され、カメラで生成された手術画像信号に対して第１の画像処理を行う。図１に示すように、ＣＣＵ１２は、医療イメージング装置１０内に設けられ、カメラ１１に接続され、カメラ１１により撮像された手術画像信号に対して第１の画像処理を行う。

【0019】

画像処理サーバ２０は、第２の画像処理装置である。画像処理サーバ２０は、第２の画像処理を実行する画像処理装置（コンピュータ）である。画像処理サーバ２０は、手術室外に配置されるサーバ装置であり、各々が異なる手術室内に配置される複数のＩＰコンバータ１００にＩＰスイッチおよびネットワークを介して接続されている（図７参照）。画像処理サーバ２０は、手術室内に配置されるＣＣＵ１２やＩＰコンバータ１００以外の画像処理装置である。画像処理サーバ２０は、他の装置（例えばクライアント端末など）から取得した制御コマンドに基づいて処理を実行する。

【0020】

なお、医療イメージングシステム１における画像処理サーバ２０の配置は、上記のような手術室外に配置される形態に限られない。例えば、画像処理サーバ２０の運用形態は、手術室内や手術室が設けられた施設内に配置されるようなオンプレミスの形態であってもよいし、手術室外や手術室が設けられた施設外に配置されるようなクラウドの形態であってもよい。すなわち、医療イメージングシステム１における画像処理サーバ２０は、医療イメージングシステム１の運用に関する条件等を満たせば、設置位置はいずれの位置であってもよい。ただし、画像処理サーバ２０が手術室外に設けられている場合は、手術室に設置できない大型の冷却設備などを使用できるため、画像処理サーバを高性能化できる。

【0021】

例えば、画像処理サーバ２０は、通信部と記憶部と制御部とを有する。画像処理サーバ２０の通信部は、例えば、ＮＩＣ等によって実現され医療イメージング装置１０やＩＰコンバータ１００や画像受信装置２００やクライアント端末（図示省略）等の他の装置との間で情報の送受信を行う。画像処理サーバ２０の記憶部は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部は、第２の画像処理を行うための各種情報を記憶する。例えば、記憶部は、第２の画像処理の具体的な処理内容や、第２の画像処理を実行するためのプログラム（第２の画像処理プログラム）を記憶する。画像処理サーバ２０の制御部は、例えば、ＣＰＵやＭＰＵやＧＰＵ（Graphics Processing Unit）等によって、画像処理サーバ２０の内部に記憶されたプログラム（例えば、本開示に係る第２の画像処理プログラム等の画像処理プログラム等）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部は、回路により実現されればよく、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。画像処理サーバ２０は、画像処理サーバ２０に備えられたタッチパネルやボタンを介した入力により処理を実行するか、または他の装置（例えばクライアント端末など）から取得した制御コマンドに基づいて処理を実行する。

【0022】

画像処理サーバ２０は、第１の画像処理をされた手術画像信号である第１の手術画像信号を取得し、第１の手術画像信号に対して第２の画像処理を行う。画像処理サーバ２０は、第３の画像処理よりも計算量が大きい第２の画像処理を実行する。第２の画像処理は、処理対象となる画像の内容によって計算量が変動する画像処理であることが好ましい。第２の画像処理は、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）処理または機械学習による物体認識処理である。例えば、画像処理サーバ２０は、画像に含まれる器具の数や画像の大きさ等に応じて計算量が変動する物体認識に関する画像処理を第１の手術画像信号に対して第２の画像処理として実行する。

【0023】

また、例えば、第２の画像処理としてＳＬＡＭ処理を実行する場合、画像処理サーバ２０は、ＳＬＡＭに関する種々の技術を用いて、第２の画像処理を実行する。この場合、画像処理サーバ２０は、第１の手術画像信号に基づいたＳＬＡＭ処理を行うことで、医療イメージング装置１０（またはカメラ１１）が観測している環境の３次元地図を作成するとともに、カメラ１１の自己位置を特定する。ＳＬＡＭ処理は、例えば、ＳＬＡＭ処理であるＰＴＡＭ、ＬＳＤ－ＳＬＡＭ、ＯＲＢ－ＳＬＡＭやＲＧＢ－Ｄ－ＳＬＡＭのいずれかといったアルゴリズムが用いられる。例えば、画像処理サーバ２０は、ＳＬＡＭに関する技術を用いて医療イメージング装置１０（カメラ１１）が観測している環境（体内）の体内環境地図情報（体内の三次元情報等）を作成するとともに、カメラ１１の自己位置を特定する。単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、例えば「Andrew J.Davison, “Real-Time Simultaneous Localization and Mapping with a Single Camera”, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410」において説明されている。また、被写体のカメラ画像を用いて被写体の３次元位置を推定するＳＬＡＭ技術は、特にＶｉｓｕａｌ ＳＬＡＭとも称される。なお、この場合、医療イメージング装置１０は、例えば、ＳＬＡＭ処理を実行するために必要な情報を撮像（検知）する構成のカメラ１１を有してもよいし、カメラ１１以外のＳＬＡＭを実行するために必要なセンサを有してもよい。例えば、カメラ１１以外に例えばＩＭＵセンサを備えて、第１の手術画像信号とＩＭＵセンサのセンサ信号とに基づいてＳＬＡＭ処理を行ってもよい。また、カメラ１１は、単眼カメラであってもよいし、ステレオカメラであってもよい。

【0024】

また、例えば、第２の画像処理として機械学習による物体認識を実行する場合、画像処理サーバ２０は、機械学習に関する種々の技術を用いて、第２の画像処理を実行する。この場合、画像処理サーバ２０は、機械学習に関する技術を用いて、物体認識を行う認識モデルを生成し、生成した認識モデルに第１の手術画像信号を入力することで、第２の画像処理を実行する。例えば、それぞれに被写体の特徴がラベルされた複数の手術画像信号を学習データとして多層ニューラルネットワークを有する機械学習アルゴリズムに入力して学習を実行することで、パラメータを生成する。そして画像処理サーバ２０は、パラメータに基づいて調整された多層ニューラルネットワークを有する推論アルゴリズム（例えば認識アルゴリズム）を読み出し、第２の画像処理として推論アルゴリズムに第１の手術画像信号を入力して、算出された結果（例えば認識結果）を出力する。なお、上記は一例であり、画像処理サーバ２０は、ＳＬＡＭや機械学習による物体認識が実行可能であれば、どのような技術を用いて第２の画像処理を実行してもよい。

【0025】

画像処理サーバ２０は、複数のアプリケーションプログラム（以下、「アプリ」ともいう）を記憶部に有し、クライアント端末からの指定による選択に応じて複数のアプリから使用するアプリを選択する。例えば、画像処理サーバ２０は、ＳＬＡＭ処理を行う第１アプリと物体認識を行う第２アプリとを含む複数のアプリを有し、クライアント端末からの指定により選択されたアプリに対応する画像処理を第２の画像処理として実行する。

【0026】

ＩＰコンバータ１００は、画像信号をＩＰ伝送可能な信号（例えば、イーサネット信号）に変換するコンバータである。ＩＰコンバータは、さらに電気信号を光信号に変換できることが好ましい。また、ＩＰコンバータ１００は、第３の画像処理装置である。ＩＰコンバータ１００は、第３の画像処理を実行する画像処理装置（コンピュータ）である。例えば、ＩＰコンバータ１００は、ズーム、手振れ補正、回転補正、またはＰｉｎＰ（Picture in Picture）の少なくともいずれか１つを第３の画像処理として実行する。ＩＰコンバータ１００は、種々の技術を用いて、ズーム、手振れ補正、回転補正、またはＰｉｎＰ等の画像処理を第３の画像処理として行う。例えば、ＩＰコンバータ１００は、手振れ補正を行う場合、手術画像に対して動きベクトルの抽出処理を実行し、抽出した動きベクトルに対して逆位相に手術画像を動かすことにより、手振れを補正する。ＩＰコンバータ１００は、手術室内に配置される（図７参照）。ＩＰコンバータ１００は、入力された信号や他の装置（例えばクライアント端末など）から取得した制御コマンドに基づいて処理を実行する。

【0027】

ＩＰコンバータ１００は、第１の手術画像信号と、第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得し、第１の手術画像信号と第２の手術画像信号との少なくとも１つに第３の画像処理を行って、第１の手術画像信号と第２の手術画像信号とに基づく変換処理により表示画像信号を生成する。

【0028】

ＩＰコンバータ１００は、画像処理サーバ２０による第２の画像処理の結果に基づいて、第３の画像処理を行う。ＩＰコンバータ１００は、第１の手術画像信号に第２の手術画像信号を重畳した第３の手術画像信号に対して第３の画像処理を行う。ＩＰコンバータ１００は、選択されたアプリに基づく第３の画像処理を、クライアント端末からの指示に応じて実行する。ＩＰコンバータ１００は、第２の画像処理の種類に基づいて第３の画像処理の内容を変更する。ＩＰコンバータ１００は、選択されたアプリの第２の画像処理に対応する第３の画像処理を実行する。ＩＰコンバータ１００は、画像処理サーバ２０が応答しない場合、第１の手術画像信号を表示画像信号とする。

【0029】

画像受信装置２００は、外部装置から画像を受信する装置である。画像受信装置２００は、外部装置から受信した画像を表示したり、記録したりする装置である。図１の例では、画像受信装置２００がモニタである場合を示すが、モニタに限らず、画像受信装置２００は、画像を表示する表示装置や画像を記録する記憶装置等の装置（画像管理サーバ）等の種々の装置であってもよい。例えば、画像受信装置２００は、表示装置であるモニタ以外のディスプレイやプロジェクタ、または記憶装置であるレコーダ等であってもよい。画像受信装置２００は、ＩＰコンバータ１００から出力された画像信号（画像）を受信する。画像受信装置２００は、ＩＰコンバータ１００から送信された画像信号（画像）を受信する。

【0030】

ここから、図１に示す処理について具体的に説明する。図１の例では、医療イメージング装置１０が硬性内視鏡である場合を一例として説明する。

【0031】

まず、医療イメージング装置１０のカメラ１１は、撮像を行う。カメラ１１は、第１の画像処理装置であるＣＣＵ１２に撮像した手術画像信号を送信する。そして、ＣＣＵ１２は、カメラ１１から取得した手術画像信号に対して第１の画像処理ＰＳ１を実行する。例えば、ＣＣＵ１２は、現像処理である第１の画像処理ＰＳ１により図１に示す手術画像ＩＭ１に対応する第１の手術画像信号を生成する。

【0032】

そして、ＣＣＵ１２は、第２の画像処理装置である画像処理サーバ２０に第１の手術画像信号を送信する。第１の手術画像信号は、図１に示す手術画像ＩＭ１に対応する。画像処理サーバ２０は、手術画像ＩＭ１に対応する第１の手術画像信号に対して第２の画像処理ＰＳ２を実行する。図１の例では、画像処理サーバ２０は、物体認識（器具認識）である第２の画像処理ＰＳ２を実行する。画像処理サーバ２０は、第１の手術画像信号に対する第２の画像処理ＰＳ２により、第１の手術画像信号の画像領域に含まれる３つの器具を認識する。例えば、ＣＣＵ１２は、器具認識である第２の画像処理ＰＳ２により図１に示す手術画像ＩＭ２に対応する第２の手術画像信号を生成する。画像処理サーバ２０は、３つの器具の各々の位置（領域）を示す３つの枠ＦＲ１～ＦＲ３を含む手術画像ＩＭ２に対応する第２の手術画像信号を生成する。

【0033】

そして、画像処理サーバ２０は、ＩＰコンバータ１００に第２の手術画像信号を送信する。画像処理サーバ２０は、手術画像ＩＭ２に対応する第２の手術画像信号をＩＰコンバータ１００に送信する。また、ＣＣＵ１２は、第３の画像処理装置であるＩＰコンバータ１００に第１の手術画像信号を送信する。ＣＣＵ１２は、手術画像ＩＭ１に対応する第１の手術画像信号をＩＰコンバータ１００に送信する。なお、画像処理サーバ２０がＩＰコンバータ１００に第２の手術画像信号を送信するタイミングと、ＣＣＵ１２が第１の手術画像信号をＩＰコンバータ１００に送信するタイミングは、いずれが先であってもよいし、同時であってもよい。また、ＣＣＵ１２や画像処理サーバ２０の送信先は、ＩＰスイッチによって決定されてもよい。

【0034】

ＩＰコンバータ１００は、第１の手術画像信号と第２の手術画像信号とを用いて第３の画像処理ＰＳ３を行う。図１の例では、ＩＰコンバータ１００は、デジタルズームを第１の手術画像信号に対して実行する。ＩＰコンバータ１００は、手術画像ＩＭ１に対応する第１の手術画像信号に対してデジタルズームを実行することにより、手術画像ＩＭ３に対応する手術画像信号を生成する。

【0035】

そして、ＩＰコンバータ１００は、子画面重畳描画を実行する。ＩＰコンバータ１００は、手術画像ＩＭ３に対応する手術画像信号に第２の手術画像信号を重畳させる。図１の例では、ＩＰコンバータ１００は、手術画像ＩＭ３に対応する手術画像信号に手術画像ＩＭ２に対応する第２の手術画像信号を重畳させる画像処理を実行する。ＩＰコンバータ１００は、ＰｉｎＰに関する画像処理を実行する。これにより、ＩＰコンバータ１００は、デジタルズーム後の手術画像ＩＭ３に３つの枠ＦＲ１～ＦＲ３を含む手術画像ＩＭ２が子画面として重畳された手術画像ＩＭ３１に対応する表示画像信号を生成する。ＩＰコンバータ１００は、デジタルズーム後の手術画像ＩＭ３の一部の領域に手術画像ＩＭ２が重畳された手術画像ＩＭ３１に対応する表示画像信号を生成する。図１では、ＩＰコンバータ１００は、手術画像ＩＭ３の右上側の領域ＡＲ１に手術画像ＩＭ２が重畳された手術画像ＩＭ３１に対応する表示画像信号を生成する。このように、ＩＰコンバータ１００は、２つの画像（映像）を組み合わせてＰｉｎＰ表示する表示画像信号を生成する。図１の例では、ＩＰコンバータ１００は、手術画像ＩＭ３と手術画像ＩＭ２とを組み合わせて、手術画像ＩＭ３に手術画像ＩＭ２をＰｉｎＰ表示する表示画像信号を生成する。

【0036】

そして、ＩＰコンバータ１００は、画像受信装置２００に表示画像信号を送信する。図１の例では、ＩＰコンバータ１００は、手術画像ＩＭ３１に対応する表示画像信号を画像受信装置２００に送信する。そして、画像受信装置２００は、手術画像ＩＭ３１を画面に表示する。

【0037】

上記のように、医療イメージングシステム１は、ＣＣＵ１２、ＩＰコンバータ１００、サーバ（画像処理サーバ２０）のそれぞれが異なる画像処理を行う。図１の例では、医療イメージングシステム１は、サーバが解析した結果に基づいてＩＰコンバータ１００が画像処理を行うのではなく、ＩＰコンバータ１００が行う画像処理に関与しない別の画像処理をＩＰコンバータ１００とは別のサーバ（画像処理サーバ２０）が行う。このように、医療イメージングシステム１は、画像認識のようにＩＰコンバータ１００で実行するには処理負荷が高い機能を、画像処理サーバ２０により行い、映像ネットワークを介して提供できる。すなわち、医療イメージングシステム１は、計算量の大きい画像処理は画像処理サーバ２０のようなサーバ側で行い、計算量の小さい画像処理はＩＰコンバータ側で行う。これにより、医療イメージングシステム１は、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。医療イメージングシステム１は、医療イメージング装置から出力された手術画像を解析して所望の画像処理機能を実現するために、リアルタイム性と低レイテンシを確保しつつ計算量が大きい画像処理を行えるようにすることができる。医療イメージングシステム１は、リアルタイム性や低レイテンシを確保しつつ計算量が大きい画像処理を実現することで、手技へのサポートをより行えるようにすることができる。

【0038】

また、医療イメージングシステム１は、内視鏡などの医療イメージング装置１０やモニタなどの画像受信装置２００のベンダーに依存しないシステムを構築することができる。また、医療イメージングシステム１では、各装置に分散された画像処理の機能により、ＣＣＵ１２の基本的な画像処理（現像処理）に影響を及ぼすことを抑制することができる。また、医療イメージングシステム１では、各装置に分散された画像処理の機能により、ＩＰコンバータ１００の画像伝送のリアルタイム性や低レイテンシを保つことが出来る。医療イメージングシステム１では、各装置に分散された画像処理の機能により、画像処理サーバ２０の性能の増強が容易なので、ネットワーク構成や、クライアントであるＩＰコンバータの増減、あるいは画像処理の機能性能の変更に柔軟に対応できる。

【0039】

［１－１－１．第１～第３の画像処理等］
上述したように、第１の画像処理が現像処理であり、第２の画像処理がＳＬＡＭや物体認識であり、第３の画像処理がズーム処理や重畳処理である場合を示したが、第１～第３の画像処理は種々の処理であってもよい。例えば、第２の画像処理は、第３の画像処理よりも計算量が大きければどのような処理であってもよい。また、第２の画像処理は、処理対象となる画像の内容によって計算量が変動する画像処理であってもよい。例えば、医療イメージングシステム１は、計算量に基づいて、第２の画像処理と、第３の画像処理とを決定してもよい。

【0040】

医療イメージングシステム１は、処理時間等の種々の基準を基に、各画像処理を第２の画像処理装置及び第３の画像処理装置のうち、いずれの画像処理装置に行わせるかを決定してもよい。例えば、医療イメージングシステム１は、４Ｋ解像度の画像に対して６０ｆｐｓ（frames per second＝フレーム毎秒）以内で処理を実行可能な画像処理を第３の画像処理として、第３の画像処理装置であるＩＰコンバータ１００に実行させてもよい。すなわち、医療イメージングシステム１は、４Ｋ解像度の画像に対して６０ｆｐｓで実行可能な計算量の少ない画像処理を第３の画像処理として、ＩＰコンバータ１００に実行させてもよい。また、例えば、医療イメージングシステム１は、４Ｋ解像度の画像に対して６０ｆｐｓ以内で処理が実行できない画像処理を第２の画像処理として、第２の画像処理装置である画像処理サーバ２０に実行させてもよい。すなわち、医療イメージングシステム１は、４Ｋ解像度の画像に対して６０ｆｐｓで実行が難しい計算量の多い画像処理を第２の画像処理として、画像処理サーバ２０に実行させてもよい。このように、医療イメージングシステム１は、単位時間あたりに処理させるフレーム数を基準として、いずれの画像処理装置にどの画像処理を行わせるかを決定してもよい。

【0041】

なお、上記のように、基準を４Ｋ解像度の画像に対して６０ｆｐｓとすることは一例であり、上記に限らず、種々の基準であってもよい。例えば、医療イメージングシステム１は、第１の画像処理を現像処理とし、第３の画像処理をズーム処理や重畳処理とし、第２の画像処理を第３の画像処理よりも計算量が多いものとして、各画像処理の分類を決定してもよい。また、例えば、医療イメージングシステム１は、現像処理を第１の画像処理に決定し、ＳＬＡＭや物体認識等の認識処理や超解像処理等を含む強調処理を第２の画像処理に決定し、第２の画像処理よりも計算量が小さいズーム処理や重畳処理を含む付加処理を第３の画像処理に決定してもよい。なお、上記は一例であり、各画像処理を第１の画像処理、第２の画像処理、第３の画像処理のいずれに分類するかは、用途や目的などに応じて種々の基準に基づいて決定されてもよい。

【0042】

また、第１～第３の画像処理は、図１に示すような処理内容や処理手順に限らず、種々の処理であってもよい。例えば、画像処理サーバ２０は、第２の画像処理の物体認識結果として、器具の位置を示す枠ＦＲ１～ＦＲ３のみが配置された手術画像（手術画像ＩＭ２２）を生成してもよい。そして、ＩＰコンバータ１００は、画像処理サーバ２０から手術画像ＩＭ２２を取得し、ＣＣＵ１２から取得した手術画像ＩＭ１に重畳させる画像処理を行ってもよい。これにより、ＩＰコンバータ１００は、手術画像ＩＭ１に手術画像ＩＭ２２が重畳された手術画像ＩＭ４１を生成してもよい。また、ＩＰコンバータ１００は、手術画像ＩＭ４１に対してズーム処理を行うことにより、所望の部位がズームされた手術画像ＩＭ５１を生成してもよい。そして、画像受信装置２００は、ＩＰコンバータ１００から取得した手術画像ＩＭ５１を表示してもよい。また、ＩＰコンバータ１００は、画像処理サーバ２０による第２の画像処理がＳＬＡＭである場合、ＳＬＡＭに対応する画像処理を第３の画像処理として実行する。例えば、ＩＰコンバータ１００は、ＳＬＡＭにより推定された位置へのズーム処理を第３の画像処理として実行してもよい。なお、上記は一例であり、医療イメージングシステム１は、上記に限らず、種々の組合せの第１～第３の画像処理を行ってもよい。

【0043】

［１－１－２．医療イメージングシステムの構成要素］
また、医療イメージングシステム１には、上記の構成要素に限らず、種々の構成要素が含まれてもよい。

【0044】

例えば、医療イメージングシステム１には、第１の画像処理装置、第２の画像処理装置及び第３の画像処理装置の少なくとも１つに、その装置を制御する制御コマンド（制御情報）を送信する他の装置を含んでもよい。この場合、例えば、クライアント端末や制御パネル等といった他の装置が、ＣＣＵ１２や画像処理サーバ２０やＩＰコンバータ１００に、処理の実行等を制御する制御コマンドを送信する。これにより、ＣＣＵ１２や画像処理サーバ２０やＩＰコンバータ１００は、他の装置から受信した制御コマンドに応じて処理が制御される。

【0045】

また、例えば、医療イメージングシステム１には、第２の画像処理装置が有する複数のアプリのうち、実行させるアプリケーションを指定するクライアント端末を含んでもよい。例えば、医療イメージングシステム１には、画像処理サーバ２０が有するＳＬＡＭを行う第１アプリと物体認識を行う第２アプリとのうち、実行させるアプリを指定するクライアント端末を含んでもよい。この場合、クライアント端末は、ユーザ（利用者）により指定されたアプリを示す情報（指定情報）を画像処理サーバ２０に送信し、指定情報を受信した画像処理サーバ２０は、指定されたアプリを用いて第２の画像処理を実行する。

【0046】

また、第３の画像処理装置は、選択されたアプリに基づく第３の画像処理を、クライアント端末からの指示に応じて実行する。ＩＰコンバータ１００は、画像処理サーバ２０が実行したアプリに対応する第３の画像処理を実行する。ＩＰコンバータ１００は、画像処理サーバ２０が物体認識に関する画像処理を第２の画像処理として実行した場合、物体認識に対応する画像処理を第３の画像処理として実行する。例えば、ＩＰコンバータ１００は、画像処理サーバ２０が物体認識に関する画像処理を第２の画像処理として実行した場合、その物体認識の結果を、第１の手術画像信号に重畳させるための画像処理を第３の画像処理として実行する。

【0047】

［１－２．実施形態に係る医療イメージングシステムの具体的構成の一例］
次に、図２を用いて医療イメージングシステム１の具体的構成の一例を説明する。図２は、実施形態に係る医療イメージングシステムの具体的構成例を示す図である。

【0048】

医療イメージングシステム１は、複数の医療イメージング装置１０、送信側の複数のＩＰコンバータ３０、ＩＰスイッチ４０、画像処理サーバ２０、受信側の複数のＩＰコンバータ１００、複数の画像受信装置２００から構成されている。

【0049】

各医療イメージング装置１０のカメラ１１でそれぞれ撮像された手術画像の電気信号（手術画像信号）は、ＣＣＵ１２により第１の画像処理がされた後、対応するＩＰコンバータ３０によって光信号に変換され、ＩＰスイッチ４０（光スイッチャ等）よって、画像処理サーバ２０やＩＰコンバータ１００に出力される。例えば、ＩＰコンバータ３０、１００と、ＩＰスイッチ４０との間は光ファイバケーブル等により接続される。なお、ＩＰコンバータ３０は、第３の画像処理装置であるＩＰコンバータ１００とは異なり、第３の画像処理を実行する機能を有さずに、ＩＰコンバータとしての機能のみを有する。ＩＰスイッチ４０は、外部装置（例えば、クライアント端末）の命令に基づいて受信した信号を所定の機器に送信する機能を備える。

【0050】

画像処理サーバ２０は、医療イメージング装置１０のＣＣＵ１２により第１の画像処理がされた第１の手術画像信号を取得し、第１の手術画像信号に対して第２の画像処理を実行する。そして、画像処理サーバ２０は、第２の画像処理がされた第２の手術画像信号をＩＰコンバータ１００へ送信する。

【0051】

ＩＰコンバータ１００は、ＩＰスイッチ４０から供給された光信号を電気信号に変換し、対応する画像受信装置２００にそれぞれ供給する。ＩＰコンバータ１００は、医療イメージング装置１０のＣＣＵ１２により第１の画像処理がされた第１の手術画像信号と、画像処理サーバ２０により第２の画像処理がされた第２の手術画像信号を取得する。そして、ＩＰコンバータ１００は、第１の手術画像信号と第２の手術画像信号との少なくとも１つに第３の画像処理を行って、第１の手術画像信号と第２の手術画像信号とに基づく変換処理により表示画像信号を生成する。そして、ＩＰコンバータ１００は、生成した表示画像信号を、対応する画像受信装置２００に供給する。

【0052】

なお、図２に示す医療イメージングシステム１の具体的構成は医療イメージングシステム１の一例であって、医療イメージングシステム１は図２に示す構成に限らず、図１に示す処理が実現可能であれば種々の構成であってもよい。

【0053】

［１－３．従来例に係る医療イメージングシステムの構成］
ここで、図３を用いて、従来例に係る医療イメージングシステムの構成について説明する。図３は、従来例に係る医療イメージングシステムの構成例を示す図である。なお、図２と同様の点については同様の符号を付して適宜説明を省略する。

【0054】

従来の医療イメージングシステムである従来システム５は、複数の医療イメージング装置１０、送信側の複数のＩＰコンバータ３０、ＩＰスイッチ４０、受信側の複数のＩＰコンバータ５００、複数の画像受信装置２００から構成されている。ＩＰコンバータ５００は、ＩＰスイッチ４０から供給された光信号を電気信号に変換し、対応する画像受信装置２００にそれぞれ供給する。また、ＩＰコンバータ５００は、画像処理を実行する。

【0055】

図３に示すように、従来は、第２の画像処理を行うサーバを有しない。そのため、従来システム５では、医療イメージング装置１０のＣＣＵ１２または受信側のＩＰコンバータ５００が、第２の画像処理の機能を実行する必要がある。ＩＰコンバータ５００が、第２の画像処理の機能を実行する場合、ＩＰコンバータ５００は、医療イメージング装置１０のＣＣＵ１２により第１の画像処理がされた第１の手術画像信号を用いて、第２の画像処理及び第３の画像処理を実行して表示画像信号を生成し、生成した表示画像信号を、対応する画像受信装置２００に供給する。

【0056】

［１－４．従来との比較及び効果］
上記の図１～図３の説明を基に以下、本願と従来との比較や効果について説明する。

【0057】

画像イメージング装置（医療イメージング装置１０）では一般に、カメラセンサ（カメラ１１）からの入力データに対して、ＣＣＵ１２でデモザイク／ノイズ除去／各種の歪み補正／ガンマ補正などの基本的な画像処理（現像処理）を施した上で外部に映像が出力される。

【0058】

医療イメージング装置１０から出力された画像はモニタなどの画像受信装置２００で表示されたり、外部のストレージに保存されたりする。この際に医療イメージング装置１０と画像受信装置２００を直接接続するのではなく、手術室内もしくは病院内の映像ネットワークを経由して接続する方式が一般的になりつつある。これは内視鏡をはじめ超音波診断装置や生体情報モニタなど手術で利用される様々な映像を任意のモニタで表示したり切り替えたりできるためである。

【0059】

上記で特にイーサネット（登録商標）を基盤とした映像ネットワークは、物理的なスペースをはじめ様々な観点でメリットがあるため導入が進んでいる。この場合、図２に示すように、イーサネット（登録商標）の信号と医療イメージング装置１０や画像受信装置２００の入出力とを変換するためのコンバータ（ＩＰコンバータ３０、１００）を挿入する必要がある。図２に示すように、医療イメージング装置１０や画像受信装置２００側の入出力は、ＳＤＩ（Serial Digital Interface）やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やディスプレイポート（Display Port）といった一般的なインターフェイスであることが多い。

【0060】

上記ＣＣＵ１２で行う基本的な画像処理（現像処理）に加え、デジタルズームのような付加的な画像処理を提供することで診断や手術の支援を行うことができる。これらの処理をＣＣＵ１２で行うことも考えられるが、ＣＣＵ１２内の機能が肥大化し開発及び品質管理コストの増加につながる。また同じような機能を機器ベンダーごとに提供することにより操作性が統一されず使い勝手が悪くなる。加えて、仮にＣＣＵ１２内で万一不具合が発生した場合、それがデジタルズームのような付加的な機能であっても最悪の場合映像が表示されなくなる可能性が有る。そのため、例えば手術中であればその進行が止まって患者の健康や生命に影響を与えるような状況が発生しうる。よってこのような付加的な画像処理は基本的な画像処理（現像処理）に影響を及ぼさないよう、ソフトウェア（ＳＷ）上もハードウェア（ＨＷ）上も分離されていることが望ましい。

【0061】

上記を鑑みてＩＰコンバータ１００でこのような付加的な機能を実現することが考えられる。医療イメージング装置１０からＩＰコンバータ１００に入力される画像は上記に述べたようにＳＤＩやＨＤＭＩ（登録商標）といった一般的なフォーマットであるので個別の機器やベンダーに依存しない機能を実現でき、ベンダー共通にできるので操作性も統一される。さらに万一運用中にＩＰコンバータ１００の付加的な機能で問題が発生してもＣＣＵ１２とはＨＷ的に切り離されているので、ＣＣＵ１２で実行される基本的な画像処理（現像処理）に影響を与える可能性は低く、単にＩＰコンバータ１００上で問題が発生した機能をオフにすることで問題を回避出来る。

【0062】

一方、ＩＰコンバータ１００で画像処理を行う際の課題として、ＩＰコンバータ１００は一般に小型で計算能力に限りがあるため、実現できる画像処理の性能や機能に制限があることが挙げられる。特に画像の中から特定の物体や状況を検出するような、機械学習を用いた画像認識の場合は一般に処理負荷が高くなり、また画像の内容に依存して処理負荷が変動する。同様な処理としてＳＬＡＭ技術を用いた画像認識も挙げることができる。ＳＬＡＭは画像から自己位置推定と環境地図生成を同時に行う技術であり、対象物の３次元形状を認識することができる。

【0063】

これらのような機能をＩＰコンバータ１００で実現しようとすると計算機の性能が不足したり、リアルタイム性を損なう（一定時間内に処理が終了せず描画タイミングに間に合わなかったりといった問題が発生する）可能性がある。これに対してＩＰコンバータ１００に高い性能の計算機を搭載することが考えられるが、ＩＰコンバータ１００は映像ネットワークに接続される全ての機器に必要であるためシステム全体でのコストが高くなる。その一方で画像認識のような機能は全ての装置で常に利用するわけではないので、導入した計算機リソースを有効に利用できない恐れがある。

【0064】

このような課題に対して医療イメージングシステム１では、機械学習を用いた画像認識のようにＩＰコンバータ１００で実行するには処理負荷が高く、かつ常に全ての機器で利用されるわけではないような機能を実行するための画像処理サーバ２０を導入し、ＩＰコンバータ１００で医療イメージング装置１０からの画像と当該サーバで行った処理結果を重畳表示する。画像処理サーバ２０は映像ネットワークに接続され、１台以上の画像イメージング装置（医療イメージング装置１０）から送出された個別の画像に対して、オンデマンドで機械学習を用いた画像認識のような処理負荷が高いアプリケーションを実行する。

【0065】

これにより、図１の例では、硬性内視鏡の出力動画像が送信側のＩＰコンバータ３０を経て手術室内の映像ネットワークに送出される。受信側のＩＰコンバータ１００ではこの画像に対してデジタルズームが実行され、同時に画像処理サーバ２０では手術に利用されている器具が機械学習による画像認識で抽出されるものとする。両者の処理結果は重畳され、受信側のＩＰコンバータ１００を介してモニタ（画像受信装置２００）に表示される。

【0066】

また、例えば、画像処理サーバ２０は、手術室内もしくはその近くに配置され、スイッチ（ＩＰスイッチ４０等）を介して当該ネットワークに接続される。画像処理サーバ２０ではＩＰコンバータ１００が受信している画像と同一の、当該硬性内視鏡が送出した動画像を受信し、当該画像から手術で利用されている器具を画像認識により抽出する。画像処理サーバ２０は、当該画像に対して器具を抽出した領域を矩形やテキスト描画することで認識結果を指示したものを認識結果画像として生成し、ＩＰコンバータ１００に送出する。

【0067】

一方、ＩＰコンバータ１００は、画像処理サーバ２０から器具の認識結果画像を受信し、デジタルズームを施した画像に対して、子画面として認識結果画像を重畳表示する。ＩＰコンバータ１００は、デジタルズームを施した画像に対して、認識結果画像を重畳表示した結果の画像を出力画像として画像受信装置２００に送出する。なお、医療イメージングシステム１は、子画面のサイズに上限を設けてもよい。これにより、医療イメージングシステム１は、ＩＰコンバータ１００での当該描画にかかる時間を一定（所定の閾値）以内に収めることができる。

【0068】

また、画像処理サーバ２０での負荷すなわち計算時間は認識対象の画像の内容に依存するが、仮に結果データの更新頻度が変動してもＩＰコンバータ１００は常に直近の認識結果画像を描画することで、この更新頻度の変動がＩＰコンバータ１００の処理時間に影響を与えないようにする、すなわちＩＰコンバータ１００での画像伝送のリアルタイム性や低レイテンシを保つことができる。

【0069】

なお、図１の例では、ＩＰコンバータ１００上でデジタルズームを行った後に認識結果画像を重畳する。また、画像処理サーバ２０はスイッチ（ＩＰスイッチ４０）に直接接続せず、その他のネットワーク機器を介してより遠隔に画像処理サーバ２０が配置されてもよい。また、画像処理サーバ２０は、複数の手術室（図７参照）をカバーすることも可能である。

【0070】

ネットワークの構成やそれに接続するＩＰコンバータ１００の数によって画像処理サーバ２０が機能を提供するクライアントが増えた場合、あるいは画像処理サーバ２０で実行する画像処理の機能や性能が変更され、より計算能力が必要になる場合が想定される。この場合は、画像処理サーバ２０のＣＰＵやＧＰＵを高性能なものに換装したり追加したりすることで容易に必要な性能を得ることができる。

【0071】

［１－５．第３の画像処理装置の一例であるＩＰコンバータの構成］
次に、実施形態に係る画像処理を実行する第３の画像処理装置の一例であるＩＰコンバータの構成について説明する。図４は、実施形態に係る第３の画像処理装置であるＩＰコンバータの構成例を示す図である。

【0072】

図４に示すように、ＩＰコンバータ１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、ＩＰコンバータ１００は、ＩＰコンバータ１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0073】

通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、医療イメージング装置１０や画像処理サーバ２０や画像受信装置２００等の他の情報処理装置（コンピュータ）との間で情報の送受信を行う。また、通信部１１０は、クライアント端末（図示省略）との間で情報の送受信を行ってもよい。

【0074】

記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、各種の情報を記憶する。記憶部１２０は、画像処理を行うための各種情報を記憶する。例えば、記憶部１２０は、第３の画像処理の具体的な処理内容や、第３の画像処理を実行するためのプログラム（第３の画像処理プログラム）を記憶する。例えば、記憶部１２０は、第２の画像処理装置である画像処理サーバ２０の応答を待つ時間の閾値を示す情報を記憶してもよい。

【0075】

図４に戻り、説明を続ける。制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、ＩＰコンバータ１００内部に記憶されたプログラム（例えば、本開示に係る第３の画像処理プログラム等の画像処理プログラム等）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

【0076】

図４に示すように、制御部１３０は、取得部１３１と、決定部１３２と、生成部１３３と、送信部１３４とを有し、以下に説明する画像処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する画像処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。

【0077】

取得部１３１は、各種情報を取得する。取得部１３１は、外部の情報処理装置から各種情報を取得する。取得部１３１は、医療イメージング装置１０や画像処理サーバ２０や画像受信装置２００から各種情報を取得する。取得部１３１は、記憶部１２０から各種情報を取得する。

【0078】

取得部１３１は、決定部１３２が決定した各種情報を取得する。取得部１３１は、生成部１３３が生成した各種情報を取得する。

【0079】

取得部１３１は、ＣＣＵ１２により第１の画像処理をされた手術画像信号である第１の手術画像信号を取得する。取得部１３１は、画像処理サーバ２０により第１の手術画像信号に対して第２の画像処理をされた手術画像信号である第２の手術画像信号を取得する。

【0080】

図１の例では、取得部１３１は、医療イメージング装置１０のＣＣＵ１２により第１の画像処理をされた第１の手術画像信号と、画像処理サーバ２０により第２の画像処理をされた第２の手術画像信号を取得する。取得部１３１は、手術画像ＩＭ１に対応する第１の手術画像信号と、手術画像ＩＭ２に対応する第２の手術画像信号を取得する。

【0081】

決定部１３２は、各種情報を決定する。決定部１３２は、各種情報を判定する。決定部１３２は、外部の情報処理装置からの情報に基づいて、各種情報を決定する。決定部１３２は、医療イメージング装置１０や画像処理サーバ２０や画像受信装置２００等の他の情報処理装置からの情報に基づいて、各種情報を決定する。決定部１３２は、取得部１３１により取得された情報に基づいて、各種情報を決定する。

【0082】

決定部１３２は、画像処理サーバ２０が応答しない場合、第１の手術画像信号を表示画像信号とすると決定する。決定部１３２は、第１の手術画像信号が取得部１３１により取得されてから所定の閾値以上の時間が経過した場合、画像処理サーバ２０が応答しないとして、第１の手術画像信号を表示画像信号とすると決定する。

【0083】

生成部１３３は、各種情報を生成する。生成部１３３は、各種の画像処理などの情報処理を実行する。生成部１３３は、各種の画像処理を行う。例えば、生成部１３３は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報処理を実行する。生成部１３３は、医療イメージング装置１０や画像処理サーバ２０や画像受信装置２００等の他の情報処理装置からの情報に基づいて、各種情報処理を実行する。

【0084】

生成部１３３は、取得部１３１により取得された各種情報に基づいて、各種情報処理を実行する。生成部１３３は、決定部１３２により決定された各種情報に基づいて、各種情報処理を実行する。生成部１３３は、決定部１３２により判定された各種情報に基づいて、各種情報処理を実行する。生成部１３３は、決定部１３２による判定結果に基づいて、各種情報処理を実行する。

【0085】

生成部１３３は、画像に関する解析処理を行う。生成部１３３は、画像処理に関する各種処理を行う。生成部１３３は、取得部１３１により取得された画像情報（画像）に対して処理を行う。生成部１３３は、画像処理に関する技術を適宜用いて、画像に対する処理を行う。

【0086】

生成部１３３は、第１の手術画像信号と第２の手術画像信号との少なくとも１つに第３の画像処理を行って、第１の手術画像信号と第２の手術画像信号とに基づく変換処理により表示画像信号を生成する。

【0087】

生成部１３３は、画像処理サーバ２０による第２の画像処理の結果に基づいて、第３の画像処理を行う。生成部１３３は、第１の手術画像信号に第２の手術画像信号を重畳した第３の手術画像信号に対して第３の画像処理を行う。生成部１３３は、選択されたアプリケーションに基づく第３の画像処理を、クライアント端末からの指示に応じて実行する。生成部１３３は、第２の画像処理の種類に基づいて第３の画像処理の内容を変更する。生成部１３３は、選択されたアプリケーションの第２の画像処理に対応する第３の画像処理を実行する。

【0088】

生成部１３３は、ズーム、手振れ補正、回転補正、またはＰｉｎＰの少なくともいずれか１つを含む第３の画像処理を行う。例えば、生成部１３３は、４Ｋ解像度の画像に対して６０ｆｐｓ以内で処理を実行可能な画像処理を第３の画像処理として実行する。例えば、生成部１３３は、４Ｋ解像度の画像に対して６０ｆｐｓ以内で処理を実行可能なズーム、手振れ補正、回転補正、またはＰｉｎＰ等の処理を第３の画像処理として実行する。

【0089】

なお、生成部１３３は、所望の画像処理を実行可能であれば、どのような技術を用いて画像処理を実行してもよく、種々の画像処理の技術を適宜用いて、画像処理を実行する。生成部１３３は、種々の情報を適宜用いて画像処理を実行してもよい。生成部１３３は、例えば医療イメージング装置１０から取得されたＲＡＷデータ等の画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手振れ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、生成部１３３は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

【0090】

図１の例では、生成部１３３は、デジタルズームを第１の手術画像信号に対して実行する。生成部１３３は、手術画像ＩＭ１に対応する第１の手術画像信号に対してデジタルズームを実行することにより、手術画像ＩＭ３に対応する手術画像信号を生成する。生成部１３３は、子画面重畳描画を実行する。生成部１３３は、手術画像ＩＭ３に対応する手術画像信号に第２の手術画像信号を重畳させる。生成部１３３は、手術画像ＩＭ３に対応する手術画像信号に手術画像ＩＭ２に対応する第２の手術画像信号を重畳させる画像処理を実行する。生成部１３３は、デジタルズーム後の手術画像ＩＭ３に３つの枠ＦＲ１～ＦＲ３を含む手術画像ＩＭ２が子画面として重畳された手術画像ＩＭ３１に対応する表示画像信号を生成する。

【0091】

送信部１３４は、外部の情報処理装置へ各種情報を提供する。送信部１３４は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１３４は、医療イメージング装置１０や画像処理サーバ２０や画像受信装置２００等の他の情報処理装置へ各種情報を送信する。送信部１３４は、記憶部１２０に記憶された情報を提供する。送信部１３４は、記憶部１２０に記憶された情報を送信する。

【0092】

送信部１３４は、医療イメージング装置１０や画像処理サーバ２０や画像受信装置２００等の他の情報処理装置からの情報に基づいて、各種情報を提供する。送信部１３４は、記憶部１２０に記憶された情報に基づいて、各種情報を提供する。

【0093】

図１の例では、送信部１３４は、生成部１３３により生成された画像ＩＭ３１を画像受信装置２００へ送信する。送信部１３４は、画像処理サーバ２０が応答しない場合、第１の手術画像信号を表示画像信号として画像受信装置２００へ送信する。送信部１３４は、決定部１３２により第１の手術画像信号を表示画像信号とすると決定された場合、第１の手術画像信号を画像受信装置２００へ送信する。

【0094】

［１－６．第３の画像処理装置に係る処理の手順］
次に、図５を用いて、第３の画像処理装置であるＩＰコンバータによる処理の手順について説明する。図５は、実施形態に係る第３の画像処理装置であるＩＰコンバータによる処理の手順を示すフローチャートである。

【0095】

図５に示すように、ＩＰコンバータ１００は、第１の画像処理装置により第１の画像処理をされた第１の手術画像信号を取得する（ステップＳ１０１）。例えば、ＩＰコンバータ１００は、医療イメージング装置１０から第１の手術画像信号を取得する。

【0096】

ＩＰコンバータ１００は、第２の画像処理装置により第２の画像処理をされた第２の手術画像信号を取得する（ステップＳ１０２）。例えば、ＩＰコンバータ１００は、画像処理サーバ２０から第２の手術画像信号を取得する。

【0097】

ＩＰコンバータ１００は、第１の手術画像信号と第２の手術画像信号との少なくとも１つに第３の画像処理を行って、第１の手術画像信号と第２の手術画像信号とに基づく変換処理により表示画像信号を生成する（ステップＳ１０３）。例えば、ＩＰコンバータ１００は、第１の手術画像信号に第２の手術画像信号を重畳させる第３の画像処理を行うことにより、表示画像信号を生成する。

【0098】

［１－７．医療イメージングシステムに係る処理の手順］
次に、図６を用いて、全体の処理フローについて説明する。図６は、実施形態に係る医療イメージングシステムの処理手順を示すシーケンス図である。

【0099】

まず、医療イメージング装置１０のカメラ１１は、撮像を行う（ステップＳ２０１）。そして、カメラ１１は、第１の画像処理装置であるＣＣＵ１２に撮像した手術画像信号を送信する（ステップＳ２０２）。これにより、ＣＣＵ１２は、手術画像信号を取得する。

【0100】

ＣＣＵ１２は、手術画像信号に対して第１の画像処理を実行する（ステップＳ２０３）。これにより、ＣＣＵ１２は、手術画像信号に対して第１の画像処理をされた第１の手術画像信号を生成する。

【0101】

そして、ＣＣＵ１２は、第２の画像処理装置である画像処理サーバ２０に第１の手術画像信号を送信する（ステップＳ２０４）。これにより、画像処理サーバ２０は、第１の手術画像信号を取得する。

【0102】

また、ＣＣＵ１２は、第３の画像処理装置であるＩＰコンバータ１００に第１の手術画像信号を送信する（ステップＳ２０５）。これにより、ＩＰコンバータ１００は、第１の手術画像信号を取得する。なお、ステップＳ２０５は、ステップＳ２０４と同時に行われてもよいし、ステップＳ２０４よりも先に行われてもよい。

【0103】

画像処理サーバ２０は、第１の手術画像信号に対して第２の画像処理を実行する（ステップＳ２０６）。これにより、画像処理サーバ２０は、第１の手術画像信号に対して第２の画像処理をされた第２の手術画像信号を生成する。

【0104】

そして、画像処理サーバ２０は、ＩＰコンバータ１００に第２の手術画像信号を送信する（ステップＳ２０７）。これにより、ＩＰコンバータ１００は、第２の手術画像信号を取得する。

【0105】

そして、ＩＰコンバータ１００は、第１の手術画像信号と第２の手術画像信号とを用いて第３の画像処理を行う（ステップＳ２０８）。ＩＰコンバータ１００は、第１の手術画像信号と第２の手術画像信号との少なくとも１つに第３の画像処理を行って、表示画像信号を生成する。

【0106】

そして、ＩＰコンバータ１００は、画像受信装置２００に表示画像信号を送信する（ステップＳ２０９）。これにより、画像受信装置２００は、表示画像信号を取得する。そして、画像受信装置２００は、表示画像信号を表示する（ステップＳ２１０）。

【0107】

［１－８．医療イメージングシステムの各構成要素の配置例］
図７に示す医療イメージングシステム１について説明する。図７は、医療イメージングシステムの各構成要素の配置の一例を示す図である。

【0108】

図７に示すように、医療イメージングシステム１は、複数の手術室ＯＲ１、ＯＲ２等の各々にＣＣＵ１２やＩＰコンバータ１００が配置される構成であってもよい。そして、医療イメージングシステム１は、各手術室ＯＲ１、ＯＲ２に配置されたＩＰコンバータ１００等と通信する１つの画像処理サーバ２０を備えた構成であってもよい。画像処理サーバ２０は、複数の手術室ＯＲ１、ＯＲ２等の各々に配置されたＣＣＵ１２やＩＰコンバータ１００の各々との間で情報を送受信する。

【0109】

手術室ＯＲ１に配置されたＩＰコンバータ１００は、画像処理サーバ２０や手術室ＯＲ１に配置されたＣＣＵ１２との間で情報を送受信する。例えば、手術室ＯＲ１に配置されたＩＰコンバータ１００は、手術室ＯＲ１に配置されたＣＣＵ１２から第１の手術画像信号を取得する。また、例えば、手術室ＯＲ１に配置されたＩＰコンバータ１００は、手術室ＯＲ１に配置されたＣＣＵ１２の第１の手術画像信号に対して第２の画像処理を行われた第２の手術画像信号を画像処理サーバ２０から取得する。

【0110】

このように、医療イメージングシステム１は、１つの画像処理サーバ２０と、複数の手術室ＯＲ１、ＯＲ２等の各々に配置された複数のＩＰコンバータ１００を含むシステム構成であってもよい。医療イメージングシステム１は、第２の画像処理装置を１つ備え、第１の画像処理装置や第３の画像処理装置を複数備え、各手術室に第１の画像処理装置や第３の画像処理装置を配置した構成であってもよい。

【0111】

［２．その他の実施形態］
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態（変形例）にて実施されてよい。医療イメージングシステムは、上述した例に限らず、種々の態様であってもよい。この点について以下説明する。なお、以下では、実施形態に係るＩＰコンバータ１００と同様の点については、適宜説明を省略する。

【0112】

［２－１．変形例］
上述した例では、撮像装置であるカメラ１１と第１の画像処理装置であるＣＣＵ１２が別体である場合を示したが、カメラとＣＣＵは一体であってもよい。

【0113】

［２－２．その他］
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0114】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0115】

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0116】

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

【0117】

［３．本開示に係る効果］
上述のように、本開示に係る医療イメージングシステム（実施形態では医療イメージングシステム１）は、撮像装置（実施形態ではカメラ１１）にと、撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置（実施形態ではＣＣＵ１２）により、第１の画像処理をされた手術画像信号である第１の手術画像信号を取得し、第１の手術画像信号に対して第２の画像処理を行う第２の画像処理装置（実施形態では画像処理サーバ２０）と、第１の手術画像信号と、第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得し、第１の手術画像信号と第２の手術画像信号との少なくとも１つに第３の画像処理を行って、第１の手術画像信号と第２の手術画像信号とに基づく変換処理により表示画像信号を生成する第３の画像処理装置（実施形態ではＩＰコンバータ１００）と、を備え、第１の画像処理、第２の画像処理、及び第３の画像処理は、それぞれ異なる画像処理である。

【0118】

これにより、本開示に係る医療イメージングシステムは、第１の画像処理装置で第１の画像処理を行い、第２の画像処理装置で第２の画像処理を行い、その処理結果である第１の手術画像信号と第２の手術画像信号との少なくとも１つに第３の画像処理装置が第３の画像処理を行って、表示画像信号を生成する。このように、医療イメージングシステムは、３つの画像処理装置の各々にそれぞれ異なる画像処理を分散させて実行させる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0119】

また、第２の画像処理は、第３の画像処理よりも計算量が大きい。これにより、医療イメージングシステムは、計算量の多い画像処理を第３の画像処理装置とは異なる第２の画像処理装置に行わせることにより、表示画像信号を生成する第３の画像処理装置の処理負荷の増大を抑制することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0120】

また、第２の画像処理は、処理対象となる画像の内容によって計算量が変動する画像処理である。これにより、医療イメージングシステムは、処理対象となる画像の内容によって計算量が変動する画像処理である第２の画像処理を第３の画像処理装置とは異なる第２の画像処理装置に行わせることにより、表示画像信号を生成する第３の画像処理装置の処理負荷の変動を抑制することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0121】

また、第１の画像処理装置は、ＣＣＵ（Camera Control Unit）であり、第３の画像処理装置は、ＩＰ（Internet Protocol）コンバータであり、第１の画像処理装置と、第３の画像処理装置とは、手術室内に配置される。これにより、手術室内に配置されるＣＣＵやＩＰコンバータ以外の第２の画像処理装置に第２の画像処理を実行させることで、手術室内に配置される装置の処理負荷の増大を抑制することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0122】

また、第２の画像処理装置は、手術室外に配置されるサーバ装置であり、第２の画像処理装置は、各々が異なる手術室内に配置される複数のＩＰコンバータに接続されている。これにより、手術室外に配置されるサーバ装置に第２画像処理を実行させることで、手術室内に配置される装置の処理負荷の増大を抑制することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0123】

また、第３の画像処理装置は、第２の画像処理装置による第２の画像処理の結果に基づいて、第３の画像処理を行う。これにより、医療イメージングシステムは、第２の画像処理の結果に基づいて、第３の画像処理を行うことで、第２の画像処理に応じて適切な処理内容の第３の画像処理を実行し、表示画像信号を生成することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0124】

また、第３の画像処理装置は、第１の手術画像信号に第２の手術画像信号を重畳した第３の手術画像信号に対して第３の画像処理を行う。これにより、医療イメージングシステムは、第１の手術画像信号に第２の手術画像信号を重畳した第３の手術画像信号に対して第３の画像処理を行うことで、表示画像信号を適切に生成することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0125】

また、第２の画像処理は、ＳＬＡＭ（Simultaneous Localization and Mapping）または機械学習による物体認識のいずれかである。これにより、医療イメージングシステムは、ＳＬＡＭや機械学習による物体認識のような計算量が大きい画像処理を第３の画像処理装置とは異なる第２の画像処理装置に行わせることにより、表示画像信号を生成する第３の画像処理装置の処理負荷の増大を抑制することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0126】

また、第１の画像処理装置、第２の画像処理装置及び第３の画像処理装置の少なくとも１つは、他の装置から取得した制御コマンドに基づいて処理を実行する。これにより、医療イメージングシステムは、各画像処理装置を適切に制御することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0127】

また、第２の画像処理装置は、複数のアプリケーションを有し、複数のアプリケーションから使用するアプリケーションが、クライアント端末からの指定により選択される。これにより、医療イメージングシステムは、クライアント端末からの指定に応じて第２の画像処理装置に処理を実行させることができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0128】

また、第３の画像処理装置は、選択されたアプリケーションに基づく第３の画像処理を、クライアント端末からの指示に応じて実行する。これにより、医療イメージングシステムは、クライアント端末からの指定に応じて第３の画像処理装置に処理を実行させることができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0129】

また、第３の画像処理装置は、第２の画像処理の種類に基づいて第３の画像処理の内容を変更する。これにより、医療イメージングシステムは、第２の画像処理の種類に基づいて第３の画像処理の内容を変更することで、第３の画像処理装置に適切に処理を実行させることができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0130】

また、第３の画像処理装置は、第２の画像処理装置が応答しない場合、第１の手術画像信号を表示画像信号とする。これにより、医療イメージングシステムは、第２の画像処理装置が正常に動作しない場合であっても、表示画像信号が生成されないことを抑制することができる。したがって、医療イメージングシステムは、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0131】

本開示に係る画像処理装置（実施形態ではＩＰコンバータ１００）は、撮像装置と、撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置と、を備える医療イメージング装置から、第１の画像処理をされた手術画像信号である第１の手術画像信号と、第２の画像処理装置により第１の手術画像信号に対して第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得する取得部（実施形態では取得部１３１）と、第１の手術画像信号と第２の手術画像信号との少なくとも１つに第３の画像処理を行って、第１の手術画像信号と第２の手術画像信号とに基づく変換処理により表示画像信号を生成する生成部（実施形態では生成部１３３）と、を備え、第１の画像処理、第２の画像処理、及び第３の画像処理は、それぞれ異なる画像処理である。

【0132】

これにより、本開示に係る画像処理装置は、第１の画像処理装置で第１の画像処理を行われた第１の手術画像信号と、第２の画像処理装置で第２の画像処理を行われた第２の手術画像信号との少なくとも１つに第３の画像処理を行って、表示画像信号を生成する。このように、画像処理装置は、他の画像処理装置で分散して実行された画像処理とは異なる画像処理を実行し、表示画像信号を生成する。したがって、画像処理装置は、各装置に分散された画像処理の機能により表示する画像を適切に生成することができる。

【0133】

［４．ハードウェア構成］
上述してきた各実施形態や変形例に係る第１の画像処理装置であるＣＣＵ１２や第２の画像処理装置である画像処理サーバ２０や第３の画像処理装置であるＩＰコンバータ１００等の画像処理装置は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、ＣＣＵ１２、画像処理サーバ２０、ＩＰコンバータ１００等の画像処理装置（コンピュータ）の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係るＩＰコンバータ１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

【0134】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

【0135】

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0136】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る画像処理プログラム（第３の画像処理プログラム等の画像処理プログラム等）を記録する記録媒体である。

【0137】

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

【0138】

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。例えば、コンピュータ１０００が実施形態に係るＩＰコンバータ１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る画像処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

【0139】

なお、本技術は以下のような構成も取ることができる。
（１）
医療イメージングシステムであって、
撮像装置と、前記撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置と、を備える医療イメージング装置から、前記第１の画像処理をされた手術画像信号である第１の手術画像信号を取得し、前記第１の手術画像信号に対して第２の画像処理を行う第２の画像処理装置と、
前記第１の手術画像信号と、前記第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得し、前記第１の手術画像信号と前記第２の手術画像信号との少なくとも１つに第３の画像処理を行って、前記第１の手術画像信号と前記第２の手術画像信号とに基づく変換処理により表示画像信号を生成する第３の画像処理装置と、
を備え、
前記第１の画像処理、前記第２の画像処理、及び前記第３の画像処理は、それぞれ異なる画像処理である医療イメージングシステム。
（２）
前記第２の画像処理は、前記第３の画像処理よりも計算量が大きい
前記（１）に記載の医療イメージングシステム。
（３）
前記第２の画像処理は、処理対象となる画像の内容によって計算量が変動する画像処理である
前記（１）または（２）に記載の医療イメージングシステム。
（４）
前記第１の画像処理装置は、ＣＣＵ（Camera Control Unit）であり、
前記第３の画像処理装置は、ＩＰ（Internet Protocol）コンバータであり、
前記第１の画像処理装置と、前記第３の画像処理装置とは、手術室内に配置される
前記（１）～（３）のいずれか１項に記載の医療イメージングシステム。
（５）
前記第２の画像処理装置は、手術室外に配置されるサーバ装置であり、
前記第２の画像処理装置は、各々が異なる手術室内に配置される複数のＩＰコンバータに接続されている
前記（４）に記載の医療イメージングシステム。
（６）
前記第３の画像処理装置は、前記第２の画像処理装置による前記第２の画像処理の結果に基づいて、第３の画像処理を行う
前記（１）～（５）のいずれか１項に記載の医療イメージングシステム。
（７）
前記第３の画像処理装置は、前記第１の手術画像信号に前記第２の手術画像信号を重畳した第３の手術画像信号に対して前記第３の画像処理を行う
前記（１）～（５）のいずれか１項に記載の医療イメージングシステム。
（８）
前記第２の画像処理は、ＳＬＡＭ（Simultaneous Localization and Mapping）または機械学習による物体認識のいずれかである
前記（１）～（６）のいずれか１項に記載の医療イメージングシステム。
（９）
前記第１の画像処理装置、前記第２の画像処理装置及び前記第３の画像処理装置の少なくとも１つは、他の装置から取得した制御コマンドに基づいて処理を実行する
前記（１）～（８）のいずれか１項に記載の医療イメージングシステム。
（１０）
前記第２の画像処理装置は、複数のアプリケーションを有し、
前記複数のアプリケーションから使用するアプリケーションが、クライアント端末からの指定により選択される
前記（１）～（９）のいずれか１項に記載の医療イメージングシステム。
（１１）
前記第３の画像処理装置は、選択された前記アプリケーションに基づく前記第３の画像処理を、前記クライアント端末からの指示に応じて実行する
前記（１０）に記載の医療イメージングシステム。
（１２）
前記第３の画像処理装置は、前記第２の画像処理の種類に基づいて前記第３の画像処理の内容を変更する
前記（１）～（１１）のいずれか１項に記載の医療イメージングシステム。
（１３）
前記第３の画像処理装置は、前記第２の画像処理装置が応答しない場合、前記第１の手術画像信号を前記表示画像信号とする
前記（１）～（１２）のいずれか１項に記載の医療イメージングシステム。
（１４）
医療イメージング方法であって、
第２の画像処理装置が、
撮像装置と、前記撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置と、を備える医療イメージング装置から、前記第１の画像処理をされた手術画像信号である第１の手術画像信号を取得し、前記第１の手術画像信号に対して第２の画像処理を行い、
第３の画像処理装置が、
前記第１の手術画像信号と、前記第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得し、前記第１の手術画像信号と前記第２の手術画像信号との少なくとも１つに第３の画像処理を行って、前記第１の手術画像信号と前記第２の手術画像信号とに基づく変換処理により表示画像信号を生成し、
前記第１の画像処理、前記第２の画像処理、及び前記第３の画像処理は、それぞれ異なる画像処理である
医療イメージング方法。
（１５）
画像処理装置であって、
撮像装置と、前記撮像装置で撮像された手術画像信号に対して第１の画像処理を行う第１の画像処理装置と、を備える医療イメージング装置から、前記第１の画像処理をされた手術画像信号である第１の手術画像信号と、第２の画像処理装置により前記第１の手術画像信号に対して第２の画像処理をされた手術画像信号である第２の手術画像信号とを取得する取得部と、
前記第１の手術画像信号と前記第２の手術画像信号との少なくとも１つに第３の画像処理を行って、前記第１の手術画像信号と前記第２の手術画像信号とに基づく変換処理により表示画像信号を生成する生成部と、
を備え、
前記第１の画像処理、前記第２の画像処理、及び前記第３の画像処理は、それぞれ異なる画像処理である
画像処理装置。

【符号の説明】

【0140】

１ 医療イメージングシステム
１０ 医療イメージング装置
１１ カメラ
１２ ＣＣＵ（第１の画像処理装置）
２０ 画像処理サーバ（第２の画像処理装置）
１００ ＩＰコンバータ（第３の画像処理装置）
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 決定部
１３３ 生成部
１３４ 送信部
２００ 画像受信装置（モニター）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】