特許 7567804 手術用情報処理装置、手術用情報処理方法及び手術用情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】手術用情報処理装置、手術用情報処理方法及び手術用情報処理プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241008BHJP

   A61B 34/10 20160101ALI20241008BHJP

【ＦＩ】

A61B1/045 610

A61B34/10

【請求項の数】 17

(21)【出願番号】P 2021552332

(86)(22)【出願日】2020-10-06

(86)【国際出願番号】 JP2020037804

(87)【国際公開番号】W WO2021075306

(87)【国際公開日】2021-04-22

【審査請求日】2023-08-23

(31)【優先権主張番号】P 2019189952

(32)【優先日】2019-10-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】白木 寿一

【審査官】安田 明央

(56)【参考文献】

【文献】国際公開第２０１８／２１１８８５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０４３２０５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

手術画像を取得する取得部と、
前記取得部により取得された前記手術画像に付加情報が付与されているかを判定する判定部と、
前記判定部により前記付加情報が付与されていないと判定された場合、第１の画像処理を行い、前記付加情報が付与されていると判定された場合、前記第１の画像処理を行わない処理部と、
を備え、
前記処理部は、
前記付加情報が付与されていると判定された場合、前記第１の画像処理とは異なる第２の画像処理を行い、
前記第１の画像処理は、
前記手術画像全体を対象とする画像処理であり、
前記第２の画像処理は、
前記手術画像のうち、前記付加情報に対応する付加情報領域以外の領域を対象とする前記第１の画像処理と同種の画像処理と、前記付加情報領域を対象とする前記第１の画像処理とは異種の画像処理とを含む
手術用情報処理装置。

【請求項2】

前記取得部は、
医療用観察装置から前記手術画像を取得する
請求項１に記載の手術用情報処理装置。

【請求項3】

前記取得部は、
前記手術画像のメタデータを取得し、
前記判定部は、
前記取得部により取得された前記メタデータに基づいて、前記手術画像に前記付加情報が付与されているかを判定する
請求項１に記載の手術用情報処理装置。

【請求項4】

前記判定部は、
前記手術画像に対する画像解析の結果に基づいて、前記手術画像に前記付加情報が付与されているかを判定する
請求項１に記載の手術用情報処理装置。

【請求項5】

前記取得部は、
ユーザによる設定を示すユーザ設定情報を取得し、
前記判定部は、
前記取得部により取得された前記ユーザ設定情報に基づいて、前記手術画像に前記付加情報が付与されているかを判定する
請求項１に記載の手術用情報処理装置。

【請求項6】

前記取得部は、
前記手術用情報処理装置に接続される機器を示す接続機器情報を取得し、
前記判定部は、
前記取得部により取得された前記接続機器情報に基づいて、前記手術画像に前記付加情報が付与されているかを判定する
請求項１に記載の手術用情報処理装置。

【請求項7】

前記判定部は、
前記手術画像に付与されている前記付加情報の領域を判定する
請求項１に記載の手術用情報処理装置。

【請求項8】

前記判定部は、
前記手術画像に付与される文字情報である前記付加情報の領域を判定する
請求項７に記載の手術用情報処理装置。

【請求項9】

前記第１の画像処理は、
ズーム、手振れ補正、回転補正、またはＰｉｎＰ（Picture in Picture）の少なくともいずれか１つを含む
請求項１に記載の手術用情報処理装置。

【請求項10】

前記取得部は、
前記手術画像を含む複数の手術画像を取得し、
前記判定部は、
前記複数の手術画像を比較することにより、前記手術画像に付加情報が付与されているかを判定する
請求項１に記載の手術用情報処理装置。

【請求項11】

前記判定部は、
前記複数の手術画像の画素値の差分が閾値を超えない部分を付加情報と判定する
請求項１０に記載の手術用情報処理装置。

【請求項12】

前記判定部は、
前記手術画像を撮像した機器に応じて前記閾値を変更して判定を行う
請求項１１に記載の手術用情報処理装置。

【請求項13】

前記取得部は、
前記手術画像を撮像した機器に対応する前記付加情報が表示される対象領域を示す情報を取得し、
前記判定部は、
前記対象領域を対象として前記手術画像に付加情報が付与されているかを判定する
請求項１０に記載の手術用情報処理装置。

【請求項14】

前記判定部は、
特殊光画像と、観察光画像とを含む前記複数の手術画像が取得された場合、前記観察光画像を比較することにより、前記付加情報が付与されているかを判定する
請求項１０に記載の手術用情報処理装置。

【請求項15】

前記取得部は、
差分用の閾値である第１閾値と、輝度用の閾値である第２閾値とを取得し、
前記判定部は、
前記複数の手術画像の差分絶対値の加算値と前記第１閾値との比較、及び前記複数の手術画像の輝度値の加算値と前記第２閾値との比較に基づいて、前記付加情報を判定する
請求項１０に記載の手術用情報処理装置。

【請求項16】

手術画像を取得し、
取得した前記手術画像に付加情報が付与されているかを判定し、
前記付加情報が付与されていないと判定した場合、第１の画像処理を行い、前記付加情報が付与されていると判定した場合、前記第１の画像処理を行わず、
前記付加情報が付与されていると判定された場合、前記第１の画像処理とは異なる第２の画像処理を行い、
前記第１の画像処理は、
前記手術画像全体を対象とする画像処理であり、
前記第２の画像処理は、
前記手術画像のうち、前記付加情報に対応する付加情報領域以外の領域を対象とする前記第１の画像処理と同種の画像処理と、前記付加情報領域を対象とする前記第１の画像処理とは異種の画像処理とを含む
手術用情報処理方法。

【請求項17】

手術画像を取得し、
取得した前記手術画像に付加情報が付与されているかを判定し、
前記付加情報が付与されていないと判定した場合、第１の画像処理を行い、前記付加情報が付与されていると判定した場合、前記第１の画像処理を行わず、
前記付加情報が付与されていると判定された場合、前記第１の画像処理とは異なる第２の画像処理を行い、
前記第１の画像処理は、
前記手術画像全体を対象とする画像処理であり、
前記第２の画像処理は、
前記手術画像のうち、前記付加情報に対応する付加情報領域以外の領域を対象とする前記第１の画像処理と同種の画像処理と、前記付加情報領域を対象とする前記第１の画像処理とは異種の画像処理とを含む
手術用情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、手術用情報処理装置、手術用情報処理方法及び手術用情報処理プログラムに関する。

【背景技術】

【0002】

内視鏡や顕微鏡等の医療用観察装置において、手術の効率化のために様々な画像処理が提案されている。例えば、手振れや床振動等の揺れにより、撮像される画像に乱れ（画像ブレ）が発生する。特に近年、医療用観察装置の画質が高精細化するに伴い、画像ブレによる画像の視認性への影響が大きくなっている。そこで、画像ブレの補正処理が提案されている。また、術式によっては医療用観察装置の表示画像を回転させることが求められることもある。そこで、画像の回転の補正処理が提案されている。このように、手術の効率化のために補正処理等の画像処理を行う種々の技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１８５２５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術によれば、医療用観察装置等のカメラヘッドにジャイロを設け、ジャイロにより手振れを検知して出力画像に手振れ補正を行う内視鏡が提案されている（例えば、特許文献１）。

【0005】

しかしながら、従来技術は、手術画像に応じて適切に画像処理を行うことができるとは限らない。従来技術では、手振れを検知した手術画像に対して手振れを行うため、例えば、手術画像に文字情報などの静止した情報が付加されている場合、手振れ補正により静止している情報がぶれる等の問題がある。このように、単に手振れ補正等の画像処理を手術画像に対して行うだけでは、適切な画像処理とならない場合がある。

【0006】

そこで、本開示では、手術画像に応じて適切に画像処理を行うことができる手術用情報処理装置、手術用情報処理方法及び手術用情報処理プログラムを提案する。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、手術画像を取得する取得部と、前記取得部により取得された前記手術画像に付加情報が付与されているかを判定する判定部と、前記判定部により前記付加情報が付与されていないと判定された場合、第１の画像処理を行い、前記付加情報が付与されていると判定された場合、前記第１の画像処理を行わない処理部と、を備える。

【図面の簡単な説明】

【0008】

【図1】本開示の第１の実施形態に係る情報処理の一例を示す図である。

【図2】第１の実施形態に係る手術用情報処理システムの構成例を示す図である。

【図3】第１の実施形態に係る手術用情報処理装置の構成例を示す図である。

【図4】第１の実施形態に係る閾値情報記憶部の一例を示す図である。

【図5】第１の実施形態に係る処理条件情報記憶部の一例を示す図である。

【図6】第１の実施形態に係る情報処理の手順を示すフローチャートである。

【図7】手術用情報処理システムの具体例を示す模式図である。

【図8】手術用情報処理システムの機能構成の概念図の一例を示す図である。

【図9】手術用情報処理システムの機能構成の概念図の一例を示す図である。

【図10】手術用情報処理システムの機能構成の概念図の一例を示す図である。

【図11】手術用情報処理システムの機能構成の概念図の一例を示す図である。

【図12】手術用情報処理システムの機能構成の概念図の一例を示す図である。

【図13】手術用情報処理システムの機能構成の概念図の一例を示す図である。

【図14】手術用情報処理システムによる処理手順の一例を示すフローチャートである。

【図15】画像処理の処理態様の一例を示す図である。

【図16】画像処理の処理態様の一例を示す図である。

【図17】画像処理の処理態様の一例を示す図である。

【図18】画像処理の処理態様の一例を示す図である。

【図19】本開示の第２の実施形態に係る手術用情報処理装置の構成例を示す図である。

【図20】第２の実施形態に係る付加履歴情報記憶部の一例を示す図である。

【図21】手術用情報処理システムの機能構成の概念図の一例を示す図である。

【図22】本開示の変形例に係る閾値情報記憶部の一例を示す図である。

【図23】手術用情報処理システムの機能構成の概念図の一例を示す図である。

【図24】マスクとＯＳＤの判別の一例を示す図である。

【図25】手術用情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる手術用情報処理装置、手術用情報処理方法及び手術用情報処理プログラムが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0010】

以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１－１．本開示の第１の実施形態に係る情報処理の概要
１－１－１．情報処理の対象及び効果等
１－１－２．他の判定例
１－２．第１の実施形態に係る手術用情報処理システムの構成
１－３．第１の実施形態に係る手術用情報処理装置の構成
１－４．第１の実施形態に係る情報処理の手順
１－５．手術用情報処理システムの具体的構成の一例
１－６．手術用情報処理システムの機能構成例の概念図
１－６－１．手術用情報処理システムの実施が想定される場
１－６－２．手術用情報処理装置
１－６－３．手術画像判定
１－６－４．重畳領域検出
１－６－５．ユーザ通知部、ユーザＩＦ
１－６－６．処理判定部
１－６－７．画像処理実行部
１－７．画像処理の処理態様例
１－７－１．第１の処理態様
１－７－２．第２の処理態様
１－７－３．第３の処理態様
１－７－４．第４の処理態様
２．第２の実施形態
２－１．本開示の第２の実施形態に係る手術用情報処理装置の構成
２－２．手術用情報処理システムの機能構成例の概念図
３．その他の実施形態
３－１．輝度に基づく判定例
３－１－１．手術用情報処理システムの機能構成例の概念図
３－１－２．輝度に基づく判定の例
３－２．その他の構成例
３－３．その他
４．本開示に係る効果
５．ハードウェア構成

【0011】

［１．第１の実施形態］
［１－１．本開示の第１の実施形態に係る情報処理の概要］
図１は、本開示の第１の実施形態に係る情報処理の一例を示す図である。本開示の第１の実施形態に係る情報処理は、図１に示す手術用情報処理装置１００によって実現される。

【0012】

手術用情報処理装置１００は、第１の実施形態に係る情報処理を実行する手術用情報処理装置（単に「情報処理装置」ともいう）である。図１の例では、手術用情報処理装置１００は、手術画像に付加情報が付与（付加）されていないと判定した場合、付加情報が無い場合の画像処理（以下「第１の画像処理」ともいう）を行う。また、手術用情報処理装置１００は、付加情報が付与されていると判定された場合、第１の画像処理を行わず、付加情報が有る場合の画像処理（以下「第２の画像処理」ともいう）を行う。

【0013】

また、図１の例では、手術用情報処理装置１００は、外科手術の対象となっている部位が撮像された動画像等の手術画像を対象として、その手術画像に付加情報が付与されているかどうかを判定する場合を示す。なお、図１の例では、付加情報の一例として、文字情報が付与されている場合を示すが、付加情報は、医療用観察装置１０（図２参照）等により撮像された画像に付与（付加）される情報であればどのような情報であってもよい。

【0014】

ここから、図１に示す処理について具体的に説明する。図１の例では、取得する画像が手術画像であると判定済みの場合を一例として説明する。なお、手術用情報処理装置１００は、付加情報の付与有無の判定の前に、取得した画像が手術画像かどうかを判定してもよいが、この点についての詳細は後述する。まず、手術用情報処理装置１００は、手術画像ＩＭ１を取得する（ステップＳ１１）。例えば、手術用情報処理装置１００は、医療用観察装置１０から手術画像ＩＭ１を取得する。手術用情報処理装置１００は、内視鏡により外科手術の対象となっている部位が撮像された手術画像ＩＭ１を取得する。

【0015】

そして、手術用情報処理装置１００は、手術画像ＩＭ１に付加情報が付与されているかを判定する（ステップＳ１２）。手術用情報処理装置１００は、手術画像ＩＭ１に基づいて、手術画像ＩＭ１に付加情報が付与されているかを判定する。例えば、手術用情報処理装置１００は、手術画像ＩＭ１を含む複数の画像の比較に基づいて、手術画像ＩＭ１に付加情報が付与されているかを判定する。

【0016】

例えば、手術用情報処理装置１００は、手術画像ＩＭ１よりも前に撮像された画像との差分に基づいて、手術画像ＩＭ１に付加情報が付与されているかを判定する。例えば、手術用情報処理装置１００は、各フレームの画像間の各画素の差分を算出し、各画素の差分の積算値を基に付加情報が付与されているかを判定する。例えば、手術用情報処理装置１００は、各フレームの画像と、各フレームの１フレーム前の画像との各画素の差分絶対値を算出する。そして、手術用情報処理装置１００は、各画素について差分絶対値を積算する。なお、積算の対象とする画像数（フレーム数）は、枚数や秒数などにより適宜設定されてもよい。例えば、積算の対象とする画像数（フレーム数）は、３秒や１８０フレーム（枚）など適宜設定されてもよい。手術用情報処理装置１００は、積算された各画素について差分絶対値と閾値とを比較することにより、付加情報が付与されているかを判定する。手術用情報処理装置１００は、差分絶対値が閾値未満の領域（該当領域）がある場合、付加情報が付与されていると判定する。手術用情報処理装置１００は、該当領域が所定の大きさ以上である場合、付加情報が付与されていると判定してもよい。また、手術用情報処理装置１００は、該当領域が所定の大きさ未満である場合、付加情報が付与されていないと判定してもよい。このように、手術用情報処理装置１００は、手術画像ＩＭ１を含む複数の手術画像を取得し、複数の手術画像を比較することにより、手術画像ＩＭ１に付加情報が付与されているかを判定する。なお、上記は一例であり、手術用情報処理装置１００は、種々の情報を適宜用いて、付加情報が付与されていると判定してもよい。

【0017】

図１の例では、手術用情報処理装置１００は、手術画像ＩＭ１に付加情報が付与されていないと判定する。そのため、手術用情報処理装置１００は、手術画像ＩＭ１に第１の画像処理を行う（ステップＳ１３）。例えば、手術用情報処理装置１００は、手術画像ＩＭ１全体を対象として、第１の画像処理を行う。手術用情報処理装置１００は、手術画像ＩＭ１全体を対象として、手振れ補正を第１の画像処理として実行する。これにより、手術用情報処理装置１００は、第１の画像処理が実行された手術画像ＩＭ１０を生成する。なお、第１の画像処理の処理内容は、手振れ補正に限らず、種々の処理であってもよい。例えば、第１の画像処理の処理内容は、ズームや回転補正やＰｉｎＰ（Picture in Picture）を追加する処理などであってもよい。このように、第１の画像処理の処理内容は、手振れ補正に限られず、デジタルズームで画像を拡大する処理や画像に回転補正を施す処理や画像に別の画像を追加する処理等の種々の処理内容であってもよい。

【0018】

そして、手術用情報処理装置１００は、第１の画像処理が実行された手術画像ＩＭ１０を画像受信装置５０（図２参照）に送信する。例えば、手術用情報処理装置１００は、第１の画像処理が実行された手術画像ＩＭ１０を表示装置である画像受信装置５０に送信する。手術用情報処理装置１００から手術画像ＩＭ１０を受信した画像受信装置５０は、手術画像ＩＭ１０を表示する。

【0019】

手術用情報処理装置１００は、手術画像ＩＭ２を取得する（ステップＳ２１）。例えば、手術用情報処理装置１００は、医療用観察装置１０から手術画像ＩＭ２を取得する。手術用情報処理装置１００は、医療用観察装置１０により撮像された画像に電子マスク（以下単に「マスク」ともいう）であるマスクＭＳ１がかけられ、文字情報ＩＮＦ１が付与された手術画像ＩＭ２を取得する。例えば、マスクＭＳ１は、マスク処理による画像に付される電子マスク（マスク画像）であり、画像中の所定の領域以外を特定の色（図１では黒）でマスクするため情報（画像情報）である。手術用情報処理装置１００は、医療用観察装置１０により撮像された画像がカメラコントロールユニット２００（図８参照）等の画像処理機能を有する装置により、文字情報ＩＮＦ１が付与された手術画像ＩＭ２を取得する。例えば、文字情報ＩＮＦ１は、ＯＳＤ（On-Screen Display）情報（以下単に「ＯＳＤ」ともいう）である。なお、ＯＳＤ情報は、文字情報に限らず、アイコン等であってもよい。ＯＳＤ情報は、所定の図形や所定の色を示す情報等、種々の情報であってもよい。図１の例では、手術用情報処理装置１００は、領域ＡＲ１以外がマスクＭＳ１によりマスクされ、文字情報ＩＮＦ１が付与された手術画像ＩＭ２を取得する。

【0020】

そして、手術用情報処理装置１００は、手術画像ＩＭ２に付加情報が付与されているかを判定する（ステップＳ２２）。手術用情報処理装置１００は、手術画像ＩＭ２に基づいて、手術画像ＩＭ２に付加情報が付与されているかを判定する。上述のように、手術用情報処理装置１００は、各画素について差分絶対値を積算する。手術用情報処理装置１００は、積算された各画素について差分絶対値と閾値とを比較することにより、付加情報が付与されているかを判定する。また、手術用情報処理装置１００は、差分絶対値が閾値以上の領域を手術領域と判定してもよい。図１の例では、手術用情報処理装置１００は、領域ＡＲ１を手術領域と判定してもよい。

【0021】

図１の例では、手術用情報処理装置１００は、手術画像ＩＭ２に付加情報が付与されていると判定する。そのため、手術用情報処理装置１００は、手術画像ＩＭ２に第２の画像処理を行う（ステップＳ２３）。例えば、手術用情報処理装置１００は、第１の画像処理と同種の画像処理を、画像の一部に行う第２の画像処理を実行する。例えば、手術用情報処理装置１００は、手術画像ＩＭ２のうち、領域ＡＲ１に対して第１の画像処理と同種の画像処理を行う第２の画像処理を実行する。例えば、手術用情報処理装置１００は、手術画像ＩＭ２の領域ＡＲ１のみを対象として、手振れ補正を実行する。また、手術用情報処理装置１００は、文字情報ＩＮＦ１に対しては、手振れ補正を実行しない。例えば、手術用情報処理装置１００は、手術画像ＩＭ２の領域ＡＲ１以外に対しては、手振れ補正を実行しない。これにより、手術用情報処理装置１００は、第２の画像処理が実行された手術画像ＩＭ２０を生成する。なお、手術用情報処理装置１００は、マスクＭＳ１の文字情報ＩＮＦ１が配置された領域以外の部分には画像処理を実行してもよいし、実行しなくてもよい。

【0022】

そして、手術用情報処理装置１００は、第２の画像処理が実行された手術画像ＩＭ２０を画像受信装置５０（図２参照）に送信する。例えば、手術用情報処理装置１００は、第２の画像処理が実行された手術画像ＩＭ２０を表示装置である画像受信装置５０に送信する。手術用情報処理装置１００から手術画像ＩＭ２０を受信した画像受信装置５０は、手術画像ＩＭ２０を表示する。

【0023】

［１－１－１．情報処理の対象及び効果等］
上述したように、手術用情報処理装置１００は、手術画像に付加情報が付与されていないと判定した場合、第１の画像処理を行い、付加情報が付与されていると判定された場合、第２の画像処理を行う。これにより、手術用情報処理装置１００は、手術画像に応じて適切に画像処理を行うことができる。

【0024】

例えば、医療用観察装置に手振れ補正機能等の画像処理の機能が搭載されていればよいが、手振れ補正機能等の画像処理の機能が搭載されていない場合、医療用観察装置で手振れ補正等の画像処理を行うことができない。この場合、医療用観察装置から出力された画像に対して後から手振れ補正や回転補正等の画像処理を行う必要がある。ここで、手術用情報処理装置等の画像処理装置から出力される画像には、画像処理装置の設定やアラートを示す文字情報といった付加情報（ＯＳＤ情報）が重畳されることが多い。このため、このような画像に手振れ補正や回転補正等の画像処理を施すと、付加情報も画像処理が施されてしまい、付加情報の視認性が低下したり、付加情報によって術者の注意力がそがれてしまうという問題があった。

【0025】

例えば、図１に示す手術画像ＩＭ２のような内視鏡画像の場合、内視鏡装置内で手振れ補正をかける場合はＯＳＤ情報等の付加情報を重畳する前に手振れ補正をかけるので、ＯＳＤ情報等の付加情報に手振れ補正の影響は生じない。しかし、内視鏡装置からの出力映像、すなわちＯＳＤ情報等の付加情報が重畳された後に手振れ補正をかけると、手術映像はブレが低減するかわりにＯＳＤ情報等の付加情報が揺れてしまう。これにより、術者の目がそちらにいってしまったり、ＯＳＤ情報等の付加情報の視認性が悪くなったりする。

【0026】

例えば、外科内視鏡向け手術画像のぶれを補正し安定化する技術に関しては、下記のような文献に開示がされている。
・国際公開２０１７／１６９１３９号公報

【0027】

ＯＳＤやＧＵＩ（Graphical User Interface）といったグラフィックスや、ＣＴ（Computed Tomography）画像などが重畳された画像に対し、上記の技術を適用すると、手術画像の領域は安定化されるがグラフィックス等の重畳された領域が、揺れてしまいユーザにとって不快となる。また、ぶれ補正技術においては、補正後の画像に置いて画像の端や内視鏡マスクの端が揺れてしまいユーザにとって不快であるため、電子マスクを用いて、画像の端や内視鏡マスクの端の領域を消すことが一般的である。その場合、画像の端や内視鏡マスクの端にグラフィックス情報が重畳されていた場合に、電子マスクによって、重畳された領域が消えたり、途切れてしまったりすることが生じる。

【0028】

一方で、手術用情報処理装置１００は、付加情報が付与されていると判定された場合、第１の画像処理を行なわない。図１の例では、手術用情報処理装置１００は、手術画像ＩＭ２のうち、領域ＡＲ１のみに対して手振れ補正を行う第２の画像処理を実行する。これにより、手術用情報処理装置１００は、ＯＳＤ情報等の付加情報が手振れ補正の対象となり、付加情報が揺れたりすることにより、術者の注意が付加情報に取られたり、ＯＳＤ情報等の付加情報の視認性が悪くなったりすることを抑制することができる。したがって、手術用情報処理装置１００は、ＯＳＤ情報等の情報の視認性を下げることなく、または術者の手術映像への注意力を低減させることなく、手術映像に対して画像処理を行うことができる。そのため、手術用情報処理装置１００は、手術の効率化を実現することができる。

【0029】

また、上述のように、手術用情報処理システム１は、医療用観察装置１０側ではなく、医療用観察装置１０よりも後段の構成（手術用情報処理装置１００）で画像処理をする際にＯＳＤ情報等の付加情報を考慮して画像処理を行う。したがって、手術用情報処理システム１は、医療用観察装置１０に新たな装置を設けることなく、画像処理を行うことができる。そのため、手術用情報処理システム１は、既存の医療用観察装置１０を変更することなく、手術の効率化を実現することができる。

【0030】

上述した手術用情報処理システム１は、例えば、外科内視鏡手術、ロボット手術、ビデオ顕微鏡手術などの外科手術動画を対象とする。手術用情報処理システム１は、外科内視鏡手術、ロボット手術、ビデオ顕微鏡手術などの外科手術動画（手術画像）かどうか判定する。手術用情報処理システム１は、ＯＳＤやＧＵＩといったグラフィックスや、ＣＴ画像などが重畳された画像に対し、画像に重畳された領域を検出する。手術用情報処理システム１は、重畳領域の有無をユーザに通知する。手術用情報処理システム１は、手術画像かどうかの情報と、重畳領域の有無に応じて、画像処理の実行有無を判定したり、部分的に実行するかを判定したりし、それを指示する画像処理制御信号を生成する。手術用情報処理システム１は、画像処理制御信号に基づき、画像処理を実行/停止、あるいは部分的実行を行う。手術用情報処理システム１は、ぶれ補正、電子ズーム、画像の回転処理、ＰｉｎＰ処理、画像強調等の画像処理を実行する。手術用情報処理システム１においては、ユーザＩＦ（Interface）を介して、画像処理の実行や停止をユーザが指示できる。手術用情報処理システム１は、ＯＳＤやＧＵＩといったグラフィックスや、ＣＴ画像などが重畳された画像に対し、過去にユーザが手動で停止した重畳画像の重畳領域の履歴を参照し、過去に手動で停止した重畳画像の重畳領域のみ画像処理を停止する。なお、これらの点についての詳細は後述する。

【0031】

上述したように、手術用情報処理システム１は、ＯＳＤやＧＵＩといったグラフィックスや、ＣＴ画像などが重畳された画像に対し、その領域の有無を検出し、自動で画像処理を停止あるいは部分停止することで、画像処理による重畳領域の移動や重畳領域が消えてしまう課題を解消し、ユーザの不快感を低減する。また、手術用情報処理システム１は、ＯＳＤやＧＵＩといったグラフィックスや、ＣＴ画像などが重畳された画像に対し、その領域の有無を検出し、ユーザに通知することで、画像処理の停止を促す。また、手術用情報処理システム１は、通知を受けて、ユーザに画像処理の手動での停止を実行させることで、ユーザの不快感を低減する。

【0032】

［１－１－２．他の判定例］
なお、付加情報の付与有無の判定処理については、上記に限らず種々の情報を適宜用いて行われてもよい。この点について以下詳述する。例えば、手術用情報処理装置１００は、手術画像のメタデータに基づいて、手術画像に付加情報が付与されているかを判定してもよい。手術用情報処理装置１００は、手術用情報処理装置１００に接続される機器を示す接続機器情報に基づいて、手術画像に付加情報が付与されているかを判定してもよい。手術用情報処理装置１００は、手術用情報処理装置１００に画像を送信する送信元となる接続される医療用観察装置１０を示す接続機器情報に基づいて、手術画像に付加情報が付与されているかを判定してもよい。例えば、手術用情報処理装置１００は、手術画像のＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）に関する情報に基づいて、手術画像に付加情報が付与されているかを判定してもよい。手術用情報処理装置１００は、ＤＩＣＯＭに関する情報に含まれる画像を撮像した医療用観察装置１０を示す情報に基づいて、手術画像に付加情報が付与されているかを判定してもよい。例えば、手術用情報処理装置１００は、医療用観察装置１０が付加情報が付与される装置である場合、手術画像に付加情報が付与されていると判定してもよい。

【0033】

手術用情報処理装置１００は、手術画像に対する画像解析の結果に基づいて、手術画像に付加情報が付与されているかを判定してもよい。手術用情報処理装置１００は、画像解析等の技術により、画像を解析することにより、手術画像に付加情報が付与されているかを判定してもよい。手術用情報処理装置１００は、手術画像に対する画像解析により、手術画像に文字情報等が含まれると結果が得られた場合、手術画像に付加情報が付与されていると判定してもよい。

【0034】

手術用情報処理装置１００は、ユーザによる設定を示すユーザ設定情報に基づいて、手術画像に付加情報が付与されているかを判定してもよい。手術用情報処理装置１００は、手術を行う術者の設定に基づいて、手術画像に付加情報が付与されているかを判定してもよい。手術用情報処理装置１００は、手術を行う術者が付加情報を付与しない設定を行っている場合、手術画像に付加情報が付与されていないと判定してもよい。手術用情報処理装置１００は、手術を行う術者が付加情報を付与する設定を行っている場合、手術画像に付加情報が付与されていると判定してもよい。

【0035】

また、手術用情報処理装置１００は、ユーザの選択に応じて、第１の画像処理を行うかどうかを判定してもよい。例えば、手術用情報処理装置１００は、手術画像に付加情報が付与されている場合であっても、ユーザが第１の画像処理を行うことを選択した場合、第１の画像処理を行うと判定してもよい。手術用情報処理装置１００は、手術画像に付加情報が付与されていない場合であっても、ユーザが第１の画像処理を行わないことを選択した場合、第１の画像処理を行わないと判定してもよい。例えば、手術用情報処理装置１００は、ＯＳＤ情報の種類に応じて、そのＯＳＤ情報を消すか消さないかを判定してもよい。例えば、手術用情報処理装置１００は、ユーザが種類「アイコン」のＯＳＤ情報を非表示にすると選択した場合、種類「アイコン」のＯＳＤ情報を消す処理を行ってもよい。

【0036】

また、手術用情報処理装置１００は、手術画像を撮像した機器に応じて閾値を変更して判定を行ってもよい。例えば、手術用情報処理装置１００は、医療用観察装置１０の種別に応じて、閾値を変更して判定を行ってもよい。例えば、手術用情報処理装置１００は、医療用観察装置１０の各種別に対応する閾値を用いて、付加情報が付与されているかを判定してもよい。例えば、手術用情報処理装置１００は、手術画像を撮像した医療用観察装置１０の種別が「内視鏡」である場合、種別「内視鏡」に対応する閾値を用いて、付加情報が付与されているかを判定してもよい。例えば、手術用情報処理装置１００は、手術画像を撮像した医療用観察装置１０の種別が「顕微鏡」である場合、種別「顕微鏡」に対応する閾値を用いて、付加情報が付与されているかを判定してもよい。

【0037】

また、手術用情報処理装置１００は、複数のレベルの閾値を用いて処理を行ってもよい。例えば、手術用情報処理装置１００は、差分の積算値が最も低い閾値である第１レベル閾値よりも小さい画素には、画像処理を行わないと判定してもよい。手術用情報処理装置１００は、差分の積算値が第１レベル閾値よりも値が大きい第２レベル閾値よりも小さい画素には、所定の色や輝度値（「輝度」ともいう）の画素を埋める処理（画素埋め）を行うと判定してもよい。手術用情報処理装置１００は、差分の積算値が第２レベル閾値よりも小さい画素には、元の画素の色や輝度の画素を埋める画素埋めを行うと判定してもよい。手術用情報処理装置１００は、差分の積算値が第２レベル閾値以上の画素には、画像処理を行うと判定してもよい。また、手術用情報処理装置１００は、手術画像に付与される付加情報の透過を判定してもよい。手術用情報処理装置１００は、複数のレベルの閾値を用いて、手術画像に付与される付加情報が透過性を有するかを判定してもよい。この場合、手術用情報処理装置１００は、差分の積算値が第１レベル閾値よりも小さい画素を、透過性を有しない付加情報であると判定してもよい。手術用情報処理装置１００は、差分の積算値が第１レベル閾値以上かつ第２レベル閾値よりも小さい画素を、透過性を有する付加情報であると判定してもよい。手術用情報処理装置１００は、差分の積算値が第２レベル閾値以上の画素を、付加情報ではないと判定してもよい。例えば、手術用情報処理装置１００は、差分の積算値が第２レベル閾値以上の画素を、手術画像に対応する画素であると判定してもよい。なお、上記は一例であり、手術用情報処理装置１００は、種々の情報を適宜用いて、手術画像に付加情報が付与されているかを判定してもよい。

【0038】

［１－２．第１の実施形態に係る手術用情報処理システムの構成］
図２に示す手術用情報処理システム１について説明する。図２に示すように、手術用情報処理システム１は、医療用観察装置１０と、画像受信装置５０と、手術用情報処理装置１００とが含まれる。医療用観察装置１０と、画像受信装置５０と、手術用情報処理装置１００とは所定の通信網（図３中のネットワークＮ等）を介して、有線または無線により通信可能に接続される。図２は、第１の実施形態に係る手術用情報処理システムの構成例を示す図である。なお、図２に示した手術用情報処理システム１には、複数台の医療用観察装置１０や、複数台の画像受信装置５０や、複数台の手術用情報処理装置１００が含まれてもよい。例えば、手術用情報処理システム１は、各装置間での情報の伝送を実現する伝送システムをしても機能する。

【0039】

医療用観察装置１０は、モダリティとも称され、医療用に用いられる装置である。医療用観察装置１０は、画像センサ等の撮像部を備え、撮像機能を有する。医療用観察装置１０は、例えば生体組織等の撮像対象を撮像し、医療画像を生成する。医療用観察装置１０は、生体組織に限らず、種々の対象を撮像する。例えば、医療用観察装置１０は、手術対象となる部位を撮像し、手術画像を生成する。例えば、医療用観察装置１０は、術野カメラや内視鏡や顕微鏡等の医療機器である。医療用観察装置１０は、術野カメラや内視鏡や顕微鏡等に限らず、画像を撮像する機能を有する装置であればよく、その構成は特に限定されない。

【0040】

画像受信装置５０は、各種の外部装置から画像を受信する装置である。画像受信装置５０は、各種の外部装置から受信した画像を表示したり、記録したりする装置である。画像受信装置５０は、画像を表示する表示装置や画像を記録する記憶装置等の装置（画像管理サーバ）である。例えば、画像受信装置５０は、表示装置であるモニタ（ディスプレイ）やプロジェクタ、または記憶装置であるレコーダ等である。画像受信装置５０は、手術用情報処理装置１００から出力された画像を受信する。画像受信装置５０は、手術用情報処理装置１００から送信された画像を受信する。

【0041】

手術用情報処理装置１００は、画像に対して画像処理を行う情報処理装置（コンピュータ）である。手術用情報処理装置１００は、外部装置から取得した画像に対して、画像処理を実行し、画像処理を実行した画像を他の外部装置へ送信する。

【0042】

手術用情報処理装置１００は、医療用観察装置１０から取得した手術画像などの医療画像に対して後述する画像処理を実行する。手術用情報処理装置１００は、画像処理を実行した医療画像を画像受信装置５０に出力する。

【0043】

手術用情報処理装置１００は、手術画像等の画像に対して手振れ補正や回転補正等の画像処理を施すことが可能な装置であれば、どのような装置であってもよい。例えば、手術用情報処理装置１００は、画像の電気信号を光信号に変換するＩＰ（Interlace/Progressive）コンバータであってもよい。手術用情報処理装置１００は、種々の技術を適宜用いて、手振れ補正や回転補正等の画像処理を行う。例えば、手術用情報処理装置１００は、手振れ補正を行う場合、手術画像に対して動きベクトルの抽出処理を実行し、抽出した動きベクトルに対して逆位相に手術画像を動かすことにより、手振れを補正してもよい。例えば、手術用情報処理装置１００は、付加情報が付与されている場合、手術画像のうち手術領域に対して動きベクトルの抽出処理を実行し、抽出した動きベクトルに対して逆位相に手術領域を動かすことにより、手振れを補正してもよい。

【0044】

手術用情報処理装置１００は、手術画像に付加情報が付与されているかを判定し、付加情報が付与されていないと判定された場合、第１の画像処理を行い、付加情報が付与されていると判定された場合、第１の画像処理を行わない。手術用情報処理装置１００は、画像が手術画像であるかどうかを判定する。手術用情報処理装置１００は、医療用観察装置１０から取得した画像が手術画像であるかどうかを判定する。手術用情報処理装置１００は、画像が手術画像である場合、その画像に付加情報が付与されているかを判定し、付加情報が付与されていないと判定された場合、第１の画像処理を行い、付加情報が付与されていると判定された場合、第１の画像処理を行わない。

【0045】

［１－３．第１の実施形態に係る手術用情報処理装置の構成］
次に、第１の実施形態に係る情報処理を実行する手術用情報処理装置の一例である手術用情報処理装置１００の構成について説明する。図３は、第１の実施形態に係る手術用情報処理装置１００の構成例を示す図である。

【0046】

図３に示すように、手術用情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、手術用情報処理装置１００は、手術用情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0047】

通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、医療用観察装置１０や画像受信装置５０等の他の情報処理装置（コンピュータ）との間で情報の送受信を行う。また、通信部１１０は、ユーザが利用するユーザ端末（図示省略）との間で情報の送受信を行ってもよい。

【0048】

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。第１の実施形態に係る記憶部１２０は、図３に示すように、閾値情報記憶部１２１と、処理条件情報記憶部１２２とを有する。なお、図示は省略するが、記憶部１２０は、閾値情報記憶部１２１や処理条件情報記憶部１２２に示す情報以外にも各種の情報を記憶する。記憶部１２０は、画像処理を行うための各種情報を記憶する。例えば、記憶部１２０は、第１の画像処理の具体的な処理内容や、第２の画像処理の具体的な処理内容を示す情報を記憶する。例えば、記憶部１２０は、第１の画像処理を実行するためのプログラム（第１の画像処理プログラム）や、第２の画像処理を実行するためのプログラム（第２の画像処理プログラム）を記憶する。

【0049】

第１の実施形態に係る閾値情報記憶部１２１は、閾値に関する各種情報を記憶する。閾値情報記憶部１２１は、各種の判定に用いる閾値に関する各種情報を記憶する。図４は、第１の実施形態に係る閾値情報記憶部の一例を示す図である。図４に示す閾値情報記憶部１２１には、「閾値ＩＤ」、「対象」、「閾値」といった項目が含まれる。

【0050】

「閾値ＩＤ」は、閾値を識別するための識別情報を示す。「対象」は、閾値が用いられる対象を示す。「閾値」は、対応する閾値ＩＤにより識別される閾値の具体的な値を示す。

【0051】

図４の例では、閾値ＩＤ「ＴＨ１」により識別される閾値（閾値ＴＨ１）は、対象が「差分絶対値」であることを示す。すなわち、閾値ＴＨ１は、差分絶対値との比較に用いられることを示す。この場合、閾値ＴＨ１は、差分絶対値との比較に用いられ、付加情報の有無の判定に用いられることを示す。また、閾値ＴＨ１の値は、「ＶＬ１」であることを示す。なお、図４の例では、「ＶＬ１」といった抽象的な符号で示すが、閾値ＴＨ１の値は具体的な数値である。

【0052】

なお、閾値情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

【0053】

第１の実施形態に係る処理条件情報記憶部１２２は、処理条件に関する各種情報を記憶する。処理条件情報記憶部１２２は、各種の条件と、その条件を満たした場合に行われる画像処理との組合せに関する各種情報を記憶する。図５は、第１の実施形態に係る処理条件情報記憶部の一例を示す図である。図５に示す処理条件情報記憶部１２２には、「処理条件ＩＤ」、「条件」、「処理内容」といった項目が含まれる。

【0054】

「処理条件ＩＤ」は、処理条件を識別するための識別情報を示す。「条件」は、処理条件ＩＤにより識別される条件を示す。「条件」には、「画像種別」や「付加情報」といった項目が含まれる。なお、「条件」には、「画像種別」や「付加情報」のみに限らず、条件になるものであれば、どのような項目が含まれてもよい。「処理内容」は、処理条件ＩＤにより識別される条件を満たした場合に行われる処理の内容を示す。

【0055】

図５の例では、処理条件ＩＤ「ＰＳ１」により識別される処理条件（処理条件ＰＳ１）は、画像種別が「手術画像」であり、付加情報が「無し」であることを示す。また、処理条件ＰＳ１を満たした場合に実行される処理は、第１の画像処理であることを示す。すなわち、画像種別が「手術画像」であり、付加情報が「無し」である画像に対しては、第１の画像処理が実行されることを示す。

【0056】

また、処理条件ＩＤ「ＰＳ２」により識別される処理条件（処理条件ＰＳ２）は、画像種別が「手術画像」であり、付加情報が「有り」であることを示す。また、処理条件ＰＳ２を満たした場合に実行される処理は、第２の画像処理であることを示す。すなわち、画像種別が「手術画像」であり、付加情報が「有り」である画像に対しては、第２の画像処理が実行されることを示す。

【0057】

また、処理条件ＩＤ「ＰＳ３」により識別される処理条件（処理条件ＰＳ３）は、画像種別が「手術画像以外」であり、付加情報が「－（条件なし）」であることを示す。また、処理条件ＰＳ３を満たした場合に実行される処理は、第１の画像処理であることを示す。すなわち、画像種別が「手術画像以外」である場合、付加情報の有無に関わらず、第１の画像処理が実行されることを示す。なお、手術用情報処理装置１００は、画像種別が「手術画像以外」の場合も手術画像の場合と同様に、付加情報の有無に応じて、第１の画像処理と第２の画像処理とを切り替えてもよい。

【0058】

なお、上記は一例であり、処理条件情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。処理条件情報記憶部１２２は、第２の画像処理を行う場合、図１５～図１８に示す第１の処理態様～第４の処理態様のうち、いずれの処理態様の画像処理を行うかを示す情報を記憶してもよい。処理条件情報記憶部１２２は、付加情報が手術画像に重畳する場合、図１５～図１８に示す第１の処理態様～第４の処理態様のうち、いずれの処理態様の画像処理を行うかを示す情報を記憶してもよい。また、処理条件情報記憶部１２２は、処理条件ＰＳ１～ＰＳ３以外にも各種の処理条件を記憶してもよい。

【0059】

図３に戻り、説明を続ける。制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、手術用情報処理装置１００内部に記憶されたプログラム（例えば、本開示に係る手術用情報処理プログラム等の情報処理プログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0060】

図３に示すように、制御部１３０は、取得部１３１と、第１判定部１３２と、第２判定部１３３と、処理部１３４と、通知部１３５と、送信部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

【0061】

取得部１３１は、各種情報を取得する。取得部１３１は、外部の情報処理装置から各種情報を取得する。取得部１３１は、医療用観察装置１０や画像受信装置５０から各種情報を取得する。

【0062】

取得部１３１は、記憶部１２０から各種情報を取得する。取得部１３１は、閾値情報記憶部１２１や処理条件情報記憶部１２２から各種情報を取得する。

【0063】

取得部１３１は、手術画像を取得する。取得部１３１は、医療用観察装置から手術画像を取得する。取得部１３１は、手術画像のメタデータを取得する。取得部１３１は、手術画像のＤＩＣＯＭに関する情報を含むメタデータを取得する。取得部１３１は、ユーザによる設定を示すユーザ設定情報を取得する。取得部１３１は、手術用情報処理装置に接続される機器を示す接続機器情報を取得する。

【0064】

取得部１３１は、手術画像を含む複数の手術画像を取得する。取得部１３１は、手術画像を撮像した機器に対応する付加情報が表示される対象領域を示す情報を取得する。取得部１３１は、差分用の閾値である第１閾値と、輝度用の閾値である第２閾値とを取得する。

【0065】

取得部１３１は、第１判定部１３２が解析した各種情報を取得する。取得部１３１は、第２判定部１３３が生成した各種情報を取得する。取得部１３１は、第２判定部１３３が生成した各種情報を取得する。取得部１３１は、処理部１３４が処理した各種情報を取得する。

【0066】

取得部１３１は、対話の契機となる第１情報と、第１情報に対する応答を示す第２情報と、第２情報に対する反応を示す第３情報と、を取得する。取得部１３１は、質問である第１情報と、第１情報に対する回答である第２情報と、第２情報に対する回答である第３情報と、を取得する。取得部１３１は、第１主体の発話に対応する第１情報と、第２主体の発話に対応する第２情報と、第３主体の発話に対応する第３情報と、を取得する。取得部１３１は、第１情報と、第１主体とは異なる第２主体の発話に対応する第２情報と、第１主体である第３主体の発話に対応する第３情報と、を取得する。

【0067】

取得部１３１は、対話システムのエージェントである第１主体の発話に対応する第１情報と、ユーザである第２主体の発話に対応する第２情報と、対話システムのエージェントである第３主体の発話に対応する第３情報と、を取得する。取得部１３１は、第１情報、第２情報、及び第３情報のうち少なくとも１つがユーザにより入力された第１情報と、第２情報と、第３情報とを取得する。取得部１３１は、入力ユーザに提示された第１情報と、入力ユーザにより入力された第２情報と、入力ユーザにより入力された第３情報と、を取得する。取得部１３１は、入力ユーザのメタ情報を取得する。

【0068】

取得部１３１は、対話の契機となる第１情報と、第１情報に対する応答を示す第２情報と、第２情報に対する反応を示す第３情報と、の組合せに対応する対話の構成単位の情報である複数の単位情報を取得する。取得部１３１は、第１情報と第２情報と第３情報との組合せである構成単位の複数の単位情報を取得する。取得部１３１は、複数の単位情報が提示されたユーザによる組合せ間のつなぎ方の指定情報を取得する。取得部１３１は、第１情報と第２情報と第３情報との組合せ間をつなぐ情報であるつなぎ情報を取得する。取得部１３１は、ユーザにより指定されたつなぎ情報を取得する。取得部１３１は、第１情報、第２情報、及び第３情報の各々である構成単位の複数の単位情報を取得する。

【0069】

図１の例では、取得部１３１は、手術画像ＩＭ１を取得する。取得部１３１は、手術画像ＩＭ２を取得する。

【0070】

第１判定部１３２は、各種情報を判定する。第１判定部１３２は、外部の情報処理装置からの情報に基づいて、各種情報を判定する。第１判定部１３２は、医療用観察装置１０や画像受信装置５０等の他の情報処理装置からの情報に基づいて、各種情報を判定する。第１判定部１３２は、閾値情報記憶部１２１や処理条件情報記憶部１２２に記憶された情報に基づいて、各種情報を判定する。第１判定部１３２は、取得部１３１により取得された情報に基づいて、各種情報を判定する。

【0071】

第１判定部１３２は、取得部１３１により取得された各種情報に基づいて、各種情報を判定する。第１判定部１３２は、画像が手術画像であるかを判定する。第１判定部１３２は、画像を解析することにより、画像が手術画像であるかを判定する。

【0072】

第２判定部１３３は、各種情報を判定する。第２判定部１３３は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報を判定する。第２判定部１３３は、医療用観察装置１０や画像受信装置５０等の他の情報処理装置からの情報に基づいて、各種情報を判定する。第２判定部１３３は、閾値情報記憶部１２１や処理条件情報記憶部１２２に記憶された情報に基づいて、各種情報を判定する。第２判定部１３３は、取得部１３１により取得された情報に基づいて、各種情報を判定する。

【0073】

第２判定部１３３は、取得部１３１により取得された各種情報に基づいて、各種情報を判定する。第２判定部１３３は、第１判定部１３２により判定された各種情報に基づいて、各種情報を判定する。第２判定部１３３は、第１判定部１３２による判定結果に基づいて、各種情報を判定する。なお、第１判定部１３２と第２判定部１３３とは、一体となった判定部であってもよい。

【0074】

第２判定部１３３は、取得部１３１により取得された手術画像に付加情報が付与されているかを判定する。第２判定部１３３は、取得部１３１により取得されたメタデータに基づいて、手術画像に付加情報が付与されているかを判定する。第２判定部１３３は、手術画像に対する画像解析の結果に基づいて、手術画像に付加情報が付与されているかを判定する。第２判定部１３３は、手術画像の色に関する画像解析の結果に基づいて、手術画像に付加情報が付与されているかを判定する。第２判定部１３３は、機械学習を用いた手術画像の画像解析の結果に基づいて、手術画像に付加情報が付与されているかを判定する。

【0075】

第２判定部１３３は、取得部１３１により取得されたユーザ設定情報に基づいて、手術画像に付加情報が付与されているかを判定する。第２判定部１３３は、取得部１３１により取得された接続機器情報に基づいて、手術画像に付加情報が付与されているかを判定する。

【0076】

第２判定部１３３は、手術画像に付与されている付加情報の領域を判定する。第２判定部１３３は、ズーム処理に対応して手術画像に付与される付加情報の領域を判定する。第２判定部１３３は、手術画像に付与されるフリーズ画像である付加情報の領域を判定する。第２判定部１３３は、手術画像に付与される文字情報である付加情報の領域を判定する。第２判定部１３３は、手術画像に付与される文字情報が配置された領域を判定する。第２判定部１３３は、手術画像に付与される枠である付加情報の領域を判定する。第２判定部１３３は、手術画像に付与される枠の領域を判定する。第２判定部１３３は、手術画像の端部に配置される枠の領域を判定する。第２判定部１３３は、手術画像の周端部を囲む枠の領域を判定する。第２判定部１３３は、手術画像にかけられるマスクを判定する。第２判定部１３３は、手術画像の周端部に配置されるマスクを判定する。第２判定部１３３は、手術画像に付与される透過性を有する付加情報の領域を判定する。第２判定部１３３は、手術画像に付与される付加情報の透過を判定する。第２判定部１３３は、手術画像に付与される付加情報の透過を判定する。

【0077】

第２判定部１３３は、複数の手術画像を比較することにより、手術画像に付加情報が付与されているかを判定する。第２判定部１３３は、複数の手術画像の色の比較に基づいて、手術画像に付加情報が付与されているかを判定する。第２判定部１３３は、複数の手術画像の画素値の差分が閾値を超えない部分を付加情報と判定する。第２判定部１３３は、手術画像を撮像した機器に応じて閾値を変更して判定を行う。

【0078】

第２判定部１３３は、特殊光画像と、観察光画像とを含む複数の手術画像が取得された場合、観察光画像を比較することにより、付加情報が付与されているかを判定する。第２判定部１３３は、ＩＲ（InfraRed）光画像である特殊光画像と、可視光画像である観察光画像とを含む複数の手術画像が取得された場合、観察光画像を比較することにより、付加情報が付与されているかを判定する。

【0079】

第２判定部１３３は、複数の手術画像の差分絶対値の加算値と第１閾値との比較、及び複数の手術画像の輝度値の加算値と第２閾値との比較に基づいて、付加情報を判定する。第２判定部１３３は、複数の手術画像の差分絶対値の加算値と第１閾値との比較、及び複数の手術画像の輝度値の加算値と第２閾値との比較に基づいて、マスク画像とＯＳＤ情報とを判別する。第２判定部１３３は、複数の手術画像の差分絶対値の加算値を第１軸とし、複数の手術画像の輝度値の加算値を第２軸として、付加情報を判定する。

【0080】

図１の例では、第２判定部１３３は、手術画像ＩＭ１に付加情報が付与されていないと判定する。第２判定部１３３は、手術画像ＩＭ２に付加情報が付与されていると判定する。

【0081】

処理部１３４は、各種情報処理を実行する。処理部１３４は、各種の画像処理を行う。例えば、処理部１３４は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報処理を実行する。処理部１３４は、医療用観察装置１０や画像受信装置５０等の他の情報処理装置からの情報に基づいて、各種情報処理を実行する。処理部１３４は、閾値情報記憶部１２１や処理条件情報記憶部１２２に記憶された情報に基づいて、各種情報処理を実行する。

【0082】

処理部１３４は、取得部１３１により取得された各種情報に基づいて、各種情報処理を実行する。処理部１３４は、第１判定部１３２により判定された各種情報に基づいて、各種情報処理を実行する。処理部１３４は、第１判定部１３２による判定結果に基づいて、各種情報処理を実行する。処理部１３４は、第２判定部１３３により判定された各種情報に基づいて、各種情報処理を実行する。処理部１３４は、第２判定部１３３による判定結果に基づいて、各種情報処理を実行する。

【0083】

処理部１３４は、画像に関する解析処理を行う。処理部１３４は、画像処理に関する各種処理を行う。処理部１３４は、取得部１３１により取得された画像情報（画像）に対して処理を行う。処理部１３４は、画像処理に関する技術を適宜用いて、画像に対する処理を行う。

【0084】

処理部１３４は、第２判定部１３３により付加情報が付与されていないと判定された場合、第１の画像処理を行い、付加情報が付与されていると判定された場合、第１の画像処理を行わない。付加情報が付与されていると判定された場合、第１の画像処理とは異なる第２の画像処理を行う。処理部１３４は、手術画像全体を対象とする画像処理である第１の画像処理を行う。処理部１３４は、手術画像のうち、付加情報に対応する付加情報領域以外の領域を対象とする第１の画像処理と同種の画像処理を含む第２の画像処理を行う。処理部１３４は、付加情報領域を対象とする第１の画像処理とは異種の画像処理を含む第２の画像処理を行う。

【0085】

処理部１３４は、付加情報領域を対象とする画素埋め処理を含む第２の画像処理を行う。処理部１３４は、ズーム、手振れ補正、回転補正、またはＰｉｎＰ（Picture in Picture）の少なくともいずれか１つを含む第１の画像処理を行う。

【0086】

なお、処理部１３４は、所望の画像処理を実行可能であれば、どのような技術を用いて画像処理を実行してもよく、種々の画像処理の技術を適宜用いて、画像処理を実行する。処理部１３４は、種々の情報を適宜用いて画像処理を実行してもよい。処理部１３４は、例えば医療用観察装置１０から取得されたＲＡＷデータ等の画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手振れ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、処理部１３４は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

【0087】

図１の例では、処理部１３４は、画像ＩＭ１に対して第１の画像処理を実行する。処理部１３４は、画像ＩＭ１に対して第１の画像処理を実行し、画像ＩＭ１０を生成する。また、処理部１３４は、画像ＩＭ２に対して第２の画像処理を実行する。処理部１３４は、画像ＩＭ２に対して第２の画像処理を実行し、画像ＩＭ２０を生成する。

【0088】

通知部１３５は、情報の通知を行う。通知部１３５は、ユーザへの情報通知を行う。通知部１３５は、ユーザが利用する端末装置等へ情報を通知（送信）する。通知部１３５は、手術用情報処理装置１００がディスプレイ（表示画面）やスピーカー等の出力部を有する場合、出力部により、ユーザへの情報通知を行ってもよい。

【0089】

通知部１３５は、取得部１３１により取得された各種情報に基づいて、各種情報を通知する。通知部１３５は、第１判定部１３２により収集された各種情報に基づいて、各種情報を通知する。通知部１３５は、第１判定部１３２による判定結果に基づいて、各種情報を通知する。通知部１３５は、第２判定部１３３により生成された各種情報に基づいて、各種情報を通知する。通知部１３５は、第２判定部１３３による判定結果に基づいて、各種情報を通知する。通知部１３５は、処理部１３４により処理された各種情報に基づいて、各種情報を通知する。

【0090】

送信部１３６は、外部の情報処理装置へ各種情報を提供する。送信部１３６は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１３６は、医療用観察装置１０や画像受信装置５０等の他の情報処理装置へ各種情報を送信する。送信部１３６は、記憶部１２０に記憶された情報を提供する。送信部１３６は、記憶部１２０に記憶された情報を送信する。

【0091】

送信部１３６は医療用観察装置１０や画像受信装置５０等の他の情報処理装置からの情報に基づいて、各種情報を提供する。送信部１３６は、記憶部１２０に記憶された情報に基づいて、各種情報を提供する。送信部１３６は、閾値情報記憶部１２１や処理条件情報記憶部１２２に記憶された情報に基づいて、各種情報を提供する。

【0092】

図１の例では、送信部１３６は、処理部１３４により画像処理が行われた画像ＩＭ１０やＩＭ２０を画像受信装置５０へ送信する。

【0093】

［１－４．第１の実施形態に係る情報処理の手順］
次に、図６を用いて、第１の実施形態に係る各種情報処理の手順について説明する。

【0094】

図６は、第１の実施形態に係る情報処理の手順を示すフローチャートである。具体的には、図６は、手術用情報処理装置１００による収集処理の手順を示すフローチャートである。

【0095】

図６に示すように、手術用情報処理装置１００は、手術画像を取得する（ステップＳ１０１）。手術用情報処理装置１００は、手術画像に付加情報が付与されているかを判定する（ステップＳ１０２）。

【0096】

手術用情報処理装置１００は、手術画像に付加情報が無い場合（ステップＳ１０３：Ｎｏ）、第１の画像処理を実行する（ステップＳ１０３）。

【0097】

一方、手術用情報処理装置１００は、手術画像に付加情報が有る場合（ステップＳ１０３：Ｙｅｓ）、第２の画像処理を実行する（ステップＳ１０４）。手術用情報処理装置１００は、手術画像に付加情報が有る場合、第１の画像処理を実行せずに、第２の画像処理を実行する。

【0098】

［１－５．手術用情報処理システムの具体的構成の一例］
次に、図７を用いて手術用情報処理システム１の具体例である手術用情報処理システム１５０を説明する。図７は、手術用情報処理システムの具体例を示す模式図である。

【0099】

手術用情報処理システム１５０は、術野カメラ１５１、内視鏡１５２、顕微鏡１５３、ＩＰコンバータ１５４、光スイッチャ１５５、サーバ１５６、ＩＰコンバータ１５７、モニタ１５８、レコーダ１５９及びプロジェクタ１６０から構成されている。

【0100】

術野カメラ１５１、内視鏡１５２及び顕微鏡１５３でそれぞれ撮像された医療画像の電気信号はＩＰコンバータ１５４によって光信号に変換され、光スイッチャ１５５によって任意のＩＰコンバータ１５７に出力される。

【0101】

ＩＰコンバータ１５７は光スイッチャから供給された光信号を電気信号に変換し、モニタ１５８、レコーダ１５９及びプロジェクタ１６０にそれぞれ供給する。サーバ１５６は光スイッチャ１５５にいずれのＩＰコンバータ１５４といずれのＩＰコンバータ１５７を接続するかを指示する。例えば、ＩＰコンバータ１５４またはＩＰコンバータ１５７は、図２に示す手術用情報処理装置１００に対応する。

【0102】

例えば、術野カメラ１５１や内視鏡１５２や顕微鏡１５３は、図２に示す医療用観察装置１０に対応する。また、モニタ１５８やレコーダ１５９やプロジェクタ１６０は、図２に示す画像受信装置５０に対応する。また、画像受信装置５０は、サーバ１５６であってもよい。

【0103】

手術用情報処理装置１００は、ＩＰコンバータ１５４、ＩＰコンバータ１５７及びサーバ１５６の少なくともいずれか一つに相当する。なお、図７においてサーバ１５６は設けられなくてもよく、その場合、手術用情報処理装置１００はＩＰコンバータ１５４及びＩＰコンバータ１５７の少なくともいずれか一つに相当する。例えば、手術用情報処理装置１００であるＩＰコンバータ１５４またはＩＰコンバータ１５７は、医療用観察装置１０である術野カメラ１５１や内視鏡１５２や顕微鏡１５３から手術画像を取得し、付加情報の有無に応じて画像処理を実行した手術画像を画像受信装置５０に送信する。なお、図７に示す手術用情報処理システム１５０の具体的構成は手術用情報処理システム１の一例であって、手術用情報処理システム１は図２に示す構成が実現されているものであればよい。

【0104】

［１－６．手術用情報処理システムの機能構成例の概念図］
次に、手術用情報処理システムの機能構成例を図８～図１３を用いて説明する。なお、図８～図１３に示す各機能構成は、手術用情報処理システム１中の手術用情報処理装置１００や医療用観察装置１０等の構成により実現される。

【0105】

［１－６－１．手術用情報処理システムの実施が想定される場］
まず、図８を用いて、手術用情報処理システムの実施が想定される場について説明する。図８は、手術用情報処理システムの機能構成の概念図の一例を示す図である。具体的には、図８は、手術用情報処理システムにおける情報の流れを概念的に示す図である。

【0106】

図８に示すように、手術用情報処理装置１００は、カメラコントロールユニット２００により、撮像画像にＯＳＤ情報などの付加情報が付与された画像を取得する。カメラコントロールユニット２００は、手術用情報処理装置１００よりも前段に設けられ、手術用情報処理装置１００が処理を行う前に、撮像画像にＯＳＤ情報などの付加情報を付与する。カメラコントロールユニット２００は、医療用観察装置１０と一体であってもよいし、医療用観察装置１０と別体であってもよい。

【0107】

上述したように、手術用情報処理システム１は、主に外科内視鏡手術、ロボット手術、ビデオ顕微鏡手術などの外科手術動画（手術画像）を対象とする。また、手術用情報処理システム１は、手術画像以外の画像も入力画像とするが、その場合は後述する重畳領域の判定は行わず全画面に画像処理が適用される。図８に示すように、手術用情報処理装置１００は、カメラで撮影された手術画像に対し、カメラコントロールユニット２００で画像処理を実施した画像を入力とする。カメラコントロールユニット２００では、デジタル現像や高画質化といった画像処理の他に、ＯＳＤやＧＵＩといったグラフィックスの重畳や、予め撮影したＣＴ画像などの外部入力情報を重畳した画像を生成し、出力する。カメラコントロールユニット２００の画像を入力として、後段の手術用情報処理装置１００で画像処理を実施するため、上述のような付加情報の有無を判定し、判定結果に応じて画像処理を切り替えることが重要となる。

【0108】

［１－６－２．手術用情報処理装置］
次に、図９を用いて、手術用情報処理装置の機能構成について説明する。図９は、手術用情報処理システムの機能構成の概念図の一例を示す図である。具体的には、図９は、手術用情報処理装置の機能ブロック図の一例を示す図である。

【0109】

例えば、図９中の手術画像判定部は、第１判定部１３２に対応する。また、図９中の重畳領域判定部や処理判定部は、第２判定部１３３に対応する。また、図９中の画像処理実行部は、処理部１３４に対応する。また、図９中のユーザ通知部は、通知部１３５に対応する。

【0110】

画像処理部は、例えば図８に示すカメラコントロールユニット２００からの出力画像を入力とする。手術画像判定部は、外科内視鏡手術、ロボット手術、ビデオ顕微鏡手術などの外科手術動画かどうか判定する。手術画像判定部は、手術画像かどうかの判定結果を示す情報を生成し、処理判定部へ送信する。重畳領域検出部は、カメラコントロールユニット２００で重畳されたグラフィック情報やＣＴ画像等の領域を検出する。重畳領域検出部は、重畳領域画像を示す情報を生成する。例えば、重畳領域検出部は、重畳領域画像の位置や範囲を示す情報を生成する。ユーザ通知部は、重畳領域の有無をユーザに通知する。処理判定部は、手術画像判定部で判定された外科手術動画かどうかの情報と、重畳領域検出部で検出された重畳領域の有無に応じて、どのような処理を行うかを判定する。処理判定部は、画像処理実行部における画像処理を実行することや、実行しないことや、部分的に実行することなどを判定し、それを指示する画像処理制御信号を生成する。画像処理実行部は、ぶれ補正、電子ズーム、画像の回転処理、ＰｉｎＰ処理、画像強調などの画像処理を実行する。また、ユーザはユーザＩＦを介して、画像処理の実行や停止を手術用情報処理システムに対して指示できる。

【0111】

［１－６－３．手術画像判定］
次に、図１０を用いて、手術画像判定の機能構成について説明する。図１０は、手術用情報処理システムの機能構成の概念図の一例を示す図である。具体的には、図１０は、第１判定部１３２に対応する手術画像判定部の機能ブロック図の一例を示す図である。

【0112】

手術用情報処理装置１００は、外科内視鏡手術、ロボット手術、ビデオ顕微鏡手術などの外科手術動画（手術画像）以外の画像も入力可能である。手術画像判定部（第１判定部１３２）は、シーン認識部や手術画像判定情報生成部を有する。例えば、手術画像判定部は、シーン認識部により手術画像のシーンを認識し、その認識結果を基に手術画像判定情報生成部により手術画像かどうかを示す判定情報を生成する。手術画像判定部は、入力画像が外科手術動画かどうかを判定する。手術画像判定部は、外科手術動画（手術画像）かどうかの判定には、内視鏡のマスク認識、鉗子などの術具認識、血液検出などのシーン認識技術を用いて認識した結果、マスク、術具、血液等があると判定された場合には、手術画像と判定する。なお、マスク認識等については公知の技術であるため説明を省略する。また、手術用情報処理装置１００は、ユーザによる手術動画かどうかの指定を取得してもよい。この場合、ユーザが手術動画かどうかを手動で指定してもよい。

【0113】

［１－６－４．重畳領域検出］
次に、図１１～図１３を用いて、重畳領域検出の機能構成について説明する。図１１～図１３は、手術用情報処理システムの機能構成の概念図の一例を示す図である。具体的には、図１１～図１３は、第２判定部１３３に対応する重畳領域検出部の機能ブロック図の一例を示す図である。

【0114】

まず、図１１の構成例について説明する。重畳領域検出部（第２判定部１３３）は、差分積算部や重畳領域判定部を有する。重畳領域検出部は、差分積算部による積算結果を基に、重畳領域判定部による判定を行う。重畳領域検出部は、入力手術動画像に対して、１フレーム前の画像を保持して、現フレームと１フレーム前の画像の画素差分絶対値を算出する。重畳領域検出部は、その差分絶対値を時間方向で積算する。重畳領域検出部は、積算された画像に対し、閾値処理を行い、閾値よりも低い領域を重畳領域として検出する。

【0115】

次に、図１２の構成例について説明する。図１２の重畳領域検出部（第２判定部１３３）は、は、ＮＲ（ノイズリダクション）の機能を有する点で、図１１の構成と相違する。手術シーンにおいては、白色光源下で観察する通常光観察シーンと、蛍光観察などの特殊光観察シーンがある。そのため、特殊光観察の画像はノイズが多い傾向があるので、図１２の重畳領域検出部は、重畳領域判定の前にＮＲを前処理として実行し、ノイズを除去した状態で重畳領域判定を実施する。

【0116】

次に、図１３の構成例について説明する。図１３の重畳領域検出部（第２判定部１３３）は、特殊光画像判定部と選択部と重畳領域保持部とを有する点で、図１１の構成と相違する。

【0117】

上述のように、手術シーンにおいては、白色光源下で観察する通常光観察シーンと、蛍光観察などの特殊光観察シーンがある。また、特殊光観察においては、通常光観察シーンと比較してレベルが低い領域が多く、その領域の差分絶対値は小さくなるため、重畳領域と誤検出する場合がある。そのため、図１３の重畳領域検出部（第２判定部１３３）は、重畳領域検出は通常光観察シーンに対して行い、その領域情報を重畳領域保持部で保持しておく。重畳領域検出部は、入力画像が通常観察時の画像か特殊光観察時の画像かを画像ヒストグラムの分布などから、特殊光画像判定部で判定を行う。重畳領域検出部は、特殊光観察シーンである場合は、重畳領域保持部に保持された重畳領域画像を出力として選択する。重畳領域検出部は、通常観察の場合は重畳領域判定部の重畳領域画像を直接出力する。

【0118】

［１－６－５．ユーザ通知部、ユーザＩＦ］
次に、ユーザ通知部及びユーザＩＦについて説明する。ユーザ通知部（通知部１３５）は、重畳領域検出部で検出された重畳領域の有無を、ユーザに通知する。ユーザは通知を受け取り、重畳領域がある場合には、ユーザＩＦ（例えば入力部等）を介して画像処理実行部の画像処理の実行を停止できる。また、ユーザは、一旦停止した画像処理実行部の実行を、ユーザＩＦを介して再開できる。

【0119】

［１－６－６．処理判定部］
次に、図１４を用いて、処理判定部の処理について説明する。図１４は、手術用情報処理システムによる処理手順の一例を示すフローチャートである。具体的には、図１４は、処理判定部による処理手順の一例を示すフローチャートである。

【0120】

図１４に示すように、手術用情報処理装置１００は、入力画像が手術画像かどうかを判定する（ステップＳ２０１）。例えば、手術用情報処理装置１００の処理判定部は、手術画像判定部からの情報を基に入力画像が手術画像かどうかを判定する。

【0121】

手術用情報処理装置１００は、入力画像が手術画像である場合（ステップＳ２０１：Ｙｅｓ）、重畳領域が存在するかを判定する（ステップＳ２０２）。例えば、手術用情報処理装置１００の処理判定部は、入力画像が手術画像である場合、入力画像に重畳領域が存在するかを判定する。

【0122】

そして、手術用情報処理装置１００は、重畳領域が存在する場合（ステップＳ２０２：Ｙｅｓ）、画像処理を実行しないか、または部分的な画像処理を実行する（ステップＳ２０３）。例えば、手術用情報処理装置１００の処理判定部は、入力画像に重畳領域が存在する場合、第１の画像処理を実行せず、第２の画像処理を実行すると判定する。

【0123】

一方、手術用情報処理装置１００は、入力画像が手術画像でない場合（ステップＳ２０１：Ｎｏ）、または重畳領域が存在しない場合（ステップＳ２０２：Ｎｏ）、画像処理を実行する（ステップＳ２０４）。例えば、手術用情報処理装置１００の処理判定部は、入力画像が手術画像でない場合または入力画像に重畳領域が存在しない場合、第１の画像処理を実行すると判定する。

【0124】

上述のように、処理判定部（第２判定部１３３）は、手術画像判定部で入力画像が外科手術動画以外の画像と判定された場合は、画像処理実行部における画像処理を実行する判定を下す。一方、外科手術動画の場合は、処理判定部は、重畳領域検出部で検出された重畳領域に応じて、画像処理実行部における画像処理を実行の有/無、あるいは部分的な画像処理実行をするかを判定する。

【0125】

［１－６－７．画像処理実行部］
また、処理判定部により重畳領域があると判定された場合、画像処理実行部は、以下のような各種の画像処理の制御を実行する。なお、以下に示す制御例は一例であり、画像処理実行部は、種々の画像処理に関する制御を実行する。例えば、画像処理実行の有無や、部分的な実行する領域を含む情報については、画像処理実行制御信号として、画像処理実行部に送信される。画像処理実行部は、画像処理実行の有無や、部分的な実行する領域を含む情報については、画像処理実行制御信号を処理判定部から受信する。

【0126】

画像処理実行部は、処理判定部から画像処理実行制御信号を受け取り、画像処理の実行あるいは停止または部分実行を行う。または、画像処理実行部は、ユーザIFを介したユーザからの画像処理の実行/停止の指示に従い、画像処理の実行あるいは停止を行う。画像処理実行部が行う画像処理は、ぶれ補正、電子ズーム、画像の回転処理、ＰｉｎＰ処理、画像強調が含まれる。

【0127】

例えば、画像処理実行部は、重畳領域がある場合は画像処理を自動停止する。画像処理実行部は、検出された重畳領域の条件を設定し、条件を満たす場合に画像処理を停止する。この場合、画像処理実行部は、重畳領域の面積が一定の面積以上であることや、重畳領域の重心の位置が画像中心から一定以下であることを条件（停止条件）としてもよい。画像処理実行部は、上記のような停止条件を基に、画像処理を停止してもよい。

【0128】

［１－７．画像処理の処理態様例］
例えば、手術用情報処理装置１００は、重畳領域または、その周辺のみ画像処理を停止し、それ以外の領域は画像処理を実行する。この点について、画像処理の処理態様例を図１５～図１８を用いて説明する。図１５～図１８は、画像処理の処理態様の一例を示す図である。図１５～図１８は、画像処理を停止する領域のバリエーションについて説明した図である。具体的には、図１５は、画像処理の第１の処理態様の一例を示す図である。また、図１６は、画像処理の第２の処理態様の一例を示す図である。また、図１７は、画像処理の第３の処理態様の一例を示す図である。また、図１８は、画像処理の第４の処理態様の一例を示す図である。

【0129】

［１－７－１．第１の処理態様］
まず、図１５を用いて第１の処理態様について説明する。図１５中の手術画像ＩＭ１１は、マスクＭＳ１１がかけられ、文字情報ＩＮＦ１１が付与されている。また、図１５の例では、文字情報ＩＮＦ１１は、内視鏡手術映像領域である領域ＡＲ１１に重複している。そのため、手術用情報処理装置１００は、検出された重畳領域のみ画像処理を停止する。例えば、手術用情報処理装置１００は、領域ＡＲ１１のうち、文字情報ＩＮＦ１１である「ＡＢＣＤＥ」が重複している領域のみ画像処理を停止する。手術用情報処理装置１００は、領域ＡＲ１１のうち、文字情報ＩＮＦ１１の一部「ＣＤＥ」が重複している領域のみ画像処理を停止する。

【0130】

［１－７－２．第２の処理態様］
まず、図１６を用いて第２の処理態様について説明する。図１６中の手術画像ＩＭ１２は、マスクＭＳ１２がかけられ、文字情報ＩＮＦ１２が付与されている。また、図１６の例では、文字情報ＩＮＦ１２は、内視鏡手術映像領域である領域ＡＲ１２に重複している。そのため、手術用情報処理装置１００は、検出された重畳領域を囲む矩形領域である領域ＡＡ１２のみ画像処理を停止する。例えば、手術用情報処理装置１００は、領域ＡＲ１２のうち、領域ＡＲ１２が重複している領域のみ画像処理を停止する。

【0131】

［１－７－３．第３の処理態様］
まず、図１７を用いて第３の処理態様について説明する。図１７中の第３の処理態様は、図１６中の第２の処理態様よりも矩形領域が広い点で、第２の処理態様と相違する。図１７中の手術画像ＩＭ１３は、マスクＭＳ１３がかけられ、文字情報ＩＮＦ１３が付与されている。また、図１７の例では、文字情報ＩＮＦ１３は、内視鏡手術映像領域である領域ＡＲ１３に重複している。そのため、手術用情報処理装置１００は、検出された重畳領域を囲む矩形領域である領域ＡＡ１３のみ画像処理を停止する。例えば、手術用情報処理装置１００は、領域ＡＲ１３のうち、領域ＡＲ１３が重複している領域のみ画像処理を停止する。

【0132】

［１－７－４．第４の処理態様］
まず、図１８を用いて第４の処理態様について説明する。図１８中の第４の処理態様は、図１５中の第１の処理態様とは領域ＡＡ１４内の文字情報以外の箇所の処理が異なる点で、第２の処理態様と相違する。図１８中の手術画像ＩＭ１４は、マスクＭＳ１３がかけられ、文字情報ＩＮＦ１４が付与されている。そのため、手術用情報処理装置１００は、検出された重畳領域のみ画像処理を停止する。例えば、手術用情報処理装置１００は、領域ＡＲ１４のうち、文字情報ＩＮＦ１１である「ＡＢＣＤＥ」が重複している領域のみ画像処理を停止する。手術用情報処理装置１００は、領域ＡＲ１１のうち、文字情報ＩＮＦ１４の一部「ＣＤＥ」が重複している領域のみ画像処理を停止する。また、手術用情報処理装置１００は、領域ＡＡ１４内で、重畳領域以外の領域は、特定の固定色あるいはその領域の画素値の平均値や最頻値で埋める処理を行う。

【0133】

［２．第２の実施形態］
［２－１．本開示の第２の実施形態に係る手術用情報処理装置の構成］
手術用情報処理システム１は、上記第１の実施形態に係る処理に限らず、種々情報を用いた各種の処理を実行してもよい。例えば、手術用情報処理システム１は、履歴情報を用いて判定を行ってもよい。この点について、図１９及び図２０を用いて説明する。図１９は、本開示の第２の実施形態に係る手術用情報処理装置の構成例を示す図である。図２０は、第２の実施形態に係る付加履歴情報記憶部の一例を示す図である。

【0134】

なお、第１の実施形態と同様の点については、適宜説明を省略する。また、例えば、第２の実施形態に係る手術用情報処理システム１は、手術用情報処理装置１００に代えて手術用情報処理装置１００Ａを含む。すなわち、第２の実施形態に係る手術用情報処理システム１は、医療用観察装置１０と、画像受信装置５０と、手術用情報処理装置１００Ａとが含まれる。

【0135】

まず、第２の実施形態に係る手術用情報処理装置の構成について説明する。図１９に示すように、手術用情報処理装置１００Ａは、通信部１１０と、記憶部１２０Ａと、制御部１３０Ａとを有する。

【0136】

記憶部１２０Ａは、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。第２の実施形態に係る記憶部１２０Ａは、図１９に示すように、閾値情報記憶部１２１と、処理条件情報記憶部１２２と、付加履歴情報記憶部１２３とを有する。

【0137】

第２の実施形態に係る付加履歴情報記憶部１２３は、履歴に関する各種情報を記憶する。付加履歴情報記憶部１２３は、過去の付加情報の配置に関する履歴情報を記憶する。図２０は、第２の実施形態に係る付加履歴情報記憶部の一例を示す図である。図２０に示す付加履歴情報記憶部１２３には、「履歴ＩＤ」、「機器種別」、「付加配置情報」といった項目が含まれる。

【0138】

「履歴ＩＤ」は、履歴を識別するための識別情報を示す。「機器種別」は、履歴ＩＤにより識別される履歴に対応する機器種別を示す。「付加配置情報」は、履歴ＩＤにより識別される付加情報の配置に関する情報を示す。

【0139】

図２０の例では、履歴ＩＤ「ＬＧ１」により識別される履歴（履歴ＬＧ１）は、機器種別が「内視鏡」であることを示す。すなわち、履歴ＬＧ１は、内視鏡に関する過去の付加情報の配置が「ＡＬ１」であったことを示す。なお、図２０の例では、付加配置情報を「ＶＬ１」といった抽象的な符号で示すが、付加配置情報は、付加情報の配置位置を示す情報や重畳領域を示す情報等が含まれる。

【0140】

なお、付加履歴情報記憶部１２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。付加履歴情報記憶部１２３は、重畳領域に関する過去の履歴を記憶する。

【0141】

図１９に戻り、説明を続ける。制御部１３０Ａは、例えば、ＣＰＵやＭＰＵ等によって、手術用情報処理装置１００Ａ内部に記憶されたプログラム（例えば、本開示に係る手術用情報処理プログラム等の情報処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０Ａは、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

【0142】

図１９に示すように、制御部１３０Ａは、取得部１３１と、第１判定部１３２と、第２判定部１３３Ａと、送信部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０Ａの内部構成は、図１９に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０Ａが有する各処理部の接続関係は、図１９に示した接続関係に限られず、他の接続関係であってもよい。

【0143】

第２判定部１３３Ａは、手術画像を撮像した機器に対応する付加情報が表示される対象領域を対象として手術画像に付加情報が付与されているかを判定する。例えば、第２判定部１３３Ａは、付加履歴情報記憶部１２３に記憶された過去の重畳領域を示す情報に基づいて、手術画像に付加情報が付与されているかを判定する。

【0144】

［２－２．手術用情報処理システムの機能構成例の概念図］
次に、図２１を用いて、手術用情報処理装置の機能構成について説明する。図２１は、手術用情報処理システムの機能構成の概念図の一例を示す図である。具体的には、図２１は、手術用情報処理装置の機能ブロック図の一例を示す図である。図２１に示す手術用情報処理装置の機能ブロック図は、重畳領域蓄積部を有する点で、図９に示す手術用情報処理装置の機能ブロック図と相違する。なお、以下では、図９と同様の点については適宜説明を省略する。

【0145】

例えば、図２１中の手術画像判定部は、第１判定部１３２に対応する。また、図２１中の重畳領域判定部や処理判定部は、第２判定部１３３Ａに対応する。また、図２１中の画像処理実行部は、処理部１３４に対応する。また、図２１中のユーザ通知部は、通知部１３５に対応する。また、図２１中の画像処理実行部は、処理部１３４に対応する。また、図２１中の重畳領域蓄積部は、付加履歴情報記憶部１２３に対応する。

【0146】

手術用情報処理装置１００Ａは、重畳領域検出部（第２判定部１３３Ａ）が重畳領域の有無を、ユーザ通知部によってユーザに通知した後、ユーザはユーザＩＦを介して、画像処理の実行/停止を指示できる。手術用情報処理装置１００Ａは、重畳領域検出部で重畳領域が有りと検出され、ユーザが画像処理を停止した場合の重畳領域を履歴として、重畳領域蓄積部に保存しておく。その後、処理判定部（第２判定部１３３Ａ）は、重畳領域検出部で検出された現在の重畳領域画像と、重畳領域蓄積部の蓄積された重畳画像を照合し、現在の重畳領域画像と蓄積重畳領域画像が同じ領域である場合に、画像処理を停止、あるいは部分的な停止を判定する。一方で、処理判定部は、重畳領域画像と蓄積重畳領域画像が異なる領域の場合、画像処理の実行を判定する。

【0147】

上記のように、手術用情報処理装置１００Ａは、ＯＳＤやＧＵＩといったグラフィックスや、ＣＴ画像などが重畳された画像に対し、過去にユーザが手動で停止した重畳領域の履歴を参照し、過去に手動で停止した重畳領域のみ画像処理を停止することで、過去にユーザが不快に感じた重畳領域のみ画像処理の停止させることができ、ユーザの不快感を低減する。

【0148】

［３．その他の実施形態］
また、第１の実施形態や第２の実施形態に係る処理に限らず、種々の処理が実行されてもよい。この点について、以下説明する。なお、以下では、手術用情報処理装置１００が処理を行う場合を一例として説明するが、手術用情報処理装置１００Ａが行ってもよい。

【0149】

［３－１．輝度に基づく判定例］
例えば、手術用情報処理装置１００は、輝度の情報を用いて判定を行ってもよい。この場合、手術用情報処理装置１００は、２つの閾値を用いて判定を行ってもよい。例えば、手術用情報処理装置１００は、差分用の閾値（「第１閾値」ともいう）と、輝度用の閾値（「第２閾値」ともいう）とを用いて判定を行ってもよい。手術用情報処理装置１００は、複数の手術画像の差分絶対値の加算値と第１閾値との比較、及び複数の手術画像の輝度値の加算値と第２閾値との比較に基づいて、付加情報を判定してもよい。

【0150】

この場合、手術用情報処理装置１００は、図２２中の閾値情報記憶部１２１Ａに示すような閾値情報を用いる。変形例に係る手術用情報処理装置１００は、図４中の閾値情報記憶部１２１に代えて、図２２中の閾値情報記憶部１２１Ａを記憶部１２０に有する。

【0151】

変形例に係る閾値情報記憶部１２１Ａは、閾値に関する各種情報を記憶する。閾値情報記憶部１２１Ａは、各種の判定に用いる閾値に関する各種情報を記憶する。図２２は、本開示の変形例に係る閾値情報記憶部の一例を示す図である。図２２に示す閾値情報記憶部１２１Ａには、「閾値ＩＤ」、「対象」、「閾値」といった項目が含まれる。

【0152】

「閾値ＩＤ」は、閾値を識別するための識別情報を示す。「対象」は、閾値が用いられる対象を示す。「閾値」は、対応する閾値ＩＤにより識別される閾値の具体的な値を示す。

【0153】

図２２の例では、閾値ＩＤ「ＴＨ１」により識別される閾値（閾値ＴＨ１）は、対象が「差分絶対値」である第１閾値を示す。すなわち、閾値ＴＨ１は、差分絶対値との比較に用いられることを示す。この場合、閾値ＴＨ１は、差分絶対値との比較に用いられ、付加情報の有無の判定に用いられることを示す。また、閾値ＴＨ１の値は、「ＶＬ１」であることを示す。なお、図２２の例では、「ＶＬ１」といった抽象的な符号で示すが、閾値ＴＨ１の値は具体的な数値である。

【0154】

また、閾値ＩＤ「ＴＨ２」により識別される閾値（閾値ＴＨ２）は、対象が「輝度」である第２閾値を示す。すなわち、閾値ＴＨ２は、差分絶対値との比較に用いられることを示す。この場合、閾値ＴＨ２は、差分絶対値との比較に用いられ、付加情報の有無の判定に用いられることを示す。また、閾値ＴＨ２の値は、「ＶＬ２」であることを示す。なお、図２２の例では、「ＶＬ２」といった抽象的な符号で示すが、閾値ＴＨ２の値は具体的な数値である。

【0155】

なお、閾値情報記憶部１２１Ａは、上記に限らず、目的に応じて種々の情報を記憶してもよい。

【0156】

手術用情報処理装置１００は、閾値情報記憶部１２１Ａの情報を用いて、マスク画像とＯＳＤ（On-Screen Display）情報とを判別する。手術用情報処理装置１００は、複数の手術画像の差分絶対値の加算値と第１閾値との比較、及び複数の手術画像の輝度値の加算値と第２閾値との比較に基づいて、マスク画像とＯＳＤ（On-Screen Display）情報とを判別する。

【0157】

［３－１－１．手術用情報処理システムの機能構成例の概念図］
次に、図２３を用いて、手術用情報処理装置の機能構成について説明する。図２３は、手術用情報処理システムの機能構成の概念図の一例を示す図である。具体的には、図２３は、第２判定部１３３に対応する重畳領域検出部の機能ブロック図の一例を示す図である。図２３に示す手術用情報処理装置の機能ブロック図は、輝度積算値や２つの閾値を用い、判別部を有する点で、図１１に示す手術用情報処理装置の機能ブロック図と相違する。なお、以下では、図１１と同様の点については適宜説明を省略する。

【0158】

重畳領域検出部（第２判定部１３３）は、輝度積算値や差分積算部や判別部を有する。重畳領域検出部は、差分積算部による積算結果や輝度積算値による積算結果を基に、判別部による判別を行う。判別部は、判定結果を示す情報を生成する。重畳領域検出部は、差分積算部による積算結果を基に、判別部による判定を行う。重畳領域検出部は、入力手術動画像に対して、１フレーム前の画像を保持して、現フレームと１フレーム前の画像の画素差分絶対値を算出する。重畳領域検出部は、その差分絶対値を時間方向で積算し、差分積算値を算出する。重畳領域検出部は、入力手術動画像に対して、各画像の輝度値を時間方向で積算し、輝度積算値を算出する。重畳領域検出部は、積算された画像に対し、閾値処理を行う。

【0159】

例えば、重畳領域検出部は、差分積算値が第１閾値よりも低く、輝度積算値が第２閾値よりも低い領域をマスクと判別する。例えば、重畳領域検出部は、差分積算値が第１閾値よりも低く、輝度積算値が第２閾値以上である領域をＯＳＤ情報と判別する。判別部は、マスクかＯＳＤ情報かの判定結果を示す情報を生成する。

【0160】

［３－１－２．輝度に基づく判定の例］
図２４を用いて、上述した判別例を説明する。図２４は、マスクとＯＳＤの判別の一例を示す図である。図２４中のグラフＧＲ３１は、縦軸に輝度の加算値（輝度積算値）を取り、横軸に差分絶対値の加算値（差分積算値）を取った場合のグラフを示す。このように、手術用情報処理装置１００は、複数の手術画像の差分絶対値の加算値を第１軸とし、複数の手術画像の輝度値の加算値を第２軸として、付加情報を判定する。手術用情報処理装置１００は、各画素について時間方向に積算した差分積算値と、各画素について時間方向に積算した輝度積算値とを用いることにより、マスクとＯＳＤ情報とを判別する。

【0161】

図２４の例では、手術用情報処理装置１００は、横軸方向が第１閾値「ＶＬ１」よりも小さく、縦軸方向が第２閾値「ＶＬ２」よりも小さい領域にプロットされる画素ＰＴ１をマスクと判定する。また、手術用情報処理装置１００は、横軸方向が第１閾値「ＶＬ１」よりも小さく、縦軸方向が第２閾値「ＶＬ２」以上の領域にプロットされる画素ＰＴ２をＯＳＤ情報と判定する。手術用情報処理装置１００は、各画素について時間方向の差分絶対値の情報と、輝度値（輝度）の情報とを用いることにより、マスクとＯＳＤ情報とを判別する。この場合、手術用情報処理装置１００は、差分絶対値用の第１閾値と、輝度用の第２閾値とを用いることにより、マスクとＯＳＤ情報とを判別する。このように、手術用情報処理装置１００は、２つの閾値を用いて、マスクとＯＳＤ情報とを判別することにより、適切に付加情報を判定することができる。

【0162】

上述した処理により、手術用情報処理装置１００は、ＯＳＤ情報等の付加情報を適切に判別することができる。また、手術用情報処理装置１００は、差分積算値が第１閾値「ＶＬ１」以上である画素を、手術画像に対応する画素であると判定してもよい。例えば、図２４の例では、手術用情報処理装置１００は、横軸方向が第１閾値「ＶＬ１」以上である領域にプロットされる画素を手術画像に対応する画素であると判定してもよい。なお、手術用情報処理装置１００は、上記のように、マスクとＯＳＤ情報等の付加情報とを判別しない場合、マスクも付加情報として判定してもよい。例えば、手術用情報処理装置１００は、マスクを含む付加情報が付与されているかどうかを判定してもよい。

【0163】

［３－２．その他の構成例］
また、上述した各実施形態や変形例に係る処理は、上記実施形態や変形例以外にも種々の異なる形態（変形例）にて実施されてよい。例えば、画像処理を行う装置（手術用情報処理装置１００や手術用情報処理装置１００Ａ）と、画像を表示する装置は一体であってもよい。なお、上記は一例であり、手術用情報処理システム１は種々の構成により実現されてもよい。

【0164】

［３－３．その他］
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0165】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0166】

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0167】

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

【0168】

［４．本開示に係る効果］
上述のように、本開示に係る手術用情報処理装置（実施形態では手術用情報処理装置１００、１００Ａ）は、取得部（実施形態では取得部１３１）と、判定部（実施形態では第２判定部１３３、１３３Ａ）と、処理部（実施形態では処理部１３４）とを備える。取得部は、手術画像を取得する。判定部は、取得部により取得された手術画像に付加情報が付与されているかを判定する。処理部は、判定部により付加情報が付与されていないと判定された場合、第１の画像処理を行い、付加情報が付与されていると判定された場合、第１の画像処理を行わない。

【0169】

これにより、本開示に係る手術用情報処理装置は、手術画像に付加情報が付与されているかを判定し、付加情報が付与されていないと判定された場合、第１の画像処理を行い、付加情報が付与されていると判定された場合、第１の画像処理を行うことにより、手術画像に応じて適切に画像処理を行うことができる。

【0170】

また、取得部は、医療用観察装置から手術画像を取得する。これにより、手術用情報処理装置は、医療用観察装置から取得した手術画像に対して適切に画像処理を行うことができる。

【0171】

また、処理部は、付加情報が付与されていると判定された場合、第１の画像処理とは異なる第２の画像処理を行う。これにより、手術用情報処理装置は、付加情報が付与されていない画像には第１の画像処理を行い、付加情報が付与されている画像には第２の画像処理を行うことで、手術画像に応じて適切に画像処理を行うことができる。

【0172】

また、第１の画像処理は、手術画像全体を対象とする画像処理である。第２の画像処理は、手術画像のうち、付加情報に対応する付加情報領域以外の領域を対象とする第１の画像処理と同種の画像処理を含む。これにより、手術用情報処理装置は、付加情報が付与されている画像には、付加情報に対応する付加情報領域以外の領域を対象とする第１の画像処理と同種の画像処理を行うことで、手術画像に応じて適切に画像処理を行うことができる。

【0173】

また、第２の画像処理は、付加情報領域を対象とする第１の画像処理とは異種の画像処理を含む。これにより、手術用情報処理装置は、付加情報が付与されている画像には、付加情報領域を対象とする第１の画像処理とは異種の画像処理を行うことで、手術画像に応じて適切に画像処理を行うことができる。

【0174】

また、取得部は、手術画像のメタデータを取得する。判定部は、取得部により取得されたメタデータに基づいて、手術画像に付加情報が付与されているかを判定する。これにより、手術用情報処理装置は、手術画像のメタデータに基づいて、手術画像に付加情報が付与されているかを適切に判定することができ、手術画像に応じて適切に画像処理を行うことができる。

【0175】

また、判定部は、手術画像に対する画像解析の結果に基づいて、手術画像に付加情報が付与されているかを判定する。これにより、手術用情報処理装置は、手術画像に対する画像解析に基づいて、手術画像に付加情報が付与されているかを適切に判定することができ、手術画像に応じて適切に画像処理を行うことができる。

【0176】

また、取得部は、ユーザによる設定を示すユーザ設定情報を取得する。判定部は、取得部により取得されたユーザ設定情報に基づいて、手術画像に付加情報が付与されているかを判定する。これにより、手術用情報処理装置は、ユーザによる設定を示すユーザ設定情報に基づいて、手術画像に付加情報が付与されているかを適切に判定することができ、手術画像に応じて適切に画像処理を行うことができる。

【0177】

また、取得部は、手術用情報処理装置に接続される機器を示す接続機器情報を取得する。判定部は、取得部により取得された接続機器情報に基づいて、手術画像に付加情報が付与されているかを判定する。これにより、手術用情報処理装置は、手術用情報処理装置に接続される機器を示す接続機器情報に基づいて、手術画像に付加情報が付与されているかを適切に判定することができ、手術画像に応じて適切に画像処理を行うことができる。

【0178】

また、判定部は、手術画像に付与されている付加情報の領域を判定する。これにより、手術用情報処理装置は、手術画像に付与されている付加情報の領域を判定することができ、判定した領域に応じて適切に画像処理を行うことができる。

【0179】

また、判定部は、手術画像に付与される文字情報である付加情報の領域を判定する。これにより、手術用情報処理装置は、手術画像に付与される文字情報である付加情報の領域を判定することができ、判定した領域に応じて適切に画像処理を行うことができる。

【0180】

また、第１の画像処理は、ズーム、手振れ補正、回転補正、またはＰｉｎＰ（Picture in Picture）の少なくともいずれか１つを含む。これにより、手術用情報処理装置は、付加情報が付与されていない画像には、ズーム、手振れ補正、回転補正、またはＰｉｎＰの少なくともいずれか１つを含む画像処理を行うことで、手術画像に応じて適切に画像処理を行うことができる。

【0181】

また、取得部は、手術画像を含む複数の手術画像を取得する。判定部は、複数の手術画像を比較することにより、手術画像に付加情報が付与されているかを判定する。これにより、手術用情報処理装置は、複数の手術画像を比較することにより、手術画像に付加情報が付与されているかを適切に判定することができる。したがって、手術用情報処理装置は、判定結果を基に手術画像に応じて適切に画像処理を行うことができる。

【0182】

また、判定部は、複数の手術画像の画素値の差分が閾値を超えない部分を付加情報と判定する。これにより、手術用情報処理装置は、複数の手術画像の画素値の差分が閾値を超えない部分を付加情報と判定することができる。したがって、手術用情報処理装置は、判定結果を基に手術画像に応じて適切に画像処理を行うことができる。

【0183】

また、判定部は、手術画像を撮像した機器に応じて閾値を変更して判定を行う。これにより、手術用情報処理装置は、手術画像を撮像した機器に応じて閾値を変更して判定を行うことで、適切に付加情報の付与有無を判定することができる。したがって、手術用情報処理装置は、判定結果を基に手術画像に応じて適切に画像処理を行うことができる。

【0184】

また、取得部は、手術画像を撮像した機器に対応する付加情報が表示される対象領域を示す情報を取得する。判定部は、対象領域を対象として手術画像に付加情報が付与されているかを判定する。これにより、手術用情報処理装置は、手術画像を撮像した機器に対応する付加情報が表示される対象領域を対象として手術画像に付加情報が付与されているかを判定することにより、手術画像に付加情報が付与されているかを適切に判定することができる。したがって、手術用情報処理装置は、判定結果を基に手術画像に応じて適切に画像処理を行うことができる。

【0185】

また、判定部は、特殊光画像と、観察光画像とを含む複数の手術画像が取得された場合、観察光画像を比較することにより、付加情報が付与されているかを判定する。これにより、手術用情報処理装置は、特殊光画像と観察光画像とのうち、観察光画像を用いて、付加情報が付与されているかを判定することにより、手術画像に付加情報が付与されているかを適切に判定することができる。したがって、手術用情報処理装置は、判定結果を基に手術画像に応じて適切に画像処理を行うことができる。

【0186】

また、取得部は、差分用の閾値である第１閾値と、輝度用の閾値である第２閾値とを取得する。判定部は、複数の手術画像の差分絶対値の加算値と第１閾値との比較、及び複数の手術画像の輝度値の加算値と第２閾値との比較に基づいて、付加情報を判定する。これにより、手術用情報処理装置は、差分用の閾値である第１閾値と、輝度用の閾値である第２閾値とを用いて、付加情報を判定することにより、手術画像に付与されている付加情報を適切に判定することができる。したがって、手術用情報処理装置は、判定結果を基に手術画像に応じて適切に画像処理を行うことができる。

【0187】

［５．ハードウェア構成］
上述してきた各実施形態や変形例に係る手術用情報処理装置１００、１００Ａ等の情報機器は、例えば図２５に示すような構成のコンピュータ１０００によって実現される。図２５は、手術用情報処理装置１００、１００Ａ等の情報処理装置（コンピュータ）の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係る手術用情報処理装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

【0188】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

【0189】

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0190】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラム（手術用情報処理プログラム等）を記録する記録媒体である。

【0191】

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

【0192】

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0193】

例えば、コンピュータ１０００が実施形態に係る手術用情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

【0194】

なお、本技術は以下のような構成も取ることができる。
（１）
手術画像を取得する取得部と、
前記取得部により取得された前記手術画像に付加情報が付与されているかを判定する判定部と、
前記判定部により前記付加情報が付与されていないと判定された場合、第１の画像処理を行い、前記付加情報が付与されていると判定された場合、前記第１の画像処理を行わない処理部と、
を備える手術用情報処理装置。
（２）
前記取得部は、
医療用観察装置から前記手術画像を取得する
前記（１）に記載の手術用情報処理装置。
（３）
前記処理部は、
前記付加情報が付与されていると判定された場合、前記第１の画像処理とは異なる第２の画像処理を行う
前記（１）または（２）に記載の手術用情報処理装置。
（４）
前記第１の画像処理は、
前記手術画像全体を対象とする画像処理であり、
前記第２の画像処理は、
前記手術画像のうち、前記付加情報に対応する付加情報領域以外の領域を対象とする前記第１の画像処理と同種の画像処理を含む
前記（３）に記載の手術用情報処理装置。
（５）
前記第２の画像処理は、
前記付加情報領域を対象とする前記第１の画像処理とは異種の画像処理を含む
前記（４）に記載の手術用情報処理装置。
（６）
前記第２の画像処理は、
前記付加情報領域を対象とする画素埋め処理を含む
前記（４）または（５）に記載の手術用情報処理装置。
（７）
前記取得部は、
前記手術画像のメタデータを取得し、
前記判定部は、
前記取得部により取得された前記メタデータに基づいて、前記手術画像に前記付加情報が付与されているかを判定する
前記（１）～（６）のいずれか１項に記載の手術用情報処理装置。
（８）
前記取得部は、
前記手術画像のＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）に関する情報を含む前記メタデータを取得する
前記（７）に記載の手術用情報処理装置。
（９）
前記判定部は、
前記手術画像に対する画像解析の結果に基づいて、前記手術画像に前記付加情報が付与されているかを判定する
前記（１）～（８）のいずれか１項に記載の手術用情報処理装置。
（１０）
前記判定部は、
前記手術画像の色に関する前記画像解析の結果に基づいて、前記手術画像に前記付加情報が付与されているかを判定する
前記（９）に記載の手術用情報処理装置。
（１１）
前記判定部は、
機械学習を用いた前記手術画像の前記画像解析の結果に基づいて、前記手術画像に前記付加情報が付与されているかを判定する
前記（９）または（１０）に記載の手術用情報処理装置。
（１２）
前記取得部は、
ユーザによる設定を示すユーザ設定情報を取得し、
前記判定部は、
前記取得部により取得された前記ユーザ設定情報に基づいて、前記手術画像に前記付加情報が付与されているかを判定する
前記（１）～（１１）のいずれか１項に記載の手術用情報処理装置。
（１３）
前記取得部は、
前記手術用情報処理装置に接続される機器を示す接続機器情報を取得し、
前記判定部は、
前記取得部により取得された前記接続機器情報に基づいて、前記手術画像に前記付加情報が付与されているかを判定する
前記（１）～（１２）のいずれか１項に記載の手術用情報処理装置。
（１４）
前記判定部は、
前記手術画像に付与されている前記付加情報の領域を判定する
前記（１）～（１３）のいずれか１項に記載の手術用情報処理装置。
（１５）
前記判定部は、
ズーム処理に対応して前記手術画像に付与される前記付加情報の領域を判定する
前記（１４）に記載の手術用情報処理装置。
（１６）
前記判定部は、
前記手術画像に付与されるフリーズ画像である前記付加情報の領域を判定する
前記（１４）または（１５）に記載の手術用情報処理装置。
（１７）
前記判定部は、
前記手術画像に付与される文字情報である前記付加情報の領域を判定する
前記（１４）～（１６）のいずれか１項に記載の手術用情報処理装置。
（１８）
前記判定部は、
前記手術画像に付与される枠である前記付加情報の領域を判定する
前記（１４）～（１７）のいずれか１項に記載の手術用情報処理装置。
（１９）
前記判定部は、
前記手術画像に付与される透過性を有する前記付加情報の領域を判定する
前記（１４）～（１８）のいずれか１項に記載の手術用情報処理装置。
（２０）
前記第１の画像処理は、
ズーム、手振れ補正、回転補正、またはＰｉｎＰ（Picture in Picture）の少なくともいずれか１つを含む
前記（１）～（１９）のいずれか１項に記載の手術用情報処理装置。
（２１）
前記取得部は、
前記手術画像を含む複数の手術画像を取得し、
前記判定部は、
前記複数の手術画像を比較することにより、前記手術画像に付加情報が付与されているかを判定する
前記（１）～（２０）のいずれか１項に記載の手術用情報処理装置。
（２２）
前記判定部は、
前記複数の手術画像の色の比較に基づいて、前記手術画像に付加情報が付与されているかを判定する
前記（２１）に記載の手術用情報処理装置。
（２３）
前記判定部は、
前記複数の手術画像の画素値の差分が閾値を超えない部分を付加情報と判定する
前記（２１）または（２２）に記載の手術用情報処理装置。
（２４）
前記判定部は、
前記手術画像を撮像した機器に応じて前記閾値を変更して判定を行う
前記（２３）に記載の手術用情報処理装置。
（２５）
前記取得部は、
前記手術画像を撮像した機器に対応する前記付加情報が表示される対象領域を示す情報を取得し、
前記判定部は、
前記対象領域を対象として前記手術画像に付加情報が付与されているかを判定する
前記（２１）～（２４）のいずれか１項に記載の手術用情報処理装置。
（２６）
前記判定部は、
特殊光画像と、観察光画像とを含む前記複数の手術画像が取得された場合、前記観察光画像を比較することにより、前記付加情報が付与されているかを判定する
前記（２１）～（２５）のいずれか１項に記載の手術用情報処理装置。
（２７）
前記判定部は、
ＩＲ（InfraRed）光画像である前記特殊光画像と、可視光画像である前記観察光画像とを含む前記複数の手術画像が取得された場合、前記観察光画像を比較することにより、前記付加情報が付与されているかを判定する
前記（２６）に記載の手術用情報処理装置。
（２８）
前記取得部は、
差分用の閾値である第１閾値と、輝度用の閾値である第２閾値とを取得し、
前記判定部は、
前記複数の手術画像の差分絶対値の加算値と前記第１閾値との比較、及び前記複数の手術画像の輝度値の加算値と前記第２閾値との比較に基づいて、前記付加情報を判定する
前記（２１）～（２７）のいずれか１項に記載の手術用情報処理装置。
（２９）
前記判定部は、
前記複数の手術画像の差分絶対値の加算値と前記第１閾値との比較、及び前記複数の手術画像の輝度値の加算値と前記第２閾値との比較に基づいて、マスク画像とＯＳＤ情報とを判別する
前記（２８）に記載の手術用情報処理装置。
（３０）
前記判定部は、
前記複数の手術画像の差分絶対値の加算値を第１軸とし、前記複数の手術画像の輝度値の加算値を第２軸として、前記付加情報を判定する
前記（２８）または（２９）に記載の手術用情報処理装置。
（３１）
手術画像を取得し、
取得した前記手術画像に付加情報が付与されているかを判定し、
前記付加情報が付与されていないと判定した場合、第１の画像処理を行い、前記付加情報が付与されていると判定した場合、前記第１の画像処理を行わない
手術用情報処理方法。
（３２）
手術画像を取得し、
取得した前記手術画像に付加情報が付与されているかを判定し、
前記付加情報が付与されていないと判定した場合、第１の画像処理を行い、前記付加情報が付与されていると判定した場合、前記第１の画像処理を行わない
手術用情報処理プログラム。

【符号の説明】

【0195】

１ 手術用情報処理システム
１００、１００Ａ 手術用情報処理装置
１１０ 通信部
１２０、１２０Ａ 記憶部
１２１ 閾値情報記憶部
１２２ 処理条件情報記憶部
１２３ 付加履歴情報記憶部
１３０、１３０Ａ 制御部
１３１ 取得部
１３２ 第１判定部
１３３、１３３Ａ 第２判定部
１３４ 処理部
１３５ 通知部
１３６ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】