特許 7156751 情報処理装置、支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-10-11

(45)【発行日】2022-10-19

(54)【発明の名称】情報処理装置、支援システム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20221012BHJP

   A61B 1/045 20060101ALI20221012BHJP

【ＦＩ】

A61B34/10

A61B1/045 622

【請求項の数】 5

(21)【出願番号】P 2022530288

(86)(22)【出願日】2021-02-04

(86)【国際出願番号】 JP2021004163

【審査請求日】2022-05-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】515075692

【氏名又は名称】リバーフィールド株式会社

(74)【代理人】

【識別番号】110003410

【氏名又は名称】弁理士法人テクノピア国際特許事務所

(74)【代理人】

【識別番号】100116942

【弁理士】

【氏名又は名称】岩田 雅信

(74)【代理人】

【識別番号】100167704

【弁理士】

【氏名又は名称】中川 裕人

(74)【代理人】

【識別番号】100203987

【弁理士】

【氏名又は名称】林 哲彦

(72)【発明者】

【氏名】菅野 貴皓

【審査官】菊地 康彦

(56)【参考文献】

【文献】国際公開第２０１２／０８１１９４（ＷＯ，Ａ１）

【文献】特開２０００－２７１１４７（ＪＰ，Ａ）

【文献】特開２００５－０２１３５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／１０

Ａ６１Ｂ １／０４５

(57)【特許請求の範囲】

【請求項1】

第１システムと、前記第１システムから離隔した第２システムとを有する支援システムにおける前記第２システムが有する情報処理装置であって、
前記第１システムにおける第１の アノテーション画像データの生成に必要とされる、操作入力に基づく描画情報を前記第１システムに送信するデータ送信部と、
前記描画情報から第２のアノテーション画像データを生成する画像生成部と、
前記画像生成部により生成された前記第２のアノテーション画像データと、前記第１システムから受信した受信画像データと、を合成する画像合成部と、を備え、
前記描画情報は、前記第２のアノテーション画像データよりも通信容量が少なくされ、
前記画像合成部は、
前記受信画像データとして、前記第１システムにおいて前記描画情報から生成された前記第１のアノテーション画像データと入力された撮像画像データとを合成することで生成された合成画像データを受信し、
受信した前記合成画像データと前記第２のアノテーション画像データを合成する
情報処理装置。

【請求項2】

前記画像生成部は、前記合成画像データに含まれる前記第１のアノテーション画像データとは表示態様が異なる前記第２のアノテーション画像データを生成する
請求項１に 記載の情報処理装置。

【請求項3】

第１システムと、前記第１システムから離隔した第２システムとを有する支援システムにおける前記第１システムが有する情報処理装置であって、
操作入力に基づく描画情報を前記第２システムから受信し、受信した前記描画情報から第１のアノテーション画像データを生成する画像生成部と、
入力された撮像画像データと、前記画像生成部により生成された前記第１のアノテーション画像データと、を合成することで、前記第２システムにおいて前記描画情報から生成される前記第２のアノテーション画像データと合成するための合成画像データを生成する画像合成部と、
前記画像合成部により生成された前記合成画像データを前記第２システムに送信するデータ送信部と、を備え、
前記描画情報は、前記第２のアノテーション画像データよりも通信容量が少なくされている
情報処理装置。

【請求項4】

前記画像合成部による、複数の画像データを入力してから前記合成画像データを出力するまでの遅延時間が３０ｍ秒未満とされる
請求項３に 記載の情報処理装置。

【請求項5】

第１システムと、前記第１システムから離隔した第２システムとを有する支援システムにおいて、
前記第２システムが有する情報処理装置は、
前記第１システムにおける第１の アノテーション画像データの生成に必要とされる、操作入力に基づく描画情報を前記第１システムに送信する第２データ送信部と、
前記描画情報から第２のアノテーション画像データを生成する第２画像生成部と、
前記第２画像生成部により生成された前記第２のアノテーション画像データと、前記第１システムから受信した受信画像データと、を合成する第２画像合成部と、を備え、
前記描画情報は、前記第２のアノテーション画像データよりも通信容量が少なくされ、
前記第２画像合成部は、
前記受信画像データとして、前記第１システムにおいて前記描画情報から生成された前記第１のアノテーション画像データと入力された撮像画像データとを合成することで生成された合成画像データを受信し、
受信した前記合成画像データと前記第２のアノテーション画像データを合成し、
前記第１システムが有する情報処理装置は、
前記第２システムから受信した前記描画情報から前記第１のアノテーション画像データを生成する第１画像生成部と、
入力された前記撮像画像データと、前記第１画像生成部により生成された前記第１のアノテーション画像データと、を合成して前記合成画像データを生成する第１画像合成部と、
前記第１画像合成部により生成された前記合成画像データを前記第２システムに送信する第１データ送信部と、を備える
支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、施術者に対して遠隔地から指導者が指導を行うための技術に関する。

【背景技術】

【0002】

施術者が、遠隔地にいる指導者の指示を受けながら患者に対して施術を行うことのできる支援システムが知られている。この支援システムは、例えば経験の少ない執刀医（施術者）が、経験豊かな指導医（指導者）の指導を受けながら手術を行うときなどに用いられる。

【0003】

特許文献１に開示された発明によれば、患者に挿入された内視鏡による撮像画像（以下、内視鏡撮像画像とも表記する。）を表示するモニタが遠隔地に設置され、遠隔地にいる指導医は当該モニタに表示された内視鏡撮像画像を観察しながら指示を入力することができる。そして手術室側のモニタには、内視鏡撮像画像に遠隔地で入力された指示内容を重畳した合成画像が表示され、執刀医は、遠隔地にいる指導医の指示を受けながら患者の手術を行うことができる。

【0004】

上述の支援システムによれば、経験の少ない施術者であっても、モニタに表示された撮像画像を指導者に観察してもらい指示を受けることで、患者に対して確実な施術を行うことができるとともに、施術者自身の技能を向上させることができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０００－２７１１４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した内視鏡手術など施術対象（患者）の安全性が要求されるような分野においてこのような支援システムを採用する場合、手術中の施術者が患者の状態をリアルタイムで確認できるようにするため、指導者の指示内容を反映させた内視鏡撮像画像をできる限り低遅延で施術者側のモニタに表示させることが重要となる。
また、指導者側においても指示内容の入力を違和感なく行うために、入力を反映させた内視鏡撮像画像をできる限り低遅延で自身のモニタに表示させることが望ましい。
本発明は上記事情に鑑みてなされたものであり、遠隔地にいる指導者が施術者に適切な支援を行えるような支援システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る情報処理装置は、第１システムと、前記第１システムから離隔した第２システムとを有する支援システムにおける前記第２システムが有する情報処理装置であって、アノテーション画像データの生成に必要とされる、操作入力に基づく描画情報を前記第１システムに送信するデータ送信部と、前記描画情報からアノテーション画像データを生成する画像生成部と、前記画像生成部により生成されたアノテーション画像データと、前記第１システムから受信した画像データと、を合成する画像合成部と、を備え、前記描画情報は、前記第２のアノテーション画像データよりも通信容量が少なくされるものである。

【0008】

ここでのアノテーション画像データは、内視鏡撮像画像に重畳させる画像データであり、描画情報に基づいて生成された画像データである。
また描画情報とは、操作入力で指定された座標、線種、色彩、線幅などの情報のことをいう。

【0009】

上記の支援システムにおける前記第１システムでは、前記描画情報からアノテーション画像データが生成され、生成されたアノテーション画像データと、撮像画像データとを合成することで合成画像データが生成され、前記第２システムが有する情報処理装置において、前記画像合成部は、前記第１システムから受信した前記合成画像データと、前記画像生成部により生成されたアノテーション画像データと、を合成する。

【0010】

これにより、第１システムと第２システムのそれぞれにおいて、アノテーション画像データが生成される。

【0011】

また前記第１システムでは、前記描画情報からアノテーション画像データが生成され、生成されたアノテーション画像データを含む複数の画像データを合成することで合成画像データが生成され、上記第２システムが有する情報処理装置の前記画像合成部は、前記第１システムから受信した前記合成画像データと、前記画像生成部により生成されたアノテーション画像データと、を合成することが考えられる。

【0012】

これにより、第１システムから受信した合成画像データについて、第１システム側に送信した描画情報が反映されているか否かを第２システム側で確認可能となる。

【0013】

また上記第２システムが有する情報処理装置における前記画像生成部は、前記合成画像データに含まれるアノテーション画像データと区別できるようなアノテーション画像データを生成することが考えられる。

【0014】

これにより、合成画像データに含まれるアノテーション画像データに基づく表示と、画像生成部により生成されたアノテーション画像データに基づく表示と、を区別することができるようになり、第２システムでの入力に基づく描画情報を反映したアノテーション画像データが第１システム側で生成されているか否かを確認することができる。

【0015】

本発明に係る情報処理装置は、第１システムと、前記第１システムから離隔した第２システムとを有する支援システムにおける前記第１システムが有する情報処理装置であって、操作入力に基づく描画情報を前記第２システムから受信し、受信した前記描画情報から第１のアノテーション画像データを生成する画像生成部と、入力された画像データと、前記画像生成部により生成された前記第１のアノテーション画像データと、を合成することで、前記第２システムにおいて前記描画情報から生成される前記第２のアノテーション画像データと合成するための合成画像データを生成する画像合成部と、前記画像合成部により生成された前記合成画像データを前記第２システムに送信するデータ送信部と、を備え、前記描画情報は、前記第２のアノテーション画像データよりも通信容量が少なくされているものである。

【0016】

ここでは第１システム側で合成画像データを生成するにあたり、アノテーション画像データに代えて、当該アノテーション画像データよりも通信容量の少ない描画情報を第２システムから受信する。

【0017】

また上記の情報処理装置において、前記画像合成部による、複数の画像データを入力してから前記合成画像データを出力するまでの遅延時間が３０ｍ秒未満とされることが考えられる。

【0018】

これにより、入力された画像データに基づく表示が第１システム側のモニタ上で行われた際に、当該モニタを視認する施術者に遅延を感じさせない。

【0019】

本発明に係る支援システムは、上述の第１システムが有する情報処理装置と、第２システムが有する情報処理装置とを備える。前記の各情報処理装置が互いに通信を行うことで支援システムが実現される。

【発明の効果】

【0020】

本発明によれば、遠隔地にいる指導者の入力に基づく指示内容が、施術者側と指導者側の各モニタ上に極めて低遅延で表示されることで、施術者と指導者が当該指示内容をリアルタイムで共有することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施の形態における支援システムの概要を示した図である。

【図2】本実施の形態における内視鏡撮像画像を示した図である。

【図3】本実施の形態における内視鏡撮像画像にアノテーション画像を重畳した合成画像を示す図である。

【図4】本実施の形態における支援システムの構成の一例を模式的に示した図である。

【図5】本実施の形態におけるアノテーション画像を示した図である。

【図6】本実施の形態における内視鏡撮像画像にアノテーション画像を重畳した合成画像を示す図である。

【図7】本実施の形態における内視鏡撮像画像にアノテーション画像を重畳した合成画像を示す図である。

【図8】本実施の形態におけるアノテーション画像を示した図である。

【図9】本実施の形態における内視鏡撮像画像にアノテーション画像を重畳した合成画像を示す図である。

【発明を実施するための形態】

【0022】

以下、実施の形態について図１から図９を参照して説明する。
なお、参照する図面に記載された各構成は、本発明を実現するための一例を示したものにすぎない。従って、本発明の技術的思想を逸脱しない範囲であれば、設計などに応じて様々な変更が可能である。また一度説明した構成については重複を避けるため、以降、同一符号を付して再度の説明を省略することがある。

【0023】

<１．支援システムの概要>
図１は、支援システム１００を示している。
本実施の形態では、支援システム１００の一例として、手術室Ｒｍ１にいる施術者１が、手術室Ｒｍ１と離隔した指導室Ｒｍ２にいる指導医２による指示を確認しながら患者３の手術を行うことのできる手術支援システムについて説明する。当該手術支援システムでは、例えば施術者１は患者３の執刀医であり、指導者２は当該執刀医を指導する指導医である。

【0024】

例えば患者３の体腔内に内視鏡１１が挿入されることで、図２に示すような体腔内の内視鏡撮像画像３０がモニタ１４に表示される。施術者１は、モニタ１４で内視鏡撮像画像３０を確認することができる。

【0025】

内視鏡撮像画像３０は、指導室Ｒｍ２にある指導端末２６のモニタ２５にも表示される。指導者２は、指導室Ｒｍ２にいながらモニタ２５により内視鏡撮像画像３０を確認することができる。

【0026】

指導端末２６は例えばタッチパネル２７を有するタブレット端末であり、指導者２は、指やタッチペンなどによりタッチパネル２７を操作することで内視鏡撮像画像３０上に指示内容を入力することができる。

【0027】

当該入力により、図３に示すような指導者２の指示内容を示すアノテーション画像４１，４２が内視鏡撮像画像３０に重畳された合成画像５０がモニタ１４に表示される。施術者１は、モニタ１４に表示された指導者２の指示を確認しながら患者３に対する施術を行うことができる。

【0028】

<２．支援システムの構成>
次に支援システム１００の構成について図４を参照して説明する。図４は、支援システム１００の構成の一例を示すブロック図である。

【0029】

支援システム１００は、手術室Ｒｍ１側で構成される施術側システム１０と、指導室Ｒｍ２側で構成される指導側システム２０とを有している。施術側システム１０と指導側システム２０は互いに離隔し、有線又は無線の伝送路により通信可能とされている。

【0030】

施術側システム１０は、内視鏡１１、画像生成部１２、画像合成部１３、モニタ１４、及びデータ送信部１５を有している。

【0031】

内視鏡１１は撮像素子を有し、当該撮像素子で得られた撮像画像信号がそれぞれＡ／Ｄ変換され、画素単位で所定階調による輝度値を表す内視鏡撮像画像データＩｄ（図２に示すような内視鏡撮像画像３０を表示するための画像データをいう。）に変換される。

【0032】

画像生成部１２は、例えば画像プロセッサ等により構成され、指導側システム２０から送信されてきた描画情報ＰＩに基づいてアノテーション画像データＡｄ１を生成する。
ここで描画情報ＰＩは、操作入力で指定された座標、線種、色彩、線幅などの情報を含んでいる。
またアノテーション画像データＡｄ１は、内視鏡撮像画像３０に重畳させるための図５に示すアノテーション画像４１，４２のような画像データであり、描画情報ＰＩに基づいて生成される。これは後述するアノテーション画像データＡｄ２についても同様である。

【0033】

画像合成部１３は、例えばハードウェアにより構成されるビデオミキサ装置やＦＰＧＡ（Field Programmable Gate Array）などで実装した専用回路により実現され、入力された各種画像データを合成する。本例では画像合成部１３において内視鏡撮像画像データＩｄとアノテーション画像データＡｄ１が合成され、施術側合成画像データＣｄ１が生成される。

【0034】

モニタ１４は、例えば液晶ディスプレイ装置などにより構成され、供給された画像データに基づいて表示パネルに画像を表示する。本例では、供給された内視鏡撮像画像データＩｄや施術側合成画像データＣｄ１に基づく表示がモニタ１４上で行われる。

【0035】

データ送信部１５は、例えば指導側システム２０と通信可能に構成され、各種データを指導側システム２０に送信することができる。本例では特に画像合成部１３から得た内視鏡撮像画像データＩｄや施術側合成画像データＣｄ１を送信する。

【0036】

続いて指導側システム２０について説明する。
指導側システム２０は、アノテーションインタフェース２１、データ送信部２２、画像生成部２３、画像合成部２４、及びモニタ２５を有している。当該各構成は、例えば指導端末２６として一体に構成される。

【0037】

アノテーションインタフェース２１は、例えばタッチパネル、タッチパッド、マウス、キーボードなどの入力機器と、それらの入力機器への操作入力に応じて描画情報ＰＩを生成するプロセッサ等により構成される。本実施の形態では、例えば指導者２が指やタッチペンなどで図１のタッチパネル２７を操作することによりアノテーションインタフェース２１への入力が行われる。

【0038】

データ送信部２２は、例えば施術側システム１０と通信可能に構成され、各種データを施術側システム１０に送信することができる。本例では特にアノテーションインタフェース２１で得た描画情報ＰＩを送信する。

【0039】

画像生成部２３は、例えば画像プロセッサ等により構成され、描画情報ＰＩからアノテーション画像データＡｄ２を生成する。

【0040】

画像合成部２４は、例えばハードウェアとしてのビデオミキサ装置や情報処理装置において構成されるソフトウェアミキサにより実現され、供給された各種画像データを合成する。本例では、画像合成部２４により、内視鏡撮像画像データＩｄや施術側合成画像データＣｄ１にアノテーション画像データＡｄ２が合成されることで、指導側合成画像データＣｄ２が生成される。

【0041】

モニタ２５は、例えば液晶ディスプレイ装置などにより構成され、供給された画像データに基づいて表示パネルに画像を表示する。本例では例えば指導側合成画像データＣｄ２に基づく表示が行われる。

【0042】

なお、上記の各システム（１０，２０）の一例として、画像生成部１２，２３、画像合成部１３，２４、データ送信部１５，２２はハードウェアにより構成されることが考えられるが、各機能部の構成は上記に限られない。例えば、各機能部の全部又は一部が、一又は複数のハードウェア機器により実現されてもよい。
また、例えば各機能部にいずれかがＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータとして構成されていてもよい。この場合、ＲＯＭなどに格納されたソフトウェアとしてのプログラムに基づく処理をＣＰＵが実行することで、各機能を実現することができる。

【0043】

<３．支援システムの詳細>
本実施の形態における支援システム１００の詳細について図４を参照して説明する。
まず施術側システム１０において、内視鏡１１により得られた内視鏡撮像画像データＩｄが画像合成部１３に供給される。

【0044】

画像合成部１３は、アノテーション画像データＡｄ１が画像生成部１２から供給されていない場合、内視鏡撮像画像データＩｄをモニタ１４及びデータ送信部１５に供給する。

【0045】

モニタ１４に内視鏡撮像画像データＩｄが供給されることで、モニタ１４に内視鏡撮像画像３０が表示される（図２参照）。これにより、施術者１は、モニタ１４で患者３の体腔内部の状態を観察しながら施術を行うことができる。

【0046】

またデータ送信部１５は、画像合成部１３から供給された内視鏡撮像画像データＩｄを指導側システム２０に送信する。

【0047】

指導側システム２０において、画像合成部２４は施術側システム１０（データ送信部１５）から内視鏡撮像画像データＩｄを受信する。
画像合成部２４は、アノテーション画像データＡｄ２が画像生成部２３から供給されていない場合、内視鏡撮像画像データＩｄをモニタ２５に供給する。

【0048】

内視鏡撮像画像データＩｄが供給されることで、モニタ２５に内視鏡撮像画像３０が表示される（図２参照）。これにより、指導者２は、指導室Ｒｍ２にいながら手術室Ｒｍ１にいる施術者１と視点を共有することができるとともに、患者３の体腔内部の状態や施術者１による施術の状況を観察することができる。

【0049】

指導者２は、モニタ２５に表示された内視鏡撮像画像３０を観察しながらタッチパネル２７等の入力機器を操作することで、施術者１に対する指示内容を示す図形、文字、記号などを内視鏡撮像画像３０上に入力する。

【0050】

アノテーションインタフェース２１では、タッチパネル２７への操作入力に応じた描画情報ＰＩが生成される。アノテーションインタフェース２１で得られた描画情報ＰＩは、画像生成部２３及びデータ送信部２２に供給される。

【0051】

データ送信部２２は、アノテーションインタフェース２１から得られた描画情報ＰＩを施術側システム１０に送信する。
施術側システム１０への送信にあたり、画像生成部２３により生成されるアノテーション画像データＡｄ２よりも通信容量の少ない描画情報ＰＩを送信することで、指導側システム２０から施術側システム１０にデータを送信する際の通信遅延が軽減される。

【0052】

施術側システム１０において、画像生成部１２は指導側システム２０（データ送信部２２）から描画情報ＰＩを受信する。画像生成部１２は、当該受信した描画情報ＰＩからアノテーション画像４１，４２（図５参照）を表示させるためのアノテーション画像データＡｄ１を生成する。
画像生成部１２で生成されたアノテーション画像データＡｄ１は、画像合成部１３に供給される。

【0053】

画像合成部１３は、内視鏡１１から供給された内視鏡撮像画像データＩｄと、画像生成部１２から供給されたアノテーション画像データＡｄ１と、を合成して施術側合成画像データＣｄ１を生成する。施術側合成画像データＣｄ１は、内視鏡撮像画像３０（図２参照）にアノテーション画像４１，４２（図５参照）が重畳された合成画像５０（図３参照）を表示させるための画像データである。

【0054】

ここで画像合成部１３は、ハードウェアによるビデオミキサ装置で構成されているため、内視鏡撮像画像データＩｄとアノテーション画像データＡｄ１が入力されてから、施術側合成画像データＣｄ１を出力するまでの遅延時間が極めて短い。

【0055】

なお、ハードウェアによるビデオミキサ装置に代えて、演算能力の高いプロセッサにより画像合成部１３を実現することもできる。当該プロセッサがプログラムにより規定された合成処理を実行することで、ハードウェアによるビデオミキサ装置と遜色ない処理速度、例えば入力から出力までの遅延時間が３０ｍ秒未満となるような処理速度を実現できる。このような場合であれば、画像合成部１３をソフトウェアミキサとして実現してもよい。

【0056】

上記の処理速度により合成処理が迅速に行われることで、当該合成処理により生成された施術側合成画像データＣｄ１が遅滞なくモニタ１４に供給され、モニタ１４においてタイムラグの少ない表示が行われる。

【0057】

これにより、手術室Ｒｍ１にいる施術者１は、タイムラグを感じることなく、指導室Ｒｍ２にいる指導者２の指示をモニタ１４上で確認しながら患者３に対する施術を行うことができる。

【0058】

特に画像合成部１３がハードウェアによるビデオミキサ装置であること、もしくは極めて処理速度の速いプロセッサを用いたソフトウェアミキサ装置であって、上記のように遅延時間が３０ｍ秒未満であれば、施術者１が画像に対してタイムラグを感じることが殆どないものとすることができる。

【0059】

データ送信部１５は、画像合成部１３から供給された施術側合成画像データＣｄ１を指導側システム２０に送信する。

【0060】

一方、指導側システム２０では、画像生成部２３が、アノテーションインタフェース２１から得られた描画情報ＰＩに基づいて、アノテーション画像４１，４２（図５参照）を表示させるためのアノテーション画像データＡｄ２を生成している。画像生成部２３で得られたアノテーション画像データＡｄ２は、画像合成部２４に供給される。

【0061】

画像合成部２４は、施術側システム１０（データ送信部１５）から受信した施術側合成画像データＣｄ１と、画像生成部２３から供給されたアノテーション画像データＡｄ２と、を合成して指導側合成画像データＣｄ２を生成する。生成された指導側合成画像データＣｄ２は、モニタ２５に供給される。

【0062】

また施術側合成画像データＣｄ１に代えて内視鏡撮像画像データＩｄを施術側システム１０から受信した場合、画像合成部２４は、内視鏡撮像画像データＩｄとアノテーション画像データＡｄ２と、を合成して指導側合成画像データＣｄ２を生成する。このとき生成された指導側合成画像データＣｄ２は、上記と同様モニタ２５に供給される。

【0063】

上記の何れの場合においても指導側合成画像データＣｄ２の生成にあたりアノテーション画像データＡｄ２が合成されるため、モニタ２５上には、内視鏡撮像画像３０（図２参照）にアノテーション画像４１，４２（図５参照）が重畳された合成画像５０（図３参照）が表示される。

【0064】

このように、指導側システム２０で指導側合成画像データＣｄ２を生成することで、送信した描画情報ＰＩに基づいて施術側システム１０上で指導側合成画像データＣｄ２を生成するとした場合よりも、遅延なく指導側合成画像データＣｄ２をモニタ２５に供給することができる。

【0065】

これにより、モニタ２５上で、タッチパネル２７の操作入力を行っている指導者２にストレスを感じさせない画像表示を行うことができる。

【0066】

また特に、アノテーション画像データＡｄ１を合成した施術側合成画像データＣｄ１に、さらにアノテーション画像データＡｄ２を合成して指導側合成画像データＣｄ２を生成することで、指導者２は、施術側合成画像データＣｄ１とアノテーション画像データＡｄ２のそれぞれに基づいて表示されるアノテーション画像４１，４２にずれがないかをモニタ２５上で確認することができる。
ずれが生じた場合、指導者２は、例えば図６で示すようなアノテーション画像４１，４２のずれをモニタ２５上で確認することができる。

【0067】

ここで表示内容の確認という点を考えると、画像生成部２３は、アノテーション画像データＡｄ２を、画像生成部１２が生成するアノテーション画像データＡｄ１と異なる表示態様となるような画像データとして生成するとよい。
例えば、図７に示すようにアノテーション画像データＡｄ２に基づくアノテーション画像４１，４２を破線で表示させることで、施術側合成画像データＣｄ１に含まれるアノテーション画像データＡｄ１に基づくアノテーション画像４２の表示（実線）と区別してモニタ２５上に表示させることができる。
なお、図７で破線が実線に沿う部分は、説明の便宜上そのように表記してあるが、実際には互いに重なっている部分である。

【0068】

上述のように、アノテーション画像データＡｄ１によるアノテーション画像４１，４２とアノテーション画像データＡｄ２によるアノテーション画像４１，４２を両方表示させ、確認できるようにするのは、次のような意味がある。

【0069】

指導側システム２０から送信された描画情報ＰＩは、例えば通信障害などの要因により施術側システム１０で受信する際にその一部が欠損したり、或いは各システム（１０，２０）間での設定やモニタ１４，２５の解像度の違いなどが未調整で、アノテーション画像４１，４２等の表示座標がずれてしまったりすることなどが起こり得る。
この場合、モニタ２５には表示座標のずれにより図６のような画像が表示されることがある。

【0070】

また情報の一部が欠損した場合、施術側システム１０の画像生成部１２では、本来であれば、受信した描画情報ＰＩに基づいて図５に示すようなアノテーション画像４１，４２を表示するためのアノテーション画像データＡｄ１が生成されるはずであるが、描画情報ＰＩの一部の欠損により、図８に示すようなアノテーション画像４２のみしか表示されないアノテーション画像データＡｄ１（以下、欠損アノテーション画像データＡｄ１とも表記する。）が生成されてしまうことがある。

【0071】

このとき、画像合成部１３では、画像生成部１２により生成された欠損アノテーション画像データＡｄ１と、内視鏡撮像画像データＩｄとが合成され、図９に示すような内視鏡撮像画像３０にアノテーション画像４２のみを重畳した合成画像５１を表示するための施術側合成画像データＣｄ１が生成される。

【0072】

これによりモニタ１４には、供給された施術側合成画像データＣｄ１に基づいてアノテーション画像４１が欠如した合成画像５１が表示されることになる。このような状態では、指導者２の入力がモニタ１４に正確に反映されず、施術者１は指導者２の指示の全てを把握できない状態で施術を行うことになる。

【0073】

一方、指導側システム２０では、施術側システム１０から受信した施術側合成画像データＣｄ１と、画像生成部２３で生成されたアノテーション画像４１，４２を表示するためのアノテーション画像データＡｄ２とが合成されることになるので、施術側合成画像データＣｄ１のアノテーション画像データＡｄ１が欠損しているか否かに関わらず、合成画像５０（図５参照）を表示するための指導側合成画像データＣｄ２が生成される。

【0074】

これにより、モニタ２５では指導側合成画像データＣｄ２に基づく合成画像５０が表示されることになるため、指導者２が、施術者１側のモニタ１４の表示においてアノテーション画像４１が欠如していることを確認することができない。
指導者２が施術者１側のモニタ１４の表示状況を確認するためには、アノテーション画像データＡｄ１，Ａｄ２に基づく画像を異なる態様で表示させることが望ましい。

【0075】

そこで画像生成部２３は、描画情報ＰＩに基づいて、アノテーション画像４１，４２を例えば破線で表示させるためのアノテーション画像データＡｄ２を生成する。
また画像合成部２４は、画像生成部２３から供給されたアノテーション画像データＡｄ２と、施術側システム１０から受信した施術側合成画像データＣｄ１とを合成し、指導側合成画像データＣｄ２を生成する。

【0076】

当該生成された指導側合成画像データＣｄ２がモニタ２５に供給されることで、モニタ２５上に図７に示すような合成画像５２が表示される。
これにより、指導者２は、破線のみで表示されたアノテーション画像４１の部分が、施術側システム１０のモニタ１４に表示されていないことを確認することができる。
つまり、指導者２はモニタ２５上で、自身の指示内容と、施術者１の見ているモニタ１４の内容を容易に比較できる。

【0077】

以上により、指導者２は指導側合成画像データＣｄ２に基づく画像を見ることで、アノテーション画像データＡｄ１，Ａｄ２に基づく画像の両方をみることができ、自分の指示が施術者１に正しく伝わっているか否かが確認できる。もし画像による指示が正しく伝わっていないことを認識できれば、指導者２は必要な対処をとることができる。

【0078】

なお、本実施の形態では、指導側合成画像データＣｄ２におけるアノテーション画像データＡｄ１とアノテーション画像データＡｄ２とを区別するための表示態様の例として、破線と実線により区別を行うこととしたが、表示態様は、アノテーション画像データＡｄ１，Ａｄ２のそれぞれを区別できるものであればこれに限られず、線幅等の線種や、色彩、輝度などを異ならせることで区別することができる。また、何れかをハイライト表示することで区別することもできる。
また、画像生成部２３により生成されたアノテーション画像データＡｄ２のうち、アノテーション画像データＡｄ１と一致しない部分を区別して表示することも考えられる。

【0079】

<４．まとめ及び変形例>
上述した本実施の形態によれば、支援システム１００は、第１システム（施術側システム１０）と、施術側システム１０から離隔した第２システム（指導側システム２０）とを有する。

【0080】

このうち指導側システム２０が有する情報処理装置は、データ送信部２２、画像生成部２３、及び画像合成部２４を有している（図４参照）。
データ送信部２２は、アノテーション画像データＡｄ１の生成に必要とされる、操作入力に基づく描画情報ＰＩを施術側システム１０に送信する。また画像生成部２３は、描画情報ＰＩからアノテーション画像データＡｄ２を生成する。さらに画像合成部２４は、画像生成部２３により生成されたアノテーション画像データＡｄ２と、施術側システム１０から受信した施術側合成画像データＣｄ１（又は内視鏡撮像画像データＩｄ）と、を合成する。

【0081】

指導側システム２０で、アノテーション画像データＡｄ２を生成し、生成したアノテーション画像データＡｄ２と施術側合成画像データＣｄ１（又は内視鏡撮像画像データＩｄ）とを合成して指導側合成画像データＣｄ２を生成することで、施術側システム１０で生成したものを受信するよりも迅速に指導側合成画像データＣｄ２を取得することができる。

【0082】

従って、指導者２は、自身が入力した図形等を通信遅延等の影響を受けることなくモニタ２５上で確認することができる。よって、指導者２は快適かつ正確に入力を行うことができるため、施術者１に対して適切な指示を行うことができる。

【0083】

また本実施の形態によれば、指導側システム２０の画像生成部２３は、施術側合成画像データＣｄ１に含まれるアノテーション画像データＡｄ１と区別できるようなアノテーション画像データＡｄ２を生成する。

【0084】

これにより、アノテーション画像データＡｄ１に基づく表示と、アノテーション画像データＡｄ２に基づく表示と、を区別することができるようになり、指導側システム２０での入力に基づく描画情報ＰＩを反映したアノテーション画像データＡｄ１が施術側システム１０で生成されているかを確認することができる（図７参照）。

【0085】

従って、指導者２がモニタ２５を見ることで、自身の指示内容が施術者１の見ているモニタ１４上に適切に表示されているか否かを容易に確認することができる。

【0086】

また本実施の形態によれば、施術側システム１０が有する情報処理装置は、画像生成部１２、画像合成部１３、及びデータ送信部１５を有している（図４参照）。
画像生成部１２は、操作入力に基づく描画情報ＰＩを指導側システム２０から受信し、受信した描画情報ＰＩからアノテーション画像データＡｄ１を生成する。また画像合成部１３は、入力された画像データ（内視鏡撮像画像データＩｄ）及び画像生成部１２により生成されたアノテーション画像データＡｄ１を合成して施術側合成画像データＣｄ１を生成する。さらにデータ送信部１５は、画像合成部１３により生成された施術側合成画像データＣｄ１（又は内視鏡撮像画像データＩｄ）を指導側システム２０に送信する。

【0087】

ここでは施術側システム１０で施術側合成画像データＣｄ１を生成するにあたり、アノテーション画像データＡｄ２に代えて、アノテーション画像データＡｄ２よりも通信容量の少ない描画情報ＰＩを指導側システム２０から受信する。

【0088】

これにより、指導側システム２０から施術側システム１０にデータを送信する際の通信遅延が軽減され、施術側システム１０で描画情報ＰＩに基づくアノテーション画像データＡｄ１を遅延なく生成することができる。

【0089】

従って、指導者２による指示をモニタ１４上に遅延なく表示することが可能となり、施術者１が指導者２からの指示を即座に確認することができる。すなわち、施術者１が患者３に対してより安全な施術を行うことができる。
なお、本実施の形態では、画像合成部１３に入力される画像データを内視鏡撮像画像データＩｄとする例について説明したが、当該入力される画像データは、内視鏡１１から供給される内視鏡撮像画像データＩｄのような撮像画像データに限られず、メモリに記録され、当該メモリから読み出すことで取得される画像データや、外部のコンピュータ装置などから受信する画像データなど多様に考えられる。

【0090】

また本実施の形態において、画像生成部１２による、内視鏡撮像画像データＩｄとアノテーション画像データＡｄ１を入力してから施術側合成画像データＣｄ１を出力するまでの遅延時間が３０ｍ秒未満とされることが望ましい。

【0091】

これにより、施術者１は、モニタ１４上で合成画像５０等を低遅延で視認することができるため、指導者２の指示を確認しつつ、正確かつ安全な施術を患者３に対して行うことができる。

【0092】

なお、本実施の形態では、支援システム１００の一例として、施術者１が遠隔地にいる指導者２の指示を受けながら患者３に対して施術を行うことのできる手術支援システムについて説明したが、支援システム１００は、遠隔地にいる指導者２が、施術側の撮像画像を視認しながら施術者１に対して指示を行う状況に幅広く適用することが可能である。
例えば、スポーツ指導における選手と監督、教育や職業訓練などの学習支援における講師と受講者、リモート会議における発表者と傍聴者など、様々な用途に支援システム１００を適用できる。

【0093】

また、本実施の形態では、図１に示すような内視鏡１１により撮像を行う例について説明したが、撮像機器は、施術者１側の施術を撮像することができるものであればよく、内視鏡１１に限られることはない。

【0094】

また本実施の形態では、図１の指導端末２６の一例としてタッチパネルを有するタブレット端末について説明したが、指導端末２６は、例えば操作入力用のマウス、キーボード等を有するＰＣ（Personal Computer）、ヘッドマウントディスプレイと操作入力用のリモートコントローラとを有するＶＲ（Virtual Reality）、手術ロボット用のマスタコンソールなど、様々な機器により実現することができる。

【0095】

最後に、本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。

【符号の説明】

【0096】

１ 施術者
２ 指導者
３ 患者
１０ 施術側システム
１１ 内視鏡
１２ 画像生成部
１３ 画像合成部
１４ モニタ
１５ データ送信部
２０ 指導側システム
２１ アノテーションインタフェース
２２ データ送信部
２３ 画像生成部
２４ 画像合成部
２５ モニタ
１００ 支援システム
Ａｄ１，Ａｄ２ アノテーション画像データ
ＰＩ 描画情報
Ｉｄ 内視鏡撮像画像データ
Ｃｄ１ 施術側合成画像データ
Ｃｄ２ 指導側合成画像データ
Ｒｍ１ 手術室
Ｒｍ２ 指導室

【要約】

本発明に係る情報処理装置は、第１システムと、前記第１システムから離隔した第２システムとを有する支援システムにおける前記第２システムが有する情報処理装置であって、アノテーション画像データの生成に必要とされる、操作入力に基づく描画情報を前記第１システムに送信するデータ送信部と、前記描画情報からアノテーション画像データを生成する画像生成部と、前記画像生成部により生成されたアノテーション画像データと、前記第１システムから受信した画像データと、を合成する画像合成部と、を備えるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】