IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ リバーフィールド株式会社の特許一覧

<>
  • 特許-支援システム、支援装置、被支援装置 図1
  • 特許-支援システム、支援装置、被支援装置 図2
  • 特許-支援システム、支援装置、被支援装置 図3
  • 特許-支援システム、支援装置、被支援装置 図4
  • 特許-支援システム、支援装置、被支援装置 図5
  • 特許-支援システム、支援装置、被支援装置 図6
  • 特許-支援システム、支援装置、被支援装置 図7
  • 特許-支援システム、支援装置、被支援装置 図8
  • 特許-支援システム、支援装置、被支援装置 図9
  • 特許-支援システム、支援装置、被支援装置 図10
  • 特許-支援システム、支援装置、被支援装置 図11
  • 特許-支援システム、支援装置、被支援装置 図12
  • 特許-支援システム、支援装置、被支援装置 図13
  • 特許-支援システム、支援装置、被支援装置 図14
  • 特許-支援システム、支援装置、被支援装置 図15
  • 特許-支援システム、支援装置、被支援装置 図16
  • 特許-支援システム、支援装置、被支援装置 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-11-29
(45)【発行日】2023-12-07
(54)【発明の名称】支援システム、支援装置、被支援装置
(51)【国際特許分類】
   A61B 34/00 20160101AFI20231130BHJP
   A61B 34/35 20160101ALI20231130BHJP
【FI】
A61B34/00
A61B34/35
【請求項の数】 5
(21)【出願番号】P 2023543416
(86)(22)【出願日】2022-02-09
(86)【国際出願番号】 JP2022005123
【審査請求日】2023-07-19
【早期審査対象出願】
(73)【特許権者】
【識別番号】515075692
【氏名又は名称】リバーフィールド株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(72)【発明者】
【氏名】菅野 貴皓
(72)【発明者】
【氏名】正野 脩登
【審査官】槻木澤 昌司
(56)【参考文献】
【文献】特表2013-510672(JP,A)
【文献】特開2019-162339(JP,A)
【文献】国際公開第2005/093687(WO,A1)
【文献】米国特許出願公開第2016/0353055(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/00-34/37
(57)【特許請求の範囲】
【請求項1】
被支援装置と、前記被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、
前記支援装置は、
指導者の手の位置および指示内容を3次元で検出する3次元位置検出部と、
前記3次元位置検出部により検出された手の位置を示す位置情報および前記指示内容を示す指示内容情報を送信するデータ送信部と、を備え、
前記被支援装置は、
送信された前記位置情報に基づいて前記指導者の手が模された3次元の手モデル画像を生成するとともに、送信された前記指示内容情報に基づいて3次元のアノテーション画像を生成する第1画像生成部と、
前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第1合成画像を生成するとともに、前記撮像画像に対して前記手モデル画像および前記アノテーション画像を合成して第2合成画像を生成する第1画像合成部と、
前記第2合成画像を表示する第1モニタと、
前記第1合成画像を前記支援装置に送信するデータ送信部と、を備え
前記支援装置は、
前記位置情報に基づいて手モデル画像を生成するとともに、前記指示内容情報に基づいてアノテーション画像を生成する第2画像生成部と、
前記被支援装置から送信された前記第1合成画像に、前記手モデル画像および前記アノテーション画像を合成して第3合成画像を生成する第2画像合成部と、
前記第3合成画像を表示する第2モニタと、を備える
支援システム。
【請求項2】
前記第1画像生成部は、
GPUのシェーダー処理を用いて、前記位置情報に基づいて右眼用手モデル画像および左眼用手モデル画像を生成し、前記右眼用手モデル画像および前記左眼用手モデル画像をラインバイライン方式で合成することにより前記手モデル画像を生成する
請求項に記載の支援システム。
【請求項3】
前記第1画像生成部は、
前記右眼用手モデル画像および前記左眼用手モデル画像の水平方向の位置をずらすことにより、前記第1モニタに表示される3次元の前記手モデル画像の視差調整を行う
請求項2に記載の支援システム。
【請求項4】
撮像画像を撮像する被支援装置に離隔して設けられる支援装置であって、
指導者の手の位置および指示内容を3次元で検出する3次元位置検出部と、
前記3次元位置検出部により検出された手の位置を示す位置情報および前記指示内容を示す指示内容情報を送信するデータ送信部と、
前記位置情報に基づいて指導者の手が模された3次元の手モデル画像を生成するとともに、前記指示内容情報に基づいて3次元のアノテーション画像を生成する画像生成部と、
前記被支援装置において前記撮像画像に対して前記指示内容情報に基づくアノテーション画像が合成された第1合成画像を取得し、取得した前記第1合成画像に対して前記手モデル画像および前記アノテーション画像を合成して第3合成画像を生成する画像合成部と、
前記第3合成画像を表示するモニタと、
を備える支援装置。
【請求項5】
支援装置に離隔して設けられる被支援装置であって、
前記支援装置において3次元で検出された指導者の手の位置を示す位置情報に基づいて前記指導者の手を模した3次元の手モデル画像を生成するとともに、前記支援装置において3次元で検出された指導者の指示内容を示す指示内容情報に基づいて3次元のアノテーション画像を生成する第1画像生成部と、
前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第1合成画像を生成するとともに、前記撮像画像に対して前記手モデル画像および前記アノテーション画像を合成して第2合成画像を生成する第1画像合成部と、
前記第2合成画像を表示する第1モニタと、
前記第1合成画像を前記支援装置に送信するデータ送信部と、
を備える被支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、施術者に対して遠隔地から指導者が指導を行うための技術に関する。
【背景技術】
【0002】
施術者が、遠隔地にいる指導者の指示を受けながら患者に対して施術を行うことのできる支援システムが知られている。この支援システムは、例えば経験の少ない執刀医(施術者)が、経験豊かな指導医(指導者)の指導を受けながら手術を行うときなどに用いられる。
【0003】
特許文献1に開示された発明によれば、患者に挿入された内視鏡による撮像画像(以下、内視鏡画像とも表記する。)を表示するモニタが遠隔地に設置され、遠隔地にいる指導医は当該モニタに表示された内視鏡画像を観察しながら指示を入力することができる。そして手術室側のモニタには、内視鏡画像に遠隔地で入力された指示内容を重畳した合成画像が表示され、執刀医は、遠隔地にいる指導医の指示を受けながら患者の手術を行うことができる。
【0004】
上述の支援システムによれば、経験の少ない施術者であっても、モニタに表示された撮像画像を指導者に観察してもらい指示を受けることで、患者に対して確実な施術を行うことができるとともに、施術者自身の技能を向上させることができる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2000-271147号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した内視鏡手術など施術対象(患者)の安全性が要求されるような分野においてこのような支援システムを採用する場合、指導者の指示内容を表示するだけでは、施術者は、指導者の指示内容を理解しにくい場合も考えられる。
本発明は上記事情に鑑みてなされたものであり、遠隔地にいる指導者が施術者に適切な支援を行えるような支援システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る情報処理装置は、被支援装置と、前記被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、前記支援装置は、指導者の手の位置および指示内容を3次元で検出する3次元位置検出部と、前記3次元位置検出部により検出された手の位置を示す位置情報および前記指示内容を示す指示内容情報を送信するデータ送信部と、を備え、前記被支援装置は、送信された前記位置情報に基づいて前記指導者の手が模された3次元の手モデル画像を生成するとともに、送信された前記指示内容情報に基づいて3次元のアノテーション画像を生成する第1画像生成部と、前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第1合成画像を生成するとともに、前記撮像画像に対して前記手モデル画像および前記アノテーション画像を合成して第2合成画像を生成する第1画像合成部と、前記第2合成画像を表示する第1モニタと、前記第1合成画像を前記支援装置に送信するデータ送信部と、を備え、前記支援装置は、前記位置情報に基づいて手モデル画像を生成するとともに、前記指示内容情報に基づいてアノテーション画像を生成する第2画像生成部と、前記被支援装置から送信された前記第1合成画像に、前記手モデル画像および前記アノテーション画像を合成して第3合成画像を生成する第2画像合成部と、前記第3合成画像を表示する第2モニタと、を備える。
【0008】
これにより、被支援装置では、遠隔地にいる指導者の手を模した手モデル画像が表示されるため、施術者は、指導者の手の動きを把握することが可能となる。したがって、施術者は、指導者の指示内容をより正確に理解することが可能となる。
【発明の効果】
【0009】
本発明によれば、遠隔地にいる指導者が施術者に適切な支援を行えることができる。
【図面の簡単な説明】
【0010】
図1】支援システムを説明する図である。
図2】内視鏡画像を示す図である。
図3】内視鏡画像に手モデル画像を重畳した合成画像を示す図である。
図4】内視鏡画像に手モデル画像およびアノテーション画像を重畳した合成画像を示す図である。
図5】内視鏡画像にアノテーション画像を重畳した合成画像を示す図である。
図6】施術側装置の構成の一例を示すブロック図である。
図7】指導側装置の構成の一例を示すブロック図である。
図8】第1の実施形態における支援システムの機能的構成およびデータの流れを説明する図である。
図9】3次元の手モデル画像を生成する際の3次元仮想空間を説明する図である。
図10】3次元の手モデル画像の生成方法を説明する図である。
図11】3次元の手モデル画像およびアノテーション画像を生成する際の3次元仮想空間を説明する図である。
図12】3次元の手モデル画像およびアノテーション画像の生成方法を説明する図である。
図13】3次元のアノテーション画像を生成する際の3次元仮想空間を説明する図である。
図14】3次元のアノテーション画像の生成方法を説明する図である。
図15】施術側合成画像データに基づく合成画像に、3D画像データに基づく手モデル画像およびアノテーション画像を重畳した合成画像を示す図である。
図16】視差調整時の3次元のアノテーション画像の生成方法を説明する図である。
図17】第2の実施形態における支援システムの機能的構成およびデータの流れを説明する図である。
【発明を実施するための形態】
【0011】
以下、実施形態について説明する。なお、以下で説明する各構成は、本発明を実現するための一例を示したものにすぎない。従って、本発明の技術的思想を逸脱しない範囲であれば、設計などに応じて様々な変更が可能である。また一度説明した構成については重複を避けるため、以降、同一符号を付して再度の説明を省略することがある。
【0012】
<1.第1の実施形態>
[1-1.支援システムの概要]
図1は、支援システム1を説明する図である。図2は、内視鏡画像50を示す図である。図3は、内視鏡画像50に手モデル画像51を重畳した合成画像53を示す図である。図4は、内視鏡画像50に手モデル画像51およびアノテーション画像52を重畳した合成画像54を示す図である。図5は、内視鏡画像50にアノテーション画像52を重畳した合成画像55を示す図である。
なお、手モデル画像51およびアノテーション画像52は、実際には3D(3次元)画像であるが、図3図5では2D(2次元)画像として示している。また、内視鏡画像50は、3D画像であっても2D画像であってもよいが、図2図5では2D画像として示している。
【0013】
図1に示すように、支援システム1は、手術室Rm1にいる施術者4が使用する施術側装置2と、手術室Rm1と離隔した指導室Rm2にいる指導者6が使用する指導側装置3とを備える。したがって、施術側装置2と指導側装置3とは、離隔して設けられている。
【0014】
例えば施術者4は患者5の執刀医であり、指導者6は施術者4を指導する指導医であることが想定されており、支援システム1では、施術者4が指導者6による指示を確認しながら患者5への手術を行うことができる。
【0015】
施術側装置2は、内視鏡11および3Dモニタ12を備えている。指導側装置3は、3Dモニタ21および3次元位置検出部22を備えている。
【0016】
3Dモニタ12および3Dモニタ21は、LCD(Liquid Crystal Display)等のフラットパネルに、奇数列のライン(水平方向の画素列)と偶数列のラインとで異なる偏光方向の偏光フィルタが交互に重ねられており、所謂ラインバイライン方式で3D(3次元)画像を表示可能なモニタである。
なお、3Dモニタ12および3Dモニタ21は、例えば、奇数列のラインに右回転円偏光フィルタが重ねられ、偶数列のラインに左回転円偏光フィルタが重ねられている。
【0017】
施術者4は、偏光メガネ7を装着して3Dモニタ12を視認する。偏光メガネ7は、右眼側と左眼側とで異なる偏光方向の偏光フィルタが取り付けられている。なお、偏光メガネ7は、例えば、右眼側に右回転円偏光フィルタが取り付けられており、左眼側に左回転円偏光フィルタが取り付けられている。
【0018】
したがって、偏光メガネ7を装着した施術者4は、3Dモニタ12を視認したときに、右眼には奇数列のラインの画像だけが見え、左眼には偶数列のラインの画像だけが見える。
同様に、指導者6は、偏光メガネ7を装着して3Dモニタ21を視認したときに、右眼には奇数列のラインの画像だけが見え、左眼には偶数列のラインの画像だけが見える。
【0019】
このように、3Dモニタ12および3Dモニタ21は、施術者4および指導者6それぞれに偏光メガネ7を介して右眼および左眼に異なる画像(視差画像)を見せることで、3D画像を見せることが可能となっている。
【0020】
なお、3Dモニタ12および3Dモニタ21は、奇数列のラインと偶数列のラインとに同一の画像を表示することで、施術者4および指導者6に2D画像を見せることも可能である。
【0021】
支援システム1では、施術側装置2において、例えば患者5の体腔内に内視鏡11が挿入されることで、図2に示すような体腔内の内視鏡画像50が3Dモニタ12に表示される。施術者4は、3Dモニタ12で内視鏡画像50を確認することができる。なお、内視鏡画像50は、3D画像であってもよく、また、2D画像であってもよい。
【0022】
内視鏡画像50は、指導室Rm2にある指導側装置3の3Dモニタ21にも表示される。指導者6は、指導室Rm2にいながら3Dモニタ21により内視鏡画像50を確認することができる。
【0023】
指導側装置3は、詳しくは後述するように、指導者6の手の位置(座標)を3次元位置検出部22によって3次元で検出することが可能である。指導側装置3では、3次元位置検出部22で検出された指導者6の手の位置に基づいて、内視鏡画像50上に指導者6の手を模した3次元の手モデル画像51を表示する。
すなわち、指導側装置3では、図3に示すような内視鏡画像50に手モデル画像51が重畳された合成画像53を3Dモニタ21に表示する。
これにより、指導者6は、内視鏡画像50に対する自身の手の動きを手モデル画像51によって3次元で確認しながら、指示内容を入力することができる。
【0024】
また、指導側装置3では、3次元位置検出部22で検出される指導者6の手の所定の動き(ジェスチャ)によって、指示内容を操作入力することができる。当該入力により、指導側装置3では、内視鏡画像50上に指導者6の指示内容(操作入力)を示すアノテーション画像52を表示する。
【0025】
すなわち、指導側装置3では、図4に示すような内視鏡画像50に手モデル画像51およびアノテーション画像52が重畳された合成画像54を3Dモニタ21に表示する。
これにより、指導者6は、内視鏡画像50に対する自身の指示内容をアノテーション画像52によって3次元で確認することができる。
【0026】
一方、施術側装置2では、指導者6による指示内容に基づいて、図5に示すような内視鏡画像50にアノテーション画像52が重畳された合成画像55を3Dモニタ12に表示する。
これにより、施術者4は、3Dモニタ12に表示された指導者6の指示内容を3次元で確認しながら患者5に対する施術を行うことができる。
【0027】
[1-2.施術側装置2の構成]
図6は、施術側装置2の構成の一例を示すブロック図である。図6に示すように、施術側装置2は、内視鏡11および3Dモニタ12に加え、CPU(Central Processing Unit)13、ROM(Read Only Memory)14、RAM(Random Access Memory)15、GPU(Graphics Processing Unit)16を備えるコンピュータを含んだ構成である。
【0028】
CPU13は、ROM14または記憶部19に記憶されているプログラムに従って各種の処理を実行する。RAM15には、CPU13が各種の処理を実行する上で必要なデータなども適宜記憶される。
【0029】
GPU16は、CPU13からの描画命令に従って、3Dコンピュータグラフィックスによる描画処理(例えばシェーダー処理)を行い、描画処理後の画像を図示しないフレームバッファに格納する。そして、GPU16は、フレームバッファに格納された画像を3Dモニタ12に出力する。
【0030】
CPU13、ROM14、RAM15およびGPU16は、バス17を介して相互に接続されている。バス17には、内視鏡11、3Dモニタ12、通信部18、記憶部19も接続されている。
【0031】
通信部18は、指導側装置3との間で有線または無線による通信を行う。
【0032】
記憶部19は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)などの記憶媒体より構成される。記憶部19には、例えば各種情報を記憶可能とされる。また、記憶部19は、CPU13が各種の処理を実行するためのプログラムデータの格納にも用いることが可能とされる。
【0033】
図7は、指導側装置3の構成の一例を示すブロック図である。図7に示すように、指導側装置3は、3Dモニタ21および3次元位置検出部22に加え、CPU23、ROM24、RAM25、GPU26を備えるコンピュータを含んだ構成である。
【0034】
CPU23は、ROM24または記憶部29に記憶されているプログラムに従って各種の処理を実行する。RAM25には、CPU23が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0035】
GPU26は、CPU23からの描画命令に従って、3Dコンピュータグラフィックスによる描画処理(例えばシェーダー処理)を行い、描画処理後の画像を図示しないフレームバッファに格納する。そして、GPU26は、フレームバッファに格納された画像を3Dモニタ21に出力する。
【0036】
CPU23、ROM24、RAM25およびGPU26は、バス27を介して相互に接続されている。バス27には、3Dモニタ21、3次元位置検出部22、通信部28、記憶部29も接続されている。
【0037】
通信部28は、施術側装置2との間で有線または無線による通信を行う。
【0038】
記憶部29は、例えばHDDやSSDなどの記憶媒体より構成される。記憶部29には、例えば各種情報を記憶可能とされる。また、記憶部29は、CPU23が各種処理を実行するためのプログラムデータの格納にも用いることが可能とされる。
【0039】
図8は、第1の実施形態における支援システム1の機能的構成およびデータの流れを説明する図である。図8に示すように、施術側装置2のGPU16は、画像生成部31および画像合成部32として機能する。また、施術側装置2の通信部18は、データ送信部33として機能する。
【0040】
指導側装置3の通信部28は、データ送信部41として機能する。また、指導側装置3のGPU26は、画像生成部42および画像合成部43として機能する。
【0041】
内視鏡11は、撮像素子を有し、撮像素子で得られた撮像画像信号に所定の信号処理を行い内視鏡画像50を生成し、内視鏡画像50の画像データ(以下、内視鏡画像データIdと表記する)を画像合成部32に出力する。なお、内視鏡画像50が3D画像である場合、内視鏡11は2つの撮像素子を有し、それぞれの撮像素子で得られた撮像画像信号に基づいて2つの内視鏡画像50(視差画像)が生成されることになる。
【0042】
画像生成部31は、指導側装置3から送信されてきた指示内容情報CIに基づいてアノテーション画像52を生成し、アノテーション画像52の画像データ(以下、3D画像データPd1と表記する)を画像合成部32に出力する。
ここで指示内容情報CIは、操作入力で指定された座標、線種、色彩、線幅などの情報を含んでいる。
【0043】
画像合成部32は、入力された各種画像データに基づいて画像を合成する。第1の実施形態において画像合成部32は、内視鏡画像データIdに基づく内視鏡画像50と、3D画像データPd1に基づくアノテーション画像52とを合成して合成画像55を生成する。
そして、画像合成部32は、合成画像55の画像データ(以下、施術側合成画像データCd1と表記する)をデータ送信部33および3Dモニタ12に出力する。
なお、画像合成部32は、3D画像データPd1が入力されていない場合、合成画像55を生成することなく、内視鏡画像データIdをデータ送信部33および3Dモニタ12に出力する。
【0044】
したがって、3Dモニタ12には、内視鏡画像データIdや施術側合成画像データCd1に基づく表示が行われる。すなわち、3Dモニタ12には、内視鏡画像50や合成画像55が表示される。
【0045】
データ送信部33は、各種データを指導側装置3に送信する。例えば、データ送信部33は、画像合成部32から入力された内視鏡画像データIdや施術側合成画像データCd1を送信する。
【0046】
3次元位置検出部22は、指導者6の手の位置(座標)を3次元で測定するセンサを含んでおり、例えばUltraleap社製のLeap Motion Controllerである。
【0047】
3次元位置検出部22は、赤外線照射部およびステレオ赤外線カメラ等を有し、赤外線照射部から照射された赤外線が指導者6の手に当たって反射した際の反射光をステレオ赤外線カメラで撮影することによりステレオ赤外線画像を得る。
【0048】
そして、3次元位置検出部22は、得られたステレオ赤外線画像について画像解析を行うことで、三次元空間内での指導者6の手(指、掌等)の関節の位置および指の先端の位置(以下、これらを単に指導者6の手の位置と表記する)を3次元で検出する。なお、ここでの位置は、所定の原点位置を基準とした3次元座標で示される位置である。
【0049】
また、3次元位置検出部22は、位置情報PI(操作入力)に基づいて指導者6の指示内容を3次元で検出する。例えば、3次元位置検出部22は、検出した位置情報PIに基づいて、指導者6の親指の先端と人差し指の先端とが接触しているジェスチャを検出した場合、親指の先端と人差し指の先端とが接触している状態で移動した軌跡を指示内容として検出する。
【0050】
3次元位置検出部22は、検出した指導者6の手の位置を示す位置情報PIを画像生成部42に出力するとともに、検出した指導者6の指示内容を示す指示内容情報CIを画像生成部42およびデータ送信部41に出力する。
【0051】
データ送信部41は、各種データを施術側装置2に送信する。第1の実施形態においてデータ送信部41は、3次元位置検出部22から入力された指示内容情報CIを送信する。
【0052】
画像生成部42は、3次元位置検出部22から入力された位置情報PIおよび指示内容情報CIに基づいて、手モデル画像51、または、手モデル画像51およびアノテーション画像52を生成し、それらの画像データ(以下、3D画像データPd2と表記する)を画像合成部43に出力する。
【0053】
画像合成部43は、入力された各種画像データに基づいて画像を合成する。例えば、画像合成部43は、内視鏡画像データIdに基づく内視鏡画像50に、3D画像データPd2に基づく手モデル画像51、または、手モデル画像51およびアノテーション画像52を合成することで合成画像53、54を生成する。そして、画像合成部43は、生成した合成画像53、54の画像データ(以下、指導側合成画像データCd2と表記する)を3Dモニタ21に出力する。
なお、画像合成部43は、3D画像データPd2が入力されていない場合、合成画像53、54を生成することなく、内視鏡画像データIdを3Dモニタ21に出力する。
【0054】
したがって、3Dモニタ21には、内視鏡画像データIdや指導側合成画像データCd2に基づく表示が行われる。すなわち、3Dモニタ21には、内視鏡画像50や合成画像53、54が表示される。
【0055】
[1-3.支援システム1の詳細]
第1の実施形態における支援システム1の詳細について図8を参照して説明する。
まず、施術側装置2は、内視鏡11により得られた内視鏡画像データIdが画像合成部32に入力される。
【0056】
画像合成部32は、3D画像データPd1が画像生成部31から入力されていない場合、内視鏡画像データIdを3Dモニタ12およびデータ送信部33に出力する。
【0057】
3Dモニタ12は、内視鏡画像データIdに基づいて内視鏡画像50を表示する(図2参照)。これにより、施術者4は、3Dモニタ12で患者5の体腔内の状態を観察しながら施術を行うことができる。
【0058】
データ送信部33は、画像合成部32から入力された内視鏡画像データIdを指導側装置3に送信する。
【0059】
指導側装置3において画像合成部43は、施術側装置2(データ送信部33)から内視鏡画像データIdを受信する。
画像合成部43は、3D画像データPd2が画像生成部42から入力されていない場合、内視鏡画像データIdを3Dモニタ21に出力する。
【0060】
3Dモニタ21は、内視鏡画像データIdに基づいて内視鏡画像50を表示する(図2参照)。これにより、指導者6は、指導室Rm2にいながら手術室Rm1にいる施術者4と視点を共有することができるとともに、患者5の体腔内の状態や施術者4による施術の状況を観察することができる。
【0061】
そして、指導者6は、3Dモニタ21で内視鏡画像50を確認しながら、3次元位置検出部22の検出範囲内で手を動かす。このとき、3次元位置検出部22は、指導者6の手の位置を検出して位置情報PIを画像生成部42に出力する。
【0062】
3次元位置検出部22から位置情報PIが画像生成部42に入力されると、画像生成部42は、入力された位置情報PIに基づいて3次元の手モデル画像51(図3参照)を生成する。
【0063】
図9は、3次元の手モデル画像51を生成する際の3次元仮想空間を説明する図である。図10は、3次元の手モデル画像51の生成方法を説明する図である。
画像生成部42は、3次元位置検出部22から入力された位置情報PIに基づいて、図9に示すように、3次元仮想空間60上に指導者6の手を模した手モデル63(ポリゴン)を配置する。また、3次元仮想空間60には、右眼に対応する位置に右眼用仮想カメラ61を配置するとともに、左眼に対応する位置に左眼用仮想カメラ62を配置する。
【0064】
そして、画像生成部42は、右眼用仮想カメラ61および左眼用仮想カメラ62によって3次元仮想空間60を撮像することにより、図10上段に示すような右眼用仮想画像71および左眼用仮想画像72をそれぞれ生成する。なお、図10では、右眼用仮想画像71および左眼用仮想画像72を容易に区別することができるように、全体的に模様(ハッチング、ドット等)を付しているが、実際にはこれらの模様は右眼用仮想画像71および左眼用仮想画像72にはないものである。
【0065】
右眼用仮想画像71および左眼用仮想画像72は、水平方向の画素数が3Dモニタ21の画素数と同数であり、かつ、垂直方向の画素数が3Dモニタ21の画素数の半分となっている。
【0066】
画像生成部42は、右眼用仮想画像71および左眼用仮想画像72を生成すると、図10下段に示すように、右眼用仮想画像71および左眼用仮想画像72を水平1ライン毎に交互に配置した手モデル画像51を生成する。すなわち、画像生成部42は、ラインバイライン方式で3次元の手モデル画像51を生成する。
そして、画像生成部42は、手モデル画像51の3D画像データPd2を画像合成部43に出力する。
【0067】
上記したように、3Dモニタ21は、奇数列のラインと偶数列のラインとで異なる偏光フィルタが交互に重ねられた所謂ラインバイライン方式で3D画像を表示可能なモニタである。
【0068】
したがって、3D画像データPd2に基づいて手モデル画像51が3Dモニタ21に表示されることで、偏光メガネ7を掛けている指導者6は、右眼用仮想画像71だけが右眼で見え、左眼用仮想画像72のみが左眼で見えることになる。そして、右眼用仮想画像71および左眼用仮想画像72は、それぞれ3次元仮想空間60において水平方向に離隔して配置された右眼用仮想カメラ61および左眼用仮想カメラ62で仮想的に撮像された画像であるため、所謂視差画像となっている。
【0069】
そのため、指導者6は、右眼用仮想画像71を右眼で見て、左眼用仮想画像72を左眼で見ることで、手モデル画像51を3次元で見ることができる。
【0070】
画像合成部43は、施術側装置2(データ送信部33)から受信した内視鏡画像データIdに基づく内視鏡画像50に、画像生成部42から供給された3D画像データPd2に基づく手モデル画像51を重畳した合成画像53を生成する。そして、画像合成部43は、生成した合成画像53の指導側合成画像データCd2を3Dモニタ21に出力する。
【0071】
したがって、3Dモニタ21には、画像合成部43から入力された指導側合成画像データCd2に基づいて合成画像53が表示されることになる。これにより、指導者6は、内視鏡画像50に対する自身の手の位置(動き)を3次元で確認することができる。
【0072】
その後、指導者6が合成画像53を確認しながら手の所定の動き(ジェスチャ)によって指示内容を入力すると、3次元位置検出部22は、当該所定の動きを指示内容として検出する。そして、3次元位置検出部22は、検出した指示内容を示す指示内容情報CIをデータ送信部41および画像生成部42に出力する。
【0073】
3次元位置検出部22から位置情報PIおよび指示内容情報CIが画像生成部42に入力されると、画像生成部42は、3次元位置検出部22から入力された位置情報PIおよび指示内容情報CIに基づいて、3次元の手モデル画像51およびアノテーション画像52(図4参照)を生成する。
【0074】
図11は、3次元の手モデル画像51およびアノテーション画像52を生成する際の3次元仮想空間を説明する図である。図12は、3次元の手モデル画像51およびアノテーション画像52の生成方法を説明する図である。なお、図9および図10と重複する部分は同様であるため、その説明を省略する。
【0075】
画像生成部42は、図11に示すように、3次元仮想空間60上に、位置情報PIに基づいて手モデル63を配置するとともに、指示内容情報CIに基づいて指示内容を示す指示内容モデル64(ポリゴン)を配置する。
【0076】
そして、画像生成部42は、右眼用仮想カメラ61および左眼用仮想カメラ62によって3次元仮想空間60を撮像することにより、図12上段に示すような右眼用仮想画像73および左眼用仮想画像74をそれぞれ得る。
【0077】
画像生成部42は、右眼用仮想画像73および左眼用仮想画像74を生成すると、図12下段に示すように、右眼用仮想画像73および左眼用仮想画像74を水平1ライン毎に交互に配置した手モデル画像51およびアノテーション画像52を生成する。すなわち、画像生成部42は、ラインバイライン方式で3次元の手モデル画像51およびアノテーション画像52を生成する。
そして、画像生成部42は、手モデル画像51およびアノテーション画像52の3D画像データPd2を画像合成部43に出力する。
【0078】
画像合成部43は、施術側装置2(データ送信部33)から受信した内視鏡画像データIdに基づく内視鏡画像50に、画像生成部42から入力された3D画像データPd2に基づく手モデル画像51およびアノテーション画像52を重畳した合成画像54を生成する。そして、画像合成部43は、生成した合成画像54の指導側合成画像データCd2を3Dモニタ21に出力する。
【0079】
したがって、3Dモニタ21には、画像合成部43から入力された指導側合成画像データCd2に基づいて合成画像54が表示されることになる。これにより、指導者6は、自身の手の所定の動き(ジェスチャ)によって入力された指示内容を3次元で確認することができる。
【0080】
ここで、画像生成部42は、GPU26のシェーダー処理を用いて手モデル画像51およびアノテーション画像52を生成する。そのため、指導側装置3では、例えば60Hzで合成画像53、54を3Dモニタ21に表示することでき、合成画像53、54の表示までの遅延時間が極めて短い。つまり、3Dモニタ21においてタイムラグの少ない合成画像53、54の表示が行われる。
【0081】
これにより、指導者6は、タイムラグを感じることなく、自身の手の位置および指示内容(操作入力)を3次元で確認することができる。
【0082】
また、データ送信部41は、3次元位置検出部22から入力された指示内容情報CIを施術側装置2に送信する。施術側装置2への送信にあたり、画像生成部42により生成される3D画像データPd2よりも通信容量の少ない指示内容情報CIを送信することで、指導側装置3から施術側装置2にデータを送信する際の通信遅延が軽減される。
【0083】
施術側装置2において画像生成部31は、指導側装置3(データ送信部41)から指示内容情報CIを受信する。画像生成部31は、受信した指示内容情報CIに基づいて3次元のアノテーション画像52(図5参照)を生成する。
【0084】
図13は、3次元のアノテーション画像52を生成する際の3次元仮想空間を説明する図である。図14は、3次元のアノテーション画像52の生成方法を説明する図である。なお、図9図12と重複する部分は同様であるため、その説明を省略する。
【0085】
画像生成部31は、指導側装置3から受信した指示内容情報CIに基づいて、図13に示すように、3次元仮想空間60上に指示内容モデル64を配置する。
【0086】
そして、画像生成部31は、右眼用仮想カメラ61および左眼用仮想カメラ62によって3次元仮想空間60を撮像することにより、図14上段に示すような右眼用仮想画像75および左眼用仮想画像76をそれぞれ得る。
【0087】
画像生成部31は、右眼用仮想画像75および左眼用仮想画像76を生成すると、図14下段に示すように、右眼用仮想画像75および左眼用仮想画像76を水平1ライン毎に交互に配置したアノテーション画像52を生成する。すなわち、画像生成部31は、ラインバイライン方式で3次元のアノテーション画像52を生成する。
そして、画像生成部31は、アノテーション画像52の3D画像データPd1を画像合成部32に出力する。
【0088】
画像合成部32は、内視鏡11から入力された内視鏡画像データIdに基づく内視鏡画像50に、画像生成部31から入力された3D画像データPd1に基づくアノテーション画像52を重畳(合成)した合成画像55を生成する。そして、画像合成部32は、生成した合成画像55の施術側合成画像データCd1を3Dモニタ12およびデータ送信部33に出力する。
【0089】
したがって、3Dモニタ12には、画像合成部32から入力された施術側合成画像データCd1に基づいて合成画像55が表示されることになる。これにより、施術者4は、指導者6の指示内容を3次元で確認することができる。
【0090】
ここで、画像生成部31は、GPU16のシェーダー処理を用いてアノテーション画像52を生成する。そのため、施術側装置2では、例えば60Hzで合成画像55を3Dモニタ12に表示することでき、合成画像55の表示までの遅延時間が極めて短い。つまり、3Dモニタ12においてタイムラグの少ない合成画像55の表示が行われる。
【0091】
これにより、手術室Rm1にいる施術者4は、タイムラグを感じることなく、指導室Rm2にいる指導者6の指示内容を3Dモニタ12上で確認しながら患者5に対する施術を行うことができる。
【0092】
データ送信部33は、画像合成部32から入力された施術側合成画像データCd1を指導側装置3に送信する。
【0093】
図15は、施術側合成画像データCd1に基づく合成画像55に、3D画像データPd2に基づく手モデル画像51およびアノテーション画像52を重畳した合成画像56を示す図である。
【0094】
画像合成部43は、施術側装置2(データ送信部33)から施術側合成画像データCd1を受信すると、図15に示すように、施術側合成画像データCd1に基づく合成画像55(内視鏡画像50およびアノテーション画像52)に、画像生成部42から入力された3D画像データPd2に基づく手モデル画像51およびアノテーション画像52を重畳した合成画像56を生成する。そして、画像合成部43は、生成した合成画像56の指導側合成画像データCd2を3Dモニタ21に出力する。3Dモニタ21では、生成された指導側合成画像データCd2に基づく合成画像56を表示する。
【0095】
これにより、指導者6は、施術側合成画像データCd1と3D画像データPd2のそれぞれに基づいて表示されるアノテーション画像52にずれがないかを3Dモニタ21上において3次元で確認することができる。
ずれが生じた場合、指導者6は、例えば図15で示すようなアノテーション画像52のずれを3Dモニタ21上で確認することができる。
【0096】
ここで表示内容の確認という点を考えると、画像生成部42は、3D画像データPd2に基づくアノテーション画像52を、施術側合成画像データCd1(3D画像データPd1)に基づくアノテーション画像52とは異なる表示態様となるように、合成画像56を生成するとよい。
例えば、図15に示すように、3D画像データPd2に基づくアノテーション画像52を破線で表示させることで、施術側合成画像データCd1(3D画像データPd1)に基づくアノテーション画像52の表示(実線)と区別して3Dモニタ21上に表示させることができる。
【0097】
上述のように、施術側合成画像データCd1(3D画像データPd1)によるアノテーション画像52と、3D画像データPd2によるアノテーション画像52とを両方表示させ、確認できるようにするのは、次のような意味がある。
【0098】
指導側装置3から送信された指示内容情報CIは、例えば通信障害などの要因により施術側装置2で受信する際にその一部が欠損したり、あるいは各装置(2、3)間での設定や3Dモニタ12、21の解像度の違いなどが未調整で、アノテーション画像52等の表示座標がずれてしまったりすることなどが起こり得る。
この場合、3Dモニタ21には表示座標のずれにより図15のような画像が表示されることがある。
【0099】
また、指示内容情報CIの一部が欠損した場合、施術側装置2の画像生成部31では、本来であれば、受信した指示内容情報CIに基づいて図5に示すようなアノテーション画像52が生成されるはずであるが、指示内容情報CIの一部の欠損により、アノテーション画像52の一部のみしか表示されない3D画像データPd1(以下、欠損3D画像データPd1とも表記する。)が生成されてしまうことがある。
【0100】
このとき、画像合成部32では、欠損3D画像データPd1に基づくアノテーション画像52と、内視鏡画像データIdに基づく内視鏡画像50とが合成され、内視鏡画像50にアノテーション画像52の一部のみを重畳した合成画像55が生成される。
【0101】
これにより3Dモニタ12には、アノテーション画像52の一部が欠如した合成画像55が表示されることになる。このような状態では、指導者6の指示内容が3Dモニタ12に正確に反映されず、施術者4は指導者6の指示内容の全てを把握できない状態で施術を行うことになる。
【0102】
一方、指導側装置3では、施術側装置2から受信した施術側合成画像データCd1に基づく合成画像55と、画像生成部42から入力された3D画像データPd2に基づくアノテーション画像52とが合成されることになる。このとき、施術側合成画像データCd1(欠損3D画像データPd1)に基づくアノテーション画像52と、3D画像データPd2に基づくアノテーション画像52とが完全に重なってしまうと、指導者6は、施術側装置2の3Dモニタ12の表示においてアノテーション画像52が欠如していることを確認することができないおそれがある。
指導者6が施術者4側の3Dモニタ12の表示状況を確認するためには、3D画像データPd1、Pd2に基づく画像を異なる態様で表示させることが望ましい。
【0103】
そこで、画像生成部42は、指示内容情報CIに基づいて、破線で表示されるアノテーション画像52を生成する。
これにより、指導者6は、破線のみで表示されたアノテーション画像52の部分が、施術側装置2の3Dモニタ12に表示されていないことを確認することができる。
つまり、指導者6は、3Dモニタ21上で、自身の指示内容と、施術者4の見ている3Dモニタ12の表示内容を容易に比較できる。
【0104】
以上により、指導者6は、指導側合成画像データCd2に基づく合成画像56を見ることで、3D画像データPd1、Pd2に基づく画像の両方をみることができ、自分の指示内容が施術者4に正しく伝わっているか否かが確認できる。もし画像による指示が正しく伝わっていないことを認識できれば、指導者6は必要な対処をとることができる。
【0105】
なお、施術側合成画像データCd1(3D画像データPd1)に基づくアノテーション画像52と、3D画像データPd2に基づくアノテーション画像52とを区別するための表示態様の例として、破線と実線により区別を行うこととした。しかしながら、表示態様は、3D画像データPd1,Pd2のそれぞれを区別できるものであればこれに限られず、線幅等の線種や、色彩、輝度などを異ならせることで区別することができる。また、何れかをハイライト表示することで区別することもできる。
また、施術側合成画像データCd1(3D画像データPd1)に基づくアノテーション画像52と、3D画像データPd2に基づくアノテーション画像52との一致しない部分を区別して表示することも考えられる。
【0106】
また、画像生成部31および画像生成部42は、右眼用仮想カメラ61または左眼用仮想カメラ62の水平方向の位置をずらして撮像することにより、3次元の手モデル画像51およびアノテーション画像52の視差を調整することができる。
例えば、画像生成部31は、施術者4によって操作部(不図示)に対して所定の操作が入力されると、右眼用仮想カメラ61と左眼用仮想カメラ62とを離隔するように移動させ、図16上段に示すような右眼仮想画像77および左眼仮想画像78を撮像する。そして、画像生成部31は、右眼仮想画像77および左眼仮想画像78に基づいて、図16下段に示すようなアノテーション画像52を生成する。
【0107】
これにより、図16下段に示すようなアノテーション画像52を3Dモニタ12に表示すると、アノテーション画像52の焦点距離が遠くなり、3次元のアノテーション画像52が遠くに見えることになる。
【0108】
このように、画像生成部31および画像生成部42は、右眼仮想画像および左眼仮想画像の水平方向の位置をずらすことにより、3Dモニタ12および3Dモニタ21に表示される手モデル画像51およびアノテーション画像52の視差調整を行うことが可能である。
これにより、内視鏡画像50に対する手モデル画像51およびアノテーション画像52を3次元的に適切な位置に配置することができる。
【0109】
<2.第2の実施形態>
次に、第2の実施形態について説明する。第2の実施形態における支援システム1では、施術側装置2の3Dモニタ12に手モデル画像51を表示する点で、第1の実施形態と異なる。
【0110】
図17は、第2の実施形態における支援システム1の機能的構成およびデータの流れを説明する図である。第2の実施形態においては、3次元位置検出部22によって位置情報PIが検出されると、位置情報PIが画像生成部42およびデータ送信部41に出力される。そして、データ送信部41は、指示内容情報CIとともに位置情報PIを施術側装置2に送信する。
【0111】
施術側装置2の画像生成部31は、位置情報PIを受信すると、第1の実施形態における画像生成部42と同様に、3次元仮想空間60上において、位置情報PIに基づいて手モデル63を配置する(図9参照)。
【0112】
そして、画像生成部31は、右眼用仮想カメラ61および左眼用仮想カメラ62によって3次元仮想空間60を撮像することにより、図10上段に示すような右眼用仮想画像71および左眼用仮想画像72をそれぞれ得る。
【0113】
画像生成部31は、右眼用仮想画像71および左眼用仮想画像72を生成すると、図10下段に示すように、右眼用仮想画像71および左眼用仮想画像72を水平1ライン毎に交互に配置した3次元の手モデル画像51を生成する。そして、画像生成部31は、手モデル画像51の3D画像データPd1を画像合成部32に出力する。
【0114】
画像合成部32は、内視鏡11から入力された内視鏡画像データIdに基づく内視鏡画像50に、画像生成部31から入力された3D画像データPd1に基づく手モデル画像51を重畳した合成画像53(図3参照)を生成し、その合成画像53の施術側合成画像データCd1を3Dモニタ12に出力する。したがって、3Dモニタ12には、施術側合成画像データCd1に基づく合成画像53が表示される。
【0115】
これにより、施術者4は、指導者6の実際の手の位置(動き)を3次元で確認することができる。
【0116】
また、施術側装置2の画像生成部31は、位置情報PIおよび指示内容情報CIを受信すると、第1の実施形態における画像生成部42と同様に、3次元仮想空間60上に、位置情報PIに基づいて手モデル63を配置するとともに、指示内容情報CIに基づいて指示内容モデル64を配置する(図11参照)。
【0117】
そして、画像生成部31は、右眼用仮想カメラ61および左眼用仮想カメラ62によって3次元仮想空間60を撮像することにより、図12上段に示すような右眼用仮想画像73および左眼用仮想画像74をそれぞれ得る。
【0118】
画像生成部31は、右眼用仮想画像73および左眼用仮想画像74を生成すると、図12下段に示すように、右眼用仮想画像73および左眼用仮想画像74を水平1ライン毎に交互に配置した3次元の手モデル画像51およびアノテーション画像52を生成する。そして、画像生成部31は、手モデル画像51およびアノテーション画像52の3D画像データPd1を画像合成部32に出力する。
【0119】
画像合成部32は、内視鏡11から入力された内視鏡画像データIdに基づく内視鏡画像50に、画像生成部31から入力された3D画像データPd1に基づく手モデル画像51およびアノテーション画像52を重畳した合成画像54(図4参照)を生成し、その合成画像54の施術側合成画像データCd1を3Dモニタ12に出力する。したがって、3Dモニタ12には、施術側合成画像データCd1に基づく合成画像54が表示される。
【0120】
これにより、施術者4は、指導者6の指示内容に加えて、指導者6の実際の手の動きを3次元で確認することができる。
【0121】
<3.まとめ>
上述したように、支援システム1は、被支援装置(施術側装置2)と、被支援装置(施術側装置2)とは離隔して設けられる支援装置(指導側装置3)とを備える。
支援装置(指導側装置3)は、指導者6の手の位置を3次元で検出する3次元位置検出部22と、3次元位置検出部22により検出された手の位置を示す位置情報PIを送信するデータ送信部41とを備える。
被支援装置(施術側装置2)は、送信された位置情報PIに基づいて、指導者6の手が模された3次元の手モデル画像51を生成する第1画像生成部(画像生成部31)と、被支援装置(指導側装置3)により撮像された撮像画像(内視鏡画像50)に対して手モデル画像51を合成して第1合成画像(合成画像53)を生成する第1画像合成部(画像合成部32)と、を備える。
【0122】
これにより、施術側装置2では、内視鏡画像50に対して指導者6の手を模した3次元の手モデル画像51が重畳された合成画像53を3Dモニタ12に表示することが可能となる。
したがって、偏光メガネ7を介して3Dモニタ12を視認する施術者4は、3次元の手モデル画像51を視認することにより、指導者6の実際の手の位置(動き)を3次元で同一の視点から確認することができる。すなわち、支援システム1では、指導者6の指示内容をより正確に認識することができる。
【0123】
また、3次元位置検出部22は、指導者6の手の位置に基づいて、指導者6の指示内容を検出し、データ送信部41は、位置情報PI、および、指示内容を示す指示内容情報CIを送信する。
第1画像生成部(画像生成部31)は、送信された位置情報PIに基づいて手モデル画像51を生成するとともに、送信された指示内容情報CIに基づいて3次元のアノテーション画像52を生成する。
第1画像合成部(画像合成部32)は、撮像画像(内視鏡画像50)に対して手モデル画像51およびアノテーション画像52を合成して第2合成画像(合成画像54)を生成する。
これにより、偏光メガネ7を介して3Dモニタ12を視認する施術者4は、内視鏡画像50に対する指導者6の手の位置および指示内容を3次元で確認することができる。すなわち、支援システム1では、指導者6の指示内容をより正確に認識することができる。
【0124】
また、支援装置(指導側装置3)は、3次元位置検出部22により検出された位置情報PIに基づいて、手モデル画像51を生成する第2画像生成部(画像生成部42)と、被支援装置(施術側装置2)から送信された撮像画像(内視鏡画像50)に、手モデル画像51を合成して第1合成画像(合成画像53)を生成する第2画像合成部(画像合成部43)と、を備える。
これにより、偏光メガネ7を介して3Dモニタ21を視認する指導者6は、内視鏡画像50に対する自身の手の位置を3次元で確認することができる。
【0125】
第2画像生成部(画像生成部42)は、位置情報PIおよび指示内容情報CIに基づいて、3次元の手モデル画像51およびアノテーション画像52を生成し、第2画像合成部(画像合成部43)は、撮像画像(内視鏡画像50)に手モデル画像51およびアノテーション画像52を合成して第2合成画像(合成画像54)を生成する。
これにより、偏光メガネ7を介して3Dモニタ21を視認する指導者6は、内視鏡画像50に対する自身の手の位置および指示内容を3次元で確認することができる。
【0126】
第1画像生成部(画像生成部31)は、GPU16のシェーダー処理を用いて、位置情報PIに基づいて右眼用手モデル画像(右眼用仮想画像71)および左眼用手モデル画像(左眼用仮想画像72)を生成し、右眼用手モデル画像(右眼用仮想画像71)および左眼用手モデル画像(左眼用仮想画像72)をラインバイライン方式で合成することにより手モデル画像51を生成する。
これにより、施術側装置2では、合成画像53を3Dモニタ12に表示するまでの遅延時間が極めて短くすることができ、タイムラグの少ない表示を行うことができる。
【0127】
第1画像生成部(画像生成部31)は、右眼用手モデル画像(右眼用仮想画像71)および左眼用手モデル画像(左眼用仮想画像72)の水平方向の位置をずらすことにより、3次元の前記手モデル画像51の視差調整を行う
これにより、施術側装置2では、内視鏡画像50に対して手モデル画像51の奥行方向がずれて施術者4に見える場合に、視差調整を行うことで、内視鏡画像50に対する手モデル画像51の奥行方向の位置を調整することができる。かくして、施術側装置2では、指導者6の手の動きをより正確に認識することができる。
【0128】
<4.変形例>
なお、本実施の形態では、支援システム1の一例として、施術者4が遠隔地にいる指導者6の指示を受けながら患者5に対して施術を行うことのできる手術支援システムについて説明したが、支援システム1は、遠隔地にいる指導者6が、施術側の撮像画像を視認しながら施術者4に対して指示を行う状況に幅広く適用することが可能である。
例えば、スポーツ指導における選手と監督、教育や職業訓練などの学習支援における講師と受講者、リモート会議における発表者と傍聴者など、様々な用途に支援システム1を適用できる。
【0129】
また、上記した実施形態では、図1に示すような内視鏡11により撮像を行う例について説明したが、撮像機器は、施術者4側の施術を撮像することができるものであればよく、内視鏡11に限られることはない。
【0130】
また、上記した実施形態では、図1の3次元位置検出部22の一例として、指導者6の手の位置をステレオ赤外線カメラから検出するようにしたが、指導者6の手の位置および指示内容を3次元で検出することができれば、他の機器によって検出するようにしてもよい。
【0131】
また、上記した実施形態では、GPU16が画像生成部31および画像合成部32として機能するようにしたが、CPU13が画像生成部31および画像合成部32として機能するようにしてもよく、また、CPU13およびGPU16が分担して画像生成部31および画像合成部32として機能するようにしてもよい。
【0132】
また、上記した実施形態では、GPU26が画像生成部42および画像合成部43として機能するようにしたが、CPU23が画像生成部42および画像合成部43として機能するようにしてもよく、また、CPU23およびGPU26が分担して画像生成部42および画像合成部43として機能するようにしてもよい。
【0133】
また、上記した実施形態では、3Dモニタ12および3Dモニタ21に表示される3D画像がラインバイライン方式で生成されるようにしたが、他の方式で生成されるようにしてもよい。すなわち、少なくとも手モデル画像51およびアノテーション画像52が3次元で3Dモニタ12および3Dモニタ21に表示されるようにすれば、どのような方法であってもよい。
【0134】
最後に、上記した実施形態はあくまでも例示であり、本発明が上記した実施形態に限定されることはない。また、実施形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
【符号の説明】
【0135】
1 支援装置
2 施術側装置
3 指導側装置
11 内視鏡
12 3Dモニタ
16 GPU
21 3Dモニタ
22 3次元位置検出部
26 GPU
31 画像生成部
32 画像合成部
33 データ送信部
41 データ送信部
42 画像生成部
43 画像合成部
【要約】
支援システムは、被支援装置と、被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、支援装置は、指導者の手の位置を3次元で検出する3次元位置検出部と、3次元位置検出部により検出された手の位置を示す位置情報を送信するデータ送信部と、を備え、被支援装置は、送信された位置情報に基づいて、導者の手が模された3次元の手モデル画像を生成する第1画像生成部と、被支援装置により撮像された撮像画像に対して手モデル画像を合成して第1合成画像を生成する第1画像合成部と、を備える。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17