(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-18
(54)【発明の名称】拡張現実を利用した手術補助装置
(51)【国際特許分類】
A61B 34/10 20160101AFI20220111BHJP
G06T 19/00 20110101ALI20220111BHJP
【ＦＩ】
A61B34/10
G06T19/00 600
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021526447
(86)(22)【出願日】2019-11-08
(85)【翻訳文提出日】2021-05-13
(86)【国際出願番号】 KR2019015171
(87)【国際公開番号】W WO2020101283
(87)【国際公開日】2020-05-22
(31)【優先権主張番号】10-2018-0139902
(32)【優先日】2018-11-14
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521206235
【氏名又は名称】イム スン チュン
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(72)【発明者】
【氏名】イム スン チュン
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA12
5B050CA07
5B050DA01
5B050DA10
5B050EA06
5B050EA07
5B050EA18
5B050EA19
5B050FA02
5B050FA09
5B050GA08
(57)【要約】
本発明の拡張現実を利用した手術補助装置は、患者の患部または手術部位を撮影するカメラ、カメラが撮影した映像をリアルタイムで受信して伝送する無線伝送装置、無線伝送装置が伝送する映像を着用者に表示するスマートグラス、及び映像に拡張現実を付加して、着用者に拡張現実を提供するＡＲサーバーを含む。
【選択図】 図３
【選択図】 図３
【特許請求の範囲】
【請求項1】
患者の患部または手術部位を撮影するカメラと、前記カメラが撮影した映像をリアルタイムで受信して伝送する無線伝送装置と、
前記無線伝送装置が伝送する前記映像を着用者に表示するスマートグラス、及び
前記映像に拡張現実を付加して、前記着用者に前記拡張現実を提供するＡＲサーバーを含む拡張現実を利用した手術補助装置。
【請求項2】
前記スマートグラスは、ジャイロセンサー、地磁気センサー、角速度計及び６軸センサーのうちのいずれか一つ以上の動き感知センサーを含み、前記ＡＲサーバーは、拡張現実として手術リストツリーを提供し、
前記着用者は、顔を動かす形態及び各動きの施行回数を調節して、前記手術リストツリー内で前記患者に適用する手術項目を活性化させ、活性化した手術項目をクリックして、前記手術項目の手術方法が拡張現実として提供されるようにする請求項１に記載の拡張現実を利用した手術補助装置。
【請求項3】
前記無線伝送装置は、前記映像を前記ＡＲサーバーに提供し、前記ＡＲサーバーは、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を活用して前記映像に必要な手術方法を拡張現実として提供する請求項１に記載の拡張現実を利用した手術補助装置。
【請求項4】
前記スマートグラスは、ジャイロセンサー、地磁気センサー、角速度計及び６軸センサーのうちのいずれか一つ以上の動き感知センサーを含み、前記着用者は、顔を動かす形態及び各動きの施行回数を調節することによって、前記ＡＲサーバーが提供した手術方法を使用するか否かを選択するか、前記ＡＲサーバーに他の手術方法を要請する請求項３に記載の拡張現実を利用した手術補助装置。
【請求項5】
前記ＡＲサーバーは、手術中に理想的な手術進行状態を提供して、前記着用者が実際の手術進行状態と前記理想的な手術進行状態を比較するようにする請求項２または３に記載の拡張現実を利用した手術補助装置。
【請求項6】
前記着用者が、前記ＡＲサーバーが提供する手術方法の順序とおりに手術を進行しない場合、前記ＡＲサーバーは、ＡＩ機能を活用して、これまで進行された手術過程及び患者の状態を含んだ情報を考慮して、手術方法の順序を再調整して再び提供する請求項２または３に記載の拡張現実を利用した手術補助装置。
【請求項7】
前記ＡＲサーバーは、提供する手術方法に応じて手術道具を提案する請求項２または３に記載の拡張現実を利用した手術補助装置。
【請求項8】
前記拡張現実は、前記患者の脈拍数、血圧、手術の経過時間及び麻酔の有効時間のうちのいずれか一つ以上を含む手術情報であり、前記手術情報のうちで安全範囲を外れた手術情報は、点滅しながら前記着用者に警告する請求項１～３のいずれか１項に記載の拡張現実を利用した手術補助装置。
【請求項9】
前記拡張現実は、前記患部内で手術しなければならない部位を強調し、手術しなければならない部位が複数の場合、順次的に手術しなければならない部位を強調する請求項１に記載の拡張現実を利用した手術補助装置。
【請求項10】
前記スマートグラスは、ジャイロセンサー、地磁気センサー、角速度計及び６軸センサーのうちのいずれか一つ以上の動き感知センサーを含み、前記ＡＲサーバーは、拡張現実として手術リストツリーを提供し、
前記着用者は、顔を動かす形態及び各動きの施行回数を調節して、前記協診リストツリー内で所望の協診項目を活性化させ、活性化した協診項目をクリックして、協診を要請する請求項１に記載の拡張現実を利用した手術補助装置。
【請求項11】
前記着用者が複数名であるため前記スマートグラスが複数である場合、前記ＡＲサーバー１００は、複数のスマートグラスに同一の拡張現実または互いに異なる拡張現実を提供する請求項１に記載の拡張現実を利用した手術補助装置。
【請求項12】
前記スマートグラスの左右のメガネレンズには、互いに異なる拡張現実が提供される請求項１に記載の拡張現実を利用した手術補助装置。
【請求項13】
患者の患部または手術部位を撮影するカメラと、前記カメラが撮影した映像をリアルタイムで受信して伝送する無線伝送装置と、
前記無線伝送装置が伝送する前記映像を着用者に表示するスマートグラスと、
前記映像に拡張現実を付加して、前記着用者に前記拡張現実が適用されたＡＲ映像を提供するＡＲサーバー、及び
前記カメラが撮影した撮影映像及び前記ＡＲ映像のうちのいずれか一つまたはすべてを保存するデータ保存部を含み、
前記ＡＲサーバーは、前記撮影映像及び前記ＡＲ映像のうちのいずれか一つまたはすべてに対して、あらかじめ設定されているカテゴリー項目に基づいてカテゴリー化作業を行い、
前記カテゴリー化作業の実行結果として生成された、カテゴリー情報が付加された映像部分（ｓｅｇｍｅｎｔａｔｉｏｎ）をカテゴリー別に分類して前記データ保存部に保存し、
協診要請が発生した場合、前記ＡＲサーバーは、あらかじめ設定されている協診専門の選択基準により協診専門医を選択し、前記データ保存部に保存されているカテゴリー別に分類されている映像部分のうちから選択された協診専門医に必要な映像部分を選択して提供する拡張現実を利用した手術補助装置。
【請求項14】
前記ＡＲサーバーが、前記データ保存部に保存されているカテゴリー別に分類されている映像部分のうちから選択された協診専門医に必要な映像部分を選択して提供する動作は、前記データ保存部に保存されているカテゴリー別に分類されている映像部分の中から、前記選択された協診専門医に関する情報との関連性が所定の基準よりも高いものとマッチングされる映像部分のみを読み出して提供する請求項１３に記載の拡張現実を利用した手術補助装置。
【請求項15】
前記カテゴリー項目は、手術道具の種類、使用薬品の種類、手術方式、手術領域、ＡＲタイマーを使用するか否か及び手術参加人員のプロフィールのうちのいずれか一つ以上を含む請求項１４に記載の拡張現実を利用した手術補助装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実を利用した手術補助装置であって、より具体的には、着用者が使用するスマートグラスに拡張現実を利用して、手術と関連した各種情報を提供することによって、手術が成功的になされるようにする拡張現実を利用した手術補助装置に関する。
【背景技術】
【0002】
従来には、身体内部の特定部位を切断するなどの手術を行うときに、開腹して手術を行ったが、最近は、身体の一部を穿孔した後、穿孔を介してカメラを挿入しカメラが撮影した映像をモニターに映して、手術医師はモニターを見ながら手術を進行している。
【0003】
また、口の中など、肉眼で見ることが困難な部位を治療する場合にも、カメラを介して撮影された映像をモニターに表示した後、この映像を利用した治療を行っている。または、ルーペを使用して、特定の身体部位を拡大することによって、手術乃至施術を容易に行っている。
【0004】
しかし、このような従来の手術乃至治療方法（韓国特許出願第１０-２０１８-７００７１９３号参照）は、単に患者の患部乃至手術部位を拡大してモニター上に表示するだけであって、モニター上に手術に役立つ情報を表示しないため断片的な補助装置に過ぎないという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような問題点を解決するために、カメラが撮影した手術部位の映像に手術に役立つ情報を表示することによって、手術に実質的に役立つ拡張現実を利用した手術補助装置の必要性が台頭している。
【0006】
本発明が解決しようとする課題は、カメラが撮影した手術部位の映像に拡張現実を付加して、着用者のスマートグラスに表示することによって、着用者に手術に実質的に役立つ情報を提供する拡張現実を利用した手術補助装置を提供することにある。
【0007】
本発明が解決しようとする課題は、上で言及した課題に制限されず、言及されていない他の課題は、下記の記載から当業者に明確に理解されることができる。
【課題を解決するための手段】
【0008】
前記課題を解決するための本発明の一実施形態に係る拡張現実を利用した手術補助装置は、患者の患部または手術部位を撮影するカメラと、カメラが撮影した映像をリアルタイムで受信して伝送する無線伝送装置と、無線伝送装置が伝送する映像を着用者に表示するスマートグラス、及び映像に拡張現実を付加して、着用者に拡張現実を提供するＡＲサーバーを含む。
【0009】
前記課題を解決するための本発明の他の実施形態に係る拡張現実を利用した手術補助装置は、患者の患部または手術部位を撮影するカメラと、前記カメラが撮影した映像をリアルタイムで受信して伝送する無線伝送装置と、前記無線伝送装置が伝送する前記映像を着用者に表示するスマートグラスと、前記映像に拡張現実を付加して、前記着用者に前記拡張現実が適用されたＡＲ映像を提供するＡＲサーバー、及び前記カメラが撮影した撮影映像及び前記ＡＲ映像のうちのいずれか一つまたはすべてを保存するデータ保存部を含み、前記ＡＲサーバーは、前記撮影映像及び前記ＡＲ映像のうちのいずれか一つまたはすべてに対して、あらかじめ設定されているカテゴリー項目に基づいてカテゴリー化作業を行い、前記カテゴリー化作業の実行結果として生成された、カテゴリー情報が付加された映像部分（ｓｅｇｍｅｎｔａｔｉｏｎ）をカテゴリー別に分類して前記データ保存部に保存し、協診要請が発生した場合、前記ＡＲサーバーは、あらかじめ設定されている協診専門の選択基準により協診専門医を選択し、前記データ保存部に保存されているカテゴリー別に分類されている映像部分のうちから選択された協診専門医に必要な映像部分を選択して提供する。
【発明の効果】
【0010】
本発明によると、カメラが撮影した手術部位の映像に拡張現実を付加して、着用者のスマートグラスに表示することによって、着用者に手術に実質的に役立つ情報を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る拡張現実を利用した手術補助装置の一部構成を示した図である。
【図2】本発明の一実施形態に係る拡張現実を利用した手術補助装置の一部構成を示した図である。
【図3】本発明の一実施形態に係る拡張現実を利用した手術補助装置の概念図である。
【図4】本発明の一実施形態に係る拡張現実を利用した手術補助装置が手術リストツリーを提供する実施形態を示した図である。
【図5】本発明の一実施形態に係る拡張現実を利用した手術補助装置が手術リストツリーを提供する実施形態を示した図である。
【図6】本発明の一実施形態に係る拡張現実を利用した手術補助装置が提供された映像に基づいて手術方法を提示する実施形態を示した図である。
【図7】本発明の一実施形態に係る拡張現実を利用した手術補助装置が手術部位を強調する様子を示した図である。
【図8】本発明の一実施形態に係る拡張現実を利用した手術補助装置が、手術情報のうちで安全範囲を外れた情報を点滅させる様子を示した図である。
【図9】本発明の一実施形態に係る拡張現実を利用した手術補助装置が着用者に実際の手術進行状態と理想的な手術進行状態を提示する様子を示した図である。
【図10】本発明の一実施形態に係る拡張現実を利用した手術補助装置が協診リストツリーを提供する実施形態を示した図である。
【図11】本発明の一実施形態に係る拡張現実を利用した手術補助装置が手術方法の順序を再調整して再び提供する様子を示した図である。
【図12】本発明の他の実施形態に係る拡張現実を利用した手術補助装置が協診のとき、複数のスマートグラスに拡張現実を提供する様子を示した図である。
【発明を実施するための形態】
【0012】
本発明の利点及び特徴、そしてそれを達成する方法は、添付した図面と共に詳細に後述されている実施形態を参照すると明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる様々な形態で具現されることができ、単に本実施形態は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指す。
【0013】
本明細書で使用される用語は、実施形態を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」及び／または「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素、段階及び動作は、一つ以上の他の構成要素、段階及び動作の存在または追加を排除しない。
【0014】
図１～図３を参照して、本発明の一実施形態に係る拡張現実を利用した手術補助装置を説明する。図１及び図２は、本発明の一実施形態に係る拡張現実を利用した手術補助装置の一部構成を示した図である。図３は、本発明の一実施形態に係る拡張現実を利用した手術補助装置の概念図である。
【0015】
【0016】
カメラ１０は、患者の患部または手術部位を撮影する機器であって、場合によっては、照明２０の助けを借りて映像をより鮮明に撮影することができる。一方、カメラ１０は、後述するスマートグラス７０とは別の構成であり得、あるいはスマートグラス７０に着脱が可能な形態であり得る。
【0017】
無線伝送装置３０は、カメラ１０が撮影した映像をリアルタイムで受信し、他の装置に伝送する装置である。具体的には、無線伝送装置３０は、カメラ１０が撮影した映像を後述するスマートグラス７０に提供することができ、これによって、スマートグラス７０のメガネレンズ５０、６０に患部が表示されることができる。
【0018】
また、無線伝送装置３０は、カメラ１０が撮影した映像をＡＲサーバー１００に提供することができ、映像の提供を受けたＡＲサーバー１００は、関連した拡張現実を生成した後、拡張現実乃至拡張現実が付加された映像をスマートグラス７０に直接伝送するか、無線伝送装置３０に伝送することができる。
【0019】
スマートグラス７０は、無線伝送装置３０が伝送する映像を着用者に表示するメガネである。より具体的には、カメラ１０は、撮影した映像を無線伝送装置３０に提供し、映像の提供を受けた無線伝送装置３０は、スマートグラス７０のメガネレンズ５０、６０上に映像を表示することができる。
【0020】
また、カメラ１０が撮影した映像は、無線伝送装置３０を介して、ＡＲサーバー１００に提供されることができ、ＡＲサーバー１００は、提供された映像と関連した拡張現実を生成し、生成した拡張現実乃至拡張現実が付加された映像を無線伝送装置３０に伝送することができる。
【0021】
以後、無線伝送装置３０は、拡張現実が付加された映像をスマートグラス７０のメガネレンズ５０、６０上に表示することができる。
【0022】
または、ＡＲサーバー１００は、無線伝送装置３０を介さずに、拡張現実が付加された映像をスマートグラス７０のメガネレンズ５０、６０上に表示することもできる。
【0023】
このようなスマートグラス７０は、ジャイロセンサー、地磁気センサー、角速度計及び６軸センサーのうちのいずれか一つ以上の動き感知センサー４０を含むことができる。したがって、動き感知センサー４０は、医師などのスマートグラス７０の着用者が頭乃至顔をどのように動かすのか及び各動きの施行回数を感知することができる。
【0024】
具体的には、着用者が頭乃至顔を左右に振るか、頭乃至顔を前後に移動させるか、頭乃至顔を上下に移動させるか、頭乃至顔を回転させる場合、動き感知センサー４０は、このような動きを感知することができる。
【0025】
また、動き感知センサー４０は、各動きを１回のみしているか、それとも複数回しているのかを感知することができる。また、他の実施形態によっては、動きが複数回あった場合、動き感知センサー４０は、各動き間の時間間隔を感知することができる。
【0026】
このような動きは、それぞれ異なる意味を持ち、着用者が顔を動かす形態、各動きの施行回数または各動き間の時間間隔などを調節して、様々な行為が発生するようにすることができる。
【0027】
例えば、メガネレンズ５０、６０上にあるリストツリーが表示されたら、顔を左右に振る場合、活性表示がツリー上で左側または右側に移動することができる。あるいは、顔を左右に振る場合、左側または右側に位置した新しいウィンドウがメガネレンズ５０、６０上に現れることもできる。
【0028】
また、顔を上下に移動させる場合、ツリー上で活性表示が上下に移動することができる。
【0029】
また、顔を前に一回乃至複数回移動させる場合、ツリー上でクリックの意味としてある項目を選択することができる。
【0030】
すなわち、スマートグラス７０を着用した着用者が顔を左右、前後、上下に移動するか、移動の回数に応じて着用者は、メガネレンズ５０、６０上のツリー内で左右、上下に移動しながら特定項目を選択するか、新しいウィンドウが表示されるようにすることができる。
【0031】
一方、特定の顔の動き乃至動きの回数は、映像保存及び保存された映像の伝送を意味することもできる。
【0032】
ＡＲサーバー１００は、カメラ１０が撮影した映像に拡張現実を付加して、着用者に拡張現実を提供するサーバーである。
【0033】
前述したように、カメラ１０が撮影した映像は、無線伝送装置３０を介してＡＲサーバー１００に提供されることができ、ＡＲサーバー１００は、提供された映像と関連した拡張現実を生成し、生成した拡張現実乃至拡張現実が付加された映像を無線伝送装置３０に伝送することができる。
【0034】
以後、無線伝送装置３０は、拡張現実が付加された映像をスマートグラス７０のメガネレンズ５０、６０上に表示することができる。
【0035】
または、ＡＲサーバー１００は、無線伝送装置３０を介さずに、拡張現実が付加された映像をスマートグラス７０のメガネレンズ５０、６０上に表示することができる。
【0036】
実施形態によっては、ＡＲサーバー１００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を活用して、映像を分析することができる。このとき、一実施形態に係るＡＲサーバー１００は、搭載されたＡＩを利用して、映像を所定の基準により部分（Ｓｅｇｍｅｎｔａｔｉｏｎ）に分けることができる。また、ＡＲサーバー１００は、ＡＩを利用して分けられた映像の部分を該当所定の基準別にカテゴリー化して分類することができる。実施形態によっては、所定の基準は、現在の使用手術道具、使用薬品、手術方式、手術領域、ＡＲタイマーの使用有無、手術参加人員の経歴、プロフィールなど様々な基準が設けられることができ、ＡＲサーバー１００のＡＩは、全体撮影されている映像で一部分が該当基準のうちのいずれか一つ以上に該当すると判断される場合、該当する基準に対するマーク（Ｍａｒｋ）情報をその映像の部分に付加して保存することができる。例えば、映像中に、「Ａ手術道具を使用する手術場面」が出る場合、ＡＲサーバー１００のＡＩは、その映像に「Ａ手術道具」というマーク情報を加えて映像部分を保存することができる。または１０時３分の映像から麻酔薬Ｂが使用されていることが確認され、１０時８分に麻酔薬Ｂの使用が終結した場合、ＡＲサーバー１００のＡＩは、１０時３分から８分までの映像を部分として別に区画し、その区画された映像部分に麻酔薬Ｂを示すマーク情報（例えば、ハッシュタグ形態であり得る－#麻酔薬Ｂなど）を付加した後、その映像部分を別途のデータとして区分して保存することができる。
【0037】
一方、前述したカメラ１０、無線伝送装置３０及びスマートグラス７０は、装置置き台９０に設置されることができ、この装置置き台９０には、追加的にディスプレイ装置８０が設置されることができて、カメラ１０が撮影した映像乃至拡張現実が付加された映像が表示されることができる。
【0038】
また、装置置き台９０は、脚部が長さ調節の可能であるため、全体的に高さ調節が可能である。
【0039】
本発明のまた他の一実施形態に係る拡張現実を利用した手術補助装置は、データ保存部（図示せず）をさらに含むことができる。データ保存部は、カメラが撮影した映像及び／またはＡＲサーバー１００が、カメラが撮影した映像に拡張現実を適用して生成したＡＲ映像を保存することができる。
【0040】
以上、本発明の一実施形態に係る拡張現実を利用した手術補助装置について察してきたが、以下、ＡＲサーバー１００が生成する拡張現実の種類について具体的に察するようにする。
【0041】
【0042】
【0043】
手術が始まる場合、ＡＲサーバー１００は、拡張現実として手術リストツリーを提供することができ、このような手術リストツリーは、スマートグラス７０のメガネレンズ５０、６０上に表示されることができる。
【0044】
着用者は、表示された手術リストツリー上で施行しようとする手術項目を選択することができ、着用者が特定の手術項目を選択する場合、該当手術方法が映像で提供されることができる。この場合、着用者は、提供される映像に従って、手術をすれば良いので、手術をより簡単かつ安全に行うことができる。
【0045】
着用者が表示された手術リストツリー上で施行しようとする手術項目を選択する方法を見てみると、着用者は、顔を左右に振るか、左側または右側に振る回数を調節して、手術リストツリー内で患者に適用する手術項目を活性化させることができる。
【0046】
以後、活性化した手術項目で顔を前または後に移動させることによって活性化した手術項目をクリックして、手術項目の手術方法が拡張現実として提供されるようにすることができる。
【0047】
例えば、図５を見ると、着用者は、顔を右側に２回振って、活性表示が肺がんに到達して肺がん項目が活性化することができる。以後、着用者は、顔を前に１回または２回移動させるクリックの動作を行って肺がん項目を選択することができる。その結果、肺がんの手術方法が拡張現実としてメガネレンズ５０、６０上に提供されることができる。
【0048】
図６は、本発明の一実施形態に係る拡張現実を利用した手術補助装置が提供された映像に基づいて手術方法を提示する実施形態を示した図である。
【0049】
図６を参照すると、本発明の一実施形態に係る拡張現実を利用した手術補助装置は、カメラ１０が提供した映像に基づいて手術方法を提示することができる。
【0050】
手術時に、カメラ１０は、患部または手術部位を撮影した後、無線伝送装置３０に映像を提供することができる。無線伝送装置３０は、提供された映像をＡＲサーバー１００に伝送することができ、ＡＲサーバー１００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を活用して映像を分析し、映像に必要な手術方法を拡張現実として提供することができる。
【0051】
以後、着用者は、顔を左右に振るか、前後に移動させるか、顔を回転させることによって、ＡＲサーバー１００が提供した手術方法を使用するか否かを選択することができ、着用者が提供した手術方法を受け入れる場合、該当映像が拡張現実として提供されることができる。
【0052】
または、着用者は、ＡＲサーバー１００が提供した手術方法を拒否することができ、これによって、顔を左右に振るか、前後に移動させるか、顔を回転させることによってＡＲサーバー１００に他の手術方法を要請することができる。
【0053】
一方、ＡＲサーバー１００は、提供する手術方法に応じて、手術道具を追加的に提案することもでき、その結果、着用者が誤って間違った手術道具を使用する場合を防止することができる。
【0054】
図７は、本発明の一実施形態に係る拡張現実を利用した手術補助装置が手術部位を強調する様子を示した図である。
【0055】
図７を参照すると、拡張現実を利用した手術補助装置は、手術部位を着用者に強調することができる。内部切除術を施行するときに切除する部位に四角形の点線のような強調表示（Ａ）を拡張現実として提供して、着用者が切除する部位を正確に把握するようにすることができる。また、他の実施形態によっては、「切除があったときから現在までの経過した時間（ｅｘ．３秒、４秒など）」をリアルタイムで切除部位の上に拡張現実として表示することができる。
【0056】
前述したように、拡張現実は、患部内で手術しなければならない部位を強調することができ、手術しなければならない部位が複数の場合、順次的に手術しなければならない部位を強調することができる。この場合、着用者は、手術の順序を正確に把握することができるため、誤った手術を防止することができる。
【0057】
図８は、本発明の一実施形態に係る拡張現実を利用した手術補助装置が、手術情報のうちで安全範囲を外れた情報を点滅させる様子を示した図である。
【0058】
図８を参照すると、拡張現実を利用した手術補助装置は、手術情報のうちで安全範囲を外れた情報を点滅させることができる。
【0059】
拡張現実として提供される情報は、患者の脈拍数、血圧、手術の経過時間及び麻酔の有効時間のうちのいずれか一つ以上の手術情報であり得、このような手術情報のうちで安全範囲を外れた手術情報は点滅しながら着用者に警告することができる。
【0060】
例えば、麻酔の有効時間が５０分残っていて手術を早く終了しなければならない場合、麻酔の有効時間を点滅して、着用者に手術可能時間が残り少ないことを警告することができる。
【0061】
図９は、本発明の一実施形態に係る拡張現実を利用した手術補助装置が着用者に実際の手術進行状態と理想的な手術進行状態を提示する様子を示した図である。
【0062】
図９を参照すると、拡張現実を利用した手術補助装置は、着用者に実際の手術進行状態と理想的な手術進行状態を提示することができる。
【0063】
ＡＲサーバー１００は、手術中に理想的な手術進行状態を提供して、着用者が実際の手術進行状態と前記理想的な手術進行状態を比較するようにすることができる。
【0064】
具体的には、肺がんの手術中に肺の特定部位を切除するとき、実際に切除した部位及び切除大きさ（Ｄ１）と理想的な切除部位及び切除大きさ（Ｄ２）を比較するようにメガネレンズ５０、６０上に拡張現実が提供されることができる。比較結果、切除部位及び切除大きさが同一であるか類似であると判断される場合、手術進行状態が良好であることを確認することができる。
【0065】
図１０は、本発明の一実施形態に係る拡張現実を利用した手術補助装置が協診リストツリーを提供する実施形態を示した図である。
【0066】
図１０を参照すると、拡張現実を利用した手術補助装置は、スマートグラス７０のメガネレンズ５０、６０上に協診リストツリーを提供することができる。
【0067】
ＡＲサーバー１００は、拡張現実として協診リストツリーを提供し、着用者は、顔を左右に振るか、左側または右側に振る回数を調節して、協診リストツリー内で所望の一つ以上の協診項目を活性化させ、活性化した協診項目で顔を前または後に移動させることによって活性化した協診項目をクリックして、協診を要請することができる。
【0068】
例えば、図１０を見ると、着用者は、顔を右側に２回振って、活性表示が神経外科の項目に到達して、神経外科の項目が活性化することができる。以後、着用者は、顔を前に１回または２回移動させるクリック動作を行って、神経外科の項目を選択することができる。以後、スマートグラス７０乃至無線伝送装置３０は、選択された神経外科に協診依頼信号を送ることができる。
【0069】
また、このような協診項目の選択は、一つ以上選択されることができ、神経外科の他に内分泌内科にも同一の方式で協診を要請することができる。
【0070】
図１１は、本発明の一実施形態に係る拡張現実を利用した手術補助装置が手術方法の順序を再調整して再び提供する様子を示した図である。
【0071】
図１１を参照すると、拡張現実を利用した手術補助装置は、手術方法の順序を再調整して再び提供することができる。
【0072】
本来ＡＲサーバー１００が提供する手術方法の順序は、ａ段階、ｂ段階、ｃ段階、ｄ段階及びｅ段階の順序であったが、場合によっては、着用者の任意的選択によって着用者は、ＡＲサーバー１００が提供する手術方法の順序とおりに手術を進行しないことができる。
【0073】
このような場合、ＡＲサーバー１００はＡＩを活用して、これまで進行された手術過程及び患者の状態などを考慮し、手術方法の順序を再調整して、ａ段階、ｃ段階、ｄ段階、ｂ段階及びｅ段階の順で再び提供することができる。
【0074】
一方、場合によっては、着用者が手術方法の順序を誤って進行するときに、ＡＲサーバー１００は、これを把握して誤って進行された状態を考慮してこれを解消し、成功した手術になるように手術方法の順序を再び提供することもできる。
【0075】
図１２は、本発明の他の実施形態に係る拡張現実を利用した手術補助装置が協診時に、複数のスマートグラス７０に拡張現実を提供する様子を示した図である。
【0076】
図１２を参照すると、拡張現実を利用した手術補助装置は、複数のスマートグラス７０に拡張現実を提供することができる。
【0077】
着用者が複数名であるためスマートグラス７０が複数である場合、ＡＲサーバー１００は、複数のスマートグラス７０に同一の拡張現実または互いに異なる拡張現実を提供することができる。
【0078】
例えば、手術時に協診が必要で執刀医と麻酔医が各自のスマートグラス７０を着用することができる。このとき、執刀医と麻酔医は同じ手術室に位置することもでき、または互いに異なる空間内に位置することもできる。
【0079】
協診が必要な場合、執刀医に必要な拡張現実の内容と麻酔医に必要な拡張現実の内容は、異なることもあり得、それに応じてＡＲサーバー１００は、執刀医にはＡ拡張現実を提供して、麻酔医にはＢ拡張現実を提供し、互いに異なる拡張現実を提供することができる。
【0080】
一方、場合によっては、スマートグラス７０の左右のメガネレンズ５０、６０には、互いに異なる拡張現実が提供されることができ、この場合、着用者は多様かつ大量の拡張現実の提供を受けることができる。
【0081】
また、他の一実施形態に係る拡張現実を利用した手術補助装置は、協診を行うための方法として、次のようなシナリオで動作することができる。
【0082】
前述したように、データ保存部（図示せず）は、（ａ）カメラ１０が撮影した撮影映像及び／または（ｂ）ＡＲサーバー１００が撮影映像に拡張現実を適用して生成したＡＲ映像を保存することができる。このとき、一実施形態に係るＡＲサーバー１００は、ＡＩを利用して撮影映像及びＡＲ映像のうちのいずれか一つまたはすべてに対してカテゴリー化することができる。
【0083】
一実施形態に係る「映像に対するカテゴリー化作業」とは、（ｉ）映像を分類するための複数のカテゴリー項目があらかじめ設定されており、（ｉｉ）撮影映像及び／またはＡＲ映像の部分（ｓｅｇｍｅｎｔａｔｉｏｎ）が複数のカテゴリー項目のうちの少なくとも一つに該当する場合、ＡＲサーバー１００のＡＩが該当映像部分にカテゴリー情報を付加して、カテゴリー別に分類して保存する動作であり得る。
【0084】
このとき、一実施形態に係るカテゴリー項目は、手術道具の種類、使用薬品の種類、手術方式、手術領域、ＡＲタイマーを使用するか否か及び手術参加人員のプロフィールのうちのいずれか一つ以上を含むことができる。例えば、手術道具ごとに別途のタグ（Ｔａｇ）が付けられていることができ、ＡＲサーバー１００のＡＩは、映像でタグを認識することによって、どのような手術道具が使用されているのかを確認することができ、全体映像中で認識された手術道具が使用されている映像部分に認識された手術道具に対するカテゴリー情報（ｅｘ．手術道具Ａを示すマークなど）を付加した後、該当映像部分を認識された手術道具に該当するカテゴリーに分類してデータ保存部に保存することができる。
【0085】
一方、手術中または手術前／後に協診要請があった場合、ＡＲサーバー１００は、ＡＩを利用して協診要請の対象となる専門医に必要な映像のみを選択して提供することができる。より具体的には、ＡＲサーバー１００のＡＩは、スマートグラス７０の着用者から協診要請の信号を受信することができる。例えば、着用者は、顔を動かす形態及び各動きの施行回数を調節して、他の医療スタッフに協診を要請することができる。または、ＡＲサーバー１００のＡＩは、あらかじめ設定された手術リストツリー、手術方法などに基づいて協診が必要であると判断される場合、他の医療スタッフに協診を要請することができる。協診が必要な判断の基準は、あらかじめ設定されてＡＲサーバー１００に保存されることができる。また、協診要請の対象となる協診専門医を選択する選択基準は、あらかじめ設定されてＡＲサーバー１００に保存されることができる。
【0086】
協診要請が発生した場合、ＡＲサーバー１００のＡＩは、所定の基準により自動分類されて保存されている映像部分の中で協診要請の対象である専門医（以下、「協診専門医」）に必要であると判断される映像部分を選択して、これを提供することができる。このとき、ＡＲサーバー１００のＡＩは、協診専門医に関する情報と映像部分に付加されているカテゴリー情報を比較し、情報が互いにマッチングされる映像部分のみを協診専門医に提供することができる。例えば、麻酔医に協診要請が必要な場合、ＡＲサーバー１００のＡＩは、カテゴリー情報が付加されて分類されている映像部分の中から麻酔医と関連性が所定値以上のカテゴリー情報（ｅｘ．「全身麻酔」、「局所麻酔」、「切開」など）が付加されている映像部分のみを読み出し、麻酔医に読み出された映像部分をリアルタイムまたは実際の手術と所定の時差を置いたまま伝送することができる。例えば、協診が要請された専門医療スタッフは、スマートグラスを着用した後、協診を行うことができるが、協診専門医が着用したスマートグラスには読み出された映像部分が再生されることができる。または協診専門医は、別のモニターを介して協診を行うことができ、モニターには読み出された映像部分が再生されることができる。
【0087】
以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更せずに他の具体的な形態に実施されることができることを理解することができるであろう。したがって、以上で記述した実施形態はすべての面において例示的なものであり、限定的ではないと理解しなければならない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2021-08-31
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
患者の患部または手術部位を撮影するカメラと、前記カメラが撮影した映像をリアルタイムで受信して伝送する無線伝送装置と、
前記無線伝送装置が伝送する前記映像を着用者に表示するスマートグラスと、
前記映像に拡張現実を付加して、前記スマートグラスに前記拡張現実が適用されたＡＲ映像を提供するＡＲサーバーと、
前記カメラが撮影した撮影映像及び前記ＡＲ映像のうちのいずれか一つまたはすべてを保存するデータ保存部と、を含み、前記ＡＲサーバーは、
前記撮影映像及び前記ＡＲ映像のうちのいずれか一つまたはすべてに対して、あらかじめ設定されているカテゴリー項目に基づいてカテゴリー化作業を行い、
前記カテゴリー化作業の実行結果として生成された、カテゴリー情報が付加された映像部分（ｓｅｇｍｅｎｔａｔｉｏｎ）をカテゴリー別に分類して前記データ保存部に保存し、
協診要請が発生した場合、あらかじめ設定されている協診専門の選択基準により協診専門医を選択し、前記選択された協診専門医に関する情報と映像部分に付加されているカテゴリー情報を比較して、マッチングされたカテゴリー情報が付加されている映像部分のみを読み出した後に前記選択された協診専門医が着用したスマートグラスに提供する拡張現実を利用した手術補助装置。
【請求項2】
前記スマートグラスは、ジャイロセンサー、地磁気センサー、角速度計及び６軸センサーのうちのいずれか一つ以上の動き感知センサーを含み、前記ＡＲサーバーは、
拡張現実として手術リストツリーを提供し、前記感知センサーによって前記着用者の顔の動き及び各動きの施行回数が検出されると、前記手術リストツリー内で前記患者に適用する手術項目を活性化させ、活性化した手術項目をクリックして、前記手術項目の手術方法が拡張現実として提供されるようにする請求項１に記載の拡張現実を利用した手術補助装置。
【請求項3】
前記無線伝送装置は、前記映像を前記ＡＲサーバーに提供し、前記ＡＲサーバーは、前記映像に必要な手術方法を拡張現実として提供する請求項１に記載の拡張現実を利用した手術補助装置。
【請求項4】
前記スマートグラスは、ジャイロセンサー、地磁気センサー、角速度計及び６軸センサーのうちのいずれか一つ以上の動き感知センサーを含み、前記スマートグラスは、前記感知センサーによって検出された前記着用者の顔の動き及び各動きの施行回数に応じて、前記ＡＲサーバーが提供した手術方法を使用するか否かを選択するか、前記ＡＲサーバーに他の手術方法を要請する請求項３に記載の拡張現実を利用した手術補助装置。
【請求項5】
前記着用者が、前記ＡＲサーバーが提供する手術方法の順序とおりに手術を進行しない場合、前記ＡＲサーバーは、ＡＩ機能を活用して、これまで進行された手術過程及び患者の状態を含んだ情報を考慮して、手術方法の順序を再調整して再び提供する請求項２または３に記載の拡張現実を利用した手術補助装置。
【請求項6】
前記ＡＲサーバーは、提供する手術方法に応じて手術道具を提案する請求項２または３に記載の拡張現実を利用した手術補助装置。
【請求項7】
前記拡張現実は、前記患者の脈拍数、血圧、手術の経過時間及び麻酔の有効時間のうちのいずれか一つ以上を含む手術情報であり、前記手術情報のうちで安全範囲を外れた手術情報は、点滅しながら前記着用者に警告する請求項１～３のいずれか１項に記載の拡張現実を利用した手術補助装置。
【請求項8】
前記拡張現実は、前記患部内で手術しなければならない部位を強調し、手術しなければならない部位が複数の場合、順次的に手術しなければならない部位を強調する請求項１に記載の拡張現実を利用した手術補助装置。
【請求項9】
前記スマートグラスは、ジャイロセンサー、地磁気センサー、角速度計及び６軸センサーのうちのいずれか一つ以上の動き感知センサーを含み、前記ＡＲサーバーは、拡張現実として協診リストツリーを提供し、
前記スマートグラスは、前記感知センサーによって検出された前記着用者の顔の動き及び各動きの施行回数に応じて、前記協診リストツリー内で所望の協診項目を活性化させ、活性化した協診項目が選択されると、前記ＡＲサーバーへの協診を要請する請求項１に記載の拡張現実を利用した手術補助装置。
【請求項10】
前記着用者が複数名であるため前記スマートグラスが複数である場合、前記ＡＲサーバー１００は、複数のスマートグラスに同一の拡張現実または互いに異なる拡張現実を提供する請求項１に記載の拡張現実を利用した手術補助装置。
【請求項11】
前記スマートグラスの左右のメガネレンズには、互いに異なる拡張現実が提供される請求項１に記載の拡張現実を利用した手術補助装置。
【請求項12】
前記カテゴリー項目は、手術道具の種類、使用薬品の種類、手術方式、手術領域、ＡＲタイマーを使用するか否か及び手術参加人員のプロフィールのうちのいずれか一つ以上を含む請求項１に記載の拡張現実を利用した手術補助装置。
【国際調査報告】