特許 7417337 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-10

(45)【発行日】2024-01-18

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G16H 40/00 20180101AFI20240111BHJP

   G16H 80/00 20180101ALI20240111BHJP

   G06T 19/00 20110101ALI20240111BHJP

【ＦＩ】

G16H40/00

G16H80/00

G06T19/00 600

【請求項の数】 4

(21)【出願番号】P 2023139978

(22)【出願日】2023-08-30

(62)【分割の表示】P 2021048820の分割

【原出願日】2021-03-23

(65)【公開番号】P2023164901

(43)【公開日】2023-11-14

【審査請求日】2023-10-04

【早期審査対象出願】

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】永代 友理

(72)【発明者】

【氏名】斎藤 季

(72)【発明者】

【氏名】小山 博史

【審査官】星野 裕

(56)【参考文献】

【文献】特表２０１６－５１２６５８（ＪＰ，Ａ）

【文献】国際公開第２０１５／０９７８２５（ＷＯ，Ａ１）

【文献】特表２０１９－５１２６５８（ＪＰ，Ａ）

【文献】特開２０２０－１４４２３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、
取得ステップでは、ユーザとは異なる者が行う第１の医療手技中の追跡箇所に関する情報と、前記ユーザが視認する外界を撮像した撮像画像とを取得し、
特定ステップでは、前記撮像画像に基づいて、前記ユーザが行う第２の医療手技を特定し、
提示ステップでは、前記追跡箇所に関する情報と前記第２の医療手技とに応じた拡張現実（但し、前記第１の医療手技をお手本動画として表示する拡張現実と、前記お手本動画の表示内容を変化させた動画を表示する拡張現実とを除く。）を、前記ユーザに提示する、システム。

【請求項2】

情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、
取得ステップでは、ユーザとは異なる者が行う第１の医療手技中の追跡箇所に関する情報と、前記ユーザが視認する外界を撮像した撮像画像とを取得し、
提示ステップでは、前記追跡箇所に関する情報と前記撮像画像とに基づいて生成された拡張現実（但し、前記第１の医療手技をお手本動画として表示する拡張現実と、前記お手本動画の表示内容を変化させた動画を表示する拡張現実とを除く。）を、前記ユーザに提示し、ここで前記拡張現実では、前記第１の医療手技の進行速度が可変に構成される、システム。

【請求項3】

情報処理方法であって、
請求項１又は２に記載の情報処理システムの各ステップを備える、方法。

【請求項4】

プログラムであって、
コンピュータに、請求項１又は２に記載の情報処理システムにおける各ステップを実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

医療に関する様々な情報を他の者、特に他の医師と共有したい場面が存在する。例えば、特許文献１には、医療に関する情報の一例である患者の情報を共有する医療支援システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１０９７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示されているシステムのように、文字や画像等の客観的な情報を共有することは可能であっても、手術中の手や医療器具の動きといった医師の技能的な情報を伝達又は共有することは、難しい。これは例えば、熟練の医師が手技の習得向上を目指す研修医に、自身の手技を教示したい場面や、当該分野の専門医どうしが集まって、各人の有するスキルを全体で共有したい場面等が該当する。すなわち、このような場面に際して、これらの医療手技に係る情報を、他の者に正確に伝達又は共有することが難しい。

【0005】

本発明では上記事情を鑑み、より正確な医療手技に係る情報の伝達又は共有を可能とする情報処理システム等を提供することとした。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。読出ステップでは、ユーザに参照させたい医療手技である参照手技に関する参照情報を読み出す。参照情報は、参照手技における追跡箇所の３次元位置を含む。第１の受付ステップでは、ユーザが視認する外界を撮像した撮像画像を受け付ける。生成ステップでは、追跡箇所の３次元位置と、撮像画像とに基づいて、参照手技に関する拡張現実をユーザに提示するための表示情報を生成する。拡張現実では、参照手技において用いられる医療器具又はこの医療器具を操る手の態様が３次元で再現される。

【0007】

このような態様によれば、他の者との医療手技に係る情報の伝達又は共有を、情報量を高めてより正確に実現することができる。

【図面の簡単な説明】

【0008】

【図1】第１及び第２の実施形態に係る情報処理システム１を表す構成図である。

【図2】第１及び第２の実施形態に係る情報処理装置２のハードウェア構成を示すブロック図である。

【図3】第１及び第２の実施形態に係る拡張現実提示装置３のハードウェア構成を示すブロック図である。

【図4】第１及び第２の実施形態に係る拡張現実提示装置３における制御部３３等によって実現される機能を示すブロック図である。

【図5】第１の実施形態に係る情報処理装置２によって実行される情報処理の流れを示すアクティビティ図である。

【図6】情報提供者が行う参照手技を撮像装置２１１で撮像する態様を示した概要図である。

【図7】第１の実施形態に係る拡張現実提示装置３によって実行される情報処理の流れを示すアクティビティ図である。

【図8】ユーザに視認される表示部３４の画面５の態様一例を示した図である。

【図9】ユーザに視認される表示部３４の画面５の態様一例を示した図である。

【図10】第２の実施形態に係る情報処理システム１によって実行される情報処理の流れを示すアクティビティ図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0010】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0011】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0012】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0013】

［第１の実施形態］
１．ハードウェア構成
本節では、第１の実施形態のハードウェア構成について説明する。

【0014】

１．１ 情報処理システム１
図１は、本実施形態に係る情報処理システム１を表す構成図である。情報処理システム１は、情報処理装置２と、拡張現実提示装置３とを備え、これらがネットワーク１１を通じて接続されている。これらの構成要素についてさらに説明する。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。したがって、情報処理装置２や拡張現実提示装置３単体であってもシステムの一例となる。

【0015】

１．２ 情報処理装置２
図２は、本実施形態に係る情報処理装置２のハードウェア構成を示すブロック図である。情報処理装置２は、通信部２１と、記憶部２２と、制御部２３とを有し、これらの構成要素が情報処理装置２の内部において通信バス２０を介して電気的に接続されている。各構成要素についてさらに説明する。

【0016】

通信部２１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。

【0017】

本実施形態では、情報処理装置２は、通信部２１を介して、ネットワーク１１経由で拡張現実提示装置３と種々の情報を通信するように構成される。

【0018】

また、本実施形態では、情報処理装置２は、通信部２１を介して撮像装置２１１と接続されている。撮像装置２１１は、外界の情報を撮像可能に構成される、いわゆるビジョンセンサ（カメラ）である。撮像装置２１１は、ユーザにとっての情報提供者が行う医療手技を撮像するように構成される。撮像された撮像画像ＩＭ１を時系列化したデータとして、情報提供者の医療手技を含む動画ファイルが記録されるとよい。

【0019】

撮像装置２１１のフレームレートは、特に限定されないが、例えば１０ｆｐｓ以上であり、好ましくは、３０ｆｐｓ以上であり、より好ましくは６０ｆｐｓ以上である。フレームレートを高くすることで、後述の参照情報ＩＦ１の時間分解能を高くすることができる。

【0020】

記憶部２２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部２３によって実行される情報処理装置２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。

【0021】

制御部２３は、情報処理装置２に関連する全体動作の処理・制御を行う。制御部２３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部２３は、記憶部２２に記憶された所定のプログラムを読み出すことによって、情報処理装置２に係る種々の機能を実現する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部２３によって具体的に実現される構成となっている。

【0022】

１．３ 拡張現実提示装置３
図３は、本実施形態に係る拡張現実提示装置３のハードウェア構成を示すブロック図である。拡張現実提示装置３は、ユーザに拡張現実を提供する装置である。拡張現実提示装置３は、通信部３１と、記憶部３２と、制御部３３と、表示部３４と、入力部３５と、撮像部３６とを有し、これらの構成要素が拡張現実提示装置３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。

【0023】

通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。

【0024】

本実施形態では、拡張現実提示装置３は、通信部３１を介して、情報処理装置２とネットワーク１１経由で種々の情報を通信するように構成される。

【0025】

記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部３３によって実行される拡張現実提示装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。

【0026】

特に、記憶部３２は、情報処理装置２から受信した参照情報ＩＦ１を記憶している。記憶部３２は、これ以外にも制御部３３によって実行される拡張現実提示装置３に係る種々のプログラム等を記憶している。

【0027】

制御部３３は、拡張現実提示装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、拡張現実提示装置３に係る種々の機能を実現する。すなわち、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３が、後述の各機能部を備える。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。

【0028】

表示部３４は、ユーザが視認可能且つ操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面５を表示するように構成される（図８及び図９参照）。ここでは、表示部３４は、拡張現実提示装置３の筐体に含まれるものとして説明する。好ましくは、表示部３４は、ユーザが装着可能なウェアラブルデバイスに含まれる。換言すると、拡張現実提示装置３は、ユーザがその目の周囲を覆うように装着可能なヘッドマウントディスプレイ方式のデバイスとして構成されるとよい。このような構成の拡張現実提示装置３を採用することで、よりユーザの没入感を高めることができる。さらに好ましくは、表示部３４は、外界からの光をユーザに向かう方向に透過させるように構成されるとよい。このような構成により、ユーザは、外界の情報を光学的に直接視認することができ、ユーザビリティが向上する。

【0029】

入力部３５は、ユーザによってなされた操作入力を受け付けるように構成される。入力部３５は、例えば拡張現実提示装置３に設けられたスイッチボタンである。当該入力が命令信号として、通信バス３０を介して制御部３３に転送され、制御部３３が必要に応じて所定の制御や演算を実行しうる。

【0030】

撮像部３６は、外界の情報を撮像可能に構成される、いわゆるビジョンセンサ（カメラ）である。ここでは、撮像部３６は、拡張現実提示装置３の筐体に含まれるものとして説明する。撮像部３６は、ユーザが行う医療手技を撮像画像ＩＭ２として撮像することで、所望の追跡箇所をトラッキングするように構成される。なお、撮像画像ＩＭ２は、トラッキングのためにメモリに一時記憶させるだけのデータとして実施してもよいし、動画ファイルとして記録されるように実施してもよい。

【0031】

撮像部３６のフレームレートは、特に限定されないが、例えば１０ｆｐｓ以上であり、好ましくは、３０ｆｐｓ以上であり、より好ましくは６０ｆｐｓ以上である。フレームレートを高くすることで、トラッキングの時間分解能を高くすることができる。

【0032】

２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。

【0033】

図４は、本実施形態に係る拡張現実提示装置３における制御部３３等によって実現される機能を示すブロック図である。具体的には、情報処理システム１の一例である拡張現実提示装置３は、受付部３３１と、読出部３３２と、特定部３３３と、生成部３３４と、ＡＲ制御部３３５とを備える。

【0034】

受付部３３１は、種々の情報を受け付けるように構成される。例えば、受付部３３１は、情報処理装置２から送信された参照情報ＩＦ１を受け付けてもよい。

【0035】

読出部３３２は、受付部３３１が受け付けた又は予め記憶部３２に記憶された種々の情報を読み出すように構成される。例えば、読出部３３２は、ユーザにＡＲ情報６を提示するために、予め記憶部３２に記憶された参照情報ＩＦ１を参照してもよい。これについては後にさらに詳述する。

【0036】

特定部３３３は、撮像画像ＩＭ１や撮像画像ＩＭ２に基づいて、種々の情報を特定するように構成される。例えば、特定部３３３は、撮像画像ＩＭ２に基づいて、ユーザが視認可能な術野５３やユーザの医療手技であるユーザ手技を特定するように構成される。これについては後にさらに詳述する。

【0037】

生成部３３４は、種々の表示情報ＩＦ２を生成するように構成される。表示情報ＩＦ２とは、画面、画像、アイコン、メッセージ等といった、ユーザが視認可能な態様で生成された情報そのものでもよいし、例えば拡張現実提示装置３の表示部３４に画面、画像、アイコン、メッセージ等を表示させるためのレンダリング情報であってもよい。前述の表示部３４は、生成部３３４によって生成された表示情報ＩＦ２に基づいて、画面５を表示する（図８及び図９参照）。

【0038】

ＡＲ制御部３３５は、ユーザに提示する拡張現実の内容又は態様を制御するように構成される。これについては後にさらに詳述する。

【0039】

３．情報処理方法
本節では、前述した情報処理システム１の情報処理方法について説明する。ここでは、情報処理装置２を使用する情報提供者は、ユーザの指導医であり、ユーザは、指導医から医療手技を指導される研修医であるものとして説明する。また、拡張現実提示装置３は、前述したヘッドマウントディスプレイ方式のデバイスであるものとし、ユーザがこれを装着しているものとして説明する。

【0040】

３．１ 情報処理装置２による情報処理
まず、情報処理装置２の情報処理について説明する。図５は、第１の実施形態に係る情報処理装置２によって実行される情報処理の流れを示すアクティビティ図である。図６は、情報提供者が行う参照手技を撮像装置２１１で撮像する態様を示した概要図である。

【0041】

先に、図５の各アクティビティに沿って、情報処理の流れを概説する。はじめに、情報提供者が撮像装置２１１の前で医療手技である参照手技を実施する（アクティビティＡ００１）。この間、撮像装置２１１が参照手技を含む撮像画像ＩＭ１を撮像する（アクティビティＡ００２）。続いて、情報処理装置２における制御部２３が記憶部２２に記憶された所定のプログラムを読み出すことで、撮像画像ＩＭ１から追跡箇所の３次元位置を抽出した参照情報ＩＦ１を生成する（アクティビティＡ００３）。最後に、情報処理装置２が、通信部２１を介して、ネットワーク１１経由で参照情報ＩＦ１を、ユーザが使用する拡張現実提示装置３に送信する（アクティビティＡ００４）。

【0042】

続いて、図５で概説された情報処理の詳細部分を説明する。アクティビティＡ００２では、図６に示されるように、撮像装置２１１によって情報提供者の参照手技が撮像画像ＩＭ１として撮像される。参照手技において、情報提供者は、左手４Ｌで医療器具の一例である攝子４１を使用し、右手４Ｒで医療器具の一例である持針器４２を使用している。好ましくは、撮像装置２１１は、予め定められた追跡箇所の３次元位置が把握可能な撮像画像ＩＭ１を撮像する。かかる追跡箇所は、攝子４１や持針器４２等の医療器具に対して設定される。図６においては不図示であるが、攝子４１や持針器４２等に追跡用のマーカを付してもよい。

【0043】

なお、本実施形態でいう医療器具とは、医療に関する器具全般を指すものとする。すなわち、医療器具は、例えば、薬機法の分類に則る機械器具と、針糸等の医療用品とを含むものである。

【0044】

アクティビティＡ００３において、制御部２３は、予め記憶された所定のプログラムを読み出すことで、撮像画像ＩＭ１に対して画像処理を実行する。かかる画像処理によって、術野４３に対する追跡箇所、例えば攝子４１や持針器４２の少なくとも一部の３次元位置が抽出される。特に、撮像装置２１１から見て奥行きの情報を取得するにあたっては、画角に対しての攝子４１や持針器４２の相対的な大きさから推測して取得してもよいし、フォーカスの度合いから取得してもよいし、ステレオ視によってより正確に取得してもよい。参照情報ＩＦ１は、上記の３次元位置を有する情報であれば、その形態は問わず、例えば、座標だけを有する情報でもよいし、３次元位置が把握可能な２値化された画像でもよい。

【0045】

このような構成により、アクティビティＡ００３において生成される参照情報ＩＦ１は、参照手技における追跡箇所の３次元位置を含んでいる。より具体的には、この３次元位置は、参照手技の術野４３に対する相対的な位置であるとよい。かかる態様によれば、後続の拡張現実提示装置３の情報処理において、よりユーザが把握しやすい拡張現実を提示することができる。これについては、次にさらに説明する。

【0046】

３．２ 拡張現実提示装置３による情報処理
次に、拡張現実提示装置３の情報処理について説明する。図７は、第１の実施形態に係る拡張現実提示装置３によって実行される情報処理の流れを示すアクティビティ図である。図８及び図９は、ユーザに視認される表示部３４の画面５の態様一例を示した図である。

【0047】

先に、図７の各アクティビティに沿って、情報処理の流れを概説する。はじめに、制御部３３の機能部である読出部３３２は、読出ステップとして、ユーザに参照させたい医療手技である参照手技に関する参照情報ＩＦ１を読み出す（アクティビティＡ１０１）。参照情報ＩＦ１は、情報処理装置２において生成され、予め拡張現実提示装置３の記憶部３２に記憶されたものである。

【0048】

続いて、拡張現実提示装置３を頭部に装着したユーザが、撮像部３６の画角に入るように視線を自身の医療手技（以下、ユーザ手技と呼ぶ）に向けて、これを実施する。すなわち、撮像部３６が、ユーザが視認する外界とユーザ手技とを含む撮像画像ＩＭ２を撮像する（アクティビティＡ１０２）。

【0049】

続いて、受付部３３１は、第１の受付ステップとして、ユーザが視認する外界を撮像した撮像画像ＩＭ２を受け付ける（アクティビティＡ１０３）。具体的には、制御部３３が、撮像画像ＩＭ２を記憶部３２の一例であるメモリに一次記憶させている。

【0050】

続いて、特定部３３３は、第１の特定ステップとして、撮像画像ＩＭ２から、ユーザが視認可能な術野５３を特定し、第２の特定ステップとして、撮像画像ＩＭ２から、ユーザの医療手技であるユーザ手技を特定する。具体的には、制御部３３が、記憶部３２に記憶された所定のプログラムを読み出すことで、撮像画像ＩＭ２から、医療器具の一例である、攝子５１及び持針器５２と、術野５３とを特定し、その位置情報を取得している（アクティビティＡ１０４）。

【0051】

続いて、生成部３３４は、生成ステップとして、参照情報ＩＦ１に含まれる追跡箇所の３次元位置と、撮像画像ＩＭ２から特定されたユーザ手技とに基づいて、参照手技に関するＡＲ情報６（拡張現実）をユーザに提示するための表示情報ＩＦ２を生成する（アクティビティＡ１０５）。この表示情報ＩＦ２は、例えばレンダリング情報である。

【0052】

続いて、表示部３４は、外界と、ＡＲ情報６による参照手技とを重畳させた状態をユーザが視認可能となるように、表示情報ＩＦ２に基づく画面５を表示する（アクティビティＡ１０６）。

【0053】

上記のアクティビティＡ１０２～Ａ１０６が各フレーム単位で繰り返し実行されることで、ユーザに拡張現実が提示されることとなる。

【0054】

以上をまとめると、この情報処理方法は、次の各ステップを備える。読出ステップでは、ユーザに参照させたい医療手技である参照手技に関する参照情報ＩＦ１を読み出す。ここで参照情報ＩＦ１は、参照手技における追跡箇所の３次元位置を含む。第１の受付ステップでは、ユーザが視認する外界を撮像した撮像画像ＩＭ２を受け付ける。生成ステップでは、追跡箇所の３次元位置と、撮像画像ＩＭ２とに基づいて、参照手技に関するＡＲ情報６（拡張現実）をユーザに提示するための表示情報ＩＦ２を生成する。この拡張現実では、参照手技において用いられる医療器具又はこの医療器具を操る手の態様が３次元で再現される。

【0055】

続いて、図７で概説された情報処理の詳細部分を説明する。図８に示されるように、ユーザは、左手５Ｌで医療器具の一例である攝子５１を使用し、右手５Ｒで医療器具の一例である持針器５２を使用し、術野５３が視認される模型５４を用いて手術を行う練習をしている。

【0056】

図８に示されるように、攝子５１は、マーカ５１１を有し、持針器５２は、マーカ５２１を有し、模型５４は、マーカ５４１を有している。これらを認識させることにより、特定部３３３は、撮像画像ＩＭ２において、術野５３に対する攝子５１及び持針器５２の位置情報を特定している。なお、術野５３上に情報を重畳するだけでよければ、マーカ５４１の情報のみを採用してもよい。そして、生成部３３４は、医療器具が術野５３上に重畳されたＡＲ情報６（拡張現実）をユーザに提示するための表示情報ＩＦ２を生成する。

【0057】

具体的には、このＡＲ情報６（拡張現実）では、参照手技において用いられる医療器具の態様が３次元で再現されている。ＡＲ情報６で再現される医療器具とは、例えば、ＡＲ攝子６１やＡＲ持針器６２であり、これは、参照手技における攝子４１や持針器４２に対応している。特に、ユーザの術野５３上にＡＲ情報６を重畳させることで、ユーザ本人目線の、より詳細且つ正確な情報を伝達することができる。

【0058】

好ましくは、図８に示されるように、生成部３３４は、ユーザ手技の態様に応じて、ＡＲ情報６（拡張現実）をユーザに提示するための表示情報ＩＦ２を変化させて生成するとよい。例えば、ＡＲ制御部３３５によって、ユーザ手技の態様に応じて、ＡＲ情報６（拡張現実）における参照手技の進行が制御されてもよい。図８では、攝子５１及び持針器５２の位置と、ＡＲ攝子６１及びＡＲ持針器６２の位置とが近く、姿勢も略同様であることに留意されたい。具体的には、ＡＲ制御部３３５が、特定部３３３が撮像画像ＩＭ２から取得したユーザ手技の態様から、これに対応する参照手技の再生場面を推定する制御を実行している。このような態様によれば、ユーザが、自身にとって好ましいペースで、情報提供者の参照手技を確認することができ、ユーザビリティの向上が期待される。

【0059】

また好ましくは、図９に示されるように、ＡＲ情報６に基づく拡張現実では、現在のユーザ手技の態様に比べて、時系列的に未来の手順を示す参照手技が再現されてもよい。図９では、攝子５１及び持針器５２の位置と、ＡＲ攝子６１及びＡＲ持針器６２の位置とが離れ、それぞれの姿勢も異なっていることに留意されたい。これは、攝子５１及び持針器５２の位置から想定される場面よりも、時系列的に未来の場面のＡＲ攝子６１及びＡＲ持針器６２が提示されているためである。このような態様によれば、ユーザが、自身の現在の手技の態様と比較しながら、情報提供者の参照手技を確認することができ、さらなるユーザビリティの向上が期待される。

【0060】

さらに好ましくは、ＡＲ情報６に基づく拡張現実では、例えばＡＲ攝子６１やＡＲ持針器６２等、医療器具の態様の時系列変化について、変化する各態様を重ねて、ユーザに提示してもよい。この変化する各態様は、例えば、離散的に選択されたフレームに基づくものである。換言すると、図９では、ＡＲ攝子６１及びＡＲ持針器６２に対して残像のようなエフェクトを付していることが確認される。このようなエフェクトを採用することで、ユーザに、参照手技の時系列の動きをより分かりやすく把握させることができ、さらなるユーザビリティの向上が期待される。

【0061】

第１の実施形態に係る情報処理システム１によれば、他の者との医療手技に係る情報の伝達又は共有を、情報量を高めてより正確に実現することができる。

【0062】

［第２の実施形態］
第２の実施形態に係る情報処理システム１について説明する。第２の実施形態に係る情報処理システム１は、図１～図４に示される第１の実施形態に係る情報処理システム１と同様のハードウェア構成及び機能構成を有する。したがって、これらの説明を省略する。

【0063】

図１０は、第２の実施形態に係る情報処理システム１によって実行される情報処理の流れを示すアクティビティ図である。

【0064】

以下、図１０の各アクティビティに沿って、情報処理の流れを説明する。まず、情報処理装置２側の処理として、撮像装置２１１によって撮像される撮像画像ＩＭ１の各フレーム単位で参照情報ＩＦ１が生成される（アクティビティＡ２０１）。ここでの参照情報ＩＦ１は、例えば、情報提供者の、術野４３に対する攝子４１及び持針器４２の位置情報を各フレーム単位で含むものであればよく、拡張現実提示装置３側でストリーミング再生可能な撮像画像ＩＭ１そのものでもよい。続いて、拡張現実提示装置３における通信部３１が、ネットワーク１１経由でこれを継続的に受信する（アクティビティＡ２０２）

【0065】

次に、拡張現実提示装置３側の処理として、拡張現実提示装置３を頭部に装着したユーザが、撮像部３６の画角に入るように視線を自身の医療手技（ユーザ手技）に向けて、これを実施する。すなわち、撮像部３６が、ユーザが視認する外界とユーザ手技とを含む撮像画像ＩＭ２を撮像する（アクティビティＡ２０３）。続いて、受付部３３１が撮像画像ＩＭ２を受け付けると、特定部３３３が、撮像画像ＩＭ２から、医療器具の一例である、攝子５１及び持針器５２と、術野５３とを特定し、その位置情報を取得する（アクティビティＡ２０４）。

【0066】

続いて、生成部３３４は、生成ステップとして、参照情報ＩＦ１に含まれる追跡箇所の３次元位置と、撮像画像ＩＭ２から特定されたユーザ手技とに基づいて、参照手技に関するＡＲ情報６（拡張現実）をユーザに提示するための表示情報ＩＦ２を生成する（アクティビティＡ２０５）。この表示情報ＩＦ２は、例えばレンダリング情報である。

【0067】

続いて、表示部３４は、外界と、ＡＲ情報６による参照手技とを重畳させた状態をユーザが視認可能となるように、表示情報ＩＦ２に基づく画面５を表示する（アクティビティＡ２０６）。

【0068】

アクティビティＡ２０１及びＡ２０２と、アクティビティＡ２０３～Ａ２０６が、それぞれフレーム単位で繰り返し実行されることで、ユーザに拡張現実が提示されることとなる。

【0069】

以上をまとめると、第２の実施形態では、受付部３３１が、第２の受付ステップとして、ネットワーク１１を介して外部、例えば情報処理装置２から参照情報ＩＦ１を受け付ける。読出部３３２は、情報処理装置２から受け付けた参照情報ＩＦ１を読み出す。より好ましくは、受付部３３１は、第２の受付ステップとして、ユーザと異なる者である情報提供者が実施中の参照手技に関する参照情報ＩＦ１を継続的に受け付ける。読出部３３２は、受け付けた参照情報ＩＦ１を継続的に読み出す。生成部３３４は、情報提供者が実施中の参照手技に関するＡＲ情報６（拡張現実）を、ユーザに提示する。

【0070】

第２の実施形態に係る情報処理システム１によれば、第１の実施形態に係る情報処理システム１同様に、他の者との医療手技に係る情報の伝達又は共有を、情報量を高めてより正確に実現することができる。特に、第２の実施形態に係る情報処理システム１によれば、情報提供者が実施中の参照手技を、ＡＲ情報６として略リアルタイムにユーザに提示することができる。これにより、例えば、情報提供者がユーザと直接コミュニケーションをとりながら、ユーザに参照手技を共有することが可能となる。

【0071】

［その他］
前述の実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。

【0072】

（１）情報提供者は情報処理装置２を使うものとして説明したが、情報処理装置２が拡張現実提示装置３と同様の構成を有してもよい。すなわち、情報提供者が拡張現実提示装置３を用いて自身の医療手技を含む撮像画像ＩＭ１を撮像し、これに基づく参照情報ＩＦ１が、ユーザが使用する拡張現実提示装置３に共有されてもよい。

【0073】

（２）第１の実施形態に係る情報処理装置２と、拡張現実提示装置３とをネットワーク１１を介して接続せず、それぞれオフラインで動作させてもよい。このような場合、情報処理装置２で生成された参照情報ＩＦ１を、ネットワーク１１を経由する以外の通信手法や記憶媒体等を介して、拡張現実提示装置３に共有することとなる。

【0074】

（３）前述の実施形態では、情報処理装置２において、撮像画像ＩＭ１から画像処理がなされて参照情報ＩＦ１が抽出されるものとして説明したが、参照情報ＩＦ１が撮像画像ＩＭ１そのものであってもよい。さらに例えば、拡張現実提示装置３の特定部３３３が参照情報ＩＦ１である撮像画像ＩＭ１に基づいて、参照手技における追跡箇所の３次元位置を特定するように構成されてもよい。このように、参照情報ＩＦ１の態様は、多種多様であり、特に限定されるものではない。

【0075】

（４）拡張現実提示装置３の表示部３４が外界からの光をユーザに向かう方向に透過させるように構成されていなくてもよい。すなわち、撮像部３６によって撮像された外界の情報である撮像画像ＩＭ２を画面５の一部として表示部３４に表示させ、これにＡＲ情報６が重畳されるように実施することができる。

【0076】

（５）図８及び図９に示されている、攝子５１、持針器５２及び模型５４に付したマーカ５１１、マーカ５２１及びマーカ５４１を採用しなくてもよい。例えば、形状や色情報等から、マーカレスで、攝子５１、持針器５２及び術野５３を認識させ、この位置情報を取得するように実施してもよい。また、認識の手法に限らず、位置情報に加えて、医療器具の姿勢情報や色彩等の光学的情報を合わせて取得するように実施してもよい。これらの情報を合わせて加味することで、より精度の高い情報共有を実現することができる。

【0077】

（６）医療器具の種類は、特に限定されず、外科手術に限定されるものでもない。例えば、針糸、注射器、カテーテル等が含まれてもよいし、つまむ機械器具、縫う機械器具、切る機械器具、剥離する機械器具等が含まれてもよい。より具体的には、無鈎攝子、有鈎攝子、マッチュー持針器、超硬付へガール持針器、マイクロ持針器直型フック付、マイクロ持針器反型フック付、直剪刀両鈍、反剪刀両鈍、メイヨー直剪刀、メイヨー反剪刀、超硬付メッツエンバーム剪刀直型、ペアン止血鉗子直無鈎、ペアン止血鉗子反無鈎、アリス鉗子、腸鉗子直型、ケリー鉗子等が挙げられる。

【0078】

（７）ユーザと、情報提供者との関係は、研修医と、指導医とに限定されず、例えば、専門分野の異なる医師どうしでもよい。特に、第２の実施形態に係る情報処理システム１を用いることで、情報提供者が実際の外科手術を行っている場面を、ユーザに略リアルタイムに共有することも可能である。

【0079】

（８）ＡＲ情報６に基づく拡張現実では、参照手技の進行速度が可変に構成されてもよい。好ましくは、ユーザが入力部３５を操作して、所望の進行速度に設定することができるとよい。このような態様によれば、ユーザが、自身にとって好ましいペースで、情報提供者の参照手技を確認することができ、ユーザビリティの向上が期待される。

【0080】

（９）ＡＲ情報６に基づく拡張現実では、例えばＡＲ攝子６１やＡＲ持針器６２等、医療器具の透過度が可変に構成されてもよい。好ましくは、ユーザが入力部３５を操作して、所望の透過度に設定することができるとよい。このような態様によれば、ユーザが、自身にとって好ましいように視認具合を調整しつつ、情報提供者の参照手技を確認することができ、ユーザビリティの向上が期待される。

【0081】

（１０）参照情報ＩＦ１を生成するにあたって、情報提供者が使用する医療器具に代えて、これらの医療器具を操る左手４Ｌや右手４Ｒを追跡箇所としてもよい。そして、ＡＲ情報６に基づく拡張現実では、ＡＲ攝子６１やＡＲ持針器６２等の医療器具に代えて、これらの医療器具を操る手が再現されてもよい。すなわち、情報提供者の左手４Ｌ及び右手４Ｒに対応したそれぞれの手を模したＡＲ情報６が、生成されればよい。かかる場合も、ＡＲ制御部３３５が必要に応じてＡＲ情報６の内容を制御することができるとよい。

【0082】

（１１）撮像装置２１１に代えて、又はこれとともに種々のセンサを用いてもよい。例えば、ビジョンセンサだけではなく、赤外線センサ、レーザレンジファインダ、ＬＩＤＡＲ等が適宜使用されてもよい。また、複数の撮像装置２１１を用いてもよい。このような態様によって、外界の３次元の情報をより精度高く取得することができる。

【0083】

（１２）図７のアクティビティ図におけるアクティビティの一部を省略してもよい。実施にあたって、例えば、アクティビティＡ１０２やアクティビティＡ１０４等を省略することができる。

【0084】

（１３）第２の実施形態に関連し、情報処理装置２から拡張現実提示装置３への略リアルタイムの情報共有に加えて、拡張現実提示装置３から情報処理装置２への略リアルタイムの情報共有を行ってもよい。例えば、ユーザが行ったユーザ手技を、略リアルタイムで、情報提供者にさらに共有できることが好ましい。このような双方向の略リアルタイムな情報共有を実現することで、より情報量の高い伝達を実現することができる。

【0085】

（１４）上記の実施形態では、生成部３３４が、ユーザ手技の態様に応じて、ＡＲ情報６（拡張現実）をユーザに提示するための表示情報ＩＦ２を変化させて生成することについて説明したが、かかる表示情報ＩＦ２は、手技そのものを表すＡＲ情報６に係るものに限定されない。例えば、ユーザ手技の良し悪しを採点した採点結果や、警告、アドバイス等を含みうる。また、生成部３３４は、視覚以外の五感でユーザに感知される情報をさらに生成してもよい。換言すると、生成部３３４が表示情報ＩＦ２以外の種々の情報、例えば音声情報、触覚情報、嗅覚情報等を生成してもよい。好ましくは、情報提供者が情報処理装置２を用いて参照手技を記録する際に、これらの種々の情報を合わせて記録するように実施するとよい。このような態様によれば、よりユーザに分かりやすく情報を伝達することができる。

【0086】

（１５）本実施形態を、頒布可能なプログラムとして実施してもよい。このプログラムは、コンピュータに、情報処理システム１における各ステップを実行させるものである。

【0087】

（１６）さらに、次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記追跡箇所は、前記医療器具又はこの医療器具を操る手に対して設定され、前記３次元位置は、前記参照手技の術野に対する相対的な位置である、もの。
前記情報処理システムにおいて、前記制御部は、第１の特定ステップをさらに実行するように構成され、前記第１の特定ステップでは、前記撮像画像から、前記ユーザが視認可能な術野を特定し、前記生成ステップでは、前記医療器具又はこの医療器具を操る手が前記術野上に重畳された拡張現実を前記ユーザに提示するための表示情報を生成する、もの。
前記情報処理システムにおいて、前記制御部は、第２の特定ステップをさらに実行するように構成され、前記第２の特定ステップでは、前記撮像画像から、前記ユーザの医療手技であるユーザ手技を特定し、前記生成ステップでは、前記ユーザ手技の態様に応じて、前記拡張現実を前記ユーザに提示するための表示情報を変化させて生成する、もの。
前記情報処理システムにおいて、前記拡張現実では、前記ユーザ手技の態様に応じて、前記参照手技の進行が制御される、もの。
前記情報処理システムにおいて、前記拡張現実では、現在の前記ユーザ手技の態様に比べて、時系列的に未来の手順を示す前記参照手技が再現される、もの。
前記情報処理システムにおいて、前記拡張現実では、前記参照手技の進行速度が可変に構成される、もの。
前記情報処理システムにおいて、前記拡張現実では、前記医療器具又はこの医療器具を操る手の透過度が可変に構成される、もの。
前記情報処理システムにおいて、前記拡張現実では、前記医療器具又はこの医療器具を操る手の態様の時系列変化について、変化する各態様を重ねて、前記ユーザに提示する、もの。
前記情報処理システムにおいて、前記変化する各態様は、離散的に選択されたフレームに基づく、もの。
前記情報処理システムにおいて、前記読出ステップでは、予め記憶された前記参照情報を読み出す、もの。
前記情報処理システムにおいて、前記制御部は、第２の受付ステップをさらに実行するように構成され、前記第２の受付ステップでは、ネットワークを介して外部から前記参照情報を受け付け、前記読出ステップでは、外部から受け付けた前記参照情報を読み出す、もの。
前記情報処理システムにおいて、前記第２の受付ステップでは、前記ユーザと異なる者が実施中の前記参照手技に関する参照情報を継続的に受け付け、前記読出ステップでは、受け付けた前記参照情報を継続的に読み出し、前記生成ステップでは、実施中の前記参照手技に関する拡張現実を、前記ユーザに提示する、もの。
前記情報処理システムにおいて、表示部をさらに備え、前記表示部は、前記外界からの光を前記ユーザに向かう方向に透過させるように構成され、前記外界と前記参照手技とを重畳させた状態を前記ユーザが視認可能となるように、前記表示情報に基づく画面を表示するように構成され、もの。
前記情報処理システムにおいて、前記表示部は、ユーザが装着可能なウェアラブルデバイスに含まれる、もの。
情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
プログラムであって、コンピュータに、前記情報処理システムにおける各ステップを実行させる、もの。
もちろん、この限りではない。

【0088】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0089】

１ ：情報処理システム
１１ ：ネットワーク
２ ：情報処理装置
２０ ：通信バス
２１ ：通信部
２１１ ：撮像装置
２２ ：記憶部
２３ ：制御部
２４ ：表示部
３ ：拡張現実提示装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：受付部
３３２ ：読出部
３３３ ：特定部
３３４ ：生成部
３３５ ：ＡＲ制御部
３４ ：表示部
３５ ：入力部
３６ ：撮像部
４Ｌ ：左手
４Ｒ ：右手
４１ ：攝子
４２ ：持針器
４３ ：術野
５ ：画面
５Ｌ ：左手
５Ｒ ：右手
５１ ：攝子
５１１ ：マーカ
５２ ：持針器
５２１ ：マーカ
５３ ：術野
５４ ：模型
５４１ ：マーカ
６ ：ＡＲ情報
６１ ：ＡＲ攝子
６２ ：ＡＲ持針器
ＩＦ１ ：参照情報
ＩＦ２ ：表示情報
ＩＭ１ ：撮像画像
ＩＭ２ ：撮像画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】