特許 7343394 医療用情報処理装置、情報処理方法、および医療用情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-04

(45)【発行日】2023-09-12

(54)【発明の名称】医療用情報処理装置、情報処理方法、および医療用情報処理システム

(51)【国際特許分類】

   G06F 16/732 20190101AFI20230905BHJP

   G06F 16/78 20190101ALI20230905BHJP

   A61B 34/10 20160101ALI20230905BHJP

   G16H 30/20 20180101ALI20230905BHJP

   G16H 30/40 20180101ALI20230905BHJP

【ＦＩ】

G06F16/732

G06F16/78

A61B34/10

G16H30/20

G16H30/40

【請求項の数】 19

(21)【出願番号】P 2019558031

(86)(22)【出願日】2018-10-02

(86)【国際出願番号】 JP2018036760

(87)【国際公開番号】W WO2019111512

(87)【国際公開日】2019-06-13

【審査請求日】2021-09-10

(31)【優先権主張番号】P 2017233379

(32)【優先日】2017-12-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】313009556

【氏名又は名称】ソニー・オリンパスメディカルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】白神 光章

【審査官】早川 学

(56)【参考文献】

【文献】特開２０１１－１６７３０１（ＪＰ，Ａ）

【文献】登録実用新案第３１０４０５１（ＪＰ，Ｕ）

【文献】特開２０１７－０４７０２２（ＪＰ，Ａ）

【文献】国際公開第２０１６／２００８８７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１１／００４６４７６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００３／０２１６８３６（ＵＳ，Ａ１）

【文献】特開２０１６－０４２９８２（ＪＰ，Ａ）

【文献】特開２００６－０４３２０９（ＪＰ，Ａ）

【文献】大沼健太郎、外７名，腹腔鏡下手術支援システムのための術者動作解析とＴｉｍｅｄ Ａｕｔｏｍａｔａによる手術シナリオモデルの，計測自動制御学会論文集，社団法人計測自動制御学会，2007年08月31日，第４３巻，第８号，ｐｐ．６７９～６８８

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／１０

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ１６Ｈ ３０／００－３０／４０

(57)【特許請求の範囲】

【請求項1】

過去の手術中に取得された手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
画像を表示装置に表示させる表示制御部と、
抽出された前記特徴データを編集する編集処理部と、
を備え、
前記選択部、前記抽出部、前記表示制御部、及び前記編集処理部のうち、前記選択部、前記抽出部、及び前記表示制御部は、手術中にナビゲーション支援を行う術中ナビゲーション処理を実行可能とし、
前記術中ナビゲーション処理において、
前記選択部は、撮像デバイスにより撮像された医療用撮像画像の解析結果に基づき前記選択条件を設定して、前記対象データを選択し、
前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出し、
前記表示制御部は、抽出された前記医療用画像のうちの、前記医療用撮像画像に対応する前記医療用画像を、前記表示装置に表示させる、医療用情報処理装置。

【請求項2】

前記抽出部は、機械学習による学習済みモデルを使って前記特徴データを抽出する、請求項１に記載の医療用情報処理装置。

【請求項3】

前記機械学習による学習済みモデルは、前記対象データからの前記特徴データの抽出を学習した学習済みモデルである、請求項２に記載の医療用情報処理装置。

【請求項4】

前記機械学習は、深層学習である、請求項２または３に記載の医療用情報処理装置。

【請求項5】

前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
前記医療用画像は、前記医療用撮像画像である、請求項１～４のいずれか１つに記載の医療用情報処理装置。

【請求項6】

前記対象データには、医療用イラスト画像が含まれ、
前記医療用画像は、前記医療用イラスト画像である、請求項１～５のいずれか１つに記載の医療用情報処理装置。

【請求項7】

前記対象データには、画像以外のデータが含まれ、
前記抽出部は、画像以外のデータから特徴を検出する、請求項１～６のいずれか１つに記載の医療用情報処理装置。

【請求項8】

前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
前記抽出部は、前記特徴データとしてさらに音声を抽出する、請求項１～７のいずれか１つに記載の医療用情報処理装置。

【請求項9】

前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
前記抽出部は、前記特徴データとしてさらにテキストを抽出する、請求項１～８のいずれか１つに記載の医療用情報処理装置。

【請求項10】

前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、請求項１～９のいずれか１つに記載の医療用情報処理装置。

【請求項11】

前記抽出部は、
前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、請求項１０に記載の医療用情報処理装置。

【請求項12】

前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、請求項１～１１のいずれか１つに記載の医療用情報処理装置。

【請求項13】

前記編集処理部は、複数の症例から前記手技のプロトコルデータを生成する、請求項１２に記載の医療用情報処理装置。

【請求項14】

前記抽出部は、さらに、前記表示装置に表示させる前記医療用画像を抽出した根拠を、通知させる、請求項１～１３のいずれか１つに記載の医療用情報処理装置。

【請求項15】

前記表示装置に表示される、前記医療用撮像画像に対応する前記医療用画像は、現在の手術中のナビゲーション画像に該当する、請求項１～１４のいずれか１つに記載の医療用情報処理装置。

【請求項16】

前記表示制御部は、現在の手術中に手技が変更された場合には、変更後の手技に対応する手術中のナビゲーション画像を、前記表示装置に表示させる、請求項１５に記載の医療用情報処理装置。

【請求項17】

医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
前記アーム制御部は、
現在の手術中に取得される手術データに対応する特徴データに基づいて、手術の進行状況を特定し、
特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、請求項１～１５のいずれか１つに記載の医療用情報処理装置。

【請求項18】

過去の手術中に取得された手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
画像を表示装置に表示させるステップと、
抽出された前記特徴データを編集するステップと、
手術中にナビゲーション支援を行うステップと、
を有し、
前記ナビゲーション支援を行うステップでは、
撮像デバイスにより撮像された医療用撮像画像の解析結果に基づき前記選択条件を設定して、前記候補データから前記選択条件に対応する前記対象データを選択し、
選択された前記対象データから特徴を検出し、検出された特徴に対応する前記特徴データとして少なくとも医療用画像を前記対象データから抽出し、
抽出された前記医療用画像のうちの、前記医療用撮像画像に対応する前記医療用画像を、前記表示装置に表示させる、医療用情報処理装置により実行される情報処理方法。

【請求項19】

撮像デバイスと、
画像を表示する表示装置と、
前記表示装置に画像を表示させて手術中にナビゲーション支援を行う術中ナビゲーション処理を実行可能な制御装置と、
を備え、
前記制御装置は、
過去の手術中に取得された手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
画像を前記表示装置に表示させる表示制御部と、
抽出された前記特徴データを編集する編集処理部と、
を備え、
前記選択部、前記抽出部、前記表示制御部、及び前記編集処理部のうち、前記選択部、前記抽出部、及び前記表示制御部は、前記術中ナビゲーション処理を実行可能とし、
前記術中ナビゲーション処理において、
前記選択部は、前記撮像デバイスにより撮像された医療用撮像画像の解析結果に基づき前記選択条件を設定して、前記対象データを選択し、
前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出し、
前記表示制御部は、抽出された前記医療用画像のうちの、前記医療用撮像画像に対応する前記医療用画像を、前記表示装置に表示させる、医療用情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療用情報処理装置、および情報処理方法に関する。

【背景技術】

【0002】

手術においては、手術に関連する様々な装置において生成される各種データ（以下、総称して、または、各データを指して、「手術データ」と示す場合がある。）が、記録媒体に記録されている。このような中、手術データを効率的に管理するための技術が開発されている。手術データを効率的に管理するための技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

【0003】

また、内視鏡により得られた内視鏡画像を解析する技術が開発されている。“内視鏡画像に含まれる細胞核を抽出して特徴を計測した結果と、内視鏡画像の全体に対してテクスチャ解析を行った結果とを用いて、病理診断に対応した分類を行う技術”としては、例えば下記の特許文献２に記載の技術が挙げられる。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２００６／０７７７９８号

【文献】特開２０１６－１５４８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したように、手術においては様々な装置により手術データ生成され、当該手術データは記録媒体に記録されている。例えば、医師などの医療従事者が記録媒体に記憶されている手術データを二次利用しようとする場合、医療従事者は、“手術データを全て再生し直し、編集ソフトなどを活用してスナップショットを切り出す”、“手術データと、解剖学図などの医療用イラスト画像とを照らし合わせて、症例の手術プロトコルのワークフローを作成する”など、膨大な作業を行う必要があった。

【0006】

本開示では、医療従事者の利便性の向上を図ることが可能な、新規かつ改良された医療用情報処理装置、および情報処理方法を提案する。

【課題を解決するための手段】

【0007】

本開示によれば、手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、選択された上記対象データから特徴を検出し、検出された特徴に対応する特徴データを、上記対象データから抽出する抽出部と、抽出された上記特徴データを編集する編集処理部と、を備え、上記抽出部は、上記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置が、提供される。

【0008】

また、本開示によれば、手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、選択された上記対象データから特徴を検出し、検出された特徴に対応する特徴データを、上記対象データから抽出するステップと、抽出された前記特徴データを編集するステップと、を有し、上記抽出するステップでは、上記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法が、提供される。

【発明の効果】

【0009】

本開示によれば、医療従事者の利便性の向上を図ることができる。

【0010】

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る医療用情報処理システムの構成の一例を示す説明図である。

【図2】本実施形態に係る情報処理方法に係る処理を説明するための説明図である。

【図3】本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。

【図4】本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。

【図5】本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。

【図6】本実施形態に係る情報処理方法に係る表示制御処理の一例を説明するための説明図である。

【図7】本実施形態に係る情報処理方法に係るアーム制御処理の一例を説明するための説明図である。

【図8】本実施形態に係る医療器具の格納場所の一例を説明するための説明図である。

【図9】本実施形態に係るアーム装置の構造の一例を示す説明図である。

【図10】本実施形態に係るアーム装置のアームの端部に設けられる保持部材の一例を示す説明図である。

【図11】本実施形態に係るアーム装置の動作の一例を示す説明図である。

【図12】本実施形態に係るアーム装置の動作の一例を示す説明図である。

【図13】本実施形態に係る情報処理方法に係るアーム制御処理の一例を説明するための説明図である。

【図14】本実施形態に係る医療用情報処理装置の構成の一例を示すブロック図である。

【図15】本実施形態に係る医療用情報処理装置のハードウェア構成の一例を示す説明図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る医療用情報処理装置
３．本実施形態に係るプログラム

【0014】

（本実施形態に係る情報処理方法）
以下では、本実施形態に係る医療用情報処理装置が、本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げる。また、以下では、“本実施形態に係る医療用情報処理装置を有する本実施形態に係る医療用情報処理システムの一例”を説明した後に、本実施形態に係る情報処理方法に係る処理について、説明する。

【0015】

［１］医療用情報処理システムの構成
図１は、本実施形態に係る医療用情報処理システム１０００の構成の一例を示す説明図である。図１では、手術データのうちの画像および／または音声を示すデータの流れを、破線で示している。また、図１では、上記画像および／または音声を示すデータ以外のデータ（例えば、他の手術データや、装置の制御に係るデータなど）の流れを、実線で示している。

【0016】

医療用情報処理システム１０００は、本実施形態に係る医療用情報処理装置１００を有する。医療用情報処理装置１００の構成の一例、および医療用情報処理装置１００における処理（本実施形態に係る情報処理方法に係る処理）の一例については、後述する。

【0017】

また、医療用情報処理システム１０００は、例えば、メディカルコントローラ１０と、取得装置と、記憶装置と、患者情報管理装置と、データ出力装置と、操作デバイスと、スイッチャ４６とを有する。医療用情報処理システム１０００を構成する各装置は、各装置が備えているバッテリなどの内部電源から供給される電力、または、各装置に接続されている外部電源から供給される電力などによって、駆動する。

【0018】

医療用情報処理システム１０００が有する取得装置は、各種の手術データを取得する装置である。取得装置としては、例えば、俯瞰カメラ１２、術野カメラ１４、内視鏡／医療機器１６、外部入力端子１８、インカム２０、生体モニタ２２、および麻酔システム２４が、挙げられる。

【0019】

医療用情報処理システム１０００が有する記憶装置は、取得された手術データを記憶する装置である。記憶装置としては、例えば、レコーダ２６、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２が、挙げられる。

【0020】

医療用情報処理システム１０００が有する患者情報管理装置は、患者についてのデータである患者情報を管理する装置である。患者情報管理装置としては、例えば、電子カルテサーバ３４と、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）サーバ３６とが、挙げられる。

【0021】

患者情報としては、例えば下記に示すデータ（またはデータ群）が挙げられる。なお、患者情報の例が、下記に示す例に限られないことは、言うまでもない。患者情報を構成するデータの一部または全部は、電子カルテサーバ３４に記憶されている電子カルテ情報（後述する）に該当する。
・患者を一意に示す識別データ（例えば患者を示すＩＤ）
・患者に対して行われる手術に適用される術式を示すデータ
・患者の性別を示すデータ
・患者の年代（または年齢）を示すデータ
・患者の身体データ
・疾患の種類を示すデータ
・患者の病歴を示すデータ
・患者の手術歴を示すデータ
・患者の投薬履歴を示すデータ
・患者の検査データ
・患者の術後に関する術後データ（例えば、ＱＡＬＩ（Quality Adjusted Life Years）を示すデータ、ＱＯＬ（Quality Of Life）を示すデータ、退院日数を示すデータ、合併症の有無および種類を示すデータなど）
・上記のデータの２以上の組み合わせ

【0022】

医療用情報処理システム１０００が有するデータ出力装置は、取得された手術データおよび／または患者情報を出力する装置である。データ出力装置としては、例えば、天井懸架モニタ３８、壁面モニタ４０、およびプリンタ４２が、挙げられる。なお、データ出力装置は、上記に示す例に限られない。例えば、データ出力装置は、タブレット型のデバイスや可搬型のコンピュータなどの、任意のモバイルデバイスであってもよい。

【0023】

医療用情報処理システム１０００が有する操作デバイスは、操作デバイスを用いる者が操作を行うことが可能なデバイスである。

【0024】

操作デバイスに対する操作によって、例えば、メディカルコントローラ１０などの医療用情報処理システム１０００を構成する様々な装置が操作される。メディカルコントローラ１０を操作する操作デバイスとしては、例えばタッチパネル４４が挙げられる。

【0025】

なお、医療用情報処理システム１０００が有する操作デバイスは、装置が操作するデバイスに限られない。例えば、操作デバイスに対する操作によってテキスト（例えば、文字列、文書）が入力される場合、医療用情報処理システム１０００が有する操作デバイスは、テキストデータを生成してもよい。

【0026】

医療用情報処理システム１０００が有するスイッチャ４６は、取得された手術データなどの様々なデータの各装置への入出力を制御する装置である。

【0027】

医療用情報処理システム１０００を構成する装置のうち、例えば、取得装置、データ出力装置および操作デバイスは、手術室内に設置される。また、医療用情報処理システム１０００を構成する装置のうち、メディカルコントローラ１０、記憶装置、患者情報管理装置、スイッチャ４６、および医療用情報処理装置１００は、例えば、手術室外であって、病院内または病院外の任意の位置に設置される。なお、医療用情報処理システム１０００を構成する各装置の配置の例が、上記に示す例に限られないことは、言うまでもない。

【0028】

以下、医療用情報処理システム１０００を構成する装置のうち、後述する医療用情報処理装置１００以外の装置について、より具体的に説明する。

【0029】

［１－１］メディカルコントローラ１０
メディカルコントローラ１０は、医療用情報処理システム１０００を構成する各装置と通信可能に接続されており、各装置の動作を制御する。なお、図１に示す例では、メディカルコントローラ１０は、インカム２０、生体モニタ２２、および麻酔システム２４とは接続されていない。そのため、図１に示す例では、インカム２０、生体モニタ２２、および麻酔システム２４それぞれは、メディカルコントローラ１０とは独立して動作可能である。

【0030】

具体的には、メディカルコントローラ１０は、取得装置の動作を制御し、手術データを取得させる。

【0031】

また、メディカルコントローラ１０は、記憶装置の動作を制御し、取得装置によって取得された手術データを記憶装置に記録させて、手術データを記憶装置に記憶させる。

【0032】

本実施形態に係る手術データとしては、例えば、画像データ、患者のバイタルデータ、手術に用いられる医療機器のログデータ、マイクロホンなどの音声入力デバイスにおいて集音された音声データなどが、挙げられる。手術データに含まれる画像データとしては、例えば、俯瞰カメラ１２、術野カメラ１４、内視鏡／医療機器１６（医療用観察装置の一例）などにおける撮像により生成された医療用撮像画像を示すデータが、挙げられる。また、手術データに含まれる画像データには、音声が含まれていてもよい。手術データに含まれる患者のバイタルデータとしては、例えば、患者の脈拍を示すデータ、患者の血圧を示すデータ、患者の出血量を示すデータなどが挙げられる。手術に用いられる医療機器のログデータとしては、例えば、電気メスやバイポーラなどの処置装置（図示せず）の動作時の設定値などを示すデータが、挙げられる。

【0033】

例えば、メディカルコントローラ１０は、スイッチャ４６の動作を制御することにより、スイッチャ４６を介して、記憶装置に当該画像データを送信させる。また、メディカルコントローラ１０は、記憶装置および患者情報管理装置にアクセスし、記憶装置および患者情報管理装置それぞれに記憶されている手術データおよび患者情報を読み出してもよい。

【0034】

また、メディカルコントローラ１０は、データ出力装置の動作を制御し、手術データおよび／または患者情報をデータ出力装置から出力させる。具体的には、メディカルコントローラ１０は、例えば、現在取得されている手術データに含まれる画像データを、ユーザの指示に従ってデータ出力装置から出力させる。また、メディカルコントローラ１０は、例えば、現在取得されている手術データに含まれる医療機器のログデータ、バイタルデータ、麻酔データ（後述する）、電子カルテ情報（後述する）およびＤＩＣＯＭ情報（後述する）のうちの１または２以上を、ユーザの指示に従ってデータ出力装置から出力させる。なお、図１に示す構成例のようにデータ出力装置が複数存在する場合には、ユーザの指示に従って、各装置から互いに異なるデータが出力されてもよい。

【0035】

また、メディカルコントローラ１０には、術野に照明光を照射する照明装置５０が接続されうる。照明装置５０は、例えば無影灯である。メディカルコントローラ１０は、ユーザの指示に従って、当該照明装置５０の動作も制御しうる。

【0036】

メディカルコントローラ１０は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサによって構成される。メディカルコントローラ１０のプロセッサが所定のプログラムに従って演算処理を実行することにより、上述した機能が実現される。

【0037】

［１－２］操作デバイス
操作デバイスは、操作デバイスを用いる者が操作を行うことが可能なデバイスである。

【0038】

上述したように、操作デバイスに対する操作によって、例えば、メディカルコントローラ１０などの医療用情報処理システム１０００を構成する様々な装置が操作される。例えば、メディカルコントローラ１０を操作する操作デバイスは、操作デバイスを操作する者の操作に応じて、メディカルコントローラ１０に対して各種の指示を示す操作信号を送信する。操作デバイスから送信される操作信号を受信したメディカルコントローラ１０は、操作信号が示す指示に従って、接続されている各種の装置の動作を制御する。

【0039】

また、上述したように、操作デバイスに対する操作によってテキストが入力される場合、操作デバイスは、テキストデータを生成してもよい。

【0040】

操作デバイスとしては、例えば、図１に示すタッチパネル４４や、マウス、キーボード、フットスイッチなどの各種スイッチ、レバー、リモートコントローラなどの操作を行うことが可能な任意のデバイスが挙げられる。また、操作デバイスは、マイクロホンなどの集音デバイスや、デジタルビデオカメラなどの撮像デバイスであってもよい。集音デバイスは、音声による操作を行うための操作デバイスとして機能し、撮像デバイスは、ジェスチャのような動きや形などで操作を行うための操作デバイスとして機能する。

【0041】

［１－３］取得装置
取得装置は、各種の手術データを取得する装置である。取得装置としては、例えば上述したように、俯瞰カメラ１２、術野カメラ１４、内視鏡／医療機器１６、外部入力端子１８、インカム２０、生体モニタ２２、および麻酔システム２４が、挙げられる。

【0042】

俯瞰カメラ１２は、手術室の天井に設置され、手術室内の様子（特に患者が位置している手術台の周囲の様子）を撮像する。俯瞰カメラ１２は、手術データとして、手術室内の様子が収められた画像データを取得する。

【0043】

術野カメラ１４は、手術室内において手術台の近くに設置され、術野の様子を撮像する。術野カメラ１４は、手術データとして、術野の様子が収められた画像データを取得する。

【0044】

内視鏡／医療機器１６は、内視鏡と、患者に対して処置を行う際に用いられる各種装置とを各種装置を概念的に１つの装置として表すものである。医療機器としては、例えば、“腹腔を拡張し手術スペースを作る気腹装置”や、“高周波電流や超音波振動などのエネルギーを使用して組織を凝固、切開、またはシーリングする処置装置”などが挙げられる。なお、医療機器は、上記に示す例に限られず、一般的に手術に用いられる様々な装置を含みうる。内視鏡によって、手術データとして、その内視鏡によって撮像された画像データが取得される。また、医療機器によって、手術データとして、医療機器が動作した際の設定値（例えば、気腹装置であれば送気量の設定値、処置装置であれば出力電力の設定値など）のログデータ（すなわち、医療機器のログデータ）が取得される。

【0045】

外部入力端子１８は、画像データやログデータなどの各種データを入力するための端子である。外部入力端子１８に機器が接続されることにより、当部機器からの画像データなどの各種データが医療用情報処理システム１０００に入力される。図１では、外部入力端子１８に接続される機器としてセンサデバイス５８を示している。

【0046】

なお、図１では、センサデバイス５８として生体センサデバイスを示しているが、図１に示すセンサデバイスは一例であり、外部入力端子１８には、ＩｏＴ（Internet of Things）デバイスやウェアラブルデバイスなどの、任意のセンサデバイスが接続されうる。また、センサデバイス５８が、外部入力端子１８に接続されることに限られないことは、言うまでもない。さらに、センサデバイス５８は、取得装置として機能しうる。

【0047】

インカム２０は、マイクロホンとして機能し、手術データとして、手術室内で発話された音声を示す音声データを取得する。上記音声データが示す音声としては、例えば、指導医による口頭での指示や、医療スタッフ間の会話などが挙げられる。

【0048】

生体モニタ２２は、手術データとして、手術中における患者のバイタルデータ（例えば、患者の脈拍や血圧などを示すデータ）を取得する。

【0049】

麻酔システム２４は、患者への麻酔の投与の制御、および患者に対して投与した麻酔量の管理など、手術中における麻酔に関する各種の制御、管理を行うシステムである。麻酔システム２４は、麻酔データを、手術データとして取得する。麻酔データとしては、例えば、麻酔に関する各種の制御、管理を行う過程で得られたログデータや、患者に対して投与した麻酔量の設定値などのデータが、挙げられる。

【0050】

なお、医療用情報処理システム１０００では、壁面モニタ４０などの表示デバイスが、タッチパネル機能を有してもよい。医療用情報処理システム１０００を構成する表示デバイスがタッチパネル機能を有する場合、当該表示デバイスは、取得装置として機能しうる。

【0051】

壁面モニタ４０がタッチパネル機能を有する場合を例に挙げると、例えば、指導医は、内視鏡によって撮像された画像などが表示されている壁面モニタ４０の表示画面を操作することにより、執刀医に対して何らかの指示をだす。このとき、壁面モニタ４０を介して入力された指導医の指示を示すデータは、壁面モニタ４０の表示画面に表示されている画像データに対するアノテーションデータとして機能しうる。よって、表示デバイスがタッチパネル機能を有する場合、医療用情報処理システム１０００では、上記アノテーションデータなどの表示デバイスの表示画面に対する操作に応じたデータが、手術データとして取得されうる。

【0052】

俯瞰カメラ１２、術野カメラ１４、および内視鏡／医療機器１６によって取得された画像データは、それぞれ、コンバータ５２を介して、所定の伝送方式で送信され、スイッチャ４６に入力される。また、外部入力端子１８によって取得された画像データは、コンバータ５２を介して、所定の伝送方式で送信され、スイッチャ４６に入力される。また、インカム２０によって取得された音声データは、コンバータ５２を介して、所定の伝送方式で送信され、スイッチャ４６に入力される。

【0053】

スイッチャ４６は、入力されたデータを、コンバータ５２を介して、所定の伝送方式で動画サーバ２８に送信する。このとき、アノテーションデータが取得されている場合には、アノテーションデータは、スイッチャ４６によって、対応する画像データと関連付けて動画サーバ２８に送信される。動画サーバ２８は、スイッチャ４６から送信されたデータを記憶する。

【0054】

また、内視鏡／医療機器１６の医療機器によって取得された医療機器のログデータは、メディカルコントローラ１０を介して、機器ログデータサーバ３０に記憶される。また、当該医療機器によって取得された医療機器のログデータの表示データは、コンバータ５２を介して、所定の伝送方式で、スイッチャ４６に送信される。

【0055】

また、生体モニタ２２および麻酔システム２４によって取得されたバイタルデータおよび麻酔データは、麻酔科サーバ３２に記憶される。また、生体モニタ２２および麻酔システム２４によって取得されたバイタルデータおよび麻酔データのうちの表示データは、コンバータ５２を介して、所定の伝送方式で、スイッチャ４６に送信される。上述したように、生体モニタ２２および麻酔システム２４は、メディカルコントローラ１０とは独立して設置されていてもよい。そのため、生体モニタ２２および麻酔システム２４によって取得されたバイタルデータおよび麻酔データは、メディカルコントローラ１０を経由することなく、麻酔科サーバ３２に直接的に記憶されうる。また、バイタルデータおよび麻酔データのうちの表示データは、スイッチャ４６に直接的に送信されうる。

【0056】

なお、取得装置は、手術データを取得する際に、その手術データを取得した時刻を、手術データと関連付けて同時に取得しうる。取得装置は、例えば、手術データが取得された時刻を示す時間データを、手術データのメタデータとして生成する。

【0057】

なお、上述した取得装置は一例であり、医療用情報処理システム１０００は、取得装置として機能する他の医療機器を含んでいてもよい。一例を挙げると、ある医療機器において、患者の出血量や患者に投与された輸液量が、所定の時間間隔で測定される場合、当該医療機器は、取得装置として機能する。上記ある医療機器において測定された出血量などを示すデータは、例えば、患者のバイタルデータとして、麻酔科サーバ３２に記憶される。また、上記ある医療機器は、出血量などを測定した時刻を、上記バイタルデータのメタデータとして生成してもよい。

【0058】

［１－４］記憶装置
記憶装置は、手術データを記憶する装置である。記憶装置としては、例えば上述したように、レコーダ２６、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２が、挙げられる。

【0059】

動画サーバ２８は、例えば、手術データのうち、画像データを記憶する。動画サーバ２８は、例えば、俯瞰カメラ１２、術野カメラ１４、内視鏡／医療機器１６、および外部入力端子１８によって取得された画像データを、スイッチャ４６を介して受信し、記憶する。このとき、取得装置によって画像データとアノテーションデータとが取得された場合、メディカルコントローラ１０は、アノテーションデータを画像データと関連付けて、動画サーバ２８に記憶させる。

【0060】

機器ログデータサーバ３０は、例えば、手術データのうち、内視鏡／医療機器１６によって取得された医療機器のログデータを、メディカルコントローラ１０を介して受信し、記憶する。

【0061】

麻酔科サーバ３２は、例えば、手術データのうち、生体モニタ２２および麻酔システム２４によって取得された、バイタルデータおよび麻酔データそれぞれを記憶する。

【0062】

レコーダ２６は、例えば、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２のバックアップ装置として機能する。レコーダ２６は、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２に記憶される手術データの一部または全部を、記憶する。レコーダ２６が記憶する手術データの種類は、医療用情報処理システム１０００の利用者によって適宜決定されてよい。レコーダ２６が設けられることにより、万が一、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２のいずれかに異常が発生した場合であっても、手術データの復旧が容易となる。よって、レコーダ２６が設けられることにより、医療用情報処理システム１０００の信頼性が向上する。なお、図１では、レコーダ２６を１つのみ示しているが、医療用情報処理システム１０００は、複数のレコーダ２６を有していてもよい。また、複数のレコーダ２６を有する場合、各レコーダに記憶されるデータは、同一であってもよいし、一部または全部が異なっていてもよい。

【0063】

レコーダ２６、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２それぞれは、電子カルテサーバ３４に記憶されている電子カルテ情報（後述する）のうちの、手術データに対応する患者の電子カルテ情報を、手術データと対応付けて記憶してもよい。一例を挙げると、患者のＩＤや手術の執刀医のＩＤなど（電子カルテ情報に含まれるデータの一例）が、手術データと対応付けて記憶される。“電子カルテサーバ３４から、レコーダ２６、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２それぞれへの、電子カルテ情報の伝達”は、例えばメディカルコントローラ１０からの制御により実現される。

【0064】

［１－５］患者情報管理装置
患者情報管理装置は、患者情報を管理する装置である。患者情報管理装置としては、例えば上述したように、電子カルテサーバ３４と、ＤＩＣＯＭサーバ３６とが、挙げられる。

【0065】

電子カルテサーバ３４は、電子カルテ情報を記憶する。

【0066】

上述したように、電子カルテ情報には、患者情報を構成するデータの一部または全部が含まれる。一例を挙げると、電子カルテ情報としては、例えば、患者を一意に示す識別データ（例えば患者を示すＩＤ）、患者の身体データ、患者の病歴を示すデータ、患者の手術歴を示すデータなどが挙げられる。患者の手術歴を示すデータには、手術を担当した執刀医や、その手術に参加した看護師などを特定するＩＤが含まれうる。なお、電子カルテ情報には、電子カルテを実現するために一般的に含まれうる任意のデータが、含まれていてもよい。

【0067】

ＤＩＣＯＭサーバ３６は、患者のＤＩＣＯＭ情報を記憶する。ＤＩＣＯＭサーバ３６では、ＤＩＣＯＭ情報が、患者のＩＤと関連付けて記憶される。

【0068】

ＤＩＣＯＭ情報としては、例えば、患者のＣＴ（Computed Tomographic）画像を示すＣＴ画像データ、患者のＭＲＩ（Magnetic Resonance Imaging）画像を示すＭＲＩ画像データなどが、挙げられる。また、ＤＩＣＯＭ情報には、ＤＩＣＯＭに則った任意のデータが含まれてよい。

【0069】

［１－６］スイッチャ４６
スイッチャ４６は、画像データなどの各種のデータの各装置への入力の制御と、当該各種のデータの各装置からの出力の制御とを行う装置である。医療用情報処理システム１０００では、画像データなどの各種のデータは、スイッチャ４６を介して各装置に入力され、スイッチャ４６を介して各装置から出力される。スイッチャ４６の動作は、スイッチャ制御装置４８によって制御される。また、スイッチャ制御装置４８の動作は、メディカルコントローラ１０により制御される。つまり、メディカルコントローラ１０は、スイッチャ制御装置４８を介してスイッチャ４６の動作を制御することが可能である。

【0070】

具体的には、スイッチャ４６は、例えば上述したように、取得装置によって取得された画像データを、コンバータ５２を介して所定の伝送方式で動画サーバ２８に送信する。また、スイッチャ４６は、取得装置によって取得された手術データを、コンバータ５２を介して所定の伝送方式で取得する。

【0071】

また、スイッチャ４６は、メディカルコントローラ１０から伝達される制御信号に基づいて動作してもよい。一例を挙げると、スイッチャ４６は、メディカルコントローラ１０から伝達される制御信号に基づいて、手術データをコンバータ５２を介して所定の伝送方式でデータ出力装置に送信する。また、他の例を挙げると、スイッチャ４６は、メディカルコントローラ１０から伝達される制御信号に基づいて、患者情報管理装置に記憶されている電子カルテ情報とＤＩＣＯＭ情報との一方または双方を取得し、取得された情報の表示データを、コンバータ５２を介して、所定の伝送方式でデータ出力装置に送信する。

【0072】

なお、医療用情報処理システム１０００では、画像データなどを伝送するための伝送経路として、伝送形式が異なる複数の伝送経路が設けられていてもよい。伝送形式が異なる複数の伝送経路が設けられることによって、医療用情報処理システム１０００では、万が一、一の伝送経路に異常が発生したとしても、他の伝送経路によって画像データなどを正常に伝送することが可能となる。伝送方式としては、例えば、ＤＶＩ（Digital Visual Interface）に対応する伝送方式、ＳＤＩ（Serial Digital Interface）に対応する伝送方式（例えば、ＨＤ－ＳＤＩ）、ＩＰ（Internet Protocol）を利用した伝送方式などが、挙げられる。なお、伝送形式が異なる複数の伝送経路が設けられる場合、医療用情報処理システム１０００では、採用されている伝送方式に対応する外部入力端子１８、スイッチャ４６、およびコンバータ５２が、設けられる。上記の場合、医療用情報処理システム１０００では、外部入力端子１８、スイッチャ４６、およびコンバータ５２が、伝送方式ごとに設けられていてもよい。

【0073】

［１－７］データ出力装置
データ出力装置は、取得された手術データおよび／または患者情報を出力する装置である。データ出力装置としては、例えば上述したように、天井懸架モニタ３８、壁面モニタ４０、およびプリンタ４２が、挙げられる。

【0074】

天井懸架モニタ３８は、手術室内において天井から吊り下げられて設置される表示デバイスである。壁面モニタ４０は、手術室内において壁面に設置される表示デバイスである。

【0075】

天井懸架モニタ３８および壁面モニタ４０は、例えば、手術データに含まれる画像データを表示画面に表示する。なお、天井懸架モニタ３８および壁面モニタ４０は、スピーカなどの音声出力デバイスを有してもよい。つまり、天井懸架モニタ３８および壁面モニタ４０は、手術データに含まれる音声データが示す音声を、画像データが示す画像の表示と共に出力することも可能である。

【0076】

また、天井懸架モニタ３８および壁面モニタ４０は、例えば、手術データに含まれる医療機器のログデータ、バイタルデータ、麻酔データのうちの１または２以上が示す内容を、表示画面に表示させてもよい。手術データに含まれる各データの表示の例としては、時間軸に沿ったグラフの形式での表示が、挙げられる。

【0077】

また、天井懸架モニタ３８および壁面モニタ４０は、例えば、電子カルテ情報とＤＩＣＯＭ情報との一方または双方が示す内容を、表や画像などの任意の形式で表示させてもよい。

【0078】

天井懸架モニタ３８、壁面モニタ４０としては、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどが挙げられる。

【0079】

プリンタ４２は、手術データおよび／または患者情報が示す内容を、紙などに印刷する。

【0080】

医療用情報処理システム１０００は、例えば図１を参照して示した構成を有する。なお、本実施形態に係る医療用情報処理システムの構成は、図１を参照して示した構成に限られない。例えば、医療用情報処理システム１０００は、後述するアーム装置２００などの医療に関する様々な装置を有していてもよい。

【0081】

［２］本実施形態に係る情報処理方法に係る処理
次に、図１に示す医療用情報処理装置１００が、本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る情報処理方法に係る処理について、説明する。

【0082】

［２－１］本実施形態に係る情報処理方法の概要
図１を参照して説明したように、医療用情報処理システム１０００では、手術データなどの様々なデータが生成され、各装置で記憶される。

【0083】

ここで、医療用情報処理システム１０００を構成する装置（医療用情報処理システム１０００からアクセスすることが可能な任意の装置も含む。以下、同様とする。）に記憶されているデータのデータ数、データ量が、大きくなればなる程、これらのデータの有効活用が困難となることが、想定される。一例として医師などの医療従事者が手術データを二次利用する場合を想定すると、医療用情報処理システム１０００を構成する装置に記憶されているデータのデータ数、データ量が、大きくなればなる程、医療従事者が膨大な作業を行わなければならない可能性が高い。

【0084】

そこで、医療用情報処理装置１００は、医療用情報処理システム１０００を構成する装置に記憶されているデータから、“所定の選択条件に対応するデータであって、かつ所定の特徴に対応するデータ”を抽出する。本実施形態に係る特徴とは、患者や術部の状態、医療関係者の行動、医療機器の動作状態など、実施された手術に関連する事象を含む。以下では、医療用情報処理装置１００が処理の対象とする、医療用情報処理システム１０００を構成する装置に記憶されているデータを、「候補データ」と示す。

【0085】

本実施形態に係る候補データには、例えば、図１を参照して説明した“取得装置により取得されて記憶装置に記憶されている手術データ”などの手術データが含まれる。なお、候補データは、手術データに限られない。例えば、候補データには、解剖学図を示す画像などの医療用イラスト画像を示す画像データなどの、手術データ以外のデータが含まれていてもよい。

【0086】

以下では、上記所定の選択条件に対応するデータを、「対象データ」と示す。また、以下では、“対象データのうちの所定の特徴に対応するデータ”、すなわち、“候補データのうちの、所定の選択条件に対応し、かつ所定の特徴に対応するデータ”を、「特徴データ」と示す。対象データの一例、および特徴データの一例については、後述する。

【0087】

医療用情報処理装置１００が、候補データから特徴データを抽出することによって、特徴データのデータ数、データ量は、医療用情報処理システム１０００を構成する装置に記憶されているデータのデータ数、データ量よりも、小さくなる。よって、医療用情報処理装置１００が、本実施形態に係る情報処理方法に係る処理により特徴データを抽出することによって、医療用情報処理システム１０００を構成する装置に記憶されているデータの有効活用は、より容易となる。

【0088】

したがって、医療用情報処理装置１００は、医療従事者の利便性の向上を図ることができる。

【0089】

［２－２］本実施形態に係る情報処理方法に係る処理の一例
以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。

【0090】

医療用情報処理装置１００は、本実施形態に係る情報処理方法に係る処理として、例えば下記の（１）に示す選択処理、および下記の（２）に示す抽出処理を行う。

【0091】

（１）選択処理
医療用情報処理装置１００は、候補データから、選択条件に対応する対象データを選択する。

【0092】

本実施形態に係る選択条件とは、少なくとも、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む条件である。

【0093】

患者の属性に関する条件としては、例えば下記に示す例が挙げられる。
・患者の性別に関する条件：男性、または、女性
・患者の年代（または年齢）に関する条件：１０代、２０代、…など
・患者の身体に関する条件：身長、体重、ＢＭＩ（Body Mass Index）のうちの１または２以上など
・これらの組み合わせ

【0094】

なお、患者の属性に関する条件の例は、上記に示す例に限られない。例えば、患者の属性に関する条件には、患者の属性を無視するという条件が、含まれていてもよい。患者の属性を無視するという条件が、患者の属性に関する条件として設定された場合、患者の属性に依存しない対象データが、候補データから選択されることとなる。

【0095】

手技の種類に関する条件としては、例えば、術式の名称、または、術式を一意に示すＩＤなど、手技を特定することが可能な任意の条件が、挙げられる。

【0096】

なお、手技の種類に関する条件の例は、上記に示す例に限られない。例えば、手技の種類に関する条件には、手技の種類を無視するという条件が、含まれていてもよい。手技の種類を無視するという条件が、手技の種類に関する条件として設定された場合、手技の種類に依存しない対象データが、候補データから選択されることとなる。

【0097】

疾患の種類に関する条件としては、例えば、疾患の名称、または、疾患を一意に示すＩＤなど、疾患を特定することが可能な任意の条件が、挙げられる。

【0098】

なお、疾患の種類に関する条件の例は、上記に示す例に限られない。例えば、疾患の種類に関する条件には、疾患の種類を無視するという条件が、含まれていてもよい。疾患の種類を無視するという条件が、疾患の種類に関する条件として設定された場合、疾患の種類に依存しない対象データが、候補データから選択されることとなる。

【0099】

本実施形態に係る選択条件としては、上記に示すような“患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む条件”が、挙げられる。

【0100】

なお、本実施形態に係る選択条件は、上記に示す例に限られない。例えば、選択条件には、執刀医に関する条件、投薬されている薬剤に関する条件などの、１または２以上の他の条件が、含まれていてもよい。執刀医に関する条件としては、例えば、執刀医の名称、または、執刀医を一意に示すＩＤなど、執刀医を特定することが可能な任意の条件が、挙げられる。薬剤に関する条件としては、例えば、薬剤の名称、または、薬剤を一意に示すＩＤなど、薬剤を特定することが可能な任意の条件が、挙げられる。

【0101】

選択条件は、例えば、医療用情報処理装置１００が備える操作部（後述する）に対する操作や、リモートコントローラなどの医療用情報処理装置１００の外部の操作デバイスに対する操作によって、設定される。

【0102】

なお、選択条件の設定方法は、操作に基づく設定方法に限られない。例えば、医療用情報処理装置１００は、手術中に取得された手術データに基づき選択条件を設定することも可能である。

【0103】

手術データに基づく選択条件の設定の例としては、例えば、音声データが示す音声の解析結果に基づく選択条件の設定、医療用撮像画像の解析結果に基づく選択条件の設定などが、挙げられる。医療用情報処理装置１００は、例えば、音声に対する任意の音声認識処理の結果、所定の音声が認識された場合に、認識された音声に対応する選択条件を設定する。また、例えば、医療用撮像画像に対する任意の画像認識処理の結果、医療従事者の所定の動きや、所定の医療機器、医療器具が認識された場合に、認識結果に対応する選択条件を設定する。

【0104】

例えば上記のように、手術データに基づく選択条件の設定が行われることによって、選択条件の自動的な設定が実現される。また、選択条件が自動的に設定されることによって、例えば、“手術中に術式が変更された場合に、変更後の術式に対応する対象データが自動的に選択されて、変更後の術式に対応する特徴データが自動的に抽出されること”が、実現される。

【0105】

医療用情報処理装置１００は、例えば、医療用情報処理システム１０００を構成する記憶装置に直接的にアクセスして、記憶装置が記憶しているデータ（候補データを含むデータの一例。以下、同様とする。）の中から、選択条件を満たすデータを検索することにより、対象データを選択する。本実施形態に係る対象データの選択とは、例えば、“対象データが記憶されている場所を特定すること”、または、“検索された対象データを、対象データが記憶されている場所から取得すること”を、意味する。

【0106】

また、医療用情報処理装置１００は、例えば、“選択条件を満たすデータを検索させる命令、および検索結果を示す応答を行わせる命令を含む制御信号”を、メディカルコントローラ１０などの外部装置に対して送信することにより、外部装置に選択条件を満たすデータを検索させてもよい。この場合、外部装置が、記憶装置が記憶しているデータの中から選択条件を満たすデータを検索することにより、対象データが選択される。

【0107】

医療用情報処理装置１００または上記制御信号を受信する外部装置は、例えば、手術データなどの候補データ、および候補データに関連付けられているメタデータなどの、記憶装置が記憶しているデータに対して、任意の情報検索技術に係る処理を行うことによって、選択条件を満たすデータを検索する。

【0108】

（２）抽出処理
上記選択処理によって対象データが選択されると、医療用情報処理装置１００は、選択された対象データから特徴を検出し、検出された特徴に対応する特徴データを、対象データから抽出する。

【0109】

本実施形態に係る特徴は、例えば、特定の医療機器（例えば、電気メスやバイポーラなどの処置装置）の動作状態、患者の状態、術場における医療従事者の動き、術場において医療従事者が行った発話内容、あるいはこれらの組み合わせなどに基づき検出される。

【0110】

例えば、医療用情報処理装置１００は、処置装置が非動作状態から動作状態へと切り替わった時点、または、処置装置が動作状態から非動作状態へと切り替わった時点を、特徴として検出する。医療用情報処理装置１００は、医療機器のログデータ（手術データの一例）に基づき特徴を検出する。

【0111】

また、医療用情報処理装置１００は、例えば、患者のバイタルが大きく変動した時点を、特徴として検出する。医療用情報処理装置１００は、例えば、患者のバイタルデータ（手術データの一例）を用いた閾値処理によって、特徴を検出する。

【0112】

また、医療用情報処理装置１００は、例えば、術場において医療従事者の所定の動きが検出された時点を、特徴として検出する。医療用情報処理装置１００は、例えば、医療用撮像画像を示す画像データ（手術データの一例）が示す医療用撮像画像に対して任意の画像認識処理を行うことによって、特徴を検出する。以下では、医療用撮像画像を示す画像データを「医療用撮像画像」と示す場合がある。

【0113】

また、医療用情報処理装置１００は、例えば、操作デバイスに対する操作により入力されたテキストから、所定の文言が検出された場合、テキストが入力された時点を、特徴として検出する。医療用情報処理装置１００は、例えば、テキストデータ（手術データの一例）が示すテキストに対して任意の構文解析処理などを行うことによって、特徴を検出する。

【0114】

また、医療用情報処理装置１００は、例えば、術場において医療従事者の所定の発話内容が検出された時点を、特徴として検出する。医療用情報処理装置１００は、例えば、音声データ（手術データの一例）が示す音声に対して任意の音声認識処理を行うことによって、特徴を検出する。

【0115】

つまり、医療用情報処理装置１００は、状態に関する特徴と動作に関する特徴との一方または双方を、対象データから検出する。状態に関する特徴としては、例えば、上記特定の医療機器の動作状態に基づく特徴と、上記患者の状態に基づく特徴とが該当する。動作に関する特徴としては、例えば、上記術場における医療従事者の動きに基づく特徴、上記術場において医療従事者が行った発話内容に基づく特徴とが該当する。

【0116】

上記に示す例のように、医療用情報処理装置１００は、“対象データから所定の状態が検出されたときの、対象データにおける時点”を、状態に関する特徴として検出する。また、医療用情報処理装置１００は、“対象データから所定の動作が検出されたときの、対象データにおける時点”を、動作に関する特徴として検出する。つまり、本実施形態に係る特徴は、状態に関する特定の時点、または、動作に関する特定の時点であると捉えることができる。また、本実施形態に係る特徴データは、所定の状態となった時点に対応するデータ、または所定の動作が行われた時点に対応するデータであると捉えることができる。

【0117】

特徴が検出されると、医療用情報処理装置１００は、上述したように、検出された特徴に対応する特徴データを対象データから抽出する。

【0118】

ここで、検出された特徴に対応する特徴データとしては、特徴が検出された対象データが挙げられる。

【0119】

例えば、医療用撮像画像から特徴が検出された場合、医療用情報処理装置１００は、特徴が検出された時点に撮像された医療用撮像画像（静止画像）、または、特徴が検出された時点を含む設定された期間に撮像された医療用撮像画像（動画像）を、特徴データとして抽出する。また、例えば、音声データから特徴が検出された場合、医療用情報処理装置１００は、特徴が検出された時点に集音された音声データ、または、特徴が検出された時点を含む設定された期間に集音された音声データを、特徴データとして抽出する。また、例えば、テキストデータから特徴が検出された場合、医療用情報処理装置１００は、当該テキストデータを、特徴データとして抽出する。

【0120】

なお、検出された特徴に対応する特徴データは、上記に示す例に限られない。例えば、検出された特徴に対応する特徴データは、特徴が検出された対象データに関連付けられている任意の対象データであってもよい。

【0121】

一例を挙げると、特徴が検出された対象データが医療用撮像画像である場合、医療用情報処理装置１００は、特徴が検出された時点に撮像された医療用撮像画像に対応する医療用イラスト画像を、特徴データとして抽出する。医療用撮像画像に対応する医療用イラスト画像としては、例えば、術式、症例などが一致（または類似）している解剖学図が、挙げられる。特徴が検出された対象データが医療用撮像画像である場合、医療用情報処理装置１００は、特徴が検出された時点を含む設定された期間に、操作デバイスに対する操作により入力されたテキストを示すテキストデータ、特徴データとして抽出することも可能である。

【0122】

また、他の例を挙げると、特徴が検出された対象データが音声データである場合、医療用情報処理装置１００は、特徴が検出された時点に撮像された医療用撮像画像や、特徴が検出された時点を含む設定された期間に入力されたテキストデータなどを、特徴データとして抽出する。さらに他の例を挙げると、特徴が検出された対象データがテキストデータである場合、医療用情報処理装置１００は、当該テキストデータが入力された時点に撮像された医療用撮像画像や、当該テキストデータが入力された時点を含む設定された期間に集音された音声データなどを、特徴データとして抽出する。

【0123】

なお、特徴が検出された対象データに関連付けられている対象データの例が、上記に示す例に限られないことは、言うまでもない。また、医療用情報処理装置１００は、特徴が検出された対象データと、１または２以上の特徴が検出された対象データに関連付けられている対象データとを、特徴データとして抽出することも可能である。

【0124】

医療用情報処理装置１００は、例えば、少なくとも設定されている特定の種類のデータを、特徴データとして抽出してもよい。

【0125】

例えば、医療用情報処理装置１００は、少なくとも医療用画像を示す画像データを、特徴データとして抽出する、本実施形態に係る医療用画像としては、例えば、医療用撮像画像と、医療用イラスト画像との一方または双方など、医療に関連する任意の画像が、挙げられる。以下では、医療用画像を示す画像データを「医療用画像」と示す場合がある。

【0126】

一般的に、医療従事者の視覚で認識される画像は、音声などの医療従事者の他の感覚で認識される媒体よりも、情報量が大きい。よって、医療用情報処理装置１００が少なくとも医療用画像を特徴データとして抽出することによって、より情報量が大きな特徴データを、抽出することができる。また、情報量がより大きな特徴データを抽出することは、例えば、後述する編集処理、および後述する表示制御処理それぞれにおいて有益である。

【0127】

医療用情報処理装置１００は、例えば、機械学習により特徴データを抽出する。より具体的には、医療用情報処理装置１００は、例えば、機械学習による学習済みモデルを使って特徴データを抽出する。機械学習には、例えば、対象データからの特徴の検出に係る学習と、対象データからの特徴データの抽出に係る学習との一方または双方が含まれる。本実施形態に係る機械学習としては、例えば、深層学習（deep learning）や、深層学習と強化学習（reinforcement learning）とを組み合わせた深層強化学習（deep reinforcement learning）などの、任意の学習方法による機械学習が、挙げられる。具体例を挙げると、医療用情報処理装置１００は、例えば、リカレントニューラルネットワークを用いた学習や、ロングショートタームメモリのニューラルネットワークを用いた学習が、挙げられる。

【0128】

医療用情報処理装置１００は、例えば上記のように、選択された対象データから特徴を検出して、検出された特徴に対応する特徴データを対象データから抽出する。医療用情報処理装置１００は、上記（１）の処理（選択処理）において対象データが選択されるごと、換言すると選択条件が変わるごとに、特徴データを抽出する。

【0129】

なお、本実施形態に係る抽出処理は、上記に示す例に限られない。

【0130】

例えば、医療用情報処理装置１００は、特徴データを抽出した根拠を通知させてもよい。医療用情報処理装置１００は、例えば、ルールベースでの抽出根拠、または、知識ベースでの抽出根拠を通知させる。医療用情報処理装置１００は、“上記根拠を示す画像および／または上記根拠を示す文字列を、表示デバイスの表示画面に表示させることによる視覚的な通知”、“上記根拠を示す音声を、音声出力デバイスから出力させることによる聴覚的な通知”、あるいは、これらの組み合わせによって、特徴データを抽出した根拠を通知させる。

【0131】

医療用情報処理装置１００が特徴データを抽出した根拠を通知させることによって、医療従事者は、特徴データが抽出された根拠を認識することができる。よって、医療用情報処理装置１００が特徴データを抽出した根拠を通知させることによって、本実施形態に係る情報処理方法に係る処理により抽出された特徴データは、医療従事者にとって受け入れやすいデータとなりうる。

【0132】

医療用情報処理装置１００は、本実施形態に係る情報処理方法に係る処理として、例えば上記（１）の処理（選択処理）、および上記（２）の処理（抽出処理）を行う。

【0133】

ここで、上記（１）の処理（選択処理）および上記（２）の処理（抽出処理）が行われることによって、候補データから特徴データが抽出される。また、特徴データのデータ数、データ量は、候補データ、すなわち、医療用情報処理システム１０００を構成する装置に記憶されているデータのデータ数、データ量よりも、小さくなる。よって、特徴データが抽出されることにより、医療用情報処理システム１０００を構成する装置に記憶されているデータの有効活用は、より容易となる。

【0134】

したがって、例えば上記（１）の処理（選択処理）および上記（２）の処理（抽出処理）を行うことによって、医療用情報処理装置１００は、医療従事者の利便性の向上を図ることができる。

【0135】

なお、本実施形態に係る情報処理方法に係る処理は、上記（１）の処理（選択処理）および上記（２）の処理（抽出処理）に限られない。例えば、医療用情報処理装置１００は、抽出された特徴データを用いた処理を、さらに行うことが可能である。

【0136】

図２は、本実施形態に係る情報処理方法に係る処理を説明するための説明図である。図２のＡに示す術前計画工程、図２のＢに示す手術工程、図２のＣに示す編集工程は、ある患者に対して手術が行われる場合の流れの一例を示している。

【0137】

抽出された特徴データが利用されるユースケースを想定すると、当該ユースケースとしては、ある患者に対して手術が行われた後に特徴データが利用されるユースケースと、ある患者に対して手術を行うときに特徴データが利用されるユースケースとの一方または双方のユースケースが、考えられる。

【0138】

ある患者に対して手術が行われた後に特徴データが利用されるユースケースに対応する処理としては、例えば、“抽出された特徴データを用いた編集処理”が挙げられる。編集処理の一例をとしては、図２に示すＤ１～Ｄ５それぞれに示す処理が、挙げられる。

【0139】

ある患者に対して手術を行うときに特徴データが利用されるユースケースに対応する一の処理としては、例えば“手術中に取得された手術データに対応する医療用画像（特徴データの一例）を、表示画面に表示させる表示制御処理”が、挙げられる。表示制御処理が行われることによって、例えば図２に示すＥに示す術中ナビゲーション支援（手術中のナビゲーション支援）のような、医療従事者の支援が、実現される。

【0140】

また、ある患者に対して手術を行うときに特徴データが利用されるユースケースに対応する他の処理としては、例えば“手術中に取得された手術データに対応する特徴データに基づいて、アームの動作を制御するアーム制御処理”が、挙げられる。

【0141】

本実施形態に係るアームとは、例えば、医療器具を搬送することが可能なアームである。本実施形態に係るアームは、例えば、複数のリンクが関節部によって互いに連結されて構成される。本実施形態に係るアームの自由度は、例えば、関節部およびリンクの数や配置、関節部の駆動軸の方向などによって、所望の自由度を有するように設定することが可能である。本実施形態に係るアームの一例については、後述する。

【0142】

ここで、本実施形態に係るアームは、医療用情報処理装置１００の外部装置が備えるアームであってもよいし、医療用情報処理装置１００が備えるアームであってもよい。以下では、本実施形態に係るアームが、医療用情報処理装置１００の外部装置が備えるアームである場合を主に例に挙げる。

【0143】

つまり、医療用情報処理装置１００は、本実施形態に係る情報処理方法に係る抽出された特徴データを用いた処理として、上記編集処理、上記表示制御処理、および上記アーム制御処理のうちの一部または全部を、行ってもよい。

【0144】

なお、本実施形態に係る情報処理方法に係る抽出された特徴データを用いた処理は、上記編集処理、上記表示制御処理、および上記アーム制御処理に限られない。例えば、医療用情報処理装置１００は、“抽出された特徴データを、医療用情報処理システム１０００を構成する記憶装置に記憶させる処理”や、“抽出された特徴データを、医療用情報処理システム１０００の外部の装置に送信する処理”など、抽出された特徴データを用いた任意の処理を、行うことも可能である。

【0145】

以下、本実施形態に係る情報処理方法に係る抽出された特徴データを用いた処理の一例として、編集処理、表示制御処理、およびアーム制御処理についてそれぞれ説明する。

【0146】

（３）編集処理
医療用情報処理装置１００は、抽出された特徴データを編集する。医療用情報処理装置１００は、医療用情報処理装置１００の利用者の操作に基づいて、または、自動的に、特徴データを編集する。編集処理の例としては、上述したように、図２に示すＤ１～Ｄ５それぞれに示す処理が、挙げられる。

【0147】

図３～図５は、本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。図３は、医療用情報処理システム１０００を構成する装置に記憶されている候補データの一例を示している。図４は、編集処理の結果の一例を概念的に示す説明図であり、図５は、編集処理の結果の他の例を概念的に示す説明図である。

【0148】

図２のＤ２に示す自動編集に係る処理を例に挙げる。医療用情報処理装置１００は、例えば図４に示すように、一症例が実施されるごとに、上記（２）に示す処理（抽出処理）により抽出された手術の主要なシーンを、タグデータ（メタデータ）と共に、一つの症例ファイルを生成する。

【0149】

図２のＤ５に示す手技プロトコル生成に係る処理を例に挙げる。医療用情報処理装置１００は、例えば図５に示すように、症例Ａに対応する複数の症例ファイルから、症例Ａのプロトコルを示すプロトコルファイル（プロトコルデータ）を作成する。症例Ａのプロトコルとは、症例Ａの手技マニュアルに該当する。また、医療用情報処理装置１００が作成するプロトコルファイルは、症例Ａのベストプラクティスを示す手技マニュアルに該当する。

【0150】

医療用情報処理装置１００は、医療用情報処理装置１００が備える操作部（後述する）に対する操作などに基づいて、複数の症例ファイルから、症例Ａのプロトコルファイルを作成する（手動による編集の例）。

【0151】

また、例えば、操作部（後述する）に対する操作などにより同一属性の患者群が選択された場合、医療用情報処理装置１００は、症例Ａのプロトコルファイルを自動的に作成してもよい（自動による編集の例）。患者の属性としては、例えば、年代、体重、ＢＭＩなど、患者情報に含まれる任意の指標（または、患者情報に含まれる任意の指標の組み合わせ）が、挙げられる。

【0152】

医療用情報処理装置１００は、例えば、“患者属性から平均分布を算出し（平均年齢、平均体重、ＢＭＩなど）、平均値を含む患者属性群の中から症例Ａに適した画像例などを自動的に選択すること”などによって、症例Ａのプロトコルファイルを自動的に作成する。また、医療用情報処理装置１００は、機械学習によって、抽出された特徴データから症例Ａに適した画像例などを自動的に選択してもよい。

【0153】

例えば、医療用情報処理装置１００が選択された同一属性の患者群に対して症例のプロトコルファイルを作成されることによって、医療用情報処理システム１０００では、“症例ごとかつ患者の属性ごとに、プロトコルが自動的に作成されること”が、実現される。

【0154】

例えば上記のように症例Ａのプロトコルファイルが作成された後、医療用情報処理装置１００は、操作部（後述する）に対する操作などにより、および／または、機械学習により、症例Ａに適した画像例などを、手動でまたは自動的に、置換することも可能である。つまり、編集処理により作成された症例のプロトコルファイルは、適宜更新されうる。

【0155】

医療用情報処理装置１００は、例えば上記のように、抽出された特徴データを編集する。なお、編集処理の例が、上記に示す例に限られないことは、言うまでもない。

【0156】

（４）表示制御処理
医療用情報処理装置１００は、手術中に取得された手術データに対応する医療用画像（特徴データの一例）を表示画面に表示させる。手術データに対応する医療用画像が表示画面に表示されることによって、上述したように、例えば図２に示すＥに示す術中ナビゲーション支援のような医療従事者の支援が、実現される。つまり、手術データに対応する医療用画像は、手術中のナビゲーション画像に該当しうる。

【0157】

医療用画像を表示させる表示画面としては、例えば、図１に示す天井懸架モニタ３８や壁面モニタ４０などの任意の表示デバイスが、挙げられる。医療用情報処理装置１００は、例えば、手術データに対応する医療用画像を示す画像データと表示命令を含む制御信号とを、表示デバイスに送信することによって、手術データに対応する医療用画像を表示画面に表示させる。

【0158】

医療用情報処理装置１００は、例えば、表示画面全体に医療用画像を表示させる。また、医療用情報処理装置１００は、例えば、ＰＩＰ（Picture In Picture）表示や、ＰＯＰ（Picture Out Picture）表示などによって、表示画面の一部の領域に医療用画像を表示させてもよい。

【0159】

図６は、本実施形態に係る情報処理方法に係る表示制御処理の一例を説明するための説明図である。

【0160】

図６のＡは、手術中に取得される手術データから特定される、手術状況を示している。図６のＡでは、手術状況を、特徴が検出されるシーンごとに分けて示している。手術状況に対応する特徴は、上記（２）に示す処理（抽出処理）における特徴の検出と同様に、検出される。

【0161】

図６のＢは、症例Ａおよび術式Ａに対応する術中ナビゲーション支援の一環として表示画面に表示される、シーンごとの医療用画像を概念的に示している。図６のＣは、症例Ａおよび術式Ｂに対応する術中ナビゲーション支援の一環として表示画面に表示される、シーンごとの医療用画像を概念的に示している。

【0162】

術中ナビゲーション支援が行われる場合、医療用情報処理装置１００は、図６のＡおよび図６のＢに示すように、実際の手術状況に先行して、次のシーンに対応する医療用画像を、表示画面に表示させる。

【0163】

医療現場では、手術中に状況に応じて術式が変更されることがある。状況に応じて術式が変更される場合、医療用情報処理装置１００は、図６のＡおよび図６のＣに示すように、実際の手術状況に先行して、“変更後の術式に対応し、かつ次のシーンに対応する医療用画像”を表示画面に表示させる。

【0164】

医療用情報処理装置１００は、例えば、医療用情報処理装置１００が備える操作部（後述する）などに対する操作などに基づいて、上記“変更後の術式に対応し、かつ次のシーンに対応する医療用画像”を表示画面に表示させる。

【0165】

また、医療用情報処理装置１００は、例えば、手術データから検出された術式の変更の検出結果に基づいて、上記“変更後の術式に対応し、かつ次のシーンに対応する医療用画像”を表示画面に表示させてもよい。医療用情報処理装置１００は、例えば、医療用撮像画像に対する任意の画像認識処理の結果、音声に対する任意の音声認識処理の結果、あるいは、これらの組み合わせによって、手術データから術式の変更を検出する。

【0166】

上記“変更後の術式に対応し、かつ次のシーンに対応する医療用画像”を表示画面に表示させる場合、医療用情報処理装置１００は、“表示画面に表示させる医療用画像を抽出した根拠”を通知させてもよい。“表示画面に表示させる医療用画像を抽出した根拠”は、表示画面に表示させる医療用画像に対応する、上述した“特徴データを抽出した根拠”に該当する。

【0167】

医療用情報処理装置１００が“表示画面に表示させる医療用画像を抽出した根拠”を通知させることによって、“表示画面に表示された医療用画像による術中ナビゲーション支援が、医療従事者にとって受け入れやすくなる”という効果が、奏される。

【0168】

なお、医療現場では、術前計画によっては、患者に対する１つの手術内で複数の術式が行われる場合もある。予め複数の術式が行われる場合においても、医療用情報処理装置１００は、上記手術中に状況に応じて術式が変更される場合と同様に、術式の切り替えに対応する術中ナビゲーション支援を、行うことができる。

【0169】

医療用情報処理装置１００は、例えば上記のように、手術中に取得された手術データに対応する医療用画像を表示画面に表示させる。

【0170】

なお、表示制御処理の例は、上記に示す例に限られない。例えば、医療用情報処理装置１００は、さらに、表示画面に表示させる医療用画像に対応する特徴データの内容を、医療従事者に対して通知してもよい。一例を挙げると、医療用情報処理装置１００は、医療用画像の表示による術中ナビゲーション支援と共に、医療用画像に対応する音声を音声出力デバイスから出力させる。

【0171】

（５）アーム制御処理
医療用情報処理装置１００は、医療器具を搬送することが可能なアームの動作を制御する

【0172】

（５－１）アーム装置の一例、およびアーム装置２００の動作の一例
アーム制御処理について説明する前に、本実施形態に係る医療器具を搬送することが可能なアームを備えるアーム装置の一例、およびアーム装置２００の動作の一例について、説明する。

【0173】

図７は、本実施形態に係る情報処理方法に係るアーム制御処理の一例を説明するための説明図である。図７は、医療器具を搬送することが可能なアームを備えるアーム装置２００が用いられる手術現場の一例を示している。

【0174】

手術現場では、執刀医が使用する医療機器の受け渡しが、器械出し看護師（Scrub Nurse）により行われている。その一方で、医療分野では、器械出し看護師の不足の問題が認識されている。そのため、今後、図７に示すアーム装置２００のような装置が、器械出し看護師の役目を担っていくことが、想定される。

【0175】

アーム装置２００は、例えば上述したように、複数のリンクが関節部によって互いに連結されて構成されるアームを備える装置であり、当該アームが移動することによって、医療器具を搬送する。図７では、“アーム装置２００が、機材格納場所Ｐ１、機材設置場所Ｐ２、および機材廃棄場所Ｐ３の間を移動して、各場所に医療器具を搬送する例”を、示している。

【0176】

なお、アーム装置２００が医療器具を搬送する場所は、図７に示す例に限られない。例えば、アーム装置２００は、“手術中に使用済になった医療器具のうち、滅菌処理を行う医療器具を格納する場所”などの様々な場所に、医療器具を搬送することが可能である。また、例えば“手術中に使用済になった医療器具のうち、滅菌処理を行う医療器具を格納する場所”に医療器具を搬送する場合、機材廃棄場所Ｐ３は設けられていなくてもよい。以下では、“アーム装置２００が、機材格納場所Ｐ１、機材設置場所Ｐ２、および機材廃棄場所Ｐ３の間を移動して、各場所に医療器具を搬送する例”について説明する。

【0177】

機材格納場所Ｐ１とは、手術で使用される予定の医療器具が配置される格納場所であり、いわゆるメイヨー台に相当する。機材設置場所Ｐ２とは、機材格納場所Ｐ１から搬送される、執刀医が使用する医療器具が配置される格納場所である。機材廃棄場所Ｐ３とは、使用された医療器具のうち、廃棄される医療器具が集められる格納場所である。なお、医療器具が格納される格納場所は、機材格納場所Ｐ１、機材設置場所Ｐ２、および機材廃棄場所Ｐ３に限られない。例えば、本実施形態に係る格納場所には、術中に追加される医療器具が配置される追加機材格納場所が、含まれていてもよい。

【0178】

図８は、本実施形態に係る医療器具の格納場所の一例を説明するための説明図である。図８では、格納場所として、機材格納場所Ｐ１、追加機材格納場所Ｐ１’、および機材廃棄場所Ｐ３を示している。なお、図８では、機材格納場所Ｐ１と追加機材格納場所Ｐ１’とを分けているが、機材格納場所Ｐ１および追加機材格納場所Ｐ１’は、同一の格納場所（例えば、同一のメイヨー台）であってもよい。

【0179】

機材格納場所Ｐ１には、手術開始前に予め医療器具が配置される。機材格納場所Ｐ１では、例えば図８に示すように、医療器具が配置される場所がユニークに分類される。なお、俯瞰カメラ１２により撮像された撮像画像や、センサなどによって、機材格納場所Ｐ１に配置された医療器具が一意に特定することが可能な場合には、機材格納場所Ｐ１における医療器具が配置される場所は、分類されていなくてもよい。医療器具は、例えば、撮像画像から形状やパターンなどを認識すること、医療器具に付与されているＲＦ（Radio Frequency）タグからＲＦＩＤ（Radio Frequency IDentification）を読み出すことなどによって、特定される。

【0180】

機材格納場所Ｐ１における場所と医療器具との対応付けは、例えば、機材格納場所Ｐ１に医療器具が配置されるときに行われ、対応付け結果を示す情報は、医療用情報処理装置１００が備える記憶部（後述する）などに記憶される。なお、機材格納場所Ｐ１における場所と医療器具との対応付けは、医療用情報処理装置１００が自動的に行ってもよいし、医療用情報処理装置１００が備える操作部（後述する）などによる操作によって、手動で行われてもよい。対応付け結果を示す情報としては、例えば、医療器具が配置される場所を示すＩＤおよび医療器具のＩＤとが対応付けられたデータ、医療器具の形状を示すデータ、医療器具に付与されたＲＦタグのＲＦＩＤを示すデータなどが、挙げられる。また、対応付け結果を示す情報には、さらに、医療器具が使用後に廃棄されるものであるかを示す廃棄情報（例えば、廃棄されるか否かを示すフラグなど）が、含まれていてもよい。廃棄情報は、自動的にまたは手動で設定される。

【0181】

追加機材格納場所Ｐ１’には、術中に追加される医療器具が配置される。追加機材格納場所Ｐ１’へ医療器具が配置される場合、機材格納場所Ｐ１における医療器具の配置と同様に、追加機材格納場所Ｐ１’における場所と医療器具との対応付けが行われる。

【0182】

機材廃棄場所Ｐ３には、ガーゼや針などの廃棄される医療器具が集められる。図８に示すように、機材廃棄場所Ｐ３には、医療器具が廃棄される場所がユニークに分類され、廃棄物が分別される。なお、廃棄物を分別する必要がない場合、機材廃棄場所Ｐ３では、医療器具が廃棄される場所が１つであってもよい。

【0183】

図９は、本実施形態に係るアーム装置２００の構造の一例を示す説明図である。アーム装置２００は、例えば、図９のＡに示すような手術ベッドのベッドレールに装着する構造、図９のＢに示すような台座と一体化した構造、図９のＣに示すような天井懸垂されたシーリングペンダント型の構造をとることが可能である。なお、アーム装置２００の構造は、図９に示す例に限られず、アームを移動させることにより医療器具を搬送することが可能な、任意の構造をとることが可能である。

【0184】

アーム装置２００は、例えば、アーム装置２００全体の動作を制御するプロセッサ（図示せず）と、医療用情報処理装置１００などの外部装置と無線または有線で通信を行うことが可能な通信デバイス（図示せず）と、筐体と、アームと、アームの端部に設けられる保持部材とを備える。アーム装置２００は、例えば、アーム装置２００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

【0185】

プロセッサ（図示せず）としては、例えばＭＰＵ（Micro Processing Unit）やＣＰＵなどが挙げられる。また、通信デバイス（図示せず）としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。プロセッサ（図示せず）と通信デバイス（図示せず）とは、例えば筐体内に設けられる。

【0186】

保持部材は、アームの端部に設けられ、様々な大きさ、形状の医療器具を保持する。

【0187】

図１０は、本実施形態に係るアーム装置２００のアームの端部に設けられる保持部材の一例を示す説明図である。保持部材は、例えば、医療器具を把持する構造（図１０のＡ）、磁力や空気により医療器具を吸引する構造（図１０のＢ）、医療器具を掬い上げるスコップ型の構造（図１０のＣ）、あるいは、これらを組み合わせた構成（図１０のＤ）を有することによって、様々な医療器具を保持する。なお、保持部材の構造は、図１０に示す例に限られず、アーム装置２００は、１つまたは２つ以上の医療器具を保持することが可能な、任意の構造を有していてもよい。

【0188】

また、保持部材は、滅菌処理が可能な素材で構成され、アームから着脱可能な機構を有する。保持部材をアームから取り外すことが可能な機構としては、例えば、ラッチ式の着脱機構、ボタン式の着脱機構、サムターン式の着脱機構などの、保持部材をアームから取り外すことが可能な任意の機構が、挙げられる。保持部材が、滅菌処理が可能な素材で構成され、かつ、アームから着脱可能な機構を有することによって、アーム装置２００は、手術現場における清潔域での動作に対応することができる。

【0189】

なお、保持部材は、滅菌処理が可能な素材で構成されていなくてもよい。この場合、保持部材は、ディスポーザブルなものとされ、適宜廃棄されることによって、アーム装置２００は、手術現場における清潔域での動作に対応することができる。

【0190】

保持部材は、例えば、人が医療器具を掴むなどの動作時に加わる応力を検出することが可能な、任意のセンサを有し、一定の応力が検出されると把持力を弱くして、医療器具を離す。

【0191】

保持部材は、例えば無線または有線で、アーム装置２００本体から電力が供給される。また、保持部材とプロセッサ（図示せず）とは、例えば、無線または有線で接続され、無線または有線で通信を行うことにより信号の送受信を行う。

【0192】

アーム装置２００は、例えば、筐体、プロセッサ（図示せず）、通信デバイス（図示せず）、アーム、および保持部材を備える。

【0193】

なお、アーム装置２００の構成は、上記に示す例に限られない。例えば、アーム装置２００は、例えば、ＴＯＦ（Time of Flight）方式などの任意の方式で物体との間の距離を測定することが可能な、距離センサ（図示せず）をさらに備えていてもよい。

【0194】

距離センサ（図示せず）は、アーム装置２００のアーム部分など、通常使用時に医療従事者が触れない部分に、１または２以上設けられ、当該部分の周辺に存在する物体との距離を測定する。１または２以上の距離センサ（図示せず）は、例えば、上記通常使用時に医療従事者が触れない部分の全周囲に存在する物体との距離が測定されるように配置される。なお、１または２以上の距離センサ（図示せず）のセンシング範囲は、例えば、設計段階や製造段階などにおいて任意に設定されうる。

【0195】

距離センサ（図示せず）は、例えばプロセッサ（図示せず）と無線または有線で接続され、無線通信または有線通信によって検出結果を示す信号を送信する。検出結果を示す信号を受信したプロセッサ（図示せず）は、検出結果を示す信号が示す距離に基づいて、アームの動作を制御する。一例を挙げると、プロセッサ（図示せず）は、検出結果を示す信号が示す距離が設定されている閾値以下である場合（または、当該距離が当該閾値より小さい場合）に、動かしているアームの速度を小さくする、アームを停止させる、あるいは、アームの端部に設けられる保持部材の軌跡（保持部材の移動ルート）を変える。

【0196】

例えば、上記のように距離センサ（図示せず）の検出結果に基づきアームの動作が制御されることによって、アーム装置２００は、人、障害物などとの衝突を予測して、安全にアームを減速させ、安全にアームを停止させ、あるいは、安全にアームの衝突を回避させることができる。

【0197】

なお、安全に減速、停止、回避を行うためのアームの移動を行うためのセンサが、距離センサ（図示せず）に限られないことは、言うまでもない。

【0198】

また、アーム装置２００が距離センサ（図示せず）などを備えていない場合であっても、アーム装置２００のプロセッサ（図示せず）は、例えば、俯瞰カメラ１２により撮像された撮像画像を画像処理することによって、安全に減速、停止、回避を行うためのアームの移動を、実現することが可能である。プロセッサ（図示せず）は、例えば、撮像画像に基づき“アーム装置２００と、人、障害物などとの相対位置関係”を認識し、認識結果に応じてアームの制御を行う。

【0199】

図１１、図１２は、本実施形態に係るアーム装置２００の動作の一例を示す説明図である。図１１は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される動作の一例を示している。また、図１２は、機材設置場所Ｐ２から機材廃棄場所Ｐ３へと医療器具が搬送される動作の一例を示している。

【0200】

まず、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合の一例を説明する。

【0201】

アーム装置２００は、例えば、医療用情報処理装置１００におけるアーム制御処理に応じた制御信号に従って、機材格納場所Ｐ１に格納されている医療器具のうちの特定の医療器具を、機材設置場所Ｐ２へと搬送する。

【0202】

なお、アーム装置２００は、医療従事者の操作に基づいて、機材格納場所Ｐ１に格納されている医療器具のうちの特定の医療器具を、機材設置場所Ｐ２へと搬送することも、可能である。医療器具の搬送に係る操作としては、例えば、リモートコントローラなどの操作デバイスに対する操作、マイクロホンなどの音声入力デバイスに対する音声による操作、任意の撮像デバイスにより検出される視線による操作、任意の撮像デバイスにより検出される動きによる操作などが、挙げられる。

【0203】

各種操作は、例えば医療用情報処理装置１００において認識される。医療用情報処理装置１００は、認識された操作に対応する制御信号をアーム装置２００へ送信する。そして、アーム装置２００は、操作に対応する制御信号に従って、機材格納場所Ｐ１に格納されている医療器具のうちの特定の医療器具を、機材設置場所Ｐ２へと搬送する。

【0204】

アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具を搬送すると、保持されている医療器具を機材設置場所Ｐ２へ置く。そして、アーム装置２００は、アームを所定のスタンバイ位置に移動させる。また、アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具を搬送し、執刀医などが医療器具を掴むなどの動作時に加わる応力が検出された場合に、アームを所定のスタンバイ位置に移動させてもよい。

【0205】

所定のスタンバイ位置としては、例えば、初期設定位置や、俯瞰カメラ１２により撮像された撮像画像に基づき設定される位置（例えば、人や物が存在しない空間位置）が、挙げられる。上記所定のスタンバイ位置の設定に係る処理は、アーム装置２００のプロセッサ（図示せず）が行ってもよいし、医療用情報処理装置１００が行ってもよい。

【0206】

次に、機材設置場所Ｐ２から機材廃棄場所Ｐ３へと医療器具が搬送される場合の一例を説明する。

【0207】

アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合と同様に、例えば、医療用情報処理装置１００におけるアーム制御処理に応じた制御信号に従って、機材設置場所Ｐ２に格納されている医療器具を、機材廃棄場所Ｐ３へと搬送する。また、アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合と同様に、医療従事者の操作に基づいて、機材設置場所Ｐ２に格納されている医療器具を機材廃棄場所Ｐ３へと搬送してもよい。

【0208】

アーム装置２００は、機材設置場所Ｐ２に格納されている医療器具を把持するなどして保持し、保持された医療器具を機材廃棄場所Ｐ３へと搬送する。また、アーム装置２００は、例えば、執刀医などの医療従事者の手から医療器具を把持するなどして保持し、保持された医療器具を機材廃棄場所Ｐ３へと搬送することも可能である。

【0209】

アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合と同様に、例えば、機材設置場所Ｐ２から機材廃棄場所Ｐ３へと医療器具を搬送すると、保持されている医療器具を機材廃棄場所Ｐ３へ置き、アームを所定のスタンバイ位置に移動させる。また、アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合と同様に、例えば、看護師などが医療器具を掴むなどの動作時に加わる応力が検出された場合に、アームを所定のスタンバイ位置に移動させてもよい。

【0210】

（５－２）アーム制御処理の一例
次に、上述したアーム装置２００の動作を実現するための、アーム制御処理の一例を説明する。

【0211】

上述したように、医療用情報処理装置１００は、アーム装置２００のアームの動作を制御する制御信号を、アーム装置２００に対して送信することによって、アーム装置２００を動作させる。

【0212】

一例を挙げると、医療用情報処理装置１００は、手術中に取得された手術データに対応する特徴データに基づいて、手術の進行状況を特定する。そして、医療用情報処理装置１００は、特定された進行状況に対応する医療器具が当該進行状況に対応する所定の位置に搬送されるように、アーム装置２００のアームの動作を制御する。

【0213】

医療用情報処理装置１００は、上記（２）に示す処理（抽出処理）における特徴の検出と同様に、手術状況に対応する特徴を検出し、検出された特徴から手術の進行状況を特定する。手術の進行状況を特定することは、例えば図６のＡに示したような、特徴が検出されるシーンを特定することに該当する。

【0214】

手術の進行状況が特定されると、医療用情報処理装置１００は、特定された手術の進行状況に対応する医療器具、および当該医療器具の格納場所を特定する。医療用情報処理装置１００は、例えば、記憶部（後述する）などの記録媒体に記憶されている“手術の進行状況、使用される医療器具を示す情報、および格納場所を示す情報が対応付けられたテーブル（またはデータベース）”を参照することによって、特定された手術の進行状況に対応する医療器具、および特定された手術の進行状況に対応する医療器具の格納場所（医療器具の搬送先となる場所）を特定する。

【0215】

医療器具を示す情報としては、例えば、医療器具のＩＤを示すデータ、医療器具の形状を示すデータ、医療器具に付与されたＲＦタグのＲＦＩＤを示すデータなど、医療器具を特定することが可能な任意の形式のデータが、挙げられる。医療器具を示す情報としては、例えば、医療用情報処理装置１００の使用者などの操作により設定されたデータと、医療用情報処理装置１００が機械学習を行うことにより設定されるデータとの一方または双方が、挙げられる。

【0216】

格納場所を示す情報としては、例えば、機材格納場所Ｐ１に対応するＩＤを示すデータ、機材設置場所Ｐ２に対応するＩＤを示すデータ、機材廃棄場所Ｐ３に対応するＩＤを示すデータ、および追加機材格納場所Ｐ１’に対応するＩＤを示すデータなど、格納場所を間接的に示すデータが、挙げられる。また、格納場所を示す情報は、各格納場所の空間座標を示すデータなどの、格納場所を直接的に示すデータであってもよい。

【0217】

そして、医療用情報処理装置１００は、“特定された手術の進行状況に対応する医療器具を、特定された手術の進行状況に対応する格納場所へ搬送させるための制御命令”を含む制御信号を、アーム装置２００へ送信する。

【0218】

例えば上記のように、特徴データに基づき特定される手術の進行状況に対応する制御信号を、アーム装置２００へ送信することによって、医療用情報処理装置１００は、術中ナビゲーション支援と連携して、アーム装置２００の動作を制御することができる。また、医療用情報処理装置１００が、術中ナビゲーション支援と連携してアーム装置２００の動作を制御することによって、“アーム装置２００が、執刀医などの医療従事者の操作がなくとも、手術の進行状況に対応する医療器具を、手術の進行状況に対応する格納場所へ自動的に搬送すること”が、実現される。

【0219】

図１３は、本実施形態に係る情報処理方法に係るアーム制御処理の一例を説明するための説明図である。図１３のＡは、図６と同様に、実際の手術の状況と、術中ナビゲーションとの関係の一例を示している。図１３のＢは、術中ナビゲーション支援と連携したアーム装置２００の動作の制御一例を、示している。

【0220】

例えば図１３に示すように、医療用情報処理装置１００は、実際の手術の状況に対応するシーンを特定し、特定されたシーンに対応する医療器具を、特定されたシーンに対応する格納場所である機材設置場所Ｐ２へと搬送する。

【0221】

なお、本実施形態に係るアーム制御処理は、上記に示す例に限られない。例えば、医療用情報処理装置１００は、操作デバイスに対する操作や音声による操作などの各種操作を認識し、認識された操作に対応する制御信号をアーム装置２００へ送信することも、可能である。医療用情報処理装置１００が認識された操作に対応する制御信号をアーム装置２００へ送信することによって、執刀医などの医療従事者は、意図した動作をアーム装置２００に行わせることができる。

【0222】

（本実施形態に係る医療用情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、医療用情報処理装置１００の構成の一例を説明する。

【0223】

［Ｉ］医療用情報処理装置１００の構成の一例
図１４は、本実施形態に係る医療用情報処理装置１００の構成の一例を示すブロック図である。医療用情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。

【0224】

また、医療用情報処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、医療用情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。医療用情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

【0225】

ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。

【0226】

記憶部（図示せず）は、医療用情報処理装置１００が備える記憶手段であり、例えば、“ネットワーク構造を示す情報、ハイパーパラメータ、およびトレーニングデータセット、機械学習済みのニューラルネットワークモジュールなどの、機械学習に係るデータ”などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの、様々なデータを記憶する。ネットワーク構造を示す情報、ハイパーパラメータ、およびトレーニングデータセットは、機械学習のためのデータに該当する。ここで、記憶部（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部（図示せず）は、医療用情報処理装置１００から着脱可能であってもよい。

【0227】

本実施形態に係るネットワーク構造を示す情報とは、例えば、ニューラルネットワークなどの任意のネットワークの構造を示す情報である。ネットワーク構造を示す情報としては、例えば、データ間の関係をグラフ構造で表現することが可能な任意の形式のデータが、挙げられる。

【0228】

本実施形態に係るハイパーパラメータとは、学習のためのパラメータである。ネットワーク構造を示す情報がニューラルネットワークの構造を示す情報である場合を例に挙げると、ハイパーパラメータとしては、例えば、ニューロンの数、ネットワークの層数、学習率などが挙げられる。なお、本実施形態に係るハイパーパラメータは、上記に示す例に限られず、例えば、学習が行われることによりネットワーク構造を示す情報が示すネットワークに対して幅を持たせることが可能な、任意のパラメータであってもよい。

【0229】

本実施形態に係るトレーニングデータセットとは、複数の学習のために用いられるトレーニングデータを含むデータ群である。トレーニングデータとしては、画像データやテキストデータなどの、学習内容に応じた任意の形式のデータが、挙げられる。

【0230】

操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。なお、医療用情報処理装置１００は、操作部（図示せず）と表示部（図示せず）との一方または双方を備えていなくてもよい。

【0231】

［医療用情報処理装置１００のハードウェア構成例］
図１５は、本実施形態に係る医療用情報処理装置１００のハードウェア構成の一例を示す説明図である。医療用情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、医療用情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。また、医療用情報処理装置１００は、例えば、医療用情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

【0232】

ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、医療用情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、医療用情報処理装置１００において、例えば、後述する選択部１１０、抽出部１１２、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の役目を果たす。なお、選択部１１０、抽出部１１２、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部は、専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。

【0233】

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

【0234】

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの、様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、医療用情報処理装置１００から着脱可能であってもよい。

【0235】

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。

【0236】

また、操作入力デバイス１６０は、例えば、医療用情報処理装置１００上に備えられ、医療用情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。

【0237】

また、表示デバイス１６２は、例えば、医療用情報処理装置１００上に備えられ、医療用情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。

【0238】

なお、入出力インタフェース１５８が、医療用情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。

【0239】

通信インタフェース１６４は、医療用情報処理装置１００が備える通信手段であり、医療用情報処理システム１０００を構成する他の装置と、無線または有線で通信を行うための通信部１０２として機能する。また、通信インタフェース１６４は、医療用情報処理システム１０００を構成する装置以外の装置と、無線または有線で通信を行うことも可能である。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。

【0240】

医療用情報処理装置１００は、例えば図１５に示す構成によって、上述した本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る医療用情報処理装置１００のハードウェア構成は、図１５に示す構成に限られない。

【0241】

例えば、医療用情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。

【0242】

また、医療用情報処理装置１００は、例えば、記録媒体１５６、操作入力デバイス１６０、および表示デバイス１６２のうちの一部または全部を備えない構成をとることが可能である。

【0243】

また、医療用情報処理装置１００は、例えば、後述する医療用情報処理装置１００の適用例に応じた構成をとることが可能である。

【0244】

また、例えば、図１５に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated Circuit）で実現されてもよい。

【0245】

再度図１４を参照して、医療用情報処理装置１００の構成の一例について説明する。通信部１０２は、医療用情報処理装置１００が備える通信手段であり、医療用情報処理システム１０００を構成する他の装置と、無線または有線で通信を行う。また、通信部１０２は、医療用情報処理システム１０００を構成する装置以外の装置と、無線または有線で通信を行うことも可能である。通信部１０２における通信は、例えば制御部１０４により制御される。

【0246】

ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。

【0247】

制御部１０４は、例えばＭＰＵなどで構成され、医療用情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、選択部１１０と、抽出部１１２と、編集処理部１１４と、表示制御部１１６と、アーム制御部１１８を有し、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。

【0248】

選択部１１０は、上記（１）の処理（選択処理）を主導的に行う役目を果たし、候補データから、選択条件に対応する対象データを選択する。選択部１１０は、例えば、操作部（図示せず）に対する操作などにより手動で選択条件が選択されるごと、および／または、手術中に取得された手術データに基づき選択条件が設定されるごとに、設定された選択条件に対応する対象データを選択する。なお、選択条件が設定されたときに、設定された選択条件が変更されていない場合、選択部１１０は、対象データを選択しなくてもよい。

【0249】

抽出部１１２は、上記（２）の処理（抽出処理）を主導的に行う役目を果たし、選択部１１０において選択された対象データから特徴を検出し、検出された特徴に対応する特徴データを、対象データから抽出する。抽出部１１２は、選択部１１０において対象データが選択されるごとに、特徴データを抽出する。抽出部１１２は、例えば、深層学習などの機械学習により特徴データを抽出する。

【0250】

抽出部１１２は、例えば、特徴データとして少なくとも医療用画像を抽出する。なお、選択部１１０において選択された対象データに医療用画像が含まれない場合、または、検出された特徴に対応する対象データが存在しない場合には、抽出部１１２は、医療用画像以外の特徴データを抽出することが可能である。

【0251】

編集処理部１１４は、上記（３）の処理（編集処理）を主導的に行う役目を果たし、抽出部１１２において抽出された特徴データを編集する。編集処理の一例をとしては、例えば、図２に示すＤ１～Ｄ５それぞれに示す処理や、図３～図５を参照して説明した処理（変形例も含む）が、挙げられる。

【0252】

表示制御部１１６は、上記（４）の処理（表示制御処理）を主導的に行う役目を果たし、手術中に取得された手術データに対応する医療用画像を表示画面に表示させる。編集処理の一例をとしては、例えば図６を参照して説明した処理（変形例も含む）が、挙げられる。

【0253】

アーム制御部１１８は、上記（５）の処理（アーム制御処理）を主導的に行う役目を果たし、医療器具を搬送することが可能なアームの動作を制御する。上述したように、アーム制御部１１８が制御するアームは、アーム装置２００などの外部装置が備えるアームであってもよいし、医療用情報処理装置１００が備えるアームであってもよい（医療用情報処理装置１００がアーム装置として機能する場合）。

【0254】

アーム制御部１１８は、例えば、手術中に取得された手術データに対応する特徴データに基づき手術の進行状況を特定して、アームの動作を制御する。また、アーム制御部１１８は、例えば、操作デバイスに対する操作や音声による操作などの各種操作を認識し、認識された操作に対応するように、アームの動作を制御することも、可能である。

【0255】

医療用情報処理装置１００は、例えば図１４に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。

【0256】

なお、医療用情報処理装置１００の構成は、図１４に示す例に限られない。

【0257】

例えば、医療用情報処理装置１００は、選択部１１０、抽出部１１２、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。

【0258】

また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、医療用情報処理装置１００は、通信部１０２を備えていなくてもよい。

【0259】

また、医療用情報処理装置１００は、例えば、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部を、有していなくてもよい。編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部を有さない場合であっても、医療用情報処理装置１００は、上記（１）の処理（選択処理）および上記（２）の処理（抽出処理）を行うことが可能である。よって、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部を有さない場合であっても、医療用情報処理装置１００は、医療従事者の利便性の向上を図ることができる。

【0260】

なお、上記（１）の処理（選択処理）、上記（２）の処理（抽出処理）、上記（３）の処理（編集処理）、上記（４）の処理（表示制御処理）、および上記（５）の処理（アーム制御処理）は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、医療用情報処理装置１００の構成は、図１４に示す例に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。

【0261】

［ＩＩ］本実施形態に係る医療用情報処理装置１００の適用例
以上、本実施形態に係る医療用情報処理システムの構成要素として、医療用情報処理装置１００を挙げて説明したが、本実施形態は、かかる形態に限られない。医療用情報処理装置１００は、例えば、“ＰＣ（Personal Computer）やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“アーム装置２００のような、医療器具を搬送することが可能なアームを備える装置”など、上述した医療用情報処理装置１００において行われる処理（本実施形態に係る情報処理方法に係る処理）を行うことが可能な、任意の機器に適用することができる。また、医療用情報処理システムでは、メディカルコントローラ１０などの医療用情報処理システムを構成する他の機器が、医療用情報処理装置１００として機能してもよい。さらに、医療用情報処理装置１００は、例えば、上記のような機器に組み込むことが可能なＩＣに適用することもできる。

【0262】

また、本実施形態に係る医療用情報処理装置１００は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。上記処理システムの一例としては、例えば“処理システムを構成する一の装置によって、医療用情報処理装置１００において行われる処理（本実施形態に係る情報処理方法に係る処理）の一部の処理が行われ、処理システムを構成する他の装置によって、医療用情報処理装置１００において行われる処理における当該一部の処理以外の処理が行われるシステム”などが、挙げられる。

【0263】

［ＩＩＩ］本実施形態に係る医療用情報処理装置１００が用いられることにより奏される効果の一例
本実施形態に係る医療用情報処理装置１００が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る医療用情報処理装置１００が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・術場にあるカメラやマイクからの入力データとそれらに同期した時間データとを関連付け、様々な特徴（例えば、“術場の人や機材の動きなどが自動的に検出された特徴”、“術中の処置具（鉗子やメスなど）の動きや、執刀医の指示（音声）などから自動的に検出された特徴”、“執刀医、助手などが入力装置を用いて入力されたデータから自動的に検出された特徴”など）を、一つのファイルシステムとして、管理することができる。
・特徴に対応する時点の前後のシーンを切り出して繋ぎ合わせるなどの、自動編集が実現される。
・自動編集されたファイルは、医師などが手動でテキストや図などを追加するなど、解剖学や医師などの知見に基づく手動での編集が可能である。これにより、例えば症例の応じた手技プロトコルの作成が容易となる。
・患者情報や症例ごとに分類されたデータを機械学習などを行うことによって、性別、年齢、体型などの患者の属性に応じた症例分類を、自動的に行うことができる。
・症例数の増加に応じて、適宜抽出シーンの追加や、置換候補の提示、自動的な置換を行うことができる。
・抽出された特徴データ、または、当該特徴データに基づき作成されたプロトコルファイルに基づいて、表示画面への医療用画像の表示、および／または、音声の出力（音声ガイド）が可能となる。よって、表示画面への医療用画像の表示、および／または、音声の出力（音声ガイド）による術中ナビゲーション支援が、実現される。

【0264】

（本実施形態に係るプログラム）
コンピュータシステムを、医療用情報処理装置１００として機能させるためのプログラム（コンピュータプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、医療従事者の利便性の向上を図ることができる。本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。

【0265】

医療用情報処理装置１００として機能させるためのプログラムとしては、例えば下記に示すプログラムが、挙げられる。；
・図１４に示す“選択部１１０”および“抽出部１１２”として機能させるプログラム
・図１４に示す“選択部１１０”、“抽出部１１２”、および“編集処理部１１４、表示制御部１１６、およびアーム制御部１１８のうちの一部または全部”として機能させるプログラム

【0266】

また、コンピュータシステムを、医療用情報処理装置１００として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した、本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。

【0267】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到しうることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0268】

例えば、上記では、コンピュータシステムを、本実施形態に係る医療用情報処理装置１００として機能させるためのプログラムが提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体を、併せて提供することができる。

【0269】

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

【0270】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0271】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
を備え、
前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置。
（２）
前記抽出部は、機械学習により前記特徴データを抽出する、（１）に記載の医療用情報処理装置。
（３）
前記機械学習は、深層学習である、（２）に記載の医療用情報処理装置。
（４）
前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
前記医療用画像は、前記医療用撮像画像である、（１）～（３）のいずれか１つに記載の医療用情報処理装置。
（５）
前記対象データには、医療用イラスト画像が含まれ、
前記医療用画像は、前記医療用イラスト画像である、（１）～（４）のいずれか１つに記載の医療用情報処理装置。
（６）
前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
前記抽出部は、前記特徴データとしてさらに音声を抽出する、（１）～（５）のいずれか１つに記載の医療用情報処理装置。
（７）
前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
前記抽出部は、前記特徴データとしてさらにテキストを抽出する、（１）～（６）のいずれか１つに記載の医療用情報処理装置。
（８）
前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、（１）～（７）のいずれか１つに記載の医療用情報処理装置。
（９）
前記抽出部は、
前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、（８）に記載の医療用情報処理装置。
（１０）
抽出された前記特徴データを編集する編集処理部を、さらに備える、（１）～（９）のいずれか１つに記載の医療用情報処理装置。
（１１）
前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、（１０）に記載の医療用情報処理装置。
（１２）
手術中に取得された前記手術データに対応する前記医療用画像を表示画面に表示させる表示制御部を、さらに備える、（１）～（１１）のいずれか１つに記載の医療用情報処理装置。
（１３）
前記選択部は、手術中に取得された前記手術データに基づき前記選択条件を設定して、前記対象データを選択し、
前記抽出部は、選択された前記対象データから特徴を検出して、前記医療用画像を抽出し、
抽出された前記医療用画像のうちの、前記手術データに対応する前記医療用画像を、表示画面に表示させる、（１２）に記載の医療用情報処理装置。
（１４）
前記抽出部は、さらに、前記表示画面に表示させる前記医療用画像を抽出した根拠を、通知させる、（１３）に記載の医療用情報処理装置。
（１５）
前記表示画面に表示される、前記手術データに対応する前記医療用画像は、手術中のナビゲーション画像に該当する、（１３）または（１４）に記載の医療用情報処理装置。
（１６）
医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
前記アーム制御部は、
手術中に取得された前記手術データに対応する前記特徴データに基づいて、手術の進行状況を特定し、
特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、（１）～（１５）のいずれか１つに記載の医療用情報処理装置。
（１７）
手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
を有し
前記抽出するステップでは、前記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法。

【0272】

また、以下のような構成も本開示の技術的範囲に属する。
（１）
手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
抽出された前記特徴データを編集する編集処理部と、
を備え、
前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置。
（２）
前記抽出部は、機械学習による学習済みモデルを使って前記特徴データを抽出する、（１）に記載の医療用情報処理装置。
（３）
前記抽出部は、前記選択条件に対応する前記対象データを学習する、（２）に記載の医療用情報処理装置。
（４）
前記機械学習は、深層学習である、（２）または（３）に記載の医療用情報処理装置。
（５）
前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
前記医療用画像は、前記医療用撮像画像である、（１）～（４）のいずれか１つに記載の医療用情報処理装置。
（６）
前記対象データには、医療用イラスト画像が含まれ、
前記医療用画像は、前記医療用イラスト画像である、（１）～（５）のいずれか１つに記載の医療用情報処理装置。
（７）
前記対象データには、画像以外のデータが含まれ、
前記抽出部は、画像以外のデータから特徴を検出する、（１）～（６）のいずれか１つに記載の医療用情報処理装置。
（８）
前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
前記抽出部は、前記特徴データとしてさらに音声を抽出する、（１）～（７）のいずれか１つに記載の医療用情報処理装置。
（９）
前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
前記抽出部は、前記特徴データとしてさらにテキストを抽出する、（１）～（８）のいずれか１つに記載の医療用情報処理装置。
（１０）
前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、（１）～（９）のいずれか１つに記載の医療用情報処理装置。
（１１）
前記抽出部は、
前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、（１０）に記載の医療用情報処理装置。
（１２）
前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、（１）～（１１）のいずれか１つに記載の医療用情報処理装置。
（１３）
前記編集処理部は、複数の症例から前記手技のプロトコルデータを生成する、（１２）に記載の医療用情報処理装置。
（１４）
手術中に取得された前記手術データに対応する前記医療用画像を表示画面に表示させる表示制御部を、さらに備える、（１）～（１３）のいずれか１つに記載の医療用情報処理装置。
（１５）
前記選択部は、手術中に取得された前記手術データに基づき前記選択条件を設定して、前記対象データを選択し、
前記抽出部は、選択された前記対象データから特徴を検出して、前記医療用画像を抽出し、
抽出された前記医療用画像のうちの、前記手術データに対応する前記医療用画像を、表示画面に表示させる、（１４）に記載の医療用情報処理装置。
（１６）
前記抽出部は、さらに、前記表示画面に表示させる前記医療用画像を抽出した根拠を、通知させる、（１５）に記載の医療用情報処理装置。
（１７）
前記表示画面に表示される、前記手術データに対応する前記医療用画像は、手術中のナビゲーション画像に該当する、（１５）または（１６）に記載の医療用情報処理装置。
（１８）
医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
前記アーム制御部は、
手術中に取得された前記手術データに対応する前記特徴データに基づいて、手術の進行状況を特定し、
特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、（１）～（１７）のいずれか１つに記載の医療用情報処理装置。
（１９）
手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
抽出された前記特徴データを編集するステップと、
を有し
前記抽出するステップでは、前記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法。

【符号の説明】

【0273】

１００ 医療用情報処理装置
１０２ 通信部
１０４ 制御部
１１０ 選択部
１１２ 抽出部
１１４ 編集処理部
１１６ 表示制御部
１１８ アーム制御部
２００ アーム装置
１０００ 医療用情報処理システム
Ｐ１ 機材格納場所
Ｐ１’ 追加機材格納場所
Ｐ２ 機材設置場所
Ｐ３ 機材廃棄場所

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】