特表 2024-526911 オブジェクト検出および活動推定を使用した、医用ビデオへの注釈付け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-19

(54)【発明の名称】オブジェクト検出および活動推定を使用した、医用ビデオへの注釈付け

(51)【国際特許分類】

   A61B 34/10 20160101AFI20240711BHJP

【ＦＩ】

A61B34/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024503688

(86)(22)【出願日】2022-07-11

(85)【翻訳文提出日】2024-03-08

(86)【国際出願番号】 EP2022069323

(87)【国際公開番号】W WO2023001620

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】21186690.0

(32)【優先日】2021-07-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ケン スウィー レック

(72)【発明者】

【氏名】ジエ フアン

(57)【要約】

外科的処置のビデオに注釈付けするように構成されている装置が開示されている。注釈付けは、外科的処置中に実行されたコマンド、機器設定またはビデオのうちの少なくとも１つに基づくことができる。

【特許請求の範囲】

【請求項1】

外科的処置のビデオ（２２０）に対して、前記外科的処置中に実行されたコマンド（２１０）、機器設定または前記ビデオ（２２０）のうちの少なくとも１つに基づいて注釈付けする（２８０）ように構成されている、
装置（１２０）。

【請求項2】

前記コマンド（２１０）は、光学機器の複数の光学設定のうちの少なくとも１つを設定するためのものである、
請求項１記載の装置（１２０）。

【請求項3】

前記複数の光学設定は、照明強度、焦点、照明光源、カラーフィルターまたは倍率のうちの少なくとも１つを含む、
請求項２記載の装置（１２０）。

【請求項4】

前記コマンド（２１０）は、手術用機器（１２０）の複数の手術コマンドのうちの少なくとも１つである、
請求項１から３までのいずれか１項記載の装置（１２０）。

【請求項5】

前記複数の手術コマンドは、超音波の作動、超音波の作動停止、ポンプの作動、ポンプの作動停止、注入または吸引のうちの少なくとも２つのためのものである、
請求項４記載の装置（１２０）。

【請求項6】

前記装置（１２０）は、前記ビデオ（２２０）の画像パラメータ、前記ビデオ内のオブジェクト（５１１）、前記ビデオ内の少なくとも２つのオブジェクト（５５１，５５２）の相対位置または前記ビデオ内の動きのうちの少なくとも１つに基づいて、前記注釈を決定するように構成されている、
請求項１から５までのいずれか１項記載の装置（１２０）。

【請求項7】

前記オブジェクトは、少なくとも１つの手術用機器（５１１）または少なくとも１つの解剖学的構造（５５２）を含む複数の識別可能なオブジェクトのうちの少なくとも１つである、
請求項６記載の装置（１２０）。

【請求項8】

前記少なくとも１つの手術用機器は、刀（５２１）または水晶体超音波乳化吸引装置（５６１）である、
請求項７記載の装置（１２０）。

【請求項9】

前記装置（１２０）は、前記注釈（４３１）に関連付けられたタイムスタンプ（ｔ＋１）を決定するように構成されている、
請求項１から８までのいずれか１項記載の装置（１２０）。

【請求項10】

前記装置（１２０）は、メモリ（１０７）をさらに含み、
前記注釈（４２０）は、前記メモリ（１０７）に格納されているライブラリ（３４０）から選択される、
請求項１から９までのいずれか１項記載の装置（１２０）。

【請求項11】

前記装置は、前記ビデオ（２２０）が、複数の注釈（４３１，４３２，４３３）を用いて注釈付けされるように構成されており、
それぞれの注釈は、関連付けられたタイムスタンプ（ｔ＋１，ｔ＋２，ｔ＋３）を有する、
請求項１から１０までのいずれか１項記載の装置（１２０）。

【請求項12】

前記装置（１２０）は、前記注釈（４２０）を機械学習アルゴリズムによって決定する（２５０）ように構成されている、
請求項１から１１までのいずれか１項記載の装置（１２０）。

【請求項13】

前記機械学習アルゴリズムは、
前記コマンド（２１０）、前記画像パラメータ、オブジェクトまたは動きのうちの少なくとも１つを識別すること、または
前記コマンド（２１０）、前記画像パラメータ、前記オブジェクトまたは前記動きのうちの少なくとも１つを分類すること、
のうちの少なくとも１つを実施するように構成されている、
請求項１２記載の装置（１２０）。

【請求項14】

外科的処置のビデオ（２２０）に注釈付けする方法であって、前記方法は、
外科的処置のビデオ（２２０）のための注釈を決定すること（２５０）と、
前記注釈を用いて前記ビデオ（２２０）に注釈付けすること（２８０）と
を含み、
前記注釈を決定することは、
前記ビデオ（２２０）によって記録される処置中に実行されたコマンド（２１０）、機器設定、または
前記ビデオ（２２０）の画像パラメータ、前記ビデオ（２２０）内のオブジェクト、もしくは前記ビデオ内の動きのうちの少なくとも１つの決定、
のうちの少なくとも１つに基づいている、
方法。

【請求項15】

外科的処置のビデオ（２２０）に注釈付けするためのプログラムコードを有するコンピュータプログラムであって、
前記注釈付けは、前記外科的処置中に実行されたコマンド（２１０）、機器パラメータまたは前記ビデオ（２２０）のうちの少なくとも１つに基づいている、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

各例は、外科的処置を記録する方法および装置に関する。

【背景技術】

【0002】

医用手術は、多くの場合、記録されている。例えば、手術は、多くの国における法的要件として、また世界中の医学生のための教材として撮影される場合がある。手術のビデオ記録は、コンピュータシステムを含む装置によって生成可能である。

【発明の概要】

【課題を解決するための手段】

【0003】

注釈を決定する手法および／または注釈を外科的処置のビデオに追加する手法を改善することが望ましいだろう。注釈付けを自動化することにより、退屈で繰り返しの多いプロセスによるユーザーの疲労を低減することができ、かつビデオへの注釈付けにおけるエラーの低減を支援することができる。

【0004】

本明細書では、外科的処置のビデオに対して、外科的処置中に実行されたコマンド、機器設定またはビデオのうちの少なくとも１つに基づいて注釈付けするように構成されている装置が開示されている。本装置は、プロセッサおよび／またはメモリを含むことができる。注釈付けする方法は、注釈付けにおけるエラーを低減することができ、かつ／または手動で注釈を作成するためのユーザーの負担を低減することができる。

【0005】

コマンドは、手術用光学機器などの手術用機器の複数の設定のうちの少なくとも１つを決定／設定するためのものであってもよい。手術用光学機器は、人間の眼に対して実施される処置のために構成されていてもよい。より迅速な処置を可能にすることにより、患者の外傷を低減することが可能である。コマンドに基づいて注釈付けすることを可能にすることにより、決定された注釈の精度を高めることができる。注釈付けをコマンドに基づかせることにより、最小限のユーザー介入でまたはユーザー介入なしで、注釈を決定することが可能となり得る。正確な注釈を有することは、注釈付けされたビデオの教育的価値を支援することができ、かつ／または処置の文書化の法的義務が充足されなくなる危険性を低減することができる。

【0006】

コマンドは、手術用顕微鏡などの手術用装置および／または光学機器の複数の設定のうちの少なくとも１つを設定するためのものであってもよい。手術用顕微鏡などの手術用装置および／または光学機器の設定のためのコマンドを、注釈を決定するための基礎に含めることを可能にすることにより、注釈付けの精度を高めることができる。コマンドは、光学設定を設定するためのものであってもよい。

【0007】

光学設定は、照明強度、焦点、倍率、照明光源、カラーフィルター（例えば、カラーフィルターの選択）のうちの少なくとも１つを含むことができる。択一的／付加的に、コマンドは、記録を開始するためのコマンドであってもよく、このコマンドも、少なくとも注釈のための部分的な基礎を形成することができる。光学設定を、注釈を決定するための基礎に含めることを可能にすることにより、注釈付けの精度を高めることができる。特に、機械学習アルゴリズムが使用される場合には、ビデオへの正確な注釈付けを支援することができるコマンド／設定の「基本セット」を有することが望ましい。

【0008】

コマンドは、手術用顕微鏡などの手術用機器の複数の手術コマンドのうちの少なくとも１つであってもよい。手術コマンドを、注釈を決定するための基礎に含めることを可能にすることにより、注釈付けの精度を高めることができる。

【0009】

手術コマンドは、超音波の作動、超音波の作動停止、ポンプの作動、ポンプの作動停止、注入および／または吸引のためのものであってもよい。特定の手術コマンドを、注釈を決定するための基礎に含めることを可能にすることにより、注釈付けの精度を高めることができる。

【0010】

注釈の決定は、ビデオの画像パラメータ、ビデオ内のオブジェクト、ビデオ内の少なくとも２つのオブジェクトの相対位置またはビデオ内の動きのうちの少なくとも１つに基づくことができる。特定のパラメータ、オブジェクト、相対位置および／または動きを、注釈を決定するための基礎に含めることを可能にすることにより、注釈付けの精度を高めることができる。

【0011】

オブジェクトは、少なくとも１つの手術用機器（刃または水晶体超音波乳化吸引装置など）または少なくとも１つの解剖学的構造などの１つまたは複数の識別可能なオブジェクトであってもよい。特定のオブジェクトおよび／または動きを、注釈を決定するための基礎に含めることを可能にすることにより、注釈付けの精度を高めることができる。

【0012】

本装置は、注釈に関連付けられたタイムスタンプを決定することができる。タイムスタンプは、注釈を編集する際における、かつ／またはビデオ内のコンテンツを検索する際におけるユーザーエクスペリエンスを改善することができる。

【0013】

本装置は、ライブラリを格納することができるメモリを含むことができ、このライブラリから注釈が選択される。注釈ライブラリは、注釈を標準化することができ、このことは、処置の文書化の法的要件を充足するため、かつ／または広義に理解される注釈を提供するために有用であり得る。

【0014】

ビデオを、２つ以上の注釈を用いて注釈付けすることができ、それぞれの注釈は、関連付けられたタイムスタンプを有する。複数の注釈は、マルチステップの外科的処置を正確に記述することを支援することができる。

【0015】

注釈を決定するために、機械学習アルゴリズムを使用することができる。機械学習アルゴリズムは、正確な注釈を提供することができ、かつ／または注釈を作成／編集するためのユーザーの負担を低減することができる。機械学習アルゴリズムは、新しい情報を適応させて組み込むこともできる。機械学習は、精度を高めることができ、かつ／またはより関連する／より有益な注釈を提供することができる。

【0016】

機械学習アルゴリズムは、コマンド、画像パラメータ、オブジェクトまたは動きのうちの少なくとも１つを識別することができるか、またはコマンド、画像パラメータ、オブジェクトまたは動きのうちの少なくとも１つを分類することができる。識別および／または分類することができるアルゴリズムは、注釈の精度を高めることができ、かつ／またはより関連する／より有益な注釈を提供することができる。

【0017】

本明細書では、外科的処置のビデオに注釈付けする方法が開示されている。本方法は、外科的処置のビデオのための注釈を決定することと、注釈を用いてビデオに注釈付けすることとを含む。注釈を決定することは、ビデオによって記録される処置中に実行されたコマンド、機器設定またはビデオの画像パラメータ、ビデオ内のオブジェクト、もしくはビデオ内の動きのうちの少なくとも１つの決定のうちの少なくとも１つに基づいている。コマンド、設定、画像パラメータ、オブジェクト識別および／または動きを使用することにより、注釈の精度を高めることができ、かつ／またはより関連する／より有益な注釈を提供することができる。

【0018】

本明細書では、外科的処置のビデオに注釈付けするためのプログラムコードを有するコンピュータプログラムが開示されている。注釈付けは、外科的処置中に実行されたコマンド、機器パラメータまたはビデオのうちの少なくとも１つに基づくことができる。コマンド、設定、機器パラメータおよび／またはビデオを使用することにより、注釈の精度を高めることができ、かつ／またはより関連する／より有益な注釈を提供することができる。

【0019】

以下では、本装置および／または本方法のいくつかの例を、添付の図面を参照しながら単なる例として説明する。

【図面の簡単な説明】

【0020】

【図1】コンピュータシステムを含むシステムの概略図である。

【図2】ビデオに注釈付けする方法を示す図である。

【図3】手術ワークフローを示す図である。

【図4】注釈付けされたビデオを示す図である。

【図5】外科的処置を示す図である。

【発明を実施するための形態】

【0021】

次に、種々の例を、いくつかの例が示されている添付の図面を参照しながらより完全に説明する。図中、線の太さ、層の厚さおよび／または領域の大きさは、見やすくするために誇張されている場合がある。

【0022】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。例えば、「灌流／吸出」は、灌流および／または吸出を意味することができる。本明細書では、語尾の“（ｓ）”は、オプションの複数形を示唆する。例えば、“ｆｒａｍｅ（ｓ）”は、ビデオの１つまたは複数のフレームを意味することができる。

【0023】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0024】

医用ビデオクリップへの注釈付けは、文書化目的および教育目的の両方にとって手術中の瞬間／ステップを強調するために有用であり得る。

【0025】

いくつかの手術は、ルーチン処置に従っており、標準的なステップを有することができる。例えば、白内障手術では、ポート切開、第２の切開、粘弾性物質（例えば、ビスコート）の投与、連続環状嚢切開、フラップ作成、水晶体超音波乳化、吸引、灌流および眼内レンズ挿入をシーケンシャルに実施することができ、場合によっては、同じステップの少なくともいくつかが、全ての手術においてほぼ同じ時間を要することもある。したがって、この種の手術に対する注釈付けは、それぞれの処置ごとに類似している可能性があり、したがって、手動で行われる場合には繰り返しが多い可能性がある。本明細書では、外科的処置のビデオに注釈付けするための装置および方法が開示されている。本明細書に記載された方法および装置は、外科的処置のビデオへの注釈付けをより容易にすることができる。

【0026】

例えば、神経外科手術などのいくつかの手術は、完了までに長時間を要する場合がある。１０時間の手術への注釈付けは、従来技術による方法を使用した場合には退屈であり得る。類似した種類の手術の場合には、重要なステップを強調するためにビデオストリームを確認しなければならないという手間は、特に手動で行われる場合には退屈であり得る。医用ビデオクリップに対して、長尺であれ短尺であれ、ユーザーがビデオ全体を確認して関心のあるステップで一時停止し、手動で注釈を追加することが可能である。一般的に、手術ビデオに手動で注釈付けすることは、時間がかかり、繰り返しが多く、かつ退屈である。誤りが生じやすいので、場合によっては望ましくない情報損失が生じる可能性もある。

【0027】

短時間のかつ／または標準的な医用手術、例えば白内障手術の場合には、各ステップは、ルーチンになり得る。非常に類似しているビデオクリップを確認して、類似しているステップまたはそれどころか同一のステップを強調することは、繰り返しの多い作業になり得る。

【0028】

比較的長時間の医用手術、例えば神経外科手術の場合には、ビデオは、１０時間以上の範囲になる傾向がある。そのような長さを有する医用ビデオクリップを確認することは、退屈であり得る。注釈付けしている間にユーザーが重要なステップを看過し、望ましくない情報損失をもたらす可能性がある。例えば、ある１つの処置に含まれる強調箇所は、その処置の持続期間のうちの約１％しか構成しない場合がある。手術の強調箇所を手動で注釈付けするために、長時間のビデオ記録内でビデオフレームの特定のシーケンスを探索することは、退屈であり得る。現在のところ、手術ビデオへの注釈付けは、極めて非効率的であり得る。

【0029】

本明細書では、手術ビデオに注釈付けする際における誤りおよび／または退屈な作業を低減することができる方法、装置、システムおよび顕微鏡が開示されている。

【0030】

いくつかの実施形態は、図１から図５のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図５のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図５のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。

【0031】

図１は本明細書に記載された方法を実施するように構成されたシステム１００の概略図を示している。システム１００は、顕微鏡１１０とコンピュータシステム１２０とを含んでいる。顕微鏡１１０は、撮像するように構成されており、かつコンピュータシステム１２０に接続されている。コンピュータシステム１２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム１２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム１２０と顕微鏡１１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム１２０は、顕微鏡１１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム１２０は、顕微鏡１１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡１１０の従属部品の一部であってもよい。

【0032】

コンピュータシステムは、プロセッサ１０１を含むことができる。コンピュータシステムは、メモリ１０７を含むことができる。プロセッサ１０１および／またはメモリ１０７は、顕微鏡を動作させるように構成されていてもよく、かつ／または本明細書に記載された方法、特に外科的処置のビデオに対して、手術の記録中にリアルタイムになどで、注釈付けすることを実施するように構成されていてもよい。

【0033】

コンピュータシステム１２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム１２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム１２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム１２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム１２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム１２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラまたはシステムのユーザーがコンピュータシステム１２０に情報を入力すること、およびコンピュータシステム１２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0034】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0035】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0036】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0037】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0038】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0039】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0040】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0041】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0042】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0043】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0044】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0045】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【0046】

システム１００、顕微鏡１１０および／またはコンピュータシステム１２０は、外科的処置のビデオに注釈付けするように構成されていてもよい。注釈付けは、外科的処置中に実行されたコマンド、機器設定および／または外科的処置のビデオに基づくことができる。本明細書では、コマンドは、特に手術処置中に、例えばコンピュータシステム１２０、顕微鏡１１０および／または他の手術用機器によって処理／実行されたコマンドなどの機器コマンドであってもよい。択一的／付加的に、注釈付けは、機器設定に少なくとも部分的に基づくことができる。

【0047】

注釈は、少なくとも部分的にビデオから決定されてもよい。例えば、ビデオのフレームおよび／またはフレームのシーケンスを少なくとも部分的に認識することができ、このフレームに注釈を関連付けること、および／または追加することができる。例えば、フレーム内のオブジェクトが識別され、この識別が、少なくとも注釈付けのための部分的な基礎として使用される。択一的／付加的に、注釈を生成および／または編集するためにディクテーションを使用することができる。注釈を生成するために、医用コーパスおよび手動で注釈付けされた医用記録を使用してトレーニングされた言語モデルを使用することもできる。

【0048】

結果として注釈付けをもたらすことができるコマンドは、例えば顕微鏡１１０などの手術用光学機器の光学設定を決定するためのコマンドであってもよい。光学設定、例えば照明強度、焦点および／または倍率を決定するための２つ以上のコマンドが存在していてもよい。択一的／付加的に、設定／コマンドは、ビデオの捕捉を開始するなどの、記録を開始するためのコマンドを含むことができる。手術中に使用されるコマンドは、択一的／付加的に、ビデオに注釈付けするために使用されてもよい。例えば、コマンド（例えば、手術コマンド）は、超音波の作動、超音波の作動停止、ポンプの作動、注入または吸引のうちの少なくとも１つを含むことができる。

【0049】

注釈は、択一的／付加的に、画像パラメータ（光レベルおよび／または平均色など）、ビデオ内のオブジェクト（ビデオ内に出現する手術用機器の検出など）および／またはビデオ内の動き（解剖学的特徴または手術用機器のようなオブジェクトの動きなど）のうちの１つまたは複数に基づいて決定可能である。プロセッサは、少なくとも１つの手術用機器（例えば、刀または水晶体超音波乳化吸引装置）または少なくとも１つの解剖学的構造を含むオブジェクトを識別することが可能であり得る。穿刺刀、角膜切開刀および／または水晶体包切開刀などの特定の種類の刀が、識別可能であってもよい。

【0050】

本装置は、注釈に関連付けられたタイムスタンプを決定するように構成されていてもよい。タイムスタンプを、注釈に含めることができ、かつ／または注釈に関連付けることができる。注釈付けされたビデオは、各々関連付けられたタイムスタンプを有する１つまたは複数の注釈を含んでいてもよい。注釈付けされたビデオを再生する際に、タイムスタンプにより、ユーザーは、関連付けられた注釈および／またはタイムスタンプを選択することにより、そのタイムスタンプのところでビデオコンテンツに到達することが可能となり得る。

【0051】

本装置は、注釈のライブラリを格納するメモリを含むことができる。注釈または複数の注釈のうちの少なくとも１つを、ライブラリから選択することができる。

【0052】

本明細書に記載された任意の他の実施形態と組み合わせることができる１つの実施形態では、注釈を決定するために機械学習アルゴリズムを使用することができる。例えば、機械学習アルゴリズムは、コマンド、設定、画像パラメータ、オブジェクトまたは動きのうちの少なくとも１つを識別することができる。択一的／付加的に、機械学習アルゴリズムは、コマンド、画像パラメータ、オブジェクトまたは動きのうちの少なくとも１つを分類することができる。

【0053】

コンピュータシステム１２０は、本明細書に記載されているような、ビデオに注釈付けするための装置の１つの実施形態として見されてもよい。コンピュータシステム１２０は、本明細書に記載されているような、注釈を決定するように構成されたプロセッサなどの、機械学習のための手段を含んでいてもよい。択一的／付加的に、コンピュータシステムは、本明細書に記載されているような、ビデオに注釈付けする方法を実施するように構成されていてもよい。

【0054】

図２は、ビデオに注釈付けする方法を示す。ビデオのための注釈を決定すること２５０のために、コマンド２１０、機器設定／機器パラメータ２１５および／またはビデオ２２０を入力することができる。注釈が決定されると、この注釈を用いてビデオが注釈付けされる２８０。本方法を、例えばビデオの種々異なる時点および／または種々異なるフレームにおいて繰り返すことができる。

【0055】

方法２００は、ビデオのための注釈を決定すること２５０を含むことができる。注釈を決定すること２５０は、例えばビデオによって記録される外科的処置中に実行されたコマンド２１０、機器パラメータ／機器設定および／またはビデオ２２０自体に基づくことができる。

【0056】

コマンド２１０および／またはビデオ２２０は、注釈を決定すること２５０を実施する機械学習アルゴリズムへの入力の形態であってもよい。ビデオに注釈付けすること２８０は、ビデオへのテキストの埋め込み、ビデオに付随させるためのテキストの追加および／またはビデオの少なくとも１つのフレームをスーパーインポーズ／オーバーレイするためのテキストの追加などの、種々の形態であってもよい。択一的／付加的に、注釈は、字幕および／またはキャプションの形態であってもよい。ビデオ２２０は、識別可能／認識可能な解剖学的特徴および／または手術用機器の画像を含んでいてもよい。このような識別／認識は、機械学習アルゴリズムによって実施可能である。

【0057】

注釈を決定すること２５０の一例として、機械学習アルゴリズムは、多数の入力特性を決定することができる。例えば、アルゴリズムは、照明用のＬＥＤが使用中であるなどの照明状態および／または照明コマンド、レンズ移動コマンド、例えば倍率を検出するためのレンズ倍率コマンド、ビデオ記録開始コマンドまたは画像内の穿刺刀などの刀の存在のうちの少なくとも１つを検出することができる。一例では、照明状態、レンズ位置／動き、倍率および穿刺刃の存在の決定に基づいて、アルゴリズムは、そのビデオが「ポート切開」ステップからのものであることを決定し、これに応じてビデオフレームに注釈付けすることができる。注釈を決定することは、ビデオの関連するフレームでまたはそのフレームの前に実行されたコマンド、光学設定および／またはビデオ内のオブジェクトの識別に基づくことができる。注釈を決定することは、外科的処置のステップ、例えばポート切開ステップを識別することを含むことができる。注釈付けすること２８０は、ライブラリから対応する注釈を選択することによって、例えばビデオフレームを、ポート切開ステップなどの外科的処置のステップに対応するものとして識別する注釈を選択することによって実施可能である。

【0058】

図３は、手術ワークフローを示す。手術ワークフロー３００は、ルーチンであってもよく、かつ／または予測可能であってもよい。手術は、複数のサブステップを含んでいてもよい複数の異なるステップに分解可能である。手術は、図３の例でのように、いくつかの主要なステップを含むように大まかに分解可能である。主要なステップを分解して、外科的処置のより詳細なステップ（例えば、サブステップ）を提供することができる。図３は、一例として３つのステップを示す。図３の上部のフレームであるステップ１では、白内障へのアクセスが行われる。このアクセスは、いくつかの小切開を生成することによって実施可能である。図３の中央のフレームであるステップ２では、濁った水晶体を粉砕および／または除去することができる。ステップ３では、交換を行うことができる。ステップ３では、新しい眼内レンズを埋め込むことができる。

【0059】

ステップ１は、解剖学的構造がビデオのフレーム内にどのように出現する可能性があるかの一例である。解剖学的構造は、注釈を決定することを支援するために、例えば機械学習アルゴリズムによって識別可能である。例えば、ビデオフレーム内において水晶体嚢の開口を認識することができる。水晶体嚢の開口の形状は、不規則であってもよい。

【0060】

ステップ２は、ビデオのフレーム内に１つまたは複数の手術用機器などのオブジェクトがどのように出現する可能性があるかの一例である。オブジェクトは、注釈を決定することを支援するために、例えば機械学習アルゴリズムによって識別可能である。択一的／付加的に、外科的処置は、注釈を決定するために使用することができる超音波の実行などの、コマンドの実行を含んでいてもよい。択一的／付加的に、濁った水晶体の粉砕は、外科的処置において、（例えば、コマンドを介して）超音波の作動を決定することと、特に超音波に曝されている濁った水晶体を認識する画像分析との組み合わせによって決定されてもよい。ステップ２は、コマンドとビデオ／ビデオ分析との組み合わせを、例えば機械学習アルゴリズムを利用して注釈を決定するための基礎として使用することができるということを例示することができる。ステップ３は、ビデオフレーム内のインプラント、例えばレンズが、注釈を決定するための基礎の少なくとも一部であるとして認識／識別されるということを例示することができる。

【0061】

一例では、注釈は、ライブラリ３４０から選択することによって決定可能である。ライブラリは、注釈として使用するための複数の選択３４１，３４２，３４３を含んでいてもよい。例えば、ステップ１のための注釈は、ライブラリ３４０の選択３４１である。ステップ２のための注釈を、ライブラリの選択３４２とすることができる。ステップ３のための注釈を、ライブラリの選択３４３とすることができる。選択３４１，３４２，および／または３４３の注釈は、ユーザーによって編集可能であってもよい。

【0062】

図４は、注釈付けされたビデオを示す。図４の注釈付けされたビデオ４００は、関連付けられた注釈４２０を有する、ビデオ４００のフレーム４１０を示す。ビデオ４００は、複数の注釈４３１，４３２，４３３，４３４，４３５を含むことができる。これらの注釈４３１，４３２，４３３，４３４，４３５を、タイムスタンプに関連付けることができる。それぞれの注釈４２０，４３１，４３２，４３３，４３４，４３５を、オプションとしてビデオ４００のうちの、注釈および／またはタイムスタンプに関連付けられたビデオフレームと共に表示することができる。例えば、ビデオ４００は、時間ｔにおいて、関連付けられた注釈４２０を有するフレーム４１０を有する。時間ｔ＋１において、ビデオは、注釈４３１に関連付けられたフレームを有し、このフレームを、時間ｔ＋１において表示することができる。それぞれの注釈４３２，４３３，４３４，４３５は、それぞれの関連付けられたタイムスタンプｔ＋２，ｔ＋３，ｔ＋４，およびｔ＋５、例えばそれぞれの注釈を表示することができる時間を有することができる。

【0063】

注釈付けは、ビデオの収集中および／または外科的処置中に、例えばリアルタイムで実施可能である。タイムスタンプおよび注釈を決定することができ、場合によっては、例えば注釈４３１～４３５をそれぞれ時間ｔ＋１～ｔ＋５に関連付けている図４の表４３０に示されているようにメニュー形式で表示することができる。注釈付けされたビデオは、例えばタイムスタンプおよび注釈を含んでいる注釈を容易に編集するために、メタデータなどのデータを含むことができる。ユーザーは、ビデオを観察している間に、注釈および／またはタイムスタンプを選択して、ビデオのうちの、タイムスタンプおよび／または注釈に関連付けられたフレームへとスキップすることができる。

【0064】

図５は、外科的処置を示す。処置は、図５において、ビデオの一連のフレームとして表現されている。外科的処置のビデオ記録は、この記録のそれぞれ異なる時点などに、複数の注釈５１０～５９０を含むことができる。それぞれの注釈５１０～５９０を、本明細書に記載されているように決定して、ビデオ４００に含めることができる。図５の例では、白内障手術が描かれている。注釈５１０～５９０を決定することは、ユーザーによって提供された情報、例えば手術の種類の識別、例えば白内障手術に、少なくとも部分的に基づくことが可能であってもよい。

【0065】

第１の注釈５１０は、ポート切開を指すことができる。ポート切開であるということは、光がオンであるとのコマンド、焦点合わせに関するコマンド、倍率に関するコマンド、記録の開始に関するコマンドまたはビデオ（例えば、１つのフレームまたは一連のフレーム）内の穿刺刀５１１の識別のうちの少なくとも１つに基づいて決定可能である。

【0066】

先行する注釈（例えば、第１の注釈５１０）の後に続いている任意の注釈と同様に、第２の注釈５２０は、この先行する注釈／ステップの後に外科的処置のステップが続いているということに少なくとも部分的に基づいて決定可能である。

【0067】

白内障手術の例でのように、第２の注釈５２０は、第２の切開を指すことができる。第２の切開５２０であるということは、ビデオ内のオブジェクト、例えば角膜切開刀５２１の識別に少なくとも部分的に基づいて決定可能である。

【0068】

図５の白内障手術の例でのように、第３の注釈５３０は、粘弾性物質（例えば、ビスコート）が投与されているものと決定可能である。注釈を決定することは、注釈５３０のように、ポンプコマンドに、かつ／または例えば粘弾性物質の注入などに対応する注入コマンドに、少なくとも部分的に基づくことができる。択一的／付加的に、この決定は、ポンプコマンドの形態であってもよい麻酔薬の注入に少なくとも部分的に基づくことができる。

【0069】

第４の注釈５４０は、連続環状嚢切開であると決定可能である。第４の注釈５４０は、水晶体包切開刀５４１などのオブジェクトおよび／または麻酔薬の注入などのポンプコマンドの検出に少なくとも部分的に基づくことができる。

【0070】

第５の注釈５５０は、フラップ作成であると決定可能である。フラップ作成であるとの決定は、フラップ５５２および／または刀（例えば、水晶体包切開刀５５１）などのオブジェクトの検出および／またはフラップ５５２を剥離する動きなどの動きの検出に少なくとも部分的に基づくことができる。

【0071】

第６の注釈５６０は、水晶体超音波乳化であると決定可能である。フラップ作成であるとの決定は、水晶体超音波乳化吸引装置５６１などのオブジェクトの検出、超音波処理および／または動き検出のためのコマンドの決定に少なくとも部分的に基づくことができる。

【0072】

第７の注釈５７０は、吸引であると決定可能である。吸引であるとの決定は、水晶体超音波乳化吸引装置５７１などのオブジェクトの検出、吸引コマンドおよび／または吸引する動きの検出に基づくことができる。

【0073】

第８の注釈５８０は、灌流／吸出であると識別可能である。灌流／吸出であるとの決定は、吸出ハンドピース５８１などのオブジェクトの検出、清浄する動きなどの動きの検出および／または照明コマンド、特に赤反射照明などのコマンドに少なくとも部分的に基づくことができる。

【0074】

第９の注釈５９０は、眼内レンズ挿入であると決定可能である。眼内レンズ挿入であるとの決定は、レンズ注入器５９１などのオブジェクトの検出および／またはレンズの位置を調整するなどの動きの検出に少なくとも部分的に基づくことができる。

【0075】

本明細書に記載された任意の他の実施形態と組み合わせることができる１つの実施形態では、ビデオ内で識別された２つ以上のオブジェクトの相対位置および／または相対動きを、注釈を決定するための部分的なまたはより大きな基礎とすることができる。

【0076】

図５は、注釈挿入５８５も示す。例えば、ユーザーは、ビデオに注釈を挿入することができる。択一的／付加的に、機械学習アルゴリズムは、注釈挿入５８５を決定することができるか、または注釈挿入５８５を提案することができる。例えば、処置は、レンズ準備などのオフライン活動を含んでいてもよい。オフライン活動は、例えばビデオ内の非アクティブな期間および／または記録中の一時停止によって識別可能である。択一的／付加的に、オフライン活動は、照明がないこと、照明コマンドがないこと、ビデオ内における検出された動きの欠如および／または手術部位から上に向かう手術用顕微鏡の動きなどの手術用機器の動きに少なくとも部分的に基づいて識別可能である。注釈挿入５８５は、例えば近隣の注釈５８０，５９０に少なくとも部分的に基づいて、レンズ準備であると決定可能であり、これらの近隣の注釈５８０，５９０は、その間に行われるレンズ準備との相関を有していることが既知であり得る。

【0077】

手術中には、穿刺刀および粘弾性物質などのオブジェクトが出現する可能性がある。オブジェクトの識別および／または分類は、特にユーザーによって実施された手術ステップに関連付けられた決定された動きと組み合わせられて、注釈を提案／決定することができる。例えば、機械学習アルゴリズムによって注釈が決定される場合には、これらの注釈は、例えば精度を確かめるために外科医／ユーザーによって引き続き編集されてもよい。標準的な白内障手術でのフラップ作成ステップ中におけるフラップの剥離などの、手術中に発生する活動は、手術の強調箇所であることであることが多く、こうした強調箇所は、関連付けられた注釈を有することが特に望ましい。医用オブジェクト検出および／または活動分類（例えば、動き検出）のために特別にトレーニングされた畳み込みニューラルネットワークは、オプションとして医用コーパスに基づいてトレーニングされてもよい言語モデルと組み合わせられて、手術ビデオのための注釈を決定／提案することができる。

【0078】

ユーザーがシステムコンフィギュレーションを調整する際などの、手術中に発行されるシステムコマンドは、少なくとも注釈を決定するための部分的な基礎であってもよく、かつ／または外科的プロセスのステップを提案してもよい。トレーニング済みのニューラルネットワークと組み合わせて、場合によってはシステムの医用手術活動および／またはコンフィギュレーション変更を文書化することができるより詳細な注釈を決定することができる。

【0079】

ユーザーが手術を実施している際に、光の制御、ズーム倍率等などのシステムコマンドをプロセス中に発行することができる。そのようなシステムコマンドを捕捉して、特定の医用ステップ中に、詳細なシステムコンフィギュレーションに関する情報を生成することができる。システムコマンドおよび／またはシステム状態を、複数の択一的な注釈などの注釈に含めることができ、これらの注釈には、観察者が処置中にシステム設定に興味を持った場合に、ビデオを観察している際にアクセス可能である。手術中にビデオ内に出現する可能性のある医用オブジェクト、刀、粘弾性物質等を、トレーニング済みの畳み込みニューラルネットワークなどによってフレーム内のオーバーレイとして識別および強調するなど、注釈に含めることもできる。切開またはフラップの剥離などのユーザーによって実施される活動も同様に、機械学習アルゴリズムを使用するなどによって識別および分類して、ビデオ内で捕捉された動きを、適切な注釈、例えば外科的処置のステップを説明する注釈と相関させることができる。

【0080】

さらに、医用コーパスおよび／または手動で注釈付けされた医用記録を使用してトレーニングされた言語モデルを使用して、ビデオのフレーム内に出現したオブジェクトの記述および／または手術のビデオ内で捕捉された活動の記述などの注釈を決定することが可能である。

【0081】

例えば、注釈を生成するために、システムコンフィギュレーションの変更と、ビデオ内に出現した強調されたオブジェクトと、識別された活動（外科的処置の動き／ステップなど）と、を組み合わせることができる。注釈は、例えばオーバーレイ／スーパーインポーズされた形式などで、フレーム内で見られる行動／オブジェクトを字幕として強調するなど、ビデオ内に直接的に出現してもよい。注釈は、機器パラメータ、設定および／または機器コマンドなどの、ビデオに関連付けられた補足的な材料を含んでいてもよい。このような注釈は、例えば教育目的のために外科的処置を記述することを大いに支援することができる。例えば、注釈を、停止点および／またはタイムスタンプとしてビデオストリームに埋め込むことができる。ユーザーは、例えば所望のコンテンツを迅速に位置特定してレビューするために、ビデオのうちのタイムスタンプが付されたフレームへとジャンプすることができる。択一的／付加的に、注釈は、字幕の形態であってもよく、例えばｓｒｔ（ｓｕｂＲｉｐ）、ｓｓａ（サブステーションアルファ）および／またはａｓｓ（アドバンストサブステーションアルファ）の形態であってもよい。択一的／付加的に、注釈は、ビデオ／ビデオコンテナ（例えば、ＭＰ４、ＭＫＶ等）に埋め込まれてもよい。

【0082】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いてまたは機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0083】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

【0084】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0085】

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

【0086】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0087】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0088】

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0089】

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0090】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジを含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。

【0091】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【0092】

本明細書で開示されている注釈付けする方法および装置は、機械学習アルゴリズムのためのデータが拡張される場合など、場合によっては精度を動的に改善可能であり、かつ注釈の誤差を動的に低減可能であるということが特に想定される。トレーニングデータは、択一的／付加的に、初期時に使用されてもよく、かつ／または後の時点で機械学習アルゴリズムにアクセスすることができるメモリに追加されてもよい。データ、特に装置の稼働後に機械学習アルゴリズムにとって利用可能になってよい追加的なデータは、可能な注釈をさらに拡張することができ（例えば、可能な注釈のライブラリ３４０を増大させることができ）、かつ／または注釈の決定／選択の精度を改善することができる。

【0093】

本明細書に記載された例は、例示するためのものである。本発明は、添付の特許請求の範囲およびその均等物によって定義される。

【符号の説明】

【0094】

システム １００
プロセッサ １０１
メモリ １０７
顕微鏡 １１０
コンピュータシステム １２０
注釈付けする方法 ２００
コマンド ２１０
機器パラメータ／機器設定 ２１５
ビデオ ２２０
注釈の決定 ２５０
ビデオへの注釈付け ２８０
手術ワークフロー ３００
ライブラリ ３４０
第１の選択 ３４１
第２の選択 ３４２
第３の選択 ３４３
注釈付けされたビデオ ４００
フレーム ４１０
注釈 ４２０
注釈の表 ４３０
第１の注釈 ４３１
第２の注釈 ４３２
第３の注釈 ４３３
第４の注釈 ４３４
第５の注釈 ４３５
第１の注釈 ５１０
穿刺刀 ５１１
第２の注釈 ５２０
角膜切開刀 ５２１
第３の注釈 ５３０
第４の注釈 ５４０
水晶体包切開刀 ５４１
第５の注釈 ５５０
水晶体包切開刀 ５５１
フラップ ５５２
第６の注釈 ５６０
水晶体超音波乳化吸引装置 ５６１
第７の注釈 ５７０
水晶体超音波乳化吸引装置 ５７１
第８の注釈 ５８０
吸出ハンドピース ５８１
注釈挿入 ５８５
第９の注釈 ５９０
レンズ注入器 ５９１

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】