特開 2023-167205 手術動画編集システム及び手術動画編集方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023167205

(43)【公開日】2023-11-24

(54)【発明の名称】手術動画編集システム及び手術動画編集方法

(51)【国際特許分類】

   G06V 20/70 20220101AFI20231116BHJP

   G06T 7/00 20170101ALI20231116BHJP

   G06T 7/215 20170101ALI20231116BHJP

   G16H 30/40 20180101ALN20231116BHJP

【ＦＩ】

G06V20/70

G06T7/00 350B

G06T7/00 300B

G06T7/215

G16H30/40

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022078199

(22)【出願日】2022-05-11

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、総務省 戦略的情報通信研究開発推進事業（ＳＣＯＰＥ）社会展開指向型研究開発「手術の多視点モニタリングとＡＩサポートによる超人的術野監視システムの実装」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】598121341

【氏名又は名称】慶應義塾

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】梶田 大樹

(72)【発明者】

【氏名】青木 義満

(72)【発明者】

【氏名】小林 太一

【テーマコード（参考）】

5L096

5L099

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096CA04

5L096GA08

5L096HA04

5L096JA16

5L096KA04

5L096KA15

5L096MA07

5L099AA26

(57)【要約】

【課題】手術動画の編集が良好かつ適切に行えるようにする。
【解決手段】手術中の術野が含まれる動画を編集して、手術中の術野を映しているフレームと、術野を映していないフレームとを分類し、手術中の術野を映しているフレームを抽出する画像分類部を備える。画像分類部は、編集対象動画を、予め用意された学習済みモデルを使って、手術中の術野を映しているフレームと、術野を映していないフレームとに分類する学習処理と、編集対象動画の一定時間ごとのフレーム間の動きを輝度で追跡したオプティカルフローが取れるフレームを判断するオプティカルフロー判断処理と、学習処理による分類結果と、オプティカルフロー判断処理による判断結果との比較で、手術中の術野を映しているフレームと、術野を映していないフレームとの分類結果を更新する分類更新処理と、を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

手術中の術野が含まれる動画を編集して、手術中の術野を映しているフレームと、術野を映していないフレームとを分類し、手術中の術野を映しているフレームを抽出する画像分類装置を備えた手術動画編集システムであり、
前記画像分類装置は、
編集対象動画を、予め用意された学習済みモデルを使って、手術中の術野を映しているフレームと、術野を映していないフレームとに分類する学習処理部と、
前記編集対象動画の一定時間ごとのフレーム間の動きを輝度で追跡したオプティカルフローが取れるフレームを判断するオプティカルフロー判断処理部と、
前記学習処理部による分類結果と、前記オプティカルフロー判断処理部による判断結果との比較で、手術中の術野を映しているフレームと、術野を映していないフレームとの分類結果を更新する分類更新処理部と、を備える
手術動画編集システム。

【請求項2】

さらに、前記画像分類装置は、前記更新処理部により得られた手術中の術野を映しているフレームと、術野を映していないフレームとの分類結果に基づいて、前記学習済みモデルを更新する学習済みモデル更新処理部を備える
請求項１に記載の手術動画編集システム。

【請求項3】

さらに、前記画像分類装置は、前記編集対象動画に対して、前記学習済みモデル更新処理が行われた学習済みモデルを使った前記学習処理と、前記オプティカルフロー判断処理と、前記分類更新処理とを行い、分類更新を繰り返すようにした
請求項２に記載の手術動画編集システム。

【請求項4】

前記学習処理部は、手術中の術野を映しているフレームか否かの正解ラベルが一部の学習データのみに付与された学習済みモデルを使って行う半教師あり学習処理を行う
請求項１に記載の手術動画編集システム。

【請求項5】

前記編集対象動画は、手術用双眼ルーペに装着したカメラで撮影された動画である
請求項１～４のいずれか１項に記載の手術動画編集システム。

【請求項6】

手術中の術野が含まれる動画を編集して、手術中の術野を映しているフレームと、術野を映していないフレームとを分類し、手術中の術野を映しているフレームを抽出する手術動画編集方法であり、
編集対象動画を、予め用意された学習済みモデルを使って、手術中の術野を映しているフレームと、術野を映していないフレームとに分類する学習処理と、
前記編集対象動画の一定時間ごとのフレーム間の動きを輝度で追跡したオプティカルフローが取れるフレームを判断するオプティカルフロー判断処理と、
前記学習処理による分類結果と、前記オプティカルフロー判断処理による判断結果との比較で、手術中の術野を映しているフレームと、術野を映していないフレームとの分類結果を更新する分類更新処理と、を含む
手術動画編集方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術動画編集システム及び手術動画編集方法に関し、特に手術を行う医師のルーペに装着したカメラで撮影された手術動画の編集に適用して好適な技術に関する。

【背景技術】

【0002】

外科手術の領域では手術を記録・解析し手術の質を高めることは重要な課題になっている。しかし、外から撮影した動画にはノイズが多く含まれておりデータの質・量共に十分ではないのが現状である。そのため、生の動画から手術に関連するフレームのみを抽出することは、手術動画の記録・解析を進めるにあたり非常に重要になっている。

【0003】

特許文献１には、手術中を撮影した動画像を再生する際に、動画像から抽出した特徴量に基づいて、手術の切開場面に対応した画像を検出し、手術の切開場面以外を早送り再生する技術が記載されている。特に、特許文献１には、特徴量を算出する際に機械学習で算出する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－８３０１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載される技術は、手術中の動画から、手術の切開場面を検出して、切開場面以外を早送り再生するため、手術動画を再生する際に、解析に必要な切開場面を重点的に再生することができ、効率よく手術動画の解析を進めることができる。

【0006】

ところが、手術の切開場面などの特定場面を精度良く検出するためには、従来は事前の手術動画の学習を十分に行って、特徴量から正確に判断できるようにする必要がある。しかしながら、事前の学習を十分に行うためには、非常に時間とコストがかかり好ましくない。また、手術内容によって、術野の様子は大きく変化するため、様々な手術動画に対応させるためには、手術種類ごとに学習が必要で、この点からも学習量が膨大なものなってしまうという問題があった。

【0007】

また、手術動画として、手術執刀医の頭部に装着したルーペに取り付けたルーペ装着カメラで手術を撮影する場合、撮影画像は、手術執刀医の目元から数十センチ先の手術箇所を拡大した画像になる。このため、ルーペ装着カメラで撮影した画像から、手術執刀中の場面だけを抽出するのは、一般的な動画を分類する場合に比べて、処理が難しいという問題がある。

【0008】

具体的には、ルーペ装着カメラで撮影した画像は、手術執刀医の頭部の動きに連動して撮影位置が大きく変化してしまい、手術執刀中の術野の画像と、執刀中以外の術野外の画像との区別が難しいという問題もあった。

【0009】

本発明は、手術動画の編集を良好かつ適切に行うことができる手術動画編集システム及び手術動画編集方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の手術動画編集システムは、手術中の術野が含まれる動画を編集して、手術中の術野を映しているフレームと、術野を映していないフレームとを分類し、手術中の術野を映しているフレームを抽出する画像分類装置を備える。
画像分類装置は、編集対象動画を、予め用意された学習済みモデルを使って、手術中の術野を映しているフレームと、術野を映していないフレームとに分類する学習処理部と、編集対象動画の一定時間ごとのフレーム間の動きを輝度で追跡したオプティカルフローが取れるフレームを判断するオプティカルフロー判断処理部と、学習処理部による分類結果と、オプティカルフロー判断処理部による判断結果との比較で、手術中の術野を映しているフレームと、術野を映していないフレームとの分類結果を更新する分類更新処理部と、を備える。

【0011】

また、本発明の手術動画編集方法は、手術中の術野が含まれる動画を編集して、手術中の術野を映しているフレームと、術野を映していないフレームとを分類し、手術中の術野を映しているフレームを抽出する手術動画編集方法である。
そして、編集対象動画を、予め用意された学習済みモデルを使って、手術中の術野を映しているフレームと、術野を映していないフレームとに分類する学習処理と、編集対象動画の一定時間ごとのフレーム間の動きを輝度で追跡したオプティカルフローが取れるフレームを判断するオプティカルフロー判断処理と、学習処理による分類結果と、オプティカルフロー判断処理による判断結果との比較で、手術中の術野を映しているフレームと、術野を映していないフレームとの分類結果を更新する分類更新処理と、を含む。

【発明の効果】

【0012】

本発明によれば、手術中の術野を映しているフレームと、術野を映していないフレームとの分類の信頼度を上げることができるので、手術動画を使った手術内容の解析を効率よく行うことができる効果を有する。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施の形態例に係る手術動画編集システムの構成例を示す図である。

【図2】本発明の一実施の形態例に係る学習処理の例を示すフローチャートである。

【図3】本発明の一実施の形態例に係る手術動画編集システムの再生制御処理の例を示すフローチャートである。

【図4】本発明の一実施の形態例に係る画像のオプティカルフローによるラベル付けの例を示す図である。

【図5】本発明の一実施の形態例に係る手術動画編集システムによる分類精度の例を示す図である。

【図6】従来の手術動画の分類精度の例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の一実施の形態例（以下、「本例」と称する）を、添付図面を参照して説明する。

【0015】

［システム構成］
図１は、本例の手術動画編集システムの構成例を示す。
本例の手術動画編集システムは、手術執刀医１０が頭部に装着した手術用双眼ルーペ１１に取り付けたルーペ装着カメラ１２で撮影した動画像を、手術画像記録装置２０で記録する。手術用双眼ルーペ１１に取り付けたルーペ装着カメラ１２で撮影した動画像は、手術執刀医１０の目元から数十センチ先の手術箇所１３を拡大した画像である。
但し、ルーペ装着カメラ１２で撮影する範囲は、手術執刀医１０の頭部の動きに連動して変化するため、手術執刀医１０が手術を執刀していない状況における撮影も含まれる。つまり、手術執刀医１０が手術箇所１３以外を見ている場合には、手術室内の各部を撮影した画像などの意味のない画像が撮影されてしまうことがある。

【0016】

手術画像記録装置２０は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの大容量記憶装置が使用され、少なくとも手術の開始から終了までの全ての間の記録ができる大容量を有する。なお、ルーペ装着カメラ１２が撮影して手術画像記録装置２０が記録する手術動画は、例えば毎秒３０フレームなどの一定周期でフレーム画像が形成される動画像である。

【0017】

手術画像記録装置２０に記録された手術動画は、画像分類装置３０により分類される。
画像分類装置３０は、例えばコンピュータ装置により構成され、ＣＰＵ（Central Processing Unit：中央処理ユニット）３１と、ワークメモリ３２と、プログラム記憶部３３とを備える。
画像分類装置３０は、ＣＰＵ３１の制御で、プログラム記憶部３３に記憶された画像分類処理用のプログラムを実行することで、ワークメモリ３２に処理部３５が構成され、この処理部３５によって手術画像記録装置２０に記録された手術動画についての分類処理が行われる。この場合、画像分類装置３０は、学習済みモデル記憶部３４に記憶された学習済みモデルを使って、画像分類処理を実行する。

【0018】

学習済みモデル記憶部３４には、手術中の術野を映しているフレームと、術野を映していないフレームとに分類した結果を示す教師データを使って機械学習した結果としての学習済みモデルが記憶されている。ここでの学習済みモデルは、半教師あり学習の手法で得た学習済みモデルである。

【0019】

半教師あり学習の手法では、少数のラベル付きデータ（術野か否かのラベル）を用いてラベルなしデータについても学習が行われる。ここでは、半教師あり学習の手法として、ブートストラップ法を使用する。ブートストラップ法は、まずラベル付きのデータのみから分類を行う。そして、その結果を基に、ラベルが付いていないデータの信頼度の高いデータのみラベルを付ける処理を行う。さらに、ブートストラップ法は、このデータを加えたラベル付きデータだけで、さらに分類を行う。この処理を繰り返し行うことで、ラベル無しデータに自身でラベルを付けていく処理が行われる。

【0020】

画像分類装置３０のワークメモリ３２には、上述したように処理部３５が構成される。
処理部３５には、例えば、学習処理部３５ａ、オプティカルフロー判断処理部３５ｂ、分類更新処理部３５ｃ、学習済みモデル更新処理部３５ｄが形成される。
学習処理部３５ａは、編集対象動画を、予め用意された学習済みモデルを使って、手術中の術野を映しているフレームと、術野を映していないフレームとに分類する学習処理を行う。

【0021】

オプティカルフロー処理部３５ｂは、編集対象動画の一定時間ごとのフレーム間の動きを輝度で追跡したオプティカルフローが取れるフレームを判断するオプティカルフロー判断処理を行う。
分類更新処理部３５ｃは、学習処理部３３ａによるフレームごとに分類した学習結果と、オプティカルフロー処理部３２ｂによる判断結果とを比較し、手術中の術野を映しているフレームと、術野を映していないフレームとの分類結果を更新する分類更新処理を行う。

【0022】

また、学習済みモデル更新処理部３５ｄは、分類更新処理部３５ｃにより得られた手術中の術野を映しているフレームと、術野を映していないフレームとの分類結果に基づいて、学習済みモデルを更新する学習済みモデル更新処理を行う。
なお、学習処理部３５ａ、オプティカルフロー判断処理部３５ｂ、及び分類更新処理部３５ｃ詳細な動作については、図２～図３のフローチャートにおいて詳細に説明される。

【0023】

手術画像記録装置２０に記録された手術動画の分類処理が画像分類装置３０で行われることで、手術動画が手術中の術野を映しているフレームと、術野を映していないフレームとに分類され、それぞれの動画に分類結果を示すラベルが付与される。また、学習済みモデル記憶部３４に保存された学習済みモデルは、画像分類装置３０で分類を行うことで、逐次更新される。

【0024】

手術画像記録装置２０に記録された手術動画に分類結果を示すラベルが付与されることで、例えば動画を再生する再生装置４０が備えるディスプレイ４１で手術動画を表示させる際に、術野を映している区間のみを表示させることが可能になる。術野を映していない区間については、再生を省略、あるいは早送り再生等の対処が行われる。

【0025】

なお、図１では、手術画像記録装置２０や学習済みモデル記憶部３４は、画像分類装置３０を構成するコンピュータ装置と別体の装置としたが、コンピュータ装置に手術画像記録装置２０や学習済みモデル記憶部３４を内蔵させるようにしてもよい。また、画像分類装置３０は、インターネットなどに接続されたサーバとして用意し、手術画像記録装置２０が保存した手術動画を、そのサーバ上の画像分類装置３０で分類処理を行うようにしてもよい。

【0026】

［学習処理］
図２は、本例の画像分類装置３０で行われる学習処理の例を示すフローチャートである。
まず、画像分類装置３０は、分類対象となる手術動画を取得する（ステップＳ１１）。そして、画像分類装置３０に構成される学習処理部３５ａが、学習済みモデル記憶部３４に記憶された学習モデルを使った分類処理を開始する（ステップＳ１２）。ここでは、まず学習モデルの初期ラベルを取得する（ステップＳ１３）。ここでのラベルは、ルーペ装着カメラ１２で撮影した個所が術野か否かを示すものである。そして、学習処理部は、分類対象となる手術動画についての学習処理を実行して、手術動画の分類を行う（ステップＳ１４）。

【0027】

ここまでのステップＳ１２からステップＳ１４の学習処理と並行して、画像分類装置３０のオプティカルフロー判断処理部３５ｂは、ステップＳ１１で取得した手術動画のフレーム間の輝度（画素）の移動ベクトルを計算する（ステップＳ１５）。ここでは、例えば手術動画の０．５秒ごとのフレームを抽出して、各フレーム間の輝度の移動ベクトルを計算する処理を行う。
そして、オプティカルフロー判断処理部３５ｂは、移動ベクトルの算出結果を取得し、物体の動きである輝度の移動ベクトルを算出可能できるフレームであるかを判断する（ステップＳ１６）。ここで、輝度の移動ベクトルを算出可能ということは、一定時間ごとのフレーム間の物体の動きを輝度で追跡したオプティカルフローが取れるフレームを意味する。
なお、オプティカルフローには、画像の濃淡の時間変化と空間的な濃度勾配を利用した勾配法と、１フレームの画像中の物体の大きさの領域をテンプレートとして次のフレームを探索していくブロックマッチング法があるが、本例のオプティカルフローは勾配法を利用して算出する。但し、勾配法を利用するのは一例であり、ブロックマッチング法などの他の手法によるオプティカルフローを利用してもよい。すなわち、一定時間ごとのフレーム間で、輝度または色がほぼ同になる画素の領域が一部に存在する場合、オプティカルフローが取れていると見なすことができ、そのための探索手法は特に限定されない。また、０．５秒ごとなどの一定時間ごとのフレーム間でオプティカルフローを判断するのも一例であり、可能であれば毎フレームごとに、隣接したフレーム間でオプティカルフローが取れているかを判断してもよい。

【0028】

次に、画像分類装置３０の分類更新処理部３５ｃは、ステップＳ１４で得られた手術動画の学習結果としてのラベル分類結果と、ステップＳ１６で得られたオプティカルフローが取れるフレームの分類結果とが一致するか否かを判断する（ステップＳ１７）。ここでの分類結果の一致とは、術野を示すラベルが付けられた区間と、オプティカルフローが取れた区間とが一致していることを示すと共に、術野外を示すラベルが付けられた区間と、オプティカルフローが取れなかった区間とが一致していることも含まれる。

【0029】

ステップＳ１７で分類結果が一致した場合（ステップＳ１７のＹＥＳ）、分類更新処理部３５ｃは、手術動画の現在のラベルの値を保持する（ステップＳ１８）。ラベルの値がステップＳ１４の分類で新たに得た値である場合には、その値に更新させる。
また、ステップＳ１７で分類結果が一致しない場合（ステップＳ１７のＮＯ）、分類更新処理部３５ｃは、ここでの動画データを学習用のデータから削除する（ステップＳ１９）。

【0030】

そして、分類更新処理部３５ｃは、学習終了条件を満たすか否かを判断する（ステップＳ２０）。ここでの学習終了条件とは、例えば１単位の手術動画に対して、規定した回数の学習処理を終了したか否かの判断を行う。
ステップＳ２０で学習終了条件を満たした場合（ステップＳ２０のＹＥＳ）、分類更新処理部３５ｃは、ここまでで得られた学習データで、学習済みモデル記憶部３４に記憶された学習モデルを更新する（ステップＳ２１）。
また、ステップＳ２０で学習終了条件を満たしていない場合（ステップＳ２０のＮＯ）、ステップＳ１４～ステップＳ１９の学習処理を繰り返す。

【0031】

なお、図２のフローチャートでは、学習データそのものの更新処理について説明したが、手術画像記録装置２０に記録された手術動画を分類する際にも図２のフローチャートの流れが実行される。そして、手術画像記録装置２０が記録した手術動画に、分類した結果のラベルが付与される。
また、学習済みモデル記憶部３４に記憶される学習済みモデルについても実際の手術動画を分類することで、同様に更新されていく。

【0032】

［再生処理］
図３は、手術画像記録装置２０が記録した手術動画を再生装置４０で再生する際の再生制御処理を示すフローチャートである。
まず、再生装置４０は、手術画像記録装置２０からラベル付き手術動画を取得し（ステップＳ３１）、術野を示すラベルデータを検出する（ステップＳ３２）。
そして、再生装置４０は、該当する動画の再生を開始する（ステップＳ３３）。

【0033】

ここで、再生装置４０は、ステップＳ３２で検出しラベルを判断し、現在の再生区間が術野か否かを判断する（ステップＳ３４）。
ステップＳ３４で、現在の再生区間が術野であると判断したとき（ステップＳ３４のＹＥＳ）、再生装置４０は、該当する区間を再生してディスプレイ４１に表示させる（ステップＳ３５）。
また、ステップＳ３４で、現在の再生区間が術野でないと判断したとき（ステップＳ３４のＮＯ）、再生装置４０は、該当する区間をスキップしてディスプレイ４１に表示させない（ステップＳ３６）。

【0034】

ステップＳ３５の再生又はステップＳ３６のスキップが行われた後、再生装置４０は、手術動画が撮影終了区間まで再生したか否かを判断する（ステップＳ３７）。
ステップＳ３７で、撮影終了区間まで再生したと判断したとき（ステップＳ３７のＹＥＳ）、再生装置４０は手術動画の再生を終了する。
また、ステップＳ３７で、撮影終了区間まで再生していないと判断したとき（ステップＳ３７のＮＯ）、再生装置４０はステップＳ３４の判断に戻る。

【0035】

［オプティカルフローを利用したラベル付けの例］
図４は、本例のシステムにより手術動画を、オプティカルフローを利用して分類してラベル付けした例を示す。
オプティカルフローは、分類処理で説明したように、連続したフレームでの特徴点の動きを輝度で追跡することで、ベクトルである軌跡として可視化したものである。本例では、このオプティカルフローが取れるか否かを、術野フレームか術野外フレームかの判定に利用している。

【0036】

手術動画の場合、通常、術野は強い光で照らされて無影であるのに対して、術野以外の箇所は、強い光で照らされておらず、全体的な輝度が大きく異なる。このため、術野外フレームは、ほぼオプティカルフローが取れない状況である。
また、術野外フレームの場合、手術室が移ることが多く、床やブルーシートなどの特徴点を取るのが困難なフレームが多いので、この点からもオプティカルフローが取れないことが多い。

【0037】

したがって、本例においては、オプティカルフローが取れなければ術野外フレームである可能性が高いと定義し、図２のフローチャートに示す処理を行うようにした。逆に、オプティカルフローが取れている状況の場合には、術野が追跡できていて、手術関連のフレームである可能性が高いと定義して、図２のフローチャートに示す処理を行うようにした。

【0038】

図４は、オプティカルフローによる分類の様子を示したものである。
図４Ａは、分類結果でオプティカルフローが取れた動画の場合である。図４Ａの上側の分類結果で破線を付与して示す区間は、オプティカルフローが取れた区間であることを示す。図４Ａの例は、オプティカルフローが取れた区間が多く存在する場合である。
このとき、オプティカルフロー判断処理部では、図４Ａの下側に示すように、ラベルとして、オプティカルフローが取れた区間に、術野であることを示すラベル“１”を付与する。

【0039】

図４Ｂは、分類結果でオプティカルフローがほとんど取れなかった動画の場合である。図４Ｂの上側の分類結果についても、破線を付与して示す区間は、オプティカルフローが取れた区間であることを示す。
このとき、オプティカルフロー判断処理部では、図４Ｂの下側に示すように、ラベルとして、オプティカルフローが取れなかった区間に、術野外であることを示すラベル“０”を付与する。
本例のシステムでは、このオプティカルフロー判断処理によるラベル付けと、学習処理によるラベル付けを比較して、その比較結果に基づいて学習モデルを更新して、術野と術野外とを分類する処理を行うようにした。

【0040】

[本例のシステムによる分類状態]
図５は、本例の画像分類装置３０で、ルーペ装着カメラ１２で撮影した手術の動画像を、術野と術野外とに分類した場合の例を示す。図５の横軸は学習処理（図３のフローチャートの処理）を繰り返した回数であり、縦軸は精度を示す。精度１が１００％正解の場合であり、１に近い値であるほど精度が高いことを示す。

【0041】

図５のデータｄ１１は、術野と術野外の双方の平均の分類精度を示し、データｄ１２は術野の区間の分類精度を示し、データｄ１３は術野外の区間の分類精度を示す。
図５では、１０回繰り返した場合を示し、徐々に精度が上がっていることが分かる。具体的には、６回繰り返すことで、術野の精度データｄ１２と術野外の精度データｄ１３は、いずれも約０．９７と非常に高い値になり、手術動画からほぼ正確に術野のみを取り出せることが分かる。６回を超えて繰り返すことにより、さらに精度値が高くなっていることも分かる。

【0042】

図６は、比較のために、オプティカルフロー判断処理を使用しないで、半教師あり学習のみで分類した例を示す。図５と図６は同じ手術動画に対して行ったものであり、図６でも横軸は学習処理を繰り返した回数、縦軸は精度を示す。
図６のデータｄ２１は、術野と術野外の双方の平均の分類精度を示し、データｄ２２は術野の区間の分類精度を示し、データｄ２３は術野外の区間の分類精度を示す。
図５と図６とを比較すると分かるように、図６に示すオプティカルフロー判断処理を使用しない半教師あり学習では、術野の精度データｄ１２が、図５のデータｄ１２に比べて大きく低下し、１０回学習による分類を繰り返しても、精度値が０．９０以下である。

【0043】

したがって、図６に示すオプティカルフロー判断処理を使用しない半教師あり学習の場合には、手術の動画像を分類したとしても、術野の画像の内の約１／１０の画像は、術野外と誤判定されて再生されないことになり、手術動画の再生や解析時に好ましくない結果になってしまう。
一方、本例の場合には、図５に示すように、術野の精度データｄ１２と術野外の精度データｄ１３いずれも０．９７程度と高い値であり、術野が術野外と誤判定されて再生されない箇所が少ない。また、術野外が術野と誤判定される可能性も少なく、手術動画の再生や解析時に術野外の画像が混入する可能性が少なく、手術動画の解析を的確に行うことが可能になる。

【0044】

なお、図５と図６を比較すると分かるように、本例の学習処理は、ある程度の回数繰り返すことで精度が向上するが、繰り返しが全くない１回学習しただけでも、本例の術野の精度データｄ１２は、図６に示すオプティカルフロー判断処理を使用しない場合の術野の精度データｄ２２よりも高い値であり、術野を高い精度で分類できていると言える。したがって、処理時間に制約がある場合などには、本例の学習処理を繰り返しせずに実行しても、それなりに高い精度で術野を分類することができる。

【0045】

［変形例］
なお、ここまで説明した実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0046】

例えば、手術動画として、ルーペ装着カメラが撮影した手術画像から、術野と術野外とを分類するようにしたが、ルーペ装着カメラ以外の撮影装置により撮影した手術画像から、術野と術野外とを分類するようにしてもよい。
また、学習処理時には、半教師あり学習を適用するようにしたが、本発明は、学習に必要になる教師データ全てにアノテーションを行う、いわゆる教師あり学習に適用してもよい。但し、上述した実施の形態例で説明した、半教師あり学習に適用することで、学習モデルの作成コストを低減することができ、好ましい。

【0047】

また、上述した実施の形態例では、図１に示すように画像分類装置３０を構成した例としたが、例えば、画像分類装置３０に用意されたプログラムを、記録媒体に記録させて、その記録媒体から汎用のコンピュータ装置などの情報処理装置に実装させることで、各種情報処理装置を画像分類装置として機能させてもよい。この場合のプログラムは、光ディスク、半導体メモリなどの記録媒体に記録させる他、サーバなどに用意して、インターネットを経由して各情報処理装置にダウンロードさせてもよい。

【符号の説明】

【0048】

１０…手術執刀医、１１…手術用双眼ルーペ、１２…ルーペ装着カメラ、１３…手術箇所、２０…手術画像記録装置、３０…画像分類装置、３１…ＣＰＵ、３２…ワークメモリ、３３…プログラム記憶部、３４…学習済みモデル記憶部、３５…処理部、３５ａ…学習処理部、３５ｂ…オプティカルフロー判断処理部、３５ｃ…分類更新処理部、３５ｄ…学習済みモデル更新処理部、４０…再生装置、４１…ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】