特許7376677画像処理システム、内視鏡システム及び内視鏡システムの作動方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-30
(45)【発行日】2023-11-08
(54)【発明の名称】画像処理システム、内視鏡システム及び内視鏡システムの作動方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20231031BHJP
【ＦＩ】
A61B1/045 614
【請求項の数】
15
(21)【出願番号】P 2022501544
(86)(22)【出願日】2020-02-21
(86)【国際出願番号】 JP2020006965
(87)【国際公開番号】W WO2021166208
(87)【国際公開日】2021-08-26
【審査請求日】2022-08-09
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(72)【発明者】
【氏名】木村 正人
【審査官】伊藤 昭治
(56)【参考文献】
【文献】特開２０１８－１１４３０３（ＪＰ，Ａ）
【文献】国際公開第２０１９／１８１４３２（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１９／０３７８６０６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
Ａ６１Ｂ ６／００ － ６／１４
Ａ６１Ｂ ５／０５５
(57)【特許請求の範囲】
【請求項1】
画像処理システムであって、ハードウェアを有する少なくとも１つのプロセッサを含み、
前記プロセッサは、
内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得し、
前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行い、
前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管に対する望ましい止血処置の種類を決定し、決定した前記止血処置の種類をユーザーに提示する処理を行い、
前記データベースは、
時系列の前記生体内画像である生体内画像列に対して、前記生体内画像列において撮像された前記出血に対して推奨される前記止血処置の種類を表す止血処置情報が対応付けられたデータセットを複数含み、
前記プロセッサは、
複数の前記データセットに基づいて前記生体内画像列と前記止血処置情報との関係を機械学習した学習済モデルと、前記処理対象画像列とに基づいて、前記止血処置の種類を決定する処理を行うことを特徴とする画像処理システム。
【請求項2】
画像処理システムであって、ハードウェアを有する少なくとも１つのプロセッサを含み、
前記プロセッサは、
内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得し、
前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行い、
前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管の種別を特定し、特定した前記種別に基づいて、前記出血が発生した血管に対する望ましい止血処置の種類を決定し、決定した前記止血処置の種類をユーザーに提示する処理を行うことを特徴とする画像処理システム。
【請求項3】
請求項２において、前記データベースは、
時系列の前記生体内画像である生体内画像列に対して、前記生体内画像列において撮像された前記出血がいずれの前記種別の前記血管において発生したかを表す血管種別情報が対応付けられたデータセットを複数含み、
前記プロセッサは、
複数の前記データセットに基づいて前記生体内画像列と前記血管種別情報との関係を機械学習した学習済モデルと、前記処理対象画像列とに基づいて、前記出血が発生した前記血管の前記種別を特定する処理を行い、特定された前記種別に基づいて、前記止血処置の種類を決定することを特徴とする画像処理システム。
【請求項4】
請求項１において、前記プロセッサは、
前記止血処置の種類の決定に用いた前記処理対象画像列と、前記処理対象画像列において検出された前記出血に対する前記止血処置の種類と、を対応付けたデータセットを、前記データベースに追加する処理を行うことを特徴とする画像処理システム。
【請求項5】
請求項１において、前記プロセッサは、
前記処理対象画像列に基づいて、前記生体内において前記出血が発生したか否かを検出する出血検出処理を行い、
前記出血が検出されたときに、前記出血の発生位置である出血点を特定する出血点検出処理を行うことを特徴とする画像処理システム。
【請求項6】
請求項５において、前記プロセッサは、
前記出血検出処理によって検出された前記出血の発生、及び、前記出血点検出処理によって特定された前記出血点の少なくとも一方に関する情報を前記ユーザーに報知する出血報知処理を行うことを特徴とする画像処理システム。
【請求項7】
請求項１において、前記プロセッサは、
前記ユーザーが前記出血に対して応急止血処置を行ったと判定されたときに、前記処理対象画像列と前記データベースに基づいて、前記応急止血処置の種類に比べて止血能力の高い処置を前記止血処置の種類として決定する処理を行うことを特徴とする画像処理システム。
【請求項8】
請求項７において、前記プロセッサは、
前記ユーザーによる前記応急止血処置の実行中、又は、実行後に撮像された画像を含む前記処理対象画像列に基づいて、前記止血処置の種類を決定する処理を行うことを特徴とする画像処理システム。
【請求項9】
請求項１において、前記処理対象画像列及び前記生体内画像は肝臓を撮像した画像であり、
前記プロセッサは、
前記処理対象画像列と前記データベースに基づいて、肝動脈、肝静脈、門脈のいずれかの血管に対する前記止血処置の種類を決定する処理を行うことを特徴とする画像処理システム。
【請求項10】
請求項９において、前記プロセッサは、
前記肝動脈及び前記門脈の血流を遮断するプリングルが行われているか否かを特定し、特定結果に基づいて前記止血処置の種類を決定する処理を行うことを特徴とする画像処理システム。
【請求項11】
請求項９において、前記プロセッサは、
前記処理対象画像列と前記データベースとに基づいて、前記肝動脈及び前記門脈の血流を遮断するプリングルが行われている場合の第１止血処置の種類と、前記プリングルが行われていない場合の第２止血処置の種類とを決定することを特徴とする画像処理システム。
【請求項12】
内視鏡システムであって、生体内を撮像する撮像装置と、
ハードウェアを有する少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
前記撮像装置が撮像した時系列画像を処理対象画像列として取得し、
前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行い、
前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管に対する望ましい止血処置の種類を決定し、決定した前記止血処置の種類をユーザーに提示する処理を行い、
前記データベースは、
時系列の前記生体内画像である生体内画像列に対して、前記生体内画像列において撮像された前記出血に対して推奨される前記止血処置の種類を表す止血処置情報が対応付けられたデータセットを複数含み、
前記プロセッサは、
複数の前記データセットに基づいて前記生体内画像列と前記止血処置情報との関係を機械学習した学習済モデルと、前記処理対象画像列とに基づいて、前記止血処置の種類を決定する処理を行うことを特徴とする内視鏡システム。
【請求項13】
内視鏡システムであって、生体内を撮像する撮像装置と、
ハードウェアを有する少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
前記撮像装置が撮像した時系列画像を処理対象画像列として取得し、
前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行い、
前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管の種別を特定し、特定した前記種別に基づいて、前記出血が発生した血管に対する望ましい止血処置の種類を決定し、決定した前記止血処置の種類をユーザーに提示する処理を行うことを特徴とする内視鏡システム。
【請求項14】
内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得する処理と、
前記生体内において出血が発生したときに、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて、前記出血が発生した血管に対する望ましい止血処置の種類を決定する処理と、
決定した前記止血処置の種類をユーザーに提示する処理と、
をコンピュータが行い、
前記データベースは、
時系列の前記生体内画像である生体内画像列に対して、前記生体内画像列において撮像された前記出血に対して推奨される前記止血処置の種類を表す止血処置情報が対応付けられたデータセットを複数含み、
前記コンピュータは、
複数の前記データセットに基づいて前記生体内画像列と前記止血処置情報との関係を機械学習した学習済モデルと、前記処理対象画像列とに基づいて、前記止血処置の種類を決定する処理を行うことを特徴とする内視鏡システムの作動方法。
【請求項15】
内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得する処理と、
前記生体内において出血が発生したときに、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて、前記出血が発生した血管の種別を特定し、特定した前記種別に基づいて、前記出血が発生した血管に対する望ましい止血処置の種類を決定する処理と、
決定した前記止血処置の種類をユーザーに提示する処理と、
をコンピュータが行うことを特徴とする内視鏡システムの作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、内視鏡システム及び内視鏡システムの作動方法等に関する。
【背景技術】
【0002】
従来、内視鏡システム等を用いた手術において、生体内を撮像した画像に基づく画像処理を行う手法が知られている。例えば特許文献１には、手術中の動画情報に基づいて、出血領域を検出する手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１１－３６３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の手法は、出血領域の検出や、当該出血領域の面積の変化、出血量等を求めるものの、出血に対する処置については術者であるユーザーに対応が委ねられる。
【0005】
本開示のいくつかの態様によれば、生体内において発生した出血に対して推奨される処置方法を提示することによって、ユーザーを適切にサポート可能な画像処理システム、内視鏡システム及び画像処理方法等を提供できる。
【課題を解決するための手段】
【0006】
本開示の一態様は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得する画像取得部と、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行う処理部と、を含み、前記処理部は、前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管に対する止血処置を決定し、決定した前記止血処置をユーザーに提示する処理を行う画像処理システムに関係する。
【0007】
本開示の他の態様は、生体内を撮像する撮像部と、前記撮像部が撮像した時系列画像を処理対象画像列として取得する画像取得部と、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行う処理部と、を含み、前記処理部は、前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管に対する止血処置を決定し、決定した前記止血処置をユーザーに提示する処理を行う内視鏡システムに関係する。
【0008】
本開示の他の態様は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得し、前記生体内において出血が発生したときに、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて、前記出血が発生した血管に対する止血処置を決定し、決定した前記止血処置をユーザーに提示する処理を行う画像処理方法に関係する。
【図面の簡単な説明】
【0009】
【図1】肝臓に関連する血管を示す模式図。
【図2】画像処理システムの概略構成例。
【図3】画像処理システムを含むシステムの構成例。
【図4】データベース作成処理を説明するフローチャート。
【図5】画像処理システムの構成例。
【図6】内視鏡システムの構成例。
【図7】画像処理システムにおける処理を説明するフローチャート。
【図8】出血判定処理を説明するフローチャート。
【図9】出血検出処理を説明するフローチャート。
【図10】出血点検出処理を説明するフローチャート。
【図11】所与の出血領域を対象とした出血点検出処理を説明するフローチャート。
【図13】出血点検出処理によって取得されるデータの例。
【図16】ニューラルネットワークの入力及び出力の例。
【図17】止血処置の決定処理を説明するフローチャート。
【図18】表示処理を説明するフローチャート。
【図19】止血処置を提示するための表示画像の例。
【図22】止血処置の決定処理を説明するフローチャート。
【発明を実施するための形態】
【0010】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが必須構成要件であるとは限らない。
【0011】
１．本実施形態の手法
腹腔鏡を用いた手術において、医師が術前計画に従って手術を実施したとしても、術中に予期しない出血が発生する可能性がある。例えば血管の走行は患者によって個人差があるため、血管の損傷を確実に回避することは難しい。出血が発生した場合、医師は迅速に処置を行う必要がある。例えば、肝臓の一部を切除する肝部分切除を行う場合、出血に対する処置を誤ると予後に関わる可能性があるため、迅速に処置を行うことが重要である。
腹腔鏡を用いた手術において、医師が術前計画に従って手術を実施したとしても、術中に予期しない出血が発生する可能性がある。例えば血管の走行は患者によって個人差があるため、血管の損傷を確実に回避することは難しい。出血が発生した場合、医師は迅速に処置を行う必要がある。例えば、肝臓の一部を切除する肝部分切除を行う場合、出血に対する処置を誤ると予後に関わる可能性があるため、迅速に処置を行うことが重要である。
【0012】
特許文献１には、撮像画像に基づいて出血に関する情報を検出、提示する手法が開示されている。しかし特許文献１等の従来手法は、出血の有無等を検出することは可能かもしれないが、それらの情報に基づく具体的な処置の決定は医師に委ねられる。
【0013】
図１は、肝臓、及び肝臓に関連する血管を表す模式図である。図１に示すように、肝臓に関連する血管には、門脈（Ａ１）、肝動脈（Ａ２）、肝静脈（Ａ３）という種別の異なる複数の血管が含まれる。そして血管種別に応じて、出血発生時の望ましい止血処置が異なる。そのため医師の熟練度によっては、出血に対する適切な処置を迅速に決定することが難しい。結果として、手術時間が増大してしまい、患者及び術者の負担が大きくなる。
【0014】
図２は、本実施形態の画像処理システム１００の構成例を示す図である。画像処理システム１００は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得する画像取得部１１０と、処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、処理対象画像列とに基づいて処理を行う処理部１２０を含む。そして処理部１２０は、生体内において出血が発生したときに、処理対象画像列とデータベースとに基づいて、出血が発生した血管に対する止血処置を決定し、決定した止血処置をユーザーに提示する処理を行う。なお内視鏡撮像装置とは、内視鏡システム２００に含まれる撮像装置であって、例えば後述する内視鏡スコープ２１０に設けられる。生体内において出血が発生したときとは、具体的には図９を用いて後述するように、出血検出処理によって出血の発生が検出された場合を表す。ただし、画像処理システム１００が出血検出処理を行わずに、止血処置の決定処理を定期的に実行してもよい。この場合、出血の発生状況に応じて止血処置の決定処理結果が異なり、出血が発生したときには縫合等の具体的な止血処置が決定、提示され、出血が発生していないときには止血処置が不要と判定される。
【0015】
ここで処理対象画像列とは、止血処置を決定する処理の対象となる時系列の画像を表す。具体的には処理対象画像列とは、実行中の腹腔鏡手術において撮像されるリアルタイムの動画像である。これに対してデータベースとは、止血処置を決定する処理の実行タイミングよりも過去に行われた手術において撮像された複数の画像を含む。なお、過去に行われた手術とは、リアルタイムに行われている腹腔鏡手術の対象患者と同じ患者を対象としたものであってもよいし、異なる患者を対象としたものであってもよい。例えば肝部分切除における止血処置を決定する場合、データベースは、過去に行われた肝部分切除において撮像された動画像を含む。なお、処理対象画像列との関係を考慮すれば、ここでの手術は具体的には腹腔鏡を用いた手術である。ただし、開腹手術において手術経過を撮像することによって取得された症例画像がデータベースに含まれてもよい。また、データベースに基づく処理の精度を考慮すれば、データベースに含まれる情報量は多いことが望ましい。例えば、肝部分切除における１回の出血発生に対応する期間の動画像を１つの動画像とカウントする場合に、データベースは複数の動画像を含む。即ち、１回の出血に対応する１つの動画像は複数の生体内画像を含み、データベースは当該動画像を複数含む。
【0016】
本実施形態の手法によれば、出血の有無や出血点の提示にとどまらず、推奨される止血処置をユーザーに提示することが可能になる。ここでのユーザーは、具体的には術者である医師である。これにより、ユーザーによる止血処置を適切にサポートすることが可能になる。
【0017】
なお生体内画像において、血液が存在する領域は赤色領域として撮像される。そのため赤色領域の面積に基づいて、出血量を推定することが可能である。しかし、撮像部と生体の距離が変化すれば、実際の大きさが同じ被写体であっても画像上での大きさは変化してしまう。また、レンズ等の撮像光学系の構成や、デジタルズーム等の画像処理も、所与の被写体の画像上での大きさを変化させる要因となる。このため、処理対象画像列のみから出血の状況を正確に把握すること、例えば出血量やその時系列変化を精度よく推定することは容易でない。そのため、処理対象画像列のみから出血に対して推奨される止血処置を精度よく推定することも難しい。例えば、所与の閾値と赤色領域の面積を比較するといった処理によって止血処置を決定しようとしても、適切な閾値を設定できない。また、肝臓等の臓器の大きさや細かい形状については患者による個人差があるため、その点からも、多くの患者に汎用的に適用可能な閾値設定は困難と言える。
【0018】
これに対して本実施形態の手法では、推奨される止血処置を決定する際、処理対象画像列のみを用いるのではなく、データベースに基づく処理が行われる。過去に行われた手術において取得された情報に基づく処理が行われるため、推奨される止血処置を精度よく推定することが可能になる。なおデータベースに基づく処理とは、データベースを用いた機械学習によって生成された学習済モデルに基づく処理であってもよいし、データベースに含まれる情報と処理対象画像列とを用いた比較処理であってもよい。詳細については後述する。
【0019】
２．システム構成例
まず画像処理システム１００を含む全体システムの構成について説明し、その後、画像処理システム１００の詳細構成、及び内視鏡システム２００の構成について説明する。
まず画像処理システム１００を含む全体システムの構成について説明し、その後、画像処理システム１００の詳細構成、及び内視鏡システム２００の構成について説明する。
【0020】
２．１ 全体構成例
図３は、本実施形態にかかる画像処理システム１００を含むシステムの構成例である。図３に示すように、システムは、画像処理システム１００と、内視鏡システム２００と、データベースサーバー３００と、データベース作成装置４００と、学習装置５００と、画像収集用内視鏡システム６００を含む。ただし、システムは図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
図３は、本実施形態にかかる画像処理システム１００を含むシステムの構成例である。図３に示すように、システムは、画像処理システム１００と、内視鏡システム２００と、データベースサーバー３００と、データベース作成装置４００と、学習装置５００と、画像収集用内視鏡システム６００を含む。ただし、システムは図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0021】
画像収集用内視鏡システム６００は、本実施形態のデータベースを作成するための複数の生体内画像を撮像する内視鏡システムである。これに対して、内視鏡システム２００は、止血処置決定処理の対象となる処理対象画像列を撮像するシステムであり、狭義には腹腔鏡を用いた手術を実行中のシステムである。後述するデータベースの更新処理を考慮すれば、内視鏡システム２００が撮像した処理対象画像列は、将来的な手術において止血処置を決定するためのデータベースの一部として用いることが可能である。即ち、内視鏡システム２００が他のタイミングにおいて画像収集用内視鏡システム６００として機能してもよい。また画像収集用内視鏡システム６００が、他のタイミングにおいて本実施形態にかかる内視鏡システム２００として機能してもよい。
【0022】
データベースサーバー３００は、イントラネット等のプライベートネットワークに設けられるサーバーであってもよいし、インターネット等の公衆通信網に設けられるサーバーであってもよい。
【0023】
データベースサーバー３００は、まず画像収集用内視鏡システム６００から過去の手術中に取得された複数の生体内画像である手術画像列を収集する。ただし、手術画像列には出血に関連しない画像等も含まれる。例えば、手術画像列のうち、出血が発生していない期間において撮像された画像は、出血発生時の画像に比べて、止血処置の決定処理における有用性が低い。また、画像処理システム１００における止血処置の決定処理に利用するためには、出血を撮像した複数の生体内画像に対して、当該出血に対して行うべき止血処置に関する情報を対応付ける必要がある。
【0024】
よってデータベース作成装置４００は、データベースサーバー３００が画像収集用内視鏡システム６００から収集した手術画像列を取得し、本実施形態にかかるデータベースを作成する処理を行う。
【0025】
図４は、データベース作成装置４００におけるデータベース作成処理を説明するフローチャートである。この処理が開始されると、ステップＳ１１において、データベース作成装置４００は、手術画像列から出血パターンの画像列を抽出する処理を行う。出血パターンの画像列とは、例えば出血開始フレームから出血が検出されたフレームまでの期間に対応する複数の生体内画像を表す。例えばデータベース作成装置４００は、図９～図１１を用いて後述する処理を実行することによって、出血が検出された画像Ｐｉと、当該出血の開始フレームに対応する画像Ｐｓを特定する処理を行う。データベース作成装置４００は、ＰｉからＰｓまでの期間に対応する画像を、出血パターンの画像列として抽出する。なお、ＰｉからＰｓまでの期間に対応する画像の全てが抽出対象となってもよいし、一部の画像が省略されてもよい。或いは、出血パターンの画像列とは、例えば出血開始から後述する応急止血処置が行われるまでの期間に対応する複数の生体内画像であってもよい。この場合、出血量は開始タイミングから時間の経過とともに増加していき、応急止血処置が開始されると減少するというパターンに従うことが想定される。このように、生体内画像における出血状況の時系列変化をあらかじめ出血パターンとして定義しておき、データベース作成装置４００は、手術画像列から当該出血パターンとの類似度が高い画像列を抽出する処理を行う。なお、画像列の抽出はユーザー入力に基づいて行われてもよいし、画像処理を用いて自動的に行われてもよい。
【0026】
次にステップＳ１２において、データベース作成装置４００は、アノテーションを行う。アノテーションとは、出血パターンの画像列において撮像された出血に対して、推奨される止血処置に関するメタデータを付加する処理である。アノテーションは、例えば医師等の専門的な知識を有するユーザーによって行われる。データベース作成装置４００は、ユーザーのアノテーション入力を受け付け、受け付けた情報をステップＳ１１において抽出した画像列に対応付ける処理を行う。なお、ここで付加される情報は、血管種別を特定する情報であってもよいし、止血処置を特定する情報であってもよいし、その両方であってもよい。
【0027】
またステップＳ１３において、データベース作成装置４００は、出血パターンの画像列に対して他の付加情報を対応付ける処理を行ってもよい。ここでの付加情報は、例えば術者、術式、病院名等の情報や、手術中に注意すべき事項等の情報を含んでもよい。また付加情報は、年齢、性別、身長、体重等の患者に関する情報であってもよいし、手術前にＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）を用いて取得された情報であってもよい。
【0028】
ステップＳ１４において、データベース作成装置４００は、出血パターンの画像列に対して、止血処置を特定するための情報を含むメタデータが対応付けられた情報を、本実施形態のデータベースに登録する処理を行う。ステップＳ１４の処理は、具体的にはデータベースサーバー３００に対するテーブルデータの書き込み処理である。
【0029】
学習装置５００は、データベースを用いた機械学習を行うことによって、学習済モデルを生成する。例えば学習装置５００は、データベースサーバー３００からデータベースを取得し、後述する機械学習を行うことによって学習済モデルを生成する。学習装置５００は、生成した学習済モデルをデータベースサーバー３００に送信する。
【0030】
画像処理システム１００は、データベースサーバー３００から学習済モデルを取得する。また画像処理システム１００は、内視鏡システム２００から処理対象画像列を取得する。そして画像処理システム１００は、データベースに基づいて生成された学習済モデルと、処理対象画像列とに基づいて、止血処置を決定する処理を行う。
【0031】
なお、データベース作成装置４００は、データベースサーバー３００に含まれ、データベースサーバー３００内において図４に示した処理が行われてもよい。或いはデータベース作成装置４００は画像収集用内視鏡システム６００に含まれてもよい。この場合、図４に示す処理は画像収集用内視鏡システム６００において実行され、データベースサーバー３００へは処理後のデータが送信される。
【0032】
また、データベース作成装置４００と、学習装置５００を同じ装置としてもよい。この場合、手術画像列からデータベースを作成する処理と、作成したデータベースに基づく機械学習とを同じ装置内で実行することが可能になる。或いは、学習装置５００と画像処理システム１００とを一体で構成してもよい。この場合、学習済モデルを生成する学習処理と、学習済モデルを用いた推論処理とを同じ装置において実行することが可能になる。
【0033】
また図３では学習装置５００が生成した学習済モデルが一旦データベースサーバー３００に蓄積される例を示したが、学習済モデルは学習装置５００から画像処理システム１００へ直接送信されてもよい。また後述するように、本実施形態の手法では機械学習は必須でない。機械学習が行われない場合、学習装置５００は省略可能である。
【0034】
以上のように、図３はシステム構成の一例であり、画像処理システム１００を含むシステムの構成は種々の変形実施が可能である。
【0035】
２．２ 画像処理システム
図５は、画像処理システム１００の詳細な構成例を示す図である。画像処理システム１００は、画像取得部１１０と、処理部１２０と、記憶部１３０を含む。処理部１２０は、出血検出部１２１と、出血点検出部１２３と、処置決定部１２５と、表示処理部１２７を含む。ただし画像処理システム１００や処理部１２０は図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
図５は、画像処理システム１００の詳細な構成例を示す図である。画像処理システム１００は、画像取得部１１０と、処理部１２０と、記憶部１３０を含む。処理部１２０は、出血検出部１２１と、出血点検出部１２３と、処置決定部１２５と、表示処理部１２７を含む。ただし画像処理システム１００や処理部１２０は図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0036】
画像取得部１１０は、内視鏡システム２００の撮像装置によって撮像された生体内画像を取得するインターフェース回路である。画像処理システム１００が内視鏡システム２００のプロセッサユニット２２０に含まれる場合、画像取得部１１０は、ケーブルを介して撮像装置からの画像信号を取得する撮像データ受信部２２１に相当する。インターフェース回路とは、例えば内視鏡システム２００から生体内画像を取得し、取得した生体内画像を処理部１２０に送信する機能を有する回路である。この場合、画像取得部１１０は、撮像装置からデジタルデータである生体内画像を受信してもよい。或いは画像取得部１１０は、撮像装置からアナログ信号を受信し、当該アナログ信号に対するＡ／Ｄ変換を行うことによってデジタルデータである生体内画像を取得してもよい。即ち、インターフェース回路とは、Ａ／Ｄ変換回路であってもよい。また、画像処理システム１００が内視鏡システム２００とは別体として設けられる場合、画像取得部１１０は、内視鏡システム２００からネットワークを介して生体内画像を受信する通信インターフェースとして実現される。即ち、インターフェース回路とは、通信チップや通信デバイスに設けられる回路であってもよい。ここでのネットワークは、イントラネット等のプライベートネットワークであってもよいし、インターネット等の公衆通信網であってもよい。またネットワークは、有線、無線を問わない。また画像取得部１１０は、例えば１フレームごとに生体内を撮像した画像を取得する。ただし画像取得部１１０は、複数フレームに対応する複数の画像をまとめて取得してもよい。
【0037】
処理部１２０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する制御回路及びアナログ信号を処理する制御回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
【0038】
また処理部１２０は、下記のプロセッサにより実現されてもよい。画像処理システム１００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。ここでのメモリは、記憶部１３０であってもよいし、異なるメモリであってもよい。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１２０の各部の機能が処理として実現されることになる。処理部１２０の各部とは、具体的には出血検出部１２１、出血点検出部１２３、処置決定部１２５、表示処理部１２７である。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。さらに、処理部１２０の各部の全部または一部をクラウドコンピューティングで実現し、後述する各処理をクラウドコンピューティング上で行うこともできる。
【0039】
記憶部１３０は、処理部１２０等のワーク領域となるもので、その機能は半導体メモリ、レジスタ、磁気記憶装置などにより実現できる。記憶部１３０は、画像取得部１１０が取得した処理対象画像列を記憶する。また記憶部１３０は、データベースを用いて生成された学習済モデルを記憶する。なお記憶部１３０は、学習済モデルとともに、或いは学習済モデルに代えて、データベース自体を記憶してもよい。
【0040】
出血検出部１２１は、処理対象画像列に基づいて、撮像対象である生体内において出血が発生したか否かを検出する出血検出処理を行う。出血検出処理の詳細は図９を用いて後述する。
【0041】
【0042】
処置決定部１２５は、出血に対して推奨される止血処置を決定する処理を行う。処置決定部１２５は、例えば記憶部１３０から学習済モデルを読み出す処理と、処理対象画像列のうちの所定の区間を抽出した画像列を学習済モデルに入力する処理と、学習済モデルの出力に基づいて出血が発生した血管種別を決定する処理と、決定した血管種別に基づいて止血処置を決定する処理と、を行う。学習済モデルを用いた処理の詳細については図１４（Ａ）～図１７を用いて後述する。なお、変形例として後述するように、処理部１２０は学習済モデルの出力に基づいて直接的に止血処置を決定してもよい。また処理部１２０は、学習済モデルを用いずに、処理対象画像列とデータベースの比較処理に基づいて止血処置を決定してもよい。
【0043】
表示処理部１２７は、処置決定部１２５によって決定された止血処置を表示部に表示する処理を行う。ここでの表示部は、例えば内視鏡システム２００の表示部２３０である。表示処理部１２７は、例えば処理対象画像列の各画像に止血処置に関する情報を重畳することによって表示画像を生成する処理と、生成した表示画像を表示部２３０に送信する処理を行う。或いは、表示処理部１２７は、表示画像を内視鏡システム２００のプロセッサユニット２２０に送信する処理を行ってもよい。この場合、表示部２３０における表示制御はプロセッサユニット２２０によって実行される。また、表示処理部１２７による表示処理とは、決定された止血処置に関する情報を内視鏡システム２００等の機器に送信し、表示を指示する処理であってもよい。この場合、表示画像の生成処理や表示部２３０の制御処理はプロセッサユニット２２０によって実行される。
【0044】
また、本実施形態の画像処理システム１００が行う処理は、画像処理方法として実現されてもよい。本実施形態の画像処理方法は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得し、生体内において出血が発生したときに、処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、処理対象画像列とに基づいて、出血が発生した血管に対する止血処置を決定し、決定した止血処置をユーザーに提示する処理を行う。
【0045】
また、本実施形態の処理部１２０の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、出血検出部１２１及び出血点検出部１２３は、それぞれ出血検出処理、出血点検出処理を行う画像処理モジュールとして実現される。処置決定部１２５は、止血処置を決定するための処理モジュールとして実現される。学習済モデルを用いる場合、処置決定部１２５は、学習済モデルに従って出力を演算するための推論処理モジュールとして実現される。データベースそのものを用いる場合、処置決定部１２５は、処理対象画像列とデータベースとを比較する比較処理モジュールとして実現される。表示処理部１２７は、表示画像を生成する画像処理モジュールや、表示部２３０を制御する制御モジュールとして実現される。
【0046】
また、本実施形態の処理部１２０の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。処理部１２０は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部１２０の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図７等を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。
【0047】
２．３ 内視鏡システム
図６は、内視鏡システム２００の構成例である。内視鏡システム２００は、内視鏡スコープ２１０と、プロセッサユニット２２０と、表示部２３０と、を含む。また内視鏡システム２００は操作部２４０を更に含んでもよい。
図６は、内視鏡システム２００の構成例である。内視鏡システム２００は、内視鏡スコープ２１０と、プロセッサユニット２２０と、表示部２３０と、を含む。また内視鏡システム２００は操作部２４０を更に含んでもよい。
【0048】
内視鏡スコープ２１０の先端部には撮像装置が設けられ、その先端部が腹腔内に挿入される。撮像装置が腹腔内の画像を撮影し、その撮像データが内視鏡スコープ２１０からプロセッサユニット２２０へ送信される。
【0049】
プロセッサユニット２２０は、内視鏡システム２００における種々の処理を行う装置である。例えばプロセッサユニット２２０は、内視鏡システム２００の制御、及び画像処理等を行う。プロセッサユニット２２０は、撮像データ受信部２２１と、処理部２２２と、記憶部２２３を含む。
【0050】
撮像データ受信部２２１は、内視鏡スコープ２１０からの撮像データを受信する。撮像データ受信部２２１は、例えば内視鏡スコープ２１０のケーブルが接続されるコネクター、又は、撮像データを受信するインターフェース回路等である。
【0051】
処理部２２２は、撮像データに対する処理を行い、処理結果を表示部２３０に表示する処理を行う。処理部２２２における処理は、例えばホワイトバランス処理、ノイズ低減処理等の補正処理である。また処理部２２２は、撮像データから所与の被写体を検出する検出処理等を行ってもよい。ここでの処理部２２２は、具体的には画像処理回路である。
【0052】
記憶部２２３は、処理部２２２等のワーク領域となるもので、例えば半導体メモリ、又はハードディスクドライブ、光学ディスクドライブ等の記憶装置である。
【0053】
表示部２３０は、処理部２２２から出力された画像を表示するモニタであり、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。
【0054】
操作部２４０は、作業者が内視鏡システム２００を操作するための装置である。例えば、操作部２４０は、ボタン、又はダイヤル、フットスイッチ、タッチパネル等である。後述するように、処理部２２２は、操作部２４０からの入力情報に基づいて、対象物の表示態様を変更してもよい。
【0055】
図２及び図５に示した画像処理システム１００は、例えば図６に示した内視鏡システム２００とは別体として設けられてもよい。例えば、画像処理システム１００は、プロセッサユニット２２０と接続される情報処理装置に含まれる。ここでの情報処理装置はＰＣ（Personal Computer）であってもよいし、サーバーシステムであってもよい。プロセッサユニット２２０と情報処理装置は、ケーブルによって接続されてもよいし、無線ネットワークを用いて接続されてもよい。
【0056】
プロセッサユニット２２０の処理部２２２は、撮像データ受信部２２１によって取得した撮像データを、不図示の通信部を介して情報処理装置に送信する処理を行う。画像処理システム１００の画像取得部１１０は、プロセッサユニット２２０から送信された時系列の撮像データを処理対象画像列として取得する。処理部１２０は、処理対象画像列を対象として止血処置の決定処理を行う。画像処理システム１００は、止血処置の決定処理結果を、プロセッサユニット２２０に返信する。プロセッサユニット２２０の処理部２２２は、画像処理システム１００から受信した止血処置に関する情報を含む表示画像を、表示部２３０に表示する。
【0057】
或いは、画像処理システム１００は、内視鏡システム２００に含まれてもよい。この場合、画像取得部１１０は撮像データ受信部２２１に対応する。処理部１２０は処理部２２２に対応する。記憶部１３０は記憶部２２３に対応する。即ち、本実施形態の手法は内視鏡システム２００に適用されてもよい。本実施形態の内視鏡システム２００は、生体内を撮像する撮像部と、撮像部が撮像した時系列画像を処理対象画像列として取得する画像取得部１１０と、処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースに基づいて、処理対象画像列に対する処理を行う処理部１２０を含む。処理部１２０は、生体内において出血が発生したときに、処理対象画像列とデータベースとに基づいて、出血が発生した血管に対する止血処置を決定し、決定した止血処置をユーザーに提示する処理を行う。
【0058】
撮像部は、例えば上述したように内視鏡スコープ２１０に含まれる撮像装置である。内視鏡スコープ２１０は、不図示の光源装置からライトガイドを経由して内視鏡スコープ２１０の照明レンズまで導光された照明光を被写体に照射する。撮像部は、対物レンズやフォーカスレンズ等を含むレンズ系を介して、被写体からの反射光を受光する撮像素子である。なお、撮像部が撮像素子の出力であるアナログ信号をＡ／Ｄ変換するＡ／Ｄ変換回路を含んでもよい。或いは、撮像データ受信部２２１がＡ／Ｄ変換回路を含んでもよい。
【0059】
３．処理の詳細
次に画像処理システム１００において実行される処理について説明する。まず全体的な処理の流れについて説明した後、各処理の詳細を説明する。
次に画像処理システム１００において実行される処理について説明する。まず全体的な処理の流れについて説明した後、各処理の詳細を説明する。
【0060】
３．１ 全体処理
図７は、画像処理システム１００における処理を説明するフローチャートである。この処理が開始されると、まずステップＳ１０１において、画像取得部１１０は、処理対象画像列を取得する。例えば画像取得部１１０は、内視鏡システム２００から最新フレームの画像を取得するとともに、記憶部１３０に記憶しておいた過去所定フレーム分の画像を読み出す。ここでは最新フレームをフレームｉとし、当該フレームｉにおける画像をＰｉと表記する。ｉはフレームを表す変数である。
図７は、画像処理システム１００における処理を説明するフローチャートである。この処理が開始されると、まずステップＳ１０１において、画像取得部１１０は、処理対象画像列を取得する。例えば画像取得部１１０は、内視鏡システム２００から最新フレームの画像を取得するとともに、記憶部１３０に記憶しておいた過去所定フレーム分の画像を読み出す。ここでは最新フレームをフレームｉとし、当該フレームｉにおける画像をＰｉと表記する。ｉはフレームを表す変数である。
【0061】
ステップＳ１０２において、処理部１２０は、出血に関する判定である出血判定処理を行う。出血判定処理は、出血検出部１２１による出血検出処理と、出血点検出部１２３による出血点検出処理と、処置決定部１２５による処置の決定処理を含む。
【0062】
ステップＳ１０３において、表示処理部１２７は、最新フレームの画像に対して特定された出血点に関する情報を重畳させることによって表示画像を生成し、当該表示画像を表示部に表示するための処理を行う。またステップＳ１０３において、表示処理部１２７は、決定された止血処置に関する情報を表示してもよい。
【0063】
次にステップＳ１０４において、処理部１２０はデータベースを更新する処理を行う。なお、ステップＳ１０４の処理は手術中に行う必要はなく、例えば手術が完了した後に実行されてもよい。
【0064】
次にステップＳ１０５において、フレームを表す変数ｉをインクリメントした後、ステップＳ１０１に戻る。即ち、次のフレームの画像を対象として、ステップＳ１０１～Ｓ１０４の処理が継続される。
【0065】
３．２ 出血判定処理
図８は、図７のステップＳ１０２における出血判定処理を説明するフローチャートである。この処理が開始されると、ステップＳ２０１において、出血検出部１２１は、出血検出処理を行う。ステップＳ２０２において、出血点検出部１２３は、出血点検出処理を行う。ステップＳ２０３において、処置決定部１２５は、止血処置の決定処理を行う。以下、各ステップの処理について詳細に説明する。
図８は、図７のステップＳ１０２における出血判定処理を説明するフローチャートである。この処理が開始されると、ステップＳ２０１において、出血検出部１２１は、出血検出処理を行う。ステップＳ２０２において、出血点検出部１２３は、出血点検出処理を行う。ステップＳ２０３において、処置決定部１２５は、止血処置の決定処理を行う。以下、各ステップの処理について詳細に説明する。
【0066】
３．２．１ 出血検出処理
図９は、ステップＳ２０１における出血検出処理を説明するフローチャートである。まずステップＳ３０１において、出血検出部１２１は、処理対象の画像Ｐｉと、Ｐｉに比べてｎフレーム過去の画像Ｐｉ－ｎの比較処理を行う。画像Ｐｉ－ｎは、例えば画像Ｐｉの１秒前に取得された画像であるが、比較対象となる画像の取得タイミングは種々の変形実施が可能である。
図９は、ステップＳ２０１における出血検出処理を説明するフローチャートである。まずステップＳ３０１において、出血検出部１２１は、処理対象の画像Ｐｉと、Ｐｉに比べてｎフレーム過去の画像Ｐｉ－ｎの比較処理を行う。画像Ｐｉ－ｎは、例えば画像Ｐｉの１秒前に取得された画像であるが、比較対象となる画像の取得タイミングは種々の変形実施が可能である。
【0067】
次にステップＳ３０２において、出血検出部１２１は、画像間における赤色領域の変化が大きいか否かを判定する。例えば出血検出部１２１は、ブロックマッチング等の公知のマッチング手法を用いて、画像間で変化した領域を特定する。そして変化した領域の面積が所定閾値以上である場合、当該領域が赤色の領域であるか否かを判定する。出血検出部１２１は、例えば色相が０度を含む所定角度範囲内である領域を赤色領域であると判定する。
【0068】
画像間で変化した領域の面積が閾値以上であり、且つ、当該領域が赤色領域であると判定された場合、ステップＳ３０３において、出血検出部１２１は画像Ｐｉにおいて出血ありと判定する。それ以外の場合、ステップＳ３０４において、出血検出部１２１は画像Ｐｉにおいて出血なしと判定する。
【0069】
３．２．２ 出血点検出処理
図１０、図１１は、ステップＳ２０２における出血点検出処理を説明するフローチャートである。まず図１０のステップＳ４０１において、出血点検出部１２３は、画像Ｐｉにおいて出血が検出されているか否かを判定する。ステップＳ４０１でＮｏの場合、出血点検出部１２３は、ステップＳ４０２以降の処理を行わずに処理を終了する。
図１０、図１１は、ステップＳ２０２における出血点検出処理を説明するフローチャートである。まず図１０のステップＳ４０１において、出血点検出部１２３は、画像Ｐｉにおいて出血が検出されているか否かを判定する。ステップＳ４０１でＮｏの場合、出血点検出部１２３は、ステップＳ４０２以降の処理を行わずに処理を終了する。
【0070】
ステップＳ４０１でＹｅｓの場合、ステップＳ４０２において、出血点検出部１２３は、画像Ｐｉにおける出血領域Ｓを特定する。ここでの出血領域は、例えば画像Ｐｉにおける連続する赤色画素の集合である領域のうち、所定画素数以上の領域である。なお、画像Ｐｉ中に出血領域が複数存在する場合、出血点検出部１２３は、各出血領域をＳ１、Ｓ２…と区別する。
【0071】
ステップＳ４０３において、出血点検出部１２３は、出血領域を特定する変数ｋを１で初期化する。そしてステップＳ４０４において、出血領域Ｓｋを対象として、出血点検出処理を実行する。ステップＳ４０４の処理後、ステップＳ４０５において出血点検出部１２３はｋをインクリメントし、ステップＳ４０４の処理に戻る。即ち、出血点検出部１２３は、画像Ｐｉにおいて検出された１又は複数の出血領域について、順次、出血点検出処理を実行する。全ての出血領域に対する出血点検出処理が終了した場合、図１０に示す処理は終了する。
【0072】
図１１は、ステップＳ４０４における出血領域Ｓｋを対象とした出血点検出処理を説明するフローチャートである。ステップＳ５０１において、出血点検出部１２３は、出血点探索用の変数ｊを１で初期化する。ステップＳ５０２において、出血点検出部１２３は、画像Ｐｉよりもｊフレーム前の画像Ｐｉ－ｊに、処理対象としている出血領域Ｓｋが存在するか否かを判定する。例えば出血点検出部１２３は、画像Ｐｉ－ｊにおいて出血領域の検出及び当該出血領域の重心を求め、当該重心と、画像Ｐｉ－ｊ＋１におけるＳｋの重心との比較処理を行う。差分が所定閾値以下の場合に、出血点検出部１２３は、画像Ｐｉ－ｊにおける出血領域が処理対象としている出血領域Ｓｋであると判定する。なお、１フレームに相当する期間における画像上での被写体の動きが大きいと想定される場合、出血点検出部１２３は、動きベクトルによる補正を行った上で重心の比較処理を行ってもよい。
【0073】
ステップＳ５０２でＹｅｓの場合、ステップＳ５０３において出血点検出部１２３は、変数ｊをインクリメントする。ステップＳ５０３の処理後、出血点検出部１２３は、再度ステップＳ５０２に戻って処理を継続する。即ち、さらに過去方向に遡って、出血領域Ｓｋの有無を判定する。
【0074】
図１２（Ａ）は、出血点検出処理を説明する模式図である。図１２（Ａ）に示すように、出血点検出部１２３は、画像Ｐｉで検出された出血領域Ｓｋを、過去方向に探索していく。図１２（Ａ）は、ステップＳ５０２でＮｏの場合、即ち、画像Ｐｉ－ｊ＋１ではＳｋが検出され、且つ、画像Ｐｉ－ｊではＳｋが検出されなかった場合を図示している。この場合、ステップＳ５０５において、出血点検出部１２３は、画像Ｐｉ－ｊ＋１を出血開始フレームに対応する出血開始画像Ｐｓとして設定する。即ち、出血開始フレームは、最新のフレームｉに比べてｊ－１フレーム過去のフレームである。
【0075】
出血開始画像Ｐｓが特定されたら、ステップＳ５０５において、出血点検出部１２３は出血点を特定する。図１２（Ｂ）は出血点（ｘｓ，ｙｓ）を特定する処理を説明する模式図である。図１２（Ｂ）に示すように、出血点検出部１２３は、画像Ｐｓにおける出血領域Ｓｋの重心である（ｘｓ，ｙｓ）を出血点として検出する処理を行う。なお図１２（Ｂ）では画像の左上の端点を原点としたが、座標系の設定は任意である。
【0076】
図１３は、図１０～図１２（Ｂ）に示す出血点検出処理によって取得されるデータの構成を説明する図である。図１３に示すように、フレームｉにおける画像Ｐｉに基づいて、１又は複数個の出血領域が検出され、各出血領域について、出血開始フレームを特定する情報が対応付けられる。出血開始フレームは、図１１に示すように例えばｉ－ｊ＋１であり、具体的な数値が特定されている。また各出血領域に対して、図１２（Ｂ）に示したように、出血開始点を特定する座標である（ｘｓ，ｙｓ）が対応付けられる。
【0077】
以上のように、処理部１２０は、処理対象画像列に基づいて、生体内において出血が発生したか否かを検出する出血検出処理を行う。そして処理部１２０は、出血が検出されたときに、出血の発生位置である出血点を特定する出血点検出処理を行う。このようにすれば、出血の発生を検出及び出血点の特定が可能になるため、ユーザーによる止血処置を適切にサポートすることが可能になる。
【0078】
３．２．３ 止血処置の決定処理
ステップＳ２０３における止血処置の決定処理について説明する。なお、止血処置の決定処理を行う前提として、データベースの具体例及びデータベースを用いた学習処理についても説明する。
ステップＳ２０３における止血処置の決定処理について説明する。なお、止血処置の決定処理を行う前提として、データベースの具体例及びデータベースを用いた学習処理についても説明する。
【0079】
以下、処理対象画像列、及びデータベースに含まれる生体内画像が肝臓を撮像した画像である例について説明する。処理部１２０は、処理対象画像列とデータベースに基づいて、肝動脈、肝静脈、門脈のいずれかの血管に対する止血処置を決定する。このようにすれば、肝部分切除等の肝臓を対象とした手術において、予期せぬ出血に対するユーザーの対処を適切にサポートすることが可能になる。特に肝臓は血管が密集しているため出血が発生しやすく、且つ、適切に止血処置を行わなければ予後不良となるおそれがある。そのため、肝臓に関する止血処置のサポートは非常に有用である。
【0080】
処理部１２０は、処理対象画像列とデータベースとに基づいて、出血が発生した血管の種別を特定し、特定した種別に基づいて、止血処置を決定してもよい。このようにすれば、出血が発生している血管種別を特定することによって、当該種別に応じた適切な止血処置をユーザーに提示することが可能になる。
【0081】
ここで血管の種別とは、例えば解剖学、脈管学等の分野における構造的な区分、或いは機能的な区分を表す。図１に例示したように、肝臓に関する血管の種別としては、消化器系からの血液を肝臓へと導く門脈、腹大動脈から分岐する肝動脈、下大静脈から分岐する肝静脈の３つが考えられる。ただし、本実施形態における種別は血管をより細かく区分するものであってもよい。例えば、相対的に太い肝動脈と、細い肝動脈とを異なる種別としてもよい。或いは、肝部分切除においては肝臓を右葉、左葉、尾状葉に区分し、さらに右葉と左葉をそれぞれ複数の区域に分ける。本実施形態における血管の種別は、血管がいずれの区域に接続されるかを考慮したものであってもよい。例えば本実施形態では、右肝静脈、中肝静脈、左肝静脈をそれぞれ異なる種別としてもよい。
【0082】
図１４（Ａ）、図１４（Ｂ）は、本実施形態のデータベースの例を示す図である。図４を用いて上述したデータベースの作成処理において、図１４（Ａ）に示すように、出血パターンの画像列に対して、出血が発生した血管の血管種別を表す情報が対応付けられている。即ち、図４のステップＳ１２において、血管種別をメタデータとして付加するアノテーションを行うことによって、図１４（Ａ）に示すデータベースが取得される。
【0083】
また図１４（Ｂ）に示すように、データベースは血管種別と、当該血管種別に応じた止血処置を対応付けるデータを含む。例えば図１４（Ｂ）は、対象となる血管種別に対応する行数のデータを含むテーブルであり、１つの血管種別に対して、１つの止血処置が対応付けられる。なお、止血処置は血管を縫い合わせる縫合、エネルギーデバイスを用いて血管を焼くことによる封止、出血点近傍をクリップで挟むことによって機械的に圧迫を行うクリップ止め、血管収縮作用を有する薬剤の注射や散布等が考えられる。なお血管種別の数と止血処置の種類数は一致する必要はなく、１つの止血処置が複数の血管種別に対応付けられることは妨げられない。
【0084】
本実施形態の止血処置の決定処理は、機械学習を用いたものであってもよい。具体的には、学習装置５００はデータベースに基づく機械学習を行うことによって学習済モデルを生成する。画像処理システム１００の処理部１２０は、学習装置５００が生成した学習済モデルに従って動作することによって、止血処置を決定する。以下ではニューラルネットワークを用いた機械学習について説明するが、本実施形態の手法はこれに限定されない。本実施形態においては、例えばＳＶＭ（support vector machine）等の他のモデルを用いた機械学習が行われてもよいし、ニューラルネットワークやＳＶＭ等の種々の手法を発展させた手法を用いた機械学習が行われてもよい。
【0085】
図１５（Ａ）は、ニューラルネットワークを説明する模式図である。ニューラルネットワークは、データが入力される入力層と、入力層からの出力に基づいて演算を行う中間層と、中間層からの出力に基づいてデータを出力する出力層を有する。図１５（Ａ）においては、中間層が２層であるネットワークを例示するが、中間層は１層であってもよいし、３層以上であってもよい。また各層に含まれるノード（ニューロン）の数は図１５（Ａ）の例に限定されず、種々の変形実施が可能である。なお精度を考慮すれば、本実施形態の学習は多層のニューラルネットワークを用いた深層学習（ディープラーニング）を用いることが望ましい。ここでの多層とは、狭義には４層以上である。
【0086】
図１５（Ａ）に示すように、所与の層に含まれるノードは、隣接する層のノードと結合される。各結合には重み付け係数が設定されている。各ノードは、前段のノードの出力と重み付け係数を乗算し、乗算結果の合計値を求める。さらに各ノードは、合計値に対してバイアスを加算し、加算結果に活性化関数を適用することによって当該ノードの出力を求める。この処理を、入力層から出力層へ向けて順次実行することによって、ニューラルネットワークの出力が求められる。なお活性化関数としては、シグモイド関数やＲｅＬＵ関数等の種々の関数が知られており、本実施形態ではそれらを広く適用可能である。
【0087】
ニューラルネットにおける学習は、適切な重み付け係数（バイアスを含む）を決定する処理である。具体的には、学習装置５００は、訓練データのうちの入力データをニューラルネットワークに入力し、そのときの重み付け係数を用いた順方向の演算を行うことによって出力を求める。学習装置５００は、当該出力と訓練データのうちの正解ラベルとに基づいて、誤差関数を演算する。そして誤差関数を小さくするように、重み付け係数を更新する。重み付け係数の更新では、例えば出力層から入力層に向かって重み付け係数を更新していく誤差逆伝播法を利用可能である。
【0088】
またニューラルネットワークは例えばＣＮＮ（Convolutional Neural Network）であってもよい。図１５（Ｂ）は、ＣＮＮを説明する模式図である。ＣＮＮは、畳み込み演算を行う畳み込み層とプーリング層を含む。畳み込み層は、フィルタ処理を行う層である。プーリング層は、縦方向、横方向のサイズを縮小するプーリング演算を行う層である。図１５（Ｂ）に示す例は、畳み込み層及びプーリング層による演算を複数回行った後、全結合層による演算を行うことによって出力を求めるネットワークである。全結合層とは、所与の層のノードに対して前の層の全てのノードが結像される場合の演算処理を行う層であり、図１５（Ａ）を用いて上述した各層の演算に対応する。なお、図１５（Ｂ）では活性化関数による演算処理を省略している。ＣＮＮは種々の構成が知られており、本実施形態においてはそれらを広く適用可能である。
【0089】
ＣＮＮを用いる場合も、処理の手順は図１５（Ａ）と同様である。即ち、学習装置５００は、訓練データのうちの入力データをＣＮＮに入力し、そのときのフィルタ特性を用いたフィルタ処理やプーリング演算を行うことによって出力を求める。当該出力と、正解ラベルとに基づいて誤差関数を算出し、当該誤差関数を小さくするように、フィルタ特性を含む重み付け係数を更新する。ＣＮＮの重み付け係数を更新する際にも、例えば誤差逆伝播法を利用可能である。
【0090】
図１６は、図１４（Ａ）に示すデータベースを用いる場合のニューラルネットワークの入力と出力を例示する図である。図１６に示すように、ニューラルネットワークの入力データは画像列であり、出力データは血管種別を特定するための情報である。入力となる画像列は例えば固定長であるが、ニューラルネットワークの構成によっては可変長となることも妨げられない。ニューラルネットワークの出力層が公知のソフトマックス層である場合、出力データは、各血管種別の確からしさを表す確率データである。図１６の例では、出力データは、入力である画像列において出血が発生した血管の種別が「門脈である確からしさを表す確率データ」と、「肝動脈である確からしさを表す確率データ」と、「肝静脈である確からしさを表す確率データ」の３つのデータである。
【0091】
学習装置５００は、図１４（Ａ）に示すデータベースから、出血パターンの画像列と、当該画像列に対応付けられた血管種別情報を取得する。次にニューラルネットワークに画像列を入力し、現在の重み付け係数を用いた順方向の演算を行うことによって、３つの確率データを求める。血管種別情報が「門脈」である場合、「門脈である確からしさを表す確率データ」が１となり、「肝動脈である確からしさを表す確率データ」と「肝静脈である確からしさを表す確率データ」の両方が０となるデータが正解となる。学習装置５００は、順方向の演算によって求めた３つの確率データと正解との誤差を、誤差関数として演算する。誤差関数を小さくするための重み付け係数の更新処理には、上述したように誤差逆伝播法等が用いられる。以上が図１４（Ａ）のデータベースに含まれる１行のデータによって実行される処理である。学習装置５００は、この処理を繰り返すことによって学習済モデルを生成する。また学習処理においてはバッチ学習、ミニバッチ学習等の種々の手法が知られており、本実施形態ではそれらを広く適用可能である。
【0092】
【0093】
まずステップＳ６０１において、処置決定部１２５は、最新の画像Ｐｉにおいて出血が発生しているか否かを判定する。例えば処置決定部１２５は、ステップＳ２０１における出血検出部１２１の処理結果を取得することによって、ステップＳ６０１の処理を行う。出血が発生していない場合、処置決定部１２５はステップＳ６０２以降を省略し、処理を終了する。
【0094】
出血が発生していると判定された場合、ステップＳ６０２において、処置決定部１２５は、処理対象画像列から学習済モデルに入力する画像列を抽出する処理を行う。ここでの画像列は、出血の状況を表す画像である。画像列の始点は、例えば画像Ｐｓである。画像列の終点は、例えば画像Ｐｉである。ただし、抽出する画像列の範囲はこれに限定されず、始点及び終点の少なくとも一方が異なってもよい。また、始点から終点までの全てのフレームの画像が画像列に含まれるものには限定されず、途中の一部の画像が省略されてもよい。
【0095】
ステップＳ６０３において、処置決定部１２５は、学習装置５００によって生成された学習済モデルを取得する。ステップＳ６０３の処理は、データベースサーバー３００から学習済モデルを受信する処理であってもよい。或いは処置決定部１２５は、あらかじめデータベースサーバー３００から学習済モデルを取得し、記憶部１３０に記憶しておいてもよい。この場合、ステップＳ６０３は、記憶しておいた学習済モデルを読み出す処理に対応する。なお、ステップＳ６０２とＳ６０３の処理順序はこれに限定されず、ステップＳ６０３がＳ６０２よりも前に行われてもよいし、２つの処理が並列に行われてもよい。
【0096】
ステップＳ６０４において、処置決定部１２５は、学習済モデルに基づく推論処理を実行する。具体的には、処置決定部１２５は、抽出した画像列を学習済モデルに入力することによって出力データを取得する。ステップＳ６０４の処理は、例えば畳み込み層に対応するフィルタ処理等を含む順方向の演算である。出力データは、例えば図１６を用いて上述したように３つの確率データである。
【0097】
ステップＳ６０５において、処置決定部１２５は、出力データに基づいて、出血が発生した血管の血管種別を特定する処理を行う。ステップＳ６０５の処理は、例えば３つの確率データのうち、値が最大となるデータを選択する処理である。
【0098】
ステップＳ６０６において、処置決定部１２５は、特定された血管種別に基づいて、止血処置を決定する。例えば処置決定部１２５は、図１４（Ｂ）に示したデータベースと、ステップＳ６０５において特定された血管種別との比較処理を行うことによって、止血処置を決定する。図１４（Ｂ）の例であれば、血管種別が門脈であると特定された場合、止血処置は縫合となる。
【0099】
以上のように、本実施形態のデータベースは、時系列の生体内画像である生体内画像列に対して、当該生体内画像列において撮像された出血がいずれの種別の血管において発生したかを表す血管種別情報が対応付けられたデータセットを複数含んでもよい。データベースは例えば図１４（Ａ）である。処理部１２０は、学習済モデルと処理対象画像列に基づいて、出血が発生した血管の種別を特定する処理を行う。学習済モデルは、複数の上記データセットに基づいて生体内画像列と血管種別情報との関係を機械学習した学習済モデルである。さらに処理部１２０は、特定された種別に基づいて、止血処置を決定する。
【0100】
このように学習済モデルを用いて血管種別を特定することによって、出血が発生した血管の血管種別を精度よく推定することが可能になる。また、血管種別に応じた止血処置をユーザーに提示することが可能になる。
【0101】
なお、学習済モデルに従った処理部１２０おける演算、即ち、入力データに基づいて出力データを出力するための演算は、ソフトウェアによって実行されてもよいし、ハードウェアによって実行されてもよい。換言すれば、図１５（Ａ）の各ノードにおいて実行される積和演算や、ＣＮＮの畳み込み層において実行されるフィルタ処理等は、ソフトウェア的に実行されてもよい。或いは上記演算は、ＦＰＧＡ等の回路装置によって実行されてもよい。また、上記演算は、ソフトウェアとハードウェアの組み合わせによって実行されてもよい。このように、記憶部１３０に記憶された学習済モデルからの指令に従った処理部１２０の動作は、種々の態様によって実現可能である。例えば学習済モデルは、推論アルゴリズムと、当該推論アルゴリズムにおいて用いられるパラメーターとを含む。推論アルゴリズムとは、入力データに基づいて、積和演算等を行うアルゴリズムである。パラメーターとは、学習処理によって取得されるパラメーターであって、例えば重み付け係数である。この場合、推論アルゴリズムとパラメーターの両方が記憶部１３０に記憶され、処理部１２０は、当該推論アルゴリズムとパラメーターを読み出すことによってソフトウェア的に推論処理を行ってもよい。或いは、推論アルゴリズムはＦＰＧＡ等によって実現され、記憶部１３０はパラメーターを記憶してもよい。
【0102】
３．３ 表示処理
図１８は、ステップＳ１０３における表示処理を説明するフローチャートである。まずステップＳ７０１において、表示処理部１２７は、現在行っている手術で対象としている出血点の出血開始画像Ｐｓにおける出血点（ｘｓ，ｙｓ）を取得する。例えば、表示処理部１２７は、図１３に示すデータを読み出すことによって画像Ｐｓにおける出血点の座標を特定する。
図１８は、ステップＳ１０３における表示処理を説明するフローチャートである。まずステップＳ７０１において、表示処理部１２７は、現在行っている手術で対象としている出血点の出血開始画像Ｐｓにおける出血点（ｘｓ，ｙｓ）を取得する。例えば、表示処理部１２７は、図１３に示すデータを読み出すことによって画像Ｐｓにおける出血点の座標を特定する。
【0103】
ステップＳ７０２において、表示処理部１２７は、画像間における被写体の移動量に基づいて、出血点を補正する処理を行う。なお、出血点検出部１２３が出血点の補正処理を行い、表示処理部１２７は補正処理結果を取得してもよい。
【0104】
例えば表示処理部１２７は、画像Ｐｓと、表示対象となる最新フレームの画像Ｐｉとの間で、被写体の移動量を算出する。ここでの移動量は例えば動きベクトルである。動きベクトルは、例えばブロックマッチング等により求めることが可能である。画像Ｐｓにおける出血点の位置に対して、求めた動きベクトルに基づく補正処理を行うことによって、画像Ｐｉにおける出血点の位置を特定できる。なお出血点の補正処理は、画像Ｐｓと画像Ｐｉの間の補正処理を直接実行する処理に限定されない。例えば表示処理部１２７は、画像Ｐｓと画像Ｐｓ＋１の間の移動ベクトルを求め、当該移動ベクトルに基づいて、画像Ｐｓ＋１における出血点を特定する処理を行う。これ以降も同様に、表示処理部１２７は、１フレームずつ出血点を補正することによって、画像Ｐｉにおける出血点を特定してもよい。なお、表示処理部１２７は２フレームおきに出血点を特定する処理を行うことによって、出血点を補正してもよく、具体的な処理については種々の変形実施が可能である。
【0105】
ステップＳ７０３において、表示処理部１２７は、表示対象画像と、当該画像について特定された出血点の情報に基づいて表示画像を生成する。具体的には、表示処理部１２７は、出血開始画像Ｐｓにおける出血点（ｘｓ，ｙｓ）に対して、移動ベクトルによる補正が行われた結果を、画像Ｐｉに付加することによって出血点に関する表示を行う。表示処理部１２７は、例えば表示対象画像に対して、出血点の位置を明示するマーカーオブジェクトを重畳表示する処理を行う。
【0106】
図１９は、決定された止血処置をユーザーに提示するための表示画像の例である。図１９に示すように、表示画像は、例えば生体内を撮像した画像に対して、止血処置を表す情報が重畳された画像である。図１９では、「クリップ止め」というテキストを重畳することによって、止血処置としてクリップ止めが推奨されることを提示する。ただし、重畳される情報はテキストに限定されず、画像やアイコンであってもよい。また表示以外の手法を用いて止血処置の提示処理が行われてもよい。例えば、処理部１２０は、音声等を用いて止血処置をユーザーに提示してもよい。
【0107】
また図１９に示すように、表示画像には出血点を表す情報や、出血が発生した血管種別を表す情報が重畳されてもよい。このような付加的な情報を表示することによって、ユーザーに出血状況をわかりやすい態様で提示することが可能になる。例えば、出血点を表示することによって止血処置を行うべき位置をユーザーに把握させることが可能になる。
【0108】
以上のように処理部１２０は、出血点検出処理によって特定された出血点に関する情報をユーザーに報知する出血報知処理を行ってもよい。ユーザーに出血点を提示することによって、ユーザーによる止血処置を容易にすることが可能になる。なお図１８においては出血点を表示する例を示したが、出血報知処理は、出血点検出処理において出血ありと判定されたときに、出血の発生に関する情報を報知する処理を含んでもよい。また出血報知処理は、出血の発生に関する情報と、出血点に関する情報の両方を報知する処理であってもよい。
【0109】
３．４ データベースの更新処理
また処理部１２０は、図７のステップＳ１０４に示したように、止血処置の決定に用いた処理対象画像列と、処理対象画像列において検出された出血に対する止血処置と、を対応付けたデータセットを、データベースに追加する処理を行う。このようにすれば、手術の実行に伴ってデータベースに記憶されるデータが拡充される。これにより、データベースを用いた処理の精度向上が可能になる。機械学習を用いる場合、訓練データの量が増えることによって、精度の高い推論処理を実行可能な学習済モデルの生成が可能になる。
また処理部１２０は、図７のステップＳ１０４に示したように、止血処置の決定に用いた処理対象画像列と、処理対象画像列において検出された出血に対する止血処置と、を対応付けたデータセットを、データベースに追加する処理を行う。このようにすれば、手術の実行に伴ってデータベースに記憶されるデータが拡充される。これにより、データベースを用いた処理の精度向上が可能になる。機械学習を用いる場合、訓練データの量が増えることによって、精度の高い推論処理を実行可能な学習済モデルの生成が可能になる。
【0110】
データベースの更新処理の流れは、図４に示したデータベースの作成処理の流れに準ずる。止血処置の決定処理のステップＳ６０２において、画像列を抽出する処理が行われているため、ステップＳ１１の処理はＳ６０２の処理結果を流用可能である。例えば、データベースに保存される画像列は、画像Ｐｓを始点とし、画像Ｐｉを終点とする画像列である。ただし、ユーザーが画像列の範囲調整等、画像列の抽出処理をやり直すことは妨げられない。
【0111】
また、止血処置の決定処理のステップＳ６０６において、止血処置は決定されている。当該止血処置によって止血が適切に完了したのであれば、ステップＳ１２の処理において付与されるメタデータは、実際に実行した止血処置を表す情報となる。また実行した止血処置による止血効果が不十分であった場合、その旨を表す情報や、熟練の医師によってより望ましいと判断された他の止血処置を表す情報等を、画像列に対応付ける処理が行われてもよい。
【0112】
ステップＳ１３における付加情報の関連付け、ステップＳ１４におけるデータベースへの登録処理については、図４の例と同様である。
【0113】
４．変形例
以下、いくつかの変形例について説明する。
以下、いくつかの変形例について説明する。
【0114】
４．１ 肝部分切除における変形例
上述したように、処理対象画像列、及びデータベースに含まれる生体内画像は肝臓を撮像した画像であってもよい。具体的には、本実施形態で想定する手術は肝臓における手術、狭義には肝部分切除であってもよい。
上述したように、処理対象画像列、及びデータベースに含まれる生体内画像は肝臓を撮像した画像であってもよい。具体的には、本実施形態で想定する手術は肝臓における手術、狭義には肝部分切除であってもよい。
【0115】
肝部分切除においては、プリングル法と呼ばれる手法が用いられる。これは、肝動脈及び門脈をクランプ鉗子で止めることによって血流を遮断する手法である。プリングル法を用いることによって、手術中の出血を抑制することが可能になる。プリングル中に発生した大規模な出血は肝静脈からの出血である蓋然性が高い。一方、プリングル解除後に出血が発生した場合、門脈や肝動脈からの出血である蓋然性が高くなる。
【0116】
よって処理部１２０は、肝動脈及び門脈の血流を遮断するプリングルが行われているか否かを特定し、特定結果に基づいて止血処置を決定する処理を行う。このようにすれば、プリングル中か解除後かを考慮した判定が可能になるため、止血処置の決定処理を高い精度で実行することが可能になる。
【0117】
例えばユーザーがプリングル中かプリングル解除後かを表す入力を行ってもよい。処理部１２０は、ユーザー入力に基づいてプリングルが行われているか否かを特定する。ただし、処理部１２０は、画像処理に基づいてプリングルが行われているか否かを特定してもよい。
【0118】
例えばデータベースは、プリングル中に出血が発生した場合の画像列に対して血管種別情報が対応付けられた第１テーブルと、プリングル解除後に出血が発生した場合の画像列に対して血管種別情報が対応付けられた第２テーブルの２つを含んでもよい。学習装置５００は、第１テーブルに基づいて第１学習済モデルを生成し、第２テーブルに基づいて第２学習済モデルを生成する。
【0119】
処理部１２０は、肝動脈及び門脈の血流を遮断するプリングルが行われているか否かを特定し、プリングル中と判定された場合は第１学習済モデルに基づいて止血処置を決定し、プリングル解除後と判定された場合は第２学習済モデルに基づいて止血処置を決定する。このようにすれば、プリングルに応じた処置結果を出力できる。
【0120】
或いは処理部１２０は、処理対象画像列とデータベースとに基づいて、プリングルが行われている場合の第１止血処置と、プリングルが行われていない場合の第２止血処置とを決定してもよい。例えば表示処理部１２７は、２つの止血処置の両方を表示する。例えば「プリングル中：縫合」「プリングル解除後：クリップ止め」といった２つの情報を併記する。手術中のユーザーは、現在がプリングル中かプリングル解除後かを把握している。よって２つの情報が提示された場合であっても、いずれの情報を参照すればよいかをユーザーは容易に理解することが可能である。
【0121】
例えば処理部１２０は、処理対象画像列を第１学習済モデルと第２学習済モデルの両方に入力する。処理部１２０は、第１学習済モデルの出力に基づいて第１止血処置を決定し、第２学習済モデルの出力に基づいて第２止血処置を決定する。
【0122】
４．２ 機械学習の変形例
図２０（Ａ）は、データベースの他の構成を説明する図である。図２０（Ａ）に示すように、出血パターンの画像列に対して、出血が発生した血管の血管種別を表す血管種別情報と、推奨される止血処置を表す情報が対応付けられている。具体的には、図４のステップＳ１２において、血管種別及び止血処置をメタデータとして付加するアノテーションを行うことによって、図２０（Ａ）に示すデータベースが取得される。
図２０（Ａ）は、データベースの他の構成を説明する図である。図２０（Ａ）に示すように、出血パターンの画像列に対して、出血が発生した血管の血管種別を表す血管種別情報と、推奨される止血処置を表す情報が対応付けられている。具体的には、図４のステップＳ１２において、血管種別及び止血処置をメタデータとして付加するアノテーションを行うことによって、図２０（Ａ）に示すデータベースが取得される。
【0123】
図２０（Ｂ）は、図２０（Ａ）に示すデータベースを用いる場合のニューラルネットワークの入力と出力を例示する図である。図２０（Ｂ）に示すように、ニューラルネットワークの入力データは画像列であり、出力データは血管種別を特定するための情報及び止血処置を特定するための情報である。血管種別を特定するための情報とは、例えば図１６の例と同様に、各血管種別の確からしさを表す確率データである。止血処置を特定するための情報とは、例えば各止血処置を推奨する確からしさを表す確率データである。止血処置を特定するための情報は、例えば「縫合を推奨する確率データ」、「クリップ止めを推奨する確率データ」、「焼いて封止を推奨する確率データ」等を含む。
【0124】
学習装置５００は、図２０（Ａ）のうちの画像列を入力とし、血管種別を表す情報及び推奨される止血処置を表す情報を正解ラベルとする機械学習を行うことによって学習済モデルを生成する。画像処理システム１００の処置決定部１２５は、処理対象画像列を学習済モデルに入力する。図２０（Ｂ）のニューラルネットワークを用いる場合、学習済モデルの出力として、血管種別と止血処置の両方を決定することが可能である。
【0125】
血管種別の特定と、止血処置の決定は段階的に行われるものに限定されず、図２０（Ｂ）に示すように並列に行われてもよい。この場合も、血管種別及び当該血管種別に適した止血処置をユーザーに提示することが可能になる。なお図２０（Ａ）に示したように、ここでのデータベースでは、同じ種別の血管に対して異なる止血処置が対応付けられてもよい。そのため、同じ種別の血管であっても、状況に応じて柔軟に止血処置を変更することが可能になる。
【0126】
なお、本実施形態の手法は推奨される止血処置をユーザーに提示するものである。そのため、血管種別の決定、提示は必須ではない。図２１（Ａ）は、データベースの他の構成を説明する図である。図２１（Ａ）に示すように、出血パターンの画像列に対して、推奨される止血処置を表す情報が対応付けられてもよい。
【0127】
図２１（Ｂ）は、図２１（Ａ）に示すデータベースを用いる場合のニューラルネットワークの入力と出力を例示する図である。図２１（Ｂ）に示すように、ニューラルネットワークの入力データは画像列であり、出力データは止血処置を特定するための情報である。このように血管種別を省略した場合であっても、推奨すべき止血処置の決定、提示を行うことが可能である。
【0128】
図２０（Ａ）及び図２１（Ａ）を用いて上述したように、データベースは、時系列の生体内画像である生体内画像列に対して、生体内画像列において撮像された出血に対して推奨される止血処置を表す止血処置情報が対応付けられたデータセットを複数含んでもよい。処理部１２０は、複数のデータセットに基づいて生体内画像列と止血処置情報との関係を機械学習した学習済モデルと、処理対象画像列とに基づいて、止血処置を決定する処理を行う。このようにすれば、学習済モデルの出力として、止血処置を表す情報を取得することが可能になる。
【0129】
また、以上では学習済モデルにおける入力が画像列である例について説明したが、本実施形態の手法はこれに限定されない。例えば画像列に含まれる各画像に基づいて求められる特徴量が、学習済モデルの入力として用いられてもよい。特徴量は、色相、彩度、明度等に関する情報であってもよい。或いは特徴量は、出血速度の時系列変化を表す情報であってもよい。出血速度とは、単位時間当たりの出血量を表す。上述したように、血液が存在する領域は赤色領域として撮像される。出血の絶対量を精度よく推定することは難しいが、赤色領域の面積は出血量の指標となる情報である。よって、赤色領域の面積変化は、出血速度の指標として利用可能である。出血速度そのものを用いることによって、出血の激しさを判定できる。また出血速度の変化度合いを見ることによって、脈動の有無を判定できる。例えば、出血の状況を表す特徴量は、出血速度の時間変化波形である。ただし特徴量は、出血速度の平均値や最大値等の統計量であってもよいし、出血速度変化の統計量であってもよいし、これらの組み合わせであってもよく、具体的な態様は種々の変形実施が可能である。
【0130】
なお、ニューラルネットワークに特徴量を入力することによって取得される出力データは、上述したように、血管種別であってもよいし、止血処置であってもよいし、その両方であってもよい。
【0131】
図２２は、特徴量を入力データとする場合の止血処置の決定処理を説明するフローチャートである。図２２のステップＳ８０１及びＳ８０２は、図１７のステップＳ６０１及びＳ６０２と同様である。次にステップＳ８０３において、処置決定部１２５は、抽出した画像列に基づいて、特徴量を算出する。例えば処置決定部１２５は、画像中の赤い領域の時間変化に基づいて、出血速度に対応する特徴量を求める。
【0132】
ステップＳ８０４において、処置決定部１２５は、学習装置５００によって生成された学習済モデルを取得する。ステップＳ８０５において、処置決定部１２５は、学習済モデルに基づく推論処理を実行する。具体的には、処置決定部１２５は、求めた特徴量を学習済モデルに入力することによって出力データを取得する。ステップＳ８０６、Ｓ８０７の処理は、図１７のステップＳ６０５、Ｓ６０６と同様である。
【0133】
４．３ データベースに基づく処理の変形例
以上では、データベースに基づく止血処置の決定処理が、機械学習を用いた処理である例について説明した。しかし本実施形態の手法は機械学習に限定されない。
以上では、データベースに基づく止血処置の決定処理が、機械学習を用いた処理である例について説明した。しかし本実施形態の手法は機械学習に限定されない。
【0134】
処理部１２０は、データベースに含まれる生体内画像列と、処理対象画像列を比較することによって止血処置の決定処理を行ってもよい。画像同士の比較は、例えば画像から色相、彩度、明度のそれぞれのヒストグラムを求め、当該ヒストグラムを比較する手法等が知られている。ここでは生体内画像列と処理対象画像列がそれぞれ複数の画像を有するため、例えば処理部１２０は２枚の画像の比較処理を複数回繰り返すことによって、画像列間の類似度を算出する。
【0135】
処理部１２０は、データベースに含まれる複数の生体内画像列から、処理対象画像列に最も類似する画像列を決定する。図１４（Ａ）に示すデータベースを用いる場合、処理部１２０は、決定された生体内画像列に対応付けられた血管種別において出血が発生したと判定する。血管種別決定後の処理については上述した例と同様である。また、データベースが図２０（Ａ）、図２１（Ａ）の場合も同様であり、処理対象画像列に類似する生体内画像列を特定することによって、血管種別と止血処置の両方、又は、止血処置を決定することが可能である。
【0136】
データベースと処理対象画像列を比較する場合、上述したヒストグラム等の特徴量をその都度演算してもよい。ただしデータベースの作成処理を行う際に、生体内画像列から特徴量を演算し、当該特徴量と血管種別、止血処置等を対応付けたデータベースが作成されてもよい。例えば、データベース作成装置４００は、図１４（Ａ）に示すデータベースに代えて、ヒストグラム等の特徴量に対して血管種別情報が対応付けられたデータベースを作成し、データベースサーバー３００に送信する。
【0137】
なお、生体内画像列と処理対象画像列の比較は、出血の状況が類似している画像列を探索する処理である。そのため、比較に用いる特徴量は画像における出血を表す特徴量が用いられてもよい。出血を表す特徴量とは、出血量、出血速度、出血速度の時間変化等である。
【0138】
図２３（Ａ）は、データベースの他の構成を説明する図である。図２３（Ａ）に示すように、出血速度の時間変化波形に対して、出血が発生した血管の血管種別を表す情報が対応付けられている。例えば、データベース作成装置４００は、生体内画像列の各画像から赤色領域の面積を求め、その微分情報に基づいて出血速度の時間変化波形を求める処理を行う。微分情報とは、例えば隣り合う２つの画像間での差分である。
【0139】
処置決定部１２５は、処理対象画像列に対して、赤色領域の面積を求める処理、及び微分情報を求める処理を行うことによって、処理対象画像列における出血速度の時間変化波形を求める。次に処置決定部１２５は、出血速度の時間変化波形同士の類似度を算出する。そして最も類似度が高い時間変化波形が対応付けられた血管種別において出血が発生したと判定する。血管種別決定後の処理については上述した例と同様である。例えば図２３（Ｂ）に示すように、データベースは血管種別と、当該血管種別に応じた止血処置を対応付けるデータを含む。図２３（Ｂ）は、図１４（Ｂ）と同様である。処置決定部１２５は、図２３（Ａ）に基づいて決定された血管種別と、図２３（Ｂ）に示すテーブルとの比較処理に基づいて、止血処置を決定する。
【0140】
４．４ 応急止血処置
また以上では、最新フレームの画像Ｐｉにおいて出血が検出された場合に、出血開始画像Ｐｓを始点とし、画像Ｐｉを終点とする画像列に基づいて止血処置が決定される例について説明した。しかしユーザーによる応急止血処置の実施有無に基づいて、止血処置が決定されてもよい。
また以上では、最新フレームの画像Ｐｉにおいて出血が検出された場合に、出血開始画像Ｐｓを始点とし、画像Ｐｉを終点とする画像列に基づいて止血処置が決定される例について説明した。しかしユーザーによる応急止血処置の実施有無に基づいて、止血処置が決定されてもよい。
【0141】
例えば処置決定部１２５は、図１７のステップＳ６０１、或いは図２２のステップＳ８０１の処理に代えて、過去フレームにおいて出血点に関する表示処理を実行済であるか否かと、ユーザーによる応急止血処置が実行されたか否かを判定する。
【0142】
図７のステップＳ１０３における出血点の表示処理によって、出血に対する応急止血処置の実行をユーザーに促すことが可能である。応急止血処置とは、本実施形態の止血処置の決定処理によって決定される止血処置に比べて応急的な処置を表す。応急止血処置とは、具体的には処置具のカバーや腹腔内に挿入されたガーゼ等を用いた圧迫止血である。これは圧迫によって血流を阻害し、出血を抑制する処置であり、止血処置として提示されるクリップ止め、焼いて封止、縫合等に比べて止血効果が相対的に低い。しかし応急止血処置によって大量出血が抑制され、クリップ止め等の止血効果の高い処置が容易になるため、まず出血点を提示して応急止血処置を促すことは有効である。
【0143】
処置決定部１２５は、応急止血処置が実行されたと判定された場合に、ステップＳ６０２以降、或いはステップＳ８０２以降の処理を実行する。応急止血処置が実行されたか否かの判定は、例えばユーザー入力に基づいて行われる。例えば、ステップＳ１０３における表示画面や内視鏡システム２００のマニュアルにおいて、応急止血処置が完了した場合に所定の入力操作を行うことをユーザーに促してもよい。或いは応急止血処置が実行されたか否かの判定は、画像処理によって行われてもよい。応急止血処置によって一時的に出血が抑制されるため、例えば処理部１２０は、出血ありと判定されたタイミングに比べて、赤色領域の面積が十分小さくなった場合に、応急止血処置が行われたと判定する。
【0144】
このように処理部１２０は、ユーザーが出血に対して応急止血処置を行ったと判定されたときに、処理対象画像列とデータベースに基づいて、応急止血処置に比べて止血能力の高い処置を止血処置として決定する処理を行ってもよい。
【0145】
応急止血処置によって、出血が抑制される。その際、損傷した血管の種別や損傷度合いに応じて、応急止血処置による止血効果も変わってくる。応急止血処置の実行後に止血処置の決定処理を行うことによって、出血が広がっていく状況だけでなく、応急止血処置によって出血が収まる状況まで考慮した止血処置の決定が可能になる。そのため、止血処置の推定精度を高くすることが可能になる。場合によっては、応急止血処置によって十分に止血が行われており、追加での止血処置が不要であると判定することも可能である。
【0146】
なお内視鏡システム２００のユースケースとしては、図７のステップＳ１０３に示したように、まず処理部１２０が出血報知処理を行い、ユーザーは当該出血報知処理に基づいて応急止血処置を行うことが考えられる。よって処理部１２０は、出血報知処理後、且つ、応急止血処置後に、処理対象画像列とデータベースに基づいて止血処置として決定する処理を行ってもよい。ただし、本実施形態では出血報知処理は必須ではなく、省略が可能である。
【0147】
より具体的には、処理部１２０は、ユーザーによる応急止血処置の実行中、又は、実行後に撮像された画像を少なくとも含む処理対象画像列に基づいて、止血処置を決定する処理を行ってもよい。
【0148】
このようにすれば、応急止血処置によって出血が抑制される状況を撮像した画像が、止血処置の決定処理に用いられる。そのため、出血開始から出血量が増えていく状況のみを考慮する場合に比べて、処理精度の向上が可能になる。上記の例であれば、処理対象画像列に基づいて血管種別を推定する処理の精度が向上する。
【0149】
なお、生体及びユーザーの挙動としては、まず生体に出血が発生し、ユーザーが当該出血を認識する。ユーザーによる出血の認識は、上記出血報知処理によるものであってもよいし、ユーザーが生体内画像を観察することによって自発的に行われてもよい。そしてユーザーが出血に対して応急止血処置を行い、その結果として出血が抑制される。上述したように、処理部１２０は、例えば赤色領域の減少度合いに基づいて、応急止血処置が実行されたと判定する。この場合、応急止血処置が行われたと処理部１２０が判定したタイミングでは、応急止血処置が実行継続中であるか実行完了後であるかは不明であるが、少なくとも出血が減少している状況である。そのため、応急止血処置が行われたと処理部１２０が判定したタイミング、又は、それ以降のタイミングを処理対象画像列の終点とすることによって、出血が収まる状況まで考慮した止血処置の決定が可能になる。またユーザー入力に基づいて応急止血処置が実行されたと判定する場合、例えば応急止血処置の実行開始後にユーザー入力を行うようにユーザーに促せばよい。この場合も、出血が収まる状況まで考慮した止血処置の決定が可能になる。換言すれば、応急止血処置が行われたと処理部１２０が判定したタイミング、又はそれ以降のタイミングを処理対象画像列の終点とすることによって、ユーザーによる応急止血処置の実行中、又は、実行後に撮像された画像を少なくとも含む処理対象画像列を取得可能である。
【0150】
処理対象画像列の始点は、例えば上述したように、図１１に示すＰｓに対応するタイミングであってもよいし、図９に示す出血検出処理において出血していると判定されたタイミングであってもよい。また処理部１２０が出血報知処理を行う場合、当該出血報知処理を開始したタイミングを始点としてもよい。なお、始点から終点までの全ての画像が止血処置の決定処理に用いられる必要はなく、一部が省略されてもよい。例えばＣＮＮの入力画像列が固定長である場合、画像列の長さを調整するための間引き処理等が行われてもよい。
【0151】
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また画像処理システム、内視鏡システム等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0152】
１００…画像処理システム、１１０…画像取得部、１２０…処理部、１２１…出血検出部、１２３…出血点検出部、１２５…処置決定部、１２７…表示処理部、１３０…記憶部、２００…内視鏡システム、２１０…内視鏡スコープ、２２０…プロセッサユニット、２２１…撮像データ受信部、２２２…処理部、２２３…記憶部、２３０…表示部、２４０…操作部、３００…データベースサーバー、４００…データベース作成装置、５００…学習装置、６００…画像収集用内視鏡システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】