特許 6755273 内視鏡業務支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6755273

(24)【登録日】2020年8月27日

(45)【発行日】2020年9月16日

(54)【発明の名称】内視鏡業務支援システム

(51)【国際特許分類】

   G16H 30/40 20180101AFI20200907BHJP

   A61B 1/04 20060101ALI20200907BHJP

【ＦＩ】

   G16H30/40

   A61B1/04 510

【請求項の数】4

【全頁数】17

(21)【出願番号】特願2018-43069(P2018-43069)

(22)【出願日】2018年3月9日

(62)【分割の表示】特願2014-191781(P2014-191781)の分割

【原出願日】2014年9月19日

(65)【公開番号】特開2018-92673(P2018-92673A)

(43)【公開日】2018年6月14日

【審査請求日】2018年3月9日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(72)【発明者】

【氏名】猪木原 和幸

(72)【発明者】

【氏名】大森 真一

(72)【発明者】

【氏名】黒田 隆之

(72)【発明者】

【氏名】吉田 達哉

(72)【発明者】

【氏名】西村 博一

【審査官】 衣川 裕史

(56)【参考文献】

【文献】 特開２００１−１１２７７４（ＪＰ，Ａ）

【文献】 特開２０１４−００２３２０（ＪＰ，Ａ）

【文献】 特開２００９−１９５６２３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１３６３２３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０２２１８２２（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／０５０４８５（ＷＯ，Ａ１）

【文献】 特開２００１−３３１５８３（ＪＰ，Ａ）

【文献】 特許第４６２４８４１（ＪＰ，Ｂ２）

【文献】 特開２００９−１８９８７５（ＪＰ，Ａ）

【文献】 特開２００５−１４３９４９（ＪＰ，Ａ）

【文献】 特開２００９−２７３５７１（ＪＰ，Ａ）

【文献】 特開２００９−２０７７９３（ＪＰ，Ａ）

【文献】 特開２００９−２３３３１５（ＪＰ，Ａ）

【文献】 特開２０１１−１９３８８５（ＪＰ，Ａ）

【文献】 特開２００４−３４４２１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９０／００

Ｇ１６Ｈ １０／００−８０／００

Ａ６１Ｂ １／０４

(57)【特許請求の範囲】

【請求項1】

内視鏡で患者の体内を撮影した内視鏡画像から、内視鏡検査で使用された器材を前記内視鏡画像と各器材のテンプレート画像との照合処理を使用した画像認識により検出する検出部と、
前記内視鏡画像から検出された器材の情報をメタデータとして、前記内視鏡画像のファイルに含める付加部と、
を備え、
前記検出部は、内視鏡で患者の体内を撮影した内視鏡画像から、内視鏡検査で使用された薬剤を、前記内視鏡画像内の画素の色調特徴量を使用した画像認識により検出し、
前記付加部は、前記内視鏡画像から検出された薬剤の情報をメタデータとして、前記内視鏡画像のファイルに含めることを特徴とする内視鏡業務支援システム。

【請求項2】

内視鏡で患者の体内を撮影した内視鏡画像から、内視鏡検査で使用された薬剤および／または器材を画像認識により検出する検出部と、
前記内視鏡画像から検出された薬剤および／または器材の情報をメタデータとして、前記内視鏡画像のファイルに含める付加部と、
を備え、
前記検出部は、内視鏡で患者の体内を撮影した動画に含まれるフレーム画像から、内視鏡検査で使用された薬剤および／または器材を画像認識により検出し、
本内視鏡業務支援システムは、
前記内視鏡で撮影された動画の一部区間の録画データを記憶するための記憶部と、
前記フレーム画像から検出された薬剤および／または器材の情報をもとに、前記記憶部に記憶する前記動画の一部区間の開始位置および／または終了位置を決定する決定部と、
決定された一部区間の開始位置および／または終了位置をもとに生成される録画データを前記記憶部に格納する格納部と、
をさらに備えることを特徴とする内視鏡業務支援システム。

【請求項3】

検出された器材の使用が前記患者の禁忌情報に違反するか否か判定する判定部と、
前記禁忌情報に違反するとき、アラートを報知する報知部と、
をさらに備えることを特徴とする請求項１に記載の内視鏡業務支援システム。

【請求項4】

検出された薬剤の使用が前記患者の禁忌情報に違反するか否か判定する判定部と、
前記禁忌情報に違反するとき、アラートを報知する報知部と、
をさらに備えることを特徴とする請求項１に記載の内視鏡業務支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡業務を支援する内視鏡業務支援システムに関する。

【背景技術】

【0002】

内視鏡業務支援システムでは、検査中に行った手技の加算や使用した薬剤や器材などの実施情報を、医師や看護師がシステムに登録している。しかしながら、使用した薬剤や器材の入力は医師や看護師の記憶に依存するため、入力漏れや入力ミスが発生する可能性がある。

【0003】

内視鏡検査で使用する色素・染色剤の種類はある程度決まっているが、色素・染色剤を使用するかどうかは患者の状態や検査中の医師の判断による。従って色素・染色剤の実施情報を事前に入力しておくことはできない。また検査部位や目的により使用する色素・染色剤の種類も変わる。

【0004】

また処置具を使用するかどうかも患者の状態や検査中の医師の判断によるため、処置具の実施情報も事前に入力しておくことはできない。また検査部位や目的により使用する処置具の種類も変わる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４−２１６６２号公報

【特許文献2】特開２００５−１１３０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明はこうした状況に鑑みなされたものであり、その目的は、内視鏡検査で使用した薬剤および／または器材に関する情報を医療従事者がシステムに入力する手間を軽減する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様の内視鏡業務支援システムは、内視鏡で患者の体内を撮影した内視鏡画像から、内視鏡検査で使用された薬剤および／または器材を画像認識により検出する検出部と、医療従事者の入力操作に従い、前記内視鏡検査に関する医療文書を作成する作成部と、を備える。前記作成部は、前記内視鏡画像から検出された薬剤および／または器材の情報をもとに、前記医療従事者による前記医療文書作成のための入力操作を補助する。

【0008】

本発明の別の態様もまた、内視鏡業務支援システムである。この内視鏡業務支援システムは、内視鏡で患者の体内を撮影した動画に含まれるフレーム画像から、内視鏡検査で使用された薬剤および／または器材を画像認識により検出する検出部と、前記内視鏡で撮影された動画の一部区間の録画データを記憶するための記憶部と、前記フレーム画像から検出された薬剤および／または器材の情報をもとに、前記記憶部に記憶する前記動画の一部区間の開始位置および／または終了位置を決定する決定部と、決定された一部区間の開始位置および／または終了位置をもとに生成される録画データを前記記憶部に格納する格納部と、を備える。

【0009】

本発明のさらに別の態様もまた、内視鏡業務支援システムである。この内視鏡業務支援システムは、内視鏡で患者の体内を撮影した内視鏡画像から、内視鏡検査で使用された薬剤および／または器材を画像認識により検出する検出部と、前記内視鏡画像から検出された薬剤および／または器材の情報をメタデータとして、前記内視鏡画像のファイルに含める付加部と、を備える。

【0010】

本発明のさらに別の態様もまた、内視鏡業務支援システムである。この内視鏡業務支援システムは、内視鏡で患者の体内を撮影した内視鏡画像から、内視鏡検査で使用された薬剤および／または器材を画像認識により検出する検出部と、検出された薬剤および／または器材の使用が前記患者の禁忌情報に違反するか否か判定する判定部と、前記禁忌情報に違反するとき、アラートを報知する報知部と、を備える。

【0011】

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0012】

本発明によれば、内視鏡検査で使用した薬剤および／または器材に関する情報を医療従事者がシステムに入力する手間を軽減できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態１に係る内視鏡業務支援システムの構成を示す図である。

【図2】実施の形態１に係る内視鏡システムの構成を示す図である。

【図3】実施の形態１に係る内視鏡業務支援装置の構成を示す図である。

【図4】実施の形態１に係る端末装置の構成を示す図である。

【図5】５種類の色素・染色剤と臓器粘膜から得られるμGRk及びμBGkをプロットした散布図の一例を示す図である。

【図6】図５の散布図においてG/R及びB/Gの特徴空間（平面）を分割して識別器を作成した図である。

【図7】図５の散布図の左下領域（G/R＜1.00及びB/G＜1.00）を拡大した図である。

【図8】図７の散布図においてG/R及びB/Gの特徴空間（平面）を分割して識別器を作成した図である。

【図9】生検鉗子を含む内視鏡画像の一例を示す図である。

【図10】図１０（ａ）−（ｂ）は、検出情報確認画面及び反映情報確認画面の一例を示す図である。

【図11】内視鏡検査に関する医療文書の入力画面の一例を示す図である。

【図12】実施の形態１に係る医療文書作成支援処理の流れを示すフローチャートである。

【図13】本発明の実施の形態２に係る内視鏡システムの構成を示す図である。

【図14】内視鏡動画と録画データの関係を示す図である。

【図15】実施の形態２に係る録画データ作成処理の流れを示すフローチャートである。

【図16】本発明の実施の形態３に係る内視鏡業務支援装置の構成を示す図である。

【図17】生検鉗子を含む内視鏡画像の一例を示す図である。

【図18】本発明の実施の形態４に係る内視鏡業務支援装置の構成を示す図である。以下、

【図19】実施の形態４に係るアラート報知処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0014】

（実施の形態１）
図１は、本発明の実施の形態１に係る内視鏡業務支援システム１の構成を示す図である。内視鏡業務支援システム１は内視鏡部門に設置され、内視鏡業務を支援するためのシステムである。内視鏡業務支援システム１は、複数の内視鏡システム１０ａ、１０ｂ（以下、特に区別しない場合には「内視鏡システム１０」とよぶ）、内視鏡業務支援装置３０、複数の端末装置４０ａ、４０ｂ（以下、特に区別しない場合には「端末装置４０」とよぶ）を備え、それらはＬＡＮなどのネットワーク２によって相互接続される。

【0015】

内視鏡業務支援システム１は医療施設内の別のシステムと連携が可能である。例えばネットワーク２に図示しないゲートウェイ装置が接続され、このゲートウェイ装置を介して内視鏡業務支援システム１は、オーダリングシステム、電子カルテシステム、医事会計システム等と連携可能である。

【0016】

図２は、実施の形態１に係る内視鏡システム１０の構成を示す図である。内視鏡システム１０は内視鏡１１、内視鏡処理装置（カメラコントロールユニットともいう）１２、記憶装置１３、表示装置１４及び光源装置１５を備える。内視鏡１１は患者の体内に挿入され、患者の体内を撮影する。内視鏡１１は撮像素子１１１、鉗子チャンネル１１２及び操作部１１３を含む。

【0017】

撮像素子１１１はＣＣＤイメージセンサ、ＣＭＤイメージセンサまたはＣＭＯＳイメージセンサを備え、入射光を光電変換する。光電変換により生成された画像信号は、図示しない信号処理回路によりＡ／Ｄ変換、ノイズ除去などの信号処理が施され、内視鏡処理装置１２に出力される。鉗子チャンネル１１２は、鉗子などの処置具を通すためのチャンネルである。操作部１１３にはレリーズボタン、内視鏡の先端を曲げるためのアングルノブ等が設けられる。

【0018】

光源装置１５はキセノンランプ等の光源を備え、内視鏡１１の先端に光を送る。光源装置１５は、内視鏡処理装置１２からの制御に従い明るさを調整する。表示装置１４は、内視鏡処理装置１２から入力される画像を表示する。例えば、内視鏡１１により撮像されている患者の体内の画像をリアルタイムに表示する。記憶装置１３はＨＤＤ、ＳＳＤ等の記録媒体を備え、内視鏡１１により撮像された内視鏡画像を記憶する。

【0019】

内視鏡処理装置１２は内視鏡システム１０全体を制御する。内視鏡処理装置１２は制御部１２１及び通信部１２２を備える。制御部１２１は操作受付部１２１ａ、表示制御部１２１ｂ、オブジェクト検出部１２１ｃ及び検出情報通知部１２１ｄを含む。図２の制御部１２１には、実施の形態１の処理に関連する機能ブロックのみを描いている。

【0020】

制御部１２１の機能は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

【0021】

図３は、実施の形態１に係る内視鏡業務支援装置３０の構成を示す図である。内視鏡業務支援装置３０は内視鏡業務支援システム１全体を制御する。内視鏡業務支援装置３０は例えば、サーバで構成される。内視鏡業務支援装置３０は通信部３１、制御部３２及び記憶部３３を備える。制御部３２は操作受付部３２１、検出情報取得部３２２、文書作成部３２３及び表示制御部３２４を含む。図３の制御部３２にも、実施の形態１の処理に関連する機能ブロックのみを描いている。制御部３２の機能も、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。

【0022】

記憶部３３はＨＤＤ、ＳＳＤ等の記録媒体を備え、内視鏡画像記憶部３３１、検出情報／反映情報関連付け記憶部３３２及びレポート記憶部３３３を含む。図３の記憶部３３にも、実施の形態１の処理に関連する機能ブロックのみを描いている。

【0023】

図４は、実施の形態１に係る端末装置４０の構成を示す図である。端末装置４０は医師、看護師など医療機関に従事する医療従事者が使用する端末装置であり、例えばＰＣ、タブレット、ＰＤＡなどで構成される。タブレット、ＰＤＡなどの携帯端末装置が使用される場合、ネットワーク２に図示しないアクセスポイントが設置され、無線ＬＡＮによりネットワーク２に接続される。端末装置４０は通信部４１、制御部４２、記憶部４３、表示部４４及び操作入力部４５を備える。以下、図２〜図４を参照しながら具体的に説明する。

【0024】

内視鏡１１で患者の体内を撮影した内視鏡画像は動画として、内視鏡処理装置１２に入力される。例えば３０Ｈｚのフレームレートで入力される。表示制御部１２１ｂは、入力された内視鏡動画を表示装置１４に表示させる。操作受付部１２１ａは、内視鏡１１の操作部１１３に対してなされた医師の操作を受け付ける。例えば医師によるレリーズボタンの押下を受け付ける。図示しない画像抽出部は、レリーズボタンが押下されたタイミングで内視鏡動画から静止画を抽出する。抽出された静止画は記憶装置１３に保存されるか、ネットワーク２を介して内視鏡業務支援装置３０に転送されて内視鏡業務支援装置３０の内視鏡画像記憶部３３１に保存される。

【0025】

オブジェクト検出部１２１ｃは、内視鏡動画に含まれるフレーム画像から、内視鏡検査で使用された薬剤および／または器材を画像認識により検出する。オブジェクト検出部１２１ｃは、内視鏡動画に含まれる全てのフレーム画像に対して画像認識を実行してもよいし、１枚おき又は数枚おきに画像認識を実行してもよい。上記の薬剤には例えば、患者の体内に散布された色素剤・染色剤が該当する。当該器材には、患者の体内で使用される処置具が該当する。以下、内視鏡画像内から画像認識技術を用いて色素・染色剤および各種処置具を検出する方法の一例を説明する。

【0026】

まず色素・染色剤の検出方法について説明する。色素剤は生体粘膜に吸収されず表面に貯留することで形状や凹凸を観察するのに使用される。染色剤は組織による吸収有無や反応の違いにより粘膜表面性状や細胞構造の違いを観察するのに使用される。以下の例では色素・染色剤の検出対象として、ヨード（ルゴール）、インジゴカルミン、ピオクタニン（クリスタルバイオレット）、メチレンブルー、及び墨汁の５種類を想定する。

【0027】

（１）ヨード（ルゴール）の主な散布臓器は食道であり、 食道癌の鑑別診断および範囲診断に用いられる。（２）インジゴカルミンの主な散布臓器は胃、大腸であり、腫瘍性病変（癌、腺腫等）及び非腫瘍性病変（過形成性ポリープ）等の鑑別診断および範囲診断に用いられる。（３）ピオクタニン（クリスタルバイオレット）の主な散布臓器は大腸であり、大腸癌を含む腫瘍性・非腫瘍性病変の鑑別診断および深達度診断に用いられる。（４）メチレンブルーの主な散布臓器は胃、大腸であり、胃の腸上皮化生の診断に用いられてる。近年は超拡大内視鏡(endocytoscopy：EC)観察の核染色にも使用される。なお、この用途でピオクタニンを使用する場合もある。（５）墨汁は粘膜下に局注する。病変近傍に黒色班をつけて目印とする。

【0028】

以下、５種類の色素・染色剤を色調特徴量に基づき検出する方法を説明する。白色光（通常光）を用いて撮像された内視鏡画像（サイズISX×ISY、RGB各8bitの256階調（0〜255））の各画素値をrij、gij及びbijとする。0≦i＜ISX-1、0≦j＜ISY-1、例えばISX＝384、ISY＝384とする。

【0029】

まず各画素のrij、gij及びbijに逆γ補正を適用する。次に、閾値処理rij、gij、bij＜THL（RGB全値が閾値THL未満）、rij、gij、bij＞THH（RGB全値が閾値THHより大）により、特徴量の算出に適さない暗部画素およびハレーション画素を以降の処理対象から除外する。閾値THL及び閾値THHは、例えばそれぞれ10及び200とする。

【0030】

次に、除外されなかった各画素ごとに色調特徴量としてG/R及びB/G（即ち、GRij＝gij／rij及びBGij＝bij／gij）を算出する。次に、ISX×ISYの画像のGRij及びBGijの平均値を、例えばサイズ8×8のブロックごとに算出する。この例では水平・垂直方向ともに384／8＝48で、48×48＝2304個のブロックに分割する。得られた各ブロックごとの平均値をそれぞれμGRk及びμBGkとする（0≦k＜2304）。

【0031】

図５は、５種類の色素・染色剤と臓器粘膜から得られるμGRk及びμBGkをプロットした散布図の一例を示す。臓器粘膜は食道、胃、大腸の粘膜である。図５に示すように、インジゴカルミン（青色〜緑青色）、ピオクタニン（紫色〜青紫色）、メチレンブルー（青色）はそれぞれの色調により特徴的な分布を示す。

【0032】

図６は、図５の散布図においてG/R及びB/Gの特徴空間（平面）を分割して識別器を作成した図である。図６ではピオクタニンの識別器Ｃｐ、メチレンブルーの識別器Ｃｍ及びインジゴの識別器Ｃｉを描いている。色素・染色剤の散布直後は内視鏡画像視野内の多くの部分がその薬剤の色調で占められるため、良好な検出が可能である。なお白色光による内視鏡画像において生体粘膜は基本的にrij＞gij＞bijとなる。これは生体粘膜の色調がヘモグロビンの吸光に依存することによる。

【0033】

図７は、図５の散布図の左下領域（G/R＜1.00及びB/G＜1.00）を拡大した図である。この領域にはピオクタニン、メチレンブルー及びインジゴのプロットは存在せず、ヨード、粘膜および墨汁のプロットのみが存在する。図７に示すようにヨード（褐色〜黄褐色）及び墨汁（黒色〜粘膜透見を経る暗色）の色調から、生体粘膜とは異なる分布が得られる。

【0034】

図８は、図７の散布図においてG/R及びB/Gの特徴空間（平面）を分割して識別器を作成した図である。図８ではヨードの識別器Ｃｉ及び墨汁の識別器Ｃｂを描いている。図５〜図８においては色素・染色剤散布直後ではない画像からの限られたサンプルを用いているため分布範囲が広く、一部生体粘膜の色調と重複しているところがあるが、散布直後の画像であれば、分布範囲がより狭くなる。

【0035】

なお、本出願人が特許４６２４８４１号、４４７２６３１号、４５２０４０５号に開示した色調特徴量（及びテクスチャ特徴量）を用いた領域分割・検出処理において、各色素・染色剤を新たなクラスとして設定することで、より良好な検出結果を得ることも可能である。また、G/R、B/G以外の色調特徴量として、R/(R+G+B)、G/(R+G+B)及びB/(R+G+B)や、HSI等の色空間変換後の色相・彩度等を使用することも可能である。

【0036】

次に処置具の検出方法について説明する。内視鏡検査において患者の体内において処置具が使用されたことを、処置具の種別を含めて画像認識技術により検出する。本実施の形態において検出対象の処置具には鉗子が含まれる。鉗子には生検鉗子、把持鉗子、ホットバイオプシー鉗子などがある。ホットバイオプシー鉗子は高周波通電ができ、異物をつまんで切除し回収できる鉗子である。

【0037】

検出対象の処置具には注射針が含まれる。注射針には生検針、生理食塩水を局注するための局注針などがある。検出対象の処置具には高周波処置具が含まれる。高周波処置具にはスネア、切開鉗子、ナイフ、止血鉗子などがある。高周波スネアはＥＭＲ（Endoscopic Mucosal Resection）に使用される。高周波ナイフはＥＳＤ（Endoscopic Submucosal Dissection）に使用される。検出対象の処置具にはクリップが含まれる。クリップは止血に使用される。検出対象の処置具には結紮装置が含まれる。結紮装置は消化管内のポリープを結紮するために使用される。検出対象の処置具には十二指腸スコープ用処置具が含まれる。十二指腸スコープ用処置具には、カニューラ、造影チューブ、砕石具などが含まれる。カニューラはＥＲＣＰ（Endoscopic Retrograde Cholangiopancreatography）に使用される。

【0038】

検出対象の処置具にはその他に、ガイドワイヤ、ブラシ、バスケット、チューブ、ステント、バルーン、カテーテル等が含まれる。ガイドワイヤ及びカテーテルはＥＲＣＰに使用される。ブラシは細胞診に使用される。バスケットは採石、異物回収に使用される。チューブは色素散布に使用される。ステントは留置術に使用される。バルーンは拡張術に使用される。

【0039】

以下、処置具の具体的な検出方法について説明する。内視鏡は機種によって処置具の挿通部（鉗子チャネル）の位置が決まっている。鉗子チャンネルが２チャンネルの機種もある。各処置具を鉗子チャネルに挿通した際の内視鏡画像をテンプレート画像とし、検査時の内視鏡画像と照合することにより、いずれかの処置具が使用されたことを検出する。テンプレート画像は処置具ごとに、鉗子チャネル方向、突出長、開閉状態が異なる画像を複数用意する。また回転により画像上の形状が変化する非対称形状の処置具については、回転角度が異なる画像を複数用意する。

【0040】

内視鏡画像から処置具を検出するために、まず内視鏡画像からエッジを検出する。エッジ検出用の画像にはR画像またはG画像を用いる。処置具シースが赤い場合はG画像を用いるとよい。次にエッジ画像内からテンプレートマッチング、Hough変換などを用いて線分形状を検出する。次に、検出した線分形状とテンプレート画像を照合し、一致度を算出する。一致度が最も高いテンプレート画像の処置具を検出結果とする。

【0041】

図９は、生検鉗子５１を含む内視鏡画像５０の一例を示す図である。処置具は、図９に示すように基本的に、４〜８時の方向からフレームインする。従って処置具のテンプレート画像は、４〜８時の方向からフレームインする向きのテンプレート画像のみを用意すればよい。これによりテンプレート画像の数、照合に必要な演算量を低減できる。

【0042】

なお処置具の検出において、シースの色情報を考慮することも可能である。また近年パターン検出等で利用されているＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ(Speeded Up Robust Features)等の特徴量を用いたアルゴリズムを用いてもよい。

【0043】

図２〜図４に戻る。内視鏡処理装置１２の検出情報通知部１２１ｄは、オブジェクト検出部１２１ｃにより内視鏡画像内で検出された薬剤および／または器材の情報を検出情報として、ネットワーク２を介して内視鏡業務支援装置３０に通知する。

【0044】

内視鏡業務支援装置３０の検出情報取得部３２２は、内視鏡処理装置１２から通知された検出情報を取得する。操作受付部３２１は、端末装置４０の操作入力部４５に対する医療従事者の入力操作を受け付ける。文書作成部３２３は、受け付けた医療従事者の入力操作に従い内視鏡検査に関する医療文書を作成する。表示制御部３２４は、内視鏡検査に関する医療文書の作成画面を端末装置４０の表示部４４に表示させる。文書作成部３２３は内視鏡検査に関する医療文書を作成する際、検出情報取得部３２２により取得された検出情報をもとに、医療従事者による医療文書作成のための入力操作を補助する。例えば、医療文書の作成画面の入力項目欄の内、当該検出情報をもとに入力可能な欄を仮入力する。

【0045】

内視鏡検査に関する医療文書の主なものに内視鏡検査レポート、検査実施記録がある。内視鏡検査レポートには医師の診断内容や所見が記載される。内視鏡画像の添付も可能である。文書作成部３２３は作成した内視鏡検査レポートをレポート記憶部３３３に保存する。内視鏡検査レポートは図示しない電子カルテシステムに送信することもできる。また印刷して病理診断医などに渡すこともできる。検査実施記録には内視鏡検査で使用された手技、薬剤、器材などが記録され、図示しない医事会計システムに送信される。検査実施記録は保険点数算定の基礎として使用される。

【0046】

文書作成部３２３により医療文書の作成画面の入力可能な欄が仮入力される前に、表示制御部３２４は上記の検出情報が正しいか否かを医療従事者に確認させるための確認画面を、端末装置４０の表示部４４に表示させる。

【0047】

検出情報が医療従事者により確認されると、文書作成部３２３は検出情報／反映情報関連付け記憶部３３２を参照して、検出情報から反映情報を抽出する。反映情報は、検出情報である薬剤または処置具の使用から特定または推定される、内視鏡検査に関する情報または知見である。例えば、検出情報にルゴールが含まれる場合、上部内視鏡検査が実施されたと推定できる。ルゴールは通常、食道癌の診断に用いられ、大腸癌の診断には用いられないためである。検出情報／反映情報関連付け記憶部３３２は薬剤、処置具ごとに、その使用により特定または推定される、内視鏡検査に関する情報または知見を保持する。

【0048】

図１０（ａ）−（ｂ）は、検出情報確認画面４４ａ及び反映情報確認画面４４ｂの一例を示す図である。医師は、検出情報確認画面４４ａに表示された検出情報が正しい場合、ＯＫボタンを押下する。検出情報確認画面４４ａに表示された検出情報に誤りがある場合、端末装置４０の操作入力部４５を操作して検出情報を修正する。例えば、誤りの検出情報についてはチェックボックスを外す。医師は同様に、反映情報確認画面４４ｂに表示された反映情報が正しいか否か確認する。

【0049】

図１１は、内視鏡検査に関する医療文書の入力画面４４ｃの一例を示す図である。所見エリア及び診断エリアは内視鏡検査レポートを作成するためのエリアである。実施エリアは、検査実施記録を作成するためのエリアである。図１１では検査情報の検査項目欄、処置エリアの処置情報欄、実施エリアの手技欄、加算欄、薬剤欄、器材欄に、図１０（ｂ）の反映情報確認画面４４ｂで確認された反映情報が自動入力されている。医師は自動入力された内容を確認し、誤りがある場合は端末装置４０の操作入力部４５を操作して修正する。また自動入力されていない空欄に必要な情報を入力する。

【0050】

図１２は、実施の形態１に係る医療文書作成支援処理の流れを示すフローチャートである。内視鏡処理装置１２は内視鏡１１から内視鏡画像を取得する（Ｓ１０）。オブジェクト検出部１２１ｃは、内視鏡画像内から画像認識により薬剤および／または処置具を検出する（Ｓ１１）。検出情報は内視鏡業務支援装置３０に通知される。医師が端末装置４０を使用して内視鏡検査に関する文書を作成する際、内視鏡業務支援装置３０の表示制御部３２４は表示部４４に、検出情報の確認画面を表示させる（Ｓ１２）。医師により検出情報が確認されると、文書作成部３２３は検出情報に紐付けられた反映情報を抽出する（Ｓ１３）。表示制御部３２４は表示部４４に、反映情報の確認画面を表示させる（Ｓ１４）。医師により反映情報が確認されると、文書作成部３２３は文書作成画面の入力項目欄に反映情報を自動入力する（Ｓ１５）。

【0051】

以上説明したように実施の形態１によれば、内視鏡検査で使用された薬剤および／または器材に関する情報を自動検出するため、当該情報を医療従事者がシステムに入力する手間を軽減できる。医師の記憶違いや打ち間違いによる当該情報の入力ミスを防止できる。薬剤や器材に識別ラベルを貼付して、リーダーで読み取る運用も考えられるが、リーダーを配置するスペースが取りづらい問題がある。また識別ラベルにリーダーをかざす作業が依然として残る。この点、本実施の形態ではこのような作業も必要ない。

【0052】

（実施の形態２）
図１３は、本発明の実施の形態２に係る内視鏡システム１０の構成を示す図である。以下、実施の形態１と共通する説明は適宜省略する。実施の形態２では内視鏡処理装置１２の制御部１２１は、操作受付部１２１ａ、表示制御部１２１ｂ、オブジェクト検出部１２１ｃ及び検出情報通知部１２１ｄに加えて、開始／終了位置検出部１２１ｅ及び録画データ格納部１２１ｆを含む。

【0053】

記憶装置１３には内視鏡１１で撮影された動画の一部区間の録画データが記憶される。開始／終了位置検出部１２１ｅは、オブジェクト検出部１２１ｃにより内視鏡画像から検出された薬剤および／または器材の情報をもとに、記憶装置１３に記憶する上述の動画の一部区間の開始位置および／または終了位置を決定する。例えば、処置具が出現したフレーム画像を録画区間の開始位置に決定する。その後、当該処置具が存在しなくなったフレーム画像を録画区間の終了位置に決定する。なお終了位置は、画像認識による処置具のフレームアウトの検出ではなく、医師による終了操作がなされたことに起因して決定してもよい。当該終了操作は、内視鏡処理装置１２に設置された終了ボタン、又は内視鏡１１の操作部１１３に設置された終了ボタンを押下することにより実行される。

【0054】

録画データ格納部１２１ｆは、開始／終了位置検出部１２１ｅにより決定された一部区間の開始位置および／または終了位置をもとに生成される録画データを記憶装置１３に格納する。なお録画データ格納部１２１ｆは当該録画データを、ネットワーク２を介して内視鏡業務支援装置３０に転送し、内視鏡業務支援装置３０の内視鏡画像記憶部３３１に格納してもよい。

【0055】

図１４は、内視鏡動画と録画データの関係を示す図である。内視鏡１１により撮影される内視鏡動画の内、処置具がフレームインしてから当該処置具がフレームアウトするまでの期間の画像が録画データとして記録される。その他の期間の内視鏡動画は、医師によりレリーズボタンが押下されたタイミングのフレーム画像を除き、原則的に破棄される。

【0056】

図１５は、実施の形態２に係る録画データ作成処理の流れを示すフローチャートである。内視鏡処理装置１２は内視鏡１１から内視鏡画像を取得する（Ｓ２０）。オブジェクト検出部１２１ｃは、内視鏡画像内から画像認識により処置具がフレームインしたか否かを検出する（Ｓ２１）。処置具が内視鏡動画にフレームインした場合（Ｓ２１のＹ）、内視鏡動画の録画を開始する（Ｓ２２）。医師により録画終了操作がなされた場合（Ｓ２３のＹ）、録画を終了する（Ｓ２５）。医師により録画終了操作がなされない間に（Ｓ２３のＮ）、処置具が内視鏡動画からフレームアウトした場合（Ｓ２４のＹ）も録画を終了する（Ｓ２５）。録画データ格納部１２１ｆは録画データを記憶装置１３に格納する（Ｓ２６）。

【0057】

以上説明したように実施の形態２によれば、内視鏡検査における処置具を使用した手技の動画を簡単かつ正確に録画できる。内視鏡部門では、教育の観点から上級の医師の手技を録画して、新人の医師や研修医が閲覧できるようにしているところがある。その場合において、内視鏡検査の全ての期間を録画している場合、見たい手技のシーンを探す手間が発生する。また重要性が低いシーン（例えば、患部を発見するまでの期間）も記録されることになるため、データベースの容量を無駄に使用することになる。また医師が手技を始める前に録画開始ボタンを押下する運用も考えられるが、ボタンを押下する手間が発生する。また押し忘れる可能性もある。この点、本実施の形態では適切なタイミングから自動的に録画が開始されるため上記のような問題が発生しない。

【0058】

（実施の形態３）
図１６は、本発明の実施の形態３に係る内視鏡業務支援装置３０の構成を示す図である。以下、実施の形態１と共通する説明は適宜省略する。実施の形態３では内視鏡業務支援装置３０の制御部３２は、操作受付部３２１、検出情報取得部３２２、文書作成部３２３及び表示制御部３２４に加えてメタデータ付加部３２５を含む。

【0059】

メタデータ付加部３２５は、内視鏡画像のフレーム画像から検出された薬剤および／または器材の情報をメタデータとして当該フレーム画像のファイルに含める。実施の形態１では、検出された薬剤および／または器材の情報は検査情報自体に関連付けられたが、実施の形態３では内視鏡画像に直接関連付ける。

【0060】

図１７は、生検鉗子５１を含む内視鏡画像５０の一例を示す図である。図１７に示す内視鏡画像にはタブ５２が付加され、タブ５２内には観察部位（図１７の例では胃）が表示される。さらに内視鏡画像５０の中に薬剤または処置具が含まれる場合、タブ５２内にその薬剤名または処置具名も表示される。図１７の例ではタブ５２内に生検鉗子が表示される。

【0061】

なお内視鏡画像に関連付けられた検出情報の使用方法は、図１７に示す使用方法に限るものではない。例えばタブ５２を付加せずに、右クリックにより表示されるポップアップメニュー内に検出情報を含めてもよい。医療従事者が端末装置４０の操作入力部４５を操作して当該検出情報を選択すると、文書作成部３２３は当該検出情報から反映情報を抽出し、当該内視鏡画像を添付した内視鏡検査レポートの該当する入力欄に、当該反映情報を仮入力する。

【0062】

また内視鏡画像に関連付けられた検出情報はユーザインタフェースだけでなく、画像検索にも利用できる。例えば、ルゴールを検索キーとして内視鏡画像記憶部３３１に記憶された内視鏡画像を検索した場合、内視鏡画像記憶部３３１に記憶された内視鏡画像の内、ルゴールが使用されている内視鏡画像のみを抽出できる。

【0063】

以上説明したように実施の形態３によれば、薬剤および／または器材が検出された内視鏡画像にその情報をメタデータとして付加することにより、当該内視鏡画像の管理や検索が容易になる。また当該内視鏡画像が添付される内視鏡検査レポートの作成も容易になる。また当該内視鏡画像をカンファレンスや学会で学術情報として利用することも容易になる。

【0064】

（実施の形態４）
図１８は、本発明の実施の形態４に係る内視鏡業務支援装置３０の構成を示す図である。以下、実施の形態１と共通する説明は適宜省略する。実施の形態４では内視鏡処理装置１２の制御部１２１は、操作受付部１２１ａ、表示制御部１２１ｂ、オブジェクト検出部１２１ｃ及び検出情報通知部１２１ｄに加えて禁忌行為判定部１２１ｇを含む。

【0065】

記憶装置１３は禁忌情報記憶部１３１を含む。禁忌情報記憶部１３１は、各薬剤および各処置具の禁忌情報を規定している。例えば、患者が血液の抗凝固薬を服用している場合、患者の生体粘膜を切除する手技は禁忌行為となる。禁忌情報記憶部１３１は、当該手技に使用する処置具の禁忌情報として抗凝固薬の服用を規定している。

【0066】

禁忌行為判定部１２１ｇは、オブジェクト検出部１２１ｃにより内視鏡画像から検出された薬剤および／または器材が患者の禁忌情報に違反するか否かを、禁忌情報記憶部１３１を参照して判定する。禁忌情報に違反する場合、表示制御部１２１ｂは表示装置１４にアラートメッセージを表示させる。例えば、抗凝固薬を服用している患者の内視鏡検査において、内視鏡画像に生検鉗子がフレームインすると「抗凝固剤を使用している患者です。生検しないでください。」といったメッセージを表示させる。なお、内視鏡処理装置１２に音声出力部を設置し、アラートメッセージの表示に代えてアラート音を報知してもよい。または両者を併用してもよい。

【0067】

図１９は、実施の形態４に係るアラート報知処理の流れを示すフローチャートである。内視鏡処理装置１２は内視鏡１１から内視鏡画像を取得する（Ｓ４０）。オブジェクト検出部１２１ｃは、内視鏡画像内から画像認識により処置具がフレームインしたか否かを検出する（Ｓ４１）。処置具が内視鏡動画にフレームインした場合（Ｓ４１のＹ）、禁忌行為判定部１２１ｇは当該内視鏡検査において当該処置具の使用が禁忌行為に該当するか否か判定する（Ｓ４２）。該当する場合（Ｓ４２のＹ）、表示制御部１２１ｂは表示装置１４にアラートメッセージを表示させる（Ｓ４３）。該当しない場合（Ｓ４２のＮ）、アラートメッセージは表示されない。

【0068】

以上説明したように実施の形態４によれば、内視鏡画像から画像認識により禁忌行為に使用される薬剤または処置具を検出するとアラートを報知することにより、禁忌行為がなされることを未然に防止できる。

【0069】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0070】

上述の実施の形態１−４ではオブジェクト検出部１２１ｃは内視鏡画像から薬剤または器材を検出する例を説明した。この点、オブジェクト検出部１２１ｃは内視鏡画像から観察方法を検出してもよい。観察方法には、拡大内視鏡を用いた観察、狭帯域光観察（ＮＢＩ観察）、超音波内視鏡を用いた観察などがある。拡大内視鏡は、粘膜の表層表面構造の観察に使用される。ＮＢＩ観察は、血管や上皮構造などの粘膜表面微細構造を高コントラストに観察する方法である。超音波内視鏡は、深達度の観察に使用される。拡大内視鏡とＮＢＩを併用すると保険点数が加算される。

【0071】

ＮＢＩ観察では、ヘモグロビンが吸収するように狭帯域化された青と緑の２つの波長の光を照射する。これにより内視鏡画像内で血液は濃い茶褐色に染まって表示され、微細血管像のコントラストが増強される。オブジェクト検出部１２１ｃは例えば、内視鏡画像内の赤成分が閾値以上、減少したことを認識することによりＮＢＩ観察を検出する。文書作成部３２３は内視鏡画像から検出された観察方法をもとに、医療従事者による医療文書作成のための入力操作を補助する。

【0072】

上述の実施の形態１、３に係る処理では、内視鏡システム１０と内視鏡業務支援装置３０の連携により実現する例を説明したが、内視鏡業務支援装置３０単体で実現してもよい。その場合、内視鏡処理装置１２のオブジェクト検出部１２１ｃ、開始／終了位置検出部１２１ｅ及び録画データ格納部１２１ｆの機能を、内視鏡業務支援装置３０の制御部３２で実現すればよい。

【0073】

また上述の実施の形態２、４に係る処理では、内視鏡システム１０により実現する例を説明したが、内視鏡システム１０と内視鏡業務支援装置３０の連携、又は内視鏡業務支援装置３０単体で実現してもよい。

【符号の説明】

【0074】

１ 内視鏡業務支援システム、 ２ ネットワーク、 １０ 内視鏡システム、 １１ 内視鏡、 １１１ 撮像素子、 １１２ 鉗子チャンネル、 １１３ 操作部、 １２ 内視鏡処理装置、 １２１ 制御部、 １２１ａ 操作受付部、 １２１ｂ 表示制御部、 １２１ｃ オブジェクト検出部、 １２１ｄ 検出情報通知部、 １２１ｅ 開始／終了位置検出部、 １２１ｆ 録画データ格納部、 １２１ｇ 禁忌行為判定部、 １２２ 通信部、 １３ 記憶装置、 １３１ 禁忌情報記憶部、 １４ 表示装置、 １５ 光源装置、 ３０ 内視鏡業務支援装置、 ３１ 通信部、 ３２ 制御部、 ３２１ 操作受付部、 ３２２ 検出情報取得部、 ３２３ 文書作成部、 ３２４ 表示制御部、 ３２５ メタデータ付加部、 ３３ 記憶部、 ３３１ 内視鏡画像記憶部、 ３３２ 検出情報／反映情報関連付け記憶部、 ３３３ レポート記憶部、 ４０ 端末装置、 ４１ 通信部、 ４２ 制御部、 ４３ 記憶部、 ４４ 表示部、 ４５ 操作入力部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】