特開 2023-107919 大腸内視鏡観察支援装置、作動方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023107919

(43)【公開日】2023-08-03

(54)【発明の名称】大腸内視鏡観察支援装置、作動方法、及びプログラム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20230727BHJP

   A61B 1/045 20060101ALI20230727BHJP

【ＦＩ】

A61B1/00 552

A61B1/045 618

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023097380

(22)【出願日】2023-06-14

(62)【分割の表示】P 2021187093の分割

【原出願日】2018-04-13

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、国立研究開発法人日本医療研究開発機構、「８Ｋ等高精細映像データ利活用研究事業／高精細映像データの収集・解析を通じて内視鏡診療支援を行う医用人工知能システムの研究」「人工知能とデータ大循環によって実現する、大腸内視鏡診療の革新的転換」に関する委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願

(71)【出願人】

【識別番号】592019213

【氏名又は名称】学校法人昭和大学

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】森 悠一

(72)【発明者】

【氏名】工藤 進英

(72)【発明者】

【氏名】三澤 将史

(72)【発明者】

【氏名】森 健策

(57)【要約】

【課題】内視鏡による観察支援の性能を向上させることができ、医師による病変の観察等をより容易かつ精度よく行うことができる内視鏡観察支援装置等を提供する。
【解決手段】内視鏡観察支援装置１００は、内視鏡装置４０の操作者が把持する把持部に設けられた振動体である振動部２４と、内視鏡装置４０によりリアルタイムで撮影された大腸の撮像画像を取得して表示部２２にリアルタイムで表示する画像情報取得部３１と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する病変情報取得部３２と、検出された病変に関する通知を病変情報に応じてアラーム通知する通知部３５と、挿入部の挿入時間を計測する時間計測部と、挿入部の挿入速度、挿入時間及び撮像画像に基づいて肛門縁からの距離を算出し、病変の撮像画像、病変情報及び肛門縁からの距離を表示部に表示する病変情報出力部３６を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

大腸内視鏡による大腸の観察を支援する大腸内視鏡観察支援装置であって、
前記大腸内視鏡によりリアルタイムで撮影された前記大腸の撮像画像を取得して表示部にリアルタイムで表示する画像情報取得部と、
前記撮像画像に基づいて、所定の病変を検出し、前記病変に関する病変情報を取得する病変情報取得部と、
検出された前記病変に関する通知を、前記病変の状態及び画像認識による病変の分類結果に応じてアラーム通知する通知部と、
前記大腸内視鏡の挿入部を体内に挿入する際の挿入時間を計測する時間計測部と、
前記挿入部の挿入速度、前記挿入時間及び前記撮像画像に基づいて、肛門縁からの距離を算出し、前記病変の前記撮像画像、前記病変情報及び前記肛門縁からの距離を表示部に表示する病変情報出力部と、
を備えたことを特徴とする大腸内視鏡観察支援装置。

【請求項2】

前記操作者からの病変の確認指示の入力を受け付ける入力部と、
前記入力部から入力される確認情報を取得する確認情報取得部と、
前記撮像画像及び前記病変情報に基づいて前記病変を追尾し、前記操作者による病変の確認がされることなく、前記病変が前記撮像画像上から消失したか否かを判定する判定部と、
を備え、
前記判定部により前記操作者による病変の確認がされることなく、前記病変が前記撮像画像上から消失したと判定されたときに、
前記通知部は、前記病変が消失したことをアラーム通知し、
前記病変情報出力部は、消失前の前記病変の前記撮像画像、前記病変情報及び前記肛門縁からの距離を前記表示部に表示し、
前記病変が前記撮像画像上から消失し、かつ前記確認指示を受けたと判定したときに、
前記通知部は、前記病変が消失したことをアラーム通知せず、
前記病変情報出力部は、消失前の前記病変の前記撮像画像、前記病変情報及び前記肛門縁からの距離を前記表示部に表示しないことを特徴とする請求項１に記載の大腸内視鏡観察支援装置。

【請求項3】

請求項１又は２に記載の大腸内視鏡観察支援装置を作動させるための作動方法であって、
前記画像情報取得部が、前記大腸内視鏡によりリアルタイムで撮影された大腸の撮像画像を取得して表示部にリアルタイムで表示する工程と、
前記病変情報取得部が、前記撮像画像に基づいて、所定の病変を検出し、前記病変に関する病変情報を取得する工程と、
前記通知部が、検出された前記病変に関する通知を、前記病変の状態及び画像認識による病変の分類結果に応じてアラーム通知する工程と、
前記時間計測部が、前記挿入時間を計測する工程と、
前記病変情報出力部が、前記挿入部の挿入速度、前記挿入時間及び前記撮像画像に基づいて、前記肛門縁からの距離を算出し、前記病変の前記撮像画像、前記病変の状態及び画像認識による病変の分類結果、並びに前記肛門縁からの距離を前記表示部に表示する工程と、
を有していることを特徴とする作動方法。

【請求項4】

コンピュータに、請求項３に記載の各工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、大腸内視鏡観察支援装置、作動方法、及びプログラムに関する。

【背景技術】

【0002】

従来、消化器などの管腔臓器を内視鏡で撮影した撮像画像に対して画像認識処理を行い、人工知能（ＡＩ）などの学習機能によって、腫瘍、ポリープ、その他の病変を自動で検出する画像処理装置が提案されている（例えば、特許文献１参照）。

【0003】

また、医師による病変部の見逃しを抑制する目的で、撮像画像に基づいて病変を自動で検出したときに、リアルタイムで医師等の操作者に対してアラート（例えば、病変位置の画像の提示、散在確率の表示、音声による注意喚起など）を行うことで、病理診断を支援する技術も開示されている（例えば、特許文献２参照）。

【0004】

人工知能（ＡＩ）の発展により、コンピュータによる病変の自動検出の精度や速度が向上し、医師による病変の観察や診断への貢献度が高くなっている。非特許文献１には、複数のフレームをＡＩで解析することで、より高精度な画像解析が可能となることが記載されている。そして、人工知能による検出結果を参考にしつつ、その検出結果に不必要に影響されることなく、医師による病変の観察や診断を、より精度よく行うことができるように支援する技術の開発が切望されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６－１５３７４２号公報

【特許文献2】特開２０１１－１０４０１６号公報

【非特許文献】

【0006】

【非特許文献1】Tran, Du, et al. "Learning spatiotemporal features with 3d convolutional networks." Computer Vision (ICCV), 2015 IEEE International Conference on. IEEE, 2015.

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記の事情に鑑みて為されたもので、内視鏡による観察支援の性能を向上させることができ、医師による病変の観察等をより容易かつ精度よく行うことを目的とするものである。

【課題を解決するための手段】

【0008】

上記の目的を達成するため、本願に係る大腸内視鏡観察支援装置は、大腸内視鏡による大腸の観察を支援する大腸内視鏡観察支援装置であって、前記大腸内視鏡によりリアルタイムで撮影された前記大腸の撮像画像を取得して表示部にリアルタイムで表示する画像情報取得部と、前記撮像画像に基づいて、所定の病変を検出し、前記病変に関する病変情報を取得する病変情報取得部と、検出された前記病変に関する通知を、前記病変情報に応じてアラーム通知する通知部と、前記大腸内視鏡の挿入部を体内に挿入する際の挿入時間を計測する時間計測部と、前記挿入部の挿入速度、前記挿入時間及び前記撮像画像に基づいて、肛門縁からの距離を算出し、前記病変の前記撮像画像、前記病変情報及び前記肛門縁からの距離を表示部に表示する病変情報出力部と、を備えたことを特徴とする。

【発明の効果】

【0009】

本発明によれば、内視鏡による観察支援の性能を向上させることができ、医師による病変の観察等をより容易かつ精度よく行うことができる。

【図面の簡単な説明】

【0010】

【図1】本願の一実施形態に係る内視鏡観察支援装置のハードウェア構成を示す概略図である。

【図2】図１の内視鏡観察支援装置の機能ブロック図である。

【図3】図１の内視鏡観察支援装置で実行される内視鏡観察支援処理の動作の一例を説明するためのフローチャートである。

【図4】表示部に表示される内視鏡画像の一例と、そのときの音出力部及び振動部の状態を示す図であって、（ａ）は内視鏡画像上に病変が現れているときの状態を示し、（ｂ）は内視鏡画像上から病変が消失したときの状態を示す。

【図5】アラーム表示をする場合の表示部の表示例を示す図であって、（ａ）は病変検出前（病変なし）の表示例を示し、（ｂ）は病変の検出後、病変が表示部から消失したときの表示例を示し、（ｃ）は病変の検出後、病変が表示部から消失したときの表示例の変形例を示す。（ｄ）は病変検出前（病変なし）の他の表示例を示し、（ｅ）は病変の検出後、病変が表示部から消失したときの他の表示例を示し、（ｆ）は病変の検出後、病変が表示部から消失したときの他の表示例の変形例を示す。

【発明を実施するための形態】

【0011】

（第１の実施形態）
以下、本発明の第１の実施形態に係る内視鏡観察支援装置について、図面を参照しながら説明する。図１は、本実施形態に係る内視鏡観察支援装置１００のハードウェア構成を示す概略図である。この図１に示すように、内視鏡観察支援装置１００は、支援装置本体１０と、内視鏡装置４０と、を主に備えて構成されている。

【0012】

支援装置本体１０は、図１に示すように、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、入力Ｉ／Ｆ（インタフェース）１４、出力Ｉ／Ｆ１５、外部機器Ｉ／Ｆ１６、記憶部１７などを有する情報処理部２０と、入力部２１と、表示部２２と、音出力部２３と、振動部２４と、などを備えて構成される。支援装置本体１０は、この他にも、内視鏡画像や支援結果を印刷する出力先としてのプリンタ、外部と通信する通信機器などを備えていてもよい。

【0013】

情報処理部２０は、例えば、パーソナルコンピュータ（ＰＣ）やマイクロコンピュータ（マイコン）等から構成することができる。ＣＰＵ１１は中央演算処理装置であり、内視鏡観察支援装置１００全体の動作を制御する。ＲＯＭ１２は、読出専用メモリであり、ＣＰＵ１１が実行する制御プログラムや内視鏡観察支援プログラム等が記憶されている。ＲＡＭ１３は随時書込読出メモリであり、ＣＰＵ１１のワークエリアとして使用される。すなわち、ＣＰＵ１１は、ＲＡＭ１３をワークエリアとして、ＲＯＭ１２に記憶された内視鏡観察支援プログラムを実行して、内視鏡観察支援装置１００を動作させる。

【0014】

記憶部１７は、ハードディスク、フラッシュメモリ等の記録媒体から構成され、内視鏡観察支援処理に必要な各種情報や、演算結果等が記憶される。入力Ｉ／Ｆ１４は、入力部２１とＣＰＵ１１とを接続するためのインタフェースである。出力Ｉ／Ｆ１５は、表示部２２とＣＰＵ１１とを接続するためのインタフェースである。外部機器Ｉ／Ｆ１６は、外部機器とＣＰＵ１１とを接続するためのインタフェースであり、本実施形態では、内視鏡装置４０、音出力部２３及び振動部２４が、それぞれに対応した外部機器Ｉ／Ｆ１６を介してＣＰＵ１１と接続されている。

【0015】

入力部２１は、文字、数字、各種指示等を入力するための機器であり、内視鏡装置４０を操作する操作者としての医師等によって操作される。入力部２１としては、例えば、キーボード、マウス、テンキー、タッチパネル等が挙げられる。また、入力部２１では、医師が病変の静止画像の撮影や記録を行うための指示や、自動検出された病変を確認したことの指示が入力される。

【0016】

表示部２２は、メニュー画面、操作画面、内視鏡装置４０で撮影された動画像や静止画像等の内視鏡画像（撮像画像）が表示される機器である。表示部２２としては、例えば、液晶ディスプレイ（モニタ）等が挙げられる。

【0017】

音出力部２３と振動部２４は、医師に通知（アラーム通知）を行うために用いられる。音出力部２３は、医師の注意を引くための通知音（アラーム音）や通知メッセージ（アラームメッセージ）等を出力する機器であり、例えば、音や音声等を出力するスピーカ、ブザー等が挙げられる。振動部２４は、医師の身体に付与する振動を発生する振動体であり、例えば、モータ等によって振動を発生するバイブレーション装置等が挙げられる。振動部２４は、医師の身体に直接に振動を付与することができるように、医師の身体に装着する構成とすることが望ましい。または、内視鏡装置４０の操作に支障がなければ、内視鏡装置４０に振動部２４を配置し、内視鏡装置４０を把持する医師の手に付与する構成であってもよい。

【0018】

なお、本実施形態では、音出力部２３及び振動部２４の双方を備えているが、アラーム通知によって医師の注意を引くことができればよく、いずれか一方のみを備えるものであってもよい。例えば、振動のみによってアラーム通知すれば、患者等に病変が検出されたことを悟られるのを防ぐことができる。また、表示部２２に、アラームを知らせる表示をしてもよく、音や振動だけでなく、視覚によっても医師の注意を引くことができる。

【0019】

内視鏡装置４０は、管腔臓器の観察や処置に用いられる機器であり、電子スコープやファイバスコープ等から構成される。本実施形態の内視鏡装置４０は、撮像部４１と、挿入部４２と、操作部４３と、などを備えて構成される。内視鏡装置４０は、この他にも水や空気の供給手段や吸引手段、組織の採取その他の処置を行う鉗子等の処置具など、公知の内視鏡装置が備え得る構成要素を備えている。

【0020】

撮像部４１は、生体内の動画像、静止画像等の内視鏡画像を撮影する機器であり、ＣＣＤカメラ、集光レンズ、接眼レンズ、光源、導光光学系、撮像素子等を備えて構成される。挿入部４２は、屈曲自在な可撓性を有する管部材から構成され、先端に撮像部４１のＣＣＤカメラや集光レンズが設けられ、更には空気や水が放出されるノズルや処置具が出入りする孔部等が設けられている。操作部４３は、挿入部４２の屈曲操作、送気、送水、吸引等を行うための各種操作ボタンや操作スイッチを備えている。

【0021】

内視鏡装置４０は、支援装置本体１０と接続ケーブル等によって電気的に接続されている。撮像部４１で撮影された内視鏡画像の画像信号は、リアルタイムで支援装置本体１０へと出力される。

【0022】

内視鏡装置４０としては、特に限定されることはなく、公知のものを使用することができる。例えば、鼻腔、咽頭、喉頭、食道を観察する喉頭内視鏡、気管、気管支を観察する気管支鏡、食道、胃、十二指腸を観察する上部消化管内視鏡、小腸を観察する小腸内視鏡、大腸を観察する大腸内視鏡、胆管を観察する胆道内視鏡、膵管を観察する膵管内視鏡、胸腔内を観察する胸腔鏡、腹腔内を観察する腹腔鏡、尿道、膀胱内を観察する膀胱鏡、関節を観察する関節鏡、冠動脈を観察する血管内視鏡などが主に挙げられるが、これらに限定されることはない。

【0023】

また、内視鏡装置４０は、例えばハイビジョン内視鏡等が好適に挙げられるが、これに限定されることはない。

【0024】

次に、図２の機能ブロック図を用いて、支援装置本体１０の動作を制御する情報処理部２０の機能について説明する。この図２に示すように、情報処理部２０は、画像情報取得部３１と、病変情報取得部３２と、確認情報取得部３３と、病変消失判定部３４と、通知部３５と、病変情報出力部３６として機能する。

【0025】

画像情報取得部３１は、内視鏡装置４０の撮像部４１から入力される画像信号をデジタル信号に変換し、適宜の画像処理を施して、表示部２２にリアルタイムで表示する（図４（ａ）参照）。本実施形態では、撮像部４１で撮影された動画像や静止画像が表示部２２へ表示されるが、これに限定されるものではなく、動画像に基づいて生成された３Ｄ画像等であってもよい。また、取得された内視鏡画像は、病変情報取得部３２へと渡される。

【0026】

病変情報取得部３２は、画像情報取得部３１で取得した内視鏡画像に基づいて、特徴量の抽出やパターンマッチング等の画像認識処理を実行して、病変を自動で検出し、病変に関する各種情報（病変情報）を取得する。

【0027】

より具体的には、病変情報取得部３２は、例えば、鼻腔、咽頭、喉頭、食道を撮影した喉頭内視鏡動画像、気管、気管支を撮影した気管支鏡動画像、食道、胃、十二指腸を撮影した上部消化管内視鏡動画像、小腸を撮影した小腸内視鏡動画像、大腸を撮影した大腸内視鏡動画像、胆管を撮影した胆道内視鏡動画像、膵管を撮影した膵管内視鏡動画像、小胸腔内を撮影した胸腔鏡動画像、腹腔内を撮影した腹腔鏡動画像、尿道、膀胱内を撮影した膀胱鏡動画像、関節内を撮影した関節鏡動画像、冠動脈等の血管を撮影した血管内視鏡像等に基づいて、画像認識処理によって、腫瘍、ポリープ、出血、憩室、便、血管異形成、腹膜播種、胸膜播種、その他の病変を自動で検出する。

【0028】

この病変情報取得部３２で行われる画像認識処理を用いた病変検出は、公知の何れの技術を用いて行ってもよい。また、病変検出には、例えば、非特許文献１として挙げた論文「Learning Spatiotemporal Features with 3D Convolutional Networks」に記載のような複数のフレームを人工知能によって解析する手法を好適に用いることができる。この手法を用いることで、病変検出をより高精度に行うことができる。ここで、病変情報取得部３２で行われる病変の検出とは、画像認識技術や学習機能等によって、人工知能（コンピュータ）が機械的に病変であると推定した結果である。人工知能の発達により、より高速かつより高い精度での病変の自動検出と、病変の種類や状態等のより詳細な情報の取得が可能となっている。本実施形態の内視鏡観察支援装置１００では、この人工知能による検出結果を有効利用して、医師による病理診断に貢献することのできる支援が行えるようにするものである。

【0029】

病変情報取得部３２で取得する病変情報は、内視鏡画像と対応づけられて、病変消失判定部３４へと出力される。病変情報としては、例えば、病変が検出されたことを示すフラグ情報や、検出された病変の内視鏡画像上の位置、大きさ、状態等である。更には、画像認識による病変の分類結果、より具体的には、前述の腫瘍、ポリープ、出血、憩室、便、血管異形成、腹膜播種、胸膜播種などの病変の分類結果を含むことがより望ましい。

【0030】

確認情報取得部３３は、入力部２１から入力される確認情報を取得する。より具体的には、例えば、表示部２２への表示画面に、静止画像撮影用の撮影ボタンや、病変確認ボタンを表示しておく。又はキーボードのキーに、これらのボタンを設定しておいてもよい。そして、医師が表示部２２に表示された内視鏡画像を視認したり、顕微鏡により直接に体内を視認したりしながら、生体内の観察を行い、病変の存在を確認したとき、入力部２１の撮影ボタン、病変確認ボタンを操作する。この操作信号が、確認情報として確認情報取得部３３に入力される。本実施例では、支援をより効率的に行うため、確認情報取得部３３を設けているが、必ずしも設ける必要はない。

【0031】

病変消失判定部３４は、画像情報取得部３１で取得した内視鏡画像及び病変情報取得部３２で取得した病変情報に基づいて、内視鏡画像上から病変が消失したか否かを判定する。さらに本実施形態では、病変消失判定部３４は、確認情報取得部３３で取得した確認情報に基づいて、医師による病変の確認がされることなく、内視鏡画像上から病変が消失したか否かを判定する。この判定結果は、通知部３５へと出力される。

【0032】

通知部３５は、病変消失判定部３４での判定結果に基づいたアラーム通知を行う。通知部３５は、病変消失判定部３４で医師による病変の確認がされることなく、内視鏡画像上から病変が消失したと判定されたときに、音出力部２３と振動部２４とを制御して、音出力部２３からアラーム音を発生させるとともに、振動部２４を振動させる。このアラーム音や振動により、医師が病変の検出確認をすることなく、自動検出された病変が内視鏡画像上から消失したことを医師に通知し、医師の注意を引くことができる。

【0033】

なお、病変の分類結果に応じて音色やメッセージ内容、音の大きさや高さを変えてアラーム音を出力したり、病変の分類結果に応じて波長や強さを変えて振動を発生させたりしてもよい。また、病変の分類結果や状態の程度等に応じて重みづけを行い、重みに応じたアラーム音や振動を変化させてもよい。これにより、医師の注意力を、より強く引くことができたり、より慎重な観察を促進したりすることができる。

【0034】

病変情報出力部３６は、病変情報取得部３２で検出した病変に対応する内視鏡画像を、出力先としての表示部２２に表示し記憶部１７に記憶する。これにより、検査終了後に医師がいつでも内視鏡画像と病変情報を確認して病理診断の参考とすることができ、内視鏡観察の支援性能を向上させるとともに、記憶容量の削減も可能となる

【0035】

また、内視鏡画像と対応づけて病変情報を、表示部２２に表示したり、記憶部１７に記憶したりすることが望ましい。例えば、内視鏡画像上の病変部位を、線で囲って表示部２２に表示するようにすれば、自動検出された病変の位置を医師が確認し易くなるとともに、医師の注意を引きつけることができる。

【0036】

また、表示部２２の表示画像にアラーム表示をしてもよい。この場合、内視鏡画像の視認性への影響を抑制するため、内視鏡画像内での病変情報の表示を避けることが好ましい。例えば、医師の注意を喚起すべく、内視鏡画像以外の領域の色を変化させる。具体的には、図５（ａ）等に示すように、表示部２２の表示画面において、内視鏡画像の表示領域２２ａの外側の領域（四隅）をアラーム表示領域２２ｂとして利用する。図５（ａ）は、ポリープ等の病変が検出される前は、図５（ａ）に示すようにアラーム表示領域２２ｂの色を変化させず、通常の色（例えば、黒色）で表示する。また、病変が検出された直後も黒色のままとする。

【0037】

そして、病変の検出後に、病変が内視鏡画像上から消失したときに、図５（ｂ）に示すように、アラーム表示領域２２ｂを目立つ色（例えば、赤色）で表示する。また、点滅等させてもよい。また、図５（ｃ）は、病変が消失したときの表示例の変形例であり、表示画面の外周縁をアラーム表示領域２２ｂとし、病変が消失したときに、赤色で表示している。このように、内視鏡画像の表示領域２２ａとは別に外側に設けたアラーム表示領域２２ｂの色等を変化させることで、医師等が内視鏡画像を明確に視認しつつ、音や振動だけでなく視覚によっても病変が消失したことを認識することができる。

【0038】

また、図５（ｄ）、（ｅ）、（ｆ）は、色の変化によるアラーム通知をする場合の表示部２２の他の表示例である。これらは内視鏡画像の表示領域２２ａを略楕円形とし、アラーム表示領域２２ｂの内周縁も円弧状としたこと以外は、図５（ａ）、（ｂ）、（ｃ）と同様の処理によって表示され、同様の作用効果が得られる。

【0039】

また、内視鏡画像と病変情報を記憶部１７に記憶しておくことで、検査後の医師による病理診断の際に、病変に関するより詳細な情報を提供することができる。

【0040】

上述のように構成された内視鏡観察支援装置１００で実行される内視鏡観察支援処理の一例を、図３のフローチャートを参照しながら説明する。まず、医師は内視鏡装置４０の操作部４３を操作しながら、挿入部４２を観察対象の患者の体内へ挿入する。この挿入部４２の挿入に追随して、撮像部４１で体内の内視鏡画像がリアルタイムに撮影される。

【0041】

ステップＳ１では、画像情報取得部３１が、撮像部４１で撮影された内視鏡画像（フレーム）を取得し、画像処理して表示部２２に表示する。そして、取得した内視鏡画像に基づいて、ステップＳ２以降の処理が行われるが、これらの処理は、１フレームごとに行ってもよいし、数フレームごとに行ってもよい。

【0042】

ステップＳ２では、画像情報取得部３１によって取得された内視鏡画像に基づいて、病変情報取得部３２が、前述した画像認識処理や学習機能によって病変の自動検出を実行する。図４（ａ）に、病変が現れた内視鏡画像の一例を示す。このとき、病変の自動検出がされても、音出力部２３や振動部２４からは何ら通知がされない。病変情報取得部３２は、病変が検出された場合、内視鏡画像上での病変の位置や大きさ、状態、病変の分類等を取得し、病変情報を生成する。なお、１つの内視鏡画像で複数の病変が検出された際には、それぞれの病変情報を生成する。

【0043】

次のステップＳ３では、病変情報取得部３２によって病変が検出されたか否かを判定し、病変が検出されない場合（ＮＯ）、ステップＳ４～Ｓ９の処理をスキップしてステップＳ１０に進む。

【0044】

一方、ステップＳ３で病変が検出された場合（ＹＥＳ）、ステップＳ４に進んで、医師によって病変の確認操作がされたか否かを検出するべく、確認情報取得部３３が確認情報を取得する。次に、確認情報内視鏡画像上での病変の追尾を行うべく、ステップＳ５に進み、画像情報取得部３１による次フレームの内視鏡画像の取得及び表示部２２への表示、病変情報取得部３２による病変の検出を行う。次いで、ステップＳ６で、内視鏡画像上から追尾中の病変が消失したか否かを判定する。

【0045】

ステップＳ６で、病変が消失していないと判定された場合（ＮＯ）、ステップＳ４へ戻り、確認情報を取得し、ステップＳ５へ進んで病変の追尾を続行する。このように、内視鏡画像上に病変が現れている間は、病変が自動検出されたことなどが何ら通知されないので、医師は、自動検出結果に不必要に影響されることなく、表示部２２に表示された内視鏡画像を観察しながら、病理診断などを行うことができる。

【0046】

一方、ステップＳ６で、病変が消失したと判定された場合（ＹＥＳ）、ステップＳ７に進み、病変の消失前の内視鏡画像について、確認情報が取得されているか否かを判定する。確認情報が取得されているときは（ＹＥＳ）、ステップＳ９に進む。ステップＳ９では、病変情報出力部３６が、病変の消失前の内視鏡画像と、病変情報を、表示部２２に表示するとともに、内視鏡画像と病変情報とを記憶部１７に記憶する。

【0047】

このように、確認情報が取得された場合は、病変情報取得部３２によって自動検出された病変が、医師によっても確認がされたと判断することができる。つまり、表示部２２の内視鏡画像や顕微鏡像を観察した医師が、病変を検出したとき、入力部２１から病変を含む静止画像の撮影指示を行ったり、確認指示を行ったりすることで、確認情報の信号が支援装置本体１０に入力される。なお、静止画像の撮影指示がされていた場合には、この静止画像の表示と記憶を行い、確認指示のみの場合は、病変の消失前の内視鏡画像（フレーム）の表示と記憶を行う。

【0048】

これに対して、ステップＳ７で、病変が消失したにも関わらず、消失直前までの間に医師からの確認情報が取得されていないと判断された場合（ＮＯ）、ステップＳ８に進んで、アラーム通知を行う。これは、病変情報取得部３２による病変の自動検出結果と、医師の病変の判断結果とが不一致であったり、判断が一致して病変を確認したが確認操作を行わなかったりした状態で、他の領域の撮影に進んだことを意味する。

【0049】

ステップＳ８のアラーム通知処理では、通知部３５が、音出力部２３を制御してアラーム音を発生させ、振動部２４を制御して振動させる。図４（ｂ）に、病変が消失した内視鏡画像の一例を示すとともに、音出力部２３からアラーム音が出力され、振動部２４が振動している状態を模式的に示す。また、図５（ｂ）、（ｃ）、（ｅ）、（ｆ）に示すように、表示部２２の表示画面上のアラーム表示領域２２ｂに、赤色等の目立つ色を表示させたり点滅させたりして、アラームを通知してもよい。

【0050】

このアラーム音と振動、さらには表示部２２へのアラーム表示により、医師は、コンピュータによって自動検出された病変を、まだ確認していないことに気づくことができる。つまり、医師は病変とは判断しなかった可能性や、病変を見逃した可能性が考えられる。なお、病変の消失からアラーム通知までは、１秒以内で行うことが望ましい。これにより、医師による病変の未確認状態で内視鏡検査が続行されるのを抑制することができる。また、操作部４３を逆行操作して、撮像部４１での撮影領域を病変消失前の領域に戻すことも可能で、病変の有無や状態を再確認することができ、医師による病理診断の精度を高めることができる。

【0051】

その後、ステップＳ９に進むことで、病変情報出力部３６が、自動検出された病変の消失前の内視鏡画像と病変情報を、表示部２２（又は別の表示部）に表示するとともに、この内視鏡画像と病変情報とを記憶部１７に記憶する。医師は、表示部２２等に表示された内視鏡画像によっても、病変の疑いのある領域を観察することができる。また、記憶部１７に記憶された病変の内視鏡画像や病変情報を、検査後に再確認することもできる。その後、ステップＳ１０に進む。

【0052】

ステップＳ１０では、内視鏡装置４０での内視鏡画像の撮影が終了したか否か判定し、撮影が終了したと判定した場合（ＹＥＳ）、検査が終了したので内視鏡観察支援処理を終了する。一方、撮影が続行中と判定した場合（ＮＯ）、ステップＳ１に戻り、次の内視鏡画像について、内視鏡観察支援処理を続行する。

【0053】

以上説明したように、本実施形態の内視鏡観察支援装置１００は、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得して表示部２２に表示する画像情報取得部３１と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する病変情報取得部３２と、撮像画像及び病変情報に基づいて病変を追尾し、病変が撮像画像上から消失したか否かを判定する病変消失判定部３４と、病変消失判定部３４により病変が撮像画像上から消失したと判定されたときに、判定結果を通知する通知部３５と、を備えて構成されている。

【0054】

また、本実施形態の内視鏡観察支援方法は、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得する工程と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する工程と、撮像画像及び病変情報に基づいて病変を追尾し、病変が撮像画像上から消失したか否かを判定する工程と、病変が撮像画像上から消失したと判定されたときに、判定結果を通知する工程と、を有してなる。

【0055】

また、本実施形態の内視鏡観察支援方法を実行するためのプログラムは、コンピュータを、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得する手段と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する手段と、撮像画像及び病変情報に基づいて病変を追尾し、病変が撮像画像上から消失したか否かを判定する手段と、病変が撮像画像上から消失したと判定されたときに、判定結果を通知する手段として機能させるためのプログラムである。

【0056】

したがって、本実施形態では、表示部２２に表示された撮像画像（内視鏡画像）を視認することで、医師等の操作者が、管腔臓器を観察して、病理診断や処置などを行うことができる。一方で、撮像画像に基づいて、高精度に病変を自動検出することができる。そして、病変が撮像画像上に現れている間は、医師の判断に先んじて自動検出結果が通知されることがないので、医師は自動検出結果に不必要に影響されることなく、病理診断を行うことができる。

【0057】

これに対して、病変が撮像画像上から消失したときは、通知がされるので、医師は病変が自動検出されたことや、検出された病変が撮像画像上から消失したことを知ることができる。このとき、医師自身も撮像画像上で病変を確認していた場合は、自身の診断結果と自動検出結果が一致したことがわかり、医師の診断の信頼性を裏付ける有力な材料とすることができる。また、この通知により、医師による病変近傍の再度の観察やより慎重な観察を促すことができる。したがって、内視鏡による観察支援の性能を向上させることができ、医師による病変の観察等をより容易かつ精度よく行うことが可能な内視鏡観察支援装置１００、内視鏡観察支援処理、及びプログラムを提供することができる。

【0058】

また、本実施形態では、上述したように高精度に病変の自動検出ができ、さらに自動検出された病変が撮像画像上から消失したときに、通知がされるので、例えば、内視鏡を用いた病理診断の訓練等にも好適に用いることができる。つまり、撮像画像に基づいて病理診断を行う際に、不慣れな医師が、病変を見逃したまま検査を続行した場合であっても、病変が撮像画像上から消失したことが速やかに医師に通知されるので、医師は見逃しに気づくことができ、再確認等を容易にできる。また、病変が撮像画像上に現れている間は、通知がされないので、医師は自動検出結果に不必要に影響されることなく、病理診断を行うことができる。その結果、医師の病理診断能力を向上させることができる。

【0059】

また、本実施形態では、通知部３５は、音出力部２３から所定の通知音を出力することで判定結果を通知するように構成されている。また、通知部３５は、振動体（振動部２４）を振動させることで判定結果を通知するように構成されている。通知音や振動によって、医師の注意をより強く引きつけることができ、病変が撮像画像上から消失したことをより明確に医師に通知することができる。

【0060】

また、本実施形態では、病変消失判定部３４により病変が撮像画像上から消失したと判定されたとき、消失前の病変の撮像画像を所定の出力先（例えば、表示部２２、記憶部１７）に出力する病変情報出力部３６を備えている。これにより、検査終了後に医師がいつでも内視鏡画像や病変情報を確認して病理診断の参考とすることができ、内視鏡観察の支援性能を向上させることができる。

【0061】

また、本実施形態では、操作者からの病変の確認指示の入力を受け付ける入力部２１を備え、通知部３５は、病変消失判定部３４により病変が撮像画像上から消失したと判定され、かつ、入力部２１から確認指示が入力されていないときには、判定結果を通知するように構成されている。これにより、病変が消失した場合であっても、操作者である医師が病変を確認していれば、通知がされることがないため、通知を必要最小限にとどめ、内視鏡観察の支援をより効率的に行うことができる。

【0062】

（第２の実施形態）
次に、第２の実施形態の内視鏡観察支援装置について説明する。上記第１の実施形態では、内視鏡画像上から病変が消失したと判定されたときに、病変が消失したことを知らせるアラーム通知をしている。これに対して、第２の実施形態では、内視鏡画像上で病変が検出されて僅かな時間の経過後に、病変が検出されたことをアラーム通知するものである。つまり、病変が内視鏡画像上から消失したか否かによらず、検出時から遅れてアラーム通知を行うものである。

【0063】

第２の実施形態の内視鏡観察支援装置は、病変消失判定部３４を設けていないこと以外は、第１の実施形態と同様の基本構成を備えているため、詳細な説明は省略する。確認情報取得部３３も、設けなくてもよいし、設けてもよい。また、第２の実施形態の内視鏡観察支援方法は、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得する工程と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する工程と、病変が検出されてから僅かな時間の経過後に、病変が検出されたことを通知する工程と、を有する。また、第２の実施形態の内視鏡観察支援方法を実行するためのプログラムは、コンピュータを、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得する手段と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する手段と、病変が検出されてから僅かな時間の経過後に、病変が検出されたことを通知する手段として機能させるためのプログラムである。

【0064】

第２の実施形態の内視鏡観察支援装置では、病変情報取得部３２がポリープ等の病変を検出すると、通知部３５に通知する。通知部３５は、病変の検出時にリアルタイムでは通知はせずに、病変が検出されてから僅かな時間が経過した後、つまり所定時間が経過した後に、病変が自動検出されたことを通知する。この通知は、第１の実施形態と同様に、音出力部２３からのアラーム音の発生、振動部２４の振動、さらには図５に示すようなアラーム表示領域２２ｂの色の変化等によって行うことができる。

【0065】

ここで、「僅かな時間」とは、内視鏡画像に病変が現れ、それを視認した医師等が自身で病変であると判断するのに必要な時間をいう。より具体的には、「僅かな時間」としては、３０ｍｓ～２，０００ｍｓが好ましい。また、この範囲内で、「僅かな時間」を任意に設定又は変更できるようにすることがより好ましい。これにより、医師等の内視鏡検査の習熟度や年齢等によって、判断時間にばらつきがあった場合でも、医師等に応じた好適な時間を設定することができる。したがって、より効率的な検査ができるとともに、内視鏡装置４０の使用性も向上する。

【0066】

このように、僅かな時間をおいて病変の検出を通知することで、内視鏡画像に基づいて、医師等が病変であると判断する時間を確保することができる。そのため、病変情報取得部３２による病変の自動検出結果に影響されることなく、医師等が自身で病変か否か等の判断を下すことができる。

【0067】

また、僅かな時間の経過後は、病変情報取得部３２で病変を検出したことが通知されるので、医師等は、自身の判断と人工知能等による自動検出結果とが同じか否かを確認することができ、医師等の判断の精度をより高めることができる。

【0068】

第２の実施形態は、病理診断の訓練を行う際にも好適に用いることができる。例えば、訓練の初期に不慣れな医師が内視鏡観察を行うときには、「僅かな時間」を長く設定することで、医師に判断のための時間を長く与えることができる。訓練を繰り返すたびに「僅かな時間」を徐々に短く設定していくことで、医師が徐々に速く判断できるようになる。

【0069】

また、前述したように、撮像画像の複数の画像フレームを人工知能で解析することで、１フレームを解析するよりも、高い精度で病変の診断が可能である。従来のようにリアルタイムで病変の検出を通知する方式では、速度を優先するため解析する画像フレーム数を多くするのには限界がある。これに対して、本実施形態のように、病変の検出から所定時間をおいて通知する場合、又は第１の実施形態のように病変が消失した後に通知する場合には、所定の解析時間を確保することができるため、より多くのフレームを解析することができる。そのため、病変の種類や程度等、より詳細な病変情報を取得することができ、人工知能による病変の検出精度や病変情報の精度を向上させることができる。

【0070】

以上、本発明の実施例形態を図面により詳述してきたが、上記実施形態は本発明の例示にしか過ぎないものであり、本発明は上記実施形態の構成にのみ限定されるものではない。本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

【0071】

例えば、上記各実施形態では、撮像部４１と挿入部４２と操作部４３とを有する内視鏡装置４０を支援装置本体１０に接続し、撮像部４１で撮影した撮像画像を支援装置本体１０が画像処理を施して表示部２２に表示している。これに対して、撮像部４１と挿入部４２と操作部４３に加えて、ビデオチューナーや表示部等の撮像画像の表示機能を有する内視鏡ユニットを用いてもよい。また、このような内視鏡ユニットの表示部を、内視鏡観察支援装置１００の表示部２２として兼用してもよいし、これとは別個に表示部２２を設けてもよい。

【0072】

さらには、内視鏡ユニットが、撮像画像に基づいて病変を自動検出する画像処理部等を有する情報処理装置を備える構成としてもよい。この場合、画像処理部での病変の自動検出結果を、支援装置本体１０の病変情報取得部３２が取得して、内視鏡観察支援処理に利用するようにすれば、内視鏡ユニットが有する自動検出結果を有効利用することができ、支援装置本体１０での演算処理の負荷を低減し、演算速度を高速化することができる。

【0073】

また、情報処理装置等を備えた内視鏡ユニットに、各実施形態の内視鏡観察支援装置１００を内蔵してもよい。すなわち、内視鏡ユニットに、音出力部２３や振動部２４を設け、さらに内視鏡ユニットの情報処理装置を情報処理部２０として兼用して、各実施形態の内視鏡観察支援プログラムをインストールする。これにより、内視鏡観察支援装置を備えた内視鏡ユニットを提供することができる。よって、内視鏡観察支援装置を備えた内視鏡ユニットとして販売することもできるし、内視鏡観察支援プログラムを単体で販売して、既存の内視鏡ユニットにインストールして使用することなどもできる。また、各装置のコンパクト化や簡素化、取扱いの簡易化も可能となる。

【0074】

また、上記各実施形態では、通知音や振動によって撮像画像上から病変が消失したことを医師に通知しているが、この他にも、例えば、ＬＥＤ等の発光部を設け、光の点滅等によってエラーを伝達するものであってもよい。この場合も、病変の重みづけや、病変の種類に応じて発光色や点滅時間等を適宜調整してもよく、より解り易い通知が可能となる。

【0075】

また、挿入部４２を体内に挿入する際の時間を計測する時間計測部を設け、挿入部４２の挿入速度（速度計で測定してもよいし、平均的な挿入速度を用いてもよい）や挿入時間、撮像画像に基づいて、例えば、大腸内視鏡であれば、肛門縁からの距離を算出し、表示部２２に表示してもよい。また、撮像画像上から病変が消失して、表示部２２等に病変の画像等を表示するときに、病変の肛門縁からの距離を表示するようにすれば、何センチ戻せば病変を撮影できるかなどを、医師がより容易かつより正確に判断することができ、病変の観察支援の性能をより向上させることができる。

【0076】

また、上記第１の実施形態では、病変が消失したときにアラーム通知を行い、第２の実施形態では、病変が検出されてから僅かな時間の経過後にアラーム通知を行っているが、これに限定されるものではない。使用目的等に応じて、病変が消失したときと、病変が検出されてから僅かな時間が経過したときの、双方でアラーム通知を行う構成としてもよく、医師の注意をより強く引くことができる。

【符号の説明】

【0077】

１７ 記憶部（出力先） ２０ 情報処理部 ２１ 入力部
２２ 表示部（出力先） ２３ 音出力部 ２４ 振動部（振動体）
３１ 画像情報取得部 ３２ 病変情報取得部 ３４ 病変消失判定部（判定部）
３５ 通知部 ３６ 病変情報出力部 ４０ 内視鏡装置（内視鏡）
１００ 内視鏡観察支援装置

【図1】

【図2】

【図3】

【図4】

【図5】