特開 2023-160259 内視鏡画像診断支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023160259

(43)【公開日】2023-11-02

(54)【発明の名称】内視鏡画像診断支援システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231026BHJP

【ＦＩ】

A61B1/045 622

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022070479

(22)【出願日】2022-04-22

(71)【出願人】

【識別番号】517380422

【氏名又は名称】株式会社ＡＩメディカルサービス

(74)【代理人】

【識別番号】230116816

【弁護士】

【氏名又は名称】成川 弘樹

(74)【代理人】

【識別番号】100146123

【弁理士】

【氏名又は名称】木本 大介

(72)【発明者】

【氏名】談 莫東

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161CC06

4C161NN05

4C161WW02

4C161WW13

4C161WW14

(57)【要約】

【課題】内視鏡画像に図形情報を重畳することなく、検出された病変領域の視認性が高いまま病変領域の位置情報を提示する。
【解決手段】
内視鏡画像を撮像する撮像装置と接続可能な内視鏡画像診断支援システム１０は、撮像装置から内視鏡画像を取得する内視鏡画像取得部を備え、内視鏡画像を用いた画像解析により病変位置を含む解析結果を出力する画像解析部を備え、解析結果を表示する表示部を備え、解析結果を用いて、解析結果に応じた図形情報の表示を制御する制御部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

内視鏡画像を撮像する撮像装置と接続可能な内視鏡画像診断支援システムであって、
前記撮像装置から前記内視鏡画像を取得する内視鏡画像取得部を備え、
前記内視鏡画像を用いた画像解析により病変位置を含む解析結果を出力する画像解析部を備え、
前記解析結果を表示する表示部を備え、
前記解析結果を用いて、前記解析結果に応じた図形情報の表示を制御する制御部を備える、
内視鏡画像診断支援システム。

【請求項2】

前記制御部は、前記病変位置に応じて、前記図形情報を変更する、
請求項１に記載の内視鏡画像診断支援システム。

【請求項3】

前記制御部は、前記内視鏡画像に重畳させずに、前記図形情報を前記表示部に表示させる、
請求項１又は請求項２に記載の内視鏡画像診断支援システム。

【請求項4】

前記制御部は、前記解析結果に応じて、前記図形情報の表示又は非表示を選択する、
請求項１又は請求項２に記載の内視鏡画像診断支援システム。

【請求項5】

前記画像解析部は、病変リスク評価値を算出し、
前記制御部は、前記病変リスク評価値に応じて、前記図形情報の表示又は非表示を選択する、
請求項４に記載の内視鏡画像診断支援システム。

【請求項6】

前記制御部は、
前記病変リスク評価値が所定の評価閾値以上の場合、前記図形情報を表示し、
前記病変リスク評価値が前記評価閾値未満の場合、前記図形情報を表示しない、
請求項５に記載の内視鏡画像診断支援システム。

【請求項7】

前記制御部は、前記病変リスク評価値が所定の評価閾値以上の場合、前記病変リスク評価値を表示する、
請求項６に記載の内視鏡画像診断支援システム。

【請求項8】

前記制御部は、前記図形情報を回転して表示させる、
請求項１又は請求項２に記載の内視鏡画像診断支援システム。

【請求項9】

前記制御部は、前記図形情報を拡大あるいは縮小して表示させる、
請求項１又は請求項２に記載の内視鏡画像診断支援システム。

【請求項10】

前記制御部は、
ユーザーにより、前記図形情報を新規に入力可能な入力画面を表示させるための指示が行われた場合、前記制御部は、前記入力画面を前記表示部に表示させる、
請求項１又は請求項２に記載の内視鏡画像診断支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡画像診断支援システムに関する。

【背景技術】

【0002】

内視鏡医が内視鏡画像の観察あるいは診断を行う際の支援として、画像の強調や表示態様の変更を行うことが知られている。例えば、特許文献１には、注目するべき病変領域のサイズや数に応じてアラート画像を病変領域に重畳表示し、強調表示が病変領域の診断の妨げになる場合に表示態様を変更することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特願２０２１－５０１８３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

内視鏡画像の診断を、内視鏡画像診断支援装置あるいは内視鏡画像診断プログラムを補助として用いて行う場合、リアルタイムに取得した内視鏡画像中に検出した病変領域に、図形などの重畳表示により病変領域の検出と位置情報をユーザーに提示する。図形等の重畳表示は病変領域の視認性を低下させて診断の妨げになりうるので、内視鏡画像上に図形等を重畳表示せず、病変領域の検出および位置情報によって表示態様が変化する図形をユーザーに表示することが好ましい。上述した特許文献１においては、このような事情が考慮されていない。

【0005】

このように、従来の技術では検出した病変領域の位置情報を表示する際、内視鏡画像に図形の重畳表示を行うタイミングが存在したため、内視鏡画像上で検出した病変領域の視認性を低下させてしまい誤診を引き起こす可能性があった。また、図形を内視鏡画像に重畳せずに表示する場合であっても、図形は病変領域の位置を詳細に示すものではなく、診断を妨げないように病変領域の検出および位置情報を詳細に提示することが不可能であった。

【0006】

本発明はこのような事情に鑑みてなされたもので、内視鏡画像に図形情報を重畳することなく、検出された病変領域の視認性が高いまま病変領域の位置情報を提示することを目的とする。

【課題を解決するための手段】

【0007】

上述した目的を達成するために、本発明の一態様は、
内視鏡画像を撮像する撮像装置と接続可能な内視鏡画像診断支援システムであって、
前記撮像装置から前記内視鏡画像を取得する内視鏡画像取得部を備え、
前記内視鏡画像を用いた画像解析により病変位置を含む解析結果を出力する画像解析部を備え、
前記解析結果を表示する表示部を備え、
前記解析結果を用いて、前記解析結果に応じた図形情報の表示を制御する制御部を備える、
内視鏡画像診断支援システムである。

【図面の簡単な説明】

【0008】

【図1】本実施形態の内視鏡システムを示す図である。

【図2】図１の内視鏡診断支援システムを示す図である。

【図3】図２の表示部の表示例を示す図である。

【図4】図２の表示部の表示例を示す図である。

【図5】図２の表示部の表示例を示す図である。

【図6】図１の内視鏡画像診断支援システムの動作フローチャートである。

【図7】図１の内視鏡画像診断支援システムの動作フローチャートである。

【図8】図１の内視鏡画像診断支援システムの動作フローチャートである。

【図9】図１の内視鏡画像診断支援システムの動作フローチャートである。

【図10】本実施形態の変形例の表示部の表示例を示す図である。

【図11】本実施形態の変形例の表示部の表示例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本発明の実施形態（以下「本実施形態」という）を、添付図面を用いて説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0010】

（内視鏡システムの構成）
本実施形態の内視鏡システムの構成を説明する。図１は、本実施形態の内視鏡システムを示す図である。

【0011】

図１に示すように、内視鏡システムは、内視鏡画像診断支援システム１０と、撮像装置４と、を備える。撮像装置４は、内視鏡である。

【0012】

内視鏡画像診断支援システム１０は、内視鏡医端末１と、内視鏡医端末入力部２と、内視鏡画像取得部３と、を備える。

【0013】

（内視鏡診断支援システムの構成）
本実施形態の内視鏡画像診断システムの構成を説明する。図２は、図１の内視鏡診断支援システムを示す図である。

【0014】

図２に示すように、内視鏡画像診断支援システム１０は、内視鏡医端末１と、この内視鏡医端末１に接続された内視鏡医端末入力部２と、内視鏡画像取得部３と、を備えている。
内視鏡画像取得部３は、内視鏡医端末１と撮像装置４に接続されている。撮像装置４は、内視鏡画像を撮像する。内視鏡画像取得部３は、撮像装置４から内視鏡画像を取得し、且つ、内視鏡医端末１に引き渡す。
内視鏡医端末１は、内視鏡画像取得部３から引き渡された内視鏡画像を用いた画像解析により、内視鏡画像内の病変領域を抽出する。

【0015】

以下、内視鏡医端末１内で内視鏡画像を解析することで得られた病変領域の位置情報を、内視鏡画像上に図形等を重畳表示しないでユーザー（例えば、内視鏡医）に提示する例を説明する。

【0016】

なお、内視鏡医端末１は、図２に示すように、撮像装置４と接続して内視鏡画像データを取得するための内視鏡画像取得部３と接続されている。そして内視鏡画像取得部３には制御部５が接続されている。

【0017】

記憶部７には、制御部５の制御プログラム及び内視鏡画像診断支援アプリケーションが記憶されている。
記憶部７は、例えば、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0018】

制御部５には、内視鏡医端末入力部２、表示部６、記憶部７、及び、画像解析部８が接続されている。制御部５は、内視鏡医端末１を制御する。制御部５は、例えば、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、又は、これらの組み合わせである。

【0019】

表示部６は、制御部５によって生成された画像を表示する。表示部６は、例えば、液晶ディスプレイである。なお、表示部６は、内視鏡医端末１の外部（例えば、撮像装置４）に配置されても良い。

【0020】

画像解析部８は、内視鏡画像取得部３から引き渡された内視鏡画像を解析する。

【0021】

以上の構成において、この内視鏡画像診断支援システム１０を導入した病院では、内視鏡医は、内視鏡画像診断支援システム１０を用いて、健康診断のため来院した患者の消化管内の内視鏡画像診断を行う。

【0022】

（情報処理）
本実施形態の情報処理を説明する。図３は、図２の表示部の表示例を示す図である。図４は、図２の表示部の表示例を示す図である。図５は、図２の表示部の表示例を示す図である。図６は、図１の内視鏡画像診断支援システムの動作フローチャートである。図７は、図１の内視鏡画像診断支援システムの動作フローチャートである。図８は、図１の内視鏡画像診断支援システムの動作フローチャートである。図９は、図１の内視鏡画像診断支援システムの動作フローチャートである。

【0023】

はじめに、内視鏡医は、撮像装置４を起動する旨の指示（「入力画面を表示させるための指示」の一例）を発信する（図７のS０）。撮像装置４は、撮像終了の指示が発信されるまで、内視鏡医端末１の内視鏡画像取得部３に画像を送信し続ける（図７のS１及び図８のS２～S３）。
また、内視鏡医は、内視鏡医端末１に対して、記憶部７に記憶された内視鏡画像診断支援アプリケーションを起動する旨の指示を発信する（図６のN１）。

【0024】

その結果、内視鏡医端末１は、内視鏡画像診断支援アプリケーションを起動すると、図３に示すように、表示部６に、病変領域の検出位置を示すために用いる図形情報の入力画面を表示する（図６のN２）。

【0025】

図３に示すように、内視鏡医端末１の表示部６に、病変領域の検出位置を示すために用いる図形候補（例えば、「目」、「矢印」、「三角形」、「注射器」、及び、「航空機」）と、それぞれの図形候補に対応する選択ボタン９が表示される。図３に示すように、内視鏡医が、例えば「目」の項目に対応する選択ボタン９を押すと、内視鏡医端末１は、押された選択ボタン９に対応する図形情報（例えば、「目」の図形情報）の入力を受け付ける。

【0026】

図形情報が未入力の場合は、内視鏡医端末１は、引き続き図形情報の入力画面を表示する（図６のN３）。
一方、図形情報が入力済みである場合には、内視鏡医端末１は、記憶部７に図形情報を記憶する（図６のN４）。

【0027】

内視鏡医端末１は、図形情報の入力を受け付けると、予め記憶部７に記憶されていた図形表示用座標（例えば、４点の位置に対応する座標）を読み込む（図６のN５）。これら４点の位置は、図４に示すように、図形表示用座標１１～１４それぞれに対応するが、表示部６には表示されない。

【0028】

内視鏡医端末１は、図形情報の入力を受け付けると、学習済みの病変領域抽出モデルを記憶部７から読み込み、撮像装置４から送信されて内視鏡画像取得部３で受信される内視鏡画像データの解析準備を行う（図６のN６）
内視鏡医端末１では、画像解析部８が病変領域抽出モデルと内視鏡画像データを用いて画像解析を行う。

【0029】

当該病変領域抽出モデルは、入力される内視鏡画像の画素毎に病変リスク評価値（例えば、病変リスクの確度を示すパーセント値）を算出するための分類器である。病変領域抽出モデルは、内部パラメータが学習によって病変リスク評価に最適化された状態で記憶部７に記憶されている。この病変領域抽出モデルに内視鏡画像が入力されると、内視鏡画像の画素毎に病変リスク評価値が算出される。

【0030】

内視鏡画像取得部３は、撮像装置４から送信された内視鏡画像を受信する（図７のN７）。
画像解析部８は、内視鏡画像をモデルに入力して内視鏡画像の各画素の病変リスク評価値を算出する（図７のN８）。

【0031】

病変リスク評価値の最大値が所定の評価閾値（一例として、５０％）未満の場合、内視鏡医端末１は、図形表示用座標１１～１４に表示している図形情報を非表示にする。その後、内視鏡医端末１は、撮像装置４からの画像送信を待機する（図７のN９及びN９a）。
一方、病変リスク評価値の最大値が所定の評価閾値（一例として、５０％）以上の場合、内視鏡医端末１は、図５に示すように、病変リスク評価値２２を表示する（図７のN１０）。

【0032】

つまり、内視鏡医端末１は、画像解析部８の解析結果に応じて、図形情報の表示又は非表示を選択する。
例えば、内視鏡医端末１は、病変リスク評価値に応じて、図形情報の表示又は非表示を選択する。
より具体的には、内視鏡医端末１は、病変リスク評価値が評価閾値以上の場合、図形情報を表示し、病変リスク評価値が評価閾値未満の場合、図形情報を表示しない。

【0033】

内視鏡医端末１は、病変リスク評価値が評価閾値（一例として、５０％）以上の複数の画素の座標から、病変領域重心座標１７（図５）を算出する（図８のN１１）。
なお、病変領域重心座標１７は、表示部６には表示されない。

【0034】

内視鏡医端末１は、病変領域重心座標１７を算出した後、予め記憶部７に記憶されていた図形表示用座標１１～１４と病変領域重心座標１７との間の距離（以下「重心距離」という）を算出し、かつ、重心距離が最小となる図形表示用座標（つまり、病変領域重心座標１７に最も近い図形表示用座標）を第一原点１６（図５）として記憶する（図８のN１２）。
第一原点１６は、表示部６には表示されない。

【0035】

第一原点１６を記憶した後、内視鏡医端末１は、第一原点１６の下方の第一基準点１９（図５）の座標を計算して記憶する（図８のN１３）。
第一基準点１９は、表示部６には表示されない。
第一基準点１９の座標を計算するには、第一原点１６のｙ座標から定数を減じればよいが、減じる定数は、表示部６の縦幅に一定比率を掛けて算出したものであってもよいし、内視鏡画像の縦幅に一定比率を掛けて算出したものであってもよい。

【0036】

その後、内視鏡医端末１は、図形表示用座標１１～１４と病変領域重心座標１７の距離を算出し、重心距離が２番目に小さい図形表示用座標（つまり、病変領域重心座標１７に２番目に近い図形表示用座標）を第二原点１５（図５）として記憶する（図８のN１４）。
第二原点１５は、表示部６には表示されない。

【0037】

第二原点１５を記憶した後、内視鏡医端末１は、第二原点１５の下方の第二基準点１８（図５）の座標を計算して記憶する（図８のN１５）。
第二基準点１８は、表示部６には表示されない。
第二基準点１８の座標を計算するには、第二原点１５のｙ座標から定数を減じればよいが、減じる定数は、表示部６の縦幅に一定比率を掛けて算出したものであってもよいし、内視鏡画像の縦幅に一定比率を掛けて算出したものであってもよい。

【0038】

二組の原点と基準点を算出した後、内視鏡医端末１は、第一基準点１９と第一原点１６と病変領域重心座標１７の三点がなす角度を算出し、第一角度２０として記憶する（図８のN１６）。
第一角度２０は、図５の弧線で示される角度を表すが、表示部６には表示されない。

【0039】

第一角度２０を算出した後、内視鏡医端末１は、記憶部に記憶した図形情報を読み込み、第一角度２０と図形を画像解析部に入力することで回転させた図形情報を取得し、図８上に示すように、第一原点１６に回転させた図形情報（以下「回転図形情報」という）を表示させる（図８のN１７）。

【0040】

一個目の回転図形情報を表示させた後、内視鏡医端末１は、第二基準点１８と第二原点１５と病変領域重心座標１７の三点がなす角度を算出し、第二角度２１として記憶する（図８のN１８）。
第二角度２１は、第一角度２０と同様に、図５の弧線で示される角度を表すが、表示部６には表示されない。

【0041】

第二角度２１を算出した後、内視鏡医端末１は、記憶部に記憶した図形を読み込み、第二角度２１と図形情報を画像解析部に入力することで回転図形情報を取得し、図８に示すように、第二原点１５に回転図形情報を表示させる（図８のN１９）。

【0042】

表示させる図形情報の個数（つまり、原点の数）については二個に限定されず、いくつでも良い。制御部５は、例えば、内視鏡医端末１からユーザーの入力する任意の個数の図形情報を表示しても良い。

【0043】

2個の回転図形情報を表示した後、図形が表示されたことで、内視鏡医は、内視鏡医端末１が内視鏡画像上に病変を検出したという情報を読み取ることができる。

【0044】

また、このとき、例えば内視鏡医が「目」の図形情報を選択していた場合、内視鏡医端末１の表示部６の内視鏡画像に重畳しないで表示された２つの「目」の図形の視線が病変領域を指向する状態になる。これにより、内視鏡医は、図形の「目」の視線につられて、内視鏡画像上で検出された病変領域の位置情報を読み取ることができる。

【0045】

その後、撮像装置４から撮像終了の指示を受信した場合、内視鏡医端末１は、情報処理を終了する（図９のN２０）。
一方、撮像装置４から撮像終了の指示を受信しなかった場合、内視鏡医端末１は、画像を受信するまで待機する（図７のN７）。

【0046】

本実施形態によれば、内視鏡画像に図形情報を重畳することなく、検出された病変領域の視認性が高いまま病変領域の位置情報が提示される。これにより、内視鏡医としては、内視鏡画像診断支援システム１０が提示する病変領域の視認性が高いまま、検出された病変領域の位置情報をストレスなく読み取ることができる。
また、内視鏡医としては、病変領域の図形の重畳表示により起こる誤診の不安が無いため、高精度な診断が行えるようになる。

【0047】

（変形例）
本実施形態の変形例を説明する。
図１０は、本実施形態の変形例の表示部の表示例を示す図である。図１１は、本実施形態の変形例の表示部の表示例を示す図である。

【0048】

本実施形態では、図形の表示位置は、図形表示用座標１１～１４の座標に固定したが、それに限らず、図１０に示すように、これらの座標は病変領域重心座標に応じて図形表示用座標１１～１４から離れた、病変位置から最も近い、内視鏡画像の枠に接する位置に移動させてもよい。

【0049】

本実施形態では、図形の表示サイズは固定としたが、それに限らず、図１１に示すように、リスク評価値に応じて、表示する図形の大きさを拡大・縮小してもよい。

【0050】

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

【符号の説明】

【0051】

１ 内視鏡医端末
２ 内視鏡医端末入力部
３ 内視鏡画像取得部
４ 撮像装置
５ 制御部
６ 表示部
７ 記憶部
８ 画像解析部
９ 入力部選択ボタン
１０ 内視鏡画像診断支援システム
１１ 図形表示用座標
１２ 図形表示用座標
１３ 図形表示用座標
１４ 図形表示用座標
１５ 第二原点
１６ 第一原点
１７ 病変領域重心座標
１８ 第二基準点
１９ 第一基準点
２０ 第一角度
２１ 第二角度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】