特開 2023-160260 内視鏡画像診断支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023160260

(43)【公開日】2023-11-02

(54)【発明の名称】内視鏡画像診断支援システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231026BHJP

【ＦＩ】

A61B1/045 622

A61B1/045 615

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022070480

(22)【出願日】2022-04-22

(71)【出願人】

【識別番号】517380422

【氏名又は名称】株式会社ＡＩメディカルサービス

(74)【代理人】

【識別番号】230116816

【弁護士】

【氏名又は名称】成川 弘樹

(74)【代理人】

【識別番号】100146123

【弁理士】

【氏名又は名称】木本 大介

(72)【発明者】

【氏名】談 莫東

(72)【発明者】

【氏名】高松 真

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA01

4C161CC06

4C161HH51

4C161JJ17

4C161NN05

4C161WW02

4C161WW14

4C161WW15

(57)【要約】

【課題】内視鏡画像上で検出した複数種類の病変領域を、それぞれの重要度と病変領域面積比に応じて表示する。
【解決手段】 内視鏡画像診断支援システムは、内視鏡画像を取得する画像取得部を備え、内視鏡画像に対する画像解析により、複数種類の病変領域を含む解析結果を出力する画像解析部を備え、ユーザーの指示に基づいて、解析結果に含まれる複数種類の病変領域のそれぞれを表示部に表示する制御部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

内視鏡画像を取得する画像取得部を備え、
前記内視鏡画像に対する画像解析により、複数種類の病変領域を含む解析結果を出力する画像解析部を備え、
ユーザーの指示に基づいて、前記解析結果に含まれる複数種類の病変領域のそれぞれを表示部に表示する制御部を備える、
内視鏡画像診断支援システム。

【請求項2】

前記制御部は、前記解析結果に含まれる複数種類の病変領域の総面積に対する各病変領域の面積の比である病変領域面積比を表示する、
請求項１に記載の内視鏡画像診断支援システム。

【請求項3】

前記制御部は、前記ユーザーの指示に応じて、病変の重要度と、最重要病変の前記病変領域面積比に対応する第一閾値及び第二閾値と、を入力可能な入力画面を前記表示部に表示する、
請求項２に記載の内視鏡画像診断支援システム。

【請求項4】

前記制御部は、前記最重要病変の病変領域面積比が、前記第一閾値以上だった場合、各病変領域の病変領域面積比と、前記最重要病変のリスク評価値を表示する、
請求項３に記載の内視鏡画像診断支援システム。

【請求項5】

前記制御部は、前記最重要病変の病変領域面積比が、前記第一閾値以下、かつ、前記第二閾値以上だった場合、各病変領域の病変領域面積比と、各病変領域に対応する病変の種類と、を表示する、
請求項３に記載の内視鏡画像診断支援システム。

【請求項6】

前記制御部は、前記最重要病変に対応する病変領域面積比が、前記第二閾値未満だった場合、各病変領域面積比をそれぞれ表示し、前記病変領域面積比が最も大きい値に対応する病変の種類と、前記病変のリスク評価値と、を表示する、
請求項３～請求項５の何れか１項に記載の内視鏡画像診断支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡画像診断支援システムに関する。

【背景技術】

【0002】

ユーザー（例えば、内視鏡医）が内視鏡画像の観察あるいは診断を行う際の支援として、画像の強調や表示態様の変更を行うことが知られている。例えば、特許文献１には、内視鏡画像上の注目するべき病変領域を抽出し、それぞれの注目領域を分類して複数種類の病変領域を、それぞれの病変領域の分類結果とともに強調表示することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2022-000163号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

内視鏡画像の診断を、内視鏡画像診断支援装置あるいは内視鏡画像診断プログラムを補助として用いて行う場合、リアルタイムに取得した内視鏡画像中に検出した病変領域に、図形などの重畳表示により病変領域の検出とそれぞれの病変領域の分類結果をユーザーに提示する。複数種類の病変領域が表示された場合、重要度の高い病変領域の面積が、重要度の低い病変領域の面積より小さくなることがある。その場合、面積は小さいが重要度の高い病変領域をユーザーが見落とさないように表示態様を変更することが好ましい。上述した特許文献１においては、このような事情が考慮されていない。

【0005】

このように、従来の技術では重要度の異なる複数種類の病変を同時に表示する際、重要度の高い病変領域の面積が重要度の低い病変領域の面積より小さい場合、より重要度の低い病変領域に紛れてしまい、内視鏡画像上で検出した重要度の高い病変領域の視認性が低下してしまい誤診を引き起こす可能性があった。

【0006】

本発明はこのような事情に鑑みてなされたもので、内視鏡画像上で検出した複数種類の病変領域を、それぞれの重要度と病変領域面積比に応じて表示することができる医療画像処理装置、内視鏡画像診断支援システム、及び医療画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様は、
上述した目的を達成するために、本発明の一態様は、
内視鏡画像を取得する画像取得部を備え、
前記内視鏡画像に対する画像解析により、複数種類の病変領域を含む解析結果を出力する画像解析部を備え、
ユーザーの指示に基づいて、前記解析結果に含まれる複数種類の病変領域のそれぞれを表示部に表示する制御部を備える、
内視鏡画像診断支援システムである。

【図面の簡単な説明】

【0008】

【図1】本実施形態の内視鏡システムのシステム構成図である。

【図2】図１の内視鏡画像診断支援システムのシステム構成図である。

【図3】本実施形態の内視鏡画像診断処理で表示される画面例の図である。

【図4】本実施形態の内視鏡画像診断処理で表示される画面例の図である。

【図5】本実施形態の内視鏡画像診断処理で表示される画面例の図である。

【図6】本実施形態の内視鏡画像診断処理で表示される画面例の図である。

【図7】本実施形態の内視鏡画像診断処理で表示される画面例の図である。

【図8】本実施形態の内視鏡画像診断処理のフローチャートである。

【図9】本実施形態の内視鏡画像診断処理のフローチャートである。

【図10】本実施形態の内視鏡画像診断処理のフローチャートである。

【図11】本実施形態の内視鏡画像診断処理のフローチャートである。

【図12】本実施形態の内視鏡画像診断処理のフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0010】

（内視鏡システム）
第１実施形態の内視鏡システムを説明する。図１は、本実施形態の内視鏡システムのシステム構成図である。

【0011】

図１に示すように、内視鏡システムＡは、内視鏡画像診断支援システムＢと、撮像装置４と、を備えている。
内視鏡画像診断支援システムＢは、内視鏡医端末１と、内視鏡医端末入力部２及び内視鏡画像取得部３と、を備えている。

【0012】

撮像装置４は、内視鏡画像を取得する内視鏡である。

【0013】

内視鏡画像取得部３は、内視鏡医端末１と、撮像装置４と、に接続されている。
内視鏡画像取得部３は、撮像装置４で取得された内視鏡画像を内視鏡医端末１に引き渡す。

【0014】

内視鏡医端末１は、内視鏡医端末入力部２と、内視鏡画像取得部３と、に接続されている。
内視鏡医端末１は、内視鏡画像取得部３から引き渡された内視鏡画像から、内視鏡画像内の病変領域を抽出する。
内視鏡医端末１は、内視鏡画像を解析することにより、複数種類の病変領域に関する情報を取得する。内視鏡医端末１は、各病変領域に対応する病変の種類の重要度に応じて表示形態を制御する。

【0015】

（内視鏡画像診断支援システム）
第１実施形態の内視鏡画像診断支援システムＢを説明する。図２は、図１の内視鏡画像診断支援システムのシステム構成図である。

【0016】

図２に示すように、内視鏡医端末１は、制御部５と、表示部６と、記憶部７と、画像解析部８と、を備える。

【0017】

記憶部７には、制御部５の制御プログラム及び内視鏡画像診断支援アプリケーションが記憶されている。
記憶部７は、例えば、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0018】

制御部５には、内視鏡医端末入力部２、内視鏡画像取得部３、表示部６、記憶部７、及び、画像解析部８が接続されている。
制御部５は、図８～図１２に示す内視鏡画像診断処理を実行する。
制御部５は、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、又は、これらの組み合わせである。

【0019】

表示部６は、制御部５によって生成された画像を表示する。表示部６は、例えば、液晶ディスプレイである。なお、表示部６は、内視鏡医端末１の外部（例えば、撮像装置４）に配置されても良い。

【0020】

画像解析部８は、内視鏡画像取得部３から引き渡された内視鏡画像を解析する。

【0021】

以上の構成において、この内視鏡画像診断支援システムを導入した病院では、患者が健康診断のため来院して、内視鏡医（「ユーザー」の一例）は患者の消化管内の内視鏡画像診断を行う。

【0022】

（内視鏡画像診断処理）
本実施形態の内視鏡画像診断処理を説明する。図３は、本実施形態の内視鏡画像診断処理で表示される画面例の図である。図４は、本実施形態の内視鏡画像診断処理で表示される画面例の図である。図５は、本実施形態の内視鏡画像診断処理で表示される画面例の図である。図６は、本実施形態の内視鏡画像診断処理で表示される画面例の図である。図７は、本実施形態の内視鏡画像診断処理で表示される画面例の図である。図８は、本実施形態の内視鏡画像診断処理のフローチャートである。図９は、本実施形態の内視鏡画像診断処理のフローチャートである。図１０は、本実施形態の内視鏡画像診断処理のフローチャートである。図１１は、本実施形態の内視鏡画像診断処理のフローチャートである。図１２は、本実施形態の内視鏡画像診断処理のフローチャートである。

【0023】

内視鏡医が、撮像装置４を起動する旨の指示を発信すると（図９のS０）、撮像装置４は、内視鏡医端末１の内視鏡画像取得部３に画像を送信する（図９のS１）。
内視鏡医が、撮像終了の指示を受信したときに内視鏡医端末１の内視鏡画像取得部３への画像の送信を停止する（図１２のS２、S３）。

【0024】

内視鏡医が、内視鏡医端末１にアプリケーションを起動する旨の指示を発信する（図８のN０）と、内視鏡医端末１は、内視鏡画像診断支援アプリケーションを起動する。
具体的には、制御部５は、図３に示すように、表示部６に、抽出する病変種類情報と病変種類情報それぞれに紐付いた重要度情報入力欄１０と、最重要病変に対する第一閾値及び第二閾値の閾値情報入力欄１１と、各入力欄の説明欄１２と、確認ボタン１３と、を表示する（図８のN１～N２）。

【0025】

内視鏡医は、内視鏡医端末入力部２の操作によって、重要度情報入力欄１０、最重要病変に対する第一閾値及び第二閾値の閾値情報入力欄１１、及び、確認ボタン１３に対する操作を行うことができる。内視鏡医は、キーボード型の内視鏡医端末入力部２に対する操作によって入力してもよいし、表示部６がタッチパネルである場合には、表示部６に対するタッチ操作によって入力してもよい。

【0026】

例えば、内視鏡医が、図４に示すように、プルダウンボタン１４を操作すると、選択可能な病変の種類（例えば、病変名）の一覧が展開される。図４に示すように、内視鏡医が、スクロール指標１５を上下にスライドさせると、他の病変の種類が表示される。内視鏡医が任意の病変の種類をタッチすると、制御部５は、タッチされた病変の種類の選択を受け付ける。
病変の種類の選択は表示部６をタッチすることで行ってもよいし、例えば、内視鏡医端末入力部２をキーボードとした場合、キーボードを操作して文字列を入力することで行ってもよい。

【0027】

設定画面９には、図３の重要度情報入力欄１０に示すように、内視鏡医端末入力部２の操作によって入力された病変の種類を示す文字列と、病変の重要度と、が表示されている。具体的には、胃ガンが重要度１位（すなわち、最重要病変）であることを表示し、胃炎が重要度２位であることを表示されている。未選択の入力欄には、病変の種類が未選択であることと、重要度が未決定であることとが、表示されている。

【0028】

閾値情報入力欄１１には、第一閾値が１０％であることが表示され、第二閾値が１％であることが表示されている。

【0029】

説明欄１２には、病変領域内の最重要病変（図３の例では、胃ガン）の病変領域面積比が第一閾値未満のとき、注意を要する画像（以下「要注意病変画像」という）として判定及び自動保存し、病変領域内の最重要病変の病変領域面積比が第二閾値未満のときに重要度２位（図３の例では、胃炎）と判定し、要注意病変画像と比較して注意を要しない画像（以下「注意不要画像」という）を保存する旨のメッセージが表示されている。

【0030】

このような表示がなされている表示部６において、内視鏡医端末入力部２からの操作（例えば、キーボード操作）あるいは表示部６をタッチすることによって、確認ボタン１３が選択される。確認ボタン１３が選択されると、入力された病変の種類と、各病変の種類に関連付けられた重要度及び閾値情報と、が内視鏡医端末１に入力される。

【0031】

制御部５は、すべての病変の種類と、各病変の種類に関連付けられた重要度及び閾値情報が入力されたことを確認し（図８のN３）、未入力の情報が確認されなかった場合、すべての病変の種類と、各病変の種類に関連付けられた重要度及び閾値情報を記憶部７に記憶する（図８のN４）。
一方、未入力の情報が確認された場合、入力画面に戻る（図８のN１）。

【0032】

内視鏡医端末１は、画像解析用モデルを記憶部７から読み込み、撮像装置４から内視鏡画像取得部３に送信される内視鏡画像の解析の準備をする（図８のN５）。

【0033】

内視鏡画像取得部３が内視鏡画像を受信すると（図９のN６）、画像解析部８は、内視鏡画像に対して、画像解析用モデルを用いた画像解析を行うことにより、複数種類の病変領域の解析結果を出力する（図９のN７）。
一方、内視鏡画像が受信されなかった場合は、内視鏡医端末１は、画像の受信を待機し続ける（図９のN６）。

【0034】

画像解析用モデルは、内視鏡画像の各画素に対して、複数種類の病変のリスク評価値（％）を算出するための分類器である。画像解析部８は、画像解析用モデルを用いて、内部パラメータが学習によって複数種類の病変（例えば、胃ガン、胃炎、腸上皮化生）のリスク評価値を画素単位で算出する（図９のN７）。
制御部５は、１種類以上の病変のリスク評価値が所定の評価閾値（一例として、５０％以上）を超えた場合、病変が検出されたとみなして、病変領域抽出画像の生成を開始する（図９のN８）。
一方、病変リスク評価値が評価閾値未満だった場合、表示部６に重畳させた表示を非表示にする（図９のN8a）。

【0035】

具体的には、制御部５は、検出したそれぞれの病変の種類に対応した色で塗られた病変領域抽出画像を生成する。例えば、胃ガンのリスク評価値が評価閾値以上の画素は灰色で塗られ、胃炎のリスク評価値が評価閾値以上の画素は白色で塗られ、いずれの種類の病変のリスク評価値も評価閾値未満である画素は黒く塗られる。
制御部５は、生成した病変領域抽出画像の白色（ここでは、胃炎）と灰色（ここでは、胃ガン）の領域を、例えば図５に示すように、内視鏡画像に胃炎領域１６と胃癌領域１７を重畳して、検出した複数種類の病変領域をそれぞれ異なる色で表示部６に表示する（図９のN９）。

【0036】

制御部５は、生成した病変領域から、検出した複数種類の病変領域の面積をそれぞれ算出する（図１０のN１０）。具体的には、制御部は、病変領域抽出画像内の白色の画素数を数えることで、胃ガンの病変領域の面積を算出し、病変領域抽出画像内の灰色の画素数を数えることで、胃炎の病変領域の面積を算出する。これにより、胃炎と胃ガンそれぞれの病変領域の面積が算出される。

【0037】

制御部５は、検出した複数種類の病変領域の面積を足し合わせることにより、病変領域総面積を算出する（図１０のN１１）。

【0038】

制御部５は、全病変領域に対する、重要度１位の病変領域（ここでは、胃ガンの病変領域の面積）の病変領域面積比R（％）を算出する（図１０のN１２）。制御部５は、病変領域面積比Rと第一閾値および第二閾値の値を比較して、表示部６に表示した内視鏡画像の表示態様と、表示するメッセージの内容を制御する。

【0039】

制御部５は、病変領域面積比Rが第一閾値以上だった場合（図１１のN１３）、図５の１８に示すように、重要度１位の病変である「胃ガンを検出しました」というリスク評価結果１８を表示する（図１１のN１４）。その後、制御部５は、例えば病変領域面積比Rが９５％だった場合、図５の１８に示すように、「胃ガン面積：９５％」というメッセージと、病変領域総面積に対する胃炎の病変領域の面積をもとに胃炎の病変領域面積比（％）を算出して「胃炎面積：５％」と表示する（図１１のN１５）。
このとき、図５に示すように、内視鏡画像に重畳させた表示（例えば、胃炎領域１６を白色、胃癌領域１７を灰色で重畳した表示）の表示態様に変更はない。

【0040】

制御部５は、病変領域面積比Rが第一閾値未満かつ第二閾値以上だった場合、図６の２２に示すように、重要度１位の病変である「胃ガンを検出しました」というリスク評価結果２２を表示部６に表示する（図１１のN１７）。その後、制御部５は、例えば病変領域面積比Rが５％だった場合、図６の２２に示すように、「胃ガン面積：５％」というメッセージと、病変領域総面積に対する胃炎の病変領域の面積をもとに胃炎の病変領域面積比（％）を算出して「胃炎面積：９５％」と表示する（図１１のN１８）。

【0041】

このとき、図６に示すように、表示した内視鏡画像に胃炎領域１９を白色、胃癌領域２０を灰色で重畳した内視鏡画像が表示部６に表示されているが、重要度１位の領域（ここでは、胃ガン）が全病変領域に対して小さいため見落とす可能性がある。そこで、図６に示すように、制御部５は、重要度１位の病変領域の中心座標を中心とした矩形２１を、追加で内視鏡画像に重畳表示する（図１１のN１９）。
また、見落としやすい病変が見つかったことを内視鏡医に報知するため、図６に示すように、制御部５は、矩形２１を追加で重畳表示させた内視鏡画像の領域を要注意画像表示欄２３に表示させ、且つ、「胃がんを見落としていないか注意してください。下記要注意画像を保存します。」という注意メッセージを表示する（図１１のN２０）。
その後、制御部５は、要注意画像を記憶部７に保存する（図１１の２１）。

【0042】

制御部５は、病変領域面積比Rが第二閾値未満であった場合、図７に示すように、重要度２位の病変である「胃炎を検出しました」というリスク評価結果２６を表示する（図１１の２２）。その後、制御部５は、例えば病変領域面積比Rが０．５％だった場合、病変領域総面積に対する胃炎の病変領域の面積を元に胃炎の病変領域面積比（％）を９９．５％と算出する。制御部５は、図７に示すように、「胃ガン面積：０．５％」というメッセージと、「胃炎面積：９９．５％」とを表示する（図１１の２３）。
このとき、図７に示すように、内視鏡画像に重畳させた表示（例えば、胃炎領域２４を白色、胃癌領域２５を灰色で重畳した表示）の表示態様に変更はない。ただし、胃ガンの病変領域面積比は小さくリスクは低いと考えられるが、０ではないため診断後に画像の重要度を容易に特定可能なように、画像の重要度（例えば、病変領域面積比R）をファイル名に含む注意不要画像を記憶部７に保存する（図１１のN２４）。

【0043】

その後、撮像装置４からの終了指示を待機し、終了指示がなかった場合は画像受信を待機するステップ（図９のN６）に戻る（図１２のN２５）。
一方、撮像装置４からの終了指示を受信した場合、内視鏡医端末１は撮像を終了する。（図１２のN２５）

【0044】

以上のように本実施形態においては、内視鏡医は内視鏡画像診断を行うにあたって、内視鏡医端末１で内視鏡画像が受信される。これにより、内視鏡医は内視鏡医端末１に表示された、重要度が高い病変領域を認識しやすい病変領域抽出情報を取得することができる。

【0045】

このため、内視鏡医としては、内視鏡画像診断時に重要度の高い病変の見落としおよび誤診に対するリスクおよび不安感を軽減することができる。

【0046】

以上のように、本発明は、内視鏡画像から得られた複数の種類の病変領域抽出情報から、重要度の高い病変領域抽出情報を見落とさないように、高精度に提供されることとなる。

【0047】

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

【符号の説明】

【0048】

１ ：内視鏡医端末
２ ：内視鏡医端末入力部
３ ：内視鏡画像取得部
４ ：撮像装置
５ ：制御部
６ ：表示部
７ ：記憶部
８ ：画像解析部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】