▶ 独立行政法人産業技術総合研究所の特許一覧 ▶ 国立大学法人 筑波大学の特許一覧
&c=P_B1&t=651591730)
&c=P_B1&t=651591730)
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-20
(45)【発行日】2023-11-29
(54)【発明の名称】内視鏡診断支援方法及び内視鏡診断支援システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20231121BHJP
【ＦＩ】
A61B1/045 618
A61B1/045 614
A61B1/045 619
【請求項の数】
15
(21)【出願番号】P 2022568297
(86)(22)【出願日】2021-12-07
(86)【国際出願番号】 JP2021045003
(87)【国際公開番号】W WO2022124315
(87)【国際公開日】2022-06-16
【審査請求日】2023-06-19
(31)【優先権主張番号】P 2020203765
(32)【優先日】2020-12-08
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(73)【特許権者】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】110004059
【氏名又は名称】弁理士法人西浦特許事務所
(72)【発明者】
【氏名】野里 博和
(72)【発明者】
【氏名】河内 祐太
(72)【発明者】
【氏名】坂無 英徳
(72)【発明者】
【氏名】村川 正宏
(72)【発明者】
【氏名】池田 篤史
【審査官】亀澤 智博
(56)【参考文献】
【文献】特開２０１８－０５０８９０（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９１４６８８４（ＣＮ，Ａ）
【文献】特開２０１７－２０５３４３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
Ｇ０２Ｂ ２３／２４ －２３／２６
Ｇ０６Ｔ １／００ ， ７／００
Ｇ１６Ｈ ３０／００ －３０／４０
(57)【特許請求の範囲】
【請求項1】
被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、前記撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、前記臓器の病変の有無をコンピュータを用いて診断する際の支援を、コンピュータを用いて行う内視鏡診断支援方法であって、前記コンピュータは、
前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップと、
フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップと、
前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップと、
前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップと、
少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップと、
前記複数のフレームについて、前記第２のステップ乃至前記第５のステップの実施と並行しながらまたは前記第２のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレーム中の前記内視鏡画像に基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施することを特徴とする内視鏡診断支援方法。
【請求項2】
前記後フレームの位置データには、前記キーフレーム位置データに対する相対的な位置情報とフレーム番号が含まれている請求項１に記載の内視鏡診断支援方法。
【請求項3】
前記観察キャンパスは、前記臓器の前記空洞の複数の開口部及び頂部の位置を一般的に特定し中央部に１つの前記開口部を配置した模擬展開観察キャンパスであり、前記第５のステップでは、前記次のキーフレーム位置データが定まるまで前記複数の後フレームの位置データとして複数の暫定の位置データを用い、前記次のキーフレーム位置データが定まると前記最初のキーフレーム位置データと前記次のキーフレーム位置データとの間に前記複数の後フレームの前記複数の暫定の位置データが収まるようにして、前記複数の後フレームの前記確定した位置データのマーキングを行うことを特徴とする請求項１または２に記載の内視鏡診断支援方法。
【請求項4】
前記相対的な位置情報は、前記模擬展開観察キャンパス上に想定した同寸法及び同形状の複数のセグメントを整列して形成したマトリックスにおける前記１つの解剖学的構造が位置するセグメントの座標位置を基準点として定めた座標位置データと種類を示す記号を付したものである請求項２に記載の内視鏡診断支援方法。
【請求項5】
前記第２のステップと前記第３のステップは、自己位置推定技術を用いて実現される請求項１に記載の内視鏡診断支援方法。
【請求項6】
前記第６のステップでは、アノテーション情報付きの画像データを含む内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて診断支援を行う第１の支援方法と、
前記内視鏡画像データベースに記録されているデータを学習データとして学習がなされた前記学習済み画像診断モデルを用いて、前記内視鏡画像内の病変の可能性が高い領域を検出し、前記病変の可能性が高い領域が病変かどうかの診断をすることにより診断支援を行う第２の支援方法の少なくとも一つを実行する請求項１に記載の内視鏡診断支援方法。
【請求項7】
前記内視鏡画像データベースは、アノテーション情報をアノテーション拡張モデルを用いて拡張した拡張アノテーション情報をさらに含んでいる請求項６に記載の内視鏡診断支援方法。
【請求項8】
前記アノテーション拡張モデルは、エンコーダとデコーダで構成されるオートエンコーダベースのアノテーション拡張モデルであり、前記アノテーション拡張モデルは、
前記画像診断モデルを特徴抽出器として用いて前記内視鏡画像データベースに記録されている病変内視鏡画像を入力として前記画像診断モデルの中間層から抽出した特徴量と、前記病変内視鏡画像に対応する前記アノテーション情報のセットを前記エンコーダに入力し、
前記エンコーダから出力される潜在変数と前記特徴量を前記デコーダに逆演算することにより前記拡張アノテーション情報を推定するように学習したものであることを特徴とする請求項７に記載の内視鏡診断支援方法。
【請求項9】
前記エンコーダに入力する前記アノテーション情報と前記拡張アノテーション情報の交差エントロピーが小さくなるように学習する請求項８に記載の内視鏡診断支援方法。
【請求項10】
前記アノテーション拡張モデルは、前記拡張アノテーション情報をランダムに拡張する請求項８に記載の内視鏡診断支援方法。
【請求項11】
前記内視鏡画像データベースは、前記内視鏡画像データベースに記録されている前記病変内視鏡画像のデータをデータ拡張技術を用いて拡張して得た拡張データと拡張アノテーション情報の拡張データセットをさらに含んでいる請求項７に記載の内視鏡診断支援方法。
【請求項12】
前記第２の支援方法で用いる前記学習済み画像診断モデルは、前記内視鏡画像からすべての画素における画像特徴量を抽出し、且つ前記内視鏡画像から前記病変の高い領域を特定し、
前記病変の可能性が高い領域にある複数の前記画素の前記画像特徴量を用いて前記病変の可能性が高い領域の病変候補特徴量を求め、
前記病変候補特徴量から前記病変の可能性が高い領域を正常と病変に分類するように構成されている請求項１１に記載の内視鏡診断支援方法。
【請求項13】
前記学習済み画像診断モデルは、前記画像特徴量と内視鏡画像から病変確度マップを作製する病変領域検出画像診断モデルと、
前記病変確度マップを二値化処理して病変候補マスクを作成する二値化処理部と、
前記画像特徴量と前記病変候補マスクに基づいて前記病変の可能性が高い領域に限定して領域限定特徴量を求める領域限定特徴量演算部と、
前記領域限定特徴量を平均化して前記病変の可能性が高い領域の病変候補特徴量を演算する病変候補特徴量演算部と、
前記病変候補特徴量に基づいて前記病変の可能性が高い領域を正常と病変に分類する病変分類画像診断モデルとを備えて構成されている請求項１２に記載の内視鏡診断支援方法。
【請求項14】
前記観察キャンパスを模した図上に、複数の観察済み領域を表示する観察位置表示と、前記観察キャンパスを模した図上に、病変が存在する前記観察済みの領域を表示する病変位置表示と、
前記病変が存在する前記観察済みの領域の病変の悪性度及び種類を表示する診断結果表示と、
前記被験者のカルテ情報の表示の少なくとも一つを表示装置の表示画面に表示するステップを更に含んでいることを特徴とする請求項１に記載の内視鏡診断支援方法。
【請求項15】
請求項１の内視鏡診断支援方法を実施するための手段を有するコンピュータを備えた内視鏡診断支援システムであって、前記コンピュータは、
前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップを実施する第１の手段と、
フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップを実施する第２の手段と、
前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップを実施する第３の手段と、
前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップを実施する第４の手段と、
少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップを実施する第５の手段と、
前記複数のフレームについて、前記第２のステップ乃至前記第５のステップの実施と並行しながら前記第３のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレーム中の前記内視鏡画像に基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施する第６の手段を備えて構成されていることを特徴とする内視鏡診断支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、膀胱等の空洞を有する臓器を対象とした内視鏡診断支援方法及び内視鏡診断支援システムに関するものである。
【背景技術】
【0002】
例えば、膀胱がんは、TUBRT手術後の２年後再発率は５０％と言われている。これは小さな病変や隆起性病変の周囲に付随する平坦病変が取り切れていないためである。検査時に、観察すべき膀胱を観察できていない「見落とし」と、観察しているが病変と認識できていない「見逃し」が起きていることが大きな原因となっている。そして検査の精度は、検査者の技量や経験に依存しているのが実情である。再発率を減少させるためには、膀胱鏡検査における病変の検出精度を高めることが重要で、デジタル化技術によるサポートにより技量や経験を補い、診断精度を向上させることが必要になっている。
【0003】
そこで従来、内視鏡検査の状況を記録する技術としては、特許第５７７１７５７号公報（特許文献１）に開示される臓器のモデル画像上に内視鏡先端部に取り付けられたセンサで取得した位置と方向の情報に基づいて内視鏡画像を張り付けて記録するシステムや、特許第６７０４０９５号公報（特許文献２）に開示される内視鏡画像から導出した距離情報や体内部位の画像に基づき３次元テクスチャマッピングにより生成されたマップデータと過去のマップデータとの劣化量から対象部位の将来状態を推定するプログラムや、特表２０１７－５３４３２２号公報（特許文献３）に開示される内視鏡画像をつなぎ合わせて対象臓器の内腔のパノラママップを生成する方法が知られている。画像診断を人工知能により支援する技術としては、特開２０１９－１８０９６６号公報（特許文献４）に開示される内視鏡画像に基づいて所定の病変を検出・追尾する内視鏡観察支援装置や、特開２０２０－７３０８１号公報（特許文献５）に開示される、消化器内視鏡画像内に存在する病変の名称と位置及び確度の情報を複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変を教師データとして学習した畳み込みニューラルネットワークによって推定し、その推定結果を内視鏡画像上に表示させる画像診断支援装置が知られている。さらに非特許文献１には、移動体のカメラやセンサの情報から地図を作成し、自身がその地図のどこにいるかを推定するために用いる自己位置推定技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第５７７１７５７号公報
【文献】特許第６７０４０９５号公報
【文献】特表２０１７－５３４３２２号公報
【文献】特開２０１９－１８０９６６号公報
【文献】特開２０２０－７３０８１号公報
【非特許文献】
【0005】
【文献】Sumikura, S., Shibuya, M., & Sakurada, K.: OpenVSLAM: A Versatile Visual SLAM Framework. Proceedings of the 27th ACM International Conference on Multimedia: 2292-2295, 2019.
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の内視鏡検査では、術者である医師が内視鏡を操作しながら、対象臓器内を直接的な観察による診断により病変の判断を行い、疑わしい箇所の内視鏡画像を撮影して、検査レポートとして記録している。この検査レポートを元に手術や治療などが行われるのだが、対象臓器内をくまなく観察し、撮影した画像がどこで撮影されたのかが正しく記録されていることが前提となっている。しかし、現状の内視鏡システムでは、対象臓器の観察すべき部位のすべてを観察できているかどうか、撮影した画像はどこで撮影したのかは、医師の検査時の記憶やメモなどを頼りにレポートに記録されており、医師の技量や経験に依存してその精度はばらついている。また人工知能は、一般的に学習データの質と量に依存して、その診断精度が向上するが、質の良い医用画像の学習データを収集するコストは膨大である。医用画像の質とは、画質が良い事と共に、医師による正確なアノテーション情報がセットになっていることである。そのため、膨大な画像収集と共に、画像１枚１枚に正確なアノテーション情報を付加することが必要不可欠となる。しかし、医用画像には、日本国内において健康診断などの対象になっている消化器内視鏡やレントゲンなど比較的検査数の多い検査のほか、例えば、膀胱内視鏡検査のように、検査数患者数共に消化器内視鏡検査と比較して桁違いに少なく、画像を収集することが困難な検査がある。そのため、たとえ、学習用に大量の医用画像とアノテーション情報を揃えることで、画像内の病変の有無を高精度で判別可能な診断支援人工知能ができたとしても、膀胱内視鏡などの学習データの収集が難しい臓器の検査にはこの人工知能技術を適用することはできない。また、適用できたとしても、取得した画像が臓器内のどこで撮影されたか、臓器内すべてを撮影したのかを正しく記録に残すことができなければ、患者のすべての病変を検査において明らかにし、その検査結果を手術時の情報として正しく伝達することができない。実際の内視鏡検査において高精度の人工知能による診断支援を実現するためには、観察したことを正しく記録すると共に、人工知能の学習に必要な十分な量の学習データが集まらない場合でも高精度の人工知能を実現することの２つを解決しなければならない。
【0007】
本発明の目的は、検査をした領域と検査をしていない領域を明確に判断することができる内視鏡診断支援方法及びシステムを提供することにある。
【0008】
本発明の他の目的は、上記目的に加えて、学習データが少なくても、学習データを新たに増やすことなく診断精度を高めることができる内視鏡診断支援方法及びシステムを提供することにある。
【課題を解決するための手段】
【0009】
本発明は、被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、臓器の病変の有無をコンピュータを用いて診断する際の支援を行う内視鏡診断支援方法を対象とする。本発明においては、コンピュータが、インストールされたコンピュータ・プログラムによって以下の第１のステップ乃至第６のステップを実行する。
【0010】
第１のステップでは、臓器の空洞の内視鏡画像のための観察キャンパスについての観察キャンパスデータを準備する。観察キャンパスとしては、臓器の空洞の１以上の開口部及び頂部（解剖学的構造）の位置を一般的に特定し中央部に一つの開口部を配置した模擬展開観察キャンパスを用いることができる。観察キャンパスデータは、観察キャンパスを電子データ化したものである。
【0011】
第２のステップでは、フレーム中に臓器の空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ観察キャンパスデータに対してキーフレームのキーフレーム位置データをマーキングする。ここでキーフレームとは、空洞内の相対的な位置を決定する場合の基準点となる１以上の組織（膀胱であれば、二つの尿管口、尿道口、または気泡が溜まる頂部）である。キーフレーム位置データは、観察キャンパス上で基準点となる１以上の組織の位置に関するデータである。具体的には、観察キャンパスが模擬展開観察キャンパスであれば、この模擬展開観察キャンパス上に位置座標で定まる１以上の組織の位置に関するデータである。キーフレームのキーフレーム位置データのマーキングとは、位置の情報とフレーム番号を観察キャンパスデータと紐付けして記憶することを意味する。
【0012】
第３のステップでは、キーフレームを最初の前フレームとして、複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの内視鏡画像中の座標を算出する。ここでキーポイントの内視鏡画像中の座標の算出は、非特許文献１に開示されているような公知の自己位置推定技術内で用いられている画像特徴点を用いて行う。
【0013】
第４のステップでは、３つ以上のキーポイントの内視鏡画像中の座標に基づいて、前フレームと後フレームとの間の変位量を算出する。ここで変位量には、前フレーム中の３つ以上のキーポイントが移動する方向と角度、前フレームと後フレーム中の３つ以上のキーポイント間の距離が含まれる。
【0014】
第５のステップでは、少なくとも変位量並びに第２のステップで最初にマーキングされた最初のキーフレーム位置データと第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、観察キャンパスデータに対して複数の後フレームの確定した位置データをマーキングする。このステップでは、複数の後フレームの位置データを次のキーフレーム位置データが定まるまで複数の後フレームの暫定の位置データを用い、次のキーフレーム位置データが定まると最初のキーフレーム位置データと次のキーフレーム位置データとの間に複数の後フレームの暫定の位置データが収まるように、後フレームの確定した位置データのマーキングを行う。ここで確定した位置データとは、観察キャンパスの中心を原点とする絶対的な位置情報とフレーム番号である。これは最初のキーフレーム位置データと次のキーフレーム位置データとが定まることにより、二つのキーフレーム位置間にある複数の後フレームの相対的な間隔が定まることになるからである。後フレームの暫定の位置データには、最初のキーフレーム位置データに対する相対的な位置情報とフレーム番号が含まれている。例えば、相対的な位置情報は、模擬展開観察キャンパス上に想定した同寸法及び同形状の複数のセグメントを整列して形成したマトリックスにおけるキーフレームとなる１つの解剖学的構造が位置するセグメントの座標位置を基準点として定めた座標位置データとその種類を示す記号を付したものとすることができる。このようなマトリックスを用いると、相対的な位置情報を展開図上に連続的に図示することが容易であるため、観察画像をつなぎ合わせたり、３次元上にマッピングしたりするなどの複雑な処理を行うことなく、臓器中のどこを観察したのかどうかを記録することが容易にできるという利点が得られる。そして対象臓器内の内壁の観察キャンパスデータに対して確定した位置データのマーキングを施せば、検査をした領域と検査をしていない領域を明確に判断することができるので、対象臓器内をくまなく観察することが可能となり、しかも撮影した画像がどこで撮影されたのかを正しく記録することができる。
【0015】
第６のステップでは、複数のフレームについて、第２のステップ乃至第５のステップの実施と並行しながらまたは第２のステップ乃至前記第５のステップを実施した後に、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器内の病変の有無を画像診断する際の支援をする。
【0016】
例えば、第６のステップは、以下の学習済み画像診断モデルの少なくとも１つを用いて実現できる。具体的には、第６のステップでは、内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて実行できる。内視鏡画像データベースが、アノテーション情報付きの画像データを含む内視鏡画像データベースであれば、内視鏡画像データベースに、アノテーション情報をアノテーション拡張モデルを用いて拡張した拡張アノテーション情報を含めると、学習データが少なくても、学習データを新たに増やすことなく診断精度を高めることができる。
【0017】
アノテーション拡張モデルとしては、エンコーダとデコーダで構成されるオートエンコーダベースのアノテーション拡張モデルを用いるのが好ましい。アノテーション拡張モデルは、画像診断モデルを特徴抽出器として用いて内視鏡画像データベースに記録されている病変内視鏡画像を入力として画像診断モデルの中間層から抽出した特徴量と、病変内視鏡画像に対応するアノテーション情報のセットをエンコーダに入力し、エンコーダから出力される潜在変数と特徴量をデコーダで逆演算することにより拡張アノテーション情報を推定するように学習したものである。このようなアノテーション拡張モデルを用いれば、新たにアノテーション情報を増やすことなく、学習データが少なくても元の内視鏡画像データベース内の内視鏡画像から有用な拡張アノテーション情報を新たに得ることができる。
【0018】
アノテーション拡張モデルを作成する際には、エンコーダに入力するアノテーション情報と拡張アノテーション情報の交差エントロピーが小さくなるように学習するのが好ましい。このようにすると元の内視鏡画像データベースのアノテーション情報をなるべく再現するような曖昧なアノテーション基準を学習することができ、生成される拡張アノテーション情報にも病変と正常の境界の曖昧さを再現することができるという利点が得られる。
【0019】
アノテーション拡張モデルは、拡張アノテーション情報をランダムに拡張するのが好ましい。ランダムに拡張するとは、得られた拡張アノテーション情報をすべて採用するのではなく、得られた拡張アノテーション情報からランダムに選択した拡張アノテーション情報を採用いることを意味する。このようにすると必要以上に拡張アノテーション情報を増やすことなくしかも偏りのない拡張アノテーション情報を得ることができる。
【0020】
内視鏡画像データベースは、内視鏡画像データベースに記録されている病変内視鏡画像のデータをデータ拡張技術を用いて拡張して得た拡張データと拡張アノテーション情報の拡張データセットをさらに含んでいる。拡張データセットを内視鏡画像データベースに含めれば、学習データを新たに増やすことなく少ないデータで学習精度をさらに高めることができる。
【0021】
第６のステップでは、内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて、内視鏡画像内の病変の可能性が高い領域を検出し、病変の可能性が高い領域が病変かどうかの診断をすることにより診断を支援するようにしてもよい。内視鏡画像中には正常であると思われる部分と病変ではないかと思われる部分の両方が含まれる。そこで病変の可能性が高い領域を評価する対象として、正常か病変かの診断をすれば、全体を評価するより診断精度を高めることができる。
【0022】
この場合に用いる学習済み画像診断モデルは、内視鏡画像からすべての画素における画像特徴量を抽出し、且つ内視鏡画像から病変の高い領域を特定し、病変の可能性が高い領域にある複数の画素の画像特徴量を用いて病変の可能性が高い領域の病変特徴量を求め、病変特徴量から病変の可能性が高い領域を正常と病変に分類するように構成されているものを用いるのが好ましい。学習済み病変領域検出画像診断モデルと、病変確度マップを二値化処理して病変候補マスクを作成する二値化処理部と、画像特徴量と病変候補マスクに基づいて病変の可能性が高い領域に限定して領域限定特徴量を求める領域限定特徴量演算部と、領域限定特徴量を平均化して病変の可能性が高い領域の病変候補特徴量を演算する病変候補特徴量演算部と、病変候補特徴量に基づいて病変の可能性が高い領域を正常と病変に分類する病変分類画像診断モデルとを備えて構成されているのが好ましい。このような学習済み画像診断モデルを用いると、病変の可能性の高い領域の判定精度を高めることができる。なおこの場合の画像特徴量は、病変領域検出画像診断モデルの中間層から得たものであるのが好ましい。
【0023】
また観察キャンパスを模した図上に、複数の観察済み領域を表示する観察位置表示と、観察キャンパスを模した図上に、病変が存在する観察済みの領域を表示する病変位置表示と、病変が存在する観察済みの領域の病変の悪性度及び種類を表示する診断結果表示と、被験者のカルテ情報の表示の少なくとも一つを表示装置の表示画面に表示するようにしてもよい。このようにすると観察結果と診断結果を表示画面で確認することができる。
【0024】
なお本発明は、内視鏡診断支援システムのカテゴリとしても把握することができる。
【図面の簡単な説明】
【0025】
【図1】本発明の内視鏡診断支援方法を、コンピュータを用いて実施する場合の概略を示すフローチャートを表す図である。
【図2】観察記録ステップのアルゴリズムを示すフローチャートを表す図である。
【図3】膀胱を観察対象とする場合の観察キャンパスの一例を表す図である。
【図4】マトリックス状の観察キャンパスデータを表す図である。
【図5】観察キャンパスデータ上に最初のキーフレーム位置データの暫定的なマーキングを表す図である。
【図6】（Ａ）乃至（Ｄ）は、キーフレームとなる膀胱内の解剖学的構造が映る内視鏡画像を表す図である。
【図7】（Ａ）及び（Ｂ）は、前フレームと後フレームから算出されたキーポイントの例をそれぞれ表す図である。
【図8】（Ａ）乃至（Ｃ）は、複数の後フレームの位置データの暫定的なマーキングの例を説明するために用いる図である。
【図9】（Ａ）乃至（Ｃ）は、次のキーフレーム位置データが定まった際のこの間の複数の後フレームの相対的な間隔が定まったことを説明するために用いるである。
【図10(A)】観察キャンパスデータの一例を表す図である。
【図10(B)】観察キャンパスデータと対応する観察キャンパスのマーキング状態を表す図である。
【図11】画像診断支援システムの基本構成を表す図である。
【図12】アノテーション拡張による画像診断支援システムの構成を表す図である。
【図13】アノテーション情報拡張モデルの学習のフローチャートを表す図である。
【図14】（Ａ）及び（Ｂ）は、膀胱内視鏡画像と対応するアノテーション情報及び拡張したアノテーション情報を表す図である。
【図15】アノテーション拡張の適用前と適用後の診断精度を比較した図である
【図16】病変領域を限定した画像診断モデルで病変分類画像診断モデルを作成する場合のフローチャートを表す図である。
【図17】（Ａ）及び（Ｂ）は、病変領域限定の画像診断モデルで病変分類画像診断モデルを用いる前と用いた後の病変分類の結果を表す図である。
【図18】観察結果と診断結果を表示した表示画面の一例を表す図である。
【図19】観察結果と診断結果を表示した表示画面の他の例を表す図である。
【図20】出力レポートの一例を示す図である。
【発明を実施するための形態】
【0026】
以下図面を参照して、本発明の内視鏡診断支援方法及び内視鏡診断支援システムの実施の形態について説明する。本発明の内視鏡診断支援方法及びシステムは、被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、臓器の病変の有無をコンピュータを用いて診断する際の支援を行う。図１は、本発明の内視鏡診断支援方法をコンピュータを用いて実現する場合に実施される複数のステップの概略を示すフローチャートである。図１に示すように、既存の内視鏡システムＥＳから得られた内視鏡画像ＥＩは、観察記録ステップＯＲＳと画像診断支援ステップＩＤＳで処理される。観察記録ステップＯＲＳでは、内視鏡画像ＥＩから観察記録を得て観察記録情報ＯＲＩとしてコンピュータの記憶手段に記憶する。また画像診断支援ステップＩＤＳでは、内視鏡画像ＥＩから臓器の病変の有無を診断する際の支援情報を画像診断結果ＩＤＲとしてコンピュータの記憶手段に記憶する。コンピュータによって実現される診断支援情報表示ステップ部ＳＩＤでは、観察記録情報ＯＲＩと画像診断結果ＩＤＲの少なくとも一方を含む診断レポートを表示装置の画面またはカルテ等に出力する。出力の形態は任意である。例えば、画面上に画像診断結果ＩＤＲを表示する動画で出力するようにしてもよい。
【0027】
［観察記録ステップ］
図２は、本発明の内視鏡診断支援方法の実施の形態中の観察記録ステップＯＲＳにおける具体的な処理フローを示している。本実施の形態における、内視鏡診断支援方法における観察記録ステップＯＲＳでは、観察キャンパスの準備ステップ（第１のステップ）Ｓ１を事前に実施した上で、フレームマーキングステップ（第２のステップ）Ｓ２、キーポイント算出ステップ（第３のステップ）Ｓ３、前後フレーム変位量算出ステップ（第４のステップ）Ｓ４、前後フレームマーキングステップ（第５のステップ）Ｓ５を実施することにより、観察記録を行う。本発明の内視鏡診断支援システムの実施の形態では、これらのステップを実施するためのコンピュータ・プログラムをコンピュータにインストールして、コンピュータの内部に各ステップを実施するための複数の手段を実現する。また内視鏡診断支援システム用コンピュータ・プログラムは、これらのステップを実施するアルゴリズムを含んで構成される。
図２は、本発明の内視鏡診断支援方法の実施の形態中の観察記録ステップＯＲＳにおける具体的な処理フローを示している。本実施の形態における、内視鏡診断支援方法における観察記録ステップＯＲＳでは、観察キャンパスの準備ステップ（第１のステップ）Ｓ１を事前に実施した上で、フレームマーキングステップ（第２のステップ）Ｓ２、キーポイント算出ステップ（第３のステップ）Ｓ３、前後フレーム変位量算出ステップ（第４のステップ）Ｓ４、前後フレームマーキングステップ（第５のステップ）Ｓ５を実施することにより、観察記録を行う。本発明の内視鏡診断支援システムの実施の形態では、これらのステップを実施するためのコンピュータ・プログラムをコンピュータにインストールして、コンピュータの内部に各ステップを実施するための複数の手段を実現する。また内視鏡診断支援システム用コンピュータ・プログラムは、これらのステップを実施するアルゴリズムを含んで構成される。
【0028】
観察キャンパスの準備ステップＳ１（第１のステップ）では、臓器の空洞の内視鏡画像のための観察キャンパスについての観察キャンパスデータを電子データとしてコンピュータのメモリ内に準備する。観察キャンパスデータは、観察キャンパスを電子データ化したものである。観察キャンパスとしては、臓器の空洞の複数の開口部及び頂部の位置を一般的に特定し中央部に一つの開口部を配置した模擬展開観察キャンパスＳＯＣを用いることができる。
【0029】
図３は、観察対象の臓器として膀胱を用いる場合の模擬展開観察キャンパスの一例を示している。膀胱内視鏡で観察する膀胱内壁に対応した仮想的な膀胱として、膀胱を球と仮定し、膀胱の前壁側（腹）と後壁側（背）の２つの半球をそれぞれ円として準備する。この観察キャンパスには、開口部としての左右の尿管口（例えば、上円の下から３／８且つ左右１／４の位置）、その間の尿管間靭帯、開口部としての尿道口（２つの円のつなぎ目の中心）、頂部（上円の最上部、下円の最下部）が描かれている。
【0030】
図４は、図３の模擬展開観察キャンパスＳＯＣを観察キャンパスデータとする場合の概念図である。図４の例では、模擬展開観察キャンパス上に想定した同寸法及び同形状の複数のセグメント（本例では正方形のセグメント）を整列して形成したマトリックスＭＸに位置データの存在と種類を示す記号を付したものを観察キャンパスデータとする。なお２つの半球を横に並べた模擬展開観察キャンパスを用いることもできる。さらに半球ではなく楕円を並べて模擬展開観察キャンパスとすることも可能である。図５に示すように、観察キャンパスデータのマトリックスＭＸのすべてのセグメントｓｇの領域には、初期値として未観察または位置データがないことを示すフラグ（０）が設定されている。なお各セグメントｓｇには、模擬展開観察キャンパスＳＯＣ中における尿道口を原点とする２次元配列の位置情報（座標）が個々に付されている。図５の例では、左尿管口を観察したが未確定であることを示すフラグ（１）が対応するセグメントに付されている。
【0031】
フレームマーキングステップ（第２のステップ）Ｓ２では、フレーム中に臓器の空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ観察キャンパスデータに対してキーフレームのキーフレーム位置データをマーキングする。ここでキーフレームとは、空洞内の相対的な位置を決定する場合の基準点となる１以上の解剖学的構造（膀胱であれば、二つの尿管口、尿道口、気泡が溜まる頂部）が写ったフレームである。ここで位置データとは、観察キャンパスデータにおける原点に対しての絶対的な位置情報又は基準点に対しての相対的な位置情報とフレーム番号のことである。
【0032】
図６（Ａ）乃至（Ｄ）は、左右の尿管口、尿道口、気泡が溜まる頂部を映したフレーム中の内視鏡画像の実例を示している。キーフレーム位置データは、観察キャンパス上で基準点となる１以上の解剖学的構造の位置に関するデータである。具体的には、観察キャンパスが模擬展開観察キャンパスであれば、この模擬展開観察キャンパス上に位置座標で定まる１以上の解剖学的構造の位置に関するデータである。キーフレームのキーフレーム位置データのマーキングとは、位置情報（セグメントｓｇの座標）と画像のフレーム番号を観察キャンパスデータと紐付けして記憶することを意味する。
【0033】
例えば、図６に示した膀胱内視鏡で撮影されるフレームの画像に左右どちらかの尿管口が映っているフレームをスタートキーフレームとして決定し、観察キャンパス上の該当する領域をスタートキーフレーム位置［図５のフラグ（１）が付されたセグメントｓｇの座標］としてマーキングする。ここでマーキングとは、図５に示すように、観察キャンパス上の該当領域（セグメント）のフラグを観察済み候補であることを示すフラグ（１）にするとともに、その位置情報をフレーム画像と紐づけることである。図５の例では、マーキングする領域の初期値［フラグ（１）］は、膀胱内視鏡観察時に必ず視野に入るサイズを目安として観察キャンパスの円の１／１０の大きさの円の中に入るセグメントに与えられている。
【0034】
キーポイント算出ステップ（第３のステップ）Ｓ３では、スタートキーフレームを最初の前フレームとして、複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの内視鏡画像中の座標を算出する。ここでキーポイントとは、連続する前後フレームに映っている臓器内壁上の同じ場所を示す画素のことである。キーポイントの内視鏡画像中の座標の算出は、自動運転やロボットビジョンで応用されているVisual SLAM（Simultaneous Localization and Mapping：地図構築・自己位置推定）に開示されているような公知の自己位置推定技術で用いられる画像特徴点を用いて行うことが可能である。フレーム内に映る多数の特徴的な部分を特徴点として認識し、その特徴点を共通の部分としてキーポイントの内視鏡画像中の座標を算出する。
【0035】
前後フレーム変位量算出ステップ（第４のステップ）Ｓ４では、３つ以上のキーポイントの内視鏡画像中の座標に基づいて、前フレームの３つ以上のキーポイントと後フレームの３つ以上のキーポイントとの間の変位量を算出する。ここで変位量には、前フレーム中の３つ以上のキーポイントが移動する方向と角度、前フレームと後フレーム中の３つ以上のキーポイント間の距離が含まれる。この変位量に従って、観察キャンパス上にマーキングされた前フレームの位置情報から算出した後フレームの相対的な位置情報を算出し、その位置情報とフレーム画像を紐づけ、後フレームを前フレームに連続する次の後フレームとしてマーキングする。次のキーフレームが検出されるまで、上記処理を繰り返しながら、観察キャンパスに観察済み候補フラグ（１）をマーキングしていく。
【0036】
図７（Ａ）及び（Ｂ）は、膀胱の内壁上について撮像した前フレームと後フレームの内視鏡画像を示している。この例では、前フレーム中の３点Ａ，Ｂ，Ｃが後フレームの３点Ａ´，Ｂ´，Ｃ´に対応する。ここで３点Ａ，Ｂ，Ｃの座標をＡ（ｘA，ｙA），Ｂ（ｘB，ｙB），Ｃ（ｘC，ｙC）とし、３点Ａ´，Ｂ´，Ｃ´の座標をＡ´（ｘA´，ｙA´），Ｂ´（ｘB´，ｙB´），Ｃ´（ｘC´，ｙC´）としたときに、前後フレームの移動距離と方向は、下記の重心Ｇの式（１）により求めた前フレーム中の３点Ａ，Ｂ，Ｃの重心Ｇと後フレーム中の３点Ａ´，Ｂ´，Ｃ´の重心Ｇ´の差分（Ｇ´－Ｇ）のベクトルとして求めることができる。
【0037】
【数1】
【0038】
【数2】
【0039】
【数3】
【0040】
そして図９（Ａ）乃至（Ｃ）に示すように、次のキーフレーム位置データ（頂部の位置データ）が定まると、最初のキーフレーム位置データ（左尿管口の位置データ）と次のキーフレーム位置データとの間に複数の暫定の（観察済み候補としての）後フレームの位置データが収まるように、複数の暫定の後フレームの相対位置を調整して後フレームの位置データのマーキングを確定する。このように最初のキーフレーム位置データと次のキーフレーム位置データとが定まることにより、二つのキーフレーム位置間にある複数の後フレームの相対的な位置が確定して、絶対的な位置が確定することになる。図９（Ｂ）及び（Ｃ）に示すように、相対的な位置を定めるために、最初のキーフレームから次のキーフレームまでの連続する複数のフレームのマーキング情報を、観察キャンパスのキーフレーム間に配置されるように補正し、観察キャンパスの絶対的な位置に対応するセグメントのフラグを観察済み候補（１）から観察済み（２）とする。本実施の形態では、観察が確定した各フレームの位置データには、観察した位置の複数のセグメントｓｇの絶対的な位置情報（座標）とフレーム番号が含まれている。本実施の形態では、絶対的な位置情報は、模擬展開観察キャンパス上に想定した同寸法及び同形状の複数のセグメントｓｇを整列して形成したマトリックスＭＸにおいて、尿道口を原点とする配列の行と列で定まる座標で表している。
【0041】
臓器の内壁に対して、内視鏡の位置を変えながら上記第２のステップ～第５のステップを繰り返すと、図１０（Ａ）に示すように、観察キャンパスデータの複数のセグメント中のフラグが、マーキングがないことを示すフラグ（０）とマーキングがあることを示すフラグ（２）のいずれかになる。その結果、図１０（Ｂ）に示すようにフラグ（０）の複数のセグメントの領域を黒とし、フラグ（２）の複数のセグメントの領域をグレー色にして観察キャンパスの領域を色分けして表示すると、内視鏡により観察していない領域（グレー色の領域）の有無と場所を明確に示すことができる。
【0042】
また後に説明する画像診断支援ステップ（第６のステップ）で、病変が含まれているフレームである可能性があることが診断されたフレームについては、前後フレームマーキングステップ（第５のステップ）Ｓ５で各フレームに対応するセグメントの絶対的な位置情報とフレーム番号を利用して、病変が含まれているフレームの撮影位置を特定することができる。これによって後の精密検査や手術を実施する場合に、病変の適格な位置を伝えることが可能になる。
【0043】
［画像診断支援ステップ（第６のステップ）］
図１の画像診断支援ステップＩＤＳ（第６のステップ）は、複数のフレームについて、第２のステップ乃至第５のステップの実施と並行して実施されて、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をする。しかしながら第２のステップ乃至前記第５のステップを実施した後に、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をするようにしてもよい。
図１の画像診断支援ステップＩＤＳ（第６のステップ）は、複数のフレームについて、第２のステップ乃至第５のステップの実施と並行して実施されて、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をする。しかしながら第２のステップ乃至前記第５のステップを実施した後に、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をするようにしてもよい。
【0044】
図１の画像診断支援ステップＩＤＳ（第６のステップ）では、以下のように学習済み画像診断モデルを用いて画像診断支援を実施する。学習済み画像診断モデルは、コンピュータ内に実現されて、データベースと共にいわゆる人工知能を構成する。
【0045】
［学習済み画像診断モデルを用いる画像診断支援システム］
図１１に示すように、画像診断支援ステップＩＤＳ（第６のステップ）は、内視鏡画像データベースＤＢに記録されているデータを学習データとして画像診断モデルＤＭが学習をして生成された学習済み画像診断モデルＴＤＭを用いた人工知能を有する画像診断支援システムにより実現できる。図１１の例では、内視鏡画像データベースＤＢには、正常の正常内視鏡画像データ及び病変を含む病変内視鏡画像データと、これらの画像内に病変があるかどうかを医師が示した情報を示すアノテーション情報データが記録されている。そしてこれらのデータを用いて画像診断モデルＤＭを学習して得た学習済み画像診断モデルＴＤＭを用いて、内視鏡画像ＥＩを観察するために、第６のステップ（支援システム）が実現される。一般的に画像診断モデルとしては、GoogleNet、Inceptionモデル、U-Net、ResNet、YOLO、SSDなどの画像分類や物体検出に用いられる深層学習モデルを用いることもできる。人工知能は、学習データの質と量に依存して、その診断精度が向上する。質の良い医用画像の学習データを収集するためには、画質が良いことは勿論であるが、医師による正確なアノテーション情報がセットになっていることが好ましい。そのため、この例では、正常および病変の内視鏡画像とアノテーション情報が内視鏡画像データベースに記録されていている。
図１１に示すように、画像診断支援ステップＩＤＳ（第６のステップ）は、内視鏡画像データベースＤＢに記録されているデータを学習データとして画像診断モデルＤＭが学習をして生成された学習済み画像診断モデルＴＤＭを用いた人工知能を有する画像診断支援システムにより実現できる。図１１の例では、内視鏡画像データベースＤＢには、正常の正常内視鏡画像データ及び病変を含む病変内視鏡画像データと、これらの画像内に病変があるかどうかを医師が示した情報を示すアノテーション情報データが記録されている。そしてこれらのデータを用いて画像診断モデルＤＭを学習して得た学習済み画像診断モデルＴＤＭを用いて、内視鏡画像ＥＩを観察するために、第６のステップ（支援システム）が実現される。一般的に画像診断モデルとしては、GoogleNet、Inceptionモデル、U-Net、ResNet、YOLO、SSDなどの画像分類や物体検出に用いられる深層学習モデルを用いることもできる。人工知能は、学習データの質と量に依存して、その診断精度が向上する。質の良い医用画像の学習データを収集するためには、画質が良いことは勿論であるが、医師による正確なアノテーション情報がセットになっていることが好ましい。そのため、この例では、正常および病変の内視鏡画像とアノテーション情報が内視鏡画像データベースに記録されていている。
【0046】
［アノテーション拡張による画像診断支援］
膀胱内視鏡検査のように、検査数患者数共に消化器内視鏡検査と比較して桁違いに少なく、診断支援の対象とする検査画像を学習用データとして収集することが困難な検査が多くある。そのため学習用に大量の医用画像とアノテーション情報を揃えることで、画像内の病変の有無を高精度で判別可能な診断支援人工知能ができたとしても、膀胱内視鏡などの学習データの収集が難しい臓器や症例の検査にはその診断支援人工知能をそのまま適用することはできない。実際の検査における高精度の人工知能による画像診断支援を実現するためには、この問題を解決しなければならない。
膀胱内視鏡検査のように、検査数患者数共に消化器内視鏡検査と比較して桁違いに少なく、診断支援の対象とする検査画像を学習用データとして収集することが困難な検査が多くある。そのため学習用に大量の医用画像とアノテーション情報を揃えることで、画像内の病変の有無を高精度で判別可能な診断支援人工知能ができたとしても、膀胱内視鏡などの学習データの収集が難しい臓器や症例の検査にはその診断支援人工知能をそのまま適用することはできない。実際の検査における高精度の人工知能による画像診断支援を実現するためには、この問題を解決しなければならない。
【0047】
図１２は、この問題を解決するために、アノテーション拡張モデルＡＥＭを用いる画像診断支援ステップＩＤＳ（第６のステップ）を実施する画像診断支援システムの構成を示している。このシステムでは、内視鏡画像データベースＤＢ内にアノテーション拡張モデルＡＥＭを設けて拡張アノテーション情報を作成している。図１３は、アノテーション拡張モデルＡＥＭを学習する具体的なフローを示している。図１３に示すアノテーション拡張モデルＡＥＭは、エンコーダＥとデコーダＤで構成されるオートエンコーダベースのアノテーション拡張モデルである。オートエンコーダは、入力情報の次元を一度エンコーダＥで圧縮した潜在変数を用いてデコーダＤで復元しても、入力情報と出力情報が同じ情報に戻るようにパラメータを学習するものである。このアノテーション拡張モデルは、画像診断モデルＤＭを特徴抽出器ＦＥとして用いて内視鏡画像データベースに記録されている病変内視鏡画像ＬＥＩを入力として画像診断モデルＤＭの中間層から各ピクセル（画素）に対応した特徴量（Ｈ，Ｗ，Ｍ）を求め、病変内視鏡画像ＬＥＩに対応するアノテーション情報（Ｈ，Ｗ，Ｃ）とセットでエンコーダＥに入力して、エンコーダＥから出力される潜在変数（１，１，Ｌ）と特徴抽出器ＦＥから得た特徴量（Ｈ，Ｗ，Ｍ）をデコーダＤで逆演算することにより新たなアノテーション情報として拡張アノテーション情報（Ｈ，Ｗ，Ｃ´）を生成するように構成したものである。ここで潜在変数は、変数間の関係の解釈に影響する変数であり、例えば、内視鏡画像データベース内の内視鏡画像に対してのアノテーション操作の癖等に影響する変数である。また特徴量Ｈは「Feature Map Height」であり、これは畳み込みニューラルネットワークの特徴マップにおける画素配列の高さ方向の特徴量である。Ｗは「Feature Map Width」であり、これは畳み込みニューラルネットワークの特徴マップにおける画素配列の幅方向の特徴量である。Ｍは「Feature Map Depth」であり、これは畳み込みニューラルネットワークの特徴マップにおける画素の深さ方向の特徴量である。Ｃは「Number of Classes」であり、これはアノテーション情報における各ピクセルに割り当てられるクラス数である。Ｌは「Latent Vector Length」であり、これは潜在変数の潜在ベクトル長である。なおアノテーション拡張モデルＡＥＭを作成する際には、エンコーダＥに入力するアノテーション情報とデコーダＤから出力される拡張アノテーション情報の交差エントロピーが小さくなるように学習するのが好ましい。すなわち本実施の形態では、アノテーション情報（Ｈ，Ｗ，Ｃ）の確率分布と拡張アノテーション情報（Ｈ，Ｗ，Ｃ´）の確率分布の間の交差エントロピーが小さくなるようにアノテーション拡張モデルＡＥＭを学習する。
【0048】
このようなアノテーション拡張モデルＡＥＭを用いれば、新たにアノテーション情報を増やすことなく、学習データが少なくても元の内視鏡画像データベース内の内視鏡画像から有用な拡張アノテーション情報を医師に作業を強いることなく新たに得ることができる。アノテーション拡張モデルＡＥＭとしては、GAN（敵対的生成ネットワーク）を使用することもできる。本実施の形態では、潜在変数に確率分布を用いるVAE（変分オートエンコーダ）ベースのアノテーション拡張モデルＡＥＭを用いている。図１４（Ａ）及び（Ｂ）は、それぞれ対象となる内視鏡画像から、学習済みのアノテーション拡張モデルにより生成された複数の拡張アノテーション情報の例をそれぞれ示している。これらの図に見られるように、同じ内視鏡画像から医師の付けた元のアノテーション情報に近い、複数の拡張アノテーション情報を生成することが可能である。
【0049】
アノテーション拡張モデルＡＥＭは、拡張アノテーション情報をランダムに拡張するのが好ましい。拡張アノテーション情報は、学習したアノテーション拡張モデルにおいて潜在変数で定義される確率分布に従い生成される。ランダムに拡張するとは、拡張アノテーション情報を確率分布に従いすべて生成するのではなく、潜在変数をランダムに選択して拡張アノテーション情報を生成することを意味する。具体的には、図１４（Ａ）及び（Ｂ）の例で説明すれば生成可能な５枚の拡張アノテーション情報から例えば１枚の拡張アノテーション情報がランダムに生成されることを意味する。このようにすると必要以上に拡張アノテーション情報を増やすことなくしかも偏りのない拡張アノテーション情報を得ることができる。また既存のデータ拡張手法と合わせることで、Ｎ個のデータセットに対し、Ｍ倍の既存のデータ拡張とＬ倍のアノテーション拡張を実施すると、拡張データセットは、Ｌ×Ｍ×Ｎ個のデータセットに拡張される。
【0050】
図１５は、既存のデータ拡張を用いて拡張した拡張データを既存の学習データに追加した学習データを用いて拡張モデルを学習した場合と、既存のデータ拡張で得た拡張データとアノテーション拡張で得たデータを既存の学習データに追加したものを学習データとして拡張モデルを学習した場合の診断精度Ｆを示している。横軸は、学習データの割合で、baseline 1.0は内視鏡画像データベース内の学習データの１００％に対し既存のデータ拡張で得た拡張データを学習に用いた場合であり、student 1.0は、内視鏡画像データベース内の学習データの１００%に対し既存のデータ拡張で得た拡張データとアノテーション拡張で得た拡張データを学習に用いた場合である。図１５からは、学習に用いたアノテーション拡張を用いた方場合の診断精度Ｆが上がることが分かる。また、元の学習データの量を１０％に減らしてアノテーション拡張をした場合は、学習データの量１００％でのデータ拡張のみの場合よりも精度が良く、アノテーション拡張手法が少ないデータでの学習精度を向上させていることがわかる。
【0051】
本実施の形態によれば、学習用のデータを増やさずに、その限られた学習用データセットを有効活用して診断精度を向上させるため、学習用データセットで学習したアノテーション拡張モデルＡＥＭを用い、学習用データセットの内視鏡画像に対し、医師を介さずにあらたにアノテーション情報を生成し、拡張アノテーション情報として、元のアノテーション情報と合わせて、拡張したデータセットとして使うことで少ないデータで画像診断モデルＤＭの学習精度をさらに高めることができる。
【0052】
［領域限定病変判定による画像診断支援］
第６のステップを実施する画像診断支援システムでは、内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて、内視鏡画像内の病変の可能性が高い領域を検出し、病変の可能性が高い領域が病変かどうかの診断をすることにより診断を支援するようにしてもよい。内視鏡画像中には正常であると思われる部分と病変ではないかと思われる部分の両方が含まれる。そこで病変の可能性が高い領域を評価する対象として、正常か病変かの診断をすれば、全体を評価するより診断精度を高めることができる。
第６のステップを実施する画像診断支援システムでは、内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて、内視鏡画像内の病変の可能性が高い領域を検出し、病変の可能性が高い領域が病変かどうかの診断をすることにより診断を支援するようにしてもよい。内視鏡画像中には正常であると思われる部分と病変ではないかと思われる部分の両方が含まれる。そこで病変の可能性が高い領域を評価する対象として、正常か病変かの診断をすれば、全体を評価するより診断精度を高めることができる。
【0053】
図１６は、第６のステップで領域限定病変分類による画像診断支援を行うための学習済み画像診断モデル（学習済み病変領域検出画像診断モデルと学習済み病変分類画像診断モデル）を作成するための具体的な例を示している。図１６で用いる病変領域検出画像診断モデルＬＡＤＭは、病変内視鏡画像ＬＥＩ及び正常内視鏡画像ＮＥＩからすべての画素における画像特徴量（Ｈ，Ｗ，Ｍ）を抽出するための画像診断モデルである。この画像診断モデルでは、内視鏡画像ＬＥＩ及びＮＥＩから病変の高い領域を特定し、病変の可能性が高い領域にある複数の画素の画像特徴量を用いて病変の可能性が高い領域の特徴量（領域限定特徴量：Ｈ，Ｗ，Ｍ×0/1）を求める。次にこの領域限定特徴量：Ｈ，Ｗ，Ｍ×0/1）から病変候補特徴量（１，１，avg（Ｍ×1））を求める。この病変候補特徴量（１，１，avg（Ｍ×1））は、各ピクセル（画素）の特徴量Ｍが病変候補マスク（Ｈ，Ｗ，０／１）の１の部分の領域における平均値である。そして病変分類画像診断モデルＬＣＤＭを用いて、病変候補特徴量（１，１，avg（Ｍ×1））から病変の可能性が高い領域を正常と病変にクラス分類する。
【0054】
より具体的には、病変領域検出画像診断モデルＬＡＤＭと、二値化処理部ＢＰと、領域限定特徴量演算部ＡＬＦＣと、病変候補特徴量演算部ＬＦＣと、病変分類画像診断モデルＬＣＤＭとから画像診断支援を行うための学習済み画像診断モデルを作成するための画像診断モデルを構成する。
【0055】
病変領域検出画像診断モデルＬＡＤＭは、１枚の画像中のすべての画素の画像特徴量（Ｈ，Ｗ，Ｍ）と内視鏡画像から病変確度マップ（Ｈ，Ｗ，Ｌ）を作製する。なお病変領域検出画像診断モデルＬＡＤＭには、深さが５０層の畳み込みニューラルネットワークであるResnet50を用いることができる。二値化処理部ＢＰは、病変確度マップ（Ｈ，Ｗ，Ｌ）を二値化処理して病変候補マスク（Ｈ，Ｗ，0/1）を作成する。また二値化処理部ＢＰとしては、画像二値化手法である「大津の2値化手法」を用いることができる。領域限定特徴量演算部ＡＬＦＣは、画像特徴量（Ｈ，Ｗ，Ｍ）と病変候補マスク（Ｈ，Ｗ，0/1）を掛け合わせて病変の可能性が高い領域に限定した領域限定特徴量（Ｈ，Ｗ，Ｍ×0/1）を求める。病変候補特徴量演算部ＬＦＣは、領域限定特徴量（Ｈ，Ｗ，Ｍ×0/1）の限定された領域（Ｍ×1）の部分を平均化して病変の可能性が高い領域の病変候補特徴量（１，１，avg（Ｍ×1））を演算する。そして病変分類画像診断モデルＬＣＤＭは、病変候補特徴量（１，１，avg（Ｍ×1））に基づいて病変の可能性が高い領域を正常と病変に分類する。病変分類画像診断モデルＬＣＤＭには、活性化関数であるソフトマックス関数（Softmax）を具備した多層パーセプトロン手法（MLP手法）を用いることができる。なおこの例では、各画素の画像特徴量（Ｈ，Ｗ，Ｍ）は、病変領域検出画像診断モデルＬＡＤＭの中間層から得たものである。
【0056】
第６のステップを実施する画像診断支援システムでは、図１６に示した病変領域検出画像診断モデルＬＡＤＭと病変分類画像診断モデルＬＣＤＭを学習して得た学習済み病変領域検出画像診断モデルと学習済み病変分類画像診断モデルを用いた学習済み画像診断モデルを用いる。このような学習済み画像診断モデルを用いると、病変の可能性の高い領域の判定精度を高めることができる。
【0057】
図１７（Ａ）及び（Ｂ）は、領域限定をしない場合の病変判定結果と領域限定をした場合の病変判定結果を示している。図１７（Ａ）及び（Ｂ）において縦軸は評価指標［ＩｏＵ］であり、横軸は病変領域の大きさである。そしてＩｏＵ≧０．４が病変として正しく判定され、ＩｏＵ＜０．４が病変を見落としたものである。図１７（Ａ）及び（Ｂ）を比較すると、領域限定をしない場合に微小病変（area:0-100）の見落としは１１個であったが、領域限定をすると見落としは６個と少なくなった。この結果から、内視鏡画像内の病変の可能性が高い領域を検出し、病変の可能性が高い領域が病変かどうかの診断をすれば、判定精度を高めることができることが分かる。
【0058】
［表示装置の表示画面］
図１８は、画像診断支援方法を実施する画像診断支援システムの表示装置の表示画面の一例を示している。この例では、患者のカルテ情報Ｄ１と、観察キャンパスを模した図上に、複数の観察済み領域と検出した病変の位置を表示する観察位置表示Ｄ２と、病変が存在する観察済みの領域の病変の悪性度及び種類を表示する診断結果表示Ｄ３と、その病変のある元の内視鏡画像Ｄ４と、その病変と判断した際の画像診断支援の結果を内視鏡画像に重ねた内視鏡画像診断支援画像Ｄ５を表示画面に表示している。このようにすると観察結果と診断結果を表示画面で確認することができる。
図１８は、画像診断支援方法を実施する画像診断支援システムの表示装置の表示画面の一例を示している。この例では、患者のカルテ情報Ｄ１と、観察キャンパスを模した図上に、複数の観察済み領域と検出した病変の位置を表示する観察位置表示Ｄ２と、病変が存在する観察済みの領域の病変の悪性度及び種類を表示する診断結果表示Ｄ３と、その病変のある元の内視鏡画像Ｄ４と、その病変と判断した際の画像診断支援の結果を内視鏡画像に重ねた内視鏡画像診断支援画像Ｄ５を表示画面に表示している。このようにすると観察結果と診断結果を表示画面で確認することができる。
【0059】
図１９は、表示装置の表示画面の他の例を示している。この例においても、患者のカルテ情報Ｄ１と、観察キャンパスを模した図上に、複数の観察済み領域と検出した病変の位置を表示する観察位置表示Ｄ２と、病変が存在する観察済みの領域の病変の悪性度及び種類を表示する診断結果表示Ｄ３と、その病変のある元の内視鏡画像Ｄ４と、その病変と判断した際の画像診断支援の結果を内視鏡画像に重ねた内視鏡画像診断支援画像Ｄ５を表示画面に表示している。この例では、さらに処理状況を表示する処理状況表示Ｄ６と病変候補サムネイル画像Ｄ７が表示されている。処理状況表示Ｄ６には、処理が行われたきの観察時期と病変の有無が順次表示される。したがって処理状況表示Ｄ６中の縦線をクリックすると、その時の内視鏡画像診断支援画像が病変候補サムネイル画像Ｄ７として表示される。病変候補サムネイル画像Ｄ７には、観察時期に診断結果として得られた内視鏡画像診断支援画像Ｄ５に表示された画像が病変候補としてサムネイルで表示される。サムネイルを選択することにより、選択したサムネイルに応じてＤ１、Ｄ２、Ｄ３の表示が変わる。図２０は、出力レポートの一例を示している。図１９の病変候補サムネイル画像Ｄ７のチェックボックスのチェック状況に対応した画像が表示される。なお出力レポートの例は、図２０の例に限定されるものではない。
【0060】
以下本願明細書に開示された複数の発明の構成の構成要件について列挙する。
【0061】
［１］被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、前記撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、前記臓器の病変の有無をコンピュータを用いて診断する内視鏡診断支援システムであって、
前記コンピュータは、
前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップと、
フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の組織が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップと、
前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップと、
前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップと、
少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップと、
前記複数のフレームについて、前記第２のステップ乃至前記第５のステップを実施するのと並行してまたは前記第２のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレームに基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施するように構成されていることを特徴とする内視鏡診断支援システム。
前記コンピュータは、
前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップと、
フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の組織が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップと、
前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップと、
前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップと、
少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップと、
前記複数のフレームについて、前記第２のステップ乃至前記第５のステップを実施するのと並行してまたは前記第２のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレームに基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施するように構成されていることを特徴とする内視鏡診断支援システム。
【0062】
［２］前記観察キャンパスを模した図上に、複数の観察済み領域を表示する観察位置表示と、
前記観察キャンパスを模した図上に、病変が存在する前記観察済みの領域を表示する病変位置表示と、
前記病変が存在する前記観察済みの領域の病変の悪性度及び種類を表示する診断結果表示と、
前記被験者のカルテ情報の表示の少なくとも一つを表示装置の表示画面に表示することを特徴とする上記［１］に記載の内視鏡診断支援システム。
前記観察キャンパスを模した図上に、病変が存在する前記観察済みの領域を表示する病変位置表示と、
前記病変が存在する前記観察済みの領域の病変の悪性度及び種類を表示する診断結果表示と、
前記被験者のカルテ情報の表示の少なくとも一つを表示装置の表示画面に表示することを特徴とする上記［１］に記載の内視鏡診断支援システム。
【0063】
［３］被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、前記撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、前記臓器の病変の有無をコンピュータを用いて診断する際の支援を行う内視鏡診断支援システムであって、
内視鏡画像データベースに記録されているデータを学習データとして学習がなされた内視鏡画像データベースに記録されているデータを学習データとして学習がなされた前記学習済み画像診断モデルを用いて、前記内視鏡画像内の病変の可能性が高い領域を検出し、前記病変の可能性が高い領域が病変かどうかの診断をすることにより支援することを特徴とする内視鏡診断支援システム。
内視鏡画像データベースに記録されているデータを学習データとして学習がなされた内視鏡画像データベースに記録されているデータを学習データとして学習がなされた前記学習済み画像診断モデルを用いて、前記内視鏡画像内の病変の可能性が高い領域を検出し、前記病変の可能性が高い領域が病変かどうかの診断をすることにより支援することを特徴とする内視鏡診断支援システム。
【0064】
［４］被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、前記撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、前記臓器の病変の有無をコンピュータを用いて診断する際の支援を行う内視鏡診断支援システムを実現するための内視鏡診断支援システム用コンピュータ・プログラムで、コンピュータ読み取り可能な記録媒体に記録されたものであって、
インストールされた前記コンピュータが、
前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップと、
フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップと、
前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップと、
前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップと、
少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップと、
前記複数のフレームについて、前記第２のステップ乃至前記第５のステップの実施と並行しながらまたは前記第２のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレーム中の前記内視鏡画像に基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施し、
前記第６のステップでは、
アノテーション情報付きの画像データを含む内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて診断支援を行う第１の支援システムと、
内視鏡画像データベースに記録されているデータを学習データとして学習がなされた前記学習済み画像診断モデルを用いて、前記内視鏡画像内の病変の可能性が高い領域を検出し、前記病変の可能性が高い領域が病変かどうかの診断をすることにより診断支援を行う第２の支援システムの少なくとも一つを実現するように構成されていることを特徴とする内視鏡診断支援用コンピュータ・プログラム。
インストールされた前記コンピュータが、
前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップと、
フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップと、
前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップと、
前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップと、
少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップと、
前記複数のフレームについて、前記第２のステップ乃至前記第５のステップの実施と並行しながらまたは前記第２のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレーム中の前記内視鏡画像に基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施し、
前記第６のステップでは、
アノテーション情報付きの画像データを含む内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて診断支援を行う第１の支援システムと、
内視鏡画像データベースに記録されているデータを学習データとして学習がなされた前記学習済み画像診断モデルを用いて、前記内視鏡画像内の病変の可能性が高い領域を検出し、前記病変の可能性が高い領域が病変かどうかの診断をすることにより診断支援を行う第２の支援システムの少なくとも一つを実現するように構成されていることを特徴とする内視鏡診断支援用コンピュータ・プログラム。
【産業上の利用可能性】
【0065】
本発明によれば、対象臓器内の内壁の観察キャンパスデータに対してマーキングを施すので、検査をした領域と検査をしていない領域を明確に判断することができ、対象臓器内をくまなく観察することが可能となり、しかも撮影した画像がどこで撮影されたのかを正しく記録することができる。また観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をすることができる。
【符号の説明】
【0066】
ＥＳ 内視鏡システム
ＥＩ 内視鏡画像
ＩＤＳ 画像診断支援ステップ
ＯＲＳ 観察記録ステップ
ＳＩＤ 診断支援情報表部
ＳＯＣ 模擬展開観察キャンパス
ＭＸ マトリックス
ＤＢ 内視鏡画像データベース
ＤＭ 画像診断モデル
ＴＤＭ 学習済み画像診断モデル
ＡＥＭ アノテーション拡張モデル
Ｅ エンコーダ
Ｄ デコーダ
ＴＡＤＭ 学習済み正常追加学習型画像診断モデル
ＴＤＭ１ 学習済み画像診断モデル
ＤＭ１ 画像診断モデル
ＴＤＭ２ 学習済み画像診断モデル
ＬＡＤＭ 病変領域検出画像診断モデル
ＬＣＤＭ 病変分類画像診断モデル
ＢＰ 二値化処理部
ＡＬＦＣ 領域限定特徴量演算部
ＬＦＣ 病変候補特徴量演算部
ＬＳＥＤＭ 類似画像判断モデル
ＥＩ 内視鏡画像
ＩＤＳ 画像診断支援ステップ
ＯＲＳ 観察記録ステップ
ＳＩＤ 診断支援情報表部
ＳＯＣ 模擬展開観察キャンパス
ＭＸ マトリックス
ＤＢ 内視鏡画像データベース
ＤＭ 画像診断モデル
ＴＤＭ 学習済み画像診断モデル
ＡＥＭ アノテーション拡張モデル
Ｅ エンコーダ
Ｄ デコーダ
ＴＡＤＭ 学習済み正常追加学習型画像診断モデル
ＴＤＭ１ 学習済み画像診断モデル
ＤＭ１ 画像診断モデル
ＴＤＭ２ 学習済み画像診断モデル
ＬＡＤＭ 病変領域検出画像診断モデル
ＬＣＤＭ 病変分類画像診断モデル
ＢＰ 二値化処理部
ＡＬＦＣ 領域限定特徴量演算部
ＬＦＣ 病変候補特徴量演算部
ＬＳＥＤＭ 類似画像判断モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10(A)】
【図10(B)】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
