特許7271689内視鏡用プロセッサ、トレーニング装置、情報処理方法、トレーニング方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-28
(45)【発行日】2023-05-11
(54)【発明の名称】内視鏡用プロセッサ、トレーニング装置、情報処理方法、トレーニング方法およびプログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20230501BHJP
【ＦＩ】
A61B1/045 623
A61B1/045 614
【請求項の数】
20
(21)【出願番号】P 2021546149
(86)(22)【出願日】2019-09-20
(86)【国際出願番号】 JP2019036940
(87)【国際公開番号】W WO2021053808
(87)【国際公開日】2021-03-25
【審査請求日】2022-02-01
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】ＨＯＹＡ株式会社
(74)【代理人】
【識別番号】110000121
【氏名又は名称】ＩＡＴ弁理士法人
(72)【発明者】
【氏名】橘 俊雄
【審査官】森口 正治
(56)【参考文献】
【文献】国際公開第２０１９／０７８２３７（ＷＯ，Ａ１）
【文献】特開２０１８－１３９８４８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
(57)【特許請求の範囲】
【請求項1】
内視鏡画像を取得する画像取得部と、前記画像取得部が取得した内視鏡画像を、内視鏡画像が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデルに入力して、対象領域を取得する領域取得部と、
前記画像取得部が取得した内視鏡画像と、前記領域取得部が取得した対象領域をガイドラインで定められた基準画像と同じ構図で撮影したときの画像の外形線の目安を示す指標とを重畳させて出力する画像出力部と、
前記指標が前記内視鏡画像の縁と一致する状態になるときに前記画像取得部が取得した内視鏡画像を記録する画像記録部と、
を備える内視鏡用プロセッサ。
【請求項2】
前記画像取得部が取得した内視鏡画像と、撮影対象部位に関連づけられた基準画像との類似度を上げるためのガイドを内視鏡画像に重畳させて出力するガイド出力部を備える請求項１に記載の内視鏡用プロセッサ。
【請求項3】
前記画像記録部は、前記画像取得部が取得した内視鏡画像と、撮影対象部位に関連づけられた基準画像との類似度が所定の値より高いと判定した場合に前記画像取得部が取得した内視鏡画像を記録する請求項１または請求項２に記載の内視鏡用プロセッサ。
【請求項4】
前記画像記録部が内視鏡画像を記録した場合に通知を出力する第１通知出力部を備える請求項３に記載の内視鏡用プロセッサ。
【請求項5】
前記第１通知出力部は、記録した内視鏡画像と基準画像との類似度に応じた通知を出力する請求項４に記載の内視鏡用プロセッサ。
【請求項6】
前記画像記録部は、ユーザからの指示を受け付けた場合に前記画像取得部が取得した内視鏡画像を記録する請求項３から請求項５のいずれか一つに記載の内視鏡用プロセッサ。
【請求項7】
前記第１学習モデルは、内視鏡画像が入力された場合に、複数の撮影対象部位それぞれに対応する複数の対象領域を出力し、前記画像出力部は、内視鏡画像と、複数の対象領域をそれぞれ示す指標とを重畳させ出力する
請求項１から請求項６のいずれか一つに記載の内視鏡用プロセッサ。
【請求項8】
前記画像出力部は、対応する内視鏡画像を記録済である撮影対象部位に対応する指標を重畳させない請求項７に記載の内視鏡用プロセッサ。
【請求項9】
前記画像出力部が所定の観察順序に合致しない基準画像に対応する指標のみを表示する場合に通知を出力する第２通知出力部を備える請求項１から請求項８のいずれか一つに記載の内視鏡用プロセッサ。
【請求項10】
病変を観察中であることを検知する病変検知部を備え、前記病変検知部が病変を観察中であることを検知した場合、前記領域取得部は動作を停止する
請求項１から９のいずれか一つに記載の内視鏡用プロセッサ。
【請求項11】
前記領域取得部の動作再開を判定する再開判定部を備え、前記再開判定部が動作再開を判定した場合、前記領域取得部は動作を再開する
請求項１０に記載の内視鏡用プロセッサ。
【請求項12】
基準画像を受け付ける基準画像受付部を備える請求項１から請求項１１のいずれか一つに記載の内視鏡用プロセッサ。
【請求項13】
前記画像取得部が取得した内視鏡画像と、基準画像との類似度が高いと判定した場合に類似度を上げるように内視鏡を自動制御する自動制御部を備える請求項１から請求項１２のいずれか一つに記載の内視鏡用プロセッサ。
【請求項14】
前記自動制御部が内視鏡を制御中に前記画像取得部が取得した内視鏡画像と、基準画像との類似度が低下したと判定した場合、前記自動制御部の動作を停止する請求項１３に記載の内視鏡用プロセッサ。
【請求項15】
前記自動制御部が内視鏡を自動制御している場合に通知を出力する第３通知出力部を備える請求項１３または請求項１４に記載の内視鏡用プロセッサ。
【請求項16】
内視鏡画像を取得する画像取得部と、前記画像取得部が取得した内視鏡画像を、内視鏡画像が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデルに入力して、対象領域を取得する領域取得部と、
前記画像取得部が取得した内視鏡画像と、前記領域取得部が取得した対象領域をガイドラインで定められた基準画像と同じ構図で撮影したときの画像の外形線の目安を示す指標とを重畳させて出力する画像出力部と、
前記指標が前記内視鏡画像の縁と一致する状態になるときに前記画像取得部が取得した内視鏡画像と、基準画像との類似度が所定の閾値よりも高い場合に当該内視鏡画像を記録する画像記録部と、
前記画像記録部が記録した内視鏡画像と前記基準画像との類似度を記録する類似度記録部と、
前記類似度記録部が記録した類似度に基づいて手技の評価を表示する評価表示部と
を備える、トレーニング装置。
【請求項17】
内視鏡画像を取得し、取得した内視鏡画像を、内視鏡画像が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデルに入力して、対象領域を取得し、
取得した内視鏡画像と、取得した対象領域をガイドラインで定められた基準画像と同じ構図で撮影したときの画像の外形線の目安を示す指標とを重畳させて出力し、
前記指標が前記内視鏡画像の縁と一致する状態になるときに取得した内視鏡画像と、基準画像との類似度が所定の閾値よりも高い場合に当該内視鏡画像を記録し、
処理をコンピュータに実行させる情報処理方法。
【請求項18】
内視鏡画像を取得し、取得した内視鏡画像を、内視鏡画像が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデルに入力して、対象領域を取得し、
取得した内視鏡画像と、取得した対象領域をガイドラインで定められた基準画像と同じ構図で撮影したときの画像の外形線の目安を示す指標とを重畳させて出力し、
前記指標が前記内視鏡画像の縁と一致する状態になるときに取得した内視鏡画像と、基準画像との類似度が所定の閾値よりも高い場合に当該内視鏡画像を記録し、
記録した内視鏡画像と前記基準画像との類似度を記録し、
記録した類似度に基づいて手技の評価を表示する
トレーニング方法。
【請求項19】
内視鏡画像を取得し、取得した内視鏡画像を、内視鏡画像が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデルに入力して、対象領域を取得し、
取得した内視鏡画像と、取得した対象領域をガイドラインで定められた基準画像と同じ構図で撮影したときの画像の外形線の目安を示す指標とを重畳させて出力し、
前記指標が前記内視鏡画像の縁と一致する状態になるときに取得した内視鏡画像と、基準画像との類似度が所定の閾値よりも高い場合に当該内視鏡画像を記録する
処理をコンピュータに実行させるプログラム。
【請求項20】
取得した内視鏡画像を、内視鏡画像が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデルに入力して、対象領域を取得し、取得した内視鏡画像と、取得した対象領域をガイドラインで定められた基準画像と同じ構図で撮影したときの画像の外形線の目安を示す指標とを重畳させて出力し、
前記指標が前記内視鏡画像の縁と一致する状態になるときに取得した内視鏡画像と、基準画像との類似度が所定の閾値よりも高い場合に当該内視鏡画像を記録し、
記録した内視鏡画像と前記基準画像との類似度を記録し、
記録した類似度に基づいて手技の評価を表示する
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡用プロセッサ、トレーニング装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
人間ドックまたは定期健康診断等での内視鏡検査においては、病変を発見することだけでなく、臓器の内壁をくまなく観察して病変が存在しないことを判定することが必要である。医学会および各医療機関等で定めたガイドラインでは、画像を記録する部位等を定めている。このガイドラインに沿って画像を記録することにより、病変の見落とし防止と、後日内視鏡専門医が画像を確認するダブルチェックとを実現できる。
【0003】
撮影中の内視鏡画像と、ガイドラインに沿った基準画像との類似度を判定することにより、ガイドラインに沿った画像の記録を支援する内視鏡システムが提案されている（特許文献１）。特許文献１の内視鏡システムにおいては、挿入部を受診者に挿入した挿入長に基づいて観察中の検査部位を判定することにより、検査部位に対応する基準画像を選択する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－１３９８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、たとえば胃の内視鏡検査においては、空気により膨らませた胃の内部で内視鏡を様々に操作するため、挿入長と検査部位とは対応しない。また大腸の内視鏡検査においても、挿入部の外側に腸管が蛇腹状に畳み込まれるため、挿入長と検査部位とは対応しない。したがって、特許文献１の内視鏡システムでは、適切な基準画像を選択して医師を支援することは困難である。
【0006】
一つの側面では、適切な基準画像を用いて内視鏡検査を支援する内視鏡用プロセッサ等を提供することを目的とする。
【課題を解決するための手段】
【0007】
内視鏡用プロセッサは、内視鏡画像を取得する画像取得部と、前記画像取得部が取得した内視鏡画像を、内視鏡画像が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデルに入力して、対象領域を取得する領域取得部と、前記画像取得部が取得した内視鏡画像と前記領域取得部が取得した対象領域を示す指標とを重畳させて出力する画像出力部とを備える。
【発明の効果】
【0008】
一つの側面では、適切な基準画像を用いて内視鏡検査を支援する内視鏡用プロセッサ等を提供できる。
【図面の簡単な説明】
【0009】
【図1A】自動撮影機能の概要を説明する説明図である。
【図1B】自動撮影機能の概要を説明する説明図である。
【図1C】自動撮影機能の概要を説明する説明図である。
【図1D】自動撮影機能の概要を説明する説明図である。
【図2】内視鏡システムの構成を説明する説明図である。
【図3】基準画像ＤＢのレコードレイアウトを説明する説明図である。
【図4】検査ＤＢのレコードレイアウトを説明する説明図である。
【図5】第１学習モデルの構成を説明する説明図である。
【図6】第２学習モデルの構成を説明する説明図である。
【図7】画面表示例を説明する説明図である。
【図8】画面表示例を説明する説明図である。
【図9】画面表示例を説明する説明図である。
【図10】画面表示例を説明する説明図である。
【図11】画面表示例を説明する説明図である。
【図12】画面表示例を説明する説明図である。
【図13】画面表示例を説明する説明図である。
【図14】画面表示例を説明する説明図である。
【図15】画面表示例を説明する説明図である。
【図16】画面表示例を説明する説明図である。
【図17】プログラムの処理の流れを説明するフローチャートである。
【図18】対象選択のサブルーチンの処理の流れを説明するフローチャートである。
【図19】ガイド表示のサブルーチンの処理の流れを説明するフローチャートである。
【図20】記録のサブルーチンの処理の流れを説明するフローチャートである。
【図21】実施の形態２の画面表示例を説明する説明図である。
【図22】実施の形態２の画面表示例を説明する説明図である。
【図23】実施の形態２の対象選択のサブルーチンの処理の流れを説明するフローチャートである。
【図24】実施の形態２のガイド表示のサブルーチンの処理の流れを説明するフローチャートである。
【図25】実施の形態３の画面表示例を説明する説明図である。
【図26】実施の形態３の画面表示例を説明する説明図である。
【図27】実施の形態３の対象選択のサブルーチンの処理の流れを説明するフローチャートである。
【図28】実施の形態４の画面表示例を説明する説明図である。
【図29】実施の形態５の内視鏡システムの構成を説明する説明図である。
【図30】実施の形態５の画面表示例を説明する説明図である。
【図31】実施の形態５のプログラムの処理の流れを説明するフローチャートである。
【図32】実施の形態６の画面表示例を説明する説明図である。
【図33】経過観察ＤＢのレコードレイアウトを説明する説明図である。
【図34】実施の形態７のプログラムの処理の流れを説明するフローチャートである。
【図35】実施の形態８の内視鏡用プロセッサの機能ブロック図である。
【図36】実施の形態９の内視鏡システムの構成を説明する説明図である。
【発明を実施するための形態】
【0010】
［実施の形態１］
図１は、自動撮影機能の概要を説明する説明図である。本実施の形態では、日本消化器がん検診学会で定めたガイドラインに沿って胃の内視鏡検査を実施する場合を例にして説明する。ガイドラインは、各医療機関等で独自に定められたものであっても良い。検査を行なう対象の臓器は、大腸または十二指腸等であっても良い。
図１は、自動撮影機能の概要を説明する説明図である。本実施の形態では、日本消化器がん検診学会で定めたガイドラインに沿って胃の内視鏡検査を実施する場合を例にして説明する。ガイドラインは、各医療機関等で独自に定められたものであっても良い。検査を行なう対象の臓器は、大腸または十二指腸等であっても良い。
【0011】
医師は、検診を受ける受診者に内視鏡３０（図２参照）を挿入して、内視鏡画像４９をリアルタイムで観察する。図１Ａは、ガイドラインで定められた基準画像に対応する撮影対象部位が内視鏡画像４９に含まれていない状態を示す。医師は、内視鏡３０を適宜操作して、視野を撮影対象部位に向ける。
【0012】
図１Ｂは、内視鏡画像４９に撮影対象部位が含まれる状態を示す。ガイド枠（バウンディングボックス）７５により、基準画像に対応する部分が囲まれている。医師は、図１Ｃおよび図１Ｄに示すように、ガイド枠７５で囲まれた部分が内視鏡画像４９いっぱいに広がるように内視鏡３０を操作する。
【0013】
図１Ｄに示すように、ガイド枠７５が内視鏡画像４９の縁とほぼ一致する状態になった場合に、内視鏡画像４９が静止画で記録される。静止画は、リアルタイムで観察中の動画から１フレーム分のデータを切り出して生成されても、動画とは別に静止画に適した照明およびシャッター速度を用いて撮影されても良い。
【0014】
静止画の記録は、自動的に行われても、ガイド枠７５の状態を確認した医師による指示に基づいて行われても良い。その後、医師は次の撮影対象部位に向けて内視鏡３０を適宜操作する。
【0015】
以上の操作を繰り返すことにより、ガイドラインに定められた基準画像に対応する一連の静止画が記録される。医師は、ガイド枠７５と内視鏡画像４９とを合わせるように内視鏡３０を操作する過程で、撮影対象部位を十分に目視観察できる。そのため、病変の見落としを防止できる。
【0016】
基準画像に合わせた位置、向き、および大きさで一連の内視鏡画像４９が記録されるため、記録済の画像を内視鏡専門医等が確認するいわゆるダブルチェックを効率良く実施できる。
【0017】
なお、内視鏡検査中に病変を発見した場合、医師はガイドラインを外れて詳細な診断に必要な観察を行なうとともに、場合によっては内視鏡下治療も行なう。このような場合には、ガイド枠７５は不要である。医師は、専門的な判断に基づいて適切な内視鏡画像４９を記録する。
【0018】
図２は、内視鏡システム１０の構成を説明する説明図である。内視鏡システム１０は、内視鏡３０と、内視鏡用プロセッサ２０とを含む。内視鏡用プロセッサ２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、スピーカ２５、表示装置Ｉ／Ｆ（Interface）２６、入力装置Ｉ／Ｆ２７、読取部２８、内視鏡接続部２９およびバスを備える。
【0019】
なお図２においては、光源、送気送水ポンプ、吸引ポンプおよび内視鏡３０の先端に設けられた撮像素子の制御部等の、内視鏡用プロセッサ２０の基本機能を実現する構成については、図示および説明を省略する。
【0020】
制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。
【0021】
主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。
【0022】
補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置２３には、第１学習モデル６１、第２学習モデル６２、基準画像ＤＢ６６，検査ＤＢ６７、制御部２１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。
【0023】
第１学習モデル６１、第２学習モデル６２、基準画像ＤＢ６６および検査ＤＢ６７は、内視鏡用プロセッサ２０に接続された外部の大容量記憶装置に記憶されていてもよい。
【0024】
通信部２４は、内視鏡用プロセッサ２０とＨＩＳ（Hospital Information System：病院情報システム）等との間のデータ通信を行なうインターフェイスである。スピーカ２５は、制御部２１による指示に基づいて音を出力する。
【0025】
表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置１６とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１７等の入力装置とを接続するインターフェイスである。なお、表示装置１６および入力装置は、内視鏡用プロセッサ２０と一体に構成されていても良い。複数の表示装置１６および入力装置が、内視鏡用プロセッサ２０に接続されていても良い。
【0026】
内視鏡３０は、挿入部３１、操作部３２、ユニバーサルコード３３およびコネクタ部３４を有する。操作部３２は、湾曲ノブ３５、３個のスイッチボタン３６、チャンネル入口３７、送気送水ボタン３２１および吸引ボタン３２２を有する。チャンネル入口３７には、処置具等を挿入する挿入口を有する鉗子栓３７１が取り付けられている。
【0027】
挿入部３１は長尺であり、一端が折止部を介して操作部３２に接続されている。挿入部３１は、操作部３２側から順に軟性部３１１、湾曲部３１２および先端部３１３を有する。先端部３１３には、観察窓および照明窓が設けられており、観察窓の奥に撮像素子が配置されている。湾曲部３１２は、湾曲ノブ３５の操作に応じて湾曲する。
【0028】
以後の説明では、挿入部３１の長手方向を挿入方向と記載する。同様に、挿入方向に沿って操作部３２に近い側を操作部側、操作部３２から遠い側を先端側と記載する。
【0029】
ユニバーサルコード３３は長尺であり、第一端が操作部３２に、第二端がコネクタ部３４にそれぞれ接続されている。ユニバーサルコード３３は、軟性である。コネクタ部３４は、内視鏡用プロセッサ２０に設けられた内視鏡接続部２９に着脱可能に結合する。
【0030】
スイッチボタン３６は、図示を省略するケーブルおよびコネクタ部３４を介して、内視鏡用プロセッサ２０に接続されている。スイッチボタン３６には、内視鏡用プロセッサ２０の種々の機能のうち、内視鏡検査中に必要な操作を割り付け可能である。スイッチボタン３６を使用することにより、医師は内視鏡３０から手を離さずに、必要な操作を行なえる。
【0031】
本実施の形態においては、内視鏡画像４９を静止画で記録するいわゆるレリーズ機能が割り当てられたスイッチボタン３６を、撮影ボタンと記載する。ユーザである医師が撮影ボタンを押した場合、制御部２１は速やかに静止画を検査ＤＢ６７に記録する。以下の説明では、検査ＤＢ６７に静止画を記録することを「撮影する」と記載する場合がある。
【0032】
図３は、基準画像ＤＢ６６のレコードレイアウトを説明する説明図である。基準画像ＤＢ６６は、ガイドラインに沿った撮影順序と、部位名と、基準画像とを関連づけて記録したＤＢである。基準画像ＤＢ６６は、撮影順序フィールドと、部位名フィールドと、基準画像フィールドとを有する。
【0033】
撮影順序フィールドには、ガイドラインに沿った撮影順序が記録されている。部位名フィールドには、ガイドラインで撮影するべく定められた撮影対象部位の名称が記録されている。基準画像フィールドには、ガイドラインで推奨される基準画像が記録されている。基準画像ＤＢ６６は、１つの撮影対象部位について１つのレコードを有する。
【0034】
図４は、検査ＤＢ６７のレコードレイアウトを説明する説明図である。検査ＤＢ６７は、内視鏡検査で画像を撮影した撮影対象部位の名称と、撮影された画像と基準画像との類似度と、記録した画像とを関連づけて記録したＤＢである。検査ＤＢ６７は、医師ＩＤ（Identifier）フィールド、受診者ＩＤフィールド、日付フィールド、番号フィールド、部位名フィールド、類似度フィールドおよび画像フィールドを有する。
【0035】
医師ＩＤフィールドには、内視鏡検査を担当する医師に固有に付与された医師ＩＤが記録されている。受診者ＩＤフィールドには、内視鏡検査を受診した受診者に固有に付与された受診者ＩＤが記録されている。日付フィールドには、日付が記録されている。番号フィールドには、内視鏡検査中に記録した静止画に昇順で割り当てた番号が記録されている。
【0036】
部位名フィールドには、ガイドラインに定められた撮影対象部位の名称が記録されている。「－」は、ガイドラインおよび基準画像から離れて医師の判断により撮影された画像であることを示す。類似度フィールドには、基準画像との類似度が記録されている。「－」は、基準画像が存在しないため類似度も算出されていないことを意味する。画像フィールドには、静止画のファイルが記録されている。
【0037】
類似度フィールドに記録される類似度の概要を説明する。類似度は、二つの画像が類似する程度を定量化した数値である。本実施の形態においては、まったく一致しない場合を０とし、完全に一致する場合を１００とする、０から１００までの数値で類似度を表現するが、これに限定するものではない。
【0038】
二つの画像の類似度の定量化には、様々な手法が従来から利用されている。たとえば２つの画像それぞれについて、色の分布および特徴点の位置等の様々な特徴量に基づいて特徴量ベクトルを生成する。特徴量ベクトル間の距離が大きいほど類似度は低く、特徴ベクトル間の距離が小さいほど類似度は高い。
【0039】
特徴量ベクトルは、画像分類用の学習モデルを使用して生成されても良い。画像分類用の学習モデルには、たとえばＶＧＧ１６またはＶＧＧ１９等の学習済のＣＮＮ（Convolutional Neural Network）モデルを利用できる。これらのＣＮＮモデルに、さらに内視鏡画像４９を追加学習させた学習済モデルを使用しても良い。２つの画像を画像分類用の学習モデルにそれぞれ入力し、出力層の各ノードからの出力をそれぞれの画像の特徴量ベクトルに使用する。
【0040】
内視鏡画像４９を入力した場合に、基準画像との類似度を出力するようにパラメータを調整した学習モデルを使用して、類似度を算出しても良い。たとえば、基準画像と内視鏡画像４９とが同一の画像である確率を基準度に使用する。このようにする場合、それぞれの基準画像について、類似度算出用の学習モデルを生成しておく。
【0041】
類似度は、たとえばＲ－ＣＮＮ（Regions with Convolutional Neural Networks）等の物体検出手法を用いて内視鏡画像４９から抽出した、所定のターゲットを示すバウンディングボックスに基づいて算出されても良い。たとえば噴門部を抽出したバウンディングボックスが、基準画像上の噴門部を示すバウンディングボックスと重複する面積が大きい場合に、類似度が高いと判定する。
【0042】
Ｒ－ＣＮＮ等の物体検出手法を用いて所定のターゲットを検出した際の確率を類似度に使用しても良い。
【0043】
検査ＤＢ６７に記録されたデータは、電子カルテシステム等に適宜アップロードされても良い。
【0044】
図５は、第１学習モデル６１の構成を説明する説明図である。第１学習モデル６１は、内視鏡画像４９の入力を受け付けて、ガイドラインで定められた撮影対象部位、すなわち基準画像に類似する領域を出力する学習モデルである。図５は、Ｒ－ＣＮＮを使用した第１学習モデル６１の例を示す。
【0045】
第１学習モデル６１は、領域候補抽出部６５１と、分類部６５２と、図示を省略するニューラルネットワークとを含む。ニューラルネットワークは、畳込み層、プーリング層および全結合層を含む。第１学習モデル６１に、内視鏡画像４９が入力される。
【0046】
領域候補抽出部６５１は、入力された内視鏡画像４９から、様々なサイズの領域候補を抽出する。分類部６５２は、抽出された領域候補の特徴量を算出し、算出した特徴量に基づいて領域候補に映っている被写体を分類する。ここで分類する対象は、ガイドラインで定められたそれぞれの撮影対象部位である。第１学習モデル６１は、領域候補の抽出と分類とを繰り返し、入力を受け付けた内視鏡画像４９の各部分に写っている撮影対象部位を含む対象領域を判定する。
【0047】
図５においては、第１学習モデル６１は、３つの検出枠（バウンディングボックス）６５３で示す対象領域に関する情報を出力している。図５に示す例では、前庭部小弯が８０パーセントの確率で写っている対象領域と、前庭部大弯が７０パーセントの確率で写っている対象領域と、前庭部前壁が６０パーセントの確率で写っている対象領域とが、それぞれ出力されている。
【0048】
第１学習モデル６１の生成方法の概要を説明する。第１学習モデル６１は、病変が写りこんでいない内視鏡画像４９と、内視鏡画像４９に含まれる撮影対象部位の名前、位置および範囲とを関連づけて記録した複数の教師データを使用して生成される。具体的には、教師データ中の内視鏡画像４９が入力された場合に、分類部６５２から出力されるデータが教師データ中の撮影対象部位の名前、位置および範囲と一致するように、誤差逆伝搬法によりニューラルネットワークのパラメータが調整される。
【0049】
図６は、第２学習モデル６２の構成を説明する説明図である。第２学習モデル６２は、内視鏡画像４９の入力を受け付けて、粘液および残渣等の異物が写っている領域を出力する学習モデルである。図６は、Ｒ－ＣＮＮを使用した第２学習モデル６２の例を示す。
【0050】
第２学習モデル６２は、領域候補抽出部６５１と、分類部６５２と、図示を省略するニューラルネットワークとを含む。ニューラルネットワークは、畳込み層、プーリング層および全結合層を含む。第２学習モデル６２に、内視鏡画像４９が入力される。
【0051】
領域候補抽出部６５１は、入力された内視鏡画像４９から、様々なサイズの領域候補を抽出する。分類部６５２は、抽出された領域候補の特徴量を算出し、算出した特徴量に基づいて領域候補に映っている被写体を分類する。ここで分類する対象は、粘液および残渣等の異物である。第２学習モデル６２は、領域候補の抽出と分類とを繰り返し、入力を受け付けた内視鏡画像４９の各部分に写っている異物を判定する。
【0052】
図６においては、第２学習モデル６２は、２つの検出枠６５３で示す領域に関する情報を出力している。図６に示す例では、粘液が８０パーセントの確率で写っている領域と、６０パーセントの確率で写っている領域とが、それぞれ出力されている。
【0053】
第２学習モデル６２は、基準画像ごとに作成されている。制御部２１は、基準画像に対応する内視鏡画像４９を撮影する前に、第２学習モデル６２を用いて異物が写っている領域を判定する。異物が写っている場合には、制御部２１はユーザの注意を促す通知を出力する。ユーザである医師がたとえば内視鏡３０の副送水機能等を使用して異物を除去した後に、制御部２１は静止画を撮影する。
【0054】
第２学習モデル６２の生成方法の概要を説明する。第２学習モデル６２は、撮影対象部位を撮影した内視鏡画像４９と、内視鏡画像４９に写りこんでいる異物の種類、位置および範囲とを関連づけて記録した複数の教師データを使用して生成される。具体的には、教師データ中の内視鏡画像４９が入力された場合に、分類部６５２から出力されるデータが教師データ中の異物の種類、位置および範囲と一致するように、誤差逆伝搬法によりニューラルネットワークのパラメータが調整される。
【0055】
なお、第２学習モデル６２は、がん、潰瘍、ポリープまたは出血部等の病変が写っている領域も出力するように学習済であっても良い。このようにする場合、異物に加えて病変の種類、位置および範囲とを関連づけて記録した教師データを使用して、第２学習モデル６２が生成される。
【0056】
なお、Ｒ－ＣＮＮの代わりに、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）またはＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムを使用してもよい。
【0057】
第１学習モデル６１と第２学習モデル６２とを統合した１つの学習モデルが使用されても良い。この場合、学習モデルは内視鏡画像４９の入力を受け付けて、基準画像に対応する基準画像に類似する領域、および、内視鏡画像中の異物の両方を出力する。
【0058】
【0059】
図７に示す画面は、内視鏡画像欄７３、進捗表示欄７１、状態表示欄７２および過去画像欄７４を含む。制御部２１は、内視鏡画像欄７３に内視鏡画像４９をリアルタイムで表示する。制御部２１は、内視鏡画像４９に重畳して、ガイド枠７５を表示する。ガイド枠７５は、次の撮影対象部位を基準画像と同じ構図で撮影した場合の画像の外形線の目安を示す指標である。
【0060】
制御部２１は、進捗表示欄７１に、過去に撮影した内視鏡画像４９をサムネールにより表示する。図７において、太枠で囲んだ部分にはサムネールが表示されている。細枠で囲んだ部分は、空欄になっている。すなわち、進捗表示欄７１のサムネールを表示することにより制御部２１は、内視鏡画像４９を記録した場合に通知を出力する第１通知出力部の機能を果たす。
【0061】
なお、細枠で囲んだ部分に基準画像が表示されていても良い。このようにする場合には、制御部２１はたとえばサムネールの周囲を囲む枠線の太さまたは色等により、撮影した内視鏡画像４９と、基準画像とを区別できるように表示する。
【0062】
制御部２１は、サムネールの選択を受け付けた場合に、大きな画像をポップアップ表示する。サムネールを生成して一覧表示する方法、および、ポップアップ表示する方法は、従来から使用されているため説明を省略する。
【0063】
制御部２１は、状態表示欄７２に動作中のモードを表示する。「Ｇｕｉｄｅ Ｍｏｄｅ ＯＮ」は、次の撮影対象部位を示すガイド枠７５を表示するモードであることを意味する。内視鏡画像４９に次の撮影対象部位が写っておらず、ガイド枠７５が表示されていない場合であっても、ユーザは状態表示欄７２を見ることにより動作中のモードを確認できる。
【0064】
過去画像欄７４には、一つ前に撮影された内視鏡画像４９が表示されている。なお、過去画像欄７４には、進捗表示欄７１に表示されたサムネールからユーザにより選択された画像が表示されても良い。
【0065】
ユーザは、ガイド枠７５と内視鏡画像欄７３の外周とを一致させるように内視鏡３０を操作する。この操作により、ユーザは内視鏡画像４９を基準画像と同様の倍率およびレイアウトに合わせられる。
【0066】
なお、ガイド枠７５の近傍に、対応する撮影対象部位の名称等を表示しても良い。内視鏡画像４９の四隅からガイド枠７５の角へ向かう矢印等により、ガイド枠７５が大きくなるように内視鏡３０を操作する旨を表示しても良い。
【0067】
図８は、図７の代わりに表示される画面の例である。図８に示す画面においては、制御部２１は、進捗表示欄７１にガイドラインに定められた撮影対象部位の名称を一覧表示する。制御部２１は、それぞれの名称の左側にチェックボックス７１３を表示する。チェックが入っているチェックボックス７１３は、撮影済であることを意味する。すなわち、チェックボックス７１３の表示により制御部２１は、内視鏡画像４９を記録した場合に通知を出力する第１通知出力部の機能を果たす。
【0068】
制御部２１は、次の撮影対象部位の名称を枠指標７１４により囲んで表示する。制御部２１は、ガイド枠７５を表示しないモードにおいては、枠指標７１４も表示しない。したがって、状態表示欄７２が表示されなくてもユーザは動作中のモードを確認できる。
【0069】
ユーザは、図７を使用して説明した画面と、図８を使用して説明した画面とのどちらを使用するかを設定できる。制御部２１は、ユーザによる選択に基づいて画面を表示する。なお、図７および図８を使用して説明した画面は例示である。制御部２１は、これら以外のデザインの画面を表示してもよい。
【0070】
図９は、先端部３１３が撮影対象部位に近づきすぎて、ガイド枠７５が表示されない状態の画面の例である。制御部２１は、内視鏡画像欄７３の四隅に表示された矢印状の接近指標７５１により、ガイド枠７５が内視鏡画像欄７３よりも外側になっていることを示す。
【0071】
なお、制御部２１は、矢印を表示する代わりに、たとえば状態表示欄７２の上に「近すぎます」等の文字を表示しても良い。矢印により内視鏡画像４９が隠されることを防止できる。
【0072】
図１０は、先端部３１３が撮影対象部位に近づいているが、内視鏡画像４９が基準画像に対して回転している場合の画面の例である。制御部２１は、ガイド枠７５が内視鏡画像欄７３の縁に近づいた場合に、ガイド枠７５よりも内側の内視鏡画像４９と基準画像との類似度が高くなるようにマッチングを行なう。内視鏡画像４９が基準画像に対して回転している場合には、図１０に示すようにガイド枠７５が内視鏡画像欄７３の縁に対して回転した状態で表示される。
【0073】
ユーザは、先端部３１３を観察対象部位に近づけながら挿入部３１のねじり操作を行なうことにより、ガイド枠７５と内視鏡画像欄７３の外周とを一致させる。
【0074】
図１１は、図１０と同様に内視鏡画像４９が基準画像に対して回転している場合の画面の変形例である。制御部２１は、内視鏡画像欄７３の縁に対して回転した状態のガイド枠７５を表示する代わりに、回転方向を示す回転指標７５２を内視鏡画像４９に重畳して表示する。ユーザは回転指標７５２を参照して、挿入部３１のねじり操作を行なう。
【0075】
図１２は、撮影対象部位に粘液等の付着物が存在する場合の画面の例である。制御部２１は、ガイド枠７５と内視鏡画像欄７３の外周とが略一致した場合に内視鏡画像４９を第２学習モデル６２に入力し、付着物が存在する領域を取得する。付着物が存在する場合、制御部２１は、付着物を示す付着物枠７５４を内視鏡画像４９に重畳して表示する。制御部２１は、過去画像欄７４の代わりに、付着物マーク７６２を表示する。ユーザは、内視鏡３０の副送水機能等を使用して付着物を除去する。
【0076】
図１３は、撮影中の画面の例である。ユーザは、ガイド枠７５と内視鏡画像欄７３の外周を一致させ、付着物がないことを確認した後、先端部３１３を静止させて画像ブレを防ぐ。制御部２１は、撮影中指標７６１を表示して、内視鏡画像４９を撮影する。以上により、基準画像と同様の倍率およびレイアウトで、ブレのない内視鏡画像４９が撮影される。
【0077】
撮影が完了した場合に、制御部２１はスピーカ２５から通知音を出力する。制御部２１は、撮影した内視鏡画像４９と基準画像との類似度を、表１に示すように音によって通知しても良い。
【0078】
【表1】
【0079】
類似度が高い内視鏡画像の撮影が続く場合、メジャーコードの通知音が連続するため、ユーザは気持ち良く内視鏡検査を進めることができる。一方、類似度が高くない内視鏡画像の撮影が続く場合、マイナーコードおよび単音により、ユーザの注意を促すことができる。
【0080】
なお、表１に示す通知音は例示である。類似度が高い場合には、「ピンポーン」という音や、ユーザの好むメロディ等の、成功感を強調する音を通知音に使用し、類似度が高くない場合には、「ピピッ」または「プー」といった進捗を表現する音を使用してもよい。通知音の有無および音量は、ユーザが適宜設定できることが望ましい。
【0081】
図１４は、内視鏡画像４９に次の撮影対象部位が写っておらず、ガイド枠７５が表示されていない場合に表示される画面の変形例である。制御部２１は、内視鏡画像欄７３の外周に沿って太矢印を配列したガイド中マーク７７を表示する。太矢印の総数は、撮影するべき静止画の総数を示す。黒色の太矢印は、撮影済の静止画の数を示す。図１４に示す例では、１８枚中の３枚が撮影済である。
【0082】
進捗表示欄７１および状態表示欄７２に加えて、ガイド中マーク７７が表示されるため、ユーザは検査の進捗を意識しつつ、ガイド枠７５が表示されるモードであることを容易に確認できる。制御部２１は、ガイド枠７５が表示されていない場合に、常時にガイド中マーク７７を表示しても、断続的にガイド中マーク７７を表示してもよい。
【0083】
状態表示欄７２に加えて、ガイド中マーク７７が表示されるため、ユーザはガイド枠７５が表示されるモードであることを容易に確認できる。
【0084】
図１５は、ユーザがガイドラインを外れた観察を行なっている場合に表示される画面の例である。図１５においては、格子状のハッチングで病変部位を示す。ユーザが、たとえば特殊光観察を開始した場合、ズーム機能を用いた拡大観察を開始した場合、および、色素を散布した場合等に、制御部２１はガイドラインを外れた観察を開始したと判断する。
【0085】
制御部２１は、状態表示欄７２にガイド枠７５の表示を停止するモードであることを意味する「Ｇｕｉｄｅ Ｍｏｄｅ Ｐａｕｓｅ」を表示する。制御部２１は、ガイド枠７５の表示を停止する。これにより、ユーザはガイド枠７５に妨げられずに、内視鏡画像４９全体を観察できる。
【0086】
図１６は、制御部２１が病変を検出した場合に表示される画面の例を示す。内視鏡画像４９から、がんまたはポリープ等の病変をリアルタイムで検出するソフトウェア等は既に利用されているため、詳細については説明を省略する。
【0087】
病変を検出した場合、制御部２１はガイド枠７５の表示を中止して、病変部を囲む病変枠７５３を表示する。制御部は、病変を検出したことを通知する検出通知欄７６３を表示する。制御部２１は、状態表示欄７２にガイド枠７５の表示を停止するモードであることを意味する「Ｇｕｉｄｅ Ｍｏｄｅ Ｐａｕｓｅ」を表示する。制御部２１は、スピーカ２５から通知音を出力してもよい。ユーザは、検出された病変部を観察し、専門的な判断に基づいて適切な処置を行なう。
【0088】
図１５または図１６を使用して説明した画面を表示している場合、制御部２１はユーザによるガイド枠７５を表示するモードの再開指示を受け付ける。たとえば、ユーザは病変を十分に観察し、ガイドラインに沿った観察の続きを行なうと判定した場合、キーボード１７の操作、または音声入力等によりガイド枠７５を表示するモードへの変更指示を行なう。モード変更の指示が、撮影ボタンとは別のスイッチボタン３６に割り当てられていても良い。
【0089】
図１７は、プログラムの処理の流れを説明するフローチャートである。制御部２１は、病変が検出されているか否かを判定する（ステップＳ５０１）。たとえば特殊光観察、拡大観察等の操作を受け付けた場合に、制御部２１は病変が検出されていると判定する。
【0090】
制御部２１は、内視鏡画像４９に基づいて病変が検出されているか否かを判定しても良い。たとえば、色素散布により内視鏡画像４９の色が突然変化した場合、または、内視鏡画像４９中に処置具の先端が写った場合等に、制御部２１は病変が検出されていると判定してもよい。制御部２１は、病変検出ソフトウェアから内視鏡画像４９内に病変が検出された旨の情報を受け付けても良い。
【0091】
制御部２１は、チャンネルに処置具が挿入された場合に病変が検出されていると判定しても良い。たとえば、チャンネル入口３７に設けたセンサを介して、制御部２１は処置具の挿入を検出できる。
【0092】
制御部２１は、スイッチボタン３６または音声入力等により受け付けたユーザからの指示に基づいて、病変が検出されていると判定してもよい。ユーザは、ガイド枠７５に妨げられずに内視鏡画像４９を観察したい場合に、ガイド枠７５を表示しないモードに移行させることができる。ステップＳ５０１により、制御部２１は、病変を観察中であることを検知する病変検知部の機能を実現する。
【0093】
病変を検出していないと判定した場合（ステップＳ５０１でＮＯ）、制御部２１は内視鏡画像４９を第１学習モデル６１に入力し、撮影対象部位を取得する（ステップＳ５０２）。制御部２１は、第１学習モデル６１から取得した検出枠６５３の寸法が所定の値よりも大きく、かつ、所定の閾値を超える確率が出力された撮影対象部位があるか否かを判定する（ステップＳ５０３）。撮影対象部位がないと判定した場合（ステップＳ５０３でＮＯ）、制御部２１はステップＳ５０１に戻る。
【0094】
撮影対象部位があると判定した場合（ステップＳ５０３でＹＥＳ）、制御部２１は対象選択のサブルーチンを起動する（ステップＳ５０４）。対象選択のサブルーチンは、第１学習モデル６１から出力された撮影対象部位から、ガイド枠７５を表示する撮影対象部位を選択するサブルーチンである。対象選択のサブルーチンの戻り値は、撮影対象部位の選択に成功したか否かを示す変数を含む。対象選択のサブルーチンの処理の流れは後述する。
【0095】
制御部２１は、対象選択のサブルーチンが撮影対象部位の選択に成功したか否かを判定する（ステップＳ５０５）。成功していないと判定した場合（ステップＳ５０５でＮＯ）、制御部２１はステップＳ５０１に戻る。
【0096】
成功したと判定した場合（ステップＳ５０５でＹＥＳ）、制御部２１はガイド表示のサブルーチンを起動する（ステップＳ５０６）。ガイド表示のサブルーチンは、内視鏡画像４９に重畳してガイド枠７５を表示するサブルーチンである。ガイド表示のサブルーチンの処理の流れは後述する。
【0097】
制御部２１は、ガイド枠７５の表示を内視鏡画像４９の変化に合わせて変化させるトラッキングを行なう（ステップＳ５０７）。制御部２１は内視鏡画像４９が撮影対象部位を撮影する適正な状態であるか否かを判定する（ステップＳ５０８）。具体的には、内視鏡画像４９の面積の大部分、たとえば９割以上がトラッキング中のガイド枠７５で囲まれている場合に、適正な状態であると制御部２１は判定する。
【0098】
適正な状態であると判定した場合（ステップＳ５０８でＹＥＳ）、制御部２１は記録のサブルーチンを起動する（ステップＳ５０９）。記録のサブルーチンは、内視鏡画像４９を検査ＤＢ６７に記録するサブルーチンである。記録のサブルーチンの処理の流れは後述する。
【0099】
制御部２１は、処理を終了するか否かを判定する（ステップＳ５１０）。たとえば、ガイドラインで定められた撮影対象部位をすべて撮影した場合、または、挿入部３１が受診者から抜去された場合、制御部２１は処理を終了すると判定する。処理を終了すると判定した場合（ステップＳ５１０でＹＥＳ）、制御部２１は処理を終了する。
【0100】
処理を終了しないと判定した場合（ステップＳ５１０でＮＯ）または、所定の時間が経過しても適正な状態にならないと判定した場合（ステップＳ５０８でＮＯ）、制御部２１はステップＳ５０１に戻る。
【0101】
病変を検出したと判定した場合（ステップＳ５０１でＹＥＳ）、制御部２１は、図９または図１０を使用して説明したようにガイド枠７５を表示しないモードに移行する（ステップＳ５２１）。制御部２１は、ガイド枠７５を表示するモードの動作を再開する指示を受け付けるまで待機する（ステップＳ５２２）。指示を受け付けた後、制御部２１はステップＳ５０１に戻り、ガイド枠７５を表示するモードの動作を再開する。
【0102】
図１８は、対象選択のサブルーチンの処理の流れを説明するフローチャートである。対象選択のサブルーチンは、第１学習モデル６１から出力された撮影対象部位から、ガイド枠７５を表示する撮影対象部位を選択するサブルーチンである。
【0103】
制御部２１は、第１学習モデル６１から出力された撮影対象部位に、所定の撮影順序に則った次の撮影対象部位が含まれているか否かを判定する（ステップＳ５３１）。含まれていると判定した場合（ステップＳ５３１でＹＥＳ）、制御部２１は当該撮影対象部位をガイド枠７５の表示対象に選択する（ステップＳ５３２）。制御部２１は、対象選択のサブルーチンの処理結果は成功であると判定する（ステップＳ５３３）。
【0104】
含まれていないと判定した場合（ステップＳ５３１でＮＯ）、制御部２１は、対象選択のサブルーチンの処理結果は失敗であると判定する（ステップＳ５３４）。
【0105】
図１９は、ガイド表示のサブルーチンの処理の流れを説明するフローチャートである。ガイド表示のサブルーチンは、内視鏡画像４９に重畳してガイド枠７５を表示するサブルーチンである。
【0106】
制御部２１は、リアルタイムで撮影した内視鏡画像４９と、基準画像ＤＢ６６から取得した基準画像とをマッチングして、内視鏡画像４９中の基準画像に対応する部分を抽出する（ステップＳ５５１）。
【0107】
制御部２１は、撮影対象部位が先端部３１３に近すぎるか否かを判定する（ステップＳ５５２）。たとえば、内視鏡画像４９全体が基準画像の一部分と対応する場合、すなわち基準画像が内視鏡画像４９からはみ出している場合には、制御部２１は撮影対象部位が先端部３１３に近すぎると判定する。
【0108】
近すぎると判定した場合（ステップＳ５５２でＹＥＳ）、制御部２１は、図９を使用して説明したように内視鏡画像４９に接近指標７５１を重畳させて、内視鏡画像欄７３に表示する（ステップＳ５５３）。近すぎないと判定した場合、（ステップＳ５５２でＮＯ）、制御部２１は挿入部３１の回転が必要であるか否かを判定する（ステップＳ５５４）。たとえば、マッチングした基準画像の縁が、内視鏡画像４９に対して回転している場合、制御部２１は回転が必要であると判定する。
【0109】
回転が必要であると判定した場合（ステップＳ５５４でＹＥＳ）、制御部２１は、図１１を使用して説明したように内視鏡画像４９に回転指標７５２を重畳させて、内視鏡画像欄７３に表示する（ステップＳ５５５）。回転が不要であると判定した場合（ステップＳ５５４でＮＯ）、制御部２１は内視鏡画像４９にガイド枠７５を重畳させて、内視鏡画像欄７３に表示する（ステップＳ５５６）。その後、制御部２１は処理を終了する。
【0110】
ステップＳ５５６において、制御部２１は、ステップＳ５５１で基準画像とマッチングした範囲の縁をガイド枠７５に使用する。
【0111】
ステップＳ５５６において、制御部２１は第１学習モデル６１から取得した確率に基づいてガイド枠７５の色、太さまたは線の種類を変更しても良い。ユーザは、ガイド枠７５を信用できる程度を判断できる。
【0112】
制御部２１は、近すぎないと判定した場合（ステップＳ５５２でＮＯ）、回転の要否を判定せずにステップＳ５５６に進んでも良い。このようにする場合には、たとえば図１０を使用して説明したように、内視鏡画像４９と基準画像とが回転していることがガイド枠７５で表現される。すなわち、ガイド枠７５が回転指標７５２を兼ねる。
【0113】
制御部２１は、第１学習モデル６１から取得した検出枠６５３の寸法が所定の寸法よりも小さい場合に、ガイド表示のサブルーチンを実行する代わりに検出枠６５３をガイド枠７５に使用しても良い。先端部３１３が観察対象部位から遠く、ガイド枠７５が画面上に小さく表示されるに過ぎない場合には、検出枠６５３を使用することで制御部２１の負荷を低減できる。
【0114】
ユーザは、ガイド表示のサブルーチンにより内視鏡画像４９に重畳表示されるガイド枠７５、接近指標７５１および回転指標７５２を参照して内視鏡３０を操作することにより、基準画像との類似度が高い内視鏡画像４９を撮影できる。すなわち、ガイド表示のサブルーチンにより制御部２１は内視鏡画像４９と基準画像との類似度を上げるためのガイドを表示するガイド出力部の機能を果たす。
【0115】
図２０は、記録のサブルーチンの処理の流れを説明するフローチャートである。記録のサブルーチンは、内視鏡画像４９を検査ＤＢ６７に記録するサブルーチンである。
【0116】
制御部２１は、内視鏡画像４９を第２学習モデル６２に入力し、粘液等の異物が写っている領域を取得する（ステップＳ５６１）。制御部２１は、所定の閾値を超える確率が出力された領域があるか否かを判定する（ステップＳ５６２）。閾値を超える確率で異物が写っている領域があると判定した場合（ステップＳ５６２でＹＥＳ）、制御部２１は、図１２を使用して説明した画面を表示して、ユーザに通知する（ステップＳ５６３）。
【0117】
通知を確認したユーザは、副送水機能またはチャンネルからの送水等を用いて、異物を除去する。除去できない場合、または、除去する必要がないと判断した場合、ユーザは撮影ボタンを押して、撮影を指示する。
【0118】
制御部２１は撮影の指示を受け付けたか否かを判定する（ステップＳ５６４）。撮影の指示を受け付けていないと判定した場合（ステップＳ５６４でＮＯ）、制御部２１はステップＳ５６１に戻る。
【0119】
閾値を超える確率で異物が写っている領域がないと判定した場合（ステップＳ５６２でＮＯ）、または、撮影の指示を受け付けたと判定した場合（ステップＳ５６４でＹＥＳ）、制御部２１は図１３を使用して説明した撮影中指標７６１を表示して、内視鏡画像４９を撮影することをユーザに通知する。制御部２１は、スピーカ２５から音を出力してユーザに通知しても良い。ユーザは、先端部３１３を静止させて画像ブレを防ぐ。制御部２１は、内視鏡画像４９と基準画像との類似度を算出する（ステップＳ５６５）。
【0120】
制御部２１は、内視鏡画像４９を検査ＤＢ６７に保存する（ステップＳ５６６）。具体的には、制御部２１は検査ＤＢ６７に新しいレコードを作成する。制御部２１は、医師ＩＤフィールド、受診者ＩＤフィールドおよび日付フィールドに、それぞれ医師ＩＤ、受診者ＩＤおよび日付を記録する。制御部２１は、番号フィールドに連番で番号を記録する。制御部２１は、部位名フィールドの撮影対象部位の名称を記録する。制御部２１は、類似度フィールドにステップＳ５６５で算出した類似度を記録する。制御部２１は、画像フィールドに内視鏡画像４９を記録する。
【0121】
制御部２１は、進捗表示欄７１に、一つの撮影対象部位の撮影が終了したことを表示する。たとえば、図７を使用して説明した画面を使用する場合、制御部２１は検査ＤＢ６７に記録した画像のサムネールを作成して進捗表示欄７１に表示する。図８を使用して説明した画面を使用する場合、制御部２１は検査ＤＢ６７に記録した画像に対応するチェックボックスにチェックマークを表示する。その後、制御部２１は処理を終了する。
【0122】
ステップＳ５６３で改めて静止画を取得するレリーズ操作を行なわず、ステップＳ５６１で第２学習モデル６２に入力した内視鏡画像４９を検査ＤＢ６７に記録する場合には、ステップＳ５６１で異物検出と同時に類似度の算出を行ない、ステップＳ５６５を省略してもよい。
【0123】
なお、図１７を使用して説明したプログラムのステップＳ５２１でガイド枠７５を表示しないモードに移行した場合、そのほかステップＳ５６４以外のタイミングでユーザが撮影ボタンを押した場合にも、制御部２１は、ステップＳ５６６と同様に内視鏡画像４９を検査ＤＢ６７に記録する。このような場合、制御部２１は、部位名フィールドおよび類似度フィールドに「－」を記録する。
【0124】
本実施の形態によると、ガイドラインで定められた基準画像と同様の部位を、同様の倍率およびレイアウトで、内視鏡画像４９を記録する内視鏡システム１０を提供できる。本実施の形態の内視鏡システム１０は、内視鏡検診における見落としの防止、および、ダブルチェックの効率化を支援できる。
【0125】
本実施の形態によると、ガイドラインで定められた撮影順序に合わせてガイド枠７５を表示するため、ガイドライン通りの順番での撮影を支援する内視鏡システム１０を提供できる。本実施の形態の内視鏡システム１０を使用してガイドライン通りの順番での撮影を習慣づけることにより、内視鏡検診の所要時間を短縮できる。
【0126】
医師が病変を発見して特殊光観察などの詳細な観察を開始した場合には、ガイド枠７５の表示を停止することにより、医師の作業を阻害しない内視鏡システム１０を提供できる。
【0127】
内視鏡画像４９中に粘液等の異物が検出された場合には、撮影を行なわずにユーザに通知することにより、診断に支障のある異物が写りこんだ内視鏡画像４９の自動撮影を防止する内視鏡システム１０を提供できる。異物が検出されている場合であってもユーザが撮影ボタンを押した場合には内視鏡画像４９を撮影するため、医師の判断を尊重して動作する内視鏡システム１０を提供できる。
【0128】
図２１および図２２は、実施の形態２の画面表示例を説明する説明図である。図２１に示す画面においては、内視鏡画像欄７３に複数のガイド枠７５が表示されている。それぞれのガイド枠７５は、破線、一点鎖線および二点鎖線で表示されている。
【0129】
図８を使用して説明した画面と同様に、制御部２１は、進捗表示欄７１にガイドラインに定められた撮影対象部位の名称を一覧表示する。制御部２１は、それぞれの名称の左側にチェックボックス７１３を表示する。チェックが入っているチェックボックス７１３は、撮影済であることを意味する。
【0130】
制御部２１は、破線、一点鎖線および二点鎖線のガイド枠７５に対応する撮影対象部位の名称を、それぞれ破線、一点鎖線および二点鎖線の枠指標７１４で囲む。なお、ガイド枠７５と撮影対象部位との対応付けは、たとえばガイド枠７５の色と、撮影対象部位の文字色または撮影対象部位を囲む線の色とで示されていてもよい。
【0131】
図２２は、二点鎖線のガイド枠７５で示されていた「前庭部小弯」の撮影が完了した後に、制御部２１が表示する画面の例である。制御部２１は、「前庭部小弯」のチェックボックス７１３にチェックを表示する。「前庭部小弯」の撮影後、ユーザにより先端部３１３の位置は図２１を撮影したときと同じ位置に戻されている。
【0132】
制御部２１は、撮影済である「前庭部小弯」に対応するガイド枠７５および枠指標７１４を表示しない。図２２に示す画面を見たユーザは、ガイド枠７５が表示されている「前庭部大弯」または「前庭部前壁」を撮影するように、内視鏡３０を操作する。
【0133】
図２３は、実施の形態２の対象選択のサブルーチンの処理の流れを説明するフローチャートである。図２３を使用して説明するサブルーチンは、図１８を使用して説明したサブルーチンの代わりに使用されるサブルーチンである。
【0134】
制御部２１は、第１学習モデル６１から出力された撮影対象部位のうち、所定の閾値未満の確率である部位を削除する（ステップＳ５７１）。制御部２１は、ステップＳ５７１で残った撮影対象部位から、既に撮影済である部位を削除する（ステップＳ５７２）。
【0135】
制御部２１は、ステップＳ５７１の後に残った撮影対象部位があるか否かを判定する（ステップＳ５７３）。残った撮影対象部位があると判定した場合（ステップＳ５３３でＹＥＳ）、制御部２１は残った撮影対象部位すべてをガイド枠７５の表示対象に選択する（ステップＳ５７４）。
【0136】
制御部２１は、対象選択のサブルーチンの処理結果は成功であると判定する（ステップＳ５７５）。残った撮影対象部位がないと判定した場合（ステップＳ５７３でＮＯ）、制御部２１は、対象選択のサブルーチンの処理結果は失敗であると判定する（ステップＳ５７６）。ステップＳ５７５またはステップＳ５７６の終了後、制御部２１は処理を終了する。
【0137】
図２４は、実施の形態２のガイド表示のサブルーチンの処理の流れを説明するフローチャートである。図２４を使用して説明するサブルーチンは、図１９を使用して説明したサブルーチンの代わりに使用されるサブルーチンである。
【0138】
制御部２１は、対象選択のサブルーチンでガイド枠７５の表示対象であると判定した撮影対象部位のうち、ユーザが次に撮影しようとしている撮影対象部位を特定できるか否かを判定する（ステップＳ５８１）。
【0139】
具体的には、制御部２１は第１学習モデル６１から取得した検出枠６５３の中心が内視鏡画像４９の中心と略一致し、かつ、検出枠６５３の寸法が所定の値よりも大きい撮影対象部位が存在するか否かを判定する。このような条件を満たす撮影対象部位は、ユーザが正面視して先端部３１３を近づけている撮影対象部位であるからである。
【0140】
特定できると判定した場合（ステップＳ５８１でＹＥＳ）、制御部２１は、次の撮影対象部位の名称を枠指標７１４により囲んで表示する。制御部２１は、リアルタイムで撮影した内視鏡画像４９と、次に撮影すると特定した撮影対象部位の基準画像とをマッチングして、内視鏡画像４９中の基準画像に対応する部分を抽出する（ステップＳ５９１）。
【0141】
制御部２１は、次の撮影対象部位が先端部３１３に近すぎるか否かを判定する（ステップＳ５９２）。たとえば、内視鏡画像４９全体が基準画像の一部分と対応する場合、すなわち基準画像が内視鏡画像４９からはみ出している場合には、制御部２１は撮影対象部位が先端部３１３に近すぎると判定する。
【0142】
近すぎると判定した場合（ステップＳ５９２でＹＥＳ）、制御部２１は、図９を使用して説明したように内視鏡画像４９に接近指標７５１を重畳させて、内視鏡画像欄７３に表示する（ステップＳ５９３）。近すぎないと判定した場合（ステップＳ５９２でＮＯ）、制御部２１は挿入部３１の回転が必要であるか否かを判定する（ステップＳ５９４）。
【0143】
回転が必要であると判定した場合（ステップＳ５９４でＹＥＳ）、制御部２１は、図１１を使用して説明したように内視鏡画像４９に回転指標７５２を重畳させて、内視鏡画像欄７３に表示する（ステップＳ５９５）。回転が不要であると判定した場合（ステップＳ５９４でＮＯ）、制御部２１は内視鏡画像４９に次に撮影する対象部位に対応するガイド枠７５を重畳させて、内視鏡画像欄７３に表示する（ステップＳ５９６）。
【0144】
ステップＳ５９３、ステップＳ５９５またはステップＳ５９６の終了後、制御部２１はガイド枠７５を表示する撮影対象部位があるか否かを判定する（ステップＳ６０１）。撮影対象部位がないと判定した場合（ステップＳ６０１でＮＯ）、制御部２１は処理を終了する。なお、撮影対象部位がないと判定した場合、本サブルーチンから図１７を使用して説明したプログラムに戻った後のステップＳ５０７ではトラッキング対象のガイド枠が存在しないため、適正な状態ではない（ステップＳ５０８でＮＯ）と判定される。
【0145】
撮影対象部位があると判定した場合（ステップＳ６０１でＹＥＳ）、または、ユーザが次に撮影しようとしている撮影対象部位を特定できないと判定した場合（ステップＳ５８１でＮＯ）、制御部２１は次にガイド枠７５を表示する撮影対象部位を選択する（ステップＳ６０２）。制御部２１は、選択した撮影対象部位の名称を枠指標７１４により囲んで表示する。
【0146】
制御部２１は、リアルタイムで撮影した内視鏡画像４９と、ステップＳ６０２で選択した撮影対象部位の基準画像とをマッチングして、内視鏡画像４９中の基準画像に対応する部分を抽出する（ステップＳ６０３）。
【0147】
制御部２１はマッチング結果に基づいて内視鏡画像４９にガイド枠７５を重畳表示する（ステップＳ６０４）。制御部２１は、すべてのガイド枠７５の表示を終了したか否かを判定する（ステップＳ６０５）。終了していないと判定した場合（ステップＳ６０５でＮＯ）、制御部２１はステップＳ６０２に戻る。終了したと判定した場合（ステップＳ６０５でＹＥＳ）、制御部２１は処理を終了する。
【0148】
なお、ステップＳ５９６で表示するガイド枠７５を、ステップＳ６０４で表示するガイド枠７５よりも太い線または濃い色等の目立つ形式で表示しても良い。制御部２１が、次に撮影すると判定している撮影対象部位をユーザが容易に確認できる内視鏡システム１０を提供できる。
【0149】
本実施の形態によると、同一の内視鏡画像４９に複数の撮影対象部位が含まれている場合に、ユーザが適宜選択した撮影対象部位の撮影を支援する内視鏡システム１０を提供できる。
【0150】
本実施の形態によると、内視鏡画像４９に含まれる複数の撮影対象部位のうち、未撮影の撮影対象部位を示すガイド枠が同時に表示されるため、ユーザは撮影しやすい順番で適宜撮影を行なえる。撮影済の撮影対象部位を示すガイド枠７５は表示されないため、重複撮影を防止できる。なお、ユーザが同じ撮影対象部位を再度撮影したい場合には、撮影ボタンを操作することで撮影できる。
【0151】
以上により、撮影漏れおよび重複撮影を防止する内視鏡システム１０を提供できる。また、ユーザが任意の順番で撮影を行なえるため、ユーザの操作を阻害せずに快適な操作を支援できる。
【0152】
［実施の形態３］
本実施の形態は、ガイドラインに定められた撮影対象部位の順番と異なる順番でユーザが撮影を行なった場合に、通知を表示する内視鏡システム１０に関する。実施の形態２と異なる部分については、説明を省略する。
本実施の形態は、ガイドラインに定められた撮影対象部位の順番と異なる順番でユーザが撮影を行なった場合に、通知を表示する内視鏡システム１０に関する。実施の形態２と異なる部分については、説明を省略する。
【0153】
図２５および図２６は、実施の形態３の画面表示例を説明する説明図である。図２５は、「食道胃接合部」の撮影を行なわずに前庭部を観察している場合に制御部２１が表示する画面の例を示す。制御部２１は、「食道胃接合部」の行を通知指標７１５で囲み、撮影されていないことを通知する。すなわち、通知指標７１５を表示することにより制御部２１は、ガイドラインに定められた所定の観察順序に合致しないガイド枠７５のみを表示する場合に通知を出力する第２通知出力部の機能を果たす。
【0154】
なお、制御部２１はたとえば「食道胃接合部」の行を点滅させる、赤字で表示するなどの手段で目立たせても良い。制御部２１は、さらにスピーカ２５から音声を出力して、ユーザの注意を喚起しても良い。音声は、「食道胃接合部が撮影されていません」のような言語であっても、「ピーピーピー」等の警戒感を表現する通知音であってもよい。これらの動作によっても、制御部２１は第２通知出力部の機能を果たす。
【0155】
仮にユーザが、単に食道胃接合部の撮影を忘れていた場合、ユーザは内視鏡３０を適宜操作して先端部３１３を食道胃接合部付近に向ける。制御部２１は、食道胃接合部に対応するガイド枠７５を表示して、ユーザを支援する。
【0156】
仮に、病変がある等の理由により、食道胃接合部については基準画像に対応する画像を撮影できない場合、ユーザはスイッチボタン３６の操作、または、音声入力等により、通知を解除する旨を指示する。図２６は、食道胃接合部に関する通知が解除された状態を示す。制御部２１は、食道胃接合部のチェックボックス７１３に取り消し線を表示するとともに、通知指標７１５を消去する。以後、ユーザは通知に煩わされることなく、内視鏡検診を続行できる。
【0157】
図２７は、実施の形態３の対象選択のサブルーチンの処理の流れを説明するフローチャートである。図２７を使用して説明するサブルーチンは、図２３を使用して説明したサブルーチンの代わりに使用されるサブルーチンである。
【0158】
制御部２１は、第１学習モデル６１から出力された撮影対象部位のうち、所定の閾値未満の確率である部位を削除する（ステップＳ５７１）。制御部２１は、ステップＳ５７１で残った撮影対象部位から、既に撮影済である部位を削除する（ステップＳ５７２）。
【0159】
制御部２１は、ステップＳ５７１の後に残った撮影対象部位があるか否かを判定する（ステップＳ５７３）。残った撮影対象部位がないと判定した場合（ステップＳ５７３でＮＯ）、制御部２１は、対象選択のサブルーチンの処理結果は失敗であると判定する（ステップＳ５７６）。
【0160】
残った撮影対象部位があると判定した場合（ステップＳ５３３でＹＥＳ）、制御部２１は残った撮影対象部位のいずれよりも前に撮影するべきであるとガイドラインに定められた未撮影部位があるか否かを判定する（ステップＳ６１１）。未撮影部位があると判定した場合（ステップＳ６１１でＹＥＳ）、制御部２１は図２５を使用して説明した通知指標７１５を表示して、ユーザに通知する。
【0161】
制御部２１は、ユーザから未撮影部位の通知を停止する旨の指示を受け付けたか否かを判定する（ステップＳ６１３）。指示を受け付けたと判定した場合（ステップＳ６１３でＹＥＳ）、制御部２１は通知指標７１５を削除して通知を停止する（ステップＳ６１４）。制御部２１は、主記憶装置２２または補助記憶装置２３に、通知を停止する旨の指示を受け付けたことを一時的に記憶し、以後ループして実行するステップＳ６１２では当該未撮影部位に関する通知を行なわない。
【0162】
未撮影部位がないと判定した場合（ステップＳ６１１でＮＯ）、通知を停止する旨の指示を受け付けないと判定した場合（ステップＳ６１３でＮＯ）、または、ステップＳ６１４の終了後、制御部２１は残った撮影対象部位すべてをガイド枠７５の表示対象に選択する（ステップＳ５７４）。
【0163】
制御部２１は、対象選択のサブルーチンの処理結果は成功であると判定する（ステップＳ５７５）。ステップＳ５７５またはステップＳ５７６の終了後、制御部２１は処理を終了する。
【0164】
本実施の形態によると、撮影対象部位の撮影を抜かして次の撮影対象部位に写った場合に、ユーザの注意を喚起する内視鏡システム１０を提供できる。ユーザが意図的に撮影対象部位の撮影を抜かした場合には、通知の停止を受け付けることにより、必要以上にユーザを煩わせない内視鏡システム１０を提供できる。
【0165】
［実施の形態４］
本実施の形態は、撮影時の注意点を表示する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
本実施の形態は、撮影時の注意点を表示する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【0166】
図２８は、実施の形態４の画面表示例を説明する説明図である。ガイド枠７５が内視鏡画像４９の中心に、所定以上の大きさで表示された場合に、ユーザは撮影の準備に入ったと推定できる。制御部２１は基準画像欄７８にガイド枠７５に対応する基準画像を表示するとともに、その下の留意事項欄７８１に当該撮影対象部位を撮影する際の留意事項を表示する。なお、留意事項はたとえば基準画像ＤＢ６６に基準画像と関連づけて記録されている。
【0167】
本実施の形態によると、ユーザは先端部３１３を撮影対象部位に向ける操作を行ないながら、留意事項に沿って洗浄等を行なえる。したがって、適切な画像をスムーズに撮影できるようにユーザを支援する内視鏡システム１０を提供できる。
【0168】
［実施の形態５］
本実施の形態は、制御部２１が湾曲部３１２を自動制御して、基準画像に近い画像を撮影する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。図２９は、実施の形態５の内視鏡システム１０の構成を説明する説明図である。
本実施の形態は、制御部２１が湾曲部３１２を自動制御して、基準画像に近い画像を撮影する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。図２９は、実施の形態５の内視鏡システム１０の構成を説明する説明図である。
【0169】
図２９においては湾曲部３１２の動作に関する構成を模式的に記載し、それ以外の部分の記載を省略する。また、図２９においては、模式的に１個の湾曲ノブ３５を記載する。Ｕ－Ｄ（Up - Down）方向、Ｒ－Ｌ（Right - Left）方向とも、同様の構成を有することで、いわゆる４方向湾曲の自動制御が可能である。
【0170】
湾曲ノブ３５に、ユーザによる操作量を検出するセンサ３５５が取り付けられている。センサ３５５は、内視鏡用プロセッサ２０に接続されている。湾曲部３１２を湾曲させる湾曲ワイヤ３５１は、操作部３２内に設けられたアクチュエータ３５６に接続されている。
【0171】
ユーザにより湾曲ノブ３５が操作された場合、センサ３５５により検出された操作量に応じて制御部２１がアクチュエータ３５６を制御する。アクチュエータ３５６により湾曲ワイヤ３５１が牽引されて、湾曲部３１２が湾曲する。したがって、ユーザは通常の内視鏡３０と同様に湾曲ノブ３５を操作することにより、湾曲部３１２の湾曲操作を行なえる。
【0172】
図３０は、実施の形態５の画面表示例を説明する説明図である。本実施の形態においては、ガイド枠７５が内視鏡画像４９の縁に近づいた場合に、制御部２１は自動制御モードに移行して、自動制御中マーク７６４を表示する。すなわち、自動制御中マーク７６４を表示することにより制御部２１は、内視鏡３０を自動制御している場合に通知を出力する第３通知出力部の機能を果たす。
【0173】
自動制御モードにおいては、制御部２１はガイド枠７５と内視鏡画像４９の縁とを合致させるように、アクチュエータ３５６を介して湾曲部３１２を自動制御し、適切な状態に位置合わせを行なった後に自動的に撮影を行なう。
【0174】
【0175】
制御部２１は内視鏡画像４９が撮影対象部位を撮影する適正な状態の近傍であるか否かを判定する（ステップＳ６２１）。具体的には、内視鏡画像４９の縁と、トラッキング中のガイド枠７５とが近づいた場合に、適正な状態の近傍であると制御部２１は判定する。制御部２１は、内視鏡画像４９と基準画像との類似度が所定の閾値を超える場合に、適正な状態の近傍であると判定しても良い。
【0176】
適正な状態の近傍であると判定した場合（ステップＳ６２１でＹＥＳ）、制御部２１は自動制御モードに移行して、内視鏡画像４９を基準画像に近づけるようにアクチュエータ３５６を自動制御する（ステップＳ６２２）。
【0177】
制御部２１は、自動制御により内視鏡画像４９の状態が悪化したか否かを判定する（ステップＳ６２３）。具体的には、内視鏡画像４９の縁と、トラッキング中のガイド枠７５とが離れた場合に、状態が悪化したと制御部２１は判定する。制御部２１は、内視鏡画像４９と基準画像との類似度が低下した場合に、状態が悪化したと判定しても良い。
【0178】
悪化したと判定した場合（ステップＳ６２１でＹＥＳ）、制御部２１はステップＳ５０１に戻る。悪化していないと判定した場合（ステップＳ６２１でＮＯ）、制御部２１は内視鏡画像４９が撮影対象部位を撮影する適正な状態であるか否かを判定する（ステップＳ６２４）。具体的には、内視鏡画像４９の面積の大部分、たとえば９割以上がトラッキング中のガイド枠７５で囲まれている場合に、適正な状態であると制御部２１は判定する。
【0179】
適正な状態ではないと判定した場合（ステップＳ６２４でＮＯ）、制御部２１はステップＳ６２２に戻る。適正な状態であると判定した場合（ステップＳ６２４でＹＥＳ）、制御部２１は記録のサブルーチンを起動する（ステップＳ５０９）。以後の処理は、図１７を使用して説明したプログラムと同一であるため、説明を省略する。
【0180】
本実施の形態によると、撮影直前の微妙な調整を自動的に行なうため、ユーザの負担が少ない内視鏡システム１０を提供できる。微調整以外の操作はユーザが手動で行なうため、従来と同様に内視鏡検査を行なえる内視鏡システム１０を提供できる。
【0181】
なお、内視鏡システム１０は、湾曲部３１２に加えて、送気送水、副送水、ズーム倍率の調整等も制御部２１が自動制御できるように構成されていても良い。制御部２１は、これらの自動制御を行なうことにより、内視鏡画像４９と基準画像との類似度を上げるように内視鏡３０を操作する自動制御部の機能を果たす。
【0182】
［実施の形態６］
本実施の形態は、ガイドラインに沿った内視鏡検診手技のトレーニング機能を有する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
本実施の形態は、ガイドラインに沿った内視鏡検診手技のトレーニング機能を有する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【0183】
図３２は、実施の形態６の画面表示例を説明する説明図である。ガイドラインに沿った内視鏡検診の終了後、制御部２１は図３２に示す画面を表示する。図３２に示す画面には、点数欄７９が表示されている。点数欄７９には、一連の内視鏡検診でガイドラインに沿って撮影した画像の数と、類似度の平均点、最高点および最低点等の類似度の代表値とが表示されている。制御部２１は、所要時間等を表示しても良い。
【0184】
制御部２１は、１人の受診者の検査を終了し、内視鏡３０が受診者から抜去された場合に、検査ＤＢ６７に基づいて点数を算出して、図３２に示す画面を表示する。類似度が高いほど、ガイドラインに沿った適切な内視鏡画像４９を撮影できており、習熟度が高いことがわかる。すなわち、制御部２１は図３２に示す画面を出力することにより、類似度に基づいてユーザの手技の評価を表示する評価表示部の機能を果たす。
【0185】
制御部２１は、たとえば１か月または１年等の所定の期間における点数の変遷をグラフにして表示しても良い。ユーザは点数の変遷により、被験者ごとの挿入の難易度を均して、内視鏡検診の上達度合いを確認できる。
【0186】
制御部２１は、他のユーザの点数との比較を、たとえば偏差値またはグラフ等により表示しても良い。ユーザは、自分の手技の相対的なレベルを把握できる。
【0187】
本実施の形態によると、内視鏡検診の手技の点数を表示することにより、ユーザの手技の上達、すなわち、ユーザのトレーニングを支援する内視鏡システム１０を提供できる。ユーザは、本実施の形態の内視鏡システム１０を、内視鏡検診の手技のトレーニングを行なうトレーニング装置に利用できる。
【0188】
［実施の形態７］
本実施の形態は、患者の経過観察に利用する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
本実施の形態は、患者の経過観察に利用する内視鏡システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
【0189】
たとえば内視鏡下治療を行なった後、定期的に同じ場所を観察して、治癒の経過あるいは再発の有無等を確認する経過観察が行われる。経過観察においては、できるかぎり毎回同様の倍率およびレイアウトで画像を撮影することが望ましい。
【0190】
図３３は、経過観察ＤＢのレコードレイアウトを説明する説明図である。経過観察ＤＢは、受診者ＩＤフィールド、撮影日フィールドおよび画像フィールドを有する。
【0191】
受診者ＩＤフィールドには、受診者ＩＤが記録されている。撮影日フィールドには、撮影日が記録されている。画像フィールドには、静止画のファイルが記録されている。
【0192】
経過観察ＤＢは、１回の経過観察ごとに１つのレコードを有する。経過観察ＤＢは、補助記憶装置２３または内視鏡用プロセッサ２０に接続された外部の大容量記憶装置に記憶されている。
【0193】
図３４は、実施の形態７のプログラムの処理の流れを説明するフローチャートである。制御部２１は、受診者ＩＤの入力を受け付ける（ステップＳ６３１）。制御部２１は受診者ＩＤをキーとして経過観察ＤＢを検索してレコードを抽出し、画像フィールドから基準画像を取得する（ステップＳ６３２）。基準画像は、たとえば前回の経過観察時の画像である。最初の経過観察時の画像が基準画像に使用されても良い。
【0194】
制御部２１は、リアルタイムの内視鏡画像４９を取得する（ステップＳ６３３）。制御部２１は、内視鏡画像４９と基準画像との類似度を算出する（ステップＳ６３４）。制御部２１は、算出した類似度が所定の閾値より高いか否かを判定する（ステップＳ６３５）。
【0195】
類似度が所定の閾値より高いと判定した場合（ステップＳ６３５でＹＥＳ）、制御部２１はガイド表示のサブルーチンを起動する（ステップＳ６３６）。ガイド表示のサブルーチンは、図１９を使用して説明したサブルーチンと同一のサブルーチンである。
【0196】
制御部２１は、ガイド枠７５の表示を内視鏡画像４９の変化に合わせて変化させるトラッキングを行なう（ステップＳ６３７）。制御部２１は内視鏡画像４９が経過観察の画像を撮影する適正な状態であるか否かを判定する（ステップＳ５３８）。具体的には、内視鏡画像４９の面積の大部分、たとえば９割以上がトラッキング中のガイド枠７５で囲まれている場合に、適正な状態であると制御部２１は判定する。
【0197】
適正な状態であると判定した場合（ステップＳ６３８でＹＥＳ）、制御部２１は経過観察ＤＢに新しいレコードを撮影して、内視鏡画像４９を記録する（ステップＳ６３９）。その後、制御部２１は処理を終了する。
類似度が所定の閾値より低いと判定した場合（ステップＳ６３５でＮＯ）、または適正な状態ではないと判定した場合（ステップＳ６３８でＮＯ）、はステップＳ６３３に戻る。
類似度が所定の閾値より低いと判定した場合（ステップＳ６３５でＮＯ）、または適正な状態ではないと判定した場合（ステップＳ６３８でＮＯ）、はステップＳ６３３に戻る。
【0198】
本実施の形態によると、同様の画像およびレイアウトで繰り返し経過観察画像を記録する内視鏡システム１０を提供できる。医師は、治癒の状態、または、再発の状態等の経過を正確に判断できる。
【0199】
［実施の形態８］
図３５は、実施の形態８の内視鏡用プロセッサ２０の機能ブロック図である。内視鏡用プロセッサ２０は、画像取得部８１と、領域取得部８２と画像出力部８３とを備える。画像取得部８１は、内視鏡画像４９を取得する。領域取得部８２は、画像取得部８１が取得した内視鏡画像４９を、内視鏡画像４９が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデル６１に入力して、対象領域を取得する。画像出力部８３は、画像取得部８１が取得した内視鏡画像４９と領域取得部８２が取得した対象領域を示す指標７５とを重畳させて出力する。
図３５は、実施の形態８の内視鏡用プロセッサ２０の機能ブロック図である。内視鏡用プロセッサ２０は、画像取得部８１と、領域取得部８２と画像出力部８３とを備える。画像取得部８１は、内視鏡画像４９を取得する。領域取得部８２は、画像取得部８１が取得した内視鏡画像４９を、内視鏡画像４９が入力された場合に所定の撮影対象部位に対応する対象領域を出力する第１学習モデル６１に入力して、対象領域を取得する。画像出力部８３は、画像取得部８１が取得した内視鏡画像４９と領域取得部８２が取得した対象領域を示す指標７５とを重畳させて出力する。
【0200】
［実施の形態９］
本実施の形態は、汎用のコンピュータ９０とプログラム９７とを組み合わせて動作させることにより、本実施の形態の内視鏡システム１０を実現する形態に関する。図３６は、実施の形態９の内視鏡システム１０の構成を示す説明図である。実施の形態１と共通する部分については、説明を省略する。
本実施の形態は、汎用のコンピュータ９０とプログラム９７とを組み合わせて動作させることにより、本実施の形態の内視鏡システム１０を実現する形態に関する。図３６は、実施の形態９の内視鏡システム１０の構成を示す説明図である。実施の形態１と共通する部分については、説明を省略する。
【0201】
本実施の形態の内視鏡システム１０は、内視鏡３０と、内視鏡用プロセッサと、コンピュータ９０を含む。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、スピーカ２５、表示装置Ｉ／Ｆ２６、入力装置Ｉ／Ｆ２７、読取部２８、およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレットまたはサーバコンピュータ等の情報機器である。
【0202】
コンピュータ９０は、有線または無線により内視鏡用プロセッサ２０と接続されており、リアルタイムで内視鏡用プロセッサ２０から内視鏡画像４９を取得する。
【0203】
プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２８を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出しても良い。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存しても良い。
【0204】
プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は内視鏡システム１０の制御装置として機能する。
【0205】
各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0206】
１０ 内視鏡システム
１６ 表示装置
１７ キーボード
２０ 内視鏡用プロセッサ
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ スピーカ
２６ 表示装置Ｉ／Ｆ
２７ 入力装置Ｉ／Ｆ
２８ 読取部
２９ 内視鏡接続部
３０ 内視鏡
３１ 挿入部
３１１ 軟性部
３１２ 湾曲部
３１３ 先端部
３２ 操作部
３２１ 送気送水ボタン
３２２ 吸引ボタン
３３ ユニバーサルコード
３４ コネクタ部
３５ 湾曲ノブ
３５１ 湾曲ワイヤ
３５５ センサ
３５６ アクチュエータ
３６ スイッチボタン
３７ チャンネル入口
３７１ 鉗子栓
４９ 内視鏡画像
６１ 第１学習モデル
６２ 第２学習モデル
６５１ 領域候補抽出部
６５２ 分類部
６５３ 検出枠
６６ 基準画像ＤＢ
６７ 検査ＤＢ
７１ 進捗表示欄
７１３ チェックボックス
７１４ 枠指標
７１５ 通知指標
７２ 状態表示欄
７３ 内視鏡画像欄
７４ 過去画像欄
７５ ガイド枠（指標）
７５１ 接近指標
７５２ 回転指標
７５３ 病変枠
７５４ 付着物枠
７６１ 撮影中指標
７６２ 付着物マーク
７６３ 検出通知欄
７６４ 自動制御中マーク
７７ ガイド中マーク
７８ 基準画像欄
７８１ 留意事項欄
７９ 点数欄
８１ 画像取得部
８２ 領域取得部
８３ 画像出力部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ
１６ 表示装置
１７ キーボード
２０ 内視鏡用プロセッサ
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ スピーカ
２６ 表示装置Ｉ／Ｆ
２７ 入力装置Ｉ／Ｆ
２８ 読取部
２９ 内視鏡接続部
３０ 内視鏡
３１ 挿入部
３１１ 軟性部
３１２ 湾曲部
３１３ 先端部
３２ 操作部
３２１ 送気送水ボタン
３２２ 吸引ボタン
３３ ユニバーサルコード
３４ コネクタ部
３５ 湾曲ノブ
３５１ 湾曲ワイヤ
３５５ センサ
３５６ アクチュエータ
３６ スイッチボタン
３７ チャンネル入口
３７１ 鉗子栓
４９ 内視鏡画像
６１ 第１学習モデル
６２ 第２学習モデル
６５１ 領域候補抽出部
６５２ 分類部
６５３ 検出枠
６６ 基準画像ＤＢ
６７ 検査ＤＢ
７１ 進捗表示欄
７１３ チェックボックス
７１４ 枠指標
７１５ 通知指標
７２ 状態表示欄
７３ 内視鏡画像欄
７４ 過去画像欄
７５ ガイド枠（指標）
７５１ 接近指標
７５２ 回転指標
７５３ 病変枠
７５４ 付着物枠
７６１ 撮影中指標
７６２ 付着物マーク
７６３ 検出通知欄
７６４ 自動制御中マーク
７７ ガイド中マーク
７８ 基準画像欄
７８１ 留意事項欄
７９ 点数欄
８１ 画像取得部
８２ 領域取得部
８３ 画像出力部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】