特開 2025-26062 医療支援装置、内視鏡装置、医療支援方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025026062

(43)【公開日】2025-02-21

(54)【発明の名称】医療支援装置、内視鏡装置、医療支援方法、及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20250214BHJP

【ＦＩ】

A61B1/045 622

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2023131411

(22)【出願日】2023-08-10

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】後藤 美沙紀

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161CC06

4C161DD03

4C161HH52

4C161LL02

4C161WW02

4C161WW06

4C161WW13

(57)【要約】

【課題】カメラと体内特徴領域との位置関係が変化したとしても、カメラによって体内が撮像されることで得られた画像の外側で体内特徴領域の存在位置をユーザに対して把握させることができる医療支援装置、内視鏡装置、医療支援方法、及びプログラムを提供する。
【解決手段】医療支援装置は、プロセッサを備える。プロセッサは、カメラによって体内が撮像されることで得られた画像を取得する。プロセッサは、画像と、画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力する。画面内での画像に対する存在位置情報の表示位置は、カメラと体内特徴領域との位置関係の変化に従って変更される。
【選択図】図１０

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
カメラによって体内が撮像されることで得られた画像を取得し、
前記画像と、前記画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を前記画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力し、
前記画面内での前記画像に対する前記存在位置情報の表示位置は、前記カメラと前記体内特徴領域との位置関係の変化に従って変更される
医療支援装置。

【請求項2】

前記変化は、前記カメラの操作、及び／又は、前記体内の体動によって齎される
請求項１に記載の医療支援装置。

【請求項3】

前記表示位置は、前記変化に従って変更されることにより前記操作及び／又は前記体動に追従する
請求項２に記載の医療支援装置。

【請求項4】

前記存在位置情報の表示態様は、前記変化の特徴に応じて変更される
請求項１に記載の医療支援装置。

【請求項5】

前記特徴は、前記変化の速さ、前記変化の量、及び／又は前記変化の方向を含む
請求項４に記載の医療支援装置。

【請求項6】

前記存在位置情報は、前記体内特徴領域が前記カメラの画角に収まっている場合の前記存在位置を前記外側で特定可能な画角内位置情報と、前記体内特徴領域が前記画角から外れている場合の前記存在位置を前記外側で特定可能な画角外位置情報と、を含み、
前記体内特徴領域が前記画角に収まっている場合に前記画角内位置情報が前記画面に表示され、
前記体内特徴領域が前記画角から外れている場合に前記画角外位置情報が前記画面に表示される
請求項１に記載の医療支援装置。

【請求項7】

前記存在位置情報は、前記体内特徴領域が前記カメラの画角から外れている場合の前記存在位置を前記外側で特定可能な画角外位置情報を含み、
前記体内特徴領域が前記画角から外れている場合に前記画角外位置情報が前記画面に表示され、
前記画角外位置情報の表示態様は、前記変化の特徴に応じて変更される
請求項１に記載の医療支援装置。

【請求項8】

前記表示態様は、表示有無、表示強度、表示時間、及び／又は、前記表示強度を変更する速さを含む
請求項７に記載の医療支援装置。

【請求項9】

前記存在位置情報は、前記体内特徴領域が前記カメラの画角から外れている場合の前記存在位置を前記外側で特定可能な画角外位置情報を含み、
前記体内特徴領域が前記画角から外れている場合に前記画角外位置情報が前記画面に表示され、
前記体内特徴領域は、病変であり、
前記画角外位置情報の表示態様は、前記病変の悪性度、前記病変が存在する部位、前記病変の種類、前記病変の型、前記病変の形態、前記病変と前記病変の周辺との境界の態様、及び／又は、前記病変の粘液の付着態様に応じて変更される
請求項１に記載の医療支援装置。

【請求項10】

前記存在位置情報は、前記体内特徴領域が前記カメラの画角から外れている場合の前記存在位置を前記外側で特定可能な画角外位置情報を含み、
前記体内特徴領域が前記画角から外れたことを条件に、前記画角外位置情報が前記画面に表示される
請求項１に記載の医療支援装置。

【請求項11】

前記体内特徴領域が前記画角に収まっている画角内時間が一定未満の場合の前記画角外位置情報の前記画面への表示は、前記画角内時間が前記一定以上の場合の前記画角外位置情報の前記画面への表示よりも強調される
請求項１０に記載の医療支援装置。

【請求項12】

前記存在位置情報は、前記体内特徴領域が前記カメラの画角から外れている場合の前記存在位置を前記外側で特定可能な画角外位置情報を含み、
前記体内特徴領域が前記画角から外れてから既定時間が経過したことを条件に、前記画角外位置情報が前記画面に表示される
請求項１に記載の医療支援装置。

【請求項13】

前記存在位置情報は、前記体内特徴領域が前記カメラの画角から外れている場合の前記存在位置を前記外側で特定可能な画角外位置情報を含み、
前記体内特徴領域が前記画角から外れ、かつ、前記変化の度合いが既定度合いを超えたことを条件に、前記画角外位置情報が前記画面に表示される
請求項１に記載の医療支援装置。

【請求項14】

前記存在位置情報は、前記体内特徴領域が前記カメラの画角から外れている場合の前記存在位置を前記外側で特定可能な画角外位置情報を含み、
前記体内特徴領域が前記画角から外れている場合に前記画角外位置情報が前記画面に表示され、
単位時間内に前記体内特徴領域が前記画角の内外へ出入りしている頻度が既定頻度を超えた場合の前記画角外位置情報の前記画面への表示は、前記頻度が既定頻度以下の場合の前記画角外位置情報の前記画面への表示よりも強調される
請求項１に記載の医療支援装置。

【請求項15】

前記画面生成情報は、前記画像と、前記画面内での前記存在位置情報の位置を指示する位置指示情報と、を含み、
前記位置指示情報は、前記変化に従って更新される
請求項１に記載の医療支援装置。

【請求項16】

前記画面生成情報は、前記画像と、前記存在位置情報と、前記位置指示情報と、を含む
請求項１５に記載の医療支援装置。

【請求項17】

前記物体認識処理は、ＡＩを用いることにより、前記画像に基づいて前記体内特徴領域を認識する処理を含む
請求項１に記載の医療支援装置。

【請求項18】

前記体内特徴領域は、病変である
請求項１に記載の医療支援装置。

【請求項19】

前記画像は、前記カメラによって前記体内が撮像されることによって時系列で得られた複数のフレームに含まれており、
前記プロセッサは、
前記複数のフレームに基づいて前記変化を特定し、
特定した前記変化に従って前記表示位置を変更する
請求項１に記載の医療支援装置。

【請求項20】

前記プロセッサは、
前記カメラの前記体内での挙動を検出可能なセンサによる検出結果に基づいて前記変化を特定し、
特定した前記変化に従って前記表示位置を変更する
請求項１に記載の医療支援装置。

【請求項21】

プロセッサを備え、
前記プロセッサは、
カメラによって体内が撮像されることで得られた画像を取得し、
前記画像に基づいて生成された医用画像と、前記画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を前記画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力し、
前記画面内での前記医用画像に対する前記存在位置情報の表示位置は、前記カメラと前記体内特徴領域との位置関係の変化に従って変更される
医療支援装置。

【請求項22】

請求項１から請求項２１の何れか一項に記載の医療支援装置と、
前記カメラと、を備える
内視鏡装置。

【請求項23】

カメラによって体内が撮像されることで得られた画像を取得すること、及び、
前記画像と、前記画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を前記画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力すること、を含み、
前記画面内での前記画像に対する前記存在位置情報の表示位置は、前記カメラと前記体内特徴領域との位置関係の変化に従って変更される
医療支援方法。

【請求項24】

コンピュータに医療支援処理を実行させるためのプログラムであって、
前記医療支援処理は、
カメラによって体内が撮像されることで得られた画像を取得すること、及び、
前記画像と、前記画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を前記画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力すること、を含み、
前記画面内での前記画像に対する前記存在位置情報の表示位置は、前記カメラと前記体内特徴領域との位置関係の変化に従って変更される
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療支援装置、内視鏡装置、医療支援方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、検出手段、判定手段、及び通知手段を有する情報処理装置が開示されている。特許文献１に記載の情報処理装置において、検出手段は、体内が撮影された動画から体内の異常領域を検出する。判定手段は、動画の第１動画フレームの所定範囲内から異常領域が検出され、なおかつ第１動画フレームよりも後に生成された動画の第２動画フレームの所定範囲内からはその異常領域が検出されない場合に、所定条件が満たされているか否かを判定する。通知手段は、所定条件が満たされていないと判定された場合に第１通知を行う。

【0003】

特許文献２には、内視鏡による管腔臓器の観察を支援する内視鏡観察支援装置が開示されている。特許文献２に記載の内視鏡観察支援装置は、画像情報取得部、病変情報取得部、判定部、及び通知部を備えている。特許文献２に記載の内視鏡観察支援装置において、画像情報取得部は、内視鏡により撮影された管腔臓器の撮像画像を取得して表示部に表示する。病変情報取得部は、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する。判定部は、撮像画像及び病変情報に基づいて病変を追尾し、病変が撮像画像上から消失したか否かを判定する。通知部は、判定部により病変が撮像画像上から消失したと判定されたときに、判定結果を通知する。

【0004】

特許文献３には、内視鏡、内視鏡制御装置、及び医療画像処理装置を備えた内視鏡システムが開示されている。特許文献３に記載の内視鏡システムにおいて、医療画像処理装置は、画像取得部、注目領域検出部、未観察条件判定部、未観察画像記憶部、及び表示信号送信部を備えている。画像取得部は、被検体の観察画像を取得する。注目領域検出部は、観察画像を構成するフレーム画像から注目領域を検出する。未観察条件判定部は、注目領域が検出されたフレーム画像について、ユーザが見逃した注目領域が含まれることを表す未観察条件を満たすか否かを判定する。未観察画像記憶部は、未観察条件を満たす未観察画像を記憶する。表示信号送信部は、観察画像を表す第一表示信号及び未観察画像を表す第二表示信号を表示装置へ送信する。注目領域検出部は、未観察画像の注目領域と観察画像の注目領域との同一性を判定する。表示信号送信部は、未観察画像の注目領域と観察画像の注目領域とが同一であるという判定結果が得られた場合に、第二表示信号の送信を停止させる。

【0005】

特許文献３に記載の内視鏡システムにおいて、未観察条件判定部は、規定期間内に同一の注目領域が含まれるフレーム画像が規定数以下の場合に未観察条件を満たすと判定したり、フレーム画像の間の変化量が規定の閾値以上の場合に未観察条件を満たすと判定したり、規定期間内に同一の注目領域が画面内の任意の領域に留まる場合に未観察条件を満たすと判定したりする。

【0006】

特許文献４には、医療画像取得部、注目領域検出部、及び表示制御部を備える医療画像処理システムが開示されている。特許文献４に記載の医療画像処理システムにおいて、医療画像取得部は、観察対象を撮像して得られる医療画像を取得する。注目領域検出部は、医療画像から注目領域を検出する。表示制御部は、注目領域の検出結果を、少なくとも注目領域の検出位置によって異なる表示態様で、表示部に表示する。

【0007】

特許文献５には、医療画像を取得する画像取得部、医療画像を表示する表示部、医療画像内から注目領域を検出する注目領域検出部、医療画像に基づいて、医療画像を撮像する機器の動き量を推定する動き量推定部、及び注目領域が検出された場合に表示部に表示される医療画像内で注目領域を強調して注目領域の検出を報知し、かつ、報知後に動き量推定部で推定される動き量に応じて注目領域の強調度合を変更する報知部を備えた医療画像処理システムが開示されている。ここで、報知部は、注目領域の検出を報知後、動き量推定部で推定される動き量が閾値以上の場合に注目領域の強調度合を強くしたり、注目領域の検出を報知後、動き量推定部で推定される動き量が閾値未満の場合に注目領域の強調度合を弱くしたり、注目領域の強調をオフしたりする。また、報知部は、表示部に表示される医療画像内で注目領域を枠で囲って注目領域を強調する。ここで、報知部は、枠の太さ、線種、色、形状、点滅度合及び明るさの少なくとも一つを変えて、注目領域の強調度合いを変更する。

【0008】

特許文献５に記載の医療画像処理システムにおいて、報知部は、注目領域が検出された場合に音を発生させて注目領域の検出を報知し、かつ、報知後に動き量推定部で推定される動き量に応じて音の音量を変更する。ここで、報知部は、注目領域の検出を報知後、動き量推定部で推定される動き量が閾値以上の場合に音の音量を大きくしたり、注目領域の検出を報知後、動き量推定部で推定される動き量が閾値未満の場合に音の音量を小さくしたり、音をオフしたりする。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】国際公開第２０１８／２１６６１８号

【特許文献2】特開２０１９－１８０９６６号公報

【特許文献3】特許第７２５６２７５号

【特許文献4】国際公開第２０２０／０３９９６８号

【特許文献5】特許第７２２５４１７号

【発明の概要】

【0010】

本開示に係る一つの実施形態は、カメラと体内特徴領域との位置関係が変化したとしても、カメラによって体内が撮像されることで得られた画像の外側で体内特徴領域の存在位置をユーザに対して把握させることができる医療支援装置、内視鏡装置、医療支援方法、及びプログラムを提供する。

【課題を解決するための手段】

【0011】

本開示に係る第１の態様は、プロセッサを備え、プロセッサが、カメラによって体内が撮像されることで得られた画像を取得し、画像と、画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力し、画面内での画像に対する存在位置情報の表示位置は、カメラと体内特徴領域との位置関係の変化に従って変更される、医療支援装置である。

【0012】

本開示に係る第２の態様は、変化が、カメラの操作、及び／又は、体内の体動によって齎される、第１の態様に係る医療支援装置である。

【0013】

本開示に係る第３の態様は、表示位置が、変化に従って変更されることにより操作及び／又は体動に追従する、第２の態様に係る医療支援装置である。

【0014】

本開示に係る第４の態様は、存在位置情報の表示態様が、変化の特徴に応じて変更される、第１の態様から第３の態様の何れか１つの態様に係る医療支援装置である。

【0015】

本開示に係る第５の態様は、特徴が、変化の速さ、変化の量、及び／又は変化の方向を含む、第４の態様に係る医療支援装置である。

【0016】

本開示に係る第６の態様は、存在位置情報が、体内特徴領域がカメラの画角に収まっている場合の存在位置を外側で特定可能な画角内位置情報と、体内特徴領域が画角から外れている場合の存在位置を外側で特定可能な画角外位置情報と、を含み、体内特徴領域が画角に収まっている場合に画角内位置情報が画面に表示され、体内特徴領域が画角から外れている場合に画角外位置情報が画面に表示される、第１の態様から第５の態様の何れか１つの態様に係る医療支援装置である。

【0017】

本開示に係る第７の態様は、存在位置情報が、体内特徴領域がカメラの画角から外れている場合の存在位置を外側で特定可能な画角外位置情報を含み、体内特徴領域が画角から外れている場合に画角外位置情報が画面に表示され、画角外位置情報の表示態様が、変化の特徴に応じて変更される、第１の態様から第６の態様の何れか１つの態様に係る医療支援装置である。

【0018】

本開示に係る第８の態様は、表示態様が、表示有無、表示強度、表示時間、及び／又は、表示強度を変更する速さを含む、第７の態様に係る医療支援装置である。

【0019】

本開示に係る第９の態様は、存在位置情報が、体内特徴領域がカメラの画角から外れている場合の存在位置を外側で特定可能な画角外位置情報を含み、体内特徴領域が画角から外れている場合に画角外位置情報が画面に表示され、体内特徴領域が、病変であり、画角外位置情報の表示態様が、病変の悪性度、病変が存在する部位、病変の種類、病変の型、病変の形態、病変と病変の周辺との境界の態様、及び／又は、病変の粘液の付着態様に応じて変更される、第１の態様から第８の態様の何れか１つの態様に係る医療支援装置である。

【0020】

本開示に係る第１０の態様は、存在位置情報が、体内特徴領域がカメラの画角から外れている場合の存在位置を外側で特定可能な画角外位置情報を含み、体内特徴領域が画角から外れたことを条件に、画角外位置情報が画面に表示される、第１の態様から第９の態様の何れか１つの態様に係る医療支援装置である。

【0021】

本開示に係る第１１の態様は、体内特徴領域が画角に収まっている画角内時間が一定未満の場合の画角外位置情報の画面への表示が、画角内時間が一定以上の場合の画角外位置情報の画面への表示よりも強調される、第１０の態様に係る医療支援装置である。

【0022】

本開示に係る第１２の態様は、存在位置情報が、体内特徴領域がカメラの画角から外れている場合の存在位置を外側で特定可能な画角外位置情報を含み、体内特徴領域が画角から外れてから既定時間が経過したことを条件に、画角外位置情報が画面に表示される、第１の態様から第９の態様の何れか１つの態様に係る医療支援装置である。

【0023】

本開示に係る第１３の態様は、存在位置情報が、体内特徴領域がカメラの画角から外れている場合の存在位置を外側で特定可能な画角外位置情報を含み、体内特徴領域が画角から外れ、かつ、変化の度合いが既定度合いを超えたことを条件に、画角外位置情報が画面に表示される、第１の態様から第１２の態様の何れか１つの態様に係る医療支援装置である。

【0024】

本開示に係る第１４の態様は、存在位置情報が、体内特徴領域がカメラの画角から外れている場合の存在位置を外側で特定可能な画角外位置情報を含み、体内特徴領域が画角から外れている場合に画角外位置情報が画面に表示され、単位時間内に体内特徴領域が画角の内外へ出入りしている頻度が既定頻度を超えた場合の画角外位置情報の画面への表示は、頻度が既定頻度以下の場合の画角外位置情報の画面への表示よりも強調される、第１の態様から第１３の態様の何れか１つの態様に係る医療支援装置である。

【0025】

本開示に係る第１５の態様は、画面生成情報が、画像と、画面内での存在位置情報の位置を指示する位置指示情報と、を含み、位置指示情報が、変化に従って更新される、第１の態様から第１４の態様の何れか１つの態様に係る医療支援装置である。

【0026】

本開示に係る第１６の態様は、画面生成情報が、画像と、存在位置情報と、位置指示情報と、を含む、第１５の態様に係る医療支援装置である。

【0027】

本開示に係る第１７の態様は、物体認識処理が、ＡＩを用いることにより、画像に基づいて体内特徴領域を認識する処理を含む、第１の態様から第１６の態様の何れか１つの態様に係る医療支援装置である。

【0028】

本開示に係る第１８の態様は、体内特徴領域が病変である、第１の態様から第１７の態様の何れか１つの態様に係る医療支援装置である。

【0029】

本開示に係る第１９の態様は、画像が、カメラによって体内が撮像されることによって時系列で得られた複数のフレームに含まれており、プロセッサが、複数のフレームに基づいて変化を特定し、特定した変化に従って表示位置を変更する、第１の態様から第１８の態様の何れか１つの態様に係る医療支援装置である。

【0030】

本開示に係る第２０の態様は、プロセッサが、カメラの体内での挙動を検出可能なセンサによる検出結果に基づいて変化を特定し、特定した変化に従って表示位置を変更する、第１の態様から第１９の態様の何れか１つの態様に係る医療支援装置である。

【0031】

本開示に係る第２１の態様は、プロセッサを備え、プロセッサが、カメラによって体内が撮像されることで得られた画像を取得し、画像に基づいて生成された医用画像と、画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力し、画面内での医用画像に対する存在位置情報の表示位置が、カメラと体内特徴領域との位置関係の変化に従って変更される、医療支援装置である。

【0032】

本開示に係る第２２の態様は、第１の態様から第２１の態様の何れか１つの態様に係る医療支援装置と、カメラと、を備える、内視鏡装置である。

【0033】

本開示に係る第２３の態様は、カメラによって体内が撮像されることで得られた画像を取得すること、及び、画像と、画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力すること、を含み、画面内での画像に対する存在位置情報の表示位置が、カメラと体内特徴領域との位置関係の変化に従って変更される、医療支援方法である。

【0034】

本開示に係る第２４の態様は、コンピュータに医療支援処理を実行させるためのプログラムであって、医療支援処理が、カメラによって体内が撮像されることで得られた画像を取得すること、及び、画像と、画像を用いた物体認識処理が実行されることによって認識された体内特徴領域の存在位置を画像の外側で特定可能な存在位置情報とが表示される画面の生成に用いられる画面生成情報を出力すること、を含み、画面内での画像に対する存在位置情報の表示位置が、カメラと体内特徴領域との位置関係の変化に従って変更される、プログラムである。

【図面の簡単な説明】

【0035】

【図1】内視鏡装置が用いられている態様の一例を示す概念図である。

【図2】内視鏡装置の全体構成の一例を示す概念図である。

【図3】内視鏡装置の電気系のハードウェア構成の一例を示すブロック図である。

【図4】医療支援装置に含まれるプロセッサの実施形態に係る要部機能の一例、及びストレージに格納されている情報の一例を示すブロック図である。

【図5】認識部及び制御部の処理内容の一例を示す概念図である。

【図6】画角に病変が収まっている場合の第１表示領域の表示内容の一例、及び画角から病変が外れている場合の第１表示領域の表示内容の一例を示す概念図である。

【図7】制御部によって画面情報が生成され、画面情報により示される画面が表示装置に表示される態様の一例を示す概念図である。

【図8】フレームアウト中の病変位置（すなわち、フレームに写っていない病変についての病変位置）が変更された場合の表示内容の一例を示す概念図である。

【図9】フレームの中心から病変までの距離が変化した場合のビジュアルアシストマークの表示態様の一例を示す概念図である。

【図10】医療支援処理の流れの一例を示すフローチャートである。

【図11】医療支援処理の流れの第１変形例を示すフローチャートである。

【図12】医療支援処理の流れの第２変形例を示すフローチャートである。

【図13】医療支援処理の流れの第３変形例を示すフローチャートである。

【図14】医療支援処理の流れの第４変形例を示すフローチャートである。

【図15】医療支援処理の流れの第５変形例を示すフローチャートである。

【図16】病変位置がフレームインしている場合の画面の表示例、及び病変位置がフレームアウトしている場合の画面の表示例を示す概念図である。

【図17】画角の内外に複数の病変が存在している場合の画面の第１表示例を示す概念図である。

【図18】画角の内外に複数の病変が存在している場合の画面の第２表示例を示す概念図である。

【図19】画角の内外に複数の病変が存在している場合の画面の第３表示例を示す概念図である。

【図20】画角の内外に複数の病変が存在している場合の画面の第４表示例を示す概念図である。

【図21】第２表示領域に病変位置マップとビジュアルアシストマークとが表示されている態様の一例を示す概念図である。

【図22】画面に表示されるビジュアルアシストマークの変形例を示す概念図である。

【図23】画面に表示されるビジュアルアシストマークの表示態様が病変の特徴に応じて変更される場合の処理内容の一例を示す概念図である。

【図24】内視鏡挿入形状観察装置が搭載された内視鏡装置の電気系のハードウェア構成の一例を示すブロック図である。

【図25】制御部によって画面生成情報が生成されて出力される態様の一例を示す概念図である。

【図26】コンピュータがネットワークを介して外部装置に対して処理実行要求を与え、外部装置が処理実行要求に応じた処理を実行し、コンピュータが外部装置から処理結果を受け取るという一連の処理の一例を示す概念図である。

【発明を実施するための形態】

【0036】

以下、添付図面に従って本開示に係る医療支援装置、内視鏡装置、医療支援方法、及びプログラムの実施形態の一例について説明する。

【0037】

先ず、以下の説明で使用される文言について説明する。

【0038】

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＧＰＧＰＵとは、“General-Purpose computing on Graphics Processing Units”の略称を指す。ＡＰＵとは、“Accelerated Processing Unit”の略称を指す。ＴＰＵとは、“Tensor Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＳＳＬとは、“Sessile Serrated Lesion”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。５Ｇとは、“5th Generation Mobile Communication System”の略称を指す。ＦＩＦＯとは、“First In First Out”の略称を指す。

【0039】

以下の説明において、符号付きのプロセッサ（以下、単に「プロセッサ」と称する）は、１つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、１種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、ＣＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＡＰＵ、又はＴＰＵ等が挙げられる。

【0040】

以下の説明において、符号付きのメモリは、一時的に情報が格納される少なくとも１つのＲＡＭ等のメモリ（例えば、揮発性のメモリ）であり、プロセッサによってワークメモリとして用いられる。

【0041】

以下の説明において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する１つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ、磁気ディスク、又は磁気テープ等が挙げられる。また、ストレージの他例としては、クラウドストレージが挙げられる。

【0042】

以下の実施形態において、符号付きの外部Ｉ／Ｆは、互いに接続された複数の装置間の各種情報の授受を司る。外部Ｉ／Ｆの一例としては、ＵＳＢインタフェースが挙げられる。外部Ｉ／Ｆには、通信プロセッサ及びアンテナ等を含む通信Ｉ／Ｆが適用されてもよい。通信Ｉ／Ｆは、複数のコンピュータ間での通信を司る。通信Ｉ／Ｆに対して適用される通信規格の一例としては、５Ｇ、Ｗｉ－Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格が挙げられる。

【0043】

以下の実施形態において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0044】

図１は、内視鏡装置１０が用いられている態様の一例を示す概念図である。図１に示すように、内視鏡装置１０は、内視鏡検査においてユーザである医師１２によって用いられる。内視鏡検査は、看護師１４等のスタッフによって補助される。本実施形態において、内視鏡装置１０は、本開示に係る「内視鏡装置」の一例である。

【0045】

内視鏡装置１０は、通信装置（図示省略）と通信可能に接続されており、内視鏡装置１０によって得られた情報は、通信装置に送信される。通信装置の一例としては、電子カルテ等の各種情報を管理するサーバ及び／又はクライアント端末（例えば、パーソナル・コンピュータ及び／又はタブレット端末等）が挙げられる。通信装置は、内視鏡装置１０から送信された情報を受信し、受信した情報を用いた処理（例えば、電子カルテ等に保存する処理）を実行する。

【0046】

内視鏡装置１０は、内視鏡スコープ１６、表示装置１８、光源装置２０、制御装置２２、及び医療支援装置２４を備えている。

【0047】

内視鏡装置１０は、内視鏡スコープ１６を用いて被検体２６（例えば、患者）の体内に含まれる大腸２８に対する診療を行うためのモダリティである。本実施形態において、大腸２８は、内視鏡検査において医師１２によって観察される対象である。

【0048】

内視鏡スコープ１６は、医師１２によって用いられ、被検体２６の管腔臓器に挿入される。本実施形態では、内視鏡スコープ１６が被検体２６の大腸２８に挿入される。内視鏡装置１０は、被検体２６の大腸２８に挿入された内視鏡スコープ１６に対して、被検体２６の大腸２８内を撮像させ、かつ、必要に応じて大腸２８に対して医療的な各種処置を行う。

【0049】

内視鏡装置１０は、被検体２６の大腸２８内を撮像することで大腸２８内の態様を示す画像を取得して出力する。本実施形態において、内視鏡装置１０は、大腸２８内で光３０を照射することにより大腸２８の腸壁３２で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。

【0050】

なお、ここでは、大腸２８に対する内視鏡検査を例示しているが、これは、あくまでも一例に過ぎず、食道、胃、十二指腸、又は気管等の管腔臓器に対する内視鏡検査であってもよい。

【0051】

光源装置２０、制御装置２２、及び医療支援装置２４は、ワゴン３４に設置されている。ワゴン３４には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、医療支援装置２４、制御装置２２、及び光源装置２０が設置されている。また、ワゴン３４の最上段の台には、表示装置１８が設置されている。

【0052】

制御装置２２は、内視鏡装置１０の全体を制御する。医療支援装置２４は、制御装置２２の制御下で、内視鏡スコープ１６によって腸壁３２が撮像されることで得られた画像に対して各種の画像処理を行う。

【0053】

表示装置１８は、画像を含めた各種情報を表示する。表示装置１８の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。また、表示装置１８に代えて、又は、表示装置１８と共に、ディスプレイ付きのタブレット端末を用いてもよい。

【0054】

表示装置１８には、画面３５が表示される。画面３５は、複数の表示領域を含む。複数の表示領域は、画面３５内で並べて配置されている。図１に示す例では、複数の表示領域の一例として、第１表示領域３６及び第２表示領域３８が示されている。第１表示領域３６のサイズは、第２表示領域３８のサイズよりも大きい。第１表示領域３６は、メインの表示領域として用いられ、第２表示領域３８は、サブの表示領域として用いられる。なお、第１表示領域３６及び第２表示領域３８のサイズ関係は、これに限定されるものではなく、画面３５に収まるサイズ関係であればよい。

【0055】

第１表示領域３６には、内視鏡動画像３９が表示される。内視鏡動画像３９は、被検体２６の大腸２８内で内視鏡スコープ１６によって腸壁３２が撮像されることによって取得された動画像である。図１に示す例では、内視鏡動画像３９の一例として、腸壁３２が写っている動画像が示されている。

【0056】

内視鏡動画像３９に写っている腸壁３２には、体内（ここでは、一例として、大腸２８内）で特徴を有する領域である体内特徴領域が含まれている。体内特徴領域の一例としては、医師１２によって注視される関心領域（すなわち、観察対象領域）が挙げられる。本実施形態では、医師１２が、内視鏡動画像３９を通して、体内特徴領域を含む腸壁３２の態様を視覚的に認識することができる。なお、以下では、体内特徴領域の一例として、少なくとも１つの病変４２（例えば、図１に示す例では、１つの病変４２）を挙げて説明する。本実施形態において、病変４２は、本開示に係る「体内特徴領域」及び「病変」の一例である。

【0057】

病変４２には様々な種類があり、病変４２の種類としては、例えば、腫瘍性ポリープ及び非腫瘍性ポリープ等が挙げられる。腫瘍性ポリープの種類としては、例えば、腺腫性ポリープ（例えば、ＳＳＬ）等が挙げられる。非腫瘍性ポリープの種類としては、例えば、過誤腫性ポリープ、過形成性ポリープ、及び炎症性ポリープ等が挙げられる。なお、ここで例示されている種類は、大腸２８に対する内視鏡検査が行われる場合の病変４２の種類として事前に想定される種類であり、内視鏡検査が行われる臓器が異なれば、病変の種類も異なる。

【0058】

第１表示領域３６に表示される画像は、内視鏡スコープ１６によって腸壁３２が撮像されることによって時系列で得られた複数のフレーム４０（すなわち、時系列に沿った複数のフレーム４０）を含んで構成される動画像に含まれる１つのフレーム４０である。つまり、第１表示領域３６には、時系列に沿った複数のフレーム４０が既定のフレームレート（例えば、数十フレーム／秒）で表示される。

【0059】

本実施形態において、フレーム４０は、本開示に係る「画像」の一例である。また、本実施形態において、内視鏡スコープ１６によって腸壁３２が撮像されることによって時系列で得られた複数のフレーム４０は、本開示に係る「複数のフレーム」の一例である。

【0060】

第１表示領域３６に表示される動画像の一例としては、ライブビュー方式の動画像が挙げられる。ライブビュー方式は、あくまでも一例に過ぎず、ポストビュー方式の動画像のように、メモリ等に一時的に格納されてから表示される動画像であってもよい。また、メモリ等の保存されている記録用動画像に含まれる各フレームが内視鏡動画像３９として画面３５（例えば、第１表示領域３６）に再生表示されてもよい。

【0061】

画面３５内で、第２表示領域３８は、第１表示領域３６外に存在している。図１に示す例において、第２表示領域３８は、第１表示領域３６に隣接しており、画面３５内の正面視右側に表示されている。第２表示領域３８の表示位置は、第１表示領域３６と異なる位置であれば、どこでもよいが、第１表示領域３６内に表示される内視鏡動画像３９と対比可能な位置に表示されることが好ましい。

【0062】

第２表示領域３８には、医療に関する情報である医療情報４４が表示される。医療情報４４としては、例えば、医師１２による医療的な判断等を補助する情報等が挙げられる。医師１２による医療的な判断等を補助する情報等の第１例としては、内視鏡スコープ１６が挿入されている被検体２６に関する各種の可視情報（例えば、名前、性別、服用薬、既往歴、血圧値、及び／又は心拍数等）が挙げられる。また、医師１２による医療的な判断等を補助する情報等の第２例としては、内視鏡動画像３９に対してＡＩを用いた処理が行われることによって得られたテキスト及び／又は画像（例えば、特徴量マップ、及び／又は、特徴量マップが加工されて得られた情報）等の可視情報が挙げられる。

【0063】

図２は、内視鏡装置１０の全体構成の一例を示す概念図である。図２に示すように、内視鏡スコープ１６は、操作部４６及び挿入部４８を備えている。挿入部４８は、操作部４６が操作されることにより部分的に湾曲する。挿入部４８は、医師１２（図１参照）による操作部４６の操作に従って、大腸２８（図１参照）の形状に応じて湾曲しながら大腸２８に挿入される。

【0064】

挿入部４８の先端部５０には、カメラ５２、照明装置５４、及び処置具用開口５６が設けられている。カメラ５２及び照明装置５４は、先端部５０の先端面５０Ａに設けられている。なお、ここでは、カメラ５２及び照明装置５４が先端部５０の先端面５０Ａに設けられる形態例を挙げているが、これは、あくまでも一例に過ぎず、カメラ５２及び照明装置５４は、先端部５０の側面に設けられることにより、内視鏡スコープ１６が側視鏡として構成されていてもよい。

【0065】

カメラ５２は、被検体２６の体腔に挿入されて観察対象領域を撮像する。本実施形態では、カメラ５２が、被検体２６の体内（例えば、大腸２８内）を撮像することにより内視鏡動画像３９を取得する。カメラ５２の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。本実施形態において、カメラ５２は、本開示に係る「カメラ」の一例である。

【0066】

照明装置５４は、照明窓５４Ａ及び５４Ｂを有する。照明装置５４は、照明窓５４Ａ及び５４Ｂを介して光３０（図１参照）を照射する。照明装置５４から照射される光３０の種類としては、例えば、可視光（例えば、白色光等）及び非可視光（例えば、近赤外光等）が挙げられる。また、照明装置５４は、照明窓５４Ａ及び５４Ｂを介して特殊光を照射する。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。カメラ５２は、大腸２８内で照明装置５４によって光３０が照射された状態で、大腸２８内を光学的手法で撮像する。

【0067】

処置具用開口５６は、処置具５８を先端部５０から突出させるための開口である。また、処置具用開口５６は、血液及び体内汚物等を吸引する吸引口、並びに流体を送出する送出口としても用いられる。

【0068】

操作部４６には、処置具挿入口６０が形成されており、処置具５８は、処置具挿入口６０から挿入部４８内に挿入される。処置具５８は、挿入部４８内を通過して処置具用開口５６から外部に突出する。処置具５８としては、止血鉗子、穿刺針、高周波ナイフ、スネア、カテーテル、ガイドワイヤ、又はカニューレ等が挙げられる。図２に示す例では、処置具５８として、止血鉗子が処置具用開口５６から突出している態様が示されている。

【0069】

内視鏡スコープ１６は、ユニバーサルコード６２を介して光源装置２０及び制御装置２２に接続されている。制御装置２２には、医療支援装置２４及び受付装置６４が接続されている。また、医療支援装置２４には、表示装置１８が接続されている。すなわち、制御装置２２は、医療支援装置２４を介して表示装置１８に接続されている。

【0070】

なお、ここでは、制御装置２２によって行われる機能を拡張させるための外付け装置という位置付けで医療支援装置２４を例示しているため、制御装置２２と表示装置１８とが医療支援装置２４を介して間接的に接続されている形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、表示装置１８は、制御装置２２に直接接続されていてもよい。この場合、例えば、医療支援装置２４の機能が制御装置２２に搭載されているか、或いは、医療支援装置２４によって実行される処理（例えば、後述する医療支援処理）と同じ処理をサーバ（図示省略）に対して実行させ、サーバによる処理結果を受信して使用する機能が制御装置２２に搭載されていればよい。

【0071】

受付装置６４は、医師１２からの指示を受け付け、受け付けた指示を電気信号として制御装置２２に出力する。受付装置６４の一例として、キーボード、マウス、タッチパネル、フットスイッチ、マイクロフォン、及び／又は遠隔操作機器等が挙げられる。

【0072】

制御装置２２は、光源装置２０を制御したり、カメラ５２との間で各種信号の授受を行ったり、医療支援装置２４との間で各種信号の授受を行ったりする。

【0073】

光源装置２０は、制御装置２２の制御下で発光し、光を照明装置５４に供給する。照明装置５４には、ライトガイドが内蔵されており、光源装置２０から供給された光はライトガイドを経由して照明窓５４Ａ及び５４Ｂから照射される。制御装置２２は、カメラ５２に対して撮像を行わせ、カメラ５２から内視鏡動画像３９（図１参照）を取得して既定の出力先（例えば、医療支援装置２４）に出力する。

【0074】

医療支援装置２４は、制御装置２２から入力された内視鏡動画像３９に対して各種の画像処理を行うことにより医療（ここでは、一例として、内視鏡検査）の支援を行う。医療支援装置２４は、各種の画像処理を施した内視鏡動画像３９を既定の出力先（例えば、表示装置１８）へ出力する。

【0075】

なお、ここでは、制御装置２２から出力された内視鏡動画像３９が、医療支援装置２４を介して、表示装置１８へ出力される形態例を挙げて説明したが、これはあくまでも一例に過ぎない。例えば、制御装置２２と表示装置１８とが接続されており、医療支援装置２４によって画像処理が施された内視鏡動画像３９が、制御装置２２を介して表示装置１８に表示される態様であってもよい。

【0076】

図３は、内視鏡装置１０の電気系のハードウェア構成の一例を示すブロック図である。図３に示すように、制御装置２２は、コンピュータ６６、バス６８、及び外部Ｉ／Ｆ７０を備えている。コンピュータ６６は、プロセッサ７２、メモリ７４、及びストレージ７６を備えている。プロセッサ７２、メモリ７４、ストレージ７６、及び外部Ｉ／Ｆ７０は、バス６８に接続されている。プロセッサ７２は、制御装置２２の全体を制御する。メモリ７４及びストレージ７６は、プロセッサ７２によって用いられる。

【0077】

外部Ｉ／Ｆ７０は、制御装置２２の外部に存在する１つ以上の装置（以下、「第１外部装置」とも称する）とプロセッサ７２との間の各種情報の授受を司る。

【0078】

外部Ｉ／Ｆ７０には、第１外部装置の１つとしてカメラ５２が接続されており、外部Ｉ／Ｆ７０は、カメラ５２とプロセッサ７２との間の各種情報の授受を司る。プロセッサ７２は、外部Ｉ／Ｆ７０を介してカメラ５２を制御する。また、プロセッサ７２は、カメラ５２によって大腸２８（図１参照）内が撮像されることで得られた内視鏡動画像３９（図１参照）を外部Ｉ／Ｆ７０を介して取得する。

【0079】

外部Ｉ／Ｆ７０には、第１外部装置の１つとして光源装置２０が接続されており、外部Ｉ／Ｆ７０は、光源装置２０とプロセッサ７２との間の各種情報の授受を司る。光源装置２０は、プロセッサ７２の制御下で、照明装置５４に光を供給する。照明装置５４は、光源装置２０から供給された光を照射する。

【0080】

外部Ｉ／Ｆ７０には、第１外部装置の１つとして受付装置６４が接続されており、プロセッサ７２は、受付装置６４によって受け付けられた指示を、外部Ｉ／Ｆ７０を介して取得し、取得した指示に応じた処理を実行する。

【0081】

医療支援装置２４は、コンピュータ７８及び外部Ｉ／Ｆ８０を備えている。コンピュータ７８は、プロセッサ８２、メモリ８４、及びストレージ８６を備えている。プロセッサ８２、メモリ８４、ストレージ８６、及び外部Ｉ／Ｆ８０は、バス８８に接続されている。本実施形態において、医療支援装置２４は、本開示に係る「医療支援装置」の一例であり、コンピュータ７８は、本開示に係る「コンピュータ」の一例であり、プロセッサ８２は、本開示に係る「プロセッサ」の一例である。

【0082】

なお、コンピュータ７８のハードウェア構成（すなわち、プロセッサ８２、メモリ８４、及びストレージ８６）は、コンピュータ６６のハードウェア構成と基本的に同じなので、ここでは、コンピュータ７８のハードウェア構成に関する説明は省略する。

【0083】

外部Ｉ／Ｆ８０は、医療支援装置２４の外部に存在する１つ以上の装置（以下、「第２外部装置」とも称する）とプロセッサ８２との間の各種情報の授受を司る。

【0084】

外部Ｉ／Ｆ８０には、第２外部装置の１つとして制御装置２２が接続されている。図３に示す例では、外部Ｉ／Ｆ８０に、制御装置２２の外部Ｉ／Ｆ７０が接続されている。外部Ｉ／Ｆ８０は、医療支援装置２４のプロセッサ８２と制御装置２２のプロセッサ７２との間の各種情報の授受を司る。例えば、プロセッサ８２は、制御装置２２のプロセッサ７２から外部Ｉ／Ｆ７０及び８０を介して内視鏡動画像３９（図１参照）を取得し、取得した内視鏡動画像３９に対して各種の画像処理を行う。

【0085】

外部Ｉ／Ｆ８０には、第２外部装置の１つとして表示装置１８が接続されている。プロセッサ８２は、外部Ｉ／Ｆ８０を介して表示装置１８を制御することにより、表示装置１８に対して各種情報（例えば、各種の画像処理が行われた内視鏡動画像３９等）を表示させる。

【0086】

ところで、内視鏡検査において、医師１２は、第１表示領域３６に表示された内視鏡動画像３９を観察しながら、大腸２８内に存在する病変４２を視覚的に認識している。しかし、医師１２がカメラ５２を思う通りに操作できなかったり、体動（例えば、大腸２８の動き）が予想以上に大きかったりすると、カメラ５２と病変４２との位置関係が予想外の位置関係になってしまう。そうすると、カメラ５２の画角（以下、単に「画角」とも称する）から病変４２が外れることがある。病変４２が画角から外れると、医師１２は、第１表示領域３６を通して病変４２を観察することができなくなる。これにより、医師１２は、画角から外れた病変４２を見失ってしまう。医師１２は、病変４２を見失うと、見失った病変４２に対する医療的処置（例えば、鑑別及び／又は切除等）を忘れてしまう虞がある。このような事態を発生させないためにも、画角から外れた病変４２の存在を医師１２に意識付けさせることは重要である。

【0087】

そこで、このような事情に鑑み、本実施形態では、一例として図４に示すように、医療支援装置２４のプロセッサ８２によって医療支援処理が行われる。なお、図４は、医療支援装置２４に含まれるプロセッサ８２の要部機能の一例、及びストレージ８６に格納されている情報の一例を示すブロック図である。

【0088】

ストレージ８６には、医療支援プログラム９０が格納されている。医療支援プログラム９０は、本開示に係る「プログラム」の一例である。プロセッサ８２は、ストレージ８６から医療支援プログラム９０を読み出し、読み出した医療支援プログラム９０をメモリ８４上で実行することにより医療支援処理を行う。医療支援処理は、プロセッサ８２がメモリ８４上で実行する医療支援プログラム９０に従って、認識部８２Ａ及び制御部８２Ｂとして動作することによって実現される。

【0089】

ストレージ８６には、認識モデル９２が格納されている。詳しくは後述するが、認識モデル９２は、認識部８２Ａによって用いられる。

【0090】

図５は、認識部８２Ａ及び制御部８２Ｂの処理内容の一例を示す概念図である。図５に示すように、認識部８２Ａ及び制御部８２Ｂは、カメラ５２によって撮像フレームレート（例えば、数十フレーム／秒）に従って大腸２８内が撮像されることで生成された内視鏡動画像３９に含まれる時系列に沿った複数のフレーム４０のそれぞれをカメラ５２から時系列に沿って１フレーム単位で取得する。図５に示す例では、病変４２が写っている複数のフレーム４０が認識部８２Ａによって取得される態様が示されている。また、認識部８２Ａによってカメラ５２から取得されるフレーム４０は、制御部８２Ｂによって認識部８２Ａと同期して取得される。

【0091】

制御部８２Ｂは、時系列に沿った複数のフレーム４０を含む内視鏡動画像３９を表示装置１８に出力する。例えば、制御部８２Ｂは、内視鏡動画像３９をライブビュー画像として第１表示領域３６に表示する。すなわち、制御部８２Ｂは、カメラ５２からフレーム４０を取得する毎に、取得したフレーム４０を順に表示フレームレート（例えば、数十フレーム／秒）に従って第１表示領域３６に表示する。また、制御部８２Ｂは、医療情報４４を第２表示領域３８に表示する。また、例えば、制御部８２Ｂは、第１表示領域３６の表示内容に伴って第２表示領域３８の表示内容（例えば、医療情報４４）を更新する。

【0092】

認識部８２Ａは、カメラ５２から取得した内視鏡動画像３９を用いて、内視鏡動画像３９に写っている病変４２を認識する。すなわち、認識部８２Ａは、カメラ５２から取得した内視鏡動画像３９に含まれる時系列に沿った複数のフレーム４０のそれぞれに対して認識処理９６を順次に行うことで、フレーム４０に写っている病変４２を認識する。例えば、認識部８２Ａは、病変４２の有無、病変４２を示す画像領域（以下、「病変画像領域」とも称する）の大きさ、フレーム４０内での病変画像領域の位置、及び病変４２の特徴（例えば、病変４２の悪性度、病変４２が存在する部位、病変４２の種類、病変４２の型、病変４２の形態（例えば、見た目）、病変４２と病変４２の周辺との境界の態様、及び病変４２の粘液の付着態様等）を認識する。

【0093】

認識処理９６は、本開示に係る「画像を用いた物体認識処理」の一例である。認識処理９６は、認識部８２Ａによって、フレーム４０が取得される毎に、取得されたフレーム４０に対して行われる。認識処理９６は、ＡＩを用いることにより、フレーム４０に基づいて病変４２を認識する処理である。ここでは、認識処理９６として、認識モデル９２を用いた処理が行われる。認識モデル９２は、ＡＩによるバウンディングボックス方式での物体認識用の学習済みモデルである。

【0094】

認識モデル９２は、ニューラルネットワークに対して第１教師データを用いた機械学習が行われることによって最適化されている。第１教師データは、第１例題データと第１正解データとが対応付けられた複数のデータ（すなわち、複数フレーム分のデータ）を含むデータセットである。

【0095】

第１例題データは、フレーム４０を想定した画像である。フレーム４０を想定した画像の第１例としては、実際に大腸内がカメラによって撮像されることで得られた画像が挙げられる。フレーム４０を想定した画像の第２例としては、仮想的に作られた画像が挙げられる。第１正解データは、第１例題データに対する正解データ（すなわち、アノテーション）である。ここでは、第１正解データの一例として、第１例題データとして用いられている画像に写っている病変４２の幾何特性、病変４２の悪性度、病変４２が存在する部位、病変４２の種類、病変４２の型、病変４２の形態、病変４２と病変４２の周辺との境界の態様、及び病変４２の粘液の付着態様等を特定するアノテーションが用いられる。

【0096】

認識部８２Ａは、カメラ５２からフレーム４０を取得し、取得したフレーム４０を認識モデル９２に入力する。これにより、認識モデル９２は、フレーム４０が入力される毎に、入力されたフレーム４０に写っている病変４２を認識し、認識結果９８を出力する。

【0097】

認識結果９８には、病変有無情報９８Ａが含まれている。病変有無情報９８Ａは、認識モデル９２に入力されたフレーム４０に病変４２が写っているか否かを示す情報である。また、認識モデル９２に入力されたフレーム４０に病変４２が写っている場合、認識結果９８には、幾何特性情報９８Ｂ、病変位置マップ９８Ｃ、及び病変特徴情報９８Ｄ等が含まれている。

【0098】

幾何特性情報９８Ｂは、フレーム４０内での病変４２の大きさ、形状、及び位置を特定可能な情報（例えば、座標）である。病変位置マップ９８Ｃは、フレーム４０内での病変４２の位置を特定可能なマップである。病変特徴情報９８Ｄは、認識モデル９２に入力されたフレーム４０に写っている病変４２の特徴を特定可能な情報である。ここで、病変４２の特徴とは、病変４２の悪性度、病変４２が存在する部位、病変４２の種類、病変４２の型、病変４２の形態、病変４２と病変４２の周辺との境界の態様、及び病変４２の粘液の付着態様等を指す。

【0099】

病変位置マップ９８Ｃの幾何特性（例えば、外輪郭の形状及びサイズ）は、フレーム４０の幾何特性（例えば、外輪郭の形状及びサイズ）に対応している。病変位置マップ９８Ｃには、バウンディングボックスＢＢが含まれている。バウンディングボックスＢＢは、フレーム４０に写っている病変４２のフレーム４０内での位置として、認識モデル９２によって認識された位置を特定可能な矩形枠（例えば、病変画像領域に対して外接する矩形枠）である。図５に示す例では、バウンディングボックスＢＢが第１表示領域３６に重畳表示されている。バウンディングボックスＢＢの表示は、第１表示領域３６に表示される内視鏡動画像３９の表示タイミングに同期して更新される。

【0100】

なお、ここでは、バウンディングボックスＢＢが表示される例を挙げているが、これは、あくまでも一例に過ぎず、バウンディングボックスＢＢは表示されなくてもよい。また、バウンディングボックスＢＢの表示及び非表示が各種条件に応じて切り替えられるようにしてもよい。例えば、受付装置６４によって受け付けられた指示に応じてバウンディングボックスＢＢの表示と非表示とが切り替えられたり、内視鏡装置１０によって行われる処理の内容（例えば、医療支援処理の内容）に応じてバウンディングボックスＢＢの表示と非表示とが切り替えられたりするようにしてもよい。また、バウンディングボックスＢＢは、あくまでも一例に過ぎず、バウンディングボックスＢＢに代えて、バウンディングボックスＢＢに代わる識別子（例えば、コード）が表示されるようにしてもよい。この場合、例えば、制御部８２Ｂは、幾何特性情報９８Ｂからフレーム４０内での病変４２の位置を特定し、特定した位置の近傍に、バウンディングボックスＢＢに代わる識別子を表示するようにすればよい。

【0101】

病変位置マップ９８Ｃは、医療情報４４の一部として第２表示領域３８に表示されてもよいし、画面３５内の第２表示領域３８以外の領域に表示されてもよい。画面３５に表示される病変位置マップ９８Ｃは、第１表示領域３６に対して適用される表示フレームレートに従って更新される。病変位置マップ９８Ｃの表示は、第１表示領域３６に表示される内視鏡動画像３９の表示タイミングに同期して更新される。このように構成することで、医師１２は、第１表示領域３６に表示される内視鏡動画像３９を観察しながら、病変位置マップ９８Ｃを参照することで、第１表示領域３６に表示されている内視鏡動画像３９内での病変４２の概略的な位置を把握することが可能となる。なお、病変位置マップ９８Ｃの表示と病変位置マップ９８Ｃの非表示は、第１表示領域３６内でのバウンディングボックスＢＢの表示及び非表示と同様の要領で切り替えられるようにしてもよい。

【0102】

制御部８２Ｂは、病変特徴情報９８Ｄを画面３５に表示する。この場合、例えば、病変特徴情報９８Ｄは、医療情報４４の一部として第２表示領域３８に表示される。

【0103】

図６は、画角に病変４２が収まっている場合の第１表示領域３６の表示内容の一例、及び画角から病変４２が外れている場合の第１表示領域３６の表示内容の一例を示す概念図である。図６に示すように、フレーム４０とフレーム４０の外周とを含む領域は、画面３５に表示されない仮想的な十字ラインＶＬによって第１～第４象限に区分されている。十字ラインＶＬは、フレーム４０に対して正面視水平方向のラインと、フレーム４０に対して正面視鉛直方向のラインとで形成されている。十字ラインＶＬの中心（すなわち、フレーム４０に対して正面視水平方向のラインとフレーム４０に対して正面視鉛直方向のラインとの交点）は、フレーム４０の中心に位置している。第１～第４象限は、フレーム４０の中心を軸として半時計回りに順に設定されている。なお、ここでは、フレーム４０とフレーム４０の外周とを含む領域が第１～第４象限に区分されている形態例を挙げているが、これは、あくまでも一例に過ぎず、フレーム４０とフレーム４０の外周とを含む領域は、３つ以下の領域に区分されていてもよいし、５つ以上の領域に区分されていてもよい。

【0104】

制御部８２Ｂは、カメラ５２からフレーム４０を取得すると、取得したフレーム４０を第１表示領域３６に表示する。ここで、画角に病変４２が収まっている場合、第１表示領域３６には、病変４２が写っているフレーム４０が表示される。図６に示す例では、フレーム４０内の第３象限に病変４２が写っている。一方、画角から病変４２が外れている場合、第１表示領域３６には、病変４２が写っていないフレーム４０が表示される。図６に示す例では、病変４２が画角から第１象限側に外れているため、第１表示領域３６に表示されるフレーム４０には病変４２が写っていない。そのため、医師１２は、画角から第１象限側に外れている病変４２の存在を視覚的に認識することができない。

【0105】

そこで、一例として図７に示すように、制御部８２Ｂは、認識結果９８等を用いて、フレーム４０に写っているか否かに関わらず、病変４２の存在位置（以下、「病変位置」とも称する）を特定し、特定結果を画面３５に表示する。これを実現するために、制御部８２Ｂは、カメラ５２からフレーム４０を取得する毎に、カメラ５２から取得したフレーム４０から特徴位置座標１０２を取得する。特徴位置座標１０２は、フレーム４０内での特徴的な箇所を特定可能な座標である。フレーム４０内での特徴的な箇所とは、例えば、形状が特徴的な高周波成分領域のエッジ１００（例えば、特徴的な曲線のエッジ）を指す。例えば、形状が特徴的な高周波成分領域は、周波数成分フィルタが用いられることによって抽出される。

【0106】

メモリ８４には、第１格納領域８４Ａが設けられており、制御部８２Ｂは、フレーム４０から特徴位置座標１０２を取得する毎に、取得した特徴位置座標１０２を第１格納領域８４ＡにＦＩＦＯ方式で格納する。これにより、第１格納領域８４Ａには、複数のフレーム４０のそれぞれから得られた複数の特徴位置座標１０２が時系列で格納される。なお、ここでは、説明の便宜上、各フレーム４０から１つの特徴位置座標１０２が取得されて第１格納領域８４ＡにＦＩＦＯ方式で格納される形態例を挙げているが、これは、あくまでも一例に過ぎず、各フレーム４０から複数の特徴位置座標１０２が取得されて第１格納領域８４ＡにＦＩＦＯ方式で格納されるようにしてもよい。この場合、例えば、形状が特徴的な複数の高周波成分領域のそれぞれから特徴位置座標１０２が取得されて、形状が特徴的な高周波成分領域毎に特徴位置座標１０２が第１格納領域８４ＡにＦＩＦＯ方式で格納されるようにすればよい。

【0107】

制御部８２Ｂは、第１格納領域８４Ａに時系列で格納されている複数の特徴位置座標１０２に基づいてオプティカルフロー１０４（すなわち、時系列に沿ったフレーム４０間の動きベクトル）を算出する。例えば、オプティカルフロー１０４の算出は、勾配法によって実現される。なお、勾配法は、あくまでも一例に過ぎず、オプティカルフロー１０４の算出は、ブロックマッチング法等によって実現されるようにしてもよい。また、ここでは、オプティカルフロー１０４の算出にエッジ１００が用いられる形態例を挙げているが、これは、あくまでも一例に過ぎず、オプティカルフロー１０４の算出には、形状が特徴的な高周波成分領域の重心等のように、時系列に沿ったフレーム４０間で追跡可能な箇所が用いられればよい。

【0108】

メモリ８４には、第２格納領域８４Ｂが設けられており、制御部８２Ｂは、フレーム４０毎にオプティカルフロー１０４を算出して第２格納領域８４ＢにＦＩＦＯ方式で格納する。これにより、第２格納領域８４Ｂには、フレーム４０毎に算出されることによって得られた複数のオプティカルフロー１０４が時系列で格納される。

【0109】

制御部８２Ｂは、カメラ５２から取得したフレーム４０に対して認識部８２Ａによって認識処理９６（図５参照）が行われることで得られた認識結果９８と、第２格納領域８４Ｂに格納されている１つ以上のオプティカルフロー１０４（例えば、最新のオプティカルフロー１０４、及び／又は、最新のオプティカルフロー１０４を含めた時系列に沿った複数のオプティカルフロー１０４）とに基づいて病変位置を特定する。例えば、制御部８２Ｂは、認識部８２Ａから取得した認識結果９８に含まれる幾何特性情報９８Ｂから、フレーム４０に写っている病変４２についての病変位置を特定する。そして、制御部８２Ｂは、フレーム４０に写っている病変４２についての病変位置と、第２格納領域８４Ｂに格納されている１つ以上のオプティカルフロー１０４とに基づいて、フレーム４０に写っていない病変４２（図７に示す例では、画角から第１象限側に外れている病変４２）についての病変位置を特定する。制御部８２Ｂによる病変位置の特定は、制御部８２Ｂによる二次元座標の取得によって実現される。ここで、制御部８２Ｂによって取得される二次元座標とは、フレーム４０の中心を原点とした二次元座標であって、病変位置を特定可能な二次元座標を指す。

【0110】

制御部８２Ｂは、画面情報１０５を生成して出力する。画面情報１０５は、画面３５を示す情報であり、画面３５の生成に用いられる情報である。画面３５には、フレーム４０、医療情報４４、及びビジュアルアシストマーク１０６が表示される。ここで、画面情報１０５は、本開示に係る「画面生成情報」の一例であり、ビジュアルアシストマーク１０６は、本開示に係る「存在位置情報」及び「画角外位置情報」の一例である。

【0111】

第１表示領域３６には、画面情報１０５に含まれるフレーム４０が表示される。第２表示領域３８には、画面情報１０５に含まれる医療情報４４が表示される。

【0112】

ビジュアルアシストマーク１０６は、病変４２が画角から外れている場合に画面３５に表示される。ビジュアルアシストマーク１０６は、病変４２が画角から外れている場合の病変位置を第１表示領域３６に表示されているフレーム４０の外側で特定可能な情報である。図７に示す例では、ビジュアルアシストマーク１０６の一例として、画面３５内に表示されるマークであって、第１表示領域３６に表示されているフレーム４０の外側で病変位置の視覚的な特定を支援するマークが示されている。ビジュアルアシストマーク１０６の形状は、円弧状である。ビジュアルアシストマーク１０６は、画面３５に象限単位で表示される。ビジュアルアシストマーク１０６は、象限単位で第１表示領域３６の外縁に沿って湾曲している。図７に示す例では、画角から第１象限側に病変４２が外れているので、画面３５内において、ビジュアルアシストマーク１０６は、病変４２が写っていないフレーム４０が表示されている第１表示領域３６の外側の第１象限に表示される。

【0113】

図８は、フレームアウト中の病変位置（すなわち、フレーム４０に写っていない病変４２についての病変位置）が変更された場合の表示内容の一例を示す概念図である。図８に示すように、制御部８２Ｂは、フレームアウト中の病変位置が画角の外側で移動すると、上述した手法（すなわち、１つ以上のオプティカルフロー１０４を使用する手法）で、画面３５内でのフレーム４０に対するビジュアルアシストマーク１０６の表示位置を変更する。

【0114】

画面３５内でのフレーム４０に対するビジュアルアシストマーク１０６の表示位置は、カメラ５２と病変４２との位置関係の変化に従って変更される。カメラ５２と病変４２との位置関係の変化は、制御部８２Ｂによって、第２格納領域８４Ｂに格納される１つ以上のオプティカルフロー１０４から特定される。

【0115】

制御部８２Ｂは、第２格納領域８４Ｂに格納される１つ以上のオプティカルフロー１０４に基づいて、カメラ５２と病変４２との位置関係の変化を特定し、特定した変化に応じて、画面３５内でのフレーム４０に対するビジュアルアシストマーク１０６の表示位置を変更する。カメラ５２と病変４２との位置関係の変化は、医師１２によるカメラ５２の操作、及び／又は、大腸２８内の体動によって齎される。そのため、ビジュアルアシストマーク１０６の表示位置は、カメラ５２と病変４２との位置関係の変化に従って変更されることにより、医師１２によるカメラ５２の操作、及び／又は、大腸２８内の体動に追従する。

【0116】

図８には、医師１２によるカメラ５２の操作、及び／又は、大腸２８内の体動に起因して画角の外側で病変位置が第１象限から第２象限に移動する例が示されている。画角の外側で病変位置が第１象限から第２象限に移動する場合、制御部８２Ｂは、画角の外側で病変位置が第１象限から第２象限に移動する経路をオプティカルフロー１０４から特定する。そして、制御部８２Ｂは、特定した経路に従って、画面３５内でのビジュアルアシストマーク１０６の表示位置を、病変４２が写っていないフレーム４０が表示されている第１表示領域３６の外側の第１象限から第２象限に変更する。

【0117】

図９は、フレーム４０の中心から病変４２までの距離が変化した場合のビジュアルアシストマーク１０６の表示態様の一例を示す概念図である。図９に示すように、フレーム４０の中心から病変４２までの距離が変化した場合、画面３５に表示されるビジュアルアシストマーク１０６の表示態様が、フレーム４０の中心から病変４２までの距離に応じて変更される。

【0118】

図９に示す例では、画面３５に表示されるビジュアルアシストマーク１０６の太さがフレーム４０の中心から病変４２までの距離に応じて変更される。フレーム４０の中心から病変位置が離れるほど、画面３５に表示されるビジュアルアシストマーク１０６が一定の範囲内で太くされる。この場合、例えば、制御部８２Ｂが、フレーム４０の中心から病変４２までの距離に応じてビジュアルアシストマーク１０６の表示態様（ここでは、一例として、太さ）を変更する。フレーム４０の中心から病変４２までの距離は、第２格納領域８４Ｂに格納される１つ以上のオプティカルフロー１０４に基づいて特定される。ここで、フレーム４０の中心から病変４２までの距離は、本開示に係る「特徴量」及び「変化の量」の一例である。

【0119】

また、ここでは、ビジュアルアシストマーク１０６の表示態様として、ビジュアルアシストマーク１０６の太さが変更される形態例を挙げたが、ビジュアルアシストマーク１０６の表示態様は、これに限定されない。例えば、ビジュアルアシストマーク１０６の表示態様は、ビジュアルアシストマーク１０６の少なくとも一部のサイズ、ビジュアルアシストマーク１０６の少なくとも一部の形状、ビジュアルアシストマーク１０６の少なくとも一部の色、ビジュアルアシストマーク１０６の少なくとも一部の輝度、ビジュアルアシストマーク１０６の少なくとも一部の透明度、ビジュアルアシストマーク１０６の少なくとも一部の模様、及び／又は、ビジュアルアシストマーク１０６の少なくとも一部の縁の形態等が挙げられる。

【0120】

ビジュアルアシストマーク１０６の表示態様がビジュアルアシストマーク１０６の太さ以外の表示態様であったとしても、フレーム４０の中心から病変４２までの距離が長くなる程、ビジュアルアシストマーク１０６が目立つようにビジュアルアシストマーク１０６の表示態様が変更されるようにすればよい。また、逆に、フレーム４０の中心から病変４２までの距離が短くなる程、ビジュアルアシストマーク１０６が目立つようにビジュアルアシストマーク１０６の表示態様が変更されるようにしてもよい。なお、フレーム４０の中心から病変４２までの距離が長くなる程、ビジュアルアシストマーク１０６を目立たせる表示態様による表示、及びフレーム４０の中心から病変４２までの距離が短くなる程、ビジュアルアシストマーク１０６を目立たせる表示態様による表示は、各種条件（例えば、受付装置６４によって受け付けられた指示等）に応じて切り替えられるようにしてもよい。

【0121】

次に、内視鏡装置１０の本開示に係る部分の作用について図１０を参照しながら説明する。図１０に示す医療支援処理の流れは、本開示に係る「医療支援方法」の一例である。図１０に示す医療支援処理は、医療支援処理を開始する条件を満足した場合にプロセッサ８２によって実行される。医療支援処理を開始する条件の一例としては、内視鏡装置１０に対して、医療支援処理を開始する指示が与えられたという条件（例えば、医療支援処理を開始する指示が受付装置６４によって受け付けられたという条件）が挙げられる。

【0122】

図１０に示す医療支援処理では、先ず、ステップＳＴ１０で、認識部８２Ａは、大腸２８内でカメラ５２によって１フレーム分の撮像が行われたか否かを判定する。ステップＳＴ１０において、大腸２８内でカメラ５２によって１フレーム分の撮像が行われていない場合は、判定が否定されて、医療支援処理は、ステップＳＴ２８へ移行する。ステップＳＴ１０において、大腸２８内でカメラ５２によって１フレーム分の撮像が行われた場合は、判定が肯定されて、医療支援処理はステップＳＴ１２へ移行する。

【0123】

ステップＳＴ１２で、認識部８２Ａ及び制御部８２Ｂは、カメラ５２によって大腸２８が撮像されることによって得られたフレーム４０を取得する。そして、制御部８２Ｂは、フレーム４０を第１表示領域３６に表示する。ここで、１フレーム前の撮像によって得られたフレーム４０が第１表示領域３６に表示されている場合、制御部８２Ｂは、第１表示領域３６に表示されているフレーム４０を最新のフレーム４０に更新する。ステップＳＴ１２の処理が実行された後、医療支援処理はステップＳＴ１４へ移行する。

【0124】

ステップＳＴ１４で、制御部８２Ｂは、ステップＳＴ１２で取得したフレーム４０から特徴位置座標１０２を取得する。そして、制御部８２Ｂは、フレーム４０から取得した特徴位置座標１０２を第１格納領域８４ＡにＦＩＦＯ方式で格納する。ステップＳＴ１４の処理が実行された後、医療支援処理はステップＳＴ１６へ移行する。なお、以下では、説明の便宜上、第１格納領域８４Ａに複数の特徴位置座標１０２が時系列で格納されていることを前提として説明する。

【0125】

ステップＳＴ１６で、認識部８２Ａは、ステップＳＴ１２で取得したフレーム４０に対して認識処理９６を実行する。ステップＳＴ１４の処理が実行された後、医療支援処理はステップＳＴ１８へ移行する。

【0126】

ステップＳＴ１８で、制御部８２Ｂは、ステップＳＴ１４によって認識処理９６が行われることで得られた認識結果９８に基づいて、ステップＳＴ１２で取得したフレーム４０に病変４２が写っているか否か（すなわち、認識部８２Ａによって病変４２が認識されたか否か）を判定する。ステップＳＴ１８において、ステップＳＴ１２で取得したフレーム４０に写っていない場合は、判定が否定されて、医療支援処理はステップＳＴ２２へ移行する。ステップＳＴ１６において、ステップＳＴ１２で取得したフレーム４０に病変４２が写っている場合は、判定が肯定されて、医療支援処理はステップＳＴ２０へ移行する。

【0127】

ステップＳＴ２０で、制御部８２Ｂは、ステップＳＴ１４によって認識処理９６が行われることで得られた認識結果９８に基づいて、第１表示領域３６内のフレーム４０にバウンディングボックスＢＢを重畳表示する。これにより、第１表示領域３６内の病変画像領域の表示位置にバウンディングボックスＢＢが重畳表示される。また、前回のステップＳＴ２０の処理が実行されることによって第１表示領域３６にバウンディングボックスＢＢが表示されている場合、制御部８２Ｂは、ステップＳＴ１４によって認識処理９６が行われることで得られた認識結果９８に基づいて、第１表示領域３６に表示されているバウンディングボックスＢＢを更新する。ステップＳＴ２０の処理が実行された後、医療支援処理はステップＳＴ１０へ移行する。

【0128】

ステップＳＴ２２で、制御部８２Ｂは、第１格納領域８４Ａに時系列で格納されている複数の特徴位置座標１０２に基づいてオプティカルフロー１０４を算出する。そして、制御部８２Ｂは、算出したオプティカルフロー１０４を第２格納領域８４ＢにＦＩＦＯ方式で格納する。ステップＳＴ２２の処理が実行された後、医療支援処理はステップＳＴ２４へ移行する。

【0129】

ステップＳＴ２４で、制御部８２Ｂは、ステップＳＴ１４によって認識処理９６が行われることで得られた認識結果９８と、第２格納領域８４Ｂに時系列で格納されている１つ以上のオプティカルフロー１０４と基づいて病変位置を特定する。ステップＳＴ２４の処理が実行された後、医療支援処理はステップＳＴ２６へ移行する。

【0130】

ステップＳＴ２６で、制御部８２Ｂは、画面３５内の第１～第４象限のうち、ステップＳＴ２４で特定した病変位置に対応する象限に、フレーム４０とステップＳＴ２４で特定した病変位置との位置関係（例えば、フレーム４０の中心から病変４２までの距離）に応じた表示態様でビジュアルアシストマーク１０６を表示する。ステップＳＴ２６の処理が実行された後、医療支援処理はステップＳＴ２８へ移行する。

【0131】

ステップＳＴ２８で、制御部８２Ｂは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、内視鏡装置１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６４によって受け付けられたという条件）が挙げられる。

【0132】

ステップＳＴ２８において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理はステップＳＴ１０へ移行する。ステップＳＴ２８において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。

【0133】

以上説明したように、本実施形態において、画面３５を示す画面情報１０５は制御部８２Ｂによって生成されて表示装置１８に出力される。画面情報１０５により示される画面３５には、カメラ５２によって大腸２８が撮像されることで得られたフレーム４０とビジュアルアシストマーク１０６とが含まれている。フレーム４０は、第１表示領域３６に表示される（図７参照）。ビジュアルアシストマーク１０６は、画角から外れた病変位置を、フレーム４０が表示されている第１表示領域３６の外側で特定可能なマークである（図７参照）。画面３５内でのフレーム４０に対するビジュアルアシストマーク１０６の表示位置は、カメラ５２と病変４２との位置関係の変化に従って変更される（図８及び図９参照）。

【0134】

これにより、カメラ５２と病変４２との位置関係が変化したとしても、画面３５内において、カメラ５２によって大腸２８が撮像されることで得られたフレーム４０が表示されている第１表示領域３６の外側で病変位置を医師１２に対して把握させることができる。この結果、画角から病変４２が外れたとしても、医師１２は、画面３５に表示されるビジュアルアシストマーク１０６とフレーム４０との位置関係を視認することで、画角外に病変４２が存在することを視覚的に把握することができ、かつ、画角外の病変位置も視覚的に推測することができる。また、画面３５内において、フレーム４０が表示されている第１表示領域３６の外側にビジュアルアシストマーク１０６が表示されるので、画角外に病変位置が存在することを示す情報が第１表示領域３６内のフレーム４０に重畳表示される場合に比べ、第１表示領域３６に表示されるフレーム４０に対する視認性を良好に保つことができる。

【0135】

また、本実施形態において、カメラ５２と病変４２との位置関係の変化は、医師１２によるカメラ５２の操作、及び／又は、大腸２８内の体動によって齎される。従って、医師１２によるカメラ５２の操作、及び／又は、大腸２８内の体動が原因で、カメラ５２と病変４２との位置関係が変化したとしても、画面３５内において、カメラ５２によって大腸２８が撮像されることで得られたフレーム４０が表示されている第１表示領域３６の外側で病変位置を医師１２に対して視覚的に把握させることができる。

【0136】

また、本実施形態において、ビジュアルアシストマーク１０６の表示位置は、カメラ５２と病変４２との位置関係の変化に従って変更されることにより、医師１２によるカメラ５２の操作、及び／又は、大腸２８内の体動に追従する（図８及び図９参照）。従って、医師１２によるカメラ５２の操作、及び／又は、大腸２８内の体動が原因で、カメラ５２と病変４２との位置関係が変化したとしても、医師１２は、ビジュアルアシストマーク１０６の表示位置を視覚的に追うことができる。

【0137】

また、本実施形態において、ビジュアルアシストマーク１０６の表示態様は、カメラ５２と病変４２との位置関係の変化の特徴（ここでは、一例として、フレーム４０の中心と病変位置との距離）に応じて変更される（図９参照）。従って、カメラ５２と病変４２との位置関係の変化の特徴に関わらずビジュアルアシストマーク１０６の表示態様が常に一定の場合に比べ、医師１２に対して、カメラ５２と病変４２との位置関係の変化の特徴の挙動を視覚的に把握させることができる。

【0138】

また、本実施形態において、ビジュアルアシストマーク１０６は、病変４２が画角から外れたことを条件に画面３５に表示される。従って、医師１２に対して、病変４２が画角から外れたことを適切なタイミングで把握させることができる。

【0139】

また、本実施形態において、病変４２が画角から外れている場合にビジュアルアシストマーク１０６が画面３５に表示され、ビジュアルアシストマーク１０６の表示態様が、カメラ５２と病変４２との位置関係の変化の特徴（ここでは、一例として、フレーム４０の中心と病変位置との距離）に応じて変更される（図９参照）。従って、病変４２が画角から外れたとしても、医師１２に対して、カメラ５２と病変４２との位置関係の変化の特徴の挙動を視覚的に把握させることができる。

【0140】

また、本実施形態において、認識処理９６は、ＡＩを用いることにより、フレーム４０に基づいて病変４２を認識する処理である。従って、内視鏡装置１０は、医師１２等の勘及び／又は経験のみを頼りにして病変４２を認識する場合に比べ、迅速に且つ正確に病変４２を認識することができる。

【0141】

［変形例］
上記実施形態では、図１０に示す医療支援処理がプロセッサ８２によって実行される形態例を挙げたが、これは、あくまでも一例に過ぎず、例えば、図１１に示す医療支援処理がプロセッサ８２によって実行されるようにしてもよい。図１１に示す医療支援処理は、ステップＳＴ１００の処理を有する点が図１０に示す医療支援処理と異なる。ステップＳＴ１００の処理は、ステップＳＴ２４の処理とステップＳＴ２６の処理との間に設けられている。

【0142】

図１１に示す医療支援処理では、ステップＳＴ１００で、制御部８２Ｂは、病変４２がフレームアウトした時間（以下、「フレームアウト時間」とも称する）が第１既定時間（例えば、数秒～数十秒の範囲内で事前に指定された秒数）以上であるか否かを判定する。すなわち、ステップＳＴ１００では、病変４２が画角から外れている時間が第１既定時間以上であるか否かが判定される。ここで、第１既定時間は、本開示に係る「既定時間」の一例である。

【0143】

ステップＳＴ１００において、フレームアウト時間が第１既定時間未満の場合は、判定が否定されて、医療支援処理はステップＳＴ２８へ移行する。ステップＳＴ１００において、フレームアウト時間が第１既定時間以上の場合は、判定が肯定されて、医療支援処理はステップＳＴ２６へ移行する。

【0144】

このようにすることで、フレームアウト時間が第１既定時間未満の場合には、ビジュアルアシストマーク１０６が画面３５に表示されず、フレームアウト時間が第１既定時間以上の場合には、ステップＳＴ２８の処理が実行されることによりビジュアルアシストマーク１０６が画面３５に表示される。これにより、フレームアウトした病変４２が医師１２によって忘れ去られている可能性が高い場合にビジュアルアシストマーク１０６が画面３５に表示されるので、医師１２が画角から外れた病変４２の存在を忘れ去られてしまうという事態の発生を抑制することができる。

【0145】

なお、第１既定時間は、病変４２が画角から外れている時間であって、医師１２によって画角から外れた病変４２の存在が忘れ去られる時間として、複数の内視鏡検査を通じて事前に収集された複数のデータを用いた統計学的な手法及び／又はコンピュータ・シミュレーション等によって導き出された時間であることが好ましい。また、第１既定時間は、受付装置６４等によって受け付けられた指示に従って定められた時間であってもよい。

【0146】

図１１に示す医療支援処理では、ステップＳＴ１００においてフレームアウト時間が第１既定時間以上であるという条件を満足した場合にステップＳＴ２６の処理が実行されるが、図１２に示す医療支援処理では、複数のマーク表示条件を満足した場合にステップＳＴ２６の処理が実行される。図１２に示す医療支援処理は、ステップＳＴ１００の処理に代えてステップＳＴ２００の処理を適用した点が図１１に示す医療支援処理と異なる。

【0147】

図１２に示す医療支援処理では、ステップＳＴ２００で、制御部８２Ｂは、複数のマーク表示条件の両方を満足したか否かを判定する。複数のマーク表示条件は、第１マーク表示条件と第２マーク表示条件である。第１マーク表示条件は、図１１に示す医療支援処理に含まれるステップＳＴ１００で規定されている条件、すなわち、フレームアウト時間が第１既定時間以上であるという条件である。第２マーク表示条件は、カメラ５２と病変４２との位置関係の変化の度合いが既定度合いを超えたという条件である。

【0148】

ここで、カメラ５２と病変４２との位置関係の変化の度合いの第１例としては、フレーム４０の中心から病変４２までの距離、すなわち、カメラ５２と病変４２との位置関係の変化の量が挙げられる。カメラ５２と病変４２との位置関係の変化の度合いの第２例としては、カメラ５２と病変４２との位置関係の変化の速さが挙げられる。カメラ５２と病変４２との位置関係の変化の度合いの第３例としては、カメラ５２と病変４２との位置関係の変化の量とカメラ５２と病変４２との位置関係の変化の速さとの組み合わせが挙げられる。カメラ５２と病変４２との位置関係の変化の量とカメラ５２と病変４２との位置関係の変化の速さとの組み合わせは、カメラ５２と病変４２との位置関係の変化の量を示すスコアとカメラ５２と病変４２との位置関係の変化の速さを示すスコアとを統合したスコアで表現されてもよい。統合したスコアの一例としては、カメラ５２と病変４２との位置関係の変化の量を示すスコアとカメラ５２と病変４２との位置関係の変化の速さを示すスコアとの和、又は、カメラ５２と病変４２との位置関係の変化の量を示すスコアとカメラ５２と病変４２との位置関係の変化の速さを示すスコアとの積などが挙げられる。

【0149】

既定度合いは、カメラ５２と病変４２との位置関係の変化の度合いであって、医師１２によって画角から外れた病変４２の存在が忘れ去られる度合いとして、複数の内視鏡検査を通じて事前に収集された複数のデータを用いた統計学的な手法及び／又はコンピュータ・シミュレーション等によって導き出された度合いであることが好ましい。また、既定度合いは、受付装置６４等によって受け付けられた指示に従って定められた度合いであってもよい。

【0150】

ステップＳＴ２００において、複数のマーク表示条件の両方を満足していない場合は、判定が否定されて、医療支援処理はステップＳＴ２８へ移行する。ステップＳＴ２００において、複数のマーク表示条件の両方を満足した場合は、判定が肯定されて、医療支援処理はステップＳＴ２６へ移行する。

【0151】

このようにすることで、複数のマーク表示条件の両方を満足していない場合は、ビジュアルアシストマーク１０６が画面３５に表示されず、複数のマーク表示条件の両方を満足した場合は、ステップＳＴ２６の処理が実行されることによりビジュアルアシストマーク１０６が画面３５に表示される。これにより、フレームアウトした病変４２の存在が医師１２によって忘れ去られている可能性が高い場合にビジュアルアシストマーク１０６が画面３５に表示されるので、画角から外れた病変４２の存在が医師１２によって忘れ去られてしまうという事態の発生を抑制することができる。

【0152】

なお、図１２に示すステップＳＴ２００では、複数のマーク表示条件の両方を満足したか否かが判定されるが、本開示はこれに限定されず、図１２に示すステップＳＴ２００では、第２マーク表示条件を満足したか否かのみが判定されるようにしてもよい。

【0153】

ところで、フレーム４０に一瞬しか写らずフレームアウトする病変４２は医師１２によって見逃されている可能性が高い。このような病変４２の見逃しの可能性を低くするために、図１３に示す医療支援処理がプロセッサ８２によって実行される。図１３に示す医療支援処理は、ステップＳＴ３００の処理とステップＳＴ３０２の処理とを有する点が図１２に示す医療支援処理と異なる。

【0154】

図１３に示す医療支援処理に含まれるステップＳＴ２００において判定が肯定された場合、医療支援処理はステップＳＴ３００へ移行する。ステップＳＴ３００で、制御部８２Ｂは、病変４２がフレームインした時間（以下、「フレームイン時間」とも称する）が第２既定時間（例えば、事前に指定された数秒）未満であるか否かを判定する。すなわち、ステップＳＴ３００では、病変４２が画角に収まっている時間が第２既定時間未満であるか否かが判定される。ここで、フレームイン時間は、本開示に係る「画角内時間」の一例であり、第２既定時間は、本開示に係る「一定」の一例である。

【0155】

ステップＳＴ３００において、フレームイン時間が第２既定時間以上の場合は、判定が否定されて、医療支援処理はステップＳＴ２６へ移行する。そして、ステップＳＴ２６の処理が実行された後、医療支援処理はステップＳＴ３０２へ移行する。ステップＳＴ３００において、フレームイン時間が第２既定時間未満の場合は、判定が肯定されて、医療支援処理はステップＳＴ３０２へ移行する。

【0156】

ステップＳＴ３０２で、制御部８２Ｂは、画面３５内の第１～第４象限のうち、ステップＳＴ２４で特定した病変位置に対応する象限（すなわち、病変位置が存在する象限）に、フレーム４０とステップＳＴ２４で特定した病変位置との位置関係（例えば、フレーム４０の中心から病変４２までの距離）に応じた表示態様でビジュアルアシストマーク１０６を表示する。ここで、制御部８２Ｂは、フレームイン時間が第２既定時間以上の場合よりも、ビジュアルアシストマーク１０６を強調して表示する。ステップＳＴ３０２の処理が実行された後、医療支援処理はステップＳＴ２８へ移行する。

【0157】

このように、ステップＳＴ３００の処理及びステップＳＴ３０２の処理が行われることで、一瞬しかフレーム４０に写らずにフレームアウトした病変４２が存在することを医師１２に対して視覚的に把握させ易くすることができる。この結果、一瞬しかフレーム４０に写らずにフレームアウトした病変４２を医師１２が見逃してしまうという事態の発生を抑制することができる。

【0158】

なお、第２既定時間は、一時的にフレームインしている病変４２を医師１２が認識することができ、かつ、病変４２がフレームアウトしたとしてもフレームアウト後の病変４２の存在を医師１２が忘れない時間の下限値として、複数の内視鏡検査を通じて事前に収集された複数のデータを用いた統計学的な手法及び／又はコンピュータ・シミュレーション等によって導き出された時間であることが好ましい。また、第２既定時間は、受付装置６４等によって受け付けられた指示に従って定められた時間であってもよい。

【0159】

図１４は、図１３に示す医療支援処理の変形例である。図１４に示す医療支援処理は、ステップＳＴ３０２の処理に代えてステップＳＴ４００の処理を有し、かつ、ステップＳＴ２６の処理に代えてステップＳＴ４０２の処理を有する点が図１３に示す医療支援処理と異なる。

【0160】

ステップＳＴ４００で、制御部８２Ｂは、画面３５内の第１～第４象限のうち、ステップＳＴ２４で特定した病変位置に対応する象限（すなわち、病変位置が存在する象限）に、フレーム４０とステップＳＴ２４で特定した病変位置との位置関係（例えば、フレーム４０の中心から病変４２までの距離）及び変化特徴に応じた表示態様でビジュアルアシストマーク１０６を表示する。また、制御部８２Ｂは、フレームイン時間が第２既定時間以上の場合よりも、ビジュアルアシストマーク１０６を強調して表示する。

【0161】

ステップＳＴ４０２で、制御部８２Ｂは、画面３５内の第１～第４象限のうち、ステップＳＴ２４で特定した病変位置に対応する象限（すなわち、病変位置が存在する象限）に、フレーム４０とステップＳＴ２４で特定した病変位置との位置関係（例えば、フレーム４０の中心から病変４２までの距離）及び変化特徴に応じた表示態様でビジュアルアシストマーク１０６を表示する。

【0162】

ここで、変化特徴とは、例えば、カメラ５２と病変４２との位置関係の変化の特徴を指す。変化特徴の一例としては、カメラ５２と病変４２との位置関係の変化の速さ、及び／又は、カメラ５２と病変４２との位置関係の変化の方向が挙げられる。カメラ５２と病変４２との位置関係の変化の速さ、及びカメラ５２と病変４２との位置関係の変化の方向は、制御部８２Ｂによって１つ以上のオプティカルフロー１０４から特定される。

【0163】

カメラ５２と病変４２との位置関係の変化の速さを特定する表示態様の一例としては、ビジュアルアシストマーク１０６を点滅させ、かつ、カメラ５２と病変４２との位置関係の変化の速さが大きいほど点滅の時間間隔を短くするという表示態様、又は、カメラ５２と病変４２との位置関係の変化の速さを示す数値等をビジュアルアシストマーク１０６に含める表示態様等が挙げられる。なお、ここで例示した表示態様は、あくまでも一例に過ぎず、カメラ５２と病変４２との位置関係の変化の速さを特定可能な表示態様であれば、如何なる表示態様であってもよい。

【0164】

カメラ５２と病変４２との位置関係の変化の方向を特定する表示態様の一例としては、カメラ５２と病変４２との位置関係の変化の方向を指し示す矢印をビジュアルアシストマーク１０６の模様として用いる表示態様、又は、カメラ５２と病変４２との位置関係の変化の方向を表すテキスト等をビジュアルアシストマーク１０６に含める表示態様等が挙げられる。なお、ここで例示した表示態様は、あくまでも一例に過ぎず、カメラ５２と病変４２との位置関係の変化の方向を特定可能な表示態様であれば、如何なる表示態様であってもよい。

【0165】

このように、ステップＳＴ４００の処理及びステップＳＴ４０２の処理が行われることにより、医師１２に対して、カメラ５２と病変４２との位置関係の変化の特徴（例えば、フレーム４０の中心から病変４２までの距離、カメラ５２と病変４２との位置関係の変化の速さ、及びカメラ５２と病変４２との位置関係の変化の方向）を視覚的に把握させることができる。

【0166】

図１４に示す医療支援処理では、ステップＳＴ３００においてフレームイン時間が第２既定時間未満であるという条件を満足した場合にビジュアルアシストマーク１０６が強調表示される形態例を挙げたが、本開示はこれに限定されない。例えば、図１５に示すように、複数の強調表示条件を満足した場合にビジュアルアシストマーク１０６が強調表示されるようにしてもよい。図１５に示す医療支援処理は、ステップＳＴ２００の処理とステップＳＴ２８の処理との間にステップＳＴ５００の処理及びステップＳＴ５０２の処理を有する点が図１４に示す医療支援処理と異なる。

【0167】

図１４に示す医療支援処理では、ステップＳＴ５００で、制御部８２Ｂは、複数の強調表示条件の両方を満足したか否かを判定する。複数の強調表示条件は、第１強調表示条件と第２強調表示条件である。第１強調表示条件は、図１４に示す医療支援処理に含まれるステップＳＴ３００で規定されている条件、すなわち、フレームイン時間が第２既定時間未満であるという条件である。第２強調表示条件は、単位時間内に病変４２がフレームインとフレームアウトとを繰り返している頻度、すなわち、単位時間内（例えば、１秒以内）に病変４２が画角の内外へ出入りしている頻度（以下、「出入り頻度」とも称する）が既定頻度を超えているという条件である。

【0168】

既定頻度は、単位時間内に病変４２がフレームインとフレームアウトとを繰り返している頻度であって、医師１２が病変４２を見逃す可能性が高い出入り頻度の下限値として、複数の内視鏡検査を通じて事前に収集された複数のデータを用いた統計学的な手法及び／又はコンピュータ・シミュレーション等によって導き出された値であることが好ましい。また、既定頻度は、受付装置６４等によって受け付けられた指示に従って定められた頻度であってもよい。

【0169】

ステップＳＴ５００において、複数の強調表示条件の両方を満足していない場合は、判定が否定されて、医療支援処理はステップＳＴ４０２へ移行する。ステップＳＴ５００において、複数の強調表示条件の両方を満足した場合は、判定が肯定されて、医療支援処理はステップＳＴ５０２へ移行する。

【0170】

ステップＳＴ５０２で、制御部８２Ｂは、画面３５内の第１～第４象限のうち、ステップＳＴ２４で特定した病変位置に対応する象限（すなわち、病変位置が存在する象限）に、フレーム４０とステップＳＴ２４で特定した病変位置との位置関係（例えば、フレーム４０の中心から病変４２までの距離）及び変化特徴に応じた表示態様でビジュアルアシストマーク１０６を表示する。また、制御部８２Ｂは、複数の強調表示条件の両方を満足していない場合よりも、ビジュアルアシストマーク１０６を強調して表示する。

【0171】

このようにすることで、複数の強調表示条件の両方を満足していない場合は、ビジュアルアシストマーク１０６が強調表示されず、複数の強調表示条件の両方を満足した場合は、ステップＳＴ５０２の処理が実行されることによりビジュアルアシストマーク１０６が強調表示される。これにより、画角に頻繁に出入りしている病変４２が医師１２によって見逃されてしまうという事態の発生を抑制することができる。

【0172】

なお、図１５に示すステップＳＴ５００では、複数の強調表示条件の両方を満足したか否かが判定されるが、本開示はこれに限定されず、図１５に示すステップＳＴ５００では、第２強調表示条件を満足したか否かのみが判定されるようにしてもよい。

【0173】

上記実施形態では、カメラ５２と病変４２との位置関係の変化の特徴の一例として、フレーム４０の中心から病変４２までの距離（すなわち、カメラ５２と病変４２との位置関係の変化の量）を例示したが、これは、あくまでも一例に過ぎない。カメラ５２と病変４２との位置関係の変化の特徴としては、例えば、カメラ５２と病変４２との位置関係の変化の速さ及び／又はカメラ５２と病変４２との位置関係の変化の方向等が挙げられる。また、カメラ５２と病変４２との位置関係の変化の特徴は、カメラ５２と病変４２との位置関係の変化の速さと、カメラ５２と病変４２との位置関係の変化の量との組み合わせであってもよい。また、カメラ５２と病変４２との位置関係の変化の特徴は、カメラ５２と病変４２との位置関係の変化の方向と、カメラ５２と病変４２との位置関係の変化の量と組み合わせであってもよい。また、カメラ５２と病変４２との位置関係の変化の特徴は、カメラ５２と病変４２との位置関係の変化の速さと、カメラ５２と病変４２との位置関係の変化の方向と、カメラ５２と病変４２との位置関係の変化の量との組み合わせであってもよい。

【0174】

上記実施形態では、ビジュアルアシストマーク１０６の表示態様として、ビジュアルアシストマーク１０６の太さが変更される形態例を挙げたが、ビジュアルアシストマーク１０６の表示態様は、これに限定されない。例えば、ビジュアルアシストマーク１０６の表示態様は、ビジュアルアシストマーク１０６の表示有無、ビジュアルアシストマーク１０６の表示強度、ビジュアルアシストマーク１０６の表示時間、及び／又は、ビジュアルアシストマーク１０６の表示強度を変更する速さ等であってもよい。

【0175】

ビジュアルアシストマーク１０６の表示態様がビジュアルアシストマーク１０６の表示有無である場合、例えば、カメラ５２と病変４２との位置関係の変化の特徴に応じて、ビジュアルアシストマーク１０６の表示と非表示とが切り替えられるようにする。より詳しく説明すると、例えば、カメラ５２と病変４２との位置関係の変化の速さが既定の速さ以上の場合に、ビジュアルアシストマーク１０６が表示され、カメラ５２と病変４２との位置関係の変化の速さが既定の速さ未満の場合に、ビジュアルアシストマーク１０６が表示されないようにする。また、例えば、カメラ５２と病変４２との位置関係の変化の量が既定量以上の場合に、ビジュアルアシストマーク１０６が表示され、カメラ５２と病変４２との位置関係の変化の量が既定量未満の場合に、ビジュアルアシストマーク１０６が表示されないようにする。また、例えば、カメラ５２と病変４２との位置関係の変化の方向が既定方向の場合に、ビジュアルアシストマーク１０６が表示され、カメラ５２と病変４２との位置関係の変化の方向が既定方向以外の場合に、ビジュアルアシストマーク１０６が表示されないようにする。

【0176】

ビジュアルアシストマーク１０６の表示態様がビジュアルアシストマーク１０６の表示強度である場合、例えば、カメラ５２と病変４２との位置関係の変化の特徴に応じて、ビジュアルアシストマーク１０６の表示強度が変更されるようにする。より詳しく説明すると、例えば、カメラ５２と病変４２との位置関係の変化の速さが既定の速さ以上の場合に、ビジュアルアシストマーク１０６の表示強度が既定強度以上に設定され、カメラ５２と病変４２との位置関係の変化の速さが既定の速さ未満の場合に、ビジュアルアシストマーク１０６の表示強度が既定強度未満に設定される。また、例えば、カメラ５２と病変４２との位置関係の変化の量が既定量以上の場合に、ビジュアルアシストマーク１０６の表示強度が既定強度以上に設定され、カメラ５２と病変４２との位置関係の変化の量が既定量未満の場合に、ビジュアルアシストマーク１０６の表示強度が既定強度未満に設定される。また、例えば、カメラ５２と病変４２との位置関係の変化の方向が既定方向の場合に、ビジュアルアシストマーク１０６の表示強度が既定強度以上に設定され、カメラ５２と病変４２との位置関係の変化の方向が既定方向以外の場合に、ビジュアルアシストマーク１０６の表示強度が既定強度未満に設定される。

【0177】

ビジュアルアシストマーク１０６の表示態様がビジュアルアシストマーク１０６の表示時間である場合、例えば、カメラ５２と病変４２との位置関係の変化の特徴に応じて、ビジュアルアシストマーク１０６の表示時間（例えば、ビジュアルアシストマーク１０６が継続して表示される時間）が変更されるようにする。より詳しく説明すると、例えば、カメラ５２と病変４２との位置関係の変化の速さが既定の速さ以上の場合に、ビジュアルアシストマーク１０６の表示時間が一定時間以上に設定され、カメラ５２と病変４２との位置関係の変化の速さが既定の速さ未満の場合に、ビジュアルアシストマーク１０６の表示時間が一定時間未満に設定される。また、例えば、カメラ５２と病変４２との位置関係の変化の量が既定量以上の場合に、ビジュアルアシストマーク１０６の表示時間が一定時間以上に設定され、カメラ５２と病変４２との位置関係の変化の量が既定量未満の場合に、ビジュアルアシストマーク１０６の表示時間が一定時間未満に設定される。また、例えば、カメラ５２と病変４２との位置関係の変化の方向が既定方向の場合に、ビジュアルアシストマーク１０６の表示時間が一定時間以上に設定され、カメラ５２と病変４２との位置関係の変化の方向が既定方向以外の場合に、ビジュアルアシストマーク１０６の表示時間が一定時間未満に設定される。

【0178】

ビジュアルアシストマーク１０６の表示態様がビジュアルアシストマーク１０６の表示強度を変更する速さである場合、例えば、カメラ５２と病変４２との位置関係の変化の特徴に応じて、ビジュアルアシストマーク１０６の表示強度を変更する速さが変更されるようにする。より詳しく説明すると、例えば、カメラ５２と病変４２との位置関係の変化の速さが大きくなる程、ビジュアルアシストマーク１０６の表示強度を変更する速さを大きくする。

【0179】

このように、ビジュアルアシストマーク１０６の表示有無、ビジュアルアシストマーク１０６の表示強度、ビジュアルアシストマーク１０６の表示時間、及び／又は、ビジュアルアシストマーク１０６の表示強度を変更する速さが、カメラ５２と病変４２との位置関係の変化の特徴に応じて変更されることで、病変４２が画角から外れたとしても、医師１２に対して、カメラ５２と病変４２との位置関係の変化の特徴を視覚的に認識させることができる。

【0180】

上記実施形態では、フレーム４０に写っていない病変４２についての病変位置を医師１２に対して視覚的に把握させるために、ビジュアルアシストマーク１０６が画面３５に表示される形態例を挙げたが、本開示はこれに限定されない。例えば、図１６に示すように、フレーム４０に病変４２が写っている場合（すなわち、画角に病変４２が収まっている場合）であっても、画面３５内において、病変４２が写っているフレーム４０が表示されている第１表示領域３６の外側にビジュアルアシストマーク１０８が表示されるようにしてもよい。ビジュアルアシストマーク１０８は、病変４２が画角に収まっている場合の病変４２についての存在位置を、病変４２が写っているフレーム４０が表示されている第１表示領域３６の外側で特定可能な情報である。図１６に示す例において、ビジュアルアシストマーク１０８は、本開示に係る「画角内位置情報」の一例である。

【0181】

ここでは、ビジュアルアシストマーク１０８が例示されているが、これは、あくまでも一例に過ぎない。例えば、ビジュアルアシストマーク１０８に代えてテキスト又はコード等が適用されてもよく、病変４２が画角に収まっている場合の病変４２についての存在位置を、病変４２が写っているフレーム４０が表示されている第１表示領域３６の外側で特定可能な情報であれば如何なる情報であってもよい。

【0182】

病変４２が写っているフレーム４０が表示されている第１表示領域３６の外側にビジュアルアシストマーク１０８が表示される場合、バウンディングボックスＢＢが非表示されるようにしてもよい。このようにすることで、バウンディングボックスＢＢの存在によってフレーム４０に対する視認性が悪くならないようにすることができ、かつ、病変４２がフレーム４０内の何れの象限に写っているかを視覚的に特定することができる。

【0183】

また、ビジュアルアシストマーク１０８は、ビジュアルアシストマーク１０６と区別可能な表示態様で表示されるようにすることが好ましい。図１６に示す例では、ビジュアルアシストマーク１０６は、円弧状の細線で表現されており、ビジュアルアシストマーク１０８よりも目立たない表示態様で表示されている。このようにすることで、医師１２に対して、どの病変４２が画角に収まっているか、どの病変４２が画角から外れているかを視覚的に把握させることができる。

【0184】

上記実施形態では、単一の病変４２が画角から外れた場合に単一のビジュアルアシストマーク１０６が画面３５に表示される形態例を挙げたが、本開示はこれに限定されない。例えば、図１７に示すように、複数の病変４２（図１７に示す例では、２つの病変４２）が画角から外れた場合、病変４２の個数分だけビジュアルアシストマーク１０８（図１７に示す例では、２つのビジュアルアシストマーク１０８）が画面３５に表示されるようにしてもよい。この場合も、上記実施形態と同様に、病変４２が存在する象限が視覚的に特定可能となるように、フレーム４０が表示されている第１表示領域３６の外側で、各病変位置に対応する象限にビジュアルアシストマーク１０８が表示されるようにする。

【0185】

また、フレーム４０に複数の病変４２（図１７に示す例では、２つの病変４２）が写っている場合には、フレーム４０に写っている病変４２の個数分だけビジュアルアシストマーク１０６（図１７に示す例では、２つのビジュアルアシストマーク１０６）が画面３５に表示されるようにしてもよい。この場合も、図１６に示す例と同様に、各病変４２が存在する象限が視覚的に特定可能となるように、フレーム４０が表示されている第１表示領域３６の外側で、各病変位置に対応する象限に各ビジュアルアシストマーク１０８が表示されるようにする。

【0186】

また、図１７に示す例では、病変４２の個数分だけビジュアルアシストマーク１０８が画面３５に表示される形態例を挙げたが、これはあくまでも一例に過ぎない。例えば、図１８に示すように、画角から外れた複数の病変４２が同じ象限（図１８に示す例では、第１象限）に存在している場合には、画面３５内において、同一の象限（図１８に示す例では、第１象限）に１つのビジュアルアシストマーク１０８が表示され、かつ、病変４２の個数を示す記号又はテキスト等（図１８に示す例では、２個を示す「×２」というテキスト）が表示されるようにすればよい。

【0187】

また、画角に収まっている複数の病変４２が同じ象限（図１８に示す例では、第３象限）に存在している場合には、画面３５内において、同一の象限（図１８に示す例では、第３象限）に１つのビジュアルアシストマーク１０６が表示され、かつ、病変４２の個数を示す記号又はテキスト等（図１８に示す例では、２個を示す「×２」というテキスト）が表示されるようにすればよい。

【0188】

上記実施形態では、ビジュアルアシストマーク１０８が画面３５に表示されることによって画角から外れている病変４２の存在が医師１２によって視覚的に把握されるようにしたが、本開示はこれに限定されない。例えば、図１９に示すように、ビジュアルアシストマーク１０８に代えてコード１０７が画面３５に表示されるようにしてもよい。コード１０７は、病変４２に対して固有に定められた識別子である。そのため、異なるコード１０７が画面３５に表示されることで、異なる病変４２が画角外に存在していることを視覚的に把握することが可能となる。また、コード１０７は、病変４２の特徴（例えば、病変４２の悪性度、病変４２が存在する部位、病変４２の種類、病変４２の型、病変４２の形態、病変４２と病変４２の周辺との境界の態様、及び病変４２の粘液の付着態様等）を特定可能なコードであってもよい。また、上述した変化特徴に応じてコード１０７の表示態様（例えば、色、輝度、太さ、及び／又は点滅パターン等）が変更されるようにしてもよい。

【0189】

なお、図１９に示す例では、ビジュアルアシストマーク１０６が画面３５に表示されている態様が示されているが、ビジュアルアシストマーク１０６に代えてコード１０７が画面３５に表示されるようにしてもよい。

【0190】

図１９に示す例では、コード１０７が画面３５に表示されることによって画角から外れている病変４２の存在が医師１２によって視覚的に把握される形態例を挙げたが、本開示はこれに限定されない。例えば、図２０に示すように、画角から外れている病変４２が存在している場合、コード１０７に代えて、画角から外れている病変４２の存在が特定可能な矢印１０９が画面３５に表示されるようにしてもよい。

【0191】

例えば、矢印１０９の向きは、カメラ５２と画角から外れている病変４２との位置関係に応じて定められており、カメラ５２と画角から外れている病変４２との位置関係の変化に従って変更される。例えば、カメラ５２と画角から外れている病変４２との距離が閾値未満の場合には矢印１０９の先端を第１表示領域３６側に向け、カメラ５２と画角から外れている病変４２との距離が閾値以上の場合には矢印１０９の先端を第１表示領域３６の外側に向ける。また、カメラ５２と画角から外れている病変４２との距離が長くなるほど、矢印１０９の長さも一定の範囲内で長くなるようにしてもよい。また、上述した変化特徴に応じて矢印１０９の表示態様（例えば、色、輝度、太さ、及び／又は点滅パターン等）が変更されるようにしてもよい。

【0192】

上記実施形態では、ビジュアルアシストマーク１０６が第１表示領域３６の外側に表示される形態例を挙げたが、例えば、図２１に示すように、ビジュアルアシストマーク１０６は、医療情報４４の一部として、第２表示領域３８に表示されるようにしてもよい。この場合、病変位置マップ９８Ｃが医療情報４４の一部として第２表示領域３８に表示されるようにしてもよい。病変位置マップ９８Ｃが第２表示領域３８に表示される場合、上記実施形態でフレーム４０に対してビジュアルアシストマーク１０６を位置決めしたのと同様の要領で、第２表示領域３８内でも、病変位置マップ９８Ｃに対してビジュアルアシストマーク１０６が位置決めされるようにすればよい。すなわち、病変位置マップ９８Ｃの外側でビジュアルアシストマーク１０６が表示されるようにすればよい。また、ビジュアルアシストマーク１０６に代えて、コード１０７又は矢印１０９が第２表示領域３８に表示されるようにしてもよい。また、図１６～図１８等に示した要領と同様の要領で、ビジュアルアシストマーク１０８が第２表示領域３８に表示されるようにしてもよい。

【0193】

図２１に示す例において、第２表示領域３８に表示される病変位置マップ９８Ｃは、本開示に係る「画像に基づいて生成された医用画像」の一例であり、第２表示領域３８に表示されるビジュアルアシストマーク１０６は、本開示に係る「存在位置情報」及び「画角外位置情報」の一例である。

【0194】

図２１に示す例では、病変位置マップ９８Ｃが第２表示領域３８に表示される形態例を挙げたが、病変位置マップ９８Ｃに代えてフレーム４０が第２表示領域３８に表示されるようにしてもよい。この場合も、上記実施形態と同様の要領で、第２表示領域３８内において、フレーム４０に対してビジュアルアシストマーク１０６が位置決めされるようにすればよい。また、病変位置マップ９８Ｃに代えて、フレーム４０が加工された画像が第２表示領域３８に表示されるようにしてもよい。フレーム４０が加工された画像の一例としては、フレーム４０が低画質化された画像（例えば、画素数及び／又は階調が減らされた画像）、又は、フレーム４０が高画質化された画像（例えば、ＡＩを用いた非線形フィルタによってフレーム４０からノイズ等が除去されることによって得られた画像、又は、フレーム４０を基にしてＡＩによって新たに生成された画像）が挙げられる。

【0195】

このように、第２表示領域３８に、フレーム４０、又は、フレーム４０に基づいて生成された画像が表示され、かつ、上記実施形態と同様の要領でビジュアルアシストマーク１０６及び／又は１０８が表示されることにより、上記実施形態と同様の効果が期待できる。

【0196】

なお、図２１に示す例では、第２表示領域３８に、フレーム４０に基づいて生成された画像の一例として病変位置マップ９８Ｃが表示され、かつ、上記実施形態と同様の要領でビジュアルアシストマーク１０６及び／又は１０８が表示される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、第１表示領域３６に、フレーム４０に基づいて生成された画像（例えば、病変位置マップ９８Ｃ等）が表示され、かつ、上記実施形態と同様の要領でビジュアルアシストマーク１０６及び／又は１０８が第１表示領域３６の外側に表示されるようにしてもよい。

【0197】

上記実施形態では、象限単位でビジュアルアシストマーク１０６が表示される形態例を挙げたが、本開示はこれに限定されない。例えば、図２２に示すように、フレーム４０の中心を仮想的な円ＶＣの中心とした場合、制御部８２Ｂは、１つ以上のオプティカルフロー１０４に基づいて、画角から外れている病変４２の位置に対応する径方向位置（すなわち、円ＶＣの径方向上での病変４２の位置）を特定する。また、制御部８２Ｂは、認識結果９８に含まれる幾何特性情報９８Ｂに基づいて、画角から外れている病変４２の大きさを特定する。そして、制御部８２Ｂは、画面３５内において、フレーム４０が表示されている第１表示領域３６の外側の径方向位置に病変４２の大きさに対応する大きさのビジュアルアシストマーク１０６を表示する。画角から外れている病変４２が移動した場合も、同様の要領で、制御部８２Ｂによって、径方向位置及び病変４２の大きさが特定され、特定された径方向位置に、病変４２の大きさに対応する大きさのビジュアルアシストマーク１０６が表示される。この場合も、ビジュアルアシストマーク１０６の表示位置は、フレーム４０が表示されている第１表示領域３６の外側であるが、上記実施形態のように象限単位で制限されておらず自由度が高いため、医師１２は、ビジュアルアシストマーク１０６の表示位置から、画角から外れている病変４２の存在位置を視覚的に精度良く把握することができる。

【0198】

図１４に示す例では、変化特徴に応じた表示態様でビジュアルアシストマーク１０６が画面３５に表示される形態例を挙げたが、本開示はこれに限定されない。例えば、ビジュアルアシストマーク１０６の表示態様は、病変４２の特徴に応じて変更されるようにしてもよい。この場合、例えば、制御部８２Ｂは、認識結果９８に含まれる病変特徴情報９８Ｄ（図５参照）に基づいて病変４２の特徴を特定する。そして、制御部８２Ｂは、病変４２の特徴に応じた表示態様でビジュアルアシストマーク１０６を画面３５に表示する。

【0199】

一例として図２３に示すように、病変４２の特徴に応じた表示態様は、表示態様テーブル１１０によって規定されている。表示態様テーブル１１０は、ストレージ８６に格納されている。表示態様テーブル１１０は、第１～第７表示態様テーブル１１０Ａ～１１０Ｇに類別される。

【0200】

第１表示態様テーブル１１０Ａでは、病変４２の悪性度と表示態様とが対応付けられている。病変４２の悪性度に対応付けられている表示態様は色である。図２３に示す例では、病変４２の悪性度のそれぞれに対して異なる色が対応付けられている。制御部８２Ｂは、病変特徴情報９８Ｄから病変４２の悪性度を特定する。そして、制御部８２Ｂは、第１表示態様テーブル１１０Ａを参照することで、病変特徴情報９８Ｄから特定した悪性度に対応する色を特定し、特定した色でビジュアルアシストマーク１０６を画面３５に表示する。

【0201】

第２表示態様テーブル１１０Ｂでは、病変４２が存在する部位と表示態様とが対応付けられている。病変４２が存在する部位に対応付けられている表示態様は、ビジュアルアシストマーク１０６に含める模様である。図２３に示す例では、病変４２が存在する部位のそれぞれに対して異なる模様が対応付けられている。制御部８２Ｂは、病変特徴情報９８Ｄから病変４２が存在する部位を特定する。そして、制御部８２Ｂは、第２表示態様テーブル１１０Ｂを参照することで、病変特徴情報９８Ｄから特定した部位に対応する模様を特定し、特定した模様を含むビジュアルアシストマーク１０６を画面３５に表示する。

【0202】

第３表示態様テーブル１１０Ｃでは、病変４２の種類と表示態様とが対応付けられている。病変４２の種類に対応付けられている表示態様は、ビジュアルアシストマーク１０６を点滅させる点滅パターンである。図２３に示す例では、病変４２の種類のそれぞれに対して異なる点滅パターンが対応付けられている。制御部８２Ｂは、病変特徴情報９８Ｄから病変４２の種類を特定する。そして、制御部８２Ｂは、第３表示態様テーブル１１０Ｃを参照することで、病変特徴情報９８Ｄから特定した種類に対応する点滅パターンを特定し、特定した点滅パターンでビジュアルアシストマーク１０６を画面３５に表示する。

【0203】

第４表示態様テーブル１１０Ｄでは、病変４２の型と表示態様とが対応付けられている。病変４２の型に対応付けられている表示態様は、ビジュアルアシストマーク１０６の形状である。図２３に示す例では、病変４２の型のそれぞれに対して異なる形状が対応付けられている。制御部８２Ｂは、病変特徴情報９８Ｄから病変４２の型を特定する。そして、制御部８２Ｂは、第４表示態様テーブル１１０Ｄを参照することで、病変特徴情報９８Ｄから特定した型に対応する形状を特定し、特定した形状に形成されたビジュアルアシストマーク１０６を画面３５に表示する。

【0204】

第５表示態様テーブル１１０Ｅでは、病変４２の形態と表示態様とが対応付けられている。病変４２の形態に対応付けられている表示態様は、ビジュアルアシストマーク１０６の輝度である。図２３に示す例では、病変４２の形態のそれぞれに対して異なる輝度が対応付けられている。制御部８２Ｂは、病変特徴情報９８Ｄから病変４２の形態を特定する。そして、制御部８２Ｂは、第５表示態様テーブル１１０Ｅを参照することで、病変特徴情報９８Ｄから特定した形態に対応する輝度を特定し、特定した輝度でビジュアルアシストマーク１０６を画面３５に表示する。

【0205】

第６表示態様テーブル１１０Ｆでは、病変４２と病変４２の周辺との境界の態様と表示態様とが対応付けられている。病変４２と病変４２の周辺との境界の態様に対応付けられている表示態様は、ビジュアルアシストマーク１０６の外形線である。図２３に示す例では、病変４２と病変４２の周辺との境界の態様（図２３に示す例では、病変４２と病変４２の周辺との境界が有りの態様、及び病変４２と病変４２の周辺との境界が無しの態様）のそれぞれに対して異なる外形線が対応付けられている。制御部８２Ｂは、病変特徴情報９８Ｄから病変４２と病変４２の周辺との境界の態様を特定する。そして、制御部８２Ｂは、第６表示態様テーブル１１０Ｆを参照することで、病変特徴情報９８Ｄから特定した態様に対応する外形線を特定し、特定した外形線のビジュアルアシストマーク１０６を画面３５に表示する。

【0206】

第７表示態様テーブル１１０Ｇでは、病変４２の粘液の付着態様と表示態様とが対応付けられている。病変４２の粘液の付着態様に対応付けられている表示態様は、ビジュアルアシストマーク１０６の半透明化の有無である。図２３に示す例では、病変４２の粘液の付着態様（図２３に示す例では、粘液の付着の有無）のそれぞれに対して半透明化の有無が対応付けられている。制御部８２Ｂは、病変特徴情報９８Ｄから病変４２の粘液の付着態様を特定する。そして、制御部８２Ｂは、第７表示態様テーブル１１０Ｇを参照することで、病変特徴情報９８Ｄから特定した付着態様に対応する半透明化の有無を特定し、特定した半透明化の有無に従ってビジュアルアシストマーク１０６を画面３５に表示する。この場合、例えば、病変４２の粘液の付着が「有り」の場合、ビジュアルアシストマーク１０６が半透明化されて画面３５に表示され、病変４２の粘液の付着が「無し」の場合、ビジュアルアシストマーク１０６が半透明化されずに画面３５に表示される。

【0207】

このように、画角から外れた病変４２の特徴に応じてビジュアルアシストマーク１０６の表示態様が変更されることにより、医師１２に対して、画角から外れた病変４２の特徴を視覚的に把握させることができる。

【0208】

なお、図２３に示した表示態様はあくまでも一例に過ぎず、病変４２の特徴が視覚的に特定可能な表示態様であれば如何なる表示態様であってもよい。

【0209】

上記実施形態では、制御部８２Ｂによって１つ以上のオプティカルフロー１０４に基づいてカメラ５２と病変４２との位置関係が特定される形態例を挙げたが、本開示はこれに限定されない。例えば、内視鏡挿入形状観察装置（通称：コロナビ）による検出結果に基づいてカメラ５２と病変４２との位置関係が特定されるようにしてもよい。

【0210】

この場合、一例として図２４に示すように、カメラ５２には、磁界生成コイル１１２が設けられており、外部Ｉ／Ｆ８０には、受信器１１４が接続されている。磁界生成コイル１１２から発生する磁界は、受信器１１４によって受信される。プロセッサ８２は、受信器１１４での受信結果に基づいて大腸２８内でのカメラ５２の挙動（例えば、位置及び向き等）を検出し、検出結果に基づいてカメラ５２と病変４２との位置関係を特定する。このようにすることで、大腸２８内でのカメラ５２の挙動が精度良く検出されるので、カメラ５２と病変４２との位置関係を精度良く特定することが可能となる。

【0211】

ここで挙げた内視鏡挿入形状観察装置は、あくまでも一例に過ぎず、内視鏡挿入形状観察装置以外のセンサが用いられるようにしてもよい。例えば、加速度センサ、ジャイロセンサ、及び／又は磁気センサ等のように、大腸２８内でのカメラ５２の挙動が検出可能なセンサによる検出結果に基づいて大腸２８内でのカメラ５２と病変４２との位置関係が特定されるようにしてもよい。ここで例示した内視鏡挿入形状観察装置、加速度センサ、ジャイロセンサ、及び磁気センサは、本開示に係る「センサ」の一例である。

【0212】

上記実施形態では、制御部８２Ｂによって画面情報１０５が生成されて表示装置１８に出力される形態例を挙げたが、本開示はこれに限定されない。例えば、図２５に示すように、制御部８２Ｂは、画面生成情報１１６を生成するようにしてもよい。画面生成情報１１６には、フレーム４０と、医療情報４４と、ビジュアルアシストマーク１０６と、レイアウト情報１１７とが含まれる。ここで、画面生成情報１１６は、本開示に係る「画面生成情報」の一例であり、レイアウト情報１１７は、本開示に係る「位置指示情報」の一例である。

【0213】

レイアウト情報１１７は、フレーム４０、医療情報４４、及びビジュアルアシストマーク１０６の画面３５内でのレイアウトを規定した情報である。フレーム４０の画面３５内でのレイアウトを規定した情報の一例としては、画面３５内でフレーム４０が表示される位置を指示する情報（例えば、画面３５内でフレーム４０が表示される位置を特定可能な座標を含む情報）が挙げられる。医療情報４４の画面３５内でのレイアウトを規定した情報の一例としては、画面３５内で医療情報４４が表示される位置を指示する情報（例えば、画面３５内で医療情報４４が表示される位置を特定可能な座標を含む情報）が挙げられる。ビジュアルアシストマーク１０６の画面３５内でのレイアウトを規定した情報の一例としては、画面３５内でビジュアルアシストマーク１０６が表示される位置を指示する情報（例えば、画面３５内でビジュアルアシストマーク１０６表示される位置を特定可能な座標を含む情報）が挙げられる。

【0214】

ここで、画面３５内でフレーム４０が表示される位置とは、第１表示領域３６の位置を指す。また、画面３５内で医療情報４４が表示される位置とは、第２表示領域３８の位置を指す。また、画面３５内でビジュアルアシストマーク１０６が表示される位置とは、病変位置を、フレーム４０が表示されている第１表示領域３６の外側で特定可能な位置を指す。

【0215】

画面３５内でビジュアルアシストマーク１０６が表示される位置は、例えば、上記実施形態と同様の要領で、制御部８２Ｂによって、カメラ５２と病変４２との位置関係に応じて定められる。カメラ５２と病変４２との位置関係が変化すると、オプティカルフロー１０４が更新され、これに伴って、画面３５内でビジュアルアシストマーク１０６が表示される位置は更新される。

【0216】

つまり、制御部８２Ｂは、カメラ５２と病変４２との位置関係の変化に応じてオプティカルフロー１０４を更新し、更新したオプティカルフロー１０４に従って、レイアウト情報１１７に含まれる一部の情報（すなわち、画面３５内でビジュアルアシストマーク１０６が表示される位置を指示する情報）を更新する。

【0217】

制御部８２Ｂは、画面生成情報１１６をコントローラ１１８に出力する。コントローラ１１８の一例としては、制御装置２２、タブレット端末、パーソナル・コンピュータ、又はサーバ等が挙げられる。コントローラ１１８には、表示装置１８が接続されている。コントローラ１１８は、制御部８２Ｂから入力された画面生成情報１１６に基づいて画面３５を生成して表示装置１８に表示する。

【0218】

また、制御部８２Ｂは、カメラ５２と病変４２との位置関係の変化に応じて画面生成情報１１６を更新する。この場合、例えば、画面３５内でビジュアルアシストマーク１０６が表示される位置が、カメラ５２と病変４２との位置関係の変化に応じて更新される。表示装置１８には、更新された画面生成情報１１６に基づいてコントローラ１１８によって生成された画面３５が表示される。

【0219】

このように、フレーム４０と、医療情報４４と、ビジュアルアシストマーク１０６と、レイアウト情報１１７とを含む画面生成情報１１６が制御部８２Ｂによって生成されて出力される場合であっても、上記実施形態と同様の効果が期待できる。

【0220】

また、図２５に示す例では、フレーム４０と、医療情報４４と、ビジュアルアシストマーク１０６と、レイアウト情報１１７とを含む画面生成情報１１６が制御部８２Ｂによって生成されて出力される形態例を挙げたが、コントローラ１１８によってビジュアルアシストマーク１０６が生成されるのであれば、制御部８２Ｂは、画面生成情報１１６として、フレーム４０と、医療情報４４と、レイアウト情報１１７とを含む情報を生成してコントローラ１１８に出力するようにしてもよい。

【0221】

なお、ここでは、画面生成情報１１６に医療情報４４が含まれる形態例を挙げたが、画面生成情報１１６に医療情報４４が含まれていなくてもよい。

【0222】

また、制御部８２Ｂは、画面生成情報１１６を分割してコントローラ１１８に出力するようにしてもよい。例えば、制御部８２Ｂは、フレーム４０、医療情報４４、ビジュアルアシストマーク１０６、及びレイアウト情報１１７を時分割で出力するようにしてもよい。

【0223】

上記実施形態では、画面情報１０５が表示装置１８に出力される形態例を挙げたが、これは、あくまでも一例に過ぎず、画面情報１０５は、ストレージ７６及び／又は８６に出力されてもよい。また、画面情報１０５は、内視鏡装置１０の外部に存在する処理装置（例えば、タブレット端末、パーソナル・コンピュータ、及び／又はサーバ等）に出力されるようにしてもよい。また、画面情報１０５は、プリンタに出力されるようにしてもよい。この場合、例えば、プリンタは、入力された画面情報１０５により示される画面３５を可視化した画像を媒体（例えば、紙）に印刷する。

【0224】

上記実施形態では、本開示に係る「体内特徴領域」の一例として病変４２を例示したが、本開示はこれに限定されず、病変４２に代えて、切除領域、出血領域、マーキング領域、臓器、又は処置具（例えば、体内に留置された止血用クリップ）等が適用されたとしても、上述した医療支援処理は成立する。

【0225】

上記実施形態では、認識部８２Ａにフレーム４０が入力され、制御部８２Ｂから画面情報１０５が出力される形態例を挙げたが、本開示はこれに限定されない。例えば、いわゆる生成ＡＩにフレーム４０を含む指示データ（いわゆるプロンプト）が入力され、生成ＡＩから画面情報１０５が出力されるようにしてもよい。生成ＡＩの一例としては、ＧＰＴ－４（インターネット検索＜https://openai.com/gpt-4＞）等が用いられたＣｈａｔＧＰＴが挙げられる。

【0226】

また、画面情報１０５に含まれる情報の少なくとも一部（例えば、フレーム４０及びビジュアルアシストマーク１０６）を含む指示データが生成ＡＩに対する入力情報として用いられるようにしてもよい。生成ＡＩから出力される情報の一例としては、カメラ５２と病変４２との位置関係を特定可能な情報、カメラ５２と病変４２との位置関係の変化を特定可能な情報、カメラ５２の操作内容を示す情報、内視鏡検査中に行われることが推奨される医療的処置の内容を示す情報、及び／又は内視鏡検査後に行われることが推奨される医療的処置の内容を示す情報等が挙げられる。生成ＡＩから出力された情報は、各種の格納領域（例えば、ストレージ７６及び／又は８６）に格納されたり、表示装置１８に医療情報４４として表示されたり、プリンタによって媒体に印刷されたり、スピーカから音声で出力されたりするようにしてもよい。

【0227】

上記実施形態では、バウンディングボックス方式でのＡＩを用いた認識処理９６を例示したが、これは、あくまでも一例に過ぎず、例えば、バウンディングボックス方式でのＡＩを用いた認識処理９６に代えて、セグメンテーション方式でのＡＩを用いた認識処理が行われるようにしてもよい。また、ＡＩ方式の認識処理に代えて、非ＡＩ方式（例えば、テンプレートマッチング方式）の認識処理が行われるようにしてもよいし、非ＡＩ方式とＡＩ方式とを組み合わせた認識処理が行われるようにしてもよい。

【0228】

上記実施形態では、コンピュータ７８によって医療支援処理が行われる形態例を挙げて説明したが、本開示はこれに限定されず、医療支援処理に含まれる少なくとも一部の処理はコンピュータ７８の外部に設けられたデバイスによって行われるようにしてもよい。以下、この場合の一例について図２６を参照しながら説明する。

【0229】

図２６は、内視鏡装置１２０の構成の一例を示す概念図である。内視鏡装置１２０は、本開示に係る「内視鏡装置」の一例である。内視鏡装置１２０は、上記実施形態で説明した内視鏡装置１０に比べ、外部装置１２２を有する点が異なる。

【0230】

外部装置１２２は、ネットワーク１２４（例えば、ＷＡＮ及び／又はＬＡＮ等）を介してコンピュータ７８と通信可能に接続されている。

【0231】

外部装置１２２の一例としては、ネットワーク１２４を介してコンピュータ７８と直接的に又は間接的にデータの送受信を行う少なくとも１台のサーバが挙げられる。外部装置１２２は、コンピュータ７８のプロセッサ８２からネットワーク１２４を介して与えられた処理実行指示を受信する。そして、外部装置１２２は、受信した処理実行指示に応じた処理を実行し、処理結果を、ネットワーク１２４を介してコンピュータ７８に送信する。コンピュータ７８では、プロセッサ８２が、外部装置１２２からネットワーク１２４を介して送信された処理結果を受信し、受信した処理結果を用いた処理を実行する。

【0232】

処理実行指示としては、例えば、医療支援処理の少なくとも一部を外部装置１２２に対して実行させる指示が挙げられる。医療支援処理の少なくとも一部（すなわち、外部装置１２２に対して実行させる処理）の第１例としては、認識処理９６が挙げられる。この場合、外部装置１２２は、プロセッサ８２からネットワーク１２４を介して与えられた処理実行指示に従って認識処理９６を実行し、認識結果９８を、ネットワーク１２４を介してコンピュータ７８に送信する。コンピュータ７８では、プロセッサ８２が、認識結果９８を受信し、受信した認識結果９８を用いて上記実施形態と同様の処理を実行する。

【0233】

医療支援処理の少なくとも一部（すなわち、外部装置１２２に対して実行させる処理）の第２例としては、制御部８２Ｂによる処理が挙げられる。この場合、外部装置１２２は、プロセッサ８２からネットワーク１２４を介して与えられた処理実行指示に従って、制御部８２Ｂによる処理を実行し、処理結果（例えば、画面情報１０５等）を、ネットワーク１２４を介してコンピュータ７８に送信する。コンピュータ７８では、プロセッサ８２が、処理結果を受信し、受信した処理結果を用いて上記実施形態と同様の処理（例えば、表示装置１８を用いた表示等）を実行する。

【0234】

例えば、外部装置１２２は、クラウドコンピューティングによって実現される。なお、クラウドコンピューティングは、あくまでも一例に過ぎず、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。サーバに代えて、少なくとも１台のパーソナル・コンピュータ等を外部装置１２２として用いてもよい。また、複数種類のＡＩ機能が搭載された通信機能付き演算装置であってもよい。

【0235】

上記実施形態では、ストレージ８６に医療支援プログラム９０が記憶されている形態例を挙げて説明したが、本開示はこれに限定されない。例えば、医療支援プログラム９０がＳＳＤ又はＵＳＢメモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている医療支援プログラム９０は、内視鏡装置１０のコンピュータ７８にインストールされる。プロセッサ８２は、医療支援プログラム９０に従って医療支援処理を実行する。

【0236】

また、ネットワークを介して内視鏡装置１０に接続される他のコンピュータ又はサーバ等の格納装置に医療支援プログラム９０を格納させておき、内視鏡装置１０の要求に応じて医療支援プログラム９０がダウンロードされ、コンピュータ７８にインストールされるようにしてもよい。

【0237】

なお、内視鏡装置１０に接続される他のコンピュータ又はサーバ装置等の格納装置に医療支援プログラム９０の全てを格納させておいたり、ストレージ８６に医療支援プログラム９０の全てを記憶させたりしておく必要はなく、医療支援プログラム９０の一部を格納させておいてもよい。

【0238】

医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。

【0239】

医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0240】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0241】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0242】

以上に示した記載内容及び図示内容は、本開示に係る部分についての詳細な説明であり、本開示の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0243】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0244】

１０，１２０ 内視鏡装置
１２ 医師
１４ 看護師
１６ 内視鏡スコープ
１８ 表示装置
２０ 光源装置
２２ 制御装置
２４ 医療支援装置
２６ 被検体
２８ 大腸
３０ 光
３２ 腸壁
３４ ワゴン
３５ 画面
３６ 第１表示領域
３８ 第２表示領域
３９ 内視鏡動画像
４０ フレーム
４２ 病変
４４ 医療情報
４４Ａ テキスト
４６ 操作部
４８ 挿入部
５０ 先端部
５０Ａ 先端面
５２ カメラ
５４ 照明装置
５４Ａ，５４Ｂ 照明窓
５６ 処置用開口
５８ 処置具
６０ 処置具挿入口
６２ ユニバーサルコード
６４ 受付装置
６６，７８ コンピュータ
６８，８８ バス
７０，８０ 外部Ｉ／Ｆ
７２，８２ プロセッサ
７４，８４ メモリ
７６，８６ ストレージ
８２Ａ 認識部
８２Ｂ 制御部
８４Ａ 第１格納領域
８４Ｂ 第２格納領域
９０ 医療支援プログラム
９２ 認識モデル
９６ 認識処理
９８ 認識結果
９８Ａ 病変有無情報
９８Ｂ 幾何特性情報
９８Ｃ 病変位置マップ
９８Ｄ 病変特徴情報
１００ エッジ
１０２ 特徴位置座標
１０４ オプティカルフロー
１０５ 画面情報
１０６，１０８ ビジュアルアシストマーク
１０７ コード
１０９ 矢印
１１０ 表示態様テーブル
１１０Ａ 第１表示態様テーブル
１１０Ｂ 第２表示態様テーブル
１１０Ｃ 第３表示態様テーブル
１１０Ｄ 第４表示態様テーブル
１１０Ｅ 第５表示態様テーブル
１１０Ｆ 第６表示態様テーブル
１１０Ｇ 第７表示態様テーブル
１１２ 磁界生成コイル
１１４ 受信器
１１６ 画面生成情報
１１７ レイアウト情報
１１８ コントローラ
１２２ 外部装置
１２４ ネットワーク
ＢＢ バウンディングボックス
ＶＣ 円
ＶＬ 十字ライン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】