ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024033598
(43)【公開日】2024-03-13
(54)【発明の名称】医療支援装置、内視鏡、医療支援方法、及びプログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20240306BHJP
【ＦＩ】
A61B1/045 622
A61B1/045 618
A61B1/045 614
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2022137264
(22)【出願日】2022-08-30
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】大城 健太郎
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161CC06
4C161DD03
4C161HH51
4C161LL02
4C161SS21
4C161WW02
4C161WW10
4C161WW13
4C161WW18
(57)【要約】
【課題】ユーザに対して、内視鏡を通して観察される観察対象内の複数の部位を把握させ易くすることができる医療支援装置、内視鏡、医療支援方法、及びプログラムを提供する。
【解決手段】医療支援装置は、プロセッサを備える。プロセッサは、内視鏡に関連する内視鏡関連情報を取得し、内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示する。
【選択図】図６
【解決手段】医療支援装置は、プロセッサを備える。プロセッサは、内視鏡に関連する内視鏡関連情報を取得し、内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示する。
【選択図】図６
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
内視鏡に関連する内視鏡関連情報を取得し、
前記内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、前記内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示する
医療支援装置。
前記プロセッサは、
内視鏡に関連する内視鏡関連情報を取得し、
前記内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、前記内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示する
医療支援装置。
【請求項2】
前記複数の画像は、互いに視覚的な情報量が異なる
請求項１に記載の医療支援装置。
請求項１に記載の医療支援装置。
【請求項3】
前記情報量は、第１情報量と前記第１情報量よりも少ない第２情報量とに分類され、
前記内視鏡関連情報は、前記内視鏡を用いた手技の難度、及び／又は、メンタルローテーションの難度を特定可能な難度情報を含み、
前記プロセッサは、前記表示装置に表示する前記画像として、前記難度情報に応じて、前記第１情報量の前記画像と前記第２情報量の前記画像とを切り替える
請求項２に記載の医療支援装置。
前記内視鏡関連情報は、前記内視鏡を用いた手技の難度、及び／又は、メンタルローテーションの難度を特定可能な難度情報を含み、
前記プロセッサは、前記表示装置に表示する前記画像として、前記難度情報に応じて、前記第１情報量の前記画像と前記第２情報量の前記画像とを切り替える
請求項２に記載の医療支援装置。
【請求項4】
前記複数の画像は、簡易な形式の簡易画像と前記簡易画像よりも詳細な形式の詳細画像とに分類される
請求項１に記載の医療支援装置。
請求項１に記載の医療支援装置。
【請求項5】
前記内視鏡関連情報は、前記内視鏡を用いた手技の難度、及び／又は、メンタルローテーションの難度を特定可能な難度情報を含み、
前記プロセッサは、前記表示装置に表示する前記画像として、前記難度情報に応じて前記簡易画像と前記詳細画像とを切り替える
請求項４に記載の医療支援装置。
前記プロセッサは、前記表示装置に表示する前記画像として、前記難度情報に応じて前記簡易画像と前記詳細画像とを切り替える
請求項４に記載の医療支援装置。
【請求項6】
前記観察対象は、管腔臓器であり、
前記複数の画像は、第１模式図、第２模式図、及び第３模式図を含む複数の模式図であり、
前記第１模式図は、前記管腔臓器を観察する少なくとも１つの経路の模式的な態様を示す図であり、
前記第２模式図は、前記管腔臓器を透視した模式的な態様を示す図であり、
前記第３模式図は、前記管腔臓器を模式的に展開した態様を示す図である
請求項１に記載の医療支援装置。
前記複数の画像は、第１模式図、第２模式図、及び第３模式図を含む複数の模式図であり、
前記第１模式図は、前記管腔臓器を観察する少なくとも１つの経路の模式的な態様を示す図であり、
前記第２模式図は、前記管腔臓器を透視した模式的な態様を示す図であり、
前記第３模式図は、前記管腔臓器を模式的に展開した態様を示す図である
請求項１に記載の医療支援装置。
【請求項7】
前記複数の領域は、大分類と前記大分類に含まれる小分類とに分類され、
前記第１模式図、前記第２模式図、及び前記第３模式図のうちの少なくとも１つには、前記大分類、前記小分類、又は、前記大分類と前記小分類との両方が表現されている
請求項６に記載の医療支援装置。
前記第１模式図、前記第２模式図、及び前記第３模式図のうちの少なくとも１つには、前記大分類、前記小分類、又は、前記大分類と前記小分類との両方が表現されている
請求項６に記載の医療支援装置。
【請求項8】
前記内視鏡関連情報は、前記内視鏡に対応する操作内容を特定可能な情報を含む
請求項１に記載の医療支援装置。
請求項１に記載の医療支援装置。
【請求項9】
前記内視鏡関連情報は、前記内視鏡の操作者を特定可能な情報を含む
請求項１に記載の医療支援装置。
請求項１に記載の医療支援装置。
【請求項10】
前記内視鏡は、前記観察対象が写っている内視鏡画像を生成し、
前記内視鏡関連情報は、前記内視鏡画像に基づいて生成された情報である
請求項１に記載の医療支援装置。
前記内視鏡関連情報は、前記内視鏡画像に基づいて生成された情報である
請求項１に記載の医療支援装置。
【請求項11】
前記内視鏡は、前記観察対象が写っている内視鏡画像を生成し、
前記プロセッサは、
前記複数の領域を、前記内視鏡画像に基づいて、前記内視鏡を通して観察された観察済み領域と前記内視鏡を通して観察されていない未観察領域とに分類し、
前記少なくとも１つ以上の画像には、前記観察済み領域と前記未観察領域とが区別可能な状態で表示される
請求項１に記載の医療支援装置。
前記プロセッサは、
前記複数の領域を、前記内視鏡画像に基づいて、前記内視鏡を通して観察された観察済み領域と前記内視鏡を通して観察されていない未観察領域とに分類し、
前記少なくとも１つ以上の画像には、前記観察済み領域と前記未観察領域とが区別可能な状態で表示される
請求項１に記載の医療支援装置。
【請求項12】
前記観察対象は、管腔臓器であり、
前記複数の画像は、前記管腔臓器内での前記内視鏡の位置と前記複数の領域とを対比可能な第１画像と、前記管腔臓器内での前記観察済み領域と前記未観察領域とを区別可能な第２画像と、を含む
請求項１１に記載の医療支援装置。
前記複数の画像は、前記管腔臓器内での前記内視鏡の位置と前記複数の領域とを対比可能な第１画像と、前記管腔臓器内での前記観察済み領域と前記未観察領域とを区別可能な第２画像と、を含む
請求項１１に記載の医療支援装置。
【請求項13】
前記観察対象は、管腔臓器であり、
前記複数の画像は、前記管腔臓器内での前記観察済み領域と前記未観察領域とを区別可能な第３画像と、前記管腔臓器内での前記観察済み領域と前記未観察領域とを前記第３画像よりも詳細に区別可能な少なくとも１つの第４画像と、を含む
請求項１１に記載の医療支援装置。
前記複数の画像は、前記管腔臓器内での前記観察済み領域と前記未観察領域とを区別可能な第３画像と、前記管腔臓器内での前記観察済み領域と前記未観察領域とを前記第３画像よりも詳細に区別可能な少なくとも１つの第４画像と、を含む
請求項１１に記載の医療支援装置。
【請求項14】
前記複数の画像は、前記第４画像として、前記管腔臓器を観察する少なくとも１つの経路の模式的な態様を示す第４模式図と、前記管腔臓器を模式的に展開した態様を示す第５模式図と、を含む
請求項１３に記載の医療支援装置。
請求項１３に記載の医療支援装置。
【請求項15】
前記表示装置には、前記第３画像を起点として、前記第３画像と前記少なくとも１つの第４画像とが選択的に表示される
請求項１３に記載の医療支援装置。
請求項１３に記載の医療支援装置。
【請求項16】
前記プロセッサは、
体内に挿入された前記内視鏡の挿入方向の上流側の第１部位から下流側の第２部位を順に認識した場合に、前記挿入方向の上流側から下流側にかけて定められた第１経路に従って、前記複数の領域に、前記内視鏡を通して観察されていない未観察領域が存在していることを特定可能な未観察情報を出力し、
前記挿入方向の下流側の第３部位から上流側の第４部位を順に認識した場合に、前記挿入方向の下流側から上流側にかけて定められた第２経路に従って前記未観察情報を出力する
請求項１に記載の医療支援装置。
体内に挿入された前記内視鏡の挿入方向の上流側の第１部位から下流側の第２部位を順に認識した場合に、前記挿入方向の上流側から下流側にかけて定められた第１経路に従って、前記複数の領域に、前記内視鏡を通して観察されていない未観察領域が存在していることを特定可能な未観察情報を出力し、
前記挿入方向の下流側の第３部位から上流側の第４部位を順に認識した場合に、前記挿入方向の下流側から上流側にかけて定められた第２経路に従って前記未観察情報を出力する
請求項１に記載の医療支援装置。
【請求項17】
請求項１から請求項１６の何れか一項に記載の医療支援装置と、
前記観察対象が写っている内視鏡画像を取得する画像取得装置と、を備える
内視鏡。
前記観察対象が写っている内視鏡画像を取得する画像取得装置と、を備える
内視鏡。
【請求項18】
内視鏡に関連する内視鏡関連情報を取得すること、及び
前記内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、前記内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示すること、を含む
医療支援方法。
前記内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、前記内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示すること、を含む
医療支援方法。
【請求項19】
コンピュータに、
内視鏡に関連する内視鏡関連情報を取得すること、及び
前記内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、前記内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示すること、を含む処理を実行させるためのプログラム。
内視鏡に関連する内視鏡関連情報を取得すること、及び
前記内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、前記内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示すること、を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、医療支援装置、内視鏡、医療支援方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、を備える医療画像処理装置が開示されている。
【0003】
特許文献２には、撮像した内視鏡画像を出力する内視鏡システムと接続する医療用画像記録装置であって、メッセージを生成するメッセージ生成手段と、画像撮像装置から入力される内視鏡画像とメッセージ生成手段によって生成されたメッセージを合成する合成手段と、を備える医療用画像記録装置が開示されている。
【0004】
特許文献３には、被検体上の病変可能性部位を検出するスクリーニング時に用いられるスクリーニング用画像を取得するスクリーニング用画像取得手段と、スクリーニング用画像と異なる画像であって病変可能性部位が病変部か否かの識別に用いられる詳細診断用画像を取得する詳細診断用画像取得手段と、被検体上の観察領域との間の距離を示す観察距離を求める観察距離算出手段と、観察距離が一定値以上のときには前記スクリーニング用画像を表示手段に表示させ、観察距離が一定値未満のときには詳細診断用画像を表示手段に表示させる表示制御手段と、を備える内視鏡システムが開示されている。
【0005】
特許文献４には、内視鏡によって撮影された被写体の画像を取得する画像取得部と、少なくとも画像取得部によって取得された画像を含む表示用画像を表示部に出力する表示出力部と、画像取得部によって取得された画像に含まれる注目領域を検出する注目領域検出部と、注目領域検出部における注目領域の検出が途絶したか否かを判定する検出途絶判定部と、検出途絶判定部において注目領域の検出が途絶したと判定された判定結果である途絶判定が得られた場合に、検出が途絶した注目領域が表示部の画面上に復帰するように支援する支援情報を表示部に表示するか否かの判定である表示可否判定を行う表示判定部と、を備え、表示可否判定において支援情報を表示すると判定された場合には、表示出力部は、表示用画像として、支援情報を更に含む画像を表示部に出力し、表示可否判定において支援情報を表示しないと判定された場合には、表示出力部は、表示用画像として、支援情報を含まない画像を表示部に出力する内視鏡画像処理装置が開示されている。
【0006】
特許文献５には、被写体を含む医療画像を取得する画像取得部と、医療画像を第１の表示領域に表示する表示部と、ユーザに報知するための報知情報を表示部において表示する制御、又は報知情報を表示部において非表示にする制御を行う表示制御部と、を有し、表示制御部は、第１の表示領域と異なる第２の表示領域において、報知情報を表示する制御、又は表示中の報知情報を非表示にする制御を行う医療画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】国際公開第２０２０／０５４５４３号
【特許文献2】特開２００４－３５０７９３号公報
【特許文献3】特開２０１２－２３９８１５号公報
【特許文献4】国際公開第２０１９／２４４２５５号
【特許文献5】国際公開第２０１８／２２１０３３号
【発明の概要】
【0008】
本開示の技術に係る一つの実施形態は、ユーザに対して、内視鏡を通して観察される観察対象内の複数の部位を把握させ易くすることができる医療支援装置、内視鏡、医療支援方法、及びプログラムを提供する。
【課題を解決するための手段】
【0009】
本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、内視鏡に関連する内視鏡関連情報を取得し、内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示する医療支援装置である。
【0010】
本開示の技術に係る第２の態様は、複数の画像が、互いに視覚的な情報量が異なる、第１の態様に係る医療支援装置である。
【0011】
本開示の技術に係る第３の態様は、情報量が、第１情報量と第１情報量よりも少ない第２情報量とに分類され、内視鏡関連情報が、内視鏡を用いた手技の難度、及び／又は、メンタルローテーションの難度を特定可能な難度情報を含み、プロセッサが、表示装置に表示する画像として、難度情報に応じて、第１情報量の画像と第２情報量の画像とを切り替える、第２の態様に係る医療支援装置である。
【0012】
本開示の技術に係る第４の態様は、複数の画像が、簡易な形式の簡易画像と簡易画像よりも詳細な形式の詳細画像とに分類される、第１の態様から第３の態様の何れか１つの態様に係る医療支援装置である。
【0013】
本開示の技術に係る第５の態様は、内視鏡関連情報が、内視鏡を用いた手技の難度、及び／又は、メンタルローテーションの難度を特定可能な難度情報を含み、プロセッサが、表示装置に表示する画像として、難度情報に応じて簡易画像と詳細画像とを切り替える、第４の態様に係る医療支援装置である。
【0014】
本開示の技術に係る第６の態様は、観察対象が、管腔臓器であり、複数の画像が、第１模式図、第２模式図、及び第３模式図を含む複数の模式図であり、第１模式図が、管腔臓器を観察する少なくとも１つの経路の模式的な態様を示す図であり、第２模式図が、管腔臓器を透視した模式的な態様を示す図であり、第３模式図が、管腔臓器を模式的に展開した態様を示す図である、第１の態様から第６の態様の何れか１つの態様に係る医療支援装置である。
【0015】
本開示の技術に係る第７の態様は、複数の領域が、大分類と大分類に含まれる小分類とに分類され、第１模式図、第２模式図、及び第３模式図のうちの少なくとも１つには、大分類、小分類、又は、大分類と小分類との両方が表現されている、第６の態様に係る医療支援装置である。
【0016】
本開示の技術に係る第８の態様は、内視鏡関連情報が、内視鏡に対応する操作内容を特定可能な情報を含む、第１の態様から第７の態様の何れか１つの態様に係る医療支援装置である。
【0017】
本開示の技術に係る第９の態様は、内視鏡関連情報が、内視鏡の操作者を特定可能な情報を含む、第１の態様から第８の態様の何れか１つの態様に係る医療支援装置である。
【0018】
本開示の技術に係る第１０の態様は、内視鏡が、観察対象が写っている内視鏡画像を生成し、内視鏡関連情報が、内視鏡画像に基づいて生成された情報である、第１の態様から第９の態様の何れか１つの態様に係る医療支援装置である。
【0019】
本開示の技術に係る第１１の態様は、内視鏡が、観察対象が写っている内視鏡画像を生成し、プロセッサが、複数の領域を、内視鏡画像に基づいて、内視鏡を通して観察された観察済み領域と内視鏡を通して観察されていない未観察領域とに分類し、少なくとも１つ以上の画像には、観察済み領域と未観察領域とが区別可能な状態で表示される、第１の態様から第１０の態様の何れか１つの態様に係る医療支援装置である。
【0020】
本開示の技術に係る第１２の態様は、観察対象が、管腔臓器であり、複数の画像が、管腔臓器内での内視鏡の位置と複数の領域とを対比可能な第１画像と、管腔臓器内での観察済み領域と未観察領域とを区別可能な第２画像と、を含む、第１１の態様に係る医療支援装置である。
【0021】
本開示の技術に係る第１３の態様は、観察対象が、管腔臓器であり、複数の画像が、管腔臓器内での観察済み領域と未観察領域とを区別可能な第３画像と、管腔臓器内での観察済み領域と未観察領域とを第３画像よりも詳細に区別可能な少なくとも１つの第４画像と、を含む、第１１の態様に係る医療支援装置である。
【0022】
本開示の技術に係る第１４の態様は、複数の画像が、第４画像として、管腔臓器を観察する少なくとも１つの経路の模式的な態様を示す第４模式図と、管腔臓器を模式的に展開した態様を示す第５模式図と、を含む、第１３の態様に係る医療支援装置である。
【0023】
本開示の技術に係る第１５の態様は、表示装置には、第３画像を起点として、第３画像と少なくとも１つの第４画像とが選択的に表示される、第１３の態様又は第１４の態様に係る医療支援装置である。
【0024】
本開示の技術に係る第１６の態様は、プロセッサが、体内に挿入された内視鏡の挿入方向の上流側の第１部位から下流側の第２部位を順に認識した場合に、挿入方向の上流側から下流側にかけて定められた第１経路に従って、複数の領域に、内視鏡を通して観察されていない未観察領域が存在していることを特定可能な未観察情報を出力し、挿入方向の下流側の第３部位から上流側の第４部位を順に認識した場合に、挿入方向の下流側から上流側にかけて定められた第２経路に従って未観察情報を出力する、第１の態様に係る医療支援装置である。
【0025】
本開示の技術に係る第１７の態様は、第１の態様から第１６の態様の何れか１つの態様に係る医療支援装置と、観察対象が写っている内視鏡画像を取得する画像取得装置と、を備える内視鏡である。
【0026】
本開示の技術に係る第１８の態様は、内視鏡に関連する内視鏡関連情報を取得すること、及び内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示すること、を含む医療支援方法である。
【0027】
本開示の技術に係る第１９の態様は、コンピュータに、内視鏡に関連する内視鏡関連情報を取得すること、及び内視鏡を通して観察される観察対象が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示すること、を含む処理を実行させるためのプログラムである。
【図面の簡単な説明】
【0028】
【図1】内視鏡システムが用いられている態様の一例を示す概念図である。
【図2】内視鏡システムの全体構成の一例を示す概念図である。
【図3】内視鏡システムの電気系のハードウェア構成の一例を示すブロック図である。
【図4】内視鏡に含まれるプロセッサの要部機能の一例を示すブロック図である。
【図5】内視鏡スコープ、画像取得部、及び内視鏡認識部の相関の一例を示す概念図である。
【図6】内視鏡認識部、制御部、及び表示装置の相関の一例を示す概念図である。
【図7】内視鏡スコープ、画像取得部、部位認識部、及びＮＶＭの相関の一例を示す概念図である。
【図8】認識部位確認テーブルの構成の一例を示す概念図である。
【図9】重要度テーブルの構成の一例を示す概念図である。
【図10】表示装置の画面に表示される第１医療支援画像の一例を示す概念図である。
【図11】表示装置の画面に表示される第２医療支援画像の一例を示す概念図である。
【図12】表示装置の画面に表示される第３医療支援画像の一例を示す概念図である。
【図13A】医療支援処理の流れの一例を示すフローチャートである。
【図13B】医療支援処理の流れの一例を示すフローチャートである。
【図14】参照画像を起点として、参照画像、第１医療支援画像、第２医療支援画像、及び第３医療支援画像が画面に選択的に表示される態様の一例を示す概念図である。
【図15】第３医療支援画像と参照画像とが並べられた状態で画面に表示される態様の一例を示す概念図である。
【発明を実施するための形態】
【0029】
以下、添付図面に従って本開示の技術に係る医療支援装置、内視鏡、医療支援方法、及びプログラムの実施形態の一例について説明する。
【0030】
先ず、以下の説明で使用される文言について説明する。
【0031】
ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＦＩＦＯとは、“First In First Out”の略称を指す。ＩＤとは、“identification”の略称を指す。
【0032】
一例として図１に示すように、内視鏡システム１０は、内視鏡１２及び表示装置１３を備えている。内視鏡１２は、内視鏡検査において医師１４によって用いられる。内視鏡１２は、通信装置（図示省略）と通信可能に接続されており、内視鏡１２によって得られた情報は、通信装置に送信される。通信装置は、内視鏡１２から送信された情報を受信し、受信した情報を用いた処理（例えば、電子カルテ等に記録する処理）を実行する。
【0033】
内視鏡１２は、内視鏡本体１８を備えている。内視鏡１２は、内視鏡本体１８を用いて被検体２０（例えば、患者）の体内に含まれる観察対象２１（例えば、上部消化器）に対する診療を行うための装置である。観察対象２１は、医師１４によって観察される対象である。内視鏡本体１８は、被検体２０の体内に挿入される。内視鏡１２は、被検体２０の体内に挿入された内視鏡本体１８に対して、被検体２０の体内の観察対象２１を撮像させ、かつ、必要に応じて観察対象２１に対して医療的な各種処置を行う。内視鏡１２は、本開示の技術に係る「内視鏡」の一例である。
【0034】
内視鏡１２は、被検体２０の体内を撮像することで体内の態様を示す画像を取得して出力する。図１に示す例では、内視鏡１２の一例として、上部内視鏡が示されている。なお、上部内視鏡は、あくまでも一例に過ぎず、内視鏡１２が下部消化管内視鏡又は気管支内視鏡等の他種類の内視鏡であっても本開示の技術は成立する。
【0035】
また、本実施形態において、内視鏡１２は、体内で光を照射することにより観察対象２１で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。但し、これは、あくまでも一例に過ぎず、内視鏡１２が超音波内視鏡であったとしても本開示の技術は成立する。
【0036】
内視鏡１２は、制御装置２２及び光源装置２４を備えている。制御装置２２及び光源装置２４は、ワゴン３４に設置されている。ワゴン３４には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、制御装置２２及び光源装置２４が設置されている。また、ワゴン３４の最上段の台には、表示装置１３が設置されている。
【0037】
表示装置１３は、画像を含めた各種情報を表示する。表示装置１３の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。また、表示装置１３に代えて、又は、表示装置１３と共に、ディスプレイ付きのタブレット端末を用いてもよい。
【0038】
表示装置１３には、複数の画面が並べて表示される。図１に示す例では、画面３６及び３７が示されている。画面３６には、内視鏡１２によって得られた内視鏡画像４０が表示される。内視鏡画像４０は、本開示の技術に係る「内視鏡画像」の一例である。
【0039】
内視鏡画像４０には、観察対象２１が写っている。内視鏡画像４０は、被検体２０の体内で内視鏡１２によって観察対象２１が撮像されることによって生成された画像である。観察対象２１としては、上部消化器が挙げられる。以下では、説明の便宜上、上部消化器の一例として、胃を例に挙げて説明する。胃は、本開示の技術に係る「管腔臓器」の一例である。なお、胃は、あくまでも一例に過ぎず、内視鏡１２によって撮像可能な領域であればよい。内視鏡１２によって撮像可能な領域としては、例えば、大腸、小腸、十二指腸、食道、又は気管支等の管腔臓器が挙げられる。
【0040】
画面３６には、複数フレームの内視鏡画像４０を含んで構成される動画像が表示される。つまり、画面３６には、複数フレームの内視鏡画像４０が既定のフレームレート（例えば、数十フレーム／秒）で表示される。
【0041】
画面３７には、医療支援画像４１が表示される。医療支援画像４１は、内視鏡検査中に医師１４が参照する画像である。医療支援画像４１は、内視鏡検査中に観察されることが予定されている複数の部位の確認等のために医師１４によって参照される。また、医療支援画像４１には、内視鏡検査中に観察されることが予定されている複数の部位に対して観察漏れがあるか否かの情報も含まれており、医師１４によって、医療支援画像４１が参照されることで、複数の部位に対する観察漏れの有無が把握される。
【0042】
一例として図２に示すように、内視鏡１２は、操作部４２及び挿入部４４を備えている。挿入部４４は、操作部４２が操作されることにより部分的に湾曲する。挿入部４４は、医師１４による操作部４２の操作に従って、観察対象２１の形状（例えば、胃の形状）に応じて湾曲しながら挿入される。
【0043】
挿入部４４の先端部４６には、内視鏡スコープ４８、照明装置５０、及び処置用開口５２が設けられている。内視鏡スコープ４８は、被検体２０の体内を撮像することにより医用画像として内視鏡画像４０を取得する装置である。内視鏡スコープ４８は、本開示の技術に係る「画像取得装置」の一例である。内視鏡スコープ４８の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。
【0044】
照明装置５０は、照明窓５０Ａ及び５０Ｂを有する。照明装置５０は、照明窓５０Ａ及び５０Ｂを介して光を照射する。照明装置５０から照射される光の種類としては、例えば、可視光（例えば、白色光等）及び非可視光（例えば、近赤外光等）が挙げられる。また、照明装置５０は、照明窓５０Ａ及び５０Ｂを介して特殊光を照射する。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。内視鏡スコープ４８は、被検体２０の体内で照明装置５０によって光が照射された状態で、被検体２０の体内を光学的手法で撮像する。
【0045】
処置用開口５２は、処置具５４を先端部４６から突出させる処置具突出口、血液及び体内汚物等を吸引する吸引口、及び流体５６を送出する送出口として用いられる。
【0046】
処置用開口５２からは、医師１４の操作に従って、処置具５４が突出する。処置具５４は、処置具挿入口５８から挿入部４４内に挿入される。処置具５４は、処置具挿入口５８を介して挿入部４４内を通過して処置用開口５２から被検体２０の体内に突出する。図２に示す例では、処置具５４として、鉗子が処置用開口５２から突出している。鉗子は、処置具５４の一例に過ぎず、処置具５４の他例としては、ワイヤ、メス、及び超音波プローブ等が挙げられる。
【0047】
内視鏡本体１８には、吸引ポンプ（図示省略）が接続されており、処置用開口５２は、吸引ポンプの吸引力により、観察対象２１の血液及び体内汚物等を吸引する。吸引ポンプの吸引力は、医師１４から内視鏡１２に対して操作部４２等を介して与えられた指示に従って制御される。
【0048】
内視鏡本体１８には、供給ポンプ（図示省略）が接続されており、供給ポンプによって内視鏡本体１８内に流体５６（例えば、気体及び／又は液体）が供給される。処置用開口５２は、供給ポンプから内視鏡本体１８に供給された流体５６を送出する。処置用開口５２からは、医師１４から内視鏡１２に対して操作部４２等を介して与えられた指示に従って、流体５６として、気体（例えば、空気）と液体（例えば、生理食塩水）とが選択的に体内に送出される。流体５６の送出量は、医師１４から内視鏡１２に対して操作部４２等を介して与えられた指示に従って制御される。
【0049】
なお、ここでは、処置用開口５２が、処置具突出口、吸引口、及び送出口として用いられる形態例を挙げているが、これは、あくまでも一例に過ぎず、先端部４６に処置具突出口、吸引口、及び送出口が別々に設けられていてもよいし、先端部４６に、処置具突出口と、吸引口及び送出口が兼用の開口とが設けられていてもよい。
【0050】
内視鏡本体１８は、ユニバーサルコード６０を介して制御装置２２及び光源装置２４に接続されている。制御装置２２には、表示装置１３及び受付装置６２が接続されている。受付装置６２は、ユーザからの指示を受け付け、受け付けた指示を電気信号として出力する。図２に示す例では、受付装置６２の一例として、キーボードが挙げられている。但し、これは、あくまでも一例に過ぎず、受付装置６２は、マウス、タッチパネル、フットスイッチ、及び／又はマイクロフォン等であってもよい。
【0051】
制御装置２２は、内視鏡１２の全体を制御する。例えば、制御装置２２は、光源装置２４を制御したり、内視鏡スコープ４８との間で各種信号の授受を行ったり、表示装置１３に各種情報を表示したりする。光源装置２４は、制御装置２２の制御下で発光し、光を照明装置５０に供給する。照明装置５０には、ライトガイドが内蔵されており、光源装置２４から供給された光はライトガイドを経由して照明窓５０Ａ及び５０Ｂから照射される。制御装置２２は、内視鏡スコープ４８に対して撮像を行わせ、内視鏡スコープ４８から内視鏡画像４０（図１参照）を取得して既定の出力先（例えば、表示装置１３）に出力する。
【0052】
一例として図３に示すように、制御装置２２は、コンピュータ６４を備えている。コンピュータ６４は、本開示の技術に係る「医療支援装置」及び「コンピュータ」の一例である。コンピュータ６４は、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４を備えており、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４は電気的に接続されている。プロセッサ７０は、本開示の技術に係る「プロセッサ」の一例である。
【0053】
制御装置２２は、コンピュータ６４、バス６６、及び外部Ｉ／Ｆ６８を備えている。コンピュータ６４は、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４を備えている。プロセッサ７０、ＲＡＭ７２、ＮＶＭ７４、及び外部Ｉ／Ｆ６８は、バス６６に接続されている。
【0054】
例えば、プロセッサ７０は、ＣＰＵ及びＧＰＵを有しており、制御装置２２の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行及びニューラルネットワークを用いた演算等を担う。なお、プロセッサ７０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。
【0055】
ＲＡＭ７２は、一時的に情報が格納されるメモリであり、プロセッサ７０によってワークメモリとして用いられる。ＮＶＭ７４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ７４の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
【0056】
外部Ｉ／Ｆ６８は、制御装置２２の外部に存在する装置（以下、「外部装置」とも称する）とプロセッサ７０との間の各種情報の授受を司る。外部Ｉ／Ｆ６８の一例としては、ＵＳＢインタフェースが挙げられる。
【0057】
外部Ｉ／Ｆ６８には、外部装置の１つとして内視鏡スコープ４８が接続されており、外部Ｉ／Ｆ６８は、内視鏡スコープ４８とプロセッサ７０との間の各種情報の授受を司る。プロセッサ７０は、外部Ｉ／Ｆ６８を介して内視鏡スコープ４８を制御する。また、プロセッサ７０は、内視鏡スコープ４８によって被検体２０の体内が撮像されることで得られた内視鏡画像４０（図１参照）を外部Ｉ／Ｆ６８を介して取得する。
【0058】
外部Ｉ／Ｆ６８には、外部装置の１つとして光源装置２４が接続されており、外部Ｉ／Ｆ６８は、光源装置２４とプロセッサ７０との間の各種情報の授受を司る。光源装置２４は、プロセッサ７０の制御下で、照明装置５０に光を供給する。照明装置５０は、光源装置２４から供給された光を照射する。
【0059】
外部Ｉ／Ｆ６８には、外部装置の１つとして表示装置１３が接続されており、プロセッサ７０は、外部Ｉ／Ｆ６８を介して表示装置１３を制御することで、表示装置１３に対して各種情報を表示させる。
【0060】
外部Ｉ／Ｆ６８には、外部装置の１つとして受付装置６２が接続されており、プロセッサ７０は、受付装置６２によって受け付けられた指示を、外部Ｉ／Ｆ６８を介して取得し、取得した指示に応じた処理を実行する。
【0061】
ところで、一般的に、内視鏡検査では、画像認識処理（例えば、ＡＩ方式の画像認識処理）を利用することによって病変が検出され、場合によっては病変を切り取る等の処置が行われる。また、内視鏡検査では、医師１４が内視鏡１２の挿入部４４の操作と病変の鑑別とを同時に行うため、医師１４にかかる負担が大きく、病変の見逃しが懸念される。病変の見逃しを無くすためには、観察対象２１内で事前に予定されている複数の部位が画像認識処理によって漏れなく認識されることが重要となる。
【0062】
観察対象２１内で事前に予定されている複数の部位が画像認識処理によって漏れなく認識されたかどうかを医師１４に確認させる方法としては、表示装置１３に対して医療支援画像を表示させる方法が考えられる。医療支援画像は、画像認識処理によって認識された部位がどこなのかを医師１４に把握させるために用いられる画像であり、内視鏡検査中に医師１４によって参照される。しかし、内視鏡１２を用いた手技の難度、及び／又は、医師１４によるメンタルローテーションの難度によっては、医師１４が、表示装置１３に表示されている医療支援画像の内容を十分に把握することができないことが予想される。とは言うものの、表示装置１３に医療支援画像が全く表示されないと、観察対象２１内で事前に予定されている複数の部位が画像認識処理によって漏れなく認識されたかどうかを医師１４に確認させることが困難になる。
【0063】
そこで、このような事情に鑑み、内視鏡１２を用いた手技の難度、及び／又は、医師１４によるメンタルローテーションの難度に関わらず、事前に予定されている複数の部位に対する画像認識処理による認識漏れを抑制するために、本実施形態では、制御装置２２のプロセッサ７０によって医療支援処理が行われる（図４、図１３Ａ及び図１３Ｂ参照）。なお、本実施形態において、認識漏れは、上述した観察漏れと同義である。
【0064】
医療支援処理には、内視鏡１２に関連する内視鏡関連情報を取得すること、及び、内視鏡１２を通して観察される観察対象２１が複数の領域に区切られた状態で、かつ、異なる態様で表現された複数の画像のうち、内視鏡関連情報に従って選択された少なくとも１つ以上の画像を表示装置に表示することを含む処理が含まれている。以下、医療支援処理について、より詳細に説明する。
【0065】
一例として図４に示すように、ＮＶＭ７４には、医療支援処理プログラム７６が記憶されている。医療支援処理プログラム７６は、本開示の技術に係る「プログラム」の一例である。プロセッサ７０は、ＮＶＭ７４から医療支援処理プログラム７６を読み出し、読み出した医療支援処理プログラム７６をＲＡＭ７２上で実行する。医療支援処理は、プロセッサ７０がＲＡＭ７２上で実行する医療支援処理プログラム７６に従って画像取得部７０Ａ、内視鏡認識部７０Ｂ、制御部７０Ｃ、及び部位認識部７０Ｄとして動作することによって実現される。
【0066】
ＮＶＭ７４には、第１学習済みモデル７８及び第２学習済みモデル８０が記憶されている。本実施形態では、内視鏡認識部７０Ｂ及び部位認識部７０Ｄによって、物体検出用の画像認識処理として、ＡＩ方式の画像認識処理が行われる。内視鏡認識部７０ＢによるＡＩ方式の画像認識処理とは、第１学習済みモデル７８を用いた画像認識処理を指す。また、部位認識部７０ＤによるＡＩ方式の画像認識処理とは、第２学習済みモデル８０を用いた画像認識処理を指す。以下では、説明の便宜上、第１学習済みモデル７８と第２学習済みモデル８０とを区別して説明する必要がない場合、符号を付さずに「学習済みモデル」とも称する。
【0067】
学習済みモデルは、物体検出用の数理モデルであり、ニューラルネットワークに対して事前に機械学習が行われることによってニューラルネットワークが最適化されることで得られる。以下、学習済みモデルを用いた画像認識処理については、学習済みモデルが主体となって能動的に行う処理として説明する。すなわち、以下では、説明の便宜上、学習済みモデルを、入力された情報に対して処理を行って処理結果を出力する機能と見立てて説明する。
【0068】
ＮＶＭ７４には、認識部位確認テーブル８２及び重要度テーブル８４が記憶されている。認識部位確認テーブル８２及び重要度テーブル８４は、何れも、制御部７０Ｃによって用いられる。
【0069】
一例として図５に示すように、画像取得部７０Ａは、内視鏡スコープ４８によって撮像フレームレート（例えば、数十フレーム／秒）に従って撮像されることで生成された内視鏡画像４０を内視鏡スコープ４８から１フレーム単位で取得する。
【0070】
画像取得部７０Ａは、時系列画像群８９を保持する。時系列画像群８９は、観察対象２１が写っている時系列の複数の内視鏡画像４０である。時系列画像群８９には、例えば、一定フレーム数（例えば、数十～数百フレームの範囲内で事前に定められたフレーム数）の内視鏡画像４０が含まれている。画像取得部７０Ａは、内視鏡スコープ４８から内視鏡画像４０を取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
【0071】
ここでは、画像取得部７０Ａによって時系列画像群８９が保持されて更新される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、時系列画像群８９は、ＲＡＭ７２等のように、プロセッサ７０に接続されているメモリに保持されて更新されるようにしてもよい。
【0072】
内視鏡認識部７０Ｂは、時系列画像群８９に対して、第１学習済みモデル７８を用いた画像認識処理を行うことにより内視鏡１２の状態等を検出する。第１学習済みモデル７８は、ニューラルネットワークに対して第１教師データを用いた機械学習が行われることによって最適化されている。第１教師データとしては、例えば、内視鏡スコープ４８によって体内が撮像されることによって時系列で得られた複数の画像を例題データとし、内視鏡１２に関連する内視鏡関連情報９０を正解データとした教師データが挙げられる。なお、ここでは、１つの第１学習済みモデル７８のみが内視鏡認識部７０Ｂによって使用される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の第１学習済みモデル７８から選択された第１学習済みモデル７８が内視鏡認識部７０Ｂによって用いられるようにしてもよい。この場合、各第１学習済みモデル７８は、内視鏡検査の種類別に特化した機械学習が行われることによって作成され、現在行われている内視鏡検査の種類（ここでは、一例として、内視鏡１２の種類）に対応する第１学習済みモデル７８が選択されて内視鏡認識部７０Ｂによって用いられるようにすればよい。
【0073】
内視鏡認識部７０Ｂは、時系列画像群８９を取得し、取得した時系列画像群８９に基づいて内視鏡関連情報９０を生成する。内視鏡関連情報９０を生成するために、内視鏡認識部７０Ｂは、時系列画像群８９を第１学習済みモデル７８に入力する。これにより、第１学習済みモデル７８は、入力された時系列画像群８９に対応する内視鏡関連情報９０を出力する。内視鏡認識部７０Ｂは、第１学習済みモデル７８から出力された内視鏡関連情報９０を取得する。内視鏡認識部７０Ｂによって取得された内視鏡関連情報９０は、現在使用している内視鏡１２に関する情報である。内視鏡関連情報９０は、本開示の技術に係る「内視鏡関連情報」の一例である。
【0074】
内視鏡関連情報９０には、内視鏡１２に対する操作内容を特定可能な情報であり、かつ、内視鏡１２を用いた手技の難度、及び／又は、メンタルローテーションの難度を特定可能な情報として、処置具情報９０Ａ、動作速度情報９０Ｂ、位置情報９０Ｃ、形状情報９０Ｄ、及び流体送出情報９０Ｅ等が含まれている。処置具情報９０Ａ、動作速度情報９０Ｂ、位置情報９０Ｃ、形状情報９０Ｄ、及び流体送出情報９０Ｅ等は、内視鏡１２に対する操作内容を特定可能な情報でもある。処置具情報９０Ａ、動作速度情報９０Ｂ、位置情報９０Ｃ、形状情報９０Ｄ、及び流体送出情報９０Ｅ等は、本開示の技術に係る「難度情報」の一例である。
【0075】
処置具情報９０Ａは、処置具５４（図２参照）に関する情報である。処置具５４に関する情報としては、例えば、処置具５４を使用中であるか否かを示す情報、及び、使用している処置具５４の種類を示す情報が挙げられる。動作速度情報９０Ｂは、内視鏡１２の先端部４６（図２参照）の動作速度に関する情報（例えば、「ミリメートル／秒」の単位で表現される速度に関する情報）である。
【0076】
位置情報９０Ｃは、内視鏡１２の先端部４６の位置に関する情報である。内視鏡１２の先端部４６の位置に関する情報の一例としては、基準位置（例えば、胃の入口の一部）を原点とした場合の観察対象２１内での位置を示す３次元座標が挙げられる。形状情報９０Ｄは、内視鏡１２の挿入部４４の形状に関する情報である。内視鏡１２の挿入部４４の形状に関する情報の一例としては、挿入部４４が湾曲している方向、及び／又は、挿入部４４が湾曲している度合い等を示す情報が挙げられる。
【0077】
流体送出情報９０Ｅは、流体５６（図２参照）の送出に関する情報である。流体５６の送出に関する情報とは、例えば、流体５６の単位時間当たりの送出量に関する情報（例えば、「ミリリットル／秒」の単位で表現される送出量に関する情報）を指す。流体送出情報９０Ｅは、送気量情報９０Ｅ１及び送水量情報９０Ｅ２を含む。送気量情報９０Ｅ１は、気体の送出量に関する情報（例えば、気体の単位時間当たりの送出量に関する情報）である。送水量情報９０Ｅ２は、液体の送出量に関する情報（例えば、液体の単位時間当たりの送出量に関する情報）である。
【0078】
一例として図６に示すように、制御部７０Ｃは、内視鏡認識部７０Ｂから内視鏡関連情報９０を取得し、取得した内視鏡関連情報９０に基づいて難度９２を算出する。難度９２とは、内視鏡１２を用いた手技の難度、及び／又は、メンタルローテーションの難度を指す。難度９２は、演算式９３から算出される。演算式９３は、内視鏡関連情報９０に含まれる情報を示す数値（例えば、処置具情報９０Ａを示す数値、動作速度情報９０Ｂを示す数値、位置情報９０Ｃを示す数値、形状情報９０Ｄを示す数値、及び流体送出情報９０Ｅを示す数値等）を独立変数とし、難度９２を従属変数とした演算式である。
【0079】
難度９２は、例えば、高難度９２Ａ、中難度９２Ｂ、及び低難度９２Ｃの３段階のレベルに大別される。すなわち、制御部７０Ｃは、演算式９３から、高難度９２Ａ、中難度９２Ｂ、及び低難度９２Ｃの何れかを算出する。
【0080】
制御部７０Ｃは、医療支援画像４１を表示装置１３の画面３７に表示する。医療支援画像４１は、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃに類別される。第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃは、本開示の技術に係る「複数の画像」及び「複数の模式図」の一例である。第１医療支援画像４１Ａは、本開示の技術に係る「第２模式図」及び「第２画像」の一例である。第２医療支援画像４１Ｂは、本開示の技術に係る「第１模式図」、「第２画像」、及び「第４模式図」の一例である。第３医療支援画像４１Ｃは、本開示の技術に係る「第３模式図」、「第２画像」、及び「第５模式図」の一例である。
【0081】
第１医療支援画像４１Ａの視覚的な情報量、第２医療支援画像４１Ｂの視覚的な情報量、及び第３医療支援画像４１Ｃの視覚的な情報量は互いに異なる。第１医療支援画像４１Ａは、第２医療支援画像４１Ｂ及び第３医療支援画像４１Ｃよりも情報量が少なく、第２医療支援画像４１Ｂは、第３医療支援画像４１Ｃよりも情報量が少ない。換言すると、第１医療支援画像４１Ａは、簡易な形式の画像であり、第２医療支援画像４１Ｂ及び第３医療支援画像４１Ｃは、第１医療支援画像４１Ａよりも詳細な形式の画像である。また、第３医療支援画像４１Ｃは、第２医療支援画像４１Ｂよりも詳細な形式の画像である。
【0082】
ここで、第１医療支援画像４１Ａと第２医療支援画像４１Ｂ及び第３医療支援画像４１Ｃとの関係において、第１医療支援画像４１Ａの情報量は、本開示の技術に係る「第２情報量」の一例であり、第２医療支援画像４１Ｂの情報量及び第３医療支援画像４１Ｃの情報量は、本開示の技術に係る「第１情報量」の一例である。第２医療支援画像４１Ｂと第３医療支援画像４１Ｃとの関係において、第２医療支援画像４１Ｂの情報量は、本開示の技術に係る「第２情報量」の一例であり、第３医療支援画像４１Ｃの情報量は、本開示の技術に係る「第１情報量」の一例である。
【0083】
第１医療支援画像４１Ａと第２医療支援画像４１Ｂ及び第３医療支援画像４１Ｃとの関係において、第１医療支援画像４１Ａは、本開示の技術に係る「簡易画像」及び「第３画像」の一例であり、第２医療支援画像４１Ｂ及び第３医療支援画像４１Ｃは、本開示の技術に係る「詳細画像」及び「少なくとも１つの第４画像」の一例である。第２医療支援画像４１Ｂと第３医療支援画像４１Ｃとの関係において、第２医療支援画像４１Ｂは、本開示の技術に係る「簡易画像」及び「第３画像」の一例であり、第３医療支援画像４１Ｃは、本開示の技術に係る「詳細画像」及び「第４画像」の一例である。
【0084】
制御部７０Ｃは、デフォルトの医療支援画像４１として第１医療支援画像４１Ａを画面３７に表示する。そして、制御部７０Ｃは、第１医療支援画像４１Ａを起点として、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃを選択的に画面３７に表示する。
【0085】
第１医療支援画像４１Ａには、高難度９２Ａが対応付けられている。第２医療支援画像４１Ｂには、中難度９２Ｂが対応付けられている。第３医療支援画像４１Ｃには、低難度９２Ｃが対応付けられている。
【0086】
制御部７０Ｃは、演算式９３から算出された難度９２に従って第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃを選択し、選択した医療支援画像４１を画面３７に表示する。換言すると、制御部７０Ｃは、画面３７に表示する医療支援画像４１として、内視鏡関連情報９０に含まれる情報に基づいて算出された難度９２に応じて、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃを切り替える。
【0087】
この場合、例えば、演算式９３から高難度９２Ａが算出された場合、画面３７には、第１医療支援画像４１Ａが表示される。また、演算式９３から中難度９２Ｂが算出された場合、画面３７には、第２医療支援画像４１Ｂが表示される。また、演算式９３から低難度９２Ｃが算出された場合、画面３７には、第３医療支援画像４１Ｃが表示される。
【0088】
一例として図７に示すように、部位認識部７０Ｄは、時系列画像群８９（すなわち、画像取得部７０Ａによって保持されている時系列の複数の内視鏡画像４０）に対して、第２学習済みモデル８０を用いた画像認識処理を行うことにより観察対象２１の部位を認識する。換言すると、部位の認識とは、部位の検出とも言える。本実施形態において、部位の認識とは、部位の名称を特定し、かつ、認識された部位が写っている内視鏡画像４０と内視鏡画像４０に写っている部位の名称とを対応付けた状態でメモリ（例えば、ＮＶＭ７４及び／又は外部の記憶装置等）に記憶させる処理を指す。
【0089】
第２学習済みモデル８０は、ニューラルネットワークに対して第２教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。第２教師データとしては、例えば、内視鏡検査の対象となり得る部位（例えば、観察対象２１内の部位）が撮像されることによって時系列で得られた複数の画像（例えば、時系列の複数の内視鏡画像４０に相当する複数の画像）を例題データとし、内視鏡検査の対象となり得る部位に関する部位情報９４を正解データとした教師データが挙げられる。部位は、噴門部、穹窿部、胃体上部の大弯側前壁、胃体上部の大弯側後壁、胃体中部の大弯側前壁、胃体中部の大弯側後壁、胃体下部の大弯側前壁、及び胃体下部の大弯側後壁等のように、複数存在している。ニューラルネットワークに対しては、部位毎に作成された第２教師データを用いた機械学習が行われる。部位情報９４には、部位の名称を示す情報、及び観察対象２１内での部位の位置を特定可能な座標等が含まれている。
【0090】
なお、ここでは、１つの第２学習済みモデル８０のみが部位認識部７０Ｄによって使用される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の第２学習済みモデル８０から選択された第２学習済みモデル８０が部位認識部７０Ｄによって用いられるようにしてもよい。この場合、各第２学習済みモデル８０は、内視鏡検査の種類別に特化した機械学習が行われることによって作成され、現在行われている内視鏡検査の種類に対応する第２学習済みモデル８０が選択されて部位認識部７０Ｄによって用いられるようにすればよい。
【0091】
本実施形態では、部位認識部７０Ｄによって用いられる第２学習済みモデル８０の一例として、胃に対する内視鏡検査に特化した機械学習が行われることによって作成された学習済みモデルが適用されている。
【0092】
なお、ここで、胃に対する内視鏡検査に特化した機械学習がニューラルネットワークに対して行われることによって第２学習済みモデル８０が作成される形態例を挙げて説明しているが、これは、あくまでも一例に過ぎない。胃以外の管腔臓器に対する内視鏡検査が行われる場合、内視鏡検査が行われる管腔臓器の種類に特化した機械学習がニューラルネットワークに対して行われることによって作成された学習済みモデルが第２学習済みモデル８０として用いられるようにすればよい。胃以外の管腔臓器としては、例えば、大腸、小腸、食道、十二指腸、又は気管支等が挙げられる。また、第２学習済みモデル８０として、胃、大腸、小腸、食道、十二指腸、又は気管支等の複数の管腔臓器に対する内視鏡検査を想定した機械学習がニューラルネットワークに対して行われることによって作成された学習済みモデルが用いられてもよい。
【0093】
部位認識部７０Ｄは、画像取得部７０Ａによって取得された時系列画像群８９に対して第２学習済みモデル８０を用いた画像認識処理を行うことで、胃に含まれる複数の部位（以下、単に「複数の部位」とも称する）を認識する。複数の部位は、大分類と、大分類に含まれる小分類とに分類される。ここで言う「大分類」は、本開示の技術に係る「大分類」の一例である。また、ここで言う「小分類」は本開示の技術に係る「小分類」の一例である。
【0094】
複数の部位は、大分類として、噴門部、穹窿部、胃体上部の大弯、胃体中部の大弯、胃体下部の大弯、胃角部の大弯、前庭部の大弯、球部、幽門輪、前庭部の小弯、胃角部の小弯、胃体下部の小弯、胃体中部の小弯、及び胃体上部の小弯に分類される。
【0095】
胃体上部の大弯は、小分類として、胃体上部の大弯側前壁と胃体上部の大弯側後壁とに分類される。胃体中部の大弯は、小分類として、胃体中部の大弯側前壁と胃体中部の大弯側後壁とに分類される。胃体下部の大弯は、小分類として、胃体下部の大弯側前壁と胃体下部の大弯側後壁とに分類される。胃角部の大弯は、小分類として、胃角部の大弯側前壁と胃角部の大弯側後壁とに分類される。前庭部の大弯は、小分類として、前庭部の大弯側前壁と前庭部の大弯側後壁とに分類される。前庭部の小弯は、小分類として、前庭部の小弯側前壁と前庭部の小弯側後壁とに分類される。胃角部の小弯は、小分類として、胃角部の小弯側前壁と胃角部の小弯側後壁とに分類される。胃体下部の小弯は、小分類として、胃体下部の小弯側前壁と胃体下部の小弯側後壁とに分類される。胃体中部の小弯は、小分類として、胃体中部の小弯側前壁と胃体中部の小弯側後壁とに分類される。胃体上部の小弯は、小分類として、胃体上部小弯側前壁と胃体上部小弯側後壁とに分類される。
【0096】
部位認識部７０Ｄは、画像取得部７０Ａから時系列画像群８９を取得し、取得した時系列画像群８９を第２学習済みモデル８０に入力する。これにより、第２学習済みモデル８０は、入力された時系列画像群８９に対応する部位情報９４を出力する。部位認識部７０Ｄは、第２学習済みモデル８０から出力された部位情報９４を取得する。
【0097】
認識部位確認テーブル８２は、部位認識部７０Ｄによって認識されることが予定されている部位が認識された否かの確認に用いるテーブルである。認識部位確認テーブル８２には、上述した複数の部位と、各部位が部位認識部７０Ｄによって認識されたか否かを示す情報とが対応付けられている。部位情報９４から部位の名称が特定されるので、部位認識部７０Ｄは、第２学習済みモデル８０から取得した部位情報９４に従って、認識部位確認テーブル８２を更新する。すなわち、部位認識部７０Ｄは、認識部位確認テーブル８２内の各部位に対応する情報（すなわち、部位認識部７０Ｄによって認識されたか否かを示す情報）を更新する。
【0098】
制御部７０Ｃは、画像取得部７０Ａによって取得された内視鏡画像４０を画面３６に表示する。制御部７０Ｃは、部位情報９４に基づいて検出枠２３を生成し、生成した検出枠２３を内視鏡画像４０に重畳表示する。検出枠２３は、部位情報９４から特定される部位の位置を特定可能な枠である。例えば、検出枠２３は、ＡＩ方式の画像認識処理で用いられるバウンディングボックスに基づいて生成される。検出枠２３は、連続線からなる矩形枠であってもよいし、矩形枠以外の形状の枠であってもよい。また、例えば、連続線からなる矩形枠に代えて、不連続線（すなわち、間欠線）からなる枠を用いてもよい。また、例えば、検出枠２３の４隅に相当する部分を特定する複数のマークが表示されてもよい。また、部位情報９４から特定される部位が既定色（例えば、半透明色）で塗り潰されるようにしてもよい。
【0099】
なお、ここでは、ＡＩ方式の処理（例えば、内視鏡認識部７０Ｂによる処理及び部位認識部７０Ｄによる処理）が制御装置２２によって行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ＡＩ方式の処理は、制御装置２２とは別体の装置によって行われるようにしてもよい。この場合、例えば、制御装置２２とは別体の装置が、内視鏡画像４０と内視鏡１２による観察対象２１の観察に用いる各種パラメータを取得し、内視鏡画像４０に対して検出枠２３及び／又は各種マップ（例えば、医療支援画像４１等）を重畳させた画像を表示装置１３等に出力する。
【0100】
一例として図８に示すように、認識部位確認テーブル８２は、部位名９６に対して部位フラグ９８及び大分類フラグ１００が対応付けられたテーブルである。部位名９６は、部位の名称である。認識部位確認テーブル８２では、複数の部位名９６が、認識予定順序１０２で並べられている。認識予定順序１０２とは、部位認識部７０Ｄによって認識されることが予定されている部位の順序を指す。
【0101】
部位フラグ９８は、部位名９６に対応する部位が部位認識部７０Ｄによって認識されたか否かを示すフラグである。部位フラグ９８は、オン（例えば、１）とオフ（例えば、０）とに切り替えられる。部位フラグ９８は、デフォルトでオフになっている。部位認識部７０Ｄは、部位名９６に対応する部位を認識すると、認識した部位を示す部位名９６に対応する部位フラグ９８をオンする。
【0102】
大分類フラグ１００は、大分類に対応する部位が部位認識部７０Ｄによって認識されたか否かを示すフラグである。大分類フラグ１００は、オン（例えば、１）とオフ（例えば、０）とに切り替えられる。大分類フラグ１００は、デフォルトでオフになっている。部位認識部７０Ｄは、大分類に分類される何らかの部位（例えば、大分類に分類される部位のうちの小分類に分類される何らかの部位）、すなわち、部位名９６に対応する部位を認識すると、認識した部位が分類される大分類に対応する大分類フラグ１００をオンする。換言すると、大分類フラグ１００に対応する何らかの部位フラグ９８がオンされると、大分類フラグ１００がオンされる。
【0103】
一例として図９に示すように、重要度テーブル８４は、部位名９６に対して重要度１０４が対応付けられたテーブルである。すなわち、複数の部位には重要度１０４が付与されている。
【0104】
重要度テーブル８４には、複数の部位名９６が、部位認識部７０Ｄによって認識されることが予定されている部位の順序に並べられている。すなわち、重要度テーブル８４において、複数の部位名９６は、認識予定順序１０２に沿って並べられている。重要度１０４は、部位名９６から特定される部位の重要度である。重要度１０４は、“高”、“中”、及び“低”の３段階のレベルの何れかのレベルで規定されている。小分類に分類される部位には、重要度１０４として“高”又は“中”が付与されており、大分類に分類される部位には、重要度１０４として“低”が付与されている。
【0105】
図９に示す例では、胃体上部の大弯側後壁、胃体下部の大弯側前壁、胃体下部の小弯側前壁、胃体下部の小弯側後壁、胃体中部の小弯側前壁、胃体中部の小弯側後壁、及び胃体上部の小弯側後壁に対して、重要度１０４として“高”が付与されている。
【0106】
胃体上部の大弯側後壁、胃体中部の大弯側前壁、胃体下部の大弯側前壁、胃体下部の小弯側前壁、胃体下部の小弯側後壁、胃体中部の小弯側前壁、胃体中部の小弯側後壁、及び胃体上部の小弯側後壁以外の小分類に分類される各部位には、重要度１０４として“中”が付与されている。すなわち、胃体上部の大弯側前壁、胃体中部の大弯側後壁、胃体下部の大弯側後壁、胃角部の大弯側前壁、胃角部の大弯側後壁、前庭部の大弯側前壁、前庭部の大弯側後壁、前庭部の小弯側前壁、前庭部の小弯側後壁、胃角部の小弯側前壁、胃角部の小弯側後壁、及び胃体上部の小弯側前壁に対して、重要度１０４として“中”が付与されている。
【0107】
また、図９に示す例では、胃体中部の大弯側前壁、噴門部、穹窿部、胃体上部の大弯、胃体中部の大弯、胃体下部の大弯、胃角部の大弯、前庭部の大弯、球部、幽門輪、前庭部の小弯、胃角部の小弯、胃体下部の小弯、胃体中部の小弯、及び胃体上部の小弯に対して、重要度１０４として“低”が付与されている。
【0108】
なお、ここでは、説明の便宜上、胃体中部の大弯側前壁に対して、重要度１０４として“低”が付与されているが、これは、あくまでも一例に過ぎない。例えば、噴門部、穹窿部、胃体上部の大弯、胃体中部の大弯、胃体下部の大弯、胃角部の大弯、前庭部の大弯、球部、幽門輪、前庭部の小弯、胃角部の小弯、胃体下部の小弯、胃体中部の小弯、及び胃体上部の小弯等の大分類に分類される各部位を、小分類に分類される部位よりも、重要度１０４を低くしてもよい。換言すると、小分類に分類される部位に対しては、大分類に分類される部位よりも高い重要度１０４が付与されるようしてもよい。
【0109】
重要度１０４の“高”、“中”、及び“低”は、内視鏡１２に対して外部から与えられた指示に従って定められている。内視鏡１２に対して重要度１０４の指示を与える第１手段としては、受付装置６２が挙げられる。また、内視鏡１２に対して重要度１０４の指示を与える第２手段としては、内視鏡１２と通信可能に接続された通信装置（例えば、タブレット端末、パーソナル・コンピュータ、及び／又はサーバ等）が挙げられる。
【0110】
また、複数の部位名９６に対して対応付けられている重要度１０４は、複数の部位に対して行われた過去の検査データ（例えば、複数の被検体２０から得られた過去の検査データに基づく統計的データ）に従って定められている。
【0111】
例えば、複数の部位のうちの典型的に認識漏れが生じやすい部位として定められた部位に対応する重要度１０４は、複数の部位のうちの典型的に認識漏れが生じにくい部位として定められた部位に対応する重要度１０４よりも高く設定される。典型的に認識漏れが生じやすいか否かは、複数の部位に対して行われた過去の検査データから統計的手法等によって導き出される。本実施形態において、重要度１０４の“高”は、典型的に認識漏れが生じる可能性が高レベルであることを示している。また、重要度１０４の“中”は、典型的に認識漏れが生じる可能性が中レベルであることを示している。また、重要度１０４の“低”は、典型的に認識漏れが生じる可能性が低レベルであることを示している。
【0112】
一例として図１０に示すように、制御部７０Ｃは、認識部位確認テーブル８２及び重要度テーブル８４に従って、複数の部位に観察対象２１内の未認識部位（すなわち、部位認識部７０Ｄによって認識されていない部位）が存在している場合に未認識情報１０６を出力する。本実施形態では、複数の部位に観察対象２１内の未認識部位（すなわち、未観察の部位）が存在していることが確定された場合に未認識情報１０６が出力される。未認識情報１０６は、未認識部位が存在していることを特定可能な情報である。未認識情報１０６とは、換言すると、複数の部位に未観察部位（すなわち、観察されていない部位）が存在していることを示す情報を指す。未認識情報１０６は、本開示の技術に係る「未観察情報」の一例である。未認識情報１０６には、重要度情報１０８が含まれている。重要度情報１０８は、重要度テーブル８４から得られる重要度１０４を特定可能な情報である。
【0113】
未認識情報１０６の出力先は、表示装置１３である。但し、これは、あくまでも一例に過ぎず、未認識情報１０６の出力先は、内視鏡１２に通信可能に接続されたタブレット端末、パーソナル・コンピュータ、及び／又はサーバ等であってもよい。
【0114】
制御部７０Ｃによって、上述した要領で、画面３７に表示される医療支援画像４１として第１医療支援画像４１Ａが選択された場合、未認識情報１０６は、第１医療支援画像４１Ａとして、制御部７０Ｃによって画面３７に表示される。未認識情報１０６に含まれる重要度情報１０８は、重要度マーク１１０として、制御部７０Ｃによって第１医療支援画像４１Ａ内に表示される。
【0115】
第１医療支援画像４１Ａは、胃を透視した模式的な態様を示す模式図である。また、第１医療支援画像４１Ａは、内視鏡１２を通して観察される観察対象２１の複数の部位に対応する複数の領域１０９に区切られた状態で、かつ、第２医療支援画像４１Ｂ及び第３医療支援画像４１Ｃとは異なる態様で表現された画像である。第１医療支援画像４１Ａは、大分類毎にかつ小分類毎に複数の領域１０９で区分けされている。図１０に示す例において、複数の領域１０９は、第１医療支援画像４１Ａにより示される胃の外形線の内側に胃の形状に倣って線状に区分されている。なお、複数の領域１０９は、大分類のみに分類されていてもよいし、小分類のみに分類されていてもよい。
【0116】
重要度マーク１１０の表示態様は、重要度情報１０８に応じて異なる。重要度マーク１１０は、第１重要度マーク１１０Ａ、第２重要度マーク１１０Ｂ、及び第３重要度マーク１１０Ｃに類別される。第１重要度マーク１１０Ａは、重要度１０４の“高”を表現したマークである。第２重要度マーク１１０Ｂは、重要度１０４の“中”を表現したマークである。第３重要度マーク１１０Ｃは、重要度１０４の“低”を表現したマークである。すなわち、第１重要度マーク１１０Ａ、第２重要度マーク１１０Ｂ、及び第３重要度マーク１１０Ｃは、重要度の“高”、“中”、及び“低”が区別可能な表示態様で表現されたマークである。第２重要度マーク１１０Ｂは、第３重要度マーク１１０Ｃよりも強調された状態で表示され、第１重要度マーク１１０Ａは、第２重要度マーク１１０Ｂよりも強調された状態で表示される。図１０に示す例では、第２重要度マーク１１０Ｂの線の太さが第３重要度マーク１１０Ｃの線の太さよりも太く、第１重要度マーク１１０Ａの線の太さが第２重要度マーク１１０Ｂの線の太さよりも太い。
【0117】
第１医療支援画像４１Ａ内において、部位認識部７０Ｄによって認識されていない部位に対応する領域１０９に対しては、重要度情報１０８に応じた重要度マーク１１０が重畳表示される。第１医療支援画像４１Ａ内で重要度マーク１１０が重畳表示されている領域１０９に対応する部位が部位認識部７０Ｄによって認識されると、認識された部位に対応する領域１０９上に重畳表示されている重要度マーク１１０が消去される。これにより、第１医療支援画像４１Ａ内において、複数の領域１０９は、第１観察済み領域と第２未観察領域とに分類される。第１観察済み領域は、本開示の技術に係る「観察済み領域」の一例であり、第１未観察領域は、本開示の技術に係る「未観察領域」の一例である。
【0118】
第１観察済み領域とは、第１医療支援画像４１Ａ内において、医師１４によって観察された部位に対応する領域、すなわち、部位認識部７０Ｄによって認識された部位に対応する領域１０９を指す。第１未観察領域とは、第１医療支援画像４１Ａ内において、医師１４によって観察されていない部位に対応する領域、すなわち、部位認識部７０Ｄによって認識されていない部位に対応する領域１０９を指す。
【0119】
第１観察済み領域は、第１医療支援画像４１Ａ内で重要度マーク１１０が重畳表示されている領域１０９であり、第１未観察領域は、第１医療支援画像４１Ａ内で重要度マーク１１０が重畳表示されていない領域１０９である。この結果、第１医療支援画像４１Ａ内において、第１観察済み領域は、第１未観察領域よりも強調された状態で表示される。よって、医師１４は、どの部位に対して認識漏れがあるかを視覚的に把握することが可能となる。
【0120】
制御部７０Ｃは、認識部位確認テーブル８２内の大分類フラグ１００がオンされると、第１医療支援画像４１Ａの内容を更新する。第１医療支援画像４１Ａの内容の更新は、制御部７０Ｃによる未認識情報１０６の出力によって実現される。
【0121】
制御部７０Ｃは、認識部位確認テーブル８２内の大分類フラグ１００がオンされると、オンされた大分類フラグ１００に対応する領域１０９を背景色と同色で塗り潰す。また、制御部７０Ｃは、部位フラグ９８がオンされると、オンされた部位フラグ９８に対応する領域を背景色と同色で塗り潰す。
【0122】
なお、大分類に複数の小分類が含まれている場合、１つの小分類に分類される部位に対応する部位フラグ９８がオンされると、これに伴って、部位フラグ９８がオンされた小分類に分類される部位に対応する大分類フラグ１００がオンされる。
【0123】
一方、制御部７０Ｃは、部位認識部７０Ｄによって部位が認識されなかった場合、部位認識部７０Ｄによって認識されなかった部位よりも後に部位認識部７０Ｄによって認識されることが予定されている後続部位が部位認識部７０Ｄによって認識されたことを条件に、部位認識部７０Ｄによって部位が認識されなかった部位に対応する領域１０９に重要度マーク１１０を重畳表示する。すなわち、制御部７０Ｃは、部位認識部７０Ｄによって認識された順序が認識予定順序１０２（図８及び図９）から外れたことが確定した場合に、部位認識部７０Ｄによって部位が認識されなかった部位に対応する領域１０９に重要度マーク１１０を重畳表示する。このようにする理由は、部位認識部７０Ｄによる認識漏れが確定したタイミング（例えば、医師１４が内視鏡１２を操作している過程で観察し忘れた部位が生じた可能性が極めて高くなったタイミング）で、部位認識部７０Ｄによる認識漏れの報知が行われるようにするためである。
【0124】
ここで、部位認識部７０Ｄによって認識されなかった部位よりも後に認識されることが予定されている後続部位の一例としては、部位認識部７０Ｄによって認識されなかった部位が分類される大分類よりも１つ後に認識されることが予定されている大分類に分類される部位が挙げられる。
【0125】
例えば、胃体上部の大弯側後壁が部位認識部７０Ｄによって認識されなかった場合、胃体上部の大弯側後壁が分類される大分類よりも１つ後に認識されることが予定されている大分類に分類される部位が部位認識部７０Ｄによって認識されたことを条件に、胃体上部の大弯側後壁に対応する領域１０９に対して第２重要度マーク１１０Ｂが重畳表示される。ここで、胃体上部の大弯側後壁が分類される大分類とは、胃体上部の大弯を指す。また、胃体上部の大弯側後壁が分類される大分類よりも１つ後に認識されることが予定されている大分類とは、胃体中部の大弯を指す。
【0126】
一例として図１１に示すように、制御部７０Ｃによって、上述した要領で、画面３７に表示される医療支援画像４１として第２医療支援画像４１Ｂが選択された場合、未認識情報１０６は、第２医療支援画像４１Ｂとして、制御部７０Ｃによって画面３７に表示される。未認識情報１０６に含まれる重要度情報１０８は、重要度マーク１１２として、制御部７０Ｃによって第２医療支援画像４１Ｂ内に表示される。
【0127】
重要度マーク１１２の表示態様は、重要度情報１０８に応じて異なる。重要度マーク１１２は、第１重要度マーク１１２Ａ、第２重要度マーク１１２Ｂ、及び第３重要度マーク１１２Ｃに類別される。第１重要度マーク１１２Ａは、重要度１０４の“高”を表現したマークである。第２重要度マーク１１２Ｂは、重要度１０４の“中”を表現したマークである。第３重要度マーク１１２Ｃは、重要度１０４の“低”を表現したマークである。すなわち、第１重要度マーク１１２Ａ、第２重要度マーク１１２Ｂ、及び第３重要度マーク１１２Ｃは、重要度の“高”、“中”、及び“小”が区別可能な表示態様で表現されたマークである。第２重要度マーク１１２Ｂは、第３重要度マーク１１２Ｃよりも強調された状態で表示され、第１重要度マーク１１２Ａは、第２重要度マーク１１２Ｂよりも強調された状態で表示される。
【0128】
図１１に示す例では、第１重要度マーク１１２Ａには、複数（ここでは、一例として、２つ）のエクスクラメーションマークが含まれており、第２重要度マーク１１２Ｂ及び第３重要度マーク１１２Ｃには、１つのエクスクラメーションマークが含まれている。第３重要度マーク１１２Ｃに含まれるエクスクラメーションマークのサイズは、第１重要度マーク１１２Ａ及び第２重要度マーク１１２Ｂに含まれるエクスクラメーションマークのサイズよりも小さい。また、第２重要度マーク１１２Ｂは、第３重要度マーク１１２Ｃよりも目立つように着色されており、第１重要度マーク１１２Ａは、第２重要度マーク１１２Ｂよりも目立つように着色されている。また、第２重要度マーク１１２Ｂの輝度は、第３重要度マーク１１２Ｃの輝度よりも高く、第１重要度マーク１１２Ａの輝度は、第２重要度マーク１１２Ｂの輝度よりも高い。このように、目立つ度合いの関係性として“第１重要度マーク１１２Ａ＞第２重要度マーク１１２Ｂ＞第３重要度マーク１１２Ｃ”という関係性が成立している。
【0129】
第２医療支援画像４１Ｂは、内視鏡１２を通して観察される観察対象２１の複数の部位に対応する複数の領域に区切られた状態で、かつ、第１医療支援画像４１Ａ及び第３医療支援画像４１Ｃとは異なる態様で表現された画像である。
【0130】
第２医療支援画像４１Ｂは、胃を観察する少なくとも１つの経路の模式的な態様を示す模式図である。第２医療支援画像４１Ｂには、経路１１４が含まれている。経路１１４は、内視鏡１２を用いて胃を観察する順序（ここでは、一例として、認識予定順序１０２（図８及び図９参照））を模式的に表現した経路であり、かつ、観察対象２１が複数の部位に対応する複数の領域に区分された模式図である。図１１に示す例では、複数の領域の一例として、医療支援画像４１内に、噴門部、穹窿部、胃体上部、胃体中部、胃体下部、胃角部、前庭部、幽門輪、及び球部がテキストで表示されており、経路１１４も、噴門部、穹窿部、胃体上部、胃体中部、胃体下部、胃角部、前庭部、幽門輪、及び球部で区分されている。
【0131】
経路１１４は、胃の最上流側から下流側にかけて途中で大弯側経路１１４Ａと小弯側経路１１４Ｂとに分岐し、再び合流している。経路１１４上において、大分類に分類される部位に対しては大型の円形マーク１１６Ａが割り当てられており、小分類に分類される部位に対しては小型の円形マーク１１６Ｂが割り当てられている。すなわち、第２医療支援画像４１Ｂは、大分類毎に複数の円形マーク１１６Ａで区分けされており、小分類毎に複数の円形マーク１１６Ｂで区分けされている。以下、説明の便宜上、円形マーク１１６Ａ及び１１６Ｂを区別して説明する必要がない場合、「円形マーク１１６」と称する。
【0132】
第２医療支援画像４１Ｂは、経路１１４に沿って配置された複数の円形マーク１１６によって区切られている。経路１１４に沿って配置された複数の円形マーク１１６は、本開示の技術に係る「複数の領域」の一例である。また、第２医療支援画像４１Ｂが噴門部、穹窿部、胃体上部、胃体中部、胃体下部、胃角部、前庭部、幽門輪、及び球部で区分されて得られた複数の領域も、本開示の技術に係る「複数の領域」の一例である。
【0133】
経路１１４のうち、胃の最上流側から大弯側経路１１４Ａと小弯側経路１１４Ｂとの分岐点の前までは、胃の最上流側から胃の下流側にかけて噴門部に対応する円形マーク１１６Ａ及び穹窿部に対応する円形マーク１１６Ａが並べられている。
【0134】
大弯側経路１１４Ａには、大分類に分類される部位単位で、大弯に対応する円形マーク１１６Ａ、前壁に対応する円形マーク１１６Ｂ、及び後壁に対応する円形マーク１１６Ｂが配置されている。大弯に対応する円形マーク１１６Ａは、大弯側経路１１４Ａの中央に位置し、前壁に対応する円形マーク１１６Ｂ及び後壁に対応する円形マーク１１６Ｂは、大弯に対応する円形マーク１１６Ａの左右に位置する。
【0135】
小弯側経路１１４Ｂには、大分類に分類される部位単位で、小弯に対応する円形マーク１１６Ａ、前壁に対応する円形マーク１１６Ｂ、及び後壁に対応する円形マーク１１６Ｂが配置されている。小弯に対応する円形マーク１１６Ａは、小弯側経路１１４Ｂの中央に位置し、前壁に対応する円形マーク１１６Ｂ及び後壁に対応する円形マーク１１６Ｂは、小弯に対応する円形マーク１１６Ａの左右に位置する。
【0136】
経路１１４のうち、大弯側経路１１４Ａと小弯側経路１１４Ｂとの合流点から胃の最下流側の部位までは、幽門輪に対応する円形マーク１１６Ａ及び球部に対応する円形マーク１１６Ａが並べられている。
【0137】
円形マーク１１６内はデフォルトで空白となっている。円形マーク１１６に対応する部位が部位認識部７０Ｄによって認識された場合、部位認識部７０Ｄによって認識された部位に対応する円形マーク１１６内が特定色（例えば、光の三原色及び色の三原色のうちの事前に定められた一色）で塗り潰される。これに対し、円形マーク１１６に対応する部位が部位認識部７０Ｄによって認識されなかった場合、部位認識部７０Ｄによって認識されなかった部位に対応する円形マーク１１６内は塗り潰されない。しかし、部位認識部７０Ｄによって認識されなかった部位に対応する円形マーク１１６内に、部位認識部７０Ｄによって認識されなかった部位の重要度１０４に応じた重要度マーク１１２が表示される。
【0138】
これにより、第２医療支援画像４１Ｂ内において、複数の円形マーク１１６が、第２観察済み領域と第２未観察領域とに分類される。第２観察済み領域とは、部位認識部７０Ｄによって認識された部位に対応する円形マーク１１６、すなわち、特定色で塗り潰された円形マーク１１６を指す。第２未観察領域とは、重要度マーク１１２が表示された円形マーク１１６を指す。第２観察済み領域は、本開示の技術に係る「観察済み領域」の一例であり、第２未観察領域は、本開示の技術に係る「未観察領域」の一例である。表示装置１３には、部位認識部７０Ｄによって認識された部位に対応する円形マーク１１６と部位認識部７０Ｄによって認識されなかった部位に対応する円形マーク１１６とが区別可能な態様で第２医療支援画像４１Ｂ内に表示される。表示装置１３の画面３７に表示される第１医療支援画像４１Ａと第２医療支援画像４１Ｂとを比較すると、第２医療支援画像４１Ｂの第２観察済み領域と第２未観察領域は、第１医療支援画像４１Ａの第１観察済み領域と第１未観察領域よりも詳細に区別可能に表示される。
【0139】
制御部７０Ｃは、認識部位確認テーブル８２内の大分類フラグ１００がオンされると、医療支援画像４１の内容を更新する。医療支援画像４１の内容の更新は、制御部７０Ｃによる未認識情報１０６の出力によって実現される。
【0140】
制御部７０Ｃは、認識部位確認テーブル８２内の大分類フラグ１００がオンされると、オンされた大分類フラグ１００に対応する部位の円形マーク１１６Ａを特定色で塗り潰す。また、制御部７０Ｃは、部位フラグ９８がオンされると、オンされた部位フラグ９８に対応する部位の円形マーク１１６Ｂを特定色で塗り潰す。
【0141】
一方、制御部７０Ｃは、部位認識部７０Ｄによって部位が認識されなかった場合、部位認識部７０Ｄによって認識されなかった部位よりも後に部位認識部７０Ｄによって認識されることが予定されている後続部位が部位認識部７０Ｄによって認識されたことを条件に、部位認識部７０Ｄによって部位が認識されなかった部位に対応する円形マーク１１６内に重要度マーク１１２を表示する。すなわち、制御部７０Ｃは、部位認識部７０Ｄによって認識された順序が認識予定順序１０２（図８及び図９）から外れたことが確定した場合に、部位認識部７０Ｄによって部位が認識されなかった部位に対応する円形マーク１１６内に重要度マーク１１２を表示する。
【0142】
図１１に示す例では、胃体上部の大弯側後壁が部位認識部７０Ｄによって認識されなかった場合、胃体上部の大弯側後壁が分類される大分類よりも１つ後に認識されることが予定されている大分類に分類される部位が部位認識部７０Ｄによって認識されたことを条件に、胃体上部の大弯側後壁に対応する円形マーク１１６Ｂに対して第２重要度マーク１１２Ｂが重畳表示される。ここで、胃体上部の大弯側後壁が分類される大分類とは、胃体上部の大弯を指す。また、胃体上部の大弯側後壁が分類される大分類よりも１つ後に認識されることが予定されている大分類とは、胃体中部の大弯を指す。
【0143】
また、図１１に示す例において、胃体中部の大弯側前壁が部位認識部７０Ｄによって認識されなかった場合、胃体中部の大弯側前壁が分類される大分類よりも１つ後に認識されることが予定されている大分類に分類される部位が部位認識部７０Ｄによって認識されたことを条件に、胃体中部の大弯側前壁に対応する円形マーク１１６Ｂに対して第３重要度マーク１１２Ｃが重畳表示される。ここで、胃体中部の大弯側前壁が分類される大分類とは、胃体中部の大弯を指す。また、胃体中部の大弯側前壁が分類される大分類よりも１つ後に認識されることが予定されている大分類とは、胃体下部の大弯を指す。
【0144】
また、図１１に示す例において、胃体下部の大弯側前壁が部位認識部７０Ｄによって認識されなかった場合、胃体下部の大弯側前壁が分類される大分類よりも１つ後に認識されることが予定されている大分類に分類される部位が部位認識部７０Ｄによって認識されたことを条件に、胃体下部の大弯側前壁に対応する円形マーク１１６Ｂに対して第１重要度マーク１１２Ａが重畳表示される。ここで、胃体下部の大弯側前壁が分類される大分類とは、胃体下部の大弯を指す。また、胃体下部の大弯側前壁が分類される大分類よりも１つ後に認識されることが予定されている大分類とは、胃角部の大弯を指す。
【0145】
本実施形態では、部位認識部７０Ｄによって認識されなかった部位の特定を容易にするために、円形マーク１１６に対して重要度マーク１１２が重畳されることによって得られる画像が、円形マーク１１６が特定色で塗り潰されることによって得られる画像よりも強調された状態で表示される。図１１に示す例では、円形マーク１１６が特定色で塗り潰されることによって得られる画像の輪郭よりも、円形マーク１１６に対して重要度マーク１１２が重畳されることによって得られる画像の輪郭が強調された状態で表示されている。輪郭の強調は、例えば、輪郭に対する輝度の調節によって実現される。また、円形マーク１１６が特定色で塗り潰されることによって得られる画像にはエクスクラメーションマークが含まれていないのに対し、円形マーク１１６に対して重要度マーク１１２が重畳されることによって得られる画像にはエクスクラメーションマークが含まれている。そのため、エクスクラメーションマークの有無によって部位認識部７０Ｄによって認識されなかった部位と部位認識部７０Ｄによって認識された部位とが視覚的に特定される。
【0146】
一例として図１２に示すように、制御部７０Ｃによって、上述した要領で、画面３７に表示される医療支援画像４１として第３医療支援画像４１Ｃが選択された場合、未認識情報１０６は、第３医療支援画像４１Ｃとして、制御部７０Ｃによって画面３７に表示される。未認識情報１０６に含まれる重要度情報１０８は、重要度マーク１２０として、制御部７０Ｃによって第３医療支援画像４１Ｃ内に表示される。第３医療支援画像４１Ｃは、胃を模式的に展開した態様を示す模式図である。第３医療支援画像４１Ｃは、大分類毎にかつ小分類毎に複数の領域１２２で区分けされている。重要度マーク１２０は、楕円状のマークであり、第３医療支援画像４１Ｃ内の複数の領域１２２に対応する箇所に分布している。なお、複数の領域１２２は、大分類のみに分類されていてもよいし、小分類のみに分類されていてもよい。
【0147】
重要度マーク１２０の表示態様は、重要度情報１０８に応じて異なる。重要度マーク１２０は、第１重要度マーク１２０Ａ、第２重要度マーク１２０Ｂ、及び第３重要度マーク１２０Ｃに類別される。第１重要度マーク１２０Ａは、重要度１０４の“高”を表現したマークである。第２重要度マーク１２０Ｂは、重要度１０４の“中”を表現したマークである。第３重要度マーク１２０Ｃは、重要度１０４の“低”を表現したマークである。すなわち、第１重要度マーク１２０Ａ、第２重要度マーク１２０Ｂ、及び第３重要度マーク１２０Ｃは、重要度の“高”、“中”、及び“小”が区別可能な表示態様で表現されたマークである。第２重要度マーク１２０Ｂは、第３重要度マーク１２０Ｃよりも強調された状態で表示され、第１重要度マーク１２０Ａは、第２重要度マーク１２０Ｂよりも強調された状態で表示される。
【0148】
第３医療支援画像４１Ｃは、内視鏡１２を通して観察される観察対象２１の複数の部位に対応する複数の領域１２２に区切られた状態で、かつ、第１医療支援画像４１Ａ及び第２医療支援画像４１Ｂとは異なる態様で表現された画像である。
【0149】
複数の領域１２２内はデフォルトで空白となっている。領域１２２に対応する部位、領域１２２の一部分に対応する部位、又は、複数の領域１２２に跨る部分に対応する部位が部位認識部７０Ｄによって認識された場合、部位認識部７０Ｄによって認識された部位に対応する領域１２２が背景色と同色で塗り潰される。
【0150】
これに対し、領域１２２に対応する部位、領域１２２の一部分に対応する部位、又は、複数の領域１２２に跨る部分に対応する部位が部位認識部７０Ｄによって認識されなかった場合、部位認識部７０Ｄによって認識されなかった部位に対して、重要度情報１０８に応じた重要度マーク１２０が表示される。
【0151】
これにより、第３医療支援画像４１Ｃ内が第３観察済み領域と第３未観察領域とに分類される。第３観察済み領域とは、部位認識部７０Ｄによって認識された部位に対応する空白領域（すなわち、背景色と同色で塗り潰された領域）を指す。第３未観察領域とは、部位認識部７０Ｄによって認識されていない部位に対応する重要度マーク１２０が付された領域を指す。第２観察済み領域は、本開示の技術に係る「観察済み領域」の一例であり、第２未観察領域は、本開示の技術に係る「未観察領域」の一例である。表示装置１３には、重要度マーク１２０が付された領域と重要度マーク１２０が付されていない領域とで区分けされる。すなわち、第３観察済み領域と第３未観察領域とが区別可能な態様で第３医療支援画像４１Ｃ内に表示される。表示装置１３の画面３７に表示される第１医療支援画像４１Ａと第３医療支援画像４１Ｃとを比較すると、第３医療支援画像４１Ｃの第３観察済み領域と第３未観察領域は、第１医療支援画像４１Ａの第１観察済み領域と第１未観察領域よりも詳細に区別可能に表示される。また、表示装置１３の画面３７に表示される第２医療支援画像４１Ｂと第３医療支援画像４１Ｃとを比較すると、第３医療支援画像４１Ｃの第３観察済み領域と第３未観察領域は、第２医療支援画像４１Ｂの第２観察済み領域と第２未観察領域よりも詳細に区別可能に表示される。
【0152】
制御部７０Ｃは、部位認識部７０Ｄによって認識された部位に対応する重要度マーク１２０を第３医療支援画像４１Ｃから消去する。この結果、第３医療支援画像４１Ｃ内で重要度マーク１２０が表示されている箇所は、第３医療支援画像４１Ｃ内で重要度マーク１２０が表示されていない箇所（例えば、重要度マーク１２０が消去された箇所）よりも強調された状態で表示されることになる。これにより、第３医療支援画像４１Ｃ内で重要度マーク１２０が表示されている箇所は、部位認識部７０Ｄによって認識されていない部位に対応する箇所であり、重要度マーク１２０が表示されていない箇所は、部位認識部７０Ｄによって認識された部位に対応する箇所であることが医師１４によって視覚的に容易に把握される。
【0153】
【0154】
【0155】
図１０に示す医療支援処理では、先ず、ステップＳＴ１０で、制御部７０Ｃは、デフォルトの医療支援画像４１として、第１医療支援画像４１Ａを画面３７に表示する。ステップＳＴ１０の処理が実行された後、医療支援処理はステップＳＴ１２へ移行する。
【0156】
ステップＳＴ１２で、画像取得部７０Ａは、内視鏡スコープ４８によって１フレーム分の撮像が行われたか否かを判定する。ステップＳＴ１２において、内視鏡スコープ４８によって１フレーム分の撮像が行われていない場合は、判定が否定されて、ステップＳＴ１０の判定が再び行われる。ステップＳＴ１２において、内視鏡スコープ４８によって１フレーム分の撮像が行われた場合は、判定が肯定されて、医療支援処理はステップＳＴ１４へ移行する。
【0157】
ステップＳＴ１４で、画像取得部７０Ａは、内視鏡スコープ４８から１フレーム分の内視鏡画像４０を取得する。ステップＳＴ１４の処理が実行された後、医療支援処理はステップＳＴ１６へ移行する。
【0158】
ステップＳＴ１６で、画像取得部７０Ａは、一定フレーム数の内視鏡画像４０を保持しているか否かを判定する。ステップＳＴ１６において、一定フレーム数の内視鏡画像４０を保持していない場合は、判定が否定されて、医療支援処理はステップＳＴ１２へ移行する。ステップＳＴ１６において、一定フレーム数の内視鏡画像４０を保持している場合は、判定が肯定されて、医療支援処理はステップＳＴ１８へ移行する。
【0159】
ステップＳＴ１８で、画像取得部７０Ａは、ステップＳＴ１４で取得した内視鏡画像４０をＦＩＦＯ方式で時系列画像群８９に加えることにより時系列画像群８９を更新する。ステップＳＴ１８の処理が実行された後、医療支援処理はステップＳＴ２０へ移行する。
【0160】
ステップＳＴ２０で、制御部７０Ｃは、内視鏡認識部７０Ｂ及び部位認識部７０Ｄに対して画像認識処理を開始させる条件（以下、「画像認識開始条件」と称する）を満足したか否かを判定する。画像認識開始条件の一例としては、内視鏡認識部７０Ｂ及び部位認識部７０Ｄに対して画像認識処理を開始させる指示が受付装置６２等によって受け付けられたという条件が挙げられる。内視鏡認識部７０Ｂ及び部位認識部７０Ｄに対して画像認識処理を開始させる指示の一例としては、内視鏡スコープ４８に対して本露光を開始させる指示（例えば、静止画像用又は記録用動画像用の撮像を開始させる指示）が挙げられる。ステップＳＴ２０において、画像認識開始条件してない場合は、判定が否定されて、医療支援処理はステップＳＴ１２へ移行する。ステップＳＴ２０において、画像認識開始条件を満足した場合は、判定が肯定されて、医療支援処理はステップＳＴ２２へ移行する。
【0161】
ステップＳＴ２２で、内視鏡認識部７０Ｂは、ステップＳＴ１８で更新された時系列画像群８９に対して第１学習済みモデル７８を用いた画像認識処理を行うことにより内視鏡関連情報９０を取得する。ステップＳＴ２２の処理が実行された後、医療支援処理はステップＳＴ２４へ移行する。
【0162】
ステップＳＴ２４で、制御部７０Ｃは、演算式９３を用いて、ステップＳＴ２２で取得された内視鏡関連情報９０に応じた難度９２を算出する。ステップＳＴ２４の処理が実行された後、医療支援処理はステップＳＴ２６へ移行する。
【0163】
ステップＳＴ２６で、制御部７０Ｃは、ステップＳＴ２４で算出した難度９２に従って選択した医療支援画像４１を画面３７に表示する。すなわち、制御部７０Ｃは、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃから、難度９２に対応する医療支援画像４１を選択し、選択した医療支援画像４１を画面３７に表示する。ステップＳＴ２６の処理が実行された後、医療支援処理は、図１３Ｂに示すステップＳＴ２８へ移行する。
【0164】
図１３Ｂに示すステップＳＴ２８で、部位認識部７０Ｄは、ステップＳＴ１８で更新された時系列画像群８９に対する第２学習済みモデル８０を用いた画像認識処理の実行を開始する。ステップＳＴ２８の処理が実行された後、医療支援処理はステップＳＴ３０へ移行する。
【0165】
ステップＳＴ３０で、部位認識部７０Ｄは、観察対象２１内の複数の部位のうちの何れかの部位を認識したか否かを判定する。ステップＳＴ３０において、部位認識部７０Ｄが観察対象２１内の複数の部位のうちの何れの部位も認識していない場合は、判定が否定されて、医療支援処理はステップＳＴ４０へ移行する。ステップＳＴ３０において、部位認識部７０Ｄが観察対象２１内の複数の部位のうちの何れかの部位を認識した場合は、判定が肯定されて、医療支援処理はステップＳＴ３２へ移行する。
【0166】
ステップＳＴ３２で、部位認識部７０Ｄは、認識部位確認テーブル８２を更新する。すなわち、部位認識部７０Ｄは、認識した部位に対応する部位フラグ９８及び大分類フラグ１００をオンすることで認識部位確認テーブル８２を更新する。ステップＳＴ３２の処理が実行された後、医療支援処理はステップＳＴ３４へ移行する。
【0167】
ステップＳＴ３４で、制御部７０Ｃは、部位認識部７０Ｄによって認識される部位として事前に予定されている部位に対する認識漏れがあるか否かを判定する。認識漏れがあるか否かの判定は、例えば、部位認識部７０Ｄによって認識される部位の順序が認識予定順序１０２から外れたか否かが判定されることによって実現される。ステップＳＴ３４において、部位認識部７０Ｄによって認識される部位として事前に予定されている部位に対する認識漏れがある場合は、判定が肯定されて、医療支援処理はステップＳＴ３６へ移行する。ステップＳＴ３４において、部位認識部７０Ｄによって認識される部位として事前に予定されている部位に対する認識漏れがない場合は、判定が否定されて、医療支援処理はステップＳＴ４０へ移行する。
【0168】
ステップＳＴ３４において、画面３７に医療支援画像４１が表示されていない状態で、判定が否定されると、制御部７０Ｃは、医療支援画像４１の内容を更新する。例えば、画面３７に第１医療支援画像４１Ａが表示されている場合、制御部７０Ｃは、第１医療支援画像４１Ａ内の複数の領域１０９のうち、部位認識部７０Ｄによって認識された部位に対応する領域１０９を背景色と同色で塗り潰す。また、画面３７に第２医療支援画像４１Ｂが表示されている場合、制御部７０Ｃは、第２医療支援画像４１Ｂ内の複数の円形マーク１１６のうち、部位認識部７０Ｄによって認識された部位に対応する円形マーク１１６を特定色で塗り潰す。また、画面３７に第３医療支援画像４１Ｃが表示されている場合、制御部７０Ｃは、複数の領域１１２のうち、部位認識部７０Ｄによって認識された部位に対応する領域１１２を背景色と同色で塗り潰す。
【0169】
ステップＳＴ３６で、制御部７０Ｃは、部位認識部７０Ｄによって認識されなかった部位の後続部位が部位認識部７０Ｄによって認識されているか否かを判定する。部位認識部７０Ｄによって認識されなかった部位の後続部位とは、例えば、部位認識部７０Ｄによって認識されなかった部位が分類される大分類の１つ後に部位認識部７０Ｄによって認識されることが予定されている大分類に分類される部位を指す。ステップＳＴ３６において、部位認識部７０Ｄによって認識されなかった部位の後続部位が部位認識部７０Ｄによって認識されていない場合は、判定が否定されて、医療支援処理はステップＳＴ４０へ移行する。ステップＳＴ３６において、部位認識部７０Ｄによって認識されなかった部位の後続部位が部位認識部７０Ｄによって認識された場合は、判定が肯定されて、医療支援処理はステップＳＴ３８へ移行する。
【0170】
ステップＳＴ３８で、制御部７０Ｃは、重要度テーブル８４を参照して、認識漏れの部位に対応する領域に重要度１０４に応じたマークを重畳表示する。例えば、画面３７に第１医療支援画像４１Ａが表示されている場合、制御部７０Ｃは、第１医療支援画像４１Ａ内の複数の領域１０９のうちの認識漏れの部位に対応する領域１０９に対して重要度１０４に応じた重要度マーク１１０を重畳表示する。また、画面３７に第２医療支援画像４１Ｂが表示されている場合、制御部７０Ｃは、第２医療支援画像４１Ｂ内の複数の円形マーク１１６のうちの認識漏れの部位に対応する円形マーク１１６に対して重要度１０４に応じた重要度マーク１１２を重畳表示する。また、画面３７に第３医療支援画像４１Ｃが表示されている場合、制御部７０Ｃは、複数の領域１１２のうちの第２医療支援画像４１Ｂ内の認識漏れの部位に対応する領域１１２に対して重要度１０４に応じた重要度マーク１２０を重畳表示する。ステップＳＴ３８の処理が実行された後、医療支援処理はステップＳＴ４０へ移行する。
【0171】
ステップＳＴ４０で、制御部７０Ｃは、内視鏡認識部７０Ｂ及び部位認識部７０Ｄによる画像認識処理を終了させる。ステップＳＴ４０の処理が実行された後、医療支援処理はステップＳＴ４２へ移行する。
【0172】
ステップＳＴ４２で、制御部７０Ｃは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、内視鏡システム１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６２によって受け付けられたという条件）が挙げられる。
【0173】
ステップＳＴ４２において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、図１３Ａに示すステップＳＴ１０へ移行する。ステップＳＴ４２において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。
【0174】
以上説明したように、内視鏡システム１０では、内視鏡スコープ４８によって胃内が撮像されることによって時系列画像群８９が得られる。また、時系列画像群８９に対してＡＩ方式の画像認識処理が行われることによって内視鏡関連情報９０が取得される。表示装置１３の画面３６には、内視鏡画像４０が表示され、表示装置１３の画面３７には、医療支援画像４１が表示される。医療支援画像４１は、内視鏡検査中に観察されることが予定されている複数の部位の確認等のために医師１４によって参照される。
【0175】
しかし、例えば、医師１４が内視鏡１２の操作等に集中している場合、医療支援画像４１の内容の全てを把握することは困難となる。特に、内視鏡１２を用いた手技の難度が高かったり、メンタルローテーションの難度が高かったりすると、医療支援画像４１の確認に十分な時間をかけることが困難となる。
【0176】
そこで、内視鏡システム１０では、互いに視覚的な情報量が異なる第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃが内視鏡関連情報９０に従って選択されて画面３７に表示される。第２医療支援画像４１Ｂは、第３医療支援画像４１Ｃよりも視覚的な情報量が多く、第１医療支援画像４１Ａは、第２医療支援画像４１Ｂよりも視覚的な情報量が多い。例えば、医師１４が内視鏡１２の操作等に対して集中するレベルが高レベルの場合には、第３医療支援画像４１Ｃが画面３７に表示される。医師１４が内視鏡１２の操作等に対して集中するレベルが中レベルの場合には、第２医療支援画像４１Ｂが画面３７に表示される。医師１４が内視鏡１２の操作等に対して集中するレベルが低レベルの場合には、第１医療支援画像４１Ａが画面３７に表示される。
【0177】
これにより、医師１４に対して、医療支援画像４１を通して、観察対象２１内の複数の部位を把握させ易くすることができる。また、医師１４が置かれている状況に応じて視覚的に情報量が異なる第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃを選択的に医師１４に観察させることができる。すなわち、医師１４に観察させる医療支援画像４１として、医師１４に置かれている状況に応じて簡易な医療支援画像４１と詳細な医療支援画像４１とを使い分けることができる。
【0178】
また、内視鏡システム１０では、内視鏡関連情報９０に、処置具情報９０Ａ、動作速度情報９０Ｂ、位置情報９０Ｃ、形状情報９０Ｄ、及び流体送出情報９０Ｅ等が含まれており、これらの情報は、内視鏡１２を用いた手技の難度、及び／又は、メンタルローテーションの難度を特定可能な情報である。画面３７には、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃのうち、処置具情報９０Ａ、動作速度情報９０Ｂ、位置情報９０Ｃ、形状情報９０Ｄ、及び流体送出情報９０Ｅ等に従って選択された医療支援画像４１が表示される。従って、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃのうち、内視鏡１２を用いた手技の難度、及び／又は、メンタルローテーションの難度に合った適切な情報量の医療支援画像４１を医師１４に観察させることができる。すなわち、医師１４に対して観察させる医療支援画像４１として、内視鏡１２を用いた手技の難度、及び／又は、メンタルローテーションの難度に応じて簡易な医療支援画像４１と詳細な医療支援画像４１とを使い分けることができる。
【0179】
また、内視鏡関連情報９０に含まれる処置具情報９０Ａ、動作速度情報９０Ｂ、位置情報９０Ｃ、形状情報９０Ｄ、及び流体送出情報９０Ｅ等は、内視鏡１２に対する操作内容を特定可能な情報である。画面３７には、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃのうち、処置具情報９０Ａ、動作速度情報９０Ｂ、位置情報９０Ｃ、形状情報９０Ｄ、及び流体送出情報９０Ｅ等に従って選択された医療支援画像４１が表示される。従って、医師１４は、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃのうち、内視鏡１２に対する操作内容に適した医療支援画像４１を通して観察対象２１を観察することができる。
【0180】
また、内視鏡システム１０では、第１医療支援画像４１Ａとして、胃を透視した模式的な態様を示す模式図が用いられている。また、第２医療支援画像４１Ｂとして、胃を観察する少なくとも１つの経路の模式的な態様を示す模式図が用いられている。更に、第３医療支援画像４１Ｃとして、胃を模式的に展開した態様を示す模式図が用いられている。従って、医師１４に対して観察させる医療支援画像４１として、医師１４に置かれている状況に応じた模式図を医師１４に提供することができる。
【0181】
また、内視鏡システム１０では、第１医療支援画像４１Ａに含まれる複数の領域１０９は、大分類と小分類とに分類されている。また、第２医療支援画像４１Ｂに含まれる複数の円形マーク１１６も、大分類と小分類とに分類されている。更に、第３医療支援画像４１Ｃに含まれる複数の領域１２２も、大分類と小分類とに分類されている。従って、医師１４は、画面３７に表示される医療支援画像４１を通して、観察対象２１内のどの部位が大分類に分類され、どの部位が小分類に分類されるのかを把握することができる。
【0182】
また、内視鏡システム１０では、内視鏡関連情報９０が内視鏡認識部７０Ｂによって時系列画像群８９に基づいて生成される。つまり、内視鏡１２の外部から内視鏡１２に対して内視鏡関連情報９０を入力する必要がない。従って、少なくとも内視鏡１２の外部から内視鏡１２に対して内視鏡関連情報９０を入力しない分だけ手間をかけずに内視鏡関連情報９０に応じた医療支援画像４１を画面３７に表示することができる。
【0183】
また、内視鏡システム１０では、第１医療支援画像４１Ａには、第１観察済み領域と第１未観察領域とが区別可能な状態で表示される。また、第２医療支援画像４１Ｂには、第２観察済み領域と第２未観察領域とが区別可能な状態で表示される。更に、第３医療支援画像４１Ｃには、第３観察済み領域と第３未観察領域とが区別可能な状態で表示される。従って、画面３７に第１医療支援画像４１Ａが表示されている場合、医師１４に対して、第１観察済み領域と第１未観察領域とを容易に把握させることができる。また、画面３７に第２医療支援画像４１Ｂが表示されている場合、医師１４に対して、第２観察済み領域と第２未観察領域とを容易に把握させることができる。更に、画面３７に第３医療支援画像４１Ｃが表示されている場合、医師１４に対して、第３観察済み領域と第３未観察領域とを容易に把握させることができる。
【0184】
また、内視鏡システム１０では、デフォルトの医療支援画像４１として第１医療支援画像４１Ａが画面３７に表示される。そして、第１医療支援画像４１Ａを起点として、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃが選択的に画面３７に表示される。従って、医師１４は、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃのうち、視覚的な情報が最も少ない第１医療支援画像４１Ａを主に参照しながら内視鏡検査を行うことができる。
【0185】
なお、上記実施形態では、表示装置１３に画面３６及び３７が対比可能な状態で表示される形態例を挙げて説明したが、これは、あくまでも一例に過ぎず、画面３６と画面３７とが選択的に表示されるようにしてもよい。また、画面３６と画面３７とのサイズ比は受付装置６２によって受け付けられた指示、及び／又は、内視鏡１２の現状（例えば、内視鏡１２の操作状況）等に応じて変更されるようにしてもよい。
【0186】
上記実施形態では、部位認識部７０ＤによってＡＩ方式の画像認識処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、プロセッサ７０によって非ＡＩ方式の画像認識処理（例えば、テンプレートマッチング方式）の画像認識処理が行われることによって部位が認識されるようにしてもよい。また、プロセッサ７０によってＡＩ方式の画像認識処理及び非ＡＩ方式の画像認識処理が併用されることによって部位が認識されるようにしてもよい。なお、内視鏡認識部７０Ｂによって行われる画像認識処理についても同様のことが言える。
【0187】
上記実施形態では、部位認識部７０Ｄが時系列画像群８９に対して画像認識処理を行うことにより部位を認識する形態例を挙げたが、これは、あくまでも一例に過ぎず、単一フレームの内視鏡画像４０に対して画像認識処理が行われることによって部位が認識されるようにしてもよい。なお、内視鏡認識部７０Ｂによって行われる画像認識処理についても同様のことが言える。
【0188】
上記実施形態では、第１重要度マーク１１０Ａの表示態様、第２重要度マーク１１０Ｂの表示態様、及び第３重要度マーク１１０Ｃの表示態様が重要度１０４に応じて異なっているが、本開示の技術はこれに限定されない。例えば、第１重要度マーク１１０Ａの表示態様、第２重要度マーク１１０Ｂの表示態様、及び第３重要度マーク１１０Ｃの表示態様は、未認識部位の種類に応じて異なっていてもよい。また、重要度マーク１１０の表示態様を未認識部位の種類に応じて異ならせる場合であっても、上記実施形態と同様に、重要度マーク１１０について、重要度１０４に応じた表示態様は、維持されるようにしてもよい。また、未認識部位の種類に応じて重要度１０４を変更し、変更後の重要度１０４に応じて第１重要度マーク１１０Ａ、第２重要度マーク１１０Ｂ、及び第３重要度マーク１１０Ｃが選択的に表示されるようにしてもよい。なお、重要度マーク１１２及び１２０についても同様のことが言える。
【0189】
上記実施形態では、重要度１０４が、“高”、“中”、及び“低”の３段階のレベルの何れかのレベルで規定される形態例を挙げたが、これは、あくまでも一例に過ぎず、重要度１０４は、“高”、“中”、及び“低”の何れか１つ又は２つであってもよい。この場合、重要度マーク１１０も、重要度１０４のレベル毎に区別可能に定めればよい。例えば、重要度１０４が“高”及び“中”のみの場合、第１医療支援画像４１Ａ内に、第１重要度マーク１１０Ａ及び第２重要度マーク１１０Ｂが重要度１０４に応じて選択的に表示され、かつ、第１医療支援画像４１Ａ内に第３重要度マーク１１０Ｃが表示されないようにすればよい。また、重要度１０４は、４段階以上のレベルに分けられていてもよく、この場合も、重要度マーク１１０は、重要度１０４のレベル毎に区別可能に定めればよい。なお、重要度マーク１１２及び１２０についても同様のことが言える。
【0190】
上記実施形態では、第１医療支援画像４１Ａを起点として、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃが選択的に画面３７に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１４に示すように、参照画像１２４を起点として、参照画像１２４、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃが選択的に画面３７に表示されるようにしてもよい。参照画像１２４は、本開示の技術に係る「第１画像」の一例である。参照画像１２４は、観察対象２１内の複数の部位に対応する複数の領域１２６と挿入部画像１２８とを含む画像である。参照画像１２４は、複数の領域１２６で区分されている。参照画像１２４では、複数の領域１２６と挿入部画像１２８とが対比可能に表現されている。挿入部画像１２８は、挿入部４４を模した画像である。挿入部画像１２８の形状及び位置は、実際の挿入部４４の形状及び位置とリンクしている。
【0191】
実際の挿入部４４の形状及び位置の特定は、ＡＩ方式の画像認識処理が実行されることによって実現される。例えば、制御部７０Ｃは、挿入部４４の操作内容及び１フレーム以上の内視鏡画像４０に対して学習済みモデルを用いた処理を行うことにより実際の挿入部４４の形状及び位置を特定し、特定結果に基づいて挿入部画像１２８を生成して画面３７の参照画像１２４に対して重畳表示する。
【0192】
なお、ここで、制御部７０Ｃによって用いられる学習済みモデルは、例えば、挿入部４４の操作内容及び１フレーム以上の内視鏡画像４０に相当する画像等を例題データとし、挿入部４４の形状及び位置を正解データとした教師データを用いた機械学習がニューラルネットワークに対して行われることによって得られる。
【0193】
図１４に示す例では、参照画像１２４、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃが画面３７に選択的に表示される形態例を挙げて説明したが、参照画像１２４と、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、又は第３医療支援画像４１Ｃとが並べられた状態（すなわち、対比可能な状態）で表示されてもよい。この場合、例えば、参照画像１２４及び第１医療支援画像４１Ａを起点として、参照画像１２４と並べられて表示される医療支援画像４１として、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃが選択的に表示されるようにしてもよい。
【0194】
参照画像１２４と第３医療支援画像４１Ｃとが並べられた状態で画面３７に表示される場合、例えば、図１５に示すように、穹窿部、胃体上部、胃体中部、胃体下部、胃角部、前庭部、及び幽門輪の位置が特定可能にする情報１３０（図１５に示す例では、テキスト）が画面３７に表示されるようにしてもよい。この場合、情報１３０を、参照画像１２４に含まれる複数の領域１２６と第３医療支援画像４１Ｃに含まれる複数の領域１２２とに対応させて表示させるようにすればよい。
【0195】
参照画像１２４と少なくとも１つの医療支援画像４１は、上記実施形態で説明したのと同じ要領で、内視鏡関連情報９０に従って選択され、選択された画像が画面３７に表示されるようにしてもよい。これにより、医師１４は、観察対象２１内の複数の部位を把握し、かつ、観察対象２１内での内視鏡１２（ここでは、一例として、挿入部４４）の位置を把握することができる。
【0196】
上記実施形態では、内視鏡関連情報９０に、処置具情報９０Ａ、動作速度情報９０Ｂ、位置情報９０Ｃ、形状情報９０Ｄ、及び流体送出情報９０Ｅが含まれる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡関連情報９０には、内視鏡１２の操作者を特定可能な操作者情報が含まれていてもよい。操作者情報の一例としては、個々の医師１４を特定可能な識別子、又は、内視鏡１２に対する操作の熟練度が一定レベル以上の操作者であるか否かを示す情報等が挙げられる。内視鏡関連情報９０に操作者情報を含めることにより、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び第３医療支援画像４１Ｃから、操作者情報に応じた医療支援画像４１が選択され、選択された医療支援画像４１が画面３７に表示される。画面３７に表示される医療支援画像４１は、操作者に適した画像である。
【0197】
そのため、例えば、内視鏡１２の操作に慣れていない医師１４が内視鏡１２を操作している場合には、画面３７に情報量の多い医療支援画像４１（例えば、第２医療支援画像４１Ｂ又は第３医療支援画像４１Ｃ）が表示される。また、例えば、内視鏡１２の操作に慣れている医師１４が内視鏡１２を操作している場合には、画面３７に情報量の少ない医療支援画像４１（例えば、第１医療支援画像４１Ｃ）が表示される。このように、内視鏡関連情報９０に操作者情報を含めることで、医師１４に適した情報量を含む医療支援画像４１を医師１４に対して提供することができる。
【0198】
上記実施形態では、内視鏡関連情報９０に含まれる情報に基づいて難度９２が算出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡関連情報９０に含まれる情報と部位情報９４とに基づいて演算式９３から難度９２が算出されるようにしてもよい。この場合、例えば、観察し難い部位（例えば、食道と胃との接合部分にかかる部位）に関する部位情報９４に対しては、高難度９２Ａが算出されるようにしたり、観察し易い部位に関する部位情報９４に対しては、低難度９２Ｃが算出されるようにしたりすればよい。
【0199】
上記実施形態では、複数の部位に対して付される重要度１０４が、複数の部位に対して行われた過去の検査データに従って定められる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、複数の部位に対して付される重要度１０４は、胃内での未認識部位の位置に従って定められるようにしてもよい。先端部４６の位置から空間的に最も遠い部位は、先端部４６の位置から空間的に近い部位よりも、部位認識部７０Ｄによる認識漏れが生じる可能性が高い。従って、胃内での未認識部位の位置の一例としては、先端部４６の位置から空間的に最も遠い未認識部位の位置が挙げられる。この場合、先端部４６の位置次第で先端部４６の位置から空間的に最も遠い未認識部位の位置が変化するので、胃内での先端部４６の位置と未認識部位の位置とに応じて複数の部位に対して付される重要度１０４が変化する。このように、複数の部位に対して付される重要度１０４が胃内での未認識部位の位置に従って定められることで、胃内での未認識部位の位置に従って定められた重要度１０４の高い部位に対する部位認識部７０Ｄによる認識漏れを抑制することができる。
【0200】
上記実施形態では、複数の部位に対して付される重要度１０４が、外部から与えられた指示に従って定められる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、複数の部位のうちの指定部位（例えば、事前に定められたチェックポイントに該当する部位）よりも前に部位認識部７０Ｄによって認識されることが予定されている部位に対応する重要度１０４が、複数の部位のうちの指定部位以降に認識されることが予定されている部位に対応する重要度１０４よりも高く設定されてもよい。これにより、指定部位よりも前に部位認識部７０Ｄによって認識されることが予定されている部位の認識漏れを抑制することができる。
【0201】
上記実施形態では、複数の部位のうちの大分類に分類される部位と小分類に分類される部位とを問わずに未認識部位が設定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、大分類に分類される部位に対する部位認識部７０Ｄによる認識漏れよりも小分類に分類される部位に対する部位認識部７０Ｄによる認識漏れが生じやすいので、複数の部位のうちの小分類に分類される部位のみを対象にして未認識部位が設定されるようにしてもよい。これにより、大分類に分類される部位と小分類に分類される部位との両方に対する部位認識部７０Ｄによる認識漏れを抑制する場合に比べ、部位認識部７０Ｄによる認識漏れを生じ難くすることができる。
【0202】
上記実施形態では、小分類に分類される部位が部位認識部７０Ｄによって認識されなかった場合に、部位認識部７０Ｄによって認識されなかった部位よりも後に部位認識部７０Ｄによって認識されることが予定されている大分類に分類される部位が部位認識部７０Ｄによって認識されたことを条件に未認識情報１０６が出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。
【0203】
例えば、小分類に分類される部位が部位認識部７０Ｄによって認識されなかった場合に、部位認識部７０Ｄによって認識されなかった部位（すなわち、小分類に分類される部位）よりも後に部位認識部７０Ｄによって認識されることが予定されている小分類に分類される部位が部位認識部７０Ｄによって認識されたことを条件に未認識情報１０６が出力されるようにしてもよい。これにより、観察対象２１内の部位（ここでは、一例として、小分類に分類される部位）に対する認識漏れが生じた可能性が高くなった場面で、観察対象２１内の部位に対する認識漏れが生じたことを医師１４に把握させることができる。
【0204】
また、例えば、小分類に分類される部位が部位認識部７０Ｄによって認識されなかった場合に、部位認識部７０Ｄによって認識されなかった部位（すなわち、小分類に分類される部位）よりも後に部位認識部７０Ｄによって認識されることが予定されている小分類に分類される複数の部位が部位認識部７０Ｄによって認識されたことを条件に未認識情報１０６が出力されるようにしてもよい。この場合も、観察対象２１内の部位（ここでは、一例として、小分類に分類される部位）に対する認識漏れが生じた可能性が高くなった場面で、観察対象２１内の部位に対する認識漏れが生じたことを医師１４に把握させることができる。
【0205】
上記実施形態では、未認識情報１０６が制御部７０Ｃから表示装置１３に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、未認識情報１００は、内視鏡画像４０等の各種画像のヘッダ等に保存されるようにしてもよい。例えば、部位認識部７０Ｄによって認識されなかった部位が小分類に分類される部位であるならば、小分類に分類される部位であること、及び／又は、部位を特定可能な情報が内視鏡画像４０等の各種画像のヘッダ等に保存されるようにしてもよい。また、例えば、部位認識部７０Ｄによって認識されなかった部位が大分類に分類される部位であるならば、大分類に分類される部位であること、及び／又は、部位を特定可能な情報が内視鏡画像４０等の各種画像のヘッダ等に保存されるようにしてもよい。
【0206】
また、大分類及び小分類を含めた認識順序（すなわち、部位認識部７０Ｄによって認識された部位の順序）、及び／又は、最終的に未認識の部位（すなわち、部位認識部７０Ｄによって認識されなかった部位）に関する情報が、内視鏡１２に通信可能に接続された検査システムに送信されて検査システムによって検査データとして保存されたり、検査診断レポートに掲載されたりするようにしてもよい。また、複数の部位のうちのチェックポイントの観察結果を示す情報（例えば、未認識情報１０６又は未認識情報１０６に基づく情報）と、網羅的な観察結果（大分類に分類される部位及び／又は小分類に分類される部位に関する観察結果）を示す情報とが、検査データ（例えば、検査が行われることによって得られた画像及び／又は検査に関連する情報）と関連付けられて保存されるようにしてもよい。
【0207】
また、観察順（すなわち、観察ルート）を示す情報（例えば、部位認識部７０Ｄによって認識された部位の順序に関する情報）が検査データと関連付けられて保存されるようにしてもよい。また、内視鏡画像４０等の各種画像のヘッダ等に、検査ＩＤに加え、観察部位（例えば、部位認識部７０Ｄによって認識された部位）等の情報が記録されるようにしてもよい。
【0208】
また、次回の検査の際に、前回の観察ルート等及び／又は網羅性マップ（例えば、第１医療支援画像４１Ａ、第２医療支援画像４１Ｂ、及び／又は第３医療支援画像４１Ｃ）が表示装置１３等に表示されるようにしてもよい。
【0209】
上記実施形態では、内視鏡スコープ４８によって大弯側経路１１４Ａの複数の部位が胃の上流側（すなわち、胃の入口側）から下流側（すなわち、胃の出口側）にかけて順に撮像され、その後、内視鏡スコープ４８によって小弯側経路１１４Ｂが胃の下流側から上流側にかけて順に撮像される形態例（すなわち、認識予定順序１０２に沿って部位が撮像される形態例）を挙げて説明したが、本開示の技術はこれに限定されない。例えば、胃に挿入された挿入部４４の挿入方向の上流側の第１部位（例えば、胃体上部の後壁）から下流側の第２部位（例えば、胃体下部の後壁）が部位認識部７０Ｄによって順に認識された場合に、挿入部４４の上流側から下流側にかけて定められた第１経路（ここでは、一例として、大弯側経路１１４Ａ）に従って撮像が行われているとプロセッサ７０によって推定され、かつ、第１経路に従って未認識情報１０６が出力される。また、例えば、胃に挿入された挿入部４４の挿入方向の下流側の第３部位（例えば、胃体下部の後壁）から上流側の第４部位（例えば、胃体上部の後壁）が部位認識部７０Ｄによって順に認識された場合に、挿入部４４の下流側から上流側にかけて定められた第２経路（ここでは、一例として、小弯側経路１１４Ｂ）に従って撮像が行われているとプロセッサ７０によって推定され、かつ、第２経路に従って未認識情報１０６が出力される。これにより、大弯側経路１１４Ａ上の部位が部位認識部７０Ｄによって認識されていないのか、小弯側経路１１４Ｂ上の部位が部位認識部７０Ｄによって認識されていないのかを容易に特定することができる。
【0210】
なお、ここでは、第１経路の一例として、大弯側経路１１４Ａを挙げ、第２経路の一例として、小弯側経路１１４Ｂを挙げたが、第１経路が小弯側経路１１４Ｂであり、第２経路が大弯側経路１１４Ａであってもよい。また、ここで、挿入方向の上流側とは、胃の入口側（すなわち、食道側）を指し、挿入方向の下流側とは、胃の出口側（すなわち、十二指腸側）を指す。
【0211】
上記実施形態では、内視鏡関連情報９０が第１学習済みモデル７８から得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡関連情報９０は、受付装置６２を介して制御装置２２に入力されてもよいし、制御装置２２に対して通信可能に接続された外部装置（例えば、タブレット端末、パーソナル・コンピュータ、又はサーバ等）を介して制御装置２２に入力されてもよい。
【0212】
上記実施形態では、内視鏡１２に含まれるコンピュータ６４のプロセッサ７０によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、医療支援処理を行う装置は、内視鏡１２の外部に設けられていてもよい。内視鏡１２の外部に設けられる装置としては、例えば、内視鏡１２と通信可能に接続されている少なくとも１台のサーバ及び／又は少なくとも１台のパーソナル・コンピュータ等が挙げられる。また、医療支援処理は、複数の装置によって分散して行われるようにしてもよい。
【0213】
上記実施形態では、ＮＶＭ７４に医療支援処理プログラム７６が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援処理プログラム７６がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている医療支援処理プログラム７６は、内視鏡１２のコンピュータ６４にインストールされる。プロセッサ７０は、医療支援処理プログラム７６に従って医療支援処理を実行する。
【0214】
また、ネットワークを介して内視鏡１２に接続される他のコンピュータ又はサーバ等の記憶装置に医療支援処理プログラム７６を記憶させておき、内視鏡１２の要求に応じて医療支援処理プログラム７６がダウンロードされ、コンピュータ６４にインストールされるようにしてもよい。
【0215】
なお、内視鏡１２に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ７４に医療支援処理プログラム７６の全てを記憶させておく必要はなく、医療支援処理プログラム７６の一部を記憶させておいてもよい。
【0216】
医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。
【0217】
医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0218】
１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0219】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0220】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0221】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0222】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【0223】
１０ 内視鏡システム
１２ 内視鏡
１３ 表示装置
１４ 医師
１８ 内視鏡本体
２０ 被検体
２１ 観察対象
２２ 制御装置
２３ 検出枠
２４ 光源装置
３６，３７ 画面
４０ 内視鏡画像
４１ 医療支援画像
４１Ａ 第１医療支援画像
４１Ｂ 第２医療支援画像
４１Ｃ 第３医療支援画像
４２ 操作部
４４ 挿入部
４６ 先端部
４８ 内視鏡スコープ
５０ 照明装置
５０Ａ，５０Ｂ 照明窓
５２ 処置用開口
５４ 処置具
５８ 処置具挿入口
６０ ユニバーサルコード
６２ 受付装置
６４ コンピュータ
６６ バス
６８ 外部Ｉ／Ｆ
７０ プロセッサ
７０Ａ 画像取得部
７０Ｂ 内視鏡認識部
７０Ｃ 制御部
７０Ｄ 部位認識部
７２ ＲＡＭ
７４ ＮＶＭ
７６ 医療支援処理プログラム
７８ 第１学習済みモデル
８０ 第２学習済みモデル
８２ 認識部位確認テーブル
８４ 重要度テーブル
８９ 時系列画像群
９０ 内視鏡関連情報
９０Ａ 処置具情報
９０Ｂ 動作速度情報９０Ｂ
９０Ｃ 位置情報
９０Ｄ 形状情報
９０Ｅ 流体送出情報
９０Ｅ１ 送気量情報
９０Ｅ２ 送水量情報
９２ 難度
９２Ａ 高難度
９２Ｂ 中難度
９２Ｃ 低難度
９３ 演算式
９４ 部位情報
９６ 部位名
９８ 部位フラグ
１００ 大分類フラグ
１０２ 認識予定順序
１０４ 重要度
１０６ 未認識情報
１０８ 重要度情報
１０９，１２２，１２６ 領域
１１０，１１２，１２０ 重要度マーク
１１０Ａ，１１２Ａ，１２０Ａ 第１重要度マーク
１１０Ｂ，１１２Ｂ，１２０Ｂ 第２重要度マーク
１１０Ｃ，１１２Ｃ，１２０Ｃ 第３重要度マーク
１１４ 経路
１１４Ａ 大弯側経路
１１４Ｂ 小弯側経路
１１６，１１６Ａ，１１６Ｂ 円形マーク
１２４ 参照画像
１２８ 挿入部画像
１３０ 情報
１２ 内視鏡
１３ 表示装置
１４ 医師
１８ 内視鏡本体
２０ 被検体
２１ 観察対象
２２ 制御装置
２３ 検出枠
２４ 光源装置
３６，３７ 画面
４０ 内視鏡画像
４１ 医療支援画像
４１Ａ 第１医療支援画像
４１Ｂ 第２医療支援画像
４１Ｃ 第３医療支援画像
４２ 操作部
４４ 挿入部
４６ 先端部
４８ 内視鏡スコープ
５０ 照明装置
５０Ａ，５０Ｂ 照明窓
５２ 処置用開口
５４ 処置具
５８ 処置具挿入口
６０ ユニバーサルコード
６２ 受付装置
６４ コンピュータ
６６ バス
６８ 外部Ｉ／Ｆ
７０ プロセッサ
７０Ａ 画像取得部
７０Ｂ 内視鏡認識部
７０Ｃ 制御部
７０Ｄ 部位認識部
７２ ＲＡＭ
７４ ＮＶＭ
７６ 医療支援処理プログラム
７８ 第１学習済みモデル
８０ 第２学習済みモデル
８２ 認識部位確認テーブル
８４ 重要度テーブル
８９ 時系列画像群
９０ 内視鏡関連情報
９０Ａ 処置具情報
９０Ｂ 動作速度情報９０Ｂ
９０Ｃ 位置情報
９０Ｄ 形状情報
９０Ｅ 流体送出情報
９０Ｅ１ 送気量情報
９０Ｅ２ 送水量情報
９２ 難度
９２Ａ 高難度
９２Ｂ 中難度
９２Ｃ 低難度
９３ 演算式
９４ 部位情報
９６ 部位名
９８ 部位フラグ
１００ 大分類フラグ
１０２ 認識予定順序
１０４ 重要度
１０６ 未認識情報
１０８ 重要度情報
１０９，１２２，１２６ 領域
１１０，１１２，１２０ 重要度マーク
１１０Ａ，１１２Ａ，１２０Ａ 第１重要度マーク
１１０Ｂ，１１２Ｂ，１２０Ｂ 第２重要度マーク
１１０Ｃ，１１２Ｃ，１２０Ｃ 第３重要度マーク
１１４ 経路
１１４Ａ 大弯側経路
１１４Ｂ 小弯側経路
１１６，１１６Ａ，１１６Ｂ 円形マーク
１２４ 参照画像
１２８ 挿入部画像
１３０ 情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15】
