特開 2025-54262 制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025054262

(43)【公開日】2025-04-07

(54)【発明の名称】制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20250328BHJP

   A61B 1/045 20060101ALI20250328BHJP

【ＦＩ】

A61B1/00 522

A61B1/045 614

A61B1/00 553

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2024163583

(22)【出願日】2024-09-20

(31)【優先権主張番号】63/540,171

(32)【優先日】2023-09-25

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】渡邊 大智

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161CC06

4C161HH52

4C161NN01

4C161PP13

(57)【要約】

【課題】光学系から被写体等の測定対象物までの距離の検出精度をさらに向上することができる制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラムを提供する。
【解決手段】光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、前記被写体のデプスマップを出力する。
【選択図】図９

【特許請求の範囲】

【請求項1】

プロセッサを備える制御装置であって、
前記プロセッサは、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、
前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、
を取得し、
前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、
前記被写体のデプスマップを出力する、
制御装置。

【請求項2】

請求項１に記載の制御装置であって、
前記第２の画像は、
前記焦点調整機構が前記近点側と前記遠点側との間で焦点距離を変化させる期間に、前記撮像素子が時間的に連続する画像群で構成される動画における、少なくとも１枚のフレーム画像である、
制御装置。

【請求項3】

請求項２に記載の制御装置であって、
前記プロセッサは、
前記光学系のカメラパラメータを取得し、
前記カメラパラメータと、前記被写体のデプスマップと、に基づいて、前記被写体の形状を推定する、
制御装置。

【請求項4】

請求項３に記載の制御装置であって、
前記プロセッサは、
前記光学系を近点端および遠点端それぞれで停止するように前記焦点調整機構を制御する、
制御装置。

【請求項5】

請求項３に記載の制御装置であって、
前記プロセッサは、
前記光学系を近点端から遠点端へ直線的に移動するように前記焦点調整機構を制御する、
制御装置。

【請求項6】

請求項３に記載の制御装置であって、
前記プロセッサは、
前記光学系を近点端および遠点端それぞれにおいて一定時間内で停止するように前記焦点調整機構を制御する、
制御装置。

【請求項7】

プロセッサを備える学習済みモデル生成装置であって、
前記プロセッサは、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が複数の対象物をそれぞれ撮像して生成した複数の第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記複数の対象物をそれぞれ撮像して生成した複数の第２の画像と、
前記光学系の遠点側において前記撮像素子が前記複数の対象物それぞれを撮像して生成した複数の第３の画像と、
前記光学系から前記複数の対象物それぞれの距離に関するデプスマップの正解値と、
を前記複数の対象物それぞれに組み合わせた学習データを取得し、
前記学習データを用いて学習することによって、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとし、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルを生成する、
学習済みモデル生成装置。

【請求項8】

被検体の体内を撮像可能な内視鏡と、
プロセッサを備え、前記内視鏡が接続可能な制御装置と、
を備え、
前記内視鏡は、
焦点距離を変更可能な光学系と、
前記光学系が結像した像を露光して静止画を生成する撮像素子と、
前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、
を備え、
前記プロセッサは、
前記内視鏡から、
前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、
前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、
を取得し、
前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、
前記被写体のデプスマップを出力する、
内視鏡システム。

【請求項9】

プロセッサを備える制御装置が実行する医療支援方法であって、
前記プロセッサが、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、
前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、
を取得し、
前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、
前記被写体のデプスマップを出力する、
ことを含む、
医療支援方法。

【請求項10】

プロセッサを備える学習済みモデル生成装置が実行する学習方法であって、
前記プロセッサが、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が複数の対象物をそれぞれ撮像して生成した複数の第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記複数の対象物をそれぞれ撮像して生成した複数の第２の画像と、
前記光学系の遠点側において前記撮像素子が前記複数の対象物それぞれを撮像して生成した複数の第３の画像と、
前記光学系から前記複数の対象物それぞれの距離に関するデプスマップの正解値と、
を前記複数の対象物それぞれに組み合わせた学習データを取得し、
前記学習データを用いて学習することによって、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとし、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルを生成する、
ことを含む、
学習方法。

【請求項11】

プロセッサを備える制御装置が実行するプログラムであって、
前記プロセッサが、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、
前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、
を取得し、
前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、
前記被写体のデプスマップを出力する、
プログラム。

【請求項12】

プロセッサを備える学習済みモデル生成装置が実行するプログラムであって、
前記プロセッサが、
焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、
前記光学系の近点側において前記撮像素子が複数の対象物をそれぞれ撮像して生成した複数の第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記複数の対象物をそれぞれ撮像して生成した複数の第２の画像と、
前記光学系の遠点側において前記撮像素子が前記複数の対象物それぞれを撮像して生成した複数の第３の画像と、
前記光学系から前記複数の対象物それぞれの距離に関するデプスマップの正解値と、
を前記複数の対象物それぞれに組み合わせた学習データを取得し、
前記学習データを用いて学習することによって、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとし、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルを生成する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラムに関する。

【背景技術】

【0002】

従来、デジタルカメラ等の撮像装置において、撮像した画像のボケ具合から被写体と撮像装置との距離を推定する技術が知られている。例えば、特許文献１では、光学系の収差の影響を受けた第１画像に生じる被写体までの距離に応じて非線形に変化するボケを学習することによって生成された統計モデルに、光学系の収差の影響を受けた第２画像を入力し、第２画像中の被写体までの距離を示す距離情報を取得する。

【0003】

また、特許文献２では、レンズの焦点距離を近端から望端まで連続して移動させながらイメージセンサが露光して撮像したスイープ画像における全焦点画像に対する各画像領域のボケ量と、レンズの焦点距離を含む撮像装置の光学的係数値と、に基づいて、スイープ画像における各画像領域における撮像装置と被写体との距離を算出し、この距離を各画像領域における画素値で示すデプスマップ（距離マップ）を生成する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１４８４８３号公報

【特許文献2】特許第５８６８１８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述した引用文献１,２では、フォーカス駆動中に撮像されたデータを有効活用していないため、光学系から被写体等の測定対象物までの距離の検出精度をさらに向上させる余地があった。

【0006】

本開示は、上記に鑑みてなされたものであって、光学系から被写体等の測定対象物までの距離の検出精度をさらに向上することができる制御装置、学習済みモデル生成装置、内視鏡システム、医療支援方法、学習済みモデル生成方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、プロセッサを備える制御装置であって、前記プロセッサは、焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、を取得し、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、前記被写体のデプスマップを出力する。

【0008】

また、本開示に係る制御装置は、上記開示において、前記第２の画像は、前記焦点調整機構が前記近点側と前記遠点側との間で焦点距離を変化させる期間に、前記撮像素子が時間的に連続する画像群で構成される動画における、少なくとも１枚のフレーム画像である。

【0009】

また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記光学系のカメラパラメータを取得し、前記カメラパラメータと、前記被写体のデプスマップと、に基づいて、前記被写体の形状を推定する。

【0010】

また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記光学系を近点端および遠点端それぞれで停止するように前記焦点調整機構を制御する。

【0011】

また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記光学系を近点端から遠点端へ直線的に移動するように前記焦点調整機構を制御する。

【0012】

また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記光学系を近点端および遠点端それぞれにおいて一定時間内で停止するように前記焦点調整機構を制御する。

【0013】

また、本開示に係る学習済みモデル生成装置は、プロセッサを備える学習済みモデル生成装置であって、前記プロセッサは、焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、前記光学系の近点側において前記撮像素子が複数の対象物をそれぞれ撮像して生成した複数の第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記複数の対象物をそれぞれ撮像して生成した複数の第２の画像と、前記光学系の遠点側において前記撮像素子が前記複数の対象物それぞれを撮像して生成した複数の第３の画像と、前記光学系から前記複数の対象物それぞれの距離に関するデプスマップの正解値と、を前記複数の対象物それぞれに組み合わせた学習データを取得し、前記学習データを用いて学習することによって、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとし、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルを生成する。

【0014】

また、本開示に係る内視鏡システムは、被検体の体内を撮像可能な内視鏡と、プロセッサを備え、前記内視鏡が接続可能な制御装置と、を備え、前記内視鏡は、焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備え、前記プロセッサは、前記内視鏡から、前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、を取得し、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、前記被写体のデプスマップを出力する。

【0015】

また、本開示に係る医療支援方法は、プロセッサを備える制御装置が実行する医療支援方法であって、前記プロセッサが、焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、を取得し、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、前記被写体のデプスマップを出力する、ことを含む。

【0016】

また、本開示に係る学習方法は、プロセッサを備える学習済みモデル生成装置が実行する学習方法であって、前記プロセッサが、焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、前記光学系の近点側において前記撮像素子が複数の対象物をそれぞれ撮像して生成した複数の第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記複数の対象物をそれぞれ撮像して生成した複数の第２の画像と、前記光学系の遠点側において前記撮像素子が前記複数の対象物それぞれを撮像して生成した複数の第３の画像と、前記光学系から前記複数の対象物それぞれの距離に関するデプスマップの正解値と、を前記複数の対象物それぞれに組み合わせた学習データを取得し、前記学習データを用いて学習することによって、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとし、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルを生成する、ことを含む。

【0017】

また、本開示に係るプログラムは、プロセッサを備える制御装置が実行するプログラムであって、前記プログラムは、焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、前記光学系の近点側において前記撮像素子が被写体を撮像して生成した第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記被写体を撮像して生成した第２の画像と、前記光学系の遠点側において前記撮像素子が前記被写体を撮像して生成した第３の画像と、を取得し、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルに、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとして入力することによって前記被写体のデプスマップを推論し、前記被写体のデプスマップを出力する。

【0018】

また、本開示に係るプログラムは、プロセッサを備える学習済みモデル生成装置が実行するプログラムであって、前記プログラムは、焦点距離を変更可能な光学系と、前記光学系が結像した像を露光して静止画を生成する撮像素子と、前記光学系を前記光学系の光軸方向に沿って移動させて前記焦点距離を変更する焦点調整機構と、を備える撮像装置から、前記光学系の近点側において前記撮像素子が複数の対象物をそれぞれ撮像して生成した複数の第１の画像と、前記焦点調整機構によって前記光学系を近点側と遠点側との間において焦点距離を変化させて移動させている期間に前記撮像素子が前記複数の対象物をそれぞれ撮像して生成した複数の第２の画像と、前記光学系の遠点側において前記撮像素子が前記複数の対象物それぞれを撮像して生成した複数の第３の画像と、前記光学系から前記複数の対象物それぞれの距離に関するデプスマップの正解値と、を前記複数の対象物それぞれに組み合わせた学習データを取得し、前記学習データを用いて学習することによって、前記第１の画像、前記第２の画像および前記第３の画像を入力パラメータとし、前記光学系から被写体までの距離を示すデプスマップを出力パラメータとして出力する学習済みモデルを生成する。

【発明の効果】

【0019】

本開示によれば、測定対象物における３次元形状の推定精度をさらに向上することができるという効果を奏する。

【図面の簡単な説明】

【0020】

【図1】図１は、一実施の形態に係る学習済みモデル生成装置の機能構成を示すブロック図である。

【図2】図２は、一実施の形態に係る学習済みモデル生成装置の光学系におけるフォーカスレンズの移動を模式的に説明する図である。

【図3】図３は、一実施の形態に係る内視鏡システムの全体構成を示す図である。

【図4】図４は、一実施の形態に係る内視鏡および制御装置の要部の機能構成を示すブロック図である。

【図5】図５は、一実施の形態に係る学習済みモデル生成装置が実行する処理の概要を示すフローチャートである。

【図6】図６は、一実施の形態に係る学習部が学習モデルに入力する学習データセットを模式的に示す図である。

【図7】図７は、デプブマップと画像との紐付けを模式的に説明する図である。

【図8】図８は、一実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。

【図9】図９は、図８における計測モード処理の概要を示すフローチャートである。

【図10】図１０は、一実施の形態に係る内視鏡システムが実行する計測モード処理時における内視鏡が備えるフォーカスレンズの光軸上における位置および撮像素子の露光タイミングを示すタイミングチャートである。

【図11】図１１は、内視鏡が撮像する被写体の一例を示す図である。

【図12】図１２は、内視鏡が撮像した画像データの一例を示す図である。

【図13】図１３は、内視鏡が撮像した画像データの別の一例を示す図である。

【図14】図１４は、内視鏡が撮像した画像データの別の一例を示す図である。

【図15】図１５は、算出部が被写体の形状を推定する推定方法を模式的に説明する図である。

【図16】図１６は、被写体の形状に対応する画像の一例を示す図である。

【図17】図１７は、一実施の形態の変形例１に係る内視鏡システムが実行する計測モード処理時における内視鏡が備えるフォーカスレンズの光軸上における位置および撮像素子の露光タイミングを示すタイミングチャートである。

【図18】図１８は、一実施の形態の変形例１に係る内視鏡システムが実行する計測モード処理時における内視鏡が備えるフォーカスレンズの光軸上における位置および撮像素子の露光タイミングを示すタイミングチャートである。

【発明を実施するための形態】

【0021】

以下、本開示に係る学習済みモデル生成装置および内視鏡システムについて、図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。また、以下においては、本開示に係る学習済みモデル生成装置の構成を説明後、内視鏡システムの構成について説明する。

【0022】

〔学習済みモデル生成装置の構成〕
図１は、一実施の形態に係る学習済みモデル生成装置の機能構成を示すブロック図である。図１に示す学習済みモデル生成装置１は、被写体毎に、合焦位置（フォーカルポイント）が互いに異なる複数の画像と、画素毎の被写体と光学系との距離を示すデプブマップ（正解値）と、を対応付けた複数の組合せの学習データを所定の学習モデルに入力して学習済みモデルを生成する装置である。

【0023】

図１に示す学習済みモデル生成装置１は、撮像装置１１と、表示部１２と、入力部１３と、通信部１４と、記録部１５と、第１の制御部１６と、を備える。

【0024】

撮像装置１１は、第１の制御部１６の制御のもと、所定の視野領域から光を集光して受光することによって被写体像の画像データ（ＲＡＷデータ）を生成して、第１の制御部１６へ出力する。撮像装置１１は、光学系１０１と、撮像素子１０２と、焦点調整機構１０３と、を有する。

【0025】

光学系１０１は、レンズＬ１～Ｌ１０と、絞りＤｉと、を用いて構成される。光学系１０１は、被写体像を撮像素子１０２の受光面に結像する。また、光学系１０１は、レンズＬ１～Ｌ１０のうち、光軸Ｏ１方向に沿って移動可能なフォーカスレンズＬ５を有する。フォーカスレンズＬ５は、後述する焦点調整機構１０３によって光軸Ｏ１方向に沿って前後に移動する。

【0026】

撮像素子１０２は、光学系１０１が結像した被写体像を受光することによって画像データを生成する。撮像素子１０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサまたはＣＣＤ（Charge Coupled Device）センサのイメージセンサを用いて構成される。

【0027】

焦点調整機構１０３は、第１の制御部１６の制御のもと、光学系１０１のフォーカスレンズＬ５を光軸Ｏ１に沿って移動させることによって光学系１０１の合焦位置（フォーカルポイント）を変更する。焦点調整機構１０３は、焦点駆動部１０３ａと、検出部１０３ｂと、を有する。

【0028】

焦点駆動部１０３ａは、例えばステッピングモータやボイスコイルモータ等を含むアクチュエータを用いて構成され、第１の制御部１６の制御のもと、駆動することによってフォーカスレンズＬ５を光軸Ｏ１上における所定の位置に移動する。

【0029】

検出部１０３ｂは、光学系１０１におけるフォーカスレンズＬ５の位置または焦点距離に関する焦点距離情報を検出し、この検出結果を第１の制御部１６へ出力する。検出部１０３ｂは、例えばエンコーダやフォトカプラ等を用いて構成される。なお、検出部１０３ｂは、焦点駆動部１０３ａの駆動量に基づいて、フォーカスレンズＬ５の光軸Ｏ１上における位置を検出するものであってもよい。

【0030】

図２は、光学系１０１におけるフォーカスレンズＬ５の移動を模式的に説明する図である。図２の（ａ）および（ｂ）に示すように、焦点駆動部１０３ａは、第１の制御部１６の制御のもと、駆動することによってフォーカスレンズＬ５を光軸Ｏ１上における所定の位置に移動させることによって、光学系１０１の合焦位置Ｐ１（フォーカルポイント）を変更する（図２の（ａ）→図２の（ｂ））。これにより、光学系１０１は、合焦位置Ｐ１を遠点端から近点端の間で変更することができる。

【0031】

図１に戻り、学習済みモデル生成装置１の構成の説明を続ける。
表示部１２は、第１の制御部１６から入力される各種情報および画像データに対応する表示画像を表示する。表示部１２は、有機ＥＬディスプレイ（Organic Electroluminescent Display）または液晶ディスプレイ等を用いて構成される。

【0032】

入力部１３は、ユーザの各種操作の入力を受け付け、この受け付けた各種操作に応じた情報を第１の制御部１６へ出力する。入力部１３は、キーボード、マウス、タッチパネル等の入力インターフェースを用いて構成される。

【0033】

通信部１４は、第１の制御部１６から入力される各種情報を外部へ送信するとともに、外部から受信した各種情報を第１の制御部１６へ出力する。通信部１４は、例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）が可能な通信モジュール等を用いて構成される。

【0034】

記録部１５は、学習済みモデル生成装置１に関する各種情報を記録する。記録部１５は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、揮発性メモリおよび不揮発性メモリ等を用いて構成される。記録部１５は、プログラム記録部１５１と、学習モデル記録部１５２と、学習済みモデル記録部１５３と、を有する。

【0035】

プログラム記録部１５１は、学習済みモデル生成装置１が実行する各種のプログラム、例えば学習モデル済みモデルを生成するためのプログラムを記録する。

【0036】

学習モデル記録部１５２は、後述する第１の制御部１６が入力パラメータを入力するための学習モデルを記録する。

【0037】

学習済みモデル記録部１５３は、学習データを用いて学習された複数の学習済みモデルを記録する。

【0038】

第１の制御部１６は、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）またはＣＰＵ（Central Processing Unit）等のハードウェアを有するプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。第１の制御部１６は、駆動制御部１６１と、撮像制御部１６２と、取得部１６３と、判定部１６４と、学習部１６５と、出力制御部１６６と、を有する。

【0039】

駆動制御部１６１は、焦点調整機構１０３を駆動してフォーカスレンズＬ５を光学系１０１における近点端へ移動させる。

【0040】

撮像制御部１６２は、撮像素子１０２にフォーカスレンズＬ５の近点端、近点端から遠点端に移動中および遠点端それぞれ撮像させる。

【0041】

取得部１６３は、撮像素子１０２が生成した画像データを取得する。具体的には、取得部１６３は、撮像素子１０２がフォーカスレンズＬ５の近点端で撮像して生成した画像データ（以下、単に「第１の画像」という）を取得する。また、取得部１６３は、フォーカスレンズＬ５が近点端から遠点端へ移動する移動期間中に、撮像素子１０２が複数撮像することによって生成した複数の画像データ（以下、単に「複数の第２の画像」）を取得する。取得部１６３は、撮像素子１０２がフォーカスレンズＬ５の遠点端で撮像して生成した画像データ（以下、単に「第３の画像」という）を取得する。

【0042】

判定部１６４は、学習するために必要となる画像の枚数が所定枚数取得することができたか否かを判定する。

【0043】

学習部１６５は、所定の学習モデルと、取得部１６３が取得した被写体毎の複数の画像であって、互いに合焦位置が異なる複数の画像とデプブマップとを組み合わせた学習データを用いて学習する。具体的には、学習部１６５は、人工知能（ＡＩ（Artificial Intelligence））を用いた機械学習によって生成される学習モデルを用いて学習する。学習部１６５で用いる学習モデルを構築する手法は、特に限定されることなく、例えばニューラルネットワークを用いた深層学習、サポートベクターマシン、決定木、単純ベイズ、ｋ近傍法等の種々の機械学習手法を用いることができる。また、デプスマップとは、撮像素子２０３の位置（先端部２４の位置）から撮像画像における画素位置に対応する観察対象上の対応位置までの被写体距離が画素位置毎に検出された情報である。

【0044】

出力制御部１６６は、学習部１６５が生成した学習済みモデルを学習済みモデル記録部１５３に出力する。

【0045】

〔内視鏡システムの概略構成〕
次に、内視鏡システム１００の構成について説明する。図３は、一実施の形態に係る内視鏡システム１００の全体構成を示す図である。

【0046】

図３に示す内視鏡システム１００は、内視鏡２の挿入部２１を、人または動物等の被検体の口から食道または被検体の肛門から大腸へ挿入することによって被検体内を連続的に撮像し、この撮像した画像データ群を時系列に沿って表示装置３に表示する。さらに、内視鏡システム１００は、画像診断装置５（ＣＡＤ：Computer Aided Detection）が制御装置４から入力される画像データ群と、予め被検体の臓器、部位および病変等を撮像した学習データを用いて学習された推論モデル（学習済みモデル）と、に基づいて、画像データに写る複数の観察部位の臓器、部位、ポリープまたは癌等を含む特徴領域および鉗子やスネア等の処置具による生体への処置を検出（認識または推定）し、この検出結果情報を制御装置４へ出力する。医者等の術者は、表示装置３に表示される表示画像および画像診断装置５の検出結果（推定結果）を確認しながら、被検体の観察および処置を行う。

【0047】

図３に示すように、内視鏡システム１００は、内視鏡２と、表示装置３と、制御装置４と、画像診断装置５と、を備える。

【0048】

内視鏡２は、被検体内を撮像することによって画像データ（ＲＡＷデータ）を連続的に生成し、この画像データを制御装置４へ順次出力する。内視鏡２は、図１に示すように、挿入部２１と、操作部２２と、ユニバーサルコード２３と、を備える。

【0049】

挿入部２１は、少なくとも一部が可撓性を有し、被検体内に挿入される。挿入部２１は、図１に示すように、当該挿入部２１の先端に設けられた先端部２４と、当該先端部２４の基端側（操作部２２側）に連結され、湾曲可能に構成された湾曲部２５と、当該湾曲部２５の基端側に連結され、可撓性を有する長尺状の可撓管部２６と、を備える。

【0050】

操作部２２は、挿入部２１における基端部分に対して接続されている。操作部２２は、内視鏡２に対する各種の操作を受け付ける。この操作部２２には、図１に示すように、湾曲ノブ２２１と、挿入口２２２と、複数の操作部材２２３と、が設けられている。

【0051】

湾曲ノブ２２１は、術者等のユーザによるユーザ操作に応じて回動可能に構成されている。そして、湾曲ノブ２２１は、回動することによって、挿入部２１内に配設された金属製または樹脂製のワイヤ等の湾曲機構（図示略）を動作させる。これによって、湾曲部２５は、湾曲する。

【0052】

挿入口２２２は、挿入部２１の先端から延在した管路である処置具チャンネル（図示略）に連通し、内視鏡２の外部から当該処置具チャンネルに対して処置具等を挿通するための挿入口である。

【0053】

複数の操作部材２２３は、術者等のユーザによる各種操作を受け付けるボタン等によって構成され、ユニバーサルコード２３を経由することによって、当該各種操作に応じた操作信号を制御装置４へ出力する。当該各種操作としては、内視鏡２による静止画像の撮像を指示するレリーズ操作、内視鏡２の観察モードを通常光観察モード、または、特殊観察モードに切り替える操作等を例示することができる。

【0054】

ユニバーサルコード２３は、操作部２２から挿入部２１の延在方向とは異なる方向に延在し、光ファイバ等によって構成されたライトガイド２３１（図２参照）、および、上述した画像データを伝送する第１の信号線２３２（図２参照）、上述した操作信号等を伝送する第２の信号線２３３（図２参照）等が配設されたコードである。そして、ユニバーサルコード２３の基端には、図１に示すように、第１のコネクタ部２７が設けられている。第１のコネクタ部２７は、制御装置４に対して着脱自在に接続される。

【0055】

表示装置３は、液晶または有機ＥＬ等の表示モニタによって構成され、制御装置４による制御の下、当該制御装置４において画像処理が施された画像データに基づく表示画像、および内視鏡２に関する各種情報を表示する。

【0056】

制御装置４は、ＧＰＵ、ＦＰＧＡ、またはＣＰＵ等のハードウェアを有する処理装置であるプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。制御装置４は、メモリに記録されたプログラムに従って、内視鏡２の各部の動作を統括的に制御する。

【0057】

画像診断装置５（ＣＡＤ）は、制御装置４から入力される画像データ群と、予め学習データで学習された学習済みモデルと、を用いて画像データに写る臓器、部位、挿入部２１の挿入速度、ポリープまたは癌等を含む特徴領域（異常領域または病変候補領域）および鉗子やスネア等の処置具による生体への処置を検出（推定）し、この検出結果と検出時刻とを対応付けた検出結果情報を制御装置４へ出力する。画像診断装置５は、ＧＰＵ、ＦＰＧＡ、またはＣＰＵ等のハードウェアを有する処理装置であるプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。

【0058】

〔医療支援システムの要部の機能構成〕
次に、上述した内視鏡システム１００の要部の機能構成について説明する。
図４は、内視鏡２および制御装置４の要部の機能構成を示すブロック図である。以下では、内視鏡２および制御装置４の順で説明する。

【0059】

〔内視鏡の機能構成〕
まず、内視鏡２の構成について説明する。
図４に示すように、内視鏡２は、照明光学系２０１と、光学系２０２と、撮像素子２０３と、Ａ／Ｄ変換部２０４と、Ｐ／Ｓ変換部２０５と、焦点調整機構２０６と、撮像制御部２０７と、を備える。ここで、照明光学系２０１、光学系２０２、撮像素子２０３、Ａ／Ｄ変換部２０４、Ｐ／Ｓ変換部２０５、焦点調整機構２０６および撮像制御部２０７の各々は、先端部２４内に配置されている。

【0060】

照明光学系２０１は、１または複数のレンズ等によって構成され、ライトガイド２３１から供給された照明光を被写体に向けて照射する。

【0061】

光学系２０２は、レンズＬ１～Ｌ１０と、絞りＤｉと、を用いて構成される。光学系２０２は、被写体像を撮像素子２０３の受光面に結像する。また、光学系２０２は、レンズＬ１～Ｌ１０のうち、光軸Ｏ１方向に沿って移動可能なフォーカスレンズＬ５を有する。フォーカスレンズＬ５は、焦点調整機構２０６によって光軸Ｏ１方向に沿って前後に移動する。一実施の形態では、光学系２０２は、中遠景の観察に適した合焦位置と近点観察に適した合焦位置を切り替えることができる。もちろん、光学系２０２は、合焦位置を２値で離散的に切り替えさせる必要がなく、連続的に複数の所望の位置へ変更可能なものであってもよい。

【0062】

撮像素子２０３は、２次元マトリクス状に配置されてなる複数の画素の各々に、ベイヤー配列（ＲＧＧＢ）を構成するカラーフィルタのいずれか１つが配置されてなるＣＣＤまたはＣＭＯＳ（のイメージセンサを用いて構成される。撮像素子２０３は、撮像制御部２０７による制御のもと、光学系２０２によって結像された被写体像を受光し、光電変換を行って撮像画像（アナログ信号）を生成する。なお、一実施の形態では、撮像素子２０３は、イメージセンサとＴＯＦ（Time Of Flight）方式でデプスマップ（被写体距離情報）を取得するＴＯＦセンサとが一体的に構成されたものであってもよい。なお、デプスマップを生成する構成としては、上述したＴＯＦセンサに限らず、位相差センサを含むイメージセンサ等を採用しても構わない。以下では、デプスマップおよび撮像画像を纏めて画像データと記載する。撮像素子２０３は、画像データをＡ／Ｄ変換部２０４へ出力する。

【0063】

Ａ／Ｄ変換部２０４は、Ａ／Ｄ変換回路等を用いて構成される。Ａ／Ｄ変換部２０４は、撮像制御部２０７による制御のもと、撮像素子２０３から入力されたアナログの画像データに対してＡ／Ｄ変換処理を行い、Ｐ／Ｓ変換部２０５へ出力する。

【0064】

Ｐ／Ｓ変換部２０５は、Ｐ／Ｓ変換回路等を用いて構成され、撮像制御部２０７による制御の下、Ａ／Ｄ変換部２０４から入力されたデジタルの画像データをパラレル／シリアル変換を行い、第１の信号線２３２を経由することによって制御装置４へ出力する。
なお、Ｐ／Ｓ変換部２０５の代わりに、画像データを光信号に変換するＥ／Ｏ変換部を設け、当該光信号によって制御装置４へ画像データを出力する構成としてもよい。また、例えばＷｉ－Ｆｉ（Wireless Fidelity）（登録商標）等の無線通信によって画像データを制御装置４へ送信する構成としても構わない。

【0065】

焦点調整機構２０６は、第２の制御部４１０または撮像制御部２０７の制御のもと、光学系１０１のフォーカスレンズＬ５を光軸Ｏ１に沿って移動させることによって光学系１０１のフォーカルポイント（合焦位置）を変更する。焦点調整機構２０６は、焦点駆動部２０６ａと、検出部２０６ｂと、を有する。

【0066】

焦点駆動部２０６ａは、例えばステッピングモータやボイスコイルモータ等を含むアクチュエータを用いて構成され、第２の制御部４１０または撮像制御部２０７の制御のもと、駆動することによってフォーカスレンズＬ５を光軸Ｏ１上における所定の位置に移動する。

【0067】

検出部２０６ｂは、光学系２０２におけるフォーカスレンズＬ５の位置または焦点距離に関する焦点距離情報を検出し、この検出結果を第２の制御部４１０へ出力する。検出部２０６ｂは、例えばエンコーダやフォトカプラ等を用いて構成される。なお、検出部２０６ｂは、焦点駆動部２０６ａの駆動量に基づいて、フォーカスレンズＬ５の光軸Ｏ１上における位置を検出するものであってもよい。

【0068】

撮像制御部２０７は、ＴＧ（Timing Generator）と、ＣＰＵ等のハードウェアを有する処理装置であるプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。撮像制御部２０７は、第２の信号線２３３を経由することによって制御装置４から受信した設定データに基づいて、撮像素子２０３、Ａ／Ｄ変換部２０４、およびＰ／Ｓ変換部２０５の各々の動作を制御する。

【0069】

〔制御装置の構成〕
次に、制御装置４の構成について説明する。
図２に示すように、制御装置４は、集光レンズ４０１と、第１の光源部４０２と、第２の光源部４０３と、光源制御部４０４と、Ｓ／Ｐ変換部４０５と、画像処理部４０６と、入力部４０７と、記録部４０８と、通信部４０９と、第２の制御部４１０と、を備える。

【0070】

集光レンズ４０１は、第１の光源部４０２および第２の光源部４０３の各々が発光した光を集光し、ライトガイド２３１へ出射する。

【0071】

第１の光源部４０２は、光源制御部４０４による制御のもと、可視光である白色光（通常光）を発光することによってライトガイド２３１へ当該白色光を照明光として供給する。この第１の光源部４０２は、コリメートレンズ、白色ＬＥＤ（Light Emitting Diode）ランプ、および駆動ドライバ等を用いて構成される。なお、第１の光源部４０２としては、赤色ＬＥＤランプ、緑色ＬＥＤランプ、および青色ＬＥＤランプを用いて同時に発光することによって可視光の白色光を供給しても構わない。また、第１の光源部４０２としては、ハロゲンランプやキセノンランプ等によって構成しても構わない。

【0072】

第２の光源部４０３は、光源制御部４０４による制御の下、所定の波長帯域を有する特殊光を発光することによってライトガイド２３１へ特殊光を照明光として供給する。ここで、特殊光とは、３９０～４４５ｎｍおよび５３０～５５０ｎｍを含む狭帯域光による狭帯域光観察（ＮＢＩ：Narrow band Imaging）に用いられる光である。もちろん、特殊光として、狭帯域光以外にも、赤色光観察（ＲＤＩ：Red dichromatic Imaging）に用いられるアンバー色の光（６００ｎｍおよび６３０ｎｍ）であってもよい。

【0073】

光源制御部４０４は、ＦＰＧＡまたはＣＰＵ等のハードウェアを有するプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。光源制御部４０４は、第２の制御部４１０から入力される制御データに基づいて、第１の光源部４０２および第２の光源部４０３の各々の発光タイミングおよび発光時間等を制御する。

【0074】

Ｓ／Ｐ変換部４０５は、第２の制御部４１０による制御のもと、第１の信号線２３２を経由することによって内視鏡２から受信した画像データに対してシリアル／パラレル変換を行い、画像処理部４０６へ出力する。なお、内視鏡２が光信号で画像データを出力する場合、Ｓ／Ｐ変換部４０５の代わりに、光信号を電気信号に変換するＯ／Ｅ変換部を設けても構わない。また、内視鏡２が無線通信によって画像データを送信する場合、Ｓ／Ｐ変換部４０５の代わりに、無線信号を受信可能な通信モジュールを設けても構わない。

【0075】

画像処理部４０６は、ＧＰＵまたはＦＰＧＡ等のハードウェアを有するプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。画像処理部４０６は、第２の制御部４１０による制御の下、Ｓ／Ｐ変換部４０５から入力されたパラレルデータの画像データに所定の画像処理を施し、表示装置３へ出力する。ここで、所定の画像処理としては、デモザイク処理、ホワイトバランス処理、ゲイン調整処理、γ補正処理、およびフォーマット変換処理等を例示することができる。

【0076】

入力部４０７は、マウス、フットスイッチ、キーボード、ボタン、スイッチ、およびタッチパネル等を用いて構成され、術者等のユーザによるユーザ操作を受け付け、当該ユーザ操作に応じた操作信号を第２の制御部４１０へ出力する。

【0077】

記録部４０８は、揮発性メモリ、不揮発性メモリ、ＳＳＤ（Solid State Drive）およびＨＤＤ（Hard Disk Drive）等やメモリカード等の記録媒体を用いて構成される。そして、記録部４０８は、制御装置４および内視鏡２の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部４０８は、内視鏡２および制御装置４を動作させるための各種プログラムを記録するプログラム記録部４０８ａと、画像データに対応する画像を格納する画像ファイルを記録する画像データ記録部４０８ｂと、学習済みモデルを記録する学習済みモデル記録部４０８ｃと、カメラパラメータ記録部４０８ｄと、を有する。

【0078】

画像データ記録部４０８ｂは、第２の制御部４１０の制御のもと、内視鏡２が被検体に対して複数の観察部位を連続的に撮像することによって生成した画像データ群および静止画像データに対応する画像（内視鏡画像）を、患者情報等に対応付けて記録する。ここで、静止画像データとは、操作部２２から入力されるレリーズ信号によって撮像を指示された際に、撮像素子２０３が撮像した画像データであって、撮像素子２０３が順次生成するライブビュー画像より解像度が高い画像データである。

【0079】

学習済みモデル記録部４０８ｃは、互いに合焦位置が異なる複数の画像を入力パラメータとし、出力パラメータとして光学系２０２から被写体までの距離を示すデプスマップを出力する学習済みモデルを記録する。

【0080】

カメラパラメータ記録部４０８ｄは、光学系２０２のカメラパラメータを記録する。具体的には、カメラパラメータは、画像平面（撮像素子２０３の画素の位置）と物体（被写体の位置）を紐づける変換係数である。例えば、市松模様の平板を用いてカメラキャリブレーションを行うことで取得することができる変換行列である。また、カメラパラメータ記録部４０８ｄは、撮像素子２０３の画素毎にデプスｚに応じた画像上の点（ｘ，ｙ）の値をルックアップテーブルとして記録してもよい。この場合、後述する第２の制御部４１０は、推定したデプスｚに応じて画像上の点（ｘ，ｙ）を導出してもよい。また、カメラパラメータ記録部４０８ｄは、撮像素子２０３の画素毎にデプスｚに応じた画像上の点（ｘ，ｙ）の近似式を記録してもよい。この場合、後述する第２の制御部４１０は、推定したデプスｚに応じて画像上の点（ｘ，ｙ）を導出してもよい。

【0081】

通信部４０９は、第２の制御部４１０の制御のもと、画像診断装置５または学習済みモデル生成装置１へ各種情報を送信するとともに、画像診断装置５または学習済みモデル生成装置１から各種情報を受信して第２の制御部４１０へ出力する。具体的には、通信部４０９は、第２の制御部４１０の制御のもと、画像処理部４０６が画像処理を施した時間的に連続する画像データ群を画像診断装置５へ送信し、画像診断装置５において検出された臓器、部位、および特徴領域等を含む検出結果を受信して第２の制御部４１０へ出力する。また、通信部４０９は、第２の制御部４１０の制御のもと、学習済みモデル生成装置１から受信した学習済みモデルを受信して学習済みモデル記録部４０８ｃへ出力する。通信部４０９は、通信モジュール等を用いて構成される。

【0082】

第２の制御部４１０は、本開示に係る第２のプロセッサに相当する。この第２の制御部４１０は、ＦＰＧＡまたはＣＰＵ等のハードウェアを有する処理装置である第２のプロセッサと、当該第２のプロセッサが使用する一時的な記憶域であるメモリを用いて実現される。そして、第２の制御部４１０は、内視鏡２および制御装置４を構成する各部を統括的に制御する。第２の制御部４１０は、駆動制御部４１０ａと、撮像制御部４１０ｂと、取得部４１０ｃと、推論部４１０ｄと、算出部４１０ｅと、出力制御部４１０ｆと、を有する。

【0083】

駆動制御部４１０ａは、焦点調整機構２０６を駆動してフォーカスレンズＬ５を近点側または遠点端へ移動させる。

【0084】

撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が近点端または遠点端で集光した被写体像を露光させて撮像させる。さらに、撮像制御部４１０ｂは、フォーカスレンズＬ５が近点端から遠点端に移動する移動期間中に、撮像素子２０３に集光した被写体像を露光させて撮像させる。

【0085】

取得部４１０ｃは、フォーカスレンズＬ５の近点側において撮像素子２０３が被写体を撮像して生成した第１の画像を取得する。また、取得部４１０ｃは、焦点調整機構２０６によるフォーカスレンズＬ５の近点側と遠点側との間において焦点距離を変化させて移動させている期間に撮像素子２０３が被写体を撮像して生成した複数の第２の画像のいずれか１つ以上を取得する。また、取得部４１０ｃは、フォーカスレンズＬ５の遠点側において撮像素子２０３が被写体を撮像して生成した第３の画像を取得する。

【0086】

推論部４１０ｄは、取得部４１０ｃが取得した第１の画像、第２の画像および第３の画像と、学習済みモデル記録部４０８ｃが記録する学習済みモデルと、を用いて、被写体のデプスマップを推定する。

【0087】

算出部４１０ｅは、算出部４１０ｅは、推論部４１０ｄが推定した被写体のデプブマップと、カメラパラメータ記録部４０８ｄが記録する光学系２０２のカメラパラメータと、に基づいて、被写体の形状を推定する。

【0088】

出力制御部４１０ｆは、算出部４１０ｅが推定した被写体の形状を表示装置３に出力する。

【0089】

〔学習済みモデル生成装置による処理〕
次に、学習済みモデル生成装置１が実行する処理について説明する。図５は、学習済みモデル生成装置１が実行する処理の概要を示すフローチャートである。ここで、被写体距離とは、光学系１０１の先端から被写体Ｋ１までの距離である。また、以下においては、被写体は、光学系１０１に正対した凹凸がない平面被写体として説明する。学習させる平面被写体の距離範囲は合焦位置における近点端および遠点端よりも広くする。例えば、合焦位置における近点端を４ｍｍ、遠点端を２０ｍｍとしたとき、学習させる被写体の距離を２ｍｍ～４０ｍｍとして説明する。これにより合焦位置よりも近点または遠点に位置する被写体に対してデプスを推定することが可能となる。

【0090】

図５に示すように、まず、学習済みモデル生成装置１は、被写体を設定する（ステップＳ１００）。具体的には、学習済みモデル生成装置１は、ユーザが入力部１３を経由して入力した操作情報に基づいて、被写体を設定する。この場合、ユーザは、液晶モニタの場合、絵柄の種別内容、液晶モニタと学習済みモデル生成装置１までの距離を、入力部１３を用いて入力する。

【0091】

その後、駆動制御部１６１は、焦点調整機構１０３を駆動してフォーカスレンズＬ５を光学系１０１における近点端へ移動させる（ステップＳ１０１）。

【0092】

続いて、撮像制御部１６２は、撮像素子１０２にフォーカスレンズＬ５の近点端で撮像させる（ステップＳ１０２）。

【0093】

その後、取得部１６３は、撮像素子１０２がフォーカスレンズＬ５の近点端で撮像して生成した第１の画像を取得する（ステップＳ１０３）。

【0094】

続いて、駆動制御部１６１は、焦点調整機構１０３を駆動してフォーカスレンズＬ５を近点端から遠点端へ移動させる（ステップＳ１０４）。

【0095】

その後、撮像制御部１６２は、フォーカスレンズＬ５が近点端から遠点端へ移動する移動期間中に、撮像素子１０２に複数撮像させる（ステップＳ１０５）。

【0096】

続いて、取得部１６３は、フォーカスレンズＬ５が近点端から遠点端へ移動する移動期間中に、撮像素子１０２が複数撮像することによって生成した複数の第２の画像を取得する（ステップＳ１０６）。なお、取得部１６３は、フォーカスレンズＬ５が近点端から遠点端へ移動する移動期間中に、撮像素子１０２が複数撮像することによって生成した複数の第２の画像を全て取得しているが、これに限定されることなく、フォーカスレンズＬ５が近点端から遠点端へ移動する移動期間中に１つ以上を取得すればよい。

【0097】

その後、撮像制御部１６２は、撮像素子１０２にフォーカスレンズＬ５の遠点端で撮像させる（ステップＳ１０７）。

【0098】

続いて、取得部１６３は、撮像素子１０２がフォーカスレンズＬ５の遠点端で撮像して生成した第３の画像を取得する（ステップＳ１０８）。

【0099】

その後、判定部１６４は、学習するために必要となる画像の枚数が所定枚数取得することができたか否かを判定する（ステップＳ１０９）。具体的には、図６～図９に示すように、判定部１６４は、複数の被写体それぞれに対して、複数の合焦位置それぞれで撮像して生成して取得した複数の画像が所定枚数（例えば１００００枚）を超えたか否かを判定する。判定部１６４によって学習するために必要となる画像の枚数が所定枚数を取得することができたと判定された場合（ステップＳ１０９：Ｙｅｓ）、学習済みモデル生成装置１は、後述するステップＳ１１０へ移行する。これに対して、判定部１６４によって学習するために必要となる画像の枚数が所定枚数を取得できていないと判定された場合（ステップＳ１０９：Ｎｏ）、学習済みモデル生成装置１は、ステップＳ１０１へ戻る。

【0100】

ステップＳ１１０において、取得部１６３は、通信部１４を経由して外部装置または記録部１５から被写体毎のデプスマップを取得する。デプブマップ（デプス分布）とは、各被写体画像の各画素に対して光学系１０１からの被写体までの距離の正解値を付加したものである。もちろん、取得部１６３は、ユーザが入力部１３を経由して入力したデプブマップを取得してもよい。

【0101】

続いて、学習部１６５は、所定の学習モデルと、取得部１６３が取得した被写体毎の複数の画像であって、互いに合焦位置が異なる複数の画像とデプブマップとを組み合わせた学習データを用いて学習する（ステップＳ１１１）。具体的には、学習部１６５は、人工知能（ＡＩ（Artificial Intelligence））を用いた機械学習によって生成される学習モデルを用いて学習する。学習部１６５で用いる学習モデルを構築する手法は、特に限定されることなく、例えばニューラルネットワークを用いた深層学習、サポートベクターマシン、決定木、単純ベイズ、ｋ近傍法等の種々の機械学習手法を用いることができる。

【0102】

図６は、学習部１６５が学習モデルに入力する学習データセットを模式的に示す図である。図６に示すように、学習部１６５は、所定の学習モデルと、取得部１６３が取得した被写体毎の複数の画像ＦＰ１～ＦＰ４であって、互いに合焦位置が異なる複数の画像ＦＰ１～ＦＰ４とデプブマップとを組み合わせた学習データを用いて学習して学習済みモデルを生成する。即ち、学習部１６５は、第１の画像、第２の画像および第３の画像を入力パラメータとし、被写体と光学系１０１との距離情報を出力パラメータとして出力する学習済みモデルを生成する。

【0103】

なお、一実施の形態では、デプブマップと画像との紐付けは、複数の画像のうち、近点端の第１の画像または遠点端の第２の画像の少なくとも一方であればよい。図７は、デプブマップと画像との紐付けを模式的に説明する図である。なお、図７では、光学系１０１の合焦位置（フォーカルポイント）が異なる第１の画像Ｐ１００、第３の画像Ｐ１０１および第２の画像Ｐ１０２それぞれについて説明する。さらに、図７では、第１の画像Ｐ１００の枠Ｗ１が第３の画像Ｐ１０１に対応する画角となり、枠Ｗ２が第２の画像Ｐ１０２に対応する画角となる。さらに、領域Ｄ１がデプスマップ推定可能な領域となる。

【0104】

図７に示すように、一実施の形態では、第１の画像Ｐ１００および第３の画像Ｐ１０１それぞれに所定の特徴、例えば特徴的な絵柄が含まれるため、第１の画像Ｐ１００および第３の画像Ｐ１０１との画像間で対応付けを行うことができるので、他の画像、例えば第２の画像Ｐ１０２へのデプスマップの紐付けを行うことができる。このため、一実施の形態では、デプスマップを紐付ける場合、画角が広い画像、例えば第１の画像Ｐ１００に紐付けることが望ましい。

【0105】

図５に戻り、ステップＳ１１２以降の説明を続ける。
ステップＳ１０２において、出力制御部１６６は、学習部１６５が生成した学習済みモデルを学習済みモデル記録部１５３に出力する（ステップＳ１１２）。この場合、出力制御部１６６は、通信部１４を経由して、外部装置、例えば後述する内視鏡システム１００に、学習済みモデルを出力してもよい。ステップＳ１１１の後、学習済みモデル生成装置１は、本処理を終了する。

【0106】

〔医療支援システムが実行する処理〕
次に、内視鏡システム１００が実行する処理について説明する。図８は、内視鏡システム１００が実行する処理の概要を示すフローチャートである。

【0107】

図８に示すように、第２の制御部４１０は、内視鏡２の操作部２２から内視鏡２の観察モードを、被検体の形状を計測する計測モードに指示する指示信号が入力されたか否かを判定する（ステップＳ２０１）。第２の制御部４１０によって内視鏡２の操作部２２から内視鏡２の観察モードを、被検体の形状を計測する計測モードに指示する指示信号が入力されたと判定された場合（ステップＳ２０１：Ｙｅｓ）、内視鏡システム１００は、後述するステップＳ２０２へ移行する。これに対して、第２の制御部４１０によって内視鏡２の操作部２２から内視鏡２の観察モードを、被検体の形状を計測する計測モードに指示する指示信号が入力されていないと判定された場合（ステップＳ２０１：Ｎｏ）、内視鏡システム１００は、後述するステップＳ２０４へ移行する。

【0108】

ステップＳ２０２において、内視鏡システム１００は、被検体内における所定の被写体の形状を計測する計測モード処理を実行する。なお、計測モード処理の詳細は、後述する。

【0109】

続いて、第２の制御部４１０は、内視鏡２の操作部２２から内視鏡２による観察を終了する指示信号が入力されたか否かを判定する（ステップＳ２０３）。第２の制御部４１０によって内視鏡２の操作部２２から内視鏡２による観察を終了する指示信号が入力されたと判定された場合（ステップＳ２０３：Ｙｅｓ）、内視鏡システム１００は、本処理を終了する。これに対して、第２の制御部４１０によって内視鏡２の操作部２２から内視鏡２による観察を終了する指示信号が入力されていないと判定された場合（ステップＳ２０３：Ｎｏ）、内視鏡システム１００は、上述したステップＳ２０１へ戻る。

【0110】

ステップＳ２０４において、内視鏡システム１００は、被検体に対する通常観察を行う。具体的には、第２の制御部４１０は、光源制御部４０４を制御し、第１の光源部４０２または第２の光源部４０３を発光させ、被写体からの反射光を撮像素子２０３に撮像させて画像データを生成させる。そして、第２の制御部４１０は、撮像素子２０３が生成した画像データを画像処理部４０６に画像処理を施させて表示装置３に表示させることによって、被検体に対する通常観察を行う。ステップＳ２０４の後、内視鏡システム１００は、ステップＳ２０３へ移行する。

【0111】

〔計測モード処理の概要〕
次に、図８のステップＳ２０２において説明した計測モード処理の詳細について説明する。図９は、計測モード処理の概要を示すフローチャートである。図１０は、計測モード処理時における内視鏡２が備えるフォーカスレンズＬ５の光軸Ｏ１上における位置および撮像素子２０３の露光タイミングを示すタイミングチャートである。なお、図１０において、図１０の（ａ）がフォーカスレンズＬ５の位置を示し、図１０の（ｂ）が撮像素子２０３の露光タイミングを示す。

【0112】

図１０に示すように、まず、駆動制御部４１０ａは、焦点調整機構２０６を制御し、焦点調整機構２０６によるＡＦ駆動を停止する（ステップＳ３０１）。

【0113】

続いて、駆動制御部４１０ａは、焦点調整機構２０６を駆動してフォーカスレンズＬ５を近点側へ移動させ（ステップＳ３０２）、フォーカスレンズＬ５を近点端で停止させる（ステップＳ３０３）。具体的には、図１０の（ａ）に示すように、駆動制御部４１０ａは、焦点調整機構２０６を駆動してフォーカスレンズＬ５を近点側へ移動させ、フォーカスレンズＬ５を近点端で停止させる。

【0114】

その後、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が近点端で集光した被写体像を露光させて撮像させる（ステップＳ３０４）。具体的には、図１０および図１１に示すように、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が近点端で集光した被写体Ｋ１の被写体像を露光させて撮像させる。この場合、図１２に示すように、取得部４１０ｃは、撮像素子２０３が生成した画像データを第１の画像Ｐ２００として取得する。

【0115】

続いて、駆動制御部４１０ａは、焦点調整機構２０６を駆動してフォーカスレンズＬ５を遠点側へ移動させる（ステップＳ３０２）。

【0116】

その後、撮像制御部４１０ｂは、フォーカスレンズＬ５が近点端から遠点端へ移動している移動期間中に、撮像素子２０３に所定のフレームレートに従って被写体像を露光させて撮像させる（ステップＳ３０６）。具体的には、図１０の（ｂ）に示すように、撮像制御部４１０ｂは、フォーカスレンズＬ５が近点端から遠点端へ移動している移動期間中に、撮像素子２０３に所定のフレームレート、例えば６０ＦＰＳに従って被写体像を露光させて撮像させることによって複数の画像データを生成させる。この場合、図１３に示すように、取得部４１０ｃは、撮像素子２０３が生成した複数の画像データのいずれか１つ以上を第２の画像Ｐ２０１として取得する。

【0117】

続いて、駆動制御部４１０ａは、焦点調整機構２０６を駆動してフォーカスレンズＬ５を遠点端で停止させる（ステップＳ３０７）。具体的には、図１０の（ａ）に示すように、駆動制御部４１０ａは、焦点調整機構２０６を駆動してフォーカスレンズＬ５を遠点端で停止させる。

【0118】

その後、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が遠点端で集光した被写体像を露光させて撮像させる（ステップＳ３０８）。具体的には、図１０（ｂ）に示すように、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が遠点端で集光した被写体像を露光させて撮像させる。この場合、図１４に示すように、取得部４１０ｃは、撮像素子２０３が生成した画像データを第３の画像Ｐ２０２として取得する。

【0119】

続いて、駆動制御部４１０ａは、焦点調整機構２０６を制御し、フォーカスレンズＬ５をＡＦ駆動の停止位置した位置へ移動させ（ステップＳ３０９）、焦点調整機構２０６によるＡＦ駆動を開始する（ステップＳ３１０）。

【0120】

その後、推論部４１０ｄは、取得部４１０ｃが取得した第１の画像、第２の画像および第３の画像と、学習済みモデル記録部４０８ｃが記録する学習済みモデルと、を用いて、被写体のデプスマップを推定する（ステップＳ３１１）。具体的には、推論部４１０ｄは、取得部４１０ｃが取得した第１の画像、第２の画像および第３の画像を入力パラメータとして学習済みモデルに入力し、学習済みモデルが出力パラメータとして出力する被写体のデプスマップを推定する。

【0121】

続いて、算出部４１０ｅは、推論部４１０ｄが推定した被写体のデプブマップと、カメラパラメータ記録部４０８ｄが記録する光学系２０２のカメラパラメータと、に基づいて、被写体の形状を推定する（ステップＳ３１２）。

【0122】

図１５は、算出部４１０ｅが被写体の形状を推定する推定方法を模式的に説明する図である。図１５に示すように、算出部４１０ｅは、撮像素子２０３における所定の画素の位置をｘ_imager、光学系２０２の光軸Ｏ１と所定の被写体の位置Ｑ１および撮像素子２０３の位置ｘを結ぶ直線とが交差する角度をθ、光学系２０２から所定の被写体の位置Ｑ１までのデプスマップに基づく距離をｚとした場合、以下の式（１）が成り立つ。
ｘ＝ｚ×ｔａｎθ ・・・（１）
算出部４１０ｅは、撮像素子２０３の画素毎に上記の式（１）を用いて、被写体の形状を推定する。

【0123】

その後、出力制御部４１０ｆは、算出部４１０ｅが推定した被写体の形状を表示装置３に出力する（ステップＳ３１３）。具体的には、図１６に示すように、出力制御部４１０ｆは、算出部４１０ｅが推定した被写体の形状に対応する画像Ｐ２０３を出力する。ステップＳ３１３の後、内視鏡システム１００は、図８のメインルーチンへ戻る。

【0124】

以上説明した一実施の形態によれば、推論部４１０ｄが取得部４１０ｃによって取得された第１の画像、第２の画像および第３の画像と、学習済みモデル記録部４０８ｃが記録する学習済みモデルと、を用いて、被写体のデプスマップを推定するため、光学系から測定対象物である被写体までの距離の検出精度を向上させることができる。

【0125】

また、一実施の形態によれば、算出部４１０ｅが推論部４１０ｄによって推定された被写体のデプブマップと、カメラパラメータ記録部４０８ｄが記録する光学系２０２のカメラパラメータと、に基づいて、被写体の形状を推定するため、測定対象物である被写体の３次元形状の推定精度をさらに向上することができる。

【0126】

なお、一実施の形態では、フォーカスレンズＬ５が近点端から遠点端へ移動する移動期間中に、取得部１６３が撮像素子１０２によって生成された動画を構成する複数の第２の画像を取得していたが、これに限定されることなく、例えば動画を構成するフレームに代えて、フォーカルスイーブ画像であってもよい。

【0127】

また、一実施の形態では、制御装置４に取得部４１０ｃ、推論部４１０ｄ、算出部４１０ｅおよび出力制御部４１０ｆを設けていたが、これに限定されることなく、画像診断装置５に推論部４１０ｄ、算出部４１０ｅおよび出力制御部４１０ｆの機能を設けてもよい。また、一実施の形態では、画像診断装置５以外に、推論部４１０ｄ、算出部４１０ｅおよび出力制御部４１０ｆの機能を外部サーバ等に設けてもよい。

【0128】

（変形例１）
次に、一実施の形態の変形例１について説明する。変形例１では、上述した一実施の形態に係る内視鏡システム１００と同一の構成を有し、実行する処理が異なる。具体的には、上述した一実施の形態では、フォーカスレンズＬ５を近点端および遠点端で停止した状態で撮像素子２０３に露光させて第１の画像および第３の画像を生成させていたが、変形例１では、フォーカスレンズＬ５が近点端および遠点端に到達したタイミングで撮像素子２０３に露光させて第１の画像および第３の画像を生成させる。このため、以下においては、一実施の形態の変形例１に係る内視鏡システム１００が実行する処理について説明する。

【0129】

図１７は、計測モード処理時における内視鏡２が備えるフォーカスレンズＬ５の光軸Ｏ１上における位置および撮像素子２０３の露光タイミングを示すタイミングチャートである。なお、図１７において、図１７の（ａ）がフォーカスレンズＬ５の位置を示し、図１７の（ｂ）が撮像素子２０３の露光タイミングを示す。

【0130】

図１７に示すように、駆動制御部４１０ａは、焦点調整機構２０６を駆動してフォーカスレンズＬ５を現在位置から近点側へ移動させ近点端に到達後、遠点側へフォーカスレンズＬ５を直線的に移動させる。この場合において、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が近点端で集光した被写体像を露光させて撮像させる。このとき、取得部４１０ｃは、撮像素子２０３が生成した画像データを第１の画像として取得する。

【0131】

続いて、駆動制御部４１０ａは、フォーカスレンズＬ５を遠点端に到着後、ＡＦ停止位置までフォーカスレンズＬ５を移動させる。この場合において、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が近点端から遠点端の移動中に集光した被写体像を露光させて撮像させる。このとき、取得部４１０ｃは、撮像素子２０３が生成した画像データを第２の画像として取得する。さらに、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が遠点端で集光した被写体像を露光させて撮像させる。このとき、取得部４１０ｃは、撮像素子２０３が生成した画像データを第３の画像として取得する。

【0132】

このように駆動制御部４１０ａは、フォーカスレンズＬ５を近点端から遠点端に向けてリニアに移動させる。これにより、計測モードから通常モードに復帰する際の時間を短縮することができる。

【0133】

以上説明した変形例１によれば、被写体のデプスマップを推定するため、光学系から測定対象物である被写体までの距離の検出精度を向上させることができる。

【0134】

（変形例２）
次に、一実施の形態の変形例２について説明する。変形例２では、上述した一実施の形態に係る内視鏡システム１００と同一の構成を有し、実行する処理が異なる。このため、以下においては、一実施の形態の変形例１に係る内視鏡システム１００が実行する処理について説明する。

【0135】

図１８は、計測モード処理時における内視鏡２が備えるフォーカスレンズＬ５の光軸Ｏ１上における位置および撮像素子２０３の露光タイミングを示すタイミングチャートである。なお、図１８において、図１８の（ａ）がフォーカスレンズＬ５の位置を示し、図１８の（ｂ）が撮像素子２０３の露光タイミングを示す。

【0136】

図２２に示すように、駆動制御部４１０ａは、焦点調整機構２０６を駆動してフォーカスレンズＬ５を現在位置から近点側へ移動させ近点端に一定時間内で停止するように移動させて近点端に到達後、遠点側へフォーカスレンズＬ５を移動させる。この場合において、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が近点端で集光した被写体像を露光させて撮像させる。このとき、取得部４１０ｃは、撮像素子２０３が生成した画像データを第１の画像として取得する。

【0137】

続いて、駆動制御部４１０ａは、フォーカスレンズＬ５を遠点端に一定時間内で停止するように移動させて遠点端に到着後、ＡＦ停止位置までフォーカスレンズＬ５を移動させる。この場合において、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が近点端から遠点端の移動中に集光した被写体像を露光させて撮像させる。このとき、取得部４１０ｃは、撮像素子２０３が生成した画像データを第２の画像として取得する。さらに、撮像制御部４１０ｂは、撮像素子２０３にフォーカスレンズＬ５が遠点端で集光した被写体像を露光させて撮像させる。このとき、取得部４１０ｃは、撮像素子２０３が生成した画像データを第３の画像として取得する。

【0138】

このように駆動制御部４１０ａは、フォーカスレンズＬ５を近点端から遠点端に向けて正弦波に滑らかに移動させる。これにより、フォーカスレンズＬ５の微動によるボケを抑制した第１の画像および第３の画像を得ることができる。

【0139】

以上説明した変形例２によれば、被写体のデプスマップを推定するため、光学系から測定対象物である被写体までの距離の検出精度を向上させることができる。

【0140】

（その他の実施の形態）
上述した本開示の一実施の形態に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。

【0141】

また、本開示の一実施の形態に係る内視鏡システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【0142】

また、本開示の一実施の形態に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0143】

また、本開示の一実施の形態に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

【0144】

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

【0145】

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【符号の説明】

【0146】

１ 学習済みモデル生成装置
２ 内視鏡
３ 表示装置
４ 制御装置
５ 画像診断装置
１１ 撮像装置
１２ 表示部
１３,４０７ 入力部
１４,４０９ 通信部
１５,４０８ 記録部
１６ 第１の制御部
１００ 内視鏡システム
１０１,２０２ 光学系
１０２,２０３ 撮像素子
１０３,２０６ 焦点調整機構
１０３ａ,２０６ａ 焦点駆動部
１０３ｂ,２０６ｂ 検出部
１５１,４０８ａ プログラム記録部
１５２ 学習モデル記録部
１５３,４０８ｂ 学習済みモデル記録部
１６１，４１０ａ 駆動制御部
１６２,２０７，４１０ｂ 撮像制御部
１６３，４１０ｃ 取得部
１６４ 判定部
１６５ 学習部
１６６，４１０ｆ 出力制御部
２０１ 照明光学系
４０８ｂ 画像データ記録部
４０８ｄ カメラパラメータ記録部
４１０ 第２の制御部
４１０ｄ 推論部
４１０ｅ 算出部
４１０ｆ 出力制御部
Ｌ１～Ｌ４,Ｌ６～Ｌ１０ レンズ
Ｌ５ フォーカスレンズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】