特許 7557425 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240919BHJP

   A61B 1/00 20060101ALI20240919BHJP

【ＦＩ】

A61B1/045 614

A61B1/00 553

A61B1/00 650

【請求項の数】 11

(21)【出願番号】P 2021078694

(22)【出願日】2021-05-06

(65)【公開番号】P2022172654

(43)【公開日】2022-11-17

【審査請求日】2024-02-01

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】辻本 尭之

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特開２００９－０５４３６０（ＪＰ，Ａ）

【文献】特開２０１１－２３４８７１（ＪＰ，Ａ）

【文献】国際公開第２０２１／０７５４１８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１１／０３０１４４７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置であって、
前記プロセッサは、
内視鏡システムで体腔を撮影した前記内視鏡画像を取得する内視鏡画像取得処理と、
前記内視鏡画像の少なくとも１点の測定点に対応する実測された第１の深度情報を取得する実測情報取得処理と、
前記内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得処理と、
前記模倣画像の一つ以上の領域の深度情報を含む第２の深度情報を取得する模倣深度取得処理と、
前記内視鏡画像と前記第１の深度情報とで構成される第１の学習データセット、及び前記模倣画像と前記第２の深度情報とで構成される第２の学習データセットを用いて、前記学習モデルに学習を行わせる学習処理と、
を行う学習装置。

【請求項2】

前記第１の深度情報は、前記内視鏡システムのスコープの先端に備えられる光測距器を用いて取得される請求項１に記載の学習装置。

【請求項3】

前記模倣画像及び前記第２の深度情報は、前記体腔の疑似的な３次元コンピューターグラフィックスに基づいて取得される請求項１又は２に記載の学習装置。

【請求項4】

前記模倣画像は、前記体腔の模型を前記内視鏡システムで撮影することにより取得され、前記第２の深度情報は、前記模型の３次元情報に基づいて取得される請求項１から３のいずれか１項に記載の学習装置。

【請求項5】

前記プロセッサは、前記第１の学習データセットを用いた前記学習処理時の第１の損失重みと、前記第２の学習データセットを用いた前記学習処理時の第２の損失重みとを異ならせる請求項１から４のいずれか１項に記載の学習装置。

【請求項6】

前記第１の損失重みは、前記第２の損失重みよりも大きい請求項５に記載の学習装置。

【請求項7】

請求項１から６のいずれか１項に記載の学習装置で学習が行われた学習済みモデルで構成される深度情報取得装置。

【請求項8】

請求項７に記載の前記深度情報取得装置と、内視鏡スコープと、プロセッサとを備える内視鏡システムであって、
前記プロセッサは、
前記内視鏡スコープにより撮影された内視鏡画像を取得する画像取得処理と、
前記内視鏡画像を前記深度情報取得装置に入力する画像入力処理と、
前記深度情報取得装置に前記内視鏡画像の深度情報を推定させる推定処理と、
を行う内視鏡システム。

【請求項9】

前記第１の学習データセットの前記内視鏡画像を取得した第１の内視鏡スコープと少なくとも対物レンズが異なる第２の内視鏡スコープに対応する補正テーブルを備え、
前記プロセッサは、
前記第２の内視鏡スコープにより内視鏡画像を取得する場合には、前記推定処理で取得された前記深度情報を、前記補正テーブルを使用して補正する補正処理を行う請求項８に記載の内視鏡システム。

【請求項10】

プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置を用いた学習方法であって、
前記プロセッサにより行われる、
内視鏡システムで体腔を撮影した前記内視鏡画像を取得する内視鏡画像取得工程と、
前記内視鏡画像の少なくとも１点の測定点に対応する実測された第１の深度情報を取得する実測情報取得工程と、
前記内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得工程と、
前記模倣画像一つ以上の領域の深度情報を含む第２の深度情報を取得する模倣深度取得工程と、
前記内視鏡画像と前記第１の深度情報とで構成される第１の学習データセット、及び前記模倣画像と前記第２の深度情報とで構成される第２の学習データセットを用いて、前記学習モデルに学習を行わせる学習工程と、
を含む学習方法。

【請求項11】

プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置に学習方法を実行させるプログラムであって、
前記プロセッサに、
内視鏡システムで体腔を撮影した前記内視鏡画像を取得する内視鏡画像取得工程と、
前記内視鏡画像の少なくとも１点の測定点に対応する実測された第１の深度情報を取得する実測情報取得工程と、
前記内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得工程と、
前記模倣画像の一つ以上の領域の深度情報を含む第２の深度情報を取得する模倣深度取得工程と、
前記内視鏡画像と前記第１の深度情報とで構成される第１の学習データセット、及び前記模倣画像と前記第２の深度情報とで構成される第２の学習データセットを用いて、前記学習モデルに学習を行わせる学習工程と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラムに関する。

【背景技術】

【0002】

近年、内視鏡システムを用いた診断においてＡＩ（Artificial Intelligence）を利用して、医師の診断の補助を行うことが試みられている。例えば、医師の病変見逃しの低減を目的としてＡＩにより自動病変検出を行わせたり、生検を行うことを減少させることを目的として、ＡＩにより病変等の自動鑑別を行わせたりしている。

【0003】

このようなＡＩの利用においては、医師がリアルタイムで観察している動画（フレーム画像）に対してＡＩに認識処理を行わせて診断補助を行う。

【0004】

一方で、内視鏡システムで撮影された内視鏡画像は、内視鏡スコープの先端に取り付けられた単眼カメラで撮影されることが多い。そのため、医師は内視鏡画像において深度情報（奥行情報）を得ることが難しく、このことにより内視鏡システムを用いた診断や手術が難しくなっている。そこで、ＡＩを用いて単眼カメラの内視鏡画像から深度情報を推定する技術の提案が行われている（特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開第２０２０／１８９３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＡＩ（学習済みモデルで構成された認識器）に深度情報を推定させるためには、内視鏡画像とその内視鏡画像に対応する深度情報を正解データとしてセットにした学習データセットを用意する必要がある。そして、その学習データセットを大量に準備し、ＡＩに機械学習を行わせなければならない。

【0007】

しかしながら、画像全体の正確な深度情報を実測して取得することは困難であるため、学習データセットを大量に用意して学習させることは難しい。

【0008】

一方で、シミュレーション等によって内視鏡画像を模倣した画像と、それに対応する深度情報は比較的容易に生成することができる。したがって、実測された学習データセットに代えてシミュレーション等で生成した学習データセットを用いて学習を行わせることが考えられる。しかしながら、シミュレーション等によって生成した学習データセットのみで学習が行われた場合には、実際に検査対象の撮影を行って得た内視鏡画像が入力された場合の深度情報の推定性能を担保することができない。

【0009】

本発明はこのような事情に鑑みてなされたもので、その目的は、深度推定を行わせる機械学習に用いる学習データセットを効率的に取得することができ、且つ実際に撮影された内視鏡画像において精度の高い深度推定を実現することができる学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0010】

上記目的を達成するための本発明の一の態様である学習装置は、プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置であって、プロセッサは、内視鏡システムで体腔を撮影した内視鏡画像を取得する内視鏡画像取得処理と、内視鏡画像の少なくとも１点の測定点に対応する実測された第１の深度情報を取得する実測情報取得処理と、内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得処理と、模倣画像の一つ以上の領域の深度情報を含む第２の深度情報を取得する模倣深度取得処理と、内視鏡画像と第１の深度情報とで構成される第１の学習データセット、及び模倣画像と第２の深度情報とで構成される第２の学習データセットを用いて、学習モデルに学習を行わせる学習処理と、を行う。

【0011】

本態様によれば、内視鏡画像と第１の深度情報とで構成される第１の学習データセット、及び模倣画像と第２の深度情報とで構成される第２の学習データセットを用いて、学習モデルに学習を行わせる。これにより、学習モデルに学習を行わせるための学習データセットを効率的に取得することができ、且つ実際に撮影された内視鏡画像に対して精度の高い深度推定を実現することができる。

【0012】

好ましくは、第１の深度情報は、内視鏡システムのスコープの先端に備えられる光測距器を用いて取得される。

【0013】

好ましくは、模倣画像及び第２の深度情報は、体腔の疑似的な３次元コンピューターグラフィックスに基づいて取得される。

【0014】

好ましくは、模倣画像は、体腔の模型を内視鏡システムで撮影することにより取得され、第２の深度情報は、模型の３次元情報に基づいて取得される。

【0015】

好ましくは、プロセッサは、第１の学習データセットを用いた学習処理時の第１の損失重みと、第２の学習データセットを用いた学習処理時の第２の損失重みとを異ならせる。

【0016】

好ましくは、第１の損失重みは、第２の損失重みよりも大きい。

【0017】

本発明の他の態様である深度情報取得装置は、上述の学習装置で学習が行われた学習済みモデルで構成される。

【0018】

本態様によれば、実際に撮影された内視鏡画像が入力され、精度の高い深度推定を出力することができる。

【0019】

本発明の他の態様である内視鏡システムは、上述の深度情報取得装置と、内視鏡スコープと、プロセッサとを備える内視鏡システムであって、プロセッサは、内視鏡スコープにより撮影された内視鏡画像を取得する画像取得処理と、内視鏡画像を深度情報取得装置に入力する画像入力処理と、深度情報取得装置に内視鏡画像の深度情報を推定させる推定処理と、を行う。

【0020】

本態様によれば、実際に撮影された内視鏡画像が入力され、精度の高い深度推定を出力することができる。

【0021】

好ましくは、第１の学習データセットの内視鏡画像を取得した第１の内視鏡スコープと少なくとも対物レンズが異なる第２の内視鏡スコープに対応する補正テーブルを備え、プロセッサは、第２の内視鏡スコープにより内視鏡画像を取得する場合には、推定処理で取得された深度情報を、補正テーブルを使用して補正する補正処理を行う。

【0022】

本態様によれば、深度情報取得装置を学習させた際の学習データ（内視鏡画像）を取得した内視鏡スコープと異なる内視鏡スコープで撮影された内視鏡画像が入力された場合であっても、精度の高い深度情報を取得することができる。

【0023】

本発明の他の態様である学習方法は、プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置を用いた学習方法であって、プロセッサにより行われる、内視鏡システムで体腔を撮影した内視鏡画像を取得する内視鏡画像取得工程と、内視鏡画像の少なくとも１点の測定点に対応する実測された第１の深度情報を取得する実測情報取得工程と、内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得工程と、模倣画像の一つ以上の領域の深度情報を含む第２の深度情報を取得する模倣深度取得工程と、内視鏡画像と第１の深度情報とで構成される第１の学習データセット、及び模倣画像と第２の深度情報とで構成される第２の学習データセットを用いて、学習モデルに学習を行わせる学習工程と、を含む。

【0024】

本発明の他の態様であるプログラムは、プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置に学習方法を実行させるプログラムであって、プロセッサに、内視鏡システムで体腔を撮影した内視鏡画像を取得する内視鏡画像取得工程と、内視鏡画像の少なくとも１点の測定点に対応する実測された第１の深度情報を取得する実測情報取得工程と、内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得工程と、模倣画像の一つ以上の領域の深度情報を含む第２の深度情報を取得する模倣深度取得工程と、内視鏡画像と第１の深度情報とで構成される第１の学習データセット、及び模倣画像と第２の深度情報とで構成される第２の学習データセットを用いて、学習モデルに学習を行わせる学習工程と、を実行させる。

【発明の効果】

【0025】

本発明によれば、内視鏡画像と第１の深度情報とで構成される第１の学習データセット、及び模倣画像と第２の深度情報とで構成される第２の学習データセットを用いて、学習モデルに学習を行わせる。これにより、学習モデルに学習を行わせるための学習データセットを効率的に取得することができ、且つ実際に撮影された内視鏡画像に対して精度の高い深度推定を実現することができる。

【図面の簡単な説明】

【0026】

【図1】図１は、本実施形態の学習装置の構成の一例を示すブロック図である。

【図2】図２は、プロセッサが学習装置で実現する主な機能を示すブロック図である。

【図3】図３は、学習方法の各工程を示すフロー図である。

【図4】図４は、第１の学習データセットを取得することができる内視鏡システムの全体構成の一例を示す概略図である。

【図5】図５は、内視鏡画像及び第１の深度情報の一例を説明する図である。

【図6】図６は、光測距器での測定点Ｌの深度情報の取得を説明する図である。

【図7】図７は、模倣画像の一例を示す図である。

【図8】図８は、模倣画像に対応する第２の深度情報を説明する図である。

【図9】図９は、人間の大腸の模型を概念的に示す図である。

【図10】図１０は、学習モデル及び学習部の主要な機能を示す機能ブロック図である。

【図11】図１１は、第１の学習データセットを利用して学習を行った場合の学習部の処理に関して説明する図である。

【図12】図１２は、本例の学習部及び学習モデルの主要な機能を示す機能ブロック図である。

【図13】図１３は、深度情報取得装置を搭載する画像処理装置の実施形態を示すブロック図である。

【図14】図１４は、補正テーブルの具体例を示す図である。

【発明を実施するための形態】

【0027】

以下、添付図面にしたがって本発明に係る学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラムの好ましい実施の形態について説明する。

【0028】

＜第１の実施形態＞
本発明の第１の実施形態は学習装置である。

【0029】

図１は、本実施形態の学習装置の構成の一例を示すブロック図である。

【0030】

学習装置１０は、パーソナルコンピュータ又はワークステーションによって構成される。学習装置１０は、通信部１２、第１の学習データセットデータベース（図では第１の学習データセットＤＢと記載）１４、第２の学習データセットデータベース（図では第２の学習データセットＤＢと記載）１６、学習モデル１８、操作部２０、プロセッサ２２、ＲＡＭ（Random Access Memory）２４、ＲＯＭ（Read Only Memory）２６、及び表示部２８から構成される。各部は、バス３０を介して接続されている。なお、本例ではバス３０に接続されている例を説明したが、学習装置１０の例はこれに限定されるものではない。例えば、学習装置１０の一部又は全部は、ネットワークを介して接続されていてもよい。ここでネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の各種通信網を含む。

【0031】

通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。

【0032】

第１の学習データセットデータベース１４は、内視鏡画像とそれに対応する第１の深度情報を記憶する。ここで内視鏡画像とは、実際に検査対象である体腔を内視鏡システム１０９の内視鏡スコープ１１０（図４を参照）で撮影した画像である。また、第１の深度情報とは、内視鏡画像の少なくとも１点の測定点に対応する実測された深度情報である。第１の深度情報は、例えば内視鏡スコープ１１０の光測距器１２４で取得される。内視鏡画像と第１の深度情報とにより、第１の学習データセットが構成される。第１の学習データセットデータベース１４は、複数の第１の学習データセットを記憶する。

【0033】

第２の学習データセットデータベース１６は、模倣画像とそれに対応する第２の深度情報を記憶する。ここで模倣画像とは、内視鏡システム１０９で検査対象である体腔を撮影した内視鏡画像を模倣した画像である。また、第２の深度情報とは、模倣画像の一つ以上の領域の深度情報である。第２の深度情報は、第１の深度情報の測定点より広い一つ以上の領域の深度情報であることが好ましい。例えば、第２の深度情報を有する全領域は、模倣画像の５０％以上、又は模倣画像の８０％以上の領域を占めることが好ましい。また更に、第２の深度情報を有する全領域は、模倣画像の画像全体であることがより好ましい。なお、以下の説明では模倣画像の画像全体において第２の深度情報を有する場合について説明する。模倣画像と第２の深度情報とにより、第２の学習データセットが構成される。第２の学習データセットデータベース１６は、複数の第２の学習データセットを記憶する。なお、第１の学習データセット及び第２の学習データセットに関しては、後で詳しく説明を行う。

【0034】

学習モデル１８は、１つ又は複数のＣＮＮ（Convolutional Neural Network）で構成される。学習モデル１８は、内視鏡画像が入力され、入力された内視鏡画像の画像全体の深度情報を出力するように機械学習が行われる。ここで深度情報とは、内視鏡画像に写った被写体とカメラ（撮像素子１２８（図４））との距離に関する情報のことである。学習装置１０に搭載される学習モデル１８は未学習のものであり、学習装置１０は学習モデル１８に内視鏡画像の深度情報の推定を行わせる機械学習を行わせる。学習モデル１８の構造は、様々な公知のモデルが用いられ、例えばＵ－Ｎｅｔが用いられる。

【0035】

操作部２０は、学習装置１０に対する各種の操作入力を受け付ける入力インターフェースである。操作部２０は、コンピュータに有線接続又は無線接続されるキーボード又はマウス等が用いられる。

【0036】

プロセッサ２２は、１つ又は複数のＣＰＵ（Central Processing Unit）で構成される。ＲＯＭ２６又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ２４は、プロセッサ２２の作業領域として使用される。また、ＲＡＭ２４は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。学習装置１０は、プロセッサ２２をＧＰＵ（Graphics Processing Unit）により構成してもよい。

【0037】

ＲＯＭ２６はコンピュータのブートプログラムやＢＩＯＳ（Basic Input/Output System）等のプログラム、データ等を恒久的に保持している。また、ＲＡＭ２４は、ＲＯＭ２６、別体で接続される記憶装置等からロードしたプログラム、データ等を一時的に保持するとともに、プロセッサ２２が各種処理を行うために使用するワークエリアを備える。

【0038】

表示部２８は、学習装置１０の必要な情報が表示される出力インターフェースである。表示部２８は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。

【0039】

ここでは、学習装置１０を単一のパーソナルコンピュータ又はワークステーションによって構成する例を説明したが、複数のパーソナルコンピュータによって学習装置１０を構成してもよい。

【0040】

図２は、プロセッサ２２が学習装置１０で実現する主な機能を示すブロック図である。

【0041】

プロセッサ２２は、主に内視鏡画像取得部２２Ａ、実測情報取得部２２Ｂ、模倣画像取得部２２Ｃ、模倣深度取得部２２Ｄ、及び学習部２２Ｅで構成される。

【0042】

内視鏡画像取得部２２Ａは内視鏡画像取得処理を行う。内視鏡画像取得部２２Ａは、第１の学習データセットデータベース１４に記憶されている内視鏡画像を取得する。

【0043】

実測情報取得部２２Ｂは実測情報取得処理を行う。実測情報取得部２２Ｂは、第１の学習データセットデータベース１４に記憶されている内視鏡画像の少なくとも１点の測定点に対応する実測された第１の深度情報を取得する。

【0044】

模倣画像取得部２２Ｃは模倣画像取得処理を行う。模倣画像取得部２２Ｃは、第２の学習データセットデータベース１６に記憶されている模倣画像を取得する。

【0045】

模倣深度取得部２２Ｄは模倣深度取得処理を行う。模倣深度取得部２２Ｄは、第２の学習データセットデータベース１６に記憶されている第２の深度情報を取得する。

【0046】

学習部２２Ｅは、学習モデル１８への学習処理を行う。学習部２２Ｅは、第１の学習データセット及び第２の学習データセットを用いて、学習モデル１８に学習を行わせる。具体的には、学習部２２Ｅは、第１の学習データセットにより学習を行った場合の損失、及び第２の学習データセットにより学習を行った場合の損失に基づいて、学習モデル１８のパラメータを最適化する。

【0047】

次に、学習装置１０を使用した学習方法（学習方法の各工程は、学習装置１０のプロセッサ２２がプログラムを実行することにより行われる）に関して説明する。

【0048】

図３は、学習方法の各工程を示すフロー図である。

【0049】

先ず、内視鏡画像取得部２２Ａは、第１の学習データセットデータベース１４から内視鏡画像を取得する（ステップＳ１０１：内視鏡画像取得工程）。次に、実測情報取得部２２Ｂは、第１の学習データセットデータベース１４から第１の深度情報を取得する（ステップＳ１０２：実測情報取得工程）。その後、模倣画像取得部２２Ｃは、第２の学習データセットデータベース１６から模倣画像を取得する（ステップＳ１０３：模倣画像取得工程）。そして、模倣深度取得部２２Ｄは、第２の学習データセットデータベース１６から第２の深度情報を取得する（ステップＳ１０４：模倣深度取得工程）。その後、学習部２２Ｅは、第１の学習データセット及び第２の学習データセットを用いて学習モデル１８に学習を行わせる（ステップＳ１０５：学習工程）。

【0050】

次に、第１の学習データセット及び第２の学習データセットに関して詳細に説明を行う。

【0051】

＜第１の学習データセット＞
第１の学習データセットは、内視鏡画像及び第１の深度情報で構成される。

【0052】

図４は、第１の学習データセット（内視鏡画像及び第１の深度情報）を取得することができる内視鏡システムの全体構成の一例を示す概略図である。

【0053】

図４に示すように、内視鏡システム１０９は、電子内視鏡である内視鏡スコープ１１０と、光源装置１１１と、内視鏡プロセッサ装置１１２と、表示装置１１３と、を備える。また、内視鏡システム１０９には、学習装置１０が接続されており、内視鏡スコープ１１０で撮影した内視鏡画像（動画３８及び静止画３９）を送信する。

【0054】

内視鏡スコープ１１０は、被写体像を含む時系列の内視鏡画像を撮影するものであり、例えば、下部又は上部消化管用スコープである。この内視鏡スコープ１１０は、被検体（例えば大腸）内に挿入され且つ先端と基端とを有する挿入部１２０と、挿入部１２０の基端側に連設され且つ術者である医師が把持して各種操作を行う手元操作部１２１と、手元操作部１２１に連設されたユニバーサルコード１２２と、を有する。

【0055】

挿入部１２０は、全体が細径で長尺状に形成されている。挿入部１２０は、その基端側から先端側に向けて順に可撓性を有する軟性部１２５と、手元操作部１２１の操作により湾曲可能な湾曲部１２６と、不図示の撮像光学系（対物レンズ）、撮像素子１２８、及び光測距器１２４が設けられる先端部１２７と、が連設されて構成される。

【0056】

撮像素子１２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子１２８の撮像面には、先端部１２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子１２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。すなわち、撮像素子１２８により内視鏡画像が順次撮影される。

【0057】

光測距器１２４は第１の深度情報を取得する。具体的には、光測距器１２４は、内視鏡画像に写っている被写体の深度を光学的に測定する。例えば光測距器１２４は、ＬＡＳＥＲ（Light Amplification by Stimulated Emission of Radiation）測距器や、ＬｉＤＡＲ（light detection and ranging）測距器で構成される。光測距器１２４は、撮像素子１２８で取得される内視鏡画像の測定点に対応する実測された第１の深度情報を取得する。測定点の数は、少なくとも１点であり、より好ましくは２点又は３点の複数点であることが好ましい。また、測定点は、１０点以下であることが好ましい。また、撮像素子１２８による内視鏡画像の撮影と光測距器１２４の深度情報の取得とは同時に行われてもよいし、内視鏡画像の撮影の前後において深度情報の取得が行われもよい。

【0058】

手元操作部１２１には、医師（ユーザ）によって操作される各種操作部材が設けられている。具体的に、手元操作部１２１には、湾曲部１２６の湾曲操作に用いられる２種類の湾曲操作ノブ１２９と、送気送水操作用の送気送水ボタン１３０と、吸引操作用の吸引ボタン１３１と、が設けられている。また、手元操作部１２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部１３２と、挿入部１２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口１３３と、が設けられている。

【0059】

ユニバーサルコード１２２は、内視鏡スコープ１１０を光源装置１１１に接続するための接続コードである。このユニバーサルコード１２２は、挿入部１２０内を挿通しているライトガイド１３５、信号ケーブル１３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード１２２の端部には、光源装置１１１に接続されるコネクタ１３７ａと、このコネクタ１３７ａから分岐され且つ内視鏡プロセッサ装置１１２に接続されるコネクタ１３７ｂと、が設けられている。

【0060】

コネクタ１３７ａを光源装置１１１に接続することで、ライトガイド１３５及び流体チューブ（不図示）が光源装置１１１に挿入される。これにより、ライトガイド１３５及び流体チューブ（不図示）を介して、光源装置１１１から内視鏡スコープ１１０に対して必要な照明光と水と気体とが供給される。その結果、先端部１２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン１３０の押下操作に応じて、先端部１２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。

【0061】

コネクタ１３７ｂを内視鏡プロセッサ装置１１２に接続することで、信号ケーブル１３６と内視鏡プロセッサ装置１１２とが電気的に接続される。これにより、信号ケーブル１３６を介して、内視鏡スコープ１１０の撮像素子１２８から内視鏡プロセッサ装置１１２へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置１１２から内視鏡スコープ１１０へ制御信号が出力される。

【0062】

光源装置１１１は、コネクタ１３７ａを介して、内視鏡スコープ１１０のライトガイド１３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。

【0063】

内視鏡プロセッサ装置１１２は、コネクタ１３７ｂ及び信号ケーブル１３６を介して、内視鏡スコープ１１０の動作を制御する。また、内視鏡プロセッサ装置１１２は、コネクタ１３７ｂ及び信号ケーブル１３６を介して内視鏡スコープ１１０の撮像素子１２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａからなる動画３８を生成する。更に、内視鏡プロセッサ装置１１２は、内視鏡スコープ１１０の手元操作部１２１にて静止画撮影指示部１３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮影指示のタイミングに応じた静止画３９を生成する。

【0064】

本説明においては、動画（フレーム画像３８ａ）３８及び静止画３９は、被検体内、即ち体腔を撮影した内視鏡画像とする。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１１２は、生成した動画３８及び静止画３９を、表示装置１１３と学習装置１０とに出力する。

【0065】

なお、内視鏡プロセッサ装置１１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成してもよい。この場合、内視鏡プロセッサ装置１１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red,Green,Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。

【0066】

また、内視鏡プロセッサ装置１１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１１２は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した内視鏡画像である。

【0067】

表示装置１１３は、内視鏡プロセッサ装置１１２に接続されており、この内視鏡プロセッサ装置１１２から入力された動画３８及び静止画３９を表示する表示部として機能する。医師は、表示装置１１３に表示される動画３８を確認しながら、挿入部１２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部１３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等の処置を行う。

【0068】

図５は、内視鏡画像及び第１の深度情報の一例を説明する図である。

【0069】

内視鏡画像Ｐ１は、上述した内視鏡システム１０９により撮影された画像である。具体的には内視鏡画像Ｐ１は、検査対象である人間の大腸の一部を内視鏡スコープ１１０の先端部１２７に取り付けられた撮像素子１２８で撮影した画像である。内視鏡画像Ｐ１には、大腸が有するひだ２０１が写されており、矢印Ｍ方向に管状に続く大腸の一部が写されている。また、図５には、内視鏡画像Ｐ１の測定点Ｌに対応する第１の深度情報Ｄ１（「○○ｍｍ」）が示されている。第１の深度情報Ｄ１は、このように内視鏡画像Ｐ１上にある測定点Ｌに対応する深度情報である。なお、測定点Ｌの位置は画像の中央など予め設定されてもよいし、ユーザにより適宜に設定されてもよい。

【0070】

図６は、光測距器１２４での測定点Ｌの深度情報の取得を説明する図である。

【0071】

図６では、大腸３００に内視鏡スコープ１１０が挿入され、内視鏡画像Ｐ１が撮影される様子が示されている。内視鏡スコープ１１０は、画角Ｈの範囲で大腸３００を撮影することにより内視鏡画像Ｐ１を取得する。また、内視鏡スコープ１１０の先端部１２７に備えられる光測距器１２４により測定点Ｌまでの距離（深度情報）が取得される。

【0072】

以上で説明したように、光測距器１２４を備える内視鏡システム１０９により、第１の学習データセットを構成する内視鏡画像Ｐ１及び第１の深度情報Ｄ１が取得される。このように内視鏡画像Ｐ１と測定点Ｌの深度情報とで構成されるので、内視鏡画像Ｐ１の画像全体の深度情報を取得する場合に比べて、第１の学習データセットは容易に取得を行うことができる。なお、上述した説明では、第１の学習データセットが内視鏡システム１０９により取得される例について説明をしたが、この例に限定されるものではない。内視鏡画像と内視鏡画像上の少なくとも１点の測定点に対応する実測された第１の深度情報を取得可能であれば他の手法により第１の学習データセットが取得されてもよい。

【0073】

＜第２の学習データセット＞
第２の学習データセットは、模倣画像及び第２の深度情報で構成される。以下の説明では、３次元コンピューターグラフィックスに基づいて、模倣画像及びその模倣画像の画像全体の深度情報（第２の深度情報）が取得される例について説明する。

【0074】

図７は、模倣画像の一例を示す図である。図７（Ａ）は人間の大腸を模した疑似的な３次元コンピューターグラフィックス４００が示されており、図７（Ｂ）は、３次元コンピューターグラフィックス４００に基づいて得られる模倣画像Ｐ２が示されている。

【0075】

３次元コンピューターグラフィックス４００は、コンピューターグラフィックスの技術を用いて、人間の大腸を模して生成される。具体的には３次元コンピューターグラフィックス４００は、人間の大腸の一般的な（代表的な）大腸の色、形状、大きさ（３次元情報）を有している。したがって、３次元コンピューターグラフィックス４００に基づいて、仮想の内視鏡スコープ４０２により撮影したことをシミュレートして模倣画像Ｐ２を生成することができる。模倣画像Ｐ２は、３次元コンピューターグラフィックス４００に基づいて、人間の大腸を内視鏡システム１０９で撮影したような、配色、形状が写されている。また、以下で説明するように、３次元コンピューターグラフィックス４００に基づいて、仮想の内視鏡スコープ４０２の位置が特定されることにより、模倣画像Ｐ２の画像全体の深度情報（第２の深度情報）を生成することができる。尚、３次元コンピューターグラフィックス４００は複数の異なる撮像装置で取得されたデータを用いて生成することができる。例えば３次元コンピューターグラフィックス４００は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）で取得された画像から生成された大腸の３次元形状モデルから大腸の形状、大きさを決定し、内視鏡で撮影された画像から大腸の色を決定してもよい。

【0076】

図８は、模倣画像Ｐ２に対応する第２の深度情報を説明する図である。図８（Ａ）は図７で説明した模倣画像Ｐ２が示されており、図８（Ｂ）は模倣画像Ｐ２に対応する第２の深度情報Ｄ２が示されている。

【0077】

３次元コンピューターグラフィックス４００は３次元情報を有しているので、仮想の内視鏡スコープ４０２の位置が特定されることにより、模倣画像Ｐ２の画像全体の深度情報（第２の深度情報Ｄ２）を取得することができる。

【0078】

第２の深度情報Ｄ２は、模倣画像Ｐ２に対応して画像全体の深度情報である。第２の深度情報Ｄ２は、深度情報に応じて各領域（Ｉ）～（ＶＩＩ）に区別され、各領域はそれぞれ異なる深度情報を有する。なお、第２の深度情報Ｄ２は、対応する模倣画像Ｐ２の画像の全体に関する深度情報を有していればよく、領域（Ｉ）～（ＶＩＩ）に区別されることは限定されない。例えば、第２の深度情報Ｄ２は、画素毎に深度情報を有していてもよいし、複数の画素毎に深度情報を有していてもよい。

【0079】

以上で説明したように、３次元コンピューターグラフィックス４００に基づいて、第２の学習データセットを構成する模倣画像Ｐ２及び第２の深度情報Ｄ２が生成される。したがって、第２の深度情報Ｄ２は、実際の内視鏡画像の画像全体の深度情報を取得する場合に比べて、比較的容易に生成される。

【0080】

なお、上述した例では３次元コンピューターグラフィックス４００に基づいて、模倣画像Ｐ２及び第２の深度情報が生成される場合について説明したが、模倣画像Ｐ２及び第２の深度情報の生成はこの例に限定されない。以下に、第２の学習データセットの生成の他の例に関して説明する。

【0081】

例えば、３次元コンピューターグラフィックス４００の代わりに、人の大腸を模した模型（ファントム）を作成し、その模型を内視鏡システム１０９で撮影することにより模倣画像Ｐ２を取得してもよい。

【0082】

図９は、人間の大腸の模型を概念的に示す図である。

【0083】

模型５００は、人間の大腸を模して作成された模型である。具体的には、模型５００の内部は人間の大腸のような色、形状等を有している。したがって、内視鏡システム１０９の内視鏡スコープ１１０を模型５００に挿入して、模型５００を撮影することにより、模倣画像Ｐ２を取得することができる。また、模型５００は、人間の大腸の一般的な（代表的な）３次元情報を有している。したがって、内視鏡スコープ１１０の撮像素子１２８の位置Ｇ（ｘ１、ｙ１、ｚ１）を取得することにより、模型５００の３次元情報を利用して、模倣画像Ｐ２の画像全体の深度情報（第２の深度情報）を得ることができる。

【0084】

以上で説明したように、模型５００に基づいて、第２の学習データセットを構成する模倣画像Ｐ２及び第２の深度情報Ｄ２が取得される。したがって、第２の深度情報は、実際の内視鏡画像の画像全体の深度情報を取得する場合に比べて、比較的容易に生成される。

【0085】

＜学習工程＞
次に、学習部２２Ｅで行われる学習工程（ステップＳ１０５）に関して説明する。学習工程では、第１の学習データセット及び第２の学習データセットを用いて学習モデル１８に学習を行わせる。

【0086】

＜＜学習工程の第１の例＞＞
先ず、学習工程の第１の例に関して説明する。本例では、学習モデル１８に、内視鏡画像Ｐ１と模倣画像Ｐ２とをそれぞれ入力し学習（機械学習）が行われる。

【0087】

図１０は、学習モデル１８及び学習部２２Ｅの主要な機能を示す機能ブロック図である。学習部２２Ｅは、損失算出部５４、及びパラメータ更新部５６を備える。また、学習部２２Ｅには、内視鏡画像Ｐ１を入力して行う学習の正解データとして第１の深度情報Ｄ１が入力される。また、学習部２２Ｅには、模倣画像Ｐ２を入力して行う学習の正解データとして第２の深度情報Ｄ２とが入力される。

【0088】

学習モデル１８は、学習が進むと、内視鏡画像から画像全体の深度情報を出力する深度情報取得装置となる。学習モデル１８は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。学習モデル１８は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化する。

【0089】

この学習モデル１８は、入力層５２Ａ、中間層５２Ｂ、及び出力層５２Ｃを備える。入力層５２Ａ、中間層５２Ｂ、及び出力層５２Ｃは、それぞれ複数の「ノード」が「エッジ」で結ばれる構造となっている。入力層５２Ａには、学習対象である内視鏡画像Ｐ１と模倣画像Ｐ２とがそれぞれ入力される。

【0090】

中間層５２Ｂは、入力層５２Ａから入力した画像から特徴を抽出する層である。中間層５２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有する。畳み込み層は、前の層で近くにあるノードに対してフィルタを使用した畳み込み演算を行い、特徴マップを取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。全結合層は、直前の層（ここではプーリング層）のノードの全てを結合する。畳み込み層は、画像からのエッジ抽出等の特徴抽出の役割を担い、プーリング層は抽出された特徴が、平行移動等による影響を受けないようにロバスト性を与える役割を担う。なお、中間層５２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合、及び正規化層も含まれる。

【0091】

出力層５２Ｃは、中間層５２Ｂにより抽出された特徴に基づいて内視鏡画像の画像全体の深度情報を出力する層である。

【0092】

学習済みの学習モデル１８は、内視鏡画像の画像全体の深度情報を出力する。

【0093】

学習前の学習モデル１８の各畳み込み層に適用されるフィルタの係数、オフセット値、及び全結合層における次の層との接続の重みは、任意の初期値がセットされる。

【0094】

損失算出部５４は、学習モデル１８の出力層５２Ｃから出力される深度情報と、入力画像に対する正解データ（第１の深度情報Ｄ１又は第２の深度情報Ｄ２）とを取得し、両者間の損失を算出する。損失の算出方法は、例えばソフトマックスクロスエントロピー、又は最小二乗誤差（MSE:Mean Squared Error）等が考えられる。

【0095】

パラメータ更新部５６は、損失算出部５４により算出された損失を元に、損失逆伝播法により学習モデル１８の重みパラメータを調整する。パラメータ更新部５６は、第１の学習データセットを用いた学習処理時の第１の損失重みと、第２の学習データセットを用いた学習処理時の第２の損失重みとを設定することができる。例えば、パラメータ更新部５６は、第１の損失重みと第２の損失重みとを同じにしてもよいし、異ならせてもよい。第１の損失重みと第２の損失重みとを異ならせる場合には、パラメータ更新部５６は、第１の損失重みを第２の損失重みよりも大きくする。これにより、実際に撮影された内視鏡画像Ｐ１を使用しての学習結果をより反映させることができる。

【0096】

このパラメータの調整処理を繰り返し行い、学習モデル１８が出力した深度情報と正解データ（第１の深度情報及び第２の深度情報）との差が小さくなるまで繰り返し学習を行う。

【0097】

ここで、学習モデル１８は、入力された内視鏡画像の画像全体の深度情報を出力するように学習が行われる。一方で、第１の学習データセットの正解データである第１の深度情報Ｄ１は、測定点Ｌの深度情報しか有さない。したがって、第１の学習データセットでの学習の場合には、損失算出部５４は、測定点Ｌでの深度情報以外は学習に使用しない（ドントケア（Don't care)処理とする）。

【0098】

図１１は、第１の学習データセットを利用して学習を行った場合の学習部２２Ｅの処理に関して説明する図である。

【0099】

学習モデル１８は、内視鏡画像Ｐ１が入力されると推定した深度情報Ｖ１を出力する。推定した深度情報Ｖ１は、内視鏡画像Ｐ１の画像全体における深度情報である。ここで、内視鏡画像Ｐ１の正解データである第１の深度情報は、測定点Ｌに対応する箇所の深度情報しか有さない。したがって、第１の学習データセットを用いて学習を行う場合には、損失算出部５４は、測定点Ｌに対応する箇所の深度情報ＬＶ以外の深度情報は学習に使用しない。すなわち、測定点Ｌに対応する箇所の深度情報ＬＶ以外の深度情報は損失算出部５４での損失の算出に影響を及ぼさないようにする。このように、測定点Ｌに対応する箇所の深度情報ＬＶだけを学習に使用して学習を行うことにより、画像全体の深度情報（正解データ）が無い場合であっても、学習モデル１８の学習を効率的に進めることができる。

【0100】

学習部２２Ｅは、第１の学習データセット及び第２の学習データセットを使用して、学習モデル１８の各パラメータを最適化する。学習部２２Ｅの学習は、一定の数の第１の学習データセット及び第２の学習データセットを抽出し、抽出した第１の学習データセット及び第２の学習データセットによって学習のバッチ処理を行い、これを繰り返すミニバッチ法を用いてもよい。

【0101】

以上で説明したように、本例では、一つの学習モデル１８に対して、内視鏡画像Ｐ１と模倣画像Ｐ２とをそれぞれ入力し機械学習が進められる。

【0102】

＜＜学習工程の第２の例＞＞
次に、学習工程の第２の例に関して説明する。本例では、学習モデル１８の後段においてクラシフィケーション（Classification）を行うタスクと、セグメンテーション（Segmentation）を行うタスクとに分岐させてマルチタスクを行う学習モデル１８を用いる。

【0103】

図１２は、本例の学習部２２Ｅ及び学習モデル１８の主要な機能を示す機能ブロック図である。なお、図１０で既に説明を行った箇所は同じ符号を付し説明は省略する。

【0104】

学習モデル１８では、ＣＮＮ（１）６１、ＣＮＮ（２）６５、ＣＮＮ（３）６７で構成されている。なお、ＣＮＮ（１）６１、ＣＮＮ（２）６５、及びＣＮＮ（３）６７の各々は、ＣＮＮ（Convolutional Neural Network）で構成されている。

【0105】

ＣＮＮ（１）６１には、内視鏡画像Ｐ１及び模倣画像Ｐ２が入力される。ＣＮＮ（１）６１は、入力された内視鏡画像Ｐ１及び模倣画像Ｐ２の各々に関しての特徴マップを出力する。

【0106】

ＣＮＮ（１）６１に内視鏡画像Ｐ１が入力された場合には、特徴マップはＣＮＮ（２）６３に入力される。ＣＮＮ（２）６３は、クラシフィケーション（Classification）の学習を行うモデルである。そして、ＣＮＮ（２）６３は、出力結果を損失算出部５４に入力する。損失算出部５４は、ＣＮＮ（２）６３の出力結果と第１の深度情報Ｄ１との損失を算出する。その後、パラメータ更新部５６は、損失算出部５４で算出結果に基づいて学習モデル１８のパラメータを更新する。

【0107】

一方、ＣＮＮ（１）６１に模倣画像Ｐ２が入力された場合には、特徴マップはＣＮＮ（３）６５に入力される。ＣＮＮ（３）６５は、セグメンテーション（Segmentation）の学習を行うモデルである。そして、ＣＮＮ（３）６５は、出力結果を損失算出部５４に入力する。損失算出部５４は、ＣＮＮ（３）６５の出力結果と第２の深度情報Ｄ２との損失を算出する。その後、パラメータ更新部５６は、損失算出部５４で算出結果に基づいて学習モデル１８のパラメータを更新する。

【0108】

以上で説明したように、後段において、クラシフィケーションとセグメンテーションとにタスクが分岐した学習モデル１８を使用して、内視鏡画像Ｐ１を使用した学習と模倣画像Ｐ２を使用した学習とをそれぞれ異なるタスクで学習を行う。これにより、第１の学習データセットと第２の学習データセットを使用して効率的な学習を行うことができる。

【0109】

＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。本実施形態は、学習装置１０で学習が行われた学習モデル１８（学習済みモデル）で構成される深度情報取得装置である。本実施形態の深度情報取得装置によれば、精度の良い深度情報をユーザに提供することができる。

【0110】

図１３は、深度情報取得装置を搭載する画像処理装置の実施形態を示すブロック図である。なお、図１で既に説明を行った箇所は同じ符号を付し説明は省略する。

【0111】

画像処理装置２０２は、図４で説明した内視鏡システム１０９に搭載される。具体的には、画像処理装置２０２は、内視鏡システム１０９に接続される学習装置１０に代わって接続される。したがって、画像処理装置２０２には、内視鏡システム１０９で撮影された動画３８及び静止画３９が入力される。

【0112】

画像処理装置２０２は、画像取得部２０４、プロセッサ２０６、深度情報取得装置２０８、補正部２１０、ＲＡＭ２４、及びＲＯＭ２６から構成される。

【0113】

画像取得部２０４は、内視鏡スコープ１１０により撮影された内視鏡画像を取得する（画像取得処理）。具体的には画像取得部２０４は、上述したように動画３８又は静止画３９を取得する。

【0114】

プロセッサ（Central Processing Unit）２０６は、画像処理装置２０２の各処理を行う。例えば、プロセッサ２０６は、画像取得部２０４に内視鏡画像（動画３８又は静止画３９）を取得させる（画像取得処理）。また、プロセッサ２０６は、取得した内視鏡画像を深度情報取得装置２０８に入力する（画像入力処理）。またプロセッサ２０６は、深度情報取得装置２０８に入力された内視鏡画像の深度情報を推定させる（推定処理）。プロセッサ２０６は、１つ又は複数のＣＰＵで構成される。

【0115】

深度情報取得装置２０８は、上述したように第１の学習データセット及び第２の学習データセットにより学習モデル１８に学習を行わせた学習済みモデルにより構成される。深度情報取得装置２０８は、内視鏡スコープ１１０で取得された内視鏡画像（動画３８、静止画３９）が入力され、入力された内視鏡画像の深度情報が出力される。深度情報取得装置２０８で取得される深度情報は、入力された内視鏡の画像全体の深度情報である。

【0116】

補正部２１０は、深度情報取得装置２０８で推定された深度情報の補正を行う（補正処理）。学習モデル１８の学習時に使用された内視鏡画像を取得した内視鏡スコープ（第１の内視鏡スコープ）１０９と異なる内視鏡スコープ（第２の内視鏡スコープ）で取得された内視鏡画像が深度情報取得装置２０８に入力される場合には、深度情報を補正することにより、より精度の高い深度情報を取得することができる。内視鏡スコープの違いにより同じ被写体を撮影した場合であっても内視鏡画像が異なるので、内視鏡スコープに応じて出力される深度情報を補正することが好ましい。ここで、内視鏡スコープが異なるとは、少なくとも対物レンズが異なることをいい、前述したように同じ被写体を撮影した場合であっても異なる内視鏡画像が取得される場合である。

【0117】

補正部２１０は、例えば予め記憶されている補正テーブルを使用して深度情報取得装置２０８から出力される深度情報を補正する。なお、補正テーブルについては後で説明を行う。

【0118】

表示部２８は、画像取得部２０４が取得した内視鏡画像（動画３８及び静止画３９）を表示する。また、表示部２８は、深度情報取得装置２０８が取得した深度情報又は補正部２１０で補正された深度情報を表示する。このように、深度情報又は補正された深度情報を表示部２８に表示することにより、ユーザは表示された内視鏡画像に対応する深度情報を認識することができる。

【0119】

図１４は、補正テーブルの具体例を示す図である。なお補正テーブルは、予めそれぞれの内視鏡スコープで得られる内視鏡画像を深度情報取得装置２０８に入力して、深度情報を取得して比較することにより得ることができる。

【0120】

補正テーブルでは、内視鏡スコープの型番に応じて補正値が変更される。具体的には、Ａ型の内視鏡スコープを使用して内視鏡画像を取得し、その内視鏡画像に基づいて深度情報が推定された場合には、推定された深度情報に補正値（×０．７）を適用して補正された深度情報が取得される。また、Ｂ型の内視鏡スコープを使用して内視鏡画像を取得し、その内視鏡画像に基づいて深度情報が推定された場合には、推定された深度情報に補正値（×０．９）を適用して補正された深度情報が取得される。また、Ｃ型の内視鏡スコープを使用して内視鏡画像を取得し、その内視鏡画像に基づいて深度情報が推定された場合には、推定された深度情報に補正値（×１．２）を適用して補正された深度情報が取得される。このように、内視鏡スコープに応じて補正値を有する補正テーブルによって、深度情報を補正することにより、種々の内視鏡スコープで取得した内視鏡画像によっても精度の高い深度情報を取得することができる。

【0121】

以上で説明したように、本実施形態の深度情報取得装置２０８は、学習装置１０で学習が行われた学習モデル１８（学習済みモデル）で構成されるので、精度の良い深度情報をユーザに提供することができる。

【0122】

＜その他＞
＜＜その他１＞＞
上述した説明では、画像処理装置２０２が補正部２１０を有する実施形態を説明した。しかしながら、学習時に学習モデル１８に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置２０８に入力される内視鏡画像を撮影した内視鏡スコープとが同じ場合には、画像処理装置２０２は補正部２１０を有さなくてもよい。また、学習時に学習モデル１８に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置２０８に入力される内視鏡画像を撮影した内視鏡スコープとが異なる場合であっても、推定された深度情報の精度が許容範囲内であれば、画像処理装置２０２は補正部２１０を有さなくてもよい。

【0123】

＜＜その他２＞＞
上述した説明では、深度情報取得装置２０８で推定された深度情報を補正部２１０により補正が行われる場合に関して説明した。しかしながら、学習時に学習モデル１８に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置２０８に入力される内視鏡画像を撮影した内視鏡スコープとが異なる場合に、他の手法によって補正を行ってもよい。例えば、深度情報取得装置２０８に入力される内視鏡画像を、学習モデル１８に入力される内視鏡画像に変換してもよい。例えば、pix2pixのような画像変換技術を用いて予め変換を行う。そして、その変換された内視鏡画像を入力して深度情報取得装置２０８に深度情報の推定を行わせてもよい。これにより、学習時に使用した内視鏡画像を撮影した内視鏡スコープと、学習後に深度推定を行う時に使用した内視鏡画像を撮影した内視鏡スコープが異なる場合であっても、正確な深度情報の推定を行うことができる。

【0124】

＜＜その他３＞＞
上述した説明では、深度情報取得装置２０８に内視鏡画像のみが入力されて深度情報が推定される場合について説明した。しかしながら、深度情報取得装置２０８に他の情報を入力して、内視鏡画像の深度情報を推定させてもよい。例えば、上述した内視鏡スコープ１１０のように光測距器１２４を備える場合には、深度情報取得装置２０８に内視鏡画像と共に光測距器１２４で取得した深度情報も合わせて入力してもよい。なお、この場合には学習モデル１８は、内視鏡画像と光測距器１２４の深度情報とにより深度情報を推定する学習が行われている。

【0125】

＜＜その他４＞＞
上記実施形態において、各種の処理を実行する処理部（processing unit）（例えば、内視鏡画像取得部２２Ａ、実測情報取得部２２Ｂ、模倣画像取得部２２Ｃ、模倣深度取得部２２Ｄ、学習部２２Ｅ、画像取得部２０４、深度情報取得装置２０８、補正部２１０）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0126】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0127】

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0128】

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

【0129】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0130】

１０ ：学習装置
１２ ：通信部
１４ ：第１の学習データセットデータベース
１６ ：第２の学習データセットデータベース
１８ ：学習モデル
２０ ：操作部
２２ ：プロセッサ
２２Ａ ：内視鏡画像取得部
２２Ｂ ：実測情報取得部
２２Ｃ ：模倣画像取得部
２２Ｄ ：模倣深度取得部
２２Ｅ ：学習部
２４ ：ＲＡＭ
２６ ：ＲＯＭ
２８ ：表示部
３０ ：バス
１０９ ：内視鏡システム
１１０ ：内視鏡スコープ
１１１ ：光源装置
１１２ ：内視鏡プロセッサ装置
１１３ ：表示装置
１２０ ：挿入部
１２１ ：手元操作部
１２２ ：ユニバーサルコード
１２４ ：光測距器
１２８ ：撮像素子
１２９ ：湾曲操作ノブ
１３０ ：送気送水ボタン
１３１ ：吸引ボタン
１３２ ：静止画撮影指示部
１３３ ：処置具導入口
１３５ ：ライトガイド
１３６ ：信号ケーブル
２０２ ：画像処理装置
２０４ ：画像取得部
２０６ ：プロセッサ
２０８ ：深度情報取得装置
２１０ ：補正部
２１２ ：表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】