特許 7600364 データ処理方法、データ処理装置、三次元観察装置、学習方法、学習装置及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-06

(45)【発行日】2024-12-16

(54)【発明の名称】データ処理方法、データ処理装置、三次元観察装置、学習方法、学習装置及び記録媒体

(51)【国際特許分類】

   G01N 21/41 20060101AFI20241209BHJP

   G01N 21/59 20060101ALI20241209BHJP

   G02B 21/36 20060101ALI20241209BHJP

【ＦＩ】

G01N21/41 Z

G01N21/59 Z

G02B21/36

【請求項の数】 19

(21)【出願番号】P 2023506581

(86)(22)【出願日】2021-03-17

(86)【国際出願番号】 JP2021010772

(87)【国際公開番号】W WO2022195754

(87)【国際公開日】2022-09-22

【審査請求日】2023-09-01

(73)【特許権者】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】100123962

【弁理士】

【氏名又は名称】斎藤 圭介

(72)【発明者】

【氏名】岡村 俊朗

(72)【発明者】

【氏名】渡部 智史

【審査官】齋藤 卓司

(56)【参考文献】

【文献】国際公開第２０１６／０１７５３３（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０７９５８４７５（ＣＮ，Ａ）

【文献】韓国公開特許第２０１７－０１４０４７３（ＫＲ，Ａ）

【文献】米国特許出願公開第２０１９／０３３３１９９（ＵＳ，Ａ１）

【文献】QU, Y. et al.，Inverse design of an integrated-nanophotonics optical neural network，Science Bulletin，2020年04月01日，Vol. 65，pp. 1177-1183，doi: 10.1016/j.scib.2020.03.042

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００－２１／０１

Ｇ０１Ｎ ２１／１７－２１／６１

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０１Ｎ ３３／４８－３３／９８

Ｇ０３Ｈ １／００－ ５／００

Ｇ０２Ｂ １９／００－２１／００

Ｇ０２Ｂ ２１／０６－２１／３６

(57)【特許請求の範囲】

【請求項1】

測定データをニューラルネットワークに入力する入力ステップと、
前記測定データから推定データを生成する推定ステップと、
前記推定データから復元データを生成する復元ステップと、
前記測定データと前記復元データに基づいて、前記推定データの信頼度を算出する算出ステップと、を有し、
前記ニューラルネットワークは、学習済みモデルであり、
前記測定データは、物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記推定では、前記ニューラルネットワークを用い、
前記復元では、前記推定データに対して順伝播演算を行い、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とするデータ処理方法。

【請求項2】

測定データをニューラルネットワークに入力する入力ステップと、
前記測定データから推定データを生成する推定ステップと、
前記推定データから復元データを生成する復元ステップと、
前記測定データと前記復元データに基づいて、前記推定データの信頼度を算出する算出ステップと、
前記信頼度に反比例する量を損失として、前記ニューラルネットワークが学習する学習ステップと、を有し、
前記測定データは、物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記推定では、前記ニューラルネットワークを用い、
前記復元では、前記推定データに対して順伝播演算を行い、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とするデータ処理方法。

【請求項3】

前記測定データと前記復元データとの差を算出し、
前記差に基づいて前記信頼度を算出することを特徴とする請求項１又は２に記載のデータ処理方法。

【請求項4】

前記測定データと前記復元データとの相関を算出し、
前記相関に基づいて前記信頼度を算出することを特徴とする請求項１又は２に記載のデータ処理方法。

【請求項5】

前記測定データと前記復元データとの差の二乗和を算出し、
前記差の二乗和の大きさに基づいて前記信頼度を算出することを特徴とする請求項１又は２に記載のデータ処理方法。

【請求項6】

第１ニューラルネットワークと、第２ニューラルネットワークと、を有し、
前記第１ニューラルネットワークは、前記ニューラルネットワークであり、
前記第２ニューラルネットワークは、学習済みモデルであり、
前記第２ニューラルネットワークを用いて、前記信頼度を算出することを特徴とする請求項１又は２に記載のデータ処理方法。

【請求項7】

前記第２ニューラルネットワークは、第１学習データセット群と第２学習データセット群を用いて学習を行い、
前記第１学習データセット群は、複数の第１学習データセットを有し、
前記第１学習データセットは、第１データ、第１補正データ、及び真偽のうち真を示す教師データを含み、
前記第２学習データセット群は、複数の第２学習データセットを有し、
前記第２学習データセットは、前記第１データ、第２補正データ、及び真偽のうち偽を示す教師データを含み、
前記第１補正データは、前記第１データに補正処理を施したデータであり、
前記第２補正データは、第２データに補正処理を施したデータであり、
前記第２データは、前記第１データと異なり、
前記第１データおよび前記第２データは、前記物体を透過した光を測定することで得られたデータ、若しくは、前記物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータであることを特徴とする請求項６に記載のデータ処理方法。

【請求項8】

前記信頼度を提示する提示ステップを、更に備えることを特徴とする請求項１に記載のデータ処理方法。

【請求項9】

メモリと、プロセッサと、を備え、
前記メモリは、測定データを記憶し、
前記プロセッサは、物体の３次元光学特性を推定する推定処理を実行し、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記推定処理は、
前記測定データをニューラルネットワークに入力する入力ステップと、
前記測定データから推定データを生成する推定ステップと、
前記推定データから復元データを生成する復元ステップと、
前記測定データと前記復元データに基づいて、前記推定データの信頼度を算出する算出ステップと、を有し、
前記ニューラルネットワークは、学習済みモデルであり、
前記測定データは、前記物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記推定では、前記ニューラルネットワークを用い、
前記復元では、前記推定データに対して順伝播演算を行い、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とするデータ処理装置。

【請求項10】

メモリと、プロセッサと、を備え、
前記メモリは、測定データを記憶し、
前記プロセッサは、物体の３次元光学特性を推定する推定処理を実行し、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記推定処理は、
前記測定データをニューラルネットワークに入力する入力ステップと、
前記測定データから推定データを生成する推定ステップと、
前記推定データから復元データを生成する復元ステップと、
前記測定データと前記復元データに基づいて、前記推定データの信頼度を算出する算出ステップと、
前記信頼度に反比例する量を損失として、前記ニューラルネットワークが学習する学習ステップと、を有し、
前記測定データは、前記物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記推定では、前記ニューラルネットワークを用い、
前記復元では、前記推定データに対して順伝播演算を行い、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とするデータ処理装置。

【請求項11】

請求項９又は１０に記載のデータ処理装置と、
前記物体を照明する光を出射する光源と、
前記物体を透過した光を受光し、信号を生成するセンサと、を有することを特徴とする三次元観察装置。

【請求項12】

前記物体に照明光を照射する照明系と、
前記照明光を前記物体に導き、前記物体を透過した光を前記センサに導く光学系と、を有することを特徴とする請求項１１に記載の三次元観察装置。

【請求項13】

前記信頼度を提示する提示部を更に備えることを特徴とする請求項１１又は１２に記載の三次元観察装置。

【請求項14】

メモリとプロセッサを備えたコンピュータに推定処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記推定処理では、物体の３次元光学特性を推定し、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記プロセッサに、
前記メモリに記憶した測定データを、ニューラルネットワークに入力する処理と、
前記測定データから推定データを生成する処理と、
前記推定データから復元データを生成する処理と、
前記測定データと前記復元データに基づいて、前記推定データの信頼度を算出する処理と、を実行させ、
前記ニューラルネットワークは、学習済みモデルであり、
前記測定データは、物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記推定では、前記ニューラルネットワークを用い、
前記復元では、前記推定データに対して順伝播演算を行い、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項15】

メモリとプロセッサを備えたコンピュータに推定処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記推定処理では、物体の３次元光学特性を推定し、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記プロセッサに、
前記メモリに記憶した測定データを、ニューラルネットワークに入力する処理と、
前記測定データから推定データを生成する処理と、
前記推定データから復元データを生成する処理と、
前記測定データと前記復元データに基づいて、前記推定データの信頼度を算出する処理と、
前記信頼度に反比例する量を損失として、前記ニューラルネットワークが学習する処理と、を実行させ、
前記測定データは、物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記推定では、前記ニューラルネットワークを用い、
前記復元では、前記推定データに対して順伝播演算を行い、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項16】

推定データの信頼度を算出するニューラルネットワークに対する学習方法であって、
前記推定データの信頼度は、測定データと復元データとに基づいて算出され、
前記測定データは、物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記復元データは、前記推定データに対して順伝播演算を行って生成したデータであり、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順に求め、
第１学習データセットを用いて学習する第１学習ステップと、
第２学習データセットを用いて学習する第２学習ステップと、を有し、
前記第１学習ステップと前記第２学習ステップは、繰り返し実施され、
前記第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、
前記第２学習データセットは、前記第１データ、第２補正データ、真偽のうち偽を示す前記教師データを含み、
前記第１補正データは、前記第１データに補正処理を施したデータであり、
前記第２補正データは、第２データに補正処理を施したデータであり、
前記第２データは、前記第１データと異なり、
前記第１データおよび前記第２データは、前記物体を透過した光を測定することで得られたデータ、若しくは、前記物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータであることを特徴とするニューラルネットワークの学習方法。

【請求項17】

前記第１データに施す補正処理と前記第２データに施す補正処理は、変形処理、回転処理及びノイズ付加処理のうち、少なくとも１つの処理を含むことを特徴とする請求項１６に記載のニューラルネットワークの学習方法。

【請求項18】

メモリと、プロセッサと、を備え、
前記メモリは、測定データを記憶し、
前記プロセッサは、推定データの信頼度を算出するニューラルネットワークに対して学習処理を実行し、
前記推定データの信頼度は、前記測定データと復元データとに基づいて算出され、
前記測定データは、物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記復元データは、前記推定データに対して順伝播演算を行って生成したデータであり、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順に求め、
前記学習処理は、
第１学習データセットを用いて学習する第１学習ステップと、
第２学習データセットを用いて学習する第２学習ステップと、を有し、
前記第１学習ステップと前記第２学習ステップは、繰り返し実施され、
前記第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、
前記第２学習データセットは、前記第１データ、第２補正データ、真偽のうち偽を示す前記教師データを含み、
前記第１補正データは、前記第１データに補正処理を施したデータであり、
前記第２補正データは、第２データに補正処理を施したデータであり、
前記第２データは、前記第１データと異なり、
前記第１データおよび前記第２データは、前記物体を透過した光を測定することで得られたデータ、若しくは、前記物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータであることを特徴とする学習装置。

【請求項19】

メモリとプロセッサを備えたコンピュータにニューラルネットワークに対する学習処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記ニューラルネットワークは、測定データと復元データとに基づいて推定データの信頼度を算出し、
前記測定データは、物体を透過した光を測定することで得られたデータであり、
前記推定データは、前記測定データから推定した前記物体の３次元光学特性のデータであり、
前記３次元光学特性は、屈折率分布又は吸収率分布であり、
前記復元データは、前記推定データに対して順伝播演算を行って生成したデータであり、
前記順伝播演算では、前記測定データから推定した前記物体の内部を通過する波面を、光が進行する方向に順に求め、
第１学習データセットを用いて学習する第１学習ステップと、
第２学習データセットを用いて学習する第２学習ステップと、を有し、
前記第１学習ステップと前記第２学習ステップは、繰り返し実施され、
前記第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、
前記第２学習データセットは、前記第１データ、第２補正データ、真偽のうち偽を示す前記教師データを含み、
前記第１補正データは、前記第１データに補正処理を施したデータであり、
前記第２補正データは、第２データに補正処理を施したデータであり、
前記第２データは、前記第１データと異なり、
前記第１データおよび前記第２データは、前記物体を透過した光を測定することで得られたデータ、若しくは、前記物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータであることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理方法、データ処理装置、三次元観察装置、学習方法、学習装置及び記録媒体に関する。

【背景技術】

【0002】

Deep Neural Networkを用いた顕微鏡が特許文献１に開示されている。この顕微鏡では、高分解能画像と低分解能の画像を用いて、学習が行われている。学習済みのDeep Neural Networkを用いているので、画質が向上した画像を、高速で出力することができる。画質は、例えば、空間分解能、被写界深度、ＳＮ比、コントラストである。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２０１９／０３３３１９９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

Deep Neural Networkでは、場合によっては、推定精度の低い結果を出力してしまう。例えば、物体の３次元光学特性の推定では、推定した３次元光学特性が、実物の３次元光学特性とは大きく異なることがある、そのため、推定結果を信頼して良いのか否か、判断することが困難である。

【0005】

本発明は、このような課題に鑑みてなされたものであって、推定の信頼度が分かる指標を生成するデータ処理方法、データ処理装置、三次元観察装置及び記録媒体、推定の信頼度が分かる指標を生成するための学習方法、学習装置及び記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係るデータ処理方法は、
測定データをニューラルネットワークに入力する入力ステップと、
測定データから推定データを生成する推定ステップと、
推定データから復元データを生成する復元ステップと、
測定データと復元データに基づいて、推定データの信頼度を算出する算出ステップと、を有し、
ニューラルネットワークは、学習済みモデルであり、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
３次元光学特性は、屈折率分布又は吸収率分布であり、
推定では、ニューラルネットワークを用い、
復元では、推定データに対して順伝播演算を行い、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とする。

【0007】

また、本発明の少なくとも幾つかの実施形態に係るデータ処理方法は、
測定データをニューラルネットワークに入力する入力ステップと、
測定データから推定データを生成する推定ステップと、
推定データから復元データを生成する復元ステップと、
測定データと復元データに基づいて、推定データの信頼度を算出する算出ステップと、
信頼度に反比例する量を損失として、ニューラルネットワークが学習する学習ステップと、を有し、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
３次元光学特性は、屈折率分布又は吸収率分布であり、
推定では、ニューラルネットワークを用い、
復元では、推定データに対して順伝播演算を行い、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とする。

【0008】

また、本発明の少なくとも幾つかの実施形態に係るデータ処理装置は、
メモリと、プロセッサと、を備え、
メモリは、測定データを記憶し、
プロセッサは、物体の３次元光学特性を推定する推定処理を実行し、
３次元光学特性は、屈折率分布又は吸収率分布であり、
推定処理は、
測定データをニューラルネットワークに入力する入力ステップと、
測定データから推定データを生成する推定ステップと、
推定データから復元データを生成する復元ステップと、
測定データと復元データに基づいて、推定データの信頼度を算出する算出ステップと、を有し、
ニューラルネットワークは、学習済みモデルであり、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
推定では、ニューラルネットワークを用い、
復元では、推定データに対して順伝播演算を行い、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とする。

【0009】

また、本発明の少なくとも幾つかの実施形態に係るデータ処理装置は、
メモリと、プロセッサと、を備え、
メモリは、測定データを記憶し、
プロセッサは、物体の３次元光学特性を推定する推定処理を実行し、
３次元光学特性は、屈折率分布又は吸収率分布であり、
推定処理は、
測定データをニューラルネットワークに入力する入力ステップと、
測定データから推定データを生成する推定ステップと、
推定データから復元データを生成する復元ステップと、
測定データと復元データに基づいて、推定データの信頼度を算出する算出ステップと、
信頼度に反比例する量を損失として、ニューラルネットワークが学習する学習ステップと、を有し、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
推定では、ニューラルネットワークを用い、
復元では、推定データに対して順伝播演算を行い、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とする。

【0010】

また、本発明の少なくとも幾つかの実施形態に係る記録媒体は、
メモリとプロセッサを備えたコンピュータに推定処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
推定処理では、物体の３次元光学特性を推定し、
３次元光学特性は、屈折率分布又は吸収率分布であり、
プロセッサに、
メモリに記憶した測定データを、ニューラルネットワークに入力する処理と、
測定データから推定データを生成する処理と、
推定データから復元データを生成する処理と、
測定データと復元データに基づいて、推定データの信頼度を算出する処理と、を実行させ、
ニューラルネットワークは、学習済みモデルであり、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
推定では、ニューラルネットワークを用い、
復元では、推定データに対して順伝播演算を行い、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とする。

【0011】

また、本発明の少なくとも幾つかの実施形態に係る記録媒体は、
メモリとプロセッサを備えたコンピュータに推定処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
推定処理では、物体の３次元光学特性を推定し、
３次元光学特性は、屈折率分布又は吸収率分布であり、
プロセッサに、
メモリに記憶した測定データを、ニューラルネットワークに入力する処理と、
測定データから推定データを生成する処理と、
推定データから復元データを生成する処理と、
測定データと復元データに基づいて、推定データの信頼度を算出する処理と、
信頼度に反比例する量を損失として、ニューラルネットワークが学習する処理と、を実行させ、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
推定では、ニューラルネットワークを用い、
復元では、推定データに対して順伝播演算を行い、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求めることを特徴とする。

【0012】

また、本発明の少なくとも幾つかの実施形態に係るニューラルネットワークの学習方法は、
推定データの信頼度を算出するニューラルネットワークに対する学習方法であって、
推定データの信頼度は、測定データと復元データとに基づいて算出され、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
３次元光学特性は、屈折率分布又は吸収率分布であり、
復元データは、推定データに対して順伝播演算を行って生成したデータであり、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順に求め、
第１学習データセットを用いて学習する第１学習ステップと、
第２学習データセットを用いて学習する第２学習ステップと、を有し、
第１学習ステップと第２学習ステップは、繰り返し実施され、
第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、
第２学習データセットは、第１データ、第２補正データ、真偽のうち偽を示す教師データを含み、
第１補正データは、第１データに補正処理を施したデータであり、
第２補正データは、第２データに補正処理を施したデータであり、
第２データは、第１データと異なり、
第１データおよび第２データは、物体を透過した光を測定することで得られたデータ、若しくは、物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータであることを特徴とする。

【0013】

また、本発明の少なくとも幾つかの実施形態に係る学習装置は、
メモリと、プロセッサと、を備え、
メモリは、測定データを記憶し、
プロセッサは、推定データの信頼度を算出するニューラルネットワークに対して学習処理を実行し、
推定データの信頼度は、測定データと復元データとに基づいて算出され、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
３次元光学特性は、屈折率分布又は吸収率分布であり、
復元データは、推定データに対して順伝播演算を行って生成したデータであり、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順に求め、
学習処理は、
第１学習データセットを用いて学習する第１学習ステップと、
第２学習データセットを用いて学習する第２学習ステップと、を有し、
第１学習ステップと第２学習ステップは、繰り返し実施され、
第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、
第２学習データセットは、第１データ、第２補正データ、真偽のうち偽を示す教師データを含み、
第１補正データは、第１データに補正処理を施したデータであり、
第２補正データは、第２データに補正処理を施したデータであり、
第２データは、第１データと異なり、
第１データおよび第２データは、物体を透過した光を測定することで得られたデータ、若しくは、物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータであることを特徴とする。

【0014】

また、本発明の少なくとも幾つかの実施形態に係る記録媒体は、
メモリとプロセッサを備えたコンピュータにニューラルネットワークに対する学習処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
ニューラルネットワークは、測定データと復元データとに基づいて推定データの信頼度を算出し、
測定データは、物体を透過した光を測定することで得られたデータであり、
推定データは、測定データから推定した物体の３次元光学特性のデータであり、
３次元光学特性は、屈折率分布又は吸収率分布であり、
復元データは、推定データに対して順伝播演算を行って生成したデータであり、
順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順に求め、
第１学習データセットを用いて学習する第１学習ステップと、
第２学習データセットを用いて学習する第２学習ステップと、を有し、
第１学習ステップと第２学習ステップは、繰り返し実施され、
第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、
第２学習データセットは、第１データ、第２補正データ、真偽のうち偽を示す教師データを含み、
第１補正データは、第１データに補正処理を施したデータであり、
第２補正データは、第２データに補正処理を施したデータであり、
第２データは、第１データと異なり、
第１データおよび第２データは、物体を透過した光を測定することで得られたデータ、若しくは、物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータであることを特徴とする。

【発明の効果】

【0015】

本発明によれば、推定の信頼度が分かる指標を生成するデータ処理方法、データ処理装置、三次元観察装置及び記録媒体、推定の信頼度が分かる指標を生成するための学習方法、学習装置及び記録媒体を提供することができる。

【図面の簡単な説明】

【0016】

【図1】物体の光学像の画像を取得する様子を示す図である。

【図2】第１実施形態のデータ処理方法のフローチャートである。

【図3】第１実施形態のデータ処理方法を示す図である。

【図4】順伝播演算を説明するための図である。

【図5】第１の作成方法を示す図である。

【図6】学習データを示す図である。

【図7】再構成データの作成方法を示す図である。

【図8】第２の作成方法を示す図である。

【図9】学習データを示す図である。

【図10】第３の作成方法を示す図である。

【図11】学習データを示す図である。

【図12】ＤＮＮにおける学習の様子を示す図である。

【図13】Ｕ－Ｎｅｔを示す図である。

【図14】第２実施形態のデータ処理方法のフローチャートである。

【図15】第２実施形態のデータ処理方法を示す図である。

【図16】ＤＮＮにおける学習の様子を示す図である。

【図17】信頼度を算出する方法を示す図である。

【図18】第２ＤＮＮにおける信頼度の算出における処理を示す図である。

【図19】学習用データを示す図である。

【図20】第２ＤＮＮにおける学習の様子を示す図である。

【図21】第１の提示方法を示す図である。

【図22】第２の提示方法を示す図である。

【図23】本実施形態のデータ処理装置を示す図である。

【図24】第1実施形態の三次元観察装置を示す図である。

【図25】第２実施形態の三次元観察装置を示す図である。

【発明を実施するための形態】

【0017】

実施例の説明に先立ち、本発明のある態様にかかる実施形態の作用効果を説明する。なお、本実施形態の作用効果を具体的に説明するに際しては、具体的な例を示して説明することになる。しかし、後述する実施例の場合と同様に、それらの例示される態様はあくまでも本発明に含まれる態様のうちの一部に過ぎず、その態様には数多くのバリエーションが存在する。したがって、本発明は例示される態様に限定されるものではない。

【0018】

物体が小さい場合、物体の３次元光学特性を直接知ることは困難である。この場合、３次元光学特性は、例えば、推定によって知ることができる。本実施形態のデータ処理方法では、ニューラルネットワークを用いて、物体の３次元光学特性の推定を行う。３次元光学特性は、屈折率分布又は吸収率分布である。

【0019】

以下では、ニューラルネットワークとしてDeep Neural Network（以下、「ＤＮＮ」という）を用いた場合について説明する。ニューラルネットワークは、入力層と、出力層と、１つの隠れ層と、を有する。これに対して、ＤＮＮは、入力層と、出力層と、複数の隠れ層を有する。

【0020】

物体が小さい場合、光学系を用いることで、物体の光学像が得られる。物体の光学像には、３次元光学特性が反映されている。物体の光学像は拡大像であると良い。拡大像だと、撮像した画像から、３次元光学特性の推定に必要なデータを容易に得ることができる。

【0021】

図１は、物体の光学像の画像を取得する様子を示す図である。図１（ａ）は、画像の取得方法の具体例を示す図である。図１（ｂ）は、複数のＸＹ断面の画像を示す図である。図１（ｃ）は、ＸＺ断面の画像を示す図である。説明を容易にするために、物体は大きく描いている。

【0022】

Ｚ軸は、光軸ＡＸと平行な軸である。Ｘ軸は、光軸ＡＸと直交する軸である。Ｙ軸は、Ｘ軸及びＺ軸と直交する軸である。

【0023】

図１（ａ）示すように、物体１には、照明光２が照射される。物体１は、照明光２で照明される。物体１を透過した光は、撮像ユニット３に入射する。撮像ユニット３は、光学系４と、撮像素子５と、を有する。

【0024】

光学系４では、光学像ＩＭが結像面ＩＰに形成される。光学像ＩＭは、物体１の拡大像である。結像面ＩＰの位置は、位置Ｚfoと共役である。よって、光学像ＩＭは、位置Ｚfoにおける物体１の光学像である。位置Ｚfoは、光学系４の合焦位置である。

【0025】

結像面ＩＰには、撮像素子５の撮像面が位置している。撮像素子５で光学像ＩＭを撮像することで、画像Ｉmea（ｘ，ｙ）を取得することができる。画像Ｉmea（ｘ，ｙ）は光学像ＩＭの画像であって、ＸＹ断面における画像である。

【0026】

物体１の厚みは厚い。物体１全体について、物体１の光学像の画像を取得するためには、位置Ｚfoを位置Ｚ１から位置Ｚ２の間で移動させながら、画像Ｉmea（ｘ，ｙ）を取得すれば良い。その結果、図１（ｂ）に示すように、複数の画像Ｉmea（ｘ，ｙ）を取得することができる。

【0027】

複数の画像Ｉmea（ｘ，ｙ）の取得では、物体１と撮像ユニット３を、Ｚ軸方向に相対移動させれば良い。物体１の移動では、物体１をステージで保持し、ステージをＺ軸方向に移動させれば良い。また、光学系４を無限遠補正対物レンズと結像レンズで形成し、無限遠補正対物レンズだけをＺ軸方向に移動させても良い。

【0028】

複数の画像Ｉmea（ｘ，ｙ）から、３次元光学特性の推定に必要なデータが得られる。また、図１（ｃ）に示すように、複数の画像Ｉmea（ｘ，ｙ）から、ＸＺ断面の画像Ｉmea（ｘ，ｚ）を得ることができる。

【0029】

本実施形態のデータ処理方法を、第１実施形態のデータ処理方法と、第２実施形態のデータ処理方法を用いて説明する。

【0030】

第１実施形態のデータ処理方法は、測定データをニューラルネットワークに入力する入力ステップと、測定データから推定データを生成する推定ステップと、推定データから復元データを生成する復元ステップと、測定データと復元データに基づいて、推定データの信頼度を算出する算出ステップと、を有する。

【0031】

ニューラルネットワークは、学習済みモデルであり、測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータであり、３次元光学特性は、屈折率分布又は吸収率分布である。

【0032】

推定では、ニューラルネットワークを用い、復元では、推定データに対して順伝播演算を行い、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求める。

【0033】

図２は、第１実施形態のデータ処理方法のフローチャートである。図３は、第１実施形態のデータ処理方法を示す図である。図３に図示されている画像は、ＸＺ断面の画像である。図３では、見易さのために、物体を画像Ｏ（ｘ，ｚ）で示している。図２と図３を参照しながら説明する。

【0034】

第１実施形態のデータ処理方法は、ステップＳ１と、ステップＳ２と、ステップＳ３と、ステップＳ４と、を有する。

【0035】

ステップＳ１は、入力ステップである。ステップＳ１では、測定データをニューラルネットワークに入力する。測定データは、３次元光学特性の推定に必要なデータであって、物体を透過した光を測定することで得られる。物体の光学像は、物体を透過した光で形成される。よって、物体の光学像の画像から、測定データを得ることができる。

【0036】

図３に示すように、光学系４によって、物体の光学像が形成される。物体の光学像を撮像することで、物体の光学像の画像が得られる。物体の光学像の画像から、測定データが得られる。画像Ｉmea（ｘ，ｚ）は、測定データを表す画像である。

【0037】

第１実施形態のデータ処理方法では、ニューラルネットワークを用いる。このニューラルネットワークは、学習済みモデルである。学習済みモデルは、学習済みのニューラルネットワークである。ＤＮＮも、学習済みのＤＮＮである。

【0038】

ニューラルネットワークでは、重みやバイアス等のパラメータが用いられる。学習済みモデルでは、学習済みのパラメータが用いられている。パラメータが最適に設定されているので、的確な推定が行える。

【0039】

上述のように、ステップＳ１では、測定データをニューラルネットワークに入力する。図３では、測定データがＤＮＮに入力されている。ステップＳ１が終わると、ステップＳ２を実行する。

【0040】

ステップＳ２は、推定ステップである。ステップＳ２では、測定データから推定データを生成する。推定データは、測定データから推定した物体の３次元光学特性のデータである。

【0041】

物体の厚みが厚い場合、合焦位置からの光と非合焦位置からの光で、物体の光学像が形成される。合焦位置からの光では鮮明な光学像は形成されるが、非合焦位置からの光では鮮明な光学像は形成されない。鮮明な光学像に鮮明でない光学像が重なるため、鮮明な光学像は形成されない。その結果、鮮明な画像を取得することができない。

【0042】

図３に示す物体の厚みは、図１（ａ）に示す物体１と同じように厚い。そのため、物体の光学像は鮮明でない。光学像は鮮明でないので、画像Ｉmea（ｘ，ｚ）も鮮明でない。

【0043】

図３に示すように、測定される画像Imea（ｘ，ｚ）は測定する物体の画像О（ｘ、ｚ）は大きく異なる。画像Imea（ｘ，ｚ）を観て画像О（ｘ，ｚ）を観察者が推察するのは困難である。

【0044】

図３に示すように、ＤＮＮによって、測定データから推定データを算出する。画像Ｏest（ｘ，ｚ）は、推定データを表す画像である。観察者は画像Оest（ｘ，ｚ）を観ることで、観察する物体の画像О（ｘ，ｚ）を推察できる。

【0045】

ＤＮＮによって推定される画像は、学習データの影響を大きく受ける。観察する物体に近い画像О（ｘ，ｚ）とそれに対応する画像Ｉmea（ｘ，ｚ）が学習データに含まれていない場合、精度の高い推定データОest（ｘ，ｚ）を生成できない。生成された推定データОest（ｘ，ｚ）は、学習データに含まれている画像О（ｘ，ｚ）に近い画像を生成する可能性が高い。生成された推定データの画像Оest（ｘ，ｚ）が観察している物体の画像О（ｘ、ｚ）を表しているか否かの判断はできない。

【0046】

ステップＳ３は、復元ステップである。ステップＳ３では、推定データから復元データを生成する。復元では、推定データに対して順伝播演算を行う。順伝播演算では、推定した物体の内部を通過する波面を、光が進行する方向に順次求める。

【0047】

測定データは、物体の光学像の画像から得られる。推定データは、推定した物体の３次元光学特性のデータである。よって、推定データから光学像を算出することができれば、測定データと同様のデータ（以下、「復元データ」という）が得られる。

【0048】

推定データを推定物体のデータとすると、復元データは推定物体の光学像（以下、「推定光学像」という）から得たデータである。測定データは、物体の光学像の画像から得たデータである。測定データと復元データは共に光学像から得たデータであるので、測定データと復元データとの比較は可能である。測定データと復元データを比較することで、推定データが物体の３次元光学特性を正しく表しているか否かの判断ができる。

【0049】

推定データから復元データを得るために、順伝播演算を行う。順伝播演算では、様々な種類の演算が行われる。物体の内部を通過する波面は、例えば、ビーム伝播法で算出することができる。ビーム伝播法では、推定物体を複数の薄い層に置き換える。そして、光が各層を通過する際の波面変化を逐次計算する。

【0050】

図４は、順伝播演算を説明するための図である。図４（ａ）は、ビーム伝播法を説明するための図である。図４（ｂ）は、順伝播演算における処理を説明する図である。

【0051】

波面の伝播は、フレネル伝播である。波面を電場に置き換えて説明する。図４（ａ）において、実線は、物体の複素屈折率を表している。点線は、電場(光のスカラ場)を表している。矢印は、フレネル伝播を表している。薄い層間を、フレネル伝播を繰り返し演算していく手法がビーム伝播法である。

【0052】

ビーム伝播法について説明する。位置Ｐ１では、入射側の電場Ｅin１と複素屈折率Ｎ１を用いて、出射側の電場Ｅout１を求める。

【0053】

電場Ｅout１から、位置Ｐ２における入射側の電場Ｅin２を求める。電場Ｅout１から電場Ｅin２までの伝播は、フレネル伝播である。電場Ｅin２と複素屈折率Ｎ２を用いて、出射側の電場Ｅout２を求めることができる。このように物体の複素屈折率を反映しながら、繰り返しフレネル伝播を繰り返す伝播がビーム伝播である。

【0054】

このように、ビーム伝播法を用いて、入射側の電場から出射側の電場の算出を行うことがきる。その結果、位置ＰＮにおける出射側の電場Ｅoutを求めることができる。推定物体から出射する波面の位置が位置ＰＮの場合、電場Ｅoutが推定物体から出射する波面を表している。

【0055】

順伝播演算について説明する。順伝播演算では、推定物体から推定光学像を求める。推定光学像は、物体の光学像に相当する。測定の時には、図４（ｂ）に示すように結像光学系を利用する。対物レンズ１０を光軸方向に走査しながら、結像レンズ１１の結像位置１３で電場の強度分布を測定することで、測定データの画像Ｉmea（ｘ，ｚ）を得ることができる。

【0056】

観察する物体О（ｘ，ｚ）の推定物体Оest（ｘ，ｚ）を取得しているので、入射波面Ｗinを既知とすれば、推定物体Оest（ｘ，ｚ）と入射波面Ｗinから、物体を伝播した出射波面Ｗoutをビーム伝播法で求めることができる。出射波面Ｗoutから、対物レンズ１０を光軸方向に走査したときの各合焦位置Ｆo1、Ｆo2での電場をフレネル伝播で求めることができる。これらの電場の強度分布は、対物レンズ１０と結像レンズ１１の収差が小さければ、測定データの画像Ｉmea（ｘ，ｚ）に相当する。このような順伝播演算で求めた、強度分布の画像Ｉest（ｘ，ｚ）は復元データを表す画像である。

【0057】

ステップＳ３が終わると、ステップＳ４を実行する。

【0058】

ステップＳ４は、算出ステップである。ステップＳ４では、測定データと復元データに基づいて、推定データの信頼度を算出する。

【0059】

上述のように、測定データと復元データは共に光学像から得たデータであるので、測定データと復元データとの比較は可能である。測定データと復元データを比較することで、推定データが物体の３次元光学特性を正しく表しているか否かの判断ができる。

【0060】

例えば、学習データに無い形状の物体を測定した場合、測定された光学像も学習データには無い画像になる。しかし、この光学像からＤＮＮで生成した物体の推定画像は、学習データに含まれている物体の推定画像に似ている可能性が高い。

【0061】

したがって、推定された物体の推定画像を使って順伝播演算で求める復元データとしての光学像も、学習データに含まれる光学像になる。測定した光学像は学習データに含まず、復元データの光学像は学習データに含まれる。測定した光学像と、復元した光学像は異なるので、この場合は、ＤＮＮで生成した物体の推定画像は、測定した物体の３次元光学特性を正しく表していないと判断できる。

【0062】

測定データに対する復元データの乖離が小さいほど、推定した３次元光学特性は、物体の３次元光学特性に近づく。例えば、測定データに対する復元データの乖離の大きさを信頼度とすると、測定データと復元データに基づいて、推定データの信頼度を算出することができる。

【0063】

第１実施形態のデータ処理方法では、学習済みモデルを用いて、物体の３次元光学特性を算出している。そのため、短時間で、物体の３次元光学特性を算出することができる。更に、算出した物体の３次元光学特性について、信頼度を算出している。そのため、推定した３次元光学特性が物体の３次元光学特性を正しく表しているか否かを、信頼度に基づいて判断することができる。

【0064】

学習済みモデルを使用するためには、ニューラルネットワークにおいて予め学習を行っておく必要がある。学習を行うためには、学習データが必要である。学習データの作成方法について説明する。学習データは、学習入力データと、学習出力データと、を有する。

【0065】

（第１の作成方法）
図５は、第１の作成方法を示す図である。図５（ａ）は、第１の作成方法における処理の流れを示す図である。図５（ｂ）は、再構成データの画像を示す図である。図５（ａ）と図５（ｂ）に図示されている画像は、ＸＺ断面の画像である。図５（ａ）では、見易さのために、物体を画像Ｏ（ｘ，ｚ）で示している。

【0066】

第１の作成方法では、再構成演算を行う。再構成演算では、学習入力データから、再構成データが生成される。

【0067】

上述のように、物体が非常に小さい場合、物体の３次元光学特性の値（以下、「光学特性値」という）を、直接取得することは困難である。そこで、光学系４で物体の光学像を形成する。光学像から第１比較データが得られる。画像ＳＣ１（ｘ，ｚ）は、第１比較データの画像を表している。第１比較データは、学習入力データに用いることができる。画像ＳＣ１（ｘ，ｚ）は、学習入力データの画像を表している。

【0068】

再構成演算では、物体モデルを用いる。光学特性値は不明なので、物体モデルのデータ（以下、「モデルデータ」という））における値は、推定値である。

【0069】

再構成演算の開始時、推定値に初期値が設定される。推定値には、どのような値を用いても良い。画像ＳＭ（ｘ，ｚ）は、推定値に初期値が設定されたときのモデルデータの画像を表している。

【0070】

再構成演算では、モデルデータを用いて順伝播演算が行われる。順伝播演算によって、物体モデルの光学像が得られる。物体モデルの光学像から、第２比較データが得られる。画像ＳＣ２（ｘ，ｚ）は、第２比較データの画像を表している。

【0071】

第１比較データと第２比較データが同じ場合、物体の光学像と物体モデルの光学像は同じである。この場合、推定値は光学特性値と同じである。第１比較データと第２比較データが異なる場合、物体の光学像と物体モデルの光学像は異なる。この場合、推定値は光学特性値と異なる。

【0072】

第１比較データと第２比較データが異なる場合、物体モデルの光学像を形成した波面（以下、「推定波面」という）は、物体の光学像を形成した波面と異なる。そこで、例えば、第１比較データと第２比較データとの差を使って、推定波面を補正する。

【0073】

補正した推定波面を用いて、逆伝播演算が行われる。逆伝播演算によって、新たな推定値が得られる。モデルデータの値を、新たな推定値に置き換える。すなわち、推定値を更新する。

【0074】

順伝播演算、推定波面の補正、逆伝播演算、推定値の更新は、第１比較データと第２比較データとの差が閾値よりも小さくなるまで繰り返す。

【0075】

第１比較データと第２比較データとの差が閾値よりも小さくなったときのモデルデータを、再構成データとする。図５（ｂ）に示す画像ＳＯ（ｘ，ｚ）は、再構成データの画像表している。再構成データは、学習出力データに用いることができる。

【0076】

図６は、学習データを示す図である。図６に図示されている画像は、ＸＺ断面の画像である。

【0077】

再構成演算を行うことで、物体に対応する再構成データ、すなわち、学習出力データを得ることができる。学習を行うためには、多くの学習データが必要である。よって、学習出力データも多数必要である。多数の学習出力データを得るためには、多数の物体について、再構成演算を行えば良い。

【0078】

物体の数をＮとする。図６には、物体１、物体２、及び物体Ｎについて、第１比較データの画像と再構成データの画像が示されている。物体１、物体２、及び物体Ｎは、同じ照明角度、例えば、０°で照明されている。

【0079】

図６では、物体の画像は表示されていない。物体と第１比較データ画像との対応関係、及び物体と再構成データとの対応関係を示すために、Ｏ１（ｘ，ｚ）、Ｏ２（ｘ，ｚ）及びＯＮ（ｘ，ｚ）を記載している。Ｏ１（ｘ，ｚ）は、物体１を表している。Ｏ２（ｘ，ｚ）は、物体２を表している。ＯＮ（ｘ，ｚ）は、物体Ｎを表している。

【0080】

画像ＳＣ１１（ｘ，ｚ）は、物体１の第１比較データの画像を表している。画像ＳＣ１２（ｘ，ｚ）は、物体２の第１比較データの画像を表している。画像ＳＣ１Ｎ（ｘ，ｚ）は、物体Ｎの第１比較データの画像を表している。

【0081】

画像ＳＯ１（ｘ，ｚ）は、物体１の再構成データの画像を表している。画像ＳＯ２（ｘ，ｚ）は、物体２の再構成データの画像を表している。画像ＳＯＮ（ｘ，ｚ）は、物体Ｎの再構成データの画像を表している。

【0082】

第１の作成方法では、第１比較データが学習入力データとして用いられ、再構成データが学習出力データとして用いられる。物体の数がＮの場合、学習入力データの数と学習出力データの数もＮになる。

【0083】

再構成演算では、１つの物体における第１比較データが多いほど、再構成データの正確さが高まる。１つの物体における第１比較データを増やすには、例えば、複数の照明角度で物体を照明し、各照明角度の光学像から第１比較データを得れば良い。

【0084】

図７は、再構成データの作成方法を示す図である。図７に図示されている画像は、ＸＺ断面の画像である。

【0085】

第１比較データ１は、照明角度θILLが０°のときの物体の光学像から得たデータである。画像ＳＣθ１（ｘ，ｚ）は、第１比較データ１の画像を表している。第１比較データ２は、照明角度θILLが－４０°のときの物体の光学像から得たデータである。画像ＳＣθ２（ｘ，ｚ）は、第１比較データ２の画像を表している。

【0086】

第１比較データ３は、照明角度θILLが－３０°のときの物体の光学像から得たデータである。画像ＳＣθ３（ｘ，ｚ）は、第１比較データ３の画像を表している。第１比較データＮは、照明角度θILLが４０°のときの物体の光学像から得たデータである。画像ＳＣθＮ（ｘ，ｚ）は、第１比較データＮの画像を表している。

【0087】

第１比較データ１、第１比較データ２、第１比較データ３、及び第１比較データＮでは、照明角度が互いに異なる。そのため、光学特性値に関して、互いに異なる情報を有する。再構成演算に第１比較データ１、第１比較データ２、第１比較データ３、及び第１比較データＮを用いることで、再構成データの正確さを高めることができる。

【0088】

（第２の作成方法）
図８は、第２の作成方法を示す図である。図８に図示されている画像は、ＸＺ断面の画像である。

【0089】

図６で説明したように、学習を行うためには、多くの学習データが必要である。第１の作成方法では、再構成データ（学習出力データ）を得るために、順伝播演算と逆伝播演算を繰り返している。順伝播演算と逆伝播演算には、多くの時間を要する。１つの再構成データを得るための時間が長いと、多数の再構成データを得るために膨大な時間を要する。

【0090】

第２の作成方法では、１つの再構成データを変形させる。このようにすることで、多数の再構成データ、すなわち、多数の学習出力データを短時間で得ることができる。データの変形では、例えば、拡大、縮小、回転、ノイズ付加を行えば良い。

【0091】

学習には、学習出力データと対になる学習入力データが必要である。学習入力データは、第１比較データである。第１比較データは、物体の光学像から得られる。ただし、第２の作成方法では、変形させた再構成データが物体に相当する。

【0092】

そこで、変形させた再構成データを物体と見なして、変形させた再構成データを用いて順伝播演算を行う。このようにすることで、変形させた再構成データから、物体の光学像に相当するデータが得られる。

【0093】

図５（ａ）では、順伝播演算を行うことで、モデルデータから第２比較データを得ている。物体の光学像に相当するデータは、第２比較データに相当する。第２の作成方法では、第２比較データが、学習入力データとして用いられる。

【0094】

拡大を行った再構成データを、拡大再構成データとする。縮小を行った再構成データを、縮小再構成データとする。回転を行った再構成データを、回転再構成データとする。

【0095】

画像ＳＯ１（ｘ，ｚ）は、拡大再構成データの画像を表している。画像ＳＯ２（ｘ，ｚ）は、縮小再構成データの画像を表している。画像ＳＯＮ（ｘ，ｚ）は、回転再構成データの画像を表している。

【0096】

画像ＳＣ２１（ｘ，ｚ）は、拡大再構成データから得た第２比較データの画像を表している。画像ＳＣ２２（ｘ，ｚ）は、縮小再構成データから得た第２比較データの画像を表している。画像ＳＣ２Ｎ（ｘ，ｚ）は、回転再構成データ第２比較データの画像を表している。

【0097】

図９は、学習データを示す図である。図９に図示されている画像は、ＸＺ断面の画像である。

【0098】

図９には、物体１と物体Ｎについて、第２比較データの画像と変形再構成データの画像が示されている。変形再構成データは、再構成データを変形させたデータである。画像の数が多いので、全ての画像について説明しない。

【0099】

図９では、物体の画像は表示されていない。物体と第２比較データ画像との対応関係、及び物体と変形再構成データとの対応関係を示すために、Ｏ１（ｘ，ｚ）とＯＮ（ｘ，ｚ）を記載している。Ｏ１（ｘ，ｚ）は、物体１を表している。ＯＮ（ｘ，ｚ）は、物体Ｎを表している。

【0100】

画像ＳＣ２１１（ｘ，ｚ）は、物体１の変形再構成データから得た第２比較データの画像を表している。画像ＳＣ２１Ｎ（ｘ，ｚ）は、物体Ｎの変形再構成データから得た第２比較データの画像を表している。

【0101】

画像ＳＯ１１（ｘ，ｚ）は、物体１の変形再構成データの画像を表している。画像ＳＯＮ１（ｘ，ｚ）は、物体Ｎの変形再構成データの画像を表している。

【0102】

第２の作成方法では、第２比較データが学習入力データとして用いられ、変形再構成データが学習出力データとして用いられる。物体の数がＮの場合、学習入力データの数と学習出力データの数はＮ以上になる。

【0103】

（第３の作成方法）
図１０は、第３の作成方法を示す図である。図１０に図示されている画像は、ＸＺ断面の画像である。

【0104】

第１の作成方法では、物体から、第１比較データ（学習入力データ）と再構成データ（学習出力データ）を生成している。第２の作成方法では、物体から再構成データを生成し、再構成データから、変形させたデータ（学習入力データ）と第２比較データ（学習入力データ）を求めている。このように、第１の作成方法と第２の作成方法では、物体が用いられている。

【0105】

これに対して、第３の生成方法では、物体は用いられない。物体の代わりに、計算機によって生成されたデータ（以下、「仮想物体データ」という）が用いられる。

【0106】

仮想物体データは、再構成データに相当する。そこで、第２の作成方法と同様に、仮想物体データを用いて順伝播演算を行う。このようにすることで、仮想物体データから、物体の光学像に相当するデータが得られる。

【0107】

図５（ａ）では、順伝播演算を行うことで、モデルデータから第２比較データを得ている。物体の光学像に相当するデータは、第２比較データに相当する。第３の作成方法では、第２比較データが、学習入力データとして用いられる。

【0108】

画像Ｏ’１（ｘ，ｚ）は、仮想物体１のデータの画像を表している。画像Ｏ’２（ｘ，ｚ）は、仮想物体２のデータの画像を表している。画像Ｏ’Ｎ（ｘ，ｚ）は、仮想物体Ｎのデータの画像を表している。

【0109】

画像ＳＣ２１（ｘ，ｚ）は、仮想物体１のデータから得た第２比較データの画像を表している。画像ＳＣ２２（ｘ，ｚ）は、仮想物体２のデータから得た第２比較データの画像を表している。画像ＳＣ２Ｎ（ｘ，ｚ）は、仮想物体Ｎのデータ第２比較データの画像を表している。

【0110】

図１１は、学習データを示す図である。図１１に図示されている画像は、ＸＺ断面の画像である。

【0111】

画像ＳＣ２１（ｘ，ｚ）は、仮想物体１のデータから得た第２比較データの画像を表している。画像ＳＣ２２（ｘ，ｚ）は、仮想物体２のデータから得た第２比較データの画像を表している。画像ＳＣ２Ｎ（ｘ，ｚ）は、仮想物体Ｎデータから得た第２比較データの画像を表している。

【0112】

画像Ｏ’１（ｘ，ｚ）は、仮想物体１のデータの画像を表している。画像Ｏ’２（ｘ，ｚ）は、仮想物体２のデータの画像を表している。画像Ｏ’Ｎ（ｘ，ｚ）は、仮想物体Ｎのデータの画像を表している。

【0113】

第３の作成方法では、第２比較データが学習入力データとして用いられ、仮想物体のデータが学習出力データとして用いられる。仮想物体の数がＮの場合、学習入力データの数と学習出力データの数はＮになる。ただし、仮想物体は短い時間で容易に作成でき、しかも、作成できる数も制限されない。

【0114】

（ＤＮＮにおける学習）
図１２は、ＤＮＮにおける学習の様子を示す図である。図１２に図示されている画像は、ＸＺ断面の画像である。

【0115】

ＤＮＮにおける学習では、学習データセットが用いられる。学習データセットは、学習入力データと学習出力データを有する。

【0116】

学習入力データには、第１の作成方法における第１比較データ、第２の作成方法における第２比較データ、又は第３の作成方法における第２比較データが用いられる。

【0117】

学習出力データには、第１の作成方法における再構成データ、第２の作成方法における変形再構成データ、又は第３の作成方法における仮想物体データが用いられる。

【0118】

学習では、学習入力データから学習推定データが出力される。学習推定データが学習出力データと一致している状態が、理想の状態である。しかしながら、学習が不十分な状態では、学習推定データは学習出力データと一致しない。理想の状態と学習が不十分な状態との差は、ロス関数で表すことができる。学習が不十分な状態には、学習をしていない状態も含まれる。

【0119】

ＤＮＮにおける推定では、様々なパラメータが用いられる。学習では、最適なパラメータの探索に、ロス関数が用いられる。最適なパラメータの探索では、ロス関数の値が最も小さくなるようなパラメータを探索する。

【0120】

学習では、学習推定データと学習出力データとの比較を繰り返す。学習推定データと学習出力データとの比較を行うたびに、ロス関数の出力をＤＮＮへフィードバックする。学習推定データと学習出力データとの比較と、ロス関数の出力のＤＮＮへのフィードバックを繰り返すことで、最適なパラメータを求めることができる。

【0121】

学習入力データから学習推定データを出力する処理では、画像の領域検出が行われる。画像の領域検出には、例えば、Ｕ－Ｎｅｔを用いることができる。

【0122】

図１３は、Ｕ－Ｎｅｔを示す図である。図１３（ａ）は、Ｕ－Ｎｅｔの構成を示す図である。図１３（ｂ）は、データ形状の模式図である。図１３（ｂ）において、「６４」は、チャンネル数又は特徴量マップの数を表している。「２５６＾３」は、画素数を表している。

【0123】

矢印Ａの方向の処理は、エンコード又はダウンサンプリングと呼ばれる処理である。矢印Ｂの方向の処理は、デコード又はアップサンプリングと呼ばれる処理である。

【0124】

エンコードでは、畳み込みとプーリングを交互に繰り返すことで、入力データの特徴を抽出する。矢印Ａの方向に処理が進むにつれて、特徴を持つ領域が細分化される。そのため、画素数が減少する代わりに、チャンネル数又は特徴量マップの数が増加する。

【0125】

デコードでは、逆畳み込みを行うことで、入力データと同じサイズの出力データを作成する。出力データでは、同じ特徴を持つ領域で区分けされる。そのため、出力データにおける画像は、入力データにおける画像に比べて粗い画像になる。

【0126】

エンコードでは、特徴を持つ領域の位置情報が得られる。そこで、デコードの際に、エンコードで得た位置情報を出力データの作成に使用する。図１３（ａ）では、エンコードからデコードへの位置情報の受け渡しは、「Ｃｏｐｙ」で表わされている。

【0127】

第２実施形態のデータ処理方法は、測定データをニューラルネットワークに入力する入力ステップと、測定データから推定データを生成する推定ステップと、推定データから復元データを生成する復元ステップと、測定データと復元データに基づいて、推定データの信頼度を算出する算出ステップと、信頼度に反比例する量を損失として、ニューラルネットワークが学習する学習ステップと、を有する。

【0128】

測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータであり、３次元光学特性は、屈折率分布又は吸収率分布である。

【0129】

推定では、ニューラルネットワークを用い、復元では、推定データに対して順伝播演算を行い、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求める。

【0130】

図１４は、第２実施形態のデータ処理方法のフローチャートである。図２と同じと同じステップには同じ番号を付し、説明は省略する。図１５は、第２実施形態のデータ処理方法を示す図である。図１５に図示されている画像は、ＸＺ断面の画像である。図３と同じ構成には同じ番号と同じ用語を用い、説明は省略する。図１４と図１５を参照しながら説明する。

【0131】

第２実施形態のデータ処理方法は、ステップＳ１と、ステップＳ２と、ステップＳ３と、ステップＳ４と、ステップＳ５と、を有する。

【0132】

ステップＳ５は、出力ステップである。ステップＳ５では、信頼度に反比例する量を損失として、ニューラルネットワークで学習する。

【0133】

第２実施形態のデータ処理方法では、ニューラルネットワークは学習済みモデルではない。そのため、学習を行うことで、最適なパラメータを探索する。

【0134】

ステップＳ５では、測定データと復元データとの比較から、信頼度に反比例する量が得られる。図１５に示すように、信頼度に反比例する量は、ＤＮＮに入力される。信頼度に反比例する量から、測定データに対する復元データの乖離の度合いが分かる。信頼度に反比例する量ＤＮＮに入力することで、ＤＮＮにおいて学習を行うことができる。その結果、より高い精度で信頼度を算出することができる。

【0135】

また、測定データと復元データを比較することで、推定データが物体の３次元光学特性を正しく表しているか否かの判断ができる。ＤＮＮにおける学習が進むことで、推定データにおいて、より正しい物体の３次元光学特性を得ることができる。

【0136】

第２実施形態のデータ処理方法では、学習モードと推定モードの切り替えが行われる。学習モードでは、信頼度に反比例する量がＤＮＮに入力される。推定モードでは、信頼度が出力される。

【0137】

図１６は、ＤＮＮにおける学習の様子を示す図である。図１６に図示されている画像は、ＸＺ断面の画像である。

【0138】

図１６では、複数の測定データを用いて学習を行う様子が示されている。比較最小化における処理で、信頼度に反比例する量が得られる。

【0139】

学習に使用するデータが多ければ多いほど、より高い精度で信頼度を算出することができる。その結果、推定データにおいて、より正しい物体の３次元光学特性を得ることができる。

【0140】

本実施形態のデータ処理方法では、測定データと復元データとの差を算出し、差に基づいて信頼度を算出することが好ましい。

【0141】

測定データと復元データとで対応するデータの差の絶対値和求め、絶対値和を指標として信頼度を算出することができる。例えば、絶対値和に反比例する係数を乗じて信頼度を算出することができる。予め設定しておいた閾値と比較することで信頼度を算出することができる。閾値は予め実験で求めておくことができる。絶対値和を正規化して閾値と比較することができる。

【0142】

測定データと復元データとの差を用いることで、簡単に信頼度を算出することができる。

【0143】

本実施形態のデータ処理方法では、測定データと復元データとの相関を算出し、相関に基づいて信頼度を算出することが好ましい。

【0144】

相関のピークは、以下の式で表わされる。ｅｒそのものを信頼度としてもよいし、ｅｒに係数を乗じて信頼度としてもよい。また、ｅｒを予め設定しておいた閾値と比較することで信頼度を算出してもよい。例えば、ｅｒが予め設定した閾値０．５より大きい場合、信頼度を１．０（信頼度が高いと示す値）と算出してもよい。

【数1】

ここで、
Ｍx,y,zは、測定データ、
ｃＭx,y,zは、復元データ、
max()は、最大値（ピーク）を求める関数、
である。

【0145】

測定データと復元データとの相関関数corr()は、以下の式で表わされる。

【数2】

ここで、
ｘ１、ｘ２は、相関を計算する、強度分布の画像、
ｒ１、ｒ２は、空間座標x,y,z、
である。

【0146】

測定データと復元データとの相関を用いることで、高い精度で信頼度を算出することができる。

【0147】

以上説明したように、信頼度の算出に相関のピークを利用することができる。しかしながら、信頼度の算出に、相関の広がり具合、具体的には、ピーク周辺の広がり具合を利用してもよい。広がりが小さいほど、信頼度が高くなる。例えば、corr()のピーク周辺を下式でフィッティングし、px,py,pz,sを求める。sが小さい時、信頼度が高い。

【数3】

ここで、
ｘ、ｙ、ｚは、空間座標、
px、py、pzは、ピーク位置の空間座標、
s標準偏差
である。

【0148】

本実施形態のデータ処理方法では、測定データと復元データとの差の二乗和を算出し、差の二乗和の大きさに基づいて信頼度を算出することが好ましい。

【0149】

例えば、測定データと復元データとの差の二乗和に係数を乗じて信頼度とすることができる。予め設定しておいた閾値と比較することで信頼度を算出することができる。閾値は予め実験で求めておくことができる。絶対値和を正規化して閾値と比較することができる。

【0150】

測定データと復元データとの差の二乗和は、以下の式で表わされる。

【数4】

ここで、
Ｍx,y,zは、測定データ、
ｃＭx,y,zは、復元データ、
である。

【0151】

測定データと復元データとの差の二乗和を用いることで、高い精度で信頼度を算出することができる。

【0152】

本実施形態のデータ処理方法は、第１ニューラルネットワークと、第２ニューラルネットワークと、を有し、第１ニューラルネットワークは、ニューラルネットワークであり、第２ニューラルネットワークは、学習済みモデルであり、第２ニューラルネットワークを用いて、信頼度を算出することが好ましい。

【0153】

図１７は、信頼度を算出する方法を示す図である。図３と同じ構成には同じ番号と同じ用語を用い、説明は省略する。

【0154】

本実施形態のデータ処理方法は、第１ニューラルネットワークと、第２ニューラルネットワークと、を有する。第１ニューラルネットワークは、第１実施形態のデータ処理方法におけるニューラルネットワーク、又は第２実施形態のデータ処理方法におけるニューラルネットワークである。

【0155】

第２ニューラルネットワークは、学習済みモデルである。第２ニューラルネットワークを用いて、信頼度を算出する。

【0156】

第１ニューラルネットワークと第２ニューラルネットワークを用いた場合について説明する。第１ＤＮＮは、第１ニューラルネットワークである。第２ＤＮＮは、第２ニューラルネットワークである。第１ＤＮＮは、図３に示すＤＮＮと同じなので、説明は省略する。

【0157】

第２ＤＮＮは、学習済みモデルである。第２ＤＮＮには、測定データと復元データが入力される。第２ＤＮＮでは、測定データと復元データから信頼度が算出される。

【0158】

図１８は、第２ＤＮＮにおける信頼度の算出における処理を示す図である。第２ＤＮＮは、ＣＮＮと、ＦＣと、ｓｏｆｔｍａｘと、を有する。

【0159】

ＣＮＮは、Convolutional Neural Networkである。Convolution Neural Networkでは、畳み込みとプーリングを行う。畳み込みでは、画像の濃淡パターンを検出して、物体の特徴を抽出する。プーリングでは、物体の位置が変動しても同一の物体であると見なす処理を行う。畳み込みとプーリングによって、画像から特徴部分を抽出する。

【0160】

ＦＣは、Full Connectionである。Full Connectionでは、特徴部分が取り出された画像データから、特徴変数を出力する。ｓｏｆｔｍａｘでは、特徴変数を元に０から１までの値を算出する。算出された値は確率を表すので、算出された値を信頼度として用いる。

【0161】

第１ＤＮＮは、図３に示すＤＮＮである。よって、第１ＤＮＮは、推定データを算出する。これに対して、第２ＤＮＮは信頼度を算出する。そのため、第２ＤＮＮにおける学習は、第１ＤＮＮにおける学習と異なる。第２ＤＮＮにおける学習について説明する。

【0162】

本実施形態のデータ処理方法では、第２ニューラルネットワークは、第１学習データセット群と第２学習データセット群を用いて学習を行うことが好ましい。

【0163】

第１学習データセット群は、複数の第１学習データセットを有し、第１学習データセットは、第１データ、第１補正データ、及び真偽のうち真を示す教師データを含む。

【0164】

第２学習データセット群は、複数の第２学習データセットを有し、第２学習データセットは、第１データ、第２補正データ、及び真偽のうち偽を示す教師データを含む。

【0165】

第１補正データは、第１データに補正処理を施したデータであり、第２補正データは、第２データに補正処理を施したデータであり、第２データは、第１データと異なる。

【0166】

第１データおよび第２データは、物体を透過した光を測定することで得られたデータ、若しくは、物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータである。

【0167】

図１９は、学習用データを示す図である。図１９（ａ）は、学習用データの生成を示す図である。図１９（ｂ）は、学習入力データと学習出力データの関係を示す図である。

【0168】

学習用データは、複数のデータ群を有する。図１９（ａ）には、データ群Ａ、データ群Ｂ、及びデータ群Ｚが図示されている。

【0169】

図１９（ａ）に示すように、データ群は、基本データと、変形データと、を有する。１つのデータ群における基本データは、他のデータ群における基本データと異なる。データを用いて画像を生成した場合、データ群Ａの基本データにおける画像は、データ群Ｂの基本データにおける画像、及びデータ群Ｚの基本データにおける画像と異なる。

【0170】

変形データは、基本データを変形したデータである。データの変形では、例えば、拡大、縮小、回転、ノイズ付加を行えば良い。

【0171】

変形データの数は１以上であれば良い。図１９（ａ）には、基本データ、第１変形データ、第２変形データ、及び第Ｎ変形データが図示されている。第１変形データでは、基本データにノイズを付加している。第２変形データでは、基本データを回転している。第Ｎ変形データでは、基本データを拡大、又は、基本データを縮小している。

【0172】

データ群Ａについては、基本データＡ、第１変形データａ１、第２変形データａ２、及び第Ｎ変形データａｎが図示されている。データ群Ｂについては、基本データＢ、第１変形データｂ１、第２変形データｂ２、及び第Ｎ変形データｂｎが図示されている。データ群Ｚについては、基本データＺ、第１変形データｚ１、第２変形データｚ２、及び第Ｎ変形データｚｎが図示されている。

【0173】

図１８に示すように、信頼度の算出では、測定データと復元データを使用する。第２ニューラルネットワークにおける学習では、学習用データの中から、測定データに対応するデータ（以下、「第１対応データ」という）と、復元データに対応するデータ（以下、「第２対応データ」という）を選択する。

【0174】

第１対応データには、基本データが用いられる。第２対応データには、変形データが用いられる。第１対応データは、上述の第１データに相当する。第２対応データは、上述の第１補正データ、又は第２補正データに対応する。

【0175】

第１対応データと第２対応データは、１つのデータ群から選択することができる。例えば、データ群Ｂの中から、第１対応データとして基本データＢを選択し、第２対応データとして第２変形データｂ２を選択する。第２変形データｂ２は、基本データＢを変形したデータである。そのため、第２変形データｂ２と基本データＢとの類似の度合いは高い。

【0176】

また、第１対応データと第２対応データは、２つのデータ群から選択することができる。例えば、データ群Ａの中から、第１対応データとして基本データＡを選択し、データ群Ｂの中から、第２対応データとして第１変形データｂ１を選択する。第１変形データｂ１は、基本データＡを変形したデータではない。そのため、第１変形データｂ１と基本データＡとの類似の度合いは低い。

【0177】

このように、第１対応データとして選択したデータと第２対応データとして選択したデータが同じデータ群から選択したデータの場合、２つのデータの類似の度合いは高い。これに対して、第１対応データとして選択したデータと第２対応データとして選択したデータが異なるデータ群から選択したデータの場合、２つのデータの類似の度合いは低い。

【0178】

類似の度合いは、信頼度とみなすことができる。図１９（ｂ）に示すように、第２ＤＮＮににおける第では、第１対応データと第２対応データの組み合わせを様々に変えて、学習入力データを作成する。学習入力データを第２ＤＮＮに入力することで、学習出力データが得られる。学習出力データにおける数値は、softmax関数の値で、信頼度を表す値として用いることができる。

【0179】

一点鎖線で示すように、学習入力データと学習出力データを１つのセットと捉えると、学習では、２種類の学習データセットが用いられる。第１学習データセットは、図１９（ｂ）に示すデータセット１である。第２学習データセットは、図１９（ｂ）に示すデータセット２である。

【0180】

データセット１の学習出力データでは、Trueの値が１．０で、Falseの値が０．０である。出力結果の真偽を表すデータを教師データとすると、データセット１の学習出力データは、真偽のうち真を示す教師データである。

【0181】

データセット２の学習出力データでは、Trueの値が０．０で、Falseの値が１．０である。よって、データセット２の学習出力データは、真偽のうち偽を示す教師データである。

【0182】

第１学習データセットは、第１対応データ、第２対応データ、及び真偽のうち真を示す教師データを含んでいる。第１学習データセットでは、第２対応データが属するデータ群は、第１対応データが属するデータ群と同じである。

【0183】

第２学習データセットは、第１対応データ、第２対応データ、及び真偽のうち偽を示す教師データを含んでいる。第２学習データセットでは、第２対応データが属するデータ群は、第１対応データが属するデータ群と異なる。

【0184】

第１対応データは、例えば、図３に示す測定データ、図５に示す第１比較データ、又は図５に示す第２比較データを用いることができる。

【0185】

また、第１対応データは、物体の３次元光学特性をモデル化した物体モデルを生成し、生成した物体モデルに順伝播演算を行うことで生成したデータであってもよい。このデータは測定データと同種のデータであり、測定データに対応する。

【0186】

（第２ＤＮＮにおける学習）
図２０は、第２ＤＮＮにおける学習の様子を示す図である。図２０に図示されている画像は、ＸＺ断面の画像である。

【0187】

図２０では、信頼度は、２つのデータが類似しているか否かの判断に用いることができる。基本データに測定データを使用している。上述のように、測定データは、物体を透過した光を測定することで得られたデータである。基本データに測定データを使用しているので、変形データも測定データを変形したデータである。

【0188】

第２ＤＮＮにおける学習は、図１２に示すＤＮＮにおける学習と基本的に同じである。よって、詳細な説明は省略する。第２ＤＮＮにおける学習と図１２に示すＤＮＮにおける学習との違いは、以下の通りである。

【0189】

（Ｉ）学習入力データの数
第２ＤＮＮでは、学習入力データの数は２つである。図１２に示すＤＮＮでは、学習入力データの数は１つである。
（ＩＩ）学習出力データの種類が学習入力データの種類
第２ＤＮＮでは、学習出力データの種類が学習入力データの種類と異なる。図１２に示すＤＮＮでは学習出力データの種類が学習入力データの種類と同じである。例えば、第２ＤＮＮでは、２つの画像から数値が出力されている。図１２に示すＤＮＮでは、１つの画像から１つの画像が出力されている。

【0190】

本実施形態のデータ処理方法は、信頼度を提示する提示ステップを、更に備えることが好ましい。

【0191】

上述のように、実施形態のデータ処理方法では、信頼度を求めることができる。そのため、信頼度を使って様々な提示を行うことができる。

【0192】

また、信頼度を使って様々な音を出すことができる。例えば、信頼度が低い場合にのみ音を出すことができる。表示や音によりユーザに信頼度を提示することができる。

【0193】

（第１の提示方法）
図２１は、第１の提示方法を示す図である。図２１（ａ）は、第１の提示方法のフローチャートである。図２１（ｂ）と図２１（ｃ）は、提示例を示す図である。図１と同じと同じステップには同じ番号を付し、説明は省略する。

【0194】

第１の提示方法は、ステップＳ５と、ステップＳ６と、ステップＳ７と、を有する。
ステップＳ５では、閾値と信頼度の値との比較が行われる。信頼度の値が閾値よりも大きい場合、ステップＳ６を実行する。信頼度の値が閾値と等しいか、又は信頼度の値が閾値よりも大きい場合、ステップＳ６を実行する。信頼度の値が閾値よりも小さい場合、ステップＳ７を実行する、

【0195】

ステップＳ６では「ＴＲＵＥ」を表示する。図２１（ｂ）に示すように、画像と共に「ＴＲＵＥ」の文字を表示することができる。ステップＳ７では「ＦＡＬＳＥ」を表示する。図２１（ｃ）に示すように、画像と共に「ＦＡＬＳＥ」の文字を表示することができる。

【0196】

信頼度の値と比較する閾値は１つでなくても良い。例えば、２つの閾値を使用して「信頼度高」「信頼度中」「信頼度低」という文字を表示することができる。

【0197】

ステップＳ６とステップＳ７とのうちいずれか一方でのみ表示を行っても良い。また、ステップＳ６とＳ７で異なる色を表示してもよい。例えば、ステップＳ６では青色、ステップＳ７では赤色を表示することができる。各色のＬＥＤを使用することができる。

【0198】

（第２の提示方法）
図２２は、第２の提示方法を示す図である。図２２（ａ）は、信頼度が高い場合の提示を示す図である。図２２（Ｂ）は、信頼度が中くらいの場合の提示を示す図である。図２２（ｃ）は、信頼度が低い場合の提示を示す図である。

【0199】

第２ＤＮＮでは、数値が出力される。そのため、第２ＤＮＮから出力された数値に基づいて、信頼度の数値を求めることができる。その結果、図２２（ａ）、図２２（ｂ）、及び図２２（ｃ）に示すように、信頼度を数値で表すことができる。信頼度の値に応じて、画像の周囲を色付けしても良い。例えば、信頼度が中くらいの場合、画像の周囲を黄色で囲む。信頼度が低い場合、画像の周囲を赤色で囲む。

【0200】

また、以下の文章を表示しても良い。
（ｉ）信頼度が中くらいの場合
「再構成結果が間違っている可能性があります。」
（ｉｉ）信頼度が低い場合
「再構成結果が間違っています。再測定してください。」

【0201】

本実施形態のデータ処理装置を、第１実施形態のデータ処理装置と、第２実施形態のデータ処理装置を用いて説明する。

【0202】

第１本実施形態のデータ処理装置は、メモリと、プロセッサと、を備え、メモリは、測定データを記憶し、プロセッサは、物体の３次元光学特性を推定する推定処理を実行し、３次元光学特性は、屈折率分布又は吸収率分布である。

【0203】

推定処理は、測定データをニューラルネットワークに入力する入力ステップと、測定データから推定データを生成する推定ステップと、推定データから復元データを生成する復元ステップと、測定データと復元データに基づいて、推定データの信頼度を算出する算出ステップと、を有する。

【0204】

ニューラルネットワークは、学習済みモデルであり、測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータである。

【0205】

推定では、ニューラルネットワークを用い、復元では、推定データに対して順伝播演算を行い、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求める。

【0206】

第２実施形態のデータ処理装置は、メモリと、プロセッサと、を備え、メモリは、測定データを記憶し、プロセッサは、物体の３次元光学特性を推定する推定処理を実行し、３次元光学特性は、屈折率分布又は吸収率分布である。

【0207】

推定処理は、測定データをニューラルネットワークに入力する入力ステップと、測定データから推定データを生成する推定ステップと、推定データから復元データを生成する復元ステップと、測定データと復元データに基づいて、推定データの信頼度を算出する算出ステップと、信頼度に反比例する量を損失として、ニューラルネットワークが学習する学習ステップと、を有する。

【0208】

測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータである。

【0209】

推定では、ニューラルネットワークを用い、復元では、推定データに対して順伝播演算を行い、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求める。

【0210】

図２３は、本実施形態のデータ処理装置を示す図である。データ処理装置２０は、メモリ２１と、プロセッサ２２と、を備える。メモリ２１は、測定データを記憶する。プロセッサ２２は、推定データの信頼度を算出する処理を実行する。３次元光学特性は、屈折率分布又は吸収率分布である。

【0211】

データ処理装置２０では、第１実施形態のデータ処理方法、又は第２実施形態のデータ処理方法が用いられる。よって、詳細な説明は省略する。

【0212】

本実施形態の三次元観察装置を、第１実施形態の三次元観察装置と、第２実施形態の三次元観察装置を用いて説明する。

【0213】

第１実施形態の三次元観察装置は、第１実施形態のデータ処理装置、又は第２実施形態のデータ処理装置と、物体を照明する光を出射する光源と、物体を透過した光を受光し、信号を生成するセンサと、を有する。

【0214】

図２４は、第1実施形態の三次元観察装置を示す図である。図２３と同じ構成については同じ番号を付し、説明は省略する。

【0215】

三次元観察装置３０は、光源３１と、センサ３２と、を有する。光源３１は、物体３３を照明する光を出射する。光源３１から出射した光で、物体３３が照明される。物体３３は、シャーレ３４で保持されている。センサ３２は、物体３３を透過した光を受光し、信号（以下、「検出信号」という）を生成する。

【0216】

検出信号は、データ処理装置２０に入力される。データ処理装置２０では、検出信号から、データが生成される。検出信号からデータを生成し、生成したデータをデータ処理装置２０に入力しても良い。生成されたデータは、物体３３を透過した光を測定することで得られるデータである。よって、データ処理装置２０では、測定データを用いて信頼度が算出される。

【0217】

第２実施形態の三次元観察装置は、光源と、センサと、物体に照明光を照射する照明系と、照明光を物体に導き、物体を透過した光をセンサに導く光学系と、を有する。

【0218】

図２５は、第２実施形態の三次元観察装置を示す図である。図２４と同じ構成については同じ番号を付し、説明は省略する。

【0219】

三次元観察装置４０は、光源４１と、コリメートレンズ４２と、ハーフミラー４３と、ミラー４４と、照明系５０と、検出系６０と、ハーフミラー４５と、センサ４６と、を有する。

【0220】

光源４１は、物体３３を照明する光を出射する。センサ４６は、物体３３を透過した光を受光し、信号を生成する。物体３３は、シャーレ３４で保持されている。

【0221】

光源４１から出射した光は、コリメートレンズ４２に入射する。コリメートレンズ４２から、平行光が出射する。平行光は、ハーフミラー４３に入射する。ハーフミラー４３から、反射光と透過光が出射する。透過光が進行する光路には、物体３３が位置している。反射光が進行する光路には、何も配置されていない。

【0222】

透過光はミラー４４で反射され、照明系５０に入射する。照明系５０は、レンズ５１と、レンズ５２と、を有する。照明系５０から出射した平行光は、物体３３に照射される。物体３３から出射した平行光は、検出系６０に入射する。

【0223】

検出系６０は、対物レンズ６１と、ミラー６２と、結像レンズ６３を有する。対物レンズ６１に入射した平行は、対物レンズ６１で集光された後、結像レンズ６３に入射する。結像レンズ６３には、発散光が入射する。

【0224】

結像レンズ６３の焦点位置は、対物レンズ６１における集光位置と一致している。よって、結像レンズ６３から平行光が出射する。平行光は、ハーフミラー４５に入射する。ハーフミラー４５には、ハーフミラー４３で反射した平行光が入射する。

【0225】

物体３３を通過した平行光はハーフミラー４３を通過し、物体３３を通過しない平行光はハーフミラー４３で反射される。そのため、センサ４６に、物体３３を通過した平行光と物体３３を通過しない平行光が入射する。その結果、干渉縞が形成される。干渉縞はセンサ４６で撮像される。センサ４６から、検出信号が出力される。

【0226】

検出信号は、データ処理装置２０に入力される。データ処理装置２０では、検出信号から、データが生成される。検出信号からデータを生成し、生成したデータをデータ処理装置２０に入力しても良い。生成されたデータは、物体３３を透過した光を測定することで得られるデータである。よって、データ処理装置２０では、測定データを用いて信頼度が算出される。

【0227】

三次元観察装置４０では、ミラー４４で、物体３３を照明する光が偏向される。そのため異なる照明角度で物体３３を照明することができる。この場合、図７で示すように、再構成データの正確さを高めることができる。

【0228】

本実施形態の三次元観察装置は、信頼度を提示する提示部を更に備えることが好ましい。

【0229】

図２４に示すように、三次元観察装置３０は表示部３５を備える。また、図２５に示すように、三次元観察装置４０は表示部３５を備える。表示部３５は提示部である。表示部３５の一例は、モニタである。表示部３５を備えることで、信頼度を表示することができる。信頼度は、復元データと共に表示することができる。

【0230】

表示部３５の代わりに、スピーカを備えることができる。信頼度をスピーカから音情報として出力することができる。表示部３５とスピーカはまとめて提示部とすることができる。

【0231】

本実施形態の記録媒体を、第１実施形態の記録媒体と、第２実施形態の記録媒体を用いて説明する。

【0232】

第１実施形態の記録媒体は、プログラムを記録したコンピュータ読み取り可能な記録媒体である。記録媒体には、メモリとプロセッサを備えたコンピュータに推定処理を実行させるためのプログラムが記録されている。

【0233】

推定処理では、物体の３次元光学特性を推定する。３次元光学特性は、屈折率分布又は吸収率分布である。

【0234】

プロセッサに、メモリに記憶した測定データを、ニューラルネットワークに入力する処理と、測定データから推定データを生成する処理と、推定データから復元データを生成する処理と、測定データと復元データに基づいて、推定データの信頼度を算出する処理と、を実行させる。

【0235】

ニューラルネットワークは、学習済みモデルであり、測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータである。

【0236】

推定では、ニューラルネットワークを用い、復元では、推定データに対して順伝播演算を行い、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求める。

【0237】

第２実施形態の記録媒体は、プログラムを記録したコンピュータ読み取り可能な記録媒体である。記録媒体には、メモリとプロセッサを備えたコンピュータに推定処理を実行させるためのプログラムが記録されている。

【0238】

推定処理では、物体の３次元光学特性を推定する。３次元光学特性は、屈折率分布又は吸収率分布である。

【0239】

プロセッサに、メモリに記憶した測定データを、ニューラルネットワークに入力する処理と、測定データから推定データを生成する処理と、推定データから復元データを生成する処理と、測定データと復元データに基づいて、推定データの信頼度を算出する処理と、信頼度に反比例する量を損失として、ニューラルネットワークが学習する処理と、を実行させる。

【0240】

測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータである。

【0241】

推定では、ニューラルネットワークを用い、復元では、推定データに対して順伝播演算を行い、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順次求める。

【0242】

本実施形態の学習方法は、推定データの信頼度を算出するニューラルネットワークに対する学習方法であって、推定データの信頼度は、測定データと復元データとに基づいて算出される。

【0243】

測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータであり、３次元光学特性は、屈折率分布又は吸収率分布である。

【0244】

復元データは、推定データに対して順伝播演算を行って生成したデータであり、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順に求める。

【0245】

本実施形態の学習方法では、第１学習データセットを用いて学習する第１学習ステップと、第２学習データセットを用いて学習する第２学習ステップと、を有し、第１学習ステップと第２学習ステップは、繰り返し実施される。

【0246】

第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、第２学習データセットは、第１データ、第２補正データ、真偽のうち偽を示す教師データを含む。

【0247】

第１補正データは、第１データに補正処理を施したデータであり、第２補正データは、第２データに補正処理を施したデータであり、第２データは、第１データと異なる。

【0248】

第１データおよび第２データは、物体を透過した光を測定することで得られたデータ、若しくは、物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータである。

【0249】

本実施形態の学習方法では、第１データに施す補正処理と第２データに施す補正処理は、変形処理、回転処理及びノイズ付加処理のうち、少なくとも１つの処理を含むことが好ましい。

【0250】

本実施形態の学習装置は、メモリと、プロセッサと、を備え、メモリは、測定データを記憶し、プロセッサは、推定データの信頼度を算出するニューラルネットワークに対して学習処理を実行する。

【0251】

推定データの信頼度は、測定データと復元データとに基づいて算出され、測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータであり、３次元光学特性は、屈折率分布又は吸収率分布である。

【0252】

復元データは、推定データに対して順伝播演算を行って生成したデータであり、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順に求める。

【0253】

学習処理は、第１学習データセットを用いて学習する第１学習ステップと、第２学習データセットを用いて学習する第２学習ステップと、を有し、第１学習ステップと第２学習ステップは、繰り返し実施される。

【0254】

第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、第２学習データセットは、第１データ、第２補正データ、真偽のうち偽を示す教師データを含む。

【0255】

第１補正データは、第１データに補正処理を施したデータであり、第２補正データは、第２データに補正処理を施したデータであり、第２データは、第１データと異なる。

【0256】

第１データおよび第２データは、物体を透過した光を測定することで得られたデータ、若しくは、物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータである。

【0257】

本実施形態の記録媒体を、第３実施形態の記録媒体を用いて説明する。

【0258】

第３実施形態の記録媒体は、プログラムを記録したコンピュータ読み取り可能な記録媒体である。記録媒体には、メモリとプロセッサを備えたコンピュータにニューラルネットワークに対する学習処理を実行させるためのプログラムが記録されている。

【0259】

ニューラルネットワークは、測定データと復元データとに基づいて推定データの信頼度を算出し、測定データは、物体を透過した光を測定することで得られたデータであり、推定データは、測定データから推定した物体の３次元光学特性のデータであり、３次元光学特性は、屈折率分布又は吸収率分布である。

【0260】

復元データは、推定データに対して順伝播演算を行って生成したデータであり、順伝播演算では、測定データから推定した物体の内部を通過する波面を、光が進行する方向に順に求める。

【0261】

第１学習データセットを用いて学習する第１学習ステップと、第２学習データセットを用いて学習する第２学習ステップと、を有し、第１学習ステップと第２学習ステップは、繰り返し実施される。

【0262】

第１学習データセットは、第１データ、第１補正データ、真偽のうち真を示す教師データを含み、第２学習データセットは、第１データ、第２補正データ、真偽のうち偽を示す教師データを含む。

【0263】

第１補正データは、第１データに補正処理を施したデータであり、第２補正データは、第２データに補正処理を施したデータであり、第２データは、第１データと異なる。

【0264】

第１データおよび第２データは、物体を透過した光を測定することで得られたデータ、若しくは、物体の３次元光学特性をモデル化した物体モデルに順伝播演算を行うことで生成したデータである。

【産業上の利用可能性】

【0265】

本発明は、推定の信頼度が分かる指標を生成するデータ処理方法、データ処理装置、三次元観察装置及び記録媒体、推定の信頼度が分かる指標を生成するための学習方法、学習装置及び記録媒体に適している。

【符号の説明】

【0266】

１ 物体
２ 照明光
３ 撮像ユニット
４ 光学系
５ 撮像素子
１０ 対物レンズ
１１ 結像レンズ
１２ 物体
１２’ 推定物体
１３ 結像面
２０ データ処理装置
２１ メモリ
２２ プロセッサ
３０ 三次元観察装置
３１ 光源
３２ センサ
３３ 物体
３４ シャーレ
３５ 表示部
４０ 三次元観察装置
４１ 光源
４２ コリメートレンズ
４３ ハーフミラー
４４ ミラー
４５ ハーフミラー
４６ センサ
５０ 照明系
５１、５２ レンズ
６０ 検出系
６１ 対物レンズ
６２ ミラー
６３ 結像レンズ
ＩＭ 光学像
ＩＰ 結像面
Ｚfo 合焦位置
Ｐ１、Ｐ２、ＰＮ 位置
Ｅin１、Ｅout１、Ｅin２、Ｅout２、Ｅout 電場
Ｎ１、Ｎ２ 複素屈折率
Ｗin 入射波面
Ｗout 出射波面
Ｆo１Ｆo2 合焦位置
θILL 照明角度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】