知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】超解像処理方法、超解像処理装置およびプログラム
(51)【国際特許分類】
G01Q 30/04 20100101AFI20241107BHJP
G06T 3/4046 20240101ALI20241107BHJP
G06T 3/4053 20240101ALI20241107BHJP
G06T 1/00 20060101ALI20241107BHJP
G01Q 60/24 20100101ALI20241107BHJP
【ＦＩ】
G01Q30/04
G06T3/4046
G06T3/4053
G06T1/00 290Z
G01Q60/24
【請求項の数】
5
(21)【出願番号】P 2023198727
(22)【出願日】2023-11-23
【審査請求日】2024-07-05
【国等の委託研究の成果に係る記載事項】（出願人による申告）２０２０年度、国立研究開発法人新エネルギー・産業技術総合開発機構「人と共に進化する次世代人工知能に関する技術開発事業」研究開発項目〔１〕「人と共に進化する ＡＩシステムの基盤技術開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
【早期審査対象出願】
(73)【特許権者】
【識別番号】321014724
【氏名又は名称】株式会社分子ロボット総合研究所
(74)【代理人】
【識別番号】100120916
【弁理士】
【氏名又は名称】佐藤 壽見子
(72)【発明者】
【氏名】小長谷 明彦
(72)【発明者】
【氏名】葛谷 明紀
【審査官】前田 敏行
(56)【参考文献】
【文献】特表２０２０－５２９０８３（ＪＰ，Ａ）
【文献】特開２０２２－０１３２２６（ＪＰ，Ａ）
【文献】国際公開第２０２２／００８６６７（ＷＯ，Ａ１）
【文献】中国特許出願公開第１１４８９７６９３（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｑ ３０／０４
Ｇ０６Ｔ ３／４０４６
Ｇ０６Ｔ ３／４０５３
Ｇ０６Ｔ １／００
Ｇ０１Ｑ ６０／２４
(57)【特許請求の範囲】
【請求項1】
超解像処理を実行する方法であって、顕微鏡で撮影した低解像度のリアル画像を取得するステップと、
異なる条件下でシミュレーションを実行してシミュレーション画像を作成するステップと、
前記リアル画像と前記シミュレーション画像とを訓練データとするニューラルネットワーク（以下、「ＮＮ」）の学習によって前記リアル画像よりも鮮明な高解像度画像を取得するステップと、からなり、
前記リアル画像は、
走査型プローブ顕微鏡（以下、「ＳＰＭ」）好ましくは原子間力顕微鏡（以下、「ＡＦＭ」）から取得したＤＮＡの画像であり、
前記シミュレーション画像は、
誤差を含まないＸ線結晶構造データを基に仮想現実（以下、「ＶＲ」）のシステム上で作成した仮想ＤＮＡに対し、仮想ＳＰＭの径の異なる仮想探針により且つ異なる解像度で走査するシミュレーションを行って得た複数のシミュレーション画像であり、仮想低解像度画像および仮想高解像度画像が含まれることを特徴とする画像処理方法。
【請求項2】
複数の前記シミュレーション画像を訓練データとして、低解像度の画像を高解像度の画像に変換するように第１のＮＮを学習して、超解像処理をするステップと、
前記リアル画像と前記仮想低解像度画像とを訓練データとして、リアルな領域の画像とシミュレーションの領域の画像とがほぼ１対１に対応するように第２のＮＮを学習して、領域変換をするステップと、
前記リアルな領域の画像から領域変換によって生成された低解像度画像を、学習済の前記第１のＮＮに入力して高解像度画像を生成し、この生成された高解像度画像と前記リアル画像とができるだけ一致するように第３のＮＮを学習して、前記生成された高解像度画像を微調整するステップと、からなることを特徴とする請求項１に記載の画像処理方法。
【請求項3】
前記第１～第３のＮＮは、訓練データからデータを生成するジェネレータと、
生成したデータと訓練データとの近さを判定するディスクリミネータとを互いに敵対的に学習させる敵対的生成ネットワーク（以下、「ＧＡＮ」）であることを特徴とする請求項２に記載の画像処理方法。
【請求項4】
顕微鏡で撮影した低解像度のリアル画像を取得する手段と、
異なる条件下でシミュレーションを実行することによってシミュレーション画像を作成する手段と、
前記リアル画像と前記シミュレーション画像とを訓練データとするニューラルネットワーク（以下、「ＮＮ」）の学習によって前記リアル画像よりも鮮明な高解像度画像を取得する手段と、を備え
前記リアル画像は、
走査型プローブ顕微鏡（以下、「ＳＰＭ」）好ましくは原子間力顕微鏡（以下、「ＡＦＭ」）から取得したＤＮＡの画像であり、
前記シミュレーション画像は、
誤差を含まないＸ線結晶構造データを基に仮想現実（以下、「ＶＲ」）のシステム上で作成した仮想ＤＮＡに対し、仮想ＳＰＭの径の異なる仮想探針により且つ異なる解像度で走査するシミュレーションを行って得た複数のシミュレーション画像であり、仮想低解像度画像および仮想高解像度画像が含まれることを特徴とする超解像処理装置。
【請求項5】
コンピュータを
顕微鏡で撮影した低解像度のリアル画像を取得する手段と、
異なる条件下でシミュレーションを実行することによってシミュレーション画像を作成する手段と、
前記リアル画像と前記シミュレーション画像とを訓練データとするニューラルネットワーク（以下、「ＮＮ」）の学習によって前記リアル画像よりも鮮明な高解像度画像を取得する手段と、
して超解像処理を実行させ、
前記リアル画像は、
走査型プローブ顕微鏡（以下、「ＳＰＭ」）好ましくは原子間力顕微鏡（以下、「ＡＦＭ」）から取得したＤＮＡの画像であり、
前記シミュレーション画像は、
誤差を含まないＸ線結晶構造データを基に仮想現実（以下、「ＶＲ」）のシステム上で作成した仮想ＤＮＡに対し、仮想ＳＰＭの径の異なる仮想探針により且つ異なる解像度で走査するシミュレーションを行って得た複数のシミュレーション画像であり、仮想低解像度画像および仮想高解像度画像が含まれることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
走査型プローブ顕微鏡を用いて撮影した、低解像度の画像をニューラルネットワークと仮想現実とを組み合わせて、高解像度の画像に変換する超解像処理の方法、装置およびプログラムに関する。
【背景技術】
【0002】
原子間力顕微鏡（以下、「ＡＦＭ」)をはじめとする走査型プローブ顕微鏡（以下、「ＳＰＭ」）は、ＤＮＡやがん細胞などの微小な対象の表面形状を計測する装置である。ＡＦＭ、ＳＰＭについては、既存の技術であり、特許文献１をはじめ関連する特許出願が多数あることから、詳細な説明は省略する。
ＳＰＭでＤＮＡ試料のような微小な対象物の画像を取得する場合、ＳＰＭの探針の径と走査の解像度によっては、図１に例示するようなぼやっとした画像しか得ることができず、主溝や副溝などの詳細を観察できないことがある。そこで、ＡＦＭによって複数の画像を取得し、これらを超解像処理（元の画像よりも鮮明な画像を生成する方法）によって高解像度の画像に変換することが試みられている。
ＳＰＭでＤＮＡ試料のような微小な対象物の画像を取得する場合、ＳＰＭの探針の径と走査の解像度によっては、図１に例示するようなぼやっとした画像しか得ることができず、主溝や副溝などの詳細を観察できないことがある。そこで、ＡＦＭによって複数の画像を取得し、これらを超解像処理（元の画像よりも鮮明な画像を生成する方法）によって高解像度の画像に変換することが試みられている。
【0003】
ところで、超解像処理は、ＳＰＭ画像を対象とするものに限らず、画像処理の一般的な技術として、多数特許出願がなされている（特許文献２、特許文献３など）。
【先行技術文献】
【特許文献】
【0004】
【文献】WO2017/145381公報
【文献】WO2020/175446公報
【文献】特開2021-170284号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
超解像処理には、深層学習を用いて複数の画像から学習する手法があり、特許出願されているだけでなく、これに関する論文もすでに報告されている。ただ、これらの研究は、大量の顕微鏡画像データを重ね合わせて超解像処理する方法に偏っていて、画像データのノイズを完全に除去できないという原理的な限界がある。統計でいう「大数の法則」を応用するようなもので試行回数を増やせば平均値に近づくという原理を使っているのであるが、正規分布に近い誤差は取り除けない。図２は、複数の画像I１～I３を重ね合わせて、平均的な画像Jを得ることを示している。画像I１～I３はそれぞれノイズを含んでいるが、重ね合わせによってノイズが目立たない画像Jとなる。しかし、この方法では誤差を完全に除去することは原理的に不可能である。
【0006】
さらに、ＡＦＭをはじめとするＳＰＭの必須部品である探針は高価な消耗品であり、そのうえＳＰＭの操作には熟練を要するという問題がある。ＤＮＡ表面の走査を水中で行うといった特有の操作法があり、操作に習熟していないと、画像らしきものを満足に得ることすら容易でない。ぼやっとした低解像度の画像を得ることさえ容易でない以上、深層学習に必要な複数の訓練データ（「学習データ」、「学習用データ」等も同義である）を得ることは現実的でない。
【0007】
このような問題に鑑み、本発明は低解像度のＳＰＭ画像が１枚だけしかなくても、誤差の無い高解像度画像を得ることを目的とする。
【課題を解決するための手段】
【0008】
上記の課題解決のために、本発明の画像処理方法は、
超解像処理を実行する方法であって、
顕微鏡で撮影した低解像度のリアル画像を取得するステップと、
異なる条件下でシミュレーションを実行してシミュレーション画像を作成するステップと、
前記リアル画像と前記シミュレーション画像とを訓練データとするニューラルネットワーク（以下、「ＮＮ」）の学習によって前記リアル画像よりも鮮明な高解像度画像を取得するステップと、からなることを特徴とする。
超解像処理を実行する方法であって、
顕微鏡で撮影した低解像度のリアル画像を取得するステップと、
異なる条件下でシミュレーションを実行してシミュレーション画像を作成するステップと、
前記リアル画像と前記シミュレーション画像とを訓練データとするニューラルネットワーク（以下、「ＮＮ」）の学習によって前記リアル画像よりも鮮明な高解像度画像を取得するステップと、からなることを特徴とする。
【0009】
本発明の画像処理方法において、前記リアル画像は、
走査型プローブ顕微鏡（以下、「ＳＰＭ」）好ましくは原子間力顕微鏡（以下、「ＡＦＭ」）から取得したＤＮＡの画像であり、
前記シミュレーション画像は、
誤差を含まないＸ線結晶構造データを基に仮想現実（以下、「ＶＲ」）のシステム上で作成した仮想ＤＮＡに対し、仮想ＳＰＭの径の異なる仮想探針により且つ異なる解像度で走査するシミュレーションを行って得た複数のシミュレーション画像であって、仮想低解像度画像および仮想高解像度画像が含まれる。
この処理方法は、複数の前記シミュレーション画像を訓練データとして、低解像度の画像を高解像度の画像に変換するように第１のＮＮを学習して、超解像処理をするステップと、
前記リアル画像と前記仮想低解像度画像とを訓練データとして、リアルな領域の画像とシミュレーションの領域の画像とがほぼ１対１に対応するように第２のＮＮを学習して、領域変換をするステップと、
前記リアルな領域の画像から領域変換によって生成された低解像度画像を、学習済の前記第１のＮＮに入力して高解像度画像を生成し、この生成された高解像度画像と前記リアル画像とができるだけ一致するように第３のＮＮを学習して、前記生成された高解像度画像を微調整するステップと、を実行するものであってもよい。
走査型プローブ顕微鏡（以下、「ＳＰＭ」）好ましくは原子間力顕微鏡（以下、「ＡＦＭ」）から取得したＤＮＡの画像であり、
前記シミュレーション画像は、
誤差を含まないＸ線結晶構造データを基に仮想現実（以下、「ＶＲ」）のシステム上で作成した仮想ＤＮＡに対し、仮想ＳＰＭの径の異なる仮想探針により且つ異なる解像度で走査するシミュレーションを行って得た複数のシミュレーション画像であって、仮想低解像度画像および仮想高解像度画像が含まれる。
この処理方法は、複数の前記シミュレーション画像を訓練データとして、低解像度の画像を高解像度の画像に変換するように第１のＮＮを学習して、超解像処理をするステップと、
前記リアル画像と前記仮想低解像度画像とを訓練データとして、リアルな領域の画像とシミュレーションの領域の画像とがほぼ１対１に対応するように第２のＮＮを学習して、領域変換をするステップと、
前記リアルな領域の画像から領域変換によって生成された低解像度画像を、学習済の前記第１のＮＮに入力して高解像度画像を生成し、この生成された高解像度画像と前記リアル画像とができるだけ一致するように第３のＮＮを学習して、前記生成された高解像度画像を微調整するステップと、を実行するものであってもよい。
【0010】
前記第１～第３のＮＮは、訓練データからデータを生成するジェネレータと、
生成したデータと訓練データとの近さを判定するディスクリミネータとを互いに敵対的に学習させる敵対的生成ネットワーク（以下、「ＧＡＮ」）であってもよい。
生成したデータと訓練データとの近さを判定するディスクリミネータとを互いに敵対的に学習させる敵対的生成ネットワーク（以下、「ＧＡＮ」）であってもよい。
【発明の効果】
【0011】
ＳＰＭによって低解像度の画像が１枚得られたならば、このＳＰＭ画像から仮想的な高解像度画像を生成できる。
ＳＰＭの実際の操作を必要最小限とすることができるので、ＳＰＭの消耗品の使用に伴う高額な費用と、ＳＰＭの操作に高い習熟度が要求されるという２つの困難を軽減できる。
ＳＰＭの実際の操作を必要最小限とすることができるので、ＳＰＭの消耗品の使用に伴う高額な費用と、ＳＰＭの操作に高い習熟度が要求されるという２つの困難を軽減できる。
【図面の簡単な説明】
【0012】
【図1】ＡＦＭのリアル画像を例示する図である。
【図2】複数のＡＦＭのリアル画像を重ね合わせて、平均的な画像を生成する従来の画像処理を説明する図である。
【図3】本実施形態の機能概要を説明する図である。
【図4】本実施形態のシステム構成およびブロック構成の図である。
【図5】本実施形態の仮想の訓練データを得るために実行するシミュレーションを説明する図である。
【図6】ｃｙｃｌｅＧＡＮの一般的な説明をするための図である。
【図7】本実施形態の超解像処理を説明する図である。
【図8】本実施形態の領域変換処理を説明する図である。
【図9】本実施形態で用いる適正な入力画像サイズを説明する図である。
【図10】本実施形態の高解像度ＡＦＭ画像微調整処理を説明する図である。
【発明を実施するための形態】
【0013】
本発明の一実施の形態である超解像処理装置について、下記の順に説明する。
〔１．本実施形態の概要説明〕
〔２．超解像処理装置の構成〕
〔２－１．システム構成〕
〔２－２．機能ブロック構成〕
〔３．超解像処理装置の動作〕
〔３－１．ＡＦＭのリアル画像データの取得〕
〔３－２．シミュレーションによる訓練データの生成〕
〔３－３．ＡＦＭのリアル画像の超解像処理〕
〔３－３－１．ｃｙｃｌｅＧＡＮの一般的な説明〕
〔３－３－２．第１のｃｙｃｌｅＧＡＮによる超解像処理〕
〔３－３－３．第２のｃｙｃｌｅＧＡＮによる領域変換処理〕
〔３－３－４．第３のｃｙｃｌｅＧＡＮによる高解像度ＡＦＭ画像微調整処理〕
〔１．本実施形態の概要説明〕
〔２．超解像処理装置の構成〕
〔２－１．システム構成〕
〔２－２．機能ブロック構成〕
〔３．超解像処理装置の動作〕
〔３－１．ＡＦＭのリアル画像データの取得〕
〔３－２．シミュレーションによる訓練データの生成〕
〔３－３．ＡＦＭのリアル画像の超解像処理〕
〔３－３－１．ｃｙｃｌｅＧＡＮの一般的な説明〕
〔３－３－２．第１のｃｙｃｌｅＧＡＮによる超解像処理〕
〔３－３－３．第２のｃｙｃｌｅＧＡＮによる領域変換処理〕
〔３－３－４．第３のｃｙｃｌｅＧＡＮによる高解像度ＡＦＭ画像微調整処理〕
【0014】
〔１．本実施形態の概要説明〕
図３に従い、本実施形態の概要を説明する。
ＶＲシステムで仮想ＤＮＡを作成し、これをシミュレーションして低解像度画像（ＶＬＩ）と高解像度画像（ＶＨＩ）を生成する。この画像ＶＬＩと画像ＶＨＩを訓練データとして、低解像度画像を高解像度画像に変換する第１のＮＮ（本実施形態ではＧＡＮを使用するので、以下「ＧＡＮ」ともいう）を学習する。
一方、第２のＧＡＮは、リアルＡＦＭ画像（ＲＡＩ）と画像ＶＬＩとを訓練データとして、学習する。この学習によって最終的には、生成ＡＦＭ画像（ＧＡＩ）と画像ＶＬＩをほぼ１対１対応させ、画像ＲＡＩと仮想低解像度画像（ＧＬＩ）をほぼ１対１に対応させる。この学習によって、画像ＲＡＩと画像ＧＡＩ、および画像ＧＬＩと画像ＶＬＩとがほぼ一致する程度まで似ているならば、画像ＲＡＩと画像ＧＬＩとがほぼ一致する程度まで似ているとみなしてもよいことになる。
画像ＧＬＩが画像ＶＬＩとほぼ１対１対応しているならば、画像ＶＬＩと画像ＶＨＩとを訓練データとして学習した第１のＧＡＮの学習結果を利用して画像ＧＬＩから仮想高解像度ＡＦＭ画像（ＧＨＩ）を生成することができる。ここで第２のＧＡＮの学習結果によって画像ＲＡＩと１対１対応する画像ＧＬＩが生成され、生成された画像ＧＬＩと１対１対応する画像ＧＨＩが生成された。この画像ＧＨＩは画像ＲＡＩとほぼ一致する程度まで似ているとみなしてよいが、画像ＧＨＩの精度を一層高めるために、第３のＧＡＮを学習する。最終的には入力されたリアルＡＦＭ画像（ＲＡＩ）とほぼ同一視できるような高解像度の画像ＧＨＩを得ることが目標なのである。
図３に従い、本実施形態の概要を説明する。
ＶＲシステムで仮想ＤＮＡを作成し、これをシミュレーションして低解像度画像（ＶＬＩ）と高解像度画像（ＶＨＩ）を生成する。この画像ＶＬＩと画像ＶＨＩを訓練データとして、低解像度画像を高解像度画像に変換する第１のＮＮ（本実施形態ではＧＡＮを使用するので、以下「ＧＡＮ」ともいう）を学習する。
一方、第２のＧＡＮは、リアルＡＦＭ画像（ＲＡＩ）と画像ＶＬＩとを訓練データとして、学習する。この学習によって最終的には、生成ＡＦＭ画像（ＧＡＩ）と画像ＶＬＩをほぼ１対１対応させ、画像ＲＡＩと仮想低解像度画像（ＧＬＩ）をほぼ１対１に対応させる。この学習によって、画像ＲＡＩと画像ＧＡＩ、および画像ＧＬＩと画像ＶＬＩとがほぼ一致する程度まで似ているならば、画像ＲＡＩと画像ＧＬＩとがほぼ一致する程度まで似ているとみなしてもよいことになる。
画像ＧＬＩが画像ＶＬＩとほぼ１対１対応しているならば、画像ＶＬＩと画像ＶＨＩとを訓練データとして学習した第１のＧＡＮの学習結果を利用して画像ＧＬＩから仮想高解像度ＡＦＭ画像（ＧＨＩ）を生成することができる。ここで第２のＧＡＮの学習結果によって画像ＲＡＩと１対１対応する画像ＧＬＩが生成され、生成された画像ＧＬＩと１対１対応する画像ＧＨＩが生成された。この画像ＧＨＩは画像ＲＡＩとほぼ一致する程度まで似ているとみなしてよいが、画像ＧＨＩの精度を一層高めるために、第３のＧＡＮを学習する。最終的には入力されたリアルＡＦＭ画像（ＲＡＩ）とほぼ同一視できるような高解像度の画像ＧＨＩを得ることが目標なのである。
【0015】
図３において、太線の円で囲んだ画像が訓練データであり、それ以外はＧＡＮによって生成された画像である。
図３では、ＲＡＩをはじめ画像を英３文字で表現しているが、それぞれの意味は次のとおりである。
ＲＡＩは、「リアルＡＦＭ画像」（Ｒeal Ａfm Ｉmage）を意味する。
ＶＬＩは、「仮想低解像度画像」（Ｖirtual Ｌow-resolution Ｉmage）を意味する。
ＶＨＩは、「仮想高解像度画像」（Ｖirtual Ｈigh-resolutionＩmage）を意味する。
ＧＡＩは、「生成したＡＦＭ画像」（Ｇenerated Ａfm Ｉmage）を意味する。
ＧＬＩは、「生成した仮想低解像度ＡＦＭ画像」（Ｇenerated Ｌow-resolution Ｉmage）を意味する。
ＧＨＩは、「生成した仮想高解像度ＡＦＭ画像」（Ｇenerated Ｈigh-resolutionＩImage）を意味する。
図３では、ＲＡＩをはじめ画像を英３文字で表現しているが、それぞれの意味は次のとおりである。
ＲＡＩは、「リアルＡＦＭ画像」（Ｒeal Ａfm Ｉmage）を意味する。
ＶＬＩは、「仮想低解像度画像」（Ｖirtual Ｌow-resolution Ｉmage）を意味する。
ＶＨＩは、「仮想高解像度画像」（Ｖirtual Ｈigh-resolutionＩmage）を意味する。
ＧＡＩは、「生成したＡＦＭ画像」（Ｇenerated Ａfm Ｉmage）を意味する。
ＧＬＩは、「生成した仮想低解像度ＡＦＭ画像」（Ｇenerated Ｌow-resolution Ｉmage）を意味する。
ＧＨＩは、「生成した仮想高解像度ＡＦＭ画像」（Ｇenerated Ｈigh-resolutionＩImage）を意味する。
【0016】
〔２．超解像処理装置の構成〕
本実施形態の超解像処理装置の構成について、図面を参照しながら説明する。
本実施形態の超解像処理装置の構成について、図面を参照しながら説明する。
【0017】
〔２－１．システム構成〕
図４に示すように、超解像処理装置１は、ＡＦＭ２を使用して撮影したリアルな画像（ＲＡＩ）３を通信回線を介して、あるいはＵＳＢメモリなどの記憶媒体を介して入力データとする。本実施形態では、ＡＦＭを用いて取得した本物の画像を「リアルＡＦＭ画像」（ＲＡＩ）といい、これに対して、ＶＲ（仮想現実）システム４によって作成された仮想ＤＮＡから、いろいろな条件下でのシミュレーションにより生成された画像を「シミュレーション画像」（ＶＬＩとＶＨＩ）という。
超解像処理装置１は、リアルなＡＦＭ画像（ＲＡＩ）３と、生成されたシミュレーション画像（ＶＬＩとＶＨＩ）とを訓練データとして超解像処理を実行し、最終的にリアルなＡＦＭ画像（ＲＡＩ）３を超解像処理した高解像度画像（ＧＨＩ）７が生成される。
図４に示すように、超解像処理装置１は、ＡＦＭ２を使用して撮影したリアルな画像（ＲＡＩ）３を通信回線を介して、あるいはＵＳＢメモリなどの記憶媒体を介して入力データとする。本実施形態では、ＡＦＭを用いて取得した本物の画像を「リアルＡＦＭ画像」（ＲＡＩ）といい、これに対して、ＶＲ（仮想現実）システム４によって作成された仮想ＤＮＡから、いろいろな条件下でのシミュレーションにより生成された画像を「シミュレーション画像」（ＶＬＩとＶＨＩ）という。
超解像処理装置１は、リアルなＡＦＭ画像（ＲＡＩ）３と、生成されたシミュレーション画像（ＶＬＩとＶＨＩ）とを訓練データとして超解像処理を実行し、最終的にリアルなＡＦＭ画像（ＲＡＩ）３を超解像処理した高解像度画像（ＧＨＩ）７が生成される。
【0018】
〔２－２．機能ブロック構成〕
図４に示すように、超解像処理装置１の機能ブロックは、シミュレーション画像生成部１１と、高解像度画像生成部１２に大別される。これらの各部は、コンピュータプログラムをメモリ上に展開し、ＣＰＵが実行することにより実現される。超解像処理装置１は、記憶部、入出力部、通信インターフェース部なども備えるが、これらの図示および説明は省略する。
超解像処理装置１は、ＶＲシステム４から、Ｘ線結晶構造データ５に基づいて作成された仮想ＤＮＡデータ６をシミュレーション画像（ＶＬＩとＶＨＩ）の取得に利用する。この仮想ＤＮＡデータ６に対して、シミュレーション画像生成部１１はさまざまな条件下で走査シミュレーションを実行する。
高解像度画像生成部１２は、第１のＮＮに相当する超解像処理部１２１と、第２のＮＮに相当する領域変換処理部１２２と、第３のＮＮに相当する高解像度ＡＦＭ画像微調整処理部１２３とを備える。
図４に示すように、超解像処理装置１の機能ブロックは、シミュレーション画像生成部１１と、高解像度画像生成部１２に大別される。これらの各部は、コンピュータプログラムをメモリ上に展開し、ＣＰＵが実行することにより実現される。超解像処理装置１は、記憶部、入出力部、通信インターフェース部なども備えるが、これらの図示および説明は省略する。
超解像処理装置１は、ＶＲシステム４から、Ｘ線結晶構造データ５に基づいて作成された仮想ＤＮＡデータ６をシミュレーション画像（ＶＬＩとＶＨＩ）の取得に利用する。この仮想ＤＮＡデータ６に対して、シミュレーション画像生成部１１はさまざまな条件下で走査シミュレーションを実行する。
高解像度画像生成部１２は、第１のＮＮに相当する超解像処理部１２１と、第２のＮＮに相当する領域変換処理部１２２と、第３のＮＮに相当する高解像度ＡＦＭ画像微調整処理部１２３とを備える。
【0019】
超解像処理部１２１は、シミュレーション低解像度画像（ＶＬＩ）８とシミュレーション高解像度画像（ＶＨＩ）９とが１対１となるように深層学習を行う。超解像処理部１２１での学習は、複数ある画像ＶＬＩから1枚取り出し、これと画像ＶＨＩを組み合わせた画像のペアを複数作り、各ペアを訓練データとする。ここで学習した結果は、高解像度ＡＦＭ画像微調整処理部１２３でも利用される。
超解像処理装置１は、ＡＦＭ２のリアルな画像（ＲＡＩ）と、走査シミュレーションで取得したシミュレーション画像（ＶＬＩとＶＨＩ)とを訓練データとして、学習を行う。ＲＡＩとＶＬＩ・ＶＨＩは特性が異なる領域のデータであるため、領域変換処理が必要となる。そこで、領域変換処理部１２２が両領域の画像ができるだけ１対１に対応するように深層学習を行う。
図３に示すように、仮想低解像度ＡＦＭ画像（ＧＬＩ）を、超解像処理部１２１の事前学習結果を利用して仮想高解像度ＡＦＭ画像（ＧＨＩ）を生成する。この画像ＧＨＩは、画像ＲＡＩを超解像処理した結果であるが、画像ＲＡＩに一層似せるために微調整する。
超解像処理装置１は、ＡＦＭ２のリアルな画像（ＲＡＩ）と、走査シミュレーションで取得したシミュレーション画像（ＶＬＩとＶＨＩ)とを訓練データとして、学習を行う。ＲＡＩとＶＬＩ・ＶＨＩは特性が異なる領域のデータであるため、領域変換処理が必要となる。そこで、領域変換処理部１２２が両領域の画像ができるだけ１対１に対応するように深層学習を行う。
図３に示すように、仮想低解像度ＡＦＭ画像（ＧＬＩ）を、超解像処理部１２１の事前学習結果を利用して仮想高解像度ＡＦＭ画像（ＧＨＩ）を生成する。この画像ＧＨＩは、画像ＲＡＩを超解像処理した結果であるが、画像ＲＡＩに一層似せるために微調整する。
【0020】
〔３．超解像処理装置の動作〕
超解像処理装置１の動作を、シミュレーション画像生成部１１と、３種類のＧＡＮによる処理を中心に説明する。
超解像処理装置１の動作を、シミュレーション画像生成部１１と、３種類のＧＡＮによる処理を中心に説明する。
【0021】
〔３－１．ＡＦＭのリアル画像データの取得〕
ＡＦＭ２から超解像処理装置１は、通信ネットワークを介したりＵＳＢメモリなどの記憶媒体を介したりしてリアルなＡＦＭ画像（ＲＡＩ）を入力する。 この画像ＲＡＩは、直交するＸＹ平面上の2次元画像であり、Ｚ方向の情報は、濃淡であらわされる（図１参照）。入力された画像データは、超解像処理装置１の記憶部（図示せず）に格納する。なお、シミュレーション画像データ（ＶＬＩ・ＶＨＩ）や３種類のＧＡＮが生成した学習途中の画像データ（ＧＬＩ，ＧＡＩ，ＧＨＩ）なども同様に記憶部に格納する。
ＡＦＭ２から超解像処理装置１は、通信ネットワークを介したりＵＳＢメモリなどの記憶媒体を介したりしてリアルなＡＦＭ画像（ＲＡＩ）を入力する。 この画像ＲＡＩは、直交するＸＹ平面上の2次元画像であり、Ｚ方向の情報は、濃淡であらわされる（図１参照）。入力された画像データは、超解像処理装置１の記憶部（図示せず）に格納する。なお、シミュレーション画像データ（ＶＬＩ・ＶＨＩ）や３種類のＧＡＮが生成した学習途中の画像データ（ＧＬＩ，ＧＡＩ，ＧＨＩ）なども同様に記憶部に格納する。
【0022】
リアルなＡＦＭ画像（ＲＡＩ）を高解像度に変換した画像を取得することが本発明の目的であるが、この画像ＲＡＩは教師無し学習の訓練データでもある。ただし、ＡＦＭから学習に必要な多数の画像が得られないので、これを補うためにシミュレーション画像（ＶＬＩ・ＶＨＩ）も訓練データとするのである。そこで、画像ＶＬＩと画像ＶＨＩの生成について次に説明する。
【0023】
〔３－２．シミュレーションによる訓練データの生成〕
dsDNA PDB fileすなわち、ＤＮＡの２重らせんのＸ線結晶構造データ５を格納したファイルから適宜ＤＮＡデータを取り出す。これをＤＮＡを設計する既存のＶＲシステム４上で曲げたりねじったりして画像ＲＡＩと類似する形状とする。例えば、特開２０２３－１０７３６９で開示した技術では、ヘッドマウントディスプレイを着用して手指の動きだけで容易に仮想ＤＮＡデータ６を作成できる。この技術を用いれば、ＶＲシステム上で自由に形状を変更できるのである。
dsDNA PDB fileすなわち、ＤＮＡの２重らせんのＸ線結晶構造データ５を格納したファイルから適宜ＤＮＡデータを取り出す。これをＤＮＡを設計する既存のＶＲシステム４上で曲げたりねじったりして画像ＲＡＩと類似する形状とする。例えば、特開２０２３－１０７３６９で開示した技術では、ヘッドマウントディスプレイを着用して手指の動きだけで容易に仮想ＤＮＡデータ６を作成できる。この技術を用いれば、ＶＲシステム上で自由に形状を変更できるのである。
【0024】
望ましい形状の仮想ＤＮＡが作成されたならば、様々に条件をかえてシミュレーションを行う。 条件の代表的なものは、実際のＡＦＭをコンピュータプログラムで模した仮想ＡＦＭの仮想探針の先端の径（以下、「チップ径」という）と、走査時の解像度である。
シミュレーションの結果を図５に示す。図５の右側を見れば、チップ径を１ｎｍから５ｎｍに変化させたときの同じＤＮＡモデルから生成される画像の太さ（幅）が変わるのがわかる。このＡＦＭイメージに対して、解像度を０．１ｎｍ（high-resolution)から０．７ｎｍ(low-resolution)に変化させると、ぼやっと見えるＡＦＭイメージを生成できる。図中、チップ径が１ｎｍかつ解像度が０．１ｎｍの画像が、ＶＨＩであり、それ以外の複数枚の画像がＶＬＩである。高解像度画像ＶＨＩに、任意の１枚の低解像度画像ＶＬＩとを組み合わせて、１対の訓練データとする。
シミュレーションの結果を図５に示す。図５の右側を見れば、チップ径を１ｎｍから５ｎｍに変化させたときの同じＤＮＡモデルから生成される画像の太さ（幅）が変わるのがわかる。このＡＦＭイメージに対して、解像度を０．１ｎｍ（high-resolution)から０．７ｎｍ(low-resolution)に変化させると、ぼやっと見えるＡＦＭイメージを生成できる。図中、チップ径が１ｎｍかつ解像度が０．１ｎｍの画像が、ＶＨＩであり、それ以外の複数枚の画像がＶＬＩである。高解像度画像ＶＨＩに、任意の１枚の低解像度画像ＶＬＩとを組み合わせて、１対の訓練データとする。
【0025】
実際のＡＦＭ２で径の異なる探針を変えたり、解像度を変えたりして複数のリアル画像データを取得することは費用や時間の点から無理がある。そこで、Ｘ線結晶構造データから画像ＲＡＩに似せた形状の仮想ＤＮＡをＶＲシステム上で作成し、これをさまざまな条件下で走査するシミュレーションを行うのである。
シミュレーションを利用すれば、例えば、ＡＦＭ２の実際の探針のチップ径が２ｎｍであったとしても、チップ径が１ｎｍの仮想の探針で走査シミュレーションをすることで、２倍の周波数の成分も取得することが可能となるのである。
以下の説明において、リアルな訓練データとシミュレーションで作成された訓練データとが敵対する領域に存在するとみなして扱う。リアルな訓練データが属する領域を「リアル領域」、シミュレーションによって得られた訓練データが属する領域を「シミュレーション領域」と呼ぶものとする。
シミュレーションを利用すれば、例えば、ＡＦＭ２の実際の探針のチップ径が２ｎｍであったとしても、チップ径が１ｎｍの仮想の探針で走査シミュレーションをすることで、２倍の周波数の成分も取得することが可能となるのである。
以下の説明において、リアルな訓練データとシミュレーションで作成された訓練データとが敵対する領域に存在するとみなして扱う。リアルな訓練データが属する領域を「リアル領域」、シミュレーションによって得られた訓練データが属する領域を「シミュレーション領域」と呼ぶものとする。
【0026】
〔３－３．ＡＦＭのリアル画像の超解像処理〕
ＡＦＭから取得したぼやっとしたリアル画像を高解像度の明瞭な画像に変換する処理について説明する。
ＡＦＭから取得したぼやっとしたリアル画像を高解像度の明瞭な画像に変換する処理について説明する。
【0027】
〔３－３－１．ｃｙｃｌｅＧＡＮの一般的な説明〕
上記の説明のとおり、超解像処理装置１では、教師無しタイプのＮＮであるＧＡＮを３種類用いる。ＧＡＮは公知の技術なので詳しく説明するまでもないのであるが、後述する超解像処理装置１の動作の記述の便宜上、ここで要点を説明しておく。
なお、ＧＡＮ（敵対的生成ネットワーク、Generative Adversarial Networks）にもさまざまな種類があるが、本実施形態ではｃｙｃｌｅＧＡＮを利用する。
上記の説明のとおり、超解像処理装置１では、教師無しタイプのＮＮであるＧＡＮを３種類用いる。ＧＡＮは公知の技術なので詳しく説明するまでもないのであるが、後述する超解像処理装置１の動作の記述の便宜上、ここで要点を説明しておく。
なお、ＧＡＮ（敵対的生成ネットワーク、Generative Adversarial Networks）にもさまざまな種類があるが、本実施形態ではｃｙｃｌｅＧＡＮを利用する。
【0028】
ＧＡＮは、ジェネレータとディスクリミネータという２種類のネットワークを含み構成され、主にプログラムモジュールとしてコンピュータに実装される。ただし、一部あるいは全部がハードウェアで実装されることもある。
訓練データからデータを生成するときに使用されるネットワークがジェネレータ（「生成器」、「生成モデル」なども同義）であり、所望のデータが生成されるまでパラメータを更新していかなくてはならない。これが、ジェネレータにとっての学習である。 教師無しなのでジェネレータによる生成データの適否は分からない。そのため、ディスクリミネータ（「識別器」、「識別モデル」なども同義）が訓練データからのデータであるかジェネレータが生成したデータであるか識別する。生成されたデータが訓練データとは異なると判定される（ジェネレータはディスクリミネータに見破られる）とジェネレータはディスクリミネータを欺くように学習する。するとディスクリミネータは欺かれないように更に深層学習による学習をすすめる。このように、ジェネレータとディスクリミネータとが互いに敵対的な学習を繰り返すことによって、ジェネレータとディスクリミネータのいずれもがその能力を高め、ジェネレータが訓練データに似ているデータを生成できるようになることを学習の目標とする。
訓練データからデータを生成するときに使用されるネットワークがジェネレータ（「生成器」、「生成モデル」なども同義）であり、所望のデータが生成されるまでパラメータを更新していかなくてはならない。これが、ジェネレータにとっての学習である。 教師無しなのでジェネレータによる生成データの適否は分からない。そのため、ディスクリミネータ（「識別器」、「識別モデル」なども同義）が訓練データからのデータであるかジェネレータが生成したデータであるか識別する。生成されたデータが訓練データとは異なると判定される（ジェネレータはディスクリミネータに見破られる）とジェネレータはディスクリミネータを欺くように学習する。するとディスクリミネータは欺かれないように更に深層学習による学習をすすめる。このように、ジェネレータとディスクリミネータとが互いに敵対的な学習を繰り返すことによって、ジェネレータとディスクリミネータのいずれもがその能力を高め、ジェネレータが訓練データに似ているデータを生成できるようになることを学習の目標とする。
【0029】
ここで、図６を参照して簡単にｃｙｃｌｅＧＡＮの説明をする。
Ｘ領域からＹ領域へのジェネレータをＧとする。Ｘ領域の１つの元ｘを入力データとしてジェネレータＧがＹ領域の元Ｇ（ｘ）を生成する。
一方、Ｙ領域からＸ領域へのジェネレータをＦとする。Ｙ領域の１つの元Ｇ（ｘ）を入力データとしてジェネレータＦがＸ領域の元Ｆ（（Ｇ（ｘ））を生成する（図６（１））。
Ｘ領域側のディスクリミネータＤ１は、Ｘ領域の元ｘと元Ｆ（（Ｇ（ｘ））とを入力データとして、元Ｆ（（Ｇ（ｘ））が元ｘと似ているかどうかを判定する。ディスクリミネータＤ１は、損失関数を用いて元ｘと元Ｆ（（Ｇ（ｘ））との誤差を評価し、この評価に基づき上記の判定を行う。また、損失関数を基に、ジェネレータのパラメータ、すなわち、ノード間の結合の重みやノードのバイアスなどを更新する。
ジェネレータおよびディスクリミネータの深層学習による学習は、ｘ-->Ｇ（ｘ)-->Ｆ(Ｇ(ｘ))と変換したときに、入力ｘと出力Ｆ(Ｇ(ｘ))が似ていると判定されるまで続けられる。
一方、Ｙ領域の１つの元ｙを入力として、ジェネレータＦはＸ領域の元Ｆ（ｙ）を生成し、これがジェネレータＧに入力されてＹ領域のＧ（Ｆ（ｙ））が生成される（図６（２））。
もし、Ｙ領域側のディスクリミネータＤ２がＹ領域の元ｙとＧ(Ｆ（ｙ）)とが似ていると判定するまで、ジェネレータＦとＧ、およびディスクリミネータＤ２は、敵対的に学習を続行する。
図６の（１）と（２）のいずれも、学習の目標が達成されたならば、Ｘ領域とＹ領域とは１対１に対応しているといえる。このように、Ｘ領域-->Ｙ領域、Ｙ領域-->Ｘ領域と双方向の変換があるのでジェネレータとディスクリミネータは各２個必要なのである。なお、図６（１）と図６（２）のジェネレータＧは、Ｘ領域のデータからＹ領域のデータを生成するので構造は同じである。ジェネレータＦについても同様である。
Ｘ領域からＹ領域へのジェネレータをＧとする。Ｘ領域の１つの元ｘを入力データとしてジェネレータＧがＹ領域の元Ｇ（ｘ）を生成する。
一方、Ｙ領域からＸ領域へのジェネレータをＦとする。Ｙ領域の１つの元Ｇ（ｘ）を入力データとしてジェネレータＦがＸ領域の元Ｆ（（Ｇ（ｘ））を生成する（図６（１））。
Ｘ領域側のディスクリミネータＤ１は、Ｘ領域の元ｘと元Ｆ（（Ｇ（ｘ））とを入力データとして、元Ｆ（（Ｇ（ｘ））が元ｘと似ているかどうかを判定する。ディスクリミネータＤ１は、損失関数を用いて元ｘと元Ｆ（（Ｇ（ｘ））との誤差を評価し、この評価に基づき上記の判定を行う。また、損失関数を基に、ジェネレータのパラメータ、すなわち、ノード間の結合の重みやノードのバイアスなどを更新する。
ジェネレータおよびディスクリミネータの深層学習による学習は、ｘ-->Ｇ（ｘ)-->Ｆ(Ｇ(ｘ))と変換したときに、入力ｘと出力Ｆ(Ｇ(ｘ))が似ていると判定されるまで続けられる。
一方、Ｙ領域の１つの元ｙを入力として、ジェネレータＦはＸ領域の元Ｆ（ｙ）を生成し、これがジェネレータＧに入力されてＹ領域のＧ（Ｆ（ｙ））が生成される（図６（２））。
もし、Ｙ領域側のディスクリミネータＤ２がＹ領域の元ｙとＧ(Ｆ（ｙ）)とが似ていると判定するまで、ジェネレータＦとＧ、およびディスクリミネータＤ２は、敵対的に学習を続行する。
図６の（１）と（２）のいずれも、学習の目標が達成されたならば、Ｘ領域とＹ領域とは１対１に対応しているといえる。このように、Ｘ領域-->Ｙ領域、Ｙ領域-->Ｘ領域と双方向の変換があるのでジェネレータとディスクリミネータは各２個必要なのである。なお、図６（１）と図６（２）のジェネレータＧは、Ｘ領域のデータからＹ領域のデータを生成するので構造は同じである。ジェネレータＦについても同様である。
【0030】
ところで、深層学習における重要な用語の一つに損失（loss）がある。この損失は、学習過程などで誤差伝搬が入力層に近いノードに正しく伝わったかどうかという意味で使う。 深層学習における学習というのは、深層学習の出力結果が訓練データと違うときにその違いがなくなるように深層学習の各ノード間の重みを調整するのであるが、その際、出力誤差をひとつ前のノードにどの程度伝えるかで学習効率が大きく変わる。また、ｃｙｃｌｅＧＡＮでは、上記の説明のとおり入力と出力は基本同じになるように訓練する。
図６（１）には、２種類の損失が示されているが、「サイクル整合性の損失（cycle-consistency loss）」とは、循環（Ｘ領域-->Ｙ領域-->Ｘ領域）して生成されたデータF(G(ｘ))と訓練データｘとの差分をいう。入力した画像xと生成した画像F(G(ｘ)))が、一周させたときにどれだけ同じか違うかの情報をフィードバックさせるという意味である。 一方、「形状整合性の損失（shape-consistency loss）」とは、入力した画像ｘと生成した画像Ｇ(ｘ)がどれだけ同じ形を維持していたかをフィードバックさせるか、という意味である。図６（２）も同様である。ｃｙｃｌｅＧＡＮの学習は、これらの誤差がほぼゼロになるまで続けられる。
誤差の評価、パラメータの更新などの深層学習の仕組みは、公知であり、参考となる文献類も多数発表されているので、詳しい説明は省略する。
図６（１）には、２種類の損失が示されているが、「サイクル整合性の損失（cycle-consistency loss）」とは、循環（Ｘ領域-->Ｙ領域-->Ｘ領域）して生成されたデータF(G(ｘ))と訓練データｘとの差分をいう。入力した画像xと生成した画像F(G(ｘ)))が、一周させたときにどれだけ同じか違うかの情報をフィードバックさせるという意味である。 一方、「形状整合性の損失（shape-consistency loss）」とは、入力した画像ｘと生成した画像Ｇ(ｘ)がどれだけ同じ形を維持していたかをフィードバックさせるか、という意味である。図６（２）も同様である。ｃｙｃｌｅＧＡＮの学習は、これらの誤差がほぼゼロになるまで続けられる。
誤差の評価、パラメータの更新などの深層学習の仕組みは、公知であり、参考となる文献類も多数発表されているので、詳しい説明は省略する。
【0031】
〔３－３－２．第１のｃｙｃｌｅＧＡＮによる超解像処理〕
図７に従い、第１のｃｙｃｌｅＧＡＮを含む超解像処理部１２１の動作を説明する。
シミュレーションデータ生成部１１において、多数のシミュレーション画像データを作成した。最も精細な１枚の画像がＶＨＩであり、他の画像をＶＬＩと呼ぶことはすでに説明したとおりである。
複数ある画像ＶＬＩから任意の1枚を取り出し、この画像ＶＬＩと画像ＶＨＩのペアを訓練データとして、学習をする。さらに他の画像ＶＬＩを取り出し、これと画像ＶＨＩのペアを訓練データとして、深層学習を続ける。最大ＶＬＩの枚数分の訓練データのペアがあるので、精緻な学習ができる。
図７は、1組の画像ＶＬＩと画像ＶＨＩを訓練データとしたときの学習を説明するものである。
図７において、Ｇｌ２ｈは、低解像度画像を高解像度画像に変換するジェネレータであり、Ｇｈ２ｌは、高解像度画像を低解像度画像に変換するジェネレータである。
Ｄｌｉは、生成された低解像度ＡＦＭ画像がどれだけ仮想低解像度画像（ＶＬＩ）に似ているかどうかを判定し、Ｄｈｉは、生成された高解像度ＡＦＭ画像がどれだけ仮想高解像度画像（ＶＨＩ）に似ているかを判定するディスクリミネータである。
図７に従い、第１のｃｙｃｌｅＧＡＮを含む超解像処理部１２１の動作を説明する。
シミュレーションデータ生成部１１において、多数のシミュレーション画像データを作成した。最も精細な１枚の画像がＶＨＩであり、他の画像をＶＬＩと呼ぶことはすでに説明したとおりである。
複数ある画像ＶＬＩから任意の1枚を取り出し、この画像ＶＬＩと画像ＶＨＩのペアを訓練データとして、学習をする。さらに他の画像ＶＬＩを取り出し、これと画像ＶＨＩのペアを訓練データとして、深層学習を続ける。最大ＶＬＩの枚数分の訓練データのペアがあるので、精緻な学習ができる。
図７は、1組の画像ＶＬＩと画像ＶＨＩを訓練データとしたときの学習を説明するものである。
図７において、Ｇｌ２ｈは、低解像度画像を高解像度画像に変換するジェネレータであり、Ｇｈ２ｌは、高解像度画像を低解像度画像に変換するジェネレータである。
Ｄｌｉは、生成された低解像度ＡＦＭ画像がどれだけ仮想低解像度画像（ＶＬＩ）に似ているかどうかを判定し、Ｄｈｉは、生成された高解像度ＡＦＭ画像がどれだけ仮想高解像度画像（ＶＨＩ）に似ているかを判定するディスクリミネータである。
【0032】
Ｇｌ２ｈは、仮想低解像度画像（ＶＬＩ）を入力とし、高解像度ＡＦＭ画像を生成する。Ｇｈ２ｌは、この高解像度ＡＦＭ画像を入力とし、低解像度ＡＦＭ画像を生成する。Ｄｌｉは、画像ＶＬＩと低解像度ＡＦＭ画像との誤差の評価に基づき、低解像度ＡＦＭ画像がＶＬＩと似ているかどうか判定する。似ていると判定されるまでＧｌ２ｈとＧｈ２ｌの学習が続く。同時に、Ｄｌｉも適正に判定できるように学習を続ける。
一方、Ｇｈ２ｌは、仮想高解像度画像ＶＨＩを入力とし、低解像度ＡＦＭ画像を生成する。Ｇｌ２ｈは、この低解像度ＡＦＭ画像を入力とし、高解像度ＡＦＭ画像を生成する。Ｄｈｉは、画像ＶＨＩと高解像度ＡＦＭ画像との誤差の評価に基づき、高解像度ＡＦＭ画像が画像ＶＨＩと似ているかどうか判定する。似ていると判定されるまでジェネレータＧｈ２ｌとＧｌ２ｈの学習が続く。同時に、Ｄｈｉも適正に判定できるように学習を続ける。
ジェネレータＧｌ２ｈ，Ｇｈ２ｌ，およびディスクリミネータＤｌｉ，Ｄｈｉが目標を実現できたならば、このときのパラメータ類を保存し、1組の訓練データによる学習を終える。この学習を、訓練データのペアの個数分だけ実行する。
以上の学習で得られたパラメータ類は、記憶部に保存し、後述する高解像度ＡＦＭ画像微調整処理部１２３で画像ＧＬＩから画像ＧＨＩを生成する際に用いられる。つまり、超解像処理部１２１は、高解像度ＡＦＭ画像ＧＨＩを生成するための事前学習にあたるのである。
一方、Ｇｈ２ｌは、仮想高解像度画像ＶＨＩを入力とし、低解像度ＡＦＭ画像を生成する。Ｇｌ２ｈは、この低解像度ＡＦＭ画像を入力とし、高解像度ＡＦＭ画像を生成する。Ｄｈｉは、画像ＶＨＩと高解像度ＡＦＭ画像との誤差の評価に基づき、高解像度ＡＦＭ画像が画像ＶＨＩと似ているかどうか判定する。似ていると判定されるまでジェネレータＧｈ２ｌとＧｌ２ｈの学習が続く。同時に、Ｄｈｉも適正に判定できるように学習を続ける。
ジェネレータＧｌ２ｈ，Ｇｈ２ｌ，およびディスクリミネータＤｌｉ，Ｄｈｉが目標を実現できたならば、このときのパラメータ類を保存し、1組の訓練データによる学習を終える。この学習を、訓練データのペアの個数分だけ実行する。
以上の学習で得られたパラメータ類は、記憶部に保存し、後述する高解像度ＡＦＭ画像微調整処理部１２３で画像ＧＬＩから画像ＧＨＩを生成する際に用いられる。つまり、超解像処理部１２１は、高解像度ＡＦＭ画像ＧＨＩを生成するための事前学習にあたるのである。
【0033】
〔３－３－３．第２のｃｙｃｌｅＧＡＮによる領域変換処理〕
領域変換処理部１２２によってリアル領域とシミュレーション領域との領域変換を行う。
画像ＲＡＩと画像ＶＬＩという特性が異なる領域の画像データを共に訓練データとするには工夫がいる。
第２のＧＡＮを学習させることによって、リアルな領域の画像ＲＡＩに対応させたシミュレーション領域の画像ＧＬＩを生成するのである。
領域変換処理部１２２によってリアル領域とシミュレーション領域との領域変換を行う。
画像ＲＡＩと画像ＶＬＩという特性が異なる領域の画像データを共に訓練データとするには工夫がいる。
第２のＧＡＮを学習させることによって、リアルな領域の画像ＲＡＩに対応させたシミュレーション領域の画像ＧＬＩを生成するのである。
【0034】
図８に従い、第２のｃｙｃｌｅＧＡＮを含む領域変換処理部１２２の動作を説明する。
Ｇｒ２ｓは、リアル領域の画像をシミュレーション領域の画像に変換するジェネレータであり、Ｇｓ２ｒは、シミュレーション領域の画像をリアル領域の画像に変換するジェネレータである。
ＤｒｉとＤｓｉは、画像が特定の領域に含まれるかどうかの判定をするディスクリミネータである。Ｄｒｉは、生成されたＡＦＭ画像（ＧＡＩ）がどれだけリアルＡＦＭ画像（ＲＡＩ）に似ているかを判定し、それによって、生成された画像ＧＡＩがリアル領域に含まれるのかを判定する。Ｄｓｉは、生成された仮想ＡＦＭ画像（ＧＬＩ）がどれだけ仮想低解像度画像（ＶＬＩ）に似ているかを判定し、それによって、生成された画像ＧＬＩがシミュレーション領域に含まれるのかを判定する。
Ｇｒ２ｓは、リアル領域の画像をシミュレーション領域の画像に変換するジェネレータであり、Ｇｓ２ｒは、シミュレーション領域の画像をリアル領域の画像に変換するジェネレータである。
ＤｒｉとＤｓｉは、画像が特定の領域に含まれるかどうかの判定をするディスクリミネータである。Ｄｒｉは、生成されたＡＦＭ画像（ＧＡＩ）がどれだけリアルＡＦＭ画像（ＲＡＩ）に似ているかを判定し、それによって、生成された画像ＧＡＩがリアル領域に含まれるのかを判定する。Ｄｓｉは、生成された仮想ＡＦＭ画像（ＧＬＩ）がどれだけ仮想低解像度画像（ＶＬＩ）に似ているかを判定し、それによって、生成された画像ＧＬＩがシミュレーション領域に含まれるのかを判定する。
【0035】
Ｇｒ２ｓは、画像ＲＡＩを入力とし、画像ＧＬＩを生成する。Ｇｓ２ｒは、この画像ＧＬＩを入力とし、画像ＧＡＩを生成する。Ｄｒｉは、画像ＲＡＩと画像ＧＡＩとを誤差の評価に基づき判定し、画像ＧＡＩが画像ＲＡＩと似ていると判定されるまでジェネレータＧｒ２ｓとＧｓ２ｒの学習が続く。同時に、Ｄｒｉも適正に判定できるように学習を続ける。
一方、Ｇｓ２ｒは、画像ＶＬＩを入力とし、画像ＧＡＩを生成する。Ｇｒ２ｓは、この画像ＧＡＩを入力とし、画像ＧＬＩを生成する。Ｄｓｉは、画像ＶＬＩと画像ＧＬＩとを誤差の評価に基づき判定し、画像ＧＬＩが画像ＶＬＩと似ていると判定されるまでＧｒ２ｓとＧｓ２ｒの学習が続く。同時に、Ｄｓｉも適正に判定できるように学習を続ける。
一方、Ｇｓ２ｒは、画像ＶＬＩを入力とし、画像ＧＡＩを生成する。Ｇｒ２ｓは、この画像ＧＡＩを入力とし、画像ＧＬＩを生成する。Ｄｓｉは、画像ＶＬＩと画像ＧＬＩとを誤差の評価に基づき判定し、画像ＧＬＩが画像ＶＬＩと似ていると判定されるまでＧｒ２ｓとＧｓ２ｒの学習が続く。同時に、Ｄｓｉも適正に判定できるように学習を続ける。
【0036】
ジェネレータＧｒ２ｓ，Ｇｓ２ｒ，およびディスクリミネータＤｒｉ，Ｄｓｉが最終目標を実現できたならば、このときのパラメータ類を保存し、深層学習による学習を終える。ジェネレータが学習の初期段階にあれば、生成した画像データは訓練データと似ても似つかず、ディスクリミネータが生成されたデータを訓練データと誤判定することはないであろう。しかし、深層学習を繰り返すことにより、ジェネレータは似ている画像を生成でき、ディスクリミネータも訓練データに似ていると判定できるようになるのである。
学習を終えた段階で、リアルＡＦＭ画像（ＲＡＩ）とほぼ１対１に対応するシミュレーション領域側の低解像度画像（ＧＬＩ）が生成できたことになる。この画像ＧＬＩが、次の高解像度ＡＦＭ画像微調整処理１２３に入力される。
学習を終えた段階で、リアルＡＦＭ画像（ＲＡＩ）とほぼ１対１に対応するシミュレーション領域側の低解像度画像（ＧＬＩ）が生成できたことになる。この画像ＧＬＩが、次の高解像度ＡＦＭ画像微調整処理１２３に入力される。
【0037】
なお、「1対１」について、図９を参照しながら付言する。
ＧＡＮの学習が進展しても、全ての画像に対して顕微鏡で撮影した画像とＧＡＮで生成した画像との完全な１対１の対応を実現させることは困難である。ＧＡＮの学習は図９の領域(a）から領域(b)への写像および領域(b)から領域(a)への逆写像を実現するが、１対１の関係を実現できる範囲（図９の破線の内部）は与えた訓練データの数と種類に大きく依存し、ＡＦＭ画像の場合には画像の解像度および探針の直径に大きく依存する。したがって、訓練データとして用いた仮想低解像度画像（ＶＬＩ）の解像度および探針の直径の範囲で撮影したＡＦＭ画像を用いて超解像処理を行うことが望ましい。
ＧＡＮの学習が進展しても、全ての画像に対して顕微鏡で撮影した画像とＧＡＮで生成した画像との完全な１対１の対応を実現させることは困難である。ＧＡＮの学習は図９の領域(a）から領域(b)への写像および領域(b)から領域(a)への逆写像を実現するが、１対１の関係を実現できる範囲（図９の破線の内部）は与えた訓練データの数と種類に大きく依存し、ＡＦＭ画像の場合には画像の解像度および探針の直径に大きく依存する。したがって、訓練データとして用いた仮想低解像度画像（ＶＬＩ）の解像度および探針の直径の範囲で撮影したＡＦＭ画像を用いて超解像処理を行うことが望ましい。
【0038】
〔３－３－４．第３のｃｙｃｌｅＧＡＮによる高解像度ＡＦＭ画像微調整処理〕
図１０に従い、第３のｃｙｃｌｅＧＡＮの動作を説明する。
第３のＧＡＮを含む高解像度ＡＦＭ画像微調整処理部１２３は、第２のＧＡＮによって生成された仮想ＡＦＭ画像（ＧＬＩ）から、第１のＧＡＮを用いて仮想高解像度ＡＦＭ画像（ＧＨＩ）を生成する。ここで用いる第１のＧＡＮは既に事前学習済である。
画像ＲＡＩは学習済のＧｒ２ｓに入力されて画像ＧＬＩが生成される。画像ＧＬＩは学習済のＧｌ２ｈに入力されて画像ＧＨＩが生成される。したがって、画像ＲＡＩは画像ＧＨＩと１対１に対応するはずである。 しかし、画像ＧＨＩの精度を一層高めるために微調整する。
図１０に示すように、第３のＧＡＮのジェネレータＧｈ２ｒで画像ＧＡＩを生成する。ディスクリミネータＤｒｉは、画像ＲＡＩと画像ＧＡＩとが似ているかどうか判定する。Ｄｒｉが、画像ＧＡＩは画像ＲＡＩ由来のデータと判定したとき、第３のＧＡＮの学習は終了したものと判断し、このときの画像ＧＨＩを最終的に生成された仮想高解像度ＡＦＭ画像とする。
図１はリアルＡＦＭ画像（ＲＡＩ）の一例であるが、このＲＡＩから生成された画像ＧＨＩは、図１１に示すようにＤＮＡの主溝、副溝をはじめとする正確な情報を提供する画像となっている。
図１０に従い、第３のｃｙｃｌｅＧＡＮの動作を説明する。
第３のＧＡＮを含む高解像度ＡＦＭ画像微調整処理部１２３は、第２のＧＡＮによって生成された仮想ＡＦＭ画像（ＧＬＩ）から、第１のＧＡＮを用いて仮想高解像度ＡＦＭ画像（ＧＨＩ）を生成する。ここで用いる第１のＧＡＮは既に事前学習済である。
画像ＲＡＩは学習済のＧｒ２ｓに入力されて画像ＧＬＩが生成される。画像ＧＬＩは学習済のＧｌ２ｈに入力されて画像ＧＨＩが生成される。したがって、画像ＲＡＩは画像ＧＨＩと１対１に対応するはずである。 しかし、画像ＧＨＩの精度を一層高めるために微調整する。
図１０に示すように、第３のＧＡＮのジェネレータＧｈ２ｒで画像ＧＡＩを生成する。ディスクリミネータＤｒｉは、画像ＲＡＩと画像ＧＡＩとが似ているかどうか判定する。Ｄｒｉが、画像ＧＡＩは画像ＲＡＩ由来のデータと判定したとき、第３のＧＡＮの学習は終了したものと判断し、このときの画像ＧＨＩを最終的に生成された仮想高解像度ＡＦＭ画像とする。
図１はリアルＡＦＭ画像（ＲＡＩ）の一例であるが、このＲＡＩから生成された画像ＧＨＩは、図１１に示すようにＤＮＡの主溝、副溝をはじめとする正確な情報を提供する画像となっている。
【0039】
上記の実施の形態は一例にすぎない。例えば、シミュレーション画像ＶＬＩ，ＶＨＩを取得するシミュレーションデータ生成部１１は、超解像処理装置１とは別の情報処理装置で実行してもよい。また、３種類のＧＡＮの機能などを1台ではなく複数台のコンピュータで分散して実行してもよい。本発明で重要なことは、ＶＬＩ，ＶＨＩのような仮想のシミュレーション画像を訓練データとして、超解像に必要なリアルな訓練データの不足を補う点である。これを備えた超解像処理方法およびこれを実施するための装置およびコンピュータプログラムは本発明の範囲に属するのである。
【0040】
本発明は、ＳＰＭに限らず、他のナノスケール及びマイクロスケールの物体を観測する機器（例えば共焦点顕微鏡、電子顕微鏡）などにも応用できる。 また、対象物はＤＮＡに限らず、がん細胞の表面観察などにも利用できる。
【産業上の利用可能性】
【0041】
ＳＰＭで、ナノレベルの対象物の表面を、安価かつ容易に観察できる。したがって、ＤＮＡや細胞などを対象とする研究や関連する技術分野の進展に貢献するものと期待される。
【符号の説明】
【0042】
１：超解像処理装置
１１：シミュレーション画像生成部
１２：高解像度画像生成部
１２１：超解像処理部（第１のＧＡＮ)
１２２：領域変換処理部（第２のＧＡＮ)
１２３：高解像度ＡＦＭ画像微調整処理部（第３のＧＡＮ)
２：ＡＦＭ
４：（ＤＮＡ設計用）ＶＲシステム
ＲＡＩ：リアルＡＦＭ画像
ＧＡＩ：生成したＡＦＭ画像
ＶＬＩ：仮想低解像度画像
ＶＨＩ：仮想高解像度画像
ＧＬＩ：生成した仮想低解像度ＡＦＭ画像
ＧＨＩ：生成した仮想高解像度ＡＦＭ画像
１１：シミュレーション画像生成部
１２：高解像度画像生成部
１２１：超解像処理部（第１のＧＡＮ)
１２２：領域変換処理部（第２のＧＡＮ)
１２３：高解像度ＡＦＭ画像微調整処理部（第３のＧＡＮ)
２：ＡＦＭ
４：（ＤＮＡ設計用）ＶＲシステム
ＲＡＩ：リアルＡＦＭ画像
ＧＡＩ：生成したＡＦＭ画像
ＶＬＩ：仮想低解像度画像
ＶＨＩ：仮想高解像度画像
ＧＬＩ：生成した仮想低解像度ＡＦＭ画像
ＧＨＩ：生成した仮想高解像度ＡＦＭ画像
【要約】 （修正有）
【課題】原子間力顕微鏡（ＡＦＭ）などの顕微鏡を用いて撮影した低解像度の画像を、高解像度の画像に変換する超解像処理の方法、装置およびプログラムの提供。
【解決手段】低解像度のリアル画像を取得するステップと、異なる条件下でシミュレーションを実行してシミュレーション画像を作成するステップと、リアル画像とシミュレーション画像とを訓練データとするニューラルネットワーク（ＮＮ）の学習によってリアル画像よりも鮮明な高解像度画像を取得するステップと、からなる。
【選択図】図４
【解決手段】低解像度のリアル画像を取得するステップと、異なる条件下でシミュレーションを実行してシミュレーション画像を作成するステップと、リアル画像とシミュレーション画像とを訓練データとするニューラルネットワーク（ＮＮ）の学習によってリアル画像よりも鮮明な高解像度画像を取得するステップと、からなる。
【選択図】図４
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】