ホーム > 特許ランキング > 国立大学法人 東京大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160960
(43)【公開日】2024-11-15
(54)【発明の名称】プログラム、画像修復装置及び画像修復方法
(51)【国際特許分類】
G06T 5/70 20240101AFI20241108BHJP
【ＦＩ】
G06T5/70
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2024071984
(22)【出願日】2024-04-25
(31)【優先権主張番号】P 2023075963
(32)【優先日】2023-05-02
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度文部科学省、科学技術試験研究委託事業「再生可能エネルギー最大導入に向けた電気化学材料研究拠点」、産業技術力強化法第１７条の適用を受けるもの
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】岡田 真人
(72)【発明者】
【氏名】片上 舜
(72)【発明者】
【氏名】久住 太一
(72)【発明者】
【氏名】柴田 直哉
(72)【発明者】
【氏名】石川 亮
(72)【発明者】
【氏名】川原 一晃
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE02
5B057DB02
5B057DB09
(57)【要約】
【課題】ショットノイズを含む画像を高精度且つ短時間で修復することが可能なプログラム等を提供する。
【解決手段】本発明の一態様によれば、プログラムが提供される。このプログラムは、取得ステップと、解析ステップと、生成ステップとをコンピュータに実行させるように構成される。取得ステップでは、ショットノイズを含む画像である観測画像を取得する。解析ステップでは、マルコフ確率場モデルを用いて観測画像を解析する。生成ステップでは、観測画像と、解析された結果とに基づいて、観測画像の原画像として推定された推定画像を生成する。
【選択図】図１
【解決手段】本発明の一態様によれば、プログラムが提供される。このプログラムは、取得ステップと、解析ステップと、生成ステップとをコンピュータに実行させるように構成される。取得ステップでは、ショットノイズを含む画像である観測画像を取得する。解析ステップでは、マルコフ確率場モデルを用いて観測画像を解析する。生成ステップでは、観測画像と、解析された結果とに基づいて、観測画像の原画像として推定された推定画像を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
プログラムであって、
取得ステップと、解析ステップと、生成ステップとをコンピュータに実行させるように構成され、
前記取得ステップでは、ショットノイズを含む画像である観測画像を取得し、
前記解析ステップでは、マルコフ確率場モデルを用いて前記観測画像を解析し、
前記生成ステップでは、前記観測画像と、前記解析された結果とに基づいて、前記観測画像の原画像として推定された推定画像を生成する、
プログラム。
取得ステップと、解析ステップと、生成ステップとをコンピュータに実行させるように構成され、
前記取得ステップでは、ショットノイズを含む画像である観測画像を取得し、
前記解析ステップでは、マルコフ確率場モデルを用いて前記観測画像を解析し、
前記生成ステップでは、前記観測画像と、前記解析された結果とに基づいて、前記観測画像の原画像として推定された推定画像を生成する、
プログラム。
【請求項2】
請求項１に記載のプログラムにおいて、
前記解析ステップでは、前記観測画像からハイパーパラメータのベイズ自由エネルギーを算出し、
前記ハイパーパラメータは、前記観測画像の解析に用いられるパラメータであり、
前記解析ステップでは、前記ベイズ自由エネルギーの最小化によって前記ハイパーパラメータを推定する、
プログラム。
前記解析ステップでは、前記観測画像からハイパーパラメータのベイズ自由エネルギーを算出し、
前記ハイパーパラメータは、前記観測画像の解析に用いられるパラメータであり、
前記解析ステップでは、前記ベイズ自由エネルギーの最小化によって前記ハイパーパラメータを推定する、
プログラム。
【請求項3】
請求項１に記載のプログラムにおいて、
前記観測画像は、電子顕微鏡画像である、
プログラム。
前記観測画像は、電子顕微鏡画像である、
プログラム。
【請求項4】
請求項１に記載のプログラムにおいて、
前記観測画像は、走査型透過電子顕微鏡画像である、
プログラム。
前記観測画像は、走査型透過電子顕微鏡画像である、
プログラム。
【請求項5】
請求項１に記載のプログラムにおいて、
前記解析ステップでは、ガウシアンマルコフ確率場モデルを用いて前記観測画像を解析する、
プログラム。
前記解析ステップでは、ガウシアンマルコフ確率場モデルを用いて前記観測画像を解析する、
プログラム。
【請求項6】
請求項１に記載のプログラムにおいて、
前記解析ステップでは、全ての前記観測画像を略同時に解析する、
プログラム。
前記解析ステップでは、全ての前記観測画像を略同時に解析する、
プログラム。
【請求項7】
画像修復装置であって、
制御部を備え、
前記制御部は、請求項１から６までの何れか１項に記載のプログラムの各ステップを実行可能に構成される、
画像修復装置。
制御部を備え、
前記制御部は、請求項１から６までの何れか１項に記載のプログラムの各ステップを実行可能に構成される、
画像修復装置。
【請求項8】
画像修復方法であって、
請求項１から６までの何れか１項に記載のプログラムの各ステップを備える、
画像修復方法。
請求項１から６までの何れか１項に記載のプログラムの各ステップを備える、
画像修復方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、画像修復装置及び画像修復方法に関する。
【背景技術】
【0002】
特許文献１には、ガウスノイズを含む画像を修復させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【非特許文献1】Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｐｈｙｓｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ｊａｐａｎ，２０１６，Ｖｏｌ．８５，Ｎｏ．６
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、ショットノイズを含む画像を修復させる技術として、正則化手法が知られている。しかしながら、当該正則化手法は、画像修復の性能がそれほど高くないことに加えて、画像修復に大幅な時間を要するという問題があった。
【0005】
本発明では上記事情を鑑み、ショットノイズを含む画像を高精度且つ短時間で修復することが可能なプログラム等を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、プログラムが提供される。このプログラムは、取得ステップと、解析ステップと、生成ステップとをコンピュータに実行させるように構成される。取得ステップでは、ショットノイズを含む画像である観測画像を取得する。解析ステップでは、マルコフ確率場モデルを用いて観測画像を解析する。生成ステップでは、観測画像と、解析された結果とに基づいて、観測画像の原画像として推定された推定画像を生成する。
【0007】
このような態様によれば、ショットノイズを含む画像を高精度且つ短時間で修復することができる。
【図面の簡単な説明】
【0008】
【図1】画像修復装置１００のハードウェア構成を示すブロック図である。
【図2】画像修復装置１００（制御部１１０）によって実現される機能を示すブロック図である。
【図3】画像修復装置１００によって実行される情報処理の流れを示すアクティビティ図である。
【図4】観測画像におけるベイズ自由エネルギーの分布を示す図である。
【図5】正方形のシミュレーション画像を示す図である。
【図7】長方形のシミュレーション画像を示す図である。
【図9】走査型透過電子顕微鏡によって観測対象を実際に撮像した画像（以下「実データ」ともいう。）
【図11】複数枚のシミュレーション画像を同時に使用して画像修復の処理をした結果を示す図である。
【図12】複数枚のシミュレーション画像を平均化した平均画像を使用して画像修復の処理をした結果を示す図である。
【図13】使用するシミュレーション画像の枚数を変えたときのＲＭＳＥの推移を示すグラフである。
【図14】複数枚の実データを同時に使用して画像修復の処理をした結果を示す図である。
【図15】複数枚の実データを平均化した平均画像を使用して画像修復の処理をした結果を示す図である。
【図16】本実施形態のプログラムを実装した走査型透過電子顕微鏡を用いて観測対象を撮像した結果を示す図である。
【図17】ポアソンマルコフ確率場モデル又はガウシアンマルコフ確率場モデルを用いてシミュレーション画像を修復した結果を示す図である。
【図18】ポアソンマルコフ確率場モデル又はガウシアンマルコフ確率場モデルを用いて、複数の観測画像の平均画像を修復、又は複数の観測画像を同時解析して修復した結果を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、一実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0011】
また、一実施形態に係る種々の情報処理において、入力と、入力に応じた出力とが実現されうる。ここで、入力の結果として出力が得られれば、かかる情報処理において参照される情報（以下、参照情報と称する。）の態様は、限定されない。参照情報は、例えば、データベース、ルックアップテーブル、所定の関数（統計学的手法によって構築された、回帰式等の判定式を含む。）等のルールベースの情報でもよいし、入力と出力との相関を予め学習させた学習済みモデルでもよいし、プロンプトを入力することで所望の結果を出力可能な大規模言語モデルでもよい。
【0012】
また、一実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、一実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
【0013】
さらに、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。また、プロセッサは、汎用プロセッサでもよいし、専用の回路でもよい。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0014】
１．ハードウェア構成
第１節では、画像修復装置１００のハードウェア構成について説明する。
第１節では、画像修復装置１００のハードウェア構成について説明する。
【0015】
図１は、画像修復装置１００のハードウェア構成を示すブロック図である。画像修復装置１００は、制御部１１０と、記憶部１２０と、表示部１３０と、入力部１４０と、通信部１５０とを有し、これらの構成要素が画像修復装置１００の内部において通信バス１６０を介して電気的に接続されている。画像修復装置１００は、不図示の走査型透過電子顕微鏡とネットワークを介して接続されている。各構成要素についてさらに説明する。
【0016】
制御部１１０は、画像修復装置１００に関連する全体動作の処理・制御を行う。制御部１１０は、例えば、不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部１１０は、記憶部１２０に記憶された所定のプログラムを読み出すことによって、画像修復装置１００に係る種々の機能を実現する。すなわち、記憶部１２０に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部１１０によって具体的に実現されることで、制御部１１０に含まれる各機能部として実行されうる。これらについては、第２節においてさらに説明する。なお、制御部１１０は単一であることに限定されず、機能ごとに複数の制御部１１０を有するように実施してもよい。またそれらの組み合わせであってもよい。
【0017】
記憶部１２０は、画像修復装置１００の情報処理に必要な様々な情報を記憶する。これは、例えば、制御部１１０によって実行される画像修復装置１００に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組み合わせであってもよい。
【0018】
表示部１３０は、画像修復装置１００の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部１３０は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、画像修復装置１００の種類に応じて使い分けて実施することが好ましい。以下では、表示部１３０は、画像修復装置１００の筐体に含まれるものとして説明する。
【0019】
入力部１４０は、画像修復装置１００の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部１４０は、表示部１３０と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴキーボード等を採用してもよい。すなわち、入力部１４０は、ユーザによってなされた操作入力を受け付ける。当該入力は、命令信号として、通信バス１６０を介して制御部１１０に転送される。そして、制御部１１０は、必要に応じて所定の制御や演算を実行しうる。
【0020】
通信部１５０は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、５Ｇ／ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、画像修復装置１００は、通信部１５０を介して、走査型透過電子顕微鏡とネットワークを介して種々の情報（例えば電子顕微鏡画像）を通信する。
【0021】
２．機能構成
第２節では、本実施形態の機能構成について説明する。前述の通り、記憶部１２０に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部１１０によって具体的に実現されることで、制御部１１０に含まれる各機能部として実行されうる。
第２節では、本実施形態の機能構成について説明する。前述の通り、記憶部１２０に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部１１０によって具体的に実現されることで、制御部１１０に含まれる各機能部として実行されうる。
【0022】
図２は、画像修復装置１００（制御部１１０）によって実現される機能を示すブロック図である。上記のように、画像修復装置１００は、制御部１１０を備える。具体的には、画像修復装置１００（制御部１１０）は、本実施形態のプログラムの各ステップを実行可能に構成される。画像修復装置１００（制御部１１０）は、本実施形態のプログラムの各ステップに対応して、取得部１１１と、解析部１１２と、生成部１１３とを備える。ここで、本実施形態のプログラムは、取得ステップと、解析ステップと、生成ステップとを画像修復装置１００等のコンピュータに実行させるように構成される。
【0023】
走査型透過電子顕微鏡は、観測対象に電子線を照射することにより、観測画像を得る。観測対象は、電子線の照射によりダメージを受ける。したがって、電子線の照射量をある程度減少させる必要があるが、この場合、ショットノイズが多く含まれる観測画像が得られてしまう。そこで、本実施形態では、ショットノイズが含まれていない原画像として推定された推定画像を生成するものである。
【0024】
取得部１１１は、種々の情報を取得するように構成される。取得部１１１は、取得ステップを実行するように構成される。例えば、取得部１１１は、ショットノイズを含む画像である観測画像を走査型透過電子顕微鏡から取得する。
【0025】
解析部１１２は、種々の情報を解析するように構成される。解析部１１２は、解析ステップを実行するように構成される。例えば、解析部１１２は、マルコフ確率場モデルを用いて、取得された観測画像を解析する。
【0026】
生成部１１３は、種々の情報を生成するように構成される。生成部１１３は、生成ステップを実行するように構成される。例えば、生成部１１３は、取得された観測画像と、解析された結果とに基づいて、当該観測画像の原画像として推定された推定画像を生成する。
【0027】
３．画像修復方法の概要（１）
第３節では、前述した画像修復装置１００による画像修復方法の概要について説明する。
第３節では、前述した画像修復装置１００による画像修復方法の概要について説明する。
【0028】
画像修復装置１００は、ベイズ推論の枠組みによる画像処理を実行する。この画像処理では、ガウシアンマルコフ確率場モデルを用いて観測画像を解析する。このガウシアンマルコフ確率場モデルは、画像の隣接する各画素値に相互作用を仮定し、空間的に画素値が連続であるものとする。また、観測画像には、ガウスノイズが加わっているものとする。
【0029】
以下、ガウシアンマルコフ確率場モデルに基づいて説明する。ここでは、１枚の２次元観測画像からの画像修復方法を定式化する。原画像は、（１）式の確率分布に従うものとする。
【0030】
【数1】
【0031】
ここで、ｕは原画像、ａは原画像の滑らかさを表すハイパーパラメータ、Ｎ２は原画像の画素数を示す。観測画像は、（２）式の確率分布に従うものとする。
【0032】
【数2】
【0033】
ここで、ｖは観測画像、ｂは観測画像のノイズ強度を表すハイパーパラメータを示す。原画像の事後確率は、ベイズの定理を用いて、（３）式により与えられる。
【0034】
【数3】
【0035】
原画像の事後確率を最大にする推定画像は、（４）式により与えられる。
【0036】
【数4】
【0037】
続いて、ハイパーパラメータａ、ｂの推定について説明する。ハイパーパラメータａ、ｂの双方ともに上位の確率変数だとみなし、ハイパーパラメータａ、ｂを事後確率の最大化によって推定する。ハイパーパラメータａ、ｂの事後確率は、（５）式により与えられる。
【0038】
【数5】
【0039】
ここで、（５）式に離散フーリエ変換を用いることで、多重積分をフーリエ積分ごとの積の形にする。これにより、積分計算は、ガウス積分によって厳密に行うことができる。（５）式を変形すると、（６）式が与えられる。
【0040】
【数6】
【0041】
ここで、（６）式に対数を用いると、（７）式が与えられる。
【0042】
【数7】
【0043】
ここで、Ｆはベイズ自由エネルギーとする。この（７）式により、ハイパーパラメータａ、ｂのベイズ自由エネルギーを算出することができる。また、（７）式により、ａとｂの比だけではなく、ａとｂのそれぞれを決定することができる。
【0044】
このような態様によれば、ガウスノイズを含む画像を修復可能なモデルを、ショットノイズを含む画像を修復する用途に応用することができる。
【0045】
４．画像修復方法の流れ
第４節では、前述した画像修復装置１００の画像修復方法の流れについて説明する。この画像修復方法は、本実施形態のプログラムの各ステップを備える。この画像修復方法は、取得ステップと、解析ステップと、生成ステップとを備える。取得ステップでは、ショットノイズを含む画像である観測画像を取得する。解析ステップでは、マルコフ確率場モデルを用いて観測画像を解析する。生成ステップでは、取得された観測画像と、解析された結果とに基づいて、当該観測画像の原画像として推定された推定画像を生成する。
第４節では、前述した画像修復装置１００の画像修復方法の流れについて説明する。この画像修復方法は、本実施形態のプログラムの各ステップを備える。この画像修復方法は、取得ステップと、解析ステップと、生成ステップとを備える。取得ステップでは、ショットノイズを含む画像である観測画像を取得する。解析ステップでは、マルコフ確率場モデルを用いて観測画像を解析する。生成ステップでは、取得された観測画像と、解析された結果とに基づいて、当該観測画像の原画像として推定された推定画像を生成する。
【0046】
図３は、画像修復装置１００によって実行される情報処理の流れを示すアクティビティ図である。以下、このアクティビティ図の各アクティビティに沿って、説明するものとする。ここで、観測画像は、走査型透過電子顕微鏡によって撮像された走査型透過電子顕微鏡画像であるものとする。したがって、観測画像は、ショットノイズを含む画像であるものとする。
【0047】
まず、走査型透過電子顕微鏡は、観測対象を撮像する（アクティビティＡ１１０）。ここで、走査型透過電子顕微鏡の撮像原理を説明する。走査型透過電子顕微鏡は、遠点にある光源から平面波を放射する。放射された平面波は、対物レンズにより観測対象上に収束角α１で入射し、スキャンコイルによりラスタ状に観測対象上を走査する。観測対象を透過、散乱した電子は、収束電子回折図形を形成する。その後、投影レンズにより、ある点に投影された強度を角度α２の検出器で測定する。そして、当該測定を走査と同期させながらモニタ上に表示させる。
【0048】
続いて、走査型透過電子顕微鏡は、観測対象を撮像した観測画像を記憶する（アクティビティＡ１２０）。すなわち、走査型透過電子顕微鏡における制御部は、走査型透過電子顕微鏡における記憶部に当該観測画像を記憶させる。
【0049】
続いて、走査型透過電子顕微鏡は、観測画像を画像修復装置１００に送信する（アクティビティＡ１３０）。走査型透過電子顕微鏡における制御部は、走査型透過電子顕微鏡における記憶部に記憶された観測画像を読み出す。続いて、走査型透過電子顕微鏡における制御部は、走査型透過電子顕微鏡における通信部を介して、当該観測画像を画像修復装置１００に送信する。
【0050】
続いて、画像修復装置１００における制御部１１０は、走査型透過電子顕微鏡から観測画像を取得する（アクティビティＡ１４０）。すなわち、取得ステップでは、観測画像を取得する。
【0051】
アクティビティＡ１４０では、例えば、次の２段階の情報処理が実行される。（１）通信部１５０は、走査型透過電子顕微鏡から送信された観測画像を受信する。（２）制御部１１０は、受信された観測画像を記憶部１２０に記憶させる。
【0052】
続いて、画像修復装置１００における制御部１１０は、観測画像からハイパーパラメータａ、ｂのベイズ自由エネルギーを算出する（アクティビティＡ１５０）。ハイパーパラメータは、観測画像の解析に用いられるパラメータのことである。すなわち、解析ステップでは、観測画像からハイパーパラメータａ、ｂのベイズ自由エネルギーを算出する。
【0053】
アクティビティＡ１５０では、例えば、次の３段階の情報処理が実行される。（１）制御部１１０は、記憶部１２０に記憶された観測画像を読み出す。（２）制御部１１０は、算出処理を実行し、観測画像からベイズ自由エネルギーを算出する。（３）制御部１１０は、算出されたベイズ自由エネルギーに関するデータを記憶部１２０に記憶させる。
【0054】
続いて、画像修復装置１００における制御部１１０は、ハイパーパラメータａ、ｂのベイズ自由エネルギーの最小値を探索する（アクティビティＡ１６０）。制御部１１０は、探索されたベイズ自由エネルギーの最小値に基づいて、ハイパーパラメータａ、ｂを推定する。すなわち、解析ステップでは、ベイズ自由エネルギーの最小化によって、ハイパーパラメータａ、ｂを推定する。
【0055】
アクティビティＡ１６０では、例えば、次の４段階の情報処理が実行される。（１）制御部１１０は、記憶部１２０に記憶された、ベイズ自由エネルギーのデータを読み出す。（２）制御部１１０は、探索処理を実行し、ベイズ自由エネルギーの最小値を探索する。（３）制御部１１０は、探索されたベイズ自由エネルギーの最小値に基づいて、ハイパーパラメータａ、ｂを推定する。（４）制御部１１０は、推定されたハイパーパラメータａ、ｂを記憶部１２０に記憶させる。
【0056】
アクティビティＡ１５０からＡ１６０によれば、ハイパーパラメータの推定の際に扱う桁数を簡素化することができる。
【0057】
続いて、画像修復装置１００における制御部１１０は、観測画像の原画像として推定された推定画像を生成する（アクティビティＡ１７０）。すなわち、生成ステップでは、観測画像と、解析された結果とに基づいて、推定画像を生成する。
【0058】
アクティビティＡ１７０では、例えば、次の３段階の情報処理が実行される。（１）制御部１１０は、記憶部１２０に記憶された観測画像を読み出す。（２）制御部１１０は、記憶部１２０に記憶された、推定されたハイパーパラメータａ、ｂを読み出す。（３）制御部１１０は、生成処理を実行し、推定画像を生成する。
【0059】
アクティビティＡ１５０及びＡ１６０において、解析ステップでは、全ての観測画像を略同時に解析してもよい。この解析ステップにおける解析処理は、第５節及び第６節で説明する。
【0060】
このような解析ステップの態様によれば、ショットノイズを含む画像をより高精度に修復することができる。このように、本実施形態の態様によれば、特に走査型透過電子顕微鏡で撮像された画像に対して好適に用いることができる。
【0061】
５．画像修復方法の概要（２）
第５節では、第４節において説明したアクティビティＡ１５０及びＡ１６０で実行される画像修復方法の概要について説明する。すなわち、ここでは、複数枚の２次元観測画像を略同時に使用する画像修復方法を定式化する。
第５節では、第４節において説明したアクティビティＡ１５０及びＡ１６０で実行される画像修復方法の概要について説明する。すなわち、ここでは、複数枚の２次元観測画像を略同時に使用する画像修復方法を定式化する。
【0062】
原画像が従う確率分布は、１枚の場合と同じであり、（８）式に従うものとする。
【0063】
【数8】
【0064】
ここで、ｕは原画像、ａは原画像の滑らかさを表すハイパーパラメータ、Ｎ２は原画像の画素数を示す。ここで、観測画像は、Ｔ枚取得されたものとする。Ｔ枚の観測画像を略同時に使用した観測画像の確率分布は、（９）式に従うものとする。
【0065】
【数9】
【0066】
ここで、ｖは観測画像、ｂは観測画像のノイズ強度を表すハイパーパラメータを示す。原画像の事後確率は、ベイズの定理を用いて、（１０）式により与えられる。
【0067】
【数10】
【0068】
原画像の事後確率を最大にする推定画像は、（１１）式により与えられる。
【0069】
【数11】
【0070】
続いて、ハイパーパラメータａ、ｂの推定について説明する。ハイパーパラメータａ、ｂの双方ともに上位の確率変数だとみなし、ハイパーパラメータａ、ｂを事後確率の最大化によって推定する。ハイパーパラメータａ、ｂの事後確率は、（１２）式により与えられる。
【0071】
【数12】
【0072】
ここで、（１２）式に対数を用いると、（１３）式が与えられる。
【0073】
【数13】
【0074】
ここで、Ｆはベイズ自由エネルギーとする。この（１３）式により、ハイパーパラメータａ、ｂのベイズ自由エネルギーを算出することができる。また、（１３）式により、ａとｂの比だけではなく、ａとｂのそれぞれを決定することができる。
【0075】
６．画像修復方法の概要（３）
第６節では、第４節において説明したアクティビティＡ１５０及びＡ１６０で実行される画像修復方法の概要について説明する。すなわち、ここでは、複数枚の２次元観測画像を平均化処理した上で解析する画像修復方法を定式化する。
第６節では、第４節において説明したアクティビティＡ１５０及びＡ１６０で実行される画像修復方法の概要について説明する。すなわち、ここでは、複数枚の２次元観測画像を平均化処理した上で解析する画像修復方法を定式化する。
【0076】
原画像が従う確率分布は、１枚の場合と同じであり、（１４）式に従うものとする。
【0077】
【数14】
【0078】
ここで、ｕは原画像、ａは原画像の滑らかさを表すハイパーパラメータ、Ｎ２は原画像の画素数を示す。ここで、観測画像は、Ｔ枚取得されたものとする。観測画像を平均化処理した平均画像の確率分布は、（１５）式に従うものとする。
【0079】
【数15】
【0080】
ここで、ｍは平均画像、ｂは観測画像のノイズ強度を表すハイパーパラメータを示す。原画像の事後確率は、ベイズの定理を用いて、（１６）式により与えられる。
【0081】
【数16】
【0082】
原画像の事後確率を最大にする推定画像は、（１７）式により与えられる。
【0083】
【数17】
【0084】
続いて、ハイパーパラメータａ、ｂの推定について説明する。ハイパーパラメータａ、ｂの双方ともに上位の確率変数だとみなし、ハイパーパラメータａ、ｂを事後確率の最大化によって推定する。ハイパーパラメータａ、ｂの事後確率は、（１８）式により与えられる。
【0085】
【数18】
【0086】
ここで、（１８）式に対数を用いると、（１９）式が与えられる。
【0087】
【数19】
【0088】
ここで、Ｆはベイズ自由エネルギーとする。この（１９）式により、ハイパーパラメータａ、ｂのベイズ自由エネルギーを算出することができる。また、（１９）式により、ａとｂの比だけではなく、ａとｂのそれぞれを決定することができる。
【0089】
７．実施例１
第７節では、第４節から第６節の画像修復方法を実行させた場合の実施例について説明する。
第７節では、第４節から第６節の画像修復方法を実行させた場合の実施例について説明する。
【0090】
図４は、観測画像におけるベイズ自由エネルギーの分布を示す図である。図４（Ａ）は、２０枚の観測画像を平均化してハイパーパラメータａ、ｂを推定した場合の分布を示す。図４（Ｂ）は、２０枚の観測画像を略同時に解析してハイパーパラメータａ、ｂを推定した場合の分布を示す。図４では、ｂを１０に設定したため、２０枚の観測画像を略同時に解析した方が、性能が高いことが分かった。
【0091】
図５は、正方形のシミュレーション画像を示す図である。図５（Ａ）は、画素数５１２×５１２の原画像を示す。図５（Ｂ）は、走査型透過電子顕微鏡によって観測対象を撮像したとした場合の観測画像２０枚のうちの１枚の画像を示す。ここで、当該観測画像のノイズ強度（ハイパーパラメータ）ｂを１０とした。図５（Ｃ）は、当該観測画像２０枚を平均化処理した平均画像を示す。
【0092】
図６は、図５の観測画像をそれぞれ処理した結果を示す図である。図６（Ａ）は、観測画像２０枚を平均化処理した平均画像を示す（図５（Ｃ）と同画像）。図６（Ｂ）は、図６（Ａ）の平均画像からの修復画像（以下「推定画像」ともいう。）を示す。図６（Ｃ）は、観測画像２０枚を略同時に解析して修復した修復画像を示す。図６（Ａ）では、二乗平均平方根誤差（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：ＲＭＳＥ）：０．７０６７５、図６（Ｂ）では、ＲＭＳＥ：０．３０９１２、ａの推定値：０．７０６３、ｂの推定値：６．５０００、修復時間：１１２ミリ秒であった。図６（Ｃ）では、ＲＭＳＥ：０．２２４６５、ａの推定値：０．５１８８、ｂの推定値：１０．０００、修復時間：２０３ミリ秒であった。
【0093】
図６によれば、次のことが分かった。（１）観測画像２０枚を平均化処理しただけでは、画像が修復されるわけではないこと。（２）観測画像２０枚の平均画像から修復した場合よりも、観測画像２０枚を略同時に解析して修復した場合のほうが、修復性能が高いこと。
【0094】
図７は、長方形のシミュレーション画像を示す図である。図７（Ａ）は、画素数２６４×２４０の原画像を示す。図７（Ｂ）は、走査型透過電子顕微鏡によって観測対象を撮像したとした場合の観測画像２０枚のうちの１枚の画像を示す。ここで、当該観測画像のノイズ強度（ハイパーパラメータ）ｂを１０とした。図７（Ｃ）は、当該観測画像２０枚を平均化処理した平均画像を示す。
【0095】
図８は、図７の観測画像をそれぞれ処理した結果を示す図である。図８（Ａ）は、観測画像２０枚を平均化処理した平均画像を示す（図７（Ｃ）と同画像）。図８（Ｂ）は、図８（Ａ）の平均画像からの修復画像を示す。図８（Ｃ）は、観測画像２０枚を略同時に解析して修復した修復画像を示す。図８（Ａ）では、ＲＭＳＥ：０．７０５０７、図８（Ｂ）では、ＲＭＳＥ：０．３４３５０、ａの推定値：０．８３１３、ｂの推定値：６．０、修復時間：４６ミリ秒であった。図８（Ｃ）では、ＲＭＳＥ：０．２４５７４、ａの推定値：０．６１２５、ｂの推定値：１０．０、修復時間：６５ミリ秒であった。
【0096】
図８によれば、長方形のシミュレーション画像においても、画像修復装置１００を適用可能であることが分かった。
【0097】
図９は、走査型透過電子顕微鏡によって観測対象を実際に撮像した画像（以下「実データ」ともいう。）を示す図である。図９では、２０枚の観測画像を得た。図９（Ａ）は、観測画像２０枚のうちの１枚の画像を示す。図９（Ｂ）は、観測画像２０枚を平均化処理した平均画像を示す。
【0098】
図１０は、図９の実データをそれぞれ処理した結果を示す図である。図１０（Ａ）は、図９（Ｂ）の平均画像からの修復画像を示す。図１０（Ｂ）は、実データの観測画像２０枚を略同時に解析して修復した修復画像を示す。図１０（Ｃ）は、実データの観測画像を正則化手法にて修復した画像を示す。
【0099】
図１０によれば、次のことが分かった。（１）実データにおいても画像修復装置１００を適用可能であること。（２）正則化手法を用いた場合よりも、画像修復装置１００を用いた場合のほうが、修復性能が高いこと。（３）実データにおいても、観測画像２０枚の平均画像から修復した場合よりも、観測画像２０枚を略同時に解析して修復した場合のほうが、修復性能が高いこと。
【0100】
図１１は、複数枚のシミュレーション画像を同時に使用して画像修復の処理をした結果を示す図である。図１１（Ａ）は、１枚のシミュレーション画像を使用した結果を示す。図１１（Ｂ）は、２枚のシミュレーション画像を同時に使用した結果を示す。図１１（Ｃ）は、４枚のシミュレーション画像を同時に使用した結果を示す。図１１（Ｄ）は、８枚のシミュレーション画像を同時に使用した結果を示す。図１１（Ｅ）は、１６枚のシミュレーション画像を同時に使用した結果を示す。
【0101】
図１２は、複数枚のシミュレーション画像を平均化した平均画像を使用して画像修復の処理をした結果を示す図である。図１２（Ａ）は、１枚のシミュレーション画像を使用した結果を示す。図１２（Ｂ）は、２枚のシミュレーション画像の平均画像を使用した結果を示す。図１２（Ｃ）は、４枚のシミュレーション画像の平均画像を使用した結果を示す。図１２（Ｄ）は、８枚のシミュレーション画像の平均画像を使用した結果を示す。図１２（Ｅ）は、１６枚のシミュレーション画像の平均画像を使用した結果を示す。
【0102】
図１３は、使用するシミュレーション画像の枚数を変えたときのＲＭＳＥの推移を示すグラフである。図１３（Ａ）は、複数枚のシミュレーション画像を同時に使用して画像修復の処理をした場合のＲＭＳＥの推移を示す。図１３（Ｂ）は、複数枚のシミュレーション画像の平均画像を使用して画像修復の処理をした場合のＲＭＳＥの推移を示す。
【0103】
図１１～図１３によれば、次のことが分かった。（１）使用するシミュレーション画像の枚数が多いほど、修復性能が高いこと。（２）図６と同様に、複数のシミュレーション画像の平均画像から修復した場合よりも、複数のシミュレーション画像を略同時に解析して修復した場合のほうが、修復性能が高いこと。
【0104】
図１４は、複数枚の実データを同時に使用して画像修復の処理をした結果を示す図である。図１４（Ａ）は、１枚の実データを使用した結果を示す。図１４（Ｂ）は、２枚の実データを同時に使用した結果を示す。図１４（Ｃ）は、４枚の実データを同時に使用した結果を示す。図１４（Ｄ）は、８枚の実データを同時に使用した結果を示す。図１４（Ｅ）は、１６枚の実データを同時に使用した結果を示す。
【0105】
図１５は、複数枚の実データを平均化した平均画像を使用して画像修復の処理をした結果を示す図である。図１５（Ａ）は、１枚の実データを使用した結果を示す。図１５（Ｂ）は、２枚の実データの平均画像を使用した結果を示す。図１５（Ｃ）は、４枚の実データの平均画像を使用した結果を示す。図１５（Ｄ）は、８枚の実データの平均画像を使用した結果を示す。図１５（Ｅ）は、１６枚の実データの平均画像を使用した結果を示す。
【0106】
図１４及び図１５によれば、次のことが分かった。（１）図１０と同様に、実データにおいても画像修復装置１００を適用可能であること。（２）図１０と同様に、実データにおいても、複数の実データの平均画像から修復した場合よりも、複数の実データを略同時に解析して修復した場合のほうが、修復性能が高いこと。
【0107】
図１６は、本実施形態のプログラムを実装した走査型透過電子顕微鏡を用いて観測対象を撮像した結果を示す図である。すなわち、この走査型透過電子顕微鏡は、画像修復装置１００に相当する。ここでは、この走査型透過電子顕微鏡を用いて実際に観測された画像を観測画像とし、本実施形態のプログラムを用いて当該観測画像を修復処理した画像を修復画像として説明する。図１６では、観測中の任意の時点における観測画像及び修復画像、任意の時点から５秒後における観測画像及び修復画像、並びに任意の時点から１０秒後における観測画像及び修復画像を示す。図１６における観測画像及び修復画像は、同時刻に同一画面上に表示された画像である。
【0108】
任意の時点における観測画像と修復画像とは、撮像された観測対象における同一部分を示していることが分かる。任意の時点から５秒後における観測画像及び修復画像、任意の時点から１０秒後における観測画像及び修復画像についても同様に、撮像された観測対象における同一部分を示していることが分かる。
【0109】
図１６によれば、本実施形態のプログラムを実装した走査型透過電子顕微鏡は、観測対象を撮像した観測画像を短時間（ほぼリアルタイム）に修復可能であることが示された。
【0110】
８．実施例２
第８節では、ポアソンマルコフ確率場モデル又はガウシアンマルコフ確率場モデルを用いて、第４節から第６節の画像修復方法を実行させた場合の実施例について説明する。
第８節では、ポアソンマルコフ確率場モデル又はガウシアンマルコフ確率場モデルを用いて、第４節から第６節の画像修復方法を実行させた場合の実施例について説明する。
【0111】
走査型透過電子顕微鏡により撮像された画像（以下「ＳＴＥＭ像」ともいう。）は、ポアソンノイズの一種であるショットノイズにより劣化する。ガウシアンマルコフ確率場モデルを用いて画像を修復する手法は、当該画像がガウスノイズにより劣化すると仮定して適用される。すなわち、ガウシアンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法は、当該画像の劣化過程を近似していることになる。一方、ポアソンマルコフ確率場モデルを用いて画像を修復する手法は、当該画像がポアソンノイズにより劣化すると仮定して適用される。すなわち、ポアソンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法は、当該画像の劣化過程を取り入れていることになる。したがって、ポアソンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法は、ガウシアンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法よりも理論的にはより理想的だと言える。そこで、実施例２では、ポアソンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法と、ガウシアンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法とを実行し、それぞれの性能を比較した。
【0112】
ここで、ポアソンマルコフ確率場モデルを用いる場合における原画像及び観測画像が従う確率分布を示す。この場合の原画像は、（２０）式の確率分布に従うものとする。
【0113】
【数20】
【0114】
ここで、ｕは原画像、ａは原画像の滑らかさを表すハイパーパラメータ、Ｎ２は原画像の画素数を示す。また、観測画像は、ポアソンノイズにより劣化しているものとし、（２１）式の確率分布に従うものとする。
【0115】
【数21】
【0116】
ここで、ｖは観測画像を示す。（２０）式及び（２１）式の確率分布を適用してポアソンマルコフ確率場モデルを定式化すると、ポアソンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法は、ガウシアンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法よりも理論的にはより理想的だと言える。
【0117】
図１７は、ポアソンマルコフ確率場モデル又はガウシアンマルコフ確率場モデルを用いてシミュレーション画像を修復した結果を示す図である。ここでは、観測対象として単層グラフェンを用いて、３通りにノイズ強度を変えて比較した。図１７（Ａ）は、画素数１２８×１２８の原画像を示す。図１７（Ｂ）は、当該原画像に弱めのノイズを加えたシミュレーション画像、当該原画像に中程度のノイズを加えたシミュレーション画像、当該原画像に強めのノイズを加えたシミュレーション画像をそれぞれ入力画像として準備し、各入力画像をポアソンマルコフ確率場モデル又はガウシアンマルコフ確率場モデルを用いて修復した結果を示す図である。
【0118】
その結果、ノイズ弱の入力画像にポアソンマルコフ確率場モデルを用いた場合のＲＭＳＥは０．０７１０６、同じくガウシアンマルコフ確率場モデルを用いた場合のＲＭＳＥは０．０６４６８であった。ノイズ中の入力画像にポアソンマルコフ確率場モデルを用いた場合のＲＭＳＥは０．１１７８８、同じくガウシアンマルコフ確率場モデルを用いた場合のＲＭＳＥは０．１１５４７であった。ノイズ強の入力画像にポアソンマルコフ確率場モデルを用いた場合のＲＭＳＥは０．２１７３６、同じくガウシアンマルコフ確率場モデルを用いた場合のＲＭＳＥは０．２０９２５であった。また、ポアソンマルコフ確率場モデルを用いた場合の処理時間は、スーパーコンピュータを用いて１０時間以上であったのに対し、ガウシアンマルコフ確率場モデルを用いた場合の処理時間は、一般的なノートパソコンを用いて１秒未満であった。
【0119】
図１７によれば、次のことが分かった。（１）ガウシアンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法の性能は、ポアソンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法の性能をわずかに上回ること。（２）ガウシアンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法の処理時間は、ポアソンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法の処理時間よりも非常に短時間であること。
【0120】
図１８は、ポアソンマルコフ確率場モデル又はガウシアンマルコフ確率場モデルを用いて、複数の観測画像の平均画像を修復、又は複数の観測画像を同時解析して修復した結果を示す図である。ここでは、観測対象としてチタン酸ストロンチウム（ＳｒＴｉＯ３）を用いて、観測画像の画像枚数を３通りに変えて比較した。図１８（Ａ）は、画素数１２８×１２８の原画像を示す。図１８（Ｂ）は、走査型透過電子顕微鏡によって観測対象を実際に撮像した観測画像（実データ）のうちの１枚の画像を示す。図１８（Ｃ）は、２０枚の観測画像（実データ）、５０枚の観測画像（実データ）、及び１００枚の観測画像（実データ）をそれぞれ準備し、各観測画像の平均画像を使用してガウシアンマルコフ確率場モデルを用いて修復した場合（以下「平均画像の修復」ともいう。）、及び、各観測画像を同時に使用してポアソンマルコフ確率場モデル又はガウシアンマルコフ確率場モデルを用いて修復した場合（以下それぞれ「ポアソンマルコフ確率場モデルによる修復」、「ガウシアンマルコフ確率場モデルによる修復」ともいう。）の結果を示す図である。
【0121】
まず、２０枚の観測画像を使用した場合の結果を示す。平均画像の修復の場合のＲＭＳＥは０．０５７３１、ポアソンマルコフ確率場モデルによる修復の場合のＲＭＳＥは０．０１４０４、ガウシアンマルコフ確率場モデルによる修復の場合のＲＭＳＥは０．００９５５であった。続いて、５０枚の観測画像を使用した場合の結果を示す。平均画像の修復の場合のＲＭＳＥは０．０３４８２、ポアソンマルコフ確率場モデルによる修復の場合のＲＭＳＥは０．０１１９９、ガウシアンマルコフ確率場モデルによる修復の場合のＲＭＳＥは０．００８１９であった。続いて、１００枚の観測画像を使用した場合の結果を示す。平均画像の修復の場合のＲＭＳＥは０．０２４７５、ポアソンマルコフ確率場モデルによる修復の場合のＲＭＳＥは０．００９８８、ガウシアンマルコフ確率場モデルによる修復の場合のＲＭＳＥは０．００７２５であった。また、ポアソンマルコフ確率場モデルを用いた場合の処理時間は、スーパーコンピュータを用いて１０時間以上であったのに対し、ガウシアンマルコフ確率場モデルを用いた場合の処理時間は、一般的なノートパソコンを用いて１秒未満であった。
【0122】
図２０によれば、次のことが分かった。（１）複数の観測画像（実データ）の平均画像から修復した場合よりも、複数の観測画像（実データ）を略同時に解析して修復した場合のほうが、修復性能が高いこと。（２）ガウシアンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法の性能は、ポアソンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法の性能をわずかに上回ること。（３）ガウシアンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法の処理時間は、ポアソンマルコフ確率場モデルを用いてＳＴＥＭ像を修復する手法の処理時間よりも非常に短時間であること。
【0123】
９．小括
第９節では、第８節までの小括を記載する。
第９節では、第８節までの小括を記載する。
【0124】
通常であれば、ショットノイズを含む画像を修復する場合は、正則化手法が用いられる。当該正則化手法は、画像修復の性能がそれほど高くなく、画像修復に大幅な時間を要していた。より具体的には、クロック数１．８ＧＨｚのＣＰＵ（製品名：Ｉｎｔｅｌ Ｃｏｒｅ ｉ５）を用いた場合において、正則化手法では、１つのハイパーパラメータを求めるのに３１秒かかるため、仮に１０個のハイパーパラメータを求める場合は約５分かかっていた。
【0125】
ガウシアンマルコフ確率場モデルは、ガウスノイズを含む画像を修復する場合に用いられる。画像修復装置１００は、ガウシアンマルコフ確率場モデルを用いてショットノイズを含む画像を修復する。本願発明者らは、マルコフ確率場モデルの性質を検討することにより、正則化手法が、ガウシアンマルコフ確率場モデルと数理的に等価であることを発見した。すなわち、ノイズモデルがポアソンノイズの一種であるショットノイズであるにも関わらず、ガウスノイズを含む画像を修復するためのガウシアンマルコフ確率場モデルでうまくいくことに思い至った。
【0126】
本実施形態の態様によれば、ショットノイズを含む画像を高精度且つ短時間で修復することができる。また、簡単な構成のため、節約されたリソースを他の中核機能に使用することができる。
【0127】
以上、本発明の実施形態について説明したが、本発明はこれに限定されることなく、その発明の技術的思想を逸脱しない範囲で適宜変更可能である。
【0128】
１０．変形例
第１０節では、本実施形態の変形例について説明する。
第１０節では、本実施形態の変形例について説明する。
【0129】
１０－１．第１変形例
制御部１１０は、各種データ及び各種情報について記憶部１２０に書き出し処理（記憶処理）及び読み出し処理をしているが、これに限られず、例えば、制御部１１０内のレジスタやキャッシュメモリ等を使用して、各アクティビティの情報処理を実行してもよい。
制御部１１０は、各種データ及び各種情報について記憶部１２０に書き出し処理（記憶処理）及び読み出し処理をしているが、これに限られず、例えば、制御部１１０内のレジスタやキャッシュメモリ等を使用して、各アクティビティの情報処理を実行してもよい。
【0130】
１０－２．第２変形例
解析ステップでは、ガウシアンマルコフ確率場モデルを用いる場合に限られることなく、種々のマルコフ確率場モデルを用いて観測画像を解析してもよい。
解析ステップでは、ガウシアンマルコフ確率場モデルを用いる場合に限られることなく、種々のマルコフ確率場モデルを用いて観測画像を解析してもよい。
【0131】
１０－３．第３変形例
観測画像は、走査型透過電子顕微鏡画像に限られることなく、種々の電子顕微鏡画像（例えば、走査型電子顕微鏡画像、透過型電子顕微鏡画像等）であってもよい。このような態様によれば、種々の電子顕微鏡において低線量で撮像された画像を高精度に修復することができる。
観測画像は、走査型透過電子顕微鏡画像に限られることなく、種々の電子顕微鏡画像（例えば、走査型電子顕微鏡画像、透過型電子顕微鏡画像等）であってもよい。このような態様によれば、種々の電子顕微鏡において低線量で撮像された画像を高精度に修復することができる。
【0132】
１０－４．第４変形例
本実施形態では、２次元の画像修復方法について説明したが、これに限られることなく、例えば、１次元の画像修復方法を用いてもよい。以下、１次元におけるガウシアンマルコフ確率場モデルに基づいて説明する。原画像は、（２２）式の確率分布に従うものとする。
本実施形態では、２次元の画像修復方法について説明したが、これに限られることなく、例えば、１次元の画像修復方法を用いてもよい。以下、１次元におけるガウシアンマルコフ確率場モデルに基づいて説明する。原画像は、（２２）式の確率分布に従うものとする。
【0133】
【数22】
【0134】
ここで、ｕは原画像、ａは原画像の滑らかさを表すハイパーパラメータ、Ｎは原画像の画素数を示す。観測画像は、（２３）式の確率分布に従うものとする。
【0135】
【数23】
【0136】
ここで、ｖは観測画像、ｂは観測画像のノイズ強度を表すハイパーパラメータを示す。原画像の事後確率は、ベイズの定理を用いて、（２４）式により与えられる。
【0137】
【数24】
【0138】
原画像の事後確率を最大にする推定画像は、（２５）式により与えられる。
【0139】
【数25】
【0140】
続いて、ハイパーパラメータａ、ｂの推定について説明する。ハイパーパラメータａ、ｂの双方ともに上位の確率変数だとみなし、ハイパーパラメータａ、ｂを事後確率の最大化によって推定する。ハイパーパラメータａ、ｂの事後確率は、（２６）式により与えられる。
【0141】
【数26】
【0142】
ここで、（２６）式に離散フーリエ変換を用いることで、多重積分をフーリエ積分ごとの積の形にする。これにより、積分計算は、ガウス積分によって厳密に行うことができる。（２６）式を変形すると、（２７）式が与えられる。
【0143】
【数27】
【0144】
ここで、（２７）式に対数を用いると、（２８）式が与えられる。
【0145】
【数28】
【0146】
ここで、Ｆはベイズ自由エネルギーとする。この（２８）式により、ハイパーパラメータａ、ｂのベイズ自由エネルギーを算出することができる。また、（２８）式により、ａとｂの比だけではなく、ａとｂのそれぞれを決定することができる。
【0147】
このような態様によれば、ガウスノイズを含む画像を修復可能なモデルを、ショットノイズを含む画像を修復する用途に応用することができる。
【0148】
１１．その他
次に記載の各態様で提供されてもよい。
次に記載の各態様で提供されてもよい。
【0149】
（１）プログラムであって、取得ステップと、解析ステップと、生成ステップとをコンピュータに実行させるように構成され、前記取得ステップでは、ショットノイズを含む画像である観測画像を取得し、前記解析ステップでは、マルコフ確率場モデルを用いて前記観測画像を解析し、前記生成ステップでは、前記観測画像と、前記解析された結果とに基づいて、前記観測画像の原画像として推定された推定画像を生成する、プログラム。
【0150】
このような態様によれば、ショットノイズを含む画像を高精度且つ短時間で修復することができる。また、簡単な構成のため、節約されたリソースを他の中核機能に使用することができる。
【0151】
（２）上記（１）に記載のプログラムにおいて、前記解析ステップでは、前記観測画像からハイパーパラメータのベイズ自由エネルギーを算出し、前記ハイパーパラメータは、前記観測画像の解析に用いられるパラメータであり、前記解析ステップでは、前記ベイズ自由エネルギーの最小化によって前記ハイパーパラメータを推定する、プログラム。
【0152】
このような態様によれば、ハイパーパラメータの推定の際に扱う桁数を簡素化することができる。
【0153】
（３）上記（１）又は（２）に記載のプログラムにおいて、前記観測画像は、電子顕微鏡画像である、プログラム。
【0154】
このような態様によれば、電子顕微鏡において低線量で撮像された画像を高精度且つ短時間で修復することができる。
【0155】
（４）上記（１）から（３）までの何れか１つに記載のプログラムにおいて、前記観測画像は、走査型透過電子顕微鏡画像である、プログラム。
【0156】
このような態様によれば、特に走査型透過電子顕微鏡で撮像された画像に対して好適に用いることができる。
【0157】
（５）上記（１）から（４）までの何れか１つに記載のプログラムにおいて、前記解析ステップでは、ガウシアンマルコフ確率場モデルを用いて前記観測画像を解析する、プログラム。
【0158】
このような態様によれば、ガウスノイズを含む画像を修復可能なモデルを、ショットノイズを含む画像を修復する用途に応用することができる。
【0159】
（６）上記（１）から（５）までの何れか１つに記載のプログラムにおいて、前記解析ステップでは、全ての前記観測画像を略同時に解析する、プログラム。
【0160】
このような態様によれば、ショットノイズを含む画像をより高精度に修復することができる。
【0161】
（７）画像修復装置であって、制御部を備え、前記制御部は、上記（１）から（６）までの何れか１つに記載のプログラムの各ステップを実行可能に構成される、画像修復装置。
【0162】
このような態様によれば、ショットノイズを含む画像を高精度且つ短時間で修復することができる。また、簡単な構成のため、節約されたリソースを他の中核機能に使用することができる。
【0163】
（８）画像修復方法であって、上記（１）から（６）までの何れか１つに記載のプログラムの各ステップを備える、画像修復方法。
【0164】
このような態様によれば、ショットノイズを含む画像を高精度且つ短時間で修復することができる。また、簡単な構成のため、節約されたリソースを他の中核機能に使用することができる。
もちろん、この限りではない。
もちろん、この限りではない。
【符号の説明】
【0165】
１００ ：画像修復装置
１１０ ：制御部
１１１ ：取得部
１１２ ：解析部
１１３ ：生成部
１２０ ：記憶部
１３０ ：表示部
１４０ ：入力部
１５０ ：通信部
１６０ ：通信バス
１１０ ：制御部
１１１ ：取得部
１１２ ：解析部
１１３ ：生成部
１２０ ：記憶部
１３０ ：表示部
１４０ ：入力部
１５０ ：通信部
１６０ ：通信バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
