ホーム > 特許ランキング > 国立大学法人東北大学
▶ 国立大学法人東北大学の特許一覧 ▶ 東北電力株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-05
(45)【発行日】2024-04-15
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
G06T 5/50 20060101AFI20240408BHJP
【ＦＩ】
G06T5/50
【請求項の数】
9
(21)【出願番号】P 2020112643
(22)【出願日】2020-06-30
(65)【公開番号】P2022011479
(43)【公開日】2022-01-17
【審査請求日】2023-03-29
(73)【特許権者】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(73)【特許権者】
【識別番号】000222037
【氏名又は名称】東北電力株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(72)【発明者】
【氏名】大関 真之
(72)【発明者】
【氏名】越川 亜美
(72)【発明者】
【氏名】井口 大輔
(72)【発明者】
【氏名】田附 匡
(72)【発明者】
【氏名】中嶋 誠
(72)【発明者】
【氏名】鈴木 淳
【審査官】渡部 幸和
(56)【参考文献】
【文献】特開２０１８－１８９５６２（ＪＰ，Ａ）
【文献】三好 亮平，他，Ｘ線造影動画像のスーパーピクセルを用いた造影領域のスパース再構成，電子情報通信学会技術研究報告，日本，2018年10月30日，Ｖｏｌ．１１８ Ｎｏ．２８６
【文献】河辺 杜生，他，ロバスト主成分分析を用いた造影領域強調処理の並列化による高速化，電子情報通信学会技術研究報告，日本，2019年01月15日，Ｖｏｌ．１１８ Ｎｏ．４１２
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ ー ７／９０
(57)【特許請求の範囲】
【請求項1】
検査対象が写された被写体画像のうち第１の観測方法で取得された観測画像の画像データを取得する観測画像取得部と、前記観測画像の画像データと、前記第１の観測方法よりも鮮明な画像を取得する第２の観測方法で取得された被写体画像が有する特性と、に基づき前記観測画像よりも鮮明な被写体画像である推測画像を生成する画像生成部と、
を備え、
前記特性は、前記第２の観測方法で取得された被写体画像において、所定の条件を満たす画素の全画素に対する割合が所定の割合以下という特性であり、
前記所定の条件は前記検査対象の損傷部位が写されたという条件である、
画像処理装置。
【請求項2】
前記画像生成部は、前記観測画像の画像データと前記特性とに基づき、要素が前記推測画像の１つの画素の輝度値を表すベクトルである推測ベクトルを算出して前記推測画像を生成する、請求項１に記載の画像処理装置。
【請求項3】
前記特性は、隣接画素の輝度値の変化量は前記第２の観測方法で取得された被写体画像内の他の画素間の輝度値の変化量に略同一であるという特性である、請求項１又は２のいずれか一項に記載の画像処理装置。
【請求項4】
予め所定のグレースケールに対応付けられた色を示す情報であるカラーバー情報が示す色と変換対象の画像の画素の色との違いを示す量である色距離を用い、変換対象の画像の画素の値が示す各原色の量を説明変数としグレースケールの明度を目的変数とする写像により前記変換対象の画像をグレースケールの画像に変更するグレースケール変換処理を前記観測画像に対して実行するグレースケール変換部、を備える請求項１から３のいずれか一項に記載の画像処理装置。
【請求項5】
前記観測画像に写る像の幾何学的な特性に基づき前記観測画像を変形する画像変形部、 を備える請求項１から４のいずれか一項に記載の画像処理装置。
【請求項6】
前記幾何学的な特性は、同心円状の構造の画像を前記観測画像全体に対して所定の割合以上含むという特性である、請求項５に記載の画像処理装置。
【請求項7】
前記検査対象の観測の過程を表す変換写像を、前記観測画像の特性を用いた機械学習の方法で生成する写像生成部、を備えた請求項１から６のいずれか一項に記載の画像処理装置。
【請求項8】
検査対象が写された被写体画像のうち第１の観測方法で取得された観測画像の画像データを取得する観測画像取得ステップと、前記観測画像の画像データと、前記第１の観測方法よりも鮮明な画像を取得する第２の観測方法で取得された被写体画像が有する特性と、に基づき前記観測画像よりも鮮明な被写体画像を生成する画像生成ステップと、
を有し、
前記特性は、前記第２の観測方法で取得された被写体画像において、所定の条件を満たす画素の全画素に対する割合が所定の割合以下という特性であり、
前記所定の条件は前記検査対象の損傷部位が写されたという条件である、
画像処理方法。
【請求項9】
請求項１から７のいずれか一項に記載の画像処理装置をコンピュータに機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
火力発電所では、蒸気配管の溶接部内部の健全性は超音波又は放射線を用いた非破壊検査（特許文献１参照）により確認される。蒸気配管の溶接部の健全性の確認とは、具体的には溶接部に傷等の不具合が無いか否かを確認することである。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００４－１９１１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
非破壊検査は超音波又は放射線を用いて行われるが、溶接部内部の金属組織の不具合を観測することは困難であった。通常、内部の金属組織は破壊検査しその断面組織を観察する。
【0005】
例えば特許文献１に記載の従来の超音波を用いた非破壊検査の場合、溶接部内部の金属組織の不具合を示す反射波が微弱ながら観測されるが、観測の過程で検査対象の情報の一部が失われてしまい、破壊検査によって得られる情報量に比べて観測により得られた画像が有する情報量が充分で無い。すなわち、観測により得られた画像は破壊検査によって得られる画像に写された溶接部の内部の画像ほど鮮明に検査対象を写しきれない場合がある。このような場合、非破壊検査の実行者は、蒸気配管の溶接部内部の金属組織の不具合を充分に確認することができない。
【0006】
このような課題は、超音波を用いて蒸気配管の溶接部内部の金属組織の画像を得る場合に限らず、超音波を含む音波や電磁波等の波を用いて検査対象の画像を得る場合や、放射線を用いて検査対象の画像を得る場合等の非破壊な方法で検査対象の画像を得る場合にも共通の課題であった。
【0007】
上記事情に鑑み、本発明は、より鮮明な画像を生成する画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明の一態様は、検査対象が写された被写体画像のうち第１の観測方法で取得された観測画像の画像データを取得する観測画像取得部と、前記観測画像の画像データと、前記第１の観測方法よりも鮮明な画像を取得する第２の観測方法で取得された被写体画像が有する特性と、に基づき前記観測画像よりも鮮明な被写体画像を生成する画像生成部と、を備える画像処理装置である。
【0009】
本発明の一態様は、検査対象が写された被写体画像のうち第１の観測方法で取得された観測画像の画像データを取得する観測画像取得ステップと、前記観測画像の画像データと、前記第１の観測方法よりも鮮明な画像を取得する第２の観測方法で取得された被写体画像が有する特性と、に基づき前記観測画像よりも鮮明な被写体画像を生成する画像生成ステップと、を有する画像処理方法である。
【0010】
本発明の一態様は、上記の画像処理をコンピュータに機能させるためのプログラムである。
【発明の効果】
【0011】
本発明により、より鮮明な画像を生成する画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【0012】
【図1】実施形態の画像処理装置１の概要を説明する説明図。
【図2】実施形態の画像処理装置１の構成の一例を示す図。
【図3】実施形態における制御部１０の機能構成の一例を示す図。
【図4】実施形態の画像処理装置１が実行する処理の流れの一例を示すフローチャート。
【図5】第１変形例におけるベクトルｕとベクトルｖとの関係を説明する図。
【図6】第３変形例における制御部１０ａの機能構成の一例を示す図。
【図7】第４変形例におけるセクタースキャン像の一例を示す図。
【図8】第４変形例における投影デカルト座標系上のセクタースキャン像の一例を示す図。
【図9】第４変形例における制御部１０ｂの機能構成の一例を示す図。
【図10】第５変形例における線形回帰学習を説明する説明図。
【図11】第５変形例における観測画像よりも鮮明な被写体画像の一例を示す図。
【図12】第５変形例における画像処理装置１００の構成を説明する説明図。
【図13】第５変形例における制御部２０の機能構成の一例を示す図。
【図14】第６変形例におけるガウス特性を説明する説明図。
【図15】色距離及び色変換対応情報を用いたグレースケール変換処理による画像処理装置１００の画像の変換の結果の一例を示す図。
【図16】画像処理装置１００による推測画像の生成の結果の一例を示す図。
【図17】推測画像の写像学習用データへの依存性を検証した実験結果の一例を示す図。
【発明を実施するための形態】
【0013】
（実施形態）
図１は、実施形態の画像処理装置１の概要を説明する説明図である。画像処理装置１は、観測画像の画像データに基づき推測画像の画像データを生成する。観測画像は、第１の観測方法で得られた被写体画像である。被写体画像は、検査対象が写された画像である。推測画像は観測画像よりも鮮明な被写体画像である。
図１は、実施形態の画像処理装置１の概要を説明する説明図である。画像処理装置１は、観測画像の画像データに基づき推測画像の画像データを生成する。観測画像は、第１の観測方法で得られた被写体画像である。被写体画像は、検査対象が写された画像である。推測画像は観測画像よりも鮮明な被写体画像である。
【0014】
より具体的には、推測画像は、鮮明な度合（以下「鮮明度」という。）が、目標画像の鮮明度に、観測画像よりも近い被写体画像である。目標画像は、第１の観測方法よりも鮮明な被写体画像を取得する第２の観測方法で取得された被写体画像である。第１の観測方法は、例えば超音波検査による非破壊な方法である。このような場合、第２の観測方法は、例えば破壊検査である。
【0015】
このように、推測画像は、第１の観測方法における検査対象の観測の過程（以下「観測過程」という。）で失われた情報の少なくとも一部が復元された画像である。以下説明の簡単のため第１の観測方法が超音波検査である場合を例に画像処理装置１を説明する。
【0016】
超音波検査は、検査対象の所定の位置に超音波を照射し、照射した超音波の反射波であるエコーを取得して、エコーに基づき検査対象の所定の位置の画像を取得する処理である。そのため、観測画像は、検査対象の所定の位置の画像である。所定の位置は、検査対象内又は検査対象上の位置であればどこであってもよく、例えば観測画像の断面の位置である。所定の位置は、観測画像の表面の位置であってもよい。
【0017】
検査対象は、少なくとも一部が損傷もしくは異常な金属組織が発生したものである。以下、損傷もしくは異常組織が発生した部位を損傷部位といい、損傷していない部位を非損傷部位という。検査対象は、例えば火力発電所で用いられる蒸気配管である。以下説明の簡単のため、検査対象が火力発電所で用いられる蒸気配管である場合を例に画像処理装置１を説明する。なお、図１の画像Ｐ１は、観測画像の一例であり、火力発電所で用いられる蒸気配管の断面の画像の一例である。
【0018】
目標画像は１又は複数の特性を有する。目標画像が有する特性の１つは、第１画像特性である。第１画像特性はスパース性である。スパース性を有するとは、目標画像において、所定の条件を満たす画素（以下「少数画素」という。）の目標画像の全画素に対する割合が所定の割合以下という条件が満たされていることを意味する。そのため少数画素以外の画素の輝度値が０で表される場合に、第１画像特性を有する画像は過半数以上の画素において輝度値が０である。スパース性を有するとは、具体的な例としては例えば目標画像において損傷部位の写された画素の全画素に対する割合が所定の割合以下という条件が満たされていることである。このような場合であって非損傷部位の輝度値が０で表される場合に、第１画像特性を有する画像は過半数以上の画素において輝度値が０である。なお、第１画像特性は、目標画像を取得する環境に依存して現れる特性である。
【0019】
画像処理装置１は、目標画像が有する特性を推定画像も有するという条件の元で観測画像から推定画像を生成する。
【0020】
例えば画像処理装置１は、観測過程を表す関数（以下「観測過程表現関数」という。）と第１画像特性を表す関数（以下「スパース表現関数」という。）とを用い、観測画像の画像データに基づき推測画像の画像データを生成する。以下観測過程表現関数とスパース表現関数との説明を通じて、画像処理装置１が推測画像の画像データを取得可能な仕組みを説明する。観測過程表現関数は、観測ベクトルと推測ベクトルとを用いて、例えば以下の式（１）で表される。
【0021】
【数1】
【0022】
観測ベクトルは要素が観測画像の１つの画素の輝度値を表すベクトルである。式（１）の左辺のベクトルｂは観測ベクトルである。推測ベクトルは、要素が推測画像の１つの画素の輝度値を表すベクトルである。推測ベクトルが推測画像の画像データである。式（１）の右辺のベクトルｕは推測ベクトルである。
【0023】
式（１）の右辺の行列Ａは、推測画像から観測画像への変換を表す写像（以下「変換写像」という。）である。変換写像Ａは、観測過程を表す予め取得済みの写像である。変換写像Ａは、例えば画像処理装置１の管理者等の画像処理装置１のユーザが観測過程に基づき予め推測済みの写像である。変換写像Ａは、例えば行列で表現される。
【0024】
式（１）は、左辺と右辺との間の違いが小さいほど観測過程を高い精度で表すことを意味する。すなわち、式（１）の左辺と右辺の間の違いが小さいほどベクトルｕが表す画像が目標画像に近い。そのため、式（１）が観測過程を高い精度で表すほど、推測画像は鮮明である。そこで、画像処理装置１は、式（１）の右辺と左辺との違いを小さくする推測ベクトルを推定する。すなわち画像処理装置１は、以下の式（２）で表される条件を満たす推測ベクトルを推定する。
【0025】
【数2】
【0026】
このようにして、画像処理装置１は、観測過程で失われた情報を推定する。
【0027】
しかしながら、観測ベクトルの要素数は推測ベクトルの要素数より少ない。なぜなら、観測ベクトルの要素数が推測ベクトルの要素数以下であることは、観測過程で推測ベクトルが有する情報の一部が失われてしまったことを意味するからである。一般に互いに独立な未知数の数が方程式の数よりも多い場合、未知数の値を決定することはできない（連立１次方程式解をもつための必要十分条件）。そのため、画像処理装置１は、観測画像の画像データだけを用いて推測画像の画像データを生成することはできない。
【0028】
なお、観測ベクトルの要素数と推測ベクトルの要素数が等しい仮定の下では、変換写像Ａがランク落ちしていた場合は式（２）のみでは復元できない。また、変換写像Ａがフルランクである場合、式（２）のみでも原理的には復元は可能である。しかしながら、変換写像Ａがフルランクである場合、後述する式（３）を利用する場合に比べて解がスパースではない可能性が高い。そのため、変換写像Ａがフルランクである場合、後述する式（３）を利用する場合に比べて得られる推測画像は不鮮明である。
【0029】
また、変換写像Ａがフルランクである場合、推測ベクトルがベクトルｂに乗ったノイズに適合しすぎてしまう等の画像を劣化させる現象が生じる場合がある。そのため、たとえ観測ベクトルの要素数が推測ベクトルの要素数と等しいという条件が満たされる場合であっても、変換写像Ａがフルランクである場合には、後述する式（３）を利用する場合に比べて得られる推測画像は不鮮明である。
【0030】
なお、ランクとは変換写像Ａの表現行列において、行もしくは列ベクトルの線形独立なものの最大個数を意味する。なお、変換写像Ａがフルランクであるとは、表現行列のランクが取りうる最大値であることを意味する。なお、変換写像Ａがランク落ちするとは、フルランクではないことを意味する。
【0031】
そこで画像処理装置１は、目標画像に関する事前情報（以下「目標事前情報」という。）を用いる。目標事前情報は、目標画像が有する特性を示す情報である。そのため、目標画像が第１画像特性を有するという情報は目標事前情報の一例である。画像処理装置１は、目標事前情報が示す目標画像の特性を推測画像も有する特性として扱う。そのため、目標事前情報は、数学的には未知数を算出する際の拘束条件として機能し、独立な未知数の数を減らす。独立な未知数の数が減るので、未知数の値が決定される。以下説明の簡単のため目標事前情報が第１画像特性である場合を例に画像処理装置１を説明する。
【0032】
スパース表現関数はこのような目標事前情報を表す関数の１例である。スパース表現関数は、例えば以下の式（３）で表される。より具体的には式（３）のスパース表現関数は、第１画像特性を表すための関数である。
【0033】
【数3】
【0034】
式（３）に示されるように、スパース表現関数は、例えば推測ベクトルのＬ１ノルム（すなわち推測ベクトルの各要素の絶対値の和）で表される。式（３）で表される値は、式（３）で表される値が小さいほど被写体画像のスパース性が高いことを示す。なお、スパース性が高いとは、全画素に対する輝度値が０である画素の割合が、少なくとも０．５は超える高い割合であることを意味する。
【0035】
画像処理装置１は、観測過程表現関数とスパース表現関数とを用い、第１最適化条件を満たす推測ベクトルを算出する。第１最適化条件は、観測過程表現関数とスパース表現関数との和の関数の値が最小という条件である。第１最適化条件は、例えば以下の式（４）で表される。なお、“ｓ．ｔ．”は、数理最適化分野における “subject to”を意味する記号である。
【0036】
【数4】
【0037】
式（４）においてａは、ベクトルｕのＬ１ノルムの上限値を表す。上限値は予め定められた値である。上限値は小さいほどスパース性が高いことを示す。上述したように、観測ベクトルと式（１）の右辺との違いが小さいほど推測画像は鮮明である。また上述したように、式（３）の値は、式（３）の値が小さいほどスパース性が高いことを表す。そのため、式（４）の値が小さいほど、推測画像は鮮明である。
【0038】
＜第１最適化条件を満たす推測ベクトルの算出方法＞
第１最適化条件を満たす推測ベクトルは罰金法や拡張ラグランジュ法等のどのような最適化の方法で算出されてもよい。ここで、第１最適化条件を満たす推測ベクトルの算出方法の一例を説明する。式（２）で表される第１最適化条件を満たす推測ベクトルは、例えば交互方向乗数法（alternating direction method of multipliers: ＡＤＭＭ）によって算出される。
第１最適化条件を満たす推測ベクトルは罰金法や拡張ラグランジュ法等のどのような最適化の方法で算出されてもよい。ここで、第１最適化条件を満たす推測ベクトルの算出方法の一例を説明する。式（２）で表される第１最適化条件を満たす推測ベクトルは、例えば交互方向乗数法（alternating direction method of multipliers: ＡＤＭＭ）によって算出される。
【0039】
交互方向乗数法は、微分可能な第１関数とＬ１ノルムを含む第２関数との和で表される関数の最適化問題を解く方法であって、補助変数と拡張ラグランジュ関数とを導入した上で、逐次最適化する方法である。Ｌ１ノルムを含む関数は微分可能でないところが存在する。交互方向乗数法を、数式を用いて説明すると以下の通りである。
【0040】
交互方向乗数法を適用する最適化問題は、例えば以下の式（５）で表される。
【0041】
【数5】
【0042】
ｆは、第１関数を表す。ｇは第２関数を表す。補助変数ｚを代入し、式（５）の条件を以下の式（６）の条件に置き換える。
【0043】
【数6】
【0044】
次に、以下の式（７）で表される拡張ラグランジュ関数を定義する。
【0045】
【数7】
【0046】
式（７）の左辺が拡張ラグランジュ関数である。式（７）の右辺第３項のｈはラグランジュの未定乗数を表す。交互方向乗数法においてラグランジュの未定乗数ｈは逐次最適化のたびに更新される。ｔは、逐次最適化の反復回数を表す（ｔは０以上の整数）。式（７）の右辺第４項のＬ２ノルムは、罰金法における罰金項を表す。交互方向乗数法においてベクトルｘとベクトルｚとは、逐次最適化のたびに更新される。式（７）のμはベクトルｘとベクトルｚの差の二乗ノルムの項の重みを表す。
【0047】
交互方向乗数法では、式（７）で表される拡張ラグランジュ関数を用いて、以下の繰り単位逐次最適化を繰り返し実行する。交互方向乗数法の単位逐次最適化では、まず反復回数（ｔ＋１）回目のベクトルｘとして以下の式（８）で表されるベクトルｘが算出される。
【0048】
【数8】
【0049】
次に反復回数（ｔ＋１）回目のベクトルｚとして以下の式（９）で表されるベクトルｚが算出される。
【0050】
【数9】
【0051】
次に反復回数（ｔ＋１）回目のラグランジュの未定乗数ｈとして以下の式（１０）で表されるラグランジュの未定乗数ｈが算出される。
【0052】
【数10】
【0053】
ここまでで単位逐次最適化が終了し、所定の終了条件を満たさない場合には、新たな単位逐次最適化が開始される。これが、交互方向乗数法である。
【0054】
画像処理装置１は、式（５）で表される最適化問題であって第１関数がスパース表現関数に置き換えられ第２関数が以下の式（１１）で表される関数に置き換えられた最適化問題に対して交互方向乗数法を実行する。
【0055】
【数11】
【0056】
式（１１）においてλは目的関数の中での式（１１）のノルムが表す項の重みを決めるための係数（定数）であり、ｈとの間に依存関係の無い係数であり、逐次最適化によっては更新されない定数である。なお、画像処理装置１における目的関数とは具体的には式（５）である。
【0057】
画像処理装置１は交互方向乗数法の単位逐次最適化において、まず反復回数（ｔ＋１）回目のベクトルｘを以下の式（１２）が表す式に更新する。
【0058】
【数12】
【0059】
式（１２）は、拡張ラグランジュ関数Ｌａｕｇの最小値を与えるベクトルｘである。
【0060】
画像処理装置１は交互方向乗数法の単位逐次最適化において、次に反復回数（ｔ＋１）回目のベクトルｚを以下の式（１３）が表す式に更新する。
【0061】
【数13】
【0062】
式（１３）においてＳ１／μは、軟判定閾値関数を表す。
【0063】
画像処理装置１は交互方向乗数法の単位逐次最適化において、次に式（１０）の処理が実行される。画像処理装置１は所定の終了条件が満たされるまで単位逐次最適化を実行する。終了条件が満たされたタイミングにおけるベクトルｘが第１最適化条件を満たす推測ベクトルである。
【0064】
このようにして画像処理装置１は第１最適化条件を満たす推測ベクトルを算出する。推測ベクトルは要素が推測画像の１つの画素の輝度値を表すベクトルであるため、推測ベクトルを算出することは推測画像を生成することである。
【0065】
図２は実施形態における画像処理装置１の構成の一例を示す図である。画像処理装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１０を備え、プログラムを実行する。画像処理装置１は、プログラムの実行によって制御部１０、通信部１１、記憶部１２及びユーザインタフェース１３を備える装置として機能する。
【0066】
より具体的には、画像処理装置１は、プロセッサ９１が記憶部１２に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、画像処理装置１は、制御部１０、通信部１１、記憶部１２及びユーザインタフェース１３を備える装置として機能する。
【0067】
制御部１０は、自装置（画像処理装置１）が備える各機能部の動作を制御する。制御部１０は、例えば第１最適化条件を満たす推測ベクトルを算出する。制御部１０は、例えば算出した第１最適化条件を満たす推測ベクトルを記憶部１２に記録する。制御部１０は、例えば通信部１１の動作を制御する。
【0068】
通信部１１は、画像処理装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１１は、例えば通信先の外部装置に算出した第１最適化条件を満たす推測ベクトルを送信する。通信部１１は、例えば外部装置から観測画像の画像データを受信する。
【0069】
記憶部１２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部１２は画像処理装置１に関する各種情報を記憶する。記憶部１２は、例えば画像処理装置１が備える各機能部の動作を制御するプログラムを予め記憶する。記憶部１２は、例えば予め変換写像Ａを記憶する。記憶部１２は、例えば予め目標事前情報を記憶する。
【0070】
ユーザインタフェース１３は、画像処理装置１に対する入力を受け付ける入力部１３１と画像処理装置１に関する各種情報を出力する出力部１３２とを備える。ユーザインタフェース１３は、例えばタッチパネルである。入力部１３１は、自装置に対する入力を受け付ける。
【0071】
入力部１３１は、例えばマウスやキーボード、タッチパネル等の入力端末である。入力部１３１は、例えばこれらの入力端末を自装置に接続するインタフェースとして構成されてもよい。入力部１３１には、例えば観測画像の画像データが入力されてもよい。
【0072】
出力部１３２は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置である。出力部１３２は、例えばこれらの表示装置を自装置に接続するインタフェースとして構成されてもよい。出力部１３２は、例えば入力部１３１に入力された情報を出力する。出力部１３２は、例えば推測画像を表示する。
【0073】
図３は、実施形態における制御部１０の機能構成の一例を示す図である。制御部１０は、通信制御部１０１、入力制御部１０２、出力制御部１０３、観測画像取得部１０４、画像生成部１０５及び記録部１０６を備える。
【0074】
通信制御部１０１は、通信部１１の動作を制御する。入力制御部１０２は、入力部１３１の動作を制御する。出力制御部１０３は、出力部１３２の動作を制御する。
【0075】
観測画像取得部１０４は、通信部１１又は入力部１３１に入力された観測画像の画像データを取得する。
【0076】
画像生成部１０５は、観測画像の画像データと目標事前情報とに基づき推測ベクトルを算出する。画像生成部１０５は、例えば交互方向乗数法を用いて第１最適化条件を満たす推測ベクトルを算出する。
【0077】
記録部１０６は、制御部１０が備える各機能部の処理によって発生した各種情報を記憶部１２に記録する。記録部１０６は、例えば推測ベクトルを記憶部１２に記録する。記録部１０６は、例えば推測画像の画像データを記憶部１２に記録する。
【0078】
図４は、実施形態の画像処理装置１が実行する処理の流れの一例を示すフローチャートである。通信部１１又は入力部１３１に観測画像の画像データが入力され、入力された観測画像の画像データを観測画像取得部１０４が取得する（ステップＳ１０１）。次に画像生成部１０５が観測画像の画像データ及び目標事前情報に基づき推測ベクトルを算出する（ステップＳ１０２）。次に出力制御部１０３が出力部１３２の動作を制御し、出力部１３２に推測ベクトルが示す画像（すなわち推測画像）を表示させる（ステップＳ１０３）。
【0079】
このように構成された実施形態の画像処理装置１は、検査対象の画像がスパース性を有するという目標事前情報も用いて観測画像に基づき推測画像を生成する。そのため、推測画像は、観測過程で失われた情報の一部又は全部を有する画像であり、観測画像よりも鮮明な被写体画像である。このように、画像処理装置１は、観測画像よりも、鮮明な被写体画像を生成することができる。
【0080】
（第１変形例）
目標画像が有する特性は、第１画像特性に代えて第２画像特性であってもよい。第２画像特性は、目標画像における隣接画素の輝度値の変化量は目標画像内の他の画素間の輝度値の変化量に略同一であるという特性である。なお、第２画像特性は、目標画像を取得する環境に依存して現れる特性である。
目標画像が有する特性は、第１画像特性に代えて第２画像特性であってもよい。第２画像特性は、目標画像における隣接画素の輝度値の変化量は目標画像内の他の画素間の輝度値の変化量に略同一であるという特性である。なお、第２画像特性は、目標画像を取得する環境に依存して現れる特性である。
【0081】
目標画像が第２画像特性を有する場合、画像処理装置１が用いる目標事前情報が示す内容は、目標画像は第２画像特性を有するという情報である。
【0082】
第２画像特性を有する推測画像の画像データを生成する場合、画像処理装置１は観測過程表現関数とスパース表現関数とを用いて推測画像の画像データを生成する代わりに、観測過程表現関数と連続性表現関数とを用いて推測画像の画像データを生成する。
【0083】
連続性表現関数は、このような目標事前情報を表す関数の１例である。連続性表現関数は、第２画像特性を表すための関数である。連続性表現関数は、例えば以下の式（１４）で表される。
【0084】
【数14】
【0085】
【数15】
【0086】
【数16】
【0087】
【数17】
【0088】
式（１５）及び式（１６）に現れる演算子Ｄは作用する先のベクトルを全微分する演算子である。式（１７）の演算子Ｐは、作用する先のベクトルを９０度回転させる演算子である。式（１４）の値は、式（１４）の値が小さいほど、隣接画素の輝度値の変化量と被写体画像内の他の画素間の輝度値の変化量との違いが小さいことを表す。
【0089】
図５は、第１変形例におけるベクトルｕとベクトルｖとの関係を説明する図である。図５は、画像の画素を示す。そのため、図５は複数の画素を表す。図５は、ベクトルｖはＹ軸に平行なベクトルであることを示す。図５は、ベクトルｕはＸ軸に平行なベクトルであることを示す。Ｘ軸とＹ軸とは直交している。
【0090】
観測過程表現関数と連続性表現関数とを用いて推測画像の画像データを生成する場合、画像処理装置１は、具体的には第２最適化条件を満たす推測ベクトルを算出する。第２最適化条件は、観測過程表現関数と連続性表現関数との和の関数の値が最小という条件である。第２最適化条件は、例えば以下の式（１８）で表される。
【0091】
【数18】
【0092】
式（１８）においてλは観測過程表現関数と連続性表現関数の重みを調整するパラメータである。上述したように、観測ベクトルと式（１）の右辺との違いが小さいほど推測画像は鮮明である。また上述したように、式（１４）の値は、式（１４）の値が小さいほど、隣接画素の輝度値の変化量と被写体画像内の他の画素間の輝度値の変化量との違いが小さいことを表す。そのため、式（１８）の値が小さいほど、推測画像は鮮明である。
【0093】
＜第２最適化条件を満たす推測ベクトルの算出方法＞
第２最適化条件を満たす推測ベクトルは罰金法や拡張ラグランジュ法等のどのような最適化の方法で算出されてもよい。ここで、第２最適化条件を満たす推測ベクトルの算出方法の一例を説明する。式（１８）で表される第２最適化条件を満たす推測ベクトルは、例えば全変動に対する交互方向乗数法（alternating direction method of multipliers for total variation: ＡＤＭＭ－ＴＶ）によって算出される。全変動は、式（１４）が表す内容である。
第２最適化条件を満たす推測ベクトルは罰金法や拡張ラグランジュ法等のどのような最適化の方法で算出されてもよい。ここで、第２最適化条件を満たす推測ベクトルの算出方法の一例を説明する。式（１８）で表される第２最適化条件を満たす推測ベクトルは、例えば全変動に対する交互方向乗数法（alternating direction method of multipliers for total variation: ＡＤＭＭ－ＴＶ）によって算出される。全変動は、式（１４）が表す内容である。
【0094】
ＡＤＭＭ－ＴＶは、第１関数と２つの第２関数との和で表される関数の最適化問題を解く方法であって、補助変数と拡張ラグランジュ関数とを導入した上で、逐次最適化する方法である。ＡＤＭＭ－ＴＶは、交互方向乗数法がＬ１ノルム１つを扱ったのに対し、２つのＬ１ノルムを扱う点でＡＤＭＭと異なる。ＡＤＭＭ－ＴＶにおいて２つのＬ１ノルムは、それぞれ交互方向乗数法におけるＬ１ノルムと同様の処理が行わる。
【0095】
なお、ＡＤＭＭ－ＴＶの詳細は、例えば以下の参考文献１に記載されている。特に、参考文献１の８ページから９ページの式（１５）～式（２０）は拡張ラグランジュ関数の説明であり、９ページのＡｌｇｏｒｉｔｈｍ ３．１の表に記載のアルゴリズムがＡＤＭＭ－ＴＶの説明である。
【0096】
参考文献１： Zhiwei (Tony) Qin, Donald Goldfarb, Shiqian Ma, “An Alternating Direction Method for Total Variation Denoising” arxiv:1108.1587v4
【0097】
画像処理装置１が実行するＡＤＭＭ－ＴＶにおける拡張ラグランジュ関数は、具体的には以下の式（１９）が表す関数である。
【0098】
【数19】
【0099】
式（１９）においてγｘ
Ｔは式（１５）を拡張ラグランジュ関数Ｌａｕｇに組み込むための未定乗数を表す。式（１９）においてγｙ
Ｔは式（１６）を拡張ラグランジュ関数Ｌａｕｇに組み込むための未定乗数を表す。式（１９）においてγｚ
Ｔは式（１７）を拡張ラグランジュ関数Ｌａｕｇに組み込むための未定乗数を表す。式（１９）においてμ１は式（１５）についての罰金項の係数を表す。式（１９）においてμ２は式（１６）及び式（１７）についての罰金項の係数を表す。式（１９）においてｚは、補助変数である。
【0100】
式（１９）のベクトルｄｘとベクトルｄｙとは逐次最適化のたびに軟判定閾値関数で表される極値条件を満たす値に更新される。式（１９）のベクトルｕとベクトルｖとは、逐次最適化のたびに式（１９）で定義したコスト関数（拡張ラグランジュ関数）Ｌの微分が０になるという極値条件を満たす値に更新される。
【0101】
このようにして画像処理装置１は第２最適化条件を満たす推測ベクトルを算出する。なお、ＡＤＭＭ－ＴＶ等の第２最適化条件を満たす推測ベクトルを算出する処理は画像生成部１０５によって実行される。
【0102】
このように構成された第１変形例の画像処理装置１は、目標画像における隣接画素の輝度値の変化量は目標画像内の他の画素間の輝度値の変化量に略同一であるという条件を満たすという目標事前情報も用いて観測画像に基づき推測画像を生成する。そのため、推測画像は、観測過程で失われた情報の一部又は全部を有する画像であり、観測画像よりも鮮明な画像である。このように、第１変形例の画像処理装置１は、観測画像よりも、鮮明に被写体画像を生成することができる。
【0103】
（第２変形例）
目標画像が有する特性は、第１画像特性及び第２画像特性であってもよい。目標画像が第１画像特性及び第２画像特性を有する場合、画像処理装置１が用いる目標事前情報は、目標画像は第１画像特性及び第２画像特性を有するという情報である。
目標画像が有する特性は、第１画像特性及び第２画像特性であってもよい。目標画像が第１画像特性及び第２画像特性を有する場合、画像処理装置１が用いる目標事前情報は、目標画像は第１画像特性及び第２画像特性を有するという情報である。
【0104】
第１画像特性及び第２画像特性を有する推測画像の画像データを生成する場合、画像処理装置１は観測過程表現関数とスパース表現関数とにくわえて更に連続性表現関数を用いて推測画像の画像データを生成する。より具体的には、画像処理装置１は、観測過程表現関数とスパース表現関数と連続性表現関数とを用い、第３最適化条件を満たす推測ベクトルを算出する。第３最適化条件は、観測過程表現関数とスパース表現関数と連続性表現関数との和の関数の値が最小という条件である。第３最適化条件は、例えば以下の式（２０）で表される。
【0105】
【数20】
【0106】
式（２０）においてλ１はＬ１ノルムの係数を表す。上述したように、観測ベクトルと式（１）の右辺との違いが小さいほど推測画像は鮮明である。また、また上述したように、式（３）の値は、式（３）の値が小さいほど検査対象のスパース性が高いことを表す。さらに、上述したように、式（１４）の値は、式（１４）の値が小さいほど、隣接画素の輝度値の変化量と被写体画像内の他の画素間の輝度値の変化量との違いが小さいことを表す。そのため、式（２０）の値が小さいほど、推測画像は鮮明である。
【0107】
第３最適化条件を満たす推測ベクトルは罰金法や拡張ラグランジュ法やＡＤＭＭ－ＴＶ法等のどのような最適化の方法で算出されてもよい。
【0108】
なお、第３最適化条件を満たす推測ベクトルを算出する処理は画像生成部１０５によって実行される。
【0109】
このように構成された第２変形例の画像処理装置１は、第１画像特性及び第２画像特性を用いて観測画像に基づき推測画像を生成する。そのため、このようにして生成された推測画像は、観測過程で失われた情報の一部又は全部を有する画像であり、観測画像よりも鮮明な被写体画像である。このように第２変形例の画像処理装置１は、観測画像よりも鮮明な被写体画像を生成することができる。
【0110】
また、このように構成された第２変形例の画像処理装置１は、第１画像特性だけを用いて推測画像を生成する画像処理装置１や、第２画像特性だけを用いて推測画像を生成する画像処理装置１よりも情報量の多い目標事前情報に基づいて推測画像を生成する。そのため、第２変形例の画像処理装置１は、第１画像特性だけを用いて推測画像を生成する画像処理装置１や、第２画像特性だけを用いて推測画像を生成する画像処理装置１よりも鮮明な被写体画像を生成することができる。
【0111】
（第３変形例）
画像処理装置１は、観測画像取得部１０４が取得した画像データが示す観測画像をカラーバー情報に基づき色変換写像によってグレースケールの画像（以下「グレースケール画像」という。）に変更してもよい。カラーバー情報は、予めグレースケールに対応付けられた色を示す情報である。色変換写像は、画素の値が示す各原色の量を説明変数としグレースケールの明度を目的変数とする写像である。
画像処理装置１は、観測画像取得部１０４が取得した画像データが示す観測画像をカラーバー情報に基づき色変換写像によってグレースケールの画像（以下「グレースケール画像」という。）に変更してもよい。カラーバー情報は、予めグレースケールに対応付けられた色を示す情報である。色変換写像は、画素の値が示す各原色の量を説明変数としグレースケールの明度を目的変数とする写像である。
【0112】
以下、カラーバー情報に基づき処理対象の画像をモノクロ画像に変更する処理をグレースケール変換処理という。以下説明の簡単のためグレースケール変換処理の処理対象（すなわち変換対象）の画像がカラー画像である場合を例にグレースケール変換処理を説明する。しかしながら、グレースケール変換処理の処理対象の画像は必ずしもカラー画像である必要は無い。グレースケール変換処理の処理対象の画像はモノクロ画像であってもよい。
【0113】
なお、カラー画像の色の原色は、例えば赤、緑、青の３原色である。原色は、例えばシアン、マゼンダ、黄色、黒の４原色であってもよい。以下説明の簡単のため、原色が赤、緑、青の３原色である場合を例にグレースケール変換処理の一例を説明する。
【0114】
グレースケール変換処理は、例えば以下の処理である。グレースケール変換処理では、まず変換元（変換対象）の画像の全画素について以下の式（２１）で表される値Ｌｃ（以下「色距離」という。）を最小にするＣｇ、Ｃｂ及びＣｒを算出する。Ｃｇ、Ｃｂ及びＣｒの定義は後述する。
【0115】
【数21】
【0116】
式（２１）の左辺の記号は色距離を表す。式（２１）のＣｐｒは、変換元の画像の画素が有する赤の量を表す。赤は原色の１つである。式（２１）のＣｐｇは、変換元の画像の画素が有する緑の量を表す。緑は原色の１つである。式（２１）のＣｐｂは、変換元の画像の画素が有する青の量を表す。青は原色の１つである。以下、式（２１）の変換元の画像において赤、青、緑の各量がそれぞれＣｐｒ、Ｃｐｇ、Ｃｐｂである色を変換元画素色という。式（２１）のＣｒは、カラーバー情報においての変換元画素色が有する赤の量を表す。式（２１）のＣｇは、カラーバー情報においての変換元画素色が有する緑の量を表す。式（２１）のＣｂは、カラーバー情報においての変換元画素色が有する青の量を表す。
【0117】
このように色距離Ｌｃは、変換元の画像の画素の色とカラーバー情報の色との違いを示す量である。
【0118】
グレースケール変換処理では、次に予め定められた色変換対応情報に基づき、色距離Ｌｃを最小にするグレースケールの色（すなわち明度）に変換元の画像の各画素の色を変換する。より具体的には、変換元の画像の色を、色変換対応情報によって最小色に対応付けられたグレースケールの色に変換する。最小色は、カラーバー情報が示す色であり色距離Ｌｃを最小にする最小にするＣｇ、Ｃｂ及びＣｒが示す色である。色変換対応情報は、カラーバー情報が示す色とグレースケールの色との対応関係を示す情報である。なお、カラーバー情報及び色変換対応情報は、予め記憶部１２に記憶されている。
【0119】
式（２１）及び色変換対応情報の１組の情報が、色変換写像の一例である。Ｃｒ、Ｃｇ及びＣｂは、色変換写像の説明変数の一例である。
【0120】
以下、グレースケール変換処理を実行する制御部１０を制御部１０ａという。図６は、第３変形例における制御部１０ａの機能構成の一例を示す図である。制御部１０ａは、グレースケール変換部１０７を備える点で制御部１０と異なる。
【0121】
グレースケール変換部１０７は、観測画像取得部１０４が取得した画像データが示す観測画像に対してグレースケール変換処理を実行する。グレースケール変換処理の実行により、観測画像がグレースケールで表現される。グレースケール変換部１０７は、グレースケールで表現された観測画像の画像データを出力する。出力先は、例えば画像生成部１０５である。このよう場合、画像生成部１０５は観測画像取得部１０４が取得した画像データに代えてグレースケール変換部１０７が出力した画像データを用いて推測ベクトルを算出する。
【0122】
このように構成された第３変形例の画像処理装置１は、色変換写像を用いて観測画像の表現をグレースケールによる表現に変換し、グレースケールで表現された観測画像に基づいて推測ベクトルを算出する。カラー画像からグレースケール画像に変換する従来法としては、例えば以下の方法（以下「従来変換法」という。）が知られている。従来変換法は、全画素について原色の色の重み付き平均を明度として算出した後、各画素の値を算出した明度に置き換えることで画像をグレースケール画像に変換する方法である。しかしながらこのような方法の場合、損傷部位と非損傷部位とがカラー画像において異なる色で表現されていても、明度が同じためにグレースケール画像においては損傷部位と非損傷部位とを区別できない場合がある。
【0123】
一方、グレースケール変換処理の方法であれば、変換元のカラー画像において異なる色ならばグレースケール変換処理の実行後も異なる明暗で画像を表現可能であるために、グレースケール画像においても損傷部位と非損傷部位とが区別可能に表現される。そのため、第３変形例の画像処理装置１は、観測画像を損傷部位と非損傷部位とを区別可能なグレースケール画像に変換することができる。
【0124】
なお、観測画像をグレースケール画像に変換することの利点は、画像の類似性を判別する際、ＲＧＢ等の原色の組合せで表現された画像よりも明度で表現された画像を扱う方が演算量が少ないという点である。例えば画素がＲＧＢの３つの要素を有する画像データを用いるよりもグレースケールに変換された画像を用いる方が、要素が１つであるために演算量が少ない。
【0125】
（第４変形例）
画像処理装置１は、観測画像取得部１０４が取得した画像データが示す観測画像を観測画像に写る像の幾何学的な特性に基づいた変形を実行してもよい。このような場合、画像生成部１０５は、変形前の観測画像に代えて変形後の観測画像に基づき推測ベクトルを算出する。以下、画像に写る像の幾何学的な特性に基づいて予め定められた変形を画像に対して実行する処理を変形処理という。
画像処理装置１は、観測画像取得部１０４が取得した画像データが示す観測画像を観測画像に写る像の幾何学的な特性に基づいた変形を実行してもよい。このような場合、画像生成部１０５は、変形前の観測画像に代えて変形後の観測画像に基づき推測ベクトルを算出する。以下、画像に写る像の幾何学的な特性に基づいて予め定められた変形を画像に対して実行する処理を変形処理という。
【0126】
画像に写る像の幾何学的な特性とは、例えば像が同心円状の構造の画像を画像全体に対して所定の割合以上含むという特性である。画像に写る像の幾何学的な特性は、例えば超音波を用いたセクタースキャンで撮像された検査対象の像（以下「セクタースキャン像」という。）に生じる特性である。画像に写る像がセクタースキャン像である場合、画像に写るセクタースキャン像は扇形に略同一であり、かつ、同心円状の縞を有する。
【0127】
図７は、第４変形例におけるセクタースキャン像の一例を示す図である。図７において、像Ｐ２がセクタースキャン像の一例である。図７は、像Ｐ２が扇形に略同一であることを示す。図７は、像Ｐ２が同心円状の縞を有することを示す。図７の横軸は、座標軸がＸ軸及びＹ軸であるデカルト座標系のＸ軸を表す。図７の縦軸は、座標軸がＸ軸及びＹ軸であるデカルト座標系のＹ軸を表す。
【0128】
以下説明の簡単のため変形処理の対象の画像が観測画像であり、観測画像に写る像がセクタースキャン像である場合を例に変形処理を説明する。セクタースキャン像の幾何学的な特性を鑑みるに、セクタースキャン像上の各点の座標を２次元の極座標系で表せば、画像生成部１０５は推測ベクトルの算出に際してセクタースキャン像の幾何学的な特性を簡易な数式で扱うことができる。その結果、推測ベクトルの算出に要する演算量が軽減されると期待される。また、演算量が減る為、丸め誤差等の発生頻度も下がり、推測ベクトルの算出結果の精度の向上も期待される。
【0129】
そこで変形処理では、まずセクタースキャン像上の各点の座標を２次元の極座標系で表現する処理（以下「第１座標処理」という。）が実行される。第１座標処理では、まずハフ変換の実行により扇形の辺が検出される。第１座標処理では、次に検出した辺の交点を２次元の極座標系の原点に決定する。第１座標処理では、次に原点と切片の座標から半径が算出される。なお第１座標処理における切片とは具体的には検出された扇形の辺の一方の端部である。第１座標処理では、次にセクタースキャン像上の各点について２次元の極座標系で表現された座標を算出する。ここまでが第１座標処理である。
【0130】
変形処理では第１座標処理の次に第２座標処理を実行する。第２座標処理は、２次元の極座標系で表される観測画像を、投影デカルト座標系上の図形に変換する処理である。投影デカルト座標系は、デカルト座標系であり、一方の座標軸が２次元の極座標系の動径方向又は方位角方向の一方の座標軸を表し、他方の座標軸が２次元の極座標系の動径方向又は方位角方向の他方の座標軸を表す座標系である。投影デカルト座標系の座標軸が、例えばＸ軸とＹ軸とである場合に、Ｘ軸が動径方向の座標軸を表し、Ｙ軸が方位角方向の座標軸を表す。第２座標処理により、セクタースキャン像を表現する座標系が変化するために観測画像は変形する。
【0131】
図８は、第４変形例における投影デカルト座標系上のセクタースキャン像の一例を示す図である。より具体的には、図７のセクタースキャン像が投影デカルト座標系で表された像である。図８において、像Ｐ３が投影デカルト座標系上のセクタースキャン像の一例である。像Ｐ３が変形後の観測画像の一例である。図８は、図７のセクタースキャン像が変形したことを示す。図８は、図７に現れている縞が同心円状から縦縞に変化していることを示す。図８の横軸は、動径方向を表す。図８の縦軸は、方位角方向を表す。このように図８の像は、投影デカルト座標系で表された像である。
【0132】
以下、変形処理を実行する制御部１０を制御部１０ｂという。
図９は、第４変形例における制御部１０ｂの機能構成の一例を示す図である。制御部１０ｂは、画像変形部１０８を備える点で制御部１０と異なる。
図９は、第４変形例における制御部１０ｂの機能構成の一例を示す図である。制御部１０ｂは、画像変形部１０８を備える点で制御部１０と異なる。
【0133】
画像変形部１０８は、観測画像取得部１０４が取得した画像データを取得し、取得した画像データが示す観測画像に対して変形処理を実行する。変形処理の実行により観測画像が変形する。画像変形部１０８は、変形後の観測画像の画像データを画像生成部１０５に出力する。画像生成部１０５は、変形後の観測画像に基づき、推測ベクトルを算出する。この場合、観測ベクトルの各成分は、変形後の観測画像の各画素の輝度値を表す。
【0134】
このように構成された第４変形例の画像処理装置１は、観測画像を観測画像に写る像の幾何学的な特性に基づいて変形し、変形後の観測画像に基づいて推測ベクトルを算出する。このような変形により、推測ベクトルの算出に際して観測画像の幾何学的な特性を簡易な数式で扱うことができる。そのため、第４変形例の画像処理装置１は推測ベクトルの算出に要する演算量を軽減するこができる。また、演算量が減る為に丸め誤差等の発生頻度も下がり、第４変形例の画像処理装置１は推測ベクトルの算出結果の精度を向上させることもできる。
【0135】
なお観測画像に写る像の幾何学的な特性は、例えば双曲線に略同一の縞を有するという特性であってもよい。このような場合、変形処理の第１座標処理では２次元の極座標に代えて双極座標系でセクタースキャン像上の各点の座標を表現する。なお観測画像に写る像の幾何学的な特性は、例えば楕円に略同一の縞を有するという特性であってもよい。このような場合、変形処理の第１座標処理では２次元の極座標に代えて楕円座標系でセクタースキャン像上の各点の座標を表現する。このように変形処理では、観測画像に写る像の幾何学的な特性に応じた座標系でセクタースキャン像上の各点の座標を表現する処理が実行される。
【0136】
なお、制御部１０ｂは、さらにグレースケール変換部１０７を備えてもよい。このような場合、観測画像取得部１０４が取得した観測画像の画像データはまずグレースケール変換部１０７に出力される。グレースケール変換部１０７は観測画像をグレースケール画像に変換する。グレースケール画像に変換された観測画像の画像データはグレースケール変換部１０７から画像変形部１０８に出力される。画像変形部１０８は、グレースケール画像に変換された観測画像に対して変形処理を実行する。画像変形部１０８による変形後の観測画像の画像データが画像生成部１０５に出力される。画像生成部１０５は、グレースケール画像に変換された後に変形処理によって変形した画像の画像データから推測画像の画像データを生成する。
【0137】
（第５変形例）
変換写像Ａは、観測画像に関する事前情報（以下「観測事前情報」という。）を用いた機械学習の方法により予め生成されたものであってもよい。観測事前情報を用いた機械学習の方法は、例えば以下の線形回帰学習である。
変換写像Ａは、観測画像に関する事前情報（以下「観測事前情報」という。）を用いた機械学習の方法により予め生成されたものであってもよい。観測事前情報を用いた機械学習の方法は、例えば以下の線形回帰学習である。
【0138】
＜線形回帰学習＞
図１０は、第５変形例における線形回帰学習を説明する説明図である。図１０は、観測画像に写る像がセクタースキャン像である場合に、変換写像Ａが有する特性（以下「変換写像特性」という。）を示す。図１０が示す変換写像特性は、観測画像のｉ行ｊ列に位置する１つの画素の値ｂｉ，ｊを、推測画像のｉ行ｊ列に位置する画素を中心にした列方向の複数の画素の値に基づいて取得するという特性である。なお、ｉ及びｊはそれぞれ１以上の整数である。なお、図１０において観測画像及び推測画像はどちらも、変形処理による変形後の画像である。
図１０は、第５変形例における線形回帰学習を説明する説明図である。図１０は、観測画像に写る像がセクタースキャン像である場合に、変換写像Ａが有する特性（以下「変換写像特性」という。）を示す。図１０が示す変換写像特性は、観測画像のｉ行ｊ列に位置する１つの画素の値ｂｉ，ｊを、推測画像のｉ行ｊ列に位置する画素を中心にした列方向の複数の画素の値に基づいて取得するという特性である。なお、ｉ及びｊはそれぞれ１以上の整数である。なお、図１０において観測画像及び推測画像はどちらも、変形処理による変形後の画像である。
【0139】
そのため、観測画像のｉ行ｊ列に位置する１つの画素の値ｂｉ，ｊと、推測画像のｉ行ｊ列に位置する画素を中心にした列方向の複数の画素の値と、を対応付ける写像が変換写像Ａである。値ｂｉ，ｊは、観測ベクトルｂの（（（ｊ－１）×Ｉ）＋ｉ）番目の要素の値である。なお、Ｉは観測画像の列方向の画素数である。このような変換写像Ａは、例えば以下の式（２２）の関数で表現される。
【0140】
【数22】
【0141】
式（２２）において、ｗｌは、推測画像の（ｉ＋ｌ）行ｊ列に位置する画素の値ｕｉ＋ｌ、ｊの、観測画像の値ｂｉ、ｊへの寄与率である。ｌは、（－ｋ）以上ｋ以下の整数である。ｋは、１以上の整数である。以下ｋを周辺画素数という。周辺画素数ｋは予め定められた値である。このように、式（２２）は、推測画像のｉ行ｊ列に位置する画素を中心にした列方向の合計（２ｋ＋１）個の画素の値の重み付き和を表す。式（２２）は、観測事前情報が示す内容を有する変換写像Ａを表現する数式の一例である。
【0142】
ここで、変換写像特性と観測事前情報との関係について説明する。変換写像特性は、観測事前情報を鑑みると、変換写像Ａが有することが望ましいと考えられる特性である。上述したように観測画像に写る像がセクタースキャン像である場合、観測画像には同心円状の縞が写る。同心円状の縞は、金属劣化部等の散乱体から放射された信号が同心円状に拡がったアーティファクトである。このことは観測画像の１つの画素には推測画像の複数の画素が対応することを意味する。このような観測事前情報を鑑みるに、観測画像に写る像がセクタースキャン像である場合に推測画像を生成するには、変換写像特性を有するように変換写像Ａを生成することが望ましい。そのため、変換写像Ａは観測事前情報を用いることなく決定された写像である必要は無く、観測事前情報を用いて生成されたものであってもよい。
【0143】
線形回帰学習では、予め用意された学習用のデータとして観測画像の画像データと観測画像よりも鮮明な被写体画像の画像データとの組（以下「写像学習用データ」という。）が用いられる。観測画像よりも鮮明な被写体画像は、具体的には第２の観測方法により得られた検査対象の画像である。
【0144】
図１１は、第５変形例における観測画像よりも鮮明な被写体画像の一例を示す図である。図１１が示す画像は、火力発電所で用いられる蒸気配管の断面を露出させ、鏡面まで研磨したのち酸性溶液で金属組織を際立たせる処理を施した断面を写真撮影した結果の画像である。すなわち、図１１が示す画像は、破壊検査により得られた断面の画像である。囲いＰ４は、異常な金属組織を含む損傷部位の一例である。
【0145】
線形回帰学習では、１又は複数の写像学習用データを用いる線形重回帰分析であって、寄与率ｗｌを回帰変数とし、値ｂｉ，ｊを目的変数とし、画素の値ｕｉ＋ｌ、ｊを説明変数とする線形重回帰分析が、寄与率ｗｌが正という条件の元で実行される。
【0146】
図１２は、第５変形例における画像処理装置１００の構成を説明する説明図である。画像処理装置１００は、画像処理装置１及び学習装置２を備える。
【0147】
学習装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２０を備え、プログラムを実行する。学習装置２は、プログラムの実行によって制御部２０、通信部２１、記憶部２２及びユーザインタフェース２３を備える装置として機能する。
【0148】
より具体的には、学習装置２は、プロセッサ９３が記憶部２２に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、学習装置２は、制御部２０、通信部２１、記憶部２２及びユーザインタフェース２３を備える装置として機能する。
【0149】
制御部２０は、自装置（学習装置２）が備える各機能部の動作を制御する。制御部２０は、例えば観測画像に写る像の幾何学的な特性を用いた機械学習の方法により変換写像Ａを生成する。制御部２０は、例えば生成した変換写像Ａを記憶部２２に記録する。制御部２０は、例えば通信部２１の動作を制御する。
【0150】
通信部２１は、学習装置２を画像処理装置１等の外部装置に接続するための通信インタフェースを含んで構成される。通信部２１は、例えば通信先の画像処理装置１に、生成した変換写像Ａを示す情報を送信する。通信部２１は、例えば外部装置から写像学習用データを受信する。
【0151】
記憶部２２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部２２は学習装置２に関する各種情報を記憶する。記憶部２２は、例えば学習装置２が備える各機能部の動作を制御するプログラムを予め記憶する。記憶部２２は、例えば周辺画素数を記憶する。
【0152】
ユーザインタフェース２３は、学習装置２に対する入力を受け付ける入力部２３１と学習装置２に関する各種情報を出力する出力部２３２とを備える。ユーザインタフェース２３は、例えばタッチパネルである。入力部２３１は、学習装置２に対する入力を受け付ける。
【0153】
入力部２３１は、例えばマウスやキーボード、タッチパネル等の入力端末である。入力部２３１は、例えばこれらの入力端末を学習装置２に接続するインタフェースとして構成されてもよい。入力部２３１には、例えば周辺画素数が入力される。入力部２３１には、例えば写像学習用データが入力されてもよい。
【0154】
出力部２３２は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置である。出力部２３２は、例えばこれらの表示装置を学習装置２に接続するインタフェースとして構成されてもよい。出力部２３２は、例えば入力部２３１に入力された情報を出力する。出力部２３２は、例えば生成した変換写像Ａを示す情報を表示する。
【0155】
図１３は、第５変形例における制御部２０の機能構成の一例を示す図である。制御部２０は、通信制御部２０１、入力制御部２０２、出力制御部２０３、学習用データ取得部２０４、写像生成部２０５、記録部２０６、グレースケール変換部２０７及び画像変形部２０８を備える。
【0156】
通信制御部２０１は、通信部２１の動作を制御する。通信制御部２０１は、通信部２１の動作を制御して、例えば生成された変換行列Ａを示す情報を画像処理装置１に送信する。このような場合、画像処理装置１は受信した変換行列Ａを用いて観測画像の画像データから推測画像の画像データを生成する。
【0157】
入力制御部２０２は、入力部２３１の動作を制御する。出力制御部２０３は、出力部２３２の動作を制御する。
【0158】
学習用データ取得部２０４は、通信部２１又は入力部２３１に入力された写像学習用データを取得する。
【0159】
写像生成部２０５は、写像学習用データと観測事前情報とに基づき変換写像Ａを生成する。写像生成部２０５は、例えば写像学習用データを用いた線形回帰学習により変換写像Ａを生成する。
【0160】
記録部２０６は、制御部２０が備える各機能部の処理によって発生した各種情報を記憶部２２に記録する。記録部２０６は、例えば変換写像Ａを記憶部２２に記録する。記録部２０６は、例えば写像学習用データを記憶部２２に記録する。
【0161】
グレースケール変換部２０７は、写像学習用データが示す各画像に対してグレースケール変換処理を実行する。グレースケール変換部２０７によりグレースケールの画像に変換された写像学習用画像の画像データは、画像変形部２０８に出力される。写像学習用画像は、写像学習用画像データが示す各画像である。
【0162】
画像変形部２０８は、グレースケールで表現された各写像学習用画像に対して変形処理を実行する。画像変形部２０８による変形後の写像学習用画像の画像データは、写像生成部２０５に出力される。写像生成部２０５は、画像変形部２０８が出力した画像データを学習用のデータとして用いて変換写像Ａを生成する。
【0163】
このように構成された画像処理装置１００は、観測事前情報を用いた機械学習の方法により生成された変換写像Ａを用いて観測画像の画像データから推測画像の画像データを生成する。そのため、画像処理装置１００は、観測事前情報を用いることなく決定された変換写像Ａを用いて推測画像の画像データを生成する場合よりも、より鮮明な被写体画像を生成することができる。
【0164】
なお、制御部２０は、必ずしもグレースケール変換部２０７及び画像変形部２０８を備える必要は無い。このような場合、写像生成部２０５には学習用データ取得部２０４が取得した写像学習用データがそのまま入力され、入力された写像学習用データがそのまま学習用のデータとして用いられる。
【0165】
なお、画像処理装置１００は、グレースケール変換部１０７を備えてもよいし備えなくてもよい。また、画像処理装置１００は、画像変形部１０８を備えてもよいし備えなくてもよい。しかしながら、変換写像Ａがグレースケール変換処理及び変形処理の実行された写像学習用画像の画像データを用いて生成された場合には、画像処理装置１はグレースケール変換部１０７及び画像変形部１０８を備えることが望ましい。
【0166】
（第６変形例）
変換写像Ａは、例えば以下のガウス特性を有してもよい。ガウス特性は、観測画像のｉ行ｊ列に位置する１つの画素の値ｂｉ，ｊを、寄与率ガウス条件の元に、推測画像のｉ行ｊ列に位置する画素を中心にした所定の範囲内の画素の値を用いて取得するという特性である。寄与率ガウス条件は、推測画像のｉ行ｊ列に位置する画素を中心にした所定の範囲内の画素の値の値ｂｉ，ｊへの寄与率が２次元ガウス分布状であるという条件である。
変換写像Ａは、例えば以下のガウス特性を有してもよい。ガウス特性は、観測画像のｉ行ｊ列に位置する１つの画素の値ｂｉ，ｊを、寄与率ガウス条件の元に、推測画像のｉ行ｊ列に位置する画素を中心にした所定の範囲内の画素の値を用いて取得するという特性である。寄与率ガウス条件は、推測画像のｉ行ｊ列に位置する画素を中心にした所定の範囲内の画素の値の値ｂｉ，ｊへの寄与率が２次元ガウス分布状であるという条件である。
【0167】
所定の範囲は、例えば画像が変形処理の実行後の画像である場合に、動径方向の長さと方位角方向の長さとが異なる楕円状の範囲である。このような場合、楕円状の範囲内の各画素の寄与率は、推測画像のｉ行ｊ列に位置する画素の寄与率を最大にする２次元ガウス分布状であり、ガウス分布の幅は動径方向と方位角方向とで異なる。
【0168】
図１４は、第６変形例におけるガウス特性を説明する説明図である。より詳しくは、図１４は、観測画像のｉ行ｊ列に位置する１つの画素の値ｂｉ，ｊを推測する際の、推測画像の各画素の値の寄与率を説明する説明図である。図１４のθは方位角方向を表す。図１４のｒは動径方向を表す。方位角方向と動径方向とは直交する。図１４は中心画素を示す。中心画素は、推測画像のｉ行ｊ列に位置する画素である。
【0169】
図１４の分布Ｇ１は各画素の値の値ｂｉ，ｊへの寄与率を表す。分布Ｇ１の形状は、方位角方向に伸びた偏平な２次元ガウス分布である。このことは、値ｂｉ，ｊには、方位角方向の画素の値の方が動径方向の画素の値よりも強く寄与することを意味する。なお、分布Ｇ１の動径方向の幅は、例えば１．０ｐｉｘｅｌであり、方位角方向の幅は、例えば５．０ｐｉｘｅｌである。
【0170】
観測画像に写る像が方位角方向に伸びる縞を有するセクタースキャン像である場合には方位角方向の画素の値の方が動径方向の画素の値よりも強く寄与する。そのため、観測画像に写る像が方位角方向に伸びる縞を有するセクタースキャン像である場合の変換写像Ａは、図１４に示すガウス特性を有する方が、図１４に示すガウス特性を有さないよりも高い精度で推測画像の画像データを生成することができる。以下ガウス特性を有する変換写像Ａをガウシアンフィルタという。
【0171】
（実験結果）
以下、画像処理装置１に学習装置２を備えた画像処理装置１００を用いた実験の実験結果を説明する。実験では、検査対象として火力発電所で用いられる蒸気配管を用いた。実験では、観測画像は超音波を用いたセクタースキャンによって得られた。実験では、学習装置２による学習により生成された変換写像Ａが用いられた。変換写像Ａの学習に際しては、写像学習用画像として断面に垂直な方向に所定の位置から１０ｍｍ間隔で６箇所の位置との断面の画像とが用いられた。
以下、画像処理装置１に学習装置２を備えた画像処理装置１００を用いた実験の実験結果を説明する。実験では、検査対象として火力発電所で用いられる蒸気配管を用いた。実験では、観測画像は超音波を用いたセクタースキャンによって得られた。実験では、学習装置２による学習により生成された変換写像Ａが用いられた。変換写像Ａの学習に際しては、写像学習用画像として断面に垂直な方向に所定の位置から１０ｍｍ間隔で６箇所の位置との断面の画像とが用いられた。
【0172】
より具体的には、写像学習用画像のうち観測画像は、上記各位置の断面を、超音波を用いたセクタースキャンにより非破壊に観測した結果である。また、写像学習用画像のうち観測画像よりも鮮明な被写体画像は、検査対象を破壊し上記各位置の断面を露出させた後に、露出した断面を写真で撮影した画像である。
【0173】
図１５は、色距離及び色変換対応情報を用いたグレースケール変換処理による画像処理装置１００の画像の変換の結果の一例を示す図である。図１５は、結果Ｐ５、結果Ｐ６及び結果Ｐ７を示す。結果Ｐ５は、観測画像の一例である。結果Ｐ５の囲いＰ８は、損傷部位を示す。結果Ｐ６は、従来変換法による結果Ｐ５の画像をグレースケール画像に変換した結果である。結果Ｐ７は、色距離及び色変換対応情報を用いたグレースケール変換処理により結果Ｐ５の画像をグレースケール画像に変換した結果である。結果Ｐ７の囲いＰ９は囲いＰ８に対応する損傷部位を示す。なお、結果Ｐ６では、囲いＰ８に対応する損傷部位が明瞭でない。
【0174】
図１５は、色距離及び色変換対応情報を用いたグレースケール変換処理を用いれば、従来変換法では不明瞭になってしまった損傷部位と非損傷部位との違いが消えずに残ることを示す。
【0175】
図１６は、画像処理装置１００による推測画像の生成の結果の一例を示す図である。図１６は、結果Ｐ１０、結果Ｐ１１及び結果Ｐ１２を示す。結果Ｐ１０は、検査対象を破壊することで断面を露出させ、露出した断面を写真で撮影した結果の一例である。すなわち結果Ｐ１０に写る像は、検査対象の実際の断面である。
【0176】
結果Ｐ１１は、結果Ｐ１０の断面を有する検査対象を破壊する前に、結果Ｐ１０の断面を超音波により非破壊で観測した結果である。すなわち結果Ｐ１１は、結果Ｐ１０の断面の観測画像である。結果Ｐ１２は、画像処理装置１００の画像処理装置１が結果Ｐ１１から生成した推測画像である。なお、結果Ｐ１２の生成に際して変換写像Ａは、ガウシアンフィルタが用いられた。
【0177】
図１６は、画像処理装置１００が結果Ｐ１１と比べてより一層結果Ｐ１０に近い画像を生成することを示す。なお、結果Ｐ１２は、以下の手順で生成された。まず、画像処理装置１００に画像データが入力される前に結果Ｐ１１はＸ軸方向の中央に位置する線Ｌｘで２つの画像に分割された。次に、分割後の２つの画像それぞれについて画像処理装置１００により推測画像が生成された。次に２つの推測画像が結合された。このようにして、結果Ｐ１１から結果Ｐ１２が生成された。
【0178】
図１７は、推測画像の写像学習用データへの依存性を検証した実験結果の一例を示す図である。図１７は、結果Ｐ１３及び結果Ｐ１４を示す。結果Ｐ１３は、第１変換写像を用いて生成された推測画像である。第１変換写像は、学習用のデータとして３０ｍｍの位置の断面の画像を用いて学習装置２により生成された変換写像Ａである。すなわち、第１変換写像は、１つの写像学習用データを用いて学習装置２により生成された変換写像Ａである。
【0179】
結果Ｐ１４は、第２変換写像を用いて生成された推測画像である。第２変換写像は、学習用のデータとして１０ｍｍ間隔の６断面の位置の断面の画像を用いて学習装置２により生成された変換写像Ａである。すなわち、第２変換写像は、複数の写像学習用データを用いて学習装置２により生成された変換写像Ａである。
【0180】
【0181】
ここまでで実験結果の説明を終了する。
【0182】
（第７変形例）
なお、検査対象は必ずしも損傷部位と非損傷部位とを有するものである必要は無い。検査対象は、互いに特性の異なる複数の部位を有するものであればどのようなものであってもよい。なお、検査対象は、例えば人の臓器であってもよい。このような場合、複数の部位の一つは、例えば血管であり、他の部位は例えば、血管以外の部位である。
なお、検査対象は必ずしも損傷部位と非損傷部位とを有するものである必要は無い。検査対象は、互いに特性の異なる複数の部位を有するものであればどのようなものであってもよい。なお、検査対象は、例えば人の臓器であってもよい。このような場合、複数の部位の一つは、例えば血管であり、他の部位は例えば、血管以外の部位である。
【0183】
なお、非破壊な方法は、超音波を用いた方法に限らず、電磁波を用いた方法であってもよいし、音波を用いた方法であってもよいし、放射線を用いた方法であってもよい。なお、第１の観測方法は非破壊な方法に限らず、検査対象を破壊して観測する破壊検査であってもよい。第２の観測方法は、第１の観測方法よりも鮮明な被写体画像を生成する方法であればどのような方法であってもよく、第１の観測方法よりも鮮明な被写体画像を生成する非破壊な方法であってもよい。
【0184】
さらに第１の観測方法と第２の観測方法とは、測定時間や測定ピッチなど観測条件が異なる以外の条件は同一の方法であってもよい。つまり第１の観測方法を短時間や大ピッチで第２の観測方法を長時間や小ピッチで測定する場合でもよい。
【0185】
なお、通信部１１は、各種情報を記憶するＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置に接続するためのインタフェースを含んで構成されてもよい。このような場合、通信部１１は情報を接続先の外部記憶装置に出力してもよい。
【0186】
なお、画像処理装置１と学習装置２とは、必ずしも異なる装置として実装される必要は無い。画像処理装置１と学習装置２とは、例えば両者の機能を併せ持つ１つの装置として実装されてもよい。
【0187】
なお、画像処理装置１００は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いたシステムとして実装されてもよい。この場合、画像処理装置１及び学習装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
【0188】
なお、画像処理装置１及び学習装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0189】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0190】
１、１００…画像処理装置、１０…制御部、１１…通信部、１２…記憶部、１３…ユーザインタフェース、１３１…入力部、１３２…出力部、１０１…通信制御部、１０２…入力制御部、１０３…出力制御部、１０４…観測画像取得部、１０５…画像生成部、１０６…記録部、１０７…グレースケール変換部、１０８…画像変形部、９１…プロセッサ、９２…メモリ、２…学習装置、２０…制御部、２１…通信部、２２…記憶部、２３…ユーザインタフェース、２３１…入力部、２３２…出力部、２０１…通信制御部、２０２…入力制御部、２０３…出力制御部、２０４…学習用データ取得部、２０５…写像生成部、２０６…記録部、２０７…グレースケール変換部、２０８…画像変形部、９３…プロセッサ、９４…メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
