知財求人 - 知財ポータルサイト「IP Force」
特許7014648信号復元装置、信号復元方法、信号復元プログラム、モデル学習方法、およびモデル学習プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-24
(45)【発行日】2022-02-01
(54)【発明の名称】信号復元装置、信号復元方法、信号復元プログラム、モデル学習方法、およびモデル学習プログラム
(51)【国際特許分類】
G06N 3/04 20060101AFI20220125BHJP
G06T 5/00 20060101ALI20220125BHJP
G06T 1/40 20060101ALI20220125BHJP
【ＦＩ】
G06N3/04
G06T5/00 720
G06T1/40
【請求項の数】
11
(21)【出願番号】P 2018046827
(22)【出願日】2018-03-14
(65)【公開番号】P2019159914
(43)【公開日】2019-09-19
【審査請求日】2020-12-21
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100189913
【氏名又は名称】鵜飼 健
(72)【発明者】
【氏名】竹島 秀則
【審査官】多胡 滋
(56)【参考文献】
【文献】特開２０１５－２２４９０９（ＪＰ，Ａ）
【文献】特開２０１６－１９７３８１（ＪＰ，Ａ）
【文献】特開２０１７－０９２６２２（ＪＰ，Ａ）
【文献】国際公開第２０１３／０８９２６３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００
Ｇ０６Ｔ ５／００
Ｇ０６Ｔ １／４０
(57)【特許請求の範囲】
【請求項1】
入力信号データに第１の復元関数を適用して初期復元信号データを生成し、前記初期復元信号データと前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第１の要素積信号データを生成し、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第１の要素積信号データとに第２の復元関数を適用して復元信号データを生成する処理部
を具備する、信号復元装置。
【請求項2】
前記処理部は、前記入力信号データと前記信頼度データとの要素積をとることによって第２の要素積信号データを更に生成し、前記第２の要素積信号データが生成された場合、
前記処理部は、前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第１の要素積信号データと、前記第２の要素積信号データとに前記第２の復元関数を適用して前記復元信号データを生成する、請求項１に記載の信号復元装置。
【請求項3】
入力信号データに第１の復元関数を適用して初期復元信号データを生成し、前記入力信号データと前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって要素積信号データを生成し、
前記初期復元信号データおよび前記要素積信号データに第２の復元関数を適用して復元信号データを生成する処理部
を具備する、信号復元装置。
【請求項4】
前記処理部は、前記入力信号データと前記初期復元信号データと前記要素積信号データとに前記第２の復元関数を適用して前記復元信号データを生成する、請求項３に記載の信号復元装置。
【請求項5】
前記第２の復元関数は、深層ニューラルネットワークによって構成される、請求項１から請求項４までのいずれか一項に記載の信号復元装置。
【請求項6】
前記第２の復元関数は、畳み込みニューラルネットワークによって構成される、請求項１から請求項４までのいずれか一項に記載の信号復元装置。
【請求項7】
前記第２の復元関数は、リカレントニューラルネットワークによって構成される、請求項１から請求項４までのいずれか一項に記載の信号復元装置。
【請求項8】
入力信号データに第１の復元関数を適用して初期復元信号データを生成することと、前記初期復元信号データと前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第１の要素積信号データを生成することと、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第１の要素積信号データとに第２の復元関数を適用して復元信号データを生成することと
を具備する、信号復元方法。
【請求項9】
コンピュータを、入力信号データに第１の復元関数を適用して初期復元信号データを生成する手段と、
前記初期復元信号データと前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第１の要素積信号データを生成する手段と、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第１の要素積信号データとに第２の復元関数を適用して復元信号データを生成する手段
として機能させる、信号復元プログラム。
【請求項10】
入力信号データおよび前記入力信号データに含まれる劣化の程度を表す信頼度データに、請求項８に記載の信号復元方法を適用することによって、前記復元信号データに相当する推定復元信号データを生成することと、前記入力信号データに対応する正解出力信号データと前記推定復元信号データとが近似するように、請求項８に記載の前記第２の復元関数のパラメータを更新することと、
更新された前記第２の復元関数に関する学習済みモデルを出力することと
を具備する、モデル学習方法。
【請求項11】
コンピュータを、入力信号データおよび前記入力信号データに含まれる劣化の程度を表す信頼度データに、請求項９に記載の信号復元プログラムを適用することによって、前記復元信号データに相当する推定復元信号データを生成する手段と、
前記入力信号データに対応する正解出力信号データと前記推定復元信号データとが近似するように、請求項９に記載の前記第２の復元関数のパラメータを更新する手段と、
更新された前記第２の復元関数に関する学習済みモデルを出力する手段
として機能させる、モデル学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、信号復元装置、信号復元方法、信号復元プログラム、モデル学習方法、およびモデル学習プログラムに関する。
【背景技術】
【0002】
信号の一部が欠損したデータから元の信号を復元するために、多くの学習データから学習した深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤＮＮ）を適用する手法がある。例えば、ある画像の一部が欠損しており、且つ欠損している部分が未知の場合に、欠損している部分を補って元の画像を復元する手法がある。また、例えば、磁気共鳴イメージング（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ；ＭＲＩ）において、アンダーサンプリングされたｋ空間データにＤＮＮを適用して欠損部分が復元されたｋ空間データを作成し、復元後のｋ空間データに基づいて復元画像を得る手法がある。
【先行技術文献】
【非特許文献】
【0003】
【文献】Ｊｕｎｙｕａｎ Ｘｉｅ、外２名、「Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ ａｎｄ Ｉｎｐａｉｎｔｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２５（ＮＩＰＳ ２０１２）、２０１２年
【文献】Ｊｏ Ｓｃｈｌｅｍｐｅｒ、外４名、「Ａ Ｄｅｅｐ Ｃａｓｃａｄｅ ｏｆ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ ＭＲ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」、ａｒＸｉｖ：１７０３．００５５５ｖ１［ｃｓ．ＣＶ］、２０１７年３月１日
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、信号の復元精度を向上することである。
【課題を解決するための手段】
【0005】
実施形態に係る信号復元装置は、処理部を備える。処理部は、入力信号データに第１の復元関数を適用して初期復元信号データを生成し、初期復元信号データと入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第１の要素積信号データを生成し、入力信号データおよび初期復元信号データのうちの少なくとも一つと、第１の要素積信号データとに第２の復元関数を適用して復元信号データを生成する。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、図面を参照しながら、信号復元装置、信号復元方法、信号復元プログラム、モデル学習方法、およびモデル学習プログラムの実施形態について詳細に説明する。
【0008】
（第１の実施形態）
図１は、第１の実施形態に係る信号復元装置の構成例を示す図である。図１の信号復元装置１は、ＤＮＮにおける順伝播機能を備えた装置である。信号復元装置１は、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路により実現される。以下、信号復元装置１は、ＡＳＩＣであるとする。
図１は、第１の実施形態に係る信号復元装置の構成例を示す図である。図１の信号復元装置１は、ＤＮＮにおける順伝播機能を備えた装置である。信号復元装置１は、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路により実現される。以下、信号復元装置１は、ＡＳＩＣであるとする。
【0009】
図１に示すように、本実施形態に係る信号復元装置１は、処理回路１１と、メモリ１２と、入力インタフェース１３と、出力インタフェース１４とを備える。処理回路１１と、メモリ１２と、入力インタフェース１３と、出力インタフェース１４とは、バスを介して互いに接続されている。
【0010】
処理回路１１は、順伝播機能１１ａを実行するために設計された回路素子または論理回路の組合せである。順伝播機能１１ａは、例えば、ＤＮＮにおける順伝播型ネットワークの学習済み機械学習モデル（以降では、学習済みモデルと呼ぶ）を用いて、入力に対する出力を推定（生成）する機能である。尚、処理回路１１は、処理部の実現手段の一例である。
【0011】
図２は、第１の実施形態における学習済みモデルの入力と出力との組合せの一例を示す図である。図２の学習済みモデル２は、処理回路１１の順伝播機能１１ａにおいて用いられる。処理回路１１は、入力インタフェース１３を介して入力された入力信号と当該入力信号に関する信頼度データとに、学習済みモデル２を適用して出力信号（復元信号）を生成する。そして、処理回路１１は、生成した復元信号を、出力インタフェース１４を介して出力する。尚、入力信号および復元信号は、入力信号データおよび復元信号データと呼ばれてもよい。
【0012】
信頼度データは、入力信号の信頼度を示すデータである。信頼度は、例えば入力信号に含まれる劣化の程度を表す。具体的には、信頼度データは、例えば入力信号における欠損部分と当該欠損部分以外の部分とを示す情報を有する。欠損部分とは、例えばデータが欠損している部分や復元したい対象物の値（例えば、画素値）とは異なる値を有する部分などである。信頼度データは、例えば、欠損部分を「ゼロ」で表し、当該欠損以外の部分を「１」で表したマスクデータとして表現できる。即ち、欠損部分を有する入力信号は、復元信号にマスクデータを適用した信号と考えることができる。このことから、入力信号を「劣化信号」と表現することもある。
【0013】
また、信頼度データは、例えば入力信号の確からしさを示す情報を有してもよい。このとき、信頼度データは、信号の確からしさを「ゼロ」から「１」までの数値（例えば、不動小数値）で表したマスクデータとして表現する。例えば、入力信号が画像に相当するデータ（入力画像）として表現される場合、信頼度データは、入力画像の画素位置に対応する位置（例えば、ベクトルの要素の位置）に数値情報を有する。
【0014】
信頼度データとして、欠損部分を「ゼロ」および欠損部分以外の部分を「１」と表現し、入力信号の確からしさを「ゼロ」から「１」までの数値で表現したが、これに限らない。信頼度データは、「欠損部分」、「欠損以外の部分」、および「入力信号の確からしさ」にそれぞれ対応する数値が定義されていればどのような数値で表現されてもよい。
【0015】
順伝播機能１１ａにおいて処理回路１１は、入力信号と信頼度データとの入力を受け付ける。そして、処理回路１１は、入力信号と信頼度データとに学習済みモデル２を適用し、入力信号に対応する復元信号を生成する。復元信号は、入力信号に含まれる信号欠損部分が復元された信号である。即ち、学習済みモデル２は、信号欠損を含む入力信号と当該信号欠損を特定する信頼度データとを入力して、当該信号欠損を含まない信号を出力できるようにパラメータが学習されたＤＮＮである。パラメータとは、例えば順伝播型ネットワークにおける重み付き行列およびバイアスの組合せである。尚、学習済みモデル２は、複数のＤＮＮによって実現されてもよい。
【0016】
メモリ１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの任意の情報を記憶する回路素子である。例えば、メモリ１２は、順伝播機能１１ａの実行時に得られた計算結果などを記憶する。
【0017】
入力インタフェース１３は、処理回路１１への入力のためのインタフェースである。入力インタフェース１３は、例えば、入力信号と信頼度データとを処理回路１１に入力する。入力信号と信頼度データとは、例えば、信号復元装置１を搭載するコンピュータにより選択される。
【0018】
出力インタフェース１４は、処理回路１１からの出力のためのインタフェースである。出力インタフェース１４は、例えば、処理回路１１から出力された復元信号をコンピュータ、ネットワーク、または記憶装置などに出力する。
【0019】
【0020】
入力信号ｙは、例えば医用画像データや距離画像データに相当する。以降において、説明の便宜上、入力信号ｙを画像データと見做して説明を行う。しかしながら、入力信号は画像データに限定されない。
【0021】
入力信号ｙは、例えば欠損部分２１を含む。欠損部分２１は、例えば、マスクされており本来あるべき画素値とは異なる画素値となっている部分や、所望の画像の一部が遮へいされている部分などである。
【0022】
信頼度データｍは、例えば、入力信号ｙの各画素値の信頼度に関するデータである。信頼度データｍは、欠損データ２２と収集データ２３とを含む。欠損データ２２は、入力信号ｙの欠損部分２１に対応し、例えば「ゼロ」の数値で表現される。収集データ２３は、欠損部分２１以外の部分に対応し、例えば「１」の数値で表現される。
【0023】
入力信号ｙと信頼度データｍとに学習済みモデル２が適用され、入力信号ｙに対応する復元信号ｘが生成される。復元信号ｘは、入力信号ｙに含まれる欠損部分２１が復元された、当該入力信号ｙに対応する。
【0024】
図４は、第１の実施形態における学習済みモデルの構成の一例を示す図である。図４に示すように、学習済みモデル２Ａは、任意のデータに対して、復元関数Ｒ（０）を適用する処理と、演算関数Ｇ（ｉ）および復元関数Ｒ（ｉ）の組合せをｎ回適用する処理とで構成される（ｉ＝１～ｎ（ｎは１以上の整数））。尚、前述の「パラメータが学習されたＤＮＮ」とは、上記各関数のパラメータが最適化されているＤＮＮと同様の意味である。また、復元関数Ｒ（０）は第１の復元関数と称されてもよく、復元関数Ｒ（ｉ）は第２の復元関数と称されてもよい。
【0025】
復元関数Ｒ（０）は、例えばＤＮＮにより構成される。復元関数Ｒ（０）は、入力信号ｙから復元信号ｘ０を生成する演算を行う。復元信号ｘ０は、例えば入力信号ｙにＤＮＮを適用して生成される。処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。尚、復元信号ｘ０は、初期復元信号、或いは初期復元信号データと呼ばれてもよい。
【0026】
また、復元関数Ｒ（０）は、ＤＮＮで構成されなくてもよい。復元関数Ｒ（０）が、ＤＮＮで構成されない場合、復元信号ｘ０は、例えば入力信号ｙに含まれる欠損部分を推定して当該欠損部分を近傍の信号値で置き換える処理をして生成される。また、復元信号ｘ０は、入力信号ｙに任意のフィルタを適用して生成されてもよい。
【0027】
演算関数Ｇ（ｉ）は、復元信号ｘｉ－１と信頼度データｍとの要素積（これはアダマール積とも称する）を行うことによってマスク信号ｍａｉ（第１の要素積信号とも称する）を生成する演算を行う。マスク信号ｍａｉは、例えば信頼度データｍに基づいて、復元信号ｘｉ－１におけるマスクされている部分（或いは欠損部分）が抽出されたものである。処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。尚、マスク信号および第１の要素積信号は、マスク信号データおよび第１の要素積信号データと呼ばれてもよい。
【0028】
要素積をとる（要素積を算出する）２つのデータの要素の数は等しいことが望ましい。しかしながら、２つのデータの要素の数は異なっていてもよい。２つのデータの要素の数が異なる場合、一方のデータの要素の数に他方のデータの要素の数を一致させるなどの処理を行ったうえで要素積を行えばよい。
【0029】
復元関数Ｒ（ｉ）は、例えばＤＮＮにより構成される。復元関数Ｒ（ｉ）は、入力信号ｙ、復元信号ｘｉ－１、およびマスク信号ｍａｉから復元信号ｘｉを生成する演算を行う。復元信号ｘｉは、例えば入力信号ｙ、復元信号ｘｉ－１、およびマスク信号ｍａｉにＤＮＮを適用して生成される。処理回路１１は、入力信号ｙ、直前の復元関数Ｒ（ｉ－１）から出力された復元信号ｘｉ－１、およびマスク信号ｍａｉに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。尚、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎは、出力信号ｘに相当する。
【0030】
復元関数Ｒ（０）および復元関数Ｒ（ｉ）などで用いられるＤＮＮは、多数の関数を組み合わせた合成関数で表すことができる。当該多数の関数には、例えば、線形結合（Ｌｉｎｅａｒ Ｆｕｎｃｔｉｏｎ）、畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）などが用いられ、各々はレイヤとも呼ばれる。特に、ｃｏｎｖｏｌｕｔｉｏｎやＲｅＬＵを備えたＤＮＮを、ＣＮＮと呼ぶ。復元関数Ｒ（０）および復元関数Ｒ（ｉ）は、ＣＮＮが用いられてもよい。尚、ＤＮＮは、パラメータ付き合成関数として表現されてもよい。
【0031】
復元関数Ｒ（ｉ）におけるそれぞれの関数は、すべて異なる関数である。しかし、これらの関数は、必ずしもすべて異なる関数とする必要はない。復元関数Ｒ（ｉ）におけるそれぞれの関数は、例えば、リカレントネットワーク用の関数（例えば、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ））を含めたうえで、同じ関数を用いてもよい。尚、復元関数Ｒ（０）についても同様に上記関数に含めてもよい。
【0032】
図５は、図４の学習済みモデル２Ａの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース１３を介して信号復元処理の開始指示がなされると、処理回路１１は、順伝播機能１１ａを実行し、図５に示す処理を開始する。
【0033】
（ステップＳＡ１）
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
【0034】
（ステップＳＡ２）
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
【0035】
【0036】
（ステップＳＡ３）
処理回路１１は、変数ｉに「１」を代入する。
処理回路１１は、変数ｉに「１」を代入する。
【0037】
（ステップＳＡ４）
処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。例えば、変数ｉに「１」が代入されている場合、処理回路１１は、信頼度データｍおよび復元信号ｘ０に演算関数Ｇ（１）を適用してマスク信号ｍａ１を生成する。例えば、演算関数Ｇ（１）は、信頼度データｍと復元信号ｘ０との要素積を行い、マスク信号ｍａ１を生成する関数である。
処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。例えば、変数ｉに「１」が代入されている場合、処理回路１１は、信頼度データｍおよび復元信号ｘ０に演算関数Ｇ（１）を適用してマスク信号ｍａ１を生成する。例えば、演算関数Ｇ（１）は、信頼度データｍと復元信号ｘ０との要素積を行い、マスク信号ｍａ１を生成する関数である。
【0038】
なお、学習済みモデルにおいて演算関数Ｇ（ｉ）を２つ以上実装する場合（即ち、ｉ≧２）、各々の演算関数における信頼度データに対して異なる重みづけをしてもよい。演算関数Ｇ（ｉ）を３つ実装する場合、例えば、演算関数Ｇ（１）は「１×ｍ」の重みとし、演算関数Ｇ（２）は「（０．８×ｍ）＋０．２」の重みとし、演算関数Ｇ（３）は「（０．６×ｍ）＋０．４」の重みとする。演算関数Ｇ（ｉ）の重みは、典型的には入力から出力にかけて小さくなるように設定されるが、当該設定に限定されない。
【0039】
図７は、図４の演算関数Ｇ（１）に関する説明図である。図７に示すように、処理回路１１は、信頼度データｍおよび復元信号ｘ０に演算関数Ｇ（１）を適用してマスク信号ｍａ１を生成する。具体的には、処理回路１１は、復元信号ｘ０の欠損部分２４を抽出するために信頼度データｍの欠損データ２２を用いて、欠損部分２４に対応する欠損部分２５のみが抽出されたマスク信号ｍａ１を生成する。
【0040】
上記では演算関数Ｇ（１）を例に用いて説明したが、図４に図示した通り、演算関数Ｇ（２）から演算関数Ｇ（ｎ）の各々についても同様の手法を用いることが可能である。
【0041】
（ステップＳＡ５）
処理回路１１は、入力信号ｙと復元信号ｘｉ－１とマスク信号ｍａｉとに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。例えば、変数ｉに「１」が代入されている場合、処理回路１１は、入力信号ｙと復元信号ｘ０とマスク信号ｍａ１とに復元関数Ｒ（１）を適用して復元信号ｘ１を生成する。
処理回路１１は、入力信号ｙと復元信号ｘｉ－１とマスク信号ｍａｉとに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。例えば、変数ｉに「１」が代入されている場合、処理回路１１は、入力信号ｙと復元信号ｘ０とマスク信号ｍａ１とに復元関数Ｒ（１）を適用して復元信号ｘ１を生成する。
【0042】
【0043】
【0044】
入力層３１は、入力信号ｙと、復元信号ｘ０と、マスク信号ｍａ１とを入力する。例えば、入力信号ｙと、復元信号ｘ０と、マスク信号ｍａ１との成分（例えば、信号値）は、単一の入力ベクトル３１０として入力層３１に入力される。ここで、入力信号ｙの成分がＮ個、復元信号ｘ０の成分がＮ個、マスク信号ｍａ１の成分がＮ個であるとすると、入力層３１には３・Ｎ個の入力ユニットが設けられる。
【0045】
入力層３１は、入力信号ｙのための入力ユニットの範囲（第１の入力範囲）３１０ａと、復元信号ｘ０のための入力ユニットの範囲（第２の入力範囲）３１０ｂと、マスク信号ｍａ１のための入力ユニットの範囲（第３の入力範囲）３１０ｃとに区分される。
【0046】
第１の入力範囲３１０ａは、入力信号ｙのＩ番目の信号値ｙＩ（１≦Ｉ≦Ｎ）が入力されるＮ個の入力ユニットを含む。第２の入力範囲３１０ｂは、復元信号ｘ０のＪ番目の信号値ｘ０＿Ｊ（１≦Ｊ≦Ｎ）が入力されるＮ個の入力ユニットを含む。第３の入力範囲３１０ｃは、マスク信号ｍａ１のＫ番目の信号値ｍａ１＿Ｋ（１≦Ｋ≦Ｎ）が入力されるＮ個の入力ユニットを含む。尚、画像を復元関数Ｒ（１）に入力する場合、成分は画素値である。
【0047】
出力層３３は、復元信号ｘ１を出力する。復元信号ｘ１は、単一の出力ベクトル３３０の形態で出力層３３から出力される。出力ベクトル３３０は、複数の信号値ｘ１＿Ｊ（１≦Ｊ≦Ｎ）を含む。各信号値ｘ１＿Ｊは、復元信号ｘ１の各信号の信号値である。出力層３３の出力ユニットの範囲（出力範囲）３３０ａは、単一の復元信号ｘ１のための範囲に限定される。
【0048】
第１の入力範囲３１０ａへの入力と、第２の入力範囲３１０ｂへの入力と、第３の入力範囲３１０ｃとへの入力との組合せは、復元関数Ｒ（１）の適用時と学習時とで等しいことを期待している。例えば、復元関数Ｒ（１）の学習において、入力ベクトルを［入力信号ｙ，復元信号ｘ０，マスク信号ｍａ１］とした場合、復元関数Ｒ（１）の適用時においても、入力ベクトルを［入力信号ｙ，復元信号ｘ０，マスク信号ｍａ１］とし、［復元信号ｘ０，入力信号ｙ，マスク信号ｍａ１］とすることは可能であるが、期待する結果が得られない可能性がある。また、復元関数Ｒ（１）の適用時と学習時とで入力層へ入力されるベクトルの要素の順番が等しければ、当該ベクトルの要素の順番は上記に拘泥されない。
【0049】
上記では復元関数Ｒ（１）を例に用いて説明したが、図４に図示した通り、復元関数Ｒ（２）から復元関数Ｒ（ｎ）の各々についても同様の手法を用いることが可能である。
【0050】
（ステップＳＡ６）
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＡ６「ＹＥＳ」）、処理回路１１は、ステップＳＡ８の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＡ６「ＮＯ」）、処理回路１１は、ステップＳＡ７の処理を行う。
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＡ６「ＹＥＳ」）、処理回路１１は、ステップＳＡ８の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＡ６「ＮＯ」）、処理回路１１は、ステップＳＡ７の処理を行う。
【0051】
（ステップＳＡ７）
処理回路１１は、変数ｉをインクリメントする。例えば、変数ｉに「１」が代入されている場合、処理回路１１は、変数ｉに「２」を代入する。ステップＳＡ７の処理の後、処理はステップＳＡ４へと戻る。
処理回路１１は、変数ｉをインクリメントする。例えば、変数ｉに「１」が代入されている場合、処理回路１１は、変数ｉに「２」を代入する。ステップＳＡ７の処理の後、処理はステップＳＡ４へと戻る。
【0052】
（ステップＳＡ８）
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
【0053】
【0054】
図１０に示すように、ＣＮＮ４は、畳み込み演算（ｃｏｎｖｏｌｕｔｉｏｎ）４１と、正規化線形関数（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ；ＲｅＬＵ）４２と、ｃｏｎｖｏｌｕｔｉｏｎ４３と、ＲｅＬＵ４４と、加算部４５とを備える。尚、ＣＮＮ４は、入力層および出力層などの図示を省略している。また、ＣＮＮ４は、加算部４５を備えなくてもよい。
【0055】
ｃｏｎｖｏｌｕｔｉｏｎ４１は、入力画像のマトリクスサイズよりも小さいカーネルサイズを有するフィルタを用いて、当該入力画像の特徴を抽出する。具体的には、ｃｏｎｖｏｌｕｔｉｏｎ４１は、入力画像とフィルタとの重なり合う画素同士の積を求め、フィルタ全体の和を求めることによって、当該入力画像の特徴となり得る特徴量を算出する。
【0056】
ＲｅＬＵ４２は、入力された信号値のうちゼロ以上の値をそのまま出力し、それ以外の値をゼロとして出力する。具体的には、ＲｅＬＵ４２は、ｃｏｎｖｏｌｕｔｉｏｎ４１によって算出された特徴量のうちゼロ以上の値をそのまま出力し、それ以外の値をゼロとして出力する。
【0057】
ｃｏｎｖｏｌｕｔｉｏｎ４３およびＲｅＬＵ４４は、入力されるデータが異なる点を除き、ｃｏｎｖｏｌｕｔｉｏｎ４１およびＲｅＬＵ４２とほぼ同様の処理を行う。
【0058】
加算部４５は、ＲｅＬＵ４４の出力に対して入力画像の画素値を加算する。加算部４５を用いることによって、ＣＮＮ４は、ある層からの最適な出力を学習するのではなく、ある層の入力を参照した関数を学習することができる。
【0059】
図１１は、第１の実施形態における学習済みモデルの構成の別の例を示す図である。図１１に示すように、学習済みモデル２Ｂは、任意のデータに対して、復元関数Ｒ（０）を適用する処理と、演算関数Ｇ（ｉ）および復元関数Ｒ（ｉ）の組合せをｎ回適用する処理とで構成される（ｉ＝１～ｎ（ｎは１以上の整数））。学習済みモデル２Ｂは、復元関数Ｒ（ｉ）への入力が異なる点について学習済みモデル２Ａとは異なる。
【0060】
学習済みモデル２Ｂにおいて、復元関数Ｒ（ｉ）は、入力信号ｙおよびマスク信号ｍａｉから復元信号ｘｉを生成する関数である。復元信号ｘｉは、例えば入力信号ｙおよびマスク信号ｍａｉにＤＮＮを適用して生成される。処理回路１１は、入力信号ｙおよびマスク信号ｍａｉに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0061】
図１２は、図１１の学習済みモデル２Ｂの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース１３を介して信号復元処理の開始指示がなされると、処理回路１１は、順伝播機能１１ａを実行し、図１２に示す処理を開始する。
【0062】
（ステップＳＢ１）
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
【0063】
（ステップＳＢ２）
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
【0064】
（ステップＳＢ３）
処理回路１１は、変数ｉに「１」を代入する。
処理回路１１は、変数ｉに「１」を代入する。
【0065】
（ステップＳＢ４）
処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。
処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。
【0066】
（ステップＳＢ５）
処理回路１１は、入力信号ｙおよびマスク信号ｍａｉに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
処理回路１１は、入力信号ｙおよびマスク信号ｍａｉに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0067】
（ステップＳＢ６）
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＢ６「ＹＥＳ」）、処理回路１１は、ステップＳＢ８の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＢ６「ＮＯ」）、処理回路１１は、ステップＳＢ７の処理を行う。
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＢ６「ＹＥＳ」）、処理回路１１は、ステップＳＢ８の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＢ６「ＮＯ」）、処理回路１１は、ステップＳＢ７の処理を行う。
【0068】
（ステップＳＢ７）
処理回路１１は、変数ｉをインクリメントする。ステップＳＢ７の処理の後、処理はステップＳＢ４へと戻る。
処理回路１１は、変数ｉをインクリメントする。ステップＳＢ７の処理の後、処理はステップＳＢ４へと戻る。
【0069】
（ステップＳＢ８）
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
【0070】
図１３は、第１の実施形態における学習済みモデルの構成の別の例を示す図である。図１３に示すように、学習済みモデル２Ｃは、任意のデータに対して、演算関数Ｇ（０）を適用する処理と、復元関数Ｒ（ｉ）をｎ回適用する処理とで構成される（ｉ＝１～ｎ（ｎは１以上の整数））。学習済みモデル２Ｃは、演算関数Ｇ（ｉ）を利用せず、演算関数Ｇ（０）を利用する点において、学習済みモデル２Ａとは異なる。
【0071】
演算関数Ｇ（０）は、入力信号ｙと信頼度データｍとの要素積を行い、マスク信号ｍａ０（第２の要素積信号、或いは要素積信号とも称する）を生成する関数である。このとき、２つのデータの要素の数の条件は、演算関数Ｇ（ｉ）の場合と同様である。処理回路１１は、入力信号ｙと信頼度データｍに演算関数Ｇ（０）を適用してマスク信号ｍａ０を生成する。尚、第２の要素積信号および要素積信号は、第２の要素積信号データおよび要素積信号データと呼ばれてもよい。
【0072】
学習済みモデル２Ｃにおいて、復元関数Ｒ（ｉ）は、入力信号ｙ、復元信号ｘｉ－１、およびマスク信号ｍａ０から復元信号ｘｉを生成する関数である。復元信号ｘｉは、例えば入力信号ｙ、復元信号ｘｉ－１、およびマスク信号ｍａ０にＤＮＮを適用して生成される。処理回路１１は、入力信号ｙ、復元信号ｘｉ－１、およびマスク信号ｍａ０に復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0073】
図１４は、図１３の学習済みモデル２Ｃの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース１３を介して信号復元処理の開始指示がなされると、処理回路１１は、順伝播機能１１ａを実行し、図１４に示す処理を開始する。
【0074】
（ステップＳＣ１）
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
【0075】
（ステップＳＣ２）
処理回路１１は、入力信号ｙおよび信頼度データｍに演算関数Ｇ（０）を適用してマスク信号ｍａ０を生成する。
処理回路１１は、入力信号ｙおよび信頼度データｍに演算関数Ｇ（０）を適用してマスク信号ｍａ０を生成する。
【0076】
（ステップＳＣ３）
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
【0077】
（ステップＳＣ４）
処理回路１１は、変数ｉに「１」を代入する。
処理回路１１は、変数ｉに「１」を代入する。
【0078】
（ステップＳＣ５）
処理回路１１は、入力信号ｙと復元信号ｘｉ－１とマスク信号ｍａ０とに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
処理回路１１は、入力信号ｙと復元信号ｘｉ－１とマスク信号ｍａ０とに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0079】
（ステップＳＣ６）
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＣ６「ＹＥＳ」）、処理回路１１は、ステップＳＣ８の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＣ６「ＮＯ」）、処理回路１１は、ステップＳＣ７の処理を行う。
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＣ６「ＹＥＳ」）、処理回路１１は、ステップＳＣ８の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＣ６「ＮＯ」）、処理回路１１は、ステップＳＣ７の処理を行う。
【0080】
（ステップＳＣ７）
処理回路１１は、変数ｉをインクリメントする。ステップＳＣ７の処理の後、処理はステップＳＣ５へと戻る。
処理回路１１は、変数ｉをインクリメントする。ステップＳＣ７の処理の後、処理はステップＳＣ５へと戻る。
【0081】
（ステップＳＣ８）
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
【0082】
図１５は、第１の実施形態における学習済みモデルの構成の別の例を示す図である。図１５に示すように、学習済みモデル２Ｄは、任意のデータに対して、演算関数Ｇ（０）を適用する処理と、復元関数Ｒ（０）を適用する処理と、演算関数Ｇ（ｉ）および復元関数Ｒ（ｉ）の組合せをｎ回適用する処理とで構成される（ｉ＝１～ｎ（ｎは１以上の整数））。学習済みモデル２Ｄは、演算関数Ｇ（０）をさらに利用する点において、学習済みモデル２Ａとは異なる。尚、図１５の演算関数Ｇ（０）は、図１３の演算関数Ｇ（０）と同様の働きをするため説明を省略する。
【0083】
学習済みモデル２Ｄにおいて、復元関数Ｒ（ｉ）は、入力信号ｙ、マスク信号ｍａｉ、およびマスク信号ｍａ０から復元信号ｘｉを生成する。復元信号ｘｉは、例えば入力信号ｙ、マスク信号ｍａｉ、およびマスク信号ｍａ０にＤＮＮを適用して生成される。処理回路１１は、入力信号ｙ、マスク信号ｍａｉ、およびマスク信号ｍａ０に復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0084】
図１６は、図１５の学習済みモデル２Ｄの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース１３を介して信号復元処理の開始指示がなされると、処理回路１１は、順伝播機能１１ａを実行し、図１６に示す処理を開始する。
【0085】
（ステップＳＤ１）
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
【0086】
（ステップＳＤ２）
処理回路１１は、入力信号ｙおよび信頼度データｍに演算関数Ｇ（０）を適用してマスク信号ｍａ０を生成する。
処理回路１１は、入力信号ｙおよび信頼度データｍに演算関数Ｇ（０）を適用してマスク信号ｍａ０を生成する。
【0087】
（ステップＳＤ３）
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
【0088】
（ステップＳＤ４）
処理回路１１は、変数ｉに「１」を代入する。
処理回路１１は、変数ｉに「１」を代入する。
【0089】
（ステップＳＤ５）
処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。
処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。
【0090】
（ステップＳＤ６）
処理回路１１は、入力信号ｙとマスク信号ｍａｉとマスク信号ｍａ０とに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
処理回路１１は、入力信号ｙとマスク信号ｍａｉとマスク信号ｍａ０とに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0091】
（ステップＳＤ７）
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＤ７「ＹＥＳ」）、処理回路１１は、ステップＳＤ９の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＤ７「ＮＯ」）、処理回路１１は、ステップＳＤ８の処理を行う。
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＤ７「ＹＥＳ」）、処理回路１１は、ステップＳＤ９の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＤ７「ＮＯ」）、処理回路１１は、ステップＳＤ８の処理を行う。
【0092】
（ステップＳＤ８）
処理回路１１は、変数ｉをインクリメントする。ステップＳＤ８の処理の後、処理はステップＳＤ５へと戻る。
処理回路１１は、変数ｉをインクリメントする。ステップＳＤ８の処理の後、処理はステップＳＤ５へと戻る。
【0093】
（ステップＳＤ９）
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
【0094】
図１７は、第１の実施形態における学習済みモデルの構成の別の例を示す図である。図１７に示すように、学習済みモデル２Ｅは、任意のデータに対して、演算関数Ｇ（０）を適用する処理と、復元関数Ｒ（０）を適用する処理と、演算関数Ｇ（ｉ）および復元関数Ｒ（ｉ）の組合せをｎ回適用する処理とで構成される（ｉ＝１～ｎ（ｎは１以上の整数））。学習済みモデル２Ｅは、復元関数Ｒ（ｉ）への入力が異なる点について学習済みモデル２Ｄとは異なる。
【0095】
学習済みモデル２Ｅにおいて、復元関数Ｒ（ｉ）は、入力信号ｙ、復元信号ｘｉ－１、マスク信号ｍａｉ、およびマスク信号ｍａ０から復元信号ｘｉを生成する。復元信号ｘｉは、例えば入力信号ｙ、復元信号ｘｉ－１、マスク信号ｍａｉ、およびマスク信号ｍａ０にＤＮＮを適用して生成される。処理回路１１は、入力信号ｙ、復元信号ｘｉ－１、マスク信号ｍａｉ、およびマスク信号ｍａ０に復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0096】
図１８は、図１７の学習済みモデル２Ｅの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース１３を介して信号復元処理の開始指示がなされると、処理回路１１は、順伝播機能１１ａを実行し、図１８に示す処理を開始する。
【0097】
（ステップＳＥ１）
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
処理回路１１は、入力信号ｙおよび信頼度データｍを入力する。
【0098】
（ステップＳＥ２）
処理回路１１は、入力信号ｙおよび信頼度データｍに演算関数Ｇ（０）を適用してマスク信号ｍａ０を生成する。
処理回路１１は、入力信号ｙおよび信頼度データｍに演算関数Ｇ（０）を適用してマスク信号ｍａ０を生成する。
【0099】
（ステップＳＥ３）
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
処理回路１１は、入力信号ｙに復元関数Ｒ（０）を適用して復元信号ｘ０を生成する。
【0100】
（ステップＳＥ４）
処理回路１１は、変数ｉに「１」を代入する。
処理回路１１は、変数ｉに「１」を代入する。
【0101】
（ステップＳＥ５）
処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。
処理回路１１は、信頼度データｍおよび復元信号ｘｉ－１に演算関数Ｇ（ｉ）を適用してマスク信号ｍａｉを生成する。
【0102】
（ステップＳＥ６）
処理回路１１は、入力信号ｙと復元信号ｘｉ－１とマスク信号ｍａｉとマスク信号ｍａ０とに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
処理回路１１は、入力信号ｙと復元信号ｘｉ－１とマスク信号ｍａｉとマスク信号ｍａ０とに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0103】
（ステップＳＥ７）
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＥ７「ＹＥＳ」）、処理回路１１は、ステップＳＥ９の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＥ７「ＮＯ」）、処理回路１１は、ステップＳＥ８の処理を行う。
処理回路１１は、変数ｉに所定の数「ｎ」が代入されているか否かを判定する。変数ｉに所定の数「ｎ」が代入されている場合（ステップＳＥ７「ＹＥＳ」）、処理回路１１は、ステップＳＥ９の処理を行う。変数ｉに任意の数「ｎ」が代入されていない場合（ステップＳＥ７「ＮＯ」）、処理回路１１は、ステップＳＥ８の処理を行う。
【0104】
（ステップＳＥ８）
処理回路１１は、変数ｉをインクリメントする。ステップＳＥ８の処理の後、処理はステップＳＥ５へと戻る。
処理回路１１は、変数ｉをインクリメントする。ステップＳＥ８の処理の後、処理はステップＳＥ５へと戻る。
【0105】
（ステップＳＥ９）
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
処理回路１１は、復元関数Ｒ（ｎ）によって生成された復元信号ｘｎを出力信号ｘとして出力する。
【0106】
【0107】
学習済みモデル２Ｆにおいて、復元関数Ｒ（ｉ）は、復元信号ｘｉ－１およびマスク信号ｍａｉから復元信号ｘｉを生成する。復元信号ｘｉは、例えば復元信号ｘｉ－１およびマスク信号ｍａｉにＤＮＮを適用して生成される。処理回路１１は、復元信号ｘｉ－１およびマスク信号ｍａｉに復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0108】
【0109】
学習済みモデル２Ｇにおいて、復元関数Ｒ（ｉ）は、復元信号ｘｉ－１およびマスク信号ｍａ０から復元信号ｘｉを生成する。復元信号ｘｉは、例えば復元信号ｘｉ－１およびマスク信号ｍａ０にＤＮＮを適用して生成される。処理回路１１は、復元信号ｘｉ－１およびマスク信号ｍａ０に復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0110】
【0111】
学習済みモデル２Ｈにおいて、復元関数Ｒ（ｉ）は、復元信号ｘｉ－１、マスク信号ｍａｉ、およびマスク信号ｍａ０から復元信号ｘｉを生成する。復元信号ｘｉは、例えば復元信号ｘｉ－１、マスク信号ｍａｉ、およびマスク信号ｍａ０にＤＮＮを適用して生成される。処理回路１１は、復元信号ｘｉ－１、マスク信号ｍａｉ、およびマスク信号ｍａ０に復元関数Ｒ（ｉ）を適用して復元信号ｘｉを生成する。
【0112】
図２２は、第１の実施形態に係るモデル学習装置の構成例を示す図である。図２２のモデル学習装置５は、ハードウェア資源として、処理回路５１と、メモリ５２と、入力インタフェース５３と、通信インタフェース５４と、ディスプレイ５５とを備える。処理回路５１と、メモリ５２と、入力インタフェース５３と、通信インタフェース５４と、ディスプレイ５５とは、バスを介して互いに接続されている。
【0113】
処理回路５１は、ＣＰＵやＧＰＵ等のプロセッサを有する。当該プロセッサがメモリ５２などにインストールされたＤＮＮ復元プログラムを起動することにより順伝播機能５１ａ、逆伝播機能５１ｂ、更新機能５１ｃ、判定機能５１ｄ、および表示制御機能５１ｅなどを実行する。尚、順伝播機能５１ａ、逆伝播機能５１ｂ、更新機能５１ｃ、判定機能５１ｄ、および表示制御機能５１ｅは、単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより順伝播機能５１ａ、逆伝播機能５１ｂ、更新機能５１ｃ、判定機能５１ｄ、および表示制御機能５１ｅを実現するものとしても構わない。尚、処理回路５１は、処理部の実現手段の一例である。
【0114】
順伝播機能５１ａにおいて処理回路５１は、ＤＮＮに入力信号および信頼度データを順伝播し、入力信号に対応する推定出力信号を生成する。尚、当該ＤＮＮは、パラメータが学習されていない、或いは学習途中のＤＮＮである。また、当該ＤＮＮは、前述の学習済みモデル２Ａから学習済みモデル２Ｈまでのいずれかの構成を用いるが、各関数のパラメータは初期値であるか、或いは最適化されていない。尚、推定出力信号は、推定出力信号データと呼ばれてもよい。
【0115】
逆伝播機能５１ｂにおいて処理回路５１は、ＤＮＮに誤差を逆伝播し、勾配ベクトルを計算する。誤差は、順伝播機能５１ａにより計算された推定出力信号と正解出力信号との差分に規定される。尚、正解出力信号は、正解出力信号データと呼ばれてもよい。
【0116】
更新機能５１ｃにおいて処理回路５１は、逆伝播機能５１ｂにより計算された勾配ベクトルに基づいてＤＮＮのパラメータを更新する。具体的には、処理回路５１は、推定出力信号と正解出力信号とが近似するようにパラメータを更新する。更新方法としては、例えば、ＳＧＤ（Ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）やＡｄａｍ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）を利用することができる。
【0117】
判定機能５１ｄにおいて処理回路５１は、学習処理の終了条件を満たすか否かを判定する。終了条件は、ユーザにより入力機器等を介して任意に設定可能である。
【0118】
表示制御機能５１ｅにおいて処理回路５１は、種々の情報をディスプレイ５５に表示する。例えば、処理回路５１は、学習データや学習結果をディスプレイ５５に表示する。
【0119】
メモリ５２は、種々の情報を記憶するＲＯＭやＲＡＭ、ＨＤＤ、ＳＳＤ、集積回路記憶装置等の記憶装置である。メモリ５２は、例えば、ＤＮＮの学習のためのモデル学習プログラム５２ａを記憶する。メモリ５２は、上記記憶装置以外にも、ＣＤ、ＤＶＤ、フラッシュメモリ等の可搬型記憶媒体や、ＲＡＭ等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ５２は、モデル学習装置５にネットワークを介して接続された他のコンピュータ内にあってもよい。
【0120】
入力インタフェース５３は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路５１に出力する。具体的には、入力インタフェース５３は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース５３は、当該入力機器への入力操作に応じた電気信号を処理回路５１へ出力する。また、入力インタフェース５３に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。
【0121】
通信インタフェース５４は、医用撮像装置や距離画像撮影装置などの他のコンピュータとの間でデータ通信するためのインタフェースである。
【0122】
ディスプレイ５５は、処理回路５１の表示制御機能５１ｅに従い種々の情報を表示する。例えば、ディスプレイ５５は、学習データや学習結果を表示する。また、ディスプレイ５５は、ユーザからの各種操作を受け付けるためのＧＵＩ等を出力する。例えば、ディスプレイ５５としては、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。
【0123】
なお、図２２のモデル学習装置５は、入力インタフェース５３およびディスプレイ５５を備えなくてもよい。入力インタフェース５３およびディスプレイ５５を備えない場合、モデル学習装置５は、ＡＳＩＣやＦＰＧＡなどの集積回路により実現されてもよく、通信インタフェース５４は、前述の入力インタフェース１３および出力インタフェース１４の両方の機能を兼ねてもよい。モデル学習装置５がＡＳＩＣである場合、処理回路５１は、順伝播機能５１ａ、逆伝播機能５１ｂ、更新機能５１ｃ、および判定機能５１ｄを実行するために設計された回路素子または論理回路の組合せである。
【0124】
図２３は、図２２のモデル学習装置の処理回路がモデル学習プログラムに従い実行するモデル学習処理の一例を示す図である。図２３の処理は、ユーザなどによりモデル学習処理の開始指示が入力されることを契機として、処理回路５１がモデル学習プログラム５２ａを実行することにより開始される。尚、複数の学習データは、例えばメモリ５２や外部の記憶装置などに記憶されている。
【0125】
（ステップＳＦ１）
処理回路５１は、ＤＮＮの各パラメータを初期化する。パラメータの初期化には、例えば疑似乱数を用いることができる。
処理回路５１は、ＤＮＮの各パラメータを初期化する。パラメータの初期化には、例えば疑似乱数を用いることができる。
【0126】
（ステップＳＦ２）
処理回路５１は、複数の学習データ（入力信号ｙ、信頼度データｍ、および正解出力信号ｘａｎｓの組）を入力する。正解出力信号ｘａｎｓは、入力信号ｙおよび信頼度データｍを入力してＤＮＮから出力される望ましい出力信号である。
処理回路５１は、複数の学習データ（入力信号ｙ、信頼度データｍ、および正解出力信号ｘａｎｓの組）を入力する。正解出力信号ｘａｎｓは、入力信号ｙおよび信頼度データｍを入力してＤＮＮから出力される望ましい出力信号である。
【0127】
（ステップＳＦ３）
処理回路５１は、複数の学習データを、疑似乱数を用いて並べ替える。具体的には、処理回路５１は、複数の学習データの並びを、疑似乱数で生成した順序で並べ替える。
処理回路５１は、複数の学習データを、疑似乱数を用いて並べ替える。具体的には、処理回路５１は、複数の学習データの並びを、疑似乱数で生成した順序で並べ替える。
【0128】
（ステップＳＦ４）
処理回路５１は、複数の学習データから所定の数の学習データを抽出する。このとき、所定の数をミニバッチサイズと呼び、抽出された学習データの集合をミニバッチと呼ぶ。換言すると、処理回路５１は、複数の学習データからミニバッチを抽出する。
処理回路５１は、複数の学習データから所定の数の学習データを抽出する。このとき、所定の数をミニバッチサイズと呼び、抽出された学習データの集合をミニバッチと呼ぶ。換言すると、処理回路５１は、複数の学習データからミニバッチを抽出する。
【0129】
（ステップＳＦ５）
順伝播機能５１ａにおいて処理回路５１は、入力信号ｙと信頼度データｍとに基づくＤＮＮの順伝播により推定出力信号ｘｅｓｔを生成する。
順伝播機能５１ａにおいて処理回路５１は、入力信号ｙと信頼度データｍとに基づくＤＮＮの順伝播により推定出力信号ｘｅｓｔを生成する。
【0130】
（ステップＳＦ６）
逆伝播機能５１ｂにおいて処理回路５１は、ステップＳＦ５で生成された推定出力信号ｘｅｓｔと、ステップＳＦ２で入力された正解出力信号ｘａｎｓとの誤差を計算する。具体的には、処理回路５１は、正解出力信号ｘａｎｓから推定出力信号ｘｅｓｔを減算して、誤差を算出する。
逆伝播機能５１ｂにおいて処理回路５１は、ステップＳＦ５で生成された推定出力信号ｘｅｓｔと、ステップＳＦ２で入力された正解出力信号ｘａｎｓとの誤差を計算する。具体的には、処理回路５１は、正解出力信号ｘａｎｓから推定出力信号ｘｅｓｔを減算して、誤差を算出する。
【0131】
（ステップＳＦ７）
処理回路５１は、ステップＳＦ６において計算された誤差に基づくＤＮＮの逆伝播により勾配ベクトルを計算する。
処理回路５１は、ステップＳＦ６において計算された誤差に基づくＤＮＮの逆伝播により勾配ベクトルを計算する。
【0132】
（ステップＳＦ８）
更新機能５１ｃにおいて処理回路５１は、ステップＳＦ７において計算された勾配ベクトルに基づきパラメータを更新する。
更新機能５１ｃにおいて処理回路５１は、ステップＳＦ７において計算された勾配ベクトルに基づきパラメータを更新する。
【0133】
（ステップＳＦ９）
判定機能５１ｄにおいて処理回路５１は、第１の終了条件を満たすか否かを判定する。第１の終了条件は、例えば、複数の学習データからミニバッチを全て抽出することに設定されてもよい。
判定機能５１ｄにおいて処理回路５１は、第１の終了条件を満たすか否かを判定する。第１の終了条件は、例えば、複数の学習データからミニバッチを全て抽出することに設定されてもよい。
【0134】
ステップＳＦ９において第１の終了条件を満たさないと判定された場合（ステップＳＦ９「ＮＯ」）、処理回路１１は、同一のミニバッチ又は他のミニバッチを用いて、ステップＳＦ４からステップＳＦ９までの処理を繰り返す。
【0135】
ステップＳＦ９において第１の終了条件を満たすと判定された場合（ステップＳＦ９「ＹＥＳ」）、処理はステップＳＦ１０へと進む。
【0136】
（ステップＳＦ１０）
判定機能５１ｄにおいて処理回路５１は、第２の終了条件を満たすか否かを判定する。第２の終了条件は、例えば、繰り返し数（これは、エポック（ｅｐｏｃｈ）数とも称する）が規定回数に達したことに設定されてもよい。
判定機能５１ｄにおいて処理回路５１は、第２の終了条件を満たすか否かを判定する。第２の終了条件は、例えば、繰り返し数（これは、エポック（ｅｐｏｃｈ）数とも称する）が規定回数に達したことに設定されてもよい。
【0137】
ステップＳＦ１０において第２の終了条件を満たさないと判定された場合（ステップＳＦ１０「ＮＯ」）、処理回路１１は、ステップＳＦ３からステップＳＦ９までの処理を繰り返す。
【0138】
ステップＳＦ１０において第２の終了条件を満たすと判定された場合（ステップＳＦ１０「ＹＥＳ」）、処理はステップＳＦ１１へと進む。
【0139】
（ステップＳＦ１１）
処理回路５１は、更新後のＤＮＮを学習済みＤＮＮとして出力する。学習済みＤＮＮは、例えばメモリ５２や外部の記憶装置などに記憶される。
処理回路５１は、更新後のＤＮＮを学習済みＤＮＮとして出力する。学習済みＤＮＮは、例えばメモリ５２や外部の記憶装置などに記憶される。
【0140】
上記の通り、本実施形態に係るモデル学習プログラム５２ａは、モデル学習装置５に、少なくとも順伝播機能５１ａと更新機能５１ｃとを実行させる。順伝播機能５１ａは、入力信号と当該入力信号に関する信頼度データとを入力する入力層と、入力信号に対応する出力信号を出力する出力層と、入力層と出力層との間に設けられる少なくとも１つの中間層とを有する多層ネットワークに対して、入力信号と信頼度データとを適用して推定出力信号を生成する。更新機能５１ｃは、推定出力信号と正解出力信号とが近似するようにＤＮＮのパラメータを更新する。
【0141】
上記の構成により、本実施形態に係るモデル学習プログラム５２ａは、入力信号の信号欠損部分が復元された出力信号を出力するために、入力信号だけでなく信頼度データも用いてＤＮＮのパラメータを学習する。これにより、本実施形態に係るモデル学習プログラム５２ａは、パラメータの学習に際し、入力信号に含まれない、より多くの情報を利用することができる。これにより、入力信号のみを用いる場合に比して、学習済みモデルによる信号の復元精度を向上させることができる。
【0142】
また、上記の通り、本実施形態に係る信号復元装置１は、処理回路１１を有している。処理回路１１は、入力信号データに第１の復元関数を適用して初期復元信号データを生成し、初期復元信号データと入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第１の要素積信号データを生成する。そして、処理回路１１は、入力信号データおよび初期復元信号データのうちの少なくとも一つと、第１の要素積信号データとに第２の復元関数を適用して復元信号データを生成する。
【0143】
さらに、処理回路１１は、入力信号データと信頼度データとの要素積をとることによって第２の要素積信号データを生成する。第２の要素積信号データが生成された場合、処理回路１１は、入力信号データおよび初期復元信号データのうちの少なくとも一つと、第１の要素積信号データと、第２の要素積信号データとに第２の復元関数を適用して復元信号データを生成する。
【0144】
或いは、処理回路１１は、入力信号データに第１の復元関数を適用して初期復元信号データを生成し、入力信号データと当該入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって要素積信号データを生成する。そして、処理回路１１は、初期復元信号データおよび要素積信号データに第２の復元関数を適用して復元信号データを生成する。
【0145】
さらに、処理回路１１は、入力信号データと初期復元信号データと要素積信号データとに第２の復元関数を適用して復元信号データを生成してもよい。
【0146】
また、上記第２の復元関数は、深層ニューラルネットワークによって構成されてもよいし、畳み込みニューラルネットワークによって構成されてもよいし、リカレントニューラルネットワークによって構成されてもよい。
【0147】
上記の構成により、本実施形態に係る信号復元装置１は、信頼度データを用いることによって、入力信号データに含まれない、より多くの情報を利用して信号復元を行うことができるので、入力信号データのみを用いる場合に比して、信号の復元精度を向上させることができる。また、信頼度データは、入力信号データに関する信頼度の情報が含まれていればよいため、必ずしも入力信号データとのデータ形式を一致させる必要がない。このことから、この信号復元装置１は、ユーザが所望のデータを準備する手間を低減することができる。
【0148】
第１の実施形態の変形例として、モデル学習装置５の技術的思想をクラウドコンピューティングなどで実現する場合には、ネットワーク上のサーバは、例えば図２２の構成図における処理回路５１およびメモリ５２を有するものとなる。このとき、処理回路５１の各機能を実行するプログラムをサーバの処理回路５１にインストールし、これらをメモリ５２上で展開することによって実現される。
【0149】
（第２の実施形態）
図２４は、第２の実施形態に係る医用画像診断装置の構成例を示す図である。図２４の医用画像診断装置１００は、第１の実施形態における信号復元装置１と、医用撮像装置６とを備える。一例を挙げれば、医用撮像装置６は架台に対応し、信号復元装置１は当該架台に接続されたコンソールに対応する。尚、信号復元装置１は、医用画像診断装置１００の架台に設けられてもよいし、それ以外の別の構成要素によって実現されてもよい。当該別の構成要素としては、例えば、医用画像診断装置１００が磁気共鳴イメージング（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ；ＭＲＩ）装置である場合、機械室に設置された、コンソール以外のコンピュータまたは専用の計算装置が挙げられる。
図２４は、第２の実施形態に係る医用画像診断装置の構成例を示す図である。図２４の医用画像診断装置１００は、第１の実施形態における信号復元装置１と、医用撮像装置６とを備える。一例を挙げれば、医用撮像装置６は架台に対応し、信号復元装置１は当該架台に接続されたコンソールに対応する。尚、信号復元装置１は、医用画像診断装置１００の架台に設けられてもよいし、それ以外の別の構成要素によって実現されてもよい。当該別の構成要素としては、例えば、医用画像診断装置１００が磁気共鳴イメージング（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ；ＭＲＩ）装置である場合、機械室に設置された、コンソール以外のコンピュータまたは専用の計算装置が挙げられる。
【0150】
医用撮像装置６は、処理対象である入力信号に対応する医用信号を生成する。本実施形態に係る医用信号は、概念的に、医用撮像装置６または他の医用撮像装置により被検体に医用撮像を施すことにより収集された生データや、当該生データに画像復元処理を施して生成される医用画像データなどを含む。尚、医用信号は、医用信号データと呼ばれてもよい。また、信号復元装置１は、生データに画像復元処理を施して医用画像データを生成してもよい。医用画像データは、例えば、磁気共鳴（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ；ＭＲ）画像、ＣＴ画像、或いはＸ線画像などに相当する。
【0151】
入力信号として医用信号を扱う信号復元装置は、医用信号処理装置と呼ばれてもよい。医用信号処理装置は、医用撮像装置６を搭載する医用画像診断装置１００に搭載されたコンピュータであってもよいし、当該医用画像診断装置１００にケーブルやネットワークを介して通信可能に接続されたコンピュータであってもよいし、当該医用画像診断装置１００とは独立したコンピュータであってもよい。
【0152】
医用撮像装置６は、医用信号を生成可能であれば、如何なるモダリティ装置でも良い。例えば、本実施形態に係る医用撮像装置３は、磁気共鳴イメージング装置（ＭＲＩ装置）、Ｘ線コンピュータ断層撮影装置（ＣＴ装置）、Ｘ線診断装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置、ＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ ＣＴ）装置および超音波診断装置等の単一モダリティ装置であっても良いし、ＰＥＴ／ＣＴ装置、ＳＰＥＣＴ／ＣＴ装置、ＰＥＴ／ＭＲＩ装置、ＳＰＥＣＴ／ＭＲＩ装置などの複合モダリティ装置であってもよい。
【0153】
換言すると、医用撮像装置６は、被検体に対し、当該医用撮像装置６のモダリティ装置種に応じた撮像原理の医用撮像を施し、当該被検体に関する生データを収集する。収集された生データは、信号復元装置１に伝送される。例えば、生データは、医用撮像装置６がＭＲＩ装置である場合におけるｋ空間データ、ＣＴ装置である場合における投影データまたはサイノグラムデータ、超音波診断装置である場合におけるエコーデータ、ＰＥＴ装置である場合におけるコインシデンスデータまたはサイノグラムデータ、ＳＰＥＣＴ装置である場合における投影データまたはサイノグラムデータである。尚、医用撮像装置６は、医用撮像部の実現手段の一例である。
【0154】
（ＭＲＩ装置での適用例）
医用撮像装置６がＭＲＩ装置の架台である場合、当該架台は、静磁場磁石を介した静磁場の印加の下、傾斜磁場コイルを介した傾斜磁場の印加と送信コイルを介したＲＦパルスの印加とを繰り返す。ＲＦパルスの印加に起因して被検体からＭＲ信号が放出される。放出されたＭＲ信号は、受信コイルを介して受信される。受信されたＭＲ信号は、受信回路によりＡ／Ｄ変換などの信号処理が施される。Ａ／Ｄ変換後のＭＲ信号は、ｋ空間データに対応する。ｋ空間データは、生データとして信号復元装置１に伝送される。
医用撮像装置６がＭＲＩ装置の架台である場合、当該架台は、静磁場磁石を介した静磁場の印加の下、傾斜磁場コイルを介した傾斜磁場の印加と送信コイルを介したＲＦパルスの印加とを繰り返す。ＲＦパルスの印加に起因して被検体からＭＲ信号が放出される。放出されたＭＲ信号は、受信コイルを介して受信される。受信されたＭＲ信号は、受信回路によりＡ／Ｄ変換などの信号処理が施される。Ａ／Ｄ変換後のＭＲ信号は、ｋ空間データに対応する。ｋ空間データは、生データとして信号復元装置１に伝送される。
【0155】
以降では、ｋ空間データからＭＲ画像を生成する際に、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＦＦＴ）を使用し、ＭＲ画像からｋ空間データへ変換する際に、逆高速フーリエ変換（Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＩＦＦＴ）を使用する場合について説明する。しかし、ＦＦＴおよびＩＦＦＴは、ｋ空間の定義によって使用方法が異なる。従って、ｋ空間データからＭＲ画像を生成する際に、ＩＦＦＴを使用し、ＭＲ画像からｋ空間データへ変換する際に、ＦＦＴを使用する場合については、以降に記載の「ＦＦＴ」を「ＩＦＦＴ」に読み替え、「ＩＦＦＴ」を「ＦＦＴ」に読み替えればよい。尚、ｋ空間データからＭＲ画像を生成する方法、或いはＭＲ画像からｋ空間データへ変換する方法は、ＦＦＴおよびＩＦＦＴに拘泥されない。
【0156】
図２５は、図２４の医用撮像装置がＭＲＩ装置である場合の、学習済みモデルにおける復元関数の構成の一例を示す図である。図２５の復元関数７は、ＦＦＴ７１と、ＣＮＮ４と、ＩＦＦＴ７２とを備える。ＦＦＴ７１が、入力信号に相当するｋ空間データに適用され入力ＭＲ画像が生成される。ＣＮＮ４が、入力ＭＲ画像に適用され出力ＭＲ画像が生成される。ＩＦＦＴ７２が、出力ＭＲ画像に適用されｋ空間データが生成される。このように、復元関数にＦＦＴ７１およびＩＦＦＴ７２を備えることによって、ＭＲ画像に対してＣＮＮ４を適用することができる。従って、ＭＲ画像に対するＣＮＮの処理と、ｋ空間データに関する信頼度データとの双方が利用可能となり、復元精度を向上することができる。
【0157】
図２６は、図２５の復元関数の構成の別の例を示す図である。図２６の復元関数７Ａは、ＦＦＴ７１と、ＣＮＮ４と、ＩＦＦＴ７２と、ＣＮＮ７３とを備える。ＣＮＮ７３は、ＣＮＮ４の処理と略同様である。ＣＮＮ７３は、ｋ空間データに対して種々の演算を実行する。フィルタリングを学習させたい場合、ｋ空間データに対してＣＮＮ７３を利用することができる。そして、ＣＮＮ７３を利用することによって、後続のｋ空間データの精度を向上することができる。尚、ＦＦＴ７１の前にＣＮＮを実行してもよい。
【0158】
処理回路１１は、入力信号であるｋ空間データと当該ｋ空間データに関する信頼度データとに、学習済みモデルを適用して出力信号を生成する。ここでの信頼度データは、例えばパラレルイメージングを用いて収集されたｋ空間データにおける位相エンコードの収集ラインおよび未収集ラインの位置を示す。
【0159】
図２７は、図２４の医用撮像装置がＭＲＩ装置である場合の、欠損部分を含むｋ空間データの具体例を示す図である。図２７のｋ空間データ７４は、収集ラインｅｌ＿１，ｅｌ＿３，…，ｅｌ＿２ｎ－１と、未収集ラインｅｌ＿２，ｅｌ＿４，…，ｅｌ＿２ｎとを含む。尚、ｋ空間データ７４に関する信頼度データは、ｋ空間データ７４の収集ラインの位置または未収集ラインの位置またはその両方を示す。
【0160】
以下、図４を参照し、入力信号ｙに相当するｋ空間データ７４と当該ｋ空間データ７４に関する信頼度データｍとに、学習済みモデル２Ａを適用して出力信号ｘを生成する場合について述べる。
【0161】
復元関数Ｒ（０）は、ｋ空間データ７４から復元ｋ空間データを生成する演算を行う。復元関数Ｒ（０）に上記ＦＦＴおよびＩＦＦＴが備えられているとすると、ｋ空間データ７４にＦＦＴを実行することによって入力ＭＲ画像が生成される。このとき、入力ＭＲ信号は、ｋ空間データ７４に対してｋ空間法が用いられ、当該ｋ空間データ７４の未収集ラインが推定・充填される。そして、当該入力ＭＲ画像に例えばＤＮＮを適用して復元ＭＲ画像が生成され、復元ＭＲ画像にＩＦＦＴを実行するｋとによって復元ｋ空間データが生成される。従って、復元ｋ空間データは、ｋ空間データ７４とは異なり、未収集ラインが充填されたものである。
【0162】
演算関数Ｇ（ｉ）は、復元ｋ空間データと信頼度データｍとの要素積をとることによってマスクデータを生成する演算を行う。マスクデータは、例えば復元ｋ空間データから、ｋ空間データ７４での未収集ラインに相当する部分が抽出されたデータのセットである。
【0163】
復元関数Ｒ（ｉ）は、ｋ空間データ７４、直前の復元関数から出力された復元ｋ空間データ、およびマスク信号から復元ｋ空間データを生成する演算を行う。
【0164】
ＭＲＩ装置では複数の受信コイルによってデータ収集が行われ、複数の受信コイルに対応する複数のチャネルのｋ空間データがそれぞれ生成される。ここで、各チャネルのｋ空間データからそれぞれ再構成したＭＲ画像は、受信コイルの空間的な位置や大きさの影響を受けるため、空間的に重みづけされた画像となる。この重みは、感度（ｓｅｎｓｉｔｉｖｉｔｙ）とも呼ばれる。上記再構成されたＭＲ画像は、本来の画素値に当該感度が乗算された形で表現できる。
【0165】
ｋ空間データが複数のチャネルを持つ場合、ＦＦＴおよびＩＦＦＴの演算の前後で、当該感度を含めた演算を用いればよい。例えば、ｋ空間データをｋｙ方向について１つおきに収集した場合、ｋ空間データからＭＲ画像に変換するＦＦＴの演算の後にＳＥＮＳＥ（Ｓｅｎｓｉｔｉｖｉｔｙ ｅｎｃｏｄｉｎｇ）法のアンフォールディング（ｕｎｆｏｌｄｉｎｇ）処理を行う演算を挿入し、ＩＦＦＴの演算の前に各チャネルの各画素に上記感度を乗算すればよい。従って、復元関数Ｒ（０）および復元関数Ｒ（ｉ）は、上記感度を考慮した演算を行うことで、受信コイルの空間的な位置や大きさの影響が低減されたＭＲ画像を生成することができる。
【0166】
（ＣＴ装置での適用例）
医用撮像装置６がＣＴ装置の架台である場合、当該架台は、Ｘ線管とＸ線検出器とを被検体回りに回転させながらＸ線管から被検体にＸ線を照射し、被検体を透過したＸ線をＸ線検出器により検出する。Ｘ線検出器においては、検出されたＸ線の線量に応じた波高値を有する電気信号が発生される。当該電気信号は、データ収集回路によりＡ／Ｄ変換などの信号処理が施される。Ａ／Ｄ変換後の電気信号は投影データまたはサイノグラムデータと呼ばれる。投影データまたはサイノグラムデータは、生データとして信号復元装置１に伝送される。
医用撮像装置６がＣＴ装置の架台である場合、当該架台は、Ｘ線管とＸ線検出器とを被検体回りに回転させながらＸ線管から被検体にＸ線を照射し、被検体を透過したＸ線をＸ線検出器により検出する。Ｘ線検出器においては、検出されたＸ線の線量に応じた波高値を有する電気信号が発生される。当該電気信号は、データ収集回路によりＡ／Ｄ変換などの信号処理が施される。Ａ／Ｄ変換後の電気信号は投影データまたはサイノグラムデータと呼ばれる。投影データまたはサイノグラムデータは、生データとして信号復元装置１に伝送される。
【0167】
以降では、例えばサイノグラムデータからＣＴ画像を生成する際に、フィルタ補正逆投影（Ｆｉｌｔｅｒｅｄ Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ；ＦＢＰ）を用い、ＣＴ画像からサイノグラムデータへ変換する際に、ラドン変換を用いる場合について説明する。
【0168】
図２８は、図２４の医用撮像装置がＣＴ装置である場合の、学習済みモデルにおける復元関数の構成の一例を示す図である。図２８の復元関数８は、ＦＢＰ８１と、ＣＮＮ４と、ラドン変換８２とを備える。ＦＢＰ８１は、入力信号に相当するサイノグラムデータから入力ＣＴ画像を生成する。ＣＮＮ４は、入力ＣＴ画像から出力ＣＴ画像を生成する。ラドン変換８２は、出力ＣＴ画像をサイノグラムデータへ変換する。このように、復元関数にＦＢＰ８１およびラドン変換８２を備えることによって、ＣＴ画像に対してＣＮＮ４を適用することができる。
【0169】
処理回路１１は、入力信号であるサイノグラムデータと当該サイノグラムデータに関する信頼度データとに、学習済みモデルを適用して出力信号を生成する。ここでの信頼度データは、例えばサイノグラムデータにおける金属アーチファクトの位置を示す。
【0170】
図２９は、図２４の医用撮像装置がＣＴ装置である場合の、欠損部分を含むサイノグラムデータの具体例を示す図である。図２９のサイノグラムデータ８３は、例えば金属アーチファクトによる欠損部分８４を含む。尚、サイノグラムデータ８３に関する信頼度データは、サイノグラムデータ８３の欠損部分の位置を示す。
【0171】
以下、図４を参照し、入力信号ｙに相当するサイノグラムデータ８３と当該サイノグラムデータ８３に関する信頼度データｍとに、学習済みモデル２Ａを適用して出力信号ｘを生成する場合について述べる。
【0172】
復元関数Ｒ（０）は、サイノグラムデータ８３から復元サイノグラムデータを生成する演算を行う。復元関数Ｒ（０）に上記ＦＢＰおよびラドン変換が備えられているとすると、サイノグラムデータ８３にＦＢＰを実行することによって入力ＣＴ画像が生成される。そして、当該入力ＣＴ画像に例えばＤＮＮを適用して復元ＣＴ画像が生成され、復元ＣＴ画像にラドン変換を実行することによって復元サイノグラムデータが生成される。
【0173】
演算関数Ｇ（ｉ）は、復元サイノグラムデータと信頼度データｍとの要素積をとることによってマスク信号を生成する演算を行う。マスク信号は、例えば信頼度データｍに基づいて、復元サイノグラムデータにおける、サイノグラムデータ８３での欠損部分８４に相当する部分が抽出されたものである。
【0174】
復元関数Ｒ（ｉ）は、サイノグラムデータ８３、直前の復元関数から出力された復元サイノグラムデータ、およびマスク信号から復元サイノグラムデータを生成する演算を行う。
【0175】
本実施例は、金属アーチファクトに限らず、ＣＴ装置による検査中に寝台を動かすことで、収集される信号データの信頼性が低下したり、データに欠損が生じたりする場合においても適用することが可能である。
【0176】
（ＰＥＴ装置での適用例）
医用撮像装置６がＰＥＴ装置の架台である場合、当該架台は、被検体内に蓄積された放射性核種から発生される陽電子と当該放射性核種の周囲に存在する電子との対消滅に伴い発生する５１２ｋｅＶの一対のガンマ線を同時計測回路により同時計測することにより、一対のガンマ線（ＬＯＲ(Ｌｉｎｅ Ｏｆ Ｒｅｓｐｏｎｓｅ)）のエネルギー値と検出位置とに関するデジタル値を有するデジタルデータを生成する。当該デジタルデータは、コインシデンスデータまたはサイノグラムデータと呼ばれる。コインシデンスデータまたはサイノグラムデータは、生データとして信号復元装置１に伝送される。
医用撮像装置６がＰＥＴ装置の架台である場合、当該架台は、被検体内に蓄積された放射性核種から発生される陽電子と当該放射性核種の周囲に存在する電子との対消滅に伴い発生する５１２ｋｅＶの一対のガンマ線を同時計測回路により同時計測することにより、一対のガンマ線（ＬＯＲ(Ｌｉｎｅ Ｏｆ Ｒｅｓｐｏｎｓｅ)）のエネルギー値と検出位置とに関するデジタル値を有するデジタルデータを生成する。当該デジタルデータは、コインシデンスデータまたはサイノグラムデータと呼ばれる。コインシデンスデータまたはサイノグラムデータは、生データとして信号復元装置１に伝送される。
【0177】
従って、以上のような構成によれば、第２の実施形態に係る医用画像診断装置は、第１の実施形態にかかる信号復元装置を含む。故に、この医用画像診断装置によれば、信頼度データを用いることによって、医用画像に含まれない、より多くの情報を利用して医用画像信号の復元を行うことができるので、医用画像のみを用いるＤＮＮでの復元に比して、医用画像信号の復元精度を向上させることができる。
【0178】
（第３の実施形態）
図３０は、第３の実施形態に係る距離画像撮影システムの構成例を示す図である。図３０の距離画像撮影システム２００は、第１の実施形態における信号復元装置１と、距離画像撮影装置９とを備える。尚、信号復元装置１は、距離画像撮影装置９に内蔵されていてもよい。
図３０は、第３の実施形態に係る距離画像撮影システムの構成例を示す図である。図３０の距離画像撮影システム２００は、第１の実施形態における信号復元装置１と、距離画像撮影装置９とを備える。尚、信号復元装置１は、距離画像撮影装置９に内蔵されていてもよい。
【0179】
距離画像撮影装置９は、例えばＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒｎａｇｉｎｇ）などの光リモートセンシング技術が用いられる。ＬＩＤＡＲは、例えばレーザ光を用いて距離計測を行う。具体的には、距離画像撮影装置９は、距離画像撮影装置９から照射される照射光と、当該照射光が測定対象で反射した反射光とを検出し、照射光および反射光を検出した時刻と照射光の速度とに基づいて、距離画像撮影装置９から測定対象までの距離を計測する。距離画像撮影装置９は、計測された測定対象までの距離に基づいて距離画像データを生成する。距離画像データは、例えば、距離画像撮影装置９から測定対象までの距離のデータを画素ごとに記録したものである。生成された距離画像データは、入力信号として信号復元装置１に伝送される。尚、距離画像データは、奥行き情報と称してもよい。
【0180】
図３１は、第３の実施形態における、距離画像データと信頼度データとの一例を示す図である。図３１の距離画像データ９１は、収集部９１ａと、未収集部９１ｂとを含む。収集部９１ａは、例えば測定対象までの奥行き情報が取得されている範囲である。未収集部９１ｂは、例えば奥行き情報が取得されていない範囲である。具体的には、未収集部９１ｂは、照射光が斜面に反射して反射光が取得できない場合、或いは空などの反射する物体が無い場合などによって生じる。
【0181】
処理回路１１は、距離画像データ９１に信頼度推定関数を適用して信頼度データ９２を生成する。信頼度推定関数は、例えばＤＮＮやＣＮＮを用いてもよい。信頼度データ９２は、高信頼度領域９２ａと、低信頼度領域９２ｂとを含む。高信頼度領域９２ａは、収集部９１ａに対応し、例えば「０．９」から「１．０」までの数値で表される。低信頼度領域９２ｂは、未収集部９１ｂに対応し、例えば「ゼロ」から「０．１」までの数値で表される。
【0182】
以下、図４を参照し、入力信号ｙに相当する距離画像データ９１と、信頼度データｍに相当する信頼度データ９２とに、学習済みモデル２Ａを適用して出力信号ｘを生成する場合について述べる。
【0183】
復元関数Ｒ（０）は、距離画像データ９１から復元距離画像データを生成する演算を行う。演算関数Ｇ（ｉ）は、復元距離画像データと信頼度データ９２との要素積をとることによってマスク信号を生成する演算を行う。マスク信号は、例えば信頼度データ９２に基づいて、復元距離画像データにおける、距離画像データ９１での未収集部９１ｂに相当する部分が抽出されたものである。復元関数Ｒ（ｉ）は、距離画像データ９１、直前の復元関数から出力された復元距離画像データ、およびマスク信号から復元距離画像データを生成する演算を行う。
【0184】
従って、以上のような構成によれば、第３の実施形態に係る距離画像撮影システムは、第１の実施形態に係る信号復元装置を含む。故に、この距離画像撮影システムによれば、信頼度データを用いることによって、距離画像に含まれない、より多くの情報を利用して距離画像信号の復元を行うことができるので、距離画像のみを用いるＤＮＮでの復元に比して、距離画像信号の復元精度を向上させることができる。
【0185】
以上説明した少なくとも一つの実施形態によれば、信号の復元精度を向上することができる。
【0186】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ；ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ；ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ；ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１、図２２、および図２４、或いは図１、図２２、および図３０における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0187】
上述した実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の信号復元装置、医用画像診断装置、および距離画像撮影システムによる効果と同様な効果を得ることも可能である。上述した実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータ又は組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の信号復元装置、医用画像診断装置、および距離画像撮影システムと同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
【0188】
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が、上述した実施形態を実現するための各処理の一部を実行してもよい。
【0189】
さらに、記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【0190】
また、記憶媒体は１つに限られず、複数の媒体から、上述した実施形態における処理が実行される場合も、実施形態における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【0191】
なお、実施形態におけるコンピュータ又は組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、上述した実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【0192】
また、実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。
【0193】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0194】
１…信号復元装置
２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ，２Ｇ，２Ｈ…学習済みモデル
２１，２４，２５…欠損部分
２２…欠損データ
２３…収集データ
３１０…入力ベクトル
３１０ａ…第１の入力範囲
３１０ｂ…第２の入力範囲
３１０ｃ…第３の入力範囲
３３０…出力ベクトル
３３０ａ…出力範囲
４…ＣＮＮ
４５…加算部
５…モデル学習装置
１００…医用画像診断装置
７，７Ａ，８…復元関数
７４…ｋ空間データ
８３…サイノグラムデータ
８４…欠損部分
２００…距離画像撮影システム
９１…距離画像データ
９１ａ…収集部
９１ｂ…未収集部
９２…信頼度データ
９２ａ…高信頼度領域
９２ｂ…低信頼度領域
２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ，２Ｆ，２Ｇ，２Ｈ…学習済みモデル
２１，２４，２５…欠損部分
２２…欠損データ
２３…収集データ
３１０…入力ベクトル
３１０ａ…第１の入力範囲
３１０ｂ…第２の入力範囲
３１０ｃ…第３の入力範囲
３３０…出力ベクトル
３３０ａ…出力範囲
４…ＣＮＮ
４５…加算部
５…モデル学習装置
１００…医用画像診断装置
７，７Ａ，８…復元関数
７４…ｋ空間データ
８３…サイノグラムデータ
８４…欠損部分
２００…距離画像撮影システム
９１…距離画像データ
９１ａ…収集部
９１ｂ…未収集部
９２…信頼度データ
９２ａ…高信頼度領域
９２ｂ…低信頼度領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
